JP2016001446A - 変換画像提供装置、変換画像提供方法及びプログラム - Google Patents
変換画像提供装置、変換画像提供方法及びプログラム Download PDFInfo
- Publication number
- JP2016001446A JP2016001446A JP2014121859A JP2014121859A JP2016001446A JP 2016001446 A JP2016001446 A JP 2016001446A JP 2014121859 A JP2014121859 A JP 2014121859A JP 2014121859 A JP2014121859 A JP 2014121859A JP 2016001446 A JP2016001446 A JP 2016001446A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- user
- users
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】対話に参加するユーザの数が増えた場合にもユーザの端末の負荷を増大させずに、他のユーザの状況を把握させる。
【解決手段】中継装置20は、対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信し、受信したパケットのうち少なくとも2以上のユーザのデータに含まれるそれぞれの画像を、対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して合成した合成データを提供する。
【選択図】図1
【解決手段】中継装置20は、対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信し、受信したパケットのうち少なくとも2以上のユーザのデータに含まれるそれぞれの画像を、対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して合成した合成データを提供する。
【選択図】図1
Description
本発明は、変換画像提供装置、変換画像提供方法及びプログラムに関する。
それぞれ遠隔地にいるユーザが、各々の端末を用いてネットワークを介して互いの映像や音声を通信してコミュニケーションを取るシステムがある。例えば、下記の特許文献1では、複数の端末からそれぞれ受信した画像信号をバッファメモリに格納し、バッファメモリに格納された画像信号を合成して端末に出力するシステムについて開示されている。
例えば、インターネットに接続したスマートフォン等の携帯端末を利用して、上述したコミュニケーションを取るシステムでは、ユーザは対話への参加と脱退を所望のタイミングで行うことがあり、この場合には対話に参加するユーザの数が動的に変化することとなる。また、携帯端末の表示画面は小さいため、他のユーザの画像のサイズを固定した場合には、対話に参加するユーザの数が増えると、他のユーザの画像を合成して表示する領域が確保できなくなる。また、各ユーザの端末が、対話を行う他の全てのユーザの端末から画像を受信し、受信した画像のサイズを小さく変換して画面に表示することも考えられるが、こうした場合には対話の参加者数に応じて各ユーザの端末の通信量及び処理の負荷が増大することとなる。
本発明は上記課題に鑑みて為されたものであり、その目的は、対話に参加するユーザの数が増えた場合にもユーザの端末の負荷を増大させずに、他のユーザの状況を把握させることができる変換画像提供装置、変換画像提供方法及びプログラムを提供することにある。
本発明に係る変換画像提供装置は、対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信する手段と、前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれるそれぞれの画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供手段と、を含むこととする。
本発明の一態様では、前記変換画像提供装置は、前記対話に参加するユーザの数は、3以上であり、前記受信したパケットに基づいて、前記複数のユーザの一のユーザごとに設けられた第1のバッファ領域に、前記複数のユーザのうち該一のユーザ以外のユーザのそれぞれのデータを順次記憶させる第1の記憶制御手段を含み、前記提供手段は、前記複数のユーザのそれぞれに対しては、該それぞれのユーザについて設けられた前記第1のバッファ領域に記憶されたデータに含まれるユーザの画像を、前記基準画像サイズに変換して合成した合成データを提供する、こととしてよい。
本発明の一態様では、前記変換画像提供装置は、前記受信したパケットに基づいて、前記対話に参加しないユーザについて設けられた第2のバッファ領域に、前記複数のユーザのそれぞれのデータを順次記憶させる第2の記憶制御手段を含み、前記提供手段は、前記対話に参加しないユーザに対しては、前記第2のバッファ領域に記憶された少なくとも2以上のユーザのデータに含まれる画像を、前記基準画像サイズに変換して合成した合成データを提供することとしてよい。
本発明の一態様では、前記変換画像提供装置において、前記提供手段は、前記対話に参加しないユーザに対しては、前記第2のバッファ領域に記憶された1のユーザのデータに含まれる画像と、該第2のバッファ領域に記憶された該1のユーザ以外のユーザのデータに含まれる画像を前記基準画像サイズに変換した画像とを合成した合成データを提供することとしてよい。
本発明の一態様では、前記変換画像提供装置において、前記基準画像サイズは、前記合成データの画像サイズが、所定のサイズ以下になるように定められることとしてよい。
本発明の一態様では、前記変換画像提供装置において、前記合成データは、前記基準画像サイズに変換した画像を連結した連結画像のデータを含むこととしてよい。
本発明に係る変換画像提供方法は、対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信するステップと、前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれる画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供ステップと、を含むこととする。
本発明に係るプログラムは、対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信する手段と、前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれる画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供手段としてコンピュータを機能させるためのプログラムである。
本発明によれば、対話に参加するユーザの数が増えた場合にもユーザの端末の負荷を増大させずに、他のユーザの状況を把握させることができる。
以下、本発明の実施の形態(以下、実施形態)を、図面に基づいて説明する。なお、図面において同一又は対応する構成には同一の符号を付し、繰り返しの説明を省略することがある。
[1.配信システムの全体構成]
図1は、本発明の実施形態に係る配信システム1の全体構成を示す図である。図1に示すように、本実施形態に係る配信システム1は、中継装置20(変換画像提供装置の一例)と、中継装置20を介して対話を行う複数のユーザ(参加者)U−1〜N(Nは3以上の整数)がそれぞれ操作するユーザ端末10−1〜N,及びユーザU−1〜Nの対話の様子を、中継装置20を介して視聴するユーザ(視聴者)UGが操作するユーザ端末10−Gを含む。中継装置20、ユーザ端末10−1〜N、及びユーザ端末10GはネットワークNWに接続される。これにより、中継装置20、ユーザ端末10−1〜N、及びユーザ端末10Gとの間で相互にデータ通信が可能である。なお、本実施形態では、ユーザ端末10−1〜N、及びユーザ端末10Gはハードウェア構成を同一として説明することとし、ユーザ端末10−1〜N、及びユーザ端末10Gについて共通する内容についてはユーザ端末10と表記して説明することがある。
図1は、本発明の実施形態に係る配信システム1の全体構成を示す図である。図1に示すように、本実施形態に係る配信システム1は、中継装置20(変換画像提供装置の一例)と、中継装置20を介して対話を行う複数のユーザ(参加者)U−1〜N(Nは3以上の整数)がそれぞれ操作するユーザ端末10−1〜N,及びユーザU−1〜Nの対話の様子を、中継装置20を介して視聴するユーザ(視聴者)UGが操作するユーザ端末10−Gを含む。中継装置20、ユーザ端末10−1〜N、及びユーザ端末10GはネットワークNWに接続される。これにより、中継装置20、ユーザ端末10−1〜N、及びユーザ端末10Gとの間で相互にデータ通信が可能である。なお、本実施形態では、ユーザ端末10−1〜N、及びユーザ端末10Gはハードウェア構成を同一として説明することとし、ユーザ端末10−1〜N、及びユーザ端末10Gについて共通する内容についてはユーザ端末10と表記して説明することがある。
中継装置20はユーザ端末からデータを受信し、またユーザ端末にデータを提供する装置であり、例えばサーバコンピュータによって実現される。
図1に示すように、中継装置20は制御部21、記憶部22、及び通信部23を含む。制御部21は例えば少なくとも一つのマイクロプロセッサ等を含み、オペレーティングシステムやその他のプログラムに従って処理を実行する。記憶部22は主記憶部(例えばRAM)及び補助記憶部(例えばハードディスクドライブ又はソリッドステートドライブ)を含む。通信部23はネットワークNWを介してデータ通信を行うためのものである。
ユーザ端末10はユーザが使用するコンピュータである。本実施形態では、ユーザ端末10はデータ配信(例えば、カメラ画像と音声を含むストリーミングデータの配信)を行うために使用するコンピュータである。ユーザ端末10は、例えば、携帯電話機(スマートフォンを含む)、携帯情報端末(タブレット型コンピュータを含む)、デスクトップ型コンピュータ、ラップトップ型コンピュータ、家庭用ゲーム機(据置型ゲーム機)、携帯用ゲーム機、又は業務用ゲーム機によって実現されることとしてよい。
図1に示すように、ユーザ端末10は制御部11、記憶部12、通信部13、入力部14、カメラ15、マイク16、スピーカ17及びディスプレイ18を含む。
制御部11は例えば少なくとも一つのマイクロプロセッサ等を含み、オペレーティングシステムやその他のプログラムに従って処理を実行する。記憶部12は主記憶部(例えばRAM)及び補助記憶部(例えばハードディスクドライブ又はソリッドステートドライブ)を含む。通信部13はネットワークNWを介してデータ通信を行うためのものである。入力部14は、例えばタッチパネル、キー、マウス、ゲームコントローラ等を含み、ユーザが入力操作を行うためのものである。なお、入力部14は、ユーザが音声又はジェスチャによって操作を行うためのものであってもよい。
カメラ15は、例えばユーザ端末に内蔵され(例えばディスプレイ18の上部や下部等)、ユーザ端末10を操作するユーザを撮影するためのものである。カメラ15は、静止画像や動画像を撮影可能としてよい。マイク16は、例えばユーザ端末10に内蔵され、ユーザ端末10を操作するユーザの音声を集音するためのものである。スピーカ17は、音声を出力するものであり、例えばネットワークNWを介して受信した他のユーザの音声データ(音声データは、複数のユーザの音声を合成した合成音声であってよい)に基づいて音声を出力することとしてよい。ディスプレイ18は例えば液晶表示パネル又は有機ELディスプレイ等であり、制御部11の指示に従って画面を表示する。例えば、ディスプレイ18は、カメラ15で撮影したカメラ画像(動画像)や、ネットワークNWを介して受信した他のユーザのカメラ画像(動画像)を表示することとしてよい。
プログラムやデータは例えばネットワークNWを介して中継装置20又はユーザ端末10に供給される。なお、中継装置20又はユーザ端末10は、情報記憶媒体(例えば光ディスク又はメモリカード等)に記憶されたプログラム又はデータを読み取るための構成要素を含むようにしてもよい。そして、情報記憶媒体を介して中継装置20又はユーザ端末10にプログラムやデータを供給するようにしてもよい。
[2.画面遷移の一例]
次に、図2乃至図10に示したユーザ端末10のディスプレイ18に表示される画面例に基づいて、配信システム11において実行される。ユーザ端末10−1〜Nが中継装置20を介して、複数ユーザの対話を配信(以下、コラボ配信とする)する処理の概要について説明する。なお、以下に説明する例においては、ユーザ端末10−1がコラボ配信を開始し、ユーザ端末10−2〜Nが、ユーザ端末10−1が開始したコラボ配信に参加することとする。そして、ユーザ端末10Gが、ユーザ端末10−1〜Nにより実行されるコラボ配信を視聴することとする。
次に、図2乃至図10に示したユーザ端末10のディスプレイ18に表示される画面例に基づいて、配信システム11において実行される。ユーザ端末10−1〜Nが中継装置20を介して、複数ユーザの対話を配信(以下、コラボ配信とする)する処理の概要について説明する。なお、以下に説明する例においては、ユーザ端末10−1がコラボ配信を開始し、ユーザ端末10−2〜Nが、ユーザ端末10−1が開始したコラボ配信に参加することとする。そして、ユーザ端末10Gが、ユーザ端末10−1〜Nにより実行されるコラボ配信を視聴することとする。
図2には、ユーザ端末10−1のディスプレイ18に表示されるコラボ配信の開始要求受付画面の一例を示した。図2に示されるように、コラボ配信の開始要求受付画面G100には、カメラ画像表示領域A100、チャット表示領域A101、配信モード表示アイコンP101、配信開始アイコンP102、チャット開始アイコンP103、リンクL101が表示される。
カメラ画像表示領域A100には、ユーザ端末10−1のカメラ15により撮影された画像が表示される。そして、配信モード表示アイコンP101には、ユーザが開始する配信モードが表示される。例えば、配信モードには、複数人が対話をしながら配信を行うコラボ配信モード、ユーザが1人で配信を行うシングル配信モード等を含むこととしてよい。なお、本実施形態では、配信モードにコラボ配信モードを指定した場合について説明する。
ユーザにより配信開始アイコンP102が選択されると、カメラ画像表示領域A100に表示されている画像と、ユーザ端末10−1のマイク16により集音されたユーザの音声をエンコードしたパケットがユーザ端末10−1から中継装置20に送信され、配信が開始する。なお、中継装置20は、リンクL101に表示されたリンクを通じて、ユーザ端末10−1から受信したパケットに基づくデータ配信を実行することとしてよい。
また、チャット開始アイコンP102が選択されると、図示しないチャット入力画面が表示され、チャット入力画面に入力されたテキスト情報が、チャット表示領域A101に表示されることとしてよい。
なお、この段階ではユーザ端末10−1が単独で配信している状態であるが、ここに他のユーザ端末(以下ではユーザ端末10−2とする)が参加する場面について以下に説明する。
図3には、ユーザ端末10−2のディスプレイ18に中継装置20から提供されるデータに基づいて表示される、配信リスト表示画面G200の一例を示した。なお、配信リスト表示画面G200は、中継装置20により生成されることとしてよい。
図3に示されるように、配信リスト表示画面G200には、例えば現在配信されている配信データの概要情報を表示する複数の概要情報表示領域A201、A202、A203、A204が含まれる。ここでは、A201が、ユーザ端末10−1が開始したコラボ配信(配信データ)に対応することとする。そして、配信リスト表示画面G200で、例えばA201が選択されると、ユーザ端末10−1が開始している配信データの配信が開始され、ユーザ端末10−2のディスプレイ18には例えば図4に示される配信データの再生画面G201が表示される。
図4に示されるように、配信データの再生画面G201には、カメラ画像表示領域A100とチャット表示領域A101、配信モード表示アイコンP101、チャット開始アイコンP103、参加アイコンP104が表示される。この段階では、カメラ表示領域A100には、中継装置20から受信しているユーザ端末10−1が単独で配信する配信データに基づいて、ユーザ端末10−1のカメラ画像が表示されている。また、参加アイコンP104は、ユーザ端末10−1が開始したデータ配信への参加を申請する操作を行うためのものであり、例えば配信モード表示アイコンP101の示す配信モードがコラボ配信である場合に表示されることとしてよい。そして、参加アイコンP104が選択されると、ユーザ端末10−2から中継装置20を介してユーザ端末10−1に対して参加が申請される。
図5には、ユーザ端末10−2からの参加申請に応じて、ユーザ端末10−1のディスプレイ18に表示される参加可否問い合わせ画面G101の一例を示した。図5に示されるように、参加可否問い合わせ画面G101には、ポップアップ画面として構成された問い合わせ表示領域A102が含まれる。ここで問い合わせ表示領域A102には、参加を申請するユーザの情報と、「参加を許可する」アイコンP105と、「参加を許可しない」アイコンP106が表示される。そして、「参加を許可しない」アイコンP106が選択された場合には、ユーザ端末10−2の参加が拒否され、「参加を許可する」アイコンP105が選択された場合には、ユーザ端末10−2の参加が許可される。以下では、「参加を許可する」アイコンP105が選択されたこととして説明を続ける。
図6には、ユーザ端末10−2の参加を許可した場合に、ユーザ端末10−1のディスプレイ18に表示されるコラボ配信画面G102の一例を示した。図6に示されるように、コラボ配信画面G102のカメラ画像表示領域A100の一部(小窓)には、ユーザ端末10−2から送信されるカメラ画像IM101が表示される。また、同時にユーザ端末10−1では、ユーザ端末10−2から送信される音声データも再生される。
図7には、ユーザ端末10−1の配信に参加を開始したユーザ端末10−2のディスプレイ18に表示されるコラボ配信画面G202の一例を示した。図7に示されるように、コラボ配信画面G202のカメラ画像表示領域A100には、ユーザ端末10−2のカメラ15により撮影されたユーザの画像が表示されるとともに、その一部(小窓)には、ユーザ端末10−1から送信されるカメラ画像IM201が表示される。また、同時にユーザ端末10−2では、ユーザ端末10−1から送信される音声データも再生される。
以上が、ユーザ端末10−1が開始したコラボ配信への参加の流れの一例である。また、コラボ配信への参加は例えば3人以上であってもよい。
図8には、ユーザ端末10−1が開始したコラボ配信に全体で5人(すなわち4人が追加)が参加した場合のコラボ配信画面の一例を示した。図8に示されるように、コラボ配信画面G103のカメラ画像表示領域A100の一部(小窓)には、コラボ配信に参加した他のユーザ端末(例えばユーザ端末10−2〜5)からそれぞれ送信されるカメラ画像IM101,102,103,104の合成画像C101が表示される。また、同時にユーザ端末10−1では、ユーザ端末10−2〜5からそれぞれ送信される音声データを合成した合成音声も再生される。なお、合成画像C101と合成音声は中継装置20において生成され、ユーザ端末10−1に配信されることとしてよい。
また、ユーザ端末10−1〜5により実行されるコラボ配信は、コラボ配信の参加者以外も視聴可能である。例えば、視聴者UGが操作するユーザ端末10Gは、リンクL101にアクセスすることによりコラボ配信を視聴することとしてよい。
図9には、視聴者UGが操作するユーザ端末10Gのディスプレイ18に表示されるコラボ配信の視聴画面G300の一例を示した。図9に示されるように、視聴画面G300は、カメラ画像表示領域A100、チャット表示領域A101、チャット開始アイコンP103を含む。そして、カメラ画像表示領域A100には、配信モード表示アイコンP101と、ユーザ端末10−1〜5からそれぞれ送信されるカメラ画像IM201,IM202,203,204,205を合成した合成画像C201が表示される。図9に示される合成画像C201は、ユーザ端末10−1のカメラ画像IM201を背景画像とし、ユーザ端末10−2〜5のカメラ画像IM202〜205をそれぞれ小さい画像サイズに変換して合成した窓画像とを重ね合わせて合成している。また、ユーザ端末10Gでは、ユーザ端末10−1〜5からそれぞれ送信される音声データを合成した合成音声も再生される。なお、合成画像C201と合成音声は中継装置20において生成され、ユーザ端末10Gに配信されることとしてよい。
また、コラボ配信の参加者の数は上記の例に限られず、6以上としてもよい。
図10には、コラボ配信の参加者が9人である場合に、ユーザ端末10−1のディスプレイ18に表示されるコラボ配信画面の一例を示した。図10に示されるように、コラボ配信画面G104のカメラ表示領域A100の一部(小窓)には、参加する他のユーザ端末から送信される8つのカメラ画像を合成した合成画像C102が表示される。なお、合成画像C102のサイズには上限を定めておくこととしてよく、合成画像のサイズが上限に収まるように、参加する他のユーザ端末からそれぞれ送信されるカメラ画像を変換する変換サイズを決定して、決定した変換サイズに変換されたそれぞれのカメラ画像を合成して合成画像C102を生成することとしてよい。
以上説明した、配信システム1において行われる処理の一例をまとめると以下のようになる。
まず、配信システム1では、コラボ配信に参加するユーザ端末10−i(iは1〜Nの任意の整数)は、カメラ15で撮影したユーザU−iのカメラ画像と、マイク16で集音したユーザU−iの音声とをエンコードして生成したパケットを中継装置20に順次送信する。そして、中継装置20では、ユーザ端末10−iに対して、ユーザ端末10−1〜Nのうちユーザ端末10−iを除くユーザ端末からそれぞれ受信したパケットに基づいて、ユーザU−1〜NのうちユーザU−iを除く複数のユーザに係るカメラ画像と音声とをそれぞれ合成した合成画像と合成音声を生成し、合成画像と合成音声をエンコードして生成したパケットをユーザ端末10−iに順次送信(ストリーミング配信)する。ユーザ端末10−iは、中継装置20から受信したパケットをデコードして、合成画像と合成音声とを出力する。
また、配信システム1では、コラボ配信には参加しないユーザ(視聴者)UGに対しても、ユーザ端末10−1〜Nからそれぞれ受信したパケットに基づいて、ユーザU−1〜Nの画像と音声とをそれぞれ合成した合成画像と合成音声を生成し、合成画像と合成音声をエンコードして生成したパケットをユーザ端末10Gに順次送信(ストリーミング配信)する。ユーザ端末10Gは、中継装置20から受信したパケットをデコードして、合成画像と合成音声とを出力する。
なお詳細については後述するが、配信システム1においては、コラボ配信に参加するユーザ(参加者)のユーザ端末10−1〜Nに対して送信するパケットの生成処理を第1の方式で実行し、コラボ配信に参加しないユーザ(視聴者)のユーザ端末10Gに対して送信するパケットの生成処理を第2の方式で実行することとしている。なお、第1の方式は、第2の方式に比べて、遅延が少ないがデータ品質が劣化(すなわち合成画像や合成音声にデータ欠損が生じやすい)する方式である。これにより、ユーザ端末10−1〜Nでは、ユーザ間でより遅延が少なくコミュニケーションが円滑にとることができ、コミュニケーションに直接参加しないユーザに対しては質の高いストリーミング配信を実行することができる。
また、配信システム1においては、コラボ配信に参加するユーザの数(すなわちN)に応じて、合成画像におけるユーザ1人あたりの画像サイズを変化させることとしてよい。例えば、コラボ配信の参加者が増えるにつれて、合成画像におけるユーザ1人あたりの画像サイズを小さくして、合成画像のサイズが所定サイズに収まるようにすることとしてよい。
[3.配信システム1において実現される機能]
次に、以上に説明したような処理を実現するために配信システム1に含まれるユーザ端末と中継装置20にそれぞれ備えられる機能について説明する。
次に、以上に説明したような処理を実現するために配信システム1に含まれるユーザ端末と中継装置20にそれぞれ備えられる機能について説明する。
[3.1.ユーザ端末10において実現される機能]
まず、ユーザ端末10に備えられる機能について説明する。図11は、配信システム1で実現される機能のうち、ユーザ端末10について本発明に関連する機能を示す機能ブロック図である。図11に示すように、ユーザ端末10は、機能として入力変換部102、エンコード部104、パケット送信部106、パケット受信部108、デコード部110、及び出力変換部112を備える。
まず、ユーザ端末10に備えられる機能について説明する。図11は、配信システム1で実現される機能のうち、ユーザ端末10について本発明に関連する機能を示す機能ブロック図である。図11に示すように、ユーザ端末10は、機能として入力変換部102、エンコード部104、パケット送信部106、パケット受信部108、デコード部110、及び出力変換部112を備える。
ユーザ端末10では、制御部11が記憶部12に記憶されるプログラムに従って処理を実行することにより、ユーザ端末10に含まれる上記の各機能を実現することとしてよい。
[3.1.1.入力変換部102]
入力変換部102は、主に制御部11及び記憶部12によって実現されることとしてよい。入力変換部102は、カメラ15により撮影されたカメラ画像と、マイク16により集音された音声とを取得し、取得したカメラ画像と音声とを所定の形式のデジタルデータに変換する。例えば、入力変換部102は、取得したカメラ画像と音声がアナログ信号である場合にはデジタル信号に変換することとしてもよい。例えば、入力変換部102は、カメラ15からは所定の周期(例えば、1/30秒や1/60秒ごと等)で撮影されたカメラ画像を順次取得することとしてよい。また例えば、入力変換部102は、カメラ15から取得したカメラ画像に対して、所定の標本化、量子化、符号化の処理を施すことにより、所定の形式の画像データに変換することとしてよい。また、同様に入力変換部102は、マイク16から取得した音声に対して、所定の標本化、量子化、符号化の処理を施すことにより、所定の形式の音声データに変換することとしてよい。入力変換部102は、デジタルデータに変換したカメラ画像データと音声データとをエンコード部104に出力する。
入力変換部102は、主に制御部11及び記憶部12によって実現されることとしてよい。入力変換部102は、カメラ15により撮影されたカメラ画像と、マイク16により集音された音声とを取得し、取得したカメラ画像と音声とを所定の形式のデジタルデータに変換する。例えば、入力変換部102は、取得したカメラ画像と音声がアナログ信号である場合にはデジタル信号に変換することとしてもよい。例えば、入力変換部102は、カメラ15からは所定の周期(例えば、1/30秒や1/60秒ごと等)で撮影されたカメラ画像を順次取得することとしてよい。また例えば、入力変換部102は、カメラ15から取得したカメラ画像に対して、所定の標本化、量子化、符号化の処理を施すことにより、所定の形式の画像データに変換することとしてよい。また、同様に入力変換部102は、マイク16から取得した音声に対して、所定の標本化、量子化、符号化の処理を施すことにより、所定の形式の音声データに変換することとしてよい。入力変換部102は、デジタルデータに変換したカメラ画像データと音声データとをエンコード部104に出力する。
[3.1.2.エンコード部104]
エンコード部104は、主に制御部11及び記憶部12によって実現されることとしてよい。エンコード部104は、入力変換部102で変換されたカメラ画像データ(映像データ)と音声データとをそれぞれ所定の圧縮規格に基づいて圧縮する。そして、エンコード部104は、圧縮したカメラ画像データと音声データをパケット送信部106に出力する。
エンコード部104は、主に制御部11及び記憶部12によって実現されることとしてよい。エンコード部104は、入力変換部102で変換されたカメラ画像データ(映像データ)と音声データとをそれぞれ所定の圧縮規格に基づいて圧縮する。そして、エンコード部104は、圧縮したカメラ画像データと音声データをパケット送信部106に出力する。
[3.1.3.パケット送信部106]
パケット送信部106は、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。パケット送信部106は、エンコード部104により圧縮されたカメラ画像データと、音声データをそれぞれ送信するパケットのサイズに応じて分割し、例えばTCP(Transmission Control Protocol)ヘッダ及びIP(Internet Protocol)ヘッダを付加してパケット化する。なお、カメラ画像データのパケットと、音声データのパケットにはそれぞれ時刻同期情報を含んでいることとし、時刻同期情報に基づいてカメラ画像データと音声データとが同期再生可能である。そして、パケット送信部106は、パケット化したカメラ画像データ、音声データ、及び制御情報を多重化した送信パケットを生成し、送信パケットを送信バッファ106Aに格納する。そして、パケット送信部106は、送信バッファ106Aに格納された送信パケットを中継装置20に対して順次送信する。
パケット送信部106は、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。パケット送信部106は、エンコード部104により圧縮されたカメラ画像データと、音声データをそれぞれ送信するパケットのサイズに応じて分割し、例えばTCP(Transmission Control Protocol)ヘッダ及びIP(Internet Protocol)ヘッダを付加してパケット化する。なお、カメラ画像データのパケットと、音声データのパケットにはそれぞれ時刻同期情報を含んでいることとし、時刻同期情報に基づいてカメラ画像データと音声データとが同期再生可能である。そして、パケット送信部106は、パケット化したカメラ画像データ、音声データ、及び制御情報を多重化した送信パケットを生成し、送信パケットを送信バッファ106Aに格納する。そして、パケット送信部106は、送信バッファ106Aに格納された送信パケットを中継装置20に対して順次送信する。
[3.1.4.パケット受信部108]
パケット受信部108は、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。パケット受信部108は、中継装置20からパケットを受信し、受信したパケット(受信パケット)を受信バッファ108Aに格納する。例えば受信パケットには、画像(合成画像)、合成音声及び制御情報のそれぞれのパケットが多重化されていることとしてよい。
パケット受信部108は、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。パケット受信部108は、中継装置20からパケットを受信し、受信したパケット(受信パケット)を受信バッファ108Aに格納する。例えば受信パケットには、画像(合成画像)、合成音声及び制御情報のそれぞれのパケットが多重化されていることとしてよい。
[3.1.5.デコード部110]
デコード部110は、主に制御部11及び記憶部12によって実現されることとしてよい。デコード部110は、パケット受信部108の受信バッファに格納された受信パケットに多重化された画像データと、音声データのパケットを、それぞれの予め定められた基準(例えば予め規定された仕様)に沿ったTCPヘッダの情報に基づく順序で読み出して、読み出したパケットを展開する。そして、デコード部110は、展開した画像データと音声データを出力変換部112に出力する。
デコード部110は、主に制御部11及び記憶部12によって実現されることとしてよい。デコード部110は、パケット受信部108の受信バッファに格納された受信パケットに多重化された画像データと、音声データのパケットを、それぞれの予め定められた基準(例えば予め規定された仕様)に沿ったTCPヘッダの情報に基づく順序で読み出して、読み出したパケットを展開する。そして、デコード部110は、展開した画像データと音声データを出力変換部112に出力する。
[3.1.6.出力変換部112]
出力変換部112は、主に制御部11及び記憶部12によって実現されることとしてよい。出力変換部112は、デコード部110から入力された画像データと音声データをそれぞれデジタルデータから所定の形式の出力信号に変換する。例えば、出力信号は、デジタル信号であってもよいし、アナログ信号であってもよい。そして、出力変換部112は、画像データと音声データの時刻同期情報に基づいて、所定の形式の出力信号に変換した画像と音声とを同期させながら、それぞれディスプレイ18とスピーカ17に出力してデータ再生する。
出力変換部112は、主に制御部11及び記憶部12によって実現されることとしてよい。出力変換部112は、デコード部110から入力された画像データと音声データをそれぞれデジタルデータから所定の形式の出力信号に変換する。例えば、出力信号は、デジタル信号であってもよいし、アナログ信号であってもよい。そして、出力変換部112は、画像データと音声データの時刻同期情報に基づいて、所定の形式の出力信号に変換した画像と音声とを同期させながら、それぞれディスプレイ18とスピーカ17に出力してデータ再生する。
[3.2.中継装置20において実現される機能]
次に、図12乃至図16に基づいて、中継装置20に備えられる機能について説明する。
次に、図12乃至図16に基づいて、中継装置20に備えられる機能について説明する。
図12は、配信システム1で実現される機能のうち、中継装置20について本発明に関連する機能を示す機能ブロック図である。図12に示すように、中継装置20は、機能としてパケット受信部200−1〜N(Nは3以上の整数)、デコード部210−1〜N、参加者用合成部220−1〜N、視聴者用合成部220−G、エンコード部240−1〜N、エンコード部240−G、パケット送信部250−1〜N、パケット送信部250−Gを備える。なお、iを1以上の整数としたときに、ユーザ端末10−iに対して、パケット受信部200−i、デコード部210−i、参加者用合成部220−i、エンコード部240−i、パケット送信部250−iのユニット(組)が設けられる。また、上記のユニットはユーザ端末10−iがコラボ配信に参加する場合に新規に設けられ、コラボ配信への参加を終了する場合に削除されることとしてよい。
中継装置20では、制御部21が記憶部22に記憶されるプログラムに従って処理を実行することにより、中継装置20に含まれる上記の各機能を実現することとしてよい。
[3.2.1.パケット受信部]
パケット受信部200−i(iは1〜Nの任意の整数)は、主に制御部21、記憶部22及び通信部23によって実現されることとしてよい。パケット受信部200−iは、ユーザ端末10−iのパケット送信部106により送信されたパケットを受信する。パケット受信部200−iは、ユーザ端末10−iから受信したパケットを、パケット受信部200−iの受信バッファに格納することとしてよい。
パケット受信部200−i(iは1〜Nの任意の整数)は、主に制御部21、記憶部22及び通信部23によって実現されることとしてよい。パケット受信部200−iは、ユーザ端末10−iのパケット送信部106により送信されたパケットを受信する。パケット受信部200−iは、ユーザ端末10−iから受信したパケットを、パケット受信部200−iの受信バッファに格納することとしてよい。
例えば、パケット受信部200−iの受信バッファは、第1のバッファと、第1のバッファよりもサイズが大きい(すなわちより長い時間のデータを格納する)第2のバッファを含むこととしてもよい。この場合に、パケット受信部200−iは、受信したパケットを第1のバッファと第2のバッファにそれぞれ格納することとしてもよい。また、第1のバッファを第2のバッファの一部として構成してもよい。
[3.2.2.デコード部]
デコード部210−i(iは1〜Nの任意の整数)は、主に制御部21及び記憶部22によって実現されることとしてよい。デコード部210−iは、パケット受信部200−iの受信バッファに格納されたパケットに多重化された画像データと、音声データのパケットを、それぞれの予め定められた基準(例えば予め規定された仕様)に沿ったTCPヘッダの情報に基づく順序で読み出して、読み出したパケットを展開する。そして、デコード部210−iは、展開した画像データと音声データ(例えば音声データは波形データとしてよい)を参加者用合成部220−1〜N及び視聴者用合成部220−Gに出力する。なお、デコード部210−iは、参加者用合成部220−1〜Nに出力する画像データについては画像サイズ(解像度)が、視聴者用合成部220−Gに出力する画像データよりも小さくなるように変換することとしてもよい。
デコード部210−i(iは1〜Nの任意の整数)は、主に制御部21及び記憶部22によって実現されることとしてよい。デコード部210−iは、パケット受信部200−iの受信バッファに格納されたパケットに多重化された画像データと、音声データのパケットを、それぞれの予め定められた基準(例えば予め規定された仕様)に沿ったTCPヘッダの情報に基づく順序で読み出して、読み出したパケットを展開する。そして、デコード部210−iは、展開した画像データと音声データ(例えば音声データは波形データとしてよい)を参加者用合成部220−1〜N及び視聴者用合成部220−Gに出力する。なお、デコード部210−iは、参加者用合成部220−1〜Nに出力する画像データについては画像サイズ(解像度)が、視聴者用合成部220−Gに出力する画像データよりも小さくなるように変換することとしてもよい。
例えば、デコード部210−iは、パケット受信部200−iの受信バッファが、第1のバッファと、第2のバッファを有する場合には、第1のバッファに一定量(例えば閾値α以上)のパケットが格納されたタイミングで第1のバッファからパケットを読み出して展開したデータを参加者用合成部220−1〜Nに出力することとしてもよい。この場合に、デコード部210−iは、第2のバッファに一定量(例えば閾値β(>α)以上)のパケットが格納されたタイミングで第2のバッファからパケットを読み出して展開したデータを視聴者用合成部220−Gに出力することとしてもよい。
[3.2.3.参加者用合成部]
参加者用合成部220−i(iは1〜Nの任意の整数)は、主に制御部21及び記憶部22によって実現されることとしてよい。参加者用合成部220−iは、ユーザ端末10−iに提供する合成画像と、合成音声を生成する。なお、ユーザ端末10−iに提供する合成画像は、ユーザ端末10−1〜Nのうち、ユーザ端末10−i以外のユーザ端末から受信したカメラ画像を合成(例えば1つの画像に連結)したものである。また、ユーザ端末10−iに提供する合成音声は、ユーザ端末10−1〜Nのうち、ユーザ端末10−i以外のユーザ端末から受信した音声を合成(例えば音声の波形を合成)したものである。以下、図13に基づいて、参加者用合成部220−iの構成の詳細について説明する。
参加者用合成部220−i(iは1〜Nの任意の整数)は、主に制御部21及び記憶部22によって実現されることとしてよい。参加者用合成部220−iは、ユーザ端末10−iに提供する合成画像と、合成音声を生成する。なお、ユーザ端末10−iに提供する合成画像は、ユーザ端末10−1〜Nのうち、ユーザ端末10−i以外のユーザ端末から受信したカメラ画像を合成(例えば1つの画像に連結)したものである。また、ユーザ端末10−iに提供する合成音声は、ユーザ端末10−1〜Nのうち、ユーザ端末10−i以外のユーザ端末から受信した音声を合成(例えば音声の波形を合成)したものである。以下、図13に基づいて、参加者用合成部220−iの構成の詳細について説明する。
図13に示されるように、参加者用合成部220−iは、参加者用バッファ領域221−i、合成タイミング制御データ領域223−i、合成制御部225−i、合成部227−iを備える。
参加者用バッファ領域221−iは、ユーザ端末10−j(ただしjは1〜Nのうちiを除く任意の整数)のデータ(画像データ、音声データ)を格納する参加者用バッファBf(j)を含む。参加者用バッファBf(j)には、音声データを音声の波形データとして記憶することとしてもよい。また、参加者用バッファBf(j)には、最大で予め定められた第1の時間長のデータ(画像データ、音声データ)が記憶されることとしてよい。
合成タイミング制御データ領域223−iは、参加者用バッファBF(j)に格納されたデータ(画像データ、音声データ)を合成するための合成タイミング制御データD(j)を記憶する。本実施形態では、合成タイミング制御データD(j)は、参加者用バッファBF(j)に格納されたユーザごとの合成を終えているデータの位置(合成完了位置)と、遅れ時間とを含む。また、図14には、合成タイミング制御データ領域223−iに記憶されるデータの一例を示した。
図14に示されるように、合成タイミング制御データ領域223−iには、コラボ配信に参加するユーザ(注目ユーザとする)のID、当該注目ユーザと対話する他のユーザのID、注目ユーザに対して送信する他のユーザのデータの合成完了位置(例えば、当該他のユーザのユーザ端末10が中継装置20と通信開始してからの時間を用いて表すこととしてよい)、遅れ時間が関連付けて記憶される。なお、注目ユーザに対して、次に他のユーザのデータを送る際には、合成済みの位置を先頭としたデータを切り出し、切り出したデータを合成後に送信することとなる。また、遅れ時間は、注目ユーザに対して、他のユーザのデータを合成して送信するに当たり、注目ユーザの参加者用バッファに格納された他のユーザのデータについて到着分(時間長)が不揃いであるときに、未到着の部分を空データとして送信したユーザについては、空データとして送信した分の時間長が遅れ時間の加算分となる。また、注目ユーザの参加者用バッファに格納されたユーザのデータのうち、実時間の経過に比べて多くの時間長のデータを送った場合に、そのユーザについては遅れ時間が減算される。また、注目ユーザの参加者用バッファに格納されたユーザのデータのうち、所定の条件を満足するデータの部分をカットした(削除して詰めた)場合にも、カットした分の時間長が遅れ時間の減算分となる。なお、上記の所定の条件を満足するデータとは、例えばユーザの音声データが示す音声のレベルが閾値以下の部分(例えば無音部分)のデータとしてよい。
合成制御部225−iは、参加者用バッファ領域221−iと、合成タイミングデータ制御データ領域223−iに格納された情報に基づいて、ユーザの画像データ、音声データの合成処理を制御する。例えば、合成制御部225−iは、参加者用バッファ領域221−iに格納されたそれぞれの参加者用バッファBf(j)に格納されたデータのうち、合成対象とするデータの部分(合成部分)を決定する。ただし、上記のjは1〜Nのうちiを除く任意の整数であるとする。
例えば、合成制御部225−iは、参加者用バッファBf(j)に記憶されている、合成タイミング制御データD(j)に示される合成完了位置を始点としたデータの長さ(時間長)をそれぞれ参照する。そして、例えば合成制御部225−iは、参照したデータの長さがいずれも0より大きい場合には、その中で最小の長さの部分を合成部分として各参加者用バッファBf(j)から切り出すこととしてもよい。またこの際に、合成制御部225−iは、特定の参加者用バッファBf(j)に閾値(A)より多くの時間長のデータが格納されている場合であって、他の参加者の遅れ時間がいずれも閾値(B)より大きくない場合には、特定の参加者用バッファBf(j)に格納されるデータを合成部分に追加してもよい。また例えば、合成制御部225−iは、特定の参加者用バッファBf(j)に閾値(A)より多くの時間長のデータが格納されている場合であって、他の参加者の遅れ時間のいずれが閾値(B)より大きい場合には、特定の参加者用バッファBf(j)に格納されるデータのうち無音部分をカットすることとしてもよい。また例えば、合成制御部225−iは、所定の待機時間の後においても、参照したデータのうち長さが0のデータがある場合には、長さが0より大きいデータの中で最小の長さの部分を合成部分として各参加者用バッファBf(j)から切り出し、長さの0のデータについては合成部分を空データとすることとしてもよい。
また、合成制御部225−iは、コラボ配信への参加者の数に基づいて、参加者用バッファ領域221−iに格納される各ユーザの画像データを合成する際の1ユーザ当たりの画像領域のサイズS(基準画像サイズ)を決定することとしてよい。例えば、合成制御部225−iは、参加者数(N)が大きくなるにつれて、1ユーザ当たりの画像領域のサイズSを小さくすることとしてもよい。また例えば、合成制御部225−iは、合成画像について定められた所定の画像領域を、(N−1)個に分割した画像サイズを上記のサイズSとして決定することとしてもよい。また例えば、合成制御部225−iは、合成する画像数(N−1)の各画像を重ねずに上記の所定の画像領域内に配置することができる画像サイズを上記のサイズSとして決定することとしてもよい。また例えば、合成制御部225−iは、参加者の数が1人増えるごとに定められた一定の比率で1ユーザ当たりの画像領域のサイズSが小さくなるようにしてもよい。また例えば、合成制御部225−iは、コラボ配信への参加者の数が閾値を超えた場合に、参加者の数に応じて1ユーザ当たりの画像領域のサイズSが小さくなるようにしてもよい。
図15には、合成制御部225−iにより決定される1ユーザ当たりの画像領域のサイズの例を示した。図15(A)には、参加者(N)が5である場合に、1つの合成画像フレームF100を4つの部分画像領域に分割し、各部分画像領域に1つのユーザの画像データを割り当てる例を示した。また、図15(B)には、参加者(N)が11である場合に、1つの合成画像フレームF100を10の部分画像領域に分割し、各部分画像領域に1つのユーザの画像データを割り当てる例を示した。また、図15(C)には、参加者(N)が16である場合に、1つの合成画像フレームF100の中に、15の部分画像領域を設定し、各部分画像領域に1つのユーザの画像データを割り当てる例を示した。また、1つのユーザの画像データを割り当てる部分画像領域の縦横比は、画像データの縦横比と同一としてもよい。また、合成画像フレームF100は、予め定められた最小サイズと最大サイズの範囲で大きさを可変としてもよい。
また、合成制御部225−iは、例えば合成対象の各データについて、合成部分の終了位置、合成部分の時間長、合成部分に含まれる空データの時間長に基づいて、合成タイミング制御データD(j)を更新することとしてよい。
合成部227−iは、合成制御部225−iにより決定した各参加者用バッファBf(j)についての合成部分をそれぞれ合成する。例えば、合成部227−iは、音声データに関しては、各参加者用バッファBf(j)の音声データの波形を合成して合成音声のデータを生成することとしてよい。また、合成部227−iは、画像データに関しては、各参加者用バッファBf(j)の合成部分のフレームごとの画像データを、1ユーザ当たりの画像領域のサイズ(S)に変換した上で、変換後の各画像を連結してフレームごとの合成画像を生成することとしてよい。
[3.2.4.視聴者用合成部]
視聴者用合成部220−Gは、主に制御部21及び記憶部22によって実現されることとしてよい。視聴者用合成部220−Gは、ユーザ端末10Gに提供する合成画像と、合成音声を生成する。なお、ユーザ端末10Gに提供する合成画像は、ユーザ端末10−1〜Nから受信したカメラ画像を合成したものである。また、ユーザ端末10Gに提供する合成音声は、ユーザ端末10−1〜Nから受信した音声を合成(例えば音声の波形を合成)したものである。以下、図16に基づいて、視聴者用合成部220−Gの構成の詳細について説明する。
視聴者用合成部220−Gは、主に制御部21及び記憶部22によって実現されることとしてよい。視聴者用合成部220−Gは、ユーザ端末10Gに提供する合成画像と、合成音声を生成する。なお、ユーザ端末10Gに提供する合成画像は、ユーザ端末10−1〜Nから受信したカメラ画像を合成したものである。また、ユーザ端末10Gに提供する合成音声は、ユーザ端末10−1〜Nから受信した音声を合成(例えば音声の波形を合成)したものである。以下、図16に基づいて、視聴者用合成部220−Gの構成の詳細について説明する。
図16に示されるように、視聴者用合成部220−Gは、参加者用バッファ領域221−Gと、合成タイミング制御データ領域223−G、合成制御部225−G、合成部227−Gを備える。
参加者用バッファ領域221−Gは、ユーザ端末10−k(ただしkは1〜Nの整数)のデータ(画像データ、音声データ)を格納する視聴者用バッファBf(k)を含む。視聴者用バッファBf(k)には、音声データを音声の波形データとして記憶することとしてよい。また、視聴者用バッファBf(k)は、参加者用バッファBf(j)よりも記憶容量が大きく、例えば最大で予め定められた第2の時間長(>第1の時間長)のデータ(画像データ、音声データ)が記憶されることとしてよい。
合成タイミング制御データ領域223−Gは、視聴者用バッファBf(k)に格納されたデータ(画像データ、音声データ)を合成するための合成タイミング制御データD(k)を記憶する。本実施形態では、合成タイミング制御データD(k)は、視聴者用バッファBf(k)に格納されたユーザごとの合成を終えているデータの位置(合成完了位置)と、遅れ時間とを含む。また、図17には、合成タイミング制御データ領域223−Gに記憶されるデータの一例を示した。
図17に示されるように、合成タイミング制御データ領域223−Gには、コラボ配信に参加するユーザのID、そのユーザのデータについての合成完了位置、遅れ時間が関連付けて記憶される。合成完了位置、遅れ時間については参加者用合成部220−iにおいて説明したものと同様である。
合成制御部225−Gは、参加者用バッファ領域221−Gと、合成タイミングデータ制御データ領域223−Gに格納された情報に基づいて、ユーザの画像データ、音声データの合成処理を制御する。例えば、合成制御部225−Gは、参加者用バッファ領域221−Gに格納されたそれぞれの参加者用バッファBf(k)に格納されたデータのうち、合成対象とするデータの部分(合成部分)を決定する。ただし上記のkは1〜Nの任意の整数としてよい。なお、合成部分の決定処理については、上述した参加者用合成部220−iにおける処理と同様であるため省略する。
また、合成制御部225−Gは、コラボ配信への参加者の数に基づいて、参加者用バッファ領域221−Gに格納される各ユーザの画像データを合成する際の1ユーザ当たりの画像領域のサイズ(S)を決定することとしてよい。この処理に関しても合成制御部225−iと同様であるため省略する。
また、合成制御部225−Gは、例えば合成対象の各データについて、合成部分の終了位置、合成部分の時間長、合成部分に含まれる空データの時間長に基づいて、合成タイミング制御データD(k)を更新することとしてよい。
合成部227−Gは、合成制御部225−Gにより決定した各視聴者用バッファBf(k)についての合成部分をそれぞれ合成する。例えば、合成部227−Gは、音声データに関しては、各視聴者用バッファBf(k)の音声データの波形を合成して合成音声のデータを生成することとしてよい。また、合成部227−Gは、画像データに関しては、例えば、視聴者用バッファBf(1)の画像データを背景画像とし、視聴者用バッファBf(2)〜視聴者用バッファBf(N)のそれぞれの画像データを1ユーザ当たりの画像領域のサイズ(S)に変換して連結した小窓埋め込み用の小窓合成画像を、上記の背景画像の小窓領域(部分領域)に埋め込むことで合成画像を生成することとしてよい。なお、背景画像は視聴者用バッファBf(1)〜(N)の任意の1つから選択されることとしてよく、その場合に小窓合成画像は上記選択されたバッファ以外のバッファに格納された画像を連結したものとしてよい。
[3.2.5.エンコード部]
エンコード部240−1〜N及びエンコード部240−Gは、主に制御部21及び記憶部22によって実現されることとしてよい。
エンコード部240−1〜N及びエンコード部240−Gは、主に制御部21及び記憶部22によって実現されることとしてよい。
エンコード部240−i(iは1〜Nの任意の整数)は、参加者用合成部220−iで合成された合成画像データと合成音声データとをそれぞれ所定の圧縮規格に基づいて圧縮する。そして、エンコード部240−iは、圧縮した合成画像データと音声データをパケット送信部250−iに出力する。
また、エンコード部240−Gは、視聴者用合成部220−Gで合成された合成画像データと合成音声データとをそれぞれ所定の圧縮規格に基づいて圧縮する。そして、エンコード部240−Gは、圧縮した合成画像データと音声データをパケット送信部250−Gに出力する。
[3.2.6.パケット送信部]
パケット送信部250−1〜N及びパケット送信部250−Gは、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。
パケット送信部250−1〜N及びパケット送信部250−Gは、主に制御部11、記憶部12及び通信部13によって実現されることとしてよい。
パケット送信部250−i(iは1〜Nの任意の整数)は、エンコード部240−iにより圧縮された合成画像データと、合成音声データをそれぞれ送信するパケットのサイズに応じて分割し、例えばTCP(Transmission Control Protocol)ヘッダ及びIP(Internet Protocol)ヘッダを付加してパケット化する。なお、合成画像データのパケットと、合成音声データのパケットにはそれぞれ時刻同期情報を含んでいることとし、時刻同期情報に基づいて合成画像データと合成音声データとが同期再生される。そして、パケット送信部250−iは、パケット化した合成画像データ、合成音声データ、及び制御情報を多重化した送信パケットを生成し、送信パケットを送信バッファに格納する。そして、パケット送信部は、送信バッファに格納された送信パケットをユーザ端末10−iに対して順次送信する。
パケット送信部250−Gは、エンコード部250−Gにより圧縮された合成画像データと、合成音声データをそれぞれパケット化して生成した送信パケットを送信バッファに格納し、格納した送信パケットをユーザ端末10−Gに対して順次送信する。
[4.配信システム1において実行される処理]
図18乃至図22は、配信システム1において実行される処理を示す図である。図18乃至図22においてユーザ端末10に関する処理は、ユーザ端末10の制御部11が記憶部12に記憶されたプログラムに基づいて実行し、中継装置20に関する処理は、中継装置20の制御部21が記憶部22に記憶されたプログラムに基づいて実行するものとしてよい。
図18乃至図22は、配信システム1において実行される処理を示す図である。図18乃至図22においてユーザ端末10に関する処理は、ユーザ端末10の制御部11が記憶部12に記憶されたプログラムに基づいて実行し、中継装置20に関する処理は、中継装置20の制御部21が記憶部22に記憶されたプログラムに基づいて実行するものとしてよい。
[4.1.コラボ配信開始処理]
図18は、配信システム1において実行されるコラボ配信開始処理の一例を示すシーケンス図である。図18に示す例では、ユーザ端末10−1が中継装置20と通信することによりコラボ配信を開始する際の処理について説明する。
図18は、配信システム1において実行されるコラボ配信開始処理の一例を示すシーケンス図である。図18に示す例では、ユーザ端末10−1が中継装置20と通信することによりコラボ配信を開始する際の処理について説明する。
図18に示されるように、ユーザ端末10−1の制御部11は、入力部14によりユーザからコラボ配信の開始要求の操作を受け付けると(S100)、中継装置20に対して、通信部13によりコラボ配信の開始を要求する(S101)。例えば、ユーザ端末10−1の制御部11は、図2に示した開始要求受付画面G100における配信開始ボタンP102が選択された場合に、配信の開始要求を受け付け、配信の開始を要求することとしてよい。この際に、例えばユーザ端末10−1は、通信部13によりコラボ配信に係るユーザの情報、配信の情報(説明情報、配信モード等)等を中継装置20に送信することとしてよい。
中継装置20の制御部21は、通信部23によりユーザ端末10−1からコラボ配信の開始要求を受け付けると、受け付けた開始要求に基づいて配信情報を登録する(S200)。そして、中継装置20の制御部21は、通信部23によりユーザ端末10−1に対して、配信開始の許可を通知する(S201)。
ユーザ端末10−1の制御部11は、通信部13により中継装置20から配信開始の許可を受け付けると、ユーザ端末10−1のマイク16とカメラ15から音声と画像を取得し(S102)、取得した音声と画像を符号化してパケットを生成する(S103)。そして、ユーザ端末10−1の制御部11は、生成したパケットを順次、通信部13により中継装置20に対して送信する(S105)。
中継装置20の制御部21は、通信部23によりユーザ端末10−1から送信されたパケットを受信すると、受信したパケットを受信バッファに順次格納する(S202)。そして、中継装置20の制御部21は、受信バッファに格納されたパケットに基づいて配信制御処理を実行し(S203)、その結果生成したパケットを、通信部23によりユーザ端末10−1に対して送信する(S204)。なお、S105で実行されるパケットの送信処理と、S204で実行されるパケットの送信処理とは非同期で実施してよい。その場合に、S105で送信されるパケットの到着を待たずに、S204によりバッファに格納されているパケット(データ)を送信することとしてよい。なお、上記の配信制御処理の詳細については後述する。
ユーザ端末10−1の制御部11は、通信部により中継装置20から送信されたパケットを受信すると、受信したパケットを受信バッファに順次格納する(S106)。そして、中継装置20の制御部21は、受信バッファに格納されたパケットに基づいて再生制御処理を実行する(S107)。なお、上記の再生制御処理の詳細については後述する。
また、ユーザ端末10−1の制御部11は、コラボ配信を終了せずに継続する場合には(S108:N)、S102に戻り、継続しない場合には(S108:Y)、通信部13により中継装置20に終了を通知して(S109)、処理を終了する。
中継装置20の制御部21は、通信部23によりユーザ端末10−1から終了の通知を受けると、コラボ配信の終了処理を実行する。
[4.2.コラボ配信参加処理]
図19は、配信システム1において実行されるコラボ配信への参加処理の一例を示すシーケンス図である。図19に示す例では、ユーザ端末10−2が、ユーザ端末10−1が開始したコラボ配信に参加する際の処理について説明する。
図19は、配信システム1において実行されるコラボ配信への参加処理の一例を示すシーケンス図である。図19に示す例では、ユーザ端末10−2が、ユーザ端末10−1が開始したコラボ配信に参加する際の処理について説明する。
図19に示されるように、ユーザ端末10−2の制御部11は、入力部14によりユーザから受け付けた操作に応じて、通信部13により中継装置20に配信リストの転送を要求する(S110)。
中継装置20の制御部21は、通信部23によりユーザ端末10−2から配信リストの転送要求を受け付けると、登録されている配信情報に基づいて配信リストを生成して、生成した配信リストを通信部23によりユーザ端末10−2に送信する(S210)。
ユーザ端末10−2の制御部11は、通信部13により中継装置20から配信リストを受信すると、上記受信した配信リストをディスプレイ18に表示させ(例えば図3に示した配信リスト表示画面G200等)、表示した配信リストの中から配信データの選択を受け付ける(S111)。そして、ユーザ端末10−2の制御部11は、通信部13により中継装置20に上記選択された配信データの情報を通知して、選択された配信データの配信を要求する(S112)。
中継装置20の制御部21は、通信部23によりユーザ端末10−2から受け付けたデータ配信の要求に応じて、データ(ストリーミングデータ)を配信する(S211)。
ユーザ端末10−2の制御部11は、通信部13により中継装置20から配信データを受信し、受信した配信データに基づく再生処理を実行する(S113)。例えば、ユーザ端末10−2の制御部11は、配信データに含まれる画像データに基づいて図4に示される配信データの再生画面G201をディスプレイ18に表示させるとともに、配信データに含まれる音声データに基づく音声をスピーカ17に出力してデータ再生することとしてよい。
ここで、ユーザ端末10−2の制御部11は、例えば図4に示される再生画面G201において参加アイコンP104が選択されることで、受信している配信データに係るコラボ配信への参加要求をユーザから受け付けると(S114)、通信部13により中継装置20に対して参加を要求する(S115)。
中継装置20の制御部21は、通信部23によりユーザ端末10−2から参加要求を受け付けると、コラボ配信を開始したユーザ端末10−1に対して、参加を許可するか否かを問い合わせる(S212)。例えば、参加の許否の問い合わせは、図5に示される参加可否問い合わせ画面G101を表示させ、その選択結果を受け付けることで行うこととしてよい。
中継装置20の制御部21は、ユーザ端末10−1への問い合わせの結果が許可でない場合には(S213:N)、通信部23によりユーザ端末10−2に不許可を通知する(S214)。
ユーザ端末10−2の制御部11は、通信部13により中継装置20から不許可の通知を受けると、参加エラー処理を実行する(S116)。例えば、参加エラー処理としては、ユーザ端末の制御部11は、参加不許可の旨をディスプレイ18に表示させることとしてよい。
一方、中継装置20の制御部21は、ユーザ端末10−1への問い合わせの結果が許可である場合には(S213:Y)、通信部23によりユーザ端末10−2に許可を通知する(S215)。
ユーザ端末10−2の制御部11は、通信部13により中継装置20から許可の通知を受信すると、ユーザ端末10−2のマイク16とカメラ15から音声と画像を取得し(S117)、取得した音声と画像を符号化してパケットを生成する(S118)。そして、ユーザ端末10−2の通信部11は、生成したパケットを順次、中継装置20に対して送信する(S119)。
中継装置20の制御部21は、通信部23によりユーザ端末10−2から送信されたパケットを受信すると、受信したパケットを受信バッファに順次格納する(S216)。そして、中継装置20の制御部21は、受信バッファに格納されたパケットに基づいて配信制御処理を実行し(S217)、その結果生成したパケットを、通信部23によりユーザ端末10−2に対して送信する(S218)。なお、S119で実行されるパケットの送信処理と、S218で実行されるパケットの送信処理とは非同期で実施してよい。その場合に、S11で送信されるパケットの到着を待たずに、S218によりバッファに格納されているパケット(データ)を送信することとしてよい。なお、配信制御処理の詳細については後述する。
ユーザ端末10−2の制御部11は、通信部13により中継装置20から送信されたパケットを受信すると、受信したパケットを受信バッファに順次格納する(S120)。そして、ユーザ端末10−2の制御部11は、受信バッファに格納されたパケットに基づいて再生制御処理を実行する(S121)。なお、再生制御処理の詳細については後述する。
また、ユーザ端末10−2の制御部11は、コラボ配信への参加を継続する場合には(S122:N)、S117に戻り、継続しない場合には(S122:Y)、コラボ配信への参加を終了する(S123)。ここで例えば、ユーザ端末10−2は、中継装置20からの配信データの受信を継続したまま配信データの再生を続けてもよいし、配信データの受信を終了してもよい。
[4.3.配信制御処理]
次に、中継装置20で実行される配信制御処理の一例について説明する。図20は、中継装置20において実行される配信制御処理の一例を示すフロー図である。図20に示す例では、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信したデータを合成する処理について説明する。
次に、中継装置20で実行される配信制御処理の一例について説明する。図20は、中継装置20において実行される配信制御処理の一例を示すフロー図である。図20に示す例では、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信したデータを合成する処理について説明する。
図20に示されるように、中継装置20の制御部21は、参加者用合成部220−1の参加者用バッファ領域221−1に記憶される他の参加者のユーザ端末10−2〜Nのそれぞれの参加者用バッファBf(2)〜Bf(N)に格納される音声データ(波形データ)をチェックする(S220)。
中継装置20の制御部21は、S220の結果、他の全ての参加者の波形データが揃っている場合には(S221:Y)、波形データにおける未合成の部分のうち同じ時間長(最大をTmax)の波形部分を合成対象とする(S222)。例えば、中継装置20の制御部21は、他の全ての参加者の波形データのうち未合成の部分が最小の時間長である波形データの部分を、合成対象として決定することとしてよい(すなわち、他の全ての参加者の波形データが揃っている部分を合成部分とすることとしてよい)。
次に、中継装置20の制御部21は、変数jを2に初期化し(S223)、参加者用バッファBf(j)に記憶される波形データ(例えば、S222で決定した合成部分を除く部分としてよい)の時間長が閾値(Aとする)よりも大きい場合には(S224:Y)、S225に進む。
中継装置20の制御部21は、S225において、合成タイミング制御データ領域223−1に記憶される他のいずれかの参加者の遅れ時間が閾値(Bとする)よりも大きい場合には(S225:Y)、参加者用バッファBf(j)に記憶される波形データのうち無音部分をカットする(S226)。また、中継装置20の制御部21は、S225において、合成タイミング制御データ領域223−1に記憶される他の全ての参加者の遅れ時間が閾値(Bとする)以下である場合には(S225:N)、S222で決定した合成部分に、参加者用バッファBf(j)に記憶される波形データ(例えば、S222で決定した合成部分を除く部分)を追加する(S227)。この場合に、Bf(j)以外のバッファに記憶される波形データの追加は行われないこととしてよい(すなわちBf(j)以外については、追加部分は空データとなる)。
次に、中継装置20の制御部21は、変数jがNに達していない場合には(S228:N)、変数jに1を加算して(S229)、S224に戻る。また、中継装置20の制御部21は、変数jがNに達している場合には(S228:Y)、S232に進む。
また、中継装置20の制御部21は、S221において、他の参加者のうちいずれかの波形データが揃っていない(すなわちデータが格納されていないバッファがある)場合には(S221:N)、待機時間が閾値(Cとする)を超えないときには(S230:N)、S220に戻り、待機時間が閾値(Cとする)を超えたときには(S230:Y)、参加者用バッファBf(j)に記憶される波形データ(すなわち到着しているデータ)について切り出した波形部分を合成部分とする(S231)。例えば、中継装置20の制御部21は、参加者用バッファBf(j)に記憶される波形データ(時間長が0以外の波形データ)のうち最小の時間長の波形データの部分を、合成部分として決定することとしてよい。
中継装置20の制御部21は、S231の後又はS228で変数jがNに達している場合には(S228:Y)、S232を実行する。すなわち、中継装置20の制御部21は、以上決定した合成部分についてBf(2)〜Bf(N)にそれぞれ記憶される波形データ(又は波形データに空データを加えたデータ)を合成して合成音声を生成する(S232)。
また、中継装置20の制御部21は、以上決定した合成部分の音声に対応する画像を合成する合成画像生成処理を実行する(S233)。なお、合成画像生成処理の詳細について後述する。
中継装置20の制御部21は、S232で生成した合成音声と、S233で生成した合成画像とをそれぞれ圧縮した後に、パケット化して配信用のパケットを生成する(S234)。
また、中継装置20の制御部21は、合成部分の時間長、合成部分に含まれる空データの時間長等に基づいて、合成タイミング制御データ領域223−1のそれぞれの合成タイミング制御データD(2)〜D(N)を更新し(S235)、配信制御処理を抜ける。
なお、図20のフロー図は、中継装置20が、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信したデータを合成する処理について説明するものであるが、中継装置20はユーザ端末10−2〜Nについても同様の処理を実行することとしてよい。また、ユーザ端末10Gに対して、ユーザ端末10−1〜Nから受信したデータを合成する際についても上記のフローと同様の処理を適用することとしてよい。
[4.4.合成画像生成処理]
次に、中継装置20で実行される合成画像生成処理の一例について説明する。図21は、中継装置20において実行される合成画像処理の一例を示すフロー図である。図21に示す例では、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信した画像データを合成して合成画像を生成する処理について説明する。
次に、中継装置20で実行される合成画像生成処理の一例について説明する。図21は、中継装置20において実行される合成画像処理の一例を示すフロー図である。図21に示す例では、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信した画像データを合成して合成画像を生成する処理について説明する。
図21に示されるように、中継装置20の制御部21は、コラボ配信の参加者数(N)に基づいて、1ユーザ当たりの画像領域のサイズSを決定する(S240)。例えば、中継装置20の制御部21は、予め定められたサイズの合成画像の領域内に、(N−1)の参加者の画像を配置する際の1枚当たりの画像サイズを、上記の画像領域のサイズSとして決定することとしてもよい。なお、参加者数ごとに、予め画像領域のサイズSを関連付けて記憶しておくこととしてもよい。
中継装置20の制御部21は、変数tを1に、変数jを2に初期化する(S241)。次に、ユーザ端末10−jについての参加者用バッファBf(j)に記憶される画像データのうち、図20のフローで決定した合成部分に対応するフレーム(フレーム1〜Tとする)における第tフレームの画像Pjの画像サイズがサイズSとなるように変換する(S242)。
次に、中継装置20の制御部21は、S242で画像サイズを変換した画像Pjを、第tフレームの合成画像に設けられた(N−1)個のサイズSの領域(例えばA2〜ANとする)のうち1つ(例えばAj)に割り付ける(S243)。
中継装置20の制御部21は、変数jがNに達していない場合には(S244:N)、変数jに1加算して(S245)、S242に戻る。また、中継装置20の制御部21は、変数jがNに達している場合であって(S244:Y)、さらにフレームtがTに達していないときには(S246:N)、変数jを1に、変数tに1加算して(S247)、S242に戻る。
また、中継装置20の制御部21は、S246でフレームtがTに達しているときには(S246:Y)、合成画像生成処理を抜ける。
なお、図21のフロー図は、中継装置20が、ユーザ端末10−1に対して、コラボ配信に参加するユーザ端末10−2〜Nから受信した画像データを合成する処理について説明するものであるが、中継装置20はユーザ端末10−2〜Nに対しても同様の処理を実行することとしてよい。また、中継装置20は、ユーザ端末10Gに対しても、ユーザ端末10−1〜Nから受信した画像データを合成する際において、ユーザ端末10−2〜Nの画像データを上記のフローと同様の処理で合成した後に、合成した画像をユーザ端末10−1の画像データの一部に埋め込むことで合成画像を生成することとしてよい。
[4.5.再生制御処理]
次に、ユーザ端末10−1〜N、及びユーザ端末10Gで実行される再生制御処理の一例について説明する。図22は、ユーザ端末10−1〜N、及びユーザ端末10Gにおいて実行される再生制御処理の一例を示すフロー図である。図22に示す例では、ユーザ端末10−1が、中継装置20から受信したパケットに基づいてデータを再生する処理について説明する。
次に、ユーザ端末10−1〜N、及びユーザ端末10Gで実行される再生制御処理の一例について説明する。図22は、ユーザ端末10−1〜N、及びユーザ端末10Gにおいて実行される再生制御処理の一例を示すフロー図である。図22に示す例では、ユーザ端末10−1が、中継装置20から受信したパケットに基づいてデータを再生する処理について説明する。
図22に示されるように、ユーザ端末10−1の制御部11は、中継装置20から受信したパケットを格納する受信バッファにパケットが格納されている場合には(S130:Y)、次に再生するパケットを読み込む(S131)。そして、ユーザ端末10−1の制御部11は、S131で読み込んだパケットをデコードして、合成音声と合成画像とを取得する(S132)。
そして、ユーザ端末10−1の制御部11は、ユーザ端末10−1のカメラ15で撮影されたカメラ画像に、合成画像を重畳してディスプレイ18に表示させるとともに、合成音声をスピーカ17で出力してデータ再生し(S133)、再生制御処理を抜ける。
また、ユーザ端末10−1の制御部11は、S130で受信バッファにパケットが格納されていない場合にも(S130:N)、再生制御処理を抜ける。
なお、ユーザ端末10−2〜Nにおいても、上記と同様のフローを実行して中継装置20から受信したパケットに基づくデータ再生を行うこととしてよい。また、ユーザ端末10Gにおいても、中継装置20から受信したパケットを上記のフローに基づいてデータ再生することとしてよい。
以上説明した実施形態に係る配信システム1によれば、それぞれ対話を行う複数のユーザが操作する複数のユーザ端末10−1〜Nから送信された映像と音声を含むパケットに基づくデータを中継装置20が合成して複数のユーザ端末10−1のそれぞれに合成データを配信する際に用いるバッファサイズ(第1のバッファサイズ)と、上記の対話には参加せずに視聴するだけのユーザが操作するユーザ端末10Gに対して、複数のユーザ端末10−1〜Nから送信された映像と音声を含むパケットに基づくデータを中継装置20が合成した合成データを配信する際に用いるバッファサイズ(第2のバッファサイズ)とを異なる容量とし、第1のバッファサイズを第2のバッファサイズよりも小さくしたことで、対話に参加する参加者のユーザ端末10−1〜Nに対しては遅延を低減して配信が実行でき、視聴者のユーザ端末10Gに対してはデータの欠落が少ない高品質の配信が実行できる。
また、上記の配信システム1によれば、対話の参加者数(N)に応じて、中継装置20が1ユーザ当たりのカメラ画像のサイズを制御し、合成画像のサイズが一定の範囲に収まるように合成することで、参加者数(N)が増えた場合にも、ユーザ端末10−1〜Nの限られたディスプレイ18サイズにおいて他のユーザの状況を把握させることができる。また、参加者数(N)が増えた場合にもユーザ端末10−1〜Nの負荷を増大させることもないため、ユーザ端末10−1〜Nの処理能力の制約を小さくすることができ、参加者数(N)の増減に対応し易くなる。
[5.変形例]
なお、本発明は以上に説明した実施の形態に限定されるものではない。
なお、本発明は以上に説明した実施の形態に限定されるものではない。
(1)例えば、配信システム1において、コラボ配信への参加を申請し、参加の待機をしているユーザ端末10−Aに対して、中継装置20はパケット受信部200−A,デコード部210−A、参加者用合成部220−A、エンコード部240−A、パケット送信部250−Aのユニットを新たに設け、コラボ配信に既に参加しているユーザ端末10−1〜Nのデータを上記設けたユニットにより合成して提供するようにしてもよい。
(2)また例えば、配信システム1において、中継装置20は、視聴者用合成部220−Gで合成された配信データをデータベースに記録するようにしてもよい。そして、中継装置20は、記録した配信データを、クライアント装置からの要求に応じてストリーミング配信することとしてもよい。
(3)また例えば、配信システム1において、中継装置20のエンコード部240は、データを提供するユーザ端末の機種や通信回線に応じてエンコードの方式を変えてもよい。
(4)また例えば、配信システム1において、中継装置20は、コラボ配信に参加するユーザ端末10−1〜Nから受信したそれぞれのカメラ画像を、参加者の数に応じた基準画像サイズに縮小した縮小画像して、ユーザ端末10−1〜Nに送信することとしてもよい。この場合には、ユーザ端末10−1〜Nが、中継装置20から受信した縮小画像を所定の窓領域に合成表示させることとしてもよい。
(5)また例えば、配信システム1において、参加者用バッファを視聴者用バッファの一部を利用することで実現してもよい。
(6)また例えば、上述した配信システム1においては、映像と音声を制御するためのヘッダを含めた情報をTCP及びIPプロトコルにより送受信する例を説明したが、映像と音声を制御するためのヘッダを含めた情報をUDP(User Datagram Protocol)及びIPプロトコルにより送受信しても構わない。
1 配信システム、10(10−1〜N,10G) ユーザ端末、11 制御部、12 記憶部、13 通信部、14 入力部、15 カメラ、16 マイク、17 スピーカ、18 ディスプレイ、102 入力変換部、104 エンコード部、106 パケット送信部、106A 送信バッファ、108 パケット受信部、108A 受信バッファ、110 デコード部、112 出力変換部、20 中継装置、21 制御部、22 記憶部、23 通信部、200−1〜N パケット受信部、210−1〜N デコード部、220−1〜N 参加者用合成部、221−i 参加者用バッファ領域、223−i 合成タイミング制御データ領域、225−i 合成制御部、227−i 合成部、220−G 視聴者用合成部、221−G 視聴者用バッファ領域、223−G 合成タイミング制御データ領域、225−G 合成制御部、227−G 合成部、240−1〜N,240−G エンコード部、250−1〜N、250−G パケット送信部、NW ネットワーク。
Claims (8)
- 対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信する手段と、
前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれるそれぞれの画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供手段と、
を含むことを特徴とする変換画像提供装置。 - 請求項1に記載の変換画像提供装置であって、
前記対話に参加するユーザの数は、3以上であり、
前記受信したパケットに基づいて、前記複数のユーザの一のユーザごとに設けられた第1のバッファ領域に、前記複数のユーザのうち該一のユーザ以外のユーザのそれぞれのデータを順次記憶させる第1の記憶制御手段を含み、
前記提供手段は、前記複数のユーザのそれぞれに対しては、該それぞれのユーザについて設けられた前記第1のバッファ領域に記憶されたデータに含まれるユーザの画像を、前記基準画像サイズに変換して合成した合成データを提供する、
ことを特徴とする変換画像提供装置。 - 請求項2に記載の変換画像提供装置であって、
前記受信したパケットに基づいて、前記対話に参加しないユーザについて設けられた第2のバッファ領域に、前記複数のユーザのそれぞれのデータを順次記憶させる第2の記憶制御手段を含み、
前記提供手段は、前記対話に参加しないユーザに対しては、前記第2のバッファ領域に記憶された少なくとも2以上のユーザのデータに含まれる画像を、前記基準画像サイズに変換して合成した合成データを提供する
ことを特徴とする変換画像提供装置。 - 請求項3に記載の変換画像提供装置であって、
前記提供手段は、前記対話に参加しないユーザに対しては、前記第2のバッファ領域に記憶された1のユーザのデータに含まれる画像と、該第2のバッファ領域に記憶された該1のユーザ以外のユーザのデータに含まれる画像を前記基準画像サイズに変換した画像とを合成した合成データを提供する
ことを特徴とする変換画像提供装置。 - 請求項2乃至4のいずれかに記載の変換画像提供装置であって、
前記基準画像サイズは、前記合成データの画像サイズが、所定のサイズ以下になるように定められる
ことを特徴とする変換画像提供装置。 - 請求項2乃至5のいずれかに記載の変換画像提供装置であって、
前記合成データは、前記基準画像サイズに変換した画像を連結した連結画像のデータを含む
ことを特徴とする変換画像提供装置。 - 対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信するステップと、
前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれる画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供ステップと、
ことを特徴とする変換画像提供方法。 - 対話に参加する複数のユーザのユーザ端末のそれぞれから、該それぞれのユーザを撮像した画像を含むデータを符号化したパケットを順次受信する手段と、
前記受信したパケットのうち少なくとも2以上のユーザのデータに含まれる画像を、前記対話に参加するユーザの数に基づいて決定した基準画像サイズに変換して提供する提供手段
としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121859A JP2016001446A (ja) | 2014-06-12 | 2014-06-12 | 変換画像提供装置、変換画像提供方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121859A JP2016001446A (ja) | 2014-06-12 | 2014-06-12 | 変換画像提供装置、変換画像提供方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016001446A true JP2016001446A (ja) | 2016-01-07 |
Family
ID=55077003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121859A Pending JP2016001446A (ja) | 2014-06-12 | 2014-06-12 | 変換画像提供装置、変換画像提供方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016001446A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019197520A (ja) * | 2018-05-07 | 2019-11-14 | アップル インコーポレイテッドApple Inc. | 複数参加者ライブ通信ユーザインターフェース |
US10599297B2 (en) | 2017-09-29 | 2020-03-24 | Apple Inc. | User interface for multi-user communication session |
US10630939B2 (en) | 2018-05-07 | 2020-04-21 | Apple Inc. | Multi-participant live communication user interface |
US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11360634B1 (en) | 2021-05-15 | 2022-06-14 | Apple Inc. | Shared-content session user interfaces |
US11431891B2 (en) | 2021-01-31 | 2022-08-30 | Apple Inc. | User interfaces for wide angle video conference |
US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6132683A (ja) * | 1984-07-25 | 1986-02-15 | Nippon Telegr & Teleph Corp <Ntt> | 多地点間テレビ会議方式 |
JPH05103324A (ja) * | 1991-10-09 | 1993-04-23 | Mitsubishi Electric Corp | 多地点テレビ会議制御装置 |
JPH10271477A (ja) * | 1997-03-21 | 1998-10-09 | Xing:Kk | テレビ会議システム |
JP2004193809A (ja) * | 2002-12-10 | 2004-07-08 | Matsushita Electric Ind Co Ltd | 通信装置 |
JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
JP2008131348A (ja) * | 2006-11-21 | 2008-06-05 | Toshiba Corp | 映像合成装置、映像合成方法及び映像合成処理プログラム |
JP2009065696A (ja) * | 2008-10-27 | 2009-03-26 | Toshiba Corp | 映像合成装置、方法およびプログラム |
JP2009117896A (ja) * | 2007-11-01 | 2009-05-28 | Toshiba Corp | 合成映像配信装置ならびにその方法およびプログラム |
-
2014
- 2014-06-12 JP JP2014121859A patent/JP2016001446A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6132683A (ja) * | 1984-07-25 | 1986-02-15 | Nippon Telegr & Teleph Corp <Ntt> | 多地点間テレビ会議方式 |
JPH05103324A (ja) * | 1991-10-09 | 1993-04-23 | Mitsubishi Electric Corp | 多地点テレビ会議制御装置 |
JPH10271477A (ja) * | 1997-03-21 | 1998-10-09 | Xing:Kk | テレビ会議システム |
JP2004193809A (ja) * | 2002-12-10 | 2004-07-08 | Matsushita Electric Ind Co Ltd | 通信装置 |
JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
JP2008131348A (ja) * | 2006-11-21 | 2008-06-05 | Toshiba Corp | 映像合成装置、映像合成方法及び映像合成処理プログラム |
JP2009117896A (ja) * | 2007-11-01 | 2009-05-28 | Toshiba Corp | 合成映像配信装置ならびにその方法およびプログラム |
JP2009065696A (ja) * | 2008-10-27 | 2009-03-26 | Toshiba Corp | 映像合成装置、方法およびプログラム |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11435877B2 (en) | 2017-09-29 | 2022-09-06 | Apple Inc. | User interface for multi-user communication session |
US10599297B2 (en) | 2017-09-29 | 2020-03-24 | Apple Inc. | User interface for multi-user communication session |
US10866703B2 (en) | 2017-09-29 | 2020-12-15 | Apple Inc. | User interface for multi-user communication session |
US10630939B2 (en) | 2018-05-07 | 2020-04-21 | Apple Inc. | Multi-participant live communication user interface |
US10904486B2 (en) | 2018-05-07 | 2021-01-26 | Apple Inc. | Multi-participant live communication user interface |
JP2019197520A (ja) * | 2018-05-07 | 2019-11-14 | アップル インコーポレイテッドApple Inc. | 複数参加者ライブ通信ユーザインターフェース |
US11399155B2 (en) | 2018-05-07 | 2022-07-26 | Apple Inc. | Multi-participant live communication user interface |
US11849255B2 (en) | 2018-05-07 | 2023-12-19 | Apple Inc. | Multi-participant live communication user interface |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
US11467719B2 (en) | 2021-01-31 | 2022-10-11 | Apple Inc. | User interfaces for wide angle video conference |
US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
US11431891B2 (en) | 2021-01-31 | 2022-08-30 | Apple Inc. | User interfaces for wide angle video conference |
US11449188B1 (en) | 2021-05-15 | 2022-09-20 | Apple Inc. | Shared-content session user interfaces |
US11822761B2 (en) | 2021-05-15 | 2023-11-21 | Apple Inc. | Shared-content session user interfaces |
US11360634B1 (en) | 2021-05-15 | 2022-06-14 | Apple Inc. | Shared-content session user interfaces |
US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
US11928303B2 (en) | 2021-05-15 | 2024-03-12 | Apple Inc. | Shared-content session user interfaces |
US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
US11812135B2 (en) | 2021-09-24 | 2023-11-07 | Apple Inc. | Wide angle video conference |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016001446A (ja) | 変換画像提供装置、変換画像提供方法及びプログラム | |
US10335691B2 (en) | System and method for managing audio and video channels for video game players and spectators | |
US11974006B2 (en) | Live and recorded content watch parties | |
CN101502111B (zh) | 同步化媒体体验 | |
US10987597B2 (en) | System and method for managing audio and video channels for video game players and spectators | |
JP6174501B2 (ja) | 映像会議サーバ、映像会議システム、および、映像会議方法 | |
CN110910860B (zh) | 线上ktv实现方法、装置、电子设备及存储介质 | |
US6603501B1 (en) | Videoconferencing using distributed processing | |
JP2005318535A (ja) | 帯域幅制御をして会議を開催する方法及び装置 | |
US20140344854A1 (en) | Method and System for Displaying Speech to Text Converted Audio with Streaming Video Content Data | |
KR100614276B1 (ko) | 참여방송 시스템 | |
WO2012021174A2 (en) | EXPERIENCE OR "SENTIO" CODECS, AND METHODS AND SYSTEMS FOR IMPROVING QoE AND ENCODING BASED ON QoE EXPERIENCES | |
CN113077799A (zh) | 具有两个音频链路的解码器装备 | |
WO2021235048A1 (ja) | 無観客ライブ配信方法及びシステム | |
JP5369418B2 (ja) | 配信システム、配信方法及び通信端末 | |
EP2695389B1 (en) | Processing media streams for synchronised output at multiple end points | |
JP6279415B2 (ja) | 合成データ提供装置、合成データ提供方法及びプログラム | |
KR100953509B1 (ko) | 다자간 영상 통신 방법. | |
JP6610076B2 (ja) | 情報処理装置、情報処理システム、プログラム、及び記録媒体 | |
JP2022016424A (ja) | ストリーミング配信及びテレビ会議のためのシステム | |
JP3241225U (ja) | 無観客ライブ配信システム | |
JP2823571B2 (ja) | 分散多地点通信会議装置 | |
WO2011158493A1 (ja) | 音声通信システム、音声通信方法及び音声通信機器 | |
JP2017092802A (ja) | 会議通話システム及びそれに用いられるバックエンドシステム | |
JP2013207465A (ja) | 会議システム、端末装置および会議方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180814 |