JP2019185736A - コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム - Google Patents
コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム Download PDFInfo
- Publication number
- JP2019185736A JP2019185736A JP2019004488A JP2019004488A JP2019185736A JP 2019185736 A JP2019185736 A JP 2019185736A JP 2019004488 A JP2019004488 A JP 2019004488A JP 2019004488 A JP2019004488 A JP 2019004488A JP 2019185736 A JP2019185736 A JP 2019185736A
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- distributor
- participation
- content
- content distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供する。【解決手段】コンテンツ配信サーバ100は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部144と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部141と、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成部142と、映像生成部142が生成した映像に基づいてライブコンテンツを配信する配信部143とを備える。【選択図】図2
Description
本開示は、コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラムに関する。
近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ(アバター)として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。
例えば、特許文献1は、HMD(Head Mount Display)を装着した演技者や観客がゲームや映画等に仮想キャラクタとして参加し、それを複数の視点で撮影した映像を多チャンネルで配信するシステムを開示している。
特許文献1には、演技者や同じ場所に集まった複数の観客が、それぞれ仮想キャラクタとして同じ仮想空間内に参加する構成が開示されている。しかしながら、このような構成では、演技者や同じ場所に集まった複数の観客でなければ、仮想キャラクタとして同じ仮想空間内に参加することができないため、ユーザが仮想空間を共有する形態としての利便性が低い。
例えば、インターネット生放送では、複数の配信者が共同してライブコンテンツを作成し、複数の配信者が一緒に映った映像を配信することがある。例えば、同じ場所に集まった複数の配信者が一つのカメラで撮影された映像を配信する場合と、現実空間において離れた場所で撮影された複数の配信者の配信画面を分割形式又は重畳形式で配信される。しかし、配信者が現実空間において離れた場所にいる場合、それぞれの映像は分離した状態であり、一つの場所を共有しているような映像を配信することはできない。
したがって、複数の配信者が現実空間において互いに離れた場所にいる場合であっても、ネットワークを介して複数の配信者が一つの場所を共有しているような配信を実現できることが好ましい。配信者が仮想空間内で仮想キャラクタとして登場するインターネット生放送においても、このような配信を実現する機能が求められている。配信者だけではなく、配信を視聴する視聴者が仮想キャラクタとして配信に参加できることが好ましい。そのような機能を実現する構成であれば、配信者と他の配信者、又は配信者と視聴者が同じ仮想空間内でコミュニケーションを取ることができる。かつ、その状態をライブコンテンツとして配信できるシステムが求められている。
また、仮想空間を共有する形態の利便性を高度化すれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間にユーザが出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。
そこで、本開示はこのような事情に鑑み、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することを目的とする。
上記目的を達成するため、本開示の第1の観点に係るコンテンツ配信サーバは、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、情報取得部が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成部と、映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部とを備えることを特徴とする。
また、上記目的を達成するため、本開示の第2の観点に係るコンテンツ配信システムは、配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成し、生成した映像に基づいてライブコンテンツを配信するコンテンツ配信サーバと、配信者が使用する配信者端末と、ライブコンテンツを視聴する視聴者が使用する視聴者端末とを備えることを特徴とする。
また、上記目的を達成するため、本開示の第3の観点に係るコンテンツ配信方法は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、情報取得ステップにおいて取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成ステップと、映像生成ステップにおいて生成した映像に基づいてライブコンテンツを配信する配信ステップとを含むことを特徴とする。
また、上記目的を達成するため、本開示の第4の観点に係るプログラムは、コンピュータを、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、情報取得手段が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成手段、映像生成手段が生成した映像に基づいてライブコンテンツを配信する配信手段として機能させる。
本開示によれば、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することができる。
以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。なお、第1実施形態では、視聴者が配信に参加する例を説明し、第2実施形態では、他の配信者が配信に参加する例を説明する。
(第1実施形態)
図1に示すように、本実施形態に係るコンテンツ配信システム1は、コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、一台以上の視聴者端末400とを備える。コンテンツ配信サーバ100と、配信者端末200と、視聴者端末300と、視聴者端末400とは、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWAN(World Area Network)である。
図1に示すように、本実施形態に係るコンテンツ配信システム1は、コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、一台以上の視聴者端末400とを備える。コンテンツ配信サーバ100と、配信者端末200と、視聴者端末300と、視聴者端末400とは、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWAN(World Area Network)である。
コンテンツ配信サーバ100は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、400に配信する。
仮想空間の映像には、仮想キャラクタだけでなく、背景、仮想的な物体を示すオブジェクト等も含まれる。仮想空間は、基本的には、CG(Computer Graphics)によって生成される3次元空間である。なお、仮想空間は、2次元空間であってもよい。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。
配信者端末200は、ライブコンテンツを配信する配信者によって使用される。配信者端末200は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末200は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。
視聴者端末300は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300は、ライブコンテンツを視聴する視聴者によって使用される。
視聴者端末400は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。視聴者端末400は、モーションキャプチャ機能により、視聴者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、視聴者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。モーション情報には、視聴者の表情を示すデータが含まれていてもよい。
このように、視聴者端末400は、視聴者端末300とは異なり、視聴者が仮想キャラクタとして配信に参加するための構成を有する。すなわち、本実施形態では、一台上の視聴者端末400のうち、いずれか一つ以上の視聴者端末400が、参加者が使用する通信端末となる。
<コンテンツ配信サーバの構成>
以下、コンテンツ配信サーバ100の構成を詳細に説明する。図2に示すように、コンテンツ配信サーバ100は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部140とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
以下、コンテンツ配信サーバ100の構成を詳細に説明する。図2に示すように、コンテンツ配信サーバ100は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部140とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
通信部110は、有線通信又は無線通信を行うためのNIC(Network Interface Card controller)を備える通信インターフェースである。通信部110は、ネットワークNWを介して、配信者端末200及び視聴者端末300、400と通信を行う。
記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。記憶部120は、各種制御処理を実行するためのプログラム、各種データ等を記憶する。
計時部130は、クロック信号を生成するための発振回路及び可変PLL(Phase Locked Loop)、クロック信号のパルス数をカウントするカウンタ回路等から構成される。計時部130はカウントされるパルス数に基づいて時刻を計時する。
制御部140は、CPU(Central Processing Unit)等から構成される。制御部140は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ100の全体の動作を制御する。制御部140は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部140は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。
以下、制御部140の機能的な構成を説明する。制御部140は、情報取得部141、映像生成部142、配信部143、参加受付部144、一覧情報配信部145として機能する。
情報取得部141は、通信部110を介して、配信者端末200から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部141は、通信部110を介して、配信に参加する視聴者(参加者)が使用する視聴者端末400から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部141は、通信部110を介して配信者端末200と視聴者端末400から音声情報を取得する。
ユーザは、例えば、使用する仮想キャラクタの情報を外部装置からダウンロードすることによって取得する。ユーザは、使用する仮想キャラクタの情報をコンテンツ配信サーバ100にアップロードすることによって、その仮想キャラクタを配信において使用することができる。なお、仮想キャラクタの情報は、コンテンツ配信サーバ100から提供されてもよい。例えば、ユーザは、コンテンツ配信サーバ100に予め記憶されている複数の仮想キャラクタの情報の中からいずれかを選択し、その仮想キャラクタが使用されてもよい。
映像生成部142は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。合成は、例えば、予め定められた仮想空間内の映像を背景として、そこにあたかも仮想キャラクタが存在するように映像を生成し、さらに、その仮想キャラクタにその仮想キャラクタを使用する配信者又は参加者の動きが反映されるように映像を生成することによって実現される。
配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)とを示す情報を含む。
配信部143によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部143は、情報取得部141が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。
参加受付部144は、配信者端末200から通信部110を介して、参加受付情報を取得する。参加受付部144は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、視聴者である。参加受付部144は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。
参加受付部144は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末200に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末200に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。
この場合、参加が許可された視聴者端末400には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部144は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末200に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。
一覧情報配信部145は、参加受付部144が一台以上の配信者端末200から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部145は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、視聴者端末300、400である。しかし、一覧情報配信部145は、配信に参加するための構成を備える視聴者端末400だけに当該画面を表示させてもよい。
<配信者端末の構成>
以下、配信者端末200の構成を詳細に説明する。図3に示すように、配信者端末200は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部280とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
以下、配信者端末200の構成を詳細に説明する。図3に示すように、配信者端末200は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部280とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
通信部210は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部210は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。
操作部220は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。
記憶部230は、RAM、ROM等から構成される。記憶部230は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。
表示部240は、例えば、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等によって構成される。表示部240は、制御部280からの入力データに応じてテキスト、画像等を表示する。
音声入力部250は、マイクロフォン等から構成される。音声入力部250は外部から入力された音声を受け付けて音声情報を取得する。
動作入力部260は、ユーザの入力操作を受け付けて、ユーザのモーション情報として取得する。動作入力部260は、例えば、モーションキャプチャ技術によってモーション情報を取得するためのカメラ、センサ等を備える。モーション情報は、例えば、ユーザの視線、動き(ジェスチャ)を検知するセンサによって検知される。また、モーション情報は、仮想キャラクタの表情や所定の演出動作等を表現するためのボタン操作によって取得されてもよい。
なお、ユーザのモーション情報を仮想キャラクタの動作、視線等に変換する処理は、配信者端末200において実行されてもよいし、コンテンツ配信サーバ100において実行されてもよいし、コンテンツ配信サーバ100及び配信者端末200の協働によって実行されてもよい。
音声出力部270は、例えば、スピーカー、増幅器等によって構成される。音声出力部270は、制御部280からの入力データに応じて音声を出力する。
制御部280は、CPU等から構成される。制御部280は、記憶部230に記憶されているプログラムを実行することにより、配信者端末200の全体の動作を制御する。
以下、制御部280の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286として機能する。
コンテンツ取得部281は、通信部210を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部282は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて、表示部240に仮想空間内の映像を表示させる。音声出力制御部283は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて音声出力部270に音声を出力させる。
入力情報送信部284は、音声入力部250において取得した音声情報と動作入力部260において取得したモーション情報とをコンテンツ配信サーバ100に送信する。なお、入力情報送信部284は、仮想キャラクタにモーション情報を反映させた後の情報をコンテンツ配信サーバ100に送信してもよい。
参加受付情報送信部285は、ユーザが設定した参加受付情報を、通信部210を介してコンテンツ配信サーバ100に送信する。参加受付情報は、配信への参加を募集することを示す情報であり、例えば、配信予定時間、募集人数、配信内容等の情報が含まれる。
許可情報送信部286は、ユーザの許可情報送信操作に応じて、通信部210を介して許可情報をコンテンツ配信サーバ100に送信する。許可情報は、ユーザが許可情報を他人の参加希望に対して許可又は拒否することを示す情報である。
<視聴者端末の構成>
以下、視聴者端末300の構成を詳細に説明する。図4に示すように、視聴者端末300は、他の装置と通信を行う通信部310と、ユーザの入力操作を受け付ける操作部320と、各種データを記憶する記憶部330と、各種画像を表示する表示部340と、音声を出力する音声出力部350と、装置全体の制御を行う制御部360とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
以下、視聴者端末300の構成を詳細に説明する。図4に示すように、視聴者端末300は、他の装置と通信を行う通信部310と、ユーザの入力操作を受け付ける操作部320と、各種データを記憶する記憶部330と、各種画像を表示する表示部340と、音声を出力する音声出力部350と、装置全体の制御を行う制御部360とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
通信部310は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部310は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。
操作部320は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。
記憶部330は、RAM、ROM等から構成される。記憶部330は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。
表示部340は、例えば、LCD、ELディスプレイ等によって構成される。表示部340は、制御部360からの入力データに応じてテキスト、画像等を表示する。
音声出力部350は、スピーカー、アンプ等から構成される。音声出力部350は制御部360からの入力データに応じて音声を出力する。
制御部360は、CPU等から構成される。制御部360は、記憶部330に記憶されているプログラムを実行することにより、視聴者端末300の全体の動作を制御する。
以下、制御部360の機能的な構成を説明する。制御部360は、コンテンツ取得部361、表示制御部362、音声出力制御部363として機能する。
コンテンツ取得部361は、通信部310を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部362は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて、表示部340に仮想空間内の映像を動画として表示させる。音声出力制御部363は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて音声出力部350に音声を出力させる。
以下、視聴者端末400の構成を詳細に説明する。図5に示すように、視聴者端末400は、他の装置と通信を行う通信部410と、ユーザの入力操作を受け付ける操作部420と、各種データを記憶する記憶部430と、各種画像を表示する表示部440と、音声入力を受け付ける音声入力部450と、モーション情報を入力するための動作入力部460と、各種音声を出力する音声出力部470と、装置全体の制御を行う制御部480とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
視聴者端末400の構成は、基本的に、配信者端末200の構成と同じである。例えば、視聴者端末400は、視聴者が配信に参加するために必要な情報として、視聴者のモーション情報を取得し、それを視聴者の仮想キャラクタの動作に反映するためにコンテンツ配信サーバ100に送信する機能を有している。
ただし、視聴者端末400の制御部480は、参加受付情報送信部285及び許可情報送信部286を備えていない代わりに参加希望情報送信部485を備えている点で配信者端末200とは異なる。具体的には、視聴者端末400の制御部480は、コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484、参加希望情報送信部485として機能する。
コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484の機能は、配信者端末200の制御部280のコンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284の機能と基本的に同じである。なお、表示制御部482は、通信部410を介して、コンテンツ配信サーバ100から配信される一覧情報を取得し、参加希望を受け付けている配信の一覧情報を示す画面を表示部440に表示させる。
参加希望情報送信部485は、通信部410を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ100に送信する。具体的には、参加希望情報送信部485は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。
<配信画面の具体例>
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面の具体例を説明する。
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面の具体例を説明する。
図6は、視聴者端末300に表示される配信画面の一例を示している。図6(A)は視聴者が参加する前の配信画面を示し、図6(B)は視聴者が参加した後の配信画面を示している。領域A1には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A2には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。
図6(A)において、領域A1に示す映像では、配信者Aを示す仮想キャラクタ10が表示されている。配信者Aは、配信者端末200を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。
ここで、一台以上の視聴者端末400のいずれか一つを使用する視聴者である視聴者Aの参加を配信者Aが許可した場合、その視聴者端末400は、視聴者Aが使用する仮想キャラクタを示す情報と視聴者Aのモーション情報をコンテンツ配信サーバ100に送信する。
この結果、図6(B)に示すように、視聴者Aを示す仮想キャラクタ30が領域A1に表示され、配信画面に映り込む状態となる。なお、参加者である視聴者Aの仮想キャラクタ30は、参加が許可された場合に配信者Aが配信に使用している仮想空間内に入り込む。しかし、仮想キャラクタ30は、仮想カメラの撮影領域に入っていなければ、配信画面の領域A1には映らない。
コンテンツ配信サーバ100の配信部143は、視聴者端末300に、参加者である視聴者Aと配信者Aを区別可能に表示させる。例えば、図6(B)の配信画面の領域A1において、配信者Aの仮想キャラクタ10の上方には、ユーザ名を示す「配信者A」の文字列が表示される。視聴者Aの仮想キャラクタ30の上方には、ユーザ名を示す「視聴者A」の文字列が表示される。
なお、配信画面に登場する仮想キャラクタの区別方法は、このような区別方法に限られない。例えば、配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタに、枠や着色を付与することによって両者を区別可能に表示させてもよい。配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタの付近に、識別マークを付与することによって両者を区別可能に表示させてもよい。
図6に示す配信画面は、基本的に視聴者端末300に表示される。しかし、参加者ではない視聴者が使用する視聴者端末400にも同様な配信画面が表示されてもよい。また、参加者ではない視聴者が使用する視聴者端末400には、領域A1の映像だけが表示されてもよい。配信者端末200と参加者が使用する視聴者端末400には、図6に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ10又は仮想キャラクタ30)の視点でレンダリングされた仮想空間内の映像が表示される。
<処理の流れ>
以下、図7を参照しながら、コンテンツ配信サーバ100が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ100が一台以上の配信者端末200から参加受付情報を取得している場合に実行される。
以下、図7を参照しながら、コンテンツ配信サーバ100が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ100が一台以上の配信者端末200から参加受付情報を取得している場合に実行される。
まず、制御部140の一覧情報配信部145は、一台以上の配信者端末200から取得した参加受付情報に基づいて、視聴者端末300、400に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS101)。参加受付情報を複数の配信者端末200から取得している場合、一覧情報配信部145は、それらを一覧できる一覧情報を、通信部110を介して視聴者端末300、400に配信する。
制御部140の参加受付部144は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける(ステップS102)。具体的には、参加受付部144は、視聴者端末400の参加希望情報送信部485から送信される参加希望情報を、通信部110を介して取得する。
制御部140の参加受付部144は、参加希望する他人(すなわち参加希望者)の情報を取得して、その参加希望されている配信をしている配信者端末200に表示させる(ステップS103)。また、参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面をその配信者端末200に表示させ、参加の許可又は拒否を受け付ける(ステップS104)。
ここで、制御部140は、配信者が参加を許可したか否かを判別する(ステップS105)。具体的には、制御部140は、配信者端末200の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
参加が拒否された場合(ステップS105;N)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報を取得する(ステップS107)。すなわち、コンテンツ配信サーバ100は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS108、S109の処理を行う。
一方、参加が許可された場合(ステップS105;Y)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報と、その配信に参加する視聴者の各種情報とを取得する(ステップS106)。すなわち、コンテンツ配信サーバ100は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、以降のステップS108、S109の処理を行う。
制御部140の映像生成部142は、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS108)。
制御部140の配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する(ステップS109)。これにより、配信者端末200には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する視聴者の視聴者端末400には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、400には、配信画面が表示される。
以上、コンテンツ配信サーバ100が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。例えば、配信者が配信している間に参加を受け付ける場合には、ステップS101より前にステップS107、S108、S109のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS104に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。
<効果の説明>
本実施形態に係るコンテンツ配信システム1において、コンテンツ配信サーバ100は、ネットワークを介して、視聴者から配信への参加希望を受け付ける。この場合、配信者と視聴者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。したがって、本実施形態に係るコンテンツ配信システム1によれば、仮想空間を共有する形態としての利便性を向上させることができる。
本実施形態に係るコンテンツ配信システム1において、コンテンツ配信サーバ100は、ネットワークを介して、視聴者から配信への参加希望を受け付ける。この場合、配信者と視聴者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。したがって、本実施形態に係るコンテンツ配信システム1によれば、仮想空間を共有する形態としての利便性を向上させることができる。
(第2実施形態)
本実施形態では、第2実施形態に係るコンテンツ配信システム2について説明する。なお、以下の説明において、第1実施形態に係るコンテンツ配信システム1と共通する構成要素については同一の符号を付して説明する。また、コンテンツ配信システム2の構成とコンテンツ配信システム1の構成とは、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
本実施形態では、第2実施形態に係るコンテンツ配信システム2について説明する。なお、以下の説明において、第1実施形態に係るコンテンツ配信システム1と共通する構成要素については同一の符号を付して説明する。また、コンテンツ配信システム2の構成とコンテンツ配信システム1の構成とは、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
例えば、コンテンツ配信システム1は、視聴者が配信に参加するための構成であり、コンテンツ配信システム2は、他の配信者が配信に参加するための構成である。そのため、これらの構成を組み合わせて、視聴者も他の配信者も参加できる構成を実現することも可能である。
図8に示すように、本実施形態に係るコンテンツ配信システム2は、コンテンツ配信サーバ500と、配信者が使用する配信者端末600と、他の配信者が使用する配信者端末700と、一台以上の視聴者端末300と、一台以上の視聴者端末800と、一台以上の撮影者端末900とを備える。これらの装置は、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWANである。
コンテンツ配信サーバ500は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、800に配信する。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。
配信者端末600、700は、それぞれライブコンテンツを配信する配信者によって使用される。配信者端末600、700は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末600、700は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。
視聴者端末300、800は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300、800は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300、800は、ライブコンテンツを視聴する視聴者によって使用される。視聴者端末800の構成は、視聴者端末300と同じである。
撮影者端末900は、仮想空間内で撮影する仮想カメラの位置、撮影方向、撮影条件等を制御する機能を有する通信端末である。撮影者端末900によって制御される仮想カメラの映像は、通常の固定されている配信画面とは異なる視点の映像を配信する配信画面として視聴者端末300、800に配信される。
以下の説明では、配信者端末600を使用する配信者による配信を視聴者端末300の視聴者が視聴している状態を前提条件とする。また、配信者端末700を使用する配信者(他の配信者)による配信であって、配信者端末600の配信とは独立した配信(他の配信)を視聴者端末800の視聴者が視聴している状態を前提条件とする。撮影者端末900は、配信者端末700による他の配信に使用されている仮想空間内に配置された仮想カメラを制御して、その撮影映像を配信している状態を前提条件とする。
配信者端末700を使用する配信者は、配信者端末600による配信に参加することを前提条件とする。すなわち、本実施形態では、配信者端末700が、参加者が使用する通信端末となる。
なお、コンテンツ配信システム2は、1台の配信者端末600と1台の配信者端末700を備えている。しかし、配信をしている配信者端末600とその配信に参加する配信者端末700は、それぞれ複数台であってもよい。
また、撮影者端末900は、配信者端末700の配信の仮想空間内だけでなく、配信者端末600の配信の仮想空間内に配置されていてもよい。コンテンツ配信システム2では、一つのコンテンツ配信サーバ500を使用して、配信者端末600、700がそれぞれ配信をしている。しかし、それぞれ異なる配信プラットフォームを提供する2つ以上のコンテンツ配信サーバ500のそれぞれによって配信者端末600、700がそれぞれの配信をしていてもよい。
<コンテンツ配信サーバの構成>
以下、コンテンツ配信サーバ500の構成を詳細に説明する。図9に示すように、コンテンツ配信サーバ500は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部540とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
以下、コンテンツ配信サーバ500の構成を詳細に説明する。図9に示すように、コンテンツ配信サーバ500は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部540とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
制御部540は、CPU等から構成される。制御部540は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ500の全体の動作を制御する。制御部540は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部540は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。
以下、制御部540の機能的な構成を説明する。制御部540は、情報取得部541、映像生成部542、配信部543、参加受付部544、一覧情報配信部545、リンク通知部546として機能する。
情報取得部541は、通信部110を介して、配信者端末600から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部541は、通信部110を介して、配信に参加する他の配信者(参加者)が使用する配信者端末700から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部541は、通信部110を介して配信者端末600、700から音声情報を取得する。
映像生成部542は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。
配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)と、生成した映像を撮影者端末900によって制御される配信用の仮想カメラの視点で見た場合の映像(他の配信画面)を示す情報を含む。
映像生成部542は、配信者又は参加者の仮想キャラクタを、その配信者による配信又は参加者による他の配信で使用される仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信する。なお、映像生成部542及び配信部543は、一本化せずに、両方の配信を併存させて配信する構成であってもよい。
なお、配信部543は、配信者端末600の配信に他の配信者が参加した場合に、視聴者端末300、800に、配信者と他の配信者の両方が映るように合成した映像を表示させてもよい。
映像生成部542は、他の配信者が参加者として配信者の配信に参加した場合に、配信者及び参加者の仮想キャラクタを別の仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信してもよい。別の仮想空間とは、配信者による配信で使用される仮想空間及び参加者による他の配信で使用される仮想空間とは異なる仮想空間である。
配信部543によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部543は、情報取得部541が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。
なお、仮想空間内に複数の仮想カメラが配置される場合に、配信部543は、所定条件に基づいて複数の仮想カメラによる撮影映像のいずれか一つ以上を切り替えて、それらの撮影映像をライブコンテンツとして配信してもよい。所定条件は、例えば、配信者や視聴者によって映像切替操作が実行されたこと、予め定められたタイミング(すなわちスケジュール設定上のタイミング)になったこと、仮想キャラクタの移動が生じたこと、参加者が参加したこと等のいずれか一つ以上の条件を含む。この場合、例えば、視聴者は、視聴者端末300、800において映像切替操作を行うことによって、仮想カメラの撮影者の撮影映像の配信と、参加を受け入れた配信者の配信画面と、参加者の配信画面と、配信者の配信と参加者の配信とを合成した映像の配信とをチャンネルとして選択切替できる。
参加受付部544は、配信者端末600から通信部110を介して、参加受付情報を取得する。参加受付部544は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、配信者端末700を使用する他の配信者である。参加受付部544は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。
参加受付部544は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末600に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部544は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末600に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。
また、他人の情報は、他の配信を視聴する視聴者(視聴者端末800を使用する視聴者)と他の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)に関する情報を含む。
参加受付部544は、参加希望する他人の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)の参加を許可又は拒否する操作を受け付ける画面を配信者端末600に表示させる。撮影者の参加が許可された場合、映像生成部542は、その撮影者の仮想カメラを配信者端末600による配信の仮想空間内に移動させ、その撮影者の仮想カメラをその配信と他の配信とにおいて共有する。仮想カメラの共有の詳細な原理については後述する。
参加が許可された配信者端末700には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部544は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末600に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。
一方、撮影者の参加が拒否された場合、撮影者端末900は、仮想カメラの使用ができない状態にされ、かつ視聴者端末300、800と同じ機能のみを使用できる状態にされる。
一覧情報配信部545は、参加受付部544が配信者端末600から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部545は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、他の配信をしている配信者端末700である。なお、本実施形態では、一台の配信者端末600だけが参加希望を受け付けるが、複数の配信者端末600が参加希望を受け付ける場合、配信の一覧情報は、それらの参加希望を一覧できる情報である。
リンク通知部546は、配信又は他の配信のいずれか一方を視聴する視聴者端末300、800に、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを表示させる。これにより、視聴者は他方の配信の存在を把握することができる。例えば、リンク通知部546は、視聴者端末300には、配信者端末700による他の配信と撮影者端末900の配信とのそれぞれのURLを通知する。リンク通知部546は、視聴者端末800には、配信者端末600による配信のURLを通知する。
<配信者端末の構成>
以下、配信者端末600の構成を詳細に説明する。なお、配信者端末700の構成は、配信者端末600の構成と同じである。
以下、配信者端末600の構成を詳細に説明する。なお、配信者端末700の構成は、配信者端末600の構成と同じである。
図10に示すように、配信者端末600は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部680とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
制御部680は、CPU等から構成される。制御部680は、記憶部230に記憶されているプログラムを実行することにより、配信者端末600の全体の動作を制御する。
以下、制御部680の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286、参加希望情報送信部687として機能する。
参加希望情報送信部687は、通信部210を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ500に送信する。具体的には、参加希望情報送信部687は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。
なお、本実施形態に係る配信者端末600、700は、ユーザが配信に使用する仮想空間内への他のユーザの参加を受け付けるための構成と、他のユーザの配信に使用される仮想空間内に参加するための構成とを備えている。しかし、配信者端末600、700は、このような構成に限られない。例えば、配信者端末600、700のいずれか一方(例えば配信者端末600)が、配信に使用される仮想空間内への参加を受け付けるための構成を備え、他方(例えば配信者端末700)が、他の配信者の配信に使用される仮想空間内に参加するための構成を備えていればよい。
<配信画面と撮影画面の具体例>
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面と撮影者による仮想カメラの撮影画面の具体例を説明する。
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面と撮影者による仮想カメラの撮影画面の具体例を説明する。
図11は、視聴者端末300又は視聴者端末800に表示される配信画面の一例を示している。図11(A)は、他の配信者が参加する前の配信者による配信画面を示している。換言すると、図11(A)は、配信者端末600による配信を視聴する視聴者端末300に表示される配信画面である。
図11(B)は、他の配信者が参加する前の他の配信者による配信画面を示している。換言すると、図11(B)は、配信者端末700による配信を視聴する視聴者端末800に表示される配信画面である。
図11(C)は他の配信者が参加した後の配信画面を示している。換言すると、図11(C)は、配信者端末600、700による配信を視聴する視聴者端末300、800に表示される配信画面である。この例では、配信者端末700を使用する他の配信者Bが配信者端末600を使用する配信者Aの配信に参加して、配信者Bと配信者Aの配信が統合される場合を説明する。
図11(A)、図11(B)、図11(C)の領域A3には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A4には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。
図11(A)において、領域A3に示す映像では、配信者Aを示す仮想キャラクタ40が表示されている。配信者Aは、配信者端末600を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。
図11(B)において、領域A3に示す映像では、配信者Bを示す仮想キャラクタ50が表示されている。配信者Bは、配信者端末700を使用して配信している配信者である。なお、この映像には、仮想カメラを示すオブジェクト60も表示されている。この仮想カメラを示すオブジェクト60は、撮影者端末900によって制御される仮想カメラである。
ここで、配信者端末700を使用する配信者Bの参加を配信者Aが許可した場合、その配信者端末700は、配信者Bが使用する仮想キャラクタを示す情報と配信者Bのモーション情報をコンテンツ配信サーバ500に送信する。また、撮影者端末900を使用して、配信者Bによる配信を仮想カメラ(仮想カメラを示すオブジェクト60)によって撮影している撮影者の参加を配信者Aが許可した場合、仮想カメラを示すオブジェクト60も配信者Aが配信している仮想空間内に移動する。
この結果、図11(C)に示すように、配信者Aを示す仮想キャラクタ40と、配信者Bを示す仮想キャラクタ50と、仮想カメラを示すオブジェクト60とが領域A3に表示され、配信画面に映り込む状態となる。なお、図11(C)では、配信者Bの仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、配信者Aが配信に使用している仮想空間内に入り込んでいる。しかし、仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、仮想カメラ(不図示)の撮影領域に入っていなければ、配信画面の領域A3には映らない。
コンテンツ配信サーバ500の配信部543は、視聴者端末300、800に、参加者である配信者Bと配信者Aを区別可能に表示させる。例えば、図11(C)の配信画面の領域A3において、配信者Aの仮想キャラクタ40の上方には、ユーザ名を示す「配信者A」の文字列が表示される。配信者Bの仮想キャラクタ50の上方には、ユーザ名を示す「配信者B」の文字列が表示される。
図11(A)、図11(B)では、このような文字列が表示されていない。すなわち、複数の配信者が仮想空間を共有する場合のみ、このような文字列が表示されている。しかし、配信部543は、図11(A)、図11(B)のように、1人の配信者が単独で仮想空間を使用している場合においても文字列を表示させるように構成されてもよい。
なお、配信者端末600、700には、図11に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ40又は仮想キャラクタ50)の視点でレンダリングされた仮想空間内の映像が表示される。
図12は、仮想カメラ(仮想カメラを示すオブジェクト60)による撮影画面の一例を示す図である。図12(A)は他の配信者が参加する前の撮影画面を示している。すなわち、図12(A)は、図11(B)に示す配信画面に対応し、配信者Bが配信している仮想空間内において、仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。この撮影画面は、例えば、配信者Aと配信者Bによる2つの配信とは別のチャンネルの配信に使用される。
図12(B)は他の配信者が参加した後の撮影画面を示している。すなわち、図12(B)は、図11(C)に示す配信画面に対応し、配信者Aが配信している仮想空間内に移動した後の仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。図12(A)に示す撮影画面とは異なり、図12(B)に示す撮影画面には、配信者Aを示す仮想キャラクタ40とテーブルを示すオブジェクト20が映り込んでいる。
<処理の流れ>
以下、図13を参照しながら、コンテンツ配信サーバ500が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ500が配信者端末600から参加受付情報を取得している場合に実行される。
以下、図13を参照しながら、コンテンツ配信サーバ500が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ500が配信者端末600から参加受付情報を取得している場合に実行される。
まず、制御部540の一覧情報配信部545は、配信者端末600から取得した参加受付情報に基づいて、他の配信者端末700に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS201)。
制御部540の参加受付部544は、配信者が配信に使用する仮想空間内への他の配信者の参加希望を受け付ける(ステップS202)。具体的には、参加受付部544は、他の配信者端末700の参加希望情報送信部687から送信される参加希望情報を、通信部110を介して取得する。
制御部540の参加受付部544は、参加希望する他人(すなわち他の配信者)及び他人の配信を撮影している撮影者の情報を取得して、その参加希望されている配信をしている配信者端末600に表示させる(ステップS203)。また、参加受付部544は、参加希望する他人及び撮影者の参加を許可又は拒否する操作を受け付ける画面をその配信者端末600に表示させ、参加の許可又は拒否を受け付ける(ステップS204)。
ここで、制御部540は、配信者が他の配信者の参加を許可したか否かを判別する(ステップS205)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
他の配信者の参加が拒否された場合(ステップS205;N)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報を取得する(ステップS207)。すなわち、コンテンツ配信サーバ500は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS208、S209の処理を行う。
一方、他の配信者の参加が許可された場合(ステップS205;Y)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報と、その配信に参加する他の配信者の各種情報とを取得する(ステップS206)。すなわち、コンテンツ配信サーバ500は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、後述するステップS211、S212の処理を行う。
制御部540は、配信者が他の配信の仮想空間内で撮影を行っている撮影者の参加を許可したか否かを判別する(ステップS208)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。
撮影者の参加が拒否された場合(ステップS208;N)、制御部540は、配信状態を制御して、撮影者端末900を、仮想カメラの使用ができない状態で、かつ視聴者端末300、800と同じ機能のみを使用できる状態にする(ステップS210)。
一方、撮影者の参加が許可された場合(ステップS208;Y)、制御部540の情報取得部541は、撮影者端末900を使用している撮影者の仮想カメラの情報を取得する(ステップS209)。コンテンツ配信サーバ500は、取得した仮想カメラの情報を配信者端末600による配信に使用されている仮想空間に反映させる。これにより、撮影者の仮想カメラを使用した撮影は、移動先の仮想空間で継続することが可能となる。
制御部540の映像生成部542は、情報取得部541が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS211)。また、撮影者の参加が許可されている場合、映像生成部542は、撮影者の仮想カメラを配信の仮想空間内に移動させ、撮影者の仮想カメラはその配信と他の配信とにおいて共有される。
制御部540の配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する(ステップS212)。例えば、配信者端末600には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する他の配信者端末700には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、800には、配信画面が表示される。参加を許可された撮影者端末900には、移動先の仮想空間における仮想カメラの撮影映像が表示され、その撮影映像も他の配信において使用される。なお、他の配信者の仮想キャラクタや仮想カメラの移動が生じた場合には、制御部540のリンク通知部546は、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを視聴者端末300、800に表示させてもよいし、移動先の配信を視聴するためのリンクを視聴者端末300、800に通知してもよい。
以上、コンテンツ配信サーバ500が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。
例えば、配信者が配信している間に参加を受け付ける場合には、ステップS201より前にステップS207、S211、S212のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS204に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。
<効果の説明>
本実施形態に係るコンテンツ配信システム2において、コンテンツ配信サーバ500は、ネットワークを介して、他の配信者から配信への参加希望を受け付ける。この場合、配信者と他の配信者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。また、コンテンツ配信システム2によれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間に他の配信者が出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。したがって、本実施形態に係るコンテンツ配信システム2によれば、仮想空間を共有する形態としての利便性を向上させることができる。
本実施形態に係るコンテンツ配信システム2において、コンテンツ配信サーバ500は、ネットワークを介して、他の配信者から配信への参加希望を受け付ける。この場合、配信者と他の配信者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。また、コンテンツ配信システム2によれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間に他の配信者が出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。したがって、本実施形態に係るコンテンツ配信システム2によれば、仮想空間を共有する形態としての利便性を向上させることができる。
以上で実施形態の説明を終了するが、上記実施形態は一例に過ぎない。そのため、コンテンツ配信システム1、2の具体的な構成、処理の内容等は上記実施形態で説明したものに限られない。以下、上記実施形態の変形例について説明する。なお、実施形態に係るコンテンツ配信システム1、2と共通する構成要素については同一の符号を付して説明する。
(変形例)
コンテンツ配信サーバ100、500が実行する制御処理の順序は、図7、図13に示す例に限られない。また、コンテンツ配信サーバ100、500が実行する制御処理の内容は、図7、図13に示す例に限られず、一部の処理が省略されてもよい。
コンテンツ配信サーバ100、500が実行する制御処理の順序は、図7、図13に示す例に限られない。また、コンテンツ配信サーバ100、500が実行する制御処理の内容は、図7、図13に示す例に限られず、一部の処理が省略されてもよい。
上記実施形態では、参加受付状況に応じて、コンテンツ配信サーバ100、500が配信するコンテンツの内容に変形を加えている。すなわち、配信段階でコンテンツの内容に変形を加えている。しかし、配信されるコンテンツの内容はすべて同じであってもよく、受信側で映像を表示させる段階でコンテンツに表示制御を実行してもよい。例えば、視聴者端末300、800等がプログラムを実行してコンテンツを表示する際に、参加受付状況に応じて表示制御を実行してもよい。例えば、視聴者端末300、800が、配信者による参加許可情報を受信して、それに応じた動作を行うことによって、このような変形が実現可能である。
第2実施形態では、参加を受け付ける配信と参加する他の配信とが1対1の例を説明した。しかし、コンテンツ配信システム2の構成は、このような参加方法に限られない。例えば、ある配信者端末の仮想キャラクタが他の複数の配信者端末による配信の仮想空間に一斉に参加してもよい。ある配信者端末の配信に使用されている仮想空間に他の複数の配信者の仮想キャラクタが参加してもよい。また、コンテンツ配信システム2は、参加を受け付ける配信と参加する他の配信とが複数対複数であっても実現可能な構成であってもよい。すなわち、複数の配信番組が統合されてもよい。
第2実施形態では、移動元の参加者(他の配信者)が配信している配信画面は、移動先に統合される例を説明した。しかし、移動元の参加者が配信している配信画面が参加によって変化せず、コンテンツ配信サーバ500の配信部543は、他の配信者の仮想キャラクタのみが表示された状態でその配信を継続するように構成されてもよい。また、視聴者端末300、800には、移動先のリンクが通知されるのではなく、統合後の配信画面が自動的に表示されるように表示制御されてもよい。
上記実施形態では、コンテンツ配信サーバ100、500は、参加受付部144、544を備え、参加希望に基づく参加を受け付けるだけである。しかし、コンテンツ配信サーバ100、500は、参加者(すなわち視聴者又は他の配信者)が参加した後に、その退出を受け付ける退出受付部をさらに備えていてもよい。退出は、例えば、参加を許可した配信者が参加者を追い出す指示をコンテンツ配信サーバ100、500に送信することによって実現されてもよい。また、退出は、参加者がコンテンツ配信サーバ100、500に退出希望情報を送信することによって実現されてもよい。このような構成によれば、参加者は、配信者が配信に使用している仮想空間を出入りすることが可能となる。
コンテンツ配信サーバ100、500は、参加希望に基づく参加を受け付ける構成に限られない。例えば、コンテンツ配信サーバ100、500は、配信者による招待を受け付ける構成であってもよい。例えば、配信者端末200、600を使用する配信者が視聴者又は他の配信者を招待するための招待情報をコンテンツ配信サーバ100、500に送信し、コンテンツ配信サーバ100、500は、その招待を受ける視聴者又は配信者が使用する通信端末に通知してもよい。これにより、招待に応じた参加を実現することが可能となる。
上記実施形態に係るコンテンツ配信システム1、2では、配信者端末200、600、700、視聴者端末300、800と撮影者端末900とを異なる構成とし、それぞれを区別可能にしている。しかし、これらの各装置の構成要素を組み合わせて、これらのいずれか2つ以上の機能を有する構成としてもよい。
また、本開示に係るコンテンツ配信システムは、上記装置によらず、例えば、コンピュータがプログラムを実行することで、その機能を実現してもよい。コンテンツ配信システム1の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disc Drive)等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
以上、本開示の好ましい実施形態について説明したが、本開示は係る特定の実施形態に限定されるものではなく、本開示には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。また、上記実施形態及び変形例で説明した装置の構成は、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
1,2…コンテンツ配信システム、100,500…コンテンツ配信サーバ、200,600,700…配信者端末、300,400,800…視聴者端末、900…撮影者端末
Claims (20)
- 配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成部と、
前記映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部と、
を備えることを特徴とするコンテンツ配信サーバ。 - 前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者である、
ことを特徴とする請求項1に記載のコンテンツ配信サーバ。 - 前記参加者が仮想空間内で他の配信している前記他の配信者である場合、前記配信部は、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
ことを特徴とする請求項2に記載のコンテンツ配信サーバ。 - 前記参加受付部は、前記参加希望する他人の情報を取得して、前記配信者の通信端末に表示させる、
ことを特徴とする請求項2又は3に記載のコンテンツ配信サーバ。 - 前記他人の情報は、前記他の配信を視聴する視聴者又は該他の配信を仮想カメラで撮影している撮影者に関する情報を含む、
ことを特徴とする請求項4に記載のコンテンツ配信サーバ。 - 前記参加受付部は、前記参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1から5のいずれか1項に記載のコンテンツ配信サーバ。 - 前記参加受付部は、前記参加希望する他人の配信を仮想カメラで撮影している撮影者の参加を許可又は拒否する操作を受け付ける画面を、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1から6のいずれか1項に記載のコンテンツ配信サーバ。 - 前記撮影者の参加が許可された場合、前記映像生成部は、該撮影者の仮想カメラを前記配信の仮想空間内に移動させ、該撮影者の仮想カメラを前記配信と前記他の配信とにおいて共有する、
ことを特徴とする請求項7に記載のコンテンツ配信サーバ。 - 前記撮影者の参加が拒否された場合、前記撮影者の通信端末は、前記仮想カメラの使用ができない状態で、かつ前記視聴者の通信端末と同じ機能のみを使用できる状態にされる、
ことを特徴とする請求項7に記載のコンテンツ配信サーバ。 - 前記他人の通信端末に、前記参加希望を受け付けている配信の一覧情報を示す画面を表示させる一覧情報配信部をさらに備える、
ことを特徴とする請求項1から9のいずれか1項に記載のコンテンツ配信サーバ。 - 前記参加受付部は、前記参加希望する他人が参加する場合に使用する参加用URLを、該参加希望する他人の通信端末に送信するための操作画面を、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1から10のいずれか1項に記載のコンテンツ配信サーバ。 - 前記配信部は、前記配信を視聴する視聴者の通信端末に、前記参加者と前記配信者を区別可能に表示させる、
ことを特徴とする請求項1から11のいずれか1項に記載のコンテンツ配信サーバ。 - 前記映像生成部は、前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信者及び前記参加者の前記仮想キャラクタを別の前記仮想空間内に移動させた映像を生成し、
前記配信部は、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
ことを特徴とする請求項1から12のいずれか1項に記載のコンテンツ配信サーバ。 - 前記映像生成部は、前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信者又は前記参加者の前記仮想キャラクタを前記配信または前記他の配信で使用される前記仮想空間内に移動させた映像を生成し、
前記配信部は、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
ことを特徴とする請求項1から12のいずれか1項に記載のコンテンツ配信サーバ。 - 前記移動が生じた場合に、前記配信又は前記他の配信のいずれか一方を視聴する前記視聴者の通信端末に、他方の配信又は該他方の配信の前記撮影者端末による配信を視聴するためのリンクを表示させるリンク通知部をさらに備える、
ことを特徴とする請求項13又は14に記載のコンテンツ配信サーバ。 - 前記他の配信は、他のコンテンツ配信サーバを使用した配信であり、前記配信とは配信プラットフォームが異なる、
ことを特徴とする請求項2から5のいずれか1項に記載のコンテンツ配信サーバ。 - 前記仮想空間内には、複数の仮想カメラが配置され、
前記配信部は、所定条件に基づいて前記複数の仮想カメラによる撮影映像のいずれか一つ以上を切り替えて、該撮影映像を前記ライブコンテンツとして配信する、
ことを特徴とする請求項1から16のいずれか1項に記載のコンテンツ配信サーバ。 - 配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、該配信者と該参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した該仮想空間内の映像を生成し、該生成した映像に基づいてライブコンテンツを配信するコンテンツ配信サーバと、
前記配信者が使用する配信者端末と、
前記ライブコンテンツを視聴する視聴者が使用する視聴者端末と、
を備えることを特徴とするコンテンツ配信システム。 - 配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、
前記情報取得ステップにおいて取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成ステップと、
前記映像生成ステップにおいて生成した映像に基づいてライブコンテンツを配信する配信ステップと、
を含むことを特徴とするコンテンツ配信方法。 - コンピュータを、
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、
前記情報取得手段が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成手段、
前記映像生成手段が生成した映像に基づいてライブコンテンツを配信する配信手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019004488A JP2019185736A (ja) | 2019-01-15 | 2019-01-15 | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019004488A JP2019185736A (ja) | 2019-01-15 | 2019-01-15 | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018077133A Division JP6469279B1 (ja) | 2018-04-12 | 2018-04-12 | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019185736A true JP2019185736A (ja) | 2019-10-24 |
Family
ID=68340984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019004488A Pending JP2019185736A (ja) | 2019-01-15 | 2019-01-15 | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019185736A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7469766B1 (ja) | 2023-08-10 | 2024-04-17 | 17Live株式会社 | ストリーム配信のためのシステム及び方法 |
-
2019
- 2019-01-15 JP JP2019004488A patent/JP2019185736A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7469766B1 (ja) | 2023-08-10 | 2024-04-17 | 17Live株式会社 | ストリーム配信のためのシステム及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6469279B1 (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP6527627B1 (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP7368886B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
JP6556301B1 (ja) | コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP6397595B1 (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
KR20230039768A (ko) | 촬영 방법, 장치, 전자기기 및 컴퓨터 판독 가능 저장매체 | |
US11956504B2 (en) | Content distribution server, content distribution system, content distribution method, and program | |
JP2020017950A (ja) | コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
US20200349749A1 (en) | Virtual reality equipment and method for controlling thereof | |
JP2020039112A (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2019185736A (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2023153790A (ja) | プログラム | |
JP6385543B1 (ja) | サーバ装置、配信システム、配信方法及びプログラム | |
JP6473265B1 (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP6487585B1 (ja) | コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2020038601A (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2010147911A (ja) | 画像配信装置、画像配信システム、画像配信方法、およびプログラム | |
JP2019185720A (ja) | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2020071519A (ja) | 案内装置及びガイドシステム | |
JP2020039109A (ja) | コンテンツ配信サーバ、コンテンツ配信方法及びプログラム | |
JP2019185750A (ja) | コンテンツ配信サーバ、仮想キャラクタ提供サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム | |
JP2024025327A (ja) | 合成画像生成システム、及び撮像支援方法 | |
JP2018026603A (ja) | 画像配信装置 |