JP2023129445A - コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム - Google Patents
コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム Download PDFInfo
- Publication number
- JP2023129445A JP2023129445A JP2023109350A JP2023109350A JP2023129445A JP 2023129445 A JP2023129445 A JP 2023129445A JP 2023109350 A JP2023109350 A JP 2023109350A JP 2023109350 A JP2023109350 A JP 2023109350A JP 2023129445 A JP2023129445 A JP 2023129445A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- viewer
- motion
- broadcaster
- reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 title claims description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 177
- 238000006243 chemical reaction Methods 0.000 claims abstract description 160
- 238000001514 detection method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
【課題】視聴者が配信者からのリアクションを得やすくする。【解決手段】視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行う。配信者の指示するタイミングで、応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとを異ならせる。応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションのいずれかは事前に決められたモーションである。【選択図】図3
Description
本発明は、VR空間でライブ配信する技術に関する。
近年、仮想現実(VR)空間でコンピュータグラフィックスキャラクタ(以下、「アバター」と称する)になりきり、ライブ配信できるサービスが広まっている。
このサービスでは、配信者はヘッドマウントディスプレイ(HMD)を装着し、両手にコントローラを持って、配信者自身の動きをアバターに反映させてライブ配信する。
視聴者はライブ配信を視聴するだけでなく、視聴者もHMDを装着してライブ配信に参加できる。視聴者は、配信者のVR空間に自身のアバターを参加させて、配信者とコミュニケーションを取ることができる。
視聴者は、ライブ配信を盛り上げるために、自身の視聴者アバターに応援アクションをさせるが、配信者は、全ての視聴者に対してリアクションを返すことはできない。視聴者は、配信者からのリアクションが得られないと応援することをやめてしまい、ライブ配信の盛り上がりが期待できなくなるおそれがある。
特許文献1には、プレイヤのアバターがアイドルキャラクタのライブステージに訪れた多数のファンの一人としてVR空間内の客席に配置され、プレイヤは視線を送ってアイドルキャラクタを応援することが記載されている。特許文献1では、応援すると付与されるポイント等の発動条件を満たしたプレイヤのアバターに対して、アイドルキャラクタが個別に特別ファンサービスが行われる。特許文献1は、ポイントの獲得をプレイヤ間で競わせることで、ライブステージを盛り上げるものである。特別ファンサービスが行われる対象は、客席内の1人のプレイヤに対してのみであり、応援するとアイドルキャラクタからのリアクションが必ず得られるものでない。
本発明は、上記に鑑みてなされたものであり、視聴者が配信者からのリアクションを得やすくすることを目的とする。
本発明に係るコミュニケーション装置は、同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、第1の視聴者アバターによる配信者アバターに対する応援を検出する応援検出部と、前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるリアクション部と、を備えることを特徴とする。
本発明によれば、視聴者が配信者からのリアクションを得やすくすることができる。
以下、本発明の実施の形態について図面を用いて説明する。
[第1の実施形態]
図1を参照し、第1の実施形態のライブ配信サービスの全体的なシステム構成例を説明する。
図1を参照し、第1の実施形態のライブ配信サービスの全体的なシステム構成例を説明する。
本実施形態のライブ配信サービスは、配信者がVR空間でアバターになりきり、生放送番組を配信できるライブ配信サービスである。また、本ライブ配信サービスでは、視聴者も配信者と同じVR空間において視聴者アバターとして番組に参加できる。ライブ配信サービスは、ネットワークに接続されたサーバ1、配信者端末3、および視聴者端末5を用いて提供される。図1では、視聴者端末5の数を5台としているが、実際には視聴者端末5の数はもっと多く、視聴者端末5の数は任意である。
サーバ1は、ネットワークを介して、配信者端末3からVR空間でのライブ配信映像を受信し、視聴者端末5へライブ配信映像を配信する。具体的には、サーバ1は、配信者端末3から配信者アバターのモーションデータを受信し、モーションデータを視聴者端末5へ配信する。視聴者端末5は、受信したモーションデータを配信者アバターに反映させてVR空間をレンダリングする。VR空間が視聴者端末5においてレンダリングされて表示される場合、視聴者端末5は、VR空間のレンダリングに必要なモデルデータを保持しておく。例えば、視聴者端末5は、VR空間内に存在するアバターなどのモデルデータをサーバ1から受信してもよいし、モデルデータを事前に保持しておいてもよい。
視聴者が番組に参加したときは、サーバ1は、視聴者端末5から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末3および他の視聴者端末5へ配信する。配信者端末3および他の視聴者端末5は、受信したモーションデータを視聴者アバターに反映させてVR空間をレンダリングする。視聴者アバターのモデルデータは、視聴者が参加したときにサーバ1から受信してもよいし、配信者端末3および視聴者端末5が事前に保持しておいてもよい。
番組に参加した視聴者は視聴者アバターを通じて配信者を応援することができる。配信者アバターは、応援した視聴者アバターに対してリアクションを返す。
サーバ1は、配信者アバターが応援に対するリアクションをする時に、配信者アバターに行わせるモーションを応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとで異ならせる。具体的には、サーバ1は、応援した視聴者の視聴者端末5に対しては、配信者アバターのモーションの一部をリアクションモーションに変えたモーションデータを配信するとともに、応援していない視聴者の視聴者端末5に対しては、通常のモーションデータを配信する。つまり、配信者アバターがリアクションするとき、応援した視聴者と応援していない視聴者とでは、見ている配信者アバターのモーションが異なる。
配信者端末3は、配信者がライブ配信に用いる端末である。配信者端末3としては、例えば、HMDが接続されたパーソナルコンピュータを用いることができる。
図2に示すように、配信者は、HMD100を装着し、コントローラ101を両手に持って、配信者アバターを制御する。
HMD100は、配信者の頭の動きを検知する。HMD100が検知した頭の動きを配信者アバターに反映させる。配信者は、頭を動かしてVR空間内を見渡すことができる。HMD100は、配信者が向いた方向のVR空間をレンダリングする。HMD100が右眼用画像と左眼用画像に視差を持たせることで、配信者は、3次元のVR空間を見ることができる。
コントローラ101は、配信者の手の動きを検知する。コントローラ101が検知した手の動きを配信者アバターに反映させる。
配信者端末3は、検知した配信者の動きを配信者アバターに反映させるモーションデータをサーバ1へ送信する。モーションデータは、サーバ1によって視聴者端末5に配信される。また、配信者端末3は、配信者の番組に参加した視聴者アバターのモーションデータをサーバ1から受信する。配信者端末3は、受信したモーションデータを視聴者アバターに反映させてVR空間をレンダリングする。
コントローラ101は、ボタン等の操作手段を備えている。配信者がボタンを操作すると、配信者アバターに所定の動きをさせることができる。本実施形態に関連する操作としては、例えば、視聴者の応援に対するリアクションを返すタイミングを指定する操作がある。視聴者アバターが配信者アバターを応援したとき、配信者がリアクションを返すタイミングを指定すると、配信者端末3は、リアクション信号をサーバ1へ送信する。サーバ1は、リアクション信号に応じて、応援した視聴者アバターに対するリアクションモーションと、応援していない視聴者アバターに対するモーションとを異ならせて、配信者アバターに応援に対するリアクションをさせる。
視聴者端末5は、視聴者がライブ配信を見るために用いる端末である。視聴者端末5としては、配信者端末3と同様に、HMDが接続されたパーソナルコンピュータを用いることができる。
視聴者は、配信者の番組に参加することができる。具体的には、視聴者が番組へ参加する操作を行うと、視聴者が制御可能な視聴者アバターが配信者アバターの存在するVR空間内に登場する。視聴者も、図2に示すように、HMD100を装着し、コントローラ101を両手に持って、視聴者アバターを制御する。番組に参加した視聴者の視点はVR空間内の視聴者アバターの視点となる。つまり、HMD100は、視聴者アバターの視点でVR空間をレンダリングする。
視聴者は、コントローラ101等を操作することで、配信者を応援することができる。視聴者が配信者を応援すると、視聴者端末5は、応援信号をサーバ1へ送信する。
次に、図3を参照し、サーバ1、配信者端末3、および視聴者端末5の構成例について説明する。
図3に示すサーバ1は、配信部11、リアクション部12、応援検出部13、およびリアクションデータ蓄積部14を備える。
配信部11は、ライブ配信サービスに必要なデータの送受信を行う。具体的には、配信部11は、配信者端末3から配信者の音声および配信者アバターのモーションデータを受信し、音声およびモーションデータを視聴者端末5へ配信する。また、配信部11は、番組に参加した視聴者の視聴者端末5から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末3および視聴者端末5へ配信する。配信部11は、視聴者の音声を受信して配信してもよい。配信部11は、視聴者が入力したコメント(文字情報)を受信して配信してもよい。
リアクション部12は、所定のタイミングで、応援した視聴者の視聴者端末5へ送信される通常モーションをリアクションモーションに差し替える。通常モーションは、HMD100およびコントローラ101で検知した配信者の動きに応じたモーションである。リアクションモーションは、後述のリアクションデータ蓄積部14に蓄積されたリアクションモーションである。リアクション部12は、リアクションデータ蓄積部14からリアクションモーションを読み出し、応援した視聴者アバターに対する個別のリアクションモーションにして応援した視聴者の視聴者端末5へ送信する。例えば、配信者アバターに行わせるリアクションの例としては、配信者アバターが視聴者アバターに対して視線(顔)を向けてウインクするモーションがある。視聴者は、視聴者アバターの目線でVR空間がレンダリングされるので、視聴者は、応援に対して配信者アバターが自分に視線を向けたと感じることができる。配信者アバターが視聴者アバターに視線を向けた際、視線方向にビームまたはハートマークなどのエフェクトを表示してもよい。
リアクションの例としては、他にも、配信者アバターの体の向きを視聴者アバターに向ける、配信者アバターを視聴者アバターに近づける、などがある。視聴者の応援量(例えばギフトを送った量)に応じてリアクションを変えてもよい。リアクションモーションは、後述のリアクションデータ蓄積部14に蓄積されたモーションデータから選択する。リアクションモーション時に、配信者アバターは、応援していない視聴者アバターの方向を向かないようにしてもよい。
リアクション部12は、配信者アバターにリアクションをさせるタイミングを配信者端末3から受信するリアクション信号に応じて決定する。あるいは、リアクション信号によらず、リアクション部12は、応援を検出後に所定の時間経過したタイミングをリアクションタイミングとしてもよい。リアクション部12は、配信者アバターの動きに応じてリアクションタイミングを決定してもよい。例えば、配信者アバターが両手を上に挙げたときをリアクションタイミングとする。
配信者がリアクションモーションを送信してもよい。この場合、応援した視聴者の視聴者端末5には配信者端末3から受信したリアクションモーションを送信し、応援していない視聴者の視聴者端末5にはリアクションモーションを通常モーションに差し替えて送信する。
応援検出部13は、配信者を応援した視聴者を検出し、視聴者を応援した配信者の配信者アバターに対してリアクションモーションをするようにリアクション部12へ通知する。例えば、応援検出部13は、視聴者端末5から応援信号を受信することで視聴者の応援を検出する。応援検出部13は、視聴者アバターの動きに基づいて配信者に対する応援を検出してもよい。例えば、応援検出部13は、視聴者アバターが配信者アバターに対して大きく手を振ったときに、視聴者が配信者を応援したと検出する。あるいは、応援検出部13は、視聴者による声援を検出したときに、視聴者が配信者を応援したと検出してもよい。
リアクションデータ蓄積部14は、リアクションモーションのデータを蓄積する。リアクションデータ蓄積部14は、複数種類のリアクションモーションを蓄積してもよい。
配信者端末3は、VR機能部31およびリアクション指示部32を備える。
VR機能部31は、VR空間をレンダリングする機能、配信者の動きをVR空間内の配信者アバターに反映する機能などのVR空間でのライブ配信に必要な機能を有する。例えば、VR機能部31は、HMD100で検出した配信者の頭の動きおよびコントローラ101で検出した配信者の手の動きに基づいて配信者アバターのモーションを決定し、サーバ1へモーションデータを送信する。
リアクション指示部32は、配信者からリアクション操作を受け付けて、リアクション信号をサーバ1へ送信する。例えば、コントローラ101のボタンが操作されると、リアクション信号をサーバ1へ送信する。応援に対してリアクションを返すタイミングをサーバ1が判断する場合、配信者端末3は配信者からリアクション操作を受け付ける必要はない。
視聴者端末5は、VR機能部51および応援指示部52を備える。
VR機能部51は、VR空間をレンダリングする機能、視聴者の動きをVR空間内の視聴者アバターに反映する機能などのVR空間でのライブ配信の視聴に必要な機能を有する。
応援指示部52は、視聴者から応援操作を受け付けて、応援信号をサーバ1へ送信する。応援指示部52は、必要に応じて、視聴者アバターに応援モーションをさせる。
視聴者の応援には、例えば、ギフトを送る、手を振るなどの行為が考えられる。視聴者がギフトを送ると、応援指示部52からサーバ1へ応援信号が送られる。コントローラ101のボタンに応援操作を割り当てておき、視聴者がそのボタンを操作すると、応援信号を送信するとともに、視聴者アバターに応援モーションをさせてもよい。
サーバ1、配信者端末3、および視聴者端末5が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ1、配信者端末3、および視聴者端末5が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
次に、図4のシーケンス図を参照し、ライブ配信の開始と視聴者の参加について説明する。
配信者が配信者端末3を用いてライブ配信を開始する操作を行うと、配信者端末3は、ライブ配信を開始することをサーバ1へ通知する(ステップS11)。
ライブ配信が開始すると、配信者端末3は、配信者の操作および動きを検出し、配信者アバターを制御するためのモーションデータをサーバ1へ送信する(ステップS12)。サーバ1は、モーションデータをライブ配信を見ている視聴者端末5A~5Cへ配信する。ライブ配信中は、配信者端末3からサーバ1へのモーションデータの送信およびサーバ1から視聴者端末5A~5Cへのモーションデータの配信が継続して行われる。
視聴者Aが視聴者端末5Aを用いて番組に参加する操作を行うと、視聴者端末5Aは、番組に参加することをサーバ1へ通知する(ステップS13)。
視聴者Aが番組に参加すると、視聴者端末5Aは、視聴者の操作および動きを検出し、視聴者アバターを制御するためのモーションデータをサーバ1へ送信する(ステップS14)。サーバ1は、モーションデータを配信者端末3および他の視聴者端末5B,5Cへ配信する。番組に参加中は、視聴者端末5Aからサーバ1へのモーションデータの送信およびサーバ1から配信者端末3と視聴者端末5B,5Cへのモーションデータの配信が継続して行われる。
以下、視聴者Aの場合と同様に、視聴者Bが視聴者端末5Bを用いて番組に参加する操作を行うと、視聴者端末5Bは、番組に参加することをサーバ1へ通知し(ステップS15)、視聴者Bの視聴者アバターを制御するためのモーションデータのサーバ1への送信を開始する(ステップS16)。
視聴者Cが視聴者端末5Cを用いて番組に参加する操作を行うと、視聴者端末5Cは、番組に参加することをサーバ1へ通知し(ステップS17)、視聴者Cの視聴者アバターを制御するためのモーションデータのサーバ1への送信を開始する(ステップS18)。
図5に、視聴者が参加したVR空間の様子を示す。同図に示すように、VR空間には、ステージ上の配信者アバター300だけでなく、ステージ下に番組に参加した視聴者アバター500A~500Eが存在する。視聴者は、配信者アバター300だけでなく、番組に参加した視聴者A~Eの視聴者アバター500A~500Eも見ることができる。
配信者は、配信者アバター300の位置を視点としてVR空間を見ることができる。視聴者A~Eは、視聴者アバター500A~500Eのそれぞれの位置を視点としてVR空間を見ることができる。つまり、配信者端末3は、配信者アバター300の顔の位置および顔の向きに基づいてVR空間をレンダリングし、視聴者端末5は、視聴者アバター500A~500Eのそれぞれの顔の位置および顔の向きに基づいてVR空間をレンダリングする。図5の場合、視聴者A~Eは、それぞれ違った位置から違った角度で配信者アバター300を見ることになる。
番組に参加していない視聴者の視点は、例えば、配信者がVR空間で任意の位置に設定した仮想カメラの位置とする。
次に、図6のシーケンス図を参照し、視聴者による応援と配信者によるリアクションについて説明する。
視聴者Aが視聴者端末5Aを操作して配信者を応援すると、視聴者端末5Aはサーバ1へ応援信号を送信し、サーバ1は視聴者Aから応援があったことを配信者端末3へ通知する(ステップS21)。このとき、視聴者B,Cは、配信者を応援していないとする。
配信者は視聴者Aが自分を応援してくれたことを確認すると、配信者端末3を操作してリアクション信号をサーバ1へ送信する(ステップS22)。配信者はリアクション信号を送信するリアクション操作を行うが、配信者自身がリアクションする必要はない。配信者端末3は、配信者の動きに応じた通常モーションをサーバ1へ送信する(ステップS23)。なお、サーバ1でリアクションタイミングを決める場合は、ステップS22のリアクション信号を送信する処理は不要である。
サーバ1は、リアクション信号を受信すると、応援信号を送信した視聴者端末5Aに対しては通常モーションをリアクションモーションに差し替えて送信し(ステップS24)、応援信号を送信していない視聴者端末5B,5Cに対しては通常モーションを送信する(ステップS25,S26)。応援信号を送信した視聴者端末5が複数存在する場合は、応援信号を送信した視聴者端末5のそれぞれに対して専用のリアクションモーションを送信する。
図7に、配信者がリアクションしたVR空間の様子を示す。同図では、視聴者A,E(視聴者アバター500A,500E)が応援したものとする。
配信者アバター300が応援に対するリアクションを返すタイミングで、応援した視聴者アバター500A,500Eに対しては、視聴者アバター500A,500Eのそれぞれに対して配信者アバター300は個別にリアクションする。具体的には、サーバ1は、配信者アバター300がリアクションする際、視聴者アバター500Aの視聴者端末5Aに対して視聴者アバター500A専用のリアクションモーションを送信し、視聴者アバター500Eの視聴者端末5Eに対して視聴者アバター500E専用のリアクションモーションを送信する。視聴者アバター500B,500C,500Dの視聴者端末5B,5C,5Dに対しては共通の通常モーションを送信する。視聴者Aの見るVR空間では配信者アバターは視聴者アバター500Aに近づいた配信者アバター300Aの状態である。視聴者Eの見るVR空間では配信者アバターは視聴者アバター500Eに近づいた配信者アバター300Eの状態である。視聴者B,C,Dの見るVR空間では配信者アバターはステージ中央に存在する配信者アバター300の状態である。つまり、配信者アバターがリアクションするとき、視聴者Aは視聴者アバター500A専用のリアクションモーションをした配信者アバター300Aが見え、視聴者Eは視聴者アバター500E専用のリアクションモーションをした配信者アバター300Eが見え、視聴者B,C,Dは通常モーションの配信者アバター300が見える。配信者アバターのリアクションが終わると、視聴者端末5A~5Eには共通の配信者アバターの通常モーションが配信される。
なお、リアクションモーションでは、配信者アバター300の位置を動かさなくても、視線を向ける、視聴者アバター500A,500Eのそれぞれに対して手を振るなどのモーションでもよい。この場合も、応援した視聴者アバター500A,500Eのそれぞれには専用のリアクションモーションが送信される。
このように、配信者アバター300が応援に対してリアクションする時に、応援した視聴者アバター500A,500Eに対しては、専用のリアクションモーションを配信者アバター300A,300Eにさせて、応援していない視聴者アバター500B,500C,500Dに対するモーションと異ならせることで、視聴者A,Eのそれぞれは配信者アバターのリアクションを得られる。
[第2の実施形態]
第2の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を視聴者端末が行う。全体的なシステム構成は第1の実施形態と同様である。
第2の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を視聴者端末が行う。全体的なシステム構成は第1の実施形態と同様である。
図8を参照し、第2の実施形態のライブ配信サービスで用いられるサーバ1、配信者端末3、および視聴者端末5の構成例について説明する。
サーバ1は、配信部11を備える。配信部11は、第1の実施形態のサーバ1の配信部11と同様に、ライブ配信サービスに必要なデータの送受信を行う。
配信者端末3は、VR機能部31を備える。VR機能部31は、第1の実施形態の配信者端末3のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。
視聴者端末5は、VR機能部51、応援指示部52、リアクション部53、およびリアクションデータ蓄積部54を備える。
VR機能部51は、第1の実施形態の視聴者端末5のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。また、VR機能部51は、リアクション部53の指示により、サーバ1から受信した配信者アバターの通常モーションをリアクションモーションに差し替えて、VR空間をレンダリングする。
応援指示部52は、視聴者から応援操作を受け付けて、リアクション部53へ通知する。応援指示部52は、必要に応じて、視聴者アバターに応援モーションをさせる。第1の実施形態とは、応援信号をサーバ1へ送信しない点で相違する。なお、応援指示部52は、第1の実施形態と同様に、応援信号をサーバ1へ送信してもよい。
リアクション部53は、応援指示部52が応援操作を入力すると、所定のタイミングで、サーバ1から配信される配信者アバターのモーションをリアクションモーションに差し替える。所定のタイミングは、リアクション部53が判定する。所定のタイミングとして、例えば、配信者アバターの応援モーションが終了したタイミングが考えられる。リアクションタイミングを決めるために、サーバ1または配信者端末3からリアクション信号を受信してもよい。
リアクションデータ蓄積部54は、第1の実施形態のサーバ1のリアクションデータ蓄積部14と同様に、リアクションモーションのデータを蓄積する。
次に、図9のフローチャートを参照し、視聴者端末5の処理について説明する。
応援指示部52が応援操作を入力すると、視聴者アバターに配信者アバターを応援させるとともに、リアクション部53に配信者を応援したことを通知する(ステップS31)。配信者に視聴者が応援したことを知らせてもよい。
リアクション部53は、リアクションタイミングであるか否か判定する(ステップS32)。
リアクションタイミングになると、リアクション部53は、サーバ1から配信される配信者アバターのモーションをリアクションデータ蓄積部14に蓄積したリアクションモーションに差し替える(ステップS33)。
次に、図10のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。
視聴者端末5Aは、視聴者Aから応援操作を入力する(ステップS41)。
配信者端末3は、通常モーションをサーバ1へ送信し(ステップS42)、サーバ1は、通常モーションを視聴者端末5A~5Cへ配信する(ステップS43~S45)。
視聴者端末5Aは、リアクションタイミングになると、サーバ1から配信される通常モーションをリアクションモーションに差し替える(ステップS46)。
このように、視聴者端末5Aで、応援を検出し、視聴者端末5A自身で配信者アバターのモーションをリアクションモーションに差し替えることでも、視聴者は、配信者アバターのリアクションを得られる。
[第3の実施形態]
第3の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を配信者端末が行う。第3の実施形態では、サーバ1を介さずに配信者端末3は視聴者端末5に対して直接ライブ配信を行っている。もちろん、サーバ1を介してライブ配信を行ってもよい。なお、第2の実施形態においても、サーバ1を介さずにライブ配信を行ってもよい。
第3の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を配信者端末が行う。第3の実施形態では、サーバ1を介さずに配信者端末3は視聴者端末5に対して直接ライブ配信を行っている。もちろん、サーバ1を介してライブ配信を行ってもよい。なお、第2の実施形態においても、サーバ1を介さずにライブ配信を行ってもよい。
図11を参照し、第3の実施形態のライブ配信サービスで用いられる配信者端末3、および視聴者端末5の構成例について説明する。図11では、視聴者端末5の数を1台としているが、実際には、配信者端末3は複数の視聴者端末5に対してライブ配信を行う。
配信者端末3は、VR機能部31、リアクション指示部32、リアクション部33、応援検出部34、およびリアクションデータ蓄積部35を備える。
VR機能部31は、第1の実施形態の配信者端末3のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。
リアクション指示部32は、配信者からリアクション操作を受け付けて、リアクション部33へ通知する。
リアクション部33は、リアクション指示部32からの指示に応じて、応援した視聴者の視聴者端末5へ送信される通常モーションをリアクションモーションに差し替える。
応援検出部34は、配信者を応援した視聴者を検出し、視聴者を応援した配信者をリアクション部33へ通知する。
リアクションデータ蓄積部35は、第1の実施形態のサーバ1のリアクションデータ蓄積部14と同様に、リアクションモーションのデータを蓄積する。
次に、図12のフローチャートを参照し、配信者端末3の処理について説明する。
応援検出部34が、視聴者からの応援を検出するとリアクション部33へ通知し(ステップS51)、リアクション部33は、リアクション指示部32からの指示を待つ(ステップS52)。
リアクション指示部32がリアクション操作を受け付けてリアクション部33へ通知すると、リアクション部33は、応援した視聴者の視聴者端末5に対してはリアクションデータ蓄積部35に蓄積したリアクションモーションを送信し(ステップS53)、応援していない視聴者の視聴者端末5に対しては通常モーションを送信する(ステップS54)。
次に、図13のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。
視聴者Aが視聴者端末5Aを操作して配信者を応援すると、視聴者端末5Aは配信者端末3へ応援信号を送信する(ステップS61)。
配信者は視聴者Aが自分を応援してくれたことを確認すると、配信者端末3にリアクション操作を入力する(ステップS62)。
配信者端末3は、応援信号を送信した視聴者端末5Aに対してはリアクションモーションを送信し(ステップS63)、他の視聴者端末5B,5Cに対しては通常モーションを送信する(ステップS64,S65)。
以上がリアルタイム配信での実施各態様であるが、リアルタイム配信に限らず、過去に配信をした、あるいは配信のために用意されたVR空間での番組配信(「タイムシフト配信」とも呼ぶ)においても各実施形態は適用可能である。タイムシフト配信では、配信者アバターのモーションデータを含むVR空間レンダリングのためのデータをサーバあるいは他の構成に蓄積をしておく。サーバは、視聴者端末からの要求に応じてVR空間での番組の再生に必要なデータ(例えば、配信者の音声や配信者アバターのモーションデータ等)を視聴者端末へ配信する。視聴者端末は、受信したデータに基づいてVR空間をレンダリングし、番組を再生する。タイムシフト配信では、一時停止、巻き戻し、早送りなどの操作ができてもよい。
タイムシフト配信される番組のデータは事前に蓄積されたものであるが、各実施形態を適用することで、視聴者の応援に対するリアクションを配信者アバターにさせることができる。第2の実施形態のようにリアクションモーションデータが視聴者端末に蓄積されている場合、視聴者端末は視聴者による応援操作を検知すると、即座に、あるいは所定の時間経過後に、視聴者端末に予め蓄積した配信者アバターのリアクションモーションデータを読み出し、サーバから配信される配信者アバターのモーションデータをリアクションモーションデータに差し替える。これにより、配信者が視聴者の応援に答えたかのような演出を視聴者に見せることができる。配信者アバターのモーションを差し替え禁止する区間が設定されてもよい。例えば、配信者アバターが歌っている間はモーションの差し替えを禁止しておき、間奏中にリアクションモーションをさせる。タイムシフト配信で、視聴者が番組に参加していない場合、配信者アバターのリアクションモーションは、視聴者端末がVR空間をレンダリングする際の仮想カメラに向けたものとしてもよい。
タイムシフト配信を第1の実施形態および第3の実施形態に適用する場合も上記と同様に、リアクションモーションデータを蓄積したサーバまたは配信者端末が視聴者の応援を検知して、その視聴者端末に対してのみ配信者アバターのモーションをリアクションモーションに差し替えて送信する。
以上説明したように、本実施形態によれば、視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行うことにより、応援した視聴者アバターに対して個別にリアクションモーションが行われるので、視聴者は配信者からのリアクションをより確実に得ることができる。
なお、各実施形態では、差し替えたデータを含むVR空間のモーションデータ、外観データ、ボーンデータなどをサーバ1または配信者端末3から視聴者端末5へ送り、データを受信した視聴者端末5にてレンダリングを行う構成で説明したが、リアルタイム配信およびタイムシフト配信を用いた実施のいずれの場合においても、サーバ1または配信者端末3がVR空間をレンダリングしてもよい。例えば、サーバ1がモーションを差し替える第1の実施形態では、配信者端末3あるいは視聴者端末5からサーバ1に仮想カメラの位置および撮影方向等の情報を送信し、サーバ1が仮想カメラの情報に基づいてVR空間をレンダリングして画像を生成し、生成した画像を視聴者端末5へ送信するようにしてもよい。いずれの構成においても、応援が検知された視聴者端末5では、モーションをリアクションモーションに差し替えた上でレンダリングした画像を視聴することができる。第3の実施形態も同様に、配信者端末3がVR空間をレンダリングして画像を送信してもよい。
1…サーバ 11…配信部 12…リアクション部 13…応援検出部 14…リアクションデータ蓄積部 3…配信者端末 31…VR機能部 32…リアクション指示部 33…リアクション部 34…応援検出部 35…リアクションデータ蓄積部 5…視聴者端末 51…VR機能部 52…応援指示部 53…リアクション部 54…リアクションデータ蓄積部 100…HMD 101…コントローラ
Claims (7)
- 同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、
第1の視聴者アバターによる配信者アバターに対する応援を検出する応援検出部と、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるリアクション部と、を備える
ことを特徴とするコミュニケーション装置。 - 前記リアクション部は、前記配信者アバターを制御する配信者の指示するタイミングで、前記第1の視聴者アバターに対するモーションと前記第2の視聴者アバターに対するモーションとを異ならせる
ことを特徴とする請求項1に記載のコミュニケーション装置。 - 前記リアクション部は、前記第1の視聴者アバターに対するモーションと前記第2の視聴者アバターに対するモーションのいずれか一方は当該コミュニケーション装置が保持するモーションデータを用いる
ことを特徴とする請求項1または2に記載のコミュニケーション装置。 - 前記リアクション部は、前記第1の視聴者アバターの応援量に応じて前記第1の視聴者アバターに対するモーションを変える
ことを特徴とする請求項1乃至3のいずれかに記載のコミュニケーション装置。 - 同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、
配信者端末から前記配信者アバターのモーションを受信して配信し、視聴者端末から前記視聴者アバターのモーションを受信して配信する配信部と、
前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、
前記配信者アバターの応援に対するリアクションモーションを送信する時に、前記応援信号を送信した視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備える
ことを特徴とするコミュニケーション装置。 - 同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置によるコミュニケーション方法であって、
第1の視聴者アバターによる配信者アバターに対する応援を検出するステップと、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるステップと、を有する
ことを特徴とするコミュニケーション方法。 - 同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置の各部としてコンピュータを動作させるコミュニケーションプログラムであって、
コンピュータに、
第1の視聴者アバターによる配信者アバターに対する応援を検出する処理と、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせる処理と、
を実行させることを特徴とするコミュニケーションプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023109350A JP2023129445A (ja) | 2019-03-29 | 2023-07-03 | コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066719A JP6644928B1 (ja) | 2019-03-29 | 2019-03-29 | 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム |
JP2020001429A JP7309627B2 (ja) | 2019-03-29 | 2020-01-08 | 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム |
JP2023109350A JP2023129445A (ja) | 2019-03-29 | 2023-07-03 | コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001429A Division JP7309627B2 (ja) | 2019-03-29 | 2020-01-08 | 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023129445A true JP2023129445A (ja) | 2023-09-14 |
Family
ID=87201206
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001429A Active JP7309627B2 (ja) | 2019-03-29 | 2020-01-08 | 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム |
JP2023109350A Pending JP2023129445A (ja) | 2019-03-29 | 2023-07-03 | コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001429A Active JP7309627B2 (ja) | 2019-03-29 | 2020-01-08 | 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7309627B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7053074B1 (ja) | 2021-05-10 | 2022-04-12 | 株式会社Vark | 鑑賞システム、鑑賞装置及びプログラム |
JP7152644B1 (ja) | 2021-05-31 | 2022-10-13 | 株式会社エーネクス | 応援システム、管理サーバ、端末装置、応援方法および応援プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5726987B2 (ja) | 2013-11-05 | 2015-06-03 | 株式会社 ディー・エヌ・エー | コンテンツの配信システム、配信プログラム及び配信方法 |
JP6273048B1 (ja) | 2017-01-04 | 2018-01-31 | 株式会社ドワンゴ | 配信システム、配信サーバ、端末およびプログラム |
JP6469279B1 (ja) | 2018-04-12 | 2019-02-13 | 株式会社バーチャルキャスト | コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム |
-
2020
- 2020-01-08 JP JP2020001429A patent/JP7309627B2/ja active Active
-
2023
- 2023-07-03 JP JP2023109350A patent/JP2023129445A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7309627B2 (ja) | 2023-07-18 |
JP2020166821A (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6644928B1 (ja) | 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム | |
JP2023129445A (ja) | コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム | |
US10463962B2 (en) | Spectator view perspectives in VR environments | |
JP6759451B2 (ja) | 人による追跡装置のオクルージョンの影響を低減するシステム及び方法 | |
US11179635B2 (en) | Sound localization in an augmented reality view of a live event held in a real-world venue | |
US20170269713A1 (en) | Spectator View Tracking of Virtual Reality (VR) User in VR Environments | |
CN112135673A (zh) | 用于电子竞技的虚拟现实观看的场地映射 | |
JP6714625B2 (ja) | コンピュータシステム | |
US11806615B2 (en) | Asynchronous virtual reality interactions | |
CN115086736A (zh) | 动态图像分发系统及其方法和记录介质 | |
JP6688378B1 (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
US11206452B2 (en) | Video display system, information processing apparatus, and video display method | |
US11790588B2 (en) | Display control device, display control method, and display system | |
JP6665273B1 (ja) | コンテンツ配信システム、受信装置及びプログラム | |
JP2020102236A (ja) | コンテンツ配信システム、受信装置及びプログラム | |
JP2020120304A (ja) | 動画配信システム | |
JP2019198065A (ja) | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230703 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231013 |