JP2021068427A - 表示制御装置、表示制御方法、および表示システム - Google Patents
表示制御装置、表示制御方法、および表示システム Download PDFInfo
- Publication number
- JP2021068427A JP2021068427A JP2020149591A JP2020149591A JP2021068427A JP 2021068427 A JP2021068427 A JP 2021068427A JP 2020149591 A JP2020149591 A JP 2020149591A JP 2020149591 A JP2020149591 A JP 2020149591A JP 2021068427 A JP2021068427 A JP 2021068427A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- user
- unit
- virtual space
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくする。【解決手段】本実施形態の端末10は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であり、ユーザの動きに応じたアバターの制御データを生成するアバター制御部11と、アバターとオブジェクトが衝突したときに、当該衝突に応じたアバターとオブジェクトの挙動を計算する演算部13と、演算部13の計算結果を仮想空間に適用するVR空間管理部12と、ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられたアバターをレンダリングする描画部14を備える。【選択図】図2
Description
本発明は、表示制御装置、表示制御方法、および表示システムに関する。
近年、仮想現実(VR)空間においてユーザがアバターを操作して番組を配信したり、アバターを介してユーザ同士でコミュニケーションを取ったりできるサービスが広まっている。
視聴者がVR空間に投げ入れたオブジェクトがアバターに衝突したとき、またはアバター同士が接触したときなど、ユーザの操作するアバターにオブジェクトが衝突したときに、アバターがオブジェクトの衝突タイミングに合わせて反応動作しなければ、視聴者はアバターにオブジェクトが衝突したことをリアルに感じることができない。
非特許文献1では、アバターとオブジェクトが衝突したときに、アバターの反応動作を物理エンジンにより自動生成する技術が提案されている。非特許文献1では、オブジェクトの衝突に応じた反応が自動的に行われるので、ユーザはオブジェクトの衝突タイミングに合わせて動作する必要がない。また、アバターが他のアバターやオブジェクトに接触した場合も、アバターの腕がオブジェクトを突き抜けることがなくなるので、よりリアリティを感じることができる映像を配信できる。
杉森健、外4名、「演技サポート!ギフトが当たると勝手に動くVTuberアバター」、CEDEC2019、一般社団法人コンピュータエンターテインメント協会、2019年9月4日
しかしながら、非特許文献1では、アバターとオブジェクトが衝突したときにアバターを操作するユーザの意思とは関係なくアバターが自動的に反応するため、ユーザの思うアバターの状態とユーザの見るアバターの状態が一致せずに、ユーザが違和感を抱くという問題があった。
本発明は、上記に鑑みてなされたものであり、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることを目的とする。
本発明の一態様の表示制御装置は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの挙動を計算する演算部と、前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える。
本発明によれば、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることができる。
[第1の実施形態]
以下、第1の実施形態の表示制御端末を含む表示システムについて図面を用いて説明する。
以下、第1の実施形態の表示制御端末を含む表示システムについて図面を用いて説明する。
第1の実施形態の表示制御端末を含む表示システムは、ユーザのそれぞれが仮想空間内のアバターを操作し、アバターを介して仮想空間でチャットを行い、ネットワーク上で互いにコミュニケーションを取ることができるシステムである。
図1の表示システムは、ネットワークを介して通信可能に接続された複数の端末10を備える。端末10のそれぞれが第1の実施形態の表示制御端末である。図1では、端末10を2台のみ図示しているが、3人以上のユーザがチャットに参加してもよく、端末10の台数は任意である。
各端末10には、コントローラ20とヘッドマウントディスプレイ(HMD)30が接続される。ユーザは、コントローラ20によりアバターを操作でき、HMD30を装着してアバターの視点から仮想空間を見ることができる。HMD30は、マイクとスピーカーを備える。マイクで集音されたユーザの音声は、他のユーザの端末10へ送信される。また、他のユーザの端末10から受信した他のユーザの音声は、スピーカーから出力される。
各ユーザの操作するアバターは同一の仮想空間内に存在する。端末10間で仮想空間のデータを同期させてもよいし、いずれかの端末10が仮想空間のデータを管理してもよい。
図2を参照し、端末10の構成について説明する。図2には、各ユーザの用いる端末10を示している。端末10は、アバター制御部11、VR空間管理部12、演算部13、描画部14、および通信部15を備える。端末10には、例えば、中央演算処理装置(CPU)、メモリ、ストレージ、通信装置、および入出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、端末10の各部が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
アバター制御部11は、コントローラ20などの機器からユーザの姿勢、位置、および操作情報を受信し、ユーザ自身のアバターの姿勢および動きを制御するための制御データを生成する。制御データは、ユーザの動きをモーションキャプチャしたモーションデータである。以下、ユーザ自身が操作するアバターと他のユーザが操作するアバターとを区別する際、ユーザ自身のアバターを「ユーザアバター」と称し、他のユーザのアバターを「他者アバター」と称することもある。
VR空間管理部12は、仮想空間内に存在するオブジェクトのデータを管理する。オブジェクトのデータとしては、オブジェクトのモデルデータおよび位置データがある。アバターは、仮想空間内に存在するオブジェクトのひとつである。アバターに関連したデータとしては、例えばモデルデータと制御データがある。仮想空間のデータは、各端末10が事前に取得しておく。例えば、各端末10は、仮想空間のデータをデータサーバ(図示せず)から取得してもよいし、他の端末10から取得してもよい。
VR空間管理部12は、アバター制御部11の生成した制御データをユーザアバターに適用してユーザアバターの姿勢と位置を更新するとともに、他のユーザの端末10から受信した制御データを他者アバターに適用する。また、VR空間管理部12は、仮想空間内で動くオブジェクトがあれば、その動きに応じてオブジェクトの姿勢と位置を更新する。仮想空間のデータは、端末10間で同期して管理されて、各端末10の管理する仮想空間は同一の仮想空間となる。いずれかの端末10が仮想空間を管理してもよいし、サーバ(図示せず)が仮想空間を管理してもよい。特定の装置で仮想空間を管理する場合、各端末10は、仮想空間のデータを当該装置から取得する。
演算部13は、仮想空間内でオブジェクト(アバターを含む)同士が衝突したときに、衝突に応じた各オブジェクトの物理的な挙動を計算する。演算部13には、周知の物理演算エンジンを利用できる。
VR空間管理部12は、計算結果に基づき、各オブジェクトの姿勢と位置を更新する。VR空間管理部12は、ユーザアバターについては、計算結果を適用後のユーザアバターの姿勢と位置の情報に加えて、計算結果を適用してない状態のユーザアバターの姿勢と位置の情報を管理しておく。もしくは、VR空間管理部12は、パラメータを変えて計算した計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよい。
描画部14は、仮想空間をユーザアバターの視点でレンダリングし、レンダリングした映像をHMD30に供給する。このとき、描画部14は、ユーザアバターについては、ユーザアバターの反応動作が所定内に抑えられるように、別に管理したユーザアバターの姿勢と位置の情報に差し替えて、ユーザアバターをレンダリングする。所定内とは、ユーザが違和感を抱かない程度内である。例えば、所定内であるか否かは、ユーザアバターの反応動作による姿勢とユーザの操作による姿勢との乖離度合いおよび反応動作の長さに基づいて決めることができる。
HMD30に供給する映像においてユーザアバターの反応動作を所定内に抑える方法として、描画部14は、計算結果を適用していない状態のユーザアバターをレンダリングする。
あるいは、演算部13は、描画部14がユーザアバターに適用する計算結果として、ユーザアバターに衝突したオブジェクトの重さなどのパラメータを変えたときのユーザアバターの挙動も計算しておき、描画部14は、パラメータを変えた計算結果を適用したユーザアバターをレンダリングしてもよい。ユーザアバターに衝突したオブジェクトを軽いものとして扱うことで、ユーザアバターの反応動作が抑えられるのでユーザが違和感を抱きにくくなる。
あるいは、描画部14は、適用度合いを変えて計算結果を適用したユーザアバターをレンダリングしてもよい。例えば、重いオブジェクトがユーザアバターに衝突した場合、演算部13の計算結果を適用するとユーザアバターは大きくよろめく。この場合、描画部14は、ユーザアバターをレンダリングする際、ユーザアバターの反応動作がユーザが違和感を抱かない程度の小さな反応動作となるように計算結果の適用度合いを抑えて計算結果をユーザアバターに適用する。
いずれの場合も、ユーザ以外の他人は、演算部13の通常の計算結果が適用されて大きく反応するユーザアバターを見る。HMD30に供給される映像では、演算部13の計算結果によるユーザアバターの反応動作が差し替えられてレンダリングされるので、他人が見るユーザアバターの反応動作とユーザ自身の見るまたは感じるユーザアバターの反応動作は異なる。
なお、オブジェクトの衝突によってユーザアバターが所定以上の反応動作する場合に、ユーザアバターに計算結果を適用しなかったり、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりしてもよい。つまり、描画部14は、計算結果を適用したユーザアバターの姿勢とユーザの操作に基づくユーザアバターの姿勢とが所定以上乖離するときに、ユーザアバターに適用する計算結果を異ならせてもよい。
通信部15は、ユーザアバターの制御データおよびユーザの音声データを他のユーザの端末10との間で送受信する。より具体的には、通信部15は、アバター制御部11が生成したユーザアバターの制御データを他のユーザの端末10へ送信するとともに、他のユーザの端末10から他者アバターの制御データを受信する。また、通信部15は、HMD30のマイクで集音したユーザの音声データを他のユーザの端末10へ送信するとともに、他のユーザの端末10から他のユーザの音声データを受信する。
なお、端末10のいずれかは演算部13を備えずに、他の端末10から演算部13の計算結果や計算結果を適用後の仮想空間のデータを受信してもよい。例えば、図2の左側の端末10(以下、端末10Aとする)が演算部13を備え、右側の端末10(以下、端末10Bとする)は演算部13を備えない場合、端末10Bは、端末10Aから計算結果を適用後の仮想空間のデータを受信する。このとき、端末10Bの描画部14は、端末10BのユーザBのユーザアバターBについては、計算結果が適用されたユーザアバターBの姿勢および位置を計算結果が適用されていないユーザアバターBの姿勢および位置に差し替えて、仮想空間をレンダリングする。
システム全体で上記の機能を実現できるならば、端末10の備える各部の処理を実行する装置は問わない。例えば、サーバ(図示せず)がVR空間管理部12と演算部13を備えてもよい。サーバは、各端末10からアバターの制御データを受信する。VR空間管理部12が仮想空間内のアバターに制御データを適用するとともに、演算部13が衝突処理を実行し、計算結果を仮想空間に適用する。各端末10は、サーバから計算結果を適用後の仮想空間のデータを受信する。このとき、各端末10の描画部14は、当該端末10を使用するユーザのユーザアバターについては、計算結果が適用されたユーザアバターの姿勢および位置を計算結果が適用されていないユーザアバターの姿勢および位置に差し替えて、仮想空間をレンダリングする。
また、サーバが描画部14を備えてもよい。サーバは、端末10A,10Bのそれぞれからユーザの視線情報を受信する。描画部14は、端末10Aに対しては、ユーザアバターAに計算結果が適用されていない仮想空間をレンダリングした映像を送信し、端末10Bに対しては、ユーザアバターBに計算結果が適用されていない仮想空間をレンダリングした映像を提供する。この場合、端末10A,10Bは、ユーザA,Bのモーションをキャプチャする機能および受信した映像を表示する機能を有していればよい。
図3のフローチャートを参照して、端末10の動作について説明する。以下では、ユーザアバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。
ステップS11にて、アバター制御部11は、コントローラ20からユーザの姿勢などの情報を受信し、ユーザアバターの制御データを生成する。通信部15は、アバター制御部11の生成した制御データを他の端末10へ送信する。
ステップS12にて、通信部15は、他の端末10から他者アバターの制御データを受信する。
ステップS13にて、VR空間管理部12は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。
ステップS14にて、演算部13は、オブジェクト同士の衝突処理を行う。例えば、演算部13は、衝突しているオブジェクトが存在するか否か判定し、衝突しているオブジェクトについて、衝突位置、衝突方向、および重なっている深度などの情報を求め、オブジェクトの質量、速度、および反発係数などの情報に基づき、衝突に応じた各オブジェクトの挙動を計算する。
ステップS15にて、VR空間管理部12は、演算部13の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。例えば、アバター100Aがアバター100Bの頭部を叩く動作をしたとき、図4に示すように、アバター100Aの腕とアバター100Bの頭部が衝突する。演算部13の計算結果をアバター100A,100Bのそれぞれに反映すると、図5に示すように、アバター100Aの腕とアバター100Bの頭部がめり込まない状態となる。
なお、VR空間管理部12は、計算結果を適用しない状態のユーザアバターの姿勢と位置を別に管理しておく。例えば、図4のアバター100Aの姿勢と位置を別に管理しておく。VR空間管理部12は、計算結果の適用度合いを変えて適用したユーザアバターの姿勢と位置を別に管理してもよいし、パラメータを変えて計算した計算結果を適用したユーザアバターの姿勢と位置を別に管理してもよい。
ステップS16にて、描画部14は、ユーザアバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をHMD30に供給する。
例えば、アバター100Aに計算結果を適用するとアバター100Aの腕の位置は図5に示した位置になる。ところが、ユーザはアバター100Aの腕を図4に示した位置まで下げた操作をしているので、ユーザの操作とアバター100Aの姿勢が一致せずに、ユーザは違和感を抱いてしまう。
そこで、本実施形態では、計算結果を適用しないユーザアバターの姿勢と位置も管理しておき、描画部14は、計算結果を適用したユーザアバターを計算結果を適用しないユーザアバターに差し替えて、仮想空間をレンダリングする。例えば、アバター100Aを操作するユーザには、図6に示すように、アバター100Aを計算結果を適用していないアバター100A(図4のアバター100A)に差し替えてレンダリングした映像を提示する。図6では、アバター100Bには計算結果を適用している。他方、アバター100Bを操作するユーザには、図7に示すように、アバター100Bを計算結果を適用していないアバター100B(図4のアバター100B)に差し替えてレンダリングした映像を提示する。図7では、アバター100Aには計算結果を適用している。なお、アバター100A,100Bを操作するユーザ以外のユーザには、図5に示した、計算結果を適用したアバター100A,100Bをレンダリングした映像を提示する。
アバターとアバター以外のオブジェクトとの衝突についても同様に処理する。例えば、図8に示すように、アバター100にオブジェクト110が衝突したとする。演算部13の計算結果をアバター100とオブジェクト110のそれぞれに反映すると、図9に示すように、アバター100の姿勢が大きく崩れた状態となる。
アバター100を操作するユーザには、図8に示した、計算結果を適用しないアバター100をレンダリングした映像を提供する。それ以外のユーザには、図9に示した、計算結果を適用したアバター100をレンダリングした映像を提供する。
以上説明したように、本実施形態によれば、演算部13がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、VR空間管理部12が演算部13の計算結果を各オブジェクトに適用し、描画部14がユーザの装着するHMD30に供給する映像をレンダリングする際、ユーザの操作するユーザアバターについては、ユーザアバターの反応動作が所定の範囲内に抑えられるようにユーザアバターをレンダリングする。これにより、ユーザ以外の他者に対してはオブジェクトとの衝突に応じて反応動作をするユーザアバターを提示できるとともに、ユーザに対しては反応動作が抑えられたユーザアバターを提示できるので、ユーザにユーザアバターの動きに対する違和感を抱かせることなく、ユーザアバターへのオブジェクトの衝突にリアリティを持たせることができる。
[第2の実施形態]
以下、第2の実施形態の表示制御端末を含む映像配信システムについて図面を用いて説明する。
以下、第2の実施形態の表示制御端末を含む映像配信システムについて図面を用いて説明する。
第2の実施形態の表示制御端末を含む映像配信システムは、配信者が仮想空間内の配信者アバターを操作し、仮想空間内の映像を視聴者に配信するシステムである。視聴者は映像を見るだけでなく、視聴者の操作する視聴者アバターを配信者アバターと同一の仮想空間内に参加させることもできる。
図10の映像配信システムは、第2の実施形態の表示制御端末である配信者端末40と配信サーバ50を備える。配信者端末40と配信サーバ50は、ネットワークを介して通信可能に接続される。
配信サーバ50は、配信者端末40から仮想空間をレンダリングした映像を受信し、受信した映像を視聴者端末60へ配信する。配信サーバ50は、受信した映像をリアルタイムで配信するライブ映像配信を行ってもよいし、受信した映像を記憶しておき、視聴者端末60からの求めに応じて映像を配信してもよい。
視聴者端末60は、視聴者が映像を見るための端末である。配信される映像を見ることができる機器であれば、携帯端末、パーソナルコンピュータなどの機器を視聴者端末60として利用できる。視聴者端末60が仮想空間のデータを受信して仮想空間をレンダリングしてもよい。また、視聴者がライブ映像配信に参加する場合、視聴者端末60は、HMDおよびコントローラなどを接続し、VR機能を有する機器を利用する。例えば、視聴者端末60として第1の実施形態の端末10を利用し、配信者端末40との間で仮想空間のデータを同期させる。
図11を参照し、配信者端末40の構成について説明する。配信者端末40は、アバター制御部11、VR空間管理部12、演算部13、描画部14、通信部15、配信映像描画部16、および配信部17を備える。配信者端末40は、第1の実施形態の端末10に、配信用の映像をレンダリングする配信映像描画部16と映像を配信する配信部17を備えたものである。
アバター制御部11は、コントローラ20などの機器から配信者の姿勢、位置、および操作情報を受信し、配信者アバターの姿勢および動きを制御するための制御データを生成する。
VR空間管理部12は、仮想空間内に存在するオブジェクトのデータを管理する。VR空間管理部12は、アバター制御部11の生成した制御データを配信者アバターに適用して配信者アバターの姿勢と位置を更新する。視聴者が参加している場合、VR空間管理部12は、参加している視聴者の視聴者端末60から受信した制御データを視聴者アバターのモデルデータに適用する。
演算部13は、仮想空間内でオブジェクト同士が衝突したときに、衝突に応じたオブジェクトの物理的な挙動を計算する。VR空間管理部12は、配信者アバターについては、計算結果を適用後の配信者アバターの姿勢と位置の情報に加えて、計算結果を適用してない状態の配信者アバターの姿勢と位置の情報を管理しておく。第1の実施形態と同様に、VR空間管理部12は、パラメータを変えて計算した計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよい。
描画部14は、配信者アバターには計算結果を適用しないで、仮想空間を配信者アバターの視点でレンダリングし、レンダリングした映像をHMD30に供給する。描画部14は、第1の実施形態と同様に、配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。
通信部15は、アバターの制御データおよび音声データを参加している視聴者の視聴者端末60との間で送受信する。また、通信部15は、視聴者端末60からコメント(文字情報)を受信してもよいし、ギフトやアイテムなどの情報を受信してもよい。配信者端末40は、視聴者端末60から受信したコメントについて、仮想空間内にコメントの内容を表示したオブジェクトを表示させてもよい。配信者端末40は、視聴者端末60から受信したギフトやアイテムに対応するオブジェクトを仮想空間内に出現させてもよい。これらのコメント、ギフト、およびアイテムに対応するオブジェクトが配信者アバターに衝突すると、配信者アバターは、演算部13の計算結果に基づいた反応動作をする。
配信映像描画部16は、配信者アバターにも演算部13の計算結果を適用した仮想空間をレンダリングし、配信用の映像を生成する。配信映像描画部16は、配信者アバターの視点で仮想空間をレンダリングしてもよいし、仮想空間に配置した仮想カメラの視点で仮想空間をレンダリングしてもよい。配信用の映像に、配信者および参加者の音声データを付加してもよい。
配信部17は、配信映像描画部16のレンダリングした配信用の映像を配信サーバ50へ送信する。配信サーバ50は、受信した映像を視聴者端末60のそれぞれに配信する。
なお、配信映像描画部16および配信部17を配信サーバ50が備えてもよい。この場合、配信サーバ50は仮想空間のデータを保持し、配信者端末40との間で仮想空間のデータを同期する。配信サーバ50が仮想空間をレンダリングして視聴者端末60に配信する。配信サーバ50がVR空間管理部12と演算部13を備えて仮想空間のデータを管理し、配信者端末40が配信サーバ50から仮想空間のデータを取得してもよい。配信者端末40の描画部14は、配信者アバターを演算部13の計算結果が適用されていない配信者アバターに差し替えて仮想空間をレンダリングする。配信サーバ50が描画部14を備えて配信者のHMD30に供給する映像をレンダリングしてもよい。
図12のフローチャートを参照して、配信者端末40の動作について説明する。以下では、配信者アバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。
ステップS21にて、アバター制御部11は、コントローラ20から配信者の姿勢などの情報を受信し、配信者アバターの制御データを生成する。視聴者が参加している場合、通信部15は、アバター制御部11の生成した制御データを参加している視聴者の視聴者端末60へ送信する。
ステップS22にて、VR空間管理部12は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。また、VR空間管理部12は、参加している視聴者の視聴者端末60から受信した制御データを視聴者アバターに適用する。
ステップS23にて、演算部13は、オブジェクト同士の衝突処理を行う。
ステップS24にて、VR空間管理部12は、演算部13の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。このとき、VR空間管理部12は、計算結果を適用しない状態の配信者アバターの姿勢と位置を別に管理しておく。
ステップS25にて、配信映像描画部16は、演算部13の計算結果が適用された仮想空間をレンダリングし、配信映像を生成する。配信映像描画部16は、例えば図9に示したように、アバターに計算結果が適用された仮想空間をレンダリングする。
ステップS26にて、配信部17は、配信映像を送信する。
ステップS27にて、描画部14は、配信者アバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をHMD30に供給する。描画部14は、例えば図8に示したように、アバターに計算結果を適用していない仮想空間をレンダリングする。つまり、描画部14は、配信者アバターを計算結果を適用していないアバターに差し替えた仮想空間をレンダリングする。
なお、配信者アバターに計算結果を適用しない場合、配信者は、配信者アバターにオブジェクトが衝突したことに気付かない可能性がある。そこで、配信者端末40は、配信者アバターとオブジェクトとの衝突を配信者に通知する機能を備えてもよい。
例えば、配信者端末40は、配信者アバターとオブジェクトとが衝突したときに、配信者に音で通知する。配信者アバターとオブジェクトが衝突したインパクトの瞬間は、衝突に応じた音を配信者と視聴者の双方に聞こえるようにする。配信者アバターとオブジェクトが接触している間、配信者に対してのみ接触していることを通知する音を聞かせる。図8,9で示したように、オブジェクト110がアバター100の頭に衝突した場合、衝突した瞬間では、オブジェクト110がアバター100に衝突した効果音を配信者と視聴者に聞かせる。その後、オブジェクト110がアバター100にくの頭に乗った状態の間、配信者のみにオブジェクト110がアバター100に衝突していることを示す音を聞かせ続ける。
あるいは、配信者端末40は、視聴者の見ている映像を配信者に見せる。配信者端末40は、視聴者の見ている映像を仮想空間内のモニタに表示する。例えば、配信者アバターの視線の先にモニタを配置しておく。
あるいは、描画部14は、反応動作を所定の範囲内に抑えたユーザアバターに加えて、計算結果を適用したユーザアバターもレンダリングする。このとき、描画部14は、計算結果を適用したユーザアバターを半透明にするなど、表示態様を変えて描画する。
アバターとオブジェクトとの衝突を通知する構成を第1の実施形態に適用してもよい。
以上説明したように、本実施形態によれば、演算部13がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、VR空間管理部12が演算部13の計算結果を各オブジェクトに適用し、描画部14がユーザの装着するHMD30に供給する映像をレンダリングする際、配信者の操作する配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。これにより、視聴者に対してはオブジェクトとの衝突に応じて反応動作をする配信者アバターを提示できるとともに、配信者に対しては反応動作が抑えられた配信者アバターを提示できるので、配信者に配信者アバターの動きに対する違和感を抱かせることなく、配信者アバターへのオブジェクトの衝突にリアリティを持たせることができる。
10…端末 11…アバター制御部 12…VR空間管理部 13…演算部 14…描画部 15…通信部 16…配信映像描画部 17…配信部 20…コントローラ 30…HMD 40…配信者端末 50…配信サーバ 60…視聴者端末
Claims (7)
- ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、
前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、
前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの挙動を計算する演算部と、
前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、
前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える
表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記描画部は、前記計算結果を前記ユーザの操作するアバターに適用しない、適用度合いを変更して前記計算結果を前記ユーザの操作するアバターに適用する、またはパラメータを変えて計算した別の計算結果を前記ユーザの操作するアバターに適用することで、前記アバターの挙動が所定内に抑えられた映像をレンダリングする
表示制御装置。 - 請求項1または2に記載の表示制御装置であって、
前記描画部は、前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記アバターに適用する計算結果を異ならせる
表示制御装置。 - 請求項1ないし3のいずれかに記載の表示制御装置であって、
前記アバターとオブジェクトが衝突したことを前記ユーザに通知する通知部を備える
表示制御装置。 - 請求項1ないし4のいずれかに記載の表示制御装置であって、
前記演算部の計算結果を適用した前記仮想空間をレンダリングした映像を配信する配信部を備える
表示制御装置。 - ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置が実行する表示制御方法であって、
前記ユーザの動きに応じた前記アバターの制御データを生成するステップと、
前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの挙動を計算するステップと、
計算するステップで求めた計算結果を前記仮想空間に適用するステップと、
前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングするステップとを有する
表示制御方法。 - 第1、第2のユーザがそれぞれ使用する第1、第2の表示制御装置を備え、ヘッドマウントディスプレイを装着した前記第1、第2のユーザのそれぞれが操作する第1、第2のアバターを介して仮想空間においてコミュニケーションをとる表示システムであって、
前記第1の表示制御装置は、
第1のユーザの動きに応じた第1のアバターの制御データを生成する第1のアバター制御部と、
前記第1のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第1の描画部と、を備え、
前記第2の表示制御装置は、
第2のユーザの動きに応じた第2のアバターの制御データを生成する第2のアバター制御部と、
前記第2のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第2の描画部と、を備え、
少なくとも前記第1の表示制御装置または前記第2の表示制御装置のいずれか一方は、アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの挙動を計算する演算部を備え、
前記第1、第2の表示制御装置の間で前記演算部の計算結果を適用した前記仮想空間が同期され、
前記第1の描画部は、衝突に応じた挙動が所定内に抑えられた前記第1のアバターをレンダリングし、
前記第2の描画部は、衝突に応じた挙動が所定内に抑えられた前記第2のアバターをレンダリングする
表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149591A JP2021068427A (ja) | 2020-09-07 | 2020-09-07 | 表示制御装置、表示制御方法、および表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020149591A JP2021068427A (ja) | 2020-09-07 | 2020-09-07 | 表示制御装置、表示制御方法、および表示システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194266A Division JP6761888B1 (ja) | 2019-10-25 | 2019-10-25 | 表示制御装置、表示制御方法、および表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021068427A true JP2021068427A (ja) | 2021-04-30 |
Family
ID=75637411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020149591A Pending JP2021068427A (ja) | 2020-09-07 | 2020-09-07 | 表示制御装置、表示制御方法、および表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021068427A (ja) |
-
2020
- 2020-09-07 JP JP2020149591A patent/JP2021068427A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6700463B2 (ja) | ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法 | |
JP7258864B2 (ja) | エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピング | |
EP3491781B1 (en) | Private communication by gazing at avatar | |
CN107636605B (zh) | 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套 | |
JP6759451B2 (ja) | 人による追跡装置のオクルージョンの影響を低減するシステム及び方法 | |
WO2020090786A1 (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
JP6706473B2 (ja) | 情報処理装置、表示制御方法、及び表示制御プログラム | |
JP2020518321A (ja) | Vr環境への第2の画面の仮想ウィンドウ | |
JP6807455B2 (ja) | 情報処理装置および画像生成方法 | |
JPWO2019234879A1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
US11861058B2 (en) | Communication device, communication method, and communication program | |
JP2019175323A (ja) | シミュレーションシステム及びプログラム | |
WO2021079766A1 (ja) | 表示制御装置、表示制御方法、および表示システム | |
JP6688378B1 (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
US11206452B2 (en) | Video display system, information processing apparatus, and video display method | |
JP2020166821A (ja) | コミュニケーション装置、コミュニケーション方法及びコミュニケーションプログラム | |
JP2020144887A (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
JP2021068427A (ja) | 表示制御装置、表示制御方法、および表示システム | |
JP2023095862A (ja) | プログラム及び情報処理方法 | |
WO2023073991A1 (ja) | 情報処理システム、サーバ装置、情報処理方法およびプログラム | |
WO2022190919A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7053074B1 (ja) | 鑑賞システム、鑑賞装置及びプログラム | |
CN116964544A (zh) | 信息处理装置、信息处理终端、信息处理方法和程序 | |
JP2020108177A (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
CN117899453A (zh) | 一种交互方法、装置、电子设备及可读存储介质 |