JP2018116515A - 制御装置 - Google Patents

Abstract

【課題】複数の装着型仮想現実空間表示機器におけるコンテンツ共有を効率化する。【解決手段】複数の装着型仮想現実空間の表示機器１０において同一の映像コンテンツを表示する制御装置であって、複数の表示機器１０のいずれかの視聴シーン情報を他の前記表示機器にリアルタイムに共有する視聴シーン情報共有手段１１と、表示機器１０の各利用者が装着開始から脱着までの視聴シーンの履歴情報を蓄積する視聴履歴情報蓄積手段１８と、視聴履歴情報蓄積手段１８の履歴情報に基づいて推奨される視聴シーン情報を提供する推奨視聴シーン情報提供手段１５と、複数の表示機器１０のそれぞれで独立して視聴シーンを選択自在に視聴する単独視聴モードと、前記複数の装着型仮想現実空間表示機器のそれぞれで同一の視聴シーンを視聴する協調視聴モードと、を切り替える視聴モード切替手段１４と、を備える。【選択図】図１

Description

本発明は、装着型仮想現実空間表示機器の制御装置に関する。

一般的に、大型の仮想現実空間（ＶＲ）表示装置に比べて、ヘッドマウントディスプレイ（ＨＭＤ）型のＶＲ表示装置は、３６０度パノラマ表示が可能なため臨場感が高い。しかしながら、ＨＭＤ型ＶＲ表示装置によるコンテンツ視聴では、ＶＲ表示装置を装着している利用者と、他の利用者が視聴しているコンテンツやコンテンツ内の注目させたい視聴シーンを共有して見ることができないため、ＶＲ表示装置を用いて複数で合意形成が必要な時に大型ＶＲ表示装置を使用するかどうか迷うことが多い。

係る課題に対して、特許文献１では「複数のＨＭＤ型ＶＲ端末に同一のコンテンツを端末間の連携履歴情報をもとに提供する」ようにしている。

特開２０１２−２５２４１０号公報

特許文献１によれば、ＨＭＤ型ＶＲ端末同士の連携履歴情報を用いて同一コンテンツを提供することができる。しかしながら、ＨＭＤ型ＶＲ端末同士で他の利用者が視聴しているコンテンツや、コンテンツ内の注目させたい視聴シーンを共有できないため、視聴シーンを共有し見ながら議論するには大型ＶＲ表示装置を用いることになるが、コンテンツの品質低下や持ち運びが容易ではないため利用機会損失が増加し、必ずしもＨＭＤ型ＶＲ端末利用者及びコンテンツ提供者の双方にとって利便性の高いＶＲコンテンツ視聴環境ではないことが想定される。

本発明は、このような問題を解決するためになされたものであり、複数の装着型仮想現実空間表示機器におけるコンテンツ共有を効率化することを目的とする。

上記課題を解決するために、本発明の一例は、複数の装着型仮想現実空間の表示機器において同一の映像コンテンツを表示する制御装置であって、複数の前記表示機器のいずれかの視聴シーン情報を他の前記表示機器にリアルタイムに共有する視聴シーン情報共有手段と、前記表示機器の各利用者が装着開始から脱着までの視聴シーンの履歴情報を蓄積する視聴履歴情報蓄積手段と、該視聴履歴情報蓄積手段の前記履歴情報に基づいて推奨される視聴シーン情報を提供する推奨視聴シーン情報提供手段と、複数の前記表示機器のそれぞれで独立して視聴シーンを選択自在に視聴する単独視聴モードと、前記複数の表示機器のそれぞれで同一の視聴シーンを視聴する協調視聴モードと、を切り替える視聴モード切替手段と、を備える。

本発明では、複数の装着型仮想現実空間表示機器におけるコンテンツ共有を効率化することを目的とすることができる。

仮想空間表示装置のハードウェア構成を示した図。 仮想空間表示装置のソフトウェア構成を示したフロー図。 利用者毎のコンテンツ視聴モード切り替え方法の例を示す図。 端末毎の視聴履歴情報ＤＢの例を示す図。 時間帯別視聴ランキングの集計データの例を示す図。 期間別視聴ランキングの集計データの例を示す図。 年代別視聴ランキングの集計データの例を示す図。 イベントトリガーを用いたガイド方法の例を示す図。 ランキング表を用いたガイド方法の例を示す図。 ポインタ及び音声用いたガイド方法の例を示す図。

本実施例は、装着型仮想現実空間表示機器をイベント会場などにおいて複数人がそれぞれ装着した場合、推奨コンテンツを主催者側又は利用者側の意図通りにコンテンツを視聴することが困難なことがある。そこで、主催者側又は利用者側の意図通りのコンテンツ情報を提供し、主催者側と利用者との間での合意形成を円滑にするとともに、表示機器操作に不慣れな利用者の利便性向上を可能にする。

また、ＨＭＤ型ＶＲ端末を複数の利用者がそれぞれ装着して同一コンテンツやコンテンツ内の注目させたいシーンを共有しながら、ＨＭＤ型ＶＲ端末の利用者間で合意形成する状況において、プレゼンターのシナリオ通りにコンテンツやコンテンツ内の注目させたい視聴シーンを利用者に提供し、異なるコンテンツやコンテンツ内シーンを視聴している利用者に対しても、他の利用者が視聴しているコンテンツと同じものを強制的に切り替えて提供し、ＶＲコンテンツ視聴に着いていけない利用者を無くし、ＨＭＤ型ＶＲ端末利用者の利便性向上する。

以下、本発明の実施例について図面を用いて説明する。
図１は、仮想空間表示装置のハードウェア構成を示した図である。
図１に示す仮想空間表示装置は、複数のヘッドマウントディスプレイ（ＨＭＤ）型バーチャルリアリティ（ＶＲ）表示端末（装着型仮想現実空間表示機器)１０とＨＭＤ型ＶＲ表示端末の推奨コンテンツ及び注目させたい視聴シーンを連携するコンテンツ連携制御システム（視聴シーン情報共有手段）１１により構成される。ＨＭＤ型ＶＲ端末は、コンテンツを内蔵するコンテンツ内蔵部１２と内蔵された映像コンテンツ及び映像コンテンツ内の視聴シーンを、例えばマウス等のユーザインタフェースにより利用者側の判断で視聴する端末制御部１３により構成される。また、ＨＭＤ型ＶＲ表示端末はWi-FiやBluetooth（登録商標）などのデータ通信機能を有し、ＨＭＤ型ＶＲ表示端末同士でデータ通信もできる。

コンテンツ連携制御システムは、各ＨＭＤ型ＶＲ表示端末のコンテンツやコンテンツ内のシーンの視聴履歴情報を利用者毎の属性情報と、視聴時刻と、端末操作履歴情報と、視聴コンテンツ情報と、視聴シーンなどの視聴履歴情報を蓄積するコンテンツ情報蓄積部（視聴履歴情報蓄積手段）１８と、コンテンツ情報蓄積部の情報をもとに利用者に推奨コンテンツや、注目させたいシーンを生成して利用者へのコンテンツ配信情報を生成する配信コンテンツ生成部（推奨視聴シーン情報提供手段）１５により構成される。また、コンテンツ連携制御システム側でコンテンツの配信状況をモニタリングしたり配信制御したりするための端末操作情報制御部を有する。

さらに、端末操作モード制御部（視聴モード切替手段）１４では、利用者が予めリクエストしてコンテンツ内蔵部１２に配信されたコンテンツを利用者側主体で視聴する単独操作モードと、複数の連携されたＨＭＤ型ＶＲ表示端末に対して同一の推奨コンテンツや、注目させたい視聴シーンをブロードキャストする協調モードを端末操作表示部１７の指示に基づいて、モード切り替えを行うことができる。

図２は、仮想空間表示装置のソフトウェア構成を示したフロー図である。以下図２の処理の流れについて説明する。
図２の最初の処理ステップＳ２０では、まずＨＭＤ型ＶＲ表示端末を装着した利用者が、コンテンツ連携制御スステム１１に接続し、所望のコンテンツをリクエストしダウンロードする。

処理ステップＳ２１では、ＶＲコンテンツの視聴モードについて利用者が単独で視聴する単独視聴モードか、複数の利用者同士で同一のコンテンツや、シーンを共有して視聴する協調視聴モードのいずれかを判定する。例えば、単独視聴モード時から端末操作情報表示部１７からの指示により強制的に協調制御モードに移行したり、協調制御モードが解除された際に単独制御モードに移行したりできるものとする。

複数の利用者同士で同一のコンテンツや、シーンを共有して視聴する処理ステップＳ２２では、端末操作情報制御部１７からの指示で、配信コンテンツ生成部１５により生成された推奨コンテンツや、注目させたい視聴シーンをＨＤＭ型ＶＲ表示端末利用者に配信する。

利用者が単独で視聴する処理ステップＳ２３では、ＨＭＤ型ＶＲ表示端末の各利用者が個別に視聴したいコンテンツを、端末制御部１３より端末操作モード制御部１４にリクエストし、リクエスト内容に該当するコンテンツやシーンを、配信コンテンツコンテンツ生成部１５を介してコンテンツ情報蓄積部１６より得るものとする。

処理ステップＳ２４では、ＨＭＤ型ＶＲ表示端末を複数利用者でコンテンツ内の同じシーンが視聴できていない状況において、同じシーンを共有するために必要な情報を生成する。

処理ステップＳ２５では、ＨＭＤ型ＶＲ表示端末を複数利用者でコンテンツを連携して視聴する状況において、連携している他の利用者と同一のコンテンツが視聴できているかどうかを判定する。

処理ステップＳ２６では、ＨＭＤ型ＶＲ表示端末を複数利用者でコンテンツ内の同じシーンが視聴できているかどうかを判定する。

処理ステップＳ２７では、ＨＭＤ型ＶＲ表示端末を複数利用者でコンテンツを連携して視聴する状況において、連携している他の利用者と同一のコンテンツが視聴できていない場合、コンテンツ視聴履歴情報蓄積部１６の視聴履歴情報をもとに、利用者が好みそうなコンテンツや、コンテンツ内のシーンを検索する。

処理ステップＳ２８では、処理ステップ２７で検索された推奨コンテンツや、注目して欲しいシーンを、連携している複数のＨＭＤ型ＶＲ表示端末利用者に対し、視聴するように連携誘導する。

処理ステップＳ２９では、複数のＨＭＤ型ＶＲ表示端末利用者の各利用者毎のコンテンツや、コンテンツ内のシーンの視聴履歴情報を、利用開始から終了までの間履歴情報を蓄積する。

図３は、利用者毎のコンテンツ視聴モード切り替え方法の例を示す図である。例えば、同一コンテンツ内の３６０°パノラマ空間上において、利用者３１がスクリーン３３を視聴し、利用者Ｂがスクリーン３４を視聴し、利用者３２がスクリーン３を視聴するといった利用者が別々のシーンを視聴している状況において、利用者３０が視聴しているスクリーン３３を他の利用者全員に視聴させることができる（３６a,３６b,３６c）。また、利用者３２が利用者３１が視聴しているスクリーンを視聴したい場合、利用者３２が利用者３１に対してスクリーン情報を要求して視聴することもできる。

ここで、スクリーン情報は、３６０°全方位パノラマスクリーン情報のうち、現在、ＨＭＤ型ＶＲ端末利用者が視聴している座標系３３の視野範囲で切り取られた座標系に相当する。視野範囲は、ＨＭＤ型ＶＲ端末のレンズの光学系の性能にもよるが、市販のものであれば９６°や１０１°などあり視野角によってスクリーン座標が大きくなったり小さくなったりする。スクリーン情報の視聴共有や解除は、利用者間で実施してもよいがＨＭＤ型ＶＲ表示端末全体を制御するシステム側で視聴共有や解除を行ってもよい。

図４は、端末毎の視聴履歴情報ＤＢの例を示す図である。ＨＭＤ型ＶＲ端末を利用者が装着した時点から着脱するまでの間に、利用者が視聴したコンテンツに関する履歴情報や端末の操作履歴情報をデータベース内に蓄積し、他の利用者が使用する際のコンテンツ提供に役立てることを目的とする。視聴履歴情報データベース内の情報は、図４に示すように、例えば、時刻情報４０と端末ＩＤ情報４１、端末操作コマンド履歴情報４２、視聴コンテンツ情報４３、視聴コンテンツ内のシーン情報４４、視聴回数４５で構成される。また、状況により端末利用者が使用時（端末を各利用者が装着した際）に利用者属性（年齢、性別など）を入力してもらい、入力情報をデータベース内に追記更新することもできる。

ここで、端末操作コマンド履歴情報４２は、視聴したいシーンに辿りつくために必要となる操作を記録することで、逐一利用者が面倒な操作をしなくとも手動あるいは自動で操作履歴を辿りながら、目的とするコンテンツやシーンを視聴することができる。また、シーン情報４４は３６０度パノラマ映像中の特定のスクリーン位置を記録することで、広い空間上を彷徨うことなくピンポイントで視聴することができる。

図５は、時間帯別視聴ランキングの集計データの例を示す図である。図４の視聴履歴情報の視聴時刻情報４０をもとに、例えば、日中の午前や午後、夕方、深夜などの各時間帯で好まれるコンテンツ５３の視聴回数５２を集計し、ランキング形式で利用者に注目してもらうことができる。また、視聴後の利用者にコンテンツやシーンの良し悪しを入力してもらい、視聴履歴情報に反映しコンテンツやシーン作成の際の参考にしてもよい。

図６は、期間別視聴ランキングの集計データの例を示す図である。図４の視聴履歴情報の視聴時刻情報４０をもとに、期間別情報６０について例えば、１日単位のコンテンツ６３の視聴回数６２を集計し、ランキング形式で利用者に注目してもらうことができる。また、集計の方法としては直近の一週間単位の視聴回数のランキング、さらには、３か月間、半年間、年間などの各期間毎に視聴回数を集計し、ランキング形式で利用者に推奨コンテンツを提供することもできる。

図７は、年代別視聴ランキングの集計データの例を示す図である。図４の視聴履歴情報をもとに年代別の視聴回数７１を集計し、コンテンツ及び注目シーン７２のランキング情報を提供する場合に使用する例について示す。ここで、年代別７０は１０才〜１９才までを１０代とし、２０才〜２９才までを２０代としてもよい。また、年齢に関する情報は図４の視聴履歴情報には無いが、ＨＭＤ型ＶＲ端末の利用者毎に使用する時に、予め年齢を入力してもらうことで集計が可能になる。さらに、男性または女性など性別に関する情報も入力してもらうことでも、年代別と同様なコンテンツ情報提供が可能になる。

図８は、イベントトリガーを用いたガイド方法の例を示す図である。推奨視聴シーンを図８に示すように、例えば交差点内を右折する車両８０の後方から路面電車８１が接近してくるような状況において、右折車両８０と路面電車８１の間隔が１０ｍ以内に接近したタイミングを事象として、これをトリガーに、路面電車８１が視界に入るようなアングルでの推奨視聴シーンに切り替える。同様に道路交通事象のみならず、危険な工具の仕様時や実験作業において危険と思われるタイミングを事象として、作業者の視界に入るようなアングルで推奨視聴シーンに切替え、危険要因に気づかせることもできる。
図９は、ランキング表を用いたガイド方法の例を示す図である。推奨視聴シーンを図４の視聴履歴情報データベース内の情報をもとに集計した結果得られた、図５〜図７に示す視聴ランキング情報を、利用者が現在見ているスクリーン上に、例えば注目度リスト９０として表示しランキング項目を選択することで、所望のコンテンツ及びコンテンツ内のシーンを視聴することができる。このガイド方法は、主に単独視聴モードの際の利用頻度が多いと思われる。

図１０は、ポインタ及び音声用いたガイド方法の例を示す図である。例えば、音声案内１００を使って利用者に推奨視聴シーンの大まかな位置までガイドし、最終的に視点位置の微調整を行うためにポインタ１０１を表示し、表示されたポインタの方向に利用者の視点を移動させることで推奨視聴シーンまでたどり着かせてもよい。この方法では、音声とポインタの組み合わせでガイドするが、どちらか一方のみを使ってガイドしてもよい。

以上説明した本実施例によれば、複数の装着型仮想現実空間の表示機器において同一の映像コンテンツを表示する制御装置であって、複数の前記表示機器のいずれかの視聴シーン情報を他の前記表示機器にリアルタイムに共有する視聴シーン情報共有手段と、前記表示機器の各利用者が装着開始から脱着までの視聴シーンの履歴情報を蓄積する視聴履歴情報蓄積手段と、該視聴履歴情報蓄積手段の前記履歴情報に基づいて推奨される視聴シーン情報を提供する推奨視聴シーン情報提供手段と、複数の前記表示機器のそれぞれで独立して視聴シーンを選択自在に視聴する単独視聴モードと、前記複数の表示機器のそれぞれで同一の視聴シーンを視聴する協調視聴モードと、を切り替える視聴モード切替手段と、を備える。

これにより、表示機器（ＨＭＤ型ＶＲ端末）の複数利用者に対し視聴履歴情報データベース内に蓄積された情報をもとに、プレゼンターが予め準備作製した視聴して欲しい映像コンテンツや、コンテンツ内の注目して欲しい視聴シーンを、同時に提供することができる。

また、ＨＭＤ型ＶＲ端末の複数利用者に対しプレゼンターが視聴して欲しいコンテンツやコンテンツ内の注目して欲しいシーンを同時に提供する。これにより、プレゼンターがシナリオ通りにコンテンツやコンテンツ内の注目シーンを適切にガイドすることができる。また、プレゼンターのシナリオ通りにコンテンツを提供することで、それまで独自にコンテンツを視聴していた利用者も、他の利用者が視聴しているコンテンツと同じものをスムーズに視聴できるため、コンテンツ共有による合意形成の円滑化が期待できる。

１０：ＨＭＤ型ＶＲ端末連携部
１１：コンテンツ連携制御システム部
１２：ＨＭＤ型ＶＲ端末部

Claims (9)

1. 複数の装着型仮想現実空間の表示機器において同一の映像コンテンツを表示する制御装置であって、
   複数の前記表示機器のいずれかの視聴シーン情報を他の前記表示機器にリアルタイムに共有する視聴シーン情報共有手段と、
   前記表示機器の各利用者が装着開始から脱着までの視聴シーンの履歴情報を蓄積する視聴履歴情報蓄積手段と、
   該視聴履歴情報蓄積手段の前記履歴情報に基づいて推奨される視聴シーン情報を提供する推奨視聴シーン情報提供手段と、
   複数の前記表示機器のそれぞれで独立して視聴シーンを選択自在に視聴する単独視聴モードと、前記複数の表示機器のそれぞれで同一の視聴シーンを視聴する協調視聴モードと、を切り替える視聴モード切替手段と、
   を備えたことを特徴とする制御装置。
2. 請求項１において、前記履歴情報は、仮想空間内で視聴されている視野範囲のスクリーン座標情報と、視聴時刻情報と、前記表示機器のＩＤ情報と、操作履歴情報と、前記スクリーン座標情報に対応する映像コンテンツ情報と、視聴シーン情報と、前記視聴シーンが利用者に実際に視聴された回数情報と、を含むことを特徴とする制御装置。
3. 請求項１において、前記視聴履歴情報蓄積手段には、利用者の年齢情報と、性別情報と、職業情報と、趣味に関する情報と、視聴した映像コンテンツに関する評価情報と、が入力されることを特徴とする制御装置。
4. 請求項１において、前記推奨視聴シーン情報提供手段は、前記視聴履歴情報蓄積手段に蓄積された操作履歴情報に紐付けされた推奨映像コンテンツ及び推奨視聴シーンを他の利用者が視聴したい場合、該操作履歴情報を自動又は手動で実行し、所望の映像コンテンツや視聴シーンを提供することを特徴とする制御装置。
5. 請求項１において、前記推奨視聴シーン情報提供手段は、時間帯別の視聴回数集計情報と、所定期間単位の視聴回数集計情報と、年代別や性別ごとの視聴回数集計情報と、に基づいて推奨視聴シーン情報をランキング形式で利用者に提供することを特徴とする制御装置。
6. 請求項１において、前記視聴モード切替手段は、推奨映像コンテンツや推奨視聴シーン内の所定の事象をトリガーとして、前記単独視聴モードと前記協調視聴モードとを切り替えることを特徴とする制御装置。
7. 請求項１において、前記視聴モード切替手段は、音声情報又は前記表示機器のスクリーン上に投影する表示情報によって、推奨映像コンテンツや推奨視聴シーンの視聴を促すことを特徴とする制御装置。
8. 請求項１において、前記視聴モード切替手段は、利用者間の映像コンテンツや視聴シーンの共有を制御する
9. 請求項１において、利用者間の映像コンテンツや視聴シーンの共有を、配信システムで制御することを特徴とする制御装置。

Images