JP2022148382A - 表示装置、表示制御システム、情報処理装置および表示装置の制御方法 - Google Patents

Abstract

【課題】様々な視点からの映像をリアルタイムで共有するためのユーザーの負荷を軽減する。【解決手段】表示装置は、撮影手段と、前記撮影手段が撮影した映像から注目被写体を検出する検出手段と、外部機器から前記注目被写体に関連する映像を取得する取得手段と、前記検出手段の検出結果に基づいて、前記外部機器から取得した映像を表示する表示制御手段とを有することを特徴とする。【選択図】図６

Description

本発明は、表示装置、表示制御システム、情報処理装置および表示装置の制御方法に関する。

近年、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）などの技術が、ユーザーの頭部に装着可能な頭部装着型表示装置、カメラ搭載のスマートフォンおよびタブレット端末などで利用されている。特に、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）は、ユーザーの眼前にディスプレイを配置することで、利用シーンに応じて有用な情報を提示し、より深い没入感をユーザーに与えることができる。

ＨＭＤを装着しているユーザーは、複数の撮像装置で撮影した映像を共有することが可能である。例えば、特許文献１は、特定の撮像装置を指定するための位置情報およびカメラスペック情報などを指定することで、外部の撮像装置の画像を自分の表示装置に表示する技術を開示する。

特開２０１３－１４１２７２号公報

しかしながら、イベント等の観賞中に映像を共有する撮影装置を指定する操作は煩わしく、ユーザーは、イベント観賞に集中できない場合がある。

本発明は、様々な視点からの映像をリアルタイムで共有するためのユーザーの負荷を軽減する表示装置を提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、
撮影手段と、
前記撮影手段が撮影した映像から注目被写体を検出する検出手段と、
外部機器から前記注目被写体に関連する映像を取得する取得手段と、
前記検出手段の検出結果に基づいて、前記外部機器から取得した映像を表示する表示制御手段と
を有することを特徴とする表示装置。

本発明によれば、様々な視点からの映像をリアルタイムで共有するためのユーザーの負荷を軽減することができる。

ＨＭＤの外観図。 ＨＭＤおよび共有サーバーのハードウェア構成を例示する図。 映像共有処理を例示するフローチャート。 映像共有設定画面を例示する図。 注目被写体の設定画面を例示する図。 映像表示制御処理を例示するフローチャート。 ＨＭＤが撮影した映像の拡大映像の表示例を示す図。 共有サーバーから取得した映像の表示例を示す図。 シースルー領域で注目被写体未検出の場合の映像表示の例を示す図。 視線の推移情報を説明する図。 注目被写体の変更通知の例を示す図。 仮想モニターの表示例を示す図。 見逃した期間の推定について説明する図。

＜実施形態１＞
本実施形態に係るＨＭＤ（頭部装着型表示装置）は、例えば、透明なディスプレイを使用した光学シースルー型のＨＭＤである。光学シースルー型ＨＭＤでは、ユーザーは、映像表示と外界からの入射光との両方を視認することができる。即ち、ユーザーは、コンサートまたは運動会などのイベントをシースルーで観賞しながら、ＨＭＤがディスプレイに表示する様々な情報を視認することができる。

本実施形態でのＨＭＤは、光学シースルー型のＨＭＤが想定されるが、不透明なディスプレイを使用したビデオシースルー型のＨＭＤであってもよい。ビデオシースルー型のＨＭＤは、外界をビデオ映像化し、仮想世界の映像と電子的に合成して表示する。

ＨＭＤは、例えば、ユーザーが注目している被写体（以下、注目被写体とも称する）に関する情報をディスプレイに表示することができる。注目被写体に関する情報は、例えば、他のＨＭＤに付属する撮像装置で撮影された映像である。ＨＭＤが撮影した映像を通信機能によって相互に送受信することで、ＨＭＤを装着したユーザーは、視界の一部をリアルタイムに共有することができる。

なお、ＨＭＤは、共有サーバーを介して映像を送受信してもよい。共有サーバーは、複数のＨＭＤと通信可能なコンピュータであり、情報処理装置に相当する。本発明に係る表示制御システムは、共有サーバーおよび複数のＨＭＤを含み、共有サーバーを介して、ＨＭＤ間の映像の共有を実現する。

ＨＭＤは、ユーザーが設定した注目被写体が撮影された映像を他のＨＭＤから取得する。また、ＨＭＤは、シースルーでの被写体観賞の妨げにならない表示位置および表示サイズで、取得した映像をディスプレイに表示する。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１を参照して、本実施形態に係る表示装置としてのＨＭＤについて説明する。図１は、ＨＭＤ１の外観図を例示する。以下、ＨＭＤ１は、光学シースルー型ＨＭＤであるものとして説明するが、不透明なディスプレイを使用したビデオシースルー型ＨＭＤであってもよい。ビデオシースルー型ＨＭＤでは、前方からの入射光は、映像化されて表示される。

ＨＭＤ１は、フレームと２つの表示部１１ａおよび表示部１１ｂとを有する。フレームは、リム１５と、リム１５の両サイドに接合されているテンプル１６ａおよびテンプル１６ｂとを有する。表示部１１ａおよび表示部１１ｂは、リム１５の一方の面に接合されている。

画像投影装置１２ａおよび導光装置１３ａは、表示部１１ａの表示素子（不図示）からの光を、ＨＭＤ１を装着した装着者の右眼に導く。同様に、画像投影装置１２ｂおよび導
光装置１３ｂは、表示部１１ｂの表示素子（不図示）からの光を、ＨＭＤ１を装着した装着者の左眼に導く。

装着者は、表示部１１ａおよび表示部１１ｂに表示される映像と、ＨＭＤ１の前方からの入射光とを同時に知覚することができる。また、ＨＭＤ１は撮像装置１４ａおよび撮像装置１４ｂを有する。撮像装置１４ａおよび撮像装置１４ｂは、ＨＭＤ１の前方を含む周囲を撮影する。

（ハードウェア構成）
図２を参照して、表示制御システムに含まれるＨＭＤ１および共有サーバー２のハードウェア構成について説明する。共有サーバー２（情報処理装置）は、複数のＨＭＤ１間で映像を共有する場合に、映像の送受信を制御するための外部機器の一例である。ＨＭＤ１は、外部機器としての他のＨＭＤと、直接映像を送受信することにより、映像を共有してもよい。

ＨＭＤ１は、演算装置１０１、撮影装置１０２、一次記憶装置１０３、検出装置１０４、通信装置１０５、表示部１０６、操作部１０７を有する。ＨＭＤ１が有する構成は、バス１０８で相互に接続される。

演算装置１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ＨＭＤ１の全体の制御を司る。撮影装置１０２は、図１に示す撮像装置１４ａ、１４ｂに対応し、ＨＭＤ１を装着したユーザーの視界領域を撮影する。撮影装置１０２は、レンズ、ＣＣＤまたはＣＭＯＳセンサといった撮像素子等を有し、被写体の撮像した映像データを生成する。

一次記憶装置１０３は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。一次記憶装置１０３は、撮影装置１０２で撮影された映像、および外部の共有サーバー２から取得した映像を一時的に格納する。

検出装置１０４は、一次記憶装置１０３に格納された映像を解析して、例えば、注目被写体が映像に含まれるか否かを判定する。注目被写体は、ユーザーが予め設定した被写体である。また、注目被写体は、撮影中にユーザー操作によって変更されてもよい。また、検出装置１０４は、注目被写体の向きおよびサイズ等の検出も可能である。

通信装置１０５は、Ｗｉ－Ｆｉおよび／またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）等の通信規格により、他の機器との通信が可能である。例えば、通信装置１０５は、外部の共有サーバー２と、通信装置２０５を介して通信することができる。通信装置１０５は、撮影装置１０２で撮影した映像を共有サーバー２に転送する。

演算装置１０１は、通信装置１０５を介し、検出装置１０４の検出結果に応じて、外部の共有サーバー２から注目被写体に関連する映像を取得する。例えば、演算装置１０１は、ＨＭＤ１で撮影された映像から、注目被写体が検出されなかった場合に、共有サーバー２から映像を取得する。また、通信装置１０５は、正面を向いた注目被写体が検出されなかった場合、または検出された注目被写体のサイズ（面積）が所定の閾値以下であった場合に、共有サーバー２から映像を取得する。

表示部１０６は、撮影装置１０２によって撮影された映像および外部の共有サーバー２から取得した映像を表示する。表示部１０６は、図１の表示部１１ａおよび表示部１１ｂに相当する。操作部１０７は、ユーザーからのボタン操作または音声操作等による操作指
示を受け付ける。

共有サーバー２は、演算装置２０１、一次記憶装置２０２、二次記憶装置２０３、検出装置２０４、通信装置２０５を有する。共有サーバー２はが有する構成は、バス２０８で相互に接続される。演算装置２０１は、例えばＣＰＵであり、共有サーバー２の全体の制御を司る。

一次記憶装置２０２は、例えばＤＲＡＭであり、ＨＭＤ１から受信した映像、および二次記憶装置２０３から読み出した映像を一時的に格納する。二次記憶装置２０３は、例えばフラッシュメモリであり、ＨＭＤ１から受信した映像などを記録する。

検出装置２０４は、二次記憶装置２０３から一次記憶装置２０２に読み出された映像を解析し、被写体を検出する。検出装置２０４は、被写体の向きおよびサイズ等の被写体に関する情報を取得する。検出装置２０４は、検出した被写体のうち、同じ被写体に対して同一のタグを付して二次記憶装置２０３に記録する。また、検出装置２０４は、検出した被写体と、当該被写体を含む映像とを対応づけて二次記憶装置２０３に記録する。

通信装置２０５は、Ｗｉ－Ｆｉおよび／またはＢＬＥ等の通信規格により、他の機器との通信が可能である。例えば、通信装置２０５は、通信装置１０５を介して、ＨＭＤ１と通信することができる。通信装置２０５は、ＨＭＤ１での注目被写体が検出された映像を、当該ＨＭＤ１に送信する。

（映像共有処理）
図３を参照して、映像共有処理について説明する。映像共有処理は、ＨＭＤ１を装着したユーザーがイベント等を観賞しながら、リアルタイムで他のＨＭＤ１を装着したユーザーと映像を共有する場合のＨＭＤ１の制御フローである。

Ｓ３０１では、演算装置１０１は、操作部１０７に対するユーザー操作に基づいて、他のＨＭＤ１と映像共有をするか否かを設定する。なお、ユーザーは、イベント等の観賞前に予め映像の共有設定をしてもよく、観賞途中で共有設定を変更してもよい。

図４を参照して、映像共有の具体的な設定方法について説明する。図４は、映像共有設定画面を例示する図である。映像共有設定画面は、ＨＭＤ１の表示部１０６に表示される。ユーザーは、操作部１０７を介して映像共有設定画面に対する操作をすることができる。

図４の例では、ユーザーは、映像共有設定４０１をＯＮに設定することで、他のユーザーが装着するＨＭＤ１と映像を共有するか否かを設定ことができる。個別に設定する４０２をＯＦＦにした場合、ユーザーは、映像共有が可能な他のＨＭＤ１と一括して映像共有の設定をすることができる。映像共有が可能なＨＭＤ１は、ユーザーが装着したＨＭＤ１と直接または共有サーバー２を介して通信可能なＨＭＤ１である。

個別に設定する４０２をＯＮにした場合、ユーザーは、共有ユーザーリスト４０３に表示されたユーザーのＨＭＤ１と、個別に映像共有の設定をすることができる。共有ユーザーリスト４０３は、イベント会場等で、ユーザーが装着したＨＭＤ１と映像共有が可能なＨＭＤ１を表示する。

Ｓ３０２では、演算装置１０１は、操作部１０７に対するユーザー操作に基づいて、注目被写体を設定する。注目被写体は、ＨＭＤ１を装着するユーザーがイベント等で主に観賞したい被写体である。例えば、注目被写体は、運動会であれば競技中の生徒（ユーザー
の子供）、コンサートであればお気に入りの歌手、カーレースでは応援しているチームの車体等である。なお、注目被写体は、イベントの観賞前に予め設定されてもよく、イベント等の観賞途中で変更されてもよい。

図５を参照して、注目被写体の設定について説明する。図５は、注目被写体の設定画面を例示する図である。演算装置１０１は、予め設定された被写体画像を表示部１０６に表示し、ユーザーが選択した被写体を注目被写体として登録すればよい。注目被写体は人物に限らず、動物または自動車などでもよい。

予め設定された被写体画像、即ち、注目被写体の設定画面に選択候補として表示される被写体画像は、例えば、ＨＭＤ１の映像から検出される被写体とすることができる。また、演算装置１０１は、他のＨＭＤ１の映像または共有サーバー２に記録された映像から検出された被写体の情報を受信し、受信した被写体画像を選択候補として表示してもよい。

Ｓ３０３では、演算装置１０１は、ユーザーがイベント観賞を開始すると、撮影装置１０２による撮影を開始する。演算装置１０１は、例えば、ユーザーがＨＭＤ１の電源を入れたり、撮影開始の操作をしたりすることにより、イベント観賞が開始されたと判定することができる。

演算装置１０１は、撮影された映像を、通信装置１０５を介して随時共有サーバー２に転送する。演算装置１０１は、映像とともに、Ｓ３０２で設定された注目被写体の情報を共有サーバー２に送信してもよい。

共有サーバー２では、検出装置２０４は、ＨＭＤ１から転送された映像において被写体を検出する。また、検出装置２０４は、映像で検出した被写体の向きおよびサイズを認識する。検出装置２０４は、被写体の画像データ、被写体の向きおよびサイズ等を含む被写体の情報を、二次記憶装置２０３に保存する。被写体の情報は、被写体を識別するためのタグを付加して二次記憶装置２０３に記録される。共有サーバー２は、他のＨＭＤ１で撮影された映像についても同様に二次記憶装置２０３に保存する。

複数のＨＭＤ１で検出された同じ被写体に対しては、同一のタグが付加される。被写体が同一であるか否かは、例えば、同一人物を対応づけるための技術であるＲｅ－ＩＤ（Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）といった公知の技術を用いて判定可能である。

Ｓ３０４では、演算装置１０１は、Ｓ３０２で設定した注目被写体に関連する映像を共有サーバー２から取得する。注目被写体に関連する映像は、注目被写体が写っている映像または注目被写体の正面が写っている映像である。

共有サーバー２の演算装置２０１は、一次記憶装置２０２または二次記憶装置２０３に保存された映像から、注目被写体が撮影されている映像を取得する。演算装置２０１は、通信装置２０５を介して取得した映像をＨＭＤ１に送信する。

注目被写体が撮影されている映像が複数存在する場合、演算装置２０１は、注目被写体の正面（例えば、人物の場合は顔）がより大きく写っている映像を優先して取得する。また、演算装置２０１は、映像のリアルタイム性を考慮して、直近（例えば1秒以内）に保
存された映像を取得対象としてもよい。

なお、共有サーバー２は、映像共有の設定がされている他のＨＭＤ１で撮影された映像を、注目被写体が撮影されているか否かに関わらず、ＨＭＤ１に送信してもよい。この場合、映像中に注目被写体が撮影されているか否かは、共有サーバー２から他のＨＭＤ１で
撮影された映像を受信したＨＭＤ１側で判定されればよい。

Ｓ３０５では、ＨＭＤ１の演算装置１０１は、共有サーバー２から取得した映像を、注目被写体の検出結果に基づいて表示部１０６に表示する。即ち、演算装置１０１は、注目被写体が検出されたか否か、および検出された注目被写体の状態などに応じて共有サーバー２から取得した映像を表示する。図６を参照して、共有サーバー２から取得した映像の表示制御処理について説明する。図６は、映像表示制御処理を例示するフローチャートである。

Ｓ６０１では、演算装置１０１は、撮影装置１０２が撮影した映像を一次記憶装置１０３から読み出し、検出装置１０４が映像中で注目被写体を検出したか否かを判定する。撮影装置１０２が撮影した映像の画角がユーザーの視野角より広い場合、検出装置１０４は、撮影領域中の視界領域に限定して検出処理を実施してもよい。

検出装置１０４が撮影した映像中で注目被写体を検出した場合、処理はＳ６０２に進む。検出装置１０４が映像中で注目被写体を検出しなかった場合、処理はＳ６０８に進む。なお、演算装置１０１は、所定時間以上継続して注目被写体が検出されなかった場合に、処理をＳ６０８に進めてもよい。

Ｓ６０２では、演算装置１０１は、検出装置１０４が注目被写体の被写体正面を検出したか否かを判定する。検出装置１０４が被写体正面を検出した場合、処理はＳ６０３に進む。検出装置１０４が被写体正面を検出しなかった場合、処理はＳ６０５に進む。

Ｓ６０３では、演算装置１０１は、撮影装置１０２が撮影した注目被写体が所定のサイズ以上であるか否かを判定する。注目被写体が所定のサイズ以上である場合、ＨＭＤ１を装着したユーザーは、肉眼（シースルー）で注目被写体を十分認識できる。ユーザーが注目被写体を認識できる状況では、演算装置１０１は、共有サーバー２から取得した映像等を表示せず、図６に示す処理は終了する。処理は、図３のＳ３０６の終了判定に進む。

Ｓ６０３で注目被写体が所定のサイズより小さい場合、処理はＳ６０４に進む。なお、注目被写体が所定のサイズより小さい場合、Ｓ６０２で検出装置１０４が被写体正面を検出しなかった場合と同様に、演算装置１０１は、Ｓ６０５に進み共有サーバー２から取得した映像を表示部１０６に表示するようにしてもよい。

Ｓ６０４では、演算装置１０１は、撮影装置１０２が撮影した映像から注目被写体が写っている領域を切り出し、切り出した画像を拡大した拡大映像を表示部１０６に表示する。演算装置１０１は、例えば、撮影装置１０２が撮影した映像で検出した注目被写体と重ならない位置に、拡大映像を表示する。

図７は、ＨＭＤ１が撮影した映像の拡大映像の表示例を示す図である。図７の点線枠は、ＨＭＤ１の表示部１０６でフレーム越しにシースルーで見える表示領域７００を示す。表示領域７００の右上の角に表示される矩形枠は、表示領域７００で表示された注目被写体の拡大映像を表示する拡大映像表示領域７０２を示す。注目被写体は、注目被写体が拡大映像表示領域７０２に収まる大きさに拡大して表示される。処理は、図３のＳ３０６の終了判定に進む。

Ｓ６０５では、撮影装置１０２が撮影した映像で注目被写体の被写体正面が検出されていないため、演算装置１０１は、共有サーバー２から取得した映像で注目被写体が写っている映像があるか否か判定する。

注目被写体が写っている映像がある場合、処理はＳ６０６に進む。注目被写体が写っている映像がない場合、演算装置１０１は共有サーバー２から取得した映像を表示せず、図６に示す処理は終了する。処理は、図３のＳ３０６の終了判定に進む。

Ｓ６０６では、演算装置１０１は、共有サーバー２から取得した映像を表示部１０６に表示する。演算装置１０１は、例えば、表示部１０６の周辺領域など、シースルーで見える領域の注目被写体と重ならない位置に、共有サーバー２から取得した映像を表示する。

図８は、共有サーバー２から取得した映像の表示例を示す図である。図７と同様に図８の点線枠は、ＨＭＤ１の表示部１０６でフレーム越しにシースルーで見える表示領域８００を示す。表示領域８００では、注目被写体８０１は、後ろ向きの状態で撮影されている。表示領域８００の右上の角に表示される矩形枠は、共有サーバー２から取得した注目被写体８０３の写った映像を表示する共有映像表示領域８０２を示す。

演算装置１０１は、Ｓ６０４と同様に、共有サーバー２から取得した映像で注目被写体８０３が写っている領域を拡大して、共有映像表示領域８０２に表示してもよい。また、演算装置１０１は、共有映像表示領域８０２がシースルーで見える領域の注目被写体８０１と重ならないように、注目被写体８０１の検出位置に応じて、共有映像表示領域８０２の表示位置を上下左右に移動させてもよい。さらに、演算装置１０１は、シースルーの領域で検出された注目被写体８０１のサイズに応じて、共有映像表示領域８０２の表示サイズを決定または変更してもよい。

Ｓ６０７では、撮影装置１０２が撮影した映像で注目被写体が検出されていないため、演算装置１０１は、共有サーバー２から取得した映像で注目被写体が写っている映像があるか否か判定する。

注目被写体が写っている映像がある場合、処理はＳ６０８に進む。注目被写体が写っている映像がない場合、演算装置１０１は共有サーバー２から取得した映像を表示せず、図６に示す処理は終了する。処理は、図３のＳ３０６の終了判定に進む。

Ｓ６０８では、演算装置１０１は、共有サーバー２から取得した映像を、表示部１０６の中央に表示する。図９は、シースルーで見える領域で注目被写体が検出されなかった場合の映像表示の例を示す図である。図７と同様に図９の点線枠は、ＨＭＤ１の表示部１０６でフレーム越しにシースルーで見える表示領域９００を示す。

表示領域９００の中央に表示される矩形枠は、共有サーバー２から取得した注目被写体９０１の写った映像を表示する共有映像表示領域９０２を示す。演算装置１０１は、Ｓ６０４と同様に、共有サーバー２から取得した映像で注目被写体９０１が写っている領域を拡大したり、一部を切り取ったりして、共有映像表示領域９０２に表示してもよい。

また、共有映像表示領域９０２の表示位置は、中央に限られず表示領域９００の右側または左側に寄せた位置であってもよい。さらに、シースルーで見える表示領域９００で注目被写体が検出された場合、演算装置１０１は、共有映像表示領域９０２を縮小して、注目被写体と重ならない位置に移動させてもよい。

図３に戻ってＳ３０６では、演算装置１０１は、撮影が終了したか否かを判定する。演算装置１０１は、例えば、ユーザーから、操作部１０７を介して撮影を終了する操作または電源を切る操作を受け付けた場合に、撮影が終了したと判定することができる。撮影が終了した場合、図３に示す映像共有処理は終了する。撮影が終了していない場合、処理はＳ３０４に戻る。

ユーザーがイベント観賞を終了し、撮影の終了を指示するまで、Ｓ３０４およびＳ３０５の処理は繰り返される。これにより、ＨＭＤ１を装着したユーザーは、注目被写体をシースルーで十分認識できない場合に、他のＨＭＤ１で撮影された注目被写体の映像をリアルタイムで共有することができる。

また、撮影指示および共有設定等の入力操作は、イベント観賞の開始前に一度行えばよい。予め映像の共有設定をしておくことで、ユーザーは、イベント観賞中に他のＨＭＤ１と映像を共有するための操作から解放され、イベント観賞により集中できるようになる。

なお、図６の映像表示処理は、フレーム毎に実施してもよく、１秒から数秒ほどの間隔をあけて実施してもよい。また、被写体の位置またはサイズ等の被写体に関する情報は、１フレームで評価する場合に限られず、複数枚のフレームから取得した平均値に基づいて評価してもよい。これにより、バスケットボールのようにイベント会場内を目まぐるしく移動する注目被写体であっても、演算装置１０１は、映像表示の切り替えを滑らかにすることができる。映像表示の切り替えを滑らかにすることで、ユーザーは、イベント観賞に集中できるようになる。

また、共有サーバー２を介して共有される映像は、他のＨＭＤ１で撮影された映像であるものとして説明したが、これに限られない。ＨＭＤ１が共有可能な映像は、イベント会場に備え付けられた固定のカメラで撮影された映像、またはプロのカメラマンが手持ちで撮影した映像であってもよい。

＜実施形態２＞
実施形態１では、ユーザーは、注目被写体を、イベントの観賞前に予め設定したり、観賞途中で変更したりする。これに対し、実施形態２では、注目被写体は、ユーザーの視線位置に基づいて、自動的に切り替えられる。ＨＭＤ１および共有サーバー２の構成は、図１および図２を参照して実施形態１で説明した構成と同じであるため、説明は省略する。

ユーザーがイベント観賞中に注目被写体を変更したい場合に、注目被写体の設定をやり直すことは面倒である。実施形態２では、ＨＭＤ１は、ユーザーの視線を検出して、注目被写体をユーザーの視線が向けられている被写体に切り替える。したがって、ユーザーが注目被写体を切り替えるための操作負荷は軽減される。

視線検出の方法は、例えば、一般的な角膜反射法などである。角膜反射法は、ユーザーの眼球に赤外線を照射し、角膜と瞳孔の反射率の違いに基づいて眼球の状態（視線の方向）を検出する方法である。検出された視線方向と、ＨＭＤにより撮影された映像から、ユーザーがどの時刻に視界のどの位置を見ていたかという視線の推移情報が得られる。

図１０を参照して、視線の推移情報について説明する。図１０は、３人の生徒が徒競走で走っているシーンである。時刻Ｔ０、時刻Ｔ１、時刻Ｔ２におけるユーザーの視線位置は、×印で表される。時刻Ｔ０の時点で、ユーザーは、生徒１００１に注目している。ユーザーの視線は、時刻Ｔ１では生徒１００２に、時刻Ｔ３では生徒１００３に移動している。

例えば、ユーザーの視線が所定期間以上、特定の被写体に留まっていることが検出された場合、ＨＭＤ１の演算装置１０１は、注目被写体をユーザーの視線が留まっている被写体に切り替える。演算装置１０１は、注目被写体を切り替える前に、ユーザーに注目被写体を変更することを通知する。

図１１は、注目被写体の変更通知の例を示す図である。演算装置１０１は、注目被写体を変更したことを通知するメッセージ１１０１、および変更後の注目被写体を囲む枠１１０２を表示する。

なお、図１１は、注目被写体の変更を通知する例を示すが、通知に限られない。演算装置１０１は、注目被写体を変更するか否かをユーザーが選択できるように、確認メッセージを表示してもよい。演算装置１０１は、ユーザーが注目被写体の変更を承諾した場合に、注目被写体を切り替える。演算装置１０１は、ユーザーが注目被写体の変更を承諾しなかった場合、注目被写体を変更せずに、当該注目被写体について映像の共有処理を継続する。

実施形態２では、ＨＭＤ１は、ユーザーの視線を検出し、ユーザーの視線位置に基づいて、注目被写体を変更する。これにより、演算装置１０１は、ユーザーが追加の操作をしなくても注目する被写体を容易に切り替えることができる。

＜実施形態３＞
実施形態１では、共有サーバー２から取得した映像は、シースルーで見える領域で検出された注目被写体の位置およびサイズに基づいて、表示位置および表示サイズが決定される。

これに対し、実施形態３は、撮影装置１０２の撮影範囲内に仮想モニターを表示させ、共有サーバー２から取得した映像を仮想モニターに投影する実施形態である。ＨＭＤ１は、例えば、イベント会場（実空間）の固定位置に仮想モニターを表示することができる。ＨＭＤ１および共有サーバー２の構成は、図１および図２を参照して実施形態１で説明した構成と同じであるため、説明は省略する。

注目被写体が目まぐるしく動き回るような状況では、共有サーバー２から取得した映像は、表示位置および表示サイズが頻繁に変更されるため、シースルーでの観賞の邪魔になる可能性がある。実施形態３では、共有サーバー２から取得した映像の出力先を、実空間内の定位置に設置された仮想モニターに固定することで、ユーザーは、共有する映像の映像表示に気をとられることなく、落ち着いてイベントを観賞することができる。

図１２は、仮想モニターの表示例を示す図である。図１２の例では、演算装置１０１は、徒競走が行われている校庭の空きスペース（トラックの内側）に大型の仮想モニターが置かれているように表示する。仮想モニターの表示位置は、例えばイベント会場のレイアウト図で、競技毎に空きスペースに設定される。ＨＭＤ１は、仮想モニターの表示位置がユーザーの視野角に入ったことを検知すると、表示部１０６に仮想モニターを表示する。

仮想モニターは、設置位置に応じて、ユーザーの正面に向けられてもよく、ユーザーに対して斜め向きに表示されてもよい。ユーザーに対して斜め向きに表示された場合、演算装置１０１は、ユーザーが装着したＨＭＤ１に対するモニターの設置角に応じて、仮想モニターに表示する映像の射影変換を行う。ユーザーは、射影変換により仮想モニターに自然に表示された注目被写体の映像と、シースルーでの映像とを同時に観賞することができる。

＜実施形態４＞
上述の各実施形態では、ＨＭＤ１は、リアルタイムで映像を共有する。これに対し、実施形態４は、注目被写体の検出結果およびユーザーの視線の推移情報に基づいて、ユーザーがリアルタイムで見逃した期間（シーン）を推定し、後からＨＭＤ１で再生（リプレイ）するための再生映像を生成する方法に関する実施形態である。ＨＭＤ１は、後から映像
を再生する際、ユーザーが見逃したシーンでは、共有サーバー２から取得した映像を再生する。ＨＭＤ１および共有サーバー２の構成は、図１および図２を参照して実施形態１で説明した構成と同じであるため、説明は省略する。

図１３は、見逃した期間の推定について説明する図である。演算装置１０１は、見逃した期間を推定するために、イベント観賞中の各時刻において注目被写体に関する情報を記録する。注目被写体は、実施形態１で説明したように、予めユーザーが設定してもよく、実施形態２で説明したように、ユーザーの視線情報に基づいて設定されてもよい。

各シーンで記録される情報は、Ａ：時刻、Ｂ：注目被写体の検出結果、Ｃ：注目被写体の顔検出結果、Ｄ：注目被写体のサイズ判定結果である。Ｂ：注目被写体の検出結果は、シースルーで見える領域で注目被写体が検出されたか否かである。Ｃ：注目被写体の顔検出結果は、注目被写体の顔（正面）が検出されたか否かである。Ｄ：注目被写体のサイズ判定結果は、注目被写体の顔が所定のサイズ以上であるか否かである。

図１３の例では、時刻Ｔ５から時刻Ｔ７の期間で、注目被写体が検出されなかったため、Ｂ：注目被写体の検出結果、Ｃ：注目被写体の顔検出結果、Ｄ：注目被写体のサイズ判定結果はＮＧとなっている。

時刻Ｔ８では、注目被写体は検出されたが、注目被写体の顔（注目被写体の正面）が検出されていないため、Ｃ：注目被写体の顔検出結果、Ｄ：注目被写体のサイズ判定結果はＮＧとなる。時刻Ｔ９では、注目被写体の顔は検出されているが、注目被写体の顔が所定のサイズ未満であるため、Ｄ：注目被写体のサイズ判定結果はＮＧとなる。

演算装置１０１は、Ｂ：注目被写体の検出結果、Ｃ：注目被写体の顔検出結果、Ｄ：注目被写体のサイズ判定結果のいずれかがＮＧである場合、共有サーバー２から取得した映像を再生する。図１３の例では、演算装置１０１は、時刻Ｔ０から時刻Ｔ４までの期間および時刻Ｔ１０では、ユーザーが装着するＨＭＤ１で撮影した映像を再生する。また、演算装置１０１は、時刻Ｔ５から時刻Ｔ９までの期間では、共有サーバー２から取得した映像を再生する。

これにより、演算装置１０１は、注目被写体の検出結果に基づいて、ＨＭＤ１で撮影した映像と共有サーバー２から取得した映像とを繋ぎ合わせたダイジェスト動画（再生映像）を生成することができる。したがって、ＨＭＤ１を装着したユーザーは、リアルタイムで注目被写体を見逃した場合でも、見逃した期間に撮影された被写体の映像を含むダイジェスト動画を鑑賞することができる。

上述の各実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の組み合わせまたは変形が可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：ＨＭＤ、１０１：演算装置、１０２：撮影装置、１０４：検出装置、１０５：通信装置、１０６：表示部

Claims (17)

1. 撮影手段と、
   前記撮影手段が撮影した映像から注目被写体を検出する検出手段と、
   外部機器から前記注目被写体に関連する映像を取得する取得手段と、
   前記検出手段の検出結果に基づいて、前記外部機器から取得した映像を表示する表示制御手段と
   を有することを特徴とする表示装置。
2. 前記表示制御手段は、前記注目被写体が撮影された映像のうち、前記注目被写体の正面がより大きく撮影された映像を優先して表示する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示制御手段は、前記撮影手段が撮影した映像に前記注目被写体が撮影されていない場合、前記取得手段が取得した映像を表示する
   ことを特徴とする請求項１または２に記載の表示装置。
4. 前記表示制御手段は、前記撮影手段が撮影した映像に前記注目被写体もしくは前記注目被写体の正面が撮影されていない場合に、前記取得手段が取得した映像を表示する
   ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。
5. 前記表示制御手段は、前記撮影手段が撮影した映像での前記注目被写体が所定のサイズより小さくなった場合、前記取得手段が取得した映像を表示するか、または前記撮影手段が撮影した映像から前記注目被写体が写っている領域を切り出した映像を拡大して表示する
   ことを特徴とする請求項１から４のいずれか１項に記載の表示装置。
6. 前記表示制御手段は、前記撮影手段が撮影した映像での前記注目被写体のサイズに基づいて、前記取得手段が取得した映像の表示サイズを決定する。
   ことを特徴とする請求項１から５のいずれか１項に記載の表示装置。
7. 前記表示制御手段は、前記撮影手段が撮影した映像での前記注目被写体の位置に基づいて、前記取得手段が取得した映像の表示位置を決定する。
   ことを特徴とする請求項１から６のいずれか１項に記載の表示装置。
8. 前記注目被写体は、ユーザーにより予め設定される
   ことを特徴とする請求項１から７のいずれか１項に記載の表示装置。
9. 前記検出手段は、ユーザーの視線位置に基づいて、前記注目被写体を変更する
   ことを特徴とする請求項１から８のいずれか１項に記載の表示装置。
10. 前記表示制御手段は、前記撮影手段の撮影範囲内に仮想モニターを表示し、前記仮想モニターに、前記取得手段が取得した映像を表示する
    ことを特徴とする請求項１から９のいずれか１項に記載の表示装置。
11. ユーザーが前記注目被写体を見逃した期間を推定する推定手段をさらに有し、
    前記表示制御手段は、前記撮影手段が撮影した映像と、前記外部機器から取得した映像のうち前記見逃した期間に撮影された映像とを用いて、前記見逃した期間を含む期間の前記注目被写体の再生映像を生成する
    ことを特徴とする請求項１から１０のいずれか１項に記載の表示装置。
12. 前記撮影手段が撮影した映像を外部機器に送信する送信手段を、さらに有する
    ことを特徴とする請求項１から１１のいずれか１項に記載の表示装置。
13. 情報処理装置と、請求項１から１２のいずれか１項に記載の表示装置とを含む表示制御システムであって、
    前記情報処理装置は、
    複数の前記表示装置から前記撮影手段が撮影した映像を受信する受信手段と、
    前記受信手段が受信した映像から被写体を検出し、前記被写体の向きおよびサイズを含む前記被写体の情報を取得する取得手段と、
    前記表示装置における前記注目被写体が検出された映像のうち、前記被写体の情報に基づいて選択した映像を前記表示装置に送信する送信手段と、を有する
    ことを特徴とする表示制御システム。
14. 複数の表示装置から前記表示装置の撮影手段が撮影した映像を受信する受信手段と、
    前記受信手段が受信した映像から被写体を検出し、前記被写体の向きおよびサイズを含む前記被写体の情報を取得する取得手段と、
    前記表示装置における注目被写体が検出された映像のうち、前記被写体の情報に基づいて選択した映像を前記表示装置に送信する送信手段と
    を有することを特徴とする情報処理装置。
15. コンピュータが、
    映像を撮影する撮影ステップと、
    前記撮影ステップで撮影した映像から注目被写体を検出する検出ステップと、
    外部機器から前記注目被写体に関連する映像を取得する取得ステップと、
    前記検出ステップでの検出結果に基づいて、前記外部機器から取得した映像を表示する表示制御ステップと
    を有することを特徴とする表示装置の制御方法。
16. コンピュータを、請求項１から１２のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１から１２のいずれか１項に記載の表示装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images