JP2013174642A - 映像表示装置 - Google Patents

Abstract

【課題】実空間と仮想物体との融和性を高めた高臨場感の映像表示装置を提供する。
【解決手段】実施形態によれば、データ出力部と第１表示装置と第２表示装置とを備えた映像表示装置が提供される。データ出力部は、第１映像の第１データと第２映像の第２データとを出力する。第１表示装置は、第１映像を表示する光透過性の第１表示部を有する。第２表示装置は、第２映像を表示する第２表示部を有する。第２映像を、第１表示部を介して観視者が見る。データ出力部は、第１映像中に第１表示オブジェクトを表示する第１動作と、第２映像中に第１表示オブジェクトに基づくオブジェクトを表示する第２動作と、を含む動作、及び、第２映像中に第３表示オブジェクトを表示する第３動作と、第１映像中に第３表示オブジェクトに基づく表示オブジェクトを表示する第４動作と、を含む動作、の少なくともいずれかを実施する。
【選択図】図１

Description

本発明の実施形態は、映像表示装置に関する。

実世界と仮想世界とを融合させる拡張現実感提示技術がある。この技術においては、実世界像に仮想物体像を重畳させる。また、実世界像をカメラで取り込んで、取り込んだ映像を仮想世界とし、この映像上に仮想物体像を重畳させる。
今後の高臨場感表示として、実世界と仮想物体との融和が望まれる。

特許第３０２２５５８号公報

本発明の実施形態は、実空間と仮想物体との融和性を高めた高臨場感の映像表示装置を提供する。

本発明の実施形態によれば、データ出力部と、第１表示装置と、第２表示装置と、を備えた映像表示装置が提供される。前記データ出力部は、第１映像の情報を含む第１データと、第２映像の情報を含む第２データと、を出力する。前記第１表示装置は、前記第１データに基づく前記第１映像を表示する光透過性の第１表示部を有する。前記第２表示装置は、前記第２データに基づく前記第２映像を表示する第２表示部を有する。前記第２表示部に表示された前記第２映像を前記第１表示部を介して観視者が見ることが可能である。
前記データ出力部は、第１出力動作、及び、第２出力動作の少なくともいずれかを実施する。
前記第１出力動作は、第１表示オブジェクトを含む前記第１映像の情報を含む前記第１データを出力する第１動作と、前記第１動作の後に、前記第１表示オブジェクトに基づく第２表示オブジェクトを含む前記第２映像の情報を含む前記第２データを出力する第２動作と、を含む。前記第２表示オブジェクトの前記第２映像中の位置は、前記観視者から見たときに前記第１表示オブジェクトと重なる位置、または、前記第１表示オブジェクトの移動の延長上の位置である。
前記第２出力動作は、第３表示オブジェクトを含む前記第２映像の情報を含む前記第２データを出力する第３動作と、前記第３動作の後に、前記第３表示オブジェクトに基づく第４表示オブジェクトを含む前記第１映像の情報を含む前記第１データを出力する第４動作と、を含む。前記第４表示オブジェクトの前記第１映像中の位置は、前記観視者から見たときに前記第３表示オブジェクトと重なる位置、または、前記第３表示オブジェクトの移動の延長上の位置である。

第１の実施形態に係る映像表示装置を示す模式図である。 第１の実施形態に係る映像表示装置の一部を示す模式図である。 図３（ａ）及び図３（ｂ）は、第１の実施形態に係る映像表示装置の動作を示すフローチャート図である。 図４（ａ）〜図４（ｈ）は、第１の実施形態に係る映像表示装置の動作を示す模式図である。 図５（ａ）〜図５（ｄ）は、第１の実施形態に係る映像表示装置の別の動作を示す模式図である。 図６（ａ）〜図６（ｄ）は、第１の実施形態に係る映像表示装置の別の動作を示す模式図である。 第１の実施形態に係る映像表示装置の別の動作を示すフローチャート図である。 図８（ａ）〜図８（ｆ）は、第１の実施形態に係る映像表示装置の別の動作を示す模式図である。 第１の実施形態に係る映像表示装置の動作を示すフローチャート図である。 第１の実施形態に係る映像表示装置の動作を示す模式図である。 第１の実施形態に係る映像表示装置の動作を示す模式図である。 図１２（ａ）及び図１２（ｂ）は、映像表示装置の動作を示す模式図である。 図１３（ａ）〜図１３（ｃ）は、第１の実施形態に係る映像表示装置の動作を示す模式図である。 図１４（ａ）及び図１４（ｂ）は、第１の実施形態に係る映像表示装置の動作を示す模式図である。 図１５（ａ）及び図１５（ｂ）は、第１の実施形態に係る映像表示装置の別の動作を示す模式図である。 図１６（ａ）〜図１６（ｅ）は、映像表示装置の特性に関する実験を示す模式図である。 第１の実施形態に係る映像表示装置の別の動作を示す模式図である。 第１の実施形態に係る映像表示装置の構成及び動作を示す模式図である。 第１の実施形態に係る映像表示装置を示す模式図である。

以下に、各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施の形態）
図１は、第１の実施形態に係る映像表示装置の構成を例示する模式図である。
図１に表したように、本実施形態に係る映像表示装置１１０は、データ出力部３０と、第１表示装置１０と、第２表示装置２０と、を備える。第１表示装置１０は、データ出力部３０と、第１通信経路３１により、有線または無線の方式により接続されている。第２表示装置２０は、データ出力部３０と、第２通信経路３２により、有線または無線の方式により接続されている。

データ出力部３０は、第１映像の第１データ１０ｄと、第２映像の第２データ２０ｄと、を出力する。第１データ１０ｄは、データ出力部３０から第１表示装置１０に供給される。第２データ２０ｄは、データ出力部３０から第２表示装置２０に供給される。

第１データ１０ｄ及び第２データ２０ｄは、例えば、データ出力部３０で生成される。また、後述するように、第１データ１０ｄ及び第２データ２０ｄは、データ出力部３０とは別の部分で生成されても良い。このときは、データ出力部３０は、生成された第１データ１０ｄ及び第２データ２０ｄを任意の通信経路を介して入手し、入手した第１データ１０ｄ及び第２データ２０ｄを出力する。

第１表示装置１０は、第１表示部１１を有する。第１表示部１１は、第１データ１０ｄに基づく第１映像を表示する。第１表示部１１は、光透過性である。第１表示装置１０は、例えば、観視者８０が装着可能なヘッドマウント式の表示装置（ＨＭＤ：Head Mounted Display）である。第１表示装置１０は、例えば、使用者（観視者８０）の頭部８０ｈの動きに連動する。

第１表示部１１は、例えば、観視者８０の左目の前に配置可能な左目用表示部１１ａと、観視者８０の右目の前に配置可能な右目用表示部１１ｂと、を有する。第１表示装置１０は、第１表示部１１の他に、観視者８０の頭部に第１表示部１１を保持させることが可能な保持部１３をさらに含む。第１表示部１１は、例えば、メガネのレンズに相当する位置に配置される。保持部１３は、例えば、メガネの耳かけ部に相当する部分である。第１表示装置１０の構成の例については後述する。

第２表示装置２０は、第２表示部２１を有する。第２表示部２１は、第２データ２０ｄに基づく第２映像を表示する。この例では、第２表示装置２０は、第２表示部２１を格納する筐体２３をさらに含む。第２表示部２１に表示される第２映像は、第１表示部１１を介して観視者８０が見ることが可能である。第２表示装置２０は、例えば、観視者８０の頭部８０ｈの動きと連動しない。第２表示装置２０は、例えば据え置き型の表示装置である。または、第２表示装置２０は、観視者８０の頭部８０ｈの動きと連動しない、可搬型の表示装置でも良い。

例えば、データ出力部３０は、有線または無線の通信経路３８ａを介して、入出力部３８と接続されている。入出力部３８は、映像表示装置１１０の外部と、有線または無線の通信経路３８ｂを介して接続されている。外部から通信経路３８ｂ、入出力部３８、及び、通信経路３８ａを介して、表示のための映像データＩｄがデータ出力部３０に供給される。

データ出力部３０は、例えば、映像データＩｄに基づいて、第１データ１０ｄ及び第２データ２０ｄを生成する。そして、データ出力部３０は、生成した第１データ１０ｄ及び第２データ２０ｄを出力する。

この例では、映像表示装置１１０は、第１センサ５０をさらに含む。第１センサ５０は、第１表示装置１０と第２表示装置２０との間の相対的位置と相対的角度とを検出する。第１センサ５０には、例えば、撮像素子（カメラなど）、電磁波出射部及び電磁波検出部の組み合わせ、並びに、音波出射部及び音波検出部の組み合わせなどを用いることができる。

第１センサ５０は、有線または無線の第１センサ通信経路３５により、データ出力部３０に接続される。第１センサ５０で検出した、第１表示装置１０と第２表示装置２０との間の相対的位置及び相対的角度に関する位置姿勢データ３５ｄは、第１センサ通信経路３５を経由して、データ出力部３０に供給される。

この例では、映像表示装置１１０は、音発生部４０をさらに含む。音発生部４０には、例えば、例えばスピーカなどを用いることができる。音発生部４０は、有線または無線の音発生部用通信経路３４を介して、データ出力部３０と接続されている。音発生部４０は、データ出力部３０における動作（後述する第１出力動作及び第２出力動作の少なくともいずれかの動作）の際に音を発生する。音発生部４０は、第１表示装置１０に付設されても良い。音発生部４０は、第２表示装置２０に付設されても良い。

第２表示装置２０には、例えば、液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置または投影型表示装置（例えばプロジェクタ）などを用いることができる。第１センサ５０には、例えば、撮像素子と、撮像素子により撮像された像を画像解析する電子装置と、を含むことができる。データ出力部３０には、コンピュータを用いることができる。このコンピュータは、例えば、ディスプレイコントローラを含むことができる。コンピュータは、ネットワークに接続可能である。コンピュータには、クラウド側コンピュータと接続可能な通信端末を用いることもできる。

図２は、第１の実施形態に係る映像表示装置の一部の構成を例示する模式図である。
図２に表したように、第１表示装置１０は、第１表示部１１の他に、映像生成部１２をさらに含むことができる。この例では、第１表示部１１として、半透過反射板（半透過反射層）が用いられている。映像生成部１２は、例えば、光源１２ｂと、表示素子１２ａと、を含む。表示素子１２ａには、例えば液晶表示素子（光スイッチ）などを用いることができる。光源１２ｂから出射した光は、表示素子１２ａにより変調されて、第１映像１１ｄを生成する。映像生成部１２には、例えば、有機ＥＬ表示素子などのような自発光型の表示素子を用いることができる。この場合には、光源１２ｂは省略できる。映像生成部１２により生成された第１映像１１ｄを含む光１２ｃが第１表示部１１に入射する。光１２ｃは、第１表示部１１で反射して、観視者８０の目８１に入射する。観視者８０は、光１２ｃにより形成される第１映像１１ｄ（例えば虚像）を見る。

実施形態において第１表示装置１０の構成は任意であり、例えば、第１表示部１１が第１映像１１ｄを生成しても良い。

第１表示部１１は光透過性であるため、観視者８０は、第１表示部１１を介して背景の像（背景像ＢＧＩ）を見ることが可能である。背景像ＢＧＩは、例えば、第２表示装置２０の第２表示部２１に表示される第２映像２１ｄである。または、背景像ＢＧＩは、例えば、第１表示装置１０の周囲（観視者８０の周囲）に存在する物体の像（物体像Ｄ７０）である。物体像Ｄ７０は、例えば、鏡などで形成された虚像でも良い。物体像Ｄ７０は、第１表示装置１０の周囲（観視者８０の周囲）に存在する物体の像である。また、物体像Ｄ７０は、第１表示装置１０の周囲に存在する、観視者８０の身体の少なくとも一部の像でも良い。

観視者８０は、第１表示部１１に表示される第１映像１１ｄと、第１表示部１１を介した背景像ＢＧＩ（例えば第２映像２１ｄ及び物体像Ｄ７０の少なくともいずれか）と、を重畳して見ることができる。

図３（ａ）及び図３（ｂ）は、第１の実施形態に係る映像表示装置の動作を例示するフローチャート図である。
これらの図は、後述する第２の実施形態に係る表示方法も例示している。
データ出力部３０は、図３（ａ）に例示した第１出力動作Ｓ１、及び、図３（ｂ）に例示した第２出力動作Ｓ２の少なくともいずれかを実施する。

図３（ａ）に表したように、第１出力動作Ｓ１は、第１動作Ｓ１１０と第２動作Ｓ１２０とを含む。図３（ｂ）に表したように、第２出力動作Ｓ２は、第３動作Ｓ１３０と第４動作Ｓ１４０とを含む。

第１動作Ｓ１１０では、データ出力部３０は、第１映像１１ｄ中に第１表示オブジェクトを表示する第１データ１０ｄを出力する。出力された第１データ１０ｄは、第１表示装置１０に供給される。

データ出力部３０は、第２動作Ｓ１２０を第１動作Ｓ１１０の後に実施する。第２動作Ｓ１２０では、データ出力部３０は、第２映像２１ｄ中の、観視者８０から見たときに第１表示オブジェクトと重なる位置、または、第１表示オブジェクトの移動の延長上の位置に、第１表示オブジェクトに基づく表示オブジェクト（第２表示オブジェクト）を表示する第２データ２０ｄを出力する。出力された第２データ２０ｄは、第２表示装置２０に供給される。

第３動作Ｓ１３０では、データ出力部３０は、第２映像２１ｄ中に第３表示オブジェクトを表示する第２データ２０ｄを出力する。出力された第２データ２０ｄは、第２表示装置２０に供給される。

データ出力部３０は、第４動作Ｓ１４０を第３動作Ｓ１３０の後に実施する。第４動作Ｓ１４０では、データ出力部３０は、第１映像１１ｄ中の、観視者８０からみたときに第３表示オブジェクトと重なる位置、または、第３表示オブジェクトの移動の延長上の位置に、第３表示オブジェクトに基づく表示オブジェクト（第４表示オブジェクト）を表示する第１データ１０ｄを出力する。出力された第１データ１０ｄは、第１表示装置１０に供給される。

以下、まず、第２出力動作Ｓ２の例について説明する。
図４（ａ）〜図４（ｈ）は、第１の実施形態に係る映像表示装置の動作を例示する模式図である。
これらの図は、第２出力動作Ｓ２の例を示している。これらの図は、映画やテレビジョンなどの映像において特定の表示オブジェクトが仮想空間から飛んでくる状況を、実空間から観視者８０が見る、という応用例を示している。この例では、第２表示装置２０の第２表示部２１に、スポーツの映像が、第２映像２１ｄとして表示されている。この第２映像２１ｄのうちで、スポーツで用いられるボールの像が、特定の表示オブジェクトとして用いられる。

図４（ａ）及び図４（ｂ）は、時間ｔが第１時刻ｔ１１であるときの状態を例示している。図４（ｃ）及び図４（ｄ）は、時間ｔが第２時刻ｔ１２であるときの状態を例示している。第２時刻ｔ１２は、第１時刻ｔ１１よりも後の時刻である。図４（ｅ）及び図４（ｆ）は、時間ｔが第３時刻ｔ１３であるときの状態を例示している。第３時刻ｔ１３は、第２時刻ｔ１２よりも後の時刻である。図４（ｇ）及び図４（ｈ）は、時間ｔが第４時刻ｔ１４であるときの状態を例示している。第４時刻ｔ１４は、第３時刻ｔ１３よりも後の時刻である。図４（ａ）、図４（ｃ）及び図４（ｅ）は、観視者８０と第２表示部２１との配置の関係を例示している。図４（ｇ）は、観視者８０の状態を例示している。図４（ｂ）、図４（ｄ）、図４（ｆ）及び図４（ｈ）は、観視者８０が第１表示部１１を介して見る、観視像８０ｄ（第１映像１１ｄ及び背景像ＢＧＩ）を例示している。

例えば、第４（ａ）に表したように、第１時刻ｔ１１において、観視者８０は、第１表示部１１を介して第２表示装置２０の第２表示部２１を見る。第２表示部２１には、第２映像２１ｄが表示されている。第２映像２１ｄのうちで、スポーツで用いられるボールの像が、第３表示オブジェクトＤ２０として用いられる。

この動作は、データ出力部３０によって行われる。すなわち、データ出力部３０は、第２映像２１ｄ中に第３表示オブジェクトＤ２０を表示する第２データ２０ｄを出力する（第３動作Ｓ１３０）。
このとき、第１表示部１１には、第３表示オブジェクトＤ２０（ボール）に関係する像は、表示されていない。

図４（ｂ）に表したように、観視者８０は、観視像８０ｄとして、第２映像２１ｄ（第３表示オブジェクトＤ２０を含む）を知覚する。観視像８０ｄには、背景像ＢＧＩとして、第２表示部２１に表示される第２映像２１ｄが含まれている。

図４（ｃ）に表したように、第２時刻ｔ１２において、ボール（第３表示オブジェクトＤ２０）が、観視者８０に向かって移動する。例えば、第２映像２１ｄ中におけるボール（第３表示オブジェクトＤ２０）のサイズは、第１時刻ｔ１２のときのサイズよりも大きくなる。

図４（ｄ）に表したように、第１表示部１１には、第３表示オブジェクトＤ２０（ボール）に関係する像は表示されていない。観視者８０は、観視像８０ｄとして、第２映像２１ｄ（第３表示オブジェクトＤ２０を含む）を知覚する。

図４（ｅ）に表したように、第３時刻ｔ１３において、ボール（第３表示オブジェクトＤ２０）が、観視者８０に向かってさらに移動する。このとき、第１映像１１ｄ中に第３表示オブジェクトＤ２０に基づく表示オブジェクト（第４表示オブジェクトＤ２５）を表示する。第４表示オブジェクトＤ２５の第１映像１１ｄ中における位置は、第１映像１１ｄ中の、観視者８０からみたときに第３表示オブジェクトＤ２０と重なる位置、または、第３表示オブジェクトＤ２０の移動の延長上の位置である。第４表示オブジェクトＤ２５の形状及び色は、観視者８０から見たときに、第２表示部２１の第２映像２１ｄ中における第３表示オブジェクトＤ２０の形状及び色と実質的に同じになるように設定される。

この動作は、データ出力部３０によって行われる。すなわち、データ出力部３０は、第１映像１１ｄ中の、観視者８０から見たときに第３表示オブジェクトＤ２０と重なる位置、または、第３表示オブジェクトＤ２０の移動の延長上の位置に、第３表示オブジェクトに基づく表示オブジェクト（第４表示オブジェクトＤ２５）を表示する第１データ１０ｄを出力する（第４動作Ｓ１４０）。

これにより、図４（ｆ）に表したように、第１表示部１１には、第４表示オブジェクトＤ２５（ボール）が表示される。観視者８０は、観視像８０ｄとして、第１映像１１ｄ中の第４表示オブジェクトＤ２５を知覚する。観視像８０ｄには、背景像ＢＧＩとして、第２表示部２１に表示される第２映像２１ｄが含まれている。観視者８０は、第２映像２１ｄと共に第４表示オブジェクトＤ２５を知覚する。これにより、例えば、観視者８０は、第４表示オブジェクトＤ２５（ボール）が、第２表示部２１から手前に飛び出したように知覚する。

図４（ｇ）に表したように、第４時刻ｔ１４において、観視者８０は、第２表示部２１に向かう方向とは異なる方向を見る。観視者８０は、第１表示部１１に表示されている第１映像１１ｄ中の第４表示オブジェクトＤ２５を見る。

図４（ｈ）に表したように、観視者８０は、観視像８０ｄとして、第１映像１１ｄ中の第４表示オブジェクトＤ２５を知覚する。このとき、観視像８０ｄの背景には、観視者８０の周囲に存在する物体（例えば室内の壁など）が存在する。観視者８０は、第１表示装置１０の周囲（観視者８０の周囲）に存在する物体像Ｄ７０と共に第４表示オブジェクトＤ２５を知覚する。これにより、観視者８０は、第４表示オブジェクトＤ２５（ボール）が、第２表示部２１から観視者８０の周囲の実空間に向けて飛び出したように知覚する。

例えば、映像表示装置として第１表示装置１０を用いず、第２表示装置２０だけを用いる場合、観視者８０は、図４（ａ）〜図４（ｄ）に例示した表示状態を知覚する。例えば、第２表示部２１に表示される第３表示オブジェクトＤ２０（ボール）の大きさが変化したとき、観視者８０から見て遠方から近傍にボールが移動したように見えるが、第２表示部２１から手前に飛び出してくるようには見えない。例えば、第３表示オブジェクトＤ２０が第２映像２１ｄ内を移動し、第２映像２１ｄの枠（第２表示部２１の枠）の外に出てしまう場合は、第３表示オブジェクトＤ２０は、その枠から外に移動し映像中から消える。

これに対し、本実施形態に係る映像表示装置１１０においては、第１表示装置１０を用い、第１表示部１１の第１映像１１ｄ中に、第３表示オブジェクトＤ２０に基づく第４表示オブジェクトＤ２５（ボール）を表示させる。これにより、図４（ｅ）及び図４（ｆ）に関して説明したように、観視者８０は、仮想空間からシームレスに、実空間中にボール（第３表示オブジェクトＤ２０すなわち、第４表示オブジェクトＤ２５）が飛んで来るように知覚する。さらに、観視者８０が、第２表示部２１に向かう方向から、ボールの飛ぶ方向に向きを変えたとき（図４（ｇ））にも、その映像（ボール）が見える。映像表示装置１１０によれば、観視者８０に対して、驚きのある映像を提供することができる。

例えば、迫力のあるシーンで、一部の像（この例ではボールであり、第４表示オブジェクトＤ２５）を第１映像１１ｄ中に表示することで、その像を、第２映像２１ｄから第１映像１１ｄ中に移動させる。そして、第２表示部２１から飛び出したボール（第４表示オブジェクトＤ２５）は、実空間と重畳して知覚される。これにより、ボールが実空間内に存在しているように知覚される。

実施形態に係る映像表示装置１１０によれば、仮想空間と実空間との間で、仮想物体をシームレスに移動させることができる。これにより、実空間と仮想物体との融和性を高めた高臨場感の映像表示装置が提供できる。

第４動作Ｓ１４０においては、第１映像１１ｄ中に、第３表示オブジェクトＤ２０に基づく表示オブジェクト（第４表示オブジェクトＤ２５）を表示する。この第４動作Ｓ１４０において、第２映像２１ｄ中から第３表示オブジェクトＤ２０を消去しても良い。または、第４動作Ｓ１４０において、第３表示オブジェクトＤ２０のコントラストをそれよりも前の状態（例えば第３動作Ｓ１３０の状態）よりも低くしても良い。これにより、第２映像２１ｄ中において第３表示オブジェクトＤ２０が見え難くなる。
例えば、第４動作Ｓ１４０において、第２映像２１ｄから実質的に第３表示オブジェクトＤ２０を消し、第１映像１１ｄ中に第３表示オブジェクトＤ２０に基づく第４表示オブジェクトＤ２５を表示する。これにより、第３表示オブジェクトＤ２０が、第２映像２１ｄから第１映像１１ｄに移動したように、より自然に知覚される。これにより、実空間と仮想物体との融和性をより高めることができ、臨場感をより高めることができる。

このように、データ出力部３０は、第４動作Ｓ１４０において、第２映像２１ｄ中から第３表示オブジェクトＤ２０を消去する第２データ２０ｄを出力することをさらに実施しても良い。すなわち、データ出力部３０は、第４動作Ｓ１４０において、第３表示オブジェクトＤ２０を含まない第２映像２１ｄの情報を含む第２データ２０ｄを出力することをさらに実施しても良い。また、データ出力部３０は、第４動作Ｓ１４０における第２映像２１ｄ中における第３表示オブジェクトＤ２０の輝度の第３表示オブジェクトＤ２０の周囲の輝度に対する比を、第３動作Ｓ１３０における第３表示オブジェクトＤ２０の輝度の第３表示オブジェクトＤ２０の周囲の輝度に対する比よりも低くした第２映像２１ｄの情報を含む第２データ２０ｄを出力することをさらに実施しても良い。

この例では、第３動作Ｓ１３０における第３表示オブジェクトＤ２０の第２映像２１ｄ内における動きに応じて、第４動作Ｓ１４０が実施される。すなわち、第３表示オブジェクトＤ２０の動きをトリガにして、第４動作Ｓ１４０が開始される。例えば、第３動作Ｓ１３０において、観視者８０から見たときに第３表示オブジェクトＤ２０が第２映像２１ｄの奥から手前に向かって移動するように表示されるときに、第４動作Ｓ１４０を実施する。例えば、第３動作Ｓ１３０において、観視者８０から見たときに第３表示オブジェクトＤ２０が第２映像２１ｄの手前から奥に向かって移動するように表示されるときには、第４動作Ｓ１４０は実施しない。このように、特定の状態の第３表示オブジェクトＤ２０が表示されたときに、第４動作Ｓ１４０を実施し、第３表示オブジェクトＤ２０が第２映像２１ｄから第１映像１１ｄに移動したように見えるように第４表示オブジェクトＤ２５を表示する。これにより、観視者８０に臨場感をより与えることができる。

例えば、データ出力部３０は、第３動作Ｓ１３０における第３表示オブジェクトＤ２０の第２映像２１ｄ内における動きが予め定められた条件のときに、第４動作Ｓ１４０を実施する。予め定められた条件は、例えば、第３表示オブジェクトＤ２０の大きさが時間の経過と伴に大きくなる状態を含む。予め定められた条件は、第３表示オブジェクトＤ２０の大きさが時間の経過と伴に連続的に変化する状態を含む。これにより、例えば、観視者８０から見たときに、第３表示オブジェクトＤ２０が観視者８０に向かって移動しているように知覚される状態のときに、その第３表示オブジェクトＤ２０が、第２映像２１ｄから第１映像１１ｄに移動したように見える。

図５（ａ）〜図５（ｄ）は、第１の実施形態に係る映像表示装置の別の動作を例示する模式図である。
これらの図は、第２出力動作Ｓ２の別の例を示している。これらの図は、第２表示装置２０がデジタルサイネージとして用いられる例である。第２表示装置２０は、例えば、公共の場所に設置されている。この例では、いくつかの商品を含む映像が、第２表示装置２０の第２表示部２１に、第２映像２１ｄとして表示されている。この第２映像２１ｄの中に表示されている商品の像が、第３表示オブジェクトＤ２０として用いられる。

図５（ａ）及び図５（ｂ）は、時間ｔが第１時刻ｔ２１であるときの状態を例示している。図５（ｃ）及び図５（ｄ）は、時間ｔが第２時刻ｔ２２であるときの状態を例示している。第２時刻ｔ２２は、第１時刻ｔ２１よりも後の時刻である。図５（ａ）及び図５（ｃ）は、観視者８０と第２表示部２１との配置の関係を例示している。図５（ｂ）及び図５（ｄ）は、観視者８０が第１表示部１１を介してして見る、観視像８０ｄ（第１映像１１ｄ及び背景像ＢＧＩ）を例示している。

例えば、図５（ａ）に表したように、第１時刻ｔ２１において、観視者８０は、第１表示部１１を介して第２表示装置２０の第２表示部２１を見る。第２表示部２１には、第２映像２１ｄが表示される。第２映像２１ｄ中には、商品の像である、第３表示オブジェクトＤ２０が表示されている（第３動作Ｓ１３０）。

このとき、図５（ｂ）に表したように、観視者８０は、観視像８０ｄとして、第２映像２１ｄ（第３表示オブジェクトＤ２０を含む）を知覚する。観視像８０ｄには、背景像ＢＧＩとして、第２表示部２１に表示される第２映像２１ｄが含まれている。

この状態で、観視者８０は、観視者８０の手（身体８２）を第２表示部２１に近づける。これにより、データ出力部３０は、以下の第４動作Ｓ１４０を実施する。

図５（ｃ）に表したように、第２時刻ｔ２２において、第１映像１１ｄ中に、商品の像（第３表示オブジェクトＤ２０）に基づく像（第４表示オブジェクトＤ２５）を表示する（第４動作Ｓ１４０）。第４表示オブジェクトＤ２５の第１映像１１ｄ中における位置は、例えば、第１映像１１ｄ中の、観視者８０から見たときに第３表示オブジェクトＤ２０と重なる位置である。第４表示オブジェクトＤ２５の形状及び色は、観視者８０から見たときに、第２表示部２１の第２映像２１ｄ中における第３表示オブジェクトＤ２０の形状及び色と実質的に同じになるように設定される。

この例では、デジタルサイネージを表示する第２表示部２１に表示されている仮想物体（商品）を、ユーザ（観視者８０）が手にとって見た状態が形成される。実施形態によれば、実空間と仮想物体との融和性を高めた高臨場感の映像表示装置が提供できる。

なお、この場合においても、第４動作Ｓ１４０において、第２映像２１ｄ中から第３表示オブジェクトＤ２０を消去する、または、第３表示オブジェクトＤ２０のコントラストを第３動作Ｓ１３０の状態よりも低くする。これにより、臨場感がより高まる。

この例では、観視者８０が手（身体８２）を動かしたときに、第４動作Ｓ１４０が実施される。なお、このように、観視者８０が、観視者８０の身体８２（手、脚、胴及び頭など任意の部位）を動かすことで、映像表示装置１１０を操作することができる。このように、観視者８０による操作は、観視者８０の身体８２を動かすことを含む。この例では、データ出力部３０は、観視者８０による操作に基づいて、第４動作Ｓ１４０を実施する。これにより、観視者８０の意図に応じた第３表示オブジェクトＤ２０（例えば商品の像）を観視者８０は、第２映像２１ｄから第１映像１１ｄに取り入れることができる。そして、その像のデータを第４表示オブジェクトＤ２５のデータとして、例えば任意の記憶部に格納しても良い。格納されたデータは、任意のときに取り出して、任意の表示装置で表示しても良い。

以下、第１出力動作Ｓ１の例について説明する。
図６（ａ）〜図６（ｄ）は、第１の実施形態に係る映像表示装置の別の動作を例示する模式図である。
これらの図は、第１出力動作Ｓ１の例を示している。図６（ａ）及び図６（ｂ）は、時間ｔが第１時刻ｔ３１であるときの状態を例示している。図６（ｃ）及び図６（ｄ）は、時間ｔが第２時刻ｔ３２であるときの状態を例示している。第２時刻ｔ３２は、第１時刻ｔ３１よりも後の時刻である。図６（ａ）及び図６（ｃ）は、観視者８０と第２表示部２１との配置の関係を例示している。図６（ｂ）及び図６（ｄ）は、観視者８０が第１表示部１１を介してして見る、観視像８０ｄ（第１映像１１ｄ及び背景像ＢＧＩ）を例示している。

例えば、図６（ａ）及び図６（ｂ）に表したように、第１時刻ｔ３１において、第１映像１１ｄ中に第１表示オブジェクトＤ１０が表示される（第１動作Ｓ１１０）。第１表示オブジェクトＤ１０は、例えば、観視者８０から見たときに、観視者８０の手（身体８２）の上に第１表示オブジェクトＤ１０が載せられているように表示される。第１表示オブジェクトＤ１０は、任意の表示パターンであり、例えば、美術品の像である。

例えば、図６（ｃ）及び図６（ｄ）に表したように、第１動作Ｓ１１０の後の第２時刻ｔ３２において、観視者８０が、手（身体８２）を第２表示部２１に向けて動かす。これにより、第２表示部２１の第２映像２１ｄ中に、第１表示オブジェクトＤ１０に基づく像（第２表示オブジェクトＤ１５）を表示する（第２動作Ｓ１２０）。第２表示オブジェクトＤ１５の第２映像２１ｄ内における位置は、例えば、観視者８０から見たときに第１表示オブジェクトＤ１０と重なる位置である。または、第２表示オブジェクトＤ１５の第２映像２１ｄ内における位置は、観視者８０から見たときに、第１表示オブジェクトＤ１０の移動の延長上の位置である。

例えば、美術品の像である第１表示オブジェクトＤ１０に基づく第２表示オブジェクトＤ１５を、観視者８０の自宅の像を表示している第２映像２１ｄ中に表示する。これにより、観視者８０は、美術品を自宅中に置いたときの像を仮想空間として知覚できる。

第２表示オブジェクトＤ１５の形状及び色は、例えば、観視者８０から見たときに、第１表示部１１の第１映像１１ｄ中における第１表示オブジェクトＤ１０の形状及び色と実質的に同じになるように設定される。

観視者８０が、第２映像２１ｄ中に表示された第２表示オブジェクトＤ１５を見ることで、第１映像１１ｄ中の第１表示オブジェクトＤ１０を、第１映像１１ｄから第２映像２１ｄ中に移動させたように観視者８０は知覚できる。

このとき、データ出力部３０は、第２動作Ｓ１２０において、第１映像１１ｄ中から第１表示オブジェクトＤ１０を消去する第１データ１０ｄを出力することをさらに実施しても良い。すなわち、データ出力部３０は、第２動作Ｓ１２０において、第１表示オブジェクトＤ１０を含まない第１映像１１ｄの情報を含む第１データ１０ｄを出力することをさらに実施しても良い。また、データ出力部３０は、第２動作Ｓ１２０における第１映像１１ｄ中における第１表示オブジェクトＤ１０の輝度の、第１表示オブジェクトＤ１０の周囲の輝度に対する比を、第１動作Ｓ１１０における第１表示オブジェクトＤ１０の輝度の、第１表示オブジェクトＤ１０の周囲の輝度に対する比よりも低くした第１映像１１ｄの情報を含む第１データ１０ｄを出力することをさらに実施しても良い。すなわち、第２動作Ｓ１２０における第１表示オブジェクトＤ１０のコントラストをそれよりも前の状態（例えば第１動作Ｓ１１０の状態）よりも低くする。これにより、観視者８０は、第２動作Ｓ１２０において、第１表示オブジェクトＤ１０が実質的に消えたように知覚する。これにより、実空間と仮想物体との融和性をより高めることができ、臨場感をより高めることができる。

この例では、例えば、観視者８０が、手（身体８２）を第２表示部２１に向けて動かすことで、第２動作Ｓ１２０が開始される。すなわち、データ出力部３０は、観視者８０による操作に基づいて第２動作Ｓ１２０を実施する。

また、データ出力部３０は、第１動作Ｓ１１０における第１表示オブジェクトＤ１０の第１映像１１ｄ内における動きが予め定められた条件のときに第２動作Ｓ１２０を実施しても良い。例えば、第１表示オブジェクトＤ１０として、動物の成長する姿を描いた像を表示する場合、その動物が一定の状態に成長したときに、その動物の像が第２映像２１ｄ中に飛び込むように見せることもできる。例えば、蝶のさなぎが第１映像１１ｄ中に表示され、さなぎから成虫の蝶が生まれたときに、その蝶を第２映像２１ｄ中に移動させても良い。

図６（ａ）及び図６（ｂ）に関して説明した第１動作Ｓ１１０において、データ出力部３０は、観視者８０が第１表示部１１を介して物体像Ｄ７０を見たときの物体像Ｄ７０の位置を基準として第１映像１１ｄ中に第１表示オブジェクトＤ１０を表示する第１映像１１ｄの情報を含む第１データ１０ｄを出力することができる。すなわち、例えば、第１表示オブジェクトＤ１０は、観視者８０から見たときに、観視者８０の手（身体８２）の上に第１表示オブジェクトＤ１０が載せられているように表示される。これにより、実空間と仮想物体との融和性画より高まり、臨場感がより高まる。

第１動作Ｓ１１０において、観視者８０が第１表示部１１を介して物体像Ｄ７０（手など）を見たときの物体像Ｄ７０の位置は、例えば、後述する第２センサなどにより求められる。

上記の第１出力動作Ｓ１及び第２出力動作Ｓ２を、同時に行っても良い。また、第１出力動作Ｓ１の後に、第２出力動作Ｓ２を実施しても良い。また、第２出力動作Ｓ２の後に第１出力動作Ｓ１を実施しても良い。また、第１出力動作Ｓ１を複数回繰り返して実施しても良い。また、第２出力動作Ｓ２を複数回繰り返して実施しても良い。

図７は、第１の実施形態に係る映像表示装置の別の動作を例示するフローチャート図である。
図７は、後述する第２の実施形態に係る表示方法も例示している。
図７に表したように、データ出力部３０は、第２出力動作Ｓ２の第４動作Ｓ１４０において、第４表示オブジェクト表示動作Ｓ１４０ａと、配置動作Ｓ１４０ｂと、を実施する。

第４表示オブジェクト表示動作Ｓ１４０ａにおいては、第４表示オブジェクトＤ２５を第１映像１１ｄ内に表示する。このとき、第４表示オブジェクトＤ２５の第１映像１１ｄ内の位置は、観視者８０から見たときに第３表示オブジェクトＤ２０と重なる位置、または、第３表示オブジェクトＤ２０の移動の延長上の位置である。

配置動作Ｓ１４０ｂにおいては、第４表示オブジェクトＤ２５を第１映像１１ｄ中の所定の位置に配置する。配置動作Ｓ１４０ｂは、例えば、第４表示オブジェクト表示動作Ｓ１４０ａの後に実施される。または、後述するように、配置動作Ｓ１４０ｂは、例えば、第４表示オブジェクト表示動作Ｓ１４０ａの際に同時に実施される。配置動作Ｓ１４０ｂにおいては、データ出力部３０は、観視者８０が第１表示部１１を介して物体像Ｄ７０を見たときの物体像Ｄ７０の位置を基準として、第１映像１１ｄに第４表示オブジェクトＤ２５を表示する第１映像１１ｄの情報を含む第１データ１０ｄを出力する。

配置動作Ｓ１４０ｂの例について説明する。以下の例では、第４表示オブジェクトＤ２５を一度表示した後（第４表示オブジェクト表示動作Ｓ１４０ａの後）に、配置動作Ｓ１４０ｂが実施される。

図８（ａ）〜図８（ｆ）は、第１の実施形態に係る映像表示装置の別の動作を例示する模式図である。
図８（ａ）〜図８（ｄ）は、それぞれ、図５（ａ）〜図５（ｄ）と同じである。図８（ｅ）及び図８（ｆ）は、時間ｔが第３時刻ｔ２３であるときの状態を例示している。第３時刻ｔ２３は、第２時刻ｔ２２よりも後の時刻である。図８（ｅ）は、観視者８０の周囲の状況を例示している。図８（ｆ）は、観視者８０が第１表示部１１を介してして見る、観視像８０ｄ（第１映像１１ｄ及び背景像ＢＧＩ）を例示している。

例えば、図８（ａ）に表したように、第１時刻ｔ２１において、第２表示部２１の第２映像２１ｄ中に第３表示オブジェクトＤ２０が表示される（第３動作Ｓ１３０）。第２映像２１ｄは、例えば、デジタルサイネージの像である。第３表示オブジェクトＤ２０は、商品の像である。

図８（ｃ）に表したように、観視者８０は、デジタルサイネージの中から好みの商品に手（身体８２）を近づける。その商品の第３表示オブジェクトＤ２０に基づく第４表示オブジェクトＤ２５が、第１表示部１１に表示される。これにより、商品の像が、デジタルサイネージから観視者８０の第１表示装置１０に移動する（第４動作Ｓ１４０の第４表示オブジェクト表示動作Ｓ１４０ａ）。

このとき、例えば、デジタルサイネージは、移動された像に付設されたＩＤデータ、像を移動した時刻、及び、像が移動された先の第１表示装置１０に付設されているＩＤデータなどを記録することができる。このようなデータを記録することで、その商品を購買する可能性が高い客（観視者８０）に関するデータを入手できる。

第１表示部１１に表示された第４表示オブジェクトＤ２５に関するデータを、例えば、第１表示装置１０内に設けられた記憶部１０ｍｐに格納できる。または、このデータを、第１表示装置１０に接続された任意の記憶装置に転送して、この記憶装置に格納できる。

図８（ｅ）に表したように、観視者８０は自宅において、格納したデータに基づいて、第１表示部１１に第４表示オブジェクトＤ２５を表示させる（配置動作Ｓ１４０ｂ）。このとき、観視者８０の周囲には、机などの物体７０が存在する。観視者８０は、第１表示部１１を介して、物体７０の像（物体像Ｄ７０）を見る。第４表示オブジェクトＤ２５は、観視者８０が第１表示部１１を介して物体像Ｄ７０を見たときの物体像Ｄ７０の位置を基準として、第１映像１１ｄ中に表示される。

図８（ｆ）に表したように、例えば、物体７０が机であるときに、観視者８０から見たときに、第４表示オブジェクトＤ２５が机（物体７０）の上に配置されるように、第４表示オブジェクトＤ２５が表示される。観視者８０は、第４表示オブジェクトＤ２５と物体像Ｄ７０とを重畳して見ることで、第４表示オブジェクトＤ２５をより実際に近い状態で見ることができる。

観視者８０が、その商品（第４表示オブジェクトＤ２５の像に対応する物体）を気にいれば、購入手続きを行う。そして、その商品は、自宅に配達される。

この例では、ユーザが手を伸ばすことで、デジタルサイネージの第２映像２１ｄうちの仮想物体（第４表示オブジェクトＤ２５）を取って、別の位置に移動させることが可能である。例えば、ユーザは、街角のディスプレイから商品を仮想的に自宅に持って帰り、自宅の家具等と重畳させて見ることができる。気に入れば購入し、その後で商品を受け取ることなどが可能となる。

このように、本実施形態に係る映像表示装置１１０によれば、実空間と仮想物体との融和性を高めた高臨場感の映像表示装置を提供できる。本実施形態によれば、例えば、ユーザは、３次元の仮想空間から、仮想物体を表示上シームレスに実空間に取り出すことができる。そして、仮想物体をユーザの動きと共に移動させることができる。また、ユーザが、実空間に重畳された仮想物体を、表示上シームレスに仮想空間に持ち込むことができる。

なお、拡張現実感提示技術の例として、実空間に仮想物体を重畳させる技術がある。また、実空間をカメラで取り込んで、カメラで取り込んだ像を仮想空間とした上で、その仮想空間に所望の仮想物体を重畳させる技術がある。これらの技術においては、実空間と仮想空間との間で仮想物体が移動するようには知覚されない。

一方、複数の光透過型の２次元のディスプレイを重ねて、ディスプレイのそれぞれに２次元像を表示するＤＦＤ（Depth Fused Display）においては、ディスプレイ間の空間に立体像を定位させる。この技術においても、実空間と仮想空間との間で仮想物体が移動するようには知覚されない。

また、例えば、実物体をカメラで取り込み、固定プロジェクタによって投射された仮想空間内で、実物体を他の情報とリンクさせる技術がある。また、ユーザが、手で仮想物体を別の端末ディスプレイ等に移動するアプリケーションがある。しかしながら、仮想物体の移動はプロジェクタの映像空間から端末ディスプレイへの移動であり、仮想物体は、実空間の物体とは重畳されない。

さらに、例えば、複数のディスプレイ間で表示物を移動させるインタフェースとして、コンピュータにおけるマルチウィンドウ機能がある。マルチウィンドウ機能においては、仮想物体が１つの画面から別の画面に移動する。マルチウィンドウ機能においては、画面内の仮想空間内での仮想物体の移動が行われる。このため、仮想空間と実空間との間で仮想物体が移動するようには知覚されない。

これに対して、本実施形態に係る映像表示装置１１０においては、第１表示装置１０として、ユーザに合わせて移動可能で、かつ実空間と仮想空間とを重畳可能な表示装置が用いられる。例えば、第１表示装置１０として、透過型のＨＭＤが用いられる。このような第１表示装置１０と第２表示装置２０とを組み合わせて用い、第１表示装置１０の表示部１１を介して第２表示装置２０の第２表示部２１を見る。これにより、仮想物体を仮想空間から実空間に飛び出させるような映像効果を提供することができる。また、本実施形態においては、第１表示装置１０で表示した仮想物体を、実空間から仮想空間（第２映像２１ｄ中）に移動させる効果を提供することができる。

このように、実施形態に係る映像表示装置１１０においては、仮想物体を実空間と仮想空間との間でシームレスに移動させて知覚させることができる。

なお、超広視野ビデオシースルーＨＭＤ、及び、Automatic Virtual Environmentなどのような没入型ディスプレイと、実空間を撮像する撮像素子と、を組み合わせた構成を用い、仮想的な据え置き型ディスプレイを表示する構成が考えられる。これらの場合には、大規模な装置が必要であり、広い設置スペースが必要であるため、実用は困難である。

実施形態において、例えば、第２動作Ｓ１２０における第２表示オブジェクトＤ１５、及び、第４動作Ｓ１４０における第４表示オブジェクトＤ２５は、第１センサ５０により検出された、第１表示装置１０と第２表示装置２０との間の相対的位置と相対的角度に基づいて生成される。例えば、第２表示オブジェクトＤ１５が、第１映像１１ｄ中の第１表示オブジェクトＤ１０と連続していると知覚されるように、第２表示オブジェクトＤ１５が生成される。例えば、第４表示オブジェクトＤ２５が、第２映像２１ｄ中の第３表示オブジェクトＤ２０と連続していると知覚されるように、第４表示オブジェクトＤ２５が生成される。これにより、仮想物体が、第１映像１１ｄと第２映像２１ｄとの間を移動するように知覚できる。

また、第２動作Ｓ１２０及び第４動作Ｓ１４０の少なくともいずれかは、仮想物体の動き、及び、ユーザによる所定の操作の少なくともいずれかに基づいて実施される。これにより、第１映像１１ｄと第２映像２１ｄとの間の仮想物体の移動の違和感を小さくできる。

図９は、第１の実施形態に係る映像表示装置の動作を例示するフローチャート図である。
図９は、第２出力動作Ｓ２の例を示している。
図１０及び図１１は、第１の実施形態に係る映像表示装置の動作を例示する模式図である。
図９に表したように、データ出力部３０において、映像データＩｄが受信され、受信された映像データＩｄがデコードされる（ステップＳ３１０）。データ出力部３０において、デコードされた映像が、移動可能な映像を含む場面かどうかが判定される（ステップＳ３２０）。移動可能な映像が無い場合は、第２表示装置２０で、その映像をそのまま表示する（ステップＳ３２１）。ステップＳ３２１は、例えば、第３動作Ｓ１３０に相当する。

移動可能な映像がある場合、データ出力部３０に第１表示装置１０が接続されているかどうかが判定される（ステップＳ３３０）。このとき、データ出力部３０に第１センサ５０が接続されているかどうかをさらに判定しても良い。例えば、データ出力部３０に接続されている周辺機器は、データ出力部３０に適用されているオペレーションシステムにより、自動的に認識される。接続されていない場合には、第２表示装置２０で、その映像をそのまま表示する（ステップＳ３２１）。

接続されている場合は、第１表示装置１０と第２表示装置２０との間で表示オブジェクトが移動可能であるとの認識フラグを立てる。
さらに、第１センサ５０で、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度を検出し、データ出力部３０は、相対的位置及び相対的角度に関する情報を入手する（ステップＳ３４０)。データ出力部３０は、この情報に基づいて、例えば、第１表示部１１で表示する第４表示オブジェクトＤ２５を生成する（ステップＳ３４１）。第１表示部１１における第４表示オブジェクトＤ２５の位置と大きさは、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度に応じて決定される。

さらに、データ出力部３０においては、相対的位置及び相対的角度に関する情報に基づいて、第１表示装置１０と第２表示装置２０との間で仮想物体の像の移動条件が、予め定められた条件を満足するかどうかを判定する（ステップＳ３５０）。

図１０に表したように、第１表示装置１０の第１視体積１０ｖと、第２表示装置２０の第２視体積２０ｖと、が互いに重なる領域が存在する。例えば、観視者８０が第１表示部１１を介して第２表示部２１を見たとき、第１表示部１１の表示領域１１ｒと、第２表示部２１の表示領域２１ｒと、が互いに重なる領域１５ｒが存在する。重なる領域１５ｒは、例えば、第１表示装置１０の中心１０ｃから見たときの第１視体積１０ｖと第２視体積２０ｖとが互いに重なる領域に相当する。重なる領域１５ｒ内に仮想物体（第３表示オブジェクトＤ２０）が存在するときに、その仮想物体は、移動可能な表示オブジェクトＤｍ２０となる。例えば、仮想物体の像を第１表示装置１０と第２表示装置２０との間で移動させるのは、その仮想物体が画枠と干渉しないときが望ましい。上記のように、重なる領域１５ｒ内に仮想物体が存在する場合に、仮想物体を移動させる処理（例えば第４動作Ｓ１４０）を実施することが好ましい。

図１１に表したように、観視者８０から見たときに、第１表示部１１の表示領域１１ｒと、第２表示部２１の表示領域２１ｒと、が互いに重なる領域１５ｒが小さい場合がある。また、表示領域１１ｒと表示領域２１ｒとが互いに重ならない場合もある。さらに、仮想物体が画枠に接触する場合もある。このような場合においても、仮想物体の予測位置が画枠に接触せず、第１表示部１１の第１視体積１０ｖに入ったときに、第１表示部１１にその像を表示しても良い。このとき、オブジェクトの非表示領域１６を設けても良い。非表示領域１６においては、第３表示オブジェクトＤ２０及び第４表示オブジェクトＤ２５は表示されない。

図９に例示したステップＳ３５０において、移動条件が、予め定められた条件を満足しない場合は、第２表示装置２０で、その映像をそのまま表示する（ステップＳ３２１）。

仮想物体の像の移動条件が、予め定められた条件を満足する場合には、第１表示部１１に第４表示オブジェクトＤ２５を表示する（ステップＳ３６０）。そして、例えば、第３表示オブジェクトＤ２０を消去、または、第３表示オブジェクトＤ２０のコントラストを低下させた第２映像２１ｄを、第２表示部２１に表示する。

このような動作により、第３動作Ｓ１３０及び第４動作Ｓ１４０が実施される。また、ステップＳ３１０〜Ｓ３６０において、第１表示部１１に関する動作と、第２表示部２１に関する動作と、を互いに入れ替えることで、第１動作Ｓ１１０及び第２動作Ｓ１２０の動作が実施できる。

なお、上記のステップＳ３４１における第４表示オブジェクトＤ２５（または第２表示オブジェクトＤ１５）を、データ出力部３０に接続されたクラウド側コンピュータで生成することもできる。この場合は、第１センサ５０により検出された、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度に関する情報が、ネットワークを介してクラウド側コンピュータに供給され、クラウド側コンピュータでその情報に基づいて第４表示オブジェクトＤ２５（または第２表示オブジェクトＤ１５）に関するデータを生成する。そのデータが、データ出力部３０に供給される。

図１２（ａ）及び図１２（ｂ）は、第１の実施形態に係る映像表示装置の動作を例示する模式図である。
図１２（ａ）及び図１２（ｂ）に表したように、本実施形態に係る映像表示装置１１０において用いられる映像データＩｄは、例えば、メイントラックＭＴと、複数のサブトラック（例えば第１サブトラックＳＴ１及び第２サブトラックＳＴ２など）と、を含む。例えば、メイントラックＭＴは、第１シーンメインＳＣ１Ｍ及び第２シーンメインＳＣ２Ｍなどを含む。第１サブトラックＳＴ１は、例えば第１シーンＳＣ１の移動オブジェクトＭＯを含む。第２サブトラックＳＴ２は、例えば、第１シーンメインＳＣ１Ｍを含む。特定の時間ｔにおいて、シーンチェンジＳＣＣが行われる。シーンチェンジＳＣＣの後に、メイントラックＭＴの第２シーンメインＳＣ２Ｍ、第１サブトラックＳＴ１の移動オブジェクトＭＯ、及び、第２サブトラックＳＴ２の第１シーンメインＳＣ１Ｍが開始される。このように、映像データＩｄの中には、第１映像１１ｄ及び第２映像２１ｄとの間を移動可能な仮想物体の映像領域（移動オブジェクトＭＯ）が含まれている。

図１２（ａ）は、第１表示装置１０を使わず、第２表示装置２０で映像データＩｄを表示する場合の例である。例えば、実際のビデオ映像等においては、主ターゲットがディスプレイからフレームアウトする前に、シーンが切り変わる。第２表示装置２０で映像データＩｄを表示する際には、シーンチェンジＳＣＣの前において、メイントラックＭＴの第１シーンメインＳＣ１Ｍと、第１サブトラックＳＴ１の第１シーンＳＣ１と、が表示される。そして、シーンチェンジＳＣＣの後には、第２シーンメインＳＣ２Ｍが表示され、第１サブトラックＳＴ１の移動オブジェクトＭＯ、及び、第２サブトラックＳＴ２の第１シーンメインＳＣ１Ｍは、表示されない。

図１２（ｂ）は、第１表示装置１０及び第２表示装置２０により映像データＩｄを表示する例を示している。図１２（ｂ）は、第２表示装置２０の第２映像２１ｄから、第１表示装置１０の第１映像１１ｄに移動オブジェクトＭＯが移動する例である。このときは、最初の段階では、第２表示装置２０により、メイントラックＭＴの第１シーンメインＳＣ１Ｍと、第１サブトラックＳＴ１の第１シーンＳＣ１と、が表示される。そして、像の移動ＩＭが始まると、第１表示装置１０により、第１サブトラックＳＴ１の移動オブジェクトＭＯの表示が行われる。このとき、第２表示装置２０においては、メイントラックＭＴの第２シーンメインＳＣ２Ｍは表示されず、第２サブトラックＳＴ２の第１シーンメインＳＣ１Ｍが表示される。この後で、移動オブジェクトＭＯの表示が終了したときに、シーンチェンジＳＣＣが行われる。シーンチェンジＳＣＣの後では、例えば、第２表示装置２０により、第２シーンメインＳＣ２Ｍが表示される。このように、像を移動させる場合には、例えば、第２表示装置２０により「第１シーン」を一定の期間表示し、第１表示装置１０により第１シーンの移動オブジェクトＭＯを表示することで、シームレスな像の移動が実施できる。これにより違和感を小さくした表示を行うことができる。

第１表示装置１０で表示する移動オブジェクトＭＯ（第４表示オブジェクトＤ２５）は、第１表示装置１０の位置及び角度に応じて生成される。このために、例えば、データ出力部３０に供給される映像データＩｄには、多視点映像に関するデータを有するサブトラックが設けられる。このサブトラックに用いられるデータは、例えば、第１表示装置１０の位置（観視者８０の視点に対応する）に応じた映像を作ることで生成される。または、映像のデータセットをクラウド側コンピュータに設けておき、データ出力部３０から第１表示装置１０の位置、角度及び画角等の情報をクラウド側コンピュータに供給し、クラウド側コンピュータで移動オブジェクトＭＯに関するデータを生成しても良い。そのデータをデータ出力部３０で入手して、第１表示装置１０でそのデータに基づく映像を表示する。なお、映像データＩｄの伝送にはＭＶＣ（Multi View Codec）のような符号化方式を使うことができる。本実施形態においては、像（例えば第４表示オブジェクトＤ２５及び第２表示オブジェクトＤ１５の少なくともいずれか）の生成方法は、任意である。

実施形態においては、特定のシーン（場面）において、特定のオブジェクト（移動オブジェクトＭＯ）を、第２表示装置２０と第１表示装置１０との間で移動したように知覚させる。これにより、例えば、より迫力のある演出効果を提供できる。

図１３（ａ）〜図１３（ｃ）は、第１の実施形態に係る映像表示装置の動作を例示する模式図である。
これらの図は、映像データＩｄの作成方法の例を示している。
図１３（ａ）に表したように、撮像空間８５において、例えば、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の撮像空間座標系８５ｘを設定する。Ｙ軸方向はＸ軸方向に対して垂直である。Ｚ軸方向は、Ｘ軸方向及びＹ軸方向に対して垂直である。撮像空間８５において、複数の撮像装置８６を用いて、目的とする像を撮像する。複数の撮像装置８６のそれぞれの位置及び角度（姿勢）に関する情報が取得される。この位置及び角度（姿勢）に関する情報は、撮像空間座標系８５ｘと関連付けられている。この位置及び角度（姿勢）に関する情報から、撮像空間座標系８５ｘにおける移動オブジェクトＭＯの位置が求められる。

図１３（ｂ）に表したように、第２映像２１ｄ内に第２映像座標系２１ｘが設定される。第２映像座標系２１ｘは、撮像空間座標系８５ｘと関連付けられる。例えば、撮像空間座標系８５ｘが、第２表示装置２０における第２映像座標系２１ｘに投影変換される。これにより、撮像空間座標系８５ｘと第２映像座標系２１ｘとの関係が定まる。

図１３（ｃ）に表したように、第１表示装置１０の相対的位置及び相対的角度（姿勢）が、第２映像座標系２１ｘを用いて表される。

上記の、撮像空間座標系８５ｘにおける移動オブジェクトＭＯの位置、撮像空間座標系８５ｘと第２映像座標系２１ｘと関係、及び、第２映像座標系２１ｘを用いて表された第１表示装置１０の相対的位置及び相対的角度（姿勢）により、第１表示装置１０（第１表示部１１）を介してみたときの移動オブジェクトＭＯの位置が求められる。求められた移動オブジェクトＭＯの位置を用いて、移動オブジェクトＭＯ（例えば第４表示オブジェクトＤ２５）を第１映像１１ｄ内に投影変換する。

このように、サブトラック中のいくつかの視点映像から、第１表示装置１０の位置に応じた映像が生成される。この際、第１表示装置１０で表示する移動オブジェクトＭＯ（例えば第４表示オブジェクトＤ２５）においては、第２表示装置２０の第２映像２１ｄと、同期を取る。例えば、第１映像１１ｄは、第１表示装置１０の相対的位置及び相対的角度に関する情報を入手後、予め生成する（例えばステップＳ３４１）。そして、移動オブジェクトＭＯに関する像の移動の条件が満たされるときに（例えばステップＳ３５０）、第１表示部１１及び第２表示部２１に対応する映像をそれぞれで表示する（例えばステップＳ３６０）。

上記の座標の変換の方法は、例えば、第１表示装置１０と第２表示装置２０との関係を入れ替えることで、第２表示部２１で第２表示オブジェクトＤ１５を表示する処理に適用できる。

上記の動作は、例えば、表示する映像（コンテンツ）が２次元の動画の場合に適用できる。ただし、実施形態はこれに限らない。表示するコンテンツが、３次元の動画の場合も、上記と同様の動作が実施される。なお、３次元情報を有するコンテンツを表示する場合は、映像データＩｄを取得する際の撮像空間８５に相当する座標値がわかっている。このため、移動オブジェクトＭＯの投影変換が容易に実施できる。このため、第４表示オブジェクトＤ２５及び第２表示オブジェクトＤ１５の生成が容易である。

実施形態において、仮想物体（第３表示オブジェクトＤ２０）の予測位置が、第１表示部１１の第１視体積１０ｖに入ったときに、第４動作Ｓ１４０を実施する。このとき、第４動作Ｓ１４０においては、第１映像１１ｄ中の、観視者８０から見たときに第３表示オブジェクトＤ２０の移動の延長上の位置に、第４表示オブジェクトＤ２５を表示する。

また、仮想物体（第１表示オブジェクトＤ１０）の予測位置が、第２表示部２１の第２視体積２０ｖに入ったときに、第２動作Ｓ１２０を実施する。このとき、第２動作Ｓ１２０においては、第２映像２１ｄ中の、観視者８０から見たときに第１表示オブジェクトＤ１０の移動の延長上の位置に、第２表示オブジェクトＤ１５を表示する。

また、第４動作Ｓ１４０においては、例えば、第４表示オブジェクトＤ２５の時間的な変化（例えば色、形状及びサイズなどの時間的な変化）が、第３表示オブジェクトＤ２０の時間的な変化と連続する。第２動作Ｓ１２０においては、例えば、第２表示オブジェクトＤ１５の時間的な変化（例えば色、形状及びサイズなどの時間的な変化）が、第１表示オブジェクトＤ１０の時間的な変化と連続する。

すなわち、データ出力部３０は、第２出力動作Ｓ２においては、第４動作Ｓ１４０における第４表示オブジェクトＤ２５が、第３動作Ｓ１３０における第２映像２１ｄ中の第３表示オブジェクトＤ２０の変化と連続するように、第４動作Ｓ１４０における第１データ１０ｄを出力する。第３動作Ｓ１３０における第２映像２１ｄ中の第３表示オブジェクトＤ２０の変化は、例えば、第３表示オブジェクトＤ２０の時間的な変化である。

同様に、データ出力部３０は、第１出力動作Ｓ１においては、第２動作Ｓ１２０における第２表示オブジェクトＤ１５が、第１動作Ｓ１１０における第１映像１１ｄ中の第１表示オブジェクトＤ１０の変化と連続するように、第２動作Ｓ１２０における第２データ２０ｄを出力する。第１動作Ｓ１１０における第１映像１１ｄ中の第１表示オブジェクトＤ１０の変化は、例えば、第１表示オブジェクトＤ１０の時間的な変化である。

これにより、第１表示装置１０と第２表示装置２０との間での仮想物体の移動の際に、仮想物体の色、形状、大きさ、位置及び運動方向の違和感が抑制できる。

図１４（ａ）及び図１４（ｂ）は、第１の実施形態に係る映像表示装置の動作を例示する模式図である。
これらの図は、第４動作Ｓ１４０の、第４表示オブジェクト表示動作Ｓ１４０ａ及び配置動作Ｓ１４０ｂを例示している。
図１４（ａ）は、時間ｔが第１時刻ｔ４１であるときの状態を例示している。図１４（ｂ）は、時間ｔが第２時刻ｔ４２であるときに状態を例示している。第２時刻ｔ４２は、第１時刻ｔ４２よりも後の時刻である。

例えば、図１４（ａ）に表したように、第２表示部２１の第２映像２１ｄ中に第３表示オブジェクトＤ２０（例えば商品の像）が表示されている状態（第３動作Ｓ１３０）において、観視者８０による操作に基づいて、第３表示オブジェクトＤ２０に基づく第４表示オブジェクトＤ２５が、第１表示部１１に表示される（第４動作Ｓ１４０の第４表示オブジェクト表示動作Ｓ１４０ａ）。例えば、第２表示部２１に表示されている仮想物体を、第２表示部２１からユーザの手の上に移動させる。このとき、第４表示オブジェクトＤ２５に関するデータを記憶しても良い。

その後、図１４（ｂ）に表したように、第４表示オブジェクトＤ２５に関するデータに基づいて、第４表示オブジェクトＤ２５を表示する（配置動作Ｓ１４０ｂ）。観視者８０から見たときに、第４表示オブジェクトＤ２５が机（物体７０）の上に配置されるように、第４表示オブジェクトＤ２５は第１映像１１ｄ内に配置される。例えば、図１４（ａ）に例示した状態から、第４表示オブジェクトＤ２５を表示し続けて、図１４（ｂ）の状態に移行しても良い。

図１４（ａ）に例示した第４表示オブジェクト表示動作Ｓ１４０ａにおいて、ユーザ（観視者８０）の手（身体８２）に向かって仮想物体（第４表示オブジェクトＤ２５）が動く。第４表示オブジェクト表示動作Ｓ１４０ａの際に、観視者８０の身体８２の物体像Ｄ７０の位置に基づいて、第４表示オブジェクトＤ２５の第１映像１１ｄ内の位置を定めても良い。すなわち、第４表示オブジェクト表示動作Ｓ１４０ａと配置動作Ｓ１４０ｂとを同時に実施しても良い。これにより、仮想物体は、第２表示部２１からユーザの手の上に、違和感無く移動するように知覚される。

なお、ユーザの手（身体８２）の３次元空間内の位置は、例えば、第１センサ５０により検出される。または、第１センサ５０とは別に、第２センサ６０を設け、この第２センサ６０により、ユーザの手（身体８２）の３次元空間内の位置を検出しても良い。

すなわち、映像表示装置１１０は、第２センサ６０をさらに備えることができる。第２センサ６０は、第１表示装置１０の周囲に存在する物体像Ｄ７０を検出する。物体像Ｄ７０は、例えば、観視者８０の身体８２の少なくとも一部の像を含む。物体像Ｄ７０は、例えば、第１表示装置１０の周囲（観視者８０の周囲）に存在する物体７０（例えば机など）の像を含む。

第４表示オブジェクトＤ２５を第１表示部１１に表示する動作（第４動作Ｓ１４０）において、データ出力部３０は、配置動作Ｓ１４０ｂを実施することができる。配置動作Ｓ１４０ｂにおいては、データ出力部３０は、観視者８０が第１表示部１１を介して第２センサ６０が検出した物体像Ｄ７０を見たときの物体像Ｄ７０の位置を基準として第１映像１１ｄ中に第４表示オブジェクトＤ２５を表示する第１映像１１ｄの情報を含む第１データ１０ｄを出力する。

第２センサ６０は、例えば、第１表示装置１０に付設される。第２センサ６０には、例えば、撮像素子を用いることができる。これにより、空間内における物体像Ｄ７０（例えば手など）の位置が定まり、仮想物体の移動パスが定まる。例えば、第２表示部２１を基準としたＸＹＺ座標系を定め、この座標系を用いて手の位置を定める。手の位置の情報を用いて、例えば、映像のコンテンツが３次元情報を持っている場合と同様の処理を行うことで、所望の位置（例えば手の位置）に第４表示オブジェクトＤ２５を配置することができる。

図１４（ｂ）に表したように、観視者８０は、格納したデータに基づいて、第１表示部１１に第４表示オブジェクトＤ２５を表示させる（配置動作Ｓ１４０ｂ）。すなわち、第１表示部２１に表示された仮想物体の像を、インタラクティブに、実空間中の所定位置に配置する。このように、実空間中の所定位置へ第４表示オブジェクトＤ２５を配置する際には、仮想物体はユーザと共に移動する。このため、ユーザと共に動く座標系を用いて、仮想物体の位置と、移動先の位置と、を表す。この例では、第２センサ６０により、移動先の実物体の位置及び姿勢を検出する。第２センサ６０を用いることで、ユーザから見たときに、ユーザの手、及び、実空間中の実物体の位置及び姿勢が検出できる。

例えば、図１４（ａ）に例示したように、第１センサ５０によりユーザの位置が検出できる時には、第２表示装置２０、第１表示装置１０（ユーザ）、及び、仮想物体（第４表示オブジェクトＤ２５）が、第１センサ５０の検出結果に基づく同一の座標系で表現される。

例えば、図１４（ｂ）に表したように、第１センサ５０で第１表示装置１０（ユーザ）を検出できない状態においては、第１表示装置１０に付設される第２センサ６０により、ユーザの位置を基準とした座標系で仮想物体が表現される。

本実施形態に係る映像表示装置１１０において、第１出力動作Ｓ１及び第２出力動作Ｓ２により、第１表示部１１と第２表示部２１との間での仮想物体の移動が行われる。この移動が自然に知覚されるように、上記の動作を実施する。例えば、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度の誤差及び時間遅れ（検出誤差）、第１表示装置１０と第２表示装置２０とにおける表示パラメータの差異（パラメータ差）、並びに、第１表示部１１が透過させる背景像による見難さ（視覚的ノイズ）などにより、仮想物体の移動が不自然に知覚される。

例えば、上記の検出誤差は、例えば、ユーザ（観視者８０）の頭部の動きが激しい場合に大きくなる。例えば、検出誤差は、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度の変化が大きい場合に、大きくなる。

例えば、データ出力部３０は、第１センサ５０により検出された相対的位置の変化量が予め定められた値以下であり、第１センサ５０により検出された相対的角度の変化量が予め定められた値以下のときに、第１出力動作Ｓ１及び第２出力動作Ｓ２の少なくともいずれかを実施する。データ出力部３０は、相対的位置の変化量が予め定められた値を超える、または、相対的角度の変化量が予め定められた値を超えるときには、第１出力動作Ｓ１及び第２出力動作Ｓ２を実施しない。相対的位置の変化量は、例えば、予め定められた時間内における相対的位置の変化量である。相対的角度の変化量は、例えば、予め定められた時間内における相対的角度の変化量である。

例えば、第１センサ５０の検出結果から判断される、第１表示装置１０と第２表示装置２０との相対的位置及び姿勢の変化量が所定の値以下のときに、仮想物体の移動を実施し、所定の値を超える場合には、実施しない。
このような動作により、検出誤差に起因した不自然さが抑制できる。

また、仮想物体の移動時に、移動する感覚を与えることで、移動時の違和感を抑制し、不自然さを抑制することもできる。例えば、映像表示装置１１０に音発生部４０を設ける。データ出力部３０における第１出力動作Ｓ１及び第２出力動作Ｓ２の少なくともいずれかの動作の際に、音発生部４０により音を発生する。音発生部４０により、仮想物体の移動時に効果音を発生させる。これにより、例えば、検出誤差に起因した不自然さが抑制できる。

また、第４動作Ｓ１４０において、第２映像２１ｄ中の像の空間周波数を低下させても良い。これにより、第２表示部２１に、例えば、煙状の映像効果が付与される。

図１５（ａ）及び図１５（ｂ）は、第１の実施形態に係る映像表示装置の別の動作を例示する模式図である。
これらの図は、第４動作Ｓ１４０の例を示している。
図１５（ａ）は、第１表示部１１（観視者８０）と第２表示部２１との配置の関係を例示している。図１５（ｂ）は、観視者８０が第１表示部１１を介してして見る、観視像８０ｄ（第１映像１１ｄ及び背景像ＢＧＩ）を例示している。

図１５（ａ）及び図１５（ｂ）に表したように、第４動作Ｓ１４０において、第２映像２１ｄ中に、低空間周波数ノイズ画像Ｄ２２をテクスチャとして加える。低空間周波数ノイズ画像Ｄ２２は、例えば、第２映像２１ｄ中における第３表示オブジェクトＤ２０に重なる位置、または、第３表示オブジェクトＤ２０の周囲の位置に表示される。これにより、仮想物体の移動時の違和感が抑制される。

このような低空間周波数ノイズ画像Ｄ２２は、第２動作Ｓ１２０において設けても良い。これにより、例えば、検出誤差に起因した不自然さが抑制できる。

第１表示装置１０と第２表示装置２０とにおける表示パラメータの差異（パラメータ差）が大きいことがある。表示パラメータは、例えば、色、輝度、解像度、画面の縦横比、及び、視距離などを含む。例えば、第１表示装置１０と第２表示装置２０とで、色、輝度、解像度、画面の縦横比、視距離が大きく異なる場合がある。

例えば、色、輝度及び寸法などについて変換式を予め作っておき、仮想物体を移動する際にこの変換式を用いる。これにより、違和感が抑制できる。

例えば、第２表示装置２０における色のＲＧＢ値を（ｒ０，ｇ０、ｂ０）とし、第１表示装置１０における色のＲＧＢ値を（ｒ１，ｇ１，ｂ１）とする。色に関する特性を線形とすると、第１式の変換式により、（ｒ０，ｇ０、ｂ０）が表現できる。

この変換式を用いて、ピクセルごとの色を決める。

例えば、データ出力部３０は、第１出力動作Ｓ１においては、第１動作Ｓ１１０における第１表示オブジェクトＤ１０の色及び輝度を予め定められた方法によって変換して、第２動作Ｓ１２０の第２データ２０ｄの出力における第２表示オブジェクトＤ１５の色及び輝度を定めることができる。

また、データ出力部３０は、第２出力動作Ｓ２においては、第３動作Ｓ１３０における第３表示オブジェクトＤ２０の色及び輝度を予め定められた方法によって変換して、第４動作Ｓ１４０の第１データ１０ｄの出力における第４表示オブジェクトＤ２５の色及び輝度を定めることができる。
これにより、パラメータ差に起因した不自然さを抑制できる。

例えば、第１表示部１１に仮想物体の像が表示されているときに、第１表示部１１の背景の第２表示部２１の第２映像２１ｄに輝度が高い像が表示されていると、背景像が透けて知覚される。これにより、視覚的ノイズが発生し、仮想物体の像を飛び出させてもリアリティが低下する場合がある。

図１６（ａ）〜図１６（ｅ）は、映像表示装置の特性に関する実験を示す模式図である。
図１６（ｅ）は、実験条件を例示する模式図である。図１６（ａ）〜図１６（ｄ）は、実験結果を示す写真像でさる。
図１６（ｅ）に表したように、被験者８７ｅの前に、ハーフミラー８７ｄを配置する。ハーフミラー８７ｄに、ディスプレイ８７ｃから出射した光を入射させる。ハーフミラー８７ｄに入射した光は被験者８７ｅに入射する。所定の位置に、ディスプレイ８７ｃから出射した光による像が形成される。この例では、ディスプレイ８７ｃによりチェッカパターンを表示させる。これにより、被験者８７ｅの前に、チェッカ像８７ａが形成される。チェッカ像８７ａは、例えば、第１表示部１１による第１映像１１ｄに相当する。チェッカ像８７ａと被験者８７ｅとの間に、サンプル実物体８７ｂを配置する。サンプル実物体８７ｂは、例えば、第２表示部２１による第２映像２１ｄに相当する。この実験では、サンプル実物体８７ｂは、６つの領域（第１領域Ｒａ１〜第６領域Ｒａ６）を有している。第１領域Ｒａ１〜第６領域Ｒａ６の輝度は、それぞれ、０．４ｃｄｍ^２、１．４ｃｄｍ^２、２．１ｃｄｍ^２、４．７ｃｄｍ^２、８．４ｃｄｍ^２、及び、１３．５ｃｄｍ^２である。そして、チェッカ像８７ａにおける白部分の輝度を、０．９５ｃｄｍ^２、２．１４ｃｄｍ^２、１０．５６ｃｄｍ^２、及び、２６．１ｃｄｍ^２としたときの、チェッカ像８７ａ及びサンプル実物体８７ｂの見え方が評価される。

図１６（ａ）〜図１６（ｄ）は、チェッカ像８７ａにおける白部分の輝度が、それぞれ０．９５ｃｄｍ^２、２．１４ｃｄｍ^２、１０．５６ｃｄｍ^２、及び、２６．１ｃｄｍ^２のときの写真像である。
これらの図からわかるように、光透過型ディスプレイにおいて、像及び背景の視認性は、像の輝度と背景の輝度との差に依存する。背景の明るさが像の明るさより高いと、像は透き通って、背景が視認される。背景の明るさが像の明るさ以下のときは、背景は視認され難い。

第２動作Ｓ１２０において、第１映像１１ｄの輝度の低下を実施し、第４動作Ｓ１４０において、第２映像２１ｄの輝度の低下を実施することで、視覚的ノイズの発生を抑制することができる。

また、背景像が目立つか否かは、仮想物体の像の空間周波数、及び、背景を像と考えた場合の空間周波数と、関係する。

例えば、第２出力動作Ｓ２の第４動作Ｓ１４０においては、第１映像１１ｄの輝度の上昇、及び、第２映像２１ｄの輝度の低下の少なくともいずれかを実施し、輝度差を拡大する。また、第２映像２１ｄの表示空間周波数の低下をさせ、画像が不明確になる状態とする。これにより、第４動作Ｓ１４０における第２映像２１ｄの表示を目立たなくできる。

さらに、第２映像２１ｄの背景色の透過度に基づいて、第１映像１１ｄにおける色を変更することで、視覚的ノイズの発生を抑制することができる。

例えば、データ出力部３０は、第４動作Ｓ１４０において、第３動作Ｓ１３０における第２映像２１ｄに対して、第２映像２１ｄの輝度の低下、及び、第２映像２１ｄ中の像の少なくとも一部の空間周波数の低下の少なくともいずれかを実施した第２映像２１ｄの情報を含む第２データ２０ｄを出力することができる。これにより、第４動作Ｓ１４０において、第２映像２１ｄが第１表示部１１を介して知覚されることに起因する視覚的ノイズの発生を抑制できる。

また、データ出力部３０は、第２動作Ｓ１２０において、第１動作Ｓ１１０における第１映像１１ｄに対して、第１映像１１ｄの輝度の低下、及び、第１映像１１ｄ中の像の少なくとも一部の空間周波数の低下の少なくともいずれかを実施した第１映像１１ｄの情報を含む第１データ１０ｄを出力することができる。これにより、第２動作Ｓ１２０において、第１映像１１ｄが知覚されることに起因する視覚的ノイズの発生を抑制できる。

図１７は、第１の実施形態に係る映像表示装置の別の動作を例示する模式図である。
図１７に表したように、第２映像２１ｄの一部の輝度を低下させる。第２映像２１ｄ中の輝度を低下させた部分Ｄｒ２０は、観視者８０から見て、第４表示オブジェクトＤ２５が第２映像２１ｄに投影される部分である。すなわち、ユーザの視点からの仮想物体の、第２表示部２１への投影部分（部分Ｄｒ２０）の輝度を、他の部分よりも下げる。これにより、第２映像２１ｄを観視者８０に認識させ難くできる。

図１８は、第１の実施形態に係る映像表示装置の構成及び動作を例示する模式図である。
図１８に表したように、本実施形態に係る別の映像表示装置１２０は、データ出力部３０、第１表示装置１０及び第２表示装置２０に加え、プロジェクタ４２をさらに備える。プロジェクタ４２は、データ出力部３０に接続される。プロジェクタ４２は、観視者８０が第１表示部１１を介して見たときの背景のうちで、第４表示オブジェクトＤ２５と重なる領域ＲＬの輝度よりも、第４表示オブジェクトＤ２５と重ならない領域ＲＨの輝度を高くする。

すなわち、プロジェクタ４２により、仮想物体の像に対応する実空間の箇所（領域ＲＬ）の輝度を、それ以外の箇所（領域ＲＨ）よりも下げる。これにより、視覚的ノイズの発生を抑制できる。

図１９は、第１の実施形態に係る映像表示装置の別の構成を例示する模式図である。
図１９に表したように、本実施形態に係る映像表示装置１３０においては、第１表示装置１０は、第１表示部１１及び映像生成部１２（表示素子１２ａ）に加え、遮蔽部１４ｂをさらに含む。この例では、第１表示装置１０は、凹面鏡１４ａをさらに含む。

第１表示部１１には、半透過反射板（半透過反射層）、すなわち、ハーフミラーが用いられる。映像生成部１２から出射した光は、凹面鏡１４ａで反射し、像が拡大される。凹面鏡１４ａで反射した光は、第１表示部１１で反射して観視者８０の目８１に入射する。観視者８０は、第１表示部１１で反射する光に基づく像（第１映像１１ｄ）を見る。観視者８０から見たときに、第１映像１１ｄのうちの一部が、遮蔽部１４ｂに重なる。例えば、遮蔽部１４ｂは、外部から第１表示部１１を介して観視者８０の目８１に入射する光を遮蔽する。例えば、第２表示部２１の第２映像２１ｄの少なくとも一部が、遮蔽部１４ｂにより遮蔽される。遮蔽する領域は、例えば、観視者８０から見て、第４表示オブジェクトＤ２５と重なる領域を含む。これにより、視覚的ノイズの発生を抑制できる。遮蔽部１４ｂの光透過率を変化させても良い。

第１表示装置１０には、例えば光透過型のＨＭＤを用いることができるが、実施形態は、これに限らない。例えば、第１表示装置１０として、光透過型のタブレット型ディスプレイ、または、ビデオシースルー型のタブレットディスプレイを用いても良い。この場合にも、仮想物体を実空間と仮想空間との間で移動させる表現が提供できる。

（第２の実施形態）
第２の実施形態は、表示方法に係る。本実施形態に係る表示方法は、例えば、図３（ａ）、図３（ｂ）及び図７に関して説明した処理を含む。

この表示方法においては、第１映像１１ｄを表示する光透過性の第１表示部１１を有する第１表示装置１０に第１映像１１ｄの第１データ１０ｄを供給し、第２映像２１ｄを表示する第２表示部２１を有する第２表示装置２０に第２映像２１ｄの第２データ２０ｄを供給する。第２表示部２１に表示された第２映像２１ｄは、第１表示部１１を介して観視者が見ることが可能である。

本表示方法においては、第１出力動作Ｓ１及び第２出力動作Ｓ２の少なくともいずれかを実施する。
第１出力動作Ｓ１は、第１動作Ｓ１１０及び第２動作Ｓ１２０を含む。第１動作Ｓ１１０では、第１映像１１ｄ中に第１表示オブジェクトＤ１０を表示する第１データ１０ｄを供給する。第２動作Ｓ１２０では、第１動作Ｓ１１０の後に、第２映像２１ｄ中の、観視者８０から見たときに第１表示オブジェクトＤ１０と重なる位置、または、第１表示オブジェクトＤ１０の移動の延長上の位置に第１表示オブジェクトＤ１０に基づく表示オブジェクト（第２表示オブジェクトＤ１５）を表示する第２データ２０ｄを供給する。

第２出力動作Ｓ２は、第３動作Ｓ１３０及び第４動作Ｓ１４０を含む。第３動作Ｓ１３０では、第２映像２１ｄ中に第３表示オブジェクトＤ２０を表示する第２データ２０ｄを供給する。第４動作Ｓ１４０では、第３動作Ｓ１３０の後に、第１映像１１ｄ中の、観視者８０から見たときに第３表示オブジェクトＤ２０と重なる位置、または、第３表示オブジェクトＤ２０の移動の延長上の位置に第３表示オブジェクトＤ２０に基づく表示オブジェクト（第４表示オブジェクトＤ２５）を表示する第１データ１０ｄを供給する。

本実施形態によれば、実空間と仮想物体との融和性を高めた高臨場感の映像を提供できる表示方法が提供できる。

実施形態においては、光透過型の第１表示部１１を有する第１表示装置１０と、第２表示部２１を有する第２表示装置２０と、データ出力部３０と、位置及び姿勢センサ（第１センサ５０）と、が設けられる。第１センサ５０は、第１表示装置１０と第２表示装置２０との間の相対的位置と相対的角度とを検出する。データ出力部３０は、映像データを供給する。第２表示部２１または第１表示部１１の一方に表示された仮想物体の像が、仮想物体の動き、または、ユーザによる操作に基づいて、それぞれ互いに異なるディスプレイ上の像に移動するように、第２表示部２１及び第１表示部１１の映像が作成される。

実施形態においては、ユーザの手または足、および、ユーザの周囲の実物体の位置・姿勢を把握する実空間センサ（第２センサ６０）がさらに設けられる。第１表示装置１０で表示した仮想物体を、ユーザによる操作、または、仮想物体の状況に基づいて、実空間内の所定位置に存在するように第１表示装置１０の表示を制御する。

映像移動は、位置及び姿勢センサから判断される、第１表示装置１０と第２表示装置２０との相対的位置及び相対的角度（姿勢）の変化量が、所定の値以下である場合に実施する。

移動する仮想物体の見た目の表示色及び輝度が実質的に同じになるように、色情報の変換方法が予め規定される。映像切り替え制御時には、第１表示装置１０と第２表示装置２０との間で移動する仮想物体の大きさ、実空間内の位置、運動方向に矛盾を生じないようにする。

実施形態によれば、実空間と仮想物体との融和性を高めた高臨場感の映像表示装置が提供される。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、映像表示装置に含まれる、第１表示装置、第１表示部、第２表示装置、第２表示部、データ出力部、第１センサ及び第２センサなどの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した映像表示装置を基にして、当業者が適宜設計変更して実施し得る全ての映像表示装置も、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…第１表示装置、 １０ｃ…中心、 １０ｄ…第１データ、 １０ｍｐ…記憶部、 １０ｖ…第１視体積、 １１…第１表示部、 １１ａ…左目用表示部、 １１ｂ…右目用表示部、 １１ｄ…第１映像、 １１ｒ…表示領域、 １２…映像生成部、 １２ａ…表示素子、 １２ｂ…光源、 １２ｃ…光、 １３…保持部、 １４ａ…凹面鏡、 １４ｂ…遮蔽部、 １５ｒ…領域、 １６…被表示領域、 ２０…第２表示装置、 ２０ｄ…第２データ、 ２０ｖ…視体積、 ２１…第２表示部、 ２１ｄ…第２映像、 ２１ｒ…表示領域、 ２１ｘ…第２映像座標系、 ２３…筐体、 ３０…データ出力部、 ３１…第１通信経路、 ３２…第２通信経路、 ３４…音発生部用通信経路、 ３５…第１センサ通信経路、 ３５ｄ…位置姿勢データ、 ３８…入出力部、 ３８ａ、３８ｂ…通信経路、 ４０…音発生部、 ４２…プロジェクタ、 ５０…第１センサ、 ６０…第２センサ、 ７０…物体、 ８０…観視者、 ８０ｄ…観視像、 ８０ｈ…頭部、 ８１…目、 ８２…身体、 ８５…撮像空間、 ８５ｘ…撮像空間座標系、 ８６…撮像装置、 ８７ａ…チェッカ像、 ８７ｂ…サンプル実物体、 ８７ｃ…ディスプレイ、 ８７ｄ…ハーフミラー、 ８７ｅ…被験者、 １１０、１２０、１３０…映像表示装置、 ＢＧＩ…背景像、 Ｄ１０…第１表示オブジェクト、 Ｄ１５…第２表示オブジェクト、 Ｄ２０…第３表示オブジェクト、 Ｄ２２…低空間周波数ノイズ画像、 Ｄ２５…第４表示オブジェクト、 Ｄ７０…物体像、 Ｄｍ２０…表示オブジェクト、 Ｄｒ２０…部分、 ＩＭ…移動、 Ｉｄ…映像データ、 ＭＯ…移動オブジェクト、 ＭＴ…メイントラック、 ＲＨ、ＲＬ…領域、 Ｒａ１〜Ｒａ６…第１〜第６領域、 Ｓ１…第１出力動作、 Ｓ１１０〜Ｓ１４０…第１〜第４動作、 Ｓ１４０ａ…第４表示オブジェクト表示動作、 Ｓ１４０ｂ…配置動作、 Ｓ２…第２出力動作、 Ｓ３１０〜Ｓ３６０…ステップ、 ＳＣ１…第１シーン、 ＳＣ１Ｍ…第１シーンメイン、 ＳＣ２Ｍ…第２シーンメイン、 ＳＣＣ…シーンチェンジ、 ＳＴ１…第１サブトラック、 ＳＴ２…第２サブトラック、 ｔ…時間、 ｔ１１〜ｔ１４…第１〜第４時刻、 ｔ２１〜ｔ２３…第１〜第３時刻、 ｔ３１、ｔ３２…第１及び第２時刻、 ｔ４１、ｔ４２…第１及び第２時刻

Claims (13)

1. 第１映像の情報を含む第１データと、第２映像の情報を含む第２データと、を出力するデータ出力部と、
   前記第１データに基づく前記第１映像を表示する光透過性の第１表示部を有する第１表示装置と、
   前記第２データに基づく前記第２映像を表示する第２表示部を有し、前記第２表示部に表示された前記第２映像を前記第１表示部を介して観視者が見ることが可能である第２表示装置と、
   を備え、
   前記データ出力部は、
   第１表示オブジェクトを含む前記第１映像の情報を含む前記第１データを出力する第１動作と、
   前記第１動作の後に、前記第１表示オブジェクトに基づく第２表示オブジェクトを含む前記第２映像の情報を含む前記第２データを出力する第２動作であって、前記第２表示オブジェクトの前記第２映像中の位置は、前記観視者から見たときに前記第１表示オブジェクトと重なる位置、または、前記第１表示オブジェクトの移動の延長上の位置である、第２動作と、
   を含む第１出力動作、及び、
   第３表示オブジェクトを含む前記第２映像の情報を含む前記第２データを出力する第３動作と、
   前記第３動作の後に、前記第３表示オブジェクトに基づく第４表示オブジェクトを含む前記第１映像の情報を含む前記第１データを出力する第４動作であって、前記第４表示オブジェクトの前記第１映像中の位置は、前記観視者から見たときに前記第３表示オブジェクトと重なる位置、または、前記第３表示オブジェクトの移動の延長上の位置である、第４動作と、
   を含む第２出力動作、
   の少なくともいずれかを実施する映像表示装置。
2. 前記データ出力部は、
   前記第２動作において、前記第１表示オブジェクトを含まない前記第１映像の情報を含む前記第１データを出力することをさらに実施し、
   前記第４動作において、前記第３表示オブジェクトを含まない前記第２映像の情報を含む前記第２データを出力することをさらに実施する請求項１記載の映像表示装置。
3. 前記データ出力部は、
   前記第２動作における前記第１映像中における前記第１表示オブジェクトの輝度の前記第１表示オブジェクトの周囲の輝度に対する比を、前記第１動作における前記第１表示オブジェクトの輝度の前記第１表示オブジェクトの周囲の輝度に対する比よりも低くした前記第１映像の情報を含む前記第１データを出力することをさらに実施し、
   前記第４動作における前記第２映像中における前記第３表示オブジェクトの輝度の前記第３表示オブジェクトの周囲の輝度に対する比を、前記第３動作における前記第３表示オブジェクトの輝度の前記第３表示オブジェクトの周囲の輝度に対する比よりも低くした前記第２映像の情報を含む前記第２データを出力することをさらに実施する請求項１記載の映像表示装置。
4. 前記データ出力部は、
   前記第２動作において、前記第１動作における前記第１映像に対して、前記第１映像の輝度の低下、及び、前記第１映像中の像の少なくとも一部の空間周波数の低下の少なくともいずれかを実施した前記第１映像の情報を含む前記第１データを出力し、
   前記第４動作において、前記第３動作における前記第２映像に対して、前記第２映像の輝度の低下、及び、前記第２映像中の像の少なくとも一部の空間周波数の低下の少なくともいずれかを実施した前記第２映像の情報を含む前記第２データを出力する請求項１〜３のいずれか１つに記載の映像表示装置。
5. 前記第１表示装置と前記第２表示装置との間の相対的位置と相対的角度とを検出する第１センサをさらに備え、
   前記データ出力部は、前記第１センサにより検出された前記相対的位置及び前記相対的角度に基づいて、前記第２動作及び前記第４動作を実施する請求項１〜４のいずれか１つに記載の映像表示装置。
6. 前記データ出力部は、前記第１センサにより検出された前記相対的位置の変化量が予め定められた値以下であり、前記第１センサにより検出された前記相対的角度の変化量が予め定められた値以下のときに前記第１出力動作及び前記第２出力動作の前記少なくともいずれかを実施する請求項５記載の映像表示装置。
7. 前記データ出力部は、前記観視者による操作に基づいて前記第２動作及び前記第４動作の少なくともいずれかを実施する請求項１〜６のいずれか１つに記載の映像表示装置。
8. 前記データ出力部は、
   前記第１動作における前記第１表示オブジェクトの前記第１映像内における動きが予め定められた条件のときに前記第２動作を実施し、
   前記第３動作における前記第３表示オブジェクトの前記第２映像内における動きが予め定められた条件のときに前記第４動作を実施する請求項１〜７のいずれか１つに記載の映像表示装置。
9. 前記第１表示装置の周囲に存在する物体像を検出する第２センサをさらに備え、
   前記データ出力部は、前記第４動作において、前記観視者が前記第１表示部を介して前記第２センサが検出した前記物体像を見たときの前記物体像の位置を基準として前記第１映像中に前記第４表示オブジェクトを表示する前記第１映像の情報を含む前記第１データを出力する請求項１〜８のいずれか１つに記載の映像表示装置。
10. 前記第１表示装置の周囲に存在する物体像を検出する第２センサをさらに備え、
    前記データ出力部は、前記第１動作において、前記観視者が前記第１表示部を介して前記第２センサが検出した前記物体像を見たときの前記物体像の位置を基準として前記第１映像中に前記第１表示オブジェクトを表示する前記第１映像の情報を含む前記第１データを出力する請求項１〜８のいずれか１つに記載の映像表示装置。
11. 前記データ出力部は、
    前記第１出力動作においては、前記第２動作における前記第２表示オブジェクトが、前記第１動作における前記第１映像中の前記第１表示オブジェクトの変化と連続するように、前記第２動作における前記第２データを出力し、
    前記第２出力動作においては、前記第４動作における前記第４表示オブジェクトが、前記第３動作における前記第２映像中の前記第３表示オブジェクトの変化と連続するように、前記第４動作における前記第１データを出力する請求項１〜１０のいずれか１つに記載の映像表示装置。
12. 前記データ出力部は、
    前記第１出力動作においては、前記第１動作における前記第１表示オブジェクトの色及び輝度を予め定められた方法によって変換して、前記第２動作における前記第２表示オブジェクトの色及び輝度を定め、
    前記第２出力動作においては、前記第３動作における前記第３表示オブジェクトの色及び輝度を予め定められた方法によって変換して、前記第４動作における前記第４表示オブジェクトの色及び輝度を定める請求項１〜１１のいずれか１つに記載の映像表示装置。
13. 前記データ出力部における前記第１出力動作及び前記第２出力動作の前記少なくともいずれかの動作の際に音を発生する音発生部をさらに備えた請求項１〜１２のいずれか１つに記載の映像表示装置。