JP2021026260A - 表示装置、表示方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】表示装置において、指示体の動きを認識できる対象物関連画像を容易に判別できる技術を提供する。【解決手段】表示装置は、表示部と、前記外景を撮像するカメラと、指示体認識部と、対象物認識部と、前記対象物認識部が認識した前記対象物に関連する前記画像である対象物関連画像を、前記表示部に表示する表示制御部と、を備え、前記表示制御部は、さらに、前記指示体認識部によって前記対象物関連画像と重なった範囲内における前記指示体の動きが認識されることで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示部と、前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理部と、を有する。【選択図】図４

Description

本開示は、外景に重畳して画像を表示する技術に関する。

従来、外景に重畳して画像を表示デバイスに表示させる技術において、表示されたオブジェクトを操作者が手で指し示すと、オブジェクトに関する情報が表示デバイス上に表示される技術が知られている（特許文献１）。

特開２０１８−２８９２２号公報

従来の技術において、操作者の手の動きは、画像センサーによって取り込まれた画像を用いて認識される。この場合において、画像センサーの検出範囲外に操作者の手が存在する場合には、操作者の手が画像センサーによって認識されない。これにより、操作者がオブジェクトを指し示しているにも拘わらず、オブジェクトに関する情報が表示されない場合が生じ得る。このような課題は、操作者の手の動きを認識してオブジェクトに関する情報を表示する技術に限られず、指示体の動きを認識して対象物関連画像に関する情報を表示する技術に共通する。

本開示の一形態によれば、表示装置が提供される。この表示装置は、外景を透過し外景に重畳して視認できるように画像を表示する表示部と、前記外景を撮像するカメラと、前記カメラによって撮像された少なくとも２枚の撮像画像を用いて指示体の動きを認識する指示体認識部と、前記撮像画像を用いて前記外景中の対象物を認識する対象物認識部と、前記対象物認識部が認識した前記対象物に関連する前記画像である対象物関連画像を、前記表示部に表示する表示制御部と、を備え、前記表示制御部は、さらに、前記指示体認識部によって前記対象物関連画像と重なった範囲内における前記指示体の動きが認識されることで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示部と、前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理部と、を有する。

第１実施形態における表示装置を示す図。 第１実施形態における頭部装着型表示装置の機能ブロック図。 頭部装着型表示装置が実行する表示処理のフローチャート。 ステップＳ４０の詳細を示すフローチャート。 対象物関連画像と、表示部を透過して視認される外景とを示す図。 関連情報を説明するための図。 対象物関連画像と、表示部を透過して視認される外景とを示す第２の図。 表示状態の変更についての第１の他の実施形態を説明するための図。 表示状態の変更についての第２の他の実施形態を説明するための図。 対象物関連画像の表示方法を説明するための図。

Ａ．第１実施形態：
図１は、第１実施形態における表示装置５００を示す図である。表示装置５００は、操作者ＯＰの頭部に装着される頭部装着型表示装置１００で構成されている。頭部装着型表示装置１００は、指示体ＰＢとしての手指の動きを認識する。

頭部装着型表示装置１００は、操作者ＯＰに画像を視認させる画像表示部１１０と、画像表示部１１０を制御する制御部１２０とを備える。画像表示部１１０は、操作者ＯＰの頭部に装着される装着体として構成されており、本実施形態では眼鏡形状を有する。画像表示部１１０は、右目用表示部１１２Ｒと左目用表示部１１２Ｌとを含む表示部１１２によって構成される。画像表示部１１０には、外景ＶＷを撮像するカメラ１１４が取り付けられている。画像表示部１１０は、透過型であり、外景ＶＷを透過し外景を重畳して視認できるように画像を表示するように構成されている。すなわち、頭部装着型表示装置１００は、表示部１１２を通過して視認される外景ＶＷの中に、表示部１１２で表示された画像が浮かび上がる透過型のヘッドマウントディスプレイである。

図１の例では、表示部１１２を用いて外景ＶＷの空間内に仮想スクリーンＶＳが表示されている。仮想スクリーンＶＳには、外景ＶＷ中の建物などの対象物に紐付けて、対象物に関連した画像である対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３が表示されている。操作者ＯＰは、仮想スクリーンＶＳに表示された対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３上で、指示体ＰＢを用いて所定の操作を実行する。頭部装着型表示装置１００は、カメラ１１４を用いて指示体ＰＢを含む画像を撮影し、指示体ＰＢの先端部ＰＴの空間座標や、指示体ＰＢの動きを検出する。仮想スクリーンＶＳ上におけるカメラ１１４の撮像範囲１０２の外縁は一点鎖線で示している。カメラ１１４としては、単眼カメラが使用される。

頭部装着型表示装置１００はさらに、検出された指示体ＰＢの先端部ＰＴの空間的な位置や指示体ＰＢの動きに応じた処理を実行する。また、指示体ＰＢとしては、手指に限らず、操作者ＯＰが指示を与えるために使用する指示用ペンや指示棒などの他の対象物を利用することも可能である。

図２は、第１実施形態における頭部装着型表示装置１００の機能ブロック図である。頭部装着型表示装置１００の制御部１２０は、プロセッサーとしてのＣＰＵ１２２と、記憶部１２４と、ＧＮＳＳレシーバー１２５と、６軸センサー１２６と、磁気センサー１２７と、電源部１２９と、を備える。

記憶部１２４は、ＲＯＭやＲＡＭなどによって構成されている。記憶部１２４には、ＣＰＵ１２２が実行するための各種プログラムなどが記憶されている。

ＧＮＳＳレシーバー１２５は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信した航法信号に基づいて、頭部装着型表示装置１００の現在位置を測位する。

６軸センサー１２６は、３軸加速度センサーと３軸ジャイロセンサーとを備えるモーションセンサーである。磁気センサー１２７は、例えば、３軸の地磁気センサーである。電源部１２９は、バッテリーを含み、頭部装着型表示装置１００が動作するための電力を供給する。

ＣＰＵ１２２は、指示体認識部２１０と、対象物認識部２２０と、表示制御部３００とを備える。ＣＰＵ１２２の機能の一部又は全部をハードウェア回路で実現してもよい。指示体認識部２１０は、カメラ１１４によって撮像された少なくとも２枚の撮像画像を用いて指示体ＰＢの動き認識する。指示体認識部２１０は、例えば、記憶部１２４に予め記憶された指示体ＰＢの形状と、撮像画像中の対象物の形状とをパターンマッチングすることで、指示体ＰＢを認識する。そして、指示体認識部２１０は、時系列に撮像された少なくとも２枚の指示体ＰＢを含む撮像画像を用いて指示体ＰＢの動きを認識する。

図１に示すように、仮想スクリーンＶＳ内の位置は、横方向のｕ座標と、縱方向のｖ座標で表される。指示体ＰＢの先端部ＰＴの空間座標は、仮想スクリーンＶＳの２次元座標（ｕ，ｖ）と奥行座標Ｚとを用いて、（ｕ，ｖ，Ｚ）で表すことが可能である。奥行座標Ｚは、図１において、カメラ１１４から指示体ＰＢの先端部ＰＴである指先までの距離である。指示体認識部２１０は、カメラ１１４で撮像された指示体ＰＢの先端部ＰＴの面積を算出し、算出した面積に応じて奥行座標Ｚを検出する。先端部ＰＴと奥行座標Ｚとの関係を示す参照データは、記憶部１２４に予め記憶されている。例えば、記憶部１２４には、先端部ＰＴの面積が小さいほど、奥行座標Ｚが大きくなる関係を示す参照データが記憶されている。なお、指示体認識部２１０は、奥行座標Ｚは算出することなく、先端部ＰＴを二次元座標（ｕ，ｖ）で表してもよい。また、奥行座標Ｚは、他の方法を用いて算出されてもよい。例えば、頭部装着型表示装置１００が距離センサーを備える場合には、距離センサーの検出値を用いて奥行座標Ｚを算出してもよい。

図２に示す対象物認識部２２０は、カメラ１１４によって撮像した外景ＶＷの撮像画像を用いて、外景中の対象物を認識する。本実施形態では、記憶部１２４に予め記憶された対象物に関する情報と、撮像画像中の対象物とをパターンマッチングすることで、予め記憶された対象物を認識する。また対象物認識部２２０は、認識した対象物のうちで、対象物関連画像が表示される対象物を判定する。記憶部１２４には、経度および緯度で表された領域ごとに、対象物と、対象物に関連した対象物関連画像とが対応付けられたテーブルが記憶されている。対象物認識部２２０は、記憶部１２４に記憶されたこのテーブルを参照することで、対象物関連画像が表示される対象物を判定する。なお、対象物認識部２２０は、カメラ１１４によって撮像した撮像画像中の所定のマーカーを検出することで、対象物関連画像が表示される対象物を判定してもよい。

表示制御部３００は、対象物認識部２２０が認識した対象物に関連する画像を、画像表示部１１０の表示部１１２に表示する。表示制御部３００は、関連表示部３１０と、表示処理部３２０とを有する。

関連表示部３１０は、仮想スクリーンＶＳ上において、指示体認識部２１０によって表示部１１２に表示された対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３と重なった範囲内における指示体ＰＢの動きが認識されることで、対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３に関連する関連情報を表示部１１２に表示する。対象物関連画像に関連する関連情報は、予め記憶部１２４に記憶されている。関連情報としては、対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３の詳細を示す情報などである。

表示処理部３２０は、対象物に関連する対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３を表示部１１２に表示する。また表示処理部３２０は、カメラ１１４の撮像範囲１０２内に対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３が存在しているか否かに応じて対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３の表示状態を変更する。つまり、表示処理部３２０は、表示部１１２に表示された対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３が、仮想スクリーンＶＳ上において、カメラ１１４の撮像範囲１０２内に存在している第１の場合と、カメラ１１４の撮像範囲１０２外に存在している第２の場合とで、対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３の表示状態を変更する。本実施形態では、表示処理部３２０は、第１の場合と第２の場合とで対象物関連画像ＩＭ１，ＩＭ２，ＩＭ３の強調の程度を異ならせる。例えば、表示処理部３２０は、第１の場合の方が第２の場合に比べて、画像ＩＭ１，ＩＭ２，ＩＭ３の強調の程度を大きくする。具体的な、表示処理部３２０が実行する処理内容については後述する。

図３は、頭部装着型表示装置１００が実行する表示処理のフローチャートである。図４は、ステップＳ４０の詳細を示すフローチャートである。図５は、表示部１１２を用いて仮想スクリーンＶＳに表示された対象物関連画像ＩＭａ〜ＩＭｅと、表示部１１２を透過して視認される外景ＶＷとを示す図である。表示処理は、操作者ＯＰから制御部１２０に入力された開始指示をトリガーに実行され、一定時間間隔で繰り返される。

図３に示すように、ステップＳ１０において、カメラ１１４は外景ＶＷを撮影する。次に、ステップＳ２０において、制御部１２０はカメラ１１４によって撮影した外景画像と、ＧＮＳＳレシーバー１２５，６軸センサー１２６などを用いて自己位置情報と、を取得する。自己位置情報は、頭部装着型表示装置１００が位置する緯度および経度と、頭部装着型表示装置１００の向きであってもよい。次に、ステップＳ３０において、対象物認識部２２０は、取得した自己位置情報と外景画像と記憶部１２４のデータとを用いて、対象物関連画像を表示する対象物が存在するか否かを判定する。

対象物関連画像を表示する対象物が存在しない場合には、本ルーチンの表示処理は終了し、次のルーチンの表示処理が所定時間後に開始される。一方で、対象物関連画像を表示する対象物が存在する場合には、ステップＳ４０において、表示処理部３２０は、対象物関連画像を表示部１１２に表示する。

図５に示すように、外景画像中の複数の対象物のうちで、対象物２０２，２０４，２０５，２０６，２０９が対象物関連画像を表示する対象物であったとする。対象物２０２，２０４，２０６はビルであり、対象物２０５は空であり、対象物２０９は看板である。この場合、表示制御部３００は、対象物２０２に関連する対象物関連画像ＩＭａと、対象物２０４に関連する対象物関連画像ＩＭｂと、対象物２０５に関連する対象物関連画像ＩＭｄと、対象物２０６に関連する対象物関連画像ＩＭｅと、対象物２０９に関連する対象物関連画像ＩＭｆを画像表示部１１０の表示部１１２に表示する。

対象物関連画像ＩＭａは、対象物２０２のビルに入居する「△▽事務所」についての画像である。対象物関連画像ＩＭｂは、対象物２０４のビル内で販売されている品物の販売に関する画像である。対象物関連画像ＩＭｄは、天気予報に関する画像である。対象物関連画像ＩＭｅは、対象物２０６のビルの名称に関する画像である。対象物関連画像ＩＭｆは、対象物２０９の「○×タクシー」の看板の内容について画像である。各対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｄ，ＩＭｅ，ＩＭｆは、対象物２０２，２０４，２０５，２０６，２０９を指し示す吹き出し画像である。表示制御部３００は、各対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｄ，ＩＭｅ，ＩＭｆと対応する対象物２０２，２０４，２０５，２０６，２０９との相対位置が予め定めた関係となるように対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｄ，ＩＭｅ，ＩＭｆを表示する。

図４に示すように、ステップＳ４０では、表示処理部３２０は仮想スクリーンＶＳ上において、撮像範囲１０２内に対象物関連画像ＩＭａ〜ＩＭｆが存在しているか否かを判定する。具体的には、表示処理部３２０は、対象物関連画像ＩＭａ〜ＩＭｆの外枠で囲まれた面積の半分以上が、撮像範囲１０２内に位置する場合に、撮像範囲１０２内に位置すると判定する。図５に示す例では、対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆが撮像範囲１０２内に位置すると判定され、対象物関連画像ＩＭｄ，ＩＭｅが撮像範囲１０２外に存在すると判定される。

図４のステップＳ４２に示すように、表示処理部３２０は、撮像範囲１０２内に位置する対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆについては、撮像範囲１０２外に位置する対象物関連画像ＩＭｄ，ＩＭｅよりも強調の程度を大きくして表示する。また、ステップＳ４４に示すように、表示処理部３２０は、撮像範囲１０２外に位置する対象物関連画像ＩＭｄ，ＩＭｅについては、撮像範囲１０２内に位置する対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆよりも強調の程度を小さくして表示する。強調の程度を小さくして表示することを抑制表示とも呼ぶ。具体的には、図５に示すように、表示処理部３２０は、対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆの外枠を実線で表示し、対象物関連画像ＩＭｄ，ＩＭｅの外枠を点線で表示する。このように、撮像範囲１０２内に位置する対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆについては強調の程度を大きくすることで、表示装置５００の操作者ＯＰに対して、カメラ１１４の撮像範囲１０２内での指示体ＰＢの操作を促すことができる。

図５に示す仮想スクリーンＶＳ上において、強調の程度を大きくして表示されている対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆは、カメラ１１４の撮像範囲１０２内に位置している。よって、仮想スクリーンＶＳ上において、対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆと重なった範囲内において指示体ＰＢの動きを指示体認識部２１０によって認識できる。これにより、関連表示部３１０は、対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆの関連情報を表示できる。一方で、強調の程度を小さくして表示されている対象物関連画像ＩＭｄ，ＩＭｅは、カメラ１１４の撮像範囲１０２外に位置している。よって、仮想スクリーンＶＳ上において、対象物関連画像ＩＭｄ，ＩＭｅと重なった範囲内において指示体ＰＢを動かしても、その動きを指示体認識部２１０によって認識できない。これにより、関連表示部３１０は、対象物関連画像ＩＭｄ，ＩＭｅの関連情報を表示できない。つまり、対象物関連画像ＩＭａ〜ＩＭｆ上において、指示体ＰＢを動かすことで関連情報を表示できる画像と、指示体ＰＢを動かしても関連情報を表示できない画像とを操作者ＯＰが容易に区別できるように、対象物関連画像ＩＭａ〜ＩＭｆは強調の程度を異ならせて表示されている。

図６は、関連情報を説明するための図である。関連表示部３１０は、仮想スクリーンＶＳ上において、強調の程度が大きく表示された対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｆと重なった範囲内において指示体認識部２１０が指示体ＰＢの所定の動きを認識した場合に、関連情報を表示部１１２に表示する。所定の動きとは、例えば先端部ＰＴで突く動作であるタップ動作である。対象物関連画像ＩＭａ〜ＩＭｆに対応する関連情報は、記憶部１２４に記憶されている。図６に示すように、仮想スクリーンＶＳ上において、対象物関連画像ＩＭｂと重なった範囲内で指示体ＰＢの所定の動きを指示体認識部２１０が認識した場合に、関連表示部３１０は、関連情報ＩＭｂａを対象物関連画像ＩＭｂに代えて表示部１１２に表示する。関連情報ＩＭｂａは、セール期間とセール対象品を表す画像である。

図７は、表示部１１２を用いて仮想スクリーンＶＳに表示された対象物関連画像ＩＭａ〜ＩＭｅと、表示部１１２を透過して視認される外景ＶＷとを示す第２の図である。図５に示す状態から、操作者ＯＰが所定角度だけ左を向いた場合、対象物関連画像ＩＭｄが撮像範囲１０２内に位置する。この場合、対象物関連画像ＩＭｄは、強調表示される。一方で、対象物関連画像ＩＭａ，ＩＭｆは撮像範囲１０２外に位置する。この場合、対象物関連画像ＩＭａ，ＩＭｆは、強調の程度を小さくして表示される。

上記第１実施形態によれば、表示処理部３２０はカメラ１１４の撮像範囲１０２内に対象物関連画像ＩＭａ〜ＩＭｆが存在しているか否かに応じて対象物関連画像ＩＭａ〜ＩＭｆの表示状態を変更する。これにより、表示装置５００の操作者ＯＰは、対象物関連画像ＩＭａ〜ＩＭｆがカメラ１１４の撮像範囲１０２内に位置しているか否かを容易に判別できる。これにより、カメラ１１４の撮像範囲１０２、すなわち指示体認識部２１０が認識できる領域内での先端部ＰＴの操作を操作者ＯＰに促すことができる。また、上記第１実施形態では、表示状態の変更は、対象物関連画像ＩＭａ〜ＩＭｆの強調の程度を異ならせることで実行している。これにより、表示装置５００の操作者ＯＰは、対象物関連画像ＩＭａ〜ＩＭｆがカメラ１１４の撮像範囲１０２内に位置しているか否かをさらに容易に判別できる。

Ｂ．表示状態の変更の他の実施形態：
上記第１実施形態では、表示処理部３２０は、対象物関連画像ＩＭａ〜ＩＭｆが撮像範囲１０２内に位置する場合には外枠を実線で表示し、撮像範囲１０２外に位置する場合には外枠を点線で表示することで表示状態を変更していたが、これに限定されるものではない。他の例について以下に説明する。

図８は、表示状態の変更についての第１の他の実施形態を説明するための図である。図８では、操作者ＯＰは工場内に位置している。外景ＶＷには、複数の対象物３０２，３０４，３０５，３０８，３０９が存在する。複数の対象物３０２，３０４，３０５，３０８，３０９は、配管であったり配電盤であったりする。関連する対象物関連画像ＩＭＡ，ＩＭＢ，ＩＭＣ，ＩＭＤ，ＩＭＥは、仮想スクリーンＶＳ上の所定の位置に表示される。記憶部１２４には、対象物関連画像ＩＭＡ，ＩＭＢ，ＩＭＣ，ＩＭＤ，ＩＭＥに対応する関連情報が記憶されている。関連情報としては、例えば、対象物ＩＭＡ，ＩＭＢ，ＩＭＣ，ＩＭＤ，ＩＭＥの名称や取扱説明内容である。表示処理部３２０は、対象物関連画像ＩＭＡ，ＩＭＢ，ＩＭＣ，ＩＭＤ，ＩＭＥの向きや色や大きさを変更することで表示状態を変更する。具体的には、表示処理部３２０は、撮像範囲１０２内に位置する対象物関連画像ＩＭＡ，ＩＭＢ，ＩＭＣについては、三角形の図形の頂点が下側となる向きで、かつ、三角形の図形を大きく、かつ、三角形をカラーで表示することで、強調の程度を大きくする。一方で、表示処理部３２０は、撮像範囲１０２外に位置する対象物関連画像ＩＭＤ，ＩＭＥについては、三角形の頂点が上側と成る向きで、かつ、三角形の図形を小さく、かつ、三角形をグレー色で表示することで、強調の程度を小さくする。

図９は、表示状態の変更についての第２の他の実施形態を説明するための図である。図９では、操作者ＯＰは美術館内に位置している。外景ＶＷには、複数の対象物４０１，４０２，４０９が存在する。複数の対象物４０１，４０２，４０３は、絵の説明文を記載したパネルである。関連する対象物関連画像ＩＭＡａ，ＩＭＢａ，ＩＭＣａは、仮想スクリーンＶＳ上の所定の位置に表示される。記憶部１２４には、対象物関連画像ＩＭＡａ，ＩＭＢａ，ＩＭＣａに対応する関連情報が記憶されている。関連情報としては、例えば、絵の詳細な説明文である。表示処理部３２０は、対象物関連画像ＩＭＡａ，ＩＭＢａ，ＩＭＣａをジェスチャーを模した画像で表す。具体的には、表示処理部３２０は、撮像範囲１０２内に位置する対象物関連画像ＩＭＡａ，ＩＭＢａについては、人差し指でタップ動作を行うジェスチャーを模した画像で表示する。また、表示処理部３２０は、撮像範囲１０２外に位置する対象物関連画像ＩＭＣａについては、親指を立てたジェスチャーを模した画像で表示する。

Ｃ．対象物関連画像の表示についての他の実施形態：
上記第１実施形態では、表示処理部３２０は、対象物関連画像ＩＭａ〜ＩＭｆは、仮想スクリーンＶＳ上の所定の位置に表示していた。例えば、表示処理部３２０は、ビルや看板などの対象物が物体である場合には、図５に示すように、操作者ＯＰから見て対象物の右側に対象物関連画像ＩＭａ，ＩＭｂ，ＩＭｅ，ＩＭｆを表示していた。また、表示処理部３２０は、空などの物体ではない対象物については、表示部１１２を透過して仮想スクリーンＶＳに重畳される外景ＶＷのうちで、上側に位置する物体、例えば避雷針８００に対して予め定めた位置となるように対象物関連画像ＩＭｄを表示していた。しかしながら、表示処理部３２０は、対象物が撮像範囲１０２に位置する場合には、対象物の対象物関連画像を撮像範囲１０２内に表示してもよい。以下に図１０を用いて説明する。

図１０は、対象物関連画像の表示方法を説明するための図である。表示処理部３２０は、対象物２０５，２０６についても、他の対象物２０２，２０４，２０９と同様に対象物関連画像ＩＭｄ，ＩＭｅを表示部１１２上における撮像範囲１０２内に位置するように表示する。これにより、より多くの対象物関連画像ＩＭａ〜ＩＭｆをカメラ１１４の撮像範囲１０２内に表示できるので、操作者ＯＰが指示体ＰＢによってより多くの関連情報を表示させることができる。

Ｄ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の一形態によれば、表示装置が提供される。この表示装置は、外景を透過し外景に重畳して視認できるように画像を表示する表示部と、前記外景を撮像するカメラと、
前記カメラによって撮像された少なくとも２枚の撮像画像を用いて指示体の動きを認識する指示体認識部と、前記撮像画像を用いて前記外景中の対象物を認識する対象物認識部と、前記対象物認識部が認識した前記対象物に関連する前記画像である対象物関連画像を、前記表示部に表示する表示制御部と、を備え、前記表示制御部は、さらに、前記指示体認識部によって前記対象物関連画像と重なった範囲内における前記指示体の動きが認識されることで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示部と、前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理部と、を有する。
この形態によれば、表示処理部はカメラの撮像範囲内に対象物関連画像が存在している否かに応じて対象物関連画像の表示状態を変更するので、表示装置の操作者は対象物関連画像がカメラの撮像範囲内に位置しているか否かを容易に判別できる。

（２）上記形態であって、前記表示制御部は、前記カメラの撮像範囲内に前記対象物関連画像が存在している第１の場合と、前記カメラの撮像範囲外に前記対象物関連画像が存在している第２の場合とで、前記対象物関連画像の強調の程度を異ならせて表示してもよい。
この形態によれば、第１の場合と第２の場合とで対象物関連画像の強調の程度を異ならせて表示することで、表示装置の操作者は対象物関連画像がカメラの撮像範囲内に位置しているか否かを容易に判別できる。

（３）上記形態であって、前記表示制御部は、前記第１の場合の方が前記第２の場合に比べて、前記対象物関連画像の強調の程度を大きくしてもよい。
この形態によれば、第１の場合の方が第２の場合に比べて対象物関連画像の強調の程度を大きくすることで、表示装置の操作者に対して、カメラの撮像範囲内での指示体の操作を促すことができる。

（４）上記形態であって、前記表示制御部は、前記対象物が前記撮像範囲内に位置する場合には、前記対象物の前記対象物関連画像を前記表示部上における前記撮像範囲内に表示してもよい。
この形態によれば、対象物関連画像をカメラの撮像範囲内に表示できる。

本開示は、上記形態の他に、表示方法や、コンピュータープログラムや、コンピュータープログラムを記録した記録媒体等の形態で実現することができる。

１００…頭部装着型表示装置、１０２…撮像範囲、１１０…画像表示部、１１２…表示部、１１２Ｌ…左目用表示部、１１２Ｒ…右目用表示部、１１４…カメラ、１２０…制御部、１２２…ＣＰＵ、１２４…記憶部、１２５…ＧＮＳＳレシーバー、１２６…６軸センサー、１２７…磁気センサー、１２９…電源部、２０２，２０４，２０５，２０６，２０９…対象物、２１０…指示体認識部、２２０…対象物認識部、３００…表示制御部、３０２…対象物、３１０…関連表示部、３２０…表示処理部、４０１…対象物、５００…表示装置、８００…避雷針、ＩＭ１，ＩＭ２，ＩＭ３，ＩＭａ，ＩＭｂ，ＩＭｄ，ＩＭｅ，ＩＭｆ，ＩＭＡ，ＩＭＡａ，ＩＭＢ，ＩＭＢａ，ＩＭＣ，ＩＭＣａ，ＩＭＤ，ＩＭＥ…対象物関連画像、ＯＰ…操作者、ＰＢ…指示体、ＰＴ…先端部、ＶＳ…仮想スクリーン、ＶＷ…外景、Ｚ…奥行座標

Claims (6)

1. 表示装置であって、
   外景を透過し外景に重畳して視認できるように画像を表示する表示部と、
   前記外景を撮像するカメラと、
   前記カメラによって撮像された少なくとも２枚の撮像画像を用いて指示体の動きを認識する指示体認識部と、
   前記撮像画像を用いて前記外景中の対象物を認識する対象物認識部と、
   前記対象物認識部が認識した前記対象物に関連する前記画像である対象物関連画像を、前記表示部に表示する表示制御部と、を備え、
   前記表示制御部は、さらに、
   前記指示体認識部によって前記対象物関連画像と重なった範囲内における前記指示体の動きが認識されることで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示部と、
   前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理部と、を有する、表示装置。
2. 請求項１に記載の表示装置であって、
   前記表示制御部は、前記カメラの撮像範囲内に前記対象物関連画像が存在している第１の場合と、前記カメラの撮像範囲外に前記対象物関連画像が存在している第２の場合とで、前記対象物関連画像の強調の程度を異ならせて表示する、表示装置。
3. 請求項２に記載の表示装置であって、
   前記表示制御部は、前記第１の場合の方が前記第２の場合に比べて、前記対象物関連画像の強調の程度を大きくする、表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の表示装置であって、
   前記表示制御部は、前記対象物が前記撮像範囲内に位置する場合には、前記対象物の前記対象物関連画像を前記表示部上における前記撮像範囲内に表示する、表示装置。
5. 外景を透過し外景に重畳して視認できるように画像を表示する表示部と、前記外景を撮像するカメラとを備える表示装置が実行する表示方法であって、
   前記カメラによって撮像された少なくとも２枚の撮像画像を用いて指示体の動きを認識する指示体認識工程と、
   前記撮像画像を用いて前記外景中の対象物を認識する対象物認識工程と、
   前記対象物認識工程によって認識された前記対象物に関連する前記画像である対象物関連画像を前記表示部に表示する表示工程と、を備え、
   前記表示工程は、さらに、
   前記指示体認識工程によって前記対象物関連画像と重なった範囲内における前記指示体の動きを認識することで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示工程と、
   前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理工程と、を有する、表示方法。
6. 外景を透過し外景に重畳して視認できるように画像を表示する表示部と、前記外景を撮像するカメラとを備える表示装置に実行させるためのコンピュータープログラムであって、
   前記カメラによって撮像された少なくとも２枚の撮像画像を用いて指示体の動きを認識する指示体認識機能と、
   前記撮像画像を用いて前記外景中の対象物を認識する対象物認識機能と、
   前記対象物認識機能によって認識された前記対象物に関連する前記画像である対象物関連画像を前記表示部に表示する表示機能と、を備え、
   前記表示機能は、さらに、
   前記指示体認識機能によって前記対象物関連画像と重なった範囲内における前記指示体の動きを認識することで、前記対象物関連画像に関連する関連情報を前記表示部に表示する関連表示機能と、
   前記カメラの撮像範囲内に、前記対象物関連画像が存在しているか否かに応じて前記対象物関連画像の表示状態を変更する表示処理機能と、を有する、コンピュータープログラム。

Images