JP2017136103A - 撮像システム、表示装置、及び、撮像システムの制御方法 - Google Patents

Abstract

【課題】簡易な構成によって、対象の状態を検出し、監視等を行える撮像システム、表示装置、及び、撮像システムの制御方法を提供する。【解決手段】観察対象ＯＢに対応して配置されるマーカーＭと、観察対象ＯＢを観察する使用者が装着するＨＭＤ１００と、を備え、ＨＭＤ１００は、撮像部と、撮像部の撮像画像を記憶する記憶部と、マーカーＭに基づき、観察対象に対する撮像部の撮像範囲または撮像方向を検出する撮像制御部と、撮像部が撮像する撮像画像と、記憶部が記憶する過去の撮像画像とを比較する比較部と、を備えることを特徴とする撮像システム１。【選択図】図１

Description

本発明は、撮像システム、表示装置、及び、撮像システムの制御方法に関する。

従来、対象の人等の状態を管理する手法が種々提案されている。例えば、高齢者や被介護者の健康状態を管理する装置が知られている（例えば、特許文献１参照）。特許文献１記載の装置は、管理の対象である人の心拍、呼吸等を検出し、これらの生体データをもとに身体状態を把握する。

特開２００８−２０６８８２号公報

特許文献１記載のように、生体の状態を検出するためには、個々の生体に対して測定用の装置を設置する必要があった。例えば、特許文献１記載の装置は、ベッドの上にエアマットを設置し、エアマットに接続される圧力センサーにより、対象の人の体動、心拍、呼吸を検出する。このように、状態を検出する対象である生体ごとに、大がかりな装置を必要とするため、例えば対象の数が多い場合は大規模なシステムを構築する必要があり、実現が困難であった。
本発明は上記事情に鑑みてなされたものであり、生体等を対象として、対象の状態を簡易な構成によって検出し、監視等を行える撮像システム、表示装置、及び、撮像システムの制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、観察対象に対応して配置されるマーカーと、前記観察対象を観察する使用者が装着する表示装置と、を備え、前記表示装置は、撮像部と、前記撮像部の撮像画像を記憶する記憶部と、前記マーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出する撮像制御部と、前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較する比較部と、を備えることを特徴とする。
この構成によれば、観察対象を観察する使用者が装着する表示装置によって、観察対象を撮像することにより、観察対象の状態を観察あるいは監視等を行える。この構成では、観察対象に対応して設ける必要がある設備はマーカーであり、観察対象の数に関わらずシンプルな構成で実現できる。また、観察対象に対する撮像部の撮像範囲または撮像方向を検出することにより、例えば、撮像部の撮像範囲または撮像方向が適切になるように、撮像部の向き等を調整することができる。この場合、表示装置は、観察対象の状態の検出に適した撮像画像を得ることができる。

また、本発明は、上記撮像システムにおいて、前記比較部は、前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像との差分に基づき、前記観察対象の状態変化を検出すること、を特徴とする。
この構成によれば、観察対象を撮像した撮像画像を、その撮像時点よりも前に撮像した撮像画像と比較して、これらの画像の差分をもとに観察対象の状態変化を検出する。このため、観察対象の状態変化を容易に、的確に検出できる。

また、本発明は、上記撮像システムにおいて、前記比較部は、前記撮像部が撮像する撮像画像における前記マーカーの画像と前記観察対象の画像との相対位置と、前記記憶部が記憶する過去の前記撮像画像における前記マーカーの画像と前記観察対象の画像との相対位置と、を比較することにより、前記観察対象の状態変化を検出すること、を特徴とする。
この構成によれば、マーカーの位置を基準とすることにより、撮像画像を用いて、観察対象の動きや姿勢の変化等を、より正確に検出できる。

また、本発明は、上記撮像システムにおいて、前記比較部は、前記観察対象の動作による状態変化の有無を検出すること、を特徴とする。
この構成によれば、観察対象が動いたかどうかを検出できる。

また、本発明は、上記撮像システムにおいて、前記比較部は、前記観察対象の状態変化として、前記観察対象の姿勢の変化を検出すること、を特徴とする。
この構成によれば、観察対象の姿勢の変化を検出できる。

また、本発明は、上記撮像システムにおいて、前記比較部は、前記観察対象の状態変化が予め設定された条件に該当する場合に、報知を行うこと、を特徴とする。
この構成によれば、観察対象の状態変化を表示装置が検出して報知を行うことで、観察対象を観察する使用者の負担を軽減できる。

また、本発明は、上記撮像システムにおいて、前記マーカーは画像コードであり、前記表示装置が備える前記撮像制御部は、前記撮像部の撮像画像から前記画像コードを検出することにより、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出すること、を特徴とする。
この構成によれば、撮像画像から画像コードを検出する簡易な処理によって、撮像部の撮像範囲または撮像方向を、的確に検出できる。

また、本発明は、上記撮像システムにおいて、前記マーカーは、前記観察対象を特定可能な情報をコード化した前記画像コードであること、を特徴とする。
この構成によれば、撮像画像から画像コードを検出してデコードすることで、撮像画像を用いて観察対象を特定できる。

また、本発明は、上記撮像システムにおいて、前記記憶部は、前記撮像部の撮像画像を前記観察対象に対応付けて記憶し、前記比較部は、前記撮像部の撮像画像に基づき前記観察対象を特定し、特定した前記観察対象に対応付けて前記記憶部が記憶する過去の撮像画像を、前記撮像部が撮像した撮像画像と比較すること、を特徴とする。
この構成によれば、観察対象ごとに、過去に撮像された撮像画像を使用して観察対象の状態変化を検出できる。これにより、例えば、観察対象が複数ある場合に、それぞれの観察対象について正確に状態変化を検出できる。

また、本発明は、上記撮像システムにおいて、前記撮像制御部は、前記撮像部の撮像画像から前記マーカーの画像を検出することにより、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出すること、を特徴とする。
この構成によれば、撮像部の撮像範囲または撮像方向を、撮像画像を利用して正確に検出できる。

また、本発明は、上記撮像システムにおいて、前記撮像制御部は、前記観察対象に対する前記撮像部の撮像範囲または撮像方向が、予め設定された撮像条件から逸脱する場合に、前記撮像部の撮像範囲または撮像方向を前記撮像条件に適合させるための案内を実行すること、を特徴とする。
この構成によれば、使用者が、撮像部の撮像範囲または撮像方向を、適切な状態となるように調整できる。

また、本発明は、上記撮像システムにおいて、前記表示装置は、前記使用者が外景を視認可能に画像を表示する表示部を備え、前記撮像部は、前記使用者が前記外景として前記観察対象を視認する状態で、前記観察対象及び前記マーカーを含む撮像範囲を撮像すること、を特徴とする。
この構成によれば、使用者が観察対象を視認する状態で撮像部による撮像を実行し、観察対象の状態の変化を検出できる。

また、本発明は、上記撮像システムにおいて、前記表示部は、前記外景に重ねて画像を表示する表示領域を有し、前記撮像制御部は、前記表示領域における所定位置に、前記使用者が外景として視認する前記マーカーが重なる場合、前記撮像部により撮像を実行させること、を特徴とする。
この構成によれば、観察対象の状態の変化を検出する目的に適した撮像画像を、容易に得ることができる。

また、上記目的を達成するために、本発明は、観察対象を観察する使用者が装着する表示装置であって、撮像部と、前記撮像部の撮像画像を記憶する記憶部と、前記観察対象に対応して配置されるマーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出する撮像制御部と、前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較する比較部と、を備えることを特徴とする。
この構成によれば、観察対象を観察する使用者が装着する表示装置によって、観察対象を撮像することにより、観察対象の状態を観察あるいは監視等を行える。この構成では、観察対象に対応して設ける必要がある設備はマーカーであり、観察対象の数に関わらずシンプルな構成で実現できる。

また、上記目的を達成するために、本発明は、観察対象に対応して配置されるマーカーと、前記観察対象を観察する使用者が装着する表示装置と、を備える撮像システムの制御方法において、前記表示装置により、撮像部で撮像した撮像画像を記憶部に記憶し、前記マーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出し、前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較すること、を特徴とする。
この構成によれば、観察対象を観察する使用者が装着する表示装置によって、観察対象を撮像することにより、観察対象の状態を観察あるいは監視等を行える。この構成では、観察対象に対応して設ける必要がある設備はマーカーであり、観察対象の数に関わらずシンプルな構成で実現できる。

本発明は、上述した撮像システムの制御方法を実現するためのプログラムとして実現することも可能である。また、例えば、上記のプログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等、種々の形態で実現できる。

撮像システムの適用例を示す図。 ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の表示領域を示す説明図。 画像表示部の撮像範囲を示す説明図。 ＨＭＤを構成する各部のブロック図。 制御部および記憶部のブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの表示例を示す図。 撮像画像を比較する動作の説明図。

図１は、本発明を適用した実施形態に係る撮像システム１の適用例を示す図である。
撮像システム１は、ＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００を備える。ＨＭＤ１００は、後述するように使用者（ユーザー）が頭部に装着して使用する。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。
本実施形態では、一人の使用者が１台のＨＭＤ１００を装着して使用する撮像システム１の構成例を示すが、複数の使用者がそれぞれＨＭＤ１００を装着する構成としてもよい。

撮像システム１は、例えば図１に示す対象ＯＢのように、生体の状態の観察や監視を行う目的で使用できる。図１の例は、高齢者や要介護者など、身体の健康状態の管理や監視を必要とする人を、対象ＯＢ（観察対象）とする。Ｒ１〜Ｒ４は、それぞれ、対象ＯＢの居室である。この例では６人の対象ＯＢを、それぞれ対象ＯＢ１〜ＯＢ６と表記し、対象ＯＢ１〜ＯＢ６を区別しない場合は対象ＯＢと表記する。図１の例ではそれぞれの対象ＯＢはベッドに寝た状態であり、ベッドサイドには、それぞれの対象ＯＢに対応してマーカーＭが設置される。例えば、対象ＯＢ１に対応して,マーカーＭ１が設置され、対象ＯＢ２に対応してマーカーＭ２が設置される。同様に対象ＯＢ３〜ＯＢ６に対応してマーカーＭ３〜Ｍ６が配置される。
なお、対象ＯＢ及びマーカーＭの数は何ら制限されない。

マーカーＭ１〜Ｍ６は、一例として、対象ＯＢ１〜ＯＢ６が就寝するベッドのヘッドボードに貼付される。マーカーＭ１〜Ｍ６は、画像コードであり、例えば、バーコード、ＱＲ（登録商標）コード、或いはその他の画像コードである。マーカーＭ１は、対象ＯＢ１に関する情報を含む画像コードであり、本実施形態では、対象ＯＢ１〜ＯＢ６の中から対象ＯＢ１を特定できる情報を含む。例えば、対象ＯＢ１の居室Ｒ１の部屋番号、介護施設などが対象ＯＢ１に付与するＩＤ、対象ＯＢ１の氏名、電話番号、社会保険番号等が挙げられる。対象ＯＢ２〜ＯＢ６に対応するマーカーＭ２〜Ｍ６も同様である。
対象ＯＢ４〜ＯＢ６は同一の居室Ｒ４にいるため、マーカーＭ４〜Ｍ６は、例えば、居室Ｒ４内における各対象ＯＢの位置を示す情報を含んでもよい。

マーカーＭは、対象ＯＢに対応付けて設置されればよいが、本実施形態では、通路ＷＡ側から対象ＯＢを見た場合に、対象ＯＢとともに視認できる位置に、マーカーＭが設置される。
撮像システム１では、ＨＭＤ１００を装着した使用者が居室Ｒ１〜Ｒ４を巡回し、それぞれの対象ＯＢ１〜ＯＢ６の様子を見回りする。見回りの目的は、対象ＯＢ１〜ＯＢ６に対し必要な介助を行うため、対象ＯＢ１〜ＯＢ６の体動、姿勢の変化を観察することである。ＨＭＤ１００は、対象ＯＢ１〜ＯＢ６のそれぞれについて、後述するカメラ６１（図２）の撮像画像を利用して、体動や姿勢の変化を検出する。

図２は、実施形態に係るＨＭＤ１００の外観構成を示す説明図である。
制御装置１０は、図３に示すように、平たい箱形のケース１０Ａを備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を合わせて単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。この調光板により、右導光板２６及び左導光板２８を透過して使用者の眼に入射する外光を減衰させたり、特定の波長成分のみを透過または反射させたり、右導光板２６及び左導光板２８を保護したりすることができる。

カメラ６１（撮像部）は、画像表示部２０の前部フレーム２７に設置される。カメラ６１の位置および方向は、例えば、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように調整されることが好ましい。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１の位置は、端部ＥＬ側であってもよく、右導光板２６と左導光板２８との連結部であってもよい。

カメラ６１は、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備えるデジタルカメラである。カメラ６１は単眼カメラであってもよいし、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の撮像範囲の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０（図７）が備える撮像制御部１４９の制御に従って撮像を実行し、撮像画像データを撮像制御部１４９に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図３には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図３に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導く光学部材を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図７）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導く光学部品を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを合わせて「左導光部」とも呼び、右光学系２５１と右導光板２６とを合わせて「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図２に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図２に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図２に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図６）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。

ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図７）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、後述するタッチセンサー１３（図６）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。

図４は、画像表示部２０の表示領域を示す説明図であり、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図４では接続ケーブル４０の図示を省略する。

図４は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図４では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。ＨＭＤ１００では、右導光板２６及び左導光板２８が使用者に画像を視認させる領域を表示領域と呼ぶことができる。表示領域は、図９に示すように実際に使用者が視覚で認識する領域を指してもよいが、ＨＭＤ１００の構造としてはハーフミラー２６１、２８１が表示領域を構成するということができる。

図５は、画像表示部２０のカメラ６１の撮像範囲（画角）の説明図である。図５には、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。図中、カメラ６１の撮像範囲をＣで示す。なお、図５には水平方向の撮像範囲Ｃを示すが、カメラ６１の実際の撮像範囲は一般的なデジタルカメラと同様に上下方向にも拡がる。

カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。
カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図５に示すように、使用者が両眼で対象ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象ＯＢに向けられる。この場合、使用者から対象ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び撮像範囲は、通常使用時における対象ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象ＯＢが撮像範囲に含まれるように、設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図５の対象ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図２〜図５に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の撮像範囲Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、撮像範囲Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。撮像範囲Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、撮像範囲Ｃが、使用者の安定注視野よりも広く、最も好ましくは、撮像範囲Ｃが使用者の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い撮像範囲を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

カメラ６１は画像表示部２０に対し固定的に設けられるため、使用者が画像表示部２０により視認する視野と、カメラ６１の画角Ｃとはほぼ固定される。より具体的には、画像表示部２０が右表示ユニット２２及び左表示ユニット２４により画像を表示する表示領域と、カメラ６１の画角Ｃとは、固定されているといえる。従って、画像表示部２０の表示領域における位置と、カメラ６１の撮像画像における位置とを対応付けることが可能である。画像表示部２０の表示領域における位置は、より具体的には、ＯＬＥＤパネル２２３、２４３の画素の座標と、カメラ６１の撮像画像における座標とを対応付けることができる。ＨＭＤ１００は、これらの対応付けに関するデータを、例えば設定データ１２３として記憶する。

図６は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）等の半導体記憶デバイス、或いはその他の不揮発性記憶デバイスで構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０は、メインプロセッサー１４０に対して操作信号を出力する。
ＬＥＤ表示部１７は、ＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサーである。６軸センサー１１１は、上記のセンサーをモジュール化したＩＭＵ（Inertial Measurement Unit：慣性計測装置）であってもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格で無線通信を行う構成を具備してもよい。例えば、ＨＭＤ１００が、通信部１１７により、スマートフォンを含む携帯型電話機、パーソナルコンピューター、タブレット型コンピューター等とデータ通信を実行してもよい。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図２）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図２に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータを記憶する。ＥＥＰＲＯＭ２１５は、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータ等を記憶する。これらのデータは、メインプロセッサー１４０がＨＭＤ１００を制御する場合に参照される。これらのデータの具体例として、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等が挙げられる。これらのデータは、例えば、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図２に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図２に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図７は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図７に示す記憶部１２２は、不揮発性記憶部１２１（図６）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。制御部１５０は、本発明の第２制御部、及び、判定部として機能する。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、観察対象データ１２４、報知設定データ１２５、及び撮像画像データベース１２６を記憶する。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。画像表示部２０における表示態様を指定する情報を、設定データ１２３に含めてもよく、例えば、表示制御部１４７の制御によって画像等を表示する表示領域における配置やサイズを定める情報を含んでもよい。

観察対象データ１２４は、対象ＯＢに関する情報を含む。例えば、観察対象データ１２４は、撮像システム１で観察対象とする全ての対象ＯＢ（この例では対象ＯＢ１〜ＯＢ６）について、それぞれの対象ＯＢ１〜ＯＢ６を特定する情報を含んでもよい。この情報は、例えば、マーカーＭ１〜Ｍ６をデコードして得られる情報を含んでも良い。あるいは、マーカーＭ１〜Ｍ６をデコードした情報と照合できる形態の情報を含んでもよい。観察対象データ１２４は、マーカーＭに含まれる情報に限らず、対象ＯＢの氏名、住所等の個人情報、性別や年齢等の属性に係る情報、健康状態に関する情報等を含んでもよい。観察対象データ１２４に含まれる情報の具体的態様は制限されず、テキスト、静止画像、動画像、音声等を含んでもよい。

報知設定データ１２５は、対象ＯＢの状態に関して報知を行う条件を含む。例えば、後述する比較部１５３は、複数の撮像画像データの差分を検出し、検出した差分に基づき対象ＯＢが動いたか否かを判定する。この場合、報知設定データ１２５は、対象ＯＢが動いたと判定する基準となる撮像画像データの差分に関する情報を含んでもよい。報知設定データ１２５は、撮像画像データから差分を抽出する処理に関するパラメーター、演算式、関数、行列等を含んでもよい。報知設定データ１２５は、報知を実行する場合の報知の方法を設定する情報を含んでもよい。

撮像画像データベース１２６は、カメラ６１の撮像画像データを格納するデータベースである。撮像画像データベース１２６は、撮像画像データを、撮像された被写体である対象ＯＢに対応付けて格納する。すなわち、対象ＯＢ１〜ＯＢ６を区別し、或いは特定可能な情報に対応付けて、撮像画像データを格納する。対象ＯＢ１〜ＯＢ６を特定可能な情報は、例えば、対象ＯＢ１〜ＯＢ６の居室Ｒ１〜Ｒ４の部屋番号、介護施設などが対象ＯＢ１〜ＯＢ６の各々に付与するＩＤ、対象ＯＢ１〜ＯＢ６の氏名、電話番号、社会保険番号等が挙げられる。対象ＯＢ４〜ＯＢ６は同一の居室Ｒ４にいるため、対象ＯＢ４〜ＯＢ６に対して、居室Ｒ４内における各対象ＯＢの位置を示す情報を含んでもよい。
撮像画像データベース１２６は、過去にカメラ６１が撮像した撮像画像（過去の撮像画像）のデータを格納する。撮像画像データベース１２６に格納できる撮像画像データの数に制限はなく、例えば、一人の対象ＯＢに対応付けて複数の撮像画像データを格納しても良い。この場合、撮像画像データベース１２６は、それぞれの撮像画像データの撮像日時を示す情報や、それぞれの撮像画像データの撮像順を示す情報を、撮像画像データに対応付けて格納する。

制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、及び、比較部１５３の機能を有する。オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御やその他の処理を行う。

表示制御部１４７は、撮像制御部１４９が撮像を実行する場合に、マーカーＭの位置を合わせるガイドを表示する。ガイドの表示位置、及び表示サイズは、例えば予め設定データ１２３に含まれる。表示制御部１４７は、撮像制御部１４９が画像コードを検出してデコードすることにより、画像コードに含まれる情報や、画像コードに含まれる情報に基づき観察対象データ１２４から取得されるデータ等を表示する。
表示制御部１４７は、比較部１５３が報知を実行すると判定した場合に、報知を行うためのテキストや画像を表示する。表示制御部１４７は、報知設定データ１２５に含まれる情報に従って、右表示ユニット２２及び左表示ユニット２４により報知用のテキストや画像の表示態様を決定する。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。

撮像制御部１４９は、カメラ６１の撮像画像から画像コードを検出する。撮像制御部１４９は、撮像画像から画像コードを検出した場合、検出した画像コードを認識して、デコードする。撮像制御部１４９は、デコードの処理により得られた情報を、表示制御部１４７に表示させる。撮像制御部１４９は、デコードの処理により得られた情報に基づいて、観察対象データ１２４からデータを取得し、取得したデータを表示制御部１４７により表示させる。

比較部１５３は、撮像制御部１４９の制御によりカメラ６１が撮像した撮像画像データを取得し、取得した撮像画像データを、撮像画像データベース１２６から取得した撮像画像データと比較することにより、対象ＯＢの状態変化を検出する。比較部１５３が検出する状態変化は、例えば、対象ＯＢの姿勢変化、或いは体の位置の変化である。比較部１５３は、カメラ６１の撮像画像データと撮像画像データベース１２６から取得した撮像画像データとの差分を抽出することにより、対象ＯＢの状態の変化を検出する。比較部１５３は、撮像画像データにおいてマーカーＭの位置と、対象ＯＢの画像との相対位置を求め、この相対位置を、カメラ６１の撮像画像データと撮像画像データベース１２６から取得した撮像画像データとで比較してもよい。この場合、比較部１５３は、撮像画像データにおけるマーカーＭを検出し、対象ＯＢの画像の特徴点を検出し、各特徴点とマーカーＭとの相対位置を求める。対象ＯＢの画像の特徴点は、例えば、顔や身体の各部に相当する。撮像画像データベース１２６に格納される撮像画像データに、当該撮像画像データにおけるマーカーＭと対象ＯＢの画像の特徴点との相対位置を示すデータを対応付けて、撮像画像データベース１２６に格納してもよい。

比較部１５３は、カメラ６１が撮像した撮像画像データと、撮像画像データベース１２６から取得した撮像画像データとを比較した結果、報知を行うか否かを判定する。報知を行う必要があると判定した場合、報知用のテキストや画像を、表示制御部１４７により表示させる。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図８は、ＨＭＤ１００の動作を示すフローチャートである。図８には、図１に示したように、ＨＭＤ１００を装着した使用者が、撮像システム１が適用された居室Ｒ１〜Ｒ４を巡回して、対象ＯＢ１〜ＯＢ６の状態を観察する場合の動作を示す。

撮像制御部１４９は、カメラ６１の撮像画像データを取得する（ステップＳ１）。撮像制御部１４９は、カメラ６１が動作を開始した後、カメラ６１の撮像画像データを、予め設定された周期（サンプリング周期）で取得することが可能である。
撮像制御部１４９は、取得した撮像画像データを解析して、マーカーＭの検出を試行する（ステップＳ２）。ここで、マーカーＭが検出されない場合（ステップＳ３；Ｎｏ）、撮像制御部１４９はステップＳ１に戻る。撮像制御部１４９は、カメラ６１の撮像画像データにおいてマーカーＭに相当する画像を検出した場合（ステップＳ３；Ｙｅｓ）、撮像画像データにおけるマーカーＭの位置が適切な位置であるか否かを判定する（ステップＳ４）。カメラ６１がズーム倍率を変化させない場合、撮像画像データにおけるマーカーＭの位置は、マーカーＭに対するカメラ６１の光軸の方向、及びマーカーＭとカメラ６１の撮像面との距離により決まる。比較部１５３が撮像画像を比較する処理の負荷を軽減するため、撮像制御部１４９は、マーカーＭに対してカメラ６１が同じ方向、同じ距離から撮像を実行させる。このため、撮像制御部１４９は、撮像画像データにおけるマーカーＭの位置が適切な位置でないと判定した場合（ステップＳ４；Ｎｏ）、カメラ６１の撮像方向および位置を、適切な方向と位置にするように案内を実行する（ステップＳ５）。

図９は、ＨＭＤ１００における表示例を示す図であり、撮像制御部１４９が実行する撮像方向および撮像位置の案内を行う場合の表示例である。図中、ＶＲは使用者の視野であり、Ｖは右表示ユニット２２及び左表示ユニット２４により画像を表示する表示領域である。

図９の例では、使用者の視野ＶＲに、実空間の外景として対象ＯＢ１、及び、対象ＯＢ１に対応して設置されたマーカーＭ１が視認される。マーカーＭ１は、複数のマーカーＭ１−１〜Ｍ１−４を含む。マーカーＭ１が含むマーカーの数は制限されないが、複数のマーカーを含むことが好ましい。

撮像制御部１４９は、カメラ６１の撮像画像データからマーカーＭ１−１〜Ｍ１−４のそれぞれを検出する。マーカーＭ１−１〜Ｍ１−４の位置が、予め設定された適切な位置でない場合、マーカーＭ１−１〜Ｍ１−４の位置合わせ用のガイドＴ１〜Ｔ４を表示制御部１４７により表示させる。ガイドＴ１〜Ｔ４の表示位置は、撮像画像データにおけるマーカーＭ１−１〜Ｍ１−４の適切な位置に対応して、予め設定される。上述のように、画像表示部２０の表示領域Ｖとカメラ６１の画角Ｃ（図５）とは対応付けられるため、この対応によりガイドＴ１〜Ｔ４の表示位置を決めることができる。

使用者は、ガイドＴ１〜Ｔ４に、マーカーＭ１−１〜Ｍ１−４のそれぞれが重なるように、カメラ６１の向き及び位置を調整すればよい。カメラ６１は画像表示部２０に固定されているので、実際には、使用者は自分の身体（特に頭部）の向きと、対象ＯＢ１と自分の身体との距離を調整すればよい。
なお、ガイドＴ１〜Ｔ４の数は、マーカーＭ１を構成するマーカーＭ１−１〜Ｍ１−４の数に合っていればよく、その数は制限されない。また、図９にはガイドＴ１〜Ｔ４を破線の枠で構成する例を示したが、ガイドＴ１〜Ｔ４の具体的な形状を含む表示形態は任意である。例えば、ガイドＴ１〜Ｔ４の形状は「＋」字状であってもよいし円形や矩形等の幾何学的な図形であってもよい。また、ガイドＴ１〜Ｔ４の表示色は、外景に対して高い視認性を確保できる色であれば好ましいが、特に限定されない。また、ガイドＴ１〜Ｔ４を点滅表示させてもよい。また、ＨＭＤ１００は、ガイドＴ１〜Ｔ４に、マーカーＭ１−１〜Ｍ１−４を重ねるように案内するテキストや画像を、ガイドＴ１〜Ｔ４とともに表示してもよい。

図８に戻り、撮像制御部１４９は、ステップＳ５で撮像位置の案内を実行した後、ステップＳ１に戻る。
撮像画像データにおけるマーカーＭの位置が適切な位置であると判定した場合（ステップＳ４；Ｙｅｓ）、撮像制御部１４９は、対象ＯＢを特定する（ステップＳ６）。ステップＳ６で、比較部１５３は、検出したマーカーＭをデコードすることにより撮像画像データに写る対象ＯＢを特定する情報を取得して、対象ＯＢを特定する。

比較部１５３は、撮像画像データベース１２６を参照し、撮像制御部１４９が特定した対象ＯＢに対応する過去の撮像画像データが撮像画像データベース１２６に含まれるか否かを判定する（ステップＳ７）。該当する撮像画像データがない場合（ステップＳ７；Ｎｏ）、比較部１５３は後述するステップＳ１３に移行する。

撮像制御部１４９が特定した対象ＯＢに対応する過去の撮像画像データが撮像画像データベース１２６に含まれる場合（ステップＳ７；Ｙｅｓ）、比較部１５３は、該当する撮像画像データを取得する（ステップＳ８）。比較部１５３は、ステップＳ８で取得した過去の撮像画像データと、ステップＳ１で取得したカメラ６１の撮像画像データ、すなわち最新の撮像画像データとを比較する（ステップＳ９）。比較部１５３は、比較の結果に基づき、異常を報知すべき状況か否かを判定する（ステップＳ１０）。

図１０は、比較部１５３の動作の説明図であり、２つの撮像画像を比較して対象ＯＢの状態の変化を検出する動作の例を示す。
この例では、比較部１５３は、対象ＯＢ１を撮像した２つの撮像画像データを比較する。具体的には、カメラ６１が撮像した最新の撮像画像ＰＮと、撮像画像ＰＮの撮像日時よりも前に撮像されて撮像画像データベース１２６に格納された撮像画像ＰＯとを比較する。撮像画像ＰＯは、例えば、撮像画像データベース１２６に格納された対象ＯＢ１の撮像画像データのうち、撮像日時が最近（最新）の撮像画像データである。

撮像画像ＰＮは、ステップＳ１で取得された最新の撮像画像であり、撮像画像ＰＯは、撮像画像データベース１２６から取得された撮像画像データが示す画像である。撮像画像ＰＮ及び撮像画像ＰＯは、マーカーＭに対してほぼ同じ方向、同じ距離から撮像された画像である。撮像画像ＰＮ、ＰＯにおけるマーカーＭ１−１〜Ｍ１−４の位置は、それぞれ、ほぼ同一位置にある。

比較部１５３が撮像画像ＰＮと撮像画像ＰＯとを比較する処理は、例えば、次の（Ｉ）〜（ＩＩＩ）である。
（Ｉ）比較部１５３は、撮像画像ＰＮと撮像画像ＰＯとの差分を検出する。比較部１５３は、検出した差分の大きさが、報知設定データ１２５で設定された基準を超える場合に、報知をすべき異常（変化）があると判定する。報知をすべき異常は、例えば、対象ＯＢ１の体動による位置の変化、或いは、姿勢の変化であり、必ずしも対象ＯＢ１である人の健康状態の異常を意味しない。この例では、比較部１５３は、撮像画像ＰＮと撮像画像ＰＯの全体の差分を求めてもよい。また、マーカーＭ１−１〜Ｍ１−４で囲まれた範囲内の差分を求めてもよい。また、マーカーＭ１−１〜Ｍ１−４の位置を基準として定められる所定範囲内の差分を求めてもよい。このようにマーカーＭ１−１〜Ｍ１−４を基準とする場合、実質的にマーカーＭ１−１〜Ｍ１−４を用いた位置合わせを行うので、より正確に対象ＯＢ１の状態の変化に相当する差分を検出できる。

（ＩＩ）比較部１５３は、撮像画像ＰＮ、及び撮像画像ＰＯのそれぞれから対象ＯＢ１の画像を検出し、対象ＯＢ１の画像の位置及び／またはサイズを比較する。比較部１５３は、対象ＯＢ１の画像の位置及び／またはサイズの差が、報知設定データ１２５で設定された基準を超える場合に、報知をすべき異常があると判定する。図１０の例では、撮像画像ＰＮの幅方向（水平方向）における対象ＯＢ１の画像の位置をＰ１とし、撮像画像ＰＯの幅方向における対象ＯＢ１の画像の位置をＰ２とする。比較部１５３は、対象ＯＢ１の画像を撮像画像ＰＮ、ＰＯから検出し、位置Ｐ１、Ｐ２を求め、これらの差分を求める。例えば、対象ＯＢ１の画像の色や形状を示す特徴量のデータを利用することで、撮像画像ＰＮ、ＰＯから対象ＯＢ１の画像を抽出できる。この特徴量のデータは、観察対象データ１２４に含めて予め記憶すればよい。

（ＩＩＩ）比較部１５３は、撮像画像ＰＮ、及び撮像画像ＰＯのそれぞれから対象ＯＢ１の画像を検出し、対象ＯＢ１の画像における特徴点を検出する。比較部１５３は、マーカーＭ１−１〜Ｍ１−４の少なくともいずれかと、特徴点との相対位置を求め、求めた相対位置を、撮像画像ＰＮ、ＰＯの間で比較する。図１０の例で、比較部１５３は、撮像画像ＰＮ、ＰＯにおける対象ＯＢ１の画像のうち、対象ＯＢ１の頭頂部を特徴点として検出する。比較部１５３は、特徴点と、マーカーＭ１−１との間の距離Ｄ１を求める。そして、比較部１５３は、撮像画像ＰＮにおける距離Ｄ１と、撮像画像ＰＯにおける距離Ｄ１との差を求め、その差が、報知設定データ１２５で設定された基準を超える場合に、報知をすべき異常があると判定する。なお、特徴点は、目、口、鼻等であってもよいし、腕や足など顔以外の身体の一部であってもよい。

上記の（Ｉ）〜（ＩＩＩ）はあくまで一例であり、撮像画像ＰＮと撮像画像ＰＯとを比較して対象ＯＢ１の位置や姿勢の変化を検出する方法として、他の方法を用いることも勿論可能である。

比較部１５３は、比較の結果に基づき、異常を報知すべき状況でないと判定した場合（ステップＳ１０；Ｎｏ）、異常がないことを報知する（ステップＳ１１）。例えば、表示制御部１４７が、異常がないことを示すテキストや画像を表示領域Ｖに表示する。また、例えば、表示領域Ｖにおいて、異常が無いことを示す色のマーク等を表示しても良い。また、ステップＳ１１で、報知を省略してもよい。

一方、比較部１５３は、比較の結果に基づき、異常を報知すべき状況であると判定した場合（ステップＳ１０；Ｙｅｓ）、異常を報知する（ステップＳ１２）。例えば、表示制御部１４７が、異常を示すテキストや画像を表示領域Ｖに表示する。また、例えば、表示領域Ｖにおいて、異常を示す色のマーク等を表示しても良いし、表示領域Ｖの全体の背景色を、報知用の色に変更してもよい。

その後、比較部１５３は、ステップＳ６で特定した対象ＯＢに対応付けて、ステップＳ１で取得した撮像画像データを、撮像画像データベース１２６に格納する（ステップＳ１３）。
制御部１５０は、動作を終了するか否かを判定し（ステップＳ１４）、動作を終了しない場合は（ステップＳ１４；Ｎｏ）、ステップＳ１に戻る。また、例えば操作部１１０の操作により動作終了が指示された場合等には（ステップＳ１４；Ｙｅｓ）、本処理を終了する。

この撮像システム１を、例えば病院や介護施設に適用する場合、病院において患者を看護し巡回監視する医療スタッフ、或いは、介護施設において被介護者を巡回監視する介護スタッフが、ＨＭＤ１００を装着する。この場合、ＨＭＤ１００により、患者や被介護者の様子を非接触で監視する方法を実現できる。病院の入院患者については、意識のある患者は時間の経過とともに寝返りを打つなど姿勢の変化があり、症状が重い患者は、寝返り等の動作を行わない状態となることがある。被介護者についても同種のことがいえる。従って、巡回を行うスタッフは、患者や被介護者の動きの有無を判断できることが望ましいが、一定時間毎の巡回の間に動きがあったかどうかを的確に判断するためには、前回の巡回時の様子を記憶しておく必要があるなど、容易でない。撮像システム１を適用することで、スタッフがＨＭＤ１００を装着して巡回を行えば、同一患者について前回巡回時の状態と今回の巡回時の状態との差に基づき、動きの有無等を検出できる。これにより、スタッフの負担を軽減し、患者や被介護者等の対象ＯＢの状態の変化を、正確に検出することができ、必要に応じて、すみやかに介護や医療面の対処をすることができる。また、スタッフが患者を観察しながら撮影を行うため、巡回時に敢えてカメラを取り出して撮影する場合のような圧迫感を、患者や被介護者に与えるおそれはない。さらに、患者や被介護者の全てのベッドに監視カメラを設置して集中管理するような大規模なシステムよりも、撮像システム１は、導入が容易であるという利点がある。

以上説明したように、本発明の撮像システム、撮像システムの制御方法を適用した実施形態の撮像システム１は、観察対象である対象ＯＢに対応して配置されるマーカーＭと、対象ＯＢを観察する使用者が装着するＨＭＤ１００と、を備える。本発明の表示装置を適用したＨＭＤ１００は、カメラ６１と、カメラ６１の撮像画像を記憶する記憶部１２２と、マーカーＭに基づき、対象ＯＢに対するカメラ６１の撮像範囲または撮像方向を検出する撮像制御部１４９とを備える。また、ＨＭＤ１００は、カメラ６１の撮像画像と、記憶部１２２が記憶する過去の撮像画像とを比較する比較部１５３を備える。
この構成によれば、対象ＯＢを観察する使用者が装着するＨＭＤ１００によって、対象ＯＢを撮像することにより、対象ＯＢの状態を観察あるいは監視等を行える。対象ＯＢに対応して設ける必要がある設備はマーカーＭであり、対象ＯＢの数に関わらずシンプルな構成で実現できる。また、対象ＯＢに対するカメラ６１の撮像範囲または撮像方向を検出することにより、例えば、カメラ６１の撮像範囲または撮像方向が適切になるように、カメラ６１の向き等を調整することができる。この場合、ＨＭＤ１００は、対象ＯＢの状態の検出に適した撮像画像を得ることができる。

比較部１５３は、上述した（Ｉ）、（ＩＩ）の方法により、カメラ６１の撮像画像と、記憶部１２２が記憶する過去の撮像画像との差分に基づき、対象ＯＢの状態変化を検出してもよい。これにより、対象ＯＢを撮像した撮像画像を、その撮像時点よりも前に撮像した撮像画像と比較して、これらの画像の差分をもとに対象ＯＢの状態変化を検出する。このため、対象ＯＢの状態変化を容易に、的確に検出できる。

比較部１５３は、上述した（ＩＩＩ）の方法により、カメラ６１の撮像画像におけるマーカーＭの画像と対象ＯＢの画像との相対位置と、記憶部１２２が記憶する過去の撮像画像におけるマーカーＭの画像と対象ＯＢの画像との相対位置と、を比較する。これにより、比較部１５３は、対象ＯＢの状態変化を検出してもよい。この構成によれば、マーカーＭの位置を基準とすることにより、撮像画像を用いて、対象ＯＢの動きや姿勢の変化等を、より正確に検出できる。

比較部１５３は、対象ＯＢの動作による状態変化の有無を検出してもよく、この場合、対象ＯＢが動いたかどうかを検出できる。また、比較部１５３は、対象ＯＢの状態変化として、対象ＯＢの姿勢の変化を検出してもよく、この場合、対象ＯＢの姿勢の変化を検出できる。

また、比較部１５３は、対象ＯＢの状態変化が予め設定された条件に該当する場合に、報知を行うので、対象ＯＢを観察する使用者の負担を軽減できる。

また、マーカーＭは画像コードであり、ＨＭＤ１００が備える撮像制御部１４９は、カメラ６１の撮像画像から画像コードを検出することにより、対象ＯＢに対するカメラ６１の撮像範囲または撮像方向を検出する。これにより、撮像画像から画像コードを検出する簡易な処理によって、カメラ６１の撮像範囲または撮像方向を、的確に検出できる。

また、マーカーＭは、対象ＯＢを特定可能な情報をコード化した画像コードであってもよく、この場合、画像コードを検出してデコードすることで、撮像画像を用いて対象ＯＢを特定できる。

また、記憶部１２２は、カメラ６１の撮像画像を対象ＯＢに対応付けて記憶する。比較部１５３は、カメラ６１の撮像画像に基づき対象ＯＢを特定し、特定した対象ＯＢに対応付けて記憶部１２２が記憶する過去の撮像画像を、カメラ６１が撮像した撮像画像と比較する。このため、対象ＯＢごとに、過去に撮像された撮像画像を使用して対象ＯＢの状態変化を検出できる。これにより、例えば、対象ＯＢが複数ある場合に、それぞれの対象ＯＢについて正確に状態変化を検出できる。

また、撮像制御部１４９は、カメラ６１の撮像画像からマーカーＭの画像を検出することにより、対象ＯＢに対するカメラ６１の撮像範囲または撮像方向を検出してもよい。この場合、カメラ６１の撮像範囲または撮像方向を、撮像画像を利用して正確に検出できる。

また、撮像制御部１４９は、対象ＯＢに対するカメラ６１の撮像範囲または撮像方向が、予め設定された撮像条件から逸脱する場合に、カメラ６１の撮像範囲または撮像方向を撮像条件に適合させるための案内を実行する。例えば、撮像制御部１４９は、表示領域ＶにガイドＴ１〜Ｔ４を表示させる。この構成によれば、使用者が、カメラ６１の撮像範囲または撮像方向を、適切な状態となるように調整できる。

また、ＨＭＤ１００は、使用者が外景を視認可能に画像を表示する画像表示部２０を備える。カメラ６１は、使用者が外景として対象ＯＢを視認する状態で、対象ＯＢ及びマーカーＭを含む撮像範囲を撮像する。この構成によれば、使用者が対象ＯＢを視認する状態でカメラ６１による撮像を実行し、対象ＯＢの状態の変化を検出できる。

また、画像表示部２０は、外景に重ねて画像を表示する表示領域Ｖを有し、撮像制御部１４９は、表示領域Ｖにおける所定位置に、使用者が外景として視認するマーカーＭが重なる場合、カメラ６１により撮像を実行させる。このため、対象ＯＢの状態の変化を検出する目的に適した撮像画像を、容易に得ることができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、カメラ６１は、可視光による撮像を実行する構成であってもよいが、赤外カメラとして構成し、赤外光による撮像を行う構成であってもよい。この場合、カメラ６１は暗所においても対象ＯＢを撮像できる。また、対象ＯＢが生体である場合、カメラ６１の撮像画像に基づいて対象ＯＢの体表面の温度を検出できる。この場合、例えば、比較部１５３が撮像画像ＰＮ、ＰＯの比較結果だけでなく、カメラ６１の撮像画像から検出される対象ＯＢの体表面温度に基づいて異常の有無を判定してもよい。また、カメラ６１の撮像を補助するため、画像表示部２０が、カメラ６１の画角Ｃに赤外光を投射する投射部を備える構成としてもよい。

また、マーカーＭは、赤外光を発する発光部で構成してもよい。また、再帰性反射材によりマーカーＭを構成してもよい。
また、対象ＯＢが寝ているベッドの脚や支柱、その他の居室Ｒ１〜Ｒ４内における設備、什器、備品等をマーカーＭとして用いてもよい。

また、ＨＭＤ１００は、カメラ６１の撮像画像データを、通信部１１７によって、外部のサーバー装置（図示略）に送信してもよい。この場合、図８を参照して説明した比較部１５３の動作を、サーバー装置が実行してもよい。また、撮像画像データベース１２６を、サーバー装置が有する構成としてもよい。この場合、ＨＭＤ１００における処理の負荷を、より軽減することができ、高精度の判定を行える。また、カメラ６１の撮像画像を大量に、一元的に記憶できるので、複数のＨＭＤ１００と１または複数のサーバー装置とを備える撮像システム１を構成してもよい。

また、上記実施形態において、ＨＭＤ１００は、画像表示部２０の前部フレーム２７に固定されるカメラ６１を備える構成とした。本発明はこれに限定されず、例えば、画像表示部２０に立設されたカメラ６１を用いてもよいし、カメラ６１を画像表示部２０とは別体で構成してもよい。この場合、画像表示部２０の表示領域Ｖとカメラ６１の画角Ｃとを対応付けることが可能であればよい。

また、例えば、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、撮像システム１の適用対象は、上記実施形態で説明した例に限定されない。すなわち、対象ＯＢは人に限定されず、生物及び無生物を問わず、直接または撮像画像により監視、観察が行われる対象であればよい。また、撮像システム１が対象とする対象ＯＢの数は任意であり、カメラ６１により撮像可能であればよい。

また、図６、図７等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置や記録媒体に記憶されたプログラムを通信部１１７、外部コネクター１８４、外部メモリーインターフェイス１８６等により取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１…撮像システム、１０…制御装置、１４…トラックパッド、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、２６…右導光板、２８…左導光板、６１…カメラ（撮像部）、６３…マイク、１００…ＨＭＤ（表示装置）、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…観察対象データ、１２５…報知設定データ、１２６…撮像画像データベース、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御部、１５３…比較部、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、Ｍ、Ｍ１〜Ｍ６…マーカー、ＯＢ、ＯＢ１〜ＯＢ６…対象（観察対象）、Ｒ１〜Ｒ４…居室、ＷＡ…通路。

Claims (15)

1. 観察対象に対応して配置されるマーカーと、前記観察対象を観察する使用者が装着する表示装置と、を備え、
   前記表示装置は、
   撮像部と、
   前記撮像部の撮像画像を記憶する記憶部と、
   前記マーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出する撮像制御部と、
   前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較する比較部と、
   を備えることを特徴とする撮像システム。
2. 前記比較部は、前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像との差分に基づき、前記観察対象の状態変化を検出すること、
   を特徴とする請求項１記載の撮像システム。
3. 前記比較部は、前記撮像部が撮像する撮像画像における前記マーカーの画像と前記観察対象の画像との相対位置と、前記記憶部が記憶する過去の前記撮像画像における前記マーカーの画像と前記観察対象の画像との相対位置と、を比較することにより、前記観察対象の状態変化を検出すること、
   を特徴とする請求項１または２記載の撮像システム。
4. 前記比較部は、前記観察対象の動作による状態変化の有無を検出すること、
   を特徴とする請求項２または３記載の撮像システム。
5. 前記比較部は、前記観察対象の状態変化として、前記観察対象の姿勢の変化を検出すること、
   を特徴とする請求項２から４のいずれかに記載の撮像システム。
6. 前記比較部は、前記観察対象の状態変化が予め設定された条件に該当する場合に、報知を行うこと、
   を特徴とする請求項１から５のいずれかに記載の撮像システム。
7. 前記マーカーは画像コードであり、
   前記表示装置が備える前記撮像制御部は、前記撮像部の撮像画像から前記画像コードを検出することにより、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出すること、
   を特徴とする請求項１から６のいずれかに記載の撮像システム。
8. 前記マーカーは、前記観察対象を特定可能な情報をコード化した前記画像コードであること、
   を特徴とする請求項７記載の撮像システム。
9. 前記記憶部は、前記撮像部の撮像画像を前記観察対象に対応付けて記憶し、
   前記比較部は、前記撮像部の撮像画像に基づき前記観察対象を特定し、特定した前記観察対象に対応付けて前記記憶部が記憶する過去の撮像画像を、前記撮像部が撮像した撮像画像と比較すること、
   を特徴とする請求項１から８のいずれかに記載の撮像システム。
10. 前記撮像制御部は、前記撮像部の撮像画像から前記マーカーの画像を検出することにより、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出すること、
    を特徴とする請求項１から９のいずれかに記載の撮像システム。
11. 前記撮像制御部は、前記観察対象に対する前記撮像部の撮像範囲または撮像方向が、予め設定された撮像条件から逸脱する場合に、前記撮像部の撮像範囲または撮像方向を前記撮像条件に適合させるための案内を実行すること、
    を特徴とする請求項１０記載の撮像システム。
12. 前記表示装置は、前記使用者が外景を視認可能に画像を表示する表示部を備え、
    前記撮像部は、前記使用者が前記外景として前記観察対象を視認する状態で、前記観察対象及び前記マーカーを含む撮像範囲を撮像すること、
    を特徴とする請求項１から１１のいずれかに記載の撮像システム。
13. 前記表示部は、前記外景に重ねて画像を表示する表示領域を有し、
    前記撮像制御部は、前記表示領域における所定位置に、前記使用者が外景として視認する前記マーカーが重なる場合、前記撮像部により撮像を実行させること、
    を特徴とする請求項１２記載の撮像システム。
14. 観察対象を観察する使用者が装着する表示装置であって、
    撮像部と、
    前記撮像部の撮像画像を記憶する記憶部と、
    前記観察対象に対応して配置されるマーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出する撮像制御部と、
    前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較する比較部と、
    を備えることを特徴とする表示装置。
15. 観察対象に対応して配置されるマーカーと、前記観察対象を観察する使用者が装着する表示装置と、を備える撮像システムの制御方法において、
    前記表示装置により、
    撮像部で撮像した撮像画像を記憶部に記憶し、
    前記マーカーに基づき、前記観察対象に対する前記撮像部の撮像範囲または撮像方向を検出し、
    前記撮像部が撮像する撮像画像と、前記記憶部が記憶する過去の前記撮像画像とを比較すること、
    を特徴とする撮像システムの制御方法。

Images