次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
A−2.特定画像表示処理:
A−3.特定画像非表示処理:
B.第2実施形態:
C.第3実施形態:
D.変形例:
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、サーモグラフィー62と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図3参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
サーモグラフィー62は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。サーモグラフィー62は、物体から放射され、温度によって異なる赤外線を検出し、検出した赤外線エネルギー量を温度に換算し、温度の分布を表す温度分布画像(赤外線熱画像)を生成する赤外線サーモグラフィーである。サーモグラフィー62の画角は、撮像する画像の領域が画像表示部20を装着した使用者の視線と同じになるように設定されている。なお、サーモグラフィー62は、請求項における温度検出部に相当する。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部10は、頭部装着型表示装置100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図2は、頭部装着型表示装置100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、操作部135に配置されたトラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、視線方向判定部166、および、特定画像制御部165として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
視線方向判定部166は、後述する9軸センサー66が検出した画像表示部20の向きや動きに基づいて、使用者の視線方向を推定する。
特定画像制御部165は、閾値以上の温度の部分を特定画像として表示させる高熱検出アプリケーション(以下、単に「熱検出アプリ」とも呼ぶ)である。特定画像制御部165は、サーモグラフィー62により取得された温度分布画像に基づいて、閾値以上の温度である領域を識別する。特定画像制御部165は、閾値以上の温度であることを使用者に視認させるために、識別された領域と同じ大きさで赤色の画像を示す特定画像データを作成する。また、特定画像制御部165は、特定画像データを基に、特定画像における色や領域を変化させた画像データを作成できる。特定画像制御部165は、作成した特定画像データを制御信号として画像処理部160および表示制御部190へと送信する。なお、特定画像制御部165は、請求項における制御部に相当する。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、9軸センサー66と、サーモグラフィー62と、を備えている。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部20の向きが特定され、視線方向判定部166は、使用者の視線方向を特定する。視線方向判定部166は、検出された加速度および角速度が閾値以下の場合には、使用者の視線方向が固定されている、すなわち、使用者の視線方向が固定されていると判定する。なお、9軸センサー66と視線方向判定部166とは、請求項における視線方向特定部に相当する。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。バックライト制御部201,202とバックライト221,222とは、請求項における光源に相当し、LCD制御部211,212とLCD241,242とは、請求項における画像形成パネルに相当する。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.特定画像表示処理:
図4は、特定画像表示処理の流れを示す説明図である。特定画像表示処理では、特定の検出条件が選択された後に、選択された検出条件に応じて特定画像データが作成されて、画像表示部20に特定画像が表示される。
特定画像表示処理では、初めに、操作部135が所定の操作を受け付けると、特定画像制御部165は、アプリの選択メニュー画面を画像表示部20に表示させる(ステップS11)。図5は、使用者に視認される選択メニュー画面IMG1の一例を示す説明図である。図5には、使用者が視認する視野VRが示されている。画像表示最大領域PNは、画像光が形成される最大領域の外枠を示している。なお、図5において、画像表示最大領域PNの外枠の破線は、便宜上示されたものであり、使用者に視認されない。図5に示すように、画像表示最大領域PN内には、選択メニュー画面IMG1と、カーソルCSと、が示されている。画像表示最大領域PN内に表示された選択メニュー画面IMG1には、選択可能な複数のアプリの選択ボタンが含まれている。操作部135が使用者に操作されることにより、カーソルCSが画像表示最大領域PN内を動いて、いずれかのボタンにカーソルCSが重なった状態で決定キー11の押し下げられると、当該ボタンが選択される。
選択メニュー画面IMG1が表示された後(図4のステップS11)、使用者により特定のアプリが選択されると(ステップS12:アプリ選択)、特定画像制御部165は、選択されたアプリ(以下、単に「選択アプリ」とも呼ぶ)に対応した画面を画像表示部20に表示させる。選択アプリが検出アプリである場合には、特定画像制御部165は、検出条件の入力画面を画像表示部20に表示させる(ステップS13)。ステップS12の処理において、選択メニュー画面IMG1に含まれる過去履歴が選択された場合には(ステップS12:履歴選択)、特定画像制御部165は、過去の選択アプリ、および、それぞれの選択アプリの検出条件を画像表示部20に表示させる(ステップS14)。なお、本実施形態では、熱検出アプリが選択された場合について、説明する。熱検出アプリでは、検出条件の入力画面として、検出する下限の温度の設定画面が画像表示部20に表示される。
ステップS13の処理、および、ステップS14の処理の後、操作部135が使用者に操作されることで検出条件である下限の温度を設定する(ステップS15)。下限の温度が設定されると、特定画像制御部165は、熱検出アプリに関連する装置であるサーモグラフィー62および9軸センサー66を起動させる(ステップS16)。
次に、特定画像制御部165は、サーモグラフィー62によって撮像された温度分布画像における検出条件に該当する閾値以上の温度の領域を検出する(ステップS17)。閾値以上の温度の領域が検出されない場合には(ステップS17:NO)、引き続き、特定画像制御部165は、閾値以上の温度の領域を監視する。閾値以上の温度の領域が検出された場合には(ステップS17:YES)、視線方向判定部166は、使用者の視線方向が固定されているかを判定する(ステップS18)。
ステップS18の処理において、使用者の視線方向が固定されていないと判定された場合には(ステップS18:NO)、引き続き、閾値以上の温度の領域の検出を監視しつつ(ステップS17)、使用者の視線方向が固定される状態になるのを待機する(ステップS18)。ステップS18の処理において、使用者の視線方向が固定されたと判定された場合には(ステップS18:YES)、特定画像制御部165は、特定画像を表示する位置として、閾値以上の温度の領域を特定する(ステップS19)。なお、閾値以上の温度の領域が検出された状態では、使用者の視線方向が固定されていない場合があるため、閾値以上の温度の領域が検出され、かつ、使用者の視線方向が固定された場合に、閾値以上の温度の領域を特定する。
閾値以上の温度の領域が特定されると(ステップS19)、特定画像制御部165は、特定した領域に対応する特定画像データを設定する(ステップS20)。図6は、使用者に視認される特定画像の一例を示す説明図である。図6には、使用者に視認される視野VRが示されている。図6には、画像表示最大領域PN内に表示され、特定画像データを基に生成された特定画像SI1および特定画像SI2(以下、合わせて「特定画像SI1,SI2」とも呼ぶ)が示されている。特定画像SI1は、サーモグラフィー62によって検出された閾値以上の温度の領域を示す画像である。特定画像SI2は、特定画像SI1が示す領域が閾値以上の温度であり、高温で危険であることを使用者に促すメッセージ画像である。
特定画像データが設定されると(図4のステップS20)、特定画像制御部165は、設定した特定画像データに基づいて特定画像および複数の中間画像を生成して画像表示部20に表示させる(ステップS21)。図7は、使用者に視認される中間画像の一例を示す説明図である。図7には、画像表示最大領域PN内に表示された中間画像MI1および中間画像MI2(以下、合わせて「中間画像MI1,MI2」とも呼ぶ)が示されている。中間画像MI1は、サーモグラフィー62によって検出された閾値以上の温度の領域、すなわち、特定画像SI1と同じ領域を示す画像である。また、中間画像MI2は、特定画像SI2と同じ領域を示す画像である。なお、図6および図7では、輝度に対応した画像の色の濃さがハッチングの濃さによって示されている。
中間画像は、特定画像SI1,SI2の輝度を100%とした場合に、特定画像データに基づいて輝度を100%未満として生成された画像である。すなわち、複数の中間画像と特定画像SI1,SI2とは、同一の特定画像データを基に生成された輝度のみが異なる画像である。そのため、中間画像は、輝度の数によって複数生成される。例えば、輝度が10,35,65,100%に設定されると、特定画像データを基に、3つの中間画像と1つの特定画像が生成される。
図8は、画像表示処理におけるバックライト221,222の輝度の時間推移の一例を示す説明図である。図8には、横軸を時間軸とした場合に、画像表示部20に画像が表示されていない状態から特定画像SI1,SI2が表示されるまでの期間TE(例えば、3秒間)における輝度の変化が示されている。同一の特定画像データを基に、輝度を変化させることで、画像表示部20に複数の中間画像が表示された後に、特定画像SI1,SI2が表示される。
図8に示すように、特定画像制御部165は、中間画像MI1,MI2を表示する場合に、時間の経過に伴い輝度の増加率が大きくなるようにバックライト221,222の輝度を増加させる。そのため、特定画像制御部165は、閾値以上の温度が検出された場合に、検出された瞬間に特定画像SI1,SI2を使用者に視認させるのではなく、輝度の異なる複数の中間画像を視認させた後に、特定画像SI1,SI2を視認させることで、特定画像SI1,SI2が徐々に浮かび上がってくるように視認させる(以下、「フェードイン表示」とも呼ぶ)。なお、複数の中間画像および特定画像SI1,SI2のそれぞれは、請求項における複数種類の第1の画像光および第2の画像光に相当する。
複数の中間画像および特定画像SI1,SI2が画像表示部20に表示されると(図4のステップS21)、特定画像制御部165は、特定画像表示処理を終了する。
A−3.特定画像非表示処理:
図9は、特定画像非表示処理の流れを示す説明図である。特定画像非表示処理では、設定された検出条件により検出されて特定画像が画像表示部20に表示されていた状態から、特定画像が検出条件に該当しなくなった場合や、使用者の視線方向が変更された場合に、特定画像を非表示の状態へと変化させる。
特定画像非表示処理では、初めに、特定画像制御部165は、閾値以上の温度として検出した領域の温度が、引き続き、閾値以上の温度であるかを判定する(ステップS31)。閾値以上の温度であると判定された場合には(ステップS31:YES)、次に、視線方向判定部166は、使用者の視線方向の変化を検出する(ステップS32)。使用者の視線方向の変化が検出されていない、すなわち、使用者の視線方向が固定されたままであると判定された場合には(ステップS32:NO)、特定画像制御部165は、引き続き、閾値以上の温度として検出されていた領域の温度を監視しつつ(ステップS31)、視線方向判定部166は、使用者の視線方向を監視する(ステップS32)。
ステップS31の処理において、閾値以上の温度として検出されていた領域の温度が閾値未満であると判定された場合(ステップS31:NO)、および、ステップS32の処理において、使用者の視線方向の変化が検出された場合には(ステップS32:YES)、特定画像制御部165は、画像表示部20に表示していた特定画像SI1,SI2を、時間の経過に伴って輝度の異なる複数の中間画像へと変化させた後に、輝度を0%として中間画像を非表示にする(ステップS33)。
図10は、画像非表示処理におけるバックライト221,222の輝度の時間推移の一例を示す説明図である。図10には、横軸を時間軸とした場合に、画像表示部20に特定画像SI1,SI2が画像表示部20に表示された状態から画像表示部20に画像が表示されなくなるまでの期間TEにおける輝度の変化が示されている。図10に示すように、特定画像制御部165は、画像表示部20に表示する画像を、特定画像SI1,SI2から輝度の異なる複数の中間画像へと変化させる場合に、時間の経過に伴い輝度の減少率が大きくなるように輝度を減少させる。そのため、閾値以上の温度が検出されなくなった場合、および、使用者の視線方向が変化した場合等に、瞬間的に特定画像SI1,SI2が使用者に視認されなくなるのではなく、特定画像SI1,SI2が輝度の異なる複数の中間画像へと変化して、徐々に消えていくように使用者に視認される(以下、単に「フェードアウト表示」とも呼ぶ)。
特定画像SI1,SI2および複数の中間画像が画像表示部20に表示されると(図9のステップS33)、特定画像制御部165は、特定画像非表示処理を終了する。
以上説明したように、本実施形態における頭部装着型表示装置100では、操作部135は、特定画像データを基に生成され、時間の経過に伴って変化する特定画像SI1,SI2およい中間画像MI1,MI2を画像表示部20に表示させる。そのため、本実施形態の頭部装着型表示装置100では、使用者に視認される画像が時間の経過に伴って緩やかに変化するため、使用者の視覚に対する負担が軽減される。
また、本実施形態における頭部装着型表示装置100では、特定画像制御部165は、閾値以上の温度を検出してから、輝度の異なる複数の中間画像を画像表示部20に表示させた後に、特定画像SI1,SI2を画像表示部20に表示させる。複数の中間画像は、サーモグラフィー62により取得された温度分布画像に基づいて作成された特定画像データを基に生成される。また、特定画像SI1,SI2は、特定画像データを基に生成され、複数の中間画像とは異なる画像である。そのため、本実施形態の頭部装着型表示装置100では、使用者に対して、外景のみが視認されている状態からいきなり特定画像SI1,SI2を視認させるのではなく、時間の経過に伴って中間画像を視認させた後に特定画像SI1,SI2を視認させる。よって、使用者が視認する外景および画像の変化が緩やかであるため、使用者の視覚に対する負担をさらに軽減できる。
また、本実施形態における頭部装着型表示装置100では、複数の中間画像と特定画像SI1,SI2とは、同一の特定画像データを基に生成された輝度のみが異なる画像である。特定画像制御部165は、バックライト221,222の光量を調整することにより、複数の中間画像と特定画像SI1,SI2との輝度が異なるように調整する。そのため、本実施形態の頭部装着型表示装置100では、1つの画像データに基づいて、輝度を制御するだけで複数の中間画像および特定画像SI1,SI2を生成することができるため、簡単な制御によって使用者の視覚に対する負担を軽減できる。
また、本実施形態における頭部装着型表示装置100では、特定画像制御部165は、予め設定された期間TE(例えば、3秒間)の間に、輝度の異なる複数の中間画像を画像表示部20に表示させて、期間TEの終了時に、複数の中間画像の輝度のそれぞれよりも輝度の大きい特定画像SI1,SI2を画像表示部20に表示させる。特定画像制御部165は、中間画像MI1,MI2を表示する場合に、時間の経過に伴い輝度の増加率が大きくなるようにバックライト221,222の輝度を増加させる。また、特定画像制御部165は、期間TEの間に、画像表示部20に表示された特定画像SI1,SI2から輝度の異なる複数の中間画像へと変化させて、期間TEの終了時に画像表示部20に画像が表示されていない状態にする。特定画像制御部165は、画像表示部20に表示する画像を、特定画像SI1,SI2から輝度の異なる複数の中間画像へと変化させる場合に、時間の経過に伴い輝度の減少率が大きくなるように輝度を減少させる。そのため、本実施形態の頭部装着型表示装置100では、複数の中間画像を経て特定画像SI1,SI2が徐々に浮かび上がってくるように使用者に視認させることができ、使用者の視覚に対する負担をさらに軽減できる。
また、本実施形態における頭部装着型表示装置100では、サーモグラフィー62が温度の分布を表す温度分布画像を生成し、特定画像制御部165が生成された温度分布画像によって特定画像データを作成する。そのため、本実施形態の頭部装着型表示装置100では、外景の温度変化に伴う画像を使用者に視認させることができ、使用者の利便性が向上する。
また、本実施形態における頭部装着型表示装置100では、9軸センサー66が使用者の頭部の動きを検出し、視線方向判定部166が検出された頭部の動きによって使用者の視線方向を特定する。特定画像制御部165は、使用者の視線方向が固定された場合に、特定画像データを作成する。そのため、本実施形態の頭部装着型表示装置100では、使用者の視線方向が固定されていない場合に、中間画像および特定画像SI1,SI2を使用者に視認させない。よって、使用者は、視線方向を変化させても透過された外景が変化するだけで、生成された画像を視認せずに済むため、視認する外景の変化が少なく、使用者の視覚に対する負担がさらに軽減される。
B.第2実施形態:
図11は、第2実施形態における頭部装着型表示装置100aの構成を機能的に示すブロック図である。頭部装着型表示装置100aでは、サーモグラフィー62の代わりにカメラ61が画像表示部20aに形成され、制御部10aには、GPSモジュール134と、無線通信部132と、画像判定部168と、が形成されている点が、第1実施形態の頭部装着型表示装置100と異なり、他の構成については同じである。
カメラ61は、サーモグラフィー62と同じように、使用者が画像表示部20aを装着した際の使用者の眉間に対応する位置に配置されている。カメラ61は、使用者の視線方向の外部の景色である外景を撮像し、外景画像を取得する。カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。カメラ61は、請求項における撮像部に相当する。
GPSモジュール134は、GPS衛星からの信号を受信することにより、画像表示部20aの現在位置を特定して、位置を示す情報を生成する。画像表示部20aの現在位置が検出されることで、頭部装着型表示装置100aの使用者の現在位置が特定される。なお、GPSモジュール134は、請求項における位置情報取得部に相当する。
無線通信部132は、無線LANやブルートゥースといった所定の無線通信規格に則って、例えば、天候情報や道路交通情報といった各種情報を、他の機器との間で送受信する。画像判定部168は、記憶部120に予め記憶された画像データの表わす特定の対象画像と同じ画像(例えば、「空」の画像)が外景画像に含まれているか否かを、パターンマッチングによって判定する。画像判定部168は、請求項における対象物抽出部に相当する。
第2実施形態の特定画像制御部165は、温度の検出のみでなく、外景画像に含まれる特定の対象画像の検出や使用者の現在位置等に基づいて、種々の制御を行なって特定画像および複数の中間画像を画像表示部20aに表示させる。例えば、特定画像制御部165は、外景画像に含まれる空の領域を特定して、使用者の視線方向が固定されている場合には、無線通信部132を介して受信した天気情報を示す特定画像データを生成する。
図12は、第2実施形態における特定画像表示処理の流れを示す説明図である。第2実施形態の特定画像表示処理では、第1実施形態と比較して、選択される検出アプリ、および、生成される特定画像および複数の中間画像が異なる。そのため、第2実施形態では、第1実施形態と比較して、新たにステップS61の予告画像の生成および表示の処理が追加され、その他の点については、第1実施形態と同じである。なお、第2実施形態では、検出アプリである「天気情報(図5)」のアプリ(以下、「お天気アプリ」とも呼ぶ)が選択された場合について説明する。また、予告画像は、請求項における複数種類の第1の画像光に相当する。
特定画像表示処理において、お天気アプリの検出条件が設定されると(図12のステップS45)、特定画像制御部165は、お天気アプリに関連する装置であるカメラ61、9軸センサー66、無線通信部132、および、GPSモジュール134を起動させる(ステップS46)。
次に、画像判定部168は、検出条件として、外景画像に対象画像としての「空」が所定の領域以上(例えば外景画像の半分以上)に含まれているかを判定する(ステップS47)。外景画像に対象画像が含まれていないと判定された場合には(ステップS47:NO)、画像判定部168は、引き続き、対象画像の検出を監視する(ステップS47)。外景画像に対象画像が含まれていると判定された場合には(ステップS47:YES)、特定画像制御部165は、特定画像データを基に対象画像が検出された領域全域を、特定画像を表わす候補の領域とする1つの予告画像データを作成して、1つの予告画像データに基づく複数の予告画像を画像表示部20aに表示させる(ステップS61)。
図13は、使用者に視認される予告画像PIの一例を示す説明図である。図24に示すように、画像表示最大領域PN内には、予告画像PIが表示されている。予告画像PIは、撮像された外景画像の内、画像判定部168が対象画像の「空」として判定した領域の全域に対応するように生成された画像である。複数の予告画像は、同一の予告画像データを基に、時間の経過に伴ってバックライト221,222の輝度を増加させて生成される。
画像表示部20aに予告画像が表示された後(図12のステップS61)、視線方向判定部166は、使用者の視線方向が固定されているか判定する(ステップS48)。使用者の視線方向が固定されていないと判定された場合には(ステップS48:NO)、引き続き、視線方向判定部166は、使用者の視線方向が固定される状態になるのを待機する(ステップS48)。ステップS48の処理において、使用者の視線方向が固定されたと判定された場合には(ステップS48:YES)、特定画像制御部165は、予告画像が表示されている領域の内から特定画像を表示する位置を特定する(ステップS49)。
図14は、使用者に視認される特定画像の一例を示す説明図である。図14には、画像表示最大領域PN内に表示された特定画像SI3および特定画像SI4が示されている。特定画像SI3,SI4は、無線通信部132から受信した情報に基づいて特定画像制御部165が作成した特定画像データに基づいて生成された画像である。特定画像制御部165は、予告画像が表示された領域内において、特定画像SI3を左上に表示し、特定画像SI4を右上に表示する。
以上説明したように、第2実施形態の頭部装着型表示装置100aでは、カメラ61が使用者の視線方向の外部の景色である外景を撮像して外景画像を取得し、画像判定部168が特定の対象画像と同じ画像が外景画像に含まれているか否かを、パターンマッチングによって判定する。また、GPSモジュール134は、GPS衛星からの信号を受信することにより、頭部装着型表示装置100aの使用者の現在位置を特定する。そのため、第2実施形態の頭部装着型表示装置100aでは、外景画像に含まれる特定の対象画像の検出や使用者の位置情報に基づいて、使用者に視認させる画像を制御できるため、使用者の利便性が向上する。
C.第3実施形態:
第3実施形態では、上記実施形態とは異なる検出アプリに応じて特定画像表示処理、および、検出条件に応じて特定画像を変更する特定画像変更処理が行なわれる。なお、第3実施形態では、検出アプリとして使用者の作業支援を行なう作業支援アプリが選択された場合について説明する。
図15は、第3実施形態における頭部装着型表示装置100dの外観構成を示す説明図である。図15に示すように、頭部装着型表示装置100dは、上記実施形態と比較して、画像表示部20dに右眼撮像カメラ37と左眼撮像カメラ38とが配置されている点が異なり、他の構成については同じである。右眼撮像カメラ37および左眼撮像カメラ38は、使用者の右眼および左眼のそれぞれを撮像する小型のCCDカメラである。なお、以降では、右眼撮像カメラ37と左眼撮像カメラ38とを合わせて眼撮像カメラ37,38とも呼び、眼撮像カメラ37,38によって撮像された画像を眼撮像画像と呼ぶ。
図16は、第3実施形態における頭部装着型表示装置100dの構成を機能的に示すブロック図である。第3実施形態では、画像判定部168dは、眼撮像画像における使用者の右眼および左眼の画像を解析することで、右眼および左眼の瞳孔の大きさを特定する。瞳孔の大きさの具体的な特定の方法としては、撮像された眼の画像の各画素に対して、所定のRGBの値に基づいて2値化を行ない、白眼と黒眼との画素を識別して、全体の画素数に対する黒眼に識別された画素数の割合によって判定する方法である。また、画像判定部168dは、眼の画像における黒眼の画素の位置に基づいて、使用者の頭部の向きに対する使用者が見ている方向を特定できる。そのため、視線方向判定部166dは、9軸センサー66が検出した画像表示部20の向きに加えて、使用者が頭部の向きに対する使用者の見ている方向を特定することで、より詳細な使用者の視線方向を推定できる。なお、第3実施形態における眼撮像カメラ37,38および画像判定部168dは、請求項における瞳孔特定部に相当する。
特定画像制御部165dは、記憶部120に予め記憶された特定の対象物が外景画像に含まれているかを検出し、外景画像に含まれる特定の対象物の大きさを特定することで、使用者と特定の対象物との距離を判定する。特定画像制御部165dは、判定された距離が閾値以上であれば、特定の対象物が外景画像に含まれているとして判定し、閾値未満であれば、外景画像に特定の対象物が含まれていても、特定の対象物を検出せずに、特定の対象物が外景画像に含まれていないと判定する。また、画像判定部168dは、外景画像の各フレームにおける特定の対象物の位置を特定することで、外景画像における特定の対象物の動きの相対速度を特定できる。なお、第3実施形態におけるカメラ61および特定画像制御部165dは、請求項における距離特定部に相当する。
図17および図18は、第3実施形態における特定画像表示処理の流れを示す説明図である。第3実施形態の特定画像表示処理では、上記実施形態の特定画像表示処理と比較して、ステップS76以降の処理が異なり、ステップS75までの処理は同じである。第3実施形態では、作業支援アプリの検出条件が設定されると(ステップS75)、特定画像制御部165は、作業支援アプリに関連する装置であるカメラ61と9軸センサー66と眼撮像カメラ37,38とを起動させる(ステップS76)。次に、画像判定部168dは、検出条件として、特定の対象物である電気ドリルの画像である対象画像が外景画像に含まれているか否かを判定する(ステップS77)。外景画像に対象画像が含まれていないと判定された場合には(ステップS77:NO)、画像判定部168dは、引き続き、対象画像の検出を監視する(ステップS77)。外景画像に対象画像が含まれていると判定された場合には(ステップS77:YES)、視線方向判定部166dは、使用者の視線方向が固定されているか否かを判定する(ステップS78)。使用者の視線方向が固定されていないと判定された場合には(ステップS78:NO)、画像判定部168dは、対象画像を検出していないものと判定して、引き続き、対象画像の検出を監視する(ステップS77)。
ステップS78の処理において、使用者の視線方向が固定されていると判定された場合には(ステップS78:YES)、画像判定部168dは、後述するフェードイン表示の制御に用いる眼撮像画像における瞳孔の大きさを特定する(図18のステップS79)。次に、画像判定部168dは、フェードイン表示の制御に用いる外景画像に対する対象画像の動きの相対速度を特定する(ステップS80)。次に、特定画像制御部165dは、フェードイン表示を行なう際の中間画像および特定画像の時間の経過に伴い変化する輝度である変化輝度と、フェードイン表示が完了するまでの中間画像を表示させ始めてから特定画像が表示されるまでの期間である変化期間と、を瞳孔の大きさと対象画像の動きの相対速度とによって設定する(ステップS81)。
図19は、画像表示処理におけるバックライト221,222の輝度の時間推移の一例を示す説明図である。図19には、瞳孔の大きさと対象画像の動きの相対速度とに基づいて設定されたフェードイン表示における時間の経過に伴う輝度の変化の曲線C2と、比較として、上記第1実施形態における輝度の変化の曲線C1と、が示されている。特定画像制御部165dは、瞳孔の大きさを所定の閾値によって、2つに区別している。瞳孔の大きさが所定の閾値未満である場合の特定画像の輝度を100%とすると、特定画像制御部165dは、瞳孔の大きさが所定の閾値以上の場合には、特定画像の輝度を70%に設定する。図19には、第1実施形態での瞳孔の大きさは所定の閾値未満であり、かつ、第3実施形態での瞳孔の大きさが所定の閾値以上である場合が示されている。そのため、第3実施形態では、フェードイン表示が始まると、中間画像および特定画像の輝度は、常に、上記第1実施形態の輝度よりも小さくなる。なお、所定の閾値以上の瞳孔の大きさと所定の閾値未満の瞳孔の大きさのそれぞれは、請求項における第1の大きさと第2の大きさとに相当する。
また、特定画像制御部165dは、特定画像の輝度と同様に、対象画像の動きの相対速度を所定の閾値によって、2つに区別している。図19に示すように、特定画像制御部165dは、対象画像の動きの相対速度が所定の閾値以上の場合には、第1実施形態のように変化期間を期間TEに設定し、対象画像の動きの相対速度が所定の閾値未満の場合には、第3実施形態のように変化期間を期間TEよりも長い期間TE2に設定する。そのため、第3実施形態では、フェードイン表示における曲線C2は、中間画像が表示され始めてから特定画像が表示されるまでの変化期間が期間TE2であり、特定画像の輝度が第1実施形態の輝度の70%である。なお、中間画像と特定画像とは、同じ画像データに基づいて生成される。
フェードイン表示における変化輝度および変化期間が設定されると(図18のステップS81)、上記実施形態と同様に、特定画像制御部165dは、検出アプリである作業支援アプリに基づく特定画像の表示位置を特定し(ステップS82)、上記実施形態と同様にステップS83およびステップS84の処理を行なう。
図20は、使用者に視認される特定画像SI10の一例を示す説明図である。図20には、特定の対象物の電気ドリルの画像としての対象画像OI1を視認している使用者の視野VRが示されている。図20に示すように、特定画像制御部165dは、外景画像における対象画像OI1のコード以外の電気ドリルの本体部に重ならない位置に特定画像SI10を表示する。なお、対象画像OI1の識別は、上記実施形態と同様にパターンマッチングによって行なわれる。特定画像SI10は、作業支援アプリに設定された画像データに基づく画像であり、電気ドリルの使用の作業支援として、使用者に両手に手袋の装着を促す「手袋を装着して、手をカメラの前にかざしてください」のメッセージ画像である。
作業支援アプリでは、特定画像SI10(図20)が表示された後に特定の条件を満たすと、特定画像制御部165dは、作業支援の順序に沿って、特定画像SI10とは異なる特定画像を表示する。図21は、特定画像変更処理の流れを示す説明図である。特定画像変更処理は、特定画像SI10が表示されている状態で、特定の条件を満たした場合に、特定画像SI10の画像データとは異なる画像データに基づく特定画像が表示される処理である。
特定画像変更処理では、初めに、特定画像制御部165dは、外景画像における対象画像が変化したか否かを判定する(ステップS91)。対象画像が変化したと判定された場合には(ステップS91:YES)、特定画像制御部165dは、対象画像の変化が設定された作業支援の順序に沿った変化であるか否かを判定する(ステップS92)。対象画像の変化が作業支援の順序に沿った変化であると判定された場合には(ステップS93)、特定画像制御部165dは、作業支援の順序において次に設定された特定画像があるか否かを判定する(ステップS93)。次に設定された特定画像があると判定された場合には(ステップS93:YES)、特定画像制御部165dは、次に設定された特定画像を表示する(ステップS95)。
図22は、対象画像が変化した後に使用者に視認される特定画像SI11の一例を示す説明図である。図22には、作業順序に沿って次に設定された対象画像として、対象画像OI1に加えて、手袋を装着した使用者の左手の対象画像OI2と右手の対象画像OI3とを含む外景画像が示されている。また、図22には、作業支援に沿って、特定画像SI10の次に表示されるように設定された特定画像SI11が示されている。対象画像OI1,OI2,OI3は、作業支援の順序に沿った対象画像であるため、特定画像制御部165dは、特定画像SI11を表示する。特定画像SI11は、電気ドリルを用いて作業を行なってもよいことを示す「確認しました!作業を行なってください」のメッセージ画像である。作業支援の順序に沿って設定された特定画像SI11が表示されると、特定画像制御部165dは、特定画像変更処理を終了する。
図21のステップS92の処理において、検出された対象画像の変化が作業指示に沿った変化ではない場合として、例えば、手袋を装着していない状態でカメラの前に手をかざした場合には(ステップS92:NO)、特定画像制御部165dは、忠告画像として、使用者に特定画像SI10(図20)の作業支援に従うことを促す「違います!指示に従ってください」のメッセージ画像を表示し(図21のステップS99)、特定画像変更処理を終了する。
ステップS91の処理において、対象画像の変化が検出されないと判定された場合には(ステップS91:NO)、特定画像制御部165dは、使用者の視線方向が変化して特定画像SI10(図20)を表示する条件である対象画像OI1が外景画像に含まれているか否かを判定する(図21のステップS94)。使用者の視線方向が大きく変化せずに、外景画像に対象画像OI1が含まれる場合には(ステップS94:NO)、特定画像制御部165dは、引き続き、特定対象物の変化を監視する(ステップS91)。
外景画像から対象画像OI1が含まれていないと判定された場合(ステップS94:YES)、または、ステップS93の処理において、作業支援に沿って次に設定された特定画像がないと判定された場合には(ステップS93:NO)、特定画像制御部165dは、視線方向の変化速度を特定する(ステップS96)。特定画像制御部165dは、図18に示す特定画像表示処理のステップS80およびステップS81の処理と同じように、特定された視線方向の変化速度に基づいて、表示された特定画像SI10をフェードアウト表示させるための変化期間を設定する(図21のステップS97)。次に、特定画像制御部165dは、設定された変化期間の間に、特定画像SI10の輝度を徐々に減少させて、中間画像を介して、特定画像SI10の画像データに基づく画像を非表示にする。
以上説明したように、第3実施形態における頭部装着型表示装置100dでは、画像判定部168dは、眼撮像カメラ37,38によって撮像された眼撮像画像を解析することで、使用者の眼の瞳孔の大きさを特定する。特定画像制御部165dは、瞳孔の大きさが所定の閾値未満である場合に、瞳孔の大きさが所定の閾値以上である場合の輝度よりも小さい輝度に設定された中間画像および特定画像を表示する。そのため、第3実施形態の頭部装着型表示装置100dでは、使用者の眼の瞳孔の大きさが大きいとき、すなわち、使用者の周りの明るさが暗いときには、中間画像や特定画像の輝度を下げる制御が行なわれ、使用者の周りの明るさが明るいときには、中間画像や特定画像の輝度を上げる制御が行なわれる。よって、使用者の周りの明るさに応じて、中間画像や特定画像の輝度が制御されるため、必要以上に高い輝度による画像を使用者に視認させずに、使用者への視覚的な負担を低減でき、かつ、使用者が十分に視認できる明るさの画像を使用者に視認させることができる。
また、第3実施形態における頭部装着型表示装置100dでは、画像判定部168dは、外景画像の各フレームにおける特定の対象物の位置を特定することで、外景画像における特定の対象物の動きの相対速度を特定する。特定画像制御部165dは、対象画像の動きの相対速度が所定の閾値以上の場合には変化期間を長く設定し、対象画像の動きの相対速度が所定の閾値未満の場合には変化期間を短く設定する。そのため、第3実施形態の頭部装着型表示装置100dでは、対象画像の動きの相対速度が速い場合には、フェードイン表示が完了するまでの時間を長く設定するため、使用者への視覚的な変化を緩和させることで、使用者への視覚的な負担を低減できる。
また、第3実施形態における頭部装着型表示装置100dでは、特定画像制御部165dは、外景画像に含まれる特定の対象物の大きさを特定することで、使用者と特定の対象物との距離を判定する。特定画像制御部165dは、判定された距離が閾値以上であれば、特定の対象物が外景画像に含まれているとして判定し、閾値未満であれば、外景画像に特定の対象物が含まれていても、特定の対象物を検出せずに、特定の対象物が外景画像に含まれていないと判定する。特定画像制御部165dは、外景画像に特定の対象物の画像である対象画像が含まれている場合に、中間画像および特定画像のフェードイン表示を行なう。そのため、第3実施形態の頭部装着型表示装置100dでは、特定の対象物が撮像されるだけでなく、使用者と特定の対象物との距離が一定以上近い場合にのみ、中間画像および特定画像が表示されるため、特定の対象物が使用者に近い位置にない場合に、使用者にとって不要な情報である特定画像等が表示されないため、使用者の利便性が向上する。
また、第3実施形態における頭部装着型表示装置100dでは、特定画像SI10の基となる画像データは、作業支援アプリの使用者への作業の順序を促すメッセージであるため、使用者は、行なうべき作業を安全に、かつ、正しい手順で行なうことができ、使用者の利便性が向上する。
D.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
D1.変形例1:
上記実施形態では、選択アプリの一例として、熱検出アプリやお天気アプリの例を挙げてフェードイン表示およびフェードアウト表示について説明したが、検出アプリ、特定画像、および、中間画像については種々変形可能である。
図23および図24は、使用者に視認される中間画像の一例を示す説明図である。図23および図24には、第1実施形態の中間画像MI1,MI2(図7)の変形例が示されている。図23および図24には、フェードイン表示によって最終的に画像表示部20に表示される特定画像SI1,SI2の領域に包含される中間画像MI1a,MI2a,MI1b,MI2bが示されている。この変形例では、フェードイン表示は、第1実施形態のように輝度を徐々に変化させるのではなく、異なる画像データに基づいて生成された複数の中間画像を表示させた後に、特定画像SI1,SI3を表示させる。特定画像制御部165は、特定画像データの一部を示す複数の中間画像データを作成し、中間画像データに基づいて生成された中間画像MI1a(図23)、中間画像MI1b(図24)、特定画像SI1(図6)の順序で、使用者に視認させる。そのため、この変形例では、使用者に対して、外景のみが視認されている状態からいきなり特定画像SI1,SI2を視認させるのではなく、時間の経過に伴って視認させる画像の領域を大きくしていく。よって、使用者が視認する外景および画像の変化が緩やかであるため、使用者の視覚に対する負担が軽減される。なお、フェードイン表示は、輝度の変化と表示領域の変化との組み合わせで行なわれてもよい。
図25は、使用者に視認される中間画像MI1cの一例を示す説明図である。図26は、使用者に視認される特定画像SI1c,SI2c,SI5cの一例を示す説明図である。この変形例では、第1実施形態と同じように、フェードイン表示は、輝度を徐々に大きくすることで行なわれると同時に、中間画像MI1cから特定画像SI1cへと画像表示領域を小さくする。このように、中間画像が特定画像よりも大きな領域であってもよい。
D2.変形例2:
図27は、使用者に視認される特定画像SI6,SI7,SI8の一例を示す説明図である。図27には、検出アプリとして「経路案内」が選択された場合に、使用者が視認する視野VRが示されている。この変形例では、GPSモジュール134が使用者の現在位置を特定し、特定された位置が交差点であった場合に、特定画像制御部165は、経路案内の特定画像SI6,SI7,SI8を画像表示部20に表示させる。
図28は、使用者に視認される特定画像を含むメニュー画像IMG2の一例を示す説明図である。図28には、検出アプリとして「待機メニュー表示」が選択された場合に、使用者が視認する視野VRが示されている。この変形例では、GPSモジュール134が使用者の現在位置を特定し、使用者が特定された現在位置から一定時間移動しなかった場合に、特定画像制御部165は、「音楽起動」等のメニュー画面を画像表示部20に表示させる。
図29は、使用者に視認される特定画像SI9,SI10の一例を示す説明図である。図29には、検出アプリとして「待機画像表示」が選択された場合に、使用者が視認する視野VRが示されている。この変形例では、画像判定部168が外景画像の内から特定の対象画像である「空」を認識すると同時に、GPSモジュール134が使用者の現在位置を特定する。使用者が特定された現在位置から一定時間移動しなかった場合に、特定画像制御部165は、特定画像SI9,SI10を画像表示部20に表示させる。
D3.変形例3:
上記第1実施形態では、フェードイン表示とフェードアウト表示とにおいて、中間画像MI1,MI2を表示する場合に輝度を変更させる期間TEが同じであったが、異なっていてもよい。例えば、フェードイン表示の場合には、フェードアウト表示の場合と比較して、期間TEが長くてもよい。また、上記第1実施形態では、中間画像MI1,MI2を表示する場合に、時間の経過に伴い輝度の増加率が大きくなるように制御されたが、輝度の増加率についてはこれに限られず種々変形可能である。例えば、輝度の増加率は、時間の経過に対して一定であってもよいし、時間の経過に対してステップ状に変化してもよい。
また、上記実施形態では、図8および図10に示すように、特定画像制御部165は、輝度を0%から100%までの間において増減させたが、輝度の上限値および下限値についてはこれに限られず、種々変形可能である。例えば、特定画像制御部165は、輝度を20%から90%までの間において増減させてもよい。
また、上記第1実施形態では、フェードイン表示およびフェードアウト表示が行なわれたが、中間画像MI1,MI2および特定画像SI1,SI2を表示させる方法についてはこれに限られず、種々変形可能である。例えば、ある二つの輝度を点滅させながら、画像表示最大領域PNにおいて、中間画像の領域が徐々に大きくなって、特定画像の領域に変化してもよい。また、点滅させながら輝度を増減させることでフェードイン表示およびフェードアウト表示が行なわれてもよい。
また、上記実施形態では、検出条件に基づいて最終的に1つの特定画像が表示される態様であったが、特定画像については種々変形可能である。例えば、検出条件に基づいて複数の特定画像が識別されて表示されてもよい。上記第1実施形態において、検出した温度が閾値以上であるか否かの判定だけではなく、複数の閾値の温度が設定されて、どの閾値以上の温度であるかによって特定画像の色が異なる態様であってもよい。高温である場合には、RGB成分の内、よりR成分が大きい特定画像で表示されてもよいし、表示される特定画像の外枠が円ではなく、ギザギザな形状にすることで使用者により高温な領域について注意を促すことができる。
また、上記実施形態では、検出アプリの選択メニュー画面IMG1(図5)を一例として挙げて説明したが、検出アプリの選択メニュー画面IMG1については、これに限られず、種々変形可能である。例えば、アプリを終了する終了ボタンが選択メニュー画面IMG1に含まれてもよいし、検出アプリとは異なる、コンテンツ再生等の選択ボタンが含まれていてもよい。
D4.変形例4:
上記第3実施形態では、外景画像における対象画像の動きの相対速度によって、フェードイン表示の特定画像の表示が完了するまでの変化期間が設定されたが、変化期間の設定の方法については、これに限られず、種々変形可能である。例えば、特定された使用者の瞳孔の大きさによって変化期間が設定されてもよい。特定画像制御部165dは、特定された使用者の眼の瞳孔の大きさが大きいほど、変化期間を長く設定する。この変形例では、使用者の眼の瞳孔の大きさが大きいとき、すなわち、使用者の周りの明るさが暗いときには、フェードイン表示が完了するまでの変化期間が長くなるように設定される。そのため、中間画像や特定画像を使用者に視認させる場合に、使用者の視覚的な負担が大きくなることを回避させることができる。
上記第3実施形態では、対象画像の動きの相対速度と所定の閾値との比較によって、フェードイン表示を完了するまでの変化期間が設定されたが、対象画像の動きの相対速度によって変化期間以外が制御されてもよい。例えば、対象画像の動きの相対速度が所定の閾値以上の場合には、第2実施形態のように、特定画像の基となる画像データとは異なる画像データに基づく中間画像が表示されてもよい。この変形例の中間画像としては、例えば、特定画像SI10(図20)の内のメッセージ以外の画像のみであってもよい。なお、この変形例における特定画像SI10におけるメッセージ以外の画像は、請求項における表示前画像に相当する。この変形例では、外景画像に対象画像が含まれる場合であっても、対象画像の動きの相対速度が大きい場合には、特定画像を表示する前の準備段階としての中間画像を表示することで、使用者が視認する外景の変化を少なくして、使用者の視覚的な負担を低減できる。
上記第3実施形態では、外景画像に含まれる対象画像の動きの相対速度によって、フェードイン表示における変化期間が設定されたが、変化期間を設定については、これに限られず、種々変形可能である。例えば、画像表示部20の9軸センサー66が使用者の頭部の動きに加えて、使用者の体全体の動きを推定することで、使用者の動作の速度を特定してもよい。使用者の動作の速度が速い場合には、使用者が視認する視野VRの短時間当たりの変化が大きい場合がある。そのため、この変形例では、使用者の動作の速度が速い場合には、特定画像制御部165dは、フェードイン表示における変化期間を長く設定する。これにより、使用者の動作が速い場合に、使用者に視認される中間画像の変化の割合が小さくなるため、使用者の視覚的な負荷を低減できる。
また、使用者の動作の速度や外景画像に含まれる対象画像の動きの相対速度が大きい場合には、フェードイン表示における変化期間を長くするに加えて、イヤホン32,34を介して、音声を出力することで、使用者に何らかの注意を促してもよい。使用者の動きの速度や対象画像の動きの相対速度が大きい場合に、使用者に特定画像を視認させづらい場合がある。その場合に、この変形例では、音声出力によって、使用者に表示予定である特定画像について報知することで、使用者の利便性が向上する。
特定画像制御部165dは、特定画像の内容や外景画像に含まれる対象画像の動きの相対速度や使用者の動きの速度等に基づいて、中間画像および特定画像を表示される位置を設定してもよい。例えば、特定画像が緊急の注意を使用者に促すメッセージ画像である場合には、特定画像制御部165dが、表示位置が画像表示最大領域PNの中心部分に特定画像を表示させ、フェードイン表示の変化期間を短く設定することで、使用者は、特定画像を迅速に視認でき、使用者の利便性がより向上する。また、特定画像制御部165dは、緊急の注意を使用者に促す特定画像であっても、例えば、5分以内に当該画像を表示していた場合には、画像表示最大領域PNの中心部以外に表示することで、既に報知した内容の表示位置を変化させて、使用者により広い外景を視認させてることで、使用者の利便性がより向上する。
上記実施形態では、使用者の視線方向が固定されている場合に、特定画像が表示される位置が特定されたが、使用者の視線方向が固定されずに所定の範囲で変化している場合にも、視線方向が固定されているものとされてもよい。例えば、予め設定された閾値の範囲において、使用者の視線方向が揺らいでいる場合にも視線方向が固定されたと判定されることで、より中間画像および特定画像が表示されやすく、使用者の利便性が向上する。
上記第3実施形態では、フェードイン表示における輝度の設定や変化期間の設定が行なわれたが、これらの設定はフェードイン表示のみではなく、フェードアウト表示に用いられてもよい。フェードアウト表示にこれらの設定が用いられることで、例えば、対象画像が外景画像に含まれなくなった場合でも、瞬間的に特定画像が非表示に変化するわけではなく、特定画像が中間画像を経て徐々に非表示に変化するため、使用者の視覚的な負担を低減できる。
また、上記第3実施形態の特定画像変更処理では、作業支援の順序に沿って特定画像SI10(図20)の次に設定された特定画像SI11(図22)がある場合には、フェードイン表示やフェードアウト表示が行なわれずに、特定画像SI11が表示されたが、特定画像が変更される際にフェードイン表示やフェードアウト表示が行なわれてもよい。例えば、第3実施形態の特定画像変更処理において、特定画像SI10がフェードアウト表示されてから、特定画像SI11がフェードイン表示されてもよい。また、特定画像SI10と特定画像SI11とが表示される位置が画像表示最大領域PN上で異なり、特定画像SI10のフェードアウト表示と特定画像SI11のフェードイン表示とが同時に行なわれてもよいし、一方の特定画像のみにフェードアウト表示またはフェードイン表示が行なわれてもよい。
上記第3実施形態では、眼撮像カメラ37,38によって撮像された眼撮像画像の2値化によって使用者の眼の瞳孔の大きさが特定されたが、瞳孔の大きさを特定する方法については、これに限られず、種々変形可能である。例えば、画像表示部20dに形成された赤外線の発光部および受光部が瞳孔の大きさを特定してもよい。この変形例では、赤外線の発光部が使用者の眼に赤外線を発光し、赤外線の受光部が反射光を受光する。眼の白眼と黒眼とでは、赤外線の反射率が異なるため、受光部が受光した反射光によって、瞳孔の大きさを特定できる。
また、フェードイン表示やフェードアウト表示における変化期間や輝度について、操作部135が操作されることで、個別に設定されてもよい。また、設定された年齢によって、予め定められた変化期間や輝度が設定されてもよい。
また、上記実施形態では、特定画像制御部165は、バックライト221,222の光量を調整することにより、複数の中間画像と特定画像との輝度が異なるように調整したが、輝度を変化させる方法については、これに限られず、種々変形可能である。例えば、上記実施形態の画像光生成部に相当するバックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、が有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと有機EL制御部とによって構成されてもよい。この変形例では、バックライト221,222を用いずに、ディプレイ自体の発光の光量が制御されることで、輝度が変化する。なお、この辺家入れにおける有機ELのディスプレイと有機EL制御部とは、請求項における画像変調素子に相当する。
D5.変形例5:
上記実施形態では、制御部10に操作部135を形成したが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部135の動きを検出する9軸センサーを操作部135に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的に頭部装着型表示装置100の操作ができる。
例えば、画像光生成部は、有機ELのディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像光生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義できる。
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。
図30は、変形例における頭部装着型表示装置100の外観構成を示す説明図である。図30(A)の例の場合、図1に示した頭部装着型表示装置100との違いは、画像表示部20bが、右光学像表示部26に代えて右光学像表示部26bを備える点と、左光学像表示部28に代えて左光学像表示部28bを備える点である。右光学像表示部26bは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置100bの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28bは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置100bの装着時における使用者の左眼の斜め上に配置されている。図30(B)の例の場合、図1に示した頭部装着型表示装置100との違いは、画像表示部20cが、右光学像表示部26に代えて右光学像表示部26cを備える点と、左光学像表示部28に代えて左光学像表示部28cを備える点である。右光学像表示部26cは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28cは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置100として実現できる。
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン32,34は適宜省略可能である。
また、上記実施形態において、頭部装着型表示装置100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
また、上記実施形態では、特定画像制御部165が特定画像データを作成し、特定画像データの制御信号を画像処理部160および表示制御部190へと送信することで、中間画像等を制御したが、必ずしも特定画像制御部165が中間画像等を制御する必要はなく、制御の主体については種々変形可能である。例えば、特定画像制御部165の代わりに、画像処理部160および表示制御部190自体が特定画像データを作成してもよい。また、画像表示部20のバックライト制御部201,202が輝度を調整することで、特定画像データに基づいて生成される画像光を変更してもよい。
また、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。