JP2014155207A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】使用者が視線を移動させることなく、視界方向の物体の実像と、物体の外観に現れない情報とを同時に視認可能な頭部装着型表示装置を提供する。
【解決手段】使用者が映像と外景を同時に視認可能な頭部装着型表示装置であって、外景に含まれる物体に対して物体の外観に現れない情報である不可視情報を重畳表示させるための情報である重畳情報を生成する重畳情報生成部と、重畳情報を映像として使用者に視認させる画像表示部と、を備える。
【選択図】図５

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。ＨＭＤは、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。

特許文献１には、このような頭部装着型表示装置を用いた手術用撮像システムおよび手術用ロボットが記載されている。特許文献１記載の技術では、頭部装着型表示装置の使用者（術者）は、患者の体腔内に挿入された内視鏡による画像を虚像として視認しつつ、手術用マニピュレーターを操作して手術を行う。特許文献２には、医療用顔面装着型映像表示装置（頭部装着型表示装置）が記載されている。特許文献２記載の技術では、頭部装着型表示装置の使用者は、内視鏡画像を視認する場合は視線を水平方向に向けて、本体の正面に配置されたＬＣＤを見る。また、外景を視認する場合は視線を鉛直方向に向けて、本体の下方に配置された観察窓を見る。

特開２０１２−２２３３６３号公報 特許第３５９９８５４号公報

特許文献１、２に記載された技術では、頭部装着型表示装置の使用者は、手術中において内視鏡画像を視認することができる。しかし、特許文献１に記載された技術では、頭部装着型表示装置の使用者は、手術部位（患者の体）を直接目視することはできないという問題があった。また、特許文献２に記載された技術では、頭部装着型表示装置の使用者は、手術部位を直接目視するために、視線を鉛直方向に向けて移動させる必要があるという問題があった。

なお、このような問題は、内視鏡画像に限らず、例えば、ＣＴ（Computed Tomography、コンピューター断層撮影）画像、ＭＲＩ（Magnetic Resonance Imaging、核磁気共鳴画像法）画像、レントゲン画像等、物体の外観に現れない情報を頭部装着型表示装置の使用者に提供する場合全般に共通する問題であった。さらに、このような問題は、医療用の頭部装着型表示装置に限らず、他の用途に用いられる頭部装着型表示装置（例えば、建設現場で使用されて、使用者に建造物の外観に現れない情報を提供する頭部装着型表示装置）にも共通する問題であった。

このため、使用者が視線を移動させることなく、視界方向の物体の実像と、物体の外観に現れない情報とを同時に視認可能な頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、使用者が映像と外景を同時に視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記外景に含まれる物体に対して前記物体の外観に現れない情報である不可視情報を重畳表示させるための情報である重畳情報を生成する重畳情報生成部と；前記重畳情報を前記映像として前記使用者に視認させる画像表示部と、を備える。この形態の頭部装着型表示装置によれば、画像表示部は、外景に含まれる物体に対して、前記物体の不可視情報を重畳表示させるための情報である重畳情報を映像として使用者に視認させる。本形態の頭部装着型表示装置は、映像と外景を同時に視認可能な頭部装着型表示装置である。このため、頭部装着型表示装置の使用者は、視線を移動させることなく、視界方向の物体、換言すれば、外景に含まれる物体の実像と、物体の外観に現れない情報（重畳情報）とを同時に視認することができる。

（２）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、所定の時間ごとに、前記外景に含まれる物体に応じて前記重畳情報を再生成し；前記画像表示部は、再生成された前記重畳情報を前記映像として前記使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、所定の時間ごとに外景に含まれる物体に応じて重畳情報を再生成するため、使用者の頭部の経時的な動きに追従した重畳情報を映像として使用者に視認させることができる。

（３）上記形態の頭部装着型表示装置では、さらに；前記不可視情報を記憶する記憶部と；前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部と、を備え；前記重畳情報生成部は；前記画像取得部によって取得された前記視界方向の画像を画像認識することで前記外景に含まれる前記物体の特徴を抽出し、抽出した前記特徴に基づいて前記記憶部に記憶されている前記物体の前記不可視情報を補正することで、前記重畳情報を生成してもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、記憶部に記憶されている物体の不可視情報を用いて重畳情報を生成することができる。また、画像取得部が取得する画像は、使用者の視界方向の物体（換言すれば、外景に含まれる物体）の実像を写した画像であり、重畳情報生成部は、画像取得部によって取得された画像から外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて重畳情報を生成する。このため、重畳情報生成部は、使用者の視界方向の物体（外景に含まれる物体）の特徴に合わせた重畳情報を生成することができる。

（４）上記形態の頭部装着型表示装置において；前記不可視情報は、前記物体の構造を表した画像であってもよい。この形態の頭部装着型表示装置によれば、不可視情報は、物体の構造を表した画像である。このため、頭部装着型表示装置の使用者は、視線を移動させることなく、視界方向の物体の実像と、物体の構造を表した画像とを同時に視認することができる。

（５）上記形態の頭部装着型表示装置において；前記特徴は、前記物体のエッジであってもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、画像認識により物体のエッジを検出することで、外景に含まれる物体の輪郭を抽出することができる。この結果、重畳情報生成部は、抽出した物体の輪郭に基づいて物体の不可視情報を補正して、重畳情報を生成することができる。

（６）上記形態の頭部装着型表示装置において；前記特徴は、前記物体に付されたマーカーであってもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、画像認識により物体に付されたマーカーを検出することで、外景に含まれる物体の位置を抽出することができる。この結果、重畳情報生成部は、抽出した物体の位置に基づいて物体の不可視情報を補正して、重畳情報を生成することができる。

（７）上記形態の頭部装着型表示装置において；前記補正は、前記不可視情報に対する、拡大と、縮小と、回転と、反転と、トリミングと、歪みの付与と、ノイズの除去とのうちの少なくともいずれかであってもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、記憶部に記憶されている物体の不可視情報に対して、拡大と、縮小と、回転と、反転と、トリミングと、歪みの付与と、ノイズの除去と、のうちの少なくともいずれかの補正を行うことによって、重畳情報を生成することができる。

（８）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、さらに、前記画像取得部によって取得された前記視界方向の画像から、前記外景に含まれる前記物体の少なくとも一部を抽出して拡大した拡大情報を生成し；前記画像表示部は、前記重畳情報と、前記拡大情報とを、前記映像として前記使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、視界方向の物体（換言すれば、外景に含まれる物体）の実像と、物体の外観に現れない情報（重畳情報）とに加えてさらに、視界方向の物体の少なくとも一部の拡大情報を同時に視認することができる。

（９）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、前記使用者からの要求に応じて、前記映像を非表示としてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、自らの意思によって映像を非表示とすることができる。このため、頭部装着型表示装置における使用者の利便性を向上させることができる。

（１０）上記形態の頭部装着型表示装置では、さらに；現在の手順について、前記使用者が実施すべき内容に関する情報である手順情報を生成する手順管理部を備え；前記画像表示部は、前記重畳情報と、前記手順情報とを、前記映像として前記使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、画像表示部は、現在の手順について使用者が実施すべき内容を表した手順情報を映像として使用者に視認させる。このため、使用者が行う作業を支援することが可能となる。

（１１）上記形態の頭部装着型表示装置において；前記手順情報には、第三者が前記手順を模範的に実施している場面の画像と、個別具体的な前記手順に際して使用者が実施すべき内容を表す画像と、の少なくともいずれか一方が含まれてもよい。この形態の頭部装着型表示装置によれば、使用者が実施すべき内容を、画像を用いて視覚的に示すことが可能であるため、使用者が行う作業をより分かりやすく支援することができる。また、個別具体的な手順に際して使用者が実施すべき内容を表す画像を用いることとすれば、使用者が行う作業をより個別具体的に支援することが可能となり、作業の精密化と、作業効率の向上を図ることができる。

（１２）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、さらに、前記使用者の作業を補助するための付加的な情報である補助情報を生成し；前記画像表示部は、前記重畳情報と、前記補助情報とを、前記映像として前記使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、使用者の作業を補助するための情報を映像として使用者に視認させる。このため、頭部装着型表示装置を用いた作業の効率を向上させることができる。

（１３）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、さらに、前記画像取得部によって取得された前記視界方向の画像に応じて、生成された前記重畳情報の視認性を向上させるための色変換処理を行ってもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、重畳情報に対して、使用者の視界方向の画像に応じた色変換処理を行う。このため、頭部装着型表示装置の使用者に対する映像の視認性をより向上させることができる。

（１４）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、前記使用者からの要求に応じて、前記映像として表示されている前記重畳情報を、前記使用者の視界を妨げない位置へと退避させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、自らの意思によって映像として表示されている重畳情報を退避させることができる。このため、頭部装着型表示装置における使用者の利便性を向上させることができる。

（１５）上記形態の頭部装着型表示装置において；前記重畳情報生成部は、前記画像取得部により取得された前記画像のうち、前記映像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記重畳情報を生成してもよい。この形態の頭部装着型表示装置によれば、重畳情報生成部は、映像の表示領域と画像取得部の取得領域とが重複する重複領域に対して重畳情報を生成する。このため、透過型の頭部装着型表示装置において生じる課題であった「使用者が自身の視界において直接目にする像と、画像表示部により視認させられる映像との間のずれ」の発生を低減させることができる。この結果、重畳情報を映像として視認させた場合に、使用者に与える違和感を低減させることができる。

（１６）上記形態の頭部装着型表示装置において；前記手順管理部は、前記画像取得部により取得された前記画像のうち、前記映像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記手順情報を生成してもよい。この形態の頭部装着型表示装置によれば、手順管理部は、映像の表示領域と画像取得部の取得領域とが重複する重複領域に対して手順情報を生成する。このため、透過型の頭部装着型表示装置において生じる課題であった「使用者が自身の視界において直接目にする像と、画像表示部により視認させられる映像との間のずれ」の発生を低減させることができる。この結果、手順情報を映像として視認させた場合に、使用者に与える違和感を低減させることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、記憶部と、重畳情報生成部と、画像表示部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、記憶部を有していてもよく、有していなくてもよい。また、この装置は、重畳情報生成部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、医療用作業支援装置および医療用作業支援装置の制御方法、医療用作業支援システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 使用者に認識される虚像の一例を示す説明図である。 第１実施形態における重畳情報表示処理の手順を示すフローチャートである。 不可視情報の一例を示す説明図である。 外観情報の一例を示す説明図である。 重畳情報生成処理の手順を示すフローチャートである。 外景画像から方法ｉによって抽出された対象物体の特徴（エッジ）を示す説明図である。 不可視情報から方法ｉによって抽出された対象物体の特徴（エッジ）を示す説明図である。 補正後の不可視情報の一例を示す説明図である。 使用者に認識される虚像の他の例を示す説明図である。 第２実施形態におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。 手順テーブルの一例を示す説明図である。 第２実施形態における重畳情報表示処理の手順を示すフローチャートである。 手順情報の例を示す説明図である。 手順情報が追加された重畳情報の例を示す説明図である。 手順ｅ１〜ｅ９によって使用者に視認される虚像の一例を示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本実施形態では、映像を虚像として使用者に視認させるタイプのヘッドマウントディスプレイ１００を例示する。

ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであり、カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。カメラ６１は、特許請求の範囲における「画像取得部」に相当し、カメラ６１が取得する外景画像は、特許請求の範囲における「使用者の視界方向の画像」に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。なお、入力情報取得部１１０は、種々の方法を用いて、使用者からの操作入力を取得することができる。例えば、図２に示すタッチパッド１４や十字キー１６による操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、画像表示部２０に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、カメラ６１を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業（例えば手術）においても、入力情報取得部１１０は、使用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、不可視情報記憶部１２２と、外観情報記憶部１２４とを含んでいる。不可視情報記憶部１２２は、重畳情報表示処理の対象となる物体の不可視情報を予め記憶しておくための記憶領域である。「不可視情報」とは、物体の外観に現れない情報を意味する。本実施形態の不可視情報は、物体の構造を表した画像である。不可視情報は、物体が生体である場合、例えば、ＣＴ（Computed Tomography、コンピューター断層撮影）画像、ＭＲＩ（Magnetic Resonance Imaging、核磁気共鳴画像法）画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像等である。また、不可視情報は、物体が人工物である場合、例えば、設計図面、回路図、レントゲン（Ｘ線）画像、透視画像、赤外線画像、サーモグラフィー画像等である。

外観情報記憶部１２４は、重畳情報表示処理の対象となる物体の外観情報を予め記憶しておくための記憶領域である。本実施形態における「外観情報」とは、物体を外側から見た様子（外観）を表した画像であり、可視光カメラで撮像された写真等である。

電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って他の機器との間で無線通信を行う。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、重畳情報生成部１４２として機能する。重畳情報生成部１４２は、重畳情報表示処理を実行するアプリケーションプログラムである。重畳情報表示処理とは、使用者の視界方向の物体の実像に対して、物体の外観に現れない情報を重畳させて表示する処理である。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データー」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データー」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１とを備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表す有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

図４は、使用者に認識される虚像の一例を示す説明図である。図４には、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。図４に示す例では、虚像ＶＩは、患者の手のレントゲン画像である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。図４に示す例では、外景ＳＣは、医師が持つメスの刃先が、患者の右手小指の第２間接に当てられている様子である。このように、ヘッドマウントディスプレイ１００では、使用者は、視野ＶＲのうち、虚像ＶＩと重複しない部分はもとより、虚像ＶＩと重複する部分についても虚像ＶＩの背後に外景ＳＣを視認することができる。

Ａ−２．重畳情報表示処理：
図５は、第１実施形態における重畳情報表示処理の手順を示すフローチャートである。図５のステップＳ１０２、Ｓ１０４は重畳情報表示処理の前処理の手順を表している。図５のステップＳ１０６以降は重畳情報表示処理の手順を表している。重畳情報表示処理は、使用者の視界方向の物体の実像に対して、物体の外観に現れない情報を重畳させて表示する処理である。

重畳情報表示処理では、エッジ検出により重畳情報表示処理の対象とする物体（以降、「対象物体」とも呼ぶ。）の特徴を抽出する方法と、マーカー検出により対象物体の特徴を抽出する方法とがある（詳細は後述）。このうち、マーカー検出により対象物体の特徴を抽出する方法を採用する場合、ステップＳ１０２、S１０４、S１０８では、対象物体に予めマーカーを付しておく。なお、対象物体に付すマーカーは種々の種類のマーカーを使用可能である。例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ（登録商標）等を使用することができる。また、対象物体に付すマーカーの数は任意に定めることができる。

図５のステップＳ１０２において、使用者は、重畳情報表示処理の対象とする物体の不可視情報を不可視情報記憶部１２２に記憶させる。具体的には、使用者は、重畳情報表示処理の対象とする物体を撮像機器（ＣＴや、ＭＲＩや、レントゲンや、内視鏡や、サーモグラフィー等）を用いて撮像し、対象物体の構造を表した画像（不可視情報）を取得する。そして、使用者は、取得した画像を不可視情報記憶部１２２に記憶させる。なお、ステップＳ１０２で撮像された不可視情報は、ステップＳ１０６以降の重畳情報表示処理において、右光学像表示部２６および左光学像表示部２８を透過して見える外景ＳＣの中の実像に重ねて表示される。このため、重畳情報表示処理のステップＳ１０２では、ステップＳ１０６以降の重畳情報表示処理において想定される対象物体の向きに合わせた画像を取得し、不可視情報記憶部１２２に記憶させておくことが好ましい。なお、ステップＳ１０２では、対象物体の撮像に代えて、外部から受信した不可視情報を不可視情報記憶部１２２に記憶させてもよい。

図６は、不可視情報の一例を示す説明図である。図６で例示する不可視情報ＳＩは、人の右手のレントゲン画像である。この場合、対象物体は「人の右手」である。図６の不可視情報ＳＩから、関節リウマチによって、被撮像者の右手の小指の第２関節が変形していることがわかる。

図５のステップＳ１０４において、使用者は、重畳情報表示処理の対象とする物体の外観情報を外観情報記憶部１２４に記憶させる。具体的には、使用者は、対象物体をカメラ６１やデジタルカメラ等を用いて撮像し、対象物体の外観を表した画像を取得する。そして、使用者は、取得した画像を外観情報記憶部１２４に記憶させる。

図７は、外観情報の一例を示す説明図である。図７で例示する外観情報FIは、人の右手の写真画像である。対象物体は、図６と同様である。

図５のステップＳ１０６において、重畳情報生成部１４２は、重畳情報表示処理の開始指示があったか否かを判定する。具体的には、重畳情報生成部１４２は、入力情報取得部１１０から重畳情報表示処理の開始指示を受信した場合に、開始指示あり（ステップＳ１０６：ＹＥＳ）と判定し、受信しない場合に、開始指示なし（ステップＳ１０６：ＮＯ）と判定する。開始指示なし（ステップＳ１０６：ＮＯ）の場合、重畳情報生成部１４２は、ステップＳ１０６に処理を遷移させ、開始指示の受信を待つ。一方、開始指示あり（ステップＳ１０６：ＹＥＳ）の場合、重畳情報生成部１４２は、次に説明する重畳情報生成処理によって、重畳情報を生成する（ステップＳ１０８）。

Ａ−２−１．重畳情報生成処理：
図８は、重畳情報生成処理の手順を示すフローチャートである。重畳情報生成部１４２は、外景画像を取得する（ステップＳ２０２）。具体的には、重畳情報生成部１４２は、カメラ６１を起動し、カメラ６１に対して撮像を指示し、カメラ６１によって撮像された外景画像を取得する。

外景画像取得後、重畳情報生成部１４２は、外景画像を画像認識することで対象物体の特徴を抽出する（ステップＳ２０４）。具体的には、重畳情報生成部１４２は、下記のｉ、ｉｉのような画像認識の方法を用いて、外景画像に含まれる対象物体の特徴を抽出する。なお、方法ｉとｉｉとは、組み合わせてもよい。

方法ｉ）重畳情報生成部１４２は、対象物体のエッジを検出する。この場合、検出されたエッジが「対象物体の特徴」となる。
方法ｉｉ）重畳情報生成部１４２は、対象物体に付されたマーカーを検出する。この場合、検出されたマーカーが「対象物体の特徴」となる。

図９は、外景画像から方法ｉによって抽出された対象物体の特徴（エッジ）を示している。

図８のステップＳ２０６において、重畳情報生成部１４２は、不可視情報ＳＩを画像認識することで対象物体の特徴を抽出する。具体的には、重畳情報生成部１４２は、対象物体に対応する不可視情報ＳＩを不可視情報記憶部１２２から読み出す。重畳情報生成部１４２は、上記ｉ、ｉｉで述べた画像認識の方法を用いて、読み出した不可視情報ＳＩに含まれる対象物体の特徴を抽出する。なお、ステップＳ２０８における補正の精度向上のためには、ステップＳ２０４とステップＳ２０６とで使用する画像認識の方法は、統一することが好ましい。

図１０は、不可視情報ＳＩから方法ｉによって抽出された対象物体の特徴（エッジ）を示している。

図８のステップＳ２０８において、重畳情報生成部１４２は、ステップＳ２０４で抽出された外景画像の特徴と、ステップＳ２０６で抽出された不可視情報ＳＩの特徴とが合うように、不可視情報ＳＩを補正する。具体的には、ステップＳ２０４およびS２０６において方法ｉを用いた場合、重畳情報生成部１４２は、外景画像の特徴（すなわちステップＳ２０４で検出されたエッジ）と、不可視情報ＳＩの特徴（すなわちステップＳ２０６で検出されたエッジ）との、輪郭や特徴的な部位が合うように、不可視情報ＳＩに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。ここで、特徴的な部位とは、対象物体が生体である場合は、関節や、四肢の先端や、血管や、骨等であり、対象物体が人工物である場合は、突起箇所や、角部である。一方、ステップＳ２０４およびS２０６において方法ｉｉを用いた場合、重畳情報生成部１４２は、外景画像の特徴（すなわちステップＳ２０４で検出されたマーカー）と、不可視情報ＳＩの特徴（すなわちステップＳ２０６で検出されたマーカー）との位置が合うように、不可視情報ＳＩに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。

図９および図１０の例では、重畳情報生成部１４２は、ステップＳ２０４で検出されたエッジ（図９）と、ステップＳ２０６で検出されたエッジ（図１０）との、手の輪郭や、特徴的な部位（関節、指先、血管、骨）が合うように、不可視情報ＳＩに対する補正を行う。

図１１は、補正後の不可視情報ＳＩの一例を示す説明図である。補正後の重畳情報ＣＰ１では、外景画像に含まれる対象物体（すなわち患者の右手）の範囲に合わせて不可視情報ＳＩ（図６）がトリミングされている。同様に、補正後の重畳情報ＣＰ１では、外景画像に含まれる対象物体の大きさに合わせて不可視情報ＳＩ（図６）が縮小され、外景画像に含まれる対象物体の位置に合わせて不可視情報ＳＩ（図６）が回転および移動されている。なお、ステップＳ２０８において補正された不可視情報ＳＩは、特許請求の範囲における「重畳情報」に相当する。

このように、重畳情報生成処理において、重畳情報生成部１４２は、不可視情報記憶部１２２に記憶されている物体の不可視情報ＳＩを用いて重畳情報を生成することができる。ステップＳ２０２においてカメラ６１（画像取得部）が取得する外景画像は、使用者の視界方向の対象物体（換言すれば、外景に含まれる物体）の実像を写した画像である。重畳情報生成部１４２は、カメラ６１によって取得された外景画像から外景に含まれる対象物体のエッジやマーカー（対象物体の特徴）を抽出し、抽出した特徴に基づいて重畳情報を生成する。このため、重畳情報生成部１４２は、使用者の視界方向の対象物体（外景に含まれる物体）の特徴に合わせた重畳情報を生成することができる。

また、上記方法ｉによれば、重畳情報生成部１４２は、画像認識により対象物体のエッジを検出することで、外景に含まれる対象物体の輪郭を抽出することができる。この結果、重畳情報生成部１４２は、抽出した対象物体の輪郭に基づいて当該対象物体の不可視情報ＳＩを補正して、重畳情報ＣＰ１を生成することができる。

また、上記方法ｉｉによれば、重畳情報生成部１４２は、画像認識により対象物体に付されたマーカーを検出することで、外景に含まれる対象物体の位置を抽出することができる。この結果、重畳情報生成部１４２は、抽出した対象物体の位置に基づいて当該対象物体の不可視情報ＳＩを補正して、重畳情報ＣＰ１を生成することができる。

重畳用画像生成処理の終了後、図５のステップＳ１１０において重畳情報生成部１４２は、重畳情報ＣＰ１を表示させる。具体的には、重畳情報生成部１４２は、画像処理部１６０に対して、重畳用画像生成処理によって生成された重畳情報ＣＰ１を送信する。重畳情報ＣＰ１を受信した画像処理部１６０は、重畳情報ＣＰ１に対して、図２で説明した表示処理を実行する。この結果、図４に示すように、ヘッドマウントディスプレイ１００の使用者の視野ＶＲには、重畳情報ＣＰ１が虚像ＶＩとして表示される。本実施形態におけるヘッドマウントディスプレイ１００は、使用者が虚像を視認すると同時に外景も視認可能な光学透過型のヘッドマウントディスプレイである。このため、ヘッドマウントディスプレイ１００の使用者は、右光学像表示部２６および左光学像表示部２８を透過して見える外景ＳＣの中の実像（医師が持つメスの刃先が患者の右手小指の第２間接に当てられている様子）と、虚像ＶＩとして見える重畳情報ＣＰ１とが、重畳された状態で視認可能となる。

図５のステップＳ１１２において、重畳情報生成部１４２は、表示の切替指示があったか否か、および切替指示の内容を判定する。表示の切替指示がない場合、重畳情報生成部１４２は、所定の時間待機後に処理をステップＳ１０８へ遷移させる（図示省略）。これにより、所定の時間ごとに、外景画像の撮影と、重畳情報ＣＰ１の生成および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した重畳情報ＣＰ１を虚像ＶＩとして表示させることができる。なお、所定の時間とは任意に定めることができる。

重畳情報生成部１４２は、入力情報取得部１１０から現在表示中の重畳情報ＣＰ１の表示を切り替える旨を指示する「画像切替」指示を受信した場合（ステップＳ１１２:画像切替）、処理をステップＳ１１４へ遷移させる。重畳情報生成部１４２は、他の重畳情報を生成する（ステップＳ１１４）。具体的には、重畳情報生成部１４２は、図８で説明した重畳情報生成処理を再び実行し、他の重畳情報を生成する。この際、重畳情報生成部１４２は、図８の説明のうち「不可視情報記憶部１２２に記憶されている不可視情報ＳＩ」に代えて、「外観情報記憶部１２４に記憶されている外観情報FI」を処理対象とする。このため、他の重畳情報とは、対象物体の外観を表す情報となる。他の重畳情報生成後、重畳情報生成部１４２は、他の重畳情報を表示させる（ステップＳ１１６）。具体的には、重畳情報生成部１４２は、画像処理部１６０に対して他の重畳情報を送信する。他の重畳情報を受信した画像処理部１６０は、他の重畳情報に対して、図２で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ１００の使用者の視野ＶＲには、重畳情報ＣＰ１に代えて、他の重畳情報が虚像ＶＩとして表示される。その後、重畳情報生成部１４２は、処理をステップＳ１１２へと遷移させる。

このように、ステップＳ１１４、Ｓ１１６によれば、ヘッドマウントディスプレイ１００の使用者は、使用者自らの意思によって、対象物体の構造を表す不可視情報ＳＩをもとに生成された重畳情報の表示と、対象物体の外観を表す外観情報FIをもとに生成された他の重畳情報の表示とを切り替えることができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

図５において、重畳情報生成部１４２は、入力情報取得部１１０から現在表示中の虚像を非表示とする旨を指示する「非表示」指示を受信した場合（ステップＳ１１２:非表示）、処理をステップＳ１１８へ遷移させる。重畳情報生成部１４２は、現在表示中の虚像ＶＩ（重畳情報ＣＰ１または他の重畳情報）を非表示とする（ステップＳ１１８）。具体的には、重畳情報生成部１４２は、画像処理部１６０に対する重畳情報ＣＰ１または他の重畳情報の送信を停止する。これにより、表示されるべき画像データーがなくなるため、虚像ＶＩを非表示とすることができる。なお、重畳情報ＣＰ１または他の重畳情報の送信の停止に代えて、重畳情報生成部１４２は、表示制御部１９０に対して、画像を非表示とする旨の要求を送信してもよい。この場合、表示制御部１９０は、ＬＣＤ制御部によるＬＣＤの駆動をＯＦＦとする制御信号、または、バックライト制御部によるバックライトの駆動をＯＦＦとする制御信号を送信することにより、虚像ＶＩを非表示とすることができる。

このように、ステップＳ１１８によれば、ヘッドマウントディスプレイ１００の使用者は、使用者自らの意思によって、現在表示中の虚像ＶＩを非表示とすることができる。例えば、光学像表示部を透過して見る実像に注視したい場合、使用者は、意図的に虚像ＶＩを消すことができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

図５において、重畳情報生成部１４２は、入力情報取得部１１０から視界方向の実像を拡大表示させる旨を指示する「拡大」指示を受信した場合（ステップＳ１１２:拡大）、処理をステップＳ１２０へ遷移させる。重畳情報生成部１４２は、外景画像を取得する（ステップＳ１２０）。具体的には、重畳情報生成部１４２は、カメラ６１を起動し、カメラ６１に対して撮像を指示し、カメラ６１によって撮像された外景画像を取得する。外景画像取得後、重畳情報生成部１４２は、ステップＳ１２０で取得された外景画像を画像認識し、拡大指示と共に指定された点を中心とした所定範囲の領域をトリミング後、トリミングした画像を拡大処理する（ステップＳ１２２）。その後、重畳情報生成部１４２は、拡大処理後の画像を端部に配置し、他の部分には黒色のダミーデーターを配置した拡大情報を生成する。拡大情報生成後、重畳情報生成部１４２は、重畳情報ＣＰ１と、拡大情報とを表示させる。具体的には、重畳情報生成部１４２は、画像処理部１６０に対して重畳情報ＣＰ１と、拡大情報とを送信する。重畳情報ＣＰ１と、拡大情報とを受信した画像処理部１６０は、重畳情報ＣＰ１と拡大情報とを各レイヤーとした合成画像を生成し、生成した合成画像に対して、図２で説明した表示処理を実行する。

図１２は、使用者に認識される虚像の他の例を示す説明図である。図１２（Ａ）は、図５のステップＳ１２２によって使用者に認識される虚像を表している。このように、ステップＳ１２０およびＳ１２２が実行された結果、ヘッドマウントディスプレイ１００の使用者の視野ＶＲには、重畳情報ＣＰ１と拡大情報ＣＰ２とが、虚像ＶＩとして表示される。このように、ステップＳ１２０、Ｓ１２２によれば、ヘッドマウントディスプレイ１００の使用者は、使用者自らの意思によって、視界方向の対象物体（換言すれば、外景に含まれる物体）の実像と、当該対象物体の外観に現れない情報（重畳情報ＣＰ１）とに加えてさらに、指定した点を中心とした実像の拡大情報ＣＰ２、すなわち、視界方向の物体の少なくとも一部の拡大情報ＣＰ２を同時に視認することができる。この結果、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

以上のように、第１実施形態の重畳情報表示処理では、画像表示部２０は、外景ＳＣに含まれる対象物体（上記の例では人の右手）に対して、当該対象物体の不可視情報ＳＩ（上記の例では人の右手のレントゲン画像）を重畳表示させるための情報である重畳情報ＣＰ１を虚像ＶＩ（映像）として使用者に視認させる。本形態のヘッドマウントディスプレイ１００（頭部装着型表示装置）は、虚像ＶＩ（映像）と外景ＳＣを同時に視認可能なヘッドマウントディスプレイである。このため、ヘッドマウントディスプレイ１００の使用者は、視線を移動させることなく、視界方向の対象物体（換言すれば、外景に含まれる対象物体）の実像と、当該対象物体の外観に現れない情報（重畳情報ＣＰ１）とを同時に視認することができる。

さらに、上記実施形態では、不可視情報記憶部１２２に記憶されている不可視情報ＳＩは、対象物体の構造を表した画像である。このため、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の使用者は、視線を移動させることなく、視界方向の対象物体の実像と、対象物体の構造を表した画像とを同時に視認することができる。このため、上記実施形態のヘッドマウントディスプレイ１００は、低侵襲外科手術において特に有用である。なお、低侵襲外科手術とは、手術に伴う患者の痛みや手術痕を最小限にするためにメスによる切開箇所を最小限に留める手術方法である。

Ａ−３．重畳情報表示処理における付加的処理：
なお、重畳情報表示処理（図５）では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。

Ａ−３−１．付加的処理１:
付加的処理１では、重畳情報生成部１４２は、重畳情報ＣＰ１に加えてさらに、補助情報ＣＰ３を虚像ＶＩとして表示させる。補助情報ＣＰ３とは、ヘッドマウントディスプレイ１００の使用者の作業を補助するための付加的な情報である限り、任意の情報を採用可能である。補助情報ＣＰ３は、医療用のヘッドマウントディスプレイ１００においては、例えば、以下のような情報とすることができる。

・患者に取り付けられた医療用機器（心電図、心拍数計、血圧計、パルスオキシメーター、血糖値計等）の計測値を表示する情報。
・患者に取り付けられた医療用機器の計測値に応じた注意喚起や、警告を表示する情報。

図１２（Ｂ）は、補助情報ＣＰ３として、患者の心拍数（ＨＲ）と、血圧（ＳＹＳ／ＤＩＡ）と、動脈血酸素飽和度（ＳｐＯ２）とが表示された補助情報ＣＰ３が、虚像ＶＩとして表示されている例を示している。図１２（Ｂ）の例では、補助情報ＣＰ３は文字によって表現されている。しかし、補助情報ＣＰ３は、文字のほか、写真、絵柄、図形、およびこれらの組み合わせを採用することができる。なお、補助情報ＣＰ３は、重畳情報ＣＰ１と重ならないように、例えば端部に配置されることが好ましい。重畳情報ＣＰ１と、補助情報ＣＰ３とを同時に表示させる方法は、ステップＳ１２２と同様である。

なお、図１２（Ｂ）では、医療用のヘッドマウントディスプレイ１００における補助情報ＣＰ３の例を挙げた。しかし、他の用途に用いられるヘッドマウントディスプレイ１００においても、補助情報ＣＰ３を虚像ＶＩとして表示させることができる。例えば、建設現場で使用されるヘッドマウントディスプレイ１００における補助情報ＣＰ３は、建造物の情報（築年数、建造されている地盤の情報、施工方法の情報、建造に使用されている材料の情報等）を表示する情報とすることができる。その他、ヘッドマウントディスプレイ１００の使用用途に応じた種々の補助情報を採用することができる。

このように、付加的処理１によれば、ヘッドマウントディスプレイ１００の使用者は、作業を補助するための情報である補助情報ＣＰ３を虚像ＶＩ（映像）として視認することができる。このため、ヘッドマウントディスプレイ１００を用いた作業の効率を向上させることができる。

Ａ−３−２．付加的処理２:
付加的処理２では、ステップＳ１０８で生成した重畳情報ＣＰ１と、ステップＳ１１４で生成した他の重畳情報と、ステップＳ１２２で生成した拡大情報ＣＰ２と、のうちの少なくともいずれか１つに対して色変換処理を行う。色変換処理は、ステップＳ２０２で撮影された外景画像の明度、コントラスト、彩度、色相に応じて、重畳情報生成部１４２により生成された各情報（重畳情報ＣＰ１、他の重畳情報、拡大情報ＣＰ２）の視認性を向上させるような色変換処理であることが好ましい。例えば、重畳情報生成部１４２により生成された各情報の色相を、ステップＳ２０２で撮影された外景画像の色相の補色へと変換する色変換処理を行うことができる。なお、色変換処理は、画像処理部１６０に対して各情報を送信する前に重畳情報生成部１４２が実行してもよく、各情報を受信した画像処理部１６０が実行してもよい。

このように、付加的処理２によれば、ヘッドマウントディスプレイ１００の使用者に対する虚像ＶＩ（映像）の視認性をより向上させることができる。

Ａ−３−３．付加的処理３:
付加的処理３では、重畳情報生成部１４２は、虚像ＶＩとして表示されている情報（重畳情報ＣＰ１、他の重畳情報、拡大情報ＣＰ２、補助情報ＣＰ３）を使用者の視界を妨げない位置へと退避させる。現在表示中の虚像ＶＩが重畳情報ＣＰ１である場合を例にして説明する。重畳情報生成部１４２は、重畳情報ＣＰ１を縮小処理する。その後、重畳情報生成部１４２は、縮小処理後の画像を端部に配置し、他の部分には黒色のダミーデーターを配置した縮小情報を生成する。縮小情報生成後、重畳情報生成部１４２は、縮小情報を表示させる。具体的には、重畳情報生成部１４２は、画像処理部１６０に対して縮小情報を送信する。縮小情報を受信した画像処理部１６０は、縮小情報に対して、図２で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ１００の使用者の視野ＶＲには、重畳情報ＣＰ１に代えて、重畳情報ＣＰ１が縮小されて端部に配置された縮小情報が虚像ＶＩとして表示される。なお、付加的処理３は、重畳情報表示処理（図５）のステップＳ１１８に代えて実行されてもよい。

このように、付加的処理３によれば、ヘッドマウントディスプレイ１００の使用者は、使用者自らの意思によって、虚像ＶＩ（映像）として表示されている情報（重畳情報ＣＰ１、他の重畳情報、拡大情報ＣＰ２、補助情報ＣＰ３）を、視界を妨げない位置へと退避させることができる。例えば、光学像表示部を透過して見る実像に注視したい場合、使用者は、意図的に虚像ＶＩ（映像）として表示されている情報を退避させることができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

さらに、付加的処理３によれば、縮小処理後の各種情報（重畳情報ＣＰ１、他の重畳情報、拡大情報ＣＰ２、補助情報ＣＰ３）が端部に配置されているため、ヘッドマウントディスプレイ１００の使用者に対して各種情報の存在を喚起することができる。換言すれば、縮小処理後の各種情報をアイコンのようにして用いることも可能となる。例えば、縮小処理後の重畳情報ＣＰ１を使用者が選択したことをトリガーとして、重畳情報ＣＰ１を元の位置および大きさに戻すことができる。このようにすれば、ヘッドマウントディスプレイ１００における使用者の利便性をさらに向上させることができる。

Ａ−３−４．付加的処理４:
付加的処理４では、重畳情報生成部１４２は、使用者の頭の小さなブレに付随する虚像ＶＩの揺れを抑制する、いわゆるスタビライザー機能を実現する。重畳情報表示処理（図５）のステップＳ１１２において、重畳情報生成部１４２は、表示の切替指示がない場合、所定の時間待機後に処理をステップＳ１０８へ遷移させる。これにより、所定の時間ごとに、外景画像の撮影と、重畳情報ＣＰ１の生成および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した重畳情報ＣＰ１を虚像ＶＩとして表示させることができる。しかし、使用者の頭の微小な動きやゆらぎに追従して重畳情報ＣＰ１が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、重畳情報生成部１４２は、重畳情報生成処理（図８）のステップＳ２０２とＳ２０４との間に、手順ａ１、ａ２で示す処理を行ってもよい。

手順ａ１）ステップＳ２０２で撮影された外景画像と、前回実行された重畳情報生成処理のステップＳ２０２で撮影された外景画像との間の、ＲＧＢヒストグラムの変化量を求める。
手順ａ２）手順ａ１で求めた変化量が所定の閾値を超える場合、ステップＳ２０４以降の処理を継続する。手順ａ１で求めた変化量が所定の閾値以下である場合、前回実行された重畳情報生成処理で生成された重畳情報ＣＰ１を、現在実行中の重畳情報生成処理の処理結果とする。

このように、付加的処理４によれば、重畳情報生成部１４２は、前回実行された重畳情報生成処理における外景画像（使用者の視界方向の外景）と、現在実行中の重畳情報生成処理における外景画像と間の変化量が小さい場合、すなわち、使用者の頭の動きが微小である場合は、新たな重畳情報ＣＰ１は生成せず、前回実行された重畳情報生成処理で生成された重畳情報ＣＰ１を、現在実行中の重畳情報生成処理の処理結果とする。この結果、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して重畳情報ＣＰ１が度々変わることを抑制することができるため、使用者の眼精疲労や集中力低下を抑制することができる。なお、スタビライザー機能のＯＮ／ＯＦＦを使用者によって切替可能な構成にしてもよい。

Ａ−３−５．付加的処理５:
付加的処理５では、重畳情報生成部１４２は、画像表示部２０の光学像表示部２６、２８と、使用者の視界方向にある物体との間の距離に応じて、拡大情報ＣＰ２および補助情報ＣＰ３が虚像ＶＩとして表示される大きさを変更する。具体的には、重畳情報生成部１４２は、重畳情報表示処理（図５）において、手順ｂ１〜ｂ３に示す処理を行うことができる。なお、付加的処理５を実施する場合、ヘッドマウントディスプレイ１００には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部２０との間の距離を取得するためのセンサーであり、例えば、図１のカメラ６１の近傍に配置することができる。

手順ｂ１）重畳情報生成部１４２は、定期的に測距センサーによる測定値を取得する。
手順ｂ２）重畳情報生成部１４２は、重畳情報表示処理（図５）のステップＳ１２２における拡大処理の際に、取得した測距センサーの測定値に応じて拡大率を変更する。
手順ｂ３）重畳情報生成部１４２は、測距センサーの測定値に応じて、付加的処理１の補助情報ＣＰ３の大きさを変更する。

このように、付加的処理５によれば、重畳情報生成部１４２は、使用者の視界方向にある物体と画像表示部２０との間の距離に応じて、拡大情報ＣＰ２および補助情報ＣＰ３が虚像ＶＩ（映像）として表示される大きさを変更する。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。

Ａ−３−６．付加的処理６:
付加的処理６では、無線通信部１３２は、上述した処理の最中に取得された外景画像を外部の装置へ送信する。外景画像とは、具体的には、重畳情報生成処理（図８）のステップＳ２０２で取得された外景画像と、重畳情報表示処理（図５）のステップＳ１２０で取得された外景画像とである。外部の装置とは、例えば、他のヘッドマウントディスプレイ１００、サーバー、モニター等である。無線通信部１３２は、これらの外景画像を、無線接続を介して外部の装置へ送信する。外景画像を受信した外部の装置は、受信した外景画像を種々の態様で活用することができる。例えば、他のヘッドマウントディスプレイ１００やモニターに表示させてもよい。また、サーバーへ記憶させて手術（作業）のログとして保存してもよい。

他のヘッドマウントディスプレイ１００やモニターに表示させる態様では、外部の装置は、表示された画像を見た医師（作業者）による助言を取得してもよい。この場合、外部の装置は、取得した助言を、ヘッドマウントディスプレイ１００へ送信する。助言を受信したヘッドマウントディスプレイ１００の無線通信部１３２は、受信した助言を転送する。具体的には、無線通信部１３２は、受信した助言が音声情報である場合は音声処理部１７０へ転送し、文字情報や画像情報である場合は重畳情報生成部１４２へ転送する。音声情報を受信した音声処理部１７０は、音声情報に含まれる音声信号を増幅して、右イヤホン３２と左イヤホン３４とに内蔵されたスピーカーへ供給する。これにより、ヘッドマウントディスプレイ１００の使用者は、音声による助言を聴くことができる。一方、文字情報や画像情報を受信した重畳情報生成部１４２は、重畳情報ＣＰ１に加えてさらに、受信した文字情報や画像情報を虚像ＶＩとして表示させる。文字情報や画像情報の表示方法は、付加的処理１で説明した補助情報ＣＰ３と同様である。これにより、ヘッドマウントディスプレイ１００の使用者は、文字や画像による助言を虚像ＶＩとして視認することができる。

このように、付加的処理６によれば、処理の最中に取得された外景画像を外部の装置においても閲覧することができ、保存することができる。また、付加的処理６によれば、ヘッドマウントディスプレイ１００の使用者は、処理の最中に取得された外景画像を見た人物からの助言を得ることができる。このため、ヘッドマウントディスプレイ１００を用いた作業の効率化と、精度の向上を図ることができる。

Ａ−３−７．付加的処理７:
付加的処理７では、重畳情報生成部１４２は、虚像ＶＩの表示領域と、カメラ６１の撮像領域とのキャリブレーションを行う。重畳情報生成部１４２は、重畳情報表示処理（図５）に先立って、次の手順ｃ１〜ｃ７に示す処理を行う。

手順ｃ１）記憶部１２０に、キャリブレーションのためのガイド画像の画像データー（以降「ガイド画像データー」とも呼ぶ。）を予め記憶させておく。ガイド画像は、ヘッドマウントディスプレイ１００の使用者に対して、虚像の表示領域の端部を示すための画像である。例えば、ガイド画像は、右ＬＣＤ２４１および左ＬＣＤ２４２と同じアスペクト比を有する矩形形状で、白色一色の背景を有する画像であり、その四隅と、対角線の交点に位置する部分とに、円状の案内マークを有する画像とすることができる。
手順ｃ２）重畳情報生成部１４２は、記憶部１２０に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部１６０へ送信する。ガイド画像データーを受信した画像処理部１６０では、図２で説明した処理が実行される。この結果、ヘッドマウントディスプレイ１００の使用者の視野ＶＲにはガイド画像が虚像ＶＩとして表示される。

手順ｃ３）重畳情報生成部１４２は、虚像ＶＩとして表示されたガイド画像の案内マークを順に指差すように、使用者に対して案内する。使用者に対する案内の方法として、ダイアログボックス等を用いたメッセージを用いてもよいし、音声による案内を行っても良い。音声による案内は、表示中のガイド画像を遮ることなく案内することができる点で好ましい。
手順ｃ４）重畳情報生成部１４２は、カメラ６１に外景画像を撮像させる。
手順ｃ５）重畳情報生成部１４２は、カメラ６１により撮像された外景画像を画像認識して、人間の指先の位置を特定する。重畳情報生成部１４２は、各案内マークについて、指先位置の座標を取得し、記憶部１２０へ保存する。例えば、指先位置の座標は、外景画像の最も左上部分の画素を（０，０）とした場合のＸ方向、Ｙ方向の移動量として定義することができる。

手順ｃ６）重畳情報生成部１４２は、全ての案内マークについて、外景画像の取得、指先位置の座標取得、座標の保存の一連の処理を繰り返す。その後、重畳情報生成部１４２は、ガイド画像の表示を終了させる。このようにして、重畳情報生成部１４２は、カメラ６１の撮像領域と、虚像ＶＩの表示領域とが重複する領域を予め取得する。なお、カメラ６１の撮像領域（取得領域）と虚像ＶＩの表示領域とが重複する領域のことを「重複領域」とも呼ぶ。
手順ｃ７）重畳情報生成部１４２は、重畳情報生成処理（図８）のステップＳ２０４において、カメラ６１により撮像された外景画像のうち、重複領域内の画像に含まれる物体の特徴を抽出する。そして、ステップＳ２０８において、重複領域に対応した重畳情報ＣＰ１を生成する。

このように、付加的処理７によれば、重畳情報生成部１４２は、虚像ＶＩ（映像）の表示領域とカメラ６１（画像取得部）の取得領域とが重複する重複領域に対して重畳情報ＣＰ１を生成することができる。このため、透過型のヘッドマウントディスプレイ１００（頭部装着型表示装置）において生じる課題であった「使用者が自身の視界において直接目にする像と、画像表示部２０により視認させられる虚像ＶＩ（映像）との間のずれ」の発生を低減させることができる。この結果、重畳情報ＣＰ１を虚像として視認させた場合に、使用者に与える違和感を低減させることができる。

Ｂ．第２実施形態:
本発明の第２実施形態では、頭部装着型表示装置において、さらに、使用者が行う作業を支援することが可能な構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。

Ｂ−１．頭部装着型表示装置の構成:
図１３は、第２実施形態におけるヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、記憶部１２０に代えて記憶部１２０ａを備え、ＣＰＵ１４０に代えてＣＰＵ１４０ａを備えている。

記憶部１２０ａは、図２で示した各記憶部に加えてさらに、手順テーブル１２６を含んでいる。ＣＰＵ１４０ａは、図２で示した重畳情報生成部１４２に代えて重畳情報生成部１４２ａを備え、また、図２で示した各処理部に加えてさらに、手順管理部１４４を備えている。重畳情報生成部１４２ａと手順管理部１４４とは、協働することによって、第２実施形態における重畳情報表示処理を実行する。

図１４は、手順テーブル１２６の一例を示す説明図である。手順テーブル１２６は、第２実施形態における重畳情報表示処理で使用されるテーブルである。手順テーブル１２６は、記憶部１２０ａ内に予め格納されている。手順テーブル１２６は、作業番号と、手順番号と、手順名と、指示内容と、画像と、のフィールドを含んでいる。

作業番号には、作業を一意に識別するための識別子が格納されている。例えば、作業番号には、医療用のヘッドマウントディスプレイ１００の場合、手術の術式を表す識別子が格納される。識別子は、文字列からなり、例えば英数字の組み合わせとすることができる。

手順番号以降の各フィールドには、作業番号により特定される作業に含まれる複数の手順に関する種々の情報が格納されている。手順番号には、手順を一意に識別するための識別子が格納されている。識別子は、文字列からなり、例えば英数字の組わせとすることができる。図１４の例では、作業内の複数の手順は、手順番号の昇順に進行させることを想定している。手順名には、当該手順の名称が格納されている。指示内容には、当該手順において、使用者が実施すべき内容を表す文字列が格納されている。なお、図１４の例では、指示内容を使用者に対する案内文形式の文字列で表現している。画像には、使用者が実施すべき内容を表す画像が格納されている。画像は、例えば、第三者が当該手順を模範的に実施している場面の写真等である。なお、画像は、写真のほか、図面（説明図、組立図、配置図、回路図等）であってもよく、それらの組み合わせであってもよい。

図１４の例では、手順テーブル１２６は、医療用のヘッドマウントディスプレイ１００において、医師が行う作業（すなわち手術）の手順を格納したテーブルであることがわかる。また、作業番号１で識別される作業は、人工指関節置換手術であることがわかる。さらに、手順番号１で識別される手順において使用者が実施すべき内容は「手術にあたって必要な物品を準備すること」であることと、「必要な物品は何か」であることがわかる。さらに、手順番号１で識別される手順には、使用者が実施すべき内容を表す画像は対応付けられていない。

Ｂ−２．重畳情報表示処理：
図１５は、第２実施形態における重畳情報表示処理の手順を示すフローチャートである。図５に示した第１実施形態との違いは、ステップＳ３０２、Ｓ３０４、Ｓ３０６が追加されている点である。

重畳情報表示処理の開始指示後、ステップＳ３０２において手順管理部１４４は、現在の手順を推定する。具体的には、手順管理部１４４は、カメラ６１を起動し、カメラ６１に対して撮像を指示し、カメラ６１によって撮像された外景画像を取得する。手順管理部１４４は、取得した外景画像を画像認識することによって、手順テーブル１２６に格納されている複数の手順から、現在の手順を推定する。このようにすれば、手順管理部１４４は、カメラ６１（画像取得部）により取得された使用者の視界方向の画像（外景画像）に基づいて、自動的に現在の手順を推定することができる。

現在の手順を推定後、ステップＳ１０８において重畳情報生成部１４２ａは、重畳用画像生成処理を実行する。詳細は図８で説明した第１実施形態と同様である。

重畳用画像生成処理の実行後、ステップＳ３０４において手順管理部１４４は、手順情報を生成する。具体的には、手順管理部１４４は、次の手順ｄ１〜ｄ４に示す処理を行う。

手順ｄ１）手順管理部１４４は、手順テーブル１２６を検索し、ステップＳ３０２で推定された現在の手順に関連付けられているエントリーを抽出する。
手順ｄ２）手順管理部１４４は、抽出されたエントリーのうち、画像フィールドに画像（使用者が実施すべき内容を表す画像）が格納されているか否かを判定する。手順管理部１４４は、画像が格納されている場合は手順ｄ３を実行し、画像が格納されていない場合は手順ｄ４を実行する。
手順ｄ３）手順管理部１４４は、画像フィールドに格納されている画像を上端部に配置し、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。なお、文字列は、外景画像の色相を考慮したうえで、視認性の高い色とすることが好ましい。
手順ｄ４）手順管理部１４４は、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。

なお、手順ｄ３、ｄ４における画像と文字列の配置は、任意に変更することができる。ただし、使用者の視界を過度に遮らない態様で使用者に実施すべき内容を案内するためには、画像と文字列の配置は、手順情報ＣＰ４の端部（換言すれば四辺の近傍）であることが好ましい。

図１６は、手順情報の例を示す説明図である。手順情報ＣＰ４では、下側の端部に、使用者が実施すべき内容を表す「人工指関節を挿入します」という文字列ＭＧ４が配置されている。また、右側上端部に、人工指関節の挿入の模範例を示す画像ＩＭ４が配置されている。

手順情報ＣＰ４の生成後、ステップＳ３０６において重畳情報生成部１４２ａおよび手順管理部１４４は、重畳情報ＣＰ１と手順情報とを表示させる。具体的には、重畳情報生成部１４２ａは、画像処理部１６０に対して重畳情報ＣＰ１を送信し、手順管理部１４４は、画像処理部１６０に対して手順情報ＣＰ４を送信する。重畳情報ＣＰ１と、手順情報ＣＰ４とを受信した画像処理部１６０は、重畳情報ＣＰ１と手順情報ＣＰ４とを各レイヤーとした合成画像を生成し、生成した合成画像に対して、図２で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ１００ａの使用者の視野ＶＲには、重畳情報ＣＰ１と手順情報ＣＰ４とが、虚像ＶＩとして表示される。

以上のように、第２実施形態の重畳情報表示処理では、画像表示部２０は、現在の手順についてヘッドマウントディスプレイ１００ａの使用者が実施すべき内容を表した手順情報ＣＰ４を虚像ＶＩ（映像）として使用者に視認させる。このため、第１実施形態の効果に加えてさらに、ヘッドマウンドディスプレイ１００ａの使用者が実施すべき内容を、画像を用いて視覚的に示すことが可能となる。このため、使用者が行う作業をより分かりやすく支援することができる。

なお、上記第２実施形態では、手順テーブル１２６の画像フィールドに対して、第三者が当該手順を模範的に実施している場面の写真等が格納されている場合を例にして説明した。しかし、手順テーブル１２６の画像フィールドには、実際の個別具体的な手順に際して使用者が実施すべき内容を表す画像が格納されていてもよい。具体的には、手順テーブル１２６の画像フィールドには、例えば、実際に手術を受ける患者の皮膚の切開箇所を表す画像や、実際に手術を受ける患者の体内に対する医療機器（例えば、医療用ねじ、ペースメーカー、カテーテル、人工関節等）の挿入箇所を表す画像が格納されていてもよい。この場合、手順管理部１４４は、重畳情報表示処理（図１５）のステップＳ１０８、Ｓ３０４、Ｓ３０６に代えて、次の手順ｅ１〜ｅ９に示す処理を行う。

手順ｅ１）手順管理部１４４は、手順テーブル１２６を検索し、ステップＳ３０２で推定された現在の手順に関連付けられているエントリーを抽出する。
手順ｅ２）手順管理部１４４は、抽出されたエントリーのうち、画像フィールドに画像が格納されているか否かを判定する。手順管理部１４４は、画像が格納されている場合は手順ｅ３〜ｅ７、ｅ９を実行し、画像が格納されていない場合は手順ｅ８、ｅ９を実行する。

手順ｅ３）重畳情報生成部１４２ａは、外景画像を取得する。詳細は重畳情報生成処理（図８）のステップＳ２０２と同様である。
手順ｅ４）重畳情報生成部１４２ａは、外景画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップＳ２０４と同様である。
手順ｅ５）重畳情報生成部１４２ａは、画像フィールドに格納されている画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップＳ２０６と同様である。ただし、ステップＳ２０６の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順ｅ６）重畳情報生成部１４２ａは、手順ｅ４で抽出された外景画像の特徴と、手順ｅ５で抽出された画像フィールドに格納されている画像の特徴とが合うように、画像フィールドに格納されている画像を補正し、重畳画像ＣＰ５を生成する。詳細は重畳情報生成処理のステップＳ２０８と同様である。ただし、ステップＳ２０８の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順ｅ７）手順管理部１４４は、手順ｅ６で生成された重畳画像ＣＰ５に対して、手順情報を表すレイヤーを追加する。具体的には、手順管理部１４４は、手順ｅ１で抽出されたエントリーの指示内容フィールドに格納されている文字列を重畳画像ＣＰ５の下端部に配置する。

図１７は、手順情報が追加された重畳情報の例を示す説明図である。この重畳情報ＣＰ５では、使用者の視界方向の対象物体（外景に含まれる物体）の特徴に合わせた角度、位置、大きさで、実際に手術を受ける患者の皮膚の切開箇所を表す画像ＩＭ５が配置されている。また、重畳情報ＣＰ５では、下側の端部に、使用者が実施すべき内容を表す「円刃メスを用いて手術部位の皮膚を切開し、指関節を露出させます」という文字列ＭＧ５が配置されている。

手順ｅ８）手順管理部１４４は、手順ｅ１で抽出されたエントリーの指示内容フィールドに格納されている文字列をがたん部に配置し、他の部分には黒色のダミーデーターを配置した手順情報ＣＰ４を生成する。
手順ｅ９）手順管理部１４４は、手順ｅ７で生成された重畳情報ＣＰ５または手順ｅ８で生成された手順情報ＣＰ４を表示させる。具体的には、手順管理部１４４は、画像処理部１６０に対して生成された重畳情報ＣＰ５または手順情報ＣＰ４を送信する。重畳情報ＣＰ５または手順情報ＣＰ４を受信した画像処理部１６０は、図２で説明した表示処理を実行する。この結果、ヘッドマウンドディスプレイ１００ａの使用者の視野ＶＲには、重畳情報ＣＰ５または手順情報ＣＰ４が、虚像ＶＩとして表示される。

図１８は、手順ｅ１〜ｅ９によって使用者に視認される虚像の一例を示す説明図である。図１８に示すように、ヘッドマウンドディスプレイ１００ａの使用者の視野ＶＲには、重畳情報ＣＰ５が虚像ＶＩとして表示される。このように、本実施形態におけるヘッドマウンドディスプレイ１００ａの使用者は、右光学像表示部２６および左光学像表示部２８を透過して見える外景ＳＣの中の実像（医師が持つメスの刃先が患者の右手小指の第２間接に当てられている様子）と、虚像ＶＩとして見える重畳浮上ＣＰ５（すなわち、実際に手術を受ける患者の皮膚の切開箇所を表す画像、および、使用者が実施すべき内容を表す文字列）とが、重畳された状態で視認可能となる。このようにすれば、ヘッドマウントディスプレイ１００ａの使用者が行う作業を、より個別具体的に支援することが可能となり、作業の精密化と、作業効率の向上を図ることができる。

Ｂ−３．重畳情報表示処理における付加的処理：
なお、第２実施形態の重畳情報表示処理（図１５）では、さらに、「Ａ−３．重畳情報表示処理における付加的処理」で説明した付加的処理１〜７を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。なお、付加的処理７は、手順管理部１４４が主体となり、手順管理部１４４が生成する手順情報に対して実行されてもよい。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

図１９は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１９（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｃを備える点である。右光学像表示部２６ｃは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｃは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図１９（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｄが、右光学像表示部２６に代えて右光学像表示部２６ｄを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｄを備える点である。右光学像表示部２６ｄは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｄは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、重畳情報生成部、手順管理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

例えば、ヘッドマウントディスプレイは、カメラに代えて、測距センサーや変位センサーを備えることとしてもよい。この場合、重畳情報生成部は、測距センサーまたは変位センサーを用いて対象物体の特徴を抽出し、上記実施形態と同様の処理を行うことができる。

例えば、ヘッドマウントディスプレイは、不可視情報において多く使用される色相と同じ色相の光の透過を抑制する光学フィルターを備えていてもよい。また、不可視情報において多く使用される色相の補色となる色相の光学フィルターを備えていてもよい。このようにすれば、不可視情報の視認性が高くすることができる。

・変形例２：
上記第１実施形態では、重畳情報表示処理（図５）の一例を示した。しかし、図５に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、ステップＳ１０２において、使用者は、重畳情報表示処理の対象とする物体の不可視情報を不可視情報記憶部に記憶させることとした。上記実施形態での不可視情報は、撮像機器（ＣＴや、ＭＲＩや、レントゲンや、内視鏡や、サーモグラフィー等）を用いて撮像され、２次元的に表現された画像を想定した。しかし、ステップＳ１０２では、３次元的に表現された不可視情報を記憶させてもよい。３次元的に表現された不可視情報とは、撮像機器を用いて撮像された複数の画像から作成された３次元モデルである。３次元的に表現された不可視情報を用いる場合、重畳情報生成処理（図８）のステップＳ２０２とＳ２０４との間において、重畳情報生成部は、ステップＳ２０２で取得された外景画像に基づいて３次元モデルのレンダリングを行う。そして、レンダリング後の画像を「不可視情報」として、以降の処理を継続する。このようにすれば、様々な方向から、対象物体の外観に現れない情報を視認することができる。また、ステップＳ１０２で記憶される不可視情報は静止画に限らず、動画であってもよい。

例えば、ステップＳ１１４、Ｓ１１６では、他の重畳情報は外観情報をもとに生成されるとした。しかし、他の重畳情報の元となる情報は種々の情報を使用することができる。例えば、重畳情報ＣＰ１を生成する際に用いられた不可視情報とは異なる撮像機器を用いて撮像された他の不可視情報を使用してもよい。

例えば、ステップＳ１１２以降の処理は、省略してもよい。

・変形例３：
上記第２実施形態では、重畳情報表示処理（図１５）の一例を示した。しかし、図１３に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、手順管理部は、手順情報に対して、以下の例のように、使用者に注意を喚起させるための情報を付加してもよい。
・手順内において使用者が特に注意すべき事項をポップアップ表示させる。
・手順情報内の画像や文字列を点滅表示させる。
・手順情報内に、当該手順の重要度、難易度、事故の多さ等を示すメッセージやアイコンを表示させる。

・変形例４：
上記実施形態では、手順テーブルの一例を示した。しかし、手順テーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、手順テーブルは、複数のテーブルに分割して正規化してもよい。

・変形例５：
上記第２実施形態では、ヘッドマウントディスプレイに手順テーブルと手順管理部とを備え、他の装置を必要とせずに、使用者が行う作業を支援することが可能な構成について説明した。しかし、ヘッドマウントディスプレイと、外部に設けられたサーバーとを備える作業支援システムにおいても、同様の処理を実現することができる。

例えば、ヘッドマウントディスプレイは手順管理部を備え、サーバーは手順テーブルを備える構成とする。この場合、ヘッドマウントディスプレイの手順管理部は、サーバー内に記憶されている手順テーブルにアクセスし、手順テーブル内のデーターを参照する。このようにすれば、１台のサーバーに記憶されている手順テーブルの情報を、複数台のヘッドマウントディスプレイで共有することが可能になる。この結果、各ヘッドマウントディスプレイに手順テーブルを備える構成と比較して、手順テーブルの更新に要する労力が低減される。

・変形例６：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（画像取得部）
１１０…入力情報取得部
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１２０…記憶部
１２２…不可視情報記憶部
１２４…外観情報記憶部
１２６…手順テーブル
１３０…電源
１４０…ＣＰＵ
１４２…重畳情報生成部
１４４…手順管理部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＶＩ…虚像
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＣＰ１…重畳情報
ＣＰ２…拡大情報
ＣＰ３…補助情報
ＣＰ４…手順情報
ＣＰ５…重畳情報

Claims (17)

1. 使用者が映像と外景を同時に視認可能な頭部装着型表示装置であって、
   前記外景に含まれる物体に対して前記物体の外観に現れない情報である不可視情報を重畳表示させるための情報である重畳情報を生成する重畳情報生成部と、
   前記重畳情報を前記映像として前記使用者に視認させる画像表示部と、
   を備える、頭部装着型表示装置。
2. 請求項１記載の頭部装着型表示装置であって、
   前記重畳情報生成部は、所定の時間ごとに、前記外景に含まれる物体に応じて前記重畳情報を再生成し、
   前記画像表示部は、再生成された前記重畳情報を前記映像として前記使用者に視認させる、頭部装着型表示装置。
3. 請求項１または請求項２記載の頭部装着型表示装置であって、さらに、
   前記不可視情報を記憶する記憶部と、
   前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の画像を取得する画像取得部と、
   を備え、
   前記重畳情報生成部は、
   前記画像取得部によって取得された前記視界方向の画像を画像認識することで前記外景に含まれる前記物体の特徴を抽出し、抽出した前記特徴に基づいて前記記憶部に記憶されている前記物体の前記不可視情報を補正することで、前記重畳情報を生成する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記不可視情報は、前記物体の構造を表した画像である、頭部装着型表示装置。
5. 請求項３または請求項４に記載の頭部装着型表示装置であって、
   前記特徴は、前記物体のエッジである、頭部装着型表示装置。
6. 請求項３または請求項４に記載の頭部装着型表示装置であって、
   前記特徴は、前記物体に付されたマーカーである、頭部装着型表示装置。
7. 請求項３から請求項６のいずれか一項に記載の頭部装着型表示装置であって、
   前記補正は、前記不可視情報に対する、拡大と、縮小と、回転と、反転と、トリミングと、歪みの付与と、ノイズの除去とのうちの少なくともいずれかである、頭部装着型表示装置。
8. 請求項３から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記重畳情報生成部は、さらに、前記画像取得部によって取得された前記視界方向の画像から、前記外景に含まれる前記物体の少なくとも一部を抽出して拡大した拡大情報を生成し、
   前記画像表示部は、前記重畳情報と、前記拡大情報とを、前記映像として前記使用者に視認させる、頭部装着型表示装置。
9. 請求項１から請求項８のいずれか一項に記載の頭部装着型表示装置であって、
   前記重畳情報生成部は、前記使用者からの要求に応じて、前記映像を非表示とする、頭部装着型表示装置。
10. 請求項１から請求項９のいずれか一項に記載の頭部装着型表示装置であって、さらに、
    現在の手順について、前記使用者が実施すべき内容に関する情報である手順情報を生成する手順管理部を備え、
    前記画像表示部は、前記重畳情報と、前記手順情報とを、前記映像として前記使用者に視認させる、頭部装着型表示装置。
11. 請求項１０記載の頭部装着型表示装置であって、
    前記手順情報には、第三者が前記手順を模範的に実施している場面の画像と、個別具体的な前記手順に際して使用者が実施すべき内容を表す画像と、の少なくともいずれか一方が含まれる、頭部装着型表示装置。
12. 請求項１から請求項１１のいずれか一項に記載の頭部装着型表示装置であって、
    前記重畳情報生成部は、さらに、前記使用者の作業を補助するための付加的な情報である補助情報を生成し、
    前記画像表示部は、前記重畳情報と、前記補助情報とを、前記映像として前記使用者に視認させる、頭部装着型表示装置。
13. 請求項３から請求項１２のいずれか一項に記載の頭部装着型表示装置であって、
    前記重畳情報生成部は、さらに、前記画像取得部によって取得された前記視界方向の画像に応じて、生成された前記重畳情報の視認性を向上させるための色変換処理を行う、頭部装着型表示装置。
14. 請求項１から請求項１３のいずれか一項に記載の頭部装着型表示装置であって、
    前記重畳情報生成部は、前記使用者からの要求に応じて、前記映像として表示されている前記重畳情報を、前記使用者の視界を妨げない位置へと退避させる、頭部装着型表示装置。
15. 請求項３から請求項１４のいずれか一項に記載の頭部装着型表示装置であって、
    前記重畳情報生成部は、前記画像取得部により取得された前記画像のうち、前記映像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記重畳情報を生成する、頭部装着型表示装置。
16. 請求項１０から請求項１５のいずれか一項に記載の頭部装着型表示装置であって、
    前記手順管理部は、前記画像取得部により取得された前記画像のうち、前記映像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記手順情報を生成する、頭部装着型表示装置。
17. 使用者が映像と外景を同時に視認可能な頭部装着型表示装置の制御方法であって、
    （ａ）前記外景に含まれる物体に対して前記物体の外観に現れない情報である不可視情報を重畳表示させるための情報である重畳情報を生成する工程と、
    （ｂ）前記重畳情報を前記映像として前記使用者に視認させる工程と、
    を備える、頭部装着型表示装置の制御方法。

Images