JP2017055233A

JP2017055233A - 表示装置、表示システム、及び、表示装置の制御方法

Info

Publication number: JP2017055233A
Application number: JP2015177322A
Authority: JP
Inventors: 由貴藤巻; Yuki Fujimaki
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-09-09
Filing date: 2015-09-09
Publication date: 2017-03-16

Abstract

【課題】頭部装着型の表示装置を利用して、簡易で直感的な方法によるメンテナンスを可能とする。【解決手段】ＨＭＤ１００は、評価対象物に関する測定データと、評価対象物の測定データと比較する比較対象データとを取得し、表示対象の測定データと比較対象データとを比較することにより、評価対象物に対する評価結果を含む表示用データを生成する。ＨＭＤ１００は、表示用データと、使用者が視認する実対象物との位置を対応付けることにより、画像表示部２０による表示用データの表示位置を定め、定めた表示位置に表示用データに基づく画像を表示させる。【選択図】図１

Description

本発明は、表示装置、表示システム、及び、表示装置の制御方法に関する。

従来、頭部装着型の映像表示装置により、現実空間を撮像した撮像画像に基づく画像を表示する方法が知られている（例えば、特許文献１参照）。

特開２０１５−４９４８号公報

建物、インフラ（社会基盤設備）、機械設備、各種器具などのメンテナンスは、専門的なエンジニアが行うことが一般的である。多くの場合、エンジニアがメンテナンスの対象に関する測定を行い、測定データを解析する作業を行うが、測定に要する工数や作業の負荷が課題となっている。
本発明は上記事情に鑑みてなされたものであり、頭部装着型の表示装置を利用して、簡易で直感的な方法によるメンテナンスを可能とすることを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部と、評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得するデータ取得部と、前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成する表示用データ生成部と、前記表示用データ生成部により生成する前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定める表示位置制御部と、前記表示位置制御部が定める表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させる表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の頭部に装着される表示装置によって、評価対象物の評価結果に関する表示を行う。これにより、頭部装着型の表示装置を利用して、評価対象物に関する評価結果を容易に確認することができ、簡易で直感的な方法によるメンテナンスが可能になる。

また、本発明は、上記表示装置において、前記表示用データ生成部は、前記評価対象物の測定データと前記比較対象データとを対照することにより、前記評価対象物の状態を評価し、評価結果を表示する前記表示用データを生成すること、を特徴とする。
本発明によれば、表示装置によって評価対象物の状態を評価して評価結果を表示できる。

また、本発明は、上記表示装置において、撮像部を備え、前記データ取得部は、前記撮像部の撮像画像データを前記評価対象物の測定データとして取得し、前記撮像部の過去の撮像画像データまたは撮像画像と比較可能に構成された前記比較対象データを取得すること、を特徴とする。
本発明によれば、評価対象物を撮像することにより、評価対象物の状態を評価して評価結果を表示できる。

また、本発明は、上記表示装置において、前記撮像部は前記使用者の視野方向を撮像すること、を特徴とする。
本発明によれば、使用者の視野方向にある評価対象物を撮像し、評価対象物の状態を評価して評価結果を表示できる。

また、本発明は、上記表示装置において、前記データ取得部が取得する前記比較対象データは、前記評価対象物の設計データに基づき生成されたデータであること、を特徴とする。
本発明によれば、評価対象物の設計上の状態との差異に関する判定を行い、評価結果を表示できる。

また、本発明は、上記表示装置において、前記データ取得部は、測定装置、または測定装置の測定結果を含む測定データを記憶する記憶装置と通信を行うことにより、前記評価対象物の測定データを取得すること、を特徴とする。
本発明によれば、外部の測定装置の測定結果に基づいて、評価対象物に関する判定を行って、評価結果を表示できる。

また、本発明は、上記表示装置において、前記データ取得部は、前記評価対象物の測定データとして前記測定装置が測定した最新または現在の測定結果を含むデータを取得し、前記比較対象データとして、過去に前記測定装置により測定された測定結果を含むデータまたは比較用として予め用意されたデータを取得すること、を特徴とする。
本発明によれば、外部の測定装置から取得するデータに基づいて、評価対象物に関する判定を行い、評価結果を表示できる。

また、本発明は、上記表示装置において、前記表示位置制御部は、前記表示用データの表示位置を、前記表示用データに含まれる評価結果が、前記表示部を透過して視認される実空間の前記評価対象物に重なって視認される位置に定めること、を特徴とする。
本発明によれば、使用者が視認する実空間の評価対象物に対応する位置に、評価結果を表示するので、評価結果を容易に把握できる。

また、本発明は、上記表示装置において、前記表示用データ生成部は、前記評価対象物の測定データに係る画像及び前記比較対象データに係る画像の少なくともいずれかを含む画像と、前記評価対象物に対する評価結果に係る画像とを含む前記表示用データを生成し、前記表示位置制御部は、前記評価対象物の測定データに係る画像の表示位置、または、前記比較対象データに係る画像の表示位置を、前記使用者が前記実対象物を視認する位置に対応する位置とすること、を特徴とする。
本発明によれば、使用者が視認する実対象物に対応する位置に、測定データに係る画像や比較対象データに係る画像を表示するので、実対象物に対応する多くの情報を使用者に視認させることができる。

また、本発明は、上記表示装置において、前記データ取得部は、前記評価対象物が前記実対象物である場合に、前記測定データとして前記実対象物の画像であって前記実対象物の外部から視認できない画像を取得し、前記表示用データ生成部は、前記測定データとしての前記画像を含む前記表示用データを生成し、前記表示位置制御部は、前記測定データとしての画像の表示位置を、前記実対象物において前記測定データとしての画像に該当する範囲を前記使用者が視認する位置に対応する位置とすること、を特徴とする。
本発明によれば、使用者が視認する実対象物に対応する位置に、対象物の外部から視認できない画像を表示するので、実対象物に関する不可視の情報を使用者に視認させることができる。

また、本発明は、上記表示装置において、前記表示用データ生成部は、前記評価結果を所定の表示色で強調表示する態様、前記評価結果に対応付けて警戒情報を表示する態様、前記評価結果に対応付けて比較結果のデータを表示する態様、及び、前記評価結果に対応付けて比較結果の変化に係るデータを表示する態様のいずれかの態様によって強調表示する前記表示用データを生成すること、を特徴とする。
本発明によれば、評価結果を、より見やすく表示できる。

また、上記目的を達成するために、本発明の表示システムは、評価対象物に対し測定を実行して測定データを生成する測定装置と、前記測定装置の測定結果に基づく表示を行う表示装置と、を備え、前記表示装置は、使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部と、前記評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得するデータ取得部と、前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成する表示用データ生成部と、前記表示用データ生成部により生成する前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定める表示位置制御部と、前記表示位置制御部が定める表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させる表示制御部と、を備えること、を特徴とする。
本発明によれば、評価対象物に関する測定を行い、使用者の頭部に装着される表示装置によって評価対象物の評価結果に関する表示を行う。これにより、頭部装着型の表示装置を利用して、評価対象物に関する評価結果を容易に確認することができ、簡易で直感的な方法によるメンテナンスが可能になる。

また、上記目的を達成するために、本発明は、使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得し、前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成し、前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定め、定めた表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置によって、評価対象物の評価結果に関する表示を行う。これにより、頭部装着型の表示装置を利用して、評価対象物に関する評価結果を容易に確認することができ、簡易で直感的な方法によるメンテナンスが可能になる。

第１実施形態のＨＭＤの外観構成を示す説明図。画像表示部の光学系の構成を示す図。画像表示部の要部構成を示す図。ＨＭＤを構成する各部の機能ブロック図。ＨＭＤの動作を示すフローチャート。第１実施形態におけるＨＭＤの表示例を示す図。第２実施形態の測定システムの構成を示す図。測定装置の動作を示すフローチャート。測定システムの動作を示すフローチャートであり、（Ａ）はＨＭＤの動作を示し、（Ｂ）は測定装置の動作を示す。第２実施形態におけるＨＭＤの表示例を示す図。測定システムを医療分野に適用した場合のＨＭＤの表示例を示す図。

［第１実施形態］
図１は、本発明を適用した実施形態に係るＨＭＤ（ヘッドマウントディスプレイ，Head Mounted Display）１００の外観構成を示す説明図である。
ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結される。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、画像表示部２０の前面の中央位置に配置される。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。カメラ６１をステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像制御部１６１（図４）の制御に従って撮像を実行し、撮像画像データを撮像制御部１６１に出力する。

ここで、ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。この場合、使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー６４の測定方向は、例えば、ＨＭＤ１００の表側方向で、カメラ６１の撮像方向と重複する方向とすることができる。
距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１４０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１４０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、及び、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、及び、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続ケーブル４０を介して接続する。接続ケーブル４０はコネクター４６を備え、コネクター４６には、右イヤホン３２、左イヤホン３４及びマイク６３を有するイヤホンマイクを接続できる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続ケーブル４０は画像表示部２０に対し固定的に接続され、制御装置１０に対してはコネクター（図示略）に接離可能に接続される。制御装置１０と画像表示部２０とは、接続ケーブル４０を介して各種信号、及び／又は各種データを送受信する。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、操作部１１１（図４）として、キー操作部１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。

キー操作部１１は、制御装置１０が実行するオペレーティングシステム１５０（図４）の操作等を行うためのメニューキー、ホームキー、戻るキー等を備える。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。

図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）はカメラ６１の画角の説明図である。なお、図３（Ａ）では接続ケーブル４０の図示を省略する。

図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。

カメラ６１は、上記のように画像表示部２０の前面の中央位置に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図３（Ｂ）は、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図３（Ｂ）には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

画角Ｃは、画像表示部２０の中央位置の真正面方向を含む。例えば、図３（Ｂ）に示すように、画像表示部２０の正面方向に、実空間の対象物ＯＢ（実対象物）がある場合、対象物ＯＢは画角Ｃに含まる。このため、カメラ６１の撮像画像には対象物ＯＢが写る。ここで、使用者が対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象物ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

また、ＨＭＤ１００を装着する使用者が画像表示部２０を透過して右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。図１及び図２に示す本実施形態の構成で、実視野は、右光学像表示部２６及び左光学像表示部２８を透過して使用者が視認する実際の視野に相当する。実視野は、図３（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。
カメラ６１は、使用者の視野よりも広い範囲を撮像可能な画角を有することが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の機能ブロック図である。
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１４を備える。インターフェイス１１４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、及び、記憶部１２０を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上述したようにキー操作部１１、トラックパッド１４、上下キー１５及び切替スイッチ１６を含む。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、使用者の操作を受け付ける。入力情報取得部１１０は、操作部１１１における操作内容を示すデータを制御部１４０に出力する。また、入力情報取得部１１０は、制御部１４０の制御に従って、ＬＥＤインジケーター１２（図１）の点灯、点滅、消灯を制御してもよい。
制御装置１０は、電源部１３０を備え、制御装置１０及び画像表示部２０の各部に電源部１３０から電源を供給する。電源部１３０からの電源供給状態は、電源スイッチ１８（図１）の操作、及び、制御部１４０が実行するプログラムの実行状況に応じて、制御部１４０が制御する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、及び、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１１４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

また、記憶部１２０は、設計標準データ１２２、測定履歴データ１２３、特徴量データ１２４、及び判定結果データ１２５を記憶する。

本第１実施形態で、ＨＭＤ１００は、測定対象物（評価対象物）である対象物ＯＢに対する状態測定を行う測定装置、及び、測定結果に基づく判定結果（評価結果）を表示する表示装置として機能する。状態測定は、対象物ＯＢの部分的形状、全体形状、及び表面状態など外面から光学的に検出可能な外面的状態を測定する。より具体的には、ＨＭＤ１００は、カメラ６１の撮像画像データを利用して対象物ＯＢの外面的状態の測定を行う。
ＨＭＤ１００は、対象物ＯＢの外面的状態の測定結果を、対象物ＯＢの標準的な状態と比較して、差異の有無及び差異の大きさに基づき、対象物ＯＢが標準的な状態であるか否かを判定する。
上記の測定、判定、及び判定結果の表示を含む一連の動作を、測定処理として後述する。

ＨＭＤ１００は、測定処理において、対象物ＯＢの標準的な状態を示すデータとして、設計標準データ１２２を使用する。対象物ＯＢは建物、道路、橋梁などの建造物であってもよいし、移動可能な物品であってもよい。設計標準データ１２２は対象物ＯＢの建築設計または機械設計など設計された状態の対象物ＯＢの形状等を示すデータである。対象物ＯＢが設計通りに建造または製造された場合、対象物ＯＢの外面的状態は設計標準データ１２２が示す状態に一致し、或いは、設計標準データ１２２が示す状態との差が許容範囲内となる。設計標準データ１２２との差の許容範囲は、建造または製造時に生じる公差に基づき設定されてもよい。また、対象物ＯＢの経年変化を考慮して設定されてもよい。

ＨＭＤ１００は、カメラ６１の撮像画像から対象物ＯＢの画像を抽出し、対象物ＯＢの形状など外面的状態を求める。ＨＭＤ１００が対象物ＯＢの画像を抽出する処理においては、例えば、対象物ＯＢを撮像した撮像画像の特徴量が使用される。対象物ＯＢの特徴量を示すデータが、特徴量データ１２４である。特徴量データ１２４は、例えば、対象物が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が含まれる。この場合、ＨＭＤ１００は、カメラ６１の撮像画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、特徴量データ１２４に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、撮像画像データから抽出した画像の物体を対象物ＯＢとして認識する。また、対象物ＯＢについて複数の特徴量が特徴量データ１２４に含まれる場合、ＨＭＤ１００は複数の特徴量に基づき撮像画像データから対象物ＯＢを検出し、認識できる。ＨＭＤ１００は、撮像画像データにおいて対象物ＯＢを認識できない場合、撮像制御部１６１が新たな撮像画像データを取得するまで待機し、新たな撮像画像データについて対象物ＯＢを認識する処理を行う。特徴量データ１２４は１つの対象物ＯＢに対し１つとは限定されない。対象物ＯＢを撮像する角度、対象物ＯＢの全体における位置等に応じて、１つの対象物ＯＢに対応する複数の特徴量データ１２４が記憶部１２０に記憶されてもよい。

ＨＭＤ１００は、測定結果である撮像画像データから求めた対象物ＯＢの外面的状態と、設計標準データ１２２が示す外面的状態とを比較し、対象物ＯＢの状態を判定する。この判定は、対象物ＯＢの部分毎に行ってもよく、全体に対して行ってもよい。本第１実施形態では測定結果である撮像画像データから求めた対象物ＯＢの外面的状態と、設計標準データ１２２が示す外面的状態との差が許容範囲を超えた部分について、当該部分を、注目箇所として判定する対象物ＯＢ全体に対する判定は行わないが、例えば、注目箇所の数が設定された閾値を超える対象物ＯＢについて、対象物ＯＢを要注意対象物として判定してもよい。判定結果は、判定結果データ１２５として記憶部１２０に記憶される。判定結果データ１２５は、注目箇所の有無、注目箇所の対象物ＯＢにおける位置等の情報を含み、後述するように判定結果を表示する表示位置に関する情報を含んでもよい。また、判定結果データ１２５は、測定結果である対象物ＯＢの外面的状態に関する情報を含んでもよい。

ＨＭＤ１００は、判定結果を画像表示部２０で表示するための表示用のデータを生成する。この表示用のデータは、例えば、対象物ＯＢにおいて注目箇所と判定された部分を、注目箇所の位置、サイズに合わせて使用者に示すデータである。
本実施形態の表示用のデータは、画像表示部２０を透過する外光により使用者が視認する実空間に重ねて、判定結果を表示する態様である。この場合、判定結果を示す文字（テキスト）や画像は、実空間の対象物ＯＢに対応する位置に表示され、いわゆるＡＲ（Augmented Reality：拡張現実）効果を奏する画像（以下、ＡＲ画像という）として機能する。

判定結果の表示位置は、使用者が画像表示部２０を透過して対象物ＯＢを視認する位置に合わせて決定される。使用者が対象物ＯＢを視認する位置は、カメラ６１の撮像方向と、画像表示部２０を透過する場合の使用者の視界（視野）、或いは視線方向との相対的な位置関係を示すデータと、カメラ６１の撮像画像における対象物ＯＢの画像の位置と、に基づき決定できる。この処理において、カメラ６１の撮像画像データから対象物ＯＢの画像を抽出する際に特徴量データ１２４を利用してもよい。

ＨＭＤ１００は、使用者が視認する実空間の対象物ＯＢに重なるように、判定結果を表示する。判定結果の表示態様は、使用者が判定結果を明瞭に知覚できればよく、制限されるものではない。例えば、注目箇所の大きさ、位置、範囲が分かるように、注目箇所を強調する表示態様とすることができる。具体的には、注目箇所を枠で囲む、注目箇所にハイライトの文字や枠を付加する等、テキストや画像を付加的に表示してもよい。また、注目箇所に重ねて明色を表示し、注目箇所が明色で塗りつぶされるように表示してもよい。また、使用者の視界において注目箇所以外の部分の視認性を低下させるように、例えば注目箇所以外の部分に暗色を重ねて表示してもよい。

測定結果である対象物ＯＢの外面的状態に関するデータ、または、この対象物ＯＢの外面的状態に関する情報を含む判定結果データ１２５は、判定結果を表示した後、測定履歴データ１２３として記憶部１２０に記憶される。測定履歴データ１２３の数は任意である。このため、記憶部１２０には、過去の測定結果を示す測定履歴データ１２３を１、または複数記憶できる。ＨＭＤ１００は、対象物ＯＢの外面的状態を設計標準データ１２２と比較するだけでなく、測定履歴データ１２３と比較することによって判定を行ってもよい。この場合、ＨＭＤ１００は、対象物ＯＢの外面的状態を、過去の外面的状態と比較して判定を行える。例えば、対象物ＯＢが表面から視認可能な損傷や変形がある場合に、この損傷や変形が拡大しているか否かを判定できる。

測定履歴データ１２３は、最初に記憶部１２０に記憶される日時、または測定履歴データ１２３の形態で生成された日時を示すタイムスタンプ情報に対応付けられ、記憶部１２０に記憶される。具体的には、測定履歴データ１２３にタイムスタンプ情報を含めてもよい。また、タイムスタンプ情報と測定履歴データ１２３とが対応付けされて、ともに記憶部１２０に記憶されてもよい。

測定履歴データ１２３は、対象物ＯＢの外面的状態に関するデータを含んでもよく、具体的にはカメラ６１の撮像画像データ、及び／または、撮像画像から抽出または算出されたデータを含んでもよい。また、測定履歴データ１２３は、判定結果データ１２５を含んでもよく、この場合、判定に用いたデータ自体を含んでもよい。例えば、対象物ＯＢの外面的状態に関するデータとしての撮像画像データと、設計標準データ１２２や過去の測定または判定に係る測定履歴データ１２３等とを比較して判定した場合、これらの比較したデータを測定履歴データ１２３に含めてもよい。また、測定履歴データ１２３は、カメラ６１の撮像画像データ、過去の測定履歴データ１２３、或いは設計標準データ１２２そのものを含まず、これらのデータを特定する情報（例えば、記憶部１２０に記憶されたデータのファイル名等）を含んでもよい。

記憶部１２０が記憶する測定履歴データ１２３は、タイムスタンプ情報、或いは、測定履歴データ１２３が含むデータに関する情報に基づき、操作部１１１が受け付ける操作によって選択し、指定することが可能である。このため、ＨＭＤ１００を装着する使用者が、操作部１１１の操作によって、測定履歴データ１２３を記憶部１２０から読み出すよう指示できる。制御部１４０は、操作部１１１で受け付けた操作に従って指定された測定履歴データ１２３を読み出すことができる。
例えば、制御部１４０が、判定を行う場合に、測定結果である対象物ＯＢの外面的状態に関するデータと比較するデータを、操作部１１１で受け付ける操作により指定してもよい。この場合、設計標準データ１２２に限らず、記憶部１２０が記憶する測定履歴データ１２３を、測定結果と比較して判定を行ってもよい。

データ取得部１６２は、判定を行うための設計標準データ１２２、及びカメラ６１の撮像画像データを取得する。また、測定履歴データ１２３を利用して判定を行う場合、データ取得部１６２は測定履歴データ１２３を取得する。
表示用データ生成部１６３は、データ取得部１６２が取得するカメラ６１の撮像画像に基づいて対象物ＯＢの測定を行い、測定結果を設計標準データ１２２と比較して判定を行う。また、表示用データ生成部１６３は、対象物ＯＢの測定結果と測定履歴データ１２３とを比較して判定を行ってもよい。また表示用データ生成部１６３は、判定結果を表示する表示用のデータを生成する。
表示位置制御部１６４は、表示用データ生成部１６３が生成する表示用のデータの表示位置を決定する。

制御部１４０には、ＧＰＳ１１５、及び通信部１１７が接続される。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１１４に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１１４より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１１４は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、撮像制御部１６１、データ取得部１６２、表示用データ生成部１６３、表示位置制御部１６４、通信制御部１７０、音声処理部１８７、及び、表示制御部１９０として機能する。

画像処理部１６０は、画像表示部２０により表示するコンテンツの画像データに基づいて、右表示駆動部２２及び左表示駆動部２４に送信する信号を生成する。画像処理部１６０が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１６０は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

撮像制御部１６１は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１６１は撮像画像データをカメラ６１から取得して、記憶部１２０に一時的に記憶する。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２及び左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、カメラ６１を備える。また、画像表示部２０は、インターフェイス２５、右表示駆動部２２、左表示駆動部２４、右光学像表示部２６としての右導光板２６１、左光学像表示部２８としての左導光板２６２、及び、９軸センサー６６を備える。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサー（慣性センサー）である。９軸センサー６６は、複数のセンサーを統合したセンサーユニットであってもよい。制御部１４０は、画像表示部２０が使用者の頭部に装着された状態で、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。

インターフェイス２５は、接続ケーブル４０により制御装置１０に接続され、制御装置１０が送信する各種データ及び信号を、右表示駆動部２２及び左表示駆動部２４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、及び、９軸センサー６６を制御装置１０に接続する。カメラ６１の撮像データ、９軸センサー６６による加速度（３軸）、角速度（３軸）、及び、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
右バックライト制御部２０１は、表示制御部１９０が送信する制御信号に従って、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

左バックライト制御部２０２は、表示制御部１９０が送信する制御信号に従って、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

図５はＨＭＤ１００の動作を示すフローチャートであり、特に、測定処理を示す。
制御部１４０は、対象物ＯＢの状態を判定するための比較対象のデータを取得する（ステップＳ１１）。制御部１４０は、対象物ＯＢの測定結果を設計された状態と比較する場合、比較対象データとして設計標準データ１２２を取得する。また、制御部１４０は、過去の対象物ＯＢの測定結果と、現在または最新の測定結果とを比較して判定する場合、測定履歴データ１２３を比較対象データとして取得する。

制御部１４０は、カメラ６１を制御して撮像を実行させ（ステップＳ１２）、撮像画像データを取得する（ステップＳ１３）。制御部１４０は撮像画像データから対象物ＯＢの画像を抽出し（ステップＳ１４）、抽出した対象物ＯＢの画像により外面的状態を求め、求めた外面的状態とステップＳ１１で取得したデータとを比較して判定を行う（ステップＳ１５）。制御部１４０は判定結果を含む表示用のデータを生成し（ステップＳ１６）、判定結果の表示位置を決定し（ステップＳ１７）、決定した表示位置に判定結果を表示する（ステップＳ１８）。

制御部１４０は、表示を終了するか否かを判定する（ステップＳ１９）。使用者の操作により表示の終了が指示された場合、制御部１４０は表示を終了すると判定し（ステップＳ１９；ＹＥＳ）、本処理を終了する。表示を終了しないと判定した場合（ステップＳ１９；ＮＯ）、制御部１４０はステップＳ１２に戻る。

図６は、第１実施形態におけるＨＭＤの表示例を示す図であり、（Ａ）は使用者の視野に対象物ＯＢが視認される状態を示し、（Ｂ）は対象物ＯＢに注目箇所が存在する場合の例を示し、（Ｃ）は判定結果が表示される例を示す。

図６（Ａ）のように使用者の視野ＶＲに対象物ＯＢが視認される場合、制御部１４０は、カメラ６１の撮像画像データから対象物ＯＢの画像を抽出して判定する。この例では、対象物ＯＢが大きいため視野ＶＲには対象物ＯＢの一部分しか収まっていない。この場合、カメラ６１の撮像画像データにおいても対象物ＯＢの全体が収まっていない可能性があるが、特徴量データ１２４が対象物ＯＢの一部分についての特徴量を含んでいれば処理が可能である。図６（Ｂ）に示すように、判定により、対象物ＯＢの一部に、設計データとは形状やサイズが異なる注目箇所ＰＲが検出された場合、図６（Ｃ）に示すように、注目箇所ＰＲが強調して視認されるように、強調表示Ｖ１が表示される。図６（Ｃ）に例示する強調表示Ｖ１は注目箇所ＰＲを囲む枠形状であるが、強調表示の形状や表示色は任意である。

図６（Ｃ）は比較結果の表示の一態様を示す例であり、その他の態様による表示を行うことも勿論可能である。
図６（Ｃ）の例では判定結果を示す枠形状の強調表示Ｖ１を表示するが、判定結果を含む表示として、判定に用いた対象物ＯＢの外面的状態に関する測定データに係る画像と、この測定データと比較されたデータに係る画像とを並べて表示してもよい。

測定データに係る画像は、例えば、カメラ６１の撮像画像またはカメラ６１の撮像画像から抽出等により生成された画像である。また、比較されたデータに係る画像は、例えば、過去のカメラ６１の撮像データ、設計標準データ１２２に対応付けて記憶部１２０に記憶されたＣＡＤ図面等である。また、測定データに係る画像及び比較されたデータに係る画像が、測定結果または標準データの数値等に基づき生成されたグラフ等の図表であってもよい。
この場合、２つの、または複数の画像を並べて表示することにより、使用者は、経時変化を視覚的に比較できる。この場合、表示される複数の画像のうち古い方の画像、或いは、対象物ＯＢの過去の状態に関する画像の視認性を低くしてもよい。例えば、当該画像の透過率を上げ、外光に対して薄く視認されるようにしてもよい。この場合、結果的に、より新しい方の画像を認識しやすくなり、強調表示できる。

また、複数の画像を並べて表示する場合に、比較、判定により発見された注目箇所に、マーカー表示をしてもよい。このマーカー表示は、複数の画像の全てに表示してもよく、より新しい画像のマーカーを、視認性が高くなるように太くしてもよい。また、測定データに係る画像及び比較されたデータに係る画像が図表である場合に、図表中にマーカー等を付加して注目箇所を強調してもよい。
また、強調表示をＨＭＤ１００により立体画像として表示してもよい。この場合、対象物ＯＢに重畳する強調表示としての装飾を立体表示してもよい。また、対象物ＯＢをカメラ６１で撮像した撮像画像を利用して、対象物ＯＢの立体画像を生成し、この立体画像を視野ＶＲで視認される実空間の対象物ＯＢに重ねて表示してもよい。この場合、強調表示される部分を立体表示することで、判定結果をより一層わかりやすく強調して表示できる。

さらに、判定の結果、明らかな異常とみなすことができる注目箇所が発見された場合、表示する画像において、注目箇所に装飾表示または強調表示を行い、この装飾表示または強調表示の態様を、危険度または緊急度により段階的に分けてもよい。
また、判定の結果、明らかな異常とみなすことができる注目箇所が発見された場合、注目箇所に対する表示態様の装飾や強調を行うとともに、音声処理部１８７が報知音声を右イヤホン３２及び左イヤホン３４から出力してもよい。

このように、複数の画像や図表を表示して、継時変化や判定の様子等を視覚的に示すことにより、対象物ＯＢの状態を一目瞭然で比較できる。また、ＨＭＤ１００は頭部装着型の装置であるから、使用者は、ハンドフリーで作業をしながら、対象物ＯＢの状態について判定を行い、判定結果を見ることができる。また、ＨＭＤ１００を装着した状態で画像表示部２０を透過して外景を視認できるので、使用者は広い範囲を見渡すことができる。このため、カメラ６１の撮像範囲に全体を収められない大きな対象物ＯＢを対象とする場合であっても、使用者が、対象の位置や範囲を容易に特定できる。

表示位置制御部１６４は、実空間の対象物ＯＢ（実対象物）と表示位置との対応付けの態様として、図６（Ｃ）にように表示位置を対象物ＯＢに重なる位置としてもよく、表示位置が対象物ＯＢから外れた位置となるようにしてもよく、何らかの対応付けが定義されていれば、その具体的態様は限定されない。

以上説明したように、本発明を適用した第１実施形態に係るＨＭＤ１００は、使用者の頭部に装着され、実空間を視認可能に画像を表示する画像表示部２０を有する。ＨＭＤ１００は、評価対象物である対象物ＯＢに関する測定データと、対象物ＯＢの測定データと比較する比較対象データとを取得するデータ取得部１６２を有する。また、表示対象の測定データと比較対象データとを比較することにより、対象物ＯＢに対する判定結果を含む表示用データを生成する表示用データ生成部１６３を備える。また、表示用データ生成部１６３により生成する表示用データと、使用者が視認する実対象物である対象物ＯＢとの位置を対応付けることにより、画像表示部２０による表示用データの表示位置を定める表示位置制御部１６４を備える。ＨＭＤ１００は、表示位置制御部１６４が定める表示位置に従って、画像表示部２０により表示用データに基づく画像を表示させる表示制御部１９０と、を備える。
このＨＭＤ１００の構成、及び、ＨＭＤ１００の制御方法によれば、使用者の頭部に装着されるＨＭＤ１００によって、実空間の対象物ＯＢの判定結果を表示できる。このため、対象物ＯＢに関する判定結果を容易に確認でき、簡易で直感的な方法によるメンテナンスが可能になる。

また、表示用データ生成部１６３は、対象物ＯＢの測定データと比較対象データとを対照することにより、対象物ＯＢの状態を評価し、判定結果を表示する表示用データを生成する。このため、ＨＭＤ１００によって対象物ＯＢの状態を評価して判定結果を表示できる。
ＨＭＤ１００はカメラ６１（撮像部）を備え、データ取得部１６２は、カメラ６１の撮像画像データを対象物ＯＢの測定データとして取得する。また、カメラ６１の過去の撮像画像データまたは撮像画像と比較可能に構成された比較対象データを取得してもよい。この場合、対象物ＯＢを撮像することにより、対象物ＯＢの状態を評価して判定結果を表示できる。

また、カメラ６１は使用者の視野方向を撮像するので、使用者の視野方向にある対象物ＯＢを撮像し、対象物ＯＢの状態を評価して判定結果を表示できる。
また、データ取得部１６２が取得する比較対象データは、対象物ＯＢの設計データに基づき生成されたデータであってもよく、例えば設計標準データ１２２であってもよい。この場合、対象物ＯＢの設計上の状態との差異に関する判定を行い、判定結果を表示できる。

表示位置制御部１６４は、表示用データの表示位置を、表示用データに含まれる判定結果が、画像表示部２０を透過して視認される実空間の対象物ＯＢに重なって視認される位置に定める。この場合、使用者が視認する実空間の対象物ＯＢに対応する位置に、判定結果を表示するので、判定結果を容易に把握できる。
また、表示用データ生成部１６３は、判定結果を示す強調表示を行ってもよい。例えば、判定結果に基づき選択または特定される注目箇所を所定の表示色で強調表示する態様、注目箇所に対応付けて警戒情報を表示する態様等が挙げられる。また、注目箇所に対応付けて比較結果のデータを表示する態様、及び、注目箇所に対応付けて比較結果の変化に係るデータを表示する態様とすることも可能である。

［第２実施形態］
図７は、本発明を適用した第２実施形態に係る測定システム２の構成を示す図である。測定システム２は、ＨＭＤ１００と、測定装置３００とを有し、ＨＭＤ１００と測定装置３００とは相互に通信可能に構成される。図７には、ＨＭＤ１００と測定装置３００とが通信ネットワーク４を介して通信する構成としたが、たとえば、ＨＭＤ１００と測定装置３００とが直接、無線通信を実行してもよい。具体的には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤｉｒｅｃｔＷｉＦｉ（登録商標）等の技術を利用してＨＭＤ１００と測定装置３００とが、後述する制御データや測定データを送受信してもよく、この場合、通信ネットワーク４は必須ではない。

ＨＭＤ１００は、上述した第１実施形態で説明したＨＭＤ１００と同様に構成される。ＨＭＤ１００については、同符号を付して説明を省略する。
測定装置３００は、対象物ＯＢに対する測定を行う装置であり、制御部３０１、測定部３０２、通信部３０３、操作部３０４、表示部３０５、及び記憶部３１０を備える。測定装置３００は、測定対象物に対して非破壊的に測定を行う測定部３０２を有する。測定部３０２は、光学的な検出（測定）方法、磁気的または電気的な検出（測定）方法、超音波を利用した検出（測定）方法により測定を行う。測定の内容は、例えば、測定対象物の大きさ、厚さ、形状の測定とすることができる。また、測定対象物の表面及び／又は内部状態の測定を行ってもよく、測定結果に基づく探傷或いは劣化度の測定を行ってもよい。

制御部３０１は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部３０１は、プログラムを実行することにより測定装置３００を制御し、測定部３０２による測定の実行、ＨＭＤ１００との通信などを行う。

通信部３０３は、ＨＭＤ１００との間で制御データや測定データ等の各種データを送受信する。通信部３０３は、有線通信インターフェイス、または無線通信インターフェイスで構成され、具体的な通信方式やプロトコルは限定されない。
操作部３０４は、測定装置３００を操作するオペレーターの操作を受け付ける。表示部３０５は、測定部３０２を用いた測定結果や測定装置３００の動作状態を表示する。

測定システム２では、測定装置３００で測定を行い、測定結果をＨＭＤ１００が取得して、ＨＭＤ１００により測定結果に基づく判定を行うことができる。
第１実施形態では、ＨＭＤ１００がカメラ６１の撮像画像データに基づき判定を行って判定結果を表示する例を説明した。この第２実施形態では、測定装置３００の測定結果に基づきＨＭＤ１００が判定結果を表示する。これにより、超音波探傷装置などＨＭＤ１００が搭載することが容易でない装置を用いた特殊な測定方法による測定結果を利用して、ＨＭＤ１００が表示を行える。

図８は、測定装置３００の動作を示すフローチャートであり、特に、測定対象物である対象物ＯＢに対し測定を行う動作を示す。
制御部３０１は、操作部３０４により測定開始を指示する操作を受け付けて、測定部３０２による測定を開始する（ステップＳ３１）。制御部３０１は、測定の対象である対象物ＯＢに対し、測定する位置の位置検出を行う（ステップＳ３２）。この位置検出で、制御部３０１は、予め設けられる基準に対する測定位置の相対的な位置を検出する。また、検出する測定位置は、測定開始位置を含み、測定終了時に測定終了位置を検出してもよい。位置の基準は、例えば、対象物ＯＢの表面あるいは対象物ＯＢの外部に設けられる基準点とすることができ、具体的には、基準位置を示すマーカーが配置される。マーカーは、測定装置３００が磁気的または光学的に検出可能であり、二次元コードやバーコードを対象物ＯＢの表面に貼付する形態であってもよい。測定装置３００は、測定部３０２によりマーカーを検出し、或いは、図示しないカメラを備え、このカメラによりマーカーを検出する。また、測定装置３００の外部の装置によりマーカーを検出して測定位置を検出してもよく、この場合、測定装置３００は、ステップＳ３２で、外部の装置から測定位置の検出結果を取得する。

制御部３０１は、測定部３０２による測定を実行し（ステップＳ３３）、測定結果と、ステップＳ３２で検出した測定位置に関するマッピング情報とを含む測定データを生成する（ステップＳ３４）。マッピング情報は、対象物ＯＢの全体または対象物ＯＢにおける基準位置と測定位置とを対応付ける情報であり、この測定位置に測定結果が対応付けられる。測定部３０２による測定は、対象物ＯＢの外面の特定の位置で行われる測定に限らず、特定の範囲を対象として面的に行ってもよい。この場合、測定位置に関する情報は、測定した範囲を示す情報となる。

制御部３０１は、ステップＳ３４で生成した測定データを記憶部３１０に記憶し（ステップＳ３５）、本処理を終了する。なお、測定を実行する位置が複数ある場合、或いは、測定範囲に対して複数回の測定を行う場合には、ステップＳ３２〜Ｓ３５の動作を繰り返し実行すればよい。

図７に示すように、記憶部３１０は、測定履歴データ３１１、及び測定データ３１２を記憶する。測定データ３１２は、図８のステップＳ３５で記憶されるデータである。これに対し、測定履歴データ３１１は、過去に測定された際の測定データ３１２に相当する。つまり、制御部３０１は、測定を行って測定データ３１２を生成し記憶する場合に、既に記憶部３１０に記憶している測定データを、測定履歴データ３１１とする。このため、記憶部３１０においては過去の測定データが記憶されるため、例えば複数の測定データを比較することで、対象物ＯＢの状態の経時変化を知ることができる。

測定履歴データ３１１は、最初に記憶部３１０に記憶される日時、または測定履歴データ３１１の形態で生成された日時を示すタイムスタンプ情報に対応付けられ、記憶部３１０に記憶される。具体的には、測定履歴データ３１１にタイムスタンプ情報を含めてもよく、測定日時を示すタイムスタンプ情報を含んでもよい。また、タイムスタンプ情報と測定履歴データ３１１とが対応付けされて、ともに記憶部３１０に記憶されてもよい。

測定履歴データ３１１は、測定履歴データ１２３と同様に、測定結果のデータを含んでもよく、判定結果に関するデータを含んでもよく、判定に用いたデータ自体を含んでもよい。測定履歴データ３１１は、測定結果のデータや過去の判定に用いたデータそのものを含まず、これらのデータを特定する情報（例えば、記憶部３１０に記憶されたデータのファイル名等）を含んでもよい。
記憶部３１０が記憶する測定履歴データ３１１は、タイムスタンプ情報、或いは、測定履歴データ３１１が含むデータに関する情報に基づき、選択し指定できる。このため、ＨＭＤ１００を装着する使用者が、測定装置３００にアクセスして、測定履歴データ３１１を記憶部３１０から読み出して送信するよう指示できる。制御部１４０は、例えば操作部１１１で受け付けた操作に従って指定された測定履歴データ３１１を取得できる。

図９は、測定システム２の動作を示すフローチャートである。図９（Ａ）はＨＭＤ１００の動作を示し、図９（Ｂ）は測定装置３００の動作を示す。
ＨＭＤ１００の制御部１４０は、通信部１１７を制御して測定装置３００に接続し（ステップＳ５１）、この接続に応答して、測定装置３００においては制御部３０１が通信部３０３によりＨＭＤ１００に接続する（ステップＳ７１）。これにより、ＨＭＤ１００と測定装置３００との間の通信が可能な状態となる。

制御部１４０は、測定装置３００に対して測定データを要求する（ステップＳ５２）。この要求は、制御データまたはコマンドを送信することで、測定装置３００に通知される。制御部３０１は、ＨＭＤ１００から要求を受信し（ステップＳ７２）、要求された測定データ３１２を記憶部３１０から読み出して、ＨＭＤ１００に送信する（ステップＳ７３）。ここで、制御部１４０が測定データと、過去の測定データである測定履歴データとを要求した場合、制御部３０１は測定履歴データ３１１及び測定データ３１２をＨＭＤ１００に送信する。

制御部１４０は、測定装置３００から送信されるデータを受信して、記憶部１２０に記憶する（ステップＳ５３）。ここで、制御部１４０は、測定装置３００から受信した測定履歴データ３１１を、測定履歴データ１２３として記憶し、測定データ３１２を測定結果のデータとして一時的に記憶する。

制御部１４０は、カメラ６１を制御して撮像を実行させ（ステップＳ１２）、撮像画像データを取得する（ステップＳ５４）。ステップＳ５４では、使用者が実空間の対象物ＯＢを視認する位置や、使用者の視野における対象物ＯＢの位置を検出するための撮像を行う。制御部１４０は、撮像画像データから対象物ＯＢの画像を抽出し（ステップＳ５５）、使用者の視野または視線方向に対する対象物ＯＢの相対的位置を特定する（ステップＳ５６）。

制御部１４０は、ステップＳ５３で受信した測定データ３１２と、記憶部１２０に記憶した設計標準データ１２２または測定履歴データ１２３とに基づき判定を行い、判定結果を含む表示用のデータを生成する（ステップＳ５７）。
制御部１４０は、ステップＳ５６で特定した対象物ＯＢの位置に基づき、判定結果の表示位置を決定し（ステップＳ５８）、決定した表示位置に判定結果を表示する（ステップＳ５９）。

制御部１４０は、表示を終了するか否かを判定する（ステップＳ６０）。使用者の操作により表示の終了が指示された場合、制御部１４０は表示を終了すると判定し（ステップＳ６０；ＹＥＳ）、測定装置３００に対して終了の通知を送信して（ステップＳ６１）、本処理を終了する。表示を終了しないと判定した場合（ステップＳ６０；ＮＯ）、制御部１４０はステップＳ５２に戻る。
制御部３０１は、ＨＭＤ１００から終了の通知を受信したか否かを判定し（ステップＳ７４）、通知を受信した場合（ステップＳ７４；ＹＥＳ）、本処理を終了する。また、終了の通知を受信していない場合（ステップＳ７４；ＮＯ）、ステップＳ７２に戻る。

図１０は、第２実施形態におけるＨＭＤ１００の表示例を示す図であり、（Ａ）は使用者の視野ＶＲに対象物ＯＢが視認される状態を示し、（Ｂ）は判定結果の表示例を示し、（Ｃ）は判定結果の別の表示例を示す。

図１０（Ａ）の例では使用者の視野ＶＲに筒型の対象物ＯＢが視認され、この対象物ＯＢに対し測定装置３００により超音波探傷検査を行う例を示す。
測定装置３００により傷の存在が検出された場合、傷を検出した位置を含む測定データ３１２が測定装置３００からＨＭＤ１００に送信され、ＨＭＤ１００は、測定データ３１２が示す傷の、視野ＶＲにおける位置を特定して表示を行う。

図１０（Ｂ）に示す表示例では、傷Ｒ１、Ｒ２のそれぞれに対応して、強調表示Ｖ１１、Ｖ１２が表示される。ＨＭＤ１００は、傷Ｒ１と傷Ｒ２の深さや深刻度、或いは大きさ等から、傷Ｒ１、Ｒ２に対し、要注意の度合いを示すランク付けを行ってもよく、傷Ｒ１、Ｒ２のランクに応じた態様で強調表示Ｖ１１、Ｖ１２を表示してもよい。この場合、使用者は、強調表示Ｖ１１、Ｖ１２の形状、色あるいは大きさにより、傷Ｒ１、Ｒ２への対応の緊急性等を判断できる。また、例えば、測定履歴データ３１１に基づき、傷Ｒ１、Ｒ２のうち、過去にも測定装置３００により検出された傷を別の表示態様で強調表示してもよい。

また、ＨＭＤ１００は、測定結果に基づき注目を要する箇所である傷Ｒ１、Ｒ２だけでなく、測定装置３００により測定を行った範囲を合わせて表示してもよい。図１０（Ｃ）の例では、測定部３０２（例えば、超音波プローブ）で測定を済ませた範囲に、強調表示Ｖ１３を表示する。この場合、測定の進捗状況を使用者が把握できる。また、測定履歴データ３１１に基づいて、過去に測定を行った範囲を、別の表示態様で示してもよい。

図１０（Ｂ）、（Ｃ）は比較結果の表示の一態様を示す例であり、その他の態様による表示を行うことも勿論可能である。図１０の例では、実空間の対象物ＯＢに重なって見えるように、発見された傷Ｒ１，Ｒ２に枠形状の強調表示Ｖ１１、Ｖ１２を表示する。本発明はこれに限定されず、判定に用いた対象物ＯＢに関する測定データ、或いは、この測定データと比較されたデータに係る画像を表示してもよい。また、対象物ＯＢとともに、測定データと、比較されたデータとを並べて表示してもよい。例えば、測定装置３００の測定データを示す図表と、過去に対象物ＯＢに対して測定装置３００が測定したデータを示す図表とを、並べて表示してもよい。この場合、２つの、または複数の画像を並べて表示することにより、使用者は、経時変化を視覚的に比較できる。この場合、表示される複数の画像のうち古い方の画像、或いは、対象物ＯＢの過去の状態に関する画像の視認性を低くしてもよい。例えば、当該画像の透過率を上げ、外光に対して薄く視認されるようにしてもよい。この場合、結果的に、より新しい方の画像を認識しやすくなり、強調表示できる。

また、複数の画像を並べて表示する場合に、比較、判定により発見された注目箇所に、マーカー表示をしてもよい。このマーカー表示は、複数の画像の全てに表示してもよく、より新しい画像のマーカーを、視認性が高くなるように太くしてもよい。また、測定データに係る画像及び比較されたデータに係る画像が図表である場合に、図表中にマーカー等を付加して注目箇所を強調してもよい。例えば、図１０（Ｂ）の傷Ｒ１、Ｒ２に対応する測定データのグラフ中の波形等に対して、マーカーや枠による装飾表示または強調表示をしてもよい。
また、強調表示をＨＭＤ１００により立体画像として表示してもよい。この場合、対象物ＯＢに重畳する強調表示としての装飾を立体表示してもよい。また、対象物ＯＢの撮像画像を利用して、対象物ＯＢの立体画像を生成し、この立体画像を視野ＶＲで視認される実空間の対象物ＯＢに重ねて表示してもよい。この場合、例えば傷Ｒ１、Ｒ２を含む部分のみを立体画像として表示するなど、強調表示される部分を立体表示することで、判定結果をより一層わかりやすく強調して表示できる。

さらに、傷Ｒ１，Ｒ２のように明らかな異常とみなすことができる注目箇所が発見された場合、表示する画像において、注目箇所に装飾表示または強調表示を行い、この装飾表示または強調表示の態様を、危険度または緊急度により段階的に分けてもよい。また、判定の結果、明らかな異常とみなすことができる注目箇所が発見された場合、注目箇所に対する表示態様の装飾や強調を行うとともに、音声処理部１８７が報知音声を右イヤホン３２及び左イヤホン３４から出力してもよい。

このように、複数の画像や図表を表示して、継時変化や判定の様子等を視覚的に示すことにより、対象物ＯＢの状態を一目瞭然で比較できる。また、ＨＭＤ１００は頭部装着型の装置であるから、使用者は、ハンドフリーで作業をしながら、対象物ＯＢの状態について判定を行い、判定結果を見ることができる。また、ＨＭＤ１００を装着した状態で画像表示部２０を透過して外景を視認できるので、使用者は広い範囲を見渡すことができる。このため、測定装置３００が一度で測定できない程度の大きな対象物ＯＢを対象とする場合であっても、使用者が、対象の位置や範囲を容易に特定できる。

また、本発明の適用範囲は、例えば医療分野を対象としてもよい。
図１１は、測定システム２を医療分野に適用した場合のＨＭＤ１００の表示例を示す図である。
この図１１には、測定装置３００として超音波画像診断装置を用いる例を示す。この例では、測定装置３００の測定部３０２は超音波プローブ（探触子）である。測定装置３００は、測定部３０２が人体の測定対象部分に接触した状態で、測定対象部分に対して測定部３０２から超音波を発し、反射波を検出することにより、測定を行う。測定装置３００は、測定部３０２により検出する反射波を処理することによって画像を形成し、この画像を測定データ３１２として記憶する。

図１１（Ａ）には、測定装置３００が測定した測定データ３１２に係る測定画像ＤＮを、実空間の対象物ＯＢに対応する位置に表示する例を示す。使用者の視野ＶＲには対象物ＯＢとしての人体が見えている。図１１（Ａ）の例では、測定対象は符号ＯＢＰで示す範囲であり、この範囲ＯＢＰから離れるように、測定画像ＤＮが、ＨＭＤ１００により表示される。また、ＨＭＤ１００の制御部１４０は、測定画像ＤＮを、例えば、測定対象の人物について過去に測定されたときの測定データ３１２と比較することで、健康上の問題の有無を判定する。図１１（Ａ）には、制御部１４０が判定した判定結果に対応する強調表示Ｖ１５が表示される。強調表示Ｖ１５は測定画像ＤＮに基づき健康上の問題があると判定された位置を視覚的に示す。

図１１（Ｂ）は、測定装置３００が測定した測定データ３１２に係る測定画像ＤＮを、実空間の対象物ＯＢに対応する位置に表示する別の表示例であり、測定対象の範囲ＯＢＰに重なる位置に測定画像ＤＮが表示される。また、制御部１４０が判定した判定結果に対応する強調表示Ｖ１６が表示される。強調表示Ｖ１６は測定画像ＤＮに基づき健康上の問題があると判定された位置を視覚的に示し、測定画像ＤＮに重なって表示される。
この例では、測定画像ＤＮが範囲ＯＢＰに重なって見えるため、測定装置３００の測定結果と、測定対象の人物の身体である対象物ＯＢとの対応が視覚的にわかりやすいという利点がある。さらに、強調表示Ｖ１６により、健康上の問題があると判定された位置が、測定画像ＤＮ、及び、対象物ＯＢの両方に対応する位置に表示されるため、判定結果がよりわかりやすい。

また、図１１（Ｂ）では、過去の測定画像ＤＰが、測定画像ＤＮに並べて表示される。測定画像ＤＰは、測定画像ＤＮと同じ位置、または同じ範囲を含む測定データ３１２であり、田追えば記憶部３１０に測定履歴データ３１１として記憶される。
ここで、記憶部３１０が記憶する測定履歴データ３１１、及び測定データ３１２は、測定対象の対象物ＯＢにおいて測定した位置や範囲を特定する位置情報を含む。従って、制御部１４０は、測定画像ＤＮを表示する位置、及び、測定画像ＤＮに対応する測定データ３１２と比較する測定履歴データ３１１を選択する場合に、位置を基準として処理を行える。従って、適切な比較、及び、表示を行える。
図１１（Ｂ）では、測定画像ＤＰと測定画像ＤＮとを表示することにより、制御部１４０が判定した判定結果を、よりわかりやすく表示できる。
さらに、測定画像ＤＰと測定画像ＤＮとを表示することにより、制御部１４０が判定した判定結果に依らず、診断の技量と責任を有する医師が、確定的な診断を行うことも可能であり、この診断の補助としてＨＭＤ１００による判定結果を活用できる。

測定システム２の適用対象を医療目的とした場合、測定装置３００は、超音波画像診断装置に限定されない。例えば、測定装置３００は、内視鏡、腹腔鏡、関節鏡、Ｘ線撮像装置等の撮像装置であってもよい。また、測定装置３００は、ＭＲＩ（Magnetic Resonance Imaging）検査装置、ＣＴ（Computed Tomography）検査装置、サーモグラフィー撮像装置等、測定結果のデータに基づき、測定画像を生成する装置であってもよい。測定履歴データ３１１は、内視鏡、腹腔鏡、関節鏡、Ｘ線撮像等の撮像画像であってもよい。また、測定履歴データ３１１は、ＭＲＩ検査、ＣＴ検査、サーモグラフィーの結果画像であってもよく、この結果画像を生成する場合に用いた測定結果のデータであってもよい。

このように、測定システム２を医療分野に適用することにより、健康上の問題に関して、過去のデータや比較対象のデータに基づき判定を行い、判定結果をわかりやすく表示できる。また、同一人物に対して複数回の検査を行った場合に、これら複数回の検査で得られた測定データ３１２を用いて、適切に健康上の問題について判定を行うことができる。具体的には、手術後の経過観察、以前のＭＲＩ検査の結果との比較による診断、患者が症状を訴える箇所を医師が見ながら、内視鏡などの画像を重ねて観察し異常箇所を特定する等の用途が期待できる。

このように、本発明を適用した第２実施形態の測定システム２（表示システム）は、評価対象物である対象物ＯＢに対し測定を実行して測定データを生成する測定装置３００と、測定装置３００の測定結果に基づく表示を行うＨＭＤ１００（表示装置）と、を備える。ＨＭＤ１００は、測定装置３００から、対象物ＯＢに関する測定データ３１２と、測定データ３１２と比較する比較対象データである測定履歴データ３１１とを取得する。ＨＭＤ１００は、測定装置３００から取得したデータに基づき、対象物ＯＢの判定を行い、判定結果を含む表示用データを生成して表示する。また、ＨＭＤ１００は、対象物ＯＢの位置と使用者が視認する実対象物である対象物ＯＢとの位置を対応付けることにより、表示用データの表示位置を定める。このため、測定装置３００によって対象物ＯＢに対する測定を行い、この測定結果に基づき、ＨＭＤ１００が対象物ＯＢの状態を判定して、判定結果に関する表示を行う。これにより、頭部装着型の表示装置を利用して、評価対象物に関する評価結果を容易に確認することができ、簡易で直感的な方法によるメンテナンスが可能になる。

また、データ取得部１６２は、測定装置３００と通信を行うことにより、対象物ＯＢの測定データ３１２を取得できる。ここで、測定システム２は、測定装置３００からＨＭＤ１００に直接、測定データ３１２及び／又は測定履歴データ３１１を送信する態様に限定されない。例えば、測定装置３００及びＨＭＤ１００と通信可能に接続されるデータ記憶装置（図示略）を設けてもよい。この場合、データ記憶装置が、測定装置３００から測定データ３１２、及び測定履歴データ３１１を取得して、記憶する。ＨＭＤ１００は、データ記憶装置から測定データ３１２、及び測定履歴データ３１１を取得してもよい。また、データ記憶装置は、測定装置３００が送信する測定データ３１２を随時受信して記憶する構成としてもよい。

また、データ取得部１６２は、対象物ＯＢの測定データとして測定装置３００が測定した最新または現在の測定結果を含む測定データ３１２を取得する。データ取得部１６２は、比較対象データとして、過去に測定装置３００により測定された測定結果を含む測定履歴データ３１１、または、比較用として予め用意された設計標準データ１２２を取得する。このため、対象物ＯＢに対し、設計標準データ１２２を利用して設計との差異の判定を行うことができ、測定装置３００が過去に測定したデータに基づく経時変化の判定を行うこともできる。

また、表示用データ生成部１６３は、対象物ＯＢの測定データ履歴３１１に係る画像、及び／又は測定履歴データ３１１と比較されるデータである測定データ３１２等に係る画像を含む画像と、判定結果に係る画像とを含む表示用データを生成する。表示位置制御部１６４は、測定履歴データ３１１に係る画像、及び／または、比較されるデータに係る画像の表示位置を、使用者が対象物ＯＢを視認する位置に対応する位置とする。このため、使用者が視認する対象物ＯＢに対応する位置に、測定データ３１２に係る測定画像ＤＮや比較されるデータである測定履歴データ３１１に係る測定画像ＤＰを表示できる。このため、対象物ＯＢに対応する多くの情報を使用者に視認させることができる。

また、データ取得部１６２は、対象物ＯＢの測定データ３１２として、対象物ＯＢの画像であって対象物ＯＢの外部から視認できない画像を取得する。例えば、超音波画像診断装置、内視鏡、腹腔鏡、関節鏡、Ｘ線撮像等の撮像画像や、ＭＲＩ検査、ＣＴ検査、サーモグラフィーの結果画像等を取得する。そして、表示用データ生成部１６３は、測定データ３１２としての画像を含む表示用データを生成する。表示位置制御部１６４は、測定データ３１２としての画像の表示位置を、対象物ＯＢにおいて測定データ３１２に該当する範囲を使用者が視認する位置に対応する位置とする。例えば図１１（Ｂ）において、超音波画像診断装置の画像である測定画像ＤＮを、対象物ＯＢとしての人体において超音波画像診断装置が撮影した範囲ＯＢＰに重なる位置、或いは対応する位置に、表示する。これにより、使用者が視認する対象物ＯＢに対応する位置に、外部から視認できない画像を表示し、対象物ＯＢに関する不可視の情報を使用者に視認させることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右光学像表示部２６及び左光学像表示部２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid Crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

本発明でいう「表示部」は、画像光を出射する構成に相当し、ＨＭＤ１００が画像光を出射することを「表示する」と説明した。すなわち、上記各実施形態では、左右の画像光生成部により画像光を生成し、右光学像表示部２６及び左光学像表示部２８によって、使用者の右眼と左眼のそれぞれに向けて画像光を照射し、使用者の右眼と左眼のそれぞれに画像光を入射させる構成を例示する。「表示部」の構成はこれに限定されない。すなわち、画像光を照射するものであればよい。例えば本実施形態の構成では、ハーフミラー２６１Ａ、２６２Ａを有する「右導光部」及び「左導光部」によって、使用者の眼に向けて画像光を出射する。また、画像光を生成する構成として、右バックライト２２１及び左バックライト２２２と、右ＬＣＤ２４１及び左ＬＣＤ２４２とを備える。「表示部」はこれらの構成を必須としない。

例えば、画像表示部２０の右表示駆動部２２及び左表示駆動部２４のいずれか、又は両方に内蔵する機構によって生成される画像光を、画像表示部２０の使用者側すなわち使用者の眼を向く側に設けられる反射機構により反射して、使用者の眼に出射してもよい。ここで、反射機構は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いた走査光学系を採用することもできる。すなわち、画像光生成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系を備え、この走査光学系で走査される光が使用者の眼に直接入射する構成としてもよい。また、走査光学系により走査される光によって虚像が形成される光学部材を、画像表示部２０に設けてもよい。この光学部材はＭＥＭＳミラーが走査する走査光による虚像を形成する。この場合、ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が視認（認識）される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、走査光学系はＭＥＭＳミラーを備えた構成に限定されない。画像光を生成する機構も、レーザー光を発するレーザー光源であってもよい。例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／又は反射させて導く機能のみを有するものであってもよい。

ＭＥＭＳ等を有する走査光学系を備えた構成では、画像表示部２０における走査光学系の取り付け角度を変更することで、使用者が画像を視認する位置、すなわち画像の表示位置を変更できる。従って、上記各実施形態で表示位置を変更する処理において、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置を変更する動作に代えて、走査光学系の角度を変更する動作を行ってもよい。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。

また、上記各実施形態では使用者の眼前に位置する右光学像表示部２６及び左光学像表示部２８の一部に、ハーフミラー２６１Ａ、２６２Ａにより虚像が形成される構成を例示した。本発明はこれに限定されず、右光学像表示部２６及び左光学像表示部２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図７等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の他の記憶装置（図示略）に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７、又はインターフェイス１１４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

２…測定システム、１０…制御装置、２０…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ、１００…頭部装着型表示装置（表示装置）、１１４…インターフェイス、１１７…通信部、１２０…記憶部、１２２…設計標準データ、１２３…測定履歴データ、１２４…特徴量データ、１２５…判定結果データ、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…撮像制御部、１６２…データ取得部、１６３…表示用データ生成部、１６４…表示位置制御部、１７０…通信制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、３００…測定装置、３０１…制御部、３１０…記憶部、３１１…測定履歴データ、３１２…測定データ、ＯＢ…対象物（評価対象物、実対象物）。

Claims

使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部と、
評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得するデータ取得部と、
前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成する表示用データ生成部と、
前記表示用データ生成部により生成する前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定める表示位置制御部と、
前記表示位置制御部が定める表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させる表示制御部と、
を備えることを特徴とする表示装置。
前記表示用データ生成部は、前記評価対象物の測定データと前記比較対象データとを対照することにより、前記評価対象物の状態を評価し、評価結果を表示する前記表示用データを生成すること、
を特徴とする請求項１記載の表示装置。
撮像部を備え、
前記データ取得部は、前記撮像部の撮像画像データを前記評価対象物の測定データとして取得し、前記撮像部の過去の撮像画像データまたは撮像画像と比較可能に構成された前記比較対象データを取得すること、
を特徴とする請求項２記載の表示装置。
前記撮像部は前記使用者の視野方向を撮像すること、
を特徴とする請求項３記載の表示装置。
前記データ取得部が取得する前記比較対象データは、前記評価対象物の設計データに基づき生成されたデータであること、
を特徴とする請求項１から４のいずれかに記載の表示装置。
前記データ取得部は、測定装置、または測定装置の測定結果を含む測定データを記憶する記憶装置と通信を行うことにより、前記評価対象物の測定データを取得すること、
を特徴とする請求項２記載の表示装置。
前記データ取得部は、前記評価対象物の測定データとして前記測定装置が測定した最新または現在の測定結果を含むデータを取得し、前記比較対象データとして、過去に前記測定装置により測定された測定結果を含むデータまたは比較用として予め用意されたデータを取得すること、
を特徴とする請求項６記載の表示装置。
前記表示位置制御部は、前記表示用データの表示位置を、前記表示用データに含まれる評価結果が、前記表示部を透過して視認される実空間の前記評価対象物に重なって視認される位置に定めること、
を特徴とする請求項１から７のいずれかに記載の表示装置。
前記表示用データ生成部は、前記評価対象物の測定データに係る画像及び前記比較対象データに係る画像の少なくともいずれかを含む画像と、前記評価対象物に対する評価結果に係る画像とを含む前記表示用データを生成し、
前記表示位置制御部は、前記評価対象物の測定データに係る画像の表示位置、または、前記比較対象データに係る画像の表示位置を、前記使用者が前記実対象物を視認する位置に対応する位置とすること、
を特徴とする請求項１から８のいずれかに記載の表示装置。
前記データ取得部は、前記評価対象物が前記実対象物である場合に、前記測定データとして前記実対象物の画像であって前記実対象物の外部から視認できない画像を取得し、
前記表示用データ生成部は、前記測定データとしての前記画像を含む前記表示用データを生成し、
前記表示位置制御部は、前記測定データとしての画像の表示位置を、前記実対象物において前記測定データとしての画像に該当する範囲を前記使用者が視認する位置に対応する位置とすること、
を特徴とする請求項１から８のいずれかに記載の表示装置。
前記表示用データ生成部は、前記評価結果を所定の表示色で強調表示する態様、前記評価結果に対応付けて警戒情報を表示する態様、前記評価結果に対応付けて比較結果のデータを表示する態様、及び、前記評価結果に対応付けて比較結果の変化に係るデータを表示する態様のいずれかの態様によって強調表示する前記表示用データを生成すること、
を特徴とする請求項１から１０のいずれかに記載の表示装置。
評価対象物に対し測定を実行して測定データを生成する測定装置と、前記測定装置の測定結果に基づく表示を行う表示装置と、を備え、
前記表示装置は、
使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部と、
前記評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得するデータ取得部と、
前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成する表示用データ生成部と、
前記表示用データ生成部により生成する前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定める表示位置制御部と、
前記表示位置制御部が定める表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させる表示制御部と、を備えること、
を特徴とする表示システム。
使用者の頭部に装着され、実空間を視認可能に画像を表示する表示部を備える表示装置の制御方法であって、
評価対象物に関する測定データと、前記評価対象物の測定データと比較する比較対象データとを取得し、
前記評価対象物の測定データと前記比較対象データとを比較することにより、前記評価対象物に対する評価結果を含む表示用データを生成し、
前記表示用データと、前記使用者が視認する実対象物との位置を対応付けることにより、前記表示部による前記表示用データの表示位置を定め、
定めた表示位置に従って、前記表示部により前記表示用データに基づく画像を表示させること、
を特徴とする表示装置の制御方法。