JP2008018015A - 医用ディスプレイ装置及び医用ディスプレイシステム - Google Patents

Abstract

【課題】肉眼で見た視野映像に超音波画像を正確に重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムを提供する。
【解決手段】ハーフミラーとこのハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを有するヘッドマウントディスプレイユニットをユーザの頭部に取り付け、ユーザがハーフミラーを通して見た視野映像に投影手段からの超音波画像を重畳して観察可能にする。またヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成し、投影手段によって投影される超音波画像を瞳孔位置情報を基に補正する補正手段を具備したものである。
【選択図】 図１

Description

本発明は、ヘッドマウントディスプレイユニットを利用して、肉眼で見た視野映像（臓器表面の映像）に超音波画像を重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムに関し、超音波画像をユーザの瞳孔位置情報を基に自動的に補正して重畳するようにしたものである。

従来、医用分野において、超音波画像を見ながら手術を行う場合、術者は臓器にあてがった超音波プローブの位置・方向を確認し、さらにディスプレイに表示された超音波画像を同時に観察し、併せて臓器表面の実形状と臓器内部の構造とを対応づけて記憶するという作業を行っている。このとき臓器（及び超音波プローブ）とディスプレイは同じところにないため、視線を頻繁に繰り返し移動させる必要があり、非常に煩雑な操作が必要であった。

また、従来の医用分野においては、医師の視点から見た被検体の臓器表面の映像に超音波画像を重畳して表示する技術も研究されている。例えば非特許文献１には、ビデオ透過型ヘッドマウントディスプレイ（ＨＭＤ）を使用した例が開示されている。この例は概略的に図８に示す構造を有している。

図８において１００はヘッドマウントディスプレイ（ＨＭＤ）であり、ビデオカメラ１０１とディスプレイ装置１０２、及び画像合成部１０３から成っている。ビデオカメラ１０１は被検体の臓器表面を撮影するものであり、画像合成部１０３は超音波診断装置（図示せず）からの超音波画像１０４と、ビデオカメラ１０１で撮影した画像１０５とを合成してディスプレイ装置１０２に表示するようにしている。

これにより、ユーザ（医師、術者）は、ビデオカメラ１０１で撮影した被検体の画像１０５に超音波画像１０４が重畳された画像１０６を見ながら、開腹手術等を行うことができる。つまり、ビデオカメラ１０１が「術者の眼」を代行し、術者の眼で見た映像に超音波画像１０４を重畳することで、被検体の臓器表面と臓器内部の様子を同時に観察しながら手術を行うことができる。

しかしながら、非特許文献１の例では、ユーザが視線方向を変えたい場合、ユーザが自ら頭部の向きを変える必要がある。つまり、ビデオカメラの撮影方向とユーザの視線方向がずれていると、重畳画像の位置ズレを生じるため、視線方向・視点の位置を変える場合はその都度、頭部を動かす必要があった。

言いかえれば、ユーザは眼球を動かしてもディスプレイ装置１０２に映し出された画像は変化しないため、観察者にとって不自然さを感じるという欠点がある。

特に、術中に超音波診断装置を使って切開・凝固・結紮・穿刺などの手術を行う場合、臓器表面映像と超音波画像の重畳精度は高いものが要求されるため、視線を変えたときには重畳される超音波画像も視線に合わせて変化するのが理想である。しかしながら、眼球を動かしても重畳画像は変化しないため、術者は違和感を抱くことになる。

また特許文献１には、断層写真スライス画像と人体画像とのリアルタイム位置重畳装置及びその方法について記載されている。この例では、超音波振動子を用いて患者の内部の撮影画像を取得し、撮影画像を偏平ディスプレイに表示し、さらにユーザ（医師）の視点と患者との間にハーフミラーを配置する例が記載されている。

ハーフミラーと偏平ディスプレイの配置をうまく設定することにより、ユーザ（医師）はハーフミラーを通して患者の臓器表面を観察するとともに、偏平ディスプレイに表示された臓器内部の撮影画像をハーフミラーで反射して見ることができる。したがってユーザはハーフミラーを覗き込むことで、臓器表面の映像に超音波画像を重畳して見ることができ、被検体の臓器表面と臓器内部の様子を同時に観察しながら手術を行うことができる。

しかしながら、特許文献１の例では、超音波振動子を患部表面に近づけて配置しなければならないため、術中にハーフミラーが邪魔になってしまうという欠点がある。
Augmented-Reality Medical Visualization Research (Department of Computer Science, University of North Carolina at Chapel Hill, February 2002) 特開２００３−３１０６１１号公報

従来では、手術中に超音波画像を観察する場合、術者は患者の臓器表面とディスプレイに表示された超音波画像とを交互に観察しながら作業を行っている。このときディスプレイが離れた位置にあるため、視線を頻繁に移動させる必要があった。またビデオ透過型ＨＭＤを使用した場合は、構造上、眼球を動かしても重畳画像が変化しないという欠点があった。さらにハーフミラーを眼前に配置する方式では、術中にハーフミラーが邪魔になるという問題があった。

本発明は、上記事情に鑑みてなされたもので、肉眼で見た視野映像に超音波画像を正確に重畳して観察できるようにした医用ディスプレイ装置及び医用ディスプレイシステムを提供することを目的とする。

請求項１記載の本願発明は、外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイ装置であって、ハーフミラーとこのハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する瞳孔位置計測手段と、前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報を基に補正する補正手段と、を具備したことを特徴とする。

また請求項８記載の本願発明は、外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイシステムであって、超音波プローブを有し前記超音波プローブを利用して被検体内の超音波画像を作成する超音波診断装置と、ハーフミラーとこのハーフミラーに前記超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する第１の計測手段と、前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測して相対位置情報を生成する第２の計測手段と、前記投影手段によって投影される前記超音波画像を前記瞳孔位置情報及び前記相対位置情報を基に補正する補正手段と、を具備したことを特徴とする。

本発明によれば、瞳孔の位置をリアルタイムに計測し、その計測結果に基づいて重畳する超音波画像を補正するため、視野映像と超音波画像との重畳ズレを低減することができ、精度の高い重畳観察が可能となる。

以下、この発明の装置の実施形態について図面を参照して詳細に説明する。

本発明は、光学透過型のヘッドマウントディスプレイユニット（ＨＭＤユニット）を用いて、ユーザの視点から見た映像に超音波画像を重畳して観察できるようにしたものである。さらにユーザの瞳孔位置を計測する手段、及びＨＭＤユニットと超音波プローブの位置関係を計測する手段を設け、瞳孔位置情報等をもとに超音波画像を補正するようにしたものである。

本発明の医用ディスプレイ装置の一実施形態を図１，図２に示す。図１は側面図であり、図２は平面図である。

図１，２において、１０は光学透過型のヘッドマウントディスプレイユニット（以下、ＨＭＤユニット１０と称す）であり、ユーザ１（医師、術者）の頭部に取り付け可能になっている。ＨＭＤユニット１０はヘルメット型やバンドを用いて取り付けるタイプ等が考えられる。ＨＭＤユニット１０内には、ハーフミラー１１，１２、投影手段としてのプロジェクタ１３、及び瞳孔位置の計測に用いる赤外線カメラ１４が設けられている。

ハーフミラー１１と１２は、図１で示すようにほぼ直交配置されており、ハーフミラー１１は、ユーザ１が正面を向いたときの視線ｅ１に対してほぼ４５度の角度で交差するようにユーザ１の両眼と対向する位置に配置され、ハーフミラー１２はハーフミラー１１の上方にユーザ１側に傾斜して配置されている。ハーフミラー１１は、ユーザ１側から見た場合、可視光線及び赤外線を反射し、外界から入射する可視光線を透過する特性を有し、ハーフミラー１２は、可視光線を反射し赤外線を透過する特性を有している。

プロジェクタ１３は、超音波プローブ２１を使用して取得した超音波画像をハーフミラー１２に投影するものであり、投影用レンズ１３１を有し、ユーザ１の前頭部側に位置するように配置されている。超音波プローブ２１は超音波診断装置本体（図示せず）に接続されている。

赤外線カメラ１４は瞳孔位置計測手段を構成するもので、ハーフミラー１２の外側にほぼ４５度の角度で対向して配置され、ハーフミラー１２の方向に赤外線を照射するリング状のＬＥＤ１４１と、赤外線を受光する受光部１４２を前面に設けている。これにより赤外光源であるＬＥＤ１４１から出た赤外線はハーフミラー１２を透過し、ハーフミラー１１で反射してユーザ１の両眼に照射される。さらにユーザ１の両眼で反射された赤外線はハーフミラー１１で反射され、ハーフミラー１２を透過して受光部１４２で受光されるようになっている。これによりユーザ１の瞳孔（虹彩）の赤外線画像が赤外線カメラ１４でリアルタイムに撮影される。

また、プロジェクタ１３から投影された超音波画像による光線は、投影用レンズ１３１を通過した後、ハーフミラー１２と１１で反射されてユーザ１の眼に導かれる。したがって、ユーザ１はハーフミラー１１を介して入射する外界の視野映像、即ち被検者の患部表面の映像と、プロジェクタ１３からの超音波画像とが重畳された画像を観察することができる。

また超音波プローブ２１とＨＭＤユニット１０には、位置計測手段を構成する位置計測センサ３０が取り付けられている。位置計測センサ３０は、例えば磁気式のセンサで構成されており、トランスミッタ３１と、測定対象に固定したレシーバ３２，３３を有し、トランスミッタ３１は手術室の固定位置に取り付けられ、レシーバ３２は超音波プローブ２１に取り付けられ、レシーバ３３はＨＭＤユニット１０に取り付けられている。

トランスミッタ３１は磁気発生源であり、トランスミッタ３１の磁界内にレシーバ３２，３３が配置される。位置計測センサ３０は、トランスミッタ３１を原点としたとき、レシーバ３２及び３３で検出した磁気をもとにトランスミッタ３１からの磁力線の向き及び磁気強度のデータを求め、レシーバ３２，３３の位置を計測する。これにより対象物（超音波プローブ２１及びＨＭＤユニット１０）の三次元的な相対位置を計測することができる。磁気式位置計測センサとしては、例えば米国POLHEMUS社製から「FASTRAK」の商品名で販売されている３次元位置計測システムがあり、それを利用することができる。

図１において、プロジェクタ１３から投影される画像は、超音波画像に射影変換を付したものであり、重畳画像の虚像は眼球から十分遠い固定位置（例えば０．３ｍ以上）に結像するようにしておく。こうすることでＨＭＤユニット１０の装着者は殆どピント合わせを意識しないで視野映像と超音波画像を同時に見ることができる。

図２の平面図から分かるように、赤外線カメラ１４は左右に２台ずつ配置し、異なったアングルから瞳孔（虹彩）の赤外線画像を写すようにしており、三角測量の原理で瞳孔の三次元的な位置をリアルタイムに計測できるようにしている。また、プロジェクタ１３も左右に２台配置している。

図２では左目に対応する赤外線カメラ１４は１４Ｌ１と１４Ｌ２で構成し、右目に対応する赤外線カメラ１４は１４Ｒ１と１４Ｒ２で構成されている。また、左目に対応するプロジェクタ１３は１３Ｌで示し、右目に対応するプロジェクタ１３は１３Ｒで示している。

図３は、本発明の医用ディスプレイシステムの全体的な構成を示すブロック図である。図３において、図１と同一部分については同一符号を付して説明する。

ＨＭＤユニット１０は、ユーザ１の頭部に取り付け可能になっており、ＨＭＤユニット１０内には、ハーフミラー１１，１２、プロジェクタ１３、及び赤外線カメラ１４が設けられている。プロジェクタ１３及び赤外線カメラ１４は、図２で説明したように実際には複数ある。

超音波診断装置２０は、超音波プローブ２１と超音波診断装置本体２２で構成され、超音波プローブ２１は超音波診断装置本体２２に接続されている。超音波診断装置２０は、超音波プローブ２１により被検体に対して超音波ビームを送受信してエコー信号を取得し、超音波診断装置本体２２ではエコー信号を基に超音波画像を得るもので、超音波画像として、Ｂモード画像や３次元画像等を作成する。超音波診断装置本体２２からの超音波画像データはシステムコントローラ４０に供給される。

システムコントローラ４０には、レシーバ３２で受信した超音波プローブ２１の位置情報、及びレシーバ３３で受信したＨＭＤユニット１０の位置情報が供給され、さらに赤外線カメラ１４で受信した赤外線画像信号が供給される。また、トランスミッタ３１を制御する。

システムコントローラ４０は、瞳孔位置判別部４１、位置判別部４２、補正部４３を含む。瞳孔位置判別部４１は赤外線カメラ１４で撮影した赤外線画像信号をもとに瞳孔の位置（瞳孔の動き）を判別する。位置判別部４２は、レシーバ３２，３３からの情報を基にＨＭＤユニット１０と超音波プローブ２１の相対位置を判別する。補正部４３は瞳孔位置判別部４１及び位置判別部４２の判別結果を基に超音波画像を補正する。これにより、システムコントローラ４０からはプロジェクタ１３に対して補正された超音波画像が供給される。

補正部４３からの超音波画像はプロジェクタ１３を介してハーフミラー１１，１２に投影され、ユーザ１がハーフミラー１１を通して見た映像と重畳される。以下の説明では投影された超音波画像を重畳画像と呼ぶこともある。

また、システムコントローラ４０には、ユーザの指示を入力するインターフェース手段としてフットマウス５０が接続され、ユーザは足を使って各種の動作モードや表示モードを選択し、その選択に応じて超音波画像を処理することができる。

フットマウス５０は、手で操作するマウスが使えない状況にある人のために開発されたものであり、かかとを支点にして右クリック、左クリック、前後方向といった操作が可能である。術者は両手を常に清潔な状態に保っておく必要があるため、フットマウス５０をインターフェースとして使うことにより、ＨＭＤユニット１０での表示モードの切替えや、重畳画像の調整などの操作を行うことができる。

表示モード切替え／重畳画像の調整操作としては、例えば重畳画像の有無の切替え、通常の超音波画像（例えばBモード画像の表示）の表示操作、重畳画像の輝度調整操作、通常の超音波画像の拡大縮小・回転・平行移動操作等がある。尚、フットマウス５０は、グリーンテックサポート社から商品名「足技」として販売されており、これを利用することができる。

次に本発明の医用ディスプレイ装置の動作について説明する。

図４は、ＨＭＤユニット１０を使用して開腹手術をする場合の、ユーザ（術者）から見た患部の映像を概略的に示したものである。超音波プローブ２１は例えば術者以外の操作者が術者の口頭指示に従って操作し、これにより超音波診断装置２０からは被検体の超音波画像Ａが作成される。超音波画像Ａはプロジェクタ１３によってハーフミラー１１，１２を介して術者が両眼に導かれ、術者がハーフミラー１１を通して見た外界の視野映像Ｂ（この場合は患部表面の映像）に合成されるため、術者は視野映像Ｂと超音波画像Ａの両方を確認することができる。

したがって、術者は臓器表面と臓器内部の状況を素早く確認することができ、従来のように、視線を頻繁に繰り返し移動させてディスプレイに写された超音波画像と視野映像とを見比べる必要がなくなる。勿論、実際に手術を実行する際に超音波画像Ａが邪魔になる場合は、フットマウス５０を操作することにより、超音波画像Ａのない状態に切り替えることができる。

次に本発明の特徴部である赤外線カメラ１４を用いた瞳孔位置計測と補正部４３による重畳画像の補正動作について図５を参照して説明する。

本発明では、術者の瞳孔の位置を測定して重畳画像を補正するものである。従来のヘッドマウントディスプレイでは、重畳画像の投影原点を眼球中心ｅ０に置いているのが一般的であり、図５の点線βで示すように、視線方向が超音波画像Ａの領域の中心と一致しない場合が多い。一般的には、注視する場合を除いて殆どの場合は一致しない。

図５で示すように眼球に入っている光線は必ず瞳孔ｅを通過するため、投影原点は瞳孔と一致している必要がある。投影原点を瞳孔ｅの中心に置いた場合を実線αで示す。図５から明らかなように、実際にはハーフミラー１１，１２が術者の眼球に近いため、術者が見たハーフミラー１１上の重畳画像のズレは大きくなり、一般的に点線βと実線αは一致しないため、どうしても重畳ズレが生じてしまう。したがって、ハーフミラー１１上の重畳画像ａは、ａ’のように補正する必要がある。

システムコントローラ４０の瞳孔位置判別部４１は、赤外線カメラ１４からの赤外線画像を利用して瞳孔位置を測定するためのものであり、補正部４３は、計測した瞳孔位置に応じてハーフミラー１１，１２上に投影される超音波画像の大きさ、位置、形状等を補正する。

瞳孔位置の測定に関し、雑誌、東芝レビューVol.60, No.11,2005には「リアルタイム高精度瞳検出技術」について記載されており、視線検出への応用を想定して、顔画像からリアルタイムで高精度且つ安定に瞳（虹彩）を検出し追跡する技術が開示されている。即ち、図６に示すように、瞳の形状を表すモデルとして楕円モデルｘ０を使用し、楕円ｘ０の外側と内側のそれぞれの領域ｘ１，ｘ２に属する画素の輝度値の統計的な違いを計算して瞳孔の形状を高精度に検出する例が示されている。

したがって、ＨＭＤユニット１０に搭載した複数台の赤外線カメラ１４で左右の眼球を撮影し、撮影した赤外線画像から左右の虹彩の楕円輪郭を抽出し、上記の瞳検出技術を組み合わせることで、ユーザ１の瞳孔を検出することができる。また、左右の２台の赤外線カメラ１４Ｌ１，１４Ｌ２、及び１４Ｒ１，１４Ｒ２を使用してそれぞれ三角測量を行うことにより、瞳孔位置を三次元的にかつリアルタイムに計測できることができる。

補正部４３は、計測した瞳孔位置に応じて、ハーフミラー１１上の重畳画像を補正する。例えば図５の場合では、ハーフミラー１１上の重畳画像ａを、ａ’のように補正する。また、瞳孔位置が変化すれば、それに合わせて重畳画像の大きさ、位置、形状を補正する。

またＨＭＤユニット１０を術者の頭部に装着した場合、装着位置のズレが発生する場合もあり、超音波画像の重畳位置のズレはさらに助長されることもある。一般的なヘッドマウントディスプレイでは、重畳位置のズレが多少あっても気づかないか又は許容されるが、医用に使う場合はその重畳精度が非常に高いことが要求される。

したがって、本発明ではさらに位置計測センサ３０を用いて超音波プローブ２１とＨＭＤユニット１０の位置関係を測定し、超音波プローブ２１とＨＭＤユニット１０間の距離や位置が変化した場合に、その位置情報をもとに重畳画像の大きさや形状等の補正を行うようにしている。例えば超音波画像Ａの表示縮尺を視野映像Ｂと実寸大（１：１）で表示にすることもできる。

重畳画像の補正は以下のようにして行われる。即ち、赤外線カメラ１４で撮影された眼球の画像からＨＭＤユニット１０に対する瞳孔の三次元的な相対位置が計測され、これとは別に磁気式の位置センサ３０により超音波プローブ２１とＨＭＤユニット１０の三次元的な相対位置が計測される。

一方、超音波プローブ２１の撮影領域内における超音波プローブ２１の三次元的な相対位置を想定して、それぞれの位置における左右の瞳孔から見込んだ超音波画像の補正量（画像の位置、形状、形状の補正量）を予め計算しておく。そして実際に測定された瞳孔の位置情報と、超音波プローブ２１の位置情報をもとに超音波画像を前述の補正量に基いて補正して射影変換し、最終的にプロジェクタ１３を介してハーフミラー１１，１２への投影が行われる。これにより、術者は視野映像と重畳画像を同時に観察することができるようになる。

このように本発明の一実施形態によれば、ＨＭＤユニット１０を使うことで患部表面と患部内面の状態を正確に対応付けすることができる。

次に本発明の第２の実施形態について図７を参照して説明する。

図７は超音波プローブ２１とＨＭＤユニット１０の位置関係を計測する３次元位置計測センサの他の実施例を示したものである。この実施例における位置計測センサは、再帰性塗料を塗ったパッシブ・マーカー６１を対象物（超音波プローブ２１及びＨＭＤユニット１０）に固定し、そのマーカー６１をカメラ装置６２で計測し、対象物の３次元的位置を非接触で計測するものである。

位置計測センサは、２個のカメラ６２Ｌ，６２Ｒから見て例えば不等辺三角形の頂点に配置されたパッシブ・マーカー６１をツールとして予め登録しておき、パターンマッチングの手法で左右のカメラ６２Ｌ，６２Ｒで撮影した画像から対応点を見つけ出し、三角測量の原理で計算して３次元的な位置情報を得るものである。

具体的には、カメラ６２装置は左右に所定間隔を置いて配置したカメラ６２Ｌ，６２Ｒを有している。カメラ６２Ｌと６２Ｒは同一の構成であり、それぞれＣＣＤ、Ｃ−ＭＯＳ等で成るイメージセンサ６３Ｌ，６３Ｒと、イメージセンサ６３Ｌ，６３Ｒの受光部周辺を取り囲むように配置した赤外線ＬＥＤ等からなる赤外光源６４Ｌ，６４Ｒを含んでいる。

赤外光源６４Ｌ，６４Ｒから放射された赤外線は計測領域内に置かれたパッシブ・マーカー６１で反射され、イメージセンサ６３Ｌ，６３Ｒに戻ってくる。パッシブ・マーカー６１は、再帰性塗料が塗布された球体であるため、光が照射されると照射された方向に光を反射する。再帰性塗料としては、アルミなどのガラス小球を混合させた塗料を使用し、マーカー６１を対象物（例えば超音波プローブ２１及びＨＭＤユニット１０）に固着させることで、ＨＭＤユニット１０とマーカー２０間の位置関係がリアルタイムに計測できる。

パッシブ・マーカーを利用した位置計測システムとしては、例えば米国のNorthern Digital Inc.社から「Polaris Vicra」という商品名で製品化されている光学式３次元計測システムがあり、それを利用することができる。

また、超音波診断装置２０はＢモード画像以外に立体的な３Ｄ画像を作成することもできる。

このように本発明の医用ディスプレイ装置によれば、臨床でＨＭＤユニット１０を装着して使う場合に、瞳孔の位置をリアルタイムに計測しそれに基づいて重畳画像の補正を行うため、超音波画像を重畳して観察する場合の重畳ズレを低減することができ、精度の高い重畳表示が可能となる。また装着の個人差や瞳孔位置の変化があっても高精度に超音波画像を重畳することができる。

また、超音波画像を視野画像と同等の縮尺で表示することにより、臓器表面形状と内部構造の対応付けが容易に行えるようになる。この場合、重畳画像位置のズレが最小に維持されるため、術中、超音波で確認しながら手術を進める場合に、信頼できる参照画像を提示することができる。

また、左右両眼で夫々の超音波画像を観察することで、超音波画像を単なる平面画像ではなく立体的な画像として術者に提示することが可能となり、位置計測センサによって超音波プローブ２１及びＨＭＤユニット１０の位置を相対的に計測できるため、超音波診断装置２０で３Ｄの超音波画像を得ることができる場合は、より立体的な重畳画像を提示することができる。

また、フットマウス５０を利用することで、術者自身が手を使うことができ、補助者の手を借りることなしに表示モードの切替えや重畳画像のサイズ調整等、各種の操作を行うことができる。

尚、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

本発明の医用ディスプレイ装置の一実施形態を示す側面図。 本発明の医用ディスプレイ装置の一実施形態を示す平面図。 本発明の医用ディスプレイシステムの構成を示すブロック図。 本発明の医用ディスプレイ装置を用いて開腹手術をする場合の患部の映像を概略的に示す説明図。 本発明の医用ディスプレイ装置における瞳孔位置計測と補正部による重畳画像の補正動作を説明する説明図。 本発明の医用ディスプレイ装置における瞳孔の判別手法を説明する説明図。 本発明の医用ディスプレイ装置に使用する相対位置計測手段の他の実施例を説明する説明図。 一般のヘッドマウントディスプレイを示す説明図。

符号の説明

１…ユーザ
１０…ヘッドマウントディスプレイ（ＨＭＤ）ユニット
１１，１２…ハーフミラー
１３…プロジェクタ（投影手段）
１４…赤外線カメラ（瞳孔位置計測手段）
２０…超音波診断装置
２１…超音波プローブ
２２…超音波診断装置本体
３０…相対位置計測手段
３１…トランスミッタ
３２，３３…レシーバ
４０…システムコントローラ
４１…瞳孔位置判別部
４２…位置判別部
４３…補正部
５０…フットマウス
６１…パッシブ・マーカー
６２…カメラ装置（相対位置検出手段）

Claims (14)

1. 外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイ装置であって、
   ハーフミラーと、このハーフミラーに超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、
   前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する瞳孔位置計測手段と、
   前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報を基に補正する補正手段と、
   を具備したことを特徴とする医用ディスプレイ装置。
2. 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報に基づいて補正し、前記超音波画像の大きさ、位置、及び形状のいずれかを前記ユーザの瞳孔の位置に合わせて補正することを特徴とする請求項１記載の医用ディスプレイ装置。
3. 前記ハーフミラーは、前記ユーザの両眼と対向する位置に所定の角度で配置され、このハーフミラーを通して外界を観察可能能とし、前記投影手段からの前記超音波画像を前記ハーフミラーで反射して前記ユーザの両眼に導くようにしたことを特徴とする請求項１記載の医用ディスプレイ装置。
4. 前記瞳孔位置計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、
   前記赤外線を前記超音波画像の投影方向と同一方向から前記ハーフミラーに照射して前記ユーザの眼球へと導き、前記眼球で反射して戻る赤外線を前記ハーフミラーを介して前記受光部で受光し、前記赤外線カメラで撮影した赤外線画像を基に瞳孔の位置を計測することを特徴とする請求項１記載の医用ディスプレイ装置。
5. 前記赤外線カメラをユーザの両眼に対応してそれぞれ複数ずつ配置したことを特徴とする請求項４記載の医用ディスプレイ装置。
6. 前記ハーフミラーは、それぞれ第１，第２の面を有し第１の面同士が所定の角度で向き合うように配置した第１，第２のハーフミラーを含み、
   前記第１のハーフミラーは、前記ユーザの両眼と対向する位置に所定の角度で配置され、この第１のハーフミラーを通して外界の視野を観察可能とし、前記第２のハーフミラーは、前記投影手段からの前記超音波画像をその第１の面で反射し、かつ前記第１のハーフミラーの第１の面で反射して前記ユーザの両眼に投影するように配置したことを特徴とする請求項１記載の医用ディスプレイ装置。
7. 前記瞳孔位置計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、前記赤外線カメラを前記第２のハーフミラーの第２の面側に配置し、
   前記赤外光源からの赤外線を前記第２のハーフミラーを透過して前記第１のハーフミラーの第１の面で反射させて前記ユーザの両眼に照射し、眼球で反射して戻る赤外線を前記第１のハーフミラーで反射し前記第２のハーフミラーに透過させて前記受光部で受光するようにしたことを特徴とする請求項６記載の医用ディスプレイ装置。
8. 外界の視野映像に超音波診断装置で作成した超音波画像を重畳して観察可能にした医用ディスプレイシステムであって、
   超音波プローブを有し前記超音波プローブを利用して被検体内の超音波画像を作成する超音波診断装置と、
   ハーフミラーと、このハーフミラーに前記超音波診断装置で作成した超音波画像を投影する投影手段とを含み、ユーザが前記ハーフミラーを通して見た視野映像に前記投影手段からの超音波画像を重畳して観察可能にしたヘッドマウントディスプレイユニットと、
   前記ヘッドマウントディスプレイユニットを装着したユーザの瞳孔位置を計測して瞳孔位置情報を生成する第１の計測手段と、
   前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測して相対位置情報を生成する第２の計測手段と、
   前記投影手段によって投影される前記超音波画像を、前記瞳孔位置情報及び前記相対位置情報を基に補正する補正手段と、
   を具備したことを特徴とする医用ディスプレイシステム。
9. 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報及び前記相対位置情報に基づいて補正し、前記超音波画像の大きさ、位置、及び形状のいずれかを、前記ユーザの瞳孔の位置及び前記ヘッドマウントディスプレイユニットに対する前記超音波プローブの位置に合わせて補正することを特徴とする請求項８記載の医用ディスプレイシステム。
10. 前記補正手段は、前記超音波診断装置からの前記超音波画像を前記瞳孔位置情報及び前記相対位置情報を基に補正し、ユーザが前記ハーフミラーを通して被検体の対象部位を見たときの映像と前記重畳される超音波画像がほぼ同じ縮尺になるように補正することを特徴とする請求項８記載の医用ディスプレイシステム。
11. 前記第１の計測手段は、赤外線を発生する赤外光源と赤外線を受光する受光部を備える赤外線カメラを含み、
    前記赤外線を前記超音波画像の投影方向と同一方向から前記ハーフミラーに照射して前記ユーザの眼球へと導き、前記眼球で反射して戻る赤外線を前記ハーフミラーを介して前記受光部で受光し、前記赤外線カメラで撮影した赤外線画像を基に瞳孔の位置を計測することを特徴とする請求項８記載の医用ディスプレイシステム。
12. 前記第２の計測手段は、固定位置に取り付けられた磁気発生用のトランスミッタと、前記トランスミッタの磁界内であって前記ヘッドマウントディスプレイユニット及び超音波プローブにそれぞれ取り付けられた磁気レシーバとを具備し、
    前記それぞれのレシーバで検出した前記トランスミッタからの磁界方向及び磁界強度のデータを基に前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測することを特徴とする請求項８記載の医用ディスプレイシステム。
13. 前記第２の計測手段は、再帰性塗料を塗布したマーカーと、複数の赤外光源及び前記赤外光源近傍に配置され前記赤外光源からの赤外線を前記マーカーに照射したときの反射光を受光する受光手段とを含み、
    前記マーカーを前記ヘッドマウントディスプレイユニット及び前記超音波プローブにそれぞれ取り付け、それぞれのマーカーからの反射光を前記受光手段で受光し、その受光結果を基に前記ヘッドマウントディスプレイユニットと前記超音波プローブの相対位置を計測することを特徴とする請求項８記載の医用ディスプレイシステム。
14. 前記超音波診断装置からの超音波画像を処理するシステムコントローラと、前記システムコントローラをユーザ指示によって制御するためのインターフェースをさらに具備し、
    前記インターフェースをフットマウスで構成したことを特徴とする請求項８記載の医用ディスプレイシステム。

Images