JP2016032485A - 内視鏡下手術支援システム及び画像制御方法 - Google Patents

Abstract

【課題】術者の動作によりＨＭＤに表示される内視鏡画像等を制御することが可能な内視鏡下手術支援システム及び画像制御方法を提供する。【解決手段】本技術の一形態に係る内視鏡システムは、ヘッドマウントディスプレイと、検出部と、コントローラとを具備する。上記ヘッドマウントディスプレイは、術者に装着される。上記検出部は、上記術者の動作を検出することが可能である。上記コントローラは、上記複数のヘッドマウントディスプレイ各々に個別に画像を表示させる。また上記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、上記複数の検出部各々からの出力に基づいて上記内視鏡画像データをそれぞれ制御することが可能な画像制御部とを有し、上記画像制御部からの出力に基づいて上記画像を表示させる。【選択図】図２

Description

本技術は、ヘッドマウントディスプレイを有する内視鏡下手術支援システム及びこのシステムを用いた画像制御方法に関する。

内視鏡下手術は、通常の外科手術よりも患者に対して低侵襲性であり、近年盛んに行われている。内視鏡下手術において、術者等は、画像を通して患部を確認することとなるため、従来の二次元画像では患部の立体的な把握が難しいことがあった。そこで、例えば３次元画像を提供できるヘッドマウントディスプレイ（ＨＭＤ）を内視鏡装置に接続して用いることにより、奥行き感のあるリアルな患部の画像を見つつ、より正確かつ迅速な内視鏡下手術ができると期待される（特許文献１参照）。

一方内視鏡下手術中、術者等は、内視鏡画像の他にも超音波画像等の他の診断画像を参照することがある。すなわち、ＨＭＤを内視鏡下手術に用いる際には、ＨＭＤに表示される内視鏡画像のみならず、外部モニタ等に表示される他の診断画像も視認可能とする構成が求められる。そこで、例えば特許文献２及び３には、視野の一部にのみＨＭＤのディスプレイを配置し、当該ディスプレイ以外の領域から外部視野を提供することが可能なＨＭＤが記載されている。また特許文献４には、左右の目に画像を表示させるミラー等を回動することにより外部視野の確保が可能なＨＭＤが記載されている。

特開２０１１−１４５４８８号公報 特開２０００−０６０８７６号公報 特開平８−２０６０８３号公報 特開２０１１−１１２８２８号公報

しかしながら、特許文献２及び３に記載のＨＭＤは、常に外部視野が開放されているため、ＨＭＤのディスプレイに表示された内視鏡画像に集中することが難しかった。また特許文献４に記載のＨＭＤは、外部視野の確保のために手動でミラーを回動する必要があり、
手術中手指を清潔に維持すべき術者自身が直接ミラーに触れ、他の診断画像等を適宜参照することは難しかった。

以上のような事情に鑑み、本技術の目的は、術者の動作によりＨＭＤに表示される内視鏡画像等を制御することが可能な内視鏡下手術支援システム及び画像制御方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る内視鏡下手術支援システムは、ヘッドマウントディスプレイと、検出部と、コントローラとを具備する。
上記ヘッドマウントディスプレイは、術者に装着される。
上記検出部は、上記術者に装着され、上記術者の動作を検出することが可能である。
上記コントローラは、上記ヘッドマウントディスプレイに画像を表示させる。
また上記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、上記検出部からの出力に基づいて上記内視鏡画像データを制御することが可能な画像制御部とを有し、上記画像制御部からの出力に基づいて上記画像を表示させる。

上記内視鏡下手術支援システムによれば、術者の動作に基づいてヘッドマウントディスプレイ（ＨＭＤ）に表示させる画像を制御することが可能となる。これにより、清潔に維持すべき手指を用いることなく、術者自身の意思に基づいて内視鏡画像及び術中に参照すべき他の診断画像をＨＭＤに表示させることが可能となる。

上記検出部は、上記ヘッドマウントディスプレイに配置されてもよい。
これにより、検出部を術者に装着させるための別個の装着具等が不要となり、構成を単純化することができる。

上記ヘッドマウントディスプレイは、上記術者を含む複数の者にそれぞれ装着される複数のヘッドマウントディスプレイを有し、
上記コントローラは、上記画像制御部からの出力に基づいて上記複数のヘッドマウントディスプレイに画像をそれぞれ表示させてもよい。
これにより、術者の動作に基づいて、ＨＭＤを装着した複数の者が同一の画像を確認しつつ、手術操作を行うことができる。したがって、ＨＭＤを装着した者全員が情報を共有することができ、手術操作の洗練化や安全性の向上、教育の効率化に寄与することができる。

上記画像制御部は、上記検出部からの出力に基づいて上記術者により画像切替動作が行われたか否か判定し、上記画像切替動作が行なわれたと判定した場合に、出力する画像データを上記画像切替動作に対応する画像データに切り替えてもよい。
これにより、画像切替動作に応じてＨＭＤに多様な画像を表示させることができる。

また、上記画像制御部は、上記検出部からの出力に基づいて上記術者により制御開始動作が行われたか否か判定し、上記制御開始動作が行われたと判定した場合に、上記画像切替動作に関する判定結果を有効としてもよい。
これにより、手術中の動作に基づいて術者の意思とは無関係に画像が切り替えられることを防止することができる。

上記コントローラは、上記患部の超音波画像データを取得することが可能な超音波画像取得部をさらに有し、
上記画像制御部は、上記検出部からの出力に基づいて上記術者により超音波画像切替動作が行われたか否か判定し、上記超音波画像切替動作が行なわれたと判定した場合に、出力する画像データを上記内視鏡画像データから上記超音波画像データに切り替えてもよい。
あるいは、上記画像制御部は、上記患部に関するＣＴ画像データを取得することが可能なＣＴ画像取得部を有し、
上記画像制御部は、上記検出部からの出力に基づいて上記術者によりＣＴ画像切替動作が行われたか否か判定し、上記ＣＴ画像切替動作が行われたと判定した場合に、出力する画像データを上記内視鏡画像データから上記ＣＴ画像データに切り替えてもよい。
これにより、内視鏡下手術中に、視線を大きく変更することなく、超音波画像やＣＴ画像を参照することができる。したがって、術者の疲労を低減し、より洗練した手術操作を行うことができる。

さらに上記画像制御部は、上記コントローラにより上記ヘッドマウントディスプレイにＣＴ画像を表示させた後、上記検出部からの出力に基づいて上記術者により視点変更動作が行われたか否か判定し、上記視点変更動作が行なわれたと判定した場合に、出力する画像データを、上記ＣＴ画像データから上記視点変更動作に基づいて上記ＣＴ画像の視点を変更した画像データに切り替えてもよい。
あるいは、上記画像制御部は、上記検出部からの出力に基づいて上記術者により倍率変更動作が行われたか否か判定し、上記倍率変更動作が行なわれたと判定した場合に、出力する画像データを上記内視鏡画像データから上記倍率変更動作に基づいて上記内視鏡画像の倍率を変更した画像データに切り替えてもよい。
これにより、術者の意思に基づいて患部の状態を的確に把握することができる。したがって、より正確かつ迅速な手術操作が可能となる。

上記ヘッドマウントディスプレイは、
術者の眼前に配置されることが可能な筐体と、
上記筐体に支持され、術者に画像を提示する表示面と、
上記筐体に形成され、術者に手元の視野を提供する開口部とを有してもよい。
これにより、術者は、開口部から手元視野を確保することができる。したがって、内視鏡および、他の硬性小物（鉗子・剪刀・鑷子など）をより円滑に操作することができ、正確かつ迅速な手術操作が可能となる。

上記目的を達成するため、本技術の一形態に係る内視鏡下手術支援システムは、複数のヘッドマウントディスプレイと、複数の検出部と、コントローラとを具備する。
上記複数のヘッドマウントディスプレイは、術者を含む複数の者にそれぞれ装着される。
上記複数の検出部は、上記複数の者にそれぞれ装着され、上記複数の者の動作をそれぞれ検出することが可能である。
上記コントローラは、上記複数のヘッドマウントディスプレイ各々に個別に画像を表示させる。
また上記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、上記複数の検出部各々からの出力に基づいて上記内視鏡画像データをそれぞれ制御することが可能な画像制御部とを有し、上記画像制御部からの出力に基づいて上記画像を表示させる。
これにより、ＨＭＤを装着した者のそれぞれが、各自の意思に応じて表示される画像を制御することができる。これにより、作業の分担が可能となり、手術操作の効率化を図ることができる。

上記目的を達成するため、本技術の一形態に係る画像制御方法は、ヘッドマウントディスプレイを装着する術者の動作を検出することができる検出部からの出力をモニタする工程を含む。
上記検出部からの出力に基づいて、上記術者により画像切替動作が行われたか否か判定される。
上記画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データが上記画像切替動作に対応する画像データに切り替えられる。

上記画像制御方法は、さらに、
上記画像切替動作が行われたか否か判定する工程の前に、上記検出部からの出力に基づいて、上記術者により制御開始動作が行われたか否か判定する工程と、
上記制御開始動作が行われたと判定した場合に、上記画像切替動作に関する判定結果を有効とする工程を含んでもよい。

上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者により超音波画像切替動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記超音波画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データを超音波画像データに切り替える工程を含んでもよい。

上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者によりＣＴ画像切替動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記ＣＴ画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データをＣＴ画像データに切り替える工程を含んでもよい。

上記画像制御方法は、さらに、
上記内視鏡画像データを上記ＣＴ画像データに切り替える工程の後、上記検出部からの出力に基づいて、上記術者により視点変更動作が行われたか否か判定する工程と、
上記視点変更動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する画像データを、上記ＣＴ画像データから上記視点変更動作に基づいて上記ＣＴ画像の視点を変更した画像データに切り替える工程とを含んでもよい。

上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者により倍率変更動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記倍率変更動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データを、上記倍率変更動作に基づいて上記内視鏡画像の倍率を変更した画像データに切り替える工程を含んでもよい。

以上のように、本技術によれば、術者の動作によりＨＭＤに表示される画像を制御することが可能な内視鏡下手術支援システムを提供することが可能となる。

本技術の第１の実施形態に係る内視鏡下手術支援システムの構成を示す模式的な図である。 図１に記載の内視鏡下手術支援システムの構成を示すブロック図である。 図１に記載のＨＭＤの断面図であり、術者等に装着された態様を示す。 図３に記載のＨＭＤの斜視図であり、表示面を臨む向きから見た態様を示す。 図３に記載のＨＭＤの内部構成を示すブロック図である。 図１及び図２に記載の画像制御部の動作を説明するためのフローチャートである。 本技術の第２の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。 本技術の第３の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。 本技術の第４の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［内視鏡下手術支援システム］
図１、図２は、本技術の一実施形態に係る内視鏡下手術支援システムを示す図であり、図１は内視鏡下手術支援システムの構成を示す模式図、図２は内視鏡下手術支援システムの構成を示すブロック図である。本実施形態に係る内視鏡下手術支援システム１００は、２個のヘッドマウントディスプレイ（ＨＭＤ）１ａ，１ｂと、内視鏡装置２と、コントローラ３と、検出部４と、超音波装置５とを有する。

内視鏡装置２及び超音波装置５は、それぞれケーブル２３，５２を介してコントローラ３に接続される。コントローラ３は、さらに、ケーブル１５ａ，１５ｂを介してそれぞれＨＭＤ１ａ，１ｂに接続されている。すなわち内視鏡下手術支援システム１００は、内視鏡装置２及び超音波装置５で撮像等された画像データがコントローラ３に供給され、コントローラ３を介してＨＭＤ１ａ，１ｂに内視鏡画像、超音波画像等が表示されるように構成される。

本実施形態に係る内視鏡下手術支援システム１００は、例えば腎部分切除術等の内視鏡下手術に用いられる。すなわち、スコピストと呼ばれる医療従事者が患者の体内に内視鏡装置２を挿入して撮像し、術者（執刀医）が患部に対し切除等の手術操作を行う。この際、例えば執刀医と、スコピストとがＨＭＤ１ａ，１ｂをそれぞれ装着し、内視鏡装置２によって撮像された腎臓等の患部の内視鏡画像をＨＭＤ１ａ，１ｂで確認しながら手術操作を進めることができる。

またＨＭＤ１ａには、ＨＭＤ１ａを装着した執刀医等の動作を検出することが可能な検出部４が配置される。これにより、ＨＭＤ１ａを装着した執刀医等の所定の動作により、ＨＭＤ１ａ，１ｂに表示された内視鏡画像が超音波画像に切り替えられる等の制御を受ける。したがって、所望の診断画像を参照しつつ、適切な手術操作を行うことが可能となる。

なお以下の説明において、ＨＭＤ１ａ，１ｂを装着した執刀医を含む複数の者を、「装着者」と称するものとする。また、本実施形態に係るＨＭＤ１ａ，１ｂは、後述するように、検出部４の配置の有無以外は同一の構成を有する。したがって、ＨＭＤ１ａ，１ｂのそれぞれをＨＭＤ１とも称するものとする。

次に、内視鏡下手術支援システム１００の各部の構成について、詳細を説明する。

（内視鏡装置）
内視鏡装置２は、例えば挿入部２１と、操作部２２とを有し、患者の患部を撮像することが可能に構成される。

挿入部２１は、体内に挿入されることが可能な管状の構造を有し、患部を撮像するための図示しないＣＭＯＳイメージセンサ等の撮像素子や、レンズ等の光学系を内蔵している。また、内視鏡装置２の撮像素子及び光学系等は、例えば視差を有する右目用、左目用の画像を撮像するために、２個ずつ配置されていてもよい。これにより、患部を立体的に表示できる３次元画像のデータを取得することができる。操作部２２は、装着者に把持され、挿入部２１の操作等が可能に構成される。

内視鏡装置２によって撮像された内視鏡画像データは、ケーブル２３を介してコントローラ３へ出力される。また内視鏡画像は、例えば、後述するモニタＭに表示され、ＨＭＤ１を装着していない者に対しても提示される。

また内視鏡装置２は、図示しない光源を有していてもよい。光源から照射された光は、例えば挿入部２１の内部に配置された導光用のファイバ等を介して挿入部２１の先端へ導光される。

（超音波装置）
超音波装置５は、図示しないプローブから術中の患部に向けて超音波を発し、当該患部から反射された超音波を受信することで、超音波元画像データを生成する。ここで、「超音波元画像データ」とは、超音波装置５が所定の規格で生成する画像データであり、所定の画面サイズ及び画素数で生成されるものとする。超音波装置５の生成した超音波元画像データは、ケーブル５２を介してコントローラ３に出力される。

また超音波装置５は、超音波元画像を表示することが可能なモニタ５１を有してもよい（図１参照）。これにより、ＨＭＤ１を装着していない者に対しても超音波画像を表示することができる。

（ＨＭＤ）
図３〜５は、本実施形態に係るＨＭＤの構成を示す図であり、図３は装着者に装着された態様を示すｘ軸方向から見た断面図、図４は表示面を臨む向きから見た斜視図である。なお図３において、Ｈは装着者を示す。

なお、図中のｘ軸方向、ｙ軸方向及びｚ軸方向は、ＨＭＤ１が属するｘｙｚ座標系において相互に直交する３軸方向を示す。ｘ軸方向は、ＨＭＤ１の左右方向とする。ｙ軸方向は、ＨＭＤ１の上下方向とする。ｚ軸方向は、ＨＭＤ１の前後方向とする。なお、ＨＭＤ１が装着者に装着された状態においても同様に、ｘ軸方向を装着者の左右方向とし、ｙ軸方向を装着者の上下方向とし、ｚ軸方向を装着者の前後（正面−背面）方向とする。

ＨＭＤ１は、筐体１１と、左目用及び右目用の表示面１３０と、開口部１４と、表示面１３０に画像を表示させる表示部１３とを有する。本実施形態に係るＨＭＤ１は、例えば全体としてゴーグル形状の非透過型のＨＭＤで構成される。各ＨＭＤ１ａ、１ｂは、例えばケーブル１５ａ，１５ｂにより、それぞれコントローラ３と接続される（図１参照）。なお、表示面１３０は、左目用及び右目用のいずれも同様の構成であるため、同一の符号を付して説明する。またケーブル１５ａ，１５ｂは、それぞれケーブル１５とも称するものとする。

筐体１１は、装着者の眼前に配置されることが可能であり、装着者の顔面にフィットするように構成される。筐体１１は、上面１１１と下面１１２とを有し、例えば、全体としてｚ軸方向に膨出する半円盤状に形成される。上面１１１には、装着時に装着者の額に接触し筐体１１の装着位置を固定するパッド部１１４が配置されてもよい。また筐体１１の左右の側面には、後述する装着部１２が接続されており、またヘッドフォン１６がそれぞれ配置されていてもよい。

また筐体１１は、装着者の左右の目を含む顔面とｚ軸方向に所定の間隔で対向し、ｚ軸方向に略直交する接眼面１１３を含む。接眼面１１３は、例えば下端で下面１１２と連接する。また接眼面１１３の中央部には、例えば、装着者の鼻の形状にあわせて切り欠き１１５が形成されている。さらに切り欠き１１５には、例えば着脱自在に構成された鼻当て１１６が配置されてもよい。なお、図３は、鼻当て１１６が取り外された態様を示す。

また接眼面１１３には、後述するＬＥＤランプ３５１が配置される。ＬＥＤランプ３５１は、装着者の視野に入る領域に配置され、例えば表示面１３０の上方に配置される。ＬＥＤランプ３５１は、後述するコントローラ３の画像制御モードの間点灯するように構成される。ＬＥＤランプ３５１により、装着者に対し、ＨＭＤ１ａの装着者の動作に基づいて画像の制御が可能な、画像制御モードである旨を通知することが可能となる。

表示面１３０は、筐体１１に支持され、装着者に画像を提示する。すなわち表示面１３０は、内視鏡画像取得部３１、超音波画像取得部３２等により取得され、処理された左目用及び右目用の画像を、装着者の左目及び右目にそれぞれ提示することが可能に構成される。

表示面１３０は、本実施形態において、筐体１１の接眼面１１３に配置され、ｘ軸方向に沿って配列される。また表示面１３０は、例えば、出射する画像光の光軸がｚ軸方向と略平行になるように、ｚ軸方向と略直交するよう配置される。表示面１３０の形状及び大きさは特に限定されず、例えば矩形状でそれぞれ構成される。表示面１３０を形成する材料は、透過性を有すれば特に限られず、例えばプラスチック板、ガラス板等が採用される。

開口部１４は、筐体１１に形成され、術者等の装着者に手元の視野を提供することが可能に構成される。開口部１４の構成は特に限定されないが、例えば、接眼面１１３と装着者の顔面とが所定の間隔で対向することにより形成された、筐体１１の下面１１２と当該顔面との間隙で構成される。これにより、術者は、視線を表示面１３０の下方に向けた際、開口部１４を介して手元の視野を確認することが可能となる。さらに、鼻当て１１６が着脱自在に構成される場合には、鼻当て１１６を取り外してＨＭＤ１を装着することで、より開口部１４からの視野を拡大させることができる。

ＨＭＤ１はまた、筐体１１を適切な相対位置に装着させることが可能に構成された装着部１２を有する。装着部１２の構成は特に限定されないが、例えば筐体１１にそれぞれ接続され、装着者の後頭部に装着される上バンド１２１と、下バンド１２２とを含む。上バンド１２１及び下バンド１２２は、例えばナイロンやポリプロピレン等の柔軟性のある材料や、シリコーンゴムやエラストマ等の伸縮性のある材料等が適宜採用される。また、上バンド１２１及び下バンド１２２は、一体に形成されていてもよく、またそれぞれ長さが可変に構成されてもよい。

図５は、表示部１３の構成を示すＨＭＤ１のブロック図である。表示部１３は、ディスプレイポート入力端子１３１と、画像生成部１３２と、表示素子１３３とを有し、筐体１１に収容される。ディスプレイポート入力端子１３１は、例えばケーブル１５によってコントローラ３と接続され、画像データとしての画像制御信号を取得する。画像生成部１３２は、当該画像制御信号に基づき、左右の表示素子１３３へそれぞれ出力するための画像信号を生成する。そして、表示素子１３３は、これらの画像信号に応じた画像光をそれぞれ表示面１３０へ出射し、装着者に画像が提示される。なお表示素子１３３は、表示面１３０と同様に左目用及び右目用のいずれも同様の構成であるため、同一の符号を付して説明する。

画像生成部１３２は、具体的には、上記画像制御信号に対して所定のずらし処理等を行い、ＨＭＤ１に適した左目用及び右目用の画像信号を生成してもよい。これにより、装着者に対し３次元画像を提示することが可能となる。当該ずらし処理におけるずらし量は、例えばＨＭＤ１の表示素子１３３と目の距離、両目の間隔、あるいは後述する虚像位置等から算出される。

左右の表示素子１３３は、画像生成部１３２から入力された画像信号に基づいて、左右の表示面１３０へ向かって画像光を出射する。表示素子１３３は、本実施形態において、有機ＥＬ（Electroluminescence）素子で構成される。表示素子１３３として有機ＥＬ素子を採用することで、小型化、高コントラスト及び迅速な応答性等を実現することができる。

表示素子１３３は、例えば複数の赤色有機ＥＬ素子，緑色有機ＥＬ素子，青色有機ＥＬ素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいは単純（パッシブ）マトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。また、表示素子１３３は、上記駆動回路が画像生成部１３２で生成された画像信号に基づいて制御されることで、表示素子１３３全体として所定の画像が表示されるよう構成される。

なお、表示素子１３３は上記構成に限られず、例えば、液晶表示素子（ＬＣＤ）等を採用することも可能である。

表示素子１３３と表示面１３０との間には、光学系として、例えば図示しない複数の接眼レンズがそれぞれ配置される。これらの接眼レンズと装着者の目とを所定距離で対向させることにより、装着者に対し、所定位置（虚像位置）に表示されるように見える虚像を観察させることが可能となる。虚像位置及び虚像の大きさは、表示素子１３３及び光学系の構成等によって設定され、例えば、虚像の大きさが映画館サイズの７５０インチであり、虚像位置が装着者から約２０ｍ離れた位置とするように設定される。また、虚像を観察させるためには、表示素子１３３からｚ軸方向を光軸方向として出射される画像光が、接眼レンズ等により左右の目の網膜上にそれぞれ結像するように、筐体１１を装着者に対して適切な相対位置に配置する。

以上の構成を有するＨＭＤ１ａには、検出部４が配置される。以下、検出部４について説明する。

（検出部）
検出部４は、装着者に装着され、装着者の動作を検出することが可能に構成される。本実施形態において、検出部４は、ＨＭＤ１ａに配置される。

検出部４は、装着者の動作を検出することが可能なセンサユニット４１を有する。センサユニット４１の配置は特に限定されないが、例えばＨＭＤ１ａの筐体１１において装着者と接する面の近傍に配置される（図４参照）。

センサユニット４１は、ｘ軸方向、ｙ軸方向及びｚ軸方向にそれぞれ沿った加速度を検出することが可能な３つの加速度センサと、ｘ軸、ｙ軸及びｚ軸まわりの角速度を検出することが可能な３つの角速度センサとを有し、いわゆる６軸のモーションセンサとして構成される。検出部４は、例えばこれらの３つの加速度センサ及び３つの角速度センサが１つ又は複数の回路基板等に搭載されたパッケージ部品として構成されてもよい。

加速度センサは、特に限定されないが、例えばピエゾ抵抗型、圧電型、静電容量型等の加速度センサを用いることができる。また角速度センサも特に限定されないが、例えば振動型ジャイロセンサや、回転コマジャイロセンサ、レーザリングジャイロセンサ、ガスレートジャイロセンサ等を適宜選択することが可能である。

検出部４は、本実施形態において、さらに検出信号処理部４２を有する。検出信号処理部４２は、センサユニット４１から出力された信号に対しＡ／Ｄ（Analog/Digital）変換や、増幅等の所定の処理を行う。検出信号処理部４２は、センサユニット４１と同一の回路基板上に搭載されてもよいが、これに限定されず、例えばＨＭＤ１ａのセンサユニット４１近傍やコントローラ３と同一の筐体内に配置されてもよい。

検出部４は、検出信号処理部４２によって処理された検出信号を、コントローラ３に出力する。

（コントローラ）
コントローラ３は、ＨＭＤ１に画像を表示させることが可能に構成される。コントローラ３は、本実施形態において、画像制御部３０と、内視鏡画像取得部３１と、超音波画像取得部３２と、ＣＴ画像取得部３３と、分配部３４と、通知部３５と、記憶部３７とを有する。コントローラ３の各要素は、例えば１つの筐体内に収容される。

内視鏡画像取得部３１は、患者の患部の内視鏡画像データを取得することが可能に構成される。本実施形態において、内視鏡画像取得部３１は、内視鏡装置２と接続され内視鏡装置２で撮像された内視鏡画像データが供給される入力端子と、内視鏡装置２から供給された画像データの規格の変換等を行う画像変換回路とを有する（図示せず）。なお、内視鏡画像取得部３１で画像変換等された画像データも「内視鏡画像データ」と称するものとする。

さらに内視鏡画像取得部３１は、本実施形態において、デジタルズーム回路を有する（図示せず）。デジタルズーム回路は、例えば、内視鏡画像データの倍率を変更した画像データを生成することができる。すなわち内視鏡画像取得部３１は、デジタルズーム回路により、内視鏡画像データの周縁部をトリミングし、かつ中央部の画素を拡大することで、当該内視鏡データの倍率を拡大した画像データを生成する。あるいは、内視鏡画像データ全体の画素を縮小することで、当該内視鏡データの倍率を縮小した画像データを生成する。

なお内視鏡画像取得部３１は、後述するモニタ２４に出力する３次元画像の生成等も可能であってもよい。

超音波画像取得部３２は、患者の患部の超音波画像データを取得することが可能に構成される。本実施形態において、超音波画像取得部３２は、超音波装置５と接続され超音波装置５で生成された超音波元画像データが供給される入力端子と、アップコンバータとを有する（図示せず）。

超音波画像取得部３２は、アップコンバータにより、例えば超音波元画像データを画像変換（アップコンバート）することで、超音波画像データを取得することが可能に構成される。ここで「超音波画像データ」とは、ＨＭＤ１に適合した規格の画像データであり、超音波元画像データとは異なる画面サイズ及び画素数で生成されるものとする。

本実施形態において、ＨＭＤ１に適合する画像の画素数は、超音波装置５が生成する画像の画素数よりも多い。これにより、超音波元画像データをＨＭＤ１に表示させた場合は、画素を引き伸ばして表示することとなり、画像のボケ等の不具合が生じるおそれがある。また、ＨＭＤ１に適合する画像の縦横比（例えば１６：９）は、超音波装置５が生成する画像の縦横比（例えば４：３）と異なることがある。したがって、超音波画像取得部３２は、超音波元画像データに対して画素変換、サイズ変換等を行うことで、超音波元画像の再現性が高い超音波画像データを生成することができる。

ＣＴ画像取得部３３は、患部に関するＣＴ画像データを取得することが可能に構成される。本実施形態において、ＣＴ画像取得部３３は、術前に撮像されたＣＴ元画像データを格納する外部メモリ等と接続される入力端子と、ＣＴ元画像データからＣＴ画像データを生成する画像処理回路とを有する（図示せず）。

ＣＴ画像取得部３３は、画像処理回路により、取得されたＣＴ元画像データを所定の視点に対応する仮想平面上に投影等することで、ＣＴ画像データを生成する。ここで「ＣＴ元画像データ」とは、ＣＴ撮影により取得された複数の２次元の断面画像データに基づき構築された、３次元のボリュームデータとする。また「ＣＴ画像データ」とは、ＣＴ元画像データに基づいて生成されたＨＭＤ１を介して患者の体内を立体的に表現する、３次元のＣＴ画像を提供するための画像データとする。

さらにＣＴ画像取得部３３は、ＣＴ元画像データ等を格納するメモリを有していてもよい。またＣＴ画像取得部３３は、図示はしないが、後述するように記憶部３７と接続され、取得したＣＴ画像データやＣＴ元画像データを記憶部３７に格納するように構成されてもよい。

画像制御部３０は、検出部４からの出力に基づいて内視鏡画像データ等を制御することが可能に構成される。具体的には、画像制御部３０は、検出部４からの出力に基づいて装着者により予め設定された動作が行われたか否か判定し、出力する画像データを当該動作に対応する画像データに切り替える。

画像制御部３０は、本実施形態において、検出部４の３つの加速度センサ及び３つの角速度センサからの出力を組み合わせて、所定の動作が行われたか否か判定する。これにより、後述するように、例えば装着者が首を振る動作、覗き込む動作、見上げる動作等の種々の動作を判定することが可能となる。

また、画像制御部３０が出力する画像データとしては、例えば、内視鏡画像データ、超音波画像データ及びＣＴ画像データが採用される。さらに画像制御部３０は、当該画像データとして、内視鏡画像取得部３１が生成した内視鏡画像データの倍率を変更した画像データや、ＣＴ画像取得部３３が生成した装着者の動作に応じて視点が変更されたＣＴ画像データ等も採用することができる。

さらに画像制御部３０は、本実施形態において、内視鏡画像等を切り替えるための画像切替動作に関する判定結果を有効とする画像制御モードと、画像切替動作に関する判定結果を無効とする誤動作防止モードとの２つのモードを有する。画像制御部３０は、検出部４からの出力に基づいて所定の制御開始動作が検出されたと判定された場合に、誤動作防止モードから画像制御モードに切り替わるように構成される。

例えば画像制御部３０は、画像制御モードにおいて、画像制御部３０の判定結果に基づいて画像データを出力する。一方で画像制御部３０は、誤動作防止モードにおいて、画像制御部３０の判定結果に基づく画像データの出力を行わない。すなわち、画像制御モードでは装着者の動作に基づいてＨＭＤ１に表示される画像が切り替えられるが、誤動作防止モードでは装着者が動作を行ってもＨＭＤ１に表示される画像は切り替えられない。これにより、装着者が意図せずして行った動作によってＨＭＤ１の画像が切り替えられることを防止することができる。

分配部３４は、画像制御部３０から出力された画像データを、略同一のレベルで分配し、各ＨＭＤ１ａ，１ｂに対し出力する。これにより、コントローラ３は、同一の画像をＨＭＤ１ａ，１ｂにそれぞれ表示させることが可能となる。

通知部３５は、画像制御部３０が画像制御モードに切り替えられた場合に、その情報を装着者に通知することが可能に構成される。通知部３５は、本実施形態において、例えばＬＥＤランプ３５１を有する。すなわち、通知部３５は、ＬＥＤランプ３５１の点灯により、画像制御部３０が画像制御モードであることを通知することができる。なおＬＥＤランプ３５１の点灯の態様は特に限定されず、例えば画像制御モードに維持されている間点灯し続けてもよく、あるいは画像制御モードに切り替えられた時のみ点灯してもよい。

ＬＥＤランプ３５１の配置は特に限定されないが、上述の通り、接眼面１１３において表示面１３０の上方に配置される。これにより、ＬＥＤランプ３５１は、表示面１３０を見る装着者の視野に入る領域に配置されることができ、装着者が大きく視線を変更することなくＬＥＤランプ３５１の点灯を確認することができる。またＬＥＤランプ３５１は、ＨＭＤ１ａのみに配置されてもよく、またＨＭＤ１ａ，１ｂの双方に配置されてもよい。

さらにコントローラ３は、ＨＭＤ１ａ，１ｂにそれぞれ接続されるＨＭＤ画像変換部３６ａ，３６ｂを有していてもよい。ＨＭＤ画像変換部３６ａ，３６ｂは、例えば、画像制御部３０等で生成された画像データを、ＨＭＤ１ａ，１ｂに適合した規格に変換することが可能に構成される。

記憶部３７は、典型的には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びその他の半導体メモリ等で構成される。記憶部３７は、コントローラ３によって行われる種々の演算に用いられるプログラムや画像制御用の各種動作に対応する制御パラメータ等が格納される。なお記憶部３７は、ＣＴ画像取得部３３と接続され、取得されたＣＴ画像データやＣＴ元画像データを格納し、画像制御部３０にこれらの画像データを供給することが可能に構成されてもよい。

コントローラ３から出力された画像データは、ケーブル１５を介してＨＭＤ１に出力され、ＨＭＤ１の表示面１３０から当該画像データに対応する画像が表示される（図１参照）。

なお、内視鏡下手術支援システム１００は、モニタＭを有していてもよい（図１参照）。モニタＭは、例えばケーブルＭ１を介してコントローラ３と接続され、コントローラ３から出力された画像データに基づいて画像を表示することが可能に構成される。これによりＨＭＤ１に表示される画像が、ＨＭＤ１を装着していない者に対しても提示されることが可能となる。モニタＭの構成は上記に限定されず、例えば内視鏡装置２に接続され、内視鏡画像のみを表示可能に構成されてもよい。

次に、以上のように構成されるコントローラの動作について説明する。

［コントローラの動作］
図６は、コントローラ３の動作例を説明するフローチャートである。ここでは、ＨＭＤ１に内視鏡画像が表示されている場合に、装着者の動作に基づいて当該画像が制御される場合の動作例について説明する。

まず、コントローラ３は、内視鏡画像取得部３１によって取得された内視鏡画像データをＨＭＤ１へ出力し、内視鏡画像を表示させる（ＳＴ１０１）。この時点では、画像制御部３０は誤動作防止モードであり、検出部４の出力に基づく判定結果は無効とされる。

一方コントローラ３の画像制御部３０は、検出部４の３つの加速度センサ及び３つの角速度センサの出力をモニタしており、制御開始動作が行われたか否か判定する（ＳＴ１０２）。制御開始動作は、内視鏡下手術中の動作としてあまり行われない動作を採用することができ、例えば、一定時間見上げる動作とすることができる。これにより、意図せずして画像制御モードに切り替わることを防止することができる。

画像制御部３０は、具体的には、加速度センサからのｙ軸方向の加速度と、角速度センサからのｘ軸まわりの回転速度とに基づいて、見上げる動作を検出ことができ、さらに当該動作が一定時間継続された場合に、制御開始動作が行われたと判定する。

また、制御開始動作が行われないと判定した場合（ＳＴ１０２でＮｏ）、画像制御部３０は、検出部４からの出力のモニタを継続する（ＳＴ１０２）。

画像制御部３０により制御開始動作が行われたと判定された場合に（ＳＴ１０２でＹｅｓ）、画像制御部３０は、画像制御モードに切り替えられる（ＳＴ１０３）。このとき通知部３５は、ＬＥＤランプ３５１を点灯させ、装着者に対し画像制御モードに切り替えられたことを通知する。

画像制御モードにおいて、画像制御部３０は、検出部４からの出力に基づいて所定の画像切替動作が行われたか判定する。本実施形態において、画像切替動作は、画像制御部３０により出力される画像データを内視鏡画像データから超音波画像データに切り替えるための超音波画像切替動作、内視鏡画像データからＣＴ画像データに切り替えるためのＣＴ画像切替動作、及び内視鏡画像の倍率を変更するための倍率変更動作を含む。本実施形態において、これらの動作の具体的な態様は特に限定されないが、以下の表１に、上記画像切替動作を含む各動作の具体例と、各動作に関連する検出部４の出力の例とを示す。以下、表１を参照しつつ説明する。

まず画像制御部３０は、検出部４からの出力に基づいて、超音波画像切替動作が行われたか否か判定する（ＳＴ１０４−１）。超音波画像切替動作が行われたと判定された場合に（ＳＴ１０４−１でＹｅｓ）、画像制御部３０は、内視鏡画像データに替えて超音波画像データを出力し、ＨＭＤ１に超音波画像を表示させる（ＳＴ１０４−２）。超音波画像切替動作は特に限られないが、例えば表１に示すように、２回以上連続して左へ首を振る動作とすることができる。

画像制御部３０は、具体的には、以下のように超音波画像切替動作を判定する。すなわち画像制御部３０は、加速度センサからのｘ軸方向の加速度と、角速度センサからのｙ軸まわりの回転速度とに基づいて左へ首を振る動作を検出することができ、さらに２回以上連続して左へ首を振る動作を検出した場合に、超音波画像切替動作が行われたと判定することができる。

ＨＭＤ１に超音波画像が表示された後、画像制御部３０は、内視鏡画像切替動作が行われたか否か判定する（ＳＴ１０４−３）。内視鏡画像切替動作は特に限られないが、例えば超音波画像切替動作と同様に、２回以上連続して左へ首を振る動作としてもよい。

画像制御部３０により内視鏡画像切替動作が行われていないと判定された場合（ＳＴ１０４−３でＮｏ）、画像制御部３０は、超音波画像データの出力を続ける（ＳＴ１０４−２）。一方、画像制御部３０により内視鏡画像切替動作が行われたと判定された場合（ＳＴ１０４−３でＹｅｓ）、画像制御部３０は、超音波画像データに替えて内視鏡画像データを出力し、ＨＭＤ１に再び内視鏡画像を表示させる（ＳＴ１０１）。

なお、一連のステップを経てＨＭＤ１に内視鏡画像を表示させるステップ（ＳＴ１０１）に戻った際に、画像制御部３０は、画像制御モードから誤動作防止モードに自動で切り替わるように構成されてもよい。

また超音波画像切替動作が行われていないと判定された場合（ＳＴ１０４−１でＮｏ）、画像制御部３０は、ＣＴ画像切替動作が行われたか否か判定する（ＳＴ１０５−１）。ＣＴ画像切替動作が検出されたと判定された場合（ＳＴ１０５−１でＹｅｓ）、画像制御部３０は、内視鏡画像データに替えてＣＴ画像データを出力し、ＨＭＤ１にＣＴ画像を表示させる（ＳＴ１０５−２）。ＣＴ画像切替動作は特に限られないが、例えば表１に示すように、２回以上連続して右へ首を振る動作とすることができる。

具体的には、画像制御部３０は、加速度センサからのｘ軸の加速度と、角速度センサからのｙ軸まわりの回転速度とに基づいて右へ首を振る動作を検出することができ、さらに２回以上連続して右へ首を振る動作を検出した場合に、ＣＴ画像切替動作が行われたと判定することができる。

ＨＭＤ１にＣＴ画像が表示された後、画像制御部３０は、視点変更動作が行われたか否か判定する（ＳＴ１０５−３）。視点変更動作が行われたと判定された場合に（ＳＴ１０５−３でＹｅｓ）、画像制御部３０は、当該動作に応じて視点が変更されたＣＴ画像データを生成し、ＨＭＤ１に表示させる（ＳＴ１０５−４）。当該動作は特に限定されないが、例えば表１に示すように、ゆっくりとした頭部の移動動作とすることができる。

画像制御部３０は、具体的には、加速度センサからのｘ軸方向，ｙ軸方向及びｚ軸方向の加速度と、角速度センサからｘ軸まわり、ｙ軸まわり及びｚ軸方向の回転速度とに基づいて、頭部の各方向の移動量や頭部の姿勢を検出する。画像制御部３０は、検出された各方向の移動量等に応じて、ＣＴ画像の視点の角度を変更した画像データを生成することができる。

一方、画像制御部３０により視線変更動作が行われたと判定されなかった場合（ＳＴ１０５−３でＮｏ）、画像制御部３０は、さらに内視鏡画像切替動作が行われたか否か判定する（ＳＴ１０５−５）。内視鏡画像切替動作は特に限られないが、例えば、ＣＴ画像切替動作と同様に、右へ２回首を振る動作としてもよい。画像制御部３０により内視鏡画像切替動作が行われていないと判定された場合（ＳＴ１０５−５でＮｏ）、画像制御部３０は、再び視点変更動作が行われたか否か判定する（ＳＴ１０５−３）。一方、画像制御部３０により内視鏡画像切替動作が行われたと判定された場合は（ＳＴ１０５−５でＹｅｓ）、画像制御部３０は、ＣＴ画像データに替えて内視鏡画像データを出力し、ＨＭＤ１に再び内視鏡画像を表示させる（ＳＴ１０１）。

またＣＴ画像切替動作が行われていないと判定された場合（ＳＴ１０５−１でＮｏ）、画像制御部３０は、倍率変更動作が行われたか否か判定する（ＳＴ１０６−１）。倍率変更動作が行われていないと判定された場合（ＳＴ１０６−１でＮｏ）、画像制御部３０は、引き続き内視鏡画像データを出力し、ＨＭＤ１に内視鏡画像を表示させる（ＳＴ１０１）。

倍率変更動作が行われたと判定された場合（ＳＴ１０６−１でＹｅｓ）、画像制御部３０は、内視鏡画像の倍率が変更された画像データを出力し、ＨＭＤ１に当該画像を表示させる（ＳＴ１０６−２）。倍率変更動作は特に限られないが、例えば表１に示すように、静止後に覗き込む動作とすることができる。

画像制御部３０は、具体的には、以下のように倍率変更動作を判定する。すなわち画像制御部３０は、加速度センサからのｚ軸方向の加速度に基づく移動量と、さらに角速度センサの出力も鑑みた頭部の姿勢とに基づいて覗き込む動作を検出することができ、さらに覗き込む動作の前に所定時間（例えば数秒間）の静止を検出した場合に、倍率変更動作が行われたと判定することができる。画像制御部３０は、検出されたｚ軸方向の移動量等に応じて内視鏡画像の倍率を変更した画像データを生成し、出力する。

ＨＭＤ１に倍率変更画像を表示させた後、画像制御部３０は、原寸復帰動作が行われたか否か判定する（ＳＴ１０６−３）。原寸復帰動作は特に限られないが、例えば、２回以上連続して見上げる動作としてもよい。

画像制御部３０は、具体的には、以下のように原寸復帰動作を判定する。すなわち画像制御部３０は、加速度センサからのｙ軸方向の加速度と、角速度センサからのｘ軸まわりの回転速度とに基づいて見上げる動作を検出することができ、さらにこれらの動作を２回以上連続して検出することで、原寸復帰動作が行われたと判定することができる。画像制御部３０により原寸復帰動作が行われたと判定された場合（ＳＴ１０６−３でＹｅｓ）、画像制御部３０は、原寸復帰された内視鏡画像データを出力し、ＨＭＤ１に当該内視鏡画像を表示させる（ＳＴ１０１）。

また、原寸復帰動作が行われていないと判定された場合（ＳＴ１０６−３でＮｏ）、画像制御部３０は、再び倍率変更動作が行われたか否か判定する（ＳＴ１０６−１）。

以上のように、本実施形態によれば、装着者の動作によってＨＭＤ１に表示させる画像を制御することができる。これにより、ＨＭＤ１に、内視鏡画像及び内視鏡下手術中に参照する他の診断画像を表示させることが可能となる。したがって、装着者が視線を移動させることなく必要な画像を確認することができ、術中の疲労を軽減することが可能となる。

またＨＭＤ１に表示可能な診断画像としては、内視鏡画像の他に、本実施形態において、超音波画像と術前のＣＴ画像とが採用される。術中にこれらの画像を参照することで、患部の状態や血管の分布等を的確に把握しつつ、手術操作を行うことが可能となる。

さらに本実施形態によれば、術者の動作により、内視鏡画像の拡大・縮小、及び術前のＣＴ画像の視点の変更が可能である。これにより、患部の状態をより的確に把握し、正確かつ迅速な手術操作が可能となる。

さらに、検出部４により、装着者の動作によって画像の制御を行うことができる。これにより、衛生的な理由からＨＭＤ１等に直接手指を触れることのできない装着者であっても、装着者自身の意思により画像を制御することが可能となる。

また、画像制御部３０を画像制御モードと誤動作防止モードとの間で切り替え可能な構成とすることができる。これにより、誤動作を防止し、装着者の意思に即した画像制御を行うことができる。さらに、画像切替動作は適宜設定されることが可能である。これにより、例えば「２回連続して」首を振る動作、「ゆっくりと」頭部を移動させる動作など、術中の動作としてあまり行われない動作を採用することができる。したがって、より確実に誤動作を防止することが可能となる。

また本実施形態においては、ＨＭＤ１のうちの１つ（ＨＭＤ１ａ）にのみ、検出部４が配置される。これにより、２人の装着者が同一の画像を確認しながら、情報を共有しつつ、手術操作を進めることができる。また本実施形態によれば、ＨＭＤ１とは別個の構成としてコントローラ３を有し、ＨＭＤ１に表示される画像の切り替え等を行うことができる。これにより、複数のＨＭＤ１に対して出力が可能となる。

さらに本実施形態に係るＨＭＤ１は、装着者に手元の視野を提供する開口部１４を有する。これにより、装着者が内視鏡装置２や他の術具等を用いて手術操作を行う場合であっても、開口部１４を介して自身の手元を確認することができ、より円滑に手術操作を進めることができる。

＜第２の実施形態＞
図７は、本技術の第２の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。本実施形態に係る内視鏡下手術支援システム１００Ａにおいて、第１の実施形態に係る内視鏡下手術支援システム１００と異なる主な点は、検出部４ＡがＨＭＤ１ａ，１ｂのそれぞれに配置される２つの検出部４Ａａ，４Ａｂを有し、装着者それぞれの動作によって画像を制御することができる点である。

ＨＭＤ１ａ，１ｂ、内視鏡装置２及び超音波装置５は、第１の実施形態と略同一に構成される。すなわちＨＭＤ１ａ，１ｂは、術者を含む複数の者（装着者）にそれぞれ装着される。内視鏡装置２は、患者の患部を撮像することが可能に構成され、超音波装置５は、超音波元画像データを生成することが可能に構成される。これらの構成については、第１の実施形態と同一の符号を付し、その詳細な説明は省略する。

検出部４Ａは、複数の検出部４Ａａ，４Ａｂを有し、ＨＭＤ１の装着者に装着され、これらの装着者の動作をそれぞれ検出することが可能に構成される。すなわち検出部４Ａは、ＨＭＤ１ａに配置される検出部４Ａａと、ＨＭＤ１ｂに配置される検出部４Ａｂとを有する。

検出部４Ａａ，４Ａｂは、第１の実施形態と同様に、センサユニット４１Ａａ，４１Ａｂと、検出信号処理部４２Ａａ，４２Ａｂとをそれぞれ有する。検出信号処理部４２Ａａ，４２Ａｂによって処理された検出信号は、それぞれコントローラ３Ａに出力される。

コントローラ３Ａは、内視鏡画像取得部３１Ａと、超音波画像取得部３２Ａと、ＣＴ画像取得部３３Ａと、画像制御部３０Ａと、通知部３５Ａと、ＨＭＤ画像変換部３６Ａａ，３６Ａｂと、記憶部３７Ａとを有し、ＨＭＤ１ａ，１ｂ各々に画像制御部３０からの出力に基づいて個別に画像を表示させる。すなわち、コントローラ３Ａは、検出部４Ａａ，４Ａｂにそれぞれ接続される画像制御部３０Ａを有する点と、分割部を有さない点とが、第１の実施形態に係るコントローラ３と異なる。

画像制御部３０Ａは、検出部４Ａａ，４Ａｂからの出力に基づいてそれぞれの動作を検出する。すなわち、画像制御部３０Ａは、検出部４Ａａからの出力に基づいて、ＨＭＤ１ａの装着者により所定の動作が検出されたか否か判定する。また画像制御部３０Ａは、検出部４Ａｂからの出力に基づいて、ＨＭＤ１ｂの装着者により所定の動作が検出されたか否か判定する。

画像制御部３０Ａは、検出部４Ａａ，Ａｂからの出力に基づいてそれぞれ判定された動作に基づく画像データを、ＨＭＤ画像変換部３６Ａａ，３６Ａｂのそれぞれに出力する。これにより、ＨＭＤ１ａの装着者による動作に基づく画像がＨＭＤ１ａに、ＨＭＤ１ｂの装着者による動作に基づく画像がＨＭＤ１ｂに、それぞれ表示される。

本実施形態によれば、第１の実施形態と同様の作用効果に加えて、ＨＭＤ１ａ，１ｂの装着者各々が、自身の動作に応じてＨＭＤ１ａ，１ｂの表示画像を制御することが可能となる。これにより、作業の分担が可能となり、手術操作の効率化を図ることができる。

＜第３の実施形態＞
図８は、本技術の第３の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。本実施形態に係る内視鏡下手術支援システム１００Ｂにおいて、第１の実施形態に係る内視鏡下手術支援システム１００と異なる主な点は、３個以上のＨＭＤ１Ｂを有する点と、コントローラ３ＢがＨＭＤ１Ｂのそれぞれに対応する複数の信号変換部３６Ｂを有する点である。なお、その他の点については第１の実施形態と略同一の構成であるため、第１の実施形態と同一の符号を付し、その詳細な説明は省略する。

複数のＨＭＤ１Ｂは、例えば内視鏡下手術に関与する複数の者全員に装着される。ＨＭＤ１Ｂの数は特に限定されず、内視鏡下手術に関与する者の人数、及び手術の状況等に応じて適宜設定することができる。

検出部４は、第１の実施形態に係る検出部４と略同一の構成であり、本実施形態において、複数のＨＭＤ１Ｂのうちの１つのＨＭＤ１Ｂに配置される。これにより、ＨＭＤ１Ｂを装着した複数の者（装着者）のうちの１人の動作に応じて、全てのＨＭＤ１Ｂに同一の画像が表示される。

またコントローラ３Ｂは、複数のＨＭＤ１Ｂにそれぞれ対応する複数の信号変換部３６Ｂを有してもよい。また、分配部３４Ｂは、画像制御部３０Ｂから出力された画像データを、略同一のレベルで分配し、各信号変換部３６Ｂに対し出力することができる。これにより、検出部４を装着した装着者の動作に基づいて画像制御部３０Ｂが選択した画像データを、複数のＨＭＤ１Ｂに対し同時に出力することができる。なお分配部３４Ｂは、必要に応じて、信号の減衰を補償するプリアンプ等を有してもよい。

本実施形態によれば、第１の実施形態と同一の作用効果に加えて、ＨＭＤ１Ｂを装着した者全員が同一の画像を確認しながら、手術操作を進めることができる。したがって、情報の共有化を進め、さらなる安全性の向上や手術操作の効率化を図ることが可能となる。

また本実施形態によれば、ＨＭＤ１Ｂとは別個の構成としてコントローラ３Ｂを有し、複数のＨＭＤ１Ｂに表示される画像の切り替え等を一括して行うことができる。これにより、画像データの多出力化が可能となり、ＨＭＤ１Ｂの数の自由度を高め、様々な状況に対応可能な自由度の高い内視鏡下手術支援システムを提供することができる。

＜第４の実施形態＞
図９は、本技術の第４の実施形態に係る内視鏡下手術支援システムの構成を示すブロック図である。本実施形態に係る内視鏡下手術支援システム１００Ｃにおいて、第１の実施形態に係る内視鏡下手術支援システム１００と異なる主な点は、コントローラ３Ｃが、過去に行われた内視鏡下手術時に、内視鏡装置２によって撮像された内視鏡画像データ（以下、手術画像データとする）を取得することが可能な手術画像取得部３８Ｃを有する点である。なお、その他の点については第１の実施形態と略同一の構成であるため、第１の実施形態と同一の符号を付し、その詳細な説明は省略する。

本実施形態において、手術画像取得部３８Ｃは、手術画像データを格納する外部メモリ等と接続される入力端子と、手術画像データの規格の変換等を行う画像変換回路とを有する（図示せず）。さらに手術画像取得部３８Ｃは、手術画像データ等を格納するメモリを有していてもよい。また手術画像取得部３８Ｃは、図示はしないが、後述するように記憶部３７Ｃと接続され、手術画像データ等を記憶部３７に格納するように構成されてもよい。

画像制御部３０Ｃは、第１の実施形態と同様に、検出部４からの出力に基づいて、装着者により所定の画像切替動作が検出されたか否か判定する。本実施形態に係る画像切替動作は、第１の実施形態と同様の超音波画像切替動作、ＣＴ画像切替動作、倍率変更動作に加えて、さらに手術画像切替動作を含む。手術画像切替動作は特に限られないが、例えば一例として、首を左右交互に振る動作としてもよい。

画像制御部３０Ｃは、第１の実施形態と同様に、検出部４Ｃの出力により判定された画像切替動作に応じた画像データを出力し、ＨＭＤ１に表示される画像を切り替えることができる。上記画像データとしては、第１の実施形態と同様の内視鏡画像データ、超音波画像データ及びＣＴ画像データに加えて、さらに手術画像取得部３８Ｃによって取得された手術画像データが採用される。

本実施形態によれば、内視鏡下手術中に、装着者の動作に基づいて、過去の内視鏡画像等をＨＭＤ１に表示させることができる。これにより、同一の患者に対して２回目以降の内視鏡手術を行う場合であっても、より円滑かつ効率的に手術操作を進めることが可能となる。

以上、本技術の実施形態について説明したが、本技術はこれに限定されることはなく、本技術の技術的思想に基づいて種々の変形が可能である。

例えば以上の実施形態においては、検出部がＨＭＤに配置されていると説明したが、術者を含む装着者に装着されていればこれに限定されない。例えば、ＨＭＤとは別の頭部装着具に検出部が配置されていてもよい。これによっても、検出部が装着者の動作を検出することが可能となる。

以上の実施形態においては、内視鏡下手術支援システムが内視鏡装置及び超音波装置を有すると説明したが、これに限定されない。例えば、これらの装置を有さない構成とし、外部メモリ等に格納された内視鏡画像データ、超音波元画像データ等を内視鏡画像取得部、超音波画像取得部が取得し、画像制御部による画像の制御に用いてもよい。また、内視鏡画像取得部が内視鏡装置を有し、超音波画像取得部が超音波装置を有する構成とすることもできる。

また、以上の実施形態においては、検出部が装着者の動作を検出することにより画像を制御するとしたが、これに加えて、例えばフットスイッチやハンドスイッチ、音声認識等を用いた入力操作により画像を制御することが可能であってもよい。これにより、頭部の動作が困難な状況であっても、画像を制御することが可能となる。

また、画像切替部が画像制御モードと、誤動作防止モードとを有するとしたが、これに限定されず、誤動作防止モードを有さない構成としてもよい。この場合には、制御開始動作をせずとも装着者の動作により画像を制御することが可能となる。

また、以上の実施形態において、画像制御部は、画像切替動作のうち超音波画像切替動作、ＣＴ画像切替動作及び倍率変更動作のいずれかが行われたか否かを順に判定する例について説明したが、これに限定されず、画像切替動作を同時に判定してもよい。

さらに、以上の実施形態では超音波画像切替動作の次にＣＴ画像切替動作を検出すると説明したが、勿論これに限定されない。例えば先にＣＴ画像切替動作を検出するようにしてもよい。また、超音波画像とＣＴ画像との間でも切り替え可能に構成されてもよい。

以上の実施形態において、画像制御部が誤動作防止モードの際に、画像切替部が画像データの出力をしないと説明したが、例えば、誤動作防止モードの際に、画像制御部が画像切替動作の判定をしないように設定することも可能である。あるいは、誤動作防止モードの際に、ＨＭＤ画像変換部がＨＭＤへの画像データの出力をしないように設定することも可能である。

また、以上の説明において、検出部のセンサユニットがいわゆる６軸のモーションセンサであると説明したが、これに限定されない。例えば、ｘ軸方向及びｙ軸方向にそれぞれ沿った加速度を検出することが可能な２つの加速度センサと、ｘ軸及びｙ軸まわりの角速度を検出することが可能な２つの角速度センサとを有する、いわゆる４軸のモーションセンサとして構成されてもよい。

以上の実施形態において、内視鏡下手術支援システムが超音波画像取得部及びＣＴ画像取得部を有すると説明したが、これらのうちの一方又は双方を有しない構成とすることもできる。また、内視鏡下手術支援システムが、画像制御部に接続された他の画像診断装置等を有していてもよい。すなわち、本技術によれば、ＨＭＤとは別個の構成として画像制御部を有し、ＨＭＤに表示される画像の切り替え等を一括して行うことができるため、入力される画像データの自由度を高め、多様な状況に対応可能な内視鏡下手術支援システムを提供することができる。

また第２の実施形態において、コントローラ３Ａが検出部４Ａａ，４Ａｂのそれぞれに対応する２つの画像制御部を有する構成としてもよい。これによっても、コントローラ３Ａは、ＨＭＤ１ａ，１ｂ各々に各画像制御部からの出力に基づいて個別に画像を表示させることが可能となる。

また第４の実施形態において、手術画像取得部３８Ｃが、上記手術画像データに限られず、内視鏡下手術に関連する他の画像データを取得することが可能に構成されてもよい。これにより、装着者の動作に応じて多様な画像を出力可能となり、自由度の高い内視鏡下手術支援システムを提供することができる。

なお、本技術は以下のような構成も採ることができる。
（１）術者に装着されるヘッドマウントディスプレイと、
上記術者の動作を検出することが可能な検出部と、
上記ヘッドマウントディスプレイに画像を表示させるコントローラとを具備し、
上記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、上記検出部からの出力に基づいて上記内視鏡画像データを制御することが可能な画像制御部とを有し、上記画像制御部からの出力に基づいて画像を表示させる
内視鏡下手術支援システム。
（２）上記（１）に記載の内視鏡下手術支援システムであって、
上記検出部は、上記ヘッドマウントディスプレイに配置される
内視鏡下手術支援システム。
（３）上記（１）又は（２）に記載の内視鏡下手術支援システムであって、
上記ヘッドマウントディスプレイは、上記術者を含む複数の者にそれぞれ装着される複数のヘッドマウントディスプレイを有し、
上記コントローラは、上記画像制御部からの出力に基づいて上記複数のヘッドマウントディスプレイに画像をそれぞれ表示させる
内視鏡下手術支援システム。
（４）上記（１）から（３）のうちいずれか１つに記載の内視鏡下手術支援システムであって、
上記画像制御部は、上記検出部からの出力に基づいて上記術者により画像切替動作が行われたか否か判定し、上記画像切替動作が行なわれたと判定した場合に、出力する画像データを上記画像切替動作に対応する画像データに切り替える
内視鏡下手術支援システム。
（５）上記（４）に記載の内視鏡下手術支援システムであって、
上記画像制御部は、上記検出部からの出力に基づいて上記術者により制御開始動作が行われたか否か判定し、上記制御開始動作が行われたと判定した場合に、上記画像切替動作に関する判定結果を有効とする
内視鏡下手術支援システム。
（６）上記（４）又は（５）に記載の内視鏡下手術支援システムであって、
上記コントローラは、上記患部の超音波画像データを取得することが可能な超音波画像取得部をさらに有し、
上記画像制御部は、上記検出部からの出力に基づいて上記術者により超音波画像切替動作が行われたか否か判定し、上記超音波画像切替動作が行なわれたと判定した場合に、出力する画像データを上記内視鏡画像データから上記超音波画像データに切り替える
内視鏡下手術支援システム。
（７）上記（４）から（６）のうちいずれか１つに記載の内視鏡下手術支援システムであって、
上記画像制御部は、上記患部に関するＣＴ画像データを取得することが可能なＣＴ画像取得部を有し、
上記画像制御部は、上記検出部からの出力に基づいて上記術者によりＣＴ画像切替動作が行われたか否か判定し、上記ＣＴ画像切替動作が行われたと判定した場合に、出力する画像データを上記内視鏡画像データから上記ＣＴ画像データに切り替える
内視鏡下手術支援システム。
（８）上記（７）に記載の内視鏡下手術支援システムであって、
上記画像制御部は、上記コントローラにより上記ヘッドマウントディスプレイにＣＴ画像を表示させた後、上記検出部からの出力に基づいて上記術者により視点変更動作が行われたか否か判定し、上記視点変更動作が行なわれたと判定した場合に、出力する画像データを、上記ＣＴ画像データから上記視点変更動作に基づいて上記ＣＴ画像の視点を変更した画像データに切り替える
内視鏡下手術支援システム。
（９）上記（４）から（８）のうちいずれか１つに記載の内視鏡下手術支援システムであって、
上記画像制御部は、上記コントローラにより上記ヘッドマウントディスプレイに上記内視鏡画像データに基づく内視鏡画像が表示された後、上記検出部からの出力に基づいて上記術者により倍率変更動作が行われたか否か判定し、上記倍率変更動作が行なわれたと判定した場合に、出力する画像データを上記内視鏡画像データから上記倍率変更動作に基づいて上記内視鏡画像の倍率を変更した画像データに切り替える
内視鏡下手術支援システム。
（１０）上記（１）から（９）のうちいずれか１つに記載の内視鏡下手術支援システムであって、
上記ヘッドマウントディスプレイは、
術者の眼前に配置されることが可能な筐体と、
上記筐体に支持され、術者に画像を提示する表示面と、
上記筐体に形成され、術者に手元の視野を提供する開口部とを有する
内視鏡下手術支援システム。
（１１）術者を含む複数の者にそれぞれ装着される複数のヘッドマウントディスプレイと、
上記複数の者にそれぞれ装着され、上記複数の者の動作をそれぞれ検出することが可能な複数の検出部と、
上記複数のヘッドマウントディスプレイ各々に個別に画像を表示させるコントローラとを具備し、
上記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、上記複数の検出部各々からの出力に基づいて上記内視鏡画像データをそれぞれ制御することが可能な画像制御部とを有し、上記画像制御部からの出力に基づいて画像を表示させる
内視鏡下手術支援システム。
（１２）ヘッドマウントディスプレイを装着する術者の動作を検出することができる検出部からの出力をモニタし、
上記検出部からの出力に基づいて、上記術者により画像切替動作が行われたか否か判定し、
上記画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データを上記画像切替動作に対応する画像データに切り替える
画像制御方法。
（１３）（１２）に記載の画像制御方法であって、さらに
上記画像切替動作が行われたか否か判定する工程の前に、上記検出部からの出力に基づいて、上記術者により制御開始動作が行われたか否か判定する工程と、
上記制御開始動作が行われたと判定した場合に、上記画像切替動作に関する判定結果を有効とする工程を含む
画像制御方法。
（１４）（１２）又は（１３）に記載の画像制御方法であって、
上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者により超音波画像切替動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記超音波画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データを超音波画像データに切り替える工程を含む
画像制御方法。
（１５）上記（１２）から（１４）のうちいずれか１つに記載の画像制御方法であって、
上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者によりＣＴ画像切替動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記ＣＴ画像切替動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データをＣＴ画像データに切り替える工程を含む
画像制御方法。
（１６）（１５）に記載の画像制御方法であって、さらに、
上記内視鏡画像データを上記ＣＴ画像データに切り替える工程の後、上記検出部からの出力に基づいて、上記術者により視点変更動作が行われたか否か判定する工程と、
上記視点変更動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する画像データを上記ＣＴ画像データから上記視点変更動作に基づいて上記ＣＴ画像の視点を変更した画像データに切り替える工程とを含む
画像制御方法。
（１７）上記（１２）から（１６）のうちいずれか１つに記載の画像制御方法であって、
上記画像切替動作が行われたか否か判定する工程は、上記検出部からの出力に基づいて、上記術者により倍率変更動作が行われたか否か判定する工程を含み、
上記内視鏡画像データを切り替える工程は、上記倍率変更動作が行われたと判定した場合に、上記ヘッドマウントディスプレイに対して出力する内視鏡画像データを上記倍率変更動作に基づいて上記内視鏡画像の倍率を変更した画像データに切り替える工程を含む
画像制御方法。

１，１ａ，１ｂ，１Ｂ…ＨＭＤ（ヘッドマウントディスプレイ）
３，３Ａ，３Ｂ，３Ｃ…コントローラ
４，４Ａ，４Ａａ，４Ａｂ…検出部
１１…筐体
１３０…表示面
１４…開口部
３０，３０Ａ，３０Ｂ，３０Ｃ…画像制御部
３１，３１Ａ，３１Ｂ，３１Ｃ…内視鏡画像取得部
３２，３２Ａ，３２Ｂ，３２Ｃ…超音波画像取得部
３３，３３Ａ，３３Ｂ，３３Ｃ…ＣＴ画像取得部
１００，１００Ａ，１００Ｂ，１００Ｃ…内視鏡下手術支援システム

Claims (17)

1. 術者に装着されるヘッドマウントディスプレイと、
   前記術者の動作を検出することが可能な検出部と、
   前記ヘッドマウントディスプレイに画像を表示させるコントローラとを具備し、
   前記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、前記検出部からの出力に基づいて前記内視鏡画像データを制御することが可能な画像制御部とを有し、前記画像制御部からの出力に基づいて前記画像を表示させる
   内視鏡下手術支援システム。
2. 請求項１に記載の内視鏡下手術支援システムであって、
   前記検出部は、前記ヘッドマウントディスプレイに配置される
   内視鏡下手術支援システム。
3. 請求項１に記載の内視鏡下手術支援システムであって、
   前記ヘッドマウントディスプレイは、前記術者を含む複数の者にそれぞれ装着される複数のヘッドマウントディスプレイを有し、
   前記コントローラは、前記画像制御部からの出力に基づいて前記複数のヘッドマウントディスプレイに画像をそれぞれ表示させる
   内視鏡下手術支援システム。
4. 請求項１に記載の内視鏡下手術支援システムであって、
   前記画像制御部は、前記検出部からの出力に基づいて前記術者により画像切替動作が行われたか否か判定し、前記画像切替動作が行われたと判定した場合に、出力する画像データを前記画像切替動作に対応する画像データに切り替える
   内視鏡下手術支援システム。
5. 請求項４に記載の内視鏡下手術支援システムであって、
   前記画像制御部は、前記検出部からの出力に基づいて前記術者により制御開始動作が行われたか否か判定し、前記制御開始動作が行われたと判定した場合に、前記画像切替動作に関する判定結果を有効とする
   内視鏡下手術支援システム。
6. 請求項４に記載の内視鏡下手術支援システムであって、
   前記コントローラは、前記患部の超音波画像データを取得することが可能な超音波画像取得部をさらに有し、
   前記画像制御部は、前記検出部からの出力に基づいて前記術者により超音波画像切替動作が行われたか否か判定し、前記超音波画像切替動作が行われたと判定した場合に、出力する画像データを前記内視鏡画像データから前記超音波画像データに切り替える
   内視鏡下手術支援システム。
7. 請求項４に記載の内視鏡下手術支援システムであって、
   前記画像制御部は、前記患部に関するＣＴ画像データを取得することが可能なＣＴ画像取得部を有し、
   前記画像制御部は、前記検出部からの出力に基づいて前記術者によりＣＴ画像切替動作が行われたか否か判定し、前記ＣＴ画像切替動作が行われたと判定した場合に、出力する画像データを前記内視鏡画像データから前記ＣＴ画像データに切り替える
   内視鏡下手術支援システム。
8. 請求項７に記載の内視鏡下手術支援システムであって、
   前記画像制御部は、前記コントローラにより前記ヘッドマウントディスプレイにＣＴ画像を表示させた後、前記検出部からの出力に基づいて前記術者により視点変更動作が行われたか否か判定し、前記視点変更動作が行われたと判定した場合に、出力する画像データを、前記ＣＴ画像データから前記視点変更動作に基づいて前記ＣＴ画像の視点を変更した画像データに切り替える
   内視鏡下手術支援システム。
9. 請求項４に記載の内視鏡下手術支援システムであって、
   前記画像制御部は、前記検出部からの出力に基づいて前記術者により倍率変更動作が行われたか否か判定し、前記倍率変更動作が行われたと判定した場合に、出力する画像データを前記内視鏡画像データから前記倍率変更動作に基づいて前記内視鏡画像の倍率を変更した画像データに切り替える
   内視鏡下手術支援システム。
10. 請求項１に記載の内視鏡下手術支援システムであって、
    前記ヘッドマウントディスプレイは、
    術者の眼前に配置されることが可能な筐体と、
    前記筐体に支持され、術者に画像を提示する表示面と、
    前記筐体に形成され、術者に手元の視野を提供する開口部とを有する
    内視鏡下手術支援システム。
11. 術者を含む複数の者にそれぞれ装着される複数のヘッドマウントディスプレイと、
    前記複数の者にそれぞれ装着され、前記複数の者の動作をそれぞれ検出することが可能な複数の検出部と、
    前記複数のヘッドマウントディスプレイ各々に個別に画像を表示させるコントローラとを具備し、
    前記コントローラは、患者の患部の内視鏡画像データを取得することが可能な内視鏡画像取得部と、前記複数の検出部各々からの出力に基づいて前記内視鏡画像データをそれぞれ制御することが可能な画像制御部とを有し、前記画像制御部からの出力に基づいて前記画像を表示させる
    内視鏡下手術支援システム。
12. ヘッドマウントディスプレイを装着する術者の動作を検出することが可能な検出部からの出力をモニタし、
    前記検出部からの出力に基づいて、前記術者により画像切替動作が行われたか否か判定し、
    前記画像切替動作が行われたと判定した場合に、前記ヘッドマウントディスプレイに対して出力する内視鏡画像データを前記画像切替動作に対応する画像データに切り替える
    画像制御方法。
13. 請求項１２に記載の画像制御方法であって、さらに
    前記画像切替動作が行われたか否か判定する工程の前に、前記検出部からの出力に基づいて、前記術者により制御開始動作が行われたか否か判定する工程と、
    前記制御開始動作が行われたと判定した場合に、前記画像切替動作に関する判定結果を有効とする工程を含む
    画像制御方法。
14. 請求項１２に記載の画像制御方法であって、
    前記画像切替動作が行われたか否か判定する工程は、前記検出部からの出力に基づいて、前記術者により超音波画像切替動作が行われたか否か判定する工程を含み、
    前記内視鏡画像データを切り替える工程は、前記超音波画像切替動作が行われたと判定した場合に、前記ヘッドマウントディスプレイに対して出力する内視鏡画像データを超音波画像データに切り替える工程を含む
    画像制御方法。
15. 請求項１２に記載の画像制御方法であって、
    前記画像切替動作が行われたか否か判定する工程は、前記検出部からの出力に基づいて、前記術者によりＣＴ画像切替動作が行われたか否か判定する工程を含み、
    前記内視鏡画像データを切り替える工程は、前記ＣＴ画像切替動作が行われたと判定した場合に、前記ヘッドマウントディスプレイに対して出力する内視鏡画像データをＣＴ画像データに切り替える工程を含む
    画像制御方法。
16. 請求項１５に記載の画像制御方法であって、さらに、
    前記内視鏡画像データを前記ＣＴ画像データに切り替える工程の後、前記検出部からの出力に基づいて、前記術者により視点変更動作が行われたか否か判定する工程と、
    前記視点変更動作が行われたと判定した場合に、前記ヘッドマウントディスプレイに対して出力する画像データを前記ＣＴ画像データから前記視点変更動作に基づいて前記ＣＴ画像の視点を変更した画像データに切り替える工程とを含む
    画像制御方法。
17. 請求項１２に記載の画像制御方法であって、
    前記画像切替動作が行われたか否か判定する工程は、前記検出部からの出力に基づいて、前記術者により倍率変更動作が行われたか否か判定する工程を含み、
    前記内視鏡画像データを切り替える工程は、前記倍率変更動作が行われたと判定した場合に、前記ヘッドマウントディスプレイに対して出力する内視鏡画像データを前記倍率変更動作に基づいて前記内視鏡画像の倍率を変更した画像データに切り替える工程を含む
    画像制御方法。

Images