JP2017225700A - 観察支援装置及び内視鏡システム - Google Patents

Abstract

【課題】未観察領域を視認し易く表示する。【解決手段】 観察支援装置は、被検体の３次元形状データに基づいて３次元形状モデル画像を生成する３次元形状モデル画像生成部と、前記被検体の内部を観察する内視鏡により取得された前記被検体の２次元画像に基づいて前記３次元形状モデル画像上における観察領域及び未観察領域の少なくとも一方を算出する観察領域判定部と、前記３次元形状モデル画像上において視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる重畳領域を検出する重畳領域検出部と、前記重畳領域が存在する場合には、前記重畳領域を含む所定の切出し面において前記被検体の３次元形状データに基づく形状を切断して得られる断面画像を切出し画像として生成する切出し画像生成部と、前記切り出し画像生成部により生成された前記切り出し画像を前記３次元形状モデル画像と同時に表示する表示制御部とを具備する。【選択図】図１

Description

本発明は、内視鏡を用いて被検体を観察する観察支援装置及び内視鏡システムに関する。

近年、内視鏡を用いた内視鏡システムは、医療分野及び工業用分野において広く用いられている。例えば、医療分野においては、内視鏡を、被検体内における複雑な管腔形状を有する臓器の内部に挿入し、その内部の詳細な観察や検査に利用することがある。 この場合には、術者が管腔臓器内のいずれの部位を内視鏡により観察したかを把握し易いように、モニタ画面上に観察範囲を表示する機能を有する内視鏡システムも開発されている。

このような内視鏡システムにおいては、例えば、事前に患者の臓器についての計測を行って臓器の計測データを取得し、取得した計測データに基づいて推定した３次元形状モデル画像を生成し、この３次元形状モデル画像上に観察中における観察位置を表示するものもある。

また例えば、特許文献１においては、内視鏡により観察した領域を提示するために、内視鏡により撮像して得た内視鏡画像から臓器の内腔形状を求めて３次元形状モデル画像をその場で生成して表示する内視鏡システムも提案されている。

これらの技術によって、内視鏡による所定の検査等の観察時に、観察済みの領域（以下、観察領域という）と観察済みでない領域（以下、未観察領域という）とを、３次元形状モデル画像上に識別可能に表示することができる。術者は、３次元形状モデル画像上の表示によって、例えば被挿入体内のいずれの位置を観察しているかをある程度把握することができると共に、被検体内の全ての領域を観察したか否かを確認することができる。

特許第５３５４４９４号

しかしながら、３次元形状モデル画像は、通常２次元モニタ画面に表示されることから、３次元形状モデル画像上の視線手前側の領域の表示によって視線奥側の領域は確認し難く、視線奥側の領域に存在する未観察領域を視認性良く表示することは困難である。

本発明は上述した点に鑑みてなされたもので、未観察領域を視認し易く表示することができる観察支援装置及び内視鏡システムを提供することを目的とする。

本発明の一態様の観察支援装置は、被検体の３次元形状データに基づいて３次元形状モデル画像を生成する３次元形状モデル画像生成部と、前記被検体の内部を観察する内視鏡により取得された前記被検体の２次元画像に基づいて前記３次元形状モデル画像上における観察領域及び未観察領域の少なくとも一方を算出する観察領域判定部と、前記３次元形状モデル画像上において視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる重畳領域を検出する重畳領域検出部と、前記重畳領域が存在する場合には、前記重畳領域を含む所定の切出し面において前記被検体の３次元形状データに基づく形状を切断して得られる断面画像を切出し画像として生成する切出し画像生成部と、前記切り出し画像生成部により生成された前記切り出し画像を前記３次元形状モデル画像と同時に表示する表示制御部とを具備する。

また、本発明の一態様の内視鏡システムは、被検体の内部を観察する内視鏡と、前記被検体の３次元形状データに基づいて３次元形状モデル画像を生成する３次元形状モデル画像生成部と、前記内視鏡により取得された前記被検体の２次元画像に基づいて前記３次元形状モデル画像上における観察領域及び未観察領域の少なくとも一方を算出する観察領域判定部と、前記３次元形状モデル画像上において視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる重畳領域を検出する重畳領域検出部と、前記重畳領域が存在する場合には、前記重畳領域を含む所定の切出し面において前記被検体の３次元形状データに基づく形状を切断して得られる断面画像を切出し画像として生成する切出し画像生成部と、前記切り出し画像生成部により生成された前記切り出し画像を前記３次元形状モデル画像と同時に表示する表示制御部とを具備する。

本発明によれば、未観察領域を視認し易く表示することができるという効果を有する。

本発明の第１の実施の形態に係る観察支援装置を示すブロック図。 図１中の観察支援装置が組み込まれた内視鏡システムの全体構成図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するためのフローチャート。 内視鏡により管腔臓器が観察されている様子を３次元形状モデル画像に対応して示す説明図。 切出し面の設定を説明するための説明図。 図５の未観察領域表示画像５５ａによって示される重畳領域に設定された切出し面Ｐ１における切出し画像を示す説明図。 図５の未観察領域表示画像５５ｂによって示される重畳領域に設定された切出し面Ｐ２における切出し画像を示す説明図。 画面表示を示す説明図。 重畳領域の全ての切出し画像を表示する例を示す説明図。 第２の実施の形態において採用される動作フローを示すフローチャート。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る観察支援装置を示すブロック図である。また、図２は図１中の観察支援装置が組み込まれた内視鏡システムの全体構成図である。

本実施の形態においては、被検体内における観察領域と未観察領域との区別を、観察対象の被検体の３次元形状モデル画像上に表示するものである。３次元形状モデル画像は、例えば被検体のＣＴスキャンにより取得した情報等の３次元画像データに基づいて事前に生成可能である。

また、被検体内を内視鏡により観察しながら、この観察時に内視鏡によって得られる内視鏡画像を用いて、３次元形状モデル画像（以下、構築中の３次元形状モデル画像という）を生成することも可能である。この場合には、観察が進につれて、観察範囲までの３次元形状モデル画像が順次構築されて表示される。即ち、この場合には、３次元形状モデル画像の構築領域が観察領域となり、未構築領域が未観察領域となる。

なお、観察前に既に生成されている３次元形状モデル画像（以下、既存の３次元形状モデル画像という）の例としては、以前の検査や観察において３次元形状モデル画像が用いられた場合や、所定の管腔臓器等について作成されている汎用の３次元形状モデル画像が存在する場合も含まれる。本実施の形態は観察前に３次元形状モデル画像が既に作成されている場合であっても、観察時と同時に３次元形状モデル画像が作成される場合のいずれにも適用可能である。

本実施の形態は、３次元形状モデル画像上において、視線手前側の領域によって視線奥側の未観察領域が表示されない場合でも、未観察領域について観察領域とは異なる表示を施すと共に、当該未観察領域を含む被検体の断面画像を表示することにより、未観察領域の視認性を向上させるものである。

例えば、複数の管腔が枝別れしている場合において、ある視点から見た既存の３次元形状モデル画像上では、手前側の管腔によって奥側の管腔が表示されない場合がある。このような場合、視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる領域（以下、重畳領域という）が存在することがある。重畳領域における未観察領域については、例えば色付け等により３次元形状モデル画像上に観察領域と区別可能な表示を行う。また、３次元形状モデル画像の元となる３次元形状データを用いて重畳領域を含む断面画像を表示することで、未観察領域の視認性を向上させる。この場合には、後述するように、視線手前側の管腔の断面画像部分と、視線奥側の管腔の断面画像部分とが、島状に別れて表示されることになり、未観察領域の視認性を著しく向上させることができる。

また、構築中の３次元形状モデル画像の生成時には、枝分かれする所定の管腔が未観察である場合には、当該所定の管腔を未観察領域とする。この場合の未観察領域と観察領域との重畳領域においても、未観察領域については、例えば色付け等により３次元形状モデル画像上に観察領域と区別可能な表示を行う。また、３次元形状データを用いて重畳領域を含む断面画像を表示することで、未観察領域の視認性を向上させる。なお、この場合には、後述するように、視線手前側の観察領域の断面画像部分の一部分に、視線奥側の未観察領域が表示されることになる。

図２に示す内視鏡システム１は、被検体内に挿入される内視鏡２Ａを有する。なお、内視鏡２Ａに代えて２点鎖線にて示す内視鏡２Ｂを採用してもよい。光源装置４は、内視鏡２Ａ又は２Ｂ（以下、内視鏡２Ａ，２Ｂを区別する必要が無い場合には内視鏡２という）に照明光を供給する。内視鏡画像装置５は、内視鏡２に設けられた撮像部に対する信号処理を行う信号処理装置を備える。内視鏡画像装置５は、内視鏡２によって撮影された画像に基づいて内視鏡画像を生成してモニタ８に出力することができるようになっている。モニタ８は、内視鏡画像装置５及び観察支援装置６からの画像を表示することができるようになっている。

内視鏡システム１においては、例えば、内視鏡２Ａが採用された場合には、構築中の３次元形状モデル画像を表示に用い、内視鏡２Ｂが採用された場合には、既存の３次元形状モデル画像を表示に用いる。なお、内視鏡２Ａが採用された場合でも、既存の３次元形状モデル画像を表示に用いてもよく、内視鏡２Ｂが採用された場合でも、公知の処理によって構築中の３次元形状モデル画像を生成して表示に用いることが可能である。

内視鏡２Ａは、観察しながら構築中の３次元形状モデル画像を生成することができるように、内視鏡２Ａの先端の位置及び方向を検出するためのセンサを備えている。内視鏡２Ａは、患者９における観察対象の被検体となる所定の管腔臓器（単に管腔臓器ともいう）の一部を形成する例えば尿管１０内に挿入される挿入部１１を有する。内視鏡２Ａは、挿入部１１の後端（基端）に操作部１２が設けられている。操作部１２からはユニバーサルケーブル１３が延出されており、ユニバーサルケーブル１３の端部に設けたライトガイドコネクタ１４は、光源装置４のライトガイドコネクタ受けに着脱自在に接続される。

なお、尿管１０は、その深部側において腎盂５１ａ、腎杯５１ｂに連通する（図５参照）。
挿入部１１は、その先端に設けられた先端部１５と、該先端部１５の後端に設けられた湾曲可能な湾曲部１６と、該湾曲部１６の後端から操作部１２の前端まで延びる可撓性を有する可撓管部１７とを有する。 操作部１２には湾曲部１６を湾曲操作するための湾曲操作ノブ１８が設けられている。
図２における一部の拡大図で示すように挿入部１１内には、照明光を伝送するライトガイド１９が挿通されており、このライトガイド１９の先端は、先端部１５の照明窓に取り付けられ、ライトガイド１９の後端は、ライトガイドコネクタ１４に至る。 ライトガイドコネクタ１４には、光源装置４の光源ランプ２１で発生した照明光が集光レンズ２２により集光されて入射される。この照明光は、ライトガイド１９により照明窓に伝送され、その先端面から出射されるようになっている。

照明窓から出射された照明光により管腔臓器内の観察対象部位（被写体ともいう）が照明されるようになっている。被写体からの反射光は、先端部１５の照明窓に隣接して設けられた観察窓（撮像窓）に取り付けられた対物光学系２３に入射する。対物光学系２３により被写体光学像が結像される。光学系２３の結像位置には、撮像素子としての例えば電荷結合素子（ＣＣＤと略記）２４の撮像面が配置され、ＣＣＤ２４は被写体光学像を電気信号に変換して撮像信号を出力する。なお、ＣＣＤ２４は、所定の画角（視野角）を有する。

対物光学系２３及びＣＣＤ２４によって、管腔臓器内を撮像する撮像部（又は撮像装置）２５が形成される。なお、ＣＣＤ２４の画角は、対物光学系２３の光学特性（例えば焦点距離）にも依存するために、対物光学系２３の光学特性を考慮に入れた撮像部２５の画角や、または対物光学系を用いて観察する場合の画角ということもできる。
ＣＣＤ２４は、挿入部１１内などを挿通された信号線２６及びライトガイドコネクタ１４に接続される接続ケーブル２７（内の信号線）を介して信号コネクタ２８に接続される。信号コネクタ２８は内視鏡画像装置５の信号コネクタ受けに着脱自在に接続されるようになっている。 これにより、ＣＣＤ２４は、内視鏡画像装置５から駆動信号等が供給されると共に、撮像信号を内視鏡画像装置５に供給することができるようになっている。

ＣＣＤ２４から出力される撮像信号は、内視鏡画像装置５により画像信号に変換されてモニタ８に供給される。モニタ８は、ＣＣＤ２４の撮像面に結像された所定の画角（の範囲）で撮像された光学像に対応する画像を内視鏡画像表示領域において内視鏡画像として表示する。図２においては、ＣＣＤ２４の撮像面が例えば正方形の場合において、その４つの隅を切り欠いた８角形に近い内視鏡画像を表示する様子を示す。
内視鏡２Ａは、例えばライトガイドコネクタ１４内に、該内視鏡２Ａに固有の情報（固有情報）を格納したメモリ３０を有する。メモリ３０は、固有情報として例えば内視鏡２Ａに搭載されたＣＣＤ２４の画角情報や画素数データ等を格納している。光源装置４は、ライトガイドコネクタ１４が光源装置４に接続された際に、メモリ３０から画角情報を読み出し、観察支援装置６に供給するようになっている。また、光源装置４は、ＣＣＤ２４の画素数データを内視鏡画像装置５に出力する。これにより、内視鏡画像装置５は、入力された画素数データに応じたＣＣＤ駆動信号を発生すると共に、画素数データに対応した信号処理を行う。

内視鏡２Ａは、挿入部１１内に、挿入部１１が被検体内に挿入された場合の挿入形状を検出するためのセンサとなる複数のセンスコイル３４ａ，３４ｂが配設されている。センスコイル３４ａ，３４ｂは、挿入部１１の長手方向に沿って、適宜の間隔で配置されている。また、挿入部１１には、例えば２つのセンスコイル３４ａ，３４ｂを結ぶ線分と直交する方向に配置されたセンスコイル３４ｃが配置されている。そして、３つのセンスコイル３４ａ，３４ｂ，３４ｃは、センスコイル３４ａ，３４ｂを結ぶ線分方向が撮像部２５を構成する対物光学系２３の光軸方向（又は撮像方向）とほぼ一致し、３つのセンスコイル３４ａ，３４ｂ，３４ｃを含む面がＣＣＤ２４の撮像面における上下方向にほぼ一致するように配置されている。

アンテナ７は観察支援装置６の制御部４１に駆動されて所定の電磁波を周囲に放射する。各センスコイル３４ａ〜３４ｃは、アンテナ７に発生した磁界を検出する。センスコイル３４ａ〜３４ｃの検出結果は、センサ情報として複数の信号線３５を介してライトガイドコネクタ１４に伝送され、接続ケーブル２７及び信号コネクタ２８を介して内視鏡画像装置５に伝送され、更に、観察支援装置６に供給されるようになっている。

また、体表マーカ３６は、アンテナ７に発生した磁界を検出して検出結果を体表マーカ情報として観察支援装置６に出力する。体表マーカ３６は、被検体との位置関係が既知の位置に配置されて、挿入部１１の先端部１５の位置の基準となる。

図１に示すように、観察支援装置６には、内視鏡２によって取得された内視鏡画像データ、体表マーカ情報、各センスコイル３４ａ〜３４ｃからのセンサ情報及びＣＴスキャン情報等の３次元画像データが入力可能である。観察支援装置６には先端位置推定部４２が設けられている。先端位置推定部４２は、センスコイル３４ａ〜３４ｃの検出結果であるセンサ情報及び体表マーカ情報が与えられる。先端位置推定部４２は、体表マーカ情報を位置の基準に用いて、先端部１５における３つのセンスコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出する。撮像部２５を構成する対物光学系２３は、３つのセンスコイル３４ａ，３４ｂ，３４ｃからそれぞれ既知の距離離れて配置されており、先端位置推定部４２は、撮像部２５を構成する対物光学系２３の３次元位置及び対物光学系２３の撮像方向（光軸方向）を検出することができる。即ち、先端位置推定部４２は、対物光学系２３の観察位置及び撮像方向を推定することができ、推定結果を画像処理部４３に出力するようになっている。

なお、図２に示す内視鏡２Ａにおける撮像部２５は、対物光学系２３の結像位置にＣＣＤ２４の撮像面を配置した構成であるが、対物光学系２３とＣＣＤとの間に対物光学系２３の光学像を伝送するイメージガイドを用いた構成の撮像部を備えた内視鏡の場合にも適用できる。

一方、内視鏡２Ｂは、内視鏡２Ａからセンスコイル３４ａ〜３４ｃ及び複数の信号線３５を省略した挿入部１１を備える。この内視鏡２Ｂが、光源装置４と、内視鏡画像装置５に接続された場合にも、ライトガイドコネクタ１４内のメモリ３０の固有情報は光源装置４を介して観察支援装置６に供給される。観察支援装置６は、内視鏡２Ｂが、ソースコイルが設けられていない種別の内視鏡であることを認識する。
内視鏡２Ｂが採用された場合においても、観察支援装置６は、画像処理により対物光学系２３の観察位置及び撮像方向を推定することも可能であり、これにより３次元形状モデル画像の作成が可能である。

このように、観察支援装置６は、位置センサを有する内視鏡２Ａからのセンサ情報を用いて構築中の３次元形状モデル画像を生成して表示を行うことができる。また、位置センサを有しない内視鏡２Ｂを用いた場合には、観察支援装置６は、例えばＣＴスキャン情報を用いて既知の３次元形状モデル画像を生成することができるようになっている。

観察支援装置６には制御部４１が設けられている。制御部４１は、観察支援装置６の全体を制御することができるようになっている。制御部４１は、例えば、ＣＰＵ等のプロセッサによって構成され、図示しないメモリに記憶されているプログラムに従って動作するものであってもよい。入力装置３９は、例えばキーボードやマウス等によって構成することができ、ユーザ操作を受け付けて、ユーザ操作に基づく操作信号を制御部４１に供給するようになっている。制御部４１は、入力装置３９によるユーザ操作に応じて、観察支援装置６の各部を制御することができるようになっている。

観察支援装置６は、画像処理部４３を有している。画像処理部４３は、制御部４１に制御されて、各種画像処理を行う。画像処理部４３は、ＣＰＵやＤＳＰ（デジタルシグナルプロセッサ）等のプロセッサによって構成することができる。なお、画像処理部４３は、ＣＰＵ、ＤＳＰの他に、ＦＰＧＡ（Field Programmable Gate Array）により構成したり、その他の専用の電子回路により構成しても良い。

画像処理部４３は、３次元形状モデル画像の元となる３次元形状データを生成する３次元形状データ生成部４３ａを有している。３次元形状データ生成部４３ａは、例えば、２次元画像データ、先端位置推定部４２により推定された観察位置、撮像方向データを用いて、内視鏡２の撮像部２５により撮像（観察）された２次元画像データに対応する３次元形状データを生成する。
この場合、３次元形状データ生成部４３ａは、例えば特許文献１の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３次元形状を推定してもよい。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３次元形状を推定する手法でも良い。

また、３次元形状データ生成部４３ａは、３次元画像データ記録部３８に記録されている断層像取得装置により取得したＣＴスキャンデータ等の３次元画像データを用いて、３次元形状データを構築することもできるようになっている。

３次元形状モデル画像生成部４３ｂは、３次元形状データ生成部４３ａにより生成（又は構築）された３次元形状データに対して、ポリゴンを設定し、設定されたポリゴンに対する画像処理を行ってポリゴンを用いた３次元形状モデル画像を生成する。

観察領域判定部としての３次元形状モデル画像生成部４３ｂは、３次元形状データ生成部４３ａにより生成（又は構築）された３次元形状データに対して、内視鏡の撮像部２５によって観察された２次元の画像領域に対応して、３次元形状モデル画像上に構築領域を生成すると共に、内視鏡の撮像部２５によって観察されていない２次元の画像領域に対応して、３次元形状モデル画像上に未構築領域を視認可能（視認し易いよう）にする未観察領域表示画像を生成する。

制御部４１には表示制御部４１ｂが設けられている。表示制御部４１ｂは、画像処理部４３を制御して、内視鏡画像及び３次元形状モデル画像等の各種画像をモニタ８に与えて、モニタ８の画面上に、各種画像を表示させることができるようになっている。例えば、表示制御部４１ｂは、内視鏡画像と３次元形状モデル画像とをモニタ８の表示画面上に同時に表示させることも可能である。

更に、表示制御部４１ｂは、３次元形状データ生成部４３ａを制御して、３次元形状モデル画像を所定の回転軸に沿って回転させて表示させることができるようになっていてもよい。

３次元形状モデル画像生成部４３ｂは、構築中の３次元形状モデル画像を利用する場合においては、例えば２次元の内視鏡画像データの輝度値等を用いて未観察領域を判定してもよい。例えば、内視鏡２によって観察中の管腔の途中から枝分かれした管腔が存在する場合には、枝分かれする管腔と元の管腔との境界部分においては、内視鏡画像の輝度が他の部分よりも低いことが考えられる。３次元形状モデル画像生成部４３ｂは、このような管腔壁面のうち輝度が他の部分よりも所定の閾値以上低い部分や、輝度が急峻に変化する部分等を境界領域として、枝分かれする管腔、即ち、未観察の管腔が存在するものと判定してもよい。この場合には、未観察の管腔は形状が不明であり、境界領域を未観察領域として未観察領域表示画像を生成する。

観察支援装置６には、情報記憶部４４が設けられている。情報記憶部４４は、フラッシュメモリ、ＲＡＭ、ＵＳＢメモリ、ハードディスク装置等により構成することができる。情報記憶部４４は、内視鏡のメモリ３０から取得される画角データを記憶すると共に、先端位置推定部４２により推定された観察位置及び撮像方向のデータを記憶する。また、情報記憶部４４は、画像処理部４３が生成した３次元形状データ及び３次元形状モデル画像のデータ等を記憶する。更に、情報記憶部４４は、構築中の３次元形状モデル画像の構築領域と、構築領域の境界となる境界領域のデータを記憶するようになっている。
上述したように、３次元画像データ記録部３８からの３次元画像データを用いて３次元形状データを構築する場合には、観察前に既存の３Ｄ形状モデル画像を生成することができ、内視鏡２によって観察しながら観察領域や未観察領域を表示することができる。また、内視鏡２からの画像を用いて３次元形状データを構築する場合には、観察と同時に構築中の３Ｄ形状モデル画像を生成することになり、観察しながら未構築領域である未観察領域を表示することになる。

なお、制御部４１は、ユーザ操作に基づいて、未観察領域表示画像の表示色や、強調表示のやり方等を、３次元形状モデル画像生成部４３ｂに指示することができるようになっている。これにより、３次元形状モデル画像に表示される未観察領域表示画像を、ユーザの希望に応じた視認しやすい表示に変更することが可能である。

本実施の形態においては、制御部４１には、重畳領域検出部４１ａが設けられている。重畳領域検出部４１ａは、モニタ８の表示画面上に表示中の３次元形状モデル画像上において、視線手前側の観察領域に隠れて視線奥側の未観察領域が存在する場合、即ち、観察領域と未観察領域との重畳領域が存在する場合には、この重畳領域を検出して検出結果を判定処理部４１ｃに与える。

判定処理部４１ｃは、重畳領域を含む所定の平面（以下、切出し面という）を設定し、切出し面の情報を画像処理部４３の切出し画像生成部４３ｃに指示するようになっている。

切出し画像生成部４３ｃは、判定処理部４１ｃから切出し面の情報が与えられて、この切出し面で３次元形状データに基づく形状を切断して得られる断面の画像を切出し画像として生成するようになっている。表示制御部４１ｂは、切出し画像生成部４３ｃによって生成された切出し画像をモニタ８の表示画面に表示させることができるようになっている。例えば、表示制御部４１ｂは、重畳領域が存在しない場合には、表示画面上に２次元内視鏡画像を表示すると共に、未観察領域画像を含む３次元形状モデル画像を表示する。一方、重畳領域が存在する場合には、表示制御部４１ｂは、表示画面上に２次元内視鏡画像及び未観察領域画像を含む３次元形状モデル画像と共に、切出し画像を表示することができるようになっている。

図１のモニタ８の表示画面上の表示はこの例を示しており、内視鏡画像８ａ、３次元形状モデル画像８ｂ及び２つの切出し画像８ｃが表示されていることを示している。

なお、表示制御部４１ｂは、複数の重畳領域が存在する場合には、複数の重畳領域のうちのいずれか１つの重畳領域に対応する切出し画像のみを表示するようになっていてもよく、複数の重畳領域にそれぞれ対応する複数の切出し画像を表示するようになっていてもよい。また、表示制御部４１ｂは、１つの重畳領域に対応して、切出し面が異なる複数の切出し画像を表示するように構成されていてもよい。

判定処理部４１ｃは、複数の重畳領域が存在する場合において、全ての重畳画像のなかから１又は複数の重畳画像を選択し、選択した重畳画像に対応する切出し画像を表示制御部４１ｂに表示させるようになっていてもよい。

例えば、判定処理部４１ｃは、複数の重畳領域が存在する場合において、複数の重畳領域のうちユーザ操作に基づいて選択された１つの重畳領域に対応する切出し画像を表示させるようになっていてもよく、また、複数の重畳領域のうち所定の選択規則に従って自動的に選択された１つ又は複数の重畳領域に対応する切出し画像を表示させるようになっていてもよい。判定処理部４１ｃが採用する所定の選択規則としては、撮像部２５の観察位置からの距離が近い順に重畳領域を選択する方法、切出し面における未観察領域の面積が大きい順に重畳領域を選択する方法、未観察領域の容積が大きい順に重畳領域を選択する方法等がある。

次に、このように構成された実施の形態の動作について図３乃至図１０を参照して説明する。図３及び図４は実施の形態の動作を説明するためのフローチャートである。図５は内視鏡により管腔臓器が観察されている様子を３次元形状モデル画像に対応して示す説明図である。

術者は、図２に示すように光源装置４と内視鏡画像装置５に観察支援装置６を接続し、光源装置４と内視鏡画像装置５に内視鏡２を接続して内視鏡検査を行う。図５は観察対象の管腔臓器として腎盂５１ａ及び腎杯５１ｂを例にしたものである。なお、以下の説明では、ＣＴスキャンデータ等により、観察前に３次元形状モデル画像が生成されている例について説明するが、内視鏡２により観察しながら構築中の３次元形状モデル画像を生成する場合においても同様に適用可能である。

この場合には、ユーザ操作に従って、画像処理部４３の３次元形状データ生成部４３ａは、３次元画像データ記録部３８から３次元画像データを読出して、３次元形状データを生成する。３次元形状モデル画像生成部４３ｂは、３次元形状データを用いて３次元形状モデル画像を生成し、情報記憶部４４に与えて記憶させる。

術者は、内視鏡２の挿入部１１を患者９の尿管１０内に挿入する。そして、図５に示すような尿管１０を経て、内視鏡２の挿入部１１を、深部側の腎盂５１ａ及び腎杯５１ｂ内に挿入する。 挿入部１１の先端部１５には、撮像部２５が設けてあり、撮像部２５は、撮像部２５の画角内で撮像した撮像信号を内視鏡画像装置５に出力する。
内視鏡画像装置５は、撮像部２５により撮像した撮像信号に対する信号処理を行い、撮像部２５により観察した２次元画像を生成（取得）する。また、内視鏡画像装置５は、生成した２次元画像（のＡ／Ｄ変換された２次元画像データ）を観察支援装置６の画像処理部４３に出力する。
画像処理部４３は、表示制御部４１ｂに制御されて、入力された２次元の内視鏡画像及び既存の３次元形状モデル画像をモニタ８に出力する。こうして、モニタ８の表示画面上には、観察中の内視鏡画像と３次元形状モデル画像とが表示される。

３次元形状モデル画像生成部４３ｂは、先端位置推定部４２からの観察位置及び撮像方向のデータが与えられ、これらの情報に基づいて、３次元形状モデル画像上における撮像部２５の現在の観察範囲の情報を得る。３次元形状データ生成部４３ａは、現在の観察範囲の情報を逐次更新しながら情報記憶部４４に与えて順次記憶させる。３次元形状データ生成部４３ａは、逐次更新される観察範囲の情報に基づいて、管腔臓器の観察した領域に対応する３次元形状モデル画像上における観察領域を求める。３次元形状データ生成部４３ａは、求めた観察領域に基づいて管腔臓器の観察していない領域に対応する３次元形状モデル画像上における未観察領域を求める。３次元形状データ生成部４３ａは、求めた未観察領域を観察領域と区別するための未観察領域表示画像を生成する。

３次元形状データ生成部４３ａは、表示制御部４１ｂに制御されて、３次元形状モデル画像上に未観察領域表示画像を重ねた画像をモニタ８に出力する。こうして、３次元形状モデル画像上において、未観察領域の確認を行うことができる。

図５はハッチングによって未観察領域表示画像５５ａ，５５ｂを示している。なお、ハッチングは所定の着色処理や所定の強調処理を示すものである。図５の例は、未観察領域表示画像５５ａは、当該表示５５ａによって示される未観察領域が視線手前側の腎盂５１ａによって表示されない視線奥側の腎杯５１ｂに存在する例を示している。また、未観察領域表示画像５５ｂは、当該表示５５ｂによって示される未観察領域が視線手前側の腎杯５１ｂによって表示されない視線奥側の腎杯５１ｂに存在する例を示している。

しかし、図５の３次元形状モデル画像では、未観察領域表示画像５５ａ，５５ｂだけでは、管腔臓器のいずれの部分が未観察領域であるかを把握することは困難である。そこで、本実施の形態において、重畳領域における断面画像の表示を行う。

制御部４１の重畳領域検出部４１ａは、図３のステップＳ１において、観察領域と未観察領域とがモニタ８に平行透視変換して映し出された画像を正面視する方向を視線方向として、視線方向に重なる重畳領域を検出する。重畳領域検出部４１ａの検出結果は判定処理部４１ｃに与えられる。

判定処理部４１ｃは、重畳領域を含む所定の切出し面を設定し、切出し面の情報を画像処理部４３の切出し画像生成部４３ｃに指示する。前記、所定の切出し面とは、Ｘ軸方向に任意のピッチで切出し面を複数設定し、それぞれの切出し面に対して、重量領域を２次元の平面に展開したものである。重畳領域は３次元形状を有しており、判定処理部４１ｃは、重量領域を含む所定の切出し面に展開した分割平面を１つの未観察領域 としてグループ化する。

図６は切出し面の設定を説明するための説明図である。ここで座標系Ｘ−Ｙ−Ｚは、全体座標系の原点から無限遠方において、Ｚ軸に垂直な面をモニタ８に平行透視変換して投影している。図６は未観察領域表示画像５５ａ，５５ｂにそれぞれ対応する重畳領域５４ａ，５４ｂを示している。重畳領域５４ａ，５４ｂは３次元形状を有しており、判定処理部４１ｃは、例えば、ｙ−ｚ平面で各重畳領域５４ａ，５４ｂをＸ軸に任意のピッチで分割して分割平面のグループを得る。判定処理部４１ｃは、各重畳領域５４ａ，５４ｂ毎に、グループ内の分割平面の面積を求め、最大面積が得られる分割平面を切出し面Ｐ１，Ｐ２に設定する（ステップＳ２）。

表示制御部４１ｂは、ステップＳ３において、後述するように、図１０の３次元形状モデル画像表示領域６２の切出し面Ｐ１，Ｐ２の位置を示すラインＬＰ１，ＬＰ２をモニタ８の表示画面上の３次元形状モデル画像上に表示する（ステップＳ３）。

図５の例では、判定処理部４１ｃは、ｙ−ｚ平面に切出し面Ｐ１，Ｐ２を設定した例を示している。なお、ｘ−ｙ平面はモニタ８の表示画面に平行な面であり、ｚ方向は視線方向である。切出し面Ｐ１は未観察領域表示画像５５ａによって示される重畳領域を含む断面であり、切出し面Ｐ２は未観察領域表示画像５５ｂによって示される重畳領域を含む断面である。切出し画像生成部４３ｃは、判定処理部４１ｃから切出し面の情報が与えられて、この切出し面で３次元形状データに基づく３次元形状を切断して得られる断面画像（切出し画像）を生成する。

図７及び図８はそれぞれ図５の未観察領域表示画像５５ａ，５５ｂによって示される重畳領域に設定された切出し面Ｐ１，Ｐ２における切出し画像を示す説明図である。切出し面Ｐ１における切出し画像は、未観察領域を含まない腎盂５１ａの断面画像５１ａｐと腎杯５１ｂの断面画像５１ｂｐとを有すると共に、未観察領域表示画像５５ａに対応する断面画像５５ａｐの画像部分（ハッチング領域）を有する。断面画像５５ａｐは、腎盂５１ａの視線奥側に位置する未観察の腎杯５１ｂによる画像である。また、切出し面Ｐ２における切出し画像は、未観察領域を含まない腎盂５１ａ及び腎杯５１ｂによる断面画像５１ａｐ，５１ｂｐと未観察領域表示画像５５ｂに対応する断面画像５５ｂｐの画像部分（ハッチング領域）とを有する。断面画像５５ｂｐは、視線奥側に位置する未観察の腎杯５１ｂによる画像である。

表示制御部４１ｂは、切出し画像生成部４３ｃによって生成された切出し画像をモニタ８の表示画面に表示させる。例えば、表示制御部４１ｂは、重畳領域が存在する場合には、表示画面上に２次元内視鏡画像及び未観察領域画像を含む３次元形状モデル画像と共に、切出し画像を表示する。

ところで、表示画面のサイズ等によっては、複数の重畳領域に対応する全ての切出し画像を表示するよりも、所定数の切出し画像を表示した方が、未観察領域の確認が容易な場合が考えられる。そこで、判定処理部４１ｃは、全ての重畳領域のうち所定の選択規則に従った重畳領域についての切出し画像を表示するように制御する。例えば、判定処理部４１ｃは、撮像部２５に最も近接した重畳領域を複数の重畳領域のうち最初に観察が行われる可能性が高い重畳領域であるものとして、この重畳領域の切出し画像のみを表示するように制御してもよい。

図５及び図６の距離Ｌ１，Ｌ２は、それぞれ撮像部２５から重畳領域中の切出し面までの距離（ｘ方向）を示している。判定処理部４１ｃは、先端位置推定部４２からの観察位置及び重畳領域の情報に基づいて、距離Ｌ１，Ｌ２を求める（ステップＳ４）。これにより判定処理部４１ｃは、Ｌ１＜Ｌ２であるものと判定して、撮像部２５からの距離が最も小さい重畳領域５４ａについての切出し画像を表示するように表示制御部４１ｂを制御する。こうして、切出し面Ｐ１における切出し画像がモニタ８の表示画面上に表示される。

図９はこの場合の画面表示を示す説明図であり、図５乃至図８に対応した表示を示している。なお、図９におけるハッチングは、他の画像部分と着色処理や強調処理が異なる画像部分であることを示す。モニタ８の表示画面８ｄ上には、表示制御部４１ｂによって、内視鏡画像表示領域６１、３次元形状モデル画像表示領域６２及び切出し画像（断面画像）表示領域６３が設けられている。内視鏡画像表示領域６１には、内視鏡２によって撮像されている観察中の内視鏡画像が表示されている。３次元形状モデル画像表示領域６２には、観察対象の管腔臓器の３次元形状モデル画像６２ａが表示されている。また、切出し画像表示領域６３には、重畳領域５４ａを含む切出し面Ｐ１における切出し画像６４が表示されている。切出し画像６４中には、視線方向を示す表示６５が表示されている。３次元形状モデル画像６２ａ中には、切出し面Ｐ１の位置を示すラインＬＰ１も表示されている。

３次元形状モデル画像６２ａによって、撮像部２５の比較的近い位置に、観察済みの腎盂５１ａに隠れて表示されない未観察の腎杯５１ｂが存在することが分かる。更に、切出し画像６４によって、腎盂５１ａの視線奥側に、腎盂５１ａから枝分かれした未観察の腎杯５１ｂが存在することが分かる。

図１０は重畳領域の全ての切出し画像を表示する例を示す説明図であり、図５乃至図８に対応した表示を示している。なお、図１０においてもハッチングは、他の画像部分と着色処理や強調処理が異なる画像部分であることを示す。モニタ８の表示画面８ｄ上には、表示制御部４１ｂによって、内視鏡画像表示領域６１、３次元形状モデル画像表示領域６２及び切出し画像（断面画像）表示領域６３ａ，６３ｂが設けられている。内視鏡画像表示領域６１には、内視鏡２によって撮像されている観察中の内視鏡画像が表示されている。３次元形状モデル画像表示領域６２には、観察対象の管腔臓器の３次元形状モデル画像６２ａが表示されている。また、切出し画像表示領域６３ａには、重畳領域５４ａを含む切出し面Ｐ１における切出し画像６４ａが表示されており、切出し画像表示領域６３ｂには、重畳領域５４ｂを含む切出し面Ｐ２における切出し画像６４ｂが表示されている。切出し画像６４ａ，６４ｂ中には、それぞれ視線方向を示す表示６５ａ，６５ｂが表示されている。３次元形状モデル画像６２ａ中には、切出し面Ｐ１，Ｐ２の位置をそれぞれ示すラインＬＰ１，ＬＰ２も表示されている。

図１０の例においては、切出し画像６４ａの断面画像５５ａｐによって、腎盂５１ａの視線奥側に、腎盂５１ａから枝分かれした未観察の腎杯５１ｂが存在することが分かる。また、切出し画像６４ｂの断面画像５５ｂｐによって、腎盂５１ａの視線奥側に、腎盂５１ａから枝分かれした未観察の腎杯５１ｂが存在することが分かる。

本実施の形態においては、切出し画像の表示を観察状況に応じて更新することができるようになっている。図４はこの場合の動作を示している。重畳領域検出部４１ａは、図４のステップＳ１１において、内視鏡の操作によって観察領域が更新されたか否かを判定する。観察領域が更新されると、重畳領域検出部４１ａは、ステップＳ１２において、内視鏡によって未観察領域についての観察が行われて、重畳領域が解消されたか否かを判定する。重畳領域が解消されると、重畳領域検出部４１ａは、当該解消された重畳領域についての切出し画像の表示を消去するように、表示制御部４１ｂを制御する。

これにより、モニタ８の表示画面から当該切出し画像の表示が消去される（ステップＳ１３）。重畳領域検出部４１ａは、ステップＳ１４において、未観察領域の全てのグループが解消されたか否かを判定する。重畳領域検出部４１ａは、観察対象の管腔臓器の全ての領域が観察領域になるまで、ステップＳ１１〜Ｓ１４の処理を繰り返す。

こうして、本実施の形態においては、観察の状況に応じて、重畳領域における切出し画像が消去される。これにより、術者は、未観察領域の確認が一層容易となる。

このように、本実施の形態においては、３次元形状モデル画像上において、未観察領域を観察領域とは区別可能に表示すると共に、観察領域と未観察領域とが重なる重畳領域においては、当該重畳領域を含む切出し面における断面画像を切出し画像として表示するようになっており、未観察領域の存在や位置を極めて明瞭に把握することができる。

（第２の実施の形態）
図１１、図１２Ａ、図１２Ｂ、図１３Ａ及び図１３Ｂは本発明の第２の実施の形態に係り、図１１は第２の実施の形態において採用される動作フローを示すフローチャート、図１２Ａ，図１２Ｂ及び図１３Ａ，図１３Ｂは第２の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。

上記第１の実施の形態においては、視線手前側の観察領域に隠れて視線奥側の未観察領域が存在する場合、即ち、観察領域と未観察領域との重畳領域が存在する場合には、この重畳領域については、切出し画像を同時に表示することにより、未観察領域の視認性を向上させた。本実施の形態においては、未観察領域表示画像を重畳する３次元形状モデル画像を回転させることで、未観察領域の視認性を向上させるものである。

本実施の形態においては、表示制御部４１ｂは、ユーザ操作に基づいて、又は所定の回転規則に従って、３次元形状モデル画像を回転させるための回転制御信号を３次元形状モデル画像生成部４３ｂ及び切出し画像生成部４３ｃに与える。３次元形状モデル画像生成部４３ｂは、回転制御信号に基づいて、３次元形状モデル画像を所定の回転軸に沿って回転させた３次元形状モデル画像を生成して、モニタ８に出力する。また、この場合には、３次元形状モデル画像生成部４３ｂは、未観察領域表示画像の形状及び表示位置についても回転制御信号に従って変更してモニタ８に出力する。こうして、モニタ８の表示画面上には、回転制御信号に応じて所定の回転軸に沿って回転した３次元形状モデル画像が表示され、この画像中には未観察領域を示す未観察領域表示画像が重畳表示される。

なお、切出し画像生成部４３ｃは、表示制御部４１ｂに制御されて、生成した切出し画像を、回転制御信号に拘わらずそのまま出力しても良く、また、回転制御信号に従って、座標軸を回転させた切出し画像を出力してもよい。こうして、表示制御部４１ｂは、モニタ８の表示画面上に、３次元形状モデル画像の回転前と同じ切出し画像を表示させることもでき、また、３次元形状モデル画像の回転に応じて回転させた切出し画像を表示させることもできるようになっている。

（回転規則）
表示制御部４１ｂは、３次元形状モデル画像を常時回転させるための回転制御信号を出力してもよい。この場合には、３次元形状モデル画像は、内視鏡による観察中に常時回転しながら表示される。

また、表示制御部４１ｂは、重畳領域が存在する場合にのみ３次元形状モデル画像を回転させるための回転制御信号を出力してもよい。この場合には、表示制御部４１ｂは、重畳領域検出部４１ａの検出結果に基づいて、３次元形状モデル画像を回転させるための回転制御信号を発生する。重畳領域検出部４１ａは、逐次重畳領域を検出しており、重畳領域が検出されなくなるまで、３次元形状モデル画像は回転しながら表示されることになる。

また、表示制御部４１ｂは、未観察領域のうちサイズが最も大きい未観察領域が視線正面に位置するように３次元形状モデル画像を回転させるようになっていてもよい。判定処理部４１ｃは、未観察領域のサイズを判定している。例えば、判定処理部４１ｃは、視線方向から見た面積が最も大きい未観察領域、切出し面における面積が最も大きい未観察領域、容積が最も大きい未観察領域等をサイズが最も大きい未観察領域として判定して、当該サイズが最も大きい未観察領域を視線正面に配置するために必要な回転角度の情報を発生して表示制御部４１ｂに与える。表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報に基づく回転制御信号を発生するようになっている。こうして、この場合には、最もサイズが大きい未観察領域が視線正面に配置された３次元形状モデル画像が表示される。なお、表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報を用いることなく、フィードバック制御によって、サイズが最も大きい未観察領域が視線正面に配置されるように３次元形状モデル画像を回転させてもよい。

また、表示制御部４１ｂは、未観察領域のうち内視鏡の観察位置（撮像部２５の位置）に最も近い未観察領域が視線正面に位置するように３次元形状モデル画像を回転させるようになっていてもよい。判定処理部４１ｃは、観察位置から未観察領域までの距離を判定している。判定処理部４１ｃは、観察位置からの距離が最も近い未観察領域を視線正面に配置するために必要な回転角度の情報を発生して表示制御部４１ｂに与える。表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報に基づく回転制御信号を発生するようになっている。こうして、この場合には、観察位置に最も近い未観察領域が視線正面に配置された３次元形状モデル画像が表示される。

更に、本実施の形態においては、表示制御部４１ｂは、複数の未観察領域が存在する場合には、全ての未観察領域が視線手前側に位置するように、なるべく多くの個数の未観察領域が視線手前側に位置するように、或いはなるべく多くの範囲の未観察領域が視線手前側に位置するように、３次元形状モデル画像を回転させるようになっていてもよい。

例えば、判定処理部４１ｃは、各未観察領域について、３次元形状モデル画像の回転軸を中心として未観察領域が占める中心角の範囲を求める。判定処理部４１ｃは、例えば、求めた中心角の範囲がなるべく視線方向の１８０度の範囲に入るように、３次元形状モデル画像の回転角度を算出する。例えば、判定処理部４１ｃは、視線方向の１８０度の範囲に含まれる中心角の和が最も大きくするための回転角度を求めて、表示制御部４１ｂに出力する。表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報に基づく回転制御信号を発生する。こうして、この場合には、未観察領域の多くが、視線手前側に表示されることになり、未観察領域の視認性が向上する。なお、表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報を用いることなく、フィードバック制御によって、未観察領域の重畳箇所が最小となるように、３次元形状モデル画像を回転させてもよい。

次に、このように構成された実施の形態の動作について図１１乃至図１３を参照して説明する。

本実施の形態においても、観察対象の管腔臓器として腎盂５１ａ及び腎杯５１ｂを例にして説明する。なお、以下の説明では、内視鏡２により観察しながら構築中の３次元形状モデル画像が生成する場合を例に説明するが、観察前に既存の３次元形状モデル画像が生成されている場合でも同様に適用可能である。

術者は、内視鏡２の挿入部１１を患者９の尿管１０内に挿入する。そして、図１２Ａに示すような尿管１０を経て、内視鏡２の挿入部１１を、深部側の腎盂５１ａ及び腎杯５１ｂ内に挿入する。 挿入部１１の先端部１５には、撮像部２５が設けてあり、撮像部２５は、撮像部２５の画角内で撮像した撮像信号を内視鏡画像装置５に出力する。
内視鏡画像装置５は、撮像部２５により撮像した撮像信号に対する信号処理を行い、撮像部２５により観察した２次元画像を生成（取得）する。また、内視鏡画像装置５は、生成した２次元画像（のＡ／Ｄ変換された２次元画像データ）を観察支援装置６の画像処理部４３に出力する。
先端位置推定部４２は、体表マーカ情報を位置の基準に用いて、挿入部１１の先端部１５に配置されたセンスコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出する。これにより、先端位置推定部４２は、撮像部２５の観察位置及び撮像方向を推定して推定結果を画像処理部４３に出力する。画像処理部４３によって、先端位置推定部４２により推定された観察位置及び撮像方向のデータが記憶される。また、情報記憶部４４には撮像部２５の画角データも記憶される。

画像処理部４３の３次元形状データ生成部４３ａは、２次元内視鏡画像や観察位置、撮像方向及び画角のデータ等を用いて、撮像部２５により観察した画像領域に対応する３次元形状を推定し、３次元形状データを生成する。３次元形状モデル画像生成部４３ｂは、３次元形状データ生成部４３ａが求めた３次元形状データを用いて、例えばポリゴンを用いた３次元形状モデル画像を順次構築する。

画像処理部４３は、表示制御部４１ｂに制御されて、入力された２次元の内視鏡画像及び構築中の３次元形状モデル画像をモニタ８に出力する。こうして、モニタ８の表示画面上には、観察中の内視鏡画像と構築中の３次元形状モデル画像とが表示される。

３次元形状モデル画像生成部４３ｂは、先端位置推定部４２からの観察位置及び撮像方向のデータが与えられ、これらの情報に基づいて、３次元形状モデル画像上における撮像部２５の現在の観察範囲の情報を得る。３次元形状データ生成部４３ａは、現在の観察範囲の情報を逐次更新しながら情報記憶部４４に与えて順次記憶させる。３次元形状データ生成部４３ａは、逐次更新される観察範囲の情報に基づいて、管腔臓器の観察した領域に対応する３次元形状モデル画像上における観察領域を求める。３次元形状データ生成部４３ａは、求めた観察領域に基づいて管腔臓器の観察していない領域に対応する３次元形状モデル画像上における未観察領域を求める。３次元形状データ生成部４３ａは、求めた未観察領域を観察領域と区別するための未観察領域表示画像を生成する。

３次元形状データ生成部４３ａは、表示制御部４１ｂに制御されて、３次元形状モデル画像上に未観察領域表示画像を重ねた画像をモニタ８に出力する。こうして、３次元形状モデル画像上において、未観察領域の確認を行うことができる。

図１２Ａはモニタ８の表示画面上の３次元形状モデル画像表示領域７０に表示される３次元形状モデル画像７１を示している。なお、図１２Ａ中の領域７２ａ，７２ｂは、腎盂５１ａから分岐した２つの腎杯５１ｂに対応する領域であるが、撮像部２５による観察が行われていないことから、その形状が不明であり、構築中の３次元形状モデル画像７１上には表示されていない領域を示している。しかし、腎盂５１ａの観察中において、当該２つの未構築領域である腎杯５１ｂとの境界領域が未観察領域表示画像７３ａ，７３ｂとして求められる。

即ち、図１２Ａの例における未観察領域表示画像７３ａは、当該表示７３ａによって示される領域が、視線手前側の腎盂５１ａによって表示されない視線奥側の腎杯５１ｂとの境界領域（未観察領域）であることを示している。また、未観察領域表示画像７３ｂは、当該表示７３ｂによって示される領域が視線手前側の腎杯５１ｂによって表示されない視線奥側の腎杯５１ｂとの境界領域（未観察領域）であることを示している。なお、未観察領域表示画像７３ａ，７３ｂのハッチングは所定の着色処理や所定の強調処理を示すものである。

また、図１２Ｂはモニタ８の表示画面上の切出し画像表示領域７５に表示される切出し画像７６を示している。切出し画像７６は、腎盂５１ａの断面画像５１ａｐ、腎盂５１ａから枝分かれした２つの未観察の腎杯５１ｂに基づく断面画像５１ｂｐが含まれる。そして、２つの断面画像５１ｂｐの各端部には、境界領域を示す未観察領域表示画像７３ａｐ，７３ｂｐが表示されている。

３次元形状モデル画像７１によって、観察済みの腎盂５１ａに隠れて表示されない未観察の腎杯５１ｂとの境界領域である未観察領域が存在することが分かる。更に、切出し画像７６によって、腎盂５１ａの視線奥側に、腎盂５１ａから枝分かれした未観察の腎杯５１ｂが存在することが分かる。

重畳領域における断面画像である切出し画像７６の表示によって、管腔臓器のいずれの部分が未観察領域であるかを簡単に把握することができる。

更に、本実施の形態においては、３次元形状モデル画像を回転させることで、視線手前側の観察領域によって未観察領域が表示されなくなる重畳領域を無くすか又は少なくするようにしており、未観察領域の確認を容易にすることができる。

制御部４１の重畳領域検出部４１ａは、図３のステップＳ２１において、観察領域と未観察領域とが視線上で重なる重畳領域を検出する。重畳領域検出部４１ａの検出結果は判定処理部４１ｃに与えられる。

判定処理部４１ｃは、重畳領域を含む所定の切出し面を設定し、切出し面の情報を画像処理部４３の切出し画像生成部４３ｃに指示する。重畳領域は３次元形状を有しており、判定処理部４１ｃは、２次元の切出し面を設定するために、１つの重畳領域を各２次元平面に分割して重畳領域毎に分割平面をグループ化する。

判定処理部４１ｃは、例えば、ｙ−ｚ平面で各重畳領域を分割して分割平面のグループを得る。判定処理部４１ｃは、各重畳領域毎に、グループ内の分割平面の面積を求め、最大面積が得られる分割平面を切出し面に設定する（ステップＳ２２２）。

本実施の形態においては、判定処理部４１ｃは、ステップＳ２３において、未観察領域の重畳を解消するための３次元形状モデル画像の回転角度を検出する。なお、３次元形状モデル画像をどのように回転させても未観察領域の重畳を解消することができない場合には、判定処理部４１ｃは、未観察領域の重畳箇所を最小にするための３次元形状モデル画像の回転角度を検出する。判定処理部４１ｃからの回転角度の情報は、表示制御部４１ｂに与えられる。

表示制御部４１ｂは、判定処理部４１ｃからの回転角度の情報に基づく回転制御信号を発生して、３次元形状モデル画像生成部４３ｂに供給する。３次元形状モデル画像生成部４３ｂは、回転制御信号に基づいて、３次元形状モデル画像を回転させる。なお、図１２Ａには、この回転制御による回転方向を示す矢印表示７４が表示制御部４１ｂによって表示されていることを示している。こうして、モニタ８に表示される３次元形状モデル画像が回転して、未観察領域の多くが視線手前側に表示されることになり、未観察領域の視認性が向上する（ステップＳ２４）。

図１２Ｂはモニタ８の表示画面上において図１２Ａの３次元形状モデル画像７１をｘ軸を中心に所定角度回転させて得られる３次元形状モデル画像７１ｒを示している。図１２Ｂの領域７２ａｒ，７２ｂｒ及び未観察領域表示画像７３ａｒ，７３ｂｒはそれぞれ図１２Ａの領域７２ａ，７２ｂ及び未観察領域表示画像７３ａ，７３ｂに対応する。また、切出し画像７６中には、視線方向を示す表示７７が表示されている。

図１２Ａでは、腎盂５１ａと２つの未構築領域である腎杯５１ｂとの境界領域を示す未観察領域表示画像７３ａ，７３ｂは視線手前側の腎盂５１ａによって隠れていたのに対し、図１２Ｂでは、腎盂５１ａと２つの未構築領域である腎杯５１ｂとの境界領域を示す未観察領域表示画像７３ａｒ，７３ｂｒは、視線手前側に移動して表示されている。

このように、３次元形状モデル画像において、未観察領域の確認を容易にすることができる。

なお、図１３Ｂは切出し画像表示領域７５において、３次元形状モデル画像の回転に合わせて切出し画像７６を回転させた切出し画像７６ｒが表示されている例を示している。切出し画像７６ｒは、腎盂５１ａの断面画像５１ａｐｒ、腎盂５１ａから枝分かれした２つの未観察の腎杯５１ｂに基づく断面画像５１ｂｐｒが含まれる。そして、２つの断面画像５１ｂｐｒの各端部には、境界領域を示す未観察領域表示画像７３ａｐｒ，７３ｂｐｒが表示されている。また、切出し画像７６ｒ中には、視線方向を示す表示７７が表示されている。

なお、図１１では、表示制御部４１ｂが判定処理部４１ｃの判定結果に従って、自動的に３次元形状モデル画像を回転させる例を示したが、術者のユーザ操作によって３次元形状モデル画像を回転させるようにしてもよい。

このように本実施の形態においては、視線手前の観察領域によって視線奥側の未観察領域が隠される重畳領域が存在する場合には、未観察領域の確認を容易にするように３次元形状モデル画像を回転させる。これにより、３次元形状モデル画像の表示によって、観察領域の裏側に隠れている未観察領域をユーザが把握できるようにすることができ、未観察領域の見落としを防止することができる。

ところで、視線奥側の未観察領域を視認できるように、３次元形状モデル画像を多断面表示する表示方法を採用してもよい。例えば、３次元形状モデル画像の視線手前側から見た１８０度の範囲と視線奥側から見た１８０度の範囲を２画面の多断面表示するのである。これにより、視線奥側の未観察領域が視線手前側の観察領域に重なる重畳領域においても、未観察領域の視認性を向上させることができる。

なお、視線奥側から見た３次元形状モデル画像と視線奥側から見た３次元形状モデル画像との多断面表示に限らず、３次元形状モデル画像の手前側、奥側、右側、左側から見た画像を表示するように、多断面表示を行ってもよい。

また、視線奥側の未観察領域を視認できるように、３次元形状モデル画像を２次元モデル画像に変換して表示してもよい。例えば、３次元形状モデル画像を前壁と後壁の２つに分割して、所定のポイントを共通の位置に表示しながら前壁と後壁とを対象に分割した２次元モデル画像表示を採用してもよい。この２次元モデル画像表示においては、全ての領域が視認可能であり、未観察領域を確認することが可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

６…観察支援装置、８…モニタ、４１…制御部、４１ａ…重畳領域検出部、４１ｂ…表示制御部、４１ｃ…判定処理部、４２…先端位置推定部、４３…画像処理部、４３ａ…３次元形状データ生成部、４３ｂ…３次元形状モデル画像生成部、４３ｃ…切出し画像生成部、４４…情報記憶部。

Claims (10)

1. 被検体の３次元形状データに基づいて３次元形状モデル画像を生成する３次元形状モデル画像生成部と、
   前記被検体の内部を観察する内視鏡により取得された前記被検体の２次元画像に基づいて前記３次元形状モデル画像上における観察領域及び未観察領域の少なくとも一方を算出する観察領域判定部と、
   前記３次元形状モデル画像上において視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる重畳領域を検出する重畳領域検出部と、
   前記重畳領域が存在する場合には、前記重畳領域を含む所定の切出し面において前記被検体の３次元形状データに基づく形状を切断して得られる断面画像を切出し画像として生成する切出し画像生成部と、
   前記切り出し画像生成部により生成された前記切り出し画像を前記３次元形状モデル画像と同時に表示する表示制御部と
   を具備したことを特徴とする観察支援装置。
2. 前記３次元形状モデル画像生成部は、前記内視鏡により取得された前記被検体の２次元画像に基づいて前記被検体の３次元形状データを求めて前記３次元形状モデル画像を構築する
   ことを特徴とする請求項１に記載の観察支援装置。
3. 前記３次元形状モデル画像生成部は、前記被検体の３次元形状を示す３次元画像データに基づいて前記被検体の３次元形状データを求めて前記３次元形状モデル画像を構築する
   ことを特徴とする請求項１に記載の観察支援装置。
4. 前記表示制御部は、前記重畳領域が複数存在する場合には、全ての重畳領域のうち選択した１又は複数の重畳領域に対応する前記切出し画像を前記３次元形状モデル画像と共に表示する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の観察支援装置。
5. 前記内視鏡の撮像部の位置情報を取得する位置情報取得部をさらに備え、
   前記表示制御部は、前記位置情報取得部により取得された前記撮像部の位置に対応した重畳領域を選択して、選択した重畳領域に対応する前記切り出し画像を表示する
   ことを特徴とする請求項４に記載の観察支援装置。
6. 前記表示制御部は、前記撮像部に最も近い重畳領域を選択して、選択した重畳領域に対応する前記切出し画像を表示する
   ことを特徴とする請求項４に記載の観察支援装置。
7. 前記表示制御部は、前記複数の重畳領域のうち最もサイズが大きい未観察領域に対応する重畳領域を選択して、選択した重畳領域に対応する前記切出し画像を表示する
   ことを特徴とする請求項４に記載の観察支援装置。
8. 前記表示制御部は、前記内視鏡による観察によって消滅した未観察領域に対応する切出し画像の表示を消去する
   ことを特徴とする請求項１乃至７のいずれか１つに記載の観察支援装置。
9. 前記表示制御部は、前記重畳領域が複数存在する場合には、全ての重畳領域を解消させるか又は重畳領域の総和を最小にするように、前記３次元形状モデル画像を回転させて表示する
   ことを特徴とする請求項１乃至８のいずれか１つに記載の観察支援装置。
10. 被検体の内部を観察する内視鏡と、
    前記被検体の３次元形状データに基づいて３次元形状モデル画像を生成する３次元形状モデル画像生成部と、
    前記内視鏡により取得された前記被検体の２次元画像に基づいて前記３次元形状モデル画像上における観察領域及び未観察領域の少なくとも一方を算出する観察領域判定部と、
    前記３次元形状モデル画像上において視線手前側の観察領域と視線奥側の未観察領域とが視線上に重なる重畳領域を検出する重畳領域検出部と、
    前記重畳領域が存在する場合には、前記重畳領域を含む所定の切出し面において前記被検体の３次元形状データに基づく形状を切断して得られる断面画像を切出し画像として生成する切出し画像生成部と、
    前記切り出し画像生成部により生成された前記切り出し画像を前記３次元形状モデル画像と同時に表示する表示制御部と
    を具備したことを特徴とする内視鏡システム。