JP2014230612A

JP2014230612A - 内視鏡観察支援装置

Info

Publication number: JP2014230612A
Application number: JP2013112396A
Authority: JP
Inventors: 健策森; Kensaku Mori; 昌宏小田; Masahiro Oda
Original assignee: Nagoya University NUC
Current assignee: Nagoya University NUC
Priority date: 2013-05-28
Filing date: 2013-05-28
Publication date: 2014-12-11
Anticipated expiration: 2033-05-28
Also published as: JP6206869B2

Abstract

【課題】大腸等の管腔臓器の観察を支援する内視鏡観察支援装置を提供する。【解決手段】３次元画像データに基づいて管腔臓器の長手方向に沿った仮想芯線を算出する仮想芯線算出部５０と、管腔臓器内に挿入された内視鏡２４の形状を示す内視鏡線を算出する内視鏡線算出部５２と仮想芯線と内視鏡線との対応関係を導出するマッチング処理部５４と、そのマッチング処理部５４により導出された対応関係に基づいて管腔臓器内における内視鏡２４の観察位置を推定する観察位置推定部５６とを、備えた。【選択図】図３

Description

本発明は、管腔臓器の３次元画像データに基づいて、その管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置に関し、特に、大腸等の管腔臓器の観察を支援する内視鏡観察支援装置を提供することにある。

近年、医療分野において、Ｘ線ＣＴ（Computed Tomography）装置や磁気共鳴（MRI;Magnetic Resonance Imaging）装置等によって得られる被検体の画像を用いた診断や検査が広く行われている。例えば、３次元ＣＴ画像を利用した大腸ポリープ検査法であるＣＴコロノグラフィ（Computed Tomography Colonography）が普及しつつある。このＣＴコロノグラフィでは、大腸のＣＴ画像から突起形状を検出することで、大腸ポリープ等の病変が疑われる部位を発見する。病変が疑われる部位が発見された場合には、肛門から内視鏡を挿入する大腸内視鏡検査が行われる。

しかしながら、ＣＴコロノグラフィ等の３次元画像データに基づく検査において発見されたポリープ等の病変が疑われる部位を、それに続く内視鏡検査において同定することは困難である。このため、内視鏡検査において、３次元画像データに基づく検査において発見された病変が疑われる部位まで内視鏡を誘導する内視鏡ナビゲーションが求められる。従来の内視鏡ナビゲーションでは、内視鏡の先端位置が予め撮影されるＣＴ画像におけるどの部位に対応するかを示す位置情報を求め、求められた位置情報に基づいてナビゲーション情報を生成していた。例えば、非特許文献１等に記載された技術がそれである。この技術においては、内視鏡における所定部位に位置センサが設けられ、その内視鏡を用いた内視鏡検査において斯かる位置センサから得られる情報に基づいて、３次元画像データに基づく検査において発見された病変が疑われる部位まで内視鏡を誘導する内視鏡ナビゲーションが行われる。

蒋振剛，二村幸孝，北坂孝幸，林雄一郎，伊藤英治，藤井正純，永谷哲也，梶田泰一，若林俊彦，森健策，?軟性神経内視鏡手術ナビゲーションにおける仮想内視鏡視軸と実内視鏡視軸回転誤差の簡便な補正手法，″日本コンピュータ外科学会論文誌(J JSCAS),Vol.12, No.2, pp.65-77(2010/06) Daisuke Deguchi, Kenta Akiyama, Kensaku Mori, Takayuki Kitasaka, Yasuhito Suenaga, Calvin R Maurer Jr, Hirotsugu Takabatake, Masaki Mori, Hiroshi Natori, ?A method for bronchoscope tracking by combining a position sensor and image registration,″ Computer Aided Surgery, Vol.11, No.3, pp.109-117(2006/05)

しかし、前記従来の技術は、脳、耳鼻腔、及び気管支等の比較的変形の少ない臓器に関しては良好に内視鏡の誘導を行い得るものであるが、大腸等の変形しやすい管腔臓器に関しては内視鏡の誘導が困難であるという不具合があった。すなわち、大腸等の変形しやすい管腔臓器に係る内視鏡検査においては、その管腔臓器の形状や長さ等が検査中に様々に変化する。そのため、前記従来の位置センサを単純に利用するのみでは、３次元画像データに基づく検査において発見された病変が疑われる部位まで内視鏡を誘導することが困難であった。すなわち、大腸等の変形しやすい管腔臓器の観察を支援する内視鏡観察支援装置は、未だ開発されていないのが現状であり、そのような変形しやすい管腔臓器の内視鏡ナビゲーションに適した画像表示方法の研究等も行われてはいなかった。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、大腸等の管腔臓器の観察を支援する内視鏡観察支援装置を提供することにある。

斯かる目的を達成するために、本第１発明の要旨とするところは、予め得られた管腔臓器の３次元画像データに基づいて、その管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置であって、前記３次元画像データに基づいて前記管腔臓器の長手方向に沿った仮想芯線を算出する仮想芯線算出部と、前記管腔臓器内に挿入された前記内視鏡の形状を示す内視鏡線を算出する内視鏡線算出部と、前記仮想芯線算出部により算出された前記仮想芯線と前記内視鏡線算出部により算出された前記内視鏡線との対応関係を導出するマッチング処理部と、そのマッチング処理部により導出された対応関係に基づいて前記管腔臓器内における前記内視鏡の観察位置を推定する観察位置推定部とを、備えたことを特徴とするものである。

このように、前記第１発明によれば、前記３次元画像データに基づいて前記管腔臓器の長手方向に沿った仮想芯線を算出する仮想芯線算出部と、前記管腔臓器内に挿入された前記内視鏡の形状を示す内視鏡線を算出する内視鏡線算出部と、前記仮想芯線算出部により算出された前記仮想芯線と前記内視鏡線算出部により算出された前記内視鏡線との対応関係を導出するマッチング処理部と、そのマッチング処理部により導出された対応関係に基づいて前記管腔臓器内における前記内視鏡の観察位置を推定する観察位置推定部とを、備えたものであることから、大腸等の変形しやすい管腔臓器であっても、その管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線とのマッチングにより、内視鏡による観察の支援を好適に実現することができる。すなわち、大腸等の管腔臓器の観察を支援する内視鏡観察支援装置を提供することができる。

前記第１発明に従属する本第２発明の要旨とするところは、前記仮想芯線算出部により算出された前記仮想芯線に対応する座標系と、前記内視鏡線算出部により算出された前記内視鏡線に対応する座標系との対応付けを行う座標系レジストレーション処理部を備え、前記マッチング処理部は、その座標系レジストレーション処理部による対応付けの結果に基づいて、前記仮想芯線と前記内視鏡線との対応関係を導出するものである。このようにすれば、好適且つ実用的な態様で前記管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線との対応関係を導出できる。

前記第１発明又は第２発明に従属する本第３発明の要旨とするところは、前記マッチング処理部は、前記仮想芯線算出部により算出された前記仮想芯線について複数のランドマークを検出し、それら複数のランドマークに基づいて前記仮想芯線と前記内視鏡線との対応関係を導出するものである。このようにすれば、好適且つ実用的な態様で前記管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線との対応関係を導出できる。

前記第１発明乃至第３発明の何れかに従属する本第４発明の要旨とするところは、前記３次元画像データに基づいて前記管腔臓器の図像を表示させ、前記観察位置推定部により推定される前記内視鏡の観察位置を前記管腔臓器の図像上に表示させる臓器図像表示制御部を備えたものである。このようにすれば、内視鏡による観察位置を、観察対象である管腔臓器の図像上に表示させる実用的な内視鏡ナビゲーションを実現できる。

前記第１発明乃至第４発明の何れかに従属する本第５発明の要旨とするところは、前記３次元画像データに基づいて、前記観察位置推定部により推定される前記内視鏡の観察位置に対応する前記管腔臓器の仮想内視鏡画像を表示させる仮想内視鏡画像表示制御部を備えたものである。このようにすれば、内視鏡による観察位置に対応する管腔臓器の仮想内視鏡画像を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記第５発明に従属する本第６発明の要旨とするところは、前記仮想内視鏡画像表示制御部は、前記３次元画像データに基づいて、前記観察位置推定部により推定される前記内視鏡の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像を表示させるものである。このようにすれば、内視鏡による観察位置に対応する管腔臓器の全球型仮想内視鏡画像を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記第１発明乃至第６発明の何れかに従属する本第７発明の要旨とするところは、前記３次元画像データに基づいて前記管腔臓器の仮想展開像を表示させ、前記観察位置推定部により推定される前記内視鏡の観察位置を前記管腔臓器の仮想展開像上に表示させる仮想展開像表示制御部を備えたものである。このようにすれば、内視鏡による観察位置に対応する管腔臓器の仮想展開像を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記第７発明に従属する本第８発明の要旨とするところは、前記仮想展開像表示制御部は、前記観察位置推定部により推定される前記内視鏡の観察位置の誤差に基づいて、前記管腔臓器の仮想展開像における前記内視鏡の観察位置を含む所定範囲の表示を、余の部分とは異なる表示とするものである。このようにすれば、内視鏡による観察位置に対応する管腔臓器の仮想展開像を更に分かり易く表示させる内視鏡ナビゲーションを実現できる。

前記第１発明乃至第８発明の何れかに従属する本第９発明の要旨とするところは、前記３次元画像データに基づいて前記管腔臓器における病変の存在を検出する病変存在検出部と、その病変存在検出部による検出結果を表示させる病変検出結果表示制御部とを、備えたものである。このようにすれば、内視鏡による観察対象である管腔臓器における病変の有無を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記第９発明に従属する本第１０発明の要旨とするところは、前記観察位置推定部により推定される前記内視鏡の観察位置が、前記病変存在検出部により検出された病変付近に達した場合には、その旨の報知を行う病変報知制御部を備えたものである。このようにすれば、内視鏡による観察位置が病変付近に達した場合、その旨の報知を行う実用的な内視鏡ナビゲーションを実現できる。

本第１１発明の要旨とするところは、前記第４発明の臓器図像表示制御部により表示される前記管腔臓器の図像、前記第５発明又は第６発明の仮想内視鏡画像表示制御部により表示される前記管腔臓器の仮想内視鏡画像、及び、前記第７発明又は第８発明の仮想展開像表示制御部により表示される前記管腔臓器の仮想展開像のうち少なくとも１つを表示させ、前記第９発明の病変検出結果表示制御部は、前記第９発明の病変存在検出部により検出された病変の存在を、前記管腔臓器の図像、前記管腔臓器の仮想内視鏡画像、及び前記管腔臓器の仮想展開像のうち少なくとも１つにおける、検出された病変に対応する部位に表示させるものである。このようにすれば、内視鏡の観察位置に対応する前記管腔臓器の図像、仮想内視鏡画像、仮想展開像等を表示させると共に、各画像上に検出された病変部位を表示させることで、実用的且つ分かり易い内視鏡ナビゲーションを実現できる。

前記第３発明に従属する本第１２発明の要旨とするところは、前記マッチング処理部は、前記仮想芯線の形状に基づいてその仮想芯線における複数のランドマークを検出し、検出された前記仮想芯線における複数のランドマークから前記内視鏡線までの距離に基づいて前記仮想芯線と前記内視鏡線との対応関係を導出するものである。このようにすれば、好適且つ実用的な態様で前記管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線との対応関係を導出できる。

前記第３発明又は第１２発明に従属する本第１３発明の要旨とするところは、前記マッチング処理部は、前記ランドマーク相互間における前記仮想芯線上の各点及び前記内視鏡線上の各点における対応関係を線形補間により導出するものである。このようにすれば、好適且つ実用的な態様で前記管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線との対応関係を導出できる。

前記第３発明、第１２発明、及び第１３発明の何れかに従属する本第１４発明の要旨とするところは、前記マッチング処理部は、相互に隣接する前記ランドマーク相互間に含まれる前記内視鏡線の長さが変更される毎に、前記仮想芯線と前記内視鏡線との対応関係を更新するものである。このようにすれば、前記管腔臓器から内視鏡が引き抜かれたり挿入されたりする毎に、前記管腔臓器の仮想芯線と前記内視鏡の形状を示す内視鏡線との対応関係をリアルタイムで導出できる。

本発明の好適な実施例である内視鏡観察支援装置の構成を例示する図である。図１の内視鏡観察支援装置に備えられた内視鏡の構成を概略的に説明する図である。図１の内視鏡観察支援装置に備えられた制御機能の一例の要部を説明する機能ブロック線図である。図２の内視鏡による好適な観察対象となる大腸の模型である大腸ファントムを例示する正面写真であり、内視鏡挿入前の状態を示している。図２の内視鏡による好適な観察対象となる大腸の模型である大腸ファントムを例示する正面写真であり、内視鏡が挿入された状態を示している。図４に示す状態の大腸ファントムに関してＸ線ＣＴにより得られた３次元画像の一例である。図６の３次元画像に対応して算出された仮想芯線を例示している。管腔臓器である大腸の３次元画像の一例である大腸ＣＴ像を示す図である。図８に示す大腸ＣＴ像に公知の細線化アルゴリズムが適用されることにより作成された線図形を例示している。図９に示す線図形から偽枝が削除された線図形を例示している。図１０に示す線図形上において等間隔に複数の点が取得された様子を例示している。図１１に示す複数の点に関して公知の３次スプライン補間により得られた仮想芯線を例示している。図１の内視鏡観察支援装置のＣＰＵによる内視鏡線の算出の具体例を説明する図である。図１の内視鏡観察支援装置のＣＰＵにより算出された仮想芯線における所定の箇所の直線化について説明する図である。図１の内視鏡観察支援装置のＣＰＵによるＩＣＰレジストレーションの具体例を説明する図であり、座標系の対応付けが行われる前を例示している。図１の内視鏡観察支援装置のＣＰＵによるＩＣＰレジストレーションの具体例を説明する図であり、座標系の対応付けが行われた状態を示している。図１の内視鏡観察支援装置のＣＰＵによる仮想芯線についてのランドマークの検出及び内視鏡線における対応点の導出について説明する図である。図１の内視鏡観察支援装置のＣＰＵによる仮想芯線上の各点と内視鏡線上の各点における対応関係を線形補間により導出する処理について説明する図である。図１の内視鏡観察支援装置による観察支援制御に際して、映像表示装置に表示される内視鏡ナビゲーション画面を例示する図である。図１の内視鏡観察支援装置のＣＰＵにより表示される、管腔臓器の全球型仮想内視鏡画像を例示する図である。図１の内視鏡観察支援装置による観察支援制御に際して、映像表示装置に表示される内視鏡ナビゲーション画面の他の一例を示す図である。図１の内視鏡観察支援装置のＣＰＵによる内視鏡ナビゲーション制御の一例の要部を説明するフローチャートである。図２２の制御における画像表示処理の一例の要部を説明するフローチャートである。

以下、本発明の好適な実施例について、図面を参照しつつ詳細に説明する。

図１は、本発明の一実施例である内視鏡観察支援装置１０（以下、単に支援装置１０という）の構成を例示する図である。この図１に示すように、本実施例の支援装置１０は、中央演算処理装置であるＣＰＵ１２と、読出専用メモリであるＲＯＭ１４と、随時書込読出メモリであるＲＡＭ１６と、記憶装置１８と、映像表示装置２０と、入力装置２２と、内視鏡２４とを、備えて構成されている。前記ＣＰＵ１２は、前記ＲＡＭ１６の一時記憶機能を利用しつつ前記ＲＯＭ１４に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。

前記記憶装置１８は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記映像表示装置２０は、好適には、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の公知の表示装置（ディスプレイ）であり、出力インターフェイス２６を介して前記ＣＰＵ１２等に接続されている。前記入力装置２２は、キーボードやマウス等の公知の入力デバイスであり、入力インターフェイス２８を介して前記ＣＰＵ１２等に接続されている。

前記内視鏡２４は、管腔臓器の観察に用いられる公知の電子スコープ或いはファイバスコープ等であり、好適には、主に大腸の観察に用いられる大腸内視鏡（colonoscope）である。前記内視鏡２４は、インターフェイス３０を介して前記ＣＰＵ１２等に接続されている。図２は、前記内視鏡２４の構成を概略的に説明する図である。この図２に示すように、前記内視鏡２４は、長手管状に形成された可曲性（可撓性）の管状部３２と、その管状部３２における一方の端部（先端部）に設けられた観察部３４と、前記管状部３２におけるその観察部３４とは逆側の端部に設けられた操作部３６と、その操作部３６から延伸して設けられた接続ケーブル３８とを、備えて構成されている。

前記管状部３２は、例えば長さ寸法１．２〜１．３ｍ程度、径寸法８〜１３ｍｍ程度の長手管状に形成されており、前記操作部３６に設けられた図示しないアングル（つまみ）等による操作に応じて、前記観察部３４が設けられた先端部の指向する方向を自在に変化させられるように構成されている。前記管状部３２における前記観察部３４の付近には、管腔臓器内における前記観察部３４による観察部位を照らすための光源が設けられている。前記内視鏡２４がファイバスコープである場合においては、照明用の光を管腔臓器内に導くための別の光ファイバが前記管状部３２内に組み込まれている。前記管状部３２には、好適には、生検鉗子の出し入れを行うための機構、空気や水を送出或いは吸引するためのパイプ等が組み込まれている。

前記観察部３４は、前記内視鏡２４における画像（被検体の像）の取得部に対応し、前記管状部３２における先端部に設けられている。前記内視鏡２４が電子スコープである場合において、前記観察部３４は、ＣＣＤ（Charge Coupled Device）等の撮像素子に相当する。前記内視鏡２４がファイバスコープである場合において、前記観察部３４は、前記管状部３２内に設けられたガラス繊維（光ファイバ）に前記画像を取り入れるためのレンズ部に相当する。

前記接続ケーブル３８は、前記内視鏡２４を前記内視鏡支援装置１０本体に接続するためのケーブルであり、前記接続ケーブル３８における前記操作部３６とは逆側の端部には、接続端子４０が設けられている。この接続端子４０が前記内視鏡支援装置１０本体に設けられた対応する接続端子に接続されることで、前記内視鏡２４が前記インターフェイス３０を介して前記ＣＰＵ１２等に接続される。

本実施例の内視鏡２４において、好適には、複数（本実施例においては４つ）の位置センサ４２ａ、４２ｂ、４２ｃ、４２ｄ（以下、特に区別しない場合には単に位置センサ４２という）が前記管状部３２に設けられている。図２においては、各位置センサ４２が設けられた位置を白抜矢印で示している。この図２に示すように、前記複数の位置センサ４２は、好適には、前記管状部３２の先端部（観察部３４が設けられた側）から所定の間隔（例えば２０ｃｍ間隔）で配設されている。前記管状部３２の先端部に設けられた前記位置センサ４２ａは、好適には、前記内視鏡２４の器具挿入チャンネル内に取り付けられている。前記複数の位置センサ４２は、好適には、前記管状部３２に内蔵されたものであるが、その管状部３２の側面等に固定（外付け）されたものであってもよい。前記複数の位置センサ４２は、好適には、公知の磁気式位置センサであり、例えば、各位置センサ４２とは別に図示しない発信機が設けられ、その発信機から発信される磁気信号を各位置センサ４２が受信することにより各位置センサ４２から５次元の情報すなわち３次元の位置情報及び２次元の方向情報が取得され、前記ＣＰＵ１２等に供給されるようになっている。

図１に示すように、前記支援装置１０に備えられた記憶装置１８には、画像データベース４４が設けられている。この画像データベース４４には、公知のＸ線ＣＴ（Computed Tomography）装置や磁気共鳴（MRI;Magnetic Resonance Imaging）装置等によって予め得られた被検体の３次元画像データが記憶される。この３次元画像データは、Ｘ線ＣＴにより得られたものにおいては、被検体に対して多方向からＸ線を照射し、被検体を透過してきたＸ線を検出器で検出して、透過Ｘ線量の情報をコンピュータで処理して３次元画像として再構成したものである。前記画像データベース４４には、例えば、Ｘ線ＣＴや磁気共鳴装置等により得られた被検体の３次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値（濃度値）が記憶される。前記画像データベース４４には、Ｘ線ＣＴや磁気共鳴装置等により得られた管腔臓器の３次元画像データが記憶される。好適には、Ｘ線ＣＴや磁気共鳴装置等により得られた大腸の３次元画像データが記憶される。

本実施例の支援装置１０は、被検体の管腔臓器に関して予めＸ線ＣＴや磁気共鳴装置等により得られた前記３次元画像データに基づいて、その管腔臓器内に挿入された前記内視鏡２４による観察を支援する制御を行う。好適には、大腸の３次元画像データに基づいて、その大腸内に挿入された前記内視鏡２４による観察を支援する制御を行う。すなわち、前記内視鏡２４による所定の大腸の観察に際して、その大腸に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、その３次元画像データに基づいて後述する制御を行うことにより、その大腸内に挿入された前記内視鏡２４による観察を支援する。

図４及び図５は、前記内視鏡２４による好適な観察対象となる大腸の模型である大腸ファントム（phantom）８０を例示する正面写真であり、図４は前記内視鏡２４を挿入していない状態、図５は前記内視鏡２４を挿入した状態をそれぞれ示している。図５においては、大腸ファントム８０内に挿入された前記内視鏡２４（管状部３２）を破線で示している。図６は、図４に示す状態の大腸ファントム８０に関してＸ線ＣＴにより得られた３次元画像８２の一例を示している。図４及び図５に比較して示すように、大腸等の変形しやすい管腔臓器を対象とする内視鏡検査においては、その管腔臓器の形状や長さ等が検査中に様々に変化する。すなわち、図４に示すような大腸に前記内視鏡２４を挿入することで、Ｓ状結腸や横行結腸における湾曲していた部分が前記内視鏡２４の管状部３２の曲がりに沿って変形し、その部分における襞が密になると共に図５に示すように正面視における形状が大きく変化する。そのため、図６に示すような３次元画像８２に対応する画像データに基づいて大腸の病変が疑われる部位が発見された場合であっても、従来の技術では斯かる病変が疑われる部位の仮想内視鏡画像を実内視鏡画像と対応付けて表示させることや、前記病変が疑われる部位まで前記内視鏡２４を誘導することが困難であった。本実施例の支援装置１０は、斯かる問題点を前提とし、大腸等の変形しやすい管腔臓器を対象とする内視鏡検査においても好適にその観察を支援できるように、以下に詳述するような制御を行う。

図３は、前記支援装置１０に備えられた制御機能の一例の要部を説明する機能ブロック線図である。この図３に示す仮想芯線算出部５０、内視鏡線算出部５２、マッチング処理部５４、観察位置推定部６０、病変存在検出部６２、病変報知制御部６４、及び画像表示制御部６６は、好適には、何れも前記ＣＰＵ１２に機能的に備えられたものであるが、各制御部が個別に複数のＣＰＵやコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。また、前記各制御部のうち一部が前記支援装置１０とは別の制御装置に備えられたものであってもよい。例えば、前記病変報知制御部６４及び画像表示制御部６６が前記支援装置１０とは別の装置（例えば、表示専用の装置）に備えられたものであってもよい。

前記仮想芯線算出部５０は、前記画像データベース４４に記憶された３次元画像データに基づいて、その３次元画像データに対応する管腔臓器の長手方向に沿った仮想芯線を算出する。この仮想芯線は、前記３次元画像データに対応する管腔臓器の大まかな中心線に相当するものである。前記仮想芯線算出部５０は、例えば、前記３次元画像データから対象となる管腔臓器の領域を抽出し、抽出された管腔臓器領域から前記管腔臓器の大まかな中心線を表す前記仮想芯線を算出する。

図８は、管腔臓器である大腸の３次元画像の一例である大腸ＣＴ像８４を示す図である。この図８に示す大腸ＣＴ像８４に対応する３次元画像データを対象とする前記仮想芯線算出部５０による仮想芯線の導出の具体例を、図９〜図１２を用いて説明する。先ず、図８に示す大腸ＣＴ像８４に対応する３次元画像データに基づいて、その３次元画像データに対応する大腸の領域（大腸領域）が公知の領域拡張法で抽出される。例えば、前記３次元画像データにおけるＣＴ値が−６００ＨＵ以下の部分が大腸領域として抽出される。次に、抽出された大腸領域の中心付近を通る線図形が作成される。例えば、抽出された大腸領域に公知の細線化アルゴリズムが適用されることにより、その中心付近を通る線図形が作成される。図９は、斯かる処理により作成された線図形８６を例示している。次に、作成された線図形８６における偽枝が削除される。すなわち、連続して最も長く延伸する主線図形（曲線）から分岐する比較的短い線図形が削除される。図１０は、斯かる処理により偽枝が削除された線図形８８を例示している。次に、偽枝が削除された線図形８８上において等間隔に複数の点が取得される。図１１は、斯かる処理により取得された複数の点９０を例示している。次に、取得された複数の点９０に関して公知の３次スプライン補間により滑らかな仮想芯線が算出される。すなわち、取得された複数の点９０を３次スプライン補間の制御点として図１２に示すような仮想芯線９２が算出される。以上のようにして算出された仮想芯線９２は、例えば点列ｐ^C _iC（ｉ^C＝１，・・・，Ｉ^C）として表現される。

前記内視鏡線算出部５２は、前記管腔臓器内に挿入された前記内視鏡２４の形状を示す内視鏡線を算出する。この内視鏡線は、好適には、前記内視鏡２４の管状部３２の大まかな中心線に相当するものである。すなわち、前記内視鏡線算出部５２は、前記管腔臓器内に挿入された前記内視鏡２４の管状部３２の形状を示す内視鏡線を算出する。好適には、前記複数の位置センサ４２それぞれにより検出される位置情報及び方向情報に基づいて、公知のエルミート（Hermite）スプライン補間により前記内視鏡線を算出する。エルミートスプライン補間によれば、制御点における位置及び方向を反映した補間曲線を作成できる。前記内視鏡線算出部５２は、好適には、前記複数の位置センサ４２それぞれの検出結果を制御点として、各位置センサ４２それぞれにより検出される位置情報及び方向情報に基づくエルミートスプライン補間を行う。更に好適には、前記３次元画像データから検出された被検体の肛門の位置を、前記エルミートスプライン補間における制御点に追加する。更に好適には、予め実験的に求められた前記管状部３２の性質（曲がりやすさ等）を考慮し、前記エルミートスプライン補間におけるパラメータを決定する。

図１３は、前記内視鏡線算出部５２による内視鏡線の算出の具体例を説明する図である。先ず、前記複数の位置センサ４２それぞれにより検出される位置情報及び方向情報が取得され、図１３（ａ）に示すように複数の制御点９４ａ、９４ｂ、９４ｃ、９４ｄ（以下、特に区別しない場合には単に制御点９４という）が定められる。図１３に示す例において、前記制御点９４ａは前記位置センサ４２ａの検出結果に、前記制御点９４ｂは前記位置センサ４２ｂの検出結果に、前記制御点９４ｃは前記位置センサ４２ｃの検出結果に、前記制御点９４ｄは前記位置センサ４２ｄの検出結果に、それぞれ対応している。次に、前記複数の制御点９４ａ〜９４ｄに関してエルミートスプライン補間が行われる。このエルミートスプライン補間において、好適には、予め実験的に求められた前記管状部３２の性質が考慮される。図１３（ｂ）は、斯かる処理により得られたスプライン補間曲線９６を例示している。次に、前記３次元画像データから検出された被検体の肛門の位置を示す制御点９４ｅが追加され、前記複数の制御点９４ａ〜９４ｅに関してエルミートスプライン補間が行われる。斯かる処理により、前記内視鏡２４の形状を表す図１３（ｃ）に示すような内視鏡線９８が算出される。以上のようにして算出された内視鏡線９８は、例えば点列ｐ^S _iS（ｉ^S＝１，・・・，Ｉ^S）として表現される。

前記マッチング処理部５４は、前記仮想芯線算出部５０により算出された仮想芯線と、前記内視鏡線算出部５２により算出された内視鏡線との対応関係を導出する。換言すれば、前記管腔臓器の長手方向に沿った仮想芯線と、その管腔臓器内に挿入された前記内視鏡の形状を示す内視鏡線とのマッチングを行う。好適には、被検体の大腸に関する処理において、前記内視鏡２４の先端部（観察部３４）が盲腸まで挿入された状態における内視鏡線を対象として、その内視鏡線と前記仮想芯線との対応関係を導出する。斯かる処理を行うため、図３に示すように、前記マッチング処理部５４は、座標系レジストレーション処理部５６及び線レジストレーション処理部５８を備えている。図７は、図６の３次元画像８２に対応して前記仮想芯線算出部５０により算出された仮想芯線１００を例示している。以下、この仮想芯線１００と、図１３（ｃ）に例示する内視鏡線９８との対応関係の導出について、前記座標系レジストレーション処理部５６及び線レジストレーション処理部５８の処理の具体例を説明する。

前記座標系レジストレーション処理部５６は、前記仮想芯線算出部５０により算出された前記仮想芯線に対応する座標系と、前記内視鏡線算出部５２により算出された前記内視鏡線に対応する座標系との対応付けを行う。前記３次元画像と前記位置センサ４２とはそれぞれ異なる座標系を持つため、前記仮想芯線算出部５０により算出された前記仮想芯線と前記内視鏡線算出部５２により算出された前記内視鏡線とは同様にそれぞれ異なる座標系を持つ。従って、前記仮想芯線と前記内視鏡線との対応関係の導出においては、それらの座標系の対応付けが必要とされる。前記座標系レジストレーション処理部５６は、好適には、公知のＩＣＰアルゴリズムを利用したＩＣＰレジストレーションにより前記仮想芯線に対応する座標系と前記内視鏡線に対応する座標系との対応付けを行う。このＩＣＰレジストレーションについては、「Paul J. Besl and Neil D. McKay, “A method for registration of 3-D shapes,”IEEE Trans. PAMI, vol.14, no.2, 1992.」に詳しい。

前記ＩＣＰレジストレーションにおいて、好適には、前記仮想芯線１００及び前記内視鏡線９８がそれぞれ点列で表現される。例えば、前記仮想芯線１００が点列ｐ^C _iC（ｉ^C＝１，・・・，Ｉ^C）として表現され、前記内視鏡線９８が点列ｐ^S _iS（ｉ^S＝１，・・・，Ｉ^S）として表現される。次に、前記内視鏡線９８に対応する点列に回転及び平行移動が適用され、前記仮想芯線１００に対応する点列に近づけられる。そして、２つの点列間の距離が最も小さくなる場合における回転及び平行移動から、前記内視鏡線９８の点列に係る変換行列が算出される。

前記座標系レジストレーション処理部５６は、好適には、前記仮想芯線１００における所定の箇所の芯線を直線化した後、前記ＩＣＰレジストレーションを行う。図１４は、前記仮想芯線１００における所定の箇所の直線化について説明する図である。前記座標系レジストレーション処理部５６は、好適には、前記ＩＣＰレジストレーションの前処理として、予め定められた、前記仮想芯線１００において大きく屈曲する箇所の芯線を直線化する。好適には、前記仮想芯線１００における横行結腸及びＳ状結腸に対応する２箇所の芯線を直線化する。例えば、図１４に示す例において、破線で囲繞して示す横行結腸に対応する芯線１０２及びＳ状結腸に対応する芯線１０４をそれぞれ直線化する。紙面向かって右側の図は、前記２箇所における芯線１０２、１０４が直線化された仮想芯線１００を示している（直線化前の芯線を一点鎖線で示している）。被検体の大腸に前記内視鏡２４を挿入する場合、横行結腸及びＳ状結腸は大きく屈曲していることに加え、図４及び図５に対比して示すように前記内視鏡２４が挿入されると屈曲がのばされて正面視において直線に近い形状に変形させられる。一方、大腸における余の部分すなわち下行結腸及び上行結腸等は元々直線に近い形状であり、前記内視鏡２４が挿入されもその形状が大きくは変化しない。従って、斯かる大腸内視鏡検査における大腸の変形の特性を踏まえ、前記横行結腸に対応する芯線１０２及びＳ状結腸に対応する芯線１０４をそれぞれ直線化することで、前記ＩＣＰレジストレーションによる対応付けに関してより好ましい結果が得られる。

前記座標系レジストレーション処理部５６は、好適には、前記仮想芯線１００及び内視鏡線９８それぞれにおける端点（両端部の点）を相互に対応付けて前記ＩＣＰレジストレーションを行う。ここで、大腸が観察対象である場合において、好適には、前記仮想芯線１００における両端部の点は盲腸及び肛門に対応する。前記内視鏡２４が大腸における盲腸まで挿入された状態において、好適には、前記内視鏡線９８における両端部の点は同様に盲腸及び肛門に対応する。従って、前記座標系レジストレーション処理部５６は、好適には、前記仮想芯線１００及び内視鏡線９８それぞれの両端における盲腸及び肛門に対応する点を相互に対応付けて前記ＩＣＰレジストレーションを行う。

図１５及び図１６は、前記座標系レジストレーション処理部５６によるＩＣＰレジストレーションの具体例を説明する図であり、図１５は前記仮想芯線１００の座標系と前記内視鏡線９８の座標系との対応付けが行われる前の状態を、図１６は座標系の対応付けが行われた状態をそれぞれ示している。図１５及び図１６においては、区別のために前記仮想芯線１００を実線で、前記内視鏡線９８を破線でそれぞれ示している。図１５に示す状態においては、前記仮想芯線１００の座標系と前記内視鏡線９８の座標系との対応付けが行われていない。この図１５に示す状態から、前記仮想芯線１００に対して前記内視鏡線９８を回転及び平行移動させると、その内視鏡線９８に対応する点列が前記仮想芯線１００に対応する点列に近づけられる。ここで、好適には、図１６に示すように、前記仮想芯線１００及び内視鏡線９８それぞれにおける端点（両端部の点）が相互に対応付けられる。すなわち、前記仮想芯線１００及び内視鏡線９８それぞれにおける盲腸及び肛門に対応する点が相互に対応付けられる。そして、前記仮想芯線１００に対応する点列と前記内視鏡線９８に対応する点列との距離が最も小さくなる場合における前記内視鏡線９８の回転及び平行移動から、前記内視鏡線９８の点列に係る変換行列が算出される。このようにして導出される変換行列が、前記仮想芯線１００の座標系と前記内視鏡線９８の座標系との対応付けを行うための関係に相当する。以上の処理により、手動（人的作業）で対応点を求める等の手間を要することなく自動的に前記仮想芯線１００の座標系と前記内視鏡線９８の座標系とのレジストレーションが実現される。この座標系のレジストレーションは、所定の管腔臓器を対象とする前記支援装置１０による観察支援に際して少なくとも１回実行すれば足り、必ずしも複数回実行されなくともよい。

前記線レジストレーション処理部５８は、前記座標系レジストレーション処理部５６による対応付けの結果に基づいて、前記仮想芯線算出部５０により算出された前記仮想芯線１００と前記内視鏡線算出部５２により算出された前記内視鏡線９８との対応関係を導出する。換言すれば、前記仮想芯線１００に対して座標系の対応付けが行われた前記内視鏡線９８及び前記仮想芯線１００に関して、前記前記仮想芯線１００上の各点と、前記内視鏡線９８上の各点との間で対応関係を作成する。好適には、前記仮想芯線算出部５０により算出された前記仮想芯線１００について複数のランドマークを検出し、それら複数のランドマークに基づいて前記仮想芯線１００と前記内視鏡線９８との対応関係を導出する。

図１７は、前記線レジストレーション処理部５８による前記仮想芯線１００についてのランドマークの検出及び前記内視鏡線９８における対応点の導出について説明する図である。前記線レジストレーション処理部５８は、好適には、前記仮想芯線１００の形状に基づいてその仮想芯線１００における複数のランドマークを検出する。例えば、前記仮想芯線１００上の位置と、各位置における芯線の曲率とに基づいて、その仮想芯線１００における複数のランドマークを検出する。大腸を対象とする処理において、好適には、図１７に示すように、（ａ）前記仮想芯線１００における盲腸に相当するランドマーク１０６ａ、（ｂ）前記仮想芯線１００における肝湾曲に相当するランドマーク１０６ｂ、（ｃ）前記仮想芯線１００における脾湾曲に相当するランドマーク１０６ｃ、（ｄ）前記仮想芯線１００におけるＳ状結腸と下行結腸との結合部に相当するランドマーク１０６ｄ、及び（ｅ）前記仮想芯線１００における肛門に相当するランドマーク１０６ｅの５点のランドマーク１０６ａ〜１０６ｅ（以下、特に区別しない場合には単にランドマーク１０６という）を検出する。

図１７においては、前記ランドマーク１０６ａ及び１０６ｅを丸印で、前記ランドマーク１０６ｂ、１０６ｃ、１０６ｄを四角印でそれぞれ示している。前記盲腸に相当するランドマーク１０６ａは、前記仮想芯線１００における端点（盲腸側の端点）に対応する。前記肝湾曲に相当するランドマーク１０６ｂは、例えば、紙面上下方向をｚ軸方向とした場合において（紙面上方向をｚ軸の正方向とする、以下の説明において同じ）、上行結腸と横行結腸との間においてｚ座標が極大となる点に対応する。前記脾湾曲に相当するランドマーク１０６ｃは、例えば、横行結腸と下行結腸の間においてｚ座標が極大となる点に対応する。前記Ｓ状結腸と下行結腸との結合部に相当するランドマーク１０６ｄは、例えば、Ｓ状結腸と下行結腸との結合部付近においてｚ座標が極小となる点に対応する。前記肛門に相当するランドマーク１０６ｅは、前記仮想芯線１００における端点（肛門側の端点）に対応する。

前記線レジストレーション処理部５８は、好適には、前記のようにして検出された前記仮想芯線１００における複数のランドマーク１０６から前記内視鏡線９８までの距離に基づいて前記仮想芯線１００と前記内視鏡線９８との対応関係を導出する。例えば、前記仮想芯線１００に対して座標系の対応付けが行われた前記内視鏡線９８に関して、前記仮想芯線１００における複数のランドマーク１０６それぞれから前記内視鏡線９８上の点までの距離に基づいて、その内視鏡線９８における各ランドマーク１０６ａ〜１０６ｅに対応する対応点１０８ａ〜１０８ｅ（以下、特に区別しない場合には単に対応点１０８という）を導出する。好適には、前記内視鏡線９８上の点であって、各ランドマーク１０６からの距離が最も小さい点をそのランドマーク１０６に対応する対応点１０８として導出する。図１７においては、前記仮想芯線１００における複数のランドマーク１０６ａ〜１０６ｅそれぞれに対応する前記内視鏡線９８の対応点１０８ａ〜１０８ｅを星印で示している。すなわち、前記対応点１０８ａが前記ランドマーク１０６ａに、対応点１０８ｂが前記ランドマーク１０６ｂに、対応点１０８ｃが前記ランドマーク１０６ｃに、対応点１０８ｄが前記ランドマーク１０６ｄに、対応点１０８ｅが前記ランドマーク１０６ｅに、それぞれ対応する。

前記線レジストレーション処理部５８は、好適には、前記のようにして検出された前記ランドマーク１０６相互間における前記仮想芯線１００上の各点と、前記内視鏡線９８上の各点における対応関係を、公知の線形補間により導出する。図１８は、前記仮想芯線１００上の各点と前記内視鏡線９８上の各点における対応関係を線形補間により導出する処理について説明する図である。この図１８に示すように、前記線レジストレーション処理部５８は、好適には、前記仮想芯線１００上におけるランドマーク１０６相互間の各点と、前記内視鏡線９８上における対応点１０８（対象となるランドマーク１０６に対応するもの）相互間の各点とを、等間隔で対応付ける処理を行う。

すなわち、図１８に示す例においては、前記仮想芯線１００上における前記ランドマーク１０６ａから前記ランドマーク１０６ｂまでの区間の各点と、前記内視鏡線９８上における前記対応点１０８ａから前記対応点１０８ｂまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線１００上における前記ランドマーク１０６ｂから前記ランドマーク１０６ｃまでの区間の各点と、前記内視鏡線９８上における前記対応点１０８ｂから前記対応点１０８ｃまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線１００上における前記ランドマーク１０６ｃから前記ランドマーク１０６ｄまでの区間の各点と、前記内視鏡線９８上における前記対応点１０８ｃから前記対応点１０８ｄまでの区間の各点とを、等間隔で対応付ける処理を行う。前記仮想芯線１００上における前記ランドマーク１０６ｄから前記ランドマーク１０６ｅまでの区間の各点と、前記内視鏡線９８上における前記対応点１０８ｄから前記対応点１０８ｅまでの区間の各点とを、等間隔で対応付ける処理を行う。

前記線レジストレーション処理部５８は、好適には、前記仮想芯線１００における相互に隣接する前記ランドマーク１０６相互間に含まれる前記内視鏡線９８の長さが変更される毎に、前記仮想芯線１００と前記内視鏡線９８との対応関係を更新する。換言すれば、管腔臓器内に挿入された前記内視鏡２４の長さ寸法が変化するのに合わせて、前記仮想芯線１００と前記内視鏡線９８との対応関係を随時更新する。例えば、大腸の内視鏡検査においては、前記内視鏡２４の先端部（観察部３４）が盲腸まで挿入された後、前記内視鏡２４が大腸から引き出されつつその内視鏡２４による観察が行われる。すなわち、前記内視鏡２４による大腸内視鏡検査においては、被検体の大腸内に挿入された前記内視鏡２４（管状部３２）の長さ寸法が随時変化してゆく。従って、前記ランドマーク１０６相互間に含まれる前記内視鏡線９８の長さが変更される毎に、前記仮想芯線１００と前記内視鏡線９８との対応関係を更新する処理を行うことで、更に厳密に前記仮想芯線１００と前記内視鏡線９８との対応関係を導出することができる。

例えば、図１８に示すように、前記仮想芯線１００上における前記ランドマーク１０６ａから前記ランドマーク１０６ｂまでの区間の各点と、前記内視鏡線９８上における前記対応点１０８ａから前記対応点１０８ｂまでの区間の各点との対応付け処理において、当初の対応点１０８ａから１０８ｂまでの距離がｌ₁であり、前記内視鏡２４の先端部が盲腸に対応する位置（当初の対応点１０８ａに相当する位置）から長さ寸法ｌ₁−ｌ₂だけ（当初の対応点１０８ｂから距離ｌ₂の位置まで）引き出された場合を考える。前記仮想芯線１００上における前記ランドマーク１０６ａから前記ランドマーク１０６ｂまでの区間の長さ寸法はＬであるとする。この場合、前記仮想芯線１００上における前記ランドマーク１０６ｂから、前記ランドマーク１０６ａに向かう方向への長さＬ・ｌ₂／ｌ₁までの区間の各点と、前記内視鏡線９８上における前記対応点１０８ｂから、前記対応点１０８ａに向かう方向への長さｌ₂までの区間の各点とを、前記の線形補間により導出する処理を行う。また好適には、前記内視鏡線９８における先端部が、前記仮想芯線１００上における何れかのランドマーク１０６から規定の距離範囲内に存在する場合には、前記内視鏡線９８における先端部が斯かる近距離のランドマーク１０６に対応付けられて前記の線形補間が行われるものであってもよい。

以上のように、前記内視鏡線９８と前記仮想芯線１００との対応関係が導出されると、前記内視鏡線９８に対応する前記内視鏡２４の観察部３４が、前記仮想芯線１００に対応する管腔臓器内の何れの位置に存在するのか同定できる。すなわち、前記観察位置推定部６０は、前記マッチング処理部５４（線レジストレーション処理部５８）により導出された対応関係に基づいて、前記内視鏡２４の観察対象である管腔臓器内における前記内視鏡２４の観察位置を推定する。本実施例の内視鏡２４において、前記観察部３４は、前記管状部３２における一方の端部（先端部）に設けられている。従って、前記観察位置推定部６０は、好適には、前記内視鏡線９８における先端側（観察部３４側）の端点に対応付けられた、前記仮想芯線１００上における点に対応する位置を、前記内視鏡２４の観察位置として推定する。

前記病変存在検出部６２は、前記３次元画像データに基づいて前記管腔臓器における病変の存在を検出する。好適には、前記３次元画像データに基づいて、例えば所定のＣＴ値のボクセルの具合である等、予め定められた条件に合致すること等により前記管腔臓器における病変の存在を検出する。例えば、公知のＣＴコロノグラフィ（Computed Tomography Colonography）等により、その３次元画像データに対応する３次元画像における前記管腔臓器の表面にポリープ或いは癌等の病変が疑われる突起状部が存在するか否かを判定する。斯かる突起状部が存在する場合には、前記管腔臓器における病変の存在を検出する。すなわち、前記病変存在検出部６２は、好適には、前記３次元画像データに基づいて前記管腔臓器における病変が疑われる突起状部の存在する位置を検出する。その他、３次元画像データに対応する３次元画像における前記管腔臓器の表面性状に基づいて大腸炎、動静脈奇形、大腸線種等の病変が疑われる部位を検出するものであってもよい。

前記病変報知制御部６４は、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が、前記病変存在検出部６２により検出された病変付近に達した場合には、その旨の報知（警告）を行う。すなわち、前記観察位置推定部６０により推定される、観察対象である管腔臓器内における前記内視鏡２４の観察位置が、その管腔臓器に対応する３次元画像データに基づいて前記病変存在検出部６２により検出された病変部位から所定の距離範囲内となった場合には、その旨の報知を行う。好適には、前記映像表示装置２０において、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が、前記病変存在検出部６２により検出された病変付近に達した旨の警告表示を行う。すなわち、前記病変報知制御部６４は、後述する病変検出結果表示制御部７６に含まれるものであってもよい。或いは、前記病変報知制御部６４は、前記支援装置１０に備えられた図示しないスピーカ等を介して、警告音等により前記報知を行うものであってもよい。

前記画像表示制御部６６は、図示しないグラフィックスプロセッサ等を介して、前記支援装置１０による制御に係る各種画像（映像）を前記映像表示装置２０に表示させる。すなわち、前記管腔臓器内に挿入された前記内視鏡２４による観察を支援する各種画像を前記映像表示装置２０に表示させる。斯かる処理を行うため、図３に示すように、前記画像表示制御部６６は、実内視鏡画像表示制御部６８、臓器図像表示制御部７０、仮想内視鏡画像表示制御部７２、仮想展開像表示制御部７４、及び病変検出結果表示制御部７６を備えている。以下、各表示制御部による処理について分説する。

前記臓器図像表示制御部７０は、前記３次元画像データに基づいて前記管腔臓器の図像を表示させる。この管腔臓器の図像は、例えば正面視において管腔臓器全体の形状を示す像であり、好適には、前記管腔臓器の外形像である。すなわち、前記臓器図像表示制御部７０は、好適には、前記３次元画像データに基づいて前記管腔臓器の外形（例えば、正面側から視た外観を表す像）を示す図像を表示させる。すなわち、前記支援装置１０による観察支援制御に際して、前記内視鏡２４による観察対象である管腔臓器に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、公知の技術によりその３次元画像データに基づいて前記管腔臓器の外形像を生成して前記映像表示装置２０に表示させる。

前記臓器図像表示制御部７０は、前記管腔臓器の図像表示制御において、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置を前記管腔臓器の図像上に表示させる。図１９は、前記支援装置１０による観察支援制御に際して、前記画像表示制御部６６により前記映像表示装置２０に表示される内視鏡ナビゲーション画面１１０を例示する図である。この図１９に示すように、前記臓器図像表示制御部７０は、好適には、前記内視鏡ナビゲーション画面１１０の一部に前記管腔臓器の外形像１１２を表示させると共に、その外形像１１２上に前記観察位置推定部６０により推定される前記内視鏡２４の観察位置１１４を表示させる。好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置１１４が変化する毎に、前記外形像１１２上における前記観察位置１１４の表示を更新する。

前記仮想内視鏡画像表示制御部７２は、前記３次元画像データに基づいて前記管腔臓器の仮想内視鏡画像を表示させる。すなわち、前記支援装置１０による観察支援制御に際して、前記内視鏡２４による観察対象である管腔臓器に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、公知の技術によりその３次元画像データに基づいて前記管腔臓器の仮想内視鏡画像を生成して前記映像表示装置２０に表示させる。

前記仮想内視鏡画像表示制御部７２は、前記観察対象である管腔臓器に対応する３次元画像データに基づいて、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置に対応する前記管腔臓器の仮想内視鏡画像を表示させる。好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置から、その内視鏡２４（観察部３４）の視点位置及び視点方向、予め設定された視野角等に基づいて、前記管腔臓器の仮想内視鏡画像を生成し、前記映像表示装置２０に表示させる。図１９に示すように、前記仮想内視鏡画像表示制御部７２は、好適には、前記観察位置に対応する仮想内視鏡画像１１６を前記内視鏡ナビゲーション画面１１０の一部に表示させる。好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が変化する毎に、前記仮想内視鏡画像１１６（視点位置及び視点方向等）の表示を更新する。

前記仮想内視鏡画像表示制御部７２は、好適には、前記３次元画像データに基づいて前記管腔臓器の全球型仮想内視鏡画像を表示させる。この全球型仮想内視鏡画像とは、最大視野角が９０°以上である仮想内視鏡画像であり、例えば視点位置を球状に取り囲む視野を有する仮想内視鏡画像である。前記仮想内視鏡画像表示制御部７２は、好適には、視点位置から前記視野に対してレイを発生させることにより公知のボリュームレンダリング法を用いて前記全球型仮想内視鏡画像を生成する。すなわち、前記支援装置１０による観察支援制御に際して、前記内視鏡２４による観察対象である管腔臓器に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、公知の技術によりその３次元画像データに基づいて前記管腔臓器の全球型仮想内視鏡画像を生成して前記映像表示装置２０に表示させる。

前記仮想内視鏡画像表示制御部７２は、好適には、前記観察対象である管腔臓器に対応する３次元画像データに基づいて、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像を表示させる。好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置から、その内視鏡２４（観察部３４）の視点位置及び視点方向、予め設定された視野角等に基づいて、前記管腔臓器の全球型仮想内視鏡画像を生成し、前記映像表示装置２０に表示させる。図２０は、前記仮想内視鏡画像表示制御部７２により表示される、前記管腔臓器の全球型仮想内視鏡画像１１８を例示する図である。図２０に示す全球型仮想内視鏡画像１１８は、最大視野角３６０°に対応するものである。この図２０に示す全球型仮想内視鏡画像１１８を、前記内視鏡ナビゲーション画面１１０に前記外形像１１２及び仮想内視鏡画像１１６等と共に表示させるものであってもよい。

前記仮想展開像表示制御部７４は、前記３次元画像データに基づいて前記管腔臓器の仮想展開像を表示させる。すなわち、前記支援装置１０による観察支援制御に際して、前記内視鏡２４による観察対象である管腔臓器に対応して予め得られて前記画像データベース４４に記憶された３次元画像データを読み出し、公知の技術によりその３次元画像データに基づいて前記管腔臓器の仮想展開像を生成して前記映像表示装置２０に表示させる。

前記仮想展開像表示制御部７４は、前記管腔臓器の仮想展開像表示制御において、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置を前記管腔臓器の仮想展開像上に表示させる。図１９に示すように、前記仮想展開像表示制御部７４は、好適には、前記内視鏡ナビゲーション画面１１０の一部に前記管腔臓器の仮想展開像１２０を表示させると共に、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置の誤差に基づいて、前記仮想展開像１２０における前記内視鏡２４の観察位置を含む所定範囲１２０ａの明度と、余の部分１２０ｂ、１２０ｃの明度とを異なる表示とする。好適には、前記所定範囲１２０ａの明度が、前記余の部分１２０ｂ、１２０ｃの明度よりも相対的に明るくなるように前記仮想展開像１２０の表示を制御する。或いは、前記仮想展開像１２０における前記所定範囲１２０ａには特にフィルタをかけることなく、前記余の部分１２０ｂ、１２０ｃにスモーク（靄のように視認し難くする効果）や所謂モザイク等のフィルタをかける表示制御を行うものであってもよい。或いは、前記仮想展開像１２０における前記所定範囲１２０ａの色を前記余の部分１２０ｂ、１２０ｃとは異なる色としたり、影（陰影）の描き方を異なるものとする等の表示制御を行うものであってもよい。好適には、観察対象である管腔臓器の区間毎に観察位置の誤差が予め定められたものであり、前記仮想展開像表示制御部７４は、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が、観察対象である前記管腔臓器における何れの区間に含まれるかを判定し、前記観察位置の誤差を決定する。前記仮想展開像表示制御部７４は、好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が変化する毎に、前記仮想展開像１２０の表示を更新する。すなわち、前記仮想展開像１２０において余の部分よりも明るく表示させる所定範囲１２０ａを更新する。

前記病変検出結果表示制御部７６は、前記病変存在検出部６２による検出結果を表示させる。好適には、前記病変存在検出部６２により検出された病変の存在を、前記臓器図像表示制御部７０により表示される前記外形像１１２、前記仮想内視鏡画像表示制御部７２により表示される前記仮想内視鏡画像１１６、全球型仮想内視鏡画像１１８、及び前記仮想展開像表示制御部７４により表示される前記仮想展開像１２０のうち少なくとも１つにおける、検出された病変に対応する部位に表示させる。図１９及び図２０に示す例においては、図面を見やすくするため各画像における病変位置を破線で囲繞して示しているが、実際の制御において、前記病変検出結果表示制御部７６は、好適には、各画像における検出された病変に対応する部位を、余の部分とは異なる色（例えば紫色等）のマーカ等により色替え表示させる。すなわち、図１９に示す例においては、前記仮想内視鏡画像１１６上に検出された病変の位置に対応する病変部位１１６ｄを、前記仮想展開像１２０上に検出された病変の位置に対応する病変部位１２０ｄをそれぞれ表示させている。外形像１１２に関しては、観察位置１１４が検出された病変位置に相当する。図２０に示す例においては、前記全球型仮想内視鏡画像１１８上に検出された病変の位置に対応する病変部位１１８ｄを表示させている。前記病変検出結果表示制御部７６は、好適には、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が変化する毎に、前記外形像１１２、前記仮想内視鏡画像１１６、前記全球型仮想内視鏡画像１１８、及び前記仮想展開像１２０等における病変部位の表示を更新する。

前記実内視鏡画像表示制御部６８は、前記内視鏡２４の観察部３４により取得された画像（実画像）を前記映像表示装置２０に表示させる。すなわち、前記観察部３４により取得され、前記接続ケーブル３８及び前記インターフェイス３０等を介して入力される画像を前記映像表示装置２０に表示させる。好適には、前記内視鏡２４の観察部３４により取得された画像を、前記臓器図像表示制御部７０により表示される前記外形像１１２、前記仮想内視鏡画像表示制御部７２により表示される前記仮想内視鏡画像１１６、全球型仮想内視鏡画像１１８、及び前記仮想展開像表示制御部７４により表示される前記仮想展開像１２０のうち少なくとも１つと共に前記映像表示装置２０に表示させる。或いは、前記外形像１１２、前記仮想内視鏡画像１１６、前記全球型仮想内視鏡画像１１８、及び前記仮想展開像１２０等が表示される前記映像表示装置２０とは異なる映像表示装置に、前記内視鏡２４の観察部３４により取得された画像を表示させるものであってもよい。更に、前記実内視鏡画像表示制御部６８は、前記支援装置１０とは別体の制御装置に備えられたものであってもよい。

図２１は、前記内視鏡２４による大腸の観察における前記支援装置１０による観察支援制御に際して、前記画像表示制御部６６により前記映像表示装置２０に表示される他の内視鏡ナビゲーション画面１３０を例示する図である。この図２１に示すように、前記画像表示制御部６６は、好適には、前記実内視鏡画像表示制御部６８により表示される前記内視鏡２４の実観察画像（ライブ大腸鏡像）１３２と、前記臓器図像表示制御部７０により表示される前記大腸の外形像１３４と、前記仮想内視鏡画像表示制御部７２により表示される前記大腸の仮想内視鏡画像（仮想化内視鏡像）１３６と、前記仮想展開像表示制御部７４により表示される前記大腸の仰臥位仮想展開像１３８及び伏臥位仮想展開像１４０と、前記病変存在検出部６２による検出結果に対応する病変の存在（ポリープナビ）１４２と、前記観察位置推定部６０により推定される前記内視鏡２４の観察位置が、前記病変存在検出部６２により検出された病変付近に達した旨の警告１４４と、その病変部位に対応して前記仮想内視鏡画像表示制御部７２により表示される仮想内視鏡画像（対応仮想化大腸鏡像）１４６とを、含む内視鏡ナビゲーション画面１３０を前記映像表示装置２０における１画面に表示させる。更に、前記仮想内視鏡画像１３６上に、前記病変存在検出部６２により検出された病変の位置に対応する病変部位１３６ｄを表示させる。

図２２は、前記支援装置１０のＣＰＵ１２による内視鏡ナビゲーション制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、前記支援装置１０による前記内視鏡２４の観察支援（ナビゲーション）制御が開始されるか否かが判断される。好適には、前記内視鏡２４の先端部（観察部３４）が盲腸まで挿入され、前記内視鏡２４の観察が開始されるか否かが判断される。このＳ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ２において、前記内視鏡２４による観察の対象となる大腸に対して予め取得され、前記画像データベース４４に記憶された３次元画像データが読み出される。次に、Ｓ３において、Ｓ２にて読み出された３次元画像データに基づいて大腸の長手方向に沿った仮想芯線１００が算出される。

次に、Ｓ４において、前記複数の位置センサ４２それぞれにより検出される位置情報及び方向情報に基づいて、大腸内に挿入された前記内視鏡２４の形状を示す内視鏡線９８が算出される。次に、Ｓ５において、Ｓ３にて算出された前記仮想芯線１００に対応する座標系と、Ｓ４にて算出された前記内視鏡線９８に対応する座標系との対応付けを行う座標系レジストレーション処理が実行される。次に、Ｓ６において、Ｓ５の座標系レジストレーション処理の結果に基づいて、Ｓ３にて算出された前記仮想芯線１００と、Ｓ４にて算出された前記内視鏡線９８との対応関係を算出する線レジストレーション処理が実行される。次に、Ｓ７において、Ｓ６にて導出された対応関係に基づいて、前記大腸内における前記内視鏡２４の観察位置（先端位置）が推定される。

次に、Ｓ８において、前記仮想芯線１００における相互に隣接する前記ランドマーク１０６相互間に含まれる前記内視鏡線９８の長さが変更されたか否かが判断される。このＳ８の判断が肯定される場合には、Ｓ６以下の処理が再び実行されるが、Ｓ８の判断が否定される場合には、ＳＳにおいて、図２３に示す画像表示処理が実行された後、Ｓ９において、前記支援装置１０による前記内視鏡２４の観察支援制御が終了させられるか否かが判断される。このＳ９の判断が否定される場合には、Ｓ８以下の処理が再び実行されるが、Ｓ９の判断が肯定される場合には、それをもって本ルーチンが終了させられる。

図２３に示す画像表示制御においては、先ず、ＳＳ１において、前記内視鏡２４の観察部３４により取得された画像（実画像）が前記映像表示装置２０に表示される。このＳＳ１の処理は必ずしも実行されなくともよい。次に、ＳＳ２において、前記映像表示装置２０に前記大腸の外形像を表示させる外形像表示モードであるか否かが判断される。このＳＳ２の判断が否定される場合には、ＳＳ４以下の処理が実行されるが、ＳＳ２の判断が肯定される場合には、ＳＳ３において、Ｓ２にて読み出された３次元画像データに基づいて前記大腸の外形を示す外形像が生成され、前記映像表示装置２０に表示されると共に、Ｓ７にて推定された前記内視鏡２４の観察位置が前記大腸の外形像上に表示される。

次に、ＳＳ４において、前記映像表示装置２０に前記大腸の仮想内視鏡画像を表示させる仮想内視鏡画像表示モードであるか否かが判断される。このＳＳ４の判断が否定される場合には、ＳＳ６以下の処理が実行されるが、ＳＳ４の判断が肯定される場合には、ＳＳ５において、Ｓ２にて読み出された３次元画像データに基づいて、Ｓ７にて推定された前記内視鏡２４の観察位置に対応する前記大腸の仮想内視鏡画像が生成され、前記映像表示装置２０に表示される。次に、ＳＳ６において、前記映像表示装置２０に前記大腸の仮想展開像を表示させる仮想展開像表示モードであるか否かが判断される。このＳＳ６の判断が否定される場合には、ＳＳ８以下の処理が実行されるが、ＳＳ６の判断が肯定される場合には、ＳＳ７において、Ｓ２にて読み出された３次元画像データに基づいて前記大腸の仮想展開像が生成され、前記映像表示装置２０に表示されると共に、Ｓ７にて推定された前記内視鏡２４の観察位置の誤差に基づいて、前記大腸の仮想展開像における前記内視鏡２４の観察位置を含む所定範囲の明度が、余の部分よりも明るく表示させられる。

次に、ＳＳ８において、Ｓ２にて読み出された３次元画像データに基づいて、前記大腸に病変が疑われる部位が存在するか否かが判断される。このＳＳ８の判断が否定される場合には、ＳＳ１０以下の処理が実行されるが、ＳＳ８の判断が肯定される場合には、ＳＳ９において、検出された病変の存在が前記映像表示装置２０に表示される。好適には、ＳＳ３にて表示された外形像、ＳＳ５にて表示された仮想内視鏡画像、ＳＳ７にて表示された仮想展開像のうち少なくとも１つにおける、検出された病変に対応する部位にその存在を表示させる。次に、ＳＳ１０において、Ｓ７にて推定された前記内視鏡２４の観察位置が、ＳＳ８にて検出された病変付近に達したか否かが判断される。このＳＳ１０の判断が否定される場合には、それをもって図２２に示す制御に復帰させられるが、ＳＳ１０の判断が肯定される場合には、ＳＳ１１において、前記内視鏡２４の観察位置が、前記大腸における病変が疑われる部位に接近している警告が前記映像表示装置２０等において報知された後、それをもって図２２に示す制御に復帰させられる。

以上の制御において、Ｓ３が前記仮想芯線算出部５０の動作に、Ｓ４が前記内視鏡線算出部５２の動作に、Ｓ５及びＳ６が前記マッチング処理部５４の動作に、Ｓ５が前記座標系レジストレーション処理部５６の動作に、Ｓ６が前記線レジストレーション処理部５８の動作に、Ｓ７が前記観察位置推定部６０の動作に、ＳＳ８が前記病変存在検出部６２の動作に、ＳＳ１１が前記病変報知制御部６４の動作に、ＳＳが前記画像表示制御部６６の動作に、ＳＳ１が前記実内視鏡画像表示制御部６８の動作に、ＳＳ３が前記臓器図像表示制御部７０の動作に、ＳＳ５が前記仮想内視鏡画像表示制御部７２の動作に、ＳＳ７が前記仮想展開像表示制御部７４の動作に、ＳＳ９が前記病変検出結果表示制御部７６の動作に、それぞれ対応する。

このように、本実施例によれば、前記３次元画像データに基づいて前記管腔臓器の長手方向に沿った仮想芯線１００を算出する仮想芯線算出部５０（Ｓ３）と、前記管腔臓器内に挿入された前記内視鏡２４の形状を示す内視鏡線９８を算出する内視鏡線算出部５２（Ｓ４）と、前記仮想芯線算出部５０により算出された前記仮想芯線１００と、前記内視鏡線算出部５２により算出された前記内視鏡線９８との対応関係を導出するマッチング処理部５４（Ｓ５及びＳ６）と、そのマッチング処理部５４により導出された対応関係に基づいて、前記管腔臓器内における前記内視鏡２４の観察位置を推定する観察位置推定部５６（Ｓ７）とを、備えたものであることから、大腸等の変形しやすい管腔臓器であっても、その管腔臓器の仮想芯線１００と前記内視鏡の形状を示す内視鏡線９８とのマッチングにより、内視鏡２４による観察の支援を好適に実現することができる。すなわち、大腸等の管腔臓器の観察を支援する支援装置１０を提供することができる。

前記仮想芯線算出部５０により算出された前記仮想芯線１００に対応する座標系と、前記内視鏡線算出部５２により算出された前記内視鏡線９８に対応する座標系との対応付けを行う座標系レジストレーション処理部５６（Ｓ５）を備え、前記マッチング処理部５４は、その座標系レジストレーション処理部５６による対応付けの結果に基づいて、前記仮想芯線１００と前記内視鏡線９８との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線１００と前記内視鏡２４の形状を示す内視鏡線９８との対応関係を導出できる。

前記マッチング処理部５４は、前記仮想芯線算出部５０により算出された前記仮想芯線１００について複数のランドマーク１０６を検出し、それら複数のランドマーク１０６に基づいて前記仮想芯線１００と前記内視鏡線９８との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線１００と前記内視鏡２４の形状を示す内視鏡線９８との対応関係を導出できる。

前記３次元画像データに基づいて前記管腔臓器の図像である外形像１１２を表示させ、前記観察位置推定部５６により推定される前記内視鏡２４の観察位置を前記外形像１１２上に表示させる臓器図像表示制御部７０（ＳＳ３）を備えたものであるため、内視鏡２４による観察位置を、観察対象である管腔臓器の外形像１１２上に表示させる実用的な内視鏡ナビゲーションを実現できる。

前記３次元画像データに基づいて、前記観察位置推定部５６により推定される前記内視鏡２４の観察位置に対応する前記管腔臓器の仮想内視鏡画像１１６を表示させる仮想内視鏡画像表示制御部７２（ＳＳ５）を備えたものであるため、内視鏡２４による観察位置に対応する管腔臓器の仮想内視鏡画像１１６を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記仮想内視鏡画像表示制御部７２は、前記３次元画像データに基づいて、前記観察位置推定部５６により推定される前記内視鏡２４の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像１１８を表示させるものであるため、内視鏡２４による観察位置に対応する管腔臓器の全球型仮想内視鏡画像１１８を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記３次元画像データに基づいて前記管腔臓器の仮想展開像１２０を表示させ、前記観察位置推定部５６により推定される前記内視鏡２４の観察位置を前記管腔臓器の仮想展開像１２０上に表示させる仮想展開像表示制御部７４（ＳＳ７）を備えたものであるため、内視鏡２４による観察位置に対応する管腔臓器の仮想展開像１２０を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記仮想展開像表示制御部７４は、前記観察位置推定部５６により推定される前記内視鏡２４の観察位置の誤差に基づいて、前記管腔臓器の仮想展開像１２０における前記内視鏡２４の観察位置を含む所定範囲１２０ａの表示を、余の部分１２０ｂ、１２０ｃとは異なる表示とするものであるため、内視鏡２４による観察位置に対応する管腔臓器の仮想展開像１２０を更に分かり易く表示させる内視鏡ナビゲーションを実現できる。

前記３次元画像データに基づいて前記管腔臓器における病変の存在を検出する病変存在検出部６２（ＳＳ８）と、その病変存在検出部６２による検出結果を表示させる病変検出結果表示制御部７６（ＳＳ９）とを、備えたものであるため、内視鏡２４による観察対象である管腔臓器における病変の有無を表示させる実用的な内視鏡ナビゲーションを実現できる。

前記観察位置推定部５６により推定される前記内視鏡２４の観察位置が、前記病変存在検出部６２により検出された病変付近に達した場合には、その旨の報知を行う病変報知制御部６４（ＳＳ１１）を備えたものであるため、内視鏡２４による観察位置が病変付近に達した場合、その旨の報知を行う実用的な内視鏡ナビゲーションを実現できる。

前記臓器図像表示制御部７０により表示される前記管腔臓器の外形像１１２、前記仮想内視鏡画像表示制御部７２により表示される前記管腔臓器の仮想内視鏡画像１１６、全球型仮想内視鏡画像１１８、及び、前記仮想展開像表示制御部７４により表示される前記管腔臓器の仮想展開像１２０のうち少なくとも１つを表示させ、前記病変検出結果表示制御部７６は、前記病変存在検出部６２により検出された病変の存在を、前記管腔臓器の外形像１１２、前記管腔臓器の仮想内視鏡画像１１６、全球型仮想内視鏡画像１１８、及び前記管腔臓器の仮想展開像１２０のうち少なくとも１つにおける、検出された病変に対応する部位に表示させるものであるため、各画像上に検出された病変部位を表示させることで、実用的且つ分かり易い内視鏡ナビゲーションを実現できる。

前記マッチング処理部５４は、前記仮想芯線１００の形状に基づいてその仮想芯線１００における複数のランドマーク１０６を検出し、検出された前記仮想芯線１００における複数のランドマーク１０６から前記内視鏡線９８までの距離に基づいて前記仮想芯線１００と前記内視鏡線９８との対応関係を導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線１００と前記内視鏡２４の形状を示す内視鏡線９８との対応関係を導出できる。

前記マッチング処理部５４は、前記ランドマーク１０６相互間における前記仮想芯線１００上の各点及び前記内視鏡線９８上の各点における対応関係を線形補間により導出するものであるため、好適且つ実用的な態様で前記管腔臓器の仮想芯線１００と前記内視鏡２４の形状を示す内視鏡線９８との対応関係を導出できる。

前記マッチング処理部５４は、相互に隣接する前記ランドマーク１０６相互間に含まれる前記内視鏡線９８の長さが変更される毎に、前記仮想芯線１００と前記内視鏡線９８との対応関係を更新するものであるため、前記管腔臓器から内視鏡２４が引き抜かれたり挿入されたたりする毎に、前記管腔臓器の仮想芯線１００と前記内視鏡２４の形状を示す内視鏡線９８との対応関係をリアルタイムで導出できる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、前記支援装置１０は、前記内視鏡２４による管腔臓器としての大腸の観察を支援するものであったが、本発明はこれに限定されるものではなく、例えば、前記内視鏡２４による小腸等の管腔臓器の観察を支援するものであってもよい。

前述の実施例において、前記内視鏡２４は、その先端部に単一の観察部３４を備えたものであったが、前記管状部３２の先端部に加え、或いは先端部を除く中腹に単数乃至複数の観察部３４を備えたものであってもよい。斯かる内視鏡２４による観察において、前記支援装置１０における観察位置推定部６０は、好適には、前記内視鏡２４における複数の観察部３４それぞれに対応する観察位置を推定する。

前述の実施例においては、前記外形像１１２、仮想内視鏡画像１１６、及び仮想展開像１２０が、前記映像表示装置２０における１画面に表示される表示態様について説明したが、複数の映像表示装置２０が設けられており、前記外形像１１２、仮想内視鏡画像１１６、及び仮想展開像１２０がそれぞれ異なる画面（異なる映像表示装置）に表示されるものであっても当然に構わない。

前述の実施例において、前記内視鏡２４の管状部３２には、所定の間隔で４つの位置センサ４２が設けられたものであったが、３つ以下の位置センサ或いは５つ以上の位置センサが設けられたものであってもよい。位置センサの数が多いほど、前記管腔臓器に対する前記内視鏡２４（管状部３２）の相対位置を好適に検出することができる。

前述の実施例において、前記マッチング処理部５４は、大腸に対応する前記仮想芯線１００において５つのランドマーク１０６を検出するものであったが、４つ以下のランドマーク或いは６つ以上のランドマークを検出するものであってもよい。検出されるランドマークの数が多いほど、前記仮想芯線１００と前記内視鏡線９８との対応関係を好適に導出することができる。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１０：内視鏡観察支援装置、２４：内視鏡、５０：仮想芯線算出部、５２：内視鏡線算出部、５４：マッチング処理部、５６：座標系レジストレーション処理部、６０：観察位置推定部、６２：病変存在検出部、６４：病変報知制御部、７０：臓器図像表示制御部、７２：仮想内視鏡画像表示制御部、７４：仮想展開像表示制御部、７６：病変検出結果表示制御部、９８：内視鏡線、１００：仮想芯線、１０６：ランドマーク、１１２：外形像（図像）、１１４：観察位置、１１６、１３６、１４６：仮想内視鏡画像、１１６ｄ、１１８ｄ、１２０ｄ、１３６ｄ：病変部位、１１８：全球型仮想内視鏡画像、１２０：仮想展開像、１２０ａ：所定範囲、１２０ｂ、１２０ｃ：余の部分、１３８：仰臥仮想展開像、１４０：伏臥仮想展開像、１４２：病変の存在、１４４：警告

Claims

予め得られた管腔臓器の３次元画像データに基づいて、該管腔臓器内に挿入された内視鏡による観察を支援する内視鏡観察支援装置であって、
前記３次元画像データに基づいて前記管腔臓器の長手方向に沿った仮想芯線を算出する仮想芯線算出部と、
前記管腔臓器内に挿入された前記内視鏡の形状を示す内視鏡線を算出する内視鏡線算出部と、
前記仮想芯線算出部により算出された前記仮想芯線と前記内視鏡線算出部により算出された前記内視鏡線との対応関係を導出するマッチング処理部と、
該マッチング処理部により導出された対応関係に基づいて前記管腔臓器内における前記内視鏡の観察位置を推定する観察位置推定部と
を、備えたものであることを特徴とする内視鏡観察支援装置。
前記仮想芯線算出部により算出された前記仮想芯線に対応する座標系と、前記内視鏡線算出部により算出された前記内視鏡線に対応する座標系との対応付けを行う座標系レジストレーション処理部を備え、
前記マッチング処理部は、該座標系レジストレーション処理部による対応付けの結果に基づいて、前記仮想芯線と前記内視鏡線との対応関係を導出するものである請求項１に記載の内視鏡観察支援装置。
前記マッチング処理部は、前記仮想芯線算出部により算出された前記仮想芯線について複数のランドマークを検出し、それら複数のランドマークに基づいて前記仮想芯線と前記内視鏡線との対応関係を導出するものである請求項１又は２に記載の内視鏡観察支援装置。
前記３次元画像データに基づいて前記管腔臓器の図像を表示させ、前記観察位置推定部により推定される前記内視鏡の観察位置を前記管腔臓器の図像上に表示させる臓器図像表示制御部を備えたものである請求項１から３の何れか１項に記載の内視鏡観察支援装置。
前記３次元画像データに基づいて、前記観察位置推定部により推定される前記内視鏡の観察位置に対応する前記管腔臓器の仮想内視鏡画像を表示させる仮想内視鏡画像表示制御部を備えたものである請求項１から４の何れか１項に記載の内視鏡観察支援装置。
前記仮想内視鏡画像表示制御部は、前記３次元画像データに基づいて、前記観察位置推定部により推定される前記内視鏡の観察位置に対応する前記管腔臓器の全球型仮想内視鏡画像を表示させるものである請求項５に記載の内視鏡観察支援装置。
前記３次元画像データに基づいて前記管腔臓器の仮想展開像を表示させ、前記観察位置推定部により推定される前記内視鏡の観察位置を前記管腔臓器の仮想展開像上に表示させる仮想展開像表示制御部を備えたものである請求項１から６の何れか１項に記載の内視鏡観察支援装置。
前記仮想展開像表示制御部は、前記観察位置推定部により推定される前記内視鏡の観察位置の誤差に基づいて、前記管腔臓器の仮想展開像における前記内視鏡の観察位置を含む所定範囲の表示を、余の部分とは異なる表示とするものである請求項７に記載の内視鏡観察支援装置。
前記３次元画像データに基づいて前記管腔臓器における病変の存在を検出する病変存在検出部と、
該病変存在検出部による検出結果を表示させる病変検出結果表示制御部と
を、備えたものである請求項１から８の何れか１項に記載の内視鏡観察支援装置。
前記観察位置推定部により推定される前記内視鏡の観察位置が、前記病変存在検出部により検出された病変付近に達した場合には、その旨の報知を行う病変報知制御部を備えたものである請求項９に記載の内視鏡観察支援装置。
請求項４に記載の臓器図像表示制御部により表示される前記管腔臓器の図像、
請求項５又は６に記載の仮想内視鏡画像表示制御部により表示される前記管腔臓器の仮想内視鏡画像、
及び、請求項７又は８に記載の仮想展開像表示制御部により表示される前記管腔臓器の仮想展開像
のうち少なくとも１つを表示させ、
請求項９に記載の病変検出結果表示制御部は、請求項９に記載の病変存在検出部により検出された病変の存在を、前記管腔臓器の図像、前記管腔臓器の仮想内視鏡画像、及び前記管腔臓器の仮想展開像のうち少なくとも１つにおける、検出された病変に対応する部位に表示させるものである
ことを特徴とする内視鏡観察支援装置。
前記マッチング処理部は、前記仮想芯線の形状に基づいて該仮想芯線における複数のランドマークを検出し、検出された前記仮想芯線における複数のランドマークから前記内視鏡線までの距離に基づいて前記仮想芯線と前記内視鏡線との対応関係を導出するものである請求項３に記載の内視鏡観察支援装置。
前記マッチング処理部は、前記ランドマーク相互間における前記仮想芯線上の各点及び前記内視鏡線上の各点における対応関係を線形補間により導出するものである請求項３又は１２に記載の内視鏡観察支援装置。
前記マッチング処理部は、相互に隣接する前記ランドマーク相互間に含まれる前記内視鏡線の長さが変更される毎に、前記仮想芯線と前記内視鏡線との対応関係を更新するものである請求項３、１２、及び１３の何れか１項に記載の内視鏡観察支援装置。