JP2011000173A - 内視鏡検査支援システム - Google Patents

Abstract

【課題】内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムの提供。
【解決手段】記憶部２８は、病変部に関する内視鏡画像のデータを記憶する。設定部１８は、病変部を有する管腔物に関するボリュームデータ上の所定領域内に複数の視点位置を設定する。生成部２０は、設定された複数の視点位置に基づいてボリュームデータから複数の仮想内視鏡画像のデータを生成する。類似度計算部３２は、生成された複数の仮想内視鏡画像のそれぞれと内視鏡画像との複数の類似度を計算する。表示部３８は、算出された複数の類似度のうちの特定の類似度を有する特定の仮想内視鏡画像と内視鏡画像とを並べて表示する。表示制御部３６は、特定の仮想内視鏡画像上に病変部領域が含まれる場合、表示部３８を制御して、特定の仮想内視鏡画像上の病変部領域に対応する内視鏡画像上の部分領域を強調表示させる。
【選択図】 図２

Description

本発明は、医用電子内視鏡検査を支援するための内視鏡検査支援システムに関する。

大腸内視鏡検査や気管支内視鏡検査等の医用電子内視鏡検査においては、予めＸ線ＣＴ装置により生成されたボリュームデータ（３次元ＣＴデータ）から仮想内視鏡画像（いわゆるPerspective Volume Renderingにより生成された投影画像）を生成し、生成された仮想内視鏡画像を内視鏡検査中に参照することがしばしばある。電子内視鏡はコンピュータシステムを含んでいるため、内視鏡画像と仮想内視鏡画像とを別々の表示装置に表示したり、１つの表示装置に内視鏡画像と仮想内視鏡画像とを並べて表示したりできる。こうしておくことにより、仮想内視鏡画像を観察するときの術者の視線移動を少なくすることができ、内視鏡検査における術者の負担が少なくなる。表示対象の仮想内視鏡画像の視野及び視線方向は、内視鏡画像の視野及び視線方向と同一である方が好ましい。このためには、ボリュームデータ内における、内視鏡スコープ先端部の位置と内視鏡スコープ先端部が向いている方向とを特定する必要がある。これについては、磁気を利用した位置センサを取り付けることによって解決できることが知られている。

また、このような位置センサを用いることなく多数の仮想内視鏡画像を予めデータベースに蓄積しておき、内視鏡画像と比較して一致度の高い仮想内視鏡画像を選択して表示する方法が特許文献１に開示されている。しかし、大腸などの長い臓器においては、視点位置と視線方向との組み合わせは膨大な数にのぼる。そのため膨大な数の投影画像を生成せねばならないため、処理時間が膨大にかかってしまう。従って、検査効率が悪い。また生成された投影画像のための記憶容量も膨大となり、コストの増加を招いてしまう。

一方、ポリープなどの突起物に代表される病変部（異常部位）をボリュームデータから検出する技術がある。上述の位置センサを取り付ければ、特許文献２に開示されている方法を用いることにより、ボリュームデータから検出された病変部の位置を内視鏡画像上に示すことができる。これにより検査効率が向上するが、位置センサを用いているのでシステム全体のコストが増加してしまう。

特開２００３―２６５４０８号公報 特開２００４―１８０９３２号公報

本発明の目的は、内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムを提供することにある。

本発明の第１局面に係る内視鏡検査支援システムは、病変部を有する管腔物に関するボリュームデータを記憶する第１記憶部と、前記管腔物に挿入された内視鏡スコープからの出力に基づいて生成された、前記病変部に関する内視鏡画像のデータを記憶する第２記憶部と、前記ボリュームデータ上の所定領域内に複数の視点位置を設定する設定部と、前記設定された複数の視点位置に基づいて前記ボリュームデータから複数の仮想内視鏡画像のデータを生成する生成部と、前記生成された複数の仮想内視鏡画像のそれぞれと前記内視鏡画像との複数の類似度を計算する計算部と、前記算出された複数の類似度のうちの特定の類似度を有する特定の仮想内視鏡画像と前記内視鏡画像とを並べて表示する表示部と、前記特定の仮想内視鏡画像上に病変部領域が含まれる場合、前記表示部を制御して、前記病変部領域に対応する前記内視鏡画像上の部分領域を強調表示させる表示制御部と、を具備する。

本発明によれば、内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムを提供することが可能となる。

本発明の実施形態に係る内視鏡検査支援システムの構成を示す図。 第１実施形態に係る内視鏡検査支援システムの主要機能の構成を示す図。 第１実施形態に係る大腸内視鏡検査の支援処理における、画像処理装置の動作の流れの典型例を示す図。 図３のステップＳＡ１の前段階において表示部に表示される表示画面の一例を示す図。 図３のステップＳＡ１における内視鏡スコープの挿入長さの入力例を示す図。 図３のステップＳＡ２における探索領域の設定処理を説明するための図。 図３のステップＳＡ７に係り、視点位置と向きとが同一であるが、回転量が異なる２つの仮想内視鏡画像を模式的に示す図。 図３のステップＳＡ９において表示部に表示される表示画面の一例を示す図。 第２実施形態に係る内視鏡検査支援システムの主要機能の構成を示す図。 図９の超音波振動子の配置例を示す図。 第２実施形態に係る大腸内視鏡検査の支援処理における、画像処理装置の動作の流れの典型例を示す図。 図１１のステップＳＢ３における仮想内視鏡距離画像の生成処理を説明するための図。 図１１のステップＳＢ５における内視鏡距離画像の生成処理を説明するための図。 第３実施形態に係る内視鏡検査支援システムの主要機能の構成を示す図。 図１４の超音波振動子の配置例を示す図。 第３実施形態に係る大腸内視鏡検査の支援処理における、画像処理装置の動作の流れの典型例を示す図。 図１６のステップＳＣ３における探索領域の設定処理を説明するための図。

以下、図面を参照しながら本発明の実施形態に係わる内視鏡検査支援システムを説明する。なお、本実施形態に係る内視鏡検査システムの検査対象は、大腸や小腸、食道等の管腔物である。以下の説明を具体的に行うため、内視鏡検査システムの検査対象は大腸であるとする。

（第１実施形態）
図１は、第１実施形態に係る内視鏡検査システムの構成を示す図である。図１に示すように、内視鏡検査システムは、画像処理装置１０と内視鏡スコープ５０とを有している。画像処理装置１０は、内視鏡検査システムの中枢として機能し、内視鏡検査を支援するための様々な機能を有する。例えば、画像処理装置１０は、内視鏡スコープ５０の先端部５６に光や水、空気を供給する。また、画像処理装置１０は、内視鏡スコープ５０の先端部５６に設けられたＣＣＤ（Charge-Coupled Device）からの出力信号に基づいて生成されたデジタル画像（以下、内視鏡画像と呼ぶことにする）を表示する。

内視鏡スコープ５０は、スコープ操作部５２、挿入部５４、及び先端部５６を有する。スコープ操作部５２は、先端部５６を屈曲させるためのアングルノブ、先端部５６から管腔内に送水、送気するための送水・送気ボタン、先端部５６から粘液等を吸引するための吸引ボタン、組織採取等を行うための鉗子を挿入するための鉗子挿入口を有する。挿入部５２には、先端部５６からの距離を測るための目盛りが設けられている。先端部５６の表面には、ライトガイド、対物レンズ、送水・送気ノズル、鉗子口が設けられている。

図２は、第１実施形態に係る内視鏡検査システムの主要機能の構成図である。図２に示すように、内視鏡検査システムは、データ送受信部１２、ボリュームデータ記憶部１４、入力部１６、生成条件設定部１８、仮想内視鏡画像生成部２０、仮想内視鏡画像記憶部２２、仮想内視鏡特徴画像生成部２４、ＣＣＤ５８、内視鏡画像生成部２６、内視鏡画像記憶部２８、内視鏡特徴画像生成部３０、類似度計算部３２、画像選択部３４、表示制御部３６、及び表示部３８を備える。なお、データ送受信部１２、ボリュームデータ記憶部１４、入力部１６、生成条件設定部１８、仮想内視鏡画像生成部２０、仮想内視鏡画像記憶部２２、仮想内視鏡特徴画像生成部２４、内視鏡画像生成部２６、内視鏡画像記憶部２８、内視鏡特徴画像生成部３０、類似度計算部３２、画像選択部３４、表示制御部３６、及び表示部３８は画像処理装置１０に実装され、ＣＣＤ５８は内視鏡スコープ５０に実装される。

データ送受信部１２は、ネットワークを介して他のコンピュータシステムとの間でデータを送受信する。具体的には、データ送受信部１２は、Ｘ線ＣＴ装置により生成されたボリュームデータ（３次元ＣＴデータ）を受信するために用いられる。ボリュームデータは、被検体の大腸に関する大腸領域を含む。この大腸領域には、大腸の病変部（異常部位）に関する病変部領域が含まれているものとする。さらに大腸領域は、ボリュームデータは、内視鏡スコープの挿入位置、すなわち肛門に関する挿入領域を含む。また、データ送受信部１２は、ボリュームデータ内の病変部領域の位置を示すデータ、及びボリュームデータ内の大腸領域の中心線の位置を示すデータを受信するために用いられる。なお。病変部領域の位置や大腸領域の中心線の位置を決定する方法は、既に実用化されており既知の技術である。そのため、これら位置の決定方法の説明は省略する。

ボリュームデータ記憶部１４は、ハードディスクや半導体メモリ等からなる記憶装置を含む。ボリュームデータ記憶部１４は、データ送受信部１２により受信されたボリュームデータや、病変部領域の位置を示すデータ、大腸領域の中心線の位置を示すデータを記憶する。

入力部１６は、術者からの各種指令や情報入力を受け付ける。具体的には、入力部１６は、先端部５６から挿入位置までの距離や、内視鏡スコープ５０の視野角のデータを入力する。入力部１６は、マウスやトラックボールなどのポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスにより構成される。

生成条件設定部１８は、入力部１６から距離のデータと視野角のデータとを受け取り、ボリュームデータ記憶部１４からボリュームデータと大腸中心線の位置のデータとを受け取る。次に、生成条件設定部１８は、仮想内視鏡画像の視点位置や視線方向の設定対象となる領域（以下、探索領域と呼ぶことにする）をボリュームデータ内に設定する。そして生成条件設定部１８は、設定された探索領域内に限定して複数の視点位置及び視線方向を設定する。

仮想内視鏡画像生成部２０は、生成条件設定部１８により設定された複数の視点位置及び視線方向に基づいて、複数の仮想内視鏡画像のデータをボリュームデータから生成する。具体的には、仮想内視鏡画像生成部２０は、設定された視点位置及び視線方向でボリュームデータをPerspective Volume Rendering処理して仮想内視鏡画像のデータを生成する。また、仮想内視鏡画像生成部２０は、生成された仮想内視鏡画像に病変部に関する病変部領域が含まれるのであれば、この病変部領域の位置のデータを仮想内視鏡画像のデータに関連付ける。

仮想内視鏡画像記憶部２２は、仮想内視鏡画像生成部２０により生成された複数の仮想内視鏡画像のデータを記憶する。仮想内視鏡画像記憶部２２は、１つの探索領域について生成された全ての仮想内視鏡画像のデータに対して、重複しないＩＤを割り付けて管理する。

仮想内視鏡特徴画像生成部２４は、仮想内視鏡画像記憶部２０から複数の仮想内視鏡画像のデータを読み出す。そして仮想内視鏡特徴画像生成部２４は、読み出された複数の仮想内視鏡画像に画像の特徴を強調するための画像処理をして、後述する類似度計算のための複数の特徴画像（以下、仮想内視鏡特徴画像と呼ぶことにする）のデータを生成する。

ＣＣＤ５８は、内視鏡スコープ５０の先端部５６に多数設けられる。ＣＣＤは、物体により反射された光を受信し、受信された光に応じた電気信号を出力する。出力された電気信号は、スコープ操作部５４を介して内視鏡画像生成部２６に供給される。

内視鏡画像生成部２６は、ＣＣＤ２８からの電気信号に基づいてデジタルの内視鏡画像のデータを生成する。内視鏡画像は、内視鏡スコープ５０の視野角に応じた視野を有する。生成される内視鏡画像は、カラー画像である。

内視鏡画像記憶部２８は、内視鏡画像生成部２６により生成された内視鏡画像のデータを一時的に記憶する。

内視鏡特徴画像生成部３０は、内視鏡画像記憶部２８から内視鏡画像のデータを読み出し、読み出された内視鏡画像に画像の特徴を強調するための画像処理をして、類似度計算のための特徴画像（以下、内視鏡特徴画像と呼ぶことにする）のデータを生成する。

類似度計算部３２は、仮想内視鏡特徴画像生成部２４により生成された複数の仮想内視鏡特徴画像のデータを読み出し、内視鏡特徴画像生成部３０から内視鏡特徴画像のデータを読み出す。そして類似度計算部３２は、複数の仮想内視鏡特徴画像のそれぞれと内視鏡特徴画像との間の複数の類似度を計算する。

画像選択部３４は、類似度計算部３２により計算された複数の類似度の中から最大類似度を特定し、特定された最大類似度に対応する仮想内視鏡画像のデータを仮想内視鏡画像記憶部２２に記憶されている複数の仮想内視鏡画像のデータの中から選択する。

表示制御部３６は、最大類似度に対応する仮想内視鏡画像と内視鏡画像とを並べて表示部３８に表示させる。そして表示制御部３６は、最大類似度に対応する仮想内視鏡画像上に病変部領域がある場合、表示部３８を制御して、この病変部領域を強調して表示させる。また、この場合表示制御部３６は、仮想内視鏡画像上の病変部領域に対応する内視鏡画像上の領域を特定し、表示部３８を制御して、特定された領域を強調して表示させる。

表示部３８は、表示制御部３６による制御のもと、仮想内視鏡画像と内視鏡画像とを表示する。表示部３８は、ＣＲＰディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等の表示デバイスにより実現される。

次に第１実施形態に係る内視鏡検査システムの動作を詳細に説明する。図３は、第１実施形態に係る大腸内視鏡検査の支援処理における、画像処理装置１０の動作の流れの典型例を示す図である。なお、内視鏡検査の全段階においてデータ送受信部１２は、ネットワークを介してボリュームデータ、画像処理により特定されたボリュームデータ内の病変部領域の位置を示すデータ、画像処理により特定されたボリュームデータ内の大腸中心線の位置を示すデータを受信し、ボリュームデータ記憶部１４に記憶しておくものとする。また、内視鏡スコープ５０の視野角に関するデータが入力部１６を介して入力されているものとする。

内視鏡検査において術者は、まず、患者の氏名や患者ＩＤ等のデータを入力し、内視鏡検査システムに検査開始を入力する。すると表示部５８は、図４のようなレイアウトで内視鏡画像Ｉ１等を表示する。表示画面は、内視鏡距離画像表示領域Ｒ１と仮想内視鏡画像表示領域Ｒ２とを有する。また、表示画面は、内視鏡スコープの挿入長さ、すなわち、探索開始時に挿入した内視鏡スコープの長さの入力欄Ｒ３を有する。画像処理装置１０は、この入力欄Ｒ３に内視鏡スコープの挿入長さの入力がなされることを待機する（ステップＳＡ１）。

術者は、表示部３８に表示された内視鏡画像を観察しながら、内視鏡スコープ５０の先端部５６を患者の肛門から少しずつ挿入し、観察する大腸の内壁を傷つけたり破ったりしないように細心の注意を払いながら内視鏡スコープ５０を操作して、ポリープ等の病変部を見つけ出す。内視鏡スコープ５０の操作とは、内視鏡スコープ５０を前に進めるあるいは後ろに戻す、または、先端部５６を意図する方向に曲げるなどといったものである。

病変部を見つけ出すと術者は、内視鏡スコープ５０の挿入部５４に設けられたメモリを読み、内視鏡スコープ５０の挿入長さを読み取る。そして術者は、読み取った内視鏡スコープ５０の挿入長さを入力部１６を介して入力する。図５は、入力後の表示画面の一例を示す図である。この例では、内視鏡スコープ５０の挿入長さは、２ｃｍである。

術者により入力部１６を介して内視鏡スコープ５０の挿入長さが入力されると（ステップＳＡ１）、生成条件設定部１８は、生成条件の設定処理を開始する（ステップＳＡ２）。設定処理において生成条件設定部１８は、まず探索領域を設定する。

図６は、探索領域の設定処理を説明するための図である。図６に示すように、ボリュームデータＶＤには、挿入位置に対応する挿入領域ＲＳを含んだ大腸領域ＲＤを含んでいる。また、この大腸領域ＲＤは、病変部に対応する病変部領域ＲＢを含んでいる。この病変部領域ＲＢは、ポリープ等に由来し、大腸領域ＲＤの内側に向けて隆起している。ボリュームデータＶＤには、この病変部領域ＲＢの位置のデータ、すなわち座標のデータが関連付けられている。また、ボリュームデータＶＤには、大腸領域ＲＤの中心線である大腸中心線ＬＤの位置のデータが関連付けられている。

生成条件設定部１８は、入力された内視鏡スコープ５０の挿入長さだけ大腸中心線を挿入領域からトレースし、内視鏡スコープ５０の挿入長さに対応する大腸中心線ＬＤ上の位置ＰＴを算出する。例えば、内視鏡スコープ５０の挿入長さが２ｃｍの場合、開始点から大腸中心線ＬＤに沿って２ｃｍ進んだ所の点を算出する。算出された位置ＰＴが探索領域ＲＴの中心位置となる。この探索領域ＲＴ内で、仮想内視鏡画像を生成する際に必要な複数の視点位置が設定される。すなわち、探索領域ＲＴは、視点位置を変化させる領域であるといえる。探索領域ＲＴは、中心位置ＰＴを中心とする半径Ｒの球体内部である。但し、大腸領域ＲＤの外側（図６の斜線部）は、探索領域から除外される。半径Ｒの値は予め設定されているものとする。

生成条件設定部１８は、この探索領域内に複数の視点位置を設定する。そして視点位置が設定されると生成条件設定部１８は、設定された視点位置について視線方向を設定する。視線方向の範囲は、視点位置周りの全方位角である。視点位置及び視線方向の組み合わせは、無限に存在するが、実際には、入力部１６により入力された視野角を考慮してその範囲を限定し、さらに所定間隔をおいて離散的に視点位置及び視線方向を設定する。例えば、視点位置は２〜３ｍｍおきに、視線方向は５度おきに設定される。これは、参照する仮想内視鏡画像と内視鏡画像との間で、視点位置が２〜３ｍｍ、視線方向が５度だけ異なっていても実用上は問題ないからである。設定された複数の視点位置及び視線方向のデータ、それに入力部１６により入力された視野角のデータは、仮想内視鏡画像生成部２０に供給される。

なお、上記のように探索領域を設定するのは初回のみである。２回目以降は、後述する仮想内視鏡画像記憶部２２から視点位置及び視線方向のデータを受け取り、受け取ったデータを用いて新たに探索領域を設定する。この際、視線方向の範囲は、全方位角にする必要はなく、予め設定されたもっと狭い範囲でよい。

視点位置及び視線方向が設定されると、仮想内視鏡画像生成部２０は、仮想内視鏡画像の生成処理を開始する（ステップＳＡ３）。仮想内視鏡画像の生成処理において仮想内視鏡画像生成部２０は、まず、ボリュームデータ記憶部１４からボリュームデータを読み出し、生成条件設定部１８から複数の視点位置及び視線方向のデータ、そして視野角のデータを受け取る。そして、仮想内視鏡画像生成部２０は、受け取った複数の視点位置及び視線方向でボリュームデータをPerspective Volume Rendering処理し、複数の仮想内視鏡画像のデータを生成する。この際、生成された仮想内視鏡画像の視野角は、生成条件設定部１８から受け取った視野角、すなわち内視鏡スコープ５０（内視鏡画像）の視野角と同一である。投影の際の色付けのためのカラーテーブルは、モノクロ画像が生成されるように定義されている。空気に相当するＣＴ値については不透明度（オパシティ）をゼロに設定する。生成された仮想内視鏡画像のデータは、視点位置及び視線方向のデータに関連付けて仮想内視鏡画像記憶部２２に記憶される。また、仮想内視鏡画像に病変部領域の少なくとも一部が含まれている場合、この仮想内視鏡画像上の病変部領域の位置のデータも関連付けて仮想内視鏡画像記憶部２２に記憶される。

複数の仮想内視鏡画像のデータが生成されると仮想内視鏡特徴画像生成部２４は、仮想内視鏡特徴画像の生成処理を開始する（ステップＳＡ４）。仮想内視鏡特徴画像の生成処理におい仮想内視鏡特徴画像生成部２４は、まず、仮想内視鏡画像記憶部２２から複数の仮想内視鏡画像のデータとそのＩＤとを受け取る。そして仮想内視鏡特徴画像生成部２４は、複数の仮想内視鏡画像に画像処理をして、複数の仮想内視鏡特徴画像のデータを生成する。具体的には、仮想内視鏡特徴画像生成部２４は、仮想内視鏡画像に微分フィルタ処理を施すことによりエッジ強調画像、すなわち仮想内視鏡特徴画像のデータを生成する。なお、仮想内視鏡特徴画像は、エッジ強調画像のみに限定されるものではない。画像の特徴を強調する他の画像処理を施して生成された他の特徴画像であってもよい。生成された仮想内視鏡特徴画像のデータとそのＩＤとは、類似度計算部３２に供給される。

一方、内視鏡スコープ５０の作動中、内視鏡画像生成部２６は、内視鏡スコープ５０の先端部５６に設けられたＣＣＤからの電気信号に基づいて内視鏡画像のデータを生成する（ステップＳＡ５）。病変部が見つかった時点において生成された内視鏡画像には、病変部が描出されている。生成された内視鏡画像のデータは、一時的に内視鏡画像記憶部２８に記憶される。

内視鏡画像のデータが生成されると内視鏡特徴画像生成部３０は、内視鏡特徴画像の生成処理を開始する（ステップＳＡ６）。内視鏡特徴画像の生成処理において内視鏡特徴画像生成部３０は、まず、内視鏡画像記憶部２８から内視鏡画像のデータを読み出す。そして内視鏡特徴画像生成部３０は、読み出された内視鏡画像に画像処理をして内視鏡特徴画像のデータを生成する。具体的には、内視鏡特徴画像生成部３０は、カラーの内視鏡画像をモノクロの内視鏡画像に変換し、モノクロの内視鏡画像に微分フィルタ処理を施すことによりエッジ強調画像、すなわち内視鏡特徴画像のデータを生成する。内視鏡特徴画像の生成方法は、仮想内視鏡特徴画像の生成方法と同様であるため、内視鏡特徴画像生成部３０を設けず、仮想内視鏡特徴画像生成部２４が内視鏡特徴画像生成部３０の機能を兼ねることも可能である。生成された内視鏡特徴画像のデータは、類似度計算部３２に供給される。

仮想内視鏡特徴画像生成部２４により仮想内視鏡特徴画像のデータが生成され、内視鏡特徴画像生成部３０により内視鏡特徴画像のデータが生成されると、類似度計算部３２は、類似度の計算処理を行う（ステップＳＡ７）。類似度の計算処理において類似度計算部３２は、まず、仮想内視鏡特徴画像生成部２４から複数の仮想内視鏡特徴画像のデータとそれらのＩＤとを受け取り、内視鏡特徴画像生成部３０から内視鏡特徴画像のデータを受け取る。そして類似度計算部３２は、各仮想内視鏡特徴画像と内視鏡特徴画像との類似度を計算する。類似度としては、例えば、２つの画像の相関係数が採用される。相関係数を計算する際、類似度計算部３２は、仮想内視鏡特徴画像上の病変部領域と同座標にある内視鏡画像上の画素領域の位置を、病変部領域の位置として特定する。そして類似度計算部３２は、特定された病変部領域の位置のデータを内視鏡画像のデータに関連付けられて内視鏡画像記憶部２８に記憶される。

他の類似度としては、例えば、対応するピクセルの差の自乗和であってもよい。全ての仮想内視鏡特徴画像について類似度が計算されると類似度の計算処理は終了する。類似度のデータとＩＤのデータとは、関連付けられて仮想内視鏡画像記憶部２２に記憶される。また、類似度のデータは、画像選択部３４に供給される。

なお、類似度計算部３２は、回転量を考慮して類似度の計算時間を短縮してもよい。図７は、視点位置と向きとが同一であるが、回転量が異なる２つの仮想内視鏡画像を模式的に示す図である。このように、視点位置と向きとが同一であっても回転量が異なれば、計算される類似度も異なる。多数の回転量に対応する仮想内視鏡画像を生成することなく、内視鏡画像との類似度を計算できる方法が特開２００３−２６５４０８に開示されている。類似計算部３２は、この技術を適用して、１つの視線方向で最適な回転量を選んで類似度を計算する。これにより、類似度計算のための仮想内視鏡画像の作成枚数と類似度計算量とを減少させることができる。

類似度計算部３２により複数の類似度が計算されると画像選択部３４は、画像選択処理を開始する（ステップＳＡ８）。画像選択処理において画像選択部３４は、まず、類似度計算部３２から複数の類似度のデータを受け取る。そして画像選択部３４は、受け取った複数の類似度の中から最大の類似度を特定する。そして特定された最大の類似度を検索キーワードとして仮想内視鏡画像記憶部２２を検索し、複数の仮想内視鏡画像の中から最大類似度に関連付けられたＩＤを有する仮想内視鏡画像のデータを選択する。選択された仮想内視鏡画像のデータは、表示制御部３６に供給される。なお、ステップＳＡ７において、類似度としてピクセルの差の自乗和が計算された場合、最小の自乗和に対応する仮想内視鏡画像のデータが選択される。

画像選択部３２により仮想内視鏡画像のデータが選択されると表示制御部３６は、表示処理を開始する（ステップＳＡ９）。表示処理において表示制御部３６は、まず、画像選択部３２から仮想内視鏡画像のデータを受け取り、内視鏡画像記憶部２８から内視鏡画像のデータを読み出す。そして表示制御部３６は、これら仮想内視鏡画像と内視鏡画像とを並べて表示部３８に表示する。この際、仮想内視鏡画像に病変部領域の位置のデータが関連付けられている場合、表示制御部３６は、図８に示すように、この病変部領域を指し示す矢印等のマークＡ２を仮想内視鏡画像Ｉ２に重ねて表示することにより病変部領域を強調表示する。また、表示制御部３６は、内視鏡画像Ｉ１に病変部領域の位置のデータが関連付けられている場合、内視鏡画像Ｉ１上の病変部領域を指し示す矢印Ａ１等のマークを重ねて表示する。なお、病変部領域の強調表示の方法はこれに限定されない。例えば、病変部領域の輪郭を色や輝度で強調して表示したり、点滅させたりしてもよい。このように内視鏡検査中に、仮想内視鏡画像と内視鏡画像とのそれぞれで病変部領域の位置が強調されることにより、術者による病変部の見落としが減少する。なお表示制御部３６は、仮想内視鏡画像をモノクロ画像のまま表示してもよいし、任意のカラーテーブルを用いてモノクロ画像からカラー画像に変換して表示してもよい。

以上で大腸内視鏡検査の支援処理が終了する。なお、この支援処理は、内視鏡画像が生成されるたびに繰り返し行われる。従って術者が内視鏡スコープを操作するにつれて、表示される仮想内視鏡画像が更新される。但し、上述したように２回目以降は１回目に比して探索領域が縮小されるので、処理時間が短縮される。

上記構成により第１実施形態に係る内視鏡検査支援システムは、入力部１６を介して入力された内視鏡スコープ５０の挿入距離に基づいて視点位置の設定範囲である探索領域を決定している。これにより、大腸領域全体を設定範囲としていた従来に比して視点位置及び視線方向の設定範囲を大幅に制限するこができる。この結果、記録領域の小容量化や、計算時間の削減を図ることができる。また、内視鏡スコープ５０の位置を位置センサにより特定していた従来に比して、位置センサのためのコストの増加を防ぐことができる。また、特徴画像同士で類似度を計算することにより、内視鏡画像に解剖学的に最も一致する仮想内視鏡画像を適切に選択し表示することができる。そして、予め特定されている病変部領域を内視鏡領域上の適切な位置で強調して表示している。これにより記憶領域の少量化や計算時間の削減、安価な製造コストを実現しながら、内視鏡検査における高い検査効率を実現している。また、仮想内視鏡画像と内視鏡画像とのそれぞれから特徴画像を生成し、生成された特徴画像同士で仮想内視鏡画像と内視鏡画像との類似度を計算している。従って、仮想内視鏡画像と内視鏡画像との一致精度は、仮想内視鏡画像と内視鏡画像とを直接的に類似度に用いる場合に比して向上する。従って、内視鏡画像上の病変部領域の強調表示に関する位置精度が実用上満足のいくレベルとなる。かくして第１実施形態によれば、内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムを提供することが可能となる。

（第２実施形態）
図９は第２実施形態に係る内視鏡検査システムの主要機能の構成図である。図９に示すように、内視鏡検査システムは、データ送受信部１２、ボリュームデータ記憶部１４、入力部１６、生成条件設定部１８、仮想内視鏡距離画像生成部７０、仮想内視鏡距離画像記憶部７２、超音波振動子６０、超音波送受信部７４、内視鏡距離画像生成部７６、類似度計算部７８、仮想内視鏡画像生成部８０、ＣＣＤ５８、内視鏡画像生成部２６、内視鏡画像記憶部２８、表示制御部３６、及び表示部３８を備える。なお、第１実施形態と同様の機能を有する構成要素には同一符号を付し、重複説明は必要な場合のみ行う。

仮想内視鏡距離画像生成部７０は、生成条件設定部１８により設定された複数の視点位置及び視線方向に基づいてボリュームデータから複数の距離画像（以下、仮想内視鏡距離画像と呼ぶことにする）のデータを生成する。なお、仮想内視鏡距離画像は、視点から大腸領域の内壁までの直線距離をピクセル値とする２次元画像である。

仮想内視鏡距離画像記憶部７２は、仮想内視鏡距離画像生成部７０により生成され複数の仮想内視鏡距離画像のデータと複数の視点位置及び視線方向のデータとをそれぞれ関連付けて記憶する。仮想内視鏡距離画像記憶部７２は、１つの探索領域について生成された全ての仮想内視鏡距離画像のデータには重複しないＩＤを割り付けて管理する。また、仮想内視鏡距離画像に病変部領域の位置のデータが関連付けられている場合、その位置のデータを仮想内視鏡距離画像に関連付けて記憶する。

超音波振動子６０は、図１０に示すように、内視鏡スコープの先端部５６の前面６２に複数配置される。超音波振動子６０は、例えば、超音波送受信部７４による制御のもと、内視鏡画像の視野内の各方向に超音波を送信する。送信された超音波は、管腔物の内壁に当たって反射する。超音波振動子６０は、この反射された超音波を受信し、電気信号に変換する。この電気信号は、超音波送受信部７４に供給される。

超音波送受信部７４は、超音波振動子６０から供給された電気信号から、視野内の各方向における超音波振動子６０から管腔物内壁までの距離を計算し、距離データを生成する。この距離データの生成処理は、超音波振動子６０毎に行なわれる。

内視鏡画像生成部７６は、超音波送受信部７４により生成された超音波振動子６０毎の距離データに基づいて２次元の距離画像（以下、内視鏡距離画像と呼ぶことにする）のデータを生成する。

類似度計算部７８は、仮想内視鏡距離画像記憶部７２から複数の仮想内視鏡距離画像のデータとそのＩＤとを読み出し、内視鏡距離画像生成部７６から内視鏡距離画像のデータを受け取る。そして類似度計算部７８は、第１実施形態と同様の方法で複数の仮想内視鏡距離画像のそれぞれと内視鏡距離画像との複数の類似度を計算する。

仮想内視鏡画像生成部８０は、類似度計算部７８により計算された複数の類似度のうちの最大類似度を特定し、特定された最大類似度を有する仮想内視鏡距離画像の視点位置及び視線方向に基づいてボリュームデータをPerspective Volume Rendering処理して仮想内視鏡画像のデータを生成する。

次に第２実施形態に係る内視鏡検査システムの動作を詳細に説明する。図１１は、第２実施形態に係る大腸内視鏡検査の支援処理における画像処理装置１０の動作の流れの典型例を示す図である。なお、第１実施形態と同様のステップについては、重複説明を省略する。なお、図１１には内視鏡画像のデータの生成処理に関するステップ（図３のステップＳ５及びＳＡ６に相当）が記載されていないが、第２実施形態の支援処理においてバックグラウンド処理的に生成されているものとする。

画像処理装置１０は、表示部３８に表示されている内視鏡スコープの挿入長さの入力欄に内視鏡スコープの挿入長さの入力がなされることを待機する（ステップＳＢ１）。

術者により入力部１６を介して内視鏡スコープ５０の挿入長さが入力されると（ステップＳＢ１）、生成条件設定部１８は、生成条件の設定処理を開始する（ステップＳＢ２）。設定処理においては、第１実施形態と同様に探索領域内に限定して複数の視点位置及び視線方向が設定される。設定された複数の視点位置及び視線方向のデータ、それに入力部１６により入力された視野角のデータは、仮想内視鏡距離画像生成部７０に供給される。

視点位置及び視線方向が設定されると、仮想内視鏡距離画像生成部７０は、仮想内視鏡画像の生成処理を開始する（ステップＳＢ３）。仮想内視鏡画像の生成処理において仮想内視鏡距離画像生成部７０は、まず、ボリュームデータ記憶部１４からボリュームデータを読み出し、生成条件設定部１８から複数の視点位置及び視線方向のデータ、そして視野角のデータを受け取る。そして、仮想内視鏡距離画像生成部７０は、受け取った複数の視点位置及び視線方向でボリュームデータをPerspective Volume Rendering処理し、複数の仮想内視鏡距離画像のデータを生成する。

図１２は、仮想内視鏡距離画像の生成処理を説明するための図である。Perspective Volume Rendering処理を行なう際、視点位置ＰＳは、大腸領域ＲＤ内に設定される。また、空気のＣＴ値に対応する不透明度はゼロ（完全透明）に設定され、大腸領域のＣＴ値に対応する不透明度は１（完全不透明）に設定される。投影面（仮想内視鏡画像の断面）ＰＰは、大腸領域ＲＤを挟んで視点位置ＰＳの反対側に設定される。Perspective Volume Rendering処理の際、視点位置ＰＳから投影面ＰＰの各ピクセルに向けて仮想光線ＲＡ（レイ）を視野角内に限定して飛ばす。仮想光線ＲＡは、ゼロの不透明度が割り付けられたボクセルを次々に透過し、やがて１の不透明度が割り付けられたボクセルに当たり透過しなくなる。この視点位置ＰＳから仮想光線が透過しなかったボクセルまでの距離を計算し、計算された距離のデータを当該仮想光線に対応するピクセルに割り当てる。全てのピクセルについて距離のデータが割り付けられると仮想内視鏡距離画像のデータが完成される。なお、投影の際の色付けのためのカラーテーブルは、モノクロ画像が生成されるように定義されている。生成された仮想内視鏡距離画像のデータは、視点位置及び視線方向のデータに関連付けて仮想内視鏡距離画像記憶部７２に記憶される。また、仮想内視鏡画像に病変部領域の少なくとも一部が含まれている場合、この仮想内視鏡距離画像上の病変部領域の位置のデータも関連付けて仮想内視鏡距離画像記憶部７２に記憶される。

なお仮想内視鏡距離画像のピクセルの大きさは、後述の内視鏡距離画像のピクセルの大きさと同一になるように変換される。具体的には、仮想内視鏡距離画像のマトリクスサイズを内視鏡距離画像のマトリクスサイズに合致させる。例えば、仮想内視鏡距離画像のマトリクスサイズが５１２×５１２であるとし、内視鏡距離画像のマトリクスサイズが１２８×１２８であるとする。この場合、仮想内視鏡距離画像のマトリクスサイズを４分の１に減少させ、１２８×１２８にする。この際、変換前の仮想内視鏡距離画像の正方形状の４つのピクセルのピクセル値の平均値を変換後の１つのピクセルのピクセル値に割り付けるとよい。

一方、内視鏡スコープ５０の作動中、超音波送受信部７４は、内視鏡スコープ５０の先端部５６に設けられた超音波振動子６０からの電気信号に基づいて距離データを生成する（ステップＳＢ４）。

そして超音波送受信部７４により距離データが生成されると、内視鏡距離画像生成部７６は、生成された距離データに基づいて内視鏡距離画像のデータを生成する（ステップＳＢ５）。

図１３は、内視鏡距離画像の生成処理を説明するための図である。図１３に示すように、内視鏡スコープ５０の先端部５６には、超音波を送受信する超音波振動子６０が複数設けられている。超音波送受信部７４は、超音波送受信部７４からの電気信号に基づいて、超音波の発生位置ＰＵ（超音波振動子６０）から送信され、大腸内壁や病変部等の超音波発射物体ＯＰにより反射された超音波が発生位置ＰＵで受信されるまでの時間を計算する。また、大腸内に存在する空気中における超音波の伝播速度は、予め超音波送受信部７４に設定されている。従って超音波送受信部７４は、計算された時間と超音波の伝播速度とに基づいて、発生位置ＰＵと超音波反射物体ＯＰとの間の距離を計算することができる。計算された距離のデータは、超音波振動子６０ごとに計算され、内視鏡距離画像生成部７６に供給される。そして内視鏡距離画像生成部７６は、超音波送受信部７４から供給された各超音波振動子６０の距離データに基づいて内視鏡距離画像のデータを生成する。上述のように、生成された内視鏡距離画像のマトリクスサイズは、仮想内視鏡距離画像のマトリクスサイズと同一となる。生成された内視鏡距離画像のデータは、類似度計算部７８に供給される。

内視鏡距離画像生成部７６により内視鏡距離画像のデータが生成されると、類似度計算部７８は、類似度の計算処理を開始する（ステップＳＢ６）。類似度の計算処理において類似度計算部７８は、まず、仮想内視鏡距離画像記憶部７２から複数の仮想内視鏡距離画像のデータとそれらのＩＤとを読み出し、内視鏡距離画像生成部７６から内視鏡距離画像のデータを受け取る。そして類似度計算部７８は、読み出された各仮想内視鏡距離画像と内視鏡距離画像との類似度を計算する。類似度計算部７６は、仮想内視鏡距離画像上の病変部領域と同座標にある内視鏡距離画像上の画素領域の位置を、病変部領域の位置として特定する。内視鏡距離画像と内視鏡画像とは、互いに座標変換されていないので、これら２つの画像上の同一座標点同士の解剖学的位置関係は同一である。従って、類似度計算部７８は、特定された病変部領域の位置のデータを内視鏡画像のデータに関連付けられて内視鏡画像記憶部２８に記憶される。また、類似度のデータとＩＤのデータとは、関連付けられて仮想内視鏡距離画像記憶部７２に記憶される。また、類似度のデータは、仮想内視鏡画像精製部８０に供給される。

類似度計算部７８により複数の類似度が計算されると仮想内視鏡画像生成部８０は、仮想内視鏡画像の生成処理を開始する（ステップＳＢ７）。仮想内視鏡画像の生成処理において仮想内視鏡画像生成部８０は、まず、類似度計算部３２から複数の類似度のデータを受け取る。そして仮想内視鏡画像生成部８０は、受け取った複数の類似度の中から最大の類似度を特定する。そして特定された最大の類似度を検索キーワードとして仮想内視鏡距離画像記憶部７２を検索し、複数の仮想内視鏡距離画像の中から最大類似度に関連付けられたＩＤを有する仮想内視鏡画像のデータを特定する。そして特定された仮想内視鏡距離画像に関連付けられた視点位置及び視線方向のデータを読み出す。次に仮想内視鏡画像生成部８０は、ボリュームデータ記憶部１４からボリュームデータを読み出す。そして仮想内視鏡画像生成部８０は、読み出された視点位置及び視線方向に基づいてボリュームデータをPerspective Volume Rendering処理し、読み出された視点位置及び視線方向に関する仮想内視鏡画像のデータを生成する。生成される仮想内視鏡画像は、カラー画像であっても、モノクロ画像であってもよい。生成された仮想内視鏡画像のデータは、表示制御部３６に供給される。

なお、類似度の計算処理においては、距離が長いピクセルは、距離が短い類似度に比して、類似度計算の重みを小さくするとよい。これは、ボリュームデータ内の大腸領域の内壁の形状が内視鏡検査時とは必ずしも一致しないが、距離が短い範囲、例えば、内視鏡スコープ５０の先端部５６付近では形状が大きくは変わらないという臨床上の経験則に基づいている。

仮想内視鏡画像生成部８０により仮想内視鏡画像のデータが生成されると表示制御部３６は、表示処理を開始する（ステップＳＢ８）。表示処理において表示制御部３６は、まず、仮想内視鏡画像生成部８０から仮想内視鏡画像のデータを受け取り、内視鏡画像記憶部２８から内視鏡画像のデータを読み出す。そして表示制御部３６は、これら仮想内視鏡画像と内視鏡画像とを並べて表示部３８に表示する。この際、仮想内視鏡画像に病変部領域の位置のデータが関連付けられている場合、表示制御部３６は、図８に示すように、この病変部領域を指し示す矢印等のマークＡ２を仮想内視鏡画像Ｉ２に重ねて表示することにより、病変部領域を強調表示する。また、表示制御部３６は、内視鏡画像Ｉ１に病変部領域の位置のデータが関連付けられている場合、内視鏡画像Ｉ１上の病変部領域を指し示す矢印Ａ１等のマークを重ねて表示する。

以上で大腸内視鏡検査の支援処理が終了する。なお、この支援処理は、内視鏡画像が生成されるたびに繰り返し行われる。従って術者が内視鏡スコープを操作するにつれて、表示される仮想内視鏡画像が更新される。但し、上述したように２回目以降は１回目に比して探索領域が縮小されるので、処理時間が短縮される。

なお、上記の支援処理においては、仮想内視鏡距離画像と内視鏡距離画像とを用いて類似度を計算するとした。しかしながら第２実施形態は、これに限定する必要はない。例えば、仮想内視鏡距離画像に基づく仮想内視鏡特徴画像と内視鏡距離画像に基づく内視鏡特徴画像とで類似度を計算してもよい。

上記構成により第２実施形態に係る内視鏡検査支援システムは、仮想内視鏡画像と内視鏡画像との類似度を計算するために、各画像の距離画像を生成している。内視鏡距離画像を生成するために内視鏡検査支援システムは、内視鏡スコープ５０の先端部５６に超音波振動子６０を設けている。そして第２実施形態に係る画像表示装置１０は、この超音波振動子６０からの出力に基づいて内視鏡距離画像のデータを生成している。位置センサを設けることなく、内視鏡画像に解剖学的に最も一致する仮想内視鏡画像を表示させることができる。また、第１実施形態のように内視鏡画像（内視鏡特徴画像）を利用した類似度計算の計算精度が良好でない場合においても、内視鏡画像の代替手段を提供することができる。かくして第２実施形態によれば、内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムを提供することが可能となる。

（第３実施形態）
図１４は第３実施形態に係る内視鏡検査システムの主要機能の構成図である。図１４に示すように、第３実施形態に係る内視鏡検査システムは、データ送受信部１２、ボリュームデータ記憶部１４、入力部１６、超音波振動子６４、超音波送受信部９０、生成条件設定部９２、仮想内視鏡画像生成部２０、仮想内視鏡画像記憶部２２、ＣＣＤ５８、内視鏡画像生成部２６、内視鏡画像記憶部２８、類似度計算部９４、画像選択部３４、表示制御部３６、及び表示部３８を備える。なお、第１及び第２実施形態と同様の機能を有する構成要素には同一符号を付し、重複説明は必要な場合のみ行う。

超音波振動子６４は、図１５に示すように、内視鏡スコープの先端部５６の側面に複数配置される。超音波振動子６４は、例えば、超音波送受信部９０による制御のもと、内視鏡スコープの先端部５６の軸を中心として放射状に超音波を送信する。送信された超音波は、管腔物の内壁に当たって反射する。超音波振動子６０は、この反射された超音波を受信し、電気信号に変換する。この電気信号は、超音波送受信部９０に供給される。

超音波送受信部９０は、超音波振動子６４から供給された電気信号から、各超音波振動子６４から管腔物内壁までの距離を計算し、距離データを生成する。この距離データの生成処理は、超音波振動子６４毎に行なわれる。

生成条件設定部９２は、超音波送受信部９０により生成された距離データに基づいて探索領域を縮小する。そして生成条件設定部９２は、縮小された探索領域内に限定して、第１実施形態と同様に複数の視点位置及び視線方向を設定する。

類似度計算部９４は、仮想内視鏡画像記憶部２２から複数の仮想内視鏡画像のデータとそのＩＤとを読み出し、内視鏡画像記憶部２８から内視鏡画像のデータを受け取る。そして類似度計算部７８は、第１実施形態と同様の方法で複数の仮想内視鏡画像のそれぞれと内視鏡画像との複数の類似度を計算する。

次に第３実施形態に係る内視鏡検査システムの動作を詳細に説明する。図１５は、第３実施形態に係る大腸内視鏡検査の支援処理における、画像処理装置１０の動作の流れの典型例を示す図である。なお、第１又は第２実施形態と同様のステップについては、重複説明を省略する。

画像処理装置１０は、表示部に表示されている内視鏡スコープの挿入長さの入力欄に内視鏡スコープの挿入長さの入力がなされることを待機する（ステップＳＣ１）。

術者により入力部１６を介して内視鏡スコープ５０の挿入長さが入力されると（ステップＳＣ１）、超音波送受信部９０は、各超音波振動子６４に超音波を送受信させる。そして超音波送受信部９０は、各超音波振動子６４からの電気信号に基づいて。各超音波振動子６４から大腸内壁までの距離データを生成する（ステップＳＣ２）。生成された距離データは、生成条件設定部９２に供給される。

超音波送受信部９０により距離データが生成されると、生成条件設定部９２は、生成条件の設定処理を開始する（ステップＳＣ３）。生成条件の設定処理において生成条件設定部９２は、まず、第３実施形態に特有な探索領域を設定する。

まず生成条件設定部９２は、第１実施形態と同様に、入力された内視鏡スコープ５０の挿入長さに基づいて探索領域ＲＴの中心位置を算出する。そして生成条件設定部９２は、算出された中心位置を中心とする半径Ｒの球状領域（但し、大腸領域ＲＤの外側は除く）を探索領域に設定する。次に、生成条件設定部９２は、超音波送受信部９０から距離データを受け取り、受け取った距離データを利用して、探索領域を縮小させる。

図１７は、大腸領域ＲＤの断面図であり、ステップＳＣ３における探索領域の設定処理を説明するための図である。上述のように超音波振動子６４は、内視鏡スコープ５０の先端部５６の側面を囲むように配置されている。従って生成条件設定部９２は、各超音波振動子６４からの距離データを解析することにより、内視鏡スコープ５０の先端部５６が大腸中心線ＬＤからどれだけの距離だけ離れているのかを算出できる。従って、先端部５６が大腸中心線ＬＤから距離Ｌだけ離れていると算出されたとすると、生成条件設定部９２は、算出された距離Ｌに所定のマージンを加えたドーナッツ状の領域（図１７の斜線部）を探索領域ＲＴ´に設定する。マージンは、予め定められていてもよいし、術者により入力部１６を介して任意に設定されてもよい。

探索領域が生成されると生成条件設定部９０は、第１実施形態と同様に、この探索領域内に複数の視点位置及び視線方向を設定する。設定された複数の視点位置及び視線方向のデータ、それに入力部１６により入力された視野角のデータは、仮想内視鏡画像生成部２０に供給される。

なお、上記のように探索領域を設定するのは初回のみである。２回目以降は、後述する仮想内視鏡画像記憶部２２から視点位置及び視線方向のデータを受け取り、受け取ったデータに修正を加えることにより新たな視点位置を設定する。すなわち、内視鏡スコープ５０の先端部５６の位置が存在しうる位置のうちで、受け取った視点位置に最も近い位置を新しい視点位置とする。

複数の視点位置及び視線方向が設定されると、仮想内視鏡画像生成部２０は、仮想内視鏡画像の生成処理を開始する（ステップＳＣ４）。仮想内視鏡画像の生成処理において仮想内視鏡画像生成部２０は、第１実施形態と同様の方法により、複数の視点位置及び視線方向でボリュームデータをPerspective Volume Rendering処理し、複数の仮想内視鏡画像のデータを生成する。生成された仮想内視鏡画像のデータは、視点位置及び視線方向のデータに関連付けて仮想内視鏡画像記憶部２２に記憶される。また、仮想内視鏡画像に病変部領域の少なくとも一部が含まれている場合、この仮想内視鏡画像上の病変部領域の位置のデータも関連付けて仮想内視鏡画像記憶部２２に記憶される。

一方、内視鏡スコープ５０の作動中、内視鏡画像生成部２６は、内視鏡スコープ５０の先端部５６に設けられたＣＣＤからの電気信号に基づいて内視鏡画像のデータを生成する（ステップＳＣ５）。生成された内視鏡画像のデータは、一時的に内視鏡画像記憶部２８に記憶される。

仮想内視鏡画像生成部２０により仮想内視鏡画像のデータが生成され、内視鏡画像生成部２６により内視鏡画像のデータが生成されると、類似度計算部９４は、類似度の計算処理を行う（ステップＳＣ６）。類似度の計算処理において類似度計算部９４は、まず、仮想内視鏡画像記憶部２２から複数の仮想内視鏡特徴画像のデータとそれらのＩＤとを読み出し、内視鏡画像記憶部２８から内視鏡画像のデータを読み出す。そして類似度計算部９４は、各仮想内視鏡画像と内視鏡画像との類似度を計算する。類似度としては、例えば、２つの画像の相関係数が採用される。相関係数を計算する際、類似度計算部９４は、仮想内視鏡画像上の病変部領域と同座標にある内視鏡画像上の画素領域の位置を、病変部領域の位置として特定する。そして類似度計算部９４は、特定された病変部領域の位置のデータを内視鏡画像のデータに関連付けて内視鏡画像記憶部２８に記憶される。

類似度計算部９４により複数の類似度が計算されると画像選択部３４は、画像選択処理を開始する（ステップＳＣ７）。画像選択処理において画像選択部３４は、第１実施形態と同様の方法により、複数の類似度の中の最大の類似度に対応する仮想内視鏡画像のデータを選択する。選択された仮想内視鏡画像のデータは、表示制御部３６に供給される。

画像選択部３２により仮想内視鏡画像のデータが選択されると表示制御部３６は、表示処理を開始する（ステップＳＣ８）。表示処理において表示制御部３６は、第１実施形態と同様の方法により仮想内視鏡画像と内視鏡画像とを並べて表示部３８に表示する。

以上で大腸内視鏡検査の支援処理が終了する。なお、この支援処理は、内視鏡画像が生成されるたびに繰り返し行われる。従って術者が内視鏡スコープを操作するにつれて、表示される仮想内視鏡画像が更新される。但し、上述したように２回目以降は１回目に比して探索領域が縮小されるので、処理時間が短縮される。

上記構成により第３実施形態に係る内視鏡検査支援システムは、超音波振動子６４からの出力に基づいて内視鏡スコープ５０の先端部５６の位置をさらに絞り込むことにより、探索領域を縮小させる。これにより仮想内視鏡画像の生成枚数を減少することができ、計算速度の向上や記憶領域の削減を図ることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、３つの実施形態を説明したが、これら実施形態は一部又は全部を組み合わせて新たなシステムを構成することができる。以下に全部を組み合わせた例を簡単に説明する。第３実施形態に係る超音波振動子６４と超音波送受信部９０とを加えることにより、探索領域を狭め且つ視点位置が修正される。第２実施形態に係る超音波振動子６０と超音波送受信部７４とを加えて内視鏡距離画像のデータを生成し、ボリュームデータから仮想内視鏡距離画像のデータを生成し、これら２つの距離画像のデータから２つの特徴画像のデータを生成し類似度が比較される。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

以上本発明によれば、内視鏡検査の検査効率を低コストで向上可能な内視鏡検査支援システムの提供を実現することができる。

１０…画像処理装置、１２…データ送受信部、１４…ボリュームデータ記憶部、１６…入力部、１８…生成条件設定部、２０…仮想内視鏡画像生成部、２２…仮想内視鏡画像記憶部、２４…仮想内視鏡特徴画像生成部、２６…内視鏡画像生成部、２８…内視鏡画像記憶部、３０…内視鏡特徴画像生成部、３２…類似度計算部、３４…画像選択部、３６…表示制御部、３８…表示部、５０…内視鏡スコープ、５２…スコープ操作部、５４…挿入部、５６…先端部、５８…ＣＣＤ

Claims (5)

1. 病変部を有する管腔物に関するボリュームデータを記憶する第１記憶部と、
   前記管腔物に挿入された内視鏡スコープからの出力に基づいて生成された、前記病変部に関する内視鏡画像のデータを記憶する第２記憶部と、
   前記ボリュームデータ上の所定領域内に複数の視点位置を設定する設定部と、
   前記設定された複数の視点位置に基づいて前記ボリュームデータから複数の仮想内視鏡画像のデータを生成する生成部と、
   前記生成された複数の仮想内視鏡画像のそれぞれと前記内視鏡画像との複数の類似度を計算する計算部と、
   前記算出された複数の類似度のうちの特定の類似度を有する特定の仮想内視鏡画像と前記内視鏡画像とを並べて表示する表示部と、
   前記特定の仮想内視鏡画像上に病変部領域が含まれる場合、前記表示部を制御して、前記病変部領域に対応する前記内視鏡画像上の部分領域を強調表示させる表示制御部と、
   を具備する内視鏡検査支援システム。
2. 前記表示制御部は、前記部分領域を指し示すマークを前記内視鏡画像に重畳表示させる、請求項１記載の内視鏡検査支援システム。
3. 前記複数の仮想内視鏡画像をそれぞれエッジ強調処理し複数のエッジ画像を生成するエッジ画像生成部と、
   前記内視鏡画像を画像処理しモノクロの内視鏡画像を生成するモノクロ画像生成部と、をさらに備え、
   前記計算部は、前記生成された複数のエッジ画像のそれぞれと前記生成されたモノクロの内視鏡画像との前記複数の類似度を計算し、
   前記表示部は、前記計算された複数の類似度のうちの前記特定の類似度を有する特定のエッジ画像に対応する前記特定の仮想内視鏡画像を表示する、
   請求項１記載の内視鏡検査支援システム。
4. 前記複数の仮想内視鏡画像に基づいて、前記複数の視点位置のそれぞれから前記管腔物内壁までの距離を画素値とする複数のＣＴ距離画像をそれぞれ生成する第１距離画像生成部と、
   前記内視鏡スコープの先端部に取り付けられ、超音波を送受信する超音波振動子と、
   前記超音波振動子からの出力に基づいて、前記超音波振動子から前記管腔物内壁までの距離を画素値とする内視鏡距離画像を生成する第２距離画像生成部と、をさらに備え、
   前記計算部は、前記生成された複数の仮想内視鏡画像のそれぞれと前記生成された内視鏡距離画像との前記複数の類似度を計算し、
   前記表示部は、前記計算された複数の類似度のうちの前記特定の類似度を有する特定のＣＴ距離画像に対応する前記特定の仮想内視鏡画像を表示する、
   請求項１記載の内視鏡検査支援システム。
5. 前記内視鏡スコープの先端部に取り付けられ、超音波を送受信する超音波振動子をさらに備え、
   前記設定部は、前記超音波振動子からの出力に応じて前記所定領域を縮小し、前記視点位置の数を減少させる、
   請求項１記載の内視鏡検査支援システム。

Images