JP2012187161A - 画像処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】複数の検査画像のうちの１つで観察障害を特定したとき、その観察障害が特定された検査画像とは異なる検査画像において、観察障害が特定された部分に対応する部分を簡易に判別可能とする。
【解決手段】検査画像入力手段１１は、医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の検査画像２１、２２を入力する。観察障害特定手段１６は、第１の検査画像中の観察障害を特定する。対応位置決定手段１７は、第２の検査画像における、第１の検査画像において特定された観察障害に対応する部分を特定する。仮想内視鏡画像生成手段１３は、第１及び第２の検査画像から仮想内視鏡画像を生成する。対応位置明示手段１８は、第２の検査画像２２から生成された仮想内視鏡画像上に、対応位置決定手段１７で特定された観察障害に対応する部分を明示する。
【選択図】図１

Description

本発明は、画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す検査画像データから被検体内の管腔部分を可視化する観察画像を生成する画像処理装置、方法、及びプログラムに関する。

近年、ＭＤＣＴ（Multi Detector-row Computed Tomography）など、撮影装置（モダリティ）の進歩に伴い、画質の高い３Ｄ画像が生成できるようになっている。３Ｄ画像表示の応用技術として、仮想内視鏡画像表示法が提案されている。仮想内視鏡表示法は、例えばＣＴ撮影により得られる複数の２次元ＣＴ断面像から、管腔組織の内部を撮影して得られる内視鏡画像に模した画像（以下、仮想内視鏡画像とも呼ぶ）を生成する技術である。

仮想内視鏡画像表示法は、例えば大腸ＣＴ検査に用いることができる。仮想内視鏡表示法を利用した大腸ＣＴ検査の利点として、通常の内視鏡検査に比して低浸襲であること、また閉塞部より先の管腔内部の様態を表示できることが挙げられる。仮想内視鏡表示によるポリープ検出能の評価や、大腸ＣＴ検査と内視鏡検査とにおけるポリープ検出能の比較などの臨床試験結果がこれまでに多数報告されており、仮想内視鏡表示法を利用した大腸ＣＴ検査の有効性が示されてきた。今後、大腸ＣＴ検査が、術前検査だけでなく、スクリーニングとして実施される機会が増えていくことが予想される。

ここで、大腸ＣＴ検査は、大腸の内容物を除去するために、下剤による前処理を必要とする。前処理が不完全な場合、ポリープの観察が困難となる。すなわち、仮想内視鏡画像においては大腸の表面が可視化されるため、ポリープが残渣に完全に埋没すると、仮想内視鏡画像において残渣の表面しか画像化されなくなる。また、ポリープのＣＴ値と残渣のＣＴ値とが同じ程度である場合、断面画像上においても、ポリープと残渣との判別は困難なものとなる。

上記大腸ＣＴ検査における問題を解消するために、仰伏臥二体位撮影や、Fecal tagging法が提案されている。仰伏臥二体位撮影は、仰臥位と伏臥位の２つの体位で撮影を行うというものである。体位変換により残渣が移動することを利用し、仰伏臥の２体位で撮影した画像を読影することにより、残渣とポリープとを判別できる。一方、Fecal tagging法は、あらかじめ経口投与した造影剤により残渣のＣＴ値を増加させる（タギング）技術である。残渣を造影することで、残渣とポリープとでＣＴ値が異なる値になり、両者の判別が容易になる。また、画像処理を用いて、画像から造影された残渣領域を除去する方法（デジタルクレンジング法）も提案されている（特許文献１）。

仰伏臥二体位撮影により得られたＣＴ画像の有効な観察方法として、仮想内視鏡画像の２画像同時表示技術が提案されている（特許文献２）。特許文献２では、２つの検査画像（仰臥ＣＴ画像及び伏臥ＣＴ画像）のうちの一方の検査画像から、任意の視点で仮想内視鏡画像を生成する。また、他方の検査画像から、一方の検査画像に対して設定した視点に対応する点を視点とする仮想内視鏡画像を生成し、生成した２つの画像を表示画面上に同時に表示する。このようにすることで、ユーザは、２つの検査画像における同じ位置の様子を簡易に見比べることができる。

米国特許６３３１１１６号公報 特許４０８８３４８号公報

特許文献２に記載の技術を利用することで、ユーザは、一方の検査画像上で残渣領域や閉塞部、ひだの重なりといった観察に対して障害となる部分（観察障害）を確認したときに、他方の検査画像上で観察障害の変化、例えば残渣の移動やひだの重なりの程度の変化を迅速に確認でき、診断効率の向上が期待できる。しかし、同時表示された２つの仮想内視鏡画像を観察する場合、一方の仮想内視鏡画像上の観察障害が、他方の仮想内視鏡画像にどのように表示されているかを即座に判断することは容易ではない。また、一方の仮想内視鏡画像上の観察障害が他方の仮想内視鏡画像上に存在するか否かを判断することも容易ではないため、ユーザが観察障害の変化を確認するのに要する時間が長くなるという問題もある。

本発明は、上記に鑑み、複数の検査画像のうちの１つで観察障害を特定したとき、その観察障害が特定された検査画像とは異なる検査画像において、観察障害が特定された部分に対応する部分を簡易に判別可能な画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明は、医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定する観察障害特定手段と、前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定する対応位置決定手段と、複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成する観察画像生成手段と、前記第２の検査画像から生成された観察画像上に、前記対応位置決定手段で特定された観察障害に対応する部分を明示する対応位置明示手段とを備える画像処理装置を提供する。

ここで、観察障害としては、例えば大腸ＣＴ検査において残渣が存在する箇所や、肝湾曲部・脾湾曲部などの腸管が湾曲している箇所、腸管が閉塞している箇所などが考えられる。観察障害の特定は、観察障害特定手段が第１の検査画像に基づいて自動で特定してもよいし、ユーザに観察障害箇所の入力を促し、ユーザが指定した箇所を観察障害として特定してもよい。観察障害特定手段により特定される観察障害は、第１の検査画像を可視化した観察画像において実際に観察の障害となっている箇所には限定されず、ユーザが観察障害を特定した検査画像とは異なる検査画像おいて念入りに観察したい個所も含むものとする。観察障害に対応する部分の明示には、コントラスト強調、アノテーション、注意喚起の表示などを用いることができる。

本発明では、前記観察障害特定手段が、前記第１の検査画像における前記管腔に対応する領域の中の任意の画素の位置又は任意の範囲の領域を、観察障害の部分として特定する構成を採用できる。

本発明の画像処理装置は、少なくとも前記第１及び前記第２の検査画像における前記管腔に対応する領域間の画素の対応関係を生成する位置合せ手段を更に備えることができ、前記対応位置決定手段が、前記生成された対応関係を用いて、前記第１の検査画像中で特定された位置又は領域に対応する前記第２の検査画像中の位置又は領域を、前記観察障害の部分として特定するものとすることができる。

前記位置合せ手段は、前記第１及び第２の検査画像における前記管腔に対応する領域を非剛体位置合せし、該位置合わせの結果に基づいて前記対応関係を生成してもよい。

前記観察画像生成手段が、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を前記観察画像として生成し、前記対応位置明示手段が、前記第２の検査画像から生成された仮想内視鏡画像により、前記特定された前記第２の検査画像中の位置又は領域が可視化されるとき、前記仮想内視鏡画像上に前記特定された観察障害に対応する部分を明示することとしてもよい。

上記に代えて、又は加えて、前記観察画像生成手段が、前記管腔を直線状に伸ばし、前記管腔の内壁部分に相当する部分を、前記管腔を切り開いて二次元画像上に投影した画像である展開ビュー画像、及び、前記管腔を所定の平面で切断し該平面と垂直な方向から前記管腔を観察した画像であるストレートビュー画像の少なくとも一方を観察画像として生成し、前記対応位置明示手段が、前記観察画像上の、前記特定された前記第２の検査画像中の位置又は領域の部分に、前記特定された観察障害に対応する部分である旨を明示してもよい。

本発明の画像処理装置は、前記第１及び第２の検査画像における前記管腔の内部にそれぞれパスを設定するパス設定手段を更に備える構成とすることができ、前記観察障害特定手段が、前記第１の検査画像における前記管腔に対して設定されたパス上の任意の位置を観察障害の部分として特定し、前記対応位置決定手段が、前記第１及び第２の検査画像における前記管腔の内部に設定されたパス間の対応関係に基づいて、前記第１の検査画像における前記管腔に対して設定されたパス上の位置に対応する、前記第２の検査画像における前記管腔に対して設定されたパス上の位置を、前記観察障害に対応する部分として特定することとしてもよい。

前記観察画像生成手段が、前記設定されたパス上の任意の点を視点とする仮想内視鏡画像を前記観察画像として生成し、前記対応位置明示手段が、前記観察障害に対応する部分として特定された、前記第２の検査画像における前記管腔に対して設定されたパス上の位置を視点とする仮想内視鏡画像が生成されるとき、該仮想内視鏡画像上に前記特定された観察障害に対応する部分を明示してもよい。

上記に代えて、又は加えて、前記観察画像生成手段が、前記管腔を直線状に伸ばし、前記管腔の内壁部分に相当する部分を、前記管腔を切り開いて二次元画像上に投影した画像である展開ビュー画像、及び、前記管腔を所定の平面で切断し該平面と垂直な方向から前記管腔を観察した画像であるストレートビュー画像の少なくとも一方を観察画像として生成し、前記対応位置明示手段が、前記観察画像上の、前記特定された、前記第２の検査画像における前記管腔に対して設定されたパス上の位置の部分に、前記特定された観察障害に対応する部分である旨を明示することとしてもよい。

本発明は、また、医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定するステップと、前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定するステップと、複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成するステップと、前記第２の検査画像から生成された観察画像上に、前記観察障害に対応する部分として特定された部分を明示するステップとを有する画像処理方法を提供する。

本発明は、コンピュータに、医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定する手順と、前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定する手順と、複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成する手順と、前記第２の検査画像から生成された観察画像上に、前記観察障害に対応する部分として特定された部分を明示する手順とを実行させるためのプログラムを提供する。

本発明の画像処理装置、方法、及びプログラムでは、複数の検査画像のうちの１つで観察障害を特定し、観察障害が特定されていない検査画像において、観察障害に対応する部分を特定し、観察障害が特定されていない検査画像から生成された観察画像上に、観察障害に対応する部分として特定された部分を明示する。このようにすることで、複数の検査画像のうちの１つで観察障害を特定したとき、その観察障害が特定された検査画像とは異なる検査画像において、観察障害が特定された部分に対応する部分を簡易に判別することができる。

本発明の第１実施形態の画像処理装置を示すブロック図。 （ａ）及び（ｂ）は、第１及び第２の検査画像から抽出された大腸領域を例示する図。 残渣が可視化されている仮想内視鏡画像を例示する図。 内壁にひだが密集している状態の仮想内視鏡画像を例示する図。 腸管に閉塞が見られる場合を例示す図。 （ａ）〜（ｃ）は、観察障害に対応するの部分の明示の仕方を例示する図。 動作手順を示すフローチャート。 展開ビュー画像を例示する図。 ストレートビュー画像を例示する図。 本発明の第２実施形態の画像処理装置を示すブロック図。 （ａ）及び（ｂ）は、第１及び第２の検査画像における大腸領域を示す図。

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の画像処理装置を示す。画像処理装置１０は、検査画像入力手段１１、パス設定手段１２、仮想内視鏡画像生成手段１３、出力手段１４、位置合せ手段１５、観察障害特定手段１６、対応位置決定手段１７、及び対応位置明示手段１８を備える。画像処理装置１０は、例えばサーバ装置やワークステーションなどのコンピュータシステムで構成される。画像処理装置１０内の各部の機能は、コンピュータシステムが所定のプログラムに従って処理を実行することで実現可能である。

検査画像入力手段１１は、第１及び第２の検査画像（検査画像データ）２１、２２を入力する。第１及び第２の検査画像２１、２２は、それぞれ医用画像撮影装置を用いて撮影された、管腔を有する被検体の内部を示す三次元の画像データである。第１及び第２の検査画像２１、２２の撮影に用いる撮影装置は、例えばＸ線ＣＴ装置であり、第１及び第２の検査画像２１、２２は、例えば所定スライス厚でスライスされた被検体の断層画像を複数枚積層した画像データである。

第１の検査画像２１と第２の検査画像２２とは、同一の被検体を撮影した、相互に異なる画像データである。言い換えると、第１の検査画像２１と第２の検査画像２２とは同一データではない。第１の検査画像２１と第２の検査画像２２とは、例えば同一人物に対して異なる体位で撮影されたデータである。例えば、第１の検査画像２１は仰臥位で撮影されたデータであり、第２の検査画像２２は伏臥位で撮影されたデータである。第１の検査画像２１と第２の検査画像２２との組み合わせはこれには限定されず、種々の組み合わせが考えられる。例えば同一の被検体について、過去に撮影された画像を第１の検査画像２１とし、今回撮影された画像を第２の検査画像２２としてもよい。

パス設定手段１２は、第１の検査画像２１及び第２の検査画像２２における管腔の内部にそれぞれパスを設定する。パス設定手段１２は、第１の検査画像２１に含まれる管腔に対して、管腔に沿って第１のパスを設定する。また、パス設定手段１２は、第２の検査画像２２に含まれる管腔に対して、管腔に沿って第２のパスを設定する。例えばパス設定手段１２は、管腔が大腸であれば、大腸の出口（肛門）の部分をスタート地点とし小腸との境界部分をエンド地点とするパスを、それぞれ第１及び第２のパスとして設定する。

パス設定手段１２が設定するパスは、管腔の形状（構造）に基づいて決まる。パス設定手段１２は、例えば第１及び第２の検査画像２１、２２を解析して管腔領域を抽出し、抽出した管腔領域の構造に基づいて自動的に第１及び第２のパスを設定してもよい。あるいは、パス設定手段１２は、ユーザが、表示装置３０上に表示された管腔の三次元画像を参照しながら任意に設定したパスを、第１及び第２のパスとしてもよい。またパス設定手段１２は、自動的に設定したパスに対してユーザが修正を加えたものを、第１及び第２のパスとしてもよい。

仮想内視鏡画像生成手段１３は、管腔の内部を可視化するための観察画像を生成する観察画像生成手段である。仮想内視鏡画像生成手段１３は、それぞれ被検体内の管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を、観察画像として生成する。仮想内視鏡画像生成手段１３は、第１及び第２の検査画像２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する。第１の仮想内視鏡画像で可視化する管腔と、第２の仮想内視鏡画像で可視化する管腔とは同一の管腔である。仮想内視鏡画像生成手段１３は、例えば、第１の検査画像２１中に含まれる大腸部分の内部を可視化する第１の仮想内視鏡画像を生成すると共に、第２の検査画像２２中に含まれる大腸部分の内部を可視化する第２の仮想内視鏡画像を生成する。

仮想内視鏡画像生成手段１３は、パス設定手段１２が設定したパス上に視点を置き、その視点から管腔の内部を見たことを想定した画像を仮想内視鏡画像として生成する。仮想内視鏡画像生成手段１３は、例えばパスに従ってスタート地点からエンド地点まで順次に視点を変更しつつ、仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、それぞれ第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像を生成してもよい。仮想内視鏡画像の視点は、必ずしもパス設定手段１２が設定したパス上になくてもよく、仮想内視鏡画像生成手段１３は、ユーザが任意に設定した点を視点とする仮想内視鏡画像を生成してもよい。

出力手段１４は、仮想内視鏡画像生成手段１３が生成した仮想内視鏡画像を表示装置３０へ出力する。表示装置３０は、例えば液晶ディスプレイなどの表示デバイスである。表示装置３０は、表示画面上に、第１の仮想内視鏡画像３１及び第２の仮想内視鏡画像３２を表示する。出力手段１４は、第１及び第２の仮想内視鏡画像を同時に出力し、表示装置３０の表示画面上に、第１及び第２の仮想内視鏡画像３１、３２を同時並列に表示させてもよい。あるいは出力手段１４は、第１及び第２の仮想内視鏡画像を選択的に出力し、表示装置３０の表示画面上に第１及び第２の仮想内視鏡画像３１、３２を切り替えて表示させてもよい。

位置合せ手段１５は、第１及び第２の検査画像２１、２２における、少なくとも管腔に対応する領域間の画素の対応関係を生成する。位置合せ手段１５は、例えば第１及び第２の検査画像２１、２２に対して画像の位置合わせを行い、２つの画像における画素の対応付けを行う。位置合せ手段１５は、例えば第１及び第２の検査画像２１、２２の画像データ全体に対して、２つの画像を画素単位で対応付ける。あるいは位置合せ手段１５は、第１及び第２の検査画像２１、２２から管腔を構成する部分の領域を抽出し、抽出した管腔領域について、２つの画像を画素単位で対応付ける。

観察障害特定手段１６は、第１及び第２の検査画像２１、２２のうちの一方に対し、観察障害を特定する。以下では、主に第１の検査画像２１に対して観察障害を特定するものとして説明する。観察障害の例としては、大腸内部の残渣部、肝湾曲部・脾湾曲部、閉塞部などが考えられる。観察障害の特定は、例えば観察障害特定手段１６が第１の検査画像に基づいて自動で行ってもよく、あるいはユーザに手動で設定させてもよい。観察障害の設定を手動で行う場合には、表示装置３０上に第１の検査画像２１から生成した仮想内視鏡画像を表示した状態で、観察障害領域の指定を受け付ければよい。観察障害特定手段１６は、例えば第１の検査画像２１における管腔に対応する領域の中の任意の画素の位置又は任意の範囲の領域を、観察障害の部分として特定する。

ここで、第１の検査画像２１において特定する観察障害は、第１の検査画像２１を可視化して表示した際に実際に観察の障害になっていることまでは要しない。例えば、第１の検査画像２１のある部分が、第２の検査画像２２ではどのようになっているのかを確認したいときなどに、その第１の検査画像２１におけるある部分を、観察障害として特定してもよい。

対応位置決定手段１７は、観察障害が特定されていない方の検査画像である、第１及び第２の検査画像２１、２２のうちの他方の検査画像における、観察障害特定手段１６で特定された観察障害に対応する部分を特定する。対応位置決定手段１７は、観察障害特定手段１６が第１の検査画像２１に対して観察障害を特定した場合は、第２の検査画像２２における、第１の検査画像２１において特定された観察障害に対応する部分を特定する。対応位置決定手段１７は、例えば位置合せ手段１５により生成された２つの画像間の対応関係を用いて、第１の検査画像２１中で特定された観察障害の位置又は領域に対応する第２の検査画像２２中の位置又は領域を特定する。

対応位置明示手段１８は、第２の検査画像２２から生成された第２の仮想内視鏡画像上に、対応位置決定手段１７で特定された観察障害に対応する部分を明示する。対応部分の明示には、コントラスト強調、アノテーション、注意喚起の表示などを用いることができる。対応位置明示手段１８は、例えば第２の仮想内視鏡画像によって、対応位置決定手段１７により特定された第２の検査画像中の位置又は領域が可視化されるとき、表示装置３０上に表示される第２の仮想内視鏡画像３２上に観察障害に対応する部分を明示する。ユーザは、第２の仮想内視鏡画像３２を観察することで、第１の仮想内視鏡画像３１では観察障害となっている箇所が第２の仮想内視鏡画像３２ではどのようになっているのかを確認できる。なお、対応位置明示手段１８は、観察障害が特定された第１の検査画像２１から生成された第１の仮想内視鏡画像については、第１の仮想内視鏡画像上に、観察障害として特定された部分を明示するものとする。

図２（ａ）及び（ｂ）は、第１及び第２の検査画像２１、２２から抽出された大腸領域を例示する。第１の検査画像２１（図２（ａ））は仰臥位で撮影された画像で、第２の検査画像（図２（ｂ））は伏臥位で撮影された画像であるとする。双方の画像に含まれる大腸は同一人物のものではあるものの、撮影時に体位変換を行うことで、双方の画像の間で大腸の形が変形している。位置合せ手段１５は、例えば第１及び第２の検査画像２１、２２からそれぞれ大腸領域を抽出し、抽出した大腸領域を対象に非剛体位置合わせを行い、その位置合わせの結果に基づいて２つの画像を画素単位で対応付ける。

例えば、位置合せ手段１５は、第１の検査画像２１における画素の位置と、その画素に対応する第２の検査画像２２における画素の位置との組を、対応関係情報として生成する。あるいは位置合せ手段１５は、第１の検査画像２１における画素の位置を、その画素に対応する第２の検査画像２２における画素の位置に変換するためのパラメータを、対応関係情報として生成してもよい。第１の検査画像２１における画素の位置と、それに対応する第２の検査画像２２における画素の位置とは１対１に対応している必要はない。第１の検査画像２１における１つの画素が、第２の検査画像２２における複数の画素に対応していてもよい。

上記に代えて、位置合せ手段１５は、管腔の内壁を二次元画像に展開した展開ビュー画像を用いて位置合せを行ってもよい。展開ビュー画像とは、仮想内視鏡画像で表示されるべき管腔の内壁部分に相当する部分を、管腔を切り開いて二次元画像上に投影（マッピング）した画像を指す。展開ビューは、例えば以下の手順で生成できる。まず、検査画像から抽出された、仮想内視鏡画像で可視化すべき管腔をその中心線方向に伸ばす。次いで、管腔の各断面上で中心線から全方向（３６０°）にレイを飛ばし、そのレイが所定の条件を満たすボクセルを通過するとき、そのボクセルを二次元画像上に投影する。２つの検査画像から得られた展開ビュー画像を非剛体位置合わせの手法で位置合せすることで、第１の検査画像２１における画素と、第２の検査画像における対応する画素との対応関係が得られる。

図３は、大腸の仮想内視鏡画像に残渣が可視化されている例を示す。図３において、グレーで示される部分が残渣を表す。仮想内視鏡画像に残渣が映っている場合、残渣の奥にある大腸の内壁が可視化されない。ユーザは、例えば視点位置をパスに沿って進めながら、表示装置３０上に表示された第１の仮想内視鏡画像３１を観察する。第１の仮想内視鏡画像３１に残渣が確認されたときは、その残渣の位置又は領域に対してマーキングを行う。観察障害特定手段１６は、ユーザがマーキングした仮想内視鏡画像の位置又は領域に対応する第１の検査画像２１の画素（ボクセル）の位置又は領域を、観察障害の位置又は領域として特定する。観察障害特定手段１６は、例えば造影剤を用いるなどして残渣があらかじめタギングされている場合は、残渣、空気、体内組織のＣＴ値差を利用して残渣領域を特定し、観察障害領域を自動的に設定してもよい。

図４は、大腸の内壁にひだが密集している状態を例示する。このようなひだは、例えば大腸が大きく向きを変える肝湾曲部・脾湾曲部などに現れる。仮想内視鏡画像において、大腸の内壁にひだが密集していると、ひだの奥にあるポリープなどを見逃す可能性があるユーザは、例えば視点位置をパスに沿って進めながら、表示装置３０上に表示された第１の仮想内視鏡画像３１を観察する。第１の仮想内視鏡画像３１にひだが密集しているところが確認されたときは、その位置又は領域に対してマーキングをおこなう。観察障害特定手段１６は、ユーザがマーキングした仮想内視鏡画像の位置又は領域に対応する第１の検査画像２１の画素の位置又は領域を、観察障害の位置又は領域として特定する。観察障害特定手段１６は、仮想内視鏡画像の画像解析を行ってひだが密集しているところを見付け、観察障害領域を自動的に設定してもよい。あるいは大腸の形状から曲率を計算し、曲率が所定のしきい値以上の部分を観察障害領域として自動的に設定してもよい。

図５は、腸管に閉塞が見られる場合を例示している。図５において、点線で示す線は大腸内に設定されたパスを表している。大腸に閉塞部分がある場合、その部分は仮想内視鏡画像で内部を可視化できない。ユーザは、例えば第１の検査画像２１から抽出された大腸領域を外側から眺める画像を観察し、閉塞部分の位置又は領域に対してマーキングを行う。観察障害特定手段１６は、ユーザがマーキングした位置又は領域に対応する第１の検査画像２１の画素の位置又は領域を、観察障害の位置又は領域として特定する。観察障害特定手段１６は、例えば大腸領域を抽出し、大腸領域をパスに垂直な平面で切ったときの大腸領域の径を計測し、計測された大腸領域の径が所定のしきい値以下の位置又は領域を閉塞部と判定して、観察障害領域である閉塞部を自動的に特定してもよい。

図６（ａ）〜（ｃ）は、観察障害に対応する部分の明示の仕方を例示する。第１の検査画像２１において観察障害の位置又は領域が特定されたときでも、その観察障害の位置又は領域に対応する第２の検査画像２２の位置又は領域が観察障害となっているとは限らない。対応位置明示手段１８は、対応位置決定手段１７で特定された第２の検査画像２２における位置又は領域が第２の仮想内視鏡画像３２で可視化されるとき、例えば図６（ａ）に示すように、第２の仮想内視鏡画像において、その位置又は領域をハイライト表示する。例えば対応位置明示手段１８は、第２の仮想内視鏡画像３２における観察障害に対応する位置又は領域のコントラストを、他の領域におけるコントラストよりも高くすることで、観察障害に対応する位置又は領域を明示する。観察障害に対して種別などの属性を持たせ、第２の仮想内視鏡画像上に、観察障害に対応する位置又は領域を明示すると共に、観察障害の種別などの情報を表示するようにしてもよい。

上記に代えて、対応位置明示手段１８は、図６（ｂ）に示すように、第２の仮想内視鏡画像３２に矢印などの図形をオーバーレイ表示し、観察障害に対応する位置又は領域を明示することもできる。対応位置決定手段１７において、観察障害に対応する位置ではなく領域が特定されているような場合、対応位置明示手段１８は、例えば観察障害に対応する領域の重心位置などに矢印を付ければよい。また、対応位置明示手段１８は、図６（ｃ）に示すように、第２の仮想内視鏡画像３２に注意喚起を促す文字や図形をオーバーレイ表示し、第２の仮想内視鏡画像３２に観察障害に対応する位置又は領域が可視化されていることをユーザに通知してもよい。何れの場合も、ユーザは、第２の仮想内視鏡画像に観察障害に対応する部分が可視化されていることを知ることができ、観察障害に対応する領域を注意深く観察することで、第１の仮想内視鏡画像では確認できなかった病変などが存在するか否かを、第２の仮想内視鏡画像３２を用いて判断することができる。

図７は動作手順を示す。検査画像入力手段１１は、第１及び第２の検査画像２１、２２を入力する（ステップＳ１）。第１及び第２の検査画像２１、２２は、例えば仰伏臥撮影により得られた、撮影時の体位が相互に異なる２つの三次元画像データである。あるいは第１及び第２の検査画像２１、２２は、経過観察用の、撮影時期が相互に異なる同一体位で撮影された三次元画像データでもよい。パス設定手段１２は、第１及び第２の検査画像２１、２２のそれぞれに対してパスの設定を行う。パス設定手段１２は、例えば管腔の中心線をパスとして設定する。

位置合せ手段１５は、第１及び第２の検査画像２１、２２に対して画像位置合わせを行う（ステップＳ２）。位置合せ手段１５は、例えば、三次元画像データ全体、又はあらかじめ抽出した大腸領域を対象とした非剛体位置合わせ技術を用いることにより、２つの検査画像を画素単位で対応付ける。位置合せ手段１５は、大腸領域の展開ビュー画像を対象とした位置合せ技術を用いることにより、２つの画像の画素の対応付けを行ってもよい。位置合せ手段１５は、画素の対応関係を示す対応関係情報を生成する。

観察障害特定手段１６は、２つの検査画像のうちの一方、例えば第１の検査画像２１に対し、観察障害領域を特定する（ステップＳ３）。観察障害領域の特定は、観察障害特定手段１６が第１の検査画像２１を解析して自動で行ってもよく、或いはユーザが手動で行ってもよい。対応位置決定手段１７は、ステップＳ２での位置合わせの結果に基づいて、一方の検査画像で特定した観察障害領域に対応する領域を、他方の検査画像、例えば第２の検査画像２２上で特定する（ステップＳ４）。

仮想内視鏡画像生成手段１３は、第１の検査画像２１に基づいて、第１の仮想内視鏡画像を生成する（ステップＳ５）。仮想内視鏡画像生成手段１３は、例えばパス設定手段１２で設定された第１のパス上の点を視点とする仮想内視鏡画像を生成する。対応位置明示手段１８は、ステップＳ５で生成された仮想内視鏡画像で、ステップＳ３で特定された観察障害領域が可視化されているか否かを判断する（ステップＳ６）。対応位置明示手段１８は、第１の仮想内視鏡画像で観察障害領域が可視化されているときは、第１の仮想内視鏡画像上に観察障害をオーバーレイ表示する（ステップＳ７）。観察障害のオーバーレイ表示には、図６（ａ）〜（ｃ）に示すものと同様な表示を用いることができる。

仮想内視鏡画像生成手段１３は、第２の検査画像２２に基づいて、第２の仮想内視鏡画像を生成する（ステップＳ８）。仮想内視鏡画像生成手段１３は、ステップＳ８では、例えばステップＳ５で生成した第１の仮想内視鏡画像の視点位置に対応する位置に視点を置いた第２の仮想内視鏡画像を生成する。対応位置明示手段１８は、ステップＳ８で生成された仮想内視鏡画像で、ステップＳ４で特定された観察障害に対応する領域が可視化されているか否かを判断する（ステップＳ９）。対応位置明示手段１８は、第２の仮想内視鏡画像で、観察障害に対応する領域が可視化されているときは、第２の仮想内視鏡画像上に観察障害に対応する領域をオーバーレイ表示する（ステップＳ１０）。

出力手段１４は、例えばステップＳ５で生成された第１の仮想内視鏡画像と、ステップＳ８で生成された第２の仮想内視鏡画像とを同時に表示装置３０に出力し、２つの仮想内視鏡画像を表示面上に同時に表示させる。同時に表示された第１及び第２の仮想内視鏡画像には、観察障害及びそれに対応する部分が明示されているため、ユーザは、２つの仮想内視鏡画像を見比べることで、第１の検査画像では確認できない又は確認しにくい部分が、第２の検査画像でどのようになっているかを調べることができる。２つの仮想内視鏡画像を表示するのに代えて、第１の仮想内視鏡画像の生成を省略し、第２の仮想内視鏡画像のみを表示面上に表示してもよい。その場合でも、ユーザは、第２の仮想内視鏡画像において、第１の検査画像２１で観察障害と特定されている位置又は領域に対応する部分を注意深く観察することができる。

本実施形態では、複数の検査画像のうちの１つで観察障害を特定し、観察障害が特定されていない検査画像において、観察障害に対応する部分を特定する。対応位置明示手段１８は、観察障害が特定されていない検査画像から生成された仮想内視鏡画像上に、観察障害に対応する部分を明示する。このようにすることで、ユーザは、観察障害が特定された検査画像とは異なる検査画像を可視化して表示する際に、どの部分が、別の検査画像で観察障害として特定された部分に対応しているかを知ることができる。ユーザは、観察障害に対応する部分を注意深く観察することで、その部分に、観察障害が特定された検査画像では確認できないポリープなどが存在するか否かを調べることができる。特に、表示装置３０上に２つの仮想内視鏡画像を同時に表示する場合、ユーザは、２つの仮想内視鏡画像を同時に観察する際に、一方の仮想内視鏡画像上の観察障害を他方の仮想内視鏡画像上で容易に特定することができる。このため、画像観察の効率が改善し、診断時間の短縮が期待できる。

なお、ここまでの説明では観察画像として仮想内視鏡画像を用いる例について説明したが、管腔の内部を可視化する観察画像には、仮想内視鏡画像以外の画像を用いることもできる。例えば、仮想内視鏡画像生成手段に代えて、又はこれに加えて展開ビュー画像生成手段を用い、展開ビュー画像生成手段が生成した展開ビュー画像を観察画像として用いることもできる。また、管腔を所定の平面で切断し、その平面と垂直な方向から管腔の内部を観察した画像であるストレートビュー画像を生成するストレートビュー画像生成手段を用い、ストレートビュー画像を観察画像として用いることも可能である。観察画像生成手段が、観察画像として展開ビュー画像又はストレートビュー画像を生成する場合、対応位置明示手段１８は、観察障害が特定されていない方の検査画像から生成された展開ビュー画像又はストレートビュー画像上に、観察障害に対応する位置又は領域を明示するようにしてもよい。

図８は、観察画像に展開ビュー画像を用いた例を示す。対応位置明示手段１８は、例えば図６（ｂ）と同様に、観察障害が特定されていない検査画像から生成された展開ビュー画像上に、観察障害に対応する位置又は領域を示す矢印などをオーバーレイ表示する。あるいは対応位置明示手段１８は、図６（ａ）と同様に、展開ビュー画像における観察障害に対応する位置又は領域のコントラストを、他の領域のコントラストより上げてもよい。展開ビュー画像において図６（ｃ）と同様な注意喚起を行う場合は、観察障害に対応する位置又は領域の付近に注意喚起の表示を行うようにすればよい。

図９は、観察画像にストレートビュー画像を用いた例を示す。観察画像にストレートビュー画像を用いる場合も、展開ビュー画像を用いる場合と同様に、観察障害が特定されていない検査画像から生成されたストレートビュー画像上に、観察障害に対応する位置又は領域を示す矢印などをオーバーレイ表示すればよい。また、観察障害に対応する位置又は領域のコントラストを上げてもよいし、注意喚起の表示を行ってもよい。展開ビュー画像やストレートビュー画像は、大腸内部を一度に観察できるため、観察障害に対応する位置又は領域を画像上に明示することで、読影速度の飛躍的な向上が期待できる。

続いて、本発明の第２実施形態を説明する。図１０は、本発明の第２実施形態の画像処理装置を示す。本実施形態の画像処理装置１０ａの構成は、図１に示す第１実施形態の画像処理装置１０から位置合せ手段１５を省いた構成である。本実施形態では、観察障害の位置及びそれに対応する位置として、パス設定手段１２が設定したパス上の位置を用いる。観察障害特定手段１６は、第１の検査画像２１に対して設定された第１のパス上の位置を、観察障害の部分として特定する。対応位置決定手段１７は、第１のパスと第２のパスとの対応関係に基づいて、観察障害として設定された第１のパス上の位置に対応する、第２の検査画像２２に対して設定された第２のパス上の位置を、観察障害に対応する部分として特定する。

図１１（ａ）及び（ｂ）は、第１及び第２の検査画像における大腸領域を示す。図１１（ａ）及び（ｂ）において、点線で示す線は大腸内に設定されたパスを表している。図１１（ａ）を参照すると、第１の検査画像２１では腸管が一部閉塞している。観察障害特定手段１６は、パス設定手段１２が第１の検査画像に対して設定した第１のパスのうち、閉塞している部分腸管に対応するパスの部分（パスの範囲）を、観察障害区間Ｌ１として特定する。対応位置決定手段１７は、第１の検査画像２１における観察障害区間Ｌ１から、図１１（ｂ）に示す、第２の検査画像２２における観察障害区間Ｌ１に対応する観察障害対応区間Ｌ２を求める。観察障害区間Ｌ１と観察障害対応区間Ｌ２との関係は、画像変形法やパス間の対応付けなどにより容易に求めることができる。

観察障害が残渣であるような場合は、観察障害特定手段１６は、第１の検査画像２１から残渣領域を判別し、判別した残渣領域からパスに向かって垂線を下ろし、残渣領域に対応するパスの区間を求め、その区間を観察障害区間として求めればよい。観察障害が湾曲部の場合は、湾曲している部分がパス上のどの区間であるかを求め、その区間を観察障害区間とすればよい。

対応位置明示手段１８は、仮想内視鏡画像生成手段１３が、観察障害に対応する部分として特定された第２のパス上の位置を視点とする第２の仮想内視鏡画像を生成するとき、第２の仮想内視鏡画像上に、観察障害に対応する部分を明示する。例えば対応位置明示手段１８は、仮想内視鏡画像生成手段１３が、第２のパス上の位置のうち、図１１（ｂ）に示す観察障害対応区間Ｌ２内の点を視点とする仮想内視鏡画像を生成するとき、第２の仮想内視鏡画像上に、観察障害に対応する部分である旨を明示する。

ユーザは、第２の仮想内視鏡画像を観察する際に、観察している第２の仮想内視鏡画像が第１の検査画像において観察障害となっている部分を可視化した画像であることを知ることができ、観察障害に対応する領域を注意深く観察することで、第１の仮想内視鏡画像では確認できなかった病変などが存在するか否かを、第２の仮想内視鏡画像を用いて判断することができる。閉塞部分は、第１の検査画像２１に管腔の内壁を表す画素が存在しないことがあるため、観察障害として閉塞部を考える場合、パス上の位置で観察障害及びその対応位置を特定する方法が特に有効であると考えられる。

本実施形態においても、第１実施形態と同様に、観察画像として展開ビュー画像やストレートビュー画像を用いることができる。観察画像に展開ビュー画像やストレートビュー画像を用いる場合、対応位置明示手段１８は、観察画像上の、第２のパス上で観察障害対応区間として特定された部分に、観察障害に対応する部分である旨を明示すればよい。例えば図８に示す展開ビュー画像における、図１１（ｂ）に示す観察障害対応区間Ｌ２に対応する部分のコントラストを上げるなどして、展開ビュー画像のうちのどの部分が観察障害に対応した部分であるかを明示すればよい。

なお、上記各実施形態では、第１及び第２の検査画像２１、２２のうちの一方に対して観察障害を特定し、他方の画像に対して観察障害に対応する部分を特定したが、双方の画像において観察障害を特定してもよい。例えば第１の検査画像２１において特定された観察障害に対応する部分を、第２の検査画像２２から生成された第２の仮想内視鏡画像上に明示すると共に、第２の検査画像２２において特定された観察障害に対応する部分を、第１の検査画像２１から生成された第１の仮想内視鏡画像上に明示してもよい。この場合、第１の仮想内視鏡画像において観察できない又は観察しにくい部分を、第２の仮想内視鏡画像において観察し、第２の仮想内視鏡画像において観察できない又は観察しにくい部分を、第１の仮想内視鏡画像において観察できる。

また、画像処理装置１０に入力される検査画像は２つには限定されず、３以上の検査画像を画像処理装置１０に入力してもよい。例えば３つの検査画像（第１〜第３の検査画像）を画像処理装置１０に入力する場合、位置合せ手段１５は第１の検査画像と第２の検査画像とで位置合せを行うと共に、第１の検査画像と第３の検査画像とで位置合せを行えばよい。また、対応位置決定手段１７は、第２及び第３の検査画像の双方で、第１の検査画像において特定された観察障害に対応する位置又は領域を求めればよい。対応位置明示手段１８は、第２及び第３の検査画像に基づく仮想内視鏡画像の観察時に、第１の検査画像において特定された観察障害に対応する位置を明示すればよい。

３以上の検査画像が入力される場合、３以上の検査画像のうちの少なくとも１つにおいて観察障害を特定し、残りの複数の検査画像のうちの少なくとも１つの検査画像において、観察障害に対応する部分を特定すればよい。その場合、観察障害に対応する部分が特定された検査画像から生成される仮想内視鏡画像上に、観察障害に対応する部分を明示すればよい。例えば１か月前に撮影された仰伏臥２体位の検査画像と、今回撮影された仰伏臥２体位の検査画像との計４つの検査画像がある場合、４つの検査画像のうちの１つで観察障害を特定し、残り３つの検査画像のそれぞれに対して観察障害に対応する部分を特定し、それら３つの検査画像から生成される仮想内視鏡画像上に、それぞれ観察障害に対応する部分を明示すればよい。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１０：画像処理装置
１１：検査画像入力手段
１２：パス設定手段
１３：仮想内視鏡画像生成手段
１４：出力手段
１５：位置合せ手段
１６：観察障害特定手段
１７：対応位置決定手段
１８：対応位置明示手段
２１、２２：検査画像
３０：表示装置
３１、３２：仮想内視鏡画像

Claims (11)

1. 医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定する観察障害特定手段と、
   前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定する対応位置決定手段と、
   複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成する観察画像生成手段と、
   前記第２の検査画像から生成された観察画像上に、前記対応位置決定手段で特定された観察障害に対応する部分を明示する対応位置明示手段とを備える画像処理装置。
2. 前記観察障害特定手段が、前記第１の検査画像における前記管腔に対応する領域の中の任意の画素の位置又は任意の範囲の領域を、観察障害の部分として特定するものであることを特徴とする請求項１に記載の画像処理装置。
3. 少なくとも前記第１及び前記第２の検査画像における前記管腔に対応する領域間の画素の対応関係を生成する位置合せ手段を更に備え、
   前記対応位置決定手段が、前記生成された対応関係を用いて、前記第１の検査画像中で特定された位置又は領域に対応する前記第２の検査画像中の位置又は領域を、前記観察障害の部分として特定するものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記位置合せ手段が、前記第１及び第２の検査画像における前記管腔に対応する領域を非剛体位置合せし、該位置合わせの結果に基づいて前記対応関係を生成するものであることを特徴とする請求項３に記載の画像処理装置。
5. 前記観察画像生成手段が、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を前記観察画像として生成するものであり、
   前記対応位置明示手段が、前記第２の検査画像から生成された仮想内視鏡画像により、前記特定された前記第２の検査画像中の位置又は領域が可視化されるとき、前記仮想内視鏡画像上に前記特定された観察障害に対応する部分を明示するものであることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記観察画像生成手段が、前記管腔を直線状に伸ばし、前記管腔の内壁部分に相当する部分を、前記管腔を切り開いて二次元画像上に投影した画像である展開ビュー画像、及び、前記管腔を所定の平面で切断し該平面と垂直な方向から前記管腔を観察した画像であるストレートビュー画像の少なくとも一方を観察画像として生成するものであり、
   前記対応位置明示手段が、前記観察画像上の、前記特定された前記第２の検査画像中の位置又は領域の部分に、前記特定された観察障害に対応する部分である旨を明示するものであることを特徴とする請求項３又は４に記載の画像処理装置。
7. 前記第１及び第２の検査画像における前記管腔の内部にそれぞれパスを設定するパス設定手段を更に備え、
   前記観察障害特定手段が、前記第１の検査画像における前記管腔に対して設定されたパス上の任意の位置を観察障害の部分として特定するものであり、
   前記対応位置決定手段が、前記第１及び第２の検査画像における前記管腔の内部に設定されたパス間の対応関係に基づいて、前記第１の検査画像における前記管腔に対して設定されたパス上の位置に対応する、前記第２の検査画像における前記管腔に対して設定されたパス上の位置を、前記観察障害に対応する部分として特定するものであることを特徴とする請求項１に記載の画像処理装置。
8. 前記観察画像生成手段が、前記設定されたパス上の任意の点を視点とする仮想内視鏡画像を前記観察画像として生成するものであり、
   前記対応位置明示手段が、前記観察障害に対応する部分として特定された、前記第２の検査画像における前記管腔に対して設定されたパス上の位置を視点とする仮想内視鏡画像が生成されるとき、該仮想内視鏡画像上に前記特定された観察障害に対応する部分を明示するものであることを特徴とする請求項７に記載の画像処理装置。
9. 前記観察画像生成手段が、前記管腔を直線状に伸ばし、前記管腔の内壁部分に相当する部分を、前記管腔を切り開いて二次元画像上に投影した画像である展開ビュー画像、及び、前記管腔を所定の平面で切断し該平面と垂直な方向から前記管腔を観察した画像であるストレートビュー画像の少なくとも一方を観察画像として生成するものであり、
   前記対応位置明示手段が、前記観察画像上の、前記特定された、前記第２の検査画像における前記管腔に対して設定されたパス上の位置の部分に、前記特定された観察障害に対応する部分である旨を明示するものであることを特徴とする請求項７に記載の画像処理装置。
10. 医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定するステップと、
    前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定するステップと、
    複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成するステップと、
    前記第２の検査画像から生成された観察画像上に、前記観察障害に対応する部分として特定された部分を明示するステップとを有する画像処理方法。
11. コンピュータに、
    医用画像撮影装置を用いて撮影された管腔を有する被検体の内部を示す複数の検査画像のうちの１つである第１の検査画像中の観察障害を特定する手順と、
    前記複数の検査画像の中で前記観察障害が特定されていない検査画像のうちの１つである第２の検査画像における、前記第１の検査画像において特定された観察障害に対応する部分を特定する手順と、
    複数の検査画像から、前記管腔の内部を可視化するための複数の観察画像を生成する手順と、
    前記第２の検査画像から生成された観察画像上に、前記観察障害に対応する部分として特定された部分を明示する手順とを実行させるためのプログラム。