JP2013027636A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】撮像対象までの距離に応じて分類された各領域に対して、特定領域の判別基準を精度の良く作成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出部１１０と、画像内の各箇所における特徴量を算出する特徴量算出部１２０と、画像内の距離情報に応じて分類される各領域における特徴量の分布を算出する特徴量分布算出部１３０と、各領域における特徴量分布の信頼性を判定する信頼性判定部１４０と、該信頼性判定部１４０の判定結果と、各領域における特徴量分布とに基づいて、画像内の特定領域を判別するための判別基準を領域毎に作成する判別基準作成１５０とを備える。
【選択図】図１

Description

本発明は、生体の管腔内を撮像した複数の波長成分からなる画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像（以下、管腔内画像又は単に画像ともいう）に対する画像処理として、画像内の特徴量分布に基づいて異常部等の特定領域を抽出する技術が知られている（例えば、特許文献１参照）。

ここで、内視鏡やカプセル型内視鏡は、近景から遠景までを管腔内の内容液（胆汁等の消化液）を通して撮像するため、光が通過する内容液の量に応じて画像内の色情報にも変化が生じる。即ち、色情報に基づく特徴空間においては、撮像対象が正常部であるか病変部であるかを判別するための境界が、カプセル型内視鏡等から撮像対象までの距離に応じて変化することになる。そのため、特許文献１においては、画像を構成する複数の波長成分の内、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分（具体的には、Ｒ成分）の値をもとに画像を領域分割し、領域分割した領域毎に設定される判別基準を用いて、領域内の注目対象部を特定することとしている。これにより、撮像対象までの距離によらず、精度の良い病変部の判別が可能となる。

特開２０１０−１１３６１６号公報

しかしながら、撮像対象までの距離に応じて画像を分割する場合、分割された各領域の面積は一様でなくなるため、領域毎の判別基準作成の基礎となる画素データの数にもばらつきが生じる。このため、画素データが少ない領域においては、作成した判別基準の精度が低下してしまうおそれがある。

本発明は、上記に鑑みて為されたものであって、撮像対象までの距離に応じて分類された各領域に対して、特定領域の判別基準を精度良く作成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出手段と、前記画像内の各箇所における特徴量を算出する特徴量算出手段と、前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出手段と、前記各領域における特徴量分布の信頼性を判定する信頼性判定手段と、前記信頼性判定手段の判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成手段とを備えることを特徴とする。

本発明に係る画像処理方法は、画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出ステップと、前記画像内の各箇所における特徴量を算出する特徴量算出ステップと、前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出ステップと、前記各領域における特徴量分布の信頼性を判定する信頼性判定ステップと、前記信頼性判定ステップにおける判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成ステップとを含むことを特徴とする。

本発明に係る画像処理プログラムは、画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出ステップと、前記画像内の各箇所における特徴量を算出する特徴量算出ステップと、前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出ステップと、前記各領域における特徴量分布の信頼性を判定する信頼性判定ステップと、前記信頼性判定ステップにおける判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、距離情報に応じて分類された各領域における特徴量分布の信頼性を判定し、この判定結果と特徴量分布とに基づいて特定領域を判別するための判別基準を作成するので、各領域に対して精度の良い判別基準を作成することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、処理対象である管腔内画像の一例を示す模試図である。 図４は、距離情報に基づく階層毎の２次元特徴平面における特徴量頻度分布を示す模式図である。 図５は、図４に示す特徴空間の階層に対応する実画像空間上の領域を示す模式図である。 図６は、距離情報を量子化した階層毎の特徴量頻度分布を示す模式図である。 図７は、階層毎の特徴量分布の重心値及び分散値を示す模式図である。 図８は、特徴量分布の信頼性が低い階層における判別基準の置き換えを説明する図である。 図９は、判別基準の置き換えの別の例を説明する図である。 図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１１は、図１０に示す画像処理装置の動作を示すフローチャートである。 図１２は、臓器種類毎の判別基準モデルを作成する処理の詳細を示すフローチャートである。 図１３は、複数の階層間における最頻値の連続性を表すモデルを示す模式図である。 図１４は、複数の階層間における分散値の連続性を表すモデルを示す模式図である。 図１５は、最頻値の連続性モデルに基づく信頼性の判定及び判別基準のあてはめを説明する模式図である。 図１６は、分散値の連続性モデルに基づく信頼性の判定及び判別基準のあてはめを説明する模式図である。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

以下の実施の形態においては、一例として、内視鏡又はカプセル型内視鏡等の医用観察装置によって被検体の管腔内を時系列順に撮像することにより取得された一連の管腔内画像（以下、単に画像ともいう）に対する処理について説明する。以下の説明において画像処理を施される画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対して２５６階調の画素レベル（画素値）を持つカラー画像である。なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された画像から特定の領域を抽出する場合にも広く適用することができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。

制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。

入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。

記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像を距離情報に基づいて複数の領域に分割し、管腔内画像から異常部等の特定領域を判別するための判別基準を領域毎に作成し、この判別基準に従って特定領域を判別する処理を実行するための画像処理プログラム５１を格納する。

演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から特定領域を判別するための種々の演算処理を行う。

次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、撮像を行った医用観察装置と撮像対象との間の距離に対応する距離情報を算出する距離情報算出部１１０と、画像内の各画素の特徴量を算出する特徴量算出部１２０と、画像内の距離情報に応じて分類される各領域における特徴量分布を算出する特徴量分布算出部１３０と、各領域における特徴量分布の信頼性を判定する信頼性判定部１４０と、信頼性判定部１４０の判定結果と、各領域における特徴量分布とに基づいて、画像内の特定領域を判別するための判別基準を上記領域毎に作成する判別基準作成部１５０と、判別基準に基づいて画像内の特定領域を判別する特定領域判別部１６０とを備える。

特徴量分布算出部１３０は、特徴量分布の形状を算出する分布形状算出部１３１と、特徴量分布の代表値を算出する分布代表値算出部１３２とを有する。より詳細には、分布形状算出部１３１は、特徴量分布の分散値を算出する分散値算出部１３１ａを含み、分布代表値算出部１３２は、特徴量分布の重心値を算出する重心値算出部１３２ａ及び特徴量分布の最頻値を算出する最頻値算出部１３２ｂを含む。

信頼性判定部１４０は、特徴量分布判定部１４１を有し、特徴量分布算出部１３０が算出した特徴量分布の形状や代表値に基づいて、特徴量分布の信頼性が所定の基準よりも高いか否かを判定する。

判別基準作成部１５０は、信頼性判定部１４０により特徴量分布の信頼性が低いと判定された領域に対し、特徴量分布の信頼性が高いと判定された領域における特徴量分布を用いて判別基準を作成する。より詳細には、判別基準作成部１５０は、信頼性判定部１４０により信頼性が低いと判定された領域の特徴量分布を、信頼性が高いと判定された領域における特徴量分布と置き換える判別基準置き換え部１５１を備え、判別基準置き換え部１５１によって置き換えられた特徴量分布に基づいて判別基準を作成する。

次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１１において、画像取得部２０は、被検体の管腔内を撮像した一連の管腔内画像を取得して記録部５０に格納する。演算部１００は、処理対象である画像に対応する画像データを記録部５０から順次読み込む。

図３は、処理対象である画像の一例を示す模式図である。図３に示す画像Ｇ１には、当該画像Ｇ１を撮像した医用観察装置の近景の粘膜Ｍ１から管腔深部に至る遠景の粘膜Ｍ２が内容液を通して映るとともに、時には病変Ｍ３等の重要箇所が映る。

ステップＳ１２において、距離情報算出部１１０は、画像内の各画素から距離情報を抽出する。実施の形態１においては、距離情報としてＲ成分の値（以下、Ｒ値という）を用いる。ここで、Ｒ成分は、Ｒ、Ｇ、Ｂ各成分の内で最も波長が長く、生体内において吸収・散乱し難い波長成分である。このため、Ｒ成分は、管腔内画像の近景から遠景までを、撮像対象や内容液（胆汁等）による照明光や反射光の吸収・散乱を抑えた状態で画像化する。即ち、医用観察装置から撮像対象までの距離情報を最も良く反映した成分であると言える。なお、距離情報としては、画像内に映った撮像対象の奥行き方向における距離と正の相関を示す値であれば、Ｒ値以外にも種々の値を用いることができる。例えば、輝度やオートゲインコントロールの制御値等を距離情報として用いても良い。なお、オートゲインコントロールとは、医用観察装置が撮像対象に近づくと光量を自動的に下げることにより、明度を均一に維持するための制御機構である。

ステップＳ１３において、特徴量算出部１２０は、画像内の各画素の画素値（Ｒ値、Ｇ値、Ｂ値）を取得して、特徴量を算出する。具体的には、各画素についてＧ／Ｒ値及びＢ／Ｇ値を算出すると共に、距離情報（Ｒ値)を所定の間隔で量子化（離散化）した距離情報量子化値（Ｒ_１、Ｒ_２、…）を算出する。これにより距離情報が複数の階層に分類される。

ステップＳ１４において、特徴量分布算出部１３０は、量子化した距離情報に応じた階層毎に、２次元特徴平面における特徴量の頻度分布を算出する。具体的には、図４に示すように、Ｇ／Ｒ、Ｂ／Ｇ、及び距離情報量子化値（階層Ｒ_１、Ｒ_２、…）の３軸からなる特徴空間に対し、ステップＳ１３において算出した画素の特徴量を投影する。それにより、階層Ｒ_１、Ｒ_２、…毎のＧ／Ｒ−Ｂ／Ｇ特徴平面における特徴量頻度分布を算出する。なお、Ｇ／Ｒ値及びＢ／Ｇ値については、量子化した値を用いて処理を行っても良いし、元の連続値のまま処理を行っても良い。

このように、距離情報に応じて複数の階層に分けられた特徴空間の各々は、実画像空間においては、撮像対象までの距離に応じて分類される各領域に相当する。例えば図５に示す画像Ｇ１’において、遠景の領域１〜近景の領域６は、図４に示す階層Ｒ_１〜階層Ｒ_６（Ｒ_６＞Ｒ_１）に対応している。

また、図６は、図４に示す階層Ｒ_１〜Ｒ_６毎の２次元特徴平面をＧ／Ｒ軸上に投影した模式図である。以下においては、説明を簡単にするために、Ｇ／Ｒ軸上における模式図を参照して説明するが、実際には、Ｇ／Ｒ軸及びＢ／Ｇ軸からなる２次元平面上において処理がなされることに留意されたい。

ステップＳ１５において、分散値算出部１３１ａは、階層Ｒ_１〜Ｒ_６毎に特徴量頻度分布から分散値を算出する。
ステップＳ１６において、重心値算出部１３２ａは、階層Ｒ_１〜Ｒ_６毎に特徴量頻度分布から重心値（平均値）を算出する。
ステップＳ１７において、最頻値算出部１３２ｂは、階層Ｒ_１〜Ｒ_６毎に特徴量頻度分布から最頻値を算出する。

図７は、ステップＳ１５〜Ｓ１７において算出された階層Ｒ_１〜Ｒ_６毎の特徴量分布の形状及び代表値を示す模式図である。図７においては、代表値として重心値μ_１〜μ_６を示している。また、各階層Ｒ_１〜Ｒ_６に示す両矢印は、分散値σ_１ ^２〜σ_６ ^２に対応する特徴分布の広がり（例えば、±σ）を表す。

ステップＳ１８において、信頼性判定部１４０は、分散値、重心値、及び最頻値に基づいて、階層毎の特徴量分布の信頼性を判定する。具体的には、各階層Ｒ_１〜Ｒ_６の分散値、重心値、及び最頻値を、予め所定の範囲を設定しておいた分散値、重心値、及び最頻値の基準値と比較する。そして、分散値、重心値、及び最頻値が各基準値の範囲内に含まれる場合、その階層における特徴量分布の信頼性は高いと判定し、それ以外の場合、その階層における特徴量分布の信頼性は低いと判定する。このとき、分散値、重心値、及び最頻値の内の少なくとも１つが対応する基準値の範囲内に含まれていれば、特徴量分布の信頼性が高いと判定しても良い。また、管腔内画像においては、胃、小腸、大腸等の臓器種類毎にある程度色の範囲が決まっているため、信頼性判定に用いられる分散値、重心値、及び最頻値の基準値の範囲を、臓器種類毎に設定しておいても良い。

ステップＳ１９において、判別基準置き換え部１５１は、特徴量分布の信頼性が低いと判定された階層における特徴量分布（重心値及び分散値）を、信頼性が高いと判定された近接階層における特徴量分布と置き換える。例えば、図７において、階層Ｒ_１における特徴量分布の信頼性が低いと判定された場合、判別基準置き換え部１５１は、階層Ｒ_１における重心値μ_１及び分散値σ_１ ^２を、階層Ｒ_１と近接する階層Ｒ_２における重心値μ_２及び分散値σ_２ ^２と置き換える（図８参照）。

なお、特徴量分布の信頼性が低いと判定された階層に対し、その両側の近接階層の信頼性が高いと判定されている場合、いずれの近接階層における重心値及び分散値を当該信頼性の低い階層に適用しても良い。この場合、重心値及び分散値を採用する近接階層の優先順位を予め定めておいても良い。例えば、分散値や重心値が当該信頼性の低い階層における分散値や重心値により近い方の近接階層を優先したり、特徴量分布算出の基礎となった画素データの多い近接階層を優先したりといった設定も可能である。

ステップＳ２０において、判別基準作成部１５０は、階層毎に、特定領域判別のための判別基準を作成する。具体的には、判別基準作成部１５０は、階層Ｒ_１〜Ｒ_６の各々の特徴量分布を取得し、重心値及び分散値を判別基準として記録部５０に記録する。このとき、特徴量分布の置き換えが行われた階層については、置き換え後の特徴量分布が取得及び記録される。例えば、階層Ｒ_１については、置き換え後の重心値μ_２及び分散値σ_２ ^２が階層Ｒ_１の判別基準とされる。

ステップＳ２１において、特定領域判別部１６０は、各画素に対応する階層Ｒ_１〜Ｒ_６における判別基準を記録部５０から読み出し、各画素と判別基準とのマハラノビス距離（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、第２２２〜２２３頁）を算出する処理を、画像内の全画素に対して行う。

ステップＳ２２において、特定領域判別部１６０は、マハラノビス距離が予め設定された所定の範囲から外れる画素の領域（即ち、判別基準と著しく異なる領域)を、特定領域（異常部領域）と判別する。
さらに、ステップＳ２３において、演算部１００は、ステップＳ２２における判別結果を記録部５０に記録する。或いは、当該判別結果を表示部４０に表示させても良い。

以上説明したように、実施の形態１においては、距離情報に基づいて分けられた階層毎に特徴量分布の信頼性を判定し、特徴量分布の信頼性が低いと判定された階層の重心値及び分散値を、特徴量分布の信頼性が高いと判定された近接階層における重心値及び分散値と置き換え、置き換えられた重心値及び分散値を判別基準として用いて特定領域の判別を行う。そのため、実施の形態１によれば、距離に応じて領域分割した結果、画素データが少なくなった領域についても、精度の良い判別基準を作成することができる。従って、このような判別基準を用いることにより、特定領域を精度良く判別することが可能となる。

（変形例１−１）
以上説明した実施の形態１においては、階層毎の特徴量分布の信頼性の判断において、分散値、重心値、及び最頻値の３つの指標を用いたが、この内のいずれか１つに基づいて判定を行っても良い。また、判定に用いる指標としては、この他にも、分布のモーメント等、特徴量分布の特性を示す種々の値を用いることができる。

（変形例１−２）
判別基準を作成する際には、特徴量分布の信頼性が高いと判定された階層における重心値及び分散値を、他の全ての階層における判別基準に適用しても良い。具体的には、図７に示す階層Ｒ_４における特徴量分布の信頼性が高いと判定された場合、階層Ｒ_１〜Ｒ_３、Ｒ_５、Ｒ_６における分散値σ_１ ^２〜σ_３ ^２、σ_５ ^２、σ_６ ^２を、分散値σ_４ ^２と置き換える（図９参照）。なお、図９に示す両矢印は、分散値σ_４ ^２に対応する特徴量分布の広がり（例えば、±σ_４）を表す。

或いは、特徴量分布が高いと判定された階層における全ての判別基準をまとめて（例えば、平均値を取って）、他の階層における判別基準に適用しても良い。具体的には、図７に示す階層Ｒ_２〜Ｒ_５における特徴量分布の信頼性が高いと判定された場合、σ_２ ^２〜σ_６ ^２の平均値ＡＶＥ（σ_２ ^２〜σ_６ ^２）を算出し、階層Ｒ_１〜Ｒ_６の分散値σ_１ ^２〜σ_６ ^２をこの平均値ＡＶＥ（σ_２ ^２〜σ_６ ^２）と置き換えても良い。

（変形例１−３）
以上説明した実施の形態１においては、画素単位で算出された特徴量に基づいて各階層の特徴量分布の算出、信頼性の判定、及び判別基準の置き換えを行ったが、画像をエッジ強度に基づいて分割した小領域単位の特徴量に基づいてこれらの処理を行っても良い。

エッジ強度に基づく画像の分割は、例えば以下のようにして行う。まず、処理対象の画像に含まれる各画素のエッジ強度を算出する。エッジ強度の算出に際しては、ソーベルフィルタ等の微分フィルタ処理など、公知の手法を用いれば良い。続いて、画像をエッジ強度の尾根を境界とする複数のエッジ領域に分割する。より詳細には、各画素エッジ強度を画素値とするエッジ強度画像を作成し、エッジ強度画像内の画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。そして、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索し、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する（参考：国際公開第２００６／０８０２３９号）。

この他、画像の分割方法としては、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等の公知の手法を利用することもできる。

変形例１−３によれば、複数の画素がまとまった小領域単位の特徴量に基づいて特徴量頻度分布を算出するので、小領域ごとの特徴が反映された信頼性の判定及び判別基準の作成を行うことができると共に、演算速度を向上させることが可能となる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１０は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１０に示す画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。演算部２００は、距離情報算出部１１０と、特徴量算出部１２０と、特徴量分布算出部１３０と、信頼性判定部（連続性判定部）２１０と、判別基準作成部２２０と、特定領域判別部１６０とを備える。この内、距離情報算出部１１０、特徴量算出部１２０、特徴量分布算出部１３０、及び特定領域判別部１６０の動作については実施の形態１と同様である。

信頼性判定部（連続性判定部）２１０は、距離情報に応じて分類される複数の領域間における特徴量分布の連続性を判定することにより、該特徴量分布の信頼性を判定する。より詳細には、信頼性判定部２１０は、複数の領域間における特徴量分布の連続性を近似した連続性モデルを特徴量分布にあてはめる連続性モデルあてはめ部２１１と、連続性モデルを作成する連続性モデル作成部２１２とを有し、連続性モデルあてはめ部２１１によるあてはめ結果に基づいて、複数の領域間における特徴量分布の連続性を判定し、連続性がある場合に信頼性が高いと判定し、連続性がない場合に信頼性が低いと判定する。

この内、連続性モデルあてはめ部２１１は、特徴量分布の中心軸（代表値）に応じて定まる連続性モデルを特徴量分布にあてはめる分布中心軸（代表値）モデルあてはめ部２１１ａと、特徴量分布の広がりに応じて定まる連続性モデルを特徴量分布にあてはめる分布広がりモデルあてはめ部２１１ｂとを含む。なお、特徴量分布の中心軸は、具体的には、重心値、平均値、最頻値といった特徴量分布の代表値に相当する。

連続性モデル作成部２１２は、被検体の管腔内を撮像した一連の画像から複数の画像を抽出する画像抽出部２１２ａと、画像抽出部２１２ａによって抽出された複数の画像の特徴量分布を算出する抽出画像特徴量分布算出部２１２ｂとを含み、複数の画像の特徴量分布に基づいて連続性モデルを作成する。画像抽出部２１２ａは、各画像の臓器種類を判別する臓器種類判別部２１２ａ−１を含み、各画像の臓器種類に基づいて画像を抽出する。

判別基準作成部２２０は、信頼性判定部２１０の判定結果と各領域における特徴量分布とに基づいて、画像内の特定領域を判別するための判別基準を作成する。このとき、判別基準作成部は、信頼性判定部２１０により信頼性が低いと判定された領域については、複数の領域間における特徴量分布の連続性を近似したモデルを用いて判別基準を作成する。より詳細には、判別基準作成部２２０は、複数の領域間における特徴量分布の連続性を近似したモデルを、信頼性判定部２１０により信頼性が高いと判定された領域に対してあてはめる判別基準モデルあてはめ部２２１と、複数の領域間における特徴量分布の連続性を近似したモデルを作成する判別基準モデル作成部２２２とを有し、判別基準モデルあてはめ部２２１によるあてはめ結果に基づいて判別基準を作成する。

この内、判別基準モデルあてはめ部２２１は、特徴量分布の中心軸（即ち、特徴量分布の重心値、平均値、最頻値といった代表値）に応じて定まるモデルを特徴量分布にあてはめる分布中心軸（代表値）モデルあてはめ部２２１ａと、特徴量分布の広がりに応じて定まるモデルを特徴量分布にあてはめる分布広がりモデルあてはめ部２２１ｂとを有する。

また、判別基準モデル作成部２２２は、被検体の管腔内を撮像した一連の画像から複数の画像を抽出する画像抽出部２２２ａと、画像抽出部２２２ａによって抽出された複数の画像の特徴量分布を算出する抽出画像特徴量分布算出部２２２ｂとを含み、複数の画像の特徴量分布に基づいて上記モデルを作成する。画像抽出部２２２ａは、各画像の臓器種類を判別する臓器種類判別部２２２ａ−１を含み、各画像の臓器種類に基づいて画像を抽出する。

次に、画像処理装置２の動作について説明する。図１１は、画像処理装置２の動作を示すフローチャートである。
まず、ステップＳ３０において、信頼性判定部２１０は、臓器種類毎に、特徴量の連続性を表すモデルを作成する。図１２は、ステップＳ３０における詳細な処理を示すフローチャートである。

ステップＳ３０１において、信頼性判定部２１０は、カプセル型内視鏡等によって被検体の管腔内を撮像した一連の画像に対応する画像データを取得する。
ステップＳ３０２において、臓器種類判別部２１２ａ−１は、取得した一連の画像の各々に対し、臓器種類の判別処理を行う。臓器種別の判別方法としては、公知の種々の方法を用いることができる。本実施の形態２においては、一例として、画像の平均Ｒ、Ｇ、Ｂ値に基づいて臓器種類を判別する方法を説明する。まず、事前に、食道、胃、小腸、大腸といった臓器種類毎に、Ｒ、Ｇ、Ｂ色要素の数値範囲を決定しておく。臓器種類判別部２１２ａ−１は、判別対象の画像について、画像内の画素のＲ値、Ｇ値、及びＢ値それぞれの平均値を算出し、これらの平均値と、予め決定された上記色要素の数値範囲とを比較することにより、各画像の臓器種類を判別する。例えば、画像のＲ値、Ｇ値、及びＢ値の平均値が小腸の色要素の数値範囲であれば、判別対象の画像の臓器種類を小腸と判別し、画像のＲ値、Ｇ値、及びＢ値の平均値が大腸の色要素の数値範囲であれば、判別対象の画像の臓器種類を大腸と判別する（参考：特開２００６−２８８６１２号公報）。なお、ここで判別された臓器種類は、各画像に対応する画像データに関連付けて記録される。

ステップＳ３０３において、画像抽出部２１２ａは、一連の画像から、臓器種類毎に画像をランダムに抽出する。或いは、画像抽出部２１２ａは、臓器種類毎に画像を等間隔に抽出しても良い。

ステップＳ３０４において、距離情報算出部１１０は、各画像に対し、画像内の各画素から距離情報を抽出する処理を行う。距離情報としては、例えば生体内において吸収・散乱し難い波長成分であるＲ成分の値が用いられる。

ステップＳ３０５において、特徴量算出部１２０は、画像内の各画素の画素値を取得して特徴量を算出する処理を、臓器種類毎に抽出した全画像に対して行う。特徴量としては、Ｇ／Ｒ値、Ｂ／Ｇ値、及び距離情報(Ｒ値)を所定の間隔で量子化した距離情報量子化値を算出する。

ステップＳ３０６において、抽出画像特徴量分布算出部２１２ｂは、臓器種類毎に、量子化した距離情報に応じた階層毎に、２次元特徴平面における特徴量頻度分布を算出する。具体的には、図４に示すようなＧ／Ｒ、Ｂ／Ｇ、及び距離情報量子化値の３軸からなる特徴空間に対し、ステップＳ３０５において臓器種類毎に算出した全画素の特徴量を投影する。

ステップＳ３０７において、連続性モデル作成部２１２は、臓器種類毎、階層毎に、特徴量頻度分布から最頻値及び分散値を算出し、各階層間における最頻値及び分散値の関係（連続性）を近似したモデルを作成する。最頻値及び分散値の近似は、例えば最小２乗近似によって行うことができる。なお、このときの近似式は、１次式であっても２次式であっても良い。図１３は、階層Ｒ_１〜Ｒ_６における最頻値ｍ_１〜ｍ_６に基づいて作成された最頻値の連続性を表すモデル（以下、最頻値モデルという）を示す模式図である。また、図１４は、階層Ｒ_１〜Ｒ_６における分散値σ_１ ^２〜σ_６ ^２に基づいて作成された分散値の連続性を表すモデル（以下、分散値モデルという）を示す模式図である。図１３及び図１４に示すような最頻値モデル及び分散値モデルが、臓器種類毎に作成される。

この後、動作はメインルーチンに戻る。
ステップＳ１１〜Ｓ１５及びＳ１７の動作は、実施の形態１において説明したものと同様である。

ステップＳ３１において、連続性モデルあてはめ部２１１は、処理対象の画像の臓器種類に対応する連続性モデルに基づいて、階層毎の特徴量分布の信頼性を判定する。
より詳細には、分布中心軸モデルあてはめ部２１１ａは、例えば図１５に示す臓器種類毎の最頻値モデルを、処理対象の画像について算出された階層毎の最頻値ｍ_１１〜ｍ_１６にあてはめる。その結果、処理対象の画像の最頻値と最頻値モデルとの差が所定の閾値以上となる階層における特徴量分布を、他の階層との間で連続性がなく、信頼性が低いと判定する。図１５の場合、階層Ｒ_２及びＲ_４における最頻値ｍ_１２及びｍ_１４の信頼性が低いと判定される。

また、分布広がりモデルあてはめ部２１１ｂは、例えば図１６に示す臓器種類毎の分散値モデルを、処理対象の画像について算出された階層毎の分散値σ_１２ ^２〜σ_１６ ^２にあてはめる。その結果、処理対象の画像の分散値と分散値モデルとの差が所定の閾値以上となる階層における特徴量分布を、他の階層との間で連続性がなく、信頼性が低いと判定する。図１６の場合、階層Ｒ_１における分散値σ_１１ ^２の信頼性が低いと判定される。

ステップＳ３２において、判別基準モデルあてはめ部２２１は、処理対象の画像の臓器種類に対応するモデルに基づいて、階層毎に特徴量分布を修正する。なお、判別基準モデルあてはめ部２２１は、あてはめに用いるモデルを、ステップ３０と同様にして判別基準モデル作成部２２２が作成しても良いし、連続性モデル作成部２１２が作成した連続性モデルを取得しても良い。

詳細には、分布中心軸モデルあてはめ部２２１ａは、例えば図１５に示すように、階層Ｒ_１〜Ｒ_６毎に算出された最頻値ｍ_１１〜ｍ_１６の内、信頼性が高いと判定された階層における最頻値に対して、臓器種類毎の最頻値モデルをあてはめる。そして、信頼性が低いと判定された階層における最頻値を、最頻値モデル上の値と置き換える。図１５の場合、階層Ｒ_２の最頻値（ｍ_１２）が値ｍ_１２’と置き換えられ、階層Ｒ_４の最頻値（ｍ_１４）が値ｍ_１４’と置き換えられる。或いは、全て階層Ｒ_１〜Ｒ_６における最頻値を、最頻値モデル上の値と置き換えても良い。

また、分布広がりモデルあてはめ部２２１ｂは、例えば図１６に示すように、階層Ｒ_１〜Ｒ_６毎に算出された分散値σ_１２ ^２〜σ_１５ ^２の内、信頼性が高いと判定された階層における最頻値に対して、臓器種類毎の分散値モデルをあてはめる。そして、信頼性が低いと判定された階層における分散値を、分散値モデル上の値と置き換える。図１６の場合、階層Ｒ_１の分散値（σ_１１ ^２）が値（σ_１１ ^２）’と置き換えられる。或いは、全ての階層Ｒ_１〜Ｒ_６における分散値を、分散値モデル上の値と置き換えても良い。

ステップＳ３３において、判別基準作成部２２０は、階層毎に、特定領域判別のための判別基準を作成する。具体的には、判別基準モデル作成部２２２は、階層Ｒ_１〜Ｒ_６の各々の特徴量分布を取得し、最頻値及び分散値を判別基準として記録部５０に記録する。このとき、特徴量分布の修正が行われた階層については、修正後の特徴量分布が取得及び記録される。

ステップＳ３４において、特定領域判別部１６０は、各画素に対応する階層Ｒ_１〜Ｒ_６における判別基準を記録部５０から読み出し、各画素と判別基準とのマハラノビス距離を算出する処理を、画像内の全画素に対して行う。

ステップＳ３５において、特定領域判別部１６０は、マハラノビス距離が予め設定された所定の範囲から外れる画素の領域（即ち、判別基準と著しく異なる領域)を、特定領域（異常部領域）と判別する。
さらに、ステップＳ３６において、演算部２００は、ステップＳ３５における判別結果を記録部５０に記録する。或いは、当該判別結果を表示部４０に表示させても良い。

以上説明したように、実施の形態２によれば、臓器種類毎の特性を反映した連続性モデルを用いて階層毎の特徴量分布の信頼性判定及び修正を行い、修正された特徴量分布を判別基準として用いて特定領域の判別を行うので、領域判別の精度をさらに向上させることが可能となる。

なお、上記説明においては、最頻値及び分散値について連続性モデルを作成したが、最頻値の代わりに重心値を用いて連続性モデルを作成しても良いし、それ以外の特徴量分布の特性を示す指標（例えばモーメント等）のモデルを作成しても良い。

以上説明した実施の形態１及び２並びにこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。

なお、本発明は、実施の形態１〜３及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１、２ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００ 演算部
１１０ 距離情報算出部
１２０ 特徴量算出部
１３０ 特徴量分布算出部
１３１ 分布形状算出部
１３１ａ 分散値算出部
１３２ 分布代表値算出部
１３２ａ 重心値算出部
１３２ｂ 最頻値算出部
１４０ 信頼性判定部
１４１ 特徴量分布判定部
１５０ 判別基準作成部
１５１ 判別基準置き換え部
１６０ 特定領域判別部
２１０ 信頼性判定部（連続性判定部）
２１１ 連続性モデルあてはめ部
２１１ａ 分布中心軸モデルあてはめ部
２１１ｂ 分布広がりモデルあてはめ部
２１２ 連続性モデル作成部
２１２ａ 画像抽出部
２１２ａ−１ 臓器種類判別部
２１２ｂ 抽出画像特徴量分布算出部
２２０ 判別基準作成部
２２１ 判別基準モデルあてはめ部
２２１ａ 分布中心軸モデルあてはめ部
２２１ｂ 分布広がりモデルあてはめ部
２２２ 判別基準モデル作成部
２２２ａ 画像抽出部
２２２ａ−１ 臓器種類判別部
２２２ｂ 抽出画像特徴量分布算出部

Claims (29)

1. 画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出手段と、
   前記画像内の各箇所における特徴量を算出する特徴量算出手段と、
   前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出手段と、
   前記各領域における特徴量分布の信頼性を判定する信頼性判定手段と、
   前記信頼性判定手段の判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記特徴量算出手段は、前記画像内の各画素の特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量算出手段は、前記画像をエッジ強度に基づいて分割した小領域毎の特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴量分布算出手段は、前記距離情報を複数の階層に分類した階層毎に、前記特徴量の分布を算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記信頼性判定手段は、前記特徴量の分布に基づいて前記信頼性を判定する特徴量分布判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記信頼性判定手段は、
   前記特徴量分布の形状を算出する分布形状算出手段を備え、
   前記特徴量分布の形状に基づいて前記信頼性を判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記分布形状算出手段は、前記特徴量分布の分散値を算出する分散値算出手段を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記信頼性判定手段は、
   前記特徴量分布の代表値を算出する分布代表値算出手段を備え、
   前記代表値に基づいて前記信頼性を判定することを特徴とする請求項５に記載の画像処理装置。
9. 前記分布代表値算出手段は、前記特徴量分布の重心値を算出する重心値算出手段を含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記分布代表値算出手段は、前記特徴量分布の最頻値を算出する最頻値算出手段を含むことを特徴とする請求項８に記載の画像処理装置。
11. 前記信頼性判定手段は、
    前記距離情報に応じて分類される複数の領域間における前記特徴量分布の連続性に基づいて前記信頼性を判定することを特徴とする請求項１に記載の画像処理装置。
12. 前記信頼性判定手段は、
    前記距離情報に応じて分類される複数の領域間における前記特徴量分布の連続性を近似したモデルを前記特徴量分布にあてはめる連続性モデルあてはめ手段を備え、
    前記連続性モデルあてはめ手段によるあてはめ結果に基づいて、前記複数の領域間における前記特徴量分布の連続性を判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記連続性モデルあてはめ手段は、前記特徴量分布の代表値に応じて定まるモデルを特徴量分布にあてはめる分布代表値モデルあてはめ手段を備えることを特徴とする請求項１２に記載の画像処理装置。
14. 前記連続性モデルあてはめ手段は、前記特徴量分布の広がりに応じて定まるモデルを特徴量分布にあてはめる分布広がりモデルあてはめ手段を備えることを特徴とする請求項１２に記載の画像処理装置。
15. 前記信頼性判定手段は、前記複数の領域間における前記特徴量分布の連続性を表すモデルを作成する連続性モデル作成手段を備えることを特徴とする請求項１２に記載の画像処理装置。
16. 前記連続性モデル作成手段は、
    被検体の管腔内を撮像した一連の画像から複数の画像を抽出する画像抽出手段と、
    前記画像抽出手段によって抽出された前記複数の画像の特徴量分布を算出する抽出画像特徴量分布算出手段と、
    を備え、
    前記複数の画像の特徴量分布に基づいて前記連続性を表すモデルを作成することを特徴とする請求項１５に記載の画像処理装置。
17. 前記画像抽出手段は、
    前記一連の画像に含まれる各画像の臓器種類を判別する臓器種類判別手段を備え、
    前記各画像の臓器種類に基づいて前記複数の画像を抽出することを特徴とする請求項１６に記載の画像処理装置。
18. 前記判別基準作成手段は、
    前記信頼性判定手段により前記特徴量分布の信頼性が所定の基準よりも低いと判定された領域に対し、前記信頼性判別手段により前記特徴量分布の信頼性が所定の基準よりも高いと判定された領域の特徴量分布を用いて前記判別基準を作成することを特徴とする請求項１に記載の画像処理装置。
19. 前記判別基準作成手段は、
    前記信頼性判定手段により信頼性が低いと判定された第１の領域の特徴量分布を、前記信頼性判定手段により信頼性が高いと判定された第２の領域であって、前記第１の領域に対応する階層の近接階層に対応する第２の領域の特徴量分布と置き換える判別基準置き換え手段を備え、
    前記判別基準置き換え手段によって置き換えられた特徴量分布に基づいて判別基準を作成することを特徴とする請求項１８に記載の画像処理装置。
20. 前記判別基準作成手段は、
    前記複数の領域間における前記特徴量分布の連続性を近似したモデルを用いて、少なくとも前記信頼性判定手段により信頼性が所定の基準よりも低いと判定された領域に対する判別基準を作成することを特徴とする請求項１に記載の画像処理装置。
21. 前記判別基準作成手段は、
    前記モデルを、前記信頼性判定手段により信頼性が所定の基準よりも高いと判定された領域に対してあてはめる判別基準モデルあてはめ手段を備え、
    前記判別基準モデルあてはめ手段によるあてはめ結果に基づいて前記判別基準を作成することを特徴とする請求項２０に記載の画像処理装置。
22. 前記判別基準モデルあてはめ手段は、特徴量分布の代表値に応じて定まるモデルを特徴量分布にあてはめる分布代表値モデルあてはめ手段を備えることを特徴とする請求項２１に記載の画像処理装置。
23. 前記判別基準モデルあてはめ手段は、特徴量分布の広がりに応じて定まるモデルを特徴量分布にあてはめる分布広がりモデルあてはめ手段を備えることを特徴とする請求項２１に記載の画像処理装置。
24. 前記判別基準作成手段は、前記複数の領域間における特徴量分布の連続性を近似したモデルを作成する判別基準モデル作成手段を備えることを特徴とする請求項２１に記載の画像処理装置。
25. 前記判別基準モデル作成手段は、
    被検体の管腔内を撮像した一連の画像から複数の画像を抽出する画像抽出手段と、
    前記画像抽出手段によって抽出された前記複数の画像の特徴量分布を算出する抽出画像特徴量分布算出手段と、
    を備え、
    前記複数の画像の特徴量分布に基づいて前記モデルを作成することを特徴とする請求項２４に記載の画像処理装置。
26. 前記画像抽出手段は、
    前記一連の画像に含まれる各画像の臓器種類を判別する臓器種類判別手段を備え、
    前記各画像の臓器種類に基づいて前記複数の画像を抽出することを特徴とする請求項２５に記載の画像処理装置。
27. 前記判別基準に基づいて画像内の特定領域を判別する特定領域判別手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
28. 画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出ステップと、
    前記画像内の各箇所における特徴量を算出する特徴量算出ステップと、
    前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出ステップと、
    前記各領域における特徴量分布の信頼性を判定する信頼性判定ステップと、
    前記信頼性判定ステップにおける判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成ステップと、
    を含むことを特徴とする画像処理方法。
29. 画像内の各箇所における撮像対象までの距離に対応する距離情報を算出する距離情報算出ステップと、
    前記画像内の各箇所における特徴量を算出する特徴量算出ステップと、
    前記画像内の前記距離情報に応じて分類される各領域における前記特徴量の分布を算出する特徴量分布算出ステップと、
    前記各領域における特徴量分布の信頼性を判定する信頼性判定ステップと、
    前記信頼性判定ステップにおける判定結果と、前記各領域における特徴量分布とに基づいて、前記画像内の特定領域を判別するための判別基準を前記領域毎に作成する判別基準作成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。