JP2008307229A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】体腔内画像の取得環境の違いに影響されずに、病変部領域を精度よく検出すること。
【解決手段】病変部候補領域抽出部１６は、周囲の画素と比較して画素値に変化がある画素をもとに凸病変部候補領域および凹病変部候補領域を抽出する。溝判定部１７は、凹病変部候補領域から体腔器官壁に挟まれて発生した溝の陰影に該当する領域を溝領域として判定する。病変部領域抽出部１８は、凹病変部候補領域から溝領域と判定された凹病変部候補領域を除外して病変部領域を抽出する。
【選択図】図１

Description

本発明は、体腔内を撮像した体腔内画像を処理する画像処理装置および画像処理プログラムに関するものである。

近年、内視鏡の分野では、飲込み型のカプセル型内視鏡が提案されている。このカプセル型内視鏡は、撮像機能や無線機能、撮像部位を照明する照明機能等を備え、体腔内の観察のために患者の口から飲み込まれて体内に導入される。そして、体外に自然排出されるまでの間、例えば食道、胃、小腸等の体腔内部をその蠕動運動にしたがって移動しながら体腔内画像を順次撮像し、撮像した体腔内画像を体外の受信装置に無線送信する。

このカプセル型内視鏡は、患者の口から飲み込まれて自然排出されるまでの間に膨大な枚数の体腔内画像を撮像する。このため、撮像された体腔内画像から画像処理によって病変を検出する画像処理装置が用いられるようになっている。体腔内画像から病変を検出できる画像処理装置としては、例えば、消化管内画像をブロック分けして各ブロックの持つ色情報を算出し、既知の出血等の病変部領域の色情報と健康な組織の色情報の基準値とを比較するものがある（特許文献１参照）。

特表２００４−５２１６９３号公報

しかしながら、特許文献１では、画像を分割したブロックの色情報により病変部領域の判別をしているため、検査対象者や撮像装置の個体差、体内器官における撮像装置の位置といった画像撮像環境の変化等を要因とする画素値の変化を病変部領域として検出してしまう場合があり、このような体腔内画像の取得環境の違いに病変部領域の検出結果が影響される問題があった。特に、体内器官壁に挟まれた溝にあたる部分では、撮像装置からの照明光の当たり具合の違いによる陰影が発生し、正常な体内器官であっても、得られた画像の画素値が正常な体内器官を表す色彩に係る画素値と異なる場合があり、病変部領域として誤検出される箇所が発生するという問題がある。

本発明は、上記に鑑みてなされたものであって、体腔内画像の取得環境の違いに影響されずに、病変部領域を精度よく検出することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、この発明にかかる画像処理装置は、生体内を撮像した体腔内画像から病変部候補領域を抽出する病変部候補領域抽出部と、前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定する溝判定部と、前記病変部候補領域と前記溝判定部の判定結果とをもとに、病変部領域を抽出する病変部領域抽出部と、を備えることを特徴とする。

また、この発明にかかる画像処理プログラムは、コンピュータに、生体内を撮像した体腔内画像から病変部候補領域を抽出する病変部候補領域抽出ステップ、前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定する溝判定ステップ、前記病変部候補領域と前記溝判定ステップの判定結果とをもとに、病変部領域を抽出する病変部領域抽出ステップ、を実行させることを特徴とする。

本発明に係る画像処理装置によれば、病変部領域の抽出結果が、検査対象者や生体内を撮像する撮像装置の個体差、体内器官における撮像装置の位置といった画像撮像環境の変化等の体腔内画像の取得環境の違いに影響されにくくなり、病変部領域を精度よく検出することができる。

以下、本発明を実施するための最良の形態である画像処理装置について、図面を参照して説明する。

（実施の形態）
図１は、本発明の実施の形態である画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の体腔内画像を撮像するカプセル型内視鏡２、カプセル型内視鏡２から無線送信される体腔内画像データを受信する受信装置３、受信装置３によって受信された体腔内画像をもとに、カプセル型内視鏡２によって撮像された体腔内画像を処理する画像処理装置５等で構成される。受信装置３と画像処理装置５との間の体腔内画像のデータの受け渡しには、例えば携帯型の記録媒体（携帯型記録媒体）４が使用される。

受信装置３は、被検体１の体外表面に貼付される複数の受信用アンテナ群Ａ１〜Ａｎを介してカプセル型内視鏡２から送信された無線信号を受信する無線ユニット３ａと、無線ユニット３ａが受信した無線信号の処理等をおこなう受信本体ユニット３ｂとを備え、無線ユニット３ａと受信本体ユニット３ｂとは、コネクタ等を介して着脱可能に接続される。この受信装置３は、携帯型記録媒体４の着脱が自在に構成されており、カプセル型内視鏡２によって撮像された被検体１内部の体腔内画像の画像データを受信し、順次携帯型記録媒体４に蓄積する。

画像処理装置５は、画像処理装置５全体の動作を制御する制御部１０と、記憶部１１と、携帯型記録媒体４を着脱自在に装着してこの携帯型記録媒体４に蓄積された体腔内画像データを取得する画像取得部１２と、画像取得部１２によって取得された体腔内画像に所定の画像処理を行う処理部１３と、各種の指示情報を入力する入力部１４と、処理部１３の画像処理結果等を表示する表示部１５とを備える。

記憶部１１は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置５の動作に係るプログラムや、画像処理装置５の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、処理部１３が体腔内画像を処理して病変部領域を抽出するための画像処理プログラム１１ａが格納される。

処理部１３は、周囲の画素と比較して画素値に変化がある画素をもとに凸病変部候補領域および凹病変部候補領域を抽出する病変部候補領域抽出部１６と、凹病変部候補領域から体腔器官壁に挟まれて発生した溝の陰影に該当する領域（以下、「溝領域」という。）を判定する溝判定部１７と、溝領域と判定された凹病変部候補領域を除外して病変部領域を抽出する病変部領域抽出部１８とを備える。

病変部候補領域抽出部１６は、周囲の画素と比較して画素値に変化がある画素を抽出する変化画素抽出部１６ａと、抽出した画素をもとに病変部候補領域と考えられる領域を抽出し、抽出した領域の特徴量を算出する領域情報取得部１６ｂと、算出した特徴量をもとに病変部候補領域と考えられる領域から病変部候補領域、具体的には凸病変部候補領域および凹病変部候補領域を抽出する領域特徴量判定部１６ｃとを含む。

溝判定部１７は、凹病変部候補領域の周囲からこの凹病変部候補領域を構成する画素と類似した画素値を有する画素を抽出する周辺類似画素抽出部１７ａと、凹病変部候補領域の画素とこの凹病変部候補領域の周囲から抽出した画素とをもとに凹病変部候補領域の周囲に溝方向拡張領域を作成し、凹病変部候補領域とこの凹病変部候補領域について作成した溝方向拡張領域との形状特徴変化量をもとに凹病変部候補領域が溝領域であるかを判定する溝拡張領域作成部１７ｂとを備える。

次に、本実施の形態に係る画像処理装置５が行う病変部領域の抽出の処理手順について説明する。図２は、画像処理装置５が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記憶部１１に格納された画像処理プログラム１１ａに従って画像処理装置５の各部が動作することによって実現される。

図２において、先ず、画像取得部１２が、装着された携帯型記録媒体４から体腔内画像の画像データを読み出し、カプセル型内視鏡２が撮像した体腔内画像を取得する（ステップＳ１）。続いて、処理部１３において、病変部候補領域抽出部１６が、ステップＳ１で取得した体腔内画像から病変部の候補となる凹病変部候補領域および凸病変部候補領域を抽出する病変部候補領域抽出処理を行い（ステップＳ２）、溝判定部１７が、凹病変部候補領域のうちの溝領域を判定する溝判定処理を行い（ステップＳ３）、病変部領域抽出部１８が、溝判定処理の判定結果をもとに凹病変部候補領域および凸病変部候補領域の中から病変部領域を抽出する病変部領域抽出処理を行う（ステップＳ４）。そして、処理部１３が、ステップＳ４で抽出した病変部領域を制御部１０を介して表示部１５に表示させ（ステップＳ５）、画像処理装置５における処理を終了する。

ここで、図２のステップＳ２による病変部候補領域抽出処理について説明する。図３は、病変部候補領域抽出処理の詳細な処理手順を示すフローチャートである。病変部候補領域は、周囲に存在する健常組織を構成する画素とは画素値に変化が見られる箇所であると考えられる。そこで病変部候補領域抽出処理では、先ず、変化画素抽出部１６ａが、体腔内画像を構成する各画素をそれぞれ注目画素とし、注目画素と所定の画素数λまたは画素数λに相当する長さ離れた周囲に位置する周囲画素とをもとに、画素値変化量を算出する（ステップＳ２０１）。画素値変化量の算出に際しては、血液の吸収帯域に相当する色成分を用いる。体腔内画像がＲＧＢ画像である場合には、病変による画素値変化は血液の吸収帯域に相当するＧ成分において表れやすい傾向があるため、本実施の形態では、ＲＧＢ画像を扱い、そのＲＧＢ画像のうちのＧ成分画像を用いて画素値変化量の算出を行う。

図４は、画素値変化量の算出方法を説明する説明図である。画素値変化量の算出は、例えば、注目画素ＩＰを中心とした水平方向、垂直方向、右上がり斜め方向および右下がり斜め方向の４方向について行う。すなわち、図４に示すように、注目画素ＩＰから水平方向に所定の画素数λまたは画素数λに相当する長さ離れた周囲画素をＩＡ_hor，ＩＢ_hor、垂直方向に離れた周囲画素をＩＡ_ver，ＩＢ_ver、右上がり斜め方向に離れた周囲画素をＩＡ_sla，ＩＢ_sla、右下がり斜め方向に離れた周囲画素をＩＡ_bac，ＩＢ_bacとし、注目画素と、これらの各画素とをもとに、画素値変化量を算出する。

注目画素ＩＰの水平方向についての画素値変化量Ｖ_horは、注目画素ＩＰと、水平方向の周囲画素ＩＡ_hor，ＩＢ_horとから、次式（１）によって表される。

注目画素ＩＰの垂直方向についての画素値変化量Ｖ_verは、注目画素ＩＰと、垂直方向の周囲画素ＩＡ_ver，ＩＢ_verとから、次式（２）によって表される。

注目画素ＩＰの右上がり斜め方向についての画素値変化量Ｖ_slaは、注目画素ＩＰと、右上がり斜め方向の周囲画素ＩＡ_sla，ＩＢ_slaとから、次式（３）によって表される。

注目画素ＩＰの右下がり斜め方向についての画素値変化量Ｖ_bacは、注目画素ＩＰと、右下がり斜め方向の周囲画素ＩＡ_bac，ＩＢ_bacとから、次式（４）によって表される。

ここで、式（１）〜（４）に従って算出した各画素値変化量Ｖ_hor，Ｖ_ver，Ｖ_sla，Ｖ_bacを包括して、適宜画素値変化量Ｖ_dirと記す。ここで、添え字dirは、注目画素ＩＰを中心とした予め定められた方向（本実施の形態では、水平，垂直，右上がり斜め，右下がり斜めの何れか）を示す添え字である。

注目画素ＩＰの領域が周囲よりも凸の場合、画素値変化量Ｖ_dirは正の値をとる。一方、注目画素ＩＰの領域が周囲よりも凹の場合、画素値変化量Ｖ_dirは負の値をとる。これは、一般に、周囲よりも凸となる領域は周囲よりも明るく輝度値が高くなり、周囲よりも凹となる領域は周囲よりも暗く輝度値が低くなるからである。

続いて、図３に示すように、変化画素抽出部１６ａは、算出した画素値変化量Ｖ_dirをもとに、周囲画素から画素値に有意な変化がみられる画素を病変部候補に係る画素として抽出する（ステップＳ２０２）。このとき、変化画素抽出部１６ａは、体腔内画像を構成する各画素それぞれについて、各画素の領域の凸凹を判定し、凸の病変部候補に係る画素または凹の病変部候補に係る画素として抽出する。具体的には、変化画素抽出部１６ａは、各方向について算出した画素値変化量をもとに、全方向の画素値変化量が所定の凸閾値(ConvexityTh)より大きい場合、すなわち、Ｖ_hor＞ConvexityThかつＶ_ver＞ConvexityThかつＶ_sla＞ConvexityThかつＶ_bac＞ConvexityThならば、その画素が周囲に対して凸であると判定して抽出する。一方、変化画素抽出部１６ａは、各方向について算出した画素値変化量をもとに、全方向の画素値変化量が所定の凹閾値(ConcaveTh)より小さい場合、すなわち、Ｖ_hor＜ConcaveThかつＶ_ver＜ConcaveThかつＶ_sla＜ConcaveThかつＶ_bac＜ConcaveThならば、その画素が周囲に対して凹であると判定して抽出する。

続いて、領域情報取得部１６ｂが、ステップＳ２０２で抽出した凸または凹の病変部候補に係る画素を領域分けし、病変部候補領域と考えられる領域を抽出する（ステップＳ２０３）。具体的には、先ず、周囲に対して凸である画素を「１」、周囲に対して凸でない画素を「０」とした２値画像である凸２値画像を生成するとともに、周囲に対して凹である画素を「１」、周囲に対して凹でない画素を「０」とした２値画像である凹２値画像を生成する。続いて、凸２値画像および凹２値画像それぞれに対して公知のラベリング処理を行い、各二値画像中の連結成分（連結している画素群）に固有の値（ラベル）を付けて領域分けを行う。これにより、凸２値画像から凸領域を領域分けし、各凸領域にラベル付けした凸領域画像と、凹２値画像から凹領域を領域分けし、各凹領域にラベル付けした凹領域画像とを得る。そして、凸領域を病変部候補領域と考えられる凸領域、凹領域を病変部候補領域と考えられる凹領域とし、これらを合わせて、病変部候補領域と考えられる領域とする。

続いて、領域情報取得部１６ｂが、ステップＳ２０３で抽出した各病変部候補領域と考えられる領域の特徴量を算出する（ステップＳ２０４）。具体的な特徴量の例として、領域内画素値平均（Ｒ_{abs_m}，Ｇ_{abs_m}，Ｂ_{abs_m}）、領域内画素値変化量平均（Ｒ_{var_m}，Ｇ_{var_m}，Ｂ_{var_m}）、領域面積Ｓ_{_m}、領域周囲長Ｌ_{_m}、領域フェレ径Ｆｅｒｅ_{_m}(θ)、領域長径の長さＬ_{l_m}、領域短径の長さＬ_{s_m}、領域長径・短径比Ｌ_{r_m}、領域輪郭部のエッジ強度Ｅ_{_m}、領域円形度Ｃ_{_m}を挙げることができ、これらの値を、各病変部候補領域と考えられる領域それぞれについて求める。なお、添え字ｍは各病変部候補領域の識別番号を表す。

領域内画素値平均（Ｒ_{abs_m}，Ｇ_{abs_m}，Ｂ_{abs_m}）は、同一の病変部候補領域に属する各画素のＲＧＢ成分毎にそれぞれ総和を求め、求めた各値を領域面積で割ることで算出する。

領域内画素値変化量平均（Ｒ_{var_m}，Ｇ_{var_m}，Ｂ_{var_m}）の算出に際しては、先ず、体腔内画像を構成する各画素それぞれについて、ＲＧＢ成分毎に画素値変化量を算出する必要がある。Ｇ成分の画素値変化量については、ステップＳ２０１で算出した画素値変化量Ｖ_dirを用いることができる。

Ｇ成分に着目すれば、凸領域画像または凹領域画像において背景でない画素（ラベルが付された画素）については、次式（５）に従って画素値変化量方向平均Ｖ_rを算出する。なお、凸領域画像または凹領域画像において背景である画素（ラベルが付されておらず、凸領域にも凹領域にも属さない画素）については、Ｖ_r＝０とする。

そして、同一の病変部候補領域に属する各画素のＧ成分についての画素値変化量方向平均Ｖ_rの総和を求め、求めた総和を領域面積で割ることで領域内画素値変化量平均Ｇ_{var_m}を得る。なお、画素値変化量方向平均Ｖ_rに替えて、画素値変化量Ｖ_dirのうちの最大値または最小値を用いて領域内画素値変化量平均を算出することとしてもよい。

Ｒ成分およびＢ成分については、図４を参照して説明した算出方法で、式（１）〜（４）に従って各方向についての画素値変化量を算出する。そして、Ｇ成分と同様にして画素値変化量方向平均Ｖ_rを算出し、病変部候補領域毎に、画素値変化量方向平均Ｖ_rの総和を求めて領域面積で割ることにより、領域内画素値変化量平均Ｒ_{var_m}，Ｂ_{var_m}を得る。ここで、Ｒ成分およびＢ成分についての画素値変化量方向平均Ｖ_rの算出の際には、体腔内画像を構成する全画素を対象とせず、Ｇ成分において凸または凹であるとして抽出された画素、すなわち凸２値画像または凹２値画像における画素値が「１」の画素のみを対象として画素値変化量方向平均Ｖ_rを算出することとしてもよい。これにより、計算負荷が軽減され、高速な処理が可能となる。

領域面積Ｓ_{_m}は、各病変部候補領域それぞれについて、その病変部候補領域に属する画素数をカウントして算出する。

領域周囲長Ｌ_{_m}は、各病変部候補領域それぞれについて、その病変部候補領域を構成する各画素のうちの、領域輪郭画素の画素数をカウントして算出する。具体的には、先ず、体腔内画像を構成する各画素を順次注目画素として、領域輪郭画素の判定を行う。図５は、領域輪郭画素の判定方法を説明する説明図である。図５に示すように、注目画素ＩＰと隣接する４つの画素Ｐ₁〜Ｐ₄を近傍画素とする。そして、凸２値画像または凹２値画像をもとに、近傍画素Ｐ₁〜Ｐ₄の中に背景の画素または注目画素ＩＰと異なるラベル番号がついた画素が存在するか否かを判定し、存在する場合にはこの注目画素ＩＰを領域輪郭画素とする。このようにして判定した領域輪郭画素の画素数を、病変部候補領域毎にカウントする。

領域フェレ径Ｆｅｒｅ_{_m}（θ₁），領域長径Ｌ_{l_m}，領域短径Ｌ_{s_m}は、以下の手順で算出する。図６は、病変部候補領域１９についての領域フェレ径Ｆｅｒｅ_{_m}（θ₁）の算出方法を説明する説明図である。図６に示すように、病変部候補領域１９の接線のうち、水平線２０ａ，２０ｂに対して角度θ₁を有し、その接線間の距離が最大となる２本の接線２１ａ，２１ｂを得る。この２接線間の距離２２が、角度θ₁における病変部候補領域１９のフェレ径Ｆｅｒｅ_{_m}（θ₁）となる。また、領域長径Ｌ_{l_m}，領域短径Ｌ_{s_m}については、算出対象の病変部候補領域に対して角度φ毎にフェレ径を算出し、その中で最大になるフェレ径を領域長径Ｌ_{l_m}、最小となるフェレ径を領域短径Ｌ_{s_m}とする。

先ず、角度θ₁が０度の場合のフェレ径Ｆｅｒｅ_{_m}（０）と、角度θ₁が９０度の場合のフェレ径Ｆｅｒｅ_{_m}（９０）を、算出対象の病変部候補領域の外接矩形の始点座標（ｘ_s，ｙ_s）と終点座標（ｘ_E，ｙ_E）をもとに、次式（６），（７）に従って算出する。

０度または９０度以外の角度φ₁の場合のフェレ径Ｆｅｒｅ_{_m}（φ₁）を算出するには、先ず、算出対象の病変部候補領域の領域輪郭画素をもとに、角度φ₁の直線とｙ軸（ｘ＝０となる画素列）との交点のｙ座標値、すなわち切片の値であるｂ_φ1（ｊ）を算出する。算出式は次式（８）によって表される。ただし、（ｘ_j，ｙ_j）は、算出対象の病変部候補領域のｊ番目の領域輪郭画素の画素位置を表す。式（８）では領域輪郭画素の画素位置である（ｘ_j，ｙ_j）に注目しているが、これは、フェレ径を測定する画素の候補、すなわち領域に対して接線が接する画素の候補は領域の輪郭を構成する画素となるため、領域全ての画素を対象にする必要はなく、領域輪郭画素のみを対象に算出を行えばよいからである。

次に、次式（９），（１０）により、式（８）で求めた角度φ₁の場合の各領域輪郭画素での切片の値の最小値Ｍｉｎ＿ｂ_φ1，最大値Ｍａｘ＿ｂ_φ1を求める。ｎは領域輪郭画素の画素数である。

次いで、次式（１１）により、角度φ₁でのフェレ径Ｆｅｒｅ_{_m}（φ₁）を算出する。

同様にして、別の角度φ_iでのフェレ径Ｆｅｒｅ_{_m}（φ_i）を式（８）〜（１１）に従って算出する。

そして、算出対象の病変部候補領域について角度φ_i毎に算出したフェレ径Ｆｅｒｅ_{_m}（φ_i）の中から、この病変部候補領域の最大の長さである長径Ｌ_{l_m}、最小の長さである短径Ｌ_{s_m}を次式（１２），（１３）で算出する。ここで式（１２），（１３）中のφは任意の角度であるが、実際に領域長径Ｌ_{l_m}および領域短径Ｌ_{s_m}を算出する際には、角度φは、例えば２２．５度毎等のように適度な間隔でとる。

領域長径・短径比Ｌ_{r_m}は、次式（１４）で算出する。

領域輪郭部のエッジ強度Ｅ_{_m}の算出に際しては、先ず、体腔内画像のＲＧＢ成分のいずれか、またはＲＧＢ成分の平均をとったグレースケール画像に、図７−１および図７−２に示すエッジ検出フィルタを適用し、病変部候補領域毎に各領域輪郭画素のエッジ強度を算出する。

一次微分であるソーベル（Ｓｏｂｅｌ）フィルタによるエッジ強度画像Ｅ₁（ｉ）は、図７−１に示す水平方向（ｘ方向）のソーベルフィルタＳＦ１の畳み込みの出力Ｓ１（ｉ）と、図７−２に示す垂直方向（ｙ方向）のソーベルフィルタＳＦ２の畳み込みの出力Ｓ２（ｉ）とを用いて次式（１５）によって表される。ｉは画像内の画素位置を表す。

次いで、病変部候補領域毎に領域輪郭画素位置におけるエッジ強度画像の値を読み取る。そして、病変部候補領域毎にエッジ強度値の総和を求め、求めた総和を次式（１６）によって各病変部候補領域の領域周囲長Ｌ_{_m}で割ることで、領域輪郭部のエッジ強度Ｅ_{_m}を算出する。

領域円形度Ｃ_{_m}は、領域面積Ｓ_{_m}と領域周囲長Ｌ_{_m}とから次式（１７）に従って算出する。

以上説明したように、病変部候補領域の特徴量を算出したならば、図３に示すように、領域特徴量判定部１６ｃが、病変部候補領域と考えられる凹領域のうち、病変にあたらない特徴量を有する凹領域を除外することで、病変部候補領域の絞込みを行う（ステップＳ２０５）。具体的には、領域特徴量判定部１６ｃは、各病変部候補領域と考えられる凹領域の特徴量を教師データ特徴量分布と照合して病変・非病変の判定を行う。例えば、領域内画素値平均（Ｒ_{abs_m}，Ｇ_{abs_m}，Ｂ_{abs_m}）を特徴量変数ｘとして判定対象の凹領域の病変・非病変の判定を行う場合には、予め教師データとして出血等の病状種類毎にサンプルとなる領域を集め、病状種類毎に病変グループとしてグループ分けをし、各病変グループの画素値平均μ_kおよび画素値共分散Σ_kを算出しておく。ｋは病変グループのグループ番号である。また、病変部候補領域でない凹領域のサンプルも集め、凹領域として抽出された要因毎または画素値平均が近いサンプル同士を非病変グループとしてグループ分けをし、各非病変グループの画素値平均μ_iおよび画素値共分散Σ_iを算出しておく。ｉは、非病変グループのグループ番号である。

先ず、病変グループ毎の分布を正規分布として、照合対象の凹領域が各病変グループの分布から発生している確率を次式（１８）に従って算出するとともに、非病変グループ毎の分布を正規分布として、照合対象の凹領域が各非病変グループの分布から発生している確率を次式（１９）に従って算出する。

ここで、式（１８），（１９）中のｎは特徴量の次元数であり、特徴量変数ｘとして領域内画素値平均（Ｒ_{abs_m}，Ｇ_{abs_m}，Ｂ_{abs_m}）を用いる場合、ｎ＝３である。

次いで、式（１８）に従って算出した各病変グループの分布から発生した確率ｐ（ｋ｜ｘ）と、式（１９）によって算出した各非病変グループから発生した確率ｐ（ｉ｜ｘ）とから、ある病状ａに属する確率ｐ_k=aを、次式（２０）に従って算出する。

式（２０）によれば、ある特徴量変数ｘを有する照合対象の凹領域について、病状ａである病変グループの分布から発生する確率がｐ（ｋ＝ａ｜ｘ）で表される。また、非病変グループの分布から発生する確率の総計がΣｐ（ｉ｜ｘ）で表され、病変グループの分布から発生する確率の総計がΣｐ（ｋ｜ｘ）で表される。このように、ある特徴量変数ｘを有する照合対象の凹領域について、病状ａの病変グループから発生した確率を全グループから発生した確率の総和で正規化することで、ある病状ａに属する確率ｐ_k=aを算出する。

そして、式（２０）に従い、照合対象の凹領域について病状毎に属する確率を算出し、最大の確率値を持つ病状の値をｐ（ｋ＝ａ_max｜ｘ）とする。この値が所定の閾値LesionProbTh以下の場合、すなわちｐ（ｋ＝ａ_max｜ｘ）≦LesionProbThの場合に、その照合対象の凹領域を病変によらずに発生した凹領域と判断して病変部候補領域と考えられる凹領域から除外し、残った凹領域を凹病変部候補領域として抽出する。

続いて、領域特徴量判定部１６ｃは、病変部候補領域と考えられる凸領域について、ステップＳ２０５による凹領域の病変・非病変の判定と同様の処理を行い、病変にあたらない特徴量を有する凸領域を除外することで、病変部候補領域の絞込みを行い（ステップＳ２０６）、図２のステップＳ２にリターンする。すなわち、用意した教師データの各グループの分布から発生した確率を算出して、病変または非病変を判定する。そして、病変によらずに発生した凸領域を病変部候補領域と考えられる凸領域から除外し、残った凸領域を凸病変部候補領域として抽出する。

なお、病変部候補領域と考えられる領域の病変・非病変の判定に用いる特徴量変数は、対象となる領域の領域内画素値平均（Ｒ_{abs_m}，Ｇ_{abs_m}，Ｂ_{abs_m}）に限定されるものではなく、領域内画素値変化量平均（Ｒ_{var_m}，Ｇ_{var_m}，Ｂ_{var_m}），領域面積Ｓ_{_m}，領域周囲長Ｌ_{_m}，領域長辺の長さＬ_{l_m}，領域短辺の長さＬ_{s_m}，領域長辺・短辺比Ｌ_{r_m}，領域輪郭部のエッジ強度Ｅ_{_m}，領域円形度Ｃ_{_m}のいずれを用いてもよく、またこれらを適宜組み合わせて用いてもよい。また、凹領域に対するステップＳ２０５の処理と凸領域に対するステップＳ２０６の処理とは順序を逆にして実行してもよいし、並列に実行してもよい。

次に、図２のステップＳ３による溝判定処理について説明する。図８は、溝判定処理の詳細な処理手順を示すフローチャートである。溝判定処理では、各凹病変部候補領域をそれぞれ処理対象として、ループＡの処理を実行する（ステップＳ３０１〜ステップＳ３０７）。ここで凹病変部候補領域に注目するのは、体内器官壁に挟まれた溝にあたる部分が、周囲よりも凹となる領域に含まれるからである。なお、ループＡ内の処理の説明において、処理対象とする凹病変部候補領域を注目凹領域と称す。

ループＡでは、先ず、周辺類似画素抽出部１７ａが、注目凹領域の周囲に位置する画素から、この注目凹領域を構成する画素と類似した画素値を有する画素を抽出する（ステップＳ３０２）。具体的には、周辺類似画素抽出部１７ａは、先ず、注目凹領域の周囲の所定の範囲である周辺画素範囲を設定する。

図９−１，９−２は、周辺画素範囲の設定方法を説明するための説明図である。周辺画素範囲は、注目凹領域Ｚ１１の外接矩形Ｚ１３の始点の座標（ｘ_RS，ｙ_RS）および終点の座標（ｘ_RE，ｙ_RE）をもとに、この外接矩形Ｚ１３を拡張値RegionLenに従って拡張させた矩形領域Ｚ１５の始点の座標（ｘ_PS，ｙ_PS）および終点の座標（ｘ_PE，ｙ_PE）を算出することで設定する。本実施の形態では、拡張値RegionLenは、例えば後述する式（２１）で表されるように、注目凹領域のサイズに応じて定められる。図９−２に示すように、注目凹領域Ｚ２１が画像端に存在する場合、具体的には、図９−１に示して説明した方法で周辺画素範囲を設定しようとすると図９−２中に破線で示すようにその範囲Ｚ２４が画像範囲を越える場合には、次のようにして周辺画素範囲を決定する。すなわち、画像範囲を越えた方向と逆方向に拡張させる値を、拡張値RegionLenを例えば２倍した値とする。図９−２の例では、破線で示した範囲Ｚ２４が、ｘ軸に沿った図９−２中右方向およびｙ軸に沿った図９−２中下方向の各方向で画像範囲を越えている。このため、各方向と逆方向であるｘ軸に沿った図９−２中左方向およびｙ軸に沿った図９−２中上方向を、RegionLen×２に従って拡張させた矩形領域Ｚ２５の始点の座標（ｘ_PS，ｙ_PS）および終点の座標（ｘ_PE，ｙ_PE）を算出し、周辺画素範囲を設定する。これによれば、注目凹領域が画像端に存在する場合であっても、周辺画素範囲を十分広く設定できるので、後述の工程で注目凹領域を構成する画素と画素値が類似する画素を抽出する際の精度を保つことができる。

実際には、周辺画素範囲は、注目凹領域の外接矩形の始点の座標（ｘ_RS，ｙ_RS）および終点の座標（ｘ_RE，ｙ_RE）をもとに次式（２１）〜（２５）に従って算出して設定する。ImgSizeX，ImgSizeYは、それぞれ体腔内画像のｘ座標のサイズ，ｙ座標のサイズである。

なお、周辺画素範囲の設定方法は、注目凹領域の外接矩形の始点の座標（ｘ_RS，ｙ_RS）および終点の座標（ｘ_RE，ｙ_RE）を用いた設定方法に限定されるものでなく、注目凹領域の外接矩形の対角線の長さや注目凹領域の面積、フェレ径、長径、短径を用いて設定してもよい。

そして、周辺類似画素抽出部１７ａは、この周辺画素範囲内の画素Ｉ_p（ｘ，ｙ，ｚ）（ｘ＝ｘ_PS，…，ｘ_PE，ｙ＝ｙ_PS，…，ｙ_PE，ｚ＝Ｒ，Ｇ，Ｂ）の中から、注目凹領域を構成する画素と画素値が類似する画素を抽出する。画素を抽出する範囲を周辺画素範囲として限定することにより、計算負荷を軽減し、処理速度を向上させることが可能となる。具体的には、画素Ｉ_pが次式（２６）〜（２８）を満たすとき、この画素Ｉ_pを、注目凹領域を構成する画素と類似した画素値を有する画素として抽出する。この判定では、Ｇ成分を含む画素の輝度、色度、色差の少なくともいずれか一つを用いる。出血や器官組織の褪色のような真の病変部領域では、器官組織を流れる血液に異常が出ることが多い。そのため、血液の吸収帯域にあたり、正常領域と病変領域の違いが画素値として表れる感度を有するＧ成分を用いる。SimilarGValTh、SimilarG_RValTh、SimilarGBValThは所定の値を持つ閾値を表す。Ｒ_{abs_m}は注目凹領域の領域内Ｒ成分平均値、Ｇ_{abs_m}は注目凹領域の領域内Ｇ成分平均値、Ｂ_{abs_m}は注目凹領域の領域内Ｂ成分平均値である。

次に、溝拡張領域作成部１７ｂが、溝方向拡張領域を作成し（ステップＳ３０３）、作成した溝方向拡張領域の形状特徴量を算出する（ステップＳ３０４）。具体的には、溝拡張領域作成部１７ｂは、注目凹領域を構成する画素と、ステップＳ３０２において周辺画素範囲から抽出した注目凹領域と画素値が類似する画素とを合わせて、公知の処理である粒子解析による領域分けを行い、得られた領域を溝方向拡張領域とする。また、この粒子解析によって、溝方向拡張領域の形状特徴量を算出する。例えば、得られた溝方向拡張領域の面積ＥＳ_{_m}を形状特徴量として算出する。

続いて、溝拡張領域作成部１７ｂは、注目凹領域とこの注目凹領域をもとに作成した溝方向拡張領域との形状特徴変化量として、注目凹領域の領域面積Ｓ_{_m}と溝方向拡張領域の面積ＥＳ_{_m}との比率ＲＳ_{_m}を次式（２９）に従って算出する（ステップＳ３０５）。

なお、ステップＳ３０４で算出の対象となり得る形状特徴量は、溝方向拡張領域の面積に限定されるものではなく、例えば、領域周囲長、フェレ径、領域長径・短径、領域長径と短径の比等であってもよい。また、算出の対象とする形状特徴量に応じて、ステップＳ３０５で求める形状特徴変化量として、注目凹領域と溝方向拡張領域との面積比に限らず、領域周囲長やフェレ径、領域長径と短径の差分や、領域長径と短径の比の差分等を算出することとしてもよい。

そして、溝拡張領域作成部１７ｂは、注目凹領域の領域面積Ｓ_{_m}と溝方向拡張領域の面積ＥＳ_{_m}との比率ＲＳ_{_m}が次式（３０）を満たす場合には、注目凹領域が溝領域であると判定する（ステップＳ３０６）。SurroundAreaDifThは、所定の値を持つ閾値である。

そして、各凹病変部候補領域をそれぞれ注目凹領域としてループＡの処理を実行したならば、図２のステップＳ３にリターンする。

次に、図２のステップＳ４による病変部領域抽出処理について説明する。この病変部領域抽出処理では、病変部領域抽出部１８が、溝判定処理で溝領域と判定された凹病変部候補領域を病変部候補領域から除外し、残った凹病変部候補領域とステップＳ２０６で抽出した凸病変部候補領域とを病変部領域として抽出する。

ここで、本実施の形態によって具体的な体腔内画像から抽出した病変部領域の一例を示す。図１０は原画像である体腔内画像の表示例である。図１０に示す体腔内画像には、出血部２３、器官壁間に挟まれて発生した溝２４，２５が含まれている。また、図１１は、図１０の体腔内画像から抽出した凹病変部候補領域を示す凹領域抽出画像の一例を示す図である。図１１に示す例では、病変部候補領域抽出処理の結果、それぞれ同程度の面積を有する複数の凹病変部候補領域２６〜３０が抽出されている。

そして、図１２は、図１１の凹領域抽出画像の凹病変部候補領域２６〜３０それぞれについて作成した溝方向拡張領域の一例を示す図である。図１２では、器官壁間に挟まれて発生した溝２４（図１０参照）に係る凹病変部候補領域２７，２８（図１１参照）は、それぞれ溝方向拡張領域３２，３３として溝２４を構成する画素に沿った方向へと領域が拡張されている。また、器官壁間に挟まれて発生した溝２５（図１０参照）に係る凹病変部候補領域２９，３０（図１１参照）は、それぞれ溝方向拡張領域３４，３５として溝２５を構成する画素に沿った方向へと領域が拡張されている。溝に係る凹病変部候補領域は、溝が存在する方向に沿って徐々に輝度等の画素値が変化するので、溝方向に沿って類似した画素値を持った画素が存在する。このため、作成される溝方向拡張領域は、元の凹領域抽出画像と比べて溝方向に広がることになる。

一方で、出血部２３に係る凹病変部候補領域２６は、溝方向拡張領域を作成した結果、図１２に示す溝方向拡張領域３１として得られるが、凹病変部候補領域２６と比較して領域に大きな変化が表れない。出血部等の病変部領域は、周囲から急に輝度、色比、色差等の画素値が変化していることが多く、周辺に類似した画素値を持った画素が存在する確率が低い。このため、作成される溝方向拡張領域は、元の凹領域抽出画像と比べて大きく変化しない。

このようにして、病変部領域抽出部１８は、溝判定部１７の処理の結果得られた溝方向拡張領域が溝を構成する画素に沿った方向へ領域が拡張された例えば図１１の凹病変部候補領域２７，２８，２９，３０を溝領域とし、領域がさほど拡張されない凹病変部候補領域２６を病変部領域と判定することによって、最終的に凹病変部候補領域２６を病変部領域として抽出する。

そして、抽出した病変部領域は、図２のステップＳ５によって、例えば図１３に示すように、病変部領域３６を識別可能な病変部抽出画像として表示部１５に表示される。なお、表示方法は、図１３のように、元の体腔内画像と同サイズの背景画像（黒一色等）を用意して、抽出した病変領域のみ背景色以外の特定の色で表示する方法に限定されない。例えば、この病変部抽出画像を体腔内画像と重畳させて表示させてもよい。あるいは、抽出した病変部領域に従って、体腔内画像上にこの病変部領域を示す境界線を表示させ、体腔内画像中の病変部領域を識別表示することとしてもよい。

このように本実施の形態では、溝部とそうでない部分とでの照明光の当たり具合等による画素値の変化に影響されずに、病変部領域の検出を精度よく行うことができる。したがって、体腔内画像の取得環境の違いに対する頑強性を有し、病変部領域を高精度で検出することが可能な画像処理装置が実現できる。

画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。 画像処理装置が行う処理手順を示す全体フローチャートである。 病変部候補領域抽出処理の詳細な処理手順を示すフローチャートである。 画素値変化量の算出方法を説明する説明図である。 領域輪郭画素の判定方法を説明する説明図である。 領域フェレ径Ｆｅｒｅ_{_m}（θ₁）の算出方法を説明する説明図である。 水平方向のソーベルフィルタを示す図である。 垂直方向のソーベルフィルタを示す図である。 溝判定処理の詳細な処理手順を示すフローチャートである。 周辺画素範囲の設定方法を説明するための説明図である。 周辺画素範囲の設定方法を説明するための説明図である。 体腔内画像の表示例を示す図である。 図１０の体腔内画像から抽出した凹病変部候補領域を示す凹領域抽出画像の一例を示す図である。 図１１の凹領域抽出画像の凹病変部候補領域について作成された溝方向拡張領域の一例を示す図である。 抽出された病変部領域の表示例を示す図である。

符号の説明

１ 被検体
２ カプセル型内視鏡
３ 受信装置
Ａ１〜Ａｎ 受信用アンテナ群
３ａ 無線ユニット
３ｂ 受信本体ユニット
４ 携帯型記録媒体
５ 画像処理装置
１０ 制御部
１１ 記憶部
１１ａ 画像処理プログラム
１２ 画像取得部
１３ 処理部
１６ 病変部候補領域抽出部
１６ａ 変化画素抽出部
１６ｂ 領域情報取得部
１６ｃ 領域特徴量判定部
１７ 溝判定部
１７ａ 周辺類似画素抽出部
１７ｂ 溝拡張領域作成部
１８ 病変部領域抽出部
１４ 入力部
１５ 表示部

Claims (20)

1. 生体内を撮像した体腔内画像から病変部候補領域を抽出する病変部候補領域抽出部と、
   前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定する溝判定部と、
   前記病変部候補領域と前記溝判定部の判定結果とをもとに、病変部領域を抽出する病変部領域抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記溝判定部は、前記病変部候補領域の周囲に位置する画素から、前記病変部候補領域を構成する画素と類似した画素値を有する画素を抽出する周辺類似画素抽出部を備え、前記病変部候補領域を構成する画素と前記周辺類似画素抽出部が抽出した画素とをもとに、前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影にあたる領域であるかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記溝判定部は、前記病変部候補領域を構成する画素と前記周辺類似画素抽出部が抽出した画素とをもとに前記病変部候補領域の周囲に広がる溝方向拡張領域を作成し、前記病変部候補領域と前記溝方向拡張領域とをもとに前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定する溝拡張領域作成部を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記溝拡張領域作成部は、前記病変部候補領域と前記溝方向拡張領域との形状特徴変化量をもとに、前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記周辺類似画素抽出部は、前記病変部候補領域の周囲の所定の範囲を周辺画素範囲とし、該周辺画素範囲から前記病変部候補領域を構成する画素と類似した画素値を有する画素を抽出することを特徴とする請求項２に記載の画像処理装置。
6. 前記周辺類似画素抽出部は、前記周辺画素範囲を、前記病変部候補領域の形状特徴量をもとに算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記周辺類似画素抽出部は、前記周辺画素範囲を、前記病変部候補領域の外接矩形の座標、該外接矩形の対角線の長さ、前記病変部候補領域の面積、前記病変部候補領域のフェレ径、前記病変部候補領域の長径、前記病変部候補領域の短径のうち、少なくともいずれか一つを用いて算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記周辺類似画素抽出部は、前記病変部候補領域の外接矩形の座標をもとに、該外接矩形を予め設定される所定値に従って拡張させて前記周辺画素範囲を算出し、該算出した周辺画素範囲が前記体腔内画像の画像範囲を越えた場合には、該画像範囲を越えた方向と逆方向を、前記所定値よりも大きい値に従って拡張させて前記周辺画素範囲を算出することを特徴とする請求項６に記載の画像処理装置。
9. 前記周辺類似画素抽出部は、前記周辺画素範囲から、前記病変部候補領域を構成する画素の輝度、色比、色差の少なくともいずれか一つが類似した画素を抽出することを特徴とする請求項５に記載の画像処理装置。
10. 前記周辺類似画素抽出部は、前記病変部候補領域を構成する画素および前記周辺画素範囲の画素の輝度、色比、色差の少なくともいずれか一つの測定において血液の吸収帯域に相当する色成分を用いることを特徴とする請求項９に記載の画像処理装置。
11. 前記血液の吸収帯域に相当する色成分は、Ｇ成分であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記形状特徴変化量は、前記溝方向拡張領域と前記病変部候補領域との領域面積の比、領域周囲長の差分、領域フェレ径の差分、領域長径と短径の比の差分のうち少なくともいずれか一つであることを特徴とする請求項４に記載の画像処理装置。
13. 前記溝判定部は、前記病変部候補領域のうち、周囲の体内器官壁と比較して凹となる領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定することを特徴とする請求項１に記載の画像処理装置。
14. 前記病変部領域抽出部は、前記病変部候補領域から前記溝判定部が体内器官壁に挟まれて発生した溝の陰影に該当すると判定した前記病変部候補領域を除外した領域を、病変部領域として抽出することを特徴とする請求項１に記載の画像処理装置。
15. 前記病変部候補領域抽出部は、
    前記体腔内画像の各画素を注目画素とし、前記注目画素と前記注目画素の周囲に位置する画素との画素値変化量を算出し、前記画素値変化量をもとに前記注目画素から病変部候補に係る画素を抽出する変化画素抽出部と、
    前記病変部候補に係る画素をもとに病変部候補領域と考えられる領域を抽出し、該領域の特徴量を算出する領域情報取得部と、
    前記特徴量によって、前記病変部候補領域と考えられる領域から前記病変部候補領域を判定する領域特徴量判定部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
16. 前記変化画素抽出部は、前記注目画素と前記注目画素の周囲に位置する画素との画素値変化量をもとに、前記注目画素から周囲の体内器官壁と比較して凸または凹となる領域の画素を病変部候補に係る画素として抽出することを特徴とする請求項１５に記載の画像処理装置。
17. 前記変化画素抽出部は、前記画素値変化量の算出において血液の吸収帯域に相当する色成分を用いることを特徴とする請求項１５に記載の画像処理装置。
18. 前記血液の吸収帯域に相当する色成分は、Ｇ成分であることを特徴とする請求項１７に記載の画像処理装置。
19. 前記領域情報取得部は、前記病変部候補領域と考えられる領域について、領域内画素値平均、領域内画素値変化量平均、領域面積、領域周囲長、領域フェレ径、領域長径、領域短径、領域長径と領域短径の比、領域輪郭部のエッジ強度、領域円形度のうち、少なくともいずれか一つを前記特徴量として算出することを特徴とする請求項１５に記載の画像処理装置。
20. コンピュータに、
    生体内を撮像した体腔内画像から病変部候補領域を抽出する病変部候補領域抽出ステップ、
    前記病変部候補領域が体内器官壁に挟まれて発生した溝の陰影に該当する領域であるかを判定する溝判定ステップ、
    前記病変部候補領域と前記溝判定ステップの判定結果とをもとに、病変部領域を抽出する病変部領域抽出ステップ、
    を実行させることを特徴とする画像処理プログラム。

Images