JP2010184057A - 画像処理方法および装置 - Google Patents

Abstract

【課題】深さ方向に向かって異なる形状の構造物が分布する場合の境界ラインを精度よく検出する。
【解決手段】画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した分光推定画像信号を用いて予め設定された特定形状を抽出し、その抽出した特定形状の分布状態を評価し、その評価の結果に基づいて、特定形状の分布状態が異なる領域を区分する境界ラインを検出する。
【選択図】図１

Description

本発明は、観察対象における特定形状を抽出し、その特定形状の分布状態を示す境界ラインを検出する画像処理方法および装置に関するものであり、特に深さ方向に向かって異なる形状の構造物が分布する場合の境界ラインを検出する画像処理方法および装置に関するものである。

従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の観察対象を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。

そして、上記のような内視鏡装置を用いた画像診断上の重要な所見の中の一つとして粘膜のピットパターンがあげられる。

そして、たとえば、特許文献１においては、撮像素子から出力されたＲ、Ｇ、Ｂの画像信号に対し、微分フィルタ処理および２値化処理を施すことによってエッジを抽出して血管像を検出することが提案されており、この技術を用いて粘膜のピットパターンを抽出し、画像診断に供することも考えられる。

特開２００４−１８１０９６号公報 特開２００８−００４１２３号公報

しかしながら、特許文献１に記載の方法では、粘膜の表面上に見えるピットパターンについては抽出することができるが、たとえば、癌などの場合、粘膜表面から所定の深さの位置に形成される場合があり、このような粘膜表面に現れていない癌はＲ、Ｇ、Ｂの画像信号中には現れないためそのピットパターンを適切に検出することができない。

本発明は上記の問題に鑑みてなされたものであり、上述した深さ方向に向かって異なる形状の構造物が分布する場合の境界ラインを精度よく検出することができる画像処理方法および装置を提供することを目的とする。

本発明の画像処理方法は、画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した分光推定画像信号を用いて予め設定された特定形状を抽出し、その抽出した特定形状の分布状態を評価し、その評価の結果に基づいて、特定形状の分布状態が異なる領域を区分する境界ラインを検出することを特徴とする。

本発明の画像処理装置は、観察対象の画像を表す画像信号を取得する画像信号取得部と、画像信号取得部によって取得された画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得する分光画像処理部と、分光画像処理部により取得された分光推定画像信号を用いて予め設定された特定形状を抽出する特定形状抽出部と、特定形状抽出部により抽出された特定形状の分布状態を評価し、その評価結果に基づいて、特定形状の分布状態が異なる領域を区分する境界ラインを検出する境界ライン検出部を備えたことを特徴とする。

また、上記本発明の画像処理装置においては、分光画像処理部を、所定波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得するものとし、特定形状抽出部を、各分光推定画像信号毎について特定形状の抽出を行うものとし、境界ライン検出部を、各分光推定画像信号について特定形状抽出部により抽出された特定形状の確度の情報を算出し、最も高い確度の情報に対応する分光推定画像信号の特定形状の抽出結果に基づいて境界ラインを検出するものとすることができる。

また、複数種類の特定形状のうちの少なくとも１つを選択する信号を受け付ける選択信号受付部をさらに設け、特定形状抽出部を、選択信号受付部により受け付けられた選択信号に応じた特定形状の抽出を行うものとすることができる。

また、観察対象の病変の進行度を示す情報を受け付ける進行度受付部をさらに設け、特定形状抽出部を、進行度受付部により受け付けられた進行度を示す情報に基づいて、複数種類の特定形状のうちの少なくとも１つを選択し、その選択した特定形状の抽出を行うものとすることができる。

また、特定形状抽出部を、観察対象の病変の進行度に応じた複数種類の特定形状を抽出するものであるとともに、特定形状毎に分光推定画像信号における抽出範囲を変更するものとすることができる。

また、特定形状抽出部を、病変の進行度が大きい特定形状ほど抽出範囲を狭くして抽出処理を行うものとすることができる。

また、特定形状抽出部を、病変の進行度が大きい特定形状の抽出範囲ほど演算量が多くなる抽出処理を行うものとすることができる。

また、境界ライン検出部を、境界ラインにより区分された領域毎の特定形状に基づく特徴量に基づいて、上記領域毎の特定形状の領域としての確度の情報を取得するものとすることができる。

また、境界ライン検出部を、境界ラインに基づく特徴量に基づいて、境界ラインの確度の情報を取得するものとすることができる。

また、境界ライン検出部を、境界ラインを検出する際に用いた分光推定画像信号の波長に対応する深さ情報を境界ラインにより区分される領域毎に取得し、その領域毎の深さ情報と予め設定された領域毎に分布する特定形状に対応する深さ情報とに基づいて、上記領域毎の深さの確度情報を取得するものとすることができる。

また、領域毎に取得された深さ情報をスプライン曲線で補間した画像を表す表示信号を生成する表示信号生成部を設けることができる。

また、境界ライン検出部を、複数種類の評価方法によって評価された境界ラインに基づく特徴量をそれぞれ取得するものであり、その複数の特徴量に基づいて境界ラインの確度の情報を取得するものとすることができる。

本発明の画像処理方法および装置によれば、画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、その取得した分光推定画像信号を用いて予め設定された特定形状を抽出し、その抽出した特定形状の分布状態を評価し、その評価の結果に基づいて、特定形状の分布状態が異なる領域を区分する境界ラインを検出するようにしたので、分光推定画像信号を利用することによって特定形状の深さ方向の情報も取得することができ、深さ方向に向かって異なる形状の構造物が分布する場合の境界ラインを精度よく検出することができる。

また、上記本発明の画像処理装置において、所定波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得し、各分光推定画像信号毎について特定形状の抽出を行い、各分光推定画像信号について抽出された特定形状の確度の情報を算出し、最も高い確度の情報に対応する分光推定画像信号の特定形状の抽出結果に基づいて境界ラインを検出するようにした場合には、特定形状の抽出精度を向上させることができ、境界ラインをより精度よく検出することができる。

また、複数種類の特定形状のうちの少なくとも１つを選択する信号を受け付け、その受け付けた選択信号に応じた特定形状の抽出を行うようにした場合には、病変の種類に応じた特定形状や病変の進行度に応じた特定形状を選択して抽出することができるので、種々の画像診断に適した抽出処理を行うことができる。

また、観察対象の病変の進行度を示す情報を受け付け、その受け付けた進行度を示す情報に基づいて、複数種類の特定形状のうちの少なくとも１つを選択し、その選択した特定形状の抽出を行うようにした場合には、病変の進行度に応じた特定形状を選択して抽出することができるので、経過診断などに適した抽出処理を行うことができる。

また、観察対象の病変の進行度に応じた複数種類の特定形状を抽出するものとし、特定形状毎に分光推定画像信号における抽出範囲を変更するようにした場合には、たとえば、病変の進行度が大きい特定形状ほど抽出範囲を狭くして抽出処理を行うようにした場合には、抽出処理の演算処理を軽くすることができ、演算時間の効率化を図ることができる。

また、病変の進行度が大きい特定形状の抽出範囲ほど演算量が多くなる抽出処理を行うようにした場合には、病変の進行度が大きい範囲ほど高精度な抽出処理を行うことができる。

また、境界ラインにより区分された領域毎の特定形状に基づく特徴量に基づいて、上記領域毎の特定形状の領域としての確度の情報を取得するようにした場合には、たとえば、その確度情報を表示したりすれば、その領域毎の病変の進行度に応じた確からしさを確認することができる。

また、境界ラインに基づく特徴量に基づいて、境界ラインの確度の情報を取得するようにした場合には、たとえば、その確度情報を表示したりすれば、その境界ラインの確からしさを確認することができる。

また、境界ラインを検出する際に用いた分光推定画像信号の波長に対応する深さ情報を境界ラインにより区分される領域毎に取得し、その領域毎の深さ情報と予め設定された領域毎に分布する特定形状に対応する深さ情報とに基づいて、上記領域毎の深さの確度情報を取得するようにした場合には、たとえば、その確度情報を表示したりすれば、使用した分光推定画像信号の波長の確からしさを確認することができる。

また、領域毎に取得された深さ情報をスプライン曲線で補間した画像を表す表示信号を生成するようにした場合には、そのスプライン曲線で補間した画像を表示することによって即座に深さの情報を把握することができる。

また、境界ライン検出部を、複数種類の評価方法によって評価された境界ラインに基づく特徴量をそれぞれ取得し、その複数の特徴量に基づいて境界ラインの確度の情報を取得するようにした場合には、境界ラインの確度情報の精度をより向上することができる。

本発明の画像処理装置の一実施形態を用いた内視鏡システムの概略構成図 境界ラインを検出するための処理を説明するためのフローチャート 微分フィルタを用いたエッジ検出を説明するための図 エッジ検出における探索範囲を示す図 探索範囲内の画素であると判断される画素を示す図 特定形状の分布状態の評価方法を説明するための図 通常画像と境界ラインとの合成画像の表示態様の一例を示す図 円形抽出により検出された境界ラインの一例を示す図 楕円抽出により検出された境界ラインの一例を示す図 Ｖ字型抽出により検出された境界ラインの一例を示す図 通常画像と境界ラインとの合成画像の表示態様の一例を示す図 境界ラインのその他の検出方法を説明するための図 領域毎の深さ情報をスプライン曲線で補間した画像の一例を示す図

以下、図面を参照して本発明の画像処理装置の一実施形態を用いた内視鏡システムについて詳細に説明する。図１は、本発明の実施形態を用いた内視鏡システム１の概略構成を示すものである。

内視鏡システム１は、図１に示すように、被験者の体腔内に挿入され、観察対象を観察するためのスコープユニット２０と、このスコープユニット２０が着脱自在に接続されるプロセッサユニット３０と、スコープユニット２０が光学的に着脱自在に接続され、照明光Ｌ０を射出するキセノンランプが収納された照明光ユニット１０とを備えている。なお、プロセッサユニット３０と照明光ユニット１０とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。

照明光ユニット１０は、通常観察を行うための照明光Ｌ０をキセノンランプから射出するものである。照明光ユニット１０は、スコープユニット２０のライトガイド１１に光学的に接続されており、照明光Ｌ０をライトガイド１１の一端から入射するように構成されている。

スコープユニット２０は、結像光学系２１、撮像素子２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換部２４、およびＣＣＤ駆動部２５を備えており、各構成要素はスコープコントローラ２６により制御される。撮像素子２２はたとえばＣＣＤやＣＭＯＳ等からなり、結像光学系２１により結像された観察対象像を光電変換して画像情報を取得するものである。この撮像素子２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型の撮像素子、あるいはＲＧＢの色フィルタを有する原色型撮像素子を用いることができるが、本実施形態においては、原色型撮像素子を用いるものとする。なお、撮像素子２２の動作はＣＣＤ駆動部２５により制御される。また、撮像素子２２が画像信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換部２４がＣＤＳ／ＡＧＣ回路２３から出力された画像信号をＡ／Ｄ変換し、その画像信号がプロセッサユニット３０に出力される。

また、スコープユニット２０には、スコープコントローラ２６に接続され、観察モードの切換などの種々の操作を設定可能な操作部２７が設けられている。

また、スコープユニット２０の先端には照明窓２８が設けられ、この照明窓２８には、一端が照明光ユニット１０に接続されたライトガイド１１の他端が対面している。

プロセッサユニット３０は、照明光Ｌ０の観察対象への照射によってスコープユニット２０により撮像された通常像に基づいて生成されたＲ、Ｇ、Ｂの３色のカラー画像信号を取得する画像取得部３１と、画像取得部３１により取得されたカラー画像信号に対し、推定マトリクスデータを用いて分光画像処理を施して所定波長の分光推定画像信号を生成する分光画像処理部３２と、分光画像処理部３２において分光画像処理を行うために用いられる推定マトリクスデータが記憶されている記憶部３３と、分光画像処理部３２から出力された分光推定画像信号に基づいて、予め設定された特定形状を抽出する特定形状抽出部３４と、特定形状抽出部３４により抽出された特定形状の分布状態を評価し、その評価結果に基づいて、特定形状の分布状態が異なる領域を区分する境界ラインを抽出する境界ライン抽出部３５と、画像取得部３１から出力されたカラー画像信号と境界ライン抽出部３５から出力された境界ラインの情報に基づいて、表示用画像信号を生成する表示信号生成部３６と、プロセッサユニット３０全体を制御する制御部３７とを備えている。各部の動作については、後で詳述する。

また、プロセッサユニット３０には、操作者の入力を受け付ける入力部２が接続されている。入力部２からは、たとえば、表示装置３に表示される画像の切替指示などが入力される。

また、プロセッサユニット３０の記憶部３３には、下表１に示すような、推定マトリクスデータが予め記憶されている。この下表１の推定マトリクスデータは、例えば４１０ｎｍから７０５ｎｍの波長域を５ｎｍ間隔で分けた６０の波長域パラメータλ１〜λ６０からなる。各波長域パラメータλ１〜λ６０は、それぞれマトリクス演算に用いられる係数ｐ_ｋｒ，ｐ_ｋｇ，ｐ_ｋｂ（ｋ＝１〜６０）から構成されている。

表示装置３は、液晶表示装置やＣＲＴ等から構成され、プロセッサユニット３０から出力された表示用画像信号に基づいて、通常画像および分光推定画像などを表示するものである。

また、表示装置３は、プロセッサユニット３０の表示信号生成部３６から出力された表示用画像信号に基づいて、観察対象の通常画像と観察対象の正常部と病変部とを区分する境界ラインを表す画像との合成画像を表示するものである。

次に、本実施形態の内視鏡システムの動作について説明する。まず、観察対象の通常画像を表すカラー画像信号を取得する作用について説明する。

まず、照明光ユニット１０から照明光Ｌ０が射出される。そして、照明光Ｌ０はライトガイド１１を介して照明窓２８から観察対象に照射される。そして、照射光Ｌ０の照射によって観察対象を反射した反射光Ｌ１がスコープユニット２０の結像光学系２１に入射され、結像光学系２１によって撮像素子２２の撮像面に通常像が結像される。そして、ＣＣＤ駆動部２５によって駆動された撮像素子２２が観察対象の通常像を撮像してカラー画像信号を取得する。このカラー画像信号はＣＤＳ／ＡＧＣ回路２３で相関二重サンプリングと自動利得制御による増幅を受けた後、Ａ／Ｄ変換部２４でＡ／Ｄ変換されて、デジタル信号としてプロセッサユニット３０に入力される。

そして、スコープユニット２０から出力されたＲ、Ｇ、Ｂのカラー画像信号が、プロセッサユニット３０の画像取得部３１により取得され、そして、そのカラー画像信号は、表示信号生成部３６に出力される。

次に、本実施形態の内視鏡システムにおいて、上記のようにして取得したカラー画像信号に基づいて分光推定画像信号を生成し、その分光推定画像信号に基づいて、観察対象における正常部と病変部とを区分する境界ラインを示す情報を取得する作用について説明する。

画像取得部３１により取得されたＲ、Ｇ、Ｂのカラー画像信号は、分光画像処理部３２にも出力される。そして、この後、カラー画像信号における特定形状および境界ラインを検出するための処理が行われるが、その作用については、図２に示すフローチャートを参照しながら説明する。

まず、分光画像処理部３２においては、予め設定された所定波長λｋに対応するパラメータ（ｐ_ｋｒ，ｐ_ｋｇ，ｐ_ｋｂ）が記憶部３３の推定マトリクスデータの中から選択されて読み出される。そして、その読み出されたパラメータとカラー画像信号Ｒ，Ｇ，Ｂとに基づいて、下式のマトリクス演算を行うことによって分光画像処理が施され、各画素が信号値Ｖ（λｋ）からなる分光推定画像信号が生成される（図２のＳ１０）。なお、上記所定波長λｋについては、病変部の深度域に応じて予め設定されるものであるが、たとえば癌などの病変部の種類に応じて操作者が設定変更できるように構成してもよい。また、病変部の種類と波長とを対応付けたルックアップテーブルを設定しておき、操作者が入力部２から病変部の種類を指定することによってその指定された病変部の種類に対応する波長を設定するようにしてもよい。

そして、分光画像処理部３２において生成された分光推定画像信号は、特定形状抽出部３４に出力される。そして、特定形状抽出部３４において、分光推定画像信号に基づいて特定形状が検出される（図２のＳ１２）。なお、本実施形態の説明では、特定形状として正常部のピットパターンを表す円形が予め設定されているものとする。円形の具体的な抽出方法については、種々の公知の手法を用いることができるが、たとえば、特開２００８−４１２３号公報に記載の方法を用いることができる。

具体的には、まずは、分光推定画像信号の各画素毎に、周囲に存在する８個の画素（所謂８近傍の画素）へ各々向かう方向（合計８方向：図３に４５°刻みで互いに方向の異なる８本の矢印として示す）に沿った濃度変化値（エッジ強度）をSobel等の微分フィルタを用いて各々演算する。上記８方向に沿ったエッジ強度を各々演算するための８個の微分フィルタの一例を図３に示す。

たとえば、所定方向に沿ったエッジ強度を演算する場合には、図３に示す８本の矢印のうち上記所定方向を向いた矢印が指し示す微分フィルタを用い、演算対象の画素の信号値及び演算対象の画素の周囲に存在する８個の画素の信号値に対し、微分フィルタの数値を係数として各々乗じそれらの総和を演算することで所定方向に沿ったエッジ強度を求めることができる。上記演算を各方向に対応する８個の微分フィルタを用いて行うことで、所定の画素の各方向に沿ったエッジ強度を求めることができる。

次に、各画素毎に、上記各方向に沿ったエッジ強度を比較し、エッジ強度の絶対値の最大値を処理対象画素のエッジ強度として記憶するとともに、エッジ強度の絶対値が最大となる方向に直交する方向（すなわち処理対象の画素が或る血管のエッジライン上に存在していたとするとそのエッジラインの延びる方向）を、各画素のエッジ方向として記憶する。なお、本比較例においてエッジ方向は、図３に示すように上述した８方向のうち互いに１８０°異なる方向を同一方向とし、各方向に０〜３の符号を付して区別している。従って、例えばエッジ強度の絶対値が最大となる方向が図３に符号「１」に示す方向であったとすると、この方向に直交する方向を表す情報（図３に示す符号「３」）がエッジ方向として記憶される。上記処理により、各画素毎のエッジ強度及びエッジ方向がメモリにエッジデータとして記憶されることになる。

そして、次に、特定形状である円形を抽出するエッジ追跡処理を行う。まず、エッジデータに基づき、所定値以上のエッジ強度をもつ画素を検出し、その画素をエッジの追跡開始点として設定する。そして、追跡開始点として設定した画素のエッジ方向に対応する２つの方向のうちの一方をエッジ追跡方向として選択する。例えばエッジ方向が図３に符号「０」で示す方向であった場合、そのエッジ方向を構成する２つの方向成分、すなわち画像の右側へ向かう方向、及び画像の左側へ向かう方向の何れかを、エッジ追跡方向として選択する。

そして、追跡開始点を基準点とし、次の基準点とすべき画素を探索するための探索範囲を設定する。探索範囲としては、図４（Ａ）に示すように、基準点Ｐ０を中心として探索
距離ｒを半径とする円の内部で、かつ基準点Ｐ０におけるエッジ追跡方向Ｖ０を基準として反時計回りに角度θ１、時計回りに角度θ２の角度範囲内として設定することができる。

一例として、角度θ１、θ２が図４（Ａ）に示す角度であった場合に探索範囲内の画素であると判断される画素を図４（Ｂ）にハッチングで示す。

なお、円形を抽出するエッジ追跡処理では、追跡開始点におけるエッジ方向（エッジ追跡方向）が右側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で右に屈曲しながら時計回りに伸びる丸みを帯びた輪郭線のみを抽出するように角度θ１およびθ２の値が設定され（たとえば、角度θ１＝０°、θ２＝４５°）、追跡開始点におけるエッジ方向（エッジ追跡方向）が左側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で左に屈曲しながら反時計回りに伸びる丸みを帯びた輪郭線のみを抽出するように角度θ１、θ２の値が設定される（たとえば、角度θ１＝４５°、θ２＝０°）。また、細かいピットパターン（特定形状）を抽出する場合には、角度（θ１＋θ２）を狭く設定し、曲率が大きなピットパターンを抽出する場合には、角度（θ１＋θ２）を広く設定することが望ましい。すなわち、抽出するピットパターンの形状に応じて角度（θ１＋θ２）を設定変更することが望ましい。

そして、次に、基準点の画素のエッジ方向（Ｖ０）に基づいて、探索範囲内の各画素に対する探索エッジ方向パターンを設定する。探索エッジ方向パターンは、探索範囲内の各画素のエッジ方向が、基準点の画素のエッジ方向（エッジ追跡方向）Ｖ０と整合しているか否かを判定するためのパターンであり、探索範囲内の各画素をＰijとしたときに、各画素Ｐijに対し（Ｖ０＋ψij1)〜（Ｖ０＋ψij2)の角度範囲内にあるエッジ方向を探索エッジ方向として設定することにより得られる。

なお、円形を抽出するエッジ追跡処理では、上記の角度偏差ψij1、ψij2についても、追跡開始点におけるエッジ方向（エッジ追跡方向）が画像の右側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で右に屈曲しながら時計回りに延びる丸みを帯びた輪郭線に対応するエッジのエッジ方向のみが探索エッジ方向に合致し、追跡開始点におけるエッジ方向（エッジ追跡方向）が画像の左側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で左に屈曲しながら反時計回りに延びる丸みを帯びた輪郭線に対応するエッジのエッジ方向のみが探索エッジ方向に合致するように、角度θ１、θ２と同様の値が設定される。

そして、探索範囲内の各画素のエッジデータ（エッジ方向及びエッジ強度）を取込み、上記で設定された探索エッジ方向パターンに合致するエッジ方向でかつエッジ強度が下限値以上の画素を探索する
そして、探索条件に合致する画素が複数ある場合には、その複数の画素から、所定の基準に従って単一の画素を次の基準点として選択する。なお、所定の基準としては、たとえば、エッジ強度の大きさがあり、最もエッジ強度の大きい画素が選択される。

そして、上記のようにして基準点を順次設定し、その設定した基準点が、追跡開始点に一致しているか否か判定し、一致した時点で処理を終了する。

また、上記説明では、追跡開始点として設定した画素のエッジ方向に対応する２つの方向のうちの一方をエッジ追跡方向として輪郭線の抽出を行うようにしたが、輪郭線の追跡途中で基準点となる画素がなくなった場合には、再び追跡開始点を基準点として再設定し、上記２つの方向のうち追跡未実行の方向をエッジ追跡方向として設定した後に、輪郭線の追跡を行う。

また、そして、基準点として設定したエッジが追跡開始点に一致した場合（すなわち画像中の閉領域の輪郭上に位置している点を上記閉領域の全周に亘って基準点として検出できた場合）には、単一の輪郭線に対応するエッジの追跡処理を終了し、上記処理によって設定した基準点の数が所定数以上であった場合には、各基準点を設定順に結んで成る線を特定形状の輪郭線の候補として取得する。

そして、上記のようにして取得した輪郭線の候補の中から、円形の特定形状の輪郭線を抽出する。具体的には、所定数以上の方向成分から構成され、輪郭線の縦横比が所定範囲内の輪郭線の候補を円形の輪郭線として抽出する。

なお、本実施形態においては、上記のようにエッジトレースを行うことによって円形の特定形状を抽出するようにしたが、エッジトレースに限らず、たとえば、予め設定された円形パターンとのパターンマッチングを行って円形を抽出するようにしてもよい。パターンマッチの方法としては、種々の公知の方法を採用するようにすればよい。

次に、上記のようにして抽出した円形の特定形状の位置情報が境界ライン抽出部３５に出力される。そして、境界ライン抽出部３５は、入力された特定形状の位置情報に基づいて、分光推定画像信号が表す画像内における特定形状の分布状態を評価する（図２のＳ１４）。具体的には、分光推定画像信号が表す画像に対し、図５に示すような所定サイズの集計用ブロックＳＢを当てはめ、その集計用ブロックＳＢ内に存在する特定形状の個数を算出し、その個数を集計用ブロックＳＢ内の中心画素の評価値とする。そして、上記画像に対して、集計用ブロックＳＢをＸ軸方向およびＹ軸方向に１画素ずつずらしながら当てはめ、上記のようにして評価値を順次取得し、分光推定画像信号が表す画像に対応する評価画像を取得する。

また、上記評価値の求め方としては、上記のように特定形状の個数に限らず、たとえば、集計用ブロックＳＢ内における各特定形状の抽出度合いの合計を評価値としてもよい。抽出度合いは、たとえば、特定形状が完全に抽出された場合を１とし、欠落した部分が大きいほど小さい値となるように評価すればよい。具体的には、円形状の輪郭抽出が完全に至らなかった場合、抽出できた線の長さＬと、その抽出できた線部分のサイズとの比で評価する。抽出できた線部分のｘ方向の幅をｄｘ、ｘ方向に直交するｙ方向の幅をｄｙ、ｒ＝ｍａｘ（ｄｘ，ｄｙ）/２、Ｌ０＝２×π×ｒとする。そして、抽出度合いの評価値ｄを、
ｄ＝ｍｉｎ（Ｌ/Ｌ０，１．０）
と定義する。

なお、特定形状が楕円形状の場合は、長軸の長さと短軸の長さとから理想的楕円の円周長を求め、その円周長と抽出された線長との比で評価するようにすればよい。

また、テンプレートマッチングにより特定形状を抽出する場合には、モデル形状を表す２次元テンプレート（２値パターン）の輪郭形状を示す有効画素の数をＫ０、対象画像においてテンプレート有効画素と合致した画素数をＫとし、抽出度合いの評価値ｄを、
ｄ＝Ｋ/Ｋ０
と定義すればよい。

そして、次に、上記評価画像に基づいて、病変部と正常部とを区分する境界ラインを検出する（図２のＳ１６）。具体的には、上記評価画像に対し、エッジ検出処理を施してエッジを検出し、そのエッジをトレースすることによってエッジラインを検出し、そのエッジラインを境界ラインとして取得する。エッジラインの検出方法は、種々の公知の検出方法を用いることができるが、たとえば、上記特定形状を抽出する際に用いた、微分フィルタを利用した方法を採用することができる。

上記のようにして観察対象における正常部と病変部とを区分する境界ラインを示す情報を取得することができる。

そして、境界ライン検出部３５において検出された境界ラインを示す情報は表示信号生成部３６に出力される。

そして、表示信号生成部３６は、入力された境界ラインを示す情報と画像取得部３１から出力されて入力されたカラー画像信号とに基づいて、通常画像と境界ラインとを合成した画像を表す表示用画像信号を生成し、その表示用画像信号を表示装置３に出力する。

表示装置３は、入力された表示用画像信号に基づいて、図６に示すような、通常画像と境界ラインとを合成した合成画像を表示する。

なお、本実施形態においては、境界ラインを示す情報に基づいて境界ラインの線画像を表示するようにしたが、これに限らず、たとえば、境界ラインを示す情報に基づいて、境界ラインによって区分される病変部の領域を異なる色味で表示するようにしたり、メッシュをかけて表示したりしてもよく、要は、病変部の領域と正常部の領域とが区別できるような表示態様であれば如何なる表示態様としてもよい。

また、上記実施形態においては、特定形状として正常部のピットパターンを表す円形を抽出するようにしたが、これに限らず、たとえば、病変部のピットパターンを表す楕円やＵ字型、Ｊ字型、Ｖ字型、または螺旋型などを抽出するようにしてもよい。

また、想定される病変部の進行度に応じて、抽出する特定形状を切り替えるようにしてもよい。たとえば、進行度と特定形状とを対応付けたルックアップテーブルを予め設定しておき、入力部２によって操作者による進行度の入力を受け付け、その受け付けた進行度に対応する特定形状をルックアップテーブルから取得するようにすればよい。または、表示装置３により複数種類の特定形状を表示させ、その中のいずれか１つの特定形状を操作者がマウスなどのポインティングデバイスによって指定するようにしてもよい。なお、特定形状は、たとえば、進行度が進むにつれて、Ｕ字構造、Ｊ字構造、微小な円構造、微小なＶ字構造へと切り替えるようにすればよい。

また、上記実施形態においては、特定形状を抽出する際に用いる分光推定画像信号の波長を一つとしたが、これに限らず、たとえば、想定される病変部の深度域に対応する波長λｋを含む所定の波長範囲内の複数の波長について分光推定画像信号を取得し、その各分光推定画像信号について、それぞれ上述した特定形状の抽出処理を行うようにしてもよい。そして、各分光推定画像信号毎に取得された特定形状の抽出処理結果に基づいて、いずれか１つの分光推定画像信号の抽出処理結果を選択し、その選択した抽出処理結果に基づいて境界ラインを検出する。抽出処理結果の選択については、たとえば、各分光推定画像信号毎に、抽出された特定形状の確度の情報を取得し、その確度が最も高い分光推定画像信号の抽出処理結果を選択するようにすればよい。なお、確度の情報としては、たとえば、抽出された特定形状のエッジ強度の加算値、抽出個数、密度、抽出度合いの累算などを利用することができる。

また、上記実施形態においては、特定形状として円形の１種類を用いるようにしたが、複数種類の特定形状を用いて抽出処理を行って境界ラインを取得するようにしてもよい。たとえば、円形と楕円形とＶ字型とを用いるとともに、３種類の波長（λｋ１、λｋ２およびλｋ３）の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）を用いる。具体的には、まず、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）に対し、上記実施形態と同様にしてそれぞれ円形の抽出処理を行い、その抽出された円形の確度が最も高い分光推定画像信号を選択し、その選択した分光推定画像信号の抽出結果に基づいて境界ラインを検出する。なお、ここでは分光推定画像信号Ｓ（λｋ１）が選択され、図７Ａに示すような境界ライン１が検出されたものとする。

次に、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）に対し、上記実施形態と同様にしてそれぞれ楕円形の抽出処理を行い、その抽出された楕円形の確度が最も高い分光推定画像信号を選択し、その選択した分光推定画像信号の抽出結果に基づいて境界ラインを検出する。なお、ここでは分光推定画像信号Ｓ（λｋ２）が選択され、図７Ｂに示すような境界ライン２および境界ライン３が検出されたものとする。

さらに、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）に対し、それぞれＶ字型の抽出処理を行い、その抽出されたＶ字型の確度が最も高い分光推定画像信号を選択し、その選択した分光推定画像信号の抽出結果に基づいて境界ラインを検出する。なお、ここでは分光推定画像信号Ｓ（λｋ３）が選択され、図７Ｃに示すような境界ライン４が検出されたものとする。

上記のようにして複数種類の特定形状についてそれぞれ境界ラインを検出し、これらの境界ライン１〜４に基づいて、図８に示すように、通常画像と境界ラインとの合成画像を生成する。なお、図７Ａに示す境界ライン１と図７Ｂに示す境界ライン２とが一致しない場合には、これらの境界ラインの平均的な曲線を求めて最終的な境界ラインとすればよい。また、同様に、図７Ｂに示す境界ライン３と図７Ｃに示す境界ライン４とが一致しない場合には、これらの境界ラインの平均的な曲線を求めて最終的な境界ラインとすればよい。

また、境界ラインの検出方法としては、上記のような方法に限らず、たとえば、図９に示すように、分光推定画像信号Ｓ（λｋ１）における円形の密度分布と分光推定画像信号Ｓ（λｋ２）における楕円形の密度分布とを取得し、円形の密度分布を正とし楕円形の密度分布を負としてこれらを加算し、これらの加算値に基づいて変曲点を求めることによって境界ラインを検出するようにしてもよい。また、同様に、分光推定画像信号Ｓ（λｋ２）における楕円形の密度分布と分光推定画像信号Ｓ（λｋ３）におけるＶ字型の密度分布とに基づいて境界ラインを検出するようにしてもよい。

また、上記説明では、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）のそれぞれの全範囲について円形、楕円形およびＶ字型の抽出処理を行うようにしたが、これに限らず、たとえば、まず、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）のそれぞれの全範囲について円形の抽出処理をし、そのうち円形の確度が最も高い分光推定画像信号を選択し、その選択した分光推定画像信号において円形が分布していない範囲を抽出し、次に、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）の全範囲のうち上記抽出した範囲（円形が分布していない範囲）についてのみ楕円形の抽出処理を行うようにしてもよい。

そして、そのうち楕円形の確度が最も高い分光推定画像信号を選択し、その選択した分光推定画像信号の楕円形の抽出処理を施した範囲のうち、楕円形が分布していない範囲を抽出し、次に、３種類の分光推定画像信号Ｓ（λｋ１）、Ｓ（λｋ２）、Ｓ（λｋ３）の全範囲のうち上記抽出した範囲（楕円形が分布していない範囲）についてのみＶ字型の抽出処理を行う。

上記のように特定形状の切替えに応じて（病変の進行度が進むにつれて）抽出処理の範囲を段階的に狭くすることによって演算時間の効率化を図ることできる。また、抽出処理の演算方法を進行度が進むほど演算量が重い演算方法に変更するようにしてもよい。これにより抽出処理の精度を向上することができる。また、上記説明では、特定形状の切替えに応じて（進行度が進むにつれて）抽出処理の範囲を段階的に狭くするようにしたが、さらに分光画像処理を施す（分光画像信号を生成する）範囲も段階的に狭くするようにしてもよい。

また、図７Ａ〜図７Ｃおよび図８に示したように、分光推定画像信号Ｓ（λｋ１）について円形の範囲（正常部の範囲）、分光推定画像信号Ｓ（λｋ２）について楕円形の範囲（進行度Ｉの範囲）、分光推定画像信号Ｓ（λｋ３）についてＶ字型の範囲を決定した場合には、それぞれの範囲について確度の情報を算出するようにしてもよい。具体的には、それぞれの範囲について特定形状のエッジ強度や個数や密度などを算出し、これらを確度を示す情報として付加するようにしてもよい。また、上記のようにそれぞれの範囲について算出したエッジ強度や個数や密度などをそのまま確度情報とするのではなく、予め異なる方法で取得して設定された各特定形状（進行度）に対応するエッジ強度や個数や密度などの特徴量と、上記のようにして算出した特徴量とを比較し、これらのマッチング度合に応じて範囲の確度情報を算出して各範囲に付加するようにしてもよい。そして、上記のようにして算出した確度情報に基づいて、たとえば、その確度の値そのものを表示したり、もしくは範囲毎に色付けや網かけなどしたりして診断モニタの画面上で視覚的に違いがわかるようにしてもよい。

また、円形の範囲、楕円形の範囲、Ｖ字型の範囲のそれぞれについて深度の確度情報を算出するようにしてもよい。具体的には、予め異なる方法で取得して設定された各特定形状（進行度）に対応する深度域と、それぞれの範囲の分光推定画像信号の波長に対応する深度域とを比較し、これらのマッチング度合に応じて深度域の確度情報を算出して各範囲に付加するようにしてもよい。また、上記のようにして算出した深度域の確度情報についても、たとえば、その確度の値そのものを表示したり、もしくは範囲毎に色付けや網かけなどしたりして診断モニタの画面上で視覚的に違いがわかるようにしてもよい。

また、図７Ａ〜図７Ｂおよび図８に示す境界ラインに対して、境界ラインとしての確度情報を付加するようにしてもよい。具体的には、境界ラインを構成する画素の上述した評価画像の微分フィルタ出力の強度累積値を境界ラインの確度情報として算出して付加するようにしてもよい。また、さらに検出した境界ラインを他の評価方法によって評価し、その評価結果と微分フィルタ出力の強度累積値とに基づいて確度情報を取得するようにしてもよい。たとえば、境界ラインの曲率の分布やフラクタル次元や周波数の分布などの特徴量を取得し、この取得した特徴量と予め異なる方法で取得し設定された曲率分布などの特徴量とを比較し、これらのずれに応じて微分フィルタ出力の強度累積値に基づく確度情報を修正するようにすればよい。すなわち、上記ずれが大きいほど確度情報を下げるようにすればよい。また、上記のようにして算出した境界ラインの確度情報についても、たとえば、その確度の値そのものを表示したり、もしくは境界線に色付けしたり線種を変えたりして診断モニタの画面上で視覚的に違いがわかるようにしてもよい。

また、上述した範囲の確度情報、深度域の確度情報、境界線の確度情報を総合的に判断して総合確度値を算出するようにしてもよい。具体的には、範囲の確度情報をｄ１、深度域の確度情報をｄ２、境界線の確度情報をｄ３とし、総合確度値Ｄを下式より求めるようにすればよい。

総合確度値Ｄ＝Σ（Ａｉ×Ｄｉ）、ｉ＝１〜３、Ａｉは各確度情報に対する重み係数
そして、この総合確度値Ｄに基づいて、範囲毎に色付けや網かけなどしたりして診断モニタの画面上で視覚的に違いがわかるようにしてもよい。

また、境界ラインを検出するために用いた（特定形状の確度が最も高い）分光推定画像信号の各波長に対応する深さ情報を取得し、境界ラインによって区分される、各特定形状が分布する領域にそれぞれ深さ情報を付加するようにしてもよい。そして、表示信号生成部３６において、各特定形状の分布領域毎に付加された深さ情報Ｄ１〜Ｄ４を、図１０に示すように、スプライン曲線で補間した画像を表す表示用画像信号を生成し、表示装置３においてその表示用画像信号に基づいて、各特定形状の深さ情報を表す画像を表示するようにしてもよい。また、通常画像の各特定形状の領域を上記深さ情報に基づいて色分けしたりしてもよい。または、上述した通常画像を表す表示用画像信号と深さ情報とに基づいて、３Ｄ画像用に左右両眼用の画像をＣＧ（ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で作成し、立体表示システムに提供するようにしてもよい。

また、上記説明では、本発明の画像処理装置を用いて円形や楕円形などのピットパターンを抽出し、その抽出結果に基づいて正常部と病変部との境界ラインを検出する内視鏡システムについて説明したが、本発明の画像処理装置は、ピットパターンに限らず、その他深さ方向に向かって構造物の形状が変化する場合のその境界ラインを検出することが可能であり、ピットパターン以外の構造物の境界ラインの検出のために用いるようにしてもよい。

１ 内視鏡システム
２ 入力部
３ 表示装置
１０ 照明光ユニット
２０ スコープユニット
３０ プロセッサユニット
３１ 画像取得部
３２ 分光画像処理部
３３ 記憶部
３４ 特定形状抽出部
３５ 境界ライン抽出部
３６ 表示信号生成部
３７ 制御部

Claims (13)

1. 画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得し、
   該取得した分光推定画像信号を用いて予め設定された特定形状を抽出し、
   該抽出した特定形状の分布状態を評価し、
   該評価の結果に基づいて、前記特定形状の分布状態が異なる領域を区分する境界ラインを検出することを特徴とする画像処理方法。
2. 観察対象の画像を表す画像信号を取得する画像信号取得部と、
   該画像信号取得部によって取得された画像信号に対し、分光画像処理を施して所定波長の分光推定画像信号を取得する分光画像処理部と、
   該分光画像処理部により取得された分光推定画像信号を用いて予め設定された特定形状を抽出する特定形状抽出部と、
   該特定形状抽出部により抽出された特定形状の分布状態を評価し、該評価結果に基づいて、前記特定形状の分布状態が異なる領域を区分する境界ラインを検出する境界ライン検出部を備えたことを特徴とする画像処理装置。
3. 前記分光画像処理部が、前記所定波長を含む所定の波長範囲内の複数波長の分光推定画像信号を取得するものであり、
   前記特定形状抽出部が、前記各分光推定画像信号毎について前記特定形状の抽出を行うものであり、
   前記境界ライン検出部が、前記各分光推定画像信号について前記特定形状抽出部により抽出された特定形状の確度の情報を算出し、最も高い確度の情報に対応する分光推定画像信号の前記特定形状の抽出結果に基づいて境界ラインを検出するものであることを特徴とする請求項２記載の画像処理装置。
4. 複数種類の前記特定形状のうちの少なくとも１つを選択する信号を受け付ける選択信号受付部をさらに備え、
   前記特定形状抽出部が、前記選択信号受付部により受け付けられた選択信号に応じた前記特定形状の抽出を行うものであることを特徴とする請求項２または３記載の画像処理装置。
5. 前記観察対象の病変の進行度を示す情報を受け付ける進行度受付部をさらに備え、
   前記特定形状抽出部が、前記進行度受付部により受け付けられた進行度を示す情報に基づいて、複数種類の前記特定形状のうちの少なくとも１つを選択し、該選択した特定形状の抽出を行うものであることを特徴とする請求項２または３記載の画像処理装置。
6. 前記特定形状抽出部が、前記観察対象の病変の進行度に応じた複数種類の前記特定形状を抽出するものであるとともに、前記特定形状毎に前記分光推定画像信号における抽出範囲を変更するものであることを特徴とする請求項２から５いずれか１項記載の画像処理装置。
7. 前記特定形状抽出部が、前記病変の進行度が大きい前記特定形状ほど前記抽出範囲を狭くして前記抽出処理を行うものであることを特徴とする請求項６記載の画像処理装置。
8. 前記特定形状抽出部が、前記病変部の進行度が大きい前記特定形状の前記抽出範囲ほど演算量が多くなる抽出処理を行うものであることを特徴とする請求項記７載の画像処理装置。
9. 前記境界ライン検出部が、前記境界ラインにより区分された領域毎の前記特定形状に基づく特徴量に基づいて、前記領域毎の前記特定形状の領域としての確度の情報を取得するものであることを特徴とする請求項２から８いずれか１項記載の画像処理装置。
10. 前記境界ライン検出部が、前記境界ラインに基づく特徴量に基づいて、前記境界ラインの確度の情報を取得するものであることを特徴とする請求項２から９いずれか1項記載の画像処理装置。
11. 前記境界ライン検出部が、前記境界ラインを検出する際に用いた前記分光推定画像信号の波長に対応する深さ情報を前記境界ラインにより区分される領域毎に取得し、該領域毎の深さ情報と予め設定された前記領域毎に分布する特定形状に対応する深さ情報とに基づいて、前記領域毎の深さの確度情報を取得するものであることを特徴とする請求項３記載の画像処理装置。
12. 前記領域毎に取得された深さ情報をスプライン曲線で補間した画像を表す表示信号を生成する表示信号生成部を備えたことを特徴とする請求項１１記載の画像処理装置。
13. 前記境界ライン検出部が、複数種類の評価方法によって評価された前記境界ラインに基づく特徴量をそれぞれ取得するものであり、該複数の特徴量に基づいて前記境界ラインの確度の情報を取得するものであることを特徴とする請求項２から１２いずれか1項記載の画像処理装置。