JP2010213746A - 内視鏡画像処理装置および方法ならびにプログラム - Google Patents

Abstract

【課題】分光推定画像による画像診断の作業効率を向上させる。
【解決手段】内視鏡画像Ｐから注目領域ＲＯＩおよび参照領域ＲＯＲが検出される。次に、注目領域ＲＯＩと参照領域ＲＯＲとのスペクトル分布が推定され、注目領域ＲＯＩと参照領域ＲＯＲと色差ΔＥが最大になるような波長セット（λｒ、λｇ、λｂ）が検出される。そして、演算手段７０において、検出した波長セット（λｒ、λｇ、λｂ）に該当するマトリクスパラメータＭがパラメータデータベースＤＢから抽出され、マトリクス演算されることにより分光推定画像ＳＰが生成される。
【選択図】図３

Description

本発明は、内視鏡を用いて取得された内視鏡画像をマトリクス演算することにより分光推定画像を生成する内視鏡画像処理装置および方法ならびにプログラムに関するものである。

近年、固体撮像素子を用いた電子内視鏡装置では、消化器官（胃粘膜等）における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のＲ（赤），Ｇ（緑），Ｂ（青）の回転フィルタの代わりに、３つの狭（波長）帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた３つの信号に対しそれぞれの重み付けを変えながらＲ，Ｇ，Ｂ（ＲＧＢ）信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。

一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、ＲＧＢのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、このマトリクスデータとＲＧＢ信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。

ここで、分光推定画像として表示させる波長は、たとえば１０パターンの波長セットが用意されており、この波長セットの中から適宜選択され設定される。たとえば分光推定画像のＲ成分、Ｇ成分、Ｂ成分として（４００ｎｍ、５００ｎｍ、６００ｎｍ）の波長セットが選択された場合、４００ｎｍのマトリクスパラメータ、５００ｎｍのマトリクスパラメータ、６００ｎｍのマトリクスパラメータを用いてマトリクス演算を行うことにより分光推定画像ＳＰが得られる。

特開２００３−９３３３６号公報

しかし、予め設定された複数の波長セットを用いた場合、使用者がいずれの波長セットを選択すれば対象を際立たせるための波長セットが分からない場合があり、必ずしも注目領域が際立った分光推定画像ＳＰが得られるとは限らない。また、粘膜の状態には個人差があるため、粘膜の状態に合わせた最適な波長セットの設定は難しいという問題がある。したがって、使用者が被写体に合わせて最適な波長セットを探す必要があり、画像診断をする際の使用者の作業効率が低下する場合があるという問題がある。

そこで、本発明は、分光推定画像による画像診断をする際の作業効率を向上させることができる内視鏡画像処理装置および方法ならびにプログラムを提供することを目的とするものである。

本発明の内視鏡画像処理装置は、内視鏡画像から注目領域を検出する領域検出手段と、内視鏡画像を構成する画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースと、領域検出手段により検出された注目領域および注目領域以外の参照領域の画像データから色を抽出し、パラメータデータベースに基づいて抽出した色の成分信号値から注目領域および参照領域のスペクトル分布を推定するスペクトル推定手段と、スペクトル推定手段により推定された注目領域および参照領域のスペクトル分布において、注目領域および参照領域の波長毎のスペクトル強度を各ＲＧＢ成分に割り当てたときに注目領域と参照領域との色差が最大になる波長セットを検出する波長検出手段と、波長検出手段により検出された波長セットに対応するマトリクスパラメータをパラメータデータベースの中から選択して内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成する演算手段とを備えたことを特徴とするものである。

本発明の内視鏡画像処理方法は、内視鏡画像から注目領域を検出し、検出した注目領域および注目領域以外の参照領域の画像データから色を抽出し、画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースに基づいて、抽出した注目領域および参照領域の色の成分信号値からそれぞれスペクトル分布を推定し、推定した注目領域および参照領域のスペクトル分布において、注目領域および参照領域の波長毎のスペクトル強度を各ＲＧＢ成分に割り当てたときに注目領域と参照領域との色差が最大になる波長セットを検出し、検出した波長セットに対応するマトリクスパラメータをパラメータデータベースの中から選択して内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成することを特徴とするものである。

本発明の内視鏡画像処理プログラムは、コンピュータに、内視鏡画像から注目領域を検出し、検出した注目領域および注目領域以外の参照領域の画像データから色を抽出し、画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースに基づいて、抽出した注目領域および参照領域の色の成分信号値からそれぞれスペクトル分布を推定し、推定した注目領域および参照領域のスペクトル分布において、注目領域および参照領域の波長毎のスペクトル強度を各ＲＧＢ成分に割り当てたときに注目領域と参照領域との色差が最大になる波長セットを検出し、検出した波長セットに対応するマトリクスパラメータをパラメータデータベースの中から選択して内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成することを実行させることを特徴とするものである。

ここで、領域検出手段は、注目領域を検出する際に、入力手段からの入力に従い注目領域を検出するものであってもよいし、注目領域を予め設定されているスペクトル（色）や形状等の特徴量に基づいて自動的に検出するものであってもよい。特に、領域検出手段が血管を注目領域として検出するものであってもよい。このとき、領域検出手段が予め設定されている血管の色の特徴量に基づいて血管を注目領域として自動的に検出するものであってもよいし、血管のパターン認識を行うことにより血管を注目領域として自動的に検出するものであってもよい。

なお、波長検出手段は、色差が最大になる波長セットの他に色差が設定しきい値以上になるサブ波長セットを検出する機能を有していてもよい。このとき、演算手段は波長検出手段により検出されたサブ波長セットに基づく分光推定画像を生成する機能を有することになる。

また、波長検出手段は、色差が最大になる波長セットをたとえば４００ｎｍ〜７００ｎｍのすべての波長域から検出するようにしてもよいし、６００ｎｍ以下の波長域から色差が最大となる波長セットを検出するようにしてもよい。あるいは、波長検出手段は、注目領域と参照領域とのスペクトル強度の差分が設定しきい値以上の波長域から色差が最大となる波長セットを検出するようにしてもよい。

本発明の内視鏡画像処理装置および方法ならびにプログラムによれば、内視鏡画像から注目領域を検出し、検出した注目領域および注目領域以外の参照領域の画像データから色を抽出し、内視鏡画像を構成する画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースに基づいて、抽出した色の成分信号値からパラメータデータベースを用いて注目領域および参照領域のスペクトル分布を推定し、推定した注目領域および参照領域のスペクトル分布において、注目領域および参照領域の波長毎のスペクトル強度を各ＲＧＢ成分に割り当てたときに注目領域と参照領域との色差が最大になる波長セットを検出し、検出した波長セットに対応するマトリクスパラメータをパラメータデータベースの中から選択して内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成することにより、注目領域と参照領域とのコントラストを高くして注目領域を見やすくした分光推定画像を自動的に生成することができるため、使用者が最適な波長セットを検索する必要がなく、画像診断における作業効率を向上させることができる。

なお、領域検出手段が、注目領域を予め設定されている特徴量に基づいて自動的に検出するものであるとき、予め注目領域として観察したい部位および当該部位の色等が分かっている場合には注目領域の検出も自動的に行い、さらに画像診断効率の向上を図ることができる。特に、領域検出手段が血管を注目領域として検出するものであるとき、領域検出手段が予め設定されている血管の色の特徴量に基づいて血管を注目領域として自動的に検出して画像診断効率の向上を図ることができる。

また、波長検出手段が、色差が最大になる波長セットの他に色差が設定しきい値以上になるサブ波長セットを検出する機能を有するものであり、演算手段が波長検出手段により検出されたサブ波長セットに基づく分光推定画像を生成する機能を有するものであれば、コントラストが高い複数の分光推定画像の中から使用者にとって最も見やすい分光推定画像を用いて画像診断を行うことができる。

さらに、波長検出手段が６００ｎｍ以下の波長域から色差が最大となる波長セットを検出するものであるとき、６００ｎｍより大きい波長域のスペクトル成分は注目領域と参照領域とのコントラストへの寄与度が低いことを利用し、最大の色差を検出する際の計算量を低減して高速に色差が最大となる波長セットを検出することができる。

また、波長検出手段が、注目領域と参照領域とのスペクトル強度の差分が設定しきい値以上の波長域から色差が最大となる波長セットを検出するものであれば、上記差分が小さいスペクトル成分は注目領域と参照領域とのコントラストへの寄与度が低いことを利用し、最大の色差を検出する際の計算量を低減して高速に色差が最大となる波長セットを検出することができる。

本発明の内視鏡画像処理装置が適用された内視鏡装置の一例を示すブロック図 図２のパラメータデータベースに記憶されたマトリクスパラメータの一例を示す表 血管が映し出された内視鏡画像の一例を示す模式図 図１のスペクトル推定手段により推定された注目領域のスペクトル分布の一例を示すグラフ 図１のスペクトル推定手段により推定された参照領域のスペクトル分布の一例を示すグラフ 図１の波長検出手段により波長セットが検出される様子を示すグラフ 本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャート

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の内視鏡装置の一例を示すブロック図である。内視鏡装置１は、光源ユニット１０、スコープ２０、内視鏡画像処理装置３０を備えている。光源ユニット１０は内視鏡による観察を行うために被写体に光を照射するものであって、キセノンランプ等の通常観察を行うために白色光を照射する。光源ユニット１０は光ファイバ１１および集光レンズ１３を介してスコープ２０のライトガイド１５に光学的に接続されており、光源ユニット１０から射出された白色光Ｌ１ライトガイド１５内に入射され観察窓１６から被写体に照射される。

スコープ２０は、撮像レンズ２１、撮像手段２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換器２４、ＣＣＤ駆動部２５、レンズ駆動部２６等を有しており、各構成要素はスコープコントローラ２７により制御されている。撮像レンズ２１はたとえば複数のレンズ群から構成されており、レンズ駆動部２６の駆動により撮影倍率が変更する。撮像手段２２はたとえばＣＣＤやＣＭＯＳ等からなり、撮像レンズ２１により結像された被写体像を光電変換して画像を取得するものである。この撮像手段２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型、あるいはＲＧＢの色フィルタを有する原色型が用いられる。なお、撮像手段２２の動作はＣＣＤ駆動部２５により制御されている。撮像手段２２が画像（映像）信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換器２４がＣＤＳ／ＡＧＣ回路１７から出力された内視鏡画像をＡ／Ｄ変換し、内視鏡画像処理装置３０に出力される。

内視鏡画像処理装置３０は、スコープ２０を用いて取得された内視鏡画像を処理するものであって、たとえばＤＳＰ等により構成されている。内視鏡画像処理装置３０は、画像取得手段３１、前処理手段３２、分光画像生成手段３３、画像処理手段３４、表示制御手段３５を備えている。画像取得手段３１は、スコープ２０の撮像手段２２により撮影された内視鏡画像Ｐを取得するものである。

前処理手段３２は、画像取得手段３１において取得された内視鏡画像Ｐに対し前処理を施すものであって、たとえば内視鏡画像ＰがＹＣＣ表色系からなっている場合にはＲＧＢ表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。

分光画像生成手段３３は、内視鏡画像Ｐに対しマトリクスパラメータＭを用いてマトリクス演算を行うことにより分光推定画像ＳＰを生成するものである。なお、分光画像生成手段３３の動作例の詳細については特開２００３−９３３３６号公報に記載されている。

具体的には、分光画像生成手段３３は、用いて下記式（１）に示すマトリクス演算を行うことにより分光推定画像ＳＰを生成する。

なお、式（１）において、ＳＰｒ、ＳＰｇ、ＳＰｂは分光推定画像ＳＰの各ＲＧＢ成分、Ｐｒ、Ｐｇ、Ｐｂは内視鏡画像Ｐの各ＲＧＢ成分、Ｍ_００〜Ｍ_２２からなる３×３行の行列はマトリクス演算を行うためのマトリクスパラメータＭをそれぞれ示している。

図２は、式（１）に示すマトリクス演算を行うためのマトリクスパラメータを記憶したデータベースＤＢの一例を示す表である。図２において、データベースＤＢにはたとえば４００ｎｍから７００ｎｍの波長域を５ｎｍ間隔で分けた６１の波長域毎にパラメータＭ＝（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）（ｉはデータベースＤＢ内に記憶されているパラメータセットを区別する符号であってｉ＝１〜６１、ｊは上記式（１）の行列Ｍの行であってｊ＝０〜２）が記憶されている。そして、分光画像生成手段３３は、分光推定画像ＳＰの各ＲＧＢ成分ＳＰｒ、ＳＰｇ、ＳＰｂにそれぞれ割り当てる波長λｒ、λｇ、λｂを自動的に決定し、決定した波長λｒ、λｇ、λｂに対応するマトリクスパラメータＭをパラメータデータベースＤＢから抽出し分光推定画像ＳＰを生成する。

図１の画像処理手段３４は内視鏡画像Ｐおよび分光推定画像ＳＰに対し強調処理等を施すものであり、表示制御手段３５は画像処理手段３４において画像処理された内視鏡画像Ｐおよび分光推定画像ＳＰをキャラクタ情報等とともに表示装置３に表示する機能を有している。特に、表示制御手段３５は、内視鏡画像Ｐとして白色光Ｌ１が照射されたときの通常観察画像および分光推定画像ＳＰを表示する機能を有している。

上述のように、式（１）において、どの波長を分光推定画像ＳＰの各ＲＧＢ成分ＳＰｒ、ＳＰｇ、ＳＰｂに割り当てるかは分光画像生成手段３３において自動的に決定される。具体的には、分光画像生成手段３３は、領域検出手段４０、スペクトル推定手段５０、波長検出手段６０、演算手段７０を備えている。

領域検出手段４０は、内視鏡画像Ｐ内から注目領域ＲＯＩを検出するとともに、注目領域ＲＯＩ以外から参照領域ＲＯＲを検出するものである。たとえば図３に示す内視鏡画像Ｐにおいて血管を観察したい場合、領域検出手段４０は血管を注目領域ＲＯＩとして検出するとともに、血管以外の領域を参照領域ＲＯＲとして検出する。

なお、注目領域ＲＯＩと参照領域ＲＯＲの検出は、使用者によりマウスやキーボード等の入力手段２を介して入力された領域を注目領域ＲＯＩを検出するようにしてもよいし、内視鏡画像Ｐの特徴量から自動的に選択するようにしてもよい。たとえば、血管を注目領域ＲＯＩとして検出する際、領域検出手段４０はヘモグロビン吸収スペクトル（色）の情報を有しており、内視鏡画像Ｐ内からヘモグロビン吸収スペクトル（色）に該当する領域を注目領域ＲＯＩとして自動的に検出するようにしてもよい。あるいは、エッジ検出やパターン認識等の公知の血管抽出技術を用いて自動的に血管領域を注目領域ＲＯＩとして検出してもよい。

図１のスペクトル推定手段５０は、領域検出手段４０により選択された注目領域ＲＯＩおよび参照領域ＲＯＲの色の成分信号値Ｐｒ、Ｐｇ、Ｐｂを用いて、注目領域ＲＯＩおよび参照領域ＲＯＲのスペクトル分布を推定するものである。具体的には、スペクトル推定手段５０は、注目領域ＲＯＩおよび参照領域ＲＯＲの中から任意の１画素を選択する。そして、スペクトル推定手段５０は、図２のマトリクスパラメータを用いてスペクトル強度Ｉ＝（Ｍ_ｊ０、Ｍ_ｊ１、Ｍ_ｊ２）・（Ｐｒ、Ｐｇ、Ｐｂ）を算出することにより、各波長毎にスペクトル強度を推定する。すると、たとえば図４Ａに示すような注目領域ＲＯＩのスペクトル強度と、図４Ｂに示すような参照領域ＲＯＲのスペクトル強度とが推定される。

なお、スペクトル推定手段５０は、任意の１画素のスペクトル強度を注目領域ＲＯＩおよび参照領域ＲＯＲのスペクトル強度として推定する場合について例示しているが、たとえば注目領域ＲＯＩ（参照領域ＲＯＲ）内のｎ×ｎ画素についてスペクトル強度を算出しその平均値を注目領域ＲＯＩ（参照領域ＲＯＲ）のスペクトル強度として推定するようにしてもよい。

図１の波長検出手段６０は、スペクトル推定手段５０により推定された注目領域ＲＯＩおよび参照領域ＲＯＲのスペクトル分布において、注目領域ＲＯＩおよび参照領域ＲＯＲの波長毎のスペクトル強度を各ＲＧＢ成分ＳＰｒ、ＳＰｇ、ＳＰｂに割り当てたときに注目領域ＲＯＩと参照領域ＲＯＲとの色差ΔＥが最大になる波長セット（λｒ、λｇ、λｂ）を検出するものである。

具体的には、波長検出手段６０は、スペクトル推定手段５０により算出された注目領域ＲＯＩおよび参照領域ＲＯＲのスペクトル強度をＲＧＢ成分の各信号成分値ＳＰｒ、ＳＰｇ、ＳＰｂとする。このＲＧＢ成分の成分信号値ＳＰｒ、ＳＰｇ、ＳＰｂをＣＩＥの三刺激ＸＹＺに変換した後Ｌａｂ表色系に変換した後、Ｌａｂ表色系の値から色差ΔＥを下記式（２）により算出する。
ΔＥ＝（ΔＬ^２＋Δａ^２＋Δｂ^２）^１／２ ・・・（２）
なお、式（２）において、ΔＬ、Δａ、Δｂは、それぞれ注目領域ＲＯＩの値Ｌ、ａ、ｂと参照領域ＲＯＲのＬ、ａ、ｂとの差分を示す。

ここで、図２のパラメータデータベースＤＢには、４００ｎｍ〜７００ｎｍの６１個のマトリクスパラメータが用意されているため、注目領域ＲＯＩおよび参照領域ＲＯＲのそれぞれについて６１個のスペクトル強度データが生成されていることになる。したがって、６１×６１×６１通りの波長セットに対する色差ΔＥが式（２）により算出される。そして、波長検出手段６０は６１×６１×６１通りの波長セットのうち色差ΔＥが最大になる波長セット（λｒ、λｇ、λｂ）を検出する。そして、演算手段７０は、波長検出手段６０により検出された波長セット（λｒ、λｇ、λｂ）に対応するマトリクスパラメータＭをパラメータデータベースＤＢの中から選択して各内視鏡画像Ｐに対しマトリクス演算を施すことにより被写体の分光反射率を示す分光推定画像ＳＰを生成する。

さらに、波長検出手段６０は、上記色差ΔＥが最大となる波長セット（λｒ、λｇ、λｂ）の他に、色差ΔＥが設定しきい値以上となるサブ波長セット（λｒ、λｇ、λｂ）を検出する機能を有している。そして、演算手段７０は、サブ波長セット（λｒ、λｇ、λｂ）に基づくサブ分光推定画像ＳＰを生成することになる。これにより、使用者にコントラストが高い波長セットの異なる複数の分光推定画像ＳＰを提供することができ、使用者は好みに合わせていずれかの分光推定画像ＳＰを用いて画像診断を行うことが可能となる。

なお、波長検出手段６０は、４００ｎｍ〜７００ｎｍのすべての波長域から色差ΔＥが最大になる波長を検出するようにしているが、６００ｎｍ以上の波長域を選択してもコントラスト（色差）に寄与する寄与率が低いことがわかった。そこで、波長検出手段６０は最大の色差ΔＥを検出する際には４００ｎｍ〜６００ｎｍの範囲で上記検出を行うようにしてもよい。これにより、計算量を減少させて高速に波長セット（λｒ、λｇ、λｂ）を検出することができる。

また、注目領域ＲＯＩと参照領域ＲＯＲとのスペクトル強度の差が小さい波長λｎを選択してもコントラストには影響しないことがわかった。そこで、波長検出手段６０は、注目領域と参照領域とのスペクトル強度の差分が設定しきい値以上の波長域からのみ色差ΔＥが最大となる波長セット（λｒ、λｇ、λｂ）を検出し、設定しきい値未満の波長域λｎについては色差ΔＥの検出から除外するようにしてもよい。この場合も計算量を減少させて高速に波長セット（λｒ、λｇ、λｂ）を検出することができる。

このように、注目領域ＲＯＩと参照領域ＲＯＲとの色差ΔＥが最大になるような波長セット（λｒ、λｇ、λｂ）を自動的に選択することにより、使用者が波長設定に迷うことなく、最適な分光画像観察が可能となる。すなわち、従来は、数パターンの波長セットを予め設定しておき使用者がいずれかの波長セットを選択する。しかし、使用者がいずれの波長セットを選択すれば対象を際立たせるための波長セットが分からず、必ずしも注目領域が際立った分光推定画像ＳＰが得られるとは限らない。また、粘膜の状態には個人差があるため、粘膜の状態に合わせた最適な波長セットの設定は難しいという問題がある。さらに、スコープ１０を操作しながらリアルタイムで分光推定画像ＳＰを観察する際、適切な波長セットに設定するのは手間が煩雑であるという問題がある。

一方、上述したように、内視鏡画像Ｐの信号成分値から自動的に波長セット（λｒ、λｇ、λｂ）を選択することにより、使用者が波長セットの選択に迷うことなく、被写体に個人差が生じた場合であってもコントラストの高い分光推定画像ＳＰを使用者に提供することができる。

図６は本発明の内視鏡処理方法の好ましい実施形態を示すフローチャートであり、図１から図６を参照して内視鏡画像処理方法について説明する。まず、画像取得手段３１においてスコープ２０により撮影された内視鏡画像Ｐが取得され、前処理手段３２により前処理が施される（ステップＳＴ１）。その後、領域検出手段４０において、内視鏡画像Ｐから注目領域ＲＯＩおよび参照領域ＲＯＲが検出される（ステップＳＴ２、図３参照）。

次に、スペクトル推定手段５０において、注目領域ＲＯＩと参照領域ＲＯＲとのスペクトル分布が推定される（ステップＳＴ３、図４Ａ、図４Ｂ参照）。その後、波長検出手段６０により、式（２）に基づいて注目領域ＲＯＩと参照領域ＲＯＲと色差ΔＥが最大になるような波長セット（λｒ、λｇ、λｂ）が検出される（ステップＳＴ４）。そして、演算手段７０において、検出した波長セット（λｒ、λｇ、λｂ）に該当するマトリクスパラメータＭがパラメータデータベースＤＢから抽出され、式（１）に基づきマトリクス演算されることにより分光推定画像ＳＰが生成される（ステップＳＴ５）。

上記実施の形態によれば、内視鏡画像Ｐから注目領域ＲＯＩを検出し、検出した注目領域ＲＯＩおよび注目領域ＲＯＩ以外の参照領域ＲＯＲの画像データから色を抽出し、画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータＭが記憶されたパラメータデータベースＤＢに基づいて、抽出した注目領域ＲＯＩおよび参照領域ＲＯＲの色の成分信号値からそれぞれスペクトル分布を推定し、推定した注目領域ＲＯＩおよび参照領域ＲＯＲのスペクトル分布において、注目領域ＲＯＩおよび参照領域ＲＯＲの波長毎のスペクトル強度を各ＲＧＢ成分ＳＰｒ、ＳＰｇ、ＳＰｂに割り当てたときに注目領域ＲＯＩと参照領域ＲＯＲとの色差ΔＥが最大になる波長セット（λｒ、λｇ、λｂ）を検出し、検出した波長セット（λｒ、λｇ、λｂ）に対応するマトリクスパラメータＭをパラメータデータベースＤＢの中から選択して内視鏡画像Ｐに対しマトリクス演算を施すことにより分光推定画像ＳＰを生成することにより、注目領域ＲＯＩと参照領域ＲＯＲとのコントラストを高くして注目領域ＲＯＩを見やすくした分光推定画像ＳＰを自動的に生成することができるため、使用者が最適な波長セットを検索する必要がなく、画像診断における作業効率を向上させることができる。

なお、領域検出手段４０が、注目領域ＲＯＩを予め設定されている特徴量に基づいて自動的に検出するものであるとき、予め注目領域ＲＯＩとして観察したい部位および当該部位の色等が分かっている場合には注目領域ＲＯＩの検出も自動的に行い、さらに画像診断効率の向上を図ることができる。特に、領域検出手段４０が血管を注目領域ＲＯＩとして検出するものであるとき、領域検出手段４０が予め設定されている血管の色の特徴量に基づいて血管を注目領域ＲＯＩとして自動的に検出して画像診断効率の向上を図ることができる。

また、波長検出手段６０が、色差ΔＥが最大になる波長セット（λｒ、λｇ、λｂ）の他に、色差ΔＥが設定しきい値以上になるサブ波長セットを検出する機能を有するものであり、演算手段７０が波長検出手段６０により検出されたサブ波長セットに基づく分光推定画像ＳＰを生成する機能を有するものであれば、使用者の好みに合わせて複数の分光推定画像ＳＰを選択できる。

さらに、波長検出手段６０が６００ｎｍ以下の波長域から色差ΔＥが最大となる波長セットを検出するものであるとき、６００ｎｍより大きい波長域のスペクトル成分は注目領域ＲＯＩと参照領域ＲＯＲとのコントラストへの寄与度が低いことを利用し、最大の色差ΔＥを検出する際の計算量を低減して高速に色差ΔＥが最大となる波長セットを検出することができる。

また、波長検出手段６０が、注目領域ＲＯＩと参照領域ＲＯＲとのスペクトル強度の差分が設定しきい値以上である波長域から色差ΔＥが最大となる波長セットを検出するものであれば、上記差分が小さいスペクトル成分は注目領域ＲＯＩと参照領域ＲＯＲとのコントラストへの寄与度が低いことを利用し、最大の色差を検出する際の計算量を低減して高速に色差ΔＥが最大となる波長セットを検出することができる。

本発明の実施形態は、上記実施形態に限定されない。たとえば、波長検出手段６０において、Ｌａｂ表色系における色差ΔＥを算出する場合について例示しているがこれに限らず、たとえばＵＶＷ表色系、ＬＶＷ表色系、ＣＩＥ２０００での色差ΔＥ００等公知の手法を用いるようにしてもよい。

さらに、図１の内視鏡装置１において内視鏡画像処理装置３０の構成がＤＳＰ等により構成されている場合について例示しているが、補助記憶装置に読み込まれた内視鏡画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現されるようにしてもよい・この内視鏡画像処理プログラムは、たとえばＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

１ 内視鏡装置
２ 入力手段
３ 表示装置
２０ スコープ
３０ 内視鏡画像処理装置
３１ 画像取得手段
３２ 前処理手段
３３ 分光画像生成手段
４０ 領域検出手段
５０ スペクトル推定手段
６０ 波長検出手段
７０ 演算手段
ＤＢ パラメータデータベース
Ｍ マトリクスパラメータ
Ｐ 内視鏡画像
Ｐ 分光推定画像
ＲＯＩ 注目領域
ＲＯＲ 参照領域
ＳＰ 分光推定画像
ΔＥ 色差

Claims (11)

1. 内視鏡画像から注目領域を検出する領域検出手段と、
   前記内視鏡画像を構成する画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースと、
   前記領域検出手段により検出された前記注目領域および該注目領域以外の参照領域の画像データから色を抽出し、前記パラメータデータベースに基づいて抽出した該色の成分信号値から前記注目領域および前記参照領域のスペクトル分布を推定するスペクトル推定手段と、
   該スペクトル推定手段により推定された前記注目領域および前記参照領域の前記スペクトル分布において、該注目領域および該参照領域の波長毎の前記スペクトル強度を各ＲＧＢ成分に割り当てたときに前記注目領域と前記参照領域との色差が最大になる波長セットを検出する波長検出手段と、
   前記波長検出手段により検出された前記波長セットに対応する前記マトリクスパラメータを前記パラメータデータベースの中から選択して前記内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成する演算手段と
   を備えたことを特徴とする内視鏡画像処理装置。
2. 前記領域検出手段が、入力手段からの入力に従い前記注目領域を検出するものであることを特徴とする請求項１記載の内視鏡画像処理装置。
3. 前記領域検出手段が、前記注目領域を予め設定されている特徴量に基づいて自動的に検出するものであることを特徴とする請求項１記載の内視鏡画像処理装置。
4. 前記領域検出手段が血管を前記注目領域として検出するものであることを特徴とする請求項３記載の内視鏡画像処理装置。
5. 前記領域検出手段が予め設定されている前記血管の色の特徴量に基づいて該血管を前記注目領域として自動的に検出するものであることを特徴とする請求項４記載の内視鏡画像処理装置。
6. 前記領域検出手段が、前記血管のパターン認識を行うことにより該血管を注目領域として自動的に検出するものであることを特徴とする請求項４または５記載の内視鏡画像処理装置。
7. 前記波長検出手段が、前記色差が最大になる前記波長セットの他に、該色差が設定しきい値以上になるサブ波長セットを検出する機能を有するものであり、前記演算手段が前記波長検出手段により検出された前記サブ波長セットに基づく前記分光推定画像を生成する機能を有するものであることを特徴とする請求項１から６のいずれか１項記載の内視鏡画像処理装置。
8. 前記波長検出手段が６００ｎｍ以下の波長域から前記色差が最大となる波長セットを検出するものであることを特徴とする請求項１から７のいずれか１項記載の内視鏡画像処理装置。
9. 前記波長検出手段が、前記注目領域と前記参照領域とのスペクトル強度の差分が設定しきい値以上の波長域から前記色差が最大となる波長セットを検出するものであることを特徴とする請求項１から８のいずれか１項記載の内視鏡画像処理装置。
10. 内視鏡画像から注目領域を検出し、
    検出した前記注目領域および該注目領域以外の参照領域の画像データから色を抽出し、
    前記画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースに基づいて、抽出した前記注目領域および前記参照領域の前記色の成分信号値からそれぞれスペクトル分布を推定し、
    推定した前記注目領域および前記参照領域の前記スペクトル分布において、該注目領域および該参照領域の波長毎の前記スペクトル強度を各ＲＧＢ成分に割り当てたときに前記注目領域と前記参照領域との色差が最大になる波長セットを検出し、
    検出した前記波長セットに対応する前記マトリクスパラメータを前記パラメータデータベースの中から選択して前記内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成する
    ことを特徴とする内視鏡画像処理方法。
11. コンピュータに、
    内視鏡画像から注目領域を検出し、
    検出した前記注目領域および該注目領域以外の参照領域の画像データから色を抽出し、
    前記画像データの色の成分信号値から各波長のスペクトル強度を算出するためのマトリクスパラメータが記憶されたパラメータデータベースに基づいて、抽出した前記注目領域および前記参照領域の前記色の成分信号値からそれぞれスペクトル分布を推定し、
    推定した前記注目領域および前記参照領域の前記スペクトル分布において、該注目領域および該参照領域の波長毎の前記スペクトル強度を各ＲＧＢ成分に割り当てたときに前記注目領域と前記参照領域との色差が最大になる波長セットを検出し、
    検出した前記波長セットに対応する前記マトリクスパラメータを前記パラメータデータベースの中から選択して前記内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成する
    ことを実行させるための内視鏡画像処理プログラム。

Images