JP2010200883A - 内視鏡画像処理装置および方法ならびにプログラム - Google Patents

Abstract

【課題】 分光画像において画質が劣化している部分の被写体の状態を見やすくして画像診断の効率化を図る。
【解決手段】 スコープ２０により撮影された通常観察画像Ｐが取得されるとともに、通常観察画像Ｐに対しマトリクス演算を施すことにより分光推定画像ＳＰが生成される。そして、通常観察画像Ｐが複数のブロック領域に分割され、各ブロック領域ＢＲ毎に輝度ＹＲが検出される。各ブロック領域ＢＲの輝度ＹＲが所定のしきい値（Ｙ１ｒｅｆ≦ＹＲ≦Ｙ２ｒｅｆ）の範囲内にあるかどうかが判断され、輝度が所定のしきい値内にある領域ＢＲには分光推定画像ＳＰの画像データを用い、所定のしきい値外にある領域ＢＲには通常観察画像Ｐを用いて合成画像ＣＰが生成される。
【選択図】 図１

Description

本発明は、内視鏡を用いて取得された内視鏡画像と分光画像とを表示する内視鏡画像処理装置および方法ならびにプログラムに関するものである。

近年、固体撮像素子を用いた電子内視鏡装置では、消化器官（胃粘膜等）における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のＲ（赤），Ｇ（緑），Ｂ（青）の回転フィルタの代わりに、３つの狭（波長）帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた３つの信号に対しそれぞれの重み付けを変えながらＲ，Ｇ，Ｂ（ＲＧＢ）信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。

一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、ＲＧＢのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、このマトリクスデータとＲＧＢ信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となり、装置の大型化が避けられ、低コスト化を図ることができる。

上記ＮＢＩ画像もしくは分光推定画像を表示可能な内視鏡システムにおいて、被写体を撮影したときの通常観察画像を表示する通常観察モードと、ＮＢＩ画像もしくは分光推定画像を表示する分光画像観察モードとが用意されており各種モードを切替えることができる（たとえば特許文献１、２参照）。たとえば特許文献１には、使用者が切替スイッチを操作することにより、通常観察モードと分光画像観察モードを切り替えることが開示されている。一方、特許文献２には、分光画像の明るさがしきい値よりも大きいとき分光画像観察モードに設定し、しきい値以下になったとき通常観察画像に強制的に切り替える方法が提案されている。

特開２００６−３１４６２９号公報 特開２００６−３４１０７８号公報

ここで、分光画像観察モードとして分光画像もしくは分光推定画像を表示させた場合、画像の一部が黒潰れもしくは白飛びしている場合があり、被写体の一部が見えづらい場合があるという問題がある。特に、分光推定画像を表示させた場合、輝度が低い部位では黒潰れし輝度が高すぎる部位では正確な色が表現できない場合がある。

そこで、本発明は、分光画像において画質が劣化している領域の状態を見やすくして画像診断の効率化を図ることができる内視鏡画像処理装置および方法ならびにプログラムを提供することを目的とするものである。

本発明の内視鏡画像処理装置は、被写体に白色光を照射したときに被写体を撮影した通常観察画像と被写体の分光反射率を示す分光画像とを取得する画像取得手段と、画像取得手段により取得された通常観察画像または分光画像を複数の領域に分割する領域分割手段と、領域分割手段により分割された領域毎に輝度を検出し輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定する輝度判定手段と、輝度判定手段において下限設定輝度以上であって上限設定輝度以下であると判定された領域について分光画像の画像データを用い、下限設定輝度未満もしくは上限設定輝度より大きい輝度の領域について通常観察画像の画像データを用いて合成画像を生成する画像合成手段とを備えたことを特徴とするものである。

本発明の内視鏡画像処理方法は、被写体に白色光を照射したときに被写体を撮影した通常観察画像と被写体の分光反射率を示す分光画像とを取得し、取得した通常観察画像または分光画像を複数の領域に分割し、分割した領域毎に輝度を検出し当該輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定し、下限設定輝度以上であって上限設定輝度以下であると判定した領域について分光画像の画像データを用い、下限設定輝度未満もしくは上限設定輝度より大きい輝度の領域について通常観察画像の画像データを用いて合成画像を生成することを特徴とするものである。

本発明の内視鏡画像処理プログラムは、コンピュータに、被写体に白色光を照射したときに被写体を撮影した通常観察画像と被写体の分光反射率を示す分光画像とを取得し、取得した通常観察画像または分光画像を複数の領域に分割し、分割した領域毎に輝度を検出し当該輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定し、下限設定輝度以上であって上限設定輝度以下であると判定した領域について分光画像の画像データを用い、下限設定輝度未満もしくは上限設定輝度より大きい輝度の領域について通常観察画像の画像データを用いて合成画像を生成することを実行させることを特徴とするものである。

ここで、分光画像はどのように取得されたものであってもよく、たとえば狭帯域光源や光学フィルタを用いて光学的に被写体からの反射光を分光し生成した画像であってもよいし、通常観察画像に対しマトリクス演算を施すことにより生成した分光推定画像であってもよい。

また、輝度判定手段は通常観察画像の輝度を検出し判定するものであってもよいし、分光画像の輝度を検出し判定するものであってもよい。

なお、領域分割手段は、通常観察画像もしくは分光画像を複数の領域に分割するものであればその方法を問わず、たとえば通常観察画像または分光画像を設定画素数からなる複数のブロック領域に分割するものであってもよい。

さらに、内視鏡画像処理装置は通常観察画像または分光画像内から関心領域を設定する関心領域設定手段をさらに有するものであってもよい。このとき、画像合成手段は関心領域内について分光推定画像の画像データを用いるとともに、関心領域以外の領域について輝度に基づき通常観察画像の画像データもしくは分光画像の画像データを判定し合成画像を生成するものであってもよい。

また、通常観察画像は、内視鏡により撮影され取得されたものであればなんでもよいが、光源から照射される光が自動露出制御された状況下において撮影され取得されたものであることが好ましい。

本発明の内視鏡画像処理装置および方法ならびにプログラムによれば、被写体に白色光を照射したときに被写体を撮影した通常観察画像と被写体の分光反射率を示す分光画像とを取得し、取得した通常観察画像または分光画像を複数の領域に分割し、分割した領域毎に輝度を検出し、検出した各領域の輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定し、下限設定輝度以上であって上限設定輝度以下であると判定した領域について分光画像の画像データを用い、下限設定輝度未満もしくは上限設定輝度より大きい輝度の領域について通常観察画像の画像データを用いて合成画像を生成することにより、分光画像において黒潰れもしくは正確な色表現がなされていない領域については通常観察画像を表示させ撮影部位を認識させることができるため、分光画像の画質劣化による画像診断の効率低下を低減することができる。

なお、画像取得手段が通常観察画像に対しマトリクス演算を施すことにより分光推定画像を分光画像として生成する分光画像生成手段を備えたものであれば、マトリクス演算により分光推定画像に黒潰れや正確な色が表現できない場合が生じても当該領域については通常観察画像が表示されるため、分光画像の画質劣化による画像診断の効率低下を低減することができる。

また、画像取得手段が被写体に狭帯域な光を照射したときに取得された分光画像を取得するものであるとき、分光画像に黒潰れ等が生じても当該領域については通常観察画像が表示されるため、分光画像の画質劣化による画像診断の効率低下を低減することができる。

さらに、通常観察画像または分光画像内から関心領域を設定する関心領域設定手段をさらに有し、画像合成手段が、関心領域内について分光推定画像の画像データを用いるとともに、関心領域以外の領域について輝度に基づき通常観察画像の画像データもしくは分光画像の画像データを判定し合成画像を生成するものであれば、合成画像内の関心領域は常に分光推定画像の画像データが用いられることになり、使用者が望む画像情報を合成画像として提供することができる。

また、通常観察画像が光源から照射される光が自動露出制御された状況下において撮影され取得されたものであるとき、関心領域では適正な明るさで撮影が行われることになるため、合成画像内の関心領域は分光推定画像の画像データが用いられることになり、使用者が望む画像情報を合成画像として提供することができる。

本発明の内視鏡画像処理装置が適用された内視鏡装置の一例を示すブロック図 図１のパラメータデータベースに記憶されたマトリクスパラメータの一例を示す表 図１の領域分割手段において通常観察画像が複数のブロック領域に分割された状態を示す模式図 図１の輝度判定手段において複数のしきい値が用いられる一例を示す図 本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャート 本発明の内視鏡画像処理装置の別の実施形態を示すブロック図

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の内視鏡装置の一例を示すブロック図である。内視鏡装置１は、光源ユニット１０、スコープ２０、内視鏡画像処理装置３０を備えている。光源ユニット１０は内視鏡による観察を行うために被写体に光を照射するものであって、キセノンランプ等の通常観察を行うために白色光を照射する。光源ユニット１０は光ファイバ１１および集光レンズ１３を介してスコープ２０のライトガイド１５に光学的に接続されており、光源ユニット１０から射出された白色光Ｌ１はライトガイド１５内に入射され観察窓１６から被写体に照射される。特に、絞り１２は装置コントローラ８０によりＡＥＣ（Auto Exposure Control：自動露出制御）されている。

スコープ２０は、撮像レンズ２１、撮像手段２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換器２４、ＣＣＤ駆動部２５、レンズ駆動部２６等を有しており、各構成要素はスコープコントローラ２７により制御されている。撮像レンズ２１はたとえば複数のレンズ群から構成されており、レンズ駆動部２６の駆動により撮影倍率が変更する。撮像手段２２はたとえばＣＣＤやＣＭＯＳ等からなり、撮像レンズ２１により結像された被写体像を光電変換して画像を取得するものである。この撮像手段２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型、あるいはＲＧＢの色フィルタを有する原色型が用いられる。なお、撮像手段２２の動作はＣＣＤ駆動部２５により制御されている。撮像手段２２が画像（映像）信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換器２４がＣＤＳ／ＡＧＣ回路１７から出力された内視鏡画像をＡ／Ｄ変換し、内視鏡画像処理装置３０に出力される。

内視鏡画像処理装置３０は、スコープ２０を用いて取得された内視鏡画像を処理するものであって、たとえばＤＳＰ等により構成されている。内視鏡画像処理装置３０は、画像取得手段３１、画像処理手段３２、表示制御手段３３を備えている。画像取得手段３１は、信号取得手段３１ａ、前処理手段３１ｂ、分光画像生成手段３１ｃを有し、信号取得手段３１ａは被写体に白色光が照射されたときにスコープ２０により撮影された通常観察画像Ｐを取得するものである。前処理手段３１ｂは、信号取得手段３１ａにおいて取得された通常観察画像Ｐに対し前処理を施すものであって、たとえば通常観察画像ＰがＹＣＣ表色系からなっている場合にはＲＧＢ表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。

分光画像生成手段３１ｃは、通常観察画像Ｐに対しマトリクスパラメータＭを用いてマトリクス演算を行うことにより分光推定画像ＳＰを生成するものである。なお、分光画像生成手段３１ｃの動作例の詳細については特開２００３−９３３３６号公報に記載されている。

具体的には、分光画像生成手段３１ｃは、用いて下記式（１）に示すマトリクス演算を行うことにより分光推定画像ＳＰを生成する。

なお、式（１）において、ＳＰｒ、ＳＰｇ、ＳＰｂは分光推定画像ＳＰの各ＲＧＢ成分、Ｐｒ、Ｐｇ、Ｐｂは通常観察画像Ｐの各ＲＧＢ成分、Ｍ_００〜Ｍ_２２からなる３×３行の行列はマトリクス演算を行うためのマトリクスパラメータＭをそれぞれ示している。

図２は、式（１）に示すマトリクス演算を行うためのマトリクスパラメータを記憶したデータベースＤＢの一例を示す表である。図２において、データベースＤＢにはたとえば４００ｎｍから７００ｎｍの波長域を５ｎｍ間隔で分けた６１の波長域毎にパラメータＰi＝（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）（ｉはデータベースＤＢ内に記憶されているパラメータセットを区別する符号であってｉ＝１〜６１、ｊは上記式（１）の行列Ｍの行であってｊ＝０〜２）が記憶されている。

一方、波長セットとして、例えば（λ１，λ２，λ３）＝（４００，５００，６００）の標準セットＣＨ１、血管を描出するための（λ１，λ２，λ３）＝（４７０，５００，６７０）もしくは（４７５，５１０，６８５）の血管セットＣＨ２、ＣＨ３、特定組織を描出するための（λ１，λ２，λ３）＝（４４０，４８０，５２０）もしくは（４８０，５１０，５８０）の組織セットＣＨ５、オキシヘモグロビンとデオキシヘモグロビンとの差を描出するための（λ１，λ２，λ３）＝（４００，４３０，４７５）のヘモグロビンセットＣＨ６、血液とカロテンとの差を描出するための（λ１，λ２，λ３）＝（４１５，４５０，５００）の血液‐カロテンセットＣＨ７、血液と細胞質の差を描出するための（λ１，λ２，λ３）＝（４２０，５５０，６００）の血液‐細胞質セットＣＨ８の８つの波長セットが用意されている。

そして、使用者により生成する分光推定画像ＳＰの波長セットＣＨ１〜ＣＨ８が入力手段２を介して入力されたとき、分光画像生成手段３１ｃは波長セットＣＨ１〜ＣＨ８の波長情報λ１、λ２、λ３に応じてマトリクスパラメータ（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）をデータベースＤＢの中から抽出し、上記式（１）のマトリクスパラメータを設定する。たとえば、分光画像ＳＰを生成する際の波長セットとして（λ１，λ２，λ３）＝（５００ｎｍ，６２０ｎｍ，６５０ｎｍ）が選択された場合、分光画像生成手段３１ｃは、データベースＤＢに記憶された６１セットのパラメータＰｉ（ｉ＝１〜６１）のうち、中心波長５００ｎｍに対応するｉ＝２１のパラメータＰ２１を行列Ｍの行ｊ＝０に割り当てて（Ｍ_００，Ｍ_０１，Ｍ_０２）＝（-0.00119，0.002346，0.0016）、中心波長６２０ｎｍに対応するｉ＝４５のパラメータＰ４５を行列Ｍの行ｊ＝１に割り当てて（Ｍ_１０，Ｍ_１１，Ｍ_１２）＝（0.004022，0.000068，‐0.00097）、および中心波長６５０ｎｍに対応するｉ＝５１のパラメータＰ５１を行列Ｍの行ｊ＝２に割り当てて（Ｍ_２０，Ｍ_２１，Ｍ_２２）＝（0.005152，-0.00192，0.000088）とした行列Ｍを生成し上式（１）のマトリクス演算を行う。

なお、図１において、分光画像生成手段３１ｃが通常観察画像Ｐに対しマトリクス演算を施すことにより分光推定画像ＳＰを取得する場合について例示しているが、画像取得手段３１は狭帯域光が照射された被写体を撮影したときの光学的な分光画像を取得するようにしてもよい。

画像処理手段３２は通常観察画像Ｐおよび分光推定画像ＳＰに対し強調処理等を施すものであり、表示制御手段３３は画像処理手段３２において画像処理された通常観察画像Ｐおよび分光推定画像ＳＰをキャラクタ情報等とともに表示装置３に表示する機能を有している。特に、表示制御手段３３は通常観察画像Ｐおよび分光推定画像ＳＰを表示する機能を有している。

さらに、内視鏡画像処理装置３０は、領域分割手段４０、輝度判定手段５０、画像合成手段６０を備えている。領域分割手段４０は、図３に示すように、通常観察画像Ｐの領域を所定の画素数からなるブロック領域ＢＲに分割するものである。なお、ブロック領域ＢＲの大きさは撮像手段２２の画素数に応じて決定されるものであって、たとえば１６×１６画素からなっている。

輝度判定手段５０は、領域分割手段４０により分割されたブロック領域ＢＲ毎に輝度ＹＲを検出し、輝度ＹＲが下限設定輝度Ｙ１ｒｅｆ以上であって上限設定輝度Ｙ２ｒｅｆ以下であるかを判定するものである。ここで、輝度判定手段５０は、たとえば各ブロック領域ＢＲ内の画素の輝度平均値もしくは最頻値をブロック領域ＢＲの輝度値ＹＲとして検出する。また、輝度が０〜２５５で表される場合、たとえば下限設定輝度Ｙ１ｒｅｆ＝５０、上限設定輝度値Ｙ２ｒｅｆ＝２３８というように設定される。

画像合成手段６０は、輝度判定手段５０の判定結果に基づいて、各ブロック領域ＢＲ毎に通常観察画像Ｐの画像データもしくは分光推定画像ＳＰの画像データを用いて合成画像ＣＰを生成するものである。具体的には、画像合成手段６０は、輝度ＹＲが下限設定輝度Ｙ１ｒｅｆ以上であって上限設定輝度Ｙ２ｒｅｆ以下であると判定されたブロック領域ＢＲについて、分光推定画像ＳＰの画像データを用いる。一方、画像合成手段６０は、輝度ＹＲが下限設定輝度Ｙ１ｒｅｆ未満もしくは上限設定輝度Ｙ２ｒｅｆより大きい輝度のブロック領域ＢＲについて通常観察画像Ｐの画像データを用いる。

たとえば図３において、輝度ＹＲが下限設定輝度Ｙ１ｒｅｆであって上限設定輝度Ｙ２ｒｅｆ以下のブロック領域ＹＲ１と、下限設定輝度Ｙ１ｒｅｆ未満のブロック領域ＹＲ２とが存在する場合、画像合成手段６０はブロック領域ＹＲ１内の分光推定画像ＳＰの画像データと、ブロック領域ＹＲ２内の通常観察画像Ｐの画像データとを合成した合成画像ＣＰを生成することになる。

このように、分光画像ＳＰにおいて黒潰れもしくは正確な色表現がなされていない領域については通常観察画像Ｐを表示させ撮影部位を明確に認識させることができるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。すなわち、従来のように、暗い輝度の足りない領域や白飛びしている輝度が高い領域を有する通常観察画像Ｐに対しマトリクス演算を施した場合、分光画像ＳＰでは黒潰れや正確な色が表現できない等の不具合が生じ、効率的な画像診断を行うことができない。一方、上述したように、最適な輝度になっている領域では分光推定画像ＳＰを表示し、輝度が不適切な領域については通常観察画像を表示することにより、黒潰れ等の分光画像ＳＰ内の被写体の状態を把握することができない領域については通常観察画像Ｐを表示させることにより、使用者に被写体の状態を把握させることができるため、効率的な画像診断を行うことができる。

特に、光源ユニット１０がＡＥＣ制御されているとき、通常観察画像Ｐ内の関心領域ＲＯＩ（たとえば図３の白抜き部分）について適切な輝度になっている場合が多い。したがって、上記合成画像ＣＰ内の関心領域ＲＯＩは、通常、分光画像ＳＰであり、関心領域の分光画像ＳＰを観察したいとする使用者の意図にも合致する。

なお、希に関心領域ＲＯＩ内においても輝度が足りないもしくは白飛びする場合もある。したがって、入力手段２を介して入力されもしくは被写体のパターン認識等により自動認識して関心領域ＲＯＩを設定する関心領域設定手段７０を設け、画像合成手段６０は関心領域設定手段７０により設定された関心領域ＲＯＩについては分光画像ＳＰの画像データを用いるようにし、関心領域ＲＯＩ以外の領域について、上記ブロック領域ＢＲの輝度に基づき通常観察画像Ｐもしくは分光画像ＳＰのいずれかの画像データを選択するようにしてもよい。

なお、輝度判定手段５０において、下限設定輝度Ｙ１ｒｅｆおよび上限設定輝度Ｙ２ｒｅｆの２つの基準に基づいて判断するようにしているが、関心領域ＲＯＩとそれ以外の領域とで異なるしきい値を設けるようにしてもよい。たとえば、図４に示すように下限設定輝度Ｙ１ｒｅｆよりも輝度値が低い許容下限設定輝度Ｙ１１ｒｅｆおよび上限設定輝度Ｙ２ｒｅｆよりも輝度値が高い許容上限設定輝度Ｙ２１ｒｅｆを設定しておき、ブロック領域ＢＲの輝度ＹＲが下限設定輝度Ｙ１ｒｅｆよりも低い場合であっても、関心領域ＲＯＩ内にあって許容下限設定輝度Ｙ１１ｒｅｆ以上であれば、分光画像ＳＰの画像データを用いるようにしてもよい。あるいは、ブロック領域ＢＲの輝度ＹＲが上限設定輝度Ｙ２ｒｅｆよりも高い場合であっても、関心領域ＲＯＩ内にあって許容上限設定輝度Ｙ２１ｒｅｆ以下であれば、分光画像ＳＰの画像データを用いるようにしてもよい。これにより、使用者が観察したい関心領域ＲＯＩ内に分光画像ＳＰの画像データが用いられる割合を多くすることができる。

図５は本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャートであり、図１から図５を参照して内視鏡画像処理方法について説明する。まず、画像取得手段３１においてスコープ２０により撮影された通常観察画像Ｐが取得されるとともに、分光画像生成手段３１ｃにおいて通常観察画像Ｐに対しマトリクス演算を施すことにより分光推定画像ＳＰが生成される（ステップＳＴ１）。その後、領域分割手段４０により通常観察画像Ｐが複数のブロック領域ＢＲに分割され、各ブロック領域ＢＲ毎に輝度ＹＲが検出される（ステップＳＴ２）。

次に、各ブロック領域ＢＲの輝度ＹＲが所定のしきい値（Ｙ１ｒｅｆ≦ＹＲ≦Ｙ２ｒｅｆ）の範囲内にあるかどうかが判定される（ステップＳＴ３）。そして、画像合成手段６０において通常観察画像Ｐと分光推定画像ＳＰとを用いて合成画像ＣＰが生成される（ステップＳＴ４）。具体的には、輝度ＹＲが所定のしきい値内にある場合には分光推定画像ＳＰの画像データを用い（ステップＳＴ４−１）、所定のしきい値外にある場合には通常観察画像Ｐを用いて合成画像が生成される（ステップＳＴ４−２）。その後、表示装置３に合成画像ＣＰが表示される（ステップＳＴ５）。

このように、分光画像ＳＰにおいて黒潰れもしくは正確な色表現がなされていない領域については通常観察画像Ｐを表示させ撮影部位を明確に認識させることができるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。

図６は本発明の内視鏡画像処理装置の別の実施形態を示すブロック図であり、図６を参照して内視鏡画像処理装置１３０について説明する。なお、図６の内視鏡画像処理装置１３０において、図１の内視鏡画像処理装置３０と同一の構成を有する部位には同一の符号を付してその説明を省略する。図６の内視鏡画像処理装置１３０において図１の内視鏡画像処理装置３０と異なる点は分光画像ＳＰの輝度に基づいて合成画像ＣＰを生成する点である。

ずなわち、領域分割手段１４０は分光画像ＳＰを複数のブロック領域ＢＲに分割し、輝度判定手段１５０は分光画像ＳＰの各ブロック領域ＢＲの輝度を検出し判定する。そして、画像合成手段６０は判定結果に基づき各ブロック領域ＢＲについて通常観察画像Ｐの画像データを用いるか分光画像ＳＰの画像データを用いるかを選択し合成画像ＣＰを生成する。

この場合であっても、通常観察画像Ｐを用いたときと同様に、分光画像ＳＰにおいて黒潰れもしくは正確な色表現がなされていない領域については通常観察画像Ｐを表示させ撮影部位を明確に認識させることができるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。

上記各実施の形態によれば、被写体に白色光を照射したときに被写体を撮影した通常観察画像Ｐと被写体の分光反射率を示す分光画像ＳＰとを取得し、取得した通常観察画像Ｐまたは分光画像ＳＰを複数の領域ＢＲに分割し、分割した領域ＢＲ毎に輝度ＹＲを検出し、検出した各領域ＢＲの輝度ＹＲが下限設定輝度Ｙ１ｒｅｆ以上であって上限設定輝度Ｙ２ｒｅｆ以下であるかを判定し、下限設定輝度Ｙ１ｒｅｆ以上であって上限設定輝度Ｙ２ｒｅｆ以下であると判定した領域ＢＲについて分光画像ＳＰの画像データを用い、下限設定輝度Ｙ１ｒｅｆ未満もしくは上限設定輝度Ｙ２ｒｅｆより大きい輝度ＹＲの領域ＢＲについて通常観察画像Ｐの画像データを用いて合成画像ＣＰを生成することにより、分光画像において黒潰れもしくは正確な色表現がなされていない領域については通常観察画像Ｐを表示させ撮影部位を認識させることができるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。

また、図１のように、画像取得手段３１が通常観察画像Ｐに対しマトリクス演算を施すことにより分光推定画像を分光画像ＳＰとして生成する分光画像生成手段３１ｃを備えたものであれば、マトリクス演算により分光推定画像ＳＰに黒潰れや正確な色が表現できない場合が生じても当該領域については通常観察画像Ｐが表示されるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。

また、画像取得手段３１が被写体に狭帯域な光を照射したときに取得された分光画像を取得するものであるとき、分光画像ＳＰに黒潰れ等が生じても当該領域については通常観察画像Ｐが表示されるため、分光画像ＳＰの画質劣化による画像診断の効率低下を低減することができる。

さらに、通常観察画像Ｐまたは分光画像内から関心領域ＲＯＩを設定する関心領域設定手段７０をさらに有し、画像合成手段６０が、関心領域ＲＯＩ内について分光推定画像ＳＰの画像データを用いるとともに、関心領域ＲＯＩ以外の領域について輝度ＹＲに基づき通常観察画像Ｐの画像データもしくは分光画像ＳＰの画像データを判定し合成画像ＣＰを生成するものであれば、合成画像ＣＰ内の関心領域ＲＯＩは常に分光推定画像ＳＰの画像データが用いられることになり、使用者が望む画像情報を合成画像ＣＰとして提供することができる。

また、通常観察画像Ｐが光源から照射される光が自動露出制御された状況下において撮影され取得されたものであるとき、関心領域ＲＯＩでは適正な明るさで撮影が行われることになるため、合成画像ＣＰ内の関心領域ＲＯＩは分光推定画像ＳＰの画像データが用いられることになり、使用者が望む画像情報を合成画像ＣＰとして提供することができる。

本発明の実施の形態は上記実施形態に限定されない。たとえば、図１において、分光画像観察モードのときに自動的に合成画像ＣＰさせるようにしてもよいし、合成画像ＣＰの表示のＯＮ／ＯＦＦを設定可能にしておき、当該表示がＯＮに設定されている場合に分光画像観察モードにおいて合成画像ＣＰを自動的に表示するようにしてもよい。

さらに、図１の内視鏡装置１において内視鏡画像処理装置３０の構成がＤＳＰ等により構成されている場合について例示しているが、補助記憶装置に読み込まれた内視鏡画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現されるようにしてもよい・この内視鏡画像処理プログラムは、たとえばＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

１ 内視鏡装置
３０、１３０ 内視鏡画像処理装置
３１ 画像取得手段
３１ａ 信号取得手段
３１ｂ 前処理手段
３１ｃ 分光画像生成手段
３２ 画像処理手段
３３ 表示制御手段
４０、１４０ 領域分割手段
５０、１５０ 輝度判定手段
６０ 画像合成手段
７０ 関心領域設定手段
８０ 装置コントローラ
ＢＲ ブロック領域
ＣＰ 合成画像
ＤＢ データベース
Ｐ 通常観察画像
ＲＯＩ 関心領域
ＳＰ 分光推定画像
Ｙ１ｒｅｆ 下限設定輝度
Ｙ２ｒｅｆ 上限設定輝度
ＹＲ 輝度

Claims (8)

1. 被写体に白色光を照射したときに該被写体を撮影した通常観察画像と該被写体の分光反射率を示す分光画像とを取得する画像取得手段と、
   該画像取得手段により取得された前記通常観察画像または前記分光画像を複数の領域に分割する領域分割手段と、
   該領域分割手段により分割された前記領域毎に輝度を検出し該輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定する輝度判定手段と、
   該輝度判定手段において前記下限設定輝度以上であって前記上限設定輝度以下であると判定された前記領域について前記分光画像の画像データを用い、前記下限設定輝度未満もしくは前記上限設定輝度より大きい輝度の前記領域について前記通常観察画像の画像データを用いて合成画像を生成する画像合成手段と
   を備えたことを特徴とする内視鏡画像処理装置。
2. 前記画像取得手段が、前記通常観察画像に対しマトリクス演算を施すことにより分光推定画像を前記分光画像として生成する分光画像生成手段を備えたものであることを特徴とする請求項１記載の内視鏡画像処理装置。
3. 前記画像取得手段が、前記被写体に狭帯域な光を照射したときに取得された分光画像を取得するものであることを特徴とする請求項１記載の内視鏡画像処理装置。
4. 前記領域分割手段が、前記通常観察画像または前記分光画像を設定画素数からなる複数のブロック領域に分割するものであることを特徴とする請求項１から３のいずれか１項記載の内視鏡画像処理装置。
5. 前記通常観察画像または前記分光画像内から関心領域を設定する関心領域設定手段をさらに有し、
   前記画像合成手段が、該関心領域内について分光推定画像の画像データを用いるとともに、該関心領域以外の領域について前記輝度に基づき前記通常観察画像の画像データもしくは前記分光画像の画像データを判定し前記合成画像を生成するものであることを特徴とする請求項１から４のいずれかに記載の内視鏡画像処理装置。
6. 前記通常観察画像が光源から照射される光が自動露出制御された状況下において撮影され取得されたものであることを特徴とする請求項１から５のいずれかに記載の内視鏡画像処理装置。
7. 被写体に白色光を照射したときに該被写体を撮影した通常観察画像と該被写体の分光反射率を示す分光画像とを取得し、
   取得した前記通常観察画像または前記分光画像を複数の領域に分割し、
   分割した前記領域毎に輝度を検出し該輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定し、
   前記下限設定輝度以上であって前記上限設定輝度以下であると判定した前記領域について前記分光画像の画像データを用い、前記下限設定輝度未満もしくは前記上限設定輝度より大きい輝度の前記領域について前記通常観察画像の画像データを用いて合成画像を生成する
   ことを特徴とする内視鏡画像処理方法。
8. コンピュータに、
   被写体に白色光を照射したときに該被写体を撮影した通常観察画像と該被写体の分光反射率を示す分光画像とを取得し、
   取得した前記通常観察画像または前記分光画像を複数の領域に分割し、
   分割した前記領域毎に輝度を検出し、該輝度が下限設定輝度以上であって上限設定輝度以下であるかを判定し、
   前記下限設定輝度以上であって前記上限設定輝度以下であると判定した前記領域について前記分光画像の画像データを用い、前記下限設定輝度未満もしくは前記上限設定輝度より大きい輝度の前記領域について前記通常観察画像の画像データを用いて合成画像を生成する
   ことを実行させるための内視鏡画像処理プログラム。