JP2010051350A - 画像処理装置および方法ならびにプログラム - Google Patents

Abstract

【課題】 蛍光を発している血管像を映し出した蛍光画像の画質の向上を図る。
【解決手段】 血管が蛍光色素により励起光Ｌ２の照射により蛍光を発する状態において、内視鏡装置１により体腔内の生体組織が撮影される。このとき、体腔内の同一部位について、白色光が照射されたときに撮影された通常観察画像Ｐ０と、励起光が照射されたときに撮影された蛍光画像ＦＰとが取得される。そして、分光画像取得手段４０において、波長域の異なる複数の分光画像ＳＰ１、ＳＰ２が生成される。この複数の分光画像ＳＰ１、ＳＰ２に基づき深さ位置判別手段５０により関心領域ＲＯＩ内に映し出された血管の深さ位置Ｄが判別される。その後、画像処理手段６０において血管の深さ位置Ｄに応じた画像処理条件ＲＣにより画像処理が施され、表示装置３に表示される。
【選択図】図１

Description

本発明は、内視鏡装置を用いて撮影された血管像を示す蛍光画像に対し画像処理を施す画像処理装置および方法ならびにプログラムに関するものである。

近年、固体撮像素子を用いた電子内視鏡等の撮像装置では、消化器官（胃粘膜等）における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵撮像装置（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ−ＮＢＩ）が注目されている。この装置は、面順次式のＲ（赤）、Ｇ（緑）、Ｂ（青）の回転フィルタの代わりに、３つの狭（波長）帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた３つの信号に対しそれぞれの重み付けを変えながらＲ、Ｇ、Ｂ（ＲＧＢ）信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。

一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、特許文献１に示されるように、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、Ｒ、Ｇ、Ｂのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、このマトリクスデータとＲ、Ｇ、Ｂ信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。

ところで、上記のような生体観察の分野では、血管やガン細胞等を蛍光試薬により標識して、その蛍光画像を観察する手法が用いられており、その際に上記分光画像の技術を応用して蛍光画像を得ることが考えられている。たとえば蛍光試薬ＩＣＧ（インドシアニングリーン）等の蛍光試薬を静脈内注射して、血管の正確な位置を把握することに蛍光画像が用いられる。ここで、生体による減衰が少ない７００〜１３００ｎｍ範囲の近赤外領域の光を蛍光画像として取得することにより、表層から約２ｍｍ程度の深さ位置にある血管であっても位置を特定することができる。

一方、組織の先見情報のシミュレーションと実際に得られた画像の点像強度分布に基づき、生体内の散乱による像のボケを推定して、画像処理により復元処理を行い、より鮮明な血管の像を得ることができる画像処理方法が開示されている（たとえば特許文献２参照）。
特開２００３−９３３３６号公報 特開平１０−１６５３６５号公報

ここで、たとえば蛍光画像内の血管像の鮮鋭度を向上させるために、蛍光画像に対し特許文献２に示すような点像強度分布に基づく血管強調処理を施すことが考えられる。しかし、蛍光画像内の血管像は血管の深さ位置によってボケ度合いが異なるため、一律な点像強度分布を用いて画質向上処理を施しても画質が向上しない場合があるという問題がある。一方、蛍光画像からは血管の深さ位置までは識別することができず、結果として蛍光画像の画質を向上させることが難しいという問題がある。

そこで、本発明は、血管の深さ位置に合わせて適切に蛍光画像の画質を向上させる画像処理を施すことができる画像処理装置および方法ならびにプログラムを提供することを目的とするものである。

本発明の画像処理装置は、血管に励起光が照射された際に血管内の物質が発する蛍光を撮影し得られた蛍光画像を取得する蛍光画像取得手段と、蛍光画像と略同一の血管を撮影し得られたそれぞれ波長域が異なる複数の分光画像を取得する分光画像取得手段と、分光画像取得手段により取得された複数の分光画像を用いて血管が存在する深さ位置を判別する深さ位置判別手段と、深さ位置判別手段により判別された血管の深さ位置に応じて画像処理条件を変えて蛍光画像に血管強調処理を施す画像処理手段とを備えたことを特徴とするものである。

本発明の画像処理方法は、血管に励起光が照射された際に血管内の物質が発する蛍光を撮影したときの蛍光画像と、蛍光画像と略同一の血管を撮影したときのそれぞれ波長域が異なる複数の分光画像とを取得し、取得した複数の分光画像を用いて血管が存在する深さ位置を判別し、判別した血管の深さ位置に応じて画像処理条件を変えて蛍光画像に血管強調処理を施すことを特徴とするものである。

本発明の画像処理プログラムは、コンピュータに、血管に励起光が照射された際に血管内の物質が発する蛍光を撮影したときの蛍光画像と、蛍光画像と略同一の血管を撮影したときのそれぞれ波長域が異なる複数の分光画像とを取得し、取得した複数の分光画像を用いて血管が存在する深さ位置を判別し、判別した血管の深さ位置に応じて画像処理条件を変えて蛍光画像に血管強調処理を施すことを実行させるための画像処理プログラムである。

ここで、複数の分光画像は、異なる波長域の分光画像であればどのように取得されたものであってもよく、たとえば被写体に白色光を照射したときに取得された通常観察画像に対しマトリクス演算を行うことにより生成された分光推定画像であってもよいし、波長域の異なる２つの狭帯域の光が被写体に照射されたときに各狭波長域毎に撮影されたものであってもよい。

なお、画像処理手段は、血管の深さ位置に応じて画像処理条件を変えて血管強調処理を施すものであれば強調処理の種類は問わず、たとえば血管の深さ位置毎に複数の点像強度分布関数を画像処理条件として有するものであり、深さ位置判別手段の判別結果に応じて記憶している複数の点像強度分布関数から蛍光画像の血管強調処理に用いる点像強度分布関数を選択してもよい。

あるいは、画像処理手段は、血管から蛍光が発光した際の蛍光の幅とボケの広がりとに基づき血管の輪郭を抽出し、抽出した血管の輪郭を蛍光画像に重畳させることにより血管強調処理を行うものであってもよい。このとき、画像処理手段は、血管の深さ位置に応じて異なるボケの広がり幅を画像処理条件として有することになる。

また、深さ位置判別手段は、複数の分光画像を用いて血管が存在する深さ位置を判別するものであればよく、各分光画像から血管が抽出できるか否かを判断することにより、各分光画像の波長の深達度に基づき血管の深さ位置を判別するものであってもよい。

たとえば、複数の分光画像は波長略４３０ｎｍの第１分光画像と、波長略５７０ｎｍの第２分光画像とを有するものであり、深さ位置判別手段は、第１分光画像および第２分光画像から血管を抽出する血管像抽出手段と、血管像抽出手段における抽出結果に基づいて各分光画像内にそれぞれ血管が存在するか否かを判別する血管有無判別手段と、血管有無判別手段において第１分光画像に血管が存在すると判断された場合、血管が表面付近の第１深さ位置に存在すると判断し、第２分光画像に血管が存在すると判断された場合、血管が第１深さ位置よりも深い第２深さ位置に存在すると判断し、第１分光画像および第２分光画像の双方に血管が存在しないと判断された場合、血管が第２深さ位置よりも深い第３深さ位置に存在すると判断する深さ位置検出手段とを有するものであってもよい。

また、深さ位置判別手段による血管の深さ位置の判別および画像処理手段による画像処理は、画像全体に対し施されるものであってもよいし、蛍光画像内において関心領域を設定する関心領域設定手段をさらに有し、関心領域設定手段により設定された関心領域内について深さ位置判別手段による血管の深さ位置の判別および画像処理手段による画像処理が施されるものであってもよい。

本発明の画像処理装置および方法ならびにプログラムによれば血管に励起光が照射された際に血管内の物質が発する蛍光を撮影したときの蛍光画像と、蛍光画像と略同一の血管を撮影したときのそれぞれ波長域が異なる複数の分光画像とを取得し、取得した複数の分光画像を用いて血管が存在する深さ位置を判別し、判別した血管の深さ位置に応じて画像処理条件を変えて蛍光画像に画像処理を施すことにより、生体組織への光の深達度が波長により異なることを利用して分光画像から血管の深さ位置を把握した上で、血管の深さ位置に応じて血管像の現れ方が異なる蛍光画像に対し血管の深さ位置に適した画像処理条件を用いて血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

なお、画像処理手段が血管の深さ位置毎に複数の点像強度分布関数を画像処理条件として有するものであり、深さ位置判別手段の判別結果に応じて記憶している複数の点像強度分布関数から蛍光画像の画像処理に用いる点像強度分布関数を選択するものであれば、蛍光画像において蛍光の散乱等により血管の深さ位置に応じて血管像のボケ度合いが異なる場合であっても、血管の深さ位置に適した画像処理条件を用いて血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

また、画像処理手段は、血管から蛍光が発光した際の蛍光の幅とボケの広がりとに基づき血管の輪郭を抽出し、抽出した血管の輪郭を蛍光画像に重畳させることにより血管強調処理を行うものであり、血管の深さ位置に応じて異なるボケの広がり幅を画像処理条件として有するものであるとき、蛍光画像において蛍光の散乱等により血管の深さ位置に応じて血管像のボケ度合いが異なる場合であっても、血管の深さ位置に合わせてボケの広がり幅を設定し血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

また、複数の分光画像が被写体に白色光を照射したときに取得された通常観察画像に対しマトリクス演算を行うことに生成された分光推定画像であるとき、効率的に深達度の異なる波長毎の分光画像を取得することができる。

さらに、深さ位置判別手段が、各分光画像から血管が抽出できるか否かを判断することにより、各分光画像の波長の深達度に基づき血管の深さ位置を判別するものであれば、光は波長により生体組織内への深達度が異なることを利用し、分光画像から血管の深さ位置を正確に判別することができる。
また、複数の分光画像が波長略４３０ｎｍの第１分光画像と、波長略５７０ｎｍの第２分光画像とを有するものであり、深さ位置判別手段が、第１分光画像および第２分光画像から血管を抽出する血管像抽出手段と、血管像抽出手段における抽出結果に基づいて各分光画像内にそれぞれ血管が存在するか否かを判別する血管有無判別手段と、血管有無判別手段において第１分光画像に血管が存在すると判断された場合、血管が表面付近の第１深さ位置に存在すると判断し、第２分光画像に血管が存在すると判断された場合、血管が第１深さ位置よりも深い第２深さ位置に存在すると判断し、第１分光画像および第２分光画像の双方に血管が存在しないと判断された場合、血管が第２深さ位置よりも深い第３深さ位置に存在すると判断する深さ位置検出手段とを有するものであるとき、正確に血管の深さ位置を判断することができる。

また、蛍光画像内において関心領域を設定する関心領域設定手段をさらに有し、関心領域設定手段により設定された関心領域内について深さ位置判別手段による血管の深さ位置の判別および画像処理手段による画像処理が施されるものであるとき、画像処理時間を短縮し効率的な処理を行うことができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の画像処理装置を用いた内視鏡装置の一例を示すブロック図である。内視鏡装置１は、光源ユニット１０、スコープ２０、画像処理装置３０を備えている。ここで、被観察体である血管は、励起光が６００〜１３００ｎｍの波長域にある蛍光試薬を用いて染色されている。このような蛍光試薬としては、例えば、励起光波長６８２ｎｍおよび蛍光波長７１５ｎｍの蛍光試薬ＤｙＬｉｇｈｔ６８０、励起光波長７４７ｎｍおよび蛍光波長７７６ｎｍの蛍光試薬Ｃｙ７、励起光波長７８５ｎｍおよび蛍光波長８０５ｎｍの蛍光試薬ＩＣＧ（インドシアニングリーン）などを用いることができる。

光源ユニット１０は内視鏡による観察を行うために被写体に光を照射するものであって、キセノンランプ等の通常観察を行うための通常光源１０ａと、蛍光観察を行うための励起光源１０ｂとを備えており、装置コントローラ８０により動作が制御されている。通常光源１０ａは白色光を射出するものであり、励起光源１０ｂは上述したようにたとえば６８２ｎｍもしくは７４７ｎｍの励起光を射出するものである。この光源ユニット１０はスコープ２０のライトガイド１５に光学的に接続されており、光源ユニット１０から射出された白色光Ｌ１および励起光Ｌ２はライトガイド１５内に入射され観察窓１６から被写体に照射される。

スコープ２０は、結像光学系２１、撮像素子２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換器２４、ＣＣＤ駆動部２５、レンズ駆動部２６等を有しており、各構成要素はスコープコントローラ２７により制御されている。撮像素子２２はたとえばＣＣＤやＣＭＯＳ等からなり、結像光学系２１により結像された被写体像を光電変換して画像を取得するものである。この撮像素子２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型、あるいはＲＧＢの色フィルタを有する原色型が用いられる。なお、撮像素子２２の動作はＣＣＤ駆動部２５により制御されている。撮像素子２２が画像（映像）信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換器２４がＣＤＳ／ＡＧＣ回路１７から出力された内視鏡画像をＡ／Ｄ変換し、画像処理装置３０に出力される。

画像処理装置３０は、スコープ２０を用いて取得された通常観察画像および蛍光画像ＦＰを処理するものであって、たとえばＤＳＰ等により構成されている。画像処理装置３０は、画像取得手段３１、前処理手段３２、関心領域設定手段３３、分光画像取得手段４０、深さ位置判別手段５０、画像処理手段６０を備えている。画像取得手段３１は、スコープ２０により血管に白色光Ｌ１が照射された際に撮影された通常観察画像Ｐ０と、血管に励起光Ｌ２が照射された際に撮影された蛍光画像ＦＰとを取得するものである。特に、略同一の部位に対し白色光Ｌ１と励起光Ｌ２とを照射したときの通常観察画像Ｐ０と蛍光画像ＦＰとを取得するため、たとえば通常観察画像Ｐ０と蛍光画像ＦＰとは時分割方式で撮影され取得される。

前処理手段３２は、画像取得手段３１において取得された通常観察画像Ｐ０および蛍光画像ＦＰに対し前処理を施すものであって、たとえば通常観察画像Ｐ０および蛍光画像ＦＰがＹＣＣ表色系からなっている場合にはＲＧＢ表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。

関心領域設定手段３３は通常観察画像Ｐ０および蛍光画像ＦＰに対し関心領域ＲＯＩを設定するものであって、たとえば、近赤外の蛍光強度が一定値以上のである範囲を含む矩形領域を関心領域ＲＯＩとして自動的に設定する。なお、関心領域設定手段３３は、マウスやキーボード等の入力部２から装置コントローラ８０への入力に従い関心領域ＲＯＩを設定するようにしてもよい。より好ましくは、関心領域ＲＯＩに血管と組織・脂肪のみが含まれた範囲を指定することにより、後述する分光画像ＳＰ１、ＳＰ２を精度の良く得ることができる。

分光画像取得手段４０は、通常観察画像Ｐ０に対しマトリクスパラメータを用いてマトリクス演算を行うことにより分光推定画像ＳＰを生成するものである。なお、分光画像取得手段４０の動作例の詳細については特開２００３−９３３３６号公報に記載されている。分光画像取得手段４０は、下記式（１）に示すマトリクス演算を行うことにより分光推定画像ＳＰを生成する。

なお、式（１）において、ＳＰｒ、ＳＰｇ、ＳＰｂは分光推定画像ＳＰの各ＲＧＢ成分、Ｐｒ、Ｐｇ、Ｐｂは通常観察画像Ｐ０の各ＲＧＢ成分、Ｍ_００〜Ｍ_２２からなる３×３行の行列はマトリクス演算を行うためのマトリクスパラメータをそれぞれ示している。

なお、波長セットとして、例えば（λ１，λ２，λ３）＝（４００，５００，６００）の標準セットＣＨ１、血管を描出するための（λ１，λ２，λ３）＝（４７０，５００，６７０）もしくは（４７５，５１０，６８５）の血管セットＣＨ２、ＣＨ３、特定組織を描出するための（λ１，λ２，λ３）＝（４４０，４８０，５２０）もしくは（４８０，５１０，５８０）の組織セットＣＨ５、オキシヘモグロビンとデオキシヘモグロビンとの差を描出するための（λ１，λ２，λ３）＝（４００，４３０，４７５）のヘモグロビンセットＣＨ６、血液とカロテンとの差を描出するための（λ１，λ２，λ３）＝（４１５，４５０，５００）の血液‐カロテンセットＣＨ７、血液と細胞質の差を描出するための（λ１，λ２，λ３）＝（４２０，５５０，６００）の血液‐細胞質セットＣＨ８の８つの波長セットが用意されている。

図２はデータベースＤＢの一例を示す表である。データベースＤＢにはたとえば４００ｎｍから７００ｎｍの波長域を５ｎｍ間隔で分けた６１の波長域毎にパラメータＰi＝（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）（ｉはデータベースＤＢ内に記憶されているパラメータセットを区別する符号であってｉ＝１〜６１、ｊは上記式（１）の行列Ｍの行であってｊ＝０〜２）が記憶されている。そして、使用者は生成する分光推定画像ＳＰの波長セットＣＨ１〜ＣＨ８を入力部２を介して入力されたとき、分光画像取得手段４０は波長セットＣＨ１〜ＣＨ８の波長情報λ１、λ２、λ３に応じてマトリクスパラメータ（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）をデータベースＤＢの中から抽出し、上記式（１）のマトリクスパラメータを設定する。たとえば、分光画像ＳＰを生成する際の波長セットとして（λ１，λ２，λ３）＝（５００ｎｍ，６２０ｎｍ，６５０ｎｍ）が選択された場合、分光画像取得手段４０は、データベースＤＢに記憶された６１セットのパラメータＰｉ（ｉ＝１〜６１）のうち、中心波長５００ｎｍに対応するｉ＝２１のパラメータＰ_２１を行列Ｍの行ｊ＝０に割り当てて（Ｍ_００，Ｍ_０１，Ｍ_０２）＝（-0.00119，0.002346，0.0016）、中心波長６２０ｎｍに対応するｉ＝４５のパラメータＰ_４５を行列Ｍの行ｊ＝１に割り当てて（Ｍ_１０，Ｍ_１１，Ｍ_１２）＝（0.004022，0.000068，‐0.00097）、および中心波長６５０ｎｍに対応するｉ＝５１のパラメータＰ_５１を行列Ｍの行ｊ＝２に割り当てて（Ｍ_２０，Ｍ_２１，Ｍ_２２）＝（0.005152，-0.00192，0.000088）とした行列Ｍを生成し上式（１）のマトリクス演算を行う。

さらに、分光画像取得手段４０は、上述した使用者により選択された分光推定画像ＳＰを生成する機能の他に、関心領域設定手段３３により設定された関心領域ＲＯＩについて、血管の深さ位置Ｄを判別するための波長域の異なる分光画像ＳＰ１、ＳＰ２をマトリクス演算により自動的に生成する機能を有している。たとえば分光画像取得手段４０は、波長λ１＝４３０ｎｍの第１分光画像ＳＰ１と、波長λ１＝５７０ｎｍの第２分光画像ＳＰ２とを上記式（１）およびマトリクスパラメータを用いて取得する。

深さ位置判別手段５０は、分光画像取得手段４０により取得された複数の分光画像ＳＰ１、ＳＰ２を用いて血管が存在する深さ位置Ｄを判別するものである。ここで、深さ位置判別手段５０は、各分光画像ＳＰ１、ＳＰ２から血管が抽出できるか否かを判断することにより、各分光画像ＳＰ１、ＳＰ２の波長の深達度に基づき血管の深さ位置Ｄ１〜Ｄ３を判別するものである。具体的には、図３に示すように、深さ位置判別手段５０は血管像抽出手段５１、血管有無判別手段５２、深さ位置検出手段５３を備えている。

血管像抽出手段５１は、第１分光画像ＳＰ１および第２分光画像ＳＰ２に対し血管像を抽出する処理を施すものであって、たとえばエッジ検出による血管像抽出方法等公知の技術を用いて血管像を抽出する。

血管有無判別手段５２は、血管像抽出手段５１における抽出結果に基づいて各分光画像ＳＰ１、ＳＰ２に血管像が映し出されているか否かを判別するものである。血管有無判別手段５２は、たとえば画素値に閾値を設け、閾値以上の線状パターンの有無や長さを検出する方法、さらにこれらを特徴量としてパターンマッチングやニューラルネットワークを用いて血管像を抽出する方法等の公知の技術を用いることができる。なお、複数の分光画像ＳＰ１、ＳＰ２のいずれにも血管像が存在する場合がある。このとき、血管有無判別手段５２は、たとえば血管像として抽出された血管像領域の面積が最も大きい分光画像を選別する等により、複数の分光画像ＳＰ１、ＳＰ２のうち最もよく血管像が映し出されている分光画像を判別する。

深さ位置検出手段５３は、血管有無判別手段５２において判別された各分光画像ＳＰ１、ＳＰ２内の血管の有無に基づいて血管の深さ位置Ｄを判断するものである。具体的には、深さ位置検出手段５３は、第１分光画像ＳＰ１に血管像が存在すると判断された場合、血管が表面付近の第１深さ位置Ｄ１（たとえば深さ位置Ｄ１＝０〜０．５ｍｍ）に存在すると判断する。一方、第２分光画像ＳＰ２に血管が存在すると判断された場合、血管が第１深さ位置Ｄ１よりも深い第２深さ位置Ｄ２（たとえば深さ位置Ｄ２＝０．５ｍｍ〜１．５ｍｍ）に存在すると判断する。さらには、第１分光画像ＳＰ１および第２分光画像ＳＰ２の双方に血管が存在しないと判断された場合、血管が第２深さ位置Ｄ２よりも深い第３深さ位置Ｄ３（たとえば深さ位置Ｄ３＝１．５ｍｍ〜２．０ｍｍ）に存在すると判断する。

画像処理手段６０は、深さ位置判別手段５０により判別された血管の深さ位置Ｄ１〜Ｄ３に応じて蛍光画像ＦＰに対し異なる画像処理条件ＲＣで画像処理を施すものである。具体的には、画像処理手段６０は、血管の深さ位置Ｄ１〜Ｄ３毎に複数の点像強度分布関数ｈ１（x,y）〜ｈ３（x,y）を画像処理条件ＲＣとしてルックアップテーブルＬＵＴに記憶しており、深さ位置判別手段の判別結果に応じて記憶している複数の点像強度分布関数ｈ１（x,y）〜ｈ３（x,y）から蛍光画像ＦＰの血管強調処理に用いる点像強度分布関数を選択する。

そして、画像処理手段６０は、蛍光画像ＦＰに対し選択した点像強度分布関数（ＰＳＦ：point spread function）を用いて血管強調処理を行う。ここで、実際に取得された蛍光画像ＦＰの各画素値をｇ（x,y）としたとき、ノイズを無視した条件下において、この蛍光画像ｇ（x,y）は点像強度分布関数ｈ（x,y）に真の蛍光画像ｆ（x,y）がコンボリューションされて観測されたものと考えることができる。したがって、画像処理手段６０は、真の蛍光画像ｆ(x,y)を取得するために、蛍光画像ｇ（x,y）に対し点像強度分布関数ｈ（x,y）をデコンボリューションする演算を行う。なお、デコンボリューション演算には、たとえば蛍光画像ｇ（x,y）をフーリエ変換した後、点像強度分布関数ｈ（x,y）をフーリエ変換した関数Ｈ（x,y）で除算し、逆フーリエ変換を行う方法等公知の技術を用いることができる。

ここで、血管の深さ位置Ｄ１〜Ｄ３により蛍光が生体組織により散乱する度合いは異なるため、点像強度分布関数ｈ（x,y）は血管の深さ位置Ｄ１〜Ｄ３に応じて異なるものとなる。言い換えれば、血管の深さ位置Ｄ１〜Ｄ３により蛍光画像ＦＰ内の血管のぼけ度合いが異なる。そこで、画像処理手段６０は、予め観測により得られた血管の深さ位置Ｄ１〜Ｄ３毎に複数の点像強度分布関数ｈ（x,y）を記憶している。そして、深さ位置判別手段５０により判別された血管の深さ位置Ｄ１〜Ｄ３に応じて複数の点像強度分布関数ｈ１（x,y）〜ｈ３（x,y）の中から画像処理に用いる点像強度分布関数を選択して上述のデコンボリューション演算を行う。

図１の表示制御手段７０は、通常観察画像Ｐ０、蛍光画像ＦＰ、および分光画像取得手段４０において生成された分光推定画像ＳＰを液晶表示装置やＣＲＴ等からなる表示装置３に表示するものである。なお、表示制御手段７０は、たとえば逆ガンマ変換、鏡像処理、上記各種画像に関する情報をキャラクタ情報として表示する処理等を行い、これらを上記画像と同時に表示する機能を有している。

このように、光の波長によって生体組織内の深達度が異なることを利用し、複数の分光画像ＳＰ１、ＳＰ２から血管の深さ位置Ｄ１〜Ｄ３を検出し、検出した血管の深さ位置Ｄ１〜Ｄ３に応じて蛍光画像ＦＰ内の蛍光を発している血管像を補正することにより、血管の深さ位置Ｄによって血管像のぼけ度合いが異なる場合であっても、各深さ位置Ｄに最適な画像処理条件ＲＣで補正を行うことができ、蛍光画像ＦＰの画質を良好にして診断効率を向上させることができる。

つまり、図４に示すように、蛍光色素により染色された血管の深さ位置Ｄ２、Ｄ３により、血管からの蛍光の散乱度合い等が異なる。よって、たとえば図５（Ａ）のように、蛍光画像ＦＰ内の血管像のぼけ度合いが血管の深さ位置Ｄ２、Ｄ３により異なる。深さ位置Ｄ２の血管Ｂ２と深さ位置Ｄ３の血管Ｂ３とを同一の画像処理条件ＲＣにより補正したとき、たとえば図５（Ｂ）に示すように、深さ位置Ｄ３のように血管像Ｂ３について画質の向上が図れない場合がある。

一方、上述したように、深さ位置判別手段５０により判別された血管の深さ位置Ｄによって画像処理条件ＲＣを変更することにより、血管像のぼけ度合いが異なる場合であっても各深さ位置Ｄに最適な画像処理条件ＲＣで補正を行うことができ、蛍光画像ＦＰの画質を良好にして診断効率を向上させることができる。

なお、画像処理手段６０は点像強度分布関数ｈ（x,y）を用いて血管像の血管強調処理を行う場合について例示しているが、血管像を抽出し、抽出した血管像と蛍光画像とを重畳することにより、血管像に血管強調処理を施すようにしてもよい。具体的には、画像処理手段６０が、血管から蛍光が発光した際の蛍光の幅ＦＤとボケの広がりＮＤとに基づき（図５（Ａ）参照）血管の輪郭を抽出し、抽出した血管の輪郭を蛍光画像ＦＰに重畳させることにより血管強調処理を行う。つまり、血管の深さ位置Ｄ１〜Ｄ３によって、ボケの広がり幅ＮＤが異なるため、ルックアップテーブルＬＵＴに予め血管の深さ位置Ｄ１〜Ｄ３に応じて異なるボケの広がり幅ＮＤを画像処理条件ＲＣとして記憶しておく。そして、画像処理手段６０は、血管の深さ位置Ｄ１〜Ｄ３に応じて血管像の輪郭を抽出する際に用いるボケの広がり幅ＮＤを選択し、蛍光の幅ＦＤからボケの広がり幅ＮＤを減算することにより、血管の輪郭を抽出する。この場合であっても、各深さ位置Ｄに最適な画像処理条件ＲＣで補正を行うことができ、蛍光画像ＦＰの画質を良好にして診断効率を向上させることができる。

図６は本発明の画像処理方法の好ましい実施形態を示すフローチャートであり、図１から図６を参照して画像処理方法について説明する。まず、血管が蛍光色素により染色された状態において、内視鏡装置１により体腔内の生体組織が撮影される。このとき、体腔内の同一部位について白色光が照射されたときに撮影された通常観察画像Ｐ０と、励起光が照射されたときに撮影された蛍光画像ＦＰとが取得される（ステップＳＴ１）。その後、前処理手段３２による前処理が行われるとともに、関心領域ＲＯＩの設定が行われる（ステップＳＴ２）。

そして、分光画像取得手段４０において通常観察画像Ｐ０に基づいて波長域の異なる複数の分光画像ＳＰ１、ＳＰ２が生成される（ステップＳＴ３）。その後、複数の分光画像ＳＰ１、ＳＰ２に基づき深さ位置判別手段５０により関心領域ＲＯＩ内に映し出された血管の深さ位置Ｄが判別される（ステップＳＴ４）。その後、画像処理手段６０において血管の深さ位置Ｄに応じた画像処理条件ＲＣにより画像処理が施され（ステップＳＴ５）、表示装置３に表示される（ステップＳＴ６）。

上記実施の形態によれば、蛍光色素を染色した血管が含まれた、波長域が異なる複数の分光画像ＳＰ１、ＳＰ２と、血管に励起光Ｌ２が照射されたときに撮影された蛍光画像ＦＰとを取得し、取得した複数の分光画像ＳＰ１、ＳＰ２を用いて血管が存在する深さ位置Ｄを判別し、判別した血管の深さ位置Ｄに応じて画像処理条件ＲＣを変えて蛍光画像ＦＰに血管強調処理を施すことにより、生体組織への光の深達度が波長により異なることを利用して分光画像ＳＰ１、ＳＰ２から血管の深さ位置Ｄを把握した上で、血管の深さ位置Ｄに応じて血管像の現れ方が異なる蛍光画像ＦＰに対し血管の深さ位置Ｄに適した画像処理条件ＲＣを用いて血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

また、画像処理手段６０が血管の深さ位置Ｄ１〜Ｄ３毎に複数の点像強度分布関数ｈ１(x,y)〜ｈ３(x,y)を画像処理条件ＲＣとして有するものであり、深さ位置判別手段５０の判別結果に応じて記憶している複数の点像強度分布関数ｈ１(x,y)〜ｈ３(x,y)から蛍光画像ＦＰの血管強調処理に用いる点像強度分布関数を選択するものであれば、蛍光画像ＦＰにおいて蛍光の散乱等により血管の深さ位置に応じて血管像のボケ度合いが異なる場合であっても、血管の深さ位置Ｄに適した画像処理条件ＲＣを用いて血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

あるいは画像処理手段６０は、図５（Ａ）に示すように血管から蛍光が発光した際の蛍光の幅ＦＤとボケの広がり幅ＮＤとに基づき血管の輪郭を抽出し、抽出した血管の輪郭を蛍光画像ＦＰに重畳させることにより血管強調処理を行うものであり、血管の深さ位置Ｄ１〜Ｄ３に応じて異なるボケの広がり幅ＮＤを画像処理条件ＲＣとして有するものであるとき、蛍光画像ＦＰにおいて蛍光の散乱等により血管の深さ位置Ｄ１〜Ｄ３に応じて血管像のボケ度合いが異なる場合であっても、血管の深さ位置Ｄに合わせてボケの広がり幅ＮＤを設定し血管強調処理を施すことができるため、血管像の鮮鋭度や解像度を向上させることができる。

また、複数の分光画像ＳＰ１、ＳＰ２が被写体に白色光を照射したときに取得された通常観察画像Ｐ０に対しマトリクス演算を行うことに生成された分光推定画像であるとき、効率的に深達度の異なる波長毎の分光画像を取得することができる。

さらに、深さ位置判別手段５０が、各分光画像ＳＰ１、ＳＰ２から血管が抽出できるか否かを判断することにより、各分光画像ＳＰ１、ＳＰ２の波長の深達度に基づき血管の深さ位置Ｄを判別するものであれば、光は波長により生体組織内への深達度が異なることを利用し、分光画像ＳＰ１、ＳＰ２から血管の深さ位置Ｄを正確に判別することができる。

また、図３に示すように、複数の分光画像が波長略４３０ｎｍの第１分光画像ＳＰ１と、波長略５７０ｎｍの第２分光画像ＳＰ２とを有するものであり、深さ位置判別手段５０が、第１分光画像ＳＰ１および第２分光画像ＳＰ２から血管を抽出する血管像抽出手段５１と、血管像抽出手段５１における抽出結果に基づいて各分光画像ＳＰ１、ＳＰ２内にそれぞれ血管が存在するか否かを判別する血管有無判別手段と、血管有無判別手段において第１分光画像ＳＰ１に血管が存在すると判断された場合、血管が表面付近の第１深さ位置Ｄ１に存在すると判断し、第２分光画像ＳＰ２に血管が存在すると判断された場合、血管が第１深さ位置Ｄ１よりも深い第２深さ位置Ｄ２に存在すると判断し、第１分光画像ＳＰ１および第２分光画像ＳＰ２の双方に血管が存在しないと判断された場合、血管が第２深さ位置Ｄ２よりも深い第３深さ位置Ｄ３に存在すると判断する深さ位置検出手段５３とを有するものであるとき、正確に血管の深さ位置Ｄを判断することができる。

また、蛍光画像ＦＰ内において関心領域ＲＯＩを設定する関心領域設定手段３３をさらに有し、関心領域設定手段３３により設定された関心領域ＲＯＩ内について深さ位置判別手段５０による血管の深さ位置Ｄの判別および画像処理手段６０による血管強調処理が施されるものであるとき、画像処理時間を短縮し効率的な処理を行うことができる。

本発明の実施形態は、上記実施形態に限定されない。たとえば、図３の深さ位置判別手段５０において、２枚の分光画像ＳＰ１、ＳＰ２から血管の深さ位置Ｄ１〜Ｄ３を検出するようにしているが、２枚以上の分光画像ＳＰから血管の深さ位置Ｄを検出するようにしてもよい。このとき、深達度の異なる波長毎に複数の分光画像ＳＰが取得されることになる。たとえば、上記実施の形態には３つの深さ位置Ｄ１〜Ｄ３に分類しているが、血管の深さ位置Ｄを５つの深さ位置に分類したとき、分光画像取得手段４０は４枚以上の分光画像を生成し、深さ位置判別手段５０は４枚以上の分光画像を用いて血管の深さ位置Ｄを判別することになる。さらには、深さ位置判別手段５０において、波長７５０ｎｍでの分光画像から蛍光色素の吸収を参考にして深さ位置Ｄを判別するようにしてもよい。

また、血管の深さ位置Ｄ１〜Ｄ３を検出するための分光画像ＳＰ１、ＳＰ２が、通常観察画像を用いたマトリクス演算により生成された分光推定画像である場合について例示しているが、光学フィルタを用いて取得された分光画像ＳＰ１、ＳＰ２を用いて血管の深さ位置Ｄ１〜Ｄ３を推定するようにしてもよい。このとき、２つの分光画像ＳＰ１、ＳＰ２は、狭帯域光観察（Narrow Band Imaging）に用いられる狭帯域化された2つの波長（390〜445nm／530〜550nm）が照射されたときに得られたものである。

さらに、上記実施の形態において、蛍光画像ＦＰ内の１つの関心領域ＲＯＩに対し１つの点像強度分布関数ｈ（x,y）を選択して血管強調処理を施すようにしているが、各血管像毎に当該血管の深さ位置Ｄに合った点像強度分布関数ｈ（x,y）を用いて血管強調処理を施すようにしてもよい。すなわち、たとえば図５に示すように、蛍光画像ＦＰに映し出された血管はそれぞれ異なる深さ位置に存在する場合がある。そこで、たとえば深さ位置判別手段５０が蛍光画像ＦＰ（もしくは関心領域ＲＯＩ）を複数の領域に分割し、各領域毎に血管の深さ位置Ｄを分光画像ＳＰ１、ＳＰ２に基づいて判別し、画像処理手段６０が判別した各領域毎の血管の深さ位置Ｄに応じた点像強度分布関数ｈ（x,y）を用いて血管強調処理を施すようにしてもよい。すると、図５（Ｂ）のうち深さ位置Ｄ２の血管像Ｂ２には点像強度分布関数ｈ２（x,y）を用いた血管強調処理が施され、深さ位置Ｄ３の血管像Ｂ３には点像強度分布関数ｈ３（x,y）を用いた血管強調処理が施されることになる。

また、図１において、関心領域ＲＯＩに対し血管の深さ位置Ｄの判別を行うようにしているが、通常観察画像Ｐ０および蛍光画像ＦＰの全領域に対し血管の深さ位置Ｄの判別を行うようにしてもよい。

さらに、図１の内視鏡装置１において画像処理装置３０の構成がＤＳＰ等により構成されている場合について例示しているが、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現されるようにしてもよい・この画像処理プログラムは、たとえばＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

本発明の画像処理装置を用いた内視鏡装置の一例を示すブロック図 図１の分光画像取得手段のマトリクス演算に用いるマトリクスパラメータの一例を示すグラフ 図１の画像処理装置における血管判別手段の一例を示すブロック図 組織内の血管の深さ位置と蛍光の散乱度合いを示す模式図 血管のボケた蛍光画像および補正後の蛍光画像の一例を示す模式図 本発明の画像処理方法の好ましい実施形態を示すフローチャート

符号の説明

１ 内視鏡装置
１０ 光源ユニット
１０ａ 通常光源
１０ｂ 励起光源
２０ スコープ
３０ 画像処理装置
３１ 画像取得手段
３２ 前処理手段
３３ 関心領域設定手段
４０ 分光画像取得手段
５０ 深さ位置判別手段
５１ 血管像抽出手段
５２ 血管有無判別手段
５３ 位置検出手段
６０ 画像処理手段
７０ 表示制御手段
ｈ(x,y) 点像強度分布関数
Ｐ０ 通常観察画像
ＲＣ 画像処理条件
ＲＯＩ 関心領域
ＳＰ 分光画像
ＳＰ１ 第１分光画像
ＳＰ２ 第２分光画像

Claims (10)

1. 血管に励起光が照射された際に該血管内の物質が発する蛍光を撮影したときの蛍光画像を取得する蛍光画像取得手段と、
   前記蛍光画像と略同一の前記血管を撮影したときのそれぞれ波長域が異なる複数の分光画像を取得する分光画像取得手段と、
   該分光画像取得手段により取得された前記複数の分光画像を用いて前記血管が存在する深さ位置を判別する深さ位置判別手段と、
   該深さ位置判別手段により判別された前記血管の深さ位置に応じて画像処理条件を変えて前記蛍光画像に血管強調処理を施す画像処理手段と
   を備えたことを特徴とする画像処理装置。
2. 前記画像処理手段が、前記血管の深さ位置毎に複数の点像強度分布関数を前記画像処理条件として有するものであり、前記深さ位置判別手段の判別結果に応じて前記複数の点像強度分布関数から前記蛍光画像の画像処理に用いる前記点像強度分布関数を選択し血管強調処理を施すものであることを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理手段が、前記蛍光画像における前記血管から蛍光が発光した際の該蛍光の幅とボケの広がりとに基づき前記血管の輪郭を抽出し、抽出した前記血管の輪郭を前記蛍光画像に重畳させることにより血管強調処理を行うものであり、前記血管の深さ位置に応じて異なる前記ボケの広がり幅を前記画像処理条件として有するものであることを特徴とする請求項１記載の画像処理装置。
4. 前記複数の分光画像が、白色光が照射された前記血管を撮影したときの通常観察画像に対しマトリクス演算を行うことに生成された分光推定画像であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記複数の分光画像が波長域の異なる２つの狭帯域の光が前記血管に照射されたときに前記各狭波長域毎に取得されたものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
6. 前記深さ位置判別手段が、前記各分光画像から血管像が抽出できるか否かを判断することにより、前記各分光画像の波長の深達度に基づき前記血管の深さ位置を判別するものであることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記複数の分光画像が波長略４３０ｎｍの第１分光画像と、波長略５７０ｎｍの第２分光画像とを有するものであり、
   前記深さ位置判別手段が、
   前記第１分光画像および前記第２分光画像からそれぞれ前記血管像を抽出する処理を施す血管像抽出手段と、
   該血管像抽出手段における抽出結果に基づいて前記各分光画像からそれぞれ前記血管像が存在するか否かを判定する血管有無判別手段と、
   該血管有無判別手段において前記第１分光画像に前記血管像が存在すると判定された場合、前記血管が表面付近の第１深さ位置に存在すると判断し、前記第２分光画像に血管が存在すると判定された場合、前記血管が前記第１深さ位置よりも深い第２深さ位置に存在すると判断し、前記第１分光画像および前記第２分光画像の双方に前記血管が存在しないと判定された場合、血管が前記第２深さ位置よりも深い第３深さ位置に存在すると判断する深さ位置検出手段と
   を有するものであることを特徴とする請求項６記載の画像処理装置。
8. 前記蛍光画像内において関心領域を設定する関心領域設定手段をさらに有し、該関心領域設定手段により設定された前記関心領域内について前記深さ位置判別手段による前記血管の深さ位置の判別および前記画像処理手段による画像処理が施されるものであることを特徴とする請求項１から７のいずれか１項記載の画像処理装置。
9. 血管に励起光が照射された際に該血管内の物質が発する蛍光を撮影したときの蛍光画像と、該蛍光画像と略同一の前記血管を撮影したときのそれぞれ波長域が異なる複数の分光画像とを取得し、
   取得した前記複数の分光画像を用いて前記血管が存在する深さ位置を判別し、
   判別した前記血管の深さ位置に応じて画像処理条件を変えて前記蛍光画像に画像処理を施す
   ことを特徴とする画像処理方法。
10. コンピュータに、
    血管に励起光が照射された際に該血管内の物質が発する蛍光を撮影したときの蛍光画像と、該蛍光画像と略同一の前記血管を撮影したときのそれぞれ波長域が異なる複数の分光画像とを取得し、
    取得した前記複数の分光画像を用いて前記血管が存在する深さ位置を判別し、
    判別した前記血管の深さ位置に応じて画像処理条件を変えて前記蛍光画像に画像処理を施す
    ことを実行させるための画像処理プログラム。

Images