JP2009247518A

JP2009247518A - 分光特性推定装置

Info

Publication number: JP2009247518A
Application number: JP2008097810A
Authority: JP
Inventors: Toru Chiba; 亨千葉
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2008-04-04
Filing date: 2008-04-04
Publication date: 2009-10-29
Anticipated expiration: 2028-04-04
Also published as: US8411989B2; US20090252406A1; DE102009016581A1; DE102009016581B4; JP5235473B2

Abstract

【課題】電子内視鏡にて撮影した画像の任意の画素の分光特性を精度よく推定可能な分光特性推定装置を提供する。
【解決手段】デジタルカラー画像の輝度値から分光特性を得るための変換マトリックスが複数記憶されると共に変換マトリックスの夫々を算出する際に用いられた複数のサンプルの輝度値情報が記憶されているストレージと、診断対象のデジタルカラー画像が入力される画像入力手段と、診断対象の画像の画素の輝度値情報とサンプル群の輝度値情報とから両者の類似性を評価して診断対象の画像の画素の輝度値情報と最も類似性の高いサンプル群に対応した変換マトリックスを使用すべき変換マトリックスとして選択する変換マトリックス選択手段と、変換マトリックス選択手段にて選択された変換マトリックスを用いて診断対象の画像の画素の分光特性の推定値を得る分光特性推定手段と、を有する。
【選択図】図１

Description

本発明は、電子内視鏡等によって得られたデジタル画像データから、その画像データの任意の画素の分光特性を推定する分光特性推定装置に関する。

健康な部位と病変部とでは、例えば特定の波長域の反射率が大きくなるなど、分光特性が異なることが知られている。これに基づき、体腔の内視鏡画像の分光特性から病変の有無を判別する診断方法が従来より使用されている。この診断方法においては、ファイバースコープに分光計を接続する、或いは内視鏡の処置具挿通孔にファイババンドルを通し、その基端側に分光計を接続することによって体腔内の任意の位置の分光特性を得る。

このように、従来は分光特性に基づいて診断を行う場合は、分光計を別途用意する必要があった。この従来の構成に代わり、非特許文献１のような分光計を用いずに体腔の分光特性を推定する方法が考案されている。非特許文献１の構成においては、電子内視鏡にて体腔の画像を撮影し、この画像データ中の任意の画素の輝度情報から分光特性を演算している。
三宅洋一「『ディジタルカラー画像の解析・評価』第１０章分光反射率の推定とその応用」東京大学出版

電子内視鏡にて撮影される画像における各画素の色は、通常ＲＧＢ３色の輝度値である。ＲＧＢ３色の波長は、Ｒが５５０〜７００ｎｍ、Ｇが４５０〜６００ｎｍ、Ｂが３００〜５００ｎｍ程度であり、各色がサポートする波長域は比較的大きい。一方、診断において求められるのは、幅１０ｎｍ程度の狭い波長域における輝度（反射率）である。このため、通常は、観察部分のＲＧＢ輝度値からより狭い波長帯域の分光計測データを推定する。

非特許文献１の構成においては、電子内視鏡等でＲＧＢ輝度値を取得すると同時に分光計で分光特性を計測したサンプルを多数用意し、サンプルのＲＧＢ輝度値と分光特性から、ＲＧＢ輝度値から分光特性を得るための変換マトリックスを算出している。そして、この変換マトリックスを用いて、体腔の画像の任意の画素のＲＧＢ輝度値から分光特性を推定している。

上記の非特許文献１の構成においては、サンプルの分光特性と体腔内の分光特性とが一致もしくは比較的類似の傾向を示す場合に、高い精度で分光特性を推定することができる。一方、サンプルの分光特性と体腔内の分光特性とが大きく異なる場合は分光特性推定の精度が低下するという問題があった。

本発明は上記の問題を解決するためのものである。すなわち、本発明は、電子内視鏡にて撮影した画像の任意の画素の分光特性を精度よく推定可能な分光特性推定装置を提供することを目的とする。

上記の目的を達成するため、本発明の分光特性推定装置は、デジタルカラー画像の輝度値から分光特性を得るための変換マトリックスが複数記憶されると共に、変換マトリックスの夫々を算出する際に用いられた複数のサンプルの輝度値情報が記憶されているストレージと、診断対象のデジタルカラー画像が入力される画像入力手段と、診断対象の画像の画素の輝度値情報とサンプル群の輝度値情報とから両者の類似性を評価して診断対象の画像の画素の輝度値情報と最も類似性の高いサンプル群に対応した変換マトリックスを使用すべき変換マトリックスとして選択する変換マトリックス選択手段と、変換マトリックス選択手段にて選択された変換マトリックスを用いて診断対象の画像の画素の分光特性の推定値を得る分光特性推定手段と、を有する。

本発明の分光推定装置は、上記のように分光特性の傾向に応じて複数の変換マトリックスが用意されており、各変換マトリックスを算出するためのサンプル群の輝度値情報と診断対象の画像の画素の輝度値情報との類似性を比較することによって使用すべき変換マトリックスを選択している。サンプル群の輝度値情報と診断対象の画像の画素の輝度値情報とが類似の傾向を示すのであれば、分光特性の傾向も類似となるといえるため、選択された変換マトリックスを使うことにより診断対象の画像の画素の分光特性を精度よく推定することができる。

以下、本発明の実施の形態につき、図面を用いて詳細に説明する。図１は、本実施形態における分光特性推定装置の全体像を示したものである。本発明の分光特性推定装置１は、電子内視鏡などで撮影された画像データ中の任意の画素のＲＧＢ輝度情報から、その画素の分光特性を推定するためのシステムである。本実施形態における分光特性の推定とは、狭帯域の波長領域の各々に対してその反射率を推定するものである。ここでの狭帯域の波長領域とは、１ｎｍ〜１００ｎｍ代表的には、幅５〜１０ｎｍの領域を示す。

本実施形態の分光特性推定装置１は、コントローラ１１と、メモリ１２と、インターフェース回路１３と、ビデオ回路１４と、第１ストレージ２２と、第２ストレージ２４とがケース１５内に治められた分光推定ユニット１０と、分光推定ユニット１０と接続されるモニタ３２と、マウスなどの入力手段３４と、を有する。

モニタ３２は、分光推定ユニット１０のケース１５の外面に設けられたモニタ接続ポート１４ａ及びモニタケーブル３２ａを介して、ビデオ回路１４と接続されており、コントローラ１１がビデオ回路１４を制御することによって、コントローラ１１はモニタ３２に画像を表示されることができる。

インターフェース回路１３は、例えばＵＳＢホストアダプタ回路であり、ポート１３ａ及びケーブル３４ａを介して、キーボードやマウスなどの入力手段３４や、画像データを分光特性推定装置１に送信するための手段（例えば、画像データが記憶されたフラッシュメモリなど）を接続することができる。コントローラ１１は、インターフェース回路１３を介して、画像データを取り込む、或いは入力手段３４からの入力を受け付けることができるようになっている。

第１ストレージ２２及び第２ストレージ２４には、夫々後述のＲＧＢデータ群と変換マトリックス群とが記憶されている。そして、コントローラ１１は、第１ストレージ２２及び第２ストレージ２４に記憶されているＲＧＢデータ群と変換マトリックス群とに基づいて、インターフェース回路１３を介して入力される画像データの任意の画素の分光特性を推定するよう構成されている。

以上説明した診断システムにおいて、インターフェース回路１３を介して入力される画像データの任意の画素の分光特性を推定する手順につき、以下説明する。

本実施形態においては、第２ストレージ２４に保存されている複数の変換マトリックスのうち、適切なものを選択し、この画像データの任意の画素のＲＧＢ輝度値と選択された変換マトリックスの行列積を演算することによって、分光特性の推定値を得るようになっている。本実施形態においては、可視光線の約３００〜７００ｎｍの周波数域を１０ｎｍ毎に区切り、区切られた周波数帯ごとの反射率を分光特性ｏ（ｏ_３００，ｏ_３１０，．．．，ｏ_ｋ，．．．ｏ_７００）としている。なお、上記の分光特性ｏにおいて、数字ｋは、その波長域における中心波長を示す。すなわちｏ_３００は、２９５ｎｍ〜３０５ｎｍの波長域における反射率である。

画素のＲＧＢ輝度値ｂを行列（ｂ_Ｒ，ｂ_Ｇ，ｂ_Ｂ）で表記すると、分光特性ｏ、変換マトリックスＧ、ＲＧＢ輝度値ｂは以下のように求められる。

変換マトリックスＧは、サンプルの分光特性ｏ_Ｒｅｆを分光計にて計測すると共に、電子内視鏡などでサンプルのＲＧＢ輝度値ｂ_Ｒｅｆを得る。そして、多数（１００サンプル以上）のサンプルにて計測した分光特性ｏ_Ｒｅｆ、ＲＧＢ輝度値ｂ_Ｒｅｆから、最小自乗法などによって適切なＧを計算する。

本実施形態においては、Ｎ個の変換マトリックスＧ_ｎ（ｎ＝１，２，．．．，Ｎ）の群が第２ストレージ２４に記憶されている。変換マトリックスＧ_ｎの各々は、夫々異なるサンプルの分光特性ｏ_Ｒｅｆ及びＲＧＢ輝度値ｂ_Ｒｅｆの群から算出されたものである。ある変換マトリックスＧ_ｎを算出する際に使用されるサンプルの群は、同一の分光特性の傾向を有する。すなわち、反射率のピークが現れる波長域が同じ又は近域となるようなサンプル群から、一つの変換マトリックスＧ_ｎを算出しており、複数の変換マトリックスＧ_ｎの夫々は、互いに異なる分光特性のサンプルの群からのデータに基づいて算出されている。

また、各変換マトリックスＧ_ｎを求める際に使用したサンプル群のＲＧＢ輝度値ｂ_Ｒｅｆは、後述する最適マトリックス判別処理にて使用される。具体的には、各ＲＧＢ輝度値ｂ_ＲｅｆにおけるＲ輝度値とＧ輝度値の比ｒ_ｎＲ−ｋ及びＢ輝度値とＧ輝度値の比ｒ_ｎＢ−ｋを演算し、これを変換マトリックスＧ_ｎ毎に分類し、判別用輝度値比群ｒ_ｎ−ｋ（ｒ_ｎＲ−ｋ，ｒ_ｎＢ−ｋ）を得る。なお、ｋ＝１，２，．．．，ｋｍａｘであり、ｋｍａｘは、変換マトリックスＧ_ｎを求める際に使用したサンプルの数である。従って、ｋｍａｘは、サンプル群ごとに異なる値であってもよい。判別用輝度値比群ｒ_ｎ−ｋは、第１ストレージ２２に記憶されている。

以上説明したように、本実施形態においては、入力される画像データのＲＧＢ輝度値ｂから分光特性ｏを得るための変換マトリックスＧがＮ個あるため、分光特性ｏを得る前に、どの変換マトリックスを使用すべきかを最適マトリックス判別処理を行う。前述のように、この最適マトリックス判別処理には、第１ストレージ２２に記憶されている判別用輝度値比群ｒ_ｎ−ｋを使用する。以下、その方法について説明する。

本実施形態においては、入力された画像データの画素のＲＧＢ輝度値ｂ_ｉにおける、Ｒ輝度値とＧ輝度値の比ｒ_ｉＲと、Ｂ輝度値とＧ輝度値の比ｒ_ｉＧからなる輝度値比ｒ_ｉ（ｒ_ｉＲ，ｒ_ｉＢ）を演算し、この輝度値比ｒ_ｉと判別用輝度値比群ｒ_ｎ−ｋとを比較して、変換マトリックスＧ_ｎを算出するのに使用した複数のサンプル群のうち、ＲＧＢ輝度値ｂ_ｉと最も傾向が最も似ているものを選別している。そして、選別されたサンプル群に対応する変換マトリックスＧ_ｎを用いて、入力された画像データの画素の分光特性ｏを算出する。

本実施形態においては、マハラノビス距離に基づいてＲＧＢ輝度値ｂ_ｉと最も傾向が最も似ているサンプル群を選別している。本実施形態においては、各判別用輝度値比群ｒ_ｎ−ｋに対する輝度値比ｒ_ｉのマハラノビス距離Ｄ_ｎを数２に基づいて演算し、マハラノビス距離Ｄ_ｎが最も小さくなるサンプル群から得られる変換マトリックスＧ_ｎを選択する。

なお、数２において、関数Ｅ（ｘ）はｘの平均値である。すなわちＥ（ｒ_ｎＲ−ｋ）及びＥ（ｒ_ｎＢ−ｋ）は、以下の数３にて演算される。

また、数２におけるＳ_ｎ ^−１は、判別用輝度値比群ｒ_ｎ−ｋに関する共分散行列Ｓ_ｎの逆行列である。共分散行列Ｓ_ｎは以下の数４によって計算される。

数２によって、すべてのサンプル群に対するマハラノビス距離Ｄ_ｎを算出し、そのうちで最も小さいものを選択する。そして、このマハラノビス距離Ｄ_ｎに対応する変換マトリックスＧ_ｎを用いて、数１によって入力された画像データの画素のＲＧＢ輝度値ｂ_ｉの分光特性ｏを算出する。マハラノビス距離Ｄ_ｎが小さくなるほど、入力された画像データの画素の輝度値比ｒ_ｉとサンプル群の輝度値比ｒ_ｎ−ｋとの類似性が高いことを意味する。従って、マハラノビス距離Ｄ_ｎが最も小さくなるサンプル群から得られた変換マトリックスＧ_ｎによって、分光特性ｏを精度よく推定することができる。

本発明の実施の形態による分光特性推定装置のブロック図である。

符号の説明

１分光特性推定装置
１０分光推定ユニット
１１コントローラ
１２メモリ
１３インターフェース回路
１４ビデオ回路
２２第１ストレージ
２４第２ストレージ

Claims

デジタルカラー画像の輝度値から分光特性を得るための変換マトリックスが複数記憶されると共に、該変換マトリックスの夫々を算出する際に用いられたサンプル群の輝度値情報が記憶されているストレージと、
診断対象のデジタルカラー画像が入力される画像入力手段と、
前記診断対象の画像の画素の輝度値情報と、前記サンプル群の輝度値情報とから両者の類似性を評価し、前記診断対象の画像の画素の輝度値情報と最も類似性の高いサンプル群に対応した変換マトリックスを使用すべき変換マトリックスとして選択する変換マトリックス選択手段と、
前記変換マトリックス選択手段にて選択された変換マトリックスを用いて前記診断対象の画像の画素の分光特性の推定値を得る分光特性推定手段と、
を有する、分光特性推定装置。
前記変換マトリックス選択手段は、特定の変換マトリックスの算出に使用されたサンプル群の輝度値情報に対する前記診断対象の画像の画素の輝度値情報のマハラノビス距離を演算し、該マハラノビス距離が最も小さくなるサンプル群から算出された変換マトリックスを使用すべき変換マトリックスとして選択することを特徴とする請求項１に記載の分光特性推定装置。
前記複数のサンプルの輝度値情報及び前記診断対象の画像の画素の輝度値情報は、共にＲＧＢ３色のうちの１色の輝度値に対する他２色の輝度値の比である、ことを特徴とする請求項１又は２に記載の分光特性推定装置。