JP2017158929A - 画像処理装置、画像処理装置の作動方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、および画像処理プログラム Download PDF

Info

Publication number
JP2017158929A
JP2017158929A JP2016048077A JP2016048077A JP2017158929A JP 2017158929 A JP2017158929 A JP 2017158929A JP 2016048077 A JP2016048077 A JP 2016048077A JP 2016048077 A JP2016048077 A JP 2016048077A JP 2017158929 A JP2017158929 A JP 2017158929A
Authority
JP
Japan
Prior art keywords
color
color difference
vector
image
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016048077A
Other languages
English (en)
Other versions
JP6669539B2 (ja
Inventor
弘亮 岩根
Hirosuke Iwane
弘亮 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016048077A priority Critical patent/JP6669539B2/ja
Publication of JP2017158929A publication Critical patent/JP2017158929A/ja
Application granted granted Critical
Publication of JP6669539B2 publication Critical patent/JP6669539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】萎縮性胃炎による胃の萎縮時に起こり得る粘膜等の色の変化を強調するための画像処理装置、画像処理装置の作動方法、および画像処理プログラムを提供する。
【解決手段】 狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得し、輝度を含む色空間において、内視鏡画像の正常部の色を表す基準色Sから内視鏡画像中の各注目画素の色Pまでの色差ベクトルpを取得して、各注目画素の色Pを、色差ベクトルpと同一方向に強調量を加えた色差拡張ベクトルを基準色に加算した色Qに変換する色差拡張処理を施す。色差拡張処理を内視鏡画像の全ての画素に施した正常部と異常部の色差を拡張した内視鏡画像を出力する。
【選択図】図5

Description

本願発明は、萎縮性胃炎の診断時に用いる画像などを処理する画像処理装置、画像処理装置の作動方法、および画像処理プログラムに関する。
医療分野においては、光源装置、電子内視鏡、およびプロセッサ装置を備える内視鏡システムを用いた診断が広く行われるようになってきた。特に、消化器内視鏡検査を行う病院では内視鏡粘膜切除術または内視鏡粘膜下層剥離術などの内視鏡治療を行う前の確定診断が必要であり、粘膜の変化の状態を観察するために変化を強調した内視鏡画像を観察するニーズが高くなっている。
変化を強調した観察方法には、光学法、デジタル法、光学デジタル法、および色素散布法などがあるが、表面構造の微細血管の観察や拾い上げには、デジタル法であるFICE(Flexible spectral Imaging Color Enhancement、登録商標)、光学デジタル法であるNBI(Narrow Band imaging、登録商標)、または、色素散布法であるインジゴカミン散布またはルゴール散布などが用いられている。内視鏡は一般的に白色光を用いて撮影するが、FICEは、信号処理を行うことにより分光画像を抽出して、組織の性状または血管などを見やくしている。一方、NBIは光学フィルタを用いて白色光を狭帯域化して照射することによって、生体の反射スペクトル情報を取得して強調表示している。
本来、内視鏡画像は、赤色部分に集中しており色相の範囲が狭い範囲に集中する傾向があり、病変部と正常部の違いが少なく、違いを強調する処理が望まれる。そこで、色相および彩度を強調する色相彩強調型、または色相の違いを強調する色相強調型が提案されている(例えば、特許文献1)。特許文献1では、色相彩強調型では、画像中から輝度の影響を除いた2次元(R-YとB-Y)の色空間において平均色の色ベクトルを求め、その色ベクトルの位置を中心に放射線状に移動させた位置に色相の範囲を広げている。一方、色相協調型では、色ベクトルの位置を中心に色相を広げている。また、色素散布を行った場合と色素散布を行わなかった場合では、色相が異なるため、色素散布を行った場合と色素散布を行わなかった場合で変換するためのテーブルを変えることが開示されている。
また、狭帯域化した光を用いた内視鏡では、血液中のヘモグロビンに吸収されやすい波長の光を照射して観察するため、粘膜表層の毛細血管と粘膜微細模様が強調された内視鏡画像となる。内視鏡画像の胃粘膜が正常である場合には、表面の粘膜層は厚みを帯びているため、この粘膜層で大部分の光が吸収された後に反射され、正常な胃粘膜下層内の血管は、内視鏡画像上ではほとんど観察することができない。一方、萎縮性胃炎が進行した胃粘膜の場合には、胃腺細胞の減少により粘膜層は薄くなっているため、このような萎縮性胃炎の進行に伴う胃粘膜内部構造の変化は、内視鏡画像上では、白に近い色の粘膜筋板が透けて見えることになり、萎縮粘膜部の色は正常部より退色した色になる。さらに、萎縮粘膜部では、萎縮に伴って粘膜層が薄くなるにつれて、粘膜下層の血管が透見されるようになる。そこで、萎縮性胃炎に基づく胃病変部の診断においては、上記の特徴を利用して、萎縮の進行度の判断や、正常部と胃炎部との境界の判別を行っている。
特開平1−113018号公報
しかし、狭帯域化した光を用いた内視鏡であっても、萎縮が高度に進んだ場合(例えば、ABC検診でC群やD群に含まれる萎縮の場合)には、内視鏡画像上で上記の特徴を明確に観察することができるが、萎縮があまり進行していない場合(例えば、ABC検診でB群やC群に含まれる萎縮の場合)には、内視鏡画像上での萎縮部と正常部との差は僅かであり、萎縮の進行度の判断や、正常部と胃炎部との境界の判別は困難な場合がある。したがって、内視鏡画像上において上記の特徴による違いを明確にして、正常部と胃炎部の境界を観察できるようにすることが求められている。
本願発明は、萎縮性胃炎による胃の萎縮時に起こり得る粘膜等の色の変化を強調することができる画像処理装置、画像処理装置の作動方法、および画像処理プログラムを提供することを目的とする。
本願発明の画像処理装置は、狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、輝度を含む色空間において、内視鏡画像の正常部の色を表す基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、この色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、色差拡張処理を内視鏡画像の全ての画素に施した正常部と異常部の色差を拡張した内視鏡画像を出力する出力部とを備えている。
本願発明の画像処理装置の作動方法は、画像取得部と、色差ベクトル取得部と、色差拡張部と、出力部とを備えた画像処理装置の作動方法であって、画像取得部が、狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得ステップと、色差ベクトル取得部が、輝度を含む色空間において、狭帯域画像信号を含む画像信号により生成された内視鏡画像の正常部位の色を表す基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得ステップと、色差拡張部が、この色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張ステップと、出力部が、色差拡張処理を内視鏡画像の全ての画素に施した正常部位と異常部位の色差を拡張した内視鏡画像を出力する出力ステップとを備えている。
本願発明の画像処理プログラムは、コンピュータを、狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得部と、輝度を含む色空間において、内視鏡画像の正常部位の色を表す基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、この色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、色差拡張処理を内視鏡画像の全ての画素に施した正常部位と異常部位の色差を拡張した内視鏡画像を出力する出力部として機能させる。
「狭帯域画像信号」とは、狭帯域光を照射した検体を撮像して得られる画像信号をいい、「狭帯域画像信号を含む画像信号」とは、狭帯域光を含む光を照射した検体を撮像して得られる画像信号をいう。
「色空間」は、色を座標で指示することが可能な空間をいい、「輝度を含む色空間」とは、輝度の成分を含む3次元の色空間をいう。輝度とは、明るさの度合いを表す色成分をいう。輝度と同様に明度も明るさの度合いを表す成分として用いられ、色空間には、輝度で表される成分の座標軸を有する色空間と、明度で表される成分の座標軸を有する色空間があるが、本明細書では、輝度および明度はいずれも明るさの度合いを表す成分として区別しないものとする。
「色差ベクトル」とは、3次元の色空間内における基準色の位置を表すベクトルと注目画素の色の位置を表すベクトルとの差を表す3次元のベクトルをいう。
また、色差拡張部は、色差ベクトルのベクトル量が第1の閾値より小さい場合は、色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、色差ベクトルのベクトル量が第1の閾値より大きい場合は、ベクトル量が大きくなるほど強調量を小さくするものが好ましい。
また、複数の基準色を予め記憶する記憶部をさらに備えるようにして、色差ベクトル取得部が、記憶部の複数の基準色のうち内視鏡画像を代表する代表輝度値に対応して、代表輝度値が高くなるほど輝度値が高い基準色を用い、代表輝度値が低くなるほど輝度値が低い基準色を用いて色差ベクトルを取得するものであってもよい。
また、内視鏡画像の代表輝度値は、内視鏡画像の全ての画素の輝度値の平均値であってもよい。
また、基準色は、内視鏡画像の全ての画素の平均値とするものであってもよい。
また、基準色は、内視鏡画像の各素の色成分のうち第2の閾値を越える少なくとも1つ以上の色成分を持つ画素以外の内視鏡画像の画素から算出されるものが望ましい。
「第2の閾値を越える少なくとも1つ以上の色成分を持つ画素」とは、検体を撮影した時に通常現れる画像の色を越えた色成分であり、例えば、ハレーションなどを起こしている箇所の色成分を持つ画素や、検体以外のものを撮影した時に現れる色成分を持つ画素をいう。
また、色空間は、Ycc色空間、Lab色空間、Luv色空間、HSB色空間、HSL色空間、およびHSV色空間のうちのいずれであってもよい。
また、狭帯域画像信号は、血液に対する光吸収が他の帯域より多い狭帯域光で照明された検体を撮像して得られるものが望ましい。
また、狭帯域画像信号は、青色帯域の中で血液に対する光吸収が他の帯域より多い青色狭帯域光で照明された検体を撮像して得られる青色狭帯域画像信号、または緑色帯域の中で血液に対する光吸収が他の帯域より多い緑色狭帯域光で照明された検体を撮像して得られる緑色狭帯域画像信号であってもよい。
さらに、内視鏡画像は、胃の内壁を撮影した画像である場合には、正常部は正常粘膜であり、異常部は異常粘膜である。
また、本願発明の他の画像処理装置は、狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、正常部の色を表す複数の基準色を予め記憶する記憶部と、複数の基準色のうち内視鏡画像の輝度値の平均値に対応して、平均値が高くなるほど輝度値が高い基準色を用い、平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、色差拡張処理を内視鏡画像の全ての画素に施した正常部と異常部の色差を拡張した内視鏡画像を出力する出力部とを備え、色差拡張部は、色空間における異常部の色と基準色との距離を第1の閾値として、色差ベクトルのベクトル量が第1の閾値より小さい場合は、色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、色差ベクトルのベクトル量が第1の閾値より大きい場合は、ベクトル量が大きくなるほど強調量を小さくするものである。
また、本願発明の他の画像処理装置の作動方法は、画像取得部と、色差ベクトル取得部と、色差拡張部と、出力部と、正常部の色を表す複数の基準色を予め記憶する記憶部とを備えた画像処理装置の作動方法であって、画像取得部が、狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得ステップと、色差ベクトル取得部が、複数の基準色のうち内視鏡画像の輝度値の平均値に対応して、平均値が高くなるほど輝度値が高い基準色を用い、平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得ステップと、色差拡張部が、色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張ステップと、出力部が、色差拡張処理を内視鏡画像の全ての画素に施した正常部と異常部の色差を拡張した内視鏡画像を出力する出力ステップとを備え、色差拡張ステップは、色空間における異常部の色と基準色との距離を第1の閾値として、色差ベクトルのベクトル量が第1の閾値より小さい場合は、色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、色差ベクトルのベクトル量が第1の閾値より大きい場合は、ベクトル量が大きくなるほど強調量を小さくするものである。
また、本願発明の他の画像処理プログラムは、コンピュータを、狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、正常部の色を表す複数の基準色を予め記憶する記憶部と、複数の基準色のうち内視鏡画像の輝度値の平均値に対応して、平均値が高くなるほど輝度値が高い基準色を用い、平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、基準色から内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、色空間において、各注目画素の色を、注目画素の色差ベクトルと同一方向でありかつ色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、色差拡張処理を内視鏡画像の全ての画素に施した正常部と異常部の色差を拡張した内視鏡画像を出力する出力部として機能させるための画像処理プログラムであって、色差拡張部は、色空間における異常部の色と基準色との距離を第1の閾値として、色差ベクトルのベクトル量が第1の閾値より小さい場合は、色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、色差ベクトルのベクトル量が第1の閾値より大きい場合は、ベクトル量が大きくなるほど強調量を小さくするものである。
「異常部の色」とは、異常部に現れる可能性が高い色をいい、異常部を代表する色をいう。例えば、異常部に現れる頻度が最も高い色であってもよいし、異常部の色を平均した色であってもよい。
「色空間における異常部の色と基準色との距離」とは、色空間内で求めた基準色と異常部の色の差分ベクトルのベクトル量をいう。
本願発明によれば、狭帯域画像信号を含む画像信号により構成された内視鏡画像の各注目画素の色を、輝度を含む色空間において、正常部の色を表す基準色と各注目画素の色の色差を表す色差ベクトルの方向に色差を強調することで、たとえば萎縮性胃炎による胃の萎縮時に起こり得る粘膜等の異常部の色と正常部との色の違いを、輝度の違いも考慮して強調することができる。
内視鏡システムの外観図。 第1の実施形態の内視鏡システムの機能を示すブロック図。 白色光の分光強度を示すグラフ。 特殊光の分光強度を示すグラフ。 異常領域強調部の内部構成を示すブロック図。 輝度の成分の軸を持つ色空間での色差強調を説明するための図。 色差ベクトルのベクトル量と強調量の関係を示す図。 色空間内での異常部の色差強調と出血部の色差強調の違いを説明するための図。 色空間内での異常部の色差強調と正常部に近い色の色差強調の違いを説明するための図。 萎縮性胃炎の診断の流れを示すフローチャート。 第2の実施形態の内視鏡システムの機能を示すブロック図。 光源の波長を示すグラフ。
図1に示すように、第1の実施形態の内視鏡システム10は、内視鏡12と、ユニバーサルコード13と、光源装置14と、プロセッサ装置16と、モニタ18と、入力装置20とを有する。内視鏡12は、ユニバーサルコード13を介して、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23および先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替スイッチ(モード切替SW)22bと、ズーム操作部22cが設けられている。モード切替スイッチ22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、検体内の照明に白色光を用いるモードである。特殊観察モードは、検体内の照明に青味を帯びた特殊光を用いるモードであり、萎縮性胃炎による胃の萎縮時に起こり得る粘膜の色の変化や血管の透見を強調するモードである。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18および入力装置20と接続される。モニタ18は、画像情報等を表示する。入力装置20は、機能設定等の入力操作を受け付けるユーザーインターフェースとして機能する。なお、プロセッサ装置16には、画像情報等を記録するための外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、中心波長445nmの青色レーザ光を発する青色レーザ光源(445LD)34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、主として青色レーザ光源34を駆動させ、青紫色レーザ光をわずかに発光するように制御している。なお、この通常観察モードの場合に、青紫色レーザ光源36を駆動してもよい。ただし、この場合には、青紫色レーザ光源36の発光強度を低く抑えることが好ましい。
これに対して、特殊観察モードの場合には、青色レーザ光源34と青紫色レーザ光源36の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。なお、青色レーザ光または青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源34および青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaAsN系レーザダイオードやGaAsN系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
これら各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、光源装置14、内視鏡12、およびユニバーサルコード(内視鏡12と光源装置14とを接続するためのコード)13内に内蔵されている。中心波長445nmの青色レーザ光または中心波長405nmの青紫色レーザ光は、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
このような青色レーザ光および青紫色レーザ光による青色狭帯域光は、粘膜内の吸光物質、具体的には、消化器に多く含まれる血液(特に、ヘモグロビン)に対する吸収が大きく、特殊観察モードで撮影した時に正常な粘膜領域と萎縮粘膜領域の差が大きくなる。
内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41からの中心波長445nmの青色レーザ光または中心波長405nmの青紫色レーザ光が入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体44に入射するため、図3Aに示すような、青色レーザ光、および青色レーザ光により蛍光体44から励起発光する蛍光を合波した白色光が、検体内に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射するため、図3Bに示すような、青紫色レーザ光、青色レーザ光、および青色レーザ光により蛍光体44から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊観察モードでは、青色成分に発光強度が高い青色レーザ光に加えて、青紫色レーザ光が含まれているため、特殊光は、青色成分を多く含み且つ波長範囲がほぼ可視光全域に及ぶ広帯域光となっている。
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG(イットリウム・アルミニウム・ガーネット)系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズーミングレンズ47、撮像センサ48を有している。検体からの反射光は、撮像レンズ46およびズーミングレンズ47を介して、撮像センサ48に入射する。これにより、撮像センサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が縮小する一方で、テレ端側に移動することで、検体の反射像が拡大する。
撮像センサ48はカラーのイメージセンサであり、検体の反射像を撮像して画像信号を出力する。なお、撮像センサ48は、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本願発明で用いられるイメージセンサは、撮像面にRGBカラーフィルタが設けられたRGBchを有するRGBイメージセンサであり、各chで光電変換をすることによって、R(赤)のカラーフィルタが設けられたR画素からR画像信号を出力し、G(緑)のカラーフィルタが設けられたG画素からG画像信号を出力し、B(青)のカラーフィルタが設けられたB画素からB画像信号を出力する。
なお、撮像センサ48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)およびG(緑)のCMYGフィルタを備えたイメージセンサであっても良い。CMYGフィルタを備えたイメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに備えている必要がある。
撮像センサ48から出力される画像信号は、CDS(correlated double sampling)・AGC(Automatic Gain Control)回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、ガンマ変換部51でガンマ変換が施される。これにより、モニタ18などの出力デバイスに適した階調を有する画像信号が得られる。このガンマ変換後の画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
画像処理切替部60は、モード切替スイッチ22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。
通常光画像処理部62は、画像取得部68と、色彩強調部70と、構造強調部72とを有する。画像取得部68は、入力されたRGB3チャンネルのデジタル画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付けて、RGB画像データを取得する。さらに、RGB画像データは、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行ったものであってもよい。
色彩強調部70は、RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、RGB画像データに対して、空間周波数強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
特殊光画像処理部64は、画像取得部74と、異常領域強調部77と、構造強調部78とを有する。画像取得部74は、画像取得部68と同様にRGB画像データを取得する。異常領域強調部77は、正常粘膜領域(正常部)と、委縮粘膜または胃癌などの病変部を含む可能性がある異常領域(異常部)の色の差を強調する色差拡張処理を行う。この異常領域強調部77の詳細については後述する。構造強調部78は、色差拡張処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を行う。構造強調部78で構造強調処理が施されたRGB画像データは、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
画像表示信号生成部66は、通常光画像処理部62または特殊光画像処理部64から入力された通常光画像または特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号をモニタ18に出力し、モニタ18は、表示画像信号を通常光画像または特殊光画像として表示する。
図4に示すように、異常領域強調部77は、色空間変換部80と、色差ベクトル取得部82と、色差拡張部84と、色空間逆変換部86、記憶部88とを備えている。内視鏡画像の胃の内壁の胃粘膜が正常部である場合には、正常な胃粘膜下層内の血管は、内視鏡画像上ではほとんど観察することができないが、萎縮粘膜などの異常粘膜(異常部)の場合には、胃腺細胞の減少により粘膜層は薄くなり、白に近い色の粘膜筋板が透けて見えるため異常部の色は正常部より退色した色になる。しかし、胃壁を撮影した内視鏡画像は、赤色部分に集中しており色空間内の狭い範囲に集中する傾向があり、正常部と異常部の色の違いは、熟練した観察者でなければ目視では判別するのは難しい。そこで、正常粘膜の色を基準色として、画像データの各画素の色と基準色の差に応じて色差を拡張する色差拡張処理を施す。
まず、色空間変換部80は、画像取得部74によって取得されたRGB画像データのRGB色空間で表された各画素のR値、G値、B値を、輝度または明度の成分を持つ3次元の色空間の値に変換する。輝度または明度の成分を持つ色空間には、輝度の成分を表すY軸と色差成分を表すCb軸とCr軸を持つYcc色空間、明度の成分を表すL軸と補色の成分を表すa軸とb軸を持つLab色空間、明度の成分を表すL軸と彩度と色相の成分を表すu軸とv軸を持つLuv色空間、色相H・彩度S・明度B(または明度V)の成分の軸からなるHSB色空間(またはHSV色空間)、または、色相H・彩度S・輝度Lの成分の軸からなるHSL色空間があるが、輝度または明度の成分を含む色空間であればいずれの色空間であってもよい。さらに、輝度または明度の成分を表す軸を持たないRGB色空間であってもよい。以下、本実施形態では、輝度または明度の成分を表す軸を持つ色空間に変換した後に色差拡張処理を行う場合について説明する。また、変換後の色空間には、輝度と明度の成分を表す軸を持つものがあるが、以下、輝度と明度を区別することなく、便宜上、輝度として説明する。
色差ベクトル取得部82は、内視鏡画像の正常部である正常粘膜の色を表す基準色から内視鏡画像中の各注目画素の色までの色の差を、輝度の軸を持つ色空間で、各注目画素の色の位置のベクトルから基準色の位置のベクトルを引いた3次元の色差ベクトルとして取得する。
内視鏡画像全体が明るい画像であるか暗い画像であるかによって、正常粘膜の色は異なる。そこで、基準色として、内視鏡画像の輝度値に応じた複数の基準色を記憶部88に予め記憶しておき、内視鏡画像の輝度に応じた基準色を用いて、基準色と各画素の色の色差ベクトルを取得する。これらの基準色は、過去撮影した内視鏡画像から、内視鏡画像の正常粘膜に統計的に現れる可能性の高い色を、内視鏡画像の様々な輝度値に応じてそれぞれ決定することができる。具体的には、内視鏡画像の輝度値が高い場合には、基準色の輝度値も高くなり、内視鏡画像の輝度値が低い場合には、基準色の輝度値も低くなる。そこで、複数の輝度値に対応して異なる基準色を設定したテーブルを記憶部88に記憶しておき、色差拡張処理の対象となっている内視鏡画像に最も近い輝度値に対応した基準色を取り出すようにする。あるいは、輝度値が高い時の基準色と輝度値が低い時の基準色を記憶しておき、色差拡張処理の対象となっている内視鏡画像の輝度値がその間の輝度値である場合には、基準色は、輝度値が高い時の基準色と輝度値が低い時の基準色を内挿補間して求め、内視鏡画像の輝度値がその範囲外であるときは、輝度値が高い時の基準色と輝度値が低い時の基準色を外挿補間して求めるようにしてもよい。
また、内視鏡画像の輝度値として、内視鏡画像の全ての画素の輝度を代表する代表輝度値を用いることができる。例えば、内視鏡画像の全ての画素の輝度値の平均値、あるいは、内視鏡画像の全ての画素の輝度値の中央値を代表輝度値としてもよい。
色差拡張部84は、正常粘膜である正常部と異常粘膜である異常部の違いを明確にするために、輝度の軸を持つ色空間において、各注目画素の色を、色差ベクトル取得部82で取得した各注目画素の色差ベクトルと同一方向であり、かつ、色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色差強調色に変換して、正常部と異常部の色の差を大きくする。
図5を用いて、輝度(明度)の成分の軸を持つLab色空間での色差強調について具体的に説明する。図5では、L軸が輝度(明度)成分となり、a軸およびb軸が補色の成分になる。Lab色空間における基準色の位置Sと、注目している画素の色の位置がPである場合、色差ベクトルはpである。下式(1)に示すように、色差ベクトルpのベクトル量|p|に対応する強調量dを色差ベクトルpの方向に延ばした位置の色差強調色Qに変更する。このように、Lab色空間内で、基準色と各画素の色との差を表す色差ベクトルと同一方向に基準色と各画素の色の差を拡張することにより、異常部と正常部の違いを自然にかつ明確にすることができる。
また、基準色に近い色の画素、つまり、正常粘膜に近い色を持つ画素についてはそのままの色を維持するのが好ましいため強調量dを小さくし、異常粘膜の色に近いところは正常粘膜との違いが明確になるように強調量dを大きくすることが好ましい。一方、粘膜の色から大きく外れるところは、出血部または色素散布が行われた部分などの粘膜色ではない可能性が高いため強調は行わない方が好ましい。
図6に強調量dとベクトル量|p|の関係を示す一例を示す。図5に示すように、全体に自然に色が変化し、かつ、異常粘膜に現れる色と基準色との違いが明確になるように、異常粘膜に現れる典型的な色と基準色の色差ベクトルpのベクトル量(距離)|p|に近い値を第1の閾値R1として、色差ベクトルpのベクトル量|p|が第1の閾値R1より小さい時は、色差ベクトルpのベクトル量|p|が大きくなるほど強調量dを大きくし、色差ベクトルpのベクトル量|p|が第1の閾値R1より大きい時は、ベクトル量|p|が大きくなるほど強調量dを小さくする。具体的には、各基準色ごとに、色差ベクトルのベクトル量|p|と強調量dに対応関係を定めたルックアップテーブルを予め記憶部88に記憶しておき、基準色Sと色差ベクトルpのベクトル量|p|に応じた強調量dを引き出して、色差拡張処理を施した色を算出する。このように色差ベクトルのベクトル量が第1の閾値R1の付近にあるときに強調量を大きくすることによって、異常粘膜の色と正常粘膜の色(基準色)の色差を拡張して、正常粘膜や通常の粘膜色とは明らかに異なる色は変更しないようにする。これにより、異常部が認識しやすくなり、正常粘膜のような正常部や粘膜以外のものが撮影されている部分の色は本来の色のまま観察することができる。
図7A、図7Bを用いて、Lab色空間内の基準色の位置Sと各画素の色の位置との色差ベクトルのベクトル量に応じて強調量を変えたときの変換後の各画素の色差強調色の色空間の位置を説明する。図7AのP1は異常粘膜であると考えられる部分の色の色空間内の位置を示し、異常粘膜に近い色の付近では強調量d1は大きくして色差強調色はQ1にする。一方、図7AのP2は正常粘膜との色差が大きく出血部であると考えられる部分の色の色空間内の位置を示し、通常の粘膜色とは異なる色であるため強調量d2(<d1)は小さくして色差強調色はQ2にする。
図7Aと同様に、図7BのP1は異常粘膜であると考えられる部分の色の色空間内の位置を示し、異常粘膜に近い色の付近では強調量d1は大きくして色差強調色はQ1にする。一方、図7BのP3は正常粘膜に近い色の色空間内の位置を示し、基準色Sとの色差が小さく正常部の色に近い色であるため強調量d3(<d1)を小さくして色差強調色はQ3にする。
色空間逆変換部86は、色差拡張部84で得られた色差強調色をRGB画像データに再変換する。さらに、必要に応じて、RGB画像データに対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する色差強調済みのRGB画像データが得られる。なお、本願発明の出力部は色空間逆変換部86と画像表示信号生成部66で構成される。
次に、本実施形態における一連の検査時の内視鏡の操作および処理の流れを図8のフローチャートに沿って説明する。まず、通常観察モードにセットし(S1)、内視鏡12の挿入部21を検体内に挿入する。通常光画像を観察しながら先端部24を検体内に進め(S2−N)、挿入部21の先端部24が胃に到達したら(S2−Y)、萎縮性胃炎が起こっているかどうかを診断する(S3)。ここで、通常光画像から、粘膜が退色調になっており、または、樹枝状の深層血管が透見している部位と透見していない部位の境界(内視鏡的腺境界と呼ぶ)を読み取ることができた場合には(S3−Y)、ドクターは、萎縮性胃炎により胃癌などの病変が発生している病的所見と判断する(S11)。
一方、通常光画像からは、退色調の粘膜、または、内視鏡的腺境界の存在を読み取ることができなかった場合には(S3−N)、さらに確実に診断を行うために、モード切替スイッチ22bを操作して、特殊観察モードに切り替える(S4)。この特殊観察モードの切り替えにより、青色レーザ光および青紫色レーザ光の両方を含む特殊光が発光される。この特殊光発光時に得られるRGB画像信号からRGB画像データを画像取得部74で取得する。
まず、色空間変換部80によって、RGB色空間で表された各画素のR値、G値、B値を、例えば、Lab色空間の値に変換する(S5)。全ての内視鏡画像の画素の輝度値(L値)から代表輝度値を求める。次に、記憶部88より代表輝度値に対応する基準色を取り出して、各画素と基準色の色差ベクトルを算出する(S6)。さらに、基準色に対応するルックアップテーブルを用いて、色差ベクトルのベクトル量に応じた強調量を決定する。各画素の色を、色差ベクトルと同一方向に強調量を加えたベクトル量の色差拡張ベクトルを基準色に加算した色差強調色に変換する(S7)。
この色差強調色に変換された画像データに基づいて色空間逆変換部86でRGB色空間に戻して、モニタ18に特殊光画像が表示される(S8)。
特殊光画像上では、胃の萎縮が全く無い場合には、粘膜は通常通りの色で表示される。この場合には(S9−N)、ドクターは、萎縮性胃炎による胃癌などの病変部の発生は無い正常所見と判断する(S10)。これに対して、胃の萎縮が僅かでも進んでいる場合には、萎縮粘膜の色は退色調で表示される(S9−Y)。これにより、内視鏡的腺境界を明瞭に表示することができる。したがって、実際の胃の中は、萎縮粘膜の色はさほど退色調で表示されていない場合であっても、ドクターは、萎縮性胃炎により胃癌などの病変が発生している病的所見と判断することができるようになる(S11)。
上述では基準色は、内視鏡画像の輝度値に応じて決定する場合について説明したが、内視鏡画像の全ての画素の色の平均値を用いてもよい。ただし、この場合の基準色は、内視鏡画像の全ての画素の色成分のうち、少なくとも1つの色成分が特定の値を超えた場合に粘膜色とは異なると考えられる色成分から外れた値を持つ色を第2の閾値を用いて、第2の閾値を越える色の成分を持つ画素を除いて平均値を算出する。粘膜色とは異なる色があらわれる部分は、例えば、ハレーションなどを起こしている箇所の色成分を持つ画素や、残滓、色素散布された部分、または出血部など検体以外のものを撮影した時に現れる色成分を持つ画素である。色成分のうち粘膜色とは異なる成分を持つ画素の判定は、RGBの値で判定しても良いが、輝度の成分を持つ色空間に変換した後に判定してもよい。あるいは、RGBの値の組み合わせから、粘膜の色とは異なる色を持つ画素を判定して、粘膜の色とは異なる色を持つ画素を除いて平均値を算出するようにしてもよい。または、輝度の成分を持つ色空間に変換した後の色成分の組み合わせから粘膜の色とは異なる色を持つ画素を判定してもよい。
上記の実施形態では、RGB色空間を輝度または明度の成分を表す軸を持つ色空間に変換した後に、色差拡張処理を行ない、再度、色差拡張処理が行われた色をRGB色空間に変換する場合について説明したが、RGB色空間から他の色空間に変換することなく、RGB色空間内で色差ベクトル取得部82と、色差拡張部84による色差拡張処理を行うようにしてもよい。
なお、上記実施形態では、粘膜の吸収物質に対して光吸収性が高い青色狭帯域光(青色レーザ光および青紫色レーザ光)を含む特殊光を用いる場合について説明したが、粘膜の吸収物質に対して光吸収性が高い緑色狭帯域光(例えば、540〜560nmの波長成分)を含む光を用いるようにしてもよい。
前述の実施形態では、光源が半導体発光素子である場合について説明したが、第2の実施形態では、光源にLEDを用いた内視鏡について図9および図10を用いて説明する。第2の実施形態は、内視鏡の光源装置14および先端部24の照明光学系24c以外の構成は第1の実施形態とほぼ同一であるので、同一符号を付して詳細な説明は省略する。また、検査時の内視鏡の操作および処理の流れは、第1の実施形態とほぼ同一であるので、詳細な説明は省略する。
図9に示すように、光源装置14は、V−LED(Violet Light Emitting Diode)42a、B−LED(Blue Light Emitting Diode)42b、G−LED(Green Light Emitting Diode)42c、R−LED(Red Light Emitting Diode)42d、これら4色のLED42a〜42dの駆動を光源制御部40で制御するようにしてもよい。この構成では、4色のLED42a〜42dから発せられる4色の光の光路を結合する光路結合部43が設けられ、光路結合部43で結合された光は、挿入部21内に挿通されたライトガイド(LG)41および照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図10に示すように、V−LED42aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Viを発生する。B−LED42bは、中心波長460±10nm、波長範囲420〜500nmの青色光Blを発生する。G−LED42cは、波長範囲が480〜600nmにおよぶ緑色光Grを発生する。R−LED42dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Reを発生する。
光源制御部40は、通常観察モード、および特殊観察モードのいずれの観察モードにおいても、V−LED42a、B−LED42b、G−LED42c、R−LED42dを点灯する。したがって、紫色光Vi、青色光Bl、緑色光Gr、および赤色光Reの4色の光が混色した光が、観察対象に照射される。また、光源制御部40は、通常観察モード時には、紫色光Vi、青色光Bl、緑色光Gr、赤色光Re間の光量比がVi:Bl:Gr:Reとなるように、各LED42a〜42dを制御する。一方、光源制御部40は、特殊観察モード時には、紫色光Vi、青色光Bl、緑色光Ge、赤色光Re間の光量比がVi:Bl:Ge:Reとなるように、各LED42a〜42dを制御する。
内視鏡12の先端部24には、照明光学系24cと撮像光学系24bが設けられている。照明光学系24cは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系24bは、第1の実施形態とほぼ同じ構成である。
上記の第1および第2の実施形態ではプロセッサ装置16で異常領域強調部77の処理が行われる場合について説明したが、プロセッサ装置16における異常領域強調部77の処理は、外部に置かれたコンピュータに、上記の画像取得部、色差ベクトル取得部、色差拡張部、および出力部として機能させるための画像処理プログラムをインストールして、外部のコンピュータでプロセッサ装置16に外付けの記録部などに記録された内視鏡画像に対して異常領域強調部77の処理を実行するようにしてもよい。
10 内視鏡システム
12 内視鏡
13 ユニバーサルコード
14 光源装置
16 プロセッサ装置
18 モニタ
20 入力装置
21 挿入部
22 操作部
22a アングルノブ
22b モード切替スイッチ
22c ズーム操作部
23 湾曲部
24 先端部
24a、24c 照明光学系
24b 撮像光学系
34 青色レーザ光源
36 青紫色レーザ光源
40 光源制御部
41 ライトガイド
42a〜42d LED
43 光路結合部
44 蛍光体
45 照明レンズ
46 撮像レンズ
47 ズーミングレンズ
48 撮像センサ
50 CDS・AGC回路
51 ガンマ変換部
52 A/D変換器
54 受信部
56 DSP
58 ノイズ除去部
60 画像処理切替部
62 通常光画像処理部
64 特殊光画像処理部
66 画像表示信号生成部
68 画像取得部
70 色彩強調部
72 構造強調部
74 画像取得部
77 異常領域強調部
78 構造強調部
80 色空間変換部
82 色差ベクトル取得部
84 色差拡張部
86 色空間逆変換部
88 記憶部

Claims (15)

  1. 狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、
    輝度を含む色空間において、前記内視鏡画像の正常部の色を表す基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、
    前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、
    前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部と異常部の色差を拡張した内視鏡画像を出力する出力部とを備えた画像処理装置。
  2. 前記色差拡張部は、前記色差ベクトルのベクトル量が第1の閾値より小さい場合は、前記色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、前記色差ベクトルのベクトル量が前記第1の閾値より大きい場合は、前記ベクトル量が大きくなるほど強調量を小さくする請求項1記載の画像処理装置。
  3. 複数の基準色を予め記憶する記憶部をさらに備え、
    前記色差ベクトル取得部は、前記記憶部の前記複数の基準色のうち前記内視鏡画像を代表する代表輝度値に対応して、該代表輝度値が高くなるほど輝度値が高い基準色を用い、該代表輝度値が低くなるほど輝度値が低い基準色を用いて前記色差ベクトルを取得する請求項1または2記載の画像処理装置。
  4. 前記内視鏡画像の代表輝度値は、前記内視鏡画像の全ての画素の輝度値の平均値である請求項3記載の画像処理装置。
  5. 前記基準色は、前記内視鏡画像の全ての画素の平均値とする請求項1記載の画像処理装置。
  6. 前記基準色は、前記内視鏡画像の各素の色成分のうち第2の閾値を越える少なくとも1つ以上の色成分を持つ画素以外の前記内視鏡画像の画素から算出される請求項5記載の画像処理装置。
  7. 前記色空間は、Ycc色空間、Lab色空間、Luv色空間、HSB色空間、HSL色空間、およびHSV色空間のうちのいずれかである請求項1〜6のいずれか1項記載の画像処理装置。
  8. 前記狭帯域画像信号は、血液に対する光吸収が他の帯域より多い狭帯域光で照明された検体を撮像して得られる請求項1〜7いずれか1項記載の画像処理装置。
  9. 前記狭帯域画像信号は、青色帯域の中で血液に対する光吸収が他の帯域より多い青色狭帯域光で照明された検体を撮像して得られる青色狭帯域画像信号、または緑色帯域の中で血液に対する光吸収が他の帯域より多い緑色狭帯域光で照明された検体を撮像して得られる緑色狭帯域画像信号である請求項8記載の画像処理装置。
  10. 前記内視鏡画像は、胃の内壁を撮影した画像であり前記正常部は正常粘膜であり、前記異常部は異常粘膜である請求項1〜9のいずれか1項記載の画像処理装置。
  11. 画像取得部と、色差ベクトル取得部と、色差拡張部と、出力部とを備えた画像処理装置の作動方法であって、
    前記画像取得部が、狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得ステップと、
    前記色差ベクトル取得部が、輝度を含む色空間において、狭帯域画像信号を含む画像信号により生成された内視鏡画像の正常部位の色を表す基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得ステップと、
    前記色差拡張部が、前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張ステップと、
    前記出力部が、前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部位と異常部位の色差を拡張した内視鏡画像を出力する出力ステップとを備えた画像処理装置の作動方法。
  12. コンピュータを、
    狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得部と、
    輝度を含む色空間において、前記内視鏡画像の正常部位の色を表す基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、
    前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、
    前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部位と異常部位の色差を拡張した内視鏡画像を出力する出力部として機能させるための画像処理プログラム。
  13. 狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、
    正常部の色を表す複数の基準色を予め記憶する記憶部と、
    前記複数の基準色のうち前記内視鏡画像の輝度値の平均値に対応して、該平均値が高くなるほど輝度値が高い基準色を用い、該平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、該基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、
    前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、
    前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部と異常部の色差を拡張した内視鏡画像を出力する出力部とを備え、
    前記色差拡張部は、前記色空間における前記異常部の色と前記基準色との距離を第1の閾値として、前記色差ベクトルのベクトル量が前記第1の閾値より小さい場合は、前記色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、前記色差ベクトルのベクトル量が前記第1の閾値より大きい場合は、前記ベクトル量が大きくなるほど強調量を小さくする画像処理装置。
  14. 画像取得部と、色差ベクトル取得部と、色差拡張部と、出力部と、正常部の色を表す複数の基準色を予め記憶する記憶部とを備えた画像処理装置の作動方法であって、
    前記画像取得部が、狭帯域画像信号を含む画像信号により生成された内視鏡画像を取得する画像取得ステップと、
    前記色差ベクトル取得部が、前記複数の基準色のうち前記内視鏡画像の輝度値の平均値に対応して、該平均値が高くなるほど輝度値が高い基準色を用い、該平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、該基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得ステップと、
    前記色差拡張部が、前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張ステップと、
    前記出力部が、前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部と異常部の色差を拡張した内視鏡画像を出力する出力ステップとを備え、
    前記色差拡張ステップは、前記色空間における前記異常部の色と前記基準色との距離を第1の閾値として、前記色差ベクトルのベクトル量が前記第1の閾値より小さい場合は、前記色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、前記色差ベクトルのベクトル量が前記第1の閾値より大きい場合は、前記ベクトル量が大きくなるほど強調量を小さくする画像処理装置の作動方法。
  15. コンピュータを、
    狭帯域画像信号を含む画像信号により構成された内視鏡画像を取得する画像取得部と、
    正常部の色を表す複数の基準色を予め記憶する記憶部と、
    前記複数の基準色のうち前記内視鏡画像の輝度値の平均値に対応して、該平均値が高くなるほど輝度値が高い基準色を用い、該平均値が低くなるほど輝度値が低い基準色を用いて、輝度を含む色空間において、該基準色から前記内視鏡画像中の各注目画素の色までの色差ベクトルを取得する色差ベクトル取得部と、
    前記色空間において、前記各注目画素の色を、該注目画素の色差ベクトルと同一方向でありかつ前記色差ベクトルのベクトル量に強調量を加えたベクトル量の色差拡張ベクトルを前記基準色に加算した色に変換する色差拡張処理を施す色差拡張部と、
    前記色差拡張処理を前記内視鏡画像の全ての画素に施した前記正常部と異常部の色差を拡張した内視鏡画像を出力する出力部として機能させるための画像処理プログラムであって、
    前記色差拡張部は、前記色空間における前記異常部の色と前記基準色との距離を第1の閾値として、前記色差ベクトルのベクトル量が前記第1の閾値より小さい場合は、前記色差ベクトルのベクトル量が大きくなるほど強調量を大きくし、前記色差ベクトルのベクトル量が前記第1の閾値より大きい場合は、前記ベクトル量が大きくなるほど強調量を小さくする画像処理プログラム。
JP2016048077A 2016-03-11 2016-03-11 画像処理装置、画像処理装置の作動方法、および画像処理プログラム Active JP6669539B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016048077A JP6669539B2 (ja) 2016-03-11 2016-03-11 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016048077A JP6669539B2 (ja) 2016-03-11 2016-03-11 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020031548A Division JP6855610B2 (ja) 2020-02-27 2020-02-27 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017158929A true JP2017158929A (ja) 2017-09-14
JP6669539B2 JP6669539B2 (ja) 2020-03-18

Family

ID=59853286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016048077A Active JP6669539B2 (ja) 2016-03-11 2016-03-11 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6669539B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181706A1 (ja) * 2020-03-13 2021-09-16 オリンパス株式会社 内視鏡装置、プロセッサ、色彩強調方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63149977A (ja) * 1986-12-12 1988-06-22 Olympus Optical Co Ltd 色彩強調方式カラ−エンハンス回路
JPS63173182A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JPH03159391A (ja) * 1989-11-16 1991-07-09 Olympus Optical Co Ltd モニタ画像撮影装置
JP2006334115A (ja) * 2005-06-01 2006-12-14 Olympus Medical Systems Corp 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
JP2015192839A (ja) * 2014-03-24 2015-11-05 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP2016010506A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63149977A (ja) * 1986-12-12 1988-06-22 Olympus Optical Co Ltd 色彩強調方式カラ−エンハンス回路
JPS63173182A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JPH03159391A (ja) * 1989-11-16 1991-07-09 Olympus Optical Co Ltd モニタ画像撮影装置
JP2006334115A (ja) * 2005-06-01 2006-12-14 Olympus Medical Systems Corp 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
JP2015192839A (ja) * 2014-03-24 2015-11-05 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP2016010506A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021181706A1 (ja) * 2020-03-13 2021-09-16 オリンパス株式会社 内視鏡装置、プロセッサ、色彩強調方法
US11963668B2 (en) 2020-03-13 2024-04-23 Olympus Corporation Endoscope system, processing apparatus, and color enhancement method

Also Published As

Publication number Publication date
JP6669539B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US9582878B2 (en) Image processing device and operation method therefor
US9545187B2 (en) Image processing device and method for operating endoscope system
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US9538902B2 (en) Image processing device and method for operating endoscope system
US9595117B2 (en) Image processing device and method for operating endoscope system
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
JP2022162028A (ja) 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
US10003774B2 (en) Image processing device and method for operating endoscope system
JP5972312B2 (ja) 医用画像処理装置及びその作動方法
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6855610B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP2022160298A (ja) 医用画像処理装置及びその作動方法
JP2017140421A (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200227

R150 Certificate of patent or registration of utility model

Ref document number: 6669539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250