JP2011065291A - エンハンス画像処理装置、及び医療用観察システム - Google Patents

Abstract

【課題】特定の微細構造を患者の個人差の影響を受けることなく良好にエンハンス表示させることができるエンハンス画像処理装置を提供すること。
【解決手段】エンハンス画像処理装置を、被写体画像に含まれる特定構造を分析する分析手段と、分析結果に従って被写体画像から特定構造の画像を分離生成する分離画像生成手段と、分離生成された特定構造の画像にエンハンス処理を施すエンハンス手段とから構成した。
【選択図】図４

Description

この発明は、被写体画像にエンハンスをかけるエンハンス画像処理装置及び医療用観察システムに関する。

術者が患者の体腔内を診断する際に使用する医療機器として、ファイバスコープや電子スコープが一般的に知られている。例えば、電子スコープを使用する術者は、電子スコープの挿入部を体腔内に挿入して、挿入部先端に備えられた挿入先端部を被写体近傍に導く。術者は、電子スコープやビデオプロセッサの操作部を必要に応じて操作して、光源装置から放射された照明光によって被写体を照明する。術者は、照明された被写体の反射光像を挿入先端部に搭載されたＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像する。術者は、撮像された被写体の映像をモニタを通じて観察し診断や施術等を行う。

近年、統計的なデータを用いて画像処理演算を行い、特定の波長域の分光画像を生成する医療用観察システムが提案されている。このような医療用観察システムの具体的構成例は、例えば特許文献１に記載されている。

特許文献１に記載の医療用観察システムは、絞り位置、撮像素子のカラーチップ特性、ランプの種類等から分光特性を推定して、分光特性に適したマトリクスデータを選択する。分光画像は、選択されたマトリクスデータを用いた画像処理演算によって生成される。特許文献１の記載によれば、組織の性状や血管等の微細構造を際立たせた分光画像が、医療用観察システムの各要素の分光特性の相違の影響を受けることなく良好な色再現性で得られる。

特開２００６−２５５３２４号公報

ところで、組織の性状や血管等の分光特性にも患者毎に個人差がある。医療用観察システム側の各要素の分光特性を考慮して画像処理演算を行うという特許文献１に記載の構成では、患者の個人差に対応できないため、患者によっては組織の性状や血管等に対するエンハンスがかかり難いこともある。そこで、例えば、組織の性状や血管等をエンハンスさせるのに好適なマトリクスデータを患者毎に予め用意して画像処理演算を行う構成が考えられる。しかし、そのようなマトリクスデータを予め用意するためには膨大な臨床試験等が必要であり、また、開発コストやリードタイムの増加が避けられない。仮にマトリクスデータを用意できたとしても、その中から患者の分光特性に適合したマトリクスデータを患者毎に適切に選択するのは難しく、有効な解決手段とはいえない。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、特定の微細構造を患者の個人差の影響を受けることなく良好にエンハンス表示させることができるエンハンス画像処理装置、及び医療用観察システムを提供することである。

上記の課題を解決する本発明の一形態に係るエンハンス画像処理装置は、被写体画像に含まれる特定構造を分析する分析手段と、分析結果に従って被写体画像から特定構造の画像を分離生成する分離画像生成手段と、分離生成された特定構造の画像にエンハンス処理を施すエンハンス手段とを有することを特徴とした装置である。

本発明に係るエンハンス画像処理装置によれば、エンハンス処理の実行に先立って血管画像が分離生成されて、血管画像以外の他の成分画像（例えば粘膜）が除去された状態でエンハンス処理が行われる。エンハンスが血管画像以外の他の成分画像にもかかるという問題が有効に避けられるため、患者（個人差）によってエンハンスがかかり難いという不具合が解消されて、エンハンスが血管画像に対して効果的にかかることとなる。

分析手段は、被写体画像から特定構造の画像を分離生成するための、被写体画像を構成する各色成分の信号の混合比を画素単位で推定する構成としてもよい。

被写体画像は例えば血管と粘膜を含む画像であり、特定構造は例えば血管である。

上記の課題を解決する本発明の一形態に係る医療用観察システムは、被写体を撮影する電子スコープと、電子スコープによって撮影された被写体画像が入力する上記のエンハンス画像処理装置とを有することを特徴としたシステムである。

本発明によれば、特定の微細構造を患者の個人差の影響を受けることなく良好にエンハンス表示させることができるエンハンス画像処理装置及び医療用観察システムが提供される。

本発明の実施形態の医療用観察システムの外観図である。 本発明の実施形態の医療用観察システムの構成を示すブロック図である。 本発明の実施形態のプロセッサが有する信号処理回路の構成を示すブロック図である。 本発明の実施形態において実行されるエンハンス処理を説明するための図である。 本発明の実施形態において実行される、血管と粘膜の独立成分を抽出する処理を説明するための図である。 本発明の実施例１のエンハンス処理回路の構成を示すブロック図である。 本発明の実施例１のエンハンス処理回路で処理される信号を可視化して示した図である。 本発明の実施例２のエンハンス処理回路の構成を示すブロック図である。 本発明の実施例２のエンハンス処理回路で処理される信号を可視化して示した図である。 本発明の実施例３のエンハンス処理回路の構成を示すブロック図である。 本発明の実施例３のエンハンス処理回路で処理される信号を可視化して示した図である。

以下、添付された各図面を参照しつつ、本発明の実施形態の医療用観察システムについて説明する。なお、本実施形態の電子スコープには、一般な電子スコープと同じく、鉗子チャンネルや送気送水ノズル等が備えられている。但し、本明細書又は各図面においては、本発明の特徴に直接的には関係しないこの種の構成要素の説明又は図示を便宜上省略している。本実施形態のプロセッサについても同様に、電子スコープ対応の一般的なプロセッサに搭載されている、本発明の特徴に直接的には関係しない構成要素の説明又は図示を便宜上省略している。また、本発明の特徴を明瞭に説明する便宜上、医療用観察システム側の各要素に起因する分光特性のばらつきは、本明細書中で言及がない限り、特段考慮しない。

図１は、本実施形態の医療用観察システム１の外観図である。図１に示されるように、医療用観察システム１は、被写体を撮影するための電子スコープ１００を有している。電子スコープ１００は、可撓管によって外装された挿入可撓部１１を有している。挿入可撓部１１の先端には、硬質性を有する樹脂製筐体によって外装された挿入先端部１２が連結されている。挿入可撓部１１と挿入先端部１２との連結箇所は、挿入可撓部１１の基端に連結された手元操作部１３からの遠隔操作によって屈曲自在に構成されている。挿入先端部１２の方向が上記遠隔操作による屈曲動作に応じて変わることにより、電子スコープ１００による撮影領域が移動する。

図１に示されるように、医療用観察システム１は、プロセッサ２００を有している。プロセッサ２００は、電子スコープ１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照明する光源装置とを一体に備えた装置である。別の実施の形態では、信号処理装置と光源装置を別体で構成してもよい。

プロセッサ２００には、電子スコープ１００の基端に設けられたコネクタ部１０に対応するコネクタ部２０が設けられている。コネクタ部２０は、コネクタ部１０に対応する連結構造を有し、電子スコープ１００とプロセッサ２００とを電気的にかつ光学的に接続するように構成されている。

図２は、医療用観察システム１の構成を示すブロック図である。図２に示されるように、医療用観察システム１は、所定のケーブルを介してプロセッサ２００に接続されたモニタ３００を有している。なお、図１においては、図面を簡略化するため、本発明に係る特徴的構成を有さないモニタ３００を図示省略している。

図２に示されるように、プロセッサ２００は、システムコントローラ２０２、タイミングコントローラ２０４を有している。システムコントローラ２０２は、医療用観察システム１を構成する各要素を制御する。タイミングコントローラ２０４は、信号の処理タイミングを調整するクロックパルスを医療用観察システム１内の各種回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光を放射する。ランプ２０８には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプなどの高輝度ランプが適している。ランプ２０８から放射された照明光は、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限されて、ＬＣＢ（light carrying bundle）１０２の入射端に入射する。

絞り２１２には、図示省略されたアームやギヤなどの伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００に表示される映像を適正な明るさにするため、モータ２１４によって動作されて開度が変化して、ランプ２０８から放射された照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるフロントパネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

ＬＣＢ１０２の入射端に入射した照明光は、ＬＣＢ１０２の内部を全反射を繰り返すことによって伝播する。ＬＣＢ１０２を伝播した照明光は、電子スコープ１００の先端に配されたＬＣＢ１０２の射出端から射出する。ＬＣＢ１０２の射出端から射出した照明光は、配光レンズ１０４を介して被写体を照明する。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、例えばベイヤ型画素配置を有する単板式カラーＣＣＤであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ、Ｇ、Ｂの各色に応じた信号に変換する。変換された信号は、プリアンプ１１０によって増幅されてドライバ信号処理回路１１２に入力する。

ドライバ信号処理回路１１２は、タイミングコントローラ２０４のクロックパルスに基づいて、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。メモリ１１４には、電子スコープ１００の固有情報（例えば固体撮像素子１０８の画素数や感度、対応可能なレート、或いは型番など）が格納されている。ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。

ドライバ信号処理回路１１２は、メモリ１１４から読み出された固有情報をシステムコントローラ２０２に、固体撮像素子１０８の出力信号を信号処理回路２２０に、それぞれ出力する。ドライバ信号処理回路１１２とシステムコントローラ２０２又は信号処理回路２２０との間には、フォトカップラなどを使用した絶縁回路（不図示）が配置されている。すなわち、電子スコープ１００とプロセッサ２００は、電気的に絶縁されている。

システムコントローラ２０２は、ドライバ信号処理回路１１２から出力された上記固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。なお、システムコントローラ２０２は、電子スコープの型番と、この型番の電子スコープに適した制御情報とを対応付けたテーブルを有した構成としてもよい。この場合、システムコントローラ２０２は、対応テーブルの制御情報を参照して、プロセッサ２００に接続中の電子スコープに適した処理がされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

図３は、信号処理回路２２０の構成を示すブロック図である。図３に示されるように、ドライバ信号処理回路１１２を介して出力された固体撮像素子１０８の出力信号は、Ｙ／Ｃ分離回路２２２に入力する。Ｙ／Ｃ分離回路２２２は、固体撮像素子１０８の出力信号を輝度信号Ｙと色信号Ｃに同期分離する。輝度信号処理回路２２４は、同期分離された輝度信号Ｙのコントラスト調整やブランキング調整等の各種信号処理を行う。ＲＧＢ変換回路２２６は、同期分離された色信号Ｃのゲイン調整等を行い、輝度信号Ｙと色信号Ｃを原色信号（Ｒ信号、Ｇ信号、Ｂ信号）に変換して、通常色処理回路２２８とエンハンス処理回路２３４に出力する。

通常色処理回路２２８は、原色信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙ、Ｂ−Ｙの復調等を行う。通常色表示用フレームメモリ２３０には、輝度信号処理回路２２４が出力した輝度信号Ｙ、通常色処理回路２２８が出力した色差信号Ｒ−Ｙ、Ｂ−Ｙの各信号が順次入力して、フレーム単位でバッファリングされる。通常色表示用フレームメモリ２３０は、バッファリングされた各信号をタイミングコントローラ２０４によって制御されたタイミングで第一後処理回路２３２に出力する。第一後処理回路２３２は、通常色表示用フレームメモリ２３０からの入力信号をＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の所定の規格に準拠した映像信号に変換する。この映像信号は、スイッチＳＷが第一後処理回路２３２側にスイッチングされている期間、モニタ３００に順次入力する。モニタ３００には、被写体の通常のカラー画像が表示される。スイッチＳＷは、術者によるフロントパネル２１８の操作によって切替自在である。

エンハンス処理回路２３４は、原色信号に対して所定のエンハンス処理を行う。図４は、このエンハンス処理を説明するための図であり、説明の便宜上、処理信号を可視化して示したものである。ここで例示的に説明するエンハンス処理では、エンハンスが血管と粘膜で構成される被写体のうち血管にかけられる。

エンハンス処理回路２３４には、原画像を構成するＲＧＢの各原色信号（図４参照）が入力する。エンハンス処理回路２３４は、エンハンス処理の実行に先立ち、入力した原色信号から血管と粘膜の各独立成分を分離生成するのに最適な混合比を画素単位で推定して原色信号を混合し、血管画像（より正確には、ヘモグロビンの濃度を表現するモノクロ画像）と粘膜画像とを分離生成する。その後のエンハンス処理では、分離画像のうち少なくとも血管画像が利用される。別の表現によれば、粘膜画像の分離生成又は利用は必須ではない。なお、ここで分離生成された血管画像は、粘膜情報が失われて血管情報だけが残されているから、粘膜成分の輝度値が高く血管成分の輝度値が低い。

具体的には、エンハンス処理回路２３４は、多変量の観測信号ｘ（ｔ）を複数の加法的な成分（分離信号ｙ（ｔ））に分離する独立成分分析（Independent Component Analysis）を用いて粘膜成分と血管成分とを分離する。独立成分分析は周知の計算手法であり、例えば刊行物１（陳延偉、「独立成分分析(1) −カクテルパーティー効果」, MEDICAL IMAGING TECHNOLOGY Vol.21 No.1, January 2003, p81-85）や、刊行物２（フリー百科事典『ウィキペディア（Wikipedia）』、[平成２１年８月検索]、インターネット、〈http://ja.wikipedia.org/wiki/%E7%8B%AC%E7%AB%8B%E6%88%90%E5%88%86%E5%88%86%E6%9E%90〉参照）等で参照される。独立成分分析において、各分離信号ｙ（ｔ）を互いに統計的に独立化（無相関化）させる分離行列をＷと定義した場合、次の式（１）が満たされる。

図５は、独立成分分析によって血管と粘膜の各独立成分を分離する処理を説明するための図である。図５においては、被写体の表面付近の構造を粘膜層ρｍと血管層ρｈとによって模式的に示す。図５に示されるように、ランプ２０８から放射された照明光は、粘膜層ρｍ又は血管層ρｈで散乱する。この散乱成分は、対物レンズ１０６に入射して固体撮像素子１０８の受光面上で光学像を結ぶ。

照明光の分光特性をＥ（ｘ、ｙ、λ）と定義し、粘膜に含まれる吸収成分の濃度をρｍ（ｘ、ｙ）と定義し、血液中のヘモグロビンの濃度をρｈ（ｘ、ｙ）と定義し、それぞれの色素の交差係数をσｍ（λ）、σｈ（λ）と定義し、粘膜層ρｍの光学的な厚みをｌｍ（λ）と定義し、血管層ρｈの光学的な厚みをｌｈ（λ）と定義し、固体撮像素子１０８の感度に応じて決められる定数をＣと定義し、固体撮像素子１０８の分光感度をＳｉ（λ）と定義した場合、固体撮像素子１０８の画素（ｘ、ｙ）の輝度信号ｖｉ（ｉ＝Ｒ、Ｇ、Ｂ）は、次の式（２）に示される通りである。
式（２）のｃｅを底とする指数関数は、照明光が粘膜層ρｍ又は血管層ρｈでどの程度減衰するかを示している。

固体撮像素子１０８の分光感度Ｓｉ（λ）が狭帯域である場合、Ｓｉ（λ）をδ（λｉ）に近似することができる。この近似を式（２）に適用すると、次の式（３）が成立する。

式（３）の対数をとり、ＲＧＢそれぞれの応答を行列で表すと、次の式（４）が導かれる。

式（４）は、次の式（５）に書き換えられる。

式（５）の左辺は、ＲＧＢの輝度と照明光の照度との差を数式化した、観測可能な既知の成分であり、観測信号ｘ（ｔ）と定義する。更に、式（５）の右辺右の行列を各成分が独立した分離信号ｙ（ｔ）と定義し、式（５）の右辺左の行列を分離行列Ｗの逆行列と定義する。式（５）においては、ρｍ（ｘ、ｙ）、ρｎ（ｘ、ｙ）が互いに独立する粘膜成分、血管成分である。エンハンス処理回路２３４は、例えばカルバック・ライブラー・ダイバージェンス（Kullback-Leibler divergence）や高次統計量（kurtosis）等を用いて、ρｍ（ｘ、ｙ）、ρｎ（ｘ、ｙ）を互いに独立させる分離行列Ｗを画素毎に推定する。エンハンス処理回路２３４は、血管画像又は粘膜画像を構成する原色信号の混合比を推定結果に応じて画素単位で決定する。エンハンス処理回路２３４は、決定された混合比で原色信号を混合して、血管画像又は粘膜画像の分離画像を生成する。エンハンス処理回路２３４は、分離生成された血管画像又は粘膜画像を構成する各原色信号に対して所定のエンハンス処理を行う。

色処理回路２３６は、エンハンス処理後の原色信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙ、Ｂ−Ｙの復調等を行う。エンハンス表示用フレームメモリ２３８には、輝度信号処理回路２２４が出力した輝度信号Ｙ、エンハンス処理回路２３４が出力した色差信号Ｒ−Ｙ、Ｂ−Ｙの各信号が順次入力して、フレーム単位でバッファリングされる。エンハンス表示用フレームメモリ２３８は、バッファリングされた各信号をタイミングコントローラ２０４によって制御されたタイミングで第二後処理回路２４０に出力する。第二後処理回路２４０は、エンハンス表示用フレームメモリ２３８からの入力信号をＮＴＳＣやＰＡＬ等の所定の規格に準拠した映像信号に変換する。この映像信号は、スイッチＳＷが第二後処理回路２４０側にスイッチングされている期間、モニタ３００に順次入力する。モニタ３００には、例えば血管等の微細構造をエンハンスしたカラー画像が表示される。

本実施形態の医療用観察システム１では、血管画像を分離生成して血管画像以外の他の成分画像（例えば粘膜）を除去した状態でエンハンス処理を行うため、エンハンスが血管画像に対して効果的にかかる。別の表現によれば、エンハンス処理の実行に先立って血管画像を分離生成することにより、エンハンスが血管画像以外の他の成分画像にもかかるという問題（患者によってエンハンスがかかり難いという不具合）が有効に避けられる。

また、本実施形態のエンハンス処理によれば、血管や粘膜等の分光特性に患者毎の個人差がある場合にも、血管や粘膜等をばらつきの無い一定の色で再現することができる。以下においては、エンハンス処理回路２３４によるエンハンス処理の具体的実施例を３例説明する。なお、各実施例において、前述の実施形態の構成と同一の又は同様の構成には同一の又は同様の符号を付して説明を省略する。

図６は、本発明の実施例１のエンハンス処理回路２３４Ａの構成を示すブロック図である。図７は、本実施例１を説明するための図であり、説明の便宜上、エンハンス処理回路２３４Ａで処理される信号を可視化して示したものである。図６に示されるように、エンハンス処理回路２３４Ａは、血管成分分離処理回路１２３４Ａ、及びＲＧＢの各色に対応した乗算器Ｍ１Ｒ、Ｍ１Ｇ、Ｍ１Ｂを有している。

乗算器Ｍ１Ｒには、カラーの原画像を構成するＧ成分の原画像（図７の符号Ｏ１Ｇ）が入力する。乗算器Ｍ１Ｒは、原画像Ｏ１Ｇの各画素に係数α１Ｒ（固定値）をかけてエンハンス画像（図７の符号Ｅ１Ｒ）を生成する。エンハンス画像Ｅ１Ｒは、Ｒ成分のエンハンス画像として色処理回路２３６で処理される。

血管成分分離処理回路１２３４Ａには、カラーの原画像を構成するＲＧＢの各成分の原画像が入力する。血管成分分離処理回路１２３４Ａは、前述の分離生成処理によって原画像から血管画像（図７の符号Ｖ１）を分離生成する。血管成分分離処理回路１２３４Ａは、分離生成された血管画像Ｖ１を乗算器Ｍ１Ｇ及びＭ１Ｂに出力する。乗算器Ｍ１Ｇ、Ｍ１Ｂはそれぞれ、血管画像Ｖ１の各画素に係数α１Ｇ、α１Ｂ（共に変動値）をかけてＧ、Ｂ成分のエンハンス画像（図７の符号Ｅ１Ｇ、Ｅ１Ｂ）を生成する。

エンハンス画像Ｅ１Ｒは、原画像Ｏ１Ｇを用いて生成されるため、原画像に比べて血管成分及び粘膜成分の輝度値が低い。エンハンス画像Ｅ１Ｇ、Ｅ１Ｂは共に血管画像Ｖ１を用いて生成されるため、粘膜成分の輝度値が原画像に比べて高く、血管成分の輝度値がエンハンス画像Ｅ１Ｒに比べて低い。すなわち、各エンハンス画像Ｅ１Ｒ、Ｅ１Ｇ、Ｅ１Ｂは、粘膜成分の輝度値がエンハンス処理によって上げられて又は粘膜成分を分離した血管画像を元に生成されるため、粘膜成分の彩度が原画像に比べて落とされている。そして、血管成分については、Ｒ成分の輝度値がＧ、Ｂ成分の輝度値より高い。このため、エンハンス画像Ｅ１Ｒ、Ｅ１Ｇ、Ｅ１Ｂを用いて生成されるカラーのエンハンス画像（図７の符号Ｅ１）は、白色基調の粘膜成分と赤みを帯びた血管成分で構成された画像になる。

なお、血管画像Ｖ１は、ヘモグロビンの濃度を濃淡画像として表現したものであるため、理想的には、明るさ等に影響されない物理量を算出した画像になる。すなわち、血管以外の情報が無いため、被写体の明るさによる勾配等の情報が失われた、平坦で奥行き感（手前が明るく奥が暗い）の無い画像になりやすい。そこで、本実施形態では、被写体が本来持つ明るさによる勾配を保存して被写体の奥行き感を残すべく、Ｇ成分の原画像を用いてエンハンス処理を行っている。本実施例１の変形例では、Ｇ成分の原画像の代わりに、Ｒ又はＢ成分の原画像を用いてエンハンス処理を行ってもよい。これと同様の変形例は、本実施例１以外の実施例においても想起される。

ここで、係数α１Ｇ、α１Ｂは共に、ＲＧＢの輝度比に応じて変動する。例えば、係数α１Ｇは、固定値α１Ｇ’に補正値Ｒ／Ｇ（処理対象の画素のＲ（サブピクセル）の輝度値を同一画素のＧ（サブピクセル）の輝度値で除算した値）をかけた値である。係数α１Ｂは、固定値α１Ｂ’に補正値Ｒ／Ｂ（処理対象の画素のＲ（サブピクセル）の輝度値を同一画素のＢ（サブピクセル）の輝度値で除算した値）をかけた値である。すなわち、エンハンス画像Ｅ１Ｇ、Ｅ１Ｂは、Ｒ成分を基準とした補正がかけられている。このため、エンハンス画像Ｅ１では、血管等の分光特性に患者毎の個人差がある場合にも、血管や粘膜等がばらつきの無い一定の色で再現されることとなる。術者は、エンハンス画像Ｅ１で再現された色から、注目箇所が血管、粘膜、病変部、正常部等であるかを容易に判断することができる。

具体例として、粘膜の分光特性に個人差がある２人の画像サンプルを次の表に示す。

表１から把握されるように、サンプル１の粘膜部分の輝度比Ｒ／Ｇ、Ｒ／Ｂはそれぞれ、１．２５０、１．４２９である。サンプル２の粘膜部分の輝度比Ｒ／Ｇ、Ｒ／Ｂはそれぞれ、１．４２９、１．４２９である。例えば血管成分画像の血管部分を０とし、非血管部分を１とする。

上記の輝度比を用いずに適当な係数値（例えばＲゲイン＝０．７、Ｇゲイン＝１．２、Ｂゲイン＝１．０）を用いた場合、
サンプル１
補正後Ｒ＝２００×０．７×１＝１４０
補正後Ｇ＝１６０×１．２×１＝１９２
補正後Ｂ＝１４０×１．０×１＝１４０
サンプル２
補正後Ｒ＝２００×０．７×１＝１４０
補正後Ｇ＝１４０×１．２×１＝１６８
補正後Ｂ＝１４０×１．０×１＝１４０
である。この場合、サンプル１とサンプル２の粘膜のＧ成分の差が広がる。すなわち、分光特性の個体差が無くなるどころか、却って大きくなる問題を存する。

上記の輝度比を用いた場合は、
サンプル１
補正後Ｒ＝２００×１．０００×１＝２００
補正後Ｇ＝１６０×１．２５０×１＝２００
補正後Ｂ＝１４０×１．４２９×１＝２００
サンプル２
補正後Ｒ＝２００×１．０００×１＝２００
補正後Ｇ＝１４０×１．４２９×１＝２００
補正後Ｂ＝１４０×１．４２９×１＝２００
である。サンプル１とサンプル２の粘膜は、原画像の色味に拘わらず、共に白色調に近付いて、ばらつきが無くなっていることが分かる。

なお、明瞭なエンハンス画像を得るという目的を達成するだけの場合は、エンハンス処理の実行に先立って血管画像の分離生成処理を行えば足り、係数α１Ｒ、α１Ｇ、α１Ｂの全てが固定値であってもよく、また、互いに非連動で任意に変更可能な値であっても構わない。これは、本実施例１以外の実施例においても当てはまることである。

図８は、本発明の実施例２のエンハンス処理回路２３４Ｂの構成を示す、図６と同様のブロック図である。図９は、本実施例２を説明するための、図７と同様の図である。図８に示されるように、エンハンス処理回路２３４Ｂは、血管成分分離処理回路１２３４Ｂ、数値変換回路１２３５Ｂ、及びＲＧＢの各色に対応した乗算器Ｍ２Ｒ、Ｍ２Ｇ、Ｍ２Ｂを有している。

血管成分分離処理回路１２３４Ｂには、カラーの原画像を構成するＲＧＢの各成分の原画像が入力する。血管成分分離処理回路１２３４Ｂは、前述の分離生成処理によって原画像から血管画像（図９の符号Ｖ２）を分離生成する。血管成分分離処理回路１２３４Ｂは、分離生成された血管画像Ｖ２を数値変換回路１２３５Ｂに出力する。

数値変換回路１２３５Ｂは、血管画像Ｖ２の各画素の階調（例えば０〜２５５）を所定の閾値と比較して二値化する（所定の閾値より高い階調を１に、所定の閾値より低い階調を０に、それぞれ変換する）。二値化された血管画像Ｖ２の各画素は、乗算器Ｍ２Ｒによる係数α２Ｒ（変動値）の乗算後、更に、Ｒ成分の原画像（図９の符号Ｏ２Ｒ）と乗算される。乗算の結果生成されたエンハンス画像（図９の符号Ｅ２Ｒ）は、Ｒ成分のエンハンス画像として色処理回路２３６で処理される。二値化された血管画像Ｖ２の各画素はまた、乗算器Ｍ２Ｇによる係数α２Ｇ（変動値）の乗算後、更に、Ｇ成分の原画像（図９の符号Ｏ２Ｇ）と乗算される。乗算の結果生成されたエンハンス画像（図９の符号Ｅ２Ｇ）は、Ｇ成分のエンハンス画像として色処理回路２３６で処理される。

乗算器Ｍ２Ｂには、原画像を構成するＢ成分の原画像（図９の符号Ｏ２Ｂ）が入力する。乗算器Ｍ２Ｂは、原画像Ｏ２Ｂの各画素に係数α２Ｂ（固定値）をかけてＢ成分のエンハンス画像（図９の符号Ｅ２Ｂ）を生成する。

エンハンス画像Ｅ２Ｂは、原画像Ｏ２Ｂを用いて生成されるため、原画像に比べて血管成分及び粘膜成分の輝度値が低い。エンハンス画像Ｅ２Ｒ、Ｅ２Ｇは共に血管画像Ｖ２を用いて生成されるため、粘膜成分の輝度値が原画像に比べて高く、血管成分の輝度値がエンハンス画像Ｅ２Ｂに比べて落とされている。このため、エンハンス画像Ｅ２Ｒ、Ｅ２Ｇ、Ｅ２Ｂを用いて生成されるカラーのエンハンス画像（図９の符号Ｅ２）は、白色基調の粘膜成分と青みを帯びた血管成分で構成された画像になる。

なお、血管画像Ｖ２だけでは平坦で奥行き感の無い画像になりやすい。そこで、本実施形態では、被写体の奥行き感が損なわれるのを避けるべく、ＲＧＢの各成分の原画像を利用してエンハンス処理を行っている。

ここで、係数α２Ｒ、α２Ｇは共に、ＲＧＢの輝度比に応じて変動する。例えば、係数α２Ｒは、固定値α２Ｒ’に補正値Ｂ／Ｒ（処理対象の画素のＢ（サブピクセル）の輝度値を同一画素のＲ（サブピクセル）の輝度値で除算した値）をかけた値である。係数α２Ｇは、固定値α２Ｇ’に補正値Ｂ／Ｇ（処理対象の画素のＢ（サブピクセル）の輝度値を同一画素のＧ（サブピクセル）の輝度値で除算した値）をかけた値である。すなわち、エンハンス画像Ｅ２Ｒ、Ｅ２Ｇは、Ｂ成分を基準とした補正がかけられている。このため、エンハンス画像Ｅ２では、血管等の分光特性に患者毎の個人差がある場合にも、血管や粘膜等がばらつきの無い一定の色で再現されることとなる。術者は、エンハンス画像Ｅ２で再現された色から、注目箇所が血管、粘膜、病変部、正常部等であるかを容易に判断することができる。

図１０は、本発明の実施例３のエンハンス処理回路２３４Ｃの構成を示す、図６と同様のブロック図である。図１１は、本実施例３を説明するための、図７と同様の図である。図１０に示されるように、エンハンス処理回路２３４Ｃは、血管成分分離処理回路１２３４Ｃ、数値変換回路１２３５Ｃ、粘膜成分分離処理回路１２３６Ｃ、及び乗算器Ｍ３Ｒ、Ｍ３Ｇ、Ｍ３Ｇ’、Ｍ３Ｂ、Ｍ３Ｂ’を有している。

血管成分分離処理回路１２３４Ｃには、原画像を構成するＲＧＢの各成分の原画像が入力する。血管成分分離処理回路１２３４Ｃは、前述の分離生成処理によって原画像から血管画像（図１０の符号Ｖ３）を分離生成する。血管成分分離処理回路１２３４Ｃは、分離生成された血管画像Ｖ３を数値変換回路１２３５Ｃに出力する。

数値変換回路１２３５Ｃは、血管画像Ｖ３の各画素の階調（例えば０〜２５５）を所定の閾値と比較して二値化する（所定の閾値より高い階調を１に、所定の閾値より低い階調を０に、それぞれ変換する）。二値化された血管画像Ｖ３は、乗算器Ｍ３Ｇ’及びＭ３Ｂ’に出力される。

粘膜成分分離処理回路１２３６Ｃには、原画像を構成するＲＧＢの各成分の原画像が入力する。粘膜成分分離処理回路１２３６Ｃは、前述の分離生成処理によって原画像から粘膜画像（図１０の符号Ｍ３）を分離生成する。粘膜成分分離処理回路１２３６Ｃは、分離生成された粘膜画像Ｍ３を乗算器Ｍ３Ｒ、Ｍ３Ｇ、Ｍ３Ｂに出力する。

乗算器Ｍ３Ｒは、粘膜画像Ｍ３の各画素に係数α３Ｒをかけて、Ｒのエンハンス画像（図１１の符号Ｅ３Ｒ）を生成する。

乗算器Ｍ３Ｇは、粘膜画像Ｍ３の各画素に係数α３Ｇをかける。乗算器Ｍ３Ｇ’は、二値化された血管画像Ｖ３の各画素に係数α３Ｇ’をかける。乗算器Ｍ３ＧとＭ３Ｇ’の乗算結果（粘膜画像Ｍ３と血管画像Ｖ３の対応画素の乗算結果）は互いに乗算されて、Ｇのエンハンス画像（図１１の符号Ｅ３Ｇ）が生成される。

乗算器Ｍ３Ｂは、粘膜画像Ｍ３の各画素に係数α３Ｂをかける。乗算器Ｍ３Ｂ’は、二値化された血管画像Ｖ３の各画素に係数α３Ｂ’をかける。乗算器Ｍ３ＢとＭ３Ｂ’の乗算結果（粘膜画像Ｍ３と血管画像Ｖ３の対応画素の乗算結果）は互いに乗算されて、Ｂのエンハンス画像（図１１の符号Ｅ３Ｂ）が生成される。

本実施例３においては係数α３Ｒ、α３Ｇ、α３Ｂが例えば同一値である。粘膜部分は、ＲＧＢ成分の輝度値が等しくなるため、グレスケールになる。また、例えば係数α３Ｇ’、α３Ｂ’が例えば同一値である。血管部分は、ＧＢ成分の輝度値が低くなると共にＲ成分が血管画像Ｖ３の影響を受けない。エンハンス画像Ｅ３Ｒ、Ｅ３Ｇ、Ｅ３Ｂを用いて生成されるカラーのエンハンス画像（図１１の符号Ｅ３）は、粘膜画像の奥行き感を忠実に再現しつつ、血管を赤みを帯びた色でエンハンス表示した画像になる。本実施例３においては、血管画像又は粘膜画像を構成する各色成分又は各係数の設定値を適宜選択することにより、血管と粘膜の色を独立して再現できるだけでなく、ＲＧＢの各成分の粘膜画像を利用することで奥行き感が忠実に再現された良好な画像が得られる。

以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。例えばエンハンス画像の生成に利用する色成分や各係数値は本実施例に例示したものに限らず、種々の組合せが考えられる。この組合せを選択することによって、エンハンスされる血管成分等を忠実な色、疑似カラー、特定のカラーバンド等で適宜再現することができる。

医療用観察システム１の撮像方式は同時方式に限らず、面順次方式であってもよい。また、固体撮像素子１０８のカラーチップフィルタは原色フィルタに限らず、補色フィルタとしてもよい。

１ 医療用観察システム
１００ 電子スコープ
２００ プロセッサ
２２０ 信号処理回路
２３４ エンハンス処理回路
３００ モニタ

Claims (4)

1. 被写体画像に含まれる特定構造を分析する分析手段と、
   前記分析結果に従って前記被写体画像から前記特定構造の画像を分離生成する分離画像生成手段と、
   前記分離生成された特定構造の画像にエンハンス処理を施すエンハンス手段と、
   を有することを特徴とするエンハンス画像処理装置。
2. 前記分析手段は、前記被写体画像から前記特定構造の画像を分離生成するための、前記被写体画像を構成する各色成分の信号の混合比を画素単位で推定することを特徴とする、請求項１に記載のエンハンス画像処理装置。
3. 前記被写体画像は血管と粘膜を含む画像であって、前記特定構造は前記血管であることを特徴とする、請求項１又は請求項２の何れかに記載のエンハンス画像処理装置。
4. 被写体を撮影する電子スコープと、
   前記電子スコープによって撮影された被写体画像が入力する請求項１から請求項３の何れか一項に記載のエンハンス画像処理装置と、
   を有することを特徴とする医療用観察システム。