JP2011139733A

JP2011139733A - 内視鏡装置

Info

Publication number: JP2011139733A
Application number: JP2010000681A
Authority: JP
Inventors: Masaaki Fukuda; 雅明福田
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2010-01-05
Filing date: 2010-01-05
Publication date: 2011-07-21
Anticipated expiration: 2030-01-05
Also published as: JP5528122B2

Abstract

【課題】画像の各領域に対してコントラストを最適に強調することが可能な内視鏡装置を得る。
【解決手段】第１１のヒストグラム７１、第１２のヒストグラム７２、第１３のヒストグラム７３の輝度に関する平均値は、それぞれ第１１の輝度平均値ａｖｅ１、第１２の輝度平均値ａｖｅ２、第１３の輝度平均値ａｖｅ３で表される。第１２の輝度平均値ａｖｅ２は、コントラスト強調ヒストグラム７８の平均値である強調輝度平均値ａｖｅ４と同じ値である。これらの輝度平均値に応じて、コントラスト強調ヒストグラムを輝度値軸に沿って平行移動させる。これにより、各領域におけるコントラストが強調されたまま、各領域の輝度が本来の輝度値に近づく。
【選択図】図１１

Description

本発明は、撮影画像において注目すべき部位を強調して表示する内視鏡装置に関する。

内視鏡装置は、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられて画像処理を行う内視鏡プロセッサとを備える。内視鏡スコープの遠位端部には、撮像素子、例えばＣＣＤが設けられる。撮像素子は、体内の観察対象物を撮像して得られた撮影画像を内視鏡プロセッサに送信する。内視鏡プロセッサは、撮影画像を画像処理した後、表示装置に表示する。

内視鏡プロセッサが実行する画像処理では、撮影画像を複数の領域に分割し、撮影画像のコントラストが強調されるように特定のヒストグラムを用いて輝度変換する。特定のヒストグラムは、各領域の輝度ヒストグラムが目標とするヒストグラムに近似するように各領域の輝度ヒストグラムを拡大する（特許文献１）。

特開２００３−２５６８３０号公報

しかし、このような手段では、各領域のヒストグラムの平均値が目標とするヒストグラムの平均値に近づくため、コントラストが強調された画像では、本来暗く表示されるべき部位が不自然に明るくなったり、明るく表示されるべき部位が不自然に暗くなったりすることがある。

本発明はこれらの問題に鑑みてなされたものであり、画像の各領域に対してコントラストを最適に強調することが可能な内視鏡装置を得ることを目的とする。

本願発明による内視鏡装置は、観察対象物を撮影して観察画像を出力する撮像素子と、観察画像を複数の領域に分割し、領域の画像のコントラストを強調する強調処理部とを備え、強調処理部は、領域の輝度ヒストグラムを、そのコントラストが強調されるように輝度変換して修正輝度ヒストグラムを算出し、この修正輝度ヒストグラムの平均値を輝度ヒストグラムの平均値に応じて調整することにより、コントラストが強調された画像の強調ヒストグラムを得ることを特徴とする。

強調処理部は、修正輝度ヒストグラムの平均値が輝度ヒストグラムの平均値と等しくなるように調整することにより、コントラストが強調された画像の強調ヒストグラムを得ることが好ましい。

強調処理部は、修正輝度ヒストグラムの輝度平均値と輝度ヒストグラムの輝度平均値との輝度差が所定の値よりも低い場合には、修正輝度ヒストグラムの輝度平均値と輝度ヒストグラムの輝度平均値との差が輝度差よりも小さくなるように修正輝度ヒストグラムを調整し、修正輝度ヒストグラムの輝度平均値と輝度ヒストグラムの輝度平均値との輝度差が所定の値よりも高い場合には、修正輝度ヒストグラムの輝度平均値と輝度ヒストグラムの輝度平均値との差が輝度差よりも大きくなるように修正輝度ヒストグラムを調整することにより、コントラストが強調された画像の強調ヒストグラムを得てもよい。

強調処理部は、複数の修正輝度ヒストグラムを調整し、調整後である複数の修正輝度ヒストグラムにおける輝度平均値どうしの輝度差が、調整前である複数の修正輝度ヒストグラムにおける輝度平均値どうしの輝度差よりも小さくなるように、複数の修正輝度ヒストグラムを調整することにより、コントラストが強調された画像の強調ヒストグラムを得てもよい。

強調処理部は、変換関数を用いて領域の輝度ヒストグラムを強調ヒストグラムに変換することが好ましい。

観察画像全体の輝度値と、所定の平均値と、所定の分散値とにより求められる正規分布を用いて強調ヒストグラムを算出し、算出された強調ヒストグラムの累積値を求めることにより、変換関数が求められることが好ましい。

領域の輝度値と、所定の平均値と、所定の分散値とにより求められる正規分布を用いて強調ヒストグラムを算出し、算出された強調ヒストグラムの累積値を求めることにより、変換関数が求められてもよい。

変換関数は、領域の画像を構成する色ごとに作成されてもよい。

領域は、第１の領域と、第１の領域の一部とその一部が重なる第２の領域とを有し、第１の領域は、第２の領域の一部と重なる重畳領域と、第１の領域のうち重畳領域に含まれない第１の独立領域とを有し、第２の領域は、第１の領域の一部と重なる第２の重畳領域と、第２の領域のうち重畳領域に含まれない第２の独立領域とを有し、強調処理部は、第１の領域のうち重畳領域に含まれる画像を第１の独立領域からの距離に応じて重み付けして得られた第１の処理画像と、第２の領域のうち重畳領域に含まれる画像を第２の独立領域からの距離に応じて重み付けして得られた第２の処理画像とを合成することが好ましい。

領域は、第１の領域及び第２の領域とその一部が重なる第３の領域と、第１の領域、第２の領域、及び第３の領域とその一部が重なる第４の領域とを有し、重畳領域は、第１の領域、第２の領域、第３の領域、及び第４の領域全てが重なって形成される領域であって、第３の領域の一部及び第４の領域の一部は重畳領域と重なり、第３の領域は、重畳領域に含まれない第３の独立領域を有し、第４の領域は、重畳領域に含まれない第４の独立領域を有し、強調処理部は、第３の領域のうち重畳領域に含まれる画像を第３の独立領域からの距離に応じて重み付けして得られた第３の処理画像と、第４の領域のうち重畳領域に含まれる画像を第４の独立領域からの距離に応じて重み付けして得られた第４の処理画像と、第１の処理画像と、第２の処理画像とを合成してもよい。

第１の領域、第２の領域、第３の領域、及び第４の領域は、重畳領域と面積比１／４づつ重なってもよい。

本願第２の発明による画像処理装置は、観察対象物を撮影した撮像素子が出力する観察画像を複数の領域に分割し、領域の画像のコントラストを強調する強調処理部を備え、強調処理部は、領域の輝度ヒストグラムを、そのコントラストが強調されるように輝度変換して修正輝度ヒストグラムを算出し、この修正輝度ヒストグラムの輝度平均値を輝度ヒストグラムの輝度平均値に応じて調整することにより、コントラストが強調された画像の強調ヒストグラムを得ることを特徴とする。

本発明によれば、画像の各領域に対してコントラストを最適に強調することが可能な内視鏡装置を得る。

内視鏡装置を概略的に示した図である。観察画像を分割して作成された領域を示す図である。観察画像を示した図である。観察画像全体のヒストグラムである。コントラストを強調する処理をヒストグラムをもって示した図である。調整処理に用いる第１の調整関数を示した図である。調整処理後のコントラスト強調ヒストグラムを示した図である。調整処理に用いる第２の調整関数を示した図である。コントラスト強調ヒストグラムを作成する手段を概念的に示した図である。コントラスト強調ヒストグラムである。変換関数を示した図である。輝度変換処理を示すフローチャートである。変換関数を示した図である。輝度変換処理を示すフローチャートである。重み係数を示した図である。各領域の輝度値を加算する手段を概念的に示した図である。処理を示すフローチャートである。表示画像を示した図である。

以下、本発明における内視鏡装置１００について添付図面を参照して説明する。まず、図１及び２を用いて内視鏡装置１００の構成について説明する。

内視鏡装置１００は、被験者の体内に挿入される内視鏡スコープ２００と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ３００と、内視鏡プロセッサ３００に接続されるモニター４００とを主に備える。

内視鏡スコープ２００は、被験者の体内に挿入される可撓部２１０と、術者が保持する操作部２２０と、内視鏡スコープ２００と内視鏡プロセッサ３００とを接続するコネクタ２３０とを主に備える。

可撓部２１０の遠位端部２１１は被験者の体内に挿入される。操作部２２０は可撓性のケーブル２０３によりコネクタ２３０と接続される。

可撓部２１０の遠位端部２１１には、撮像部を成すＣＣＤ２１４、観察対象物に照明光を照射するライトガイドファイバ２１３が主に設けられる。

ＣＣＤ２１４は、撮像レンズ２１８を介して被写体を撮像し、これにより得られた観察画像を観察画像信号として内視鏡プロセッサ３００に送信する。

可撓部２１０の遠位端部２１１には、ライトガイドファイバ２１３の遠位端が露出する。ライトガイドファイバ２１３は内視鏡スコープ２００の全長に渡って設けられ、後述する内視鏡プロセッサ３００が生じた照明光を、可撓部２１０の遠位端部２１１まで搬送する。照明光は、ライトガイドファイバ２１３の遠位端から観察対象物に向けて照射される。

操作部２２０は、複数のスイッチ２２１及び複数の操作部材２２２を有する。術者は操作部材２２２を操作することにより、可撓部２１０の遠位端部２１１を所望の方向に動かすことが可能である。また、術者がスイッチ２２１を操作すると、様々な処理が実行される。

内視鏡プロセッサ３００は、内視鏡装置１００の動作を制御するシステムコントローラ３１０と、ＣＣＤ２１４を駆動するＣＣＤドライバ３０２と、ライトガイドファイバ２１３に照明光を照射する光源３０１とを主に備える。

システムコントローラ３１０は、ＣＣＤ２１４と電気的に接続され、観察画像信号を受信する。ＣＣＤドライバ３０２は、システムコントローラ３１０からの信号に従って、ＣＣＤ２１４を駆動する。光源３０１は、システムコントローラ３１０からの信号に従って、複数種類の波長帯の光を逐次的に発光し、ライトガイドファイバ２１３に照射する。

ＣＣＤ２１４から観察画像信号を受信すると、システムコントローラ３１０は観察画像信号を画像処理して、表示画像を作成する。そして、表示画像をモニター４００に送信する。モニター４００は、この表示画像を表示する。観察画像信号は、ＣＣＤ２１４の各画素が出力した赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂから成る。

次に、システムコントローラ３１０により実行される画像処理について説明する。

画像処理は、色補間処理３１１、色変換マトリックス処理３１２、ＹＣｒＣｂ変換処理３１３、輪郭強調処理３１４、ＲＧＢ変換処理３１５、領域分割処理３１６、ヒストグラム算出処理３１７、輝度変換処理３１８、明るさ調整処理３１９、そして輝度合成処理３２０から成る。

ＣＣＤ２１４から観察画像信号を受信すると、システムコントローラ３１０は、観察画像信号を構成する各画素の輝度信号において欠けている輝度信号を補間する（色補間処理３１１）。補間された観察画像信号は、色変換マトリックス処理３１２によって色空間が変換される。そして、ＹＣｒＣｂ変換処理３１３が施された後に、術者が表示画像を見やすくなる程度に輪郭強調処理３１４がなされる。輪郭強調された観察画像信号は、ＲＧＢ変換処理３１５によりＲＧＢ色空間に変換される。

システムコントローラ３１０は、ＲＧＢ変換処理３１５された観察画像信号に対して、領域分割処理３１６、ヒストグラム算出処理３１７、輝度変換処理３１８、明るさ調整処理３１９、及び輝度合成処理３２０を主に実行する。これにより、観察画像のコントラストが適切に強調される。

次に、観察画像を複数の領域を分割する領域分割処理３１６について図２を用いて説明する。

観察画像５０は、水平方向及び垂直方向に並ぶ複数の領域に分割される。各領域は正方形であって、その一部が互いに重なりあう。観察画像５０の一部を構成する第１の領域５１、第２の領域５２、第３の領域５３、及び第４の領域５４を用いて、各領域の重なり状態について説明する。

第１の領域５１と第２の領域５２は、水平方向に隣り合い、その面積において互いに半分ずつ重なり合う。第２の領域５２と第３の領域５３は、垂直方向に隣り合い、その面積において互いに半分ずつ重なり合う。第３の領域５３と第４の領域５４は、水平方向に隣り合い、その面積において互いに半分ずつ重なり合う。第４の領域５４と第１の領域５１は、垂直方向に隣り合い、その面積において互いに半分ずつ重なり合う。第１の領域５１と第３の領域５３は、対角線方向に隣り合い、その面積において互いに１／４ずつ重なり合う。

第１の領域５１、第２の領域５２、第３の領域５３、及び第４の領域５４の全てが重なる領域が重畳領域５５を形成する。そして、第１の領域５１から重畳領域５５を除いた部分が第１の独立領域５６、第２の領域５２から重畳領域５５を除いた部分が第２の独立領域５７、第３の領域５３から重畳領域５５を除いた部分が第３の独立領域５８、及び第４の領域５４から重畳領域５５を除いた部分が第４の独立領域５９を成す。

次に、図３から６を用いて、各領域に関してヒストグラムを算出するヒストグラム算出処理３１７について説明する。

コントラスト強調する前の第１の観察画像６０を図３に示す。第１の観察画像６０は、病変部を撮影して得られた画像である。濃い赤色の病変部が中央に写されており、病変部から周囲に向かうにつれてピンク色となる。ピンク色の部分が正常部を写す。説明を容易にするため、互いに離間する第１１の領域６１、第１２の領域６２、及び第１３の領域６３が観察画像５０に設けられる。

第１１の領域６１は、観察画像５０の外縁部に設けられ、その範囲には正常部が含まれる。第１３の領域６３は観察画像５０の略中央に設けられ、その全体に異常部を写す。第１２の領域６２は、第１１の領域６１と第１３の領域６３との間に設けられ、異常部と正常部との境界を写す。

観察画像５０全体のヒストグラムは図４のようになる。輝度値は、その最小値から最大値まで広範囲に分布する。

第１１の領域６１のヒストグラムを示す第１１のヒストグラム７１、第１２の領域６２のヒストグラムを示す第１２のヒストグラム７２、及び第１３の領域６３のヒストグラムを示す第１３のヒストグラム７３を図５に示す。

第１１の領域６１は、明るいピンク色の正常部を含むため、第１１のヒストグラム７１は高輝度の領域に多くの頻度値を有する。第１３の領域６３は、暗い濃い赤色の異常部を含むため、第１３のヒストグラム７３は低輝度の領域に多くの頻度値を有する。そして、第１２の領域６２は、正常部及び異常部双方を含むため、第１２のヒストグラム７２は中輝度の領域に多くの頻度値を有する。各ヒストグラムは、互いの境界付近で重なり合い、説明を容易にするため同じ形状を持つ。

次に、第１１の領域６１、第１２の領域６２、及び第１３の領域６３に対して、累積頻度値を算出する。累積頻度値は、頻度値を累積した値であって、所定の輝度値に対応する累積頻度値は、最も低い輝度値から所定の輝度値まで頻度値を累積して求められる。第１１の領域６１の累積頻度値を第１１の累積頻度ヒストグラム７４、第１２の領域６２の累積頻度値を第１２の累積頻度ヒストグラム７５、及び第１３の領域６３の累積頻度値を第１３の累積頻度ヒストグラム７６で示す。各累積頻度ヒストグラムは、互いの境界付近で重なり合う。

次に、各累積頻度ヒストグラムをコントラスト強調ヒストグラム７８に変換するために用いる変換関数７７について説明する。変換関数７７は、コントラスト強調ヒストグラム７８のようなヒストグラムに各累積頻度ヒストグラムを変換するような関数であって、累積頻度ヒストグラムの累積頻度値を独立変数、輝度値を従属変数とする。また、変換関数７７は、予め定められたコントラスト強調ヒストグラム７８と累積頻度ヒストグラムとから求められる。

コントラスト強調ヒストグラム７８は、ユーザが異常部を見つけやすくなるように経験値によって予め決定されるヒストグラムであって、輝度値とコントラスト強調頻度値との関係により表される。図５に示す構成では、各領域の全体における輝度を用いてコントラスト強調ヒストグラム７８が領域ごとに作成され、各領域における赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂを個別に考慮しない。

次に、コントラスト強調ヒストグラム７８の作成手段について説明する。

コントラスト強調ヒストグラム７８の作成手段は、３種類ある。第１の作成手段は、画像全体のカラーバランスをもとにコントラスト強調ヒストグラム７８を作成する。第２の作成手段は、領域ごとのカラーバランスをもとにコントラスト強調ヒストグラム７８を作成する。第３の作成手段は、統計的に求められた最適なカラーバランスをもとにコントラスト強調ヒストグラム７８を作成する。

まず、第１の作成手段について図６から８を用いて説明する。第１の作成手段は、画像全体のカラーバランスをもとに、赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂ各々に対してコントラスト強調ヒストグラム７８を作成する。領域ごとにコントラスト強調ヒストグラム７８を作成する図５の構成とは異なる。

初めに、コントラスト強調を行う対象となる観察画像５０における、赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂの平均を算出する。ここで、赤色輝度値Ｒの平均値である赤色平均値Ｍｒは２００、緑色輝度値Ｇの平均値である緑色平均値Ｍｇは１５０、そして青色輝度値Ｂの平均値である青色平均値Ｍｂは１００とする。

次に、求められた平均値を用いて、観察画像５０のカラーバランスを求める。カラーバランスは、赤色平均値Ｍｒ、緑色平均値Ｍｇ、及び青色平均値Ｍｂを緑色平均値Ｍｇで除した値に対して比を取ったものである。ここでは、カラーバランス（Ｒ：Ｇ：Ｂ）は、以下の式で表される。
（Ｒ：Ｇ：Ｂ）＝（１．３３：１：０．６７）

ここで、設定パラメータが予め決定されている。設定パラメータは、平均値である設定平均値及び分散である設定分散からなり、発見すべき異常部の特性などを鑑みて決定される。ここでは、設定平均値を１４０、設定分散を５００とする。この設定平均値をカラーバランスに乗じることにより、以下の強調平均カラーバランス（Ｒｅ：Ｇｅ：Ｂｅ）が求められる。
（Ｒｅ：Ｇｅ：Ｂｅ）＝（１８６：１４０：９３）
この強調平均カラーバランスにおける赤色強調平均値Ｒｅ及び設定分散５００により規定される正規分布を赤色コントラスト強調ヒストグラム８１、緑色強調平均値Ｇｅ及び設定分散５００により規定される正規分布を緑色コントラスト強調ヒストグラム８２、そして、青色強調平均値Ｂｅ及び設定分散５００により規定される正規分布を青色コントラスト強調ヒストグラム８３とする（図７参照）。正規分布は、以下の式による。

ここで、ｉは１以上２５６未満の輝度値、ｈｉｓｔ＿ｏｕｔ［ｉ］はコントラスト強調頻度値、ｔｒｇ＿ｍｅａｎは設定平均値、σ^２は設定分散、σは標準偏差である。

これらのコントラスト強調ヒストグラム７８を用いて、各色に対応する変換関数７７が求められる。変換関数７７は、累積頻度ヒストグラムの輝度値を、累積頻度ヒストグラムの累積頻度値に応じて、コントラスト強調ヒストグラム７８の輝度値と同じ範囲まで拡張する。赤色コントラスト強調ヒストグラム８１に対応する赤色変換関数８４、緑色コントラスト強調ヒストグラム８２に対応する緑色変換関数８５、そして青色コントラスト強調ヒストグラム８３に対応する青色変換関数８６を図８に示す。

なお、図５に示す領域ごとにコントラスト強調ヒストグラム７８を作成する手段もまた同様にして行われるため、説明を省略する。

第２の作成手段について図６を用いて説明する。第２の作成手段は、カラーバランスを算出する対象が領域である点で第１の作成手段と異なる。各領域に対してコントラスト強調ヒストグラム７８を作成する。他の処理は第１の作成手段と同様であるため、説明を省略する。

第３の作成手段について説明する。第３の作成手段は、赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂに対してそれぞれコントラスト強調ヒストグラム７８を作成する。

内視鏡装置１００を用いて、臓器を内側から観察する場合を考える。臓器の内側は、血管等の赤色輝度値Ｒを有する光を反射する部位と、粘膜等の肌色の輝度成分を有する光を反射する部位とが存在する。肌色は、赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂを有する。そこで、肌色の輝度成分を有する光の彩度を低下させ、かつ赤色輝度値Ｒが上げるようなコントラスト強調ヒストグラム７８を作成する。作成にあたり、様々な臓器を撮影したデータに対して統計手法を適用する。例えば、粘膜等の肌色の輝度成分を有する部位のカラーバランスは１に近いものとし、血管等の赤色輝度値Ｒを多く有する部位におけるカラーバランスの各成分が大きく異なるような値とする。

なお、ここで算出された変換関数７７は、ＬＵＴとしてシステムコントローラ３１０に保存される。ＬＵＴは、累積頻度ヒストグラムの累積頻度値と、コントラスト強調ヒストグラム７８の輝度値との対応を表す表である。これを参照するシステムコントローラ３１０は、累積頻度値に応じて、コントラスト強調ヒストグラム７８の輝度値を出力することができる。

次に、輝度変換処理３１８について図９を用いて説明する。輝度変換処理３１８は、領域が有する全ての画素のコントラストを強調する処理であって、ヒストグラム算出処理３１７が終了して、変換関数７７（ＬＵＴ）及び累積頻度ヒストグラムが作成された後に実行される。ここで、領域における水平方向の画素数はｗ個、垂直方向の画素数はｈ個であるとする。

ステップＳ９０では、座標（ｘ，ｙ）を初期化し、１を代入する。変数ｘは、水平方向に対する画素の座標を表し、変数ｙは、垂直方向に対する画素の座標を表す。

ステップＳ９１では、座標（ｘ，ｙ）における輝度Ｉｎ（ｘ，ｙ）を取得する。

次のステップＳ９２では、輝度Ｉｎ（ｘ，ｙ）に対応する累積頻度ヒストグラムを取得する。例えば、輝度Ｉｎ（ｘ，ｙ）が第１１の領域６１に属する場合、第１１の累積頻度ヒストグラム７４を取得し、赤色輝度値Ｒに属する場合、赤色輝度値Ｒの累積頻度ヒストグラムを取得する。

ステップＳ９３では、累積頻度ヒストグラムを参照して、輝度Ｉｎ（ｘ，ｙ）に対応する累積頻度値を取得する。

ステップＳ９４では、ＬＵＴを参照して、ステップＳ９３で取得した累積頻度値に対応する輝度値を取得する。

次のステップＳ９５では、ステップＳ９４で取得した輝度値を座標（ｘ，ｙ）における強調輝度Ｏｕｔ（ｘ，ｙ）として出力する。

ステップＳ９６では、変数ｘが水平方向画素数ｗ未満であるかを判断する。水平方向画素数ｗ未満である場合、処理はステップＳ９７において変数ｘを１だけ増やしてステップＳ９１に戻る。水平方向画素数ｗ未満でない場合、処理はステップＳ９８に進む。

ステップＳ９８では、変数ｙが垂直方向画素数ｈ未満であるかを判断する。垂直方向画素数ｈ未満である場合、処理はステップＳ９９において変数ｙを１だけ増やしてステップＳ９１に戻る。垂直方向画素数ｙ未満でない場合、処理は終了する。

輝度変換処理３１８を実行することにより、各領域のコントラストが強調される。

次に、明るさ調整処理３１９について図５、１０から１２を用いて説明する。明るさ調整処理３１９は、各領域に対してコントラスト強調ヒストグラム７８が作成された後に実行される。コントラスト強調ヒストグラム７８は、修正輝度ヒストグラムである。

第１１のヒストグラム７１、第１２のヒストグラム７２、第１３のヒストグラム７３の輝度に関する平均値は、それぞれ第１１の輝度平均値ａｖｅ１、第１２の輝度平均値ａｖｅ２、第１３の輝度平均値ａｖｅ３で表される（図５参照）。第１２の輝度平均値ａｖｅ２は、コントラスト強調ヒストグラム７８の平均値である強調輝度平均値ａｖｅ４と同じ値である。これらの輝度平均値に応じて、コントラスト強調ヒストグラムを輝度値軸に沿って平行移動させる。これにより、各領域におけるコントラストが強調されたまま、各領域の輝度が本来の輝度値に近づく。以下、詳細に説明する。

第１１のヒストグラム７１について説明する。まず、強調輝度平均値ａｖｅ４と第１１の輝度平均値ａｖｅ１との差である第１１の入力輝度差ｄ１を求める。図１０に示す関数を用いて、第１１の平行移動値ｏｆ１を求める。そして、コントラスト強調ヒストグラム７８の輝度値から第１１の平行移動値ｏｆ１を減じる。第１１の平行移動値ｏｆ１を減じるのは、第１１の輝度平均値ａｖｅ１は強調輝度平均値ａｖｅ４よりも小さいからである。すなわち、コントラスト強調ヒストグラム７８を、輝度値軸の負方向に平行移動させる。そして、これにより得られた第１１のコントラスト強調ヒストグラム１０１を第１１の領域６１のコントラスト強調ヒストグラムとする（図１１参照）。

第１２のヒストグラム７２について説明する。まず、強調輝度平均値ａｖｅ４と第１２の輝度平均値ａｖｅ２との差である第１２の入力輝度差ｄ２を求める。第１２の輝度平均値ａｖｅ２は強調輝度平均値ａｖｅ４と同じ値であるから、入力輝度差ｄ２は０である。そのため、図１０に示す関数から第１２の平行移動値ｏｆ２が０となり、第１２のコントラスト強調ヒストグラム１０２は平行移動せず、コントラスト強調ヒストグラム７８と同じものになる。そして、第１２のコントラスト強調ヒストグラム１０２を第１２の領域６２のコントラスト強調ヒストグラムとする（図１１参照）。

第１３のヒストグラム７３について説明する。まず、強調輝度平均値ａｖｅ４と第１３の輝度平均値ａｖｅ３との差である第１３の入力輝度差ｄ３を求める。図１０に示す関数を用いて、第１３の平行移動値ｏｆ３を求める。そして、コントラスト強調ヒストグラム７８の輝度値に第１３の平行移動値ｏｆ３を加える。第１３の平行移動値ｏｆ３を加えるのは、第１３の輝度平均値ａｖｅ３が強調輝度平均値ａｖｅ４よりも大きいからである。すなわち、コントラスト強調ヒストグラム７８を、輝度値軸の正方向に平行移動させる。そして、これにより得られた第１３のコントラスト強調ヒストグラム１０３を第１３の領域６３のコントラスト強調ヒストグラムとする（図１１参照）。

なお、入力輝度差ｄから平行移動値ｏｆを求めるとき、図１２に示すように入力輝度差ｄの値に応じて重み付けがなされた関数を用いても良い。このとき、コントラスト強調ヒストグラム７８の強調輝度平均値ａｖｅ４と第１１のヒストグラム７１の輝度平均値ａｖｅ１との輝度差ｄ１が所定の値ｄａよりも低い場合には、コントラスト強調ヒストグラム７８の強調輝度平均値ａｖｅ４と第１１のヒストグラム７１の輝度平均値ａｖｅ１との輝度差ｏｆ１が第１１の入力輝度差ｄ１よりも小さくなるように第１１のコントラスト強調ヒストグラム１０１を調整する。他方、コントラスト強調ヒストグラム７８の強調輝度平均値ａｖｅ４と第１１のヒストグラム７１の輝度平均値ａｖｅ１との輝度差ｄ１が所定の値ｄａよりも高い場合には、コントラスト強調ヒストグラム７８の強調輝度平均値ａｖｅ４と第１１のヒストグラム７１の輝度平均値ａｖｅ１との輝度差ｏｆ１が第１１の輝度差ｄ１よりも大きくなるように第１１のコントラスト強調ヒストグラム１０１を調整する。

また、入力輝度差ｄから平行移動値ｏｆを求めるとき、図１４に示すように入力輝度差ｄの値に応じて重み付けがなされた関数を用いても良い。図１４に示す関数は、入力輝度差ｄが最小値または最大値をとるとき、出力輝度差ｏｆを入力輝度差ｄと同じ値とし、入力輝度差ｄが値ｄａをとるとき、入力輝度差ｄとの差が最も大きくなるような値ｏｆ５を出力輝度差ｏｆとする。すなわち、複数のコントラスト強調ヒストグラムを関数により変換するとき、変換前のコントラスト強調ヒストグラムの輝度平均値どうしの輝度差と変換後のコントラスト強調ヒストグラムの輝度平均値どうしの輝度差を小さくする。

第１１のヒストグラム７１について説明する。まず、強調輝度平均値ａｖｅ４と第１１の輝度平均値ａｖｅ１との輝度差である第１１の入力輝度差ｄ１を求める。図１４に示す関数を用いて、第１４の平行移動値ｏｆ４を求める。そして、コントラスト強調ヒストグラム７８の輝度値から第１４の平行移動値ｏｆ４を減じる。第１４の平行移動値ｏｆ４を減じるのは、第１１の輝度平均値ａｖｅ１は強調輝度平均値ａｖｅ４よりも小さいからである。すなわち、コントラスト強調ヒストグラム７８を、第１４の平行移動値ｏｆ４だけ輝度値軸の負方向に平行移動させる。そして、これにより得られた第１４のコントラスト強調ヒストグラム４０１を第１１の領域６１のコントラスト強調ヒストグラムとする（図１３参照）。

第１２のヒストグラム７２について説明する。まず、強調輝度平均値ａｖｅ４と第１２の輝度平均値ａｖｅ２との輝度差である第１５の入力輝度差ｄａを求める。図１４に示す関数を用いて、第１５の平行移動値ｏｆ５を求める。そして、コントラスト強調ヒストグラム７８の輝度値から第１５の平行移動値ｏｆ５を減じる。すなわち、コントラスト強調ヒストグラム７８を、第１５の平行移動値ｏｆ５だけ輝度値軸の負方向に平行移動させる。そして、これにより得られた第１５のコントラスト強調ヒストグラム４０２を第１２の領域６２のコントラスト強調ヒストグラムとする（図１３参照）。

第１３のヒストグラム７３について説明する。まず、強調輝度平均値ａｖｅ４と第１３の輝度平均値ａｖｅ３との輝度差である第１６の入力輝度差ｄ６を求める。図１４に示す関数を用いて、第１６の平行移動値ｏｆ６を求める。そして、コントラスト強調ヒストグラム７８の輝度値に第１６の平行移動値ｏｆ６を加える。第１６の平行移動値ｏｆ６を加えるのは、第１３の輝度平均値ａｖｅ３が強調輝度平均値ａｖｅ４よりも大きいからである。すなわち、コントラスト強調ヒストグラム７８を、輝度値軸の正方向に平行移動させる。そして、これにより得られた第１６のコントラスト強調ヒストグラム４０３を第１３の領域６３のコントラスト強調ヒストグラムとする（図１３参照）。

図１０及び図１２に示すような関数を用いると、コントラスト強調ヒストグラムの一部が再現可能な輝度値の範囲から平行移動により逸脱してしまい、これにより画像の階調が潰れてしまうおそれがあるが、図１４に示す関数によれば、コントラスト強調ヒストグラムのほとんど全てを再現可能な輝度値の範囲に納め、明るさ調整処理３１９により画像の階調が潰れてしまうことを防止し、かつ、ダイナミックレンジを拡張することと同様の効果を得ることができる。

次に、コントラスト強調ヒストグラム７８から表示画像を作成する輝度合成処理３２０について図１５及び１６を用いて説明する。輝度合成処理３２０は、各領域の輝度値に対して重み付け係数を乗じた後に各領域の輝度値を加算して表示画像を作成する処理である。

まず、重み係数について図１５を用いて説明する。各領域の輝度値、すなわち赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂは、予め決定される重み係数に応じて加算され、表示画像における赤色輝度値Ｒ、緑色輝度値Ｇ、及び青色輝度値Ｂとして用いられる。第１の領域５１と第２の領域５２とが重なる部位における重み係数を図１５に示す。

重み係数は、第１の領域５１の輝度値に対して用いられる第１の重み関数と、第２の領域５２の輝度値に対して用いられる第２の重み関数とにより決定される。第１の重み関数は、第１の独立領域５６に属する輝度値に対しては１である。一方、重畳領域５５に属する輝度値に対しては、重畳領域５５と第１の独立領域５６との境界から第１の領域５１と第２の独立領域５７との境界まで１から０まで線形に単調減少する。すなわち、第１の独立領域５６からの距離に応じて重み付け係数が決定される。他方、第２の重み関数は、第２の独立領域５７に属する輝度値に対しては１である。一方、重畳領域５５に属する輝度値に対しては、第１の独立領域５６と第２の領域５２との境界から重畳領域５５と第２の独立領域５７との境界まで０から１まで線形に単調増加する。すなわち、第２の独立領域５７からの距離に応じて重み付け係数が決定される。同様にして、重み係数が第１の領域５１、第２の領域５２、第３の領域５３、及び第４の領域５４それぞれの間の重畳領域５５に対して決定される。

次に、各領域の輝度値を加算する手段について図１６を用いて説明する。各領域のコントラスト強調ヒストグラム７８が作成されると、コントラスト強調ヒストグラム７８により求められる輝度値に対して重み係数が乗じられる。これを、第１の領域５１から第４の領域５４まで実行する。そして、求められた値をすべて加算することにより、表示画像の輝度値を算出する。

次に、ヒストグラム算出処理３１７、輝度変換処理３１８、及び輝度合成処理３２０における一連の流れを図３、１７及び１８を用いて説明する。これらの処理が実行される前に、ＬＵＴが作成され、観察画像５０が複数の領域に分割されている。そして、領域１つ１つに対してこれらの処理が実行される。

ステップＳ１２０１では、処理の対象となった領域に対して、累積頻度ヒストグラムを作成する。

ステップＳ１２０２では、ＬＵＴを参照してコントラスト強調された輝度値を取得する。

ステップＳ１２０３では、コントラスト強調された輝度値を強調輝度として出力する。

ステップＳ１２０４では、明るさ調整処理を実行し、各領域における輝度を調整する。

ステップＳ１２０５では、重畳領域５５の輝度を合成する。

ステップＳ１２０６では、次に処理すべき領域が存在するか否かを判断する。存在する場合処理はステップＳ１２０１に戻り、存在しない場合、処理は終了する。

これにより、図３に示されるような観察画像５０が、図１８に示されるような表示画像に変換される。

本実施形態によれば、領域間に境界を表してしまうことなく画像の各領域に対してコントラストを最適に強調することが可能となる。

また、観察画像の暗部及び明部における階調の潰れを抑制できる。これにより、術者が観察対象物の凹凸及び模様、及び血管を精度良く認識できる。さらに、観察画像が本来有している奥行き感を保持し、かつ画像全体において明度を確保しながら、コントラストを強調することができる。

さらに、コントラスト強調ヒストグラムをもとの観察画像のカラーバランスを用いて作成することにより、観察画像のカラーバランスを大きく変えることなく、視認性の良い表示画像を得ることができる。

なお、第１の観察画像６０は略平面状に広がる病変部を撮影して得られた画像であるとして説明したが、管腔や袋状の観察対象物を撮影して得られた画像であっても良い。このような画像では配光や奥行きを原因とする大きな明暗が生じやすいため、画像全体におけるヒストグラムが広範囲に分布することになる。そのため、本実施形態を適用することにより、本実施形態と同様の効果を得る。

また、撮像部はＣＣＤ２１４に限定されず、例えばＣＭＯＳ等の撮像素子であっても良い。

１００内視鏡装置
２００内視鏡スコープ
２０３ケーブル
２１０可撓部
２１１遠位端部
２１３ライトガイドファイバ
２１４ＣＣＤ
２１８撮像レンズ
２２０操作部
２２１スイッチ
２２２操作部材
２３０コネクタ
３００内視鏡プロセッサ
３０１光源
３０２ＣＣＤドライバ
３１０システムコントローラ
４００モニター

Claims

観察対象物を撮影した撮像素子が出力する観察画像を複数の領域に分割し、前記領域の画像のコントラストを強調する強調処理部を備え、
前記強調処理部は、前記領域の輝度ヒストグラムを、そのコントラストが強調されるように輝度変換して修正輝度ヒストグラムを算出し、この修正輝度ヒストグラムの輝度平均値を輝度ヒストグラムの輝度平均値に応じて調整することにより、コントラストが強調された画像の強調ヒストグラムを得る内視鏡装置。
前記強調処理部は、修正輝度ヒストグラムの輝度平均値が前記輝度ヒストグラムの輝度平均値と等しくなるように調整することにより、コントラストが強調された画像の強調ヒストグラムを得る請求項１に記載の内視鏡装置。
前記強調処理部は、前記修正輝度ヒストグラムの輝度平均値と前記輝度ヒストグラムの輝度平均値との輝度差が所定の値よりも低い場合には、前記修正輝度ヒストグラムの輝度平均値と前記輝度ヒストグラムの輝度平均値との差が前記輝度差よりも小さくなるように前記修正輝度ヒストグラムを調整し、前記修正輝度ヒストグラムの輝度平均値と前記輝度ヒストグラムの輝度平均値との輝度差が所定の値よりも高い場合には、前記修正輝度ヒストグラムの輝度平均値と前記輝度ヒストグラムの輝度平均値との差が前記輝度差よりも大きくなるように前記修正輝度ヒストグラムを調整することにより、コントラストが強調された画像の強調ヒストグラムを得る請求項１に記載の内視鏡装置。
前記強調処理部は、複数の前記修正輝度ヒストグラムを調整し、調整後である複数の前記修正輝度ヒストグラムにおける輝度平均値どうしの輝度差が、調整前である複数の前記修正輝度ヒストグラムにおける輝度平均値どうしの輝度差よりも小さくなるように、複数の前記修正輝度ヒストグラムを調整することにより、コントラストが強調された画像の強調ヒストグラムを得る請求項１に記載の内視鏡装置。
前記強調処理部は、変換関数を用いて前記領域の輝度ヒストグラムを強調ヒストグラムに変換する請求項２又は３に記載の内視鏡装置。
観察画像全体の輝度値と、所定の平均値と、所定の分散値とにより求められる正規分布を用いて強調ヒストグラムを算出し、算出された強調ヒストグラムの累積値を求めることにより、前記変換関数が求められる請求項５に記載の内視鏡装置。
前記領域の輝度値と、所定の平均値と、所定の分散値とにより求められる正規分布を用いて強調ヒストグラムを算出し、算出された強調ヒストグラムの累積値を求めることにより、前記変換関数が求められる請求項５に記載の内視鏡装置。
前記変換関数は、前記領域の画像を構成する色ごとに作成される請求項５から７に記載の内視鏡装置。
前記領域は、第１の領域と、前記第１の領域の一部とその一部が重なる第２の領域とを有し、前記第１の領域は、前記第２の領域の一部と重なる重畳領域と、前記第１の領域のうち前記重畳領域に含まれない第１の独立領域とを有し、前記第２の領域は、前記第１の領域の一部と重なる第２の重畳領域と、前記第２の領域のうち前記重畳領域に含まれない第２の独立領域とを有し、
前記強調処理部は、前記第１の領域のうち前記重畳領域に含まれる画像を前記第１の独立領域からの距離に応じて重み付けして得られた第１の処理画像と、前記第２の領域のうち前記重畳領域に含まれる画像を前記第２の独立領域からの距離に応じて重み付けして得られた第２の処理画像とを合成する請求項２又は３に記載の内視鏡装置。
前記領域は、前記第１の領域及び前記第２の領域とその一部が重なる第３の領域と、前記第１の領域、前記第２の領域、及び前記第３の領域とその一部が重なる第４の領域とを有し、前記重畳領域は、前記第１の領域、前記第２の領域、前記第３の領域、及び第４の領域全てが重なって形成される領域であって、
前記第３の領域の一部及び前記第４の領域の一部は前記重畳領域と重なり、前記第３の領域は、前記重畳領域に含まれない第３の独立領域を有し、前記第４の領域は、前記重畳領域に含まれない第４の独立領域を有し、
前記強調処理部は、前記第３の領域のうち前記重畳領域に含まれる画像を前記第３の独立領域からの距離に応じて重み付けして得られた第３の処理画像と、前記第４の領域のうち前記重畳領域に含まれる画像を前記第４の独立領域からの距離に応じて重み付けして得られた第４の処理画像と、前記第１の処理画像と、前記第２の処理画像とを合成する請求項９に記載の内視鏡装置。
前記第１の領域、前記第２の領域、前記第３の領域、及び前記第４の領域は、前記重畳領域と面積比１／４づつ重なる請求項１０に記載の内視鏡装置。
観察対象物を撮影した撮像素子が出力する観察画像を複数の領域に分割し、前記領域の画像のコントラストを強調する強調処理部を備え、
前記強調処理部は、前記領域の輝度ヒストグラムを、そのコントラストが強調されるように輝度変換して修正輝度ヒストグラムを算出し、この修正輝度ヒストグラムの輝度平均値を輝度ヒストグラムの輝度平均値に応じて調整することにより、コントラストが強調された画像の強調ヒストグラムを得る画像処理装置。