JP2009273691A - 内視鏡画像処理装置および方法 - Google Patents

Abstract

【課題】 内視鏡画像処理装置においてスコープの種類の変化、経時変化、環境変化等が生じた場合であっても、適切なパラメータによるノイズ抑制処理を行う。
【解決手段】 内視鏡により実際に被写体を撮影したときの内視鏡画像Ｐ０を複数の領域に分割し領域毎に画素値の画像分散値σ_{（ｓ＋ｎ）} ^２が算出される。その後、画像分散値σ_{（ｓ＋ｎ）} ^２から内視鏡画像Ｐ０のノイズ成分の特性を示すノイズ分散値σ_ｎ ^２が推定され、このノイズ分散値σ_ｎ ^２を用いて内視鏡画像Ｐ０に対しｗｉｅｎｅｒフィルターを用いたノイズ抑制処理が行われる。
【選択図】 図１

Description

本発明は、内視鏡により取得された内視鏡画像に対しノイズ抑制処理を行う内視鏡画像処理装置および方法に関するものである。

従来、内視鏡を用いて体腔内の被写体を撮影し内視鏡画像を取得した際、この内視鏡画像について様々な画像処理が施された後表示装置等に出力される。この画像処理の一つとして内視鏡画像内のノイズ成分を抑制するためのノイズ抑制処理を行うことが知られており、ノイズ抑制処理として様々なノイズ抑制フィルターが使用可能である。ノイズ抑制フィルターの多くは、ノイズ分散値を必要とする。たとえばｗｉｅｎｅｒフィルターが用いられる場合（たとえば特許文献１参照）、ｗｉｅｎｅｒフィルターは撮影により取得された画像の分散値と、予め設定された撮像素子等に固有のノイズ特性を示すノイズ分散値とをパラメータとするフィルターであって、撮影により取得した画像から画像分散値を算出し、予め記憶されたノイズ分散値とを用いて内視鏡画像のノイズ抑制処理が行われる。

ところで、内視鏡装置においては、複数のスコープが用意されており、たとえば観察する部位毎に異なる種類のスコープを用いて撮影が行われる。各スコープはそれぞれノイズ特性が異なるものであるため、予めスコープの種類毎にノイズ分散値を記憶しておき、各スコープに適合したノイズ分散値を用いて上述したｗｉｅｎｅｒフィルターなどのノイズ抑制フィルターによるノイズ抑制処理が施される。
特開２００７−３００９７２号公報

しかし、同一種類のスコープであってもノイズ特性はスコープ毎に異なる場合があり、必ずしも記憶されているノイズ分散値が適しているとは限らず、予めノイズ分散値を記憶させたとしても、最適なノイズ抑制処理を行うことができない場合があるという問題がある。また、新規な構成のスコープを用いる場合、新規な構成のスコープに対応したノイズ分散値を既存の内視鏡装置に記憶させる必要があり手間が掛かるという問題がある。

そこで、本発明は、スコープの種類の変化、経時変化、環境変化等が生じた場合であっても、適切なパラメータによるノイズ抑制処理を行うことができる内視鏡画像処理装置および方法を提供することを目的とするものである。

本発明の内視鏡画像処理装置は、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出する分散値算出手段と、分散値算出手段により算出された画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定するノイズ分散値推定手段と、ノイズ分散値推定手段により推定されたノイズ分散値を用いて内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うノイズ抑制手段とを備えたことを特徴とするものである。

本発明の内視鏡画像処理方法は、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出し、算出した画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、推定したノイズ分散値を用いて内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うことを特徴とするものである。

ここで、内視鏡画像処理装置は、面順次方式により各ＲＧＢ画像を別々に取得した後にこれらの成分画像を用いて内視鏡画像を取得するものであってもよいし、同時方式により内視鏡画像を取得するものであってもよい。さらに、内視鏡画像は静止画像であってもよいし動画像であってもよい。

また、ノイズ抑制フィルターは、ノイズ分散値をパラメータとして用いたものであればよく、たとえばｗｉｅｎｅｒフィルターや高周波ゲインフィルター等であってもよい。なお、ノイズ抑制フィルターが高周波ゲインフィルターであるとき、ノイズ抑制手段はノイズ分散値毎に異なる高周波ゲインフィルターを有していてもよい。そして、ノイズ抑制手段はノイズ分散値推定手段により推定されたノイズ分散値に基づいてノイズ抑制処理に用いる高周波ゲインフィルターを選択しノイズ抑制処理を行う。

なお、ノイズ分散値推定手段は画像分散値からノイズ分散値を推定するものであればその方法を問わず、たとえば各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に最も頻度の高い画像分散値をカテゴリーにおけるノイズ分散値として推定するものであってもよい。

あるいは、ノイズ分散値推定手段は、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に画像分散値の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合となる画像分散値をノイズ分散値として推定するものであってもよい。

また、ノイズ抑制手段は、ｗｉｅｎｅｒフィルターなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであれば良く、たとえば内視鏡画像を複数の領域に分割し、分割した各領域の画素平均値を算出し、ノイズ分散値推定手段において分類された複数のカテゴリーのうち、算出した画素平均値が該当するカテゴリーのノイズ分散値を選択し、選択したノイズ分散値を用いてｗｉｅｎｅｒフィルター、高周波ゲインなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであってもよい。

さらに、内視鏡画像は動画像からなるものであってもよいし静止画像からなるものであってもよい。内視鏡画像が動画像からなるものであるとき、ノイズ分散値推定手段はｎフレーム／フィールド目の内視鏡画像からノイズ分散値を推定するものであり、ノイズ抑制手段がｎ＋１フレーム／フィールド目以後の内視鏡画像についてノイズ分散値を用いてノイズ抑制処理を行うものであってもよい。

また、ノイズ分散値推定手段は、内視鏡画像のデフォーカス領域からノイズ分散値を推定するものであってもよい。なお、デフォーカス領域は内視鏡画像の一部の領域であってもよいし全領域であってもよい。

さらに、ノイズ分散値推定手段は、１枚の内視鏡画像から取得される画像分散値からノイズ分散値を推定してもよいし、複数の内視鏡画像から取得される画像分散値からノイズ分散値を推定してもよい。

本発明の内視鏡画像処理装置および方法によれば、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出し、算出した画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、推定したノイズ分散値を用いて内視鏡画像に対しｗｉｅｎｅｒフィルターなどのノイズ抑制フィルターを用いたノイズ抑制処理を行うことにより、実際に被写体を撮影して取得された内視鏡画像から自動的にノイズ分散値を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値を変化させて適切なノイズ抑制処理を行うことができる。

なお、ノイズ分散値推定手段が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に最も頻度の高い画像分散値をカテゴリーにおけるノイズ分散値として推定するものであるとき、ノイズ分散値は信号レベルにより変わることに対応してノイズ分散値を推定することができるため、画像分散値から精度良くノイズ分散値を推定することができる。

また、ノイズ分散値推定手段が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に画像分散値の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合となる画像分散値をノイズ分散値として推定するものであれば、画像分散値から精度良くノイズ分散値を推定することができる。

さらに、ノイズ抑制手段が、内視鏡画像を複数の領域に分割し、分割した各領域の画素平均値を算出し、算出した画素平均値が該当するカテゴリーのノイズ分散値を選択し、選択したノイズ分散値を用いてｗｉｅｎｅｒフィルターなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであるとき、領域の画素平均値に応じてその画素平均値に適したノイズ分散値を用いてノイズ抑制処理を行うことができるため、ノイズ抑制処理によるアーチファクトの発生を低減させることができる。

また、内視鏡画像が動画像からなるものであり、ノイズ分散値推定手段がｎフレーム／フィールド目の内視鏡画像からノイズ分散値を推定するものであり、ノイズ抑制手段がｎ＋１フレーム／フィールド目以後の内視鏡画像についてノイズ分散値を用いてノイズ抑制処理を行うものであって、特に、一定期間毎にノイズ分散値を推定しノイズ分散値を更新するものであれば、スコープを使用し続けることによる湿度変化や温度変化等の経時変化によりノイズ特性が変化した場合であっても、ノイズ分散値が一定期間毎に更新されるため、状況に合った最適なノイズ分散値を用いてノイズ抑制処理を行うことができる。

さらに、ノイズ分散値推定手段がデフォーカス時に取得された内視鏡画像からノイズ分散値を推定するものであるとき、ノイズ分散値の推定を行うときの精度を向上させることができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態による内視鏡装置１の基本構成を示すものである。内視鏡装置１は、光源ユニット１０、スコープ２０、内視鏡画像処理装置３０を備えており、その動作は装置コントローラ６０により制御されている。

光源ユニット１０は内視鏡による観察を行うための光を射出するものであって、光Ｌを射出するキセノンランプ等を備えている。光源ユニット１０はスコープ２０のライトガイド１５に光学的に接続されており、光源ユニット１０から射出された光Ｌはライトガイド１５内に入射され観察窓１６から被写体に照射される。

スコープ２０は、結像光学系２１、撮像素子２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換器２４、ＣＣＤ駆動部２５、レンズ駆動部２６等を有しており、各構成要素はスコープコントローラ２７により制御されている。撮像素子２２はたとえばＣＣＤやＣＭＯＳ等からなり、結像光学系２１により結像された被写体像を光電変換して内視鏡画像Ｐを取得するものである。この撮像素子２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型、あるいはＲＧＢの色フィルタを有する原色型が用いられる。なお、撮像素子２２の動作はＣＣＤ駆動部２５により制御されている。撮像素子２２が画像（映像）信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換器２４がＣＤＳ／ＡＧＣ回路１７から出力された内視鏡画像Ｐ０をＡ／Ｄ変換し、内視鏡画像処理装置３０に出力される。

内視鏡画像処理装置３０は、スコープ２０から出力された内視鏡画像Ｐ０の画像処理を行うものであって、画像取得手段３１、ガンマ補正手段３２、ノイズ抑制手段３３、画像分散値算出手段４０、ノイズ分散値推定手段５０等を備えている。

画像取得手段３１は、たとえばＤＳＰ（デジタルシグナルプロセッサ）等からなり、スコープ２０の撮像素子２２により撮像された内視鏡画像Ｐを取得するものである。なお、撮像素子２２がＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）からなる内視鏡画像Ｐ０を取得したとき、ＲＧＢからなる内視鏡画像Ｐ０に色変換する機能を有している。撮像素子２２がＲＧＢ成分からなる内視鏡画像Ｐが取得されたとき上記色変換処理は不要である。ガンマ補正手段３２は内視鏡画像Ｐ０に対しガンマ曲線に基づいて内視鏡画像Ｐ０の各画素値を補正した内視鏡画像Ｐ１を出力するものである。

ノイズ抑制手段３３は、ｗｉｅｎｅｒフィルターを用いたノイズ抑制処理を行うものである。以下、ｗｉｅｎｅｒフィルターによるノイズ抑制処理について説明する。なお、ＲＧＢ成分のうちＧ成分のノイズ抑制について例示するが、Ｒ成分およびＢ成分についても同様にノイズ抑制処理が施される。内視鏡画像Ｐ１の各画素値をｇ（ｘ，ｙ）、内視鏡画像Ｐ２のノイズ成分をｎ（ｘ，ｙ）、原画像をｓ（ｘ，ｙ）としたとき、
g(x,y)=s(x,y)+n(x,y)
と表すことができる。ここで、ノイズ抑制手段３３は内視鏡画像Ｐ２を着目画素（x,y）を中心とした５×５サイズ領域から、ｗｉｅｎｅｒフィルターを演算し、処理していく。領域のｗｉｅｎｅｒフィルターをＷ（ｘ，ｙ）、フィルター処理後の内視鏡画像をＧａｖ（ｘ，ｙ）、その領域の画素平均値をＧａｖとしたとき、上記式（１）のフィルター処理後の内視鏡画像ｓｈ（ｘ，ｙ）は、
sh(x,y)=W(x,y)・(g(x,y)-Gav(x,y))+Gav(x,y)・・・(1)
となる。

ｗｉｅｎｅｒフィルターＷ（ｘ，ｙ）は、内視鏡画像Ｐの画素値の分散値をσ_{（ｓ＋ｎ）} ^２（ｘ，ｙ）、ノイズ成分の分散値をσ_ｎ ^２としたとき、
W(x,y)=(σ_(s+n) ²(x,y)-k・σ_n ²)/σ_(s+n) ²(x,y) ・・・(2)
で表される。なお、ノイズ抑制強度ｋはノイズ抑制処理の度合いを決定するものであって、必要に応じて調整可能なパラメータであり、ノイズ分散値σ_ｎ ^２はスコープ２０のノイズ特性を示すものであって、分散値記憶手段３４に各画素平均値のカテゴリー毎に記憶されている。次の画素(x+1,y)に対しては、5x5の領域をｘ方向のみに１画素ずらした領域に対して、Ｗ(x+1,y)を計算していく。１ライン終了し、次のラインに移り(x,y+1)に対しては、5×5の領域をｙ方向のみに１画素ずらした領域に対して、Ｗ(x,y+1)を計算することになる。

そこで、ノイズ抑制手段３３は、内視鏡画像Ｐ１の各ＲＧＢ成分毎にそれぞれたとえば着目画素(x,y)を中心とした５×５画素領域を抽出し、各領域毎に画素平均値および画像分散値σ_{（ｓ＋ｎ）} ^２(x,y)を算出する。その後、ノイズ抑制手段３３は算出した画素平均値に基づいて使用するノイズ分散値σ_ｎ ^２を選択し、画像分散値σ_{（ｓ＋ｎ）} ^２(x,y)およびノイズ分散値σ_ｎ ^２を用いて上記（２）のｗｉｅｎｅｒフィルターＷ(x,y)を求める。さらに、ノイズ抑制手段３３はｗｉｅｎｅｒフィルターＷ(x,y)および画素平均値を用いて式（１）により内視鏡画像Ｐからノイズ成分を抑制した内視鏡画像Ｐ３を取得する。

同時化処理手段３５は、単板CCDにより取得されたモザイク状に配置されたＲＧＢ画素値からＲＧＢ成分からなる内視鏡画像Ｐ３を生成するものである。なお、ＲＧＢ各色の光を異なるタイミングで照射するいわゆる面順次方式と呼ばれる方法により内視鏡画像Ｐを取得した場合には上記同時化処理が不要であるが、白色光を用いたいわゆる同時式と呼ばれる方法により内視鏡画像Ｐを取得した場合には同時化処理は必要である。また、ノイズ抑制手段３３によるノイズ抑制処理後に同時化処理手段３５による同時化処理を行う場合について例示しているが、同時化処理を行った後にノイズ抑制処理を行うようにしてもよい。

画像調整手段３６は同時化処理手段３５により同時化処理された内視鏡画像Ｐ３に対し各種画像処理を施すものであって、たとえば逆ガンマ補正、階調の調整等が行われる。表示制御手段３７は、液晶表示装置やＣＲＴ等からなる表示装置３に内視鏡画像を表示するものである。表示制御手段３７は、たとえば鏡像処理、各種画像からマスク画像を生成して表示する処理、上記各種画像に関する情報をキャラクタ情報として表示する処理を行い、これらを内視鏡画像と同時に表示する機能を有している。

ここで、分散値記憶手段３４に記憶されたノイズ分散値σ_ｎ ^２は、実際に被写体を撮影し取得された内視鏡画像Ｐ０からノイズ分散値推定手段５０により推定されたものであって、ノイズ分散値推定手段５０は画像分散値算出手段４０により算出された画像分散値σ_{（ｓ＋ｎ）} ^２に基づいてノイズ分散値σ_ｎ ^２を推定する。なお、以下にＲＧＢ成分のうちＧ成分のノイズ分散値σ_ｎ ^２について例示するが、Ｒ成分およびＢ成分についても同様にノイズ分散値σ_ｎ ^２が推定される。

画像分散値算出手段４０は、内視鏡画像Ｐ０を複数の領域（たとえば１つの領域が５×５画素）に分割し領域毎に画素値の画素平均値Ｇａｖおよび画像分散値σ_{（ｓ＋ｎ）} ^２を算出するものである。すると、たとえば図２に示すような各画素平均値Ｇａｖに対する各領域の画像分散値σ_{（ｓ＋ｎ）} ^２が算出される。なお、図２は１枚の内視鏡画像Ｐ０から画像分散値σ_{（ｓ＋ｎ）} ^２を取得した場合について例示しているが、複数枚の内視鏡画像Ｐ０から画像分散値σ_{（ｓ＋ｎ）} ^２を取得するようにしてもよい。

ノイズ分散値推定手段５０は画像分散値算出手段４０により算出された画像分散値σ_{（ｓ＋ｎ）} ^２からノイズ分散値σ_ｎ ^２を推定し分散値記憶手段３４に記憶するものである。具体的には、ノイズ分散値推定手段５０は、図２に示すような各領域毎の画像分散値σ_{（ｓ＋ｎ）} ^２を画素平均値に基づいて複数のカテゴリーに分類する。図２においては、５つのカテゴリーＣＧ１〜ＣＧ５（ＣＧ１：０≦Ｇav≦Ｇ１、ＣＧ２：Ｇ１＜Gav≦Ｇ２、ＣＧ３：Ｇ２＜Ｇav≦Ｇ３、ＣＧ４：Ｇ３＜Gav≦Ｇ４、ＣＧ５：Ｇ４＜Gav≦Ｇ５）に分類する。

そして、ノイズ分散値推定手段５０は、各カテゴリーＣＧ１〜ＣＧ５毎に図３に示すような画像分散値σ_{（ｓ＋ｎ）} ^２のヒストグラムを作成し、ヒストグラムのうち最も頻度が高くなる極大点を検出する。図３はカテゴリーＣＧ２における画像分散値σ_{（ｓ＋ｎ）} ^２についてのヒストグラムを示している。その後、ノイズ分散値推定手段５０は、極大点となる画像分散値σ_{（ｓ＋ｎ）} ^２がノイズ分散値σ_ｎ ^２であると推定し分散値記憶手段３４に記憶する。

なお、図３においては通常のヒストグラムを作成し画像分散値σ_{（ｓ＋ｎ）} ^２の極大点を検出するようにしているが、図４に示すように画像分散値σ_{（ｓ＋ｎ）} ^２の累積ヒストグラムを作成し、この累積ヒストグラムのうち所定の割合ｘ／１００になる画像分散値σ_{（ｓ＋ｎ）} ^２をノイズ分散値σ_ｎ ^２として推定するようにしてもよい。なお、この所定の割合ｘ／１００は予め設定されているものである。x=0と設定すると分散値のばらつきの最小値を検出することになり、小さい値を推定することになり、望ましい値が得られない。望ましいのは、分散値のばらつきの中心を得ることであるが、ばらつきの中心を得るようにｘの値を設定する。例えば、x=1ぐらいに設定する。

ここで、たとえば一様な被写体を撮影した基準画像（ベタ画像）を用いて上述の方法により検出した画像分散値σ_{（ｓ＋ｎ）} ^２はノイズ分散値σ_ｎ ^２を示すものであり、たとえば図５に示すように分布は広がることなく所定値の周辺に集中的に分布する。一方、被写体を撮影した内視鏡画像の画像分散値σ_{（ｓ＋ｎ）} ^２の分布は広範囲にわたり分布する（図３参照）。但し、一般的に体腔内を撮影した内視鏡画像においては平坦部分の被写体像あるいはデフォーカス領域が占める割合が多いため、内視鏡画像Ｐ０の画像分散値σ_{（ｓ＋ｎ）} ^２は広がった分布になるだけで極大点は図５とほぼ同一の位置に形成されることになる。同様に、図４に示す累積ヒストグラムの場合についても、急激に頻度が増加する部分（所定の割合ｘ／１００）は基準画像を用いた場合とほぼ同一の位置に形成されることが多い。そこで、ノイズ分散値推定手段５０は、極大点となる画像分散値σ_{（ｓ＋ｎ）} ^２をノイズ分散値σ_ｎ ^２として推定することができる。

このように、実際に撮影した内視鏡画像Ｐ０からノイズ分散値σ_ｎ ^２を推定することにより、スコープ２０の種類の違いまたはスコープ２０を使用したときの環境変化や経時変化に応じて適切なノイズ抑制処理を行うことができる。また、従来のようにスコープ２０の種類に応じてノイズ分散値を予め装置３０内に記憶しておく必要がなく、新規のスコープを内視鏡装置１に使用する場合であっても、内視鏡画像処理装置３０に新規のスコープのためのノイズ分散値σ_ｎ ^２を記憶させるという手間を省くことができる。

さらに、各カテゴリーＣＧ１〜ＣＧ５毎にノイズ分散値σ_ｎ ^２を推定することにより、画素平均値によりノイズ分散値σ_ｎ ^２が異なるのを考慮し、適切なノイズ分散値σ_ｎ ^２によるノイズ抑制処理を行うことができる。

なお、分散値記憶手段３４に記憶されたノイズ分散値σ_ｎ ^２は、たとえばスコープのＩＤと関連づけて記憶させて再利用してもよいし、電源ＯＦＦするとクリアされ電源ＯＮ時に上述のようにノイズ分散値σ_ｎ ^２の推定作業を随時行うようにしてもよい。

図６は本発明の内視鏡が像処理方法の好ましい実施形態を示すフローチャートであり、図１から図６を参照して内視鏡画像処理方法について説明する。まず、画像取得手段３１においてスコープ２０により撮影された動画像からなるｎフレーム目（１枚もしくは複数枚）の内視鏡画像Ｐ０が取得される（ステップＳＴ１）。特に、スコープ２０がデフォーカスの時に取得された内視鏡画像Ｐ０であることが望ましい。たとえばこのたとえば内視鏡装置の電源をＯＮした直後の被写体が撮影されていないときに取得された内視鏡画像Ｐ０、あるいは内視鏡が自動焦点調整機能を有しており、ピントが合っていない状態で取得された内視鏡画像Ｐ０等が挙げられる。これにより、ヒストグラムにおいて原画像成分による分布の広がりを防止し精度良くノイズ分散値σ_ｎ ^２を推定することができる。

すると、画像分散値算出手段４０により内視鏡画像Ｐ０が複数の領域（たとえば１つの領域が５×５画素）に分割され、各領域の各ＲＧＢ毎に画素平均値および画像分散値σ_{（ｓ＋ｎ）} ^２が算出される（ステップＳＴ２）。そして、ノイズ分散値推定手段５０において、各領域を画素平均値に基づいて複数のカテゴリーに分類し、分類したカテゴリー毎に頻度が最も高い極大点となる画像分散値σ_{（ｓ＋ｎ）} ^２もしくは累積ヒストグラムの所定の割合になる画像分散値σ_{（ｓ＋ｎ）} ^２がノイズ分散値σ_ｎ ^２として推定され（図３、図４参照）、分散値記憶手段３４に記憶される（ステップＳＴ３）。

その後、スコープ２０によりｎ＋１フレーム目の内視鏡画像Ｐ０が取得されたとき（ステップＳＴ４）、ガンマ補正手段３２によるガンマ補正が施された後、ノイズ抑制手段３３によるノイズ抑制処理が行われる（ステップＳＴ５）。このとき、分散値記憶手段３４に記憶されたｎフレーム目の内視鏡画像Ｐ０から推定されたノイズ分散値σ_ｎ ^２を用いて上記式（１）、（２）によりｗｉｅｎｅｒフィルターによるノイズ抑制処理が行われる。

その後、同時化処理手段３５による同時化処理、画像調整手段３６による画像調整処理、表示制御手段３７による表示制御処理が行われて表示装置３に内視鏡画像が表示される。そして、撮影終了指示がなされたとき内視鏡画像Ｐ０の取得が終了する（ステップＳＴ６）。撮影が継続して行われるとき、一定期間が経過するまで分散値記憶手段３４に記憶されたノイズ分散値σ_ｎ ^２を用いてノイズ抑制処理が行われる（ステップＳＴ３〜ＳＴ７）。一方、一定期間が経過したとき、上述したノイズ分散値σ_ｎ ^２の推定が行われ、分散値記憶手段３４のノイズ分散値σ_ｎ ^２が更新される（ステップＳＴ７、ステップＳＴ１〜ＳＴ３）。

上記実施の形態によれば、内視鏡により被写体を撮影したときの内視鏡画像Ｐ０を複数の領域に分割し領域毎に画素値の画像分散値σ_{（ｓ＋ｎ）} ^２を算出し、算出した画像分散値σ_{（ｓ＋ｎ）} ^２から内視鏡画像Ｐ０のノイズ成分の特性を示すノイズ分散値σ_ｎ ^２を推定し、推定したノイズ分散値σ_ｎ ^２を用いて内視鏡画像Ｐ０に対しｗｉｅｎｅｒフィルターを用いたノイズ抑制処理を行うことにより、実際に被写体を撮影して取得された内視鏡画像Ｐ０から自動的にノイズ分散値σ_ｎ ^２を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値σ_ｎ ^２を変化させて適切なノイズ抑制処理を行うことができる。

なお、ノイズ分散値推定手段５０が、たとえば各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値σ_{（ｓ＋ｎ）} ^２を複数のカテゴリーに分類し、分類した複数のカテゴリーＣＧ１〜ＣＧ５毎に最も頻度の高い画像分散値σ_{（ｓ＋ｎ）} ^２をカテゴリーにおけるノイズ分散値σ_ｎ ^２として推定するものであるとき、画像分散値σ_{（ｓ＋ｎ）} ^２から精度良くノイズ分散値σ_ｎ ^２を推定することができる。

また、ノイズ分散値推定手段５０が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値σ_{（ｓ＋ｎ）} ^２を複数のカテゴリーＣＧ１〜ＣＧ５に分類し、分類した複数のカテゴリーＣＧ１〜ＣＧ５毎に画像分散値σ_{（ｓ＋ｎ）} ^２の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合ｘ／１００となる画像分散値σ_{（ｓ＋ｎ）} ^２をノイズ分散値σ_ｎ ^２として推定するものであれば、画像分散値σ_{（ｓ＋ｎ）} ^２から精度良くノイズ分散値σ_ｎ ^２を推定することができる。

さらに、ノイズ抑制手段３３が、内視鏡画像Ｐ０を複数の領域に分割し、分割した各領域の画素平均値を算出し、算出した画素平均値が該当するカテゴリーＣＧ１〜ＣＧ５のノイズ分散値σ_ｎ ^２を選択し、選択したノイズ分散値σ_ｎ ^２を用いてｗｉｅｎｅｒフィルターによるノイズ抑制処理を行うものであるとき、領域の画素平均値に応じてその画素平均値に適したノイズ分散値σ_ｎ ^２を用いてノイズ抑制処理を行うことができるため、ノイズ抑制処理によるアーチファクトの発生を低減させることができる。

また、内視鏡画像Ｐ０が動画像からなるものであり、ノイズ分散値推定手段がｎフレーム／フィールド目の内視鏡画像Ｐ０からノイズ分散値σ_ｎ ^２を推定するものであり、ノイズ抑制手段がｎ＋１フレーム／フィールド目以後の内視鏡画像Ｐ０についてノイズ分散値σ_ｎ ^２を用いてノイズ抑制処理を行うものであって、特に、一定期間毎にノイズ分散値σ_ｎ ^２を推定しノイズ分散値σ_ｎ ^２を更新するものであれば、スコープ２０を使用し続けることによる湿度変化や温度変化等の経時変化によりノイズ特性が変化した場合であっても、ノイズ分散値σ_ｎ ^２が一定期間毎に更新されるため、状況に合った最適なノイズ分散値σ_ｎ ^２を用いてノイズ抑制処理を行うことができる。

さらに、ノイズ分散値推定手段５０がデフォーカス時に取得された内視鏡画像Ｐ０からノイズ分散値σ_ｎ ^２を推定するものであるとき、ノイズ分散値σ_ｎ ^２の推定を行うときの精度を向上させることができる。

本発明の実施の形態は上記実施の形態に限定されない。上記実施の形態において、１枚もしくは複数枚の内視鏡画像Ｐ０のすべての領域の画像分散値σ_{（ｓ＋ｎ）} ^２を用いてノイズ分散値σ_ｎ ^２を推定する場合について例示しているが、内視鏡画像Ｐ０のうちデフォーカス領域を周波数解析等により検出し、デフォーカス領域の画素を用いてノイズ分散値σ_ｎ ^２を推定するようにしてもよい。

上記実施形態においてノイズ抑制フィルターがｗｉｅｎｅｒフィルターの場合について例示したが、ノイズ分散値σ_n ²の推定が必要な他のフィルターの場合も同様である。以下にノイズ抑制フィルターが高周波ゲインフィルターであって高周波ゲインをコントロールする方式について示す。高周波ゲインフィルターをGain(σ_(s+n) ²(x,y), σ_n ²)としたとき、内視鏡画像ｓｈ（ｘ，ｙ）は、
sh(x,y) = G_LPF(x,y) + Gain(σ_(s+n) ²(x,y), σ_n ²)・G_HPF(x,y) ・・・(3)
となる。なお、G_LPF (x,y)：入力画像の低周波成分、G_HPF (x,y)：入力画像の高周波成分、Gain：高周波成分に掛けるゲインである。ここで、ノイズ抑制手段３４には図７Ａのように各ノイズ分散値σ_n ²毎に異なる高周波ゲインフィルターGain(σ_(s+n) ²(x,y), σ_n ²)が記憶されており、ノイズ分散値推定手段５０により推定されたノイズ分散値σ_n ²を用いてノイズ抑制処理に使用する高周波ゲインフィルターGain(σ_(s+n) ²(x,y), σ_n ²)を決定する。

図７Ｂは内視鏡画像内の強いエッジ成分、微細エッジ成分、平坦領域における画像分散値σ_(s+n) ²を示すヒストグラムである。図７Ｂにおいて平坦領域について注目すると、ノイズの小さいスコープ２０の平坦領域は、画像分散値σ_(s+n) ²が標準的なスコープ２０に比べて小さくなり、ノイズ成分の頻度分布は平坦領域の頻度分布に略一致する。そこで、ノイズ分散値σ_n ²が小さいときには図７Ａに示すような微細エッジ成分を抑制しないゲインカーブが設定される。つまり、画像分散値σ_(s+n) ²(x,y)が大きな値になる画像エッジ成分に対しては高周波ゲインを下げず、画像分散値σ_(s+n) ²(x,y)が小さい値になる平坦領域に対しては高周波ゲインを下げる。

一方、図７Ｂのようにノイズの大きいスコープ２０の平坦領域は標準的なスコープ２０に比べて画像分散値σ_(s+n) ²が大きくなり、ノイズ成分の頻度分布は内視鏡画像の微細エッジ領域の頻度分布に重なる。そこで、ノイズ分散値σ_n ²が大きいときには図７Ａに示すように、微細エッジ成分は少し抑制されてしまうがノイズを抑制する効果を重視し、ノイズの小さいスコープ２０のゲインカーブを右側にシフトしたゲインカーブを設定する。このように、ノイズ抑制手段３３はノイズ分散値σ_n ²が大きくなればなるほど、右側にシフトしたゲインカーブを記憶しており、推定されたノイズ分散値σ_n ²に基づいてノイズ抑制処理に使用する高周波ゲインGain(σ_(s+n) ²(x,y), σ_n ²)を決定する。

この場合であっても、実際に被写体を撮影して取得された内視鏡画像Ｐ０から自動的にノイズ分散値σ_ｎ ^２を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値σ_ｎ ^２を変化させて適切なノイズ抑制処理を行うことができる。

本発明の内視鏡装置の好ましい実施の形態を示すブロック図 図１の画像分散値算出手段において算出された画素平均値と画像分散値との関係を示すグラフ 図１のノイズ分散値推定手段において生成される画像分散値のヒストグラムの一例を示すグラフ 図１のノイズ分散値推定手段において生成される画像分散値の累積ヒストグラムの一例を示すグラフ 基準画像から算出した画像分散値のヒストグラムの一例を示すグラフ 本発明の内視鏡画像処理装置の好ましい実施形態を示すフローチャート ノイズ抑制フィルターが高周波ゲインである場合の画像分散値およびノイズ分散値と高周波ゲインとの関係を示すグラフ 内視鏡画像における強いエッジ成分、微細エッジ成分、平坦領域のヒストグラムとノイズ成分のヒストグラムとの関係を示すグラフ

符号の説明

１ 内視鏡装置
２０ スコープ
３０ 内視鏡画像処理装置
３１ 画像取得手段
３２ ガンマ補正手段
３３ ノイズ抑制手段
３４ 分散値記憶手段
３５ 同時化処理手段
３６ 画像調整手段
３７ 表示制御手段
４０ 光源制御手段
４０ 分散値算出手段
５０ ノイズ分散値推定手段
６０ 装置コントローラ
ＣＧ１−ＣＧ５ カテゴリー
Ｇａｖ 平均値
Ｐ０〜Ｐ３ 内視鏡画像
Ｗ ｗｉｅｎｅｒフィルター
σ_ｎ ^２ ノイズ分散値
σ_{（ｓ＋ｎ）} ^２ 画像分散値

Claims (11)

1. 内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し該領域毎に画素値の画像分散値を算出する分散値算出手段と、
   該分散値算出手段により算出された前記画像分散値から該内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定するノイズ分散値推定手段と、
   該ノイズ分散値推定手段により推定された前記ノイズ分散値を用いて前記内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うノイズ抑制手段と
   を備えたことを特徴とする内視鏡画像処理装置。
2. 前記ノイズ抑制フィルターがｗｉｅｎｅｒフィルターであることを特徴とする請求項１記載の内視鏡画像処理装置。
3. 前記ノイズ抑制フィルターが高周波ゲインフィルターであり、前記ノイズ抑制手段が前記ノイズ分散値毎に異なる高周波ゲインフィルターを有し、前記ノイズ分散値推定手段により推定された前記ノイズ分散値に基づいてノイズ抑制処理に用いる前記高周波ゲインフィルターを選択しノイズ抑制処理を行うものであることを特徴とする請求項１記載の内視鏡画像処理装置。
4. 前記ノイズ分散値推定手段が、前記各領域の画素平均値を算出し、算出した該画素平均値を用いて前記各領域の前記画像分散値を複数のカテゴリーに分類し、分類した複数の前記カテゴリー毎に最も頻度の高い前記画像分散値を該カテゴリーにおける前記ノイズ分散値として推定するものであることを特徴とする請求項１から３のいずれか１項記載の内視鏡画像処理装置。
5. 前記ノイズ分散値推定手段が、前記各領域の画素平均値を算出し、算出した該画素平均値を用いて前記各領域の前記画像分散値を複数のカテゴリーに分類し、分類した複数の前記カテゴリー毎に前記画像分散値の累積ヒストグラムを作成し、作成した前記累積ヒストグラムにおいて所定の割合となる前記画像分散値を前記ノイズ分散値として推定するものであることを特徴とする請求項１から３のいずれか１項記載の内視鏡画像処理装置。
6. 前記ノイズ抑制手段が、前記内視鏡画像を複数の領域に分割し、分割した前記各領域の画素平均値を算出し、前記ノイズ分散値推定手段において分類された前記複数のカテゴリーのうち、算出した前記画素平均値が該当する前記カテゴリーの前記ノイズ分散値を選択し、選択した前記ノイズ分散値を用いて前記ノイズ抑制フィルターによるノイズ抑制処理を行うものであることを特徴とする請求項４または５記載の内視鏡画像処理装置。
7. 前記内視鏡画像が動画像からなるものであり、前記ノイズ分散値推定手段がｎフレーム／フィールド目の前記内視鏡画像から前記ノイズ分散値を推定するものであり、前記ノイズ抑制手段が前記ｎ＋１フレーム／フィールド目以後の前記内視鏡画像について前記ノイズ分散値を用いてノイズ抑制処理を行うものであることを特徴とする請求項１から６のいずれか１項記載の内視鏡画像処理装置。
8. 前記ノイズ分散値推定手段が、一定期間毎に前記ノイズ分散値の推定を行うことにより該ノイズ分散値を更新するものであることを特徴とする請求項１から７記載の内視鏡画像処理装置。
9. 前記ノイズ分散値推定手段が前記内視鏡画像におけるデフォーカス領域から前記ノイズ分散値を推定するものであることを特徴とする請求項１から７のいずれか１項記載の内視鏡画像処理装置。
10. 内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し該領域毎に画素値の画像分散値を算出し、
    算出した前記画像分散値から該内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、
    推定した前記ノイズ分散値を用いて前記内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行う
    ことを特徴とする内視鏡画像処理方法。
11. 前記ノイズ抑制フィルターがｗｉｅｎｅｒフィルターであることを特徴とする請求項１０記載の内視鏡画像処理方法。

Images