JP2009273691A - 内視鏡画像処理装置および方法 - Google Patents
内視鏡画像処理装置および方法 Download PDFInfo
- Publication number
- JP2009273691A JP2009273691A JP2008128197A JP2008128197A JP2009273691A JP 2009273691 A JP2009273691 A JP 2009273691A JP 2008128197 A JP2008128197 A JP 2008128197A JP 2008128197 A JP2008128197 A JP 2008128197A JP 2009273691 A JP2009273691 A JP 2009273691A
- Authority
- JP
- Japan
- Prior art keywords
- variance value
- noise
- image
- value
- noise variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000001629 suppression Effects 0.000 claims description 94
- 239000006185 dispersion Substances 0.000 claims description 31
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】 内視鏡画像処理装置においてスコープの種類の変化、経時変化、環境変化等が生じた場合であっても、適切なパラメータによるノイズ抑制処理を行う。
【解決手段】 内視鏡により実際に被写体を撮影したときの内視鏡画像P0を複数の領域に分割し領域毎に画素値の画像分散値σ(s+n) 2が算出される。その後、画像分散値σ(s+n) 2から内視鏡画像P0のノイズ成分の特性を示すノイズ分散値σn 2が推定され、このノイズ分散値σn 2を用いて内視鏡画像P0に対しwienerフィルターを用いたノイズ抑制処理が行われる。
【選択図】 図1
【解決手段】 内視鏡により実際に被写体を撮影したときの内視鏡画像P0を複数の領域に分割し領域毎に画素値の画像分散値σ(s+n) 2が算出される。その後、画像分散値σ(s+n) 2から内視鏡画像P0のノイズ成分の特性を示すノイズ分散値σn 2が推定され、このノイズ分散値σn 2を用いて内視鏡画像P0に対しwienerフィルターを用いたノイズ抑制処理が行われる。
【選択図】 図1
Description
本発明は、内視鏡により取得された内視鏡画像に対しノイズ抑制処理を行う内視鏡画像処理装置および方法に関するものである。
従来、内視鏡を用いて体腔内の被写体を撮影し内視鏡画像を取得した際、この内視鏡画像について様々な画像処理が施された後表示装置等に出力される。この画像処理の一つとして内視鏡画像内のノイズ成分を抑制するためのノイズ抑制処理を行うことが知られており、ノイズ抑制処理として様々なノイズ抑制フィルターが使用可能である。ノイズ抑制フィルターの多くは、ノイズ分散値を必要とする。たとえばwienerフィルターが用いられる場合(たとえば特許文献1参照)、wienerフィルターは撮影により取得された画像の分散値と、予め設定された撮像素子等に固有のノイズ特性を示すノイズ分散値とをパラメータとするフィルターであって、撮影により取得した画像から画像分散値を算出し、予め記憶されたノイズ分散値とを用いて内視鏡画像のノイズ抑制処理が行われる。
ところで、内視鏡装置においては、複数のスコープが用意されており、たとえば観察する部位毎に異なる種類のスコープを用いて撮影が行われる。各スコープはそれぞれノイズ特性が異なるものであるため、予めスコープの種類毎にノイズ分散値を記憶しておき、各スコープに適合したノイズ分散値を用いて上述したwienerフィルターなどのノイズ抑制フィルターによるノイズ抑制処理が施される。
特開2007−300972号公報
しかし、同一種類のスコープであってもノイズ特性はスコープ毎に異なる場合があり、必ずしも記憶されているノイズ分散値が適しているとは限らず、予めノイズ分散値を記憶させたとしても、最適なノイズ抑制処理を行うことができない場合があるという問題がある。また、新規な構成のスコープを用いる場合、新規な構成のスコープに対応したノイズ分散値を既存の内視鏡装置に記憶させる必要があり手間が掛かるという問題がある。
そこで、本発明は、スコープの種類の変化、経時変化、環境変化等が生じた場合であっても、適切なパラメータによるノイズ抑制処理を行うことができる内視鏡画像処理装置および方法を提供することを目的とするものである。
本発明の内視鏡画像処理装置は、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出する分散値算出手段と、分散値算出手段により算出された画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定するノイズ分散値推定手段と、ノイズ分散値推定手段により推定されたノイズ分散値を用いて内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うノイズ抑制手段とを備えたことを特徴とするものである。
本発明の内視鏡画像処理方法は、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出し、算出した画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、推定したノイズ分散値を用いて内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うことを特徴とするものである。
ここで、内視鏡画像処理装置は、面順次方式により各RGB画像を別々に取得した後にこれらの成分画像を用いて内視鏡画像を取得するものであってもよいし、同時方式により内視鏡画像を取得するものであってもよい。さらに、内視鏡画像は静止画像であってもよいし動画像であってもよい。
また、ノイズ抑制フィルターは、ノイズ分散値をパラメータとして用いたものであればよく、たとえばwienerフィルターや高周波ゲインフィルター等であってもよい。なお、ノイズ抑制フィルターが高周波ゲインフィルターであるとき、ノイズ抑制手段はノイズ分散値毎に異なる高周波ゲインフィルターを有していてもよい。そして、ノイズ抑制手段はノイズ分散値推定手段により推定されたノイズ分散値に基づいてノイズ抑制処理に用いる高周波ゲインフィルターを選択しノイズ抑制処理を行う。
なお、ノイズ分散値推定手段は画像分散値からノイズ分散値を推定するものであればその方法を問わず、たとえば各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に最も頻度の高い画像分散値をカテゴリーにおけるノイズ分散値として推定するものであってもよい。
あるいは、ノイズ分散値推定手段は、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に画像分散値の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合となる画像分散値をノイズ分散値として推定するものであってもよい。
また、ノイズ抑制手段は、wienerフィルターなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであれば良く、たとえば内視鏡画像を複数の領域に分割し、分割した各領域の画素平均値を算出し、ノイズ分散値推定手段において分類された複数のカテゴリーのうち、算出した画素平均値が該当するカテゴリーのノイズ分散値を選択し、選択したノイズ分散値を用いてwienerフィルター、高周波ゲインなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであってもよい。
さらに、内視鏡画像は動画像からなるものであってもよいし静止画像からなるものであってもよい。内視鏡画像が動画像からなるものであるとき、ノイズ分散値推定手段はnフレーム/フィールド目の内視鏡画像からノイズ分散値を推定するものであり、ノイズ抑制手段がn+1フレーム/フィールド目以後の内視鏡画像についてノイズ分散値を用いてノイズ抑制処理を行うものであってもよい。
また、ノイズ分散値推定手段は、内視鏡画像のデフォーカス領域からノイズ分散値を推定するものであってもよい。なお、デフォーカス領域は内視鏡画像の一部の領域であってもよいし全領域であってもよい。
さらに、ノイズ分散値推定手段は、1枚の内視鏡画像から取得される画像分散値からノイズ分散値を推定してもよいし、複数の内視鏡画像から取得される画像分散値からノイズ分散値を推定してもよい。
本発明の内視鏡画像処理装置および方法によれば、内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し領域毎に画素値の画像分散値を算出し、算出した画像分散値から内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、推定したノイズ分散値を用いて内視鏡画像に対しwienerフィルターなどのノイズ抑制フィルターを用いたノイズ抑制処理を行うことにより、実際に被写体を撮影して取得された内視鏡画像から自動的にノイズ分散値を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値を変化させて適切なノイズ抑制処理を行うことができる。
なお、ノイズ分散値推定手段が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に最も頻度の高い画像分散値をカテゴリーにおけるノイズ分散値として推定するものであるとき、ノイズ分散値は信号レベルにより変わることに対応してノイズ分散値を推定することができるため、画像分散値から精度良くノイズ分散値を推定することができる。
また、ノイズ分散値推定手段が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値を複数のカテゴリーに分類し、分類した複数のカテゴリー毎に画像分散値の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合となる画像分散値をノイズ分散値として推定するものであれば、画像分散値から精度良くノイズ分散値を推定することができる。
さらに、ノイズ抑制手段が、内視鏡画像を複数の領域に分割し、分割した各領域の画素平均値を算出し、算出した画素平均値が該当するカテゴリーのノイズ分散値を選択し、選択したノイズ分散値を用いてwienerフィルターなどのノイズ抑制フィルターによるノイズ抑制処理を行うものであるとき、領域の画素平均値に応じてその画素平均値に適したノイズ分散値を用いてノイズ抑制処理を行うことができるため、ノイズ抑制処理によるアーチファクトの発生を低減させることができる。
また、内視鏡画像が動画像からなるものであり、ノイズ分散値推定手段がnフレーム/フィールド目の内視鏡画像からノイズ分散値を推定するものであり、ノイズ抑制手段がn+1フレーム/フィールド目以後の内視鏡画像についてノイズ分散値を用いてノイズ抑制処理を行うものであって、特に、一定期間毎にノイズ分散値を推定しノイズ分散値を更新するものであれば、スコープを使用し続けることによる湿度変化や温度変化等の経時変化によりノイズ特性が変化した場合であっても、ノイズ分散値が一定期間毎に更新されるため、状況に合った最適なノイズ分散値を用いてノイズ抑制処理を行うことができる。
さらに、ノイズ分散値推定手段がデフォーカス時に取得された内視鏡画像からノイズ分散値を推定するものであるとき、ノイズ分散値の推定を行うときの精度を向上させることができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の一実施形態による内視鏡装置1の基本構成を示すものである。内視鏡装置1は、光源ユニット10、スコープ20、内視鏡画像処理装置30を備えており、その動作は装置コントローラ60により制御されている。
光源ユニット10は内視鏡による観察を行うための光を射出するものであって、光Lを射出するキセノンランプ等を備えている。光源ユニット10はスコープ20のライトガイド15に光学的に接続されており、光源ユニット10から射出された光Lはライトガイド15内に入射され観察窓16から被写体に照射される。
スコープ20は、結像光学系21、撮像素子22、CDS/AGC回路23、A/D変換器24、CCD駆動部25、レンズ駆動部26等を有しており、各構成要素はスコープコントローラ27により制御されている。撮像素子22はたとえばCCDやCMOS等からなり、結像光学系21により結像された被写体像を光電変換して内視鏡画像Pを取得するものである。この撮像素子22としては、例えば撮像面にMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型、あるいはRGBの色フィルタを有する原色型が用いられる。なお、撮像素子22の動作はCCD駆動部25により制御されている。撮像素子22が画像(映像)信号を取得したとき、CDS/AGC(相関二重サンプリング/自動利得制御)回路23がサンプリングして増幅し、A/D変換器24がCDS/AGC回路17から出力された内視鏡画像P0をA/D変換し、内視鏡画像処理装置30に出力される。
内視鏡画像処理装置30は、スコープ20から出力された内視鏡画像P0の画像処理を行うものであって、画像取得手段31、ガンマ補正手段32、ノイズ抑制手段33、画像分散値算出手段40、ノイズ分散値推定手段50等を備えている。
画像取得手段31は、たとえばDSP(デジタルシグナルプロセッサ)等からなり、スコープ20の撮像素子22により撮像された内視鏡画像Pを取得するものである。なお、撮像素子22がMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)からなる内視鏡画像P0を取得したとき、RGBからなる内視鏡画像P0に色変換する機能を有している。撮像素子22がRGB成分からなる内視鏡画像Pが取得されたとき上記色変換処理は不要である。ガンマ補正手段32は内視鏡画像P0に対しガンマ曲線に基づいて内視鏡画像P0の各画素値を補正した内視鏡画像P1を出力するものである。
ノイズ抑制手段33は、wienerフィルターを用いたノイズ抑制処理を行うものである。以下、wienerフィルターによるノイズ抑制処理について説明する。なお、RGB成分のうちG成分のノイズ抑制について例示するが、R成分およびB成分についても同様にノイズ抑制処理が施される。内視鏡画像P1の各画素値をg(x,y)、内視鏡画像P2のノイズ成分をn(x,y)、原画像をs(x,y)としたとき、
g(x,y)=s(x,y)+n(x,y)
と表すことができる。ここで、ノイズ抑制手段33は内視鏡画像P2を着目画素(x,y)を中心とした5×5サイズ領域から、wienerフィルターを演算し、処理していく。領域のwienerフィルターをW(x,y)、フィルター処理後の内視鏡画像をGav(x,y)、その領域の画素平均値をGavとしたとき、上記式(1)のフィルター処理後の内視鏡画像sh(x,y)は、
sh(x,y)=W(x,y)・(g(x,y)-Gav(x,y))+Gav(x,y)・・・(1)
となる。
g(x,y)=s(x,y)+n(x,y)
と表すことができる。ここで、ノイズ抑制手段33は内視鏡画像P2を着目画素(x,y)を中心とした5×5サイズ領域から、wienerフィルターを演算し、処理していく。領域のwienerフィルターをW(x,y)、フィルター処理後の内視鏡画像をGav(x,y)、その領域の画素平均値をGavとしたとき、上記式(1)のフィルター処理後の内視鏡画像sh(x,y)は、
sh(x,y)=W(x,y)・(g(x,y)-Gav(x,y))+Gav(x,y)・・・(1)
となる。
wienerフィルターW(x,y)は、内視鏡画像Pの画素値の分散値をσ(s+n) 2(x,y)、ノイズ成分の分散値をσn 2としたとき、
W(x,y)=(σ(s+n) 2(x,y)-k・σn 2)/σ(s+n) 2(x,y) ・・・(2)
で表される。なお、ノイズ抑制強度kはノイズ抑制処理の度合いを決定するものであって、必要に応じて調整可能なパラメータであり、ノイズ分散値σn 2はスコープ20のノイズ特性を示すものであって、分散値記憶手段34に各画素平均値のカテゴリー毎に記憶されている。次の画素(x+1,y)に対しては、5x5の領域をx方向のみに1画素ずらした領域に対して、W(x+1,y)を計算していく。1ライン終了し、次のラインに移り(x,y+1)に対しては、5×5の領域をy方向のみに1画素ずらした領域に対して、W(x,y+1)を計算することになる。
W(x,y)=(σ(s+n) 2(x,y)-k・σn 2)/σ(s+n) 2(x,y) ・・・(2)
で表される。なお、ノイズ抑制強度kはノイズ抑制処理の度合いを決定するものであって、必要に応じて調整可能なパラメータであり、ノイズ分散値σn 2はスコープ20のノイズ特性を示すものであって、分散値記憶手段34に各画素平均値のカテゴリー毎に記憶されている。次の画素(x+1,y)に対しては、5x5の領域をx方向のみに1画素ずらした領域に対して、W(x+1,y)を計算していく。1ライン終了し、次のラインに移り(x,y+1)に対しては、5×5の領域をy方向のみに1画素ずらした領域に対して、W(x,y+1)を計算することになる。
そこで、ノイズ抑制手段33は、内視鏡画像P1の各RGB成分毎にそれぞれたとえば着目画素(x,y)を中心とした5×5画素領域を抽出し、各領域毎に画素平均値および画像分散値σ(s+n) 2(x,y)を算出する。その後、ノイズ抑制手段33は算出した画素平均値に基づいて使用するノイズ分散値σn 2を選択し、画像分散値σ(s+n) 2(x,y)およびノイズ分散値σn 2を用いて上記(2)のwienerフィルターW(x,y)を求める。さらに、ノイズ抑制手段33はwienerフィルターW(x,y)および画素平均値を用いて式(1)により内視鏡画像Pからノイズ成分を抑制した内視鏡画像P3を取得する。
同時化処理手段35は、単板CCDにより取得されたモザイク状に配置されたRGB画素値からRGB成分からなる内視鏡画像P3を生成するものである。なお、RGB各色の光を異なるタイミングで照射するいわゆる面順次方式と呼ばれる方法により内視鏡画像Pを取得した場合には上記同時化処理が不要であるが、白色光を用いたいわゆる同時式と呼ばれる方法により内視鏡画像Pを取得した場合には同時化処理は必要である。また、ノイズ抑制手段33によるノイズ抑制処理後に同時化処理手段35による同時化処理を行う場合について例示しているが、同時化処理を行った後にノイズ抑制処理を行うようにしてもよい。
画像調整手段36は同時化処理手段35により同時化処理された内視鏡画像P3に対し各種画像処理を施すものであって、たとえば逆ガンマ補正、階調の調整等が行われる。表示制御手段37は、液晶表示装置やCRT等からなる表示装置3に内視鏡画像を表示するものである。表示制御手段37は、たとえば鏡像処理、各種画像からマスク画像を生成して表示する処理、上記各種画像に関する情報をキャラクタ情報として表示する処理を行い、これらを内視鏡画像と同時に表示する機能を有している。
ここで、分散値記憶手段34に記憶されたノイズ分散値σn 2は、実際に被写体を撮影し取得された内視鏡画像P0からノイズ分散値推定手段50により推定されたものであって、ノイズ分散値推定手段50は画像分散値算出手段40により算出された画像分散値σ(s+n) 2に基づいてノイズ分散値σn 2を推定する。なお、以下にRGB成分のうちG成分のノイズ分散値σn 2について例示するが、R成分およびB成分についても同様にノイズ分散値σn 2が推定される。
画像分散値算出手段40は、内視鏡画像P0を複数の領域(たとえば1つの領域が5×5画素)に分割し領域毎に画素値の画素平均値Gavおよび画像分散値σ(s+n) 2を算出するものである。すると、たとえば図2に示すような各画素平均値Gavに対する各領域の画像分散値σ(s+n) 2が算出される。なお、図2は1枚の内視鏡画像P0から画像分散値σ(s+n) 2を取得した場合について例示しているが、複数枚の内視鏡画像P0から画像分散値σ(s+n) 2を取得するようにしてもよい。
ノイズ分散値推定手段50は画像分散値算出手段40により算出された画像分散値σ(s+n) 2からノイズ分散値σn 2を推定し分散値記憶手段34に記憶するものである。具体的には、ノイズ分散値推定手段50は、図2に示すような各領域毎の画像分散値σ(s+n) 2を画素平均値に基づいて複数のカテゴリーに分類する。図2においては、5つのカテゴリーCG1〜CG5(CG1:0≦Gav≦G1、CG2:G1<Gav≦G2、CG3:G2<Gav≦G3、CG4:G3<Gav≦G4、CG5:G4<Gav≦G5)に分類する。
そして、ノイズ分散値推定手段50は、各カテゴリーCG1〜CG5毎に図3に示すような画像分散値σ(s+n) 2のヒストグラムを作成し、ヒストグラムのうち最も頻度が高くなる極大点を検出する。図3はカテゴリーCG2における画像分散値σ(s+n) 2についてのヒストグラムを示している。その後、ノイズ分散値推定手段50は、極大点となる画像分散値σ(s+n) 2がノイズ分散値σn 2であると推定し分散値記憶手段34に記憶する。
なお、図3においては通常のヒストグラムを作成し画像分散値σ(s+n) 2の極大点を検出するようにしているが、図4に示すように画像分散値σ(s+n) 2の累積ヒストグラムを作成し、この累積ヒストグラムのうち所定の割合x/100になる画像分散値σ(s+n) 2をノイズ分散値σn 2として推定するようにしてもよい。なお、この所定の割合x/100は予め設定されているものである。x=0と設定すると分散値のばらつきの最小値を検出することになり、小さい値を推定することになり、望ましい値が得られない。望ましいのは、分散値のばらつきの中心を得ることであるが、ばらつきの中心を得るようにxの値を設定する。例えば、x=1ぐらいに設定する。
ここで、たとえば一様な被写体を撮影した基準画像(ベタ画像)を用いて上述の方法により検出した画像分散値σ(s+n) 2はノイズ分散値σn 2を示すものであり、たとえば図5に示すように分布は広がることなく所定値の周辺に集中的に分布する。一方、被写体を撮影した内視鏡画像の画像分散値σ(s+n) 2の分布は広範囲にわたり分布する(図3参照)。但し、一般的に体腔内を撮影した内視鏡画像においては平坦部分の被写体像あるいはデフォーカス領域が占める割合が多いため、内視鏡画像P0の画像分散値σ(s+n) 2は広がった分布になるだけで極大点は図5とほぼ同一の位置に形成されることになる。同様に、図4に示す累積ヒストグラムの場合についても、急激に頻度が増加する部分(所定の割合x/100)は基準画像を用いた場合とほぼ同一の位置に形成されることが多い。そこで、ノイズ分散値推定手段50は、極大点となる画像分散値σ(s+n) 2をノイズ分散値σn 2として推定することができる。
このように、実際に撮影した内視鏡画像P0からノイズ分散値σn 2を推定することにより、スコープ20の種類の違いまたはスコープ20を使用したときの環境変化や経時変化に応じて適切なノイズ抑制処理を行うことができる。また、従来のようにスコープ20の種類に応じてノイズ分散値を予め装置30内に記憶しておく必要がなく、新規のスコープを内視鏡装置1に使用する場合であっても、内視鏡画像処理装置30に新規のスコープのためのノイズ分散値σn 2を記憶させるという手間を省くことができる。
さらに、各カテゴリーCG1〜CG5毎にノイズ分散値σn 2を推定することにより、画素平均値によりノイズ分散値σn 2が異なるのを考慮し、適切なノイズ分散値σn 2によるノイズ抑制処理を行うことができる。
なお、分散値記憶手段34に記憶されたノイズ分散値σn 2は、たとえばスコープのIDと関連づけて記憶させて再利用してもよいし、電源OFFするとクリアされ電源ON時に上述のようにノイズ分散値σn 2の推定作業を随時行うようにしてもよい。
図6は本発明の内視鏡が像処理方法の好ましい実施形態を示すフローチャートであり、図1から図6を参照して内視鏡画像処理方法について説明する。まず、画像取得手段31においてスコープ20により撮影された動画像からなるnフレーム目(1枚もしくは複数枚)の内視鏡画像P0が取得される(ステップST1)。特に、スコープ20がデフォーカスの時に取得された内視鏡画像P0であることが望ましい。たとえばこのたとえば内視鏡装置の電源をONした直後の被写体が撮影されていないときに取得された内視鏡画像P0、あるいは内視鏡が自動焦点調整機能を有しており、ピントが合っていない状態で取得された内視鏡画像P0等が挙げられる。これにより、ヒストグラムにおいて原画像成分による分布の広がりを防止し精度良くノイズ分散値σn 2を推定することができる。
すると、画像分散値算出手段40により内視鏡画像P0が複数の領域(たとえば1つの領域が5×5画素)に分割され、各領域の各RGB毎に画素平均値および画像分散値σ(s+n) 2が算出される(ステップST2)。そして、ノイズ分散値推定手段50において、各領域を画素平均値に基づいて複数のカテゴリーに分類し、分類したカテゴリー毎に頻度が最も高い極大点となる画像分散値σ(s+n) 2もしくは累積ヒストグラムの所定の割合になる画像分散値σ(s+n) 2がノイズ分散値σn 2として推定され(図3、図4参照)、分散値記憶手段34に記憶される(ステップST3)。
その後、スコープ20によりn+1フレーム目の内視鏡画像P0が取得されたとき(ステップST4)、ガンマ補正手段32によるガンマ補正が施された後、ノイズ抑制手段33によるノイズ抑制処理が行われる(ステップST5)。このとき、分散値記憶手段34に記憶されたnフレーム目の内視鏡画像P0から推定されたノイズ分散値σn 2を用いて上記式(1)、(2)によりwienerフィルターによるノイズ抑制処理が行われる。
その後、同時化処理手段35による同時化処理、画像調整手段36による画像調整処理、表示制御手段37による表示制御処理が行われて表示装置3に内視鏡画像が表示される。そして、撮影終了指示がなされたとき内視鏡画像P0の取得が終了する(ステップST6)。撮影が継続して行われるとき、一定期間が経過するまで分散値記憶手段34に記憶されたノイズ分散値σn 2を用いてノイズ抑制処理が行われる(ステップST3〜ST7)。一方、一定期間が経過したとき、上述したノイズ分散値σn 2の推定が行われ、分散値記憶手段34のノイズ分散値σn 2が更新される(ステップST7、ステップST1〜ST3)。
上記実施の形態によれば、内視鏡により被写体を撮影したときの内視鏡画像P0を複数の領域に分割し領域毎に画素値の画像分散値σ(s+n) 2を算出し、算出した画像分散値σ(s+n) 2から内視鏡画像P0のノイズ成分の特性を示すノイズ分散値σn 2を推定し、推定したノイズ分散値σn 2を用いて内視鏡画像P0に対しwienerフィルターを用いたノイズ抑制処理を行うことにより、実際に被写体を撮影して取得された内視鏡画像P0から自動的にノイズ分散値σn 2を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値σn 2を変化させて適切なノイズ抑制処理を行うことができる。
なお、ノイズ分散値推定手段50が、たとえば各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値σ(s+n) 2を複数のカテゴリーに分類し、分類した複数のカテゴリーCG1〜CG5毎に最も頻度の高い画像分散値σ(s+n) 2をカテゴリーにおけるノイズ分散値σn 2として推定するものであるとき、画像分散値σ(s+n) 2から精度良くノイズ分散値σn 2を推定することができる。
また、ノイズ分散値推定手段50が、各領域の画素平均値を算出し、算出した画素平均値を用いて各領域の画像分散値σ(s+n) 2を複数のカテゴリーCG1〜CG5に分類し、分類した複数のカテゴリーCG1〜CG5毎に画像分散値σ(s+n) 2の累積ヒストグラムを作成し、作成した累積ヒストグラムにおいて所定の割合x/100となる画像分散値σ(s+n) 2をノイズ分散値σn 2として推定するものであれば、画像分散値σ(s+n) 2から精度良くノイズ分散値σn 2を推定することができる。
さらに、ノイズ抑制手段33が、内視鏡画像P0を複数の領域に分割し、分割した各領域の画素平均値を算出し、算出した画素平均値が該当するカテゴリーCG1〜CG5のノイズ分散値σn 2を選択し、選択したノイズ分散値σn 2を用いてwienerフィルターによるノイズ抑制処理を行うものであるとき、領域の画素平均値に応じてその画素平均値に適したノイズ分散値σn 2を用いてノイズ抑制処理を行うことができるため、ノイズ抑制処理によるアーチファクトの発生を低減させることができる。
また、内視鏡画像P0が動画像からなるものであり、ノイズ分散値推定手段がnフレーム/フィールド目の内視鏡画像P0からノイズ分散値σn 2を推定するものであり、ノイズ抑制手段がn+1フレーム/フィールド目以後の内視鏡画像P0についてノイズ分散値σn 2を用いてノイズ抑制処理を行うものであって、特に、一定期間毎にノイズ分散値σn 2を推定しノイズ分散値σn 2を更新するものであれば、スコープ20を使用し続けることによる湿度変化や温度変化等の経時変化によりノイズ特性が変化した場合であっても、ノイズ分散値σn 2が一定期間毎に更新されるため、状況に合った最適なノイズ分散値σn 2を用いてノイズ抑制処理を行うことができる。
さらに、ノイズ分散値推定手段50がデフォーカス時に取得された内視鏡画像P0からノイズ分散値σn 2を推定するものであるとき、ノイズ分散値σn 2の推定を行うときの精度を向上させることができる。
本発明の実施の形態は上記実施の形態に限定されない。上記実施の形態において、1枚もしくは複数枚の内視鏡画像P0のすべての領域の画像分散値σ(s+n) 2を用いてノイズ分散値σn 2を推定する場合について例示しているが、内視鏡画像P0のうちデフォーカス領域を周波数解析等により検出し、デフォーカス領域の画素を用いてノイズ分散値σn 2を推定するようにしてもよい。
上記実施形態においてノイズ抑制フィルターがwienerフィルターの場合について例示したが、ノイズ分散値σn 2の推定が必要な他のフィルターの場合も同様である。以下にノイズ抑制フィルターが高周波ゲインフィルターであって高周波ゲインをコントロールする方式について示す。高周波ゲインフィルターをGain(σ(s+n) 2(x,y), σn 2)としたとき、内視鏡画像sh(x,y)は、
sh(x,y) = GLPF(x,y) + Gain(σ(s+n) 2(x,y), σn 2)・GHPF(x,y) ・・・(3)
となる。なお、GLPF (x,y):入力画像の低周波成分、GHPF (x,y):入力画像の高周波成分、Gain:高周波成分に掛けるゲインである。ここで、ノイズ抑制手段34には図7Aのように各ノイズ分散値σn 2毎に異なる高周波ゲインフィルターGain(σ(s+n) 2(x,y), σn 2)が記憶されており、ノイズ分散値推定手段50により推定されたノイズ分散値σn 2を用いてノイズ抑制処理に使用する高周波ゲインフィルターGain(σ(s+n) 2(x,y), σn 2)を決定する。
sh(x,y) = GLPF(x,y) + Gain(σ(s+n) 2(x,y), σn 2)・GHPF(x,y) ・・・(3)
となる。なお、GLPF (x,y):入力画像の低周波成分、GHPF (x,y):入力画像の高周波成分、Gain:高周波成分に掛けるゲインである。ここで、ノイズ抑制手段34には図7Aのように各ノイズ分散値σn 2毎に異なる高周波ゲインフィルターGain(σ(s+n) 2(x,y), σn 2)が記憶されており、ノイズ分散値推定手段50により推定されたノイズ分散値σn 2を用いてノイズ抑制処理に使用する高周波ゲインフィルターGain(σ(s+n) 2(x,y), σn 2)を決定する。
図7Bは内視鏡画像内の強いエッジ成分、微細エッジ成分、平坦領域における画像分散値σ(s+n) 2を示すヒストグラムである。図7Bにおいて平坦領域について注目すると、ノイズの小さいスコープ20の平坦領域は、画像分散値σ(s+n) 2が標準的なスコープ20に比べて小さくなり、ノイズ成分の頻度分布は平坦領域の頻度分布に略一致する。そこで、ノイズ分散値σn 2が小さいときには図7Aに示すような微細エッジ成分を抑制しないゲインカーブが設定される。つまり、画像分散値σ(s+n) 2(x,y)が大きな値になる画像エッジ成分に対しては高周波ゲインを下げず、画像分散値σ(s+n) 2(x,y)が小さい値になる平坦領域に対しては高周波ゲインを下げる。
一方、図7Bのようにノイズの大きいスコープ20の平坦領域は標準的なスコープ20に比べて画像分散値σ(s+n) 2が大きくなり、ノイズ成分の頻度分布は内視鏡画像の微細エッジ領域の頻度分布に重なる。そこで、ノイズ分散値σn 2が大きいときには図7Aに示すように、微細エッジ成分は少し抑制されてしまうがノイズを抑制する効果を重視し、ノイズの小さいスコープ20のゲインカーブを右側にシフトしたゲインカーブを設定する。このように、ノイズ抑制手段33はノイズ分散値σn 2が大きくなればなるほど、右側にシフトしたゲインカーブを記憶しており、推定されたノイズ分散値σn 2に基づいてノイズ抑制処理に使用する高周波ゲインGain(σ(s+n) 2(x,y), σn 2)を決定する。
この場合であっても、実際に被写体を撮影して取得された内視鏡画像P0から自動的にノイズ分散値σn 2を推定しノイズ抑制処理を行うため、スコープの種類の違いまたはスコープの環境変化や経時変化が生じた場合であってもそれに合わせてノイズ分散値σn 2を変化させて適切なノイズ抑制処理を行うことができる。
1 内視鏡装置
20 スコープ
30 内視鏡画像処理装置
31 画像取得手段
32 ガンマ補正手段
33 ノイズ抑制手段
34 分散値記憶手段
35 同時化処理手段
36 画像調整手段
37 表示制御手段
40 光源制御手段
40 分散値算出手段
50 ノイズ分散値推定手段
60 装置コントローラ
CG1−CG5 カテゴリー
Gav 平均値
P0〜P3 内視鏡画像
W wienerフィルター
σn 2 ノイズ分散値
σ(s+n) 2 画像分散値
20 スコープ
30 内視鏡画像処理装置
31 画像取得手段
32 ガンマ補正手段
33 ノイズ抑制手段
34 分散値記憶手段
35 同時化処理手段
36 画像調整手段
37 表示制御手段
40 光源制御手段
40 分散値算出手段
50 ノイズ分散値推定手段
60 装置コントローラ
CG1−CG5 カテゴリー
Gav 平均値
P0〜P3 内視鏡画像
W wienerフィルター
σn 2 ノイズ分散値
σ(s+n) 2 画像分散値
Claims (11)
- 内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し該領域毎に画素値の画像分散値を算出する分散値算出手段と、
該分散値算出手段により算出された前記画像分散値から該内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定するノイズ分散値推定手段と、
該ノイズ分散値推定手段により推定された前記ノイズ分散値を用いて前記内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行うノイズ抑制手段と
を備えたことを特徴とする内視鏡画像処理装置。 - 前記ノイズ抑制フィルターがwienerフィルターであることを特徴とする請求項1記載の内視鏡画像処理装置。
- 前記ノイズ抑制フィルターが高周波ゲインフィルターであり、前記ノイズ抑制手段が前記ノイズ分散値毎に異なる高周波ゲインフィルターを有し、前記ノイズ分散値推定手段により推定された前記ノイズ分散値に基づいてノイズ抑制処理に用いる前記高周波ゲインフィルターを選択しノイズ抑制処理を行うものであることを特徴とする請求項1記載の内視鏡画像処理装置。
- 前記ノイズ分散値推定手段が、前記各領域の画素平均値を算出し、算出した該画素平均値を用いて前記各領域の前記画像分散値を複数のカテゴリーに分類し、分類した複数の前記カテゴリー毎に最も頻度の高い前記画像分散値を該カテゴリーにおける前記ノイズ分散値として推定するものであることを特徴とする請求項1から3のいずれか1項記載の内視鏡画像処理装置。
- 前記ノイズ分散値推定手段が、前記各領域の画素平均値を算出し、算出した該画素平均値を用いて前記各領域の前記画像分散値を複数のカテゴリーに分類し、分類した複数の前記カテゴリー毎に前記画像分散値の累積ヒストグラムを作成し、作成した前記累積ヒストグラムにおいて所定の割合となる前記画像分散値を前記ノイズ分散値として推定するものであることを特徴とする請求項1から3のいずれか1項記載の内視鏡画像処理装置。
- 前記ノイズ抑制手段が、前記内視鏡画像を複数の領域に分割し、分割した前記各領域の画素平均値を算出し、前記ノイズ分散値推定手段において分類された前記複数のカテゴリーのうち、算出した前記画素平均値が該当する前記カテゴリーの前記ノイズ分散値を選択し、選択した前記ノイズ分散値を用いて前記ノイズ抑制フィルターによるノイズ抑制処理を行うものであることを特徴とする請求項4または5記載の内視鏡画像処理装置。
- 前記内視鏡画像が動画像からなるものであり、前記ノイズ分散値推定手段がnフレーム/フィールド目の前記内視鏡画像から前記ノイズ分散値を推定するものであり、前記ノイズ抑制手段が前記n+1フレーム/フィールド目以後の前記内視鏡画像について前記ノイズ分散値を用いてノイズ抑制処理を行うものであることを特徴とする請求項1から6のいずれか1項記載の内視鏡画像処理装置。
- 前記ノイズ分散値推定手段が、一定期間毎に前記ノイズ分散値の推定を行うことにより該ノイズ分散値を更新するものであることを特徴とする請求項1から7記載の内視鏡画像処理装置。
- 前記ノイズ分散値推定手段が前記内視鏡画像におけるデフォーカス領域から前記ノイズ分散値を推定するものであることを特徴とする請求項1から7のいずれか1項記載の内視鏡画像処理装置。
- 内視鏡により被写体を撮影したときの内視鏡画像を複数の領域に分割し該領域毎に画素値の画像分散値を算出し、
算出した前記画像分散値から該内視鏡画像のノイズ成分の特性を示すノイズ分散値を推定し、
推定した前記ノイズ分散値を用いて前記内視鏡画像に対しノイズ抑制フィルターを用いたノイズ抑制処理を行う
ことを特徴とする内視鏡画像処理方法。 - 前記ノイズ抑制フィルターがwienerフィルターであることを特徴とする請求項10記載の内視鏡画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008128197A JP2009273691A (ja) | 2008-05-15 | 2008-05-15 | 内視鏡画像処理装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008128197A JP2009273691A (ja) | 2008-05-15 | 2008-05-15 | 内視鏡画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009273691A true JP2009273691A (ja) | 2009-11-26 |
Family
ID=41439666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008128197A Withdrawn JP2009273691A (ja) | 2008-05-15 | 2008-05-15 | 内視鏡画像処理装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009273691A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242980A (ja) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2012019426A (ja) * | 2010-07-09 | 2012-01-26 | Hoya Corp | ノイズ除去装置 |
JP2013025368A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズレベル推定装置、ノイズレベル推定方法及びプログラム |
WO2020059538A1 (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 学習データ生成装置、学習データ生成方法およびプログラム |
CN114066780A (zh) * | 2022-01-17 | 2022-02-18 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
-
2008
- 2008-05-15 JP JP2008128197A patent/JP2009273691A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011242980A (ja) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2012019426A (ja) * | 2010-07-09 | 2012-01-26 | Hoya Corp | ノイズ除去装置 |
JP2013025368A (ja) * | 2011-07-15 | 2013-02-04 | Tokyo Institute Of Technology | ノイズレベル推定装置、ノイズレベル推定方法及びプログラム |
WO2020059538A1 (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 学習データ生成装置、学習データ生成方法およびプログラム |
JP2020046528A (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 学習データ生成装置、学習データ生成方法およびプログラム |
JP7157320B2 (ja) | 2018-09-19 | 2022-10-20 | 日本電信電話株式会社 | 学習データ生成装置、学習データ生成方法およびプログラム |
CN114066780A (zh) * | 2022-01-17 | 2022-02-18 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2111038B1 (en) | Image processing apparatus and image processing method for reducing color blur | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
US10757338B2 (en) | Imaging apparatus capable of determining whether an apodization filter is present or not and selecting first and second program diagrams | |
JP2005223898A (ja) | 画像処理方法及び撮像装置 | |
JP2009273691A (ja) | 内視鏡画像処理装置および方法 | |
JP5029195B2 (ja) | 露出制御装置および撮像装置 | |
JP4637812B2 (ja) | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 | |
JP7171274B2 (ja) | 医療用画像処理装置及び医療用観察装置 | |
JP2008301371A (ja) | 撮像装置および画像処理プログラム | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP2009142586A (ja) | 内視鏡システムの自動焦点調整方法および内視鏡システム | |
JP2009219719A (ja) | 内視鏡装置 | |
JP6240813B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
WO2010007726A1 (ja) | 撮像装置、画像処理プログラム、画像処理装置、および画像処理方法 | |
JP2012085790A (ja) | 内視鏡装置 | |
JP2010154478A (ja) | 複眼撮像装置及びその合成画像生成方法 | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP6272115B2 (ja) | 内視鏡プロセッサおよび内視鏡システム | |
JP5561389B2 (ja) | 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法 | |
JP2009285132A (ja) | 内視鏡画像処理装置および方法 | |
JP2009065691A (ja) | 画像処理装置、記録媒体及び画像処理プログラム | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP2010034848A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110802 |