JP2009017037A - 画像処理装置 - Google Patents

Abstract

【課題】画像情報を維持したまま暗部におけるノイズを除去する。
【解決手段】暗部判定部３３は、入力画像データの各画素を注目画素とし、その注目画素、及び注目画素の周辺に位置する周辺画素の初期輝度信号Ｙ０それぞれを閾値Ｔｈと比較する。比較された全ての初期輝度信号Ｙ０が閾値Ｔｈより小さい場合、注目画素を暗部画素と判定する。平滑化部３６は、移動平均フィルタを用いて入力画像データを平滑化処理する。置換ブロック３７は、暗部と判定された注目画素の初期輝度信号Ｙ０を、平滑化処理された入力画像データの注目画素に関する平滑化輝度信号Ｙ１に置換する。
【選択図】図２

Description

本発明は、内視鏡スコープ等の撮像装置で得られた画像に画像処理を行うための画像処理装置に関し、特に暗部におけるノイズを適切に除去するための画像処理装置に関する。

近年、内視鏡スコープ等の撮像装置に搭載される撮像素子は高画素化されつつあり、これに伴い、画素単位で発生する微小なランダムノイズも増加する傾向にある。ランダムノイズは、特に観察画像中の暗部、すなわち、輝度値の低い低輝度領域で目立って表示される。従来、低輝度領域におけるランダムノイズを除去するために、γ補正時のオフセット値を高く設定し、撮像素子で得られた画像信号の低輝度成分をカットすることが一般的に行われている。

また、特許文献１には、画像を狭いダイナミックレンジを有するものに変換するときに、所定のノイズレベルを下回る輝度信号を除外して画素集合を作成し、その画素集合のヒストグラムを基に変換後のダイナミックレンジを設定する構成が開示されている。
特開２００２−１３２２４３号公報

しかし、γ補正時のオフセット値を高くすれば、低輝度成分が一律に除去されるため、ランダムノイズのみならず、被写体画像の暗い部分を表示するための成分もカットされることになる。したがって、被写体の一部を表わすための画像情報もカットされ、被写体の一部が潰れて表示されるおそれがある。また、特許文献１の方法でも低輝度成分が一律に除去されるため、同様の問題が発生する。

そこで、本発明は、上記問題点に鑑みて成されたものであり、必要な画像情報を除去することなく、暗部におけるノイズを除去するための画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、入力画像データの各画素を注目画素とし、その注目画素、及び注目画素の周辺に位置する周辺画素の画像信号それぞれを閾値と比較し、比較された全ての画像信号が閾値より小さい場合、注目画素を暗部画素と判定する暗部判定手段と、暗部画素と判定された注目画素の画像信号を他の画像信号に置換する置換手段とを備えることを特徴とする。

画像処理装置は、入力画像データを平滑化処理する平滑化処理手段をさらに備えていたほうが良い。平滑化処理手段としては例えば、移動平均フィルタ、メディアンフィルタが使用されるが、移動平均フィルタであるほうが良い。

暗部画素と判定された注目画素の画像信号は、平滑化処理された入力画像データの注目画素に関する画像信号に置換されることが好ましい。但し、暗部画素と判定された注目画素の画像信号は、その元の画像信号からノイズが低減された画像信号ならば他の画像信号に置換することも可能である。例えば、所定の強度（値）を有する画像信号に置換されても良い。なおここでいう画像信号は輝度信号であることが好ましいが、場合によっては色差信号、Ｒ信号、Ｇ信号、Ｂ信号等であっても良い。

本発明に係る画像処理方法は、入力画像データの各画素を注目画素とし、その注目画素、及び注目画素の周辺に位置する周辺画素の画像信号それぞれを閾値と比較し、比較された全ての画像信号が閾値より小さい場合、注目画素を暗部画素と判定する暗部判定ステップと、暗部画素と判定された注目画素の画像信号を他の画像信号に置換する置換ステップとを備える。

本発明では、暗部と判定した画素の画像信号を、他の画像信号と置換することによりノイズを除去するので、暗部以外の部分の画像情報を損なうことなく、暗部におけるランダムノイズを適切に除去することできる。

以下、本発明の実施形態について添付図面を参照して説明する。
図１は本発明の一実施形態である画像輪郭強調装置を備えた内視鏡システムを示す。内視鏡システムは、スコープ１０およびプロセッサ２０から成る。スコープ１０は被写体から画像データを得るための撮像装置であり、プロセッサ２０はスコープ１０によって得られた画像データを処理して観察画像として出力するための画像処理装置である。

スコープ１０は、イメージセンサ１１を有し、イメージセンサ１１では被写体からの光によって画像が結像され、結像画像からアナログ画像信号が生成される。イメージセンサ１１は、タイミングジェネレータ１６によって画像信号の読込・読出タイミングが制御される。

アナログ画像信号は、ＡＦＥ（アナログフロントエンド）１２でデジタル信号に変換され、次いで色補間ブロック１３で色補間が行われる。色補間が行われたアナログ画像信号は、マトリックス変換ブロック１４でマトリックス変換が施され、ＲＧＢ信号としてＹＣ変換ブロック１５に入力される。ＲＧＢ信号は、ＹＣ変換ブロック１５において、輝度信号Ｙと色差信号Ｃｂ、Ｃｒに変換される。輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒは、画像データとしてプロセッサ２０に送られる。

プロセッサ２０はＣＰＵ２１を有し、ＣＰＵ２１によってプロセッサ２０内の各ブロックの動作が制御される。プロセッサ２０に送られた画像データ（輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒ）は、ノイズ除去ブロック２２において、不図示のＬＰＦ（ローパスフィルタ）等によって色ノイズの除去が施されると共に、輝度信号Ｙについて後述する暗部ノイズ除去が施されて、輪郭強調ブロック２３に出力される。

画像データは、輪郭強調ブロック２３においてエッジ強調が施された後、ＲＧＢ変換ブロック２４でＲＧＢ信号に変換される。ＲＧＢ信号は、スケール調整ブロック２５で画像サイズが調整された後、カラーマネージメントブロック２６で出力機器に応じた色調整が行われ、モニタ２７又はプリンタ２８に観察画像として出力される。

図２は、ノイズ除去ブロック２２の詳細を示すブロック図である。以下、図２を参照にしてノイズ除去ブロック２２で行われる暗部ノイズ除去について詳細に説明する。なお、以下の説明においては、暗部ノイズ除去を施される前の画像データの輝度信号Ｙは、初期輝度信号Ｙ０とすると共に、ノイズ除去ブロック２２で暗部ノイズ除去が施された輝度信号Ｙを出力輝度信号Ｙ２とする。

ノイズ除去ブロック２２は、第１ラインメモリブロック３１及び比較ブロック３２を含む暗部判定部３３と、第２ラインメモリブロック３４及びフィルタ３５を含む平滑化部３６と、置換ブロック３７とを備える。初期輝度信号Ｙ０は、暗部判定部３３、平滑化部３６、及び置換ブロック３７それぞれに入力される。

初期輝度信号Ｙ０は、暗部判定部３３及び平滑化部３６それぞれにおいて、画素毎に順次第１及び第２ラインメモリブロック３１、３４に入力される。第１及び第２ラインメモリブロック３１、３４それぞれは、３×３領域内の初期輝度信号Ｙ０が比較ブロック３２及びフィルタ３５に同時に入力可能なように、少なくとも３ライン分の初期輝度信号Ｙ０を一時的に格納する。

第１ラインメモリブロック３１は、図３に示すように、各画素（注目画素Ｐ０）を中心とする３×３参照領域Ｒ１内の初期輝度信号Ｙ０を、比較ブロック３２に順次出力する。比較ブロック３２には、ＣＰＵ２１から閾値Ｔｈが入力され、３×３参照領域Ｒ１内の画素（注目画素Ｐ０及び周辺画素Ｐ１）それぞれの初期輝度信号Ｙ０（輝度値）が、閾値Ｔｈと比較される。ここで、閾値Ｔｈは、各注目画素Ｐ０が暗部を表示しているか否かを判定するための値であるため充分に小さく、かつスコープ１０で得られた画像データにおいて通常発生するランダムノイズの強度よりも高い値に設定されている。なお、周辺画素Ｐ１とは、図３に示すように、参照領域Ｒ１内において注目画素Ｐ０の周辺に位置する画素をいう。

図４に示すように、比較ブロック３２は、参照領域Ｒ１内の全ての初期輝度信号Ｙ０の輝度値が、閾値Ｔｈよりも小さい場合、注目画素Ｐ１が暗部画素であると判定する。一方、参照領域Ｒ１内の全ての画素（注目画素Ｐ０及び周辺画素Ｐ１）のうち、１つの画素でも輝度値が閾値Ｔｈ以上である場合、その注目画素Ｐ１は暗部画素でないと判定する。比較ブロック３２における判定結果、すなわち、各注目画素Ｐ０が暗部画素であるか否かの暗部情報Ｄは置換ブロック３７に出力される。

第２ラインメモリブロック３４は、各画素（注目画素Ｐ０）を中心とする３×３参照領域Ｒ１内の初期輝度信号Ｙ０をフィルタ３５に順次出力する。フィルタ３５は、初期輝度信号Ｙ０に対して、移動平均フィルタによる平滑化処理を行う。すなわち、各注目画素Ｐ０を中心とする参照領域Ｒ１内の画素（すなわち、注目画素Ｐ０及び周辺画素Ｐ１）の初期輝度信号Ｙ０（輝度値）の平均値が算出され、その平均値が注目画素Ｐ０の平滑化輝度信号Ｙ１として置換ブロック３７に出力される。なお、ここでいう平均値は、参照領域Ｒ１内の入力輝度信号Ｙ０の相加平均値であるが、場合によっては加重平均値であっても良い。

平滑化輝度信号Ｙ１は、初期輝度信号Ｙ０よりも式（１）で示されるＳＮ比が向上しており、ノイズ成分が除去された信号となる。

但し、式（１）において、Ｓは信号成分、Ｎはノイズ成分、ｍは画素数を表す。

なお、フィルタ３５で行われるフィルタリングは、移動平均フィルタ以外を用いた平滑化処理であっても良く、例えばメディアンフィルタを用いた平滑化処理であっても良い。但し、ＳＮ比の観点からフィルタリングは、移動平均フィルタによって行われた方が良い。

置換ブロック３７には、同じ注目画素Ｐ０に関する初期輝度信号Ｙ０、平滑化輝度信号Ｙ１、及び暗部情報Ｄが同じタイミングで入力される。そして、暗部情報Ｄに基づいて、各注目画素Ｐ０について、初期輝度信号Ｙ０及び平滑化輝度信号Ｙ１のうちいずれか一方が選択され、その選択された信号が注目画素Ｐ０の出力輝度信号Ｙ２として出力される。すなわち、注目画素Ｐ０が暗部画素である場合、その注目画素Ｐ０に関する平滑化輝度信号Ｙ１が選択され、その選択された平滑化輝度信号Ｙ１が注目画素Ｐ０の出力輝度信号Ｙ２として出力される。一方、注目画素Ｐ０が暗部画素でない場合、初期輝度信号Ｙ０が選択され、注目画素Ｐ０の出力輝度信号Ｙ２は初期輝度信号Ｙ０に維持される。

次に、図５を用いて本実施形態に係る作用を説明する。図５に示すように、スコープ１０で撮影される画像データは、通常、体内を撮影した画像データであって、生体組織Ｃを表示する。ここで、生体組織Ｃは、スコープ１０が照射する光によって照明され、通常比較的高輝度の画素によって表示されるが、部分的に陰が生じまたは生体組織Ｃの状態により、一部の画素の輝度値が上記閾値Ｔｈより小さくなることもある。しかし、生体組織Ｃを表示する画像領域において、輝度値が小さくなる画素は、局所的に存在するのみであって、広い範囲の領域を占有するものではない。したがって、生体組織Ｃを表示する画像領域において、参照領域Ｒ１内の全ての画素が閾値Ｔｈを下回ることはほとんどなく、生体組織Ｃを表示する画素は通常、暗部画素とは判定されない。そのため、観察画像において、生体組織Ｃの画像は平滑化されずに元の画像情報が維持された状態で表示され、生体組織Ｃにおける患部の識別が容易になる。

一方、画像データには、菅腔部内部等の暗部Ｆが含まれるが、暗部Ｆは所定の広さを有し、多数の画素によって表示されるため、注目画素Ｐ０が暗部Ｆを表示するとき、その周辺画素Ｐ１も通常、暗部Ｆを表示することとなる。また、暗部Ｆを表示する画像領域には複数のランダムノイズが存在するが、そのノイズレベルは上述したように、閾値Ｔｈよりも小さく、暗部Ｆを表示する各画素の輝度値はノイズの輝度値を加えても、閾値Ｔｈよりも小さくなることがほとんどである。そのため、暗部Ｆを表示する各画素は、比較ブロック３２（図２参照）において暗部画素と判定されることなる。そして、各暗部画素の輝度信号は平滑化輝度信号Ｙ１に置換されるので、暗部Ｆは平滑化された画像によって表示され、これにより、暗部Ｆを表示する画像領域はＳＮ比が向上しノイズが低減される。

なお、生体組織Ｃを表示する画像領域にもランダムノイズが発生しているが、生体組織Ｃを表示する各画素は、比較的高輝度であるため、ランダムノイズが目立って表示されることがなく、ノイズ除去をしなくても問題にはならない。

なお、本実施形態では、色差信号Ｃｂ、Ｃｒには、暗部ノイズ除去が行われなかったが、輝度信号Ｙと同様に、ノイズ除去ブロック２２において暗部ノイズ除去が行われても良い。また、本実施形態では、画像データのデータ形式がＹＣｂＣｒのときに、暗部ノイズ除去が行われたが、データ形式がＲＧＢのときに行われても良い。この場合、Ｒ、Ｇ及びＢ信号の全てについて暗部ノイズ除去が行われた方が良い。

また、各注目画素Ｐ０が暗部であるか否かが判定されるとき、３×３の参照領域Ｒ１内の入力輝度信号Ｙ０が閾値Ｔｈと比較されたが、例えば５×５、７×７等のさらに広い領域の参照領域内の入力輝度信号Ｙ０が閾値Ｔｈと比較されても良い。フィルタ３５で行われる平滑化処理でも同様である。

さらに、本実施形態では、全ての注目画素Ｐ０についての平滑化輝度信号Ｙ１が平滑化部３６で予め生成されているが、暗部画素であると判定された注目画素Ｐ０についての平滑化輝度信号Ｙ１のみが生成されても良い。

本発明の一実施形態における内視鏡システムのブロック図である。 ノイズ除去ブロックをさらに詳細に示すブロック図である。 参照領域を示すための図である。 比較ブロックにおいて行われる比較の様子を示すための模式図である。 画像データの一例を示すための図である。

符号の説明

１０ スコープ
２０ プロセッサ
２２ ノイズ除去ブロック
３３ 暗部判定部（暗部判定手段）
３６ 平滑化部（平滑化処理手段）
３７ 置換ブロック（置換手段）
Ｄ 暗部情報
Ｐ０ 注目画素
Ｐ１ 周辺画素
Ｒ１ 参照領域
Ｔｈ 閾値
Ｙ０ 初期輝度信号
Ｙ１ 平滑化輝度信号
Ｙ２ 出力輝度信号

Claims (4)

1. 入力画像データの各画素を注目画素とし、その注目画素、及び前記注目画素の周辺に位置する周辺画素の画像信号それぞれを閾値と比較し、比較された全ての画像信号が前記閾値より小さい場合、前記注目画素を暗部画素と判定する暗部判定手段と、
   前記暗部画素と判定された注目画素の画像信号を他の画像信号に置換する置換手段と
   を備える画像処理装置。
2. 前記入力画像データを平滑化処理する平滑化処理手段をさらに備え、
   前記暗部画素と判定された注目画素の画像信号は、平滑化処理された入力画像データの前記注目画素に関する画像信号に置換されることを特徴とする請求項１に記載の画像処理装置。
3. 前記平滑化処理手段は、移動平均フィルタであることを特徴とする請求項２に記載の画像処理装置。
4. 入力画像データの各画素を注目画素とし、その注目画素、及び前記注目画素の周辺に位置する周辺画素の画像信号それぞれを閾値と比較し、比較された全ての画像信号が前記閾値より小さい場合、前記注目画素を暗部画素と判定する暗部判定ステップと、
   前記暗部画素と判定された注目画素の画像信号を他の画像信号に置換する置換ステップと
   を備える画像処理方法。

Images