JP2006338079A - 画像補正装置 - Google Patents

Abstract

【課題】ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供すること。
【解決手段】撮像手段１０１と、演算器１０２と、メモリ１０３とを構成要素とする画像情報出力手段に具備された、画像のノイズを低減する画像補正装置であって、注目画素近傍の参照領域内に存在する、感度が所定の閾値よりも高い画素素子に対応する画素を有効画素として選択する有効画素選択手段と、前記有効画素の中から前記注目画素の補正に用いる補正用画素を選択する補正用画素選択手段と、前記注目画素の画素信号値を、前記補正用画素の画素信号値を用いて算出した補正値で置換する画素信号値補正手段とを備えることを特徴とする画像補正装置を構成する。
【選択図】 図１

Description

本発明は画像補正装置に関する。

従来、画像ノイズの低減方法についての提案がなされている。例えば、下記特許文献１には、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うために、注目画素がエッジに含まれる場合、エッジに沿った楕円形のメディアンフィルタを用いた平滑化処理を実行する方法が記述されている。

特開２００４−２１４７５６号公報

しかしながら、上記特許文献１に記載の画像ノイズの低減方法においては、ノイズを含む画素を除外せずに補正するので、ノイズが多い画像ではノイズを含む画素の画素信号値が反映されてしまうため、ノイズの除去および低減が困難になる、という問題点があった。

本発明は上記の問題に鑑みてなされたものであり、本発明が解決しようとする課題は、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することである。

画素信号値を補正する対象となっている画素、すなわち、注目画素の近傍に、該補正に用いる、感度が所定の閾値よりも高い画素素子に対応する画素である有効画素が存在する参照領域を設定し、さらに、該有効画素の中から前記注目画素の補正に用いる補正用画素を選択し、前記注目画素の画素信号値を、前記補正用画素の画素信号値を用いて算出した補正値で置換することを特徴とする画像補正装置を構成する。

本発明の実施によって、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することが可能となる。

本発明に係る画像補正装置は、画像のノイズを低減する画像補正装置であって、注目画素近傍の参照領域内に存在する、感度が所定の閾値よりも高い画素素子に対応する画素を有効画素として選択する有効画素選択手段と、前記有効画素の中から前記注目画素の補正に用いる補正用画素を選択する補正用画素選択手段と、前記注目画素の画素信号値を、前記補正用画素の画素信号値を用いて算出した補正値で置換する画素信号値補正手段とを備えていることを特徴とする。

ここで、「注目画素」は、画素信号値を補正する対象となっている画素を意味し、「参照領域」は、画素信号値が前記補正（画素の補正）に用いられるような画素が存在する領域を意味し、「画素素子」は、入力信号を個々の画素信号に変換する変換素子を意味し、画素素子と画素とは１対１に対応しているものとし、「感度」は画素素子である変換素子の変換効率を意味している。

このような構成によって、低感度でノイズを多く含む画素信号を出力する画素素子に対応する画素が多い画像であっても、ある注目画素の画素信号値を補正する際には、感度が良好な（したがって、ノイズの少ない画素信号を出力する）画素素子に対応する画素のみを有効画素として選択するため、低感度でノイズを多く含む画素信号を出力する画素素子に対応する画素の影響を受けないノイズの低減ないしは除去ができる。また、選択された有効画素の中から、さらに注目画素の補正に用いる補正用画素を選択しているので、注目画素の真値の補正に適さない画素信号値を有する等の、感度以外の不適要因を持つ画素の影響を受けないノイズの低減ないしは除去ができる。感度以外不適の要因とは、例えば、注目画素と異なる対象物が撮像されているために、注目画素の真値とは異なる画素信号値を持つこと等が挙げられる。

さらに、前記補正用画素選択手段は、前記参照領域内にエッジが存在するか否かを判定するエッジ有無判定手段と、前記エッジ有無判定手段によってエッジ有りと判定された場合に前記有効画素を複数のクラスタにクラスタリングする有効画素クラスタリング手段とを具備し、前記クラスタの中から少なくとも１つのクラスタを選択し、該クラスタに属する全ての有効画素を前記補正用画素として選択する。ここで、「エッジ」は、画面中の物体像の輪郭を意味する。

前記有効画素クラスタリング手段は、例えば、前記有効画素の画素信号値の全てを含む信号値区間を複数の分割信号値区間に分割し、同一の該分割信号値区間に含まれる画素信号値を有する前記有効画素は全て同一のクラスタに属するとして、前記有効画素をクラスタに組分けするものである。

また、前記補正用画素選択手段は、例えば、各前記クラスタの重心座標を算出し、前記注目画素の位置と前記重心の位置との距離が最も短いクラスタに属する全ての有効画素を前記補正用画素として選択するものである。ここに、「クラスタの重心」は、同一クラスタに属する全ての有効画素の位置に同じ質量の質点が存在しているとして、その質点系の重心として求める。

さらに、前記補正用画素の画素信号値を用いて算出した補正値としては、該補正用画素の画素信号値の平均値、前記注目画素の位置と各該補正用画素の位置との距離が小さくなるにつれて大きくなる重さを用いて計算した該補正用画素の画素信号値の加重平均値、該補正用画素の画素信号値の中央値、最も感度が高い画素素子に対応する有効画素の画素信号値（エッジ無しの場合）等がある。

以下に、温度画像のノイズ低減を実施の形態例として、本発明を詳細に説明する。本実施の形態例では、温度値（画素素子が出力する画素信号値）にノイズが大きく乗っている画素が多く存在し、且つ画素数が少ない画像の、ノイズ低減を目的とする。

なお、本実施の形態例では温度画像を対象とするが、本発明は、これに限るものではなく、他の２次元画像データのノイズ低減を行う画像補正装置であってもよい。

図１に、本実施の形態例の構成概略図を示す。図において、撮像手段１０１は、本実施の形態例では、電子式遠赤外線カメラであるとするが、その他の撮像手段、例えば、可視光や近赤外線の電子式カメラであってもよい。

メモリ１０３には、撮像手段１０１の各画素素子の感度が記録されている。演算器１０２は、メモリ１０３に記憶された情報に基づき、撮像手段１０１で得られた画像の補正演算を行う。また、不図示の出力手段によって、演算器１０２で補正された画像情報を出力する。

本実施の形態例において、演算器１０２には、上記の有効画素選択手段と、補正用画素選択手段と、画素信号値補正手段とが具備されている。

さらに、本実施の形態例における補正用画素選択手段は、参照領域内にエッジが存在するか否かを判定するエッジ有無判定手段と、前記エッジ有無判定手段によってエッジ有りと判定された場合に前記有効画素を複数のクラスタにクラスタリングする有効画素クラスタリング手段とを具備している。

このような構成によって、参照領域内にエッジが存在すると判断された場合、参照領域内が、有効画素の画素信号値に基づいて、有効画素クラスタリング手段によって、複数の領域（後述のクラスタ存在領域）に分割され、注目画素から遠い領域の画素信号値が注目画素の補正に反映されることが無いため、領域の画像形状を損なうことなく、ノイズの低減ないしは除去ができる。

図４の具体例に基づいて、上記の過程を説明する。図４の（ａ）における３０１は取得画像であり、ある補正対象である注目画素３０２およびその参照領域３０３が設定されたとする。このとき、参照領域３０３内の各画素の画素信号値は、本来ならば図４の（ｃ）の値をとるべきところ、低感度画素素子においてノイズが発生したため、図４の（ｂ）のようになっているとする。ノイズが多いため、例えばメディアンフィルタでは、注目画素３０２の補正後の値は真値とは異なる値となってしまう。また、参照領域３０３内は、本来の画素信号値（図４の（ｃ））をみると、右上の画素信号値３０の領域とその他の画素信号値２６の領域とに分割される。注目画素３０２は画素信号値２６の領域に属しており、画素信号値３０の領域の画素の画素信号値を補正に用いては、補正結果に逆にノイズが乗ってしまい、領域の画像境界形状を乱してしまうこととなる。

そこで、まず、感度が良好な画素素子に対応する画素を有効画素として選択する。選択方法としては、感度が所定の閾値よりも高い画素素子に対応する画素を有効画素として選択する方法を採用する。選択した結果が、図４の（ｄ）であったとする（選択された有効画素に○を付す）。

選択された有効画素の中から、さらに、注目画素３０２を含むか、あるいは、注目画素３０２に最も近いクラスタ存在領域（後述）に属する有効画素を補正用画素として選択する。選択した結果が、例えば図４の（ｅ）のようになる。最終的に選択された補正用画素（（ｅ）において○を付す）を用いて補正をすれば、感度が良好な画素素子に対応し、且つ、注目画素３０２が属する領域中の画素の画素信号値を用いて補正することとなるので、低感度画素の影響を受けず、且つ、領域の画像形状を乱さない補正が可能となる。

以下、図２から図１３に、本実施の形態例の作用を示す。

図２、図３（図２の続き）に、本実施の形態例のフローチャートを示す。

処理Ｓ２０１では、所定の事象をトリガーとして処理を開始する。例えば、撮像手段１０１の電源投入時をトリガーとする。なお、トリガーはこれに限るものではない。

処理Ｓ２０２では、撮像手段で撮像した画像をメモリ１０３に取り込む。

処理Ｓ２０３では、注目画素を設定する。注目画素Ｐ_ａの画像平面上での位置（ここでは、画素の中心位置とする）の座標値を（ｉ_ａ，ｊ_ａ）とする。注目画素とは、補正対象の画素のことである。設定方法は、例えば、画面中の全画素を補正する場合には、画面左上端を開始点として、注目画素を順次更新していく。他にも、感度が所定の閾値以下の画素素子に対応する画素のみを補正対象として抽出することも考えられる。なお、注目画素の設定方法は、これらに限定されるものではない。

処理Ｓ２０４では、参照領域を設定する。具体的には、参照領域は、画面の辺に平行な辺を有する正方形または矩形の領域であるとし、その横幅Ｒｘおよび縦幅Ｒｙを設定する。

このような参照領域について、図４を用いて説明する。図４において、３０１は撮像された取得画像、３０２は注目画素、３０３は参照領域であるとする。図に示すように、参照領域の幅ＲｘおよびＲｙは、それぞれ、横方向に並ぶ画素数および縦方向に並ぶ画素数である。図４の例では、Ｒｘ＝５、Ｒｙ＝７となる。

ＲｘおよびＲｙの設定方法は、例えば、予め所定の値をメモリ１０３に保存しておいてこれを参照する。なお、参照領域幅の設定方法はこれに限定されるものではない。例えば、参照領域３０３内に存在して欲しい有効画素数が予め決まっている場合には、（参照領域内に存在して欲しい有効画素数）／（参照領域の画素数）＝（入力画像全画素中における感度良好な画素素子に対応する画素数）／（入力画像全画素数）となるように、参照領域３０３の大きさを定めてもよい。あるいは、下記のように、参照領域３０３内の有効画素数が所定の閾値以上であるように、参照領域３０３を設定してもよい。

処理Ｓ２０５では、参照領域内の有効画素を設定する。ここで言う有効画素とは、所定の感度閾値ＴＨＫよりも高い感度を持つ画素素子に対応する画素のことを言う。画像平面上での位置座標値（ｉ，ｊ）（ここでは、画素の中心位置座標とする）の画素に対応する画素素子の感度Ｋ_ｉｊは、メモリ１０３に保存された感度マップを参照することで得られる。

メモリ１０３には、予め撮像手段１０１の各画素に対応する画素素子の感度が感度マップとして保持されている。

有効画素選択処理について、図６を用いて説明する。

メモリ１０３には、取得画像５０１における感度マップが保存されている。感度マップにおいて、処理Ｓ２０３で設定された、位置座標値（ｉ_ａ，ｊ_ａ）の注目画素５０２、および、処理Ｓ２０４で設定された参照領域５０３内の各画素に対応する画素素子の感度が、図６の（ｂ）に示された値であったとする。ここで感度閾値ＴＨＫ＝７であったとすると、Ｋ_ｉｊ＞ＴＨＫである画素素子に対応する画素、すなわち、感度Ｋ_ｉｊが７よりも高い画素素子に対応する画素が選択されるため、図６の（ｂ）に示す○印が重畳された画素が有効画素となる。なお、感度閾値は、所定の固定値であってもよいし、参照領域内の全画素に対応する画素素子の感度値の平均値とする、等により、動的に変化させてもよい。

感度が高い画素素子に対応する画素ほど、その画素の画素信号値に発生するノイズの値が低くなる。上記のノイズとの相関を持つ値を取得できるのであれば、撮像装置において定義される感度マップとは異なる感度マップを、任意の手段を用いて取得して用いてもよい。

処理Ｓ２０６では、参照領域内の有効画素数Ｎ_ａｌｌをカウント（計数）する。図６の例では、Ｎ_ａｌｌ＝９となる。

処理Ｓ２０７では、Ｎ_ａｌｌ＜ＴＨＮであるか否か判定する。ここで、ＴＨＮは所定の有効画素数閾値である。条件を満たさなければ、有効画素選択手段による処理が終了したことになるので、処理Ｓ２０８に移行し、条件を満たせば処理Ｓ２１８に移行する。なお、有効画素数閾値は、（有効画素数閾値）＝（参照領域の画素数）×（入力画像全画素中における感度良好な画素素子に対応する画素数）／（入力画像全画素数）として動的に定めてもよいし、固定の閾値であってもよい。なお、有効画素数閾値の定め方は、これに限るものではない。

処理Ｓ２１８では、参照領域幅幅ＲｘおよびＲｙが、それぞれ、所定の閾値ＴＨＲｘおよびＴＨＲｙの範囲内であるか否かを判定する。Ｒｘ＜ＴＨＲｘ且つＲｙ＜ＴＨＲｙを満たさなければ、Ｓ２１９に移行する。満たせば、処理Ｓ２２０に移行し、参照領域幅ＲｘおよびＲｙを拡大する。

処理２２０では、参照領域幅ＲｘおよびＲｙを拡大する。拡大前の幅をＲｘ_ｏｌｄ、Ｒｙ_ｏｌｄ、拡大後の幅をＲｘ_ｎｅｗ、Ｒｙ_ｎｅｗ、拡大幅をＳｘおよびＳｙとすると、Ｒｘ_ｎｅｗ＝Ｒｘ_ｏｌｄ＋Ｓｘ、Ｒｙ_ｎｅｗ＝Ｒｙ_ｏｌｄ＋Ｓｙとなる。

Ｎ_ａｌｌ＝０であれば、Ｓｘ＝α×Ｒｘ_ｏｌｄ、Ｓｙ＝β×Ｒｙ_ｏｌｄとする。αおよびβは所定の係数である。

Ｎ_ａｌｌ＞０であれば、Ｓｘ＝Ｄｍａｘ_ｘ、Ｓｙ＝Ｄｍａｘ_ｙとする。ここで、Ｄｍａｘ_ｘおよびＤｍａｘ_ｙは、注目画素の位置座標値を（ｉ_ａ，ｊ_ａ）とし、参照領域内の有効画素の位置座標値を（ｉ，ｊ）とすると、Ｄｍａｘ_ｘは｜ｉ−ｉ_ａ｜の最大値、Ｄｍａｘ_ｙは｜ｊ−ｊ_ａ｜の最大値とする。

Ｒｘ＝Ｒｘ_ｎｅｗ、Ｒｙ＝Ｒｙ_ｎｅｗとした後、処理Ｓ２０５に戻る。なお、拡大幅ＳｘおよびＳｙの定め方はこれに限るものではない。

参照領域拡大幅設定について、図７を用いて説明する。

図７の（ａ）において、取得画像６０１上に、注目画素６０２および注目画素の参照領域６０３が設定されたとする。このときの領域の幅をＲｘ_ｏｌｄ、Ｒｙ_ｏｌｄとする。図７の（ｂ）に示すように、参照領域６０３内に、有効画素６０４および６０５が存在したとすると、Ｎ_ａｌｌ＝２となる。有効画素数閾値ＴＨＮを例えば４とすると、Ｎ_ａｌｌ＜ＴＨＮであるため、処理Ｓ２０７での判定の結果、処理Ｓ２１８に移行する。処理Ｓ２１８において、参照領域６０３の幅が所定の閾値ＴＨＲｘおよびＴＨＲｙ以内であるか否かを判定する。参照領域６０３の幅を、図７の（ｂ）に示すように、Ｒｘ＝Ｒｘ_ｏｌｄ、Ｒｙ＝Ｒｙ_ｏｌｄとしたとき、Ｒｘ_ｏｌｄ＜ＴＨＲｘ、Ｒｙ_ｏｌｄ＜ＴＨＲｙであれば、処理Ｓ２２０に移行する。処理Ｓ２２０では、まず、拡大幅を設定する。図７の例では、Ｎ_ａｌｌ＞０であるため、Ｓｘ＝Ｄｍａｘ_ｘ、Ｓｙ＝Ｄｍａｘ_ｙとなる。有効画素６０５と注目画素６０２との横方向の距離をＤＸ１、縦方向の距離をＤＹ１とし、有効画素６０４と注目画素６０２との横方向の距離をＤＸ２、縦方向の距離をＤＹ２とすると、ＤＸ１＞ＤＸ２であるため、Ｄｍａｘ_ｘ＝ＤＸ１となり、ＤＹ１＜ＤＹ２であるため、Ｄｍａｘ_ｙ＝ＤＹ２となる。次に、領域を拡大する。拡大後の幅をＲｘ_ｎｅｗ、Ｒｙ_ｎｅｗとすると、Ｒｘ_ｎｅｗ＝Ｒｘ_ｏｌｄ＋Ｄｍａｘ_ｘ、Ｒｙ_ｎｅｗ＝Ｒｙ_ｏｌｄ＋Ｄｍａｘ_ｙとなる（図７の（ｃ）、（ｄ））。

処理Ｓ２１９では、Ｓ２１８の判定処理で、参照領域の幅が所定の閾値以上に達したと判定した場合に、注目画素Ｐ_ａ（ｉ_ａ，ｊ_ａ）は補正が不可能であると見なし、注目画素に対して無効画素フラグを立てる。無効画素フラグは、本実施の形態例で示す補正処理で補正された画像に対し、何らかの画像処理を施す場合に参照される。例えば、無効画素フラグが立てられた画素についてはエッジ検出等の画像処理を行わないことで、本補正手段で補正した画像を利用した任意の画像処理において誤った結果が発生することを防ぐ。なお、処理Ｓ２１９は、本補正手段で補正した画像の用途によっては省略することも可能である。

処理Ｓ２０７において、Ｎ_ａｌｌ≧ＴＨＮであった場合には、有効画素選択手段による処理が終了したことになるので、処理Ｓ２０８に移行する。

処理Ｓ２０８では、参照領域内の有効画素の分散値σを算出する。分散値σは式、

σ ＝ Σ{(Ｔ_ｐ − Ｔａｖｅ)^２}/Ｎ_ａｌｌ （式１）

で与えられる。ここで、Σ{Ｘ}は、参照領域Ｌ_ｒ内の有効画素についてのＸの総和を意味する。Ｎ_ａｌｌは、参照領域Ｌ_ｒ内の有効画素数である。Ｔ_ｐは有効画素ｐの画素信号値であり、Ｔａｖｅは参照領域Ｌ_ｒ内の有効画素の画素信号値Ｔ_ｐの平均値である。

画素信号値Ｔ_ｐを数値で表した具体例について、図４を用いて説明する。図４の（ａ）は画像全体（取得画像３０１）を示している。この画像内に、注目画素３０２の参照領域３０３が設定されたとする。参照領域３０３の大きさは、この例では横５画素×縦７画素である。また、参照領域３０３内の各画素の画素信号値が、図４の（ｂ）に示す通りであったとする。一方、参照領域３０３内の各画素に対応する画素素子の感度（入力（被写体からの遠赤外線）の強さを画素信号値に変換する変換効率）が、図６の（ｂ）の参照領域５０３に示す値であったとする。このとき、○印が重畳された画素が、対応する画素素子の感度＞感度閾値となる有効画素であり、この結果を図４の（ｂ）に重畳して示したのが図４の（ｄ）である。

上記の（式１）では、この○印が重畳された有効画素の、原画像における画素信号値の分散を求めることになる。

処理Ｓ２０９では、処理Ｓ２０８で求めた分散値σが所定の閾値ＴＨＳ未満であるか否か判定する。σ＜ＴＨＳを満たせば、エッジ有無判定手段による処理が終了したことになるので、処理Ｓ２２６に移行する。σ＜ＴＨＳを満たさない場合も、エッジ有無判定手段による処理が終了したことになるので、処理Ｓ２１０に移行する。

処理Ｓ２０９は、エッジ有無判定手段による判定処理に相当する。有効画素の画素信号値は、有効でない画素の画素信号値と比べて信頼性が高い。もし、参照領域内の有効画素の画素信号値ばらつきが十分小さければ、その参照領域内にはエッジが存在しない、すなわち、参照領域内の画素は、どの画素もほぼ等しい画素信号値になると予測される。例えば、有効画素の画素信号値が図５の（ｂ）に示すような場合は、分散値が小さく、エッジが存在しないとみなせる。一方、もし、ばらつきが大きければ、その参照領域内にはエッジが存在する、すなわち、参照領域内の画素信号値は２つ以上のクラスタに分類可能であると見なすことが出来る。例えば、図５の（ｃ）に示すような場合は、参照領域４０３右上付近の有効画素とそれ以外の有効画素とで画素信号値が異なるため、分散値が大きく、エッジが存在すると見なせる。

通常の画像処理では、何らかのエッジ検出フィルタを用いて画素信号値の勾配を求め、勾配が閾値以上であればその画素はエッジに相当すると判定する。しかしながら、本実施の形態例で対象とするような、まばらな有効画素のみを対象にする場合には、通常のエッジ検出フィルタを用いてエッジの有無を求めることはできない。これに対して、本発明においては、上記のように、有効画素の画素信号値の分散値を用いることで、エッジの有無を判定することが可能となる。

なお、エッジ有無判定手段は、これに限るものではない。例えば、時系列画像の場合、エッジ有無判定手段は、過去の画像のエッジ検出結果から、処理対象の画像におけるエッジ存在箇所を推定することで、参照領域内にエッジが存在するか否かを判定するようにしてもよい。

処理Ｓ２１０では、参照領域内の有効画素を２値化する。この処理は有効画素クラスタリング手段による処理に相当する。２値化の方法としては、例えば、参照領域Ｌ_ｒ内の有効画素ｐの画素信号値Ｔ_ｐの平均値Ｔａｖｅを閾値として２値化する。画素ｐの２値化後の値をＢ_ｐとすれば、Ｔ_ｐ＞Ｔａｖｅを満たすときにはＢ_ｐ＝１、満たさなければＢ_ｐ＝０とする。例えば、図８の（ｂ）の例では、２値化によるクラスタリング結果が図８の（ｃ）となる。ここでの処理は、有効画素クラスタリング手段が、有効画素の画素信号値の全てを含む信号値区間を複数（この場合には２つ）の分割信号値区間（Ｔ_ｐ≦Ｔａｖｅなる区間とＴ_ｐ＞Ｔａｖｅなる区間）に分割し、同一の分割信号値区間に含まれる画素信号値を有する有効画素は同一のクラスタに属するとして、前記有効画素をクラスタに組分けすることに相当する。なお、２値化の方法はこれに限るものではない。

処理Ｓ２１０は、有効画素クラスタリング手段による組分け処理に相当する。この場合は２つのクラスタに組分けしたが、２つ以上のクラスタに組分けしてもよい。一般に、有効画素の画素信号値の全てを含む信号値区間を複数の分割信号値区間に分割し、同一の分割信号値区間に含まれる画素信号値を有する有効画素は同一のクラスタに属するとして、有効画素をクラスタに組分けすることができる。

処理Ｓ２１１では、クラスタ０（Ｂ_ｐ＝０である有効画素が属するクラスタ）のクラスタ存在領域Ｌ_０およびクラスタ１（Ｂ_ｐ＝１である有効画素が属するクラスタ）のクラスタ存在領域Ｌ_１を設定する。ここで、クラスタ存在領域は、一般に、同一のクラスタに属する有効画素の全てが存在する単連結の領域が該クラスタのクラスタ存在領域である、として定義される。

本実施の形態例においては、以下のようにして、クラスタ存在領域Ｌ_０およびＬ_１を設定する。

まず、２値化後の値が０である有効画素の中で、最も右側にある有効画素の右端の（水平方向）位置座標値ｉ_０Ｒ、および、最も左側にある有効画素の左端の（水平方向）位置座標値ｉ_０Ｌ、最も上側にある有効画素の上端の（垂直方向）位置座標値ｊ_０Ｔ、および、最も下側にある有効画素の下端の（垂直方向）位置座標値ｊ_０Ｂを求める。同様に、２値化後の値が１である画素の中で、最も右側にある有効画素の右端の（水平方向）位置座標値ｉ_１Ｒ、および、最も左側にある有効画素の左端の（水平方向）位置座標値ｉ_１Ｌ、最も上側にある有効画素の上端の（垂直方向）位置座標値ｊ_Ｔ１、および、最も下側にある有効画素の下端の（垂直方向）位置座標値ｊ_１Ｂを求める。例えば、図８の（ｃ）の例では、各位置座標は、図９に示すようになる。

つぎに、各クラスタ存在領域Ｌ_０、Ｌ_１を、同一のクラスタに属する有効画素の全てを覆い、画面の辺に平行な辺を有する正方形領域または矩形領域の中で最小個数の画素を覆う領域であるように設定する。ここで、領域が画素を覆うとは、その画素の中心位置がその領域内に存在することをいう。この場合には、Ｌ_０、Ｌ_１ともに正方形領域または矩形領域であり、Ｌ_０は点（ｉ_０Ｌ，ｊ_０Ｔ)と点(ｉ_０Ｒ，ｊ_０Ｂ）とを相対する頂点とし、Ｌ_１は点（ｉ_１Ｌ，ｊ_１Ｔ)と点(ｉ_１Ｒ，ｊ_１Ｂ）とを相対する頂点としている（図９参照）。

処理Ｓ２１２では、各クラスタに属する有効画素数Ｎ_０およびＮ_１をカウントする。例えば、図８の（ｃ）の例では、Ｎ_０＝６、Ｎ_１＝３となる。

処理Ｓ２１３、Ｓ２１４、２１６、Ｓ２１７、Ｓ２２２、Ｓ２２３では、注目画素Ｐ_ａの補正に用いる有効画素、すなわち、補正用画素を選択する。これらの処理は補正用画素選択手段による処理に相当する。

補正用画素は、基本的には、画像平面上で注目画素を包含する位置に有効画素が配置されたクラスタであるとする。

処理Ｓ２１３では、Ｐ_ａがＬ_０に存在しＬ_１には存在しない画素であるか否かを判定する。具体的には、Ｐ_ａの位置座標を（ｉ_ａ,j_ａ）とし、
条件１：ｉ_０Ｌ＜ｉ_ａ＜ｉ_０Ｒかつｊ_０Ｂ＜j_ａ＜ｊ_０Ｔ、
条件２：ｉ_１Ｌ＜ｉ_ａ＜ｉ_１Ｒかつｊ_１Ｂ＜j_ａ＜ｊ_１Ｔ、
とした場合、条件１が満たされ条件２が満たされなければ、Ｐ_ａはＬ_０に存在しＬ_１には存在しない画素であるから、処理Ｓ２２８に移行する。その他の場合には処理Ｓ２１４に移行する。

処理Ｓ２１４では、Ｐ_ａがＬ_１に存在しＬ_０には存在しない画素であるか否かを判定する。具体的には、上記条件１が満たされず条件２が満たされているか否かを判定すればよい。Ｐ_ａがＬ_１に存在しＬ_０には存在しない画素である場合は処理Ｓ２３０に移行し、その他の場合には処理Ｓ２１５に移行する。

なお、本実施の形態例では、各クラスタのクラスタ存在領域は、各クラスタの有効画素の外接正方形または矩形領域としたが、注目画素がいずれのクラスタに属するか、あるいは近いか判断可能であれば、その他のクラスタ存在領域を設定してもよい。例えば、図１３に示すように、エッジ有無判定手段によって参照領域内にエッジが存在すると判定され、かつ、そのエッジの傾きθ（エッジ角度）が既知であれば、クラスタ間の分離が最もよくなるようにエッジの傾きθのライン（エッジを表す線）で参照領域を分割することで、クラスタ０のクラスタ存在領域Ｌ_０およびクラスタ１のクラスタ存在領域Ｌ_１を設定してもよい。この場合には、エッジを挟む少なくとも２つのクラスタ存在領域が、該エッジに平行な辺を有することになる。このようなクラスタ存在領域を用いることによって、エッジ角度が既知な場合には、より精度の高い補正ができる。

処理Ｓ２２８では、クラスタ０の有効画素の画素信号値の平均値Ｔａｖｅ_０を算出する。

処理Ｓ２２９では、注目画素Ｐ_ａの画素信号値をＴａｖｅ_０で置換する。すなわち、この場合は、注目画素が、１つのクラスタのクラスタ存在領域にのみ存在する場合であり、該クラスタに属する全ての有効画素を補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

処理Ｓ２３０では、クラスタ１の有効画素の画素信号値の平均値Ｔａｖｅ_１を算出する。

処理Ｓ２３１では、注目画素Ｐ_ａの画素信号値をＴａｖｅ_１で置換する。すなわち、この場合も、注目画素が、１つのクラスタのクラスタ存在領域にのみ存在する場合であり、該クラスタに属する全ての有効画素を補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

処理Ｓ２１３および処理Ｓ２１４の内容を、図９を用いて説明する。図９の例では、Ｐ_ａがＬ_０に存在しＬ_１には存在しない画素である。このことから、注目画素Ｐ_ａがクラスタ０の有効画素と同じクラスタ存在領域にのみ存在していると見なすことができる。つまり、注目画素Ｐ_ａを補正するのに用いる補正用画素は、クラスタ０の有効画素となる。例えば図４の（ｂ）の例では、図４の（ｅ）に示す補正用画素（○印を付す）が選択される。

これにより、注目画素の真値とは異なる画素信号値を持つクラスタ１の画素の画素信号値が、注目画素の補正結果に反映されなくなるため、より精度の高い補正が可能となる。

処理Ｓ２１５では、上記条件１と条件２との両方が満たされるか否か判定する。上記条件１と条件２との両方が満たされた場合にはＳ２２１に移行し、その他の場合にはＳ２１６に移行する。後者の場合は、例えば図１０や図１１に示すような、注目画素Ｐ_ａがいずれのクラスタ存在領域にも存在しない場合であり、前者の場合は、例えば図１２に示すような、注目画素Ｐ_ａが両方のクラスタ存在領域に存在する場合である。

処理Ｓ２１６および処理Ｓ２１７では、注目画素Ｐ_ａがいずれのクラスタ存在領域にも存在しない場合における、補正用画素の選択を行う。

まず、処理Ｓ２１６では、Ｎ_０＝Ｎ_１の条件を満たすか否かを判定する。満たせば処理Ｓ２２６に移行し、満たさなければ処理Ｓ２１７に移行する。満たさない場合は、例えば図１０のような場合である。

処理Ｓ２１７では、Ｎ_０＞Ｎ_１の条件を満たすか否かを判定する。満たせば処理Ｓ２２８、Ｓ２２９に移行し、注目画素の画素信号値をクラスタ０の有効画素の平均値で補正する。すなわち、この場合は、注目画素が、クラスタ存在領域のいずれにも存在せず、且つ、少なくとも２つのクラスタおいて、クラスタに属する有効画素数が異なる場合であり、最も有効画素数が多いクラスタ（この場合にはクラスタ０、一般には複数存在する場合がある）に属する全ての有効画素を補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

Ｎ_０＞Ｎ_１の条件が満たさなければ処理Ｓ２３０、Ｓ２３１に移行し、注目画素の画素信号値をクラスタ１の有効画素の平均値で補正する。すなわち、この場合も、注目画素が、クラスタ存在領域のいずれにも存在せず、且つ、少なくとも２つのクラスタおいて、クラスタに属する有効画素数が異なる場合であり、最も有効画素数が多いクラスタ（この場合にはクラスタ１）に属する全ての有効画素を補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

つまり、注目画素がいずれのクラスタにも属さない場合で、且つ、クラスタ間で有効画素の数が異なる場合には、注目画素は有効画素数が多いクラスタのクラスタ存在領域に存在するとみなし、そのクラスタの有効画素を補正用画素とする。図１０の例では、クラスタ０の有効画素が補正用画素となる。

一方、Ｎ_０＝Ｎ_１の条件を満たす場合は、例えば図１１のような場合である。この場合、注目画素が各クラスタと同じクラスタ存在領域に属している可能性は、両クラスタとも同程度と見なせるため、注目画素の画素信号値を全有効画素の平均値で補正する。処理Ｓ２２６では、参照領域内の全有効画素の平均値Ｔａｖｅ_ａｌｌを算出し、続いて、処理Ｓ２２７では、注目画素Ｐ_ａの画素信号値をＴａｖｅ_ａｌｌに更新する。すなわち、この場合は、注目画素が、クラスタ存在領域のいずれにも存在せず、且つ、全てのクラスタにおいて、各クラスタに属する有効画素数が等しい場合に、全ての前記有効画素を前記補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

なお、エッジ有無判定手段によってエッジ無しと判定された場合に、処理Ｓ２２６に換えて、全ての有効画素の中で、最も感度が高い画素素子に対応する有効画素（複数存在する場合もある）を補正用画素として選択し、処理Ｓ２２７で、注目画素Ｐ_ａの画素信号値を該補正用画素の画素信号値（補正用画素が複数の場合は画素信号値の平均値）に更新してもよい。

処理Ｓ２２１から処理Ｓ２２３では、注目画素が両方のクラスタ存在領域に属する場合に、注目画素がいずれのクラスタのクラスタ存在領域に属するとするのがよいかを判定する。具体的には、各クラスタの重心を求め、その重心の位置と注目画素の位置との距離が最も短いクラスタのクラスタ存在領域に属すると判定する。クラスタの重心は、同一のクラスタに属する有効画素の位置に同じ質量の質点が存在しているとして、その質点系の重心として求める。

処理Ｓ２２１では、注目画素の位置と各クラスタの重心の位置との距離ｄ_０およびｄ_１を算出する（図１２参照）。図１２において、クラスタ０の重心の位置座標値は（ｉｇ_０，ｊｇ_０）で示され、クラスタ１の重心の位置座標値は（ｉｇ_１，ｊｇ_１）で示されている。

処理Ｓ２２２では、ｄ_０＝ｄ_１の条件を満たすか否か判定する。満たせば処理Ｓ２２６に移行し、満たさなければ処理Ｓ２２３に移行する。

処理Ｓ２２３では、ｄ_０＞ｄ_１の条件を満たすか否か判定する。満たせば処理Ｓ２２８に移行し、満たさなければ処理Ｓ２３０に移行する。

処理Ｓ２２１以降の処理は、注目画素が、複数のクラスタのクラスタ存在領域に共通する部分に存在する場合の処理であり、この場合は、クラスタの重心の位置座標値を算出し、注目画素の位置と該重心の位置との距離が最も短いクラスタ（上記ｄ_０＝ｄ_１の場合のように、複数存在する場合がある）に属する全ての有効画素を補正用画素として選択し、注目画素の画素信号値を、該補正用画素の画素信号値を用いて算出した補正値（この場合には平均値）で置換する場合である。

なお、上記の、注目画素の位置と重心の位置との距離が最も短いクラスタに属する全ての有効画素を補正用画素として選択する方法は、クラスタ存在領域を設定して用いることを行わなくても、実行可能である。この場合には、処理２１０終了後、Ｓ２２１に移行すればよい。

なお、処理Ｓ２２６から処理Ｓ２３１にかけて、選択された補正用画素の平均値を注目画素の画素信号値とすることで注目画素の補正を行った。しかしながら、補正用画素を用いて補正を行うのであれば、補正値は平均値でなくてもよい。例えば、補正用画素の画素信号値の中央値を採用してもよい。

上記の処理Ｓ２２６から処理Ｓ２３１にかけての処理は、画素信号値補正手段による処理に相当する。

処理Ｓ２２４では、補正対象である全ての画素の補正が終了しているか否かを判定する。終了していれば処理Ｓ２０２に戻り、次の画像の処理に移行する。終了していなければ、補正対象である注目画素Ｐ_ａ（ｉ_ａ、ｊ_ａ）を更新し、処理Ｓ２０４に戻る。

本実施の形態例においては、ノイズが多く有効画素が少ない場合においても、参照領域内にエッジが存在するか否かを判定することが可能であり、参照領域内にエッジが存在すると判定された場合には、有効画素をクラスタに組分けし、注目画素と各クラスタとの位置関係のすべての場合について、補正に最適なクラスタを選択し、そのクラスタに属する有効画素の画素信号値を用いて注目画素の画素信号値を補正することが可能となり、これによって、画像のノイズの低減ないしは除去ができる。

なお、本発明の実施形態は、本実施の形態例に限られるものではない。例えば、本実施の形態例においては、処理Ｓ２１０以降の処理において、注目画素が１つのクラスタのクラスタ存在領域にのみ存在する場合に、該クラスタに属する全ての有効画素を補正用画素として選択する第１の選択処理と、注目画素が複数のクラスタのクラスタ存在領域に存在する場合に、各該クラスタの重心の位置座標値を算出し、注目画素の位置と該重心の位置との距離が最も短いクラスタに属する全ての有効画素を補正用画素として選択する第２の選択処理と、注目画素がクラスタ存在領域のいずれにも存在せず、且つ、少なくとも２つのクラスタおいて、クラスタに属する有効画素数が異なる場合に、該有効画素数が最も大きいクラスタに属する全ての有効画素を前記補正用画素として選択する第３の選択処理と、注目画素がクラスタ存在領域のいずれにも存在せず、且つ、全てのクラスタにおいて、各クラスタに属する有効画素数が等しい場合に、全ての有効画素を補正用画素として選択する第４の選択処理との全てを実行しているが、上記第１ないし第４の選択処理のうちの少なくとも１つの選択処理を実行するものであってもよい。

実施の形態例の構成概略図である。 実施の形態例のフローチャートである。 図２の続きである。 実施の形態例説明図である。 エッジ有無判定処理の説明図である。 有効画素選択処理の説明図である。 参照領域拡大幅設定の説明図である。 クラスタリング処理の説明図である。 補正用画素選択処理の説明図である。 補正用画素選択処理の説明図である。 補正用画素選択処理の説明図である。 補正用画素選択処理の説明図である。 エッジ傾き角度が既知の場合のクラスタ存在領域設定例である。

符号の説明

１０１：撮像手段、１０２：演算器、１０３：メモリ、３０１：取得画像、３０２：注目画素、３０３：参照領域、４０１：取得画像、４０２：注目画素、４０３：参照領域、５０１：取得画像、５０２：注目画素、５０３：参照領域、６０１：取得画像、６０２：注目画素、６０３：参照領域、６０４〜６０９：有効画素、７０１：取得画像、７０２：注目画素、７０３：参照領域。

Claims (11)

1. 画像のノイズを低減する画像補正装置であって、
   注目画素近傍の参照領域内に存在する、感度が所定の閾値よりも高い画素素子に対応する画素を有効画素として選択する有効画素選択手段と、
   前記有効画素の中から前記注目画素の補正に用いる補正用画素を選択する補正用画素選択手段と、
   前記注目画素の画素信号値を、前記補正用画素の画素信号値を用いて算出した補正値で置換する画素信号値補正手段とを備えることを特徴とする画像補正装置。
2. 前記補正用画素選択手段は、
   前記参照領域内にエッジが存在するか否かを判定するエッジ有無判定手段と、
   前記エッジ有無判定手段によってエッジ有りと判定された場合に前記有効画素を複数のクラスタに組分けする有効画素クラスタリング手段とを具備し、
   前記クラスタの中から少なくとも１つのクラスタを選択し、該クラスタに属する全ての有効画素を前記補正用画素として選択することを特徴とする請求項１記載の画像補正装置。
3. 前記有効画素クラスタリング手段は、前記有効画素の画素信号値の全てを含む信号値区間を複数の分割信号値区間に分割し、同一の該分割信号値区間に含まれる画素信号値を有する前記有効画素は全て同一のクラスタに属するとして、前記有効画素をクラスタに組分けすることを特徴とする請求項２記載の画像補正装置。
4. 前記補正用画素選択手段は、各前記クラスタの重心の位置座標値を算出し、前記注目画素の位置と該重心の位置との距離が最も短いクラスタに属する全ての有効画素を前記補正用画素として選択することを特徴とする請求項２または３記載の画像補正装置。
5. 前記補正用画素選択手段は、同一の前記クラスタに属する有効画素の全てが存在する単連結の領域を該クラスタのクラスタ存在領域として設定し、
   前記注目画素が１つの前記クラスタのクラスタ存在領域にのみ存在する場合に、該クラスタに属する全ての有効画素を前記補正用画素として選択する第１の選択処理と、
   前記注目画素が複数の前記クラスタのクラスタ存在領域に存在する場合に、各該クラスタの重心の位置座標値を算出し、前記注目画素の位置と該重心の位置との距離が最も短いクラスタに属する全ての有効画素を前記補正用画素として選択する第２の選択処理と、
   前記注目画素が前記クラスタ存在領域のいずれにも存在せず、且つ、少なくとも２つの前記クラスタおいて、クラスタに属する有効画素数が異なる場合に、該有効画素数が最も大きいクラスタに属する全ての有効画素を前記補正用画素として選択する第３の選択処理と、
   前記注目画素が前記クラスタ存在領域のいずれにも存在せず、且つ、全ての前記クラスタにおいて、各クラスタに属する有効画素数が等しい場合に、全ての前記有効画素を前記補正用画素として選択する第４の選択処理とのうちの少なくとも１つの選択処理を実行することを特徴とする請求項２または３記載の画像補正装置。
6. 前記エッジ有無判定手段は、全ての前記有効画素の画素信号値の分散値を求め、該分散値が所定の閾値以上であれば前記参照領域内にエッジが存在すると判定し、該分散値が該閾値未満であれば前記参照領域内にエッジが存在しないと判定することを特徴とする請求項２、３、４または５記載の画像補正装置。
7. 前記補正用画素選択手段は、前記エッジ有無判定手段によって前記参照領域内にエッジが存在しないと判定された場合に、全ての前記有効画素を前記補正用画素として選択することを特徴とする請求項２または６記載の画像補正装置。
8. 前記補正用画素選択手段は、前記エッジ有無判定手段によって前記参照領域内にエッジが存在しないと判定された場合に、全ての前記有効画素の中で、最も感度が高い画素素子に対応する有効画素を前記補正用画素として選択することを特徴とする請求項２または６記載の画像補正装置。
9. 前記参照領域内の前記有効画素数が所定の閾値以上になるように前記参照領域の大きさを設定することを特徴とする請求項１ないし８のいずれかに記載の画像補正装置。
10. 前記クラスタ存在領域は、同一の前記クラスタに属する有効画素の全てを覆い、画面の辺に平行な辺を有する正方形領域または矩形領域の中で最小個数の画素を覆う領域であることを特徴とする請求項５、６または９記載の画像補正装置。
11. 前記エッジ有無判定手段によって前記参照領域内にエッジが存在すると判断され、かつ、該エッジのエッジ角度が既知である場合に、該エッジを挟む少なくとも２つの前記クラスタ存在領域が、該エッジに平行な辺を有することを特徴とする請求項２、３、４、５、６または９記載の画像補正装置。

Images