JP2006023981A - ノイズリダクション装置 - Google Patents

Abstract

【課題】画像データ上で任意に選択した画素群を対象としてノイズである画素を従来に比して効率よく検出するとともに、検出した画素の画素値を適切な補間値に補間するノイズリダクション装置を提供する。
【解決手段】最小値演算回路２および最大値演算回路３が、入力された画素データ８のうち任意に選択した画素群の中から最小値および最大値を求め、これらの値と前記画素群の中心画素の画素値が一致するか否かを比較回路５Ａ，５ＢおよびＯＲ回路６によって判定する。一致するとｋは補間値演算回路４で算出した補間値を、一致しないときは中心画素の画素値をセレクタ７Ａ，７Ｂを介して出力する。補間値は、ノイズとみなされた画素がラインを構成するか否かを考慮して算出する。
【選択図】図１

Description

本発明は、画像データ内のノイズとみなした画素の画素値を補間値に置き換えるノイズリダクション装置に関する。

デジタルカメラ等の撮像装置では、撮像素子により撮像された画像データ中から、撮像素子の欠陥等に起因するノイズを探索し、これを補間する処理が行われる。具体的には、画像データ中の所定領域内を探索して、その画素値が最大値または最小値である画素をノイズと判定し、その画素値を、周辺画素の画素値から求めた平均値等の補間値に置き換える補間処理を行う。これにより画像データ内のノイズを低減するノイズリダクション処理を実現している。このような技術に、例えば、特許文献１がある。

また、同じくデジタルカメラ等の撮像装置において、撮像装置の自動焦点調節や自動露光調節等を行うときに、複数個の画素データのうち任意に選択した画素データの中から最大値または最小値を算出する処理を行うことがある。このような処理を実現する技術として、例えば、本願発明者の発明である特許文献２がある。

特開平７−７３３１２号公報 特開２００３−２１６４１２号公報

しかし、上記特許文献１による技術では、レジスタ等のハードウェアにより限定される探索範囲内の全ての画素データを対象に最大値や最小値の探索を行うしかなく、画素データ内の注目領域等の任意の領域に限定した探索を行うことができない。そのため、不必要な領域まで含めた探索を行ってしまうこととなり、探索処理を効率よく行うことができない場合があった。このような場合に、上記特許文献２による技術を利用すれば、任意領域を対象としてノイズを探索し、補間値と置き換える処理を進めることができる。

しかし、最大値または最小値を検出する探索処理を効率よく行うだけでは十分ではなく、従来のように、ノイズとみなされた画素データの画素値を、周辺画素の画素値から算出した平均値や中央値（メディアン）で補間する方法では、良好な補間結果を得られないという問題があった。具体的な例を、縦３画素×横３画素の画素領域を示す図８を参照しながら説明する。図８では、各矩形領域が各画素に相当し、各矩形領域内に記した数値が画素値（例えば輝度値）を示している。実際の画像では、図８の中心画素の位置に、例えば撮像された物体のエッジ等を構成する水平なラインが存在しており、本来であれば中心画素のデータは、左右に位置する画素の画素値と同じく８またはこれに近い値であるところ、その値が１２として出力されている。このとき、図８に示す画素領域を探索し最大値である中心画素の値をノイズとして検出しても、補間後の中心画素の画素値は、平均値によれば４、中央値によれば３、となり、本来の画素値に近似の値とはならない。これでは、補間後の画像データにおいても中心画素はノイズと同様であって、処理によって、補間後の画像データが本来の画像データに近づいたとは言えない。

そこで、この発明の課題は、画像データ上で任意に選択した画素群を対象としてノイズである画素を従来に比して効率よく検出するとともに、検出した画素の画素値を適切な補間値に補間するノイズリダクション装置を提供する。

上記課題を解決すべく、請求項１の発明は、画像データ内の所定領域を構成する画素のうち任意に選択した画素群の画素値の中から、最小値を探索する最小値演算手段と、前記画素群の画素値の中から最大値を探索する最大値演算手段と、前記所定領域内の所定画素の画素値と、前記最小値または前記最大値と、が一致するか否かを判定する判定手段と、前記所定画素の周辺から選択した周辺画素群の画素値から算出した平均値または中央値を補間値として出力する補間値演算手段と、前記判定手段により前記所定画素の画素値が前記最小値または前記最大値と一致したときは前記補間値を出力し、一致しないときは前記所定画素の画素値を出力する出力手段とを備え、前記最大値演算手段および前記最小値演算手段は、前記所定領域から任意に選択した画素群のうち前記所定画素以外の各画素に対応して設けられ、入力される前記各画素の画素値と前記所定画素の画素値とのいずれか一方を、外部入力に応じて選択して出力する選択手段と、前記各選択手段の出力する画素値と、前記所定画素の画素値と、の中から最大値または最小値を探索する比較手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１の発明に係るノイズリダクション装置であって、前記補間値演算手段は、前記判定手段が、前記所定画素の画素値が、前記最小値または前記最大値と一致すると判定したときは、前記周辺画素群の画素値の中から探索した、前記最小値の次に小さい画素値または前記最大値の次に大きい画素値を、補間値として出力することを特徴とする。

また、請求項３の発明は、請求項１または請求項２の発明に係るノイズリダクション装置であって、前記補間値演算手段は、前記所定画素が前記画像データ内のラインを構成する画素であるか否かを判定し、ラインを構成すると判定したときは、前記ラインを構成する前記所定画素以外の画素を前記周辺画素群として、補間値を算出することを特徴とする。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係るノイズリダクション装置であって、前記出力手段は、外部入力に応じて、前記補間値に代えて、前記最小値または前記最大値を出力する手段、を備えることを特徴とする。

請求項１に記載の発明によれば、処理対象とする画素群を任意に変更することで、その適用効果を柔軟に制御しながらノイズリダクション処理を適用することができる。

請求項２または請求項３に記載の発明によれば、ノイズとみなされた画素が、画像データ内において物体のエッジ等のラインを構成するときに、平均値や中央値で補間する場合に比して、エッジの解像感を維持しながら補間することが可能であり、良好な補間結果を得ることができる。

請求項４に記載の発明によれば、任意の画素群から最小値または最大値を探索して出力することで、ノイズリダクション処理装置を、自動焦点調節機能や自動露光調節機能を実現する装置に利用することができる。

＜ノイズリダクション装置の構成＞
図１は、本発明の実施の形態に係るノイズリダクション装置１を示す図である。図１のように、ノイズリダクション装置１は、最小値演算回路２、最大値演算回路３、比較回路５Ａ，５Ｂ、ＯＲ回路６、およびセレクタ７Ａ，７Ｂから構成される。そして、画像データ内の所定領域の画素データ８の中から、ノイズとみなされる画素データを検出したときには、その画素値を、適当な補間値に置き換えることで、画像データのノイズ成分を低減する機能を有する。尚、本実施例において、画素値と記しているのは、画像データをＹＣｂＣｒ形式で表したときのＹ成分や、Ｌａｂ形式で表したときのＬ成分などの輝度成分の値を意味している。ただし、本発明は、これに限るものではなく、画像データに基づく他の値を利用するものであっても構わない。

最小値演算回路（最小値演算手段）２および最大値演算回路（最大値演算手段）３は、入力される所定領域の中から任意に選択した複数の画素値（画素群）の中から、最小値および最大値を探索して、出力する機能を有する。回路の構成および動作の詳細については後述する。

補間値演算回路（補間値演算手段）４は、所定領域の中心画素がノイズとみなされた場合に、中心画素の画素値と置き換えるための補間値を、中心画素の周辺にある複数の画素（周辺画素群）の画素値を参照しながら算出する機能を有する。回路の構成および動作の詳細については後述する。

比較回路５Ａ，５Ｂは、入力される２つの値を比較して、２つの値が一致すれば１を、一致しなければ０を、それぞれ出力する機能を有する。

ＯＲ回路６は、論理和演算回路であって、入力される２つの値の論理和を出力する機能を有する。

セレクタ７Ａ、７Ｂ（出力手段）は、入力値の中から制御信号等の外部入力に応じて選択した１つの値を出力する機能を有する。セレクタ７Ａは、入力される２つの値のうち、ＯＲ回路６から入力される信号を外部入力として、これに応じて選択した値を出力する。そして、セレクタ７Ｂは、外部からの制御信号（図示せず）に応じて、当該セレクタ７Ｂに入力される３つの値から選択した値を主力する。

以下に、最小値演算回路２、最大値演算回路３、および補間値演算回路４の詳細について説明する。

＜最小値演算回路および最大値演算回路＞
最小値演算回路２と最大値演算回路３とは、同様の構成を有する回路により実現することができる。これらの回路は、多数の入力値のうち任意に選択した入力値の中から最小値または最大値を求めることを特徴としている。

以下では、最大値演算回路３において５つの入力値がある場合を例として、回路の基本的な構成とその動作について説明する。

図２は、最大値演算回路３の構成を示すブロック図である。最大値演算回路３は、図２に示すように、比較回路（比較手段）１０と、複数個のセレクタ（選択手段）ＳＬ０〜ＳＬ３（これらを総称する場合には符号「ＳＬ」を用いる）とを備えている。比較回路１０には、複数個の比較回路Ｃ０〜Ｃ３（こららを総称する場合には符号「Ｃ」を用いる）が設けられている。そして、各セレクタＳＬ０〜ＳＬ３に対応して、レジスタＲＯ〜Ｒ３（これらを総称する場合には符号「Ｒ」を用いる）が設けられている。各セレクタＳＬは、対応するレジスタＲの設定内容を外部入力として、入力される２個の数値のうちから外部入力に応じて選択したいずれか一方の数値を出力する。

各比較回路Ｃは、第１および第２の入力部Ａ，Ｂから受け付けた２個の数値を比較して、値の大きい方の数値を出力部Ｙから出力する。ただし、値が等しい場合は常にＡを出力する。そして、比較回路１０では、これらの比較回路Ｃが段階的に２方向に分岐するツリー構造状に接続されており、これらの比較回路Ｃにより入力される複数個の数値に対してトーナメント方式による大小比較を行うことにより、入力された複数個の数値のうちから最大の数値を算出するようになっている。

最大演算候補の数値として入力される５個の入力値ＩＮＯ〜ＩＮ４（これらを総称する場合には符号「ＩＮ」を用いる）に対応して、比較回路１０には４個の比較回路Ｃが設けられている。その比較回路Ｃのうち、比較回路Ｃ０の第１，第２の入力部Ａ，Ｂ、比較回路Ｃ３の第１の入力部Ａ、および比較回路Ｃ１の第１，第２の入力部Ａ，Ｂによって、入力値ＩＮの入力を受け付けるための５個の受付部が構成されている。

また、入力値ＩＮ０〜ＩＮ４のうち、入力値ＩＮ２が注目値として予め選択されており、その入力値ＩＮ２は、比較回路部Ｃ３の第１の入力部Ａに入力される。即ち、注目値ＩＮ２は、セレクタＳＬを介さずに比較回路Ｃ３の第１の入力部Ａに入力される。

これに対して、比較回路Ｃ０およびＣ１の第１，第２の入力部Ａ，Ｂによって構成される４個の受付部には、セレクタＳＬが１個ずつ、計４個設けられている。各セレクタＳＬ０〜ＳＬ３には、注目値である入力値ＩＮ２と、その入力値ＩＮ２以外の各入力値ＩＮ０，ＩＮ１，ＩＮ３およびＩＮ４、がそれぞれ入力される。そして、各セレクタＳＬＯ〜ＳＬ３は、対応するレジスタＲ０〜Ｒ３に１が設定されている状態では、入力値ＩＮ０，ＩＮ１，ＩＮ３およびＩＮ４を選択して対応する受付部に出力する一方、対応するレジスタＲ０〜Ｒ３に０が設定されている状態では、注目値ＩＮ２を選択して出力する。各レジスタＲの設定状態は、ＣＰＵ、マイコン等によって個別に制御すればよい。

これによって、図２に示す最大値演算回路３によれば、各セレクタＳＬには、入力値ＩＮＯ〜ＩＮ４のうちの注目値（ＩＮ２）と、その注目値（ＩＮ２）以外の対応する各入力値ＩＮ０，ＩＮ１，ＩＮ３およびＩＮ４とがそれぞれ入力され、各レジスタＲの設定状態を制御して各セレクタＳＬの選択状態を個別に切り替えることにより、予め設定した注目値（ＩＮ２）を選択に含めつつ任意の組み合わせで演算対象の入力値ＩＮを選択し、その選択した入力値ＩＮのうちから最大値を算出することができる。

例えば、入力値ＩＮ０〜ＩＮ４の全ての値を対象として最大値を算出する場合には、各レジスタＲ０〜Ｒ３に１を設定する。すると、各セレクタＳＬ０〜ＳＬ３によって注目値（ＩＮ２）ではなく、入力値ＩＮ０，ＩＮ１，ＩＮ３およびＩＮ４が選択され、比較回路１０に入力される。そして、その中から最大値が算出される。

また、入力値ＩＮ０〜ＩＮ４のうちから３個の入力値ＩＮ１〜ＩＮ３を選択し、その中で最大値を選択する場合には、レジスタＲ０およびＲ３に０、レジスタＲ１およびＲ２に１を設定する。すると、セレクタＳＬ０およびＳＬ３は入力値ＩＮ２を選択出力し、セレクタＳＬ１およびＳＬ２は、それぞれ入力値ＩＮ１およびＩＮ３を選択出力する。こうして比較回路１０には、入力値ＩＮ１〜ＩＮ３が入力され、その中で最大値が算出される。

尚、図２において、比較回路１０の比較回路Ｃは２つの入力値のうち値の大きな方を選択する機能を有するため最大値演算回路３を実現しているが、比較回路Ｃが、２つの入力値のうち値の小さな方を選択する機能を有する場合には、同様の構成および動作により最小値演算回路２を実現することができる。

次に、上述した回路構成および動作原理に基づいて、ノイズリダクション装置１で実際に用いる最小値演算回路２および最大値演算回路３について説明する。ただし、上述の説明と同様に、以下では、最大値演算回路３を対象として説明する。

図３は、最大値演算回路３の構成を示すブロック図である。最大値演算回路３は、図３に示すように、比較回路部（比較手段）１１と、複数個のセレクタ（選択手段）ＳＬ１０〜ＳＬ２３（これらを総称する場合には符号「ＳＬ」を用いる）とを備えている。比較回路部１１には、複数個の比較回路Ｃ１０〜Ｃ２３（これらを総称する場合には符号「Ｃ」を用いる）が設けられている。そして、各セレクタＳＬ１０〜ＳＬ２３に対応してレジスタＲ１Ｏ〜Ｒ２３（これらを総称する場合には符号「Ｒ」を用いる）が設けられている。

各セレクタＳＬおよび比較回路Ｃの機能は、図２を参照しながら基本動作を説明した上述のセレクタＳＬおよび比較回路Ｃの機能と同様である。また、上述したように比較回路部１１では、これらの比較回路Ｃが段階的に２方向に分岐するツリー構造状に接続されており、入力される複数個の数値に対してトーナメント方式による大小比較を行うことにより、複数個の数値のうちから最大の数値を算出するようになっている。

最大値演算回路３において、最大演算候補となる数値は、画像データを構成する画素値であり、前記注目値には、その最大演算候補となる複数個の画素値のうちから予め選択された注目画素の画素値を用いる。

より具体的には、図４に示すように、デジタルカメラ等の撮像装置において撮像された画像データＩ中に、その少なくとも一部を含むように設定された演算候補領域Ａ１中に位置する画素Ｐ００〜Ｐ２４（これらを総称する場合には符号「Ｐ」を用いる）の画素値が最大演算候補となる。そして、注目値としては、演算候補領域Ａ１中の中心部に位置する中心画素Ｐ１２の画素値が予め設定されている。注目画素Ｐ１２は、後述するように画像データＩ内において演算候補領域Ａ１が移動された場合には、それに伴って移動され、常に演算候補領域の中心画素が注目画素となる。

演算候補領域Ａ１は、図３と対応して、図５に示すように、縦３画素×横５画素の計１５個の画素データＰを含むように設定されている。その演算候補領域Ａ１内の各画素Ｐの画素値は、画像データＩ上を走査するように時系列的に連なった状態で与えられる画像データＩ全体の各画素Ｐの画素値のうちから、図３に示すように１次元的に連なったシフトレジスタＳＲ００〜ＳＲ２４およびラインメモリＭ０〜Ｍ２を用いて取り出される。演算候補領域Ａ１の設定位置は画像データＩ内において移動される。演算候補領域Ａ１の移動は、クロックに同期してＩＮ側から入力される画素信号が、領域Ａ１を構成する全ての画素値をシフトレジスタＳＲ００〜ＳＲ２４に格納するように、ラインメモリＭ０〜Ｍ２を利用しながらシフトレジスタＳＲ００〜ＳＲ２４を順次移動してゆくことで実現する。

比較回路部１１には、１４個の比較回路Ｃが設けられており、その比較回路Ｃのうちの比較回路Ｃ１０〜Ｃ１６の第１，第２の入力部Ａ，Ｂ、および比較回路Ｃ１９の第１の入力部Ａによって、演算候補領域Ａ１内の各画素Ｐの画素値の入力を受ける１５個の受付部が構成されている。このうち比較回路Ｃ１９の第１の入力部Ａが、注目画素Ｐ１２の画素値の入力を受け付ける。即ち、注目画素Ｐ１２の画素値は、セレクタＳＬを介さずに、比較回路Ｃ１９の第１の入力部Ａに入力される。

比較回路部１１の１５個の受付部のうち、比較回路Ｃ１９の第１の入力部Ａを除く各受付部には、セレクタＳＬが１個ずつ、計１４個設けられている。各セレクタＳＬ１０〜ＳＬ２３には、注目画素Ｐ１２の画素値と、当該注目画素Ｐ１２を除く演算候補領域Ａ１を構成する画素Ｐの各画素値と、の２つの値が入力される。そして、各セレクタＳＬ１０〜ＳＬ１３は、対応するレジスタＲ１０〜Ｒ１３に１が設定されている状態では注目画素Ｐ１２ではなく対応する各画素Ｐの画素値を選択する一方、対応するレジスタＲ１０〜Ｒ１３に０が設定されている状態では注目画素Ｐ１２の画素値を選択し、これを比較回路部１１の各受付部に出力する。各レジスタＲの設定状態は、ＣＰＵまたはマイコン等によって個別に制御すればよい。

このように、各レジスタＲの設定状態を制御して各セレクタＳＬの選択状態を個別に切り替えることにより、画像データＩ中の少なくとも一部に設定された演算候補領域Ａ１を構成する画素Ｐの画素値のうちから、演算候補領域Ａ１に設定した所定画素である注目画素Ｐ１２の画素値を選択に含めつつ任意の組み合わせで演算対象の画素値を選択し、その選択した画素値のうちから最小値または最大値を算出することができる。

これによって、例えば、演算候補領域Ａ１内に、図６に示すように、注目画素Ｐ１２を含むように任意の配置、面積および外縁形状で選択領域Ａ２を設定し、その選択領域Ａ２を構成する画素Ｐの画素値のうちから最小値または最大値を容易に算出することができる。

尚、図３において、比較回路１１の比較回路Ｃは２つの入力値のうち値の大きな方を選択する機能を有するため最大値演算回路３を実現しているが、比較回路Ｃが、２つの入力値のうち値の小さな方を選択する機能を有する場合には、同様の構成および動作により最小値演算回路２を実現することができる。また、処理対象を縦３画素×横５画素としたのは一例であって、本発明はこれに限るものではなく、より多くのレジスタを備え、これに対応する所定領域の画素データを処理対象とする態様であっても構わない。さらに、注目値として、中心画素を利用したのも一例であって、これ以外の所定画素を注目値として利用する態様であっても構わない。

＜補間値演算回路＞
補間値演算回路４は、画像データ中の所定領域において、中心画素がノイズであると判断された場合に、この中心画素の画素値と置き換える補間値を求める機能を有する。補間値の算出方法を、以下に説明する。

第１の補間値算出方法は、図８を用いて上述したように、ノイズとみなされた中心画素の周辺の画素値から平均値または中央値（メディアン）を算出する方法である。尚、図８では、平均値または中央値を求めるのに、中心画素の周囲にある８画素全ての画素値を利用しているが、本発明はこれに限らず、例えば、中心画素の上下左右の４画素、または斜め方向に位置する４画素、等の一部の画素値を利用する態様であっても構わない。

しかし、第１の補間値算出方法では、良好な補間結果が得られない場合がある。例えば、図７（ａ）のような画像データの一部領域が、本来は図７（ｂ）のような画素データであるべきところ、撮像素子の欠陥等が原因で、図７（ｃ）のような画素データが出力されたとする。そして、通常の画素値は８ビット階調の情報を有するが、説明を簡単にするため、図７（ｃ）は、図７（ｄ）に示すような画素値を有するものとする。図７（ｂ）と図７（ｄ）を比較して考えれば、中心画素は、左右に位置する画素値と同様に８〜１０の画素値を有するものと予測できる。しかし、上述の第１の補間値算出方法により、中心画素の周囲８画素の平均値または中央値を補間値とすれば、その値は４または３となる。この補間値では、予測される画素値との差が大きく、良好に補間されたとは言い難い。そこで、次に、このような場合に対応可能な補間値の算出方法を説明する。

第２の補間値算出法では、中心画素の画素値が最大値としてノイズと判定された場合には、中心画素を含む所定の領域内において２番目に大きな値を補間値として利用する。例えば、図７（ｄ）に含まれる全ての画素値を対象領域とすると、補間値は、ノイズと判定された中心画素の最大値２０の次に大きい１０となる。ただし、２番目に大きい値を探索する領域は、より小さい領域であっても構わない。例えば、図７（ｄ）の場合、中心画素の周囲に位置する８画素を対象領域とすれば、補間値は９となる。中心画素の画素値が８〜１０と予測されることから、いずれの場合も、平均値や中央値を利用する第１の補間値算出方法による場合と比べて、良好な補間結果を得られたことが分かる。

尚、中心画素が最小値としてノイズと判断された場合には、同様に、２番目に小さい値を補間値として利用すればよい。また、２番目に小さなまたは大きな値は、上述の最小値演算回路または最大値演算回路を利用して、ノイズとみなされた中心画素を除く画素値の中から最小値または最大値として探索することで求めればよい。

最大値または最小値としてノイズと判定された画素の画素値を、２番目に大きいまたは小さい画素値に補間する第２の補間値算出方法は、中心画素が、撮像された物体のエッジ等のライン上に存在するときに有効である。例えば、図７では、対象となる画素領域内において、中心画素を中心として水平方向に値の近い画素値が並んでおり、この方向にラインが存在しているものと考えられる。

このように、中心画素を含むラインが存在するために、平均値や中央値を利用する第１の補間値算出方法では十分な補間結果が得られないときにも、第２の補間値算出方法によれば良好な補間結果を得ることができる。また、２番目に大きいまたは小さい画素値を探索する領域を狭めれば、周辺画素の影響が緩和されるため、より適切な補間値を算出することができる。

しかし、第２の補間値算出方法は、中心画素がライン上にない場合には有効な補間値を得られず、画像データによっては第１の補間値算出方法の方が良好な補間結果が得られる場合も予想される。よって、次に、ノイズとみなされた画素の状態に応じて、適切な補間値を算出する方法について説明する。

第３の補間値算出方法は、中心画素がライン上に位置するか否かを判定し、ライン上に位置すると判断したときは、第２の補間値算出方法を利用し、そうでない場合には第１の補間値算出方法を利用する方法である。

中心画素がライン上に位置するか否かの判定は、例えば、その画素を含むラインを構成する各画素の画素値と、隣接するラインの外側に位置する画素値との差分絶対値を累積する方法で行う。

具体的には、例えば、図７（ｄ）のような状態にある場合、まず中心画素を含む垂直線上に位置する各画素と、その左側に位置する画素との差分絶対値を求めて累積する。このとき、中心画素はノイズである最大値であるため演算の対象とはしない。よって、中心画素を含む垂直線上の各画素と、各画素の左側の画素との、画素値の差分絶対値は、上から０、１，１，０の４つであって、その累積値は２となる。同様の演算を、右側の画素に対しても行うと、画素値は上から１，０，２，１となり累積値は４となる。次に、同様の演算を、中心画素を含む水平方向についても行う。中心画素を含む水平線上の各画素と、各画素の上側の画素との、画素値の差分絶対値は、左から７，６，６，６の４つであって、その累積値は２５となる。同様の演算を、下側の画素に対しても行うと、画素値は左から７，６，６，６となり累積値は２５となる。このように、中心画素を含む直線上の各画素を基準に、隣接する画素との差分絶対値の累積値を求めると、その値は水平方向では上側が２５、下側が２５であるのに対し、垂直方向では左側が２、右側が４と小さい値となる。この累積値の比較から、累積値の大きい水平方向にラインが存在し、中心画素は、このラインを構成するものと判断するのである。

画像データ内に、物体のエッジ等を構成するラインが現れるのは、ラインを構成する画素の画素値と、周囲の画素値との階調差が大きいことによる。この階調差により、ラインを構成する画素の画素値と、ラインと並行な方向にある画素の画素値との差分絶対値は、ラインと垂直な方向の画素値との差分絶対値に比べて大きくなる傾向にある。よって、これを利用して、各方向における画素値の差分絶対値の累積値の大小により、ラインの存在と、その方向を判断するのである。

中心画素がライン上にあると判定したときは、第２の補間値算出方法を適用するか、または、そのラインが存在する方向も判明しているためラインを構成する画素を対象として第１の補間値算出方法を適用し、補間値を算出すればよい。また、中心画素がライン上にないと判定したときは、第１の補間値算出方法により、ラインを構成する画素に限定せず、周辺に位置する画素の画素値から補間値を求めればよい。

尚、説明を簡単にするため、ラインの存在を判定するための差分絶対値の累積演算の対象を、中心画素を含む直線上の画素と隣り合う画素のみとしたが、隣り合う画素だけでなく、そのさらに外側の画素についても同様の演算を行う態様であっても構わない。これにより、中心画素を含むラインの幅が２画素以上である場合でも、同様に、中心画素がラインを構成するか否かを判定することができる。また、差分絶対値の累積演算の方向も、垂直および水平方向に限るものではなく、斜め等の方向も対象とする態様であっても構わない。これにより、様々な方向のラインの存在を判定することが可能となる。

このように、中心画素をノイズと判定した場合の補間値の算出方法として、周辺画素から求めた平均値等を利用するだけではなく、中心画素が物体のエッジ等を構成するライン上に位置するか否かとそのラインの方向までを判定し、ライン上に位置するときには、これに適した補間値を算出することで、良好な補間結果を得ることができる。ノイズリダクション装置において、この方法を利用すれば、従来のように、物体のエッジ等を構成する画素の画素値が過度に補正されるような現象を回避することができる。

尚、補間値演算回路４は、上述の第１または第２の補間値算出方法のいずれかを実現する態様、または第１および第２の補間値算出方法を含む第３の補間値算出方法を実現する態様のほか、第１〜第３の補間値算出方法の全てを利用可能であって、このうちいずれか一つを外部からの制御により選択して利用する態様であっても構わない。

＜ノイズリダクション装置の動作＞
次に、上述の各回路により構成されるノイズリダクション装置１の動作について、図１を参照しながら説明する。

まず、画像データ中の所定領域に属する画素データ８が、最小値演算回路２、最大値演算回路３、および補間値演算回路４に入力される。そして、演算対象となる画素データ領域８の中心画素の画素値が比較回路５Ａ，５Ｂに入力される。

次に、最小値演算回路２および最大値演算回路３では、上述したような動作により、中心画素を含む任意の画素データの中から最小値および最大値を算出する。最小値演算回路２により算出した最小値は比較回路５Ａへ、最大値演算回路３により算出した最大値は比較回路５Ｂへ入力される。

比較回路５Ａ，５Ｂは、入力された最小値および最大値と、中心画素の画素値と、を比較し、一致するときは１を、一致しないときは０を、それぞれ出力する。比較回路５Ａ，５Ｂからの出力はＯＲ回路６に入力され、当該ＯＲ回路６からは、論理和演算の結果が出力される。その結果、ＯＲ回路６からは、中心画素の画素値が、最小値または最大値のいずれかと一致するとき（中心画素がノイズであるとき）には１が、いずれにも一致しないとき（中心画素がノイズではないとき）には０が、それぞれ出力されることとなる。即ち、中心画素がノイズであるか否かの判定結果がＯＲ回路６から出力される。

セレクタ７Ａには、中心画素の画素値と、補間値演算回路４によって上述した動作により求められた補間画素値と、が入力される。そして、ＯＲ回路６からの入力が１、即ち中心画素の画素値がノイズであると判定されたときには補間画素値を出力し、ＯＲ回路６からの画素値が０、即ち中心画素の画素値がノイズではないと判定されたときには中心画素の画素値をそのまま出力する。

セレクタ７Ｂには、最小値演算回路２により算出された最小値、最大値演算回路３により算出された最大値、およびセレクタ７Ａからの出力値が入力される。そして、外部からの制御により、これらのいずれか１つの値を出力する。

ノイズリダクション装置１として機能する場合は、セレクタ７Ｂを制御して、セレクタ７Ａから出力された値を出力し、中心画素の画素値をこの値に置き換える。即ち、中心画素の画素値がノイズと判定された場合には、その画素値が補間画素値と置き換えられ、ノイズと判定されなかった場合は元の中心画素の画素値のままとなる。このような処理を、画像データ全体を走査しながら行えば、画像データ全体にノイズリダクション処理を適用することができる。

上述したように、最小値演算回路２および最大値演算回路３は、画像データ上の所定領域から任意に選択した画素データを処理対象とすることができる。これにより、画素データがノイズであるか否かを判定する領域を任意に変更することが可能となり、その結果として、ノイズリダクションの適用効果を変更することができる。任意に選択する画素数が少なく狭い領域でノイズを判定する場合に比べ、選択する画素数を増してより広い領域を対象として判定すれば、最大値または最小値となる確立が減少し、ひいてはノイズとみなされる確立が減少するため、ノイズリダクションの適用効果は相対的に弱くなる。逆に、対象とする画素数を減らせば、最大値または最小値となる確立が増大して、ノイズリダクションの適用効果は相対的に強くなる。即ち、最小値演算回路２および最大値演算回路３の処理対象として選択する画素を変更することで、ノイズリダクション処理の適用効果を容易に変更することが可能となる。

また、補間値演算回路４は、上述したように、例えば物体のエッジ等のラインを構成する画素については、それに適した補間値を求めることが可能である。これにより、ノイズリダクション処理を適用しても、過度に補正されてエッジ等の解像感が失われぼけた画像になることがなく、エッジ等のラインを維持したままノイズ成分のみを低減した良好な補正画像を得ることができる。

また、セレクタ７Ｂは、その制御により、最小画素値または最大画素値を出力することもできるため、ノイズリダクション装置１は、画像データ内の任意の領域で算出した画素値の最小値または最大値を出力することも可能である。これらの値は、自動焦点調節や自動露光調節等を行う回路への入力値として有効に活用することができる。即ち、ノイズリダクション処理装置１を、ノイズリダクション処理以外に、最小値または最大値演算回路としても利用することができる。

この発明の一の実施の形態に係るノイズリダクション装置を示す図である。 この発明のノイズリダクション装置を構成する最小値演算回路および最大値演算回路の動作原理を説明する図である。 この発明のノイズリダクション装置を構成する最小値演算回路および最大値演算回路の実際の構成の例を示す図である。 画像中に設定された演算候補領域を示す図である。 演算候補領域内の画素配置を示す図である。 演算候補領域内に選択領域が設定された状態を示す図である。 ラインを構成する画素の補間の方法を説明する図である。 平均値または中央値により補間値を算出する方法を説明する図である。

符号の説明

１ ノイズリダクション処理
２ 最小値演算回路
３ 最大値演算回路
４ 補間値演算回路
５Ａ，５Ｂ 比較回路
６ ＯＲ回路
７Ａ，７Ｂ セレクタ
１０，１１ 比較回路
Ｃ０〜Ｃ３，Ｃ１０〜Ｃ２３ 比較回路
Ａ１ 演算候補領域
Ａ２ 選択領域
Ｉ 画像
ＩＮＯ〜１Ｎ４ 入力値
Ｍ０〜Ｍ２ ラインメモリ
Ｐ００〜Ｐ２４ 画素
Ｒ０〜Ｒ３，Ｒ１０〜Ｒ２３ レジスタ
ＳＬ０〜ＳＬ３，ＳＬ１０〜ＳＬ２３ セレクタ
ＳＲ００〜ＳＲ２４ シフトレジスタ

Claims (4)

1. 画像データ内の所定領域を構成する画素のうち任意に選択した画素群の画素値の中から、最小値を探索する最小値演算手段と、
   前記画素群の画素値の中から最大値を探索する最大値演算手段と、
   前記所定領域内の所定画素の画素値と、前記最小値または前記最大値と、が一致するか否かを判定する判定手段と、
   前記所定画素の周辺から選択した周辺画素群の画素値から算出した平均値または中央値を補間値として出力する補間値演算手段と、
   前記判定手段により前記所定画素の画素値が前記最小値または前記最大値と一致したときは前記補間値を出力し、一致しないときは前記所定画素の画素値を出力する出力手段と、
   を備え、
   前記最大値演算手段および前記最小値演算手段は、
   前記所定領域から任意に選択した画素群のうち前記所定画素以外の各画素に対応して設けられ、入力される前記各画素の画素値と前記所定画素の画素値とのいずれか一方を、外部入力に応じて選択して出力する選択手段と、
   前記各選択手段の出力する画素値と、前記所定画素の画素値と、の中から最大値または最小値を探索する比較手段と、
   を備えることを特徴とするノイズリダクション装置。
2. 請求項１に記載のノイズリダクション装置であって、
   前記補間値演算手段は、
   前記判定手段が、前記所定画素の画素値が、前記最小値または前記最大値と一致すると判定したときは、前記周辺画素群の画素値の中から探索した、前記最小値の次に小さい画素値または前記最大値の次に大きい画素値を、補間値として出力することを特徴とするノイズリダクション装置。
3. 請求項１または請求項２に記載のノイズリダクション装置であって、
   前記補間値演算手段は、
   前記所定画素が前記画像データ内のラインを構成する画素であるか否かを判定し、ラインを構成すると判定したときは、前記ラインを構成する前記所定画素以外の画素を前記周辺画素群として、補間値を算出することを特徴とするノイズリダクション装置。
4. 請求項１ないし請求項３のいずれかに記載のノイズリダクション装置であって、
   前記出力手段は、
   外部入力に応じて、前記補間値に代えて、前記最小値または前記最大値を出力する手段、
   を備えることを特徴とするノイズリダクション装置。
   

Images