JP2009086783A - フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ - Google Patents

Abstract

【課題】連続するノイズ画素がイメージセンサから入力された場合でも、ノイズ除去を行う事が可能なフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラを提供すること。
【解決手段】撮像素子回路２において、二次元配列されたイメージセンサ４により撮像された画像は、フィルタ回路６に入力される。フィルタ回路６のセレクタ部は、画像を構成する２５画素の画素データＰＤの全てが二次元配列の同じ列に属するものとならないように、画素データＰＤを第１フィルタ部へ割り振る。第１フィルタ部は、画素データＰＤを部分的にフィルタ処理する。第２フィルタ部は、第１フィルタ部から入力されるフィルタ出力データの８入力画素を用いてフィルタ処理を行い、処理済画素データＲＤを出力する。
【選択図】図１

Description

本発明は、画像データの画像処理に関するものであり、特に、画像データに含まれるノイズを除去する処理に関するものである。

特許文献１には、くっきりと境界面を表示できるように、画像データのノイズを除去するスムージング方法が開示されている。また特許文献２には、平滑化処理を実行することで、画像データのノイズを除去する情報処理装置が開示されている。

特開昭６３−９１７８３号公報 特開２００６−２７９７０９号公報

撮像素子より撮像された画像を構成する複数の画素には、ノイズ画素が連続して含まれる場合がある。ノイズ画素が連続する状態としては、例えば、垂直走査方向に縦線状に連続した状態や、縦横に複数画素ずつ固まって連続した状態などがある。これらの連続するノイズ画素は、画像に与える影響が大きいため除去する必要があるが、従来の平滑化処理では連続するノイズ画素を除去することが困難であるため問題である。

またこれらの連続するノイズ画素は、撮像素子の欠陥画素の存在や、高感度撮影を行うことなどによって発生する。これらの欠陥画素や高感度撮影によって発生するノイズは、インパルス性ノイズであり、ノイズの発生確率がガウス分布から外れ、またノイズの大きさが不規則である。よって画像に与える影響が大きいため、除去する必要があるが、従来の平滑化処理では除去することが困難であるため問題である。

本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、連続するノイズ画素がイメージセンサから入力された場合でも、ノイズ除去を行う事が可能なフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラを提供することを提案する。

前記目的を達成するために、本発明に係るフィルタ回路は、二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ回路であって、画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、一つのフィルタ手段のフィルタ処理対象となる複数の画素の全てが二次元配列の同じ列に属するものとならない選択をする選択手段とを有することを特徴とする。

また本発明に係るフィルタ処理方法は、二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ処理方法であって、画像を構成する複数の画素を部分的にフィルタ処理する複数のフィルタ手段の各々に対し、フィルタ処理対象となる複数の画素の全てが二次元配列の同じ列に属するものとならない選択をし、フィルタ手段は選択された複数の画素をフィルタ処理することを特徴とする。

また本発明に係る撮像素子回路は、二次元配列されたイメージセンサと、該イメージセンサの画像出力からノイズを除去するフィルタ回路と、ノイズが除去された画像を信号処理する画像処理回路とを有する撮像素子回路であって、フィルタ回路は、画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、一つのフィルタ手段のフィルタ処理対象となる複数の画素の全てが二次元配列の同じ列に属するものとならない選択をする選択手段とを有することを特徴とする。

また本発明に係るカメラは、カメラであって、二次元配列されたイメージセンサと、該イメージセンサの画像出力からノイズを除去する画像処理フィルタと、ノイズが除去された画像を信号処理する画像処理回路とを有し、更に画像処理フィルタは、画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、一つのフィルタ手段のフィルタ処理対象となる複数の画素の全てが二次元配列の同じ列に属するものとならない選択をする選択手段とを有することを特徴とする。

本発明に係るフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラは、二次元配列された画像撮像素子またはイメージセンサにより撮像された画像をフィルタ処理するフィルタ手段を複数備える。画像は複数の画素から構成される。フィルタ手段は、画像を構成する複数の画素を部分的にフィルタ処理する。フィルタ処理は、一種類の処理に限られず、例えばメディアンフィルタ、ローパスフィルタ、ハイパスフィルタ、平均化フィルタなどの各種処理が挙げられる。また複数のフィルタ手段とは、物理的に複数のフィルタ手段を有することに限られない。時分割的にフィルタ手段を用いることで、時間的に複数のフィルタ手段を有することも含む概念である。

また本発明に係るフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラは、画像を構成する複数の画素のうちから、フィルタ手段のフィルタ処理対象となる複数の画素を選択する選択手段を備える。選択手段は、フィルタ処理対象となる複数の画素の全てが、二次元配列の同じ列に属するものとならないように画素の選択を行う。すなわち、画像を構成する複数の画素のうちから、フィルタ処理対象の複数の画素が選択手段によって選択され、選択された複数の画素についてフィルタ処理が行われることにより、画像を構成する複数の画素に対して部分的にフィルタ処理が行われる。なお選択手段は、セレクタ等などの選択先を切り替えることができる選択方法に限られず、配線による固定された選択方法を含む概念である。

作用を説明する。画像撮像素子またはイメージセンサは二次元配列を有するため、撮像された画像を構成する複数の画素も二次元配列を有している。ここで二次元配列の同じ列で連続して発生するノイズ画素が、画像を構成する複数の画素に含まれる場合を考える。ノイズ画素は、例えばイメージセンサの欠陥画素により生成される。その原因としてはプロセス的要因により、特定の位置に集中して存在する画素が欠陥となる場合がある。また、一つの列に存在する複数の画素の値を読み出す基準となる参照画素が一つである場合は、この基準となる参照画素自体のずれにより、その列に存在する画素が欠陥となる場合がある。更に、高速読み出しのために、画素の読み出し列ごとに読み出しアンプが設けられている場合には、１つの読み出しアンプが規格外の特性となっているとその列に存在する画素が欠陥となる場合がある。このとき画像を構成する複数の画素のうちから、二次元配列の同じ列に属する画素を、１つのフィルタがフィルタ処理対象となる複数の画素として選択する場合には、フィルタ処理対象とされた複数の画素にノイズ画素が複数含まれる場合がある。この場合、フィルタ処理対象となる複数の画素にノイズ画素が含まれる割合が多くなるため、フィルタ処理後の画像はノイズの影響を大きく受けることになる。

しかし本発明では、選択手段は、フィルタ処理対象となる複数の画素の全てが、二次元配列の同じ列に属するものとならないように選択を行う。すると、二次元配列の同じ列で連続して発生するノイズ画素のうちから、フィルタ処理対象として選択されないノイズ画素が発生することになる。よってフィルタ処理対象の複数の画素に含まれるノイズ画素の割合を減少させたり、フィルタ処理対象の複数の画素からノイズ画素を除去することができるため、フィルタ処理後の画像へのノイズの影響を抑えることができる。

以上により本発明に係るフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラでは、撮像素子より撮像された画像を構成する複数の画素に、連続したノイズ画素が含まれる場合であっても、当該ノイズ画素の影響を抑えることが可能となる。

本発明によれば、 連続するノイズ画素がイメージセンサから入力された場合でも、当該ノイズ画素の影響を抑えることが可能なフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラを提供することが可能になる。

以下、本発明のフィルタ回路、フィルタ処理方法、撮像素子回路およびカメラについて具体化した実施形態を図１乃至図８に基づき図面を参照しつつ詳細に説明する。本発明の第１実施形態を図１ないし図６を用いて説明する。図１に第１実施形態に係るカメラ１を示す。カメラ１は、撮像素子回路２と画像処理部３とを備える。撮像素子回路２は、イメージセンサ４、ディレイラインＲＡＭ５、フィルタ回路６、画像処理回路７、レジスタ１０を備える。画像処理回路７は、平坦度判定ブロック８とピクセル合成ブロック９を備える。

イメージセンサ４は、ベイヤ配列を有するＣＣＤ／ＣＭＯＳセンサである。ベイヤ配列は、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色画素センサが水平走査方向および垂直走査方向に二次元配列された構成を有する。イメージセンサ４から出力されるベイヤ配列の画像データＢＤが、ディレイラインＲＡＭ５にシリアルに入力される。

ディレイラインＲＡＭ５は、ノイズ除去可能となるライン分だけ、画像データＢＤを蓄える。本願ではディレイラインＲＡＭ５に、９ライン分の画像データＢＤが蓄えられる。そして図２に示すように、ベイヤ配列の二次元配列を有するマトリクスＭＡＴが得られる。ディレイラインＲＡＭ５は、図２に示すように、注目画素Ｐ０を中心として、縦方向、横方向、右斜め上方向、左斜め上方向、の４方向の周辺同色画素を抽出することで、５×５画素（合計２５画素）の画素データＰＤを抽出する。画素データＰＤには、注目画素Ｐ０の座標を座標（０、０）として、座標（−２，−２）から（２，２）が割り振られる。ディレイラインＲＡＭ５からは、同色２５画素の画素データＰＤがパラレル出力され、フィルタ回路６および画像処理回路７に入力される。

図３を用いて、フィルタ回路６の構成を説明する。フィルタ回路６は、セレクタ部ＳＬ１ないしＳＬ８、第１フィルタ部ＦＦ１ないしＦＦ８、第２フィルタ部ＳＦを備える。セレクタ部ＳＬ１ないしＳＬ８の各々には、レジスタ１０から出力される設定信号ＳＳ、およびディレイラインＲＡＭ５から出力される画素データＰＤが、共通に入力される。

図４に、セレクタ部ＳＬ１の詳細回路図を示す。セレクタ部ＳＬ１は、後段の第１フィルタ部ＦＦ１の３つの入力の各々に対応して、３つの内部セレクタＩＬ１０ないしＩＬ１２を備える。内部セレクタＩＬ１０ないしＩＬ１２は、２５入力１出力のセレクタであり、座標（−２、−２）から（２，２）までの２５画素の画素データＰＤがパラレル入力される。また内部セレクタＩＬ１０ないしＩＬ１２には、設定信号ＳＳが共通に入力される。そして内部セレクタＩＬ１０ないしＩＬ１２は、入力される画素データＰＤの２５画素のうちの１画素を、設定信号ＳＳに応じて選択した上で、選択データＩＤ１０ないしＩＤ１２として各々出力する。ここで内部セレクタＩＬ１０ないしＩＬ１２は、設定信号ＳＳに応じて、画素データＰＤの２５画素の何れを選択して出力するかを自由に設定することが可能とされている。そして内部セレクタＩＬ１０ないしＩＬ１２からは、選択データＩＤ１０ないしＩＤ１２が出力され、第１フィルタ部ＦＦ１に入力される。ここで、セレクタ部ＳＬ１によって、第１フィルタ部ＦＦ１に割り振られた選択データＩＤ１０ないしＩＤ１２を、グループＧＲ１に属するデータと定義する。

また、セレクタ部ＳＬ２ないしＳＬ８の構成についてもセレクタ部ＳＬ１と同様であるため、詳細な説明は省略する。セレクタ部ＳＬ２ないしＳＬ８によって、グループＧＲ２ないしＧＲ８に属するデータが、それぞれ第１フィルタ部ＦＦ２ないしＦＦ８へ割り振られる。なおセレクタ部ＳＬ８は、後段の第１フィルタ部ＦＦ８の４つの入力の各々に対応して、４つの内部セレクタＩＬ８０ないしＩＬ８３を備えており、それぞれ選択データＩＤ８０ないしＩＤ８３を出力する。

図３において、セレクタ部ＳＬ１ないしＳＬ８の各々からは、グループＧＲ１ないしＧＲ８に属する画素データが出力され、それぞれ第１フィルタ部ＦＦ１ないしＦＦ８へ入力される。第１フィルタ部ＦＦ１ないしＦＦ８の各々からは、フィルタ処理後のフィルタ出力データＦＤ１ないしＦＤ８が出力され、全て第２フィルタ部ＳＦへ入力される。第２フィルタ部ＳＦからは処理済画素データＲＤが出力され、画像処理回路７（図１）へ入力される。

画像処理回路７には、フィルタ回路６から処理済画素データＲＤが入力され、ディレイラインＲＡＭ５から画素データＰＤが入力される。画像処理回路７の平坦度判定ブロック８には、２５画素分の画素データＰＤが入力され、係数Ａが出力される。画像処理回路７のピクセル合成ブロック９には、係数Ａ、処理済画素データＲＤ、注目画素Ｐ０のデータの３つが入力され、出力画素データＯＤが出力される。出力画素データＯＤは画像処理部３に入力され、画像処理部３では当該出力画素データＯＤを用いて各種画像処理が行われる。

以後ディレイラインＲＡＭ５において、マトリクスＭＡＴの領域が、イメージセンサ４で撮像された画像上を走査して処理を行う。画像処理部３は、撮像素子回路２から順次入力される出力画素データＯＤを用いて各種画像処理を行う。これにより１フレーム分のカメラ１の画像が完成する。

第１実施形態に係るカメラ１の動作を以下に説明する。ディレイラインＲＡＭ５は、マトリクスＭＡＴから５×５画素の画素データＰＤを抽出する。このとき例として、インパルス性ノイズの画素が、図５の斜線部に示すように縦１ラインに連続した状態でマトリクスＭＡＴ上に存在する場合を説明する。図５ではマトリクスＭＡＴ上において、座標（０，２）（０，１）（０，０）（０，−１）（０，−２）の５点の画素がインパルス性ノイズの画素である。

フィルタ回路６の動作を説明する。フィルタ回路６のセレクタ部ＳＬ１ないしＳＬ８は、設定信号ＳＳに応じて、入力される画素データＰＤの２５画素のデータをグループＧＲ１ないしＧＲ８へ割り振る動作を行う。セレクタ部ＳＬ１ないしＳＬ８による割り振り動作は、１つのグループに含まれる複数の画素の全てが、マトリクスＭＡＴの二次元配列の別々の列に属するように行われる。

図６に、マトリクスＭＡＴ上の２５画素を、図５の縦１ラインに連続した状態のインパルス性ノイズに対応して、グループＧＲ１ないしＧＲ８へ割り振った例を示す。グループＧＲ１への画素の割り振りは、設定信号ＳＳに応じて、セレクタ部ＳＬ１の内部セレクタＩＬ１０が画素（０，１）を選択し、内部セレクタＩＬ１１が画素（１，０）を選択し、内部セレクタＩＬ１２が画素（−１，−１）を選択することで行われる。ここでグループＧＲ１に属する座標（０，１）（１，０）（−１，−１）の３つの画素は、マトリクスＭＡＴ上の縦の列（垂直走査方向）および横の列（水平走査方向）において同じ列に属さないように選択されている。

以下同様にしてグループＧＲ２にはセレクタ部ＳＬ２によって座標（２，２）（−１，１）（１，−１）の画素が割り振られ、グループＧＲ３にはセレクタ部ＳＬ３によって座標（１，２）（−２，１）（０，−２）の画素が割り振られ、グループＧＲ４にはセレクタ部ＳＬ４によって座標（１，１）（−２，０）（０，−１）の画素が割り振られ、グループＧＲ５にはセレクタ部ＳＬ５によって座標（０，２）（２，０）（−２，−２）の画素が割り振られ、グループＧＲ６にはセレクタ部ＳＬ６によって座標（−１，０）（２，−１）（１，−２）の画素が割り振られ、グループＧＲ７にはセレクタ部ＳＬ７によって座標（−２，２）（２，１）（−１，−２）の画素が割り振られ、グループＧＲ８にはセレクタ部ＳＬ８によって座標（−１，２）（０，０）（−２，−１）（２，−２）の画素が割り振られる。このとき各グループに属する画素は、マトリクスＭＡＴ上の縦の列および横の列において、互いに同じ列に属さないように選択されている。

よって、マトリクスＭＡＴ上のフィルタ処理対象の２５画素を、３または４画素より構成されるグループＧＲ１ないしＧＲ８に割り振ることができる。そしてグループＧＲ１ないしＧＲ８の各々に属する画素群は、第１フィルタ部ＦＦ１ないしＦＦ８の各々でフィルタ処理される。これにより第１フィルタ部ＦＦ１ないしＦＦ８の各々によって、画素データＰＤに対して部分的にフィルタ処理が行われる。

そして座標（０，２）（０，１）（０，０）（０，−１）（０，−２）の５点に含まれるインパルス性ノイズの画素は、それぞれグループＧＲ５、ＧＲ１、ＧＲ８、ＧＲ４、ＧＲ３に属する。すなわち部分的にフィルタ処理が行われることで、フィルタ処理対象の画素群であるグループＧＲ１ないしＧＲ８中に、インパルス性ノイズが２画素以上含まれないようになる。

第１フィルタ部ＦＦ１ないしＦＦ８（図３）の動作を説明する。第１フィルタ部ＦＦ１ないしＦＦ７は、グループＧＲ１ないしＧＲ７として入力される３つの画素から最大値および最小値を除去し、得られた中央値をフィルタ出力データＦＤ１ないしＦＤ７として出力する。また第１フィルタ部ＦＦ８は、グループＧＲ８として入力される４つの画素から最大値および最小値を除去し、残った２画素の平均値をフィルタ出力データＦＤ８として出力する。よって第１フィルタ部ＦＦ１ないしＦＦ７では、中央値を出力するメディアンフィルタの動作が行われる。

第１フィルタ部ＦＦ１にはグループＧＲ１の３画素が入力されるが、グループＧＲ１の３画素のうちの１画素（座標（０，１））は、インパルス性ノイズの画素である。ここでインパルス性ノイズは、欠陥画素や高感度撮影によって発生することから、グループＧＲ１に含まれる３つの画素のうちの最大値または最小値をとり、中央値となることはない。よって第１フィルタ部ＦＦ１から出力される中央値のフィルタ出力データＦＤ１からは、インパルス性ノイズの画素は完全に除去される。以下同様に、インパルス性ノイズを１つ含むグループＧＲ３、ＧＲ４、ＧＲ５、ＧＲ８が第１フィルタ部ＦＦ３、ＦＦ４、ＦＦ５、ＦＦ８に各々入力され、インパルス性ノイズが完全に除去されたフィルタ出力データＦＤ３、ＦＤ４、ＦＤ５、ＦＤ８が各々出力される。

第２フィルタ部ＳＦの動作を説明する。第２フィルタ部ＳＦは、入力されるフィルタ出力データＦＤ１ないしＦＤ８の８入力画素値で並び替えを行い、最大側から３画素、最小側から３画素を除去する。そして残った２画素で平均をとり、処理済画素データＲＤとして出力する。

これにより、想定外の連続形状を有するインパルス性ノイズ画素が入力された場合など、第１フィルタ部ＦＦ１ないしＦＦ８においてインパルス性ノイズが除去しきれなかった場合においても、第２フィルタ部ＳＦにおいて当該インパルス性ノイズを除去することが可能となる。よって、最終的に第２フィルタ部ＳＦから出力される処理済画素データＲＤからは、インパルス性ノイズを除去することができる。

なお第２フィルタ部ＳＦでのフィルタ処理は、メディアンフィルタに限られない。第１フィルタ部ＦＦ１ないしＦＦ８は、インパルス性ノイズを除去する能力が高いため、第２フィルタ部ＳＦでインパルス性ノイズを除去する必要がない場合も多い。よって第２フィルタ部ＳＦは、ローパスフィルタ等であってもよいことは言うまでもない。

次に、画像処理回路７（図１）の動作を説明する。平坦度判定ブロック８には、ディレイラインＲＡＭ５から、画素データＰＤの２５画素が入力される。そして平坦度判定ブロック８は、入力される２５画素の画素データＰＤについての平均偏差の演算を行う。平均偏差により、平均からのバラツキが求められるため、マトリクスＭＡＴの空間における画像の凹凸具合を求めることができる。

また平坦度判定ブロック８は、画素データＰＤの２５画素のうちの画素最大値を取得する。そして平均偏差を画素最大値で除算することで、平均偏差を正規化し、係数Ａを算出する。係数Ａの値は０から１の間の値をとり、係数Ａが１に近いほどエッジが多く含まれる画像であり、係数Ａが０に近いほどエッジが少ない画像であることが推測される。そして係数Ａはピクセル合成ブロック９へ入力される。

なお平坦度判定ブロック８内における除算は、ビットシフトで実現されることにより、回路規模の増大を防止できる。また、平坦度判定ブロック８で算出されるパラメータは平均偏差に限られない。標準偏差、分散など、平均からのバラツキが求められ、画像の凹凸具合を知ることができるパラメータであれば何れのパラメータであってもよい。なお、平均偏差はハードウェアで算出するには比較的回路規模が小さくできるため、平均偏差を用いることが好ましい。

ピクセル合成ブロック９での動作を説明する。ピクセル合成ブロック９には、係数Ａ、処理済画素データＲＤ、および注目画素Ｐ０の３つのデータが入力され、αブレンドと呼ばれる下式（１）の演算が行われる。
出力画素データＯＤ＝処理済画素データＲＤ×（１．０−係数Ａ）＋注目画素Ｐ０×係数Ａ ・・・式（１）
式（１）より、係数Ａが０に近い時は、出力画素データＯＤにおいて処理済画素データＲＤの成分が支配的となり、ノイズの除去割合が高くされることが分かる。また式（１）より、係数Ａが１に近い時は、出力画素データＯＤにおいて注目画素Ｐ０の成分が支配的となり、ノイズの除去割合が低くされることが分かる。ピクセル合成ブロック９から出力される出力画素データＯＤは、画像処理部３に入力される。

イメージセンサ４で撮像される実際の画像においては、信号強度の変化が少ない平坦な領域と、信号強度の変化が激しいエッジを有する領域とが混在する場合が多い。このとき、エッジを有する領域にまで強いフィルタ処理を行うと、画像のエッジがぼけ、解像感の低い画像となってしまう。よって画像処理回路７においてαブレンドを行うことにより、エッジを有する領域についてはフィルタ処理を弱めることでノイズ除去前の画素データを出来るだけ保存し、平坦な領域についてはフィルタ処理を強めることでノイズを除去する。これにより、ノイズが除去され、かつエッジがぼけない解像感の高い画像を得ることができる。

以上詳細に説明したとおり、第１実施形態に係るカメラ１によれば、画像を構成する複数の画素である画素データＰＤのうちから、グループＧＲ１ないしＧＲ８に属する複数の画素が、セレクタ部ＳＬ１ないしＳＬ８によって選択される。そしてグループＧＲ１ないしＧＲ８に属する複数の画素が、第１フィルタ部ＦＦ１ないしＦＦ８の各々においてフィルタ処理される。これにより第１フィルタ部ＦＦ１ないしＦＦ８の各々は、画素データＰＤに対して、部分的にフィルタ処理を行う。

そしてセレクタ部ＳＬ１ないしＳＬ８の各々は、グループＧＲ１ないしＧＲ８の各々に属する複数の画素を選択する際に、選択する画素の全てがマトリクスＭＡＴ上の二次元配列の同じ列に属するものとならないように選択を行う。これにより、二次元配列の同じ列に属して連続するノイズ画素は、グループＧＲ１ないしＧＲ８の各々には、２画素以上含まれないことになる。よってグループＧＲ１ないしＧＲ８に含まれるノイズ画素の割合を減少させたり、ノイズ画素を除去することができるため、処理済画素データＲＤの画像へのノイズの影響を抑えることができる。

また第１実施形態では、グループＧＲ１ないしＧＲ８へ、画素データＰＤの２５画素を３または４画素ずつ割り振り、第１フィルタ部ＦＦ１ないしＦＦ８において第１段階目のメディアンフィルタ処理を行う。そして第１フィルタ部ＦＦ１ないしＦＦ８から出力されるフィルタ出力データＦＤ１ないしＦＤ８の８画素を、第２フィルタ部ＳＦにおいて第２段階目のメディアンフィルタ処理を行い、処理済画素データＲＤを取得する。

ここでメディアンフィルタ処理は、処理対象の画素を増やすほど強いフィルタ処理を行うことができる。しかしメディアンフィルタ処理では、画素データを画素値の大きさ順に並べるソーティングを行う必要がある。そしてソーティングをハードウェアにより行う際には総当り的な最大値・最小値判定回路が必要となるため、処理対象の画素数が増加するにつれて、回路規模が指数関数的に増大する。しかし第１実施形態のように、第１段階と第２段階とに分けてメディアンフィルタ処理を行うことにより、回路規模の増大を抑えながら、処理対象の画素を増やすことができ、より強力なメディアンフィルタ処理を行うことができる。

本発明の第２実施形態を図７および図８を用いて説明する。第２実施形態では、ノイズ画素が連続する形状が推測できる場合や、ノイズ画素が存在する箇所が特定できる場合における、グループＧＲ１ないしＧＲ８への画素の割り振り方法を説明する。例として、マトリクスＭＡＴ上の画像に、インパルス性ノイズの画素が縦横４画素ずつの固まり形状で発生することが推測される場合を説明する。なお出荷試験等などにより、イメージセンサ４の欠陥画素の存在や分布等を予め調べておけば、イメージセンサ４によって撮像される画像に表れるノイズ画素の連続形状やノイズ画素が存在する箇所を推定することができる。また、撮像素子回路２の構成等は第１実施形態と同様であるため、ここでは詳細な説明は省略する。

まず、第１実施形態の図６に示した画素の割り振り方法を行う場合に、縦横４画素ずつの固まり形状のノイズ画素が発生する場合を説明する。このとき図７に示すように、縦横４画素ずつのノイズ画素の固まりが領域Ａ１に存在する場合には、グループＧＲ１には、座標（０，１）（１，０）の２つのノイズ画素が含まれる。これは、二次元配列のマトリクスＭＡＴ上において、グループＧＲ１に割り振られた座標（０，１）の画素と座標（１，０）の画素とが、斜め方向に３画素分しか離れていないためである。また縦横４画素ずつのノイズ画素の固まりが領域Ａ２に存在する場合には、グループＧＲ６には、座標（２，−１）（１，−２）の２つのノイズ画素が含まれる。これは、マトリクスＭＡＴ上において、グループＧＲ６に割り振られた座標（２，−１）の画素と座標（１，−２）の画素とが、斜め方向に３画素分しか離れていないためである。よってグループＧＲ１およびＧＲ６に２以上のノイズ画素が含まれるため、第１フィルタ部ＦＦ１およびＦＦ６において、メディアン処理によりノイズ画素を除去することができない。

次に、図８に示すような、縦横４画素ずつの固まり形状のノイズ画素に対応した画素のグループ割り振り方法を行う場合を説明する。グループ割り振りの変更は、レジスタ１０から出力される設定信号ＳＳを変更することで行う。図８に示した画素の割り振り方法では、領域Ｂ１に示すように、グループＧＲ１に属する座標（０，２）（１，０）（−１，−１）の画素は、縦、横、斜め方向に互いに５画素以上離れている。また領域Ｂ２に示すように、グループＧＲ６に属する座標（−１，０）（２，−１）（−２，−２）の画素も、縦、横、斜め方向に互いに５画素以上離れている。また他のグループにおいても、１つのグループに属する画素は、縦、横、斜め方向に互いに５画素以上離れている。このように、インパルス性ノイズの推測される連続形状（縦横４画素ずつの固まり形状）に応じて、画素の割り振り方法を決定することで、各グループにノイズ画素が２画素以上割り振られることを避けることができる。

以上詳細に説明したとおり、第２実施形態に係るカメラ１によれば、インパルス性ノイズの推測される連続形状（縦横４画素ずつの固まり形状）に応じて、画素の割り振り方法を決定することで、各グループにノイズ画素が２画素以上割り振られることを避けることができる。これにより、第１フィルタ部ＦＦ１ないしＦＦ８において、インパルス性ノイズを効果的に除去することができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。本発明のポイントは、画素データＰＤに対して、第１フィルタ部ＦＦ１ないしＦＦ８の各々によって部分的にフィルタ処理を行うことにより、一つのフィルタ部で処理する画素群に含まれるノイズ画素の割合を減少させる点にある。よって第１フィルタ部ＦＦ１ないしＦＦ８、および第２フィルタ部ＳＦのフィルタ処理は、メディアンフィルタ処理に限られず、ローパスフィルタ、ハイパスフィルタ、平均化フィルタなどの各種フィルタ処理であってもよいことは言うまでもない。またノイズ画素もインパルス性ノイズに限られず、ガウス分布ノイズであってもよいことは言うまでもない。

また本実施形態では、セレクタ部ＳＬ１ないしＳＬ８による割り振り動作は、１つのグループに含まれる複数の画素の全てが、マトリクスＭＡＴの二次元配列の別々の列に属するように行われるとしたが、この形態に限られない。１つのグループに含まれる複数の画素の全てが、マトリクスＭＡＴの二次元配列の同じ列に属するものとならないように行われてもよい。これによっても、グループＧＲ１ないしＧＲ８の各々の中に、ノイズ画素が２画素以上含まれないように、割り振りを行うことができる場合がある。

またセレクタ部ＳＬ１ないしＳＬ８の各々によって、マトリクスＭＡＴ上のフィルタ処理対象の２５画素において互いに隣接しない画素が、グループＧＲ１ないしＧＲ８の各々に割り振られるとしてもよい。これにより、１ラインの連続状態のノイズ画素のみならず、縦横に複数画素ずつ固まった状態のノイズ画素であっても、一つのフィルタ部で処理する画素群に含まれるノイズ画素の割合を減少させることができ、ノイズ画素の画像への影響を抑えることができる。

また第１実施形態では、図５に示すように、マトリクスＭＡＴ上にインパルス性ノイズの画素が縦１ラインに連続して存在する場合を説明したが、この形態に限られない。図９に示すような４連欠陥配置状にノイズ画素が存在する場合や、横１ラインに連続してノイズ画素が存在する場合にも、第１実施形態の図６に示すグループ分けを用いて当該ノイズを除去することができることは言うまでもない。

また本実施形態では、マトリクスＭＡＴから２５画素の画素データＰＤを抽出してノイズリダクションを行う形態を説明したが、この形態に限られない。第１フィルタ部ＦＦ１ないしＦＦ８の数を増やせば、回路規模の増大を防止しながら、ノイズリダクションに用いる画素データＰＤの数をさらに増やす事ができる。そして画素データＰＤの画素数が多くなる程、より強いノイズリダクションをかける事が可能となる。

また本実施形態では、第１フィルタ部ＦＦ１ないしＦＦ８に割り振られる画素数は３または４画素としたが、この形態に限られない。第１フィルタ部において最大値・最小値判定回路化が実現可能な画素数であれば、これ以上の画素数であってもよいことは言うまでもない。そして例えば第１フィルタ部に５画素入力が可能である場合には、第１フィルタ部でソーティング処理を行い、大きい側の２画素と小さい側の２画素を除去することで、メディアンフィルタ処理を行うことができる。

また本実施形態では、フィルタ回路６は、第１フィルタ部ＦＦ１ないしＦＦ８の複数のフィルタ部を備えるとしたが、第１フィルタ部は物理的に複数備えられる場合に限られない。１つの第１フィルタ部を時分割的に用いることで、時間的に複数の第１フィルタ部を備えるとしてもよいことは言うまでもない。

また本実施形態では、第１フィルタ部ＦＦ１ないしＦＦ８へ画素データＰＤの割り振りは、セレクタ部ＳＬ１ないしＳＬ８によって行われるとしたが、この形態に限られない。セレクタ部ＳＬ１ないしＳＬ８を有さず、フィルタ回路６へパラレル入力される２５画素の画素データＰＤが、配線により第１フィルタ部ＦＦ１ないしＦＦ８へ割り振られるとしてもよい。

また第１実施形態では、画像処理回路７ではαブレンド処理が行われるとしたが、画像処理回路７行われる処理はこの形態に限られず、ホワイトバランス調整等のその他の画像処理を行ってもよいことは言うまでもない。

また本実施形態では、フィルタ回路６が撮像素子回路２に利用できる点や、カメラ１に利用できる点を示したが、これに限られない。画像を扱う回路や機器であれば、何れの回路や機器にも利用できることは言うまでもない。

また本実施形態では、ベイヤ配列の画像データＢＤの処理について言及したが、この形態に限られず、他の配列方法による画像データについても同様に効果が得られることは言うまでもない。

なお、イメージセンサ４は画像撮像素子の一例、第１フィルタ部ＦＦ１ないしＦＦ８はフィルタ手段の一例、セレクタ部ＳＬ１ないしＳＬ８は選択手段の一例、フィルタ出力データＦＤ１ないしＦＤ８はフィルタ出力の一例、平坦度判定ブロック８は平坦度判定手段の一例、ピクセル合成ブロック９は合成手段のそれぞれ一例である。

ここで、本発明の技術思想により、背景技術における課題を解決するための手段を以下に列記する。
（付記１）二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ回路であって、
前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
を有することを特徴とするフィルタ回路。
（付記２）前記選択手段は、
前記一つの前記フィルタ手段の前記フィルタ処理対象となる複数の画素の全てが前記二次元配列の別々の列に属するものとなる選択をする
ことを特徴とする付記１記載のフィルタ回路。
（付記３）前記選択手段は、
前記一つの前記フィルタ手段の前記フィルタ処理対象となる複数の画素は、前記二次元配列において互いに隣接しないものとなる選択をする
ことを特徴とする付記１記載のフィルタ回路。
（付記４）前記選択手段は、
ノイズの影響を受けている可能性がある複数の画素が別々の前記フィルタ手段にてフィルタ処理される選択をする
ことを特徴とする付記１記載のフィルタ回路。
（付記５）前記選択手段が行う選択は、設定に応じて可変に行われる
ことを特徴とする付記１ないし４に記載のフィルタ回路。
（付記６）前記フィルタ手段は、
前記フィルタ処理対象となる複数の画素の画素値の内、最大値、最小値を除いた画素値でフィルタ処理する
ことを特徴とする付記１記載のフィルタ回路。
（付記７）前記フィルタ処理は、
前記最大値、最小値を除いた画素値が複数ある場合には、当該最大値、最小値を除いた画素値の平均値を算出する
ことを特徴とする付記６に記載のフィルタ回路。
（付記８）前記フィルタ処理は、
前記最大値、最小値を除いた画素値が複数ある場合には、当該最大値、最小値を除いた画素値の中央値を算出する
ことを特徴とする付記６に記載のフィルタ回路。
（付記９）複数の前記フィルタ手段からの複数のフィルタ出力は、更に最大値、最小値が取り除かれるフィルタ処理がなされる
ことを特徴とする付記６記載のフィルタ回路。
（付記１０）複数の前記フィルタ手段からの複数のフィルタ出力は、更に平均値が算出されるフィルタ処理がなされる
ことを特徴とする付記６記載のフィルタ回路。
（付記１１）二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ処理方法であって、
前記画像を構成する複数の画素を部分的にフィルタ処理する複数のフィルタ手段の各々に対し、フィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をし、
前記フィルタ手段は選択された複数の画素をフィルタ処理する
ことを特徴とするフィルタ処理方法。
（付記１２）二次元配列されたイメージセンサと、
該イメージセンサの画像出力からノイズを除去するフィルタ回路と、
ノイズが除去された画像を信号処理する画像処理回路とを有する撮像素子回路であって、
前記フィルタ回路は、
前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
を有することを特徴とする撮像素子回路。
（付記１３）前記画像処理回路は、
前記画像を構成する複数の画素のばらつきを表す平坦度を求める平坦度判定手段と、
前記フィルタ回路から出力されるノイズが除去された画素と前記画像を構成する複数の画素のうちの注目画素とを、前記平坦度に応じて合成する合成手段と
を備えることを特徴とする付記１２に記載の撮像素子回路。
（付記１４）前記合成手段は、
前記画像を構成する複数の画素間のばらつきが大きくなることに応じて前記画像を構成する複数の画素の合成割合を高くし、
前記画像を構成する複数の画素間のばらつきが小さくなることに応じて前記ノイズが除去された画素の合成割合を高くする
ことを特徴とする付記１３に記載の撮像素子回路。
（付記１５）カメラであって、
二次元配列されたイメージセンサと、
該イメージセンサの画像出力からノイズを除去する画像処理フィルタと、
ノイズが除去された画像を信号処理する画像処理回路とを有し、
更に前記画像処理フィルタは、
前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
を有することを特徴とするカメラ。

第１実施形態に係るカメラを示す図である。 マトリクスＭＡＴを示す図である。 フィルタ回路６の構成を示す図である。 セレクタ部ＳＬ１の回路図である。 縦１ラインに連続するノイズ画素を示す図である。 マトリクス上の画素の割り振り例（その１）を示す図である。 縦横４画素ずつのノイズ画素を示す図である。 マトリクス上の画素の割り振り例（その２）を示す図である。 ４連欠陥配置のノイズ画素を示す図である。

符号の説明

１ カメラ
２ 撮像素子回路
３ 画像処理部
４ イメージセンサ
５ ディレイラインＲＡＭ
６ フィルタ回路
７ 画像処理回路
８ 平坦度判定ブロック
９ ピクセル合成ブロック
１０ レジスタ
ＧＲ１ないしＧＲ８ グループ
ＦＦ１ないしＦＦ８ 第１フィルタ部
ＳＦ 第２フィルタ部
ＳＬ１ないしＳＬ８ セレクタ部
ＳＳ 設定信号
ＭＡＴ マトリクス
ＰＤ 画素データ
ＲＤ 処理済画素データ
Ｐ０ 注目画素
ＯＤ 出力画素データ

Claims (9)

1. 二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ回路であって、
   前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
   一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
   を有することを特徴とするフィルタ回路。
2. 前記選択手段は、
   前記一つの前記フィルタ手段の前記フィルタ処理対象となる複数の画素の全てが前記二次元配列の別々の列に属するものとなる選択をする
   ことを特徴とする請求項１記載のフィルタ回路。
3. 前記選択手段は、
   前記一つの前記フィルタ手段の前記フィルタ処理対象となる複数の画素は、前記二次元配列において互いに隣接しないものとなる選択をする
   ことを特徴とする請求項１記載のフィルタ回路。
4. 前記選択手段は、
   ノイズの影響を受けている可能性がある複数の画素が別々の前記フィルタ手段にてフィルタ処理される選択をする
   ことを特徴とする請求項１記載のフィルタ回路。
5. 前記フィルタ手段は、
   前記フィルタ処理対象となる複数の画素の画素値の内、最大値、最小値を除いた画素値でフィルタ処理する
   ことを特徴とする請求項１記載のフィルタ回路。
6. 複数の前記フィルタ手段からの複数のフィルタ出力は、更に最大値、最小値が取り除かれるフィルタ処理がなされることを特徴とする請求項５記載のフィルタ回路。
7. 二次元配列された画像撮像素子により撮像された画像をフィルタ処理するフィルタ処理方法であって、
   前記画像を構成する複数の画素を部分的にフィルタ処理する複数のフィルタ手段の各々に対し、フィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をし、
   前記フィルタ手段は選択された複数の画素をフィルタ処理する
   ことを特徴とするフィルタ処理方法。
8. 二次元配列されたイメージセンサと、
   該イメージセンサの画像出力からノイズを除去するフィルタ回路と、
   ノイズが除去された画像を信号処理する画像処理回路とを有する撮像素子回路であって、
   前記フィルタ回路は、
   前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
   一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
   を有することを特徴とする撮像素子回路。
9. カメラであって、
   二次元配列されたイメージセンサと、
   該イメージセンサの画像出力からノイズを除去する画像処理フィルタと、
   ノイズが除去された画像を信号処理する画像処理回路とを有し、
   更に前記画像処理フィルタは、
   前記画像を構成する複数の画素を部分的にフィルタ処理するフィルタ手段が複数設けられ、
   一つの前記フィルタ手段のフィルタ処理対象となる複数の画素の全てが前記二次元配列の同じ列に属するものとならない選択をする選択手段と
   を有することを特徴とするカメラ。

Images