JP2013251680A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ジャギや折り返しノイズの発生を低減することができる画像処理装置を提供する。
【解決手段】ベイヤ配列のイメージセンサ１０４の色画素をＮ×Ｎの領域に分ける。第１の角部に位置する最大重み付け色画素から、第２の角部に位置する色画素と第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して重み付け係数を乗じる対象の色画素とする。対角線上の色画素よりも最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とする。最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じる。最大重み付け色画素から対角線上の色画素までの色画素からの色信号に対して、最大重み付け色画素から離れて対角線上の色画素に近付くに従って漸減する重み付け係数を乗じる。
【選択図】図１２

Description

本発明は、イメージセンサから出力された複数の色画素の信号を処理する画像処理装置及び画像処理方法に関する。

ビデオカメラやスチルカメラ等の撮像装置は、被写体から入射された光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）のイメージセンサを備える。イメージセンサは、赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタを用いたＲ，Ｇ，Ｂの色画素より、各色の色信号を得る。

イメージセンサのＲ，Ｇ，Ｂの色画素は、一般的にベイヤ配列と称されるパターンで配列されている。ベイヤ配列は、図２１に示すように、Ｒの色画素とＧの色画素とを水平方向に交互に配列させたラインと、Ｇの色画素とＢの色画素とを水平方向に交互に配列させたラインとを、垂直方向に交互に配列させたパターンとなっている。イメージセンサのＲの色画素より出力される色信号をＲ信号、Ｇの色画素より出力される色信号をＧ信号、Ｂの色画素より出力される色信号をＢ信号と称することとする。

撮像装置は、イメージセンサからのＲ信号，Ｇ信号，Ｂ信号を画像処理装置によって処理して、表示部に表示したり、記録媒体に記録したりする。画像処理装置は、Ｒ信号，Ｇ信号，Ｂ信号それぞれの感度を上げるために、同じ色の複数の色信号を加算する。Ｒ，Ｇ，Ｂそれぞれで複数の色信号を加算することにより、データ量を減らすこともできる。

図２２〜図２５を用いて、一般的な色信号の加算方法について説明する。図２２は、図２１の色画素のパターンのうち、Ｒの色画素のみを示している。図２２に示すように、破線で囲んだ水平方向２画素、垂直方向２画素（２×２）の領域内のＲの色画素からのＲ信号を同じ割合で加算する。４つのＲ信号を同じ割合で加算することによって、空間上で概念的に、４つのＲの色画素の中心に加算したＲ信号（加算Ｒ信号）が得られる。加算Ｒ信号には、ハッチングを付している。

図２３は、図２１の色画素のパターンのうち、Ｒの色画素と同じラインに位置するＧの色画素のみを示している。Ｒの色画素と同じラインに位置するＧの色画素からのＧ信号をＧｒ信号と称する場合がある。図２２と同様に、図２３に示すように、２×２の領域内のＧの色画素からのＧ信号を同じ割合で加算することによって、空間上で概念的に、４つのＧの色画素の中心に加算したＧ信号（加算Ｇ信号）が得られる。加算Ｇ信号（加算Ｇｒ信号）には、ハッチングを付している。

図２４は、図２１の色画素のパターンのうち、Ｂの色画素と同じラインに位置するＧの色画素のみを示している。Ｂの色画素と同じラインに位置するＧの色画素からのＧ信号をＧｂ信号と称する場合がある。図２２と同様に、図２４に示すように、２×２の領域内のＧの色画素からのＧ信号を同じ割合で加算することによって、空間上で概念的に、４つのＧの色画素の中心に、ハッチングを付して示す加算Ｇ信号（加算Ｇｂ信号）が得られる。

図２５は、図２１の色画素のパターンのうち、Ｂの色画素のみを示している。図２２と同様に、図２５に示すように、２×２の領域内のＢの色画素からのＢ信号を同じ割合で加算することによって、空間上で概念的に、４つのＢの色画素の中心に加算したＢ信号（加算Ｂ信号）が得られる。加算Ｂ信号には、ハッチングを付している。

図２２〜図２５に示すＲ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの加算によって、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号は、空間上で概念的に、図２６に示す位置に得られることになる。図２６に示すように、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が空間上で概念的に水平方向及び垂直方向に隣接するように群となって生成される。水平方向及び垂直方向それぞれ、隣り合う群は離れた位置に生成される。

特開２００８−１９９１７７号公報 特開２０１１−３０１８１号公報

上述した２×２の領域からのＲ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号を同じ割合で加算する従来の画像処理装置及び画像処理方法では、ジャギや折り返しノイズが多く発生するという問題点があった。そこで、ジャギや折り返しノイズを改善することが求められた。

本発明はこのような要望に対応するため、ジャギや折り返しノイズの発生を低減することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、複数の色の複数の色画素がベイヤ配列のパターンで配列されたイメージセンサ（１０４）におけるそれぞれの色の色画素を、色ごとに、Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む複数の領域に分け、前記複数の領域それぞれで、それぞれの色画素からの色信号に対して重み付け係数を乗じる重み付け処理部（５２）と、前記重み付け処理部より出力され、前記領域内の色画素からの色信号に対してそれぞれの重み付け係数が乗じられた色信号を前記領域ごとに加算して加算色信号を生成する加算処理部（５３）とを備え、前記重み付け処理部は、前記領域内の第１の角部に位置する色画素を最大重み付け色画素とし、前記最大重み付け色画素から、前記最大重み付け色画素と同じ垂直位置の第２の角部に位置する色画素と前記最大重み付け色画素と同じ水平位置の第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して０を超える重み付け係数を乗じる対象の色画素とし、前記対角線上の色画素よりも前記最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とし、前記最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じ、前記最大重み付け色画素から前記対角線上の色画素までのそれぞれの色画素からの色信号に対して、前記最大重み付け色画素から離れて前記対角線上の色画素に近付くに従って漸減する重み付け係数を乗じることを特徴とする画像処理装置を提供する。

上記の画像処理装置において、前記重み付け処理部は、前記最大の重み付け係数をＮ、前記対角線上の色画素に乗じる重み付け係数を１とすることが好ましい。

上記の画像処理装置において、前記重み付け処理部は、前記複数の色それぞれで、前記最大重み付け色画素が位置する前記領域内での前記第１の角部の位置を互いに異なる位置とすることが好ましい。

上記の画像処理装置において、前記重み付け処理部は、前記複数の色それぞれの加算色信号が、ベイヤ配列のパターンと同じ順で前記加算処理部より出力されるように、前記領域内での前記第１の角部の位置を決定することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、複数の色の複数の色画素がベイヤ配列のパターンで配列されたイメージセンサ（１０４）におけるそれぞれの色の色画素を、色ごとに、Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む複数の領域に分け、前記領域内の第１の角部に位置する色画素を最大重み付け色画素とし、前記最大重み付け色画素から、前記最大重み付け色画素と同じ垂直位置の第２の角部に位置する色画素と前記最大重み付け色画素と同じ水平位置の第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して０を超える重み付け係数を乗じる対象の色画素とし、前記対角線上の色画素よりも前記最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とし、前記最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じ、前記最大重み付け色画素から前記対角線上の色画素までのそれぞれの色画素からの色信号に対して、前記最大重み付け色画素から離れて前記対角線上の色画素に近付くに従って漸減する重み付け係数を乗じ、前記領域内の色画素からの色信号に対してそれぞれの重み付け係数が乗じられた色信号を前記領域ごとに加算して加算色信号を生成することを特徴とする画像処理方法を提供する。

本発明の画像処理装置及び画像処理方法によれば、ジャギや折り返しノイズの発生を低減することができる。

一実施形態の画像処理装置を備える撮像装置の全体構成を示すブロック図である。 実施例１におけるＲ信号の加算処理を示す図である。 図２に示すＲ信号の加算処理で用いる重み付け係数を示す図である。 実施例１におけるＧｒ信号の加算処理を示す図である。 図４に示すＧｒ信号の加算処理で用いる重み付け係数を示す図である。 実施例１におけるＧｂ信号の加算処理を示す図である。 図６に示すＧｂ信号の加算処理で用いる重み付け係数を示す図である。 実施例１におけるＢ信号の加算処理を示す図である。 図８に示すＢ信号の加算処理で用いる重み付け係数を示す図である。 実施例１で得られる加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号の空間上における概念的な位置を示す図である。 実施例１による加算処理をまとめて示す図である。 実施例２におけるＲ信号の加算処理を示す図である。 実施例２におけるＧｒ信号の加算処理を示す図である。 実施例２におけるＧｂ信号の加算処理を示す図である。 実施例２におけるＢ信号の加算処理を示す図である。 図１中の画素加算部５の具体的な構成であり、実施例２を実現する構成例を示すブロック図である。 重み付け係数を算出する算出式で用いるｘ座標とｙ座標の割り振り方を説明するための図である。 実施例３における重み付け係数を示す図である。 実施例４のＲ信号及びＧｒ信号における重み付け係数を示す図である。 実施例４のＧｂ信号及びＢ信号における重み付け係数を示す図である。 ベイヤ配列のイメージセンサが有するパターンを示す図である。 Ｒ信号の一般的な加算方法を示す図である。 Ｇｒ信号の一般的な加算方法を示す図である。 Ｇｂ信号の一般的な加算方法を示す図である。 Ｂ信号の一般的な加算方法を示す図である。 図２２〜図２５に示す一般的な加算方法で得られる加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号の空間上における概念的な位置を示す図である。

以下、本発明の画像処理装置及び画像処理方法の一実施形態について、添付図面を参照して説明する。

＜撮像装置の全体構成＞
まず、図１を用いて、一実施形態の画像処理装置を備える撮像装置の全体構成について説明する。図１では簡略化のため、音声信号の処理に関する図示を省略している。図１において、撮像部１は、ズームレンズ１０１，フォーカスレンズ１０２，絞り１０３，イメージセンサ１０４を有する。ズームレンズ１０１及びフォーカスレンズ１０２は図示しないアクチュエータによって図１において一点鎖線で示す光軸に沿って移動する。

絞り１０３は、図示しないアクチュエータによって駆動されて、光を通過させる開口の大きさが制御される。イメージセンサ１０４は、ＣＣＤまたはＣＭＯＳで構成される。撮像部１のそれぞれのアクチュエータは、制御部１０によって制御される。制御部１０は撮像装置内の各部を制御する。

イメージセンサ１０４は、ズームレンズ１０１，フォーカスレンズ１０２，絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。イメージセンサ１０４は、図２１で説明したように、Ｒ，Ｇ，Ｂの色画素がベイヤ配列のパターンで配列されている。

アナログ画像信号処理部２はイメージセンサ１０４より出力されたアナログ画像信号を増幅し、Ａ／Ｄ変換部３は増幅されたアナログ画像信号をデジタル画像データに変換する。画像入力インタフェース（画像入力Ｉ／Ｆ）４は、Ａ／Ｄ変換部３より出力されたデジタル画像データを撮像データとして取り込んで、バス６を介して画素加算部５に入力したり、ＤＲＡＭ８に書き込んだりする。

画素加算部５は、概略的な構成として、重み付け設定部５１と、重み付け処理部５２と、加算処理部５３とを有する。それぞれの具体的な構成及び動作については後に詳述する。画素加算部５は、一実施形態の画像処理装置を構成している。

ＲＯＭ７には、各種のプログラムが格納されている。制御部１０は、ＲＯＭ７に格納されているプログラムに従って各部を制御する。制御部１０を、マイクロコンピュータのＣＰＵで構成してもよい。ＤＲＡＭ８はメインメモリとして各種画像データの一時記憶領域として使用されると共に、制御部１０の演算作業領域としても使用される。

メディア制御部９は、制御部１０からの指示に従って、カード・インタフェース（カードＩ／Ｆ）１３を介してカード型記録媒体１４に対してデータを書き込み、カード型記録媒体１４に記録されたデータを読み出すよう制御する。ここでは、記録部をカード型記録媒体としているが、記録部はカード型記録媒体に限定されるものではなく、半導体メモリやハードディスク・ドライブ等の任意の記録媒体を有する記録部でよい。

デジタル信号処理部１１は、バス６を介して制御部１０からの指示に従って、ＤＲＡＭ８に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。また、デジタル信号処理部１１は、オフセット処理，ホワイトバランス調整処理，ガンマ補正処理，ＲＧＢ補間処理，ノイズ低減処理，輪郭補正処理，色調補正処理，光源種別判定処理等の各種のデジタル信号処理を行う。

圧縮・伸長処理部１２は、バス６を介して制御部１０からの指示に従って、撮像データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部１２は、制御部１０からの指示に従って、カード型記録媒体１４に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を採用することができ、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式を採用することができる。

表示部の一例である液晶モニタ１６，操作部１７，入出力端子１８は、入出力インタフェース（入出力Ｉ／Ｆ）１５に接続されている。液晶モニタ１６は、撮像データ等の画像データに基づく画像を表示する。操作部１７は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー，十字キー，ジョイスティック等であり、ユーザによる撮像装置に対する操作入力を受け付ける。映像信号及び音声信号を入出力する入出力端子１８は、図示していないテレビモニタやパーソナル・コンピュータ等に接続される。

次に、画素加算部５において行われる一実施形態による色信号の加算方法の各実施例について説明する。

まず、水平方向２画素、垂直方向２画素（２×２）の領域内の色画素からの色信号を加算する実施例１について説明する。

図２は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｒの色画素のみを示している。図２に示すように、実施例１では、破線で囲んだ２×２の領域ＡＲ_２を、Ｒ信号を加算する領域とする。実施例１では、上述した一般的な加算方法とは異なり、領域ＡＲ_２内の４つのＲ信号を同じ割合で加算するのではなく、領域ＡＲ_２内の３つのＲ信号を、３つのＲ信号に対する重み付けを異ならせて加算する。

図３における領域ＡＲ_２内の４つのＲの色画素には、括弧書きにて重み付け係数を示している。領域ＡＲ_２における左上の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を２とする。この左上の角部に位置する色画素を最大重み付け色画素と称することとする。図２，図３では、左上の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＲ_２における右上の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を１とする。最大重み付け色画素と同じ水平位置の領域ＡＲ_２における左下の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を１とする。図２，図３では、右上の角部が第２の角部、左下の角部が第３の角部である。

最大重み付け色画素の対角である領域ＡＲ_２における右下の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を０とする。右下の角部に位置するＲの色画素からのＲ信号に対する重み付け係数が０であるので、実施例１では、領域ＡＲ_２内の３つのＲ信号を加算することになる。図２，図３では、右下の角部が第４の角部である。

画素加算部５は、領域ＡＲ_２内の３つのＲの色画素からのＲ信号を図３に示すそれぞれの重み付け係数を乗じた上で加算する。重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、３つのＲの色画素からのＲ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＲ信号を加算する。

すると、図２に示すように、空間上で概念的に、４つのＲの色画素の中心から最大重み付け色画素の方向にずれた位置に、３つのＲ信号を加算したハッチングを付して示す加算Ｒ信号が得られる。

図４は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｒの色画素と同じラインに位置するＧの色画素のみを示している。図４に示すように、実施例１では、破線で囲んだ２×２の領域ＡＧｒ_２を、Ｒの色画素と同じラインに位置するＧの色画素からのＧ信号（以下、Ｇｒ信号）を加算する領域とする。Ｇｒ信号についても同様に、領域ＡＧｒ_２内の３つのＧｒ信号を、３つのＧｒ信号に対する重み付けを異ならせて加算する。

図５における領域ＡＧｒ_２内の４つのＧの色画素には、括弧書きにて重み付け係数を示している。領域ＡＧｒ_２における右上の角部に位置するＧの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＧｒ信号に対する重み付け係数を２とする。図４，図５では、右上の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＧｒ_２における左上の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数を１とする。最大重み付け色画素と同じ水平位置の領域ＡＧｒ_２における右下の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数を１とする。図４，図５では、左上の角部が第２の角部、右下の角部が第３の角部である。

最大重み付け色画素の対角である領域ＡＧｒ_２における左下の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数を０とする。左下の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数が０であるので、実施例１では、領域ＡＧｒ_２内の３つのＧｒ信号を加算することになる。図４，図５では、左下の角部が第４の角部である。

画素加算部５は、領域ＡＧｒ_２内の３つのＧの色画素からのＧｒ信号を図５で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、３つのＧの色画素からのＧｒ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＧｒ信号を加算する。

すると、図４に示すように、空間上で概念的に、４つのＧの色画素の中心から最大重み付け色画素の方向にずれた位置に、３つのＧｒ信号を加算したハッチングを付して示す加算Ｇｒ信号が得られる。

図６は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｂの色画素と同じラインに位置するＧの色画素のみを示している。図６に示すように、実施例１では、破線で囲んだ２×２の領域ＡＧｂ_２を、Ｂの色画素と同じラインに位置するＧの色画素からのＧ信号（以下、Ｇｂ信号）を加算する領域とする。Ｇｂ信号についても同様に、領域ＡＧｂ_２内の３つのＧｂ信号を、３つのＧｂ信号に対する重み付けを異ならせて加算する。

図７における領域ＡＧｂ_２内の４つのＧの色画素には、括弧書きにて重み付け係数を示している。領域ＡＧｂ_２における左下の角部に位置するＧの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＧｂ信号に対する重み付け係数を２とする。図６，図７では、左下の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＧｂ_２における右下の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を１とする。最大重み付け色画素と同じ水平位置の領域ＡＧｂ_２における左上の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を１とする。図６，図７では、右下の角部が第２の角部、左上の角部が第３の角部である。

最大重み付け色画素の対角である領域ＡＧｂ_２における右上の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を０とする。右上の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数が０であるので、実施例１では、領域ＡＧｂ_２内の３つのＧｂ信号を加算することになる。図６，図７では、右上の角部が第４の角部である。

画素加算部５は、領域ＡＧｂ_２内の３つのＧの色画素からのＧｂ信号を図７で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、３つのＧの色画素からのＧｂ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＧｂ信号を加算する。

すると、図６に示すように、空間上で概念的に、４つのＧの色画素の中心から最大重み付け色画素の方向にずれた位置に、３つのＧｂ信号を加算したハッチングを付して示す加算Ｇｂ信号が得られる。

図８は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｂの色画素のみを示している。図８に示すように、実施例１では、破線で囲んだ２×２の領域ＡＢ_２を、Ｂ信号を加算する領域とする。Ｂ信号についても同様に、領域ＡＢ_２内の３つのＢ信号を、３つのＢ信号に対する重み付けを異ならせて加算する。

図９における領域ＡＢ_２内の４つのＢの色画素には、括弧書きにて重み付け係数を示している。領域ＡＢ_２における右下の角部に位置するＢの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＢ信号に対する重み付け係数を２とする。図８，図９では、右下の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＢ_２における左下の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を１とする。最大重み付け色画素と同じ水平位置の領域ＡＢ_２における右上の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を１とする。図８，図９では、左下の角部が第２の角部、右上の角部が第３の角部である。

最大重み付け色画素の対角である領域ＡＢ_２における左上の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を０とする。左上の角部に位置するＢの色画素からのＢ信号に対する重み付け係数が０であるので、実施例１では、領域ＡＢ_２内の３つのＢ信号を加算することになる。図８，図９では、左上の角部が第４の角部である。

画素加算部５は、領域ＡＢ_２内の３つのＢの色画素からのＢ信号を図９で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、３つのＢの色画素からのＢ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＢ信号を加算する。

すると、図８に示すように、空間上で概念的に、４つのＢの色画素の中心から最大重み付け色画素の方向にずれた位置に、３つのＢ信号を加算したハッチングを付して示す加算Ｂ信号が得られる。

以上のように、実施例１では、概念的に、２×２の正方形の領域の４つの色画素のうち、三角形の領域である３つの色画素からの色信号を、重み付け係数を乗じた上で加算している。Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号で、２×２の正方形の領域における最大重み付け色画素の位置が互いに異なっている。

実施例１では、４つの色画素のうち３つの色画素からの色信号を加算するものの、そのうち１つの色画素からの色信号に対しては重み付け係数を２とする加重加算であるので、４画素分の加算と等価である。

図１０は、図２で得られる加算Ｒ信号、図４で得られる加算Ｇｒ信号、図６で得られる加算Ｇｂ信号、図８で得られる加算Ｂ信号の空間上における概念的な位置を示している。実施例１では、図１０に示すように、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が水平方向及び垂直方向それぞれ等間隔に離れた位置に生成される。

従って、実施例１では、図２６と比較して、ジャギや折り返しノイズの発生を低減することが可能となる。特に図示しないが、実際の画像による検証によって、実施例１によりジャギや折り返しノイズの発生が低減されることを確認している。ジャギや折り返しノイズの発生が低減される理由は、図２６では、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が群となって、均等な位相とならないのに対し、実施例１では、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が均等な位相で生成されるからである。

図１１は、以上説明した画素加算部５における実施例１による加算処理をまとめて示している。図１１において、（ａ）はイメージセンサ１０４が有するベイヤ配列の色画素のパターンを示している。ここでは、水平方向８画素、垂直方向８画素（８×８）の領域のみを示している。

図３，図５，図７，図９に示す重み付け係数を乗じてそれぞれの領域ごとに加算した加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号は、空間上で概念的に、図１１の（ｂ）に示す位置に生成される。図１１の（ｃ）は、図１１の（ｂ）のハッチングを付して示す加算Ｒ信号と２つの加算Ｇ信号と加算Ｂ信号のみを示している。図１１の（ｃ）の加算Ｒ信号と２つの加算Ｇ信号と加算Ｂ信号を全て合わせると、図１１の（ｄ）となる。

図１１の（ｅ）は、図１１の（ｄ）のようにして生成した加算Ｒ信号と２つの加算Ｇ信号と加算Ｂ信号のデータの並びを示している。図１１の（ｅ）に示すように、１ライン目では、加算Ｒ信号と加算Ｇｒ信号とが水平方向に交互に出力され、２ライン目では、加算Ｇｂ信号と加算Ｂ信号が水平方向に交互に出力され、これらを交互に繰り返す。勿論、図１１に示すデータの最上位のライン、水平方向左端の色信号は単なる例である。

図１１の（ａ）と（ｅ）とを比較すれば明らかなように、同じ色どうしの色信号の加算によってＲ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度が向上し、データ量が削減される。また、実施例１では、ジャギや折り返しノイズの発生が低減される。

次に、水平方向３画素、垂直方向３画素（３×３）の領域内の色画素からの色信号を加算する実施例２について説明する。

図１２は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｒの色画素のみを示している。図１２に示すように、実施例２では、破線で囲んだ３×３の領域ＡＲ_３を、Ｒ信号を加算する領域とする。実施例２では、領域ＡＲ_３内の９つのＲ信号を同じ割合で加算するのではなく、領域ＡＲ_３内の６つのＲ信号を、６つのＲ信号に対する重み付けを異ならせて加算する。

図１２における領域ＡＲ_３内の９つのＲの色画素には、括弧書きにて重み付け係数を示している。領域ＡＲ_３における左上の角部に位置するＲの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＲ信号に対する重み付け係数を３とする。図１２では、左上の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＲ_３における右上の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を１とする。図１２では、右上の角部が第２の角部である。最大重み付け色画素と右上の角部に位置するＲの色画素との間のＲの色画素からのＲ信号に対する重み付け係数を２とする。

最大重み付け色画素と同じ水平位置の領域ＡＲ_３における左下の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を１とする。図１２では、左下の角部が第３の角部である。最大重み付け色画素と左下の角部に位置するＲの色画素との間のＲの色画素からのＲ信号に対する重み付け係数を２とする。

互いに対角の位置にある右上の角部に位置するＲの色画素と左下の角部に位置するＲの色画素とを結んだ対角線上にあり、９つのＲの色画素の中央に位置する色画素からのＲ信号に対する重み付け係数を１とする。

最大重み付け色画素の対角である領域ＡＲ_３における右下の角部に位置するＲの色画素からのＲ信号に対する重み付け係数を０とする。図１２では、右下の角部が第４の角部である。右上の角部に位置するＲの色画素と右下の角部に位置するＲの色画素との間に位置するＲの色画素と、左下の角部に位置するＲの色画素と右下の角部に位置するＲの色画素との間に位置するＲの色画素からのＲ信号に対する重み付け係数を０とする。

右上の角部に位置するＲの色画素と右下の角部に位置するＲの色画素との間に位置するＲの色画素と、左下の角部に位置するＲの色画素と右下の角部に位置するＲの色画素との間に位置するＲの色画素は、いずれも、右上の角部に位置するＲの色画素と左下の角部に位置するＲの色画素とを結んだ対角線よりも右下の角部側に位置する色画素である。

画素加算部５は、領域ＡＲ_３内の６つのＲの色画素からのＲ信号を図１２で示すそれぞれの重み付け係数を乗じた上で加算する。重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、６つのＲの色画素からのＲ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＲ信号を加算する。

すると、図１２に示すように、空間上で概念的に、９つのＲの色画素の中心から最大重み付け色画素の方向にずれ、Ｂの色画素の位置に、６つのＲ信号を加算したハッチングを付して示す加算Ｒ信号が得られる。

図１３は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｒの色画素と同じラインに位置するＧの色画素のみを示している。図１３に示すように、実施例２では、破線で囲んだ３×３の領域ＡＧｒ_３を、Ｒの色画素と同じラインに位置するＧの色画素からのＧ信号（以下、Ｇｒ信号）を加算する領域とする。Ｇｒ信号についても同様に、領域ＡＧｒ_３内の６つのＧｒ信号を、６つのＧｒ信号に対する重み付けを異ならせて加算する。

図１３における領域ＡＧｒ_３の９つのＧの色画素には、括弧書きにて重み付け係数を示している。図１３における右上の角部に位置するＧの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＧ信号に対する重み付け係数を３とする。図１３では、右上の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＧｒ_３における左上の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数を１とする。図１３では、左上の角部が第２の角部である。最大重み付け色画素と左上の角部に位置するＧの色画素との間のＧの色画素からのＧｒ信号に対する重み付け係数を２とする。

最大重み付け色画素と同じ水平位置の領域ＡＧｒ_３における右下の角部に位置するＧの色画素からのＧｒ信号に対する重み付け係数を１とする。図１３では、右下の角部が第３の角部である。最大重み付け色画素と右下の角部に位置するＧの色画素との間のＧの色画素からのＧｒ信号に対する重み付け係数を２とする。

互いに対角の位置にある左上の角部に位置するＧの色画素と右下の角部に位置するＧの色画素とを結んだ対角線上にあり、９つのＧの色画素の中央に位置する色画素からのＧｒ信号に対する重み付け係数を１とする。

最大重み付け色画素の対角である領域ＡＧｒ_３における左下の角部に位置するＧの色画素からのＧ信号に対する重み付け係数を０とする。図１３では、左下の角部が第４の角部である。左上の角部に位置するＧの色画素と左下の角部に位置するＧの色画素との間に位置するＧの色画素と、左下の角部に位置するＧの色画素と右下の角部に位置するＧの色画素との間に位置するＧの色画素からのＧｒ信号に対する重み付け係数を０とする。

左上の角部に位置するＧの色画素と左下の角部に位置するＧの色画素との間に位置するＧの色画素と、左下の角部に位置するＧの色画素と右下の角部に位置するＧの色画素との間に位置するＧの色画素は、いずれも、左上の角部に位置するＧの色画素と右下の角部に位置するＧの色画素とを結んだ対角線よりも左下の角部側に位置する色画素である。

画素加算部５は、領域ＡＧｒ_３内の６つのＧの色画素からのＧｒ信号を図１３で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、６つのＧの色画素からのＧｒ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＧｒ信号を加算する。

すると、図１３に示すように、空間上で概念的に、９つのＧの色画素の中心から最大重み付け色画素の方向にずれ、Ｇの色画素の位置に、６つのＧｒ信号を加算したハッチングを付して示す加算Ｇｒ信号が得られる。

図１４は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｂの色画素と同じラインに位置するＧの色画素のみを示している。図１４に示すように、実施例２では、破線で囲んだ３×３の領域ＡＧｂ_３を、Ｂの色画素と同じラインに位置するＧの色画素からのＧ信号（以下、Ｇｂ信号）を加算する領域とする。Ｇｂ信号についても同様に、領域ＡＧｂ_３内の６つのＧｂ信号を、６つのＧｂ信号に対する重み付けを異ならせて加算する。

図１４における領域ＡＧｂ_３の９つのＧの色画素には、括弧書きにて重み付け係数を示している。図１４における左下の角部に位置するＧの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＧ信号に対する重み付け係数を３とする。図１４では、左下の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＧｂ_３における右下の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を１とする。図１４では、右下の角部が第２の角部である。最大重み付け色画素と右下の角部に位置するＧの色画素との間のＧの色画素からのＧｂ信号に対する重み付け係数を２とする。

最大重み付け色画素と同じ水平位置の領域ＡＧｂ_３における左上の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を１とする。図１４では、左上の角部が第３の角部である。最大重み付け色画素と左上の角部に位置するＧの色画素との間のＧの色画素からのＧｂ信号に対する重み付け係数を２とする。

互いに対角の位置にある左上の角部に位置するＧの色画素と右下の角部に位置するＢの色画素とを結んだ対角線上にあり、９つのＧの色画素の中央に位置する色画素からのＧｂ信号に対する重み付け係数を１とする。

最大重み付け色画素の対角である領域ＡＧｂ_３における右上の角部に位置するＧの色画素からのＧｂ信号に対する重み付け係数を０とする。図１４では、右上の角部が第４の角部である。左上の角部に位置するＧの色画素と右上の角部に位置するＧの色画素との間に位置するＧの色画素と、右上の角部に位置するＧの色画素と右下の角部に位置するＧの色画素との間に位置するＧの色画素からのＧｂ信号に対する重み付け係数を０とする。

左上の角部に位置するＧの色画素と右上の角部に位置するＧの色画素との間に位置するＧの色画素と、右上の角部に位置するＧの色画素と右下の角部に位置するＧの色画素との間に位置するＧの色画素は、いずれも、左上の角部に位置するＧの色画素と右下の角部に位置するＧの色画素とを結んだ対角線よりも右上の角部側に位置する色画素である。

画素加算部５は、領域ＡＧｂ_３内の６つのＧの色画素からのＧｂ信号を図１４で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、６つのＧの色画素からのＧｂ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＧｂ信号を加算する。

すると、図１４に示すように、空間上で概念的に、９つのＧの色画素の中心から最大重み付け色画素の方向にずれ、Ｇの色画素の位置に、６つのＧｂ信号を加算したハッチングを付して示す加算Ｇｂ信号が得られる。

図１５は、イメージセンサ１０４が有する図２１の色画素のパターンのうち、Ｂの色画素のみを示している。図１５に示すように、実施例２では、破線で囲んだ３×３の領域ＡＢ_３を、Ｂ信号を加算する領域とする。実施例２では、領域ＡＢ_３内の９つのＢ信号を同じ割合で加算するのではなく、領域ＡＢ_３内の６つのＢ信号を、６つのＢ信号に対する重み付けを異ならせて加算する。

図１５における領域ＡＢ_３内の９つのＢの色画素には、括弧書きにて重み付け係数を示している。領域ＡＢ_３における右下の角部に位置するＢの色画素を最大重み付け色画素とし、この最大重み付け色画素からのＢ信号に対する重み付け係数を３とする。図１５では、右下の角部が第１の角部である。

最大重み付け色画素と同じライン（垂直位置）の領域ＡＢ_３における左下の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を１とする。図１５では、左下の角部が第２の角部である。最大重み付け色画素と左下の角部に位置するＢの色画素との間のＢの色画素からのＢ信号に対する重み付け係数を２とする。

最大重み付け色画素と同じ水平位置の領域ＡＢ_３における右上の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を１とする。図１５では、右上の角部が第３の角部である。最大重み付け色画素と右上の角部に位置するＢの色画素との間のＢの色画素からのＢ信号に対する重み付け係数を２とする。

互いに対角の位置にある右上の角部に位置するＢの色画素と左下の角部に位置するＢの色画素とを結んだ対角線上にあり、９つのＢの色画素の中央に位置する色画素からのＢ信号に対する重み付け係数を１とする。

最大重み付け色画素の対角である領域ＡＢ_３における左上の角部に位置するＢの色画素からのＢ信号に対する重み付け係数を０とする。図１５では、左上の角部が第４の角部である。左上の角部に位置するＢの色画素と左下の角部に位置するＢの色画素との間に位置するＢの色画素と、左上の角部に位置するＢの色画素と右上の角部に位置するＢの色画素との間に位置するＢの色画素からのＢ信号に対する重み付け係数を０とする。

左上の角部に位置するＢの色画素と左下の角部に位置するＢの色画素との間に位置するＢの色画素と、左上の角部に位置するＢの色画素と右上の角部に位置するＢの色画素との間に位置するＢの色画素は、いずれも、右上の角部に位置するＢの色画素と左下の角部に位置するＢの色画素とを結んだ対角線よりも左上の角部側に位置する色画素である。

画素加算部５は、領域ＡＢ_３内の６つのＢの色画素からのＢ信号を図１５で示すそれぞれの重み付け係数を乗じた上で加算する。同様に、重み付け係数設定部５１は、それぞれの重み付け係数を設定する。重み付け処理部５２は、６つのＢの色画素からのＢ信号に対して重み付け係数を乗じるよう処理し、加算処理部５３は、重み付け係数を乗じたＢ信号を加算する。

すると、図１５に示すように、空間上で概念的に、９つのＲの色画素の中心から最大重み付け色画素の方向にずれ、Ｒの色画素の位置に、６つのＢ信号を加算したハッチングを付して示す加算Ｂ信号が得られる。

以上のように、実施例２では、概念的に、３×３の正方形の領域の９つの色画素のうち、三角形の領域である６つの色画素からの信号を、重み付け係数を乗じた上で加算している。Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号で、３×３の正方形の領域における最大重み付け色画素の位置が互いに異なっている。

ここで、図１６を用いて、画素加算部５の具体的な構成について説明する。図１６に示す画素加算部５は、３×３の領域内の色信号を加算する実施例２を実現する構成例を示している。ここでは簡略化のため、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号のうちの１つの色信号を加算処理する構成を示している。従って、画素加算部５は、図１６に示す構成を４系統備える。

バス６を介して画像入力Ｉ／Ｆ４より画素加算部５へと入力された色信号は、ラインバッファ５０に入力される。ラインバッファ５０は２ライン分のラインメモリを有し、入力された色信号を１ライン分の期間及び２ライン分の期間遅延する。ラインバッファ５０は、図１では、図示が省略されている。

画像入力Ｉ／Ｆ４からの色信号をラインバッファ５０に入力して１ライン分の期間及び２ライン分の期間遅延する構成は、動画像を処理する際に好ましい構成である。静止画像を処理する場合には、画像入力Ｉ／Ｆ４からの色信号を一旦ＤＲＡＭ８に記憶し、画素加算部５での処理に必要なデータをＤＲＡＭ８から画素加算部５へと入力してもよい。この場合には、色信号を１ライン分の期間及び２ライン分の期間遅延するラインバッファ５０は必要なく、ラインバッファ５０の代わりにキャッシュメモリを設ければよい。

ラインバッファ５０に入力された色信号はそのまま重み付け処理部５２ａに入力される。ラインバッファ５０によって１ライン分の期間遅延された色信号は重み付け処理部５２ｂに入力される。ラインバッファ５０によって２ライン分の期間遅延された色信号は重み付け処理部５２ｃ入力される。重み付け処理部５２ａ〜５２ｃには、色信号が色画素単位で順次入力される。重み付け処理部５２ａ〜５２ｃは、図１における重み付け処理部５２に相当する。

重み付け処理部５２ａ〜５２ｃは同じ構成であり、同一部分には同一符号を付している。重み付け処理部５２ａ〜５２ｃは、フリップフロップ（ＦＦ）よりなる画素遅延器５２１〜５２３と、係数乗算器５２４〜５２６とを有する。

重み付け処理部５２ａの係数乗算器５２４〜５２６には、重み付け係数設定部５１によって係数C11〜C13が設定されている。重み付け処理部５２ｂの係数乗算器５２４〜５２６には、重み付け係数設定部５１によって係数C21〜C23が設定されている。重み付け処理部５２ｃの係数乗算器５２４〜５２６には、重み付け係数設定部５１によって係数C31〜C33が設定されている。

重み付け処理部５２ａの画素遅延器５２１〜５２３は、入力された色信号を１色画素分ずつ順次遅延する。ここでの１色画素分とは、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれ１つの色信号における１色画素分である。重み付け処理部５２ｂ，５２ｃでも同様である。係数乗算器５２４〜５２６は、画素遅延器５２１〜５２３の出力に対してそれぞれ係数C11〜C13を乗じて出力する。図１２のＲ信号を例にすれば、係数C11，C12，C13は１，２，３である。

加算器５３ａは、係数乗算器５２４〜５２６の出力を加算する。

重み付け処理部５２ｂの画素遅延器５２１〜５２３は、１ライン分の期間遅延された色信号を１色画素分ずつ順次遅延する。係数乗算器５２４〜５２６は、画素遅延器５２１〜５２３の出力に対してそれぞれ係数C21〜C23を乗じて出力する。図１２のＲ信号を例にすれば、係数C21，C22，C23は０，１，２である。

加算器５３ｂは、係数乗算器５２４〜５２６の出力を加算する。

重み付け処理部５２ｃの画素遅延器５２１〜５２３は、２ライン分の期間遅延された色信号を１色画素分ずつ順次遅延する。係数乗算器５２４〜５２６は、画素遅延器５２１〜５２３の出力に対してそれぞれ係数C31〜C33を乗じて出力する。図１２のＲ信号を例にすれば、係数C31，C32，C33は０，０，１である。

加算器５３ｃは、係数乗算器５２４〜５２６の出力を加算する。

加算器５３ｄは、加算器５３ａ〜５３ｃの出力を加算して出力する。加算器５３ａ〜５３ｄは、図１における加算処理部５３に相当する。

重み付け処理部５２ａ〜５２ｃによるそれぞれの位置の色信号に対する重み付け処理と、加算器５３ａ〜５３ｄによる加算処理によって、Ｒ信号を例にすれば、図１２に示す位置に加算Ｒ信号が得られることになる。

図１３のＧｒ信号の場合には、係数C11，C12，C13は３，２，１、係数C21，C22，C23は２，１，０、係数C31，C32，C33は１，０，０である。図１４のＧｂ信号の場合には、係数C11，C12，C13は０，０，１、係数C21，C22，C23は０，１，２、係数C31，C32，C33は１，２，３である。図１５のＢ信号の場合には、係数C11，C12，C13は１，０，０、係数C21，C22，C23は２，１，０、係数C31，C32，C33は３，２，１である。

重み付け係数設定部５１は、領域ＡＲ_３，ＡＧｒ_３，ＡＧｂ_３，ＡＢ_３内の色画素の位置に応じてそれぞれの重み付け係数を設定しているテーブルを用いて、それぞれの重み付け係数を発生することができる。また、重み付け係数設定部５１は、領域ＡＲ_３，ＡＧｒ_３，ＡＧｂ_３，ＡＢ_３内の色画素の位置に応じた所定の算出式を用いた算出によって、それぞれの重み付け係数を発生することもできる。

ここで、重み付け係数設定部５１が用いる重み付け係数の算出式について説明する。図１７の（ａ）〜（ｄ）に示すように、領域ＡＲ_３，ＡＧｒ_３，ＡＧｂ_３，ＡＢ_３内の色画素の位置に対して、水平方向のｘ座標として０，１，２を、垂直方向のｙ座標として０，１，２を割り振る。

領域ＡＲ_３内のＲの色画素からのＲ信号に対する重み付け係数をCr(x,y)、領域ＡＧｒ_３内のＧの色画素からのＧｒ信号に対する重み付け係数をCgr(x,y)、領域ＡＧｂ_３内のＧの色画素からのＧｂ信号に対する重み付け係数をCgb(x,y)、領域ＡＢ_３内のＢの色画素からのＢ信号に対する重み付け係数をCb(x,y)とする。重み付け係数Cr(x,y)，Cgr(x,y)，Cgb(x,y)，Cb(x,y)が、重み付け処理部５２ａ〜５２ｃで用いる係数C11〜C13，C21〜C23，C31〜C33となる。

Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む領域とすると、領域ＡＲ_３，ＡＧｒ_３，ＡＧｂ_３，ＡＢ_３の場合、Ｎは３である。ｘ座標及びｙ座標は、０〜Ｎ−１となる。

この場合、重み付け係数Cr(x,y)，Cgr(x,y)，Cgb(x,y)，Cb(x,y)は、次の式（１）〜（４）で表すことができる。但し、Cr(x,y)，Cgr(x,y)，Cgb(x,y)，Cb(x,y)が０未満となる場合は０、Ｎを超える場合はＮとする。従って、Cr(x,y)，Cgr(x,y)，Cgb(x,y)，Cb(x,y)は０以上Ｎ以下である。式（１）〜（４）は実施例１や後述する実施例３，４でも同様に用いることができる。

Cr(x,y)=-x-y+N …（１）
Cgr(x,y)=x-y+1 …（２）
Cgb(x,y)=-x+y+1 …（３）
Cb(x,y)=x+y-1 …（４）

重み付け係数を乗じて加算する加重加算の値Ｓｎは実施例２に限定されない一般式として次の式（５）で表すことができる。

実施例２では、次の式（６）より値Ｓｎは１０となる。実施例２では、９つの色画素のうち６つの色画素からの色信号を加算するものの、加重加算の処理によって１０画素分の加算と等価である。

実施例２においても、同じ色どうしの色信号の加算によってＲ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度が向上し、データ量が削減される。実施例２では、実施例１よりもデータ量が多く削減され、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度がさらに向上する。

また、実施例２においても、実施例１と同様、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が均等な位相で生成される。従って、ジャギや折り返しノイズの発生が低減される。

なお、実施例１を実現する画素加算部５は、ラインバッファ５０を１ライン分のラインメモリとし、重み付け処理部５２ｃを省いて重み付け処理部５２ａ，５２ｂのみとし、重み付け処理部５２ａ，５２ｂにおける画素遅延器５２３と係数乗算器５２６とを省いた構成とすればよい。図１６に示す構成を適宜変更することによって、実施例１や後述する実施例３，４に対応する画素加算部５とすることができる。

実施例３として、画素加算部５を、水平方向４画素、垂直方向４画素（４×４）の領域内の色画素からの色信号を加算する構成としてもよい。図１８において、（ａ）に、Ｒ信号に対する重み付け係数、（ｂ）に、Ｒの色画素と同じラインに位置するＧの色画素からのＧｒ信号に対する重み付け係数、（ｃ）に、Ｂの色画素と同じラインに位置するＧの色画素からのＧｒ信号に対する重み付け係数、（ｄ）に、Ｂ信号に対する重み付け係数を示している。

実施例３においても、図１８に示す重み付け係数を用いて同じ色の色画素を加算処理することによって、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度が向上し、データ量が削減される。実施例３では、実施例１，２よりもデータ量が多く削減され、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度がさらに向上する。

また、実施例３においても、実施例１と同様、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が均等な位相で生成される。従って、ジャギや折り返しノイズの発生が低減される。

実施例４として、画素加算部５を、水平方向５画素、垂直方向５画素（５×５）の領域内の色画素からの色信号を加算する構成としてもよい。図１９において、（ａ）にＲ信号に対する重み付け係数、（ｂ）にＧｒ信号に対する重み付け係数を示している。図２０において、（ａ）にＧｂ信号に対する重み付け係数、（ｂ）にＢ信号に対する重み付け係数を示している。

実施例４においても、図１９，図２０に示す重み付け係数を用いて同じ色の色画素を加算処理することによって、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度が向上し、データ量が削減される。実施例４では、実施例１〜３よりもデータ量が多く削減され、Ｒ信号，Ｇｒ信号，Ｇｂ信号，Ｂ信号それぞれの感度がさらに向上する。

また、実施例４においても、実施例１と同様、加算Ｒ信号，加算Ｇｒ信号，加算Ｇｂ信号，加算Ｂ信号が均等な位相で生成される。従って、ジャギや折り返しノイズの発生が低減される。

＜一実施形態の画像処理装置及び画像処理方法のまとめ＞
以上説明した実施例１〜４を含む一実施形態の画像処理装置及び画像処理方法について改めて説明する。

一実施形態においては、複数の色（Ｒ，Ｇ，Ｂ）の複数の色画素がベイヤ配列のパターンで配列されたイメージセンサ１０４におけるそれぞれの色の色画素を、色ごとに、Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む複数の領域に分ける。実施例１〜４で説明したように、Ｎは２〜５であることが好ましい。

一実施形態においては、それぞれの領域で、領域内の第１の角部に位置する色画素を最大重み付け色画素とする。

一実施形態においては、最大重み付け色画素から、最大重み付け色画素と同じ垂直位置の第２の角部に位置する色画素と最大重み付け色画素と同じ水平位置の第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して０を超える重み付け係数を乗じる対象の色画素とする。

一実施形態においては、対角線上の色画素よりも最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とする。これによって、一実施形態では、概念的に、Ｎ×Ｎの正方形の領域のうち、三角形の領域に含まれる色画素からの色信号に対して重み付け係数を乗じて加算する処理を行っていることになる。

一実施形態においては、最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じる。実施例１では最大の重み付け係数は２、実施例２では最大の重み付け係数は３、実施例３では最大の重み付け係数は４、実施例４では最大の重み付け係数は５である。即ち、最大の重み付け係数はＮである。最大の重み付け係数をＮとすることは必須ではないが、Ｎとすることが好ましい。

図３，図５，図７，図９，図１２〜図１５，図１８〜図２０より分かるように、一実施形態においては、最大重み付け色画素から対角線上の色画素までのそれぞれの色画素からの色信号に対して、最大重み付け色画素から離れて対角線上の色画素に近付くに従って漸減する重み付け係数を乗じる。

なお、実施例１による２×２の領域による加算処理においては、最大重み付け色画素と、第２の角部に位置する色画素と、第３の角部に位置する色画素のみが存在している。実施例１は、最大重み付け色画素と対角線上の色画素との間に色画素が存在していない例である。

実施例２による３×３の領域による加算処理においては、最大重み付け色画素と、第２の角部に位置する色画素と、第３の角部に位置する色画素との他に、最大重み付け色画素と第２の角部に位置する色画素との間の色画素と、最大重み付け色画素と第３の角部に位置する色画素との間の色画素とが存在している。

実施例２では、第２の角部に位置する色画素と第３の角部に位置する色画素とを結ぶ対角線上の色画素に対する重み付け係数は１である。図１２〜図１５に示すように、実施例２では、最大重み付け色画素に対する重み付け係数３から、対角線上の色画素に対する重み付け係数１まで、重み付け係数は、３，２，１と漸減している。

図１８に示すように、実施例３では、最大重み付け色画素に対する重み付け係数４から、対角線上の色画素に対する重み付け係数１まで、重み付け係数は、４，３，２，１と漸減している。図１９，図２０に示すように、実施例４では、最大重み付け色画素に対する重み付け係数５から、対角線上の色画素に対する重み付け係数１まで、重み付け係数は、５，４，３，２，１と漸減している。

一実施形態では、重み付け処理部５２は、複数の色それぞれで、最大重み付け色画素が位置する第１の角部の位置を互いに異なる位置としている。互いに異なる位置とは、複数の色それぞれの領域内での相対的な位置が異なるということである。重み付け処理部５２は、複数の色それぞれの加算色信号が、ベイヤ配列のパターンと同じ順で加算処理部５３より出力されるように、複数の色それぞれの領域内で第１の角部の位置を決定すればよい。

本発明は以上説明した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。イメージセンサ１０４の複数の色をＲ，Ｇ，Ｂとしているが、他の３原色であってもよい。

１ 撮像部
５ 画素加算部
５１ 重み付け設定部
５２，５２ａ，５２ｂ，５２ｃ 重み付け処理部
５３ 加算処理部
５３ａ，５３ｂ，５３ｃ，５３ｄ 加算器
１０４ イメージセンサ

Claims (5)

1. 複数の色の複数の色画素がベイヤ配列のパターンで配列されたイメージセンサにおけるそれぞれの色の色画素を、色ごとに、Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む複数の領域に分け、前記複数の領域それぞれで、それぞれの色画素からの色信号に対して重み付け係数を乗じる重み付け処理部と、
   前記重み付け処理部より出力され、前記領域内の色画素からの色信号に対してそれぞれの重み付け係数が乗じられた色信号を前記領域ごとに加算して加算色信号を生成する加算処理部と、
   を備え、
   前記重み付け処理部は、
   前記領域内の第１の角部に位置する色画素を最大重み付け色画素とし、
   前記最大重み付け色画素から、前記最大重み付け色画素と同じ垂直位置の第２の角部に位置する色画素と前記最大重み付け色画素と同じ水平位置の第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して０を超える重み付け係数を乗じる対象の色画素とし、
   前記対角線上の色画素よりも前記最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とし、
   前記最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じ、
   前記最大重み付け色画素から前記対角線上の色画素までのそれぞれの色画素からの色信号に対して、前記最大重み付け色画素から離れて前記対角線上の色画素に近付くに従って漸減する重み付け係数を乗じる
   ことを特徴とする画像処理装置。
2. 前記重み付け処理部は、前記最大の重み付け係数をＮ、前記対角線上の色画素に乗じる重み付け係数を１とすることを特徴とする請求項１記載の画像処理装置。
3. 前記重み付け処理部は、前記複数の色それぞれで、前記最大重み付け色画素が位置する前記領域内での前記第１の角部の位置を互いに異なる位置とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記重み付け処理部は、前記複数の色それぞれの加算色信号が、ベイヤ配列のパターンと同じ順で前記加算処理部より出力されるように、前記領域内での前記第１の角部の位置を決定することを特徴とする請求項３記載の画像処理装置。
5. 複数の色の複数の色画素がベイヤ配列のパターンで配列されたイメージセンサにおけるそれぞれの色の色画素を、色ごとに、Ｎを２以上の整数として、水平方向にＮ、垂直方向にＮのＮ×Ｎの色画素を含む複数の領域に分け、
   前記領域内の第１の角部に位置する色画素を最大重み付け色画素とし、
   前記最大重み付け色画素から、前記最大重み付け色画素と同じ垂直位置の第２の角部に位置する色画素と前記最大重み付け色画素と同じ水平位置の第３の角部に位置する色画素とを結ぶ対角線上の色画素までの範囲に含まれる色画素を、それぞれの色画素からの色信号に対して０を超える重み付け係数を乗じる対象の色画素とし、
   前記対角線上の色画素よりも前記最大重み付け色画素の対角である第４の角部側に位置する色画素に対しては重み付け係数を０とし、
   前記最大重み付け色画素からの色信号に対して最大の重み付け係数を乗じ、
   前記最大重み付け色画素から前記対角線上の色画素までのそれぞれの色画素からの色信号に対して、前記最大重み付け色画素から離れて前記対角線上の色画素に近付くに従って漸減する重み付け係数を乗じ、
   前記領域内の色画素からの色信号に対してそれぞれの重み付け係数が乗じられた色信号を前記領域ごとに加算して加算色信号を生成する
   ことを特徴とする画像処理方法。

Images