JP2009171378A - 撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】変則ベイヤー配列の出力信号を処理し、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を精度よく得る。
【解決手段】色相信号生成部１２３は、変則ベイヤー配列の出力信号内の赤色、青色の加算信号Ｒ，Ｂと、緑色信号Ｇに基づいて同様の加算処理で生成された同相の緑色信号Ｇ′を用いて、色差信号Ｒ−Ｇ′，Ｂ−Ｇ′を生成する。色相信号生成部１２４は、色差信号Ｒ−Ｇ′，Ｂ−Ｇ′から線形補間によりカラーフィルタの赤色、青色に対応した画素位置の色差信号ｒ−Ｇ′、ｂ−Ｇ′を生成する。加算部１２５は、色差信号ｒ−Ｇ′、ｂ−Ｇ′と、緑色信号Ｇに基づいて生成されたカラーフィルタの赤色、青色に対応した画素位置の緑色信号ｇを用いて、カラーフィルタの赤色、青色に対応した画素位置の赤色信号ｒ、青色信号ｂを生成する。
【選択図】図４

Description

この発明は、撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置に関する。詳しくは、この発明は、カラーフィルタの赤色、青色に対応した画素の信号についてはライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を処理するものにあって、撮像素子から出力される赤色、青色の加算信号と、撮像素子から出力される緑色信号に基づいて同様の加算処理で生成された同相の緑色信号とを用いて生成された色差信号から線形補間によりカラーフィルタの赤色、青色に対応した画素位置の色差信号を生成し、このカラーフィルタの赤色、青色に対応した画素位置の色差信号と、撮像素子から出力される緑色信号に基づいて生成されたカラーフィルタの赤色、青色に対応した画素位置の緑色信号とから、当該カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を生成することにより、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を精度よく得ることができるようにした撮像信号処理回路等に係るものである。

従来、撮像装置として、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成される単板式のカラー撮像装置が知られている。図１８は、従来の撮像装置２００の構成例を示している。

この撮像装置２００は、撮像レンズ２０１と、撮像素子２０２と、Ａ／Ｄ変換器２０３と、補正系回路２０４と、色分離回路２０５と、ビデオ信号処理回路２０６とを有している。

撮像レンズ２０１は、撮像素子２０２の撮像面に被写体の光学像を結像する。撮像素子２０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等で構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。撮像素子２０２の二次元配置された複数の画素上にカラーフィルタ２０２ａが配置され、１画素あたり１色の信号値を得るようになされている。

このカラーフィルタ２０２ａは、例えば、図１９に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタである。すなわち、カラーフィルタ２０２ａは、例えば、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、緑色が市松状（市松模様状）となるように垂直方向に交互に配列してなるものである。なお、図１９において、Ｈは水平方向を表し、Ｖは垂直方向を表している。

Ａ／Ｄ変換器２０３は、撮像素子２０２の各画素の出力信号をアナログ信号からデジタル信号に変換して、赤、緑、青の色データＲ，Ｇ，Ｂを出力する。補正系回路２０４は、Ａ／Ｄ変換器２０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正を行う。

色分離回路２０５は、補正系回路２０４から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ，Ｇ，Ｂから、補間処理により、撮像素子２０２の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂを得る。ビデオ信号処理回路２０６は、色分離回路２０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対してガンマ補正、高域強調等を行った後、輝度信号Ｙ、赤色差信号Ｃｒ（Ｒ−Ｙ）および青色差信号Ｃｂ（Ｂ−Ｙ）を生成して出力する。

図１８に示す撮像装置２００の動作を説明する。被写体の像光は撮像レンズ２０１を通じて撮像素子２０２の撮像面に入射され、当該撮像面に被写体の光学像が結像される。撮像素子２０２では、このように撮像面に被写体の光学像が結像された状態で撮像処理が行われて、被写体に対応した値を持つ各画素の出力信号（赤色信号、緑色信号または青色信号）が得られる。撮像素子２０２から出力される各画素の出力信号は、Ａ／Ｄ変換器２０３でアナログ信号からデジタル信号に変換された後、補正系回路２０４に供給される。

補正系回路２０４では、Ａ／Ｄ変換器２０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正が行われる。この補正系回路２０４で補正された後の色データＲ，Ｇ，Ｂは、色分離回路２０５に供給される。この色分離回路２０５では、補正系回路２０４から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ，Ｇ，Ｂから、補間処理により、撮像素子２０２の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂが得られる。

この色分離回路２０５で得られた空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂはビデオ信号処理回路２０６に供給される。このビデオ信号処理回路２０６では、色分離回路２０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対して、ガンマ補正、高域強調等が行われ、さらに、補正後の赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂが生成されて出力される。

特許文献１、特許文献２および特許文献３には、撮像面上に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタが配置された撮像素子から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データから、撮像素子の各画素位置に対応した空間的に同位相の赤、緑、青の色データを得る技術が記載されている。

ところで、撮像素子の出力系統を減らすことができれば、簡単に言うと、１枚の画像を少ない信号情報で復元することができれば、当該撮像素子から後段の信号処理部への転送速度を上げることができ、高速撮像を行うことが可能となる。

図２０に示すように、出力系統を減らし、各画素を４５度だけ傾けて配置することで、各画素の受光面積を拡大して１画素当たりの感度を上げるようにした撮像素子が提案されている。この撮像素子の撮像面に配置されるカラーフィルタは、図２０に示すように、緑色（Ｇ）と赤色（Ｒ）を交互に配列した第１のラインと、緑色（Ｇ）と青色（Ｂ）を交互に配列した第２のラインを、１８０度だけ位相をずらして緑色を配列した第３のラインを介して垂直方向に交互に配列してなるものである。

しかし、撮像素子からの出力系統を単に減らすものにあっては、撮像素子から取得される画像情報が減少することから、復元される画像の画質は低下する。そこで従来、図１９に示すように、撮像面上に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタが配置された撮像素子において、図２１に示すように、カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２個毎に加算して出力することが提案されている。

この撮像素子の出力信号である変則ベイヤー配列の出力信号は、図２２に示すように、カラーフィルタの緑色に対応した画素位置の緑色信号Ｇと、カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号の代わりに、カラーフィルタのライン方向の２個おきの緑色に対応した画素位置の赤色信号Ｒおよび青色信号Ｂとから構成される。この場合、図２１に破線枠で示すように、８個の信号中、赤色信号と青色信号については加算されているので、出力系統はベイヤー配列の出力信号の３／４となっている。

図２３は、撮像素子から上述した変則ベイヤー配列の出力信号が得られる場合における色分離回路２０５Ａの構成例を示している。この分離回路２０５Ａは、ベイヤー配列変換部２１１および補間部２１２により構成されている。

ベイヤー配列変換部２１１は、Ｒ，Ｂ信号値生成部２２１を有している。このＲ，Ｂ信号値生成部２２１は、変則ベイヤー配列の出力信号のうち、赤色信号、青色信号を用いた補間処理を行って、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を生成して出力する。また、ベイヤー配列変換部２１１は、変則ベイヤー配列の出力信号のうち、緑色信号をそのまま出力する。これにより、ベイヤー配列変換部２１１においては、図２４（ａ）に示す変則ベイヤー配列の出力信号が、図２４（ｂ）に示すベイヤー配列の出力信号に変換される。

また、補間部２１２は、図１８に示す撮像装置２００における色分離部２０５と同様に、ベイヤー配列変換部２１１から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ，Ｇ，Ｂから、補間処理により、撮像素子の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂを生成して出力する。
特開２００５−２１７４７８号公報 特開２００６−１７４４８５号公報 特開２００２−０２７４８７号公報

図２３に示すようなベイヤー配列変換部２１１により、変則ベイヤー配列の出力信号をベイヤー配列の出力信号に変換する場合には、撮像素子内の加算処理によって、赤色信号、青色信号を間引いたことに起因する緑色信号と赤色信号、青色信号との周波数の差により、色分離後に、特に画像の急激なエッジ等の高周波領域に、広範囲にわたる偽色が発生するという問題があった。この偽色は、例えば、図２５に示すような、急激なエッジを有する白黒パターンを撮影することで確認できる。

この発明の目的は、カラーフィルタの赤色、青色に対応した画素の信号についてはライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を処理するものにあって、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を精度よく得ることを目的とする。

この発明の概念は、
二次元配置された複数の画素上に、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むカラーフィルタが配置され、上記カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、上記カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を入力する信号入力部と、
上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号に基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号を生成する第１の緑色信号生成部と、
上記第１の緑色信号生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号を生成する第２の緑色信号生成部と、
上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と上記第２の緑色信号生成部で生成された緑色信号とに基づいて、色相信号を生成する第１の色相信号生成部と、
上記第１の色相信号生成部で生成された色相信号に基づいて、線形補間により、上記カラーフィルタの赤色および青色に対応した画素位置の色相信号を生成する第２の色相信号生成部と、
上記第２の色相信号生成部で生成された色相信号と、上記第１の緑色信号生成部で生成された緑色信号とに基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を生成する赤色／青色信号値生成部と、
上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号を出力すると共に、上記赤色／青色信号値生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する信号出力部と
を備えることを特徴とする撮像信号処理回路にある。

この発明においては、二次元配置された複数の画素上にカラーフィルタが配置された撮像素子の出力信号が信号入力部に入力される。ここで、カラーフィルタは、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むものである。

例えば、カラーフィルタは、第１のラインと第２のラインを、緑色が市松状となるように垂直方向に交互に配列してなるカラーフィルタ、すなわち、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタである。また、例えば、カラーフィルタは、第１のラインと第２のラインを、１８０度だけ位相をずらして緑色を配列した第３のラインを介して垂直方向に交互に配列してなるカラーフィルタである。

撮像素子からは、カラーフィルタの緑色に対応した画素の信号については個別に出力されると共に、カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算（加算平均）されて出力される。このように、カラーフィルタの赤色および青色に対応した画素の信号について加算処理後の信号を出力する構成とすることで、撮像素子の出力系統が削減されている。

第１の緑色信号生成部では、信号入力部に入力された上述の撮像素子の出力信号のうち、カラーフィルタの緑色に対応した画素の信号に基づいて、カラーフィルタの赤色および青色に対応した画素位置の緑色信号が生成される。そして、第２の緑色信号生成部では、この第１の緑色信号生成部で生成されたカラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、信号入力部に入力された上述の撮像素子の出力信号のうち、カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号が生成される。

このように第２の緑色信号生成部で生成される緑色信号は、カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同様に、カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して得られたものであり、カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同様の周波数を持つものとなる。つまり、第２の緑色信号生成部で生成される緑色信号は、加算処理により、カラーフィルタの緑色に対応した画素の信号に比べて、周波数が低下したものとなる。

第１の色相信号生成部では、信号入力部に入力された上述の撮像素子の出力信号のうち、カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と、上述の第２の緑色信号生成部で生成された緑色信号とに基づいて、色相信号が生成される。

ここで、色相信号は、例えば、色差信号である。すなわち、カラーフィルタの赤色および青色に対応した画素の信号をＲ，Ｂとし、第２の緑色信号生成部で生成された緑色信号をＧ′とするとき、Ｒ−Ｇ′，Ｂ−Ｇ′が生成される。なお、色相信号は、色差信号に限定されものではなく、Ｒ／Ｇ′，Ｂ／Ｇ′のような信号、さらには回帰分析で求めた回帰式（赤色の色相信号に関してはＧ′，Ｒを含み、青色の色相信号に関してはＧ′，Ｂを含む）で表される信号であってもよい。

第２の色相信号生成部では、上述の第１の色相信号生成部で生成された色相信号に基づいて、線形補間により、カラーフィルタの赤色および青色に対応した画素位置の色相信号が生成される。色相信号は赤、青の色加減を表す信号であって周波数的には低く、輝度信号のように急激に変化しない。そのため、上述したように、線形補間によりカラーフィルタの赤色および青色に対応した画素位置の色相信号を良好に得ることができる。

赤色／青色信号値生成部では、上述の第２の色相信号生成部で生成された色相信号と、上述の第１の緑色信号生成部で生成された緑色信号とに基づいて、カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号が生成される。この場合、色相信号が色差信号であるときは、色相信号に緑色信号が加算されることで、赤色信号、青色信号が得られる。上述したように色相信号の周波数は低いが、この色相信号と共に使用される緑色信号の周波数が高ければ、生成される赤色信号および青色信号は周波数は高いものとなる。

信号出力部では、信号入力部に入力された上述の撮像素子の出力信号のうち、カラーフィルタの緑色に対応した画素の信号が出力されると共に、上述の赤色／青色信号値生成部で生成されたカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号が出力される。

このように、この発明においては、カラーフィルタの赤色、青色に対応した画素の信号についてはライン方向の２Ｎ個毎に加算して出力する撮像素子の出力信号を処理するものにあって、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を精度よく得ることができる。

この発明によれば、カラーフィルタの赤色、青色に対応した画素の信号についてはライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を処理するものにあって、撮像素子から出力される赤色、青色の加算信号と、撮像素子から出力される緑色信号に基づいて同様の加算処理で生成された同相の緑色信号とを用いて生成された色差信号からカラーフィルタの赤色、青色に対応した画素位置の色差信号を生成し、このカラーフィルタの赤色、青色に対応した画素位置の色差信号と、撮像素子から出力される緑色信号に基づいて生成されたカラーフィルタの赤色、青色に対応した画素位置の緑色信号とから、当該カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を生成するものであり、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を精度よく得ることができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成例を示している。この撮像装置１００は、単板式のカラー撮像装置である。

この撮像装置１００は、撮像レンズ１０１と、撮像素子１０２と、Ａ／Ｄ変換器１０３と、補正系回路１０４と、色分離回路１０５と、ビデオ信号処理回路１０６とを有している。

撮像レンズ１０１は、撮像素子１０２の撮像面に被写体の光学像を結像する。撮像素子１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等で構成されており、二次元配置された複数の光電変換素子からなっている。各光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。撮像素子１０２の二次元配置された複数の画素上にカラーフィルタ１０２ａが配置され、１画素あたり１色の信号値を得るようになされている。

このカラーフィルタ１０２ａは、例えば、図２(ａ)に示すように、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタである。すなわち、カラーフィルタ１０２ａは、例えば、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、緑色が市松状（市松模様状）となるように垂直方向に交互に配列してなるものである。なお、図２(ａ)において、Ｈは水平方向を表し、Ｖは垂直方向を表している。

この撮像素子１０２は、図２（ｂ）に示すように、カラーフィルタ１０２ａの緑色に対応した画素の信号については個別に出力すると共に、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２個毎に加算して出力する。すなわち、撮像素子１０２の出力信号は、変則ベイヤー配列の出力信号となる。この場合、図２（ｂ）に破線枠で示すように、８個の信号中、赤色信号Ｒと青色信号Ｂについては加算されているので、出力系統はベイヤー配列の出力信号の３／４となる。

この変則ベイヤー配列の出力信号は、図３（ａ）に示すように、カラーフィルタ１０２ａの緑色に対応した画素位置の緑色信号Ｇと、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号および青色信号の代わりに、カラーフィルタのライン方向の２個おきの緑色に対応した画素位置の赤色信号Ｒおよび青色信号Ｂとから構成される。

Ａ／Ｄ変換器１０３は、撮像素子１０２の各画素の出力信号をアナログ信号からデジタル信号に変換して、赤、緑、青の色データＲ，Ｇ，Ｂを出力する。補正系回路１０４は、Ａ／Ｄ変換器１０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正を行う。

色分離回路１０５は、補正系回路１０４から出力される赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、撮像素子１０２の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂを得る。ビデオ信号処理回路１０６は、色分離回路１０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対してガンマ補正、高域強調等を行った後、輝度信号Ｙ、赤色差信号Ｃｒ（Ｒ−Ｙ）および青色差信号Ｃｂ（Ｂ−Ｙ）を生成して出力する。

図１に示す撮像装置１００の動作を説明する。被写体の像光は撮像レンズ１０１を通じて撮像素子１０２の撮像面に入射され、当該撮像面に被写体の光学像が結像される。撮像素子１０２では、このように撮像面に被写体の光学像が結像された状態で撮像処理が行われて、被写体に対応した値を持つ各画素の出力信号（赤色信号、緑色信号または青色信号）が得られる。撮像素子１０２から出力される各画素の出力信号は、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後、補正系回路１０４に供給される。

補正系回路１０４では、Ａ／Ｄ変換器１０３から出力される色データＲ，Ｇ，Ｂに対して、シェーディング補正等の光学系補正、および欠陥補正等のイメージャ補正が行われる。この補正系回路１０４で補正された後の色データＲ，Ｇ，Ｂは、色分離回路１０５に供給される。この色分離回路１０５では、補正系回路１０４から出力される赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、撮像素子１０２の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂが得られる。

この色分離回路１０５で得られた空間的に同位相の赤、緑、青の色データＲ，Ｇ，Ｂはビデオ信号処理回路１０６に供給される。このビデオ信号処理回路１０６では、色分離回路１０５で得られた赤、緑、青の色データＲ，Ｇ，Ｂに対して、ガンマ補正、高域強調等が行われ、さらに、補正後の赤、緑、青の色データＲ，Ｇ，Ｂに基づいて、輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂが生成されて出力される。

次に、色分離回路１０５について説明する。この色分離回路１０５は、ベイヤー配列変換部１１１および補間部１１２により構成されている。ベイヤー配列変換部１１１は、入力される変則ベイヤー配列の出力信号（図３（ａ）参照）を、ベイヤー配列の出力信号（図３（ｂ）参照）に変換する。なお、図３（ｂ）において、ｒはカラーフィルタ１０２ａの赤色の画素位置に対応して生成された赤色信号を示し、ｂはカラーフィルタ１０２ａの青色の画素位置に対応して生成された青色信号を示している。

また、補間部１１２は、ベイヤー配列変換部１１１から出力されるそれぞれ空間的に位相がずれた赤、緑、青の色データＲ（ｒ），Ｇ，Ｂ（ｂ）から、補間処理により、撮像素子の各画素位置に対応した赤、緑、青の色データＲ，Ｇ，Ｂを生成して出力する。

次に、図４を参照して、ベイヤー配列変換部１１１の詳細な構成例について説明する。ベイヤー配列変換部１１１は、信号入力部１２１と、Ｇ信号値生成部１２２と、色相信号生成部１２３，１２４と、加算部１２５と、信号出力部１２６とを有している。

信号入力部１２５は、補正系回路１０４からの上述した変則ベイヤー配列の出力信号（図５（ａ））を入力する。Ｇ信号値生成部１２２は、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号Ｇ（図５（ｂ））に基づいて、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇ（図５（ｃ））を生成する。この意味で、Ｇ信号値生成部１２２は、第１の緑色信号生成部を構成している。

ここで、緑色信号ｇを求める方法について説明する。ここでは、図８に示すように、緑色信号ｇ33を求める場合を例にとって説明する。例えば、緑色信号ｇ33を、単純に、ｇ33＝（Ｇ23+Ｇ32+Ｇ34+Ｇ43）／４の式で求めることができる（スタティック補間）。また、例えば、緑色信号ｇ33を、相関の強い方向を緑色信号Ｇの変化量（傾き）等によって求め、Ｇ23，Ｇ32，Ｇ34，Ｇ43のうちのいずれかとするか、あるいは、Ｇ23，Ｇ32，Ｇ34，Ｇ43のいくつかを選択して平均化（重み付け平均等）して求めることができる（アダプティブ補間）。

例えば、縦方向の傾きをＫv、横方向の傾きをＫh、縦方向の補間値をＬpv、横方向の補間値をＬphとして、緑色信号ｇ33を、以下の（１）式で求めることができる（アルファブレンド）。この（１）式で、α＝Ｋv／（Ｋv＋Ｋh）である。ここでは、傾きＫv，Ｋhを用いているが、傾きが大きなものほど相関が弱いということを利用している。
ｇ33＝αＬph＋（１−α）Ｌpv ・・・（１）

Ｌph，Ｌpv，Ｋh，Ｋvは、それぞれ、（２）式、（３）式、（４）式、（５）式で求められる。
Ｌph＝（Ｇ32＋Ｇ34）／２ ・・・（２）
Ｌpv＝（Ｇ23＋Ｇ43）／２ ・・・（３）
Ｋh＝｜Ｇ32−Ｇ34｜ ・・・（４）
Ｋv＝｜Ｇ23−Ｇ43｜ ・・・（５）

（１）式では、４個の緑色信号Ｇ23，Ｇ32，Ｇ34，Ｇ43を用いて、緑色信号ｇ33を求めるものを示したが、さらに多くの緑色信号を用いて、緑色信号ｇ33を生成してもよい。例えば、横方向の傾きＫｈを、｜Ｇ32−Ｇ34｜だけでなく、さらに｜Ｇ21−Ｇ23｜、｜Ｇ25−Ｇ23｜、｜Ｇ41−Ｇ43｜、｜Ｇ45−Ｇ43｜をも含めて平均値を取ることで得るようにしてもよい。

なお、緑色信号ｇ33を求める方法は、上述したスタティック補間、アダプティブ補間、アルファブレンドに限定されるものではなく、その他の方法であってもよい。また、緑色信号ｇ33をスタティック補間、アダプティブ補間、アルファブレンド等のいずれかで求めるのではなく、それらを適宜組み合わせて求めるようにしてもよい。

また、Ｇ信号値生成部１２２は、上述したように生成した、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇ（図５（ｃ））をライン方向の２個毎に加算して、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号と同位相の緑色信号Ｇ′（図６（ｄ））を生成する。この意味で、Ｇ信号値生成部１２２は、第２の緑色信号生成部を構成している。

このようにＧ信号値生成部１２２で生成される緑色信号Ｇ′は、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号（図５(ａ)のＲ，Ｂ）と同様に、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇをライン方向の２個毎に加算して得られたものであり、当該カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号と同一の周波数を持つものとなる。つまり、Ｇ信号値生成部１２２で生成される緑色信号Ｇ′は、加算処理により、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号Ｇに比べて、周波数が低下したものとなる。

色相信号生成部１２３は、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号（図５(ａ)のＲ，Ｂ）と、上述のＧ信号値生成部１２２で生成された緑色信号Ｇ′（図６（ｄ））とに基づいて、色相信号としての色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））を生成する。この意味で、色相信号生成部１２３は、第１の色相信号生成部を構成している。

色相信号生成部１２４は、上述の色相信号生成部１２３で生成された色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））に基づいて、線形補間により、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））を生成する。この意味で、色相信号生成部１２４は、第２の色相信号生成部を構成している。

ここで、色差信号Ｒ−Ｇ′，Ｂ−Ｇ′は、赤、青の色加減を表す信号であって周波数的には低く、輝度信号のように急激に変化しない。そのため、上述したように、線形補間によりカラーフィルタ１０２ａの赤色および青色に対応した画素位置の色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））を良好に得ることができる。

加算部１２５は、上述の色相信号生成部１２４で生成された色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））と、上述のＧ信号値生成部１２２で生成された緑色信号ｇ（図５（ｃ））とに基づいて、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号ｒおよび青色信号ｂ（図７（ｇ））を生成する。この意味で、加算部１２５は、赤色／青色信号値生成部を構成している。

この場合、色差信号ｒ−Ｇ′、ｂ−Ｇ′に緑色信号ｇが加算されることで、赤色信号ｒ、青色信号ｂが得られる。上述したように色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））の周波数は低いが、この色差信号ｒ−Ｇ′、ｂ−Ｇ′と共に使用される緑色信号ｇの周波数が高ければ、生成される赤色信号ｒおよび青色信号ｂは周波数が高いものとなる。

信号出力部１２６は、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号、つまり緑色信号Ｇをそのまま出力すると共に、上述の加算部１２５で生成されたカラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号ｒおよび青色信号ｂを出力する。すなわち、信号出力部１２６は、ベイヤー配列の出力信号（図７（ｈ））を出力する。

図４に示すベイヤー配列変換部１１１の動作を説明する。補正系回路１０４からの変則ベイヤー配列の出力信号（図５（ａ））は信号入力部１２１に入力される。信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号Ｇ（図５（ｂ））は、Ｇ信号値生成部１２２に供給される。

このＧ信号値生成部１２２では、カラーフィルタ１０２ａの緑色に対応した画素の信号に基づいて、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇ（図５（ｃ））が生成される。このＧ信号値生成部１２２では、さらに、緑色信号ｇ（図５（ｃ））がライン方向の２個毎に加算され、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号と同位相の緑色信号Ｇ′（図６（ｄ））が生成される。

Ｇ信号値生成部１２２で生成された緑色信号Ｇ′（図６（ｄ））は、色相信号生成部１２３に供給される。また、この色相信号生成部１２３には、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号Ｒ，Ｂ（図５(ａ)）が供給される。

この色相信号生成部１２３では、信号Ｒ，Ｂから緑色信号Ｇ′が減算されて、色相信号としての色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））が生成される。この色差信号Ｒ−Ｇ′，Ｂ−Ｇ′は色相信号生成部１２４に供給される。そし、この色相信号生成部１２４では、色差信号Ｒ−Ｇ′，Ｂ−Ｇ′を用いて、線形補間により、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））が生成される。

この色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））は加算部１２５に供給される。また、この加算部１２５には、Ｇ信号値生成部１２２で生成された緑色信号ｇ（図５（ｃ））が供給される。そして、この加算部１２５では、色差信号ｒ−Ｇ′、ｂ−Ｇ′に緑色信号ｇが加算され、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号ｒおよび青色信号ｂ（図７（ｇ））が生成される。

そして、加算部１２５で生成された赤色信号ｒおよび青色信号ｂ（図７（ｇ））と、信号入力部１２１に入力された変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号Ｇ（図５（ｂ））が、信号出力部１２６から出力される。すなわち、信号出力部１２６から、ベイヤー配列の出力信号（図７（ｈ））が出力される。

上述した図１に示す撮像装置１００の色分離回路１０５を構成するベイヤー配列変換部１１１では、変則ベイヤー配列の出力信号内の赤色、青色の加算信号（図５（ａ）のＲ，Ｂ）と、変則ベイヤー配列の出力信号内の緑色信号に基づいて同様の加算処理で生成された同相の緑色信号Ｇ′（図６(ｄ)）とを用いて生成された色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））から、線形補間により、カラーフィルタ１０２ａの赤色、青色に対応した画素位置の色差信号ｒ−Ｇ′，ｂ−Ｇ′（図６（ｆ））が生成され、このカラーフィルタの赤色、青色に対応した画素位置の色差信号ｒ−Ｇ′，ｂ−Ｇ′（図６（ｆ））と変則ベイヤー配列の出力信号内の緑色信号Ｇ（図５（ｂ））に基づいて生成されたカラーフィルタ１０２ａの赤色、青色に対応した画素位置の緑色信号ｇ（図５（ｃ））とから、当該カラーフィルタ１０２ａの赤色、青色に対応した画素位置の赤色信号ｒ、青色信号ｂ（図７（ｇ））が生成されるため、カラーフィルタ１０２ａの赤色、青色に対応した画素位置の赤色信号ｒ、青色信号ｂを精度よく得ることができる。

すなわち、色相信号生成部１２３で色差信号Ｒ−Ｇ′，Ｂ−Ｇ′を生成するためにＧ信号値生成部１２２で生成される緑色信号Ｇ′は、変則ベイヤー配列の出力信号内の赤色、青色の加算信号Ｒ，Ｂと同様の加算処理で生成され、同様の周波数（水平周波数、垂直周波数）を持つようにされているため、偽色の発生を防止できる。

また、色相信号生成部１２４では、色相信号生成部１２３で生成された色差信号Ｒ−Ｇ′，Ｂ−Ｇ′に基づいて、線形補間により、カラーフィルタ１０２ａの赤色、青色に対応した画素位置の色差信号ｒ−Ｇ′，ｂ−Ｇ′が生成されるが、色差信号Ｒ−Ｇ′，Ｂ−Ｇ′は赤、青の色加減を表す信号であって周波数的には低く、輝度信号のように急激に変化しないため、当該色差信号ｒ−Ｇ′，ｂ−Ｇ′を良好に得ることができる。

また、加算部１２５では、色相信号生成部１２４で生成された色差信号ｒ−Ｇ′，ｂ−Ｇ′に、Ｇ信号値生成部１２２で生成された緑色信号ｇが加算されて、カラーフィルタ１０２ａの赤色、青色に対応した画素位置の赤色信号ｒ、青色信号ｂが生成されるため、色差信号ｒ−Ｇ′，ｂ−Ｇ′の周波数が低くても、緑色信号ｇの周波数が高ければ、赤色信号ｒおよび青色信号ｂの周波数を高くできる。

ここで、図４に示すベイヤー配列変換部１１１を用いた場合に赤色信号ｒ、青色信号ｂを精度よく得ることができることを、図２３に示す従来のベイヤー配列変換部２１１を用いた場合と比較して説明する。

ここでは、図９（ａ）に示すグラジュエーションがかかった白黒の被写体に対応して、図９（ｂ）に示すような位相関係で、変則ベイヤー配列の赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）の信号が出力される場合を例にとって説明する。この場合、各色の信号値レベルは、図９（ｃ）に示すようになる。

図２３に示す従来のベイヤー配列変換部２１１を用いた場合、カラーフィルタ２０２ａ（図１９参照）の赤色の画素に対応した画素位置の赤色信号ｒは、Ｒ信号を用いた線形補間により生成される。そのため、この赤色信号ｒは、図１０に示すような信号値レベルで生成され、求めたい信号値レベル（加算前のＲ信号の信号値レベル）とは、大きく異なったものとなる。

これに対して、図４に示すベイヤー配列変換部１１１を用いた場合、Ｇ信号値生成部１２２では、Ｇ信号を用いて、カラーフィルタ１０２ａ（図２（ａ）参照）の赤色に対応した画素位置のｇ信号（緑色信号ｇ）が生成される。このｇ信号は、図１１に示すような信号値レベルで生成される。また、Ｇ信号値生成部１２２では、ｇ信号がライン方向の２個毎に加算（加算平均）されてＧ′信号（緑色信号Ｇ′）が生成される。このＧ′信号は、図１２に示すような信号値レベルで生成される。

また、図４に示すベイヤー配列変換部１１１を用いた場合、色相信号生成部１２３では、Ｒ信号とＧ′信号との差分が取られて色差信号Ｒ−Ｇ′が生成され、さらに、色相信号生成部１２４では、色差信号Ｒ−Ｇ′を用いて線形補間が行われ、推定すべき位置、つまりカラーフィルタ１０２ａの赤色に対応した画素位置の色差信号ｒ−Ｇ′が生成される。色差信号Ｒ−Ｇ′および色差信号ｒ−Ｇ′は、例えば、図１３（ｂ）に示すような信号値レベルで生成される。

そして、図４に示すベイヤー配列変換部１１１を用いた場合、加算部１２５では、色差信号ｒ−Ｇ′にｇ信号（図１３（ａ）参照）が足し込まれ、推定すべき位置、つまりカラーフィルタ１０２ａの赤色に対応した画素位置の赤色信号ｒが生成される。この場合、赤色信号ｒは、求めたい信号値レベル（加算前のＲ信号（図９（ｃ）参照）の信号値レベル）に近いものとなり、赤色信号ｒを精度よく得ることができる。

なお、図４に示すベイヤー配列変換部１１１は、ハードウェアでベイヤー配列変換処理を行うものを示したが、同様の処理をソフトウェアで行うこともできる。図１４は、ソフトウェアで処理を行うコンピュータ装置１００Ａの構成例を示している。このコンピュータ装置１００Ａは、ＣＰＵ(Central Processing Unit)１８１、ＲＯＭ(Read OnlyMemory)１８２、ＲＡＭ(Random Access Memory)１８３、データ入出力部（データＩ／Ｏ）１８４および画像メモリ１８５により構成されている。

ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラムが格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、ベイヤー配列変換処理を実行する。

この処理プログラムは、コンピュータ装置１００Ａに、図４に示すベイヤー配列変換部１１１のＧ信号入力部１２１、Ｇ信号値生成部１２２、色相信号生成部１２３，１２４、加算部１２５および信号出力部１２６と同様の機能を持たせるためのプログラムである。

このコンピュータ装置１００Ａにおいては、変則ベイヤー配列の出力信号（図５（ａ））は、データＩ／Ｏ１８４を介して入力され、画像メモリ１８５に蓄積される。この画像メモリ１８５に蓄積された変則ベイヤー配列の出力信号に対して、ＣＰＵ１８１により、ベイヤー配列変換処理が実行される。そして、処理後に得られるベイヤー配列の出力信号（図７（ｈ））は、画像メモリ１８５からデータＩ／Ｏ１８４を介して外部に出力される。

図１５のフローチャートは、ＣＰＵ１８１によるベイヤー配列変換の処理手順を示している。なお、このフローチャートは、例えば、１画面の画像データの処理に対応しており、当該処理が各画面の画像データに対して順次行われる。

ＣＰＵ１８１は、まず、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ１８１は、データ入出力部１８４を通じて変則ベイヤー配列の出力信号（図５（ａ））を入力し、画像メモリ１８５に蓄積する。

次に、ＣＰＵ１８１は、ステップＳＴ３において、画像メモリ１８５に蓄積されている変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａ（図２（ａ）参照）の緑色に対応した画素の信号Ｇ（図５（ｂ））に基づいて、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇ（図５（ｃ））を生成する。

次に、ＣＰＵ１８１は、ステップＳＴ４において、ステップＳＴ３で生成した、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の緑色信号ｇ（図５（ｃ））をライン方向の２個毎に加算して、画像メモリ１８５に蓄積されている変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号（図５（ａ）のＲ，Ｂ）と同位相の緑色信号Ｇ′（図６（ｄ））を生成する。

次に、ＣＰＵ１８１は、ステップＳＴ５において、画像メモリ１８５に蓄積されている変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号をそれぞれライン方向の２個毎に加算して得られた信号（図５（ａ）のＲ，Ｂ）と、ステップＳＴ４で生成した緑色信号Ｇ′（図６（ｄ））とに基づいて、色相信号としての色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））を生成する。

次に、ＣＰＵ１８１は、ステップＳＴ６において、ステップＳＴ５で生成した色差信号Ｒ−Ｇ′，Ｂ−Ｇ′（図６（ｅ））に基づいて、線形補間により、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））を生成する。

次に、ＣＰＵ１８１は、ステップＳＴ７において、ステップＳＴ６で生成した色差信号ｒ−Ｇ′、ｂ−Ｇ′（図６（ｆ））と、上述のステップＳＴ３で生成した緑色信号ｇ（図５（ｃ））とに基づいて、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号ｒおよび青色信号ｂ（図７（ｇ））を生成する。ＣＰＵ１８１は、このように生成した赤色信号ｒおよび青色信号ｂを、ベイヤー配列の出力信号として出力するために、画像メモリ１８５に蓄積しておく。

次に、ＣＰＵ１８１は、ステップＳＴ８において、画像メモリ１８５に蓄積されている変則ベイヤー配列の出力信号のうち、カラーフィルタ１０２ａの緑色に対応した画素の信号、つまり緑色信号Ｇを出力すると共に、上述のステップＳＴ７で生成し、画像メモリ１８５に蓄積した、カラーフィルタ１０２ａの赤色および青色に対応した画素位置の赤色信号ｒおよび青色信号ｂ、つまり、ベイヤー配列の出力信号（図７（ｈ））を、データ入出力部１８４を通じて出力する。

そして、ＣＰＵ１８１は、ステップＳＴ８の処理の後、ステップＳＴ９において、ベイヤー配列変換処理を終了する。

また、上述の実施の形態において、撮像素子１０２は、図２（ｂ）に示すように、カラーフィルタ１０２ａの緑色に対応した画素の信号については個別に出力すると共に、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２個毎に加算して出力するものを示した。しかし、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力するものであっても、同様のベイヤー配列変換処理によりベイヤー配列の出力信号を得ることができる。

図１６は、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号についてはそれぞれライン方向の４個毎（Ｎ＝２）に加算して出力する例を示している。図１７は、その場合において、撮像素子から出力される変則ベイヤー配列の出力信号を示している。この場合、図１６に破線枠で示すように、１６個の信号中、赤色信号Ｒと青色信号Ｂについては加算されているので、出力系統はベイヤー配列の出力信号の５／８となる。

また、上述実施の形態において、ベイヤー配列変換部１１１の色相信号生成部１２３では色相信号として色差信号が生成されるものを示した。しかし、色相信号は色差信号に限定されるものではなく、例えば、Ｒ／Ｇ′，Ｂ／Ｇ′のような信号、さらには回帰分析で求めた回帰式（赤色の色相信号に関してはＧ′，Ｒを含み、青色の色相信号に関してはＧ′，Ｂを含む）で表される信号であってもよい。

また、上述実施の形態では、撮像面上に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタ１０２ａが配置され、カラーフィルタ１０２ａの緑色に対応した画素の信号については個別に出力すると共に、カラーフィルタ１０２ａの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２個毎に加算して出力する撮像素子１０２の出力信号（変則ベイヤー配列の出力信号）を処理するものであった。

しかし、この発明は、カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を処理し、カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を得る場合に、同様に適用できる。

例えば、上述の図２０に示すように、各画素が４５度だけ傾けて配置され、撮像面上に、緑色（Ｇ）と赤色（Ｒ）を交互に配列した第１のラインと、緑色（Ｇ）と青色（Ｂ）を交互に配列した第２のラインを、１８０度だけ位相をずらして緑色を配列した第３のラインを介して垂直方向に交互に配列したカラーフィルタが配置される撮像素子にあっても、カラーフィルタの赤色および青色に対応した画素の信号についてそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する場合には、この発明を同様に適用でき、撮像素子の出力信号を処理して、カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができる。

この発明は、カラーフィルタの赤色、青色に対応した画素位置の赤色信号、青色信号を良好に得ることができるものであり、カラーフィルタの赤色、青色に対応した画素の信号についてはライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力し、出力系統を減らした撮像素子を備える撮像装置等に適用できる。

実施の形態としての撮像装置の構成例を示すブロック図である。 赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタ、およびカラーフィルタの赤色および青色に対応した画素の信号についての加算処理を説明するための図である。 変則ベイヤー配列の出力信号およびベイヤー配列変換処理により得られるベイヤー配列の出力信号を示す図である。 変則ベイヤー配列の出力信号に対してベイヤー変換処理を行うベイヤー配列変換部の詳細な構成例を示すブロック図である。 ベイヤー配列変換部の各部における処理前、あるいは処理後の信号を示す図（１／３）である。 ベイヤー配列変換部の各部における処理前、あるいは処理後の信号を示す図（２／３）である。 ベイヤー配列変換部の各部における処理前、あるいは処理後の信号を示す図（３／３）である。 ベイヤー型のカラーフィルタの緑色に対応した画素の信号Ｇに基づいて当該カラーフィルタの赤色および青色に対応した画素位置の緑色信号ｇを生成する際の方法を説明するための図である。 実施の形態におけるベイヤー配列変換処理により、ベイヤー型のカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができることを説明するための図（１／５）である。 実施の形態におけるベイヤー配列変換処理により、ベイヤー型のカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができることを説明するための図（２／５）である。 実施の形態におけるベイヤー配列変換処理により、ベイヤー型のカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができることを説明するための図（３／５）である。 実施の形態におけるベイヤー配列変換処理により、ベイヤー型のカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができることを説明するための図（４／５）である。 実施の形態におけるベイヤー配列変換処理により、ベイヤー型のカラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を精度よく得ることができることを説明するための図（５／５）である。 ソフトウェアでベイヤー配列変換の処理を行うコンピュータ装置の構成例を示すブロック図である。 コンピュータ装置を構成するＣＰＵによるベイヤー配列変換の処理手順を示すフローチャートである。 ベイヤー型のカラーフィルタの赤色および青色に対応した画素の信号についてそれぞれライン方向の４個毎（Ｎは２）に加算して出力する例を示す図である。 赤色および青色に対応した画素の信号についてそれぞれライン方向の４個毎に加算して出力する場合における、撮像素子から出力される変則ベイヤー配列の出力信号を示す図である。 従来の撮像装置の構成例を示すブロック図である。 赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）がベイヤー型に配列されたカラーフィルタを説明するための図である。 出力系統を減らし、各画素を４５度だけ傾けて配置することで、各画素の受光面積を拡大して１画素当たりの感度を上げるようにした撮像素子を説明するための図である。 ベイヤー型に配列されたカラーフィルタの赤色および青色に対応した画素の信号についての加算処理を説明するための図である。 変則ベイヤー配列の出力信号を説明するための図である。 撮像素子から変則ベイヤー配列の出力信号が得られる場合における色分離回路の構成例を示すブロック図である。 変則ベイヤー配列の出力信号およびベイヤー配列変換処理により得られるベイヤー配列の出力信号を示す図である。 ベイヤー配列変換処理による偽色を確認するための、急激なエッジを有する白黒パターンを示す図である。

符号の説明

１００・・・撮像装置、１００Ａ・・・コンピュータ装置、１０１・・・撮像レンズ、１０２・・・撮像素子、１０２ａ・・・カラーフィルタ、１０３・・・Ａ／Ｄ変換器、１０４・・・補正系回路、１０５・・・色分離回路、１０６・・・ビデオ信号処理回路、１１１・・・ベイヤー配列変換部、１１２・・・補間部、１２１・・・信号入力部、１２２・・・Ｇ信号値生成部、１２３，１２４・・・色相信号生成部、１２５・・・加算部、１２６・・・信号出力部、１８１・・・ＣＰＵ

Claims (7)

1. 二次元配置された複数の画素上に、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むカラーフィルタが配置され、上記カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、上記カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を入力する信号入力部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号に基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号を生成する第１の緑色信号生成部と、
   上記第１の緑色信号生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号を生成する第２の緑色信号生成部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と上記第２の緑色信号生成部で生成された緑色信号とに基づいて、色相信号を生成する第１の色相信号生成部と、
   上記第１の色相信号生成部で生成された色相信号に基づいて、線形補間により、上記カラーフィルタの赤色および青色に対応した画素位置の色相信号を生成する第２の色相信号生成部と、
   上記第２の色相信号生成部で生成された色相信号と、上記第１の緑色信号生成部で生成された緑色信号とに基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を生成する赤色／青色信号値生成部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号を出力すると共に、上記赤色／青色信号値生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する信号出力部と
   を備えることを特徴とする撮像信号処理回路。
2. 上記第１の色相信号生成部で生成される色相信号は色差信号である
   ことを特徴とする請求項１に記載の撮像信号処理回路。
3. 上記カラーフィルタは、
   上記第１のラインと上記第２のラインを、緑色が市松状となるように垂直方向に交互に配列してなるカラーフィルタである
   ことを特徴とする請求項１に記載の撮像信号処理回路。
4. 上記カラーフィルタは、
   上記第１のラインと上記第２のラインを、１８０度だけ位相をずらして緑色を配列した第３のラインを介して垂直方向に交互に配列してなるカラーフィルタである
   ことを特徴とする請求項１に記載の撮像信号処理回路。
5. 二次元配置された複数の画素上に、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むカラーフィルタが配置され、上記カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、上記カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を入力する信号入力ステップと、
   上記信号入力ステップで入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号に基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号を生成する第１の緑色信号生成ステップと、
   上記第１の緑色信号生成ステップで生成された上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、上記信号入力ステップで入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号を生成する第２の緑色信号生成ステップと、
   上記信号入力ステップで入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と上記第２の緑色信号生成ステップで生成された緑色信号とに基づいて、色相信号を生成する第１の色相信号生成ステップと、
   上記第１の色相信号生成ステップで生成された色相信号に基づいて、線形補間により、上記カラーフィルタの赤色および青色に対応した画素位置の色相信号を生成する第２の色相信号生成ステップと、
   上記第２の色相信号生成ステップで生成された色相信号と、上記第１の緑色信号生成ステップで生成された緑色信号とに基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を生成する赤色／青色信号値生成ステップと、
   上記信号入力ステップで入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号を出力すると共に、上記赤色／青色信号値生成ステップで生成された上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する信号出力ステップと
   を備えることを特徴とする撮像信号処理方法。
6. コンピュータを、
   二次元配置された複数の画素上に、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むカラーフィルタが配置され、上記カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、上記カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子の出力信号を入力する信号入力手段と、
   上記信号入力手段で入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号に基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号を生成する第１の緑色信号生成手段と、
   上記第１の緑色信号生成手段で生成された上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、上記信号入力手段で入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号を生成する第２の緑色信号生成手段と、
   上記信号入力手段で入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と上記第２の緑色信号生成手段で生成された緑色信号とに基づいて、色相信号を生成する第１の色相信号生成手段と、
   上記第１の色相信号生成手段で生成された色相信号に基づいて、線形補間により、上記カラーフィルタの赤色および青色に対応した画素位置の色相信号を生成する第２の色相信号生成手段と、
   上記第２の色相信号生成手段で生成された色相信号と、上記第１の緑色信号生成手段で生成された緑色信号とに基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を生成する赤色／青色信号値生成手段と、
   上記信号入力手段で入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号を出力すると共に、上記赤色／青色信号値生成手段で生成された上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する信号出力手段と
   して機能させるためのプログラム。
7. 二次元配置された複数の画素上に、緑色と赤色を交互に配列した第１のラインと、緑色と青色を交互に配列した第２のラインを、垂直方向に交互に含むカラーフィルタが配置され、上記カラーフィルタの緑色に対応した画素の信号については個別に出力すると共に、上記カラーフィルタの赤色および青色に対応した画素の信号についてはそれぞれライン方向の２Ｎ個毎（Ｎは１以上の整数）に加算して出力する撮像素子と、
   上記撮像素子の出力信号を入力し、上記カラーフィルタの緑色の画素位置に対応した緑色信号を出力すると共に、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する撮像信号処理回路とを有し、
   上記撮像信号処理回路は、
   上記撮像素子の出力信号を入力する信号入力部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号に基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号を生成する第１の緑色信号生成部と、
   上記第１の緑色信号生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の緑色信号をライン方向の２Ｎ個毎に加算して、上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と同位相の緑色信号を生成する第２の緑色信号生成部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの赤色および青色に対応した画素の信号をそれぞれライン方向の２Ｎ個毎に加算して得られた信号と上記第２の緑色信号生成部で生成された緑色信号とに基づいて、色相信号を生成する第１の色相信号生成部と、
   上記第１の色相信号生成部で生成された色相信号に基づいて、線形補間により、上記カラーフィルタの赤色および青色に対応した画素位置の色相信号を生成する第２の色相信号生成部と、
   上記第２の色相信号生成部で生成された色相信号と、上記第１の緑色信号生成部で生成された緑色信号とに基づいて、上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を生成する赤色／青色信号値生成部と、
   上記信号入力部に入力された上記撮像素子の出力信号のうち、上記カラーフィルタの緑色に対応した画素の信号を出力すると共に、上記赤色／青色信号値生成部で生成された上記カラーフィルタの赤色および青色に対応した画素位置の赤色信号および青色信号を出力する信号出力部とを備える
   ことを特徴とする撮像装置。