JP2007329976A - 画像処理装置および画像処理方法、並びにカメラ - Google Patents

Abstract

【課題】相関検出による信号処理を行う場合には、Ｇによる相関を検出する際に、ｆｓ／２の空間周波数があると縦の相関が強いか横の相関が強いか判定できなくなり、画質劣化の要因となる。
【解決手段】原色ＲＧＢベイヤ配列のカラーフィルタを受光面上に有するＡＣＣＤエリアセンサの出力信号を処理する画像処理装置において、入力画像の空間サンプリング周波数ｆｓに対して１／２倍した周波数成分の存在をｆｓ／２検出部１６で検出するとともに、その検出時に無彩色であるか否かの判定を行い、ｆｓ／２の周波数成分を検出した場合において、有彩色時には有彩色用処理回路１０２でｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの信号を主として出力し、無彩色時には無彩色用処理回路１０３で水平補間または垂直補間されたＲ／Ｇ／Ｂの信号を主として出力する。
【選択図】図１２

Description

本発明は、画像処理装置および画像処理方法、並びにカメラに関し、特にカラーフィルタを受光面上に有する固体撮像素子の出力信号を処理する画像処理装置およびその処理方法、並びにこれらを用いたカメラに関する。

従来、固体撮像素子に画像情報が入る前に、折り返しノイズを除くことを目的として空間サンプリング周波数ｆｓの１／２の周波数を除去するために、光学的なＬＰＦ(Low Pass Filter) を用いて帯域制限を行っていた（例えば、特許文献１参照）。

このように、光学ＬＰＦを用いて帯域制限を行うことで、固体撮像素子の出力信号には、空間サンプリング周波数ｆｓの１／２付近の周波数成分が含まれなくなり、その結果、撮像した画像の解像感が損なわれることになる。これに対し、撮像した画像の解像感を損なわないようにするために、上記のような特性の光学ＬＰＦを用いるのではなく、空間サンプリング周波数ｆｓの１／２の周波数よりも高い点のレスポンスを０とすれば良い。

特開平４−１７０１９１号公報

しかしながら、ｆｓ／２の周波数よりも高い点のレスポンスを０とすると、偽信号が発生するだけではなく、色配列が例えばＲ（赤），Ｇ（緑），Ｂ（青）の原色ベイヤ配列のカラーフィルタを有す固体撮像素子において、相関検出による信号処理を行う場合には、Ｇによる相関を検出する際に、ｆｓ／２の空間周波数があると縦の相関が強いか横の相関が強いか判定できなくなり、画質劣化の要因となる。

すなわち、図１６において、原色ＲＧＢベイヤ配列（ａ）に対応した固体撮像素子の画素配列に対して、水平ｆｓ／２の画像（ｂ）の信号、または垂直ｆｓ／２の画像（ｃ）の信号が入ってきた場合には、Ｇの画素にのみ着目した場合の出力信号（ｄ）は、水平ｆｓ／２（ｂ）でも垂直ｆｓ／２（ｃ）でも同じになる。このため、Ｇの出力信号を見ただけでは縦の相関が強い（水平ｆｓ／２）のか、横の相関が強い（垂直ｆｓ／２）のかが判別できないことになる。

なお、図１６（ａ）において、Ｇｒ／ＧｂはそれぞれＲ行のＧ画素／Ｂ行のＧ画素を示している。また、同図（ｄ）には、Ｒ／Ｇの画素を黒で表示してあり、灰色（散点）の画素と白色の画素に着目されたい。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、縦の相関が強いのか、横の相関が強いのかを確実に判別し、破綻のない画像の再現を可能とした画像処理装置および画像処理方法、並びにカメラを提供することにある。

本発明による画像処理装置は、ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う画像処理装置であって、入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、Ｒ／Ｇ／Ｂの各信号を基に被写体の所定の領域が無彩色であるかを検出する色情報検出回路と、Ｒの画素情報に対して前記補間処理を行うＲ補間部と、Ｇの画素情報に対して前記補間処理を行うＧ補間部と、Ｂの画素情報に対して前記補間処理を行うＢ補間部と、前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出しないときは、Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出したときは、Ｒ／Ｇ／Ｂの各信号の水平／垂直方向の色差レベルに基づく補間係数を用いて水平／垂直方向について前記補間処理を行う補正処理部とを備えている。

また、本発明による画像処理方法は、ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う画像処理方法であって、Ｒ／Ｇ／Ｂの各画素情報に対して前記補間処理を行う一方、入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出するとともに、Ｒ／Ｇ／Ｂの各信号を基に被写体の所定の領域が無彩色であるかを検出し、前記周波数成分の存在を検出しないときは、前記Ｒ／Ｇ／Ｂの各画素情報に対する前記補間処理の各補間結果を出力し、前記周波数成分の存在を検出しかつ無彩色であることを検出しないときは、Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去して出力し、前記周波数成分の存在を検出しかつ無彩色であることを検出したときは、Ｒ／Ｇ／Ｂの各信号の水平／垂直方向の色差レベルに基づく補間係数を用いて水平／垂直方向について補間処理を行うようにしている。

上記構成の画像処理装置およびその処理方法において、例えば、相関検出による信号処理を行う場合には、入力画像の空間サンプリング周波数に対する１／２の周波数成分があると、縦の相関が強いか横の相関が強いか判定できないことから、空間サンプリング周波数の１／２の周波数成分の検出を行うとともに、色に関する情報の検出、具体的には無彩色（＝白）の検出を行う。ただし、この無彩色の検出は、空間サンプリング周波数の１／２の周波数成分を検出した場合にのみ意味を持つ。これは、無彩色であるならば、空間サンプリング周波数の１／２の領域でも、水平相関が強いか、垂直相関が強いかを判定できるためである。

そして、空間サンプリング周波数の１／２の周波数成分を検出した場合において、無彩色と判定したならば、無彩色検出で算出した数値を持って水平補間または垂直補間を行う。これにより、無彩色時には、空間サンプリング周波数の１／２に対応する解像度まで特性を向上できる。一方、無彩色でない、つまり有彩色であると判定したならば、空間サンプリング周波数の１／２の周波数成分を含まないＲ／Ｇ／Ｂの各信号を出力する。これにより、空間サンプリング周波数の１／２付近の相関検出の誤検出を防止できる。

本発明によれば、ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行うに当たり、補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う際に、ｆｓ／２の周波数成分の存在を検出し、その周波数成分の存在を検出した場合において、有彩色と判定したときには、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各信号を使用するようにしたことにより、ｆｓ／２付近の相関検出の誤検出を防止できるため、破綻のない画像が再現可能となり、また無彩色と判定したときには、無彩色検出で算出した数値を持って水平補間または垂直補間を行うようにしたことにより、無彩色を撮像した場合における解像度をｆｓ／２相当まで上げることが可能となる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明による画像処理装置の基本構成を示すブロック図である。ここで、本画像処理装置の処理対象となるカラー固体撮像素子は、色配列として例えば図２に示すＲ（赤）Ｇ（緑）Ｂ（青）の原色ベイヤ配列のカラーフィルタ１１を受光面上に有する単板式固体撮像素子１２である。

なお、色配列は原色ベイヤ配列に限定されるものではなく、さらにカラーフィルタもＲＧＢの原色の色配列に限られるものではなく、他の原色の色配列の場合でも、補色を使用した色配列（例えば、Ｙｅ／Ｃｙ／Ｍｇ／Ｇ）の場合でも同様に適応可能である。また、固体撮像素子１２としては、全画素の信号電荷を独立に読み出すいわゆる全画素読み出し方式のＣＣＤ(Charge Coupled Device) 固体撮像素子（以下、ＣＣＤエリアセンサと称する）を用いるものとするが、全画素読み出し方式ではないＣＣＤ固体撮像素子にも適応可能である。

ＣＣＤエリアセンサ１２から出力されるＲＧＢ点順次データは、信号処理部１３において黒レベルクランプやホワイトバランスなどの信号処理が行われた後、検出部１４および補間部１５に供給される。検出部１４は、入力されるＲＧＢ点順次データから最適な補間方法を検出し、その補間情報を補間部１５へ送る。補間部１５は、検出部１４から入力される補間情報を基にＲＧＢ点順次データに対して補間処理を行って出力する。

検出部１４は、図３に示すように、空間サンプリング周波数ｆｓの１／２の周波数成分を検出するｆｓ／２検出部１６と、補間すべき画素（以下、補間画素と称す）に関して上下および左右の互いに９０°の整数倍の角度をなす４方向、即ち垂直（Ｖ）方向の相反する２方向および水平（Ｈ）方向の相反する２方向の計４方向の相関の程度を検出するＶＨ相関検出部１７と、補間画素に関して右上、左上、左下、右下の斜め方向、即ち上記４方向に対してそれぞれ４５°の角度をなす４方向の相関の程度を検出する斜め相関検出部１８とを有する構成となっている。

なお、本例では、上下左右４方向に加え、斜め４方向の計８方向の相関の程度を検出する構成を例に採っているが、上下左右の４方向だけの相関の程度を検出する構成であっても良い。ただし、以下の説明では、８方向の場合を例に採って説明するものとする。

一方、補間部１５は、図４に示すように、検出部１４から与えられる補間情報に基づいて、Ｒの画素情報に対して補間処理を行うＲ補間部１９と、Ｇの画素情報に対して補間処理を行うＧ補間部２０と、Ｂの画素情報に対して補間処理を行うＢ補間部２１と、検出部１４の検出情報に基づいてｆｓ／２でのハッチ状のノイズが発生するのを抑止するための補正処理を行うｆｓ／２補正処理部２２とを有する構成となっている。

以下に、検出部１４におけるｆｓ／２検出部１６、ＶＨ相関検出部１７および斜め相関検出部１８の各構成例について説明する。

図５は、検出部１４におけるｆｓ／２検出部１６の具体的な構成の一例を示すブロック図である。なお、図６に、ｆｓ／２検出部１６における通過フィルタの空間周波数‐レスポンスの特性を示す。

このｆｓ／２検出部１６は、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数ｆｓの１／２の空間周波数であるフィルタ特性、即ち図６の特性Ａを持つｆｓ／２通過フィルタ２３と、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数ｆｓの１／４の空間周波数であるフィルタ特性、即ち図６の特性Ｂを持つｆｓ／４通過フィルタ２４と、これら通過フィルタ２３，２４の各通過周波数成分に基づいてｆｓ／２の周波数成分を検出するｆｓ／２検出回路２５とを有する構成となっている。

ｆｓ／２検出部１６はさらに、輝度Ｙ０のレベルを所定の補正係数を掛けることによって補正する輝度補正回路２６を有している。そして、この輝度補正回路２６で補正された輝度レベルは、ｆｓ／２検出回路２５に供給される。ｆｓ／２検出回路２５は、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分を比較し、その比較結果からｆｓ／２の周波数成分の存在の有無を検出する構成となっている。

具体的には、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分の差分を求め、その差分から輝度補正回路２６で補正された輝度レベルを引いた結果が正ならば、ｆｓ／２の周波数成分が存在するものとする。ここで、ｆｓ／２，ｆｓ／４通過フィルタ２３，２４の各通過周波数成分の差分から輝度レベルを引くのは、輝度によってスレッシュホールドが変動するのを抑制するためである。以上により、ｆｓ／２検出系２７が構成されている。図７は、輝度Ｙ０の検出の概念図である。

ｆｓ／２検出部１６にはさらに、色に関する情報、具体的には被写体が例えば５×５画素の領域で無彩色（＝白）であるか否かを検出する無彩色検出系２８が設けられている。この無彩色検出系２８は、Ｒ／Ｇ／Ｂ信号の水平方向の色差レベルを算出する水平色差レベル算出回路２９と、垂直方向の色差レベルを算出する垂直色差レベル算出回路３０と、これら色差レベル算出回路２９，３０の各出力に基づいてｆｓ／２相関検出を行い、水平／垂直方向の補間係数ＷｈＨＧａｉｎ／ＷｈＶＧａｉｎを出力するｆｓ／２相関検出回路３１と、色差レベル算出回路２９，３０の各出力に基づいて無彩色の検出を行い、その無彩色レベルに応じた補間係数ＷｈＧａｉｎを出力する無彩色検出回路３２とを有する構成となっている。

図８は、ｆｓ／２検出回路２５におけるｆｓ／２検出（Ａ）および無彩色検出（Ｂ）の概念図である。先ず、図８（Ａ）のｆｓ／２検出系２７において、ｆｓ／２通過フィルタ２３を通過した水平ｆｓ／２成分および垂直ｆｓ／２成分は、絶対値化（ＡＢＳ;absolute)回路３３，３４で絶対値化された後、加算器３５で加算される。同様にして、ｆｓ／４通過フィルタ２４を通過した水平ｆｓ／４成分および垂直ｆｓ／４成分は、絶対値化回路３６，３７で絶対値化された後、加算器３８で加算される。なお、輝度補正回路２６においては、乗算器３９で輝度Ｙ０のレベルに所定の補正係数αを掛ける処理が行われる。

加算器３５の加算出力は、乗算器４０で所定の補正係数βが掛けられた後、減算器４１の一方の入力Ａとなる。また、加算器３８の加算出力は、加算器４２で輝度Ｙ０のレベルに所定の補正係数αを掛けたものが加算され、さらに加算器４３で所定のオフセット値γが付与された後、減算器４１の他方の入力Ｂとなる。ここで、補正係数βおよびオフセット値γは、スレッシュホールドを決めるパラメータとなる。

減算器４１は一方の入力Ａから他方の入力Ｂを減算する。すなわち、減算器４１において、ｆｓ／２成分（Ａ）とｆｓ／４成分（Ｂ）とを比較し（Ａ−Ｂ）、その差分（Ａ−Ｂ）が正、即ちｆｓ／２成分＞ｆｓ／４成分であれば、ｆｓ／２の周波数成分が存在する旨の判定結果を出す。そして、この差分（Ａ−Ｂ）がルックアップテーブル（ＬＵＴ）４４を通して補間係数Ｇ２Ｇａｉｎとして出力される。すなわち、検出されたｆｓ／２の周波数成分が多ければ多い程、ルックアップテーブル４４からは大きな値の補間係数Ｇ２Ｇａｉｎが出力される。

次に、図８（Ｂ）の無彩色検出系２８において、Ｒ／Ｇ／Ｂの信号は、垂直方向、水平方向のバンドパスフィルタ４５，４６を通過し、絶対値化回路４７，４８で絶対値化された後、バンドパスフィルタ４５，４６とは直交した方向にローパスフィルタ４９，５０を通過する。これにより、垂直方向の色差レベルＷｈＶおよび水平方向の色差レベルＷｈＨが算出される。そして、垂直、水平方向の色差レベルＷｈＶ，レベルＷｈＨは、減算器５１にその２入力Ａ，Ｂとして供給されるとともに、最小値算出回路５２にも供給される。

減算器５１は、一方の入力Ａから他方の入力Ｂを減算することで、垂直方向の色差レベルＷｈＶ（Ａ）と水平方向の色差レベルＷｈＨ（Ｂ）とを比較する。この比較結果から、垂直方向の相関が強いか、水平方向の相関が強いを判定することができる。すなわち、ＷｈＨ＞ＷｈＶのときは垂直方向の相関が強い、即ち縦縞であると判定し、ＷｈＶ＞ＷｈＨのときは垂直方向の相関が強い、即ち縦縞であると判定する。そして、減算器５１の減算出力（Ａ−Ｂ）は、ルックアップテーブル５３を通して、垂直方向／水平方向の相関の度合いに応じた補間係数ＷｈＶＧａｉｎ／ＷｈＨＧａｉｎとして出力される。なお、垂直方向の補間係数ＷｈＶＧａｉｎと水平方向の補間係数ＷｈＨＧａｉｎとは相補的な関係にあり、ＷｈＶＧａｉｎ＋ＷｈＨＧａｉｎは常に一定である。

また、最小値算出回路５２は、垂直方向の色差レベルＷｈＶおよび水平方向の色差レベルＷｈＨのうち、小さい方の数値を減算器５４にその一方の入力Ａとして供給する。減算器５４の他方の入力Ｂとしては、輝度Ｙ０に乗算器５５で所定の補正係数δを掛け、さらに減算器５６で所定のオフセット値εを減算して得られる参照値が供給される。減算器５４は、色差レベルＷｈＶ，ＷｈＨの小さい方の数値Ａと参照値Ｂとを比較し（Ａ−Ｂ）、その比較結果が負、即ち数値Ａが参照値Ｂよりも小さければ無彩色（白）と判定する。そして、減算器５４の減算出力（Ａ−Ｂ）は、ルックアップテーブル５７を通して、無彩色レベルに応じた補間係数ＷｈＧａｉｎとして出力される。

図９は、ＶＨ相関検出部１７および斜め相関検出部１８の具体的な構成の一例を示すブロック図である。

ＶＨ相関検出部１７は、補間画素の右側の画素の画素情報に基づいて相関の程度を示す相関値を算出する右側相関値算出回路６１と、補間画素の左側の画素の画素情報に基づいて相関値を算出する左側相関値算出回路６２と、補間画素の上側の画素の画素情報に基づいて相関値を算出する上側相関値算出回路６３と、補間画素の下側の画素の画素情報に基づいて相関値を算出する下側相関値算出回路６４と、これら相関値算出回路６１〜６４で算出した各相関値を補間ゲインに変換して出力する相関値→補間ゲイン変換回路６５とから構成されている。

上記構成のＶＨ相関検出部１７において、相関値→補間ゲイン変換回路６５からは、水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎおよび水平垂直ＲＢ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤが補間係数として出力される。

斜め相関検出部１８は、補間画素の右上側の画素の画素情報に基づいて相関値を算出する右上側相関値算出回路６６と、補間画素の左上側の画素の画素情報に基づいて相関値を算出する左上側相関値算出回路６７と、補間画素の左下側の画素の画素情報に基づいて相関値を算出する左下側相関値算出回路６８と、補間画素の右下側の画素の画素情報に基づいて相関値を算出する右下側相関値算出回路６９と、これら相関値算出回路６６〜６９で算出した各相関値を補間ゲインに変換し、補間係数として斜め補間用ゲインＤ１Ｇａｉｎ〜Ｄ４Ｇａｉｎを出力する相関値→補間ゲイン変換回路７０とから構成されている。

さらに、水平垂直４方向と斜め４方向は互いに直交していないため、ＶＨ‐斜め比較回路６０において、水平垂直の相関値と斜めの相関値を比較することにより、斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎを補間係数として算出するようにしている。

続いて、補間部１５におけるＲ／Ｇ／Ｂの各補間部およびｆｓ補正処理部２２の各構成例について説明する。

図１０は、Ｇ補間部２０の具体的な構成の一例を示すブロック図である。図１０において、色分離後のＧのデータは水平垂直４方向、即ち右側、左側、上側、下側の各相関用処理回路７１，７２，７３，７４にそれぞれ供給され、これら相関用処理回路７１，７２，７３，７４において４方向の補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂが生成される。これら補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは、補間する方向にＬＰＦを通すことで生成される。

補間データＧｒ，Ｇｌ，Ｇｔ，Ｇｂは各々、乗算器７５，７６，７７，７８において、図９に示すＶＨ相関検出部１７で決定された補間係数、即ち水平垂直補間用ゲインＲＧａｉｎ，ＬＧａｉｎ，ＴＧａｉｎ，ＢＧａｉｎがそれぞれ掛けられる。そして、加算器７９〜８１で加算されることにより、Ｇの補間処理が行われる。補間処理後のＧの画像データは、（１）式で表される。
Ｇ＝Ｇｒ×ＲＧａｉｎ＋Ｇｌ×ＬＧａｉｎ
＋Ｇｔ×ＴＧａｉｎ＋Ｇｂ×ＢＧａｉｎ ……（１）

斜め４方向についても同様に、右上側、左上側、左下側、右下側の各相関用処理回路８２，８３，８４，８５において、Ｄ１／Ｄ２／Ｄ３／Ｄ４の各方向の補間データが生成され、乗算器８６，８７，８８，８９において、図９に示す斜め相関検出部１８で決定された斜め補間用ゲインＤ１Ｇａｉｎ，Ｄ２Ｇａｉｎ，Ｄ３Ｇａｉｎ，Ｄ４Ｇａｉｎがそれぞれ掛けられた後、加算器９０〜９２で足し合わされることによって補間処理が行われる。

また、水平垂直４方向相関検出／補間によるＧの画像データＧｖｈと、斜め４方向相関検出／補間によるＧの画像データＧｄを、状況に合わせて（２）式に示すように混合比を変化させて加算する。混合比の調整は、図９に示すＶＨ‐斜め比較回路６０で算出される斜め補間補正用ゲインＶＨＧａｉｎ，ＤＧａｉｎによって行われる。
Ｇ＝Ｇｖｈ×ＶＨＧａｉｎ＋Ｇｄ×ＤＧａｉｎ ……（２）

図１１は、Ｒ，Ｂ補間部１９，２１の具体的な構成の一例を示すブロック図である。このＲ，Ｂ補間部１９，２１の構成については、図１０に示すＧ補間部２０の構成と基本的に同じである。したがって、図１１中、図１０と同等部分には同一符号を付して示してある。ただし、右側、左側、上側、下側の各相関用処理回路７１′，７２′，７３′，７４′における補間データの生成法については、Ｇの場合に比べて複雑である。その理由として２つあり、ＲＢ補間用相関検出を行うことと、Ｇ／２成分をＲＢに加えるためである。

そのため、ＲＧ補間用相関検出は、水平（右、左）の補間データ用と垂直方向（上、下）の補間データ用では別々に行う。具体的には、Ｒ画素およびＢ画素の信号からＲ信号／Ｂ信号を補間する際に、先述した水平垂直ＲＧ補間用ゲインＲＧａｉｎＤ，ＬＧａｉｎＤ，ＴＧａｉｎＤ，ＢＧａｉｎＤを、Ｒ／Ｂ専用の補間係数として算出して用いる。これについては、本発明の要旨ではないので、ここではその詳細な説明は省略する。

図１２は、ｆｓ／２補正処理部２２の具体的な構成の一例を示すブロック図である。

図１２において、ＲＧＢ信号は、無彩色用処理回路１０１および有彩色用処理回路１０２に供給される。無彩色用処理回路１０１は、入力画像に対して水平方向の補間処理を行う水平補間回路１０３と、入力画像に対して垂直方向の補間処理を行う垂直補間回路１０４と、これら補間回路１０３，１０４の各出力に対してｆｓ／２検出部１６から与えられる補間係数ＷｈＨＧａｉｎ，ＷｈＶＧａｉｎを掛ける乗算器１０５，１０６と、これら乗算器１０５，１０６の各乗算出力を加算する加算器１０７とを有する構成となっている。

この無彩色用処理回路１０１を経た信号は、乗算器１０８でｆｓ／２検出部１６から与えられる補間係数ＷｈＧａｉｎが掛けられた後、加算器１０９の一方の入力となる。加算器１０９の他方の入力としては、有彩色用処理回路１０２を経た信号に、乗算器１１０でｆｓ／２検出部１６から与えられる補間係数ＷｈＧａｉｎから算出される補間係数ＷｈＧａｉｎ′を掛けたものが与えられる。補間係数ＷｈＧａｉｎ′は、例えば、定数より補間係数ＷｈＧａｉｎを引くことにより算出される。なお、有彩色用処理回路１０２は、図１３の特性図に示すように、入力画像の空間サンプリング周波数ｆｓの１／２の周波数成分のレスポンスが０であるフィルタ特性を持つｆｓ／２トラップ回路によって構成されている。

加算器１０９の加算出力は、乗算器１１１でｆｓ／２検出部１６から与えられる補間係数Ｇ２Ｇａｉｎが掛けられた後、加算器１１２の一方の入力となる。また、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１から供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰは、乗算器１１３でｆｓ／２検出部１６から与えられる補間係数Ｇ２Ｇａｉｎから算出される補間係数Ｇ２Ｇａｉｎ′が掛けられた後、加算器１１２の他方の入力となる。なお、補間係数Ｇ２Ｇａｉｎ′は、例えば、定数より補間係数Ｇ２Ｇａｉｎを引くことにより算出される。図１４は、ｆｓ／２補正処理部２２における補正処理の概念図である。この概念図から明らかなように、補正処理はＲ／Ｇ／Ｂの各信号ごとに行われる。

上記構成の画像処理装置において、ｆｓ／２検出部１６では先ず、図５に示すｆｓ／２検出系２７によってｆｓ／２の周波数成分の存在の有無が検出される。すなわち、色分離後のＧ信号をｆｓ／２通過フィルタ２３およびｆｓ／４通過フィルタ２４に通し、ｆｓ／２検出回路２５において、それらの差分から輝度Ｙ０のレベルに所定の補正係数αを掛けたものを減算し、その減算結果が正ならばｆｓ／２の周波数成分が存在するものとする。

また、無彩色検出系２８では、被写体が例えば５×５画素の領域で無彩色であるか否かの検出が行われる。すなわち、図８（Ｂ）から明らかなように、垂直方向、水平方向それぞれに対してバンドパスフィルタ４５，４６を通した後、絶対値化回路４７，４８で絶対値をとり、それをバンドパスフィルタ４５，４６とは直交した方向にローパスフィルタ４９，５０を通した値のうち、小さい方の数値（ＷｈＶ／ＷｈＨ）が、輝度Ｙ０に所定の補正係数δを掛けた値よりも小さければ、無彩色（白）と判定する。

そして、ｆｓ／２補正処理部２２においては、ｆｓ／２検出部１６のｆｓ／２検出系２７から与えられる補間係数Ｇ２Ｇａｉｎ，Ｇ２Ｇａｉｎ′、並びに無彩色検出系２８から与えられる補間係数ＷｈＨＧａｉｎ，ＷｈＶＧａｉｎおよび補間係数ＷｈＧａｉｎ，ＷｈＧａｉｎ′に基づいて、ｆｓ／２の周波数成分の存在を検出しないとき、また検出した場合であって無彩色のとき又は有彩色のときにそれぞれ最適な補正処理が実行される。これら各補正処理について、以下に説明する。

先ず、ｆｓ／２の周波数成分の存在を検出しない場合には、ｆｓ／２付近の相関検出の誤検出の問題は生じないことから、通常のＲＧＢ補間処理が行われる。すなわち、ｆｓ／２の検出成分が少ないことから、ｆｓ検出部１６のｆｓ／２検出系２７から与えられる補間係数Ｇ２Ｇａｉｎが小さく、かつ補間係数Ｇ２Ｇａｉｎ′が大きいことから、加算器１１２での混合の比率は、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１から供給される各補間出力ＲＩＰ／ＧＩＰ／ＢＩＰ側が大となり、補間出力ＲＩＰ／ＧＩＰ／ＢＩＰが主として出力される。

次に、ｆｓ／２の周波数成分の存在を検出した場合には、無彩色検出系２８の判定結果に基づいて補正処理を行う。先ず、無彩色でない、つまり有彩色であると判定された場合には、無彩色検出系２８から与えられる補間係数ＷｈＧａｉｎが小さく、かつ補間係数ＷｈＧａｉｎ′が大きいことから、加算器１０９での混合の比率は、有彩色用処理回路１０２側が大となり、有彩色用処理回路１０２でｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの各信号が主として出力される。このとき、加算器１１２での混合の比率は、ｆｓ／２の周波数成分の検出時であるから、有彩色用処理回路１０２側が大となっている。

一方、ｆｓ／２の周波数成分の存在を検出した場合において、無彩色であると判定された場合には、ｆｓ／２の領域であっても、水平相関が強いか、垂直相関が強いかを判定できるため、図１２に示す無彩色処理回路１０１において、無彩色検出で算出された数値、即ち無彩色検出系２８から与えられる補間係数ＷｈＨＧａｉｎ，ＷｈＶＧａｉｎを用いて水平補間回路１０３を経た信号と垂直補間回路１０４を経た信号との混合比を変えることによって、水平補間または垂直補間を行う。この場合、無彩色が前提であるため、図１４の概念図から明らかなように、ＲＢはＧで代用する。

上述したように、ｆｓ／２の周波数成分の存在を検出した場合において、有彩色と判定した場合には、Ｒ／Ｇ／Ｂの各補間部１９，２０，２１で補間処理された補間出力ＲＩＰ／ＧＩＰ／ＢＩＰを使用せずに、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの信号を使用するようにしたことで、相関検出による信号処理を行う際に、ｆｓ／２の空間周波数があっても、ｆｓ／２付近の相関検出の誤検出を防止できるため、破綻のない画像の再現が可能となる。

しかも、ｆｓ／２の周波数成分を検出した場合において、無彩色と判定した場合には、ｆｓ／２の周波数成分が除去されたＲ／Ｇ／Ｂの信号を使用せずに、無彩色検出で算出した数値を持って水平補間または垂直補間を行うようにしたことで、無彩色を撮像した場合における解像度をｆｓ／２相当まで上げることが可能となる。一例として、ＶＧＡ(Video Graphics Array)（６４０×４８０）画素の場合において、無彩色の被写体では解像度がｆｓ／２相当である４８０本まで改善できることになる。

図１５は、本発明に係るカメラの一例を示す概略構成図である。図１５において、被写体からの入射光は、レンズ１２１等を含む光学系によってＣＣＤエリアセンサ１２２の受光面（撮像面）上に結像される。ＣＣＤエリアセンサ１２２の受光面上には、色配列が例えば原色ベイヤ配列のカラーフィルタ１２３が設けられている。ＣＣＤエリアセンサ１２２は、ＣＣＤ駆動回路１２４によって露光、信号電荷の読み出しおよび転送などの駆動制御が行われる。

ＣＣＤエリアセンサ１２２の出力信号は画像処理装置１２５に供給され、種々の信号処理が行われる。この画像処理装置１２５として、水平垂直および斜めの８方向の相関を検出し、その検出結果に基づいて適応型補間処理を行うとともに、ｆｓ／２の周波数成分の検出時において、無彩色の場合と有彩色の場合で補間処理を変える構成の上記実施形態に係る画像処理装置が用いられる。

このように、例えば原色ベイヤ配列のカラーフィルタ１２３を持つＣＣＤエリアセンサ１２２を撮像デバイスとして用いたカメラにおいて、相関検出による信号処理を行う際に、ｆｓ／２の空間周波数成分が存在しても、ｆｓ／２付近の相関検出の誤検出を防止でき、破綻のない画像の再現が可能になるとともに、光学ＬＰＦを用いてｆｓ／２付近のレスポンスを０とする必要がなくなり、レスポンスが０となる空間周波数を高くすることが可能となるため、再現画像の解像度／解像感を向上できる。

本発明による画像処理装置の基本構成を示すブロック図である。 カラーフィルタの原色ベイヤ配列図である。 検出部の構成の一例を示すブロック図である。 補間部の構成の一例を示すブロック図である。 ｆｓ／２検出部の具体的な構成の一例を示すブロック図である。 ｆｓ／２検出部における通過フィルタの空間周波数‐レスポンスの特性図である。 輝度Ｙ０の検出の概念図である。 ｆｓ／２検出の概念図であり、（Ａ）はｆｓ／２検出系を、（Ｂ）は無彩色検出系をそれぞれ示している。 ＶＨ相関検出部および斜め相関検出部の具体的な構成の一例を示すブロック図である。 Ｇ補間部の具体的な構成の一例を示すブロック図である。 Ｒ，Ｂ補間部の具体的な構成の一例を示すブロック図である。 ｆｓ／２補正処理部の具体的な構成の一例を示すブロック図である。 ｆｓ／２トラップ回路の特性図である。 ｆｓ／２補正処理の概念図である。 本発明に係るカメラの一例を示す概略構成図である。 課題を説明するための図である。

符号の説明

１１，１２３…カラーフィルタ、１２，１２２…ＣＣＤエリアセンサ、１４…検出部、１５…補間部、１６…ｆｓ／２検出部、１７…ＶＨ相関検出部、１８…斜め相関検出部、１９…Ｒ補間部、２０…Ｇ補間部、２１…Ｂ補間部、２２…ｆｓ／２補正処理部、２３…ｆｓ／２通過フィルタ、２４…ｆｓ／４通過フィルタ、２５…ｆｓ／２検出回路、２６…輝度補正回路、２７…ｆｓ／２検出系、２８…無彩色検出系、２９…水平色差レベル算出回路、３０…垂直色差レベル算出回路、３１…ｆｓ／２相関検出回路、３２…無彩色検出回路

Claims (16)

1. ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う画像処理装置であって、
   入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、
   Ｒ（赤）／Ｇ（緑）／Ｂ（青）の各信号を基に被写体の所定の領域が無彩色であるかを検出する情報検出回路と、
   Ｒの画素情報に対して前記補間処理を行うＲ補間部と、
   Ｇの画素情報に対して前記補間処理を行うＧ補間部と、
   Ｂの画素情報に対して前記補間処理を行うＢ補間部と、
   前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出しないときは、Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出したときは、Ｒ／Ｇ／Ｂの各信号の水平／垂直方向の色差レベルに基づく補間係数を用いて水平／垂直方向について前記補間処理を行う補正処理部と
   を備えたことを特徴とする画像処理装置。
2. 前記周波数検出回路は、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数の１／２の空間周波数である第１のフィルタと、通過する周波数のレスポンスの最大値が入力画像の空間サンプリング周波数の１／４の空間周波数である第２のフィルタと、前記第１，第２のフィルタの各通過周波数成分を比較することによって前記空間サンプリング周波数の１／２の周波数成分を検出する検出部とを有する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記周波数検出回路は、前記補間すべき画素の近傍の画素の平均信号レベルを前記第１のフィルタの通過周波数成分から減算する手段を有する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記色情報検出回路は、補間すべき画素を中心として入力画像信号の水平方向および垂直方向の各変化量を検出する変化量検出回路と、前記変化量検出回路によって検出された前記水平方向および垂直方向の各変化量に基づいて無彩色レベルを検出する無彩色検出回路とを有する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記無彩色検出回路は、前記変化量検出回路によって検出された前記水平方向および垂直方向の各変化量の最小値と所定の参照値とを比較することによって無彩色レベルを検出する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記補正処理部は、入力画像に対して水平方向または垂直方向について前記補間処理を行う無彩色用処理回路と、入力画像に対してその空間サンプリング周波数の１／２の周波数成分を除去する有彩色用処理回路と、前記無彩色用処理回路を経た信号と前記有彩色用処理回路を経た信号とを前記色情報検出回路の検出出力に応じた第１の混合比で混合する第１の混合回路とを有する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記色情報検出回路は、補間すべき画素を中心として入力画像信号の水平方向および垂直方向の各変化量に基づいて無彩色レベルを検出する無彩色検出回路を有し、前記第１の混合回路は、この無彩色検出回路で検出された無彩色レベルが大きい場合に前記無彩色用処理回路を経た信号の比率が大きくなるように前記第１の混合比を変化させる
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記色情報検出回路は、前記変化量検出回路によって検出された前記水平方向および垂直方向の各変化量を比較し、その比較結果に応じた第２の混合比を設定する混合比設定回路を有し、前記無彩色用処理回路は、入力画像に対して水平補間を行う第１の信号処理系と、入力画像に対して垂直補間を行う第２の信号処理系と、前記第１の信号処理系を経た信号と前記第２の信号処理系を経た信号とを前記第２の混合比で混合する第２の混合回路とを有する
   ことを特徴とする請求項６記載の画像処理装置。
9. 前記混合比設定回路は、水平方向の変化量に比して垂直方向の変化量が大きいときには前記第１の信号処理系を経た信号の比率が大きくなり、垂直方向の変化量に比して水平方向の変化量が大きいときには前記第２の信号処理系を経た信号の比率が大きくなるように前記第２の混合比を変化させる
   ことを特徴とする請求項８記載の画像処理装置。
10. ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う画像処理方法であって、
    Ｒ（赤）／Ｇ（緑）／Ｂ（青）の各画素情報に対して前記補間処理を行う一方、
    入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出するとともに、Ｒ／Ｇ／Ｂの各信号を基に被写体の所定の領域が無彩色であるかを検出し、
    前記周波数成分の存在を検出しないときは、前記Ｒ／Ｇ／Ｂの各画素情報に対する前記補間処理の各補間結果を出力し、前記周波数成分の存在を検出しかつ無彩色であることを検出しないときは、Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去して出力し、前記周波数成分の存在を検出しかつ無彩色であることを検出したときは、Ｒ／Ｇ／Ｂの各信号の水平／垂直方向の色差レベルに基づく補間係数を用いて水平／垂直方向について前記補間処理を行う補正処理を実行する
    ことを特徴とする画像処理方法。
11. 前記色に関する情報の検出では、前記補間すべき画素を中心として入力画像信号の水平方向および垂直方向の各変化量を検出し、これら各変化量に基づいて無彩色レベルを検出する
    ことを特徴とする請求項１０記載の画像処理方法。
12. 前記無彩色レベルの検出では、前記水平方向および垂直方向の各変化量の最小値と所定の参照値とを比較することによって検出する
    ことを特徴とする請求項１１記載の画像処理方法。
13. 前記補正処理においては、入力画像に対して水平方向または垂直方向について前記補間処理を行った信号と、入力画像に対してその空間サンプリング周波数の１／２の周波数成分を除去した信号とを、前記無彩色レベルに応じた混合比で混合する
    ことを特徴とする請求項１１記載の画像処理方法。
14. ベイヤ配列のカラーフィルタを受光面上に有する固体撮像素子と、被写体からの入射光を前記固体撮像素子の受光面上に結像させる光学系と、前記固体撮像素子から出力される画像信号に対して、補間すべき画素とその周辺画素との相関を検出して色補正処理を行う際に、前記補間すべき画素に関して補間する方向にローパスフィルタを通すことによって得られる補間データに補間係数を乗算することによって補間処理を行う画像処理装置とを具備するカメラであって、
    前記画像処理装置は、
    入力画像の空間サンプリング周波数に対して１／２倍した周波数成分の存在を検出する周波数検出回路と、
    Ｒ（赤）／Ｇ（緑）／Ｂ（青）の各信号を基に被写体の所定の領域が無彩色であるかを検出する情報検出回路と、
    Ｒの画素情報に対して前記補間処理を行うＲ補間部と、
    Ｇの画素情報に対して前記補間処理を行うＧ補間部と、
    Ｂの画素情報に対して前記補間処理を行うＢ補間部と、
    前記周波数検出回路が前記周波数成分の存在を検出しないときは、前記Ｒ補間部、前記Ｇ補間部および前記Ｂ補間部の各補間結果を出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出しないときは、Ｒ／Ｇ／Ｂの各信号から前記周波数成分を除去して出力し、前記周波数検出回路が前記周波数成分の存在を検出しかつ前記情報検出回路が無彩色であることを検出したときは、Ｒ／Ｇ／Ｂの各信号の水平／垂直方向の色差レベルに基づく補間係数を用いて水平／垂直方向について前記補間処理を行う補正処理部とを有する
    ことを特徴とするカメラ。
15. 前記色情報検出回路は、前記補間すべき画素を中心として入力画像信号の水平方向および垂直方向の各変化量を検出する変化量検出回路と、前記変化量検出回路によって検出された前記水平方向および垂直方向の各変化量に基づいて無彩色レベルを検出する無彩色検出回路とを有する
    ことを特徴とする請求項１４記載のカメラ。
16. 前記補正処理部は、入力画像に対して水平方向または垂直方向について前記補間処理を行う無彩色用処理回路と、入力画像に対してその空間サンプリング周波数の１／２の周波数成分を除去する有彩色用処理回路と、前記無彩色用処理回路を経た信号と前記有彩色用処理回路を経た信号とを前記色情報検出回路の検出出力に応じた混合比で混合する混合回路とを有する
    ことを特徴とする請求項１４記載のカメラ。

Images