JP2006074360A

JP2006074360A - 撮像装置及び信号処理方法

Info

Publication number: JP2006074360A
Application number: JP2004254350A
Authority: JP
Inventors: Seiji Tanaka; 誠二田中
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-09-01
Filing date: 2004-09-01
Publication date: 2006-03-16
Anticipated expiration: 2024-09-01
Also published as: JP4633413B2; US20060044428A1

Abstract

【課題】偽色を低減すると共に解像感を上げる。
【解決手段】信号処理部は、画素混合を行った後（ステップＳ１）、Ｒ画素やＢ画素の間隔及び位相に対応するようにＧ画素にＬＰＦ処理を施し（ステップＳ２）、ＬＰＦ済みのＧ画素とＲ画素及びＢ画素との相関値を求める（ステップＳ３）。Ｇ画素の補間処理を行った後（ステップＳ４）、Ｇ画素と相関値とに基づいてＲ画素及びＢ画素を補間する（ステップＳ５）。
【選択図】図３

Description

本発明は、撮像装置及び信号処理方法に係り、特に、固体撮像素子から出力された各画素の信号を混合して所定の信号処理を行う撮像装置及び信号処理方法に関する。

ＣＣＤイメージセンサから読み出された画素を混合してから転送することによって、１フレームの転送速度を上げることが行われている。しかし、画素混合方式によっては、画素の位相がずれてしまい、静止画と同様の色補間方法では偽色が発生してしまう。

偽色防止としては、撮像素子で撮像した画像を当該撮像素子の画素数より少ない画素数で表示する場合に、間引き処理を行わない撮像装置が開示されている（例えば、特許文献１を参照。）。

特許文献１に記載された撮像装置は、撮像面に４つの異なる分光特性を持つカラーフィルタを有し、これらのカラーフィルタが水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に１ラインを１画素分水平方向にオフセットさせるように配置されている撮像素子を備えている。

そして、上記撮像装置は、撮像素子の４Ｎライン（Ｎは１以上の整数）毎に２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを交互に行う。これにより、撮像装置は、撮像素子から所定の行の画素の信号を間引いて読み出すことができると共に、この間引いて読み出された信号からカラーの映像信号を形成することができる。

また、ＤＣ成分の色を欠落させること無く、且つ、高周波・高彩度の被写体画像においても新たな偽色を発生させること無く、色補間を行う信号処理装置が開示されている（例えば、特許文献２を参照。）。

特許文献２に記載された信号処理装置は、相関度の高い方向に色分離し第１の色差信号を算出する第１の色差信号算出手段と、第１の色差信号算出手段とは異なる所定の演算により第２の色差信号を算出する第２の色差信号算出手段と、第１及び第２の色差信号から第１及び第２の彩度値を算出する彩度検出回路と、第１及び第２の彩度値に基づいて第１及び第２の色差信号のいずれかを選択して出力するセレクタとを有する。この結果、ナイキスト周波数を有する、縦横判定を誤判定する可能性のある部分においては、縦横両方から色分離を行って得られた色差信号が出力される。

さらに、同色の画素を混合して低解像度の画像を生成する場合に偽信号や偽色の発生を抑制するデジタルカメラが開示されている（例えば、特許文献３を参照。）。特許文献３に記載されたデジタルカメラは、ハニカム配列のＣＣＤを有し、（４ｋ＋１）、（４ｋ＋２）列目では、Ｂ色とＧ色の混合画素の中心位置を固定し、（４ｋ＋１）列目のＲ色の混合画素の中心位置を重み付け処理により所定の位置にずらす。これにより、１列単位で混合画素の位置を均等にしているので、混合画素から画像を生成した場合の偽信号や偽色の発生を抑えている。
特開平９−３３１５３８号公報特開２００２−３００５９０号公報特開２００３−２９９１１２号公報

しかしながら、特許文献１に記載された撮像装置は、撮像素子から所定の行の画素の信号を間引いて読み出しているため、解像度が低下してしまい、画質が劣化してしまう問題がある。特許文献２に記載された信号処理装置は、色差信号を生成する際に生じる偽色を抑制するものであり、画素混合による位相ずれを考慮したものではない。

また、特許文献３に記載されたデジタルカメラは、各色の画素を混合した後、Ｒ色の混合画素の中心位置をずらしただけである。このため、Ｒ色とＧ色、Ｂ色とＧ色の間で、空間周波数のずれが残ったままであり、偽色が発生してしまう問題がある。

本発明は、上述した課題を解決するために提案されたものであり、偽色を低減すると共に解像感を上げることができる撮像装置及び信号処理方法を提供することを目的とする。

上述した課題を解決するため、本発明に係る撮像装置は、正方格子を略４５度回転した状態で複数の画素を配置すると共に、偶数行又は奇数行では赤色及び青色の画素を交互に配置し、奇数行又は偶数行では緑色の画素のみを配置した固体撮像素子と、前記固体撮像素子から読み出された同色画素の信号を所定個数毎に混合して、赤色、緑色、青色について各々画素信号を生成する画素混合手段と、前記画素混合手段により生成された赤色又は青色の画素信号の混合間隔に対応するように、前記画素混合手段により生成された緑色の画素信号にフィルタ処理を施すフィルタと、前記画素混合手段により生成された赤色又は青色の画素信号と、前記フィルタ処理済みの緑色の画素信号と、の相関値を演算する相関値演算手段と、前記画素混合手段により生成された緑色の画素信号と、前記相関値演算手段により演算された相関値と、に基づいて、赤色又は青色の補間信号を生成する補間手段と、を備えている。

また、本発明に係る信号処理方法は、正方格子を略４５度回転した状態で複数の画素を配置すると共に、偶数行又は奇数行では赤色及び青色の画素を交互に配置し、奇数行又は偶数行では緑色の画素のみを配置した固体撮像素子から、同色画素の信号を所定個数毎に混合して、赤色、緑色、青色について各々画素信号を生成し、生成された赤色又は青色の画素信号の混合間隔に対応するように、前記緑色の画素信号にフィルタ処理を施し、生成された赤色又は青色の画素信号と、前記フィルタ処理済みの緑色の画素信号と、の相関値を演算し、生成された緑色の画素信号と演算された相関値とに基づいて、赤色又は青色の補間信号を生成する。
。

固体撮像素子は、正方格子を略４５度回転した状態で複数の画素を配置すると共に、例えば、偶数行では赤色及び青色の画素を交互に配置し、奇数行では緑色の画素のみを配置したものである。なお、偶数行と奇数行に配置する画素の色は、異なっていてもよい。

画素混合手段は、固体撮像素子から読み出された同色画素の信号を所定個数毎に混合することで、赤色、緑色、青色について各々画素信号を生成する。所定個数とは、色毎に応じて変えていてもよい。

フィルタは、赤色又は青色の画素信号の混合間隔に対応するように、画素混合手段により生成された緑色の画素信号にフィルタ処理を施す。これにより、赤色又は青色の画素信号と、フィルタ処理済みの緑色の画素信号と、の対応付けが容易になり、互いの相関がとれる状態になる。

相関値演算手段は、画素混合手段により生成された赤色又は青色の画素信号と、フィルタ処理済みの緑色の画素信号と、の相関値を演算する。相関値は、赤色又は青色の画素信号とフィルタ処理済みの緑色の画素信号との相関を表す値であるので、基準となる緑色の画素信号が存在すれば、それに対応する赤色又は青色の画素信号を求めることが可能である。

そこで、補間手段は、画素混合手段により生成された緑色の画素信号と、相関値演算手段により演算された相関値と、に基づいて、赤色又は青色の補間信号を生成する。これにより、補間処理後の緑色の画素信号と同様の空間周波数であり、かつ位相ずれのない赤色又は青色の画素信号を得ることができる。このような赤色又は青色の画素信号は、緑色の画素信号との相関を考慮して求められたものであるので、偽色を抑制することもできる。

したがって、本発明に係る撮像装置及び信号処理方法によれば、赤色又は青色の画素信号の混合間隔に対応するように緑色の画素信号にフィルタ処理を施し、赤色又は青色の画素信号とフィルタ処理済みの緑色の画素信号との相関値を演算し、緑色の画素信号と相関値とに基づいて赤色又は青色の補間信号を生成することにより、偽色の発生を抑制し、解像感を上げることができる。

ここで、補間手段は、画素混合手段により生成された緑色の画素信号に基づいて緑色の補間信号を生成し、緑色の補間信号と相関値とに基づいて、緑色の補間信号の空間周波数と同じ空間周波数の赤色又は青色の補間信号を生成してもよい。これにより、赤色、青色、及び緑色の補間信号の空間周波数を等しく高くすると共にその位相ずれを抑制することができる。

また、前記フィルタは、赤色又は青色の画素信号の位相に対応するように、緑色の画素信号にフィルタ処理を施してもよい。

本発明に係る撮像装置及び信号処理方法によれば、赤色又は青色の画素信号の混合間隔に対応するように緑色の画素信号にフィルタ処理を施し、赤色又は青色の画素信号とフィルタ処理済みの緑色の画素信号との相関値を演算し、緑色の画素信号と相関値とに基づいて赤色又は青色の補間信号を生成することにより、偽色の発生を抑制し、解像感を上げることができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。

撮像装置は、撮像レンズ１を介して入射された光に応じて画像信号を生成するＣＣＤイメージセンサ２と、ＣＣＤイメージセンサ２で生成された画像信号がディジタル信号に変換された後に所定の信号処理を実行する信号処理部３と、信号処理済みの画像信号に基づく画像を表示する表示装置４と、を備えている。

撮像装置は、さらに、信号処理部３からデータバス５を介して供給された画像信号を記憶するメモリ６と、画像信号を記録媒体に記録する画像記録装置７と、装置全体を制御する中央処理演算ユニット（ＣＰＵ）８と、を備えている。

表示装置４は、例えばＬＣＤからなり、信号処理部３から直接供給された画像信号や、画像記録装置７に記録された画像信号に基づく画像を表示する。画像記録装置７は、例えば、フラッシュメモリ等の不揮発性半導体メモリに画像信号を記録するものでもよいし、磁気ディスクや光ディスクに画像信号を記録するものであってもよい。

図２は、ＣＣＤイメージセンサ２のフォトダイオードの配列を示す図である。ＣＣＤイメージセンサ２は、画素をいわゆるハニカム配列に配置したものである。

ＣＣＤイメージセンサ２は、八角形の形状を持つ画素（フォトダイオード）を互い違いに（正方格子を略４５度回転したように）配置している。例えば、奇数行目では、Ｒ（赤）、Ｂ（青）、Ｒ、Ｂ、Ｒ、Ｂ、…の画素が交互に配置されている。偶数行目では、奇数行目の画素間の位置に、Ｇ（緑）の画素のみが配置されている。さらに再び、奇数行目ではＧ画素間の位置に、Ｂ、Ｒ、Ｂ、Ｒ、…の画素が交互に配置され、偶数行目では奇数行目の画素間の位置にＧの画素のみが配置されている。そして、各画素から信号が読み出されて、読み出された信号は信号処理部３に供給される。

以上のように構成された撮像装置において、信号処理部３は、Ｒ・Ｇ・Ｂに相関があることを考慮して、各画素から読み出された信号に次のような信号処理を施すことによって、ＲＧＢの各画素を補間する。

図３は、信号処理部３による画素補間の処理手順を示すフローチャートである。すなわち、信号処理部３は、ステップＳ１からステップＳ５までの処理を実行することで、ＲＧＢの各画素を補間する。

ステップＳ１では、信号処理部３は、ＣＣＤイメージセンサ２で生成され、ディジタル信号に変換された後の画像信号を用いて、ＲＧＢのそれぞれについて画素混合を行う。

例えば、Ｒ及びＢは、図２に示すように、同色の４つの画素のうち、最小の四角形を形成する画素が混合された結果、新たな１画素となる（Ｒ１、Ｂ３、Ｒ５、Ｂ７）。Ｇは、同色の６つの画素のうち、列方向が長手方向である長方形を形成する画素が混合された結果、新たな１画素となる（Ｇ２、Ｇ４、Ｇ６…）。なお、図２の下段には、１画素となったＲ１、Ｒ５、Ｒ９、Ｂ３、Ｂ７、Ｂ１１、Ｇ２、Ｇ４、Ｇ６、Ｇ８、Ｇ１０の混合間隔（以下、単に「間隔」という。）を示している。

図４及び図５（Ａ）は、ステップＳ１の画素混合によって得られた画素についての空間的な位相のずれを示す図である。同図に示すように、Ｒ１、Ｂ３、Ｒ５、Ｂ７は等間隔ではなく、Ｒ画素の位相がＢ画素の位相寄りになっている。また、Ｒ画素（Ｂ画素も同様）の間隔とＧ画素の間隔が異なっており、Ｇ画素はＲ画素よりも空間周波数成分が高くなっている。

このように、ステップＳ１の処理後では、Ｒ画素に位相ずれがあり、さらにＲ画素（Ｂ画素も同様）とＧ画素との空間周波数成分の相違が存在するため、このままではＲＧＢの相関関係（本実施形態では、ＲとＧの相関関係、ＢとＧの相関関係）を求めることができない。そこで、信号処理部３は、次のステップＳ２に移行する。

ステップＳ２では、信号処理部３は、Ｇ画素にローパスフィルタ（ＬＰＦ）処理を施す。これによって、Ｒ画素とＧ画素、Ｂ画素とＧ画素の相関をとれるようにして、ステップＳ３に移行する。例えば、Ｒ１に対応するＧ画素（ＧLPF_R1）、Ｂ３に対応するＧ画素（ＧLPF_B3）は、次のように求められる。

ＧLPF_R1＝（Ｇ０＋Ｇ２＊４＋Ｇ４）／６
ＧLPF_B3＝（Ｇ２＋Ｇ４）／２
図６は、ＬＰＦ処理後のＧ画素であるＧLPF_R1、ＧLPF_B3を示す図である。図５（Ｂ）は、ＬＰＦ処理後のＧ画素であるＧLPF_R1、ＧLPF_B3、ＧLPF_R5、ＧLPF_B7、ＧLPF_R9、ＧLPF_B11を示す図である。これらの図に示すように、Ｒ１の間隔とＧLPF_R1の間隔や、Ｂ３の間隔とＧLPF_B3の間隔が一致している。また、間隔だけでなく、位相も一致している。

なお、信号処理部３は、画素混合後のＲ画素やＢ画素の間隔及び位相に対応するように、Ｇ画素にＬＰＦ処理を施せばよく、上記の数式に限定されるものではない。

ステップＳ３では、信号処理部３は、ＬＰＦ済みのＧ画素とＲ画素及びＢ画素との差（相関値）を演算して、ステップＳ４に移行する。図５（Ｃ）は、Ｒ画素及びＢ画素とＬＰＦ済みのＧ画素との相関値を示す図である。信号処理部３は、例えば相関値Ｒ１SUB、Ｂ３SUBについては、次の演算を行う。

Ｒ１SUB＝Ｒ１−ＧLPF_R1
Ｂ３SUB＝Ｂ３−ＧLPF_B3
Ｒ１SUBは、Ｒ１（赤）とＧLPF_R1（緑）の相関値を表している。Ｂ３SUBは、Ｂ３（青）とＧLPF_B3（緑）の相関値を表している。なお、図５（Ｃ）に示すように、信号処理部３は、その他、相関値Ｒ５SUB、Ｂ７SUB、Ｒ９SUB、Ｂ１１SUB、…についても同様に演算する。ここでは、相関値として減算を行ったが、その他の演算を行ってもよい。

ステップＳ４では、信号処理部３は、次式のようにＧ画素間を補間して、ステップＳ５に移行する。図５（Ｄ）は、補間処理後のＧ画素を示す図である。

Ｇ１’＝（Ｇ０＋Ｇ２）／２
Ｇ２’＝Ｇ２
Ｇ３’＝（Ｇ２＋Ｇ４）／２
Ｇ４’＝Ｇ４
上記式を一般化すると、次の通りになる。

Ｇｎ’＝（Ｇ（ｎ−１）＋Ｇ（ｎ＋１））／２（ｎが奇数のとき）
Ｇｎ’＝Ｇｎ（ｎが偶数のとき）
ステップＳ５では、信号処理部３は、ステップＳ３で求めた相関値を用いてＲ画素及びＢ画素を補間する。図５（Ｅ）は補間後のＲ画素、（Ｆ）は補間後のＢ画素を示す図である。具体的には、下式に示すように、Ｇ画素に相関値を加算することで、Ｒ画素やＢ画素を補間する。

Ｒ２’＝Ｇ２’＋Ｒ１SUB
Ｒ３’＝Ｇ３’＋Ｒ１SUB
Ｒ４’＝Ｇ４’＋（Ｒ１SUB＋Ｒ５SUB）／２
Ｂ２’＝Ｇ２’＋Ｂ３SUB
Ｂ３’＝Ｇ３’＋Ｂ３SUB
Ｂ４’＝Ｇ４’＋Ｂ３SUB
この結果、Ｒｎ’（ｎは自然数）は、ステップＳ４における補間処理によって求められたＧｎ’と、ステップＳ３における位相ずれのないＧとＲの相関値と、によって生成（補間）されたものである。このため、Ｒｎ’は、図５（Ｄ）及び（Ｅ）に示すように、Ｇｎ’と同様の空間周波数及び位相を再現することができる。また、Ｒｎ’は、Ｇｎ’との相関を用いて生成されるので、偽色を抑制することできる。Ｂｎ’も同様に、図５（Ｄ）及び（Ｆ）に示すように、Ｇｎ’と同様の空間周波数及び位相を再現することができる。また、Ｂｎ’も、Ｇｎ’との相関を用いて生成されるので、偽色を抑制することできる。

なお、Ｒ４’を演算するにあたり［（Ｒ１SUB＋Ｒ５SUB）／２］を用いたのは次の通りである。Ｒ４’を演算するときに使用するＧ４’は、Ｒ１SUB及びＲ５SUBの両方と相関があるからである。

以上のように、本発明の実施の形態に係る撮像装置は、Ｒ画素やＢ画素の間隔及び位相に対応するようにＧ画素にＬＰＦ処理を施すことによって、ＬＰＦ処理後のＧ画素とＲ画素又はＢ画素との相関値を求めることができる。

さらに、上記撮像装置は、Ｇ画素と相関値とに基づいてＲ画素及びＢ画素を補間することにより、補間処理後のＧ画素と同様の空間周波数であり、かつ位相ずれのないＲ画素及びＢ画素を得ることができる。このようなＲ画素及びＢ画素は、Ｇ画素との相関を考慮して求められたものであるので、偽色を抑制することもできる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。例えば、ＬＰＦ処理を表した数式、相関値を表した数式等は、特に限定されるものではない。また、上記撮像装置は、動画像を撮像するものでもよいし、静止画像を撮像するものでもよいのは勿論である。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。ＣＣＤイメージセンサのフォトダイオードの配列を示す図である。信号処理部による画素補間の処理手順を示すフローチャートである。画素混合によって得られた画素についての空間的な位相のずれを示す図である。画素混合によって得られた画素及び信号処理済みの画素の間隔や位相ずれを示す図である。ＬＰＦ処理後のＧ画素であるＧLPF_R1、ＧLPF_B3を示す図である。

符号の説明

１撮像レンズ
２ＣＣＤイメージセンサ
３信号処理部
４表示装置
５データバス
６メモリ
７画像記録装置
８ＣＰＵ

Claims

正方格子を略４５度回転した状態で複数の画素を配置すると共に、偶数行又は奇数行では赤色及び青色の画素を交互に配置し、奇数行又は偶数行では緑色の画素のみを配置した固体撮像素子と、
前記固体撮像素子から読み出された同色画素の信号を所定個数毎に混合して、赤色、緑色、青色について各々画素信号を生成する画素混合手段と、
前記画素混合手段により生成された赤色又は青色の画素信号の混合間隔に対応するように、前記画素混合手段により生成された緑色の画素信号にフィルタ処理を施すフィルタと、
前記画素混合手段により生成された赤色又は青色の画素信号と、前記フィルタ処理済みの緑色の画素信号と、の相関値を演算する相関値演算手段と、
前記画素混合手段により生成された緑色の画素信号と、前記相関値演算手段により演算された相関値と、に基づいて、赤色又は青色の補間信号を生成する補間手段と、
を備えた撮像装置。
前記補間手段は、前記画素混合手段により生成された緑色の画素信号に基づいて緑色の補間信号を生成し、前記緑色の補間信号と前記相関値とに基づいて、前記緑色の補間信号の空間周波数と同じ空間周波数の赤色又は青色の補間信号を生成する
請求項１に記載の撮像装置。
前記フィルタは、前記赤色又は青色の画素信号の位相に対応するように、前記緑色の画素信号にフィルタ処理を施す
請求項１または請求項２に記載の撮像装置。
正方格子を略４５度回転した状態で複数の画素を配置すると共に、偶数行又は奇数行では赤色及び青色の画素を交互に配置し、奇数行又は偶数行では緑色の画素のみを配置した固体撮像素子から、同色画素の信号を所定個数毎に混合して、赤色、緑色、青色について各々画素信号を生成し、
生成された赤色又は青色の画素信号の混合間隔に対応するように、前記緑色の画素信号にフィルタ処理を施し、
生成された赤色又は青色の画素信号と、前記フィルタ処理済みの緑色の画素信号と、の相関値を演算し、
生成された緑色の画素信号と演算された相関値とに基づいて、赤色又は青色の補間信号を生成する信号処理方法。
生成された緑色の画素信号に基づいて緑色の補間信号を生成し、前記緑色の補間信号と前記相関値とに基づいて、前記緑色の補間信号の空間周波数と同じ空間周波数の赤色又は青色の補間信号を生成する
請求項４に記載の信号処理方法。
前記赤色又は青色の画素信号の位相に対応するように、前記緑色の画素信号にフィルタ処理を施す
請求項４または請求項５に記載の信号処理方法。