JP2004032514A

JP2004032514A - 信号処理回路

Info

Publication number: JP2004032514A
Application number: JP2002187943A
Authority: JP
Inventors: Tamotsu Fukushima; 福島　保; Katsuji Kunimatsu; 國末　勝次
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-01-29
Anticipated expiration: 2022-06-27
Also published as: JP4099010B2

Abstract

【課題】固体撮像素子における空間画素ずらし処理において、彩度の高い被写体においては十分にその効果を得ることができない。
【解決手段】画素ずらし配置された固体撮像素子からのアナログ映像信号を、Ａ／Ｄ変換回路１０Ｒ，１０Ｇ，１０Ｂにおいて、ディジタル信号へと変換し、ローパスフィルタ１１Ｒ，１１Ｇ，１１Ｂにおいて、映像信号の低域成分を取り出す。また、ハイパスフィルタ５１Ｒ，５１Ｇにおいて、ＲおよびＧ信号の高域成分を取り出し、平均回路５２において両者の加算平均を演算し、乗算器１０４にてゲインＫＧを乗算した後、加算器１５Ｒ，１５Ｇ，１５Ｂにおいて、ＲＧＢ各映像信号の低域成分に加算する。ここで、判定回路１０１において、Ｒ信号とＧ信号の低域成分の信号レベルを比較し、高レベル信号Ｌと低レベル信号Ｓの比を演算し、ゲイン生成回路１０３においてゲインＫＧを生成する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は信号処理回路に関し、より特定的には、いわゆる空間画素ずらし法が採用された固体撮像装置で特に有彩色の被写体を撮像した場合に生じるモアレ現象を抑圧するための信号処理回路に関する。
【０００２】
【従来の技術】
いわゆる３板式の固体撮像装置では、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色用の固体撮像素子（例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ））が光学的に映像信号をサンプリングする際に、折り返し歪み（エリアシング）が発生する。
【０００３】
ここで、固体撮像素子が光学的に映像信号をサンプリングする際のサンプリング周波数ｆｓが十分高くない場合、折り返し歪が映像信号帯域内に入り込み、再生画像中にモアレを発生させて画質を劣化させる。すなわち、図１１に示すように、固体撮像素子が光学的にサンプリングする映像信号が波形ａで示す周波数特性を有する場合、サンプリング周波数ｆｓの半分の周波数０．５ｆｓに対して対称的に、波形ｂで示すような折り返し歪みが発生する。原信号ａと折り返し歪みｂは同じ帯域内に重なって存在するため、その両者を分離する事は難しい。
【０００４】
図１１の波形ｂで示すような折り返し歪を低減する方法としては、従来、テレビジョンカメラ装置におけるマトリクス演算機能を用いた、いわゆる「空間画素ずらし」と呼ばれる方法が知られている。この方法では図１２に示すように、例えばＧチャンネルのＣＣＤの受光部（撮像部）の各画素を、ＲチャンネルおよびＢチャンネルのＣＣＤの受光部（撮像部）の各画素に対して、水平走査方向の画素間隔Ｐｘの１／２だけ水平走査方向にずらして配置する。
【０００５】
このように各ＣＣＤを配置することにより、ＲチャンネルおよびＢチャンネルの映像信号の位相がＧチャンネルの映像信号に対してそれぞれ１８０度ずれる。その結果、図１１の波形ｂおよび波形ｃで示すように、ＲチャンネルおよびＢチャンネルについて発生する折り返し歪の位相も、Ｇチャンネルについて発生する折り返し歪みの位相に対してそれぞれ１８０度ずれることになる。
【０００６】
ここで、Ｇ，Ｒ，Ｂの信号をマトリクス演算することにより得られる輝度信号Ｙは、例えば下記の式で表わされる。
Ｙ＝０．５９Ｇ＋０．３０Ｒ＋０．１１Ｂ
ここで、上記の式におけるＧ，Ｒ，Ｂは、それぞれＧチャンネル，Ｒチャンネル，Ｂチャンネルの信号レベルを示す。なお、これらＧチャンネル，Ｒチャンネル，Ｂチャンネルの白レベル（白基準位レベル）のレベル比（白レベル比）は同一（つまり１対１対１）であるとする。
【０００７】
従って、このマトリクス演算により得られる輝度信号Ｙについては、Ｇチャンネルの折り返し歪成分（図１１の波形ｂで示される）と、それとは逆位相のＲチャンネルおよびＢチャンネルの折り返し歪成分（図１１の波形ｃで示される）とが部分的にキャンセルされ、その結果、折り返し歪成分が低減することになる。しかしながらこの場合には、図１１の波形ｄで示される輝度信号Ｙの折返し歪成分Ｙｄが、下記の式が示すように輝度信号Ｙの１８％だけ残ってしまう。
Ｙｄ＝Ｇ―Ｒ―Ｂ＝０．５９―０．３０―０．１１＝０．１８
【０００８】
そこで、映像信号をより高解像度にする方法として、輝度信号の高域成分についてのみマトリクス比を代える方法がある。例えば次の式
ＹＨ＝０．５Ｇ＋０．５Ｒ
により高域輝度信号ＹＨを算出すれば、Ｇ信号（Ｇチャンネルの映像信号）とＲ信号（Ｒチャンネルの映像信号）の比が１：１であるため、折り返し歪成分はキャンセルされる。特にＧ信号とＲ信号の信号レベルが等しい場合には折り返し歪成分は完全にキャンセルされる。
【０００９】
また例えば高域輝度信号ＹＨを次の式
ＹＨ＝０．５Ｇ＋０．３Ｒ＋０．２Ｂ
により算出しても、Ｇ信号と、Ｒ信号およびＢ信号を足し合わせた信号との比が１：１であるため、折り返し歪成分はキャンセルされる。特にＧ信号とＲ信号とＢ信号の信号レベルが等しい場合には折り返し歪成分は完全にキャンセルされる。
【００１０】
【発明が解決しようとする課題】
しかしながら上記の方法では、Ｇ信号と、Ｒ信号および／またはＢ信号とにより折り返し歪成分をキャンセルしているので、彩度の高い被写体については、その効果を十分に得ることができない。例えば赤色の被写体の場合には、Ｒ信号と比較してＧ信号が非常に小さいので、折り返し歪み成分の打ち消し効果が弱くなり、映像の再生時にモアレ現象が画面に強く現れてしまう。
【００１１】
それゆえに本発明の目的は、空間画素ずらし法が採用された固体撮像装置で特に有彩色の被写体を撮像した場合に生じるモアレ現象を抑圧するための信号処理回路を提供することである。また本発明の他の目的は、この信号処理回路の回路規模の増大を抑制することである。
【００１２】
【課題を解決するための手段および発明の効果】
本発明は、上記の目的を達成するために、以下のように構成される。ただし、括弧内の参照符号等は、本発明の理解を助けるために示したものであって、本発明を何ら限定するものではない。
本発明の信号処理回路は、空間画素ずらし法が採用された固体撮像装置において生成された映像信号を処理するためのものであって、固体撮像装置において生成された第１〜第３の映像信号（実施形態との対応関係を示せば、例えばＲ信号，Ｇ信号，Ｂ信号）がそれぞれ入力され、これら第１〜第３の映像信号の低周波領域（Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌ）をそれぞれ通過させる第１〜第３のローパスフィルタ（１１Ｒ，１１Ｇ，１１Ｂ）と、少なくとも第１および第２の映像信号に基づいて、折り返し雑音を低減した高域信号（ＹＨ１）を生成する高域信号処理回路（５０ａ）と、高域信号処理回路によって生成された高域信号を、第１〜第３のローパスフィルタの出力信号（Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌ）にそれぞれ加算する第１〜第３の加算器（１５Ｒ，１５Ｇ，１５Ｂ）とを備え、高域信号処理回路は、少なくとも第１および第２の映像信号の信号レベルに基づいて高域信号の信号レベルを調整するゲイン制御回路（５３ａ）を含むことを特徴とする。これにより、少なくとも第１および第２の映像信号の信号レベルに基づいて高域信号の信号レベルを適宜に調整することが可能となり、その結果、空間画素ずらしの効果が十分に得られない彩度の強い画像において、モアレの発生を抑圧することができる。
【００１３】
なお、上記のゲイン制御回路の説明において「少なくとも第１および第２の映像信号の信号レベルに基づいて高域信号の信号レベルを調整する」とあるが、これは、第１および第２の映像信号自体に限らず、例えばローパスフィルタを通過後の第１および第２の映像信号に基づいて高域信号の信号レベルを調整する場合も含まれる。
【００１４】
また、本発明の信号処理回路は、固体撮像装置の内部に設けられても構わないし、固体撮像装置の外部に独立して設けられても構わない。
【００１５】
【発明の実施の形態】
以下、本発明の種々の実施形態について、図面を参照して説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る信号処理回路の構成を示す。図１において、入力端子１Ｒ，１Ｇ，１Ｂには、図示しないＣＣＤなどの固体撮像素子からの撮像信号に、相関二重サンプリング（ＣＤＳ）やオフセット調整やゲイン調整などの信号処理が施されたアナログ映像信号Ｒ０，Ｇ０，Ｂ０がそれぞれ入力される。なおここでは、上記の固体撮像素子には前述の空間画素ずらし法が適用されており、Ｇチャンネルの固体撮像素子の受光部（撮像部）の各画素が、ＲチャンネルおよびＢチャンネルの固体撮像素子の受光部（撮像部）の各画素に対して、水平走査方向の画素間隔の１／２だけ水平走査方向にずらして配置されているものとする。
【００１６】
アナログ映像信号Ｒ０，Ｇ０，Ｂ０は、それぞれ、Ａ／Ｄ（アナログ・ディジタル）変換回路１０Ｒ，１０Ｇ，１０Ｂにおいてディジタル信号Ｒ１，Ｇ１，Ｂ１へと変換され、ローパスフィルタ（ＬＰＦ）１１Ｒ，１１Ｇ，１１Ｂにおいて映像信号の低域成分のみが取り出される。Ａ／Ｄ変換回路１０Ｒ，１０Ｇの出力信号Ｒ１，Ｇ１は、それぞれ、高域信号処理回路５０ａにおけるハイパスフィルタ（ＨＰＦ）５１Ｒ，５１Ｇにも入力され、Ｒ信号およびＧ信号の高域成分のみが取り出される。なお、一般的には各ローパスフィルタとハイパスフィルタの通過特性は相互補完となる特性とし、この両者の出力信号を加算すれば、元の入力信号が復元されるような特性とする。
【００１７】
ハイパスフィルタ５１Ｒ，５１Ｇの出力である、Ｒ信号およびＧ信号の高域成分は、平均回路５２において両者の加算平均が演算される。なお、平均回路５２は、例えば加算器とビットシフタから構成することができる。これらハイパスフィルタ５１Ｒ，５１Ｇおよび平均回路５２によって、折り返し雑音が低減された高域信号ＹＨ０が生成されることになる。この高域信号ＹＨ０は、ゲイン制御回路５３ａにおいてそのゲインを制御された後、高域信号ＹＨ１として、加算器１５Ｒ，１５Ｇ，１５Ｂへと出力される。加算器１５Ｒ，１５Ｇ，１５Ｂでは、ローパスフィルタ１１Ｒ，１１Ｇ，１１Ｂの出力であるＲＧＢ各チャンネルの映像信号の低域成分Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌに、高域信号処理回路５０ａの出力である共通の高域信号ＹＨ１がそれぞれ加算され、ディジタルプロセス回路１６へと供給される。
【００１８】
ディジタルプロセス回路１６では、ガンマ補正やニー補正や輪郭強調処理など、カメラに必要なディジタル信号処理が行われる。さらに、マトリクス変換回路１７では、ＲＧＢの３原色信号から例えばＹＰｂＰｒといった輝度色差信号へ変換するためのマトリクス変換処理が行われ、その変換結果が、Ｄ／Ａ（ディジタル・アナログ）変換回路１８およびパラレル・シリアル（Ｐ／Ｓ）変換回路１９へと出力する。Ｄ／Ａ変換回路１８では、ディジタル信号をアナログ信号へと変換し、出力端子２Ｙ、２Ｐｂ、２Ｐｒと出力し、Ｐ／Ｓ変換回路１９では、ディジタル信号がパラレル／シリアル変換され、ディジタル・シリアル信号として、出力端子３へと出力される。
【００１９】
ここで、高域信号処理回路５０ａにおけるゲイン制御回路５３ａの構成と動作について詳細に説明する。判定回路１０１には、ローパスフィルタ１１Ｒ，１１Ｇの出力信号Ｒ１Ｌ，Ｇ１Ｌが入力される。判定回路１０１では、入力された信号Ｒ１Ｌと信号Ｇ１Ｌの大小関係が判定され、レベルの高い方が信号Ｌ、低い方が信号Ｓとして出力される。すなわち、Ｒ１Ｌ≧Ｇ１Ｌの場合には、Ｌ＝Ｒ１Ｌ、Ｓ＝Ｇ１Ｌとなり、Ｒ１Ｌ＜Ｇ１Ｌの場合には、Ｌ＝Ｇ１Ｌ、Ｓ＝Ｒ１Ｌとなる。
【００２０】
除算器１０２では、判定回路１０１から出力された信号Ｌおよび信号Ｓに対して、Ｓ／Ｌの除算処理が行われ、信号Ｒ１Ｌと信号Ｇ１Ｌの比Ｋｒが求められる。さらに、ゲイン生成回路１０３では、比ＫｒからゲインＫＧが生成され、乗算器１０４へと出力される。乗算器１０４では、ゲイン制御回路５３ａに入力される高域信号ＹＨ０に対してゲインＫＧが乗算され、高域信号ＹＨ１が生成される。
【００２１】
図２に、ゲイン生成回路１０３の入出力特性の例を示す。
特性ａは、ＫＧ＝Ｋｒであり、Ｇ信号とＲ信号の比に比例して共通高域信号のゲインＫＧを制御する場合の例を示している。
Ｋｒ＝１、すなわちＲ１Ｌ＝Ｇ１Ｌの場合には、Ｒ信号とＧ信号はほぼ等しい振幅レベル（白色に近い画像）であるため、高域信号ＹＨ０（＝０．５Ｒ１Ｌ＋０．５Ｇ１Ｌ）に含まれるＧ信号とＲ信号の比がほぼ１：１となり、折り返し歪成分はほとんどキャンセルされる。つまり、Ｋｒ＝１の場合には空間画素ずらしの効果が十分に発揮されるので、モアレ現象が問題になることはない。したがって、この場合には共通高域信号のゲインＫＧを１とし、ゲイン制御回路５３ａに入力された高域信号をそのまま出力する。
一方、極端な例として、Ｋｒ＝０、すなわちＲ１Ｌ＝０またはＧ１Ｌ＝０の場合には、Ｒ信号およびＧ信号のいずれか一方しか存在しない（原色に近い画像）ので、折り返し歪成分はキャンセルされない。つまり、Ｋｒ＝０の場合には空間画素ずらしの効果を全く得ることができないので、ゲイン制御回路５３ａに入力された高域信号をそのまま出力してしまうとモアレ現象が大きく問題となる。したがって、この場合には共通高域信号のゲインＫＧを０とし、ゲイン制御回路５３ａからは高域信号を全く出力しない（言い換えると、信号レベルが０の高域信号ＹＨ１を出力する）。
Ｋｒの値が上記以外の場合には、Ｋｒの値が小さいほどゲインＫＧを小さくし、ゲイン制御回路５３ａから出力される共通高域信号ＹＨ１のレベルを小さくする。
【００２２】
図３に、信号Ｒ１Ｌ，Ｇ１Ｌに対するゲインＫＧの出力特性を等高線状に示す。Ｒ１Ｌ＝Ｇ１Ｌの場合にはＫＧ＝１となり、Ｒ１Ｌ＝０、またはＧ１Ｌ＝０の場合には、ＫＧ＝０となることがわかる。また、直線Ｒ１Ｌ＝Ｇ１Ｌから離れる（これは被写体の彩度が強まることに相当する）に従い、ゲインＫＧは１から小さな値となる。このように、モアレが目立つような原色に近い画像になるほど共通高域信号のゲインを小さくすることにより、モアレの発生を抑圧している。
【００２３】
なお、図２に示す特性ａは単なる一例であって、本発明はこれに限らない。例えば、図２の特性ｂのように、比Ｋｒが１に近い場合には、ゲインＫＧを１に保つようにしてもよい。これにより、Ｒ信号とＧ信号のバランスが多少異なる場合にも、共通高域信号のゲインを１に保つことができる。
【００２４】
以上のように、第１の実施形態によれば、Ｒ信号とＧ信号のレベルの比に応じて共通高域信号のゲインを変化させるので、特に空間画素ずらしの効果が十分に得られない彩度の強い画像において、モアレの発生を抑圧することができる。
【００２５】
なお、本実施形態では、ハイパスフィルタ５１Ｒ，５１Ｇおよび平均回路５２によって、折り返し雑音が低減された高域信号ＹＨ０が生成される場合について説明したが、本発明はこれに限らず、他の方法により高域信号ＹＨ０を生成しても構わない。例えば、ハイパスフィルタによって映像信号Ｒ１，Ｇ１，Ｂ１の高域成分Ｒ１Ｈ，Ｇ１Ｈ，Ｂ１Ｈをそれぞれ取り出し、これら高域成分を用いて、高域信号ＹＨ０を、ＹＨ０＝０．５Ｇ１Ｈ＋０．３Ｒ１Ｈ＋０．２Ｂ１Ｈにより演算しても構わない。この場合、ゲイン制御回路５３ａにおいて、０．５Ｇ１Ｌと、０．３Ｒ１Ｌ＋０．２Ｂ１Ｌとの比Ｋｒに基づいてゲインＫＧを決定するようにすれば、本実施形態と同様の効果を得ることができる。
【００２６】
（第２の実施形態）
図４に、本発明の第２の実施形態に係る信号処理回路の構成を示す。なお図４において、図１に示した第１の実施形態と同様の部分については同一の参照符号を付し、詳しい説明を省略する。
【００２７】
第２の実施形態では、図４に示す高域信号処理回路５０ｂにおけるゲイン制御回路５３ｂの構成が、図１に示した第１の実施形態のゲイン制御回路５３ａとは異なっている。具体的には、判定回路１０１と乗算器１０４については第１の実施形態と同様であるが、減算器１０５を有することと、ゲイン生成回路１０６の入出力特性が第１の実施形態とは異なる。
【００２８】
判定回路１０１は、第１の実施形態と同じく、入力された信号Ｒ１Ｌと信号Ｇ１Ｌの大小関係を判定し、レベルの高い方を信号Ｌ、低い方を信号Ｓとして出力する。次に、減算器１０５は、Ｌ−Ｓの減算処理を行い、信号Ｒ１Ｌと信号Ｇ１Ｌの信号差Ｋｄを求める。さらに、ゲイン生成回路１０６は、信号差ＫｄからゲインＫＧを生成し、乗算器１０４へと出力する。乗算器１０４は、ゲイン制御回路５３ｂに入力される高域信号ＹＨ０に対してゲインＫＧを乗算して、高域信号ＹＨ１を生成する。
【００２９】
図５に、ゲイン生成回路１０６の入出力特性の例を示す。ただし、ここで信号差Ｋｄは、信号Ｒ１Ｌと信号Ｇ１Ｌを各々最大値を１に正規化した値について演算したものとする。
特性ａは、ＫＧ＝１−Ｋｄであり、Ｇ信号とＲ信号の差に対応して共通高域信号のゲインＫＧを制御する場合の例を示している。
Ｋｄ＝０、すなわちＲ１Ｌ＝Ｇ１Ｌの場合には、Ｒ信号とＧ信号はほぼ等しい振幅レベル（白色に近い画像）である。そこで、空間画素ずらしの効果が十分に発揮されるので、共通高域信号のゲインＫＧを１とし、ゲイン制御回路５３ｂに入力された高域信号をそのまま出力する。
一方、極端な例として、Ｋｄ＝１、すなわちＲ１Ｌ＝０かつＧ１Ｌ＝１、またはＧ１Ｌ＝０かつＲ１Ｌ＝１の場合には、Ｒ信号およびＧ信号のいずれか一方しか存在しない（原色に近い画像）。そこで、空間画素ずらしの効果を得ることができないので、共通高域信号のゲインＫＧを０とし、ゲイン制御回路５３ｂからは高域信号を全く出力しない。
Ｋｄの値が上記以外の場合には、Ｋｄの値が大きいほどゲインＫＧを小さくし、ゲイン制御回路５３ｂから出力される共通高域信号ＹＨ１のレベルを小さくする。
【００３０】
図６に、信号Ｒ１Ｌ，Ｇ１Ｌに対するゲインＫＧの出力特性を等高線状に示す。Ｒ１Ｌ＝Ｇ１Ｌの場合にはＫＧ＝１となり、Ｒ１Ｌ＝０かつＧ１Ｌ＝１、またはＧ１Ｌ＝０かつＲ１Ｌ＝１の場合には、ＫＧ＝０となることがわかる。また、直線Ｒ１Ｌ＝Ｇ１Ｌから離れる（これは被写体の彩度が強まる事に相当する）に従い、ゲインＫＧは１から小さな値となる。このように、モアレが目立つような原色に近い画像になるほど共通高域信号のゲインを小さくすることにより、モアレの発生を抑圧している。
【００３１】
本実施形態では、信号Ｒ１Ｌや信号Ｇ１Ｌが０に近い場合（画像が暗い場合）に、第１の実施形態とは異なる効果を得ることができる。すなわち、第１の実施形態では、図３に示したように、信号Ｒ１Ｌや信号Ｇ１Ｌが０に近い場合にＫＧの等値線が接近しているので、ノイズの影響等によりＫＧが大きく変動することとなる。しかしながら、本実施形態では、図６に示すように、信号Ｒ１Ｌや信号Ｇ１Ｌが０に近い場合でもＫＧの等値線が接近していないので、ノイズの影響等を受けにくい。
【００３２】
なお、図５に示す特性ａは単なる一例であって、本発明はこれに限らない。例えば、図５の特性ｂのように、差Ｋｄが０に近い場合には、ゲインＫＧを１に保つようにしてもよい。これにより、Ｒ信号とＧ信号のバランスが多少異なる場合にも、共通高域信号のゲインを１に保つことができる。
【００３３】
以上のように、第２の実施形態によれば、Ｒ信号とＧ信号のレベルの差に応じて共通高域信号のゲインを変化させるので、特に空間画素ずらしの効果が十分に得られない彩度の強い画像において、モアレの発生を抑圧することができる。また特に、第１の実施形態で用いた除算器の代わりに減算器を用いてゲイン制御回路を構成しているので、第１の実施形態に比べて回路規模の増大を抑制することができる。さらに、Ｒ信号やＧ信号が０に近い、すなわち暗い被写体の時に、ノイズ等に対してゲインＫＧが多大に影響されない構成とすることができる。
【００３４】
なお、本実施形態では、ハイパスフィルタ５１Ｒ，５１Ｇおよび平均回路５２によって、折り返し雑音が低減された高域信号ＹＨ０が生成される場合について説明したが、本発明はこれに限らず、他の方法により高域信号ＹＨ０を生成しても構わない。例えば、ハイパスフィルタによって映像信号Ｒ１，Ｇ１，Ｂ１の高域成分Ｒ１Ｈ，Ｇ１Ｈ，Ｂ１Ｈをそれぞれ取り出し、これら高域成分を用いて、高域信号ＹＨ０を、ＹＨ０＝０．５Ｇ１Ｈ＋０．３Ｒ１Ｈ＋０．２Ｂ１Ｈにより演算しても構わない。この場合、ゲイン制御回路５３ｂにおいて、０．５Ｇ１Ｌと、０．３Ｒ１Ｌ＋０．２Ｂ１Ｌとの差Ｋｄに基づいてゲインＫＧを決定するようにすれば、本実施形態と同様の効果を得ることができる。
【００３５】
（第３の実施形態）
図７に、本発明の第３の実施形態に係る信号処理回路の構成を示す。なお図７において、図４に示した第２の実施形態と同様の部分については同一の参照符号を付し、詳しい説明を省略する。
【００３６】
第３の実施形態では、図７に示す高域信号処理回路５０ｃにおけるゲイン制御回路５３ｃの構成が、図４に示した第２の実施形態のゲイン制御回路５３ｂとは異なっている。具体的には、判定回路１０１、乗算器１０４および減算器１０５については第２の実施形態と同様であるが、加算器１０７を有すること、ゲイン生成回路１０８の入出力特性が第２の実施形態とは異なる。
【００３７】
判定回路１０１は、第２の実施形態と同じく、入力された信号Ｒ１Ｌと信号Ｇ１Ｌの大小関係を判定し、レベルの高い方を信号Ｌ、低い方を信号Ｓとして出力する。次に、減算器１０５は、Ｌ−Ｓの減算処理を行い、信号Ｒ１Ｌと信号Ｇ１Ｌの信号差Ｋｄを求める。また、加算器１０７は、Ｌ＋Ｓの加算処理を行い、信号Ｒ１Ｌと信号Ｇ１Ｌの信号和Ｋｓを求める。さらに、ゲイン生成回路１０８は、信号差Ｋｄおよび信号和ＫｓからゲインＫＧを生成し、乗算器１０４へと出力する。乗算器１０４は、ゲイン制御回路５３ｃに入力される高域信号ＹＨ０に対してゲインＫＧを乗算して、高域信号ＹＨ１を生成する。
【００３８】
ゲイン生成回路１０８は、信号差Ｋｄおよび信号和ＫｓからゲインＫＧを演算するが、その入出力特性は、例えばＫＧ＝１−Ｋｄ（２−Ｋｓ）とする。図８に、この入出力特性を示す。ただし、ここで信号差Ｋｄおよび信号和Ｋｓは、信号Ｒ１Ｌと信号Ｇ１Ｌを各々最大値を１に正規化した値について演算したものとする。また、ゲインＫＧはＫｄとＫｓの二つのパラメータを有するので、図８では横軸をＫｄとして、代表例としていくつかのＫｓに対してその特性を示している。なお、図８に示す入出力特性は単なる一例であって、本発明はこれに限らない。
【００３９】
図８から明らかなように、ゲイン生成回路１０８の出力ＫＧは、信号差Ｋｄが０の場合は１であり、信号差Ｋｄが大きくなるに従ってその値は１から小さくなる。なお、信号差Ｋｄに対する減少度合いは、信号和Ｋｓが大きいほど緩やかで、信号和Ｋｓが小さいほど急になる。
【００４０】
図９に、信号Ｒ１Ｌ，Ｇ１Ｌに対するゲインＫＧの出力特性を等高線状に示す。Ｒ１Ｌ＝Ｇ１Ｌの場合（すなわち被写体が無彩色で画素ずらしの効果が大きい場合）には、ＫＧ＝１となる。また、直線Ｒ１Ｌ＝Ｇ１Ｌから離れる（被写体の彩度が強まることに相当）に従い、ゲインＫＧは１から小さな値となる。
【００４１】
本実施形態では、図９に示したように、高輝度部では第１の実施形態に近い特性を、低輝度部では第２の実施形態に近い特性を有する。これは、画素ずらしの効果が十分に出ない有彩色の被写体において、特にモアレが目立つ高輝度時には、モアレの混在する高域信号を十分に抑圧することを意味する。また、低輝度時、すなわち図９における左下に近い領域では、ゲインＫＧの等値線が平行に近くなり、あまり接近していない。すなわち、第２の実施形態と同様に、ノイズや誤差によりゲインＫＧが不用に大きく変動することがない。また、除算処理を用いていないので、回路規模の増大が抑えられることは言うまでもない。
【００４２】
以上のように、第３の実施形態によれば、Ｒ信号とＧ信号のレベルの差および和に応じて共通高域信号のゲインを変化させるので、特に空間画素ずらしの効果が十分に得られない彩度の強い画像において、モアレの発生を抑圧することができる。また特に、第１の実施形態で用いた除算器の代わりに減算器および加算器を用いてゲイン制御回路を構成しているので、第１の実施形態に比べて回路規模の増大を抑制することができる。さらに、特に高輝度時において第１の実施形態とほぼ同様のモアレ抑圧効果を得ることができると同時に、Ｒ信号やＧ信号が０に近い、すなわち暗い被写体の時に、ノイズや誤差等に対してゲインＫＧが多大に影響されない構成とすることができる。
【００４３】
なお、本実施形態では、ハイパスフィルタ５１Ｒ，５１Ｇおよび平均回路５２によって、折り返し雑音が低減された高域信号ＹＨ０が生成される場合について説明したが、本発明はこれに限らず、他の方法により高域信号ＹＨ０を生成しても構わない。例えば、ハイパスフィルタによって映像信号Ｒ１，Ｇ１，Ｂ１の高域成分Ｒ１Ｈ，Ｇ１Ｈ，Ｂ１Ｈをそれぞれ取り出し、これら高域成分を用いて、高域信号ＹＨ０を、ＹＨ０＝０．５Ｇ１Ｈ＋０．３Ｒ１Ｈ＋０．２Ｂ１Ｈにより演算しても構わない。この場合、ゲイン制御回路５３ｃにおいて、０．５Ｇ１Ｌと、０．３Ｒ１Ｌ＋０．２Ｂ１Ｌとの差Ｋｄおよび和Ｋｓに基づいてゲインＫＧを決定するようにすれば、本実施形態と同様の効果を得ることができる。
【００４４】
（第４の実施形態）
上記第１〜第３の実施形態では、Ｒ信号の高域成分（Ｒ１Ｈ）およびＧ信号の高域成分（Ｇ１Ｈ）に基づいて、ＹＨ０＝０．５Ｒ１Ｈ＋０．５Ｇ１Ｈという関係式により共通高域信号（ＹＨ０）を生成していた。しかしながらこの場合、Ｒ信号が少ないシアン系の映像について、空間画素ずらしの効果が十分に得られないという欠点がある。そこで、第４の実施形態では、Ｒ信号が少ないシアン系の映像については、Ｂ信号の高域成分（Ｂ１Ｈ）およびＧ信号の高域成分（Ｇ１Ｈ）に基づいて、ＹＨ０＝０．５Ｂ１Ｈ＋０．５Ｇ１Ｈという関係式により高域信号（ＹＨ０）を生成することで、上記欠点を解決する。以下、この第４の実施形態について説明する。
【００４５】
図１０に、本発明の第４の実施形態に係る信号処理回路の構成を示す。なお図１０において、図７に示した第３の実施形態と同様の部分については同一の参照符号を付し、詳しい説明を省略する。
【００４６】
第４の実施形態では、図１０に示す高域信号処理回路５０ｄの構成が、図７に示した第３の実施形態の高域信号処理回路５０ｃとは異なっている。具体的には、ハイパスフィルタ５１Ｒ，５１Ｇに加えて、ハイパスフィルタ５１Ｂが存在し、さらにセレクタ５４を有することが第３の実施形態とは異なる。さらに、ゲイン制御回路５３ｄにおいて、図７に示した判定回路１０１の代わりに、判定回路１１０が設けられている点が第３の実施形態とは異なる。
【００４７】
図１０において、Ａ／Ｄ変換回路１０Ｒ，１０Ｇ，１０Ｂの出力信号Ｒ１，Ｇ１，Ｂ１は、それぞれ、高域信号処理回路５０ｄにおけるハイパスフィルタ（ＨＰＦ）５１Ｒ，５１Ｇ，５１Ｂに入力され、ＲＧＢ各信号の高域成分のみが取り出される。ハイパスフィルタ５１Ｒ，５１Ｂの出力であるＲ信号およびＢ信号の高域成分はセレクタ５４へと入力され、後述する判定回路１１０の出力である選択信号ＶＳＥＬに基づいていずれか一方の信号が選択されてセレクタ５４から出力される。セレクタ５４の出力信号は、ハイパスフィルタ５１Ｇの出力であるＧ信号の高域成分と共に平均回路５２へと入力され、両者の加算平均が演算される。
【００４８】
ゲイン制御回路５３ｄの判定回路１１０にはＲＧＢ各信号の低域成分Ｒ１Ｌ，Ｇ１Ｌ，Ｂ１Ｌが入力され、所定の判断基準に基づいてＲ信号（Ｒ１Ｌ）およびＢ信号（Ｂ１Ｌ）からいずれか一方の信号が選択される。判定回路１１０は、その選択結果を選択信号ＶＳＥＬによってセレクタ５４へ供給すると共に、選択したＲ，Ｂいずれかの信号とＧ信号（Ｇ１Ｌ）との大小関係を判定し、レベルの高い方をＬ信号、低い方をＳ信号として出力する。
【００４９】
判定回路１１０の出力である信号Ｌおよび信号Ｓは、第３の実施形態と同様の処理が施され、その結果、ゲインＫＧが決定される。乗算器１０４では、ゲイン制御回路５３ｄに入力される高域信号ＹＨ０に対して、ゲインＫＧが乗算され、高域信号ＹＨ１が生成される。
【００５０】
判定回路１１０においてＲ，Ｂいずれの信号を選択するかの判断基準としては、例えばＲおよびＢ信号のうち信号レベルの大きい方を選択する方法がある。これにより、無彩色から大きく外れた被写体においても、その色相に関わらず信号レベルの大きい信号から高域信号を生成することができる。すなわち、Ｒ信号の少ないシアン系の被写体や照明が存在するような映像においても、Ｂ信号およびＧ信号に基づいて共通高域信号を生成することで、画素ずらしの目的であるモアレ抑圧効果を大きくすることができる。
【００５１】
また、判定回路１１０においてＲ，Ｂいずれの信号を選択するかを判断するときに、単純にＲ信号とＢ信号の信号レベルを比較するのではなく、各信号に２倍や３倍の重み付けをして比較してもよい。例えば、Ｂ信号レベルがＲ信号レベルの２倍より大きい時はＢ信号を選択し、それ以下の時はＲ信号を選択するという方法がある。一般的にＲ信号よりＢ信号の方がノイズ成分が多いので、Ｂ信号から高域信号ＹＨ０を生成するとＳ／Ｎが不利となる。そこで、Ｂ信号がＲ信号に比べて十分な差を持って大きい時にのみ高域信号の源信号とすることで、Ｓ／Ｎの低下を抑えることができる。
【００５２】
なお、本実施形態では、第３の実施形態と同様に、映像信号の差および和に基づいてゲインＫＧを決定するとしたが、本発明はこれに限らない。つまり、第１の実施形態あるいは第２の実施形態のように、映像信号の比あるいは差のみに基づいてゲインＫＧを決定する場合にも、本実施形態と同様の効果を得ることができる。
【００５３】
以上のように、第４の実施形態では、Ｒ信号が少ないときにはＢ信号とＧ信号に基づいて高域信号を生成するので、Ｒ信号が少ないシアン系の映像についても、空間画素ずらしの効果を十分に得ることができる。
【００５４】
なお、以上の第１〜第４の実施形態の説明では、Ｇチャンネルの固体撮像素子（例えばＣＣＤ）を、Ｒ，Ｂチャンネルの固体撮像素子（例えばＣＣＤ）に対して、水平走査方向の画素間隔Ｐｘの１／２だけ水平走査方向にずらして配置した場合について述べたが、本発明はこれに限らず、一般的に、少なくとも２つの映像信号に基づいて折り返し雑音を低減した高域信号を生成することができるように配置された固体撮像素子からの撮像信号に対して本発明を適用することができる。
【００５５】
また、第１〜第４の実施形態では、判定回路への入力としてローパスフィルタの出力信号を用いたが、Ａ／Ｄ変換回路の出力信号を用いてもよい。あるいは、別個のローパスフィルタを設けてその出力信号を用いてもよい。例えば図１の例では、ゲイン制御回路５３ａは、Ａ／Ｄ変換回路１０Ｒ，１０Ｇの出力信号Ｒ１，Ｇ１に基づいてゲインＫＧを決定しても構わないし、さらには、Ａ／Ｄ変換回路１０Ｒ，１０Ｇの出力信号Ｒ１，Ｇ１を新たに設けた２つのローパスフィルタに供給し、この２つのローパスフィルタの出力信号に基づいてゲインＫＧを決定しても構わない。判定回路への入力としてローパスフィルタの出力信号を用いると、ＲＧＢ各信号のレベルの変動に対してゲインＫＧの値が過敏に反応するのを避けることができる。
【００５６】
また、第１〜第４の実施形態では、ハイパスフィルタおよびローパスフィルタを別個に設ける構成としたが、本発明はこれに限らず、例えば、もとの信号からローパスフィルタの出力を減算するような回路をハイパスフィルタとして設けてもよい。例えば図１の例では、ハイパスフィルタ５１Ｒの代わりに、Ａ／Ｄ変換回路１０Ｒの出力信号Ｒ１からローパスフィルタ１１Ｒの出力信号Ｒ１Ｌを減算する回路を設けてもよい。
【００５７】
また、第１〜第４の実施形態では、各映像信号に高域信号を加算するための加算器をディジタルプロセス回路の前段に配置したが、本発明はこれに限らず、ガンマ変換回路あるいはニー回路の後段に加算器を配置してもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る信号処理回路の構成を示すブロック図である。
【図２】第１の実施形態におけるゲイン生成回路の入出力特性図である。
【図３】第１の実施形態におけるゲイン制御回路の制御特性図である。
【図４】本発明の第２の実施形態に係る信号処理回路の構成を示すブロック図である。
【図５】第２の実施形態におけるゲイン生成回路の入出力特性図である。
【図６】第２の実施形態におけるゲイン制御回路の制御特性図である。
【図７】本発明の第３の実施形態に係る信号処理回路の構成を示すブロック図である。
【図８】第３の実施形態におけるゲイン生成回路の入出力特性図である。
【図９】第３の実施形態におけるゲイン制御回路の制御特性図である。
【図１０】本発明の第４の実施形態に係る信号処理回路の構成を示すブロック図である。
【図１１】映像信号と折り返し歪みの相対利得の周波数特性を示す図である。
【図１２】空間画素ずらし法が採用された固体撮像装置における各チャンネルの撮像部間の関係を説明するための図である。
【符号の説明】
１Ｒ、１Ｇ、１Ｂ　入力端子
２Ｙ、２Ｐｂ、２Ｐｒ　出力端子
３　出力端子
１０Ｒ、１０Ｇ、１０Ｂ　Ａ／Ｄ変換回路
１１Ｒ、１１Ｇ、１１Ｂ　ローパスフィルタ
１５Ｒ、１５Ｇ、１５Ｂ　加算器
１６　ディジタルプロセス回路
１７　マトリクス変換回路
１８　Ｄ／Ａ変換回路
１９　パラレル・シリアル変換回路
５０ａ、５０ｂ、５０ｃ、５０ｄ　高域信号処理回路
５１Ｒ、５１Ｇ、５１Ｂ　ハイパスフィルタ
５２　平均回路
５３ａ、５３ｂ、５３ｃ、５４ｄ　ゲイン制御回路
５４　セレクタ
１０１、１１０　判定回路
１０２　除算器
１０３、１０６、１０８　ゲイン生成回路
１０４　乗算器
１０５　減算器
１０７　加算器

Claims

空間画素ずらし法が採用された固体撮像装置において生成された映像信号を処理するための信号処理回路であって、
前記固体撮像装置において生成された第１〜第３の映像信号がそれぞれ入力され、当該第１〜第３の映像信号の低周波領域をそれぞれ通過させる第１〜第３のローパスフィルタと、
少なくとも前記第１および第２の映像信号に基づいて、折り返し雑音を低減した高域信号を生成する高域信号処理回路と、
前記高域信号処理回路によって生成された高域信号を、前記第１〜第３のローパスフィルタの出力信号にそれぞれ加算する第１〜第３の加算器とを備え、
前記高域信号処理回路は、少なくとも前記第１および第２の映像信号の信号レベルに基づいて前記高域信号の信号レベルを調整するゲイン制御回路を含むことを特徴とする信号処理回路。
前記ゲイン制御回路は、前記高域信号に含まれる折り返し雑音の低減度合いに応じて当該高域信号の信号レベルを調整することを特徴とする、請求項１記載の信号処理回路。
前記ゲイン制御回路は、前記高域信号に含まれる折り返し雑音の低減度合いが小さいほど当該高域信号の信号レベルが小さくなるように、当該高域信号の信号レベルを調整することを特徴とする、請求項２記載の信号処理回路。
前記高域信号処理回路は、前記第１および第２の映像信号の高周波領域を通過させる第１および第２のハイパスフィルタと、前記第１および第２のハイパスフィルタの出力を加算平均し、当該加算平均結果を前記高域信号として出力する平均回路とをさらに含む、請求項１記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記第１および第２の映像信号の信号レベルの比に基づいて前記ゲインが決定されることを特徴とする、請求項４記載の信号処理回路。
前記信号レベルの比が除算器により演算されることを特徴とする、請求項５記載の信号処理回路。
前記ゲイン制御回路は、前記第１および第２の映像信号の信号レベルの大小を比較し判定する判定回路をさらに有し、
前記第１および第２の映像信号の信号レベルの比Ｋｒが、前記判定回路の判定結果に基づいてＫｒ≦１となるように演算されることを特徴とする、請求項５記載の信号処理回路。
前記第１および第２の映像信号の信号レベルの比をＫｒとし、前記ゲインをＫＧとするとき、ＫＧ＝Ｋ０×Ｋｒ（Ｋ０は定数）により前記ゲインが演算されることを特徴とする、請求項７記載の信号処理回路。
前記第１および第２のローパスフィルタの出力信号の信号レベルの比に基づいて前記ゲインが決定されることを特徴とする、請求項５記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記第１および第２の映像信号の信号レベルの差に基づいて前記ゲインが決定されることを特徴とする、請求項４記載の信号処理回路。
前記信号レベルの差が減算器により演算されることを特徴とする請求項１０記載の信号処理回路。
前記ゲイン制御回路は、前記第１および第２の映像信号の信号レベルの大小を比較し判定する判定回路をさらに有し、
前記第１および第２の映像信号の信号レベルの差Ｋｄが、前記判定回路の判定結果に基づいてＫｄ≧０となるように算出されることを特徴とする、請求項１０記載の信号処理回路。
前記第１および第２の映像信号の信号レベルの差をＫｄとし、前記ゲインをＫＧとするとき、ＫＧ＝１−Ｋ１×Ｋｄ（Ｋ１は定数）により前記ゲインが演算されることを特徴とする、請求項１２記載の信号処理回路。
前記第１および第２のローパスフィルタの出力信号の信号レベルの差に基づいて前記ゲインが決定されることを特徴とする、請求項１０記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記第１および第２の映像信号の信号レベルの差および和に基づいて前記ゲインが決定されることを特徴とする、請求項４記載の信号処理回路。
前記信号レベルの差が減算器により演算され、前記信号レベルの和が加算器により演算されることを特徴とする、請求項１５記載の信号処理回路。
前記ゲイン制御回路は、前記第１および第２の映像信号の信号レベルの大小を比較し判定する判定回路をさらに有し、
前記第１および第２の映像信号の信号レベルの差Ｋｄが、前記判定回路の判定結果に基づいてＫｄ≧０となるように演算されることを特徴とする、請求項１５記載の信号処理回路。
前記第１および第２の映像信号の信号レベルの差および和をそれぞれＫｄおよびＫｓとし、前記ゲインをＫＧとするとき、ＫＧ＝１−Ｋ１×Ｋｄ×（Ｋ２−Ｋｓ）（Ｋ１，Ｋ２は定数）により前記ゲインが演算されることを特徴とする、請求項１７記載の信号処理回路。
前記第１および第２のローパスフィルタの出力信号の信号レベルの差および和に基づいて前記ゲインが決定されることを特徴とする、請求項１５記載の信号処理回路。
前記第１および第３の映像信号の信号レベルに基づいて、前記第１および第３の映像信号のどちらの映像信号を選択するかを決定する判定回路をさらに含み、
前記高域信号処理回路は、前記判定回路の決定により選択された前記第１および第３の映像信号のいずれか一方の映像信号と第２の映像信号とに基づいて、折り返し雑音を低減した高域信号を生成し、
前記ゲイン制御回路は、前記判定回路の決定により選択された前記第１および第３の映像信号のいずれか一方の映像信号の信号レベルと第２の映像信号の信号レベルとに基づいて前記高域信号の信号レベルを調整することを特徴とする、請求項１記載の信号処理回路。
前記高域信号処理回路は、
前記第１〜第３の映像信号の高周波領域をそれぞれ通過させる第１〜第３のハイパスフィルタと、
前記判定回路の決定結果に基づいて前記第１および第３のハイパスフィルタのいずれか一方の出力を選択するセレクタ回路と、
前記セレクタ回路の出力と前記第２のハイパスフィルタの出力を加算平均し、当該加算平均結果を前記高域信号として出力する平均回路とをさらに含む、請求項２０記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記判定回路の決定により選択された前記第１および第３の映像信号のいずれか一方の映像信号の信号レベルと第２の映像信号の信号レベルの比に基づいて前記ゲインが決定されることを特徴とする、請求項２１記載の信号処理回路。
前記判定回路は、前記第１および第３のローパスフィルタの出力信号の信号レベルの比に基づいて前記第１および第３の映像信号のどちらの映像信号を選択するかを決定し、
前記第１および第３のローパスフィルタの出力信号のうち、前記判定回路の決定により選択された映像信号に対応する方の出力信号の信号レベルと、前記第２のローパスフィルタの出力信号の信号レベルの差に基づいて前記ゲインが決定されることを特徴とする、請求項２２記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記判定回路の決定により選択された前記第１および第３の映像信号のいずれか一方の映像信号の信号レベルと第２の映像信号の信号レベルの差に基づいて前記ゲインが決定されることを特徴とする、請求項２１記載の信号処理回路。
前記判定回路は、前記第１および第３のローパスフィルタの出力信号の信号レベルの比に基づいて前記第１および第３の映像信号のどちらの映像信号を選択するかを決定し、
前記第１および第３のローパスフィルタの出力信号のうち、前記判定回路の決定により選択された映像信号に対応する方の出力信号の信号レベルと、前記第２のローパスフィルタの出力信号の信号レベルの差に基づいて前記ゲインが決定されることを特徴とする、請求項２４記載の信号処理回路。
前記ゲイン制御回路は、前記平均回路の出力信号にゲインを乗算する乗算器を有し、
前記判定回路の決定により選択された前記第１および第３の映像信号のいずれか一方の映像信号の信号レベルと第２の映像信号の信号レベルの差および和に基づいて前記ゲインが決定されることを特徴とする、請求項２１記載の信号処理回路。
前記判定回路は、前記第１および第３のローパスフィルタの出力信号の信号レベルの比に基づいて前記第１および第３の映像信号のどちらの映像信号を選択するかを決定し、
前記第１および第３のローパスフィルタの出力信号のうち、前記判定回路の決定により選択された映像信号に対応する方の出力信号の信号レベルと、前記第２のローパスフィルタの出力信号の信号レベルの差および和に基づいて前記ゲインが決定されることを特徴とする、請求項２６記載の信号処理回路。