JP2006211610A - 撮像システム - Google Patents

Abstract

【課題】従来の撮像システムは、ＲＧＢベイヤーデータを基づき変換式でＹ信号を生成する際、高域成分の欠落により処理された画像には輪郭のボケや忠実な色再現が妨げられ、また新規のアルゴリズムや回路を容易に追加出来ず、結果開発効率の低下を招いている。
【解決手段】本発明は、ＲＧＢ原色系又はＣｒＹｒＹｂＣｂ補色系の色フィルタを経て固体撮像素子により得られた画像信号に対して、ｍ×ｎ（ｍ，ｎは２以上の整数）画素領域の局所領域ごとに輝度信号及び色差信号を算出し、それらの算出信号に対して所定の演算処理を行い、演算処理後の輝度信号及び色差信号に局所領域若しくは局所領域内の一部領域の画像信号に逆変換し、逆変換された単板の画像信号に対して、単板三板化や色変換等を行い、記録媒体に記録させる撮像システムである。
【選択図】 図１

Description

本発明は、カラー画像信号を入力して高画質且つ、高速な画像処理を行う撮像システムに関する。

一般に、ＣＣＤ（Charge Coupled Device ）等の撮像素子を用いた画像入力機器において、より高画質な画像をより高速な処理で実現するために、撮像素子より得られた画像情報を量子化し、これに以下に示す様々なデジタル信号処理を加えて所望の画像を得る手段が用いられている。

通常、撮像素子は、その素子受光面の前方にＲＧＢ等の色フィルタを配置し、該色フィルタを通じて得られた色情報（光像）を量子化された画像データに変換し、この画像データを用いて所望の画像処理を実施する。

前記色情報は、１画素につき１つの色情報で表現される。特に、図９に示すようなＲＧＢカラー情報を用いたベイヤー配列の色情報が広く用いられている。例えば、特許文献１に開示されるように、デジタル信号処理において、色情報に基き、輝度信号（Ｙ）、色差信号（Ｃｒ／Ｃｂ）を計算し、該データに様々な加工を加えて所望の画像を得ることができる。

従来、前記Ｙ／Ｃｒ／Ｃｂ信号への変換において、ＲＧＢベイヤーデータを基に、以下の式（１）による変換を行っていた。

但し、式（１）において、Ｋ１１〜Ｋ３３は、固定値とする。Ｙ信号の生成をする場合は、得られたＲＧＢベイヤーデータ２×２画素領域（１画素領域は、１画素単位を含む領域とする）の２つのＧデータを平均する（Ｒ行のＧデータ：Ｇｒ、Ｂ行のＧデータ：Ｇｂの平均）等の加工後に式（１）のＧ項に代入している。
特許０２５４０８２６公報

前述した従来の画像処理方式は、機能的に問題は無く、所望の動作を実現可能なものであり、広く使用されている。しかしながら、該手段のさらなる特性向上を実現するには、以下述べる様な課題がある。

課題１：信号の品質維持の課題として、
従来、Ｙ／Ｃｒ／Ｃｂ信号への変換において、ＲＧＢベイヤーデータを基に、所定のマトリクス演算式による変換を行っていた。Ｙ信号の生成をする為には、得られたＲＧＢベイヤーデータ２×２画素領域の２つのＧデータを平均する（Ｒ行のＧデータ：Ｇｒ、Ｂ行のＧデータ：Ｇｂの平均）等の加工後に下記の式Ｇ項に代入していた。

この場合、本来Ｇｂ若しくはＧｒデータが有する帯域（高域成分の欠落）を損なった形でＹ信号が生成される為、処理された画像において、輪郭のボケ若しくは色ずれといった忠実な色再現が妨げられていた。

課題２：アルゴリズム開発/ＬＳＩ開発における開発効率の向上の課題として、
また従来、ＲＧＢベイヤーデータからＹ／Ｃｒ／Ｃｂ信号へ変換を行い、画像処理を実施するアルゴリズム若しくはＬＳＩの回路構成が一般的であるが、従来の設計資産（アルゴリズム若しくは処理回路）に対して、新規にＲＧＢベイヤーデータに基づくアルゴリズム若しくは処理回路を追加しアルゴリズム開発若しくはＬＳＩ開発を遂行する場合、従来の設計資産における処理結果は、ＲＧＢベイヤーデータのフォーマットに基づくインターフェースになっていないため、新規のアルゴリズム若しくは回路を容易に追加出来ず、結果開発効率の低下を招いていた。

そこで本発明は、新規のアルゴリズム若しくは回路を容易に追加することが可能であり、輪郭ボケが無く忠実に色再現された高画質なカラー画像を高速な画像処理で実現できる撮像システムを提供することを目的とする。

本発明は上記目的を達成するために、原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号を処理する撮像システムにおいて、前記信号から局所領域ごとに輝度信号及び色差信号を算出する算出手段と、前記輝度信号及び前記色差信号に対して所定の演算処理を行う演算手段と、前記演算処理後の前記輝度信号及び前記色差信号を前記局所領域若しくは前記局所領域内の一部領域の前記信号に逆変換する逆変換手段とを備える撮像システムを提供する。

さらに、Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（緑）色差順次方式色フィルタを前面に配置した単板固体撮像素子からの信号を処理する撮像システムであって、前記信号から局所領域ごとに輝度信号及び色差信号を算出する算出手段と、前記輝度信号及び前記色差信号に対して所定の演算処理を行う演算手段と、前記演算処理後の前記輝度信号及び前記色差信号を前記局所領域若しくは前記局所領域内の一部領域のＲ、Ｇ、Ｂ 信号に変換する変換手段とを備える撮像システムを提供する。

本発明によれば、新規のアルゴリズム若しくは回路を容易に追加することが可能であり、輪郭ボケが無く忠実に色再現された高画質なカラー画像を高速な画像処理で実現できる撮像システムを提供することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明の撮像システムに係る第１の実施形態の構成例を示す。
この撮像システムは、光像からなる被写体像を結像するレンズ系１と、結像された被写体像を光電変換により画像信号を生成する画素が多数配列された撮像素子（ＣＣＤ）２と、撮像された画像信号にデジタル変換処理を施す前処理部３と、デジタル信号を一時的に保持するバッファ４と、バッファ４から転送された画像信号の注目領域を中心とする局所領域を抽出する抽出部５と、その局所領域に対して、輝度色差信号への変換を行う算出部６と、制御部１１の制御に基づき輝度色差信号に対してノイズ低減処理やホワイトバランス処理を施す演算部７と、後述するように単板のＲＧＢ信号へ逆変換する逆変換部８と、逆変換部８から転送された単板の画像信号に対して、単板三板化や色変換等の処理を施す信号処理部９と、信号処理部９により処理された画像信号をメモリーカード等の記録媒体へ記憶させる出力部１０と、各構成部位の全体を制御する様に双方向に接続するマイクロコンピュータ等からなる制御部１１と、電源スイッチ、シャッターボタン、撮影時の各種モードの切り換えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１２とで構成される。制御部１１は、前処理部３、抽出部５、算出部６、演算部７、逆変換部８、信号処理部９及び出力部１０に双方向に接続している。さらに、図示しない電源スイッチ、シャッターボタン、撮影時の各種モードの切り換えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１２も制御部１１に双方向に接続している。

また、レンズ系１内又は、撮像素子（ＣＣＤ）２の前面には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のベイヤー（Ｂaｙeｒ）型フィルタ若しくは、Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（緑）色差線順次方式色フィルタ（若しくは、色差線順次型色フィルタ）が装着されている。勿論、何れかを着脱自在であってもよいし、双方を装着して交換可能に設けられていてもよい。

このように構成された撮像システムによる撮像時の信号の流れについて説明する。
まず、外部Ｉ／Ｆ部１２ を介してＩＳＯ感度などの撮影条件を設定した後、図示しないシャッターボタンを押すことで画像信号が取り込まれる。レンズ系１、ＣＣＤ２ を介して撮影された画像信号は、Ｇain増幅やＡ／Ｄ変換及びＡＦ、ＡＥ制御等を行う前処理部３を経てバッファ４へ転送される。バッファ４に格納された画像信号は、制御部１１の指示されたタイミングで抽出部５が読み出す。抽出部５は、読み出された画像信号の注目領域を中心とする局所領域を抽出し、その局所領域を算出部６に転送する。算出部６は、制御部１１の制御に基づき、局所領域に対して、輝度色差信号への変換処理を行う。

ここで、図２乃至図４を参照して、輝度色差信号への変換について説明する。
図２（ａ）においては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のベイヤー（Ｂayer）型フィルタで得られる場合の説明図であり、６×６画素領域（ここで、１画素領域は、１画素（画素単位）を含む領域として、縦６×横６の３６個の画素単位を含む領域を示唆する）を一単位領域とする構成例を示している。また図２（ｂ）は、輝度／色差信号への変換について説明するための図である。尚、図２（ａ），（ｂ）に示す局所領域は、理解しやすいように、６×６画素としているものであり、限定されているものではない。ここで、注目領域は、Ｒ5，Ｇｒ5，Ｇｂ5，Ｂ5とし、その周辺の点状の円で囲まれた領域が近傍領域となる。この場合、近傍領域の数は８個（エリア）となる。ここで、１エリアは１単位領域となる、２×２の画素単位（縦２×横２の４つの画素を含む領域を示唆する）を含む領域とし、各領域に対して 式（２）を用いてＲＧＢ 信号から輝度色差信号へ変換する。本実施形態では、２×２又は６×６を例としているが、これに限定されず、ｍ×ｎ（ｍ，ｎは２以上の整数）又は、２ｍ×２ｎ（ｍ，ｎは自然数）であってもよい。

図２（ｂ）に示すように、Ｙ1Ｙ2ＣbＣrの信号は、９組算出される。また、輝度色差信号の算出法については図３（ａ）、（ｂ）のような構成も可能である。この場合は図３（ａ）に示すように、近傍領域を一画素ずつ移動させて、輝度色差信号を算出するため、６×６画素の単位領域に対して全部で２５組の輝度色差信号が算出される。

また、図４（ａ）、（ｂ）は、画像信号がＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（緑）色差線順次方式色フィルタ（又は、色差線順次型色フィルタ）で得られる場合の説明図である。この図４（ａ）、（ｂ）では局所領域を６×６画素として説明している。注目領域は、Ｙe5，Ｃy5，Ｇ5，Ｍg5であり、その周辺の点状の円で囲まれた領域が近傍領域となる。

前記式（３）に示すように、ＣyＭgＹeＧ信号からＲＧＢ信号への変換が行われ、ＣyＭgＹeＧ信号から輝度色差信号への変換は、一旦、式（３）からＲＧＢ信号へ変換した後、式（２）を用いて、Ｙ1Ｙ2ＣｂＣｒへ変換する。ここで、ＧとＧ'はそれぞれＧｒとＧｂに対応する。算出された輝度色差信号は、演算部７へ転送される。演算部７は、制御部１１の制御に基づき、輝度色差信号に対してノイズ低減処理やホワイトバランス処理を施す。これら２つの処理についての詳細は後述する。演算部７から転送された演算処理後の画像信号をＹ1'Ｙ2'Ｃb'Ｃr'とすると、逆変換部８は、制御部１１の制御に基づき、式（４）に示すように、単板のＲＧＢ信号へ逆変換する。

ここで、色差線順次型色フィルタで得られる信号は、このままＲＧＢ信号として取り扱ってもよいし、若しくは式（３）で示される演算の逆演算を行うことでＣｙＭｇＹｅＧ信号を得てもよい。

前述した式（２）に示したように、４×４のマトリクスを用いているため、２×２画素領域に対して１対１の変換となり、変換された輝度色差信号に対して何も処理を行わない場合、可逆的にもとの画像信号に逆変換することができる。逆変換された画像信号は、信号処理部９に転送される。信号処理部９は制御部１１の制御に基づき、変換部８から転送された単板の画像信号に対して、単板三板化や色変換等の処理を行い、メモリーカード等の出力部１０に転送する。

図５は、演算部７の第１の構成例を示す図である。
この演算部７は、局所領域抽出部２１、バッファ２２、平均値算出部２３、ノイズ低減部２４、ノイズ推定部２５、パラメータ用ＲＯＭ２６及びゲイン設定部２７とで構成される。この構成において、算出部６から出力された画像信号が局所領域抽出部２１、バッファ２２、平均値算出部２３及びノイズ低減部２４に順次、伝搬されるように接続されている。またバッファ２２は、平均値算出部２３に加えて、ノイズ低減部２４にも画像信号を出力するように接続されている。

上記制御部１１は、局所領域抽出部２１、平均値算出部２３、ノイズ低減部２４、ノイズ推定部２５及びゲイン設定部２７をそれぞれ制御するように双方向に接続している。また、パラメータ用ＲＯＭ２６及び平均値算出部２３は、ノイズ推定部２５に出力するように接続する。ノイズ推定部２５及びゲイン設定部２７は、ノイズ低減部２４に出力するように接続する。さらに、ノイズ低減部２４から逆変換部８に画像信号が出力される。

このように構成された演算部７において、まず局所領域抽出部２１は、算出部６から転送される画像信号の所定の注目画素を中心とする局所領域、例えば５×５の画素単位を含む領域を抽出し、バッファ２２へ転送する。平均値算出部２３は、バッファ２２から転送された局所領域に対して平均値を算出する。算出された平均値はノイズ推定部２５及びノイズ低減部２４に出力される。

この時に、ノイズ低減部２４には、バッファ２２に格納されている局所領域の信号も転送される。ノイズ推定部２５は、制御部１１の制御に基づき、パラメータ用ＲＯＭ２６からノイズ量算出に用いる関数情報を読み出す。ノイズ量Ｎの関数は、例えば、図６に示すような信号値Ｙに対して、べき乗の形態で増加するものが考えられる。これは式（５）のような形態となる。

ここで、α、β、γは定数である。さらに、ノイズ量は校正用画像のＩＳＯ感度によっても増減する。式（５）を拡張すると式（６）に示すように変更できる。

ここで、ｉは増幅率を示すパラメータである。パラメータ用ＲＯＭ２６にはαｉ・βｉ・γｉの定数項が記録される。ノイズ推定部２５は、増幅率に基づきパラメータ用ＲＯＭ２６から上記αｉ、βｉ、γｉの定数項を読み出す。ノイズ推定部２５は、平均値算出部２３から転送された平均値をＹとし、式（６）に基づき、ノイズ量を算出する。上記ノイズ量は局所領域抽出部２１で抽出された領域の中心画素のノイズ量と仮定される。算出されたノイズ量はノイズ低減部２４に転送される。ノイズ低減部２４は制御部１１の制御に基づき、バッファ２２から転送された局所領域の中心画素、平均値算出部２３から転送された局所領域の平均値Ｉ（Bar）、ノイズ推定部２５から転送されたノイズ量Ｎ、及びゲイン設定部２７から転送されたゲイン値μを用いて式（７）に基づき、局所領域における中心画素がノイズであるか否かを判定する。

この式（７）を満たす場合、ノイズであると判断され、中心画素は局所領域の平均値で置き換えられる。それ以外の場合はエッジやテクスチャなどの構造であると判断され、中心画素に対する処理は行われない。ゲインμ値が大きくなるほどノイズであると判定される箇所が増えノイズ低減処理の効果が大きくなる。

図７は、演算部７の第２の構成例を示す図である。
この演算部７'は、バッファ２２、領域抽出部２８、平均値算出部２３、ホワイトバランス係数算出部２９及びホワイトバランス調整部３０とで構成される。この演算部７'において、算出部６から出力された画像信号がバッファ２２を介して、領域抽出部２８及びホワイトバランス調整部３０に出力されるように接続されている。このホワイトバランス調整部３０で処理された画像信号は逆変換部８に出力される。また、制御部１１は、局所領域抽出部２８、平均値算出部２３、ホワイトバランス係数算出部２９及びホワイトバランス調整部３０と双方向に接続している。

この構成において、算出部６にて算出された輝度色差信号は、バッファ２２に一旦転送される。領域抽出部２８ は、制御部１１の制御に基づき、バッファ２２から転送される輝度色差信号を複数の所定領域に分割し、上記所定領域において、ある輝度値以上で、且つ最も色差信号が小さい領域を抽出する。抽出された所定領域は平均値算出部２３に転送される。平均値算出部２３は制御部１１の制御に基づき領域抽出部２８より転送された所定領域の輝度色差信号の平均値を算出する。算出された平均値をＹ1（Bar），Ｙ２（Bar），Ｃb（Bar），Ｃr（Bar）とすると、ホワイトバランス係数算出部２９は、制御部１１の制御により、式（８）に従い、ホワイトバランス係数を算出する。

ホワイトバランス係数算出部２９から算出されたホワイトバランス係数は、ホワイトバランス調整部３０に転送される。ホワイトバランス調整部３０では、制御部１１の制御に基づきバッファ２２から転送される色差信号に対して上記ホワイトバランス係数を減算し、ホワイトバランスの調整を行う。ホワイトバランス調整後の輝度色差信号は逆変換部８へ転送される。

第２の構成例の構成により、単板の画像信号を輝度色差信号に変換した後でも、元の単板の画像信号に逆変換することができ、その後の単板三板化等の処理を正確に行うことができる。尚、この第１の実施形態（第１，２の構成例）では、ハードウェアによる処理を前提として説明したが、これに限定されるものではなく、ソフトウェアによる処理によって実現することもできる。

一例として、図８に示すフローチャートにより前述した第１の実施形態と同様な処理を実現することができる。
まず、撮像された画像信号を読み込む（ステップＳ１）。次いで、前述した抽出部５による処理に相当するように、画像信号の注目領域を中心とする局所領域を抽出する（ステップＳ２）。さらに算出部６による処理に相当するように、画像信号を輝度色差信号に変換する（ステップＳ３）。その後、演算部７の処理に相当するように、所定の演算処理を行う（ステップＳ４）。演算処理された信号に対して、逆変換部８に相当する逆変換処理を行う。つまり、輝度色差信号から元の画像信号に逆変換する（ステップＳ５）。

その後、逆変換処理が画像信号の全注目領域に対して処理が行われたか否か判断し（ステップＳ６）、全注目領域に対して処理が行われた場合（ＹＥＳ）、処理を終了する。一方、まだ全注目領域に対して処理が行われていなければ、ステップＳ２に戻り、再度、局所領域を抽出する。

次に、撮像された画像信号から局所領域毎に算出する輝度信号及び色差信号について説明する。
輝度色差信号は、画像信号（画面）に対して、局所領域に分割して、例えば図４で説明したような２×２画素の領域において、２種類の輝度信号と２種類の色差信号のうちいずれかｎ種類（ｎ≦４）の輝度色差信号が算出される。
次に、本発明の実施形態を詳細に説明するに当り、理解しやすくするために前提として、図９にＲＧＢベイヤーのフォーマットを示し説明する。

図９においては、横方向を水平方向（Ｈ方向）とし、縦方向（Ｖ方向）を垂直方向としている。Ｈ方向において、Ｒ（赤）とＧＲ（緑）の交互のパターン若しくはＧＢ（緑）とＢ（青）の交互のパターンにて、１画素毎の色情報が得られる。尚、この色情報は、ＣＣＤ等の撮像素子２より得られた値をディジタル値として量子化するものである（ＲＧＢベイヤーデータ）。また、本実施形態の説明において、ＲＧＢに基づく色情報配列を記載しているが、例えばＭｇＣｙＹｅの補色系の色情報配列を有する撮像素子２から得られた色情報に基づく考え方も同様である。

また同様に、本実施形態について説明する前提として、図１０（ａ），（ｂ）には、ＲＧＢのベイヤーデータとＹｅ（輝度成分）Ｃｙ（色差成分）データを互いに変換するためのマトリクス（ＲＧＢ−ＹＣ変換式）を示す。

図１０（ａ）において、Ｋ１１〜Ｋ４４は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データに変換するための行列式である。ここでＣｒ、Ｙｒ、Ｙｂ、Ｃｂは以下の定義に従う。Ｋ１１〜Ｋ１４はＣｒ生成の為の係数、Ｋ２１〜Ｋ２４はＹｒ生成の為の係数、Ｋ３１〜Ｋ３４はＣｒ生成の為の係数、Ｋ４１〜Ｋ４４はＣｂ生成の為の係数である。

即ち、
Ｃｒ：輝度に対するＲ成分の色差
Ｙｒ：輝度
Ｙｂ：輝度
Ｃｂ：輝度に対するＢ成分の色差
となる。

図１１は、本発明の実施形態を説明するに当り前提となる４×４の画素領域にて簡略化した、１画面のＲＧＢベイヤーデータの一例である。ここでは、実施形態を理解しやすくするために画角を絞って説明するが、実際には、更に大きな画素サイズとなる。
次に、局所領域の２×２の画素領域において、２種類の輝度信号と２種類の色差信号の内いずれかｎ種類（ｎ≦４）の輝度色差信号を算出するための具現化したハードウェアに関する実施形態に基づいて説明する。

まず、第１の実施形態として、図１２（ａ）には、２×２画素領域単位にて、１画素置きにＲＧＢベイヤーデータからの２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成し、且つ該生成されたいずれか１種類の輝度色差信号を得るための回路例を示す。なお、配線上に記載される数の８は信号数（信号ライン数）を示している。

図１２（ａ）の回路構成について説明する。
この回路構成は、一時的にデータを格納するＦＩＦＯ（First-In First-Out memory）３１と、ＲＧＢベイヤーデータを入力する２段接続されたフリップフロップ（Ｚ^-1）３２，３４と、ＦＩＦＯ３１に処理されたデータを入力する２段接続されたフリップフロップ３３，３５と、４テーブルに分割された係数データを保持する記憶回路３６と、シーケンサ３７の指示に基づき、記憶回路３６から係数データを選択出力するセレクタ３８と、各フリップフロップ３２〜３５から出力されたデータに記憶回路３６から出力された係数データを乗算する乗算器３９，４０，４１，４２と、乗算器３９〜４２の出力を加算する加算器４３と、加算器４３の加算結果（ＣｒＹｒＹｂＣｂの輝度色差データ）を出力するフリップフロップ４４とで構成される。

各構成部位について説明する。
ＦＩＦＯ３１には、例えば１画素当りの色情報が８ｂitのＲＧＢベイヤーデータが逐次入力される。図１１に示す１画面のフォーマットに従うと、ＦＩＦＯ３１の容量は４ワード分（１ワードは１画素当りの色情報）でよい。フリップフロップ３２，３３，３４，３５は、例えば図９に示すハッチングにて示した、２×２画素の領域を確保する。

記憶回路３６は、図１０（ａ）に示したＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データに変換する為の係数データを保持する。ここで示すＫ１１〜Ｋ４４は、８ｂｉｔにて表されるものとする。より具体的には、後述する図２４（ａ）に示すＲＧＢ−ＹＣ変換式に記載された係数を設定する。シーケンサ３７は、セレクタ３８により記憶回路３６から上記係数を選択する。この係数は、シーケンサ３７の値に基づいて、以下の表１に示すようにセレクタ３８にから選択される。また、加算器４３は、乗算器３９，４０，４１，４２により算出された乗算結果を加算する。その加算結果（ＣｒＹｒＹｂＣｂの輝度色差データ）は、制御部１１に制御されるタイミングによりフリップフロップ４４から出力される。

次に図１２（ｂ）には、２×２画素領域単位にて、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータに逆変換するための回路例を示す。

この回路構成は、ＦＩＦＯ４５と、ＣｒＹｒＹｂＣｂの輝度色差データを入力する２段接続されたフリップフロップ４６，４８と、ＦＩＦＯ４５に処理されたデータを入力する２段接続されたフリップフロップ４７，４９と、４テーブルに分割された係数データを保持する記憶回路５０と、シーケンサ５１の指示に基づき、記憶回路５０から係数データを選択出力するセレクタ５２と、各フリップフロップ４６〜４９から出力されたデータに記憶回路５０から出力された係数データを乗算する乗算器５３，５４，５５，５６と、乗算器５３〜５６の出力を加算する加算器５７と、加算器５７の加算結果（ＲＧＢベイヤーデータ）を出力するフリップフロップ５８とで構成される。

各構成部位について説明する。
ＦＩＦＯ４５には、例えば１画素当りの色情報が８ｂｉｔのＣｒＹｒＹｂＣｂの輝度色差データが逐次入力される。このＦＩＦＯ４５の容量は、４ワード分（１ワードは１画素当りの色情報）でよい。４つのフリップフロップ４６〜４９により、２×２画素の領域を確保する。記憶回路５０は、図１０（ｂ）に示したＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータに変換するための行列式（係数データ）を保持する。これらの係数データＣ１１〜Ｃ４４は、８ｂｉｔにて表されるものとする。より具体的には、後述する図２４（ｂ）に記載された係数を設定する。

セレクタ５２は、シーケンサ５１の値に基づいて、記憶回路５０から係数データを選択する。具体的には、係数の選択は、シーケンサ５１の値により以下に示す表２に従って出力される。

次に、図１２（ａ）に示す回路構成において、図１３に示すタイミングチャートを一例として参照し、変換動作について説明する。図１３において、ＣＬＫは回路を動作させるタイミングを計るためのクロックであり、ＦＩＦＯ３１、フリップフロップ３２〜３５、シーケンサ３７及びフリップフロップ４４に供給される。シーケンス信号Seq１、０はシーケンサ３７の出力である。このシーケンサ３７のSeq１、０に従って、表１に示すような所定のマトリクス係数がセレクタ３８の出力端子ａ〜ｄから出力される。ＲＧＢベイヤーは、入力される画像データである。

さらに、ＲＧＢベイヤー（１Ｈ遅延）は、ＦＩＦＯ３１にて１ライン分遅延されたＲＧＢベイヤーの画像データである。ＲＧＢベイヤー（１Ｄ遅延）は、ＲＧＢベイヤーの画像データを１ＣＬＫ分遅延させたものであり、フリップフロップ３２の出力である。ＲＧＢベイヤー（２Ｄ遅延）は、ＲＧＢベイヤーの画像データを２ＣＬＫ分遅延させたものであり、フリップフロップ３４の出力である。ＲＧＢベイヤー（１Ｈ＋１Ｄ遅延）は、ＦＩＦＯ３１から出力されるＲＧＢベイヤーの画像データを１ＣＬＫ分遅延させたものであり、フリップフロップ３３の出力である。ＲＧＢベイヤー（１Ｈ＋２Ｄ遅延）は、ＦＩＦＯ３１から出力されたＲＧＢベイヤーの画像データを２ＣＬＫ分遅延させたものであり、フリップフロップ３５の出力である。

これらのＲＧＢベイヤーの画像データ（１Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋１Ｄ遅延）、ＲＧＢベイヤーの画像データ（２Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋２Ｄ遅延）のハッチングのかかったデータを用いて、ＣｒＹｒＹｂＣｂの輝度色差データへの変換を行う。例えば、ハッチングのかかった２×２画素データ、Ｒ００、Ｇ０１、Ｇ１０、Ｂ１１を用いて、式（９）による演算を実施し、Ｃｒ００を得る。

ここで、係数データは、Ｋ１１＝０．５０、Ｋ１２＝−０．２１０、Ｋ１３＝−０．２１０、Ｋ＝−０．０８１とする。次に、これらのＧ０１、Ｒ０２、Ｂ１１及びＧ１２を用いて、式（１０）による演算を実施し、Ｙ０１を得る。

ここで、係数データは、Ｋ２１＝０．２９９、Ｋ２２＝０．２９４、Ｋ２３＝０．２９４、Ｋ２４＝０．１１４とする。Ｃｒ０２も式（８）と同様にして求め、図１１に示したＲＧＢベイヤーフォーマットにおいて、第１行のＣｒＹｒＹｂＣｂの輝度色差データへの変換を終了する。次に、Ｇ１０、Ｂ１１、Ｒ２０、Ｇ２１を用いて、式（１１）による演算を実施し、Ｙ１０を得る。

ここで、Ｋ＝０．２９９、Ｋ３２＝０．２９４、Ｋ３３＝０．２９４、Ｋ３４＝０．１１４とする。
次に、Ｂ１１、Ｇ１２、Ｇ２１、Ｒ２２を用いて、式（１２）による演算を実施し、Ｃｂ１１を得る。

ここで、Ｋ４１＝−０．１６９、Ｋ４２＝−０．１６５、Ｋ４３＝−０．１６５、Ｋ４４＝−０．５０とする。
また、Ｙ１２も前述した式（１１）と同様に演算して求め、図１１における第２行のＣｒＹｒＹｂＣｂの輝度色差データへの変換を終了する。
引き続き、前述した式（２），（３）と同様にして、図１１に示す第３行のＣｒＹｒＹｂＣｂの輝度色差データへの変換を終了する。

次に、図１２（ｂ）に示す回路構成において、図１４に示すタイミングチャートを一例として参照し、変換動作について説明する。
図１４において、ＣＬＫは回路を動作させるタイミングを計るためのクロックであり、ＦＩＦＯ４５、フリップフロップ４６〜４９、シーケンサ５１及びフリップフロップ５８に供給される。シーケンス信号Seq０，１はシーケンサ５１の出力である。このシーケンサ５１から出力されたSeq０，１に従って、表２に示すような所定のマトリクス係数がセレクタ５２の出力端子ａ〜ｄから出力される。ＣｒＹｒＹｂＣｂは、入力される輝度色差データである。

さらに、ＣｒＹｒＹｂＣｂ（１Ｈ遅延）は、ＦＩＦＯ４５にて１ライン分遅延されたＣｒＹｒＹｂＣｂの輝度色差データである。ＣｒＹｒＹｂＣｂ（１Ｄ遅延）は、ＣｒＹｒＹｂＣｂの輝度色差データを１ＣＬＫ分遅延させたものであり、フリップフロップ４６の出力である。ＣｒＹｒＹｂＣｂ（２Ｄ遅延）は、ＣｒＹｒＹｂＣｂの輝度色差データを２ＣＬＫ分遅延させたものであり、フリップフロップ４８の出力である。ＣｒＹｒＹｂＣｂ（１Ｈ＋１Ｄ遅延）は、ＦＩＦＯ４５から出力されるＣｒＹｒＹｂＣｂの輝度色差データを１ＣＬＫ分遅延させたものであり、フリップフロップ４７の出力である。ＣｒＹｒＹｂＣｂ（１Ｈ＋２Ｄ遅延）は、ＦＩＦＯ４５から出力されたＣｒＹｒＹｂＣｂの輝度色差データを２ＣＬＫ分遅延させたものであり、フリップフロップ４９の出力である。

これらのＣｒＹｒＹｂＣｂの輝度色差データ（１Ｄ遅延）、ＣｒＹｒＹｂＣｂの輝度色差データ（１Ｈ＋１Ｄ遅延）、ＣｒＹｒＹｂＣｂの輝度色差データ（２Ｄ遅延）、ＣｒＹｒＹｂＣｂの輝度色差データ（１Ｈ＋２Ｄ遅延）のハッチングのかかったデータを用いて、ＲＧＢベイヤーの画像データへの変換を行う。例えば、ハッチングのかかった２×２画素データ、Ｃｒ００、Ｙ０１、Ｙ１０、Ｃｂ１１を用いて、式（１３）による演算を実施し、Ｒ００を得る。

次に、Ｙ０１、Ｃｒ０２、Ｃｂ１１、Ｙ１２を用いて、式（１４）による演算を実施し、Ｇ０１を得る。

以上の演算処理により、図１１に示す第１行のＲＧＢベイヤーデータへの変換を終了する。次に、Ｙ１０、Ｃｒ１１、Ｃｒ２０、Ｙ２１を用いて、式（１５）による演算を実施し、Ｇ１０を得る。

次に、Ｃｂ１１、Ｙ１２、Ｙ２１、Ｃｂ２２を用いて、式（１６）による演算を実施し、Ｂ１１を得る。

以上のような演算処理により、図１１に示す第２行のＣｒＹｒＹｂＣｂの輝度色差データへの変換を終了する。
従って、本実施形態では、図１２（ａ）に示した演算処理により、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換する構成と、図１２（ａ）に示した演算処理により、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換する構成をそれぞれ別個の回路にて実現している。

さらに第１の実施形態の第１の変形例として、図１５には、前述した図１２（ａ），（ｂ）を併せて、ハードウェアを小規模化し、装置コストの低減を実現させるために、各種の回路リソースを共有化した構成例を示す。
この第１の変形例の構成では、２×２画素領域単位にて、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データに変換又は、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータに逆変換するための回路例を示す。なお、配線上に記載される数字８は信号数（信号ライン数）を示している。

この回路構成は、入力するＲＧＢベイヤーデータとＣｒＹｒＹｂＣｂの輝度色差データの何れかを選択するセレクタ６１と、ＦＩＦＯ６２と、選択されたデータを入力する２段接続されたフリップフロップ６３，６５と、ＦＩＦＯ６２に処理されたデータを入力する２段接続されたフリップフロップ６４，６６と、ＲＧＢベイヤーデータ及びＣｒＹｒＹｂＣｂの輝度色差データに対してそれぞれ４テーブル（計８テーブル）に分割された係数データを保持する記憶回路６７と、所定のモード（Mode）信号により記憶回路６７から読み出すテーブル群（ＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データのテーブル）を選択するセレクタ６９ａと、シーケンサ６８の指示に基づき、セレクタ６９ａで選択されている記憶回路６７のテーブルから係数データを選択出力するセレクタ６９ｂと、各フリップフロップ６３〜６６から出力されたデータに記憶回路６７から読み出された係数データを乗算する乗算器７０，７１，７２，７３と、乗算器７０〜７３の出力を加算する加算器７４と、加算器７４の加算結果（ＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データ）を出力するフリップフロップ７５とで構成される。

各構成部位について詳細に説明する。
この回路構成において、セレクタ６１は、ＲＧＢベイヤーデータ若しくはＣｒＹｒＹｂＣｂの輝度色差データを入力データとして、図示しない上位コントローラ等から与えられるモード信号によって何れか一方を選択する。例えば、モード信号がＬ（Low level）の時、セレクタ６１はＲＧＢベイヤーデータを選択し、モード信号がＨ（High level）の時ＣｒＹｒＹｂＣｂの輝度色差データを選択する。セレクタ６１の出力端に接続するＦＩＦＯ６２には、例えば１画素当りの色情報が８bitのＲＧＢベイヤーデータ若しくはＣｒＹｒＹｂＣｂの輝度色差データが逐次入力される。例えば、図１１に示したように、１画面のフォーマットに従うと、ＦＩＦＯ６２の容量は、４ワード分（１ワードは１画素当りの色情報）でよい。４つのフリップフロップ６３〜６６は、例えば、図９に示したようなハッチングにて示した、２×２画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ））の領域を確保する。

また、記憶回路６７においては、図１０（ａ）に示したＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための係数（Ｋ１１〜Ｋ４４）、及び図１０（ｂ）に示したＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換するための係数（Ｃ１１〜Ｃ４４）を保持している。より具体的には、図２９（ａ），（ｂ）に示すような各係数を設定する。

さらに、シーケンサ６８は、セレクタ６９ｂにおいて、モード信号によりセレクタ６９ａで選択されているＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データにおける係数を選択して出力させる。この係数の選択としては、前述したモード信号値がＬの時には、セレクタ６９ａからＫ１１〜Ｋ４４が出力される。またセレクタ６９ｂにおけるａ〜ｄ値は、シーケンサ６８の値（Ｌ又はＨレベル）により前述した表１又は表２に示すと同様に出力される。

この変形例における動作は、前述した図１２（ａ），（ｂ）に示した構成における動作に対して、最初にセレクタ６１及びセレクタ６９ａによるＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データの選択処理が付加されただけであり、以外の動作は同等であり、ここでの説明は省略する。

以上説明した変形例は、ＲＧＢベイヤーデータの２×２画素領域より、２種類の輝度信号及び２種類の色差信号を生成し、且つ該生成されたいずれか１種類の輝度色差信号を得ることが可能である。また、得られた輝度色差信号の２×２画素領域よりＲＧＢベイヤーデータを演算し、入力時のＲＧＢベイヤーデータのフォーマットに戻すことが可能である。

ここで図１６は、２×２画素領域単位にて、ＲＧＢベイヤーデータからの２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成し、且つ該生成されたいずれかｎ（ｎ≦４）種類の輝度色差信号を得るための回路例を示す。ここでは、ＲＧＢベイヤーから、ｎ（ｎ≦４）種類の輝度色差信号を得る回路全体を示している。この例では、ｎ＝２としている。

この輝度色差信号算出回路は、前述した図１２（ａ）で示したＲＧＢベイヤーからそれぞれ１種類の輝度色差信号を得る回路２１２及び回路２１３と、任意の画像処理回路２１４と、図１２（ｂ）にて示した輝度色差信号からＲＧＢベイヤーを復元する回路２１５とで構成される。但し、回路２１２と回路２１３では、輝度色差信号の出力順番を異ならせている。

次に第２の実施形態について説明する。第２の実施形態として、図１７及び図１８には、２×２画素領域単位にて、ＲＧＢベイヤーデータからの２×２画素領域より、１画素置きに２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成する回路例を示す。また、図１９及び図２０には、２×２画素領域単位にて、ＣｒＹｒＹｂＣｂの輝度色差データから１画素置きにＲＧＢベイヤーデータに逆変換するための回路例を示す。なお、配線上に記載される数の８は信号数（信号ライン数）を示している。

図１７は、ＲＧＢベイヤーデータの入力手段の構成例を示す図である。
この回路構成は、ＲＧＢベイヤーデータが入力されるＦＩＦＯ８１と、同様にＲＧＢベイヤーデータが入力される２段接続されたフリップフロップ８２，８４と、ＦＩＦＯ８１に処理されたデータを入力する２段接続されたフリップフロップ８３，８５と、フリップフロップ８２〜８５が出力する４データのうちの何れかを選択するセレクタ８７と、セレクタ８７におけるデータ選択を指示するシーケンサ８６とで構成される。

このような構成において、ＦＩＦＯ８１には、例えば１画素当りの色情報が８bit のＲＧＢベイヤーデータが逐次入力される。図１１に示したように、１画面のフォーマットに従うと、該ＦＩＦＯの容量は４ワード分（１ワードは１画素当りの色情報）でよい。４つのフリップフロップ８２〜８５は、例えば、図９でハッチングにて示した、２×２画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の領域を確保する。

次に図１８には、前述した入力手段により選択された各ベイヤーデータに対して、２種類の輝度信号及び２種類の色差信号を生成する回路構成を示し説明する。
この回路は、図１８（ａ）〜（ｄ）に示すように、それぞれにＣｒ、Ｙｒ、Ｙｂ及びＣｂを個々に生成するために、同等な４つの回路を有している。

図１８（ａ）に示す回路は、セレクタ８７より選択されたデータをそれぞれに入力し、後述する係数と乗算する乗算器８８，８９，９０，９１と、乗算結果を加算する加算器９２と、加算器９２からＣｒの値を出力するフリップフロップ９３とで構成される。

同様に、図１８（ｂ）においては、乗算器９４，９５，９６，９７と、加算器９８と、Ｙｒの値を出力するフリップフロップ９９とで構成される。図１８（ｃ）においては、乗算器１００，１０１，１０２，１０３と、加算器１０４と、Ｙｂの値を出力するフリップフロップ１０５とで構成される。図１８（ｄ）においては、乗算器１０６，１０７，１０８，１０９と、加算器１１０と、Ｃｂの値を出力するフリップフロップ１１１とで構成される。

各乗算器８８〜９１に入力されるＫ１１〜Ｋ１４は、前述した図１０（ａ）又は図２９（ａ）に示す行列式による第１行の固定の係数であり、以下同様に、乗算器９４〜９７に入力されているＫ２１〜Ｋ２４の値は、同じ行列式に示した第２行の固定の係数、乗算器１００〜１０３に入力されているＫ３１〜Ｋ３４の値は、同じ行列式に示した第３行の固定の係数、乗算器１０６〜１０９に入力されているＫ４１〜Ｋ４４の値は、同じ行列式に示した第４行の固定の係数である。

次に図１９及び図２０を参照して、ＣｒＹｒＹｂＣｂの輝度色差データから１画素置きにＲＧＢベイヤーデータに逆変換するための回路例について説明する。
図１９（ａ）は、Ｃｒ，Ｙｒ，Ｙｂ，Ｃｂの各輝度色差データが入力し、後述する係数とそれぞれに乗算する乗算器１２１、１２２，１２３，１２４と、これらの乗算結果を加算する加算器１２５と、Ｒの値を出力するフリップフロップ１２６とで構成される。以下同様に、図１９（ｂ）は、前記各輝度色差データと各係数とを乗算する乗算器１２７，１２８，１２９，１３０と、これらの乗算結果を加算する加算器１３１と、Ｇｒの値を出力するフリップフロップ１３２とで構成される。図１９（ｃ）は、前記各輝度色差データと各係数とを乗算する乗算器１３３，１３４，１３５，１３６と、これらの乗算結果を加算する加算器１３７と、Ｇｂの値を出力するフリップフロップ１３８とで構成される。図１９（ｄ）は、前記各輝度色差データと各係数とを乗算する乗算器１３９，１４０，１４１，１４２と、これらの乗算結果を加算する加算器１４３と、Ｂの値を出力するフリップフロップ１４４とで構成される。

これらの構成において、各乗算器１２１〜１２４に入力されるＣ１１〜Ｃ１４は、前述した図１０（ｂ）又は図２９（ｂ）に示す行列式による第１行の固定の係数であり、以下同様に、乗算器１２７〜１３０に入力されているＣ２１〜Ｃ２４の値は、同じ行列式に示した第２行の固定の係数、乗算器１３３〜１３６に入力されているＣ３１〜Ｃ３４の値は、同じ行列式に示した第３行の固定の係数、乗算器１３９〜１４２に入力されているＣ４１〜Ｃ４４の値は、同じ行列式に示した第４行の固定の係数である。

図２０は、ＲＧＢベイヤーデータの出力手段を示しており、前述した図１９（ａ）〜（ｄ）におけるフリップフロップ１２６，１３２，１３８，１４４からそれぞれ出力されるＲ，Ｇｒ，Ｇｂ，Ｂのデータを選択出力するセレクタ１４６と、セレクタ１４６に選択指示を与えるシーケンサ１４５とで構成される。このセレクタ１４６は、シーケンサ１４５により、各演算で得られた４種類のＲＧＢベイヤーの値より１種類の画像データを選択する出力する。表４には、セレクタ４の５の動作を示す。

次に図２１に示すタイミングチャートを参照して、第２の実施形態におけるベイヤーデータに対して、２種類の輝度信号及び２種類の色差信号を生成する動作について説明する。 図２１において、ＣＬＫは回路を動作させるためのクロックである。このクロックは、図１７及び図１８に示したＦＩＦＯ８１、フリップフロップ８２〜８５、シーケンサ８６及びフリップフロップ９３，９９，１０５，１１１にそれぞれ供給される。シーケンス信号Seq１、０は、シーケンサ８６の出力である。シーケンサ８６の出力に従って、セレクタ８７の出力ａ〜ｄには所定のベイヤーデータが出力される（表３を参照）。

また、各ＲＧＢベイヤーは、入力される画像データである。ここで、ＲＧＢベイヤー（１Ｈ遅延）は、ＦＩＦＯ８１にて１ライン分遅延されたＲＧＢベイヤーの画像データである。ＲＧＢベイヤー（１Ｄ遅延）は、前記ＲＧＢベイヤー（１Ｈ遅延）の画像データをさらに１ＣＬＫ分遅延させたものであり、フリップフロップ９２の出力である。ＲＧＢベイヤー（２Ｄ遅延）は、前記ＲＧＢベイヤー（１Ｈ遅延）の画像データを２ＣＬＫ分遅延させたものであり、フリップフロップ８４の出力である。ＲＧＢベイヤー（１Ｈ＋１Ｄ遅延）は、前記ＦＩＦＯ８１出力のＲＧＢベイヤーの画像データを１ＣＬＫ分遅延させたものであり、フリップフロップ８３の出力である。ＲＧＢベイヤー（１Ｈ＋２Ｄ遅延）は、前記ＦＩＦＯ８１の出力のＲＧＢベイヤーの画像データを２ＣＬＫ分遅延させたものであり、フリップフロップ８５の出力である。

これらのうち、ＲＧＢベイヤーの画像データ（１Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋１Ｄ遅延）、ＲＧＢベイヤーの画像データ（２Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋２Ｄ遅延）の図２１におけるハッチングのかかったデータを用いて、ＣｒＹｒＹｂＣｂの輝度色差データへの変換を行う。例えば、Ｒ００、Ｇ０１、Ｇ１０、Ｂ１１の画像データを用いて、Ｙｒ００、Ｃｒ００、Ｃｂ００、Ｙｂ００を得る。図２１における、ＣｒＹｒＹｂＣｂ４板の“１”がこの結果に相当する。

更に、２×２画素の領域を１画素ずらしたＧ０１、Ｒ０２、Ｂ１１、Ｇ１２を用いて輝度色差データＹｒ０１、Ｃｒ０１、Ｃｂ０１、Ｙｂ０１を得る。図２１においてＣｒＹｒＹｂＣｂ４板の“２”がこの結果に相当する。こうして逐次１画素置きに２種類の輝度信号と２種類の色差信号を得ることが可能となる。

次に図２２に示すタイミングチャートを参照して、第２の実施形態におけるＣｒＹｒＹｂＣｂの輝度色差データから１画素置きにＲＧＢベイヤーデータに逆変換する動作について説明する。

図２２において、ＣＬＫは回路を動作させるためのクロックである。このクロックは、図１９及び図２０に示したフリップフロップ１２６，１３２，１３８，１４４及びシーケンサ１４５にそれぞれ供給される。シーケンス信号Seq１、０は、シーケンサ１４５の出力である。シーケンサ１４５の出力に従って、セレクタ１４６の出力ａ〜ｄには所定のＲＧＢベイヤーデータが出力される（表４を参照）。

ＣｒＹｒＹｂＣｂは、入力される輝度色差の画像データである。例えば、”１”はＹｒ００、Ｃｒ００、Ｃｂ００、Ｙｂ００の４ワードの輝度色差の画像データを示す。この４ワードの輝度色差データを用いて、ＲＧＢベイヤーデータを演算し、図２２に示すＲ、Ｇｒ、Ｇｂ、Ｂを得る。図２２に示すＲＧＢベイヤーは、図２０におけるセレクタ１４６の出力結果である。

このように、第２の実施形態（図１７〜図２０）では、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換する構成と、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換する構成を別回路にて実現している。

さらに第２の実施形態の変形例として、ハードウェア規模を小さくして、装置のコストを低減するために、各種の回路リソースを共有化した一例について説明する。図２３、図２４及び図２５には、この変形例の構成を示す。

図２３は、ＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データの入力手段の一構成例を示している。この構成例においては、ＦＩＦＯ１５１と、ＲＧＢベイヤーデータを入力する２段接続されたフリップフロップ１５２，１５４と、ＦＩＦＯ１５１に処理されたデータを入力する２段接続されたフリップフロップ１５３，１５５と、シーケンサ１５７の指示に基づき、回路内に入力するＲＧＢベイヤーデータを選択出力するセレクタ１５６と、セレクタ１５６により選択出力されたＲＧＢベイヤーデータとＣｒＹｒＹｂＣｂの輝度色差データとの各データをモード（Mode）信号によりを選択して回路内に取り込むセレクタ１５８とで構成される。

この入力手段は、図１１に示した１画面のフォーマットに従うと、ＦＩＦＯ１５１の容量は、４ワード分（１ワードは１画素当りの色情報）でよい。フリップフロップ１５２〜１５５により、例えば図９でハッチングする２×２画素領域（Ｒ，Ｇｒ，Ｇｂ，Ｂ）を確保する。

さらに、フリップフロップ１５２〜１５５のデータは、シーケンサ１５７の指示により、セレクタ１５６にて選択され、次段のセレクタ１５８に入力される。シーケンサ１５７及びセレクタ１５６における選択は、前述した表３に従い行われる。セレクタ１５８では、図示しない上位コントローラ等から与えられるモード（Mode）信号によってＲＧＢベイヤーデータ若しくはＣｒＹｒＹｂＣｂの輝度色差データを選択する。例えば、モード信号がＬの時、セレクタ１５８は、ＲＧＢベイヤーデータ（a１、ｂ１、c１、d１）を選択し、一方、Ｈの時には、ＣｒＹｒＹｂＣｂの輝度色差データを選択して、それぞれａ，ｂ，ｃ，ｄとして出力する。

図２４（ａ）〜（ｄ）は、演算処理手段を示している。この演算処理手段において、セレクタ１６０，１６２，１６４，１６６は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための係数（Ｋ１１〜Ｋ４４）又は、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換するための係数（Ｃ１１〜Ｃ４４）を選択する。この選択は、モード信号がＬの時、セレクタ１６０，１６２，１６４，１６６は、Ｋ１１〜Ｋ４４を選択し、一方、モード信号がＨの時、Ｃ１１〜Ｃ４４を選択して、それぞれの係数を出力する。また、各セレクタ１６０，１６２，１６４，１６６の出力側には、乗算器１６１，１６３，１６５，１６７がそれぞれ接続され、前記係数（Ｋ１１〜Ｋ４４又はＣ１１〜Ｃ４４）とデータを各々乗算する。これらの乗算器１６１，１６３，１６５，１６７の出力側には、加算器１６８が接続され、出力された乗算結果が加算される。加算された結果Ｗは、フリップフロップ１６９から指示により、後述するセレクタ２０１に出力される。

以下同様に、図２４（ｂ）は、セレクタ１７０，１７２，１７４，１７６と、乗算器１７１，１７３，１７５，１７７と、加算器１７８と、フリップフロップ１７９とで構成される。この構成において、セレクタ１７０，１７２，１７４，１７６は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための係数（Ｋ２１〜Ｋ２４）及びＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換するための係数（Ｃ２１〜Ｃ２４）を選択する。これらのセレクタ１７０，１７２，１７４，１７６による選択は、モード信号がＬの時、係数（Ｋ２１〜Ｋ２４）を選択し、モード信号がＨの時、係数（Ｃ２１〜Ｃ２４）を選択し、それぞれの係数を出力するものとする。乗算器１７１，１７３，１７４，１７６は、これらの係数と、セレクタ１５８の出力データとを各々乗算する。これらの乗算器１７１，１７３，１７５，１７７の出力側には、加算器１７８が接続され、出力された乗算結果が加算される。加算された結果Ｘは、フリップフロップ１７９から指示により、後述するセレクタ２０１に出力される。

図２４（ｃ）は、セレクタ１８０，１８２，１８４，１８６と、乗算器１８１，１８３，１８５，１８７と、加算器１８８と、フリップフロップ１８９とで構成される。この構成において、セレクタ１８０，１８２，１８４，１８６は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための係数（Ｋ３１〜Ｋ３４）及びＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換するための係数（Ｃ３１〜Ｃ３４）を選択する。これらのセレクタ１８０，１８２，１８４，１８６による選択は、モード信号がＬの時、係数（Ｋ３１〜Ｋ３４）を選択し、モード信号がＨの時、係数（Ｃ３１〜Ｃ３４）を選択し、それぞれの係数を出力するものとする。乗算器１８１，１８３，１８５，１８７は、これらの係数と、セレクタ１５８の出力データとを各々乗算する。これらの乗算器１８１，１８３，１８５，１８７の出力側には、加算器１８８が接続され、出力された乗算結果が加算される。加算された結果Ｙは、フリップフロップ１８９から指示により、後述するセレクタ２０１に出力される。

図２４（ｄ）は、セレクタ１９０，１９２，１９４，１９６と、乗算器１９１，１９３，１９５，１９７と、加算器１９８と、フリップフロップ１９９とで構成される。この構成において、セレクタ１９０，１９２，１９４，１９６は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための係数（Ｋ３１〜Ｋ３４）及びＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータへ変換するための係数（Ｃ３１〜Ｃ３４）を選択する。これらのセレクタ１９０，１９２，１９４，１９６による選択は、モード信号がＬの時、係数（Ｋ３１〜Ｋ３４）を選択し、モード信号がＨの時、係数（Ｃ３１〜Ｃ３４）を選択し、それぞれの係数を出力するものとする。乗算器１９１，１９３，１９５，１９７は、これらの係数と、セレクタ１５８の出力データとを各々乗算する。これらの乗算器１９１，１９３，１９５，１９７の出力側には、加算器１９８が接続され、出力された乗算結果が加算される。加算された結果Ｚは、フリップフロップ１９９から指示により、後述するセレクタ２０１に出力される。

また、図２５は出力手段を示しており、セレクタ２０１及びシーケンサ２００とで構成される。各フリップフロップ１６９，１７９，１８９，１９９から出力された加算結果Ｗ，Ｘ，Ｙ，Ｚは、セレクタ２０１に入力される。セレクタ２０１は、シーケンサ２００の指示によりＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データを出力する。例えば、ＲＧＢベイヤーデータであれば、４種類のＲＧＢベイヤーの値（例えば、Ｗ→Ｇｒ、Ｘ→Ｒ、Ｙ→Ｂ、Ｚ→Ｇｂに相当）から１種類の画像データを選択して出力する。この第２の実施形態の変形例における動作は、セレクタ１５６及び１５８による選択動作を除いて、前述した図１９及び図２０に示した構成と同様であり、詳細な説明は省略する。

以上説明したように、本実施形態によれば、ＲＧＢベイヤーデータの２×２画素領域より、１画素置きに２種類の輝度信号及び２種類の色差信号を生成することが可能である。また、得られた輝度色差信号の２×２画素領域よりＲＧＢベイヤーデータを演算し、入力時のＲＧＢベイヤーデータのフォーマットに戻すことが可能である。

次に第３の実施形態について説明する。第３の実施形態として、図２６及び図２７には、２×２画素領域単位にて、ＲＧＢベイヤーデータからの２×２画素領域より、２画素ごとに２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成する回路例を示す。なお、配線上に記載される数の８は信号数（信号ライン数）を示している。

図２６（ａ）は、入力手段の構成例を示し、図２６（ｂ）は、出力手段の構成例を示し、図２７は、変換手段の構成例を示す。

入力手段の回路構成は、ＲＧＢベイヤーデータが入力されるＦＩＦＯ（１Ｈ）２２１と、同様にＲＧＢベイヤーデータが入力される２段接続されたフリップフロップ２２２，２２４と、ＦＩＦＯ（１Ｈ）２２１に処理されたデータを入力する２段接続されたフリップフロップ２２３，２２５と、フリップフロップ２２２〜２２５が出力する４データのうちの何れかを選択するセレクタ２２７と、セレクタ２２７におけるデータ選択を指示するシーケンサ２２６とで構成される。シーケンサ２２６は、後述するセレクタ２２８，２２９，２３１に対してもデータ選択を指示する。

このＦＩＦＯ（１Ｈ）２２１には、例えば１画素当りの色情報が８bitのＲＧＢベイヤーデータが逐次入力される。図１１に示した１画面のフォーマットに従うと、ＦＩＦＯ２２１の記憶容量は４ワード分（１ワードは１画素当りの色情報）でよい。これらの４つのフリップフロップは、例えば図９に示したようなハッチングによる２×２画素の領域を確保することができる。シーケンサ２２６は、フリップフロップ２２２〜２２５からのデータを各セレクタで選択動作させるために前述した表３に示すように動作する。

図２７（ａ）に示す演算手段は、セレクタ２２７より選択されたデータをそれぞれに入力し、前述した係数Ｋ１１，Ｋ１２，Ｋ１３，Ｋ１４と乗算する乗算器２３２，２３３，２３４，２３５と、乗算結果を加算する加算器２３６と、Ｃｒの値を出力する加算器２３６とで構成される。

同様に、図２７（ｂ）においては、セレクタ２２７より選択されたデータと係数Ｋ２１，Ｋ２２，Ｋ２３，Ｋ２４とをそれぞれ乗算する乗算器２３７，２３８，２３９，２４０と、加算器２４１と、Ｙｒの値を出力するフリップフロップ２４２とで構成される。図２７（ｃ）においては、セレクタ２２７より選択されたデータと係数Ｋ３１，Ｋ３２，Ｋ３３，Ｋ３４とをそれぞれ乗算する乗算器２４３，２４４，２４５，２４６と、Ｙｂの値を出力する加算器２４７とで構成される。さらに、図２７（ｄ）においては、セレクタ２２７より選択されたデータと係数Ｋ４１，Ｋ４２，Ｋ４３，Ｋ４４とをそれぞれ乗算する乗算器２４８，２４９，２５０，２５１と、加算器２５２と、Ｃｂの値を出力するフリップフロップ２５３とで構成される、
さらに、図２６（ｂ）は、出力手段を示している。この出力手段は、前述した演算手段からそれぞれ出力された色差信号Ｃｒ，Ｙｒを入力してシーケンサ２２６からのシーケンス信号により何れかを出力するセレクタ２２８と、同様に、出力された色差信号Ｙｂ，Ｃｂを入力して何れかを出力するセレクタ２２９と、セレクタ２２９から出力を一時的に記憶するＦＩＦＯ（１Ｈ）２３０と、シーケンサ２２６からのシーケンス信号によりセレクタ２２８の出力（１）及びＦＩＦＯ（１Ｈ）２３０の出力（２）から色差信号（ＣｒＹｒＹｂＣｂ２）を選択出力するセレクタ２３１とで構成される。

このような構成において、乗算器２３２〜２３５に入力される係数Ｋ１１〜Ｋ１４は、図１０若しくは図２９（ａ）の行列式に示した第１行の固定の係数である。同様に、乗算器２３７〜２４０に入力されている係数Ｋ２１〜Ｋ２４は、図１０若しくは図２９（ａ）の行列式に示した第２行の固定の係数である。乗算器２４３〜２４６に入力されている係数Ｋ３１〜Ｋ３４は、図１０若しくは図２９（ａ）の行列式に示した第３行の固定の係数である。乗算器２４８〜２５１に入力されている係数Ｋ４１〜Ｋ４４は、図１０若しくは図２９（ａ）の行列式に示した第４行の固定の係数である。

図２８に示すタイミングチャートを参照して、このように構成された演算手段の動作について説明する。
このタイミングチャートにおいて、ＣＬＫは回路を動作させるためのクロックであり、図２６，２７に示したＦＩＦＯ２２１、フリップフロップ２２２〜２２５、シーケンサ２２６、フリップフロップ２４２，２５３、ＦＩＦＯ２３０にそれぞれ供給される。シーケンス信号Seq１、０はシーケンサ２２６の出力である。シーケンサ２２６の出力に従って、セレクタ２２７の出力端ａ〜ｄには、所定のＲＧＢベイヤーデータが前述した表３に示すように出力される。

ＲＧＢベイヤー（１Ｄ遅延）は、ＲＧＢベイヤーの画像データを１ＣＬＫ分遅延させたものであり、フリップフロップ２２７の出力である。ＲＧＢベイヤー（２Ｄ遅延）は、ＲＧＢベイヤーの画像データを２そりＣＬＫ分遅延させたものであり、フリップフロップ２２４の出力である。ＲＧＢベイヤー（１Ｈ＋１Ｄ遅延）は、ＦＩＦＯ２２１が出力するＲＧＢベイヤーの画像データを１ＣＬＫ分遅延させたものであり、フリップフロップ２２３の出力である。

さらに、ＲＧＢベイヤー（１Ｈ＋２Ｄ遅延）は、ＦＩＦＯ２２１が出力するＲＧＢベイヤーの画像データを２ＣＬＫ分遅延させたものであり、フリップフロップ２２５の出力である。ＲＧＢベイヤーの画像データ（１Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋１Ｄ遅延）、ＲＧＢベイヤーの画像データ（２Ｄ遅延）、ＲＧＢベイヤーの画像データ（１Ｈ＋２Ｄ遅延）のハッチングで示されるデータを用いて、ＣｒＹｒＹｂＣｂの輝度色差データへの変換を行う。

例えば、Ｒ００、Ｇ０１、Ｇ１０、Ｂ１１の画像データを用いて、Ｙｒ００、Ｃｒ００、Ｃｂ００、Ｙｂ００を得る。次に、２×２の画素領域を１画素ずらしたＧ０１、Ｒ０２、Ｂ１１、Ｇ１２の画像データを用いてＹｒ０１、Ｃｒ０１、Ｃｂ０１、Ｙｂ０１を得る。こうして逐次、１画素置きに２種類の輝度信号と２種類の色差信号を得ることができる。

図２６（ｂ）の出力手段において、セレクタ２２８は、シーケンサ２２６からのシーケンス信号Seq０がＬレベルでＹｒを選択し、Seq０がＨレベルでＣｒを選択する。また、セレクタ２２９は、シーケンサ２２６からのシーケンス信号Seq０がＬレベルでＣｂを選択し、Seq０がＨレベルでＹｂを選択する。ＦＩＦＯ（１Ｈ）２３０は、セレクタ２２９からの色差信号Ｙｂ又はＣｂを１Ｈ分遅延させる。セレクタ２３１は、シーケンサ２２６からのシーケンス信号Seq１がＬレベルの時にセレクタ２２８で選択された色差信号（１）を選択し、Seq１がＨレベルでＦＩＦＯ２３０からの色差信号（２）を選択して最終的な輝度色差信号（ＣｒＹｒＹｂＣｂ２）が得られる。

次に、前述した第３の実施形態の変形例について説明する。

図２６，２７に示した第３の実施形態のおける撮像システムにおいて、局所領域の２×２の領域より、２種類の輝度信号と２種類の色差信号を算出する演算を実施する際、輝度信号はＧ（緑）の信号で置き換え、Ｒ（赤）に対する色差信号は、Ｒ（赤）の信号値よりＲ（赤）に水平方向に隣接するＧＲ（緑）を減算し、Ｂ（青）に対する色差信号は、Ｂ（青）の信号値よりＢ（青）に水平方向に隣接するＧＢ（緑）を減算する。

つまり、図３０（ａ），（ｂ）に示す行列式を用いて実施する。これらの行列式は、図２９（ａ），（ｂ）に示した行列式を簡略化したものである。

これらの行列式によれば、輝度成分は、Ｇｒ=Ｙｒ、Ｇｂ=Ｙｂと割り切る。また、色差信号Ｃｒ=Ｒ-Ｇｒ、Ｃｂ=Ｂ-Ｇｂとし、ベイヤー配列にて隣接する画素冠のみの演算に割り切る。こうした行列式を用いることで、乗算器が不要となり、結果ハードウェアを簡略化することができる。

以上説明したように、本発明の撮像システムは、ＲＧＢ原色系又はＣｒＹｒＹｂＣｂ補色系の色フィルタを経て固体撮像素子により得られた画像信号に対して、ｍ×ｎ（ｍ，ｎは２以上の整数）又は、２ｍ×２ｎ（ｍ，ｎは自然数）画素領域（画素単位）の局所領域ごとに輝度信号及び色差信号を算出し、それらの算出信号に対して所定の演算処理を行い、演算処理後の輝度信号及び色差信号に局所領域若しくは局所領域内の一部領域の画像信号に逆変換し、逆変換された単板の画像信号に対して、単板三板化や色変換等を行い、記録媒体に記録させることができる。また、局所領域から平均輝度信号及び平均色差信号を算出し、これらを用いて、輝度信号及び色差信号に対するノイズ量を推定して、輝度信号及び色差信号中のノイズを低減することができる。

本発明の撮像システムに係る第１の実施形態の構成例を示し説明する。 図２（ａ）は、画像信号がＢaｙeｒ型フィルタで得られる６×６画素の単位領域の構成を示す図、図２（ｂ）は、輝度／色差信号への変換について説明するための図である。 図３（ａ）は、図２（ａ）に換わって、輝度色差信号の算出法について説明するための構成を示す図、図３（ｂ）は、輝度／色差信号への変換について説明するための図である。 図４（ａ），（ｂ）は、色差線順次型色フィルタで得られる画像信号について説明するための図である。 第１の実施形態における演算部の第１の構成例を示す図である。 信号値とノイズ量の関係を示す図である。 第１の実施形態における演算部の第２の構成例を示す図である。 第１の実施形態と同等に機能するソフトウェアについて説明するためのフローチャートである。 ＲＧＢベイヤーのフォーマットの一例を示す図である。 図１０（ａ）はＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データに変換するための行列式、図１０（ｂ）はＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータに変換するための行列式を示す図である。 ４×４画素領域にて簡略化して示す１画面のＲＧＢベイヤーデータの一例である。 図１２（ａ）は、第１の実施形態に係るＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データに変換するための回路構成例を示す図、図１２（ｂ）は、ＣｒＹｒＹｂＣｂの輝度色差データからＲＧＢベイヤーデータに逆変換するための回路構成例を示す図である。 図１２（ａ）における変換動作を説明するためのタイミングチャートの一例を示す図である。 図１２（ｂ）における変換動作を説明するためのタイミングチャートの一例を示す図である。 第１の実施形態の第１の変形例として、輝度色差データ−ＲＧＢベイヤーデータの変換するための回路構成例を示す図である。 ＲＧＢベイヤーデータからの２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成し、且つ該生成されたいずれかｎ（ｎ≦４）種類の輝度色差信号を得るための回路例を示す図である。 第２の実施形態に係るＲＧＢベイヤーデータから２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成する回路における入力手段の構成例を示す図である。 図１８（ａ）〜（ｄ）は、第２の実施形態に係るＲＧＢベイヤーデータから２種類の輝度信号及び２種類の色差信号を生成する回路における演算手段の構成例を示す図である。 図１９（ａ）〜（ｄ）は、第２の実施形態に係る輝度色差データからＲＧＢベイヤーデータに逆変換するための回路における演算手段の構成例を示す図である。 第２の実施形態に係る輝度色差データからＲＧＢベイヤーデータに逆変換するための回路における出力手段の構成例を示す図である。 第２の実施形態におけるベイヤーデータに対して、２種類の輝度信号及び２種類の色差信号を生成する動作について説明するためのタイミングチャートである。 第２の実施形態におけるＣｒＹｒＹｂＣｂの輝度色差データから１画素置きにＲＧＢベイヤーデータに逆変換する動作について説明するためのタイミングチャートである。 第２の実施形態の変形例に係るＲＧＢベイヤーデータ又はＣｒＹｒＹｂＣｂの輝度色差データの入力手段の構成例を示す図である。 図２４（ａ）〜（ｄ）は、第２の実施形態の変形例に係る演算処理手段の構成例を示す図である。 第２の実施形態の変形例に係る出力手段の構成例を示す図である。 図２６（ａ）は、第３の実施形態に係るＲＧＢベイヤーデータから２種類の輝度信号及び２種類の色差信号（ＣｒＹｒＹｂＣｂ）を生成する回路における入力手段の構成例を示す図、図２６（ｂ）は、その出力手段の構成例を示す図である。 図２７（ａ）〜（ｄ）は、第３の実施形態に係るＲＧＢベイヤーデータから２種類の輝度信号及び２種類の色差信号を生成する回路における演算手段の構成例を示す図である。 第３の実施形態に係るＲＧＢベイヤーデータから２種類の輝度信号及び２種類の色差信号を生成する動作について説明するためのタイミングチャートである。 図２９（ａ）は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための行列式における係数の一例を示す図、図２９（ｂ）は、輝度色差データからＲＧＢベイヤーデータへ逆変換するための行列式の一例を示す図である。 図３０（ａ）は、ＲＧＢベイヤーデータからＣｒＹｒＹｂＣｂの輝度色差データへ変換するための行列式における係数の一例を示す図、図３０（ｂ）は、輝度色差データからＲＧＢベイヤーデータへ逆変換するための行列式における係数の一例を示す図である。

符号の説明

１…レンズ系、２…撮像素子（ＣＣＤ）、３…前処理部、４，２２…バッファ、５…抽出部、６…算出部、７…演算部、８…逆変換部、９…信号処理部、１０…出力部、１１…制御部、１２…外部Ｉ／Ｆ部、２１…局所領域抽出部、２３…平均値算出部、２４…ノイズ低減部、２５…ノイズ推定部、２６…パラメータ用ＲＯＭ、２７…ゲイン設定部、２８…領域抽出部、２９…ホワイトバランス係数算出部、３０…ホワイトバランス調整部、３１…ＦＩＦＯ、３２〜３５，４４…フリップフロップ（Ｚ^-1）、３６…記憶回路、３７…シーケンサ、３８…セレクタ、３９〜４２…乗算器、４３…加算器。

Claims (12)

1. 原色系若しくは補色系の色フィルタを前面に配置した固体撮像素子から得られた信号を処理する撮像システムであって、
   前記信号から局所領域ごとに輝度信号及び色差信号を算出する算出手段と、
   前記輝度信号及び前記色差信号に対して所定の演算処理を行う演算手段と、
   前記演算処理後の前記輝度信号及び前記色差信号を前記局所領域若しくは前記局所領域内の一部領域の前記信号に逆変換する逆変換手段と、
   を具備することを特徴とする撮像システム。
2. 前記原色系の色フィルタは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）ベイヤー型フィルタであることを特徴とする請求項１に記載の撮像システム。
3. 前記補色系の色フィルタは、Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（緑）色差線順次方式色フィルタであることを特徴とする請求項１に記載の撮像システム。
4. Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（緑）色差順次方式色フィルタを前面に配置した単板固体撮像素子からの信号を処理する撮像システムであって、
   前記信号から局所領域ごとに輝度信号及び色差信号を算出する算出手段と、
   前記輝度信号及び前記色差信号に対して所定の演算処理を行う演算手段と、
   前記演算処理後の前記輝度信号及び前記色差信号を前記局所領域若しくは前記局所領域内の一部領域のＲ、Ｇ、Ｂ信号に変換する変換手段と、
   を具備することを特徴とする撮像システム。
5. 前記局所領域はｍ×ｎ（ｍ，ｎは２以上の整数）の画素単位を含む領域であることを特徴とする請求項１項若しくは請求項４の何れかに記載の撮像システム。
6. 前記局所領域は２ｍ×２ｎ（ｍ，ｎは自然数）の画素単位を含む領域であることを特徴とする請求項１項若しくは請求項４の何れかに記載の撮像システム。
7. 前記局所領域から平均輝度信号及び平均色差信号を算出する平均値算出手段と、
   前記平均輝度信号及び前記平均色差信号を用いて、前記輝度信号及び前記色差信号に対するノイズ量を推定するノイズ推定手段と、
   前記ノイズ量に基づき前記輝度信号及び前記色差信号中のノイズを低減するノイズ低減手段と、
   を具備することを特徴とする請求項１若しくは請求項４の何れかに記載の撮像システム。
8. 前記信号から平均輝度信号及び平均色差信号を算出する平均値算出手段と、
   前記平均色差信号に対して所定の係数を作用させることによりホワイトバランスの調整を行うホワイトバランス調整手段と、
   を具備することを特徴とする請求項１若しくは請求項４の何れかに記載の撮像システム。
9. 前記局所領域が２×２の画素単位を含む領域であって、
   ２種類の輝度信号と２種類の色差信号の内いずれかｎ種類（ｎ≦４）の輝度色差信号を算出する手段を具備することを特徴とする請求項１若しくは請求項４若しくは請求項５若しくは請求項６の何れか１つに記載の撮像システム。
10. 前記局所領域が２×２の画素単位を含む領域であって、
    前記局所領域内で１画素置きに、２種類の輝度信号と２種類の色差信号を算出する輝度色差信号算出手段を具備することを特徴とする請求項１若しくは請求項４若しくは請求項５若しくは請求項６の何れか１つに記載の撮像システム。
11. 前記局所領域が２×２の画素単位を含む領域であって、
    ２種類の輝度信号と２種類の色差信号を算出する輝度色差信号算出る手段と、
    前記局所領域内で２画素ごとに前記輝度色差信号算出手段を実行する制御手段と、
    を具備することを特徴とする請求項１若しくは請求項４若しくは請求項５若しくは請求項６の何れか１つに記載の撮像システム。
12. 原色系または補色系の色フィルタを前面に配置した固体撮像素子からの信号を処理する撮像システムであって、
    前記演算手段は、局所領域が２×２の画素単位を含む領域において、２種類の輝度信号と２種類の色差信号を算出する演算を実施する際に、輝度信号はＧ（緑）の信号で置き換え、Ｒ（赤）に対する色差信号は、Ｒ（赤）の信号値よりＲ（赤）に水平方向に隣接するＧｒ（緑）を減算し、Ｂ（青）に対する色差信号は、Ｂ（青）の信号値よりＢ（青）に水平方向に隣接するＧｂ（緑）を減算する処理を行うことを特徴とする請求項１若しくは請求項４若しくは請求項５若しくは請求項６の何れか１つに記載の撮像システム。

Images