JP2008109468A - 色信号処理回路およびカメラ装置 - Google Patents

色信号処理回路およびカメラ装置 Download PDF

Info

Publication number
JP2008109468A
JP2008109468A JP2006291361A JP2006291361A JP2008109468A JP 2008109468 A JP2008109468 A JP 2008109468A JP 2006291361 A JP2006291361 A JP 2006291361A JP 2006291361 A JP2006291361 A JP 2006291361A JP 2008109468 A JP2008109468 A JP 2008109468A
Authority
JP
Japan
Prior art keywords
signal
white balance
integration
color
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006291361A
Other languages
English (en)
Inventor
Tetsuya Komoguchi
徹哉 菰口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006291361A priority Critical patent/JP2008109468A/ja
Publication of JP2008109468A publication Critical patent/JP2008109468A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

【課題】輝度信号の段差が大きい被写体領域の偽色信号を削減する。
【解決手段】画像信号が供される入力手段と、入力された画像信号を色分離してR(赤)G(緑)B(青)の原色信号と輝度信号とを出力する色分離手段と、得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御する制御部とを含むホワイトバランス制御手段とを有し、輝度・水平信号の垂直方向の変化を検出し、急峻な変化があったとオプティカルディテクタで積分される色信号のレベルを抑え、色成分を減少させ、偽色成分を減少させることにより、オートホワイトバランスの合わせこみ精度を向上させる。
【選択図】図1

Description

本発明は色信号処理回路およびカメラ装置に関し、特に輝度信号の急激な変化における偽色信号を抑制することである。
一般に、複数の固体撮像素子を備え、高感度と高解像度を両立するカラーカメラ装置が知られている。
図9に従来のイメージセンサ(固体撮像素子)2を用いたカメラ(撮像)装置200のブロック構成例を示す。
図9に示したカメラ装置200はレンズ1、イメージセンサ2、AFE(アナログ・フロント・エンド:アナログ信号処理)回路3、デジタル信号処理部(DSP)4などで構成されている。
イメージセンサ2の撮像素子は例えばCCD(Charge Coupled Device)またはCMOS(Complymentary Metal Oxide Semiconductor)デバイスで構成され、半導体基板上にマトリックス状に配列した光センサにより被写体からの像をレンズ1を通じ検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体の画像信号を出力する。
また、イメージセンサ2はTG(タイミングジェネレータ)13から供給されるクロック信号、垂直同期信号、水平同期信号などに基づいて動作し、そして、たとえばインタレース方式により1フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力する。
AFE回路3はCDS(Corelation Double Sampling;相関ニ重サンプリング)回路およびAGC(Auto Gain Control;利得制御)回路などで構成されイメージセンサ2からの画像信号に対し、相関ニ重サンプリング動作を行って画像信号に含まれる固定パターンノイズを除去するとともに、自動利得制御の動作により信号レベルを安定化する。
デジタル信号処理部4は、AFE回路3の出力信号に対して自動露光制御およびオートホワイトバランス制御を行うための回路であり、ADC(AD変換器;アナログデジタル変換器)5、輝度信号処理ブロック6、色信号処理ブロック7、OPD(オプティカルディテクタ)8、YC_MIX(混合回路)9、マイクロコンピュータ10、DAC(デジタルアナログ変換器)12などで構成されている。
ADC5はAFE回路3の出力信号をデジタル化し、輝度信号処理ブロック6はこのデジタル化された画像信号に対して、自動露光制御として信号レベルを適切なレベルとすべく信号処理を行う。色信号処理ブロック7は原色分離回路、ホワイトバランス(WB)制御回路、マトリクス回路などを含み、原色分離回路はADC5の出力信号より、R(赤)、G(緑)、B(青)の3つの原色信号を抽出し、ホワイトバランス制御回路はこれらの原色信号に対してマイクロコンピュータ10から与えられる係数を乗じて信号レベルを制御する。
OPD8は、ホワイトバランス制御回路が上記係数を乗じた原色信号を、それぞれ垂直同期信号の各周期毎に、すなわち各フィールド毎に、たとえばIIR(Infinite Impulse Response)フィルタにより積分することによって各フィールドにおける各原色信号の平均的な信号レベルを算出する。
マイクロコンピュータ10は、CPU(中央演算装置)、ROM(リードオンリーメモリ)、RAM(ランダムアクセスメモリ)などで構成され、CPUがROMに格納されたプログラムデータに基づき、適宜RAMを使用して動作することで各種の機能を果たす。そして、特にオートホワイトバランス制御についてはOPD8で算出した原色信号の平均レベルに基づいて、これらの原色信号の平均レベルを均一化すべく上記係数を生成し、WBアンプ(制御回路)に供給する。
YC_MIX9は輝度信号処理ブロック6が出力する輝度信号と、色信号処理ブロック7が出力する信号とを合成してビデオ信号を生成し、DA変換器12はこのビデオ信号をアナログのビデオ信号14に変換して出力する。
タイミングジェネレータ13は、マイクロコンピュータ10の制御に基づいてイメージセンサ2とともに各回路ブロックにクロックなどの基準信号を供給する。
タイミング制御回路15は、デジタル信号処理部4のタイミングを管理しまた各種タイミングパルスを生成する。例えば、YC_MIX9にSYNC(同期)信号を付加、OPD8の積分器に対してウィンドウ枠毎の積分イネーブルパルス(検波枠)を生成・転送する。
また、内部同期および外部同期システムに対応してPLL(,VCO)回路16を構成し、タイミング制御回路15から出力される制御信号と各種同期システムに対応したマスタークロック信号の位相を比較する。タイミング制御回路15では各種同期システムに対応したReference/Variable信号を選択して位相比較器へ転送する機能をもつ。位相比較の結果をタイミングジェネレータ13の発振にフィードバックする。
特許文献1には、画面全体の色を正しく再現して画質を向上させるオートホワイトバランス回路が開示されていて、RGB信号と輝度信号をOPDに入力し、これらの信号をフィールド毎に積分する。その積分値と積分画素数とにより画像信号の撮像状態を判定し、判定結果により画素平均化処理やホワイトバランス制御用の積分回路をオンオフすることが示されている。
特開2004−23205号公報
オートホワイトバランス処理においては、被写体撮像時の1フィールドのRGB積分値が白色であるとみなす。つまり上記OPD8による1フィールド(1画面)のRGB積分値がそれぞれ等しくなる(R積分値=B積分値=G積分値)ようにホワイトバランスを調整する。具体的にはOPD8からのRGB積分値をマイクロコンピュータ10に送出しRGBの割合がつねに一定となるように、ホワイトバランスアンプに供給される原色信号S3のGr,Gb,赤色、青色成分のためのゲインを調整することにより、各ゲインを制御信号S4としてホワイトバランスアンプに送出する。ここで無彩色の被写体で輝度レベルの段差が大きな被写体領域においては偽色信号が発生されやすい。この偽色信号がRGB信号として生成され、OPD8の積分値として使用されてしまうと、オートホワイトバランス精度の低下に繋がる。
また、特許文献1においては無彩色の輝度信号のレベルが急激に変化することにより発生する偽色信号を抑制することは難しい。
本発明は、上記課題を解決するために、輝度・水平信号の垂直方向の変化を検出し、急峻な変化があったときにOPDで積分される色信号のレベルを抑え、色成分を減少させることにより偽色成分も減少させてオートホワイトバランスの合わせこみ精度を向上することである。
本発明の色信号処理回路は、画像信号が供される入力手段と、入力された画像信号を色分離してR(赤)G(緑)B(青)の原色信号と輝度信号とを出力する色分離手段と、得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御する制御部とを含むホワイトバランス制御手段とを有する。
本発明のカメラ装置は、映像信号が撮像素子に供給され、電気信号に変換されてアナログ信号処理された後、デジタル信号に変換され、信号処理ブロックのYC分離回路で輝度信号と色信号に分離され、前記色信号は積分処理されてホワイトバランスの係数が算出され、ホワイトバランスを調整した後、前記輝度信号と合成されて、ビデオ信号を生成するカメラ装置であって、前記信号処理ブロックは、画像信号が供される入力手段と、入力された画像信号を色分離してR(赤)G(緑)B(青)の原色信号と輝度信号とを出力する色分離手段と、得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御する制御部とを含むホワイトバランス制御手段とを有する。
本発明は、デジタル信号処理部で輝度・水平信号の垂直方向の変化を検出し、急峻な変化があったときにOPDの積分回路を制御して色成分を減少させ、偽色成分も減少させることにより、オートホワイトバランスを合わせ込む。
本発明は、輝度・水平信号の垂直方向の変化を検出し、急峻な変化があったときに色成分を減少させ、偽色成分を減少させることにより、オートホワイトバランスの合わせこみ精度が向上する。すなわち、高性能なオートホワイトバランスを実現でき、画面全体の画質が向上する。
図1に本発明の実施形態のカメラ装置100のブロック構成を示す。
カメラ装置100は、レンズ1、イメージセンサ(固体撮像素子)2、AFE回路3、デジタル信号処理部4などで構成されている。このデジタル信号処理部4は、図9の従来例と比較してOPD8の積分回路を制御する積分制御手段17、OPD8の積分回路などが異なる。ここで、図1に示すブロックで図9と同じブロックについては、同一番号を付与する。
デジタル信号処理部4は、ADC5、輝度信号処理ブロック6、色信号処理ブロック7、OPD8、YC_MIX9、マイクロコンピュータ10、不揮発性メモリー11、DAC12、タイミング制御回路15、PLL(Phase Locked Loop)(VCO(Voltage Controled Oscillator))回路16、積分制御手段17などで構成されている。
また、色信号処理ブロック7は、YC分離回路7−1、原色分離回路7−2、WB(ホワイトバランス)アンプ7−3などで構成される。
本発明は、積分制御手段、OPD8および色信号処理ブロック7とこれを用いたカメラ装置100に関するものであり、これに関して以下に詳述する。また、これと関連する輝度信号処理ブロック6についても後述する。
まず色信号処理に係る構成とその動作について説明する。以下イメージセンサ2にCCDを用いた例を示す。
CCDは図2に示すようにシアン色成分(Cy)、緑色成分(G)、黄色成分(Ye)、マゼンダ色成分(Mg)に対応する光を透過させる各カラーフィルタが各CCD画素に個別に対応して配列された単板式CCDである。
このCCDは、図2に示す奇数フィールドに対応する読み出し方式と偶数フィールドに対応する読み出し方式とを交互に切り替えながら、光電変換された各画素に蓄積された信号電荷を交互に読み出す。なお、読み出されたその内容はNTSC方式又はPAL方式のテレビジョンで再生可能である。
CCDは奇数フィールドに対応する読み出しでは垂直方向奇数番目の画素で光電変換された信号電荷と、次の偶数番目の画素で光電変換された信号電荷とを加算して順次読み出し、一方偶数フィールドに対応する読み出しでは加算する信号電荷の組み合わせを変え、垂直方向偶数番目の画素で光電変換された信号電荷と次の奇数番目の画素で光電変換された信号電荷とを加算して順次読み出す。
このCCDは、読み出し操作を繰り返し、奇数フィールドおよび偶数フィールドのいずれに対応する読み出しにおいても、図2に示すCRラインからは時系列がS1r/S2r/S1r/S2r・・・となる電気信号を得、同じく図2に示すCBラインからは時系列がS1b/S2b/S1b/S2b・・・となる電気(原色)信号を得る。
但し、S1r,S2r,S1b,S2bは以下のように示される。
S1r=Cy+G,S2r=Ye+Mg,
S1b=Cy+Mg,S2b=Ye+G
そしてこのCCDは、CRライン/CBライン/CRライン/CBラインから順次得た電気信号を画像信号としてAFE回路3に送出する。AFE回路3は、供給される画像信号をAGC(Auto Gain Control;オートゲインコントロール)処理し、ADC5でアナログ/デジタル変換処理し色信号処理ブロック7へ送出する。
色信号処理ブロック7の初段においては、画像信号を並び替えてCRラインおよびCBラインから順次得た電気信号S1、該CBライン及び次のCRラインから順次得た電気信号S1、該CRラインおよび次のCBラインから順次得た電気信号の各々から時系列がS1r/S1b/S2r/S2b/・・・となる電気信号S1を得る。さらに得られた信号をマルチプレックス信号としてYC分離回路(7−1)に送出する。
YC分離回路7−1は、供給されるマルチプレックス信号から時系列がYr/Yb/Cr/Cb/・・・となる電気(原色)信号S2を得、この電気信号S2を色調整用信号として原色分離回路(7−2)に送出する。
但し、Yr,Yb,Cr,Cbは以下のように表される。
Yr=S1r+S2r,Yb=S1b+S1b,
Cr=S2r−S1r,Cb=S1b−S2b
原色分離回路(7−2)は、供給される色調整用信号から時系列がGr/Gb/R/B/Gr/Gb/R/B/・・・となる電気(原色)信号S3を得、この電気信号S3をOPD8およびホワイトバランスアンプ(7−3)に送出する。ただし、Gr,Gb,Gは次式で表される。
Gr=Yr−Cr−Cb,Gb=Yb−Cr−Cb,
G=(Gr+Gb)/2
WB(ホワイトバランス)アンプ(7−3)は、マイクロコンピュータ10から供給されるゲイン調整信号S4に基づいて原色分離回路(7−2)から供給される原色信号S3のGr成分、Gb成分、赤色成分、青色成分を調整することにより、ホワイトバランスを調整する。そしてこのホワイトバランスアンプ(7−3)は、ホワイトバランス調整後の原色信号を後段の後処理用信号処理回路、例えばYC_MIX9に送出する。
OPD8は、供給される原色信号S3に基づいて後述のように画素積分値、赤色成分の積分値、緑色成分の積分値および青色成分の積分値をそれぞれ計算し、画素積分値でなる画素積分信号、緑色成分の積分値でなる緑色積分信号、赤色積分信号、青色積分信号をマイクロコンピュータ10に送出する。
マイクロコンピュータ10は内蔵または外部のメモリーに記憶されたプログラムにしたがって、ホワイトバランスの演算処理を行う。
例えば、マイクロコンピュータ10の内部に組み込まれているプログラムにしたがって、供給される画素積分信号、緑色積分信号、赤色積分信号、青色積分信号を用いて、座標変換、色温度推定の演算処理が行われ、補正すべき原色信号のゲインが求められる。そして、各原色信号のゲイン(S4)がWBアンプ(7−3)に出力される。
次に、図1〜図3を用いて輝度信号が急激に変化したときのカメラ装置100の動作について述べる。輝度信号が急激に変化し波形に段差を生ずると、偽色信号が含まれる輝度信号がADC5から出力され、Clamp(クランプ)回路50で黒レベルを引いた信号S1となる。
Clamp回路50から出力された輝度信号は、LPF(ローパスフィルタ)51、段差検出回路52を介して色信号を削減されるとともに輝度信号の水平方向と垂直方向の段差が検出される。
段差検出された水平方向(H_EDGE)信号または垂直方向(V_EDGE)信号のいずれかが基準値より大きいと積分イネーブルパルス信号を発生し、OPD8の積分回路を制御し、その結果得られた各色成分の積分値をマイクロコンピュータ10に転送し、そこで演算処理してWBアンプ7−3を制御する。これにより、急激に変化した輝度信号に発生した偽色信号を抑制する。
以下、デジタル信号処理部4の積分制御手段(積分パルス発生回路など)17について説明する。
積分制御手段17は、ADC5とOPD8の間に接続され、段差検出部(図3参照)、積分イネーブルパルス供給器41(図4参照)などで構成され、水平方向と垂直方向の画素信号レベルの段差を検出し、検出したパルスを基準値と比較して積分イネーブルパルスを生成する。
図3に段差検出部のブロック構成例を示す。段差検出部は水平方向と垂直方向の段差をそれぞれ検出するように、LPF51、段差検出回路52、Slicer(スライス回路)53、近傍マスク回路54、SRAM(スタティクランダムアクセスメモリー)55、加算器(減算器)56、LPF57、Slicer58で構成される。この段差検出部の具体的構成例とその動作については、詳細に後述する。
次に、輝度信号処理ブロック6、YC_MIX9について説明する。
輝度信号処理ブロック6は従来と同様に、LPF、輪郭補正回路、ガンマ(γ)補正回路などで構成され、水平方向や垂直方向の画像の輪郭を強調する。またこの輪郭強調された輝度信号を、表示の際のCRTのガンマ特性が所定値(=2.2)であるため、あらかじめ撮像側でカメラの振幅特性、すなわち入力−出力特性を補正し、再生画面が正しい階調特性が得られるようにする。
YC_MIX9は輝度信号処理ブロック6が出力する輝度信号と色信号処理ブロック7が出力する色差信号とを合成し、同期信号を付加してビデオ信号を生成し、DAC12でこのビデオ信号をアナログのビデオ信号14に変換して出力する。
次に、図3と図4に示す本発明の実施形態例の積分制御手段17について詳細に説明する。積分制御手段17は、段差検出部と積分イネーブルパルス供給器41で構成される。
図3に示す段差検出部において、ADC5の出力端子がClamp回路50の一方の入力端子に接続され、他方の入力端子はマイクロコンピュータ(CPU)10の出力端子に接続される。Clamp回路50の出力端子はSRAM55の入力端子とLPF51の入力端子に接続され、このSRAM55の出力端子は加算器(減算器)56の一方の入力端子に接続される。加算器56の他方の入力端子はClamp回路50の出力端子に接続され、出力端子はLPF57の入力端子に接続される。
LPF51の出力端子は段差検出回路52の入力端子に接続され、この段差検出回路52の出力端子はSlicer53の入力端子に接続される。Slicer53の出力端子は近傍マスク回路54の入力端子に接続され、この近傍マスク回路54の出力端子からH_EDGE信号が出力される。
一方、LPF57の出力端子はSlicer58の入力端子に接続され、このSlicer58の出力端子からV_EDGE信号が出力される。
図4に示す積分イネーブルパルス供給器41は、H(水平)方向の段差検出したパルスH_EDGEとV(垂直)方向のV_EDGE信号が比較器61,62に供給され、それぞれ水平輝度段差判定レベルと垂直輝度段差判定レベルと比較され、その結果がOR回路63を介して積分イネーブルパルスとして出力される。
これにより、上記段差検出部から出力されたH_EDGEとV_EDGE信号が積分イネーブルパルス供給器41に供給され、輝度信号の段差に応じて積分制御パルスが生成される。
次に、図5に図3に示した段差検出回路52のブロック構成例を示す。LPF51の出力端子が、画素信号差分(中心−左隣)回路71、画素信号差分(中心−右隣)回路72、画素信号差分(左隣−右隣)回路73のそれぞれの入力端子に接続される。画素信号差分(中心−左隣)回路71の出力端子は絶対値化回路74の入力端子に接続され、画素信号差分(中心−右隣)回路72の出力端子は絶対値化回路75の入力端子に接続され、画素信号差分(左隣−右隣)回路73の出力端子は絶対値化回路76の入力端子に接続される。絶対値化回路74,75,76のそれぞれの出力端子はMAX(最大値)検出回路77の入力端子に接続され、このMAX検出回路77の出力端子から中心画素に対する周辺画素との差の最大値が検出される。
次にこの段差検出回路52とSlicer53の動作について説明する。
LPF51において、クロマキャリア周波数を含む高域成分を減衰処理させ、色成分を削除する。さらにこの画素信号に対して中心画素に対する両隣の画素との差分を計算し、さらに両隣の画素同士の差分も算出する。この三通りの差分に対して絶対値化処理をして最大値を得る。
これにより、低周波領域の段差部を検出することができこれを水平方向輝度段差信号とする。さらにSlicer53でスライス処理を施し、段差検出された画素信号の低レベルのノイズ信号を減衰させる。
図6に示す近傍マスク回路54の回路構成とその動作について説明する。図6(A)の近傍マスク回路54は、D_FF(D型フリップフロップ)81〜84と加算器85〜88で構成される。Slicer53の出力端子はD_FF81の入力端子と加算器85の一方の入力端子に接続され、このD_FF81のクロック端子にクロック(clk)が供給される。D_FF81の出力端子はD_FF82の入力端子と加算器85の他方の入力端子に接続され、このD_FF82のクロック端子に上述のクロックが供給される。D_FF82の出力は加算器86の一方の入力端子に接続され、加算器85の出力端子はこの加算器86の他方の入力端子に接続される。
以下同様に、D_FF84まで繰り返され、加算器88の出力端子から中心画素に対する左右の方向マスク信号Fが出力される。
段差検出回路52で検出された輝度信号の段差レベルが高い場合には色信号処理ブロック7のデジタルフィルタ処理においてリンギングが発生してしまう。したがって、輝度変化点の周辺領域にまたがって偽色が発生するため、輝度変化点に対する周辺画素についてもOPD8で積分する色信号を減衰させる必要がある。このため、近傍マスク回路により輝度変化点の水平方向周辺画素についても輝度変化点と同レベルの輝度変化信号を生成させる。図6(B)の例では、タイミングチャートに示す通り水平左右4画素をマスクさせる処理となっている。
また、垂直方向については、黒クランプ処理後の電気信号S21をRAM55により1ライン分記憶保持し、1ライン遅延させる(S22)。1ライン遅延前後の電気信号に対して引き算処理を行い、これを垂直方向の段差とする。その後、LPF57、Slicer58で平滑化・ノイズ除去処理を行う。
次に、段差検出の動作について説明する。
イメージセンサ2からの出力信号をADC5にてAD変換後、AD変換された電気信号S1を黒レベル信号(iblack)に対してクランプ処理を施す。黒レベル信号はマイクロコンピュータ(CPU)10から供給される。これはイメージセンサ2の無効画素領域(遮光領域)の電気信号をデジタル信号処理部4で1フィールド(1画面)積分し、その積分値をマイクロコンピュータ10に送出し、マイクロコンピュータ10がその積分値に対して平滑化処理を行い、1画素あたりの黒レベルをiblackとして算出している。遮光領域の画素においても、画素信号としては0ではなく、暗電流等のノイズ成分が発生するため、これを黒レベルとして有効画素から差し引く処理を行う。
水平方向の輝度段差検出処理については黒クランプ処理後の電気信号に対して、LPF51、段差検出回路52、Slicer53、近傍マスク回路54を経て水平方向エッジ成分(H_EDGE信号)を抽出する。垂直方向についても同様に、SRAM55、加算器56、LPF57、Slicer58を介して垂直方向エッジ成分(V_EDGE信号)を抽出する。
ここで、LPF51は、クロマキャリア除去のため平滑化の処理を行っている。イメージセンサ2の出力は図2に示すように画素構成の異なる2種の信号S1、S2信号の繰り返し(S1/S2/S1/S2)となるため、サンプリング周波数の1/2の周波数成分を有する。これを除去するためにLPF51を用いる。平滑化された信号は段差検出回路52に入力され、そこで検出された段差を変化点とみなす。
次に、OPD8の色信号積分回路150について説明する。
図7に色信号積分回路150の回路構成例を示す。この色信号積分回路150はグリーン(緑)データ生成ブロック120、置換ブロック121、および積分遅延ブロック122などで構成される。なおOPD8においてはマイクロコンピュータ10の制御を受けて動作をするようになされている。
ここで、図4の積分イネーブルパルス供給器41から出力された積分イネーブルパルスは不図示のインバータなどを介して反転されて積分遅延ブロック122の各遅延保持器136〜139に供給される。OR回路63から検出された“H”レベルの論理値は“L”レベルとなる。
グリーンデータ生成ブロック120において、入力端子123が加算器129の一方の入力端子とスイッチ125のスイッチ端子126に接続され、加算器129の出力は乗算器130の入力に接続される。乗算器130の出力はスイッチ125のスイッチ端子127に接続され、このスイッチ125の出力は遅延器128の入力に接続される。遅延器128の出力は加算器129の他方の入力端子と、置換ブロック121の入力に接続される。また、スイッチ125はスイッチングパルス供給器24から供給されるパルスによりスイッチ端子126,127を切り替える。
次に、グリーンデータ生成ブロック120の動作について説明する。
スイッチングパルス供給器24は図8(B)に示すタイミングにより、スイッチングパルス信号をスイッチ125に供給する。すなわち入力端子123に供給される原色信号S3の成分が青色、赤色、Grのとき、スイッチングパルス供給器24は論理[L]レベルのスイッチングパルス信号をスイッチ125に送出する。また原色信号S3の成分がGbであるときは論理[H]レベルのスイッチングパルス信号をスイッチ125に送出する。
なお、図8に示す各信号の添え字は時系列の順序を表す。例えば、R2は図8(A)に示すようにOPD8に供給される原色信号S3の赤色成分のうち2番目に供給される赤色成分であることを示す。
スイッチ125は、供給されるスイッチングパルス信号が論理[L]レベルのときにスイッチ端子126と接続し、[H]レベルのときにスイッチ端子127と接続する。これにより入力端子123に供給される原色信号S3の成分が赤色、青色又はGrであるときは加算器129、スイッチ端子126、スイッチ125を順次経て遅延器128に送出される。
これに対して入力端子123に供給される原色信号S3の成分がGbであるときには、この信号Gbは加算器129で後述の遅延器128から送出された直前のGr成分の電気信号と加算される。次いでこの(Gr+Gb)成分の電気信号は乗算器130にて1/2倍されて、上述の式で示した緑色成分の電気信号となる。この緑色成分の電気信号は第2スイッチ端子127およびスイッチ125を順次経て遅延器128に送出される。
そのときにグリーンデータ生成ブロック120の出力のポイントAに置けるデータ配列を図8(C)に示す。
次に、置換ブロック121について述べる。置換ブロック121はOR回路132、インバータ(またはNOT回路)135とAND回路133で構成される。遅延器128の出力端子がAND回路133とOR回路132の一方の入力端子に接続され、カウンタ用データ挿入パルス供給器34の出力端子がAND回路133とOR回路132の他方の入力端子に接続され、OR回路132とAND回路133の出力は合成される。
OR回路132は遅延器128から送出される原色信号S9のうち、最小位ビット成分(LSB)の供給を受ける。
またAND回路133は遅延器128から送出される原色信号のうち、LSB以外の上位ビット成分の供給を受ける。
カウンタ用データ挿入パルス供給器34は図8(D)に示すタイミングで、1ビットのカウンタパルス信号をインバータ135、AND回路133に送出するが、遅延器128から供給される原色信号S9の成分が赤色、緑色、青色であるときは論理[H]レベルの信号を、Grであるときは[L]レベルの信号を供給する。
これによりOR回路132、AND回路133は第一の原色信号S9の信号成分が赤色、青色、緑色であるときは、第一の原色信号S9を第2の原色信号S10として送出する。これらOR回路132およびAND回路133から送出される第2の原色信号S10は再び合成し、合成した第2の原色信号S10の値はS9と同値となる。
これに対してOR回路132に供給される第1の原色信号S8の成分がGrであるときには、OR回路132は“1”を、AND回路133は“0”を第2の原色信号S10として送出する。これらOR回路132およびAND回路133から送出される第2の原色信号S10は再び合成し、合成した第2の原色信号S10の値は図8(E)に示すように“1”となる。
この結果置換ブロック121から送出される第2の原色信号S10の時系列は、図8(E)に示すように1/G/R/B/1/G/R/B・・・となる。
次に、積分遅延ブロック122について述べる。積分遅延ブロック122は、加算器140と第1〜第4の遅延保持器(136〜139)で構成されている。置換ブロック121の出力が加算器140の一方の入力端子に接続され、この加算器140の出力端子は第1の遅延保持器136の入力端子に接続される。またこの第1の遅延保持器136の他方の入力端子は積分イネーブルパルス供給器41の出力端子に接続され、さらにクロックパルス供給部31がクロック端子に接続される。
第1の遅延保持器136の出力は第2の遅延保持器137の一方の入力端子に接続され、他方の入力端子は積分イネーブルパルス供給器41に接続され、さらにクロックパルス供給部31がクロック端子に接続される。
同様な接続構成が第4の遅延保持器139まで繰り返される。第4の遅延保持器139の出力端子はまた加算器140の他方の入力端子に接続される。
次に積分遅延ブロック122の動作について説明する。
加算器140は、第4の遅延保持器139から供給される信号と置換ブロック121から供給される第2の原色信号S10とを加算して積分値信号S11として第1の遅延保持器136に送出する。積分イネーブルパルス供給器41は図8(J)に示す積分イネーブルパルスを第1〜第4の遅延保持器136〜139に送出する。
すなわち、第1の遅延保持器136はクロックパルス供給部31から供給されるクロックパルス信号で同期をとりながら、図8(F)に示すように供給される積分値信号S11を1クロック分だけ遅延させ、これを第1の遅延信号S40として第2の遅延保持器137に送出する。
また、第2の遅延保持器137はクロックパルス供給部31から供給されるクロックパルス信号で同期をとりながら、図8(G)に示すように供給される第1の遅延信号S40を1クロック分だけ遅延させ、これを第2の遅延信号S41として第3の遅延保持器138に送出する。
さらに、第3の遅延保持器138はクロックパルス供給部31から供給されるクロックパルス信号で同期をとりながら、図8(H)に示すように供給される第2の遅延信号S41を1クロック分だけ遅延させ、これを第3の遅延信号S42として第4の遅延保持器139に送出する。
さらに、第4の遅延保持器139はクロックパルス供給部31から供給されるクロックパルス信号で同期をとりながら、図8(I)に示すように供給される第2の遅延信号S42を1クロック分だけ遅延させ、これを第4の遅延信号S43として加算器140に送出する。
これにより、加算器140から送出される積分値信号S11の時系列は、画素積分値/緑色成分の積分値/赤色成分の積分値/青色成分の積分値/画素積分値/緑色成分の積分値/赤色成分の積分値/青色成分の積分値/・・・となる。
なお図8(F)〜(I)では、画素積分値を“C+1”、緑色成分の積分値を“G+Gx”、赤色成分の積分値を“R+Ry”、青色成分の積分値を“B+Bz”として、それぞれ表示しているが、具体的には次式として表される。
画素積分値=1+1+1+1+1・・・
緑色成分の積分値=G1+G2+G3+G4+・・・
赤色成分の積分値=R1+R2+R3+R4+・・・
青色成分の積分値=B1+B2+B3+B4+・・・
これに対して、積分イネーブルパルス信号が論理[H]から[L]レベルに切り替わると、第1の遅延保持器136は、加算器140からの積分値信号S11の供給を停止し、停止したときの信号の積分値を記憶保持するとともに、この信号をマイクロコンピュータ10に送出する。
第2の遅延保持器137は第1の遅延保持器136からの第1の遅延信号S40の供給を停止し、停止したときの信号の積分値を記憶保持するとともに、この信号をマイクロコンピュータ10に送出する。
第3、第4の遅延保持器138、139も上記同様の処理シーケンスとなる。
ところで、マイクロコンピュータ10は第1の遅延保持器136に送出される積分値信号S11の成分が赤色成分(R+R5)から青色成分(B+B5)に切り替わったときに、積分イネーブルパルスを論理[H]レベルから[L]レベルに切り替えるよう制御する。
したがって、積分イネーブルパルス信号が論理[H]レベルから[L]レベルに切り替わると、第1の遅延保持器136は加算器140からの積分値信号S11の供給を停止し、停止したときの青色成分の積分値[図8(F)の“B+B5”]を青色成分積分信号として記憶保持するとともに、この青色成分積分信号をマイクロコンピュータ10に送出する。
同様の処理シーケンスで、第2の遅延保持器137は赤色成分積分信号を、第3の遅延保持器138は緑色成分積分信号を、第4の遅延保持器139は画素積分信号を記憶保持し、マイクロコンピュータ10に送出する。
次に、輝度信号が急激に変化して波形に段差を生じ、その結果輝度信号に偽色信号が発生したとき、この偽色信号を削減する動作について説明する。
まず、輝度信号の水平方向の段差検出について述べる。図3において、ADC5から出力された画像信号はClamp回路50で黒レベルを引いた信号S21となる。まず、輝度信号の水平方向の段差検出について述べる。
Clamp回路50から出力された輝度信号はLPF51に供給され、所定の周波数以上に信号は減衰され、色信号が減衰される。
LPF51から出力された輝度信号は段差検出回路52で段差が検出される。中心画素の左右と、左右となり同士の画素信号の差分が検出され、その差分の絶対値が求められ、中心−左隣、中心−右隣、左隣−右隣の画素信号のうち、その差分の最大値が求められる。最大値化された信号がSlicer53でスライスされ、近傍マスク回路54に供給され、図8(B)に示してあるように、輝度段差発生点の左右方向の信号がマスクされ、H_EDGE信号が出力される。
次に、輝度信号の垂直方向の段差検出について述べる。
Clamp回路50から出力された輝度信号はSRAM55に供給され、1ライン遅延される。この1ライン遅延した輝度信号とClamp回路50から出力された輝度信号が加算器56で減算される。この減算された輝度信号がLPF57に供給されて所定の周波数以下の信号のみを通過し、色信号を除去する。LPF57から出力された輝度信号はSlicer58でスライスされ、垂直方向の差信号がV_EDGEとして出力される。
段差検出回路52で得られた水平方向輝度段差信号(H_EDGE信号)および垂直方向輝度段差(V_EDGE信号)が積分イネーブルパルス供給器41に供給され、H_EDGE信号は比較器61で水平輝度段差判定レベルと比較され、またV_EDGE信号は比較器62で垂直輝度段差判定レベルと比較される。
積分イネーブルパルス供給器41で比較された結果、水平方向段差または垂直方向段差のいずれかが輝度段差レベル(水平・垂直)を超えると、OR回路63から“H”レベルの積分イネーブルパルスが出力され、さらにインバータなどを介して論理レベルが反転される。
図8(J)において積分イネーブルパルス信号が論理[H]レベルから[L]レベルに切り替わると、色信号積分回路150の第1の遅延保持器136は、加算器140からの積分値信号S11の供給を停止し、停止したときの青色成分の積分値を青色成分積分信号として記憶保持するとともに、この青色成分積分信号をマイクロコンピュータ10に送出する。
同様の処理シーケンスで、第2の遅延保持器137は赤色成分積分信号を、第3の遅延保持器138は緑色成分積分信号を、第4の遅延保持器139は画素積分信号を記憶保持し、マイクロコンピュータ10に送出する。このとき、積分イネーブルパルス信号により各遅延保持器136〜139から出力される各積分値と積分画素数に基づいて画像信号の撮像状態が判別されることにより、段差による発生する色信号のレベルが抑えられ、色成分が減少される。
マイクロコンピュータ10は内部に組み込まれている制御プログラムにしたがって、青色積分信号、赤色積分信号、緑色積分信号、画素積分信号を用いて、座標変換し、色温度推定の演算処理を行う。この色温度から、WB(ホワイトバランス)アンプ(7−3)に出力する原色信号S3のGr,Gb,赤色、青色成分のためのゲインを算出する。そして、算出した各WBアンプのゲインをS4としてWBアンプ(7−3)に送出する。
WBアンプ(7−3)で各アンプの利得係数が設定され、利得制御されて削減された偽色信号がタイミング制御回路15のタイミング信号に同期してY_CMIX9に出力され、輝度信号処理ブロック6から供給された輝度信号と混合される。これにより、偽色成分も減少するので、オートホワイトバランスの合わせ込み精度を向上することができる。
そして、輝度信号の急激な変化による段差信号が無くなると、積分イネーブルパルスは発生されない(図8(J)で“H”レベルとなる)ので、OPD8は通常の動作を行い、その結果、マイクロコンピュータ10において通常のWBアンプの調整が行われる。
このように、無彩色の被写体で輝度レベルの段差が大きな被写体領域においては、偽色信号が発生しやすく、この偽色信号がRGB信号として生成され、オプティカルディテクタの積分値として使用されるとオートホワイトバランスの精度が低下する。しかし上述したように、輝度・水平信号の垂直方向の変化を検出し、急峻な変化があったときに色信号積分器を制御する制御パルスが発生され、この制御パルスでオプティカルディテクタで積分される色信号のレベルを抑え、色成分を減少させ、偽色成分を減少させることにより、オートホワイトバランスの合わせ込み精度が向上する。すなわち、高性能なオートホワイトバランスを実現でき、画面全体の画質が向上する。
カメラ装置のブロック構成の概要図である。 CCD固体撮像素子のカラーフィルタの色配列図である。 図1に示した段差検出部のブロック構成図である。 積分イネーブルパルス供給器のブロック構成図である。 輝度信号の段差検出部のブロック構成図である。 近傍マスク回路のブロック構成図と動作説明図である。 色積分回路の構成図である。 色積分回路の動作を説明するための画素配列図である。 従来のカメラ装置のブロック構成の概要図である。
符号の説明
1…レンズ、2…イメージセンサ(固体撮像素子)、3…AFE(アナログ信号処理)回路、4…デジタル信号処理部、5…ADC(アナログデジタル変換器;AD変換器)、6…輝度信号処理ブロック、7…色信号処理ブロック、7−1…YC(輝度信号色信号)分離回路、7−2…原色分離回路、7−3…WB(ホワイトバランス)回路、8…OPD(オプティカルディテクタ;光学レベル検出回路)、9…YC_MIX(混合回路)、10…マイクロコンピュータ(CPU)、11…不揮発性メモリー、12…DAC(デジタルアナログ変換器)、13…TG(タイミングジェネレータ)、15…タイミング制御回路、16…PLL((フェーズロックループ)回路,VCO(電圧制御型発振器))、17…積分制御手段、24…スイッチングパルス供給器、31…クロックパルス供給部、34…カウンタ用データ挿入パルス供給器、41…積分イネーブルパルス供給器、50…Clamp(クランプ)回路、51,57…LPF(ローパスフィルタ)、52…段差検出回路、53,58…Slicer(スライス回路)、54…近傍マスク回路、55…SRAM(スタティクランダムアクセスメモリー)、56,85,86,87,88,129,140…加算器、61,62…比較器、63,132…OR回路、71,72,73…画素信号差分回路、74,75,76…絶対値化回路、77…MAX(最大値)検出回路、81,82,83,84…D_FF(D型フリップフロップ)回路、100,200…カメラ装置、120…グリーンデータ生成ブロック、121…置換ブロック、122…積分遅延ブロック、125…スイッチ、128…遅延器、130…乗算器、133…AND回路、135…インバータ(NOT回路)、136,137,138,139…遅延保持器、150…色信号積分回路。

Claims (12)

  1. 画像信号が供される入力手段と、
    入力された画像信号を色分離してR(赤)G(緑)B(青)の原色信号と輝度信号とを出力する色分離手段と、
    得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御する制御部とを含むホワイトバランス制御手段と
    を有する色信号処理回路。
  2. 前記画像信号は、固体撮像素子によって撮像された信号である
    請求項1記載の色信号処理回路。
  3. 前記ホワイトバランス制御手段は、前記判定手段判定結果に基づいて画像信号に対する垂直M段×水平N段(MとNは正の整数)の画素の平均処理を行う画素平均処理手段を有する
    請求項1記載の色信号処理回路。
  4. 前記ホワイトバランス制御手段は、前記RGBの原色信号から輝度情報についてのデータ変化を検出し、ホワイトバランス制御用の積分処理をオン/オフ制御する積分制御パルスの生成手段を有する
    請求項3記載の色信号処理回路。
  5. 前記ホワイトバランス制御手段は、前記積分制御パルスによって積分が許可された期間だけ、前記ホワイトバランス制御用の積分処理を行う
    請求項4記載の色信号処理回路。
  6. 前記色信号処理回路は、前記画像信号の入力から前記ホワイトバランス制御までの動作をリアルタイム処理によって行う
    請求項5記載の色信号処理回路。
  7. 映像信号が撮像素子に供給され、電気信号に変換され、アナログ信号処理された後、デジタル信号に変換され、信号処理ブロックのYC分離回路で輝度信号と色信号に分離され、前記色信号は積分処理されてホワイトバランスの係数が算出され、ホワイトバランスを調整した後、前記輝度信号と合成されて、ビデオ信号を生成するカメラ装置であって、
    前記信号処理ブロックは、
    画像信号が供される入力手段と、
    入力された画像信号を色分離してR(赤)G(緑)B(青)の原色信号と輝度信号とを出力する色分離手段と、
    得られた原色信号と輝度信号をそれぞれフィールド毎に積分する積分手段と、前記積分手段によって得られた積分値と積分画素数とに基づいて画像信号の撮像状態を判定する判定手段と、前記判定手段の判定結果に基づいて画像信号のホワイトバランスを制御する制御部とを含むホワイトバランス制御手段と
    を有するカメラ装置。
  8. 前記画像信号は、固体撮像素子によって撮像された信号である
    請求項7記載のカメラ装置。
  9. 前記ホワイトバランス制御手段は、前記判定手段判定結果に基づいて画像信号に対する垂直M段×水平N段(MとNは正の整数)の画素の平均処理を行う画素平均処理手段を有する
    請求項7記載のカメラ装置。
  10. 前記ホワイトバランス制御手段は、前記RGBの原色信号から輝度情報についてのデータ変化を検出し、ホワイトバランス制御用の積分処理をオン/オフ制御する積分制御パルスの生成手段を有する
    請求項9記載のカメラ装置。
  11. 前記ホワイトバランス制御手段は、前記積分制御パルスによって積分が許可された期間だけ、前記ホワイトバランス制御用の積分処理を行う
    請求項10記載のカメラ装置。
  12. 前記色信号処理回路は、前記画像信号の入力から前記ホワイトバランス制御までの動作をリアルタイム処理によって行う
    請求項11記載のカメラ装置。
JP2006291361A 2006-10-26 2006-10-26 色信号処理回路およびカメラ装置 Pending JP2008109468A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006291361A JP2008109468A (ja) 2006-10-26 2006-10-26 色信号処理回路およびカメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006291361A JP2008109468A (ja) 2006-10-26 2006-10-26 色信号処理回路およびカメラ装置

Publications (1)

Publication Number Publication Date
JP2008109468A true JP2008109468A (ja) 2008-05-08

Family

ID=39442449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006291361A Pending JP2008109468A (ja) 2006-10-26 2006-10-26 色信号処理回路およびカメラ装置

Country Status (1)

Country Link
JP (1) JP2008109468A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015386A (ja) * 2009-06-03 2011-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
US8482631B2 (en) 2010-05-07 2013-07-09 Kabushiki Kaisha Toshiba Image processing apparatus, camera module and electronic device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015386A (ja) * 2009-06-03 2011-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
US8482631B2 (en) 2010-05-07 2013-07-09 Kabushiki Kaisha Toshiba Image processing apparatus, camera module and electronic device

Similar Documents

Publication Publication Date Title
JPH07184097A (ja) 撮像装置
JP2009303139A (ja) 固体撮像装置
JP2816173B2 (ja) 撮像装置及び撮像装置の信号処理方法
US7750946B2 (en) Signal processing apparatus allowing an increase in pixels without an increase in driving frequency and circuit area
JPH11191892A (ja) 画像信号処理装置
JP3969836B2 (ja) 信号処理装置および撮像用信号処理方法
JP4040171B2 (ja) 信号処理装置
JP3576573B2 (ja) 撮像装置
JP2722784B2 (ja) カラー撮像装置
JPH0884348A (ja) 撮像装置
JP2008109468A (ja) 色信号処理回路およびカメラ装置
JPH0785584B2 (ja) カラーカメラの映像信号処理回路
JP4135197B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
JP4178571B2 (ja) 画像処理装置および画像処理方法、並びにカメラ
JP3576600B2 (ja) カラー撮像装置
JP3733182B2 (ja) 撮像装置および縦縞除去方法
JP3555639B2 (ja) ビデオカメラ
KR100596639B1 (ko) 영상 센서의 결함 보정 장치
JP3591257B2 (ja) 映像信号処理方法及び映像信号処理装置
JP2698404B2 (ja) 輝度信号処理装置
JP3985325B2 (ja) 映像信号処理回路およびその処理方法、並びにこれらを用いたカメラシステム
JP3299781B2 (ja) 画像処理装置
JP4348789B2 (ja) 撮像装置
KR930011979B1 (ko) 영상신호의 휘도 및 색신호 분리회로
JP2005064863A (ja) 偽色検出補正装置及び方法