JP2007214770A

JP2007214770A - 画像信号処理装置

Info

Publication number: JP2007214770A
Application number: JP2006031030A
Authority: JP
Inventors: Kazuya Inao; 和也稲生
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-02-08
Filing date: 2006-02-08
Publication date: 2007-08-23

Abstract

【課題】領域分割読出し式撮像素子を用いた撮像装置において、合成画像の画質を改善する。
【解決手段】撮像素子の複数の出力端子から出力される画像信号に対して、黒レベルを設定値に保つ黒レベル補正手段と、黒レベル補正手段の複数の出力信号をアナログデジタル変換するＡＤ変換手段と、ＡＤ変換手段より出力する画像信号よりダミーレベルを検出するダミー読み出し手段と、ＡＤ変換手段より出力する信号差を補正する信号差補正手段と、ダミーレベル検出したダミーレベルを観測し、このダミーレベルが時間的に変動しないように黒レベル補正手段に対する黒レベルの設定値を決定する制御手段を設けることによって、合成画像の画質を改善する。
【選択図】図１

Description

本発明は、固体撮像素子の画像出力を分割して読み出し、読み出された複数の出力信号の信号差を補正する画像信号処理装置に関する。

近年ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばNTSC方式やPAL方式の動画像信号をディジタル記録する記録再生装置と撮像装置を一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。また、コンピュータ等との接続のためにディジタルI/Fを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっているものもある。

このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば７２０ｘ４８０画素でなんら問題は無いが、ディジタルI/Fを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。

撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、Ｓ／Ｎの劣化や消費電力の増大を招く。

撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。このような撮像素子の例を図４に示す。同図において撮像素子1400の撮像面は左右の2領域に分割されており、1401、1402は光電変換及び垂直転送部、1403、1404は水平転送部、1405、1406は増幅器、1407、1408は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し2倍のデータレートの撮像情報が得られる利点がある。

従来例としては、例えば特許文献１と特許文献２をあげることが出来る。
特開２００２−２５２８０８号公報特開２００２−３２０１４２号公報

しかしながらこの方法の欠点として、各領域の電荷転送部もしくは増幅器の特性の不均一により、複数の領域を合成して画像を生成した場合に、領域間の信号差による境界線が生じるなどの画質劣化が発生する問題があった。

通常、撮像装置ではアナログフロントプロセッサ部（ＡＦＥ）において、撮像素子から出力される光学的黒レベル（以下OBレベル）を一定値に補正する黒レベル補正手段があるが、通常信号差補正ではＯＢレベルではなく後述するダミーレベルで補正を行うことが望ましいため、ＯＢレベルを一定に保つように制御すると、例えば温度変化などによってＡＦＥの特性が変化した時にダミーレベルが変動してしまうという問題点があった。

本発明は、領域分割読出し式撮像素子を用いた撮像装置において、ダミーレベルを検出し、ダミーレベルが一定になるように黒レベルを補正することによって、合成画像の画質を改善することを目的とする。

前述の課題を解決するために、本発明の請求項１記載の画像信号処理装置は、撮像素子の複数の出力端子から出力される画像信号に対して、黒レベルを設定値に保つ黒レベル補正手段と、黒レベル補正手段の複数の出力信号をアナログデジタル変換するＡＤ変換手段と、ＡＤ変換手段より出力する画像信号よりダミーレベルを検出するダミー読み出し手段と、ＡＤ変換手段より出力する信号差を補正する信号差補正手段と、ダミーレベル検出したダミーレベルを観測し、このダミーレベルが時間的に変動しないように黒レベル補正手段に対する黒レベルの設定値を決定する制御手段を設ける。

本発明によれば、領域分割読出し式撮像素子を用いた撮像装置において、領域間のダミーレベルを検出し、ダミーレベルが時間的に一定になるように黒レベルを補正することによって、合成画像の画質を改善することができる。

（実施例1）
図１は本発明の特徴を最もよく表す図面であり、本発明の検出装置を搭載した撮像装置のブロック図である。同図において、レンズ101を通った画像は撮像素子103上に結像する。本実施例では撮像素子はＣＣＤエリアセンサとする。ＣＣＤエリアセンサ103上に結像した画像信号は、電気信号に変えられ、左右に２分割されて読み出され、左半分がバッファ105Aへ、右半分がバッファ105Bへ加えられる。

ＣＣＤエリアセンサ103の具体例を図２に示す。エリアセンサ部分の左半分が201Aであり、右半分が201Bである。エリアセンサ部の両端にはオプティカルブラック部203A、203Bがある。エリアセンサ部分201A、201Bから順次垂直転送されてきた画像は、水平転送部205A、205Bに左右それぞれ加えられ、左の水平転送部205Aでは同図の左方向に、右の水平転送部205Bでは同図の右方向に水平転送され、それぞれ読み出しアンプ207A、207Bで電圧に変換され、出力端子209A、209Bに出力される。

出力される画像信号のタイミングを図３を用いて説明する。301A、301Bがそれぞれ左側と右側の画像信号における１水平期間を示す。横軸は時間である。同じ水平期間の左右の画像信号は同じ１水平期間で読み出され、順番としては、外側から内側に向かって読み出されるので、まずオプティカルブラック部が読み出され、次に両サイドから中心に向かって画像が読み出され、全ての画像が読み終わってもしばらく水平転送パルスを与え続けることにより、ダミーデータが読み出される。図３(a)のダミーデータ部を拡大したのが図３(ｂ)である。本実施例では原色フィルタを例に説明する。原色市松フィルタの場合、ＧＢＧＢの色フィルタとＲＧＲＧの色フィルタとが１ラインごとに交互に貼られている。同図においては、ＧＢラインの場合の例を示しており、左画面の信号303AはＧＢＧＢと順次読み出されたあと、ダミー画素がDM1A、DM2A…と読み出される。また右画面の信号303Bは右端から読み出されているので、ＧとＢとの順番が逆になっており、ＢＧＢＧと読み出されたあと、ダミー画素がDM1B、DM2B…と読み出される。

図１に戻り説明を続ける。バッファ105A、105Bの出力はCDS109A、109Bへ加えられる。ＣＤＳ109A、109Bで、左右のＣＣＤ出力波形にそれぞれ相関二重サンプルを施すことで低周波ノイズを除去する。第1の黒レベル補正手段110A、110BおよびＡ／Ｄは、チャンネル別に図２の221、223に示すＯＢ部分の画素のレベルを演算手段145より与えられた設定値になるようにアナログ信号をディジタル信号に変換し、結果をダミークランプ手段133A、133Bに加える。

ダミークランプ手段112A,112Bはダミー読み出し手段1120A,1120Bと減算手段1121A,1121Bからなり、ダミー読み出し手段1120A,1120BはＣＣＤエリアセンサのダミー部分の画素値を読み出し結果をチャンネル別に減算手段1121A,1121Bに加えると同時に演算手段145に送出する。左右分割２チャンネル読み出しのCCDエリアセンサでは、図２に示すように、左右両側に電荷を水平転送しているため、時間的に、外側から中央部に向かって読み出される。画素を読み終えてから水平駆動パルスを加え続けると、いわゆるダミーレベルが両方のチャンネルから読み出される。このダミーレベルは中央付近の電位を表しており、両チャンネルに読み出された当該ダミーレベルを揃えることで左右２画面のオフセットを合わせることができる。

演算手段145はダミー読み出し手段1120A,1120Bより検出されたダミーレベルを時間的に連続に監視し、ダミーレベルが変動した場合には第1の黒レベル補正手段に設定する設定値を変更してＯＢレベルを変動させ、結果としてダミーレベルが一定になるように制御する。

ダミークランプ手段113Aの出力は電荷混入補正手段121A、121Bに加えられる。電荷混入補正手段121A、121Bは、工場出荷時に、露光制御手段157を、演算手段145で入力光量の輝度を変化させながら隣接画素への電荷混入量を計測し、補正量を演算手段145に外付けした記憶手段163に記憶する。その後、電源投入時に演算手段145が補正量を電荷混入補正手段121A、121Bに書き込むことで、当該電荷混入補正を行う。電荷混入補正手段121A、121Bの出力はリニアリティ補正手段123A、123Bに加えられる。

リニアリティ補正手段123Aはリニアリティを補正する。リニアリティはＣＣＤやアナログフロントエンドごとに異なるので、隣接画素間電荷混入の補償と同様に、工場出荷時に露光制御手段157を用いてリニアリティを計測し、演算手段145に外付けした記憶手段163に記憶しておき、電源投入時に演算手段145が記憶手段163から読み出し、リニアリティ補正手段123A、123Bに設定することでリニアリティを補正する。

リニアリティ補正手段123A、123Bの出力は第２の黒レベル補正手段に加えられる。第２の黒レベル補正手段は、OB読み出し手段121・123と減算手段125・127からなる。OB読み出し手段121・123はチャンネル別に図２の221、223に示すＯＢ部分の画素の平均値を算出し、結果を演算手段145に出力する。演算手段145は両チャンネルのＯＢレベルの平均値を算出し、結果をチャンネル別にＯＢ減算手段125・127に加えることでＯＢレベルを引き算し、結果をゲイン補正手段129A、129Bに加える。

ゲイン補正手段129A、129B(図示しない右側チャンネル用)には２つの役目がある。一つは絞りを開放にしても明るさが不足する場合に電気的にゲインアップする役目であり、もう一つは左右のゲインを合わせる役目である。従来はアナログフロントエンドにアナログアンプがあり、マイコンから当該アナログアンプにデシベルゲインを設定することで、ゲインアップを行っていたが、本実施例のような分割読み出しＣＣＤの場合、アナログアンプによるゲインアップでは、温度や電圧、経時変化などに対してチャンネル間のゲインを保証できないため、アナログアンプを廃止し、その代わりに、アナログフロントエンドにおけるＡ／Ｄ変換の精度を上げて、例えば従来の１２ビットから１４ビットにしておき、ディジタル的な乗算でゲインアップを実現している。

ゲイン補正手段129A、129Bでゲイン補正された左右の画像は、合成手段147で合成され、従来同様の１画面信号となってカメラ信号処理149に加えられ、多画素CCDで得られた大きな画像をDVCディジタルビデオ規格に合わせる縮小処理、手ぶれ補正処理、γ補正、色の分離、輝度の輪郭強調などの各種処理が施され、画像信号として端子151に出力される。

実施例1の撮像装置を示すブロック図ＣＣＤエリアセンサの模式図出力される画像信号のタイミング説明図撮像素子の模式図

符号の説明

103 ＣＣＤエリアセンサ
110A、110B 黒レベル補正手段
121A、121B 電荷混入補正手段
123A、123B リニアリティ補正手段
129A、129B ゲイン補正手段
145 演算手段
147 合成手段
163 記憶手段

Claims

撮像素子の複数の出力端子から出力される画像信号に対して、黒レベルを設定値に保つ黒レベル補正手段と、黒レベル補正手段の複数の出力信号をアナログデジタル変換するＡＤ変換手段と、ＡＤ変換手段より出力する画像信号よりダミーレベルを検出するダミー読み出し手段と、ＡＤ変換手段より出力する信号差を補正する信号差補正手段と、ダミーレベル検出したダミーレベルを観測し、このダミーレベルが時間的に変動しないように黒レベル補正手段に対する黒レベルの設定値を決定する制御手段を設けることを特徴とする画像信号処理装置。
請求項１記載の画像信号処理装置において、信号差補正手段は、画像信号のダミーレベルでのオフセット差を補正するダミークランプ手段を有することを特徴とする画像信号処理装置。
請求項１記載の画像信号処理装置において、信号差補正手段は、撮像素子の複数の出力端子からの水平転送時に生じる隣接画素への信号の電荷混入を補正する電荷混入補正手段を有することを特徴とする画像信号処理装置。
請求項１記載の画像信号処理装置において、信号差補正手段は、画像信号のリニアリティ差を補正する、リニアリティ差補正手段を有することを特徴とする画像信号処理装置。