JP2006157242A - 画像信号のクランプ装置及びクランプ方法 - Google Patents

Abstract

【課題】 固体撮像素子からの信号のクランプ時に、赤外光の入射によるオプティカルブラック画素出力の浮きが、クランプの誤動作を引き起こすことを回避する。
【解決方法】 固体撮像素子１１からの信号のクランプ時に、オプティカルブラック画素出力とクランプ目標レベルとの差を、差分出力として出力し、この差分出力を設定した比較レベルと比較し、比較レベルより大きくなる回数を水平ラインごとに積算する。その回数が水平ラインのオプティカルブラック画素数の３分の２以上のときにオプティカルブラック浮き状態と判定し、直前の保持された値でクランプ動作を行う。
【選択図】 図１

Description

本発明は、CMOSセンサ又はＣＣＤなどの固体撮像装置からの光学的黒（オプティカルブラック）レベル出力を所定のレベルに一致させるクランプ方式および装置に関する。

一般的にCMOSセンサなどの固体撮像装置は信号レベルの基準として、遮光した画素からのOptical Black（オプティカルブラック、以下ＯＢと略する）レベルを出力する。センサの信号を処理する回路ではOBレベルを所定のレベルにクランプし、その後のデジタル値への変換などの信号処理を行う。通常、クランプすべきOBレベルを出力する遮光画素は、図７に示すとおり、固体撮像素子１１の上部の水平画素数ラインと、その後の各水平ラインの先頭部分もしくは最終部分に数画素設けられている。これらはそれぞれを垂直OB（Optical Black）画素５１、水平OB画素５２と呼ぶ。

次に図６を使用して実際の信号処理の例を説明する。図６において、１１は固体撮像素子、１２は固体撮像素子１１からの画像信号を最初に受けるアナログ信号処理ブロックであり、主には映像信号を相関二重サンプリングするCDS回路や信号の振幅レベルを調整する可変ゲインコントロール回路（ＰＧＡ回路）から成る。アナログ信号処理ブロック１２の出力はDCレベルを調整するための加減算回路１３に入力し、その後デジタル値に変換するためのＡ/Ｄ変換器１４に入力する。デジタル値に変換された信号は外部に出力されると共にＯＢレベル調整のためにフィードバックループに入力する。フィードバックループではまずOBレベル判定ブロック１５で、A/D変換器１４で変換されたOBレベルと予め設定したOB目標レベルを比較する。そして比較結果に応じてDCレベル調整用のD/A変換器１６を設定する。そしてD/A変換器１６の出力を加減算回路１３に入力し、アナログ信号処理ブロック１２の出力に加減算することでOBレベルをOB目標レベルにクランプする。

さらに、欠陥による異常なOB画素をその出力値から判別し、クランプに利用しない方法も考案されている。以下に具体的な一例を示す。固体撮像素子の出力をデジタル値に変換するA/D変換器の分解能を12bitとした場合、A/D変換器の出力フルスケールは０LSBから、２の１２乗から１を引いた4095LSBである。この場合、クランプレベルとしては100LSBから300LSB程度が選択される。垂直OB画素期間でのクランプでOB画素出力を十分引き込んだ後、水平OB画素領域においてクランプ目標値から、たとえば10LSB以上ずれた出力の画素を欠陥画素と判別しクランプに利用しないことで、欠陥画素によるクランプの誤動作を防ぎ、出力画像の品位を保つことが可能である。

また、特許文献１には、黒沈みに対して、有効画素領域と光学的黒領域との間に黒レベルの差が生じた場合、光学的黒領域のクランプ量に利得回路のゲインや素子の蓄積時間、１フレームを読み出す時間、周囲環境温度から決めた加算するオフセット量のオフセットテーブルから参照して加算してＯＢ領域の信号を零とする技術が開示されている。また、デジタル変換された光学的黒領域の出力を積算平均しその結果のレベルに基づいて有効画素領域の基準レベルを調節するペデスタル調整手段が開示されている。
特開２００４−８０１６８号公報 （［００１１］［００１３］［００１４］、図２〜図４）

しかしながら、前記欠陥画素判別方法においても10LSBより小さなOB画素出力ずれの場合は欠陥画素として判別できない。固体撮像素子に垂直に入射する光は遮光手段によりOB画素に入射しないが、赤外光のように固体撮像素子内で到達距離が長い光は、遮光されない画素から入射した光が光電変換により消滅するまでに固体撮像素子の裏面で反射しOB画素に到達する可能性が高くなる。したがって、図８に示すように、赤外光を多く含む被写体を撮影した場合のOB出力は、その被写体に最も近いOB画素の出力がピークとなり、遠くなるに従い通常のOBレベルまでなだらかに低下する。これをOB浮きと称する。OB画素出力の変化がなだらかなために、前記欠陥画素判別方法では判別できない。

このため、赤外光を多く含む被写体を撮影した固体撮像素子の出力を通常にクランプした場合、図９に示すように、OBレベルは一定となるが、赤外光を多く含む被写体の前後の画像出力が黒方向に沈み込み、画像が劣化する。これを黒沈みと称する。

なだらかに変化する画像の出力異常を判別するためには、欠陥による異常なOB画素をその出力値から判別しクランプに利用しない方法において、欠陥判定のレベルを小さくする方法が考えられるが、たとえば判定レベルを２LSBに設定した場合、ノイズにより正常画素を欠陥画素として判別する不具合が生じる。

また、特許文献１では、オフセット加算回路が、種々の条件からのオフセット補正テーブルからオフセットを加えているが、多くの記憶メモリを必要とする。ペデスタル調節手段は、ＯＢ領域の積算平均を用いた差分出力をそのまま用いてオフセットを加えている。また、補正テーブルを使用して補正するので、記憶メモリを必要とする。

そこで、本発明は、赤外光の入射によるＯＢ画素出力の浮きをクランプすることで画像信号が黒沈みすることを簡易に回避することを課題とする。

本発明によれば、映像信号内の遮光された画素からのオプティカルブラック出力を設定したレベルにクランプするクランプ装置において、
前記オプティカルブラック出力と設定したクランプレベルとを比較し、その差を差分出力として出力するオプティカルブラックレベル判定部と、
前記差分出力を保持する保持部と、
前記差分出力に応じて前記映像信号をクランプする加減算回路と、
前記画素の水平ラインごとに、前記画素の前記差分出力を設定した比較レベルと比較し、前記差分出力が前記比較レベルに対して大きい水平ラインでは、既に保持された差分出力によりクランプする信号を前記保持手段に出力するオプティカルブラック浮き判定部と、
を備えることを特徴とするクランプ装置によって達成される。

本発明によるクランプ装置によれば、赤外光によるなだらかなオプティカルブラック画素出力の変化であるオプティカルブラック浮きを水平ラインごとに判別し、検出した場合は、オプティカルブラッククランプ動作を既に保持された差分出力によりクランプすることでクランプ動作による画像の黒方向への沈み込みである黒沈みを防ぎ、高品質な画像信号を得ることが可能となる。

［実施形態１］
本発明の実施形態１を、図１を使い詳細に説明する。図１において、１１はＣＭＯＳセンサ、ＣＣＤ等の固体撮像素子、１２は固体撮像素子１１からの画像信号を最初に受けるアナログ信号処理ブロックであり、主には固体撮像素子１１からの信号を二重相関サンプリングするCDS回路や信号の振幅レベルを調整する可変ゲインコントロール回路（ＰＧＡ回路）から成る。アナログ信号処理ブロック１２の出力は、OB（オプティカルブラック、以下ＯＢとする）レベルを調整するための加減算回路１３に入力し、その後デジタル値に変換するためのＡ/Ｄ変換器１４に入力する。

デジタル値に変換された信号は外部に出力されると共にＯＢレベル調整のためにフィードバックループに入力する。フィードバックループではまずOBレベル判定ブロック１５で、A/D変換器１４で変換されたOBレベルとクランプレベルである目標のOBレベル設定値を比較する。そして比較結果を差分出力としてＯＮ状態のスイッチ１９を通り、調整値設定用の保持部でもあるD/A変換器１６に入力する。そしてD/A変換器１６の出力を加減算回路１３に入力し、アナログ信号処理ブロック１２の出力に加減算することでOBレベルをクランプレベルである設定値にクランプする。

さらに、A/D変換器１４で変換されたデジタル値はOB浮き判定ブロック１７にも入力する。このＯＢ浮き判定ブロック１７の動作は、後述する図２のフローチャートに示す。ＯＢ浮き判定ブロック１７は、赤外光によるなだらかなOB浮きを検出し、OB浮きを検出したときには、OBレベル判定ブロック１５から調整値設定用のD/A変換器１６への入力をスイッチ１９をＯＦＦとする信号を出して遮断し、クランプ調整動作を行わない。保持部でもあるＤ／Ａ変換器１６に保持された値が加減算回路１３に出力される。これにより、なだらかに変化するOB浮きによるクランプの誤動作を防ぎ、画像信号の品位を保つことが可能である。ＯＢ浮き判定ブロック１７のＯＢ浮き検出は、例えば比較器２０とカウンタ２１を内蔵し、ラインごとに、設定した比較値と比較して大きい回数を積算し、設定した比較回数より大きくなったときに検出する。

次に図２のフローチャートを使い、OB浮き判定ブロック１７の動作の一例を説明する。まずＯＢレベルずれの判定回数Ｎを積算するカウンタをＮ＝０にリセットする（Ｓ１）。次に、入力されるＯＢ画素出力のレベルのＯＢレベル設定値からのずれ量つまり上述の差分出力を、比較レベルであるＯＢ浮き判定リミット値と比較する（Ｓ２）。ここで、ＯＢ浮き判定リミット値はランダムノイズと同じ大きさから５倍までの大きさ、たとえば12bitA/D変換器を使用した場合にランダムノイズの大きさが１ＬＳＢｒｍｓであった場合は、１ＬＳＢから５ＬＳＢの間の値に設定する。つまり、比較レベルは、オプティカルブラック出力信号のランダムノイズと同等から５倍までの間の大きさに設定する。

ずれ量がＯＢ浮き判定リミット値より大きい場合は判定回数Nに１を加算し（Ｓ３）、小さい場合は変更なしとする。カウンタ２１リセット以降のループを設定OB画素が終了するまで続ける（Ｓ４）。最終的なＯＢレベルずれの判定回数Nが事前に設定した比較回数と比較し（Ｓ５）、大きい場合はOB浮き判定とし（Ｓ６）、以下の場合は正常OBと判定する（Ｓ７）。

上記の判定を例えば固体撮像素子の遮光画素の水平ラインごとのＯＢ画素を設定して行う。

赤外光の入射が無ければ、まったくクランプを行わない場合でも垂直方向のＯＢレベルのずれは１行あたり１ＬＳＢよりも十分小さいため、赤外光の入射がない場合に、ランダムノイズでカウンタ２１が加算された場合でも平均すれば水平ラインの設定OB画素の総数の半分以下になる。一方、赤外光の入射でOB浮きが発生した場合はカウンタ値のＯＢレベルずれの判定回数Nが設定OB画素の総数に近づく。そこで、OBレベル判定の比較回数はクランプに使用するOB画素の総数の3分の2以上総数以下に設定すれば赤外光の入射が無い場合の誤動作を防ぐことが可能である。

なお、クランプレベル、比較レベル、比較回数は、例えば出荷時に予めマニュアル設定を行う。

なお、上記のクランプ方法において、水平ラインごとに、予め設定したクランプレベルと比較した差分出力の平均値を算出して、予め設定した比較レベルと比較し、差分出力が同等か小さいときにクランプを行うラインとする形態を取ることもできる。

また、上記のクランプ方法において、予め設定したクランプレベルとの比較した差分出力が、予め設定した比較レベルよりも十分に大きく設定した第三のレベルより大きいときに、差分出力の平均値を算出する計算に加えないとする形態を取ることもできる。

［実施形態２］
本発明の実施形態２を、図３を使い説明する。実施形態１はA/D変換後のデジタル値でのクランプ判定をA/D変換前のアナログ信号にフィードバックする例を示したが、出力デジタル値を直接コントロールするデジタルクランプにも適用可能であり、図３に示し説明する。実施形態１と同じものは説明を省略する。

図３において、１１は固体撮像素子、１２は固体撮像素子からの画像信号を最初に受けるアナログ信号処理ブロックである。アナログ信号処理ブロック１２の出力はデジタル値に変換するためのＡ/Ｄ変換器１４に入力される。デジタル値に変換された信号はクランプ用の加減算器13に入力すると共にOB判定ブロック１５に入力し、A/D変換器１４で変換されたOBレベルとクランプレベルである目標のOBレベル設定値を比較する。そして比較結果の差分出力に応じて保持部であるクランプオフセット値レジスタ１８の値をＯＮ状態のスイッチ１９を通して変更する。クランプオフセット値レジスタ18の値をデジタル値に加減算することでOBレベルを設定値にクランプする。

さらに、A/D変換器１４で変換されたデジタル値はOB浮き判定ブロック１７にも入力する。ＯＢ浮き判定ブロック１７の動作は実施形態１の図２と同等である。よって、このブロックでは赤外光によるなだらかなOB浮きを検出し、OB浮きを検出したときにはスイッチ１９をＯＦＦにする信号を出力して遮断し、OB判定ブロック１５の出力によらず保持部であるクランプオフセット値レジスタ１８の直前の値を保持する。この値が加減算器１３に出力される。これにより、なだらかに変化するOB浮きによるクランプの誤動作を防ぎ、画像信号の品位を保つことが可能である。

［実施形態３］
本発明の実施形態３を、図４、図５を用いて説明する。固体撮像素子と本発明のクランプ装置をスチルカメラ１００又は固体撮像システムに適用した場合である実施形態３について詳述する。固体撮像システムは、固体撮像素子を用いた撮像システムであり、以下のスチルカメラ１００と同等の実施形態となる。

図４は、本発明の実施形態２の固体撮像素子とクランプ装置をスチルビデオカメラ１００に適用した場合を示すブロック図である。

図４において、１０１はレンズのプロテクトとメインスイッチを兼ねるバリア、１０２は被写体の光学像を固体撮像素子１０４に結像させるレンズ、１０３はレンズ１０２を通った光量を可変するための絞り、１０４はレンズ１０２で結像された被写体を画像信号として取り込むための固体撮像素子、１０５はアナログ信号処理を行なう撮像信号処理回路、
１０６は固体撮像素子１０４より出力される画像信号のアナログ−ディジタル変換を行うＡ／Ｄ変換器、１０７はＡ／Ｄ変換器１０６より出力された画像データに各種の補正を行ったり、データを圧縮するもので、実施形態２の加減算回路１３、ＯＢレベル判定ブロック１５、ＯＢ浮き判定ブロック１７、クランプオフセット値レジスタ１８が含まれ、ＯＢ浮きに対する実施形態２の補正がそのまま行われる信号処理部、１０８は固体撮像素子１０４、撮像信号処理回路１０５、Ａ／Ｄ変換器１０６、信号処理部１０７に、各種タイミング信号を出力するタイミング発生部、１０９は各種演算とスチルビデオカメラ１００全体を制御する全体制御・演算部、１１０は画像データを一時的に記憶する為のメモリ部、１１１は記録媒体に記録または読み出しを行うための記録媒体制御Ｉ／Ｆ部、１１２は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体、１１３は外部コンピュータ等と通信する為の外部Ｉ／Ｆ部である。

次に、図５は実施形態１の固体撮像素子とクランプ装置をスチルビデオカメラ１００に適用した場合を示すブロック図である。実施形態１の発明を行うときの図４との違いは、Ｄ／Ａ変換器１１４と加減算回路１１５を付加したもので行う。このとき、信号処理部１０７は、ＯＢレベル判定ブロック１５とＯＢ浮き判定ブロック１７の機能を含む。これにより、ＯＢ浮きに対する実施形態１の動作がそのまま行われる。

次に、前述の構成における撮影時のスチルビデオカメラ１００の動作について説明する。

バリア１０１がオープンされると不図示のメイン電源がオンされ、次に不図示のコントロール系の電源がオンし、更にＡ／Ｄ変換器１０６などの撮像系回路の電源がオンされる。

続いて、露光量を制御する為に、全体制御・演算部１０９は絞り１０３を開放にし、固体撮像素子１０４から出力された信号はＡ／Ｄ変換器１０６で変換された後、信号処理部１０７に入力される。ここで、実施形態１又は実施形態２の処理及び他の処理が行われる。
このデータを基に露出の演算を全体制御・演算部１０９で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部１０９は絞りを制御する。

次に、固体撮像素子１０４から出力された信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部１０９で行う。その後、レンズ１０２を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ１０２を駆動し測距を行う。そして、合焦が確認された後に本露光を始める。

露光が終了すると、固体撮像素子１０４から出力された画像信号はＡ／Ｄ変換器１０６でＡ／Ｄ変換され、信号処理部１０７で実施形態１か実施形態２の補正処理及び他の処理が処理され、全体制御・演算部１０９によりメモリ部１１０に書き込まれる。

その後、メモリ部１１０に蓄積されたデータは、全体制御・演算部１０９の制御により記録媒体制御Ｉ／Ｆ部１１１を通り半導体メモリ等の着脱可能な記録媒体１１２に記録される。

また、外部Ｉ／Ｆ部１１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

本発明は、固体撮像素子による画像を利用する装置及び産業において利用される可能性がある。

本発明の実施形態１の構成図である。 ＯＢ浮き判定ブロックの実施例の動作を説明するフローチャートである。 本発明の実施形態２の構成図である。 本発明の実施形態３（その１）の構成図である。 本発明の実施形態３（その２）の構成図である。 従来のクランプ回路の構成図である。 固体撮像素子のイメージである。 赤外光を多く含む被写体を撮像したときのイメージである。 赤外光を多く含む被写体をクランプしたときのイメージである。

符号の説明

１１ 固体撮像素子
１２ CDS/PGAブロック
１３ 加減算回路
１４ A/D変換器
１５ OBレベル判定ブロック
１６ D/A変換器
１７ OB浮き判定ブロック
１８ クランプオフセット値レジスタ
１９ スイッチ
２０ 比較器
２１ カウンタ
５１ 垂直OB画素
５２ 水平OB画素
５３ 有効画素
６１ 赤外光を多く含む被写体
６２ 赤外光によるOB浮き
７１ 黒沈み
１００ スチルビデオカメラ
１０１ バリア
１０２ レンズ
１０３ 絞り
１０４ 固体撮像素子
１０５ 撮像信号処理回路
１０６ Ａ／Ｄ変換器
１０７ 信号処理部
１０８ タイミング発生部
１０９ 全体制御・演算部
１１０ メモリ部
１１１ 記録媒体制御Ｉ／Ｆ
１１２ 記録媒体
１１３ 外部Ｉ／Ｆ部
１１４ Ｄ／Ａ変換器
１１５ 加減算回路

Claims (15)

1. 映像信号内の遮光された画素からのオプティカルブラック出力を設定したレベルにクランプするクランプ装置において、
   前記オプティカルブラック出力と設定したクランプレベルとを比較し、その差を差分出力として出力するオプティカルブラックレベル判定部と、
   前記差分出力を保持する保持部と、
   前記差分出力に応じて前記映像信号をクランプする加減算回路と、
   前記画素の水平ラインごとに、前記画素の前記差分出力を設定した比較レベルと比較し、前記差分出力が前記比較レベルに対して大きい水平ラインでは、既に保持された差分出力によりクランプする信号を前記保持手段に出力するオプティカルブラック浮き判定部と、
   を備えることを特徴とするクランプ装置。
2. 前記オプティカルブラック浮き判定部は、
   前記オプティカルブラックレベル判定部の前記差分出力を設定した前記比較レベルと比較し、前記差分出力が前記比較レベルに対して大きいときに出力する比較部と、前記出力の回数をカウントし、水平ラインごとに積算し、設定した比較回数を超えた水平ラインでは、前記既に保持された差分出力によりクランプする信号を出力するカウンタ部を備えるものであることを特徴とする請求項１記載のクランプ装置。
3. 前記加減算回路の出力をＡ／Ｄ変換して前記オプティカルブラックレベル判定部に出力するＡ／Ｄ変換部と、
   前記保持部であって、前記差分出力をＤ／Ａ変換して保持するとともに前記加減算回路に出力するＤ／Ａ変換部を備えることを特徴とする請求項１又は２記載のクランプ装置。
4. 前記映像信号をＡ／Ｄ変換してオプティカルブラックレベル判定部と前記加減算回路に出力するＡ／Ｄ変換部と、
   前記保持部であって、前記差分出力をオフセット値として保持し、前記加減算回路に出力するレジスタ部を備えることを特徴とする請求項１又は２記載のクランプ装置。
5. 設定した前記比較回数を水平ラインのオプティカルブラック出力総数の３分の２以上総数以下に設定することを特徴とする請求項１又は２記載のクランプ装置。
6. 前記映像信号をデジタル値に変換して、設定したデジタル値であるクランプレベルと比較して、デジタル値である前記差分出力を出力し、前記デジタル値である前記差分出力を設定したデジタル値である比較レベルと比較する請求項１記載のクランプ装置。
7. 前記比較レベルは、オプティカルブラック出力信号のランダムノイズと同等から５倍までの間の大きさであることを特徴とする請求項１、２、３又は４記載のクランプ装置。
8. 請求項１〜７のいずれかの請求項に記載のクランプ装置と、前記クランプ装置に出力する固体撮像素子へ光を結像する光学系と、前記クランプ装置からの出力信号を処理する信号処理回路とを有することを特徴とする固体撮像システム。
9. 請求項１〜７のいずれかの請求項に記載のクランプ装置と、前記クランプ装置に出力する固体撮像素子へ光を結像する光学系と、前記クランプ装置からの出力信号を処理する信号処理回路とを有することを特徴とするカメラ。
10. 映像信号内の遮光された画素からのオプティカルブラック出力を設定したレベルにクランプするクランプ方法において、
    前記オプティカルブラック出力と設定したクランプレベルとを比較し、その差を差分出力として出力し、前記差分出力に応じて前記映像信号をクランプするとともに前記差分出力を保持し、
    前記画素の水平ラインごとに、前記画素の前記差分出力を設定した比較レベルと比較し、前記差分出力が前記比較レベルに対して大きい水平ラインでは、既に保持された差分出力によりクランプすることを特徴とするクランプ方法。
11. 前記差分出力を設定した前記比較レベルと比較して大きいときの回数をカウンタでカウントし、水平ラインごとに積算し、該カウンタの値が設定した比較回数を超えた水平ラインでは、既に保持された差分出力によりクランプすることを特徴とする請求項１０記載のクランプ方法。
12. 設定した前記比較回数を水平ラインのオプティカルブラック出力総数の３分の２以上総数以下に設定することを特徴とする請求項１１記載のクランプ方法。
13. 前記水平ラインごとに、設定した前記クランプレベルと比較した前記差分出力の平均値を算出して、設定した前記比較レベルと比較し、前記差分出力が大きいときは既に保持された差分出力によりクランプすることを特徴とする請求項１０記載のクランプ方法。
14. 設定した前記クランプレベルとの比較した前記差分出力が、設定した第三のレベルより大きいときに、前記差分出力の前記平均値を算出する計算に加えないことを特徴とする請求項１３記載のクランプ方法。
15. 前記比較レベルは、オプティカルブラック出力信号のランダムノイズと同等から５倍までの間の大きさであることを特徴とする請求項１０記載のクランプ方法。