JP2004336242A - 補正装置 - Google Patents

Abstract

【課題】複数の撮像領域間の不均一性をリアルタイムに補正できるようにして、温度変動もしくは経時変動のような動的な変動にも対応できるようにする。
【解決手段】複数の出力端子から出力される複数の撮像信号のレベルをそれぞれ独立に調整するための複数のレベル調整手段１１３，１１４と、前記複数のレベル調整手段の出力レベルを検出する出力レベル検出手段１１６と、前記出力レベル検出手段の検出結果に基づいて各撮像信号のレベル差が小さくなるような補正係数を決定する補正係数決定手段１１７とを備え、前記補正係数決定手段１１７は、前記複数の撮像信号のレベル差が所定のレベル差を超えている被写体依存のレベル差成分を排除して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整手段１１３，１１４に与えて各撮像信号のレベル差が小さくなるような調整を行なうようにする。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は補正装置に関し、特に、撮像面が複数の領域に分割され、それぞれの領域の撮像信号を増幅する増幅器と、この出力に接続された複数の撮像信号出力端子を備える固体撮像素子からの信号を補正する補正装置に用いて好適なものである。
【０００２】
【従来の技術】
近年、ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばＮＴＳＣ方式やＰＡＬ方式の動画像信号をディジタル記録する民生用ディジタルビデオ規格が提案されており、その応用として、ディジタルビデオ記録再生装置と撮像装置とを一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。
【０００３】
また、コンピュータ等と接続するためにディジタルＩ／Ｆを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっている装置も実用化されている。
【０００４】
このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば７２０ｘ４８０画素でなんら問題は無いが、ディジタルＩ／Ｆを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。
【０００５】
撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、全画素の情報を読み出すようにするとＳ／Ｎの劣化や消費電力の増大を招く問題があった。
【０００６】
そこで、撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法が考えられている。このような方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。
【０００７】
図１４に、上記のような撮像素子を用いた撮像装置の例を示す。図１４において、撮像素子１４００の撮像面は左右の２領域に分割されている。また、１４０１及び１４０２は光電変換及び垂直転送部であり、１４０３及び１４０４は水平転送部、１４０５及び１４０６は増幅器、１４０７及び１４０８は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し２倍のデータレートの撮像情報が得られる利点がある。
【０００８】
一方、この方法の欠点として、各領域の増幅器及び外部周辺回路の特性の不均一性により、２つの領域を合成して画像を生成した場合に、領域間のレベル差による境界線が生じるなどの画質劣化が発生する問題があった。
【０００９】
これらの不均一性による画質劣化を軽減する方法として、あらかじめ各領域の黒レベル及び標準白レベルを測定して補正係数を求めておき、撮像時にこの補正係数により不均一性の補正を行なう方法が考えられている。
【００１０】
図１４には、このような補正回路の構成例を示している。不図示の結像光学系により撮像素子１４００上に結像した被写体像は、撮像素子１４００により電気信号に変換され、不図示の駆動タイミング発生回路から供給される駆動パルスに応じて出力端子１４０７及び１４０８より出力される。
【００１１】
撮像素子１４００から得られる２系統の画像信号は、アナログ信号処理部１４０９、１４１０によりアナログ信号処理を施された後でＡＤ変換され、黒レベル補正回路１４１１、１４１２及び黒レベル差検出回路１４１３に供給される。黒レベル差検出回路１４１３では、２系統の画像信号から黒レベルの差を検出し補正係数が計算される。
【００１２】
この補正係数は、黒レベル補正回路１４１１及び１４１２に供給され、上記補正係数に基づいて黒レベルの差が補正される。上記黒レベルの差の検出には、撮像素子１４００のオプティカルブラック画素の信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施し、得られた補正係数をメモリ１４２０に記憶することで、以後の撮影時には検出は行なわずにメモリ１４２０に記憶された補正係数により黒レベル差の補正が行われる。
【００１３】
次に、各信号は白レベル補正回路１４１４、１４１５、及び白レベル差検出回路１４１６に供給される。白レベル差検出回路１４１４では、２系統の画像信号から白レベルの差を検出し補正係数が計算される。この補正係数は黒白レベル補正回路１４１４、１４１５に供給され、上記補正係数に基づいて白レベルの差が補正される。
【００１４】
白レベルの差の検出には、撮像素子１４００に標準白レベルが得られるような一様な光を照射し、その時の画像信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施され、得られた補正係数をメモリ１４２１に記憶することで、以後の撮影時には検出は行なわずにメモリ１４２１に記憶された補正係数を用いて白レベル差の補正が行われる。
【００１５】
白レベル補正された信号は、画面合成回路１４１７にて左右の画像が一枚の画像として合成された後、カメラ信号処理回路１４１８にてγ補正処理、輪郭補正処理、色補正処理などを施され、輝度信号及び色差信号として出力端子１４１９より出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、標準白画像を撮像するなど、決められた条件の下でしか補正係数が算出されないため、リアルタイム性に欠ける問題があった。このため、温度変動もしくは経時変動のような動的な変動に対応することができず、領域間の不均一性を十分に補正しきれない場合があった。
【００１７】
本発明は上述の問題点にかんがみてなされたもので、被写体依存のレベル差成分を排除して前記補正係数を決定するようにして、温度変動もしくは経時変動のような動的な変動にも対応可能とし、複数の撮像領域間の不均一性をリアルタイムに補正できるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の補正装置は、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうようにしたことを特徴としている。
【００１９】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の補正を撮像装置に適用した実施の形態について説明する。
（第１の実施の形態）
図１は、単板ビデオカメラに本発明の補正装置を適用した実施の形態を概略的に示す図である。
図１において、１００は撮像領域が２分割され、それぞれに出力端子を持つＣＣＤエリアセンサ、１０１は光電変換部及び垂直転送部、１０３及び１０４は水平転送部であり、画面の中心を境にして左右方向に２分割されている。
【００２０】
１０５及び１０６は信号電荷を増幅する出力アンプであり、１０７及び１０８は撮像信号の出力端子である。また、１０９及び１１０は相関２重サンプルとＡＤ変換を行なうアナログフロントエンドである。１１１及び１１２は黒レベルの検出及び補正手段、１１３及び１１４はゲインを調整するゲイン調整手段、１１５は２系統の画像信号を合成して１枚の画像を生成する画面合成手段である。
【００２１】
また、１１６は２系統間の不均一性を検出するための段差評価値生成手段、１１７はシステムの制御を行なうマイコン、１１８はカメラ信号処理手段、１１９は出力端子、１２０は書き換え可能な不揮発性メモリである。本実施の形態及び後述の実施の形態では、ゲイン調整手段１１３、１１４、段差評価値生成手段１１６、及びマイコン１１７により、２系統間の不均一性を検出し、補正するための補正装置を構成している。
【００２２】
次に、上記構成における本実施の形態のビデオカメラの動作について説明する。
不図示の結像光学系によりＣＣＤ１００上に結像した被写体像は、光電変換部１０１により電気信号に変換された後、水平転送路１０３及び１０４により２系統に分割されて出力アンプ１０５及び１０６に供給される。
【００２３】
信号電荷は、出力アンプ１０５及び１０６で所定のレベルに増幅され、第１の出力端子１０７及び第２の出力端子１０８より出力される。以後、第１の出力端子１０７から得られる撮像信号を左チャンネル信号、第２の出力端子１０８から得られる撮像信号を右チャンネル信号と呼称することにする。
【００２４】
左右２系統の撮像信号は、アナログフロントエンド１０９、１１０により相関二重サンプル処理及びＡＤ変換された後、黒レベル検出及び補正手段１１１，１１２に供給される。黒レベル検出及び補正手段１１１，１１２では、撮像信号のうちダミー信号部分もしくはオプティカルブラック信号部分を用いて、２系統の撮像信号の黒レベルがそれぞれディジタルコードの「０」と一致するように黒レベル補正が行われる。これにより、２系統間のオフセット成分の誤差が除去されることになる。
【００２５】
黒レベルが補正された信号は、ゲイン調整手段１１３、１１４によりゲイン調整が施される。ゲイン調整時に適用されるゲインはマイコン１１７より供給される。従来の撮像装置では、低照度環境下での信号量のゲインアップを、アナログ回路により行なっていたが、本実施の形態のように２系統の撮像信号を取り扱う撮像装置では、アナログ回路によるゲイン調整は２系統間の不均一性の要因となりうる。よって、本実施の形態ではゲインの調整はゲイン調整手段１１３，１１４を用いてディジタル演算により行なうことで、回路のばらつきや経時変動、温度変動の影響を排除している。
【００２６】
また、画像の明るさのためのゲイン調整だけでなく、２系統間のゲイン誤差の補正もここで行なう。一般に、２系統間のゲインの差はＣＣＤエリアセンサ１００の出力レベルの大きさに依存する。
【００２７】
図３は、２系統間の出力レベルとチャンネル間におけるゲイン差の一例を示した特性図である。図３において、横軸はＣＣＤ１００の左チャンネル出力レベルであり、縦軸はゲイン調整手段１１４の入力信号（左チャンネル）とゲイン調整手段１１３の入力信号（右チャンネル）の信号との比、すなわち２系統間の信号レベルのゲイン差を表している。
【００２８】
例えば、ある明るさの被写体を撮像したときのＣＣＤ１００の左チャンネル出力レベルをＬ０、右チャンネル出力レベルをＬ０ｒｉｇｈｔとすると、このときのゲイン差Ｅ０は次式（１）で与えられる。
Ｅ０ ＝ Ｌ０ｒｉｇｈｔ ／ Ｌ０・・・（１）式
【００２９】
この図で示されるように、信号レベルとゲイン差の関係が一定ではないので、ゲインの補正量は固定値ではなく、ゲインアップ量に応じて補正量を可変する必要がある。
【００３０】
本実施の形態では、ゲイン調整後の信号に対し基準レベルＬｒｅｆを設定し、ゲインアップ量にかかわらず常に基準レベルＬｒｅｆで２系統間のレベル差が０、すなわち各チャンネルの信号が基準レベルＬｒｅｆに一致するようにゲイン補正を行なう。基準レベルＬｒｅｆのレベルについては、基準白に対してγ補正後で７５％程度のグレーレベルが選ばれる。
【００３１】
例えば、ＣＣＤ１００の左チャンネル出力レベルがＬ０の時に、ゲイン調整手段１１４の出力レベルが基準レベルＬｒｅｆになるようなゲインアップ量のとき、左チャンネルのゲイン調整手段１１４に与えるゲインＡ０は次式で表せる。
Ａ０ ＝ 基準レベルＬｒｅｆ ／ Ｌ０・・・（２）式
【００３２】
また、このとき右チャンネルのゲイン調整手段１１３に与えるゲインＡ０ｒｉｇｈｔは、ゲイン補正量をＣ０として、次式で表せる。
Ａ０ｒｉｇｈｔ ＝ Ａ０ ｘ Ｃ０・・・（３）式
そして、Ｃ０は次式で求められる。
Ｃ０ ＝ １．０ ／ Ｅ０・・・（４）式
【００３３】
同様に、ＣＣＤ１００の左チャンネル出力レベルがＬ１の時に、ゲイン調整手段１１４の出力レベルが基準レベルＬｒｅｆになるようなゲインアップ量のときのゲイン補正量Ｃ１は次式で求められる。
Ｃ１ ＝ １．０ ／ Ｅ１・・・（５）式
【００３４】
ゲインアップ量に対するゲイン補正量の特性例を図４示す。この補正特性は、ＣＣＤ１００もしくはアナログフロントエンド１０９、１１０の部品ごとに異なる。
【００３５】
次に、ゲイン補正特性の測定について述べる。
段差評価値生成手段１１６は、分割領域の境界付近に指定した矩形領域内の画素値を元に画面段差の評価値を算出しマイコン１１７に出力する。
【００３６】
図２に、画面内の矩形領域の例を示す。図２に示すように、２分割された領域２０１、２０２の境界近傍に、矩形領域２０３、２０４が設定され、この領域内の画素値が画面段差の評価に用いられる。
【００３７】
ＣＣＤ１００は、単板でカラー画像を撮像するために、オンチップカラーフィルタが画素部に貼られている。上記オンチップカラーフィルタは、例えば図２の２０５に示すような配列である。段差評価値生成手段１１６では、このうちの一色の画素値を選択して領域内で平均値を計算し、これを画面段差の評価値としている。
【００３８】
ゲイン補正特性の測定時は、明るさが一様な被写体を撮像し、マイコン１１７よりゲイン調整手段１１３及び１１４に同一のゲイン乗数を設定して行なう。一方の矩形領域２０３内の画素の平均レベルを左チャンネルのレベルとするとともに、他方の矩形領域２０４内の画素の平均レベルを右チャンネルのレベルとして、マイコン１１７に出力する。
【００３９】
マイコン１１７では、左チャンネルのレベルを基準として右チャンネルのゲイン補正量を前述のように算出する。このような測定を、ＣＣＤ１００の出力レベルにおいて所定の間隔で行なうことにより、ゲイン補正特性を生成する。
【００４０】
マイコン１１７は、生成されたゲイン補正特性をＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの書き換え可能な不揮発メモリ１２０に格納する。ゲイン補正特性の生成は、例えば工場調整時などに実行される。したがって、経時変動や温度変動などの動的な変動に対しては対応できずにゲイン差が誤差として残留する。
【００４１】
次に、一般撮影時における残留ゲイン誤差の補正に関して説明する。
図５は、被写体依存のレベル差成分を補正して補正係数を決定するとともに、その決定した補正係数をゲイン調整手段に与えて、ＣＣＤエリアセンサの異なる出力端子から出力された各撮像信号のレベル差が小さくなるように調整を行なう補正係数決定手段であるマイコン１１７で実行される残留ゲイン誤差を補正するブロックの構成について示したものである。図５における信号Ａ，Ｂ，Ｃ，Ｄは、図１における信号Ａ，Ｂ，Ｃ，Ｄに対応しており、符号Ａは左チャンネルの段差評価値、符号Ｂは右チャンネルの段差評価値、符号Ｃは左チャンネルのゲイン調整値、符号Ｄは右チャンネルのゲイン調整値である。
【００４２】
マイコン１１７に入力された左チャンネル段差評価値Ａ及び右チャンネル段差評価値Ｂはゲイン誤差計算手段５０１に入力され、ゲイン誤差量Ｅが求められる。ゲイン誤差量Ｅは次式により得られる。
Ｅ ＝ Ｂ／Ａ・・・（６）式
【００４３】
ゲイン誤差計算手段５０１で得られるゲイン誤差量Ｅは、単純に画素レベルの比であり、チャンネル間の不均一性のみならず、被写体そのものが持つレベル差にも影響をうける。したがって、正しいゲイン誤差補正を行なうためには、被写体依存のレベル差成分を排除する必要がある。本実施の形態では、被写体依存のレベル差成分をリミッタ手段５０２及び積分手段５０３により排除している。
【００４４】
リミッタ手段５０２の入出力特性を図６に示す。図６の原点はリミッタ入力＝リミッタ出力＝１．０の点を表す。チャンネル間のレベルの比なので、ゲイン誤差のないときの値は１．０になる。
【００４５】
図６に示すように、レベル差の比が閾値ＴＨを越える場合には、リミッタ出力は１．０になる。閾値ＴＨは残留ゲイン誤差量と対応付けて決定される。この処理により、レベル差が大きいものは被写体依存のレベル差とみなされて排除される。
【００４６】
図７に、積分手段５０３の内部構成を示す。入力信号Ｘ（０）は、引算手段７０１において所定時間遅延した信号Ｙ（−１）との差をとった後、係数器７０２にて係数ｋが乗ぜられる。係数器７０２の出力は、加算手段７０３にて遅延信号に加算され出力となる一方で遅延手段７０４に供給される。出力信号をＹ（０）として式で表すと次のようになる。
Ｙ（０） ＝ ｋＸ（０） ＋ （１−ｋ）Ｙ（−１） （０ ＜ ｋ ＜ １） ・・・（７）式
【００４７】
遅延時間は、ＣＣＤの垂直走査期間と等しい時間である。この処理により、過去１／ｋフレーム分の誤差量の平均値が得られる。通常、被写体は画角の中で長時間固定されるものではないので、複数のフレームで平均を取ることにより、被写体依存のレベル差成分は相殺され排除される。
【００４８】
以上のような処理により、被写体によるレベル差が排除され、チャンネル間の不均一性に起因するゲイン誤差が抽出される。ゲイン誤差量は、次に補正量制御手段５０４にて係数が乗ぜられる。この係数は、ゲイン誤差補正ループのフィードバックゲインに相当する。ゲインが大きい場合は、補正能力は高くなるが、誤検出等の外乱に対して不安定になり、ゲインが小さい場合は外乱に対しては安定するが、補正能力は低くなる。
【００４９】
補正量制御手段５０４の出力は、ゲイン補正量計算手段５０６に供給される。ゲイン補正量計算手段５０６には、ゲイン補正特性テーブル５０５の出力も供給される。ゲイン補正特性テーブル５０５は、既に説明したゲイン補正特性をテーブル化したものであり、図４に例示するように、ゲインアップ量に対応してゲイン補正量が得られるものである。
【００５０】
ゲイン補正量計算手段で５０６では、これら２つの入力信号とゲインアップ量とを掛け合わすことにより、右チャンネルに対するゲイン調整値が実際に計算される。そして、このように計算されたゲイン調整値は、図１に示すゲイン調整手段１１３に供給される。ゲイン調整手段１１４には、ゲインアップ量そのものが供給される。
【００５１】
ゲイン調整後の信号は画面合成手段１１５及び段差評価値生成手段１１６に供給される。画面合成手段１１５では、２系統の信号を合成して１画面の画像としてカメラ信号処理回路１１８に出力する。カメラ信号処理回路１１８ではγ補正、色補正、輪郭補正などの信号処理が為され画像信号として端子１１９より出力される。
【００５２】
（第２の実施の形態）
図８は、本発明の補正装置の第２の実施の形態を説明するための信号処理ブロック図である。撮像装置全体の具体的構成は、第１の実施の形態と同じである。図８で示される信号処理は、図１におけるマイコン１１７内で実行されるものである。また、評価値測定の矩形領域も、第１の実施の形態と同じである。
【００５３】
２系統間のゲイン誤差は、図３に示すようにＣＣＤ１００の出力レベルに対して一定ではない。一方、一般撮影時の自然画像には、様々な明るさの被写体が存在する。したがって、一般自然画像からゲイン誤差を測定すると、図３で示すゲイン誤差特性曲線に、矩形領域内の明るさの分布度数を乗じて積分した値が得られてしまい、正しいゲイン誤差量が算出できない場合がある。そこで、ゲイン誤差量の算出において、画像の明るさを考慮する実施の形態について説明する。
【００５４】
マイコン１１７に入力された左チャンネル段差評価値Ａと右チャンネル段差評価値Ｂはゲイン誤差計算手段８０１に入力され、ゲイン誤差量が求められる。ゲイン誤差計算手段８０１とリミッタ手段８０２の構成、動作は第１の実施の形態と同様なので、説明を省く。
【００５５】
リミッタ手段８０２の出力は、積分手段８０３に入力される。積分手段８０３には、右チャンネル段差評価値Ｂも同時に入力される。積分手段８０３の内部構成を図９に示す。係数制御手段９０１以外の構成及び動作は第１の実施の形態と同じである。すなわち、図９中の９０２は図７の引算手段７０１に対応し、９０３は図７の係数器７０２に対応し、９０４は図７の加算手段７０３に対応し、９０５は図７の遅延手段７０４に対応する。
【００５６】
図１０に係数制御手段９０１の係数制御特性を示す。図１０において、横軸は右チャンネル段差評価値Ｂを表し、縦軸は係数器９０３に供給される係数を示す。グラフ中に記されている基準レベルＬｒｅｆは、第１の実施の形態のゲイン補正特性の測定で述べた基準レベルを示す。
【００５７】
図１０に示すように、右チャンネル段差評価値が基準レベルを中心に閾値ｄの範囲内にあるとき、出力される係数は所定の値ｋになるが、そのレベルから外れた場合には０が出力される。閾値近傍では係数の急激な変化による不安定動作を防止するために０〜ｋの中間の値が出力される。
【００５８】
このような係数制御を行なうことで、画像の明るさが基準レベルに近い場合のみ評価値が積分され、基準レベルから外れたものは積分から除外されることになる。その結果、初期調整の時の基準レベルにおいて、動的変動に対する残留誤差の補正を高精度に行なうことができる。
【００５９】
積分手段８０３の出力は、次に補正量制御手段８０４にて係数が乗ぜられる。補正量制御手段８０４、ゲイン補正特性テーブル８０５、ゲイン補正量計算手段８０６の動作は第１の実施の形態と同じである。
【００６０】
図１に戻り、得られた左チャンネルゲイン調整値Ｃ及び右チャンネルゲイン調整値Ｄはゲイン調整手段１１４、１１３にそれぞれ供給される。
【００６１】
（第３の実施の形態）
図１１は、本発明の第３の実施の形態を示し、撮像装置の信号処理を行なう装置の構成例を示すブロック図である。撮像装置全体の具体的構成は、第１の実施の形態と同じである。図１１は、図１における段差評価値生成手段１１６の構成例を示したものである。また、評価値測定の矩形領域は、第１の実施の形態と同じである。
【００６２】
上述のように、２系統間のゲイン誤差はＣＣＤ１００の出力レベルに対して一定ではないので、一般自然画像からレベル差を測定すると、正しいゲイン誤差量が算出できない場合がある。そこで、画像の明るさを考慮した実施の形態について説明する。
【００６３】
ゲイン調整手段１１３、１１４の出力は、図１１の左チャンネル入力、右チャンネル入力にそれぞれ対応する。左チャンネルと右チャンネルで構成及び動作は共通なので、ここでは左チャンネルについて説明する。
【００６４】
左チャンネル入力は積分手段１１０２（１１０７）及びレベル検出手段１１０４（１１０９）にそれぞれ入力される。積分手段１１０２（１１０７）では、ゲート発生手段１１０１（１１０６）で発生されるゲート信号とレベル検出手段１１０４（１１０９）で発生されるレベル検出信号の双方が「真」のときのみ入力信号を積分器に取り込み、ゲート信号とレベル検出信号のいずれか一つが「偽」の場合は入力信号を積分器に取り込まないようになされている。
【００６５】
ゲート発生手段１１０１（１１０６）は、画像信号の水平走査及び垂直走査に同期して動作し、図２で示す矩形領域２０３の期間で、かつカラーフィルタが所望の色の状態で出力が「真」となり、それ以外では出力が「偽」となるように動作するものである。この信号により、矩形領域内のある一色の入力信号のみが積分対象として選択される。
【００６６】
さらに、レベル検出手段１１０４（１１０９）は、入力信号が下限レベルＬｌｉｍより大きくかつ上限レベルＵｌｉｍより小さい場合のみ出力が「真」となり、それ以外では出力が「偽」となるように動作するものである。この信号により、入力信号がある基準レベルの範囲内にある場合のみ積分対象として選択される。下限レベルＬｌｉｍと上限レベルＵｌｉｍは、第１の実施の形態のゲイン補正特性の測定で述べた基準レベルＬｒｅｆに対して適当なマージン（例えば±５％）を持って設定される。
【００６７】
これらの信号により、入力信号における矩形領域内の所望の一色で、かつレベルが基準の範囲内にある信号のみが積分対象として選択される。一方、ゲート信号及びレベル検出信号は画素カウント手段１１０５（１１１０に入力される。画素カウント手段では、矩形領域の最初でカウントがリセットされ、ゲート信号及びレベル検出信号の双方が「真」のときにインクリメントされるカウンタである。したがって、このカウンタ出力は積分された入力信号の数を示す。
【００６８】
積分手段１１０２及び画素カウント手段１１０５（１１１０）の出力は、次に正規化手段１１０３（１１０８）に供給される。正規化手段１１０３（１１０８）では、積分信号をカウンタ出力で除することにより、平均値が算出される。算出された平均値及びカウンタ出力は左チャンネルの段差評価値として、マイコン１１７に出力される。
【００６９】
図１２に、マイコン１１７で実行される信号処理のブロック図を示す。マイコン１１７に入力された左チャンネル段差評価値Ａと右チャンネル段差評価値Ｂはゲイン誤差計算手段１２０１に入力され、ゲイン誤差量が求められる。ゲイン誤差計算手段１２０１とリミッタ手段１２０２の構成、動作は第１の実施の形態と同様なので、詳細な説明を省く。
【００７０】
リミッタ手段１２０２の出力は、積分手段１２０３に入力される。積分手段１２０３には、段差評価値生成手段１１６から得られる左チャンネルカウント値及び右チャンネルカウント値も同時に入力される。積分手段１２０３の内部構成を図１３に示す。係数制御手段１３０１以外の構成及び動作は第１の実施の形態と同じである。すなわち、図１３中の１３０２は図７の引算手段７０１に対応し、１３０３は図７の係数器７０２に対応し、１３０４は図７の加算手段７０３に対応し、１３０５は図７の遅延手段７０４に対応する。
【００７１】
係数制御手段１３０１では、左チャンネルカウント値もしくは右チャンネルカウント値のいずれかが０の場合０が出力され、それ以外の場合所定の係数ｋが出力される。
【００７２】
このような係数制御を行なうことで、矩形領域内の基準レベル近傍のレベルを持つ画素がない場合、評価値は積分から除外されることになる。上述のように、矩形領域内で基準レベルに近いレベルを持つ画素のみを選択して評価値を生成することにより、動的変動に対する残留誤差の補正を高精度に行なうことができる。
【００７３】
積分手段１２０３の出力は、次に補正量制御手段１２０４にて係数が乗ぜられる。補正量制御手段１２０４、ゲイン補正特性テーブル１２０５、ゲイン補正量計算手段１２０６の動作は第１の実施の形態と同じである。図１に戻り、得られた左チャンネルゲイン調整値Ｃ及び右チャンネルゲイン調整値Ｄはゲイン調整手段１１４、１１３にそれぞれ供給される。
【００７４】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００７５】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７６】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７７】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００７８】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７９】
本発明の実施態様の例を以下に列挙する。
〔実施態様１〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、前記補正係数決定手段は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。
〔実施態様２〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出手段を有し、
前記補正係数決定手段は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるように補正係数を決定することを特徴とする実施態様１に記載の補正装置。
【００８０】
〔実施態様３〕 前記出力レベル検出手段は、前記複数の撮像信号における所定の領域を選択するための領域選択手段と、前記領域選択手段により選択された領域内の平均レベルを算出する平均レベル算出手段とを有することを特徴とする実施態様２に記載の補正装置。
【００８１】
〔実施態様４〕 前記出力レベル検出手段は、前記複数の撮像信号における所定の色信号を選択する色信号選択手段を備え、
前記色信号選択手段により選択された色信号に基づいて前記出力レベル検出結果を生成することを特徴とする実施態様１〜３のいずれか１項に記載の補正装置。
【００８２】
〔実施態様５〕 前記補正係数決定手段は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記各撮像信号間のレベル差を許容する閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段で算出されたゲイン誤差の信号が入力され、前記ゲイン誤差の信号が閾値を超えた場合に基準値を出力し、閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段とを備え、
前記非線形処理手段から出力される信号に基づいて補正係数を決定することを特徴とする実施態様１〜４の何れか１項に記載の補正装置。
【００８３】
〔実施態様６〕 前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段によって生成された評価値を複数のフレーム間で平均する平均化手段と、前記平均化手段において平均化を行なうフレーム数を設定するフレーム数設定手段とを備え、
前記フレーム数設定手段により設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様１〜５の何れか１項に記載の補正装置。
【００８４】
〔実施態様７〕 前記平均化手段は、前記出力レベル検出手段による検出結果のレベルに応じて平均化するフレーム数を制御するフレーム数制御手段を備えることを特徴とする実施態様６に記載の補正装置。
【００８５】
〔実施態様８〕 前記出力レベル検出手段は、上限レベルと下限レベルを設定する上下限レベル設定手段を有し、
前記複数の撮像信号のうち、上限レベルよりレベルが小さくかつ下限レベルよりレベルの大きい信号を選択して出力レベルの検出結果を生成することを特徴とする実施態様１〜６の何れか１項に記載の補正装置。
【００８６】
〔実施態様９〕 複数の撮像信号を出力する補正装置であって、
前記複数の撮像信号のレベルをそれぞれ独立に調整するための複数のレベル調整手段と、前記複数のレベル調整手段の出力レベルを検出する出力レベル検出手段と、前記出力レベル検出手段の検出結果に基づいて各撮像信号のレベル差が小さくなるような補正係数を決定する補正係数決定手段と、前記補正係数を記録媒体に記憶する補正係数記憶手段とを備え、
前記記録媒体に記憶された補正係数と、撮像動作中の実時間に得られる補正係数の双方に基づいて決定される調整値を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるような調整を行なうことを特徴とする補正装置。
【００８７】
〔実施態様１０〕 前記補正係数記憶手段は、所定のタイミングにおいて前記補正係数決定手段において決定された補正係数を前記記録媒体に記憶することを特徴とする実施態様９に記載の補正装置。
【００８８】
〔実施態様１１〕 前記補正係数決定手段は、前記記録媒体に記憶された補正係数に、撮像動作中実時間に得られる補正係数を掛け合わせることにより前記レベル調整手段に供給する調整値を決定することを特徴とする実施態様９または１０に記載の補正装置。
【００８９】
〔実施態様１２〕 前記出力レベル検出手段は、前記複数の撮像信号における所定の領域を選択するための領域選択手段と、前記領域選択手段により選択された領域内の平均レベルを算出する平均レベル算出手段とを有することを特徴とする実施態様９〜１１の何れか１項に記載の補正装置。
【００９０】
〔実施態様１３〕 前記出力レベル検出手段は、前記複数の撮像信号における所定の色信号を選択する色信号選択手段を備え、
前記色信号選択手段により選択された色信号を用いて出力レベル検出結果を生成することを特徴とする実施態様９〜１２の何れか１項に記載の補正装置。
【００９１】
〔実施態様１４〕 前記補正係数決定手段は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記各撮像信号間のレベル差を許容する閾値を設定する閾値設定手段と、前記ゲイン誤差検出手段の信号が入力され前記ゲイン誤差が閾値を超えた場合に基準値を出力し、閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段とを備え、
前記非線形処理手段の出力信号に基づいて補正係数を決定することを特徴とする実施態様９〜１３の何れか１項に記載の補正装置。
【００９２】
〔実施態様１５〕 前記補正係数決定手段は、出力レベル検出結果を複数のフレーム間で平均化する平均化手段と、前記平均化手段で平均化を行なうフレーム数を設定するフレーム数設定手段とを備え、
前記フレーム数設定手段により設定されたフレーム数分が平均されたレベルに基づいて補正係数を決定することを特徴とする実施態様９〜１４の何れか１項に記載の補正装置。
【００９３】
〔実施態様１６〕 前記平均化手段は、前記出力レベル検出手段による検出結果のレベルに応じて平均化するフレーム数を制御するフレーム数制御手段を備えることを特徴とする実施態様１５に記載の補正装置。
【００９４】
〔実施態様１７〕 前記出力レベル検出手段は、上限レベルと下限レベルを設定する上下限レベル設定手段と、前記上下限レベル設定手段によって設定された上限レベル及び下限レベルに基づいて、前記撮像信号のうち上限レベルよりレベルが小さくかつ下限レベルよりレベルの大きい信号のみを選択して検出結果を生成することを特徴とする実施態様９〜１６の何れか１項に記載の補正装置。
【００９５】
〔実施態様１８〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法であって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、前記補正係数決定処理は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正方法。
〔実施態様１９〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出処理を有し、
前記補正係数決定処理は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が小さくなるように補正係数を決定することを特徴とする実施態様１８に記載の補正方法。
【００９６】
〔実施態様２０〕 前記出力レベル検出処理は、前記複数の撮像信号における所定の領域を選択するための領域選択処理と、前記領域選択処理により選択された領域内の平均レベルを算出する平均レベル算出処理とを有することを特徴とする実施態様１９に記載の補正方法。
【００９７】
〔実施態様２１〕 前記出力レベル検出処理は、前記複数の撮像信号における所定の色信号を選択する色信号選択処理を有し、
前記色信号選択処理により選択された色信号に基づいて前記出力レベル検出結果を生成することを特徴とする実施態様１８〜２０のいずれか１項に記載の補正方法。
【００９８】
〔実施態様２２〕 前記補正係数決定処理は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出処理と、前記各撮像信号間のレベル差を許容する閾値を設定する閾値設定処理と、前記ゲイン誤差算出処理で算出されたゲイン誤差の信号が入力され、前記ゲイン誤差の信号が閾値を超えた場合に基準値を出力し、閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理とを有し、
前記非線形処理から出力される信号に基づいて補正係数を決定することを特徴とする実施態様１８〜２１の何れか１項に記載の補正方法。
【００９９】
〔実施態様２３〕 前記補正係数決定処理は、前記出力レベル検出処理の検出結果から評価値を生成する評価値生成処理と、前記評価値生成処理によって生成された評価値を複数のフレーム間で平均する平均化処理と、前記平均化処理において平均化を行なうフレーム数を設定するフレーム数設定処理とを有し、
前記フレーム数設定処理により設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様１８〜２２の何れか１項に記載の補正方法。
【０１００】
〔実施態様２４〕 前記平均化処理は、前記出力レベル検出処理による検出結果のレベルに応じて平均化するフレーム数を制御するフレーム数制御処理を有することを特徴とする実施態様２３に記載の補正方法。
【０１０１】
〔実施態様２５〕 前記出力レベル検出処理は、上限レベルと下限レベルを設定する上下限レベル設定処理を有し、
前記複数の撮像信号のうち、上限レベルよりレベルが小さくかつ下限レベルよりレベルの大きい信号を選択して出力レベルの検出結果を生成することを特徴とする実施態様１８〜２３の何れか１項に記載の補正方法。
【０１０２】
〔実施態様２６〕 複数の撮像信号を出力する補正方法であって、
前記複数の撮像信号のレベルをそれぞれ独立に調整するための複数のレベル調整処理と、前記複数のレベル調整処理の出力レベルを検出する出力レベル検出処理と、前記出力レベル検出処理の検出結果に基づいて各撮像信号のレベル差が小さくなるような補正係数を決定する補正係数決定処理と、前記補正係数を記録媒体に記憶する補正係数記憶処理とを有し、
前記記録媒体に記憶された補正係数と、撮像動作中の実時間に得られる補正係数の双方に基づいて決定される調整値を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるような調整を行なうことを特徴とする補正方法。
【０１０３】
〔実施態様２７〕 前記補正係数記憶処理は、所定のタイミングにおいて前記補正係数決定処理において決定された補正係数を前記記録媒体に記憶することを特徴とする実施態様２６に記載の補正方法。
【０１０４】
〔実施態様２８〕 前記補正係数決定処理は、前記記録媒体に記憶された補正係数に、撮像動作中実時間に得られる補正係数を掛け合わせることにより前記レベル調整処理に供給する調整値を決定することを特徴とする実施態様２６または２７に記載の補正方法。
【０１０５】
〔実施態様２９〕 前記出力レベル検出処理は、前記複数の撮像信号における所定の領域を選択するための領域選択処理と、前記領域選択処理により選択された領域内の平均レベルを算出する平均レベル算出処理とを有することを特徴とする実施態様２６〜２８の何れか１項に記載の補正方法。
【０１０６】
〔実施態様３０〕 前記出力レベル検出処理は、前記複数の撮像信号における所定の色信号を選択する色信号選択処理を有し、
前記色信号選択処理により選択された色信号を用いて出力レベル検出結果を生成することを特徴とする実施態様２６〜２９の何れか１項に記載の補正方法。
【０１０７】
〔実施態様３１〕 前記補正係数決定処理は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出処理と、前記各撮像信号間のレベル差を許容する閾値を設定する閾値設定処理と、前記ゲイン誤差検出処理の信号が入力され前記ゲイン誤差が閾値を超えた場合に基準値を出力し、閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理とを有し、
前記非線形処理の出力信号に基づいて補正係数を決定することを特徴とする実施態様２６〜３０の何れか１項に記載の補正方法。
【０１０８】
〔実施態様３２〕 前記補正係数決定処理は、出力レベル検出結果を複数のフレーム間で平均化する平均化処理と、前記平均化処理で平均化を行なうフレーム数を設定するフレーム数設定処理とを有し、
前記フレーム数設定処理により設定されたフレーム数分が平均されたレベルに基づいて補正係数を決定することを特徴とする実施態様２６〜３１の何れか１項に記載の補正方法。
【０１０９】
〔実施態様３３〕 前記平均化処理は、前記出力レベル検出処理による検出結果のレベルに応じて平均化するフレーム数を制御するフレーム数制御処理を有することを特徴とする実施態様３２に記載の補正方法。
【０１１０】
〔実施態様３４〕 前記出力レベル検出処理は、上限レベルと下限レベルを設定する上下限レベル設定処理と、前記上下限レベル設定処理によって設定された上限レベル及び下限レベルに基づいて、前記撮像信号のうち上限レベルよりレベルが小さくかつ下限レベルよりレベルの大きい信号のみを選択して検出結果を生成することを特徴とする実施態様２６〜３３の何れか１項に記載の補正方法。
【０１１１】
〔実施態様３５〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法コンピュータに実行させるコンピュータプログラムであって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、前記補正係数決定処理は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことをコンピュータに実行させることを特徴とする特徴とするコンピュータプログラム。
【０１１２】
〔実施態様３６〕 複数の撮像信号を出力する補正方法コンピュータに実行させるコンピュータプログラムであって、
前記複数の撮像信号のレベルをそれぞれ独立に調整するための複数のレベル調整処理と、前記複数のレベル調整処理の出力レベルを検出する出力レベル検出処理と、前記出力レベル検出処理の検出結果に基づいて各撮像信号のレベル差が小さくなるような補正係数を決定する補正係数決定処理と、前記補正係数を記録媒体に記憶する補正係数記憶処理とを有し、
前記記録媒体に記憶された補正係数と、撮像動作中の実時間に得られる補正係数の双方に基づいて決定される調整値を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるような調整を行なうことをコンピュータに実行させることを特徴とする特徴とするコンピュータプログラム。
【０１１３】
〔実施態様３７〕 前記実施態様３５または３６に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１１４】
【発明の効果】
以上説明してきたように、本発明によれば、被写体依存のレベル差成分を補正して前記補正係数を決定するようにしたので、温度変動もしくは経時変動のような動的な変動にも良好に対応して、複数の撮像領域間の不均一性をリアルタイムに補正することができる。これにより、複数の撮像領域間の不均一性をリアルタイムに補正することが可能になり、画像中に現れる段差を良好に無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、本発明の補正装置をビデオカメラに適用した第１の実施の形態の構成を示すブロック図である。
【図２】分割画面境界部の矩形領域を示す図である。
【図３】ＣＣＤ出力レベルとチャンネル間のゲイン差を示す特性図である。
【図４】ゲインアップ量に対するゲイン補正特性を示す図である。
【図５】第１の実施の形態におけるゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図６】第１の実施の形態におけるリミッタの入出力特性を示す図である。
【図７】第１の実施の形態における積分手段の構成例を示すブロック図である。
【図８】第２の実施の形態を示し、ゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図９】第２の実施の形態における積分手段の構成例を示すブロック図である。
【図１０】第２の実施の形態における係数制御特性を示す図である。
【図１１】第３の実施の形態を示し、段差評価値生成手段の構成例を示すブロック図である。
【図１２】第３の実施の形態におけるゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図１３】第３の実施の形態における積分手段の構成例を示すブロック図である。
【図１４】従来例の補正装置の一例を示すブロック図である。
【符号の説明】
１００ ＣＣＤエリアセンサ
１０１ 光電変換部及び垂直転送部
１０３、１０４ 水平転送部
１０５、１０６ 出力アンプ
１０７、１０８ 撮像信号の出力端子
１０９、１１０ アナログフロントエンド
１１１、１１２ 黒レベルの検出及び補正手段
１１３、１１４ ゲイン調整手段
１１５ 画面合成手段
１１６ 段差評価値生成手段
１１７ システムの制御を行なうマイコン
１１８ カメラ信号処理手段
１１９ 出力端子
１２０ 書き換え可能な不揮発性メモリ

Claims (1)

1. 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
   前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、
   前記補正係数決定手段は、被写体依存のレベル差成分を補正して前記補正係数を決定するとともに、前記決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。

Images