JP2007228259A - 信号処理装置及び撮像装置 - Google Patents

信号処理装置及び撮像装置 Download PDF

Info

Publication number
JP2007228259A
JP2007228259A JP2006047075A JP2006047075A JP2007228259A JP 2007228259 A JP2007228259 A JP 2007228259A JP 2006047075 A JP2006047075 A JP 2006047075A JP 2006047075 A JP2006047075 A JP 2006047075A JP 2007228259 A JP2007228259 A JP 2007228259A
Authority
JP
Japan
Prior art keywords
signal
correction value
value
correction
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006047075A
Other languages
English (en)
Inventor
Masahiro Yokohata
正大 横畠
Yoshitaka Anada
好孝 穴田
Seiji Okada
誠司 岡田
Yukio Mori
幸夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006047075A priority Critical patent/JP2007228259A/ja
Publication of JP2007228259A publication Critical patent/JP2007228259A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】チャンネル間の信号レベル差を適切に補正することができる信号処理装置及び撮像装置を提供することを目的とする。
【解決手段】多チャンネル読み出しが可能な撮像手段から出力される撮像信号を処理する信号処理装置において、分割された撮像領域の境界付近に複数の監視画素群を設け、前記監視画素群ごとに、当該監視画素群内の画素から得られる前記撮像信号に基づいて、チャンネル間の信号レベル差に応じた検出値を算出し、多数算出された検出値から第1補正値を算出する。そして、電源投入時においては、所定の温度条件下で最適化された第2補正値を用いて信号レベル差を補正する一方、それ以降において、その補正に用いる補正値を第1補正値へ向かって変更していく。
【選択図】図2

Description

本発明は、デジタルカメラ等の撮像装置にて使用される信号処理装置に関し、特に、撮像素子を複数の領域に分割して用いた場合に生じる、チャンネル間の出力信号レベル差を補正するための信号処理装置に関する。
動画撮影時または高速連写撮影時におけるCCD(Charge Coupled Devices)の読み出し速度を向上させるために、CCDを左右に2分割した2チャンネルCCDが開発されている。2チャンネルCCDでは、各チャンネルごとに、CDS(Correlated Double Sampling)/AGC(Auto Gain Control)回路とAD(Analog Digital)変換回路が設けられる。
2チャンネルCCDを用いた場合、左右の撮像領域毎に設けられたCDS/AGC回路の精度差及びゲイン差や、AD変換回路の特性差などに起因して、左右の信号レベル(出力信号レベル)が一致しないという問題が生じる。仮に、固定的に左右の出力信号のマッチングを取る手段を設けても、左右のCDS/AGC回路の温度特性等が同じである可能性が低いため、左右の信号レベル(出力信号レベル)をマッチングさせることは難しい。
チャンネル間の信号レベル差(出力信号レベル差)を補正する方法として、撮影前にシャッタを閉じた状態でシャッタの内側でLED(Light Emitting Diode)を発光させて平坦画像を撮像し、その撮像画像に基づいて、チャンネル間の信号レベル差を補正する方法が既に開発されている。この方法は、静止画のような間欠撮影には有効であるが、動画のように連続して撮影を行う場合には、撮影中の温度上昇に由来するチャンネル間の信号レベル差の変化に対応することできず、適切な補正を行えないという問題がある。
特開2003−18472号公報 特開2002−142158号公報 特開2002−125149号公報 特開2002−218186号公報 特開2002−320142号公報 特開2003−259224号公報
2チャンネルCCDを用いた撮像装置において、動作温度や周囲温度が変化すると、「左右の撮像領域における電荷転送効率の差」、「左右のCCD出力アンプの特性差」、「左右のAGC回路のゲイン差」及び「左右のAD変換回路の特性差」なども、変化する。それらが変化すると、チャンネル間の信号レベル差も変化する。このため、特に、撮影中に比較的大きな温度上昇を伴う動画撮影においては、信号レベル差(出力信号レベル差)をリアルタイムに検出し、補正することが必要である。そして、この補正によって逆に画像の品質劣化を招いてしまうことがないように補正処理を工夫する必要がある。
また、当然、チャンネル間の信号レベル差の補正精度の向上も必要とされる。
上記の問題点に鑑み、本発明は、チャンネル間の信号レベル差を適切に補正することができる信号処理装置及び撮像装置を提供することを目的とする。
上記目的を実現するために本発明に係る信号処理装置は、撮像領域が複数の分割撮像領域に分割され、各分割撮像領域から電気信号が読み出される撮像素子と、前記分割撮像領域ごとに別個に割り当てられて、前記電気信号を撮像信号として出力する複数の出力チャンネルと、を有する撮像手段から出力される前記撮像信号を処理する信号処理装置において、前記複数の分割撮像領域の内、互いに隣接する2つの分割撮像領域を第1及び第2分割撮像領域とし、前記第1及び第2分割撮像領域に対応する前記出力チャンネルを夫々第1及び第2出力チャンネルとし、前記第1及び第2出力チャンネルの少なくとも一方から出力される前記撮像信号を補正対象信号とし、前記撮像信号を信号レベルが互いに異なる複数の信号範囲に分類した場合、前記第1及び第2分割撮像領域の境界付近に、夫々に複数の画素を含む複数の監視画素群を設け、前記監視画素群ごとに、当該監視画素群内の画素から得られる前記撮像信号に基づいて、前記第1及び第2出力チャンネルからの前記撮像信号間の信号レベル差に応じた検出値を算出可能な検出値算出手段、を備え、前記検出値の算出の基となる前記撮像信号に基づいて、各検出値が属する前記信号範囲は判断され、前記信号処理装置は、更に、前記信号範囲ごとに、当該信号範囲に属する前記検出値に基づいて、前記信号レベル差を減少させるための第1補正値を算出する第1補正値算出手段と、前記信号範囲ごとに割り当てられた所定の第2補正値を格納する第2補正値格納手段と、前記信号範囲ごとに、当該信号範囲に対応する前記第1補正値と前記第2補正値の少なくとも一方に基づいて当該信号範囲に対応する補正値を算出し該補正値を用いて当該信号範囲に属する前記補正対象信号を補正することにより、前記信号レベル差を補正する補正手段と、を備え、同一の信号範囲に対応する前記第1補正値、前記第2補正値及び前記補正値に関して、前記補正手段は、所定の基準時点では前記第2補正値を前記補正値として用いる一方で、前記基準時点以降において前記補正値を前記第1補正値に応じた値へ向かって変更することを特徴とする。
これにより、チャンネル間に存在する信号レベル差を、なめらかに補正することができ、特に動画の品質向上への寄与が期待できる。
具体的には例えば、同一の信号範囲に対応する前記第1補正値及び前記補正値に関して、前記補正手段は、前記基準時点以降において、前記補正値を前記第1補正値に応じた値へ向かって変更し、その変更の速度を前記基準時点以降変更する。
また例えば、前記検出値及び前記第1補正値は、次々と算出され、同一の信号範囲に対応する前記第1補正値及び前記補正値に関して、前記補正手段は、前記基準時点以降において、過去に算出された前記第1補正値を用いつつ、前記補正値を最新の前記第1補正値に応じた値へ向かって変更する。
また例えば、前記第1補正値算出手段は、前記信号範囲ごとに、当該信号範囲に属する前記検出値の分布を参照し該分布を用いて前記第1補正値を算出する(以下、これを第1の算出法と呼ぶ)。
また例えば、前記第1補正値算出手段は、前記信号範囲ごとに、当該信号範囲に属し且つ所定の制限範囲内の前記検出値の平均値を算出することによって前記第1補正値を算出し、最新の前記第1補正値の算出において、前記制限範囲は、過去に算出された前記平均値に基づいて補正される(以下、これを第2の算出法と呼ぶ)。
また例えば、前記第1補正値算出手段は、前記信号範囲ごとに、前記複数の監視画素群内の画素から得られ且つ当該信号範囲に属する前記撮像信号の信号レベル分布を参照し、その信号レベル分布を用いて、前記第1補正値を算出する(以下、これを第3の算出法と呼ぶ)。
上記の第1、第2または第3の算出法を用いれば、信号レベル差の補正精度の向上を期待できる。
また、上記目的を実現するために本発明に係る撮像装置は、上記撮像手段と、上記の何れかに記載の信号処理装置と、を備える。
本発明に係る信号処理装置及び撮像装置によれば、チャンネル間の信号レベル差を適切に補正することができ、撮影した静止画または動画の画質向上への寄与が期待できる。
<<第1実施形態>>
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。各図において、同一の部分には同一の符号を付してある。図1は、本発明の第1実施実施に係るデジタルカメラの概略構成ブロック図である。図1のデジタルカメラは、動画と静止画を撮影可能となっている。
図1において、1は、複数の画素をマトリクス状に配列して構成されるCCD(Charge Coupled Devices)である。各画素は、入射光量に応じた電気信号を発生する。各画素にて発生した電気信号は、相関二重サンプリング及びオートゲインコントロールを行うCDS(Correlated Double Sampling)/AGC(Auto Gain Control)回路2または4によって読み出される。
CCD1は、その撮像領域が左右の2つの領域に分割されている。分割された左側の領域(第1分割撮像領域)から成るCCDを左CCD1a、分割された右側の領域(第2分割撮像領域)から成るCCDを右CCD1bと呼ぶ。
CDS/AGC回路2によって左CCD1aから読み出された電気信号は、AD(Analog Digital)変換回路3にてデジタル信号に変換された後、画像合成回路6に送られる。CDS/AGC回路4によって右CCD1bから読み出された電気信号は、AD変換回路5にてデジタル信号に変換された後、画像合成回路6に送られる。
このように、左CCD1aに対して、CDS/AGC回路2及びAD変換回路3を有する出力チャンネル14が割り当てられ、右CCD1bに対して、CDS/AGC回路4及びAD変換回路5を有する出力チャンネル15が割り当てられる。出力チャンネル14が出力する信号(即ち、AD変換回路3が出力するデジタル信号)を、信号CH1と呼ぶ。出力チャンネル15が出力する信号(即ち、AD変換回路5が出力するデジタル信号)を、信号CH2と呼ぶ。
画像合成回路6は、両チャンネルの信号CH1及びCH2を合成し、それらを1系統の信号に変換する。画像合成回路6によって得られた信号は、黒レベルを一定にするためのクランプ回路7を介して、補正値算出回路8及びレベル差補正回路9に送られる。
補正値算出回路8は、両出力チャンネルから出力される信号レベルの差(チャンネル間信号レベル差)を補正するための補正値を算出するための回路である。レベル差補正回路9は、補正値算出回路8にて算出された補正値を用いて、チャンネル間信号レベル差を補正するための回路である。CCD1の撮像領域全面に均一な光を入射した場合でも、信号CH1の信号レベルと信号CH2の信号レベルの間には、差が生じる。この差を、チャンネル間信号レベル差と呼ぶ。チャンネル間信号レベル差は、出力チャンネル14と15との間における特性の相違に起因して生じる。
レベル差補正回路9からの出力信号は、YRGB生成回路10に送られる。YRGB生成回路10では、レベル差補正回路9からの出力信号に基づいて、Y、R、G及びB信号が生成される。YRGB生成回路10によって生成されたY信号は、Yプロセス回路11を介してエンコーダ13に送られる。YRGB生成回路10によって生成されたR、G及びB信号は、Cプロセス回路12を介してエンコーダ13に送られる。エンコーダ13では、MPEG4(Moving Picture Experts Group phase 4)やJPEG(Joint Photographic Experts Group)等の圧縮方式を用いて信号圧縮が行われ、その圧縮によって得られた信号(データ)は、例えば、図示されないメモリ(外部記録媒体を含む)に格納される。
尚、各画素への入射光量が増加するに従って、各画素にて発生する電気信号のアナログの信号レベル(信号の強度)は増大する。そして、そのアナログの信号レベルが増大するに従って、AD変換回路3または5から出力されるデジタルの信号レベル(即ち、デジタル値)も増大するものとする。また、「信号レベル」と「信号値」は、同義である。
また、AD変換回路3及び5が出力するデジタル信号を、それぞれ信号CH1及びCH2と定義したが、画像合成回路6及びクランプ回路7を介して補正値算出回路8及びレベル差補正回路9に送られる信号CH1及びCH2も、単に信号CH1及びCH2と呼ぶことにする。
図2は、補正値算出回路8の内部ブロック図を含む、図1のデジタルカメラの一部ブロック図である。補正値算出回路8は、チャンネル間信号レベル差を反映した多数の検出値を算出する検出値算出部21と、検出値算出部21が算出した検出値に基づいてチャンネル間信号レベル差を補正するための実測補正値(第1補正値)を算出する実測補正値算出部(第1補正値算出部)22と、所定の温度条件下で最適化された所定の初期補正値(第2補正値)を予め格納しておく初期補正テーブル(第2補正値格納部)23と、実測補正値と初期補正値に基づいて、レベル差補正回路9に供給(適用)されるべき最終的な補正値(適用補正値)を算出する適用補正値算出部24と、適用補正値算出部24によって算出された補正値(適用補正値)を順次更新して格納する更新用補正テーブル25と、を備えている。
本実施形態(及び後述する他の実施形態)では、補正値は、信号CH1に対して施される補正の値として算出される。
レベル差補正回路9は、更新用補正テーブル25に格納されている補正値を用いて信号CH1に補正処理を施す。その補正後の信号CH1と、レベル差補正回路9による補正処理が施されない信号CH2とが、YRGB生成回路10に供給される。尚、後に詳説するが、図1のデジタルカメラの電源投入時等の所定の基準時点においては、初期補正テーブル23に格納された初期補正値を補正値として用いた補正処理が行われる。電源投入時及びその直後においては、初期補正値が強く補正に関与するが、十分に時間が経過した後は、補正値は実測補正値に追従するようになる。
チャンネル間信号レベル差は、図3の実線60に示す如く、信号レベルに比例する各画素の蓄積電荷量によって異なる(破線61については後述)。このため、信号CH1の補正に用いる補正値として、複数の補正値を設けている。図4は、更新用補正テーブル25に格納されている複数の補正値を、横軸をCH1の信号レベルとして表した模式図である。信号レベルを、その信号レベルの大きさに応じて、50の信号範囲に分割する場合を例に挙げる。
例えば、デジタル値で0〜10の値を有する信号は、第1の信号範囲(図4におけるSR1)に属し、11〜30の値を有する信号は、第2の信号範囲に属し、・・・、といった具合に、信号のダイナミックレンジを50個に分割する(図5参照)。
そして、各信号範囲に対して1つの補正値を割り当てる。同様に、各信号範囲に対して1つの実測補正値と1つの初期補正値を割り当てる。図5に、補正値、実測補正値及び初期補正値が、各信号範囲に割り当てられている様子を示す。第mの信号範囲に割り当てられた補正値は、第mの信号範囲に割り当てられた「実測補正値及び初期補正値」に基づいて算出される(mは、1〜50の任意の整数)。
図6は、検出値算出部21の動作を説明するためのフローチャートである。図6に示すステップS1〜S4の動作は、CCD1による撮影の1フレームごとに行われる。更に図7を参照して、検出値算出部21の動作を説明する。
図7の上側には、CCD1の1水平ライン内の画素であって、左CCD1aと右CCD1bとの境界Lの両側4画素ずつの計8個の画素P1〜P8が示されている。画素P1、P2、P3、P4、P5、P6、P7、P8の順に、左から右へ連なっている。補正値算出回路8及びレベル差補正回路9に与えられる、画素P1、P2、P3、P4、P5、P6、P7及びP8に対応する信号値(信号レベル)を、それぞれ、p1、p2、p3、p4、p5、p6、p7及びp8にて表す。説明の便宜上、図7においては、信号値p1、p3、p5及びp7を、信号値p2、p4、p6及びp8に対して、下側にシフトさせて表示している。
まず、ステップS1において、これらの8画素から水平方向に連続する同一色フィルタ画素を3画素選択する。CCD1は、単板方式を採用しており、CCD1の各画素には、例えば、赤(R)、緑(G)及び青(B)の何れかのカラーフィルタ(不図示)が設けられている。同一色フィルタ画素とは、CCD1の画素の中で、同一色のカラーフィルタが設けられた画素のことをいう。カラーフィルタが所謂ベイヤー配列にて配列されている場合を例とする。この場合、画素P2、P4、P6及びP8が同一色フィルタ画素の1つの組を成し、画素P1、P3、P5及びP7が同一色フィルタ画素の他の組を成す。
従って、選択される3つの画素の組み合わせとしては、(P1、P3、P5)、(P2、P4、P6)、(P3、P5、P7)および(P4、P6、P8)の4通りがある。尚、上記3つの画素から成る画素群の夫々は、検出値算出用の監視画素群として機能する。
ステップS2において、4つの組み合わせの夫々に対する検出値を算出する。(P2、P4、P6)の組に対する検出値の算出法について説明する。3つの画素P2、P4及びP6のうち、一方の分割撮像領域(この例では、左CCD1a)に属する2つの画素P2及びP4の信号値p2及びp4から、他方の分割撮像領域(この例では、右CCD1b)に属する1つの画素P6の信号値を予測する。つまり、横軸に画素位置を、縦軸に信号値(信号レベル)をとった座標系において、p2とp4とを結ぶ線分の傾きから、画素P6の信号値を予測する。この予測された信号値をp6’で表す。
そして、画素P6の実際の信号値(以下、「実際の信号値」を「実際値」と呼ぶこともある)p6と、画素P6の予測された信号値(以下、「予測された信号値」を「予測値」と呼ぶこともある)p6’とに基づいて、この(P2、P4、P6)の組に対応する検出値d6を算出する。
検出値は、実際値と予測値との差分値、または、実際値と予測値との比率によって表現される。以下は、特に記述しない限り、検出値が比率によって表されるものとする。或る1つの検出値のみに着目した場合、検出値は、チャンネル間信号レベル差をなくすために信号CH1に対して乗じるべきゲインを表している。
上述したように、検出値に応じて求められる補正値は、信号CH1に対して施される補正の値として取り扱われる。このため、予測値が右CCD1b内の画素の予測値である場合には、実際値÷予測値を検出値として算出する。つまり、例えば、d6=p6÷p6’、とされる。予測値が左CCD1a内の画素の予測値である場合には、予測値÷実際値を検出値として算出する。
他の組み合せ(P1、P3、P5)、(P3、P5、P7)および(P4、P6、P8)についても、同様の処理が行われる。つまり、画素P5、P3及びP4の信号値の予測値p5’、p3’及びp4’を算出され、(P1、P3、P5)、(P3、P5、P7)及び(P4、P6、P8)の組に対応する検出値d5(=p5÷p5’)、d3(=p3’÷p3)及びd4(=p4’÷p4)が算出される。
上記ステップS1及びS2の処理は、CCD1の撮影によって得られた画像の各水平ラインに対して繰り返し行われる。例えば、上記ステップS1及びS2の処理は、その画像を構成する全ての水平ラインを対象として、各水平ラインごとに行われる。つまり、例えば、ステップS2に続くステップS3において、ステップS1及びS2の処理が全ての水平ラインについて行われたかが判断され、全ての水平ラインについて行っていない場合は、他の水平ラインを選択した上で(ステップS4)ステップS1に戻る。一方、全ての水平ラインについて行ったと判断された場合は、図6の処理を終える。
画像(CCD1)の水平ラインの本数がn本(nは自然数)であった場合、1フレームの画像から、(n×4)個の検出値が算出される。算出された検出値は、実測補正値算出部22による実測補正値の算出に利用される。但し、後の説明からも理解されるが、毎フレームにおいて(n×4)個の検出値を算出する必要は必ずしもなく、実測補正値の算出(或いは、更新用補正テーブル25内の補正値の更新)に必要な検出値のみを各フレームにおいて最低限算出すれば足る。
次に、実測補正値算出部22の動作について説明する。実測補正値算出部22は、検出値算出部21が算出した複数の検出値に基づいて、50個の実測補正値を算出する。50個の実測補正値の算出は、例えばフレーム毎に行われる。但し、後の説明からも理解されるが、毎フレームにおいて50個の実測補正値を算出する必要は必ずしもなく、更新用補正テーブル25内の補正値の更新に必要な実測補正値のみを各フレームにおいて最低限算出すれば足る。
各実測補正値を算出するために、まず、検出値算出部21によって算出された各検出値の属する信号範囲が判断される。つまり、各検出値が、第1、第2、・・・第50の信号範囲のいずれに属する検出値であるかが判断される。この判断は、各検出値の算出の基になった信号値に基づいて行われる。また、この判断は、例えば、実測補正値算出部22によって行われるが、検出値算出部21によって行われるようにしてもよい。
各検出値は、3つの信号値に基づいて算出されるが、その3つの信号値の内、左CCD1a内の画素に対応する信号値を、信号範囲分類用の判断値として用いて、各検出値の属する信号範囲を特定する。左CCD1a内の画素に対応する信号値が2つある場合は、例えば、境界Lに近い方の画素の信号値を上記判断値として用いて、各検出値の属する信号範囲を特定する。或る検出値に対応する判断値が第mの信号範囲(mは1〜50の任意の整数)に属している場合、その検出値は第mの信号範囲に属していると判断される。
例えば、(P2、P4、P6)の組に対する検出値d6が属する信号範囲は、信号値p4を判断値として用いることにより、特定される。p4の値が「12」であって、且つ、上述の如く第2の信号範囲が「11〜30」の場合は(図5参照)、「12」が第2の信号範囲に属するため、検出値d6は第2の信号範囲に属すると判断される。
但し、検出値が何れの信号範囲に属するかを判断する手法として、様々な手法を適用することが可能である。例えば、検出値の算出の基になった3つの信号値の内の任意の1以上の信号値を用いて得られる値を信号範囲分類用の判断値とし、その判断値を用いて、各検出値が何れの信号範囲に属するかを判断することも可能である。
例えば、検出値d6の属する信号範囲を特定するための判断値として、p2、p4及びp6の何れか1つを採用するようにしてもよいし、p2、p4及びp6の内の2以上の値の平均値を採用するようにしてもよいし、更に、それらにp6’を加味した値を採用するようにしてもよい。
第mの信号範囲に属すると判断された検出値を用いて、第mの信号範囲に対応する実測補正値が算出される。但し、第mの信号範囲に対応する実測補正値を算出するに際して、検出値の算出の基となった信号値または検出値に基づいて各検出値の有効性を判断し、有効と判断した検出値のみを用いて、第mの信号範囲に対応する実測補正値を算出するようにする(無効と判断された検出値は無視される)。
この有効/無効の判断手法を、(P2、P4、P6)の組に対する検出値d6に着目して例示する。実測補正値算出部22は、下記式(1)及び(2)の双方を満たす場合にのみ検出値d6を有効と判断し、それ以外の場合はノイズ等の影響によって検出値d6の信頼性が低いと判断して検出値d6を無効と判断する。
|p4−p2|≦p4×K1 ・・・(1)
th1≦d6≦th2 ・・・(2)
ここで、K1は、0<K1≦1の範囲内で任意に設定される。また、th1及びth2は閾値であり、th1<th2が成立する。閾値th1及びth2については、後に詳説する。
実測補正値算出部22による実測補正値の算出手法として、様々な手法を採用可能である。
まず、採用可能な最も基本的な手法を「基本実測補正値算出法」として説明する。基本実測補正値算出法では、信号範囲ごとに、有効と判断された、1フレーム分の検出値の平均値を算出し、その平均値を実測補正値として採用する。
例えば、或る1つのフレームにおいて、第1の信号範囲に属し、且つ、有効と判断された検出値が、「1.11」、「1.09」及び「1.10」であったとする。この場合、第1の信号範囲に対応する実測補正値は、「(1.11+1.09+1.10)/3=1.10」より、「1.10」となる。この実測補正値は、チャンネル間信号レベル差を(理想的には)なくすために、信号CH1に対して乗じるべきゲインを表している。(上述したように、電源投入時から十分に時間が経過した後は、補正値は実測補正値に追従するようになる)。他の信号範囲についても、同様に実測補正値が算出される。
次に、適用補正値算出部24の内部構成及び動作と、更新用補正テーブル25に格納される補正値の更新手法と、レベル差補正回路9による補正手法と、について説明する。図8は、適用補正値算出部24の内部構成の一例を示すブロック図である。図8には、乗算器31及び34と、加算器32と、レジスタ(遅延回路)33とから成るフィルタ30が示されている。フィルタ30は、IIR(Infinite Impulse Response)フィルタとなっている。
乗算器31は、入力値と係数(1−K2)との乗算結果を出力する。加算器32は、乗算器31の出力値と乗算器34の出力値との加算結果を出力する。レジスタ33は、加算器32の出力値を保持すると共に、該出力値を単位時間だけ遅延させて出力する。乗算器34は、レジスタ33の出力値と係数K2との乗算結果を出力する。レジスタ33による遅延時間(即ち、上記単位時間)は、例えば50フレームに相当する時間となっているが、動作中に適宜変更されうる。係数K2は1未満の正の数である。
フィルタ30は、フィルタ30への入力値(即ち、乗算器31への入力値)を時間方向に平滑化して出力するローパスフィルタとして機能する。フィルタ30の出力値(レジスタ33の出力値)は、適用補正値算出部24が算出した補正値(適用補正値)として更新用補正テーブル25に送られる。
1つのフィルタ30を流用して、第1〜第50の信号範囲に対応する合計50個の補正値を算出することも可能であるが、今、説明の簡単化のため、1つの信号範囲に対応する1つの補正値を算出するために、1つのフィルタ30が設けられている場合を説明する。この場合、適用補正値算出部24は、50個のフィルタ30を備えて構成されることになる。
第m番目のフィルタ30は、第mの信号範囲に対応する「初期補正値及び実測補正値」に基づいて、第mの信号範囲に対応する補正値(適用補正値)を算出する(mは、1〜50の任意の整数)。図1のデジタルカメラに電源が投入され、図1に示す各部が起動した時点(この時点を、「基準時点」と呼ぶ)では、第m番目のフィルタ30のレジスタ33の格納値及び出力値、並びに、更新用補正テーブル25に格納されている第mの信号範囲に対応する補正値(適用補正値)は、初期補正テーブル23に格納されている第mの信号範囲に対応する初期補正値と一致するようになっている。
上記基準時点以降の或るフレームにおいて算出された第mの信号範囲に対応する実測補正値は、第m番目のフィルタ30の乗算器31への入力値となる。このため、上記基準時点において第mの信号範囲に対応する初期補正値と一致していた第m番目のフィルタ30のレジスタ33の出力値は、上記基準時点以降において、徐々に第mの信号範囲に対応する実測補正値に追従するようになる。
第m番目のフィルタ30のレジスタ33の出力値は、第mの信号範囲に対応する補正値として、更新用補正テーブル25に格納される。第m番目のフィルタ30のレジスタ33の出力値が更新されると、更新用補正テーブル25内の第mの信号範囲に対応する補正値も更新される。
レベル差補正回路9は、信号CH1を受ける。信号CH1には、左CCD1a内の各画素で発生した電気信号に対応する複数の撮像信号が含まれている。レベル差補正回路9は、信号CH1を構成する各撮像信号が、何れの信号範囲に属しているかを判断する。そして、レベル差補正回路9は、第mの信号範囲に属していると判断された撮像信号の信号値に対して、更新用補正テーブル25に格納された、第mの信号範囲に対応する最新の補正値(適用補正値)を乗じる。その乗算によって得られた信号値は、チャンネル間信号レベル差が補正された信号値として、YRGB生成回路10に送られる。
例えば、ある撮像信号の信号値が「15」であって、且つ、上述の如く第2の信号範囲が「11〜30」の場合(図5参照)、その撮像信号は第2の信号範囲に属すると判断される。そして、第2の信号範囲に対応する補正値(適用補正値)が「1.2」である場合は、「18」(=15×1.2)の値を有する信号が、YRGB生成回路10に送られる。
尚、レベル差補正回路9が行う補正処理を「乗算」と表現しているが、この乗算と同じ結果或いは近似した結果を得ることのできる任意の他の手法を採用することも可能である。例えば、第mの信号範囲の中央値と第mの信号範囲に対応する補正値との乗算結果から第mの信号範囲の中央値を減算した値を算出しておき、その値(減算結果)を第mの信号範囲に属する各撮像信号に加算することによって、チャンネル間信号レベル差を補正するようにしてもよい。
CCD1並びに出力チャンネル14及び15の動作温度や図1のデジタルカメラの周囲温度が変わると、信号レベルとチャンネル間信号レベル差との関係は、図3の実線60から破線61のように変化する。従って、実際の動作温度等に応じて補正値を適宜変更する必要があるが、急峻に補正値を変更すると信号CH1の信号レベルも急峻に補正され、特に動画撮影時では、逆に視覚的違和感の発生を招いてしまう。
しかし、上記のように構成すれば、電源投入直後は、所定の温度条件下で最適化された初期補正値を実際に適用する補正値として用いてチャンネル間信号レベル差の補正処理が行われ、徐々に、該補正処理に用いられる補正値が実際の動作温度に適した値(即ち、実測補正値)に変更されていく。このため、チャンネル間信号レベル差は、なめらかに補正され、特に動画の品質向上に寄与する。
また、レベル差補正回路9が信号CH1に対してのみ補正を行うことによって、信号CH1の信号レベルを信号CH2の信号レベルにあわせにいくという手法を上述したが、信号CH1とCH2の双方に対して補正を施すことによって同様の作用を得るようにしても構わない。
この場合、レベル差補正回路9は、信号CH1とCH2の双方を補正対象信号として受け、信号CH1とCH2を構成する各撮像信号が何れの信号範囲に属しているかを判断する。そして、第mの信号範囲に属していると判断された各撮像信号の信号値を、更新用補正テーブル25に格納された、第mの信号範囲に対応する最新の補正値(適用補正値)を用いて補正する。
例えば、補正値の(約)50%ずつを信号CH1とCH2に反映させることにより、上述と同様の作用を得る。或る1つの信号範囲に着目し、最新の補正値(適用補正値)がJ(例えば、1.2)であったとする。この場合、信号CH1の撮像信号の信号値に対して“(1+(J−1)/2)”を乗じ、信号CH2の撮像信号の信号値に対して“(1+(J−1)/2)÷J”を乗じる。そして、その乗算によって得られた信号CH1とCH2の信号値を、チャンネル間信号レベル差が補正された信号値として、YRGB生成回路10に送るようにする。
補正値を、例えば50%ずつ信号CH1とCH2に反映させることによって、チャンネル間信号レベル差を補正するという上記手法は、後に説明する様々な変形例(他の実施形態を含む)に対しても適用可能である。
また、逐次得られる実測補正値は、時間方向のローパスフィルタ(本実施形態では、フィルタ30を例示)を介して、実際に補正処理に用いられる補正値に反映されるが、上記基準時点(電源投入時等)の直後と、それ以降において、そのローパスフィルタの時定数を変化させるとよい。
例えば、上記基準時点の直後では、そのローパスフィルタの時定数をτ1としておき、時間の経過とともに(例えば、撮影が進むに従って)該時定数をより大きなτ2に向かわせ、最終的に、該時定数をτ2に固定する(但し、τ1<τ2)。図8に示すフィルタ30を用いる場合は、時間の経過に伴って係数K2を変更していけばよい。
上記基準時点以降において、補正値(適用補正値)は最新の実測補正値に応じた値に向かって徐々に変更されていくことになるが、上記のように時定数を変更することにより、補正値が実測補正値に向かう速度(或いは、次々と算出される実測補正値の変化に対する補正値の応答速度)が、電源投入直後は速く、それ以降は徐々に遅くなる。
つまり、電源投入直後は、素早く現在の温度状況に適した補正テーブルへと更新用補正テーブル25が更新されていくことになるため、チャンネル間信号レベル差の補正内容が、現在の温度状況に適したものへと素早く変更される。一方において、電源投入から暫く経過した時点では、温度変化は緩やかなものになっていると考えられるので、実測補正値の変化も少ないと考えられる。また、電源投入から暫く経過した時点における実測補正値の大きな変化は、ノイズ等の影響によることが多い。従って、電源投入から暫く経過した時点では、更新用補正テーブル25内の補正値の変化量を比較的大きく制限し、ノイズ等に起因する補正値の急峻な変更を低減する。
また、図9を参照して、更新用補正テーブル25内の補正値の更新タイミングの具体例を示す。上記基準時点以降の第1番目のフレームにおいて、第1の信号範囲に対応する補正値を、第1の信号範囲に対応するフィルタ30の出力値に応じて、初めて更新する。次に訪れる第2番目のフレームにおいて、第2の信号範囲に対応する補正値を、第2の信号範囲に対応するフィルタ30の出力値に応じて、初めて更新する。
このように、1つのフレームで1つの補正値を更新するようにする。この場合、第mの信号範囲に対応する補正値の更新を行うフレームにおいてのみ、第mの信号範囲に対応するフィルタ30(レジスタ33)の出力値は更新される。つまり例えば、上記の第1番目のフレームにおいては、第1の信号範囲に対応するフィルタ30(レジスタ33)の出力値のみが更新され、第2〜50の信号範囲に対応するフィルタ30(レジスタ33)の出力値は更新されない。
50フレーム期間を用いて50個の補正値の初回更新を行った後、第51番目〜第100番目のフレームを用いて、50個の補正値の2回目の更新を行う。その2回目の更新が終わったあとは、休止期間をおいてから、50個の補正値の3回目の更新を行う。例えば、休止期間を20フレーム期間とし、第121番目〜第170番目のフレームを用いて3回目の更新を行う。その3回目の更新が終わったあとは、他の休止期間をおいてから、50個の補正値の4回目の更新を行う。例えば、上記他の休止期間を40フレーム期間とし、第211番目〜第260番目のフレームを用いて4回目の更新を行う。
このように、補正値の更新間隔を、当初は短くしておきつつ、徐々に広げていくことによっても、補正値が実測補正値に向かう速度が、電源投入直後は速く、それ以降は徐々に遅くなる。
また、適用補正値算出部24として、図8のような巡回型回路(フィルタ30)を採用する例を示したが、過去の実測補正値を最新の実測補正値に加味することによって、上述のフィルタ30と同様の作用を得るようにしてもよい。例えば、第mの信号範囲に属する、最新の実測補正値、前回の実測補正値及び2回前の実測補正値(・・・)の平均値または加重平均値を、今回に更新されるべき、第mの信号範囲に属する補正値として採用しても良い。これにより、最新の補正値は、過去の実測補正値の影響を受けつつ、最新の実測補正値に追従するようになる。
ところで、「基本実測補正値算出法」として上述した、実測補正値算出部22による実測補正値の算出手法には改良すべき点がある。この改良すべき点について考察する。
図10の曲線63は、或る1つの信号範囲に属する検出値の、1フレーム分の分布を示している。この分布におけるピーク64に対応する標本値、すなわち最頻値は、チャンネル間信号レベル差をなくすために信号CH1に対して乗じるべきゲインの理想値Gidを表している。
ノイズ等の影響を全く考慮する必要がなく、1フレーム分の全ての検出値の平均値を算出した場合、その平均値は理想値Gidと略同じになると考えられる。しかしながら、実際にはノイズ等の影響がある。従って、図7の(P2、P4、P6)の組に対応する検出値d6を考えた場合、上記式(1)及び(2)の何れか一方でも満たさないならば検出値d6を無効とする必要がある。
一方、チャンネル間信号レベル差がなるだけゼロに近づくように出力チャンネル14及び15は作成されるため、検出値の有効/無効を判断するための閾値th1及びth2は、「1.0」を中心に設定される。即ち、th1=1.0−Δd、且つ、th2=1.0+Δd、と設定される(但し、0<Δd<1、であって、例えば、Δd=0.2)。
仮に、チャンネル間信号レベル差が補正するまでもなくゼロであった場合、検出値の分布のピークに対応する標本値は(略)「1.0」に一致する。ところが、実際には通常、図10に示す如く、ピーク64に対応する標本値は「1.0」とは異なる。一方において、閾値th1未満の検出値と閾値th2を超える検出値は、無効な検出値として平均値の算出から除外する必要がある。この結果、th1からth2の範囲内の検出値の平均値Grは、最頻値(理想値Gid)からずれることになり、本来検出したい値が精度良く検出できないという問題が生じる。
このような問題を解決する、実測補正値算出部22による実測補正値の算出手法として、以下に、第1、第2及び第3実測補正値算出法を例示する。
第1〜第3実測補正値算出法においても、上記式(1)及び(2)と同様の条件を満たさない検出値は無効とされ、実測補正値の算出において無視される。閾値th1から閾値th2までの範囲を制限範囲と呼ぶ。
[第1実測補正値算出法]
まず、実測補正値算出部22による第1実測補正値算出法を説明する。第1実測補正値算出法では、第mの信号範囲に属する、1フレーム分の検出値の分布(以下、「検出値分布α」という)を参照する。図11に、検出値分布αを示す。そして、その検出値分布αのピークに対応する検出値(標本値)、すなわち最頻値G1を検索し、その最頻値G1を用いて、第mの信号範囲に対応する実測補正値を算出する。勿論、この算出は、m=1〜50の夫々に対して行われる。仮に、上記制限範囲(th1〜th2)外に分布の最頻値が存在していても、当然、その最頻値は無視される。以下、説明の簡略化上、1つの信号範囲にのみ着目して第1実測補正値算出法の説明を継続する。
最も単純には、検出値分布αの最頻値G1そのものを、実測補正値として採用する。これは、図10を参照すれば、理想値Gidを実測補正値として採用することに等しい。また、検出値分布αにおいて度数が2番目に多い検出値(標本値)と、最頻値G1(度数が1番多い検出値)との平均或いは加重平均を、実測補正値として採用してもよい。更に、検出値分布αにおいて度数が3番目に多い検出値(、4番目に多い検出値、・・・)を加味して、実測補正値を算出しても良い。また更に、最頻値G1に隣接する検出値(標本値)を考慮して実測補正値を算出しても良い。
第1実測補正値算出法を用いれば、本来検出したい値が精度良く検出され、チャンネル間信号レベル差の補正精度が向上する。
[第2実測補正値算出法]
次に、実測補正値算出部22による第2実測補正値算出法を、図12(a)及び(b)を参照して説明する。第2実測補正値算出法では、検出値の制限範囲が、検出値に応じて逐次変更される。即ち、閾値th1とth2が、検出値に応じて逐次変更される。以下、説明の簡略化上、1つの信号範囲にのみ着目して第2実測補正値算出法の説明を継続するが、50個の信号範囲の夫々に対して同様の処理が行われる。
第2実測補正値算出法でも、第1実測補正値算出法と同様、或る信号範囲に属する、1フレーム分の検出値の分布(検出値分布α)を参照する。図12(a)に、この検出値分布αを示す。
そして、検出値分布αにおいて、th1からth2までの制限範囲内の検出値(標本値)の平均値G2を算出する。当初、th1とth2は、上述したように、th1=1.0−Δd、且つ、th2=1.0+Δd、と設定されており、この時点における制限範囲を図12(a)において符号66で示す。算出された平均値G2は、当該信号範囲に対応する実測補正値として適用補正値算出部24に送られる。
1または2以上のフレーム期間が経過し、当該信号範囲に対応する実測補正値を次に算出する際には、同じ信号範囲に属する、最新の1フレーム分の検出値の分布(以下、「検出値分布β」という)を参照する。図12(b)に、この検出値分布βを示す。検出値分布βは、典型的には検出値分布αと同じと考えることができる。
そして、検出値分布βにおいて、th1からth2までの制限範囲内の検出値の平均値G3を算出するが、この際、前回の算出にて得た平均値G2に応じてth1とth2が変更される。具体的には、th1=G2−Δd、且つ、th2=G2+Δd、と変更される。つまり、変更された、th1(=G2−Δd)からth2(=G2+Δd)までの制限範囲内の検出値の平均値G3を算出し、この平均値G3を当該信号範囲に対応する最新の実測補正値として適用補正値算出部24に送る。平均値G3を算出する際の制限範囲を図12(b)において符号68で示す。
更にその次の実測補正値を算出する際には、上述と同様に、th1とth2が変更され、th1(=G3−Δd)からth2(=G3−Δd)までの制限範囲内の検出値の平均値が最新の実測補正値とされる。
第2実測補正値算出法を用いるようにすれば、制限範囲の中心が本来検出すべき値に(略)一致するように変更されていくため、チャンネル間信号レベル差の補正精度が向上する。
[第3実測補正値算出法]
次に、実測補正値算出部22による第3実測補正値算出法を説明する。
まず、図14に関する説明を行う。図14は、左CCD1aと右CCD1bとの境界L付近の検出値算出領域75を示している。図14において、検出値算出領域75は二点鎖線によって囲まれている。CCD1の各水平ラインにおいて、境界Lの両側に4画素ずつの計8個の画素を特定する。この特定された画素の集まりが、検出値算出領域75を形成する。CCD1の水平ラインの本数がn本(nは自然数)であれば、検出値算出領域75は、(n×8)個の画素から構成されることになる。各水平ライン上における検出値算出領域75内の8つ画素は、図7を参照して説明した画素P1〜P8である。検出値算出領域75内であって且つ左CCD1a内に配置される、合計(n×4)個の画素の集まりを、画素群77と呼ぶ。
第3実測補正値算出法では、画素群77内の合計(n×4)個の画素に対応する信号値(信号レベル)の分布を参照する。
まず、補正値算出回路8に与えられる、画素群77内の各画素に対応する信号値(信号レベル)を、上述の第1〜第50の信号範囲の何れかに分類する。例えば、或る信号値(信号レベル)が「12」であって、且つ、上述の如く第2の信号範囲が「11〜30」である場合は(図5参照)、「12」が第2の信号範囲に属するため、その信号値(信号レベル)は第2の信号範囲に属すると判断される。
そして、各信号範囲ごとに、画素群77内の画素の信号値(信号レベル)の分布(以下、「信号レベル分布」という)を形成する。各信号レベル分布は、各信号範囲に属する「画素群77内の画素の信号値」のみを用いて形成される。
例えば、画素群77内の画素の信号値が、それぞれ、「8」、「9」、「10」、「11」、「12」、「13」、「14」及び「50」であって(n=2と仮定)、且つ、上述の如く第1及び第2の信号範囲が夫々「0〜10」及び「11〜30」である場合を考える(図5参照)。この場合は、第1の信号範囲についての信号レベル分布は、「8」、「9」及び「10」を標本値として形成され、第2の信号範囲についての信号レベル分布は、「11」、「12」、「13」及び「14」を標本値として形成される。「50」は、第1及び第2の信号範囲と異なる信号範囲についての信号レベル分布の標本値となる。
以下、説明の簡略化上、1つの信号範囲にのみ着目して第3実測補正値算出法の説明を継続するが、50個の信号範囲の夫々に対して同様の処理が行われる。第2の信号範囲に着目するものとし、第2の信号範囲が「11〜30」であるとする。
図13に、第2の信号範囲についての信号レベル分布70を示す。実測補正値算出部22は、信号レベル分布70のピークに対応する信号値(信号レベル)、即ち、信号レベル分布70の最頻値F1を求める。そして、その最頻値(信号レベル)F1と同じ信号値(信号レベル)を与える画素を画素群77内から選ぶ。選ばれた画素を、以下、「選定画素」という。続いて、選定画素を用いて算出された検出値を特定し、特定された検出値の平均値を実測補正値として算出する。
具体的な数値例を挙げる。説明の簡単化のため、CCD1の水平ラインが1つしかないと仮定する。図7を参照して説明したように、その水平ラインに関し、画素P1〜P8及びそれらに対応する信号値(信号レベル)p1〜p8を定義する。更に、最頻値F1が20であるとし、p1、p2、p3及びp4が、夫々、「22」、「20」、「12」及び「20」であるとする。この場合、画素P2とP4が選定画素となり、選定画素を用いて算出された検出値は、(P2、P4、P6)の組に対応する検出値d6と(P4、P6、P8)の組に対応する検出値d4となる。従って、この場合、実測補正値算出部22によって算出されるべき実測補正値は、(d4+d6)/2、となる。
また、上記の数値例からも分かるように、実測補正値を算出する上で、幾つかの検出値(上記数値例では、d3及びd5)は使用されない可能性がある。従って、第3実測補正値算出法を採用する場合は、検出値算出部21と実測補正値算出部22が協働することにより、使用されない検出値の算出を省略する、といったことも可能である。つまり、まず、実測補正値を算出するために必要な検出値が何れであるかを判断してから、必要な検出値のみを算出するようにすればよい。
尚、最頻値(信号レベル)F1に近い信号値(信号レベル)を与える画素をも選定画素に含めるようにしても良い。例えば、画素群77内の画素の信号値を「p」で表した場合、「(F1−ΔF)≦p≦(F1+ΔF)」を満たす画素を全て選定画素としても構わない。ここで、ΔFは1以上の整数である。上記数値例の下、ΔF=2とした場合、画素P1も選定画素に含まれることになり、(P1、P3、P5)の組に対応する検出値d5も実測補正値の算出に用いられることになる。この場合、実測補正値は、(d4+d5+d6)/3、となる。
図13の曲線71は、1つの信号範囲内における、信号レベルとチャンネル間信号レベル差との関係を表している。各信号範囲は信号レベルの幅を有しているため、同一の信号範囲においてもチャンネル間信号レベル差は、信号レベルに応じて変化する。これを考慮し、第3実測補正値算出法では、信号レベル分布70の最頻値F1に対応する信号値に基づいて算出された検出値を用いて、実測補正値を算出する。これにより、補正されるべき実際のチャンネル間信号レベル差(図13のDIF)に即した、実測補正値が算出されるようになり、チャンネル間信号レベル差の補正精度が向上する。
このことについて説明を加えておく。チャンネル間信号レベル差の存在に起因する画像の乱れ(視覚的影響)は、CCD1の境界L付近に対応する画像が平坦画像(例えば、所謂ベタ塗り画像)である場合に顕著となる。境界L付近に平坦画像が与えられた場合、信号レベル分布は、図13の信号レベル分布70の如く明確なピークを持った分布となり、このような場合に第3実測補正値算出法は特に有効に機能する。仮に、信号レベル分布が明確なピークを持たないブロードな分布となっても、第3実測補正値算出法を採用したことによる悪影響は軽微(或いは皆無)である。そのような分布を与える画像においては、チャンネル間信号レベル差の存在に起因する画像の乱れ(視覚的影響)は少ないからである。
[検出値について]
尚、検出値(例えばd6)を、実測値(例えばp6)と予測値(例えばp6’)との比率によって表現する場合を、主にして説明を行ったが、上述したように、検出値を実際値と予測値との差分値で表現することも可能である。例えば、(P2、P4、P6)の組に着目した場合、検出値d6を、等式:d6=p6−p6’、にて算出する(図7参照)。同様に、(P1、P3、P5)、(P3、P5、P7)及び(P4、P6、P8)の組に対応する検出値d5(=p5−p5’)、d3(=p3’−p3)及びd4(=p4’−p4)を算出する。
検出値を実際値と予測値との差分値で表現しても、検出値にはチャンネル間信号レベル差を表す情報が含まれることになるため、検出値を実際値と予測値との比率で表現した場合と同様の補正処理(チャンネル間信号レベル差に対する補正処理)が実現可能である。
検出値を実際値と予測値との差分値で表現した場合、これに伴って、例えば、実測補正値算出部22にて算出される実測補正値、初期補正テーブル23に格納される初期補正値及び適用補正値算出部24にて算出される補正値(適用補正値)も差分値の形にて表現される。そして例えば、レベル差補正回路9は、差分値の形にて表現された補正値(適用補正値)に応じた値を、与えられた信号CH1に加算することによって、チャンネル間信号レベル差に対する補正処理を行うことになる。また、補正値を差分値の形で表現している場合においても、補正値が比率によって表されている場合と同様、差分値の形にて表現された補正値(適用補正値)に応じた値の50%ずつを信号CH1とCH2に反映させることによって、チャンネル間信号レベル差に対する補正処理が行われるようにしてもよい。
また、1水平ラインごとに4つの検出値算出用の監視画素群を選択し、1水平ラインごとに4つの検出値を算出する例を示したが、本発明はこれに限定されない。例えば、各水平ラインにおいて、検出値算出領域75(図14参照)内に位置する8画素P1〜P8から同一色フィルタ画素を選択する。カラーフィルタがベイヤー配列にて配列されている場合、選択される同一色フィルタ画素の組み合わせは、(P1、P3、P5、P7)及び(P2、P4、P6、P8)の2通りとなる。
そして、各組み合わせにおいて、一方の分割撮像領域に属する2つの画素の信号値の平均値と他方の分割撮像領域に属する2つの画素の信号値の平均値との比率または差分値を検出値とする。例えば、(P2、P4、P6、P8)の組み合わせ(監視画素群)に着目した場合、「一方の分割撮像領域(この例では、左CCD1a)に属する2つの画素P2及びP4の信号値p2及びp4の平均値」と「他方の分割撮像領域(この例では、右CCD1b)に属する2つの画素P6及びP8の信号値p6及びp8の平均値」との比率R1または差分値R2を、検出値算出部21が算出する検出値として採用する。比率R1及び差分値R2は、それぞれ、下記式(3)及び(4)によって表される。
1=((p6+p8)/2)/((p2+p4)/2) ・・・(3)
2=((p6+p8)/2)−((p2+p4)/2) ・・・(4)
同様にして、(P1、P3、P5、P7)の組み合わせに対応する検出値も算出する。そして、同様の処理を各水平ラインに対して繰り返し行う。画像(CCD1)の水平ラインの本数がn本(nは自然数)であった場合、1フレームの画像から、(n×2)個の検出値が算出されることになる。
尚、この場合も、検出値の算出の基になった信号値に基づいて、その検出値が属する信号範囲は特定される。例えば、(P2、P4、P6、P8)に対応する検出値(R1またはR2)が属する信号範囲は、「信号値p4(、p2、p6またはp8)が属する信号範囲」、あるいは、「信号値p2、p4、p6及びp8の内の2以上の信号値を用いて算出される値が属する信号範囲」、と同じとされる。
また、「適用補正値算出部24を設けることにより、チャンネル間信号レベル差の補正に用いる補正値を、初期補正値から実際の動作温度に適した値(即ち、実測補正値)に徐々に変更していく」、という例を上述したが、適用補正値算出部24の機能を省略することも可能である。つまり、実測補正値算出部22にて算出された実測補正値を、そのまま、チャンネル間信号レベル差の補正に用いる補正値(適用補正値)として使用することも可能である。これは、図8のフィルタ30の入出力を短絡することに等しい。この場合でも、例えば、上記の第1〜第3算出手法の何れかを用いることにより、チャンネル間信号レベル差の補正精度の向上を見込むことができる。
また、図1では、補正値算出回路8及びレベル差補正回路9がクランプ回路7の後段に設けられているが、補正値算出回路8及びレベル差補正回路9の配置位置を、出力チャンネル14及び15の後段の任意の箇所に変更することが可能である。但し、それらをクランプ回路7よりも前段に設ける場合、クランプ回路7は、レベル差補正回路9が用いる補正値に応じた処理を行う必要がある。
<<第2実施形態>>
上述の説明から明らかなように、図2の検出値算出部21による検出値の算出は、図14の検出値算出領域75内の画素から得られた信号に基づいて行われる。従って、検出値算出領域75内の画素から得られる信号に、ノイズ成分が混入していると、正確な補正値を算出することができなくなる。これを考慮し、補正値算出回路8の前段に空間平滑化回路を挿入する、という変形を施しても良い。この変形を施した実施形態を、本発明の第2実施形態として説明する。
図15に、本発明の第2実施形態に係るデジタルカメラの概略構成ブロック図を示す。図15において、図1と同一の部分には同一の符号を付してある。図15のデジタルカメラは、空間平滑化回路16を追加した点以外、図1のデジタルカメラと一致している。従って、空間平滑化回路16の機能についてのみ説明を行う。
図15において、空間平滑化回路16は、補正値算出回路8の前段に設けられている。空間平滑化回路16は、クランプ回路7からの送られてくる信号CH1及びCH2を受け、それらの信号に空間方向の平滑化処理を施す。そして、該平滑化処理後の信号CH1及びCH2を、補正値算出回路8に送る。図15における補正値算出回路8は、空間平滑化回路16から送られてきた上記平滑化処理後の信号CH1及びCH2を、第1実施形態(図1)におけるクランプ回路7からの信号CH1及びCH2と取り扱って、第1実施形態と同様に、補正値の算出及び出力を行う。
空間平滑化回路16は、上記平滑化処理として、例えば、垂直LPF(ローパスフィルタ)処理を行う。この垂直LPF処理は、検出値算出領域75内の各画素に対して施される。
例えば、図14の領域76内における、垂直方向に並んだ9個の画素に着目する。領域76は、検出値算出領域75内に含まれる。図16に、領域76の拡大図を示す。領域76内の垂直方向に並んだ9個の画素を、下側から、A0、A1、A2、A3、A4、A5、A6、A7及びA8とする。それらの中央の画素A4が、垂直LPF処理の対象画素となる。クランプ回路7からの画素A0〜A8に対応する信号値(信号レベル)を、それぞれ、S0〜S8とする。この場合、対象画素A4の垂直LPF処理後の信号値S4’は、例えば、下式(5)にて表される。ここで、Vkq(q=0、1、・・・、8)は、0〜7の範囲内の値である。
垂直LPF処理後の信号値S4’は、補正値算出回路8に送られる。補正値算出回路8は、信号値S4’を画素A4の信号値と取り扱う。検出値算出領域75内の各画素の信号値に対しても同様の垂直LPF処理が行われ、垂直LPF処理後の各信号値が補正値算出回路8に送られる。図15の補正値算出回路8は、検出値算出領域75内の各画素の、垂直LPF処理後の信号値に基づき、第1実施形態と同様に、補正値の算出及び出力を行う。
空間平滑化回路16が行う平滑化処理として垂直LPF処理を例に挙げたが、垂直LPF処理の代えて、水平LPF処理または二次元LPF処理を用いても構わない。
垂直LPF処理では、上述の如く、対象画素の垂直方向に並ぶ周辺画素の信号値を用いて、対象画素の信号値にLPF処理を施す。一方、水平LPF処理では、対象画素の水平方向に並ぶ周辺画素の信号値を用いて、対象画素の信号値にLPF処理を施す。
つまり、水平LPF処理では、水平方向に並んだ複数の画素を含む水平領域に着目し、該複数の画素の中央の画素を水平LPF処理の対象画素とする。そして、その水平領域内の各画素に対応する信号値を用いて、垂直LPF処理と同様に、対象画素に対応する信号値を平滑化する。例えば、検出値算出領域75内の各画素が、水平LPF処理の対象画素とされる。
二次元LPF処理では、対象画素の垂直及び水平方向に並ぶ周辺画素の信号値を用いて対象画素の信号値にLPF処理を施す。二次元LPF処理では、更に、対象画素の斜め方向に並ぶ周辺画素の信号値を用いることも可能である。例えば、検出値算出領域75内の各画素が、二次元LPF処理の対象画素とされる。
尚、垂直LPF処理、水平LPF処理及び二次元LPF処理の何れを用いる場合においても、LPFの径が大きくなりすぎると、LPFに用いる信号値にエッジ成分が含まれる確率が高くなる。従って、逆に検出値にノイズがのりやすくなるといったことが起こらないよう、LPFの径を適切に設定する。
<<第3実施形態>>
また、第1及び第2実施形態は、撮像領域が左右の2つの領域に分割されたCCD1を用いた場合を例としているが、第1及び第2実施形態にて説明した技術的事項は、撮像領域が3以上に分割されたCCDを用いた場合でも、勿論、適用可能である。例として、撮像領域が4分割されたCCDを用いる実施形態を、本発明に係る第3実施形態として説明する。
図17は、本発明の第3実施形態に係るデジタルカメラの概略的な一部構成ブロック図である。図17において、図1と同一の部分には同一の符号を付し、同一の部分の重複する説明を省略する。
図17において、41は、複数の画素をマトリクス状に配列して構成されるCCD(Charge Coupled Devices)である。各画素は、入射光量に応じた電気信号を発生する。CCD41は、その撮像領域が左右方向において4つの領域に分割されている。分割された4つの領域を、左から、領域41a、41b、41c及び41dと呼ぶ。
CDS/AGC回路42a、42b、42c及び42dは、図1のCDS/AGC回路2(及び4)と同様の機能を有するものであり、AD変換回路回路43a、43b、43c及び43dは、図1のAD変換回路3(及び5)と同様の機能を有するものである。
領域41a内の各画素にて発生した電気信号は、CDS/AGC回路42a及びAD変換回路43aを有する出力チャンネル44aを介して、画像合成回路46に送られる。 領域41b内の各画素にて発生した電気信号は、CDS/AGC回路42b及びAD変換回路43bを有する出力チャンネル44bを介して、画像合成回路46に送られる。
領域41c内の各画素にて発生した電気信号は、CDS/AGC回路42c及びAD変換回路43cを有する出力チャンネル44cを介して、画像合成回路46に送られる。 領域41d内の各画素にて発生した電気信号は、CDS/AGC回路42d及びAD変換回路43dを有する出力チャンネル44dを介して、画像合成回路46に送られる。
画像合成回路46は、出力チャンネル44aの出力信号CHa、出力チャンネル44bの出力信号CHb、出力チャンネル44cの出力信号CHc及び出力チャンネル44dの出力信号CHdを合成し、それらを1系統の信号に変換する。画像合成回路46によって得られた信号は、黒レベルを一定にするためのクランプ回路47を介して、補正値算出回路48及びレベル差補正回路49に送られる。
補正値算出回路48及びレベル差補正回路49は、それぞれ、図1の補正値算出回路8及びレベル差補正回路9に準じた機能を有する。
例えば、補正値算出回路48及びレベル差補正回路49は、信号CHa及びCHbをそれぞれ第1実施形態におけるCH1及びCH2と取り扱うことにより、信号CHaとCHbに関与するチャンネル間信号レベル差を補正すると共に、信号CHc及びCHdをそれぞれ第1実施形態におけるCH1及びCH2と取り扱うことにより、信号CHcとCHdに関与するチャンネル間信号レベル差を補正する。そして更に、「信号CHa及びCHb」並びに「信号CHc及びCHd」をそれぞれ第1実施形態におけるCH1及びCH2と取り扱うことにより、「信号CHa及びCHb」と「信号CHc及びCHd」に関与するチャンネル間信号レベル差を補正する。
レベル差補正回路49からのチャンネル間信号レベル差が補正された信号は、YRGB生成回路10に送られる。YRGB生成回路10の後段に関しては、第1実施形態と同様である。
また、第1実施形態を第2実施形態に変形したのと同様、第3実施形態においても、補正値算出回路48の前段に空間平滑化回路を設けることが可能である。
<<変形等>>
尚、チャンネル間信号レベル差に応じた値(上述の各実施形態では、検出値)を得るための手法として、上述の手法以外の様々な手法を採用することが可能である。例えば、図18に示す如く、CCD1の境界L付近に、複数の監視エリアMA1、MA2、・・・を設ける。図19に、1つの監視エリア(図19では、MA1を例にとる)の拡大図を示す。各監視エリアには、境界Lの左側に位置する(3×3)の9画素と、境界Lの右側に位置する(3×3)の9画素と、が含まれる。
そして、監視エリアごとに、境界Lの左側に位置する9画素の信号値の平均値と、境界Lの右側に位置する9画素の信号値の平均値とを比較することにより、チャンネル間信号レベル差に応じた検出値を算出する。この際も、図5等を用いて説明したように、各検出値を複数の信号範囲に分類するようにする。この上で、例えば、信号範囲ごとに、当該信号範囲に属する検出値の平均値を、当該信号範囲に対応する実測補正値として採用する。
そして、電源投入時において所定の初期補正値をチャンネル間信号レベル差を補正するための補正値として使用する一方で、図8のフィルタ30等を用いることにより、それ以降において該補正値を上記実測補正値に応じた値へと徐々に変更するようにする。これにより、チャンネル間信号レベル差をなめらかに補正することが可能である。
また、上述の記載内容すべては、動画撮影時のみならず静止画撮影時にも適用可能である。
また、上述の各実施形態では撮像素子としてCCDを例に挙げたが、撮像素子としてC−MOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることも可能である。
また、CCD1(または41)と出力チャンネル14及び15(または44a〜44d)は、撮像手段として機能する(図1及び図17参照)。該撮像手段から出力される信号を処理する信号処理装置は、少なくとも補正値算出回路8(または48)とレベル差補正回路9(または49)を含む。
また、補正値算出回路8及びレベル差補正回路9(図1等)、又は、補正値算出回路48及びレベル差補正回路49(図17)は、ハードウェアによって、或いは、マイクロコンピュータと該マイクロコンピュータの動作を定めるプログラムによって、或いは、それらの組み合わせによって、実現可能される。
本発明は、デジタルスチルカメラ及びデジタルビデオカメラ等の、撮影機能を有する撮像装置に広く適用可能である。特に、動画を撮影可能な撮像装置に好適である。
本発明の第1実施実施に係るデジタルカメラの概略構成ブロック図である。 図1の補正値算出回路の内部ブロック図を含む、図1のデジタルカメラの一部ブロック図である。 図1のCCDの各画素の蓄積電荷量と、チャンネル間信号レベル差との関係を示す図である。 図2の更新用補正テーブルに格納されている複数の補正値を、横軸をCH1の信号レベルとして表した模式図である。 図2の補正値算出回路にて算出または格納される補正値、実測補正値及び初期補正値が、複数の信号範囲に割り当てられている様子を示す図である。 図2の検出値算出部の動作を説明するためのフローチャートである。 図2の検出値算出部の動作を説明するための模式図である。 図2の適法補正値算出部の内部構成例を示すブロック図である。 図2の更新用補正テーブル内の補正値の更新タイミング例を説明するための図である。 図2の実測補正値算出部にて採用可能な、実測補正値の算出手法(基本実測補正値算出法)の特徴を説明するための図である。 図2の実測補正値算出部にて採用可能な、実測補正値の算出手法(第1実測補正値算出法)の特徴を説明するための図である。 図2の実測補正値算出部にて採用可能な、実測補正値の算出手法(第2実測補正値算出法)の特徴を説明するための図である。 図2の実測補正値算出部にて採用可能な、実測補正値の算出手法(第3実測補正値算出法)の特徴を説明するための図である。 図1のCCD内の画素配置を示す図である。 本発明の第2実施実施に係るデジタルカメラの概略構成ブロック図である。 図14のCCD内の或る領域の拡大図である。 本発明の第3実施実施に係るデジタルカメラの概略構成ブロック図である。 各実施形態に対する変形例を説明するための図である。 各実施形態に対する変形例を説明するための図である。
符号の説明
1 CCD
1a 左CCD
1b 右CCD
2、4 CDS/AGC回路
3、5 AD変換回路
6 画像合成回路
7 クランプ回路
8 補正値算出回路
9 レベル差補正回路
16 空間平滑化回路
21 検出値算出部
22 実測補正値算出部
23 初期補正テーブル
24 適用補正値算出部
25 更新用補正テーブル

Claims (7)

  1. 撮像領域が複数の分割撮像領域に分割され、各分割撮像領域から電気信号が読み出される撮像素子と、前記分割撮像領域ごとに別個に割り当てられて、前記電気信号を撮像信号として出力する複数の出力チャンネルと、を有する撮像手段から出力される前記撮像信号を処理する信号処理装置において、
    前記複数の分割撮像領域の内、互いに隣接する2つの分割撮像領域を第1及び第2分割撮像領域とし、前記第1及び第2分割撮像領域に対応する前記出力チャンネルを夫々第1及び第2出力チャンネルとし、前記第1及び第2出力チャンネルの少なくとも一方から出力される前記撮像信号を補正対象信号とし、前記撮像信号を信号レベルが互いに異なる複数の信号範囲に分類した場合、
    前記第1及び第2分割撮像領域の境界付近に、夫々に複数の画素を含む複数の監視画素群を設け、前記監視画素群ごとに、当該監視画素群内の画素から得られる前記撮像信号に基づいて、前記第1及び第2出力チャンネルからの前記撮像信号間の信号レベル差に応じた検出値を算出可能な検出値算出手段、を備え、
    前記検出値の算出の基となる前記撮像信号に基づいて、各検出値が属する前記信号範囲は判断され、
    前記信号処理装置は、更に、
    前記信号範囲ごとに、当該信号範囲に属する前記検出値に基づいて、前記信号レベル差を減少させるための第1補正値を算出する第1補正値算出手段と、
    前記信号範囲ごとに割り当てられた所定の第2補正値を格納する第2補正値格納手段と、
    前記信号範囲ごとに、当該信号範囲に対応する前記第1補正値と前記第2補正値の少なくとも一方に基づいて当該信号範囲に対応する補正値を算出し該補正値を用いて当該信号範囲に属する前記補正対象信号を補正することにより、前記信号レベル差を補正する補正手段と、を備え、
    同一の信号範囲に対応する前記第1補正値、前記第2補正値及び前記補正値に関して、前記補正手段は、所定の基準時点では前記第2補正値を前記補正値として用いる一方で、前記基準時点以降において前記補正値を前記第1補正値に応じた値へ向かって変更する
    ことを特徴とする信号処理装置。
  2. 同一の信号範囲に対応する前記第1補正値及び前記補正値に関して、前記補正手段は、前記基準時点以降において、前記補正値を前記第1補正値に応じた値へ向かって変更し、その変更の速度を前記基準時点以降変更する
    ことを特徴とする請求項1に記載の信号処理装置。
  3. 前記検出値及び前記第1補正値は、次々と算出され、
    同一の信号範囲に対応する前記第1補正値及び前記補正値に関して、前記補正手段は、前記基準時点以降において、過去に算出された前記第1補正値を用いつつ、前記補正値を最新の前記第1補正値に応じた値へ向かって変更する
    ことを特徴とする請求項1または請求項2に記載の信号処理装置。
  4. 前記第1補正値算出手段は、前記信号範囲ごとに、
    当該信号範囲に属する前記検出値の分布を参照し該分布を用いて前記第1補正値を算出する
    ことを特徴とする請求項1〜請求項3の何れかに記載の信号処理装置。
  5. 前記第1補正値算出手段は、前記信号範囲ごとに、
    当該信号範囲に属し且つ所定の制限範囲内の前記検出値の平均値を算出することによって前記第1補正値を算出し、
    最新の前記第1補正値の算出において、前記制限範囲は、過去に算出された前記平均値に基づいて補正される
    ことを特徴とする請求項1〜請求項3の何れかに記載の信号処理装置。
  6. 前記第1補正値算出手段は、前記信号範囲ごとに、
    前記複数の監視画素群内の画素から得られ且つ当該信号範囲に属する前記撮像信号の信号レベル分布を参照し、その信号レベル分布を用いて、前記第1補正値を算出する
    ことを特徴とする請求項1〜請求項3の何れかに記載の信号処理装置。
  7. 請求項1〜請求項6の何れかに記載の撮像手段及び信号処理装置を備えた
    ことを特徴とする撮像装置。
JP2006047075A 2006-02-23 2006-02-23 信号処理装置及び撮像装置 Pending JP2007228259A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006047075A JP2007228259A (ja) 2006-02-23 2006-02-23 信号処理装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006047075A JP2007228259A (ja) 2006-02-23 2006-02-23 信号処理装置及び撮像装置

Publications (1)

Publication Number Publication Date
JP2007228259A true JP2007228259A (ja) 2007-09-06

Family

ID=38549619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006047075A Pending JP2007228259A (ja) 2006-02-23 2006-02-23 信号処理装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP2007228259A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027459A1 (ja) * 2011-08-24 2013-02-28 オリンパスメディカルシステムズ株式会社 撮像装置及び撮像装置システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027459A1 (ja) * 2011-08-24 2013-02-28 オリンパスメディカルシステムズ株式会社 撮像装置及び撮像装置システム
US8922634B2 (en) 2011-08-24 2014-12-30 Olympus Medical Systems Corp. Image pickup apparatus and image pickup apparatus system

Similar Documents

Publication Publication Date Title
US8436910B2 (en) Image processing apparatus and image processing method
US8830360B1 (en) Method and apparatus for optimizing image quality based on scene content
US8605999B2 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
JP5561112B2 (ja) 画像処理装置、撮像装置およびプログラム
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
JP4539432B2 (ja) 画像処理装置および撮像装置
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2017038139A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP2018185586A (ja) 画像処理装置および画像処理方法、撮像装置
JP5246851B2 (ja) 画素欠陥補正方法及びテレビジョンカメラ
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP2003279348A (ja) 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP2007228259A (ja) 信号処理装置及び撮像装置
JPH1117984A (ja) 画像処理装置
CN110913143B (zh) 图像处理方法、装置、存储介质及电子设备
JP2007228268A (ja) 信号処理装置及び撮像装置
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5632703B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2010079815A (ja) 画像補正装置
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP6289275B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2011135194A (ja) 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体