JP2011135194A - 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】撮像装置において、周期的に生じる光量依存性列レベル差を補正するとともに、突発的に発生する光量依存性列レベル差を正しく検出して補正する。
【解決手段】撮像装置は、マトリックス状に配列された複数の画素を備える撮像素子を有し、この撮像素子からの出力に応じた画像データを得る。平均化部３０１〜３０５は、画像データを受け、画像データを撮像素子の列毎に平均化して平均化画像データとする。演算部３０６は、画像データについて光量依存のある列毎の周期的な変動を表す周期データと平均化画像データとに応じて、列毎のレベル差における周期性の成分を補正する第１の補正値を算出するとともに、平均化画像データに基づいて列毎のレベル差における突発性の成分を補正する第２の補正値を算出する。補正部３１２及び３１３は、それぞれ第１及び第２の補正値に基づいて画像データを補正する。
【選択図】図３

Description

本発明は、デジタルビデオカメラ等の撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体に関し、特に、撮像素子において列毎の光量に依存するレベル差を補正する撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体に関する。

一般に、デジタルビデオカメラ等の撮像装置においては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサー等の撮像素子が用いられている。この撮像素子では、複数の画素が行方向及び列方向にマトリックス状に配置されている。そして、近年、撮像素子において、多画素化及び高速化が進んでいる。

このような多画素化及び高速化に対処するため、撮像素子においては、例えば、増幅（アンプ）等の処理を、単数又は複数の列毎に並列的に行うようにしている。ところが、増幅等の処理を、列毎に分割して並列的に行う関係上、撮像素子から得られた画像データにおいて、列毎に一定レベルの差分が生じてしまうことになる。そして、このような列毎の差分に起因して、縦方向に筋状のノイズ（縦筋ノイズ）が画像に現れてしまう。

このような縦筋ノイズを除去する手法として、カラム毎に出力系統を有する撮像素子の出力信号に係る出力系統に対応して、当該出力系統によって発生した縦筋ノイズのオフセット性成分及び光量依存成分に応じた補正信号を生成して、これら補正信号に応じて撮像素子の出力信号から縦筋ノイズを除去するようにしたものがある（例えば、特許文献１参照）。

ところで、上記の列毎に生じる一定レベルの差分には、主に光量に依存しない成分（以下、オフセット性列レベル差と呼ぶ）と、光量に比例的に依存する成分（以下、光量依存性列レベル差と呼ぶ）とがある。

光量依存性列レベル差を補正する手法として、例えば、次の補正手法が知られている。この補正手法では、予め均一な被写体を適正露光で撮影して得られた画像データを列方向に平均化して、列平均値を得る。

そして、被写体の全体又は被写体周辺の数列の平均値（以下、全平均値と呼ぶ）を、列平均値で除して、各列の補正値を算出する。この各列の補正値を記憶しておき、撮影の際、画像データに対して列毎に補正値を乗じて、画像データを補正し、光量依存性列レベル差を補正するようにしている。

特開２００８−２４４９４７号公報

ところで、前述の光量依存性列レベル差は、撮像素子の製造上良好でない画素が存在する列のみで突発的に発生する関係上、検知レベルにまで達する光量依存性レベル差が少ない。

そして、この光量依存性列レベル差は、前述のように、光量に比例的に依存する成分であるため、例えば、低照度で得られた画像データにゲインを加えた際においても、出力レベルが同一であれば、光量依存性列レベル差は悪化しない。

このため、メモリを削減する等の目的をもって、検知レベル以上の光量依存性列レベル差が存在する列の列アドレスとその補正値とを予め記憶して、当該列に対してのみ補正を行うことがある。

ところが、前述のように、複数の列を１組として並列的に処理を行って、後に合成する場合には、不可避的に同一の処理を行う列が数列おきに存在する。このため、光量依存性列レベル差が周期性を有することになる。そして、周期的に発生する光量依存性列レベル差が検知レベルを越えると、補正を必要とする列が極めて多くなってしまう。

よって、上述した補正手法では、メモリ等に記憶する補正値が極めて多くなってしまい、メモリの削減という目的を達成することが困難となるという問題点がある。

また、光量依存性列レベル差が周期的に生じると、前述した列平均値及び全平均値に影響を与えてしまい、突発的に発生する光量依存性列レベル差を正しく検出することが難しいという問題点もある。

従って、本発明の目的は、メモリの容量を削減して、しかも周期的に発生する光量依存性列レベル差を補正することのできる撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体を提供することにある。

本発明の他の目的は、突発的に発生する光量依存性列レベル差を正しく検出して補正することができる撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体を提供することにある。

上記課題を解決するため、本発明による撮像装置は、マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置において、前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする平均化手段と、前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第１の補正値演算手段と、前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第２の補正値演算手段と、前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する補正手段とを有することを特徴とする。

本発明による補正制御方法は、マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置に用いられ、前記画像データを補正する補正制御方法において、前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする第１のステップと、前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第２のステップと、前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第３のステップと、前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する第４のステップとを有することを特徴とする。

本発明による補正制御プログラムは、マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置に用いられ、前記画像データを補正する補正制御プログラムにおいて、前記撮像装置で実行され、前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする第１のステップと、前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第２のステップと、前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第３のステップと、前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する第４のステップとを有することを特徴とする。

以上のように、本発明によれば、画像データを撮像素子の列毎に平均化して得られた平均化画像データと、画像データについて光量依存のある列毎の周期的な変動を表す周期データとに応じて、光量依存のある列毎のレベル差における周期性の成分を補正するための第１の補正値を算出し、さらに、平均化画像データに基づいて光量依存のある列毎のレベル差における突発性の成分を補正するための第２の補正値を算出している。そして、これら第１及び第２の補正値に応じて画像データを補正するようにしている。これによって、画像データに光量依存性列レベル差が存在して、しかもこの光量依存性列レベル差に周期性の成分と突発性の成分が混在する場合でも、第１及び第２の補正値を周期性の成分に影響されることなく、精度よく生成することができる。この結果、メモリを削減して、しかも突発的に発生する光量依存性列レベル差を正しく検出して補正することができるという効果がある。

本発明の実施の形態による撮像装置の一例であるデジタルビデオカメラの構成を概略的に示す図である。 図１に示すデジタルビデオカメラで用いられる遮光補正値及び光量依存性列レベル差補正値の生成の手順を説明するためのフローチャートである。 図１に示す光量依存補正部の構成の一例を詳細に示すブロック図である。 図１に示す光量依存補正部の構成の他の例を詳細に示すブロック図である。

以下、本発明の実施の形態について図面を参照して説明する。

＜第１の実施の形態＞
図１は、本発明の実施の形態による撮像装置の一例であるデジタルビデオカメラ１００の構成を概略的に示す図である。

図１を参照して、図示のデジタルビデオカメラ１００は、アイリス及びレンズ等を備える光学系１０１、撮像部１０２、タイミングジェネレータ（ＴＧ）１０３、アナログフロントエンド（ＡＦＥ）１０４、列レベル差補正部１０５、カメラ信号処理部１０６、システム制御部１０７、及び操作部１０８を有している。

そして、システム制御部１０７は、光学系１０１、ＴＧ１０３、ＡＦＥ１０４、列レベル差補正部１０５、及びカメラ信号処理部１０６を制御する。また、ＴＧ１０３は、システム制御部１０７の制御下で撮像部１０２を制御する。

システム制御部１０７は、ＣＰＵ（中央演算装置）及び内蔵メモリを備えており、ユーザーは操作部１０８から、撮影上の各種ユーザー操作指令等をシステム制御部１０７に与える。そして、システム制御部１０７は、ユーザー操作指令に応じてデジタルビデオカメラ１００の制御を行う。

図示の撮像部１０２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子又はＣＣＤ撮像素子（図示せず：以下、単に撮像素子と呼ぶ）を有している。撮像素子は、複数の画素を有しており、これら画素は列方向及び行方向にマトリックス状に配列されている。

被写体（図示せず）を撮影する際には、例えば、操作部１０８を操作して、デジタルビデオカメラ１００を撮影モードとする。

撮影モードにおいて、被写体を撮影すると、光学系１０１を通過した光が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して、アナログ画像信号として出力する。

この際、ＴＧ１０３は、システム制御部１０７の制御下で撮像部１０２を制御し、システム制御部１０７によって規定されたシャッタースピード及びフレームレートで、アナログ画像信号を撮像部１０２から出力する。

ＡＦＥ１０５は、このアナログ映像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。そして、この画像データは、列レベル差補正部１０５に与えられる。列レベル差補正部１０５は、画像データに対して、列レベル差の補正を行って、列レベル差補正済み画像データとする。

列レベル差補正部１０５は、オフセット補正部１０５１及び光量依存補正部１０５２を備えている。列レベル差補正部１０５では、まず、オフセット補正部１０５１が画像データに対して、遮光時における撮像素子の列毎のレベル差を補正する。

オフセット補正部１０５１では、画像データから、同一の列における遮光時の画像データ（以下、遮光時の画像データを遮光画像データと呼ぶ）を平均化した平均値（以下、この平均値を遮光補正値と呼ぶ）を減じ、これによって、遮光時における撮像素子の列毎のレベル差を補正する。

続いて、オフセット補正部１０５１で補正された画像データは、光量依存補正部１０５２に与えられる。光量依存補正部１０５２には、補正が必要な列の補正値（以下、この補正値を光量依存性列レベル差補正値と呼ぶ）が記憶されている。

光量依存補正部１０５２は、補正が必要な列に対して光量依存性列レベル差補正値を乗じて、光量依存性列レベル差を補正する。そして、光量依存補正部１０５は、列レベル差補正済み画像データを出力する。

その後、列レベル差補正済み画像データは、カメラ信号処理部１０６に与えられる。カメラ信号処理部１０６は、列レベル差補正済み画像データに対して、例えば、ガンマ補正、輪郭補正、及び色ゲイン補正等の信号処理を行い、カメラ信号として出力する。そして、このカメラ信号は、例えば、メモリ（図示せず）に記録される。

図２は、図１に示すデジタルビデオカメラ１００で用いられる遮光補正値及び光量依存性列レベル差補正値の生成の手順を説明するためのフローチャートである。

図２を参照して、デジタルビデオカメラ１００で用いられる遮光補正値及び光量依存性列レベル差補正値は、例えば、予め適当な輝度（予め定められた輝度）を有する均一被写体を、適正露光で撮影して生成する。

これら遮光補正値及び光量依存性列レベル差補正値を生成する際には、例えば、工場の製造工程又はユーザーの操作によって撮影前に行われる。遮光補正値及び光量依存性列レベル差補正値を生成する際には、例えば、ユーザー等が操作部１０８を操作して、デジタルビデオカメラ１００を補正値演算モードとする。

まず、均一被写体が撮影できるように撮像装置１００を設置する。続いて、光学系１０１が遮光される（ステップＳ２０１）。光学系１０１の遮光が完了した後、光学系１０１及び撮像部１０２を介してＡＦＥ１０４に与えられたアナログ画像信号がＡＦＥ１０４でデジタル変換されて、遮光画像データとしてＡＦＥ１０４からオフセット補正部１０５１に与えられる。

そして、オフセット補正部１０５１は、同一の列における遮光画像データを平均化して、遮光補正値を生成する。つまり、同一の列毎に遮光補正値が生成される。これら遮光補正値は、撮像素子の列に対応付けて、メモリ等の記憶媒体（図示せず）に記憶される（ステップＳ２０２）。上述のようにして、遮光補正値の生成が終了すると、オフセット補正部１０５１は補正を開始することになる（ステップＳ２０３）。

続いて、光学系１０１の遮光を解除して、均一被写体を撮影する（ステップＳ２０４）。これによって、光学系１０１及び撮像部１０２を介してＡＦＥ１０４に与えられたアナログ画像信号がＡＦＥ１０４でデジタル変換されて、均一被写体を現す画像データとしてＡＦＥ１０４から列レベル差補正部１０５に与えられる。

オフセット補正部１０５１は、前述の遮光補正値に応じて、均一被写体を現す画像データを補正して、光量依存補正部１０５２に与える。光量依存補正部１０５２は、均一被写体を現す画像データに基づいて、後述するようにして、光量依存性列レベル差補正値を生成して、メモリ等の記憶媒体に記憶する（ステップＳ２０５）。

なお、オフセット補正部１０５１を通過した遮光画素データにおいては、その列毎の出力がほぼ一定となる。但し、オフセット性の列レベル差が小さい場合には、オフセット補正部１０５１による補正は行わなくてもよい。

上述の例では、オフセット成分を補正するための平均値、つまり、遮光補正値を生成する際に遮光画像データを用いる例を挙げたが、遮光された画素（遮光画素）に対応する画像データを用いて、オフセット成分を補正するための平均値（つまり、遮光補正値）を生成するようにしてもよい。遮光画素を用いて、遮光補正値を生成する際には、上述したステップＳ２０１は省略される。

但し、均一被写体を撮影する際においても、撮像素子の列毎のオフセット成分のばらつきが影響するため、ステップＳ２０３は実行することが望ましい。そして、オフセット補正部１０５１による補正を行わない場合には、光量依存補正部１０５２で光量依存性列レベル差補正値を生成する際に遮光補正値を減じるようにしてもよい。

上記のように、遮光補正値を生成する際、遮光画素に対応する画像データ又は予め取得した遮光画像データを用いるが、遮光画素に対応する画像データ及び予め取得した遮光画像データの両方を用いるようにしてもよい。

ここで、光量依存補正部１０５２における光量依存性列レベル差補正値の生成について詳説する。図３は、図１に示す光量依存補正部１０５２の構成の一例を示すブロック図である。

図３を参照して、図示の光量依存補正部１０５２は、平均化処理を行うため、所謂巡回フィルタを用いている。光量依存補正部１０５２は、ライン選択回路３０１、乗算器３０２、加算器３０３、ラインメモリ３０４、乗算器３０５、演算部（第１及び第２の補正値演算手段）３０６、レジスタ（周期記憶手段、又は第１のメモリ）３０７、メモリ３０８、乗算器３０９、比較部（比較手段）３１０、レジスタ３１１、メモリ（補正値記憶手段又は第２のメモリ）３１２、及び乗算器（乗算手段）３１３を有している。

図示の例においては、乗算器３０２は、係数ｋをライン選択回路３０１の出力に乗じる。ラインメモリ３０４には、１ライン分のデータが記憶される。また、乗算器３０５は、係数（１−ｋ）をラインメモリ３０４の出力に乗じる。

演算部３０６は、後述するようにして、光量依存性列レベル差を補正するための補正値（光量依存性列レベル差補正値）を算出する。レジスタ３０７には、１周期の画素数が周期データとして格納されている。メモリ３０８には、後述するようにして、光量依存性列レベル差の周期性の成分を補正するための補正値（以下、この補正値を第１の補正値と呼ぶ）が記憶される。

比較部３１０は、後述する第２の補正値と予め規定された上限値又は下限値（つまり、閾値）とを比較する。レジスタ３１１には上記の予め規定された上限値と下限値が格納される。また、メモリ３１２には、比較部３１０による比較結果に応じて第２の補正値から選択された光量依存性列レベル差の突発性の成分を補正するための補正値（以下、この補正値を突発性成分補正値と呼ぶ）が記憶される。

なお、係数ｋは巡回係数であり、０から１の間の数値が設定される。また、光量依存性列レベル差補正値とは、上記の第１の補正値（周期性成分補正値）及び突発性成分補正値を表している。そして、光量依存性列レベル差補正値を生成する場合には、メモリ３０８及び３１２にそれぞれ第１の補正値及び突発性成分補正値が記憶されるまでの処理が行われ、この処理では、乗算器３０９及び３１３は用いられない。

前述した補正値演算モードの際、均一被写体を表す画像データ（以下、均一被写体画像データと呼ぶ）は、オフセット補正部１０５１で補正された後、光量依存補正部１０５２に与えられる。

光量依存補正部１０５２では、均一被写体画像データは、ライン選択回路３０１に送られる。ライン選択回路３０１は、均一被写体画像データを選択的に出力するが、例えば、予め定められたラインを選択して、選択ライン画像データとして出力する。

なお、予め定められたラインとして、ライン選択回路３０１は、有効ラインの全てを選択するようにしてもよい。また、撮像装置１００に依存する懸念要因があれば、影響の無いラインを、予め定められたラインとして設定するようにしてもよい。

ライン選択回路３０１の出力は、つまり、選択ライン画像データは、乗算器３０２においてｋ倍されて、第１の乗算画像データとして加算器３０３に与えられる。一方、ラインメモリ３０４の出力が、乗算器３０５で（１−ｋ）倍されて、第２の乗算画像データとして加算器３０３に与えられる。

加算器３０３は、第１及び第２の乗算画像データを加算して、加算画像データ（つまり、平均化画像データ）としてラインメモリ３０４に与え、平均化画像データはラインメモリ３０４に一旦記憶される。

なお、ラインメモリ３０４が安定するライン数の平均化画像データを得る必要がある。このため、１フレームではライン数が足りなければ、複数フレームの平均化画像データを取得することになる。

ラインメモリ３０４に記憶された平均化画像データは、演算部３０６に与えられる。演算部３０６では、平均化画像データとレジスタ３０７からの与えられる１周期分の画素数（つまり、周期データ）とに応じて、第１の補正値を算出する。

さらに、演算部３０６は、平均化画像データに応じて、後述するようにして、第２の補正値を求める。この第２の補正値は、光量依存性列レベル差の突発性の成分を補正するための補正値である。

ここで、最初に、第１の補正値Ａｒｍの算出について説明する。いま、ラインメモリ３０４に記憶されている平均化画像データにおいて、ｎ列目（ｎは１〜Ｎまでのいずれかの数）の画像データをＡｎ、列数をＮとし、レジスタ３０７に格納されている１周期分の画素数をＭとする。

１周期におけるｍ番目（ｍは１〜Ｍまでのいずれかの数）の画素における第１の補正値Ａｒｍは、数１で表される。

ここで、Ｋは、ＭをＮで除した値であり、この例では、ＮはＭの整数倍であり、また、Ｋは整数であるとする。

数１を用いて、演算部３０６は、ｍが１からＭの場合の第１の補正値Ａｒｍを求める。そして、演算部３０６は、第１の補正値Ａｒｍをメモリ３０８に格納する。なお、この第１の補正値Ａｒｍは、画素データ全体における平均値を、同一の位相の列の平均値で除したものである。

続いて、第２の補正値Ａｒｎの算出について説明する。ラインメモリ３０４に記憶されている平均化画像データにおいて、ｎ列目の画像データＡｎにおける突発性補正値Ａｒｎは、ｎ列目の画像データＡｎと同一の位相の前後のｌ列の画像データとを用いて、数２で求めることができる。

数２は、ｎ列目の画像データＡｎと同一の位相の前後のｌ列の画像データの平均値とをｎ列の画像データＡｎで除したものである。このように、数２を用いて、演算部３０６が、第２の補正値Ａｒｎを求めれば、同一の位相である画像データを抽出して算出していることになる。

このため、ｎ列目の画像データＡｎに周期的な変動が生じても、第２の補正値Ａｒｎを精度よく算出することができる。

なお、第２の補正値Ａｒｎを算出する際、ｎ列目の画像データＡｎの取り扱い及びどの程度平均するか等については、適宜行うことができる。いずれにしても、同一の位相の列の画像データを用いれば、第２の補正値Ａｒｎを精度よく算出することができる。

上述のようにして求めた第２の補正値Ａｒｎは、演算部３０６から比較部３１０に与えられる。比較部３１０は、レジスタ３１１に格納されている上限値及び下限値と第２の補正値Ａｒｎと比較する。

そして、比較の結果、第２の補正値Ａｒｎが上限値を越えている場合又は第２の補正値Ａｒｎが下限値未満である場合には、比較部３１０は、当該第２の補正値Ａｒｎを突発性成分補正値として列アドレス（ここでは、列アドレスとして列の位置を表している）ｎと対応付けてメモリ３１２に格納する。

上述のようにして、光量依存性列レベル差補正値、つまり、第１の補正値（周期性成分補正値）及び突発性成分補正値が生成されて、それぞれ撮影前にメモリ３０８及び３１２に予め記憶されることになる。

撮影の際には（つまり、撮影モードとなると）、被写体を表す画像データが、まず、乗算器３０９に与えられる。乗算器３０９は、列アドレスに応じてメモリ３０８から与えられる第１の補正値Ａｒｍと画像データとを乗算して、第３の乗算画像データ（周期性成分補正済み画像データ）として乗算器３１３に与える。図示の例では、乗算器３０９は、列アドレスが（ｋＭ＋ｍ）の際に、画像データと第１の補正値Ａｒｍとを乗算することになる。

乗算器３１３は、列アドレスに応じてメモリ３１２から与えられる突発性成分補正値Ａｒｎと第３の乗算画像データとを乗算して、第４の乗算画像データとする。

図示の例では、乗算器３１３は、メモリ３１２に記憶されている列アドレスの際に当該列アドレスに応じた突発性成分補正値Ａｒｎと第３の乗算画像データとを乗算することになる。そして、この第４の乗算画像データは、カメラ処理部１０６（図１）に与えられる。

上述のようにして、光量依存性列レベル差補正値、つまり、第１の補正値Ａｒｍ及び突発性補正値Ａｒｎを生成すれば、光量依存性列レベル差において周期的成分と突発的成分が混在している場合でも、精度よく画像データの補正を行うことができる。

つまり、同一の位相の列のデータに基づいて、光量依存性列レベル差を補正するため光量依存性列レベル差補正値を生成しているので、突発的成分を補正するための突発性成分補正値を精度よく生成することができるばかりでなく、同一の画像データを用いて、第１の補正値（周期性成分補正値）を位相毎に生成することもできる。

加えて、第２の補正値と上限値及び下限値とを比較して、第２の補正値が上限値を越える場合又は第２の補正値が下限値未満である場合に、当該第２の補正値を突発性成分補正値としてメモリ３１２に記憶するようにしたので、メモリ３１２の容量を削減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施の形態によるデジタルビデオカメラ１００で用いられる光量依存補正部１０５２の他の例について説明する。

上述の第１の実施形態では、光量依存性のある列毎のばらつきについて、周期性の成分についてはその周期が予めわかっている場合について説明した。しかしながら、周期性の成分においてその周期がわからない場合もある。

そこで、第２の実施の形態においては、第１の実施の形態に示す光量依存補正部１０５２において周期性の成分における周期を判別する機能を付加した例について説明する。

図４は、図１に示す光量依存補正部１０５２の構成の他の例を示すブロック図である。なお、ここでは、デジタルビデオカメラ１００の構成及びオフセット補正値及び光量依存列レベル差補正値を生成する手順については、それぞれ図１及び図２を参照して説明したので省略する。

また、図４において、図３と同一の構成要素については、同一の参照番号を付し、説明を省略することにする。

図４を参照すると、図４に示す光量依存補正部１０５２では、ラインメモリ３０４と演算部３０６との間に周期判定部（周期判定手段）４０１が配置されている。また、図示の光量依存補正部１０５２では、周期データを格納するレジスタ３０７が備えられていない。

図示の光量依存補正部１０５２は、図３で説明した光量依存補正部１０５２と同様に、平均化処理を行うために、巡回フィルタを用いている。周期判定部４０１は、ラインメモリ３０４からの出力である平均化画像データを受ける。そして、周期判定部４０１は、平均化画像データに基づいて、光量依存性列レベル差における周期性の成分の周期を検出する。

周期判定部４０１は、周期がＭ画素であるとして、数３に応じて位相毎の平均値Ａｍを求める。

なお、ここでは、ｍは１〜Ｍまでのいずれかの数である。また、Ｍは２以上の整数である。

いま、Ｍが２であるとすると、数３は数４で示される。

また、Ｍが３であるとすると、数３は数５で示される。

数３〜数５から分かるように、Ａ１からＡＭに特異点が存在するか又は１周期の波となっている場合には、平均化画像データは、Ｍ画素周期の成分を有していることとなる。

周期判定部４０１では、平均化画像データが周期を有していれば、数３に応じて判定したＭ画素を一周期とする。そして、平均化画像データが周期を有していないと、周期判定部４０１は、Ｍを１とする。つまり、周期判定部４０１は、１画素を１周期とすることになる。

そして、周期判定部４０１は、１周期を表すＭ画素を演算部３０６に与える。なお、ここでは、周期判定部４０１は、平均化画像データも演算部３０６に与えることになる。従って、演算部３０６は、周期判定部４０１から与えられる画素数、つまり、周期データに応じて、図３に関連して説明したようにして、第１の補正値Ａｒｍを求めて、メモリ３０８に格納することになる。

このようにして、周期判定部４０１において１周期の画素数（周期データ）を判定するようにすれば、周期性の成分における周期が分かっていなくても、容易に第１の補正値を求めることができる。

以上のように、第１及び第２の実施の形態によれば、撮像素子及びＡＦＥ等に起因して画像データに生じる光量依存性列レベル差における周期的な成分について、周期性の成分と突発性の成分とが混在している画像データから、突発性の成分を補正する突発性成分補正値を精度よく生成することができることになる。

なお、上述の第１及び第２の実施の形態の説明から明らかなように、ライン選択回路３０１、乗算器３０２及び３０５、加算器３０３、及びラインメモリ３０４が画像データを撮像素子の列毎に平均化して平均化画像データとする平均化手段として機能する。

さらに、演算部３０６が、画像データについて光量依存のある列毎の周期的な変動を表す周期データと平均化画像データとに応じて、光量依存のある列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第１の補正値演算手段として機能する。

そして、演算部３０６は、平均化画像データに基づいて光量依存のある列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第２の補正値演算手段としても機能する。そして、平均化手段と第１及び第２の補正値演算手段としての機能は、予め定められた補正値演算モードの際に起動されることになる。

さらに、メモリ３０８及び乗算器３０９と比較部３１０、メモリ３１２、及び乗算器３１３とが第１及び第２の補正値に応じて画像データを補正して、周期性の成分及び突発性の成分を除去する補正手段として機能する。

ここでは、メモリ３０８及び乗算器３０９が、第１の補正値に応じて画像データを補正して周期性成分補正済み画像データとする第１の補正部として機能する。そして、比較部３１０、メモリ３１２、及び乗算器３１３が第２の補正値から選択された突発性成分補正値に応じて周期性成分補正済み画像データを補正する第２の補正部として機能することになる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上述の実施の形態の機能を補正制御方法として、デジタルビデオカメラ１００に実行させるようにしてもよい。この場合には、補正制御方法は、第１のステップ、第２のステップ、第３のステップ、第４のステップ、第５のステップ、第６のステップ、第７のステップ、及び第８のステップを有する。

また、上述の実施の形態の機能を有するプログラムを補正制御プログラムとして、デジタルビデオカメラ１００が備えるマイクロプロセッサー等のコンピュータに実行させるようにしてもよい。

さらには、この補正制御プログラムが格納された記録媒体から、補正制御プログラムをデジタルビデオカメラ１００が備えるマイクロプロセッサー等のコンピュータに読み込ませて、当該プログラムを実行させても、同様な効果を実現できる。つまり、この記録媒体は、補正制御プログラムが格納されたコンピュータに読み取り可能な記録媒体である。

この補正制御プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリが用いられる。また、濃度補正制御プログラムを供給する際には、コンピュータネットワーク上のサーバに当該プログラムを記憶し、クライアントコンピュータがこのプログラムをダウンロードするようにしてもよい。

１０１ 光学系
１０２ 撮像部
１０３ タイミングジェネレータ（ＴＧ）
１０４ アナログフロントエンド（ＡＦＥ）
１０５ 列レベル差補正部
１０５１ オフセット補正部
１０５２ 光量依存補正部
１０６ カメラ信号処理部
１０７ システム制御部
１０８ 操作部

Claims (18)

1. マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置において、
   前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする平均化手段と、
   前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第１の補正値演算手段と、
   前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第２の補正値演算手段と、
   前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する補正手段とを有することを特徴とする撮像装置。
2. 前記平均化手段と前記第１及び前記第２の補正値演算手段とは、予め定められた補正値演算モードの際に起動され、前記補正値演算モードの際には、予め定められた輝度を有する均一被写体を撮影して得られた均一被写体画像データが前記画像データとして前記平均化手段に与えられることを特徴とする請求項１記載の撮像装置。
3. 前記周期データを予め記憶するための周期記憶手段を有することを特徴とする請求項１又は２記載の撮像装置。
4. 平均化画像データに応じて、前記画像データについて前記光量依存のある列毎の周期的な変動を判定して、前記周期データを得る周期判定手段を有することを特徴とする請求項１又は２記載の撮像装置。
5. 前記補正手段は、前記第１の補正値に応じて前記画像データを補正して周期性成分補正済み画像データとする第１の補正部と、
   前記第２の補正値から選択された突発性成分補正値に応じて前記周期性成分補正済み画像データを補正する第２の補正部とを有することを特徴とする請求項１〜４のいずれか１項記載の撮像装置。
6. 前記第２の補正部は、予め規定された閾値と前記第２の補正値とを比較して、その比較結果に応じて前記第２の補正値から前記突発性成分補正値を選択する比較手段と、
   前記突発性成分補正値を前記周期性成分補正済み画像データに乗算して前記周期性成分補正済み画像データを補正する乗算手段とを有することを特徴とする請求項５記載の撮像装置。
7. 前記第２の補正部は、前記突発性成分補正値を前記列の位置を表す列アドレスに対応付けて記憶する補正値記憶手段を有することを特徴とする請求項６記載の撮像装置。
8. 前記第２の補正値演算手段は、前記第２の補正値を算出する際、前記平均化画像データにおいて同一の位相を有する列を用いて前記第２の補正値を算出するようにしたことを特徴とする請求項１〜７のいずれか１項記載の撮像装置。
9. マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置に用いられ、前記画像データを補正する補正制御方法において、
   前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする第１のステップと、
   前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第２のステップと、
   前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第３のステップと、
   前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する第４のステップを有することを特徴とする補正制御方法。
10. 前記第１のステップ、前記第２のステップ、及び前記第３のステップは、予め定められた補正値演算モードの際に行われ、前記補正値演算モードの際、前記第１のステップは、予め定められた輝度を有する均一被写体を撮影して得られた均一被写体画像データを前記画像データとすることを特徴とする請求項９記載の補正制御方法。
11. 前記撮像装置には、前記周期データを予め記憶するための第１のメモリが備えられていることを特徴とする請求項９又は１０記載の補正制御方法。
12. 平均化画像データに応じて、前記画像データについて前記光量依存のある列毎の周期的な変動を判定して、前記周期データを得る第５のステップを有することを特徴とする請求項９又は１０記載の補正制御方法。
13. 前記第４のステップは、前記第１の補正値に応じて前記画像データを補正して周期性成分補正済み画像データとする第６のステップと、
    前記第２の補正値から選択された突発性成分補正値に応じて前記周期性成分補正済み画像データを補正する第７のステップとを有することを特徴とする請求項９〜１２のいずれか１項記載の補正制御方法。
14. 予め規定された閾値と前記第２の補正値とを比較して、その比較結果に応じて前記第２の補正値から前記突発性成分補正値を選択する第８のステップを有することを特徴とする請求項１３記載の補正制御方法。
15. 前記撮像装置には、前記突発性成分補正値を前記列の位置を表す列アドレスに対応付けて記憶する第２のメモリが備えられていることを特徴とする請求項１４記載の補正制御方法。
16. 前記第３のステップでは、前記第２の補正値を算出する際、前記平均化画像データにおいて同一の位相を有する列を用いて前記第２の補正値を算出するようにしたことを特徴とする請求項９〜１５のいずれか１項記載の補正制御方法。
17. マトリックス状に配列された複数の画素を備える撮像素子を有し、該撮像素子からの出力に応じた画像データを得る撮像装置に用いられ、前記画像データを補正する補正制御プログラムにおいて、
    前記撮像装置で実行され、
    前記画像データを受け、該画像データを前記撮像素子の列毎に平均化して平均化画像データとする第１のステップと、
    前記画像データについて光量依存のある前記列毎の周期的な変動を表す周期データと前記平均化画像データとに応じて、前記光量依存のある前記列毎のレベル差における周期性の成分を補正するための第１の補正値を算出する第２のステップと、
    前記平均化画像データに基づいて前記光量依存のある前記列毎のレベル差における突発性の成分を補正するための第２の補正値を算出するための第３のステップと、
    前記第１及び前記第２の補正値に応じて前記画像データを補正して、前記周期性の成分及び前記突発性の成分を除去する第４のステップを有することを特徴とする補正制御プログラム。
18. 請求項１７に記載の補正制御プログラムが格納されたコンピュータに読み取り可能な記録媒体。

Images