JP2015216601A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】撮像素子の特性が画像に与えた影響を容易に補正可能なＲＡＷデータを生成することが可能な撮像装置を提供する。【解決手段】撮像装置は、有効画素領域と遮光画素領域とを有する撮像素子と、撮像素子から読み出された画素データのうち、遮光画素領域から読み出された画素データに基づいて、撮像素子の特性が画素データに与える影響を補正するための補正に用いる値を算出する算出手段と、撮像素子から読み出された画素データからＲＡＷデータを生成する生成手段と、を有する。さらに、生成手段は、補正に用いる値を遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成する。【選択図】図１

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特にＲＡＷ画像の記録技術に関する。

ビデオカメラ等の撮像装置の多くは、撮像素子から出力された画像信号をデジタルデータに変換し、各種信号処理を施した後に所定の圧縮方式で符号化したデータを記録媒体に記録する手法がとられている。

しかし、４Ｋやスーパーハイビジョン等の高解像度化、ハイフレームレート化に伴い、出力される画像信号のデータ量も飛躍的に増加する傾向にある。このため、従来のように信号処理ＩＣ内でセンサ補正や現像処理を全て行うのは回路規模の増大、消費電力の増加の観点から困難になってきている。そこで、撮像素子から出力された画像信号に現像処理を行う前の画像データ（ＲＡＷデータ）をそのまま毎フレーム記録して記録後に現像処理を行う、いわゆる動画ＲＡＷ記録システムが提案されている（特許文献１）。

特開２０１２−１０２３９号公報 特開２０００−２６１７３０号公報

ところで、撮像素子の特性が画像に与える影響を補正するセンサ補正を行っていないＲＡＷデータを記録した場合、記録後にセンサ補正を行う必要がある。画像に影響を与える撮像素子の特性の例としては、撮像素子が有する増幅器の特性のばらつきがある。ＣＭＯＳイメージセンサのように画素の電気信号を増幅する増幅器が画素の列ごとに割り当てられている場合、増幅器の特性のばらつきが画素値に与える影響を列ごとに補正する必要がある。以下、この補正を縦線補正と呼ぶ。

遮光画素領域（オプティカルブラック：ＯＢ）の画素値を縦方向に複数ライン分平均し、得られた値を画素値から減算することによって縦線補正を行う方法が知られている（特許文献２）。この方法では多くのラインを平均した方が信頼性の高い補正値が得られることから、補正値が確定するまでに時間がかかる。そのため、ＲＡＷデータ動画を記録した場合、最初の所定枚数のフレームは適切に補正されないという問題があった。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、撮像素子の特性が画像に与えた影響を容易に補正可能なＲＡＷデータを生成することが可能な撮像装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、有効画素領域と遮光画素領域とを有する撮像素子と、撮像素子から読み出された画素データのうち、遮光画素領域から読み出された画素データに基づいて、撮像素子の特性が画素データに与える影響を補正するための補正に用いる値を算出する算出手段と、撮像素子から読み出された画素データからＲＡＷデータを生成する生成手段と、を有し、生成手段は、補正に用いる値を遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成することを特徴とする。

本発明によれば、撮像素子の特性が画像に与えた影響を容易に補正可能なＲＡＷデータを生成することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図およびＣＭＯＳイメージセンサの構成を模式的に示す図 ＣＭＯＳイメージセンサの縦線補正を模式的に説明するための図および記録されたＲＡＷデータをフレーム単位で示す図 縦線補正に用いるフィルタ演算値が収束する様子を示した図 ＲＡＷデータの生成処理に係るＶＯＢ領域の記録方法を示す図 実施形態１に係るＲＡＷデータの生成処理の一連の動作を示すフローチャート 本実施形態に係る変形例としてのデジタルカメラの機能構成例を示すブロック図 実施形態２に係るＲＡＷデータの生成処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、ＲＡＷデータの記録が可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、ＲＡＷデータを記録することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（デジタルカメラ１００の構成）
図１（ａ）は、デジタルカメラ１００の機能構成例を示すブロック図である。なお、図１（ａ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

以下、図１を参照して、デジタルカメラ１００の機能構成例について説明する。

撮像素子１０１は、光電変換素子を有する画素が複数、二次元状に配列された構成を有する。撮像素子１０１は、光学系により結像された被写体の光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位の画像信号（ＲＡＷデータ）を出力する。撮像素子１０１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成される。

ＣＭＯＳイメージセンサは、例えば図１（ｂ）に示す構成を有する。フォトダイオード２０１は、画素ごとに配置され入射した光信号を電気信号に変換して出力する。行選択トランジスタ２０２および列選択トランジスタ２０３によって選択された画素の電気信号は、増幅器である列アンプ回路２０４によって増幅された後、列ＡＤ回路２０５によってデジタル信号に変換される。行選択トランジスタ２０２および列選択トランジスタ２０３は、垂直操作回路２０８および水平走査回路２０６により制御され、列並列方式によって列ごとに順次信号電荷が読み出される。列並列方式では、列アンプ回路２０４は各列１個ずつ用いられるため、列アンプ回路２０４間の特性差が影響してオフセット値が列ごとにばらつき、輝度レベルの差が縦線として現れる。なお、本実施形態の撮像素子１０１は、例えば４Ｋ（３８４０×２１６０）もしくは８Ｋ（７６８０×４３２０）などの画素数を有し、近年の一般的なフルハイビジョン（１９２０×１０８０）より大きな画素数を有するセンサである。

セレクタ１０２は、撮像素子１０１から出力されたＲＡＷデータに対してセンサ補正や現像処理を行わずに記録媒体１０８に記録するための信号出力１０３と、表示デバイス１１１に表示するための信号出力１０４に分離する。セレクタ１０２は、表示するための信号出力１０４を表示デバイス１１１が対応する画素数（例えばフルハイビジョン等）に縮小し、センサ補正部１０９に出力する。

センサ補正部１０９は、セレクタ１０２から出力された表示デバイス１１１に表示するための信号出力１０４に対して、後述する縦線補正を含むセンサ補正（ノイズ除去やクランプ処理）を行い、現像部１１０に補正後のＲＡＷデータを出力する。

現像部１１０は、補正後のＲＡＷデータに対して、色変換処理、周辺光量落ちに対する補正、ガンマ処理等の現像処理を施して画像データを出力する。現像部１１０から出力された画像データは表示デバイス１１１に表示される。

表示デバイス１１１は、ＴＦＴ型ＬＣＤや有機ＥＬ等で構成され、撮影された画像データとともに撮影情報などを表示する。

信号出力１０３におけるＲＡＷデータは、多画素の高ビットレートおよびハイフレームレートのデータであるため、表示するための信号出力１０４に対する処理と同様にセンサ補正および現像処理を行うのは回路規模、消費電力の観点から難しい。このため、撮像素子１０１から出力されたＲＡＷデータはセンサ補正や現像処理を行わずに記録媒体１０８に記録される。

記録素子１０５は、例えば半導体メモリなどの素子であり、後述するＲＡＷデータに記録するためのフィルタの初期値を記録する。また、スイッチ１０６は、制御部１０７の制御に応じて、セレクタ１０２から出力されるＲＡＷデータと記録素子１０５から出力されるフィルタの初期値を切り替えて記録媒体１０８に出力する論理的または物理的なスイッチである。

制御部１０７は、ＣＰＵ（あるいはＭＰＵ）、ＲＯＭ、ＲＡＭなどを備え、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体の動作を制御する。また、制御部１０７は、ＲＯＭに記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ＲＡＭは、制御部１０７の動作用の定数、変数、ＲＯＭから読み出したプログラム等を展開する。制御部１０７は、例えば本実施形態におけるＲＡＷデータの生成処理や撮影されたＲＡＷデータの表示デバイス１１１への表示を制御する。

記録媒体１０８は、撮影されたＲＡＷデータを記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

（縦線補正に係る処理の概要）
次に図２を参照して、縦線補正について説明する。なお、本縦線処理は、制御部１０７の制御によりセンサ補正部１０９において処理される。図２（ａ）は撮像素子から読み出される画素領域を示しており、有効画素領域３０３と遮光画素領域３０２とを有している。有効画素領域３０３は露光される領域であるのに対し、遮光画素領域３０２は有効画素領域３０３が露光される期間も遮光される領域であり、オプティカルブラック領域またはＯＢ領域とも呼ばれる。遮光画素領域３０２から読み出される画素の信号は、例えば有効画素領域３０３の画素の信号を補正するために用いられる。以下では、画素から読み出された信号を、画素データまたは画素値と呼ぶことがある。なお、図２（ａ）〜（ｄ）では簡単のため有効画素領域の列方向の端部に位置する垂直オプティカルブラック（ＶＯＢ）領域３０２の画素のみを示している。

上述のように列ごとに画素値のオフセット値にばらつきが発生するため、縦線３０１が発生する。このような縦線３０１を除去するため、ＶＯＢ領域３０２の遮光された画素を用いて列ごとにオフセット値を算出し、有効画素領域の画素値とオフセット値との差分で補正を行う。またＶＯＢ領域３０２の画素値はランダムノイズ成分を有するため、複数のＶＯＢ領域３０２の画素値を用いてオフセット値の平均化処理を行う。この平均化処理には比較的多くの画素を用いる必要があることから複数フレームにわたってＶＯＢ領域３０２の画素が用いられる。図２（ｂ）は、縦線３０１が縦線補正によって補正され、縦線３０１が消えた様子を示している。

複数フレームを用いて列ごとに縦線補正を行う処理について図２（ｃ）を参照して説明する。なお、列ごとのオフセット値の平均化処理には一般的にデジタルＩＩＲフィルタが用いられ、複数フレームを用いて平均値をリアルタイムに演算する。具体的なＩＩＲフィルタの一例は以下のように表される。
Ｙ_ｎ＝1／Ｋ Ｘ_ｎ＋(1−1／Ｋ) Ｙ_ｎ−１ ・・・（式１）
ここで、Ｋはフィルタ時定数、Ｘ_ｎはＶＯＢ領域の画素値、Ｙ_ｎがフィルタ出力、Ｙ_ｎ−１は１ライン前のフィルタ出力を示す。なお、本実施形態ではＫの値を実験等により最適値として定めた２５６を設定する。オフセット値を求めるフィルタ演算は列ごとに行うため、状態Ｙ_ｎを記憶しておくメモリが列の数分だけ必要となる。

具体的には、まず、ラインＢ０における列Ａ０のＶＯＢの画素値（Ｘ_ｎに対応）を取得する。ここでは、（Ａ０、Ｂ０）に対して取得したＶＯＢの画素値をＶＯＢ００とする。

ＶＯＢの画素値ＶＯＢ００は、式１にＸ_ｎとして入力されてフィルタ演算が行われる。ラインＢ０に対するフィルタ演算においては、Ｙ_ｎ−１が存在しないため、予め設定された初期値が設定されて演算が行われる。式１の演算値Ｙ_ｎはＲＡＭに記憶され、次のラインＢ１の列Ａ０におけるＶＯＢの画素値（ＶＯＢ０１）が入力されるとＹ_ｎ−１として読み出されて式１のフィルタ演算が行われる。演算結果が得られるとＲＡＭの演算値は更新されて最新の演算値Ｙ_ｎが記憶される。

上述のフィルタ演算は第１のフレームのＶＯＢ領域の最後のラインまで繰り返されることによって、ＩＩＲフィルタの演算がＶＯＢ領域のライン数だけ繰り返された演算結果が得られる。そして、１フレームのＲＡＷデータに対して、列ごとに同様の演算が行われて列ごとに演算結果を得る。

さらに、複数フレームにわたって各列に対するフィルタ演算を繰り返すと演算値が適切な値に収束し、列ごとに適用する縦線補正のオフセット値が得られる。そして、縦線補正は、列ごとに得られたオフセット値と対応する列の有効画素領域の画素値との差分を求めることにより行われる。なお、収束値の決定については以下のような決定方法を選択可能である。例えば、時定数に応じて予め定められたフレーム数にわたって上記フィルタ演算を繰り返し、画素数が予め定められた量に達したことをもってその時点の演算値を収束値として決定する。また、Ｙ_ｎとＹ_ｎ−１の差分が所定の値以下となり、かつ所定の回数継続した場合に演算値を収束値として決定してもよい。

（ＲＡＷデータの生成処理の概要）
次に、本実施形態に係るＲＡＷデータの生成処理の概要について説明する。

本実施形態は、撮像装置側、即ちデジタルカメラ１００側でセンサ補正および現像処理を行わずにＲＡＷデータを記録するため、記録後にＲＡＷデータに対する縦線補正を含むセンサ補正および現像処理が必要である。また、複数のＲＡＷデータを連結してひとつのＲＡＷデータに編集する場合、つなぎ目の違和感を生じさせないようにするため、１フレーム目のＲＡＷデータから縦線補正を行う必要がある。縦線補正は、記録後にＲＡＷデータを補正する側（例えば再生機器や汎用コンピュータで実行されるソフトウェア）において上述の式１を用いて行われる。

記録媒体１０８に記録されるＲＡＷデータは、図２（ｄ）に示すように、図２（ａ）と同様に有効画素領域３０３の画素およびＶＯＢ領域３０２の画素を含み、縦線３０１が補正されていない状態で記録される。この構成は記録されるフレーム例えば１枚目〜３枚目のフレームで共通であり、記録されるＲＡＷデータのＶＯＢ幅３０４で示す１列あたりのＶＯＢの画素数は例えば３２画素となる。

上述のように縦線補正は、複数のフレームにわたって処理を行うことでフィルタの演算値を収束させるものであるが、そのフィルタの演算値が収束する様子は例えば図３に示すようになる。図３の横軸５０１はフィルタ演算で用いたＶＯＢ領域の画素数を示し、縦軸５０２はフィルタの演算値である。ＶＯＢ幅３０４が３２画素であり、式１で示す時定数Ｋが２５６の場合には、フィルタの演算値が収束するのは最低でも８フレーム以上かかる。このため、図３に示すように最初の数フレーム（５０３、５０４、５０５）では縦線補正の演算値が収束していないために適切なオフセット値が得られず、縦線補正がうまくいかない。

ここで、時定数Ｋの値を小さくすることで式１のフィルタの演算値が収束する時間を短くすることができるが、この場合はノイズの影響が受けやすくなる問題が生じる。またフィルタの収束値を得るために最初のフレームから数フレームのデータを読み込んで利用する方法（１フレーム目のオフセット値を作るために１フレームから８フレームのＶＯＢ領域を利用）も考えられるが、ＲＡＷデータを補正する側の処理が複雑になる。

このため本実施形態では、デジタルカメラ１００側において制御部１０７が、ＲＡＷデータの１フレーム目のＶＯＢ領域の１ライン目に、ＲＡＷデータを補正する側が式１を適用する際のＹ_ｎ−１に相当するフィルタの初期値を記録する。図４の左図に示すＲＡＷデータはデジタルカメラ１００において記録される１フレーム目のＲＡＷデータであり、１列あたり３２画素のＶＯＢ領域６０１が記録される。ＶＯＢ領域６０１を拡大すると図４の右図のようになり、ＶＯＢ領域６０１の１ライン目（６０２）には列ごとのフィルタの初期値となる値がそれぞれ記録される。

フィルタの初期値となる収束値を算出するため、制御部１０７は以下の算出処理を行う。例えば制御部１０７は、電源立ち上げ時（即ち撮影を開始する前）に複数フレームのＶＯＢ領域の画素値に対するフィルタ演算を予め行って、得られた収束値を記録素子１０５に記録しておく。具体的には、制御部１０７は、ユーザにより電源立ち上げ操作が行われると、撮像素子１０１からＲＡＷデータあるいはＶＯＢ領域のみのデータを取得し、ＶＯＢ領域に対するフィルタ演算を行う。制御部１０７は、ＶＯＢ領域の列の数だけフィルタ演算を行うとともに予め定められたフレーム数だけ繰り返す。そして、上述の収束値の決定方法により収束値を決定すると、フィルタ演算を終了する。その後、制御部１０７は、ＶＯＢ領域の列ごとの収束値を各列のフィルタの初期値として記録素子１０５に設定する。

このようにすることで、ＲＡＷデータの１フレーム目に収束値が記録される。そして、ＲＡＷデータを補正する側の縦線補正では、フィルタ演算が収束値から開始するためＩＩＲフィルタによる収束値へのフィードバックがかかり、１フレーム目から適切なオフセット値を用いた縦線補正が可能となる。

（ＲＡＷデータの生成処理に係る一連の動作）
次に、図５を参照して、ＲＡＷデータの生成処理に係る一連の動作を説明する。なお、本処理は、デジタルカメラ１００の撮像素子１０１に被写体像が結像している状態で、図示しないスタートボタンを押下することによりＲＡＷデータの生成開始が制御部に通知された場合に応答して開始される。また、本データ生成処理は制御部１０７がプログラムをＲＡＭの作業領域に展開し、実行することによって実現される。

Ｓ１０００において制御部１０７は、記録媒体１０８に記録開始を指示してＲＡＷデータの記録を開始させるとともに、セレクタ１０２を介して撮像素子１０１から出力されるＲＡＷデータの読み込みを制御する。

Ｓ１００１において制御部１０７は、ＲＡＷデータを順次取得して１フレーム読み込ませ、Ｓ１００２において制御部１０７は、ライン数に応じたループ処理を実行する。ループ処理は有効画素領域３０３およびＶＯＢ領域３０２のライン数を合計したライン数だけ繰り返される。制御部１０７は、ＲＡＷデータのライン数だけ繰り返し処理を行ったかを判定し、繰り返し処理の回数が足りない場合はＳ１００３に処理を進め、繰り返し処理を完了した場合は、ループ処理を完了して処理をＳ１００７に進める。

Ｓ１００３において制御部１０７は、処理対象のラインが１フレーム目、かつＶＯＢ領域の１ライン目かを判定し、当該ラインが条件を満たすと判定した場合はＳ１００４に処理を進める。一方、１フレーム目かつＶＯＢ領域の１ライン目でない場合、Ｓ１００５に処理を進める。

Ｓ１００４において制御部１０７は、予めフィルタ演算により求めた列ごとのフィルタ演算の収束値を記録素子１０５から取得して、対応するＶＯＢ領域の１ライン目の各列に記録する。即ち、スイッチ１０６の入力を記録素子１０５側に制御して記録素子１０５に記録したデータを記録媒体１０８に記録させる。

Ｓ１００５において制御部１０７は、読み込んだ１ライン分のＲＡＷデータを変更することなく記録する。即ち、スイッチ１０６の入力をセレクタ１０２側に制御してセレクタ１０２から入力されるＲＡＷデータを記録媒体１０８に記録させる。

Ｓ１００６において制御部１０７は、再び処理をＳ１００２に戻してループ処理を行わせる。

Ｓ１００７において制御部１０７は、ユーザによる撮影停止の指示があったかを判定する。図示しないストップボタンからの通知により撮影停止の指示がなかったと判断した場合は再び処理をＳ１００１に進めて新たなフレームを読み込む。一方、撮影停止の指示があった場合は本処理に係る一連の動作を終了する。

なお、本実施形態ではフィルタの初期値の算出において、電源立ち上げ時にフィルタ演算の収束値を算出して記録素子１０５に記憶しておくようにしたが、図６に示す変形例の適用も可能である。すなわち、フィルタ演算部８０１を備えてリアルタイムにフィルタの初期値を算出する構成をとってもよい。図６に示す各機能ブロックは８０１以外、図１と同一の構成であるため、これらには同一の参照番号を付して説明は省略する。より具体的には、フィルタ演算部８０１は、デジタルカメラ１００の電源立ち上げ以降、セレクタ１０２から順次出力される出力信号に対して上述のフィルタ演算を行い、Ｙ_ｎの更新を継続する。そして、図５で示したＳ１００４の処理において制御部１０７は、フィルタ演算部８０１において更新が継続されていたフィルタ演算の収束値を１フレーム目のＶＯＢ領域の１ライン目に記録する。本変形例のようにすることで、ＲＡＷデータの１フレーム目の記録直前まで更新を続けたフィルタ演算の収束値を利用することとなり、ＲＡＷデータの記録を開始するまでの撮像素子１０１の状態変動が加味される。

上述したように本実施形態では、記録素子１０５に記録されたフィルタ演算の収束値をＶＯＢ領域の１ライン目に記録するようにした。しかし、補正処理を行う側において、最初のフレームのＶＯＢ領域の画素値を用いてフィルタ演算を行った結果、最初のフレームの縦線補正が行えれば、必ずしも１ライン目に記録する必要はなく２ライン目以降に記録しても構わない。また、本実施形態では、電源立ち上げ時（即ち撮影を開始する前）に収束値を記録素子１０５に記録して、ＲＡＷデータの最初のフレームを生成する際に当該収束値を利用した。しかし、収束値の記録は、記録するためのＲＡＷデータの最初のフレームの生成を開始する前であれば、必ずしも撮影開始前でなくてもよく、ＲＡＷデータの記録を行わない撮影と平行して実行されても構わない。

さらに、本実施形態では、撮像素子に各列に配置された増幅器による輝度レベルのばらつきの補正について説明したが、増幅器が列とは異なる一方向、即ち行ごとの輝度レベルのばらつきを補正する場合にも適用可能である。この場合、有効画素領域の行方向の端部に存在する遮光画素領域を用いることによりフィルタ演算を行い、ＲＡＷデータを生成する際にはこの遮光画素領域の１列目の画素に収束値を記録するようにすればよい。

以上説明したように本実施形態では、ＶＯＢ領域の画素値を列ごとに平均化処理（即ちフィルタ演算）して得られた収束値を予め記録し、撮影されたＲＡＷデータの最初のフレームのＶＯＢ領域の１ライン目に記録するようにした。即ち、記録後に当該ＲＡＷデータに基づいて縦線補正を行う場合に、フィルタ演算の初期値に当該記録された収束値を用いることができるようにした。このことで撮像素子の特性が画像に与えた影響を容易に補正可能なＲＡＷデータを生成することが可能になる。また、ＶＯＢ領域の画素値を列ごとに平均化（即ちフィルタ演算）する処理を電源立ち上げ時に行って記録素子１０５に記録おくことで、ユーザが撮像を開始する前に最初のフレームのＶＯＢ領域にオフセット値を記録することができる。

（実施形態２）
次に、実施形態２について説明する。なお、デジタルカメラ１００及び撮像素子１０１のＣＭＯＳイメージセンサの構成は実施形態１と同様であるので説明は省略する。

実施形態１では、記録するＲＡＷデータの最初のフレームのＶＯＢ領域の１ライン目に予め演算したオフセット値、即ちフィルタ演算の収束値を記録するようにした。これに対して、本実施形態では記録するＲＡＷデータの最初のフレームのＶＯＢ領域だけでなく、全てのフレームにおいて予め演算したフィルタ演算の収束値を記録する。

図７に実施形態２に係るフローチャートを示す。なお、実施形態１と共通する処理は同一の参照番号を付して説明を省略する。

Ｓ２００１において制御部１０７は、全てのフレームでＶＯＢ領域の１ライン目かを判定する。ＶＯＢ領域の１ライン目である場合はＳ１００４に進めて予め記録しておいたフィルタ演算の収束値をＶＯＢ領域の１ライン目に記録し、ＶＯＢ領域の１ライン目でない場合はＳ１００５に処理を進めて読み込んだデータを変更することなく記録する。

このようにすることで、ＲＡＷデータの最初の数フレームだけでなく全てのフレームのＶＯＢ領域の１ライン目にフィルタ演算の収束値が設定される。このため、記録後のＲＡＷデータから、任意の１フレームのみを現像したい場合や任意の区間を切り出した複数のＲＡＷデータを連結した１つのＲＡＷデータに編集する場合に、処理対象となるフレームの情報から適切に縦線補正を行うことができる。

なお、本実施形態では、予め記録しておいたフィルタ演算の収束値を全てのフレームにおいて記録するものとして説明した。しかし、図６で示した構成によりリアルタイムにフィルタ演算を行って得られた収束値を記録するようにしてもよい。実施形態１と同様に、ＲＡＷデータの記録前からフィルタ演算を行ってフィルタ演算の収束値を更新させる。そしてＲＡＷデータの記録開始以降はリアルタイムに更新する収束値を全てのフレームに記録する構成としてもよく、この構成においても同様の効果が得られる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…撮像素子、１０２…セレクタ、１０５…記録素子、１０７…制御部、１０８…記録媒体

Claims (14)

1. 有効画素領域と遮光画素領域とを有する撮像素子と、
   前記撮像素子から読み出された画素データのうち、前記遮光画素領域から読み出された画素データに基づいて、前記撮像素子の特性が画素データに与える影響を補正するための補正に用いる値を算出する算出手段と、
   前記撮像素子から読み出された画素データからＲＡＷデータを生成する生成手段と、を有し、
   前記生成手段は、前記補正に用いる値を前記遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成することを特徴とする撮像装置。
2. 前記生成手段は、前記補正に用いる値を前記遮光画素領域から読み出された画素データの最初の行または列に含んだＲＡＷデータを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記補正に用いる値は、前記撮像素子の特性が行または列ごとに画素データに与える影響を補正するための補正に用いる値であることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記影響が、前記撮像素子に行または列ごとに設けられている回路の特性のばらつきであることを特徴とする請求項３記載の撮像装置。
5. 前記生成手段は、生成開始の指示を受け付けたことに応答して前記ＲＡＷデータの生成を開始し、
   前記算出手段は、前記生成開始の指示を受け付ける前に前記補正に用いる値の算出を開始することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記算出手段は、前記ＲＡＷデータの生成が開始されるまで、前記補正に用いる値の算出を継続することを特徴とする請求項５に記載の撮像装置。
7. 前記算出手段は、前記補正に用いる値の算出に用いた、前記遮光画素領域から読み出された画素データが予め定められた量に達すると、前記算出を終了することを特徴とする請求項５に記載の撮像装置。
8. 前記算出手段は、前記遮光画素領域から読み出された画素データのうち、同一の列または行の画素データを複数のフレームにわたって平均化して、前記補正に用いる値を算出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記算出手段は、前記遮光画素領域から読み出された画素データのうち、同一の列または行の画素データを複数のフレームにわたってＩＩＲフィルタにより平均化して、前記補正に用いる値を算出することを特徴とする請求項８に記載の撮像装置。
10. 前記生成手段は、複数のフレームを含んだＲＡＷデータであって、少なくとも最初のフレームに前記補正に用いる値を前記遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記生成手段は、複数のフレームを含んだＲＡＷデータであって、全てのフレームに前記補正に用いる値を前記遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成することを特徴とする請求項１０に記載の撮像装置。
12. 前記生成手段は、前記補正に用いる値を含まないフレームには、前記遮光画素領域から読み出された画素データをそのまま含んだＲＡＷデータを生成することを特徴とする請求項１０に記載の撮像装置。
13. 有効画素領域と遮光画素領域とを有する撮像素子を有する撮像装置の制御方法であって、
    算出手段が、前記撮像素子から読み出された画素データのうち、前記遮光画素領域から読み出された画素データに基づいて、前記撮像素子の特性が画素データに与える影響を補正するための補正に用いる値を算出する算出工程と、
    生成手段が、前記撮像素子から読み出された画素データからＲＡＷデータを生成する生成工程と、を有し、
    前記生成手段は、前記生成工程において、前記補正に用いる値を前記遮光画素領域から読み出された画素データとして含んだＲＡＷデータを生成することを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images