JP2013128184A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】精度良く露光ムラを低減するための補正値を演算することが可能な技術を提供する。
【解決手段】第一のリセット動作から第一の所定時間経過時に遮光羽根に第一のライン上を走行させるとともに第二のリセット動作から第二の所定時間経過時に遮光羽根に第二のライン上を走行させる走行制御部と、第一のラインに蓄積された電荷を遮光羽根が第一のライン上を走行した後に第一の画素データとして出力するとともに第二のラインに蓄積された電荷を遮光羽根が第二のライン上を走行した後に第二の画素データとして出力する画素データ出力部と、第一の画素データと第二の画素データと第一の所定時間と第二の所定時間とに基づいて第一の補正値と第二の補正値とを演算する演算部と、を備えることを特徴とする、撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

近年、ＤＳＬＲ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ ｃａｍｅｒａ）等といったフォーカルプレーンシャッタを搭載したデジタルカメラにおいて、メカ後幕シャッタの動作特性と一致するようにライン毎に露光開始タイミングを制御する、電子先幕シャッタ技術を用いたデジタルカメラが商品化されている。従来の先幕メカシャッタを用いたデジタルカメラにおいては、ライブビュー状態から静止画撮影動作に移行する際、メカシャッタをチャージして撮像素子を遮光状態にしてから、先幕メカシャッタ、メカ後幕シャッタの順に撮像素子の前を走行させることで露光を行う。

これに対し、電子先幕シャッタ技術を用いると、ライブビューから静止画撮影動作に移行する際、メカシャッタをチャージする必要がなくなり、撮影指示から撮影開始までのタイムラグ（シャッタラグ）を最小限に抑えることが可能である。また、メカシャッタ自体を小型化、低コスト化することが可能である。

しかしながら、電子先幕シャッタ技術には露光ムラの問題が存在する。露光ムラとは、画面の領域毎に露光量がばらつくことであり、露光ムラの主な要因としては、電子先幕シャッタの走行特性とメカ後幕シャッタの走行特性との間の誤差が挙げられる。特にメカシャッタの走行特性は、姿勢差や温度、湿度などの環境や経時変化等により変化するのに対し、電子先幕シャッタは、これらの条件により変化しないため、露光ムラが問題となる。

また、電子先幕シャッタが撮像面を走行するのに対し、メカシャッタは撮像面から離れて走行するため、撮像面に対する光束の入射角度によっても誤差が生じる。これらの誤差は、レンズの焦点距離、ズーム位置、絞り値などによっても変化し得る。これらの誤差に起因する露光ムラを抑制するため、これらの条件をもとに電子先幕シャッタの走行特性を補正する技術が提案されている。しかし、これらの条件をもとに電子先幕シャッタの走行特性を補正する技術は、リアルタイムに露光量をモニタリングして走行特性を補正するわけではないので補正精度に問題が残ってしまう。

そこで、静止画撮影を行う直前のライブビュー画像と、実際に電子先幕シャッタ及びメカ後幕シャッタを走行させて露光した画像との差分を補完するようにライン毎にゲインをかけて画像を補正する技術が提案されている（例えば、特許文献１参照）。また、その補正をその後の電子先幕シャッタ走行特性にフィードバックすることで誤差を最小限に抑える技術が提案されている（例えば、特許文献２、３参照）。かかる技術によれば、効率良く補正処理を行うことができるが、直前のライブビュー画像とメカ後幕シャッタを用いた画像との間には露光にタイムラグがあり、特に被写体が高速で動いていた場合などに正確に補正できない場合が生じる。

一方、この電子先幕シャッタ技術を用いた別の応用技術も提案されている。複数のライン毎に交互に露光時間を変化させ、得られた複数の露光状態の画像を合成処理することで解像度は若干劣化するもののダイナミックレンジの広い画像を得るという応用技術も考案されている（例えば、特許文献４参照）。この合成処理においては、予め合成する画像の露光差を記憶し、その露光差分だけ掛け算を行った後加算する。

特開２００８−２１９５２３号公報 特開２００８−２２１９８号公報 特開２００８−２１９５２４号公報 特開２００８−１１８５７３号公報

しかしながら、上記電子先幕シャッタ技術による露光ムラの問題が存在すると、実際の露光差と計算上の露光差に誤差が生じるため、合成時に不具合が生じてしまう。

そこで、本発明は、所定の画素幅を有するライン毎に電荷の蓄積時間を切り替えることで、ライン毎に露光時間の異なる画像を生成し、この画像をもとに精度良く露光ムラを低減するための補正値を演算することが可能な技術を提供しようとするものである。

本発明のある実施形態によれば、各々が所定の画素幅を有する第一のライン及び第二のラインを有する撮像素子と、前記第一のラインに蓄積された電荷の第一のリセット動作を行う第一のリセット部と、前記第二のラインに蓄積された電荷の第二のリセット動作を行う第二のリセット部と、前記第一のリセット動作から第一の所定時間経過時に遮光羽根に前記第一のライン上を走行させるとともに前記第二のリセット動作から第二の所定時間経過時に前記遮光羽根に前記第二のライン上を走行させる走行制御部と、前記第一のラインに蓄積された電荷を前記遮光羽根が前記第一のライン上を走行した後に第一の画素データとして出力するとともに前記第二のラインに蓄積された電荷を前記遮光羽根が前記第二のライン上を走行した後に第二の画素データとして出力する画素データ出力部と、前記第一の画素データと前記第二の画素データと前記第一の所定時間と前記第二の所定時間とに基づいて第一の補正値と第二の補正値とを演算する演算部と、を備えることを特徴とする、撮像装置が提供される。

かかる構成によれば、第一の画素データと第二の画素データと第一の所定時間と第二の所定時間とに基づいて第一の補正値と第二の補正値を演算することができる。第一の画素データと第二の画素データは測定値であり、第一の所定時間と第二の所定時間はあらかじめ決められた時間である。第一の補正値と第二の補正値を用いて補正がなされれば、精度良く露光ムラを低減することが可能である。なお、第一の補正値と第二の補正値を用いて何を補正するかについては特に限定されない。

前記演算部は、前記第一のラインの各画素値を補正するための第一の補正値と前記第二のラインの各画素値を補正するための第二の補正値とを演算してもよい。かかる構成によれば、第一のラインの各画素値を補正するための第一の補正値と第二のラインの各画素値を補正するための第二の補正値とを演算することができる。第一のラインの各画素値と第二のラインの各画素値は、例えば、ゲイン補正される。

前記撮像装置は、前記第一の補正値に基づいて前記第一のラインの各画素値を補正するとともに前記第二の補正値に基づいて前記第二のラインの各画素値を補正する補正部をさらに備えてもよい。かかる構成によれば、第一の補正値に基づいて第一のラインの各画素値が補正され、第二の補正値に基づいて第二のラインの各画素値が補正される。これらの補正においては、例えば、画素値に対するゲイン補正がなされる。

前記撮像装置は、前記第一の補正値に基づいて前記第一のラインの各画素値が補正された結果と前記第二の補正値に基づいて前記第二のラインの各画素値が補正された結果とを合成する合成部をさらに備えてもよい。かかる構成によれば、合成処理を精度よく行うことができる。

前記演算部は、次回の撮影時に使用される第一の所定時間を補正するための第一の補正値と次回の撮影時に使用される第二の所定時間を補正するための第二の補正値とを演算してもよい。かかる構成によれば、次回の撮影時に電荷のリセット動作と遮光羽根の走行特性との誤差を効率良く抑えるための補正値を演算することができる。

前記撮像装置は、前記第一の補正値に基づいて次回の撮影時に使用される第一の所定時間を補正するとともに前記第二の補正値に基づいて次回の撮影時に使用される第二の所定時間を補正する補正部をさらに備えてもよい。かかる構成によれば、次回の撮影時に電荷のリセット動作と遮光羽根の走行特性との誤差を効率良く抑えるための補正を行うことができる。

また、本発明の別の実施形態によれば、各々が所定の画素幅を有する第一のライン及び第二のラインを有する撮像素子の前記第一のラインに蓄積された電荷の第一のリセット動作を行うステップと、前記第二のラインに蓄積された電荷の第二のリセット動作を行うステップと、前記第一のリセット動作から第一の所定時間経過時に遮光羽根に前記第一のライン上を走行させるとともに前記第二のリセット動作から第二の所定時間経過時に前記遮光羽根に前記第二のライン上を走行させるステップと、前記第一のラインに蓄積された電荷を前記遮光羽根が前記第一のライン上を走行した後に第一の画素データとして出力するとともに前記第二のラインに蓄積された電荷を前記遮光羽根が前記第二のライン上を走行した後に第二の画素データとして出力するステップと、前記第一の画素データと前記第二の画素データと前記第一の所定時間と前記第二の所定時間とに基づいて第一の補正値と第二の補正値とを演算するステップと、を含むことを特徴とする、撮像方法が提供される。

かかる方法によれば、第一の画素データと第二の画素データと第一の所定時間と第二の所定時間とに基づいて第一の補正値と第二の補正値を演算することができる。第一の画素データと第二の画素データは測定値であり、第一の所定時間と第二の所定時間はあらかじめ決められた時間である。第一の補正値と第二の補正値を用いて補正がなされれば、精度良く露光ムラを低減することが可能である。なお、第一の補正値と第二の補正値を用いて何を補正するかについては特に限定されない。

以上説明したように、本発明によれば、所定の画素幅を有するライン毎に電荷の蓄積時間を切り替えることで、ライン毎に露光時間の異なる画像を生成し、この画像をもとに精度良く露光ムラを低減するための補正値を演算することが可能である。

本発明の実施形態に係る撮像装置の構成例を示す図である。 電子先幕シャッタとメカ後幕シャッタの走行特性の例を示す図である。 本発明の実施形態に係る撮像装置による補正値の演算を説明するための図である。 補正値を平滑化する場合の例を示す図である。 ダイナミックレンジ拡大時への補正値適用を説明するための図である。 露光ムラが生じないとした場合における画素値の合成結果を示す図である。 露光ムラが生じる場合における画素値の合成結果を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

図１は、本発明の実施形態に係る撮像装置１０の構成例を示す図である。図１に示すように、撮像装置１０は、レンズ１１０、レンズ駆動装置１１１Ｄ、絞り駆動装置１１２Ｄ、シャッタ駆動装置１１３Ｄ、撮像素子１２０、プリプロセス回路１３０、画像信号処理回路１４０、圧縮処理回路１４１及び制御回路１５０を備える。

また、撮像装置１０は、タイミング発生部１５１、測光装置１６１、焦点検出装置１６２、操作部材１６３、圧縮処理回路１４１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７１、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１７２、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１８１、ＬＣＤドライバ１８２、メディアｃｏｎｔｒｏｌｌｅｒ１８３及び記録メディア１８４を備える。

レンズ１１０は、レンズ１１１、絞り１１２及びメカ後幕シャッタ１１３を備え、被写体からの光を透過させて撮像素子１２０に結像させる光学系Ｓｙｓｔｅｍである。レンズ１１１は、一側から他側に又は他側から一側に移動することで撮像素子１２０の撮像面に被写体像を合焦させる。絞り１１２は、透過する光の量（光量）を調節する機構である。メカ後幕シャッタ１１３は、遮光羽根として機能する。さらに、レンズ１１０は、Ｍｏｔｏｒ１１１Ｍ，１１２Ｍ，１１３Ｍを備える。

撮像素子１２０は、光電変換素子であり、レンズ１１０を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成され、撮像素子１２０としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが使用される。

なお、撮像素子１２０の露光時間を制御するため、非撮影時に光を遮って撮影時にのみ撮像素子１２０に光が当たるように、メカ後幕シャッタ１１３及び電子先幕シャッタを適用することができる。なお、メカ後幕シャッタ１１３及び電子先幕シャッタの動作は、制御回路１５０に接続されたシャッタボタン（操作部材１６３）のスイッチによって行われる。

プリプロセス回路１３０は、撮像素子１２０から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成し、生成した画像信号を、例えば、画像信号処理回路１４０に出力する。また、プリプロセス回路１３０は、ＳＤＲＡＭ１７１への画像データの読み書きを制御する。

画像信号処理回路１４０は、プリプロセス回路１３０から画像信号を受け、ＷｈｉｔｅＢａｌａｎｃｅ制御値、γ値、輪郭強調制御値などに基づいて、画像信号に対して各種の画像処理を行い、画像処理後の画像信号を生成する。

ＶＲＡＭ１７２は、画像表示用のメモリであり、複数のチャネル（図１に示した例では、チャネルＡ及びチャネルＢ）を有する。ＶＲＡＭ１７２は、ＳＤＲＡＭ１７１からの画像表示用の画像データの入力と、ＬＣＤドライバ１８２への画像データの出力と、を同時に実行できる。ＬＣＤ１８１の解像度や最大発色数はＶＲＡＭ１７２の容量に依存する。

ＳＤＲＡＭ１７１は、記憶部の一例であり、撮影した画像の画像データを一時的に保存する。ＳＤＲＡＭ１７１は、複数の画像データを記憶できる記憶容量を有しており、Ｆｏｃｕｓ制御時の画像信号を順次保持し、画像信号を出力する。また、制御回路１５０の動作プログラムを保存する。ＳＤＲＡＭ１７１からの画像データの読み出しと、ＳＤＲＡＭ１７１への画像データの書き込みとは、プリプロセス回路１３０によって制御される。

ＬＣＤドライバ１８２は、例えば、ＶＲＡＭ１７２から画像データを受けて、ＬＣＤ１８１に画像を表示させる表示駆動部である。

ＬＣＤ１８１は、撮像装置１０本体に設けられた表示部の一例であり、例えば、ＶＲＡＭ１７２から読み出された撮影前の画像（ライブビュー表示）、各種設定画面、撮像して記録された画像などを表示する。本実施形態では、ＬＣＤ１８１が表示部として機能し、ＬＣＤドライバ１８２がその表示部の表示駆動部として機能することとしたが、本発明はかかる例に限定されず、例えば、有機ＥＬ Ｄｉｓｐｌａｙが表示部として機能し、有機ＥＬ Ｄｉｓｐｌａｙ駆動部が表示駆動部として機能してもよい。

メディアｃｏｎｔｒｏｌｌｅｒ１８３は、記録メディア１８４への画像データの書き込み、又は記録メディア１８４に記録された画像データや設定情報などの読み出しを制御する。

記録メディア１８４は、例えば、光Ｄｉｓｃ（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃなど）、光磁気Ｄｉｓｃ、磁気Ｄｉｓｃ、半導体記憶媒体などであり、撮影された画像データを記録する。ここで、メディアｃｏｎｔｒｏｌｌｅｒ１８３、記録メディア１８４は、撮像装置１０から着脱可能に構成されてもよい。

圧縮処理回路１４１は、圧縮処理前の画像信号を受けて、例えば、ＪＰＥＧなどの圧縮形式で画像信号を圧縮処理する。圧縮処理回路１４１は、圧縮処理により生成した画像データを、例えば、メディアｃｏｎｔｒｏｌｌｅｒ１８３に送る。

操作部材１６３は、例えば、撮像装置１０に設けられた上下左右キー、電源スイッチ、モードダイヤル、シャッタボタンなどであり、ユーザによる操作に基づいて操作信号を制御回路１５０などに送る。例えば、シャッタボタンは、ユーザによる半押し、全押し、解除が可能である。シャッタボタンは、半押しされたときＦｏｃｕｓ制御開始の操作信号を出力し、半押し解除でＦｏｃｕｓ制御終了の操作信号を出力する。また、シャッタボタンは、全押しされたとき、撮影開始の操作信号を出力する。

制御回路１５０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１０内に設けられた各構成要素の処理を制御する。制御回路１５０は、例えば、Ｆｏｃｕｓ制御や露出制御に基づいて１１１Ｄ〜１１３Ｄに信号を出力してレンズ１１０を駆動させる。また、操作部材１６３からの操作信号に基づいて撮像装置１０の各構成要素を制御する。なお、本実施形態においては、制御回路１５０が一つだけから成る構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

制御回路１５０は、Ｆｏｃｕｓ制御開始の操作信号を受け取ると、レンズ１１１を一方向に移動するための制御信号を生成して、レンズ駆動装置１１１Ｄに出力する。また、制御回路１５０は、絞り制御開始の操作信号を受け取ると、絞り１１２を調整するための制御信号を生成して、絞り駆動装置１１２Ｄに出力する。また、制御回路１５０は、シャッタ制御開始の操作信号を受け取ると、メカ後幕シャッタ１１３を走査させるための制御信号を生成して、シャッタ駆動装置１１３Ｄに出力する。

また、制御回路１５０は、ＬＣＤ１８１による画面表示を管理する。例えば、制御回路１５０は、操作部材１６３から出力される操作信号に基づいて選択される画面をＬＣＤ１８１に表示させるための制御信号をＬＣＤドライバ１８２に出力する。

タイミング発生部１５１は、撮像素子１２０にタイミング信号を出力し、撮像素子１２０を構成している各画素の露光時間の制御や、電荷の読み出し制御を行う。測光装置１６１は、画像信号処理回路１４０からの画像信号から適正な露光量を演算し、シャッタ、絞り、ゲインを決定する。

決定されたシャッタは、ライブビュー中、タイミング発生部１５１を通して電子先幕シャッタの制御に供される。決定された絞りは、絞り駆動装置１１２Ｄを通してレンズ１１０内に配置された絞り１１２の駆動制御に供される。決定されたゲインは、撮像素子１２０又はプリプロセス回路１３０等にある画像信号増幅装置の制御に供される。

焦点検出装置１６２は、撮像素子１２０から出力される画像信号のコントラスト成分等を用いて焦点を検出し、レンズ駆動装置１１１Ｄによりフォーカスレンズを駆動しながら焦点を調節する。

レンズ駆動装置１１１Ｄは、制御回路１５０から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１１Ｍに送ってＭｏｔｏｒ１１１Ｍを駆動する。その結果、Ｍｏｔｏｒ１１１Ｍは、レンズ１１１を制御する。

絞り駆動装置１１２Ｄは、制御回路１５０から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１２Ｍに送ってＭｏｔｏｒ１１２Ｍを駆動する。その結果、Ｍｏｔｏｒ１１２Ｍは、絞り１１２を制御する。

シャッタ駆動装置１１３Ｄは、制御回路１５０から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１３Ｍに送ってＭｏｔｏｒ１１３Ｍを駆動する。その結果、Ｍｏｔｏｒ１１３Ｍは、メカ後幕シャッタ１１３を制御する。

なお、撮像装置１０における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

以上、本発明の実施形態に係る撮像装置１０の構成例について説明した。ここで、撮像素子は露光した後、露光によりチャージされた電荷量を読み込むが、通常ＣＭＯＳセンサは露光が終了しても、露光終了時点で蓄積されている電荷量を撮像素子上に保持しておくことができず、電荷の蓄積が継続される。しかし、全画面のデータを読み込む場合、画素データを読み込むタイミングに時間差があると時間差が露光差につながってしまう。そのため、図２に示すように、ライン毎に電荷の蓄積開始タイミングをずらすことで、この影響を抑制することができる。これをローリングシャッタと呼ぶ。

ライブビュー時はフレームレートを早くするため、読み込み画素を間引くことで、全画面の読み込み時間自体を短くしている。しかし、静止画撮影時は全画素を読み込むために読み込み時間が長くなってしまう。静止画撮影時にライブビュー時と同様にローリングシャッタを用いて読み込むと、上のラインと下のラインの露光タイムラグが大きくなり、フォーカルプレーン現象という問題が発生するため、メカシャッタを併用する場合が多い。

従来はフォーカルプレーンシャッタを用いて撮像素子の全画素の電荷蓄積を開始した後に、先幕及び後幕を走行させていたが、近年はその先幕を電子シャッタに置き換える、電子先幕シャッタという技術が実用化されている。これは、図２に示すように、ライン毎の電荷蓄積開始タイミングを後幕の走行特性と同じなるように制御することで、全画面が均一に露光されるようにしている。メカシャッタを閉じた後、画素値読み込みまでは電荷蓄積自体は続いているが、光学的に遮光されているので全画素読み込み時間が多少長くても問題は少ない。

しかし、メカシャッタの走行特性は、姿勢差、温度、経時変化等の条件で変化するが、電子先幕シャッタの走行特性はこれらの条件によって変化しないため、そのミスマッチにより露光ムラが生じる。また、電子先幕シャッタが撮像面を走行するのに対し、メカシャッタは撮像面から離れて走行するため、光束の入射角によっても露光量に誤差が生じる。また、露光量は、レンズの焦点距離、ズーム位置、絞り値などによっても変化する。

レンズ情報や姿勢差、温度情報等をもとに電子先幕シャッタの走行特性の変化を予測し、その変化に合わせた走行特性で電子先幕シャッタを走行させることでこの問題を対策している技術も存在する。必ずしも予測値が正確であるとは限らない。一方、本発明の実施形態では、撮像装置１０は、電子先幕シャッタ１（第一のリセット部）と電子先幕シャッタ２（第二のリセット部）を備える。

図３に示すように、撮像素子１２０の撮像面は第一のライン２ｎと第二のライン２ｎ＋１とが交互に並べられている。第一のライン２ｎと第二のライン２ｎ＋１との各々は所定の画素幅を有している。すなわち、第一のライン２ｎと第二のライン２ｎ＋１との各々は１画素分の幅を有していてもよいし、複数画素分の幅を有していてもよい。ただし、第一のライン２ｎと第二のライン２ｎ＋１との各々があまり多くの画素幅を有することにすると補正演算上好ましくない。ｎは１個または複数個の整数である。

電子先幕シャッタ１は、第一のライン２ｎに蓄積された電荷のリセット動作（第一のリセット動作）を行い、電子先幕シャッタ２は、第二のライン２ｎ＋１に蓄積された電荷のリセット動作（第二のリセット動作）を行う。電子先幕シャッタ１及び電子先幕シャッタ２は、撮像素子１２０の一部を構成し、タイミング発生部１５１から送信されるリセット信号に基づいて、各々のリセット動作を行う。撮像素子１２０にリセット信号を送信するための指示は、例えば、所望の時間になると制御回路１５０からタイミング発生部１５１になされる。

ｔ１は本来所望する露光時間を示す。ｔ２はｔ１より小さい値で電子先幕シャッタ１と電子先幕シャッタ２との走行タイミングの時間差を示す。ｔ１は第一の所定時間に相当し、ｔ１−ｔ２は第二の所定時間に相当する。Ｍｏｔｏｒ１１３Ｍ（走行制御部）は、第一のリセット動作からｔ１経過時にメカ後幕シャッタに第一のライン２ｎ上を走行させる。また、Ｍｏｔｏｒ１１３Ｍは、第二のリセット動作からｔ１−ｔ２経過時にメカ後幕シャッタに第二のライン２ｎ＋１上を走行させる。Ｍｏｔｏｒ１１３Ｍは、シャッタ駆動装置１１３Ｄから送信される駆動信号に基づいて、メカ後幕シャッタを走行させる。

撮像素子１２０の一部を構成する画素データ出力部は、第一のライン２ｎに蓄積された電荷をメカ後幕シャッタが第一のライン２ｎ上を走行した後に画素値の積算値Ｓ（２ｎ）として出力する。また、画素データ出力部は、第二のライン２ｎ＋１に蓄積された電荷をメカ後幕シャッタが第二のライン２ｎ＋１上を走行した後に画素値の積算値Ｓ（２ｎ＋１）として出力する。Ｓ（２ｎ）は第一の画素データに相当し、Ｓ（２ｎ＋１）は第二の画素データに相当する。

演算部は、Ｓ（２ｎ）とＳ（２ｎ＋１）とｔ１とｔ２とに基づいて第一の補正値β（２ｎ）と第二の補正値β（２ｎ＋１）とを演算する。演算部は、画像信号処理回路１４０の一部を構成してもよいし、制御回路１５０の一部を構成してもよい。β（２ｎ）及びβ（２ｎ＋１）の演算手法の例は以下に示す通りである。まず、メカ後幕シャッタが理想的な走行をした場合のＳ（２ｎ）をＳ０（２ｎ）とすると、以下の式（１）が成り立つ。

（Ｓ（２ｎ）−Ｓ（２ｎ＋１））／Ｓ０（２ｎ）＝ｔ２／ｔ１…（１）

ここで、第一のライン２ｎと第二のライン２ｎ＋１は十分に近接しているとした場合（例えば、図３に示すように隣接している場合）、これらのラインは、被写体像の同一の領域とみなされる。以下の式（２）が成立するとした場合、β（２ｎ）は第一のライン２ｎにおける補正値を示す。

β（２ｎ）＝Ｓ０（２ｎ）／Ｓ（２ｎ）…（２）

この式（２）を用いると、以下の式（３）が成立する。

β（２ｎ）＝（Ｓ（２ｎ）−Ｓ（２ｎ＋１））ｔ１／Ｓ（２ｎ）ｔ２…（３）

同様にして、第二のライン２ｎ＋１の補正値β（２ｎ＋１）は、以下の式（４）のように演算される。

β（２ｎ＋１）＝（Ｓ（２ｎ）−Ｓ（２ｎ＋１））ｔ１／Ｓ（２ｎ＋１）ｔ２…（４）

ここで演算されたβ（２ｎ）及びβ（２ｎ＋１）は、様々に利用される。例えば、β（２ｎ）はＳ（２ｎ）をゲイン補正するための補正値であり、β（２ｎ＋１）はＳ（２ｎ＋１）をゲイン補正するための補正値であってもよい。その場合、画像信号処理回路１４０の一部を構成する補正部は、β（２ｎ）に基づいて第一のライン２ｎの各画素値を補正するとともにβ（２ｎ＋１）に基づいて第二のライン２ｎ＋１の各画素値を補正してもよい。

例えば、補正部は、β（２ｎ）を第一のライン２ｎの各画素値に乗じることにより第一のライン２ｎの各画素値を補正するとともにβ（２ｎ＋１）を第二のライン２ｎ＋１の各画素値に乗じることにより第二のライン２ｎ＋１の各画素値を補正してもよい。このような補正がなされることにより、露光ムラを低減することが可能となるばかりではなく、露光レベル自体も理想の露光時間で露光したレベルに補正される。

また、補正部は、β（２ｎ）を直接的に第一のライン２ｎの各画素値に適用し、β（２ｎ＋１）を直接的に第二のライン２ｎ＋１の各画素値に適用してもよいが、ノイズの影響等により、隣り合うラインとの間でばらつき誤差が生じる可能性も想定される。したがって、補正部は、図４に示すように、β（２ｎ）及びβ（２ｎ＋１）の各々に対してスプライン処理等を用いて補正値を平滑化することが望ましい。

また、演算部は、第一のライン２ｎにおける理想のメカ後幕シャッタの走行特性と実際のメカ後幕シャッタの走行特性との間の時間差ｔ３（２ｎ）を補正値として、以下の式（５）を用いて算出することができる。

ｔ３（２ｎ）＝（（Ｓ（２ｎ）−Ｓ（２ｎ＋１））ｔ１−Ｓ（２ｎ）ｔ２）
／（Ｓ（２ｎ）−Ｓ（２ｎ＋１））…（５）

また、演算部は、第二のライン２ｎ＋１における理想のメカ後幕シャッタの走行特性と実際のメカ後幕シャッタの走行特性との間の時間差ｔ３（２ｎ＋１）を補正値として、以下の式（６）を用いて算出することができる。

ｔ３（２ｎ＋１）＝（（Ｓ（２ｎ）−Ｓ（２ｎ＋１））ｔ１−Ｓ（２ｎ＋１）ｔ２）
／（Ｓ（２ｎ）−Ｓ（２ｎ＋１））…（６）

補正部は、このｔ３（２ｎ）を電子先幕シャッタ１の走行特性に加味することで、電子先幕シャッタ１の走行特性とメカ後幕シャッタの走行特性との間の差分が大きくならないように補正することができる。また、補正部は、このｔ３（２ｎ＋１）を電子先幕シャッタ２の走行特性に加味することで、電子先幕シャッタ２の走行特性とメカ後幕シャッタの走行特性との間の差分が大きくならないように補正することができる。

より詳細には、補正部は、例えば、次回の撮影時に使用される第一の所定時間を補正するためにｔ３（２ｎ）を使用し、次回の撮影時に使用される第二の所定時間を補正するためにｔ３（２ｎ＋１）を使用してもよい。補正された結果は、次回の撮影時の走行特性に反映されてもよい。例えば、補正された結果は、ＳＤＲＡＭ１７１を介して制御回路１５０により取得され、タイミング発生部１５１から撮像素子１２０への次回のリセット信号送信タイミングを制御するために使用されることにより、次回の撮影時の電子先幕シャッタの走行特性に反映される。

補正部は、例えば、ｔ１からｔ３（２ｎ）を減ずることにより次回の撮影時に使用される第一の所定時間を補正し、ｔ１−ｔ２からｔ３（２ｎ＋１）を減ずることにより次回の撮影時に使用される第二の所定時間を補正してもよい。このように、補正部は、今回の撮影により算出されたｔ３（２ｎ）及びｔ３（２ｎ＋１）をそのまま次回の撮影時の走行特性に反映させてもよい。しかし、ｔ３（２ｎ）及びｔ３（２ｎ＋１）には、姿勢差、温度等によるメカ後幕シャッタの走行特性の変化に加え、絞り値、焦点距離等に起因する入射角の影響も含まれることが想定される。したがって、補正部は、ｔ３（２ｎ）及びｔ３（２ｎ＋１）の過去複数回分を次回の撮影時の走行特性に反映させてもよい。その場合、例えば、過去複数回分の平均値が採用されてもよい。

過去複数回分の平均値が採用される場合、補正部は、例えば、ｔ３（２ｎ）の過去複数回分の平均値をｔ１から減ずることにより次回の撮影時に使用される第一の所定時間を補正し、ｔ３（２ｎ＋１）の過去複数回分の平均値をｔ１−ｔ２から減ずることにより次回の撮影時に使用される第二の所定時間を補正してもよい。このように、過去複数回分の値が用いられることにより誤差がさらに低減されることが期待される。

ライン毎に交互に露光時間を変える技術を使って広ダイナミックレンジ画像の撮影に応用する技術が、特開２００８−２２８５７３号公報で紹介されている。図５に示すように、例えば、第一のライン２ｎの露光時間をｔ１、第二のライン２ｎ＋１の露光時間をｔ１−ｔ２＝ｔ１／４とすると、第二のライン２ｎ＋１の画像を４倍した結果と第一のライン２ｎの画像とを合成することで１２ｄＢのダイナミックレンジの拡大が可能である。

図６に示したように、理想的には４倍して合成すればよいが、実際には、上記したような電子先幕シャッタの走行特性とメカ後幕シャッタの走行特性とのずれによる露光ムラによって問題が発生する。特にシャッタ誤差ｔ３を持つ場合、第一のライン２ｎでの露光時間はｔ１−ｔ３、第二のライン２ｎ＋１での露光時間はｔ１／４−ｔ３となるため、第二のライン２ｎ＋１の画像を４倍した結果と第一のライン２ｎの画像とを合成した場合、図７に示したように、輝度の段差が生じ、不自然な合成画像が生成されてしまう。

このような問題を解消するため、上記した手法と同様の手法により、補正値β（２ｎ）及びβ（２ｎ＋１）を演算し、補正値β（２ｎ）及びβ（２ｎ＋１）を適用してもよい。より詳細には、撮像装置１０は、補正値β（２ｎ）に基づいて第一のライン２ｎの各画素値が補正された結果と第二の補正値に基づいて第二のライン２ｎ＋１の各画素値が補正された結果とを合成する合成部をさらに備えてもよい。このような合成がなされれば、輝度の段差自体が低減し、品質の良い広ダイナミックレンジ画像が合成される。合成部は、画像信号処理回路１４０の一部を構成してもよい。

以上に説明したように、本実施形態に係る撮像装置１０は、電子先幕シャッタとメカ後幕シャッタを用いて静止画撮像をする場合に、ライン毎に電子先幕シャッタのタイミングを所定時間交互にずらして露光し、それぞれの露光状態の異なるラインの画素を比較することで、露光ムラを低減するためのゲイン補正値を演算することができる。露光ムラの問題は、特に高速シャッタ時に顕著となる。

また、本実施形態に係る撮像装置１０によれば、ライン毎にゲイン補正することで露光ムラを低減することが可能となる。また、本実施形態に係る撮像装置１０によれば、今回撮影時の補正演算結果を次回撮影時の電子先幕シャッタタイミングの制御にＦｅｅｄＢａｃｋすることでメカシャッタ特性の経時変化等が生じた場合でも精度良く補正することができる。また、本実施形態に係る撮像装置１０によれば、露光状態の異なる複数の画像を用いてハイダイナミックレンジの画像を合成する場合、同様に補正値を演算し、その補正値を用いて合成処理することで精度良い合成画像を得ることができる。

なお、本実施形態に係る技術は、既に開示されている先行技術文献に記載された技術とは異なっている。例えば、先行技術文献には、電子先幕シャッタによる露光ムラ問題に対して、絞り、焦点距離などのレンズの情報、メカシャッタの経時変化特性等を考慮して、電子先幕シャッタのタイミングをずらす方法などが紹介されている。また、Ｃａｐｔｕｒｅ直前のＬｉｖｅｖｉｅｗの画素値との比較により電子先幕シャッタのタイミングを制御したり、Ｃａｐｔｕｒｅした画像の露光ムラをゲイン補正したりする方法が紹介されている。

これに対し、本発明の実施形態によれば、Ｃａｐｔｕｒｅ時にライン毎に交互に電子先幕シャッタのスタート時間をずらして得られる画像から、上記先行技術と同様な露光ムラ等のゲイン補正を行うことができる。ライン毎に交互にスタート時間をずらす技術は、特開２００８−１１８５７３号公報に紹介されているが、これはダイナミックレンジの広い画像を得るための技術であり、この手段を用いて露光ムラを補正したり電子先幕シャッタのタイミングを制御したりすることについては言及していない。

また、広ダイナミックレンジ画像を得るための合成処理を行う場合にも、本発明の実施形態により、合成前の画像をゲイン補正してから合成することで、精度よく合成することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 電子先幕シャッタ（第一のリセット部）
２ 電子先幕シャッタ（第二のリセット部）
１０ 撮像装置
１１０ レンズ
１１１Ｄ レンズ駆動装置
１１２Ｄ 絞り駆動装置
１１３ メカ後幕シャッタ（遮光羽根）
１１３Ｄ シャッタ駆動装置
１１３Ｍ Ｍｏｔｏｒ（走行制御部）
１２０ 撮像素子（画像データ出力部）
１４０ 画像信号処理回路（補正部，合成部）
１５０ 制御回路（演算部）
１５１ タイミング発生部

Claims (7)

1. 各々が所定の画素幅を有する第一のライン及び第二のラインを有する撮像素子と、
   前記第一のラインに蓄積された電荷の第一のリセット動作を行う第一のリセット部と、
   前記第二のラインに蓄積された電荷の第二のリセット動作を行う第二のリセット部と、
   前記第一のリセット動作から第一の所定時間経過時に遮光羽根に前記第一のライン上を走行させるとともに前記第二のリセット動作から第二の所定時間経過時に前記遮光羽根に前記第二のライン上を走行させる走行制御部と、
   前記第一のラインに蓄積された電荷を前記遮光羽根が前記第一のライン上を走行した後に第一の画素データとして出力するとともに前記第二のラインに蓄積された電荷を前記遮光羽根が前記第二のライン上を走行した後に第二の画素データとして出力する画素データ出力部と、
   前記第一の画素データと前記第二の画素データと前記第一の所定時間と前記第二の所定時間とに基づいて第一の補正値と第二の補正値とを演算する演算部と、
   を備えることを特徴とする、撮像装置。
2. 前記演算部は、
   前記第一のラインの各画素値を補正するための第一の補正値と前記第二のラインの各画素値を補正するための第二の補正値とを演算する、
   ことを特徴とする、請求項１に記載の撮像装置。
3. 前記撮像装置は、
   前記第一の補正値に基づいて前記第一のラインの各画素値を補正するとともに前記第二の補正値に基づいて前記第二のラインの各画素値を補正する補正部をさらに備える、
   ことを特徴とする、請求項２に記載の撮像装置。
4. 前記撮像装置は、
   前記第一の補正値に基づいて前記第一のラインの各画素値が補正された結果と前記第二の補正値に基づいて前記第二のラインの各画素値が補正された結果とを合成する合成部をさらに備える、
   ことを特徴とする、請求項３に記載の撮像装置。
5. 前記演算部は、
   次回の撮影時に使用される第一の所定時間を補正するための第一の補正値と次回の撮影時に使用される第二の所定時間を補正するための第二の補正値とを演算する、
   ことを特徴とする、請求項１に記載の撮像装置。
6. 前記撮像装置は、
   前記第一の補正値に基づいて次回の撮影時に使用される第一の所定時間を補正するとともに前記第二の補正値に基づいて次回の撮影時に使用される第二の所定時間を補正する補正部をさらに備える、
   ことを特徴とする、請求項５に記載の撮像装置。
7. 各々が所定の画素幅を有する第一のライン及び第二のラインを有する撮像素子の前記第一のラインに蓄積された電荷の第一のリセット動作を行うステップと、
   前記第二のラインに蓄積された電荷の第二のリセット動作を行うステップと、
   前記第一のリセット動作から第一の所定時間経過時に遮光羽根に前記第一のライン上を走行させるとともに前記第二のリセット動作から第二の所定時間経過時に前記遮光羽根に前記第二のライン上を走行させるステップと、
   前記第一のラインに蓄積された電荷を前記遮光羽根が前記第一のライン上を走行した後に第一の画素データとして出力するとともに前記第二のラインに蓄積された電荷を前記遮光羽根が前記第二のライン上を走行した後に第二の画素データとして出力するステップと、
   前記第一の画素データと前記第二の画素データと前記第一の所定時間と前記第二の所定時間とに基づいて第一の補正値と第二の補正値とを演算するステップと、
   を含むことを特徴とする、撮像方法。
   
   

Images