JP2011087050A - デジタルカメラ - Google Patents

Abstract

【課題】ローリングシャッタ方式により撮像された画像に生じる歪みを補正する処理工程が煩雑になるという問題を解決する。
【解決手段】デジタルカメラは、被写体を撮像して画像信号を出力する複数の画素１４１が行列状に配列された撮像素子１４と、撮像素子１４からローリングシャッタ方式により行単位で画像信号を読み出す読出手段１４４と、画像信号に基づいて、所定周期ごとに画像を生成する画像生成手段１８と、ローリングシャッタ方式に起因して、画像上の被写体に含まれる動体被写体に発生する歪み量を判定する判定手段１８１と、判定された歪み量に基づいて、所定周期を変更する変更手段１８２とを備える。
【選択図】図２

Description

本発明は、デジタルカメラに関する。

従来から、ローリングシャッタ方式により撮像された画像に生じる歪みを補正するカメラが知られている（たとえば特許文献１）。

特開２００７−１４２９２９号公報

しかしながら、取得した画像データを用いて動き領域の補正値算出や画像生成等の処理を行うので、処理工程が煩雑になるという問題がある。

請求項１に記載の発明によるデジタルカメラは、被写体を撮像して画像信号を出力する複数の画素が行列状に配列された撮像素子と、撮像素子からローリングシャッタ方式により行単位で画像信号を読み出す読出手段と、読み出された画像信号に基づいて、所定周期ごとに画像を生成する画像生成手段と、ローリングシャッタ方式に起因して、画像上の被写体に含まれる動体被写体に発生する歪み量を判定する判定手段と、判定された歪み量に基づいて、所定周期を変更する変更手段とを備えることを特徴とする。

本発明によれば、ローリングシャッタ方式に起因して動体被写体に発生する歪み量に基づいて所定周期を変更し、歪みを低減できる。

本発明の実施の形態によるデジタルカメラの要部構成を示す図 実施の形態によるデジタルカメラの制御系の構成を示すブロック図 電荷蓄積開始時刻の遅延を説明するタイムチャート ライブビューモードにおける処理を説明するフローチャート 動体被写体の一例を模式的に説明する図

図面を参照して、本発明による実施の形態におけるカメラを説明する。図１はデジタルカメラ１の要部構成を示す図である。デジタルカメラ１のボディに、撮影レンズＬ１と絞り２０とを備える交換レンズ２が着脱可能に装着されている。デジタルカメラ１のボディ側には、クイックリターンミラー１０、焦点板１１、ペンタプリズム１２、接眼レンズ１３、撮像素子１４、および焦点検出用センサ１５が設けられている。

図２はデジタルカメラ１の制御系を簡易的に示すブロック図である。図２において、図１に示した構成要素には同一の符号を付して説明する。デジタルカメラ１の制御系は、撮像素子１４、焦点検出用センサ１５、Ａ／Ｄ変換回路１６、タイミングジェネレータ１７、信号処理／制御回路１８、ＬＣＤ駆動回路１９、液晶表示器１９１、操作部３０、およびメモリカードインタフェース３１を備えている。

図１を参照して説明すると、交換レンズ２を通過してデジタルカメラ１に入射した被写体光は、シャッタレリーズ前は図１において実線で示すように位置するクイックリターンミラー１０で上方へ導かれて焦点板１１に結像する。焦点板１１に結像された被写体像は、ペンタプリズム１２により接眼レンズ１３へ導かれる。その結果、被写体像が撮影者に観察される。被写体光の一部はクイックリターンミラー１０の半透過領域を透過し、サブミラー１０ａにて下方に反射され、焦点検出用センサ１５へ入射される。レリーズ後はクイックリターンミラー１０が図１の破線で示される位置へ回動し、被写体光が撮像素子１４へ導かれ、その撮像面上に被写体像が結像する。

図２を参照して制御系について詳細に説明する。
撮像素子１４は、行列状に多数配列された画素フォトダイオード１４１、画素フォトダイオード１４１のそれぞれに設けられたスイッチ１４２、画素フォトダイオード１４１の各行および各列を順に選択するための垂直走査回路１４３および水平走査回路１４４を有する、Ｘ−Ｙアドレス型の光電変換素子である。スイッチ１４２には、トランスファーゲートスイッチ１４２Ａ（以下、スイッチ１４２Ａと称する）、画素選択スイッチ１４２Ｂ（以下、スイッチ１４２Ｂと称する）およびコンデンサ１４２Ｃが含まれている。

スイッチ１４２Ａは、画素フォトダイオード１４１と、コンデンサ１４２Ｃとの間に設けられ、画素フォトダイオード１４１とコンデンサ１４２Ｃとの間の電気的接続のＯＮ／ＯＦＦをスイッチングするスイッチである。コンデンサ１４２Ｃは、画素フォトダイオード１４１が光電変換した電荷を電圧値に変換するために設けられている。スイッチ１４２Ｂは、コンデンサ１４２Ｃと水平走査回路１４４との間に設けられ、コンデンサ１４２Ｃと水平走査回路１４４との間の電気的接続のＯＮ／ＯＦＦをスイッチングするスイッチである。ある画素で受光された被写体光は、その強度に応じた画像信号に変換されて、水平走査回路１４４を介して出力される。本実施の形態において、撮像素子１４は、走査ラインごとに順次シャッタを切る方式（いわゆるローリングシャッタ方式）により駆動される。また、撮像素子１４の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように、たとえばベイヤー配列となるように設けられている。撮像素子１４がカラーフィルタを通して被写体像を撮像するため、撮像素子１４から出力される画像信号はＲＧＢ表色系の色情報を有する。

撮像素子１４から出力された画像信号は、図示しないＡＦＥ回路等によりアナログ処理（ゲインコントロールなど）が施され、Ａ／Ｄ変換回路１６へ入力される。Ａ／Ｄ変換回路１６は、撮像素子１４が出力する画像信号にアナログ的な処理をしてからデジタルの画像信号に変換する回路である。タイミングジェネレータ１７は、信号処理／制御回路１８の命令に応じて、撮像素子１４とＡ／Ｄ変換回路１６とにタイミング信号を出力し、撮像素子１４とＡ／Ｄ変換回路１６との駆動タイミングを制御する回路である。

信号処理／制御回路１８は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。信号処理／制御回路１８は、前述したタイミングジェネレータ１７を制御する。信号処理／制御回路１８は、入力した画像信号に対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を施して画像データを生成する。そして、信号処理／制御回路１８は、画像処理が施された画像データに対してＪＰＥＧ圧縮処理を実行する。

信号処理／制御回路１８は、歪み判定部１８１およびフレームレート変更部１８２を機能的に備える。歪み判定部１８１は、後述するローリングシャッタ方式に起因して被写体に発生する歪み（以下、ローリング歪み）の程度を判定する。ローリング歪みは、画像の上部に対応する画素フォトダイオード１４１の電荷蓄積開始時刻と画像の下部に対応する画素フォトダイオード１４１の電荷蓄積開始時刻との差によって生じる。すなわち、同一被写体において上部と下部とで露光開始時刻が異なるので、取得された画像上で被写体に歪みが生じる。ローリング歪みは、被写体に動きがある動体被写体の場合に特に顕著に発生する。フレームレート変更部１８２は、歪み判定部１８１の判定結果に基づいて、後述するようにライブビュー画像の、または動画像記録時のフレームレートを高速周期と通常周期との間で切替える。

メモリカードインタフェース３１は、メモリカード３２が着脱可能なインタフェースである。メモリカードインタフェース３１は、制御回路１８の制御に基づいて、画像データをメモリカード３２に書き込んだり、メモリカード３２に記録されている画像データを読み出す。メモリカード３２はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

ＬＣＤ駆動回路１９は、信号処理／制御回路１８の命令に基づいて液晶表示器１９１を駆動する回路である。液晶表示器１９１は、再生モードにおいて、メモリカード３２に記録されている画像データに基づいて信号処理／制御回路１８で作成された表示データの表示を行う。また、液晶表示器１９１は、いわゆるライブビュー画像を表示するように構成されている。ライブビューとは、レリーズ前にクイックリターンミラー１０を上方に跳ね上げて撮像素子１４で撮像した画像をリアルタイムに液晶表示器１９１に表示する表示形態であり、一眼レフカメラにおいて採用される撮像モードである。

操作部３０は、ユーザの操作を受け付けるスイッチである。操作部３０には、電源スイッチ、レリーズスイッチ、その他の設定メニューの表示切換スイッチ、設定メニュー決定ボタンなどが含まれる。上記したライブビュー画像を表示するためのライブビューモードの設定や動画像の記録動作も、ユーザがこの操作部３０を操作することにより行われる。

操作部３０の操作によりライブビューモードまたは動画像の記録開始が設定されると、信号処理／制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、撮影レンズＬ１を通過した被写体光が撮像素子１４に導かれるようにする。さらに、フレームレート変更部１８２は、タイミングジェネレータ１７に指示して、撮像素子１４を構成する全画素のうち、垂直方向に１／３に間引いた画素フォトダイオード１４１から画像信号が出力されるように、垂直走査回路１４３を介してスイッチ１４２（１４２Ａ、１４２Ｂ）をオンさせる。なお、画像信号は通常周期、たとえば１／３０秒周期で読み出される。

また、歪み判定部１８１の判定結果に基づいて、フレームレート変更部１８２は、タイミングジェネレータ１７に指示して、撮像素子１４を構成する全画素のうち、垂直方向に１／６に間引いた画素フォトダイオード１４１から画像信号が出力させる。なお、この場合、画像信号は高速周期、たとえば１／６０秒周期で読み出される。以下、フレームレートが１／３０秒周期の場合を第１モード、１／６０秒周期の場合を第２モードとする。なお、上述の１／３間引き、１／６間引きのいずれの場合も、間引き後の画像信号に含まれる色情報がベイヤー配列となるように間引かれるものとする。

第１モードが設定されている場合、フレームレート変更部１８２は、タイミングジェネレータ１７に指示して、撮像素子１４による電荷蓄積時間が所定時間ｔ１となるようにタイミング信号を出力させる。また、第１モードにおいては、フレームレート変更部１８２は、撮像感度が所定の第１撮像感度となるように、撮像素子１４に蓄積される電荷の検出感度、もしくは不図示の増幅回路の増幅利得を変化させる被制御量を設定する。その結果、図３（ａ）のタイムチャートに示すように、第１モードにおいては、第１行目に配置された画素フォトダイオード１４１は時刻Ｔ１で電荷蓄積が開始され、最終行（最下端の行）である第３０００行目に配置された画素フォトダイオード１４１は時刻Ｔ２で電荷蓄積が開始される。すなわち、撮像素子１４の上部と下部との間での電荷蓄積開始時刻の遅延は、（Ｔ２−Ｔ１）となる。

第２モードが設定されている場合、フレームレート変更部１８２は、タイミングジェネレータ１７に指示して、撮像素子１４による電荷蓄積時間が所定時間ｔ２となるようにタイミング信号を出力させる。この所定時間ｔ２は、第１モードにおける所定時間ｔ１よりも短い時間である。また、第２モードにおいては、フレームレート変更部１８２は、撮像感度が第１撮像感度よりも高感度な第２撮像感度となるように、撮像素子１４に蓄積される電荷の検出感度、もしくは不図示の増幅回路の増幅利得を変化させる被制御量を設定する。

次に、ローリング歪み量の判別処理、およびローリング歪みに基づいた画像信号の読み出し周期の変更処理について説明する。本処理は、信号処理／制御回路１８の歪み判定部１８１およびフレームレート変更部１８２により実行される。なお、以下の説明においては、撮像素子１４のサイズを、たとえば横Ｂ：５０００[pixel]×縦Ｃ：３０００[pixel]（＝１５[Mpixel]）であるものとする。さらに、撮像素子１４に配列された全ての画素フォトダイオード１４１、すなわち第１行目に配置された画素フォトダイオード１４１から第３０００行目に配置された画素フォトダイオード１４１までの読み出しに要する時間をＡ[ｓ]、たとえば５０[ms]とする。

図５に模式的に示すように、歪み判定部１８１は、生成された画像データを用いて、動体被写体Ｍが動く速さＸ[m/s]を算出する。この場合、歪み判定部１８１は、少なくとも第ｎフレームおよび第（ｎ＋１）フレームに相当する画像データに基づいて、公知の技術を用いて動体被写体Ｍの動きベクトルを検出する。そして、歪み判定部１８１は、検出した動体被写体Ｍの動きベクトルに基づいて、動体被写体Ｍが動く速さＸを算出する。なお、以下の説明では、動体被写体Ｍが動く速さＸとして、たとえば１００[km/h]（＝２７．７[m/s]）が算出されたものとする。

歪み判定部１８１は、動体被写体Ｍの大きさ、すなわち画像上において動体被写体Ｍが占有する領域を算出する。歪み判定部１８１は、画像データを用いて、たとえば動きベクトルの生じている領域や色情報等に基づいて動体被写体Ｍを認識する。そして、歪み判定部１８１は、認識した動体被写体Ｍの上端と下端を検出し、画像上における動体被写体Ｍの上端位置の座標と下端位置の座標とを算出する。歪み判定部１８１は、算出した上端位置の座標を撮像素子１４に配置された画素フォトダイオード１４１の行番号Luに換算する。同様に、歪み判定部１８１は、下端位置の座標を画素フォトダイオード１４１の行番号Lbに換算する。そして、歪み判定部１８１は、行番号LuとLbとの差分により、動体被写体Ｍが撮像素子１４上において列方向（上下方向）に占有する行数Ｙ（＝Lu−Lb）[line]を算出する。なお、以下の説明においては、算出された行数Ｙは１５００であるものとする。

歪み判定部１８１は、撮影レンズＬ１の焦点距離情報や焦点検出用センサ１５からの信号に基づいて検出した焦点調節状態等に基づいて、液晶表示器１９１に表示されている画像の横方向の長さに対応する実長さＺ[m]を算出する。以下の説明においては、算出された実長さＺを５０[m]であるものとする。なお、歪み判定部１８１は、交換レンズＬ１とデジタルカメラ１との間で各種の情報の送受信を行うためのインタフェース（不図示）を介して、レンズ情報として焦点距離情報を取得する。

歪み判定部１８１は、図５に示すような動体被写体Ｍの上端位置から下端位置に対応する位置行に配置された画素フォトダイオード１４１から画像信号の読み出しに要する時間P[ms]を算出する。すなわち、歪み判定部１８１は、行番号Luに配置された画素フォトダイオード１４１からの画像信号の蓄積開始時点と、行番号Lbに配置された画素フォトダイオード１４１からの画像信号の蓄積開始時点との時間差を算出する。この時間Pは、以下の式（１）を用いて算出される。
Ｐ＝Ａ×（Ｙ／Ｃ） ・・・（１）

本実施の形態においては、時間Pは以下の値として算出される。
Ｐ＝５０[ms]×（１５００[line]／３０００[line]）＝２５[ms]

次に、歪み判定部１８１は、動体被写体Ｍの上端位置から下端位置までに対応する画素フォトダイオード１４１からの画像信号の蓄積開始に要する時間Ｐの間に、動体被写体Ｍが移動する距離、すなわち動体被写体Ｍの上端位置に対する下端位置の変位量Ｑ[m]を、以下の式（２）を用いて算出する。
Ｑ＝Ｘ×Ｐ＝Ｘ×Ａ×（Ｙ／Ｃ） ・・・（２）

本実施の形態においては、変位量Ｑは以下の値として算出される。
Ｑ＝２７．７[m/s]×２５[ms]＝０．６９２５[m]

上記のようにして、変位量Ｑを算出すると、歪み判定部１８１は、以下の式（３）を用いて、変位量Ｑを撮像素子１４の画素数Ｒ[pixel]に換算する。
Ｒ＝Ｂ×（Ｑ／Ｚ）＝Ｂ×[｛Ｘ×Ａ×（Ｙ／Ｃ）｝／Ｚ] ・・・（３）

本実施の形態においては、画素数Ｒは以下の値として算出される。
Ｒ＝５０００[pixel]×（０．６９２５[m]／５０[m]）＝６９．２５[pixel]

歪み判定部１８１は、上述のようにして算出した画素数Ｒが、所定の閾値Ｋ[pixel]以上の場合には、ローリング歪みが顕著と判定する。そして、ローリング歪みが顕著であると判定されると、フレームレート変更部１８２は、第１モードから第２モードへ変更する。なお、閾値Ｋは、予め実験等により計測した値に基づいて決定された値であり、信号処理／制御回路１８内の所定の記録領域に記録されているものとする。

フレームレート変更部１８２は、第２モードへの変更を決定すると、垂直走査回路１４３を介して撮像素子１４の全画素のうち、垂直方向に１／６に間引いた画素フォトダイオード１４１から画像信号を出力させる。その結果、画像信号の読み出し周期、すなわちフレームレートが１／６０秒周期に変更される。

図３（ｂ）のタイムチャートに示すように、第２モードにおいては、第１行目に配置された画素フォトダイオード１４１は時刻Ｔ１で電荷蓄積が開始され、最終行である第３０００行目に配置された画素フォトダイオード１４１は時刻Ｔ３で電荷蓄積が開始される。すなわち、電荷蓄積開始時刻の遅延は、（Ｔ３−Ｔ１）となる。この時刻Ｔ３は、図３（ａ）に示した時刻Ｔ２よりも早いタイミングであり、遅延（Ｔ３−Ｔ１）も（Ｔ２−Ｔ１）よりも短い時間となる。その結果、第１モードにおける場合よりも蓄積開始時刻の遅延が短縮される。

フレームレート変更部１８２は第２モードを設定すると、タイミングジェネレータ１７に指示して、画素フォトダイオード１４１による画像信号の蓄積時間が所定時間ｔ２、すなわち露光時間が第１モードの場合（所定時間ｔ１）よりも短くなるようにタイミング信号を出力させる。さらに、フレームレート変更部１８２は、蓄積時間の短縮に応じて、撮像素子１４からの画像信号の撮像感度を高感度の第２撮像感度に設定する。

図４のフローチャートを用いて、上述したカメラ１のライブビューモードにおける処理について説明する。なお、動画記録時の処理についても、図４のフローチャートに示す処理と同様であるため説明を省略する。図４の処理を行うプログラムは信号処理／制御回路１８内の図示しないメモリに格納されており、使用者の操作部３０の操作によりライブビューモードが設定されると起動され、信号処理／制御回路１８により実行される。

ステップＳ１０１においては、フレームレート変更部１８２はフレームレートを初期設定値である第１モードに設定し、撮像素子１４の画素のうち、垂直方向に１／３に間引いた画素フォトダイオード１４１から画像信号を出力させる。そして、信号処理／制御回路１８は、画像信号に対応する画像を液晶表示器１９１に表示させてステップＳ１０２へ進む。ステップＳ１０２においては、ステップＳ１０１で得られた画像信号に基づいて、歪み判定部１８１は動体被写体Ｍに対するローリング歪みの影響が顕著か否かを判定する。ローリング歪みの影響が顕著な場合、すなわち上述した式（３）で算出した画素数Ｒが閾値Ｋ以上の場合は、歪み判定部１８１によりステップＳ１０２が肯定判定されてステップＳ１０３へ進む。ローリング歪みの影響が顕著ではない場合、すなわち画素数Ｒが閾値Ｋ未満の場合は、歪み判定部１８１によりステップＳ１０２が否定判定されてステップＳ１０６へ進む。

ステップＳ１０３においては、信号処理／制御回路１８は現在のフレームレートが第２モードに設定されているか否かを判定する。第２モードに設定されている場合は、信号処理／制御回路１８によりステップ１０３が否定判定されてステップＳ１０９へ進む。第１モードに設定されている場合は、信号処理／制御回路１８によりステップＳ１０３が否定判定されてステップＳ１０４へ進む。ステップＳ１０４においては、フレームレート変更部１８２はフレームレートを第２モードに設定し、撮像素子１４の画素のうち、垂直方向に１／６に間引いた画素フォトダイオード１４１から画像信号を出力させてステップＳ１０５へ進む。ステップＳ１０５においては、フレームレート変更部１８２は画素フォトダイオード１４１の画像信号の蓄積時間を所定時間ｔ２に設定するとともに、撮像素子１４から出力される画像信号の撮像感度を第２撮像感度（高感度）に設定して、ライブビューモードでの画像表示を継続しステップＳ１０９へ進む。

ステップＳ１０２が否定判定されるとステップＳ１０６へ進み、信号処理／制御回路１８は現在のフレームレートが第１モードに設定されているか否かを判定する。第１モードに設定されている場合は、信号処理／制御回路１８によりステップＳ１０６が肯定判定されてステップＳ１０９へ進む。第２モードに設定されている場合は、信号処理／制御回路１８によりステップＳ１０６が否定判定されてステップＳ１０７へ進む。

ステップＳ１０７においては、フレームレート変更部１８２はフレームレートを第１モードに設定し、撮像素子１４の画素のうち、垂直方向に１／３に間引いた画素フォトダイオード１４１から画像信号を出力させてステップＳ１０８へ進む。ステップＳ１０８においては、フレームレート変更部１８２は画素フォトダイオード１４１の画像信号の蓄積時間を所定時間ｔ２よりも長い所定時間ｔ１に設定するとともに、撮像素子１４から出力される画像信号の撮像感度を第１撮像感度に設定して、ライブビューモードでの画像表示を継続しステップＳ１０９へ進む。

ステップＳ１０９においては、信号処理／制御回路１８はライブビューモードを終了するか否かを判定する。ライブビューモードを終了する場合、たとえば操作部３０からライブビューモードの終了を指示する信号や、レリーズスイッチの全押し操作に応じた撮影を指示する信号を入力した場合は、信号処理／制御回路１８によりステップＳ１０９が肯定判定されて処理を終了する。ライブビューモードを終了しない場合は、信号処理／制御回路１８によりステップＳ１０９が否定判定されてステップＳ１０２へ戻る。

以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）カメラ１は、被写体を撮像して画像信号を出力する複数の画素フォトダイオード１４１が行列状に配列された撮像素子１４と、撮像素子１４からローリングシャッタ方式により行単位で画像信号を読み出す水平走査回路１４４とを備えるようにした。そして、信号処理／制御回路１８は、画像信号に基づいて、所定周期すなわち所定のフレームレートで画像を生成し、歪み判定部１８１はローリングシャッタ方式に起因して、画像上の被写体に含まれる動体被写体Ｍに発生する歪み（ローリング歪み）量を判定し、ローリング歪み量に基づいて、フレームレート変更部１８２はフレームレートを変更するようにした。すなわち、フレームレート変更部１８２は、ローリング歪みの影響が顕著な場合はフレームレートを高速周期（１／６０秒）の第２モードに設定し、ローリング歪みの影響が顕著ではない場合はフレームレートを通常周期（１／３０秒）の第１モードに設定するようにした。したがって、被写体に動きがある場合に、フレームレートを上げることにより動体被写体Ｍの上端位置に対応する画素フォトダイオード１４１と動体被写体Ｍの下端位置に対応する画素フォトダイオード１４１間の電荷蓄積開始時刻の遅延を少なくできるので、ローリング歪みによる画質の低下を防げる。

（２）歪み判定部１８１は、動体被写体Ｍの動きベクトルに基づいてローリング歪み量を判定するようにした。したがって、動体被写体Ｍの動きを確実に検出して、ローリング歪み量を精度よく判定できる。

（３）歪み判定部１８１は、画像（画面内）において動体被写体Ｍが占有する領域に基づいて、ローリング歪み量を判定するようにした。１フレームの画像上で動体被写体Ｍが占有する領域が大きい場合はローリング歪みによる影響は顕著になるが、動体被写体Ｍが占有する領域が小さい場合はローリング歪みによる影響は目立たなくなる。したがって、動体被写体Ｍの動きの有無に加えて動体被写体Ｍの大きさにも基づいてローリング歪み量を判定するので、判定精度を向上させることができる。

（４）歪み判定部１８１は、動体被写体Ｍの上端位置に対応する画像信号の蓄積開始時点と、動体被写体Ｍの下端領域に対応する画像信号の蓄積開始時点との時間差（時間Ｐ）を算出し、算出された時間Ｐにおいて、上端位置に対する下端位置の変位量Ｑに基づいてローリング歪み量を判定するようにした。そして、歪み判定部１８１は、変位量Ｑを画素数Ｒに換算し、換算した画素数Ｒが所定の閾値Ｋを超える場合に、フレームレートを高速周期の第２モードに変更するようにした。したがって、画像上の動体被写体Ｍに発生するローリング歪みの影響に基づいてフレームレートを変更するので、ローリング歪みが低減された高画質のライブビュー画像が得られる。

（５）第２モードが設定されている場合、フレームレート変更部１８２は、タイミングジェネレータ１７に指示して、撮像素子１４による電荷蓄積時間、すなわち露光時間が所定時間ｔ２となるようにタイミング信号を出力させるようにした。さらに、第２モードにおいては、フレームレート変更部１８２は、撮像感度が第１撮像感度よりも高感度な第２撮像感度に設定するようにした。第２モードは被写体に動きがある場合に設定されるモードなので、フレームレート変更部１８２が電荷蓄積時間を短縮することにより被写体の像ブレによる画質の劣化を低減できる。さらに、電荷蓄積時間の短縮に応じてフレームレート変更部１８２により撮像素子１４が高感度の第２撮像感度に設定されるので、適正輝度の画像を取得することができる。

以上で説明した実施の形態を、以下のように変形できる。
（１）ライブビューモードまたは動画撮影モードからローリングシャッタ方式による静止画撮影に移行する際にも、ローリング歪み量に基づいてフレームレートを変更してもよい。この場合、歪み判定部１８１は、静止画撮影を行う直前までにライブビューモードにおいて取得した画像データを用いて、ローリング歪み量を判定する。そして、ローリング歪みによる影響が顕著であると判定された場合に、フレームレート変更部１８２は画像を生成する周期を変更すればよい。なお、静止画撮影時においては、フレームレート変更部１８２は、フレームレートを上げる際に、画像を生成する周期を画像劣化を生じない程度の閾値以下の周期に制限（上限を設ける）する。すなわち、フレームレート変更部１８２は、撮像素子１４を構成する全画素のうち、垂直方向に、たとえば１／４に間引いた画素フォトダイオード１４１から画像信号が出力させればよい。この結果、静止画像の画質の劣化を防止することができる。

（２）撮像素子１４を構成する全画素のうち、画像信号を読み出す画素フォトダイオード１４１が含まれる行の間隔を変更することによりフレームレートの変更するものに代えて、ビット深度を変更することによりフレームレートを変更してもよい。ビット深度は、画像の階調を変更するためのパラメータであり、たとえば１４bit、１２bit、１０bitの間で切替え可能に設定されている。これは、撮像素子１４における信号出力モードとして、１４bitモード、１２bitモードおよび１０bitモードが設けられており、撮像素子１４の出力段階でこれらいずれかのモード選択に応じて、ビット深度が変更されるものである。そして、画像データのデータ容量は画素数にビット深度の値を積算した値である。したがって、フレームレート変更部１８２は、ローリング歪み量に基づいて、ビット深度を変更することにより画像データのデータ容量を変更して処理時間を変更する。その結果、フレームレートが変更される。この場合、フレームレート変更部１８２は、たとえば第１モードにおいてはビット深度を１４bitに設定し、第２モードにおいてはビット深度を１０bitに設定すればよい。

（３）ライブビュー画像を液晶表示器１９１に表示するものに代えて、接眼レンズ１３を介して使用者により観察可能な位置に設けられた電子ビューファインダにライブビュー画像を表示してもよい。

（４）また、上述のようにして得られたライブビュー画像を動画像として記録するようにしてもよい。この場合、信号処理／制御回路１８はフレームレートを切り替えたタイミングを動画像データに対応付けて記録しておく。そして、信号処理／制御回路１８は、動画像の再生時に、動画像データに対応付けて記録したタイミングを参照しながら再生時のフレームレートを切替制御して、動画像が一定のフレームレートで再生されるように制御することが、動画像の急激な速度変更を生じず望ましい。

（５）上述の例では、垂直方向の間引きを行うことを主として説明したが、水平方向についてもベイヤー配列を保ちながら間引き処理を行ってデータ量を削減するようにしてもよい。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１４ 撮像素子、 １８ 信号処理／制御回路、
１４１ 画素フォトダイオード、 １４４ 水平走査回路、
１８１ 歪み判定部、 １８２ フレームレート変更部

Claims (8)

1. 被写体を撮像して画像信号を出力する複数の画素が行列状に配列された撮像素子と、
   前記撮像素子からローリングシャッタ方式により行単位で前記画像信号を読み出す読出手段と、
   前記読み出された前記画像信号に基づいて、所定周期ごとに画像を生成する画像生成手段と、
   前記ローリングシャッタ方式に起因して、前記画像上の前記被写体に含まれる動体被写体に発生する歪み量を判定する判定手段と、
   前記判定された前記歪み量に基づいて、前記所定周期を変更する変更手段とを備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記判定手段は、前記動体被写体の動きベクトルに基づいて前記歪み量を判定することを特徴とするデジタルカメラ。
3. 請求項２に記載のデジタルカメラにおいて、
   前記判定手段は、前記画像において前記動体被写体が占有する領域に基づいて、前記歪み量を判定することを特徴とするデジタルカメラ。
4. 請求項３に記載のデジタルカメラにおいて、
   前記判定手段は、前記読出手段が前記領域の上端に対応する画像信号の蓄積開始時点と、前記領域の下端に対応する画像信号の蓄積開始時点との時間差を算出する算出部を含み、
   前記算出された前記時間差において、前記領域の前記上端に対する前記領域の前記下端の変位量に基づいて前記歪み量を判定することを特徴とするデジタルカメラ。
5. 請求項４に記載のデジタルカメラにおいて、
   前記判定手段は、前記変位量を画素数に換算する換算部をさらに含み、前記換算された前記画素数が所定の閾値を超えるか否かを判定し、
   前記変更手段は、前記閾値を超える場合に前記所定周期を変更することを特徴とするデジタルカメラ。
6. 請求項１乃至５のいずれか一項に記載のデジタルカメラにおいて、
   前記変更手段は、前記読出手段が読み出す前記行の間隔を変更することを特徴とするデジタルカメラ。
7. 請求項１乃至５のいずれか一項に記載のデジタルカメラにおいて、
   前記変更手段は、ビット深度を変更することを特徴とするデジタルカメラ。
8. 請求項１乃至７のいずれか一項に記載のデジタルカメラにおいて、
   前記画像信号に基づいて、静止画像を生成する静止画生成手段をさらに備え、
   前記変更手段は、前記静止画が生成されるときには、前記所定周期を所定の閾値以下に設定することを特徴とするデジタルカメラ。

Images