JP2011135185A

JP2011135185A - 撮像装置

Info

Publication number: JP2011135185A
Application number: JP2009290932A
Authority: JP
Inventors: Masahiro Yokohata; 正大横畠
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2011-07-07

Abstract

【課題】ローリングシャッタ方式とグローバルシャッタ方式を切り替え使用して、それらの各メリットを享受しつつ、それらのデメリットを補完しあう。
【解決手段】露光制御部２９は、撮影によって得られた入力画像の画像データ等に基づいて被写体の光源が周期的に変化しているか否かを検出する光源状態判定部５２と、入力画像の画像データ等に基づいて撮像装置の動き又は被写体の動きを検出する動き検出部５３と、撮像部１１のズーム倍率を検出するズーム倍率検出部５４と、露光モード選択部５５と、を備える。露光モード選択部５５は、被写体の光源が周期的に変化している場合、撮像装置の動き又は被写体の動きが比較的大きい場合、ズーム倍率が比較的高い場合には、グローバルシャッタ方式にて対象画像の撮影が行われるように、そうでない場合には、ローリングシャッタ方式にて対象画像の撮影が行われるように撮像部１１を制御する。
【選択図】図７

Description

本発明は、デジタルカメラ等の撮像装置に関する。

デジタルカメラに搭載されるイメージセンサとして、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが一般的に知られている。ＣＭＯＳイメージセンサの露光方式は、ローリングシャッタ方式とグローバルシャッタ方式に大別される。ローリングシャッタ方式は、リセット、露光、信号読み出しから成る一連のシーケンスを、ラインごとに順番に行う方式である。グローバルシャッタ方式は、メカシャッタ等を用いて全受光画素において同時にリセット及び露光を行う方式である。

ローリングシャッタ方式は、高速で連続撮影を行うことができるというメリットを有すると共に、シャッタの駆動が不要な分、低消費電力化に寄与するというメリットも有する。しかしながら、ローリングシャッタ方式にて撮影された画像には、デジタルカメラの動き等に起因して、フォーカルプレーン歪み（以下、ＦＰ歪みという）が発生することが知られている。

例えば、実空間上で直立して静止している棒状被写体をローリングシャッタ方式にて撮影する場合において、露光中にカメラの筐体が静止しておれば、図１２（ａ）に示すような撮影画像９００が得られる。しかしながら、手ぶれ等によって露光中にカメラの筐体が左右方向に動くと、画像上において棒状被写体の像は水平方向に歪み、棒状被写体が傾いたような撮影画像９０１（図１２（ｂ）参照）が得られる。また、手ぶれ等によって露光中にカメラの筐体が上下方向に動くと、画像上において棒状被写体の像は垂直方向に歪み、棒状被写体が伸張又は短縮されたような撮影画像９０２（図１２（ｃ）参照）が得られる（撮影画像９０２では棒状被写体が短縮方向に歪んでいる）。撮影画像９００と撮影画像９０１又は９０２との差に相当する歪みがＦＰ歪みである。

また、被写体の光源が蛍光灯（商用交流電源によって直接点灯される非インバータ式の蛍光灯）などであって該光源の輝度が周期的に変化する場合、ローリングシャッタ方式にて撮影された画像に、輝度むらや輝度フリッカが発生することも知られている。

図１３の符号９１０は、ローリングシャッタ方式によって撮影された、輝度むらを有する画像を表している。光源の輝度変化により、異なる水平ライン間で受光画素の露光量が異なってくることに起因して上記の輝度むらは生じる。図１４の符号９２０は、ローリングシャッタ方式による撮影画像列（時系列に並ぶ複数の撮影画像）の例を示している。撮影画像列９２０には輝度フリッカが発生している。ローリングシャッタ方式におけるフレームレートと光源としての蛍光灯を駆動する商用交流電源の周波数とが異なる場合、異なるフレーム間で輝度むらの状態が変化し、結果、異なるフレーム間で輝度のちらつきが発生する。この輝度のちらつきは輝度フリッカ（或いは単にフリッカ）と呼ばれる。

このように、ローリングシャッタ方式の採用にはメリットが多いものの、デメリットも存在する。グローバルシャッタ方式を用いれば、ローリングシャッタ方式で見られるようなＦＰ歪み、輝度むら及び輝度フリッカは生じないが、グローバルシャッタ方式は、高速撮影や低消費電力化に不向きである。

尚、特許文献１において、ローリングシャッタ方式による露光とグローバルシャッタ方式による露光とを切り替えて用いるカメラが提案されている。

特許文献１には、静止画像撮影時にはグローバルシャッタ方式を採用し、動画像撮影時にはローリングシャッタ方式を採用する方法が提案されている。しかしながら、この方法では、静止画像撮影時にローリングシャッタ方式のメリットを一切享受することができず、特に静止画像の連続撮影時にはグローバルシャッタ方式の連写速度の遅さが問題となる。

また、特許文献１には、被写体の明るさに応じて求められた露光時間が比較的長い場合にはグローバルシャッタ方式を採用し、該露光時間が比較的短い場合にはローリングシャッタ方式を採用する、という方法も開示されている。しかしながら、ＦＰ歪みの大きさは、露光時間の長さに依存するのではなく、異なる水平ライン間の露光タイミング差に依存するため、ローリングシャッタ方式の使用を露光時間が短い場合に限定したからといってＦＰ歪みの発生を抑制することはできない。また、この方法では輝度むら及び輝度フリッカの発生に対応できないことは自明である。

特開２００８−０１１２９８号公報

上述したように、個々の露光方式には特有のメリット及びデメリットが存在する。複数の露光方式のデメリットを補完しあい、それらのメリットを適切に享受することができれば有益である。

そこで本発明は、撮影条件等に応じて複数の露光方式の各メリットを適切に享受することのできる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、複数の受光画素から成る受光画素部を有する撮像部と、前記複数の受光画素に対する露光を同時に行う第１露光モード、又は、前記複数の受光画素に対する露光を互いに異なるタイミングで行う第２露光モードを選択し、選択した露光モードにて前記撮像部に撮影を行わせる露光制御部と、を備えた撮像装置において、前記露光制御部は、前記被写体の光源の状態、当該撮像装置又は前記被写体の動き、及び、前記撮像部におけるズーム倍率、の内の少なくとも１つに基づいて、前記第１又は前記第２露光モードを選択することを特徴とする。

具体的には例えば、前記露光制御部は、前記光源の輝度が周期的に変化している場合には前記第１露光モードを選択し、前記光源の明るさが周期的に変化していない場合には前記第２露光モードを選択する。

光源の輝度が周期的に変化している場合に第２露光モードを用いれば、撮影画像に輝度むらや輝度フリッカが生じることがある。上記のような選択動作を行うようにすれば、輝度むらや輝度フリッカの発生を回避しつつ、光源の輝度の周期的な変化がない場合には第２露光モードを利用して第２露光モードのメリットを享受することが可能となる。

或いは例えば、前記露光制御部は、前記動きの大きさが比較的大きい場合には前記第１露光モードを選択し、前記動きの大きさが比較的小さい場合には前記第２露光モードを選択する。

前記動きの大きさが比較的大きい場合に第２露光モードを用いれば、撮影画像に比較的大きなＦＰ歪みが生じることがある。上記のような選択動作を行うようにすれば、比較的大きなＦＰ歪みの発生を回避しつつ、前記動きの大きさが比較的小さい場合には第２露光モードを利用して第２露光モードのメリットを享受することが可能となる。

更に或いは例えば、前記露光制御部は、前記ズーム倍率が比較的高い場合には前記第１露光モードを選択し、前記ズーム倍率が比較的低い場合には前記第２露光モードを選択する。

ズーム倍率が比較的高い場合に第２露光モードを用いれば、撮影画像に比較的大きなＦＰ歪みが生じることがある。上記のような選択動作を行うようにすれば、比較的大きなＦＰ歪みの発生を回避しつつ、ズーム倍率が比較的低い場合には第２露光モードを利用して第２露光モードのメリットを享受することが可能となる。

また例えば、前記露光制御部は、前記光源の輝度が周期的に変化している場合、前記動きの大きさが比較的大きい場合、又は、前記ズーム倍率が比較的高い場合には、前記第１露光モードを選択し、前記光源の明るさが周期的に変化しておらず、且つ、前記動きの大きさが比較的小さく、且つ、前記ズーム倍率が比較的低い場合に、前記第２露光モードを選択する。

本発明の係る他の撮像装置は、複数の受光画素から成る受光画素部を有する撮像部と、前記複数の受光画素に対する露光を同時に行う第１露光モード、又は、前記複数の受光画素に対する露光を互いに異なるタイミングで行う第２露光モードを選択し、選択した露光モードにて前記撮像部に撮影を行わせる露光制御部と、を備えた撮像装置において、前記露光制御部は、前記第２露光モードにて撮影を行ったときに得られる画像上の輝度むら若しくは輝度フリッカの発生状態、又は、該画像上のフォーカルプレーン歪みの発生状態を推定し、その推定結果に基づいて前記第１又は前記第２露光モードを選択することを特徴とする。

これにより、第２露光モードを用いたときに輝度むら、輝度フリッカ又はフォーカルプレーン歪みの発生が予想される場合には、第１露光モードを選択し、それが予想されない場合には第２露光モードを選択する、といったことが可能となる。結果、個々の露光モードに特有のメリットを享受しつつ、それらのデメリットを補完しあうことが可能となる。

本発明によれば、撮影条件等に応じて複数の露光方式の各メリットを適切に享受することのできる撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体ブロック図である。図１の撮像装置に設けられた撮像部の内部構成図である。図２に示されるイメージセンサの内部構成図である。図３の受光画素部に複数の水平ラインが定義される様子を示す図である。ローリングシャッタ方式における撮影シーケンスのイメージ図である。グローバルシャッタ方式における撮影シーケンスのイメージ図である。図１の撮像装置１に内在する、露光モードの切り替えに関与する部位のブロック図である。図７の動き検出部によって導出される、第１及び第２入力画像間のオプティカルフローを示す図である。図１の撮像装置１に内在する、露光モードの切り替えに関与する部位の変形ブロック図である。図７又は図９の露光モート゛選択部による選択動作の概略を示す図である。対象画像の撮影に特に注目した、図１の撮像装置の動作フローチャートである。従来技術に係り、ＦＰ歪みを説明するための図である。従来技術に係り、光源の輝度変化に起因して輝度むらが発生している撮影画像を示す図である。従来技術に係り、光源の輝度変化に起因して輝度フリッカが発生している撮影画像列を示す図である。

以下、本発明の一実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈するようにしても良い。

撮像部１１は、イメージセンサを用いて被写体の撮影を行い、被写体の像を表すアナログ信号を出力する。ＡＦＥ１２（Analog Front End）は、撮像部１１から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＴＧ２２は、更に、ＣＰＵ２３の制御の下、撮像部１１の駆動パルスを生成して撮像部１１に供給する。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、撮像部１１のズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、イメージセンサ３３と、シャッタ３６と、光学系３５、絞り３２及びシャッタ３６を駆動制御するためのドライバ３４と、を有している。図３は、イメージセンサ３３の内部構成図である。

イメージセンサ３３は、例えば、ＸＹアドレス型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ３３には、複数の受光画素から成る受光画素部４１及び各受光画素の出力信号を読み出す信号読み出し回路４２が設けられ、更に垂直走査回路（不図示）及び水平走査回路（不図示）が設けられている。ＣＭＯＳを形成可能な半導体基板上に受光画素部４１及び信号読み出し回路４２等を形成することでイメージセンサ３３が形成される。

受光画素部４１において、複数の受光画素がマトリクス状に配置されている。受光画素部４１の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換する。光電変換によって得られた各受光画素からの電気信号は、信号読み出し回路４２により、各受光画素の出力信号として読み出される。読み出された各受光画素の出力信号は、イメージセンサ３３の出力信号としてＡＦＥ１２に送出される。

光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置が制御されることによって撮像部１１の焦点距離（画角）及び焦点位置が制御され、ＣＰＵ２３からの制御信号に基づき、絞り３２の開度が制御されることによってイメージセンサ３３の各受光画素への入射光量が調節される。

ドライバ３４は、ＣＰＵ２３に設けられた露光制御部２９（図１参照）の制御の下、シャッタ３６を駆動することによってシャッタ３６の状態を開状態又は閉状態にする。開状態とは、被写体からの光を受光画素部４１へ入射させる状態であり、閉状態とは、被写体からの光が受光画素部４１に入射することを妨げる状態である。シャッタ３６は、機械的に駆動する不透明のメカシャッタであっても良いし、選択的に不透明又は透明になる液晶シャッタであっても良い。シャッタ３６が液晶シャッタである場合、液晶シャッタが透明になるとシャッタ３６の状態は開状態となり、液晶シャッタが不透明になるとシャッタ３６の状態は閉状態となる。

露光制御部２９は、イメージセンサ３３の露光モードをローリング露光モードとグローバル露光モードとの間で切り替える。イメージセンサ３３の露光モードがローリング露光モードであるとき、イメージセンサ３３の露光方式がローリングシャッタ方式に設定され、ローリングシャッタ方式にてイメージセンサ３３の露光（受光画素部４１の露光）が行われる。イメージセンサ３３の露光モードがグローバル露光モードであるとき、イメージセンサ３３の露光方式がグローバルシャッタ方式に設定され、グローバルシャッタ方式にてイメージセンサ３３の露光（受光画素部４１の露光）が行われる。

今、受光画素部４１がＭ本の水平ライン上の受光画素から形成されるものとする（Ｍは、２以上の整数であり、一般的には数１００から数１０００である）。図４に示す如く、受光画素部４１において、垂直ラインに沿った方向（即ち受光画素部４１の垂直方向）が上下方向であり、受光画素部４１の最上端に配置された水平ラインが第１水平ラインであって且つ受光画素部４１の最下端に配置された水平ラインが第Ｍ水平ラインである。

図５を参照して、ローリング露光モードに対応するローリングシャッタ方式について説明する。図５は、ローリングシャッタ方式における撮影シーケンスのイメージ図である。ローリング露光モードでは、シャッタ３６の状態が常に開状態とされる。ローリング露光モードでは、水平ラインごとに、ラインリセット期間、ライン露光期間及びライン読み出し期間が設定される。或る１つの注目フレームの撮影を行う際、第１水平ラインに対するラインリセット期間は時刻ｔ_R1及びｔ_R2間の期間であり、第１水平ラインに対するライン露光期間は時刻ｔ_R2及びｔ_R3間の期間であり、第１水平ラインに対するライン読み出し期間は時刻ｔ_R3及びｔ_R4間の期間である。ここで、時間が進行するにつれて、時刻ｔ_R1、ｔ_R2、ｔ_R3及びｔ_R4が、この順番で訪れるものとする（従って、時刻ｔ_R2は時刻ｔ_R1よりも後の時刻である）。

第２〜第Ｍ水平ラインの夫々に対しても、ラインリセット期間、ライン露光期間及びライン読み出し期間が設定される。或る１つの注目フレームについて、ラインリセット期間の時間長さ、ライン露光期間の時間長さ及びライン読み出し期間の時間長さは、第１〜第Ｍ水平ライン間で同じであるが、ラインリセット期間の開始時刻、ライン露光期間の開始時刻及びライン読み出し期間の開始時刻は、第１〜第Ｍ水平ライン間で異なる。具体的には、或る１つの注目フレームについて、第（ｉ＋１）水平ラインに対するラインリセット期間、ライン露光期間及びライン読み出し期間の各開始時刻は、第ｉ水平ラインに対するラインリセット期間、ライン露光期間及びライン読み出し期間の各開始時刻よりもΔｔだけ遅い（Δｔ＞０且つｉは任意の整数）。Δｔ及びΔｔの整数倍は、異なる水平ライン間における露光タイミングの差を表している。或る水平ラインについての露光タイミングとは、その水平ラインに対するライン露光期間の中間時刻（又は開始時刻若しくは終了時刻）を指す。

第ｉ水平ラインのライン露光期間において、第ｉ水平ライン上の各受光画素は、光学系３５及び絞り３２を介して自身に入射した、被写体から光の量に応じた電荷を光電変換によって蓄積する。第ｉ水平ラインのライン読み出し期間において、第ｉ水平ライン上の各受光画素の蓄積電荷の量に比例した大きさを有する電気信号が、第ｉ水平ライン上の各受光画素の出力信号としてライン読み出し回路４２により読み出される。第ｉ水平ラインのラインリセット期間では、第ｉ水平ライン上の各受光画素の蓄積電荷が破棄される。従って、第ｉ水平ラインのライン露光期間の開始時刻における第ｉ水平ライン上の各受光画素の蓄積電荷はゼロである。

撮像部１１は、複数のフレームとしての複数の静止画像をローリングシャッタ方式にて連続的に撮影することができる。複数の静止画像をローリングシャッタ方式にて連続的に撮影する場合、図５に示す如く、１枚目の静止画像に対して、第ｉ水平ラインのラインリセット期間、ライン露光期間及びライン読み出し期間が終了すると、２枚目の静止画像に対する、第ｉ水平ラインのラインリセット期間、ライン露光期間及びライン読み出し期間が設けられる。１枚目の静止画像においても、２枚目の静止画像においても、第（ｉ＋１）水平ラインに対するラインリセット期間、ライン露光期間及びライン読み出し期間の各開始時刻は、第ｉ水平ラインに対するラインリセット期間、ライン露光期間及びライン読み出し期間の各開始時刻よりもΔｔだけ遅い。３枚目の静止画像を撮影する場合も同様である。

ローリング露光モードにおいて、露光制御部２９は、ローリングシャッタ方式における上記の露光制御及び信号読み出し制御が行われるように受光画素部４１及び信号読み出し回路４２を制御すると共に、シャッタ３６の状態が常に開状態となるようにシャッタ３６の状態を制御する。

図６を参照して、グローバル露光モードに対応するグローバルシャッタ方式について説明する。図６は、グローバルシャッタ方式における撮影シーケンスのイメージ図である。グローバル露光モードでは、シャッタ３６の状態が閉状態及び開状態間で切り替えられる。グローバル露光モードでは、時刻ｔ_G1及びｔ_G2間の期間がグローバルリセット期間とされ、時刻ｔ_G2及びｔ_G3間の期間がグローバル露光期間とされ、時刻ｔ_G3及びｔ_G4間の期間がシャッタ３６の状態を開状態から閉状態にするための閉駆動期間とされる。時刻ｔ_G4及びｔ_G5間には、各水平ラインに対するライン読み出し期間が設けられる。図６は、複数のフレームとしての複数の静止画像がグローバルシャッタ方式にて連続的に撮影されることを想定している。従って、時刻ｔ_G5及びｔ_G6間には、シャッタ３６の状態を閉状態から開状態にするための開駆動期間が設けられている。ここで、時間が進行するにつれて、時刻ｔ_G1、ｔ_G2、ｔ_G3、ｔ_G4、ｔ_G5及びｔ_G6が、この順番で訪れるものとする（従って、時刻ｔ_G2は時刻ｔ_G1よりも後の時刻である）。

グローバルリセット期間及びグローバル露光期間においては、シャッタ３６の状態は開状態とされ、各水平ラインに対するライン読み出し期間においては、シャッタ３６の状態は閉状態とされる。

グローバル露光期間において、第１〜第Ｍ水平ライン上の各受光画素（即ち、受光画素部４１の全受光画素）は、光学系３５及び絞り３２を介して自身に入射した、被写体から光の量に応じた電荷を光電変換によって蓄積する。各水平ラインのライン読み出し期間において、水平ラインごとに、当該水平ライン上の各受光画素の蓄積電荷の量に比例した大きさを有する電気信号が、当該水平ライン上の各受光画素の出力信号としてライン読み出し回路４２により読み出される。グローバルリセット期間では、第１〜第Ｍ水平ライン上の各受光画素（即ち、受光画素部４１の全受光画素）の蓄積電荷が破棄される。従って、グローバル露光期間の開始時刻における第１〜第Ｍ水平ライン上の各受光画素（即ち、受光画素部４１の全受光画素）の蓄積電荷はゼロである。

尚、シャッタ３６の状態を開状態から閉状態にするための閉駆動期間の前半部分においては、シャッタ３６による光の遮蔽が完全に実現できておらず、結果、被写体からの光が各受光画素に幾分入射することがある。

撮像部１１は、複数のフレームとしての複数の静止画像をグローバルシャッタ方式にて連続的に撮影することができる。複数の静止画像をグローバルシャッタ方式にて連続的に撮影する場合、図６に示す如く、１枚目の静止画像に対する、グローバルリセット期間、グローバル露光期間、閉駆動期間及び各水平ラインのライン読み出し期間が終了すると、２枚目の静止画像の露光を可能にするべく開駆動期間が設けられる。そして、その開駆動期間の終了後に、２枚目の静止画像に対する、グローバルリセット期間、グローバル露光期間、閉駆動期間及び各水平ラインのライン読み出し期間が設けられる。３枚目の静止画像を撮影する場合も同様である。

グローバル露光モードにおいて、露光制御部２９は、グローバルシャッタ方式における上記の露光制御及び信号読み出し制御が行われるように受光画素部４１及び信号読み出し回路４２を制御すると共に、シャッタ３６の状態を制御する。

上述の如く、グローバルシャッタ方式では、シャッタ３６の開閉を利用して、受光画素部４１の全受光画素に対する露光が同時に行われる。これに対し、ローリングシャッタ方式では、露光タイミングが互いに異なる複数の受光画素（例えば、第ｉ水平ライン上の受光画素と第ｊ水平ライン上の受光画素）が受光画素部４１に含まれる状態で受光画素部４１の露光が行われる（ｊはｉと異なる整数）。

ローリングシャッタ方式とグローバルシャッタ方式を対比した場合、ローリングシャッタ方式は、高速で連続撮影を行うことができるというメリットを有すると共に、シャッタ３６の駆動が不要な分、低消費電力化に寄与するというメリットも有する。しかしながら、ローリングシャッタ方式にて撮影された画像には、撮像装置１の動き等に起因して、ＦＰ歪み（フォーカルプレーン歪み）が発生することがある。第ｉ水平ラインについてのライン露光期間と第ｊ水平ラインについてのライン露光期間との間で、撮像装置１の位置（換言すればイメージセンサ３３の位置）又は被写体の位置が変化していると、ローリングシャッタ方式による撮影画像上において被写体の像が歪む。この歪みがＦＰ歪みである。

また、被写体の光源が蛍光灯などであって該光源の輝度が周期的に変化する場合、ローリングシャッタ方式にて撮影された画像に輝度むらや輝度フリッカが発生することがある。本実施形態における光源とは、特に記述なき限り、撮像装置１の被写体を照らす光源を指す。

例えば、商用交流電源の周波数が６０Ｈｚ（ヘルツ）の場合において、非インバータ式の蛍光灯の照明下で撮影を行う場合を考える。非インバータ式の蛍光灯とは、インバータを用いることなく、商用交流電源によって直接点灯される蛍光灯を意味する。この場合、光源としての蛍光灯の輝度変化の周期は１／１２０秒となる。この場合において、各水平ラインに対するライン露光期間の時間長さ（即ち各受光画素の露光時間）を１／６０秒に設定した場合は、ローリングシャッタ方式にて撮影された画像上に、光源の輝度変化に起因する輝度むらは生じない。各受光画素の露光時間を光源の輝度変化の周期（今の場合、１／１２０秒）の整数倍とすることにより、受光画素部４１における受光画素の露光量が全受光画素間で一定となるためである。しかしながら、各受光画素の露光時間が光源の輝度変化の周期（今の場合、１／１２０秒）の整数倍でない場合には、上記輝度むらが発生する。

更に、ローリングシャッタ方式におけるフレームレートと蛍光灯を駆動する商用交流電源の周波数とが異なる場合、第ｉ番目のフレーム及び第ｊ番目のフレーム間で輝度むらの状態が変化し、第ｉ番目のフレーム及び第ｊ番目のフレーム間で輝度のちらつきが発生する。この輝度のちらつきは輝度フリッカ（或いは単にフリッカ）と呼ばれる。以下の説明では、光源の輝度が周期的に変化する場合における光源の輝度の変化の周波数は５０又は６０Ｈｚであるものとする。

このように、ローリングシャッタ方式の採用にはメリットが多いものの、デメリットも存在する。これを考慮し、露光制御部２９は、ローリングシャッタ方式とグローバルシャッタ方式を切り替えて用いることにより、ローリングシャッタ方式のメリットを享受しつつローリングシャッタ方式のデメリットをグローバルシャッタ方式にて補完する。

図７に、露光モードの切り替え（ローリングシャッタ方式及びグローバルシャッタ方式間の切り替え）に関与する部位のブロック図を示す。カメラ信号処理部５１は、図１の映像信号処理部１３に設けられ、光源状態判定部５２、動き検出部５３、ズーム倍率検出部５４及び露光モード選択部５５は、図１の露光制御部２９に設けられる。尚、図１では、露光制御部２９がＣＰＵ２３内に設けられているが、露光制御部２９の全部又は一部がＣＰＵ２３の外に設けられていても構わないし、露光制御部２９の全部又は一部が映像信号処理部１３内に設けられていても構わない。

カメラ信号処理部５１は、ＡＦＥ１２の出力信号に対して所定の画像信号処理（デモザイキング処理、ノイズ低減処理など）を施す。ＡＦＥ１２からの１フレーム分の出力信号に対し、カメラ信号処理部５１の画像信号処理を施すことで得られる１枚分の画像を入力画像と呼ぶ。任意の画像に関し、画像を表すデータを画像データと呼ぶ。画像データは、例えば、画像を形成する各画素の輝度を表す輝度信号及び各画素の色を表す色差信号から成る。また、時系列に並ぶ複数の画像の集まりを画像列と呼ぶ。撮像部１１にて次々と静止画像の撮影を行えばカメラ信号処理部５１から入力画像列の画像データが得られる。

［光源状態判定部］
光源状態判定部５２（以下、判定部５２と略記することがある）は、ローリング露光モードにて得られた入力画像の画像データに基づいて、光源の輝度が周期的に変化しているか否かを判定する。今、光源の輝度が周期的に変化する場合における光源の輝度変化の周波数が５０又は６０Ｈｚであることを想定しているため、判定部５２は、光源の輝度が５０又は６０Ｈｚにて変化しているか否かを判定する。光源の輝度が５０又は６０Ｈｚにて変化していると判定することを蛍光灯判定と呼び、光源の輝度が５０又は６０Ｈｚにて変化していないと判定することを非蛍光灯判定と呼ぶ。尚、商用電源周波数は、通常、実際には５０又は６０Ｈｚから若干ずれる。従って、光源の輝度変化の周波数としての５０又は６０Ｈｚは、或る程度の幅を持った周波数であると解釈されるべきである。

判定部５２による上記の判定方法として、公知の方法を含む任意の方法を利用することができる。

例えば、判定部５２において、本出願人が提案する特開２００８−１０９２５３号公報に記載の方法を利用することができる。特開２００８−１０９２５３号公報に記載の方法を利用する場合、露光制御部２９は、第ｉ水平ラインに対するライン露光期間の時間長さを第１露光時間に設定した状態でローリング露光モードにより入力画像（以下、長露光入力画像と呼ぶ）を取得する一方、第ｉ水平ラインに対するライン露光期間の時間長さを第１露光時間よりも短い第２露光時間に設定した状態でローリング露光モードにより入力画像（以下、短露光入力画像と呼ぶ）を取得する。より具体的に例えば、第１露光時間を１／６０秒に設定し、第２露光時間を１／２４０秒に設定する。そして、判定部５２は、長露光入力画像の画像データと短露光入力画像の画像データに基づいて光源の輝度（光源の明るさ）が周期的に変化しているか否かを検出することができ、光源の輝度が周期的に変化していると検出した場合には蛍光灯判定を成し、そうでない場合には非蛍光灯判定を成すことができる。
更に、特開２００８−１０９２５３号公報に記載の如く、第１の長露光入力画像、第１の短露光入力画像、第２の長露光入力画像、第２の短露光入力画像を連続的に撮影し、蛍光灯判定を成した場合に、第１及び第２の短露光入力画像の画像データを対比するようにすれば、光源の輝度変化の周波数が１００Ｈｚであるのか１２０Ｈｚであるのかを判別することも可能である。

また例えば、特開平９−５１４８１号公報、特開２００１−１１９７０８号公報又は特開２００３−１８９１２９号公報に記載された、画像データに基づく方法を用いて、判定部５２で成すべき判定を行うようにしても良い。

また例えば、被写体の光源の輝度を測定する輝度センサ（不図示）を撮像装置１に設けておくようにしても良い。この場合、判定部５２は、入力画像の画像データを用いることなく、輝度センサの測定結果に基づき光源の輝度が周期的に変化しているか否かを検出することができる。判定部５２は、輝度センサの測定結果に基づき光源の輝度が周期的に変化していると検出された場合、蛍光灯判定を成すことができ、輝度センサの測定結果に基づき光源の輝度が周期的に変化していないと検出された場合、非蛍光灯判定を成すことができる。

［動き検出部］
動き検出部５３（以下、検出部５３と略記することがある）は、ローリング露光モード又はグローバル露光モードにて得られた入力画像の画像データに基づいて、撮像装置１の動き及び被写体の動きを検出する（ここにおける撮像装置１の動き及び被写体の動きは、実空間上における動きを指す）。撮像装置１の動きは、撮像装置１に作用した手ぶれ（撮像装置１を把持する手のぶれ）等に起因する。

動き検出部５３は、時間的に隣接して得られる２枚の入力画像間のオプティカルフローを当該２枚の入力画像の画像データに基づいて導出し、導出したオプティカルフローに基づいて、上記の動きの検出を行うことができる。具体的には以下のようにすれば良い。

動き検出部５３は、ブロックマッチング法、代表点マッチング方法又は勾配法を用いて、２枚の入力画像としての第１及び第２入力画像間のオプティカルフローを導出する。第１及び第２入力画像は、ローリング露光モード又はグローバル露光モードにて得られた入力画像である。図８に示す如く、オプティカルフローは、複数の動きベクトルから形成される。図８に示される複数の矢印は、オプティカルフローを形成する複数の動きベクトルを表している。第１及び第２入力画像の夫々の全画像領域を複数の検出ブロックに分割し、検出ブロックごとに動きベクトルを導出する。第１入力画像上における或る注目検出ブロックと、該注目検出ブロックに対応する第２入力画像上における検出ブロックと、の間の動きベクトルを注目動きベクトルと呼んだ場合、注目動きベクトルは、第１及び第２入力画像間における、注目検出ブロック内の被写体の動きの向き及び大きさを表す二次元ベクトル量である。検出ブロックごとに求められた全ての動きベクトルを平均化したベクトルを全体動きベクトルという。

第１及び第２入力画像についての全体動きベクトルは、第１及び第２入力画像の撮影期間中における撮像装置１の動きの向き及び大きさに依存するベクトル量であると共に、第１及び第２入力画像の撮影期間中における被写体の動きの向き及び大きさに依存するベクトル量でもある。従って、全体動きベクトルの導出によって撮像装置１の動き及び被写体の動きが検出される。動き検出部５３は、第１及び第２入力画像間の全体動きベクトルの大きさを所定の基準動き量と比較し、前者が後者（基準動き量）よりも大きい場合には動き大判定を成し、そうでない場合には動き小判定を成す。

尚、図９に示す如く、撮像装置１にセンサ部５６を設けることも可能であり、その場合には、入力画像の画像データではなく、センサ部５６の出力に基づいて、動き検出部５３でなすべき検出を行っても良い。

センサ部５６は、撮像装置１の角速度を検出する複数の角速度センサを備え、該複数の角速度センサを用いて撮像装置１の動き（換言すれば、手ぶれの向き及び大きさ）を検出する。複数の角速度センサは、互いに異なる方向の角速度を検出して検出角速度を表す信号を出力する。各角速度センサがフレームレートの逆数であるフレーム周期（例えば、３３ｍｓｅｃ間隔）よりも十分に短いサンプリング間隔（例えば、１ｍｓｅｃ間隔）で角速度を検出することで、センサ部５６は任意の期間における撮像装置１の動きの向き及び大きさを検出することができる。センサ部５６によって検出された、撮像装置１の動きの向き及び大きさを表すベクトルを、センサ検出ベクトルと呼ぶ。センサ部５６の検出結果に基づき、動き検出部５３は、１つのサンプリング間隔におけるセンサ検出ベクトルを生成することもできるし、サンプリング間隔の整数倍の期間におけるセンサ検出ベクトルを生成することもできる。

動き検出部５３は、一定の時間長さを有する判定期間中におけるセンサ検出ベクトルの大きさと所定の基準動き量を比較し、前者が後者（基準動き量）よりも大きい場合には動き大判定を成し、そうでない場合には動き小判定を成すことができる。判定期間中におけるセンサ検出ベクトルは、判定期間中における撮像装置１の動きの向き及び大きさを表している。尚、センサ部５６に設けられるセンサは、角速度センサ以外（例えば加速度センサ）であっても良い。また、センサ部５６の検出結果に基づいて光学式手ぶれ補正を成すことも可能である。

［ズーム倍率検出部］
ズーム倍率検出部５４（以下、検出部５４と略記することがある）は、光学系３５内におけるズームレンズ３０の位置を検出し、検出した位置に基づいて撮像部１１のズーム倍率である光学ズーム倍率を検出する。ズームレンズ３０の位置と光学ズーム倍率との関係を示すテーブルデータを検出部５４に予め格納しておくことができ、該テーブルデータを用いて光学ズーム倍率を検出することができる。

光学ズーム倍率が定まれば、撮像部１１の画角が定まる、即ち受光画素部４１上に結像する画像の画角及び入力画像の画角が定まる。光学ズーム倍率が或る倍率を起点としてｋ₁倍になれば、受光画素部４１上に結像する画像の画角は、受光画素部４１上に結像する画像の水平及び垂直方向の夫々において、１／ｋ₁倍となる（ｋ₁は正の数であって、例えば２倍）。入力画像の画角も同様である。

［露光モード選択部］
露光モード選択部５５（以下、選択部５５と略記することがある）は、判定部５２の判定結果、動き検出部５３の検出結果、又は、光学ズーム検出部５４にて検出された光学ズーム倍率に基づいて、特定の画像の撮影時に採用されるべき露光モードを選択する。図１０は、この選択方法を表している。選択した露光モードを用いて得られるべき入力画像を対象画像と呼ぶ。また、静止画像の連写を行う場合には、複数の対象画像が連続撮影される。時系列で並ぶ複数の対象画像は対象画像列とも称される。

対象画像に対する露光モードとしてグローバル露光モードを選択した場合、選択部５５は、対象画像又は対象画像列に対する露光がグローバルシャッタ方式にて行われるように、受光画素部４１及び信号読み出し回路４２を制御すると共にシャッタ３６の状態を制御する。対象画像に対する露光モードとしてローリング露光モードを選択した場合、選択部５５は、対象画像又は対象画像列に対する露光がローリングシャッタ方式にて行われるように、受光画素部４１及び信号読み出し回路４２を制御すると共にシャッタ３６の状態を制御する。

今、便宜上、対象画像をローリング露光モードにて撮影するとの仮定の下で、対象画像に輝度むらが発生すると推定することを輝度むら有り推定と呼び、対象画像に輝度むらが発生しないと推定することを輝度むら無し推定と呼ぶ。また、対象画像列をローリング露光モードにて撮影するとの仮定の下で、対象画像列に輝度フリッカが発生すると推定することを輝度フリッカ有り推定と呼び、対象画像列に輝度フリッカが発生しないと推定することを輝度フリッカ無し推定と呼ぶ。また、対象画像をローリング露光モードにて撮影するとの仮定の下で、対象画像に比較的大きなＦＰ歪みが発生すると推定することをＦＰ歪み大推定と呼び、対象画像に殆どＦＰ歪みが発生しないと推定することをＦＰ歪み小推定と呼ぶ。

選択部５５は、光源状態判定部５２の判定結果に基づいて露光モードの選択を行うことができる。対象画像の撮影前に得られた入力画像の画像データに基づき又は上記輝度センサの測定結果に基づき判定部５２により蛍光灯判定が成されている場合、選択部５５は、輝度むら有り推定及び輝度フリッカ有り推定を成し、輝度むら及び輝度フリッカの発生を回避すべく、対象画像に対する露光モードとしてグローバル露光モードを選択する。一方、対象画像の撮影前に得られた入力画像の画像データ又は上記輝度センサの測定結果に基づき判定部５２により非蛍光灯判定が成されている場合、選択部５５は、輝度むら無し推定及び輝度フリッカ無し推定を成し、ローリングシャッタ方式のメリットを享受すべく、対象画像に対する露光モードとしてローリング露光モードを選択することができる。

但し、対象画像の露光時における各受光画素の露光時間を光源の輝度変化の周期の整数倍にすることができ、実際に、その露光時間を光源の輝度変化の周期の整数倍に設定するのであれば、判定部５２により蛍光灯判定がなされていても、例外的に輝度むら無し推定及び輝度フリッカ無し推定を成し、対象画像に対する露光モードとしてローリング露光モードを選択するようにしても良い。ローリング露光モードにおいても、グローバル露光モードにおいても、各受光画素の露光時間は、被写体の明るさに基づいて露光制御部２９により事前に設定される。露光制御部２９は、入力画像の画像データ（輝度レベル）から被写体の明るさを検出することができる。尚、各受光画素の露光時間をユーザが手動で設定することも可能である。

このように、選択部５５は、ローリング露光モードにて対象画像を撮影すると仮定した場合に対象画像上に輝度むらが発生するか否か及び対象画像列上に輝度フリッカが発生するか否かを、判定部５２の判定結果を用いて事前推定し、その推定結果に基づいて対象画像に対する露光モードの選択を行うことができる。

撮像装置１の動きの大きさ又は被写体の動きの大きさが比較的大きいとき、対象画像をローリング露光モードにて撮影したならば、対象画像に比較的大きなＦＰ歪みが発生する可能性が高い。これを考慮し、選択部５５は、動き検出部５３の検出結果に基づいて露光モードの選択を行うことができる。具体的には、対象画像の撮影前に得られた入力画像の画像データに基づき又は対象画像の撮影前に得られたセンサ部５６の検出結果に基づき動き検出部５３により動き大判定が成されている場合、選択部５５は、ＦＰ歪み大推定を成し、大きなＦＰ歪みの発生を回避すべく、対象画像に対する露光モードとしてグローバル露光モードを選択する。一方、対象画像の撮影前に得られた入力画像の画像データ又は対象画像の撮影前に得られたセンサ部５６の検出結果に基づき動き検出部５３により動き小判定が成されている場合、選択部５５は、ＦＰ歪み小推定を成し、ローリングシャッタ方式のメリットを享受すべく、対象画像に対する露光モードとしてローリング露光モードを選択することができる。

光学ズーム倍率が比較的高いとき、対象画像をローリング露光モードにて撮影したならば、対象画像に比較的大きなＦＰ歪みが発生する可能性が高い。これを考慮し、選択部５５は、ズーム倍率検出部５４の検出結果に基づいて露光モードの選択を行うことができる。ズーム倍率検出部５４により対象画像の撮影直前に検出された光学ズーム倍率は、対象画像の撮影時における光学ズーム倍率となる。選択部５５は、対象画像の撮影時における光学ズーム倍率を所定の基準倍率と比較し、対象画像の撮影時における光学ズーム倍率が該基準倍率よりも大きい時には、ＦＰ歪み大推定を成し、大きなＦＰ歪みの発生を回避すべく、対象画像に対する露光モードとしてグローバル露光モードを選択する。一方、対象画像の撮影時における光学ズーム倍率が該基準倍率以下である時には、ＦＰ歪み小推定を成し、ローリングシャッタ方式のメリットを享受すべく、対象画像に対する露光モードとしてローリング露光モードを選択することができる。

このように、選択部５５は、ローリング露光モードにて対象画像を撮影すると仮定した場合において対象画像上に発生するＦＰ歪みの大小を、動き検出部５３又はズーム倍率検出部５４の検出結果を用いて事前推定し、その推定結果に基づいて対象画像に対する露光モードの選択を行うことができる。

ここで、便宜上、光源状態判定部５２の判定結果に基づき輝度むら有り推定及び輝度フリッカ有り推定が成されているという条件を第１選択条件と呼び、動き検出部５３により動き大判定が成されているという条件を第２選択条件と呼び、対象画像の撮影時における光学ズーム倍率が上記基準倍率以上であるという条件を第３選択条件と呼ぶ。

選択部５５は、光源状態判定部５２の判定結果、動き検出部５３の検出結果及びズーム倍率検出部５４の検出結果の内、判定部５２の判定結果のみに基づいて、或いは、検出部５３の検出結果のみに基づいて、或いは、検出部５４の検出結果のみに基づいて、対象画像に対する露光モードの選択を行うこともできる。例えば、判定部５２の判定結果のみに基づいて対象画像に対する露光モードの選択を行う場合、第１選択条件が成立するならば第２及び第３選択条件の成否に関わらず対象画像に対する露光モードとしてグローバル露光モードを選択し、第１選択条件が不成立ならば第２及び第３選択条件の成否に関わらず対象画像に対する露光モードとしてローリング露光モードを選択する。

但し、光源状態判定部５２の判定結果、動き検出部５３の検出結果及びズーム倍率検出部５４の検出結果の内、２又は３つを用いて対象画像に対する露光モードの選択を行う方が望ましい。

光源状態判定部５２の判定結果、動き検出部５３の検出結果及びズーム倍率検出部５４の検出結果の全てを用いて対象画像に対する露光モードの選択を行う場合、選択部５５において、以下のような選択動作が成される。第１〜第３選択条件の内、少なくとも１つの選択条件が満たされれば、対象画像に対する露光モードとしてグローバル露光モードを選択し、第１〜第３選択条件の全てが満たされない場合に限って、対象画像に対する露光モードとしてローリング露光モードを選択する。

第１〜第３選択条件の内、２つの選択条件のみを、対象画像に対する露光モードの選択に用いることもできる。例えば、第１及び第２選択条件のみを用いる場合、第３選択条件の成否は無視され、第１及び第２選択条件の内、少なくとも１つの選択条件が満たされれば、対象画像に対する露光モードとしてグローバル露光モードを選択し、第１及び第２選択条件の双方が満たされない場合に限って、対象画像に対する露光モードとしてローリング露光モードを選択する。

［動作フロー］
次に、図１１を参照して、対象画像の撮影に特に注目した、撮像装置１の動作の流れを説明する。図１１は、撮像装置１の動作の流れを表すフローチャートである。図１１の動作例において、対象画像は、シャッタボタン２６ｂを押す操作に従って得られるべき、静止画像としての入力画像である。シャッタボタン２６ｂは２段階の押下操作が可能に形成されている。ユーザがシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。また、対象画像の撮影前において、撮像部１１は入力画像の順次撮影を行っており、対象画像の撮影前の撮影によって得られた各入力画像を特にプレ入力画像と呼ぶ。プレ入力画像列は、グローバル露光モード又はローリング露光モードにて取得され、表示部２７に動画像として表示される。

図１１に示す動作では、まず、ステップＳ１１〜Ｓ１３の処理が実行される。以下の説明における現時点とは、各ステップの処理が成される時点を指す。

ステップＳ１１において、光源状態判定部５２は、現時点で得られている最新のプレ入力画像の画像データに基づき又は現時点における上記輝度センサの測定結果に基づき、蛍光灯判定又は非蛍光灯判定を成し、選択部５５は、光源状態判定部５２の判定結果に基づいて、輝度むら有り推定及び輝度フリッカ有り推定、又は、輝度むら無し推定及び輝度フリッカ無し推定を成す。特開２００８−１０９２５３号公報に記載の方法を利用する場合には、ローリング露光モードにて上記の長露光入力画像及び短露光入力画像を交互にプレ入力画像として取得するようにし、最新の長露光入力画像及び短露光入力画像の画像データに基づいて蛍光灯判定又は非蛍光灯判定を成せば良い。

ステップＳ１２において、動き検出部５３は、現時点で得られている最新の２枚のプレ入力画像に対する全体動きベクトルを導出し、該全体動きベクトルの大きさを動き量として検出する。撮像装置１にセンサ部５６が設けられている場合には、判定期間中におけるセンサ部５６の検出結果に基づくセンサ検出ベクトルを導出し、該センサ検出ベクトルの大きさを動き量として検出するようにしても良い。ここにおける判定期間とは、現時点からΔＴ秒（ΔＴ＞０）前の時点と現時点との間の期間を指す。

ステップＳ１３において、ズーム倍率検出部５４は、現時点における光学ズーム倍率を検出する。

ステップＳ１１〜Ｓ１３の各処理の後、ステップＳ１４において、ＣＰＵ２３は、シャッタボタン２６ｂの状態が半押しの状態となっているか否かを確認する。そして、それが半押しの状態となっている場合にはステップＳ１４からステップＳ１５へと移行し、そうでない場合にはステップＳ１４からステップＳ１１に戻ってステップＳ１１〜Ｓ１３の処理が繰り返し実行される。尚、シャッタボタン２６ｂの状態が半押しの状態となっていることが確認されると、ＣＰＵ２３又は映像信号処理部１３に内在するＡＦ制御部により、オートフォーカス制御が実施される。

ステップＳ１５において、選択部５５は、最新のステップＳ１１〜Ｓ１３の処理の結果が、上記第１〜第３選択条件を満たすか否かを判定し、最新のステップＳ１１〜Ｓ１３の処理の結果が第１〜第３選択条件の全てを満たさない場合に限って、対象画像に対する露光モードとしてローリング露光モードを選択する一方、そうでない場合には対象画像に対する露光モードとしてグローバル露光モードを選択する。即ち、最新のステップＳ１１の処理において輝度むら無し推定及び輝度フリッカ無し推定が成され、且つ、最新のステップＳ１２の処理にて検出された動き量が上記基準動き量以下であって、且つ、最新のステップＳ１３の処理にて検出された光学ズーム倍率が上記基準倍率以下である場合にのみ、対象画像に対する露光モードとしてローリング露光モードを選択し、そうでない場合には対象画像に対する露光モードとしてグローバル露光モードを選択する。

ステップＳ１５の処理の後、ステップＳ１６において、ＣＰＵ２３は、シャッタボタン２６ｂの状態が全押しの状態となっているか否かを確認する。そして、それが全押しの状態となっている場合にはステップＳ１６からステップＳ１７へと移行し、ステップＳ１５にて選択された露光モードにより対象画像の撮影が行われる。ステップＳ１７において複数の対象画像を連続撮影することも可能である。ステップＳ１５においてローリング露光モードが選択されている場合には、ステップＳ１７においてローリング露光モードにより１枚の対象画像の撮影又は複数枚の対象画像の連続撮影が成され、ステップＳ１５においてグローバル露光モードが選択されている場合には、ステップＳ１７においてグローバル露光モードにより１枚の対象画像の撮影又は複数枚の対象画像の連続撮影が成される。ステップＳ１７にて得られた対象画像の画像データは外部メモリ１８に記録される。ステップＳ１６において、シャッタボタン２６ｂの状態が全押しの状態となっていない場合にはステップＳ１６からステップＳ１１に戻り、ステップＳ１１以降の処理が再度実行される。

上述の如く、ローリングシャッタ方式を用いると画質劣化（輝度むら、輝度フリッカ又はＦＰ歪み）の発生が想定される場合には、グローバルシャッタ方式にて対象画像の撮影を行う。これにより、ローリングシャッタ方式に特有の画質劣化の発生が回避される。一方で、その画質劣化が問題となりにくいと判断される場合には、ローリングシャッタ方式を用いて対象画像を撮影する。これにより、ローリングシャッタ方式のメリット（高速撮影、低消費電力）を享受することも可能となる。

＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の説明では、ローリング露光モードにおいて、任意の２本の水平ラインについての露光タイミングは常に異なっているが、第１〜第Ｍ水平ラインの中に、露光タイミングが互いに同じとなる複数の水平ラインが存在していても構わない。例えば、ローリング露光モードにおいて、２本の水平ラインごとに露光タイミングが異なっていても構わない。この場合、第２水平ラインの露光タイミングと第３水平ラインの露光タイミングは互いに異なるものの、第１及び第２水平ラインの露光タイミングは互いに同じであって且つ第３及び第４水平ラインの露光タイミングは互いに同じとなる。

また、ローリング露光モードにおいて、水平ライン単位ではなく、ブロック単位で露光タイミングが異なっていても構わない。この場合、受光画素部４１は複数のブロックに分割され、各ブロックには複数の受光画素が属している。１つのブロックの中に、複数の水平ラインに属する受光画素が含まれていても良いし、複数の垂直ラインに属する受光画素が含まれていても良い。何れにせよ、ローリング露光モードにおいては、露光タイミングが互いに異なる複数の受光画素が受光画素部４１に含まれる状態で受光画素部４１の露光が行われる。

［注釈２］
上述した例では、受光画素部４１における各受光画素の出力信号を全て個別に読み出すことで入力画像が生成されることを想定している。但し、受光画素部４１の各受光画素の出力信号を間引き読み出し又は加算読み出しすることで、入力画像を生成するようにしても構わない。

間引き読み出しでは、受光画素部４１における一部の受光画素の出力信号のみが入力画像の画像データとして読み出される。加算読み出しでは、受光画素部４１における複数の受光画素の出力信号の加算信号を１つの受光画素の出力信号とみなした上で受光画素の出力信号の読み出しが成される。間引き読み出し又は加算読み出しを用いて入力画像を生成する場合、入力画像の画素数は受光画素部４１の受光画素数よりも小さくなる。

［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１撮像装置
１１撮像部
２９露光制御部
３０ズームレンズ
３１フォーカスレンズ
３２絞り
３３イメージセンサ
３４ドライバ
３５光学系
３６シャッタ
４１受光画素部
４２信号読み出し回路
５１カメラ信号処理部
５２光源状態判定部
５３動き検出部
５４ズーム倍率検出部
５５露光モード選択部
５６センサ部

Claims

複数の受光画素から成る受光画素部を有する撮像部と、
前記複数の受光画素に対する露光を同時に行う第１露光モード、又は、前記複数の受光画素に対する露光を互いに異なるタイミングで行う第２露光モードを選択し、選択した露光モードにて前記撮像部に撮影を行わせる露光制御部と、を備えた撮像装置において、
前記露光制御部は、
前記被写体の光源の状態、
当該撮像装置又は前記被写体の動き、及び、
前記撮像部におけるズーム倍率、
の内の少なくとも１つに基づいて、前記第１又は前記第２露光モードを選択する
ことを特徴とする撮像装置。
前記露光制御部は、前記光源の輝度が周期的に変化している場合には前記第１露光モードを選択し、前記光源の明るさが周期的に変化していない場合には前記第２露光モードを選択する
ことを特徴とする請求項１に記載の撮像装置。
前記露光制御部は、前記動きの大きさが比較的大きい場合には前記第１露光モードを選択し、前記動きの大きさが比較的小さい場合には前記第２露光モードを選択する
ことを特徴とする請求項１に記載の撮像装置。
前記露光制御部は、前記ズーム倍率が比較的高い場合には前記第１露光モードを選択し、前記ズーム倍率が比較的低い場合には前記第２露光モードを選択する
ことを特徴とする請求項１に記載の撮像装置。
前記露光制御部は、
前記光源の輝度が周期的に変化している場合、前記動きの大きさが比較的大きい場合、又は、前記ズーム倍率が比較的高い場合には、前記第１露光モードを選択し、
前記光源の明るさが周期的に変化しておらず、且つ、前記動きの大きさが比較的小さく、且つ、前記ズーム倍率が比較的低い場合に、前記第２露光モードを選択する
ことを特徴とする請求項１に記載の撮像装置。
複数の受光画素から成る受光画素部を有する撮像部と、
前記複数の受光画素に対する露光を同時に行う第１露光モード、又は、前記複数の受光画素に対する露光を互いに異なるタイミングで行う第２露光モードを選択し、選択した露光モードにて前記撮像部に撮影を行わせる露光制御部と、を備えた撮像装置において、
前記露光制御部は、
前記第２露光モードにて撮影を行ったときに得られる画像上の輝度むら若しくは輝度フリッカの発生状態、又は、該画像上のフォーカルプレーン歪みの発生状態を推定し、その推定結果に基づいて前記第１又は前記第２露光モードを選択する
ことを特徴とする撮像装置。