JP2016213661A - 撮像装置、光量変化の検出方法及びプログラム - Google Patents

Abstract

【課題】光量が変化する光源下で連写を行う際に、コマ速を落とすことなく撮像画像への光量変化の影響を抑える。
【解決手段】デジタルカメラ１００において、第１の撮像素子１０６から読み出した画像信号を用いてライブビュー映像を表示装置１１３に表示している状態で、第１の撮像素子１０６から読み出した１フレーム分の画像信号に基づき光量変化の周波数と特徴点を検出し、連写時に第１の撮像素子１０６から読み出した１フレーム分の画像信号に基づき光量変化の特徴点を検出する。連写時には、前回検出された光量変化の特徴点に基づき、第１の撮像素子１０６から読み出す１フレーム分の画像信号の中央に今回検出する光量変化の特徴点が位置するように第１の撮像素子１０６からの信号の読み出しを制御する。
【選択図】図６

Description

本発明は、デジタルカメラ等の撮像装置、撮像時の光量変化の検出方法及びプログラムに関し、特に、人工光源下での撮像時における人工光源からの光量変化に起因する露光ムラを低減する技術に関する。

光量が変化する人工光源下でデジタルカメラ等の撮像装置による撮像を行う場合、従来は、露光のシャッタスピードを光量変化の周期に合わせて、撮像素子の走査ライン毎の露光量を一定にすることで、フリッカの撮像画像への影響を抑えている。以下の説明では、適宜、光量が変化する人工光源をフリッカ光源と称呼し、光量変化をフリッカと称呼することとする。

撮像時にフリッカを精度よく検出する方法は、種々、提案されている。例えば、１フレーム内で走査ライン毎に画素レベルを積算してライン明度値を算出し、算出したライン明度値の垂直走査方向の変動周期を抽出し、抽出した変動周期が所定の周波数範囲内である場合にフリッカがあると判定する手法が提案されている（特許文献１参照）。

特開２００４−２６０５７４号公報

しかし、フリッカを高精度に検出することができても、露光のシャッタスピードをフリッカ周期に合わせたのでは、連写時のコマ速を上げることができない。また、連写を行う際に１フレームの静止画撮像毎にフリッカの有無を判定していたのでは、コマ速を上げることができない。一方、近年では、撮像素子の高感度化によってフリッカ光源下でも１／４０００秒等の高速シャッタでの撮像を行うことができるようになってきており、上記従来技術には、フリッカの検出結果を高速シャッタでの連写に適用する技術について記載されていない。

本発明は、光量が変化する人工光源下で高速シャッタによる連写を行う際に、コマ速を落とすことなく撮像画像への光量変化の影響を抑えることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体の光学像を撮像する撮像素子と、連写による撮像の前に光量変化の周波数と特徴点を検出することができるように前記撮像素子から１フレーム分の画像信号を読み出し、連写時に１フレームの静止画が撮像される度に前記光量変化の特徴点のみを検出することができるように前記撮像素子から１フレーム分の画像信号を読み出す読み出し手段と、前記読み出し手段が読み出した画像信号に基づき前記光量変化の周波数および／または特徴点を検出する検出手段と、連写による撮像の前に前記検出手段により検出された光量変化の周波数と、連写時に前記検出手段により今回検出した光量変化の特徴点とに基づいて、前記今回検出した光量変化の特徴点以降の光量変化のピークタイミングを予測する予測手段と、前記予測手段が予測した光量変化のピークタイミングと一致するように、前記撮像素子に対する露光のタイミングを制御する制御手段と、を備えることを特徴とする。

本発明によれば、連写時に撮像素子を用いて光量変化の特徴点を検出し、検出した特徴点から予測される光量のピークタイミングにシャッタタイミングを一致させる。これにより、光量が変化する人工光源下で高速シャッタによる連写を行う際に、コマ速を落とすことなく撮像画像への光量変化の影響を抑えた静止画を撮像することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示すブロック図である。 図１のデジタルカメラの主要な構成要素の配設位置を示す断面図である。 図１のデジタルカメラが備える第１の撮像素子の概略構成を示す図である。 図１のデジタルカメラが備える第１の撮像素子でのスリットローリングシャッタ動作を説明する図である。 図１のデジタルカメラにおける、電子先幕シャッタとメカ後幕シャッタによるシャッタ動作と第１の撮像素子の動作を説明する図である。 図１のデジタルカメラにおける、フリッカ光源下で表示装置にライブビュー映像を表示させた状態からの連写の動作を説明するタイミングチャートである。 図６に示す露光条件Ｂ，Ａによりそれぞれ取得される画像Ｂ，Ａからフリッカの周期とピークを求める方法を模式的に示す図である。 図７に示す画像Ｆ１からフリッカの周波数（周期）を算出する方法を模式的に説明する図である。 図６に示す露光条件Ａにより画像Ａを取得した後の１枚目の静止画撮像のシャッタタイミングを説明する図である。 図６に示す露光条件Ｃ，Ｂによりそれぞれ取得される画像からフリッカのピークを求める方法を模式的に示す図である。 図１のデジタルカメラが備える第２の撮像素子によるフリッカの検出方法を説明する図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、本発明に係る撮像装置の一例として、デジタル一眼レフカメラ（以下「デジタルカメラ」と記す）を取り上げて、説明を行う。

図１は、本発明の実施形態に係るデジタルカメラ１００の概略構成を示すブロック図である。図２は、デジタルカメラ１００の主要な構成要素の配設位置を示す断面図である。

デジタルカメラ１００は、カメラ本体１００Ａと、カメラ本体１００Ａに対して着脱自在な交換レンズ鏡筒２００とを有する。カメラ本体１００Ａは、全体制御部１０１、ミラー１０２、ミラー駆動装置１０３、シャッタ１０４、シャッタ駆動装置１０５、第１の撮像素子１０６、第１の撮像信号処理部１０７、第１のタイミング発生部１０８及びメモリ部１０９を備える。また、カメラ本体１００Ａは、記憶媒体制御Ｉ／Ｆ部１１０、表示駆動部１１２、表示装置１１３、外部インタフェース１１４、第２の撮像素子１１６、第２の撮像信号処理部１１７、及び第２のタイミング発生部１１８を備える。更に、カメラ本体１００Ａは、ペンタプリズム１１９、測距駆動装置１２０、位相差測距部１２１、接眼レンズ１２３、レリーズスイッチ１２５及びモード切替スイッチ１２６を備える。

全体制御部１０１は、具体的にはＣＰＵを含むマイクロプロセッサであり、デジタルカメラ１００（カメラ本体１００Ａと交換レンズ鏡筒２００）の全体的な制御を行う。一般的にクイックリターンミラーと呼ばれるミラー１０２は、図２に示す測光時の状態では交換レンズ鏡筒２００を通過した光をファインダ側へ導き、撮像時には跳ね上がって第１の撮像素子１０６へと導く。ミラー駆動装置１０３は、ミーら１０２を駆動する。シャッタ１０４は、フォーカルプレーン型の先幕／後幕に相当するシャッタ機構であり、交換レンズ鏡筒２００を通過した光の第１の撮像素子１０６に対する露光時間の制御と遮光を行う。シャッタ駆動装置１０５は、シャッタ１０４の駆動を行う。

交換レンズ鏡筒２００を通過した光は、第１の撮像素子１０６の表面に被写体の光学像となって結像する。第１の撮像素子１０６は、光学像を電気信号（画像信号）に変換して、第１の撮像信号処理部１０７へ出力する。第１の撮像素子１０６は、具体的には、Ｘ−Ｙアドレスで形成されているＣＭＯＳセンサである。第１の撮像信号処理部１０７は、第１の撮像素子１０６から出力される画像信号の増幅処理、アナログ信号からデジタル信号への変換（Ａ／Ｄ変換）処理、Ａ／Ｄ変換処理後の画像データに対するキズ補正等の各種の補正処理、画像データを圧縮する圧縮処理等を行う。第１のタイミング発生部１０８は、第１の撮像素子１０６と第１の撮像信号処理部１０７に対して、各種のタイミング信号を供給する。

メモリ部１０９は、第１の撮像信号処理部１０７により処理された画像データ等を一時的に記憶するＲＡＭや、各種の調整値や全体制御部１０１による各種の制御を実行させるためのプログラム等を記憶するＲＯＭによって構成されている。記憶媒体制御Ｉ／Ｆ部１１０は、記憶媒体１１１への画像データ等の書き込み処理又は記憶媒体１１１からの画像データ等の読み出し処理を行うためのインタフェースである。記憶媒体１１１は、画像データ等の各種データを記憶する半導体メモリ等であり、カメラ本体１００Ａに対して着脱自在である。

表示装置１１３は、撮像された静止画や動画、ライブビュー映像（以下「ＬＶ映像」と記す）、カメラ本体１００Ａでの撮像条件を決定するためのメニュー画面（ＵＩ）等を表示する液晶ディスプレイ等である。表示駆動部１１２は、表示装置１１３を駆動する。外部インタフェース１１４は、外部装置の一例であるコンピュータ１１５等と全体制御部１０１との間で、画像信号や制御信号等の情報の送受信を可能とするためのインタフェースである。

ＡＥセンサとして機能する第２の撮像素子１１６は、ＡＥ信号／光源検出信号を取得するための光電変換素子であり、ＲＧＢのベイヤ配置のセンサである。第２の撮像素子１１６には、グローバル電子シャッタ機能を有するＣＣＤセンサが一般的に用いられるが、ＣＭＯＳセンサであっても、読み出しが速ければ（読み出し時間が短ければ）、用いることができる。第２の撮像信号処理部１１７は、第２の撮像素子１１６から出力される画像信号の増幅処理、Ａ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、画像データを圧縮する圧縮処理等を行う。第２のタイミング発生部１１８は、第２の撮像素子１１６と第２の撮像信号処理部１１７に対して、各種のタイミング信号を供給する。

ペンタプリズム１１９は、ミラー１０２で曲げられた光をファインダの接眼レンズ１２３と第２の撮像素子１１６へ導くための部材である。位相差測距部１２１は、位相差方式により、ミラー１０２を透過した光線により被写体のデフォーカス量により位相が変化する２つ画像を取得し、２つの画像のズレ量から被写体のデフォーカス量を演算する。測距駆動装置１２０は、位相差測距部１２１を駆動する。

レリーズスイッチ１２５は、半押しされることによりオンするＳＷ１と、全押しされることによりオンされるＳＷ２とを有する。ＳＷ１がオンすることで、自動露出とオートフォーカスに加えて、光量変化（フリッカ）の周波数と特徴点（ピーク又はボトム）の検出が行われ、ＳＷ２がオンすることで、第１の撮像素子１０６による撮像が行われる。ＳＷ２がオンされた状態が維持されると、連写が行われ、連写時には１フレームの静止画の撮像毎にフリッカの特徴点のみが検出される。モード切替スイッチ１２６は、ユーザがファインダを通した撮像を行うか、表示装置１１３にＬＶ映像を表示させた状態から撮像を行うかを選択するためのスイッチである。

交換レンズ鏡筒２００は、レンズ制御部２０１、撮像レンズ２０２、レンズ駆動装置２０３、絞り２０４及び絞り駆動装置２０５を備える。撮像レンズ２０２は、被写体の光学像を第１の撮像素子１０６に結像させる。レンズ駆動装置２０３は、位相差測距部１２１が算出したデフォーカス量に基づき、撮像レンズ２０２を光軸方向に移動させて、被写体にフォーカスを合わせる。絞り２０４は、撮像レンズ２０２を通る光量を制御する。絞り駆動装置２０５は、ＡＥセンサとして機能する第２の撮像素子１１６の出力による求められる測光値に基づいて絞り２０４を駆動する。レンズ制御部２０１は、全体制御部１０１と通信を行い、全体制御部１０１からの指令に基づいて交換レンズ鏡筒２００での動作制御を行う。

表示装置１１３にＬＶ映像を表示させて撮像を行う際のデジタルカメラ１００での撮像動作について説明する前に、第１の撮像素子１０６の構成と、第１の撮像素子１０６に対する露光方法について、図３乃至図５を参照して説明する。

図３は、第１の撮像素子１０６の概略構成を示す図である。第１の撮像素子１０６は、ＸＹアドレス型の走査方法を採るＣＭＯＳセンサである。第１の撮像素子１０６は、駆動単位である画素３０１が縦横に所定数配置された構成を有し、画素３０１は、フォトダイオード（以下「ＰＤ」と記す）３０２、転送スイッチ３０３、フローティングディフュージョン（以下「ＦＤ」と記す）３０６、増幅ＭＯＳアンプ３０７、選択スイッチ３０８及びリセットスイッチ３０９を有する。

ＰＤ３０２は、光を電荷に変換する。ＦＤ３０６は、電荷を一時的に蓄積する領域である。転送スイッチ３０３は、転送パルスφＴＸによってＰＤ３０２で発生した電荷をＦＤ３０６に転送する。増幅ＭＯＳアンプ３０７は、ソースフォロアとして機能する。選択スイッチ３０８は、選択パルスφＳＥＬＶによって画素を選択する。リセットスイッチ３０９は、リセットパルスφＲＥＳによってＦＤ３０６に蓄積された電荷を除去する。

第１の撮像素子１０６は、信号出力線３１０、定電流源３１１、選択スイッチ３１２、出力アンプ３１３、垂直走査回路３１４、読み出し回路３１５及び水平走査回路３１６を有する。定電流源３１１は、増幅ＭＯＳアンプ３０７の負荷となる。読み出し回路３１５は、選択スイッチ３０８で選択された画素３０１のＦＤ３０６に蓄積された電荷を増幅ＭＯＳアンプ３０７と定電流源３１１による電荷・電圧変換で電圧に変換した後、信号出力線３１０を経て画素データ（画素信号）として読み出す。水平走査回路３１６は、選択スイッチ３１２を駆動する。選択スイッチ３１２は、読み出し回路３１５で読み出した画素データを選択する。選択スイッチ３１２によって選択された画素データは、出力アンプ３１３で増幅されて第１の撮像素子１０６から出力される。

垂直走査回路３１４は、転送スイッチ３０３，選択スイッチ３０８及びリセットスイッチ３０９を選択する。ここで、転送パルスφＴＸ、リセットパルスφＲＥＳ及び選択パルスφＳＥＬＶのそれぞれにおいて、垂直走査回路３１４によって走査選択された第ｎ番目の走査ラインをφＴＸｎ、φＲＥＳｎ、φＳＥＬＶｎ、第ｎ＋１番目の走査ラインをφＴＸｎ＋１、φＲＥＳｎ＋１、φＳＥＬＶｎ＋１とする。図３には、便宜上、第ｎ番目の走査ラインから第ｎ＋６番目の走査ラインまでが示されている。ＦＤ３０６、増幅ＭＯＳアンプ３０７及び定電流源３１１により、フローティングディフュージョンアンプが構成される。

図４は、第１の撮像素子１０６での電子的な先幕シャッタ（以下「電子先幕シャッタ」という）と電子的な後幕シャッタ（以下「電子後幕シャッタ」という）によるスリットローリングシャッタ動作を説明する図である。

電子先幕シャッタの動作では、第ｎ番目の走査ラインにおいて、時刻ｔ４０１から時刻ｔ４０２の間はφＲＥＳｎとφＴＸｎにパルスが印加されて、転送スイッチ３０３及びリセットスイッチ３０９がオンする（リセット動作）。これにより、第ｎ番目の走査ラインのＰＤ３０２とＦＤ３０６に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ４０２でφＲＥＳｎとφＴＸｎへのパルスの印加が解除されて、転送スイッチ３０３及びリセットスイッチ３０９がオフになり、第ｎ番目の走査ラインのＰＤ３０２に発生する電荷の蓄積動作が開始される（蓄積動作）。

第ｎ＋１番目の走査ライン及び第ｎ＋２番目の走査ラインは、画像として使用しないので、ここでは何も処理を行わない。なお、ＰＤ３０２に電荷が溜まって周辺の画素へ漏れ出すことを考慮するのであれば、第ｎ＋１番目の走査ライン及び第ｎ＋２番目の走査ラインのφＲＥＳｎとφＴＸｎをオンし、ＰＤの電荷を常にリセットしておく必要がある。

時刻ｔ４０３では、時刻ｔ４０２と同様に、第ｎ＋３番目の走査ラインの蓄積動作が開始され、時刻ｔ４０４で第ｎ＋６番目の走査ラインの蓄積動作が開始される。このように、一定間隔で、順次、走査ラインのリセットを解除して電荷の蓄積動作を開始することにより電子先幕シャッタ動作を実現している。

ここで、第ｎ番目の走査ラインに戻り、時刻ｔ４０５から時刻ｔ４０６の間、φＴＸｎにパルスが印加されて転送スイッチ３０３がオンし、ＰＤ３０２に蓄積された電荷をＦＤ３０６に転送する（転送動作）。第ｎ番目の走査ラインでの転送動作の終了に続いて、時刻ｔ４０６から時刻ｔ４０７の間、φＳＥＬＶｎにパルスが印加されて選択スイッチ３０８がオンする。これにより、ＦＤ３０６で保持した電荷が電圧に変換され、画素データとして読み出し回路３１５に出力される（読み出し動作）。読み出し回路３１５で一時的に保持された画素データは、水平走査回路３１６によって時刻ｔ４０７から順次出力される。そして、時刻ｔ４０８で第ｎラインにおける画素からの画素データの読み出しが完了する。

第ｎ＋３番目の走査ラインにおいて、時刻ｔ４０８から時刻ｔ４０９の間、φＴＸｎ＋３にパルスが印加されて転送スイッチ３０３がオンし、ＰＤ３０２に蓄積された電荷をＦＤ３０６に転送する転送動作が行われる。第ｎ＋３番目の走査ラインでの転送動作の終了に続いて、時刻ｔ４０９から時刻ｔ４１０の間、φＳＥＬＶｎ＋３にパルスが印加されて選択スイッチ３０８がオンすることにより、ＦＤ３０６で保持した電荷が電圧に変換され、画素データとして読み出し回路３１５に出力される。読み出し回路３１５で一時的に保持された画素データは、水平走査回路３１６によって時刻ｔ４１０から順次出力される。そして、時刻ｔ４１１で第ｎ＋３番目の走査ラインにおける画素からの画素データの読み出しが完了する。このように、一定間隔で電荷の転送及び読出しを行うことにより、電子後幕シャッタを実現している。なお、各走査ラインのＰＤ３０２のリセット完了から転送動作開始までの時間が各画素の露光時間となっている。

図５は、電子先幕シャッタと機械的な後幕シャッタ（以下「メカ後幕シャッタ」という）によるシャッタ動作と、第１の撮像素子１０６の動作を説明する図である。なお、メカ後幕シャッタは、シャッタ１０４の後幕シャッタである。

電子先幕シャッタの動作では、第ｎ番目の走査ラインにおいて、時刻ｔ５０１から時刻ｔ５０２の間、φＲＥＳｎとφＴＸｎにパルスが印加されて、転送スイッチ３０３及びリセットスイッチ３０９がオンする。これにより、第ｎ番目の走査ラインのＰＤ３０２とＦＤ３０６に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ５０２でφＲＥＳｎとφＴＸｎへのパルスの印加が解除されて、転送スイッチ３０３及びリセットスイッチ３０９がオフになり、第ｎ番目の走査ラインのＰＤ３０２に発生する電荷の蓄積動作が開始される。

同様に、時刻ｔ５０３では、第ｎ＋１番目の走査ラインの蓄積動作が開始され、時刻ｔ５０４で第ｎ＋２番目の走査ラインの蓄積動作が、時刻ｔ５０５で第ｎ＋３番目の走査ラインの蓄積動作が開始される。更に、時刻ｔ５０８で第ｎ＋４番目の走査ラインの蓄積動作が、時刻ｔ５１０で第ｎ＋５番目の走査ラインの蓄積動作が、時刻ｔ５１３で第ｎ＋６番目の走査ラインの蓄積動作が開始される。このように、順次、走査ラインのリセットを解除して電荷の蓄積動作を開始することにより、電子先幕シャッタ動作を実現している。

これに続いて、メカ後幕シャッタを走行させる。電子先幕シャッタとメカ後幕シャッタとの間が露光時間となり、各走査ラインの露光量が適切になるように電子先幕シャッタのリセットタイミングを制御している。なお、図５では、蓄積動作がメカ後幕シャッタの走行後も一定時間続いているが、メカ後幕シャッタの走行後は、遮光されているために蓄積動作が行われても、電荷が蓄積されることはない。

ここで、第ｎラインに戻り、時刻ｔ５０５から時刻ｔ５０６の間、φＴＸｎにパルスが印加されて転送スイッチ３０３がオンし、ＰＤ３０２に蓄積された電荷をＦＤ３０６に転送する転送動作が行われる。第ｎ番目の走査ラインの転送動作が終了すると、時刻ｔ５０６から時刻ｔ５０７の間、φＳＥＬＶｎにパルスが印加されて選択スイッチ３０８がオンすることにより、ＦＤ３０６で保持した電荷が電圧に変換され、画素データとして読み出し回路３１５に出力される。読み出し回路３１５で一時的に保持された画素データは、水平走査回路３１６によって時刻ｔ５０７から順次出力される。そして、時刻ｔ５０９で第ｎ番目の走査ラインにおける画素からの画素データの読み出しが完了する。

第ｎ＋１ラインにおいて、時刻ｔ５０９からｔ５１１の間、φＴＸｎ＋１にパルスが印加されて転送スイッチ３０３がオンし、ＰＤ３０２に蓄積された電荷をＦＤ３０６に転送する転送動作が行われる。第ｎ＋１番目の走査ラインの転送動作が終了すると、時刻ｔ５１１から時刻ｔ５１２の間、φＳＥＬＶｎ＋１にパルスが印加されて選択スイッチ３０８がオンすることにより、ＦＤ３０６で保持した電荷が電圧に変換され、画素データとして読み出し回路３１５に出力される。読み出し回路３１５で一時的に保持された画素データは、水平走査回路３１６によって時刻ｔ５１２から順次出力される。そして、時刻ｔ５１３で第ｎ＋１番目の走査ラインにおける画素からの画素データの読み出しが完了する。

次に、表示装置１１３にＬＶ映像を表示させた状態から静止画を連写する撮像を行う際のデジタルカメラ１００での環境光の光量変化の検出方法と撮像動作について説明する。

図６は、フリッカ光源下で表示装置１１３にＬＶ映像を表示させた状態から、環境光の光量変化を検出し、静止画を連写により撮像する動作を説明するタイミングチャートである。レリーズスイッチ１２５の全押しによってＳＷ２がオンする前は、全体制御部１０１は、フリッカによる露光ムラ（縞模様）が発生しない露光条件Ｂで第１の撮像素子１０６から読み出した画像信号に基づき、表示装置１１３にＬＶ映像を表示している。露光時間の制御は、フリッカの周期の少なくとも２周期分を含む整数倍の時間で蓄積を行うか又はフリッカの周期よりも十分に長い時間での蓄積を行うことによって行われる。このときのＬＶ映像の取得は、図４を参照して説明した電子先幕シャッタと電子後幕シャッタによるスロットローリングシャッタによって実現されており、露光条件Ｂで得られる映像は後述する図７の画像Ｂとなる。

ＳＷ２がオンすると、全体制御部１０１は、タイミングａにおいて露光条件を露光条件Ｂから露光条件Ａへ変更して第１の撮像素子１０６から１フレーム分の画像信号を読み出すことにより、フリッカによる露光ムラのシマが発生した画像Ａを故意に取得する。この場合の露光時間の制御は、フリッカの周期よりも短い時間で各走査ラインに対して露光を行うことにより行われ、フリッカによる露光のムラを故意に発生させることができる。このとき、フリッカの周波数（周期）とピーク（時間軸上の最大光量位置）を検出するために、２乃至３周期のフリッカの波形にわたる長い読み出しを行う。

画像Ａの取得は、図４を参照して説明した電子先幕シャッタと電子後幕シャッタによるスロットローリングシャッタによって実現され、露光条件Ａで得られる映像は、後述する図７の画像Ａとなる。但し、画像Ａは、表示装置１１３には表示されず、表示装置１１３は何も表示されない状態となる。これは、表示装置１１３に縞模様が入った映像を表示してしまうと、ユーザが故障が生じたと判断してしまうこと等を防止するためである。表示装置１１３に何も表示されない状態は、連写が終了するまで（ＳＷ２がオンの間）継続し、連写が終了すると（ＳＷ２がオフになると）解除される。

図７は、露光条件Ｂ，Ａによりそれぞれ取得される画像Ｂ，Ａからフリッカの周期とピークを求める方法を模式的に示す図である。露光条件Ｂでの蓄積時間はフリッカの周期の概ね整数倍としているため、露光条件Ｂでは、どのタイミングで画像を取得しても、フリッカに起因する縞模様が発生しない画像Ｂが得られる。これに対して、露光条件Ａでの蓄積時間はフリッカ周期に対して短くなっているため、得られる画像Ａにはフリッカに起因する縞模様が発生する。更に、露光条件Ａでは、読み出し時間が長いため、画像Ａ内には複数の縞が発生する（第１の読み出しステップ）。

フリッカによる縞模様が発生した画像Ａをフリッカによる縞模様が発生していない画像Ｂで除することにより、フリッカによる縞模様のみの画像Ｆ１を得ることができる。画像Ｆ１において白く見える帯の中心がフリッカのピークに対応する。画像Ｆ１からフリッカのピークにタイミングを求め、ピークタイミングとピークタイミングの時間差から、フリッカの周波数（周期）を算出することができる（第１の検出ステップ）。

図８は、画像Ｆ１からフリッカの周波数（周期）を算出する方法を模式的に説明する図である。画像Ｆ１から得られるフリッカの波形は、そのままでは特徴点の１つであるピークを検出し難いため、元の波形の微分値（隣接差分）を求め、その微分波形がゼロ（０）となる時刻ｔ１１，ｔ１２を求めると、これらがフリッカのピークタイミングとなる。そして、時刻ｔ１１，ｔ１２間の時間差をフリッカの周期として求めることができる。

なお、図８では、フリッカの波形を、典型的な正弦波（光の強さで表すために負側を正側へ反転させた波形）として示している。しかし、実際に取得することができるフリッカの波形にはノイズが含まれ、また、波形が崩れる等して１周期に微分波形がゼロとなるタイミングが３カ所以上発生する場合がある。この場合には、第１の撮像素子１０６に入射する光のノイズ除去にローパスフィルタを用い、このローパスフィルタを通した光で露光を行う等の対応を取ればよい。但し、フリッカのピークタイミングの検出に必要な部分である領域８００（微分波形の値がゼロとなる領域）が画像Ａに含まれている必要がある。また、なお、微分波形を用いた場合に、フリッカの特徴点の１つであるボトムの時刻ｔ１３の方が検出し易い場合がある。その場合、予め時刻ｔ１１，ｔ１２，ｔ１３の時間差を算出しておき、連写中はボトムのタイミングを検出してピークのタイミングを算出すればよい。

図９は、露光条件Ａにより画像Ａを取得した後の１枚目の静止画撮像のシャッタタイミングを説明する図である。図７を参照して説明したように、画像Ａの取得によってフリッカの周期と特徴点がわかっている。そこで、全体制御部１０１は、画像Ａの撮像によって検出されるフリッカの特徴点以降のピークタイミングを予測する。そして、全体制御部１０１は、予測したピークタイミングとシャッタタイミングとが一致するように、図５を参照して説明した電子先幕シャッタとメカ後幕シャッタによるシャッタ動作を制御して、静止画を撮像する。これにより、フリッカの少ない静止画ＦＬを得ることができる。なお、図６に示す「静止画撮像」は、静止画ＦＬを得る際のシャッタ動作と第１の撮像素子１０６からの電荷（画像信号）の読み出しを示している。

次に、ＳＷ２のオンにより１枚目の静止画の撮像が終了すると、全体制御部１０１は、連写を行うために、タイミングｂにおいて、フリッカによる露光ムラに起因する縞模様が発生する露光条件Ｃにより１フレーム分の画像Ｃを取得する。また、全体制御部１０１は、露光条件Ｂによる縞模様の発生しない１フレーム分の画像Ｂを取得する。

ここで、連写中にフリッカのピークが少なくとも２つ含まれるような縞模様が発生する画像が得られるように長い時間を取ってしまうと、コマ速が低下してしまう。そこで、少なくともフリッカのピークを検出することができるように、露光条件Ａよりも短時間の露光条件Ｃ（例えば、１周期より長く２周期より短いフリッカの波形）により、縞模様が発生した画像Ｃを取得する。なお、画像Ｂの取得するための露光条件Ｂは、ＬＶ映像取得時と同じ条件とすることができる。

図１０は、図６中の露光条件Ｃ，Ｂによりそれぞれ取得される画像からフリッカのピークを求める方法を模式的に示す図である。図１０（ａ），（ｂ）は、前回の静止画撮像後に、前回検出したフリッカのピークタイミングを考慮しない露光条件Ｃ（以下「露光条件Ｃ´」とする）で露光した一例として、フリッカのピークが画面の上下端にある例である画像Ｃ´を示している。前回の静止画撮像後にフリッカの周期とピークタイミングを考慮せずに露光条件Ｃでの露光を行った場合には、フリッカのピークが画面内のどこに位置するかが分からない。

画像Ｃ´を画像Ｂで除することによって画像Ｆ２´が得られる（第２の読み出しステップ）。画像Ｆ２´では、明るい部分がピークなのか、明るくなっていく途中なのか暗くなっていく途中なのかの判断が難しく、そのため、フリッカのピークのタイミングを間違えてしまう可能性がある。よって、前回の静止画撮像後に前回検出したフリッカの周期を考慮せずにランダムなタイミングでフリッカの発生する画像を取得すると、フリッカのピークを検出できない場合が発生してしまうことがある。

これに対して、図１０（ｃ），（ｄ）は、前回の静止画撮像後に、前回検出したフリッカのピークタイミングを考慮した露光条件Ｃで露光した一例として、フリッカのピークが画面の略中央にある画像Ｃを示している。ここでは、前回検出したフリッカのピークタイミングに基づいて、前回検出したフリッカのピーク以降のフリッカのピークタイミングを予測し、今回検出されるフリッカのピークが画像の上下方向の中心に位置するように、露光タイミングが制御されている。即ち、タイミングａで検出したフリッカのピークタイミング（前回検出されたピーク）を“ｔ１”、フリッカの周期“Ｔ”とすると、タイミングａ以降のフリッカのピークタイミングｔ２は、ｔ２＝ｔ１+Ｔ×ｎ（ｎは整数）、で表すことができる。よって、露光がほぼ半分だけ終了する時刻を時刻ｔ２に合わせるように制御した露光条件Ｃを用いることにより、フリッカのピークが画像中央近傍に位置する画像Ｃを得ることができる（第２の読み出しステップ）。

画像Ｃを画像Ｂで除して得られる画像Ｆ２からは、フリッカのピークを明確に求めることができる（第２の検出ステップ）。よって、画像Ｃを取得する前にわかっているフリッカの周波数と画像Ｆ２から求めたフリッカのピークとに基づき、全体制御部１０１はフリッカのピークタイミングとシャッタタイミングが一致するようにシャッタ動作を制御する。これにより、図９に示したフリッカの少ない静止画ＦＬを得ることができる。

図６に示すように、タイミングｂでフリッカを検出した後には、１フレームの静止画が撮像される。その後、タイミングｃにて、タイミングｂでの処理と同様に、画像Ｃ，Ｂが取得される。このように、ＳＷ２が押下された状態が維持される間、フリッカのピークタイミングの検出は、静止画が撮像される度に行われる。

なお、図１０（ａ）の画像Ｃ´を取得した時点でフリッカの周期は既知である。そこで、画像Ｃ´の中央部の暗い位置（フリッカのボトム）を特定し、そこから１／２周期だけずらした位置をフリッカのピークとして決定することで、フリッカのピークが画像中央近傍に位置するような画像Ｃを得ることができる。しかし、フリッカ光源には、図８を参照して説明したような典型的な正弦波で表されてボトムが尖った形態とはならずに、平らな形態（暗い状態が一定時間続く形態）となるものもあり、この場合には、フリッカのボトムの正確な位置を特定することは難しい。よって、フリッカのピークを直接特定する方法には、フリッカのボトムを特定することでフリッカのピークを決定するよりも、フリッカ光源の性質に依存することなく用いることができる利点がある。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上記実施形態では、本発明に係る撮像装置としてデジタル一眼レフカメラ１００を取り上げたが、これに限られるものではない。例えば、本発明に係る撮像装置は、ＬＶ機能を有し、ＬＶ状態から撮像素子を用いた静止画撮像を行うことができる機能を有するものであればよい。また、連写時の第１の撮像素子１０６やシャッタ１０４の動作制御を実行するためのプログラムは、撮像装置のファームウェアのアップデートに用いることができる。

上記実施形態では、ＬＶ状態から第１の撮像素子１０６による静止画撮像を行う際に、ＡＥセンサとして機能する第２の撮像素子１１６を用いていないが、図６のタイミングａでの露光条件による露光が開始されると、ＬＶ映像が表示装置１１３に表示されなくなる。そこで、図７を参照して説明したフリッカの周波数及びピークを測定する方法に代えて、同様にＬＶ映像が表示装置１１３に表示されなくなる、第２の撮像素子１１６を用いたフリッカの検出を行ってもよい。

図１１は、第２の撮像素子１１６によるフリッカの検出方法を説明する図である。ここでは、フリッカの周波数が５０Ｈｚか６０Ｈｚかを判断する例を示している。図１１中の「フリッカ：５０Ｈｚ」はフリッカの周期が１／５０秒（周波数５０Ｈｚ）の光の強さを模式的に示しており、「フリッカ：６０Ｈｚ」はフリッカの周期が１／６０秒（周波数６０Ｈｚ）の光の強さを模式的に示している。

ＬＶ映像が表示装置１１３に表示されている状態では、ミラー１０２がペンタプリズム１１９側へアップしている状態となっているが、第２の撮像素子１１６によりフリッカを検出する際には、ミラー１０２はダウンして、図２に示した位置に配置される。図１１中、「蓄積」は、フリッカを検出するための電荷の蓄積タイミングを示している。「光量検出」の部分は、フリッカ光源からの光量の平均を検出し、１２個の短い蓄積時間ａ〜ｌからなる「フリッカ検出」の部分で、フリッカの周波数（周期）とピークを検出する。図１１中の「蓄積量６０Ｈｚ」は、フリッカの周波数が６０Ｈｚの場合の蓄積時間毎の積分値を示しており、フリッカの周波数が５０Ｈｚの場合については省略している。フリッカ検出のための蓄積時間ａ〜ｌの１２個の積分値に５０Ｈｚと６０Ｈｚのどちらの周波数であってもフリッカのピークが２回以上入るように、蓄積時間ａ〜ｌの値が設定されている。これによって、積分値の大小関係に基づいてフリッカのピークを求め、ピークからピークまでの時間を演算して、フリッカの周波数が５０Ｈｚであるか又は６０Ｈｚであるかを判断することができる。フリッカの検出が終了すると、ミラーがアップして、フリッカのピークタイミングにシャッタタイミングを一致させて静止画撮影が行われ、その後の連写時の制御は、既に説明した通りに行われる。

１００ デジタルカメラ
１００Ａ カメラ本体
１０１ 全体制御部
１０４ シャッタ
１０６ 第１の撮像素子
１０７ 第１の撮像信号処理部
１１３ 表示装置
１１６ 第２の撮像素子（ＡＥセンサ）
１１７ 第２の撮像信号処理部
１２５ レリーズスイッチ
１２６ モード切替スイッチ
２００ 交換レンズ鏡筒

Claims (10)

1. 被写体の光学像を撮像する撮像素子と、
   連写による撮像の前に光量変化の周波数と特徴点を検出することができるように前記撮像素子から１フレーム分の画像信号を読み出し、連写時に１フレームの静止画が撮像される度に前記光量変化の特徴点のみを検出することができるように前記撮像素子から１フレーム分の画像信号を読み出す読み出し手段と、
   前記読み出し手段が読み出した画像信号に基づき前記光量変化の周波数および／または特徴点を検出する検出手段と、
   連写による撮像の前に前記検出手段により検出された光量変化の周波数と、連写時に前記検出手段により今回検出した光量変化の特徴点とに基づいて、前記今回検出した光量変化の特徴点以降の光量変化のピークタイミングを予測する予測手段と、
   前記予測手段が予測した光量変化のピークタイミングと一致するように、前記撮像素子に対する露光のタイミングを制御する制御手段と、を備えることを特徴とする撮像装置。
2. 前記読み出し手段は、連写による撮像の前には、光量変化による縞模様を有する画像と縞模様を有さない画像とが得られるように前記撮像素子からの信号の読み出しを制御し、
   前記検出手段は、前記縞模様を有する画像と縞模様を有さない画像とに基づいて光量変化の周波数と特徴点を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し手段は、連写時には、前記検出手段により前回検出された光量変化の特徴点に基づいて前記今回検出する光量変化の特徴点が前記撮像素子から読み出す１フレーム分の画像信号の中央に位置するように前記撮像素子からの信号の読み出しを制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記特徴点として、光量変化の波形のピークまたはボトムが用いられることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、光量変化の波形を微分した微分波形における値がゼロとなる点を前記特徴点として検出することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子に入射する光のノイズを除去するノイズ除去手段を備え、
   前記検出手段は、前記ノイズ除去手段を通した光の光量変化の波形を微分した微分波形における値がゼロとなる点を前記特徴点として検出することを特徴とする請求項５に記載の撮像装置。
7. 前記読み出し手段は、連写による撮像の前には前記光量変化の少なくとも２周期分を含む時間で前記撮像素子から１フレーム分の画像信号を読み出し、連写時には前記光量変化の１周期より長く２周期より短い時間で前記撮像素子から１フレーム分の画像信号を読み出すことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置における環境光の光量変化の検出方法であって、
   撮像素子から読み出した画像信号を用いてライブビュー映像を表示装置に表示する表示ステップと、
   連写による撮像の前に光量変化の周波数と特徴点を検出することができるように前記撮像素子から１フレーム分の画像信号を読み出す第１の読み出しステップと、
   前記第１の読み出しステップで読み出した画像信号に基づき光量変化の周波数と特徴点を検出する第１の検出ステップと、
   連写時に１フレームの静止画が撮像される度に光量変化の特徴点のみを検出することができるように前記撮像素子から１フレーム分の画像信号を読み出す第２の読み出しステップと、
   前記第２の読み出しステップで読み出した画像信号に基づき光量変化の特徴点を検出する第２の検出ステップと、を有し、
   前記第２の読み出しステップでは、前回検出された光量変化の特徴点に基づき、前記撮像素子から読み出す１フレーム分の画像信号の中央に、今回検出する光量変化の特徴点が位置するように前記撮像素子からの信号の読み出しが制御されることを特徴とする光量変化の検出方法。
9. 前記第１の検出ステップで検出された光量変化の周波数と、前記第２の検出ステップで検出された光量変化の特徴点とに基づいて、前記第２の検出ステップで検出された光量変化の特徴点以降の光量変化のピークタイミングを予測する予測ステップを更に有することを特徴とする請求項８に記載の光量変化の検出方法。
10. 請求項８又は９に記載の光量変化の検出方法の各ステップを撮像装置が備えるコンピュータに実行させることを特徴とするプログラム。