JP2009027634A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 複数枚の画像を合成して１枚の合成画像を生成する撮像装置において、合成画像におけるフリッカの影響を精度良く補正する。
【解決手段】 合成に用いる複数枚の画像の各々に対してフリッカ検出を行う。そして、合成前に各画像に対してフリッカ補正を行う。その後、フリッカ補正後の複数枚の画像を合成して、合成画像を生成する。
【選択図】 図２

Description

本発明は、光電変換素子を用いて静止画像や動画像を撮像する撮像装置及びその制御方法に関し、特にフリッカによる画質の低下を抑制する撮像装置及びその制御方法に関する。

従来、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを代表とする光電変換素子を撮像素子として用い、被写体の静止画像や動画像を撮像、記録する撮像装置が広く用いられている。このような撮像素子の中でも、特にＣＭＯＳイメージセンサは、低電圧で駆動可能である点、消費電力が低いといった特性から、利用頻度が増加してきている。

また近年では、ＣＭＯＳイメージセンサ及び、ＣＭＯＳイメージセンサの出力信号を扱う各種信号処理回路などの処理速度が向上し、短時間のうちに複数回の撮像及び信号処理が可能な高速読み出しシステムも開発されている。

このような高速読み出しシステムを用いると、高速に複数回の撮像を行い、得られた複数枚の画像を加算合成して１枚の画像を生成することにより、個々の撮像画像に含まれるダークノイズなどのランダムノイズが平均化される。そのため、最終的に得られる合成画像は、１回の撮像から得られる画像よりもランダムノイズが低減され、画質が向上するものと考えられる。

ところで、撮像環境に蛍光灯などの点滅する光源がある場合、撮像された画像は点滅光源に起因するフリッカの影響を受ける。
特にＣＭＯＳイメージセンサのようなＸＹアドレス方式の撮像素子を用いた場合、撮像素子を構成する画素の露光時刻が行ごとに異なる。そのため、撮像された画像は、図５に模式的に示すような、画面垂直方向に出力レベルが変化するラインフリッカの影響を受ける。

画像からフリッカの影響を除去もしくは低減させるような処理（フリッカ補正）が提案されている。特許文献１には、垂直走査周期ごとの信号出力値の比較によりフリッカの有無を検知し、その結果に応じて信号蓄積時間を変えることで、フリッカの影響を低減させる方法が示されている。

ところで、上述したような、複数枚の画像を加算合成して１枚の最終画像を生成する場合であっても、フリッカの影響を抑制する処理が必要である。

図４は従来例の撮像装置の撮像動作を説明するためのフローチャートである。
複数の画像を加算合成する撮像装置は、まずＳ４０１において露出制御や焦点検出などの各種機能の初期設定を行う。

続いてＳ４０２において、連続した複数回の撮像のうちの１回の撮像を行う。次にＳ４０３において、Ｓ４０２における撮像によって得られた画像信号と、既に撮像され記憶されている画像信号との合成を行う。

次にＳ４０４において、既に撮像した画像の枚数が予め定められた枚数に達したかどうかを判定し、所定枚数に未だ達していないと判定された場合には、Ｓ４０２に進み、次の撮像を開始する。Ｓ４０４において、撮像枚数が所定枚数に達したと判定された場合には、Ｓ４０５に進む。

次にＳ４０５においてフリッカ成分を検出し、続けてＳ４０６において、Ｓ４０５における検出結果をもとに、フリッカが存在するか（垂直方向における周期的な信号レベルの変動成分が存在するか）を判定する。Ｓ４０６における判定の結果、フリッカが存在すると判定された場合には、Ｓ４０７において、Ｓ４０３で得られた合成画像に存在するフリッカパターンを補正し、Ｓ４０８に進む。Ｓ４０６における判定の結果、フリッカが存在しないと判定された場合には、そのままＳ４０８に進む。

次にＳ４０８において、生成された画像信号に対し、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を施した後、記録媒体に記録したり、表示装置に表示したりする画像出力処理を行ない、一連の撮像動作を終了する。

特公平８−１５３２４号公報

このような、複数の画像を合成して１つの撮像画像を得る撮像装置における従来のフリッカ補正方法には、以下のような課題があった。即ち、合成を行う個々の画像はそれぞれ個別にフリッカの影響を受けている。そのため、このような画像を複数枚加算すると、その加算後の合成画像には、位相の異なる複数のフリッカパターンが合成されたパターンシェーディングが発生する。このような、合成されたパターンシェーディングの振幅や位相を求めるのは困難であるため、合成後の画像からフリッカの影響を除去するのは、合成を行わない画像からフリッカの影響を除去するよりも困難である。

従って、従来の補正方法では、精度よいフリッカ補正が困難であり、結果として最終的に生成される画像の品質が低下してしまう。

本発明は以上のような問題を解決するためになされたものである。本発明は、複数の撮影画像を合成して１枚の合成画像を生成する際に、合成画像におけるフリッカの影響を精度良く補正可能な撮像装置及びその制御方法を提供することを目的とする。

上述の目的は、光学被写体像を画素単位の電気信号に変換する撮像素子と、撮像素子によって複数枚の画像を連続して撮像する撮像手段と、複数枚の画像の各々について、フリッカ成分を補正するフリッカ補正を行う補正手段と、補正手段によりフリッカ補正が行われた複数枚の画像を合成し、１枚の合成画像を生成する合成手段と、合成画像を出力する出力手段とを有することを特徴とする撮像装置によって達成される。

また、上述の目的は、光学被写体像を画素単位の電気信号に変換する撮像素子と、撮像素子によって複数枚の画像を連続して撮像する撮像手段と、複数枚の画像の各々を、フリッカ成分の位相に応じたグループに分類する分類手段と、分類手段によって同じグループに分類された画像を合成し、グループごとの第１の合成画像を生成する第１の合成手段と、グループごとの合成画像に含まれる、フリッカ成分を補正するフリッカ補正を行う補正手段と、補正手段によりフリッカ補正が行われたグループごとの合成画像を合成し第２の合成画像を生成する第２の合成手段と、第２の合成画像を出力する出力手段とを有することを特徴とする撮像装置によっても達成される。

また、上述の目的は、光学被写体像を画素単位の電気信号に変換する撮像素子を有する撮像装置の制御方法であって、撮像素子によって複数枚の画像を連続して撮像する撮像工程と、撮像工程で得られた複数枚の画像の各々について、フリッカ成分を補正するフリッカ補正を行う補正工程と、補正工程によりフリッカ補正が行われた複数枚の画像を合成し、１枚の合成画像を生成する合成工程と、合成画像を出力する出力工程とを有することを特徴とする撮像装置の制御方法によっても達成される。

また、上述の目的は、光学被写体像を画素単位の電気信号に変換する撮像素子を有する撮像装置の制御方法であって、撮像素子によって複数枚の画像を連続して撮像する撮像工程と、複数枚の画像の各々を、フリッカ成分の位相に応じたグループに分類する分類工程と、分類工程によって同じグループに分類された画像を合成し、グループごとの合成画像を生成する第１の合成工程と、グループごとの合成画像に含まれる、フリッカ成分を補正するフリッカ補正を行う補正工程と、補正工程によりフリッカ補正が行われたグループごとの合成画像を合成し第２の合成画像を生成する第２の合成工程と、第２の合成画像を出力する出力工程とを有することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、複数の撮影画像を合成して１枚の合成画像を生成する際に、合成画像におけるフリッカの影響を精度良く補正可能となる。

（第１の実施形態）
以下、図面を参照して、本発明の好適かつ例示的な実施形態を説明する。
図１は、本発明の例示的な第１の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、ＸＹアドレス方式の撮像素子の一例としてのＣＭＯＳイメージセンサを用いている。

図１において、光学系１０１は、レンズ、絞り及びそれらの駆動モータ等から構成され、被写体光学像を撮像素子１０３に結像する。メカニカルシャッタ１０２は、フォーカルプレーンシャッタ等の通常のシャッタである。撮像素子１０３は、本実施形態ではＸＹアドレス方式の撮像素子の一例としてのＣＭＯＳイメージセンサであり、光学系１０１が結像した光学被写体像を画素単位の電気信号（画像信号）に変換する。

アナログ信号処理回路１０６は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行う。アナログ信号処理回路１０６は、ＣＤＳ回路１０７、信号増幅器１０８及びＡ／Ｄ変換器１０９を含んでいる。

ＣＤＳ回路１０７は、画像信号に対して相関二重サンプリングを行う。また、信号増幅器１０８は、ＣＤＳ回路１０７が出力するアナログ信号を増幅する。信号増幅器１０８は、本実施形態ではＰＧＡ(Programmable Gain Amplifier)である。Ａ／Ｄ変換器１０９は、信号増幅器１０８の出力するアナログ信号をデジタル信号に変換する。

タイミング信号発生回路１１０は、システム制御部１１８の制御に従い、撮像素子１０３、ＣＤＳ回路１０７、およびＡ／Ｄ変換器１０９を動作させるタイミング信号を発生する。駆動回路１１１は、光学系１０１、メカニカルシャッタ１０２および撮像素子１０３を駆動する。デジタル信号処理回路１１２は、アナログ信号処理回路１０６が処理した画像データに、色補間処理やホワイトバランス処理など、必要なデジタル信号処理を行う。画像メモリ１１３は、デジタル信号処理回路１１２が信号処理した画像データを記憶する。記録回路１１５は、デジタル信号処理回路１１２が信号処理した画像データを記録媒体１１４に記録する。本実施形態において、記録媒体１１４は、撮像装置から取り外し可能であるとする。

表示回路１１７は、デジタル信号処理回路１１２が信号処理した画像データを表示装置１１６に表示する。表示装置１１６は、例えばＬＣＤである。システム制御部１１８は、例えばマイクロコンピュータであり、撮像装置全体の動作を制御する。不揮発性メモリ（ＲＯＭ）１１９は、システム制御部１１８で実行する制御プログラム及び、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶する。ＲＯＭ１１９はさらに、撮像素子の画素のうち、補正が必要な画素のアドレス等の補正データも記憶している。ＲＯＭ１１９に記憶されたプログラム、制御データおよび補正データは、ＲＡＭ１２０に転送されて、システム制御部１１８によって利用される。

次に、図１の構成を有する本実施形態の撮像装置の撮像動作について説明する。
撮像動作に先立ち、撮像装置の電源投入時等のシステム制御部１１８の動作開始時において、ＲＯＭ１１９から必要なプログラム、制御データおよび補正データをＲＡＭ１２０に転送して記憶しておくものとする。また、これらのプログラムやデータは、必要に応じてＲＯＭ１１９からＲＡＭ１２０に転送したり、システム制御部１１８が直接ＲＯＭ１１９内のデータを読み出して使用したりしてもよい。

まず、光学系１０１は、システム制御部１１８からの制御信号により、絞りとレンズを駆動して、光学被写体像を撮像素子１０３上に結像させる。次に、駆動回路１１１は、静止画撮像時においては、システム制御部１１８からの制御信号により、必要な露光時間がえられるよう、メカニカルシャッタ１０２を駆動する。メカニカルシャッタ１０２は、駆動回路１１１の制御により、撮像素子１０３への光路を遮断、解放する。なお、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を実現してもよい。

なお、動画撮像時及び、静止画撮像時でメカニカルシャッタ１０２を用いず撮像素子１０３の電子シャッタ機能のみで露光時間を制御するモードでの撮像時においては、撮像動作中、メカニカルシャッタ１０２は常に開いた状態を維持させておく。撮像素子１０３は、タイミング信号発生回路１１０が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を画素単位で光電変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログ画像信号は、タイミング信号発生回路１１０が発生する動作パルスにより駆動されるアナログ信号処理回路１０６において処理される。具体的には、ＣＤＳ回路１０７でクロック同期性ノイズを除去され、信号増幅器１０８で入射光量に応じて設定された増幅率で増幅され、Ａ／Ｄ変換器１０９でデジタル画像信号に変換される。

次に、デジタル信号処理回路１１２は、システム制御部１１８の制御に従って、デジタル画像信号に対して様々な画像処理を行う。画像処理には、後述するフリッカ補正及び、複数のデジタル画像信号の加算・合成をはじめ、色変換、ホワイトバランス、ガンマ補正、解像度変換処理、画像圧縮処理等が含まれる。

画像メモリ１１３は、デジタル信号処理回路１１２が処理中のデジタル画像信号を一時的に記憶したり、処理結果のデジタル画像信号である画像データを記憶したりするために用いられる。複数の画像を加算する場合に、加算前のデジタル画像信号を一時的に格納しておくのも、この画像メモリ１１３である。

デジタル信号処理回路１１２で信号処理された画像データや画像メモリ１１３に記憶されている画像データは、記録回路１１５において記録媒体１１４に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換され、記録媒体１１４に記録される。また、デジタル信号処理回路１１２で解像度変換処理を実施された後、表示回路１１７において表示装置１１６に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて表示装置１１６に表示されたりもする。

ここで、デジタル信号処理回路１１２においては、システム制御部１１８からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１３や記録回路１１５に出力してもよい。また、デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報あるいは、それらの情報から抽出された情報をシステム制御部１１８に出力する。デジタル信号処理回路１１２が出力する情報には、例えば、画像の空間周波数に関する情報、指定領域の画素平均値、圧縮処理後の画像データ量等の情報がある。また、記録回路１１５は、システム制御部１１８から要求があった場合に、記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。

さらに、記録媒体１１４に画像データが記録されている場合の再生動作について説明する。システム制御部１１８からの制御に従って、記録回路１１５は、記録媒体１１４から指定された画像データを読み出す。デジタル信号処理回路１１２は、読み出された画像データが圧縮符号化されている場合には、画像伸長処理を行い、画像メモリ１１３に記憶する。画像メモリ１１３に記憶されている画像データは、デジタル信号処理回路１１２で解像度変換処理を実施された後、表示回路１１７において表示装置１１６に適した信号に変換されて表示装置１１６に表示される。

図２は第１の実施形態に係る撮像装置の撮像動作を説明するためのフローチャートである。ここでは、撮像素子によって連続して撮影した複数枚の画像を合成して１枚の合成画像を生成する撮像モードが設定されているものとする。また、この撮像動作は、システム制御部１１８によって制御される。

この動作は、例えば図示しないシャッターボタンが全押しされるなど、本撮影の指示が入力された際に開始される。また、本撮影指示の前の、例えばシャッターボタンが半押しされた状態において、周知の自動露出制御（ＡＥ）処理や焦点検出（ＡＦ）処理等が行われているものとする。

まずＳ２０１においてシステム制御部１１８はＡＥ，ＡＦなどの結果をもとに駆動回路１１１、タイミング信号発生回路１１０を介して、光学系１０１、撮像素子１０３、アナログ信号処理回路１０６などの初期設定を行う。

続いてＳ２０２において、システム制御部１１８は、メカニカルシャッタ１０２を制御して、撮像素子１０３を所定時間露光させ、１回の撮像を行う。撮像素子１０３から読み出された電気信号に、アナログ信号処理回路１０６において上述した信号処理を行い、デジタル画像信号として出力する。

次にＳ２０３において、デジタル信号処理回路１１２は、アナログ信号処理回路１０６から出力されたデジタル画像信号に対し、垂直方向における周期的な信号レベルの変動成分であるフリッカが存在するかを検出する。そして、Ｓ２０４において、Ｓ２０３におけるフリッカの検出結果をもとに、デジタル画像信号にフリッカが存在するか否かを判定する。

Ｓ２０４においてフリッカが存在すると判定された場合、補正手段としてのデジタル信号処理回路１１２は、Ｓ２０５において、Ｓ２０３におけるフリッカ検出結果をもとに、フリッカを補正する。

なお、Ｓ２０３におけるフリッカの検出処理、Ｓ２０４におけるフリッカの補正処理は、１枚の画像に対する処理であるため、従来から用いられている任意の手法を適用して実行することが可能である。そのため、具体的な処理の詳細については説明を省略する。

Ｓ２０４において、フリッカが存在しないと判定された場合には、そのままＳ２０６に進む。Ｓ２０６において、デジタル信号処理回路１１２は、Ｓ２０５においてフリッカ補正処理を施された画像信号と、画像メモリ１１３に記憶されている画像信号と画素単位で加算して合成する。最初の撮影時には、画像メモリ１１３には画像信号が記憶されていないため、単にフリッカ補正したデジタル画像信号を画像メモリ１１３に記憶する。合成した画像信号は、再び画像メモリ１１３に記憶させる。

次にＳ２０７において、システム制御部１１８は、合成に用いる所定枚数の撮像が終了したかどうかを判定する。所定枚数に未だ達していないと判定された場合には、Ｓ２０２に進み、次の撮像を開始する。Ｓ２０７において、撮像枚数が所定枚数に達したと判定された場合には、Ｓ２０８に進む。

Ｓ２０８において、合成手段としてのデジタル信号処理回路１１２は、画像メモリ１１３に記憶されている画像信号を合成枚数に応じて平均化し、加算合成されたデジタル画像信号を生成する。そして、このデジタル画像信号に対し、デジタル信号処理回路１１２は、色変換処理、ホワイトバランス処理、ガンマ補正処理、解像度変換処理、画像圧縮処理等を施し、画像データを生成する。画像データは、Ｓ２０８の出力処理により、記録回路１１５によって記録媒体１１４への記録に適したデータに変換されて記録媒体１１４に記録したり、表示回路１１７において表示装置１１６に適した信号に変換されて表示装置１１６に表示したりする。

以上説明したように、本実施形態によれば、連続して撮像した複数の画像を合成して１つの画像を生成する撮像装置において、合成に用いる個々の画像に対してフリッカ補正処理を行なった後に合成処理を行う。これにより、フリッカの影響を精度良く抑制した、良好な画質の合成画像を得ることが可能になるという効果を有する。また、フリッカ検出及び補正の手法として、従来用いられている手法を個々の画像に適用することが出来るため、合成を行わずに撮影した画像に対するフリッカ補正を行う構成を流用可能であり、実施が容易であるという利点も有する。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態に係る撮像装置の機能構成は第１の実施形態において説明した図１の構成と同一で良いため、重複する説明を省略する。

図３は本発明の第２の実施形態に係る撮像装置における撮影動作を説明するフローチャートである。本実施形態においても、撮像素子によって連続して撮影した複数枚の画像を合成して１枚の合成画像を生成する撮像モードが設定されているものとする。また、この撮像動作は、システム制御部１１８によって制御される。

第１の実施形態の撮像装置は、合成に用いる複数の画像それぞれに独立したフリッカ補正を行い、補正後の画像を合成していた。しかし、本実施形態の撮像装置は、合成に用いる複数の画像を、画像に含まれるフリッカの位相に応じたグループに分類し、同一グループに分類された画像に対しては画像合成をした後にフリッカ補正を行うことを特徴とするものである。

まずＳ３０１において、デジタル信号処理回路１１２は、画像メモリ１１３に記憶された、予め撮像された画像をもとに、垂直方向における周期的な信号レベルの変動成分であるフリッカを検出する。この、予め撮像された画像は、例えばＡＥ処理やＡＦ処理時に用いられた画像であって良い。

続けてＳ３０２において、デジタル信号処理回路１１２は、Ｓ３０１におけるフリッカ検出結果をもとに、撮像画像にフリッカが存在するか否かを判定し、存在すると判定された場合には、Ｓ３０３において、フリッカの周波数を算出し、Ｓ３０４に進む。フリッカの周波数は、例えば、画面の垂直方向におけるフリッカ成分のレベルの周期性と、画面のライン数との関係から求めることができる。

Ｓ３０２において、フリッカが存在しないと判定された場合には、そのままＳ３０４に進む。Ｓ３０４において、システム制御部１１８は、Ｓ３０３のフリッカ周波数算出結果をもとに撮像間隔を設定する。本実施形態においては、Ｓ３０３で算出されたフリッカ周波数が５０Ｈｚ（即ち、点滅光源の発光周期が１００Ｈｚ）であるとする。この場合、撮像された画像のフリッカの位相が、３回の撮像毎に同じになるよう、システム制御部１１８は、Ｓ３０４において、１／３０秒毎に１回の撮像を行うように撮像間隔を設定する。これにより、撮像画像に含まれるフリッカの位相は、１／３周期ずつずれた第１〜第３の位相の３種類に分類される。なお、ある複数回の撮像ごとにフリッカの位相が等しくなりさえすれば、この撮像間隔は任意の値に設定可能である。

なお、Ｓ３０２においてフリッカが存在しないと判定された場合、システム制御部１１８は、予め定めた撮像間隔を設定する。

Ｓ３０５においてシステム制御部１１８はＡＥ，ＡＦなどの結果をもとに駆動回路１１１、タイミング信号発生回路１１０を介して、光学系１０１、撮像素子１０３、アナログ信号処理回路１０６などの初期設定を行う。

続いてＳ３０６において、システム制御部１１８は、メカニカルシャッタ１０２を制御して、撮像素子１０３を所定時間露光させ、連続した複数回の撮影のうちの１回の撮像を行う。撮像素子１０３から読み出された電気信号に、アナログ信号処理回路１０６において上述した信号処理を行い、デジタル画像信号として出力する。

次にＳ３０７〜Ｓ３０８において、分類手段としてのデジタル信号処理回路１１２は、Ｓ３０６で撮像した画像に対してフリッカ検出を行い、画像に含まれるフリッカの位相が第１〜第３の位相のいずれであるのかを判定する。そして、画像に含まれるフリッカの位相に応じて、個々の画像を第１〜第３グループのいずれかに分類する。

Ｓ３０７においてフリッカの位相が”第１の位相”であると判定された場合には、Ｓ３１０において、デジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を”第１グループ”に分類する。そして、Ｓ３０９において、第１の合成手段としてのデジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を、既に画像メモリ１１３に記憶されている”第１グループの画像”と合成し、第１グループの合成画像を生成もしくは更新する。そして、合成画像信号を、再び”第１グループの画像”として画像メモリ１１３に記憶させる。

同様に、Ｓ３０８においてフリッカの位相が”第２の位相”であると判定された場合には、デジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を”第２グループ”に分類する。そして、Ｓ３１１において、第１の合成手段としてのデジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を、画像メモリ１１３に記憶されている”第２グループの画像”と合成し、第２グループの合成画像を生成若しくは更新する。

また、Ｓ３０８において、フリッカの位相が”第２の位相”でない場合、フリッカの位相は”第３の位相”であると判定される。その場合、デジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を”第３グループ”に分類する。そして、Ｓ３１２において、第１の合成手段としてのデジタル信号処理回路１１２は、Ｓ３０６で撮像された画像を、画像メモリ１１３に記憶されている”第３グループの画像”と合成し、第３グループの合成画像を生成若しくは更新する。

Ｓ３１１及びＳ３１２で合成した画像信号は、再び”第２（第３）グループの画像”として画像メモリ１１３に記憶させる。
このように、Ｓ３１０〜Ｓ３１２では、同じグループに分類された画像を合成し、グループごとの合成画像（第１の合成画像）を生成する。

なお、Ｓ３０２においてフリッカが存在しないと判定された場合、撮像画像をフリッカの位相に応じたグループに分類する必要がないので、例えば全ての画像を同一グループ（例えば”第１グループ”）に分類し、合成を行えばよい。

次にＳ３１３において、システム制御部１１８は、合成に用いる所定枚数の撮像が終了したかどうかを判定する。所定枚数に未だ達していないと判定された場合には、Ｓ３０６に進み、次の撮像を開始する。Ｓ３１３において、撮像枚数が所定枚数に達したと判定された場合には、Ｓ３１４に進む。

Ｓ３１４において、デジタル信号処理回路１１２は、例えば、第１グループの画像の合成結果（合成画像）に対し、フリッカが存在するか判定する。そして、フリッカが存在していると判定される場合、Ｓ３１５〜Ｓ３１７において、補正手段としてのデジタル信号処理回路１１２は、画像メモリ１１３に記憶されている、第１〜第３グループごとの合成画像の各々に対してフリッカ補正処理を行う。

この際、第１〜第３グループごとの合成画像はそれぞれフリッカの位相が異なるため、デジタル信号処理回路１１２は、位相にあわせたフリッカ補正処理を行う。フリッカ補正処理後は、Ｓ３１８に進む。Ｓ３１４において、フリッカが存在していなかったと判定（Ｓ３０２でＮｏを判定）された場合には、そのままＳ３１８に進む。

Ｓ３１８において、第２の合成手段としてのデジタル信号処理回路１１２は、第１〜第３グループごとの合成画像をさらに合成し、全体の合成枚数に応じて平均化して、加算合成されたデジタル画像信号（第２の合成画像）を生成する。そして、このデジタル画像信号に対し、デジタル信号処理回路１１２は、色変換処理、ホワイトバランス処理、ガンマ補正処理、解像度変換処理、画像圧縮処理等を施し、画像データを生成する。

画像データは、Ｓ３１９の出力処理により、記録回路１１５によって記録媒体１１４への記録に適したデータに変換されて記録媒体１１４に記録したり、表示回路１１７において表示装置１１６に適した信号に変換されて表示装置１１６に表示したりする。

以上説明したように、本実施形態によれば、フリッカの周波数に応じて撮影間隔を設定し、同相のフリッカにより影響を受ける撮像画像をグループ化する。そして、同一グループ内の画像を合成した後、グループ単位でフリッカ補正を行ったのち、最終的な合成画像を生成する。フリッカ補正の精度を良好に維持しながら、フリッカ補正を行う回数を低減でき、処理を容易にすることが可能である。

（他の実施形態）
第２の実施形態においては、フリッカの位相が３種類となるような場合を用いて説明したが、本発明はそれに限定されない。例えば、周波数６０Ｈｚのフリッカを検出した場合に１／２４秒ごとに撮像を行うようにすることで、フリッカの位相を２種類にしてもよい。また、同じく周波数６０Ｈｚのフリッカを検出した場合に１／２５秒ごとに撮像を行うようにすることで、フリッカの位相を５種類としてもよい。

また、第１及び第２の実施形態においては、フリッカの有無及びフリッカ周波数の検出は、撮像された画像信号をもとに、デジタル信号処理回路１１２で行うものとして説明した。しかし、本発明はそれに限定されず、例えば、ＡＥセンサやフリッカ検出専用の光センサなど、撮像素子１０３以外の光センサによる出力信号をもとにフリッカを検出する構成とすることも可能である。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る撮像装置の撮像動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る撮像装置の撮像動作を説明するためのフローチャートである。 従来の撮像装置の撮像動作を説明するためのフローチャートである。 ＣＭＯＳセンサ等で発生するラインフリッカの一例を模式的に示す図である。

Claims (5)

1. 光学被写体像を画素単位の電気信号に変換する撮像素子と、
   前記撮像素子によって複数枚の画像を連続して撮像する撮像手段と、
   前記複数枚の画像の各々について、フリッカ成分を補正するフリッカ補正を行う補正手段と、
   前記補正手段により前記フリッカ補正が行われた前記複数枚の画像を合成し、１枚の合成画像を生成する合成手段と、
   前記合成画像を出力する出力手段とを有することを特徴とする撮像装置。
2. 光学被写体像を画素単位の電気信号に変換する撮像素子と、
   前記撮像素子によって複数枚の画像を連続して撮像する撮像手段と、
   前記複数枚の画像の各々を、フリッカ成分の位相に応じたグループに分類する分類手段と、
   前記分類手段によって同じグループに分類された画像を合成し、前記グループごとの第１の合成画像を生成する第１の合成手段と、
   前記グループごとの合成画像に含まれる、フリッカ成分を補正するフリッカ補正を行う補正手段と、
   前記補正手段により前記フリッカ補正が行われた前記グループごとの合成画像を合成し第２の合成画像を生成する第２の合成手段と、
   前記第２の合成画像を出力する出力手段とを有することを特徴とする撮像装置。
3. 前記撮像素子がＸＹアドレス方式の撮像素子であることを特徴とする請求項１又は請求項２記載の撮像装置。
4. 光学被写体像を画素単位の電気信号に変換する撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子によって複数枚の画像を連続して撮像する撮像工程と、
   前記撮像工程で得られた前記複数枚の画像の各々について、フリッカ成分を補正するフリッカ補正を行う補正工程と、
   前記補正工程により前記フリッカ補正が行われた前記複数枚の画像を合成し、１枚の合成画像を生成する合成工程と、
   前記合成画像を出力する出力工程とを有することを特徴とする撮像装置の制御方法。
5. 光学被写体像を画素単位の電気信号に変換する撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子によって複数枚の画像を連続して撮像する撮像工程と、
   前記複数枚の画像の各々を、フリッカ成分の位相に応じたグループに分類する分類工程と、
   前記分類工程によって同じグループに分類された画像を合成し、前記グループごとの合成画像を生成する第１の合成工程と、
   前記グループごとの合成画像に含まれる、フリッカ成分を補正するフリッカ補正を行う補正工程と、
   前記補正工程により前記フリッカ補正が行われた前記グループごとの合成画像を合成し第２の合成画像を生成する第２の合成工程と、
   前記第２の合成画像を出力する出力工程とを有することを特徴とする撮像装置の制御方法。