JP2018042087A - 画像処理装置、撮像装置とその制御方法及びプログラム - Google Patents

Abstract

【課題】フラッシュバンド補正後の画像に明るさの段差が発生するのを防止する。【解決手段】撮像装置１００は、撮像装置１００の全体的な制御を行うシステム制御部１０６、撮像光学系１０１、撮像光学系１０１での露出条件を変更するレンズ制御部１０８、１ラインごとに信号を読み出す撮像素子１０２、撮像素子１０２から出力される電気信号から画像データを生成する画像処理部１０３、画像データから複数のフレームに跨がるフラッシュバンドを検出する閃光検出部１０４、フラッシュバンドの発生したフレームを補正する画像補正部１０５を備える。システム制御部１０６は、フラッシュバンドが発生した最初のフレームとそのフレームの直前のフレームとの間での撮像光学系１０１における露出条件の変更の有無に応じて画像補正部１０５での補正モードを第１の補正モードと第２の補正モードとの間で切り替える。【選択図】図１

Description

本発明は、撮像素子を用いて取得された映像信号を構成するフレームにフラッシュバンドが発生した場合の画像処理技術に関する。

ビデオカメラ等の撮像装置の撮像素子としては、ＣＭＯＳ型イメージセンサ（以下「ＣＭＯＳセンサ」と称呼する）とＣＣＤ型イメージセンサ（以下「ＣＣＤセンサ」という）が広く用いられている。ＣＭＯＳセンサには、ＣＣＤセンサと比較すると、一般的に製造工程が簡単であることや消費電力が小さいこと等の特徴があり、読出しチャンネルを増やすことで１フレームの読出し速度を速くしたＣＭＯＳセンサも開発されている。

ＣＭＯＳセンサからの映像信号の読み出しには、一般的に、水平ラインを順次露光し、１ラインごとに映像信号を順次読み出して１つのフレームを生成するローリングシャッタ方式が採用されている。ローリングシャッタ方式では、１ラインごとの露光タイミングと読出し時間とにずれが生じる。そのため、例えば、ストロボ装置を用いて発光期間の短い閃光（フラッシュ）を発生させて撮影を行うと、１フレーム内に明るさの異なる帯状の段差（所謂、フラッシュバンド）が発生してしまう。そこで、ＣＭＯＳセンサを使用した撮像装置には、フラッシュバンドを補正する機能が設けられている。例えば、特許文献１には、フラッシュバンドがフレームのフラッシュバンド発生領域を、そのフラッシュバンド発生領域に対応する直前のフレームの領域で置換することで、フラッシュバンドを補正する方法が提案されている。

特許第５９２８２９０号公報

しかしながら、フラッシュバンドを補正するフレームの前後で、絞りや撮像素子のゲイン等の露出条件が変更されていることがある。この場合、上記特許文献１に記載された技術では、フラッシュバンド発生領域の置換処理後のフレームで、露出条件の変化に対応する明るさの段差が生じた画像が生成されてしまうという問題がある。

本発明は、フラッシュバンド補正後のフレーム（画像）に明るさの段差を発生させないための技術を提供することを目的とする。

本発明に係る撮像装置は、被写体からの光を取り込む撮像光学系と、前記撮像光学系での露出条件を変更する変更手段と、前記撮像光学系を通過して結像した光学像を電気信号へ変換し、前記電気信号を、順次、１ラインごとに読み出す撮像素子と、前記撮像素子から出力される電気信号から画像データを生成する画像処理手段と、前記画像処理手段により生成された画像データから複数のフレームに跨がるフラッシュバンドを検出する検出手段と、前記検出手段により検出された複数のフレームのうち少なくとも１つのフレームを全面が前記フラッシュバンドの輝度となる画像に補正する補正手段と、前記フラッシュバンドが発生した最初のフレームと該フレームの直前のフレームとの間での前記撮像光学系における露出条件の変更の有無に応じて前記補正手段で実行する補正モードを切り替える切り替え手段と、を備えることを特徴とする。

本発明によれば、フレーム間で露出条件に変化があった場合の直後のフレームにフラッシュバンドが発生しても、フラッシュバンドが発生したフレームを明るさの段差が発生しないように補正することができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 露出条件が一定の場合のフラッシュバンド補正方法を説明する図である。 露出条件が変化した場合に得られるフレームの構成を説明する図である。 露出条件が変化した場合のフラッシュバンド補正方法を説明する図である。 撮像装置で実行される第１実施形態に係る補正処理のフローチャートである。 撮像装置で実行される第２実施形態に係る補正処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、撮像光学系１０１、撮像素子１０２、画像処理部１０３、閃光検出部１０４、画像補正部１０５、システム制御部１０６、撮像素子制御部１０７、レンズ制御部１０８及び記憶・出力部１０９を備える。撮像装置１００は、具体的には、静止画や動画の撮影が可能なデジタルカメラやデジタルビデオカメラであるが、撮像素子（ＣＭＯＳセンサ）による撮像機能を備えるスマートフォンや携帯電話、タブレット型ＰＣ、携帯ゲーム機器等の電子機器であってもよい。

撮像光学系１０１は、被写体からの光を取り込み、撮像素子１０２に被写体の光学像を結像させる。撮像光学系１０１は、被写体に対してピントを合わせるためのフォーカスレンズとその駆動機構、光量や被写界深度を調節する絞りとその駆動機構、焦点距離を変化させるためのズームレンズとその駆動機構を含む。撮像素子１０２は、光電変換により撮像光学系１０１を通過して結像した光学像から電気信号（アナログ信号）を生成し、画像処理部１０３へ出力する。本実施形態では、撮像素子１０２は、１ラインごとに、順次、電気信号の読み出しを行うＣＭＯＳセンサが用いられているものとする。画像処理部１０３は、撮像素子１０２から取得したアナログ信号をデジタル信号へ変換し、ホワイトバランス処理等の周知の画像処理を施すことで画像データ（映像データ）を生成する。なお、撮像素子１０２での光電変換により生成されるアナログ信号をデジタル信号に変換する機能は、画像処理部１０３にではなく、撮像素子１０２に持たせてもよい。

閃光検出部１０４は、ストロボ装置による閃光（フラッシュ（ストロボ光））の発光等がフラッシュバンドとして１フレーム分の画像信号に現れたか否かを検出し、検出結果をシステム制御部１０６へ通知する。画像補正部１０５は、システム制御部１０６からの指令に基づき、閃光検出部１０４によってフラッシュバンドが発生していると判定されたフレームに対して、フラッシュバンドが発生している画像を補正する。後述するように、フラッシュバンドは、連続する複数のフレームに跨がって発生する。よって、画像補正部１０５は、例えば、１つのフレームを全画面閃光画像（全体が閃光を受けたときの明るさの画像）へ補正し、他のフレームは閃光が生じる前（又は閃光が治まった後）の明るさの画像に補正する。

システム制御部１０６は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えており、ＲＯＭに格納されたプログラムをＲＡＭに展開して撮像装置１００を構成する各ブロックの動作を制御することにより、撮像装置１００の全体的な動作を制御する。撮像素子制御部１０７は、システム制御部１０６の制御下で、撮像素子１０２の駆動制御（例えば、撮像素子１０２のゲイン（感度）設定、垂直同期信号ＶＤの撮像素子１０２への入力等）を行う。レンズ制御部１０８は、システム制御部１０６の制御下で、撮像光学系１０１の絞り、フォーカス、ズーム、ＮＤフィルタ等のフィルタ制御等の制御を行う。記憶・出力部１０９は、所定の画像補正が施された映像信号を記憶媒体へ格納し、また、格納した映像信号を不図示の表示装置へ出力する。

なお、システム制御部１０６は、撮像装置１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。また、画像処理部１０３や画像補正部１０５についても同様で、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組み合わせによって実装されていてもよい。

次に、本発明の第１実施形態に係るフラッシュバンド補正方法、つまり、複数のフレームに跨がるフラッシュバンドが発生した場合にフラッシュバンドが発生した各フレームを補正するために実行される撮像装置１００の制御方法について説明する。図２（ａ）は、露出条件が一定の状態での撮影時にストロボ装置による閃光の発光があったときに得られるフレームを説明する図である。図２（ａ）において、“ＶＤ”は撮像素子１０２に入力される垂直同期信号を表している。また、図２（ａ）では、横軸に時間を取り、縦軸に垂直方向ライン数を取って外部閃光の発生タイミングと露光期間との関係を示すと共に、得られるフレームと露光期間との関係が示されている。

撮像素子１０２はローリングシャッタ方式による露光と映像信号の読み出しを行っており、フレーム０の露光期間には閃光は発生していない。１フレーム分の露光時間よりも短い閃光が、フレーム１の露光期間とフレーム２の露光期間に跨がるタイミングで発生したものとする。この場合、画面（撮像素子１０２の受光面）の下部はフレーム１の露光期間中であり、画面の上部は次のフレーム２の露光期間中である。そのため、フレーム１では、垂直方向の途中のラインから下端にわたってフラッシュバンド発生領域が生じ、フレーム２では、上端からフレーム１でフラッシュバンドの発生したラインと同じラインにわたってフラッシュバンド発生領域が生じる。なお、フレーム３の露光期間には閃光は発生しておらず、よって、フレーム３にはフラッシュバンドは発生していない。

図２（ｂ）は、図２（ａ）でフラッシュバンドが発生しているフレーム１，２をその前のフレーム０を用いて補正する方法を模式的に示す図である。フラッシュバンドが発生した最初のフレームであるフレーム１におけるフラッシュバンド発生領域を領域Ｂ１とする。フレーム１の次のフレーム２におけるフラッシュバンド発生領域を領域Ｃ１とし、フレーム２における領域Ｃ１以外の領域を領域Ｄ１とし、フレーム１の直前のフレーム０において領域Ｂ１に対応する領域を領域Ａ１とする。フレーム１，２に跨がって発生したフラッシュバンドを１フレームにまとめるために、フレーム１の領域Ｂ１をフレーム０の領域Ａ１で置換し、フレーム２の領域Ｄ１をフレーム１の領域Ｂ１で置換する。これにより、フレーム１を全面で閃光が照射されていない明るさでフラッシュバンドが発生していないフレーム１ａに補正し、フレーム２を全面で閃光が照射された状態が反映された全画面閃光画像のフレーム２ａに補正することができる。このように、領域置換を実行した部分を除いてフレーム間の動解像度を落とさずにフラッシュバンド発生領域を置換する補正モードを第１の補正モードと称呼する。

次に、絞り値（Ｆ値）や撮像素子１０２のゲイン、ＮＤフィルタ等が変更された直後のフレームでフラッシュバンドが発生した場合のフラッシュバンド補正方法について説明する。図３は、撮影時に露出条件を変更した直後にストロボ装置による閃光の発光があったときに得られるフレームの構成を示す図である。ここでは、撮像光学系１０１の絞り値がＦ４．０でフレーム１０の露光が行われているタイミングで、絞り値がＦ４．０からＦ５．６へ変更された場合を取り上げることとする。この場合、絞りが閉じて行くことで、フレーム１１の露光期間では全面にわたって絞り値はＦ５．６となる。その結果、図２（ａ）の場合のフレーム１，２と同様に、フレーム１１，１２にフラッシュバンド発生領域が現れる。フレーム１３は、撮像光学系１０１の絞り値をＦ５．６として撮影されたフレームであり、フラッシュバンドは発生していない。

図４は、図３でフラッシュバンドが発生しているフレーム１１，１２をその直前のフレーム１０を用いて補正する方法を模式的に示す図である。より詳しくは、図４（ａ）は、本発明の実施例としてのフラッシュバンドの補正方法を説明する図であり、図４（ｂ）は、上述した第１の補正モードを適用した場合の参考例（比較例）を説明する図である。ここで、フレーム１１におけるフラッシュバンド発生領域を領域Ｂ２とし、フレーム１２におけるフラッシュバンド発生領域を領域Ｃ２とし、フレーム１２における領域Ｃ２以外の領域を領域Ｄ２とし、フレーム１０において領域Ｂ２に対応する領域を領域Ａ２とする。

フレーム１１，１２の補正に第１の補正モードを適用した場合でも、図４（ｂ）に示すように、フレーム１２を全面で閃光が照射されたときの状態を反映したフレーム１２ａに補正することができる。しかし、全面で閃光が照射されていない明るさのフレーム１１ｂでは、上側は絞り値５．６での撮影領域であるが、下側は絞り値４．０での撮影領域となってしまい、明るさの段差が発生したフレームとなってしまう。

この問題を解決するために、図４（ａ）に示すように第１実施形態では、フレーム１１をフレーム１０と全面置換することによって、絞り値Ｆ４．０のフレーム１０と同じフレーム１１ａを生成する。また、フレーム１２については、領域Ｄを領域Ｂで置換することにより、全面で閃光が照射されたときの状態が反映されたフレーム１２ａを生成する。この場合、映像の動解像度に関してフレーム１１ａで連続性は保たれなくなるが、露出変化による明るさの段差が発生するのを防止することができる。このように、フラッシュバンド発生領域を有するフレーム全体を別のフレームで置換することにより明るさの段差が発生することを防止する処理モードを第２の補正モードと称呼する。

撮像装置１００では、撮像光学系１０１における絞り値の変更等は、システム制御部１０６によりレンズ制御部１０８へ指示されている。また、撮像素子１０２におけるゲインの変更は、システム制御部１０６により撮像素子制御部１０７に対して指示されている。よって、システム制御部１０６は、露出条件の変更の有無を自身で判断することができる。システム制御部１０６は、露出条件の変更を行った後に閃光検出部１０４から閃光が検出された通知を受けた場合に、第１の補正モードと第２の補正モードのどちらを用いてフラッシュバンドを補正するかを決定する。

図５は、フラッシュバンドが発生したときに補正モードを決定する第１実施形態に係る処理のフローチャートである。図５のフローチャートに示す各ステップは、システム制御部１０６が所定のプログラムを実行して、撮像装置１００を構成する各ブロックの動作を制御することにより実現される。

ステップＳ１においてシステム制御部１０６は、フラッシュバンドが検出されたか否かを判定する。この判定は、閃光検出部１０４からのフラッシュバンドが検出されたことを示す通知を受信したか否かによって行われる。システム制御部１０６は、フラッシュバンドが発生したと判定した場合（Ｓ１でＹＥＳ）、処理をステップＳ２へ進め、フラッシュバンドが発生していないと判定した場合（Ｓ１でＮＯ）、ステップＳ１の判定を繰り返す。ここで、ステップＳ２以降についての説明では、便宜上、フラッシュバンドが発生した最初のフレームをフレームｎ＋１（ｎは自然数で、ｎ＋１番目のフレームであることを示す）とする。また、フレームｎ＋１でのフラッシュバンド発生領域（閃光が照射された領域）を領域Ｂ、フレームｎ＋２におけるフラッシュバンド発生領域を領域Ｃとし、フレームｎ＋２における領域Ｃ以外の領域を領域Ｄとする。更に、フレームｎ＋１の直前のフレームであるフレームｎにおいて領域Ｂに対応する領域を領域Ａとする。

ステップＳ２においてシステム制御部１０６は、フレームｎとフレームｎ＋１とで露出条件が変更されているか否かを判定する。システム制御部１０６は、露出条件が変更されていない場合（Ｓ２でＮＯ）、処理をステップＳ３へ進め、露出条件が変更されている場合（Ｓ２でＹＥＳ）、処理をステップＳ４へ進める。なお、ステップＳ２での判定対象となる露出条件とは、閃光検出部１０４に入力される映像信号のレベルを変更することができるものである。ステップＳ２での判定対象となる露出条件としては、例えば、撮像光学系１０１における絞り値やＮＤフィルタ、撮像素子１０２のゲインやシャッタスピード、画像処理部１０３でのデジタルゲイン等が挙げられる。なお、撮像素子１０２にＡ／Ｄ変換機能を持たせている場合には、デジタルゲインは撮像素子１０２に対して制御される。

ステップＳ３においてシステム制御部１０６は、画像補正部１０５を制御して、第１の補正モードによりフラッシュバンドを補正する。すなわち、フレームｎ＋１の領域Ｂをフレームｎの領域Ａで置換し、フレームｎ＋２の領域Ｄをフレームｎ＋１の領域Ｂで置換する。一方、ステップＳ４，Ｓ５においてシステム制御部１０６は、第２の補正モードによりフラッシュバンドを補正する。すなわち、システム制御部１０６は、画像補正部１０５を制御して、ステップＳ４においてフレームｎ＋１をフレームｎで置換し、ステップＳ５においてフレームｎ＋２の領域Ｄをフレームｎの領域Ｂで置換する。ステップＳ３，Ｓ５のいずれかの処理の終了により本処理は終了となる。

以上の説明の通り、第１実施形態では、フラッシュバンドが発生したフレーム内の所定の領域を置換する第１の補正モードと、フレーム全体を置換する第２の補正モードとを、露出条件の変更の有無に基づいて切り替える。これにより、フレーム間で露出条件の変更があっても、１フレーム内に明るさの段差を生じさせること無く、フラッシュバンドを補正することができる。

次に、本発明の第２実施形態について説明する。上記第１実施形態では、露出条件が変更された直後のフレームにフラッシュバンドが発生した場合には、常に、第２の補正モードが実行される。これに対して、第２実施形態では、明るさの段差よりも動解像度を優先したい場合には、露出条件の変化量（露出変化量）に応じて、第１の補正モードと第２の補正モードを切り替える構成とする。

図６は、フラッシュバンドが発生したときに補正モードを決定する第２実施形態に係る処理のフローチャートである。図６のフローチャートに示す各ステップは、システム制御部１０６が所定のプログラムを実行し、撮像装置１００を構成する各ブロックの動作を制御することにより実現される。

ステップＳ１１においてシステム制御部１０６は、フレームごとに露出条件の変更に伴う露出変化量αを算出する。ステップＳ１２においてシステム制御部１０６は、フラッシュバンドが検出されたか否かを判定する。この判定は、閃光検出部１０４からのフラッシュバンドが検出されたことを示す通知を受信したか否かによって行われる。システム制御部１０６は、フラッシュバンドが発生したと判定した場合（Ｓ１２でＹＥＳ）、処理をステップＳ１３へ進め、フラッシュバンドが発生していないと判定した場合（Ｓ１２でＮＯ）、処理をステップＳ１１へ戻す。ここで、ステップＳ１２以降についての説明では、便宜上、図５の説明と同様に、フラッシュバンドが発生した最初のフレームをフレームｎ＋１（ｎは自然数）とする。また、フレームｎ＋１でのフラッシュバンド発生領域を領域Ｂ、フレームｎ＋２におけるフラッシュバンド発生領域を領域Ｃとし、フレームｎ＋２における領域Ｃ以外の領域を領域Ｄとする。更に、フレームｎ＋１の直前のフレームであるフレームｎにおいて領域Ｂに対応する領域を領域Ａとする。

ステップＳ１３においてシステム制御部１０６は、露出変化量αの絶対値が所定の閾値βより大きいか否か（｜α｜＞β？）を判定する。システム制御部１０６は、｜α｜≦β（露出変化量の絶対値が閾値以下）である場合（Ｓ１３でＮＯ）、処理をステップＳ１４へ進め、｜α｜＞β（露出変化量の絶対値が閾値より大きい）場合（Ｓ１３でＹＥＳ）、処理をステップＳ１６へ進める。

ステップＳ１４においてシステム制御部１０６は、画像補正部１０５を制御して、第１の補正モードによりフラッシュバンドを補正する。すなわち、フレームｎ＋１の領域Ｂをフレームｎの領域Ａで置換し、フレームｎ＋２の領域Ｄをフレームｎ＋１の領域Ｂで置換する。ステップＳ１５においてシステム制御部１０６は、画像補正部１０５を制御して、ステップＳ１４後のフレームｎ＋１における領域Ａとそれ以外の領域とで明るさの段差が生じないように、フレームｎ＋１の領域Ａに露出変化量αを相殺するゲインを乗算する。なお、ステップＳ１５の処理は、ステップＳ１４の処理においてフレームｎ＋１の領域Ｂをフレームｎの領域Ａで置換する際に行ってもよい。

露出変化量αが閾値βよりも大きい場合には、ステップＳ１６，Ｓ１７において、第２の補正モードによるフラッシュバンドの補正が行われる。すなわち、システム制御部１０６は、画像補正部１０５を制御して、ステップＳ１６においてフレームｎ＋１をフレームｎで置換し、ステップＳ１７においてフレームｎ＋２の領域Ｄをフレームｎの領域Ｂで置換する。ステップＳ１５，Ｓ１７のいずれかの処理の終了により本処理は終了となる。

なお、ステップＳ１１において、露出変化量αをデシベルで表した場合に、閾値βをゼロ（０）とすれば、露出変化があるか否かを判定し、露出変化があった場合にのみステップＳ１４の処理を行うというシーケンスとすることができる。第２実施形態では、フラッシュバンドが発生したフレームとその直前のフレームでの露出変化量に応じて適切な補正モードを選択して、フラッシュバンド補正による違和感を発生させない映像を得ることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、撮像手段（撮像光学系１０１及び撮像素子１０２とその制御部）と画像処理手段（画像処理部１０３やシステム制御部１０６等の撮像手段以外の各部）とが一体的に構成された撮像装置１００について説明した。しかし、本発明の最も特徴的な構成は、フラッシュバンドを補正する画像処理を実行するシステム制御部１０６、閃光検出部１０４及び画像補正部１０５にある。したがって、システム制御部１０６、閃光検出部１０４及び画像補正部１０５を有する画像処理装置は、本発明の実施形態の１つである。例えば、本発明の実施形態には、撮像手段と画像処理装置とが別体となっており、撮像手段から画像処理装置へ各種の信号が通信により送信される構成が含まれる。その場合、撮像手段の制御部が露出条件を変更した場合にその変更情報を画像処理装置のシステム制御部へ送信する構成とする。これにより、システム制御部は、撮像手段における露出条件の変更の有無を判定することができるため、上述したフラッシュバンドの補正処理を支障なく行うことができる。

また、上記実施形態では、撮像手段が取得した映像信号をリアルタイムに監視してフラッシュバンドを検出し、補正して記憶する撮像装置１００について説明した。しかし、これに限らず、撮影時にフラッシュバンドの補正が行われることなく所定の記憶媒体に記憶された映像信号（映像データ）であって、映像信号を構成するフレームごとの露出条件が記憶されている映像信号に対して、本発明を適用することができる。この場合の画像処理装置は、まず、複数のフレームで構成される映像信号を記憶媒体から読み込み、フラッシュバンドが発生している連続するフレーム（第１のフレームと第２のフレーム）を検出する。そして、第１のフレームの直前のフレームと第１のフレームとの間での露出条件の変更の有無に関する情報を映像信号から取得する。続いて、露出条件の変更の有無に応じて第１のフレームと第２のフレームを補正するための補正モードを第１の補正モードと第２の補正モードとの間で切り替えて、第１のフレームと第２のフレームのフラッシュバンドを補正する。最後に、補正後の映像データを所定の記憶媒体に格納する。なお、第１の補正モードが選択された場合には、第２のフレームは、全面がフラッシュバンドの輝度となる画像に補正され、第１のフレームは、フラッシュバンドが発生している領域が直前のフレームの対応する領域で置換される。第２の補正モードが選択された場合には、第２のフレームは、全面がフラッシュバンドの輝度となる画像に補正され、第１のフレームは、直前のフレームで置換される。

本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 撮像光学系
１０２ 撮像素子
１０３ 画像処理部
１０４ 閃光検出部
１０５ 画像補正部
１０６ システム制御部
１０７ 撮像素子制御部
１０８ レンズ制御部

Claims (8)

1. 被写体からの光を取り込む撮像光学系と、
   前記撮像光学系での露出条件を変更する変更手段と、
   前記撮像光学系を通過して結像した光学像を電気信号へ変換し、前記電気信号を、順次、１ラインごとに読み出す撮像素子と、
   前記撮像素子から出力される電気信号から画像データを生成する画像処理手段と、
   前記画像処理手段により生成された画像データから複数のフレームに跨がるフラッシュバンドを検出する検出手段と、
   前記検出手段により検出された複数のフレームのうち少なくとも１つのフレームを全面が前記フラッシュバンドの輝度となる画像に補正する補正手段と、
   前記フラッシュバンドが発生した最初のフレームと該フレームの直前のフレームとの間での前記撮像光学系における露出条件の変更の有無に応じて前記補正手段で実行する補正モードを切り替える切り替え手段と、を備えることを特徴とする撮像装置。
2. 前記補正手段は、前記フラッシュバンドが発生している少なくとも１つの別のフレームの一部の領域を他のフレームの一部の領域で置換する第１の補正モードと、前記フラッシュバンドが発生している少なくとも１つの別のフレームの全体を他のフレームで置換する第２の補正モードとを有し、
   前記切り替え手段は、前記第１の補正モードと前記第２の補正モードとの間で補正モードを変更することを特徴とする請求項１に記載の撮像装置。
3. 前記切り替え手段は、前記最初のフレームと前記直前のフレームとの間で前記撮像光学系による露出条件が変化している場合に前記第２の補正モードを前記補正手段に設定し、前記最初のフレームと前記直前のフレームとの間で前記撮像光学系による露出条件が変化していない場合に前記第１の補正モードを前記補正手段に設定することを特徴とする請求項２に記載の撮像装置。
4. 前記切り替え手段は、前記最初のフレームと前記直前のフレームとの間で前記撮像光学系による露出条件が変化している場合において、前記露出条件の変更に伴う露出変化量の絶対値が所定の閾値より大きいときに前記第２の補正モードを前記補正手段に設定し、前記露出変化量の絶対値が所定の閾値以下のときに前記第１の補正モードを前記補正手段に設定し、
   前記最初のフレームと前記直前のフレームとの間で前記撮像光学系による露出条件が変化していない場合に前記第１の補正モードを前記補正手段に設定することを特徴とする請求項２に記載の撮像装置。
5. 前記第２の補正モードでは、前記最初のフレームが前記直前のフレームで置換されると共に、前記最初のフレームの次のフレームが前記全面が前記フラッシュバンドの輝度となる画像に補正されることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 撮像装置の制御方法であって、
   所定の露出条件に設定された撮像光学系を通過して撮像素子に結像した光学像を前記撮像素子により電気信号へ変換し、前記電気信号を、順次、１ラインごとに読み出すステップと、
   前記撮像素子から読み出された電気信号から画像データを生成するステップと、
   前記画像データから複数のフレームに跨がるフラッシュバンドを検出するステップと、
   前記フラッシュバンドが発生した最初のフレームと該フレームの直前のフレームとの間での前記撮像光学系における露出条件の変更を検出するステップと、
   前記露出条件の変更の有無に応じて前記フラッシュバンドが発生しているフレームの補正モードを第１の補正モードと第２の補正モードとの間で切り替えるステップと、
   前記第１の補正モードまたは前記第２の補正モードにより前記フラッシュバンドが跨がっている複数のフレームのうち少なくとも１つのフレームを全面が前記フラッシュバンドの輝度となる画像に補正するステップと、を有し、
   前記第１の補正モードでは、前記フラッシュバンドが発生している少なくとも１つの別のフレームの一部の領域を他のフレームの一部の領域で置換し、前記第２の補正モードでは、前記フラッシュバンドが発生している少なくとも１つの別のフレームの全体を他のフレームで置換することを特徴とする撮像装置の制御方法。
7. コンピュータを請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。
8. 複数のフレームで構成される映像信号からフラッシュバンドが発生している連続する第１のフレームと第２のフレームを検出する検出手段と、
   前記第１のフレームの直前のフレームと前記第１のフレームとの間での露出条件の変更の有無に関する情報を前記映像信号から取得する取得手段と、
   前記露出条件の変更の有無に応じて前記第１のフレームと前記第２のフレームを補正するための補正モードを第１の補正モードと第２の補正モードとの間で切り替える切り替え手段と、を備え、
   前記第１の補正モードでは、前記第２のフレームを全面が前記フラッシュバンドの輝度となる画像に補正すると共に、前記第１のフレームにおいてフラッシュバンドが発生している領域を前記直前のフレームの対応する領域で置換し、
   前記第２の補正モードでは、前記第２のフレームを全面が前記フラッシュバンドの輝度となる画像に補正すると共に、前記第１のフレームを前記直前のフレームで置換することを特徴とする画像処理装置。

Images