JP2013121099A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】効果的なフリッカの除去を可能とする装置、方法を提供する。
【解決手段】輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。
【選択図】図４

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、フリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

蛍光灯の照明の下で、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅｓ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、画像信号に縞状の輝度ムラや色ムラが発生する。特に、映像を撮影して表示装置に表示した場合、輝度の高い部分と低い部分の縞パターンが画面上を流れるような現象が確認される。これはフリッカと呼ばれる。
フリッカは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。

図１を参照してＣＭＯＳイメージセンサによる撮影画像におけるフリッカ発生原理について説明する。図１には、以下のデータを示している。
（ａ）蛍光灯の輝度変化
（ｂ）ＣＭＯＳイメージセンサの撮像（露光）シーケンスの模式図
（ｃ）ＣＭＯＳイメージの読み出しタイミング
（ｄ）出力画像のイメージ
図１において時間（ｔ）は左から右に経過している。

蛍光灯は、５０Ｈｚの商用電源地域で動作していることを想定している。この場合蛍光灯は電源周波数（５０Ｈｚ）の２倍の周波数１００Ｈｚで点滅を繰り返している。（ａ）に示す円弧状のカーブは蛍光灯の輝度変化を示している。１００ＨＺ、すなわち１／１００秒単位の周期で輝度変化を発生させている。

このような照明環境下で毎秒６０フレームのフレームレートでローリングシャッタを有するＣＭＯＳイメージセンサで画像撮影を行う。露光処理は時間経過に伴い、各撮影フレームの上端行（Ｒｏｗ）から下端行（Ｒｏｗ）に向かって順次、行われる。

（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図において、斜め点線がイメージセンサのリセットのタイミングを示すラインであり、斜めの実線が読み出しのタイミングを示すラインである。点線で示すリセット後に露光が開始され、実線で示す読み出しタイミングまでの期間が露光時間となる。ローリングシャッタによりフレームの上部のスキャンラインから下部のスキャンラインに向かって露光が行われている。

隣り合う２本の斜めの実線に囲まれた領域がイメージセンサの１フレームを示している。点線と実線とではさまれた露光時間には、照明の輝度変化に対応する輝度変化が発生している。すなわち、画像フレームを構成する各行ごとに露光タイミングが異なるため、輝度変化のある光源の影響により、図１の（ｄ）出力画像に示すように横縞状のムラ、いわゆるフリッカが発生する。

図１の（ｄ）出力画像にはフレーム＃１〜フレーム＃４の４枚の連続撮影画像を示している。毎秒６０フレームのフレームレート（６０ｆｐｓ）で撮影された動画を構成する画像フレーム＃１〜＃４である。
フレーム＃３には上端部Ｐ，中間部Ｑ，下端部Ｒをそれぞれ示している。これらは、（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図における露光時間Ｐ，Ｑ，Ｒとの対応位置を明示するために示している。
フレーム＃３の上端部Ｐは、蛍光灯の輝度が明るい期間に露光された行部分である。
フレーム＃３の中間部Ｑは、蛍光灯の輝度が暗い期間から明るい期間に変化する期間に露光された行部分である。
フレーム＃３の下端部Ｒは、蛍光灯の輝度が暗い期間に露光された行部分に対応する。
このように各行（Ｒｏｗ）の露光期間の蛍光灯輝度が一致しないため輝度ムラや色ムラに基づく縞模様が発生する。

なお、一般的な撮像素子は、撮像素子の構成画素単位で例えばＲＧＢ各波長光のいずれかを選択的に入力する構成を有している。このＲＧＢ配列としては例えばベイヤ（Ｂａｙｅｒ）配列が知られている。例えばベイヤ（Ｂａｙｅｒ）配列等を有するカラーのイメージセンサで撮像を行った場合、蛍光灯の蛍光体の残光特性の波長依存性により、色信号（カラーチャンネル）ごとにフリッカの影響度が異なり、振幅や位相の相違により色ムラが発生することになる。

このようなフリッカによる画像品質の劣化を補正するいわゆるフリッカ補正を開示した従来技術して、例えば以下の従来技術がある。
特許文献１（特開平１１−１２２５１３号公報）は、フリッカ補正画像に先行して撮影された過去の画像の画素値を水平方向に積算した信号強度分布を、さらに複数枚（フリッカ１周期分）積算し、得られた平均強度分布と、補正対象となる現在画像の強度分布の比率を算出してこの比率に基づいて、例えば画像の各行（Ｒｏｗ）単位の強度を補正するための補正波形（フリッカ補正波形）を生成して、この補正波形を適用して現在画像の各行の強度の補正をフリッカ補正として実行する構成を開示している。

しかし、このフリッカ補正を適用する場合、補正対象とする画像と、積算する過去画像はすべて同一のシーン（静止シーン）が撮影されている必要がある。
このため、フリッカの周期が長くなる撮影条件の場合は長い時間の静止シーンが必要で、実際に適用することは困難である。また、補正が開始されるまでに長い時間を要するといった問題もある。

また、上記の特許文献１（特開平１１−１２２５１３号公報）のように、画像の強度分布からフリッカ補正波形を求める処理を行う場合、画像内に飽和領域や暗部領域があると、正確な補正波形が求められないという問題が生じる。

また、複数の過去撮影画像の強度分布からフリッカ補正波形を求める手法では、前述のように積算する過去画像はすべて同一のシーン（静止シーン）が撮影されている必要がある。従って、動被写体シーンを含む場合、正確なフリッカ補正波形は求められないため、例えば事前に静止シーンで得た補正波形を用いるなどの対策が必要になる。ただしフリッカ波形の位相は常に推移するため、補正波形は位相を考慮して適用する必要がある。フリッカ補正波形と、画像内のフリッカ波形の位相が一致しない状態で補正を行うと、逆にフリッカの影響を強調してしまう場合もある。

その他の従来技術として、特許文献２（特開２００２−１６５１４１号公報）は、電源周波数と露光時間が倍数の関係となるように調節することで、フリッカの影響を低減する方法を開示している。

この方法では静止シーンの強度分布の積算は不要となるが、実際には電源周波数にシャッタスピードを完全に一致させることは困難であり、微小な誤差が発生することは避けられない。結果として、周期の非常に長いフリッカ（長周期フリッカ）が生じる。このフリッカは、露光時間が短い撮影画像に、より顕著にあらわれる。

なお、図１を参照して説明したフリッカは、短周期フリッカと呼ばれる。フリッカの種類としては、図１を参照して説明した短周期フリッカと、上述の長周期フリッカがある。
すなわち、図１を参照して説明した短周期フリッカは、蛍光灯の明暗周期より明らかに短いシャッタスピードで撮影した場合の撮影画像中のムラとして現れ、映像として表示した場合、明るい部分と暗い部分からなる縞模様が比較的、はっきり識別され、比較的速いスピードで移動することが認識される。

一方、長周期フリッカは、蛍光灯の明暗周期に近いシャッタスピードで撮影した画像に現れる画像ムラであり、電源周波数とシャッタスピードの差分に起因する。この長周期フリッカは、映像として表示した場合、明るい部分と暗い部分からなる縞模様がぼんやりと識別され、比較的遅いスピードで移動する縞模様として認識される。

特開平１１−１２２５１３号公報 特開２００２−１６５１４１号公報

本開示は、例えば上記の問題に鑑みてなされたものであり、より高精度なフリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一実施例の構成においては、例えば過去画像の積算処理等を行うことなく、処理負荷を軽減して高精度なフリッカ補正を行う画像処理装置、および画像処理方法、並びにプログラムを提供する。

本開示の第１の側面は、
短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
前記信号処理部は、
前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、フリッカ成分を除去した補正画像の生成処理に際して、補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
信号処理部が、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理ステップを実行し、
前記信号処理ステップにおいては、
前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行させるプログラムであり、
信号処理部に、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、
前記信号処理部に、
前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、効果的なフリッカの除去を可能とする装置、方法が実現される。
具体的には、輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。
これらの処理によって、効果的なフリッカの除去を可能とする装置、方法が実現される。

フリッカによる画像に対する影響について説明する図である。 画像処理装置の構成例について説明する図である。 蛍光灯の周期と画像の撮影タイミングとの対応について説明する図である。 フリッカ補正処理のシーケンスについて説明する図である。 行プロファイルについて説明する図である。 短時間露光画像と長時間露光画像の行プロファイルの例について説明する図である。 フリッカ成分の抽出とフリッカ補正係数（フリッカ補正波形）の生成処理について説明する図である。 フリッカ成分の抽出とフリッカ補正係数（フリッカ補正波形）の生成処理について説明する図である。 フリッカ補正波形の生成処理について説明する図である。 フリッカ補正波形からの一周期分の波形抽出処理について説明する図である。 フリッカ補正波形の正弦波近似処理について説明する図である。 フリッカ補正波形を適用した画像補正処理について説明する図である。 フリッカ補正波形を適用した画像補正処理について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の全体構成と処理について
２．フリッカ補正処理の詳細について
２−１．行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）生成処理について
２−２．フリッカ補正係数算出処理について
２−３．動被写体検出処理について
２−４．静止画と判定された画像に対するフリッカ補正処理について
２−５．動被写体を含む画像に対するフリッカ補正処理について
３．本開示の構成のまとめ

［１．本開示の画像処理装置の全体構成と処理について］
まず、本開示の画像処理装置の一実施例である撮像装置の構成例について、図２を参照して説明する。
図２は、本開示の一実施例にかかる撮像装置１００の全体構成を示すブロック図である。撮像装置１００は、撮像部１０１、信号処理部１０２、コーデック（符号化復号処理部）１０３、記録再生部１０４、記録メディア１２０、表示部１３０、制御部１５０、メモリ１５１を有する。

撮像部１０１は、レンズや撮像素子等によって構成される。撮像素子は、ＸＹアドレス走査型の撮像素子であるＣＭＯＳイメージセンサである。ＸＹアドレス走査型の撮像素子であるＣＭＯＳイメージセンサは、先に図１を参照して説明したように、時間経過に従って順次、上段行から下段行に向かって露光処理が行われる。ＣＭＯＳイメージセンサによる受光信号は、光電変換され電気信号として信号処理部１０２に入力される。

信号処理部１０２は、一般的なカメラ信号処理として実行されるホワイトバランス調整、ガンマ補正、あるいはデモザイク処理等の処理の他、本発明に従ったフリッカ補正処理を実行する。フリッカ補正処理を実行するフリッカ補正処理部の構成、および処理の詳細については、図３以下を参照して後段で説明する。

信号処理部１０２における信号処理の結果として得られたデータはコーデック（符号化復号処理部）１０３に入力される。また、表示部１３０に出力され表示処理が実行される。コーデック１０３では例えばＭＰＥＧ符号化処理等、予め規定された符号化処理を実行し、処理結果を記録再生部１０４に出力する。

記録再生部１０４は、予め規定された記録フォーマットに従って、記録メディア１２０に対する撮影画像の記録処理を実行する。記録メディア１２０はたとえばフラッシュメモリ、磁気ディスク、光ディスクなどのデータ記録可能なメディアである。

なお、記録メディア１２０に記録された画像の再生を行う場合は、記録再生部部１０４が記録メディア１２０からのデータ読み出しを実行し、読み出されたデータがコーデック１０３に提供され、復号処理が実行される。復号処理の結果として得られる画像が表示部１３０に表示される。

なお、これらの各構成部の制御は、制御部１５０がメモリ１５１に予め記録されたプログラムに従って実行する。制御部１５０はプログラム実行機能を持つＣＰＵを有する。メモリ１５１はＲＡＭ，ＲＯＭ等によって構成される。

図２に示す撮像装置１００は、
短時間露光画像、
長時間露光画像、
これら少なくとも２種類の異なる露光時間の画像を連続的に撮影する。
さらに１つの露光時間の設定を蛍光灯の輝度周期、あるいは輝度周期の整数倍に設定する。

なお、このような複数の異なる露光時間の撮影処理は、広ダイナミックレンジの画像撮影を行う処理として行われる手法である。
広ダイナミックレンジ撮像においては、イメージセンサの露光時間を周期的に変えて撮像を行い、各画素の輝度レベル等に応じた画像合成処理によって広ダイナミックレンジ画像を得る。すなわち低輝度画素部分は、長時間露光画像の画素値を適用し、高輝度画素部分は短時間露光画像の画素値を用いるといった画像合成処理によって、広ダイナミックレンジの画像を生成するものである。なお、各画素値の設定の際には、全体的な整合性を保持させるための画素値算出処理が行われる。
このような処理により、一定時間の露光時間の撮影画像では得られないダイナミックレンジの広い画像を得ることができる。

このような広ダイナミックレンジ画像生成処理に際して、異なる露光時間の画像を合成する前の処理として、以下に説明するフリッカ補正を施すことで、フリッカを抑制した広ダイナミックレンジ画像を生成することができる。

異なる露光時間の撮影シーケンスと、蛍光灯の波形との対応関係の例について図３を参照して説明する。
図３は、電源周波数＝６０Ｈｚの電源によって点灯した蛍光灯の下で、撮像装置が１秒間に１２０枚、すなわち１２０ｆｐｓのフレームレートで画像撮影を行った場合のシーケンスを示している。
なお、電源周波数＝６０Ｈｚの電源によって点灯した蛍光灯の輝度周期は１２０Ｈｚであり、１秒間に１２０回の明暗パターンを繰り返す。

撮像装置は、
露光時間（ｔ１）の短時間露光画像、
露光時間（ｔ２）の長時間露光画像、
少なくともこれら２種類以上の異なる露光時間の画像を繰り返し撮影する。
本開示の撮像装置は、少なくとも１つの画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像とする。
図３に示す設定は、１秒間に６０枚の短時間露光画像と、６０枚の長時間露光画像を交互に撮影する設定である。
ここで、長時間露光画像の露光時間（ｔ２）は、蛍光灯の輝度周期［１／１２０（ｓｅｃ）］にほぼ一致している。すなわち、
ｔ２≒１／１２０（ｓｅｃ）
この設定である。

長時間露光画像の露光時間（ｔ２）は、１／１２０（ｓｅｃ）に完全に一致させることは困難であるが、長時間露光画像の露光時間（ｔ２）を、蛍光灯の輝度周期［１／１２０（ｓｅｃ）］にほぼ一致させることで、長時間露光画像は、フリッカの影響をほとんど含まない画像として撮影される。
一方、短時間露光画像の露光時間（ｔ１）は、蛍光灯の輝度周期、あるいはその倍数とは異なる設定であり、短時間露光画像は、フリッカの影響を受けた画像として撮影される。
図２に示す撮像装置１００の信号処理部１０２は、これらの複数の露光時間の設定の下で撮影された画像を適用したフリッカ補正を行う。
以下、信号処理部１０２において実行するフリッカ補正の詳細について説明する。

［２．フリッカ補正処理の詳細について］
信号処理部１０２において実行するフリッカ補正の詳細について説明する。
図４は、信号処理部１０２において実行するフリッカ補正処理のシーケンスを示す図である。なお、図４に示すシーケンスは、例えば、図４に示す各ステップ（Ｓ１０１〜）の処理を規定したプログラムに従って、信号処理部１０２内のプロセッサによって実行される。あるいは各処理を実行するための専用のハードウェアを利用して実行してもよい。

信号処理部１０２は、撮像部１０１を構成するイメージセンサで取得されるＲＡＷ画像を入力画像２０１として入力し、ＲＡＷ画像に対するフリッカ補正処理を行う。なお、ＲＡＷ画像は撮像部１０１の出力データであり、デモザイク処理等の信号処理が施される前の生データである。デモザイク処理は、撮像部１０１を構成するイメージセンサの各画素対応のデータとして例えばＲＧＢのすべての画素値を設定する処理であり、デモザイク処理を実行する前のＲＡＷデータは、イメージセンサの各画素に対して例えばＲＧＢいずれかの画素値のみが設定されたデータである。

図４に示すように、信号処理部１０２は、デモザイク処理前のＲＡＷ画像を入力画像２０１として、入力画像２０１に対するフリッカ補正が施された出力画像２０２を生成する。ただし、この処理は一例であり、信号処理部１０２は、デモザイク処理が実行されたカラー画像を入力してカラー画像に対して、以下に説明すると同様の処理を行うことでフリッカ補正処理を実行する構成としてもよい。
以下、図４に示すフリッカ補正処理シーケンスについて、各処理ステップに従って順次説明する。

［２−１．行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）生成処理について］
まず、ステップＳ１０１において、入力画像２０１に対する行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）を生成する。
行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）とは、撮影画像の各行単位の信号量（強度）を示すデータである。

ＲＡＷ画像２０１の水平方向にカラーチャンネル（ＲＧＢ）ごとに信号値（画素値）の積分処理を行い、行単位の１次元の信号量（Ｉｎｔｅｎｓｉｔｙ）を得る。前述したように、ＲＡＷデータは、イメージセンサの各画素に対して例えばＲＧＢいずれかの画素値のみが設定されたデータである。
例えば図５に示すようなデータを行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）として生成する。

行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）は、フリッカ補正としての画素値補正を行単位で実行するための基礎データとして利用する。
行プロファイルの生成と行単位のフリッカ補正は、フリッカの撮影画像に対する影響が画像のスキャンライン（水平）方向でほぼ同一という仮定のもとに行われる処理であり、このような行単位の処理とすることで、フリッカ補正の計算量削減や処理の効率化が実現される。

例えばベイヤ（Ｂａｙｅｒ）配列型のイメージセンサであれば、行単位でＲ，Ｇ，Ｂチャンネルそれぞれ独立に積分処理を行い、ＲＧＢ各チャンネルの行単位の１次元の信号量（ＲＰ）として、
信号量：ＲＰ＿Ｒｋ（ｙ），ＲＰ＿Ｇｋ（ｙ），ＲＰ＿Ｂｋ（ｙ）
を得る。
なお、ｋは、画像のフレーム番号であり、ｙは画像の縦方向の座標値を表す。
信号処理部１０２は、このように、入力ＲＡＷ画像フレームｋに対して、各行（ｙ）単位で、
信号量：ＲＰ＿Ｒｋ（ｙ），ＲＰ＿Ｇｋ（ｙ），ＲＰ＿Ｂｋ（ｙ）
を算出する。

なお、処理手法としては、
（１）色信号成分、例えばＲＧＢのカラーチャンネル単位で個別に処理を実行する手法と、
（２）カラーチャンネル（例えばＲＧＢ）を区別せず、行単位で１つの信号量ＲＰｋ（ｙ）を算出してこれを用いて全てのカラーチャンネル対応画素に対して共通の処理を実行する手法、
これら２つの手法がある。いずれの処理を行っても効果的なフリッカの削減効果を発揮することが可能である。なお、（１）のＲＧＢのカラーチャンネル単位の処理は、色ムラの削減効果を高めることができる。
行プロファイル（Ｒｏｗ Ｐｒｏｆｉｌｅ）生成処理は、上記（１），（２）のいずれの処理として実行してもよい。

先に、図３を参照して説明したように、本開示の撮像装置は、
露光時間（ｔ１）の短時間露光画像、
露光時間（ｔ２）の長時間露光画像、
少なくともこれら２種類以上の異なる露光時間の画像を繰り返し撮影する。
図３に示す設定は、１秒間に６０枚の短時間露光画像と、６０枚の長時間露光画像を交互に撮影する設定である。
ここで、長時間露光画像の露光時間（ｔ２）は、蛍光灯の輝度周期にほぼ一致している。すなわち、
ｔ２≒１／１２０（ｓｅｃ）
この設定である。従って、長時間露光画像は、フリッカの影響をほとんど含まない画像として撮影される。
一方、短時間露光画像の露光時間（ｔ１）は、蛍光灯の輝度周期、あるいはその倍数とは異なる設定であり、短時間露光画像は、フリッカの影響を受けた画像として撮影される。

この結果、
短時間露光画像の行プロファイルは、フリッカの影響を含む行プロファイルとなる。
一方、長時間露光画像の行プロファイルは、フリッカの影響をほとんど含まない行プロファイルとなる。
図６を参照して短時間露光画像の行プロファイルと長時間露光画像の行プロファイルの例について説明する。図６には、
（ａ）短時間露光画像の輝度分布特徴データと、短時間露光画像の行プロファイル
（ｂ）長時間露光画像の輝度分布特徴データと、長短時間露光画像の行プロファイル
これらを示している。

図６（ａ）に示す短時間露光画像の行プロファイルは、フリッカの影響を大きく受けた行プロファイルとなる。ＲＧＢの各信号量が行の中央部分で落ち込み、両端が高くなっているのは、フリッカの影響によるものと推定される。

一方、図６（ｂ）に示す長時間露光画像の行プロファイルは、フリッカの影響をほとんど含まない行プロファイルとなる。ＲＧＢの各信号量は、各行に渡ってほぼ均一であり、顕著な変化は見られない。フリッカの影響による信号量の変化はほとんど発生していないと推定される。

図４に示すシーケンス図のステップＳ１０１では、短時間露光画像と長時間露光画像の各撮影画像について、行プロファイルを順次、生成する。
例えば先に図３を参照して説明した撮影シーケンス、すなわち、
露光時間（ｔ１）の短時間露光画像、
露光時間（ｔ２）の長時間露光画像、
これらの画像を交互に撮影するシーケンスでは、
短時間露光画像の行プロファイルの生成、
長時間露光画像の行プロファイルの生成、
短時間露光画像の行プロファイルの生成、
長時間露光画像の行プロファイルの生成、
・・・
これらの処理を繰り返し実行する。

［２−２．フリッカ補正係数算出処理について］
次に、ステップＳ１０２において、フリッカ補正係数を算出する。なお、本実施例において、フリッカの影響が大きく発生するのは短時間露光画像であり、短時間露光画像各々に対応したフリッカ補正係数を算出する。

フリッカ補正係数の算出処理について、図７、図８を参照して説明する。
図７には、
（ａ）フリッカ補正係数算出対象となる短時間露光画像の行プロファイル
（ｂ）フリッカ補正係数算出に適用する基準プロファイルとしての長時間露光画像の行プロファイル
（ｃ）（ａ）／（ｂ）の除算処理によって得られる（ａ）短時間露光画像に対応するフリッカ成分データ
これらを示している。
なお、図７（ｃ）の縦軸に示すフリッカゲインは、
フリッカゲイン＝１／補正係数
である。

さらに、図８には、
（ｃ）図７（ｃ）と同様の（ａ）／（ｂ）の除算処理によって得られる（ａ）短時間露光画像に対応するフリッカ成分データ
（ｄ）（ｃ）に示すフリッカ成分の位相の反転処理によって生成するフリッカ補正係数（≒フリッカ補正波形）
これらを示している。

図７（ａ）に示すフリッカ補正係数算出対象の短時間露光画像の行プロファイルを、その短時間露光画像の直前または直後に撮影された長時間露光画像の行プロファイル（基準プロファイル）で除算（各色、各対応行の信号量同士で除算）する。
すなわち、図７（ｂ）に示す長時間露光画像の行プロファイル（基準プロファイル）で除算する。この除算処理によって、図７（ｃ）に示すフリッカ成分データが得られる。

なお、図７に示す、
（ａ）／（ｂ）の除算処理、
この除算処理の実行前に、長時間露光画像と短時間露光画像の露光比を調整する処理を行う。いずれかのプロファイルの信号強度（信号量）に露光比に応じた係数を乗算する露光比調整を行う。この露光比調整後に、除算処理を行う。

具体的な処理例について説明する。
例えば、ＲＧＢ中、Ｒ（赤）の行プロファイルのある行（ｐ）の信号量を、
長時間露光画像の信号量（ＲＬｐ）、
短時間露光画像の信号量（ＲＳｐ）、
さらに、長時間露光画像と短時間露光画像の露光比をｎ：１、
とする。
この場合、Ｒ（赤）の行（ｐ）の補正係数ＲＡｐは以下の式で算出する。
ＲＡｐ＝（ＲＳｐ）／（（ＲＬｐ）／ｎ）

同様の除算処理を全ての行で算出して、１つの短時間露光画像に対応するＲ（赤）のフリッカ成分を求め、このフリッカ成分の位相反転処理によって、図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）を算出することができる。
この処理をＲＧＢすべての色について行い、
１つの短時間露光画像に対応するＲ（赤）、Ｇ（緑）、Ｂ（青）のフリッカ成分の算出処理によって、（ｃ）フリッカ成分データを算出する。
（ｃ）フリッカ成分データは、（ａ）短時間露光画像に含まれるフリッカ成分のみに相当する輝度分布データとなる。

さらに、図７に示す（ｃ）に示すフリッカ成分データに対して、図８に示すように位相反転処理を行うことで、（ｄ）フリッカ補正係数（≒フリッカ補正波形）が生成される。
（ｄ）フリッカ補正係数（≒フリッカ補正波形）は、（ａ）短時間露光画像に含まれるフリッカ成分の逆の強度分布を持つデータに相当する。

この処理を少なくとも複数の短時間露光画像に対して実行し、複数のフリッカ補正係数（≒フリッカ補正波形）を算出する。
図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）は、フリッカのみの信号成分の逆の位相を持つ信号パターンであり、この（ｄ）フリッカ補正係数（≒フリッカ補正波形）の行単位の補正係数を、（ａ）短時間露光画像の各行の信号（画素値）に乗算することで、フリッカ成分を取り除く処理が可能となる。

ただし、この図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）は、被写体による影響は図７の除算処理によりほぼ取り除かれているが、画像中の飽和領域、暗部領域による影響などが含まれ、このまま画像補正処理に適用してもよい補正結果は得られない。本開示の画像処理装置では、この図８（ｄ）に示すフリッカ補正係数（≒フリッカ補正波形）に対してさらに処理を行い、最終的なフリッカ補正波形を算出する。この処理については後述する。

［２−３．動被写体検出処理について］
図４に示すフリッカ補正シーケンスについて、説明を続ける。
ステップＳ１０２におけるフリッカ補正係数の算出処理が終了すると、次に、ステップＳ１０３に進む。
ステップＳ１０３では、動被写体検出処理を実行する。これは撮影画像に動被写体が含まれるか否かの検出処理である。
動被写体が含まれる場合と、含まれない場合とでは、その後の処理が異なるためである。

ステップＳ１０３における動被写体検出処理は、ステップＳ１０１において求めた各画像フレームの行プロファイルの差分と予め規定した閾値との比較処理として実行する。
なお、比較処理を行う行プロファイルは、フリッカの影響の少ない長時間露光時間画像とする。
例えば近接する撮影時間に撮影された複数の長時間露光画像の行プロファイルを比較し、その差分データを算出する。

具体的には、例えば、撮影時間（ｔｘ）に撮影された長時間露光画像ｘの行プロファイル（Ｘｐｒｏ）と、
時間（ｔｘ）の次の長時間露光撮影タイミングである撮影時間（ｔｙ）に撮影された長時間露光画像ｙの行プロファイル（Ｙｐｒｏ）を比較して、これらの行プロファイルの差分を算出する。

行プロファイルは、図５、図６を参照して説明したようにＲＧＢ各色ごとのデータとして算出する。従って、比較対象となる２つの行プロファイル（Ｘｐｒｏ，Ｙｐｒｏ）について、各色、各行単位の信号量の差分を算出し、これらをすべて加算した積算値Ｚと、予め設定した閾値（Ｔｈ）とを比較する。
積算値Ｚが閾値（Ｔｈ）以上、すなわち、
Ｚ≧Ｔｈ
上記式が成立した場合は、動被写体が含まれると判定する。
上記式が成立しない場合は、動被写体が含まれないと判定する。

［２−４．静止画と判定された画像に対するフリッカ補正処理について］
次のステップＳ１１１〜Ｓ１１６の処理は、ステップＳ１０３において動被写体が含まれないと判定された長時間露光画像の撮影タイミングの間に撮影された静止画であると判定された短時間露光画像に対する処理として実行する。

まず、ステップＳ１１１において、ステップＳ１０２で算出した複数のフリッカ補正係数（≒フリッカ補正波形）を合成して、少なくとも一周期分以上のフリッカ補正波形を生成する。
この合成処理に際しては、各画像対応のフリッカ補正係数（≒フリッカ補正波形）の位相を考慮して、正しく連結する処理を行う。
図９に複数のフリッカ補正係数（≒フリッカ補正波形）の合成処理例を示す。

図９には、
（ａ１）フレームｆ１の短時間露光画像のフリッカ補正係数（Ｇ（緑））、
（ａ２）フレームｆ２の短時間露光画像のフリッカ補正係数（Ｇ（緑））、
これらを示している。
これらは異なるタイコミングで撮影された短時間露光画像であり、
フリッカの影響による行単位の信号量の波がずれている。すなわち位相差を持つデータとなっている。

これらの位相差のある複数のフリッカ補正波形の部分データを、位相差を考慮して合成することで、少なくとも一周期分以上の補正波形を生成する。
この合成処理によって、図９（ｂ）に示すフリッカ補正波形が得られる。

図９（ｂ）に示すフリッカ補正波形は、フリッカによる周期的な輝度変化、すなわち蛍光灯の輝度変化パターンに対応する波形である。
しかし、このフリッカ補正波形は、画像中の飽和領域、暗部領域による影響などが含まれ、純粋なフリッカに対応した補正波形とは一致しない。すなわちノイズを含むフリッカ補正波形である。

図４のシーケンス図に戻り、フリッカ補正処理シーケンスについての説明を続ける。
ステップＳ１１１において、図９を参照して説明したように１周期以上のフリッカ補正波形を生成すると、次に、ステップＳ１１２に進む。

ステップＳ１１２では、ステップＳ１１１において生成した１周期以上のフリッカ補正波形から１周期分のフリッカ補正波形を切り出す処理を行う。
図１０に示すように１周期分のフリッカ補正波形を切り出す。

次に、ステップＳ１１３〜Ｓ１１４において、１周期分のフリッカ補正波形に対する離散フーリエ変換（ＤＦＴ）を行う。さらに、ＤＦＴ変換結果を用いたノイズ除去処理等を行い、正弦波近似処理を実行する。

具体的には、例えば１周期分のフリッカ補正波形に対する離散フーリエ変換（ＤＦＴ）により、信号成分を１〜Ｎ次成分のデータに区分する。次に、２〜Ｎ−１次成分のデータを１次成分データとＮ次成分データに振り分ける。このように、２次以降の高次成分を例えば低次に振り分ける処理を行うことで、波形振幅の変動を防止してノイズと推定される成分を除去することができる。

さらに、フリッカ波形の振幅調整としてのゲイン調整を実行して、ノイズを除去し正弦波近似されたフリッカ補正波形を生成する。

正弦波近似を行ったフリッカ補正波形の１周期分を繰り返すことで複数周期のフリッカ補正波形が生成される。
例えば図１１に示すフリッカ補正波形を生成する。
このフリッカ補正波形は蛍光灯の明暗周期に対応する波形である。すらわち、蛍光灯下での撮影画像の画素値に対するフリッカの影響を示すデータである。

なお、このフリッカ補正波形生成処理に際して、例えば一部のデータが欠損している場合などには、例えば前後の値の平均値を利用した補間処理やスプライン補間処理、線形補間処理などを適用して欠損部分を埋める処理を行う。

この正弦波近似によって得られるフリッカ補正波形は、先に図８を参照して説明した図８（ｃ）のフリッカ成分データを位相反転した図８（ｄ）に示すフリッカ補正係数を適用して生成する処理として説明した。しかし、図８（ｃ）のフリッカ成分データの位相反転を行わずに、図８（ｃ）のフリッカ成分データをそのまま利用して制限は近似を行っても、位相がずれるのみで波形としては同じ波形を得ることが可能であり、図８（ｄ）の位相反転処理は行わずに図８（ｃ）のフリッカ成分データを利用して図１１に示す正弦波近似されたフリッカ補正波形を生成する構成としてもよい。

次に、ステップＳ１１５において、ステップＳ１１４で生成したフリッカ補正波形を適用して、各短時間露光画像のフリッカ補正を実行する。
フリッカ補正波形を適用したフリッカ補正処理の具体例について図１２を参照して説明する。

図１２には、
（１Ａ）フリッカ補正対象となる短時間露光画像
（２）フリッカ補正波形（＝図１１に示すフリッカ補正波形）
（３）フリッカ補正後の補正された短時間露光画像
これらを示している。

図１２（１Ａ）に示す短時間露光画像は、フリッカの影響により、行単位で明らかなフリッカの影響による信号値（画素値）の高低の波が存在する。
画像の上端を行ａ、下端を行ｂとする。行ａ〜ｂにはフリッカの影響と推定される明らかな信号値（画素値）の高低の波が存在する。

このフリッカによる影響を除去するために、ステップＳ１１３〜Ｓ１１４において生成したフリッカ補正波形を適用した信号処理を実行する。
先に、図８を参照して説明したように、フリッカ補正波形は、フリッカ成分信号の逆位相の信号である。

従って、フリッカの影響を受けた短時間露光画像の各行の画素値に対して、フリッカ補正係数からなるフリッカ補正波形に対応する係数を乗算すれば、フリッカの影響を排除した補正画像を生成することができる。

なお、このフリッカ補正波形に対応する係数の乗算処理に際しては、フリッカ補正対象とする短時間露光画像におけるフリッカの位相と、フリッカ補正波形の位相を整合させることが必要である。

この位相調整のためには、例えばステップＳ１０２において生成した短時間露光画像に対応するフリッカ補正係数データと、フリッカ補正波形のピークを合わせ、さらに、短時間露光画像の露光時間に応じてフリッカ補正波形の切り出し範囲を設定するといった処理が有効である。

具体的には、図１３に示すように、（１Ａ）短時間露光画像に対応する（１Ｂ）フリッカ補正係数データと、（２）フリッカ補正波形のピークを合わせ、さらに、短時間露光画像の露光時間に応じてフリッカ補正波形の切り出し範囲を設定する。
このような処理によってフリッカ補正波形の切り出し範囲を決定し、切り出したフリッカ補正波形に対応する乗算係数を各行単位で設定して、（１Ａ）短時間露光画像の各行の画素値に乗算して補正画素値を算出する。
ステップＳ１１５では、このような処理によって、補正画像を生成する。

このように、信号処理部１０２は、補正対象画像の行プロファイルのピーク位置と、フリッカ補正波形のピーク位置を一致させる位相合わせを行い、フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行して、フリッカ成分を除去した補正画像を生成する。

なお、ステップＳ１１５におけるフリッカ補正処理は、同一環境の下で撮影された画像中、動被写体を含まないと判定された画像に対して、フリッカ補正波形を適用して実行することができる。
なお、同じ蛍光灯の下で撮影された画像には同じ周期のフリッカパターンが生じ、１つのフリッカ補正波形を生成後は、そのフリッカ補正波形を適用して、同一環境下でその後に撮影された画像に対する補正を行うことが可能だからである。

ただし、各短時間露光画像に対するフリッカ補正の適用範囲の抽出に際しては、図１３を参照して説明したように、各処理対象画像の行プロファイルのピーク位置と、フリッカ補正波形のピーク一を合わせるといった位相調整を行う必要がある。
ステップＳ１１４において生成したフリッカ補正波形は、ステップＳ１１６においてメモリに格納され、各撮影画像の補正に利用される。

［２−５．動被写体を含む画像に対するフリッカ補正処理について］
次に、図４に示すシーケンス図のステップＳ１２１〜Ｓ１２２の処理について説明する。
この処理は、ステップＳ１０３において撮影画像に動被写体が含まれると判定された場合の処理である。

ステップＳ１２１〜Ｓ１２２の処理は、ステップＳ１０３における動被写体検出処理に適用された複数の長時間画像の撮影期間に撮影された短時間露光画像に対する処理として実行される。

例えば明るい被写体が画像の縦方向に動いた場合、あるいは暗い被写体が縦方向に動いた場合、撮影画像には、フリッカの影響以外に被写体の動きに応じた行単位の輝度変化が生じる。

このような動被写体による輝度変化を含む場合、長時間露光画像から生成した行プロファイルを基準プロファイルとして、先に図７を参照して説明した、
（短時間露光画像の行プロファイル）／（長時間露光画像の行プロファイル）
このような除算処理を実行しても、図７（ｃ）フリッカ成分データや、図８（ｄ）に示すフリッカ補正波形は、動被写体の移動に伴う誤差を含むデータとなってしまう。

このような動被写体の移動の影響を含むフリッカ補正波形を適用して、先に図１２、図１３を参照して説明した補正処理、すなわち、補正対象とする動被写体を含む画像の行プロファイルのピーク位置と、静止画に基づいて生成したフリッカ補正波形のピーク位置を合わせて補正処理を行っても、動被写体の影響によって良好なフリッカ補正が行えない場合がある。

ステップＳ１２１〜Ｓ１２２の処理は、このような問題を解決するために、動被写体を含むと判断された短時間露光画像に対して行われる処理である。

ステップＳ１２１では、フリッカ補正波形をメモリから読み出す。
このフリッカ補正波形は、ステップＳ１１１〜Ｓ１１４の処理において、静止画と判断された画像に基づいて生成されたフリッカ補正波形である。

次に、ステップＳ１２２において、メモリから読み出したフリッカ補正波形を、動被写体撮影画像に対して適用可能なフリッカ補正波形に設定する調整処理を行う。
この調整処理には、動被写体が撮影された所定期間の複数の短時間露光画像を利用する。
動被写体が撮影された所定期間の複数の短時間露光画像の各々の行プロファテイルを合成して生成したフリッカ補正波形（＝動被写体画像フリッカ補正波形）と、メモリから読み出したフリッカ補正波形を比較して、メモリから読み出したフリッカ補正波形の位相を、動被写体画像フリッカ補正波形の位相に合わせる位相制御を行う。

ステップＳ１１５では、動被写体を含む短時間露光画像に対して、ステップＳ１２２で生成した位相制御されたフリッカ補正波形を適用した画像補正処理を実行する。
この画像補正処理は、位相制御されたフリッカ補正波形を適用する以外は、先に図１２、図１３を参照して説明した処理と同様の処理である。

このように、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように、フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う

このようにして、フリッカ補正された出力画像２０２を生成して出力する。
なお、前述したようにこの処理は色信号（カラーチャンネル）毎に独立した補正係数を算出して色信号単位で補正処理を行ってもよいし、色信号を区別することなく行単位に設定した共通の補正係数を全ての行構成画素に適用する処理を行う構成としてもよい。

色信号単位で補正処理を行う場合は、色信号（カラーチャンネル）個別に前記行単位の信号量の積分値を算出し、色信号個別のフリッカ成分、フリッカ補正波形を算出する。
色信号を区別することなく行単位に設定した共通の補正係数を利用する場合は、色信号（カラーチャンネル）を区別することなく行単位の信号量の積分値を算出し、行単位のフリッカ成分、フリッカ補正波形を算出する。

上述したように、本開示の構成では、実際の照明の輝度変化を再現したフリッカ成分を解析し、この正確なフリッカ波形に基づくフリッカ補正係数による補正処理が実行されるので、フリッカの除去処理をより効果的に行うことが可能となる。

また、フリッカ補正波形を生成するために、フリッカ補正対象となる短時間露光画像の近傍時間で撮影された長時間露光画像の行プロファイルを基準プロファイルとして利用する構成としたので、従来の過去画像の積算による基準プロファイルの生成処理が不要となり、効率的な補正処理が実現される。また、フリッカの影響を多く含む過去画像の積算による基準プロファイルを利用した場合、長周期のフリッカが除去できないという問題があったが、本開示の構成では、もともとフリッカの影響のほとんどない長時間露光画像を参照画像として利用したことで、長周期フリッカに対する除去効果も高めることが可能となる。

［３．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
前記信号処理部は、
前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置。

（２）前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である前記（１）に記載の画像処理装置。
（３）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する前記（１）または（２）に記載の画像処理装置。

（４）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する前記（１）〜（）いずれかに記載の画像処理装置。
（５）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記信号処理部は、前記フリッカ補正波形の生成処理に際して、前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記信号処理部は、フリッカ成分を除去した補正画像の生成処理に際して、補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する前記（１）〜（６）いずれかに記載の画像処理装置。

（８）前記信号処理部は、各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う前記（１）〜（９）いずれかに記載の画像処理装置。

（１０）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記信号処理部は、補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、効果的なフリッカの除去を可能とする装置、方法が実現される。
具体的には、輝度変化のある蛍光灯のような照明環境下における撮影画像に発生するフリッカを効果的に除去または削減する。短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、短時間露光画像行プロファイルに対する基準プロファイルによる除算処理等によってフリッカ補正波形を生成し、フリッカ補正波形で規定される行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する。
これらの処理によって、効果的なフリッカの除去を可能とする装置、方法が実現される。

１００ 撮像装置
１０１ 撮像部
１０２ 信号処理部
１０３ コーデック
１０４ 記録再生部
１２０ 記録メディア
１３０ 表示部
１５０ 制御部
１５１ メモリ

Claims (13)

1. 短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理部を有し、
   前記信号処理部は、
   前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
   前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルを生成し、
   前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によってフリッカ補正波形を生成し、
   前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像を生成する画像処理装置。
2. 前記長時間露光画像は、画像撮影環境の輝度変化周期の整数倍にほぼ一致する露光時間の設定の下で撮影された画像である請求項１に記載の画像処理装置。
3. 前記信号処理部は、
   前記フリッカ補正波形の生成処理に際して、
   前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する正弦波近似処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
4. 前記信号処理部は、
   前記フリッカ補正波形の生成処理に際して、
   前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対するスプライン補間処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
5. 前記信号処理部は、
   前記フリッカ補正波形の生成処理に際して、
   前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する線型補間処理を実行して前記フリッカ補正波形を生成する請求項１に記載の画像処理装置。
6. 前記信号処理部は、
   前記フリッカ補正波形の生成処理に際して、
   前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理によって得られるフリッカ成分データ、または、該フリッカ成分データの位相反転データに対する離散フーリエ変換を実行して、２次以降の高次成分を低次に振り分ける処理を行う請求項１に記載の画像処理装置。
7. 前記信号処理部は、
   フリッカ成分を除去した補正画像の生成処理に際して、
   補正対象画像の行プロファイルのピーク位置と、前記フリッカ補正波形のピーク位置を一致させる位相合わせ後に、前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理を実行する請求項１に記載の画像処理装置。
8. 前記信号処理部は、
   各画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像を適用して前記フリッカ補正波形の生成処理を行う請求項１に記載の画像処理装置。
9. 前記信号処理部は、
   補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含まないと判定した画像に対して、前記フリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
10. 前記信号処理部は、
    補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、動被写体の影響による行プロファイルの位相変化を考慮して、前記フリッカ補正波形を修正し、修正したフリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
11. 前記信号処理部は、
    補正対象とする短時間露光画像に動被写体を含むか否かを判定し、動被写体を含むと判定した画像については、静止画像に基づいて算出したフレーム間位相ずれに基づいて、動被写体を含む画像と位相が一致するように前記フリッカ補正波形の切り出しを実行して、切り出したフリッカ補正波形を適用した画像補正を行う請求項１に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    信号処理部が、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力して、短時間露光画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行する信号処理ステップを実行し、
    前記信号処理ステップにおいては、
    前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
    前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
    前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
    前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行する画像処理方法。
13. 画像処理装置において画像に含まれるフリッカ成分を除去するフリッカ補正処理を実行させるプログラムであり、
    信号処理部に、短時間露光画像と長時間露光画像の少なくとも２種類の異なる露光時間の撮影画像を入力し、
    前記信号処理部に、
    前記短時間露光画像の行単位の信号量の積分値からなる短時間露光画像行プロファイルと、
    前記長時間露光画像の行単位の信号量の積分値からなる基準プロファイルの生成処理と、
    前記短時間露光画像行プロファイルに対する前記基準プロファイルによる除算処理を含むデータ処理によるフリッカ補正波形の生成処理と、
    前記フリッカ補正波形に対応する行単位の係数を、短時間露光画像の各行の画素値に乗算する処理によりフリッカ成分を除去した補正画像の生成処理を実行させるプログラム。