JP2023042367A - 画像処理装置、プログラム及びフリッカ検出方法 - Google Patents

Abstract

【課題】動画撮影中に撮像フレームレートと同調する明滅周期の光源下に移動する場合であっても、撮像画像の品質の劣化を抑えつつ、より確実にフリッカを検出できる画像処理装置、プログラム及びフリッカ検出方法を提供すること。
【解決手段】画像処理装置１は、撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、撮像フレームレートと明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、露光条件の変更前後の撮像画像を比較することでフリッカを検出する処理部３０を備えることを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置、プログラム及びフリッカ検出方法に関する。

従来、周期的に明滅する光源下で撮像を行う場合に、撮像された撮像画像に縞状のフリッカが発生することがある。このフリッカを検出する技術が記載されているものとして特許文献１～３がある。特許文献１には、シャッタ時間の異なる画像の比較結果に基づいて、フリッカの発生を判定する技術が記載されている。特許文献２には、第１の明滅周期で明滅する光源下での撮影画像にフリッカを生じさせない第１の電荷蓄積時間に調整された撮像素子による第１の画像と、第１の電荷蓄積時間とは異なる第２の電荷蓄積時間に調整された撮像素子による第２の画像の間の輝度の違いに基づいて、第２の画像におけるフリッカ発生を検出する技術が記載されている。特許文献３には、所定の周期で繰り返される撮像素子の撮像出力のうち、３駒連続した駒の輝度値を取得し、１駒目と２駒目は同じシャッタ速で、３駒目は１，２駒目のシャッタ速よりも１段分速く制御し、これら３駒の輝度値を用いてフリッカ判定を行う技術が記載されている。

特開２００４－７４０２号公報 特開２０１０－５２０６７３号公報 特開２０１３－８９９９１号公報

ところで、動画撮影時等の撮像フレームレートを変更できない状態で撮像フレームレートと光源の明滅周期が同調している場合、特許文献１～３に記載の技術のように露光時間を変更することでフリッカを検出できる。しかしながら、フリッカを検出するために露光時間を頻繁に変更すると撮像画像の品質が低下するおそれがある。一方で、ユーザが移動しながら動画を撮影している場合等に明滅周期が異なる光源下に移動すると、フリッカの発生条件が変わり、フリッカを正確に検出できなくなる。

本発明は、このような状況に鑑みてなされたものであり、動画撮影中に撮像フレームレートと同調する明滅周期の光源下に移動する場合であっても、撮像画像の品質の劣化を抑えつつ、より確実にフリッカを検出できる画像処理装置、プログラム及びフリッカ検出方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置１は、撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理部を備えることを特徴とする。

本発明によれば、動画撮影中に撮像フレームレートと同調する明滅周期の光源下に移動する場合であっても、撮像画像の品質の劣化を抑えつつ、より確実にフリッカを検出できる画像処理装置、プログラム及びフリッカ検出方法を提供できる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置１の撮像部２０の撮像フレームレートと光源の明滅周期が同調していない場合に連続して撮像された撮像画像４１～４３とそれらのスペクトルを示す図である。 本発明の一実施形態に係る画像処理装置１の撮像部２０の撮像フレームレートと光源の明滅周期が同調している場合に連続して撮像された撮像画像５１～５３とそれらのスペクトルを示す図である。 本発明の一実施形態に係る画像処理装置１の撮像部２０の撮像フレームレートと光源の明滅周期が同調している場合に露光時間を変更しながら連続して撮像された撮像画像６１～６３とそれらのスペクトルを示す図である。 本発明の一実施形態に係る画像処理装置の機能的構成のうち、フリッカ検出処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置が実行するフリッカ検出処理の全体的な流れの一例を説明するフローチャートである。 本発明の一実施形態に係る画像処理装置が実行する５０Ｈｚベース検出処理の流れの一例を説明するフローチャートである。 本発明の一実施形態に係る画像処理装置が実行する６０Ｈｚベース検出処理の流れの一例を説明するフローチャートである。 本発明の一実施形態に係る画像処理装置が実行する６０Ｈｚフリッカ同調解析の流れの一例を説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

＜画像処理装置＞
本発明の一実施形態に係る画像処理装置１の概要について説明する。画像処理装置１は、カメラ等の撮像部により取得された顔画像に補正を加えて見栄えを良くするための顔画像補正処理を実行する装置である。画像処理装置１は、例えばデジタルカメラとして構成される。なお、画像処理装置１は、撮像部を備えるスマートフォンでも良いし、スマートウォッチでも良い。また、画像処理装置１は、監視カメラ等の定点カメラであっても良い。また、画像処理装置１は、撮像部を備えず、外部で取得した画像を取得して顔画像補正処理を行うパーソナルコンピュータ等のコンピュータでも良いし、外部からの指令により、取得した画像に顔画像補正処理を行うサーバでも良い。

画像処理装置１は、図１に示すように、プロセッサ１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、バス１３と、入出力インターフェース１４と、入力部１５と、出力部１６と、通信部１７と、記憶部１８と、電源部１９と、撮像部２０と、を備える。

プロセッサ１０は、画像処理装置１の動作に必要な演算及び制御などの処理を行うコンピュータの中枢部分であり、各種演算及び処理などを行う。プロセッサ１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等である。或いは、プロセッサ１０は、これらのうちの複数を組み合わせたものである。また、プロセッサ１０は、これらにハードウェアアクセラレーターなどを組み合わせたものあっても良い。

プロセッサ１０は、ＲＯＭ１１又はＲＡＭ１２等に記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、画像処理装置１の各種の機能を実現するべく各部を制御する。また、プロセッサ１０は、プログラムに基づく後述の処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサ１０の回路内に組み込まれていても良い。

プロセッサ１０、ＲＯＭ１１及びＲＡＭ１２は、バス１３を介して相互に接続されている。このバス１３にはまた、入出力インターフェース１４も接続されている。入出力インターフェース１４には、入力部１５、出力部１６、通信部１７、記憶部１８及び電源部１９が接続されている。

入力部１５は、各種ボタンやタッチパネル等で構成され、ユーザの指示操作に応じて各種情報を入力する。入力部１５は、例えば、撮影が可能な撮影モードと撮影済みの画像を再生する再生モードを切り替えるモード変更ボタンと、撮影開始を指示するレリーズボタンと、露光時間、絞り、ＩＳＯ感度等の撮影条件の設定操作ボタン等で構成される。

出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。なお、入力部１５及び出力部１６は、タッチパネルのように表示機能と入力機能が一体的な構成であってもよい。

通信部１７は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、画像処理装置１の種々のデータを保存する装置である。なお、記憶部１８は、通信部１７を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

電源部１９は、画像処理装置１に電力を供給する。例えば、電源部１９は、二次電池によって構成される。

ドライブ２５には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、ＳＤカード、ＵＳＢメモリ等のリムーバブルメディアが適宜装着される。

撮像部２０は、被写体を撮影する装置であり、撮像レンズ２１と、露出調整機構２２と、撮像素子２３と、Ａ／Ｄ変換部２４を主に備える。

撮像レンズ２１は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

露出調整機構２２は、露光時間、絞り、ＩＳＯ感度等を調整して撮像素子２３への露光量を調整するための機構である。露出調整機構２２は、撮像環境に応じて露光時間を自動で調整する。

撮像素子２３は、ローリングシャッタ方式のＣＭＯＳイメージセンサである。即ち、撮像素子２３は、行列のマトリックス状に各画素を二次元配置したもので、その走査方向に延びる水平ラインと垂直な方向に延びる垂直ライン上に配置された各画素を、水平ライン毎に露光タイミングをずらしながら撮像を行うものである。撮像素子２３は、電荷蓄積部と電荷転送部を有し、最上端の水平ラインから最下端の水平ラインまでタイミングをずらしながら水平ライン毎に順次露光・読み出しを行っている。

Ａ／Ｄ変換部２４は、撮像素子２３から読み出された電気信号をデジタル信号に変換する。Ａ／Ｄ変換部２４によって変換されたデジタル信号は、所定の画像表示処理が施された後に、出力部１６と後述する処理部３０に出力される。

次に、所定の周期で明滅する光源下で撮像される撮像画像の一例について図２～図４を参照しながら説明する。図２は、撮像フレームレートと光源の明滅周期が同調していない場合に連続して撮像された撮像画像４１～４３とそれらの輝度を示すスペクトル４１ａ～４３ａを示す図である。図３は、撮像フレームレートと光源の明滅周期が同調している場合に連続して得られた撮像画像５１～５３とそれらの輝度を示すスペクトル５１ａ～５３ａを示す図である。図４は、撮像フレームレートと光源の明滅周期が同調している場合に連続して得られた撮像画像６１～６３とそれらの輝度を示すスペクトル６１ａ～６３ａであって、一部露光時間を変更したものを示す図である。なお、図２～図４において撮像画像４１～４３，５１～５３，６１～６３は符号の小さい順に撮像されており、各撮像画像４１～４３，５１～５３，６１～６３のそれぞれの右側に対応するスペクトル４１ａ～４３ａ，５１ａ～５３ａ，６１ａ～６３ａを図示している。図２においてスペクトル４１ａと４２ａの間に位置するスペクトル４０ａは、スペクトル４１ａ，４２ａの比を取ったものである。図３においてスペクトル５１ａと５２ａの間に位置するスペクトル５０ａは、スペクトル５１ａ，５２ａの比を取ったものである。図４においてスペクトル６１ａと６２ａの間に位置するスペクトル６０ａは、スペクトル６１ａ，６２ａの比を取ったものである。

フリッカを発生する蛍光灯等の光源下でローリングシャッタ方式の撮像素子２３を用いて撮影すると、図２に示すように、得られた撮像画像４１～４３に輝度の違いによって生じる縞の画像が発生する場合がある。撮像画像４１～４３に発生する縞の画像のパターンは、撮像素子２３の転送レートと撮像フレームレートと光源の明滅周期によって変化する。なお、撮像フレームレートとは、連写時の撮像間隔のことである。

図２では、撮像画像４１と撮像画像４３は縞の画像の位相が一致し、撮像画像４２は縞の画像の位相が反転している。例えば、撮像画像４１と撮像画像４２に発生する縞の画像の位相を比較し、その位相差からフリッカの発生を検出することができる。

しかし、撮像条件によっては各撮像画像に発生する縞の画像の位相のズレが発生しない場合もある。例えば、図３では、撮像画像５１～５３に発生する縞の画像の位相が一致する。撮像フレームレートが光源の明滅周期の整数倍になる場合、撮像フレームレートと光源の明滅周期が同調して撮像画像５１～５３間の縞の画像の位置が変化しなくなる。例えば、商用電源周波数６０Ｈｚに応じて明滅する蛍光灯等の光源下で、撮像フレームレート３０ｆｐｓで撮像する場合にこのような現象が起こる。この場合、図３に示すように隣接する撮像画像５１～５３を演算しても同じスペクトルしか抽出されない。このため、撮像画像５１～５３に縞の画像が現れるものの、この縞の画像がフリッカに起因する模様であるか被写体自体の模様であるか判断できない。

一方、図４に示すように撮像フレームレートと光源の明滅周期が同調している場合であっても、露光時間等の露光条件を調整することでフリッカの検出を行うことができる。例えば、図４に示すように、図４の撮像画像６２を撮像するときの露光時間を光源の明滅周期の整数倍に変更すると、撮像素子２３の各ライン間の露光量が一定となり、縞の画像が発生しなくなる。例えば、縞の画像が発生していない撮像画像６２と縞の画像が発生している撮像画像６１を比較することで、フリッカを検出することができる。また、露光時間によりフリッカに起因する縞の画像の濃さが変化するので、露光時間を光源の明滅周期の整数倍に調整しなくても縞の画像の濃淡を比較することでフリッカを検出できる。具体的には、露光時間が短くなるほどフリッカに起因する縞の画像が濃くなる。本実施形態に係る画像処理装置１は、このような技術を利用してフリッカ検出処理を実行している。なお、露光条件としては、例えば露光時間以外に露光量等が挙げられる。

次に、画像処理装置１のフリッカ検出処理を実行する機能的構成について説明する。図５は画像処理装置１のフリッカ検出処理を実行する機能的構成の示す機能ブロック図である。

画像処理装置１によるフリッカ検出処理は処理部３０によって実行される。画像処理装置１の処理部３０は、演算処理を実行するプロセッサ１０によって実現される。本実施形態の処理部３０は、フレームレート取得部３１と、露出情報取得部３２と、撮像画像取得部３３と、同調判定部３４と、フリッカ検出部３５と、露光時間調整部３６と、出力処理部３７を備える。

フレームレート取得部３１は、入力部１５の操作等によって設定される撮影条件の１つである撮像フレームレートを取得する処理を実行する。

露出情報取得部３２は、撮像部２０の露光時間や絞り、ＩＳＯ感度等の露出情報を取得する処理を実行する。本実施形態では、露出情報取得部３２は、撮像される撮像画像毎に露出情報を取得し、記憶部１８に記憶する。

撮像画像取得部３３は、撮像部２０によって撮像された撮像画像を取得する処理を実行する。また、撮像画像取得部３３は、撮像画像を撮像した際の撮像素子２３の走査方向に対して垂直な方向における出力値を取得してもよい。本実施形態では、撮像画像取得部３３は、取得した撮像画像に関する情報を露出情報取得部３２によって取得された露出情報と紐付けて記憶部１８に記憶する。

同調判定部３４は、撮像画像取得部３３によって取得された複数の撮像画像を比較して、フレームレート取得部３１によって取得された撮像フレームレートと光源の明滅周期が同調しているか否かを判定する処理を実行する。例えば、同調判定部３４は、撮像画像取得部３３によって連続して得られる複数の撮像画像に発生する縞の画像の位置が連続して得られる複数の前記撮像画像間において略一致している場合に、撮像フレームレートと光源の明滅周期が同調していると判定し、ズレがあれば撮像フレームレートと光源の明滅周期が同調していないと判定する。ここでいう略一致とは、例えば、異なる撮像画像を重ねた場合に水平ラインに延びるそれぞれの縞の画像の少なくとも一部が互いに重なり合う状態であってもよい。

フリッカ検出部３５は、撮像画像取得部３３によって取得された撮像画像を比較することで、フリッカを検出する処理を実行する。フリッカ検出部３５は、撮像フレームレートと光源の明滅周期が同調していない場合に処理を行う非同調時フリッカ検出部３５１と、撮像フレームレートと光源の明滅周期が同調している場合に処理を行う同調時フリッカ検出部３５２を有する。

非同調時フリッカ検出部３５１は、例えば同調判定部３４によって撮像フレームレートと光源の明滅周期が同調していないと判定された場合に、各撮像画像のフリッカに起因して発生する縞の画像の位置を比較し、フリッカが発生しているか否かを判定する。

同調時フリッカ検出部３５２は、同調判定部３４によって撮像フレームレートと光源の明滅周期が同調していると判定された状態で露光時間が変更された場合に、露光時間の変更前後の撮像画像を比較することでフリッカを検出する。例えば、同調時フリッカ検出部３５２は、露光時間の変更前後の撮像画像に発生する縞の画像の濃淡の差を比較してフリッカを検出してよい。また例えば、同調時フリッカ検出部３５２は、露光時間の変更前後の撮像画像を撮像した際の撮像素子２３の走査方向に対して垂直な方向における出力値を比較することでフリッカを検出してもよい。走査方向に対して垂直な方向における撮像素子２３の出力値は、水平ライン毎の全ての出力値を加算若しくは平均した値であってもよく、水平ライン毎の一部の互いに隣接する出力値を加算若しくは平均した値であってもよい。また例えば、同調時フリッカ検出部３５２は、露光時間の変更前後の撮像画像の画素値を水平ライン毎に加算若しくは平均し、垂直ラインにおける一次元の成分を抽出し、該一次元の成分同士を比較してもよい。このとき、１次元の成分の比に対してフーリエスペクトルに変換し、検出対象となるフリッカ周期に対応する周波数のスペクトルが所定以上である場合に、フリッカが発生していると判定してもよい。

露光時間調整部３６は、同調判定部３４による判定結果に基づいて、露光時間を調整する処理を実行する。具体的には、露光時間調整部３６は、撮像フレームレートと光源の明滅周期が同調していると判定された状態で所定時間経過するか又は所定数の撮像画像が撮像されても露光時間が変更されない場合に、露光時間を変更する。露光時間調整部３６は、露光時間を変更する場合に露光時間に合わせてＩＳＯ感度を調整することが好ましい。これにより、撮像部２０によって撮像される撮像画像の明るさを安定させた上で、露光時間を変化させてフリッカ検出を行うことができる。

出力処理部３７は、画像処理装置１の出力部１６に画像を表示するための処理等を実行する。例えば、出力処理部３７は、フレームレート取得部３１によって取得された撮像フレームレートや露出情報取得部３２によって取得された露光時間、絞り、ＩＳＯ感度等の露出情報を出力部１６に表示する処理を実行する。また例えば、出力処理部３７は、フリッカ検出部３５によるフリッカの検出結果を表示したり、検出された光源の明滅周期に関する情報を表示したりする処理を実行する。

＜フリッカ検出処理の例＞
次に、画像処理装置１が実行するフリッカ検出処理の一例について図６を参照しながら説明する。図６は、画像処理装置１が実行するフリッカ検出処理の全体的な流れの一例を示すフローチャートである。なお、図６に示す例では、商用電源周波数５０Ｈｚに応じて明滅する光源又は商用電源周波数６０Ｈｚに応じて明滅する光源又は明滅しない光源の下で撮像される場合のフリッカ検出処理を示している。

フリッカ検出処理は、ユーザによる入力部１５への動画撮像の開始操作により開始される。

ステップＳ１０において、フレームレート取得部３１及び露出情報取得部３２は、露光時間、絞り、ＩＳＯ感度等の露出情報や撮像フレームレート等の撮像部２０による撮像条件を取得する。図６に示すフリッカ検出処理の例では、動画撮影時におけるフリッカ検出処理を想定しており、撮像フレームレートが固定されている。なお、図６に示す例では、撮像フレームレートが３０ｆｐｓに設定されている。

ステップＳ１１において、処理部３０は、記憶部１８に記憶された前回のフリッカ検出結果を読み出す。図６に示す例では、前回のフリッカ検出結果が商用電源周波数５０Ｈｚに応じて明滅する光源に起因するフリッカ（以下、５０Ｈｚフリッカ）が検出されたことを示す場合に、処理をステップ１２に進める。一方、前回のフリッカ検出結果が商用電源周波数６０Ｈｚに応じて明滅する光源に起因するフリッカ（以下、６０Ｈｚフリッカ）が検出されたことを示すかフリッカが検出されなかったことを示す場合に、処理をステップＳ１３に進める。

ステップＳ１２において、処理部３０は、前回の検出結果に引き続いて５０Ｈｚフリッカが発生していると仮定して、５０Ｈｚベース検出処理を行う。５０Ｈｚベース検出処理については後述する。

ステップＳ１３において、処理部３０は、前回の検出結果に引き続いて６０Ｈｚフリッカが発生していると仮定して、６０Ｈｚベース検出処理を行う。６０Ｈｚベース検出処理については後述する。

ステップＳ１４において、処理部３０は、ステップＳ１２又はステップＳ１３でのフリッカ検出結果を記憶部１８に記憶する処理を行う。その後、処理をステップＳ１１に戻す。

次に、５０Ｈｚベース検出処理について図７を参照しながら説明する。図７は５０Ｈｚベース検出処理の詳細を説明するためのフローチャートである。

ステップＳ２０において、処理部３０は、前回の検出結果である５０Ｈｚフリッカによる撮像画像への影響が少なくなるように露光時間等を調整して露出を調整する。例えば、５０Ｈｚフリッカの発生を抑制し、６０Ｈｚフリッカを検出可能な５０Ｈｚフリッカの周期の整数倍の露光時間である１／１００ｓ（１０ｍｓ）、１／５０ｓ（２０ｍｓ）、１／３３ｓ（３０ｍｓ）等の値を設定する。

ステップＳ２１において、処理部３０は、光源の明滅周期と撮像フレームレートが同調していると仮定して、６０Ｈｚフリッカ同調解析の処理を行う。６０Ｈｚフリッカ同調解析については後述する。

ステップＳ２２において、処理部３０は、６０Ｈｚフリッカ同調解析の結果から６０Ｈｚフリッカが検出されたか否かを判定する。フリッカ検出部３５が６０Ｈｚフリッカを検出した場合（ステップＳ２２でＹＥＳ）、５０Ｈｚベース検出処理を終了した後に、処理を図６のステップＳ１４に進める。一方、フリッカ検出部３５が６０Ｈｚフリッカを検出しなかった場合（ステップＳ２２でＮＯ）、処理をステップＳ２３に進める。

ステップＳ２３において、処理部３０は、露出を５０Ｈｚフリッカが検出可能な条件に変更する。そして、５０Ｈｚフリッカは３０ｆｐｓの撮像フレームレートと同調しないので、フリッカ検出部３５の非同調時フリッカ検出部３５１が５０Ｈｚフリッカを検出する処理を実行する。具体的には、非同調時フリッカ検出部３５１は、撮像画像毎にフリッカに起因して発生する縞の画像の位置が異なることから、撮像画像取得部３３によって連続して取得される撮像画像に発生する縞の画像の位置を比較し、その位相差から５０Ｈｚフリッカを検出する。非同調時フリッカ検出部３５１が５０Ｈｚフリッカを検出した場合に５０Ｈｚフリッカが存在すると判定し、検出されなかった場合に５０Ｈｚフリッカ及び６０Ｈｚフリッカが存在しないと判定する。その後、５０Ｈｚベース検出処理を終了し、処理を図６のステップＳ１４に進める。

次に、６０Ｈｚベース検出処理について図８を参照しながら説明する。図８は６０Ｈｚベース検出処理の詳細を説明するためのフローチャートである。

ステップＳ３０において、処理部３０は、前回の検出結果である６０Ｈｚフリッカによる撮像画像への影響が少なくなるように露光時間等を調整して露出を設定する。例えば、６０Ｈｚフリッカの発生を抑制し、５０Ｈｚフリッカを検出可能な６０Ｈｚフリッカの周期の整数倍の露光時間である１／１２０ｓ（８．３ｍｓ）、１／６０ｓ（１６．７ｍｓ）、１／４０ｓ（２５ｍｓ）等の値を設定する。

ステップＳ３１において、フリッカ検出部３５は、５０Ｈｚフリッカを検出する処理を実行する。具体的には、非同調時フリッカ検出部３５１が撮像画像取得部３３によって連続して取得される撮像画像に発生する縞の画像の位置を比較し、その位相差から５０Ｈｚフリッカを検出する。フリッカ検出部３５が５０Ｈｚフリッカを検出した場合（ステップＳ３１でＹＥＳ）、６０Ｈｚベース検出処理を終了した後に、処理を図６のステップＳ１４に進める。一方、フリッカ検出部３５が５０Ｈｚフリッカを検出しなかった場合（ステップＳ３１でＮＯ）、処理をステップＳ３２に進める。

ステップＳ３２において、処理部３０は、６０Ｈｚフリッカを検出可能な時間に露光時間を調整する。

ステップＳ３３において、処理部３０は、光源の明滅周期と撮像フレームレートが同調していると仮定して、６０Ｈｚフリッカ同調解析の処理を行う。

ステップＳ３４において、処理部３０は、６０Ｈｚフリッカ同調解析の結果から６０Ｈｚフリッカが検出されたか否かを判定する。フリッカ検出部３５が６０Ｈｚフリッカを検出した場合（ステップＳ３４でＹＥＳ）、６０Ｈｚベース検出処理を終了した後に、処理を図６のステップＳ１４に進める。一方、フリッカ検出部３５が６０Ｈｚフリッカを検出しなかった場合（ステップＳ３４でＮＯ）、処理をステップＳ３５に進める。

ステップＳ３５において、処理部３０は、露出を５０Ｈｚフリッカが検出可能な条件に変更する。そして、フリッカ検出部３５は、５０Ｈｚフリッカを検出する処理を実行する。処理部３０は、５０Ｈｚフリッカを検出した場合に５０フリッカが存在すると判定し、検出されなかった場合に５０Ｈｚフリッカ及び６０Ｈｚフリッカが存在しないと判定する。その後、６０Ｈｚベース検出処理を終了し、処理を図６のステップＳ１４に進める。

次に、６０Ｈｚフリッカ同調解析について説明する。図９は６０Ｈｚフリッカ同調解析の流れの一例を示すフローチャートである。

ステップＳ４０において、処理部３０は、露出情報取得部３２によって取得される露光時間が変化するか否かを判定する。処理部３０は、露光時間が変化していないと判定した場合（ステップＳ４０ではＮＯ）、処理をステップＳ４１に進める。一方、処理部３０は、露光時間が変化したと判定した場合（ステップＳ４０ではＹＥＳ）、処理をステップＳ４５に進める。

ステップＳ４１において、同調判定部３４は、撮像画像取得部３３によって連続して取得される撮像画像を比較して撮像画像に発生する縞の画像の位置等から同調しているか否かを判定する。具体的には、同調判定部３４は連続して撮像される撮像画像間の縞の画像の位置が略一致していれば、撮像フレームレートと光源の明滅周期が同調していると判定し、ズレがあれば撮像フレームレートと光源の明滅周期が同調していないと判定する。同調判定部３４が撮像フレームレートと光源の明滅周期が同調していないと判定した場合（ステップＳ４１ではＹＥＳ）、商用電源周波数６０Ｈｚの光源下で撮像している状況ではなくなったと判定し、６０Ｈｚフリッカ同調解析の処理を終了する。一方で、同調判定部３４が撮像フレームレートと光源の明滅周期が同調していると判定した場合（ステップＳ４１ではＮＯ）、商用電源周波数６０Ｈｚの光源下かフリッカが発生しない光源下で撮像している状況であると判定し、処理をステップＳ４３に進める。

ステップＳ４３において、処理部３０は、撮像フレームレートと光源の明滅周期が同調している状態で所定の時間経過か否かを判定する。６０Ｈｚフリッカ同調解析を開始してから所定の時間経過していない場合は、処理をステップＳ４０に戻す。一方で、撮像フレームレートと光源の明滅周期が同調している状態で所定の時間経過したと判定した場合には、処理をステップＳ４４に進める。

ステップＳ４４において、露光時間調整部３６は、露光時間を変更し、処理をステップＳ４５に進める。このとき、露光時間調整部３６は、露光時間に合わせてＩＳＯ感度を調整することが好ましい。より具体的には、露光時間の変更前後で露出が等価になるようにＩＳＯ感度を調整することが好ましい。これにより、撮像時の明るさが安定している状態で、フリッカの検出を行うことができる。

ステップＳ４５において、フリッカ検出部３５は、露光時間の変更前後の撮像画像を比較して６０Ｈｚフリッカを検出する。例えば、露光時間が光源の明滅周期の整数倍の場合にフリッカに起因する縞の画像が発生しなくなることを利用して、撮像画像間の縞の画像の有無によって６０Ｈｚフリッカを検出してもよい。また例えば、露光時間に応じてフリッカに起因する縞の画像の濃淡が変化することを利用して、縞の画像の濃淡の差からフリッカを検出してもよい。縞の画像の濃淡の差からフリッカを検出する方法としては、例えば、２枚の撮像画像の画素値や撮像時における撮像素子２３の出力値を水平ライン毎に加算若しくは平均し、垂直ラインにおける１次元の成分を抽出し、２枚の撮像画像の１次元の成分の比に対してフーリエスペクトル解析によって検出する方法がある。このフーリエスペクトル解析の結果、検出対象となるフリッカ周期に対応する周波数のスペクトルが所定以上である場合に、検出対象となる周波数のフリッカが発生していると判定することによりフリッカの発生原因の有無及びその種類（５０Ｈｚフリッカ、６０Ｈｚフリッカ）を検出する。ステップＳ４５において、６０Ｈｚフリッカが発生しているかフリッカが発生してないか判定した後に、６０Ｈｚフリッカ同調解析の処理を終了し、処理を図８のステップＳ３４に進める。

以上説明したように、本実施形態の画像処理装置１は、撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、撮像フレームレートと明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、露光条件の変更前後の撮像画像を比較することでフリッカを検出する処理部を備える。

これにより、露光条件の変更前後の撮像画像を比較することでフリッカを検出するので、撮像フレームレートと同調する場合であっても撮像フレームレートを変更せずにフリッカを検出できる。また、露光条件の変更を検出した場合に露光条件の変更前後の撮像画像を比較してフリッカを検出するので、より適正な露出でフリッカを検出できる。よって、動画撮影中に撮像フレームレートと同調する明滅周期の光源下に移動したであっても、撮像画像の品質の低下を抑えつつ、より確実にフリッカを検出できる。また、監視カメラ等のように同じ場所で２４時間撮像動作を行う場合であっても、時間帯によって出方が変化するフリッカをより確実に検出できる。

本実施形態に係る画像処理装置１において、処理部３０は、撮像環境に応じて調整される露光時間を露光条件として取得し、撮像フレームレートと明滅周期が同調していると判定された状態で露光時間が変更された場合に、露光時間の変更前後の撮像画像を比較することでフリッカを検出する。

これにより、撮像環境に応じて調整される露光時間が変更された場合に露光時間の変更前後の撮像画像を比較してフリッカを検出するので、より適正な露出でフリッカを検出できる。

本実施形態に係る画像処理装置１において、処理部３０は、撮像画像に発生する縞の画像の位置が連続して撮像される複数の撮像画像間において略一致している場合に撮像フレームレートと明滅周期が同調していると判定する。

これにより、撮像画像内の縞の画像を比較するシンプルな処理によって撮像フレームレートと明滅周期が同調していることを特定できる。

本実施形態に係る画像処理装置１において、処理部３０は、露光条件の変更前後の撮像画像に発生する縞の画像の濃淡を比較することでフリッカを検出する。

これにより、露光条件に応じてフリッカに起因する縞の画像の濃淡が変化するので、より高い精度でフリッカを検出できる。

本実施形態に係る画像処理装置１において、処理部３０は、撮像フレームレートと明滅周期が同調していると判定された状態で所定時間経過するか又は所定数の撮像画像が撮像されても露光条件が変更されない場合に、露光条件を変更する。

これにより、撮像フレームレートと光源の明滅周期が同調している状態で、撮像環境の変化に起因する露光条件の変化が起こらない場合であっても、定期的にフリッカが検出できる。

本実施形態に係る画像処理装置１において、処理部３０は、露光条件を変更する場合に露光条件に合わせてＩＳＯ感度を変更する。

これにより、フリッカの検出を行うために露光条件を強制的に変更した場合であっても、露光条件に合わせてＩＳＯ感度を変更できるので露出が安定した状態でフリッカを検出できる。

本実施形態に係る画像処理装置１において、撮像画像は、ローリングシャッタ方式の撮像素子によって撮像され、処理部３０は、露光条件の変更前後の撮像画像を撮像した際の撮像素子の走査方向に対して垂直な方向における出力値を比較することでフリッカを検出する。

これにより、より高い精度でフリッカを検出できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像処理装置１が露光時間調整部３６を備えていたが、露光時間調整部３６を備えない構成であってもよい。

上述の実施形態の図６～図９のフリッカ検出処理の例では、前回の検出結果からフリッカの有無や種類を仮定し、周波数の異なるフリッカ毎に検出処理を行っていたが、フリッカの種類等を仮定せずに一度に検出する処理を行ってもよい。即ち、５０Ｈｚフリッカ及び６０Ｈｚフリッカの検出処理を行う前に露光時間等の露出を調整せずに、５０Ｈｚフリッカ及び６０Ｈｚフリッカの両方が検出可能な露光時間でフリッカ検出処理を行ってもよい。

また、撮像フレームレートと光源の明滅周期の関係は、上記実施形態で説明したものに限定されない。例えば、上述の実施形態の図６～図９のフリッカ検出処理の例では、撮像フレームレートが６０Ｈｚの光源の明滅周期と同調する３０ｆｐｓに設定されていたが、撮像フレームレートが５０Ｈｚの光源の明滅周期と同調する２５ｆｐｓ等に設定されていてもよい。この場合、商用電源周波数の条件を除き、図９に示す６０Ｈｚフリッカ同調解析と同様の処理で５０Ｈｚフリッカを検出する処理を行ってもよい。

また、画像処理装置１が２４時間撮像動作を行う監視カメラ等である場合に、フリッカ検出処理の動作と並行して撮像記録の動作を実行してもよい。これにより、時間帯によって出方が変化するフリッカを検出しながら、撮像画像を記録することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、上記実施形態や変形例で示した機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に上記実施形態や変形例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理部を備えることを特徴とする画像処理装置。
［付記２］
前記処理部は、撮像環境に応じて調整される露光時間を前記露光条件として取得し、
前記撮像フレームレートと前記明滅周期が同調していると判定された状態で前記露光時間が変更された場合に、前記露光時間の変更前後の前記撮像画像を比較することでフリッカを検出することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記処理部は、前記撮像画像に発生する縞の画像の位置が連続して撮像される複数の前記撮像画像間において略一致している場合に、前記撮像フレームレートと前記明滅周期が同調していると判定する付記１又は２に記載の画像処理装置。
［付記４］
前記処理部は、前記露光条件の変更前後の前記撮像画像に発生する縞の画像の濃淡を比較することでフリッカを検出することを特徴とする付記１から３の何れかに記載の画像処理装置。
［付記５］
前記処理部は、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で所定時間経過するか又は所定数の前記撮像画像が撮像されても前記露光条件が変更されない場合に、前記露光条件を変更することを特徴とする付記１から４の何れかに記載の画像処理装置。
［付記６］
前記処理部は、前記露光条件を変更する場合に前記露光条件に合わせてＩＳＯ感度を変更することを特徴とする付記５に記載の画像処理装置。
［付記７］
前記撮像画像は、ローリングシャッタ方式の撮像素子によって撮像され、
前記処理部は、前記露光条件の変更前後の前記撮像画像を撮像した際の前記撮像素子の走査方向に対して垂直な方向における出力値を比較することでフリッカを検出することを特徴とする付記１から６の何れかに記載の画像処理装置。
［付記８］
コンピュータに、
画像処理装置に、撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理機能を実行させるプログラム。
［付記９］
画像処理装置が実行するフリッカ検出方法であって、
撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理ステップを含むフリッカ検出方法。

１ 画像処理装置
１０ プロセッサ
１１ ＲＯＭ
１２ ＲＡＭ
１５ 入力部
１８ 記憶部
２０ 撮像部
２５ ドライブ
３０ 処理部

Claims (9)

1. 撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理部を備えることを特徴とする画像処理装置。
2. 前記処理部は、撮像環境に応じて調整される露光時間を前記露光条件として取得し、
   前記撮像フレームレートと前記明滅周期が同調していると判定された状態で前記露光時間が変更された場合に、前記露光時間の変更前後の前記撮像画像を比較することでフリッカを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部は、前記撮像画像に発生する縞の画像の位置が連続して撮像される複数の前記撮像画像間において略一致している場合に、前記撮像フレームレートと前記明滅周期が同調していると判定する請求項１又は２に記載の画像処理装置。
4. 前記処理部は、前記露光条件の変更前後の前記撮像画像に発生する縞の画像の濃淡を比較することでフリッカを検出することを特徴とする請求項１から３の何れかに記載の画像処理装置。
5. 前記処理部は、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で所定時間経過するか又は所定数の前記撮像画像が撮像されても前記露光条件が変更されない場合に、前記露光条件を変更することを特徴とする請求項１から４の何れかに記載の画像処理装置。
6. 前記処理部は、前記露光条件を変更する場合に前記露光条件に合わせてＩＳＯ感度を変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像画像は、ローリングシャッタ方式の撮像素子によって撮像され、
   前記処理部は、前記露光条件の変更前後の前記撮像画像を撮像した際の前記撮像素子の走査方向に対して垂直な方向における出力値を比較することでフリッカを検出することを特徴とする請求項１から６の何れかに記載の画像処理装置。
8. コンピュータに、
   画像処理装置に、撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理機能を実行させるプログラム。
9. 画像処理装置が実行するフリッカ検出方法であって、
   撮像される複数の撮像画像を比較して撮像フレームレートと撮像環境における光源の明滅周期が同調しているか否かを判定し、前記撮像フレームレートと前記明滅周期が同調していると判定された状態で露光条件の変更を検出した場合に、前記露光条件の変更前後の前記撮像画像を比較することでフリッカを検出する処理ステップを含むフリッカ検出方法。
   

Images