JP2019121069A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】フリッカ等のために撮像画像の明るさが変動する場合であっても、被写体領域の判定を高精度で行う画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】被写体を含む、所定の撮像範囲についての処理対象画像を取得する。処理対象画像の明るさに応じて所定の撮像範囲についての撮像画像から選択された選択画像から得られる背景画像を取得する。背景画像に基づいて処理対象画像における被写体の領域を判定する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

撮像画像中の被写体領域を判定する技術は、画像処理分野で広く利用されている。例えば、クロマキー合成技術では、均一色の背景を用いて被写体の撮影が行われ、均一色以外の領域が被写体領域として判定される。また、背景差分法では、事前に撮影された又は動体が写っていない領域から生成された背景画像と、処理対象画像と、の差分画像を用いて被写体領域が判定される。背景差分法については、例えば特許文献１に記載されている。

一方、蛍光灯等の人工照明はＡＣ電源の周波数（日本においては５０Ｈｚ又は６０Ｈｚ）に応じて高速に点滅する。このために、特に撮像装置のシャッタ速度を早くした場合に、撮像装置により撮像された画像の明るさが連続するフレーム間で大きく変動することが知られており、これはフリッカと呼ばれている。フリッカのない画像を得る方法として、特許文献２は、特定のシャッタ速度（１／６０秒又は１／１２０秒）で撮像装置がフリッカを検出した場合に、シャッタ速度をフリッカが生じないように（例えば１／１００秒に）変更することが記載されている。また、連続して撮像されたフレーム画像を用いた補間処理により、撮影後にフリッカを除去する方法も知られている。

特開２００６−１２１２７５号公報 特開平１１−６９２１７号公報

フリッカが発生している場合には画像の明るさが変動するため、特許文献１のように色に基づいて撮像画像中の被写体領域を判定する方法では正確に被写体領域を判定できない。補間によりフリッカを除去することができるものの、この場合被写体のぼけが発生するため、被写体領域の判定精度が低くなってしまう。一方、特許文献２に記載された方法は、フリッカを避けるために照明の点滅速度に合わせたシャッタ速度を用いるものであるから、任意のシャッタ速度、特により高速なシャッタ速度を用いることができなかった。

本発明は、フリッカ等のために撮像画像の明るさが変動する場合であっても、被写体領域の判定を高精度で行うことを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
被写体を含む、所定の撮像範囲についての処理対象画像を取得する第１の取得手段と、
前記処理対象画像の明るさに応じて前記所定の撮像範囲についての撮像画像から選択された選択画像から得られる背景画像を取得する第２の取得手段と、
前記背景画像に基づいて前記処理対象画像における前記被写体の領域を判定する領域判定手段と、
を備えることを特徴とする。

フリッカ等のために撮像画像の明るさが変動する場合であっても、被写体領域の判定を高精度で行うことができる。

画像処理システムの構成の一例を示すブロック図。 撮像装置の配置例を示す図。 一実施形態に係る画像処理方法を説明する図。 画像処理装置の論理構成の一例を示すブロック図。 画像処理装置が行う処理の一例を示すフローチャート。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
実施形態１では、照明のフリッカにより動画像の明るさに変動が生じている場合について説明する。照明のフリッカによる明るさの変動とは、動画像撮影のフレームレートと照明の明滅周期との違いによって動画像に発生する、ある程度周期的な変動のことを指す。動画像の明るさの変動は、輝度変動とも呼ばれることがある。

図１は、実施形態１に係る、被写体領域の判定を行う画像処理システムの一例を示す。この画像処理システムは、画像中に映っている被写体が画像中に占める領域である被写体領域を判定する、被写体切り出し処理を行うことができる。図１に示す画像処理システムは、画像処理装置１００と、１台以上のカメラのような撮像装置群１０９とを備える。実施形態１では、撮像装置群１０９のうちの１台の撮像装置により得られた画像について、被写体領域の判定を行う例について説明する。

画像処理装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部Ｉ／Ｆ１０６を備える。これらの各部は、データ転送のためのバス１０７を介して互いに接続されている。ＣＰＵ１０１は、画像処理装置１００を統括的に制御する演算処理装置（プロセッサー）であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行うことができる。メインメモリ１０２は、各種処理で用いられるデータ又はパラメータ等を一時的に格納することができ、また、ＣＰＵ１０１に作業領域を提供することができる記憶媒体である。メインメモリ１０２は、例えば、ＲＡＭ等の揮発メモリでありうる。記憶部１０３は、各種プログラム又はＧＵＩ（グラフィカル・ユーザ・インターフェイス）表示のために必要な各種データを記憶することができる記憶媒体である。記憶部１０３は、例えば大容量記憶装置であってもよく、また、ハードディスク又はシリコンディスク等の不揮発性メモリであってもよい。

入力部１０４は、ユーザからの操作入力を受け付ける装置である。入力部１０４は、キーボード、マウス、電子ペン、又はタッチパネル等の入力デバイスでありうる。表示部１０５は、処理結果、画像、又はＧＵＩ等を表示する装置で、例えば液晶パネル等の出力デバイスでありうる。また表示部１０５は、被写体領域の判定結果、又は被写体と背景との分離結果等の処理結果を表示することができる。外部Ｉ／Ｆ１０６は、画像処理装置１００が外部機器とデータを送受信するためのインタフェースである。本実施形態において、外部Ｉ／Ｆ１０６には、ＬＡＮ１０８を介して、撮像装置群１０９を構成する各撮像装置が接続されている。画像処理装置１００は、外部Ｉ／Ｆ１０６を介して、各撮像装置と画像データ又は制御信号データ等のデータを送受信することができる。撮像装置群１０９は、１台以上の撮像装置を含む。それぞれの撮像装置は、画像処理装置１００から受け取った制御信号データに従って、撮影の開始若しくは停止、撮影パラメータ（シャッタースピード又は絞り等）の変更、及び撮影により得られた画像データの転送等を行うことができる。なお、画像処理システムは、上記以外の様々な構成要素を有していてもよいが、その説明は省略する。

図２は、撮像装置群１０９に含まれる各撮像装置の配置例を示す。被写体領域の判定は、スポーツ又はエンターテインメント等の様々なシーンで撮影された画像について行うことができる。図２では、一例として、屋内競技場に１０台の撮像装置を設置したケースについて説明する。もちろん、屋外競技場で撮影を行う場合においても、照明が存在する場合には撮影された画像にフリッカが発生しうるため、本実施形態に係る画像処理システムが適用可能である。

図２においては、競技を行うフィールド２０１上に被写体２０２である選手及びボールが存在する。被写体２０２は動体であり、同じ撮像装置により撮像された動画像上での位置が変化する。図２では、１０台の撮像装置２０３がフィールド２０１を取り囲むように配置されている。撮像装置群１０９に含まれる個々の撮像装置２０３については、フィールド２０１全体、又はフィールド２０１上の注目領域が画角内に収まるように、撮像装置の向き、焦点距離、又は露出制御パラメータ等が設定されている。なお、撮像装置２０３の数は１０台に限らず、１０台より少なくても多くてもよい。

図３は、本実施形態に係る処理を説明する概念図である。図３には、ある撮像装置２０３ａで取得された動画像３１０が示されている。動画像３１０は、撮像装置２０３ａが被写体２０２を含む所定の撮像範囲を撮像することにより得られ、複数のフレーム画像を含んでいる。動画像３１０は、処理対象画像３２０を複数のフレーム画像のうちの１つとして含んでいる。以下では、処理対象画像３２０について被写体領域を判定する場合について説明する。もっとも、本実施形態に係る画像処理装置１００は、静止画像を含む任意の処理対象画像に対して、以下の処理を行うことができる。

まず、処理対象画像３２０と明るさが似ている、動画像３１０に含まれるフレーム画像から、背景画像３４０が得られる。本実施形態では、まず、処理対象画像３２０と明るさが似ているフレーム画像が、背景生成用の選択画像３３０として選択される。この際には、動画像３１０における明るさの変動の周期（例えばフリッカの周期）を判定し、そしてこの変動の周期に基づいて、選択画像３３０を選択することができる。次に、選択された選択画像３３０から、背景画像３４０を生成することができる。最後に、処理対象画像３２０と背景画像３４０とに基づいて被写体領域が判定される。本実施形態では、処理対象画像３２０と背景画像３４０との差異が閾値より大きい領域、例えば画素値の差分が閾値より大きい領域が、被写体領域として判定される。

図４は、本実施形態に係る画像処理装置１００の機能構成を示すブロック図である。画像処理装置１００は、変動判定部４０１、周期算出部４０２、第１の画像選択部４０３、第２の画像選択部４０４、背景生成部４０５、及び領域判定部４０６を有する。

変動判定部４０１は、被写体２０２を含む、所定の撮像範囲についての処理対象画像３２０を取得する（第１の取得）。本実施形態において、変動判定部４０１は、撮像装置２０３ａにより事前に撮影された動画像３１０をメインメモリ１０２から取得する。そして、変動判定部４０１は、動画像３１０に明るさの変動が発生しているかどうかを判定する。例えば、変動判定部４０１は、動画像３１０の時間方向の明るさの変動量が閾値を超えているか否かを判定することができ、変動量が閾値を超えている場合に明るさの変動が発生していると判定することができる。明るさの変動の判定方法の詳細については後述する（ステップＳ５０１）。なお、本明細書において、時間方向とは動画像３１０に含まれるフレーム画像の撮影順序方向又はフレーム番号方向のことを指す。例えば、時間方向に連続しているフレーム画像群とは、連続して撮影されたフレーム画像群のことを指す。

周期算出部４０２は、動画像３１０における明るさの変動の周期を算出する。この処理は、動画像３１０に明るさの変動が発生していると判定された場合に行ってもよい。前述のとおり、動画像３１０には明るさの変動が発生しているかもしれない。例えば、動画像３１０の明るさは所定周期で周期的に変動しているかもしれない。また、動画像３１０はフリッカを含んでいてもよく、動画像３１０の明るさはフリッカにより所定周期で周期的に変動しているかもしれない。周期算出部４０２は、この所定周期を算出することができる。変動周期の算出方法の詳細については後述する（ステップＳ５０３）。なお、動画像３１０の明るさは、厳密に一定の周期で変動している必要はなく、変動周期がある程度変動していてもよい。

第１の画像選択部４０３及び第２の画像選択部４０４は、処理対象画像３２０の明るさに応じて、所定の撮像範囲についての撮像画像から選択画像３３０を選択する。例えば、選択画像３３０は、処理対象画像３２０を撮像した撮像装置２０３ａにより撮像された撮像画像から選択することができる。本実施形態において、第１の画像選択部４０３及び第２の画像選択部４０４は、処理対象画像３２０の明るさに応じて、動画像３１０に含まれる複数のフレーム画像から選択画像３３０を選択する。こうして選択された選択画像は、背景画像３４０を生成するための背景生成用画像として用いられる。

本実施形態においては、動画像３１０の明るさの変動周期に従って、処理対象画像３２０と同様の明るさを有する選択画像３３０が、動画像３１０に含まれるフレーム画像から選択される。例えば、第１の画像選択部４０３は、周期算出部４０２が算出した周期に従って、動画像３１０から複数のフレーム画像を候補画像として選択する。第２の画像選択部４０４は、第１の画像選択部４０３から選択した候補画像から、処理対象画像３２０の明るさに応じた画像を選択画像３３０として選択する。選択画像３３０の選択方法の詳細については後述する（ステップＳ５０４）。

背景生成部４０５は、処理対象画像３２０の明るさに応じて所定の撮像範囲についての撮像画像から選択された選択画像３３０から得られる背景画像３４０を取得する。本実施形態において、背景生成部４０５は、第２の画像選択部４０４により選択された選択画像３３０を用いて、背景画像３４０を生成する。このように、本実施形態において、背景生成部４０５は、周期算出部４０２、第１の画像選択部４０３、及び第２の画像選択部４０４を用いて、背景画像３４０を取得している（第２の取得）。背景画像３４０の生成方法の詳細については後述する（ステップＳ５０６，Ｓ５０７）。一方、背景生成部４０５は、処理対象画像３２０の明るさとは無関係に、動画像３１０に含まれる複数のフレーム画像から選択された選択画像から得られる背景画像を取得することもできる（第３の取得、ステップＳ５０２）。

領域判定部４０６は、背景画像３４０に基づいて、処理対象画像３２０における被写体２０２の領域を判定する。本実施形態において、領域判定部４０６は、動画像３１０の時間方向の明るさの変動量が閾値を超えているかどうかに応じて、処理を切り替える。例えば、領域判定部４０６は、変動量が閾値を超えていることに応じて、処理対象画像３２０の明るさに応じて所定の撮像範囲についての撮像画像から選択された選択画像３３０から得られる背景画像３４０を用いて、被写体２０２の領域を判定する。一方、領域判定部４０６は、変動量が閾値を超えていないことに応じて、処理対象画像３２０の明るさとは無関係に、動画像３１０に含まれる複数のフレーム画像から選択された選択画像から得られる背景画像を用いて、被写体２０２の領域を判定する。領域判定方法の詳細については後述する（ステップＳ５０８）。

次に、画像処理装置１００が行う処理について、図５に示すフローチャートを参照して説明する。この一連の処理は、ＣＰＵ１０１がプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをＣＰＵ１０１が実行することで実現される。このブログラムには、図４等に示される各部の機能を実現し、図５に示すフローチャートに従う処理を実現するための命令が含まれている。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はない。例えば、処理の一部又は全てが、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われてもよい。

ステップＳ５０１で変動判定部４０１は、メインメモリ１０２に展開された動画像３１０に時間的な明るさの変動が存在するかどうかを判定する。例えば、変動判定部４０１は、動画像３１０の全領域又は部分領域についての、時間的な明るさの変動の大きさを算出することができ、変動の大きさが閾値を超える場合に、動画像３１０に時間的な明るさの変動が存在すると判定することができる。

変動判定部４０１は、この判定を、フレーム画像の明るさを反映する特徴量を用いて行うことができる。この特徴量は特に限定されないが、例えば、フレーム画像の画素値を用いて計算される値でありうる。具体例としては、特徴量は、フレーム画像の画素値又は輝度値の平均値であってもよい。この特徴量はベクトル又は行列として表されてもよく、例えば各色チャンネルについての画素値の平均値であってもよいし、画素値のヒストグラムであってもよい。さらに、特徴量は、フレーム画像におる画素値分布、又はフレーム画像における空間周波数分布であってもよい。フレーム画像におる画素値分布は、例えば、特定の画素値範囲に対応するビンのそれぞれに含まれる画素の数により表すことができる。また、フレーム画像における空間周波数分布は、例えば、それぞれの空間周波数成分の強度により表すことができる。また、また、変動判定部４０１は、フレーム画像中の特定の領域について時間的な明るさの変動が存在するかどうかを判定してもよい。この場合、フレーム画像の明るさを反映する特徴量は、この特定の領域における画素値を用いて計算される値でありうる。

以下では、動画像３１０の部分領域における平均画素値を用いて、動画像３１０に時間的な明るさの変動が存在するかどうかを判定する例について説明する。なお、以下に示す時間的な明るさの変動の判定方法は一例にすぎず、以下の方法には限定されない。例えば、それぞれのフレーム画像について、前方又は後方にある所定数のフレーム画像からの特徴量の変化が閾値を超える場合に、このフレーム画像の周辺で動画像３１０に明るさの変動が存在すると判定することができる。また、他の方法として、動画像３１０に含まれる各フレーム画像の特徴量の最大値と最小値との差分が閾値を超える場合に、動画像３１０に明るさの変動が存在すると判定することもできる。

以下では、動画像３１０に含まれるフレーム画像の数をＭとする。また、動画像の幅方向の画素数をＷ、高さ方向の画素数をＨとする。さらに、ｔ番目のフレーム画像における、画素（ｘ，ｙ）の画素値をＩ_ｔ（ｘ，ｙ）とする。まず、画像上に一定の大きさを有する正方形パッチＰをｎ個配置する。パッチＰの配置方法は任意であり、例えば等間隔で配置することができる。すると、動画像３１０に含まれるＭ個のフレーム画像についての平均画素値μは、式（１）のように画素値の合計値を画素数で除算することで得られる。また、変動度は、各画素の画素値と平均画素値μとの差分の大きさと定義することができる。本実施形態において、１つのフレーム画像についての変動度Ｄは、式（２）のように表すことができる。式（２）において、変動度Ｄは、全てのパッチＰのいずれかに含まれる全ての画素についての、画素の画素値と平均画素値μとの差分の大きさの合計値として定義される。

このように算出した変動度Ｄが予め設定した閾値を超える場合、変動判定部４０１は、動画像３１０に明るさの変動が存在すると判定する。一実施形態において、変動判定部４０１は、動画像３１０に含まれる全てのフレーム画像について変動度Ｄが閾値以下である場合、動画像３１０に明るさの変動が存在しないと判定し、そうでない場合、動画像３１０に明るさの変動が存在すると判定する。閾値の設定方法は任意であり、例えば、動画像３１０を撮影した際に恒常的に発生する撮影ノイズ量、又は動画像３１０を撮影したシーンに存在する動体である被写体の数若しくは大きさ等に基づいて設定することができる。別の実施形態においては、パッチごとに変動度を算出することができる。この場合、変動度が閾値を超えるパッチの数を、明るさの変動量として用いることができる。例えば、変動度が閾値を超えるパッチの数が所定の閾値を超える場合に、このフレーム画像を有する動画像３１０には明るさの変動が存在すると判定することができる。

動画像３１０に時間的な明るさの変動が存在しないと判定された場合、処理はステップＳ５０２に進む。動画像３１０に時間的な明るさの変動が存在すると判定された場合、処理はステップＳ５０３に進む。

ステップＳ５０２で、背景生成部４０５は、動画像３１０についての背景画像３４０を生成する。動画像３１０から背景画像３４０を生成する方法は特に限定されない。ここで、背景生成部４０５は、処理対象画像３２０の明るさとは無関係に、動画像３１０に含まれる複数のフレーム画像から選択された選択画像から得られる背景画像を取得することができる。例えば、背景生成部４０５は、動画像３１０に含まれる全てのフレーム画像を選択画像として選択することができる。また、背景生成部４０５は、処理対象画像３２０を含み、時間方向に連続するフレーム画像群を、選択画像として選択してもよい。そして、背景生成部４０５は、選択画像を用いて背景画像３４０を生成することができる。例えば、式（３）に示すように、中間値フィルタ（ｍｅｄ）を用いて背景画像３４０を生成することができる。式（３）において、Ｂ（ｘ，ｙ）は背景画像３４０における画素（ｘ，ｙ）の画素値を指し、これは各フレーム画像についての画素値Ｉ_ｔ（ｘ，ｙ）の中間値である。中間値フィルタを用いることにより、画素ごとに、画素値の時間方向の中間値を計算することができる。このため、動画像３１０において被写体が動いている場合であっても、被写体が写っていない背景画像３４０を生成することができる。背景画像３４０を生成する方法として、他の公知の方法を用いることもできる。

ステップＳ５０３で、周期算出部４０２は、動画像３１０の明るさの変動周期を算出する。変動周期を算出する方法は特に限定されないが、例えば、周期算出部４０２は、上述したフレーム画像の明るさを反映する特徴量に基づいて変動周期を判定することができる。以下では、フレーム画像の画素値分布の変化を用いて変動周期を算出する場合について説明する。

まず、周期算出部４０２は、あるｍフレーム目のフレーム画像ｍについて、画像全体についての画素値のヒストグラムを生成する。本実施形態において、周期算出部４０２は、それぞれが所定の画素値範囲に対応するｋ個のビンについて、それぞれのビンに対応する画素値を有する画素の数をカウントすることにより、それぞれのビンの度数を算出する。こうして、周期算出部４０２はヒストグラムを生成することができる。また、フレーム画像が複数のチャンネル（例えばＲ、Ｇ、及びＢ）を有する場合、周期算出部４０２は、ｌ個のチャンネルのそれぞれについてヒストグラムを生成する。こうして、フレーム画像ｍについて、ビン数ｋに相当する行とチャンネル数ｌに相当する列を持つ、ヒストグラムの度数を格納したｋ行ｌ列の行列Ａｍが得られる。

そして、周期算出部４０２は、フレーム画像ｍのヒストグラムと、ｍフレームの前後Ｌフレームにあるフレーム画像と、の類似度Ｓを算出する。例えば、周期算出部４０２は、ｍ−Ｌ番目からｍ＋Ｌ番目までの（フレーム画像ｍを除く）２Ｌ個のフレーム画像のそれぞれについて、式（４）に従ってフレーム画像ｍとの類似度Ｓを算出することができる。式（４）において、Ａｉはｉ番目（ｍ−Ｌ≦ｉ≦ｍ＋Ｌ）のフレーム画像のヒストグラム行列を表し、ｓｕｍ（Ａｍ−Ａｉ）は行列（Ａｍ−Ａｉ）の要素の合計値を表す。式（４）によれば、ヒストグラムのそれぞれのビンについて、度数のそれぞれの差分値が計算され、累積差分値が小さいほど類似度が高いと判定される。

周期算出部４０２は、２Ｌ個のフレーム画像について、類似度Ｓｍ，ｉが最大となるフレーム画像を決定する。ここで、決定されたフレーム画像の類似度をＳｍａｘとする。次に、周期算出部４０２は、最大類似度Ｓｍａｘに基づいて閾値αＳｍａｘ（０≦α≦１）を決定する。周期算出部４０２は、αを１から徐々に減少させることで、類似度Ｓが閾値αＳｍａｘ以上となるフレーム画像がほぼ等間隔に検出されるように、閾値αを調整することができる。また、この際に、類似度Ｓが閾値αＳｍａｘ以上となるフレーム画像の間隔（例えばフレーム数又は時間間隔）が、明るさの変動周期として決定される。周期の決定方法はこの方法には限定されず、例えば閾値αが事前に設定されていてもよい。また、ヒスグラムのビンのうち一部のビンのみを用いて類似度の判定が行われてもよい。さらに、事前に設定された範囲内の類似度Ｓを有するフレーム画像を検出し、検出されたフレーム画像の数又は間隔に基づいて明るさの変動周期が決定されてもよい。

また、類似度Ｓの算出方法は、上記の方法には限定されない。例えば、ヒストグラムの分散及び平均値から類似度を算出する方法がある。具体例としては、行列（Ａｍ−Ａｉ）の各要素を、対応するビンの度数の分散を用いて補正してから、類似度Ｓを算出する方法がある。また、度数の差分が閾値以下になるビンの数を求め、この数に基づいて類似度を算出する方法もある。

さらに、明るさの変動周期を画素値のヒストグラムを用いて算出する必要はない。例えば、画像全体の画素値の差分に基づいて周期を算出することができる。具体例としては、フレーム画像の代表画素値（例えば各画素の画素値の平均値）の差分に基づいて類似度を求め、ヒストグラムを用いる場合と同様にこの類似度に基づいて周期を決定することができる。

別の例として、周期算出部４０２は、フレーム画像の明るさを反映する特徴量を時間方向に周波数解析することにより、明るさの変動周期を算出することもできる。例えば、周期算出部４０２は、画像全体の画素値分布を時間方向にプロットし、フーリエ変換を行うことにより、変動周期を算出することもできる。

また、明るさの変動周期の算出は、フレーム画像の全画素を考慮して行う必要はない。すなわち、周期の算出を、一部の画素に基づいて行ってもよい。例えば、動画像上に一定の大きさのパッチを１以上配置して、パッチ領域に含まれる画素に基づいて同様の処理を行ってもよい。また、複数のパッチのうち、明るさの変動がより大きなパッチを選択して、このパッチに含まれる画素に基づいて周期を算出してもよい。明るさの変動が大きなパッチは、ノイズの影響が相対的に小さいため、この方法によればより高精度に変動周期を算出できる。

ステップＳ５０４で、第１の画像選択部４０３は、ステップＳ５０３で算出された明るさの変動周期に基づいて、フレーム画像を候補画像として選択する。ここで、第１の画像選択部４０３は、処理対象画像３２０に対して、明るさの変動周期の倍数だけ時間方向に離れているフレーム画像を、候補画像として選択することができる。一例として、第１の画像選択部４０３は、処理対象画像がｍフレーム目のフレーム画像ｍである場合、明るさの変動周期をＴ［フレーム］とすると、第１の画像選択部４０３は、（ｍ＋ｊＴ）番目のフレーム画像を選択することができる。ここで、フレーム画像の総数をＭとすると、１≦ｍ＋ｊＴ≦Ｍ（ｊは整数）である。

一方、フリッカの周期は、照明自体の劣化や、複数照明の干渉の影響により変動するため、必ずしも一定ではない。このため、第１の画像選択部４０３は、（ｍ＋ｊＴ）番目のフレーム画像の周辺に存在するフレーム画像群を、さらに候補画像として選択することができる。例えば、第１の画像選択部４０３は、（ｍ＋ｊＴ）番目のフレーム画像と時間方向に連続する、（ｍ＋ｊＴ−Ｋ）番目から（ｍ＋ｊＴ＋Ｋ）番目までのフレーム画像を、候補画像として選択することができる。以下、これらのフレーム画像をまとめて、（ｍ＋ｊＴ）番目のフレーム画像群と呼ぶ。もちろん、一定の周期ごとに得られたフレーム画像の類似度Ｓが高い場合、さらなるフレーム画像の選択を行わなくてもよい。すなわち、Ｋの値は任意であり、０であってもよく、１であってもよく、２以上であってもよい。このような構成によれば、照明が複数存在する場合や照明の経年劣化があるなどの理由で、明るさの変動周期が変動したとしても、高精度で被写体領域を判定することができる。

ステップＳ５０５で、第２の画像選択部４０４は、第１の画像選択部４０３が選択したフレーム画像群のうち、フレーム画像ｍとの類似度Ｓが閾値以上になるフレーム画像群を選択する。例えば、第２の画像選択部４０４は、フレーム画像群に、フレーム画像ｍとの類似度Ｓが閾値以上になるフレーム画像が含まれる場合に、このフレーム画像群を選択することができる。この際に用いる閾値は任意であるが、例えば、ステップＳ５０３で用いられたαＳｍａｘを使ってもよい。また、第２の画像選択部４０４は、選択されるフレーム画像群の数が所定数より多い又は少ない場合に、閾値を上げ又は下げることができる。もちろん、フレーム画像群に、閾値を下回る類似度のフレーム画像しか存在しない場合、このフレーム画像群は選択しなくてよい。全てのフレーム画像群について類似度Ｓが閾値以上であると判定された場合、処理はステップＳ５０６に進む。そうではない場合、処理はステップＳ５０７に進む。

このようなステップＳ５０５の処理により、第２の画像選択部４０４は、処理対象画像３２０との間での明るさを反映する特徴量の類似度に基づいて、選択画像３３０を選択することができる。例えば、第２の画像選択部４０４は、処理対象画像３２０との間での明るさを反映する特徴量の類似度が閾値以上である画像を、選択画像３３０として選択することができる。一方で、第２の画像選択部４０４は、処理対象画像３２０と時間方向に近いフレーム画像であっても、処理対象画像３２０と明るさが類似していないフレーム画像は選択しない。このため、第２の画像選択部４０４は、動画像３１０に含まれる複数のフレーム画像から、時間方向に離れた第１のフレーム画像及び第２のフレーム画像を選択画像として選択することができる。この際、動画像３１０は、第１のフレーム画像と第２のフレーム画像との間に１以上の選択されないフレーム画像を含んでいてもよい。もっとも、処理対象画像３２０と明るさが類似しているのであれば、連続する２以上のフレーム画像を選択画像として選択してもよい。

ステップＳ５０６で、第２の画像選択部４０４は、それぞれのフレーム画像群について、フレーム画像ｍとの類似度Ｓが最も高いフレーム画像を選択画像３３０として選択する。そして、第２の画像選択部４０４は、選択画像３３０から背景生成部４０５が背景画像３４０を生成する。背景画像３４０の生成方法としては、ステップＳ５０２と同様の方法を用いることができる。例えば、第２の画像選択部４０４は、選択画像３３０を中間値フィルタで処理することにより背景画像３４０を生成することができる。

ステップＳ５０７で、第２の画像選択部４０４は、ステップＳ５０５で選択されたフレーム画像群について、フレーム画像ｍとの類似度Ｓが最も高いフレーム画像を選択画像３３０として選択する。そして、第２の画像選択部４０４は、選択画像３３０から背景生成部４０５が背景画像３４０を生成する。背景画像３４０の生成方法としては、ステップＳ５０２と同様の方法を用いることができる。例えば、第２の画像選択部４０４は、選択画像３３０を中間値フィルタで処理することにより背景画像３４０を生成することができる。

ステップＳ５０８で、領域判定部４０６は、処理対象画像３２０と、背景生成部４０５が生成した背景画像３４０と、を用いて被写体領域を判定する。被写体領域の判定方法は特に限定されないが、例えば、領域判定部４０６は、処理対象画像３２０と背景画像３４０との差分画像３５０を生成することにより、被写体２０２の領域を判定することができる。具体例としては、領域判定部４０６は、各画素について処理対象画像３２０と背景画像３４０との画素値の差分を求め、差分が閾値以上になる領域を被写体２０２の領域と判定することができる。

以上、処理対象画像３２０における被写体２０２の領域を判定する処理について、図５のフローチャートを参照して説明した。一実施形態においては、動画像３１０に含まれる別のフレーム画像についても、被写体２０２の領域が判定される。この場合、別のフレーム画像を処理対象画像として用いながら、図５に示す処理を繰り返すことができる。この場合には、ステップＳ５０１及びＳ５０３の処理を省略してもよい。すなわち、動画像３１０に明るさの変動が存在すると以前に判定されている場合には、以前に算出された変動周期にしたがって選択画像を選択し、背景画像を生成することができる。また、動画像３１０に明るさの変動が存在しないと以前に判定されている場合には、ステップＳ５０２に従って背景画像を生成することができる。

上述の説明においては、ステップＳ５０１で、動画像３１０に含まれる全てのフレーム画像を参照して、動画像３１０に明るさの変動が存在するか否かが判定された。一方で、変動判定部４０１は、処理対象画像３２０の周辺において動画像３１０に明るさの変動が存在するか否かを判定してもよく、周期算出部４０２は、処理対象画像３２０の周辺において明るさの変動周期を算出してもよい。例えば、変動判定部４０１は、処理対象画像３２０と時間方向に連続する所定数のフレーム画像を参照して、明るさの変動が存在するか否かを判定してもよい。さらに、周期算出部４０２は、処理対象画像３２０と時間方向に連続する所定数のフレーム画像を用いて、明るさの変動周期を算出してもよい。この場合、動画像３１０に含まれるそれぞれのフレーム画像について、ステップＳ５０１及びＳ５０３の処理を行うことができる。このような構成によれば、明るさの変動周期が撮影中に変動する場合であっても、高精度で被写体領域を判定することができる。

また、上述の説明においては、動画像３１０に含まれる全てのフレーム画像から、選択画像が選択された。一方、処理対象画像３２０の周辺から選択画像を選択してもよい。例えば、処理対象画像３２０と時間方向に連続する所定数のフレーム画像から、処理対象画像３２０の明るさに応じて選択画像を選択することができる。このような構成によれば、動画像３１０の背景が次第に変化する場合であっても、高精度に被写体領域を判定することができる。具体例としては、ステップＳ５０４で、第１の画像選択部４０４は、処理対象画像３２０と時間方向に連続する所定数のフレーム画像から、明るさの変動周期に基づいて候補画像を選択することができる。この構成は、処理対象画像３２０と時間方向に連続する所定数のフレーム画像を参照して、明るさの変動が存在するか否かを判定する構成と組み合わせて用いることができる。ここで、候補画像が選択される所定数のフレーム画像と、明るさの変動が存在するか否かを判定するために用いられる所定数のフレーム画像とは、同一であってもよい。

本実施形態によれば、動画像中に明るさの変動が発生している場合であっても、処理対象画像と明るさが類似している画像から背景画像を生成することで、被写体領域の判定精度を向上させることができる。とりわけ、本実施形態によれば、特許文献１の手法よりも高速な、フリッカが生じうるシャッタ速度を用いる場合であっても、被写体領域の判定を高精度で行うことができる。このため、本実施形態によれば、被写体が高速に移動するスポーツ撮影等のシーンにおいて、動きボケを低減するためにシャッタ速度を速くした場合であっても、被写体領域をより正確に判定することが可能となる。また、本実施形態の手法によれば、フリッカを低減するために撮影中にフレームレートを変更する必要はないため、フリッカが検出されても動画像の撮影を継続することができる。

［その他の実施形態］
被写体領域の判定精度を向上させるためには、実施形態１に係る画像処理装置１００が有する構成及び行う処理の全てを用いることは必須ではない。一実施形態に係る画像処理装置１００において、変動判定部４０１は、被写体２０２を含む、所定の撮像範囲についての処理対象画像３２０を取得するが、動画像の明るさの変動の判定を行わない。この場合、動画像に明るさの変動が存在するか否かにかかわらず、ステップＳ５０３〜Ｓ５０７の処理を行うことができる。

また、一実施形態において、撮像装置２０３ａは、所定の撮像範囲についての複数の撮影画像を背景画像として撮像しており、それぞれの撮像画像はフリッカのために明るさが異なっている。このような実施形態において、背景生成部４０５は、撮像装置２０３ａが撮像した背景画像から、処理対象画像３２０の明るさに応じた画像を選択し、これを背景画像３４０として用いることができる。この背景画像は、動画像３１０に含まれていてもよいし、含まれていなくてもよい。このような実施形態においては、周期算出部４０２、第１の画像選択部４０３、及び第２の画像選択部４０４を省略することができる。

さらなる実施形態においては、フレーム画像の明るさに応じて背景生成部４０５が生成した背景画像を、メインメモリ１０２等の記憶媒体に格納することができる。そして、背景生成部４０５は、処理対象画像３２０の明るさに応じて選択された選択画像から得られた背景画像がメインメモリ１０２に格納されている場合、この画像を選択して背景画像３４０として用いることができる。一例として、背景生成部４０５は、処理対象画像３２０との間で明るさを反映する特徴量の類似度が閾値以上である選択画像から得られた背景画像を、メインメモリ１０２から取得することができる。また、背景生成部４０５は、処理対象画像３２０との間で明るさを反映する特徴量の類似度が閾値以上であるフレーム画像について生成された背景画像を、メインメモリ１０２から取得することができる。

実施形態１において、周期算出部４０２、第１の画像選択部４０３、及び第２の画像選択部４０４は、動画像３１０の明るさの変動周期に基づいて、処理対象画像３２０の明るさに応じた選択画像３３０を選択している。ここで、動画像３１０の明るさの変動周期に基づいて選択画像３３０を選択することは必須ではなく、動画像３１０の明るさの変動周期を算出することも必須ではない。例えば、第２の画像選択部４０４は、処理対象画像３２０の明るさに応じて、所定の撮像範囲についての撮像画像から選択画像を選択することができる。一実施形態において、第２の画像選択部４０４は、処理対象画像３２０との間での明るさを反映する特徴量の類似度が閾値以上である画像を、選択画像３３０として選択することができる。一例として、上述した類似度Ｓのような、画像間の画素値分布の差分のみに基づく値に従って、選択画像３３０を選択することができる。第２の画像選択部４０４が選択する選択画像は、動画像３１０に含まれていてもよいし、動画像３１０には含まれない撮像装置２０３ａが撮像した撮像画像であってもよい。このような実施形態においては、周期算出部４０２及び第１の画像選択部４０３を省略することができる。

実施形態１においては、主にフリッカにより動画像３１０の明るさが変動する場合について説明した。しかしながら、照明の点滅等のために、動画像３１０の背景が周期的に変化する場合についても、実施形態１の方法は適用可能である。

実施形態１では、１つの撮像装置２０３ａにより撮像された単視点の動画像３１０を用いて、明るさの変動周期を算出し、この周期を基に被写体領域を判定する処理について説明した。しかしながら、被写体領域の判定を、他の視点からの動画像を参照して行うこともできる。例えば、図２のように複数台の撮像装置が設置されている場合、他の撮像装置で得られた動画像を考慮することができる。例えば、変動判定部４０１は、複数の撮像装置２０３のそれぞれにより撮像された被写体２０２の動画像を取得し、それぞれの動画像について明るさの変動周期を算出することができる。この際、複数の撮像装置２０３の間で変動周期を比較することができる。

例えば、第１の撮像装置により撮像された動画像についての変動周期の判定結果を、第２の撮像装置により撮像された動画像についての変動周期の判定結果を用いて検証することができる。具体例としては、他の撮像装置とは大きく異なる変動周期が算出された場合、周期算出部４０２はこの変動周期を除去することができる。この際には、周期算出部４０２は、算出された周期を誤りと判定し、例えば上述の閾値αを調整するなどの方法により、別の変動周期を算出することができる。物理的に近傍に配置された撮像装置は同じ照明の影響を受けやすいため、検証精度を向上させるために、このような実施形態においては物理的に近傍に配置された（例えば所定距離以内に配置された）撮像装置間で変動周期を比較してもよい。

上述の実施形態は、被写体２０２の三次元の位置及び形状を推定するために用いることができる。例えば、変動判定部４０１は、複数の撮像装置２０３のそれぞれにより撮像された被写体２０２を含む画像を取得することができる。この画像は、被写体２０２を同時に撮像して得られる画像である。背景生成部４０５は、上述の方法により、複数の撮像装置２０３により撮像されたそれぞれの画像について背景画像を取得することができる。また、領域判定部４０６は、複数の撮像装置２０３により撮像されたそれぞれの画像における被写体２０２の領域を判定することができる。そして、画像処理装置１００が備える推定部（不図示）は、複数の撮像装置２０３により撮像されたそれぞれの画像において判定された被写体２０２の領域に基づいて、被写体２０２の三次元の位置及び形状を推定することができる。位置及び形状の推定方法としては、視体積交差法のような公知の方法を採用できるため、説明は省略する。上述の実施形態によれば、撮像装置２０３により得られる画像にフリッカが含まれているものの、被写体２０２の領域は高精度に判定できるため、被写体２０２の位置及び形状も高精度に推定することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、４０１：変動判定部、４０２：周期算出部、４０５：背景生成部、４０６：領域判定部

Claims (18)

1. 被写体を含む、所定の撮像範囲についての処理対象画像を取得する第１の取得手段と、
   前記処理対象画像の明るさに応じて前記所定の撮像範囲についての撮像画像から選択された選択画像から得られる背景画像を取得する第２の取得手段と、
   前記背景画像に基づいて前記処理対象画像における前記被写体の領域を判定する領域判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第２の取得手段は、前記処理対象画像との間での明るさを反映する特徴量の類似度に基づいて、前記選択画像を選択することを特徴とする、請求項１に記載の画像処理装置。
3. 前記明るさを反映する特徴量は、画像における画素値分布、又は画像における空間周波数分布であることを特徴とする、請求項２に記載の画像処理装置。
4. 前記第１の取得手段は、複数のフレーム画像を含み、前記処理対象画像を前記複数のフレーム画像のうちの１つとして含む、前記所定の撮像範囲についての動画像を取得することを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２の取得手段は、前記処理対象画像の明るさに応じて前記複数のフレーム画像から前記選択画像を選択し、前記選択画像から前記背景画像を生成することを特徴とする、請求項４に記載の画像処理装置。
6. 前記第２の取得手段は、前記複数のフレーム画像から第１のフレーム画像及び第２のフレーム画像を前記選択画像として選択し、前記動画像は前記第１のフレーム画像と前記第２のフレーム画像との間に１以上の選択されないフレーム画像を含むことを特徴とする、請求項５に記載の画像処理装置。
7. 前記動画像の明るさは所定周期で周期的に変動することを特徴とする、請求項４から６のいずれか１項に記載の画像処理装置。
8. 前記動画像はフリッカを含み、前記動画像の明るさは前記フリッカにより所定周期で周期的に変動することを特徴とする、請求項７に記載の画像処理装置。
9. 前記第２の取得手段は前記所定周期を判定し、前記所定周期に基づいて前記複数のフレーム画像から前記選択画像を選択することを特徴とする、請求項７又は８に記載の画像処理装置。
10. 前記第２の取得手段は、前記フレーム画像の明るさを反映する特徴量に基づいて前記所定周期を判定することを特徴とする、請求項９に記載の画像処理装置。
11. 前記第２の取得手段は、前記フレーム画像の明るさを反映する特徴量を時間方向に周波数解析することにより、前記所定周期を判定することを特徴とする、請求項１０に記載の画像処理装置。
12. 前記第２の取得手段は、前記処理対象画像に対して前記所定周期の倍数だけ時間方向に離れているフレーム画像及び当該フレーム画像と時間方向に連続するフレーム画像の中から、前記処理対象画像の明るさに応じて前記選択画像を選択することを特徴とする、請求項７から１１のいずれか１項に記載の画像処理装置。
13. 前記第１の取得手段は、複数の撮像装置のそれぞれにより撮像された前記被写体の動画像を取得し、
    前記第２の取得手段は、第１の撮像装置により撮像された動画像についての前記所定周期の判定結果を、第２の撮像装置により撮像された動画像についての前記所定周期の判定結果を用いて検証することを特徴とする、請求項７から１２のいずれか１項に記載の画像処理装置。
14. 前記動画像の時間方向の明るさの変動量が閾値を超えているか否かを判定する変動判定手段と、
    前記処理対象画像の明るさとは無関係に前記複数のフレーム画像から選択された選択画像から得られる背景画像を取得する第３の取得手段と、をさらに備え、
    前記領域判定手段は、前記変動量が閾値を超えていることに応じて、前記第２の取得手段が取得した背景画像を用いて前記被写体の領域を判定し、前記変動量が閾値を超えていないことに応じて、前記第３の取得手段が取得した背景画像を用いて前記被写体の領域を判定することを特徴とする、請求項４から１３のいずれか１項に記載の画像処理装置。
15. 前記第２の取得手段は、前記選択画像を中間値フィルタで処理することにより前記背景画像を生成し、
    前記領域判定手段は、前記処理対象画像と前記背景画像との差分を算出することにより、前記被写体の領域を判定することを特徴とする、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記第１の取得手段は、複数の撮像装置のそれぞれにより撮像された前記被写体を含む画像を取得し、
    前記第２の取得手段は、前記複数の撮像装置により撮像されたそれぞれの前記画像について前記背景画像を取得し、
    前記領域判定手段は、前記複数の撮像装置により撮像されたそれぞれの前記画像における前記被写体の領域を判定し、
    前記画像処理装置は、前記複数の撮像装置により撮像されたそれぞれの前記画像において判定された前記被写体の領域に基づいて、前記被写体の三次元の位置及び形状を推定する
    ことを特徴とする、請求項１から１５のいずれか１項に記載の画像処理装置。
17. 画像処理装置が行う画像処理方法であって、
    被写体を含む、所定の撮像範囲についての処理対象画像を取得する第１の取得工程と、
    前記所定の撮像範囲についての、前記処理対象画像の明るさに応じて選択された選択画像から得られる背景画像を取得する第２の取得工程と、
    前記背景画像に基づいて前記処理対象画像における前記被写体の領域を判定する領域判定工程と、
    を備えることを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。