JP7446756B2

JP7446756B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP7446756B2
Application number: JP2019182004A
Authority: JP
Inventors: 秀憲伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-10-02
Filing date: 2019-10-02
Publication date: 2024-03-11
Anticipated expiration: 2039-10-02
Also published as: US20210104050A1; US11869196B2; JP2021056960A; KR20210039945A; CN112598691A

Description

本発明は、画像から前景領域を抽出する技術に関する。

従来、画像から前景領域を抽出する前景抽出手法は種々の目的で用いられており、様々な手法が提案されている。例えば、特許文献１に開示された技術では、まず背景差分手法により動きのある領域を前景候補領域として抽出し、当該前景候補領域から特徴量を用いて前景領域を検出する。一方、例えば、非特許文献１に開示された技術では、ＣｏｎｖｏｌｕｔｉｏｎネットワークとＤｅｃｏｎｖｏｌｕｔｉｏｎネットワークを組み合わせて用い、機械学習の結果に基づく前景抽出手法によって、意味的に異なる複数の前景領域を抽出することが出来る。意味的に異なるとは、例えば人間とボールなどの異なる種類の物体であることを指す。

特開２０１２－４８４８４号公報

ＨｙｅｏｎｗｏｏＮｏｈ，ＳｅｕｎｇｈｏｏｎＨｏｎｇ，ａｎｄＢｏｈｙｕｎｇＨａｎ． "Ｌｅａｒｎｉｎｇｄｅｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ．" ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（ＩＣＣＶ），２０１５，ｐ．１５２０－１５２８

しかしながら、入力画像に対して、背景差分手法と機械学習の結果を用いた前景抽出方法のいずれかを用いる場合、以下のような問題が生じる。すなわち、背景差分手法では、複数の入力画像間で各画素の画素値の変化を検出し、変化が所定のしきい値内に収まっている画素より背景画像を生成する。そして、前景領域抽出対象の入力画像と背景画像とを比較して、画素値の差が所定のしきい値以上の画素を前景領域として抽出する。この方法では、ほとんど動かない静止物体は背景画像に取り込まれてしまうため、静止物体が存在する領域を前景領域として抽出することが出来ない。例えば、サッカー競技において、プレイヤーやボールなどの移動物体が存在する領域を前景領域として抽出することは出来るが、ゴールネットを含むゴールやコーナーフラッグなどの静止物体が存在する領域を前景領域として抽出することは出来ない。一方、機械学習の結果を用いた前景抽出手法では、処理の負荷が増大してしまう。

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、前景領域をより適切に抽出することにある。

本発明の一実施形態における画像処理装置は、入力画像から前景領域を抽出する画像処理装置であって、前記入力画像に対して、第１領域と、前記第１領域とは異なる第２領域とを設定する設定手段と、前記第１領域から前記前景領域を抽出する第１の抽出手段と、前記第１の抽出手段とは異なる抽出手法により、前記第２領域から前記前景領域を抽出する第２の抽出手段とを有し、前記設定手段は、前記第１の抽出手段による前記前景領域の抽出処理が適用される前記第１領域の位置と前記第２の抽出手段による前記前景領域の抽出処理が適用される前記第２領域の位置とを指定する情報である領域情報に基づいて、前記入力画像に対して前記第１領域及び前記第２領域を設定し、前記第２の抽出手段は、背景差分による抽出手法を用いて前記前景領域を抽出することを特徴とする。

本発明によれば、前景領域をより適切に抽出することができる。

第１の実施形態における画像処理装置の機能構成図である。第１の実施形態における画像処理装置の適用例を示す図である。第１の実施形態における前景抽出処理のフローチャートである。第１の実施形態における静止物体のみが存在する入力画像の例を示す図である。第１の実施形態における領域情報の例を示す図である。第１の実施形態における静止物体および移動物体が存在する入力画像の例を示す図である。第１の実施形態における第１前景領域抽出部によって処理される画像の例を示す図である。第１の実施形態における第２前景領域抽出部によって処理される画像の例を示す図である。第１の実施形態における第１前景領域の抽出結果の例を示す図である。第１の実施形態における第２前景領域の抽出結果の例を示す図である。第２の実施形態における画像処理装置の構成図である。第２の実施形態における画像処理装置の適用例を示す図である。第２の実施形態における前景抽出処理のフローチャートである。第２の実施形態における静止物体のみが存在する入力画像の例を示す図である。第２の実施形態における領域情報の例を示す図である。第２の実施形態における静止物体および移動物体が存在する入力画像の例を示す図である。第１及び第２の実施形態における情報処理装置のハードウェア構成図である。

以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。以下の実施形態の説明では、サッカー競技において本発明を適用した例を図示し説明するが、本発明はこれに限定されるものではない。プレイヤー（人物）やボールなどの移動物体と、フィールドに固定的に設置されたサッカーゴールやコーナーフラッグなどの静止物体とが存在する任意の画像に対して、本発明は適用可能である。なお、本実施形態において、移動物体は、プレイヤー（人物）およびボールの少なくとも一方を含むものとすることができる。また、静止物体は、サッカーの試合に用いられるサッカーゴールおよびコーナーフラッグの少なくとも一方を含むものとすることができる。また、本実施形態における静止物体は、位置及び向きが固定された撮像装置が連続して撮像を行った場合に、その位置に変化が見られない静的オブジェクトであればよい。例えば、静止物体は、所定の位置に設置された物体とすることができる。また、静止物体の少なくとも一部は、移動物体である人物が競技を行うフィールド上に設置してもよい。また、屋内スタジオなどを撮像シーンとする場合には、家具や小道具を静止物体として扱うことができる。

以下の実施形態では、参照符号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。例えば、カメラ２０２Ａとカメラ２０２Ｂは同一の機能を持つ別インスタンスを示している。

（第１の実施形態）
第１の実施形態では、入力画像のうち、機械学習の結果に基づく前景抽出手法を適用する領域を、静止物体の含まれる領域に限定し、残りの領域に背景差分手法を用いる例について説明する。これにより、機械学習の結果に基づく前景抽出手法の使用による計算処理の処理負荷の増大を抑制して、移動物体とともに静止物体を前景領域として抽出することが可能となる。

図１は、第１の実施形態における画像処理装置１００の機能構成図を示す。画像処理装置１００は、前景領域の抽出対象である入力画像１０５と、入力画像１０５の各部分領域に適用する前景領域抽出部を示す領域情報１０６を入力として、前景領域の抽出結果である第１前景領域画像１０７と第２前景領域画像１０８を出力する。

画像入力部１０１は、入力画像１０５を受信し、画像処理装置１００に入力する。入力画像１０５は、カメラなどの撮像装置からＳＤＩケーブルなどを介して入力されてもよいし、画像データとしてＵＳＢやＰＣＩｅなどのインターフェース経由で入力されてもよい。

領域情報設定部１０２は、領域情報１０６を受信し、記憶する。領域情報１０６は、位置及び向きが固定された各撮像装置に対して、ユーザによって予め指定された情報であって、入力画像１０５中のどの領域にどの前景領域抽出部を適用するかの情報を含む。領域情報１０６は、例えば、入力画像１０５に対して、「０」と「１」の２値を用いて、２つの前景領域抽出部のどちらを適用する領域かを表すことができる。すなわち、位置及び向きが固定された各撮像装置が撮像する画像に対して、各前景領域抽出部を適用する領域の位置を指定することができる。詳細は、後述の画像処理装置１００の動作例で説明する。領域情報１０６は、画像入力部１０１に対して出力される。画像入力部１０１は領域情報１０６に基づいて、入力画像１０５の部分領域を第１前景領域抽出部１０３および第２前景領域抽出部１０４のいずれかに振り分ける。

第１前景領域抽出部１０３および第２前景領域抽出部１０４は、画像入力部１０１によって振り分けられた部分領域に対して、それぞれ異なる前景領域抽出手法により、前景が存在する領域を示す前景領域画像を生成する。第１前景領域抽出部１０３および第２前景領域抽出部１０４は、それぞれ生成した前景領域画像である第１前景領域画像１０７および第２前景領域画像１０８を出力する。前景領域画像は、例えば、前景をシルエットとして白で表現し、背景を黒で表現したシルエット画像とすることができる。

図２は、第１の実施形態における画像処理装置１００の適用例２００を示す。適用例２００には、サッカーのフィールドである前景抽出対象フィールド２０１の周囲に配置されたカメラ２０２Ａからカメラ２０２Ｌ、および各カメラと接続した画像処理装置１００Ａから画像処理装置１００Ｌが存在する。カメラ２０２により前景抽出対象フィールド２０１を撮像し、撮像した結果を入力画像１０５として画像処理装置１００に入力する。それぞれの画像処理装置１００は、入力画像１０５から前景領域を抽出した結果である前景領域画像を生成する。生成した前景領域画像は、例えばそのシルエット情報およびテクスチャ情報から３次元モデルを生成し、３次元空間内の任意の仮想視点からの仮想視点画像を生成するために使用可能である。

次に、図３から図９を用いて、第１の実施形態における画像処理装置１００の動作例について説明する。本動作例の説明では、図２のカメラ２０２Ｂおよびカメラ２０２Ｄによって撮像される画像を入力画像として用いる。フィールド内にプレイヤーおよびボールがない状態のそれぞれの入力画像は、図４（ａ）の入力画像４０１および図４（ｂ）の入力画像４０２となる。入力画像４０１および入力画像４０２は、フィールド４０３、ゴールＡ４０４およびゴールＢ４０５を含む。

また、本実施形態において、第１前景領域抽出部１０３は、非特許文献１に示されるような機械学習による手法を用いて前景領域を抽出し、第２前景領域抽出部１０４は、背景差分法による手法を用いて前景領域を抽出する。非特許文献１では、人物と非人物を含む入力画像に対し、それぞれに異なる領域を割り当てた前景領域情報の出力が可能であることが示されている。本実施形態では、静止物体であるサッカーゴールおよびコーナーフラッグに加え、移動物体であるプレイヤーおよびボールを前景領域として検出することが出来るように学習がなされた手法を用いるものとする。

ここで、第１前景領域抽出部１０３の学習について説明を行う。第１前景領域抽出部１０３は、例えば、入力層と中間層と出力層とを含む畳み込みニューラルネットワークで構成される。そして、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差とが得られる。損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差が計算されてもよい。ここでは、入力データとしては、静止物体と移動物体と、それ以外の背景等を含む画像であり、教師データは、正解である静止物体と移動物体のみが含まれる画像である。

上記の誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等が更新される。例えば、誤差逆伝播法を用いて、結合重み付け係数等が更新される。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

なお、学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図３は、第１の実施形態における前景抽出処理のフローチャートを示す。このフローチャートに示す動作により、画像処理装置１００は複数フレームの入力画像１０５を受信し、前景抽出処理を行い、前景領域画像を生成する。なお、フローチャートで示される一連の処理は、画像処理装置１００のＣＰＵがＲＯＭまたはＨＤＤに格納されている制御プログラムをＲＡＭに展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。また、フローチャートの説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

Ｓ３０１において、領域情報設定部１０２は、領域情報１０６を受信し、各前景領域抽出部の適用領域の設定を行う。本動作例におけるカメラ２０２Ｂに対応する画像処理装置１００Ｂは、領域情報１０６として、図５（ａ）に示す領域情報５０１を受信する。また、カメラ２０２Ｄに対応する画像処理装置１００Ｄは、領域情報１０６として、図５（ｂ）に示す領域情報５０２を受信する。領域情報５０１は、機械学習の結果に基づく前景抽出手法が適用される第１処理領域５０３を含み、領域情報５０２は、同じく機械学習の結果に基づく前景抽出手法が適用される第１処理領域５０４を含む。領域情報５０１、５０２において、第１処理領域５０３、５０４とそれ以外の領域は、例えば、「０」と「１」の２値を用いて表現することが出来る。第１処理領域５０３、５０４を「１」とし、第１前景領域抽出部１０３を適用する領域とする一方で、第１処理領域５０３、５０４以外の領域を「０」とし、第２前景領域抽出部１０４を適用する領域とすることが出来る。このように、領域情報１０６によって、各前景領域抽出部を適用する領域の位置を指定することで、各前景領域抽出部を使い分けることが出来る。上述の通り、本実施形態の第１前景領域抽出部１０３は、静止物体であるサッカーゴールおよびコーナーフラッグが抽出できるように学習されている。第１処理領域５０３、５０４のように、機械学習の結果に基づく前景抽出手法が適用される部分領域がサッカーゴールを含むように設定することで、本領域に含まれるサッカーゴールを前景として抽出することが出来る。また、本実施形態の第１前景領域抽出部１０３は、移動物体であるプレイヤーおよびボールも抽出することが可能である。そのため、第１処理領域５０３、５０４にプレイヤーおよびボールが入り込んでいる状態の入力画像であっても、プレイヤーおよびボールを前景領域として抽出することが可能となる。本実施形態では、図５（ａ）、（ｂ）に示すように機械学習の結果に基づく前景抽出手法の適用領域である第１処理領域５０３、５０４を、静止物体が含まれる領域に限定することで、計算処理負荷の増大を抑制することが可能となる。なお、静止物体は、その位置が変化しないため、位置及び向きが固定された撮像装置が連続して撮像を行う場合、フレームによらず、第１処理領域として指定される領域は固定されてもよい。

Ｓ３０２において、画像入力部１０１は、前景領域の検出対象である入力画像１０５を入力する。図６（ａ）は、フィールド内にプレイヤーおよびボールが存在するあるフレームにおける画像処理装置１００Ｂに対する入力画像６０１を示す。図６（ｂ）は、フィールド内にプレイヤーおよびボールが存在するあるフレームにおける画像処理装置１００Ｄに対する入力画像６０２を示す。入力画像６０１および入力画像６０２には、ボール６０３、プレイヤーＡ６０４、プレイヤーＢ６０５、プレイヤーＣ６０６およびプレイヤーＤ６０７が存在する。

Ｓ３０３において、画像入力部１０１は、設定された領域情報１０６に基づいて、入力画像１０５の第１前景領域抽出部１０３および第２前景領域抽出部１０４への振り分けを行う。入力画像１０５のうち、第１処理領域５０３、５０４内の画像は第１前景領域抽出部１０３に出力され、それ以外の領域の画像は第２前景領域抽出部１０４に出力される。図７（ａ）は、画像処理装置１００Ｂにおける第１前景領域抽出部１０３が処理する画像７０１を示す。図７（ｂ）は、画像処理装置１００Ｄにおける第１前景領域抽出部１０３が処理する画像７０２を示す。また、図８（ａ）は、画像処理装置１００Ｂにおける第２前景領域抽出部１０４が処理する画像８０１を示す。図８（ｂ）は、画像処理装置１００Ｄにおける第２前景領域抽出部１０４が処理する画像８０２を示す。

Ｓ３０４において、画像処理装置１００Ｂ、１００Ｄの第１前景領域抽出部１０３は、それぞれ画像７０１、７０２から前景領域を抽出する。第１前景領域抽出部１０３は、画像７０１、７０２に対して機械学習の結果に基づく前景領域抽出処理を行い、第１前景領域画像１０７として図９（ａ）に示す第１前景抽出結果９０１および図９（ｂ）に示す第１前景抽出結果９０２を生成する。第１前景抽出結果９０１は、静止物体であるゴールＡ４０４およびゴールＢ４０５の他に、移動物体であるボール６０３、プレイヤーＡ６０４およびプレイヤーＤ６０７を含む。第１前景抽出結果９０２は、静止物体であるゴールＡ４０４およびゴールＢ４０５の他に、移動物体であるボール６０３を含む。

Ｓ３０５において、画像処理装置１００Ｂ、１００Ｄの第２前景領域抽出部１０４は、それぞれ画像８０１、８０２から前景領域を抽出する。画像８０１、８０２は、第１処理領域５０３、５０４以外の領域の画像を示す。第２前景領域抽出部１０４は、画像８０１、８０２に対して背景差分法による前景抽出処理を行い、第２前景領域画像として図１０（ａ）に示す第２前景抽出結果１００１および図１０（ｂ）に示す第２前景抽出結果１００２を生成する。第２前景抽出結果１００１は、移動物体であるプレイヤーＢ６０５およびプレイヤーＣ６０６を含む。第２前景抽出結果１００２は、移動物体であるプレイヤーＡ６０４、プレイヤーＢ６０５、プレイヤーＣ６０６およびプレイヤーＤ６０７を含む。なお、本実施形態では、第２前景領域抽出部１０４の処理領域にボールが含まれていないが、ボールが第２前景領域抽出部１０４の処理領域に含まれている場合、移動物体であるボールも背景差分法により前景領域として抽出することが出来る。

Ｓ３０４及びＳ３０５における前景抽出処理は、この順序に限らず、Ｓ３０５を先に実施してもよいし、Ｓ３０４及びＳ３０５を並行に実施してもよい。

Ｓ３０６において、画像入力部１０１は、次のフレームの入力画像があるかどうか判定する。次のフレームの入力画像があれば、Ｓ３０２に戻って処理を継続し、なければ処理を終了する。

なお、第１前景領域画像１０７および第２前景領域画像１０８を結合し、１枚の前景領域画像とすることも可能である。

以上の説明の通り、第１の実施形態における画像処理装置１００は、前景として抽出対象の静止物体を含む入力画像に対して、処理負荷の高い前景領域抽出手法の適用領域を小さくし、処理負荷の増大を抑制した上で前景抽出処理を実施することが出来る。すなわち、入力画像から静止物体を前景領域として抽出可能にすると共に、前景抽出処理の処理負荷の増大を抑制することが出来る。

（第２の実施形態）
第２の実施形態では、図４に示した入力画像に、さらに前景領域の抽出対象ではない観客席および観客が含まれている場合に、観客席および観客を前景抽出の処理対象から除外する方法について説明する。

図１１は、第２の実施形態における画像処理装置１１００の機能構成図を示す。図１１において、第１の実施形態の図１と同じ符号を付したブロックについては、第１の実施形態と同じ動作をするため説明を省略する。

画像入力部１１０１は、前景領域の抽出対象である入力画像１０５を受信し、画像処理装置１１００に入力する。

領域情報設定部１１０２は、領域情報１１０３を受信する。領域情報１１０３は、第１の実施形態の領域情報１０６と同様に、入力画像１０５中のどの領域にどの前景領域抽出部を適用するかの情報を含むと共に、いずれの前景領域抽出部も適用しない、すなわち前景抽出処理を行わない領域の情報も含む。詳細は、後述の画像処理装置１１００の動作例で説明する。領域情報１１０３は、画像入力部１１０１に対して出力される。画像入力部１１０１は領域情報１１０３に基づいて、入力画像１０５のある部分領域を第１前景領域抽出部１０３に出力し、別の部分領域を第２前景領域抽出部１０４に出力し、いずれの領域にも含まれない領域は出力しない。

図１２は、第２の実施形態における画像処理装置１１００の適用例１２００を示す。適用例１２００には、サッカーのフィールドである前景抽出対象フィールド２０１の周囲に配置されたカメラ２０２Ａからカメラ２０２Ｌ、および各カメラと接続した画像処理装置１１００Ａから画像処理装置１１００Ｌが存在する。カメラ２０２により前景抽出対象フィールド２０１を撮像し、撮像した結果を入力画像１０５として画像処理装置１１００に入力する。それぞれの画像処理装置１１００は、入力画像１０５から前景領域を抽出した結果である前景領域画像を生成する。

次に、図１３から図１６を用いて、第２の実施形態における画像処理装置１１００の動作例について説明する。本動作例の説明では、図１２において第１の実施形態と同じカメラ２０２Ｂおよびカメラ２０２Ｄから撮像される画像を入力画像として用いる。人物（プレイヤー、観客等）およびボールがない状態のそれぞれの入力画像は、図１４（ａ）の入力画像１４０１および図１４（ｂ）の入力画像１４０２となる。入力画像１４０１は、第１の実施形態で示したフィールド４０３、ゴールＡ４０４およびゴールＢ４０５の他に、観客席Ａ１４０３および観客席Ｂ１４０４を含む。入力画像１４０２は、第１の実施形態で示したフィールド４０３、ゴールＡ４０４およびゴールＢ４０５の他に、観客席Ａ１４０３を含む。

また、第２の実施形態においても第１の実施形態と同様に、第１前景領域抽出部１０３は機械学習による手法を用いて前景領域を抽出し、第２前景領域抽出部１０４は背景差分法による手法を用いて前景領域を抽出する。

図１３は、第２の実施形態における前景抽出処理のフローチャートを示す。図１３において第１の実施形態の図３と同じ符号を付したステップについては、第１の実施形態と同じ動作をするため説明を省略する。

Ｓ１３０１において、領域情報設定部１１０２は、領域情報１１０３を受信し、各前景領域抽出部の適用領域の設定を行う。本動作例におけるカメラ２０２Ｂに対応する画像処理装置１１００Ｂは、領域情報１１０３として、図１５（ａ）に示す領域情報１５０１を受信する。また、カメラ２０２Ｄに対応する画像処理装置１１００Ｄは、領域情報１１０３として、図１５（ｂ）に示す領域情報１５０２を受信する。領域情報１５０１は、第１処理領域５０３および第２処理領域１５０３を含み、領域情報１５０２は、第１処理領域５０４および第２処理領域１５０４を含む。第１処理領域５０３、５０４は、機械学習の結果に基づく前景抽出手法（すなわち、第１前景領域抽出部１０３）が適用される領域である。第２処理領域１５０３、１５０４は、背景差分法による前景抽出手法（すなわち、第２前景領域抽出部１０４）が適用される領域である。第１処理領域５０３、５０４および第２処理領域１５０３、１５０４のどちらにも含まれない領域は、前景抽出処理は行われない。第２の実施形態においては、観客席Ａ１４０３および観客席Ｂ１４０４が前景抽出処理領域に含まれない。

本実施形態における領域情報１１０３は、２つの画像情報によって表現することが出来る。１つは、前景領域抽出処理を実施する領域か否かを示す第１の画像情報であり、もう一つは、前景領域抽出処理を実施する領域に対して、どの前景領域抽出部を適用するかを示す第２の画像情報である。いずれの画像情報も、例えば、「０」と「１」の２値を用いて表現することが出来る。なお、第２の画像情報において、前景領域抽出処理を実施しない領域については、任意の値で表現してよい。この場合、画像入力部１１０１は、後のステップで入力画像１０５の振り分けを行う際に、まず、第１の画像情報を参照して、前景領域抽出処理を実施する領域か否かを判定する。次いで、前景領域抽出処理を実施する領域に対して、第２の画像情報を参照し、どの前景領域抽出部に振り分けるかどうか判定する。

また、領域情報１１０３は、「０」、「１」、及び「２」の多値を用いて表現することも出来る。例えば、前景抽出処理を実施しない領域を「０」とし、第１処理領域５０３、５０４を「１」とし、第２処理領域１５０３、１５０４を「２」として設定する。そうすることで、画像入力部１１０１は、「１」が設定された領域を第１前景領域抽出部１０３に振り分け、「２」が設定された領域を第２前景領域抽出部１０４に振り分けることが出来る。なお、「０」が設定された領域は、前景抽出処理を実施しない領域であるため、いずれの前景領域抽出部にも振り分けない。

Ｓ１３０２において、画像入力部１１０１は、前景領域の検出対象である入力画像１０５を入力する。図１６（ａ）は、フィールド内にプレイヤーおよびボールが存在し、観客席に観客が存在するあるフレームにおける画像処理装置１１００Ｂに対する入力画像１６０１を示す。図１６（ｂ）は、フィールド内にプレイヤーおよびボールが存在し、観客席に観客が存在するあるフレームにおける画像処理装置１１００Ｄに対する入力画像１６０２を示している。入力画像１６０１は、ボール６０３、プレイヤーＡ６０４、プレイヤーＢ６０５、プレイヤーＣ６０６およびプレイヤーＤ６０７の他、観客の存在する観客席Ａ１４０３および観客席Ｂ１４０４を含む。入力画像１６０２は、ボール６０３、プレイヤーＡ６０４、プレイヤーＢ６０５、プレイヤーＣ６０６およびプレイヤーＤ６０７の他、観客の存在する観客席Ａ１４０３を含む。なお、プレイヤーおよびボールの存在する位置は第１の実施形態の図６と同じ位置としている。

Ｓ１３０３において、画像入力部１１０１は、設定された領域情報１１０３に基づいて、入力画像１０５の第１前景領域抽出部１０３および第２前景領域抽出部１０４への振り分けを行う。入力画像１０５のうち、第１処理領域５０３、５０４内の画像は第１前景領域抽出部１０３に出力され、第２処理領域１５０３、１５０４内の画像は第２前景領域抽出部１０４に出力される。また、第１処理領域５０３、５０４および第２処理領域１５０３、１５０４のどちらにも含まれない領域（例えば、観客席）の画像は、いずれの前景領域抽出部に対しても出力されない。例えば、観客席の画像が背景差分法による前景抽出の対象となっていた場合、観客席の観客が移動することにより、前景としては不要な観客が、前景として抽出される可能性がある。しかし、観客席に対応する領域を前景抽出の対象から除外することにより、不要な前景を抽出しないようにすることが出来る。また、前景抽出処理を行う領域が小さくなるため、計算処理負荷も低減させることが出来る。

なお、Ｓ３０４及びＳ１３０５における前景抽出処理は、この順序に限らず、Ｓ１３０５を先に実施してもよいし、Ｓ３０４及びＳ１３０５を並行に実施してもよい。

Ｓ１３０５において、画像処理装置１００Ｂ、１００Ｄの第２前景領域抽出部１０４は、それぞれ第２処理領域１５０３、１５０４内の画像から前景領域を抽出する。第２前景領域抽出部１０４は、背景差分法による前景抽出処理を行い、第２前景領域画像を生成する。第１の実施形態では、第２前景領域抽出部１０４の処理対象は、第１処理領域以外の領域としたが、本実施形態では、第２処理領域として設定された領域となる。

このように、本実施形態では、入力画像に対して第１処理領域および第２処理領域を設定するとともに、前景抽出処理の対象から除外する領域を設けた。したがって、第２の実施形態においても、第１前景領域抽出部１０３および第２前景領域抽出部１０４に入力される画像は、入力画像１６０１、１６０２から観客席の領域が除外され、図７および図８と同一となる。よって、それぞれの前景領域抽出部による前景領域の抽出結果である第１および第２前景抽出結果は、図９および図１０と同一となる。

以上の説明の通り、第２の実施形態における画像処理装置１１００は、入力画像に対して前景抽出の対象から除外する領域を設定することにより、不要な前景の抽出を防止し、前景抽出処理の処理負荷を低減させること出来る。

（ハードウェア構成）
図１７を参照して、情報処理装置１７００のハードウェア構成について説明する。上述した実施形態における画像処理装置１００のハードウェア構成も、以下で説明する情報処理装置１７００の構成と同様である。情報処理装置１７００は、ＣＰＵ１７１１、ＲＯＭ１７１２、ＲＡＭ１７１３、補助記憶装置１７１４、表示部１７１５、操作部１７１６、通信Ｉ／Ｆ１７１７、及びバス１７１８を有する。

ＣＰＵ１７１１は、ＲＯＭ１７１２やＲＡＭ１７１３に格納されているコンピュータプログラムやデータを用いて情報処理装置１７００の全体を制御することで、図１に示す各機能を実現する。なお、情報処理装置１７００がＣＰＵ１７１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１７１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１７１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１７１３は、補助記憶装置１７１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１７１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１７１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部１７１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１７００を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などを表示する。操作部１７１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１７１１に入力する。

通信Ｉ／Ｆ１７１７は、情報処理装置１７００の外部の装置との通信に用いられる。例えば、情報処理装置１７００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１７１７に接続される。情報処理装置１７００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１７１７はアンテナを備える。バス１７１８は、情報処理装置１７００の各部をつないで情報を伝達する。

図１７では、表示部１７１５と操作部１７１６が情報処理装置１７００の内部に存在するものとするが、表示部１７１５と操作部１７１６との少なくとも一方が情報処理装置１７００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ１７１１が、表示部１７１５を制御する表示制御部、及び操作部１７１６を制御する操作制御部として動作してもよい。

（その他の実施形態）
第１および第２の実施形態では、２つの前景領域抽出部を用いる場合を説明したが、これに限ったものではなく、３つ以上の前景領域抽出部を用いることも可能である。

また、１つの前景領域抽出部とそれに対応する前景抽出部適用領域を設定することも可能である。これは、入力画像に対し、前景抽出処理の対象とする領域と対象としない領域を設定することに相当する。

第１および第２の実施形態では、第１前景領域抽出部として機械学習の結果に基づく前景領域抽出手法を用いる場合について説明したが、これに限るものではない。例えば、静止物体の画像としての特徴量をあらかじめ抽出しておき、入力画像に含まれる特徴量と比較することで静止物体を前景領域として抽出する手法も適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００画像処理装置
１０１画像入力部
１０２領域情報設定部
１０３第１前景領域抽出部
１０４第２前景領域抽出部
１０５入力画像
１０６領域情報
１０７第１前景領域画像
１０８第２前景領域画像

Claims

入力画像から前景領域を抽出する画像処理装置であって、
前記入力画像に対して、第１領域と、前記第１領域とは異なる第２領域とを設定する設定手段と、
前記第１領域から前記前景領域を抽出する第１の抽出手段と、
前記第１の抽出手段とは異なる抽出手法により、前記第２領域から前記前景領域を抽出する第２の抽出手段と
を有し、
前記設定手段は、前記第１の抽出手段による前記前景領域の抽出処理が適用される前記第１領域の位置と前記第２の抽出手段による前記前景領域の抽出処理が適用される前記第２領域の位置とを指定する情報である領域情報に基づいて、前記入力画像に対して前記第１領域及び前記第２領域を設定し、
前記第２の抽出手段は、背景差分による抽出手法を用いて前記前景領域を抽出することを特徴とする画像処理装置。
前記領域情報は、ユーザによって予め指定された情報であることを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、前記第１領域及び前記第２領域とは異なる第３領域をさらに設定し、
前記第３領域に対して前記前景領域の抽出処理は行われないことを特徴とする請求項１または２に記載の画像処理装置。
前記第１の抽出手段は、機械学習の結果に基づく抽出手法を用いて前記前景領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第１の抽出手段は、特徴量に基づく抽出手法を用いて前記前景領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第１の抽出手段は、静止物体を前記前景領域として抽出可能な抽出手法により、前記前景領域を抽出し、
前記第２の抽出手段は、移動物体を前記前景領域として抽出可能な抽出手法により、前記前景領域を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記第１の抽出手段は、前記第１領域から前記静止物体と前記移動物体とを、前記前景領域として抽出することを特徴とする請求項６に記載の画像処理装置。
前記移動物体は、人物及びボールの少なくとも一方を含むことを特徴とする請求項６または７に記載の画像処理装置。
前記静止物体は、所定の位置に設置された物体であることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
前記静止物体の少なくとも一部は、前記移動物体である人物が競技を行うフィールド上に設置されていることを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
前記静止物体は、サッカーの試合に用いられるサッカーゴール及びコーナーフラッグの少なくとも一方を含むことを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理装置。
コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
入力画像から前景領域を抽出する画像処理方法であって、
前記入力画像に対して、第１領域と、前記第１領域とは異なる第２領域とを設定する設定ステップと、
前記第１領域から前記前景領域を抽出する第１の抽出ステップと、
前記第１の抽出ステップとは異なる抽出手法により、前記第２領域から前記前景領域を抽出する第２の抽出ステップと
を含み、
前記設定ステップでは、前記第１の抽出ステップにおいて前記前景領域の抽出処理が適用される前記第１領域の位置と前記第２の抽出ステップにおいて前記前景領域の抽出処理が適用される前記第２領域の位置とを指定する情報である領域情報に基づいて、前記入力画像に対して前記第１領域及び前記第２領域が設定され、
前記第２の抽出ステップでは、背景差分による抽出手法を用いて前記前景領域が抽出されることを特徴とする画像処理方法。