JP2019067129A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体の領域とそれとは別の領域とが区別なく抽出されてしまうことを抑制する。【解決手段】 画像処理装置１００は、第１所定操作により指定される第１期間内における複数のタイミングでの撮影装置１１０による撮影に基づく複数の画像の差分に基づいて、抽出対象画像の内部における被写体領域の抽出の対象としない領域を特定する。抽出対象画像は、第２所定操作により指定される第２期間内における撮影装置１１０による撮影に基づく画像である。そして画像処理装置１００は、抽出対象画像と、抽出対象画像とは異なるタイミングでの撮影装置１１０による撮影に基づく別の画像との差分に基づいて、抽出対象画像の内部の被写体領域を抽出する。このようにして抽出される被写体領域は、抽出対象としない領域として特定された領域に含まれない画素により構成される。【選択図】 図５

Description

本発明は、撮影画像から特定の領域を抽出する技術に関するものである。

撮影画像内の所定のオブジェクト（被写体）を含む領域を、前景領域として当該撮影画像から抽出する前景背景分離という技術がある。この技術によれば、例えば、撮影画像に含まれる移動する人物の画像を自動で得ることができる。前景背景分離の方法としては、撮影画像と予め記憶されている背景画像との差分に基づいて前景領域を抽出する背景差分法や、連続して撮影された複数の撮影画像の差分に基づいて前景領域を抽出するフレーム間差分法がある。

特許文献１には、背景差分法において撮影環境の明るさの変化に応じて背景画像を更新することで、撮影画像からの移動物体の誤検出を防止することが記載されている。

特開２０００−３２４４７７号公報

しかしながら、従来の技術では、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体の領域とそれとは別の領域とが区別なく抽出されてしまう場合がある。例えば、撮影画像内に抽出すべき移動する物体と、表示内容が時間と共に変化するディスプレイとが含まれる場合に、移動する物体の領域とディスプレイの領域とが同様に抽出されてしまう。

本発明は上記の課題に鑑みてなされたものであり、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体の領域とそれとは別の領域とが区別なく抽出されてしまうことを抑制することを目的とする。

上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出する画像処理装置であって、第１所定操作により指定される第１期間内における複数のタイミングでの前記撮影装置による撮影に基づく複数の画像の差分に基づいて、第２所定操作により指定される第２期間内における前記撮影装置による撮影に基づく抽出対象画像の内部の領域であって前記被写体領域の抽出の対象としない領域を特定する特定手段と、前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定手段により特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出手段とを有する。

本発明によれば、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体とそれとは別の領域とが区別なく抽出されてしまうことを抑制することが可能となる。

画像処理システム１００の構成を示すブロック図である。 実施形態における撮影画像の変化について説明するための図である。 実施形態における背景変化領域について説明するための図である。 画像処理装置１００による背景変化領域を検出する処理について説明するためのフローチャートである。 実施形態における背景画像と前景画像について説明するための図である。 画像処理装置１００による前景背景分離の処理について説明するためのフローチャートである。

［システム構成］
図１（ａ）は、実施形態に係る画像処理システム１０の概略構成を説明するための図である。画像処理システム１０は、画像処理装置１００、撮影装置１１０、及び画像処理サーバ１２０を有する。

撮影装置１１０は、撮影を行うことで撮影画像を生成し、当該撮影画像を画像処理装置１００に入力する。撮影装置１１０は例えば、撮影画像を入力するためのシリアルデジタルインタフェース（ＳＤＩ）などの画像信号インターフェイスを備えるデジタルビデオカメラである。なお、本実施形態における撮影画像は、撮影後にフィルタ処理や解像度変換などの画像処理が行われた画像を含む。

画像処理装置１００は、撮影装置１１０から入力される撮影画像に対して画像処理を行い、撮影画像から前景領域を抽出することで、撮影画像を前景領域と背景領域に分離する。本実施形態ではこの処理を前景背景分離と呼ぶ。本実施形態において前景領域とは、撮影画像における所定のオブジェクト（被写体）に対応する被写体領域であり、背景領域とは当該所定の被写体に対応しない領域である。例えば画像処理装置１００は、サッカーの試合が行われている競技場において撮影装置１１０が撮影した撮影画像を取得し、取得した撮影画像を、選手や審判、ボールなどの所定の被写体を含む前景領域と、フィールド面や客席などを含む背景領域とに分離する。そして画像処理装置１００は、前景領域に基づく前景画像と背景領域に基づく背景画像とを、画像処理サーバ１２０に出力する。

画像処理装置１００の詳細な構成については後述する。なお、撮影装置１１０による撮影対象はサッカーに限らず、ラグビーや相撲など他の競技であってもよいし、ステージでのライブなどであってもよい。また、画像処理装置１００により前景領域として抽出される所定の被写体は、選手やボールに限らない。

画像処理サーバ１２０は、画像処理装置１００から入力された画像に基づく画像処理を行う。例えば画像処理サーバ１２０は、ネットワークケーブルを介して画像処理装置１００から前景画像と背景画像を取得し、表示用の画像を生成して表示部（不図示）に表示させる。

本実施形態において、画像処理システム１０は、図１（ａ）に示すように複数の撮影装置１１０と複数の画像処理装置１００を有する。複数の撮影装置１１０は、例えば撮影対象となる競技場などに設置され、それぞれ異なる方向から撮影を行う。複数の画像処理装置１００は、それぞれが対応する撮影装置１１０から撮影画像を取得し、前景背景分離を行って前景画像と背景画像を画像処理サーバ１２０に出力する。すなわち、画像処理サーバ１２０は、複数の撮影装置による撮影画像それぞれに対する抽出処理により得られる複数の前景画像と複数の背景画像とを取得する。そして画像処理サーバ１２０は、前景領域として抽出された所定の被写体を含む仮想視点画像を生成する。なお、図１（ａ）においては画像処理システム１０内に２台の撮影装置１１０が含まれるが、撮影装置１１０の数はこれに限定されず、３台以上であってもよい。

本実施形態における仮想視点画像は、仮想的な視点（仮想視点）から被写体を撮影した場合に得られる画像を表す。言い換えると、仮想視点画像は、指定された視点における視界を表す画像である。仮想視点は、例えば画像処理サーバ１２０のユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお本実施形態では、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１０は、静止画及び動画の何れについても処理可能である。

仮想視点画像を生成するために画像処理サーバ１２０は、仮想視点の指定に応じた視点情報を取得する。また画像処理サーバ１２０は、撮影方向の異なる複数の撮影装置１１０に対応する複数の画像処理装置１００から取得した複数の前景画像に基づいて、前景領域として抽出される所定の被写体の三次元モデルを生成する。三次元モデル生成には、例えばＶｉｓｕａｌ Ｈｕｌｌを用いる方法など、既知の方法が使用される。そして画像処理サーバ１２０は、取得した視点情報、三次元モデル、及び背景画像に基づいてレンダリングを行い、所定の被写体を含む仮想視点画像を生成する。

なお、画像処理サーバ１２０が仮想視点画像の生成する方法は、三次元モデルを用いる方法に限らず、他の方法であってもよい。例えば画像処理サーバ１２０は、取得した前景画像と背景画像をそれぞれ視点情報に基づいて射影変換し、変換後の前景画像と背景画像とを合成することで仮想視点画像を生成してもよい。また、画像処理サーバ１２０が行う処理は仮想視点画像などの画像生成に限らず、例えば取得した前景画像自体を表示させる処理であってもよいし、前景画像や背景画像、三次元モデルなどを対応付けて外部のデータベースに出力する処理であってもよい。

上記において図１（ａ）を用いて説明したように、本実施形態の画像処理システム１０においては、複数の撮影装置１１０による撮影画像に対する前景背景分離を、複数の画像処理装置１００に分散させて行う。これにより、画像処理サーバ１２０において一括して前景背景分離を行う場合と比べて、画像処理サーバ１２０の負荷を低減し、画像処理システム１０全体としての処理に係る遅延を低減できる。なお、画像処理システム１０の構成は上記で説明したものに限らない。例えば、単一の画像処理装置１００が複数の撮影装置１１０から撮影画像を取得し、それぞれの撮影画像に対して前景背景分離を行ってもよい。また、画像処理装置１００と画像処理サーバ１２０とが一体となって構成されていてもよいし、後述する画像処理装置１００の構成要素が複数の装置に分かれていてもよい。

［装置構成］
図１（ｂ）は、本実施形態に係る画像処理装置１００のハードウェア構成について説明するための図である。なお、画像処理サーバ１２０の構成も画像処理装置１００と同様である。画像処理装置１００は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力部１１４、外部インターフェイス１１５、及び出力部１１６を有する。

ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１００の全体を制御する。なお、画像処理装置１００がＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１１１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムやデータ、及び外部インターフェイス１１５を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。

入力部１１４は、例えば操作ボタン、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどで構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ１１１に入力する。外部インターフェイス１１５は、撮影装置１１０や画像処理サーバ１２０などの外部の装置と通信を行う。外部の装置との通信はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルやＳＤＩケーブルなどを用いて有線で行われてもよいし、アンテナを介して無線で行われてもよい。出力部１１６は、例えば、ディスプレイなどの表示部やスピーカなどの音声出力部で構成され、ユーザが画像処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示したりガイド音声を出力したりする。

次に、図１（ａ）に示した画像処理装置１００の機能構成の詳細について説明する。画像処理装置１００は、前景背景分離部１０１（以降、分離部１０１）、変化領域検出部１０２（以降、検出部１０２）、及び通信部１０３を有する。画像処理装置１００が有するこれらの各機能部は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図１（ａ）に示す画像処理装置１００の機能部の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

分離部１０１は、撮影装置１１０から入力された撮影画像に対して前景背景分離を行い、前景画像と背景画像を通信部１０３に出力する。本実施形態において分離部１０１は、背景差分法を用いて撮影画像内の前景領域を抽出する。背景差分法においては、抽出すべき被写体が含まれる撮影画像と、予め記憶されており当該被写体が含まれない背景画像とを比較し、画素値の差が閾値より大きい領域を抽出する。例えば、抽出すべき選手が撮影範囲に含まれる試合中に撮影された撮影画像と、選手が撮影範囲内に存在しない試合前に撮影された背景画像とを比較することで、撮影画像内の選手に対応する領域が抽出される。なお、分離部１０１による前景背景分離の方法はこれに限らず、例えばフレーム間差分法が用いられてもよい。フレーム間差分法においては、同一の撮影装置により連続して撮影された複数の撮影画像の差分に基づく領域が抽出される。

ここで、分離部１０１が従来の背景差分法をそのまま使用した場合、抽出すべき被写体の領域だけを抽出することができない場合が考えられる。例えば、競技場におけるサッカーの試合を撮影した撮影画像から、選手が映っている領域を抽出したい場合を考える。図５（ａ）は抽出処理の対象となる撮影画像５０００の例を示している。撮影画像５０００には、選手５００１とフィールド２００１に加え、フィールド脇に設置された広告表示用のディスプレイ２００２、ディスプレイ２００３、及びディスプレイ２００４が映っている。ディスプレイ２００２−２００４は、それぞれ時間経過に伴って変化する画像を表示する。

この場合に、図５（ｂ）に示すような事前に撮影された撮影画像を背景画像５１００として、撮影画像５０００に対して背景差分法が実行されると、図５（ｃ）に示すような差分領域画像５２００が得られる。本実施形態における差分領域画像５２００とは、具体的には、撮影画像５０００内の画素のうち背景画像５１００内の対応する画素との画素値の差分が閾値より大きい画素により構成される画像である。ただし、差分領域画像５２００は撮影画像５０００と背景画像５１００との差分が閾値以上である領域の画像であればよく、１画素ごとに画素値の差を算出することにより特定されるものに限らない。例えば、撮影画像５０００と背景画像５１００との差分を複数の画素により構成されるブロックごとに算出してもよい。複数の画像における対応するブロックの差分は、ブロック内における画素値の平均値を用いて算出されてもよいし、ブロック内における画素値の最頻値などを用いて算出されてもよい。

図５（ｃ）に示すように、従来の背景差分法が実行された場合、選手５００１に対応する領域と共に、ディスプレイ２００２−２００４の表示面に対応する領域も同様に抽出されてしまう。これらの領域が同様に抽出されてしまうと、抽出結果に基づいて画像処理サーバ１２０により生成される仮想視点画像の画質が低くなってしまう虞がある。例えば画像処理装置１００が、複数の撮影装置により複数の方向からフィールド２００１とその周辺を撮影した複数の撮影画像それぞれから差分領域画像を生成した場合に、選手５００１はいずれの差分領域画像にも含まれる。一方、ディスプレイ２００２−２００４の表示面は、ディスプレイ２００２−２００４の裏側方向から撮影された撮影画像には含まれないため、その撮影画像から生成された差分領域画像にも含まれない。選手５００１および表示面の両方を含む差分領域画像の画素と選手５００１のみを含む差分領域画像の画素とを正確に対応付けるのは困難である。そのため、画像処理サーバ１２０がこれらの差分領域画像に基づいて選手５００１の三次元モデルを生成しようとすると、モデルの精度が悪化してしまう。その結果、仮想視点画像の画質も低下してしまう。

そこで本実施形態における画像処理装置１００は、図５（ｄ）に示すような、選手５００１に対応する領域を含み且つディスプレイ２００２−２００４の表示面に対応する領域を含まない前景画像５３００を取得するために、検出部１０２を備える。検出部１０２は、撮影画像内の背景変化領域を検出する。背景変化領域とは、前景領域としての抽出の対象としない領域である。より具体的には、背景変化領域は、背景領域として識別すべき領域、すなわち前景領域として抽出されるべきでない領域でありながら、時間経過に伴って変化する領域である。上述の図５に示す例の場合、ディスプレイ２００２−２００４の表示面に対応する領域が背景変化領域である。ただしこれに限らず、背景変化領域に対応する被写体は、抽出すべき所定の被写体とは別の被写体であって時間経過に伴って変化する被写体であればよい。背景変化領域の検出方法については後述する。

検出部１０２は、背景変化領域を検出すると、検出された領域を示す情報を分離部１０１に提供する。そして分離部１０１は、撮影装置１１０から取得した撮影画像に対して、検出部１０２から取得した情報を用いて前景背景分離を行うことで、抽出すべき被写体の領域を前景領域として抽出できる。分離部１０１による前景背景分離の詳細については後述する。

通信部１０３は、分離部１０１から入力された前景画像及び背景画像を画像処理サーバ１２０へ送信する。通信部１０３は例えば、ＰＣＩ Ｅｘｐｒｅｓｓなどの高速シリアルインターフェイスを備えたＬＡＮカードなどにより構成される。

［背景変化領域の検出］
次に、背景変化領域の検出について説明する。図２（ａ）−（ｃ）は、撮影装置１１０により撮影された撮影画像の例を示す。図２（ａ）は撮影装置１１０が時刻Ｔにおいて撮影した撮影画像２０００であり、図２（ｂ）は撮影装置１１０が時刻Ｔ＋１において撮影した撮影画像２１００であり、図２（ｃ）は撮影装置１１０が時刻Ｔ＋２において撮影した撮影画像２２００である。

撮影対象はサッカーの試合であり、撮影画像２０００においてはフィールド２００１及び広告表示用のディスプレイ２００２―２００４が撮影されている。フィールド２００１内にはゴールエリアを示すライン２００５が引かれている。撮影画像２０００―２２００は、スタジアムにおいて試合の準備が行われている場面など、撮影範囲内に選手などの人物がいない状況であって、撮影範囲内にディスプレイ２００２−２００４の表示面が含まれる状況において撮影された画像である。この撮影時において、広告表示のリハーサルが行われており、ディスプレイ２００２―２００４に表示される画像は変化する。

広告表示用のディスプレイ２００２は時刻Ｔでは広告画像２０１２を表示しているのに対し、時刻Ｔ＋１では広告画像２１１２を表示している。例えば、広告画像２１１２は、広告画像２０１２が縦にスクロールする画像効果とともに次の広告画像２２１２に変化している途中の画像である。広告画像２０１３及び２０１４に関しても同様に、それぞれ広告画像２１１３及び２１１４に変化している。なお、広告画像２１１３は広告画像２０１３が横にスクロールする画像効果と共に次の広告画像２２１３に変化している途中の画像である。

図３（ａ）は、撮影画像２０００と撮影画像２２００の画素値の差分の例を示している。例えば、時刻Ｔの撮影画像２０００におけるディスプレイ２００２の表示面に対応する画素の画素値（Ｒ，Ｇ，Ｂ）は（２２０、１０、１０）である。また、ディスプレイ２００３の表示面に対応する画素の画素値（Ｒ，Ｇ，Ｂ）とディスプレイ２００４の表示面に対応する画素の画素値（Ｒ，Ｇ，Ｂ）は、それぞれ（１０、２３０、１０）と（１０、１０、２４０）である。

一方、時刻Ｔ＋２の撮影画像２２００におけるディスプレイ２００２−２００４の表示面に対応する画素の画素値はそれぞれ（１０、２３０、１０）、（１０、１０、２４０）、及び（２２０、１０、１０）である。なお、図３においては説明を簡単にするために、ディスプレイ２００２−２００４による表示画像はそれぞれ同時刻の表示面全体において一律同一の画素値であるものとしている。すなわち、単一の撮像画像におけるディスプレイ２００２の表示面に対応する画素の画素値は一意に表される。ディスプレイ２００３及びディスプレイ２００４についても同様である。ただしこれに限らず、例えば図２に示すように表示面内の位置によって異なる画素値を有する表示画像であってもよい。また、撮影画像を表す色空間はＲＧＢに限定されず、他の色空間でも良い。

次に図４を用いて、検出部１０２が背景変化領域を検出する動作について説明する。図４に示す処理は、画像処理装置１００が背景変化領域を検出するモードにおいて撮影装置１１０から撮影画像を取得したタイミングで開始される（Ｓ４０１０）。ただし、図４に示す処理の開始タイミングはこれに限らない。画像処理装置１００のモードは例えばユーザによる操作に応じて設定される。具体的には、背景変化領域の検出を行うための画像の撮影期間がユーザによる所定操作に応じて指定されることで、画像処理装置１００は背景変化領域を検出するモードに設定される。ここで指定される撮影期間は、例えば競技場における試合開始前のリハーサル中など、撮影装置１１０の撮影範囲内に選手などの所定の被写体が含まれない期間である。なお、ユーザは撮影期間の開始時と終了時にそれぞれ操作を行ってもよい。

背景変化領域を検出するための画像の撮影期間がユーザの操作によって指定できることにより、背景変化領域の検出に適した任意の期間を設定することができる。例えば、前景として抽出すべき所定の被写体が含まれない撮影画像が背景変化領域の検出に用いられることで、抽出すべき被写体とそうでない被写体との両方が含まれる撮影画像が用いられる場合よりも、背景変化領域を精度よく特定できる。

以下の説明において撮影装置１１０から画像処理装置１００に入力される撮影画像は動画の各フレームであるものとするが、入力される撮影画像は複数の時点において撮影された複数の静止画であってもよい。なお、図４に示す処理は撮影装置１１０による撮影と並行してリアルタイムで行われてもよいし、蓄積された撮影画像に基づいて撮影後に行われてもよい。いずれの場合においても、フィールド２００１内に選手５００１がいない試合開始前など、撮影装置１１０の撮影範囲内に抽出すべき所定の被写体が含まれない状況において撮影された撮影画像に基づいて図４の処理が実行される。

図４に示す処理は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

Ｓ４０２０において、検出部１０２は、背景変化領域を検出するモードにおいて撮影装置１１０から取得した動画のフレームから対象フレームを決定し、対象フレームと対象フレームより前の時点のフレームとの画素値の差分を算出する。例えば、検出部１０２は時刻Ｔに撮影された図２（ａ）に示す撮影画像２０００と時刻Ｔ＋２に撮影された図２（ｃ）に示す撮影画像２２００とを比較して、対応する画素の画素値の差分を算出する。この場合の対象フレームは撮影画像２２００である。撮影画像２０００におけるある画素の画素値を（Ｒ０、Ｇ０、Ｂ０）とし、撮影画像２２００における対応する画素の画素値を（Ｒ１、Ｇ１，Ｂ１）としたとき、以下の式（１）により画素値の差分値δｄ（差の絶対値）が求められる。
δｄ＝｜Ｒ０−Ｒ１｜＋｜Ｇ０−Ｇ１｜＋｜Ｂ０−Ｂ１｜…（１）

撮影画像２０００と撮影画像２２００から算出された各画素の差分値を図３（ａ）に示す。ディスプレイ２００２の表示面に対応する画素の画素値は時刻Ｔにおいて（２２０，１０，１０）であり、時刻Ｔ＋２では（１０，２３０，１０）となる。そのため、ディスプレイ２００２の表示面に対応する画素の画素値の差分値δｄは以下の計算により４３０となる。
δｄ＝｜２２０−１０｜＋｜１０−２３０｜＋｜１０−１０｜＝４３０…（２）

検出部１０２は、対象フレームの全画素について上記の差分値を算出する。算出された差分値のうち、ディスプレイ２００３、ディスプレイ２００４、フィールド２００１、及びライン２００５に対応する画素それぞれの差分値は、例えば図３（ａ）に示す値となる。具体的には、ディスプレイ２００３の表示面に対応する画素の差分値およびディスプレイ２００４に対応する画素の差分値は、式（１）に示す演算によりそれぞれ４５０及び４４０となる。なお、ディスプレイ２００２−２００４による表示画像が表示面内の位置によって異なる画素値を有する場合は、表示面内の位置ごとに異なる差分値が算出されうる。

一方、フィールド２００１に対応する画素およびライン２００５に対応する画素については、動的に変化する表示面とは異なり、時刻Ｔの撮影画像２０００と時刻Ｔ＋２の撮影画像２２００との間で画素値はほぼ変化しない。具体的には、図３（ａ）に示すように、フィールド２００１に対応する画素の時刻Ｔにおける画素値は（１８０、２３０、３０）となり、時刻Ｔ＋２における画素値は（１７８，２２８，２８）となる。そのため、フィールド２００１に対応する画素の画素値の差分値δｄは以下の計算により６となる。
δｄ＝｜１８０−１７８｜＋｜２３０−２２８｜＋｜３０−２８｜＝６…（３）

ライン２００５に対応する画素についても、同様の計算により差分値δｄは３となる。対象フレームの全画素に対して差分値の算出が行われると、Ｓ４０３０に遷移する。なお、本実施形態では対象フレームの全画素に対して差分値の算出が行われるものとするが、これに限らない。例えば、背景変化領域の候補となる範囲が予め設定されている場合やユーザにより指定される場合などには、検出部１０２は、その設定された範囲や指定された範囲に含まれる画素に対してのみ差分値の算出を行ってもよい。

Ｓ４０３０において、検出部１０２は、複数の対象フレームについて算出された差分値δｄを積算する。ここでは検出部１０２が図４のフローにおいてＳ４０３０の処理を行うのが初回なので、前述のＳ４０１０で算出された画素差分値δｄが積算値として記憶される。

Ｓ４０４０において、検出部１０２は、所定数の対象フレームについての差分値δｄの積算が完了したか判断する。本実施形態では検出部１０２が積算の対象とするフレームの数を１００とする。積算対象のフレームの数は例えばユーザによる操作に基づいて設定される。ただしこれに限らず、積算対象のフレームの数は、例えば撮影画像の時間経過に伴う変化量などに応じて自動で設定されてもよい。所定数の対象フレームについての差分値δｄの積算が完了していないと判断された場合、検出部１０２は、差分値を算出したフレームより後の時点のフレームに対象フレームを変更し、Ｓ４０２０に戻る。

例えば、検出部１０２は、時刻Ｔ＋２において撮影された撮影画像２２００と時刻Ｔ＋４において撮影された撮影画像との画素値の差分を算出する。ここでは説明を簡単にするために、時刻Ｔ＋２と時刻Ｔ＋４との間の画素値の差分が、前述の時刻Ｔと時刻Ｔ＋２との間の画素値の差分と同じ値であるものとする。すなわち、ディスプレイ２００２、ディスプレイ２００３、及びディスプレイ２００４の表示面に対応する画素の時刻Ｔ＋２と時刻Ｔ＋４との間における画素値の差分値δｄはそれぞれ４３０、４５０、及び４４０となる。また、フィールド２００１およびライン２００５に対応する画素の画素値の差分値δｄはそれぞれ６および３となる。そして検出部１０２は、算出した差分値をＳ４０３０において記憶済みの積算値に加算する。

検出部１０２は、Ｓ４０２０における差分値の算出と、Ｓ４０３０における積算値への加算を、所定のフレーム数である１００フレーム分繰り返す。そして１００フレーム分の差分値が積算された結果、ディスプレイ２００２、ディスプレイ２００３、及びディスプレイ２００４の表示面に対応する画素の差分値δｄの積算値はそれぞれ４３０００、４５０００，４４０００となる。また、フィールド２００１およびライン２００５に対応する画素の差分値δｄの積算値はそれぞれ６００および３００となる。

検出部１０２が算出した差分値δｄの積算値の例を、図３（ｂ）を用いて説明する。図３（ｂ）は、図２（ｂ）の撮影画像２１００における線分２１０５上の画素についての積算値を示している。横軸は撮影画像の水平方向の画素位置を表しており、縦軸は積算値を表している。

ディスプレイ２００２の表示面に対応する画素の水平方向の座標値は３００〜７５０となり、これらの画素の差分値δｄの積算値は４３０００となっている。一方、ディスプレイ２００２−２００４の表示面に対応しない画素（水平方向の座標値が０〜２９９、７５１〜８９９、及び１３５１〜１４９９の画素）の差分値δｄの積算値は６００となっている。

Ｓ４０４０において、所定数の対象フレームについての差分値δｄの積算が完了したと判断された場合、Ｓ４０５０に遷移する。Ｓ４０５０において、検出部１０２は、積算値が閾値以上であるか各画素について評価を行う。例えば図３（ｂ）に示すような積算値が得られた場合に、閾値３１０１の値を３００００として評価が行われる。閾値３１０１はユーザの操作に応じて設定されてもよいし、積算値の平均などに基づいて自動で設定されてもよい。

前述のように、ディスプレイ２００２の表示面に対応する画素の差分値δｄの積算値は４３０００となっているため、閾値３１０１の値である３００００以上である。同様に、ディスプレイ２００３及びディスプレイ２００４の表示面に対応する画素の積算値も３００００以上である。そして検出部１０２は、積算値が閾値３１０１以上である画素を、背景変化領域として検出する。その結果、ディスプレイ２００２−２００４の表示面に対応する領域を含む背景変化領域が検出される。一方、ディスプレイ２００２−２００４以外の領域、すなわちフィールド２００１に対応する領域やライン２００５に対応する領域は、積算値が閾値３１０１未満となるため、背景変化領域に含まれない。

Ｓ４０５０における検出処理が終わると、Ｓ４１００において図４に示す処理が終了する。以上のように、検出部１０２は、ユーザによる所定操作により指定される期間内（例えば撮影装置１１０の撮影範囲内に抽出すべき所定の被写体が含まれない期間内）における複数の異なるタイミングにおいて複数の撮影画像を撮影する。そして、撮影した複数の撮影画像における対応する画素の画素値の差分を算出する。そして検出部１０２は、撮影装置１１０により撮影される撮影画像における画素位置であって、算出された差分が閾値以上である画素の画素位置を、前景領域の抽出の対象としない背景変化領域の画素位置として特定する。

なお、本実施形態では画像処理装置１００が複数の画像の差分に基づいて背景変化領域の画素位置を特定する場合を中心に説明するが、特定方法はこれに限らない。例えば、画像処理装置１００は、ユーザによる操作に応じて背景変化領域の画素位置を特定してもよい。

図３（ｃ）は検出された背景変化領域を示しており、ディスプレイ２００２―２００４の表示面に対応する領域が背景変化領域２３０１−２３０３として検出されている。なお、本実施形態において検出部１０２は、撮影タイミングの異なる複数の撮影画像における対応する画素の画素値の差分として差分値δｄの積算値を算出し、背景変化領域を検出するものとした。具体的には、検出部１０２は、同一の撮影装置による時間的に連続する複数の撮影画像の撮影期間における画素値の変化量が閾値以上である画素位置を、前景領域の抽出の対象としない画素位置として特定するものとした。このような方法を用いることで、例えばディスプレイ２００２−２００４の表示画像が徐々に変化する場合や、表示画像が周期的に切り替わるような場合など、様々な場合において背景変化領域を検出できる。

ただしこれに限らず、検出部１０２は、背景差分法によって背景変化領域を検出してもよい。例えば、ディスプレイ２００２−２００４に画像が表示されていない状況における撮影画像を背景画像とする。そして検出部１０２は、ディスプレイ２００２−２００４に画像が表示されている状況における撮影画像の画素のうち、背景画像の対応する画素との画素値の差が閾値以上である画素により構成される領域を、背景変化領域として検出してもよい。このような方法によっても、図４で説明した方法と同様の背景変化領域が検出できる。

また、背景変化領域としてディスプレイ２００２−２００４に対応する領域を検出する方法としては、その他にも様々な方法を用いることができる。例えば画像処理装置１００は、ディスプレイ２００２−２００４の位置及び形状の少なくとも何れかに関する情報を取得し、取得した情報に基づいて背景変化領域を特定してもよい。ディスプレイ２００２−２００４の位置及び形状の少なくとも何れかに関する情報としては、具体的には、ディスプレイを表す画像やディスプレイに表示される画像、ディスプレイの３次元モデル、ユーザによる操作に応じた情報などが挙げられる。

例えば、画像処理装置１００は、ディスプレイ２００２−２００４を表す画像を取得し、取得した画像と撮影画像とを照合することで背景変化領域を検出してもよい。また画像処理装置１００は、ディスプレイ２００２−２００４に表示されるマーカーを撮影画像から検出することで、背景変化領域を検出してもよい。また画像処理装置１００は、ディスプレイ２００２−２００４を含む競技場の３次元モデルなどの設計情報を参照してディスプレイ２００２−２００４の位置を特定することで背景変化領域を検出してもよい。また画像処理装置１００は、ディスプレイ２００２−２００４の位置や形状をユーザに指定させるための画像を表示し、ユーザによる指定操作に基づいてディスプレイ２００２−２００４の位置や形状を特定することで、背景変化領域を検出してもよい。さらに画像処理装置１００は、撮影画像の画素の輝度情報に基づいて背景変化領域を検出してもよい。なお、ディスプレイ２００２−２００４とは異なる被写体に対応する領域を背景変化領域として特定する場合も、上記と同様の種々の方法を用いることができる。

［前景背景分離］
次に、分離部１０１による前景背景分離について説明する。図５（ａ）は、撮影装置１１０が撮影し分離部１０１に入力される撮影画像５０００の例を示す。撮影画像５０００は、前述の背景変化領域情報を検出するために撮影された撮影画像とは異なり、スタジアムにおいて試合が行われている場面などにおいて撮影された画像である。そのため、撮影画像５０００は、撮影範囲内のフィールド２００１上に選手５００１がいる状況であって、撮影範囲内にディスプレイ２００２−２００４の表示面が含まれる状況において撮影された画像である。なお、ディスプレイ２００２―２００４に表示される画像は、リハーサル時と同様に変化をしている。分離部１０１は、撮影画像５０００に含まれる選手５００１の領域を前景背景分離により抽出する。

図６を用いて、分離部１０１による前景背景分離の動作について説明する。図６に示す処理は、画像処理装置１００が前景背景分離を行うモードにおいて撮影装置１１０から撮影画像を取得したタイミングで開始される（Ｓ６０１０）。ただし、図６に示す処理の開始タイミングはこれに限らない。画像処理装置１００のモードは例えばユーザによる操作に応じて設定される。具体的には、被写体領域を検出するための前景背景分離の対象となる画像の撮影期間がユーザによる所定操作に応じて指定されることで、画像処理装置１００は前景背景分離を行うモードに設定される。ここで指定される撮影期間は、例えば競技場における試合中など、撮影装置１１０の撮影範囲内に選手などの所定の被写体が含まれる期間である。なお、前景背景分離のための撮影期間は、図４で説明した背景変化領域の検出のための撮影期間を指定する操作とは異なる操作により指定されるものとするが、これに限らず、同じ操作が何回目に行われたかに応じてモードが変更されてもよい。

図６に示す処理は撮影装置１１０による撮影と並行してリアルタイムで行われてもよいし、蓄積された撮影画像に基づいて撮影後に行われてもよい。いずれの場合においても、フィールド２００１内に選手５００１がいる試合中など、撮影装置１１０の撮影範囲内に抽出すべき所定の被写体が含まれる状況において撮影された撮影画像に基づいて図６の処理が実行される。

図６に示す処理は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図６に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

Ｓ６０２０において、分離部１０１は、前景背景分離を行うモードにおいて撮影装置１１０から取得した動画のフレームから対象フレームを決定し、対象フレームである撮影画像５０００と背景画像５１００との差分を算出する。対象フレームは、前景領域の抽出の対象となる画像（抽出対象画像）であり、図６のフローにおいてＳ６０２０が初めて実行される場合には例えば取得した動画の最初のフレームに決定される。背景画像５１００は、抽出対象画像としての撮影画像５０００とは異なるタイミングでの撮影装置１１０による撮影に基づく画像であって予め記憶されており、抽出すべき所定の被写体を含まない画像である。

Ｓ６０２０の処理が実行されるのが初回である場合には、例えば試合前のリハーサル中に撮影された図５（ｂ）に示すような撮影画像が背景画像５１００として用いられる。すなわちこの場合、図４で説明した背景変化領域を検出するための撮影期間における撮影装置１１０による撮影に基づく画像が背景画像となる。そして、背景差分法を用いて撮影画像５０００と背景画像５１００の差分を算出することにより、図５（ｃ）に示すような差分領域画像５２００が得られる。差分領域画像５２００は具体的には、撮影画像５０００内の画素のうち、背景画像５１００内の対応する画素との画素値の差分（差の絶対値）が閾値以上である画素により構成される画像である。差分領域画像５２００には、前景領域として抽出すべき選手５００１の他に、ディスプレイ２００２―２００４の表示面に表示される広告画像２２１２―２２１４が含まれる。

Ｓ６０３０において、分離部１０１は、図４を用いて説明した処理において検出された背景変化領域を示す情報を検出部１０２から取得する。前述のように、検出された背景変化領域は例えば図３（ｃ）に示す背景変化領域２３０１−２３０３のようになり、これらはディスプレイ２００２―２００４の表示面に対応する。

Ｓ６０４０において、分離部１０１は、差分領域画像５２００から背景変化領域２３０１−２３０３と重なる領域を除外することで、図５（ｄ）に示すような前景画像５３００を生成する。すなわち、分離部１０１は、差分領域画像５２００に含まれる画素のうち背景変化領域として特定された画素位置とは異なる画素により構成される領域を、前景領域として抽出する。前景画像５３００にはディスプレイ２００２−２００４の表示面に表示される広告画像２２１２−２２１４が含まれず、選手５００１のみが含まれる。

Ｓ６０５０において、分離部１０１は、差分領域画像５２００内の背景変化領域に含まれる画素の画素値を、記憶済みの背景画像５１００に上書きする。すなわち、分離部１０１は、差分領域画像５２００内の画素のうち、前景領域として抽出される領域に含まれない画素に基づいて、背景画像５１００を更新する。背景画像５１００が更新されることで、図５（ｅ）に示すような新たな背景画像５４００が得られる。ここで得られる背景画像５４００は、前景背景分離のための撮影期間内における撮影装置１１０による撮影に基づく画像となる。そして、図６のフローにおいてＳ６０２０の処理が再度行われる場合には、新たな対象フレームと更新された背景画像５４００との差分が算出される。この際の差分の算出には、フレーム間差分法が用いられてもよい。

なお、設置されたディスプレイ２００２−２００４の表示面のように、背景変化領域として検出される領域が固定されている場合、分離部１０１は背景画像５１００を更新しなくてもよい。また、ディスプレイ２００２―２００４に表示される画像の画像データが取得可能な場合には、差分領域画像を用いる代わりに当該画像データを用いて背景画像５１００を更新してもよい。

Ｓ６０６０において、分離部１０１は、Ｓ６０４０において抽出された前景領域の画像（前景画像５３００）と、Ｓ６０５０において生成された背景画像５４００とを、分離して画像処理サーバ１２０に出力する。前景画像５３００と背景画像５４００とを分離された識別可能な画像として取得することにより、画像処理サーバ１２０は、所定の被写体の三次元モデルと背景の三次元モデルをそれぞれ生成して仮想視点画像を生成することができる。

Ｓ６０６０の処理が終了すると、Ｓ６０７０に遷移し、分離部１０１は前景背景分離を行うモードにおいて撮影装置１１０から取得した動画の全フレームについてＳ６０２０―Ｓ６０６０の処理が完了したか判断する。全フレームについての処理が完了していないと判断された場合、分離部１０１は、対象フレームを次のフレームに変更し、Ｓ６０２０に戻る。一方、全フレームについて処理が完了したと判断された場合、Ｓ６５００において図６の処理が終了する。

なお、図６を用いた上記の説明においては、分離部１０１が、撮影画像５０００内の画素のうち背景画像５１００内の対応する画素との画素値の差分が閾値以上である画素により構成される領域から、背景変化領域を除くことで、前景領域を抽出するものとした。ただしこれに限らず、分離部１０１は、撮影画像５０００の部分画像であって背景変化領域に含まれない画素により構成される部分画像と、背景画像５１００内の当該部分画像に対応する領域との差分を判定することで、前景領域を抽出してもよい。この方法によれば、画素値の差分を算出する対象となる画素の数が少なくなるため、画像処理装置１００の処理負荷を低減することができる。いずれの方法においても、撮影画像５０００と背景画像５１００との差分に基づいて、背景変化領域に含まれない画素により構成される前景領域が撮影画像５０００から抽出される。

また、本実施形態においては、前景領域を抽出する処理の対象となる撮影画像５０００よりも前に撮影装置１１０により撮影された複数の撮影画像の差分に基づいて背景変化領域が特定される場合を中心に説明した。ただしこれに限らず、例えば、試合中に撮影された撮影画像５０００からの前景領域の抽出処理が試合後に行われるような場合には、試合後に撮影された複数の撮影画像の差分に基づいて背景変化領域が特定されてもよい。

以上説明したように、本実施形態に係る画像処理装置１００は、撮影装置１１０による撮影に基づく画像から所定の被写体に対応する被写体領域（前景領域）を抽出する。具体的には、画像処理装置１００は、第１所定操作により指定される第１期間内における複数のタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出対象画像の内部における被写体領域の抽出の対象としない領域（背景変化領域）を特定する。ここで抽出対象画像は、上記の第１所定操作とは異なる第２所定操作により指定される第２期間内における撮影装置１１０による撮影に基づく画像である。そして画像処理装置１００は、抽出対象画像と、抽出対象画像の撮影タイミングとは異なるタイミングでの撮影装置１１０による撮影に基づく別の画像との差分に基づいて、抽出対象画像の内部の被写体領域を抽出する。このようにして抽出される被写体領域は、抽出対象としない領域として特定された領域に含まれない画素により構成される。

このような構成によれば、複数の画像の差分となる領域のうちの特定の領域を抽出することができる。例えば、撮影画像内に移動する所定の被写体と動画像を表示するディスプレイとが含まれる場合に、画像処理装置１００は所定の被写体の領域だけを抽出することができる。そのため、画像処理装置１００から抽出結果を取得する画像処理サーバ１２０は、所定の被写体の形状を正確に特定することができ、当該被写体を含む高画質な仮想視点画像を生成することができる。

なお、本実施形態においては、撮影画像内のディスプレイ２００２−２００４の表示面に対応する領域が背景変化領域として検出され、前景領域として選手５００１に対応する領域が抽出される場合を中心に説明した。ただし、背景変化領域や前景領域はこれらに限定されない。例えば、前景領域としてボールなどの被写体が抽出されてもよい。また、背景変化領域として、プロジェクタにより画像が投影される表示面や、観客が移動する観客席などが検出されてもよい。具体的には、試合開始前の観客が移動している間に撮影された撮影画像から背景変化領域として観客席を検出することで、試合中に撮影された撮影画像から観客席が前景領域として抽出されないようにしてもよい。

また、本実施形態においては、画像処理装置１００が動画の各フレームについて前景画像と背景画像とを生成し出力する場合について説明した。ただしこれに限らず、例えば画像処理サーバ１２０が背景画像を予め記憶している場合や背景画像を用いない画像処理を行う場合などには、画像処理装置１００は背景画像を出力せず前景画像のみを出力してもよい。また、画像処理装置１００は背景画像を前景画像よりも低いフレームレートで出力してもよいし、背景画像を前景画像よりも低い解像度で出力してもよい。これにより、画像処理装置１００、画像処理サーバ１２０、及び画像処理装置１００と画像処理サーバ１２０との間の通信経路の負荷を低減することができる。特に本実施形態によれば、抽出すべき所定の被写体の領域だけを前景領域として抽出することができるため、高画質な前景画像のデータ量を削減でき、その結果、前景画像のデータ量と背景画像のデータ量の合計を小さくすることができる。

また、本実施形態においては、撮影画像の画素のうち背景変化領域として特定された画素位置の画素が前景領域として抽出されないようにして、前景背景分離が行われる場合を中心に説明した。ただし、例えば撮影画像においてディスプレイ２００２−２００４の表示面の一部が選手５００１により遮蔽されている場合など、特定された画素位置に抽出すべき所定の被写体に対応する画素が含まれる場合が考えられる。このような場合においては、特定された画素位置に含まれる画素のうち、所定の被写体に対応しない画素のみを、抽出の対象から除外してもよい。具体的には、差分領域画像から人物の形状の領域を検出し、検出された領域に含まれる画素は除外せず、それ以外の画素のうち特定された画素位置に含まれる画素を差分領域画像から除外するなどの方法を採用してもよい。このような方法によれば、撮影画像内の特定された画素位置に抽出すべき所定の被写体に対応する画素が含まれる場合においても、当該所定の被写体の画像抽出することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０ 画像処理システム
１００ 画像処理装置
１１０ 撮影装置
１２０ 画像処理サーバ

Claims (19)

1. 撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出する画像処理装置であって、
   第１所定操作により指定される第１期間内における複数のタイミングでの前記撮影装置による撮影に基づく複数の画像の差分に基づいて、第２所定操作により指定される第２期間内における前記撮影装置による撮影に基づく抽出対象画像の内部の領域であって前記被写体領域の抽出の対象としない領域を特定する特定手段と、
   前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定手段により特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出手段とを有することを特徴とする画像処理装置。
2. 前記抽出手段は、前記抽出対象画像と前記別の画像との差分に基づいて決定される前記抽出対象画像の内部の領域から、前記特定手段により特定される領域を除くことで、前記被写体領域を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、前記抽出対象画像の部分画像であって前記特定手段により特定される領域に含まれない画素により構成される部分画像と、前記別の画像の前記部分画像に対応する領域との差分を判定することで、前記被写体領域を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記抽出対象画像の画素のうち、前記抽出手段により前記被写体領域として抽出される領域に含まれない画素に基づく画像と、前記被写体領域の画像とを、分離して出力する出力手段を有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記特定手段は、前記複数の画像における対応する画素の画素値の差分が第１閾値以上である画素位置の前記抽出対象画像の内部の領域を、前記被写体領域の抽出の対象としない領域として特定し、
   前記抽出手段は、前記抽出対象画像の画素のうち、前記別の画像における対応する画素との画素値の差分が第２閾値以上である画素であって且つ前記特定手段により特定される領域に含まれない画素により構成される領域を、前記被写体領域として抽出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記第１期間内における前記撮影装置の撮影範囲内には前記所定の被写体が含まれず、前記第２期間内の少なくとも一部における前記撮影装置の撮影範囲内には前記所定の被写体が含まれることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記特定手段により特定される領域は、前記所定の被写体とは別の被写体であって時間経過に伴って変化する被写体に対応する領域であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記抽出手段により抽出される前記被写体領域は、前記所定の被写体としての人物に対応する領域であり、
   前記特定手段により特定される領域は、前記別の被写体としての表示装置の表示面に対応する領域であることを特徴とする請求項７に記載の画像処理装置。
9. 前記別の画像は前記第１期間内における前記撮影装置による撮影に基づく画像であり、
   前記抽出手段は、背景差分法を用いて前記被写体領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記別の画像は前記第２期間内における前記撮影装置による撮影に基づく画像であり、前記抽出手段は、フレーム間差分法を用いて前記被写体領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
11. 撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出する画像処理装置であって、
    前記所定の被写体とは別の被写体であって時間経過に伴って変化する被写体の位置及び形状の少なくとも何れかに関する情報を取得する取得手段と、
    前記取得手段により取得される情報に基づいて、前記撮影装置による撮影に基づく抽出対象画像における前記別の被写体に対応する領域を、前記被写体領域の抽出の対象としない領域として特定する特定手段と、
    前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定手段により特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出手段とを有することを特徴とする画像処理装置。
12. 前記取得手段は、前記情報として、前記別の被写体の三次元モデルの情報と前記別の被写体を表す画像との少なくとも何れかを取得することを特徴とする請求項１１に記載の画像処理装置。
13. 前記取得手段は、ユーザによる前記別の被写体を指定する操作に基づいて前記情報を取得することを特徴とする請求項１１に記載の画像処理装置。
14. 請求項１乃至１３の何れか１項に記載の画像処理装置と、
    前記抽出手段により抽出される前記被写体領域の画像と、前記撮影装置とは異なる方向から撮影を行う別の撮影装置による撮影に基づく画像から抽出される前記所定の被写体に対応する領域の画像とに基づいて、前記所定の被写体を含む仮想視点画像を生成する画像生成手段とを有することを特徴とする画像処理システム。
15. 前記仮想視点画像の生成に係る仮想視点の指定に応じた視点情報を取得する取得手段と、
    前記抽出手段により抽出される前記被写体領域の画像と、前記別の撮影装置による撮影に基づく画像から抽出される前記所定の被写体に対応する領域の画像とに基づいて、前記所定の被写体の三次元モデルを生成するモデル生成手段とを有し、
    前記画像生成手段は、前記取得手段により取得される視点情報と前記モデル生成手段により生成される三次元モデルとに基づいて、前記所定の被写体を含む仮想視点画像を生成することを特徴とする請求項１４に記載の画像処理システム。
16. 撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出するシステムが実行する画像処理方法であって、
    第１所定操作により指定される第１期間内における複数のタイミングでの前記撮影装置による撮影に基づく複数の画像の差分に基づいて、第２所定操作により指定される第２期間内における前記撮影装置による撮影に基づく抽出対象画像の内部の領域であって前記被写体領域の抽出の対象としない領域を特定する特定工程と、
    前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定工程において特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出工程とを有することを特徴とする画像処理方法。
17. 前記抽出工程においては、前記抽出対象画像と前記別の画像との差分に基づいて決定される前記抽出対象画像の内部の領域から、前記特定工程において特定される領域を除くことで、前記被写体領域が抽出されることを特徴とする請求項１６に記載の画像処理方法。
18. 前記抽出工程においては、前記抽出対象画像の部分画像であって前記特定工程において特定される領域に含まれない画素により構成され部分画像と、前記別の画像の前記部分画像に対応する領域との差分を判定することで、前記被写体領域が抽出されることを特徴とする請求項１６に記載の画像処理方法。
19. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images