JP2022131197A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】オブジェクトの三次元形状データの精度の低下を抑制可能な技術を提供する。【解決手段】複数の撮像装置１０が撮像対象領域を異なる方向から撮像することにより得られる画像のうちの予め定められた画像領域である指定内領域からオブジェクト前景領域を抽出する。また、指定内領域以外の画像領域である指定外領域から、オブジェクト前景領域につながる前景領域部分を抽出し、前景領域部分を含む領域をオブジェクト特定領域として特定する。さらに、オブジェクト前景領域およびオブジェクト特定領域を含む画像を出力する。【選択図】図４

Description

本開示は、オブジェクトの三次元形状データの生成技術に関する。

複数のカメラのそれぞれを互いに異なる位置に設置して複数視点から同期撮像し、当該撮像により得られた複数の撮像画像（以下「複数視点画像」という。）を用いて、複数視点画像に写るオブジェクト（被写体）の三次元形状データを生成する技術がある。さらに、生成したオブジェクトの三次元形状データを用いて、任意の仮想視点からの画像（以下「仮想視点画像」という。）を生成する技術がある。仮想視点画像によれば、例えば、サッカーまたはバスケットボールなどのハイライトシーンを様々な角度から視聴することができるため、通常の映像と比較してユーザに高臨場感を与えることが可能となる。

複数視点画像からオブジェクトの三次元形状データを生成する際には、その前処理として、複数視点画像を構成する各撮像画像から所定のオブジェクトに対応する画像領域を前景領域として抽出する前景背景分離が行われる。この前景背景分離によって、例えば、撮像画像に含まれる人物またはボールなどの動体に対応する画像領域を前景領域として抽出する。ここで、三次元形状データを生成に要する演算量削減の観点から、上記前景背景分離において、オブジェクトに対応する画像領域のみを前景領域として抽出することが望まれる。この点、特許文献１には、被写体領域を抽出するための前景抽出マスクを生成する技術であって、抽出すべき所定の被写体領域とそれとは別の領域とが区別なく抽出されてしまうことを抑制可能とする技術が開示されている。

特開２０１９－６７１２９号公報

しかしながら、特許文献１に開示された技術を用いて前景抽出マスクを生成すると、前景領域として抽出すべきオブジェクトの画像領域の一部が前景領域から削除されてしまうことがあった。具体的には、前景領域として抽出されないように予め設定された画像領域と、抽出すべきオブジェクトの画像領域とが重なる場合、オブジェクトの画像領域の一部が前景領域として抽出できないという問題点があった。結果として、特許文献１に開示された技術を適用してオブジェクトの三次元形状データを生成すると、当該オブジェクトのうちの一部が欠落した不適切な三次元形状データが生成されてしまうことがあった。

本開示は、オブジェクトの三次元形状データの精度の低下を抑制可能な技術を提供することを目的としている。

本開示の画像処理装置は、複数の撮像装置のそれぞれが撮像対象領域を互いに異なる方向から撮像することにより得られる複数の画像のそれぞれについて、画像おける１以上の特定領域のうち、三次元形状データの生成対象であるオブジェクトに対応する第１領域とつながる特定領域を含む第２領域を特定する特定手段と、第１領域と特定手段により特定された第２領域とを含む画像を出力する出力手段と、を有する。

本開示によれば、オブジェクトの三次元形状データの精度の低下を抑制可能な技術を提供することができる。

図１は、第１実施形態に係る画像処理装置が適用される画像処理システムの構成の一例を示すブロック図である。 図２は、第１実施形態に係る画像処理システムを、サッカー競技を行う競技場に適用した場合における撮像装置の配置例の一例を示す配置図である。 図３Ａは、図２に一例として示す撮像装置の配置において、ある撮像装置で撮像することにより得られる撮像画像の一例を示す模式図である。 図３Ｂは、一般的な前景背景分離を用いて、図３Ａに示す撮像画像から前景領域をシルエットとして抽出した前景抽出マスクの一例を示す図である。 図３Ｃは、特許文献１に開示された技術を用いて、図３Ａに示す撮像画像から前景領域をシルエットとして抽出した前景抽出マスクの一例を示す図である。 図４は、第１実施形態に係る画像処理装置が備える前景判定部の構成の一例を示す機能ブロック図である。 図５Ａは、第１実施形態に係る画像処理装置が用いる領域指定マスクの一例を示す図である。 図５Ｂは、図５Ａに示す領域指定マスクの指定内領域、指定外領域、および指定境界の位置関係を図３Ａに示す撮像画像上に示した図である。 図５Ｃは、第１実施形態に係るオブジェクト前景抽出部が抽出するオブジェクト前景領域を示す第１前景抽出マスクの一例を示す図である。 図５Ｄは、第１実施形態に係る特定部が特定するオブジェクト特定領域を示す第２前景抽出マスクの一例を示す図である。 図５Ｅは、第１実施形態に係る前景抽出部が抽出する生成用前景領域を示す第３前景抽出マスクの一例を示す図である。 図６は、第１実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図７は、第１実施形態に係る画像処理装置における処理フローの一例を示すフローチャートである。 図８Ａは、コートの周囲に設置されたある撮像装置が撮像することにより得られる撮像画像の一例を示す模式図である。 図８Ｂは、図８Ａに示す撮像画像に対する領域指定、指定外領域、および指定境界の位置の一例を示す模式図である。 図８Ｃは、図８Ａに示す撮像画像に対して、実施形態１に係る画像処理装置が前景背景分離を行うことにより抽出する生成用前景領域を示す第３前景抽出マスクの一例を示す図である。 図９は、第２実施形態に係る画像処理装置が備える前景判定部の構成の一例を示す機能ブロック図である。 図１０Ａは、第２実施形態に係る特定部が特定するオブジェクト特定領域を示す第２前景抽出マスクの一例を示す図である。 図１０Ｂは、第２実施形態に係る画像処理装置が備える前景抽出部が抽出する生成用前景領域を示す第３前景抽出マスクの一例を示す図である。 図１１は、第２実施形態に係る画像処理装置における処理フローの一例を示すフローチャートである。 図１２は、図８Ａに示す撮像画像に対して、第２実施形態に係る画像処理装置が前景背景分離を行うことにより抽出する生成用前景領域を示す第３前景抽出マスクの一例を示す図である。

以下、本開示の実施の形態について、図を参照しながら詳細に説明する。なお、以下の実施の形態に記載されている構成要素は、本開示の例としての形態を示すものであり、本開示の範囲をそれらのみに限定するものではない。

［第１実施形態］
図１から図８を参照して、第１実施形態に係る画像処理装置１００について説明する。

図１は、第１実施形態に係る画像処理装置１００が適用される画像処理システム１の構成の一例を示すブロック図である。画像処理システム１は、画像処理装置１００、および複数の撮像装置１０を備える。

撮像装置１０は、デジタルビデオカメラ、デジタルスチルカメラ、または監視カメラなどにより構成され、撮像することにより得た画像（以下「撮像画像」という。）を撮像画像データとして出力するものである。

画像処理装置１００は、複数の撮像装置１０のそれぞれが出力する撮像画像データを取得して、取得した複数の撮像画像データのそれぞれが示す撮像画像から前景領域を抽出する。画像処理装置１００は、各撮像画像のうちの抽出した前景領域に対応する画像領域に基づいて、撮像画像に写るオブジェクトの三次元形状データを生成する。画像処理装置１００は、撮像画像に写るオブジェクトの三次元形状データを生成し、生成した三次元形状データに基づいて仮想視点画像を生成するものであってもよい。以下、画像処理装置１００は、仮想視点画像を生成し、生成した仮想視点画像を示す仮想視点画像データを出力するものとして説明する。画像処理装置１００の詳細については後述する。

図２は、第１実施形態に係る画像処理システム１を、サッカー競技を行う競技場に適用した場合における撮像装置１０の配置例の一例を示す配置図である。複数の撮像装置１０のそれぞれは、図２に一例として示すように、撮像対象領域である競技場におけるフィールド２０の周囲における互いに異なる位置に配置され、互いに異なる複数の方向からフィールド２０を撮像する。各撮像装置１０は、データ伝送のための入出力ハードウェアを備えている。撮像装置１０同士は、例えば、図２には不図示のネットワークケーブルを使ってカスケード接続されており、ネットワークを介して隣の撮像装置１０へ撮像画像データを順次伝送する。この場合、撮像装置１０のうちの一つは、図２には不図示の画像処理装置１００に図２には不図示のネットワークケーブルを使って接続されており、全ての撮像装置１０が出力する撮像画像データは、画像処理装置１００に伝送される。

なお、全ての撮像装置１０が出力する撮像画像データが画像処理装置１００に伝送されるものであれば、撮像装置１０同士の接続形態および撮像装置１０と画像処理装置１００と間の接続形態は、上述の構成に限定されるものではない。また、以下、競技場におけるフィールド２０上には、三次元形状データを生成する対象となるオブジェクト（被写体）として、競技を行っている選手２１，２２がいるものとして説明する。

画像処理装置１００の詳細について説明する。図１に示すように本実施形態に係る画像処理装置１００は、三次元形状生成部１７０、仮想視点画像生成部１９０、および複数の前景背景分離部１１０を備える。ただし、画像処理装置１００の構成は、図１に示すものに限定されず、例えば三次元形状生成部１７０及び仮想視点画像生成部１９０は画像処理装置１００とは別の画像処理装置に属してもよい。

複数の前景背景分離部１１０のそれぞれは、ネットワークを介して、対応する撮像装置１０が出力する撮像画像データを取得する。前景背景分離部１１０は、画像取得部１２０、背景判定部１３０、および前景判定部１４０を備え、撮像画像に対して前景背景分離を行うことにより、当該撮像画像から所定のオブジェクトに対応する画像領域を前景領域として抽出する。

画像取得部１２０は、ネットワークを介して、対応する撮像装置１０が出力する撮像画像データを取得する。画像取得部１２０は、取得した撮像画像データを、背景判定部１３０、前景判定部１４０、および仮想視点画像生成部１９０に出力する。画像取得部１２０は、撮像画像に対して、画像の振動の補正、もしくはレンズ歪みなどの画像の歪みの補正、または、色補正もしくはガンマ補正などの前処理を行ってもよい。この場合、例えば、画像取得部１２０は、前処理後の撮像画像データを、背景判定部１３０、前景判定部１４０、および仮想視点画像生成部１９０に出力する。なお、画像の歪みの補正の方法、並びに、色補正およびガンマ補正などの方法については周知であるため説明を省略する。

背景判定部１３０は、画像取得部１２０が出力する撮像画像データを受けて、撮像画像から背景画像を生成し、背景画像を示す背景画像データを前景判定部１４０および仮想視点画像生成部１９０に出力する。ここで、背景画像とは、撮像画像のうちの動きのある画像領域を除去し、動きのない画像領域のみを残した画像である。例えば、撮像画像がサッカー競技内を撮像することにより得たものである場合、背景画像とは、競技場のフィールド２０、器具、観客席のうちの動きのない部分、または経時的に表示が変化しない固定看板などに対応する画像領域からなる画像である。

背景判定部１３０は、撮像画像に基づき、例えばＧＭＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ）の手法を用いた推定により背景画像を生成する。なお、ＧＭＭを用いた背景画像の推定方法は周知であるため説明を省略する。また、背景判定部１３０は、撮像画像を用いて背景画像を生成するものであればよく、背景判定部１３０における背景画像の推定方法は、ＧＭＭを用いた方法に限定されるものではない。

前景判定部１４０は、画像取得部１２０が出力する撮像画像データと、背景判定部１３０が出力する背景画像データとを受けて、撮像画像と背景画像とを用いて前景領域を判定し、前景領域を示す前景領域データを出力する。ここで、前景領域データとは、例えば、前景領域をシルエットとして抽出した前景抽出マスクである。前景判定部１４０の詳細については後述する。

以上のように、複数の前景背景分離部１１０のそれぞれは、撮像画像データ、背景画像データ、および前景領域データを出力する。

三次元形状生成部１７０は、複数の前景背景分離部１１０のそれぞれが出力する前景領域データを受ける。三次元形状生成部１７０は、前景領域データを用いてオブジェクトの三次元形状データを生成する。具体的には、例えば、三次元形状生成部１７０は、Ｖｉｓｕａｌ Ｈｕｌｌを使ってオブジェクトの三次元形状データを生成する。なお、Ｖｉｓｕａｌ Ｈｕｌｌを使ってオブジェクトの三次元形状データを生成する方法は周知であるため説明を省略する。

仮想視点画像生成部１９０は、仮想視点の位置および視線方向を示す仮想視点情報を取得する。仮想視点画像生成部１９０は、仮想視点情報と複数の撮像画像と用いて、三次元形状生成部１７０が生成した三次元形状データが示す三次元モデルにテクスチャを貼り付けるレンダリング処理を行うことにより仮想視点画像を生成する。仮想視点画像生成部１９０は、仮想視点画像を生成する際に撮像画像に加えて背景画像を用いてもよい。

なお、仮想視点情報は、例えば、キーボードまたはポインティングディバイスなどの図１には不図示の操作入力装置をユーザが操作することにより入力される。またなお、三次元モデルと撮像画像とを用いて仮想視点情報に基づく仮想視点画像を生成する方法は周知であるため説明を省略する。

第１実施形態に係る画像処理システム１は、図２に一例として示すような、競技場のフィールド２０の周囲に複数の撮像装置１０が配置されたものである。しかしながら、本開示は、単一の撮像装置１０毎の前景背景分離に関する手法を提案するものであり、複数の撮像装置１０間の相対的な幾何学的設置条件に縛られるものではない。したがって、本開示は、例えば構内に設置された監視カメラ、または、遠隔地もしくは屋外に設置された監視カメラなどにより撮像された撮像画像から動いているオブジェクトを抽出する場合にも適用可能なものである。また、第１実施形態に係る画像処理システム１は複数の撮像装置１０の一つ一つに対応する前景背景分離部１１０を撮像装置１０と対にして競技場内の各所に配置する構成としてもよい。このように構成する場合、前景背景分離部１１０が出力する情報は、例えばネットワークを介して三次元形状生成部１７０および仮想視点画像生成部１９０に送信される。

ここで、図３Ａから図３Ｃまでを参照して、一般的な前景背景分離と、特許文献１に開示された技術による前景背景分離とについて説明する。図３Ａは、図２に一例として示す撮像装置１０の配置において、ある撮像装置１０で撮像することにより得られる撮像画像３１０の一例を示す模式図である。図３Ａに示す撮像画像３１０には、フィールド２０にいる選手および電子看板のそれぞれに対応する画像領域３１１，３１２，３１３，３１４，３１５が含まれている。画像領域３１１，３１２は、フィールド２０にいる複数の選手のそれぞれに対応する画像領域であり、画像領域３１３，３１４，３１５は、複数の電子看板のそれぞれに対応する画像領域である。図３Ａに示す撮像画像３１０において、画像領域３１２に対応する選手は、画像領域３１３に対応する電子看板と重なって写っている。図３Ａに一例として示すように、電子看板がフィールド２０の近くに設置されている場合、選手と電子看板とが重なった状態で撮像される場合がある。

図３Ｂは、一般的な前景背景分離を用いて、図３Ａに示す撮像画像３１０から前景領域をシルエットとして抽出した前景抽出マスク３２０の一例を示す図である。前景抽出マスク３２０は、図３Ａに示す撮像画像３１０と当該撮像画像３１０の撮像時点よりも前に撮像された不図示の撮像画像に基づく不図示の背景画像との間で差分をとることにより、前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。

前景抽出マスク３２０には、前景領域３２１，３２２，３２３，３２４，３２５が含まれている。図３Ｂにおいて、前景領域３２１，３２２のそれぞれは、図３Ａに示す画像領域３１１，３１２に対応する前景領域であって、フィールド２０にいる選手に対応する前景領域である。また、図３Ｂにおいて、前景領域３２３，３２４，３２５のそれぞれは、図３Ａに示す画像領域３１３，３１４，３１５に対応する前景領域であって、フィールド２０の近くにある電子看板に対応する前景領域である。ここで、図３Ｂにおける破線は、画像領域３１２に対応する選手の稜線を示し、前景領域３２２は、破線及び白画素により示す人型に対応する領域であり、前景領域３２３は、破線及び白画素により示す人型の領域を含まない領域である。ここでは、前景領域３２２と前景領域３２３とは説明のために区別して記載するが、前景領域としては一つの領域である。

図３Ｂに一例として示すように、電子看板の表示が経時変化する場合、動いている選手だけでなく、電子看板に対応する画像領域３１３，３１４，３１５も前景領域３２３，３２４，３２５として抽出されることがある。なお、観客席が撮像装置１０の画角内にあると、電子看板と同様に観客が動くことにより、撮像画像における観客に対応する画像領域が、電子看板の場合と同様に前景領域として抽出されることになる。

図３Ｃは、特許文献１に開示された技術を用いて、図３Ａに示す撮像画像３１０から前景領域をシルエットとして抽出した前景抽出マスク３３０の一例を示す図である。図３Ｃに一例として示す前景抽出マスク３３０は、前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。具体的には、前景抽出マスク３３０は、図３Ａに示す電子看板に対応する画像領域３１３，３１４，３１５に対応する図３Ｂに示す前景領域３２３，３２４，３２５を、特許文献１に開示された技術を用いて除外することにより生成されたものである。より具体的には、特許文献１に開示された技術では、図３Ｃにおいて破線による矩形で示す除外領域３３３であって予め用意された不図示の抽出除外マスクが示す除外領域３３３内の前景領域を除外する。これにより、図３Ｂに示す前景領域３２３，３２４，３２５が除外される。

図３Ｃに示す前景抽出マスク３３０には、前景領域３３１，３３２が含まれている。図３Ｃにおいて、前景領域３３１，３３２のそれぞれは、図３Ａに示す画像領域３１１，３１２に対応する前景領域であって、フィールド２０にいる選手に対応する前景領域である。図３Ｃに一例として示すように、特許文献１の技術の場合、一方の選手に対応する画像領域３１１についてはその全体が前景領域３３１として抽出される。しかしながら、当該場合、他方の選手に対応する画像領域３１２についてはその一部しか前景領域３３２として抽出されないことになる。特許文献１の技術の場合、電子看板に対応する前景領域３２３は除外対象となるところ、当該前景領域３２３と重なった選手に対応する部分が結果的に前景領域として扱われないためである。このような特許文献１の技術を用いて生成した前景抽出マスク３２０を用いて選手の三次元形状データの生成を行うと、オブジェクトである選手の上半身が欠けた状態の不適切な三次元形状データが生成されてしまうことになる。

図４を参照して、第１実施形態に係る画像処理装置１００が備える前景判定部１４０の構成について説明する。図４は、第１実施形態に係る画像処理装置１００が備える前景判定部１４０の構成の一例を示す機能ブロック図である。前景判定部１４０は、仮前景抽出部１４１、オブジェクト前景抽出部１４２、特定部１４３、および前景抽出部１４４を備える。なお、図４において、角のある矩形のボックスは処理手段を表し、角の円い矩形のボックスは、画像またはマスクなどを示す入出力データを表す。また、オブジェクト前景抽出部１４２は、少なくとも特許請求の範囲に記載する抽出手段に対応する機能を有する機能ブロックであり、前景抽出部１４４は、少なくとも特許請求の範囲に記載する出力手段に対応する機能を有する機能ブロックである。

仮前景抽出部１４１は、画像取得部１２０が出力する撮像画像データと、背景判定部１３０が出力する背景画像データとを取得する。仮前景抽出部１４１は、撮像画像と背景画像との差を用いて前景領域を抽出する。具体的には、仮前景抽出部１４１は、前景領域をシルエットとして抽出して仮の前景抽出マスク（以下「仮前景抽出マスク」という。）を生成する。仮前景抽出部１４１が生成する仮前景抽出マスクは、例えば、図３Ｂに示す前景抽出マスク３２０と同様のものである。

仮前景抽出部１４１は、例えば、以下の式（１）および式（２）を用いて、撮像画像と背景画像との差分を取ることにより仮前景抽出マスクを生成する。まず、仮前景抽出部１４１は、次式（１）を用いて、撮像画像と背景画像とにおけるピクセルごとのピクセル値の差分値を算出する。
Ｓ＝｜Ｒｉｎ－Ｒｂａｃｋ｜＋｜Ｇｉｎ－Ｇｂａｃｋ｜＋｜Ｂｉｎ－Ｂｂａｃｋ｜ ・・・ 式（１）

ここで、Ｓは、ピクセルごとの差分値である。また、Ｒｉｎ、Ｇｉｎ、およびＢｉｎは、撮像画像のピクセル値であってＲＧＢそれぞれの色成分に対応するピクセル値である。また、Ｒｂａｃｋ、Ｇｂａｃｋ、およびＢｂａｃｋは、背景画像のピクセル値であってＲＧＢそれぞれの色成分に対応するピクセル値である。なお、式（１）は一例であり、ピクセルごとの差分値が算出できるものであれば、式（１）に限定されるものではない。例えば、ピクセルごとの差分値は、ＹＵＶ系における撮像画像のピクセル値と背景画像のピクセル値との差分値であってもよい。

次に、仮前景抽出部１４１は、次式（２）を用いて、差分値と予め定められた閾値とを比較する。閾値をＴｈ１とすれば、仮前景抽出マスクの各ピクセル値ＦＭは、例えば、以下のように算出することができる。
Ｓ＞Ｔｈ１ の時 ＦＭ＝１，Ｓ≦Ｔｈ１ の時 ＦＭ＝０ ・・・ 式（２）

なお、閾値Ｔｈ１は、背景画像に対して撮像画像の各ピクセルの階調値がノイズに起因して変動することにより発生する差分値の幅よりも、少し大きい値とすることが好適である。ただし、閾値Ｔｈ１をあまり大きい値にすると前景部分が欠けてしまうため、閾値Ｔｈ１は、撮像環境または撮像するオブジェクトに応じて適正な値を設定することが望ましい。

仮前景抽出部１４１は、式（１）および式（２）を用いて演算することにより仮前景抽出マスクを生成することができる。以下、仮前景抽出部１４１が仮前景抽出マスクとして図３Ｂに示す前景抽出マスクと同様のものを出力する場合を例にとって説明する。

オブジェクト前景抽出部１４２は、撮像画像のうちの予め定められた画像領域である指定内領域から前景領域を抽出する。以下、オブジェクト前景抽出部１４２が抽出する前景領域をオブジェクト前景領域と称して説明する。具体的には、オブジェクト前景抽出部１４２は、指定内領域からオブジェクト前景領域をシルエットとして抽出した第１前景抽出マスクを生成する。より具体的には、例えば、オブジェクト前景抽出部１４２は、指定内領域を指定する領域指定マスクと、仮前景抽出部１４１が生成する仮前景抽出マスクとの論理積を算出することにより、第１前景抽出マスクを生成する。オブジェクト前景抽出部１４２は、仮前景抽出マスクにおける前景領域のうち、指定内領域に存在する前景領域のみをオブジェクト前景領域として抽出する。

図５Ａから図５Ｃを参照して、第１実施形態に係るオブジェクト前景抽出部１４２が生成する第１前景抽出マスクについて説明する。図５Ａは、第１実施形態に係る画像処理装置１００が用いる領域指定マスク５１０の一例を示す図である。図５Ａに示すように、領域指定マスク５１０は、白画素で示す指定内領域５１１と、黒画素で示す指定外領域５１２とを含む。指定外領域５１２とは、撮像画像における画像領域のうちの指定内領域５１１以外の画像領域である。以下、指定内領域５１１と指定外領域５１２との境界を指定境界５１３と称して説明する。

図５Ｂは、図５Ａに示す領域指定マスク５１０の指定内領域５１１、指定外領域５１２、および指定境界５１３の位置関係を図３Ａに示す撮像画像３１０に相当する撮像画像５２０上に示した図である。したがって、図５Ｂには、図３Ａに示す撮像画像３１０と同様に、選手又は電子看板に対応する画像領域３１１，３１２，３１３，３１４，３１５が含まれている。図５Ｂに一例として示すように、図５Ａに示す領域指定マスク５１０における指定外領域５１２は、電子看板に対応する画像領域３１３，３１４，３１５を含む領域である。

なお、図５Ａに示す領域指定マスク５１０は、あくまで一例であって、領域指定マスク５１０における指定内領域５１１の大きさ、位置、および形状は、図５Ａに示すものに限定されるものではない。すなわち、領域指定マスク５１０における指定境界５１３の位置および形状は、図５Ａに示すものに限定されるものではない。例えば、領域指定マスク５１０における指定境界５１３の位置および形状は、競技場におけるフィールド２０などの形状、または電子看板などに対応する画像領域などの前景領域として除去したい領域の形状などに合わせたものあっても良い。また、領域指定マスク５１０における指定内領域５１１または指定外領域５１２の数は、それぞれ１つに限定されるものではなく、指定内領域５１１が複数あっても、指定外領域５１２が複数あってもよい。例えば、領域指定マスク５１０は、図５Ｂに示す電子看板のそれぞれに対応する３つの画像領域３２３，３２４，３２５のそれぞれを、互いに異なる指定外領域として含むものであってもよい。

図５Ｃは、第１実施形態に係るオブジェクト前景抽出部１４２が抽出するオブジェクト前景領域を示す第１前景抽出マスク５３０の一例を示す図である。図５Ｃに示す第１前景抽出マスク５３０は、図３Ｃに示す前景抽出マスク３３０と同様の２値画像であって、前景領域であるオブジェクト前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。図５Ｃに示す第１前景抽出マスク５３０には、オブジェクト前景領域５３１，５３２が含まれる。図５Ｃに示すオブジェクト前景領域５３１，５３２は、図３Ｃに示す前景領域３３１，３３２に対応するものである。図３Ｂに示す選手に対応する前景領域３２２のうち、図５Ａに示す指定外領域５１２に含まれる領域は、図５Ｃに示すように第１前景抽出マスク５１０の前景領域から削除される。すなわち、図５Ｃに示す第１前景抽出マスク５３０は、図５Ａに示す領域指定マスク５１０を用いて、図３Ｂに示す前景抽出マスク３２０に相当する仮前景抽出マスクから指定内領域５１１内の前景部分だけを抽出したものである。図５Ｃに示すように、第１前景抽出マスク５３０において、一方の選手に対応する画像領域３１２に対応するオブジェクト前景領域５３２は、選手の上半身に対応する領域が欠けたものとなる。

特定部１４３は、撮像画像おける１以上の特定領域のうち、三次元形状データの生成対象であるオブジェクトに対応する撮像画像内のオブジェクト前景領域とつながる特定領域であるオブジェクト特定領域を特定する。例えば、特定部１４３は、撮像画像における画像領域のうちの指定内領域以外の画像領域である指定外領域のうち、オブジェクト前景抽出部１４２が抽出したオブジェクト前景領域につながる前景領域部分を抽出する。具体的には、例えば、特定部１４３は、まず、指定外領域から前景領域部分を抽出する。すなわち、この場合、前景領域部分が特定領域に相当する。そして、特定部１４３は、抽出した前景領域部分のうち、指定内領域におけるオブジェクト前景領域とつながっている前景領域部分をオブジェクト特定領域として特定する。特定部１４３は、オブジェクト前景領域につながっている前景領域部分と、当該オブジェクト前景領域とを合わせた領域をオブジェクト特定領域として特定してもよい。後者の場合、特定部１４３がオブジェクト特定領域を特定する対象の撮像画像における画像領域（以下「特定対象領域」という。）は、指定外領域の一部または全部と指定内領域の一部または全部とを合わせた領域である。なお、指定外領域の全部ではなく一部が特定対象領域に含まれる場合は、特定対象領域に含まれる指定外領域の一部は、特定対象領域に含まれる指定内領域の一部または全部の少なくとも一部に接する領域（部位）である。また、前者の場合、特定対象領域は、指定外領域の一部または全部である。なお、特定対象領域が指定外領域の一部である場合は、当該指定外領域の一部は、指定内領域の一部に接する領域である。

第１実施形態では、特定対象領域が指定外領域の全部と指定内領域の全部とを合わせた領域、すなわち、抽出対象領域が撮像画像における画像領域全体である場合について説明する。例えば、特定部１４３は、領域指定マスク５１０における指定境界５１３の位置を示す情報（以下「指定境界情報」という。）と、仮前景抽出マスクとに基づいて、指定外領域５１２においてオブジェクト前景領域につながる前景領域部分を抽出する。例えば、まず、特定部１４３は、仮前景抽出マスクにおける前景領域のうち、指定境界５１３の位置に相当する画像領域の少なくとも一部と重なる領域（以下「境界前景領域」という。）を検出する。ここで、指定境界５１３の位置に相当する画像領域とは、例えば、指定境界５１３の位置に存在する画素、または指定境界５１３に接する位置に存在する画素を含む領域である。検出される境界前景領域の数は、２以上である場合もあり得る。次に、特定部１４３は、検出した境界前景領域毎に、指定内領域５１１および指定外領域５１２において、境界前景領域から連続してピクセル値が１である部分を抽出することによりオブジェクト特定領域を特定する。例えば、特定部１４３は、一般的な画像処理の手法である４近傍連結処理または８近傍連結処理により、境界前景領域から連続してピクセル値が１である部分を抽出する。なお、仮前景抽出マスクにおける前景領域に細かな欠けが多い場合または多いと予想される場合は、４近傍連結処理より８近傍連結処理を用いる方が好適である。さらに、特定部１４３は、特定したオブジェクト特定領域を示す第２前景抽出マスクを生成する。

図５Ｄを参照して、第１実施形態に係る特定部１４３が抽出する第２前景抽出マスク５４０について説明する。図５Ｄは、第１実施形態に係る特定部１４３が特定するオブジェクト特定領域を示す第２前景抽出マスク５４０である。図５Ｄに一例として示す第２前景抽出マスク５４０は、オブジェクト特定領域を白画素、それ以外の領域を黒画素で表した２値画像である。図５Ｄに示す第２前景抽出マスク５４０には、前景領域５４１と前景領域５４２とからなるオブジェクト特定領域５４３が含まれている。ここで、前景領域５４１は、図５Ｃに示すオブジェクト前景領域５３１に相当する領域である。また、前景領域５４２は、前景領域５４１につながる前景領域であって、指定外領域５１２に存在する前景領域である。ここで、図５Ｄに示す破線は、図３Ａに示す画像領域３１２に対応する選手の指定外領域５１２における稜線を示し、前景領域５４２は、図５Ｄに示す破線で囲まれた領域を含むものである。

なお、特定部１４３がオブジェクト特定領域５４３を特定する方法は、上述の方法に限定されるものではない。例えば、特定部１４３は、境界前景領域を検出する際に、仮前景抽出マスクと指定境界情報とに替えて、第１前景抽出マスクと指定境界情報とに基づいて、指定境界５１３に接するオブジェクト前景領域を検出することにより、境界前景領域を検出してもよい。

前景抽出部１４４は、オブジェクト前景抽出部１４２が抽出するオブジェクト前景領域と、特定部１４３が特定するオブジェクト特定領域とを三次元形状データ用の前景領域（以下「生成用前景領域」という。）として抽出する。具体的には、例えば、前景抽出部１４４は、オブジェクト前景領域とオブジェクト特定領域とを合成することにより合成後の領域を生成用前景領域として抽出する。例えば前景抽出部１４４は、オブジェクト前景抽出部１４２が生成する第１前景抽出マスクのピクセル値と、特定部１４３が生成する第２前景抽出マスクのピクセル値であって第１前景抽出マスクのピクセルに対応するピクセルのピクセル値との論理和を算出する。これにより、前景抽出部１４４は、オブジェクト前景領域とオブジェクト特定領域とを合成することにより抽出した生成用前景領域を示す第３前景抽出マスクを生成する。なお、特定部１４３がオブジェクト前景領域につながる前景領域部分と当該オブジェクト前景領域とを合わせてオブジェクト特定領域とする場合、前景抽出部１４４は、以下の演算処理によりオブジェクト前景領域とオブジェクト特定領域とを合成してもよい。当該場合、例えば、前景抽出部１４４は、第１前景抽出マスクのピクセル値と、第１前景抽出マスクのピクセルに対応する第２前景抽出マスクにおけるピクセルのピクセル値とを数値加算する。前景抽出部１４４は、数値加算後のピクセル値が２となった場合にピクセル値を１とすることによりオブジェクト前景領域とオブジェクト特定領域とを合成する。

図５Ｅを参照して、第１実施形態に係る前景抽出部１４４が抽出する生成用前景領域を示す第３前景抽出マスク５５０について説明する。図５Ｅは、第１実施形態に係る前景抽出部１４４が合成した合成後の生成用前景領域を示す第３前景抽出マスク５５０の一例を示す図である。図５Ｅに一例として示す第３前景抽出マスク５５０は、生成用前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。具体的には、図５Ｅに示す第３前景抽出マスク５５０は、前景抽出部１４４が、図５Ｃに一例として示す第１前景抽出マスク５３０と、図５Ｄに一例として示す第２前景抽出マスク５４０とを合成することにより生成したものである。図５Ｅに示す第３前景抽出マスク５５０には、図５Ｃに示すオブジェクト前景領域５３１に相当する生成用前景領域５５１と、図５Ｄに示すオブジェクト特定領域５４３に相当する生成用前景領域５５２とを含む。図５Ｅに示す第３前景抽出マスク５５０は、図３Ａに示す画像領域３１１に対応する前景領域と、画像領域３１２に対応する前景領域であって画像領域３１２に対応する選手の上半身に欠けのない前景領域とが、生成用前景領域５５１，５５２として含まれる。また、図５Ｅに示す第３前景抽出マスク５５０は、図３Ｂに示す前景抽出マスク３２０と比較して、図３Ｂに示す３つの電子看板のそれぞれに対応する３つの前景領域３２３，３２４，３２５のうちの２つの前景領域３２４，３２５が削除されたものとなっている。

画像処理装置１００が備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などのハードウェアによってなされる。当該処理は、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのハードウェアによってなされるものであってもよい。また、当該処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）もしくはＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）、および、メモリを用いたソフトウエアによってなされてもよい。

図６を参照して、第１実施形態に係る画像処理装置１００が備える各部がソフトウエアとして動作する場合の画像処理装置１００のハードウェア構成について説明する。図６は、第１実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図６に一例として示すようにＣＰＵ６１１、ＲＯＭ６１２、ＲＡＭ６１３、補助記憶装置６１４、表示部６１５、操作部６１６、通信部６１７、およびバス６１８を有している。

ＣＰＵ６１１は、ＲＯＭ６１２またはＲＡＭ６１３に格納されているプログラムまたはデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が備える各部として機能させる。なお、画像処理装置１００は、ＣＰＵ６１１とは異なる１または複数の専用のハードウェアを有し、ＣＰＵ６１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ６１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ６１３は、補助記憶装置６１４から供給されるプログラムもしくはデータ、または通信部６１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置６１４は、例えばハードディスクドライブなどで構成され、画像データまたは音声データなどの種々のデータを記憶する。

表示部６１５は、例えば液晶ディスプレイまたはＬＥＤなどにより構成され、ユーザが画像処理装置１００を操作または閲覧するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部６１６は、例えばキーボード、マウス、ジョイスティック、またはタッチパネルなどにより構成され、ユーザによる操作を受けて各種の指示をＣＰＵ６１１に入力する。ＣＰＵ６１１は、表示部６１５を制御する表示制御部、および操作部６１６を制御する操作制御部としても動作する。

通信部６１７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部６１７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部６１７はアンテナを備える。

バス６１８は、画像処理装置１００の備える各部をつないで情報を伝達する。

第１実施形態では、表示部６１５および操作部６１６は、画像処理装置１００の内部に存在するものとして説明するが、表示部６１５および操作部６１６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。

図７を参照して、第１実施形態に係る画像処理装置１００の動作について説明する。図７は、第１実施形態に係る画像処理装置１００における処理フローの一例を示すフローチャートである。例えば、画像処理装置１００は、画像処理装置１００が撮像装置１０から撮像画像データを繰り返して取得する間、または、仮想視点画像の出力の停止がユーザ等から指示されるまでの間、当該フローチャートの処理を繰り返し実行する。なお、以下の説明において記号「Ｓ」はステップを意味する。

まず、Ｓ７０１にて、画像取得部１２０は、撮像装置１０が出力する撮像画像データを取得し、撮像画像データを前景判定部１４０、背景判定部１３０、および仮想視点画像生成部１９０に出力する。次に、Ｓ７０２にて、背景判定部１３０は、撮像画像データを用いて背景画像を生成し、背景画像データを前景判定部１４０および仮想視点画像生成部１９０に出力する。

次に、Ｓ７０３にて、仮前景抽出部１４１は、撮像画像と背景画像との差を用いて前景領域を抽出し、仮前景抽出マスクを生成する。次に、Ｓ７０４にて、オブジェクト前景抽出部１４２は、撮像画像のうちの予め定められた指定内領域からオブジェクト前景領域を抽出して、第１前景抽出マスクを生成する。

次に、Ｓ７０５にて、特定部１４３は、仮前景抽出マスクが示す前景領域のうちから指定境界の位置に重なる前景部分を検出する。次に、Ｓ７０６にて、特定部１４３は、オブジェクト特定領域を特定し、第２前景抽出マスクを生成する。次に、Ｓ７０７にて、前景抽出部１４４は、第１前景抽出マスクが示すオブジェクト前景領域と第２前景抽出マスクが示すオブジェクト特定領域とを合成して生成用前景領域を抽出し、第３前景抽出マスクを生成する。

次に、Ｓ７０８にて、三次元形状生成部１７０は、オブジェクトの三次元形状データを生成する。特定部１４３で特定されたオブジェクト特定領域には電子看板の一部に対応する画像領域などの一部不要部分が含まれている。そのため、第３前景抽出マスクにも一部不要部分があるが、オブジェクトの三次元形状データを生成する処理によって、不要部分は削り落とされる。次に、Ｓ７０９にて、仮想視点画像生成部１９０は、仮想視点画像を生成する。Ｓ７０９の処理の後、画像処理装置１００は、Ｓ７０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。

以上のように構成することにより、第１実施形態に係る画像処理装置１００は、撮像画像からオブジェクトに対応する画像領域を前景領域として抽出することが困難な場合であってもオブジェクトに対応する前景領域として生成用前景領域を抽出できる。また、以上のように構成することにより、第１実施形態に係る画像処理装置１００は、一般的な前景背景分離を用いて撮像画像から前景領域を抽出する場合と比較して、抽出すべきでない前景領域が抽出されてしまうことを抑制できる。また、以上のように構成することにより、第１実施形態に係る画像処理装置１００は、複数視点画像を構成する各撮像画像からオブジェクトに対応する画像領域を前景領域として抽出することが困難な場合でも、精度の高い三次元形状データを生成できる。

ここまで、第１実施形態に係る画像処理装置１００における処理について、一例として、サッカーなどのフィールド２０の近くに電子看板がある場合について説明したが、以下に、バスケットボールなどのコートの近くに観客席がある場合を例にとって説明する。

図８Ａは、コートの周囲に設置されたある撮像装置１０が撮像することにより得られる撮像画像８１０の一例を示す模式図である。図８Ａに示す撮像画像８１０には、選手、観客、および観客席の前部ボードのそれぞれに対応する画像領域８１１，８１２，８１３，８１４が存在する。図８Ａにおいて、画像領域８１１，８１２は、コート上に存在する選手に対応する画像領域である。また、画像領域８１３は、観客に対応する画像領域であり、画像領域８１４には、観客席の前部ボードに対応する画像領域である。画像領域８１２に対応する選手の一部は、画像領域８１３に対応する観客の一部と重なった状態で撮像されている。

図８Ａに示す撮像画像について特許文献１の技術を用いて観客に対応する画像領域を前景領域から除外するように前景領域を抽出した場合、一方の選手に対応する画像領域８１１についてはその全体が前景領域として抽出される。しかしながら、当該場合、他方の選手に対応する画像領域８１２についてはその一部のみしか前景領域として抽出されないことになる。このような特許文献１の技術を用いて生成した前景抽出マスクを用いて選手の三次元形状データの生成を行うと、オブジェクトである選手の一部が欠けた状態の不適切な三次元形状データが生成されてしまうことになる。

図８Ｂは、図８Ａに示す撮像画像８１０に相当する撮像画像８２０に対する指定内領域８２１、指定外領域８２２、および指定境界８２３の位置の一例を示す模式図である。

図８Ｂにおいて、図８Ａと同様の符号を付したものについては説明を省略する。図８Ｂには、指定内領域８２１、指定外領域８２２、および指定境界８２３が示されている。図８Ｂに示すように、指定内領域８２１は、観客に対応する画像領域８１３を含まないようにコート側に、指定外領域８２２は、観客に対応する画像領域８１３を含むように観客席側に、それぞれ配置されている。指定境界８２３は指定内領域８２１と指定外領域８２２との境界である。

以下、第１実施形態に係る画像処理装置１００が、図８Ｂに示す指定内領域８２１、指定外領域８２２、および指定境界８２３を指定した領域指定マスクを用いて、図８Ａに示す撮像画像８１０に対して前景背景分離を行なう場合について説明する。第１実施形態に係る画像処理装置１００が撮像画像８１０に対して前景背景分離を行なうことにより、図８Ｃに示す第３前景抽出マスク８３０が得られる。

図８Ｃは、図８Ａに示す撮像画像８１０に対して、第１実施形態に係る画像処理装置１００が前景背景分離を行うことにより抽出する生成用前景領域を示す第３前景抽出マスク８３０の一例を示す図である。図８Ｃに一例として示す第３前景抽出マスク８３０は、生成用前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。図８Ｃが示す第３前景抽出マスク８３０には、２つの生成用前景領域８３１，８３２が存在する。図８Ｃにおいて、生成用前景領域８３１は、図８Ａに示す選手の画像領域８１１に対応する前景領域である。また、生成用前景領域８３２は、選手の画像領域８１２に対応する前景領域と、当該前景領域とつながっている前景領域であって観客の画像領域８１３の一部に対応する前景領域とを合わせた前景領域である。

以上のように、第１実施形態の手法では、オブジェクト以外の領域が前景領域として抽出されてしまうことを抑制でき、結果として、オブジェクトである選手について、精度の高い三次元形状データを生成できる。

また、第１実施形態の手法では、特定領域は、特定部１４３が指定外領域から前景領域部分を抽出することにより決定されるものとして説明したが、特定領域は、予め定められたものであってもよい。例えば、ユーザ等は、撮像装置１０毎に撮像画像における電子看板に対応する画像領域（図３に一例として示す画像領域３２３，３２４，３２５）を予め特定領域として指定する。特定領域の位置、大きさ、または形状などを示す情報は、画像処理装置１００の内部または外部の記憶装置に保存される。撮像装置１０毎の特定領域は、撮像装置の位置や姿勢などのパラメータによって決まる。そして、仮前景抽出部１４１は、撮像画像から前景背景差分法により仮の前景領域を抽出する。ここで、仮の前景領域には、図３Ｂに一例として示すように、選手などの動体の領域の他、電子看板の領域も含まれる。そして、特定部１４３は、抽出された仮の前景領域のうち、オブジェクト特定領域を特定し、前景抽出部１４４は、出力する生成用前景領域を抽出する。

具体的には、前景抽出部１４４は、仮前景抽出部１４１により抽出された仮の前景領域のうち、特定領域を含まない前景領域を、出力する生成用前景領域として抽出する。さらに、特定部１４３は、特定領域（つまり電子看板に対応する領域）を含む仮の前景領域に着目し、着目した仮の前景領域が、特定領域の位置、形状、大きさと同じであるかどうかを判定する。前景抽出部１４４は、特定部１４３が着目した仮の前景領域が特定領域の位置、形状、及び大きさ等と同じであると判定した場合は、当該特定領域を生成用前景領域として出力しない前景領域として特定する。また、前景抽出部１４４は、特定部１４３が着目した仮の前景領域が特定領域の位置、形状、及び大きさ等と同じではないと判定した場合は、当該特定領域を出力する生成用前景領域として特定して、生成用前景領域に当該特定領域を加える。こうして、前景抽出部１４４は、特定部１４３が着目した仮の前景領域が特定領域の位置、形状、及び大きさ等と同じであるか否かを判定した結果に基づいて、特定領域を生成用前景領域として出力するか否かを決定する。
このようにしても本開示の目的は達成することができる。

［第２実施形態］
図９から図１２を参照して、第２実施形態に係る画像処理装置１００ａ（不図示）について説明する。第２実施形態では、オブジェクト特定領域を特定する際に、仮前景抽出マスクの前景領域のうちの指定境界に重なっている前景領域について、指定外領域の予め定められた範囲における前景領域部分を抽出してオブジェクト特定領域とする形態を説明する。すなわち、第２実施形態は、指定外領域の全部ではなく一部が特定対象領域に含まれる場合であって、特に、特定対象領域が指定外領域の一部のみである場合についての実施形態である。

第２実施形態に係る画像処理装置１００ａが備える機能ブロックは、図１に一例として示す第１実施形態に係る画像処理装置１００が備える機能ブロックのうち、前景判定部１４０が前景判定部１４０ａに変更されたものである。そのため、第２実施形態に係る画像処理装置１００ａにおける構成の例示については省略する。すなわち、第２実施形態に係る画像処理装置１００ａは、仮想視点画像生成部１９０、三次元形状生成部１７０、および複数の前景背景分離部１１０を備える。また、複数の前景背景分離部１１０のそれぞれは、画像取得部１２０、背景判定部１３０、および前景判定部１４０ａを備える。

図９を参照して、第２実施形態に係る画像処理装置１００ａが備える前景判定部１４０ａの構成について説明する。図９は、第２実施形態に係る画像処理装置１００ａが備える前景判定部１４０ａの構成の一例を示す機能ブロック図である。

前景判定部１４０ａは、仮前景抽出部１４１、オブジェクト前景抽出部１４２、特定部１４３ａ、および前景抽出部１４４を備える。前景判定部１４０ａは、第１実施形態に係る前景判定部１４０が備える特定部１４３が、特定部１４３ａに変更されたものである。以下、図９に示す機能ブロックのうち、図４に示す機能ブロックと同様の機能ブロックについては、同じ符号を付すことにより説明を省略する。なお、図９において、角のある矩形のボックスは処理手段を表し、角の円い矩形のボックスは画像またはマスクなどを示す入出力データを表す。

特定部１４３ａは、撮像画像のうちの予め定められた特定対象領域からオブジェクト特定領域を特定する。具体的には、特定部１４３ａは、指定内領域と指定外領域との境界うちのオブジェクト前景抽出部１４２が抽出するオブジェクト前景領域が接する境界部分から指定外領域における予め定められた範囲内の前景領域を前景領域部分として抽出する。境界部分から予め定められた範囲の詳細については後述する。例えば、まず、特定部１４３ａは、仮前景抽出マスクにおける前景領域のうち、指定境界の位置に相当する画像領域の少なくとも一部と重なる領域（境界前景領域）を検出する。境界前景領域は、指定内領域と指定外領域との境界うちのオブジェクト前景抽出部１４２が抽出するオブジェクト前景領域が接する部分（境界部分）に対応する前景領域である。境界前景領域の詳細については上述したため説明を省略する。次に、特定部１４３ａは、検出した境界前景領域毎に、境界前景領域から指定外領域における予め定められた範囲内において、境界前景領域から連続してピクセル値が１である部分を抽出することによりオブジェクト前景領域つながる前景領域部分として抽出する。境界前景領域から連続してピクセル値が１である部分を抽出する方法については上述したため説明を省略する。

特定部１４３ａは、抽出したオブジェクト前景領域つながる前景領域部分をオブジェクト特定領域とする。特定部１４３ａは、抽出したオブジェクト特定領域を示す第２前景抽出マスクを生成する。なお、特定部１４３ａは、オブジェクト前景領域つながる前景領域部分と、当該オブジェクト前景領域とを合わせた領域をオブジェクト特定領域としてもよい。また、特定部１４３ａは、当該前景領域部分につながる指定内領域における前景領域を抽出し、当該前景領域部分と、当該前景領域部分とつながる前景領域であって指定内領域で抽出した前景領域とを合わせた領域をオブジェクト特定領域としてもよい。

図１０Ａは、第２実施形態に係る特定部１４３ａが特定するオブジェクト特定領域を示す第２前景抽出マスク１０１０の一例を示す図である。図１０Ａに一例として示す第２前景抽出マスク１０１０は、オブジェクト特定領域を白画素、それ以外の領域を黒画素で表した２値画像である。図１０Ａに示す第２前景抽出マスク１０１０は、図５Ａに示す領域指定マスク５１０に対応する指定境界情報、および図３Ａに示す撮像画像３１０に基づいて、特定部１４３ａが特定したオブジェクト特定領域を示すものである。図１０Ａには、上述の境界前景領域から予め定められた範囲の一例として、一点鎖線により示す矩形範囲１０１１が示されている。また、図１０Ａには、図５Ａに一例として示す指定内領域５１１、指定外領域５１２、および指定境界５１３のそれぞれに相当する指定内領域１０１２、指定外領域１０１３、および指定境界１０１４が示されている。

ここで、図１０Ａを参照して、境界部分から予め定められた範囲について説明する。図１０Ａに示す矩形範囲１０１１は、境界部分から予め定められた範囲の一例を示すものである。例えば矩形範囲１０１１は、境界前景領域に相当する領域を、図１０Ａにおける左右方向に例えば２００ピクセルだけ、また、指定境界に対して指定外領域が存在する方向（以下「上方向」という。）に例えば４００ピクセルだけ引き延ばすことにより決定される。境界前景領域に相当する領域を引き延ばすピクセル数は、例えば、選手の大きさに対応する画像領域の縦横のピクセル数に応じて決めることが好適である。選手の大きさが左右方向に１ｍ（メートル）及び高さ方向に２ｍであるとした場合、撮像画像における指定境界の位置又は当該位置付近における実際の長さとピクセル数との関係から境界前景領域に相当する領域を引き延ばすピクセル数について決定できる。

一例として、実寸の１ｍが撮像画像における指定境界の位置または当該位置付近における２００ピクセルに相当する画角で撮像画像が撮像される場合について説明する。当該場合、例えば、左右方向に１ｍ＝２００ピクセルだけ境界前景領域から引き延ばし、上方向に２ｍ＝４００ピクセルだけ境界前景領域から引き延ばすことにより、矩形範囲１０１１を決定する。また、もっと広角な画角で撮像される場合、具体的には、例えば、実寸の１ｍが撮像画像における指定境界の位置または当該位置付近における１００ピクセルに相当する画角で撮像画像が撮像される場合については、引き延ばすピクセル数を次のように決める。当該場合、例えば、左右方向に１ｍ＝１００ピクセルだけ境界前景領域から引き延ばし、上方向に２ｍ＝２００ピクセルだけ境界前景領域から引き延ばす。例えば、高身長の選手が競技を行う場合には、選出の身長に対応させて引き延ばすピクセル数を多くにすることにより対応できる。

特定部１４３ａは、図１０Ａに示すように、図３Ｂに示す前景抽出マスク３１０に相当する仮前景抽出マスクが示す前景領域３１３のうち、図１０Ａに示す矩形範囲１０１１内に存在する前景領域部分をオブジェクト特定領域１０１５として特定する。

図１０Ｂは、第２実施形態に係る画像処理装置１００ａが備える前景抽出部１４４が抽出する生成用前景領域を示す第３前景抽出マスク１０２０の一例を示す図である。図１０Ｂに一例として示す第３前景抽出マスク１０２０は、生成用前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。図１０Ｂに示す第３前景抽出マスク１０２０は、前景抽出部１４４が、図５Ｃに一例として示す第１前景抽出マスク５３０と、図１０Ａに一例として示す第２前景抽出マスク１０１０とを合成することにより生成したものである。図１０Ｂに示す第３前景抽出マスク１０２０には、２つの生成用前景領域１０２１，１０２２が存在する。図１０Ｂにおいて、生成用前景領域１０２１は、図５Ｃに示すオブジェクト前景領域５３１に相当するものである。また、生成用前景領域１０２２は、図５Ｃに示すオブジェクト前景領域５３２と図１０Ａに一例として示すオブジェクト特定領域１０１５とを合わせたものである。

図１０Ｂに示す第３前景抽出マスク１０２０は、生成用前景領域１０２１，１０２２が選手の上半身に欠けのない前景領域として存在するものとなっている。また、図１０Ｂに示す第３前景抽出マスク１０２０は、図５Ｅに示す第３前景抽出マスク５５０と比較して、図３Ｂに示す電子看板の前景領域３２３のうちの一定範囲内の前景領域のみが生成用前景領域として抽出されたものとなっている。

なお、画像処理装置１００ａは、第１実施形態に係る画像処理装置１００と同様に、例えば、図６に一例として示すハードウェアにより構成され、画像処理装置１００ａが備える機能ブロックは、当該ハードウェアにより実行される。

図１１を参照して、第１実施形態に係る画像処理装置１００ａの動作について説明する。図１１は、第２実施形態に係る画像処理装置１００ａにおける処理フローの一例を示すフローチャートである。画像処理装置１００ａは、画像処理装置１００ａが撮像装置１０から撮像画像データを繰り返して取得する間、または、仮想視点画像の出力の停止がユーザ等から指示されるまでの間、当該フローチャートの処理を繰り返し実行する。なお、以下の説明において記号「Ｓ」はステップを意味する。

図１１において、Ｓ７０１からＳＴ７０５までの処理と、Ｓ７０７からＳ７０９までの処理とは、図７に示す同じ符号の処理と同様であるため、説明を省略する。まず、画像処理装置１００ａは、Ｓ７０１からＳ７０５までの処理を実行する。

Ｓ７０５の後、Ｓ１１０１にて、特定部１４３ａは、境界前景領域から指定外領域における予め定められた範囲にある前景領域部分を含むオブジェクト特定領域を特定する。Ｓ１１０１の後、画像処理装置１００ａは、Ｓ７０７からＳ７０９までの処理を実行する。Ｓ７０９の処理の後、画像処理装置１００ａは、Ｓ７０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。

ここまで、第２実施形態に係る画像処理装置１００ａにおける処理について、一例として、サッカーなどのフィールド２０の近くに電子看板がある場合について説明したが、以下にバスケットボールなどのコートの近くに観客席がある場合を例にとって説明する。

図１２は、図８Ａに示す撮像画像８１０に対して、第２実施形態に係る画像処理装置１００ａが前景背景分離を行うことにより抽出する生成用前景領域を示す第３前景抽出マスク１２００の一例を示す図である。図１２に一例として示す第３前景抽出マスク１２００は、生成用前景領域を白画素、それ以外の領域を黒画素で表した２値画像である。図１２が示す第３前景抽出マスク１２００には、生成用前景領域１２０１，１２０２が存在する。図１２において、生成用前景領域１２０１は、図８Ｃに示す生成用前景領域８３１に相当する。また、生成用前景領域１２０２は、図８Ｃに示す生成用前景領域８３２のうちの観客に対応する前景部分について、一定範囲内の前景領域のみが生成用前景領域１２０２として抽出されたものとなっている。

以上のように構成することにより、第２実施形態によれば、第１実施形態の手法と比較して、抽出すべきでない前景領域の範囲を抑制できる。そのため、より少ない演算量で精度の高い三次元形状データを生成できる。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、または、各実施形態において任意の構成要素の省略が可能である。

例えば、第１実施形態と第２実施形態を組み合わせることにより、指定境界と重なる前景部分である境界前景領域とつながって存在し、かつ境界前景領域から一定範囲内にある指定外領域に存在する前景部分のみを抽出できる。そのため、第１実施形態と第２実施形態を組み合わせることにより、無用な前景部分をより削減することができる。

１０ 撮像装置、１００ 画像処理装置、１４２ オブジェクト前景抽出部、１４３ 特定部、１４４ 前景抽出部、１７０ 三次元形状生成部。

Claims (14)

1. 複数の撮像装置のそれぞれが撮像対象領域を互いに異なる方向から撮像することにより得られる複数の画像のそれぞれについて、前記画像おける１以上の特定領域のうち、三次元形状データの生成対象であるオブジェクトに対応する第１領域とつながる特定領域を含む第２領域を特定する特定手段と、
   前記第１領域と前記特定手段により特定された前記第２領域とを含む画像を出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記１以上の特定領域のうち、前記第１領域とつながる前記特定領域が存在するか否かを判定し、
   前記出力手段は、
   前記特定手段が前記第１領域とつながる前記特定領域が存在すると判定した場合、前記第１領域と前記特定手段により特定された前記第２領域とを含む画像を出力し、
   前記特定手段が前記第１領域とつながる前記特定領域が存在しないと判定した場合、前記第１領域を含む画像を出力すること
   を特徴とする請求項１記載の画像処理装置。
3. 前記出力手段が出力した前記画像に基づいて、前記オブジェクトに対応する前記三次元形状データを生成する三次元形状生成手段をさらに有すること
   を特徴とする請求項１又は２記載の画像処理装置。
4. 前記撮像装置が撮像することにより得られる画像のうちの予め定められた画像領域である指定内領域から前記第１領域を抽出する抽出手段をさらに有し、
   前記特定手段は、前記撮像装置が撮像することにより得られる画像のうちの前記指定内領域以外の画像領域である指定外領域内の前記１以上の特定領域のうち、前記抽出手段により抽出された前記第１領域とつながる前記特定領域を含む第２領域を特定すること
   を特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、前記指定外領域から、前記抽出手段が抽出する前記第１領域につながる特定領域を含む第２領域を特定すること
   を特徴とする請求項４記載の画像処理装置。
6. 前記第２領域は、前記１以上の特定領域のうち、前記指定内領域における前記第１領域とつながる特定領域と、当該特定領域と前記第１領域とをつなぐ領域とを含むこと
   を特徴とする請求項５記載の画像処理装置。
7. 前記特定手段は、前記指定外領域から抽出した前景領域部分を含む前記第２領域を特定すること
   を特徴とする請求項５又は６に記載の画像処理装置。
8. 前記特定手段は、前記指定外領域から前景領域部分を抽出する際に、前記指定内領域と前記指定外領域との境界うちの前記抽出手段が抽出する前記第１領域が接する境界部分から予め定められた範囲内の前景領域を前記前景領域部分として抽出して、抽出した前記前景領域部分を含む前記第２領域を特定すること
   を特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記特定手段は、前記指定外領域から前景領域部分を抽出する際に、前記指定内領域と前記指定外領域との境界うちの前記抽出手段が抽出する前記第１領域が接する境界部分から前記指定外領域における予め定められた範囲内の前景領域を前記前景領域部分として抽出して、抽出した前記前景領域部分を含む前記第２領域を特定すること
   を特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
10. 前記特定手段は、前記指定内領域と前記指定外領域との境界のうちの前記第１領域が接する部位に対応する画像領域から、近傍連結処理により前景領域を抽出することにより前記第２領域を特定すること
    を特徴とする請求項５記載の画像処理装置。
11. 前記第２領域は、前記指定外領域に存在する前景領域のうち、前記指定内領域とつながる前景領域を含み、前記指定内領域とつながらない前景領域を含まないこと
    を特徴とする請求項４乃至１０のいずれか１項に記載の画像処理装置。
12. 前記指定内領域または前記指定外領域は、前記撮像装置が撮像することにより得られる画像における複数の領域であること
    を特徴とする請求項４乃至１１のいずれか１項に記載の画像処理装置。
13. 複数の撮像装置のそれぞれが撮像対象領域を互いに異なる方向から撮像することにより得られる複数の画像のそれぞれについて、前記画像おける１以上の特定領域のうち、三次元形状データの生成対象であるオブジェクトに対応する第１領域とつながる特定領域を含む第２領域を特定する特定工程と、
    前記第１領域と前記特定工程により特定された前記第２領域とを含む画像を出力する出力工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images