JP2021149192A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】違和感のある仮想視点画像の生成を抑制する。【解決手段】複数の撮像装置により得られた画像から、仮想視点における仮想視点画像を生成する画像処理装置は、該複数の撮像装置により得られた画像に基づいて、オブジェクトの３次元形状を導出し、該３次元形状を用いて該仮想視点画像を生成し、該オブジェクトの位置と３次元形状導出可能な領域に基づいて、警告表示を行うか否かを判定する。画像処理装置は、該警告表示を行うと判定された場合に、該仮想視点画像において、警告表示を付与する。【選択図】図１Ａ

Description

本発明は、仮想視点画像の生成技術に関する。

昨今、被写体（オブジェクト）をさまざまな視点や角度から見た映像を視聴できる仮想視点映像（自由視点画像）の技術が注目されている。例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、仮想視点映像は通常の映像と比較してユーザに高臨場感を与えることが出来る。このような仮想視点映像は、被写体を取り囲むように設置された複数のカメラを用いて同一のタイミングで多方向から撮影することで得られた複数の画像から生成される。

仮想視点映像の生成の具体的手法が、特許文献１に記載されている。当該文献に開示されている技術では、まず、複数のカメラにより撮影された画像を被写体と被写体以外の背景に分離し、被写体のシルエット画像を抽出する。続いて、複数の異なる視点のシルエット画像から、視体積交差法などにより被写体の３次元形状を導出する。そして、オペレータ等から指示された視点の情報に基づき、３次元形状に対して、カメラを用いた撮影により得られたテクスチャ情報をマッピングしてレンダリングすることにより、任意の視点の映像を生成する。

特開２０１８−１９４９８５号公報

上記特許文献に開示された技術では、複数のカメラにより撮影された画像に基づいてオブジェクトの３次元形状を導出し、当該３次元形状を用いて仮想視点映像を生成している。そのため、複数のカメラの配置などによってオブジェクトの３次元形状を導出可能な領域は限定され、当該領域の境界付近に位置するオブジェクトの３次元形状が正しく導出できない場合がある。例えば、３次元形状を導出可能な領域の境界に人物が位置する場合において、当該人物の一部が欠けた３次元形状が導出されてしまうことが考えられる。このように３次元形状が正しく導出されていないオブジェクトが仮想視点画像に含まれると、視聴者に違和感を与えてしまうという課題がある。

本発明は上記課題に鑑みてなされたものであり、違和感のある仮想視点画像の生成を抑制することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、複数の撮像装置により得られた画像から、仮想視点における仮想視点画像を生成する画像処理装置であって、前記複数の撮像装置により得られた画像に基づいて、オブジェクトの３次元形状を導出する形状導出手段と、前記３次元形状を用いて前記仮想視点画像を生成する生成手段と、前記オブジェクトの位置と３次元形状導出可能な領域に基づいて、警告表示を行うか否かを判定する判定手段と、を有し、前記判定手段により、前記警告表示を行うと判定された場合に、前記生成手段は、前記仮想視点画像において、警告表示を付与する。

本発明によれば、違和感のある仮想視点画像の生成を抑制することが可能となる。

画像処理システムおよび画像処理装置の機能構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。 仮想視点画像の例を示す図である。 （ａ）は３次元形状導出可能な領域を説明するための図であり、（ｂ）は座標情報の例を示す図である。 実施形態１における警告判定処理を示すフローチャートである。 実施形態１におけるオブジェクトの位置情報の例を示す。 移動するオブジェクト（ボクセル群）の例を示す図である。 実施形態２におけるオブジェクトの位置情報の例を示す。 実施形態２における警告判定処理を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
（画像処理システムおよび画像処理装置の構成）
図１に、本実施形態における画像処理システムおよび画像処理装置の機能構成の一例を示す。本実施形態における画像処理装置１０００は、センサシステム１１ａ〜１１ｆ、操作装置１１４０、および表示装置１１３０に接続されている。画像処理装置１０００はさらに、クライアント装置１１５０に接続されていてもよい。画像処理装置１０００と前述の各装置への接続形態は、有線または無線であり得る。

センサシステム１１ａ〜１１ｆはそれぞれ、撮像部１１１０とシルエット画像導出部１１２０を備える。なお、図１Ａではセンサシステムの数は６（センサシステム１１ａ〜１１ｆ）とするが、その数は特定の数に限定されるものではない。また、以下の説明では、センサシステム１１ａ〜１１ｆを総称してセンサシステム１１と表現する場合もある。撮像部１１１０は、デジタルビデオカメラ等に代表される撮像手段であり、撮像処理により映像データを生成する。複数の撮像部１１１０は、撮影対象領域（例えばサッカーが行われるフィールド）をそれぞれ異なる方向から撮影する。例えば、撮像部１１１０は、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタルビデオカメラである。撮像部１１１０は、例えば映像信号インターフェイスを介して、映像データをシルエット画像導出部１１２０に出力する。シルエット画像導出部１１２０は、撮像部１１１０から取得した映像データからシルエット画像を導出する。シルエット画像とは、オブジェクトの輪郭の中が塗りつぶされた白黒の画像である。シルエット画像は、オブジェクトの輪郭の中と外を各ピクセル２値の情報で表すことにより、オブジェクトの形状の情報を有する。なお、オブジェクトとは、仮想視点画像の前景や背景に含まれる対象物（被写体）であり、例えば、センサシステム１１の撮像部１１１０により撮像可能な範囲に存在する人物、当該範囲に存在する構造物等である。シルエット画像導出部１１２０は、例えば、背景差分法などに代表される方法による演算処理により、シルエット画像を導出（生成）する。

操作装置１１４０は、画像処理装置１０００に仮想視点カメラの位置（仮想視点の位置）を指示する入力装置である。操作装置１１４０は、例えば、オペレータが仮想視点カメラの位置を指示（指定）するために、レバーとスイッチで構成される。画像処理装置１０００は、操作装置１１４０から入力された仮想カメラ（仮想視点）の位置及び向きに基づき、仮想視点画像の生成を行う。なお、本説明において、「画像」は、静止画および動画（映像）を含むものとする。

表示装置１１３０は、表示画面を有する装置である。表示画面は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ））、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等で構成され得る。画像処理装置１０００により生成された仮想視点画像は表示装置１１３０に表示され、オペレータが見る（映像の場合は視聴）することが可能となる。オペレータは、表示装置１１３０に表示される仮想視点画像を見ながら、操作装置１１４０を用いて仮想カメラの位置及び向きの指定を行うことができる。なお、操作装置１１４０と表示装置１１３０は、１つの制御装置として構成することも可能である。

クライアント装置１１５０は、視聴者（クライアント）が画像処理装置１０００により生成された仮想視点画像を見る（映像の場合は視聴）することが可能な装置であり、少なくとも表示部（不図示）を有する。当該表示部は、表示装置１１３０と同様に、ＬＣＤやＬＥＤ等で構成され得る。クライアント装置１１５０の例は、スマートフォン、ラップトップ、タブレット等である。

画像処理装置１０００は、一例として、３次元形状導出部１０１０、位置情報導出部１０２０、領域情報保持部１０３０、警告判定部１０４０、仮想視点画像生成部１０５０で構成される。画像処理装置１０００は、センサシステム１１のシルエット画像導出部１１２０により導出されたシルエット画像、および、センサシステム１１の撮像部１１１０の撮像処理により得られた画像データであるテクスチャ情報（オブジェクトの表面（質感）を含む画像情報）を取得する。

３次元形状導出部１０１０は、センサシステム１１のシルエット画像導出部１１２０から入力されたシルエット画像から、オブジェクトの３次元形状の情報を導出する機能を有する。本実施形態では、当該３次元形状は、ボクセル群として導出される。シルエット画像から３次元形状情報を導出する手法は、一般的に使用されている視体積交差法などを用いてもよい。視体積交差法とは、複数の撮像部からのシルエット画像を３次元空間に逆投影し、それぞれの視体積の交差部分を求めることにより３次元形状情報を得る手法である。

位置情報導出部１０２０は、３次元形状導出部１０１０により導出されたオブジェクトの３次元形状（ボクセル群）に対する３次元の座標（Ｘ，Ｙ，Ｚ）を導出（算出）することにより、当該オブジェクトの位置導出を行う機能を有する。本実施形態では、位置情報導出部１０２０は、ボクセル群を３次元空間座標にマッピングをして、該３次元形状情報の位置情報（ボクセル群の座標）を導出する。位置情報導出部１０２０は、各フレームにおいて、または、任意のタイミングにおいて、オブジェクトの位置情報を導出し得る。位置情報導出部１０２０は導出した位置情報を記憶部１２１０（図１Ｂ）に格納する。

領域情報保持部１０３０は、３次元形状導出部１０１０が３次元形状を導出可能な３次元空間（以後３次元形状導出可能な領域と呼ぶ）の情報を導出し、記憶部１２１０において保持する機能を有する。本実施形態では、３次元形状導出可能な領域は、座標により表される。なお、３次元形状導出可能な領域は、３次元形状導出部１０１０が導出し、記憶部１２１０において保持してもよい。３次元形状を導出可能な３次元空間の座標情報の例については後述する。

警告判定部１０４０は、位置情報導出部１０２０により導出されたオブジェクトの位置情報と、領域情報保持部１０３０により保持される３次元形状導出可能な領域に基づき、警告表示を行うか否かの判定を行う。警告判定部１０４０の処理フローについては、図４のフローチャートを用いて後述する。

仮想視点画像生成部１０５０は、３次元形状導出部１０１０により導出された３次元形状の情報、および、センサシステム１１から取得したテクスチャ情報から、仮想視点画像を生成する。仮想視点画像生成部１０５０は、例えば、３次元形状とテクスチャ情報から、レンダリング処理を行い、仮想視点画像を生成する。また、仮想視点画像生成部１０５０は、警告判定部１０４０からの指示に基づく情報を、生成した仮想視点画像に付与（重畳）することができる。仮想視点画像生成部１０５０は、仮想視点画像を表示装置１１３０に出力する。また、画像処理装置１０００がクライアント装置１１５０に接続される場合は、仮想視点画像生成部１０５０は、仮想視点画像をクライアント装置１１５０に出力してもよい。

図１Ｂに、画像処理装置１０００のハードウェア構成例を示す。記憶部１２１０はＲＯＭ、ＲＡＭの両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部１２１０として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。制御部１２２０はＣＰＵ、または、ＭＰＵにより構成され、記憶部１２１０に記憶されたプログラムを実行することにより画像処理装置１０００全体を制御する。なお、制御部１２２０は、記憶部１２１０に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により画像処理装置１０００全体を制御するようにしてもよい。通信部１２３０は、有線または無線で、各種情報／データの外部への出力および入力を行う。例えば、通信部１２３０は、ＩＥＥＥ８０２．１１シリーズに準拠した無線通信の制御や、ＩＰ通信の制御を行う。また、通信部１２３０はアンテナ１２４０を制御して、無線通信のための無線信号の送受信を行ってもよい。センサシステム１１、操作装置１１４０、表示装置１１３０、およびクライアント装置１１５０と画像処理装置１０００との通信は、通信部１２３０を介して行われ得る。

（オブジェクトの３次元形状と当該オブジェクトの位置情報の説明）
続いて、オブジェクトの３次元形状と当該オブジェクトの位置情報について、図２と図３を参照して説明する。図２は、仮想視点画像の例を示す図である。本実施形態では、センサシステム１１ａ〜１１ｆのそれぞれがスタジアムの周囲に配置され、スタジアム内のフィールドを含むエリアにおいて、画像処理装置１０００が仮想視点画像を生成するものとする。また、本実施形態では、スタジアム内のフィールド上で複数の選手がサッカーを行っているシーンを想定する。

図２（ｅ）に、画像処理装置１０００により生成される仮想視点画像の例として、仮想視点画像２４００を示す。仮想視点画像２４００は以下の処理により生成することができる。まず、センサシステム１１ａ〜１１ｆにおけるそれぞれの撮像部１１１０がスタジアムの周囲から撮像を行い、シルエット画像導出部１１２０が、各オブジェクトのシルエット画像の導出を行う。シルエット画像導出部１１２０により導出された各オブジェクトのシルエット画像は、画像処理装置１０００に入力される。また、センサシステム１１ａ〜１１ｆからテクスチャ情報も、画像処理装置１０００に入力される。入力された不図示のシルエット画像には、図２（ｅ）におけるオブジェクトである選手２０１０、２０１１とボール２０１２のシルエット画像が含まれている。画像処理装置１０００は、シルエット画像とテクスチャ情報から、３次元形状の導出とレンダリングを行い、仮想視点画像２４００を生成する。仮想視点画像２４００には、選手２０１０、２０１１とボール２０１２が映し出されている。

しかしながら、設置された撮像部１１１０の配置状況により、正しく３次元形状が導出できる領域は限定される。図２（ｅ）の仮想視点画像２４００において、ゴールライン２０６０およびタッチライン２０７０で構成されるフィールド２０５０よりも外側に設定される境界２０３０から内側の領域が３次元形状導出可能な領域とする（後述する図３（ａ）も参照）。このような場合、３次元形状導出可能な領域の内側にある選手２０１０およびボール２０１２については、正しく３次元形状を導出することが可能である。一方、３次元形状導出可能な領域の境界にある選手２０１１については、３次元形状導出可能な領域の外側にある形状が正しく導出されない。もしくは、３次元形状導出可能な領域の外側にあるオブジェクトは形状導出を行わないとすると、図２（ｅ）の仮想視点画像２４００に映されている選手２０１１のように、体の一部が可視できない仮想視点画像が生成されてしまう。このような仮想視点画像を視聴者に提供してしまうと、現実世界では起きえない状況が表された画像により臨場感を損ない、視聴者に違和感を与えてしまう。

臨場感のある仮想視点画像を提供するために、本実施形態における画像処理装置１０００は、３次元形状導出可能な領域の境界付近にオブジェクトが存在する場合に、オペレータに対して警告を発するように構成される。

図３を参照して、画像処理装置１０００が、３次元形状導出可能な領域の境界付近にオブジェクトが存在するかを判定する処理について説明する。図３（ａ）に、３次元形状導出可能な領域を説明するための図を示す。本実施形態では、サッカーのフィールド２０５０（長さ３１００×長さ３１１０で囲まれる領域）の全面において３次元形状が導出可能になるようにセンサシステム１１ａ〜１１ｆがフィールド２０５０の周囲に配置されているものとする。境界２０３０は、ゴールライン２０６０とタッチライン２０７０より、それぞれ長さ３４００と長さ３３００の分、外側に設定された境界であり、境界２０３０から内側の領域（長さ３２００×長さ３２１０で囲まれる領域）が３次元形状導出可能な領域である。なお、本実施形態では長さ３４００と長さ３３００はともに１０ｍであるとする。

画像処理装置１０００の３次元形状導出部１０１０は、ボクセルサイズを１０×１０×１０ｃｍ＝１ボクセルとして、ボクセル群で構成される３次元形状を導出する。当該ボクセルサイズを用いる場合、実寸で１０ｍの距離は、３次元空間上では１００ボクセル分の距離となる。なお、ボクセルを用いることは説明を簡単にするためであり、他の任意の単位を用いて３次元形状を導出してもよい。また、説明を簡単にするためにボクセルの１辺を１０ｃｍにしたが、ボクセルの１辺のサイズは任意のサイズでよい。当該ボクセルサイズを用いる場合、ゴールライン２０６０およびタッチライン２０７０より１００ボクセル分外側に、境界２０３０が存在することになる。前述したように、３次元形状導出可能な領域の境界２０３０の内側にあるオブジェクトについては３次元形状が正しく導出されることになる。また、３次元形状導出可能な領域の境界２０３０の外側にあるオブジェクトは３次元形状が正しく導出されない。

このように定義された３次元導出可能な領域の境界２０３０を表す４頂点の座標は、３次元空間上の原点を原点３０１０（ｘ、ｙ、ｚ）＝（０，０，０）とした時、図３に示した以下の座標である。
頂点３０２０（ｘ、ｙ、ｚ）＝（１００、１００、０）
頂点３０２１（ｘ、ｙ、ｚ）＝（８００、１００、０）
頂点３０２２（ｘ、ｙ、ｚ）＝（１００、１１００、０）
頂点３０２３（ｘ、ｙ、ｚ）＝（８００、１１００、０）

なお、本実施形態では説明を簡単にするためにｚ方向の説明を省略しているが、ｘ方向、ｙ方向同様にｚ方向にも、３次元導出可能な領域に制限を設けてもよい。図３には示していないが、例えば、ｚ方向はフィールド２０５０の位置（地面）から１０ｍの高さまで３次元形状導出が可能とすると、３次元空間上では、ｚ方向の座標は１００ボクセル未満であれば３次元導出可能となる。

よって、３次元形状導出可能な空間（領域）は、以下の（式１）〜（式３）を満たす座標（ｘ、ｙ、ｚ）で囲まれる領域となる。
１００＜＝ ｘ ＜ ８００ （式１）
１００＜＝ ｙ ＜ １１００ （式２）
０ ＜＝ ｚ ＜ １００ （式３）

この空間（領域）は、前述の説明の通り、ゴールライン２０６０およびタッチライン２０７０よりも１００ボクセル外側にある。本実施形態では、３次元導出可能な領域の境界２０３０の座標情報（３次元形状導出可能な領域）は、予め領域情報保持部１０３０により設定・導出され、保持され得る。

図３（ａ）において、丸と四角の合成マークで示すボクセル群２０１０ｖ、２０１１ｖ、２０１２ｖは、３次元形状化されたオブジェクトのボクセル群を表す。ボクセル群２０１０ｖ、２０１１ｖ、２０１２ｖは、それぞれ、図２（ｅ）の仮想視点画像２４００におけるオブジェクトである選手２０１１、２０１１、ボール２０１２について、３次元形状導出部１０１０が導出した３次元形状（すなわちボクセル群）に対応する。なお、説明を簡単にするために、すべてのオブジェクトのボクセル群について図示しないが、実際にはすべてのサッカー選手およびボールについて３次元形状（ボクセル群）が導出される。

図３（ｂ）に、画像処理装置１０００の位置情報導出部１０２０により導出（生成）される、選手２０１１についてのボクセル群２０１１ｖの座標情報の例を示す。位置情報導出部１０２０は、３次元形状導出部１０１０により導出されたボクセル群について、原点３０１０に対する３次元の座標（Ｘ，Ｙ，Ｚ）を導出する。位置情報導出部１０２０は、ボクセル群の位置情報として、当該ボクセル群に外接する直方体（以後バウンディングボックスと呼ぶ）の頂点の座標を算出する。図３（ｂ）の例では、位置情報導出部１０２０は、ボクセル群２０１１ｖの位置情報として、ボクセル群２０１１ｖに対するバウンディングボックスの頂点（図３（ｂ）に示す頂点３５０１〜３５０８の８点）を算出する。

ここで、バウンディングボックスの頂点３５０１〜３５０８の８点の算出方法について説明する。位置情報導出部１０２０は、複数のボクセルで構成されているボクセル群２０１１ｖの各軸の最大座標値と最小座標値を算出する。なお、各軸の最大座標値と最小座標値を算出することが困難な場合には、位置情報導出部１０２０は、これらの座標値を推定して導出してもよい。ボクセル群２０１１ｖのＸ軸の最小座標値（Ｘｍｉｎ）、Ｘ軸の最大座標値（Ｘｍａｘ）は、それぞれ７９８と８０３とする。同様に、ボクセル群２０１１ｖのＹ軸の最小座標値（Ｙｍｉｎ）、Ｙ軸の最大座標値（Ｙｍａｘ）は、それぞれ１９５、２００であり、ボクセル群２０１１ｖのＺ軸の最小座標値（Ｚｍｉｎ）、Ｚ軸の最大座標値（Ｚｍａｘ）は、それぞれ０、１８とする。位置情報導出部１０２０は、これらの各軸の最大座標値、最小座標値を組み合わせることにより、各頂点の座標を算出する。例えば、頂点３５０１は、各軸の最小座標値を組み合わせた座標となる。よって頂点３５０１の座標は、Ｘｍｉｎ，Ｙｍｉｎ，Ｚｍｉｎ）＝（７９８、１９５、０）となる。同様に、位置情報導出部１０２０は、頂点３５０２〜３５０８を以下のように算出する。
頂点３５０１＝（Ｘｍｉｎ，Ｙｍｉｎ，Ｚｍｉｎ）＝（７９８，１９５，０）
頂点３５０２＝（Ｘｍａｘ，Ｙｍｉｎ，Ｚｍｉｎ）＝（８０３，１９５，０）
頂点３５０３＝（Ｘｍｉｎ，Ｙｍａｘ，Ｚｍｉｎ）＝（７９８，２００，０）
頂点３５０４＝（Ｘｍａｘ，Ｙｍａｘ，Ｚｍｉｎ）＝（８０３，２００，０）
頂点３５０５＝（Ｘｍｉｎ，Ｙｍｉｎ，Ｚｍａｘ）＝（７９８，１９５，１８）
頂点３５０６＝（Ｘｍａｘ，Ｙｍｉｎ，Ｚｍａｘ）＝（８０３，１９５，１８）
頂点３５０７＝（Ｘｍｉｎ，Ｙｍａｘ，Ｚｍａｘ）＝（７９８，２００，１８）
頂点３５０８＝（Ｘｍａｘ，Ｙｍａｘ，Ｚｍａｘ）＝（８０３，２００，１８）

これら頂点３５０１〜３５０８の座標は、ボクセル群２０１１ｖ（選手２０１１）の位置情報である。同様に、位置情報導出部１０２０は、ボクセル群２０１０ｖ（選手２０１０）とボクセル群２０１２ｖ（ボール２０１２）に対して位置情報（バウンディングボックスの８つの頂点）を算出する。ボクセル群２０１１ｖ（選手２０１１）、２０１０ｖ（選手２０１０）、および２０１２ｖ（ボール２０１２）の位置情報５０１０、５０２０、５０３０を図５に示す。例えば、ボクセル群２０１１ｖ（選手２０１１）に対するバウンディングボックスの頂点３５０１〜３５０８は、図５における位置情報５０１０の座標ＩＤ＝１〜８が示す座標にそれぞれ対応する。

（警告判定処理の流れ）
次に、本実施形態における画像処理装置１０００の警告判定処理の流れについて、図４を参照して説明する。図４は、画像処理装置１０００の警告判定部１０４０により実行される処理を示すフローチャートである。図４に示すフローチャートは、制御部１２２０が記憶部１２１０に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。

Ｓ４０１０において、警告判定部１０４０は、領域情報保持部１０３０（または３次元形状導出部１０１０）により導出され、記憶部１２１０において保持されている、３次元形状導出可能な領域の情報を取得する。３次元形状導出可能な領域は、例えば上述したように、図３（ａ）において境界２０３０で囲まれる領域であり、上記の（式１）〜（式３）を満たす座標である。よって、３次元形状導出可能な領域の情報は、例えば、（式１）〜（式３）を表すための情報である。

次に、Ｓ４０２０において、警告判定部１０４０は、位置情報導出部１０２０により導出され、記憶部１２１０に格納されている、オブジェクトの位置情報（オブジェクトのバウンディングボックスの座標）を取得する。位置情報の導出方法は前述の通りである。ここでは、警告判定部１０４０は、図３（ａ）、図３（ｂ）に示すボクセル群２０１１ｖ（選手２０１１）の位置情報を取得するものとする。次に、Ｓ４０３０において、警告判定部１０４０は、オブジェクトの位置情報が３次元形状導出可能な領域内にあるか否かの判定を行う。ボクセル群２０１１ｖ（選手２０１１）の場合、警告判定部１０４０は、ボクセル群２０１１のバウンディングボックスの頂点３５０１〜３５０８について、（式１）〜（式３）の領域に入っているかの確認を行う。頂点３５０１〜３５０８の座標は図５に示す通りである（頂点３５０１〜３５０８は、図５における位置情報５０１０の座標ＩＤ＝１〜８が示す座標にそれぞれ対応する）。警告判定部１０４０は、バウンディングボックスの頂点３５０２、３５０４、３５０６、３５０８について、ｘ座標が８００を超えていることから、当該頂点は（式１）〜（式３）の範囲に入っていないと判断する。すなわち、警告判定部１０４０は、ボクセル群２０１１ｖ（選手２０１１）のバウンディングボックスの少なくとも一部が３次元形状導出可能な領域外にあると判断し、処理はＳ４０４０に遷移する。

Ｓ４０４０において、警告判定部１０４０は、選手２０１１（警告対象のオブジェクト）に対する警告を出力（表示）するように、仮想視点画像生成部１０５０に対して指示する。このような、位置が３次元形状導出可能領域外と判定されたオブジェクトに対する警告を出力するように指示を受けた場合の仮想視点画像生成部１０５０の動作については後述する。Ｓ４０６０において、警告判定部１０４０は、すべてのオブジェクトの処理が完了したかの判断を行う。Ｓ４０３０において、ボクセル群２０１１ｖ（選手２０１１）についての判定を行った場合、ボクセル群２０１０ｖ（選手２０１０）、ボクセル群２０１２ｖ（ボール２０１２）についての判定が残っているため、処理はＳ４０２０へ戻る。

Ｓ４０２０で、警告判定部１０４０は、例えば、図３（ａ）、図３（ｂ）に示すボクセル群２０１０ｖ（選手２０１０）の位置情報を取得する。続いて、Ｓ４０３０において、警告判定部１０４０は、ボクセル群２０１０ｖ（選手２０１０）のバウンディングボックスの８つの頂点について、（式１）〜（式３）の領域に入っているか確認を行う。当該８つの頂点は、図５における位置情報５０２０の座標ＩＤ＝１〜８が示す座標にそれぞれ対応する。警告判定部１０４０は、位置情報５０２０の座標ＩＤ＝１〜８が示す座標は、（式１）〜（式３）の領域に入っていると判断し、処理はＳ４０５０へ進む。Ｓ４０５０では、警告判定部１０４０は、選手２０１０に対する警告出力（表示）を停止する（行わない）ように、仮想視点画像生成部１０５０に対して指示する。なお、本ステップでは、警告判定部１０４０は、何ら処理を行わなくてもよい。

Ｓ４０２０〜４０６０の処理は、すべてのオブジェクトに対して繰り返される。すべてのオブジェクトに対してＳ４０２０〜４０６０の処理が完了すると、処理はＳ４０７０へ遷移する。Ｓ４０７０では、警告判定部１０４０は、すべてのフレームで処理が完了したかの判定を行う。次フレームの処理があれば、処理はＳ４０２０へ遷移し、Ｓ４０２０〜４０６０の処理が繰り返される。例えば、３０フレーム毎秒で処理している場合、１フレームごとにオブジェクトの位置が移動するため、１秒間に３０回すべてのオブジェクトの位置情報に基づき、警告表示の有無が判断されることになる。

なお、図４を用いた上記の説明では、特定のオブジェクトに対応するボクセル群のバウンディングボックスの８つの頂点の少なくとも何れかが３次元形状導出可能領域外である場合に警告が出力されるものとした。しかし警告を出力する条件はこれに限定されない。例えば、バウンディングボックスの８つの頂点のうち一部の頂点が３次元形状導出可能領域内に位置し、その他の頂点が３次元形状導出可能領域外に位置する場合に、警告が出力されるようにしてもよい。そして、バウンディングボックスの８つの頂点の全てが３次元形状導出可能領域外に位置する場合には、警告が出力されないようにしてもよい。このような構成によれば、オブジェクトが３次元形状導出可能領域の境界に位置することにより３次元形状の一部が欠けたオブジェクトが仮想視点画像に表示されてしまう虞があるような状況においては警告が出力される。一方、オブジェクトが３次元形状導出可能領域の外に位置することによりオブジェクトが仮想視点画像に全く表示されないような状況においては、仮想視点画像の違和感が大きくないため、警告が出力されない。

ここで、Ｓ４０４０において、警告判定部１０４０により、位置が３次元形状導出可能領域外と判定されたオブジェクトに対する警告を出力するよう指示を受けた場合の仮想視点画像生成部１０５０の動作について説明する。具体例として、警告判定部１０４０により、選手２０１１に対する警告を出力するように指示された場合、仮想視点画像生成部１０５０は、生成した仮想視点画像に警告用のラインを付与する。警告用のラインは、例えば、ボクセル群２０１１ｖ（選手２０１１）のバウンディングボックスの頂点を結ぶように構成される。図２（ａ）の仮想視点画像２０００に、選手２０１１に対して付与した警告用のライン２０２０を示す。当該ラインは点群であってもよい。仮想視点画像生成部１０５０はさらに、警告用のライン２０２０に対して、例えば赤色などの警告表示用の色で着色しレンダリングを行うことで、より視覚的な警告表示を行うことが可能となる。仮想視点画像生成部１０５０は、警告用のライン２０２０を示すとともに、３次元形状が正しく導出できていないことを示す警告メッセージ２０２１を表示してもよい。その他、仮想視点画像生成部１０５０は、仮想視点カメラの座標に基づき３次元オブジェクト（選手２０１０、２９１１、ボール２０１２）をレンダリングしたのち、選手２０１１を２次元の枠で囲った警告を表示してもよい。３次元オブジェクトの座標位置をカメラ外部パラメータ及びカメラ内部パラメータを用いて仮想視点カメラの画面座標に変換を行うことにより、該当するオブジェクトに警告表示を付与することが可能となる。

上記説明では、画像処理装置１０００は、１種類の境界（境界２０３０）で囲まれる領域外にオブジェクトが位置する場合に、仮想視点画像に警告を表示するように構成した。段階的な警告を行うために、複数の境界を導出（設定）してもよい。例えば、３次元形状導出可能な領域の境界から５０ボクセル（５ｍ）分内側（所定距離内側）に第２の境界を設定する。第２の境界と、３次元導出可能な領域の境界（境界２０３０）とで囲まれる空間（領域）を、注意喚起領域と表現する。注意喚起領域は、領域情報保持部１０３０（または３次元形状導出部１０１０）により導出され、記憶部１２１０において保持され得る。警告判定部１０４０は、注意喚起領域にオブジェクトが入った場合に注意を促す表示を行ってもよい。

図４の処理フローを参照して説明すると、Ｓ４０１０において、警告判定部１０４０は、記憶部１２１０から、３次元形状導出可能な領域および注意喚起領域の情報を取得する。前述したＳ４０２０の処理の後、Ｓ４０３０において、警告判定部１０４０は、オブジェクトの位置情報が３次元形状導出可能な領域内にあるか否かの判定に加えて、オブジェクトの位置情報が注意喚起領域内にあるか否かの判定を行う。オブジェクトが注意喚起領域内にあることは、オブジェクトに対するボクセル群のバウンディングボックスの８頂点のいずれかが、（式１）〜（式３）を満たすが以下の（式４）〜（式６）を満たさない位置に存在することを意味する。
１５０＜＝ ｘ ＜ ７５０ （式４）
１５０＜＝ ｙ ＜ １０５０ （式５）
０ ＜＝ ｚ ＜ ５０ （式６）

バウンディングボックスの８頂点のいずれかが、（式１）〜（式３）を満たすが（式４）〜（式６）を満たさない場合、警告判定部１０４０は、オブジェクトが注意喚起領域に入っていると判断する。この場合、Ｓ４０４０の処理に替えて、警告判定部１０４０は、当該オブジェクトに対する注意喚起を出力（表示）するように、仮想視点画像生成部１０５０に対して指示する。仮想視点画像生成部１０５０は当該指示に従い、生成した仮想視点画像に、注意喚起用のラインを付与する。図２（ｂ）の仮想視点画像２１００に、注意喚起領域に入ったオブジェクトとして、選手２０１１に対して付与した注意喚起用のライン２１２０を示す。当該注意喚起用のライン２１２０は、図２（ａ）における警告用のライン２０２０とは別の警告用のラインとも言える。仮想視点画像生成部１０５０はさらに、注意喚起用のライン２１２０に対して、例えば黄色などの注意喚起表示用の色で着色しレンダリングを行うことで、より視覚的な警告表示を行ってもよい。図２（ａ）における警告用のライン２０２０と異なる色を用いることで、警告のレベルを視覚的に表現することが可能となる。仮想視点画像生成部１０５０は、注意喚起用のライン２１２０を示すとともに、３次元形状導出可能領域の境界に近いことを示す注意メッセージ２１２１を表示してもよい。注意メッセージ２１２１は、図２（ａ）の警告メッセージ２０２１とは別の警告メッセージともいえる。これにより、オペレータは３次元形状が正しく導出されない可能性があるオブジェクトに対しても認識することが可能となり、不自然な仮想視点画像を生成する可能性を低減することが可能となる。

図２（ａ）や図２（ｂ）を参照して説明した警告・注意喚起表示により、オペレータは、警告・注意喚起表示されているオブジェクトの３次元形状が正しく導出されない可能性があることを認識する。その後、オペレータは当該オブジェクトを仮想視点カメラの視野から外すなどの操作を、操作装置１１４０から指示してもよい。この操作に応じて、仮想視点画像生成部１０５０は、警告表示されているオブジェクトが含まれない仮想視点画像を生成することができる。図２（ｃ）に、オペレータによる操作により、警告表示されているオブジェクトが含まれない仮想視点画像２２００を示す。図２（ｃ）の仮想視点画像２２００では、前述の３次元形状が正しく導出されていない選手２０１１が仮想視点カメラの視野に入っていないことから、違和感を与えることのない仮想視点画像が提供可能となる。

なお、図２（ｃ）の仮想視点画像２２００はオペレータ向けの画像である。オペレータに３次元形状導出可能領域を認識させるため、３次元形状導出可能領域の境界２０３０が示されている。画像処理装置１０００がクライアント装置１１５０（すなわち視聴者）に提供する仮想視点画像は、図２（ｄ）の仮想視点画像２３００に示されるように、３次元形状導出可能領域の境界２０３０が表示されていない画像であってもよい。

上記実施形態では、図２のように仮想視点カメラ（仮想視点）からの仮想視点画像の上に警告表示を示す例を示したが、オペレータへの警告の表示は撮影対象全体を俯瞰する画像において行ってもよい。例えば、仮想視点画像生成部１０５０は、図３に示すようにフィールド全体を俯瞰した仮想視点画像（センサシステム１１ａ〜１１ｆのそれぞれにおける撮像部１１１０による撮像対象全体を表示する画像）において、警告対象のオブジェクトに対して警告を表示しても良い。この場合、例えば、図３（ａ）に示すような画像上のボクセル群２０１１ｖに警告表示が表示される。このようにすることでオペレータに対して、フィールド全体の警告情報を提供することが可能となる。

また、警告表示には、警告表示を行うと判定された（警告が発生した）時刻情報を表示させても良い。時刻情報とは、撮像部１１１０による撮像により得られる画像に付与されているタイムコードであり、センサシステム１１から画像処理装置１０００に入力される。仮想視点画像生成部１０５０は、仮想視点画像において、３次元形状導出可能な領域を超過している開始時刻と超過が完了した時刻を表示しても良い。このことにより、オペレータは３次元形状の導出が正しくない時刻情報を知ることが可能となる。

このように、上記実施形態および変形例によれば、仮想視点画像生成のオペレータに３次元形状が正しく導出されない可能性があることを警告することにより、不自然な仮想視点画像の生成の抑止を促し、視聴者に臨場感を損なうことなく違和感を与えない仮想視点画像の提供が可能となる。

［実施形態２］
実施形態１では、オブジェクトの位置情報と３次元形状導出可能領域の情報に基づいて、オブジェクトに対して警告表示を行う例を示した。実施形態２では、オブジェクトの移動速度と３次元形状導出可能領域の情報に基づいて警告を表示する例を示す。本実施形態における画像処理装置１０００は、実施形態１と同様のため、説明を省略する。

本実施形態では、位置情報導出部１０２０は、３次元形状導出部１０１０により導出されたオブジェクトの３次元形状（ボクセル群）の時間的な座標変化（位置情報の時間的変化）を導出する。警告判定部１０４０は、位置情報導出部１０２０により導出された位置情報の時間的変化と、領域情報保持部１０３０が保持する３次元形状を導出可能な３次元空間の座標情報を比較し、警告表示を行うか否かの判断を行う。

図６に、移動するオブジェクト（ボクセル群）の例を示す。図６には、異なる時刻Ｔ及び時刻Ｔ＋１におけるボール２０１２のボクセル群２０１２ｖ（図２を参照）の位置の変化が図示されている。時刻Ｔにおける位置６０１０は、時刻Ｔ＋１においては位置６０１１に移動している。図６における境界２０３０は、実施形態１で説明した図３（ａ）の境界２０３０と同じであり、３次元形状導出可能領域の境界である。位置情報導出部１０２０は、オブジェクトの位置情報に加え、位置情報の時間的変化を導出する。位置情報の時間的変化は、オブジェクトのボクセル群に外接する（ボクセル群を内包する）バウンディングボックスの座標を用いて導出される。

図７に、時刻Ｔおよび時刻Ｔ＋１におけるボクセル群２０１２ｖの各位置（位置６０１０、位置６０１１）のバウンディングボックスの座標である、位置情報７０１０、７０２０を示す。例えば、位置６０１０におけるバウンディングボックスの頂点は、図７における位置情報７０１０の座標ＩＤ＝１〜８が示す座標にそれぞれ対応する。

位置情報導出部１０２０は、時刻Ｔ＋１と時刻Ｔにおけるバウンディングボックスの各頂点の座標の差分を算出することにより、単位時間（例えば秒）当たりの移動量を算出する。例えば、時刻Ｔ＋１と時刻ＴのＩＤ＝１（図７における位置情報７０１０、７０２０の頂点ＩＤ＝１）の座標を比較すると、以下の式から移動量が算出することができる。
Ｘｔ＋１ = ６００−５００ ＝ １００
Ｙｔ＋１ − Ｙｔ = ７００−８００ ＝ −１００
Ｚｔ＋１ − Ｚｔ = １１−１０ ＝ １
当該移動量から、ボール２０１２は、単位時間においてＸ軸には順方向に１００ボクセル、Ｙ軸には逆方向で１００ボクセル、ｚ軸は１ボクセルで移動していることがわかる。位置情報導出部１０２０は、当該単位時間当たりの移動量と現在（時刻Ｔ＋１）の座標情報を、警告判定部１０４０に出力する。

次に、本実施形態における画像処理装置１０００の警告判定処理の流れについて、図８を参照して説明する。図８は、画像処理装置１０００の警告判定部１０４０により実行される処理を示すフローチャートである。図８に示すフローチャートは、制御部１２２０が記憶部１２１０に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。図４と同様の処理については、図４と同じ参照番号を付すことにより、説明を省略する。

Ｓ８０１０において、警告判定部１０４０は、３次元形状導出可能な領域の座標情報と、現在（時刻Ｔ＋１）の座標情報から、オブジェクトの位置と３次元形状導出可能な領域の境界までの距離を算出する。図６に示すボール２０１２の場合、警告判定部１０４０は、ボール２０１２の位置６０１０と３次元形状導出可能な領域の境界２０３０までの距離を算出する。現在（時刻Ｔ＋１）の頂点ＩＤ＝１（図７における位置情報７０２０の頂点ＩＤ＝１）の座標情報は、（Ｘ，Ｙ，Ｚ）＝（６００、７００、１１）である。３次元形状導出可能な領域の境界２０３０までの距離Ｘｄ、Ｙｄ、Ｚｄは、それぞれ以下に示すように演算される。説明を簡単にするために、オブジェクトの移動方向にある３次元形状導出可能な領域の境界２０３０（式（１）〜式（３）を参照）までの距離を示している。
Ｘｄ = ｜８００−６００｜ ＝２００
Ｙｄ = ｜１００−７００｜ ＝６００
Ｚｄ = ｜１００−１１｜ ＝８９

次に、警告判定部１０４０は、３次元形状導出可能な領域の境界２０３０までの距離と単位時間当たりの移動量から、オブジェクトが境界２０３０に到達するまでの時間を算出する（Ｓ８０２０）。図６に示すボール２０１２の場合、境界２０３０に到達するまでの時間（例えば秒）は、以下のように算出される。
Ｘｔ = ２００／１００ ＝２
Ｙｔ = ６００／１００ ＝６
Ｚｔ = ８９／１ ＝９０

次に、警告判定部１０４０は、境界２０３０に到達するまでの時間が所定の閾値以下か否かを判定する（Ｓ８０２０）。境界２０３０に到達するまでの時間が所定の閾値以下である場合には、処理はＳ４０４０へ進み、そうでない場合は、処理はＳ４０５０へ進む。本実施形態では、閾値を３秒と設定する。ボール２０１２の位置６０１０から、境界２０３０に到達するまでの時間は、上記のように、Ｘ軸、Ｙ軸、Ｚ軸それぞれ２秒、６秒、９０秒と演算され、Ｘ軸の２秒が閾値である３秒を下回っている。このことから、警告判定部１０４０は、ボール２０１２に３秒後に３次元形状導出が正しく行えない可能性があるとして、警告を出力（表示）するように、仮想視点画像生成部１０５０に対して指示する（Ｓ４０４０）。

このようにして、本実施形態における画像処理装置は、オブジェクトが存在する座標は問題ないが移動しており、時間経過後に３次元形状導出が正しく行えない可能性があるオブジェクトに対して警告表示を行うことができる。本実施形態によれば、３次元形状導出可能な領域から距離が離れているオブジェクトであっても、蹴られたボールのように高速で移動して３次元形状導出可能領域に接近するオブジェクトに対して、警告を表示することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０００ 画像処理装置、１０１０ ３次元形状導出部、１０２０ 位置情報導出部、１０３０ 領域情報保持部、１０４０ 警告判定部

Claims (11)

1. 複数の撮像装置により得られた画像から、仮想視点における仮想視点画像を生成する画像処理装置であって、
   前記複数の撮像装置により得られた画像に基づいて、オブジェクトの３次元形状を導出する形状導出手段と、
   前記３次元形状を用いて前記仮想視点画像を生成する生成手段と、
   前記オブジェクトの位置と３次元形状導出可能な領域に基づいて、警告表示を行うか否かを判定する判定手段と、を有し、
   前記判定手段により、前記警告表示を行うと判定された場合に、前記生成手段は、前記仮想視点画像において、警告表示を付与することを特徴とする画像処理装置。
2. 前記オブジェクトの位置の情報を導出する位置導出手段を更に有し、
   前記判定手段は、前記オブジェクトの位置の情報と前記３次元形状導出可能な領域の境界に基づいて、前記警告表示を行うか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクトの位置の情報は、前記オブジェクトの３次元形状が外接する直方体の頂点の座標であり、
   前記判定手段は、前記頂点の座標のいずれかが、前記３次元形状導出可能な領域の境界を超える場合に、前記警告表示を行うと判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段により、前記頂点の座標のいずれかが、前記３次元形状導出可能な領域の境界と、当該境界より所定距離内側の別の境界との間に存在すると判定された場合に、前記生成手段は、前記仮想視点画像において、前記警告表示と異なる別の警告表示を、前記オブジェクトに対して付与することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記警告表示と前記別の警告表示とで、色および／またはメッセージを異ならせることを特徴とする請求項４に記載の画像処理装置。
6. 前記判定手段により、前記警告表示を行うと判定された場合に、前記生成手段は、前記仮想視点画像において、警告表示と、当該判定における時刻情報とを付与することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記判定手段により、前記警告表示を行うと判定された場合に、前記生成手段は、前記複数の撮像装置による撮像対象全体を表示する画像において、前記オブジェクトに対して警告表示を付与することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記判定手段は、前記３次元形状の移動速度に基づいて、前記警告表示を行うか否かを判定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記判定手段は、前記３次元形状の前記３次元形状導出可能な領域の境界に到達するまでの時間が所定の閾値以下である場合に、前記警告表示を行うと判定することを特徴とする請求項８に記載の画像処理装置。
10. 複数の撮像装置により得られた画像から、仮想視点における仮想視点画像を生成する画像処理方法であって
    前記複数の撮像装置により得られた画像に基づいてオブジェクトの３次元形状を導出する導出工程と、
    前記３次元形状を用いて前記仮想視点画像を生成する生成工程と、
    前記オブジェクトの位置と３次元形状導出可能な領域に基づいて、警告表示を行うか否かを判定する判定工程と、を有し、
    前記判定工程において、前記警告表示を行うと判定された場合に、前記生成工程では、前記仮想視点画像において、前記警告表示を付与することを特徴とする画像処理方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images