JP2022039374A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】三次元形状データに係る処理負荷を抑制する。【解決手段】三次元モデル生成装置２００は、複数の撮像装置によって複数の異なる方向から撮像することに基づくオブジェクトを表すオブジェクト画像を取得し、前記オブジェクトに関連する所定のデータ量に基づき、三次元形状データが生成される対象とする生成対象空間を決定し、決定された生成対象空間に含まれるオブジェクトの三次元形状データを、オブジェクト画像に基づいて生成する。【選択図】図３

Description

本開示は、撮像画像に基づくデータの生成に関する。

撮像空間の周囲に配置された複数の撮像装置が撮像することによって得られた複数の撮像画像に基づいて、撮像画像に含まれるオブジェクトの三次元形状データを生成する方法がある。三次元形状データでは、ボクセルと呼ばれる直方体によってオブジェクトの三次元形状が表される。

特許文献１には、撮像画像を用いた処理の演算量を抑制する方法として、特定オブジェクト以外のオブジェクトに対する画像処理を行う場合、特定のオブジェクトに対して画像処理を行う場合よりも、少ない撮像画像を用いて処理する方法が記載されている。

特開２０１９－１６１６１号公報

三次元形状データのボクセル数が増加すると、レンダリング処理等の三次元形状データに係る処理負荷が増加することがある。

本開示の技術は、三次元形状データに係る処理負荷を抑制することを目的とする。

本開示の技術に係る画像処理装置は、複数の撮像装置によってオブジェクトを複数の異なる方向から撮像することに基づく前記オブジェクトを表すオブジェクト画像を取得する取得手段と、前記オブジェクトに関連する所定のデータ量に基づき、三次元形状データが生成される対象とする生成対象空間を決定する決定手段と、前記決定手段により決定された前記生成対象空間に含まれるオブジェクトの三次元形状データを、前記取得手段により取得された前記オブジェクト画像に基づいて生成する生成手段と、を有することを特徴とする。

本開示の技術によれば、三次元形状データに係る処理負荷を抑制することができる。

画像生成システムの構成を示す図。 三次元モデル生成装置のハードウエア構成を示す図。 三次元モデル生成装置の機能構成を示すブロック図。 視体積交差法による三次元モデルの生成方法を説明するための図。 ボクセルによる前景の三次元モデルを説明するための図。 三次元モデルの生成対象空間を説明する図。 三次元モデルの生成対象空間を説明する図。 三次元モデルの生成処理を説明するためのフローチャート。

以下、添付の図面を参照して、実施形態に基づいて本開示の技術の詳細を説明する。なお、以下の実施形態で示す構成は一例に過ぎず、本開示の技術は図示された構成に限定されるものではない。

また、以下の実施形態では、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。

＜実施形態１＞
仮想視点画像を生成する処理では、所定の三次元空間内のオブジェクトの三次元モデルが生成される。本実施形態では、この三次元モデルを生成するための三次元空間のサイズを小さく設定することで、三次元形状データに係る処理負荷を抑制する方法を説明する。

［システム構成］
図１は、仮想視点画像を生成する画像処理システム１００の一例を示す図である。複数の撮像装置を異なる位置に設置することにより複数の視点で同期して撮像し、その撮像により得られた複数の画像を用いて、実際の撮像装置からの視点によらない仮想視点から見た画像を生成する方法がある。当該方法によって生成された、仮想視点から見た画像を仮想視点画像とよぶ。仮想視点画像によれば、ユーザは、サッカー等の競技のハイライトシーンを様々な角度から視聴閲覧することができるため、通常の撮像画像と比較してユーザに高臨場感を与えることができる。なお、仮想視点画像は、動画であっても、静止画であってもよい。以下の実施形態では、仮想視点画像は動画であるものとして説明を行う。

画像処理システム１００は、撮像装置１０１ａ～ｄ、それぞれの撮像装置１０１ａ～ｄに接続された前景抽出装置１０２ａ～ｄ、三次元モデル生成装置２００、ストレージ装置３００、レンダリング装置４００、および仮想視点パス生成装置５００を有する。

撮像装置１０１ａ～ｄは、画像（動画）を撮像するデジタルビデオカメラなどの装置である。撮像装置１０１ａ～ｄは、複数方向から撮像環境内に存在するオブジェクトを様々な角度で撮像して、前景抽出装置１０２ａ～ｄへ撮像画像の画像データを出力する。図１では、撮像装置１０１ａ～ｄが４台配置されている例を示しているが、画像処理システム１００における撮像装置の台数は４台に限定されない。配置される撮像装置の数は何台でもよい。また、撮像装置１０１ａ～ｄは画像だけではなく音声その他のセンサ情報をキャプチャリングする装置でもよい。また、特に断りがない限り撮像装置１０１ａ～ｄのことを総じて撮像装置１０１と記載する。

前景抽出装置１０２ａ～ｄは、夫々の撮像装置１０１ａ～ｄに対応する画像処理装置である。前景抽出装置１０２ａ～ｄには撮像装置１０１が撮像した結果得られた撮像画像が入力され、前景抽出装置１０２ａ～ｄは入力された撮像画像に対して画像処理を行う。前景抽出装置１０２ａ～ｄが行う画像処理は、入力された画像から撮像画像に含まれるオブジェクトのシルエットを示す前景領域を抽出する処理が含まれる。そして撮像画像に含まれる前景領域と非前景領域とを二値で示したシルエット画像を生成する。また、前景のテクスチャ画像を生成する。前景のシルエット画像とテクスチャ画像とをオブジェクト画像または前景データと呼ぶ。

撮像画像に前景として表されるオブジェクトは、仮想視点の任意の角度から見ることを可能とする被写体であり、例えば、競技場のフィールド上に存在する人物のことを指す。または、オブジェクトは、ボール、またはゴール等、画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。どのようなオブジェクトを前景として抽出すべきかについては、ユーザ等が予め指定することができる。

撮像画像から前景を抽出する方法としては、背景差分情報を用いる方法がある。この方法は、例えば、オブジェクトが存在しない撮像環境の状態を、背景画像として予め撮像して保持しておく。そして、撮像画像と背景画像との画素値の差分値が閾値より大きい領域を前景と判定する方法である。なお、前景を抽出する方法は背景差分情報を用いる方法に限られない。他にも、前景を抽出する方法として、視差を用いる方法、特徴量を用いる方法、または機械学習を用いる方法などが用いられてもよい。生成された前景データは三次元モデル生成装置２００へ出力される。

なお、図１では４台の前景抽出装置１０２ａ～ｄを配置している例を示しているが、前景抽出装置の台数は４台に限定されない。配置される前景抽出装置の台数は何台でもよい。また、特に断りがない限り前景抽出装置１０２ａ～ｄのことを総じて前景抽出装置１０２と記載する。また本実施形態では、前景抽出装置１０２と撮像装置１０１は異なる装置であるが、一体型の装置でもよいし、機能ごとに異なる装置によって実現されてもよい。

三次元モデル生成装置２００は、ＰＣやワークステーション、サーバなどのコンピュータなどで実現される画像処理装置である。三次元モデル生成装置２００は、それぞれ異なる視野範囲を撮像した結果得られた撮像画像から生成された前景データを、前景抽出装置１０２ａ～ｄから取得する。そして前景データに基づきオブジェクトの三次元形状データを生成する。三次元形状データにおいてボクセルで表されるオブジェクトの三次元形状を、オブジェクト（前景）の三次元モデルとも呼ぶ。生成された三次元モデルは三次元空間上のボクセルの集合である点群フォーマットとして出力される。

ストレージ装置３００は、ＰＣやワークステーション、サーバなどのコンピュータによって実現される装置である。ストレージ装置３００は、三次元モデル生成装置２００が生成する点群フォーマットデータおよび前景抽出装置１０２が生成する前景データを記憶する装置である。ストレージ装置３００におけるデータを記憶するための記憶部は揮発性メモリ、不揮発性メモリ、ハードディスク、またはＳＳＤのいずれで実現されてもよい。なお、本実施形態では、ストレージ装置３００の記憶部で三次元モデル生成装置２００から出力されるデータを記憶するものとして説明する。他にも、三次元モデル生成装置２００はレンダリング装置４００にデータを直接出力してもよい。この場合、画像処理システム１００は、ストレージ装置３００を有しない構成でもよい。

レンダリング装置４００は、ＰＣやワークステーション、サーバなどのコンピュータなによって実現される画像処理装置である。ストレージ装置３００に記憶されている点群フォーマットデータ、前景データ、および後述する仮想視点パス生成装置５００が生成する仮想視点パスに基づき仮想視点画像を生成する。

仮想視点パス生成装置５００は、ＰＣやワークステーション、サーバなどのコンピュータなどによって実現される装置である。仮想視点パス生成装置５００は、仮想視点画像を生成するための仮想的なカメラからの視点である仮想視点の情報（仮想視点パス情報）を作成する装置であり、生成した仮想視点の情報をレンダリング装置４００に出力する。

三次元モデル生成装置２００、前景抽出装置１０２、ストレージ装置３００、レンダリング装置４００、仮想視点パス生成装置５００はＬＡＮネットワークを介して接続されている。本実施形態のネットワークトポロジはデイジーチェーン接続であるものとして説明するが、ネットワークトポロジはデイジーチェーン接続に限定されるものではない。Ｈｕｂなどの中継装置を介したスター、バス、メッシュ型接続でもよい。また装置間の接続はＬＡＮネットワークだけではなく、他の有線接続や、無線ＬＡＮ、公衆無線、インターネットを介してもよい。また、画像伝送用のインターフェースであるＳＤＩ（Serial Digital Interface）やＤＶＩ（Digital Visual Interface）等でもよい。

［ハードウエア構成］
図２は三次元モデル生成装置２００のハードウエア構成を示す図である。なお、前景抽出装置１０２、レンダリング装置４００、仮想視点パス生成装置５００のハードウエア構成も、以下で説明する三次元モデル生成装置２００の構成と同様である。

三次元モデル生成装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて三次元モデル生成装置２００の全体を制御することで、図３に示すそれぞれの装置の各機能を実現する。なお、三次元モデル生成装置２００はＣＰＵ２１１とは異なる１又は複数の専用のハードウエアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウエアが実行してもよい。専用のハードウエアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが三次元モデル生成装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。本実施形態では表示部２１５と操作部２１６とは三次元モデル生成装置２００の内部に存在するものとして説明するが、表示部２１５と操作部２１６との少なくとも一方が三次元モデル生成装置２００の外部の別の装置として存在していてもよい。

通信Ｉ／Ｆ２１７は、三次元モデル生成装置２００の外部の装置との通信に用いられる。例えば、三次元モデル生成装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。三次元モデル生成装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、三次元モデル生成装置２００の各部をつないで情報を伝達する。

［機能構成］
図３は、三次元モデル生成装置２００、ストレージ装置３００、レンダリング装置４００の機能構成を示すブロック図である。図３を用いて画像処理システム１００を構成する各装置の機能について説明する。

三次元モデル生成装置２００は、前景データ取得部２０１、読出し部２０２、生成対象空間決定部２０３、三次元モデル生成部２０４、およびカメラパラメータ設定部２０５を有する。

前景データ取得部２０１は、複数の前景抽出装置１０２から撮像装置の前景データを夫々取得する。なお、本実施形態では１台の三次元モデル生成装置２００で複数の前景抽出装置１０２からの前景データを取得するものとして説明するが、前景データを取得する装置は１台に限られない。複数の三次元モデル生成装置２００がネットワーク上に配置されている場合は、複数の三次元モデル生成装置２００で前景データを取得してもよい。

読出し部２０２は、後述する生成対象空間決定部２０３から指示された前景データを前景データ取得部２０１から読み出して、後述する三次元モデル生成部２０４に提供する。なお、複数の三次元モデル生成装置２００で前景データを取得する場合、読出し部２０２は、複数の前景データ取得部２０１から前景データの取得を行う。なお、三次元モデルの生成には全ての前景抽出装置１０２の前景データを使用することも考えられるが、本実施形態では、三次元モデルの生成のために使用される前景データが三次元モデル生成部２０４によって選択される。

生成対象空間決定部２０３は、三次元モデル生成部２０４にて三次元モデルを生成する対象の三次元空間である生成対象空間を決定する。生成対象空間を決定する方法については後述する。

三次元モデル生成部２０４は、カメラパラメータ設定部２０５から出力されたカメラパラメータと、読出し部２０２から出力された前景データとを用いてオブジェクトの三次元モデルを生成する。本実施形態では三次元モデルの生成方法としてＶｉｓｕａｌＨｕｌｌを用いるものとして説明する。ＶｉｓｕａｌＨｕｌｌの説明は後述する。

三次元モデル生成部２０４は、生成した三次元モデルの情報を、点群フォーマットでストレージ装置３００に記憶する。また、読出し部２０２から出力された前景データのうち、作成された三次元モデルから仮想視点画像を生成するために使用する前景データをストレージ装置３００に記憶する。複数の三次元モデル生成部２０４を有する形態においては、それぞれの三次元モデル生成部２０４は、三次元モデル生成部２０４毎の異なるストレージ装置にデータを記憶する。

カメラパラメータ設定部２０５は、複数の撮像装置１０１の情報をカメラパラメータとして設定し、三次元モデル生成部２０４に出力する。カメラパラメータには、各々の撮像装置１０１の世界座標上の三次元位置、姿勢（撮像装置の向き）、焦点距離、主点（撮像画像上の中心）が含まれる。なお、カメラパラメータは、例えば、撮像装置の位置を校正するための校正パターンを予め撮像し、校正パターンを基準として定義される三次元座標と二次元の撮像部座標との座標変換を行うことにより測定および算出される。

レンダリング装置４００は、レンダリング部４０１、出力部４０２、および仮想視点パス取得部４０３を有する。

仮想視点パス取得部４０３は、仮想視点パス生成装置５００から出力された仮想視点パス情報を取得し、その結果をレンダリング部４０１に通知する。仮想視点パス情報には、ユーザが望む仮想のカメラからの視点（仮想視点）の位置、画角、移動スピードなどのデータが含まれる。仮想視点パス情報はカメラパラメータと同様の形式で生成される。

レンダリング部４０１は、ストレージ装置３００に記憶された点群フォーマットおよび前景データと、仮想視点パス取得部４０３から出力された仮想視点パス情報とを取得する。そして点群フォーマットおよび前景データと、仮想視点パス情報とに従い、仮想視点画像をレンダリングする処理を行う。具体的には、取得した点群フォーマットが示す三次元モデルに対して着色し、仮想視点パス情報に基づく仮想視点からの２次元座標に射影した状態をレンダリング結果として出力する。

出力部４０２は、レンダリング部４０１によって生成されたレンダリング結果を画像形式に変換して出力する。出力する画像形式はＤＶＩとするが、画像形式は問わない。ＤＶＩの他に、ＳＤＩや動画ファイルをネットワーク上にストリーミング出力してもよい。

上述した各機能部は、夫々の装置のＣＰＵが所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、演算を高速化するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウエアが利用されてもよい。各機能部は、ソフトウエアと専用ＩＣなどのハードウエアとの協働で実現されてもよいし、一部またはすべての機能がハードウエアのみで実現されてもよい。

ストレージ装置３００は、記憶部３０１を有する。記憶部３０１は、三次元モデル生成部２０４が生成した点群フォーマットと前景データ取得部２０１が取得した前景データとを関連付けて記憶する機能を有する。

なお、図３の各部の機能は、上記で説明した各装置において実現されるものとして説明するが、各部の機能が実現される装置は限定されない。例えば、三次元モデル生成装置２００が、上記に示した機能の全てを有している形態でもよい。または、三次元モデル生成装置２００またはレンダリング装置４００が記憶部３０１を有していてもよく、その場合、ストレージ装置３００を介さないで、三次元モデル生成装置２００とレンダリング装置４００とが接続されていてもよい。

［三次元形状データの生成方法について］
図４は、ＶｉｓｕａｌＨｕｌｌの基本原理を示す図である。図４を用いて三次元モデル生成に用いられるＶｉｓｕａｌＨｕｌｌの概要を説明する。図４（ａ）は、あるオブジェクトである対象物体Ｃを撮像装置により撮像したときの図である。前述したように、対象物体Ｃを撮像して得られる撮像画像と背景画像との色または輝度の差分に基づき二値化することで対象物体Ｃの二次元シルエット（前景領域）が含まれるシルエット画像が得られる。

図４（ｂ）は、撮像装置の投影中心（Ｐａ）から二次元シルエットＤａの輪郭上の各点を通すように、三次元空間中に広がる錐体を示す図である。この錐体のことを当該撮像装置による視体積Ｖａと呼ぶ。図４（ｃ）は複数の視体積によりオブジェクトの三次元モデルが求まる様子を示す図である。図４（ｃ）のように、位置が異なる複数の異なる撮像装置によって同期して撮像された画像に基づく二次元シルエットＤａから撮像装置ごとの複数の視体積を求める。ＶｉｓｕａｌＨｕｌｌによる三次元モデルの生成では、複数の撮像装置の視体積の交差（共通領域）を求めることによって、対象物体の三次元モデルが生成される。生成される三次元モデルはボクセルの集合で表される。

ＶｉｓｕａｌＨｕｌｌによる演算アルゴリズムとして、例えば、ＶＩＭ（Volume intersection method）、およびＳＣＭ（Space carving method）がある。本実施形態では三次元モデル生成部２０４はＳＣＭを使用するものとして説明する。

図５は、三次元モデル生成部２０４による三次元モデルの生成の概要を説明するための図である。図５（ａ）は、ボクセルを示す図であり、図に示すようにボクセルは微小な立方体のことである。図５（ｂ）に示すように、三次元モデルを生成するための生成対象空間をボクセルで敷き詰める。ＳＣＭでは、生成対象空間の個々のボクセルを各々の撮像装置１０１の平面に逆投影した時、全ての撮像装置１０１の前景領域の内部に逆投影されるボクセルは前景として残し、それ以外は削除するシルエット内外判定処理が行われる。

より具体的には、シルエット内外判定処理では、三次元空間に敷き詰められたボクセルのうち、処理対象のボクセルの位置を示す世界座標を撮像装置１０１ａ～ｄのそれぞれの撮像部座標に射影変換する。撮像部座標とは、撮像装置１０１から撮像した画像上の座標を指す。世界座標を撮像部座標に変換するための射影変換の行列値はカメラパラメータから決定される。

次に、射影変換によって求められた撮像部座標が、シルエット画像の前景領域内の座標か否かを判定する。射影変換によって求められた撮像部座標が前景領域内の座標である場合、その撮像装置のシルエット内フラグが「１」と設定される。他方、射影変換によって求められた撮像部座標がシルエット画像の前景領域の外の座標である場合、その撮像装置のシルエット内フラグは「０」と設定される。

処理対象のボクセルに対して、使用すべき全ての前景についてシルエット内外判定処理を終えると、撮像装置１０１の台数分のシルエット内フラグを総合的に判断して、処理対象のボクセルを「残す」か、または「削る」か、を決定する。

本実施形態では、撮像装置１０１の台数分の全てのシルエット内フラグが「１」と設定された処理対象のボクセルは「残す」と決定される。つまり、いずれかの撮像装置のシルエット内フラグが「０」と設定されている処理対象のボクセルは「削る」と決定される。なお、この判定のアルゴリズムはあくまで一例であり、種々のアルゴリズムを採用できる。例えば、「残す」か「削る」判断するためのアルゴリズムは、シルエット内フラグの決め方において撮像部座標外の射影結果をどう扱うかとも関連する。また、処理対象の前景について得られたシルエット内フラグのうち、「１」であるシルエット内フラグの数がある閾値以上であった場合に「残す」と決定されるようにしてもよい。

このように、シルエット画像の前景領域に収まらなかったボクセルを削ることで、図５（ｃ）に示す四角錐の対象物体の三次元モデルが、図５（ｄ）に示すようにボクセルによって生成される。生成された三次元モデルを構成する各ボクセルの位置に対応したテクスチャ画像の画素値をボクセルに付与することで三次元空間上に色の付いたオブジェクトの三次元形状を構成することができる。

［最大三次元空間について］
図６は、三次元モデル生成装置２００の三次元モデル生成部２０４が三次元モデルを生成する対象とする三次元空間について説明するための図である。スタジアム６００は撮像装置１０１が設置される撮像環境である。スタジアム６００は撮像環境の一例であり、撮像環境はイベント会場やスタジオなどでもよい。三次元モデル生成部２０４は、生成対象空間である三次元空間に含まれるオブジェクトの三次元モデルを生成する。つまり、三次元モデル生成部２０４が三次元モデルを生成する対象となるオブジェクトは、生成対象空間に含まれるオブジェクトである。

最大三次元空間６０１は、三次元モデル生成装置２００が前景データに基づき三次元モデルを生成することが可能な最大の生成対象空間である。最大三次元空間６０１は、三次元モデルの生成の対象となる人物やボール等のオブジェクトが入りうるスタジアム内の空間として定義している。この空間を世界座標として、縦、横、高さの３つの配列（縦，横，高さ）で表現する。

世界座標とは、ある三次元空間において基準となる原点を定め、それぞれの三次元空間上での位置をその原点からの座標で表すための共通の座標である。本実施形態ではあらかじめ処理対象となる三次元空間上の座標は世界座標に変換してあるものとする。図６（ａ）では世界座標６０１ａが原点（０，０，０）として定められている。

図６では、最大三次元空間６０１の大きさは、世界座標６０１ａ～ｈで示すように、横が１００、縦が５０、高さが１０である。図６では最大三次元空間６０１は直方体であるが、直方体に限定するわけではなく、最大三次元空間６０１の形状は任意の形状でよい。また、本実施形態では三次元空間のサイズを整数で表示しているが、整数に限定するわけではなく、小数点を含んだ値でもよいし、負の値で表現してもよい。

三次元モデルを生成するための生成対象空間が大きいと、生成対象空間に含まれるオブジェクトの数も多くなることがある。このため生成される三次元モデルの数が多くなるため、三次元モデルを構成するボクセル数も多くなる。ボクセル数が多くなるとレンダリング処理等の三次元形状データに係る処理負荷が増加することがある。さらに三次元モデルを構成するボクセル数が多くなるとデータサイズが大きくなる。例えば、動画の仮想視点画像を生成する場合、三次元モデル生成部２０４は、撮像装置１０１が生成する時間的に連続する一連のフレームに対応する三次元モデルが生成される。このため、三次元モデルのデータである点群フォーマットが周期的に記憶部３０１へ書き込まれることになる。点群フォーマットのデータサイズが大きくなると、記憶部３０１の書込み性能を超えるデータが生成されることがあり、その場合に書込み処理が遅延し、書き込みが正常にできない虞がある。

また、三次元形状データを生成するための演算量は、概ね生成対象空間に敷き詰められた総ボクセル数に比例する。生成対象空間が大きいと、生成対象空間に敷き詰められるボクセル数が多くなるため三次元形状データを生成する負荷が増す虞がある。このため、三次元空間に敷き詰めるボクセルのサイズを大きくすることでボクセル数を少なくすることが考えられるが、ボクセルサイズが大きくなると三次元モデルの精細度が低下してしまう。

［生成対象空間決定部によって決定される生成対象空間について］
そこで、本実施形態では、三次元モデルの生成対象空間を、最大三次元空間より小さい空間になるように決定する。このため、三次元形状データに係る演算量を抑制することができる。

生成対象空間決定部２０３は、例えば、オブジェクトに関連する所定のデータ量が、設定されている値を超えた場合、生成対象空間を最大三次元空間よりも小さい空間になるように決定する。本実施形態では、生成対象空間決定部２０３は、前景抽出装置１０２から出力された前景データに係るデータ量を算出し、データ量が所定の値を超えた場合、生成対象空間を最大三次元空間よりも小さい空間になるように決定するものとして説明する。算出される前景データに係るデータ量は、シルエット画像に含まれる前景領域内のピクセル数（画素数）の総和でもよいし、前景領域を内包する矩形のサイズの総和でもよい。

所定のデータ量が設定された値を超えた場合、例えば、最大三次元空間のサイズを示す縦、横、高さの何れか１個以上の成分の長さが１０％だけ短い長さの空間となるように生成対象空間を決定する。最大三次元空間が図６の最大三次元空間６０１である場合、横の長さは１００であり、最大三次元空間の横の長さを表す世界座標の横成分の値は０から１００である。最大三次元空間６０１から横の長さを１０％だけ短い長さの空間となるように生成対象空間を決定する場合、（１００－０）×０．１＝１０より、横の長さは１０だけ短くする必要がある。このため、生成対象空間の横の長さを表す世界座標の横成分の値は、例えば、５から９５となるように、生成対象空間を決定する。

生成対象空間のサイズを決定する方法は、縦、横、高かさのサイズを一律に短くする方法の他、所定のデータ量に応じたサイズに生成対象空間になるようにしてもよい。例えば、所定のデータ量が大きくなるほど、生成対象空間のサイズが小さくなるように、生成対象空間が決定されてもよい。

生成対象空間のサイズを決定する方法は、他にも、最大三次元空間に含まれる重要性の低いような空間を削除することにより生成対象空間の位置とサイズを決定してもよい。

図７は、生成対象空間決定部２０３によって、決定された生成対象空間を示す図である。図７は、生成される仮想視点画像がサッカーのＰＫシーンの画像である場合に、生成対象空間決定部２０３が決定した生成対象空間７０１の例を示す図である。ＰＫシーンでは、ゴール前の以外の空間は視聴者の注目度が低いため、ゴール前の以外の空間に含まれるオブジェクトの重要性は低い。このため、図７の生成対象空間７０１は、ゴール前の空間に含まれるオブジェクトの三次元モデルが生成されるように決定されている。このように、生成される仮想視点画像に応じて三次元モデルの生成対象空間を適切な空間に決定することで、仮想視点画像の品質の低下を抑制しつつ、三次元モデルに関わる処理負荷を抑制することができる。

図７では、生成対象空間決定部２０３が決定した生成対象空間７０１の位置は、世界座標に基づく座標として表現されており、生成対象空間７０１の原点を示す世界座標７０１ａは（６０，１０，０）である。生成対象空間７０１の大きさは、世界座標７０１ａ～ｈで示す通り、横が１００－６０＝４０、縦が４０－１０＝３０、高さが１０－０＝１０である。なお、生成対象空間７０１の原点は最大三次元空間６０１の世界座標ではなく、原点を（０，０，０）として表してもよい。

次に、生成対象空間のサイズおよび位置を決定する方法の例について、説明する。

（仮想視点パス情報に基づく生成対象空間）
生成対象空間決定部２０３にて生成された仮想視点パス情報に基づき、仮想視点画像を生成するために必要な撮像空間及び周辺エリアを生成対象空間として決定してもよい。

例えば、仮想視点パス情報に基づき導出された仮想視点画像の中心を含む空間を生成対象空間と決定する。仮想視点画像の中心を世界座標で表すと（２０，２０，０）である場合、生成対象空間の横の長さを表す世界座標の横成分は１０から３０、生成対象空間の縦の長さを表す世界座標の横成分は１０から３０とする。そして、生成対象空間の高さを表す世界座標の横成分は０から３０とする空間を生成対象空間と決定してもよい。または、仮想視点の中心から一律空間を広げるのではなく、仮想視点の進行方向に応じて中心から広げる空間を変更してもよい。

複数の仮想視点に係る仮想視点パス情報を取得した場合は、複数の仮想視点のそれぞれの中心を包含する空間を生成対象空間としてもよい。または、それぞれの仮想視点の中心を包含する複数の空間を生成対象空間としてもよい。また、生成対象空間の最大体積または決定される生成対象空間の最大数を設定しておき、複数の仮想視点パス情報を取得した場合、仮想視点パス情報に設定された優先度に基づき、生成対象空間を決定してもよい。

（特定のオブジェクトに基づく生成対象空間）
生成対象空間決定部２０３は、球技におけるボール、特定人物などの特定のオブジェクトをトラッキングして、特定のオブジェクトを含む周辺の空間を生成対象空間として決定してもよい。例えば、仮想視点パス情報から生成対象空間を決定する場合と同様に、特定のオブジェクトを中心とした空間を生成対象空間として決定する。複数のオブジェクトが特定のオブジェクトとして設定された場合は、複数の特定のオブジェクトを包含する空間を生成対象空間としてもよい。または、それぞれの特定のオブジェクトを包含する複数の空間を生成対象空間としてもよい。

（注目エリアに基づく生成対象空間）
生成対象空間決定部２０３は、視聴者の注目度の高い注目エリアが含まれる空間を生成対象空間として決定してもよい。例えば、生成対象空間決定部２０３は、撮像対象がサッカー等のスポーツ競技である場合、プレーエリアを取得し、プレーエリアが含まれる空間を生成対象空間として決定する。生成対象空間決定部２０３は、撮像画像からフィールドに引かれたラインなどの情報に基づきプレーエリアを特定する機能を有していてもよい。例えば、撮像対象がサッカーの試合の場合、仮想視点画像の生成対象シーンが、キックオフや、ペナルティーキックなどのシーンであるかを特定する。プレーエリアが推定できるシーンの場合は、そのプレーエリアを中心とする空間を生成対象空間として決定してもよい。チームスポーツの場合、特定のチームが攻め込むエリアを生成対象空間としてもよい。

上記のいずれかの方法で生成対象空間を決定した結果、複数の生成対象空間が決定された場合、複数の生成対象空間のうち、位置が近いまたは空間が重なる２つ以上の生成対象空間については、生成対象空間を結合して新たな生成対象空間として決定してもよい。この場合、物理的に遠い生成対象空間が他の生成対象空間と異なる生成対象空間となる。また、複数の生成対象空間が決定された場合、三次元モデル生成部２０４は、複数の生成対象空間ごとに三次元モデルの生成を行い、生成された三次元モデルの情報を複数のストレージ装置３００の記憶部３０１に記憶してもよい。

なお、上記の方法は、所定のデータ量が設定された値を超えていない場合であっても、生成対象空間を決定するための方法として用いられてもよい。

また、決定された複数の生成対象空間にはそれぞれ優先度を付与してもよい。三次元モデルのデータ量の上限値を設定してもよい。その場合、設定された優先度の順番で生成対象空間を選択してオブジェクトの三次元モデルを生成し、生成された順に三次元モデルをストレージ装置３００に記憶することで、三次元モデルのデータ量の上限を超えないようにしてもよい。生成対象空間の優先度は、例えば、複数の仮想視点パス情報を受け取った場合、仮想視点パス情報ごとに設定された優先度に基づき、優先度を設定してもよい。

生成対象空間を最大三次元空間より小さい空間とするか判定するための情報は前景データに係るデータ量に限られない。最大三次元空間を生成対象空間とした場合に生成される三次元モデルのデータ量を推定し、推定される三次元モデルのデータ量が所定のデータ量を超える場合、三次元モデルの生成対象空間を最大三次元空間より小さい空間に決定してもよい。

また、複数の三次元モデル生成部２０４を有する形態である場合、生成対象空間決定部２０３は、複数の三次元モデル生成部２０４毎の生成対象空間を決定してもよい。

［三次元モデルの生成処理フロー］
図８は、生成対象空間内のオブジェクトの三次元モデルを生成する本実施形態の処理の一例を説明するためのフローチャートである。図８のフローチャートで示される一連の処理は、三次元モデル生成装置２００のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図８におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。

Ｓ８０１において生成対象空間決定部２０３は、前景データを解析し、前景データに係るデータ量が所定の値を超えているか判定する。前景データに係るデータ量が所定の値を超えていない場合（Ｓ８０１がＮＯ）、Ｓ８０２において生成対象空間決定部２０３は、最大三次元空間を、三次元モデルを生成する生成対象空間として決定する。

前景データに係るデータ量が所定の値を超えている場合（Ｓ８０１がＹＥＳ）、Ｓ８０３において生成対象空間決定部２０３は、最大三次元空間より小さい空間を、三次元モデルを生成する生成対象空間として決定する。

Ｓ８０４において三次元モデル生成部２０４は、生成対象空間決定部２０３から取得した生成対象空間の情報に基づき、生成対象空間以外の三次元空間にボクセルが敷き詰められないようにする。例えば、最大三次元空間より小さい空間を生成対象空間として決定された場合、三次元モデル生成部２０４は、生成対象空間以外の三次元空間のボクセルを削除して、最大三次元空間における生成対象空間以外の空間にボクセルが敷き詰められないようにする。

Ｓ８０５において三次元モデル生成部２０４は、生成対象空間の全座標に対応するボクセルに対してシルエット内外判定処理が完了しているか否かを判定する。

生成対象空間内の全ボクセルに対してシルエット内外判定処理が完了していない場合（Ｓ８０５がＮＯ）、Ｓ８０６において三次元モデル生成部２０４は、シルエット内外判定処理が未処理であるボクセルを処理対象ボクセルとして選択する。そして、読出し部２０２から、生成対象空間を含む前景データを取得する。Ｓ８０７において三次元モデル生成部２０４は、処理対象のボクセルに対してシルエット内外判定処理を実施し、処理対象のボクセルを、残すか削るかを決定する。

生成対象空間内の全ボクセルに対してシルエット内外判定が完了した場合（Ｓ８０５がＹＥＳ）、生成対象空間内のオブジェクトの三次元モデルが生成されたことになる。この場合、生成された三次元モデルは三次元空間上のボクセルの集合である点群フォーマットとして出力され、Ｓ８０８に進む。

Ｓ８０８において三次元モデル生成部２０４は、生成した三次元モデルを構成するボクセル数の総和を算出する。三次元モデルを構成するボクセルとは、シルエット内外判定の結果、「残す」と決定されたボクセルをいう。

Ｓ８０９において三次元モデル生成部２０４は、算出したボクセルの総和が予め設定された閾値を超えたか否かを判定する。算出されたボクセル数が閾値を超えている場合（Ｓ８０９がＹＥＳ）、Ｓ８１０において三次元モデル生成部２０４は、ボクセルの総和が閾値の範囲内になるように生成した何れかのオブジェクトの三次元モデルを削除する。この閾値は記憶部３０１またはレンダリング部４０１による処理性能の上限を超えないデータ量に基づく値である。生成対象空間決定部２０３が複数の生成対象空間に優先度を設定している場合、優先度の低い生成対象空間内に含まれるオブジェクトから削除する。

閾値を超えていない場合（Ｓ８０９がＮＯ）、または、Ｓ８１０の処理が完了した場合、生成された三次元モデルの点群フォーマットと三次元モデルのシルエット内外判定で使用した前景データとが記憶部３０１に記憶される。レンダリング装置は、ストレージ装置３００に記憶されている点群フォーマットデータに基づき仮想視点画像を生成する。

以上説明したように本実施形態では、生成対象空間決定部２０３で決定した生成対象空間に基づき三次元モデルを生成する。このため、記憶される点群フォーマットおよび前景データのデータ量を削減することができ、記憶部３０１またはレンダリング部４０１が処理可能なデータ量になるようにデータ量を抑制することができる。また、生成対象空間に敷き詰められるボクセルの総数も減らすことができるため、三次元モデル生成時の処理負荷も抑制することができる。よって、本実施形態によれば、記憶部３０１およびレンダリング部４０１によって、例えば、撮像装置による撮像から仮想視点画像の生成までの時間を短くすることでリアルタイムで仮想視点画像を表示するようなリアルタイム処理を行うことができる。また、リアルタイム処理においてフレーム飛びなどの仮想視点画像の品質劣化を抑制することができる。

＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 三次元モデル生成装置
２０１ 前景データ取得部
２０３ 生成対象空間決定部
２０４ 三次元モデル生成部

Claims (13)

1. 複数の撮像装置によってオブジェクトを複数の異なる方向から撮像することに基づく前記オブジェクトを表すオブジェクト画像を取得する取得手段と、
   前記オブジェクトに関連する所定のデータ量に基づき、三次元形状データが生成される対象とする生成対象空間を決定する決定手段と、
   前記決定手段により決定された前記生成対象空間に含まれるオブジェクトの三次元形状データを、前記取得手段により取得された前記オブジェクト画像に基づいて生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記所定のデータ量が所定の値を超える場合、前記オブジェクト画像に基づいて三次元形状データを生成することが可能な最大の三次元空間より小さい空間を、前記生成対象空間として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記所定のデータ量が大きいほど、前記生成対象空間のサイズが小さくなるように、前記生成対象空間を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記三次元形状データに基づいて生成される仮想視点画像の仮想視点を示すパラメータを取得する第２の取得手段をさらに有し、
   前記決定手段は、前記所定のデータ量が前記所定の値を超える場合、前記仮想視点画像の中心が含まれる空間を前記生成対象空間として決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記決定手段は、前記所定のデータ量が前記所定の値を超える場合、特定のオブジェクトが含まれる空間を生成対象空間として決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
6. 前記撮像装置による撮像対象に含まれる注目エリアを取得する第２の取得手段をさらに有し、
   前記決定手段は、前記所定のデータ量が前記所定の値を超える場合、前記注目エリアが含まれる空間を前記生成対象空間として決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
7. 前記所定のデータ量は、前記オブジェクト画像に係るデータ量である
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記所定のデータ量は、前記オブジェクト画像におけるオブジェクトの形状に係る領域の画素数である
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、複数の前記生成対象空間を決定した場合、前記決定された複数の生成対象空間のうちの２つ以上の生成対象空間を１つの生成対象空間にする処理を行う
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記生成手段によって生成されたオブジェクトの三次元形状データのボクセル数を算出する算出手段と、
    前記算出されたボクセル数の総和が閾値を超える場合、前記生成された三次元形状データのうち、いずれかのオブジェクトの三次元形状データを削除する削除手段と、をさらに有する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置によって生成された三次元形状データに基づき仮想視点画像を生成する装置と、
    を有することを特徴とする画像処理システム。
12. 複数の撮像装置によってオブジェクトを複数の異なる方向から撮像することに基づく前記オブジェクトを表すオブジェクト画像を取得する取得ステップと、
    前記オブジェクトに関連する所定のデータ量に基づき、三次元形状データが生成される対象とする生成対象空間を決定する決定ステップと、
    前記決定ステップで決定された前記生成対象空間に含まれるオブジェクトの三次元形状データを、前記取得ステップで取得された前記オブジェクト画像に基づいて生成する生成ステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images