JP2022126205A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】 三次元形状データの伝送負荷を軽減する。【解決手段】 情報処理装置は、仮想視点情報に基づいて、オブジェクト２１０の部分領域であって、仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定し、前景モデルデータのうち、特定された部分領域に対応する分割モデルデータを出力する。【選択図】 図１

Description

本開示は、三次元形状データを伝送する技術に関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。複数の画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

特許文献１には、複数の画像から仮想視点画像を生成するシステムについて開示されている。具体的には、複数の画像から、オブジェクトの三次元形状を示す三次元形状データが生成される。この三次元形状データを用いて、仮想視点からの見えを表す仮想視点画像が生成される。

国際公開第２０１８／１４７３２９号

仮想視点画像の生成に関し、例えば、サーバ側で生成した三次元形状データをクライアント端末に送信し、クライアント端末で仮想視点画像を生成したいという要望がある。しかし、三次元形状データは、データ量が大きく、データの伝送をするために広い帯域を確保するため、コストが増大する可能性がある。また、伝送時間が長くなり仮想視点画像が表示されるまでに時間がかかったり、仮想視点画像のフレームレートが低下したりという問題が生じる。なお、クライアント端末で仮想視点画像を生成する場合に限らず、三次元形状データを伝送する際には、同様の課題が生じる。

そこで、本開示では、三次元形状データの伝送負荷を軽減することを目的とする。

本開示の情報処理装置は、仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得手段と、オブジェクトの三次元形状データを取得する第２の取得手段と、前記第１の取得手段により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定手段と、前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データを出力する出力手段と、を有する。

本開示によれば、三次元形状データの伝送負荷を軽減することができる。

実施形態１に係る三次元情報処理装置を含む仮想視点画像生成システムの構成の一例を示す図である。 カメラの配置の一例を示す図である。 前景モデルの分割方法の一例を示す図である。 背景モデルの分割方法の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される背景モデルのデータ構造の一例を示す図である。 格納される背景モデルのデータ構造の一例を示す図である。 実施形態１に係る仮想視点画像生成システムの処理を表すフローチャートである。 実施形態１に係る仮想視点画像生成システムの各部の通信の状況を表す図である。 実施形態２に係る三次元情報処理装置を含む仮想視点画像生成システムの構成の一例を示す図である。 実施形態２に係る前景モデルの分割方法の一例を示す図である。 実施形態２に係る仮想視点画像生成システムの処理を表すフローチャートである。 格納される前景モデルのデータ構造の一例を示す図である。 三次元情報処理装置のハードウェア構成の一例を示すブロック図である。

以下、添付の図面を参照して、本開示の実施形態に基づいて詳細に説明する。なお、以下の実施形態は本開示を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが解決手段に必須のものとは限らない。なお、仮想視点画像とは、ユーザ及び／又は専任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される画像であり、仮想視点からの見えを表す画像である。仮想視点画像は、自由視点画像や任意視点画像などとも呼ばれる。また、本開示では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、特に断りが無い限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

撮像装置は、物理カメラ（実カメラ）を有していればよい。また、撮像装置は、物理カメラの他、様々な画像処理を行う機能を有していてもよい。例えば、撮像装置は、前景背景分離処理を行う処理部を有していてもよい。また、撮像装置は、撮像画像のうち、一部の領域の画像を伝送する伝送制御を行う制御部を有していてもよい。また、撮像装置は、複数の物理カメラを有していてもよい。

（実施形態１）
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置し撮影を行い、生成された三次元形状データを処理する三次元情報処理装置１００について、図１の仮想視点画像生成システム構成図を用いて説明する。仮想視点画像生成システムは、カメラ１０１ａ～ｔ、入力部１０２、前景モデル生成部１０３、背景モデル生成部１０４、モデル取得部１０５、モデル分割部１０６、管理部１０７、保存部１０８、送受信部１０９、選択部１１０、端末１１１ａ～ｄを有する。なお、特に断りが無い限り、カメラ１０１ａ～ｔは、カメラ１０１として説明を行う。また、単にカメラと称する場合、実カメラまたは物理カメラを指す。また、特に断りが無い限り、端末１１１ａ～ｄは、端末１１１として説明を行う。また、三次元形状データは、以下ではモデルと呼ぶこともある。モデルは、前景や背景の三次元形状を示す三次元形状データを指す場合もあるし、三次元形状データに加え、その前景や背景の色情報をさらに有するデータを指す場合もある。

カメラ１０１は、被写体（オブジェクト）を囲むように配置され、同期をとって撮影が行われる。同期とは、撮像のタイミングがほぼ同じに制御される状態をいう。図２にカメラ配置の一例を示す。ただし、カメラの台数、配置はこれに限定されない。ここでは、カメラ１０１ａ～ｔはそれぞれ、３か所の注視点１５０から１５２のいずれかにに向けられている。説明を簡単にするため、被写体２１０が１つの場合について説明するが、複数の被写体であっても同じ処理を行うことで実現可能である。カメラ１０１ａ～ｔは、有線ケーブルを介したネットワークで接続されており、入力部１０２に接続されている。各フレームは同時刻での撮影がされ、例えば、撮影された画像データはタイムコードやフレームの番号が付与されて、画像データを送出する。それぞれのカメラにはそれぞれカメラＩＤが割り当てられている。なお、同一の注視点に向けられている複数のカメラの光軸の交点がこの注視点であってもよい。また、同一の注視点に向けられているカメラの光軸が、注視点を通らなくてもよい。また、注視点は３か所以上でもよいし、１か所又は２か所でもよい。また、各カメラが互いに異なる注視点に向けられていてもよい。

入力部１０２は、カメラ１０１により撮影されて取得された画像データを入力し、前景モデル生成部１０３、背景モデル生成部１０４に出力する。なお、画像データは、撮像画像データであってもよいし、撮像画像から一部の領域を抽出した画像データであってもよい。後者の場合は、例えば、入力部１０２は、前景モデル生成部１０３に、撮像画像から前景オブジェクトの領域を抽出した前景画像データを出力してもよい。入力部１０２は、背景モデル生成部１０４に対しては、撮像画像から背景オブジェクトの領域を抽出した背景画像データを出力してもよい。この場合には、後述する前景モデル生成部１０３において、被写体の部分を抽出する処理、シルエット画像を生成する処理、前景画像を生成する処理を省略することができる。言い換えると、カメラを有する撮像装置において、これらの処理が行われてもよい。

前景モデル生成部１０３は、入力された画像データから被写体の１種類以上の三次元形状データを生成する。本実施形態では、被写体の点群モデルと前景画像、メッシュモデルを生成する。ただし、これらに限定されない。例えば、カメラからの距離画像や、点群の各点に色情報を付けた色付き点群などでも構わない。

前景モデル生成部１０３は、同期をとって撮影された画像データから被写体の画像を抽出する。被写体の画像の抽出の方法は特に限定されないが、被写体の映っていない状態の画像を基準画像として撮影し、入力された画像との差分を用いて、被写体を抽出することが可能である。形状の推定に関しても特に方法は限定しないが、例えば、前景モデル生成部１０３は、視体積交差法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌｈｏｕｅｔｔｅ法）を用いて三次元形状データを生成してもよい。より具体的には、前景モデル生成部１０３は、被写体部分の画素位置の画素値を１、それ以外の部分の画素位置の画素値を０としたシルエット画像を生成する。前景モデル生成部１０３は、生成されたシルエット画像を用いて、視体積交差法を用いて被写体の三次元形状データである点群モデルデータを生成する。前景モデル生成部１０３は、平行して、シルエット画像から被写体の外接矩形を求め、外接矩形を用いて入力画像の被写体画像を切り出し、これを前景画像として抽出する。また、前景モデル生成部１０３は、複数のカメラの視差画像を求め、距離画像を作って、メッシュモデルを生成する。同様に、メッシュモデルの生成の方法については特に限定されない。ただし、本実施形態では、複数種類の三次元形状データを生成するが、一種類の三次元形状データを生成する形態でも本開示を適用することができる。

背景モデル生成部１０４は、背景モデルを生成する。例えば、スタジアムやコンサートや演劇の舞台などが背景に当たる。背景モデル生成の方法については限定されない。例えば、背景となるフィールドを有するスタジアム等の三次元形状データを生成してもよい。スタジアムの三次元形状データは、スタジアムの設計図を用いて生成されてもよい。また、設計図としてのＣＡＤデータを用いる場合は、スタジアムの三次元形状データはそのＣＡＤデータであってもよい。また、スタジアムをレーザ―スキャンすることにより、三次元形状データを生成してもよい。ここではスタジアム全体を１つの三次元形状データとして生成する。また、観客などの背景画像は、撮像のたびに取得されてもよい。

モデル取得部１０５は、前景モデル生成部１０３と背景モデル生成部１０４で生成された、被写体に関する三次元形状データと背景に関する三次元形状データとを取得する。

モデル分割部１０６は、入力された三次元形状データを複数の三次元形状データに分割する。分割の方法については、後述する。

管理部１０７は、前景モデル生成部１０３で取得された三次元形状データや、モデル分割部１０６で分割して生成された三次元形状データを取得し、保存部１０８に保存する。保存の際にはそれぞれのデータを読み出すためのデータアクセスのためのテーブルを生成するなどして、タイムコードやフレーム番号等に関連付けてデータの読み書きができるように管理する。また、後述する選択部１１０の指示に基づき、データの出力を行う。

保存部１０８は、入力されたデータを保存する。例えば、半導体メモリや磁気記録装置などで構成される。保存の書式に関しては後述する。データの書き込み、読出しは管理部１０７からの指示に基づいて行い、書き込まれたデータは読出し指示に従って、送受信部１０９に出力される。

送受信部１０９は、後述する端末１１１と通信を行い、端末からの要求や、データの送受信を行う。

選択部１１０は、端末に送信する三次元形状データを選択する選択部であり、動作については後述する。分割された三次元形状データのうちどの部分の三次元形状データを出力するか選択し、その情報を管理部１０７に出力する。

端末１１１は、三次元情報処理装置１００から取得した三次元形状データに基づいて、ユーザが仮想視点を設定して仮想視点情報を生成し、それに基づき、仮想視点画像を表示するなどして提供する。その数はこれに限定されない。端末１１１は、１つであって構わない。

図１７は、本実施形態に係る三次元情報処理装置１００に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。ＣＰＵ１７０１は、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本実施形態に係る三次元情報処理装置１００が行うものとして後述する処理を実行する。すなわち、ＣＰＵ１７０１は、図１に示した三次元情報処理装置１００内の各処理部として機能することになる。

ＲＡＭ１７０２は、外部記憶装置１７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１７０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１７０２は、ＣＰＵ１７０１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ１７０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１７０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１７０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１７０１に対して入力することができる。出力部１７０５は、ＣＰＵ１７０１による処理結果を表示する。また出力部１７０５は例えば液晶ディスプレイで構成される。

外部記憶装置１７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１７０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ１７０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１７０６には、処理対象としての各画像データが保存されていてもよい。

外部記憶装置１７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１７０１による制御に従って適宜、ＲＡＭ１７０２にロードされ、ＣＰＵ１７０１による処理対象となる。Ｉ／Ｆ１７０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１７０７を介して様々な情報を取得したり、送出したりすることができる。１７０８は上述の各部を繋ぐバスである。

図５（ａ）に保存部１０８で保存ざれる三次元形状データの書式の一例を示す。三次元形状データは、一連の撮影を示すシーケンスデータとして保存される。例えば、シーケンスは、イベントやカットに対応する。管理部１０７は、シーケンス単位でデータを管理する。

図５（ｂ）に示すように、シーケンスデータには、シーケンスヘッダが含まれており、シーケンスヘッダには、シーケンスの始まりであることを示すシーケンスヘッダスタートコードが保存される。また、このデータには、シーケンス全体に関する情報が保存される。例えば、シーケンス全体に関する情報としては、シーケンスの名称、撮影場所、撮影が開始された日時、時刻などを表すタイムコード、フレームレート、画像サイズが挙げられる。また、図５（ｃ）に示すように、シーケンス全体に関する情報には、各カメラのＩＤやパラメータの情報も含まれる。シーケンスデータには、各種の三次元形状データがデータセットという単位で保存される。シーケンスヘッダには、そのデータセットの数Ｍが記される。以下、データセット単位の情報が保存される。本実施形態では前景モデルデータのデータセットと背景モデルデータのデータセットの２つが含まれている。

図５（ｄ）に示すように、データセット単位の情報では、最初にデータセットの識別ＩＤが付与される。識別ＩＤは、保存部１０８ないし、全データセットで唯一のＩＤが付与される。続いて、データセットの種別が保存される。本実施形態では、データセットとして、点群モデルデータ、前景画像、色付き点群データ、距離画像データ、メッシュモデルデータがあるものとする。それぞれをデータセットクラスコードとして表現することにする。データセットクラスコードは、図５（ｅ）に示す２バイトのコードとして表現されている。ただし、データの種別やコードはこれに限定されない。他の三次元形状データを表すデータでも構わない。

続いて、図５（ｄ）に戻り、当該のデータセットへのポインターが保存される。ただし、各データセットへのアクセスのための情報であれば良く、ポインターに限定されない。例えば、保存部でファイルシステムを構築し、ファイル名としても構わない。

本実施形態では、前景モデルのデータセットの種別として、最初に、点群モデルデータ、前景画像を例にとって説明する。

図６（ａ）に前景モデルデータセットの構成の一例を示す。説明のために前景モデルデータセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には前景モデルデータヘッダが保存されるが、ヘッダには本データセットが前景モデルのデータセットであることや、フレーム数等が保存されている。図５（ｂ）に示すように、以下順に、前景モデルデータの先頭フレームの時刻を表すタイムコード、当該フレームのデータサイズが保存されている。データサイズは、次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていてもよい。続いて、タイムコードが示す時刻に仮想視点画像を生成するための被写体の数Ｐが保存される。さらにその時点で撮影に使用されたカメラの台数Ｃが保存される。なお、撮影に使用されたカメラの台数に代えて、オブジェクトが撮影画像に映っているカメラの台数であってもよい。続いて、使用されたカメラのカメラＩＤが保存される。

続いて、前景モデルデータの分割数が記載される。分割は、モデル分割部１０６により行われる。本実施形態では、ｘ軸、ｙ軸、ｚ軸を設定してそれぞれを等分割する方法について説明する。本実施形態ではスタジアムの長手方向をｘ軸、短手方向をｙ軸、高さをｚ軸として定義する。これを基準座標軸とする。ただし、これに限定されない。ｘ軸方向の分割数をｄｘ、ｙ軸方向の分割数をｄｙ、ｚ軸方向の分割数をｄｚとする。分割の例を図３（ａ）に示す。図３（ａ）は、ｄｘが２、ｄｙが２、ｄｚが２の様子を表す。これによって、球体が８方向に分割される。すなわち、分割３００－１～８に分割される。分割の中心をモデルの中心（重心）とし、前景モデルを８分割する。図３（ａ）の左側に１つは、分割モデル３００－１を示す。また、図３（ｂ）に、ｄｘが２、ｄｙが２、ｄｚが１の場合を表す。図３（ｂ）に従う分割方法であれば、前景モデルデータは、４分割される。ただし、分割方法は、これに限定されない。例えば、スタジアムの短手方向をｘ軸、長手方向をｙ軸、高さをｚ軸としてもよいし、任意の方向をｘ軸として、それに直交するようにｙ軸、ｚ軸を決めてもよい。また、互いに直交するｘ軸、ｙ軸、ｚ軸を規定して分割を行ったが、分割する軸はこれに限られない。また、座標系以外に分割の方法を用いてもよい。例えば、被写体である人物、動物の体の部位ごと、例えば、顔や胴、手足等に分割しても構わない。

図６（ｂ）に戻り、各分割の前景モデルのデータが続く。第１の被写体の前景モデルのデータのデータサイズが保存される。具体的には、第１の被写体の点群データの分割３００－１に含まれる点群モデルデータが保存される。分割された点群データについては、図６（ｃ）に示すように、含まれる点群のデータサイズが保存され、点群モデルを構成する点の数Ｒが保存される。以下、分割されたデータの点群データが順に保存されている。まず、最初の被写体の点群を構成する座標点数が保存される。以下、当該数の点の座標が保存される。本実施形態では座標系を３軸のデータとして保存するが、これに限定されず、極座標やその他の座標系でも構わない。このようにｘ軸、ｙ軸、ｚ軸などに平行に分割することで、座標位置で属する分割が簡単な座標比較で実現できるという効果もある。

図６（ｂ）に示すように、以下、第１の被写体の分割された部分ごとに、点群データが保存される。さらに、第２の被写体以降の点群データに含まれる分割されたデータが、順に保存される。第Ｐ番目の被写体の点群データまでが保存される。

続いて、図６（ｂ）に示すように、前景画像データがカメラＩＤごとに保存される。前景画像データについては、各前景画像データのデータサイズ、画像のサイズ、画素値のビット深度、画素値等が保存される。なお、画像データは例えばＪＰＥＧなどで符号化されていても構わない。以下、被写体毎に各カメラからの前景画像データを続けて保存する。なお、当該カメラに被写体が映っていない場合は、ＮＵＬＬデータを書き込むか、被写体単位で映っているカメラ数と該当するカメラＩＤを保存しても構わない。

図９（ａ）に、背景モデルデータセットの構成の一例を示す。データセットの先頭には背景モデルデータヘッダが保存されるが、図９（ｂ）に示すように、ヘッダには本データセットが背景モデルのデータセットであること、データセットのデータサイズが保存されている。続いて、背景モデルデータのフォーマットが記載されている。ここでは、データセットクラスコードと同じとして説明するが、背景モデルデータ固有な書式、例えばＣＡＤのフォーマット等を示すための符号を拡張してももちろん構わない。本実施形態では、背景モデルデータのフォーマットのデータセットクラスコードは０ｘ０００６となる。続いて、背景モデルデータの分割数が記載される。本実施形態では、平面的にＢ個に分割する例を示して説明する。スタジアムでの仮想視点画像の主な視点はフィールドに向いているため、分割をｘ軸、ｙ軸の分割を中心にして背景の分割の指定がしやすいようにできる。ただし、これに限定されない。例えば、前景モデルデータの分割と同様にｘ軸、ｙ軸、ｚ軸を設定してそれぞれを分割する方法を用いても構わない。背景に関してはスタジアムの構造が撮影期間中に変化することがないので、シーケンスで１つ保存することとする。なお、背景モデルデータが撮影期間中に変化する場合、画像と同様にフレーム単位で生成するか、変化しない期間単位で保存しても構わない。また、座標系による分割だけではなく、各背景の内容によって分割しても構わない。例えば、フィールド面を別な分割としても構わない。また、分割数もこれに限定されない。前景と背景で異なる分割方法や分割数でも構わない。例えば、分割数を増やすと、よりデータ削減になり処理速度の向上効果が大きくなる。さらには、データ量が多いところは細かく分割することで、伝送するデータ量を適切化できる。

続いて、図９（ｃ）に示すように、分割された背景モデルデータの詳細が記載される。例えば、分割ごとにその分割に含まれるデータの範囲を示すことができる。記述の方法は限定されないが、例えば、構造物に依存した分割として、座席のクラスや指定席、自由席などの区分、バックスクリーン方向やメインスタンド、バックスタンドなどの区域単位でも構わない。分割された背景モデルデータの範囲を適切に記載するのであれば、どのような記述を行っても構わない。本実施形態では、背景モデルデータの分割を図４に示すように４分割する例をとって説明する。フィールドのセンターを中心として、ｘ軸、ｙ軸に４５度の角度を持った線を分割の境界とする。バックスタンド側を分割１３００－１、その右側を分割１３００－２、メインスタンド側を分割１３００－３、バックスタンドに向けて左側を分割１３００－４とする。このようにスタジアムを４分割する。すなわち、記述としては、分割の中央座標、分割の境界線の位置が記述される。このように分割することで、選手の動きが長手方向に中心的に行われる競技においては、選手の移動に追従して動くカメラはｘ軸上の移動が多くなり、左右のスタンドで大きなビジョンモニターのある方向がメインに撮影される。また、メインスタンドやバックスタンドのカメラからは左右に動く選手が主体となるため、反対側のスタンドの背景が多用される。このように分割することで、背景モデルデータの更新の回数を削減することができる。

続いて、図９（ｄ）に示すように、背景モデルデータのデータが保存される。最初に背景モデルデータのデータサイズが保存される。続いて、各分割のデータが保存される。最初に第１の分割、ここでは、分割１３００－１の背景モデルデータのデータサイズが保存される。さらに、分割１３００－１の背景モデルデータである点群のデータが保存される。点群データは最初に当該点群データの大きさが示され、当該点群データの点の数が保存され、各点の座標が保存される。最後に、図９（ｃ）に戻り、分割１３００－１の背景画像データのポインターが保存される。ポインターの指示先には分割１３００－１のモデルに貼り付ける背景画像データが保存される。すなわち、図９（ｅ）で示すように、背景画像の画像サイズやビット深度などの記述に加え、各フレームのタイムコード、データサイズ、画像データが保存される。以下、各フレームの背景画像データが保存される。以下、同様に、分割１３００－２、分割１３００－３、分割１３００－４の順にデータが保存される。

続いて、上記の構成での仮想視点画像生成システムの情報処理方法について、図１１のフローチャートを用いて説明する。図１１で示す処理は、入力部１０２により、画像データが受信されることにより開始される。

ステップＳ１１００において、管理部１０７は、シーケンスデータのシーケンスヘッダを生成する。そして、管理部１０７は、保存するデータセットを生成するかを決定する。

ステップＳ１１０１において、モデル取得部１０５は、背景モデルデータを取得する。ステップＳ１１０２において、モデル分割部１０６は、背景モデルデータを所定の分割方法に基づいて、分割する。次に、ステップＳ１１０３において、管理部１０７は、分割された背景モデルデータを保存部１０８に所定のフォーマットに従って保存する。

ステップＳ１１０４において、撮影開始からフレーム単位で入力を繰り返す。ステップＳ１１０５において、カメラ１０１ａ～ｔから画像のフレームデータを取得する。ステップＳ１１０６において、前景モデル生成部１０３は、前景画像及び、シルエット画像を生成する。ステップＳ１１０７において、前景モデル生成部１０３は、シルエット画像を用いて、被写体の点群モデルデータを生成する。

ステップＳ１１０８において、モデル分割部１０６は、生成された被写体の点群モデルデータを所定の方法に従って分割する。本実施形態では、図３（ａ）のように、点群モデルは８分割されるので、点群の点の座標からいずれの分割に属するかを判断して、分割する。境界上に点が存在する場合、いずれかの分割に属させるか、両方の分割に属させても構わない。ステップＳ１１０９において、管理部１０７は、分割された前景モデルデータを保存部１０８に所定のフォーマットに従って保存する。

ステップＳ１１１０において、管理部１０７は、ステップＳ１１０６で生成された前景画像を保存部１０８に所定のフォーマットに従って保存する。

ステップＳ１１１１において、モデル分割部１０６は、入力された画像と前景モデル生成部１０３で生成された前景画像から、前景画像以外の領域を統合し、背景画像を生成する。背景画像の生成については特に限定しない。背景画像の生成については、既存の技術である、複数画像の繋ぎ合わせや、被写体のある部分の他のカメラからの画像や周囲の画素、他のフレームの画像による補間によって生成される。ステップＳ１１１２において、モデル分割部１０６は生成された背景画像を所定の方法に従って分割する。本実施形態では図４のように４分割にするので、それぞれの画素がどの分割に属するかを判断して分割された背景画像データを生成する。ステップＳ１１１３において、管理部１０７は分割された背景画像データを保存部１０８に所定のフォーマットに従って保存する。ステップＳ１１１４において、撮影が終了するか、フレーム単位での入力が終了するまでステップＳ１１０４からステップＳ１１１３までを繰り返す。

ステップＳ１１１５において、送受信部１０９は、端末１１１から端末１１１で仮想視点画像生成を行うのに必要な情報を受信する。少なくとも、使用するシーケンスの情報に関する情報である。シーケンスを直接指定したり、撮影場所、日時、イベントの内容から検索を行ったりしてもよい。選択部１１０は入力された情報に従って、該当するシーケンスデータを選択する。

ステップＳ１１１６において、仮想視点画像生成開始からフレーム単位で入力を繰り返す。ステップＳ１１１７において、送受信部１０９は、端末１１１から仮想視点情報を受信し、選択部１１０に入力する。ここで、仮想視点情報とは、仮想視点を仮想的にカメラに例えた場合、仮想カメラの位置、姿勢、画角等を含む情報である。具体的には、仮想視点情報は、仮想視点の位置、仮想視点からの視線方向などを特定するための情報である。

ステップＳ１１１８において、選択部１１０は、取得した仮想視点情報から、仮想視点画像に含まれる背景モデルデータの分割モデルを選択する。例えば、図２における仮想カメラ２００に対して、領域２０１が仮想カメラの視野に収まるものとする。図４において、仮想カメラ２００と領域２０１の状況を示す。領域２０１には背景画像データで分割１３００－２と分割１３００－３が含まれることが判断され、これらの分割された背景モデルデータを選択する。具体的には、図９において、分割１３００－２に含まれる背景データは、第２の分割データである。同様に、分割１３００－３に含まれる背景モデルデータは第３の分割データである。第２の分割データは、当該の背景モデルデータの分割データのサイズＤａｔａ ｓｉｚｅ ｏｆ ２^ｎｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ ｄａｔａを含む。また、第２の分割データは、データセットＤａｔａ ｓｅｔ ｏｆ ２^ｎｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ ｄａｔａを含む。第３の分割データは、当該の背景モデルデータ分割データのサイズＤａｔａ ｓｉｚｅ ｏｆ ３^ｒｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ ｄａｔａを含む。また、第２の分割データは、データセットＤａｔａ ｓｅｔ ｏｆ ３^ｒｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌ ｄａｔａを含む。なお、分割データは、仮想視点画像に表示される背景の部分領域に対応し、背景モデルデータの部分データである。

ステップＳ１１１９において、選択部１１０が選択した情報は、管理部１０７に入力される。そして、管理部１０７は、保存部１０８から選択された背景モデルデータの分割モデルデータ（第２の分割モデルデータと第３の分割モデルデータ）を送受信部１０９に出力する。送受信部１０９は、選択された背景モデルデータの分割モデルデータを端末１１１に送信する。この際、背景モデルデータのうち、選択されていない第１の分割モデルデータと第４の分割モデルデータは、端末１１１に出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この第１の分割モデルデータと第４の分割モデルデータは、仮想視点画像の生成には寄与しないため、第１の分割モデルデータと第４の分割モデルデータが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。

次に、ステップＳ１１２０において、選択部１１０は送受信部１０９を介して入力された仮想視点画像を生成するタイムコードから、指定されたタイムコードのフレームを選択する。ステップＳ１１２１において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる背景画像データを選択する。背景モデルデータの分割されたデータの選択と同様に領域２０１には背景画像データで分割１３００－２と分割１３００－３が含まれることが判断され、これらの分割された背景画像データを選択する。具体的には、図９において、分割１３００－２に含まれる背景画像データは第２の分割データである。第２の分割データは、Ｐｏｉｎｔｅｒ ｏｆ ２^ｎｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅが示すデータから画像の仕様に関する情報を読出し、該当するタイムコードのフレームまで、データサイズを元にたどり、当該タイムコードの画像データである。同様に、分割１３００－３に含まれる背景画像データは第３の分割データである。第３の分割データは、Ｐｏｉｎｔｅｒ ｏｆ ３^ｒｄ Ｓｕｂ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅが示すデータから画像の仕様に関する情報を読出し、該当するタイムコードのフレームまで、データサイズを元にたどり、当該タイムコードの画像データである。

ステップＳ１１２２において、選択部１１０が選択した情報は、管理部１０７に入力される。そして、管理部１０７は、保存部１０８から選択された背景画像データの分割データ（第２の分割データと第３の分割データ）を送受信部１０９に出力する。送受信部１０９は、選択された背景画像データの分割データを端末１１１に送信する。この際、背景画像データのうち、選択されていない第１の分割データと第４の分割データは、端末１１１に出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この第１の分割データと第４の分割データは、仮想視点画像の生成には寄与しないため、第１の分割データと第４の分割データが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。

ステップＳ１１２３において、当該タイムコードの時刻のフレームで仮想カメラ２００の視野に含まれた全ての被写体に関して続く処理を繰り返す。ステップＳ１１２４において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる前景モデルデータを選択する。例えば、図２の被写体２１０に関する前景モデルデータを選択する。ステップＳ１１２５において、被写体２１０は、図４に示すように、上部から見て細線で示されたように分割されている。そのため、選択部１１０は、仮想カメラ２００からは分割３００－１、分割３００－２、分割３００－３、分割３００－５、分割３００－６、分割３００－７が見えていると判断される。したがって、選択部１１０は、これらの分割に属するデータを選択する。

ステップＳ１１２６において、最初に、選択部１１０は、入力されたタイムコードから処理するフレームを選択する。これは、各フレームのデータの先頭のタイムコードと入力されたタイムコードとを比較し、データサイズ単位で読み飛ばすことで当該タイムコードのフレームデータを選択できる。なお、タイムコードと当該タイムコードのフレームデータのポインターをテーブルで保存しておき、検索して決定しても構わない。当該タイムコードのフレームのデータにおいて、データサイズ、被写体数、カメラ数と各カメラＩＤを読出し、分割されたデータで必要なものを選択する。続いて、当該被写体２１０の位置から前景モデルデータを選択する。例えば、１番目の被写体であったとする。１番目の被写体で、最初に分割３００－１の前景モデルデータを選択する。図６（ｂ）において、分割３００－１に含まれる前景データは第１の分割データである。この分割データは、仮想視点画像に表示される被写体の部分領域に対応し、前景オブジェクトの部分データである。そして、選択部１１０からの情報を受けて、管理部１０７は第１の分割データを保存部１０８から読出し、出力する。第１の分割データは、データセットＤａｔａ ｓｅｔ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔである。また、選択部１１０は、分割３００－２の前景モデルデータを選択する。図６（ｂ）において、分割３００－２に含まれる前景データは第２の分割データである。そして、選択部１１０からの情報を受けて、管理部１０７は第２の分割データを保存部１０８から読出し、出力する。続いて、第２の分割データは、当該の背景モデルデータの分割データセットＤａｔａ ｓｅｔ ｏｆ ２^ｎｄ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔ である。以下、同様に割３００－３、分割３００－５、分割３００－６、分割３００－７に相当する前景モデルデータが出力される。なお、分割３００－４、分割３００－８に相当する前景モデルデータは出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この割３００－４、分割３００－８に相当する前景モデルデータは、仮想視点画像の生成には寄与しないため、このデータが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。

ステップＳ１１２７において、仮想カメラから見えるオブジェクトの色を決定するための前景画像を選択する。図２において、仮想カメラ２００に近いカメラの前景画像が選択される。例えば、被写体２１０の見える側を撮影しているカメラは１０１－ｂ、１０１－ｏ、１０１－ｐ、１０１－ｑ、１０１－ｒであることがわかる。例えば、仮想カメラ２００から見える平面で被写体を横断する平面２１２より仮想カメラ２００側にあるカメラでその画角に被写体２１０を含む全てのカメラがその対象になる。それらのカメラから撮影された前景画像をカメラＩＤに基づいて選択することで可能になる。カメラＩＤに基づいて、Ｆｏｒｅｇｒｏｕｎｄ Ｉｍａｇｅ ｏｆ ２^ｎｄ Ｃａｍｅｒａ以下、それぞれのカメラの前景画像データが選択される。

ステップＳ１１２８において、選択された前景画像データは、保存部１０８から読み出され、送受信部１０９を介して端末１１１に出力される。ステップＳ１１２９において、視野内の全ての被写体について前景モデルデータと前景画像データの出力が終了するまで、ステップＳ１１２３からステップ１１２８を繰り返す。

ステップＳ１１３０において、端末１１１は、取得した各データに基づいて、仮想視点画像を生成する。ステップＳ１１３１において、仮想視点画像の生成が終了するか、フレーム単位での入力が終了するまでステップＳ１１１６からステップＳ１１３０までを繰り返す。繰り返しが終了したら、三次元情報処理及び仮想視点画像生成処理を終了する。

図１２は各部の通信の状況を示した図である。最初に端末１１１が起動される。三次元情報処理装置の送受信部１０９に仮想視点画像を生成の開始を送信する。送受信部１０９は、各部に仮想視点画像を生成の開始を通達し、各部はその準備を行う。続いて、端末１１１は、送受信部１０９に対して、仮想視点画像を生成するシーケンスデータを送信する。これは、ユーザが、端末１１１を介して、保存部１０８に保存されているシーケンスデータを検索したり、指定したりして決定することができる。端末１１１から送信されたシーケンスデータに関する情報は、送受信部１０９を介して選択部１１０に入力される。選択部１１０は、管理部１０７に対して選択されたシーケンスへの読出しを指示する。

続いて、端末１１１は、送受信部１０９に対して、仮想視点画像の生成を開始する時刻、タイムコードと仮想視点情報を送信する。送受信部１０９は、これらの情報を選択部１１０に送る。選択部１１０は入力されたタイムコードから仮想視点画像を生成するフレームを選択する。また、選択部１１０は仮想視点情報に基づき、分割された背景モデルデータ、分割された背景画像データ、分割された前景モデルデータ、分割された前景画像データの選択を行う。

そして、選択部１１０により選択されたデータの情報は、管理部１０７に送られ、これに基づいて、保存部１０８から仮想視点画像を生成するフレームの必要なデータを読出し、送受信部１０９に送る。送受信部１０９は、要求のあった端末にこれらのデータを送る。端末１１１はこれらに基づいてレンダリングを行い、仮想視点画像を生成する。以下、次のフレームの処理をするために、仮想視点情報の送信、分割データの選択、仮想視点画像の生成が繰り返される。端末１１１から送信終了が送受信部１０９に送信されると、全ての処理を終了する。

なお、本実施形態では処理をシーケンシャルな流れとしてフローチャートに示したが、これに限定されない。例えば、前景モデルデータと背景モデルデータの選択や出力を並行して実施しても構わない。また、本実施形態において、続くフレームで選択される背景モデルデータの分割データが同じであれば、何も送信しないか、変更がないことを送信するようにしてもよい。また、端末１１１は、背景モデルデータの分割データが更新されなければ、前のフレームの分割データをそのまま使い続けるようにすれば、背景の生成が可能になる。そして、同じ背景モデルデータを繰り返し伝送することが低減され、データの伝送量が低減される。

また、三次元情報処理装置１００は、仮想視点情報を生成するようにしてもよい。この場合、仮想視点情報が選択部１１０に入力され、それ以降の処理は上述した処理と同じにすればよい。ただし、端末１１１に送信されるデータには、仮想視点情報も含まれる。この仮想視点情報は、三次元情報処理装置１００により自動で生成されてもよいし、端末１１１を操作するユーザとは別のユーザによって入力されてもよい。

以上の構成と動作により、三次元形状データに関して、仮想視点情報に基づいて、仮想視点画像の生成に必要なデータのみを送信して生成を行うことにより、送信するデータ量を抑え、伝送路を効率よく使用することが可能となる。また、各端末に送るデータのデータ量も削減できるため、より多くの端末の接続が可能になる。

なお、前景モデル生成部１０３や背景モデル生成部１０４では、複数のカメラで撮影された画像からの三次元形状データの生成を行ったが、これに限定されず、コンピュータグラフィックスなどを用いて、人工的に生成しても構わない。また、保存部１０８で保存する三次元形状データとして点群モデルデータと前景画像データを用いて説明したが、これに限定されない。

（変形例）
以下では、保存部１０８に保存されるデータの別の例について述べる。

＜色情報を有する点群モデルデータの例＞
図７（ａ）は、点群の各点に色情報が付けられた色付き点群モデルデータのデータセットの構成の一例である。色付き点群モデルデータにおいて、図６に示す前景モデルデータと同様に分割されている。具体的には、図７（ｂ）で示すように、前景モデルデータと同様に各フレームでデータが構成されており、先頭から、タイムコード、当該フレームのデータサイズ、被写体の数、撮影に使用されたカメラの数、カメラＩＤが保存される。つづいて、色付き点群モデルデータの分割数が記載され、各被写体の色付き点群モデルデータのデータサイズに続いて、各分割された色付き点群モデルデータのデータが続く。また、図７（ｃ）に示すように、分割された色付き点群モデルデータはデータのサイズ、分割された色付き点群モデルデータの点の数につづいて、それぞれの点の座標と色情報が保存される。

色付き点群モデルは、上述した前景モデルデータの代わりに用いられる。具体的には、仮想視点画像の生成にあたり、色付き点群モデルデータが選択され、端末１１１に送信される。端末１１１は、点群モデルデータの点の位置の画素値を色情報で色付けを行う。この三次元形状データを用いることで、上述した点群モデルデータと前景画像データを統合して扱えるため、データの選択、指示が簡単になり、さらに仮想視点画像の生成も簡単な処理で済むため、端末のコストダウンを図ることができる。

＜メッシュモデルデータの例＞
図８（ａ）は、メッシュなどを構成するメッシュモデルデータのデータセットの構成の一例である。メッシュモデルにおいて、前景モデルデータや色付き点群モデルデータと同様に分割されている。具体的には、図８（ｂ）に示すように、前景モデルデータと同様に各フレームでデータが構成されており、先頭から、タイムコード、当該フレームのデータサイズ、被写体の数が保存される。つづいて、メッシュモデルデータの分割数が記載され、各被写体のメッシュモデルデータのデータサイズに続いて、各分割されたメッシュモデルデータのデータが続く。また、図８（ｃ）に示すように、分割されたメッシュモデルデータはデータのサイズ、分割されたメッシュモデルデータのポリゴンの数に続いて、ポリゴン毎のデータ、すなわちポリゴンの頂点の座標とポリゴンの色情報が順に保存される。

なお、頂点を記述する座標系を３軸のデータとし、色情報をＲＧＢの三原色の値で保存するが、これに限定されない。座標系では極座標やその他の座標系でも構わない。また、色情報も均等色空間や輝度、色度といった情報で表現しても構わない。仮想視点画像の生成にあたっては、上述した前景モデルデータの代わりに、メッシュモデルデータが選択され、端末１１１に送信される。端末１１１ではメッシュモデルデータの頂点に囲まれる領域を色情報で色付けすることで生成される。この三次元形状データを用いることで、色付き点群モデルデータ同様に、データの選択、指示が簡単になり、さらに色付き点群モデルデータよりデータの削減が可能になることから、端末のコストダウンを図り、より多くの端末の接続を可能にすることができる。

なお、メッシュモデルデータを、前景モデルデータと同様に前景画像データをテクスチャマッピングするためのデータとして、色なしで生成しても構わない。つまり、メッシュモデルデータのデータ構造として、色情報のない、形状情報のみの形式で記述されてもよい。

＜背景モデルデータの別の例＞
背景モデルデータもメッシュモデルデータで管理することも可能である。図１０（ａ）～（ｄ）に、背景モデルデータをメッシュモデルデータで構成する例を示す。図１０（ｂ）に示すように、ヘッダの内容は背景モデルデータのヘッダそのものである。ただし、本実施形態では、背景モデルデータのフォーマットのデータセットクラスコードは０ｘ０００７となる。図１０（ｃ）に示すように、背景モデルデータがメッシュモデルである場合、背景画像モデルデータのデータサイズに続き、第１の分割のデータサイズが保存される。続いて、第１分割のポリゴンデータが保存される。図１０（ｄ）に示すように、分割されたメッシュモデルデータは最初にタイムコードが保存される。続いて、データのサイズ、分割されたメッシュモデルデータのポリゴンの数に続いて、ポリゴン毎のデータ、すなわちポリゴンの頂点の座標とポリゴンの色情報が順に保存される。

仮想視点画像の生成での背景の生成において、データの選択、指示が簡単になり、さらに色付き点群モデルデータよりデータの削減が可能になることから、端末のコストダウンを図り、より多くの端末の接続を可能にすることができる。

境界上にポリゴンが存在する場合、いずれかの分割に属させるか、両方の分割に属させても構わない。また、ポリゴンを境界線で分割して、それぞれの分割に属させても構わない。

（実施形態２）
三次元形状データを処理する実施形態２である三次元情報処理装置１３００について、図１３の仮想視点画像生成システム構成図を用いて説明する。同図において、各部の動作が図１と同じ構成に関しては、同じ番号を付し、説明を省略する。本実施形態では、三次元情報処理装置１３００が仮想視点画像生成部１３０１を有する点が、実施形態１と異なる。また、本実施形態では分割の方法が実施形態１と異なる。なお、モデル生成部１３０３は、実施形態１１の前景モデル生成部１０３と背景モデル生成部１０４の機能を有する。また、本実施形態に係る三次元情報処理装置１３００に適用可能なコンピュータのハードウェアの構成例は、実施形態１と同じであるため説明を省略する。

端末１３１０ａ～ｄは、ユーザが仮想視点を設定した仮想視点情報を三次元情報処理装置１３００に送信する。端末１３１０ａ～ｄはレンダラを持たず、仮想視点の設定と仮想視点画像の表示のみを行う。送受信部１３０８は、実施形態１の送受信部１０９の機能に加え、端末１３１０から仮想視点情報を受信し、選択部１３０９と仮想視点画像生成部１３０１に送信する。さらに、送受信部１３０８は、生成された仮想視点画像を、仮想視点情報を送信した端末１３１０ａ～ｄに送信する機能を備える。仮想視点画像生成部１３０１はレンダラを備え、入力された仮想視点情報と保存部１０８から読み出された三次元形状データに基づいて仮想視点画像の生成を行う。選択部１３０９は仮想視点画像生成部１３０１が仮想視点画像を生成するために必要なデータセットを選択する。なお、た、特に断りが無い限り、端末１３１０ａ～ｄは、端末１３１０として説明を行う。また、端末１３１０の数は、これに限られず、１台でもよい。

図１６（ａ）～（ｃ）に、実施形態２の前景モデルデータの構成の一例を示す。説明のために前景モデルデータセットは、フレーム単位で保存されているものとするが、これに限定されない。例えば、オブジェクト単位で管理されても構わない。前景モデルデータヘッダは実施形態１と同じである。本実施形態では三次元形状データは点群モデルデータと前景画像データで構成する例について説明する。

図１６（ｂ）に示すように、以下順に、前景モデルデータの先頭フレームの時刻を表すタイムコード、当該フレームのデータサイズが保存されている。続いて、タイムコードが示す時刻に仮想視点画像を生成するための被写体の数Ｐが保存される。さらにその時点で撮影に使用されたカメラの台数Ｃが保存される。続いて、使用されたカメラのカメラＩＤが保存される。続いて、各被写体の前景モデルデータが格納される。最初に被写体の前景モデルデータを表すためのデータサイズが保存される。さらに、被写体の前景モデルデータの分割数Ｄが保存される。

続いて、被写体の分割された前景モデルデータのデータが保存される。分割された前景モデルデータのデータサイズが保存され、続いて分割された前景モデルデータ記述が保存される。図１６（ｃ）に示すように、本実施形態では、保存される記述については、分割された前景モデルのデータサイズに続き、当該被写体が写るカメラの数ＣとＣ個のカメラＩＤが含まれている。続いて、分割された前景モデルデータのデータが保存される。分割された前景モデルデータは図６（ｂ）の構成と同じである。前景画像データも図６（ｂ）と同様である。

図１４に、本実施形態の分割の様子の一例を示す。図１４では１２個の分割を実施する例を示す。ただし、分割の方法や数はこれに限定されない。例えば、カメラ１０１－ｂの被写体２１０上の撮影範囲を被写体２１０の見える範囲として同心円の領域１４０１－ｂ表す。以下、領域１４０１－ｄはカメラ１０１－ｄ、領域１４０１－ｈはカメラ１０１－ｈ、領域１４０１－ｊはカメラ１０１－ｊである。さらに、領域１４０１－оはカメラ１０１－о、領域１４０１－ｐはカメラ１０１－ｐ、領域１４０１－ｑはカメラ１０１－ｑ、領域１４０１－ｒはカメラ１０１－ｒとなる。ここで、それぞれの領域が重なる範囲の境界をそれぞれ分割の境界とする。

分割１４０２－１は、領域１４０１－ｂ、領域１４０１－ｒを含み、カメラの台数Ｃは２となる。被写体２１０の点群モデルデータの点のデータがＤａｔａ ｓｅｔ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔに含まれる。また、Ｎｕｍｂｅｒ ｏｆ Ｃａｍｅｒａは２となり、カメラＩＤがカメラ１０１－ｂとカメラ１０１－ｒの画像のみでこの分割の画像の点群の色を決定することができる。以下、同様に、分割１４０２－２は領域１４０１－ｂを含み、カメラの台数Ｃは１となる。分割１４０２－３は領域１４０１－ｄ、領域１４０１－ｈを含み、カメラの台数Ｃは２となる。分割１４０２－４は領域１４０１－ｄを含み、カメラの台数Ｃは１となる。分割１４０２－５は領域１４０１－ｊを含み、カメラの台数Ｃは１となる。分割１４０２－６は領域１４０１－ｊ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。分割１４０２－７は領域１４０１－ｑを含み、カメラの台数Ｃは１となる。分割１４０２－８は領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。分割１４０２－９は領域１４０１－о、領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは３となる。割１４０２－１０は領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。割１４０２－１１は領域１４０１－ｂ、領域１４０１－ｐ、領域１４０１－ｑ、領域１４０１－ｒを含み、カメラの台数Ｃは４となる。分割１４０２－１２は領域１４０１－ｂ、領域１４０１－ｑ、領域１４０１－ｒを含み、カメラの台数Ｃは３となる。これらの領域は被写体の位置、撮影しているカメラとその位置から分割は一意に決定される。

このようにすることで、各分割の前景画像のカメラＩＤが分割内はみな同じになり、データの管理が容易になる効果がある。

続いて、実施形態２において、上記の構成での仮想視点画像生成システムの情報処理方法について、図１５のフローチャートを用いて説明する。同図において、各部の動作が実施形態１の処理動作（図１１）と同じステップに関しては、同じ番号を付し、説明を省略する。図１５で示す処理は、入力部１０２により、画像データが受信されることにより開始される。

ステップＳ１１００でシーケンスヘッダを生成した後に、ステップＳ１１０１からステップＳ１１０３において、背景モデルデータに関する処理を行う。ステップＳ１１０４に進み、撮影開始からフレーム単位で入力を繰り返す。ステップＳ１１０７までに各被写体の点群モデルデータが生成される。

ステップＳ１５０１において、被写体ごとの前景モデルデータの分割を繰り返す。ステップＳ１５０８において、図１４で説明したように、１つ以上のカメラに映る領域に分割する。ステップＳ１５０２において、全ての被写体の前景モデルデータの分割が行えたら繰り返しを終了する。

ステップＳ１１１１からステップＳ１１１３によって実施形態１と同様に、背景画像の生成と分割を行い、保存を行う。ステップＳ１１１５において、送受信部１３０８は端末１３１０から端末１３１０で仮想視点画像生成を行うのに必要な情報を受信する。選択部１３０９は、入力された情報に従って、該当するシーケンスデータを選択する。ステップＳ１１１６において、仮想視点画像生成開始からフレーム単位で入力を繰り返す。

ステップＳ１１１７からステップＳ１１２２によって、背景を生成するのに必要な背景モデルデータと背景画像データが選択され、出力される。ステップＳ１１２３において、当該タイムコードの時刻のフレームで仮想カメラ２００の視野に含まれた全ての被写体に関して続く処理を繰り返す。ステップＳ１１２４において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる前景モデルデータを選択する。例えば、図１４で示す被写体２６０に関する前景モデルデータが選択される。

ステップＳ１５２５において、選択部１３０９は、図１４を参照して分割された前景モデルデータの選択を行う。図１４に示すように、仮想カメラ２５０の近くにカメラ１０１－ｑと１０１－ｒが存在する。選択部１３０９は、これらのカメラのＩＤを含む分割された前景モデルデータの分割データを選択する。これらのカメラＩＤは分割１４０２－１、および分割１４０２－３に含まれているため、これらの分割データが選択される。

ステップＳ１１２６において、選択部１３０９からの選択情報を取得して、管理部１０７は、保存部１０８から、これらの分割データを、仮想視点画像生成部１３０１に出力する。すなわち、図１４における被写体２６０が第１の被写体とされる。そして、分割１４０２－１の前景モデルデータの分割データとしてＤａｔａ ｓｉｚｅ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔが出力される。さらに、分割１４０２－３の前景モデルデータの分割データとしてＤａｔａ ｓｉｚｅ ｏｆ ３^ｒｄ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔが出力される。

ステップＳ１５２７において、選択部１３０９は、ステップＳ１５２５で選択された分割データ全てに含まれるカメラＩＤの前景画像データを選択する。ステップＳ１１２８において、管理部１０７は、その選択されたデータの情報を取得し、保存部１０８から選択されたデータを読み出し、仮想視点画像生成部１３０１に出力する。

ステップＳ１１３０は、仮想視点画像生成部１３０１は、取得したデータ、仮想視点情報に基づいて、仮想視点画像を生成する。そして、生成された仮想視点画像は、送受信部１３０８に出力される。送受信部１３０８は、生成された仮想視点画像を、その仮想視点画像の生成を要求する端末１３１０に送信する。

以上の構成と動作により、三次元形状データに関して、仮想視点情報に基づいて、カメラの情報に基づいて仮想視点画像の生成に必要なデータのみを送信して生成を行うことにより、送信するデータ量を抑え、伝送路を効率よく使用することが可能となる。また、各端末に送る情報の情報量も削減できるため、より多くの端末の接続が可能になる。この場合、伝送路としては、保存部１０８と仮想視点画像生成部１３０１を伝送する通信路である。なお、生成された仮想視点画像を端末１３１０に送信する構成のため、仮想視点画像を生成するための素材データを端末１３１０に送信する構成よりも、送受信部１３０８から端末１３１０への送信するデータ量を低減することができる。

なお、分割データの生成においては、可視性情報を用いて行ってもよい。可視性情報は、三次元形状データを構成する構成要素（例えば、点群モデルデータであれば点）がどのカメラから見えているかを示す情報である。本実施形態においては、仮想カメラ２５０の位置に近いカメラから見えている点群の点について、可視性情報を用いて選択し、見えている点だけを出力してもかまわない。これにより、より仮想カメラから見えている点のみを送信するので、さらに情報量の削減が可能である。

また、本実施形態では、全体の前景モデルデータを生成した後に分割を行ったが、これに限定されない。たとえば形状推定で前景モデルデータを作成しながら、データを分割しても構わない。例えば、形状推定を分割ごとで行うことや、可視性判定結果を算出しつつ、点やポリゴンがいずれの分割に属するかを判定しながら行っても構わない。

以上、説明した実施形態において、伝送する分割データに優先順位を設けて伝送しても構わない。例えば、仮想カメラ２００の正面にある領域１４０１－ｐを含む分割１４０２－３を先に伝送する。これによって、帯域不足や遅延などによって他の分割の伝送が滞る場合、少なくとも見える範囲の多くをカバーして映像を生成できる効果がある。

さらに、分割ごとに撮影されているカメラが特定できるため、分割ごとに撮影できているカメラのカメラＩＤのリストを作っていてもよい。これにより、仮想視点カメラに近傍のカメラを検出し、リストと照合することで、使用できる分割を決定するための時間と工数を削減することができる。

また、仮想カメラの視野内に含まれる分割データに加えて、その隣の部分の分割データを送ることも可能である。これにより、領域の境界部分などで視野には入らないが画素値を決めるのに必要な情報を得ることで視野にある被写体等の画質の向上を行えるようになる。このような情報を送ることの可否を判定したり、視野にない分割の優先順位を下げたりして、画質を制御することも可能である。例えば、優先順位の低い分割の点群の点を間引いたり、前景画像を送るカメラを間引いたりして、伝送量や画質を制御することができる。また、顔等の特定の分割は優先順位を高くするといったことも可能である。

なお、分割はカメラの撮影範囲の重なりに応じてのみ決定されるのではなく、点群の数がほぼ均一になるように選択してもよいし、それぞれの分割の大きさが同じになるようにしてもよい。基本的に分割は重ならないようにするが、一部、重さなってもよい。たとえば、図１４で領域１４０２－７が分割１４０２－６と分割１４０２－８の両方に含まれてもよい。この領域の点の前景画像は両方の領域の境界部の点の色付けに使われることになり、分割の境界部の画質を向上させる効果がある。

（変形例）
分割方法は、以下のような方法でもよい。すなわち、仮想視点情報に基づいて、前景モデルなどを分割するようにしてもよい。この場合、仮想視点情報が特定されるまで、前景モデルなどは分割されない。つまり、保存部１０８には、分割されたモデルのデータではなく、被写体ごとの前景モデルが規定される。つまり、図１６において、「ｓｕｂ」に分割されていたデータが一つに統合される。具体的には、図１６（ｂ）において、Ｄａｔａ ｓｉｚｅ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １ｓｔ Ｏｂｊｅｃｔは、Ｄａｔａ ｓｉｚｅ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔとして読み替える。そして、ここには、ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔ自体のＤａｔａ ｓｉｚｅが書き込まれる。また、Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔは、Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ Ｏｂｊｅｃｔと読み替える。また、Ｄａｔａ ｓｅｔ ｏｆ １^ｓｔ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔは、Ｄａｔａ ｓｅｔ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔと読み替える。そして、Ｄａｔａ ｓｉｚｅ ｏｆ ２^ｎｄ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｏｆ １^ｓｔ ＯｂｊｅｃｔからＤａｔａ ｓｅｔ ｏｆ Ｄ^ｔｈ ｓｕｂ ｐｏｉｎｔ ｃｌｏｕｄ ｉｎ １^ｓｔ Ｏｂｊｅｃｔはなくなる。なお、前景モデルを例にしたが、背景モデルでも同様である。

そして、端末１３１０から仮想視点画像の生成の指示を受けると、送受信部１３０８を介して取得された仮想視点情報に基づいて、選択部１３０９は、仮想視点情報により特定される仮想視点からの仮想的な視野に含まれる前景モデルを特定する。さらに選択部１３０９は、特定された前景モデルのうち、仮想視点画像に表示される部分を特定する。そして、選択部１３０９は、この特定した部分の情報を管理部１０７に出力する。管理部１０７は、取得した情報を基に、保存部１０８に保存されている前景モデルのうち、仮想視点画像に表示される部分と、それ以外の部分とに分割する。管理部１０７は、分割されたモデルのうち、仮想視点画像に表示される部分に対応する部分のモデルを、仮想視点画像生成部１３０１に出力する。このため、仮想視点画像に必要な前景モデルの一部が出力され、伝送されるデータ量を削減することが可能となる。また、仮想視点情報を取得してから、前景モデルを分割するため、必要十分な分割モデルを効率的に生成することが可能となる。また、保存部１０８に保存されるデータが簡素化される。

なお、管理部１０７がモデル分割部１３０５を兼ねる構成を説明したが、管理部１０７は、仮想視点画像に表示される部分に対応する部分のモデルを抽出して、部分モデルを仮想視点画像生成部１３０１に出力するようにしてもよい。この場合は、モデル分割部１３０５は三次元情報処理装置に含まなくてもよい。

また、出力される部分モデルは、端末１３１０により指定されてもよい。例えば、ユーザが、自身が操作する端末１３１０を介して、どの部分モデルを出力させるかを指定してもよいし、ユーザが指定した仮想視点情報に基づいて端末１３１０が出力させる部分モデルを特定してもよい。なお、この部分モデルは、実施形態１，２のように予め分割された部分モデルでもよいし、仮想視点情報に基づいて分割あるいは特定される部分モデルであってもよい。予め分割された部分モデルの場合、ユーザに指定させるために、複数の部分モデルが、端末１３１０に表示されてもよい。

また、前景モデルに含まれる複数の部分モデルがすべて出力されてもよい。例えば、ユーザの指示により複数の部分モデルがすべて出力されてもよい。

また、例えば、端末１３１０ａ～ｄが、同一タイミングで、同じシーケンスの同じフレームに対して、異なる仮想視点情報を入力する場合、例えば以下のような構成としてもよい。すなわち、端末１３１０ａ～ｄによりそれぞれ入力された複数の仮想視点情報に対応する複数の仮想カメラの視野を規定し、その視野のどれかに含まれる前景モデルを特定し、その前景モデルのうち、いずれかの仮想視点画像に表示される部分を特定してもよい。そして、特定された、いずれかの仮想視点画像に表示される部分が、仮想視点画像生成部１３０１に出力されてもよい。仮想視点画像ごとに、仮想視点画像に表示される部分を特定して出力されると、データが重複されて出力されるため、伝送されるデータ量が増えるが、上記の構成によれば、データの重複が避けられるため、伝送されるデータ量の増加を抑制できる。仮想視点画像生成部１３０１が、同時に複数の仮想視点画像を生成できる場合であってもよいし、１つの仮想視点画像を順に生成するような場合であってもよい。後者の場合は、仮想視点画像生成部１３０１において、出力されたデータをバッファに一次保存して、必要なタイミングでそのデータを利用すればよい。

また、三次元情報処理装置１３００が、仮想視点画像生成部１３０１を有する場合を説明したが、それに限られない。例えば、三次元情報処理装置１３００とは別に仮想視点画像生成部１３０１を有する外部装置があってもよい。この場合、外部装置に仮想視点画像に必要な素材データ（前景モデルなど）が出力され、外部装置によって生成された仮想視点画像が送受信部１３０８に出力されればよい。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体を用いて、本開示に実行してもよい。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。また、以下のような構成で本開示が実現されてもよい。記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現されてもよい。本開示を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した処理に対応するコンピュータプログラムのコードが格納されることになる。

以上、本開示の実施形態について詳述したが、本開示は上述の実施形態に限定されるものではなく、本開示の要旨の範囲内において、種々の変形及び変更が可能である。

１０５ モデル取得部
１０９ 送受信部
１１０ 選択部

Claims (13)

1. 仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得手段と、
   オブジェクトの三次元形状データを取得する第２の取得手段と、
   前記第１の取得手段により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定手段と、
   前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データを出力する出力手段と、を有する情報処理装置。
2. 前記三次元形状データは、複数の部分データを有し、
   前記出力手段は、前記複数の部分データのうち、前記特定手段により特定された部分領域に対応する三次元形状データの構成要素を含む部分データを出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の部分データは、前記三次元形状データの位置に応じて分割されて生成されることを特徴とする請求項２に記載の情報処理装置。
4. 前記複数の部分データは、基準座標軸に基づいて分割されて生成されることを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記複数の部分データは、三次元形状データを生成するために使用される撮像装置の位置に基づいて分割されて生成されることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記特定手段により特定された部分領域に基づいて、前記第２の取得手段により取得された三次元形状データを、複数の部分データに分割する分割手段を有し、
   前記出力手段は、前記分割手段により分割された複数の部分データのうち、前記特定手段により特定された部分領域に対応する部分データを出力することを特徴とする請求項１に記載の情報処理装置。
7. 前記第１の取得手段は、複数の仮想視点情報を取得し、
   前記特定手段は、前記オブジェクトの部分領域であって、前記複数の仮想視点情報により特定される複数の仮想視点からの見えを表す複数の仮想視点画像のいずれかに表示される部分領域を特定することを特徴とする請求項１に記載の情報処理装置。
8. 前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データとは異なる部分データは出力されないように制御する制御手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得工程と、
   オブジェクトの三次元形状データを取得する第２の取得工程と、
   前記第１の取得工程により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定工程と、
   前記第２の取得工程により取得された三次元形状データのうち、前記特定工程により特定された部分領域に対応する部分データを出力する出力工程と、を有する情報処理方法。
10. 前記三次元形状データは、複数の部分データを有し、
    前記出力工程は、前記複数の部分データのうち、前記特定工程により特定された部分領域に対応する三次元形状データの構成要素を含む部分データを出力することを特徴とする請求項９に記載の情報処理方法。
11. 前記特定工程により特定された部分領域に基づいて、前記第２の取得工程により取得された三次元形状データを、複数の部分データに分割する分割工程を有し、
    前記出力工程は、前記分割工程により分割された複数の部分データのうち、前記特定工程により特定された部分領域に対応する部分データを出力することを特徴とする請求項９に記載の情報処理方法。
12. 前記第２の取得工程により取得された三次元形状データのうち、前記特定工程により特定された部分領域に対応する部分データとは異なる部分データは出力されないように制御されることを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理方法。
13. コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
    

Images