JP2022131777A - 情報処理装置、それを含むシステム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】動画像の任意のシーンにおけるオブジェクトの立体物を造形できるようにする。【解決手段】オブジェクトの三次元形状を表す形状データを使用して生成される動画像における、立体物の造形用データを生成する対象を特定するための情報を特定する。特定された時刻に対応する前記動画像におけるオブジェクトの形状データを取得する。取得された形状データに基づいて生成される立体物の造形用データを出力する。【選択図】図４

Description

本開示は、動画像からオブジェクトの造形用データを生成する技術に関する。

近年、３Ｄプリンタなどの造形装置を用いて、オブジェクトの三次元形状を表すデータである三次元モデル（以下、３Ｄモデルと呼ぶ）を基に、前記オブジェクトのフィギュアを造形することが可能になった。オブジェクトの対象には、ゲームやアニメに登場するキャラクターだけでなく、実在の人物などもある。実在の人物などを撮像またはスキャンして得た３Ｄモデルを３Ｄプリンタに入力することによって、その人物などの十数分の一のサイズでフィギュアを造形することができる。

特許文献１は、スポーツ試合を撮像して作成されたハイライト動画シーンのリストの中から、ユーザが所望シーンやシーンに含まれるオブジェクトを選択することで、所望のオブジェクトの人形を造形する手法を開示している。

特開２０２０ー６２３２２号公報

しかしながら特許文献１では、リストにあるハイライトシーンからしか造形対象のオブジェクトを選択できず、リストに無いシーンに含まれるオブジェクトの人形を造形することが困難であった。

本開示は、動画像の任意のシーンにおけるオブジェクトの立体物を容易に造形できるようにすることを目的とする。

本開示の一態様に係る情報処理装置は、オブジェクトの三次元形状を表す形状データを使用して生成される動画像における、立体物の造形用データを生成する対象を特定するための情報を特定する特定手段と、前記特定手段により特定された時刻に対応する前記動画像におけるオブジェクトの形状データを取得する取得手段と、前記取得手段により取得された形状データに基づいて生成される立体物の造形用データを出力する出力手段と、を有することを特徴とする。

本開示によれば、動画像の任意のシーンにおけるオブジェクトの立体物を容易に造形することができる。

情報処理システムの構成例を示す図 画像生成装置の構成例を示す図 仮想カメラおよびその操作画面を示す図 造形用データ生成処理の流れを示すフローチャート 造形用データの生成範囲および生成例を示す図 データベースが管理する情報例を示す図 造形用データ生成処理の流れを示すフローチャート 複数の仮想カメラの描画範囲の指定および生成例を示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、特許請求の範囲に係る本開示を限定するものではなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、その説明を省略する。

［実施形態１］
本実施形態では、複数視点の撮像画像から求められた、仮想視点画像生成用である、オブジェクトの三次元形状を表す三次元形状データ（以下、３Dモデルという）を用いて仮想視点画像を描画するシステムにて、造形用データを生成する態様について説明する。なお、仮想視点画像とは、エンドユーザおよび／または選任のオペレータなどが仮想視点の位置および視線方向を指定することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよいが、本実施形態では動画の場合を例に説明する。なお、以下の説明においては、原義的に、仮想視点を仮想的なカメラ（仮想カメラ）に置き換えて説明する。以下の説明においては、仮想視点の位置は仮想カメラの位置に対応し、仮想視点からの視線方向は仮想カメラの姿勢に対応するものとする。

（システム構成）
図１は、仮想視点画像内のオブジェクトの立体物を造形するため当該オブジェクトの造形用データを生成する情報処理システム（仮想視点画像生成システム）の構成例を示す図である。図１（ａ）に情報処理システム１００の構成例を示し、図１（ｂ）に情報処理システムが有するセンサシステムの設置例を示す。情報処理システム１００は、ｎ台のセンサシステム１０１ａ－１０１ｎと、画像記録装置１０２と、データベース１０３と、画像生成装置１０４と、タブレット１０５とを有する。センサシステム１０１ａ－１０１ｎそれぞれは少なくとも１台の撮像装置であるカメラを有する。なお、以下では、特に説明がない限り、センサシステム１０１ａからセンサシステム１０１ｎまでのｎ台のセンサシステムを区別せず、複数センサシステム１０１と表記する。

複数センサシステム１０１および仮想カメラの設置例について図１（ｂ）を用いて説明する。複数センサシステム１０１は、図１（ｂ）に示すように、撮像の対象領域である領域１２０を囲むように設置され、複数センサシステム１０１のカメラは、それぞれ異なる方向から領域１２０を撮像する。仮想カメラ１１０は、複数センサシステム１０１のカメラと異なる方向から、領域１２０を撮像する。仮想カメラ１１０の詳細については後述する。

撮像対象が、ラグビーやサッカー等のプロスポーツの試合である場合、領域１２０はスタジアムのフィールド（地面）となり、ｎ台（例えば１００台）の複数センサシステム１０１は、フィールドを囲むように設置される。また、撮像対象の領域１２０にはフィールド上の人だけでなくボールやその他の物体があってもよい。なお、撮像対象はスタジアムのフィールドに限定されず、アリーナ等で行われる音楽ライブや、スタジオで行われるＣＭ撮影であってもよく、複数センサシステム１０１が設置できればよい。なお、設置されるセンサシステム１０１の台数は限定されない。また、複数センサシステム１０１は領域１２０の全周に渡って設置されていなくてもよく、設置場所の制限等によっては領域１２０の周囲の一部にのみ設置されてもよい。また、複数センサシステム１０１が有する複数のカメラには、望遠カメラと広角カメラなど機能が異なる撮像装置が含まれていてもよい。

複数センサシステム１０１が有する複数のカメラは同期して撮像を行い、複数の画像を取得する。なお、複数の画像のそれぞれは、撮像画像であってもよいし、撮像画像に対して例えば所定の領域を抽出する処理などの画像処理を行うことで得られた画像であってもよい。

なお、センサシステム１０１ａ－１０１ｎそれぞれは、カメラに加えてマイク（不図示）を有してもよい。複数センサシステム１０１それぞれのマイクは同期して音声を収音する。この収音された音声に基づき、画像生成装置１０４における画像の表示と共に再生される音響信号を生成することができる。以降、説明の簡略化のため、音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

画像記録装置１０２は、複数センサシステム１０１から複数の画像を取得し、取得した複数の画像と、撮像に使用したタイムコードとを合わせてデータベース１０３に記憶する。タイムコードとは、撮像した時刻を一意に識別するための絶対値で表される時間情報あって、例えば、日：時：分：秒．フレーム番号の様な形式で指定可能な時間情報である。

データベース１０３は、イベント情報および３Dモデル情報などを管理する。イベント情報は、撮像対象のイベントの全タイムコードに対応付けられた、オブジェクト毎の３Ｄモデル情報の格納先を示すデータを含む。オブジェクトは、ユーザが造形したい人およびものを含んでもよいし、造形対象でない人および物を含んでもよい。３Dモデル情報は、オブジェクトの３Dモデルに関する情報を含む。

画像生成装置１０４は、データベース１０３からタイムコードに応じた画像と、タブレット１０５からユーザ操作で設定された仮想カメラ１１０に関する情報とを入力として受け付ける。仮想カメラ１１０は、領域１２０に関連付けられた仮想空間内に設定され、複数センサシステム１０１のどのカメラとも異なる視点から領域１２０を閲覧できる。仮想カメラ１１０や、その操作方法や動作の詳細については、図を用いて後述する。

画像生成装置１０４は、データベース１０３から取得したタイムコード毎の画像を基に仮想視点画像生成用の３Dモデルを生成し、生成した仮想視点画像生成用の３Dモデルと、仮想カメラの視点に関する情報とを用いて、仮想視点画像を生成する。仮想カメラの視点情報は、仮想視点の位置及び向きを示す情報を含む。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン方向、チルト方向、及びロール方向における仮想視点の向きを表すパラメータとを含む。なお、仮想視点画像は、仮想カメラ１１０からの見えを表す画像であり、自由視点映像とも呼ばれる。画像生成装置１０４で生成された仮想視点画像は、タブレット１０５等のタッチパネルに表示される。

本実施形態では、画像生成装置１０４は、少なくとも１つの仮想カメラの描画範囲に基づいて、描画範囲に存在するオブジェクトに対応する３Dモデルから造形装置１０６で用いる造形用データ（オブジェクトの形状データ）を生成する。すなわち、画像生成装置１０４は、仮想視点画像に対して、造形の対象となるオブジェクトを特定する条件を設定し、設定された条件に基づき、オブジェクトの三次元形状を表す形状データを取得し、取得された形状データに基づき、造形用データを生成する。造形用データの生成処理の詳細については、図を用いて後述する。なお、画像生成装置１０４が生成する造形用データのフォーマットは、造形装置１０６が処理可能なフォーマットであればよく、一般的な３Dモデルを扱うポリゴンメッシュ汎用フォーマット等のフォーマットでも、造形装置１０６独自フォーマットでもよい。すなわち、造形装置１０６が仮想視点画像の生成用の形状データを処理可能であり、画像生成装置１０４は、仮想視点画像の生成用の形状データを造形用データとして特定する。他方、造形装置１０６が仮想視点画像の生成用の形状データを処理不可能であり、画像生成装置１０４は、仮想視点画像の生成用の形状データを用いて造形用データを生成することになる。

タブレット１０５は、画像を表示する表示部と、ユーザ操作を受け付ける入力部との両方の機能を有するタッチパネルを有する携帯型の機器である。タブレット１０５は、スマートフォンなど他の機能を備えた携帯型の機器であってもよい。タブレット１０５は、仮想カメラに関する情報を設定するユーザ操作を受け付ける。また、タブレット１０５は、画像生成装置１０４で生成された仮想視点画像、またはデータベース１０３に格納された仮想視点画像を表示する。そして、タブレット１０５は、仮想視点画像に対して、造形の対象となるオブジェクトを特定するための条件を設定するユーザ操作を受け付ける。このユーザ操作によって、造形用データを生成する任意の空間範囲および時間範囲が設定される。この操作方法の詳細については、図を用いて後述する。なお、仮想カメラの操作は、タブレット１０５のタッチパネルに対するユーザ操作に限定されず、三軸コントローラなどの操作装置に対するユーザ操作であってもよい。

画像生成装置１０４とタブレット１０５とは、図１に示すように、別の装置となる構成でもよいし、一体型の構成でもよい。一体型の場合は、画像生成装置１０４がタッチパネル等を有して、仮想カメラの操作を受け付け、画像生成装置１０４で生成した仮想視点画像をそのタッチパネルに表示する。なお、仮想視点画像は、タブレット１０５や画像生成装置１０４以外のデバイスの液晶画面に表示されてもよい。

造形装置１０６は、例えば、３Dプリンタなどであり、画像生成装置１０４によって生成された造形用データを入力として、例えば人形（３Dモデルフィギュア）やレリーフなどの、対応するオブジェクトの立体物を造形する。なお、造形装置１０６の造形方法は、光造形・インクジェット・粉末固着方式などに限定されず、立体物を造形できればよい。なお、造形装置１０６は、人形などの立体物を出力する装置に限定されず、プレートや紙に印字する装置であってもよい。

画像生成装置１０４と造形装置１０６とは、図１に示すように、別の装置となる構成でもよいし、一体型の構成でもよい。

なお、情報処理システム１００の構成は、図１（ａ）に示すような、タブレット１０５や造形装置１０６が画像生成装置１０４と１対１に接続されるものに限定されない。例えば、複数のタブレット１０５や複数の造形装置１０６が、画像生成装置１０４と接続された情報処理システムであってもよい。

（画像生成装置の構成）
画像生成装置１０４の構成例について図を用いて説明する。図２は、画像生成装置１０４の構成例を示す図であり、図２（ａ）に画像生成装置１０４の機能構成例を示し、図２（ｂ）に画像生成装置１０４のハードウェア構成例を示す。

画像生成装置１０４は、図２（ａ）に示すように、仮想カメラ制御部２０１と、３Ｄモデル生成部２０２と、画像生成部２０３と、造形用データ生成部２０４とを有する。画像生成装置１０４は、前述の機能部を使用し、少なくとも１つ仮想カメラの描画範囲に基づいて、造形用データを生成する。ここでは、各機能の概要について説明し、処理の詳細については後述する。

仮想カメラ制御部２０１は、タブレット１０５などから仮想カメラの操作情報を受け取る。仮想カメラの操作情報には、少なくとも仮想カメラの位置およびその姿勢と、タイムコードとが含まれる。これらの仮想カメラの操作情報の詳細については図を用いて後述する。なお、画像生成装置１０４がタッチパネル等を有し、仮想カメラの操作情報を受け取り可能な構成である場合、仮想カメラ制御部２０１は、画像生成装置１０４から仮想カメラの操作情報を受け取る。

３Dモデル生成部２０２は、複数の撮像画像に基づいて、領域１２０内にあるオブジェクトの三次元形状を表す３Dモデルを生成する。具体的には、３Dモデル生成部２０２は、画像から、人物やボール等のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像とを取得する。そして、３Dモデル生成部２０２は、複数の前景画像に基づいて前景の３Dモデルをオブジェクト毎に生成する。

これらの３Dモデルは、例えばＶｉｓｕａｌ Ｈｕｌｌなどの形状推定方法により生成され、点群で構成される。ただし、オブジェクト毎の形状を表す３Dモデルのデータ形式はこれに限定されない。なお、背景の３Dモデルは、予め外部装置により取得されてもよい。

３Dモデル生成部２０２は、生成した３Dモデルをタイムコードと合わせてデータベース１０３に記録する。

なお、３Dモデル生成部２０２は、画像生成装置１０４でなく画像記録装置１０２に含まれる構成であってもよい。その場合は、画像生成装置１０４は、３Dモデル生成部２０２を介してデータベース１０３から、画像記録装置１０２で生成された３Dモデルを読み出すだけでよい。

画像生成部２０３は、データベース１０３から３Dモデルを取得し、取得した３Dモデルを基に仮想視点画像を生成する。具体的には、画像生成部２０３は、３Dモデルを構成する点毎に、画像から適切な画素値を取得して色付け処理を行う。そして、画像生成部２０３は、色付けされた３Dモデルを三次元の仮想空間に配置し、仮想カメラ（仮想視点）へ投影してレンダリングすることで、仮想視点画像を生成する。

ただし、仮想視点画像の生成方法は、これに限定されず、３Dモデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を使用してもよい。

造形用データ生成部２０４は、仮想カメラの位置およびその姿勢と、タイムコードとを用いて、仮想カメラの描画範囲または投影範囲を計算して決定する。そして、造形用データ生成部２０４は、決定した仮想カメラの描画範囲に基づき造形用データの生成範囲を決定し、その範囲に含まれる３Dモデルから、造形用データを生成する。これらの処理の詳細については、図を用いて後述する。

（画像生成装置のハードウェア構成）
次に、画像生成装置１０４のハードウェア構成について、図２（ｂ）を用いて説明する。画像生成装置１０４は、図２（ｂ）に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、操作入力部２１４と、表示部２１５と、通信Ｉ／Ｆ（インターフェイス）部２１６とを有する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１２やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に格納されるプログラムやデータを用いて処理する。

ＣＰＵ２１１は、画像生成装置１０４の全体の動作制御を行い、図２（ａ）に示す各機能を実現するための処理を実行する。なお、画像生成装置１０４がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアとして、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１３は、プログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ２１２は、ＣＰＵ２１１が各処理を実行する際に用いるワークエリアを提供する。

操作入力部２１４は、例えばタッチパネルであり、ユーザによる入力操作を受け付け、受け付けたユーザ操作で入力された情報を取得する。入力情報としては、例えば、仮想カメラに関する情報や生成対象の仮想視点画像のタイムコードに関する情報などが挙げられる。なお、操作入力部２１４は、外部コントローラと接続し、操作に関するユーザからの入力情報を受け付けてもよい。外部コントローラは、例えば、ジョイスティック等の三軸コントローラやマウスなどの操作装置である。なお、外部コントローラは、これらに限定されない。

表示部２１５は、タッチパネルやスクリーンであって生成した仮想視点画像を表示する。タッチパネルの場合は操作入力部２１４と表示部２１５が一体となった構成となる。

通信Ｉ／Ｆ部２１６は、例えば、ＬＡＮなどを介し、データベース１０３、タブレット１０５、造形装置１０６などと情報の送受信を行う。また、通信Ｉ／Ｆ部２１６は、次に示す通信規格に対応する画像出力ポートを介して、外部スクリーンへ情報を送信してもよい。通信規格に対応する画像出力ポートとしては、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などが挙げられる。また、通信Ｉ／Ｆ部２１６は、例えば、イーサネットなどを介して画像データや造形用データを送信してもよい。

（仮想カメラ（仮想視点）およびその操作画面）
続いて、ラグビー場でのラグビーの試合を撮像して撮像画像を取得した場合を例に、仮想カメラおよびその設定を行う操作画面について説明する。図３は、仮想カメラおよびその操作画面を示す図である。図３（ａ）に座標系を示し、図３（ｂ）に図３（ａ）の座標系を適用するフィールド例を示し、図３（ｃ）および図３（ｄ）に仮想カメラの描画範囲例を示し、図３（ｅ）に仮想カメラの移動例を示す。図３（ｆ）に仮想カメラから見た仮想視点画像の表示例を示す。

まず、仮想視点を設定する際の基準となる、撮像対象の三次元空間を表す座標系について説明する。図３（ａ）に示すようには、本実施形態では、三次元空間をX軸・Ｙ軸・Ｚ軸の３軸で表した直交座標系が用いられる。この直交系座標を、図３（ｂ）に示す各オブジェクト、すなわち、ラグビー場のフィールド３９１、その上に存在するボール３９２、選手３９３などに設定する。さらに、フィールド３９１の周辺にある観客席や看板などのラグビー場内の設備（構造物）に設定してもよい。具体的には、原点（０、０、０）をフィールド３９１の中心に設定する。そして、Ｘ軸をフィールド３９１の長辺方向に、Y軸をフィールド３９１の短辺方向に、Z軸をフィールド３９１に対して鉛直方向に設定する。なお、各軸の方向は、これらに限定されない。このような座標系を使用し、仮想カメラ１１０の位置およびその姿勢が指定される。

続いて、仮想カメラの描画範囲について図を用いて説明する。図３（ｃ）に示す四角錐３００において、頂点３０１が仮想カメラ１１０の位置を表し、頂点３０１を基点とする視線方向のベクトル３０２が仮想カメラ１１０の姿勢を表す。なお、ベクトル３０２は、仮想カメラの光軸ベクトルとも呼ばれる。仮想カメラの位置は、各軸の成分（ｘ，ｙ，ｚ）で表現され、仮想カメラ１１０の姿勢は、各軸の成分をスカラーとする単位ベクトルで表現される。仮想カメラ１１０の姿勢を表すベクトル３０２は、前方クリップ面３０３と後方クリップ面３０４の中心点を通るものとする。３Ｄモデルの投影範囲（描画範囲）となる仮想カメラの視錐台は、前方クリップ面３０３と後方クリップ面３０４に挟まれた空間３０５である。

続いて、仮想カメラの描画範囲を示す成分について図を用いて説明する。図３（ｄ）は、図３（ｃ）の仮想視点を上（Ｚ軸）から見た図である。描画範囲は次の値によって決定される。頂点３０１から前方クリップ面３０３までの距離３１１と、頂点３０１から後方クリップ面３０４までの距離３１２と、仮想カメラ１１０の画角３１３の各値は、予め設定された所定値（規定値）でもよいし、ユーザ操作で所定値が変更された設定値でもよい。また、画角３１３は別途、仮想カメラ１１０の焦点距離を変数とし、この変数を基に求められる値でもよい。なお、画角と焦点距離との関係は一般的な技術でありその説明を省略する。

次に、仮想カメラ１１０の位置の変更（仮想視点の移動）と仮想カメラ１１０の姿勢の変更（回転）について説明する。仮想視点は、三次元座標で表現された空間内において、移動および回転させることができる。図３（ｅ）は、仮想カメラの移動および回転を説明する図である。図３（ｅ）において、１点鎖線の矢印３０６が仮想カメラ（仮想視点）の移動を表し、１点鎖線の矢印３０７が当該移動した仮想カメラ（仮想視点）の回転を表している。仮想カメラの移動は各軸の成分（ｘ、ｙ、ｚ）で表現され、仮想カメラの回転は、Ｚ軸回りの回転であるヨー（Ｙａｗ）、Ｘ軸回りの回転であるピッチ（Ｐｉｔｃｈ）、Ｙ軸回りの回転であるロール（Ｒｏｌｌ）で表現される。このように仮想カメラは被写体（フィールド）の三次元空間を自由に移動及び回転できることから、被写体の任意の領域が描画範囲となる仮想視点画像として生成できる。

次に、仮想カメラ（仮想視点）の位置およびその姿勢を設定する操作画面について説明する。図３（ｆ）は、仮想カメラ（仮想視点）の操作画面例を説明する図である。

本実施形態では、造形用データの生成範囲は、少なくとも１つの仮想カメラの描画範囲に基づいて決定されるため、図３（ｆ）に示される仮想カメラの操作画面３２０は、造形用データの生成範囲を決定するための操作画面であるともいえる。図３（ｆ）には、仮想カメラの操作画面３２０がタブレット１０５のタッチパネルに表示される。なお、仮想カメラの操作画面３２０の表示先は、これに限定されず、画像生成装置１０４のタッチパネル等でもよい。

操作画面３２０には、仮想カメラの描画範囲（仮想視点画像の撮像に係る描画範囲）を仮想視点画像として操作画面３２０の画面枠に合わせて表示される。このような表示により、ユーザが造形の対象となるオブジェクトを特定するための条件を目視しながら設定することができる。

操作画面３２０は、仮想カメラ１１０の位置およびその姿勢を設定するユーザ操作を受け付ける仮想カメラの操作領域３２２と、タイムコードを設定するユーザ操作を受け付けるタイムコードの操作領域３２３とを有する。まず、仮想カメラ操作領域３２２について説明する。操作画面３２０がタッチパネルに表示されることから、仮想カメラ操作領域３２２では、ユーザ操作として、タップ、スワイプ、ピンチイン・アウト等の一般的なタッチ操作３２５を受け付ける。このタッチ操作３２５によって、仮想カメラの位置や焦点距離（画角）が調整される。また、仮想カメラ操作領域３２２では、ユーザ操作として、直交座標系の各軸を押し続ける等のタッチ操作３２４を受け付ける。このタッチ操作３２４によって、Ｘ軸、Ｙ軸またはＺ軸周りに仮想カメラ１１０が回転し、仮想カメラの姿勢が調整される。このように操作画面３２０における各々のタッチ操作に対し仮想カメラの移動や回転や拡縮を割り当てておくことで、仮想カメラ１１０を自由に操作することができる。これらの操作方法は公知でありその説明を省略する。

なお、仮想カメラの位置およびその姿勢に関する操作はタッチパネルに対するタッチ操作に限定されず、ジョイスティックなどの操作装置などを用いた操作でもよい。

次に、タイムコード操作領域３２３について説明する。タイムコード操作領域３２３は、メイン・スライダー３３２および摘み３４２と、サブ・スライダー３３３および摘み３４３とを有しており、タイムコードを操作する複数要素を有する。タイムコード操作領域３２３は、仮想カメラの追加ボタン３５０と、出力ボタン３５１とを有する。

メイン・スライダー３３２は、撮像データの全タイムコードのうちの所望のタイムコードに設定する操作を行うことができる入力要素である。摘み３４２の位置がドラッグ操作等で所望の位置に移動されると、摘み３４２の位置に対応するタイムコードが指定される。すなわち、メイン・スライダー３３２の摘み３４２の位置を調整することで、任意のタイムコードが指定されることになる。

サブ・スライダー３３３は、全タイムコードの一部を拡大して表示し、拡大した部分に関し詳細にタイムコードを設定する操作を行うことができる入力要素である。摘み３４３の位置がドラッグ操作等で所望の位置に移動されると、摘み３４３の位置に対応するタイムコードが指定される。メイン・スライダー３３２とサブ・スライダー３３３とは画面上では同じ長さであるが、選択できるタイムコードの幅が異なる。例えば、メイン・スライダー３３２は一試合の長さである３時間分から選択可能であるのに対し、サブ・スライダー３３３ではその一部の３０秒から選択可能とする。この様にスライダーのスケールは異なり、サブ・スライダーは秒単位やフレーム単位といった様な、より詳細なタイムコードを指定可能とする。

なお、メイン・スライダー３３２の摘み３４２やサブ・スライダー３３３の摘み３４３を用いて指定したタイムコードを、日：時：分：秒．フレーム番号の形式で数値として表示してもよい。サブ・スライダー３３３は操作画面３２０に常時表示してもよいし、一時表示してもよい。例えば、タイムコードの表示指示を受け付けたときや、一時停止などの特定操作の指示を受け付けたときに表示してもよい。サブ・スライダー３３３で選択可能となるタイムコード区間を可変としてもよい。

以上の操作により設定された仮想カメラの位置およびその姿勢と、タイムコードとに応じて、生成された仮想視点画像が、仮想カメラの操作領域３２２に表示される。図３（ｆ）では例として、被写体をラグビーの試合として、得点に繋がる決定的なパスシーンが表示されている。詳細については後述するが、この決定的シーンを造形用のオブジェクトの形状データとして生成または出力することになる。

図３（ｆ）ではボールを離す瞬間のタイムコードを指定している場合を示しているが、例えば、タイムコードの操作領域３２３のサブ・スライダー３３３を操作することによって、ボールが空中にあるタイムコードも容易に指定することができる。

図３（ｆ）では、３人の選手が描画範囲に存在するように仮想カメラの位置およびその姿勢が指定されているが、これに限定されない。例えば、仮想カメラ操作領域３２２に対しタッチ操作３２４、３２５を行うことにより空間（仮想カメラの描画範囲）３０５を自由に操作し、更に周りの選手が描画範囲に存在するように操作してもよい。

出力ボタン３５１は、仮想カメラ操作領域３２２とタイムコード操作領域３２３に対するユーザ操作で設定された仮想カメラの描画範囲を決定し、造形用のオブジェクトの形状データを出力するときに操作されるボタンである。仮想カメラに対して、時間範囲を示すタイムコードと、空間範囲を示す位置およびその姿勢が決定されると、これらの決定に対応する仮想カメラの描画範囲が計算される。そして、計算結果である仮想カメラの描画範囲に基づいて、造形用データの生成範囲が決定される。この処理の詳細については図を用いて後述する。

仮想カメラの追加ボタン３５０は、造形用データの生成に複数の仮想カメラを使用するときに用いられるボタンである。複数の仮想カメラを用いた造形用データの生成処理の詳細については、実施形態２で説明するため、ここでは説明を省略する。

なお、仮想カメラの操作画面は図３（ｆ）に示される操作画面３２０に限定されず、仮想カメラの位置およびその姿勢やタイムコードを設定する操作できればよい。例えば、仮想カメラ操作領域３２２と、タイムコード操作領域３２３とは分離されていなくてもよい。例えば、仮想カメラ操作領域３２２に対しダブルタップなどの操作が行われると、タイムコードを設定する操作として一時停止等が処理されてもよい。

また、操作入力部２１４がタブレット１０５である場合について説明したが、操作入力部２１４はこれに限定されず、一般的なディスプレイおよび三軸コントローラ等を有する操作装置であってもよい。

（造形用データの生成処理）
続いて、画像生成装置１０４における、造形用データの生成処理について図を用いて説明する。図４は、造形用データの生成処理の流れを示すフローチャートである。なお、この一連の処理は、ＣＰＵ２１１が所定のプログラムを実行して、図２（ａ）に示した各機能部を動作させることで実現される。以下、ステップを「Ｓ」と表記する。以降の説明でも同様とする。なお、仮想視点画像の生成に用いられるオブジェクトの三次元形状を表す形状データが造形用データと異なる形式であることを前提に説明する。

Ｓ４０１では、造形用データ生成部２０４は、仮想カメラ制御部２０１を介し、仮想視点画像のタイムコードの指定を受け付ける。タームコードの指定方法は、例えば図３（ｆ）に示すスライダーを用いた方法でもよいし、数字を直接入力する方法でもよい。

Ｓ４０２では、造形用データ生成部２０４は、仮想カメラ制御部２０１を介し、仮想カメラの操作情報を受け付ける。仮想カメラの操作情報は少なくとも仮想カメラの位置およびその姿勢に関する情報を含む。仮想カメラの操作方法は、例えば図３（ｆ）に示すタブレットを用いた方法でよいし、ジョイスティックなどの操作装置を用いた方法でもよい。

Ｓ４０３では、造形用データ生成部２０４は、仮想カメラ制御部２０１を介し、出力指示を受け付けたか否か、すなわち、出力ボタン３５１が操作されたか否かを判定する。造形用データ生成部２０４は、出力指示を受け付けたとの判定結果を得た場合（Ｓ４０３のＹＥＳ）、処理はＳ４０４に移行する。造形用データ生成部２０４は、出力指示を受け付けていないとの判定結果を得た場合（Ｓ４０３のＮＯ）、処理がＳ４０１に戻され、Ｓ４０１およびＳ４０２の処理が再度実行される。すなわち、出力指示を受け付けるまで、仮想視点画像のタイムコードと、仮想カメラの位置およびその姿勢とのユーザ操作を受け付ける処理が継続される。

Ｓ４０４では、造形用データ生成部２０４は、Ｓ４０１の処理で受け付けた仮想視点画像のタイムコードと、Ｓ４０２の処理で受け付けた、仮想カメラの位置およびその姿勢を含む仮想カメラの視点情報とを用いて、仮想カメラの描画範囲を決定する。仮想カメラの描画範囲の決定方法は、例えば図３（ｃ）および図３（ｄ）に示す前方クリップ面３０３および後方クリップ面３０４をユーザ操作によって決定してもよいし、予め装置に設定されている演算式による演算結果を基に決定してもよい。

Ｓ４０５では、造形用データ生成部２０４は、Ｓ４０４で決定した仮想カメラの描画範囲に基づき、この仮想カメラに対応する造形用データの生成範囲を決定する。造形用データの生成範囲の決定方法について説明する。図５は、造形用データの生成範囲および生成例を示す図である。図５（ａ）に三次元空間上における造形用データの生成範囲を示し、図５（ｂ）に図５（ａ）に示す造形用データの生成範囲のｙｚ平面を示す。図５（ｃ）に三次元空間上における造形用データの生成範囲内の３Ｄモデル例を示す。図５（ｄ）に造形用データの生成範囲内に観客席が存在する場合のｙｚ平面を示す。図５（ｅ）に図５（ｃ）に示す３Ｄモデルに対応する３Ｄモデルフィギュア例を示す。図５（ｆ）に図５（ｃ）に示す３Ｄモデルに対応する３Ｄモデルフィギュアの他例を示す。

図５（ａ）では、仮想カメラ（位置３０１や空間（視錐台）３０５等）が三次元空間上に表示され、同空間に撮像対象のＺ＝０の平面（例えばスタジアムのフィールド）５００が表示される。図５（ａ）に示すように、造形用データの生成範囲５１０は、Ｚ＝０の平面５００の内、仮想カメラの描画範囲である空間（視錐台）３０５に含まれる平面（底面）５０１に基づいて決定される。

造形用データの生成範囲５１０は、仮想カメラの描画範囲である空間（視錐台）３０５の一部である。造形用データの生成範囲５１０は、平面５０１と、前方クリップ面３０３の近くに位置する前方の平面（前方面）５１３と、後方クリップ面３０４の近くに位置する後方の平面（後方面）５１４に囲まれた空間となる。造形用データの生成範囲５１０となる空間の側方は、仮想カメラの位置３０１およびその画角と平面５００を基に設定される。また、造形用データの生成範囲５１０となる空間の上方は、仮想カメラの位置３０１およびその画角を基に設定される。

平面５１３と平面５１４について、図５（ｂ）を用いて説明する。図５（ｂ）は、図５（ａ）の仮想カメラ及びＺ＝０の平面を横から簡易的に見たものである。平面５１３は、交点５０３または５０５を通り、空間３０５内において前方クリップ面３０３から所定の距離に位置し、前方クリップ面３０３に並行となる面である。平面５１４は、交点５０４または５０６を通り、空間３０５内において後方クリップ面３０４から所定の距離に位置し、後方クリップ面３０４に並行となる面である。所定の距離は、予め設定される。平面５０１は、上述の交点５０３～５０６を頂点とする矩形となる。

なお、平面５１４は、後方クリップ面３０４と同一であってもよい。なお、平面５１３と平面５１４は、それぞれ前方クリップ面と後方クリップ面に並行でなくてもよい。例えば、平面５０１の頂点を通り、平面５０１と垂直となる平面であってもよい。

また、上記に加えて、造形用データの生成範囲５１０は、スタジアムにおける観客席等を考慮して、その生成範囲を決定してもよい。この例について図５（ｄ）を用いて説明する。図５（ｄ）では図５（ｂ）と同様に、図５（ａ）の仮想カメラ及びＺ＝０の平面を横から簡易的に見たときの描画範囲を示している。図５（ｄ）にて、スタジアムの観客席５０７の位置に基づいて平面５１４を決定してもよい。具体的には、観客席５０７と平面５０１との交点を通る、後方クリップ面に並行となる面を平面５１４とする。これによって、造形用データの生成範囲５１０に観客席５０７の後方が含まれない様にすることができる。

造形用データの生成範囲の決定条件に追加できるものは、スタジアムの観客席に限定されず、ユーザがその物体等を手動で指定する構成であってもよい。視錐台との交点を持つ平面５００はＺ＝０に限定されず、任意の形状でもよい。例えば、実際のフィールドの様に凹凸があってもよい。実際の背景の３Ｄモデルであるフィールドに凹凸があった場合は、それを平面の３Dモデルへ補正してもよい。視錐台との交点を持つ平面や曲面を持たない構成であってもよい。その場合は、仮想カメラの描画範囲を、そのまま造形用データの生成範囲として使用してもよい。

Ｓ４０６では、造形用データ生成部２０４は、Ｓ４０５で決定した造形用データの生成範囲に含まれるオブジェクトの３Ｄモデルをデータベース１０３から取得する。

データベース１０３が管理するイベント情報および３Dモデル情報のテーブル例について図を用いて説明する。図６は、データベース１０３が管理する情報のテーブルを示す図であり、図６（ａ）にイベント情報のテーブルを示し、図６（ｂ）に３Ｄモデル情報のテーブルを示す。データベース１０３が管理するイベント情報のテーブル６１０は、図６（ａ）に示すように、撮像対象のイベントの全てのタイムコードについて、オブジェクト毎の３Ｄモデル情報の格納先を示している。イベント情報のテーブル６１０では、例えば、タイムコードが「１６：１４：２４．０４１」であり、オブジェクトがオブジェクトＡである３Ｄモデル情報の格納先が、「ＤａｔａＡ１００」であることを示している。

データベース１０３が管理する３Ｄモデル情報のテーブル６２０は、図６（ｂ）に示すように、「全点群座標」、「テクスチャ」、「平均座標」、「重心座標」、「最大・最小座標」の各項目についてのデータが格納されている。「全点群座標」には、３Ｄモデルを構成する点群の各点の座標に関するデータが格納されている。「テクスチャ」には、３Ｄモデルに付与するテクスチャ画像に関するデータが格納されている。「平均座標」には、３Ｄモデルを構成する点群の座標の全てを平均した点の座標に関するデータが格納されている。「重心座標」には、３Ｄモデルを構成する点群の座標の全てを基に重心となる点の座標に関するデータが格納されている。「最大・最小座標」には、３Ｄモデルを構成する点群の座標のうち最大・最小となる点の座標に関するデータが格納されている。なお、３Ｄモデル情報のテーブル６２０に格納されるデータの項目は、「全点群座標」、「テクスチャ」、「平均座標」、「重心座標」、「最大・最小座標」の全てに限らない。例えば、「全点群座標」および「テクスチャ」だけでもよいし、この項目に他の項目を加えてもよい。

図６に示す情報を使用することで、あるタイムコードが指定されると、指定されたタイムコードにおける３Ｄモデル情報として、オブジェクト毎の全点群の座標や、三次元座標の各軸における最大・最小値の座標等を取得することができる。

図５（ｃ）を用いて、データベース１０３から造形用データの生成範囲に含まれる３Ｄモデルを取得した例について説明する。造形用データ生成部２０４は、データベース１０３において、Ｓ４０１で指定されたタイムコードに対応付けられた、オブジェクト毎の３Ｄモデル情報を参照し、オブジェクト毎にＳ４０６で決定された造形用データの生成範囲に含まれるか否かを判定する。

判定方法としては、例えば、人等のオブジェクト毎の３Ｄモデル情報に含まれる全点群座標が生成範囲に含まれるか否かの判定方法でもよいし、全点群座標の平均値や、三次元座標の各軸の最大・最小値のみが生成範囲に含まれるか否かの判定方法でもよい。

図５（ｃ）では、上述の判定を行った結果として、造形用データの生成範囲５１０に、３つの３Ｄモデルが含まれていた例を示している。なお詳細は後述するが、これら３つの３Dモデルが造形用データとなった例は、図５（ｅ）における３Ｄモデル５３１－５３３の様になる。

なお、オブジェクト毎に造形用データの生成範囲に含まれるかの判定結果をタブレットの操作画面３２０に表示してもよい。判定結果として、例えば、造形用データの生成範囲５１０の境界上にあるオブジェクトに対して、境界上にあるため、該オブジェクトの全体が造形用データとして出力されない旨の警告等を表示してもよい。

Ｓ４０６における判定処理は、Ｓ４０１の仮想視点画像のタイムコードやＳ４０２の仮想カメラの位置およびその姿勢のユーザ操作を受け付けている間に随時、実行してもよい。このようなＳ４０６の判定処理を随時実行する場合、対象となるオブジェクトが境界上にあることを報知する警告表示を行ってもよい。

オブジェクトの３Dモデルの取得方法は、上述の判定結果を基に自動で取得する方法に限定されず、手動で取得する方法でよい。例えば、タブレットの操作画面３１０において、ユーザが造形用データの対象としたいオブジェクトに対するタップ操作等のユーザ操作を受け付けることで、３Dモデルの取得対象であるオブジェクトを指定してもよい。

また、S４０６の処理において、造形用データの生成範囲に含まれるオブジェクトのうち、背景であるフィールドや観客席の３Ｄモデル情報をデータベースから取得してもよい。その場合は、取得したフィールドや観客席の３Ｄモデルを、台座となる様に部分的に変換してもよい。例えば、フィールドの３Ｄモデルに厚みが無い場合であっても、規定の高さを足した３Ｄモデルへ変換することで、図５（ｅ）に示すように、台座５４０を直方体形状としてもよい。

Ｓ４０７では、造形用データ生成部２０４は、実際には存在しないが、データベースから取得した３Ｄモデルの補助を行うための３Ｄモデルを生成する。例えば、図５（ｅ）の前景の３Dフィギュアモデル５３２の選手はジャンプしておりフィールドに接地せず空中に存在する。そのため、３Dフィギュアモデルを展示するには、３Dフィギュアモデルを支持して台座に固定するための支柱（支持部）が補助として必要となる。そこで、Ｓ４０７では、造形用データ生成部２０４は、まず、データベース１０３より取得したオブジェクト毎の３Dモデル情報を用いて補助部が必要であるか否かを判定する。この判定は、対象となる３Dモデルが空中に存在するか否かの判定と、対象となる３Dモデルが台座に自立するか否かの判定を含む。対象３Dモデルが空中に存在するか否かの判定では、例えば、３Dモデル情報に含まれる全点群の座標または最小座標を用いて判定してもよい。対象３Dモデルが台座に自立するか否かの判定では、例えば、３Dモデル情報に含まれる全点群の座標、または、重心座標および最大・最小座標を用いて判定してもよい。

そして、補助部が必要であるとの判定結果を得ると、造形用データ生成部２０４は、３Dモデル情報を基に、対象となる３Dフィギュアモデルを台座に固定する補助部の３Dモデルを生成する。対象３Dモデルが空中に存在する場合、造形用データ生成部２０４は、全点群の座標、または、最小座標およびその周辺座標を基に補助部の３Dモデルを生成してもよい。対象３Dモデルが台座に自立しない場合、造形用データ生成部２０４は、全点群の座標、または、重心座標および最大・最小座標を基に補助部の３Dモデルを生成してもよい。なお、支柱は、オブジェクト毎の３Dモデル情報に含まれる重心座標から垂直に支える位置としてもよい。また、フィールドに接点があるオブジェクトであっても、支柱の３Ｄモデルを加えてもよい。

他方、補助部が必要ではないとの判定結果を得ると、造形用データ生成部２０４は、補助部の３Dモデルを生成せずに、処理をＳ４０８に移行する。

Ｓ４０８では、造形用データ生成部２０４は、前ステップであるＳ４０７までの処理にて生成した３Ｄモデル一式を合成し、合成した３Ｄモデル一式を出力先の形式に変換して立体物の造形用データとして出力する。出力する造形用データ例について、図５（ｅ）を用いて説明する。

図５（ｅ）では、造形用データは、造形用データの生成範囲５１０に含まれる前景の３Ｄモデル５３１、５３２、５３３と、支柱５３４と、台座５４０とを含む。これらの元となった人等の前景の３Dモデルと、フィールド等の背景の３Dモデルの座標は、図３（ａ）に示した一つの三次元座標によって表現され、これらの位置関係は、実際のフィールド上の選手の位置関係や姿勢を正確に再現できる。

図５（ｅ）の造形用データが造形装置１０６へ出力されると、造形装置１０６は、このままの形状で３Ｄモデルフィギュアを造形することができる。このため、図５（ｅ）は造形用データとして記載しているが、３Dプリンタが出力した３Ｄモデルフィギュアとして捉えてもよい。

なお、図５（ｅ）の造形用データは、納品時や輸送時の破損リスクを下げるために、Ｓ４０８において、前景の３Ｄモデルと背景の３Ｄモデルを分けて出力してもよい。例えば、図５（ｆ）に示すように、背景のフィールドに対応する台座５４０と、前景の人に対応する３Dモデル５３１、５３２、５３３とを分けて出力し、３Dモデル５３１、５３２、５３３に小さな形状のサブ台座５４１、５４２、５４３を付与してもよい。この場合、台座５４０にサブ台座５４１－５４３の大きさに相当する窪み５５１－５５３を設けることによって、前景の３Dモデル５３１、５３２、５３３を台座５４０へ装着することできる。サブ台座５４１、５４２、５４３は、実際には存在しない３Dモデルであるため、Ｓ４０７において支柱と同様に、前景等の３Dモデルを補助するものとして追加してもよい。

サブ台座５４１－５４３および窪み５５１－５５３の形状は、図５（ｆ）に示すような四角形だけでなく、その他の多角形としてもよい。また、サブ台座５４１－５４３および窪み５５１－５５３の形状は、パズルのピースのようにそれぞれ異なる形状としてもよい。この場合、造形装置によって前景の３Ｄモデルおよび背景の３Ｄモデルを分けて出力した後に、装着位置や装着方向を間違わずに前景の３Ｄモデルを適切に装着することができる。なお、オブジェクト毎のサブ台座５４１－５４３や台座５４０における窪み５５１－５５３の位置は、ユーザ操作によって変更可能としてもよい。

台座５４０に、実際には存在しない情報を埋め込んだ造形用データを出力してもよい。例えば、該当する造形用データに使用した仮想カメラのタイムコードや、仮想カメラの位置およびその姿勢に関する情報を埋め込んだ台座５４０の造形用データを出力してもよい。また、造形用データの生成範囲がわかるように三次元座標の値を埋め込んだ台座５４０の造形用データを出力してもよい。

以上説明した通り、本実施形態によれば、ユーザ操作で指定された指定情報に応じたオブジェクトの造形用データを生成することができる。すなわち、指定情報に応じた仮想カメラの描画範囲に基づいて、仮想カメラの描画範囲に含まれるオブジェクトの造形用データを生成することができる。

例えば、スタジアムで行われるラグビーやサッカー等のフィールドスポーツにおいて、得点に結びつく様な決定的シーンを、任意のタイムコード及び任意の空間範囲を切り取り、実際の選手の位置関係や姿勢をそのままに造形用データを生成することができる。また、そのデータを使用し３Ｄプリンタへ出力することによって該シーンの３Ｄモデルフィギュアを生成することも可能となる。

また、仮想視点画像の生成に用いられるオブジェクトの三次元形状を表す形状データがオブジェクトの造形用データと同じ形式である場合、Ｓ４０８では、次のような処理が行われることになる。すなわち、造形用データ生成部２０４は、前ステップであるＳ４０７までの処理にて生成した、オブジェクトの３Ｄモデルに補助部の３Ｄモデルを追加したデータをオブジェクトの造形用データとして出力することになる。このように、仮想視点画像の生成用の形状データのフォーマットが造形用データのフォーマットと同じである場合、仮想視点画像の生成用の形状データを造形用データとしてそのまま出力することができる。

［実施形態２］
本実施形態では、複数の仮想カメラを用い、それらの描画範囲に基づいて造形用データを生成する態様について説明する。

本実施形態では、情報処理システムの構成は図１、画像生成装置の構成は図２と同様であるためその説明を省略し、差分について説明する。本実施形態では主に、タブレット１０５または画像生成装置１０４において、複数の仮想カメラを使用するための操作方法や、それらの複数の描画範囲に基づいた造形用データの生成処理について説明する。

（造形用データの生成処理）
本実施形態に係る造形用データの生成処理について図を用いて説明する。図７は、本実施形態に係る造形用データの生成処理の流れを示すフローチャートである。なお、この一連の処理は、ＣＰＵ２１１が所定のプログラムを実行して、図２（ａ）に示した各機能部を動作させることで実現される。図８は、仮想視点（仮想カメラ）の操作画面例を説明する図である。図８（ａ）に、仮想カメラ１が選択された場合を示し、図８（ｂ）に仮想カメラ２が選択された場合を示し、図８（ｃ）に図８（ｂ）にて優先度の設定画面が表示された場合を示し、図８（ｄ）に３Ｄモデル例を示す。なお、図８（ａ）から図８（ｃ）に示す操作画面は、図３（ｆ）に示す操作画面にて機能を拡張した画面であり、ここでは差分についてのみ説明する。

Ｓ７０１では、造形用データ生成部２０４は、操作を受け付ける仮想カメラを指定する。本実施形態では、複数の仮想カメラを扱うため、Ｓ７０１の処理に続くＳ７０２およびＳ７０３にて、どの仮想カメラに対して操作を受け付けるかを識別するための指定を行う。なお、初期状態では仮想カメラは一台のため、その一台の識別子が指定され、複数の仮想カメラがある場合は、ユーザが選択した一台の識別子が指定される。操作画面における仮想カメラの選択方法については後述する。

Ｓ７０２では、造形用データ生成部２０４は、仮想カメラ制御部２０１を介し、Ｓ７０１で指定された仮想カメラによる撮像で得た仮想視点画像のタイムコードの指定を受け付ける。タイムコードの指定方法は、Ｓ４０１にて説明したタイムコードの指定方法と同じであり、その説明を省略する。

Ｓ７０３では、造形用データ生成部２０４は、仮想カメラ制御部２０１を介し、Ｓ７０１で指定された仮想カメラの操作情報を受け付ける。仮想カメラの操作方法は、Ｓ４０２にて説明した仮想カメラの操作方法と同じであり、その説明を省略する。

Ｓ７０４では、造形用データ生成部２０４は、ユーザから次に挙げる指示を受け付け、受け付けた指示内容がどの指示内容に該当するかを判定する。ここで受け付けるユーザ指示は、仮想カメラの選択、仮想カメラの追加、造形用データの出力のいずれかである。「仮想カメラの選択」は、Ｓ７０１で指定された仮想カメラと異なりタブレット１０５に表示されている別の仮想カメラを選択する指示である。「仮想カメラの追加」は、Ｓ７０１で指定された仮想カメラと異なりタブレット１０５に表示されていない別の仮想カメラを追加する指示である。仮想カメラの追加指示は、例えば、図８（ａ）に示す追加ボタン３５０が押下されたときに行われる。「造形用データの出力」は、造形用データを出力する指示である。

操作指示が「仮想カメラの追加」であるとの判定結果を得ると、造形用データ生成部２０４は、処理をＳ７０５に移行する。

Ｓ７０５では、造形用データ生成部２０４は、仮想カメラを追加する。タブレット１０５に表示される画面は、図８（ａ）に示す操作画面から図８（ｂ）に示す操作画面へ切り替わり、操作画面３２０において新しいタブ８０２が追加され、仮想カメラも追加される。これにより追加されたタブ画面において、追加された仮想カメラの撮像で得られる仮想視点画像のタイムコードや、追加された仮想カメラの位置およびその姿勢の操作を受け付けることができる。

図８では、スポーツ選手のプレイシーン例として、バレーボール選手によるスパイクシーンの仮想視点画像を表示している。図８（ａ）では、バレーボール選手がジャンプする前に踏み込み屈んだ姿勢となった場面を示し、図８（ｂ）では、図８（ａ）の場面からタイムコードを進め、バレーボール選手がジャンプしボールを打つ前に腕を振り上げた姿勢となった場面を示している。

なお、図８（ａ）から図８（ｃ）ではタブ数・仮想カメラ数が２である場合を示しているが、これに限定されない。タブ数・仮想カメラ数を３以上としてもよい。また、後述するが、図８（ｄ）の出力例では、仮想カメラを６つ使用し、各々の仮想カメラによる撮像で得た仮想視点画像のタイムコードや、各々の仮想カメラの位置およびその姿勢を操作することで、バレーボール選手のスパイクシーンを時系列に捉えている。

また、追加された仮想カメラによる撮像で得た仮想視点画像のタイムコードや、追加された仮想カメラの位置およびその姿勢について、追加指示を受け付けたときに画面に表示していた仮想カメラの値を初期値として用いてもよい。

上述のＳ７０４において操作指示が「仮想カメラの選択」であるとの判定結果を得ると、造形用データ生成部２０４は、処理をＳ７０１に戻し、選択した仮想カメラについてＳ７０１からＳ７０３の一連の処理を実行する。仮想カメラの選択指示は、例えば、図８（ａ）に示すタブ８０１－８０２に対するユーザ択操作によって行われる。タブ８０１－８０２を含む画像がタッチパネルに表示される場合、ユーザ操作は、一般的なタッチ操作などでよい。

図８のスパイクシーンでは、各々の仮想カメラによる撮像で得た仮想視点画像のタイムコード等を詳細に操作することにより、バレーボール選手のジャンプが最高点に達した場面や、バレーボール選手がボールを打つ瞬間の場面などを簡単に指定できる。

上述のＳ７０４において操作指示が「造形用データの出力」であるとの判定結果を得ると、造形用データ生成部２０４は、処理をＳ７０６に移行する。造形用データの出力指示は、例えば、図８（ａ）に示す出力ボタン３５１に対するユーザ操作によって行われる。出力ボタン３５１がユーザ操作で押下されると、前ステップまでに指定された全ての仮想カメラによる撮像で得た仮想視点画像のタイムコードや、全ての仮想カメラの位置および
その姿勢を確定し、処理がＳ７０６に移行される。

Ｓ７０６からＳ７１０では、造形用データ生成部２０４は、Ｓ７０１で指定された全ての仮想カメラに対する処理を実行する。

Ｓ７０７では、造形用データ生成部２０４は、Ｓ７０２の処理で受け付けた仮想視点画像のタイムコードと、Ｓ７０３の処理で受け付けた、仮想カメラの位置およびその姿勢を含む仮想カメラの視点情報とを用いて、仮想カメラの描画範囲を決定する。仮想カメラの描画範囲の決定方法は、Ｓ４０４にて説明した仮想カメラの描画範囲の決定方法と同じであり、その説明を省略する。

Ｓ７０８では、造形用データ生成部２０４は、Ｓ７０７で決定した仮想カメラの描画範囲に基づき、この仮想カメラに対応する造形用データの生成範囲を決定する。造形用データの生成範囲の決定方法は、Ｓ４０５にて説明した造形用データの生成範囲の決定方法と同じであり、その説明を省略する。

Ｓ７０９では、造形用データ生成部２０４は、Ｓ７０８で決定した仮想カメラの造形用データの生成範囲に含まれるオブジェクトの３Dモデルをデータベース１０３から取得する。３Dモデルの取得方法は、Ｓ４０６にて説明した３Dモデルの取得方法と同じであり、その説明を省略する。

Ｓ７１１では、造形用データ生成部２０４は、前ステップまでに取得した仮想カメラ毎に決定された造形用データの生成範囲に含まれる３Ｄモデルを、オブジェクト毎の優先度に基づき合成する。

オブジェクト毎の優先度は、Ｓ７０２やＳ７０３の仮想カメラに対する操作中に設定されるパラメータであり、造形用データを生成する際に参照される。オブジェクト毎の優先度について図８（ｃ）を用いて説明する。図８（ｃ）に示すように、操作画面３２０において、例えば、オブジェクトに対しロングタップが行われることによって、優先度の設定画面８２０が表示される。優先度の設定画面８２０に表示された選択項目（例えば、高・中・低）の中から優先度がユーザ操作で選択されることで、選択した優先度が設定されることになる。なお、優先度の選択項目は３つに限定されない。オブジェクト毎の優先度の初期値が予め設定され、設定画面８２０にて優先度が設定されない場合には、オブジェクト毎の優先度として、初期値が設定されるようにしてもよい。

優先度に基づいた合成では、例えば、優先度が高いオブジェクトと比べ、優先度が中または低いオブジェクトに対して色の濃度が低く色を薄くする等の処理を行い、優先度が高いオブジェクトを目立たせる様な処理が行われた造形用データが生成される。この様に合成された複数のオブジェクトについて図８（ｄ）を用いて説明する。図８（ｄ）の詳細は後述するが、タイムコードが異なる６つの仮想視点画像の撮像に係る仮想カメラを用いて、６つのオブジェクトの３Dモデル８３１－８３６を合成し、造形用データとして出力された例である。図８（ｄ）では、３Dモデル８３３および３Dモデル８３４は優先度が「高」に設定されており通常の色で合成され、３Dモデル８３１、３Dモデル８３２、３Dモデル８３５および３Dモデル８３６は優先度が「低」に設定されており薄い色で合成されている。この様な優先度の設定を用いることで、注目すべきタイムコードのオブジェクトを強調した造形用データを生成することができる。

なお、複数のオブジェクトが重なった場合、優先度が「高」に設定されたオブジェクトを優先度が「低」に設定されたオブジェクトよりも前面になる様に合成した造形用データを生成してもよい。

Ｓ７１２では、造形用データ生成部２０４は、実際には存在しないが、データベースから取得した３Dモデルの補助を行うための３Ｄモデルを生成する。補助部の３Ｄモデルの生成方法は、Ｓ４０７にて説明した補助部の３Ｄモデルの生成方法と同じであり、その説明を省略する。

Ｓ７１３では、造形用データ生成部２０４は、前ステップであるＳ７１２までの処理にて生成した３Ｄモデル一式を合成し、造形用データを生成する。合成した造形用データ例について、図８（ｄ）を用いて説明する。

図８（ｄ）では、造形用データは、タイムコードや、位置および姿勢が異なる６つの仮想視点画像および仮想カメラを用いて、各々の造形用データの生成範囲に含まれる３Dモデルをデータベース１０３より取得し、合成して生成される。具体的には、造形用データは、人の３Dモデル８３１－８３６と、支柱の３Dモデル８４３、８４４と、台座の３Dモデル８５０とを含む。

これらの元となった人等の前景の３Dモデルと、フィールド等の背景の３Dモデルの座標は、図３（ａ）に示した一つの三次元座標によって表現され、これらの位置関係は、実際のフィールド上の選手の位置関係や姿勢を正確に再現したものである。

また、３Dモデルは同一人物（オブジェクト）であっても、タイムコードの異なる複数の仮想カメラによる撮像で得た仮想視点画像を用いることで、次に示すデータを出力できる。すなわち、それらの描画領域に基づいて造形用データの生成範囲を計算することで、スポーツ選手の一連のプレイを時系列に並ぶ造形用データとして出力できる。

なお、対象となるオブジェクトは１つに限定されず、実施形態１に示したように複数のオブジェクトに対しても、異なる仮想視点画像のタイムコードと、仮想カメラの位置およびその姿勢の仮想カメラとを指定することも当然ながら可能である。

以上説明した通り、本実施形態によれば、ユーザ操作で指定された複数の指定情報に応じたオブジェクトの造形用データを生成することができる。すなわち、指定情報に応じた複数の仮想カメラの描画範囲に基づいて、複数のオブジェクトの造形用データを生成することができる。

例えば、プロのスポーツ選手の一連のプレイ（連続した動き）を合成して１つの３Ｄモデルフィギュアとなるような造形用データとして出力することができる。例えば、バレーボール選手のスパイクシーンや、フィギュアスケート選手のジャンプシーンなどを時系列に並ぶような造形用データを出力することができる。

［その他の実施形態］
上述した実施形態においては、複数の撮像画像に基づいて生成される３Dモデルを使用して生成される仮想視点画像において、造形用データを生成する例について述べた。しかしながらこれに限定されず、例えばコンピュータグラフィック（CG）ソフトなどを使用して生成された３Dモデルを使用した動画像に対しても、本実施形態は適用可能である。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 仮想カメラ制御部
２０４ 造形用データ生成部

Claims (19)

1. オブジェクトの三次元形状を表す形状データを使用して生成される動画像における、立体物の造形用データを生成する対象を特定するための情報を特定する特定手段と、
   前記特定手段により特定された時刻に対応する前記動画像におけるオブジェクトの形状データを取得する取得手段と、
   前記取得手段により取得された形状データに基づいて生成される立体物の造形用データを出力する出力手段と、
   を有することを特徴とする情報処理装置。
2. 前記出力手段は、取得された形状データが前記オブジェクトの造形用データと同じ形式でないとき、当該取得された形状データを出力先の形式に変換して前記立体物の造形用データとして出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記動画像は、複数の撮像装置により取得される複数の撮像画像に基づいて生成される仮想視点画像であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記特定手段は、前記仮想視点画像のタイムコードと、前記仮想視点画像に係る仮想視点の位置および仮想視点からの視線方向とを特定する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記特定手段は、前記仮想視点画像に係る仮想視点の位置および仮想視点からの視線方向に基づき、前記造形用データの対象となるオブジェクトの生成範囲を特定する
   ことを特徴とする請求項３または４に記載の情報処理装置。
6. 前記特定手段は、前記仮想視点画像が表示される表示手段に係る描画範囲に基づき、前記オブジェクトの生成範囲を特定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記特定手段は、前記描画範囲に含まれる背景の構造物の位置に応じて、前記オブジェクトの生成範囲を特定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記出力手段は、前記オブジェクトの位置および姿勢に応じて、当該オブジェクトを支持する支持部を含む前記立体物の造形用データを出力する
   ことを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
9. 前記出力手段は、前記造形用データの生成範囲に含まれる地面を前記オブジェクトの台座とする前記立体物の造形用データを出力する
   ことを特徴とする請求項１から８のいずれか一項に記載の情報処理装置。
10. 前記取得手段は、前記形状データを複数取得し、
    前記出力手段は、取得された複数の形状データに基づいて生成される前記立体物の造形用データを出力することを特徴とする請求項１から９のいずれか一項に記載の情報処理装置。
11. オブジェクト毎に優先度を設定する設定手段を有し、
    前記出力手段は、前記設定手段により設定されたオブジェクト毎の優先度に応じて、取得された複数の形状データを合成することにより取得される前記立体物の造形用データを出力する
    ことを特徴とする請求項９に記載の情報処理装置。
12. 前記出力手段は、前記優先度が高いオブジェクトと比べ、前記優先度が低いオブジェクトに対して色を薄くして生成された前記立体物の造形用データを出力する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記出力手段は、前記複数のオブジェクトが重なる場合、前記優先度が高いオブジェクトを前記優先度が低いオブジェクトよりも前面に配置された前記立体物の造形用データとして出力することを特徴とする請求項１１又は１２に記載の情報処理装置。
14. 前記出力手段は、前記オブジェクトにサブ台座を設け、前記造形用データの生成範囲に含まれる地面を台座とし、前記台座に、前記サブ台座に対応する窪みを設けて生成された前記立体物の造形用データとして出力する
    ことを特徴とする請求項１から１３のいずれか一項に記載の情報処理装置。
15. 前記サブ台座の形状は、対応するオブジェクト毎に異なる
    ことを特徴とする請求項１４に記載の情報処理装置。
16. 請求項１から１４のいずれか一項に記載の情報処理装置と、
    前記情報処理装置の前記出力手段が出力した前記立体物の造形用データを基に、前記オブジェクトの立体物を造形する造形装置と、
    を有することを特徴とするシステム。
17. オブジェクトの三次元形状を表す形状データを使用して生成される動画像における、立体物の造形用データを生成する対象を特定するための情報を特定する特定ステップと、
    前記特定ステップにて特定された時刻に対応する前記動画像におけるオブジェクトの形状データを取得する取得ステップと、
    前記取得ステップにて取得された形状データに基づいて生成される立体物の造形用データを出力する出力ステップと、
    を含むことを特徴とする情報処理方法。
18. コンピュータを、請求項１から１５のいずれか一項に記載の情報処理装置として機能させるためのプログラム。
19. コンピュータを、請求項１６に記載のシステムとして機能させるためのプログラム。

Images