JP2022131778A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】造形物に対応する所定のシーンの仮想視点画像を生成する。【解決手段】仮想視点画像のシーンにおける特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する。生成物の撮像画像を用いて、特定の時刻に対応したシーンの仮想視点画像を生成する。【選択図】図６

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

２次元マーカをスマートフォン等の携帯端末で撮像して得た撮像画像を基に携帯端末の位置およびその姿勢等を算出し、算出した位置および姿勢に応じた仮想視点画像を生成する技術がある。この技術は様々な分野で利用されており、例えば、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する技術で利用されている。特許文献１は、２次元マーカを撮像時に手ぶれなどにより生じる、仮想視点画像の傾きを補正する技術を開示している。

一方、近年、３Ｄプリンタ等を用いて、実在の人物などを撮像又はスキャンして得たオブジェクトの３Ｄモデル（三次元形状を表す形状データ）を基に人物などのフィギュアを生成することも行われている。

特開２０１７ー１３４７７５号公報

人物などのフィギュアを、仮想視点画像のあるシーンに基づいて生成することも可能であるところ、生成されたフィギュアが対応するシーンが元の仮想視点画像のどのシーンであるか等、当該生成されたフィギュアに関する知見を深めたという要望がある。また、仮想視点画像のあるシーンから別の仮想視点に対応する新たな仮想視点画像を生成することもあるが、この場合も、同様に、当該生成された仮想視点画像に関する知見を深めたいという要望がある。

本開示の一態様に係る情報処理装置は、仮想視点画像における特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する取得手段と、前記生成物の撮像画像を用いて、前記特定の時刻に対応したシーンの仮想視点画像を生成する生成手段と、を有することを特徴とする。

本開示によれば、造形物に対応する所定のシーンの仮想視点画像を生成することができる。

情報処理システムの構成例を示す図 データベースが管理する情報例を示す図 第一出力物例および第二出力物例を示す図 画像生成装置の構成例を示す図 仮想カメラを説明する図 第二出力物の生成処理の流れを示すフローチャート 第一出力物例および第二出力物例を示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、特許請求の範囲に係る本開示を限定するものではなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、その説明を省略する。

［実施形態１］
本実施形態では、仮想視点画像の生成で用いた３Dモデルと同じ３Dモデルを基に生成された生成物の撮像画像から、生成物の生成で用いたDモデルと同じ３Dモデルに対応する仮想視点画像を生成する又はそれに関する情報を取得する態様について説明する。なお、仮想視点画像とは、エンドユーザおよび／または選任のオペレータなどが仮想視点に対応するカメラ（仮想カメラ）の位置および姿勢（向き）を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。仮想視点画像は、動画であっても、静止画であってもよいが、本実施形態では動画の場合を例に説明する。３Dモデルは、オブジェクトの三次元形状を表す形状データである。

（システムの構成）
図１は、第一出力物（生成物）の撮像画像を基に、第一出力物の３Dモデルに対応する仮想視点画像またはそれに関する情報を第二出力物として生成する情報処理システム（仮想視点画像生成システム）の構成例を示す図である。図１（ａ）に情報処理システム１００の構成例を示し、図１（ｂ）に情報処理システムが有するセンサシステムの設置例を示す。情報処理システム（仮想視点画像生成システム）１００は、データベース１０３と、画像生成装置１０４と、携帯端末１０５と、造形装置１０６とを有する。

データベース１０３は、イベント情報および３Dモデル情報などを管理する。イベント情報は、撮像対象のイベントの全タイムコードに対応付けられた、オブジェクト毎の３Ｄモデル情報の格納先を示すデータを含む。オブジェクトは、ユーザが造形したい人およびものを含んでもよいし、造形対象でない人および物を含んでもよい。３Dモデル情報は、オブジェクトの３Dモデルに関する情報を含む。

これら情報は、例えば、情報処理システム１００が有するセンサシステムで取得した情報でもよいし、情報処理システム１００と異なる別のシステムが有するセンサシステムで取得した情報でもよい。センサシステムは、例えば、図１（ｂ）に示すように、それぞれは少なくとも１台の撮像装置であるカメラを有するセンサシステム１０１ａ－１０１ｎを有する。なお、以下では、特に説明がない限り、センサシステム１０１ａからセンサシステム１０１ｎまでのｎ台のセンサシステムを区別せず、複数センサシステム１０１と表記する。複数センサシステム１０１は、撮像の対象領域である領域１２０を囲むように設置され、複数センサシステム１０１のカメラは、それぞれ異なる方向から領域１２０を撮像する。仮想カメラ１１０は、複数センサシステム１０１のカメラと異なる方向から、領域１２０を撮像する。仮想カメラ１１０の詳細については後述する。

撮像対象が、ラグビーやサッカー等のプロスポーツの試合である場合、領域１２０はスタジアムのフィールドとなり、ｎ台（例えば１００台）の複数センサシステム１０１は、フィールドを囲むように設置される。また、撮像対象の領域１２０にはフィールド上の人だけでなくボールやその他の物体があってもよい。なお、撮像対象はスタジアムのフィールドに限定されず、アリーナ等で行われる音楽ライブや、スタジオで行われるＣＭ撮影であってもよく、複数センサシステム１０１が設置できればよい。なお、設置されるセンサシステム１０１の台数は限定されない。また、複数センサシステム１０１は領域１２０の全周に渡って設置されていなくてもよく、設置場所の制限等によっては領域１２０の周囲の一部にのみ設置されてもよい。また、複数センサシステム１０１が有する複数のカメラには、望遠カメラと広角カメラなど機能が異なる撮像装置が含まれていてもよい。

複数センサシステム１０１が有する複数のカメラは同期して撮像を行い、複数の画像を取得する。なお、複数の画像のそれぞれは、撮像画像であってもよいし、撮像画像に対して例えば所定の領域を抽出する処理などの画像処理を行うことで得られた画像であってもよい。

なお、センサシステム１０１ａ－１０１ｎそれぞれは、カメラに加えてマイク（不図示）を有してもよい。複数センサシステム１０１それぞれのマイクは同期して音声を収音する。この収音された音声に基づき、画像生成装置１０４における画像の表示と共に再生される音響信号を生成することができる。以降、説明の簡略化のため、音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

複数センサシステム１０１が取得した複数の画像と、撮像に使用したタイムコードとは、合わされてデータベース１０３に記憶される。タイムコードとは、撮像した時刻を一意に識別するための絶対値で表される時間情報あって、例えば、日：時：分：秒．フレーム番号の様な形式で指定可能な時間情報である。

データベース１０３が管理するイベント情報および３Dモデル情報のテーブル例について図を用いて説明する。図２は、データベース１０３が管理する情報のテーブル例を示す図であり、図２（ａ）にイベント情報のテーブルを示し、図２（ｂ）に３Ｄモデル情報のテーブルを示す。データベース１０３が管理するイベント情報のテーブル２１０は、図２（ａ）に示すように、撮像対象のイベントの全てのタイムコードについて、オブジェクト毎の３Ｄモデル情報の格納先を示している。イベント情報のテーブル２１０では、例えば、タイムコードが「１６：１４：２４．０４１」であり、オブジェクトがオブジェクトＡである３Ｄモデル情報の格納先が、「ＤａｔａＡ１００」であることを示している。なお、イベント情報のテーブル２１０は、全てのタイムコードに限定されず、一部のタイムコードについて３Ｄモデル情報の格納先を示していてもよい。タイムコードは撮像した時刻を一意に識別するための絶対値であって、例えば、「日：時：分：秒．フレーム番号」の様な形式で指定可能である。

データベース１０３が管理する３Ｄモデル情報のテーブル２２０は、図２（ｂ）に示すように、「３Ｄモデル」、「テクスチャ」、「平均座標」、「重心座標」、「最大・最小座標」の各項目についてのデータが格納されている。「３Ｄモデル」には、例えば、点群やメッシュ等の３Ｄモデルそのものに関するデータが格納されている。「テクスチャ」には、３Ｄモデルに付与するテクスチャ画像に関するデータが格納されている。「平均座標」には、３Ｄモデルを構成する点群の座標の全てを平均した点の座標に関するデータが格納されている。「重心座標」には、３Ｄモデルを構成する点群の座標の全てを基に重心となる点の座標に関するデータが格納されている。「最大・最小座標」には、３Ｄモデルを構成する点群の座標のうち最大・最小となる点の座標に関するデータが格納されている。なお、３Ｄモデル情報のテーブル２２０に格納されるデータの項目は、「３Dモデル」、「テクスチャ」、「平均座標」、「重心座標」、「最大・最小座標」の全てに限らない。例えば、「３Dモデル」および「テクスチャ」だけでもよいし、この項目に他の項目を加えてもよい。また、データベース１０３は、３Dモデルに関する情報（不図示）を管理する。３Dモデルに関する情報は、撮像対象がラグビーの試合であれば、ラグビーの試合の開催日および開催場所や対戦カードに関する情報、ラグビー選手に関する情報などを含む。

図２に示す情報を使用することで、あるタイムコードが指定されると、指定されたタイムコードにおける３Ｄモデル情報として、オブジェクト毎の３Ｄモデルやテクスチャ画像を取得することができる。例えば、図２（ａ）では、タイムコード「１６：１４：２４．０４１」におけるオブジェクトＮの３Dモデル情報としてＤａｔａN１００を取得できる。その他のタイムコードやオブジェクトに対する３Ｄモデル情報も同様に指定することで取得可能である。また、あるタイムコードを指定し、そのタイムコードにおける全オブジェクトの３Dモデル情報をまとめて取得してもよい。例えば、タイムコード「１６：１４：２５．０２１」を指定し、全オブジェクトの３Ｄモデル情報ＤａｔａＡ１４１、ＤａｔａＢ１４１、・・・、ＤａｔａＮ１４１を取得してもよい。

上述の様に複数センサシステムの撮像で得た画像を多視点画像と呼び、この様な多視点画像からオブジェクトの三次元形状を表す３Ｄモデルを生成することができる。具体的には、多視点画像から、人物やボール等のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得され、複数の前景画像に基づいて前景の３Ｄモデルをオブジェクト毎に生成することができる。これらの３Ｄモデルは、例えばＶｉｓｕａｌ Ｈｕｌｌ等の形状推定方法により生成され、点群で構成される。ただし、オブジェクト毎の形状を表す３Dモデルのデータ形式はこれに限定されない。そして、この様に生成された３Ｄモデルは、タイムコード毎およびオブジェクト毎にデータベース１０３へ記録される。なお、３Ｄモデルの生成方法はこれに限定されず、データベース１０３に３Ｄモデルが記録されていればよい。

なお、フィールドや観客席などの背景のオブジェクトの３Dモデルに関して、タイムコード００：００：００．０００等に３Ｄモデル情報としてデータベース１０３へ記録してもよい。

図１（ａ）の説明に戻る。画像生成装置１０４は、データベース１０３から３Ｄモデルを取得し、取得した３Ｄモデルを基に仮想視点画像を生成する。具体的には、画像生成装置１０４は、取得した３Ｄモデルを構成する点毎に、多視点画像から適切な画素値を取得して色付け処理を行う。そして色付けされた３Ｄモデルを三次元の仮想空間に配置して、仮想カメラへ投影してレンダリングすることで、仮想視点画像を生成する。また、画像生成装置１０４は、仮想視点画像に関する情報を生成する。

仮想カメラ１１０は、例えば、図１（ｂ）に示すように、対象となる領域１２０に関連付けられた仮想空間内に設定され、複数センサシステム１０１のどのカメラとも異なる視点から領域１２０を閲覧できる。仮想カメラ１１０の視点は、その位置および姿勢によって決定される。仮想カメラ１１０の位置および姿勢の詳細については後述する。

画像生成装置１０４は、仮想カメラの位置および姿勢を、携帯端末１０５から送られる情報によって決定してもよい。この処理の詳細に関しては図を用いて後述する。

仮想視点画像は、仮想カメラ１１０からの見えを表す画像であり、自由視点映像とも呼ばれる。画像生成装置１０４で生成された仮想視点画像やそれに関する情報は、画像生成装置１０４に表示してもよいし、撮像データの送信元である別デバイスの携帯端末１０５へ応答として返信されて携帯端末１０５に表示してもよい。当然、仮想視点画像は画像生成装置１０４および携帯端末１０５の両方に表示してもよい。

造形装置１０６は、例えば、３Dプリンタなどであり、画像生成装置１０４によって生成された仮想視点画像を基に、例えば人形（３Dモデルフィギュア）などの第一出力物１０７を造形する。第一出力物１０７は、データベース１０３に記録された３Ｄモデルに基づき生成される出力物であって、本実施形態では、携帯端末１０５によって撮像される対象物である。第一出力物の例として、３Ｄプリンタ等の造形装置１０６によって、３Ｄモデルを用いて造形された３Ｄモデルフィギュア等が挙げられる。ここで、第一出力物１０７例である３Ｄモデルフィギュアについて図を用いて説明する。

図３は、３Ｄモデルフィギュアを撮像し、この撮像画像を基に３Ｄモデルフィギュアの関連情報を生成する処理を説明する図である。図３（ａ）に３Ｄモデルフィギュア例を示し、図３（ｂ）に図３（ａ）の３Ｄモデルフィギュアの撮像画像例を示し、図３（ｃ）に図３（ａ）の３Ｄモデルフィギュアに対応する仮想視点画像例を示す。図３（ａ）では、データベース１０３にラグビーの試合を対象とした３Ｄモデルが記録されていて、あるタイムコードにおける３Dモデルを用いた造形例を示している。具体的には、ラグビーの試合中に得点に繋がる様な決定的シーンとしてオフロードパスが行われた場面が選ばれ、そのタイムコードに対応付けられた３Ｄモデルを用いて造形された例を示している。

図３（ａ）に示すように、３Ｄモデルフィギュアは、台座３０１と、第１フィギュア体３０２と、第２フィギュア体３０３と、第３フィギュア体３０４とを有する。第１フィギュア体３０２、第２フィギュア体３０３および第３フィギュア体３０４は、それぞれオブジェクトである各選手に対応しており、台座３０１の上に固定されている。図３（ａ）では、第３フィギュア体３０４の選手がボールを持って、オフロードパスをする瞬間の３Ｄモデルフィギュアとなっている。

また、台座３０１の前面および側面には、携帯端末１０５で撮像時の撮像方向および姿勢等の情報を保持する２次元コード３１１、３１２が付与されている。図３（ａ）に示される第一出力物の台座３０１には２つの２次元コード３１１、３１２が付与されるが、第一出力物に付与される２次元コードの数および位置はこれに限定されない。また、２次元コードに含まれる情報は撮像方向および姿勢だけでなく、３Ｄモデルが撮像された試合情報などの、第一出力物に関連する画像情報を含めてもよい。なお、第一の出力物に情報を付与する形態は２次元コードに限定されず、透かし情報などの他の形態でもよい。

第一出力物１０７は、３Ｄモデルフィギュアのような立体物に限定されず、データベース１０３にある３Ｄモデルを使用し生成されたものであればよい。例えば、プレートなどに印字される造形物でもよいし、ディスプレイに表示される仮想視点画像でもよい。

画像生成装置１０４が、データベース１０３にある３Ｄモデルを取得してから、造形装置１０６へ出力し、３Ｄモデルフィギュアなどの第一出力物１０７を造形してもよい。

図１の説明に戻る。携帯端末１０５は、３Ｄモデルフィギュアなどの第一出力物１０７を撮像し、その撮像データを画像生成装置１０４へ送信する。撮像データ（撮像画像）は、画像データでもよいし、画像データに属性情報を含めたデータでもよい。ここで、撮像画像例について、図３（ｂ）を用いて説明する。図３（ｂ）では、第一出力物として図３（ａ）に示した３Ｄモデルフィギュアを撮像して得た画像が携帯端末の表示部に表示された状態を示している。携帯端末１０５は、第一出力物の撮像データを画像生成装置に送信し、その応答として、画像生成装置１０４が生成した仮想視点画像や、それに関する画像情報を第二出力物として受け取って表示する。これらの処理の詳細については図を用いて後述する。

なお、本実施形態では仮想視点画像が動画の場合を中心に説明するが、静止画でもよい。

（画像生成装置の構成）
画像生成装置１０４の構成例について図を用いて説明する。図４は、画像生成装置１０４の構成例を示す図であり、図４（ａ）に画像生成装置１０４の機能構成例を示し、図４（ｂ）に画像生成装置１０４のハードウェア構成例を示す。

画像生成装置１０４は、図４（ａ）に示すように、撮像データ処理部４０１と、仮想カメラ制御部４０２と、３Ｄモデル取得部４０３と、画像生成部４０４と、出力データ制御部４０５とを有する。画像生成装置１０４は、前述の機能部を使用し、３Ｄモデルから生成された第一出力物を撮像して得た撮像データを用いて、同３Ｄモデルから生成される仮想視点画像や、それに関する画像情報を第二出力物として生成する。ここでは、各機能の概要を説明し、各処理の詳細については後述する。

撮像データ処理部４０１は、携帯端末１０５が第一出力物を撮像して得た撮像データを受け取る。そして、撮像データ処理部４０１は、受け取った撮像データから、第一出力物の生成情報を取得する。第一出力物の生成情報とは、第一出力物を生成するためのデータを識別するための情報である。例えば、第一出力物の元になった３Ｄモデルが記録されたデータベースの識別子、その３Ｄモデルのタイムコードなどである。データベースの識別子は、対応するデータベースを一意に識別するための情報である。よって、これらの情報によって第一出力物の元になった３Ｄモデルを一意に識別することができる。

また、撮像データ処理部４０１は、撮像データより、第一出力物を撮像した撮像装置の位置およびその姿勢や、焦点距離等の情報（以降、撮像情報と呼ぶ）を取得する。撮像装置の位置およびその姿勢は、撮像データに含まれる２次元コード３１１、３１２等から取得してもよいし、その他の方法で取得してもよい。その他の取得方法例については実施形態２に示す。

なお、撮像データより取得できる第一出力物の生成情報や、撮像情報は、これらに限定されない。例えば、第一出力物がスポーツの試合に関するものであれば、試合結果や対戦チーム情報の関連情報等が含まれてもよい。

仮想カメラ制御部４０２は、撮像データ処理部４０１を介して取得した撮像装置の位置およびその姿勢や焦点距離に応じて仮想カメラを制御する。仮想カメラや、その位置およびその姿勢の詳細については、図を用いて後述する。

３Ｄモデル取得部４０３は、撮像データ処理部４０１を介して取得したデータベースの識別子やタイムコードを指定し、データベース１０３から該当する３Ｄモデルを取得する。なお、タイムコードは、携帯端末１０５に対するユーザ操作などにより指定されてもよい。

画像生成部４０４は、３Ｄモデル取得部４０３が取得した３Ｄモデルを基に仮想視点画像を生成する。具体的には、画像生成部４０４は、３Ｄモデルを構成する点毎に、画像から適切な画素値を取得して色付け処理を行う。そして、画像生成部４０４は、色付けされた３Ｄモデルを三次元の仮想空間に配置し、仮想カメラ制御部４０２が制御した仮想カメラ（仮想視点）へ投影してレンダリングすることで、仮想視点画像を生成する。

ここで生成される仮想視点画像は、撮像データ処理部４０１が第一出力物の撮像データより取得した第一出力物の生成情報（３Ｄモデルを識別する情報）と、撮像情報（第一出力物を撮像した撮像装置位置およびその姿勢等）を用いて、生成されたものとなる。

なお、仮想視点画像の生成方法は、これに限定されず、３Ｄモデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を使用してもよい。

出力データ制御部４０５は、画像生成部４０４が生成した仮想視点画像を第二出力物として外部装置、例えば、携帯端末１０５へ出力する。また、撮像データ処理部４０１が取得した第一出力物に関する関連情報を、第二出力物として外部装置へ出力してもよい。

なお、出力データ制御部４０５は、３Ｄモデルから造形用データを生成し、生成した造形用データを造形装置１０６に出力して、造形装置１０６にて第一出力物を得てもよい。

（画像生成装置のハードウェア構成）
次に、画像生成装置１０４のハードウェア構成について、図４（ｂ）を用いて説明する。画像生成装置１０４は、図４（ｂ）に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、操作入力部４１４と、表示部４１５と、通信Ｉ／Ｆ（インターフェイス）部４１６とを有する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１２やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１３に格納されるプログラムやデータを用いて処理する。

ＣＰＵ４１１は、画像生成装置１０４の全体の動作制御を行い、図４（ａ）に示す各機能を実現するための処理を実行する。なお、画像生成装置１０４がＣＰＵ４１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアとして、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ４１３は、プログラムやデータを保持する。ＲＡＭ４１２は、ＲＯＭ４１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ４１２は、ＣＰＵ４１１が各処理を実行する際に用いるワークエリアを提供する。

操作入力部４１４は、例えばタッチパネルであり、ユーザによる入力操作を受け付け、受け付けたユーザ操作で入力された情報を取得する。入力情報としては、例えば、仮想カメラに関する情報や生成対象の仮想視点画像のタイムコードに関する情報などが挙げられる。なお、操作入力部４１４は、外部コントローラと接続し、操作に関するユーザからの入力情報を受け付けてもよい。外部コントローラは、例えば、ジョイスティック等の三軸コントローラやマウスなどの操作装置である。なお、外部コントローラは、これらに限定されない。

表示部４１５は、タッチパネルやスクリーンであって生成した仮想視点画像を表示する。タッチパネルの場合は操作入力部４１４と表示部４１５が一体となった構成となる。

通信Ｉ／Ｆ部４１６は、例えば、ＬＡＮなどを介し、データベース１０３、携帯端末１０５、造形装置１０６などと情報の送受信を行う。また、通信Ｉ／Ｆ部４１６は、次に示す通信規格に対応する画像出力ポートを介して、外部スクリーンへ情報を送信してもよい。通信規格に対応する画像出力ポートとしては、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などが挙げられる。また、通信Ｉ／Ｆ部４１６は、例えば、イーサネットなどを介して、データベース１０３より３Ｄモデル情報などを取得する。通信Ｉ／Ｆ部４１６は、例えば、イーサネットや近距離通信等を介して、携帯端末１０５から撮像データの受信や、仮想視点画像やそれに関する画像情報等の第二出力物の送信を行う。

（仮想視点（仮想カメラ）およびその操作画面）
仮想カメラ１１０とその位置および姿勢について図を用いて説明する。図５は、仮想カメラ１１０とその位置および姿勢を説明する図である。図５（ａ）に座標系を示し、図５（ｂ）に図５（ａ）の座標系を適用するフィールド例を示し、図５（ｃ）および図５（ｄ）に仮想カメラの描画領域例を示し、図５（ｅ）に仮想カメラの移動例を示す。

まず、仮想指定を設定する際の基準となる、撮像対象の三次元空間を表す座標系について説明する。図５（ａ）に示すように、本実施形態では、三次元空間をＸ軸・Ｙ軸・Ｚ軸の３軸で表した直交座標系が用いられる。この直交座標系を、図５（ｂ）に示す各オブジェクト、すなわち、ラグビー場のフィールド５９１、その上に存在するボール５９２、選手５９３などに設定する。さらに、フィールド５９１の周辺にある観客席や看板などラグビー場内の設備に設定してもよい。具体的には、原点（０、０、０）をフィールド５９１の中心に設定する。そして、Ｘ軸をフィールド５９１の長辺方向に、Ｙ軸をフィールド５９１の短辺方向に、Ｚ軸をフィールドに対して鉛直方向に設定する。なお、各軸の方向は、これらに限定されない。このような座標系を使用し、仮想カメラ１１０の位置およびその姿勢が設定される。

続いて、仮想カメラの描画範囲について図を用いて説明する。図５（ｃ）に示す四角錐５００において、頂点５０１が仮想カメラ１１０の位置を表し、頂点５０１を基点とする視線方向のベクトル５０２が仮想カメラ１１０の姿勢を表す。なお、ベクトル５０２は、仮想カメラの光軸ベクトルとも呼ばれる。仮想カメラの位置は、各軸の成分（ｘ，ｙ，ｚ）で表現され、仮想カメラ１１０の姿勢は、各軸の成分をスカラーとする単位ベクトルで表現される。仮想カメラ１１０の姿勢を表すベクトル５０２は、前方クリップ面５０３と後方クリップ面５０４の中心点を通るものとする。３Dモデルの投影範囲（描画範囲）となる仮想カメラの視錐台は、前方クリップ面５０３と後方クリップ面５０４に挟まれた空間５０５である。

続いて、仮想カメラの描画範囲を示す成分について図を用いて説明する。図５（ｄ）は、図５（ｃ）の仮想視点を上（Ｚ軸）から見た図である。描画範囲は次の値によって決定される。頂点５０１から前方クリップ面５０３までの距離５１１と、頂点５０１から後方クリップ面５０４までの距離５１２と、仮想カメラ１１０の画角５１３の各値は、予め設定された所定値（規定値）でもよいし、ユーザ操作で所定値が変更された設定値でもよい。また、画角５１３は別途、仮想カメラ１１０の焦点距離を変数とし、この変数を基に求められる値でもよい。なお、画角と焦点距離との関係は一般的な技術でありその説明を省略する。

次に、仮想カメラ１１０の位置の変更（仮想視点の移動）と仮想カメラ１１０の姿勢の変更（回転）について説明する。仮想視点は、三次元座標で表現された空間内において、移動および回転させることができる。図５（ｅ）は、仮想カメラの移動および回転を説明する図である。図５（ｅ）において、１点鎖線の矢印５０６が仮想カメラ（仮想視点）の移動を表し、１点鎖線の矢印５０７が当該移動した仮想カメラ（仮想視点）の回転を表している。仮想カメラの移動は各軸の成分（ｘ、ｙ、ｚ）で表現され、仮想カメラの回転は、Ｚ軸回りの回転であるヨー（Ｙａｗ）、Ｘ軸回りの回転であるピッチ（Ｐｉｔｃｈ）、Ｙ軸回りの回転であるロール（Ｒｏｌｌ）で表現される。このように仮想カメラは被写体（フィールド）の三次元空間を自由に移動及び回転できることから、被写体の任意の領域が描画範囲となる仮想視点画像として生成できる。

本実施形態では、前述の様に、携帯端末１０５等で撮像された第一出力物１０７（３Ｄモデルフィギュア等）の撮像データから撮像情報として撮像装置の位置およびその姿勢や焦点距離を取得する。そして、取得した撮像装置の位置およびその姿勢や焦点距離の値に応じて、仮想カメラを移動および回転する等の制御を行うことになる。

（第二出力物の生成処理）
続いて、画像生成装置１０４における、第二出力物の生成処理について図を用いて説明する。図６は、第二出力物の生成処理の流れを示すフローチャートである。オブジェクトの三次元形状を示す形状データ（３Ｄモデル）から生成された第一出力物を撮像して得た撮像データを基に、前記３Ｄモデルから生成される仮想視点画像、又はそれに関する画像情報等を第二出力物として生成する処理について、図を用いて説明する。なお、この一連の処理は、ＣＰＵ４１１が所定のプログラムを実行して、図４（ａ）に示した各機能部を動作させることで実現される。以下、ステップを「Ｓ」と表記する。なお、以降の説明でも同様とする。

Ｓ６０１では、画像生成部４０４は、第一出力物１０７を撮像して得た撮像データを読み込む。具体的には、画像生成部４０４は、撮像データ処理部４０１を介して、第一出力物１０７を携帯端末１０５等で撮像した、撮像データを取得する。第一出力物１０７は、例えば、データベース１０３にある３Ｄモデルを基に造形装置１０６が出力した３Ｄモデルフィギュアなどである。第一出力物１０７としては、例えば、図３（ａ）に示す３Ｄモデルフィギュアなどが挙げられる。

Ｓ６０２では、画像生成部４０４は、Ｓ６０１の処理で取得した撮像データから第一出力物の生成情報（データベースの識別子やタイムコード）と、撮像情報（撮像装置の位置およびその姿勢や焦点距離）とを取得する。撮像データとしては、例えば、図３（ｂ）に示す画像などが挙げられる。撮像情報の取得方法としては、例えば、上述の画像生成装置の構成にて説明した２次元コードから取得する方法などが挙げられる。取得した撮像データが図３（ｂ）の画像である場合、この画像に含まれる２次元コード３１１から、第一出力物の元になった３Ｄモデルが含まれるデータベースの識別子やタイムコードと、撮像装置の位置およびその姿勢に関する情報とが取得されることになる。

Ｓ６０３では、画像生成部４０４は、Ｓ６０２の処理で取得した第一出力物の生成情報に含まれるデータベースの識別子およびタイムコードを用いて、該当する３Ｄモデルをデータベース１０３より取得する。

Ｓ６０４では、画像生成部４０４は、Ｓ６０２の処理で取得した撮像情報に含まれる撮像装置の位置およびその姿勢や焦点距離に応じて仮想カメラを移動および回転するなどの制御を行う。そして、画像生成部４０４は、制御後の仮想カメラと、Ｓ６０３で取得した３Ｄモデルを用いて、仮想視点画像を第二出力物として生成する。仮想視点画像の生成方法としては、例えば、上述の画像生成装置の構成にて説明した仮想視点画像の生成方法などが挙げられる。

ここで、第二出力物例である仮想視点画像について図３（ｃ）を用いて説明する。図３（ｃ）では、撮像データより取得したタイムコードに対応付けられた３Ｄモデルと、撮像データより取得した位置および姿勢の仮想カメラを用いて生成された仮想視点画像を示している。言い換えると、図３（ａ）の３Ｄモデルフィギュア（第一出力物）と、図３（ｃ）の仮想視点画像（第二出力物）とは、同じタイムコードに対応付けられた３Dモデルを、同じ位置および方向から見た様なものとなる。なお、操作画面３２０は、仮想カメラ１１０の位置およびその姿勢を設定するユーザ操作を受け付ける仮想カメラ操作領域３２２と、タイムコードを設定するユーザ操作を受け付けるタイムコード操作領域３２３とを有する。まず、仮想カメラ操作領域３２２について説明する。操作画面３２０がタッチパネルに表示されることから、仮想カメラ操作領域３２２では、ユーザ操作として、タップ、スワイプ、ピンチイン・アウト等の一般的なタッチ操作３２５を受け付ける。このタッチ操作３２５によって、仮想カメラの位置や焦点距離（画角）が調整される。また、仮想カメラ操作領域３２２では、ユーザ操作として、直交座標系の各軸を押し続ける等のタッチ操作３２４を受け付ける。このタッチ操作３２４によって、Ｘ軸、Ｙ軸またはＺ軸周りに仮想カメラ１１０が回転し、仮想カメラの姿勢が調整される。このように操作画面３２０における各々のタッチ操作に対し仮想カメラの移動や回転や拡縮を割り当てておくことで、仮想カメラ１１０を自由に操作することができる。これらの操作方法は公知でありその説明を省略する。

次に、タイムコード操作領域３２３について説明する。タイムコード操作領域３２３は、メイン・スライダー３３２および摘み３４２を有しており、タイムコードを操作する複数要素を有する。タイムコード操作領域３２３は、出力ボタン３５０を有する。

メイン・スライダー３３２は、撮像データの全タイムコードのうちの所望のタイムコードに設定する操作を行うことができる入力要素である。摘み３４２の位置がドラッグ操作等で所望の位置に移動されると、摘み３４２の位置に対応するタイムコードが指定される。すなわち、メイン・スライダー３３２の摘み３４２の位置を調整することで、任意のタイムコードが指定されることになる。

Ｓ６０４の処理では、第一出力物の生成情報に含まれるタイムコードをそのまま使用せずに、その少し前のタイムコードから少し後のタイムコードまでの所定の範囲のタイムコードを使用してもよい。この場合、この所定の範囲のタイムコードに対応付けられる３Ｄモデルを取得することになる。そのため、第一出力物である３Ｄモデルフィギュアとして造形された決定的シーンを、その少し前のタイムコードから一連のプレーを第二出力物である仮想視点画像として見ることができる様になる。この様に再生される仮想視点画像を、図３（ｄ）－図３（ｆ）の順に示す。

図３（ｅ）では、先に説明した図３（ｃ）の仮想視点画像と同じ仮想視点画像３６２であって、図３（ａ）の第一出力物である３Dモデルフィギュアと同じタイムコード（Ｔ１）の３Dモデルを使用し生成された仮想視点画像３６２を示している。図３（ｄ）では、図３（ｅ）に示す仮想視点画像３６２の少し前のタイムコード（Ｔ１－Δｔ１）の３Dモデルを使用し生成された仮想視点画像３６１を示している。図３（ｆ）では、図３（ｅ）に示す仮想視点画像３６２の少し後のタイムコード（Ｔ１＋Δｔ１）の３Dモデルを使用し生成された仮想視点画像３６３を示している。第一出力物である３Dモデルフィギュアを携帯端末１０５等で撮像時に、第二出力物の仮想視点画像として図３（ｄ）、図３（ｅ）、図３（ｆ）の順番で、携帯端末１０５等で再生することができる。当然ながら図３（ｄ）に示す仮想視点画像３６１と図３（ｆ）に示す仮想視点画像３６３との間には図示されないフレームがあり、タイムコード（Ｔ１－Δｔ１）からタイムコード（Ｔ１＋Δｔ１）までの仮想視点画像を６０ｆｐｓ等で再生することができる。前述の少し前のタイムコード（Ｔ１－Δｔ１）から少し後のタイムコード（Ｔ１＋Δｔ１）の幅（２Δｔ１）に関しては、予め、第一出力物の生成情報に含めておいてもよいし、ユーザ操作によって指定してもよい。なお、仮想カメラの位置および姿勢に関し、第一出力物を撮像した撮像画像（図３（ｂ）等）から取得される位置および姿勢を該タイムコードの仮想視点画像（図３（ｅ））へ用い、その他のタイムコードの仮想視点画像には異なる位置および姿勢を用いてもよい。タイムコードや位置および姿勢の調整は、例えば、携帯端末１０５において、ユーザ操作によるタイムコードの摘み３４２の位置を調整や、出力ボタン３５０へのタップ操作によって行ってもよい。

なお、生成した第二出力物の仮想視点画像を携帯端末１０５へ送信し、携帯端末１０５の画面に表示してもよいし、仮想視点画像以外にも、仮想視点画像に関する画像情報として、例えば試合結果などの情報も表示してもよい。

以上説明した通り、本実施形態によれば、仮想視点画像の生成で用いた３Ｄモデルと同じ３Ｄモデルを基に出力された出力物の撮像画像から、出力物の生成で用いた３Dモデルと同じ３Ｄモデルに対応する仮想視点画像又はそれに関する画像情報を出力できる。すなわち、仮想視点画像における特定の時刻に対応したシーンに基づいて生成された３Ｄモデルフィギュアを撮像して撮像画像を取得し、この３Ｄモデルフィギュアの撮像画像を用いて、前記特定の時刻に対応したシーンの仮想視点画像を生成することができる。

例えば、ラグビーの試合を対象とした３Ｄモデルを使用する場合、３Ｄモデルフィギュアを携帯端末で撮像したときに、少なくとも同タイムコードにおける同じ３Ｄモデルを使用した仮想視点画像を表示することができる。

また、そのときに、３Ｄモデルフィギュアを撮像した方向と、同じ方向から見た仮想視点画像を表示することができる。

また、上記では、撮像データから得た２次元コードを基に対応する３Dモデルを特定し、特定した３Dモデルに対応する仮想視点画像を生成する場合について説明したが、対応する３Dモデルの特定方法は、２次元コードを用いた手法に限定されない。例えば、各シーンにおいてオブジェクトの特徴量（例えば、選手のユニフォームの色や背番号など）を抽出して複数のパターンを作成しデータベースで予め管理しておき、パターンマッチングなどの画像処理結果を基に、対応する３Dモデルを特定してもよい。このように対応する３Dモデルを特定することで、特定した３Dモデルに対応する仮想視点画像、または仮想視点画像に関する画像情報などを生成することができる。

［実施形態２］
本実施形態では、仮想視点画像の生成に用いられる３Ｄモデルを基に生成された第一出力物を携帯端末等で撮像して得た撮像データから詳細な位置および姿勢を取得し、その位置および姿勢と同じ３Ｄモデルを用いて第二出力物を生成する態様について説明する。

本実施形態では、情報処理システムの構成は図１、画像生成装置の構成は図４と同様であるためその説明を省略し、差分について説明する。

実施形態１において説明した、携帯端末１０５で撮像した第一出力物の撮像データを、画像生成装置１０４において処理し、撮像データに含まれる情報に基づいて第二出力物を生成する構成は同じである。本実施形態においても、第二出力物の生成処理のフローチャートは、図６と同じ様に実行できるが、Ｓ６０４における撮像データの処理方法が実施形態１と異なる。

本実施形態では、携帯端末１０５で第一出力物を撮像して得た撮像データの画角を用いて、第二出力物を生成することになる。このような第一出力物の撮像データの画角を反映した第二出力物を生成することに関して、図７を用いて説明する。

図７は、３Ｄモデルフィギュアを撮像し、この撮像画像を基に３Ｄモデルフィギュアの関連情報を生成する処理を説明する図である。図７（ａ）に、図３（ａ）と同様の第一出力物例である３Ｄモデルフィギュア例を示す。図７（ｂ）に図７（ａ）の３Ｄモデルフィギュアの撮像画像例を示し、図７（ｃ）に図７（ａ）の３Ｄモデルフィギュアに対応するオブジェクトが存在する仮想視点画像例を示す。

図７（ａ）に示すように、３Ｄモデルフィギュアは、台座３０１と、第１フィギュア体３０２と、第２フィギュア体３０３と、第３フィギュア体３０４とを有する。第１フィギュア体３０２、第２フィギュア体３０３および第３フィギュア体３０４は、それぞれオブジェクトである各選手に対応しており、台座３０１の上に固定されている。台座３０１の上面において、前面の近傍には、座標を認識するための、マーカ７０１と、マーカ７０２と、マーカ７０３とが付与さる。便宜上、これらマーカ７０１－７０３を座標マーカと呼ぶ（キャリブレーション・ターゲット等とも呼ばれる）。なお、座標マーカ７０１－７０３は可視であっても透かし情報などで不可視であってもよい。第一出力物に付与できる座標マーカの数は３つに限定されず３つより少なくても３つより多くてもよい。座標マーカ７０１－７０３が付与される場所も、台座３０１に限定されない。座標マーカ７０１－７０３は、例えば、フィギュア体３０２－３０４のユニフォームや背番号等に目立たない様に付与されてもよい。また、座標マーカ７０１－７０３は、台座３０１上のフィールドおよびライン等に目立たない様に埋め込まれてもよい。なお、それぞれの座標マーカ７０１－７０３の形状は限定されず、各座標マーカ７０１－７０３を一意に識別できるものであればよい。

図７（ｂ）に示すように、撮像データには、座標マーカ７０１－７０３が含まれる。これらの複数の座標マーカ７０１－７０３から座標情報を取得し、取得した座標情報を用いて撮像時の携帯端末１０５の位置および座標を正確に計算できる。なお、この計算方法はカメラキャリブレーション等と呼ばれ、様々な手法が公知であるため説明を省略する。なお、手法に応じて計算に必要となる座標マーカの数（例えば、６点）は異なることから、携帯端末１０５で第一出力物を撮像時に必要数の座標マーカが含まれない場合、携帯端末１０５の画面に警告画像を表示し、必要数の座標マーカの撮像を報知してもよい。

第一出力物に含まれる座標マーカ７０１－７０３は、図５（ａ）に示す座標系に基づき、各座標が規定される。これは、データベース１０３に含まれる３Ｄデータと同じ座標系であるため、カメラキャリブレーションによって得られる撮像カメラの位置および姿勢は、３Ｄモデルと同じ座標系で取得することができる。よって、本実施形態では、撮像データから取得される位置および座標と、焦点距離とを用いて、生成される仮想視点画像は、撮像した携帯端末１０５と同じ画角とすることが可能となる。この様に生成された第二出力物例である仮想視点画像を図７（ｃ）に示す。図７（ｂ）および図７（ｃ）から分かるように、図７（ｂ）の３Dモデルフィギュア（第一出力物）を撮像した画角と、図７（ｃ）の仮想視点画像（第二出力物）の画角は同じになる。

なお、座標マーカ７０１－７０３は第一出力物に付与されたものであって、データベース１０３に記録された３Ｄモデルには含まれないため、第二出力物である、図７（ｃ）に示す仮想視点画像には含まれない。

なお、第一出力物の生成情報に含まれるタイムコード（Ｔ２）をそのまま使用せずに、その少し前のタイムコード（Ｔ２－Δｔ２）から少し後のタイムコード（Ｔ２＋Δｔ２）までを使用し、３Ｄモデルを取得してもよい。その場合には、撮像データの画角で、そのタイムコード全ての仮想視点画像を表示してもよいし、撮像データの画角を、第一出力物の生成情報に含まれるタイムコードのみで使用してもよい。その場合は、少し前のタイムコード（Ｔ２－Δｔ２）では異なる画角で仮想視点画像が生成され、該タイムコード（Ｔ２）へ向けて、徐々に撮像データの画角になる様な仮想視点画像を生成してもよい。

続いて、図７（ａ）の第一出力物を携帯端末１０５の撮像対象とした別例について、その撮像データ例を示す図７（ｄ）と、図７（ｄ）の撮像データに基づいて生成される第二出力物例を示す図７（ｅ）を用いて説明する。

図７（ｄ）に示すように、携帯端末１０５のズーム機能を用いて図７（ａ）の第一出力物である３Ｄモデルフィギュアに含まれる第３フィギュア体３０４にズームして撮像した撮像データである。撮像データにおいて、第３フィギュア体０４に複数の座標マーカ（不図示）が含まれていれば、上述したカメラキャリブレーションを用いて、図７（ｄ）と同じ画角になる撮像カメラの位置および姿勢を計算することができる。

そして、計算結果である位置および姿勢と焦点距離とに応じて仮想カメラを制御し、仮想視点画像を生成すると、図７（ｅ）に示す第二出力物を取得することができる。図７（ｄ）および図７（ｅ）に示す様に、図７（ｄ）の第一出力物（３Dモデルフィギュア）の撮像データと、図７（ｅ）の第二出力物（仮想視点画像）の画角は同じになる。

なお、携帯端末１０５のズーム機能を用いて、フィギュア体（選手）にズームして撮像した撮像データを処理する際に、前述の複数の座標マーカを使用しない方法を用いてもよい。

例えば、予め、該当フィギュア体（選手）のお薦めのズーム画角になる位置および姿勢を該フィギュア体（選手）のズーム画角情報とし、二次元コードや透かし情報を用いて、第一出力物の該当フィギュア体（選手）に付与しておいてもよい。画像生成装置１０４が携帯端末１０５から受け取った撮像データにて、該当フィギュア体（選手）のズーム画角情報が含まれる場合、それに基づいて仮想カメラを制御して該当フィギュア体（選手）をズームした状態の第二出力物の仮想視点画像を生成してもよい。この場合の撮像データ、及び、生成される第二出力物の例は、それぞれ先述の図７（ｄ）および図７（ｅ）と同様になる。

以上説明した通り、本実施形態によれば、出力物を例えば携帯端末で撮像して得た撮像画像の画角と同じ画角となる仮想視点画像等の第二出力物を生成して表示することができる。例えば、第一出力物が３Ｄモデルフュギュアであった場合、それを生成した同じ３Dモデルと、それを撮像した画角で仮想視点画像を第二出力物として生成することができる。

例えば、第一出力物がラグビーの試合を対象とした３Dモデルを用いて生成された３Dモデルフィギュアであった場合に、ユーザが携帯端末を用いて好きな画角で撮像すると、それと同じ画角の仮想視点画像（第二出力物）を映像として再生することができる。

例えば、第一出力物が３Ｄモデルフュギュアであった場合、それに含まれる一人の選手にズームして撮像した場合は、その選手にズームした状態の仮想視点画像を第二出力物として生成することができる。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ データベース
１０４ 画像生成装置
６０４ 画像生成部

Claims (21)

1. 仮想視点画像における特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する取得手段と、
   前記生成物の撮像画像を用いて、前記特定の時刻に対応したシーンの仮想視点画像を生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記取得手段は、前記生成物の撮像画像から、前記生成物の生成に用いたオブジェクトの形状データを特定する生成情報を取得し、前記取得した生成情報で特定される前記オブジェクトの形状データを取得し、
   前記生成手段は、前記取得したオブジェクトの形状データを用いて、前記仮想視点画像を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成情報は、前記生成物の生成に用いたオブジェクトの形状データを特定するデータベースの識別子およびタイムコードを含む
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記仮想視点画像の撮像を制御する制御手段を有し、
   前記取得手段は、前記生成物の撮像に係る前記生成物の撮像情報を取得し、
   前記生成手段は、前記取得した生成物の撮像情報を基に、前記制御手段によって制御された撮像に応じた仮想視点画像を生成する
   ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記仮想視点画像の画角を制御する制御手段を有し、
   前記取得手段は、前記撮像画像の画角を示す画角情報を取得し、
   前記生成手段は、前記取得した画角情報を基に、前記制御手段によって前記撮像画像の画角と同じ画角に制御された前記仮想視点画像を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記生成物は、造形手段で造形された立体物である
   ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記取得手段は、前記生成物に付与された二次元コードまたは透かし情報から前記生成物の撮像情報を取得する
   ことを特徴とする請求項４に記載の情報処理装置。
8. 前記生成物は、造形手段で造形された立体物であり、
   前記取得手段は、前記立体物に付与された二次元コードまたは透かし情報から前記生成物の撮像情報を取得する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記仮想視点画像の画角を制御する制御手段を有し、
   前記取得手段は、ズームされて所定の画角より広い前記撮像画像の画角を示す画角情報を含む場合、
   前記生成手段は、前記取得した画角情報を基に、前記制御手段によって前記撮像画像の画角と同じ画角に制御された仮想視点画像を生成する
   ことを特徴とする請求項７に記載の情報処理装置。
10. 前記生成物に付与された情報より座標情報を取得し、取得した座標情報を用いて前記生成物の撮像画像の画角を決定する決定手段を有する
    ことを特徴とする請求項５に記載の情報処理装置。
11. 前記生成手段は、パターンマッチングを用いて、前記前記特定の時刻に対応したシーンの仮想視点画像を生成する
    ことを特徴とする請求項１に記載の情報処理装置。
12. 前記生成物は、前記生成手段によって生成される仮想視点画像の仮想視点と異なる仮想視点に対応する仮想視点画像である
    ことを特徴とする請求項１に記載の情報処理装置。
13. 前記生成手段によって生成された前記仮想視点画像を、前記撮像画像の送信元へ応答として返信する返信手段をさらに有する
    ことを特徴とする請求項１から１２のいずれか一項に記載の情報処理装置。
14. 前記生成手段によって生成された前記仮想視点画像を、外部装置へ送信する送信手段をさらに有する
    ことを特徴とする請求項１から１２のいずれか一項に記載の情報処理装置。
15. 仮想視点画像における特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する取得手段と、
    前記生成物の撮像画像を用いて、前記仮想視点画像のシーンを特定し、特定したシーンの仮想視点画像に関する画像情報を取得する第二取得手段と、
    を有することを特徴とする情報処理装置。
16. 前記生成物は、造形手段で造形された立体物である、または、前記特定の時刻に対応したシーンの仮想視点画像の仮想視点と異なる仮想視点に対応する仮想視点画像である
    ことを特徴とする請求項１５に記載の情報処理装置。
17. 前記第二取得手段が取得した前記画像情報を、前記撮像画像の送信元へ応答として返信する返信手段をさらに有する
    ことを特徴とする請求項１５または１６に記載の情報処理装置。
18. 前記第二取得手段が取得した前記画像情報を、外部装置へ送信する送信手段をさらに有する
    ことを特徴とする請求項１５または１６に記載の情報処理装置。
19. 仮想視点画像における特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する取得ステップと、
    前記生成物の撮像画像を用いて、前記特定の時刻に対応したシーンの仮想視点画像を生成する生成ステップと、
    を含むことを特徴とする情報処理方法。
20. 仮想視点画像における特定の時刻に対応したシーンに基づいて生成された生成物を撮像して撮像画像を取得する取得ステップと、
    前記生成物の撮像画像を用いて、前記仮想視点画像における特定の時刻に対応したシーンを特定し、特定したシーンの仮想視点画像に関する画像情報を取得する第二取得ステップと、
    を含むことを特徴とする情報処理方法。
21. コンピュータに、請求項１から１８のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Images