JP2020008972A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020008972A JP2020008972A JP2018127309A JP2018127309A JP2020008972A JP 2020008972 A JP2020008972 A JP 2020008972A JP 2018127309 A JP2018127309 A JP 2018127309A JP 2018127309 A JP2018127309 A JP 2018127309A JP 2020008972 A JP2020008972 A JP 2020008972A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- subject
- layout
- virtual viewpoint
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
Description
仮想視点画像生成技術により、例えば、インタラクティブ性の高い動画像の視聴を行うことが可能である一方で、視点変更の自由度が高いため、視聴者は、撮影対象の場所(シーン)のどこに仮想視点を設定して視聴すべきかの判断が困難である。この課題に対する技術として、特許文献1がある。特許文献1には、いくつかの推奨視点を生成することで、視聴者にとって仮想視点画像を見やすくすることを可能とすることが記載されている。
そこで、本発明は、表示される仮想視点画像を見るユーザが、仮想視点画像の生成対象となるシーンの状況を容易に把握できるようにすることを目的とする。
本実施形態では、仮想視点画像と併せて仮想視点画像の描画対象のシーンに含まれる被写体(オブジェクト)の位置を示す図である配置図を表示する処理について説明する。仮想視点画像とは、ある対象(例えば、サッカーのフィールド等)を異なる方向から撮影する複数の撮像部により撮影された複数の画像に基づいて生成される仮想的な視点からの画像である。仮想視点画像は、仮想的な視点に配置され、仮想的な視線を向く姿勢をとった仮想的なカメラ(仮想カメラ)により撮影された画像とみなすことができる。したがって、複数の撮像部(実カメラ)により複数の方向から撮影される撮影対象領域が、仮想視点画像の描画対象のシーンとなる。本実施形態における仮想視点画像には、動画と静止画の両方が含まれる。以下では、動画像である仮想視点画像を、特に仮想視点映像と称する。本実施形態では、複数の異なる視点に配置された撮像部により撮影され、仮想視点画像の描画対象となる被写体は、サッカーの試合におけるオブジェクト(選手、ボール、審判、ゴールポスト等)であるとする。ただし撮影対象はこれに限らず、ラグビーや卓球等の他の競技であってもよいし、ステージにおけるコンサートや演劇等であってもよい。
また、仮想視点映像のデータは、各画像フレームが予め定められた動画圧縮の方式により圧縮された動画像データであってもよいし、各画像フレームが予め定められた静止画圧縮の方式により圧縮された動画像データであってもよい。また、仮想視点映像のデータは、非圧縮の動画像データであってもよい。
情報処理装置100は、CPU101、Random Access Memory(RAM)102、Read Only Memory(ROM)103を含む。情報処理装置100は、ハードディスクドライブ(HDD)_インターフェース(I/F)104、入力I/F106、出力I/F108、ネットワークI/F110を含む。各要素は、システムバス112を介して、相互に通信可能に接続されている。
CPU101は、RAM102をワークメモリとして、ROM103、HDD105等に格納されたプログラムにしたがって処理を実行し、システムバス112を介して各要素を制御する中央演算装置である。RAM102は、CPU101のワークエリア、データの一時的な記憶領域として機能する記憶装置である。ROM103は、各種プログラムや設定情報等を記憶する記憶装置である。
入力I/F106は、キーボード、マウス、デジタルカメラ、スキャナ等の情報を入力する入力デバイス107との接続に用いられるインターフェースである。入力I/F106は、例えば、USB、IEEE1394等である。CPU101は、入力I/F106を介して入力デバイス107を介した情報の入力を受付けることができる。
出力I/F108は、ディスプレイ、スピーカ等の情報の出力を行う出力デバイス109との接続に用いられるインターフェースである。出力I/F108は、例えば、DVI、HDMI(登録商標)等である。本実施形態では、情報処理装置100は、出力I/F108を介して、ディスプレイである出力デバイス109と接続されている。CPU101は、出力I/F108を介して出力デバイス109に仮想視点画像のデータを送信し、仮想視点画像の表示を実行させることができる。
ネットワークI/F110は、外部サーバ111等の外部の装置との間のネットワークを介した通信に用いられるインターフェースである。ネットワークI/F110は、例えば、LANカード等のネットワークカードである。CPU101は、ネットワークI/F110を介して、外部サーバ111との間で情報の入出力を行うことができる。
図1の例では、HDD105、入力デバイス107、出力デバイス109、情報処理装置100は、それぞれ別のデバイスであるとした。しかし、HDD105、入力デバイス107、出力デバイス109は、例えば、情報処理装置100に含まれることとしてもよい。例えば、情報処理装置100は、スマートフォンであってもよい。その場合、入力デバイス107(タッチパネル)、出力デバイス109(表示スクリーン)、HDD105(内臓のHDD)は、情報処理装置100と一体となっている。
例えば、情報処理装置100が、HDD105に記憶された画像に基づいて仮想視点画像を生成する場合、外部サーバ111から仮想視点画像の生成に用いられる画像を取得する必要がない。そのような場合、情報処理装置100は、外部サーバ111と接続していないこととしてもよい。また、例えば、情報処理装置100が、外部サーバ111から取得した画像に基づいて仮想視点画像を生成し、ROM103に記憶されたプログラムにしたがって処理を実行する場合、HDD105と接続されていないこととしてもよい。
また、情報処理装置100は、複数のCPU101を含むこととしてもよい。また、情報処理装置100は、CPU101とは異なる専用の1又は複数のハードウェアやGPU(Graphics Processing Unit)を含み、CPU101による処理の少なくとも一部をGPUや専用のハードウェアを介して行ってもよい。このような専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、DSP(デジタルシグナルプロセッサ)等がある。
以下では、本実施形態の情報処理装置100が行う処理について、図2と図3とを用いて説明する。図2は、本実施形態の情報処理装置100の機能構成等の一例を示す図である。図3は本実施形態の情報処理装置100が実行する処理の一例を示すフローチャートである。
図2を用いて、情報処理装置100の機能構成について説明する。情報処理装置100は、視点制御部202、データ取得部203、シーン生成部204、配置図生成部205、描画部206を含む。
視点制御部202は、ユーザによる入力デバイス107を介した仮想視点画像の描画対象となる範囲を決定するためのパラメータ(例えば、視点位置、視線方向、画角等)の入力を受付ける。そして、視点制御部202は、受付けた入力が示すパラメータを、仮想視点画像の生成に係る仮想視点を示す視点情報として決定する。本実施形態では、情報処理装置100は、仮想視点画像の描画対象となる範囲を決定するためのパラメータを、仮想カメラのカメラパラメータ(以下では、仮想カメラパラメータ)として管理する。カメラパラメータとは、カメラの状態を示すパラメータである。カメラパラメータには、カメラの位置・姿勢を示す外部パラメータや、カメラの光学的な特性を示す内部パラメータ(例えば、画角、焦点距離、露光時間等)がある。
シーン生成部204は、データ取得部203により取得された画像とカメラパラメータ(視点情報)とに基づいて、仮想視点画像のレンダリングに用いられるシーンデータを生成する。シーンデータとは、生成対象の仮想視点画像の描画対象となるシーンにおける予め定められた被写体(例えば、選手、ボール、ゴールポスト、審判等)を示す3次元の形状や色を示すデータであり、例えば、ポリゴンデータやテクスチャデータである。
配置図生成部205は、シーン生成部204により生成されたシーンデータに基づいて、そのシーンデータが示す被写体の位置を示す図である配置図を生成する。
描画部206は、シーン生成部204により生成されたシーンデータと視点制御部202により決定された仮想カメラパラメータとに基づいて、仮想視点画像を生成する。そして、描画部206は、生成した仮想視点画像と配置図生成部205により生成された配置図とを、出力デバイス109へ出力する。出力デバイス109は、描画部206からの入力に応じて画像を表示する表示部として機能する。なお、描画部206は仮想視点画像と配置図とを別々のデータとして出力してもよいし、配置図が合成された仮想視点画像のデータを出力してもよい。また、描画部206は、仮想視点画像と配置図とを、記憶装置へ出力してもよい。また、描画部206が表示部を備えており、生成された仮想視点画像と配置図とを表示してもよい。
S301において、データ取得部203は、外部サーバ111から仮想視点画像の生成に用いられるそれぞれ異なる複数の位置に配置された複数の撮像部により撮影された複数の画像と、この複数の撮像部それぞれのカメラパラメータと、のデータを取得する。また、データ取得部203は、これらのデータを、HDD105から取得することとしてもよい。データ取得部203は、取得した画像とカメラパラメータとのデータを、シーン生成部204に出力する。
S302において、シーン生成部204は、S301で取得された画像とカメラパラメータとに基づいて、仮想視点画像のレンダリングに用いられる3次元の状況を示すシーンデータを生成する。シーン生成部204は、例えば、S301で取得された画像から、背景差分により、それぞれ分離した領域それぞれを、被写体それぞれの領域として検出する。そして、シーン生成部204は、検出した被写体の領域それぞれと、S301で取得されたカメラパラメータとに基づいて、各被写体についてのシーンデータを生成する。ここで、シーンデータについて説明する。本実施形態では、シーンデータは、被写体ごとに生成され、3Dポリゴンデータ、テクスチャデータ、3Dポリゴンデータとテクスチャデータとを対応付けるUVマップのデータの3つのデータを含むデータである。
図4(c)、(d)は、シーンデータに含まれるテクスチャデータの一例を示す図である。図4(c)は、テクスチャ画像上で形状の頂点に対応する位置P0〜P13を示す図である。図4(d)は、図4(c)におけるテクスチャ頂点P0〜P13の予め定められた2次元の座標系における座標を示す図である。
図4(e)は、シーンデータに含まれるUVマップの一例を示す図である。図4(e)の表は、図4(a)に示される三角形ごとの、三角形を構成する3次元空間上の頂点IDとテクスチャ画像空間上のテクスチャ頂点IDとの対応を示す表の一例である。シーン生成部204は、例えば、図4(e)の表に基づいて、図4(a)に示される3Dポリゴンを表すある三角形の頂点に対応する図4(c)の座標系における三角形を特定する。そして、シーン生成部204は、図4(c)における特定した三角形が示すテクスチャデータを、図4(a)の3次元座標系における対応する三角形に付与されるテクスチャデータとして決定する。
シーン生成部204は、テクスチャデータを生成する。シーン生成部204は、データ取得部203により取得された画像における生成したポリゴンを構成する三角形の頂点に対応する点を特定する。シーン生成部204は、例えば、データ取得部203により取得されたカメラパラメータに基づいて、3Dのポリゴンの各頂点を、データ取得部203により取得された画像に投影することで、特定する。そして、シーン生成部204は、データ取得部203により取得された画像における特定した3つの点で囲まれた領域を特定する。シーン生成部204は、データ取得部203により取得された画像それぞれについて、同様の処理を行う。
シーン生成部204は、ポリゴンに付与されるテクスチャのデータを決定することと併せて、対応するUVマップを生成する。シーン生成部204は、例えば、あるポリゴンについて、そのポリゴンの3つの頂点のIDと、テクスチャ画像におけるそのポリゴンの3つの頂点に対応する3つの頂点のIDと、の対応をUVマップの表に記憶する。
シーン生成部204は、生成したポリゴンデータ、テクスチャデータ、UVマップのデータを含むシーンデータを、配置図生成部205と描画部206とに出力する。
ここで、カメラパラメータの外部パラメータと内部パラメータとについてより詳細に説明する。予め定められた世界座標系における撮像部(本実施形態では仮想カメラ)の位置(仮想カメラを基準として定められるカメラ座標系の原点の位置)を表すベクトルをtとする。また、仮想カメラの姿勢を示す行列(世界座標系に対するカメラ座標系の姿勢、世界座標系とカメラ座標系との間での回転を表す行列)をRとする。この場合、仮想カメラの外部パラメータは、以下の式(1)のように表すことができる。仮想カメラのカメラ座標系、世界座標系は、左手座標系とする。また、カメラ座標系において、仮想視点から仮想カメラの視線方向を向いた場合の右を+x方向、上を+y方向、奥を+z方向とする。
S305において、描画部206は、S302でシーン生成部204により生成されたシーンデータと、S303で視点制御部202により決定された仮想カメラパラメータと、に基づいて仮想視点画像を生成する。そして、描画部206は、生成した仮想視点画像と、S304で配置図生成部205により生成された配置図と、を含む出力デバイス109に表示させるための画面を生成する。
S306において、描画部206は、S305で生成した画面を出力デバイス109に表示する。S305〜S306の処理は、仮想視点画像と併せて配置図を表示部に表示する表示制御処理の一例である。
以上が本実施形態の情報処理装置100が行う処理の流れである。
図5を用いて、配置図生成部205の詳細を説明する。
配置図生成部205は、シーン取得部501、位置・サイズ取得部502、テクスチャ色取得部503、分類部504、配置図決定部505を含む。
シーン取得部501は、シーン生成部204により生成されたシーンデータを取得する。位置・サイズ取得部502は、シーン取得部501により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の位置とサイズとを取得する。テクスチャ色取得部503は、シーン取得部501により取得されたシーンデータに基づいて、そのシーンデータが示すシーンに存在する被写体の色を取得する。
分類部504は、位置・サイズ取得部502により取得された位置・サイズ、テクスチャ色取得部503により取得された色等に基づいて、シーン取得部501により取得されたシーンデータに対応するシーンに存在する被写体を複数のグループに分類する。配置図決定部505は、分類部504により複数のグループに分類された被写体それぞれの位置を示す配置図を決定する。
なお、情報処理装置100は少なくとも被写体の位置を示す配置図を表示すればよい。つまり、複数の被写体をグループに分類することなく配置図を表示してもよいし、被写体のサイズ及び色の少なくとも何れかの情報は取得しなくてもよい。ただし上記のように、被写体の位置、サイズ、及び色に関する情報を取得し、複数の被写体をグループ分けして配置図を表示することで、対象シーンのより詳細な状況をユーザに知らせることができる。
S601において、配置図生成部205は、配置図を表示するか否かを判定する。例えば、配置図生成部205は、例えば、HDD105に配置図を表示するか否かを示すフラグ情報が記憶されているとして、HDD105からフラグ情報を取得する。そして、配置図生成部205は、取得したフラグ情報が、配置図を表示することを示す情報であるか否かに応じて、配置図を表示するか否かを判定する。配置図生成部205は、取得したフラグ情報が、配置図を表示することを示す情報である場合、配置図を表示すると判定する。配置図生成部205は、取得したフラグ情報が、配置図を表示しないことを示す情報である場合、配置図を表示しないと判定する。CPU101は、入力デバイス107を介したユーザからの入力に基づいて、HDD105に記憶されたフラグ情報の内容を更新することができる。
配置図生成部205は、配置図を表示すると判定した場合、S602の処理に進み、配置図を表示しないと判定した場合、図6の処理を終了する。
S602において、シーン取得部501は、S302で生成されたシーンデータを取得し、取得したシーンデータを位置・サイズ取得部502、テクスチャ色取得部503に出力する。
本実施形態では、位置・サイズ取得部502は、被写体を示す各ポリゴンの頂点の座標の平均を求め、求めた平均の座標の位置をその被写体の位置として取得する。また、位置・サイズ取得部502は、被写体を示すポリゴン全体の重心の位置をその被写体の位置として取得してもよい。
また、本実施形態では、位置・サイズ取得部502は、x軸y軸z軸それぞれについて、被写体を示すポリゴンの各頂点の座標の最大値と最小値との差分の大きさ|最大値−最小値|の値を求める。そして、位置・サイズ取得部502は、x軸y軸z軸それぞれについて求めた3つの値の組を、その被写体のサイズとして取得する。また、位置・サイズ取得部502は、x軸y軸z軸それぞれについて求めた3つの値を掛け合わせた体積の値を、その被写体のサイズとして取得することとしてもよい。また、位置・サイズ取得部502は、その被写体を示すポリゴン全体で囲まれた部分の体積をその被写体のサイズとして取得することとしてもよい。
位置・サイズ取得部502は、取得した各被写体の位置とサイズとの情報を分類部504に出力する。
また、テクスチャ色取得部503は、例えば、被写体のポリゴンデータ・UVマップを参照し、被写体の特定の領域の1色(例えば、着ている服の色)を被写体の色として取得してもよい。テクスチャ色取得部503は、取得した各被写体の色の情報を分類部504に出力する。
S605において、配置図生成部205は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したか否かを判定する。配置図生成部205は、全ての被写体に対して、位置・サイズの取得、色の取得が終了したと判定した場合、S606の処理に進む。配置図生成部205は、位置・サイズの取得、色の取得が終了していない被写体があると判定した場合、S602の処理に進む。これにより、配置図生成部205は、残りの被写体に対し、S602〜S604までの処理を実行する。
また、HDD105は、予め被写体となる人が存在し得る領域の情報を記憶することとしてもよい。その場合、分類部504は、例えば、S603で取得されたある被写体のサイズが、HDD105に記憶された情報が示す人が取り得るサイズの範囲に含まれる場合でも、以下のようにしてもよい。即ち、分類部504は、S603で取得されたその被写体の位置が、HDD105に記憶された情報が示す人が存在し得る領域に含まれる場合、その被写体を人のグループに分類し、その領域に含まれない場合、その被写体を人以外のグループに分類してもよい。例えば、スポーツの試合における選手を被写体とする場合、被写体はフィールドの領域内にのみ存在すると仮定できる。その場合、被写体である人が存在し得る領域の情報としてフィールドを示す情報がHDD105に予め記憶されているとする。分類部504は、この情報に基づいて、被写体の位置が、フィールドに含まれている場合、その被写体を、人のグループに分類し、フィールドに含まれない場合、人以外のグループに分類することとしてもよい。
分類部504は、S606で人のグループに分類した被写体を、Aチームのグループ、Bチームのグループ、その他のグループの3つのグループに分類する。HDD105には、予めAチーム、Bチームのそれぞれに対応する色(例えば、Aチームは赤、Bチームは青)の情報が記憶されている。分類部504は、この情報を読み込むことで、Aチーム、Bチームのそれぞれに対応する色を取得できる。分類部504は、S606で人のグループに分類した被写体のうち、S604で取得した色に、Aチームに対応する色が含まれる被写体を、Aチームのグループに分類する。分類部504は、S606で人のグループに分類した被写体のうち、S604で取得した色に、Bチームに対応する色が含まれる被写体を、Bチームのグループに分類する。
また、分類部504は、S606で人のグループに分類した被写体のうち、S604で取得した色に、Aチームに対応する色もBチームに対応する色も含まれない被写体を、その他のグループに分類する。
図7は、仮想視点画像と併せて表示される配置図の一例を示す図である。図7の状況は、仮想視点画像700が表示されている状況を示す。仮想視点画像700の下部には、被写体である各選手がサッカーのピッチ上でどこに位置するかを示す配置図が表示されている。図7の配置図において、Aチームの選手に対応するオブジェクト、Bチームの選手に対応するオブジェクト、その他の人に対応するオブジェクト、人以外に対応するオブジェクトは、それぞれ異なる表示態様(例えば、異なる色、異なる模様)のオブジェクトである。オブジェクト701は、Aチームの選手に対応するオブジェクトである。また、オブジェクト702は、Bチームの選手に対応するオブジェクトである。また、オブジェクト703は、その他の人(例えば、審判等)に対応するオブジェクトである。また、オブジェクト704は、人以外(例えば、ボール等)に対応するオブジェクトである。
なお、情報処理装置100により表示される配置図には、撮影対象領域内における位置が特定されたオブジェクトすべての位置が示されていなくてもよい。例えば、上記のオブジェクトのうち人に分類されるオブジェクトのみの位置を示す配置図が表示されてもよいし、一方のチームの選手のみの位置を示す配置図が表示されてもよい。また、何れのグループに分類されたオブジェクトの位置を表示させるかや、何れのオブジェクトの位置を表示させるかを、ユーザ操作に基づいて決定してもよい。
この配置図は、シーンを俯瞰的に見たときの全ての被写体のサッカーのピッチ上の位置を明示的に示している。この配置図における領域のうち、オブジェクト、ピッチ上のラインを示す線、以外の領域は、透明である。そのため、例えば、図7のように、この配置図が仮想視点画像に重畳して表示される場合、透明な領域には、仮想視点画像の一部が表示されている。本実施形態では、配置図決定部505は、図7の配置図のようなデザインの配置図を決定することとするが、他のデザインの配置図を決定してもよい。配置図決定部505は、被写体を示すオブジェクトとして、円形のオブジェクトでなく、矩形、三角形、人型等のオブジェクトを用いることとしてもよい。配置図決定部505は、配置図上の線の模様を、点線模様等の他の模様にしてもよい。
図8(a)の表は、各被写体の分類結果(属するグループ)と位置とを示す表である。ここで、図8(a)の表における2次元位置座標は、S603で取得された被写体の3次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる2次元平面に射影した位置を示す値である。この2次元位置座標が示す位置は、対応する被写体を示すオブジェクトの中心となる位置である。配置図決定部505は、S603で取得された各被写体の3次元座標における位置を、この2次元平面に射影することで、この2次元平面上の各被写体の位置を示す座標を取得する。
配置図決定部505は、各被写体について、S603で取得された被写体の3次元座標における位置を、サッカーのピッチを真上から俯瞰して得られる2次元平面に射影した座標を取得する。そして、配置図決定部505は、各被写体についてのS606、S607での分類結果と、各被写体について取得したこの2次元平面における座標と、に基づいて、以下の処理を行う。即ち、配置図決定部505は、図8(a)のような被写体ごとの分類(属するグループ)と、2次元座標(この2次元平面における座標)と、を示す表を生成する。
本実施形態では、HDD105は、予め、図8(b)のようなグループごとの配置図における被写体に対応するオブジェクトの表示態様を示す表の情報を記憶しているとする。
配置図決定部505は、生成した図8(a)のような被写体ごとの分類と2次元座標とを示す表と、HDD105から取得した図8(b)のようなオブジェクトの表示態様を示す表と、を配置図のデータとして、決定して、描画部206に出力する。
また、配置図決定部505は、各被写体についてS603で取得された被写体のサイズに基づいて、各被写体に対応するオブジェクトのサイズを決定してもよい。例えば、配置図決定部505は、各被写体についてS603で取得された被写体のサイズに、予め定められた係数をかけて求まる値を、各被写体に対応する円形のオブジェクトの半径として決定してもよい。また、配置図決定部505は、各被写体に対応する円形のオブジェクトの半径を、全て予め定められた値として決定してもよい。
そして、配置図決定部505は、各被写体について決定した被写体に対応するオブジェクトの色と、被写体に対応するオブジェクトのサイズと、に基づいて、図8(b)のような各オブジェクトの表示態様を示す表を生成してもよい。
例えば、配置図決定部505は、図8(a)の表における2次元座標に基づいて、各被写体に対応する各オブジェクトの中心同士の配置図における距離を特定する。そして、配置図決定部505は、図8(b)の表におけるサイズに基づいて、各オブジェクトのサイズ(半径)を特定する。そして、配置図決定部505は、オブジェクト同士の距離が、オブジェクト同士の半径の和よりも小さくなっているオブジェクトの組を、オブジェクト同士が重なっているオブジェクトの組として特定する。そして、配置図決定部505は、例えば、一方のオブジェクトを、そのオブジェクトから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させる。これにより、配置図決定部505は、オブジェクト同士の重なりが解消できる。
また、配置図決定部505は、例えば、双方のオブジェクトを、それぞれから見て他方のオブジェクトの方向と逆の方向に、オブジェクトの中心同士の距離が、双方のオブジェクトの半径の和以上となるように、移動させることとしてもよい。また、配置図決定部505は、例えば、双方のオブジェクトの半径を、双方の半径の和が、双方のオブジェクト同士の距離よりも小さくなるように縮小してもよい。
本実施形態では、描画部206は、S306で、図7に示すように仮想視点画像の下部に仮想視点画像と重畳して配置図を表示することとするが、仮想視点画像の上部に仮想視点画像と重畳して表示してもよいし、仮想視点画像に重畳しない位置に表示(例えば仮想視点画像と並べて表示)してもよい。また、描画部206は、例えば、仮想視点画像における被写体である人が表示されている部分と重ならないように配置図を表示することとしてもよいし、仮想視点画像内の地中や空に対応する領域に配置図を表示させてもよい。このように、描画部206は、仮想視点の位置及び向き、被写体の位置、及び仮想視点画像の内容等に応じて、配置図の表示位置を決定してもよい。
本実施形態では、情報処理装置100は、仮想視点画像の生成に用いられるそれぞれ異なる位置に配置された複数の撮像部により撮影された複数の画像に基づいて、各被写体の位置を示す配置図を生成し、表示することとした。しかし、例えば、各被写体にGPS端末が装着されているような場合、情報処理装置100は、以下のようにして、各被写体の位置を示す配置図を生成し、表示することとしてもよい。即ち、情報処理装置100は、各被写体のGPS端末から各被写体の位置の情報を受信し、受信した情報が示す位置に基づいて、各被写体の位置を示す配置図を生成してもよい。
実施形態1では、情報処理装置100が仮想視点画像と併せて、各被写体の位置を示す配置図を表示する処理について説明した。しかし、実施形態1で提供される仮想視点画像と配置図とからでは、ユーザは、表示されている仮想視点画像がどこから見た画像であるかを把握することが困難であった。そこで、本実施形態では、情報処理装置100が、ユーザによる仮想視点画像がどこから見た画像であるかの把握を支援する処理について説明する。
本実施形態の情報処理装置のハードウェア構成は、実施形態1と同様である。本実施形態の情報処理装置100の機能構成は、視点制御部202が配置図生成部205に対しても仮想カメラパラメータを出力する点と、図9で後述する配置図生成部205の詳細と、を除いて、実施形態1と同様である。
本実施形態の処理について、実施形態1との差異について説明する。
本実施形態における配置図の生成処理について、図9、図10を用いて説明する。図9は、本実施形態の配置図生成部205の詳細の一例を示す図である。図10は、本実施形態におけるS304の処理の詳細を示すフローチャートである。
仮想視点取得部1001は、視点制御部202から仮想カメラパラメータを取得する。
図10のフローチャートの処理は、図6に示す実施形態1における処理と比べて、S1101の処理を含む点と、S608での処理の内容と、が異なる。
S1101において、仮想視点取得部1001は、視点制御部202から仮想カメラパラメータを取得する。視点制御部202は、S303の処理と同様の処理で、仮想カメラパラメータを仮想視点取得部1001に出力する。仮想視点取得部1001は、取得した仮想カメラパラメータを、配置図決定部505に出力する。
そして、配置図決定部505は、図8に示すような配置図のデータに加えて、仮想カメラの位置・姿勢を示すオブジェクトの形状の情報、そのオブジェクトの配置図における位置・姿勢の情報を描画部206に出力する。そして、描画部206は、配置図決定部505から取得したこれらの情報に基づいて、実施形態1で表示した内容に加えて、更に、仮想カメラの位置・姿勢を示すオブジェクトを配置図に含ませて表示する。
情報処理装置100は、図11のように、仮想カメラの位置・姿勢を示すオブジェクトを更に表示することで、実施形態1の効果に加えて、ユーザによる仮想視点画像がどの位置からどの方向を見た画像であるかの把握を支援することができる。
なお、情報処理装置100は、仮想カメラの位置及び姿勢に加えて、もしくは姿勢に代えて、仮想カメラの視界を示す配置図を表示してもよい。また、情報処理装置100は、仮想カメラの視界に含まれるオブジェクトと、仮想カメラの視界に含まれないオブジェクトとを、識別可能に示す配置図を表示してもよい。
仮想カメラパラメータが、特定の被写体に注目するように更新される場合がある。例えば、特定の選手を追従するように更新される場合がある。このような場合、情報処理装置100は、配置図における注目対象となるその特定の被写体に対応するオブジェクトを、他のオブジェクトよりも強調するように表示してもよい。そのような場合、配置図決定部505は、例えば、入力デバイス107を介して、注目対象となる被写体の指定を受付ける。そして、配置図決定部505は、例えば、指定されたオブジェクトに対応するオブジェクトの色を、強調した色として予め定められた色に変更する。
また、配置図決定部505は、注目対象となる被写体に対応するオブジェクトの情報を、描画部206に出力することとしてもよい。その場合、描画部206は、例えば、そのオブジェクトを、点滅させて表示させることで、強調してもよい。また、描画部206は、複数のオブジェクトの位置から特定されるオブジェクト、例えばボールに最も近いオブジェクトを、識別可能に表示させてもよい。
例えば、配置図決定部505は、入力デバイス107を介して、ユーザからオフサイドラインを示す部分に対応するオブジェクトの表示の指示を受付けた場合、以下の処理を行うこととしてもよい。即ち、配置図決定部505は、同一のチームに属する選手である各被写体の位置から、後ろから2人目の選手の位置を特定する。そして、配置図決定部505は、特定した位置を通り、センターラインに平行なラインを、オフサイドラインとして特定する。そして、配置図決定部505は、特定したオフサイドラインに対応する部分に線状のオブジェクトを含ませた配置図のデータを決定する。配置図決定部505は、決定した配置図のデータを、描画部206に出力する。そして、描画部206は、出力された配置図の情報に基づいて、オフサイドラインを示す線状のオブジェクトを含む配置図を出力デバイス109に表示することとしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用してもよい。
101 CPU
111 外部サーバ
Claims (14)
- 複数の撮像部によりそれぞれ異なる方向から撮影される撮影対象領域に含まれる被写体の位置を示す図である配置図を生成する生成手段と、
前記複数の撮像部により取得される画像と仮想視点を示す視点情報とに基づいて生成された仮想視点画像と、前記生成手段により生成された前記配置図と、を表示部に表示させる表示制御手段と、
を有する情報処理装置。 - 前記生成手段は、前記仮想視点画像の生成に用いられた画像に基づいて、前記配置図を生成する請求項1記載の情報処理装置。
- 前記生成手段は、前記仮想視点画像の生成に用いられた画像と、前記仮想視点画像の生成に用いられた画像の撮影に用いられた撮像部のカメラパラメータと、に基づいて、前記配置図を生成する請求項2記載の情報処理装置。
- 前記生成手段は、前記被写体の色に応じた色のオブジェクトを、前記被写体に対応するオブジェクトとして含む前記配置図を生成する請求項1乃至3何れか1項記載の情報処理装置。
- 前記生成手段は、前記被写体である複数の被写体それぞれの位置及びサイズに応じた位置及びサイズの複数のオブジェクトを、前記複数の被写体それぞれに対応する複数のオブジェクトとして含む前記配置図を生成する請求項1乃至4何れか1項記載の情報処理装置。
- 前記生成手段は、前記複数の被写体それぞれの位置及びサイズに基づいて、前記複数の被写体それぞれに対応する複数のオブジェクトを、オブジェクト同士が重ならないように含む前記配置図を生成する請求項5記載の情報処理装置。
- 前記生成手段は、前記表示部における前記配置図が配置される領域の色に応じた色のオブジェクトを、前記被写体に対応するオブジェクトとして含む前記配置図を生成する請求項1乃至6何れか1項記載の情報処理装置。
- 前記生成手段は、前記仮想視点の位置と向きとを示すオブジェクトを含む前記配置図を生成する請求項1乃至7何れか1項記載の情報処理装置。
- 前記生成手段は、前記被写体が注目対象として指定された被写体である場合、予め定められた表示態様のオブジェクトを、前記被写体に対応するオブジェクトとして含む前記配置図を生成する請求項1乃至8何れか1項記載の情報処理装置。
- 前記表示制御手段は、前記仮想視点画像の内容に応じた位置に、前記生成手段により生成された前記配置図を表示する請求項1乃至9何れか1項記載の情報処理装置。
- 前記生成手段は、前記仮想視点画像の描画対象のシーンにおいて指定された部分を示すオブジェクトを含む前記配置図を生成する請求項1乃至10何れか1項記載の情報処理装置。
- 前記生成手段は、前記指定された部分であるサッカーの試合におけるオフサイドラインを示すオブジェクトを含む前記配置図を生成する請求項11記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
複数の撮像部によりそれぞれ異なる方向から撮影される撮影対象領域に含まれる被写体の位置を示す図である配置図を生成する生成ステップと、
前記複数の撮像部により取得される画像と仮想視点を示す視点情報とに基づいて生成された仮想視点画像と、前記生成ステップで生成された前記配置図と、を表示部に表示させる表示制御ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至12何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018127309A JP7277085B2 (ja) | 2018-07-04 | 2018-07-04 | 情報処理装置、情報処理方法及びプログラム |
US16/459,238 US11004267B2 (en) | 2018-07-04 | 2019-07-01 | Information processing apparatus, information processing method, and storage medium for generating a virtual viewpoint image |
US17/225,936 US20210225080A1 (en) | 2018-07-04 | 2021-04-08 | Information processing apparatus, information processing method, and storage medium |
JP2023075831A JP2023087027A (ja) | 2018-07-04 | 2023-05-01 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018127309A JP7277085B2 (ja) | 2018-07-04 | 2018-07-04 | 情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023075831A Division JP2023087027A (ja) | 2018-07-04 | 2023-05-01 | 情報処理装置、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020008972A true JP2020008972A (ja) | 2020-01-16 |
JP2020008972A5 JP2020008972A5 (ja) | 2021-08-12 |
JP7277085B2 JP7277085B2 (ja) | 2023-05-18 |
Family
ID=69101566
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018127309A Active JP7277085B2 (ja) | 2018-07-04 | 2018-07-04 | 情報処理装置、情報処理方法及びプログラム |
JP2023075831A Pending JP2023087027A (ja) | 2018-07-04 | 2023-05-01 | 情報処理装置、情報処理方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023075831A Pending JP2023087027A (ja) | 2018-07-04 | 2023-05-01 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US11004267B2 (ja) |
JP (2) | JP7277085B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021115143A (ja) * | 2020-01-23 | 2021-08-10 | 株式会社三共 | 遊技機 |
JP2021115145A (ja) * | 2020-01-23 | 2021-08-10 | 株式会社三共 | 遊技機 |
WO2022176719A1 (ja) * | 2021-02-18 | 2022-08-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2585969B (en) * | 2020-03-12 | 2022-04-06 | Seechange Tech Limited | Data processing |
CN114077410A (zh) * | 2020-08-11 | 2022-02-22 | 北京芯海视界三维科技有限公司 | 图像处理装置及虚拟现实设备 |
US20220410002A1 (en) * | 2021-06-29 | 2022-12-29 | Bidstack Group PLC | Mesh processing for viewability testing |
CN114339393A (zh) * | 2021-11-17 | 2022-04-12 | 广州方硅信息技术有限公司 | 直播画面的显示处理方法、服务器、设备、系统及介质 |
KR102518871B1 (ko) * | 2021-12-03 | 2023-04-10 | 한국과학기술원 | 가상 카메라 레이아웃 생성을 위한 3d 타겟 객체 프레이밍 방법 및 장치 |
CN115134579A (zh) * | 2022-06-16 | 2022-09-30 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
CN117354568A (zh) * | 2022-06-27 | 2024-01-05 | 华为技术有限公司 | 一种显示方法、设备及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002260015A (ja) * | 1995-04-27 | 2002-09-13 | Sega Corp | 画像処理装置、画像処理方法及びこれを用いたゲーム装置並びに記憶媒体 |
JP2003008990A (ja) * | 2001-06-19 | 2003-01-10 | Nhk Engineering Services Inc | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
US20100321389A1 (en) * | 2009-06-23 | 2010-12-23 | Disney Enterprises, Inc. | System and method for rendering in accordance with location of virtual objects in real-time |
US20110202603A1 (en) * | 2010-02-12 | 2011-08-18 | Nokia Corporation | Method and apparatus for providing object based media mixing |
JP2014215828A (ja) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
WO2017038541A1 (ja) * | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
US20180018510A1 (en) * | 2016-07-15 | 2018-01-18 | Sony Corporation | Information processing apparatus, method and computer program product |
JP2018081630A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社東芝 | 検索装置、検索方法およびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2413720B (en) * | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
US7777783B1 (en) * | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
US8786596B2 (en) * | 2008-07-23 | 2014-07-22 | Disney Enterprises, Inc. | View point representation for 3-D scenes |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
CN105284108B (zh) * | 2013-06-14 | 2019-04-02 | 株式会社日立制作所 | 影像监视系统、监视装置 |
EP2957987A1 (en) * | 2014-06-19 | 2015-12-23 | Nokia Technologies OY | A non-depth multiple implement input and a depth multiple implement input |
WO2018074768A1 (ko) * | 2016-10-20 | 2018-04-26 | 삼성전자 주식회사 | 영상 표시 방법 및 그 전자장치 |
GB2571106A (en) * | 2018-02-16 | 2019-08-21 | Sony Corp | Image processing apparatuses and methods |
US11736675B2 (en) * | 2018-04-05 | 2023-08-22 | Interdigital Madison Patent Holdings, Sas | Viewpoint metadata for omnidirectional video |
-
2018
- 2018-07-04 JP JP2018127309A patent/JP7277085B2/ja active Active
-
2019
- 2019-07-01 US US16/459,238 patent/US11004267B2/en active Active
-
2021
- 2021-04-08 US US17/225,936 patent/US20210225080A1/en active Pending
-
2023
- 2023-05-01 JP JP2023075831A patent/JP2023087027A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002260015A (ja) * | 1995-04-27 | 2002-09-13 | Sega Corp | 画像処理装置、画像処理方法及びこれを用いたゲーム装置並びに記憶媒体 |
JP2003008990A (ja) * | 2001-06-19 | 2003-01-10 | Nhk Engineering Services Inc | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
US20100321389A1 (en) * | 2009-06-23 | 2010-12-23 | Disney Enterprises, Inc. | System and method for rendering in accordance with location of virtual objects in real-time |
US20110202603A1 (en) * | 2010-02-12 | 2011-08-18 | Nokia Corporation | Method and apparatus for providing object based media mixing |
JP2014215828A (ja) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
WO2017038541A1 (ja) * | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
US20180018510A1 (en) * | 2016-07-15 | 2018-01-18 | Sony Corporation | Information processing apparatus, method and computer program product |
JP2018081630A (ja) * | 2016-11-18 | 2018-05-24 | 株式会社東芝 | 検索装置、検索方法およびプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021115143A (ja) * | 2020-01-23 | 2021-08-10 | 株式会社三共 | 遊技機 |
JP2021115145A (ja) * | 2020-01-23 | 2021-08-10 | 株式会社三共 | 遊技機 |
WO2022176719A1 (ja) * | 2021-02-18 | 2022-08-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210225080A1 (en) | 2021-07-22 |
US11004267B2 (en) | 2021-05-11 |
JP7277085B2 (ja) | 2023-05-18 |
JP2023087027A (ja) | 2023-06-22 |
US20200013220A1 (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7277085B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN109076172B (zh) | 从中间视图生成有效画布视图的方法和系统 | |
CN108885799B (zh) | 信息处理设备,信息处理系统以及信息处理方法 | |
WO2015122108A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4804256B2 (ja) | 情報処理方法 | |
JP6948175B2 (ja) | 画像処理装置およびその制御方法 | |
CN106210538A (zh) | 在用户设备上显示基于光场的图像的方法和装置及程序 | |
US9361660B2 (en) | Image processing device and method, supplement image generation device and method, program, and recording medium | |
JP2018180655A5 (ja) | ||
KR102461232B1 (ko) | 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체 | |
JP7164968B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6555755B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
CN110288714B (zh) | 一种虚拟仿真实验系统 | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
TW201928761A (zh) | 影像擷取之設備及方法 | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
EP4050400B1 (en) | Display apparatuses and methods incorporating image masking | |
US20230334767A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20240135622A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7277085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |