JP2020190978A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2020190978A JP2020190978A JP2019096656A JP2019096656A JP2020190978A JP 2020190978 A JP2020190978 A JP 2020190978A JP 2019096656 A JP2019096656 A JP 2019096656A JP 2019096656 A JP2019096656 A JP 2019096656A JP 2020190978 A JP2020190978 A JP 2020190978A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- information
- information processing
- change requirement
- viewpoint change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims 3
- 230000008859 change Effects 0.000 claims abstract description 165
- 230000007704 transition Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 abstract 2
- 238000000034 method Methods 0.000 description 95
- 230000008569 process Effects 0.000 description 88
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 11
- 238000011867 re-evaluation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
本発明は、三次元空間内で視点を移動できる映像システムにおける、視点の設定技術に関する。 The present invention relates to a viewpoint setting technique in a video system capable of moving a viewpoint in a three-dimensional space.
エンターテイメントやスポーツ観戦において、複数のカメラでそれぞれ異なる方向から撮影した複数の画像に基づいて、実際には存在しないカメラ（仮想カメラ）の視点からオブジェクト（被写体）を観察できる仮想視点映像システムが開発されている。この仮想視点映像システムでは、特定の人や物の追尾、全体を俯瞰しての状況把握、人や物の動きの解析等、それを視聴するユーザの目的にあった視点を設定することが可能である。 In entertainment and sports watching, a virtual viewpoint video system has been developed that allows objects (subjects) to be observed from the viewpoint of a camera (virtual camera) that does not actually exist, based on multiple images taken from different directions by multiple cameras. ing. With this virtual viewpoint video system, it is possible to set a viewpoint that suits the purpose of the user who watches it, such as tracking a specific person or object, grasping the situation from a bird's-eye view, analyzing the movement of a person or object, etc. Is.
仮想視点映像における視点設定には、専用のコントローラやマウス、タッチパネル等のユーザインタフェース（ＵＩ）が用いられ、これらＵＩを介して入力される位置情報がインタラクティブに仮想視点映像に反映される。特許文献１には、仮想視点を設定するユーザが、注目するオブジェクトを見失った場合に、別の視点の画像を表示することで、当該注目するオブジェクトを再度見つけやすくする機能を有する技術が開示されている。
A user interface (UI) such as a dedicated controller, mouse, or touch panel is used to set the viewpoint in the virtual viewpoint video, and the position information input via these UIs is interactively reflected in the virtual viewpoint video.
しかしながら、撮影対象の空間に存在する複数のオブジェクトの状況によっては、適切な視点の設定が困難になる場合がある。例えば、２つのオブジェクトが近接している場合において、適切に視点を設定しないと、映像内において一方のオブジェクトが他方のオブジェクトを遮蔽してしまう。このような見づらい映像になることを避けたり、視聴者の興味を引く映像を生成したりするための、オブジェクトに対する適切な視点位置の判断および視点操作は、特に視点操作に習熟していないユーザにとっては困難である。またこのような課題は、設置された複数のカメラの撮像画像の中から表示する撮像画像を選択的に切り替える視点切換映像システムにおいても同様に当て嵌まる。 However, it may be difficult to set an appropriate viewpoint depending on the situation of a plurality of objects existing in the space to be photographed. For example, when two objects are close to each other, if the viewpoint is not set appropriately, one object will block the other object in the video. Determining the appropriate viewpoint position for an object and operating the viewpoint in order to avoid such a difficult-to-see image or to generate an image that attracts the viewer's interest are especially for users who are not familiar with the viewpoint operation. It is difficult. Further, such a problem also applies to a viewpoint switching video system that selectively switches a captured image to be displayed from among the captured images of a plurality of installed cameras.
本開示に係る情報処理装置は、撮影対象の３次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、予め定めた視点変更要件を取得する取得手段と、前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、前記視点変更要件には、前記３次元空間に存在するオブジェクトのうち２つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、ことを特徴とする。
The information processing device according to the present disclosure is an information processing device for setting a viewpoint in a video whose viewpoint can be moved in a three-dimensional space to be photographed, and is an acquisition means for acquiring a predetermined viewpoint change requirement and the acquisition means. A setting means for setting a predetermined viewpoint based on the viewpoint change requirement acquired by
The viewpoint change requirement defines a relational condition that defines the positional relationship of two or more objects of interest among the objects existing in the three-dimensional space, and the predetermined viewpoint associated with the relational condition. The setting means includes at least the viewpoint information, and is characterized in that the predetermined viewpoint is set based on the viewpoint information when the relational conditions are satisfied and the viewpoint change requirement is satisfied.
本開示の技術によれば、三次元空間内で視点を移動できる映像システムにおいて、視点の設定に係る利便性を向上させることができる。 According to the technique of the present disclosure, it is possible to improve the convenience of setting the viewpoint in a video system in which the viewpoint can be moved in a three-dimensional space.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the following embodiments do not limit the present invention, and not all combinations of features described in the present embodiment are essential for the means for solving the present invention. The same configuration will be described with the same reference numerals.
［実施形態１］
以下、図面を参照して実施形態を説明する。図１は、本実施形態に係る、仮想視点映像を生成する映像システムの構成の一例を示す図である。図１に示す映像システム１００は、異なる視点に配置した複数のカメラで同期撮影して得られた映像に基づき、ユーザ等が指示する仮想的な視点（以下、「仮想視点」とも表記）からの見えを表す仮想視点映像を生成して出力する。本実施形態の映像システム１００は、情報処理装置１１０とユーザ端末１２０とを有する。ユーザ端末１２０には、情報処理装置１１０に仮想視点映像の生成を指示したり、生成された仮想視点映像を表示したりするための専用アプリケーションがインストールされている。そして、情報処理装置１１０は、ユーザ端末１２０の専用アプリケーションから送られてくる指示や要求を受けて、予め規定した複数のオブジェクト間の関係性に基づき仮想視点を自動で設定して仮想視点映像を生成し、ユーザ端末１２０に提供する。
[Embodiment 1]
Hereinafter, embodiments will be described with reference to the drawings. FIG. 1 is a diagram showing an example of a configuration of a video system for generating a virtual viewpoint video according to the present embodiment. The
情報処理装置１１０は、例えばサーバコンピュータであり、映像取得部１１１、映像保持部１１２、制御部１１３、描画部１１４、判定部１１５及び映像生成部１１６の各機能部を有する。ユーザ端末１２０は、情報処理装置１１０とネットワーク経由で接続される例えばパーソナルコンピュータなどであり、表示部１２１と入力部１２２を有する。
The
情報処理装置１１０の映像取得部１１１は、複数のカメラ（不図示）で同期撮影された映像データを、外部のカメラアレイやストレージ（いずれも不図示）などから取得する。取得した映像データは、映像保持部１１２に保存される。制御部１１３は、ユーザ端末１２０からのユーザ指示を受信し、当該ユーザ指示に基づき、情報処理装置１１０内の各部を制御する。描画部１１４は、映像保持部１１２に蓄積された映像データを用いて、ユーザ端末１２０のＧＵＩ（Graphical User Interface）で用いるＵＩ画面の描画処理、映像生成部１１５が生成する仮想視点映像やＵＩ画面のレイアウト処理を行う。判定部１１５は、撮影対象の３次元空間に存在するオブジェクトの位置情報や形状情報を参照し、指定された複数のオブジェクトの位置関係が予め規定した所定の条件を満たすか否かを判定する。映像生成部１１６は、描画部１１４におけるレイアウト処理の結果に従い、制御部１１３から入力された仮想視点に従った仮想視点映像を生成する。描画部１１４で生成されたＵＩ画面や映像生成部１１６が生成した仮想視点映像のデータは制御部１１３内の外部インタフェース（不図示）を介して、ユーザ端末１２０に送られる。
The
ユーザ端末１２０の表示部１２１は、一般的な液晶ディスプレイなどで構成され、情報処理装置１１０から提供されたＵＩ画面や仮想視点映像を表示する。ＵＩ画面と仮想視点映像は、同じディスプレイ上に切り替えて表示してもよいし、それぞれ別のディスプレイに表示してもよい。入力部１２２は、マウスやキーボードなどで構成され、表示部１２１に表示されたＵＩ画面に対する入力を受け付け、当該受け付けた入力に応じたユーザ指示を情報処理装置１１０の制御部１１３に出力する。なお、ユーザ端末１２０は、例えばタブレット機器やスマートフォンといった携帯型のコンピュータでもよい。また、ユーザ端末１２０は、表示部１２１と入力部１２２の両方の機能を兼ね備えたタッチパネルを有する機器であってもよい。また、本実施形態では、情報処理装置１１０で生成した仮想視点映像をユーザ端末１２０の表示部１２１に表示することとしているが、例えば、イベント会場に別途設置されたモニタなど、ユーザ端末１２０から独立した表示装置に表示してもよい。
The
（情報処理装置のハードウェア構成）
情報処理装置１１０のハードウェア構成について、図２を用いて説明する。なお、ユーザ端末１２０も、基本的には同様のハードウェア構成を有している。情報処理装置１１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７及びバス２０８を有する。
(Hardware configuration of information processing device)
The hardware configuration of the
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているプログラムやデータを用いて情報処理装置１１０の全体を制御し、図１に示した各機能部を実現する。なお、情報処理装置１１０がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から提供されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から提供されるデータなどを一時記憶する。補助記憶装置２０４は、例えばＨＤＤやＳＳＤ等で構成され、映像データや音声データといった入力データの他、後述の各種処理で参照されるテーブル、各種アプリケーションプログラムなど、様々なデータやプログラムを記憶する。
The
表示部２０５は、例えば液晶ディスプレイ等で構成され、ユーザが情報処理装置１１０を操作するためのＧＵＩなどを表示する。操作部２０６は、例えばキーボードやマウス、ジョイスティック等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信Ｉ／Ｆ２０７は、外部装置との通信に用いられる。例えば、情報処理装置１１０が外部装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。情報処理装置１１０が外部装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、上記各部を繋いでデータや信号を伝達する。
The
（仮想視点映像の生成・出力処理）
続いて、本実施形態に係る情報処理装置１１０が、予め規定した複数のオブジェクト間の関係性に基づき視点を自動設定して仮想視点映像を生成・出力する処理の流れを、図３のフローチャートを参照しつつ説明する。図３のフローチャートは、ユーザ端末１２０から視点自動設定処理の開始リクエストを受信した情報処理装置１１０の制御部１１３が、所定の制御プログラムに従って必要なテーブル等を取得して適宜参照等することで実現される。開始リクエストは、例えばユーザが前述の専用アプリケーションにおいて視点の自動変更モードを選択する等の明示の操作を行うことで発行される。或いは、原則として開始リクエストが所定間隔で発行されるようにし、ユーザが手動による視点操作を行っている場合や現視点を維持したい特定期間中など、ユーザの意図に反した視点変更を避ける必要がある場合にその発行が停止される仕様であってもよい。なお、以下の説明において記号「Ｓ」はステップを表す。
(Generation / output processing of virtual viewpoint video)
Subsequently, the flow chart of FIG. 3 shows the flow of the process in which the
Ｓ３０１では、受信した視点自動設定処理の開始リクエストに、視点を変更する場合の要件（以下、「視点変更要件」と呼ぶ。）の更新指示が含まれているか判定される。１つの視点変更要件は、撮影対象の３次元空間に存在する人や物のうち注目対象とする２つ以上の人や物（以下、「注目オブジェクト」と呼ぶ）と、当該２つ以上の注目オブジェクト間の位置関係を規定する条件（以下、「関係条件」と呼ぶ。）との組み合わせから成る。ここで、サッカーの試合を対象に撮影が行われるときの２つ以上の注目オブジェクトの例を挙げると、ゴールキーパーとボール、所属チームの異なるフィールドプレイヤー同士、ゴールとボールなどが該当する。図４は、視点変更要件を管理するテーブル（以下、「視点変更要件管理テーブル」と呼ぶ。）の一例である。視点変更要件管理テーブルは、「視点変更要件ＩＤ」、「注目オブジェクトＩＤ」、「関係条件ＩＤ」、「視点情報」、「ステータス」の５つの要素を持つ。以下、各要素について順に説明する。 In S301, it is determined whether or not the received start request for the viewpoint automatic setting process includes an update instruction for a requirement for changing the viewpoint (hereinafter, referred to as “viewpoint change requirement”). One viewpoint change requirement is two or more people or objects (hereinafter referred to as "attention objects") to be focused on among the people or objects existing in the three-dimensional space to be photographed, and the two or more attentions. It consists of a combination with a condition that defines the positional relationship between objects (hereinafter referred to as "relationship condition"). Here, to give an example of two or more objects of interest when shooting a soccer game, a goalkeeper and a ball, field players with different teams, a goal and a ball, and the like are applicable. FIG. 4 is an example of a table for managing viewpoint change requirements (hereinafter, referred to as “viewpoint change requirement management table”). The viewpoint change requirement management table has five elements of "viewpoint change requirement ID", "attention object ID", "relationship condition ID", "viewpoint information", and "status". Hereinafter, each element will be described in order.
「視点変更要件ＩＤ」には、各視点変更要件を識別するＩＤ情報（ここでは“MOVE-1”）が格納される。いま、図４の視点変更要件管理テーブルに存在する視点変更要件は1つであるが、複数の視点変更要件が存在する場合、視点変更要件ＩＤに格納されたＩＤ情報によって、それぞれの視点変更要件が特定される。 ID information (here, "MOVE-1") that identifies each viewpoint change requirement is stored in the "viewpoint change requirement ID". Currently, there is only one viewpoint change requirement in the viewpoint change requirement management table of FIG. 4, but when there are a plurality of viewpoint change requirements, each viewpoint change requirement is based on the ID information stored in the viewpoint change requirement ID. Is identified.
「注目オブジェクトＩＤ」には、各注目オブジェクトを識別するＩＤ情報が入る。図４に示すMOVE-1の視点変更要件では注目オブジェクトＩＤとして“OBJ1/OBJ3”が格納されている。図５は、注目オブジェクトとなり得る様々なオブジェクトの情報を管理するテーブル（以下、「オブジェクト管理テーブル」と呼ぶ。）の一例である。オブジェクト管理テーブルは、「オブジェクトＩＤ」、「更新情報」、「位置情報」で構成され、上記「注目オブジェクトＩＤ」に格納されるＩＤ情報もこのテーブルによって管理される。いま、“OBJ1”と“OBJ2”はフィールド上に２つあるゴール（ゴールＡ／ゴールＢ）それぞれに対応し、“OBJ3”はボールに対応し、“OBJ4”と“OBJ5”はプレイヤー（プレイヤーＡ／プレイヤーＢ）に対応している。図４の例では、注目オブジェクトＩＤとして“OBJ1”と“OBJ3”が指定されているので、ボールと一方のゴールＡが“MOVE-1”における注目オブジェクトとなる。「更新情報」には、各注目オブジェクトの位置情報が定数なのか定期更新なのかを示す情報と、定期更新の場合における更新タイミングの情報が入る。フィールド上に設置されたゴールのような静的オブジェクトの場合は、位置情報が変化することはないので“定数”となる。一方、ボールやプレイヤーといった動的オブジェクトの場合は、位置情報がフレーム間で変化し得るので“定期更新”となる。定期更新における更新タイミングは、フレーム数によって定義される。図５の例では、OBJ3のボールに対して、更新タイミングの値として“2”が設定されている。この場合、判定部１１５において、2フレーム毎にボールの位置情報の取得・更新がなされることになる。また、本実施形態では、位置情報として“定数”を設定したオブジェクトに対しては更新不要であることを示す値として、更新タイミングに負の値（-1）を設定している。なお、フレーム数に代えて、更新タイミングをタイマーで制御してもよい。或いは、オブジェクト単位ではなく、視点変更要件内の後述する「注目オブジェクト情報」や「視点情報」において更新タイミングを規定し、同じオブジェクトであっても視点変更要件によって更新タイミングを異ならせてもよい。
The "attention object ID" contains ID information that identifies each attention object. In the viewpoint change requirement of MOVE-1 shown in FIG. 4, "OBJ1 / OBJ3" is stored as the object ID of interest. FIG. 5 is an example of a table (hereinafter, referred to as an “object management table”) that manages information on various objects that can be objects of interest. The object management table is composed of "object ID", "update information", and "location information", and the ID information stored in the "object ID of interest" is also managed by this table. Now, "OBJ1" and "OBJ2" correspond to each of the two goals (Goal A / Goal B) on the field, "OBJ3" corresponds to the ball, and "OBJ4" and "OBJ5" correspond to the player (Player A). / It corresponds to player B). In the example of FIG. 4, since "OBJ1" and "OBJ3" are specified as the attention object IDs, the ball and one goal A are the attention objects in "MOVE-1". The "update information" includes information indicating whether the position information of each object of interest is a constant or a periodic update, and information on the update timing in the case of a periodic update. In the case of a static object such as a goal placed on the field, the position information does not change, so it is a "constant". On the other hand, in the case of a dynamic object such as a ball or a player, the position information can change between frames, so it is a “regular update”. The update timing in the periodic update is defined by the number of frames. In the example of FIG. 5, "2" is set as the update timing value for the ball of OBJ3. In this case, the
「位置情報」には、仮想視点映像の世界座標系における各オブジェクトの位置を特定する座標情報が、そのオブジェクトを表現する形状の情報と対応付けて格納される。本実施形態では、OBJ-1及びOBJ-2（ゴールＡ及びＢ）はその横幅を示す線分で表現され、その両端の座標情報が入る。OBJ3（ボール）は球で表現され、球の半径の情報と、球の中心点の座標情報が入る。OBJ-4及びOBJ-5（プレイヤーＡ及びＢ）は筒で表現され、筒の半径の情報と、筒の芯線の両端を表す座標情報が入る。なお、座標情報にカメラ座標系を用い、各オブジェクトの形状を二次元（例えば、ボールを球ではなく円）で表現してもよい。さらに、単純化のため、各オブジェクトを代表点の位置座標のみで表現し、形状情報を省いてもよい。或いは注目オブジェクトの輪郭や形状を近似する図形に置き換えて、当該図形の頂点の位置座標を用いてもよい。また、１つの注目オブジェクトを複数の形状にて表現し、その形状毎に位置情報を設定して、当該注目オブジェクトを用いる関係条件によって参照する位置情報を変えてもよい。 In the "position information", the coordinate information that specifies the position of each object in the world coordinate system of the virtual viewpoint image is stored in association with the information of the shape that represents the object. In the present embodiment, OBJ-1 and OBJ-2 (goals A and B) are represented by line segments indicating their widths, and coordinate information at both ends thereof is input. OBJ3 (ball) is represented by a sphere, which contains information on the radius of the sphere and coordinate information on the center point of the sphere. OBJ-4 and OBJ-5 (players A and B) are represented by a cylinder, and information on the radius of the cylinder and coordinate information representing both ends of the core wire of the cylinder are stored. The camera coordinate system may be used for the coordinate information, and the shape of each object may be represented in two dimensions (for example, the ball is not a sphere but a circle). Further, for simplification, each object may be represented only by the position coordinates of the representative points, and the shape information may be omitted. Alternatively, the position coordinates of the vertices of the figure may be used instead of the figure that approximates the contour or shape of the object of interest. Further, one object of interest may be represented by a plurality of shapes, position information may be set for each shape, and the position information to be referred to may be changed depending on the relational conditions using the object of interest.
「関係条件ＩＤ」には、注目オブジェクト同士がどのような位置関係になったときに仮想視点を変更するのかを規定する関係条件のＩＤ情報が入る。図６は、関係条件を管理するテーブル（以下、「関係条件管理テーブル」と呼ぶ。）の一例である。関係条件管理テーブルは、「条件ＩＤ」と「条件定義」の２つの要素を持つ。「条件ＩＤ」には、各関係条件を識別するＩＤ情報が入り、「条件定義」では、複数の注目オブジェクト間においてどのような関係性が成立したら視点移動を行うかが規定される。例示の“REL1-approach”は、注目オブジェクト同士が閾値となる一定距離（「距離Ｃ」と表記）以下まで接近したときに仮想視点を変更することを規定する関係条件である。この場合において、注目オブジェクト間の距離は、対象３次元空間を縦：X、横：Y、高さ：Zの３軸で表したときのX-Z平面或いはY-Z平面上における各注目オブジェクトの代表点の間隔である。なお、複数の注目オブジェクト間の関係性は距離以外の要素、例えば、各注目オブジェクトを表現した図形の重なり度合い（例えば重なりが15％以上など）で規定してもよい。図６の関係条件管理テーブルには１つの関係条件しか存在しないが、複数の関係条件を用意・格納してもよい。複数の関係条件が存在する場合、条件ＩＤに格納されたＩＤ情報によって、それぞれの確認条件が特定される。図４の視点変更要件管理テーブルの場合、条件ＩＤは“REL1-(20)”となっている。これは、上述のＩＤ情報“REL1-approach”で特定される関係条件において、距離Ｃの値が“20”であることを意味している。条件定義の例としては、上記の他にも注目オブジェクト同士が接触・衝突したことや、注目オブジェクト同士の距離が一定距離以上に離間したことなどがあり得る。接触・衝突の場合は、複数の注目オブジェクト間の関係性を、例えば、各注目オブジェクトを表現した図形の重なり度合い（例えば重なりが15％以上など）で規定してもよい。なお、本実施形態で例示するような、オブジェクト同士の距離に基づく関係条件をユーザがＵＩ画面等で設定する場合には、実空間上の距離（例えばメートル単位）で設定できることが望ましい。この場合は、カメラ座標空間と実空間との関係を、カメラパラメータから求めておけばよい。 The "relationship condition ID" contains the ID information of the relational condition that defines when the virtual viewpoint is changed when the objects of interest have a positional relationship with each other. FIG. 6 is an example of a table for managing relational conditions (hereinafter, referred to as “relationship condition management table”). The relational condition management table has two elements, "condition ID" and "condition definition". The "condition ID" contains ID information that identifies each relational condition, and the "condition definition" defines what kind of relationship is established between a plurality of objects of interest before the viewpoint is moved. The illustrated “REL1-approach” is a relational condition that defines that the virtual viewpoint is changed when the objects of interest approach each other within a certain distance (denoted as “distance C”) which is a threshold value. In this case, the distance between the objects of interest is the representative point of each object of interest on the XZ plane or the YZ plane when the target three-dimensional space is represented by the three axes of vertical: X, horizontal: Y, and height: Z. The interval. The relationship between the plurality of objects of interest may be defined by an element other than the distance, for example, the degree of overlap of the figures representing each object of interest (for example, the overlap is 15% or more). Although there is only one relational condition in the relational condition management table of FIG. 6, a plurality of relational conditions may be prepared and stored. When a plurality of relational conditions exist, each confirmation condition is specified by the ID information stored in the condition ID. In the case of the viewpoint change requirement management table of FIG. 4, the condition ID is “REL1- (20)”. This means that the value of the distance C is "20" in the relational condition specified by the above-mentioned ID information "REL1-approach". In addition to the above, examples of the condition definition may be that the objects of interest touch or collide with each other, or that the objects of interest are separated by a certain distance or more. In the case of contact / collision, the relationship between a plurality of objects of interest may be defined by, for example, the degree of overlap of figures representing each object of interest (for example, the overlap is 15% or more). When the user sets the relational condition based on the distance between the objects on the UI screen or the like as illustrated in the present embodiment, it is desirable that the distance in the real space (for example, in meters) can be set. In this case, the relationship between the camera coordinate space and the real space may be obtained from the camera parameters.
「視点情報」は、視点変更要件が成立した時に、どのような仮想視点（仮想カメラの位置・姿勢）から注目オブジェクトを見るかを決定するために必要な情報が入り、本実施形態では「視点移動先」と「視点再評価」の情報から成る。「視点移動先」は、仮想視点映像を提供する映像システムの場合、注目オブジェクトの観察に適した仮想視点の３次元座標を特定するための情報が、視点移動先の情報として格納されることになる。適切な仮想視点は、何が注目オブジェクトとして指定されているのか、関係条件としてどのような条件定義が規定されているのかによってその内容は異なる。そのため、ユーザが、対象の注目オブジェクト及び関係条件と関連付けて、その内容を事前に定義しておく。図４の例では、「視点移動先」の情報として、“注目オブジェクト間の距離が最大の視点位置”が格納されている。いま、注目オブジェクトとして“ゴールＡ”と“ボール”が指定されているので、ボールからゴールＡまでの距離の変化が観察しやすい、双方が最も離間して見えるような所定の位置に仮想視点が設定されることになる。「視点再評価」は、視点移動後においても関係条件が成立しているかをチェック（再判定）するかどうかに関する情報が入る。図４の例では、“成立時のみ”が格納されている。これは、視点変更要件で定義された関係条件が成立して視点移動を行った後は、関係条件の成立状態がその後も継続しているかどうかのチェックは行わないことを意味している。なお、本実施形態では、「視点移動先」と「視点再評価」の２つの情報で「視点情報」が構成されるが、「視点移動時の経路」や「移動速度」といった情報を含めてもよい。これら各情報について、ユーザは、情報処理装置１１０が持つ機能に応じて提示される選択肢の中から所望の内容を選んで設定する。
The "viewpoint information" contains information necessary for determining from what virtual viewpoint (position / posture of the virtual camera) the object of interest is viewed when the viewpoint change requirement is satisfied, and in this embodiment, the "viewpoint information" is entered. It consists of information on "destination" and "re-evaluation of viewpoint". In the case of a video system that provides a virtual viewpoint image, the "viewpoint moving destination" is that information for specifying the three-dimensional coordinates of the virtual viewpoint suitable for observing the object of interest is stored as the information of the viewpoint moving destination. Become. The content of an appropriate virtual viewpoint differs depending on what is specified as the object of interest and what kind of condition definition is defined as the relational condition. Therefore, the user defines the contents in advance in association with the target object of interest and the relational conditions. In the example of FIG. 4, "the viewpoint position where the distance between the objects of interest is the maximum" is stored as the information of the "viewpoint moving destination". Now, since "goal A" and "ball" are designated as objects of interest, it is easy to observe the change in the distance from the ball to goal A, and the virtual viewpoint is placed at a predetermined position where both can be seen as the most distant. It will be set. The "viewpoint re-evaluation" contains information on whether or not to check (re-judgment) whether the relevant conditions are satisfied even after the viewpoint is moved. In the example of FIG. 4, "only when established" is stored. This means that after the relational condition defined in the viewpoint change requirement is satisfied and the viewpoint is moved, it is not checked whether the relational condition is still satisfied or not. In the present embodiment, "viewpoint information" is composed of two pieces of information, "viewpoint movement destination" and "viewpoint re-evaluation", but includes information such as "path at the time of viewpoint movement" and "movement speed". May be good. For each of these pieces of information, the user selects and sets desired contents from the options presented according to the functions of the
「ステータス」には、“有効”或いは“無効”の情報が入る。ステータス情報が“有効”に設定されている視点変更要件について、判定部１１５が成立の要否判定を行うことになる。図３のフローの説明に戻る。
The "status" contains "valid" or "invalid" information. For the viewpoint change requirement for which the status information is set to "valid", the
上述のような視点変更要件について新規追加や編集がユーザによって指示され、前述の開始リクエストに視点変更要件の更新指示が含まれていた場合はＳ３０２に進み、含まれていなければＳ３０３に進む。 If the user is instructed to add or edit the viewpoint change requirement as described above and the start request includes the viewpoint change requirement update instruction, the process proceeds to S302, and if not, the process proceeds to S303.
Ｓ３０２では、視点変更要件の更新処理が実行される。視点変更要件の更新処理の詳細については後述する。更新処理の終了後はＳ３０３に進む。 In S302, the viewpoint change requirement update process is executed. The details of the update process of the viewpoint change requirement will be described later. After the update process is completed, the process proceeds to S303.
Ｓ３０３では、処理対象とする視点変更要件が決定される。このとき、視点変更要件管理テーブルに複数の視点変更要件が格納されている場合（視点変更要件ＩＤが複数ある場合）は、処理対象の視点変更要件を、その格納順などに従って適宜決定すればよい。或いは、実施形態２で説明するように、個々の視点変更要件に優先度が設定されている場合は、優先度が高いものから順に処理対象の視点変更要件としてもよい。図４の例では、“MOVE-1”の１つしか存在しないので、“MOVE-1”が処理対象の視点変更要件として決定されることになる。 In S303, the viewpoint change requirement to be processed is determined. At this time, when a plurality of viewpoint change requirements are stored in the viewpoint change requirement management table (when there are a plurality of viewpoint change requirement IDs), the viewpoint change requirements to be processed may be appropriately determined according to the storage order and the like. .. Alternatively, as described in the second embodiment, when the priority is set for each viewpoint change requirement, the viewpoint change requirement to be processed may be set in descending order of priority. In the example of FIG. 4, since there is only one "MOVE-1", "MOVE-1" is determined as the viewpoint change requirement of the processing target.
Ｓ３０４では、処理対象の視点変更要件について、そのステータスが有効かを判定する処理（有効性判定処理）が実行される。この有効性判定処理の詳細については後述する。続くＳ３０５では、Ｓ３０４での判定結果に応じて次の処理が決定される。処理対象の視点変更要件のステータスが有効であればＳ３０６に進み、無効であればＳ３０８に進む。 In S304, a process (validity determination process) for determining whether the status of the viewpoint change requirement to be processed is valid is executed. The details of this effectiveness determination process will be described later. In the subsequent S305, the next process is determined according to the determination result in S304. If the status of the viewpoint change requirement to be processed is valid, the process proceeds to S306, and if it is invalid, the process proceeds to S308.
Ｓ３０６では、処理対象の視点変更要件が成立するか否かを判定する処理（成立判定処理）が実行される。この成立判定処理の詳細については後述する。処理対象の視点変更要件が成立していれば、当該視点変更要件で定義される視点情報に従った仮想視点が、Ｓ３１０以降の処理において設定されることになる。続くＳ３０７では、Ｓ３０６での判定結果に応じて次の処理が決定される。処理対象の視点変更要件が成立していればＳ３１０に進み、不成立であればＳ３０８に進む。 In S306, a process (establishment determination process) for determining whether or not the viewpoint change requirement of the processing target is satisfied is executed. The details of this establishment determination process will be described later. If the viewpoint change requirement of the processing target is satisfied, a virtual viewpoint according to the viewpoint information defined in the viewpoint change requirement is set in the processing after S310. In the following S307, the next process is determined according to the determination result in S306. If the viewpoint change requirement of the processing target is satisfied, the process proceeds to S310, and if not, the process proceeds to S308.
Ｓ３０８では、すべての視点変更要件について成立判定処理が実行されたかが判定される。未処理の視点変更要件があればＳ３０３に戻り、次の視点変更要件を処理対象に決定して処理が続行される。すべての視点変更要件について処理が完了していれば、Ｓ３０９に進み、現在の視点を維持した仮想視点映像が映像生成部１１６にて生成される。こうして生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力され、本処理を終える。
In S308, it is determined whether the establishment determination process has been executed for all the viewpoint change requirements. If there is an unprocessed viewpoint change requirement, the process returns to S303, the next viewpoint change requirement is determined as the processing target, and the processing is continued. If the processing for all the viewpoint change requirements is completed, the process proceeds to S309, and a virtual viewpoint image maintaining the current viewpoint is generated by the
Ｓ３１０では、処理対象の視点変更要件の「視点情報」で定義されている内容に従って新たな仮想視点（仮想カメラ）が設定される。この際、フィールド面からの高さ、画角、焦点距離といったパラメータについては、予め決定しておいた所定値を適用してもよいし、「視点情報」において個別に定義しておいてもよい。また、設定された新規の仮想視点へ瞬間的に遷移させてもよいし、その間の移動経路を補間処理によって決定して緩やかに遷移するようにしてもよい。こうして設定された新たな仮想視点の情報は映像生成部１１６に送られ、仮想視点映像の生成に使用されることになる。
In S310, a new virtual viewpoint (virtual camera) is set according to the content defined in the "viewpoint information" of the viewpoint change requirement of the processing target. At this time, parameters such as height from the field surface, angle of view, and focal length may be applied with predetermined values determined in advance, or may be individually defined in "viewpoint information". .. In addition, the transition to a new virtual viewpoint may be instantaneously set, or the movement path between them may be determined by interpolation processing so that the transition is gentle. The new virtual viewpoint information set in this way is sent to the
そして、Ｓ３１１では、Ｓ３１０で設定された新規の仮想視点からの見えを表す仮想視点映像が映像生成部１１６にて生成される。こうして生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力される。続く、Ｓ３１２では、所定の後処理が実行される。所定の後処理には、例えば以下のような処理が含まれる。
・「視点再評価」にて所定フレーム数後に関係条件のチェックを行うことが設定されて場合における関係条件の再判定処理
・視点変更が短期間に繰り返されることを避けるためのタイマー処理
・次の開始リクエストの発行タイミングを、成立判定処理の結果に基づき決定（成立している場合は数秒後、不成立の場合は数ミリ秒後など）する処理
Then, in S311 the
-Re-judgment processing of related conditions when it is set to check related conditions after a predetermined number of frames in "Viewpoint re-evaluation" -Timer processing to avoid repeating viewpoint changes in a short period of time-Next Processing to determine the issuance timing of the start request based on the result of the establishment judgment processing (several seconds if it is established, several milliseconds if it is not established, etc.)
上記のような内容の後処理が完了すると本処理を終える。
以上が、情報処理装置１１０における、仮想視点映像の生成・出力処理の概要である。
When the post-processing of the above contents is completed, this processing ends.
The above is the outline of the generation / output processing of the virtual viewpoint image in the
（視点変更要件の更新処理）
続いて、前述のＳ３０３における視点変更要件の更新処理の詳細について、図７のフローチャートを参照して説明する。
(Update process of viewpoint change requirements)
Subsequently, the details of the update process of the viewpoint change requirement in S303 will be described with reference to the flowchart of FIG. 7.
Ｓ７０１では、更新指示の内容が、新たな視点変更要件の追加であるのか、既存の視点変更要件の編集であるのかが判定される。新たな視点変更要件の追加であればＳ７０２に進み、既存の視点変更要件の編集であればＳ７０３に進む。追加の場合のＳ７０２では、ユーザ指示に係る新たな視点変更要件が、視点変更要件管理テーブルに追加される。この追加の際のステータスは初期値である“無効”に設定される。追加後はＳ７０４に進む。一方、編集の場合のＳ７０３では、編集対象となる視点変更要件が、不図示のＵＩ画面を介したユーザ指定に基づき、視点変更要件管理テーブルから取得される。取得後はＳ７０４に進む。 In S701, it is determined whether the content of the update instruction is the addition of a new viewpoint change requirement or the editing of an existing viewpoint change requirement. If a new viewpoint change requirement is added, the process proceeds to S702, and if an existing viewpoint change requirement is edited, the process proceeds to S703. In the case of addition, in S702, a new viewpoint change requirement related to the user instruction is added to the viewpoint change requirement management table. The status at the time of this addition is set to the initial value "disabled". After the addition, proceed to S704. On the other hand, in S703 in the case of editing, the viewpoint change requirement to be edited is acquired from the viewpoint change requirement management table based on the user designation via the UI screen (not shown). After acquisition, proceed to S704.
Ｓ７０４では、注目オブジェクトの設定処理が実行される。図８は、注目オブジェクト設定処理の詳細を示すフローチャートである。以下、図８のフローに沿って説明する。 In S704, the setting process of the object of interest is executed. FIG. 8 is a flowchart showing the details of the object of interest setting process. Hereinafter, description will be given according to the flow of FIG.
＜注目オブジェクト設定処理＞
Ｓ８０１では、更新指示の内容が、新たな注目オブジェクトの追加であるのか、既存の注目オブジェクトの編集であるのか、それ以外（すなわち、関係条件の追加・編集）であるのかが判定される。新たな視点変更要件の追加であればＳ８０２に進み、既存の視点変更要件の変更であればＳ８０５に進む。そのどちらでもなければ、本処理を抜ける。
Ｓ８０２では、注目オブジェクトを追加するための不図示のＵＩ画面（以下、「注目オブジェクト追加用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に注目オブジェクト追加用ＵＩ画面が表示される。注目オブジェクト追加用ＵＩ画面には、例えば予め定義された「オブジェクトとその位置情報」を複数含んだリストが表示され、ユーザはリストの中から、追加する視点変更要件における注目オブジェクトを選択する。リストからの選択に代えて、映像保持部１１２が保持する映像もしくは映像生成部１１６が生成した仮想視点映像を注目オブジェクト追加用ＵＩ画面上に表示し、そこに映っているオブジェクトの中から注目オブジェクトを選択するようにしてもよい。そして、Ｓ８０３では、注目オブジェクト追加用ＵＩ画面におけるユーザ選択が受け付けられる。そして、Ｓ８０４では、受け付けたユーザ選択に係るオブジェクトが、注目オブジェクトとしてオブジェクト管理テーブルに追加される。この際、「更新情報」と「位置情報」の項目には、未定義であることを示す所定値が入る。こうして、新たな注目オブジェクトがオブジェクト管理テーブルに追加されると、Ｓ８０８に進む。
<Attention object setting process>
In S801, it is determined whether the content of the update instruction is the addition of a new object of interest, the editing of an existing object of interest, or something else (that is, the addition / editing of a relational condition). If a new viewpoint change requirement is added, the process proceeds to S802, and if an existing viewpoint change requirement is changed, the process proceeds to S805. If neither is the case, this process is exited.
In S802, a UI screen (hereinafter, referred to as “UI screen for adding an object of interest”) (hereinafter referred to as “UI screen for adding an object of interest”) for adding an object of interest is generated by the
一方、Ｓ８０５では、既存の注目オブジェクトを変更するための不図示のＵＩ画面（以下、「注目オブジェクト変更用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に注目オブジェクト変更用ＵＩ画面が表示される。注目オブジェクト変更用ＵＩ画面には、定義済の注目オブジェクトが一覧表示され、ユーザは注目オブジェクトの差し替え等のユーザ操作を行う。そして、Ｓ８０６では、注目オブジェクト変更用ＵＩ画面におけるユーザ操作が受け付けられる。こうして、注目オブジェクトの変更が指示されると、Ｓ８０７に進む。Ｓ８０７では、注目オブジェクトの変更がオブジェクト管理テーブルに反映される。
On the other hand, in S805, a UI screen (hereinafter, referred to as “UI screen for changing the object of interest”) (hereinafter referred to as “UI screen for changing the object of interest”) for changing the existing object of interest is generated by the
Ｓ８０８では、追加等された注目オブジェクトについて「更新情報」と「位置情報」が設定される。この場合において、対象の注目オブジェクトが静的オブジェクトであってその位置を表す値が事前に定義済みである場合は、当該定義済みの値を保持している判定部１１５から取得して「位置情報」として設定する。また、対象の注目オブジェクトが動的オブジェクトである場合は、その現在位置を示す値を取得し「位置情報」として設定する。動的オブジェクトの現在位置を示す値の取得には、オブジェクト追跡の手法や各動的オブジェクトに位置センサーを付しておく手法など、公知の手法を適用すればよい。なお、判定部１１５から、現在の位置を示す値が取得できない場合は「位置情報」を未定義のまま本処理を終了し、他の取得可能なタイミング（例えば、当該注目オブジェクトを参照する視点変更要件の追加や更新もしくは成立判定時）に取得・設定してもよい。
In S808, "update information" and "position information" are set for the added object of interest. In this case, if the target object of interest is a static object and the value representing its position is predefined, it is acquired from the
以上が、注目オブジェクト設定処理の内容である。図７のフローの説明に戻る。Ｓ７０５では、関係条件の設定処理が実行される。図９は、関係条件設定処理の詳細を示すフローチャートである。以下、図９のフローに沿って説明する。 The above is the content of the object of interest setting process. Returning to the explanation of the flow of FIG. In S705, the relational condition setting process is executed. FIG. 9 is a flowchart showing the details of the relational condition setting process. Hereinafter, description will be given according to the flow of FIG.
＜関係条件設定処理＞
Ｓ９０１では、更新指示の内容が、新たな関係条件の追加であるのか、既存の関係条件の編集であるのかが判定される。新たな関係条件の追加であればＳ９０２に進み、既存の関係条件の編集であればＳ９０５に進む。
<Related condition setting process>
In S901, it is determined whether the content of the update instruction is the addition of a new relational condition or the editing of an existing relational condition. If a new relation condition is added, the process proceeds to S902, and if an existing relation condition is edited, the process proceeds to S905.
Ｓ９０２では、関係条件を追加するための不図示のＵＩ画面（以下、「関係条件追加用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に関係条件追加用ＵＩ画面が表示される。関係条件追加用ＵＩ画面には、例えば条件定義を規定済みの関係条件を記載したリストが表示され、ユーザはリストの中から所望の関係条件を選択する。或いは、関係条件追加用ＵＩ画面上に、キーボード等を用いて任意の条件定義を入力して、所望の関係条件を設定できるようにしてもよい。そして、Ｓ９０３では、関係条件追加用ＵＩ画面におけるユーザ選択（或いはユーザ入力）が受け付けられる。そして、Ｓ９０４では、受け付けたユーザ選択（或いはユーザ入力）に係る関係条件が、新規の関係条件として関係条件管理テーブルに追加される。こうして、新たな関係条件の追加設定が完了すると、本処理を抜ける。
In S902, a UI screen (hereinafter, referred to as “UI screen for adding relational conditions”) (hereinafter referred to as “UI screen for adding relational conditions”) for adding relational conditions is generated by the
Ｓ９０５では、既存の関係条件を編集するための不図示のＵＩ画面（以下、「関係条件編集用ＵＩ画面」と呼ぶ。）が描画部１１４によって生成され、制御部１１３を介してユーザ端末１２０に出力される。そして、ユーザ端末１２０の表示部１２１に関係条件編集用ＵＩ画面が表示される。関係条件編集用ＵＩ画面には、既存の関係条件のリストが表示される。ユーザは、リストの中から編集対象の関係条件を指定し、指定した関係条件の条件定義を、キーボード等を用いて所望の内容に変更する。そして、Ｓ９０６では、関係条件編集用ＵＩ画面においてユーザが行った、特定の関係条件に対する条件定義の変更（編集内容）が受け付けられる。そして、Ｓ９０７では、受け付けた編集内容に基づき、指定された関係条件の条件定義の内容が設定変更される。こうして、特定の関係条件における条件定義の設定変更が完了すると、本処理を抜ける。
In S905, a UI screen (hereinafter, referred to as “UI screen for editing relational conditions”) (hereinafter, referred to as “UI screen for editing relational conditions”) for editing existing relational conditions is generated by the
以上が、Ｓ３０３における視点変更要件更新処理の内容である。なお、本実施形態では編集対象に視点情報を含めていないが、既存の視点変更要件における視点情報についても編集・更新できるようにしてもよい。 The above is the content of the viewpoint change requirement update process in S303. Although the viewpoint information is not included in the editing target in the present embodiment, the viewpoint information in the existing viewpoint change requirements may be edited / updated.
（視点変更要件の有効性判定処理）
次に、前述のＳ３０４における視点変更要件の有効性判定処理の詳細について、図１０のフローチャートを参照して説明する。
(Effectiveness judgment processing of viewpoint change requirements)
Next, the details of the validity determination process of the viewpoint change requirement in S304 will be described with reference to the flowchart of FIG.
Ｓ１００１では、処理対象の視点変更要件に係る注目オブジェクトが定義済みか否かの判定がなされる。具体的には、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在するかどうかがチェックされる。注目オブジェクトが未定義である場合はＳ１００４に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在し、注目オブジェクトが定義済みの場合はＳ１００２に進む。 In S1001, it is determined whether or not the object of interest related to the viewpoint change requirement of the processing target has been defined. Specifically, it is checked whether the update information and the position information corresponding to the object of interest exist in the object management table. If the object of interest is undefined, the process proceeds to S1004, and the status of the viewpoint change requirement to be processed is set to invalid. After setting the status, exit this process. On the other hand, if the update information and the position information corresponding to the attention object exist in the object management table and the attention object has been defined, the process proceeds to S1002.
Ｓ１００２では、処理対象の視点変更要件に係る関係条件が定義済みか否かの判定がなされる。具体的には、関係条件管理テーブルに条件定義が存在するかどうかがチェックされる。関係条件が未定義である場合はＳ１００４に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、関係条件管理テーブルに条件定義が存在し、関係条件が定義済みの場合はＳ１００３に進む。 In S1002, it is determined whether or not the relational conditions related to the viewpoint change requirement of the processing target have been defined. Specifically, it is checked whether the condition definition exists in the relational condition management table. If the relational condition is undefined, the process proceeds to S1004, and the status of the viewpoint change requirement to be processed is set to invalid. After setting the status, exit this process. On the other hand, if the condition definition exists in the relational condition management table and the relational condition is already defined, the process proceeds to S1003.
注目オブジェクト及び関係条件が共に定義済みの場合、Ｓ１００３では、処理対象の視点変更要件のステータスが有効に設定される。ステータス設定後は、本処理を抜ける。 When both the attention object and the relational condition are defined, the status of the viewpoint change requirement to be processed is effectively set in S1003. After setting the status, exit this process.
以上が、視点変更要件の有効性判定処理の内容である。
図１０のフローでは、注目オブジェクトと関係条件が定義済みであればステータスを有効に設定していたが、これに限定されない。例えば、注目オブジェクトと関係条件が定義済みと判明した後に、ユーザが手動で視点を操作中かどうか判定するステップを加えてもよい。この場合、ユーザが視点を手動で操作中であれば、Ｓ１００３ではなくＳ１００４に進んでステータスを無効に設定し、一定時間経過後にステータスを有効に設定するステップをＳ１００４の後に加えればよい。
The above is the content of the validity determination process of the viewpoint change requirement.
In the flow of FIG. 10, if the object of interest and the relational condition have been defined, the status is set to be valid, but the present invention is not limited to this. For example, a step may be added to determine whether the user is manually manipulating the viewpoint after it is determined that the object of interest and the relational conditions have been defined. In this case, if the user is manually operating the viewpoint, the step of proceeding to S1004 instead of S1003 to set the status invalid and setting the status valid after a certain period of time may be added after S1004.
（視点変更要件の成立判定処理）
次に、前述のＳ３０６における視点変更要件の成立判定処理の詳細について、図１１のフローチャートを参照して説明する。
(Processing for determining the establishment of viewpoint change requirements)
Next, the details of the process for determining the establishment of the viewpoint change requirement in S306 will be described with reference to the flowchart of FIG.
Ｓ１１０１では、ステータスが有効と判定された処理対象の視点変更要件における各注目オブジェクトについて、その位置情報を更新する必要があるか否かが、オブジェクト管理テーブルを参照して判定される。具体的には、オブジェクト管理テーブル内の「更新情報」を参照し、“定数”であるか“定期更新”であるかがチェックされる。“定数”であれば位置情報の更新は不要なので、Ｓ１１０２をスキップしてＳ１１０３へ進む。一方、“定期更新”であれば、現在の位置情報を取得するべくＳ１１０２に進む。 In S1101, it is determined by referring to the object management table whether or not it is necessary to update the position information of each attention object in the viewpoint change requirement of the processing target whose status is determined to be valid. Specifically, the "update information" in the object management table is referred to, and whether it is a "constant" or a "regular update" is checked. If it is a "constant", it is not necessary to update the position information, so S1102 is skipped and the process proceeds to S1103. On the other hand, if it is "regular update", the process proceeds to S1102 to acquire the current position information.
Ｓ１１０２では、オブジェクト管理テーブル内の「更新情報」を参照し、そこで定義されている更新タイミングに基づき、注目オブジェクトの現在位置を表す位置情報が取得される。位置情報を取得後、Ｓ１１０３に進む。 In S1102, the "update information" in the object management table is referred to, and the position information representing the current position of the object of interest is acquired based on the update timing defined therein. After acquiring the position information, the process proceeds to S1103.
Ｓ１１０３では、処理対象の視点変更要件が成立するか否かが判定される。具体的には、当該視点変更要件に係る複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たすか否かがチェックされる。この際、関係条件が注目オブジェクト間の距離で規定されている場合には、各注目オブジェクトの三次元空間におけるその位置と形状を各カメラの姿勢に応じた二次元空間に射影変換によってマッピングし、当該マッピングの結果に基づき判定される。複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たす場合はＳ１１０４に進む。一方、満たさない場合はＳ１１０５に進む。 In S1103, it is determined whether or not the viewpoint change requirement of the processing target is satisfied. Specifically, it is checked whether or not the positional relationship of the plurality of objects of interest related to the viewpoint change requirement satisfies the relationship specified in the relationship condition. At this time, if the relational condition is defined by the distance between the objects of interest, the position and shape of each object of interest in the three-dimensional space is mapped to the two-dimensional space according to the posture of each camera by projective transformation. Judgment is made based on the result of the mapping. If the positional relationship of the plurality of objects of interest satisfies the relationship specified in the relationship condition, the process proceeds to S1104. On the other hand, if it is not satisfied, the process proceeds to S1105.
Ｓ１１０４では、処理対象の視点変更要件は成立しているとの判定結果が設定される。その後、本処理を抜ける。一方、Ｓ１１０５では、処理対象の視点変更要件は成立していないとの判定結果が設定される。その後、本処理を抜ける。 In S1104, a determination result that the viewpoint change requirement of the processing target is satisfied is set. After that, the process exits this process. On the other hand, in S1105, a determination result is set that the viewpoint change requirement of the processing target is not satisfied. After that, the process exits this process.
以上が、視点変更要件の成立判定処理の内容である。 The above is the content of the process for determining the establishment of the viewpoint change requirement.
ここで、本実施形態の手法によって視点が自動で遷移する様子を、前述の図４に示す視点変更要件の場合を例に説明する。図１２（ａ）は自動遷移する前の仮想視点（仮想カメラ）の位置を示す図であり、ゴールＡの真後ろから相手方ゴール（ゴールＢ）の方向を視線方向とした仮想視点１２０１が設定されている。図１２（ｂ）は、仮想視点１２０１からの見えを表す仮想視点映像を示している。図１２（ａ）で示すように、フィールドプレイヤーはゴールＡから離れた位置（Pos1）でボールをドリブルしている。そして、ゴールＡに近い位置（Pos2）に向かってドリブルした結果、視点変更要件ＩＤが「Move-1」の関係条件「REL1-(20)」が満たされたとする。図１３（ａ）は、「Move-1」の「視点情報」で定義された「注目オブジェクト間の距離が最大の視点位置」となるように自動遷移した後の仮想視点（仮想カメラ）の位置を示す図である。ペナルティエリア内に入った注目オブジェクトとしてのボールと、同じく注目オブジェクトとしてのゴールＡとが最も離間して見える真横からの方向を視線方向とした仮想視点１３０１が設定されているのが分かる。図１３（ｂ）は、新たに設定された仮想視点１３０１からの見えを表す仮想視点映像を示しており、フィールドプレイヤーによるシュートシーンの観賞に適した映像となっている。このように、予め設定した視点変更要件に従って、仮想視点を自動で切り替えることができる。
Here, a state in which the viewpoint is automatically changed by the method of the present embodiment will be described by taking the case of the viewpoint change requirement shown in FIG. 4 as an example. FIG. 12A is a diagram showing the position of the virtual viewpoint (virtual camera) before the automatic transition, and the
（変形例）
本実施形態の上述の内容は、３次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで任意の視点からの映像を出力する視点切換映像にも適用可能である。この場合、前述の「視点情報」における「視点移動先」の情報には、切替後の視点（すなわち、選択するカメラ）を定義しておけばよい。これにより、視点変更要件成立時に注目オブジェクトの観察に適した視点のカメラを自動設定することが可能となる。
(Modification example)
The above-mentioned contents of the present embodiment can also be applied to a viewpoint switching image that outputs an image from an arbitrary viewpoint by selectively switching a camera to be used from a plurality of cameras installed in a three-dimensional space. .. In this case, the viewpoint after switching (that is, the camera to be selected) may be defined in the information of the "viewpoint moving destination" in the above-mentioned "viewpoint information". This makes it possible to automatically set a camera with a viewpoint suitable for observing the object of interest when the viewpoint change requirement is satisfied.
本実施形態によれば、事前に用意した視点変更要件に従って３次元空間における視点が自動で変更される。これにより、ユーザが見たい視点からの映像を容易に得ることができる。 According to this embodiment, the viewpoint in the three-dimensional space is automatically changed according to the viewpoint change requirement prepared in advance. As a result, it is possible to easily obtain an image from the viewpoint that the user wants to see.
［実施形態２］
次に、成立している視点変更要件が複数ある場合にその中から実際に適用する視点変更要件を選択的に決定する態様を、実施形態２として説明する。なお、画像処理システムの基本構成などは実施形態１と共通する事項については説明を省略する。
[Embodiment 2]
Next, a mode for selectively determining the viewpoint change requirement to be actually applied from among a plurality of established viewpoint change requirements will be described as the second embodiment. The basic configuration of the image processing system and the like are the same as those in the first embodiment, and the description thereof will be omitted.
（仮想視点映像の生成・出力処理）
図１４は、本実施形態に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートである。このフローチャートで示す一連の処理も、ユーザ端末１２０から仮想視点自動設定処理の開始リクエストを受信した情報処理装置１１０の制御部１１３が、所定の制御プログラムを実行することで実現される。以下の説明では、実施形態１に係る図３のフローチャートと共通する内容については説明を省略ないしは簡略化し、差異点を中心に説明するものとする。
(Generation / output processing of virtual viewpoint video)
FIG. 14 is a flowchart showing a flow of processing for generating and outputting a virtual viewpoint image according to the present embodiment. The series of processes shown in this flowchart is also realized by the
Ｓ１４０１〜Ｓ１４０６は、前述の図３のフローにおけるＳ３０１〜Ｓ３０６にそれぞれ対応する。すなわち、受信した開始リクエストに視点変更要件の更新指示が含まれているか判定され（Ｓ１４０１）、含まれていれば更新処理が実行される（Ｓ１４０２）。そして、処理対象の視点変更要件が決定されると（Ｓ１４０３）、そのステータスの有効／無効が判定される（Ｓ１４０４）。ステータスが無効であれば（Ｓ１４０５でＮｏ）、未処理の視点変更要件の有無を判定する処理（Ｓ１４０７）に進む。一方、ステータスが有効であれば（Ｓ１４０５でＹｅｓ）、続いて当該視点変更要件の成立／不成立が判定される（Ｓ１４０６）。そして、本実施形態の場合、たとえ処理対象の視点変更要件が成立していても、その視点情報に従った視点設定を直ちに行うことなく、未処理の視点変更要件の有無を判定する処理（Ｓ１４０７）に進む。そして、未処理の視点変更要件があれば（Ｓ１４０７でＹｅｓ）、Ｓ１４０３に戻って次の視点変更要件を処理対象に決定して処理を続行し、未処理の視点変更要件がなくなるまで繰り返す。このような処理によって、本実施形態では、ステータスが有効のすべての視点変更要件について、成立しているかどうかがまず判定される。そして、Ｓ１４０８以降の処理において、成立している視点変更要件の中から、実際に適用する視点変更要件が決定されることになる。以下、詳しく説明する。 S1401 to S1406 correspond to S301 to S306 in the flow of FIG. 3 described above, respectively. That is, it is determined whether the received start request includes the update instruction of the viewpoint change requirement (S1401), and if it is included, the update process is executed (S1402). Then, when the viewpoint change requirement of the processing target is determined (S1403), the validity / invalidity of the status is determined (S1404). If the status is invalid (No in S1405), the process proceeds to the process of determining the presence / absence of the unprocessed viewpoint change requirement (S1407). On the other hand, if the status is valid (Yes in S1405), it is subsequently determined whether or not the viewpoint change requirement is satisfied (S1406). Then, in the case of the present embodiment, even if the viewpoint change requirement of the processing target is satisfied, the process of determining the presence or absence of the unprocessed viewpoint change requirement without immediately setting the viewpoint according to the viewpoint information (S1407). ). Then, if there is an unprocessed viewpoint change requirement (Yes in S1407), the process returns to S1403, determines the next viewpoint change requirement as a processing target, continues the process, and repeats until the unprocessed viewpoint change requirement disappears. By such a process, in the present embodiment, it is first determined whether or not all the viewpoint change requirements for which the status is valid are satisfied. Then, in the processing after S1408, the viewpoint change requirement to be actually applied is determined from the established viewpoint change requirements. The details will be described below.
Ｓ１４０８では、成立している視点変更要件が存在するか判定される。成立している視点変更要件があればＳ１４０９に進む。一方、すべての視点変更要件が不成立であれば、Ｓ１４０９及びＳ１４１０をスキップしてＳ１４１１に進み、Ｓ３０９と同様、現在の仮想視点を維持したままで仮想視点映像が映像生成部１１６にて生成される。生成された仮想視点映像のデータは、制御部１１３を介してユーザ端末１２０に出力される。
In S1408, it is determined whether or not the established viewpoint change requirement exists. If there is a viewpoint change requirement that has been established, the process proceeds to S1409. On the other hand, if all the viewpoint change requirements are not satisfied, S1409 and S1410 are skipped and the process proceeds to S1411, and the virtual viewpoint image is generated by the
Ｓ１４０９では、成立している視点変更要件が複数存在するかどうかが判定される。ここで、複数の視点変更要件が同時に成立するケースの具体例を説明する。いま、図１５に示す視点変更要件管理テーブルが用意されていたとする。図１５の視点変更要件管理テーブルには、MOVE-1〜MOVE-3まで３つの視点変更要件が格納されている。MOVE-1は、関係条件“REL1-approach”における距離Ｃの値として“30”を採用した視点変更要件である。「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“成立時のみ”が格納されており、さらに、「視点移動先」と「視点再評価」の情報に加えて「優先度」の情報が格納されている。いま、MOVE-1の優先度は、３つの視点変更要件の中で最も低いことを表す“3”となっている。MOVE-2は、MOVE-1と同じ関係条件“REL1-approach”における距離Ｃの値として“20”を採用した視点変更要件である。その「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“5フレーム毎に評価（視点戻しなし）”が格納されている。この場合、関係条件が成立して5フレーム経過後に当該関係条件のチェック（再判定）が行われる。注目オブジェクトであるOBJ4及びOBJ5の位置情報は、前述のとおり5フレーム毎に更新されるので、双方のオブジェクトの移動によって関係条件の成立状態は変化し得る。関係条件の再判定の結果が“成立”である場合には、視点情報に従った新たな視点が設定されることになる。また、“視点戻しなし”は、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、移動前の視点（予め決定された初期視点。例えばフィールドの全体を俯瞰する視点）に戻さずそのまま現在の視点を維持することを規定している。そして、MOVE-2の優先度は“2”となっている。MOVE-3は、注目オブジェクト同士の接触・衝突を表す関係条件“REL2-contact”を採用した視点変更要件である。図１６は、本実施形態に係る関係条件管理テーブルの一例であり、上述の“REL1-approach”に加えて“REL2-contact”が格納されている。“REL2-contact”は、注目オブジェクト同士が接触したこと、より詳細には、その形状が筒で表現される注目オブジェクト間の距離が当該筒の半径の和より小さくなることを条件定義とした関係条件である。そして、MOVE-3の「視点情報」には、「視点移動先」として“OBJ4を中心に表示し2倍ズーム”が格納されている。この場合、OBJ4に対応するプレイヤーＡの注目オブジェクトを画面内の中心に表示した上で、ズームを２倍に変更した仮想視点が設定されることになる。また、「視点再評価」として“5フレーム毎に評価（視点戻しあり）”が格納されているので、関係条件が成立して5フレーム経過後に当該関係条件の再判定を行なう。再び成立していた場合には、最初に成立したときに設定した仮想視点が維持される。すなわち、関係条件が成立している間は、“OBJ4を中心に表示し2倍ズーム”の視点のままになる。また、“視点戻しあり”なので、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、初期視点に戻ることになる。そして、その優先度は３つの視点変更要件の中で最も高いことを表す“1”になっている。いま、図１５に示す通り、MOVE-1のステータスが無効で、MOVE-2とMOVE-3のステータスが有効である。よって、成立判定処理がMOVE-2とMOVE-3とを対象として実行される。そして、例えばOBJ4（プレイヤーA）に対してOBJ5（プレイヤー５）がボールを奪おうとタックルを仕掛けているシーンでは、MOVE-2とMOVE-3とが同時に成立することになる。このように複数の視点変更要件が同時に成立している場合はＳ１４１０に進む。一方、１つの視点変更要件しか成立していなければＳ１４１２に進む。図１４のフローの説明に戻る。 In S1409, it is determined whether or not there are a plurality of established viewpoint change requirements. Here, a specific example of a case where a plurality of viewpoint change requirements are satisfied at the same time will be described. It is assumed that the viewpoint change requirement management table shown in FIG. 15 is prepared now. The viewpoint change requirement management table of FIG. 15 stores three viewpoint change requirements from MOVE-1 to MOVE-3. MOVE-1 is a viewpoint change requirement that adopts "30" as the value of the distance C in the relational condition "REL1-approach". In the "viewpoint information", "the viewpoint with the maximum distance between the objects of interest" is stored as the "viewpoint movement destination", "only when the viewpoint is established" is stored as the "viewpoint re-evaluation", and "viewpoint movement" is further stored. In addition to the information of "destination" and "viewpoint re-evaluation", the information of "priority" is stored. Now, the priority of MOVE-1 is "3", which indicates the lowest of the three viewpoint change requirements. MOVE-2 is a viewpoint change requirement that adopts "20" as the value of the distance C in the same relational condition "REL1-approach" as MOVE-1. In the "viewpoint information", "the viewpoint with the maximum distance between objects of interest" is stored as "viewpoint movement destination", and "evaluation every 5 frames (without viewpoint return)" is stored as "viewpoint re-evaluation". ing. In this case, the relational condition is checked (re-judgment) 5 frames after the relational condition is satisfied. Since the position information of the objects of interest, OBJ4 and OBJ5, is updated every 5 frames as described above, the state in which the relational conditions are satisfied can be changed by moving both objects. If the result of the re-judgment of the relational condition is "established", a new viewpoint is set according to the viewpoint information. In addition, "no viewpoint return" is a viewpoint before movement (a predetermined initial viewpoint, for example, a viewpoint that gives a bird's-eye view of the entire field) when the relevant condition is not satisfied in the re-judgment after moving the viewpoint. ) Is not returned, and the current viewpoint is maintained as it is. And the priority of MOVE-2 is "2". MOVE-3 is a viewpoint change requirement that adopts the relational condition "REL2-contact" that represents contact / collision between objects of interest. FIG. 16 is an example of the relational condition management table according to the present embodiment, and “REL2-contact” is stored in addition to the above-mentioned “REL1-approach”. "REL2-contact" is a relationship defined on the condition that the objects of interest are in contact with each other, and more specifically, the distance between the objects of interest whose shape is represented by a cylinder is smaller than the sum of the radii of the cylinders. It is a condition. Then, in the "viewpoint information" of MOVE-3, "display centered on OBJ4 and 2x zoom" is stored as the "viewpoint movement destination". In this case, the attention object of player A corresponding to OBJ4 is displayed in the center of the screen, and then the virtual viewpoint in which the zoom is changed to 2 times is set. In addition, since "evaluation every 5 frames (with viewpoint return)" is stored as "viewpoint re-evaluation", the relational condition is re-determined after 5 frames have passed after the relational condition is satisfied. If it is established again, the virtual viewpoint set when it was first established is maintained. That is, as long as the relational conditions are satisfied, the viewpoint of "displaying OBJ4 at the center and zooming 2x" remains. In addition, since there is "viewpoint return", if the relevant condition is not satisfied in the re-judgment after moving the viewpoint, the viewpoint is returned to the initial viewpoint. The priority is "1", which indicates the highest of the three viewpoint change requirements. Now, as shown in FIG. 15, the status of MOVE-1 is invalid, and the status of MOVE-2 and MOVE-3 is valid. Therefore, the establishment determination process is executed for MOVE-2 and MOVE-3. Then, for example, in a scene where OBJ5 (player 5) is tackling OBJ4 (player A) to steal the ball, MOVE-2 and MOVE-3 are established at the same time. When a plurality of viewpoint change requirements are satisfied at the same time, the process proceeds to S1410. On the other hand, if only one viewpoint change requirement is satisfied, the process proceeds to S1412. Returning to the description of the flow of FIG.
Ｓ１４１０では、同時に成立する複数の視点変更要件のうち適用する視点変更要件が優先度に従って決定される。優先度が“2”のMOVE-2と優先度が“1”のMOVE-3とが同時に成立している先の例では、優先度が高い（優先度の値が小さい）MOVE-3が、適用する視点変更要件として決定されることになる。こうして適用する視点変更要件が決定されると、Ｓ１４１２に進む。 In S1410, the viewpoint change requirement to be applied is determined according to the priority among the plurality of viewpoint change requirements that are satisfied at the same time. In the previous example where MOVE-2 with priority "2" and MOVE-3 with priority "1" are established at the same time, MOVE-3 with high priority (low priority value) is It will be decided as the viewpoint change requirement to be applied. When the viewpoint change requirement to be applied is determined in this way, the process proceeds to S1412.
Ｓ１４１２以降は、図３のフローのＳ３１０〜Ｓ３１２と同様である。すなわち、「視点情報」で定義されている内容に従った新たな仮想視点が設定され（Ｓ１４１２）、当該仮想視点からの見えを表す仮想視点映像が映像生成部１１６にて生成・出力され（Ｓ１４１３）、所定の後処理が実行される（Ｓ１４１４）。 After S1412, it is the same as S310 to S312 in the flow of FIG. That is, a new virtual viewpoint is set according to the contents defined in the "viewpoint information" (S1412), and a virtual viewpoint image representing the view from the virtual viewpoint is generated and output by the image generation unit 116 (S1413). ), Predetermined post-processing is executed (S1414).
以上が、本実施形態における仮想視点映像の生成・出力処理の概要である。なお、同時に成立している複数の視点変更要件のうち適用する視点変更要件を選択する際、例えば図１７に示すようなＵＩ画面を表示して、ユーザに選択させてもよい。図１７の例では、３つの視点変更要件がＵＩ画面内に表示され、そのうちの上の２つが同時に成立していることをユーザが認識できるようにハイライト表示されている。ユーザはハイライト表示されたうち所望の視点変更要件を指定することで、適用する視点変更要件を選択できる。図17の例では全ての視点変更要件を表示しているが、成立している視点変更要件のみを表示するようにしてもよい。また、優先度が同じ視点変更要件が同時に複数成立している場合のみ、このようなユーザ選択に係らしめてもよい。 The above is the outline of the generation / output processing of the virtual viewpoint image in this embodiment. When selecting the viewpoint change requirement to be applied from the plurality of viewpoint change requirements that are satisfied at the same time, for example, the UI screen as shown in FIG. 17 may be displayed and the user may select the viewpoint change requirement. In the example of FIG. 17, three viewpoint change requirements are displayed in the UI screen, and are highlighted so that the user can recognize that the upper two of them are satisfied at the same time. The user can select the viewpoint change requirement to be applied by specifying the desired viewpoint change requirement among the highlighted ones. In the example of FIG. 17, all viewpoint change requirements are displayed, but only the established viewpoint change requirements may be displayed. Further, such user selection may be involved only when a plurality of viewpoint change requirements having the same priority are satisfied at the same time.
本実施形態によれば、成立している視点変更要件が複数ある場合、その中から実際に適用する視点変更要件が選択的に決定される。これによって、ユーザが見たいと考える複数の選択肢の中からより適した視点を容易に設定することができる。 According to the present embodiment, when there are a plurality of established viewpoint change requirements, the viewpoint change requirement to be actually applied is selectively determined from among them. This makes it possible to easily set a more suitable viewpoint from a plurality of options that the user wants to see.
上述の各実施形態では、２つのオブジェクトの位置関係が所定の条件を満たした場合（例えば２つのオブジェクトの距離が閾値以下になった場合）に視点を変更する場合の例を中心に説明した。ただしこれに限らず、情報処理装置１１０は、３以上のオブジェクトの位置関係が所定の条件を満たした場合に視点を変更してもよい。例えば、撮影対象のフィールド内において、半径５メートルの円などの所定の大きさの範囲内に、１０人以上の選手など所定数以上のオブジェクトが密集した場合に、上空からフィールドを見下ろすような俯瞰視点に視点を変更してもよい。これにより、オブジェクトが密集した範囲の中心部分など、水平方向からでは見えづらい領域を、ユーザに視認させることができる。
In each of the above-described embodiments, an example of changing the viewpoint when the positional relationship between the two objects satisfies a predetermined condition (for example, when the distance between the two objects is equal to or less than the threshold value) has been described. However, the present invention is not limited to this, and the
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１１０ 情報処理装置
１１３ 制御部
110
Claims (16)
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記３次元空間に存在するオブジェクトのうち２つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理装置。 An information processing device that sets the viewpoint in an image that can move the viewpoint in the three-dimensional space to be photographed.
Acquisition means to acquire predetermined viewpoint change requirements and
A setting means for setting a predetermined viewpoint based on the viewpoint change requirement acquired by the acquisition means, and
With
The viewpoint change requirement includes a relational condition that defines the positional relationship of two or more objects of interest among the objects existing in the three-dimensional space, and viewpoint information that defines the predetermined viewpoint associated with the relational condition. Including at least
The setting means sets the predetermined viewpoint based on the viewpoint information when the relational conditions are satisfied and the viewpoint change requirement is satisfied.
An information processing device characterized by this.
前記視点変更要件には、前記判定の対象として有効か無効かを規定するステータス情報をさらに含む、
ことを特徴とする請求項１に記載の情報処理装置。 Further provided with a determination means for determining whether the viewpoint change requirement is satisfied,
The viewpoint change requirement further includes status information that defines whether the judgment is valid or invalid.
The information processing apparatus according to claim 1.
前記判定手段は、前記優先度が高い視点変更要件から順に、前記判定を行う、
ことを特徴とする請求項２又は３に記載の情報処理装置。 The viewpoint change requirement further includes priority information.
The determination means makes the determination in order from the viewpoint change requirement having the highest priority.
The information processing apparatus according to claim 2 or 3.
前記設定手段は、前記判定手段にて成立すると判定された視点変更要件のうち、前記優先度が最も高い視点変更要件を適用して、前記所定の視点を設定する、
ことを特徴とする請求項２又は３に記載の情報処理装置。 The viewpoint change requirement further includes priority information.
The setting means sets the predetermined viewpoint by applying the viewpoint change requirement having the highest priority among the viewpoint change requirements determined to be satisfied by the determination means.
The information processing apparatus according to claim 2 or 3.
ことを特徴とする請求項１に記載の情報処理装置。 The setting means sets the predetermined viewpoint by applying the viewpoint change requirement selected by the user from a plurality of viewpoint change requirements determined to be satisfied.
The information processing apparatus according to claim 1.
前記視点は、前記３次元空間における仮想的な視点である、
ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。 The image in which the viewpoint can be moved is a virtual viewpoint image generated based on an image obtained by synchronous shooting of a plurality of cameras installed in the three-dimensional space.
The viewpoint is a virtual viewpoint in the three-dimensional space.
The information processing apparatus according to any one of claims 1 to 11.
前記視点は、前記３次元空間に設置された実在のカメラのうちいずれかのカメラに対応する視点である、
ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。 The image in which the viewpoint can be moved is a viewpoint switching image obtained by selectively switching the camera to be used from the plurality of cameras installed in the three-dimensional space.
The viewpoint corresponds to any one of the existing cameras installed in the three-dimensional space.
The information processing apparatus according to any one of claims 1 to 11.
予め定めた視点変更要件を取得する取得ステップと、
前記取得ステップにて取得した前記視点変更要件に基づき、所定の視点を設定する設定ステップと、
を有し、
前記視点変更要件には、前記３次元空間に存在するオブジェクトのうち２つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定ステップでは、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理方法。 It is an information processing method that sets the viewpoint in a video that can move the viewpoint in the three-dimensional space to be photographed.
The acquisition step to acquire the predetermined viewpoint change requirements and
A setting step for setting a predetermined viewpoint based on the viewpoint change requirement acquired in the acquisition step, and
Have,
The viewpoint change requirement includes a relational condition that defines the positional relationship of two or more objects of interest among the objects existing in the three-dimensional space, and viewpoint information that defines the predetermined viewpoint associated with the relational condition. Including at least
In the setting step, when the relational condition is satisfied and the viewpoint change requirement is satisfied, the predetermined viewpoint is set based on the viewpoint information.
An information processing method characterized by this.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019096656A JP7401196B2 (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019096656A JP7401196B2 (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020190978A true JP2020190978A (en) | 2020-11-26 |
| JP7401196B2 JP7401196B2 (en) | 2023-12-19 |
Family
ID=73453790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019096656A Active JP7401196B2 (en) | 2019-05-23 | 2019-05-23 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7401196B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268511A (en) * | 2005-03-24 | 2006-10-05 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
| JP2007259990A (en) * | 2006-03-27 | 2007-10-11 | Konami Digital Entertainment:Kk | Game apparatus, method of controlling thereof, and program |
| JP2018055644A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Image processing apparatus and control method thereof |
| JP2018092580A (en) * | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | Image generator and method |
| JP2019045995A (en) * | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | Information processing device, control method of information processing device, information processing system and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6924079B2 (en) | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | Information processing equipment and methods and programs |
-
2019
- 2019-05-23 JP JP2019096656A patent/JP7401196B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006268511A (en) * | 2005-03-24 | 2006-10-05 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
| JP2007259990A (en) * | 2006-03-27 | 2007-10-11 | Konami Digital Entertainment:Kk | Game apparatus, method of controlling thereof, and program |
| JP2018055644A (en) * | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | Image processing apparatus and control method thereof |
| JP2018092580A (en) * | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | Image generator and method |
| JP2019045995A (en) * | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | Information processing device, control method of information processing device, information processing system and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7401196B2 (en) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
| US20220283632A1 (en) | Iinformation processing apparatus, image generation method, and computer program | |
| EP3117290B1 (en) | Interactive information display | |
| US10917622B2 (en) | Information processing apparatus, display control method, and storage medium | |
| CN108304063B (en) | Information processing apparatus, information processing method, and computer readable medium | |
| JP7146662B2 (en) | Image processing device, image processing method, and program | |
| US10600253B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2017162309A (en) | Method and program for controlling head-mounted display system | |
| JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
| CN108805989B (en) | Scene crossing method and device, storage medium and terminal equipment | |
| KR20200060361A (en) | Information processing apparatus, information processing method, and program | |
| TW202025719A (en) | Method, apparatus and electronic device for image processing and storage medium thereof | |
| JP7446754B2 (en) | Image processing device, image processing method, and program | |
| US20220147138A1 (en) | Image generation apparatus and information presentation method | |
| KR20180120456A (en) | Apparatus for providing virtual reality contents based on panoramic image and method for the same | |
| JP6812181B2 (en) | Image processing device, image processing method, and program | |
| JP2021135776A (en) | Information processor, information processing method, and program | |
| EP3621300B1 (en) | Display control device and display control method | |
| US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| GB2525304B (en) | Interactive information display | |
| JP2020135290A (en) | Image generation device, image generation method, image generation system, and program | |
| JP7401196B2 (en) | Information processing device, information processing method, and program | |
| EP2919094A1 (en) | Interactive information display | |
| EP4054186A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2020201863A (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7401196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |