JP2020021104A - Information processing apparatus, information processing system, control method thereof and program - Google Patents
Information processing apparatus, information processing system, control method thereof and program Download PDFInfo
- Publication number
- JP2020021104A JP2020021104A JP2018142025A JP2018142025A JP2020021104A JP 2020021104 A JP2020021104 A JP 2020021104A JP 2018142025 A JP2018142025 A JP 2018142025A JP 2018142025 A JP2018142025 A JP 2018142025A JP 2020021104 A JP2020021104 A JP 2020021104A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- video
- information processing
- virtual
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.
昨今、仮想視点映像（あるいは自由視点映像）と呼ばれる複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の視点（仮想視点、自由視点、カメラアングル）の映像を生成する技術が注目されている。そして、この技術により、ユーザは、例えば、サッカーやラグビー等のハイライトシーンを様々な角度から視聴することができる。しかしながら、仮想視点は任意に設定できるゆえに、同じ被写体を適切な複数の仮想視点の映像を見ようとすると、映像の数だけ都度適切な仮想視点を設定しなければならなくなり、その分操作者の負担が大きくなる。 Recently, a plurality of cameras called virtual viewpoint images (or free viewpoint images) are installed at different positions, synchronously photographed at multiple viewpoints, and an arbitrary viewpoint (virtual viewpoint, virtual viewpoint, Attention has been focused on a technology for generating an image of any viewpoint (camera angle). With this technology, the user can view highlight scenes such as soccer and rugby from various angles. However, since the virtual viewpoint can be set arbitrarily, if the user wants to view images of a plurality of appropriate virtual viewpoints for the same subject, it is necessary to set an appropriate virtual viewpoint as many times as the number of images, which imposes a burden on the operator. Becomes larger.
特許文献１や２には、仮想視点の操作時におけるの、第１の視点に基づいて、第２の視点を決定する方法が示されている。そして、この方法を用いれば、視点の設定は一か所で済むため、操作者の視点設定の負担が軽減できる。しかし、これら方法は、被写体の取り逃がしを低減することを目的としており、一つの被写体を「アップでとらえた映像」と、その映像から被写体がフレームアウトした場合のための「似たような角度からとらえた引きの画像」しか得ることができない。つまり、同じ被写体のシーンを、同じくらいのサイズ感で、角度を変えて見比べる映像を得ることができない点に課題が残る。
特許文献３には、同一の被写体を別の角度から見たい場合に、基準となる映像データから、関連性の高い映像を自動的に選出し、それらの複数の映像を統合的に扱うことが可能な仕組みが示されている。つまり、同じ被写体のシーンを、角度を変えて見比べる映像を得ることができる。 Patent Literature 3 discloses that, when it is desired to view the same subject from a different angle, a video having high relevance is automatically selected from reference video data, and the plurality of videos are handled in an integrated manner. Possible mechanisms are shown. In other words, it is possible to obtain an image in which the same subject scene is compared at different angles.
しかしながらこの方法は、単に一つの定点カメラに対応する他の定点カメラの中を抽出して表示しているに過ぎない。したがって、仮想視点映像における一つの仮想視点に基づいて、別の適切な仮想視点を決定することはできない。さらに、「同じくらいのサイズ感の映像」が得られるかどうかは、選出される映像を撮影するカメラのハード性能や、撮影条件、被写体の位置等様々な条件に依存してしまう。つまり、ユーザの希望する視点の映像が得られるかどうかが、様々な条件に左右されやすい仕組みであると言える。 However, this method merely extracts and displays the other fixed-point cameras corresponding to one fixed-point camera. Therefore, it is not possible to determine another appropriate virtual viewpoint based on one virtual viewpoint in the virtual viewpoint video. Further, whether or not “an image having the same size feeling” can be obtained depends on various conditions such as the hardware performance of the camera that shoots the selected image, shooting conditions, and the position of the subject. In other words, it can be said that whether or not an image of a viewpoint desired by the user can be obtained is a mechanism easily influenced by various conditions.
本発明は、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供する。 The present invention provides a mechanism for easily obtaining images of the same scene at a plurality of angles.
本発明は、定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置であって、前記仮想視点映像を生成するための情報を取得する取得手段と、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする。 The present invention is an information processing apparatus that generates a virtual viewpoint video that is a video generated based on a determined viewpoint, an acquisition unit that obtains information for generating the virtual viewpoint video, and the virtual viewpoint video Setting means for receiving designation of a first virtual viewpoint and setting a second virtual viewpoint corresponding to the first virtual viewpoint; and setting the first virtual viewpoint set by the setting means. It is characterized by comprising generating means for generating a virtual viewpoint video of a virtual viewpoint and a virtual viewpoint video of the second virtual viewpoint.
このように設けることで、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供することができる。 With such provision, it is possible to provide a mechanism for easily obtaining images of the same scene at a plurality of angles.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明のシステム構成の一例を示した構成図である。 FIG. 1 is a configuration diagram showing an example of the system configuration of the present invention.
情報処理装置１１０は、仮想視点コンテンツを生成するための情報処理を行う装置である。本発明の実施例では、複数のカメラ（撮影装置１２０）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する情報処理装置１１０について説明する。
The
また、このシステムは、「トラッキング機能」を有しており、トラッキングする対象となる被写体を任意に指定して映像を生成することができる。例えば、サッカーボールをトラッキングするよう指定した場合、これを主被写体としたサッカーボールが含まれるような、映像を、連続的に生成することができる。 In addition, this system has a “tracking function”, and can generate an image by arbitrarily specifying a subject to be tracked. For example, when it is designated to track a soccer ball, an image including a soccer ball having the soccer ball as a main subject can be continuously generated.
撮影装置１２０は、情報処理装置１１０で仮想視点コンテンツを生成するための映像を撮影するための装置である。撮影装置１２０は、異なる位置に複数され、多視点で同期撮影しできるよう、設けられている。
The image capturing
表示端末１３０は、情報処理装置１１０で生成された仮想視点コンテンツを受信して、表示可能な端末で、例えば、パーソナルコンピュータ、各種モニタ、ヘッドマウントディスプレイ、タブレット端末など、コンテンツの表示できる様々な情報処理端末が含まれる。
The
本実施例のハードウエアは、情報処理装置１１０、撮影装置１２０、表示端末１３０は、１または複数設置されている。各ハードウエアの台数は、発明の実施に必要なだけの台数を準備できるものとする。また、各ハードウエアの役割の一部または全部は、他のハードウエアが兼ねる構成であっても構わない。
In the hardware of the present embodiment, one or a plurality of
通信ネットワーク１４０は、本発明の実施にあたって必要となるハードウエア同士（情報処理装置１１０、撮影装置１２０、表示端末１３０など）を、通信可能に接続するネットワークである。
The
また、通信ネットワーク１４０の通信方法は、既存の様々な技術を用いることができる。さらに、有線であっても無線であってもよく、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。
Further, as a communication method of the
図２は、本発明のハードウエアの構成の一例を示した構成図である。本発明におけるハードウエアは、情報処理装置１１０、撮影装置１２０、表示端末１３０である。
FIG. 2 is a configuration diagram showing an example of a hardware configuration of the present invention. The hardware in the present invention is the
２０１はＣＰＵで、ＲＯＭ２０２のプログラム用ＲＯＭや外部メモリ２１１に記憶されたプログラムをＲＡＭ２０３にロードして実行することによりシステムバス２０４に接続された各デバイスを制御する。また、このＲＯＭ２０２のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ２０２のデータ用ＲＯＭには各種データを記憶する。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。２０２はキーボードコントローラ（入力コントローラ）で、２０９や図示しないポインティングデバイス、例えばタッチパッドからの入力を制御する。
A
入力コントローラ２０５は入力デバイス２０９を制御する。なお入力デバイス２０９には、タッチパネルも含まれ、その場合は、入力デバイス２０９が表示部２１０（映像を表示する表示画面を映すための表示装置）を兼ねているケースもある。２０６はビデオカード（ＶＣ）で、表示部２１０の表示を制御する。
The
２０７はメモリコントローラで、外部メモリ２１１（ハードディスク等）とのアクセスを制御する。２０８はネットワークインターフェースカード（ＮＩＣ）で、通信ネットワーク１４０上の通信を制御する。
A
撮像ユニットコントローラ２２０は、撮影装置１２０に備えられたユニットで、撮像ユニット２２１を制御するコントローラである。
The
撮像ユニット２２１は、撮影装置１２０に備えられたユニットで、映像を撮影するためのユニットである。ユニットの構成は、特段限定されず、様々な利用形態がとれるものとするが、テレビカメラ、ネットワークカメラ、監視カメラといった撮影機器が有する映像撮影用のユニットであることが望ましい。
The
図３は、情報処理装置１１０で生成する映像の仮想視点を決定するための条件を受付けるための受付画面の一例を示した構成図である。
FIG. 3 is a configuration diagram illustrating an example of a reception screen for receiving a condition for determining a virtual viewpoint of a video generated by the
トラッキング選択メニュー３０１は、トラッキングする主被写体の指定を受付けるオブジェクトである。具体的なトラッキングの方法は、既存の様々な方法を用いることができる。また、主被写体の選択も様々な方法が利用できる。例えば、予め登録された被写体をプルダウンメニューで選択するような形式や、映像内のどの被写体をトラッキングするかをユーザから受付けるような形式等が考えられる。
The
図４は、表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。 FIG. 4 is a configuration diagram showing an example of a screen for receiving designation of a start point of a display image.
仮想視点表示画面４０１は、ユーザから仮想視点映像の仮想視点の指定を受付けるための領域である。ここでは、トラッキング対象はサッカーボールである。そして、図４では、ボールを中心とした半径２ｍの距離に、プレーヤの進行方向（右方向）を正面として、正面と右側面の２か所に、フィールドからの高さ１．５ｍ、高さ画角９０°の仮想視点が設定されている。図４では、サッカーボールの座標と、それぞれの仮想視点とを結んだ線から構成される角度は、一例としてデフォルト値で９０°としてる。そして、このように、同じ被写体を異なる角度（上記は一例として２つの９０度をデフォルト値にしているが、変更可能）で捉えた複数の自由視点映像を得られる点が、本実施例の特徴の一つである。これは、「複数アングルの同じシーンの映像を、簡単に得るための仕組み」を実現する上で、役に立つ。操作の詳細については、図５、図６にて後述する。 The virtual viewpoint display screen 401 is an area for receiving designation of a virtual viewpoint of a virtual viewpoint video from a user. Here, the tracking target is a soccer ball. In FIG. 4, the distance from the field is 1.5 m and the height is two at the front and right sides, with the traveling direction (right direction) of the player being the front at a distance of 2 m around the ball. A virtual viewpoint with an angle of view of 90 ° is set. In FIG. 4, the angle formed by the line connecting the coordinates of the soccer ball and the respective virtual viewpoints is set to 90 ° by default as an example. The feature of this embodiment is that a plurality of free viewpoint videos can be obtained by capturing the same subject at different angles (the above example uses two 90 degrees as default values, but can be changed). one of. This is useful for realizing “a mechanism for easily obtaining images of the same scene at a plurality of angles”. Details of the operation will be described later with reference to FIGS.
映像表示画面４０２は、仮想視点表示画面４０１で受付けた仮想視点に基づいて構成された仮想視点映像を、表示する画面である。図４では、仮想視点が２つなので、２つの映像表示画面４０２が並べて表示されている。しかし、仮想視点の数に対応して、より多くの表示画面を備えていたり、１つの画面をタブ等で切り替えられるよう設けられていたりしてもよい（不図示）。
The
始点終点設定タイムライン４０３は、ユーザから仮想視点の表示映像の開始点あるいは終了点の指定を受付けるためのスライドバーである。図４では、タイムライン表示の一例としてバーの時間表示がキックオフを０：００としたサッカーの試合経過時間が表示されている。つまり、この図４の場合、試合開始から１２：３５が経過していることになる。 The start point / end point setting time line 403 is a slide bar for receiving designation of a start point or an end point of a display image of a virtual viewpoint from a user. In FIG. 4, as an example of a timeline display, a bar time display shows a soccer game elapsed time with a kick-off of 0:00. That is, in the case of FIG. 4, 12:35 has elapsed since the start of the match.
図５及び図６は、仮想視点表示画面４０１を介してユーザから仮想視点の変更指示を受付ける一連の流れの一例を示した構成図である。 FIGS. 5 and 6 are configuration diagrams illustrating an example of a flow of a sequence of receiving a virtual viewpoint change instruction from the user via the virtual viewpoint display screen 401.
図５（ａ）は、図４の仮想視点表示画面である。本実施例では一例としてサッカースタジアムの仮想視点映像を生成する装置を想定しており、ゴールは左右方向にあるものとする。 FIG. 5A is a virtual viewpoint display screen of FIG. In the present embodiment, as an example, a device that generates a virtual viewpoint video of a soccer stadium is assumed, and the goal is in the left-right direction.
図５（ａ）の上半分は、フィールドを上から見下ろした様子を示した図であり、下半分は、フィールドを横手前方向から見た様子を示した図である。 The upper half of FIG. 5A is a view showing the field viewed from the top, and the lower half is a view showing the field viewed from the front side.
主被写体５０１は、トラッキング選択メニュー３０１で指定されたトラッキング対象を示すオブジェクトで、本実施例では一例としてサッカーボールが指定されている。
The
プレーヤオブジェクト５０２は、ボールを持ったプレーヤを示すオブジェクトである。
The
仮想視点オブジェクト５０３は、仮想視点の位置を示したオブジェクトである。 The virtual viewpoint object 503 is an object indicating the position of the virtual viewpoint.
仮想視点オブジェクト５０３には様々な補助表示が示されている。図５（ａ）の場合、主被写体５０１から２ｍ離れた距離にあり、１．５ｍ高い位置にあること、画角は９０°であること、主被写体５０１と２つの仮想視点オブジェクト５０３それぞれとを結んだ線の角度が９０°であること等が表示されている。
このように、図５（ａ）では、第１の仮想視点（５０３ａ）と前記第２の仮想視点（５０３ｂ）とが、トラッキング対象（所定の基準）とフィールド面とに交差する軸を中心とした同心円の周囲近傍（半径２ｍ）に設定されている。
Various auxiliary displays are shown on the virtual viewpoint object 503. In the case of FIG. 5A, the distance from the
As described above, in FIG. 5A, the first virtual viewpoint (503a) and the second virtual viewpoint (503b) are centered on the axis intersecting the tracking target (predetermined reference) and the field surface. It is set in the vicinity of the concentric circle (
図５（ｂ）は、ユーザから仮想視点オブジェクト５０３ａの高さの変更指示を受付ける様子の一例を示した構成図である。本実施例では、タッチパネル操作によって様々な指示を受付ける想定で構成図を示しているが、マウスのドラッグや、キーボード操作など、指示の受付は様々な形態があってよい。
FIG. 5B is a configuration diagram illustrating an example of a state in which a change instruction of the height of the
図５（ｂ）では、ユーザのスライド操作に基づいて、仮想視点オブジェクト５０３ａの高さを、１．５ｍから１．３ｍに変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの高さも、連動して同じ高さに変更されている様子を示している。
FIG. 5B shows a state in which an instruction to change the height of the
図５（ｃ）は、ユーザのスライド操作に基づいて、主被写体５０１と仮想視点オブジェクト５０３ａとの距離を、２．０ｍから２．５ｍに変更する旨の指示を受付ける様子を示している。そして、これに伴い、主被写体５０１と仮想視点オブジェクト５０３ｂとの距離も、連動して同じ距離に変更されている様子を示している。
FIG. 5C shows a state in which an instruction to change the distance between the
図５（ｄ）は、ユーザのスライド操作に基づいて、仮想視点オブジェクト５０３ａの角度を、主被写体５０１を中心として反時計方向に４５°変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの角度も連動して、主被写体５０１を中心に同じ角度だけ変更されている様子を示している。
FIG. 5D shows a state in which an instruction to change the angle of the
図６（ｅ）は、ユーザのピンチ操作に基づいて、仮想視点オブジェクト５０３ａの画角を、９０°から６０°に変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの高さも、連動して同じ高さに変更されている。様子を示している。
FIG. 6E illustrates a state in which an instruction to change the angle of view of the
図６（ｆ）及び図６（ｇ）は、ユーザのタッチ操作とスライド操作とに基づいて、主被写体５０１を基準とした仮想視点オブジェクト５０３ａと仮想視点オブジェクト５０３ｂととから成る角度を変更する旨の指示を受付ける様子を示している。具体的には、一方の仮想視点オブジェクト５０３をタッチしつつ、もう一方の仮想視点オブジェクト５０３を、時計回りあるいは反時計回りにスライドしている。例えば、図６（ｆ）では、仮想視点オブジェクト５０３ａをタッチしつつ、仮想視点オブジェクト５０３ｂを、反時計回りにスライドし、角度を９０°から６０°に変更している。また、図６（ｇ）では、仮想視点オブジェクト５０３ｂをタッチしつつ、仮想視点オブジェクト５０３ａを、反時計回りにスライドし、角度を９０°から１８０°に変更している。
FIGS. 6F and 6G show that the angle formed by the
画像反転ゾーン６０１は、図６（ｆ）や図６（ｇ）のような、仮想視点オブジェクト５０３の角度を変更する際に補助表示されるオブジェクトである。そして、このエリア内に仮想視点オブジェクト５０３が移動した場合、映像表示画面４０２に表示される仮想視点映像は、左右方向を反転させた映像を表示する処理を行う。
このように、トラッキング対象を基準とする軸の同心円状に配置された、２つの仮想視点と、中心とを結んだ線の角度が、所定の範囲の角度であった場合には、少なくともいずれか１つの左右を反転させた仮想視点映像を生成するよう設けている。この機能は、被写体（トラッキング対象）を挟むような２つの視点の映像を並べてみるときに有効である。したがって、「所定の角度」は、被写体（トラッキング対象）を挟むような２つの視点の角度の範囲で設定することが望ましい。つまり、画像反転ゾーン６０１は、その「所定の範囲の角度」がどこにあるのかを識別可能に表示するオブジェクトなのである。そして、画像反転ゾーン６０１の設けられる「所定の角度」とは１８０°±４５°程度が好適な角度であると考えられる。しかし、画像反転ゾーン６０１は、発明の実施状況に合わせて任意に設定できればよい。
The
In this way, if the angle of the line connecting the two virtual viewpoints and the center arranged concentrically with respect to the axis based on the tracking target is within a predetermined range, at least one of the angles is used. It is provided so as to generate one virtual viewpoint video with left and right inverted. This function is effective when arranging videos of two viewpoints that sandwich a subject (tracking target). Therefore, it is desirable that the “predetermined angle” be set within a range of angles of the two viewpoints that sandwich the subject (tracking target). That is, the
図７は、図６（ｇ）のケースにおける、表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。図７は、始点終点設定タイムライン４０３を介して、ユーザから、仮想視点の表示映像の開始点を、１２：３５とする指示を受付けている様子の一例を示している。そして、映像表示画面４０２には、始点終点設定タイムライン４０３で受付けたの指定時間と、仮想視点表示画面４０１で受付けた仮想視点映像の仮想視点に対応する仮想視点の仮想視点映像が表示されている。
FIG. 7 is a configuration diagram showing an example of a screen for accepting designation of a start point of a display image in the case of FIG. 6 (g). FIG. 7 shows an example of a state in which an instruction to set the start point of the display image of the virtual viewpoint to 12:35 is received from the user via the start point end point setting time line 403. Then, on the
図７では、仮想視点オブジェクト５０３ａが、画像反転ゾーン６０１にあるため、これに対応して、映像表示画面４０２の左半分に、仮想視点オブジェクト５０３ａの仮想視点映像の左右反転映像が、表示されている。一方、映像表示画面４０２の右半分には、仮想視点オブジェクト５０３ｂの仮想視点映像が、左右反転されることなく表示されている。
In FIG. 7, since the
このように設ける目的は、被写体を挟み込むような２つの視点で得られた映像を、比較して見やすくするためである。仮にこの仕組みがなかった場合、左半分には左方向に向かってボールを蹴りだすプレーヤの映像が表示されることになる。一方、右半分には右方向に向かってボールを蹴りだすプレーヤの映像が表示されることになる。このように、２つの映像のボールを蹴りだす方向が見かけ上逆向きになってしまうので、見比べにくくなってしまうのである。 The purpose of this provision is to make it easier to compare images obtained from two viewpoints that sandwich the subject. If this mechanism had not been provided, an image of a player kicking the ball toward the left would be displayed in the left half. On the other hand, the right half displays an image of a player kicking the ball rightward. As described above, since the directions in which the balls of the two images are kicked out are apparently opposite, it is difficult to compare them.
以上のような、使いにくさを解消するために、上記の仕組みが設けられているため、画像反転ゾーン６０１の角度は、用途やユーザの見やすさに応じて適宜変更することができるよう設けられてることが望ましい（不図示）。
Since the above mechanism is provided in order to eliminate the inconvenience as described above, the angle of the
図８は、図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。図８は、始点終点設定タイムライン４０３を介して、ユーザから、仮想視点の表示映像の終了点を、１２：３８とする指示を受付けている様子の一例を示している。そして、映像表示画面４０２には、始点終点設定タイムライン４０３で受付けたの指定時間と、仮想視点表示画面４０１で受付けた仮想視点映像の仮想視点に対応する仮想視点の仮想視点映像が表示されている。
FIG. 8 is a configuration diagram showing an example of a screen for receiving designation of the end point of the display video in the case of FIG. 6 (g). FIG. 8 shows an example of a state in which an instruction to set the end point of the display image of the virtual viewpoint to 12:38 is received from the user via the start point end point setting time line 403. Then, on the
反転ボタン８０１は、映像表示画面４０２に表示されている映像が、左右反転していることを示すオブジェクトである。また、反転ボタン８０１は、ユーザの押下を受付けると、映像表示画面４０２に表示している仮想視点オブジェクト５０３の仮想視点映像の左右反転映像を、左右反転していない映像に切替える指示を受付けることもできる。つまり、図８で、ユーザから反転ボタン８０１の押下を受付けると、映像表示画面４０２の左半分に、左右反転されていない仮想視点オブジェクト５０３ａの仮想視点映像の映像が表示される。そして、右半分に、左右反転されていない仮想視点オブジェクト５０３ｂの仮想視点映像の映像が表示されることになる。
The
両転ボタン８０２は、映像表示画面４０２に表示されている映像の、左右反転している映像をしていない映像に切替える指示と、左右反転していない映像をしている映像に切り替える指示とを、一度に受付けるためのオブジェクトである。つまり、図８で、ユーザから両転ボタン８０２の押下を受付けると、映像表示画面４０２の左半分に、左右反転されていない仮想視点オブジェクト５０３ａの仮想視点の映像が表示されることになる。そして、右半分に、左右反転された仮想視点オブジェクト５０３ｂの仮想視点映像の映像が、表示されることになる。
The two-
仮想視点映像生成ボタン８０３は、上記のようなユーザから受付けた仮想視点映像生成の始点・終点、仮想視点やその軌道等の指示に基づいて、仮想視点映像を生成する指示を、ユーザから受付けるボタンである。
The virtual viewpoint
図９は、図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。図９は、図８の変形例の一例であり、仮想視点表示画面４０１を介して、仮想視点映像の開始点（始点）から終了点（終了点）タイムラインの遷移に従って、仮想視点を変化させる指示を、ユーザから受付ける様子の一例を示している。 FIG. 9 is a configuration diagram showing an example of a screen for accepting the designation of the end point of the display video in the case of FIG. 6 (g). FIG. 9 is an example of a modification of FIG. 8, in which the virtual viewpoint is changed via the virtual viewpoint display screen 401 in accordance with the transition from the start point (start point) to the end point (end point) timeline of the virtual viewpoint video. 9 shows an example of how an instruction is received from a user.
まず、ユーザは仮想視点オブジェクト５０３ａをタッチする。次に、ユーザは仮想視点オブジェクト５０３ａを、仮想視点オブジェクト５０３ａ´の位置まで点線の円に沿って、スライドさせてタッチ解除する。
First, the user touches the
上記のような指示を受付けることで、以下のような映像を生成するための指示を受付ける。（１）第１の仮想視点の映像は、１２：３５を開始点、１２：３８を終了点とする。（２）トラッキング対象（サッカーボール）を中心として、反時計周りに９０°仮想視点が回転しながら遷移する。
この実施例に対応する、仮想視点映像の座標変化を示すデータテーブルの例については、図１１（ａ）に、仮想視点映像の座標変化を説明する図は図１１（ｂ）に、それぞれ示してる。
By receiving the above instruction, the following instruction for generating a video is received. (1) The video of the first virtual viewpoint has a start point at 12:35 and an end point at 12:38. (2) The virtual viewpoint makes a transition while rotating counterclockwise by 90 ° around the tracking target (soccer ball).
FIG. 11A shows an example of a data table indicating the coordinate change of the virtual viewpoint video corresponding to this embodiment, and FIG. 11B shows a diagram for explaining the coordinate change of the virtual viewpoint video. .
そして、上記の指定に対応する形で、第２の仮想視点映像についても、仮想視点映像の開始点（始点）から終了点（終了点）タイムラインの遷移に従って、どのように変化させるかが設定されることになる。具体的には、図９の場合、第２の仮想視点映像は、第１の仮想視点映像に対してトラッキング対象を軸として対照的に、反時計周りに９０°仮想視点が回転しながら遷移する映像を生成する設定がなされたことになる。（詳細な仮想視点の座標の変化は図１１（ａ）を参照）
なお、図９では、フィールドの面に対して鉛直方向（高さ方向）は、変更する指示は、ユーザから受付けていない。しかし、図１０に示あるように、仮想視点表示画面４０１を介して、図５（ｂ）のようなスライド操作をユーザから受付けることによって、終点側の仮想視点の高さ（フィールド鉛直方向の距離）をを変化させる指示を受け継画可能である。同様に、図５（ｃ）のようなスライド操作をユーザから受付けることによって、トラッキング対象との仮想視点の距離を変化させる指示を受付けることも可能である。また、図６（ｅ）のようなピンチ操作をユーザから受付けることによって、カメラの画角を変化させる指示を受付けることも可能である。
Then, in the form corresponding to the above specification, how to change the second virtual viewpoint video according to the transition from the start point (start point) to the end point (end point) timeline of the virtual viewpoint video is set. Will be done. Specifically, in the case of FIG. 9, the second virtual viewpoint video transitions while rotating the
In FIG. 9, an instruction to change the direction perpendicular to the surface of the field (the height direction) is not received from the user. However, as shown in FIG. 10, by receiving a slide operation as shown in FIG. 5B from the user via the virtual viewpoint display screen 401, the height of the virtual viewpoint on the end point side (distance in the field vertical direction) ) Can be inherited. Similarly, by receiving a slide operation as shown in FIG. 5C from the user, it is also possible to receive an instruction to change the distance between the virtual viewpoint and the tracking target. Also, by receiving a pinch operation as shown in FIG. 6E from the user, it is also possible to receive an instruction to change the angle of view of the camera.
仮想視点移動表示オブジェクト９０１は、始点から終点まで仮想視点がどのように変化するかを、仮想視点表示画面４０１に識別可能紙示したオブジェクトである。矢印の元が始点の位置、先端が終点の位置、線が軌道をそれぞれ示しており、四角内の数字は、遷移の時間を示している。つまり、図９の場合は、３秒かかることが示されている。
The virtual viewpoint
図１０は、図９の変形例の一例を示した構成図である。図１０は、図９で述べたような、終点の仮想視点映像の、高さ、トラッキング対象との距離、画角、回転方向の角度等を、組み合わせて変化させる指示を受付けたケースの一例を示した構成図である。 FIG. 10 is a configuration diagram showing an example of a modification of FIG. FIG. 10 shows an example of a case where an instruction to change the height, the distance to the tracking target, the angle of view, the angle of the rotation direction, and the like of the virtual viewpoint video at the end point as described in FIG. 9 is received. FIG.
図９と同様に、第１または第２の仮想視点のうち、いずれか一方の仮想視点を変化させる指示を受付けることによって、もう一方仮想視点も指示を受付けた側の仮想視点に対応する形で、仮想視点が変化するよう設定される。そして、本実施例ではトラッキング対象を中心とした点対称あるいは線対称の対応例を挙げたが、対応の基準は、本発明の実施形態に応じて様々に設定できるものとして、必ずしもトラッキング対象だけである必要はない。
例えば、フィールド面に対して垂直方向の視点のブレを抑制するために、ＸＹ軸は（フィールド面に対しての縦横方向）は、トラッキング対象を仮想視点を変化させるための基準とし、高さ方向は所定の高さに固定する、といった方法も考えられる。また、サッカーボールをププレーヤが所定の時間保持している場合には、トラッキング対象をボールではなく、ボールをキープしているプレーヤに切り替え、そのプレーヤを仮想視点を変化させる基準とする、といった方法も、考えられる。
As in FIG. 9, by receiving an instruction to change one of the first or second virtual viewpoints, the other virtual viewpoint also corresponds to the virtual viewpoint on the side that has received the instruction. , The virtual viewpoint is set to change. In the present embodiment, an example of the correspondence of point symmetry or line symmetry with respect to the tracking target is given. However, the corresponding reference can be variously set according to the embodiment of the present invention. No need to be.
For example, in order to suppress blurring of the viewpoint in the vertical direction with respect to the field plane, the XY axes (vertical and horizontal directions with respect to the field plane) are used as a reference for changing the virtual viewpoint with respect to the tracking target, and in the height direction. May be fixed at a predetermined height. Further, when the player holds the soccer ball for a predetermined time, the tracking target is switched not to the ball but to the player keeping the ball, and the player is used as a reference for changing the virtual viewpoint. ,Conceivable.
図１１は、仮想視点を始点と終点が時間変化に応じて、どのように変化するかを管理するためのデータテーブルの一例と、それを説明するための説明図を示した構成図である。 FIG. 11 is a configuration diagram showing an example of a data table for managing how a start point and an end point of a virtual viewpoint change with time, and an explanatory diagram for explaining the example.
図１１（ａ）は、仮想視点を始点と終点が時間変化に応じて、どのように変化するかを管理するためのデータテーブルの一例である。図１１（ａ）は、図９において、第１の仮想視点映像の仮想視点を始点と終点とで変化させる指示を受付けたことに対応して、どのように視点を変化させるか示したデータテーブルの一例を示している。図９において、第１の仮想視点は、キックオフから１２分３５秒を始点、キックオフから１２分３８秒を終点としている。そして、始点の座標は、トラッキング対象を原点として、図９の上方向を「Ｙ方向」、右方向を「Ｘ方向」鉛直方向を「Ｚ方向」とした場合、Ｘ方向に０．００ｍ，Ｙ方向に２。００ｍ、フィールドから１．５ｍ（Ｚ方向）である。そして、これを起点に反時計回りに仮想視点が変化し、終点の座標は、トラッキング対象を原点として、Ｘ方向に−２．００ｍ，Ｙ方向に０．００ｍ、フィールドから１．５ｍ（Ｚ方向）である。 FIG. 11A is an example of a data table for managing how the start point and the end point of the virtual viewpoint change with time. FIG. 11A is a data table showing how the viewpoint is changed in response to receiving an instruction to change the virtual viewpoint of the first virtual viewpoint video between the start point and the end point in FIG. An example is shown. In FIG. 9, the first virtual viewpoint has a start point of 12:35 from the kickoff and an end point of 12:38 from the kickoff. Then, the coordinates of the starting point are 0.00 m in the X direction and Y in the case where the upward direction in FIG. 9 is the “Y direction”, the right direction is the “X direction”, and the vertical direction is the “Z direction”, with the tracking target as the origin. 2.00 m in the direction and 1.5 m from the field (Z direction). Then, the virtual viewpoint changes counterclockwise from this point, and the coordinates of the end point are -2.00 m in the X direction, 0.00 m in the Y direction, and 1.5 m from the field (Z direction), with the tracking target as the origin. ).
したがって、例えば、第１の仮想視点の始点の座標は、Ｘ＝２ｍ×ＣＯＳ９０°＝０，Ｙ＝２ｍ×ＳＩＮ９０°＝２ｍである。そして、第１の仮想視点の始点と終点との中間地点（１２分３６秒５０におけるＸＹ座標）の座標は、Ｘ＝２ｍ×ＣＯＳ１３５°≒１．４１ｍ，Ｙ＝２ｍ×ＳＩＮ１３５°≒−１．４１ｍ，となる。そして、終点の第１の仮想視点の座標は、Ｘ＝２ｍ×ＣＯＳ９０°＝０，Ｙ＝２ｍ×ＳＩＮ９０°＝２ｍとなる。 Therefore, for example, the coordinates of the start point of the first virtual viewpoint are X = 2m × COS90 ° = 0, Y = 2m × SIN90 ° = 2m. Then, the coordinates of the intermediate point (XY coordinates at 12:36:50) between the start point and the end point of the first virtual viewpoint are X = 2m × COS135 ° ≒ 1.41m, Y = 2m × SIN135 ° ≒ -1. 41m. Then, the coordinates of the first virtual viewpoint at the end point are X = 2m × COS90 ° = 0, Y = 2m × SIN90 ° = 2m.
同様に、第２の仮想視点の始点の座標は、Ｘ＝２ｍ×ＣＯＳ２７０°＝０，Ｙ＝２ｍ×ＳＩＮ２７０°＝−２ｍである。そして、第１の仮想視点の始点と終点との中間地点（１２分３６秒５０におけるＸＹ座標）の座標は、Ｘ＝２ｍ×ＣＯＳ３１５°≒１．４１ｍ，Ｙ＝２ｍ×ＳＩＮ３１５°≒−１．４１ｍ，となる。そして、終点の第１の仮想視点の座標は、Ｘ＝２ｍ×ＣＯＳ０°＝２ｍ，Ｙ＝２ｍ×ＳＩＮ０°＝０ｍとなる。 Similarly, the coordinates of the start point of the second virtual viewpoint are X = 2m × COS270 ° = 0, Y = 2m × SIN270 ° = −2m. Then, the coordinates of the intermediate point (XY coordinates at 12:36:50) between the start point and the end point of the first virtual viewpoint are X = 2m × COS315 ° ≒ 1.41m, Y = 2m × SIN315 ° ≒ -1. 41m. Then, the coordinates of the first virtual viewpoint at the end point are X = 2m × COS0 ° = 2m, Y = 2m × SIN0 ° = 0m.
なお、上記の仮想視点映像の座標は、トラッキング対象のＸＹ座標を、中心とした相対的な座標である。トラッキング対象自体はフィールド内で移動するため、仮想視点画像の絶対的な座標は、トラッキング対象の絶対的な座標の移動に対応して変化するものである。 Note that the coordinates of the virtual viewpoint video are relative coordinates centered on the XY coordinates of the tracking target. Since the tracking target itself moves in the field, the absolute coordinates of the virtual viewpoint image change in accordance with the movement of the absolute coordinates of the tracking target.
以上、予め取得した仮想視点画像の元となる情報に基づいて仮想視点映像（仮想視点映像）を生成するやり方が第１の実施例である。そして、変形例として、仮想視点画像の元となる情報が、リアルタイムに送信されてくるケースも想定できる。そしてこのようなケースの場合は、リアルタイムに、複数の仮想視点のうち１の仮想視点の切換えをユーザから受付け、その指示に基づいて他の１または複数の仮想視点の切換えを行ない、それらの視点に基づいた仮想視点映像を生成することになる。 As described above, the first embodiment is a method of generating a virtual viewpoint video (virtual viewpoint video) based on information that is a source of a virtual viewpoint image acquired in advance. Then, as a modified example, a case where information serving as a source of a virtual viewpoint image is transmitted in real time can be assumed. In such a case, switching of one virtual viewpoint among a plurality of virtual viewpoints is received from a user in real time, and switching of one or more other virtual viewpoints is performed based on the instruction, and the viewpoints are switched. Is generated based on the virtual viewpoint.
図１２は、本発明のフローの一例を示した構成図である。本時実施例のフローの説明においては、具体的には、ＣＰＵ２０１が外部メモリに記憶された制御プログラムをＲＡＭ２０３にロードして実行することにより行われるものである。しかし、簡易な表現とすべく情報処理装置１１０、撮影装置１２０、表示端末１３０を主体として説明する。
FIG. 12 is a configuration diagram showing an example of the flow of the present invention. In the description of the flow of the present embodiment, specifically, the
また、ユーザからの指示の受付の方法は、ここまでの説明では、主にタッチパネルを想定して例を挙げてきたが、特に限定されるものではなく、既存の様々な方法を用いることができるものとする。具体的には、例えば、入力デバイス２０９（ＫＢ／ボタン／タッチパネル等）や表示部２１０を介して受けつける方法が含まれる。
In the above description, the method of accepting an instruction from the user has been described mainly on the assumption that the touch panel is mainly used. However, the method is not particularly limited, and various existing methods can be used. Shall be. Specifically, for example, a method of receiving the information via the input device 209 (KB / button / touch panel or the like) or the
ステップＳ１２０１では、撮影装置１２０は、仮想視点映像を生成するための映像情報を取得する。具体的には、例えば、各カメラの撮像ユニット２２１を用いて映像を撮影する。
In step S1201, the
ステップＳ１２０２では、撮影装置１２０は、ステップＳ１２０１で取得した映像情報を情報処理装置１１０に送信する。
In step S1202, the
ステップＳ１２０３では、撮影装置１２０は、フローを終了するか否かの判定を行う。そして、フローを終了すると判定した場合には、本フローを終了する。一方、撮影装置１２０は、フフローを終了すると判定しなかった場合には、ステップＳ１２０１に遷移する。
In step S1203, the
なお、フローを終了するか否かの判定をどのように行うかは、特段限定しないが、例えば、ユーザから終了指示を受付けたか否か、処理フローにエラーが出たか否か等、適切にフローを処理するために必要な様々なケースが想定される。（不図示）これは、後述のステップＳ１２１１やステップＳ１２１４も同様である。 Note that there is no particular limitation on how to determine whether or not to end the flow. For example, an appropriate flow such as whether or not an end instruction has been received from the user, whether or not an error has occurred in the processing flow, and the like. Various cases necessary for processing are assumed. (Not shown) This is the same for step S1211 and step S1214 described later.
ステップＳ１２０４では、情報処理装置１１０は、ステップＳ１２０２で撮影装置１２０から送信された仮想視点映像を生成するための映像情報を受信する。
In step S1204, the
ステップＳ１２０５では、情報処理装置１１０は、図３の画面を介してトラッキング対象の指定を受付ける。
In step S1205, the
ステップＳ１２０６では、情報処理装置１１０は、図４や図７の画面を介して、仮想視点映像の始点の設定指示をユーザから受付ける。具体的には、仮想視点映像の始まるタイミングや、開始時の仮想視点などである。
In step S1206, the
ステップＳ１２０７では、情報処理装置１１０は、図８乃至図１０の画面を介して、仮想視点映像の終点の設定指示と、仮想視点映像の生成指示とをユーザから受付ける。具体的には、仮想視点映像の終了のタイミングや、開始から終了に至る仮想視点の軌道の受付、などである。
In step S1207, the
また、リアルタイムに配信される映像情報に基づいて連続的に仮想視点映像を生成する場合には、ステップＳ１２０６とステップＳ１２０７とは一つにまとめることもできる。その場合には、仮想視点映像の開始や終了のタイミングの指定受付は省かれ、仮想視点の変更指示を、仮想視点映像を生成（ステップＳ１２０９）しつつ連続的に受付けることになる。 Further, when continuously generating virtual viewpoint videos based on video information distributed in real time, step S1206 and step S1207 can be combined into one. In this case, the designation reception of the start and end timings of the virtual viewpoint video is omitted, and the virtual viewpoint change instruction is continuously received while generating the virtual viewpoint video (step S1209).
ステップＳ１２０８では、情報処理装置１１０は、ステップＳ１２０７で仮想視点映像を生成する指示を、受付けたか否かの判定を行う。そして、情報処理装置１１０は、仮想視点映像を生成する指示を、受付けたと判定した場合には、ステップＳ１２０９に遷移する。一方、情報処理装置１１０は、仮想視点映像を生成する指示を、受付けたと判定しなかった場合には、ステップＳ１２０４に遷移する。
In step S1208, the
このステップの判定は、具体的には、例えば、仮想視点映像生成ボタン８０３の押下を受けつけたか否かの判定である。また、リアルタイムに配信される映像情報に基づいて連続的に仮想視点映像を生成する場合には、このステップは省かれる。
Specifically, the determination in this step is, for example, whether or not the press of the virtual viewpoint
ステップＳ１２０９では、情報処理装置１１０は、ステップＳ１２０４で受信した映像情報と、ステップＳ１２０５乃至ステップＳ１１２０７で受付けた条件に基づいて、仮想視点映像を生成する。生成される映像は、図８乃至図１０にて説明があったように、所定の条件下おいては、複数の仮想視点映像のうち、少なくとも一つ以上の左右反転映像が含まれる。また、好ましくは、表示端末１３０側においても、左右反転映像とそうでない映像とが切り替え可能な仮想視点映像であることが望ましい。
In step S1209, the
ステップＳ１２１０では、情報処理装置１１０は、ステップＳ１２０９で生成した仮想視点映像を、表示端末１３０に送信する。
In step S1210, the
ステップＳ１２１１では、情報処理装置１１０は、フローを終了するか否かの判定を行う。そして、フローを終了すると判定した場合には、情報処理装置１１０は、本フローを終了する。一方、フローを終了すると判定しなかった場合には、情報処理装置１１０は、ステップＳ１２０４に遷移する。
In step S1211, the
ステップＳ１２１２では、表示端末１３０は、ステップＳ１２１０で情報処理装置１１０から送信された仮想視点映像を、受信する。
In step S1212, the
ステップＳ１２１３では、表示端末１３０は、ステップＳ１２１２にて受信した由視点映像を、表示する。また、左右反転映像が含まれる場合には、左右反転映像の切換え指示も受け付ける。受付け方は例えば、図８のような反転ボタン８０１や両転ボタン８０２のようなオブジェクトを介する方法が考えられるが、冒頭に説明したように、利用形態に合わせた様々な指示受付方法があってよい。
In step S1213, the
ステップＳ１２１４では、表示端末１３０は、フローを終了するか否かの判定を行う。そして、表示端末１３０は、フローを終了すると判定した場合には、本フローを終了する。一方、表示端末１３０は、フローを終了すると判定しなかった場合には、ステップＳ１２１２に遷移する。
In step S1214, the
以上説明したように、本発明は、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供することができる。 As described above, the present invention can provide a mechanism for easily obtaining images of the same scene at a plurality of angles.
また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。 Further, a recording medium storing a program for realizing the functions of the above-described embodiments is supplied to a system or an apparatus, and a computer (or CPU or MPU) of the system or the apparatus reads out and executes the program stored in the recording medium. It goes without saying that the object of the present invention is achieved also by this.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium implements the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。 Examples of a recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, an EEPROM, and a silicon. A disk, a solid state drive, or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 When the computer executes the read program, not only the functions of the above-described embodiments are realized, but also an OS (operating system) or the like running on the computer based on the instructions of the program. It goes without saying that a part or all of the processing is performed, and the functions of the above-described embodiments are realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program read from the recording medium is written into the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is executed based on the instruction of the program code. It goes without saying that a CPU or the like provided in the function expansion unit performs part or all of the actual processing, and the processing realizes the functions of the above-described embodiments.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading out a program for achieving the present invention from a server, a database, or the like on a network by using a communication program, the system or device can enjoy the effects of the present invention. It should be noted that the present invention includes all configurations obtained by combining the above-described embodiments and their modifications.
１１０ 情報処理装置
１２０ 撮影装置
１３０ 表示端末
１４０ 通信ネットワーク
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス（ＫＢ／ボタン／タッチパネルなど）
２１０ 表示端末（表示部）
２１１ 外部メモリ
２２０ 撮像ユニットコントローラ
２２１ 撮像ユニット
３０１ トラッキング選択メニュー映像表示画面
４０１ 仮想視点表示画面
４０２ 映像表示画面
４０３ 始点終点設定タイムライン
５０１ 主被写体
５０２ プレーヤオブジェクト
５０３ 仮想視点オブジェクト
６０１ 画像反転ゾーン
８０１ 反転ボタン
８０２ 両転ボタン
８０３ 仮想視点映像生成ボタン
９０１ 仮想視点移動表示オブジェクト
110
202 ROM
203 RAM
204
210 display terminal (display unit)
211
Claims (15)
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする情報処理装置。 An information processing apparatus that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
Acquisition means for acquiring information for generating the virtual viewpoint video,
Setting means for receiving a designation of a first virtual viewpoint, which is a virtual viewpoint of the virtual viewpoint video, and setting a second virtual viewpoint corresponding to the first virtual viewpoint;
An information processing apparatus comprising: a generation unit configured to generate a virtual viewpoint video of the first virtual viewpoint set by the setting unit and a virtual viewpoint video of the second virtual viewpoint.
前記設定手段は、前記受付手段で変更を受付けた一方の仮想視点に対応させて、もう一方の仮想視点を変更することを特徴とする請求項１または２に記載の情報処理装置。 A receiving unit that receives an instruction to change any one of the first virtual viewpoint and the second virtual viewpoint;
The information processing apparatus according to claim 1, wherein the setting unit changes the other virtual viewpoint corresponding to one of the virtual viewpoints whose change has been received by the receiving unit.
前記生成手段で生成される前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とには、前記被写体が含まれることを特徴とする請求項１乃至４のうちいずれか１項に記載の情報処理装置。 The virtual viewpoint set by the setting means is determined based on a predetermined criterion determined corresponding to a predetermined subject,
5. The virtual viewpoint video of the first virtual viewpoint and the virtual viewpoint video of the second virtual viewpoint generated by the generation unit include the subject. The information processing device according to claim 1.
前記情報処理装置の取得手段が、前記仮想視点映像を生成するための情報を取得する取得工程と、
前記情報処理装置の設定手段が、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定工程と、
前記情報処理装置の生成手段が、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成工程とを含むことを特徴とする制御方法。 A control method in an information processing apparatus that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
Acquisition means of the information processing apparatus, an acquisition step of acquiring information for generating the virtual viewpoint video,
A setting step of setting a second virtual viewpoint corresponding to the first virtual viewpoint, wherein the setting means of the information processing device accepts designation of a first virtual viewpoint that is a virtual viewpoint of the virtual viewpoint video When,
A generating step of generating a virtual viewpoint video of the first virtual viewpoint set by the setting unit and a virtual viewpoint video of the second virtual viewpoint set by the setting unit. And control method.
前記情報処理装置を
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段として機能させることを特徴とするプログラム。 A program that can be read and executed by an information processing device that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
Acquisition means for acquiring the information for generating the virtual viewpoint video,
Setting means for receiving a designation of a first virtual viewpoint, which is a virtual viewpoint of the virtual viewpoint video, and setting a second virtual viewpoint corresponding to the first virtual viewpoint;
A program for causing a virtual viewpoint video of the first virtual viewpoint set by the setting unit and a virtual viewpoint video of the second virtual viewpoint to be generated as a generation unit.
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする情報処理のシステム。 An information processing system that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
Acquisition means for acquiring information for generating the virtual viewpoint video,
Setting means for receiving a designation of a first virtual viewpoint, which is a virtual viewpoint of the virtual viewpoint video, and setting a second virtual viewpoint corresponding to the first virtual viewpoint;
An information processing system comprising: a generation unit configured to generate a virtual viewpoint video of the first virtual viewpoint set by the setting unit and a virtual viewpoint video of the second virtual viewpoint.
前記情報処理のシステムの取得手段が、前記仮想視点映像を生成するための情報を取得する取得工程と、
前記情報処理のシステムの設定手段が、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定工程と、
前記情報処理のシステムの生成手段が、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成工程とを含むことを特徴とする制御方法。 A control method in an information processing system that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
Acquisition means of the information processing system, an acquisition step of acquiring information for generating the virtual viewpoint video,
The setting means of the information processing system receives a designation of a first virtual viewpoint, which is a virtual viewpoint of the virtual viewpoint video, and sets a second virtual viewpoint corresponding to the first virtual viewpoint. Process and
A generating step of generating the virtual viewpoint video of the first virtual viewpoint set by the setting unit and the virtual viewpoint video of the second virtual viewpoint set by the setting unit. Characteristic control method.
前記情報処理のシステムを
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段として機能させることを特徴とするプログラム。 A program that can be read and executed by an information processing system that generates a virtual viewpoint video that is a video generated based on a determined viewpoint,
An acquisition unit configured to acquire information for generating the virtual viewpoint video,
Setting means for receiving a designation of a first virtual viewpoint, which is a virtual viewpoint of the virtual viewpoint video, and setting a second virtual viewpoint corresponding to the first virtual viewpoint;
A program for causing a virtual viewpoint video of the first virtual viewpoint set by the setting unit and a virtual viewpoint video of the second virtual viewpoint to be generated as a generation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142025A JP2020021104A (en) | 2018-07-30 | 2018-07-30 | Information processing apparatus, information processing system, control method thereof and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142025A JP2020021104A (en) | 2018-07-30 | 2018-07-30 | Information processing apparatus, information processing system, control method thereof and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020021104A true JP2020021104A (en) | 2020-02-06 |
| JP2020021104A5 JP2020021104A5 (en) | 2021-07-29 |
Family
ID=69589815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018142025A Pending JP2020021104A (en) | 2018-07-30 | 2018-07-30 | Information processing apparatus, information processing system, control method thereof and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020021104A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473244A (en) * | 2020-06-23 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | Free viewpoint video playing control method and device |
| WO2022181175A1 (en) * | 2021-02-25 | 2022-09-01 | ソニーグループ株式会社 | Information processing device, information processing method, program, and display system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018036955A (en) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2018092491A (en) * | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
-
2018
- 2018-07-30 JP JP2018142025A patent/JP2020021104A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018036955A (en) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2018092491A (en) * | 2016-12-06 | 2018-06-14 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473244A (en) * | 2020-06-23 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | Free viewpoint video playing control method and device |
| WO2022181175A1 (en) * | 2021-02-25 | 2022-09-01 | ソニーグループ株式会社 | Information processing device, information processing method, program, and display system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10687119B2 (en) | System for providing multiple virtual reality views | |
| US20180321742A1 (en) | Methods and Systems for Gaze-Based Control of Virtual Reality Media Content | |
| JP7263456B2 (en) | Information processing device, information processing method and program | |
| US20180077345A1 (en) | Predictive camera control system and method | |
| US20110085017A1 (en) | Video Conference | |
| JP2024050721A (en) | Information processing device, information processing method, and computer program | |
| JP2018036955A (en) | Image processor, image processing method, and program | |
| JP2019139673A (en) | Information processing apparatus, information processing method, and computer program | |
| CN104601892A (en) | Terminal and image shooting method and device | |
| US10764493B2 (en) | Display method and electronic device | |
| US20210047036A1 (en) | Controller and imaging method | |
| US20210349620A1 (en) | Image display apparatus, control method and non-transitory computer-readable storage medium | |
| JP2020021104A (en) | Information processing apparatus, information processing system, control method thereof and program | |
| WO2019187732A1 (en) | Information processing device, information processing method, and program | |
| US20190058828A1 (en) | Electronic devices having multiple position cameras | |
| US20160344946A1 (en) | Screen System | |
| JP6509302B1 (en) | Game program and game system | |
| US11330240B2 (en) | Information processing system, information processing method and non-transitory computer readable medium | |
| US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
| JP2022073651A (en) | Information processing apparatus, information processing method, and program | |
| Foote et al. | One-man-band: A touch screen interface for producing live multi-camera sports broadcasts | |
| JP4714231B2 (en) | Image generating apparatus, wide-field image generating method, and program | |
| Chu et al. | Design of a motion-based gestural menu-selection interface for a self-portrait camera | |
| JP5687670B2 (en) | Display control system, game system, display control device, and program | |
| JP2023140922A (en) | Display terminal, information processing system, communication system, display method, information processing method, communication method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220906 |