JP2020042407A - Information processor and information processing method and program - Google Patents
Information processor and information processing method and program Download PDFInfo
- Publication number
- JP2020042407A JP2020042407A JP2018167879A JP2018167879A JP2020042407A JP 2020042407 A JP2020042407 A JP 2020042407A JP 2018167879 A JP2018167879 A JP 2018167879A JP 2018167879 A JP2018167879 A JP 2018167879A JP 2020042407 A JP2020042407 A JP 2020042407A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- flow line
- information processing
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims 4
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000004048 modification Effects 0.000 abstract 1
- 238000012986 modification Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、仮想視点画像を生成するための技術に関するものである。 The present invention relates to a technique for generating a virtual viewpoint image.
近年、複数のカメラを異なる位置に設置して同期撮影し、その撮影により得られた複数視点画像を用いて、仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に集約し、画像処理装置において、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現される。なお、仮想視点画像の生成において、複数のカメラは撮影対象の空間内の特定の位置(以下、注視点と称する場合がある)に向けられる。 2. Description of the Related Art In recent years, attention has been paid to a technique of installing a plurality of cameras at different positions, performing synchronous shooting, and generating a virtual viewpoint image using a plurality of viewpoint images obtained by the shooting. The generation and browsing of the virtual viewpoint image based on the multiple viewpoint image is performed by collecting images captured by a plurality of cameras in an image processing device such as a server, and performing processing such as rendering based on the virtual viewpoint in the image processing device. This is realized by displaying a virtual viewpoint image on a terminal. In generating the virtual viewpoint image, the plurality of cameras are directed to a specific position in the space of the imaging target (hereinafter, may be referred to as a gazing point).
そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献1には、ユーザ端末の位置及び方向に基づいて仮想視点の位置及び方向を決定し、その決定した仮想視点の位置及び方向に基づいて仮想視点画像を生成する技術が開示されている。 In a service using such a virtual viewpoint image, for example, a specific scene in soccer, basketball, or the like can be viewed from various angles. Can be given. Here, Patent Literature 1 discloses a technology that determines the position and direction of a virtual viewpoint based on the position and direction of a user terminal, and generates a virtual viewpoint image based on the determined position and direction of the virtual viewpoint. ing.
しかしながら、特許文献1の技術では、特定のシーンを好適に視聴する上で、配信された仮想視点画像がユーザ端末に表示された後、ユーザの操作により、ユーザ端末から注視点付近まで仮想視点を変更(移動)させる必要がある。例えば、撮影対象がサッカーのゴールシーンである場合、ユーザは、ゴールを決めた選手に向けて仮想視点を近付ける操作を行う必要がある。そのため、例えば、競技がリアルタイムで進行している場合等には、ユーザ(特に、仮想視点の操作に慣れていないユーザ)は、仮想視点の操作に気を取られ、競技そのものを見逃してしまう可能性がある。なお、スポーツ競技に限らず、コンサートやその他のイベントにおいても同様の問題が生じ得る。 However, in the technique of Patent Document 1, in order to suitably view a specific scene, after a distributed virtual viewpoint image is displayed on the user terminal, the user operates the virtual viewpoint from the user terminal to the vicinity of the point of interest. It needs to be changed (moved). For example, when the shooting target is a soccer goal scene, the user needs to perform an operation of approaching the virtual viewpoint to the player who has scored the goal. Therefore, for example, when the competition is progressing in real time, the user (particularly, a user who is not used to operating the virtual viewpoint) may be distracted by the operation of the virtual viewpoint and may miss the competition itself. There is. A similar problem may occur not only in sports competitions but also in concerts and other events.
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点の変更に係る操作を容易にすることである。 The present invention has been made in view of the above-mentioned conventional problems, and an object of the present invention is to facilitate an operation related to a change of a virtual viewpoint.
本発明は、複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、ユーザに関する位置情報を取得する第1の取得手段と、前記仮想視点画像に映すべき注視点に関する位置情報を取得する第2の取得手段と、前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
を備えることを特徴とする。
The present invention relates to an information processing apparatus for generating a virtual viewpoint image based on images captured by a plurality of image capturing apparatuses, and a first obtaining unit for obtaining position information related to a user, and an image to be displayed on the virtual viewpoint image. Second acquisition means for acquiring position information on a point of regard; flow line determination means for determining a flow line of a virtual viewpoint based on position information on the user and position information on the point of interest; Generating means for generating the virtual viewpoint image based on a line.
本発明によれば、仮想視点の変更に係る操作が容易になる。 According to the present invention, the operation for changing the virtual viewpoint is facilitated.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
(画像処理システム)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments do not limit the present invention, and all combinations of the features described in the present embodiments are not necessarily essential to the solution of the present invention. In addition, the present invention also includes various other forms that do not depart from the gist of the present invention, and some of the following embodiments can be appropriately combined.
(Image processing system)
図1は、画像処理システムの概略図である。図1に示されるように、スタジアム12には、観客席14と競技等を実際に行うフィールド16があり、複数のカメラ18が設置されている。複数のカメラ18は、各々のカメラ18が撮影対象であるフィールド16の少なくとも一部を撮影するように、かつ、カメラ18間で画角に重なりができるように配置される。例えば、複数のカメラ18は、観客席14とフィールド16とを囲むように設置される。
FIG. 1 is a schematic diagram of an image processing system. As shown in FIG. 1, the
また、ユーザ10は観客席14から競技(ここでは、その一例としてサッカー)を観戦している。ユーザ10は、ユーザ端末を所持し、ライブで観戦を楽しむと共に、必要に応じてユーザ端末を操作してシュートシーン、ゴールシーン、反則を犯したシーン等のイベントシーンを再生して確認する。本実施形態では、このユーザ端末の操作(具体的には、ユーザ端末における再生の指示)に応じて、適切なイベントシーンの仮想視点画像がユーザ端末に提供される。
The
図2は、画像処理システムの概略構成図である。図2に示されるように、画像処理システムは、スタジアム12に設置された複数のカメラ18と、画像生成装置200と、情報処理装置100と、ユーザ端末300を備える。
FIG. 2 is a schematic configuration diagram of the image processing system. As shown in FIG. 2, the image processing system includes a plurality of
複数のカメラ18は、スタジアム12の全て又は一部の範囲が複数のカメラ18で撮影されるように配置され、伝送ケーブルを介して相互に接続される。また、カメラ18は、予め設定された1又は複数の実カメラ注視点に向けて設置される。つまり、1又は複数の実カメラ注視点の各々は2以上のカメラ18により異なる方向から撮影される。また、カメラ18の各々は、画像生成装置200にも接続され、スタジアム12を撮影することにより取得した画像を画像生成装置200に伝送する。
The plurality of
なお、複数のカメラ18は、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像及び動画像の双方を撮影するカメラであってもよい。また、本実施形態において、特に断りがない限り、画像という用語は、動画と静止画の両方の概念を含むものとする。
Note that the plurality of
画像生成装置200は、仮想視点画像を生成する装置である。画像生成装置200は、複数のカメラ18により撮影された画像(以下、撮影画像と称する場合がある)を記憶する。画像生成装置200は、撮影画像を用いて、仮想視点画像群を生成する。なお、仮想視点画像群とは、異なる仮想視点に基づく複数の仮想視点画像の集合のことである。
The
画像生成装置200は、生成した仮想視点画像群と注視点データを情報処理装置100に伝送する。なお、注視点データは、撮影対象のスタジアム12内に設定された1又は複数の注視点の位置等を示す情報である。特定の選手やボールやゴールなどのオブジェクトが注視点となりうる。また、サッカーコートのコーナー位置やペナルティキックのキック位置なども注視点となりうる。注視点データにより表される注視点は、上述の実カメラ注視点とは異なる概念であることに留意されたい。但し、注視点データにより表される注視点の1つとして、実カメラ注視点が管理されるようにしてもよい。
The
また、画像生成装置200は、例えば、サーバ装置等であり、上述の仮想視点画像を生成するための画像処理機能に加えて、複数の撮影画像や生成した仮想視点画像群を記憶するデータベースとしての機能も有する。その他、スタジアム12内の複数のカメラ18と画像生成装置200は、有線又は無線の通信ネットワーク回線や、SDI(Serial Digital Interface)等のケーブル回線で接続されている。画像生成装置200は、この回線を通じて、複数のカメラ18から撮影画像を受信してデータベースに格納する。なお、注視点データの詳細については、後述する。
The
情報処理装置100は、画像生成装置200で生成される仮想視点画像群から、ユーザ端末300に提供する仮想視点画像を選択する。より詳細には、情報処理装置100は、ユーザ端末300に出力する仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、ユーザ端末300に提供する仮想視点画像を選択する。なお、動線とは仮想視点を任意の位置まで移動させるときの経路のことである。
The
情報処理装置100は、画像生成装置200から取得した注視点データが示す1又は複数の注視点から1つの注視点を選択する。また、情報処理装置100は、ユーザ端末300からユーザ端末情報を取得する。そして、情報処理装置100は、選択した注視点とユーザ端末300から取得したユーザ端末情報に基づいて、生成すべき仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、ユーザ端末情報には、例えば、操作内容を示す端末操作情報や端末の位置を示す位置情報等が含まれる。また、端末操作情報には、例えば、仮想視点の指定や仮想視点画像の再生等の操作を示す情報等が含まれる。
The
情報処理装置100は、決定した仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、画像生成装置200により生成された仮想視点画像群から仮想視点画像を選択し、ユーザ端末300に出力する。
The
なお、これに限らず、情報処理装置100により決定された注視点と仮想視点の指定を示す情報(例えば、仮想視点の位置、仮想視点の視線方向等に関する情報)を画像生成装置200に送信してもよい。この場合、画像生成装置200は、スタジアム12に設置された複数のカメラ18による撮影画像から、情報処理装置100により決定された注視点に対応するカメラ群による撮影画像を選択する。その後、画像生成装置200は、選択された撮影画像を、仮想視点の指定を示す情報に基づいて処理することで、仮想視点に応じた仮想視点画像を生成して情報処理装置100に出力する。
However, the present invention is not limited to this, and information indicating designation of the point of regard and the virtual viewpoint determined by the information processing apparatus 100 (for example, information regarding the position of the virtual viewpoint, the line of sight of the virtual viewpoint, etc.) is transmitted to the
また、以下のように仮想視点画像が提供されるようにしてもよい。即ち、画像生成装置200は、ユーザ端末から当該ユーザ端末の位置に関する情報と、注視点に関する情報を取得し、当該取得された情報に基づいて仮想視点の動線を決定する。そして、画像生成装置200は、決定した動線に応じた仮想視点画像を、複数のカメラ18から取得した複数の撮影画像に基づいて生成する。この例においては、仮想視点画像群の生成は必須ではない。なお、本実施形態では、情報処理装置100と画像生成装置200が別の装置である場合の例を中心に説明しているが、これらが一体であってもよい。また、本実施形態で画像生成装置200が複数のカメラ18から撮影画像を取得する例を中心に説明しているが、これに限らず、複数のカメラ18が撮影画像に対して、仮想視点画像を生成するための処理の一部を行ってもよい。この場合、画像生成装置200が取得する画像データは、撮影画像そのものではなく、加工済み画像データとなりうる。この場合、画像生成装置200による仮想視点画像の生成負荷が低減されうる。
Further, the virtual viewpoint image may be provided as follows. That is, the
補足として、情報処理装置100は、例えば、パーソナルコンピュータ等である。なお、情報処理装置100は、画像生成装置200に組み込まれていてもよく、ユーザ端末300に組み込まれていてもよい。また、その逆であってもよい。したがって、例えば、画像生成装置200は、情報処理装置100に組み込まれてもよい(即ち、情報処理装置100は、画像生成装置200の機能を備えてもよい)。このように、情報処理装置100と画像生成装置200は一体の装置であってもよいし、また、情報処理装置100とユーザ端末300は一体の装置であってもよい。
As a supplement, the
ユーザ端末300は、ユーザ10の入力に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、及び視点の切り替え等の指示を受け付ける。ユーザ端末300は、ユーザ10からの指示を受け付けると、その受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置100に伝送する。また、ユーザ端末300は、位置情報に基づく仮想視点の自動設定を情報処理装置100に要求する。
The
なお、ユーザ端末300には、ユーザ10に固有のIDを関連付けるようにしてもよい。また、ユーザ端末300は、例えば、パーソナルコンピュータであってもよく、又はスマートフォンやタブレット等の携帯端末であってもよい。その他、ユーザ端末300は、マウス、キーボード、6軸コントローラ、及びタッチパネルの少なくとも1つを有する。また、ユーザ端末300は、GPS(Global Positioning System)等により位置情報を取得する機能を有する。
The
画像生成装置200、情報処理装置100及びユーザ端末300は、例えば、インターネット等のネットワークを介して相互に情報をやり取りすることができる。なお、装置間の通信は、無線通信であってもよいし、有線通信であってもよい。
(画像生成装置のハードウェア構成)
The
(Hardware configuration of image generation device)
図3は、画像生成装置200のハードウェア構成を示す図である。なお、情報処理装置100、ユーザ端末300についても、図3に示されるハードウェア構成と同様のハードウェア構成を有する。画像生成装置200は、図3に示されるように、コントローラユニット500、操作ユニット509、及び表示装置510を有する。
FIG. 3 is a diagram illustrating a hardware configuration of the
コントローラユニット500は、CPU501、ROM502、RAM503、HDD504、操作部I/F(インターフェース)505、表示部I/F506、通信部I/F507を有する。また、これらは、システムバス508を介して、相互に接続される。
The
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に格納されているブートプログラムによりOS(Operating System)を起動する。CPU501は、その起動したOS上で、HDD(Hard Disk Drive)504に格納されているアプリケーションプログラムを実行する。CPU501は、アプリケーションプログラムを実行することによって、各種処理を実現する。HDD504は、上述のように、アプリケーションプログラム等を格納する。なお、CPU501の作業領域として、RAM(Random Access Memory)503が用いられる。また、CPU501は、1つのプロセッサで構成されても、複数のプロセッサで構成されてもよい。
A CPU (Central Processing Unit) 501 starts an OS (Operating System) by a boot program stored in a ROM (Read Only Memory) 502. The
操作部I/F505は、操作ユニット509とのインターフェースである。操作部I/F505は、操作ユニット509においてユーザにより入力された情報をCPU501に送出する。操作ユニット509は、例えば、マウス、キーボード等を有する。表示部I/F506は、表示装置510に表示する画像データを表示装置510に出力する。表示装置510は、液晶ディスプレイ等のディスプレイを有する。
The operation unit I /
通信部I/F507は、例えば、イーサネット(登録商標)等の通信を行うためのインターフェースである。通信部I/F507は、伝送ケーブルに接続され、その伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信部I/F507は、無線通信を行うための回路やアンテナであってもよい。また、コントローラユニット500は、ケーブルやネットワークを介して接続された外部の表示装置(不図示)に画像を表示させる表示制御を行うことも可能である。この場合、コントローラユニット500は、表示データを外部の表示装置に出力することで表示制御を実現する。
The communication unit I /
以上、図3を用いて画像生成装置200のハードウェア構成について説明したが、図3に示される構成は、いずれも必須の構成ではない。例えば、画像生成装置200において、表示装置510は必須の構成ではない。また、上述の説明では、コントローラユニット500がCPU501を有するものとして説明したが、必ずしもこれに限定されない。例えば、コントローラユニット500は、CPU501の代わりに、又は、CPU501に加えて、ASICやFPGA等のハードウェアを有していてもよい。この場合、ASICやFPGA等のハードウェアが、CPU501が行うべき処理の一部又は全てを行ってもよい。なお、ASICはApplication Specific Integrated Circuitの略であり、FPGAはField Programmable Gate Arrayの略である。
(情報処理装置の機能構成)
The hardware configuration of the
(Functional configuration of information processing device)
図4は、情報処理装置100の機能構成を示すブロック図である。なお、図4に示す各機能は、例えば、図3のCPU501がROM502に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。また、図4に示す構成の一部又はすべてを例えば、ASICやFPGA等の専用のハードウェアにより実現してもよい。
FIG. 4 is a block diagram illustrating a functional configuration of the
情報処理装置100は、図4に示されるように、制御部101、記憶部102、分離部103、ユーザ情報取得部104、注視点決定部105、動線決定部106、画像取得部107及び画像出力部108を有する。また、これらは、内部バス109によって相互に接続され、制御部101による制御の下、相互にデータを送受信することができる。
As illustrated in FIG. 4, the
制御部101は、記憶部102に格納されているコンピュータプログラムに従って、情報処理装置100全体の動作を制御する。記憶部102は、不揮発性メモリで構成され、各種データやプログラム(例えば、情報処理装置100全体の動作を制御するコンピュータプログラム等)を記憶する。
The
分離部103は、画像生成装置200から取得した仮想視点画像群と注視点データを分離して出力する。ユーザ情報取得部104は、ユーザ10に関する位置情報を含むユーザ端末情報をユーザ端末300から取得する。なお、ユーザ情報取得部104は、ユーザ端末300がGPSで取得した位置情報を、ユーザ10に関する位置情報としてユーザ端末300から取得してもよい。また、ユーザ情報取得部104は、例えば、スタジアム12の観客席14の客席番号等の位置を示す情報をユーザ端末300から取得し、その取得した情報に基づいてユーザ10の位置を特定してもよい。
The
注視点決定部105は、画像生成装置200から取得した注視点データから1つの注視点を決定する。注視点決定部105は、例えば、ゴールを決めた選手、反則を犯した選手等を選択し、注視点として決定する。また、注視点決定部105は、ユーザ端末300から入力される操作情報(例えば、ユーザによる注視点の選択操作に応じた情報、ユーザによる仮想視点の指定操作に応じた情報等)に基づいて、注視点を決定してもよい。
The gazing
動線決定部106は、ユーザ端末300に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、以下、本実施形態において、動線決定部106は、動線上を移動する各仮想視点の位置として三次元座標上の位置を決定するものとして説明する。但し、その他の実施形態においては、動線決定部106は、動線上を移動する各仮想視点の位置として二次元座標上の位置を決定するものとしてもよい。また、この場合、動線決定部106は、仮想視点画像に係る仮想視点の位置の高さを、ユーザ情報取得部104が取得した位置情報を用いることなく、任意の値又は固定値として決定してもよい。
The flow
動線決定部106は、ユーザ情報取得部104によりユーザ端末300からユーザ端末情報が取得された場合、注視点決定部105で決定した注視点と、ユーザ端末情報に含まれる位置情報に基づいて、仮想視点の動線を決定する。また、動線決定部106は、動線上を移動する各仮想視点の視線方向を、注視点決定部105で決定した注視点に向けられるように決定する。
When the user
画像取得部107は、動線決定部106において決定された仮想視点の動線、及び動線上を移動する各仮想視点の視線方向に対応する仮想視点画像を取得する。なお、画像取得部107は、画像生成装置200から受信した情報に基づいて、レンダリングにより仮想視点画像を生成する機能を有していてもよい。画像出力部108は、画像取得部107により取得された仮想視点画像を、ユーザ端末300に出力する。
(画像生成装置の機能構成)
The
(Functional configuration of image generation device)
図5は、画像生成装置200の機能構成を示すブロック図である。画像生成装置200は、図5に示されるように、制御部201、情報記憶部202、撮影画像入力部203、画像記憶部204、仮想視点画像生成部205、注視点データ生成部206、画像解析部207、データ出力部208を有する。また、これらは、内部バス209によって相互に接続され、制御部201による制御の下、相互にデータを送受信することができる。
FIG. 5 is a block diagram illustrating a functional configuration of the
制御部201は、情報記憶部202に格納されているコンピュータプログラムに従って、画像生成装置200全体の動作を制御する。情報記憶部202は、不揮発性メモリで構成され、プログラム(例えば、画像生成装置200全体の動作を制御するコンピュータプログラム等)や各種データ等の情報を記憶する。
The
撮影画像入力部203は、スタジアム12に設置された複数のカメラ18により撮影された画像を所定のフレームレートで取得し、画像記憶部204に出力する。なお、撮影画像入力部203は、有線若しくは無線の通信モジュール、又はSDI等の画像伝送モジュールにより撮影画像を取得する。
The captured
画像記憶部204は、例えば、磁気ディスク、光ディスク、半導体メモリ等の大容量の記憶装置であり、撮影画像入力部203より取得した撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群を記憶する。なお、画像記憶部204は、画像生成装置200に対して物理的に外部に設けてもよい。また、画像記憶部204に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、画像フォーマットとして例えば、MXF形式(Material eXchange Format)等で記憶される。加えて、画像記憶部204に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、例えば、MPEG2形式等で圧縮される。但し、データの形式は、必ずしもこれらに限定されない。
The
仮想視点画像生成部205は、画像記憶部204に記憶される複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群を生成する方式として、例えば、イメージベースレンダリングを用いる方式等が挙げられる。イメージベースレンダリングは、モデリング工程(即ち、幾何学図形を用いて物体の形状を作成する工程)を実施しないで、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。
The virtual viewpoint
なお、仮想視点画像群を生成する方法は、イメージベースレンダリングに限られず、モデルベースレンダリング(MODEL−BASED RENDERING:MBR)を用いてもよい。ここで、MBRとは、被写体を複数の方向から撮影することで取得される複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成するレンダリング方法である。具体的には、MBRは、視体積交差法、MULTI−VIEW−STEREO(MVS)等の三次元形状復元方法により取得される対象シーンの三次元形状(モデル)を用いて、仮想視点からのその対象シーンの見えを画像として生成するレンダリング方法である。 Note that the method of generating the virtual viewpoint image group is not limited to image-based rendering, and model-based rendering (MODEL-BASED RENDERING: MBR) may be used. Here, the MBR is a rendering method for generating a virtual viewpoint image using a three-dimensional model generated based on a plurality of captured images obtained by capturing an object from a plurality of directions. Specifically, the MBR uses a three-dimensional shape (model) of a target scene obtained by a three-dimensional shape restoration method such as a volume intersection method, MULTI-VIEW-STERIO (MVS), and the like from a virtual viewpoint. This is a rendering method for generating the appearance of a target scene as an image.
仮想視点画像生成部205は、生成した仮想視点画像群に含まれる各仮想視点画像に、その仮想視点画像に対応する仮想視点(仮想視点の位置)、視線の方向、及び注視点データ生成部206により生成される注視点を示すデータ(注視点データ)を付与する。仮想視点画像生成部205は、例えば、仮想視点、視線の方向、及び注視点を示すデータを含むメタデータを注視点データとして仮想視点画像(又は、仮想視点画像群)に付与する。
The virtual viewpoint
なお、生成される仮想視点画像群は様々な仮想視点、視線の方向、及び注視点の仮想視点画像を含んでおり、本実施形態において、そのような仮想視点画像群は1つの画像ストリームとして空間方向及び時間方向に圧縮符号化されているものとする。但し、その他の実施形態においては、仮想視点画像群は、1つの画像ストリームではなく、各々が独立した複数の画像から構成されてもよい。或いは、仮想視点画像群は、圧縮符号化されていなくてもよい。 Note that the generated virtual viewpoint image group includes various virtual viewpoints, gaze directions, and gazing point virtual viewpoint images. In the present embodiment, such a virtual viewpoint image group is spatially represented as one image stream. It is assumed that the data is compression-coded in the direction and the time direction. However, in other embodiments, the virtual viewpoint image group may be composed of a plurality of independent images instead of one image stream. Alternatively, the group of virtual viewpoint images may not be compression-encoded.
また、画像生成装置200は、仮想視点画像群に代えて、例えば、三次元モデルを示す情報、その三次元モデルにマッピングするための画像等の仮想視点画像を生成するための情報を生成してもよい。即ち、仮想視点画像生成部205は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置100又はユーザ端末300において仮想視点画像をレンダリングするために必要な情報を生成してもよい。
Further, the
注視点データ生成部206は、画像解析部207により取得される1又は複数のオブジェクトの位置情報、及び/又は、所定の固定位置の位置情報を用いて注視点データを生成し、その生成した注視点データを仮想視点画像生成部205に出力する。ここで、図6を用いて、注視点データについて説明を補足する。
The gazing point
図6は、注視点データの構成を示すデータ構造図である。注視点データは、図6に示されるように、例えば、注視点ID、位置情報、及び半径で構成される。なお、注視点データは、注視点の位置を特定可能な情報であればよく、必ずしも図6に示される構成(内容)に限定されない。 FIG. 6 is a data structure diagram showing the structure of the point of interest data. As shown in FIG. 6, the gazing point data includes, for example, a gazing point ID, position information, and a radius. Note that the point-of-regard data may be any information that can specify the position of the point of regard, and is not necessarily limited to the configuration (contents) illustrated in FIG.
注視点IDは、例えば、アルファベット、数字等で構成され、すべての注視点に割り振られる識別番号である。位置情報は、注視点の中心座標の緯度及び経度を、Degree形式を用いて示したものである。半径は、注視点の中心座標からの距離であり、仮想視点画像を生成するときに有効な範囲を示したものである。なお、以下、この中心座標と半径で規定される有効な範囲を示す円状の領域を注視点ユニットと称する。 The gazing point ID is, for example, an alphabet, a numeral, or the like, and is an identification number assigned to all gazing points. The position information indicates the latitude and longitude of the center coordinate of the gazing point using a Degree format. The radius is a distance from the center coordinates of the gazing point, and indicates a range effective when generating a virtual viewpoint image. Hereinafter, a circular area indicating an effective range defined by the center coordinates and the radius is referred to as a gazing point unit.
なお、本実施形態において注視点とは、仮想視点画像に映すべき点のことであり、典型的には、ユーザにより選択される点である。また、注視点は、特定の選手やボールやゴール等のオブジェクトに対応しうる。また、注視点は、サッカーコートのコーナーやペナルティキックのペナルティマーク等も対応しうる。さらに、注視点データには、上述の実カメラ注視点の情報が含まれてもよい。図6の半径の情報は、注視点が実カメラ注視点である場合に有効な情報である。つまり、半径の情報は必須ではない。 In the present embodiment, the point of regard is a point to be displayed in the virtual viewpoint image, and is typically a point selected by the user. The point of regard may correspond to a specific player, an object such as a ball or a goal. The point of regard may correspond to a soccer court corner, a penalty kick penalty mark, or the like. Furthermore, the point-of-interest data may include the information on the actual camera point of interest described above. The information of the radius in FIG. 6 is effective information when the gazing point is the real camera gazing point. That is, information on the radius is not essential.
その他、ある1つの実カメラ注視点に向けられた複数のカメラ18による撮影画像を用いて仮想視点画像を生成する場合、生成対象がその実カメラ注視点に対応する注視点ユニットに含まれる領域の仮想視点画像であれば、より高画質に生成することができる。また、注視点データは、画像解析部207による撮影画像の解析により取得されるものに限定されず、画像生成装置200、情報処理装置100に事前に登録されていてもよい。
In addition, when a virtual viewpoint image is generated using images captured by a plurality of
図5に戻り、画像解析部207は、撮影画像入力部203に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部207は、例えば、ビジュアルハル等の技術を用いて、特定のオブジェクトの位置又は所定の固定位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトとは、特定の選手や審判等の人物、又はボール等である。また、注視点は、フィールド中央、ゴール前、ペナルティマーク等のフィールド16上の所定の固定位置であってもよい。その他、複数のカメラ18の光軸を共通の位置に向けるようにカメラ18を設置した場合、注視点はその共通の位置であってもよい。データ出力部208は、仮想視点画像生成部205において生成された仮想視点画像群を情報処理装置100に所定のフレームレートで出力する。
(動線決定処理)
Returning to FIG. 5, the
(Traffic line determination processing)
図7は、動線決定部106における処理の手順を示すフローチャートである。より詳細には、図7は、ユーザ端末300に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する処理の手順を示すフローチャートである。なお、このフローチャートの処理は、情報処理装置100がユーザ端末300から仮想視点画像の再生要求を受け付けると実行される。また、以下において、フローチャートの説明における記号「S」は、ステップを表すものとする。
FIG. 7 is a flowchart illustrating the procedure of the process in the flow
S701において、動線決定部106は、注視点決定部105により決定された注視点を取得する。また、動線決定部106は、ユーザ情報取得部104を介して、ユーザ端末情報を取得する。
In S701, the flow
S702において、動線決定部106は、注視点決定部105により決定された注視点と、ユーザ端末情報に含まれるユーザ端末300の位置情報に基づいて、ユーザ端末300に出力する仮想視点画像に係る仮想視点の動線を決定する。ここで、図8を用いて、仮想視点の動線について説明を補足する。
In S <b> 702, the flow
図8は、動線決定部106により決定された仮想視点の動線を示す模式図である。図8において、符号801は注視点であり、例えば、ゴールを決めた選手である。また、図8において、動線決定部106は、ユーザ10の位置から注視点801の位置に向けて直線的に結んだ線を動線として決定している。なお、ユーザ10の位置及び注視点の位置は三次元座標で示されることから、動線決定部106は、水平垂直方向の経路だけでなく、図示していない高さ方向の経路も含めた動線を決定する。
FIG. 8 is a schematic diagram illustrating the flow line of the virtual viewpoint determined by the flow
次に、その他の例について、図9を用いて説明を補足する。図9は、動線決定部106により決定された仮想視点の動線を示す模式図である。図9において、符号901は、注視点801を中心に、仮想視点を旋回させる上での始点であり、注視点801から所定の距離だけ離間した位置にある。また、符号902は、仮想視点を始点901から180度旋回させたときの終点である。動線決定部106は、仮想視点が始点901に到達すると、ユーザ10から注視点801に向けて直線的に結ばれた動線から、注視点801を中心に旋回させる動線に切り替え、その旋回の終点902まで旋回させるように動線を決定する。
Next, a description of another example will be supplemented with reference to FIG. FIG. 9 is a schematic diagram illustrating the flow line of the virtual viewpoint determined by the flow
なお、図9では、仮想視点の動線としてユーザ10から注視点801に向けた直線的な動線を用いて説明したが、仮想視点の動線は、必ずしもこれに限定されず、例えば、波線等、直線以外の線でもよい。また、仮想視点を旋回させるときの円の半径は、注視点801の周辺の状況に応じて変動させてもよい。例えば、注視点801の周辺にいる選手の密集度によって、円の半径を変動させてもよい。この場合、具体的には、注視点801の周辺にいる選手の密集度が高い場合、円の半径を短くし、注視点801に動線を近づけるようにする。
In FIG. 9, a description has been given using a linear flow line from the
加えて、仮想視点を旋回させるときの形状は必ずしも円に限定されず、楕円や多角形等の他の形状であってもよい。また、仮想視点を旋回させる方向に関して必ずしも水平方向に限定されず、注視点801を中心とした球体の全方位に旋回可能なようにしてもよい。例えば、注視点801として選択された選手がオーバーヘッドキックでゴールを決めた場合、その選手の頭上で仮想視点を旋回させたり、その選手の正面側を旋回させたりするようにしてもよい。その他、仮想視点を旋回させるときの回転角度は180度に限定されず、任意の角度で旋回させることができる。
In addition, the shape when turning the virtual viewpoint is not necessarily limited to a circle, but may be another shape such as an ellipse or a polygon. The direction in which the virtual viewpoint is turned is not necessarily limited to the horizontal direction, and the virtual viewpoint may be turned in all directions around the
図7に戻り、S703において、動線決定部106は、S702において決定された動線上を移動する仮想視点の視線方向を決定する。ここで、図10を用いて、仮想視点の視線方向について説明を補足する。
Returning to FIG. 7, in S703, the flow
図10は、動線決定部106により決定された仮想視点の視線方向を示す模式図である。図10において、符号1001から符号1007は仮想視点であり、動線の始点から終点に向けて動線上を仮想視点が移動している。動線決定部106は、動線上を移動する仮想視点の視線方向が注視点801に向けられるように、各仮想視点の視線方向を決定する。即ち、符号1001から符号1007までのすべての仮想視点の視線方向は、注視点801に向けられる。
FIG. 10 is a schematic diagram illustrating the gaze direction of the virtual viewpoint determined by the flow
以上、説明したように、本実施形態によれば、ユーザの位置と注視点の位置に基づいて仮想視点の動線、及び動線上を移動する各仮想視点の視線方向を決定し、動線及び視線方向に基づいた仮想視点画像を生成することができる。そのため、ユーザは、仮想視点画像を視聴するための開始操作を行うだけで、ユーザ端末から注視点まで仮想視点を移動させた仮想視点画像を視聴することができる。また、ユーザは、仮想視点の動線を、注視点を中心に旋回させる動線に切り替えることができるので、より好適な仮想視点画像を視聴することができる。
(その他の実施形態)
As described above, according to the present embodiment, the flow line of the virtual viewpoint and the line of sight of each virtual viewpoint moving on the flow line are determined based on the position of the user and the position of the gazing point. It is possible to generate a virtual viewpoint image based on the gaze direction. Therefore, the user can view the virtual viewpoint image obtained by moving the virtual viewpoint from the user terminal to the point of interest only by performing a start operation for viewing the virtual viewpoint image. In addition, the user can switch the flow line of the virtual viewpoint to a flow line turning around the gazing point, so that a more suitable virtual viewpoint image can be viewed.
(Other embodiments)
上述の実施形態では、ユーザ端末300から仮想視点画像の再生要求を受け付けると、図7に示されるフローチャートの処理が実行(開始)されるものとして説明したが、図7に示されるフローチャートの処理の実行は必ずしもこれに限定されない。したがって、例えば、動線決定部106は、情報処理装置100の受信部(不図示)を介して、シュート、反則等のイベントが発生したときのイベントトリガー信号を受信する度に、図7に示されるフローチャートの処理を実行してもよい。
In the above-described embodiment, the processing of the flowchart illustrated in FIG. 7 is described as being executed (started) when a request to reproduce a virtual viewpoint image is received from the
なお、この場合、情報処理装置100は、その都度、決定された仮想視点の動線、及び動線上を移動する仮想視点の視線方向に基づいて仮想視点画像を生成し、ユーザ端末300に送信する。ユーザ端末300は、仮想視点画像を受信すると、表示を仮想視点画像の再生に切り替える。或いは、ユーザ端末300は、仮想視点画像の再生を促す通知を画面に表示してもよい。このようにすることで、ユーザは、直近に発生したイベントに係る仮想視点画像を見逃すことなく、視聴することができる。また、上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。
In this case, the
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
100 情報処理装置
200 画像生成装置
104 ユーザ情報取得部
106 動線決定部
Claims (18)
ユーザに関する位置情報を取得する第1の取得手段と、
前記仮想視点画像に映すべき注視点に関する位置情報を取得する第2の取得手段と、
前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、
前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
を備えることを特徴とする情報処理装置。 An information processing device that generates a virtual viewpoint image based on images captured by a plurality of imaging devices,
First acquisition means for acquiring position information about the user;
Second acquisition means for acquiring position information on a point of gaze to be projected on the virtual viewpoint image,
A flow line determination unit that determines a flow line of a virtual viewpoint based on the position information about the user and the position information about the gazing point,
Generating means for generating the virtual viewpoint image based on the flow line of the virtual viewpoint.
前記注視点の位置を中心に前記仮想視点を所定の半径の円状に旋回させ、
さらに、前記注視点の位置の周辺の状況に応じて、前記所定の半径を変動させることを特徴とする請求項4に記載の情報処理装置。 The flow line determining means,
Turning the virtual viewpoint into a circle with a predetermined radius around the position of the gazing point,
The information processing apparatus according to claim 4, wherein the predetermined radius is changed in accordance with a situation around the position of the gazing point.
ユーザに関する位置情報を取得する第1の取得ステップと、
前記仮想視点画像に映すべき注視点に関する位置情報を取得する第2の取得ステップと、
前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定ステップと、
前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成ステップと
を含むことを特徴とする情報処理方法。 An information processing method in an information processing device that generates a virtual viewpoint image based on images captured by a plurality of imaging devices,
A first acquisition step of acquiring location information about the user;
A second acquisition step of acquiring position information related to a gazing point to be projected on the virtual viewpoint image,
A flow line determining step of determining a flow line of a virtual viewpoint based on the position information on the user and the position information on the gazing point;
A generating step of generating the virtual viewpoint image based on the flow line of the virtual viewpoint.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167879A JP7207913B2 (en) | 2018-09-07 | 2018-09-07 | Information processing device, information processing method and program |
KR1020190102199A KR102475994B1 (en) | 2018-09-07 | 2019-08-21 | Information processing apparatus, information processing method and storage medium |
US16/554,684 US11354849B2 (en) | 2018-09-07 | 2019-08-29 | Information processing apparatus, information processing method and storage medium |
CN201910841881.2A CN110891168A (en) | 2018-09-07 | 2019-09-06 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167879A JP7207913B2 (en) | 2018-09-07 | 2018-09-07 | Information processing device, information processing method and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020042407A true JP2020042407A (en) | 2020-03-19 |
JP2020042407A5 JP2020042407A5 (en) | 2021-10-14 |
JP7207913B2 JP7207913B2 (en) | 2023-01-18 |
Family
ID=69719922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018167879A Active JP7207913B2 (en) | 2018-09-07 | 2018-09-07 | Information processing device, information processing method and program |
Country Status (4)
Country | Link |
---|---|
US (1) | US11354849B2 (en) |
JP (1) | JP7207913B2 (en) |
KR (1) | KR102475994B1 (en) |
CN (1) | CN110891168A (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
JP7418101B2 (en) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | Information processing device, information processing method, and program |
CN116171573A (en) * | 2020-07-21 | 2023-05-26 | 索尼集团公司 | Information processing apparatus, information processing method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015225529A (en) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | Information processing device, information processing method and program |
JP2017191492A (en) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | Information processing device, information processing method and video generation system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5839220B2 (en) * | 2011-07-28 | 2016-01-06 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
US9361665B2 (en) * | 2013-11-27 | 2016-06-07 | Google Inc. | Methods and systems for viewing a three-dimensional (3D) virtual object |
US10449900B2 (en) | 2014-06-20 | 2019-10-22 | Clarion, Co., Ltd. | Video synthesis system, video synthesis device, and video synthesis method |
WO2016014233A1 (en) * | 2014-07-25 | 2016-01-28 | mindHIVE Inc. | Real-time immersive mediated reality experiences |
JP6674247B2 (en) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | Information processing apparatus, information processing method, and computer program |
JP6849430B2 (en) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | Image processing equipment, image processing methods, and programs |
-
2018
- 2018-09-07 JP JP2018167879A patent/JP7207913B2/en active Active
-
2019
- 2019-08-21 KR KR1020190102199A patent/KR102475994B1/en active IP Right Grant
- 2019-08-29 US US16/554,684 patent/US11354849B2/en active Active
- 2019-09-06 CN CN201910841881.2A patent/CN110891168A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015225529A (en) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | Information processing device, information processing method and program |
JP2017191492A (en) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | Information processing device, information processing method and video generation system |
Also Published As
Publication number | Publication date |
---|---|
US20200082603A1 (en) | 2020-03-12 |
CN110891168A (en) | 2020-03-17 |
KR20200028837A (en) | 2020-03-17 |
JP7207913B2 (en) | 2023-01-18 |
US11354849B2 (en) | 2022-06-07 |
KR102475994B1 (en) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11006089B2 (en) | Information processing apparatus and information processing method | |
CN107079141B (en) | Image mosaic for 3 D video | |
JP6622308B2 (en) | Interactive binocular video display | |
JP6621063B2 (en) | Camera selection method and video distribution system | |
US9392248B2 (en) | Dynamic POV composite 3D video system | |
CN110800293A (en) | System for providing multiple virtual reality views | |
US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
JP2020086983A (en) | Image processing device, image processing method, and program | |
JP2011182160A (en) | Video processor and video processing method | |
JP7207913B2 (en) | Information processing device, information processing method and program | |
US20210168411A1 (en) | Storage medium, video image generation method, and video image generation system | |
WO2022192166A1 (en) | Augmented reality system with remote presentation including 3d graphics extending beyond frame | |
US11831853B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7446754B2 (en) | Image processing device, image processing method, and program | |
CN112711327A (en) | Information processing apparatus, information processing method, and storage medium | |
WO2020017600A1 (en) | Display control device, display control method and program | |
JP2023057124A (en) | Image processing apparatus, method, and program | |
US20220295141A1 (en) | Remote presentation with augmented reality content synchronized with separately displayed video content | |
US20220295032A1 (en) | Augmented reality system for remote presentation for viewing an event | |
JP6149967B1 (en) | Video distribution server, video output device, video distribution system, and video distribution method | |
JP6994013B2 (en) | Video distribution system, video data distribution device, video data distribution device control program and video data distribution method | |
JP2018174376A (en) | Video distribution system, terminal and video data distribution device | |
JP2020067716A (en) | Information processing apparatus, control method and program | |
WO2019142658A1 (en) | Image processing device and method, and program | |
JP2022171436A (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210906 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7207913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |