JP2020042407A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2020042407A
JP2020042407A JP2018167879A JP2018167879A JP2020042407A JP 2020042407 A JP2020042407 A JP 2020042407A JP 2018167879 A JP2018167879 A JP 2018167879A JP 2018167879 A JP2018167879 A JP 2018167879A JP 2020042407 A JP2020042407 A JP 2020042407A
Authority
JP
Japan
Prior art keywords
virtual viewpoint
flow line
information processing
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018167879A
Other languages
English (en)
Other versions
JP7207913B2 (ja
JP2020042407A5 (ja
Inventor
智昭 新井
Tomoaki Arai
智昭 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018167879A priority Critical patent/JP7207913B2/ja
Priority to KR1020190102199A priority patent/KR102475994B1/ko
Priority to US16/554,684 priority patent/US11354849B2/en
Priority to CN201910841881.2A priority patent/CN110891168A/zh
Publication of JP2020042407A publication Critical patent/JP2020042407A/ja
Publication of JP2020042407A5 publication Critical patent/JP2020042407A5/ja
Application granted granted Critical
Publication of JP7207913B2 publication Critical patent/JP7207913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】仮想視点の変更に係る操作を行うことなく、好適な仮想視点画像を生成する。【解決手段】本発明は、複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、ユーザの位置を取得する第１の取得手段と、前記複数の撮影装置のうち、少なくともいずれかの撮影装置により撮影された画像から注視点の位置を取得する第２の取得手段と、前記ユーザの位置と前記注視点の位置に基づいて、仮想視点の動線、及び当該動線上を移動する仮想視点の視線方向を決定する動線決定手段と、前記仮想視点の動線、及び前記仮想視点の視線方向に基づいて、前記仮想視点画像を生成する生成手段とを備える。【選択図】図４

Description

本発明は、仮想視点画像を生成するための技術に関するものである。
近年、複数のカメラを異なる位置に設置して同期撮影し、その撮影により得られた複数視点画像を用いて、仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に集約し、画像処理装置において、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現される。なお、仮想視点画像の生成において、複数のカメラは撮影対象の空間内の特定の位置（以下、注視点と称する場合がある）に向けられる。
そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献１には、ユーザ端末の位置及び方向に基づいて仮想視点の位置及び方向を決定し、その決定した仮想視点の位置及び方向に基づいて仮想視点画像を生成する技術が開示されている。
特開２０１５−２２５５２９号公報
しかしながら、特許文献１の技術では、特定のシーンを好適に視聴する上で、配信された仮想視点画像がユーザ端末に表示された後、ユーザの操作により、ユーザ端末から注視点付近まで仮想視点を変更（移動）させる必要がある。例えば、撮影対象がサッカーのゴールシーンである場合、ユーザは、ゴールを決めた選手に向けて仮想視点を近付ける操作を行う必要がある。そのため、例えば、競技がリアルタイムで進行している場合等には、ユーザ（特に、仮想視点の操作に慣れていないユーザ）は、仮想視点の操作に気を取られ、競技そのものを見逃してしまう可能性がある。なお、スポーツ競技に限らず、コンサートやその他のイベントにおいても同様の問題が生じ得る。
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点の変更に係る操作を容易にすることである。
本発明は、複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、ユーザに関する位置情報を取得する第１の取得手段と、前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得手段と、前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
を備えることを特徴とする。
本発明によれば、仮想視点の変更に係る操作が容易になる。
画像処理システムの概略図である。 画像処理システムの概略構成図である。 画像生成装置のハードウェア構成図である。 情報処理装置の機能構成図である。 画像生成装置の機能構成図である。 注視点データの構成を示すデータ構造図である。 動線決定部における処理の手順を示すフローチャートである。 動線決定部により決定された仮想視点の動線を示す模式図である。 動線決定部により決定された仮想視点の動線を示す模式図である。 動線決定部により決定された仮想視点の動線を示す模式図である。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
（画像処理システム）
図１は、画像処理システムの概略図である。図１に示されるように、スタジアム１２には、観客席１４と競技等を実際に行うフィールド１６があり、複数のカメラ１８が設置されている。複数のカメラ１８は、各々のカメラ１８が撮影対象であるフィールド１６の少なくとも一部を撮影するように、かつ、カメラ１８間で画角に重なりができるように配置される。例えば、複数のカメラ１８は、観客席１４とフィールド１６とを囲むように設置される。
また、ユーザ１０は観客席１４から競技（ここでは、その一例としてサッカー）を観戦している。ユーザ１０は、ユーザ端末を所持し、ライブで観戦を楽しむと共に、必要に応じてユーザ端末を操作してシュートシーン、ゴールシーン、反則を犯したシーン等のイベントシーンを再生して確認する。本実施形態では、このユーザ端末の操作（具体的には、ユーザ端末における再生の指示）に応じて、適切なイベントシーンの仮想視点画像がユーザ端末に提供される。
図２は、画像処理システムの概略構成図である。図２に示されるように、画像処理システムは、スタジアム１２に設置された複数のカメラ１８と、画像生成装置２００と、情報処理装置１００と、ユーザ端末３００を備える。
複数のカメラ１８は、スタジアム１２の全て又は一部の範囲が複数のカメラ１８で撮影されるように配置され、伝送ケーブルを介して相互に接続される。また、カメラ１８は、予め設定された１又は複数の実カメラ注視点に向けて設置される。つまり、１又は複数の実カメラ注視点の各々は２以上のカメラ１８により異なる方向から撮影される。また、カメラ１８の各々は、画像生成装置２００にも接続され、スタジアム１２を撮影することにより取得した画像を画像生成装置２００に伝送する。
なお、複数のカメラ１８は、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像及び動画像の双方を撮影するカメラであってもよい。また、本実施形態において、特に断りがない限り、画像という用語は、動画と静止画の両方の概念を含むものとする。
画像生成装置２００は、仮想視点画像を生成する装置である。画像生成装置２００は、複数のカメラ１８により撮影された画像（以下、撮影画像と称する場合がある）を記憶する。画像生成装置２００は、撮影画像を用いて、仮想視点画像群を生成する。なお、仮想視点画像群とは、異なる仮想視点に基づく複数の仮想視点画像の集合のことである。
画像生成装置２００は、生成した仮想視点画像群と注視点データを情報処理装置１００に伝送する。なお、注視点データは、撮影対象のスタジアム１２内に設定された１又は複数の注視点の位置等を示す情報である。特定の選手やボールやゴールなどのオブジェクトが注視点となりうる。また、サッカーコートのコーナー位置やペナルティキックのキック位置なども注視点となりうる。注視点データにより表される注視点は、上述の実カメラ注視点とは異なる概念であることに留意されたい。但し、注視点データにより表される注視点の１つとして、実カメラ注視点が管理されるようにしてもよい。
また、画像生成装置２００は、例えば、サーバ装置等であり、上述の仮想視点画像を生成するための画像処理機能に加えて、複数の撮影画像や生成した仮想視点画像群を記憶するデータベースとしての機能も有する。その他、スタジアム１２内の複数のカメラ１８と画像生成装置２００は、有線又は無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線で接続されている。画像生成装置２００は、この回線を通じて、複数のカメラ１８から撮影画像を受信してデータベースに格納する。なお、注視点データの詳細については、後述する。
情報処理装置１００は、画像生成装置２００で生成される仮想視点画像群から、ユーザ端末３００に提供する仮想視点画像を選択する。より詳細には、情報処理装置１００は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、ユーザ端末３００に提供する仮想視点画像を選択する。なお、動線とは仮想視点を任意の位置まで移動させるときの経路のことである。
情報処理装置１００は、画像生成装置２００から取得した注視点データが示す１又は複数の注視点から１つの注視点を選択する。また、情報処理装置１００は、ユーザ端末３００からユーザ端末情報を取得する。そして、情報処理装置１００は、選択した注視点とユーザ端末３００から取得したユーザ端末情報に基づいて、生成すべき仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、ユーザ端末情報には、例えば、操作内容を示す端末操作情報や端末の位置を示す位置情報等が含まれる。また、端末操作情報には、例えば、仮想視点の指定や仮想視点画像の再生等の操作を示す情報等が含まれる。
情報処理装置１００は、決定した仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、画像生成装置２００により生成された仮想視点画像群から仮想視点画像を選択し、ユーザ端末３００に出力する。
なお、これに限らず、情報処理装置１００により決定された注視点と仮想視点の指定を示す情報（例えば、仮想視点の位置、仮想視点の視線方向等に関する情報）を画像生成装置２００に送信してもよい。この場合、画像生成装置２００は、スタジアム１２に設置された複数のカメラ１８による撮影画像から、情報処理装置１００により決定された注視点に対応するカメラ群による撮影画像を選択する。その後、画像生成装置２００は、選択された撮影画像を、仮想視点の指定を示す情報に基づいて処理することで、仮想視点に応じた仮想視点画像を生成して情報処理装置１００に出力する。
また、以下のように仮想視点画像が提供されるようにしてもよい。即ち、画像生成装置２００は、ユーザ端末から当該ユーザ端末の位置に関する情報と、注視点に関する情報を取得し、当該取得された情報に基づいて仮想視点の動線を決定する。そして、画像生成装置２００は、決定した動線に応じた仮想視点画像を、複数のカメラ１８から取得した複数の撮影画像に基づいて生成する。この例においては、仮想視点画像群の生成は必須ではない。なお、本実施形態では、情報処理装置１００と画像生成装置２００が別の装置である場合の例を中心に説明しているが、これらが一体であってもよい。また、本実施形態で画像生成装置２００が複数のカメラ１８から撮影画像を取得する例を中心に説明しているが、これに限らず、複数のカメラ１８が撮影画像に対して、仮想視点画像を生成するための処理の一部を行ってもよい。この場合、画像生成装置２００が取得する画像データは、撮影画像そのものではなく、加工済み画像データとなりうる。この場合、画像生成装置２００による仮想視点画像の生成負荷が低減されうる。
補足として、情報処理装置１００は、例えば、パーソナルコンピュータ等である。なお、情報処理装置１００は、画像生成装置２００に組み込まれていてもよく、ユーザ端末３００に組み込まれていてもよい。また、その逆であってもよい。したがって、例えば、画像生成装置２００は、情報処理装置１００に組み込まれてもよい（即ち、情報処理装置１００は、画像生成装置２００の機能を備えてもよい）。このように、情報処理装置１００と画像生成装置２００は一体の装置であってもよいし、また、情報処理装置１００とユーザ端末３００は一体の装置であってもよい。
ユーザ端末３００は、ユーザ１０の入力に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、及び視点の切り替え等の指示を受け付ける。ユーザ端末３００は、ユーザ１０からの指示を受け付けると、その受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置１００に伝送する。また、ユーザ端末３００は、位置情報に基づく仮想視点の自動設定を情報処理装置１００に要求する。
なお、ユーザ端末３００には、ユーザ１０に固有のＩＤを関連付けるようにしてもよい。また、ユーザ端末３００は、例えば、パーソナルコンピュータであってもよく、又はスマートフォンやタブレット等の携帯端末であってもよい。その他、ユーザ端末３００は、マウス、キーボード、６軸コントローラ、及びタッチパネルの少なくとも１つを有する。また、ユーザ端末３００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等により位置情報を取得する機能を有する。
画像生成装置２００、情報処理装置１００及びユーザ端末３００は、例えば、インターネット等のネットワークを介して相互に情報をやり取りすることができる。なお、装置間の通信は、無線通信であってもよいし、有線通信であってもよい。
（画像生成装置のハードウェア構成）
図３は、画像生成装置２００のハードウェア構成を示す図である。なお、情報処理装置１００、ユーザ端末３００についても、図３に示されるハードウェア構成と同様のハードウェア構成を有する。画像生成装置２００は、図３に示されるように、コントローラユニット５００、操作ユニット５０９、及び表示装置５１０を有する。
コントローラユニット５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ（インターフェース）５０５、表示部Ｉ／Ｆ５０６、通信部Ｉ／Ｆ５０７を有する。また、これらは、システムバス５０８を介して、相互に接続される。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ５０１は、その起動したＯＳ上で、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ５０１は、アプリケーションプログラムを実行することによって、各種処理を実現する。ＨＤＤ５０４は、上述のように、アプリケーションプログラム等を格納する。なお、ＣＰＵ５０１の作業領域として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３が用いられる。また、ＣＰＵ５０１は、１つのプロセッサで構成されても、複数のプロセッサで構成されてもよい。
操作部Ｉ／Ｆ５０５は、操作ユニット５０９とのインターフェースである。操作部Ｉ／Ｆ５０５は、操作ユニット５０９においてユーザにより入力された情報をＣＰＵ５０１に送出する。操作ユニット５０９は、例えば、マウス、キーボード等を有する。表示部Ｉ／Ｆ５０６は、表示装置５１０に表示する画像データを表示装置５１０に出力する。表示装置５１０は、液晶ディスプレイ等のディスプレイを有する。
通信部Ｉ／Ｆ５０７は、例えば、イーサネット（登録商標）等の通信を行うためのインターフェースである。通信部Ｉ／Ｆ５０７は、伝送ケーブルに接続され、その伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信部Ｉ／Ｆ５０７は、無線通信を行うための回路やアンテナであってもよい。また、コントローラユニット５００は、ケーブルやネットワークを介して接続された外部の表示装置（不図示）に画像を表示させる表示制御を行うことも可能である。この場合、コントローラユニット５００は、表示データを外部の表示装置に出力することで表示制御を実現する。
以上、図３を用いて画像生成装置２００のハードウェア構成について説明したが、図３に示される構成は、いずれも必須の構成ではない。例えば、画像生成装置２００において、表示装置５１０は必須の構成ではない。また、上述の説明では、コントローラユニット５００がＣＰＵ５０１を有するものとして説明したが、必ずしもこれに限定されない。例えば、コントローラユニット５００は、ＣＰＵ５０１の代わりに、又は、ＣＰＵ５０１に加えて、ＡＳＩＣやＦＰＧＡ等のハードウェアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡ等のハードウェアが、ＣＰＵ５０１が行うべき処理の一部又は全てを行ってもよい。なお、ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略であり、ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
（情報処理装置の機能構成）
図４は、情報処理装置１００の機能構成を示すブロック図である。なお、図４に示す各機能は、例えば、図３のＣＰＵ５０１がＲＯＭ５０２に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。また、図４に示す構成の一部又はすべてを例えば、ＡＳＩＣやＦＰＧＡ等の専用のハードウェアにより実現してもよい。
情報処理装置１００は、図４に示されるように、制御部１０１、記憶部１０２、分離部１０３、ユーザ情報取得部１０４、注視点決定部１０５、動線決定部１０６、画像取得部１０７及び画像出力部１０８を有する。また、これらは、内部バス１０９によって相互に接続され、制御部１０１による制御の下、相互にデータを送受信することができる。
制御部１０１は、記憶部１０２に格納されているコンピュータプログラムに従って、情報処理装置１００全体の動作を制御する。記憶部１０２は、不揮発性メモリで構成され、各種データやプログラム（例えば、情報処理装置１００全体の動作を制御するコンピュータプログラム等）を記憶する。
分離部１０３は、画像生成装置２００から取得した仮想視点画像群と注視点データを分離して出力する。ユーザ情報取得部１０４は、ユーザ１０に関する位置情報を含むユーザ端末情報をユーザ端末３００から取得する。なお、ユーザ情報取得部１０４は、ユーザ端末３００がＧＰＳで取得した位置情報を、ユーザ１０に関する位置情報としてユーザ端末３００から取得してもよい。また、ユーザ情報取得部１０４は、例えば、スタジアム１２の観客席１４の客席番号等の位置を示す情報をユーザ端末３００から取得し、その取得した情報に基づいてユーザ１０の位置を特定してもよい。
注視点決定部１０５は、画像生成装置２００から取得した注視点データから１つの注視点を決定する。注視点決定部１０５は、例えば、ゴールを決めた選手、反則を犯した選手等を選択し、注視点として決定する。また、注視点決定部１０５は、ユーザ端末３００から入力される操作情報（例えば、ユーザによる注視点の選択操作に応じた情報、ユーザによる仮想視点の指定操作に応じた情報等）に基づいて、注視点を決定してもよい。
動線決定部１０６は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、以下、本実施形態において、動線決定部１０６は、動線上を移動する各仮想視点の位置として三次元座標上の位置を決定するものとして説明する。但し、その他の実施形態においては、動線決定部１０６は、動線上を移動する各仮想視点の位置として二次元座標上の位置を決定するものとしてもよい。また、この場合、動線決定部１０６は、仮想視点画像に係る仮想視点の位置の高さを、ユーザ情報取得部１０４が取得した位置情報を用いることなく、任意の値又は固定値として決定してもよい。
動線決定部１０６は、ユーザ情報取得部１０４によりユーザ端末３００からユーザ端末情報が取得された場合、注視点決定部１０５で決定した注視点と、ユーザ端末情報に含まれる位置情報に基づいて、仮想視点の動線を決定する。また、動線決定部１０６は、動線上を移動する各仮想視点の視線方向を、注視点決定部１０５で決定した注視点に向けられるように決定する。
画像取得部１０７は、動線決定部１０６において決定された仮想視点の動線、及び動線上を移動する各仮想視点の視線方向に対応する仮想視点画像を取得する。なお、画像取得部１０７は、画像生成装置２００から受信した情報に基づいて、レンダリングにより仮想視点画像を生成する機能を有していてもよい。画像出力部１０８は、画像取得部１０７により取得された仮想視点画像を、ユーザ端末３００に出力する。
（画像生成装置の機能構成）
図５は、画像生成装置２００の機能構成を示すブロック図である。画像生成装置２００は、図５に示されるように、制御部２０１、情報記憶部２０２、撮影画像入力部２０３、画像記憶部２０４、仮想視点画像生成部２０５、注視点データ生成部２０６、画像解析部２０７、データ出力部２０８を有する。また、これらは、内部バス２０９によって相互に接続され、制御部２０１による制御の下、相互にデータを送受信することができる。
制御部２０１は、情報記憶部２０２に格納されているコンピュータプログラムに従って、画像生成装置２００全体の動作を制御する。情報記憶部２０２は、不揮発性メモリで構成され、プログラム（例えば、画像生成装置２００全体の動作を制御するコンピュータプログラム等）や各種データ等の情報を記憶する。
撮影画像入力部２０３は、スタジアム１２に設置された複数のカメラ１８により撮影された画像を所定のフレームレートで取得し、画像記憶部２０４に出力する。なお、撮影画像入力部２０３は、有線若しくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより撮影画像を取得する。
画像記憶部２０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等の大容量の記憶装置であり、撮影画像入力部２０３より取得した撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群を記憶する。なお、画像記憶部２０４は、画像生成装置２００に対して物理的に外部に設けてもよい。また、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、画像フォーマットとして例えば、ＭＸＦ形式（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）等で記憶される。加えて、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、例えば、ＭＰＥＧ２形式等で圧縮される。但し、データの形式は、必ずしもこれらに限定されない。
仮想視点画像生成部２０５は、画像記憶部２０４に記憶される複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群を生成する方式として、例えば、イメージベースレンダリングを用いる方式等が挙げられる。イメージベースレンダリングは、モデリング工程（即ち、幾何学図形を用いて物体の形状を作成する工程）を実施しないで、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。
なお、仮想視点画像群を生成する方法は、イメージベースレンダリングに限られず、モデルベースレンダリング（ＭＯＤＥＬ−ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いてもよい。ここで、ＭＢＲとは、被写体を複数の方向から撮影することで取得される複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成するレンダリング方法である。具体的には、ＭＢＲは、視体積交差法、ＭＵＬＴＩ−ＶＩＥＷ−ＳＴＥＲＥＯ（ＭＶＳ）等の三次元形状復元方法により取得される対象シーンの三次元形状（モデル）を用いて、仮想視点からのその対象シーンの見えを画像として生成するレンダリング方法である。
仮想視点画像生成部２０５は、生成した仮想視点画像群に含まれる各仮想視点画像に、その仮想視点画像に対応する仮想視点（仮想視点の位置）、視線の方向、及び注視点データ生成部２０６により生成される注視点を示すデータ（注視点データ）を付与する。仮想視点画像生成部２０５は、例えば、仮想視点、視線の方向、及び注視点を示すデータを含むメタデータを注視点データとして仮想視点画像（又は、仮想視点画像群）に付与する。
なお、生成される仮想視点画像群は様々な仮想視点、視線の方向、及び注視点の仮想視点画像を含んでおり、本実施形態において、そのような仮想視点画像群は１つの画像ストリームとして空間方向及び時間方向に圧縮符号化されているものとする。但し、その他の実施形態においては、仮想視点画像群は、１つの画像ストリームではなく、各々が独立した複数の画像から構成されてもよい。或いは、仮想視点画像群は、圧縮符号化されていなくてもよい。
また、画像生成装置２００は、仮想視点画像群に代えて、例えば、三次元モデルを示す情報、その三次元モデルにマッピングするための画像等の仮想視点画像を生成するための情報を生成してもよい。即ち、仮想視点画像生成部２０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置１００又はユーザ端末３００において仮想視点画像をレンダリングするために必要な情報を生成してもよい。
注視点データ生成部２０６は、画像解析部２０７により取得される１又は複数のオブジェクトの位置情報、及び／又は、所定の固定位置の位置情報を用いて注視点データを生成し、その生成した注視点データを仮想視点画像生成部２０５に出力する。ここで、図６を用いて、注視点データについて説明を補足する。
図６は、注視点データの構成を示すデータ構造図である。注視点データは、図６に示されるように、例えば、注視点ＩＤ、位置情報、及び半径で構成される。なお、注視点データは、注視点の位置を特定可能な情報であればよく、必ずしも図６に示される構成（内容）に限定されない。
注視点ＩＤは、例えば、アルファベット、数字等で構成され、すべての注視点に割り振られる識別番号である。位置情報は、注視点の中心座標の緯度及び経度を、Ｄｅｇｒｅｅ形式を用いて示したものである。半径は、注視点の中心座標からの距離であり、仮想視点画像を生成するときに有効な範囲を示したものである。なお、以下、この中心座標と半径で規定される有効な範囲を示す円状の領域を注視点ユニットと称する。
なお、本実施形態において注視点とは、仮想視点画像に映すべき点のことであり、典型的には、ユーザにより選択される点である。また、注視点は、特定の選手やボールやゴール等のオブジェクトに対応しうる。また、注視点は、サッカーコートのコーナーやペナルティキックのペナルティマーク等も対応しうる。さらに、注視点データには、上述の実カメラ注視点の情報が含まれてもよい。図６の半径の情報は、注視点が実カメラ注視点である場合に有効な情報である。つまり、半径の情報は必須ではない。
その他、ある１つの実カメラ注視点に向けられた複数のカメラ１８による撮影画像を用いて仮想視点画像を生成する場合、生成対象がその実カメラ注視点に対応する注視点ユニットに含まれる領域の仮想視点画像であれば、より高画質に生成することができる。また、注視点データは、画像解析部２０７による撮影画像の解析により取得されるものに限定されず、画像生成装置２００、情報処理装置１００に事前に登録されていてもよい。
図５に戻り、画像解析部２０７は、撮影画像入力部２０３に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部２０７は、例えば、ビジュアルハル等の技術を用いて、特定のオブジェクトの位置又は所定の固定位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトとは、特定の選手や審判等の人物、又はボール等である。また、注視点は、フィールド中央、ゴール前、ペナルティマーク等のフィールド１６上の所定の固定位置であってもよい。その他、複数のカメラ１８の光軸を共通の位置に向けるようにカメラ１８を設置した場合、注視点はその共通の位置であってもよい。データ出力部２０８は、仮想視点画像生成部２０５において生成された仮想視点画像群を情報処理装置１００に所定のフレームレートで出力する。
（動線決定処理）
図７は、動線決定部１０６における処理の手順を示すフローチャートである。より詳細には、図７は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する処理の手順を示すフローチャートである。なお、このフローチャートの処理は、情報処理装置１００がユーザ端末３００から仮想視点画像の再生要求を受け付けると実行される。また、以下において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。
Ｓ７０１において、動線決定部１０６は、注視点決定部１０５により決定された注視点を取得する。また、動線決定部１０６は、ユーザ情報取得部１０４を介して、ユーザ端末情報を取得する。
Ｓ７０２において、動線決定部１０６は、注視点決定部１０５により決定された注視点と、ユーザ端末情報に含まれるユーザ端末３００の位置情報に基づいて、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線を決定する。ここで、図８を用いて、仮想視点の動線について説明を補足する。
図８は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図８において、符号８０１は注視点であり、例えば、ゴールを決めた選手である。また、図８において、動線決定部１０６は、ユーザ１０の位置から注視点８０１の位置に向けて直線的に結んだ線を動線として決定している。なお、ユーザ１０の位置及び注視点の位置は三次元座標で示されることから、動線決定部１０６は、水平垂直方向の経路だけでなく、図示していない高さ方向の経路も含めた動線を決定する。
次に、その他の例について、図９を用いて説明を補足する。図９は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図９において、符号９０１は、注視点８０１を中心に、仮想視点を旋回させる上での始点であり、注視点８０１から所定の距離だけ離間した位置にある。また、符号９０２は、仮想視点を始点９０１から１８０度旋回させたときの終点である。動線決定部１０６は、仮想視点が始点９０１に到達すると、ユーザ１０から注視点８０１に向けて直線的に結ばれた動線から、注視点８０１を中心に旋回させる動線に切り替え、その旋回の終点９０２まで旋回させるように動線を決定する。
なお、図９では、仮想視点の動線としてユーザ１０から注視点８０１に向けた直線的な動線を用いて説明したが、仮想視点の動線は、必ずしもこれに限定されず、例えば、波線等、直線以外の線でもよい。また、仮想視点を旋回させるときの円の半径は、注視点８０１の周辺の状況に応じて変動させてもよい。例えば、注視点８０１の周辺にいる選手の密集度によって、円の半径を変動させてもよい。この場合、具体的には、注視点８０１の周辺にいる選手の密集度が高い場合、円の半径を短くし、注視点８０１に動線を近づけるようにする。
加えて、仮想視点を旋回させるときの形状は必ずしも円に限定されず、楕円や多角形等の他の形状であってもよい。また、仮想視点を旋回させる方向に関して必ずしも水平方向に限定されず、注視点８０１を中心とした球体の全方位に旋回可能なようにしてもよい。例えば、注視点８０１として選択された選手がオーバーヘッドキックでゴールを決めた場合、その選手の頭上で仮想視点を旋回させたり、その選手の正面側を旋回させたりするようにしてもよい。その他、仮想視点を旋回させるときの回転角度は１８０度に限定されず、任意の角度で旋回させることができる。
図７に戻り、Ｓ７０３において、動線決定部１０６は、Ｓ７０２において決定された動線上を移動する仮想視点の視線方向を決定する。ここで、図１０を用いて、仮想視点の視線方向について説明を補足する。
図１０は、動線決定部１０６により決定された仮想視点の視線方向を示す模式図である。図１０において、符号１００１から符号１００７は仮想視点であり、動線の始点から終点に向けて動線上を仮想視点が移動している。動線決定部１０６は、動線上を移動する仮想視点の視線方向が注視点８０１に向けられるように、各仮想視点の視線方向を決定する。即ち、符号１００１から符号１００７までのすべての仮想視点の視線方向は、注視点８０１に向けられる。
以上、説明したように、本実施形態によれば、ユーザの位置と注視点の位置に基づいて仮想視点の動線、及び動線上を移動する各仮想視点の視線方向を決定し、動線及び視線方向に基づいた仮想視点画像を生成することができる。そのため、ユーザは、仮想視点画像を視聴するための開始操作を行うだけで、ユーザ端末から注視点まで仮想視点を移動させた仮想視点画像を視聴することができる。また、ユーザは、仮想視点の動線を、注視点を中心に旋回させる動線に切り替えることができるので、より好適な仮想視点画像を視聴することができる。
（その他の実施形態）
上述の実施形態では、ユーザ端末３００から仮想視点画像の再生要求を受け付けると、図７に示されるフローチャートの処理が実行（開始）されるものとして説明したが、図７に示されるフローチャートの処理の実行は必ずしもこれに限定されない。したがって、例えば、動線決定部１０６は、情報処理装置１００の受信部（不図示）を介して、シュート、反則等のイベントが発生したときのイベントトリガー信号を受信する度に、図７に示されるフローチャートの処理を実行してもよい。
なお、この場合、情報処理装置１００は、その都度、決定された仮想視点の動線、及び動線上を移動する仮想視点の視線方向に基づいて仮想視点画像を生成し、ユーザ端末３００に送信する。ユーザ端末３００は、仮想視点画像を受信すると、表示を仮想視点画像の再生に切り替える。或いは、ユーザ端末３００は、仮想視点画像の再生を促す通知を画面に表示してもよい。このようにすることで、ユーザは、直近に発生したイベントに係る仮想視点画像を見逃すことなく、視聴することができる。また、上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 情報処理装置
２００ 画像生成装置
１０４ ユーザ情報取得部
１０６ 動線決定部

Claims (18)

  1. 複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、
    ユーザに関する位置情報を取得する第１の取得手段と、
    前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得手段と、
    前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、
    前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
    を備えることを特徴とする情報処理装置。
  2. 前記動線決定手段は、前記仮想視点を前記ユーザの位置から前記注視点の位置に向けて移動させるように、前記動線を決定することを特徴とする請求項１に記載の情報処理装置。
  3. 前記動線決定手段は、前記仮想視点が前記注視点の位置から所定の距離に到達すると、当該到達した位置からの前記動線を前記注視点の位置に基づいて決定することを特徴とする請求項２に記載の情報処理装置。
  4. 前記動線決定手段は、前記仮想視点が前記注視点の位置から所定の距離に到達すると、前記仮想視点を前記注視点の位置を中心に旋回させるように、前記動線を決定することを特徴とする請求項３に記載の情報処理装置。
  5. 前記動線決定手段は、
    前記注視点の位置を中心に前記仮想視点を所定の半径の円状に旋回させ、
    さらに、前記注視点の位置の周辺の状況に応じて、前記所定の半径を変動させることを特徴とする請求項４に記載の情報処理装置。
  6. 前記動線決定手段は、前記動線上を移動する仮想視点において、前記仮想視点の視線方向が前記注視点の位置に向けられるように、前記視線方向を決定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
  7. 前記第１の取得手段は、前記ユーザの所持するユーザ端末から前記ユーザの位置を取得することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
  8. 前記第１の取得手段は、前記ユーザ端末がＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により取得した前記ユーザの位置を前記ユーザ端末から取得することを特徴とする請求項７に記載の情報処理装置。
  9. 前記第１の取得手段は、前記ユーザ端末に記憶された客席番号を前記ユーザ端末から取得することを特徴とする請求項７に記載の情報処理装置。
  10. 前記第２の取得手段は、前記注視点の位置として、特定のオブジェクトの位置又は所定の固定位置を取得することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
  11. 前記特定のオブジェクトは、人物又はボールであることを特徴とする請求項１０に記載の情報処理装置。
  12. 前記所定の固定位置は、フィールドにおける任意の位置であることを特徴とする請求項１０に記載の情報処理装置。
  13. 前記ユーザの所持するユーザ端末に前記生成手段により生成された仮想視点画像を出力する画像出力手段をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置における情報処理方法であって、
    ユーザに関する位置情報を取得する第１の取得ステップと、
    前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得ステップと、
    前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定ステップと、
    前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成ステップと
    を含むことを特徴とする情報処理方法。
  15. 前記ユーザの所持するユーザ端末から前記仮想視点画像の再生要求を受信する受信ステップをさらに含むことを特徴とする請求項１４に記載の情報処理方法。
  16. 所定のイベントが発生したときのイベントトリガー信号を受信する受信ステップをさらに含むことを特徴とする請求項１４に記載の情報処理方法。
  17. 前記ユーザの所持するユーザ端末に前記生成ステップにおいて生成された前記仮想視点画像を出力する画像出力ステップをさらに含むことを特徴とする請求項１４から１６のいずれか１項に記載の情報処理方法。
  18. コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2018167879A 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム Active JP7207913B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018167879A JP7207913B2 (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム
KR1020190102199A KR102475994B1 (ko) 2018-09-07 2019-08-21 정보 처리장치, 정보 처리방법 및 기억매체
US16/554,684 US11354849B2 (en) 2018-09-07 2019-08-29 Information processing apparatus, information processing method and storage medium
CN201910841881.2A CN110891168A (zh) 2018-09-07 2019-09-06 信息处理装置、信息处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018167879A JP7207913B2 (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020042407A true JP2020042407A (ja) 2020-03-19
JP2020042407A5 JP2020042407A5 (ja) 2021-10-14
JP7207913B2 JP7207913B2 (ja) 2023-01-18

Family

ID=69719922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018167879A Active JP7207913B2 (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11354849B2 (ja)
JP (1) JP7207913B2 (ja)
KR (1) KR102475994B1 (ja)
CN (1) CN110891168A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN116171573A (zh) * 2020-07-21 2023-05-26 索尼集团公司 信息处理设备、信息处理方法和程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017191492A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法および映像生成システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5839220B2 (ja) * 2011-07-28 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9361665B2 (en) * 2013-11-27 2016-06-07 Google Inc. Methods and systems for viewing a three-dimensional (3D) virtual object
US10449900B2 (en) 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
WO2016014233A1 (en) * 2014-07-25 2016-01-28 mindHIVE Inc. Real-time immersive mediated reality experiences
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017191492A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法および映像生成システム

Also Published As

Publication number Publication date
CN110891168A (zh) 2020-03-17
US20200082603A1 (en) 2020-03-12
US11354849B2 (en) 2022-06-07
JP7207913B2 (ja) 2023-01-18
KR102475994B1 (ko) 2022-12-09
KR20200028837A (ko) 2020-03-17

Similar Documents

Publication Publication Date Title
US11006089B2 (en) Information processing apparatus and information processing method
CN107079141B (zh) 用于三维视频的图像拼接
JP6622308B2 (ja) インタラクティブ双眼鏡ビデオ表示
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US9392248B2 (en) Dynamic POV composite 3D video system
CN110800293A (zh) 用于提供多个虚拟现实视图的系统
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011182160A (ja) 映像処理装置及び映像処理方法
JP7207913B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220295032A1 (en) Augmented reality system for remote presentation for viewing an event
US20210168411A1 (en) Storage medium, video image generation method, and video image generation system
US11831853B2 (en) Information processing apparatus, information processing method, and storage medium
JP7446754B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20220295141A1 (en) Remote presentation with augmented reality content synchronized with separately displayed video content
CN112711327A (zh) 信息处理装置、信息处理方法及存储介质
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
JP6994013B2 (ja) 映像配信システム、映像データ配信装置、映像データ配信装置制御プログラム及び映像データ配信方法
JP2018174376A (ja) 映像配信システム、端末装置及び映像データ配信装置
JP2020067716A (ja) 情報処理装置、制御方法、及びプログラム
WO2019142658A1 (ja) 画像処理装置および方法、並びにプログラム
JP2022171436A (ja) 情報処理装置、情報処理方法およびプログラム
JP7514346B2 (ja) 画像処理装置及び方法、プログラム
JP7458731B2 (ja) 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム
US20230334767A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R151 Written notification of patent or utility model registration

Ref document number: 7207913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151