JP2017212591A5 - - Google Patents

Download PDF

Info

Publication number
JP2017212591A5
JP2017212591A5 JP2016104432A JP2016104432A JP2017212591A5 JP 2017212591 A5 JP2017212591 A5 JP 2017212591A5 JP 2016104432 A JP2016104432 A JP 2016104432A JP 2016104432 A JP2016104432 A JP 2016104432A JP 2017212591 A5 JP2017212591 A5 JP 2017212591A5
Authority
JP
Japan
Prior art keywords
setting
event
holding
image
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016104432A
Other languages
English (en)
Other versions
JP6672075B2 (ja
JP2017212591A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2016104432A external-priority patent/JP6672075B2/ja
Priority to JP2016104432A priority Critical patent/JP6672075B2/ja
Priority to RU2018145731A priority patent/RU2713238C1/ru
Priority to CN201780032492.4A priority patent/CN109565582B/zh
Priority to US16/303,504 priority patent/US11190673B2/en
Priority to PCT/JP2017/019078 priority patent/WO2017204172A1/en
Priority to AU2017270400A priority patent/AU2017270400B2/en
Priority to KR1020187037415A priority patent/KR102270429B1/ko
Priority to CA3025471A priority patent/CA3025471C/en
Priority to EP17727718.3A priority patent/EP3466062B1/en
Publication of JP2017212591A publication Critical patent/JP2017212591A/ja
Publication of JP2017212591A5 publication Critical patent/JP2017212591A5/ja
Publication of JP6672075B2 publication Critical patent/JP6672075B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

上記課題を解決するため、本発明に係る制御装置は、例えば以下の構成を有する。すなわち、複数の方向からの撮影により取得される撮影画像に基づいて仮想視点画像が生成されるシステムの設定処理を行う制御装置であって、前記複数の方向からの撮影の対象となるイベントの種別を示す情報を含むイベント情報を取得する取得手段と、前記取得手段により取得されるイベント情報と前記システムの設定情報とを対応付けて保持手段に保持させる保持制御手段と、前記保持手段が保持している情報に基づいて、前記システムの設定処理を行う設定手段と、を有することを特徴とする。

Claims (13)

  1. 複数の方向からの撮影により取得される撮影画像に基づいて仮想視点画像が生成されるシステムの設定処理を行う制御装置であって、
    前記複数の方向からの撮影の対象となるイベントの種別を示す情報を含むイベント情報を取得する取得手段と、
    前記取得手段により取得されるイベント情報と前記システムの設定情報とを対応付けて保持手段に保持させる保持制御手段と、
    前記保持手段が保持している情報に基づいて、前記システムの設定処理を行う設定手段と、
    を有することを特徴とする制御装置。
  2. 前記取得手段により取得されるイベント情報は、前記撮影の対象となるイベントの開始時刻を示す情報をさらに含むことを特徴とする請求項１に記載の制御装置。
  3. 前記設定手段は、前記保持手段が保持しているイベント情報から特定される前記撮影の対象となるイベントの開始時刻より所定時間前に前記設定処理を開始することを特徴とする請求項２に記載の制御装置。
  4. 前記設定手段による設定処理は、前記複数のカメラの撮影に関するパラメータを設定する処理を含むことを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
  5. 前記設定手段による設定処理は、前記仮想視点画像を生成する装置の画像処理に関するパラメータを設定する処理を含むことを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
  6. 前記設定手段による設定処理は、前記システムに含まれる装置を起動させる処理を含むことを特徴とする請求項１乃至５の何れか１項に記載の制御装置。
  7. 前記保持手段により前記イベント情報と対応付けて保持される設定情報は、前記複数のカメラの撮影方向、前記仮想視点画像の生成に係る前記複数のカメラの位置合わせに関するパラメータ、前記撮影画像の圧縮率、前記仮想視点画像の生成に係る視点の指定可能範囲、前記撮影画像に基づく前記仮想視点画像の生成方式、前記仮想視点画像の生成のために前記撮影画像から抽出される前景領域に基づいて生成され前記システム内で伝送される前景画像のフレームレート、及び前記仮想視点画像の生成のために前記撮影画像から抽出される背景領域に基づいて生成され前記システム内で伝送される背景画像のフレームレートの少なくとも何れかを含むことを特徴とする請求項１乃至６の何れか１項に記載の制御装置。
  8. 前記保持制御手段は、前記保持手段に、閾値以下の数の人物に対応するイベントの種別を示す情報を含むイベント情報と、前記撮影画像に基づいて生成される三次元形状データを用いて前記仮想視点画像を生成する生成方式を示す設定情報とを対応付けて保持させることを特徴とする請求項１乃至７の何れか１項に記載の制御装置。
  9. 前記イベントには、競技及びコンサートのうち少なくとも一方が含まれることを特徴とする請求項１乃至８の何れか１項に記載の制御装置。
  10. 撮影領域を複数の方向から撮影するための複数のカメラによる撮影画像に基づいて仮想視点画像が生成されるシステムの設定処理を行う制御装置の制御方法であって、
    前記複数のカメラによる撮影の対象となるイベントの種別を示す情報を含むイベント情報を取得する取得工程と、
    前記取得工程において取得されるイベント情報と前記システムの設定情報とを対応付けて保持手段に保持させる保持制御工程と、
    前記保持手段が保持している情報に基づいて、前記システムの設定処理を行う設定工程と、
    を有することを特徴とする制御方法。
  11. 前記取得工程において取得されるイベント情報は、前記撮影の対象となるイベントの開始時刻を示す情報をさらに含むことを特徴とする請求項１０に記載の制御方法。
  12. 前記設定工程は、前記保持工程において保持されているイベント情報から特定される前記撮影の対象となるイベントの開始時刻より所定時間前に前記設定処理を開始することを特徴とする請求項１１に記載の制御方法。
  13. コンピュータを請求項１乃至９の何れか１項に記載の制御装置の各手段として動作させるためのプログラム。
JP2016104432A 2016-05-25 2016-05-25 制御装置、制御方法、及び、プログラム Active JP6672075B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2016104432A JP6672075B2 (ja) 2016-05-25 2016-05-25 制御装置、制御方法、及び、プログラム
KR1020187037415A KR102270429B1 (ko) 2016-05-25 2017-05-22 디폴트 파라미터들이 스포츠 이벤트의 선택된 타입에 연관되는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
EP17727718.3A EP3466062B1 (en) 2016-05-25 2017-05-22 Control device and method for generating a virtual image from a camera array with default parameters associated to the selected type of sport event
US16/303,504 US11190673B2 (en) 2016-05-25 2017-05-22 Control device, control method, and program
PCT/JP2017/019078 WO2017204172A1 (en) 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with default parameters associated to the selected type of sport event
AU2017270400A AU2017270400B2 (en) 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with default parameters associated to the selected type of sport event
RU2018145731A RU2713238C1 (ru) 2016-05-25 2017-05-22 Устройство управления, способ управления и программа
CA3025471A CA3025471C (en) 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with default parameters associated to the selected type of sport event
CN201780032492.4A CN109565582B (zh) 2016-05-25 2017-05-22 控制装置及其控制方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016104432A JP6672075B2 (ja) 2016-05-25 2016-05-25 制御装置、制御方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018244038A Division JP6632703B2 (ja) 2018-12-27 2018-12-27 制御装置、制御方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2017212591A JP2017212591A (ja) 2017-11-30
JP2017212591A5 true JP2017212591A5 (ja) 2018-07-12
JP6672075B2 JP6672075B2 (ja) 2020-03-25

Family

ID=58995179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016104432A Active JP6672075B2 (ja) 2016-05-25 2016-05-25 制御装置、制御方法、及び、プログラム

Country Status (9)

Country Link
US (1) US11190673B2 (ja)
EP (1) EP3466062B1 (ja)
JP (1) JP6672075B2 (ja)
KR (1) KR102270429B1 (ja)
CN (1) CN109565582B (ja)
AU (1) AU2017270400B2 (ja)
CA (1) CA3025471C (ja)
RU (1) RU2713238C1 (ja)
WO (1) WO2017204172A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6415675B1 (ja) * 2017-12-04 2018-10-31 キヤノン株式会社 生成装置、生成方法及びプログラム
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
JP7204351B2 (ja) * 2018-06-13 2023-01-16 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、及び、プログラム
JP7218105B2 (ja) * 2018-06-20 2023-02-06 キヤノン株式会社 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
JP7254464B2 (ja) * 2018-08-28 2023-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US10685679B1 (en) 2018-11-27 2020-06-16 Canon Kabushiki Kaisha System and method of determining a virtual camera path
US11825066B2 (en) 2018-12-25 2023-11-21 Sony Corporation Video reproduction apparatus, reproduction method, and program
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
EP3712843A1 (en) * 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
JP7250588B2 (ja) * 2019-03-28 2023-04-03 キヤノン株式会社 画像処理装置、送信方法、及びプログラム
EP3719751A1 (en) * 2019-04-02 2020-10-07 InterDigital CE Patent Holdings A method for processing a 3d scene, and corresponding device, system and computer program
CN114762355A (zh) * 2019-12-09 2022-07-15 索尼集团公司 信息处理装置和方法、程序以及信息处理系统
US11228878B1 (en) * 2020-08-31 2022-01-18 Amdocs Development Limited System, method, and computer program for edge management of geographically dispersed sensors
CN114051088B (zh) * 2022-01-12 2022-03-25 四川大学 一种基于视场分解的高速摄像模组拍摄方法
JP7279839B1 (ja) 2022-08-17 2023-05-23 凸版印刷株式会社 遠隔映像配信システム、および遠隔映像配信方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6246412B1 (en) * 1998-06-18 2001-06-12 Microsoft Corporation Interactive construction and refinement of 3D models from multiple panoramic images
WO2002065763A2 (en) 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
GB0208909D0 (en) * 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
US9087380B2 (en) * 2004-05-26 2015-07-21 Timothy J. Lock Method and system for creating event data and making same available to be served
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
JP2006280658A (ja) * 2005-03-31 2006-10-19 Konami Digital Entertainment:Kk ゲーム装置、ゲーム実行制御プログラム及びゲーム実行制御方法
WO2007070049A1 (en) * 2005-12-14 2007-06-21 Playdata Systems, Inc. Method and system for creating event data and making same available to be served
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US8106924B2 (en) 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP5570284B2 (ja) * 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
US8982207B2 (en) 2010-10-04 2015-03-17 The Boeing Company Automated visual inspection system
KR101284169B1 (ko) 2011-09-02 2013-07-09 에스엘 주식회사 사고 영상 기록 장치 및 방법
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
WO2013138504A1 (en) * 2012-03-13 2013-09-19 H4 Engineering, Inc. System and method for video recording and webcasting sporting events
JP6095985B2 (ja) 2013-01-09 2017-03-15 富士通テン株式会社 再生装置、再生システム、再生方法及びプログラム
US10165157B2 (en) * 2013-02-19 2018-12-25 Disney Enterprises, Inc. Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
US10694149B2 (en) * 2013-03-26 2020-06-23 Verizon Patent And Licensing Inc. Web based security system
US20160205341A1 (en) * 2013-08-20 2016-07-14 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9684056B2 (en) * 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
JP6643775B2 (ja) * 2015-01-29 2020-02-12 株式会社バンダイナムコエンターテインメント ゲーム機、ゲームシステム及びプログラム
GB2539897A (en) * 2015-06-29 2017-01-04 Sony Corp Apparatus, method and computer program
GB2540129A (en) * 2015-06-29 2017-01-11 Sony Corp Apparatus, method and computer program
US9967446B2 (en) * 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
JPWO2017195513A1 (ja) * 2016-05-10 2019-03-14 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Similar Documents

Publication Publication Date Title
JP2017212591A5 (ja)
JP2017211827A5 (ja)
JP2017211828A5 (ja)
EP4231245A3 (en) Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
JP2017212593A5 (ja) 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
WO2017204171A3 (en) Information processing apparatus, image generation method, control method, and program
JP2017212592A5 (ja)
JP2018092580A5 (ja) 画像処理装置および画像処理方法、プログラム
JP2014127151A5 (ja)
JP2017528731A5 (ja)
JP2018056971A5 (ja)
JP2020086983A5 (ja)
JP2013062626A5 (ja) 撮像装置、画像データ処理方法、およびプログラム
JP2012109693A5 (ja)
JP2018005555A5 (ja)
JP2018073105A5 (ja)
JP2019036790A5 (ja)
JP2010193058A5 (ja)
JP2014155694A5 (ja)
JP2019045991A5 (ja)
JP2013135341A5 (ja)
JP2018107593A5 (ja)
JP2019003428A5 (ja)
JP2020036128A5 (ja)
JP2018056659A5 (ja)