JP2018036956A5 - - Google Patents

Download PDF

Info

Publication number
JP2018036956A5
JP2018036956A5 JP2016170932A JP2016170932A JP2018036956A5 JP 2018036956 A5 JP2018036956 A5 JP 2018036956A5 JP 2016170932 A JP2016170932 A JP 2016170932A JP 2016170932 A JP2016170932 A JP 2016170932A JP 2018036956 A5 JP2018036956 A5 JP 2018036956A5
Authority
JP
Japan
Prior art keywords
virtual viewpoint
viewpoint image
display control
range
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016170932A
Other languages
English (en)
Other versions
JP6938123B2 (ja
JP2018036956A (ja
Filing date
Publication date
Priority claimed from JP2016170932A external-priority patent/JP6938123B2/ja
Priority to JP2016170932A priority Critical patent/JP6938123B2/ja
Application filed filed Critical
Priority to EP17187438.1A priority patent/EP3291549B1/en
Priority to US15/688,553 priority patent/US11132807B2/en
Publication of JP2018036956A publication Critical patent/JP2018036956A/ja
Publication of JP2018036956A5 publication Critical patent/JP2018036956A5/ja
Priority to US17/461,106 priority patent/US20210390721A1/en
Priority to JP2021143033A priority patent/JP7263456B2/ja
Publication of JP6938123B2 publication Critical patent/JP6938123B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

そこで、本発明は、複数の撮像装置によりそれぞれ異なる方向から対象領域を撮像することで得られる複数の画像に基づいて生成された仮想視点画像を画面に表示させる表示制御装置であって、観覧者に公開される第１仮想視点画像に対応する仮想視点を変更するための操作者による操作に応じた入力を受け付ける受付手段と、前記受付手段により受け付けられた入力に応じた仮想視点から見える前記対象領域内の第１範囲であって前記第１仮想視点画像に対応する第１範囲と、前記第１範囲の周囲領域と、を含む第２範囲に対応する第２仮想視点画像を、前記操作のための画面に表示させる表示制御手段と、を有することを特徴とする。

Claims (21)

  1. 複数の撮像装置によりそれぞれ異なる方向から対象領域を撮像することで得られる複数の画像に基づいて生成された仮想視点画像を画面に表示させる表示制御装置であって、
    観覧者に公開される第１仮想視点画像に対応する仮想視点を変更するための操作者による操作に応じた入力を受け付ける受付手段と、
    前記受付手段により受け付けられた入力に応じた仮想視点から見える前記対象領域内の第１範囲であって前記第１仮想視点画像に対応する第１範囲と、前記第１範囲の周囲領域と、を含む第２範囲に対応する第２仮想視点画像を、前記操作のための画面に表示させる表示制御手段と、を有することを特徴とする表示制御装置。
  2. 前記表示制御手段により前記画面に表示される前記第２仮想視点画像において、前記第１範囲と前記第２範囲との位置関係が識別可能に表示されることを特徴とする請求項１に記載の表示制御装置。
  3. 前記受付手段により受け付けられた入力に基づいて、前記第１範囲と前記第２範囲が連動して変化することを特徴とする請求項１又は２に記載の表示制御装置。
  4. 前記第１範囲に対応する仮想視点と前記第２範囲に対応する仮想視点は、位置及び向きが同一で、かつ視野の広さが異なることを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
  5. 前記第１範囲に対応する仮想視点と前記第２範囲に対応する仮想視点は、向き及び視野の広さが同一で、かつ位置が異なることを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
  6. 前記第１仮想視点画像の中心に映る前記対象領域内の位置と前記第２仮想視点画像の中心に映る前記対象領域内の位置は一致することを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
  7. 前記表示制御手段は、前記第２仮想視点画像の第１部分と第２部分であって、前記第１範囲に対応する第１部分と前記周囲領域に対応する第２部分とを、識別可能に表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
  8. 前記表示制御手段は、前記画面において前記第２仮想視点画像の前記第１部分の周囲に前記第２部分を表示させることを特徴とする請求項７に記載の表示制御装置。
  9. 前記第２仮想視点画像の前記第１部分は、第１のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成され、
    前記第２仮想視点画像の前記第２部分は、前記第１のタイミングとは異なる第２のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成されることを特徴とする請求項７又は８に記載の表示制御装置。
  10. 前記第２仮想視点画像の前記第１部分は、第１のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成され、
    前記第２仮想視点画像の前記第２部分は、前記第１のタイミングより後の第２のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成されることを特徴とする請求項７又は８に記載の表示制御装置。
  11. 前記第２のタイミングにおいて撮像することで得られた画像に基づいて生成された複数の候補画像から被写体を検出する検出手段と、
    前記複数の候補画像のうち、前記第２仮想視点画像の前記第２部分として表示されるべき画像を、前記検出手段による検出結果に基づいて決定する画像決定手段とをさらに有することを特徴とする請求項９又は１０に記載の表示制御装置。
  12. 前記第２仮想視点画像の前記第１部分は、第１のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成され、
    前記第２仮想視点画像の前記第２部分は、前記第１のタイミングとは異なる複数のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成された複数の仮想視点画像を重畳した画像であることを特徴とする請求項７又は８に記載の表示制御装置。
  13. 前記第１仮想視点画像に対応する仮想視点の視野の広さに基づいて、前記第２仮想視点画像に対応する仮想視点の視野の広さを決定する視野サイズ決定手段をさらに有することを特徴とする請求項１乃至１２の何れか１項に記載の表示制御装置。
  14. 前記視野サイズ決定手段は、前記画面における前記第２仮想視点画像の表示サイズに基づいて、前記第２仮想視点画像に対応する仮想視点の視野の広さを決定することを特徴とする請求項１３に記載の表示制御装置。
  15. 前記第１仮想視点画像における被写体の占有率と、仮想視点の位置と前記第１仮想視点画像に含まれる被写体の位置との間の距離と、前記第１仮想視点画像に含まれる被写体の移動速度と、の少なくとも何れかに基づいて、前記画面における前記第２仮想視点画像の表示サイズを決定するサイズ決定手段をさらに有することを特徴とする請求項１乃至１４の何れか１項に記載の表示制御装置。
  16. 前記サイズ決定手段は、さらに前記複数の画像の種別に基づいて、前記第２仮想視点画像のサイズを決定することを特徴とする請求項１５に記載の表示制御装置。
  17. 複数の撮像装置によりそれぞれ異なる方向から対象領域を撮像することで得られる複数の画像に基づいて生成された仮想視点画像を画面に表示させる表示制御装置であって、
    放送される第１仮想視点画像に対応する仮想視点を変更するための操作に応じた入力を受け付ける受付手段と、
    前記受付手段により受け付けられた入力に応じた仮想視点から見える前記対象領域内の第１範囲であって前記第１仮想視点画像に対応する第１範囲と、前記第１範囲の周囲領域と、を含む第２範囲に対応する第２仮想視点画像を、前記操作のための画面に表示させる表示制御手段と、を有することを特徴とする表示制御装置。
  18. 複数の撮像装置によりそれぞれ異なる方向から対象領域を撮像することで得られる複数の画像に基づいて生成された仮想視点画像を画面に表示させる表示制御方法であって、
    観覧者に公開される第１仮想視点画像に対応する仮想視点を変更するための操作者による操作に応じた入力を受け付ける受付工程と、
    前記受付工程において受け付けられた入力に応じた仮想視点から見える前記対象領域内の第１範囲であって前記第１仮想視点画像に対応する第１範囲と、前記第１範囲の周囲領域と、を含む第２範囲に対応する第２仮想視点画像を、前記操作のための画面に表示させる表示制御工程と、を有することを特徴とする表示制御方法。
  19. 前記第１範囲に対応する仮想視点と前記第２範囲に対応する仮想視点は、位置及び向きが同一で、かつ視野の広さが異なることを特徴とする請求項１８に記載の表示制御方法。
  20. 前記第２仮想視点画像の前記第１範囲に対応する第１部分は、第１のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成され、
    前記第２仮想視点画像の前記周囲領域に対応する第２部分は、前記第１のタイミングとは異なる第２のタイミングにおいて前記複数の撮像装置により撮像することで得られる複数の画像に基づいて生成されることを特徴とする請求項１８又は１９に記載の表示制御方法。
  21. コンピュータを、請求項１乃至１７の何れか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
JP2016170932A 2016-09-01 2016-09-01 表示制御装置、表示制御方法及びプログラム Active JP6938123B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016170932A JP6938123B2 (ja) 2016-09-01 2016-09-01 表示制御装置、表示制御方法及びプログラム
EP17187438.1A EP3291549B1 (en) 2016-09-01 2017-08-23 Display control apparatus, display control method, and program
US15/688,553 US11132807B2 (en) 2016-09-01 2017-08-28 Display control apparatus and display control method for receiving a virtual viewpoint by a user operation and generating and displaying a virtual viewpoint image
US17/461,106 US20210390721A1 (en) 2016-09-01 2021-08-30 Display control apparatus, display control method, and storage medium
JP2021143033A JP7263456B2 (ja) 2016-09-01 2021-09-02 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016170932A JP6938123B2 (ja) 2016-09-01 2016-09-01 表示制御装置、表示制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021143033A Division JP7263456B2 (ja) 2016-09-01 2021-09-02 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2018036956A JP2018036956A (ja) 2018-03-08
JP2018036956A5 true JP2018036956A5 (ja) 2019-10-10
JP6938123B2 JP6938123B2 (ja) 2021-09-22

Family

ID=59772395

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016170932A Active JP6938123B2 (ja) 2016-09-01 2016-09-01 表示制御装置、表示制御方法及びプログラム
JP2021143033A Active JP7263456B2 (ja) 2016-09-01 2021-09-02 情報処理装置、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021143033A Active JP7263456B2 (ja) 2016-09-01 2021-09-02 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (2) US11132807B2 (ja)
EP (1) EP3291549B1 (ja)
JP (2) JP6938123B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176593A (zh) * 2018-11-09 2020-05-19 上海云绅智能科技有限公司 一种延展画面的投影方法及系统
JP2022051972A (ja) * 2019-02-06 2022-04-04 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP7349793B2 (ja) 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP7353782B2 (ja) * 2019-04-09 2023-10-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7163498B2 (ja) * 2019-06-28 2022-10-31 富士フイルム株式会社 表示制御装置、表示制御方法、及びプログラム
WO2021020200A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
AU2021326016B2 (en) * 2020-08-14 2023-04-13 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
CN112604282B (zh) * 2020-12-25 2022-09-02 珠海金山数字网络科技有限公司 虚拟镜头控制方法及装置
US20240331735A1 (en) * 2021-11-12 2024-10-03 Sony Group Corporation Data processing apparatus, data processing method, and program

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US20020113865A1 (en) * 1997-09-02 2002-08-22 Kotaro Yano Image processing method and apparatus
JP2000348165A (ja) * 1999-06-04 2000-12-15 Mitsubishi Electric Corp 情景表示装置
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP4417169B2 (ja) * 2004-05-07 2010-02-17 任天堂株式会社 キャラクタの動きを反映した拡大画像表示システム
JP2008033840A (ja) * 2006-07-31 2008-02-14 Xing Inc 動画表示装置、動画表示方法、及びコンピュータプログラム
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
NZ598897A (en) * 2006-12-04 2013-09-27 Lynx System Developers Inc Autonomous systems and methods for still and moving picture production
CA2675359A1 (en) * 2007-01-11 2008-07-17 360 Replays Ltd. Method and system for generating a replay video
WO2010112591A1 (en) * 2009-04-02 2010-10-07 Koninklijke Kpn N.V. Playing out interludes based on predicted duration of channel-switching delay or of invoked pause
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
WO2011096252A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 画像処理システム、画像処理方法、およびプログラム
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
JP5591281B2 (ja) * 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9403090B2 (en) * 2012-04-26 2016-08-02 Riot Games, Inc. Video game system with spectator mode hud
US8834268B2 (en) * 2012-07-13 2014-09-16 Red 5 Studios, Inc. Peripheral device control and usage in a broadcaster mode for gaming environments
JP5977130B2 (ja) * 2012-09-25 2016-08-24 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US10165157B2 (en) * 2013-02-19 2018-12-25 Disney Enterprises, Inc. Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
KR20140106927A (ko) * 2013-02-27 2014-09-04 한국전자통신연구원 파노라마 생성 장치 및 방법
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10438633B2 (en) * 2013-05-26 2019-10-08 Pixellot Ltd. Method and system for low cost television production
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9918110B2 (en) * 2013-12-13 2018-03-13 Fieldcast Llc Point of view multimedia platform
CA2919019A1 (en) * 2014-04-30 2015-11-05 Replay Technologies Inc. System for and method of generating user-selectable novel views on a viewing device
US9684056B2 (en) * 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
JP6357023B2 (ja) * 2014-06-06 2018-07-11 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
US10721499B2 (en) * 2015-03-27 2020-07-21 Twitter, Inc. Live video streaming services
CN107735152B (zh) * 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
WO2017160932A1 (en) * 2016-03-16 2017-09-21 Skillz Inc. Management of streaming video data

Similar Documents

Publication Publication Date Title
JP2018036956A5 (ja)
JP6674247B2 (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
JP2018049591A5 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018180655A5 (ja)
JP2017508192A5 (ja)
JP2013161267A5 (ja)
JP2018142164A5 (ja) 画像処理装置、情報処理方法及びプログラム
JP2016515197A5 (ja)
JP2016538601A5 (ja)
JP2017535755A5 (ja)
JP2018107583A5 (ja)
JP2013003647A5 (ja)
JP2020008972A5 (ja)
JP2013105253A5 (ja)
SG11201907834UA (en) Video image processing device, video image analysis system, method, and program
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
WO2016190933A3 (en) Vehicle navigation methods, systems and computer program products
EP2830022A3 (en) Information processing apparatus, and displaying method
JP2018180654A5 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016063468A5 (ja)
JP2017191492A5 (ja)
JP2018011637A5 (ja)
JP2017107349A5 (ja)
JP2018142230A5 (ja)
JP2018113683A5 (ja)