JP2019045995A5 - - Google Patents

Download PDF

Info

Publication number
JP2019045995A5
JP2019045995A5 JP2017166106A JP2017166106A JP2019045995A5 JP 2019045995 A5 JP2019045995 A5 JP 2019045995A5 JP 2017166106 A JP2017166106 A JP 2017166106A JP 2017166106 A JP2017166106 A JP 2017166106A JP 2019045995 A5 JP2019045995 A5 JP 2019045995A5
Authority
JP
Japan
Prior art keywords
scene
virtual viewpoint
determining means
information processing
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017166106A
Other languages
English (en)
Other versions
JP7030452B2 (ja
JP2019045995A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2017166106A external-priority patent/JP7030452B2/ja
Priority to JP2017166106A priority Critical patent/JP7030452B2/ja
Priority to KR1020180100057A priority patent/KR102342933B1/ko
Priority to US16/113,967 priority patent/US10771760B2/en
Priority to EP18191640.4A priority patent/EP3451681B1/en
Priority to CN201811001244.6A priority patent/CN109429052B/zh
Publication of JP2019045995A publication Critical patent/JP2019045995A/ja
Publication of JP2019045995A5 publication Critical patent/JP2019045995A5/ja
Priority to JP2022027205A priority patent/JP7362806B2/ja
Publication of JP7030452B2 publication Critical patent/JP7030452B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影されるシーンであって、前記仮想視点画像を生成するシーンを決定するシーン決定手段と、
前記シーン決定手段により決定されるシーンに基づいて、前記シーン決定手段により決定されたシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定する視点決定手段と、を有することを特徴とする。

Claims (18)

  1. 仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影されるシーンであって、前記仮想視点画像を生成するシーンを決定するシーン決定手段と、
    前記シーン決定手段により決定されたシーンに基づいて、前記シーン決定手段により決定されたシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定する視点決定手段と、
    を有することを特徴とする情報処理装置。
  2. 前記視点決定手段は、前記シーン決定手段により決定されるシーンに関連付けられた条件に基づいて、前記シーン決定手段により決定されるシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定することを特徴とする請求項１に記載の情報処理装置。
  3. 前記視点決定手段は、前記シーン決定手段により決定されるシーンに関連付けられた複数の条件のうち、ユーザ操作に基づいて選択される条件に基づいて、前記シーン決定手段により決定されるシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定することを特徴とする請求項２に記載の情報処理装置。
  4. 前記シーン決定手段により決定される第１のシーンに関連付けられた条件と、前記シーン決定手段により決定される第２のシーンであって前記前記第１のシーンとは異なる前記第２のシーンに関連付けられた条件とは、異なることを特徴とする請求項２または３に記載の情報処理装置。
  5. 前記視点決定手段は、前記条件に基づいて、前記シーン決定手段により決定されるシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向の遷移を決定することを特徴とする請求項２から４の何れか１項に記載の情報処理装置。
  6. 前記複数の撮影画像に含まれる特定の被写体の位置情報を取得する取得手段を有し、
    前記条件は、前記取得手段により取得される前記特定の被写体の位置情報に基づく条件であることを特徴とする請求項２から５の何れか１項に記載の情報処理装置。
  7. 前記条件は、仮想視点画像に対応する仮想視点の視線方向を、人物の目線とするための条件を含むことを特徴とする請求項２から６の何れか１項に記載の情報処理装置。
  8. 前記条件は、仮想視点画像に対応する仮想視点を、所定の位置を中心に回転させるための条件を含むことを特徴とする請求項２から６の何れか１項に記載の情報処理装置。
  9. 前記所定の位置は、所定の人物の位置であることを特徴とする請求項８に記載の情報処理装置。
  10. 前記シーン決定手段により決定されるシーンは、前記複数の撮影装置により撮影される競技におけるシーンであることを特徴とする請求項１から９の何れか１項に記載の情報処理装置。
  11. 前記シーン決定手段により決定されるシーンは、前記競技におけるゴールシーン、シュートシーン及びファウルシーンのうち少なくとも何れか一つを含むことを特徴とする請求項１０に記載の情報処理装置。
  12. 前記シーン決定手段により決定されるシーンは、前記複数の撮影装置により撮影されるコンサートにおけるシーンであることを特徴とする請求項１から９の何れか１項に記載の情報処理装置。
  13. 前記シーン決定手段は、ユーザ操作に基づいて前記シーンを決定することを特徴とする請求項１から１２の何れか１項に記載の情報処理装置。
  14. 前記シーン決定手段により決定されるシーンに基づいて、生成する仮想視点画像に係る撮影時間、生成する仮想視点画像により写される場所及び生成する仮想視点画像により写される事象のうち少なくとも何れか一つが特定されることを特徴とする請求項１から１３の何れか１項に記載の情報処理装置。
  15. 前記視点決定手段により決定された仮想視点の位置及び仮想視点からの視線方向に応じた仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項１から１４の何れか１項に記載の情報処理装置。
  16. 前記生成手段により生成された仮想視点画像を出力する出力手段をさらに有することを特徴とする請求項１５に記載の情報処理装置。
  17. 仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影されるシーンであって、前記仮想視点画像を生成するシーンを決定するシーン決定工程と、
    前記シーン決定工程において決定されたシーンに基づいて、前記シーン決定工程において決定されるシーンに関する仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定する視点決定工程と、
    を有することを特徴とする情報処理方法。
  18. コンピュータを請求項１から１６の何れか１項に記載の情報処理装置として動作させるためのプログラム。
JP2017166106A 2017-08-30 2017-08-30 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム Active JP7030452B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017166106A JP7030452B2 (ja) 2017-08-30 2017-08-30 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
KR1020180100057A KR102342933B1 (ko) 2017-08-30 2018-08-27 정보처리장치, 정보처리장치의 제어 방법, 및 기억매체
US16/113,967 US10771760B2 (en) 2017-08-30 2018-08-27 Information processing device, control method of information processing device, and storage medium
CN201811001244.6A CN109429052B (zh) 2017-08-30 2018-08-30 信息处理设备、信息处理设备的控制方法以及存储介质
EP18191640.4A EP3451681B1 (en) 2017-08-30 2018-08-30 Information processing device, control method of information processing device, and program
JP2022027205A JP7362806B2 (ja) 2017-08-30 2022-02-24 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017166106A JP7030452B2 (ja) 2017-08-30 2017-08-30 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022027205A Division JP7362806B2 (ja) 2017-08-30 2022-02-24 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Publications (3)

Publication Number Publication Date
JP2019045995A JP2019045995A (ja) 2019-03-22
JP2019045995A5 true JP2019045995A5 (ja) 2020-10-08
JP7030452B2 JP7030452B2 (ja) 2022-03-07

Family

ID=63449334

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017166106A Active JP7030452B2 (ja) 2017-08-30 2017-08-30 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
JP2022027205A Active JP7362806B2 (ja) 2017-08-30 2022-02-24 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022027205A Active JP7362806B2 (ja) 2017-08-30 2022-02-24 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Country Status (5)

Country Link
US (1) US10771760B2 (ja)
EP (1) EP3451681B1 (ja)
JP (2) JP7030452B2 (ja)
KR (1) KR102342933B1 (ja)
CN (1) CN109429052B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401196B2 (ja) 2019-05-23 2023-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076128A (zh) * 2016-12-28 2018-05-25 北京市商汤科技开发有限公司 用户属性提取方法、装置和电子设备
EP3657356B1 (en) * 2017-07-21 2023-08-09 Sony Group Corporation Information processing device and information processing method
JP2019125303A (ja) * 2018-01-19 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
US11055901B2 (en) 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、系统及计算机可读存储介质
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
DE112020006061T5 (de) * 2019-12-09 2022-10-27 Sony Group Corporation Informationsverarbeitungsvorrichtung und -verfahren, programm und informationsverarbeitungssystem
US11443138B2 (en) * 2020-05-07 2022-09-13 Intel Corporation Systems and methods for virtual camera configuration
US20230186628A1 (en) * 2020-06-12 2023-06-15 Intel Corporation Systems and methods for virtual camera highlight creation
EP4300950A1 (en) * 2021-02-25 2024-01-03 Sony Group Corporation Information processing device, information processing method, program, and display system
JP2022160980A (ja) * 2021-07-26 2022-10-20 任天堂株式会社 スポーツゲームシステム、スポーツゲームプログラム、スポーツゲーム装置、およびスポーツゲーム処理方法
WO2023127430A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、画像処理方法、プログラム
JP7291835B1 (ja) 2022-09-13 2023-06-15 株式会社バンダイ 画像処理方法、情報処理装置、及び、コンピュータプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4803594B2 (ja) 2006-07-05 2011-10-26 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
US8154633B2 (en) 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US8451265B2 (en) * 2007-11-16 2013-05-28 Sportvision, Inc. Virtual viewpoint animation
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
JP2010074776A (ja) * 2008-09-22 2010-04-02 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP4905474B2 (ja) * 2009-02-04 2012-03-28 ソニー株式会社 映像処理装置、映像処理方法及びプログラム
JP2012257021A (ja) 2011-06-08 2012-12-27 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP5820716B2 (ja) 2011-12-15 2015-11-24 シャープ株式会社 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
US9189884B2 (en) 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
CN105247860B (zh) * 2013-06-05 2017-12-19 索尼公司 图像处理设备及图像处理方法
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US20180077407A1 (en) 2015-04-02 2018-03-15 Catapult Group International Ltd Sports virtual reality system
JP6555513B2 (ja) 2015-06-30 2019-08-07 株式会社セガゲームス プログラム
JPWO2017141511A1 (ja) * 2016-02-17 2018-12-06 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2017141411A1 (ja) * 2016-02-19 2017-08-24 株式会社日立製作所 モータ制御システム
JP6882868B2 (ja) * 2016-08-12 2021-06-02 キヤノン株式会社 画像処理装置、画像処理方法、システム
JP6812181B2 (ja) * 2016-09-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP7013139B2 (ja) * 2017-04-04 2022-01-31 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401196B2 (ja) 2019-05-23 2023-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP2019045995A5 (ja)
JP2019159950A5 (ja)
JP2022060513A5 (ja)
JP2018092580A5 (ja) 画像処理装置および画像処理方法、プログラム
JP2017212593A5 (ja) 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
JP2018180655A5 (ja)
JP2017212591A5 (ja)
JP2018056971A5 (ja)
JP2017211827A5 (ja)
JP2019036790A5 (ja)
JP2020086983A5 (ja)
JP2014127151A5 (ja)
JP2020077108A5 (ja)
JP2019088025A5 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2019152903A5 (ja) 情報処理装置および情報処理方法
JP2016192593A5 (ja)
JP2018180654A5 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019036791A5 (ja) 画像処理装置およびその制御方法、プログラム
JP2019087974A5 (ja)
JP2020067748A5 (ja)
JP2019016862A5 (ja) 情報処理装置、情報処理方法及びプログラム
US20170214847A1 (en) Method for Setting Shooting Parameters of HDR mode and Electronic Device Using the Same
JP2018042237A5 (ja)
JP2019003428A5 (ja)
JP2018101942A5 (ja)