CA3025482C - Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with daisy chain connection - Google Patents

Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with daisy chain connection Download PDF

Info

Publication number
CA3025482C
CA3025482C CA3025482A CA3025482A CA3025482C CA 3025482 C CA3025482 C CA 3025482C CA 3025482 A CA3025482 A CA 3025482A CA 3025482 A CA3025482 A CA 3025482A CA 3025482 C CA3025482 C CA 3025482C
Authority
CA
Canada
Prior art keywords
image
camera
data
image processing
object region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CA3025482A
Other languages
English (en)
French (fr)
Other versions
CA3025482A1 (en
Inventor
Masahiro Handa
Michio Aizawa
Shogo Mizuno
Katsumasa Tanaka
Akihiro Matsushita
Keisuke Morisawa
Tomohiro Yano
Mai Komiyama
Kenichi Fujii
Atsushi Date
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CA3025482A1 publication Critical patent/CA3025482A1/en
Application granted granted Critical
Publication of CA3025482C publication Critical patent/CA3025482C/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Generation (AREA)
CA3025482A 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with daisy chain connection Active CA3025482C (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016104435A JP6429829B2 (ja) 2016-05-25 2016-05-25 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP2016-104435 2016-05-25
PCT/JP2017/019085 WO2017204175A1 (en) 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with daisy chain connection

Publications (2)

Publication Number Publication Date
CA3025482A1 CA3025482A1 (en) 2017-11-30
CA3025482C true CA3025482C (en) 2020-08-11

Family

ID=58995181

Family Applications (1)

Application Number Title Priority Date Filing Date
CA3025482A Active CA3025482C (en) 2016-05-25 2017-05-22 Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with daisy chain connection

Country Status (10)

Country Link
US (4) US10848748B2 (enExample)
EP (2) EP3466064B1 (enExample)
JP (1) JP6429829B2 (enExample)
KR (1) KR102032082B1 (enExample)
CN (1) CN109275358B (enExample)
AU (1) AU2017270403C1 (enExample)
CA (1) CA3025482C (enExample)
ES (1) ES2968171T3 (enExample)
RU (1) RU2704244C1 (enExample)
WO (1) WO2017204175A1 (enExample)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP7195791B2 (ja) * 2017-12-04 2022-12-26 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
EP3493162B1 (en) * 2017-12-04 2025-09-10 Canon Kabushiki Kaisha Virtual viewpoint synthesis
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
WO2019216087A1 (ja) 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム
JP7218105B2 (ja) 2018-06-20 2023-02-06 キヤノン株式会社 ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
JP7271099B2 (ja) 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
JP2020134973A (ja) 2019-02-12 2020-08-31 キヤノン株式会社 素材生成装置、画像生成装置および画像処理装置
CN109963120B (zh) * 2019-02-26 2020-10-09 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制系统及方法
JP7258605B2 (ja) 2019-03-05 2023-04-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7250588B2 (ja) 2019-03-28 2023-04-03 キヤノン株式会社 画像処理装置、送信方法、及びプログラム
JP2020191598A (ja) * 2019-05-23 2020-11-26 キヤノン株式会社 画像処理システム
JP7358078B2 (ja) 2019-06-07 2023-10-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
US12067643B2 (en) * 2019-10-24 2024-08-20 Baobab Studios Inc. Systems and methods for creating a 2D film from immersive content
CN112752032B (zh) * 2019-10-31 2023-01-06 华为技术有限公司 一种全景视频生成方法、视频采集方法与相关装置
JP2021077238A (ja) * 2019-11-12 2021-05-20 キヤノン株式会社 出力装置、画像処理システム、画像処理方法、及び、プログラム
CN110798673B (zh) * 2019-11-13 2021-03-19 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
WO2021112823A1 (en) 2019-12-03 2021-06-10 Discovery Communications, Llc Non-intrusive 360 view without camera at the viewpoint
CN111147754B (zh) * 2019-12-31 2021-06-29 维沃移动通信有限公司 图像处理方法及电子设备
JP7467130B2 (ja) * 2020-01-21 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021152724A (ja) 2020-03-24 2021-09-30 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN115315730A (zh) * 2020-03-30 2022-11-08 索尼集团公司 信息处理装置、图像处理系统和信息处理方法
CN115516515A (zh) * 2020-05-13 2022-12-23 索尼集团公司 信息处理装置、信息处理方法和显示装置
JP7508277B2 (ja) * 2020-06-03 2024-07-01 キヤノン株式会社 伝送処理装置、伝送処理方法、及びプログラム
US12462563B2 (en) * 2020-06-12 2025-11-04 Intel Corporation Systems and methods for virtual camera highlight creation
JP2021197659A (ja) 2020-06-16 2021-12-27 キヤノン株式会社 制御装置、制御方法、及び、プログラム
WO2021257918A1 (en) * 2020-06-18 2021-12-23 Radyx Ventures, Llc Improved technique for natural whiteboard collaboration
US11924397B2 (en) * 2020-07-23 2024-03-05 Samsung Electronics Co., Ltd. Generation and distribution of immersive media content from streams captured via distributed mobile devices
JP7634958B2 (ja) 2020-10-20 2025-02-25 キヤノン株式会社 生成装置、生成方法、及び、プログラム
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113055597B (zh) * 2021-03-25 2022-06-28 联想(北京)有限公司 摄像头调用实现方法、装置及电子设备
EP4068198B1 (de) 2021-04-01 2023-12-27 Carl Zeiss AG Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
KR102474037B1 (ko) * 2021-06-04 2022-12-05 ㈜에스지유 3차원 영상을 위한 다중 카메라 영상 동기화 시스템 및 방법
US12095964B2 (en) * 2021-06-21 2024-09-17 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP7324251B2 (ja) * 2021-07-09 2023-08-09 キヤノン株式会社 情報処理装置および情報処理方法、映像表示システム、プログラム
CN113794844B (zh) * 2021-09-09 2023-05-26 北京字节跳动网络技术有限公司 自由视角视频采集系统、方法、装置、服务器和介质
JP7707038B2 (ja) 2021-11-15 2025-07-14 キヤノン株式会社 通信装置、通信装置の制御方法、およびプログラム
JP2023075859A (ja) 2021-11-19 2023-05-31 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2023084870A (ja) 2021-12-08 2023-06-20 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2023111046A (ja) * 2022-01-31 2023-08-10 キヤノン株式会社 通信装置、通信装置の制御方法、およびプログラム
JP7528140B2 (ja) 2022-03-09 2024-08-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2024033864A (ja) 2022-08-31 2024-03-13 キヤノン株式会社 同期制御装置、同期撮影装置、同期制御方法およびプログラム
US12456225B2 (en) 2022-09-15 2025-10-28 Apple Inc. Methods for infield camera calibrations
US12333762B2 (en) 2022-09-15 2025-06-17 Apple Inc. Methods for camera calibration via bundle adjustment
JP7559024B2 (ja) 2022-10-06 2024-10-01 キヤノン株式会社 画像処理装置、制御方法、およびプログラム
US20240283905A1 (en) * 2023-02-22 2024-08-22 Canon Kabushiki Kaisha Control apparatus, control method, and storage medium
JP2024130296A (ja) * 2023-03-14 2024-09-30 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2025055560A (ja) * 2023-09-27 2025-04-08 キヤノン株式会社 制御装置、画像処理システム、画像処理システムの制御方法およびプログラム
JP7736959B1 (ja) * 2025-03-21 2025-09-09 セーフィー株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
ATE192892T1 (de) * 1995-03-24 2000-05-15 Ppt Vision Inc Maschinensichtsteuersystem
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5710829A (en) * 1995-04-27 1998-01-20 Lucent Technologies Inc. System and method for focused-based image segmentation for video signals
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
US6124862A (en) * 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
JP2000057350A (ja) * 1998-08-10 2000-02-25 Toshiba Corp 画像処理装置と方法及び画像送信装置と方法
US7657330B2 (en) * 1999-06-11 2010-02-02 Parker-Hannifin Corporation Optical ring architecture
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US7102666B2 (en) 2001-02-12 2006-09-05 Carnegie Mellon University System and method for stabilizing rotational images
US6903738B2 (en) * 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
JP3731589B2 (ja) 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
JP4461739B2 (ja) 2003-08-18 2010-05-12 ソニー株式会社 撮像装置
JP4903358B2 (ja) * 2003-09-01 2012-03-28 ソニー株式会社 撮像装置及び方法
JP4816336B2 (ja) * 2006-02-07 2011-11-16 日本ビクター株式会社 撮像方法及び撮像装置
JP2008077430A (ja) 2006-09-21 2008-04-03 Oki Electric Ind Co Ltd 移動体計数装置および移動体計数方法
JP5011168B2 (ja) 2008-03-04 2012-08-29 日本電信電話株式会社 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP5570284B2 (ja) * 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
US8521897B2 (en) * 2011-03-15 2013-08-27 Microscan Systems, Inc. Generic data exchange method using hierarchical routing
US8773498B2 (en) * 2011-09-30 2014-07-08 Polycom, Inc. Background compression and resolution enhancement technique for video telephony and video conferencing
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
WO2013137868A1 (en) * 2012-03-14 2013-09-19 Thomson Licensing Data archival on film
WO2014016986A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元環境共有システム及び３次元環境共有方法
KR101987186B1 (ko) 2012-07-31 2019-06-11 엘지디스플레이 주식회사 멀티비젼 시스템 및 그 구동방법
KR101992767B1 (ko) 2012-12-14 2019-09-30 한국전자통신연구원 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
JP5784664B2 (ja) * 2013-03-21 2015-09-24 株式会社東芝 多眼撮像装置
US9123172B2 (en) * 2013-05-20 2015-09-01 Steven Sebring Systems and methods for producing visual representations of objects
TWI545388B (zh) * 2013-06-14 2016-08-11 豪威科技股份有限公司 產生全景圖像的系統和方法
JP6246508B2 (ja) 2013-06-25 2017-12-13 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
JP6156163B2 (ja) 2013-06-28 2017-07-05 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP5962923B2 (ja) 2013-08-21 2016-08-03 Ｊｆｅスチール株式会社 厚板の製造方法
US9241044B2 (en) * 2013-08-28 2016-01-19 Hola Networks, Ltd. System and method for improving internet communication by using intermediate nodes
KR102083927B1 (ko) * 2014-01-03 2020-03-03 한화테크윈 주식회사 네트워크카메라 및 네트워크 영상 감시 시스템
KR102104413B1 (ko) * 2014-01-16 2020-04-24 한화테크윈 주식회사 감시 카메라 및 디지털 비디오 리코더
WO2015112747A2 (en) * 2014-01-22 2015-07-30 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
JP6194819B2 (ja) 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
CN105096283B (zh) 2014-04-29 2017-12-15 华为技术有限公司 全景图像的获取方法和装置
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10368011B2 (en) * 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
JP6319347B2 (ja) 2016-03-10 2018-05-09 株式会社三洋物産 遊技機
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム

Also Published As

Publication number Publication date
CN109275358A (zh) 2019-01-25
EP3466064A1 (en) 2019-04-10
EP3466064C0 (en) 2024-01-10
WO2017204175A1 (en) 2017-11-30
US20250184465A1 (en) 2025-06-05
CA3025482A1 (en) 2017-11-30
JP6429829B2 (ja) 2018-11-28
AU2017270403B2 (en) 2019-09-19
AU2017270403A1 (en) 2019-01-17
EP3466064B1 (en) 2024-01-10
KR20190008944A (ko) 2019-01-25
US20230283757A1 (en) 2023-09-07
EP4328864A3 (en) 2024-05-08
US12316824B2 (en) 2025-05-27
RU2704244C1 (ru) 2019-10-25
AU2017270403C1 (en) 2020-02-27
CN109275358B (zh) 2020-07-10
US20210021803A1 (en) 2021-01-21
JP2017211828A (ja) 2017-11-30
US11689706B2 (en) 2023-06-27
KR102032082B1 (ko) 2019-10-14
US20190356906A1 (en) 2019-11-21
EP4328864A2 (en) 2024-02-28
US10848748B2 (en) 2020-11-24
ES2968171T3 (es) 2024-05-08

Similar Documents

Publication Publication Date Title
AU2020201759B2 (en) Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
US12316824B2 (en) Method for generating virtual viewpoint image and image processing apparatus
CA3025478C (en) Control device, control method, and storage medium
CA3025471C (en) Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with default parameters associated to the selected type of sport event
US11012674B2 (en) Information processing apparatus, image generation method, control method, and program

Legal Events

Date Code Title Description
EEER Examination request

Effective date: 20181123