CN106296686A - 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 - Google Patents

一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 Download PDF

Info

Publication number
CN106296686A
CN106296686A CN201610650775.2A CN201610650775A CN106296686A CN 106296686 A CN106296686 A CN 106296686A CN 201610650775 A CN201610650775 A CN 201610650775A CN 106296686 A CN106296686 A CN 106296686A
Authority
CN
China
Prior art keywords
frame
moving object
static
dimensionalreconstruction
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610650775.2A
Other languages
English (en)
Inventor
黄翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Limboworks Technology Co Ltd
Original Assignee
Shenzhen Limboworks Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Limboworks Technology Co Ltd filed Critical Shenzhen Limboworks Technology Co Ltd
Priority to CN201610650775.2A priority Critical patent/CN106296686A/zh
Publication of CN106296686A publication Critical patent/CN106296686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明公开了一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，所述用静态和动态摄像机相结合对运动物体逐帧三维重构方法，通过多个摄像机采集场景内多个角度的视频数据，并以此进行逐帧三维重构，从而生成场景的三维模型，并以高精度重构重点区域三维数据，在重点区域生成高精度模型。本发明可逐帧复原整个节目现场的三维数据，并以高精度重构重点区域三维数据，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使用户可有更大的自由度和更强的沉浸感观看比赛，本发明能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。

Description

一种用静态和动态摄像机相结合对运动物体逐帧三维重构 方法
技术领域
本发明涉及摄像技术领域，具体是一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法。
背景技术
现有的视频节目主要通过平面显示器来播放，通过佩戴3D眼镜播放3D视频可实现3D视觉效果，但其视角和机位是由节目制作方设定的，用户只能被动接受固定机位和镜头所拍摄的视频内容。现有技术中，传统的视频录播/直播系统通过导播选择拍摄机位来切换不同的视角。
近几年来，随着虚拟现实技术的普及，虚拟现实视频节目也在逐渐普及，用户通过佩戴VR头戴显示器，通过将虚拟摄像头与VR头戴显示器的角度同步一致的方法，可以实现类似于环幕效果的沉浸式视频体验。但这种VR全景视频的体验依然是由一台或多台摄影机，在某一个固定位置向不同方向所拍摄的视频拼接而成，用户只能在一个固定的观看位置(viewpoint)观看视频内容。
无论是普通的视频节目还是VR视频节目，均无法提供给用户全方位的沉浸式的临场体验，普通视频节目只能让用户通过屏幕窗口观看，而VR视频节目也只能够让用户在固定的观看位置(viewpoint)来观看，这样的视频技术无法让用户产生真正的身临其境的现场感，通过现有的这些方式观看节目无法全面地获得现场的信息。而普通的基于多个固定位置和固定角度的摄像机的三维重构方案无法对重点区域和非重点区域进行区分（例如足球场上带球运动的球员所在位置），也无法对重点区域进行追踪拍摄获取高清数据，因此静态相阵列的三维重构方案在重点区域的分辨率和重构精度与本方案有很大差距。
发明内容
本发明的目的在于提供一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，包括如下步骤：
（1）首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；
（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；
（3）中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；
（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。
作为本发明进一步的方案：步骤（1）中所述静态相机阵列具体为多个固定位置和固定角度的摄像机。
作为本发明进一步的方案：步骤（1）中所述动态相机阵列具体为多个可遥控控制视角的摄像机。
作为本发明进一步的方案：步骤（2）中所述点云数据具体为随着拍摄物体随时间变化而变化的一系列点云数据。
作为本发明进一步的方案：步骤（3）中所述节目拍摄区域内的重点区域，其中重点区域为节目中的重要事件发生的区域。
作为本发明进一步的方案：步骤（4）中动态相机阵列所拍摄的区域是步骤（3）根据步骤（2）的三维重构数据进行物体识别后计算出来的重点区域。
作为本发明进一步的方案：步骤（4）中所述第二次三维重构中包括基于第一次三维重构的图像数据和结果进行提高重构精度和降低噪音。
与现有技术相比，本发明的有益效果是：
本发明通过多个摄像机采集场景内多个角度的视频数据，并以此进行逐帧三维重构，从而生成场景的三维模型。本发明可逐帧复原整个节目现场的三维数据，并以高精度重构重点区域三维数据，在重点区域生成高精度模型，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使用户可有更大的自由度和更强的沉浸感观看比赛，本发明能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。
附图说明
图1为本发明的方法原理图；
图2为本发明的静态相机阵列和动态相机阵列的示意图；
图3为本发明的节目拍摄区域内的重点区域的示意图；
图中：1-静态相机阵列、2-动态相机阵列、3-节目拍摄区域、4-重点区域。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，包括如下步骤：
（1）结合图2来看，首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；
（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；
（3）结合图3来看，中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；
（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。
其中：
步骤（1）中所述静态相机阵列具体为多个固定位置和固定角度的摄像机。
步骤（1）中所述动态相机阵列具体为多个可遥控控制视角的摄像机。
步骤（2）中所述点云数据具体为随着拍摄物体随时间变化而变化的一系列点云数据。
步骤（3）中所述节目拍摄区域内的重点区域，其中重点区域为节目中的重要事件发生的区域，例如控球球员在场上的位置和主角在舞台上的位置。
步骤（4）中动态相机阵列所拍摄的区域是步骤（3）根据步骤（2）的三维重构数据进行物体识别后计算出来的重点区域。
步骤（4）中所述第二次三维重构中包括基于第一次三维重构的图像数据和结果进行提高重构精度和降低噪音。
由图1所示的方法原理图可知：本发明通过多个摄像机采集节目现场多个角度的数据进行三维重构，在虚拟现实设备中为用户复原整个节目现场的三维数据，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使玩家可以沉浸在虚拟的节目现场之中，产生身临其境的临场观看体验，本发明能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。
本发独创二次三维重构方法，根据静态相机阵列的数据构建中等分辨率的三维数据，然后以此为基础来识别重点区域，控制动态相机阵列进行追踪，并将动态相机阵列捕捉的数据进行第二次三维重构，由此提升重点区域的重构精度、降低噪音，极大地提高重点区域的三维重构精度。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，包括如下步骤：
（1）首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；
（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；
（3）中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；
（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。
2.根据权利要求1所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（1）中所述静态相机阵列具体为多个固定位置和固定角度的摄像机。
3.根据权利要求1或2所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（1）中所述动态相机阵列具体为多个可遥控控制视角的摄像机。
4.根据权利要求3所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（2）中所述点云数据具体为随着拍摄物体随时间变化而变化的一系列点云数据。
5.根据权利要求4所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（3）中所述节目拍摄区域内的重点区域，其中重点区域为节目中的重要事件发生的区域。
6.根据权利要求5所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（4）中动态相机阵列所拍摄的区域是步骤（3）根据步骤（2）的三维重构数据进行物体识别后计算出来的重点区域。
7.根据权利要求6所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步骤（4）中所述第二次三维重构中包括基于第一次三维重构的图像数据和结果进行提高重构精度和降低噪音。
CN201610650775.2A 2016-08-10 2016-08-10 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 Pending CN106296686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610650775.2A CN106296686A (zh) 2016-08-10 2016-08-10 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610650775.2A CN106296686A (zh) 2016-08-10 2016-08-10 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法

Publications (1)

Publication Number Publication Date
CN106296686A true CN106296686A (zh) 2017-01-04

Family

ID=57667832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610650775.2A Pending CN106296686A (zh) 2016-08-10 2016-08-10 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法

Country Status (1)

Country Link
CN (1) CN106296686A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205623A1 (en) * 2017-05-11 2018-11-15 Boe Technology Group Co., Ltd. Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium
WO2019006650A1 (zh) * 2017-07-04 2019-01-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
CN109936703A (zh) * 2019-02-26 2019-06-25 成都第二记忆科技有限公司 对单目相机拍摄的视频进行重构的方法和装置
CN110221691A (zh) * 2019-05-13 2019-09-10 深圳电通信息技术有限公司 一种沉浸式虚拟体验方法、系统及装置
CN110517305A (zh) * 2019-08-16 2019-11-29 兰州大学 一种基于图像序列的固定物体三维图像重构方法
WO2020061986A1 (en) * 2018-09-28 2020-04-02 Intel Corporation Multi-cam ball location method and apparatus
CN114266775A (zh) * 2022-03-03 2022-04-01 深圳市帝景光电科技有限公司 一种运动物体检测的路灯照明控制方法和系统
CN114302060A (zh) * 2021-12-30 2022-04-08 苏州瀚易特信息技术股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN114598809A (zh) * 2022-01-18 2022-06-07 影石创新科技股份有限公司 全景视频的视角选取方法、电子设备、计算机程序产品及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339925A (zh) * 2011-05-25 2013-10-02 奥林巴斯映像株式会社 摄像装置、图像处理装置以及摄像方法
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
US20140015832A1 (en) * 2011-08-22 2014-01-16 Dmitry Kozko System and method for implementation of three dimensional (3D) technologies
CN103646391A (zh) * 2013-09-30 2014-03-19 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339925A (zh) * 2011-05-25 2013-10-02 奥林巴斯映像株式会社 摄像装置、图像处理装置以及摄像方法
US20140015832A1 (en) * 2011-08-22 2014-01-16 Dmitry Kozko System and method for implementation of three dimensional (3D) technologies
CN103513295A (zh) * 2013-09-25 2014-01-15 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
CN103646391A (zh) * 2013-09-30 2014-03-19 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205623A1 (en) * 2017-05-11 2018-11-15 Boe Technology Group Co., Ltd. Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium
US11282264B2 (en) 2017-07-04 2022-03-22 Tencent Technology (Shenzhen) Company Limited Virtual reality content display method and apparatus
WO2019006650A1 (zh) * 2017-07-04 2019-01-10 腾讯科技（深圳）有限公司 虚拟现实内容的显示方法和装置
US11763467B2 (en) 2018-09-28 2023-09-19 Intel Corporation Multi-cam ball location method and apparatus
WO2020061986A1 (en) * 2018-09-28 2020-04-02 Intel Corporation Multi-cam ball location method and apparatus
CN109936703A (zh) * 2019-02-26 2019-06-25 成都第二记忆科技有限公司 对单目相机拍摄的视频进行重构的方法和装置
CN110221691A (zh) * 2019-05-13 2019-09-10 深圳电通信息技术有限公司 一种沉浸式虚拟体验方法、系统及装置
CN110221691B (zh) * 2019-05-13 2022-07-15 深圳电通信息技术有限公司 一种沉浸式虚拟体验方法、系统及装置
CN110517305B (zh) * 2019-08-16 2022-11-04 兰州大学 一种基于图像序列的固定物体三维图像重构方法
CN110517305A (zh) * 2019-08-16 2019-11-29 兰州大学 一种基于图像序列的固定物体三维图像重构方法
CN114302060A (zh) * 2021-12-30 2022-04-08 苏州瀚易特信息技术股份有限公司 一种360度vr全景图形图像及视频实时生成方法
CN114598809A (zh) * 2022-01-18 2022-06-07 影石创新科技股份有限公司 全景视频的视角选取方法、电子设备、计算机程序产品及可读存储介质
CN114266775A (zh) * 2022-03-03 2022-04-01 深圳市帝景光电科技有限公司 一种运动物体检测的路灯照明控制方法和系统
CN114266775B (zh) * 2022-03-03 2022-05-24 深圳市帝景光电科技有限公司 一种运动物体检测的路灯照明控制方法和系统

Similar Documents

Publication Publication Date Title
CN106296686A (zh) 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法
US10582182B2 (en) Video capture and rendering system control using multiple virtual cameras
US10121284B2 (en) Virtual camera control using motion control systems for augmented three dimensional reality
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
US8817078B2 (en) Augmented reality videogame broadcast programming
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
KR101713772B1 (ko) 사전 시각화 영상 생성 장치 및 방법
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
US20130278727A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US8885022B2 (en) Virtual camera control using motion control systems for augmented reality
CN103051830B (zh) 一种对所拍目标多角度实时转播的系统和方法
CN108886583A (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
JP2017513385A (ja) 自動的にテレビ番組を制作する方法及びシステム
CN106303706A (zh) 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN106331521A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN108600729A (zh) 动态3d模型生成装置及影像生成方法
US20220028132A1 (en) Correlation of mutliple-source image data
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
US11398076B2 (en) Three dimensional media streaming and broadcasting system and method
Ikeya et al. Bullet time using multi-viewpoint robotic camera system
Bickerstaff Case study: the introduction of stereoscopic games on the Sony PlayStation 3
Liang et al. Video2Cartoon: Generating 3D cartoon from broadcast soccer video
Li The Application of VR Technology in Film Production

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104