CN108335353A - 动态场景的三维重建方法、装置和系统、服务器、介质 - Google Patents

动态场景的三维重建方法、装置和系统、服务器、介质 Download PDF

Info

Publication number
CN108335353A
CN108335353A CN201810155616.4A CN201810155616A CN108335353A CN 108335353 A CN108335353 A CN 108335353A CN 201810155616 A CN201810155616 A CN 201810155616A CN 108335353 A CN108335353 A CN 108335353A
Authority
CN
China
Prior art keywords
observation point
unmanned plane
plane array
dynamic scene
reconstruction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810155616.4A
Other languages
English (en)
Other versions
CN108335353B (zh
Inventor
方璐
刘烨斌
许岚
程巍
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Tsinghua Berkeley Shenzhen College Preparatory Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua Berkeley Shenzhen College Preparatory Office filed Critical Tsinghua Berkeley Shenzhen College Preparatory Office
Priority to CN201810155616.4A priority Critical patent/CN108335353B/zh
Publication of CN108335353A publication Critical patent/CN108335353A/zh
Priority to US16/975,242 priority patent/US11954870B2/en
Priority to PCT/CN2019/083816 priority patent/WO2019161813A1/zh
Application granted granted Critical
Publication of CN108335353B publication Critical patent/CN108335353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明实施例公开了一种动态场景的三维重建方法、装置和系统、服务器、介质，其中，方法包括：获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。本发明实施例不需要依赖额外的设备，确保了采集者的舒适度，而且能够实时控制无人机阵列在目标观测点拍摄，不受拍摄空间的制约，能够自动完成重建过程。

Description

动态场景的三维重建方法、装置和系统、服务器、介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种动态场景的三维重建方法、装置和系统、服务器、介质。
背景技术
随着消费级深度相机的逐渐普及，特别是最新的Iphone X中更是内置了基于结构光的深度相机，使得基于动态三维重建的虚拟现实、混合现实应用成为可能，并具有广泛的应用前景和重要的应用价值。
现有的动态场景三维重建方法通常依赖价格昂贵的激光扫描仪，虽然精度较高，但是扫描过程依赖于额外的穿戴式传感器，损害了采集者的舒适度。此外，还可以利用相机阵列系统来实现动态场景三维重建，但是，这种方法由于受限于固定的相机阵列，拍摄空间非常受限，而且需要额外的人力资源来控制拍摄相机和选择拍摄视点，无法全自动完成重建过程。
发明内容
本发明实施例提供一种动态场景的三维重建方法、装置和系统、服务器、介质，以解决在不影响采集者舒适度并且不受拍摄空间限制的条件下如何自动完成动态场景三维重建的技术问题。
第一方面，本发明实施例提供了一种动态场景的三维重建方法，该方法包括：
获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
第二方面，本发明实施例还提供了一种动态场景的三维重建装置，该装置包括：
图像序列获取模块，用于获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
图像融合模块，用于对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
目标观测点计算模块，用于根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
重建模型更新模块，用于指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
第三方面，本发明实施例还提供了一种动态场景的三维重建系统，该系统包括无人机阵列和三维重建平台；
其中，无人机阵列中的每个无人机搭载有深度相机，用于拍摄动态场景的深度图像序列；
三维重建平台包括如本发明任一实施例所述的动态场景的三维重建装置，用于根据无人机阵列拍摄的多个连续深度图像序列生成动态场景的三维重建模型。
第四方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的动态场景的三维重建方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的动态场景的三维重建方法。
本发明实施例利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，得到动态场景的三维重建模型，因此，不需要依赖额外的设备，确保了采集者的舒适度。并且，在重建过程中，实时地通过目标观测点的计算指示无人机阵列移动至该目标观测点进行拍摄，根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新模型，从而获得更加准确的三维重建模型，而且不受拍摄空间的制约，能够自动完成重建过程。
附图说明
图1是本发明实施例一提供的动态场景的三维重建方法的流程图；
图2是本发明实施例二提供的动态场景的三维重建方法的流程图；
图3是本发明实施例三提供的动态场景的三维重建方法的流程图；
图4是本发明实施例四提供的动态场景的三维重建装置的结构示意图；
图5是本发明实施例五提供的动态场景的三维重建系统的结构示意图；
图6是本发明实施例六提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的动态场景的三维重建方法的流程图，本实施例可适用于对动态场景进行三维重建的情况，所述动态场景例如舞者在舞台跳舞的场景。该方法可以由动态场景的三维重建装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器中。如图1所示，该方法具体包括：
S110、获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到。
其中，无人机阵列中可包括多台无人机，例如3台或5台，具体可根据动态场景的实际需要进行配置，本发明实施例对此并不做任何限定。无人机阵列中的不同无人机可以位于不同的视点同时对动态场景进行拍摄，从而从不同角度获取动态场景的深度图像序列，以便更好地进行三维重建。
每台无人机都搭载有深度相机，用于拍摄动态场景的深度图像。深度图像是包含与视点的场景对象表面的距离有关的信息的图像或图像通道，深度图像中每个像素值是相机距离物体的实际距离，通过该距离可以构建三维模型。而通过搭载深度相机的无人机阵列来拍摄，不会如现有技术中的固定相机阵列那样受到拍摄空间的制约，而且还可以控制无人机阵列自动进行拍摄。
初始时，可控制无人机阵列位于动态场景上方的初始位置并同时进行拍摄，因为要对动态场景进行三维重建，动态场景中人物或景物的位置或姿态等是实时发生变化的，所以每个无人机会持续不断的进行拍摄，并实时地将拍摄到的连续深度图像序列发送至三维重建装置进行处理。其中，所述连续深度图像序列是指按照时间顺序连续拍摄到的深度图像序列，通常地，深度相机可以在每秒内连续拍摄30帧图像，每个图像按照时间顺序排列得到图像序列。
具体的，所述获取动态场景的多个连续深度图像序列包括：
获取所述无人机阵列拍摄得到的所述动态场景的多个原始深度图像序列；
根据同步时间戳对齐所述多个原始深度图像序列，得到所述多个连续深度图像序列。
其中，所述多个原始深度图像序列即为不同的无人机分别拍摄到的原始图像序列，而虽然无人机阵列是同时拍摄的，但是在时间上也会存在一定的误差，因此，需要根据同步时间戳对这些原始深度图像序列进行对齐，从而确保不同的无人机从不同视角拍摄到的深度图像序列具有时间上的一致性，由此可以提高重建模型的准确性。
S120、对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型。
具体的，可以是根据深度相机的内参矩阵将连续深度图像序列投影到三维空间中获得三维点云，然后对三维点云进行配准和融合，最终建立出三维重建模型。实现时，可以利用现有技术中的配准和融合的算法来进行，此处不再一一赘述。
S130、根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点。
由于动态场景中的人物或景物的位置或姿态等会实时发生变化，因此，如何才能让无人机阵列顺应动态场景的变化在最合适的位置进行拍摄是决定重建模型效果的重要问题。因此，在本发明实施例中，通过实时地计算出下一时刻无人机阵列的目标观测点，该目标观测点即为最佳观测点，从而实时地指示无人机阵列移动至该目标观测点进行拍摄，从而更新重建模型，实现动态场景的精确重现。
其中，所述位姿可以由无人机的旋转角度和平移距离来表示，相应的，对无人机的控制也可包括旋转和平移两个参数。当确定出目标观测点后，则可以控制无人机移动到该最佳的目标观测点，并控制无人机从当前观测点至目标观测点的旋转角度，即控制无人机的最佳拍摄视点。而目标观测点的确定可以是按照预先设定的标准，对无人机可能存在的拍摄点进行评估，将评估结果符合该标准的拍摄点确定为最佳的目标观测点。其中，可能存在的拍摄点可以根据无人机阵列当前的位姿来确定，而评估的过程可以根据所述可能存在的观测点和建立得到的三维重建模型来进行，评估在不同的可能存在的观测点中，依据哪一个观测点拍摄到的深度图像序列建立的三维重建模型的效果符合预设的标准，例如可以通过计算可能存在的观测点的能量函数来进行评估。
S140、指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
本实施例的技术方案利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，得到动态场景的三维重建模型，因此，不需要依赖额外的设备，确保了采集者的舒适度。并且，在重建过程中，实时地通过目标观测点的计算指示无人机阵列移动至该目标观测点进行拍摄，根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新模型，从而获得更加准确的三维重建模型，而且不受拍摄空间的制约，能够自动完成重建过程。
实施例二
图2是本发明实施例二提供的动态场景的三维重建方法的流程图，本实施例是在上述实施例的基础上，对深度图像融合的操作进一步进行优化。如图2所示，该方法具体包括：
S210、获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到。
S220、对所述多个连续深度图像序列进行融合，按照预设周期确定关键帧重建体。
S230、在每一预设周期内，计算当前关键帧重建体中的非刚性变形节点的形变参数，根据所述形变参数将当前关键帧重建体里的重建模型更新至当前数据帧重建体中，其中，所述当前数据帧重建体是指每一时刻实时的重建体。
S240、从当前数据帧重建体中提取出所述动态场景的三维重建模型。
S250、用当前数据帧重建体替代当前关键帧重建体，作为下一预设周期内的关键帧重建体。
其中，S220-S250实际上是利用关键帧策略融合深度图像，并获得动态场景实时的重建模型。
具体而言，根据多个连续深度图像序列通过图像融合可以建立初始的三维重建模型，然后按照预设周期，例如100帧，确定三维重建模型的关键帧重建体，并在每一预设周期内，执行S230-S250的操作。其中，非刚性变形节点可以表示动态场景中人物或景物发生变化的节点，通过计算非刚性变形节点的形变参数将当前关键帧重建体里的重建模型更新至当前数据帧重建体中，进而从当前数据帧重建体中提取出三维重建模型，从而可以捕捉到动态场景的变化细节，提高重建模型的精确度，避免出现错误和混乱，同时也可以避免卡顿。最后，用当前数据帧重建体替代当前关键帧重建体，作为下一预设周期内的关键帧重建体，由此通过当前数据帧重建体和关键帧重建体的迭代，实现对动态场景中每一个动态变化场景的重现。
其中，重建体可以理解为在三维重建过程中的一种假设，假设重建体可以包围住整个动态场景(或重建对象)，重建体由很多个均匀的体素构成，通过配准、融合等算法在这个重建体之上建立出动态场景的三维重建模型。重建体中的节点以及节点的形变参数表征了动态场景的特征，因此，从重建体中可以提取出动态场景的三维重建模型。在本实施例中，通过上述关键帧策略融合深度图像，可以避免当点云配准不准确时数据融合产生的误差。
其中，所述形变参数包括每个形变节点的旋转及平移参数，其计算过程例如可以通过求解非刚性运动的能量方程来获得，该能量方程由非刚性运动约束项和局部刚性运动约束项构成，分别由如下公式表示：
其中，在非刚性运动约束项En中，和分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，ui表示同一匹配点对中三维点云的位置坐标，ci表示匹配点对集合中的第i个元素，和分别表示经过非刚性运动驱动后的模型顶点坐标及其法向。非刚性运动约束项En保证经过非刚性运动驱动后的模型与从深度图获得的三维点云尽可能的对齐。
在局部非刚性运动约束项Eg中，i表示模型上第i个顶点，表示模型上第i个顶点周围的邻近顶点的集合，和分别代表已知非刚性运动对模型表面顶点vi和vj的驱动作用，和代表作用在vi和vj上的非刚性运动同时作用在vj上的位置变换效果，即要保证模型上邻近顶点的非刚性驱动效果要尽可能的一致。
非刚性运动约束项En保证经过非刚性运动驱动后的模型与从深度图像获得的三维点云尽可能的对齐，局部刚性运动约束项Eg可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来。为了利用指数映射方法对变形后的顶点做如下近似：
其中，为截至上一帧的模型顶点vi的累积变换矩阵，为已知量；I为四维单位阵；令即上一帧变换后的模型顶点，则经过变换有：
对于每个顶点，要求解的未知参数即为六维变换参数x＝(v1,v2,v3,wx,wy,wz)T。
S260、根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点。
S270、指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
本实施例的技术方案利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，并采用关键帧策略，最终得到动态场景的三维重建模型，在不受拍摄空间的制约、自动完成重建过程的基础上，提高了重建模型的准确性，避免出现因点云配准不准确而造成的误差。同时，不需要依赖额外的设备，确保了采集者的舒适度。
实施例三
图3是本发明实施例三提供的动态场景的三维重建方法的流程图，本实施例是在上述实施例的基础上，对目标观测点的计算操作进一步进行优化。如图3所示，该方法具体包括：
S310、获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到。
S320、对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型。
S330、根据无人机阵列当前的位姿，对其空间邻域进行栅格化，建立候选观测点集合。
无人机阵列当前的位姿表征了无人机阵列中每个无人机当前的观测视点，包括当前的坐标和拍摄角度等。根据当前的位姿以及预设的距离划定空间邻域范围，并通过对空间邻域栅格化的方式确定候选观测点，即栅格化后每一个节点代表一个候选观测点。
S340、利用有效性能量函数计算候选观测点集合中每一个候选观测点的总能量值。
S350、将总能量值符合预设标准的候选观测点作为所述目标观测点。
优选的，所述有效性能量函数包括深度能量项、中心能量项和运动能量项；
其中，深度能量项用于计算候选观测点的平均深度值接近目标深度值的程度；
中心能量项用于计算候选观测点观测到的重建模型与采集的图像画幅的中心部位的接近程度；
运动能量项用于计算候选观测点观测到的动态场景中发生运动的部分的多少。
具体的，所述有效性能量函数由如下公式表示：
Et＝λdEd+λcEc+λmEm
其中，Et为总能量项，Ed为深度能量项，Ec为中心能量项，Em为运动能量项，λd、λc和λm分别为对应各个约束项的权重系数；
所述深度能量项、中心能量项和运动能量项分别由如下公式表示：
Ed＝ψ(davg-do)
其中，Tc和TV分别为无人机阵列和候选观测点在重建模型中的位姿；tv为候选观测点位姿的平移分量；xn为射线所击中的重建模型的体素；Nx为该体素的法向；xi表示重建模型发生非刚性变形的节点；x′i表示非刚性变形后的节点；π()表示从三维空间到二维像平面的投影透视变换；davg和do分别表示候选观测点的平均深度值和目标深度值；ψ()函数表示对距离的惩罚项；r为候选观测点投射并穿过重建模型的光线；du和dv分别表示重建模型在候选观测点的平均投影像素横坐标和纵坐标；λ为阻尼因子；φ1和φ2分别用于统计候选观测点的所有射线的运动信息和所有观察到的变形节点的运动信息。
通过对深度能量项、中心能量项和运动能量项的加权求和，可以对候选观测点进行综合评估，确定无人机在哪个观测点拍摄到的深度图像序列建立的三维重建模型的效果符合预设的标准，即综合考虑了在候选观测点采集的深度图像的平均深度、平均中心程度和累计运动信息，使得在目标观测点获取的深度图像更有利于当前的动态场景重建。优选的，可以选择总能量值最大的候选观测点作为最优的目标观测点。
S360、指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
本实施例的技术方案利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，得到动态场景的三维重建模型，并通过有效性能量函数对候选观测点进行计算和评估，确定最优的目标观测点，并指示无人机阵列移动至该目标观测点进行拍摄，由此，不仅实现了自动拍摄和重建，还可以提高三维模型的重建效果，而且简单易行，具有广阔的应用前景。
实施例四
图4是本发明实施例四提供的动态场景的三维重建装置的结构示意图。本实施例可适用于对动态场景进行三维重建的情况，所述动态场景例如舞者在舞台跳舞的场景。本发明实施例所提供的动态场景的三维重建装置可执行本发明任意实施例所提供的动态场景的三维重建方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置包括：
图像序列获取模块410，用于获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
图像融合模块420，用于对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
目标观测点计算模块430，用于根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
重建模型更新模块440，用于指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
在上述技术方案的基础上，可选地，图像序列获取模块410包括：
原始图像序列获取单元，用于获取所述无人机阵列拍摄得到的所述动态场景的多个原始深度图像序列；
图像序列对齐单元，用于根据同步时间戳对齐所述多个原始深度图像序列，得到所述多个连续深度图像序列。
在上述技术方案的基础上，可选地，图像融合模块420具体用于：
对所述多个连续深度图像序列进行融合，按照预设周期确定关键帧重建体，并在每一预设周期内，执行如下操作：
计算当前关键帧重建体中的非刚性变形节点的形变参数，根据所述形变参数将当前关键帧重建体里的重建模型更新至当前数据帧重建体中，其中，所述当前数据帧重建体是指每一时刻实时的重建体；
从当前数据帧重建体中提取出所述动态场景的三维重建模型；
用当前数据帧重建体替代当前关键帧重建体，作为下一预设周期内的关键帧重建体。
在上述技术方案的基础上，可选地，目标观测点计算模块430包括：
候选观测点建立单元，用于根据无人机阵列当前的位姿，对其空间邻域进行栅格化，建立候选观测点集合；
能量值计算单元，用于利用有效性能量函数计算候选观测点集合中每一个候选观测点的总能量值；
目标观测点确定单元，用于将总能量值符合预设标准的候选观测点作为所述目标观测点。
在上述技术方案的基础上，可选地，所述有效性能量函数包括深度能量项、中心能量项和运动能量项；
其中，深度能量项用于计算候选观测点的平均深度值接近目标深度值的程度；
中心能量项用于计算候选观测点观测到的重建模型与采集的图像画幅的中心部位的接近程度；
运动能量项用于计算候选观测点观测到的动态场景中发生运动的部分的多少。
在上述技术方案的基础上，可选地，所述有效性能量函数由如下公式表示：
Et＝λdEd+λcEc+λmEm
其中，Et为总能量项，Ed为深度能量项，Ec为中心能量项，Em为运动能量项，λd、λc和λm分别为对应各个约束项的权重系数；
所述深度能量项、中心能量项和运动能量项分别由如下公式表示：
Ed＝ψ(davg-do)
其中，Tc和TV分别为无人机阵列和候选观测点在重建模型中的位姿；tv为候选观测点位姿的平移分量；xn为射线所击中的重建模型的体素；Nx为该体素的法向；xi表示重建模型发生非刚性变形的节点；x′i表示非刚性变形后的节点；π()表示从三维空间到二维像平面的投影透视变换；davg和do分别表示候选观测点的平均深度值和目标深度值；ψ()函数表示对距离的惩罚项；r为候选观测点投射并穿过重建模型的光线；du和dv分别表示重建模型在候选观测点的平均投影像素横坐标和纵坐标；λ为阻尼因子；φ1和φ2分别用于统计候选观测点的所有射线的运动信息和所有观察到的变形节点的运动信息。
本实施例的技术方案利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，得到动态场景的三维重建模型，因此，不需要依赖额外的设备，确保了采集者的舒适度。并且，在重建过程中，实时地通过目标观测点的计算指示无人机阵列移动至该目标观测点进行拍摄，根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新模型，从而获得更加准确的三维重建模型，而且不受拍摄空间的制约，能够自动完成重建过程。
实施例五
图5是本发明实施例五提供的动态场景的三维重建系统的结构示意图，如图5所示，包括无人机阵列1和三维重建平台2。
其中，无人机阵列1中的每个无人机搭载有深度相机，用于拍摄动态场景的深度图像序列。示例性的，图5中示出了无人机阵列1包括三个无人机，分别是无人机11、无人机12和无人机13，但本发明实施例对无人机阵列中无人机的数量并不做任何限定，可以根据要重建的动态场景的实际情况进行配置。
三维重建平台2包括上述任一实施例中所述的动态场景的三维重建装置21，用于根据无人机阵列拍摄的多个连续深度图像序列生成动态场景的三维重建模型。
进一步的，三维重建平台2还包括无线通信模块22，与无人机阵列1无线连接，用于接收无人机阵列拍摄的多个连续深度图像序列，还用于将三维重建装置22计算得到的目标观测点的位置信息发送至无人机阵列1。
相应的，无人机阵列1中的每个无人机还包括导航模块，用于根据所述位置信息控制无人机移动到目标观测点对动态场景进行拍摄。
本实施例的技术方案利用无人机阵列对动态场景进行拍摄，根据拍摄到的多个连续深度图像序列进行图像融合，得到动态场景的三维重建模型，因此，不需要依赖额外的设备，确保了采集者的舒适度。并且，在重建过程中，实时地通过目标观测点的计算指示无人机阵列移动至该目标观测点进行拍摄，根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新模型，从而获得更加准确的三维重建模型，而且不受拍摄空间的制约，能够自动完成重建过程。
实施例六
图6是本发明实施例六提供的一种服务器的结构示意图。图6示出了适于用来实现本发明实施方式的示例性服务器612的框图。图6显示的服务器612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，服务器612以通用服务器的形式表现。服务器612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
服务器612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。服务器612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储装置628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
服务器612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该服务器612交互的设备通信，和/或与使得该服务器612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，服务器612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器620通过总线618与服务器612的其它模块通信。应当明白，尽管图中未示出，可以结合服务器612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的动态场景的三维重建方法，包括：
获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的动态场景的三维重建方法，包括：
获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM，或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种动态场景的三维重建方法，其特征在于，包括：
获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
2.根据权利要求1所述的方法，其特征在于，所述获取动态场景的多个连续深度图像序列包括：
获取所述无人机阵列拍摄得到的所述动态场景的多个原始深度图像序列；
根据同步时间戳对齐所述多个原始深度图像序列，得到所述多个连续深度图像序列。
3.根据权利要求1或2所述的方法，其特征在于，对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型，包括：
对所述多个连续深度图像序列进行融合，按照预设周期确定关键帧重建体，并在每一预设周期内，执行如下操作：
计算当前关键帧重建体中的非刚性变形节点的形变参数，根据所述形变参数将当前关键帧重建体里的重建模型更新至当前数据帧重建体中，其中，所述当前数据帧重建体是指每一时刻实时的重建体；
从当前数据帧重建体中提取出所述动态场景的三维重建模型；
用当前数据帧重建体替代当前关键帧重建体，作为下一预设周期内的关键帧重建体。
4.根据权利要求1所述的方法，其特征在于，根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点，包括：
根据无人机阵列当前的位姿，对其空间邻域进行栅格化，建立候选观测点集合；
利用有效性能量函数计算候选观测点集合中每一个候选观测点的总能量值；
将总能量值符合预设标准的候选观测点作为所述目标观测点。
5.根据权利要求4所述的方法，其特征在于，所述有效性能量函数包括深度能量项、中心能量项和运动能量项；
其中，深度能量项用于计算候选观测点的平均深度值接近目标深度值的程度；
中心能量项用于计算候选观测点观测到的重建模型与采集的图像画幅的中心部位的接近程度；
运动能量项用于计算候选观测点观测到的动态场景中发生运动的部分的多少。
6.根据权利要求5所述的方法，其特征在于，所述有效性能量函数由如下公式表示：
Et＝λdEd+λcEc+λmEm
其中，Et为总能量项，Ed为深度能量项，Ec为中心能量项，Em为运动能量项，λd、λc和λm分别为对应各个约束项的权重系数；
所述深度能量项、中心能量项和运动能量项分别由如下公式表示：
Ed＝ψ(davg-do)
其中，Tc和TV分别为无人机阵列和候选观测点在重建模型中的位姿；tv为候选观测点位姿的平移分量；xn为射线所击中的重建模型的体素；Nx为该体素的法向；xi表示重建模型发生非刚性变形的节点；x′i表示非刚性变形后的节点；π()表示从三维空间到二维像平面的投影透视变换；davg和do分别表示候选观测点的平均深度值和目标深度值；ψ()函数表示对距离的惩罚项；r为候选观测点投射并穿过重建模型的光线；du和dv分别表示重建模型在候选观测点的平均投影像素横坐标和纵坐标；λ为阻尼因子；φ1和φ2分别用于统计候选观测点的所有射线的运动信息和所有观察到的变形节点的运动信息。
7.一种动态场景的三维重建装置，其特征在于，包括：
图像序列获取模块，用于获取动态场景的多个连续深度图像序列，其中，所述多个连续深度图像序列是由搭载深度相机的无人机阵列拍摄得到；
图像融合模块，用于对所述多个连续深度图像序列进行融合，建立所述动态场景的三维重建模型；
目标观测点计算模块，用于根据所述三维重建模型和无人机阵列当前的位姿计算得到无人机阵列的目标观测点；
重建模型更新模块，用于指示无人机阵列移动至所述目标观测点进行拍摄，并根据无人机阵列在目标观测点拍摄的多个连续深度图像序列更新所述三维重建模型。
8.根据权利要求7所述的装置，其特征在于，所述图像序列获取模块包括：
原始图像序列获取单元，用于获取所述无人机阵列拍摄得到的所述动态场景的多个原始深度图像序列；
图像序列对齐单元，用于根据同步时间戳对齐所述多个原始深度图像序列，得到所述多个连续深度图像序列。
9.根据权利要求7或8所述的装置，其特征在于，所述图像融合模块具体用于：
对所述多个连续深度图像序列进行融合，按照预设周期确定关键帧重建体，并在每一预设周期内，执行如下操作：
计算当前关键帧重建体中的非刚性变形节点的形变参数，根据所述形变参数将当前关键帧重建体里的重建模型更新至当前数据帧重建体中，其中，所述当前数据帧重建体是指每一时刻实时的重建体；
从当前数据帧重建体中提取出所述动态场景的三维重建模型；
用当前数据帧重建体替代当前关键帧重建体，作为下一预设周期内的关键帧重建体。
10.根据权利要求7所述的装置，其特征在于，所述目标观测点计算模块包括：
候选观测点建立单元，用于根据无人机阵列当前的位姿，对其空间邻域进行栅格化，建立候选观测点集合；
能量值计算单元，用于利用有效性能量函数计算候选观测点集合中每一个候选观测点的总能量值；
目标观测点确定单元，用于将总能量值符合预设标准的候选观测点作为所述目标观测点。
11.根据权利要求10所述的装置，其特征在于，所述有效性能量函数包括深度能量项、中心能量项和运动能量项；
其中，深度能量项用于计算候选观测点的平均深度值接近目标深度值的程度；
中心能量项用于计算候选观测点观测到的重建模型与采集的图像画幅的中心部位的接近程度；
运动能量项用于计算候选观测点观测到的动态场景中发生运动的部分的多少。
12.根据权利要求11所述的装置，其特征在于，所述有效性能量函数由如下公式表示：
Et＝λdEd+λcEc+λmEm
其中，Et为总能量项，Ed为深度能量项，Ec为中心能量项，Em为运动能量项，λd、λc和λm分别为对应各个约束项的权重系数；
所述深度能量项、中心能量项和运动能量项分别由如下公式表示：
Ed＝ψ(davg-do)
其中，Tc和TV分别为无人机阵列和候选观测点在重建模型中的位姿；tv为候选观测点位姿的平移分量；xn为射线所击中的重建模型的体素；Nx为该体素的法向；xi表示重建模型发生非刚性变形的节点；x′i表示非刚性变形后的节点；π()表示从三维空间到二维像平面的投影透视变换；davg和do分别表示候选观测点的平均深度值和目标深度值；ψ()函数表示对距离的惩罚项；r为候选观测点投射并穿过重建模型的光线；du和dv分别表示重建模型在候选观测点的平均投影像素横坐标和纵坐标；λ为阻尼因子；φ1和φ2分别用于统计候选观测点的所有射线的运动信息和所有观察到的变形节点的运动信息。
13.一种动态场景的三维重建系统，其特征在于，包括无人机阵列和三维重建平台；
其中，无人机阵列中的每个无人机搭载有深度相机，用于拍摄动态场景的深度图像序列；
三维重建平台包括如权利要求7-12任一所述的动态场景的三维重建装置，用于根据无人机阵列拍摄的多个连续深度图像序列生成动态场景的三维重建模型。
14.根据权利要求13所述的系统，其特征在于，
所述三维重建平台还包括无线通信模块，与无人机阵列无线连接，用于接收无人机阵列拍摄的多个连续深度图像序列，还用于将所述三维重建装置计算得到的目标观测点的位置信息发送至无人机阵列；
相应的，所述无人机阵列中的每个无人机还包括导航模块，用于根据所述位置信息控制无人机移动到目标观测点对动态场景进行拍摄。
15.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的动态场景的三维重建方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的动态场景的三维重建方法。
CN201810155616.4A 2018-02-23 2018-02-23 动态场景的三维重建方法、装置和系统、服务器、介质 Active CN108335353B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810155616.4A CN108335353B (zh) 2018-02-23 2018-02-23 动态场景的三维重建方法、装置和系统、服务器、介质
US16/975,242 US11954870B2 (en) 2018-02-23 2019-04-23 Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
PCT/CN2019/083816 WO2019161813A1 (zh) 2018-02-23 2019-04-23 动态场景的三维重建方法以及装置和系统、服务器、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810155616.4A CN108335353B (zh) 2018-02-23 2018-02-23 动态场景的三维重建方法、装置和系统、服务器、介质

Publications (2)

Publication Number Publication Date
CN108335353A true CN108335353A (zh) 2018-07-27
CN108335353B CN108335353B (zh) 2020-12-22

Family

ID=62929819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810155616.4A Active CN108335353B (zh) 2018-02-23 2018-02-23 动态场景的三维重建方法、装置和系统、服务器、介质

Country Status (3)

Country Link
US (1) US11954870B2 (zh)
CN (1) CN108335353B (zh)
WO (1) WO2019161813A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040730A (zh) * 2018-08-20 2018-12-18 武汉理工大学 一种动态花海场景系统及其工作方法
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN109708655A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 导航方法、装置、车辆及计算机可读存储介质
CN109816778A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
WO2020034086A1 (zh) * 2018-08-14 2020-02-20 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、装置、电子设备及存储介质
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
WO2020113423A1 (zh) * 2018-12-04 2020-06-11 深圳市大疆创新科技有限公司 目标场景三维重建方法、系统及无人机
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN112233228A (zh) * 2020-10-28 2021-01-15 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112530014A (zh) * 2020-12-18 2021-03-19 北京理工大学重庆创新中心 一种多无人机室内场景三维重建方法及装置
CN112740070A (zh) * 2019-12-30 2021-04-30 深圳市大疆创新科技有限公司 控制方法、可移动平台及存储介质
CN113096144A (zh) * 2021-03-23 2021-07-09 清华大学 基于神经网络的动态人体自由视点视频的生成方法和装置
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113436318A (zh) * 2021-06-30 2021-09-24 北京市商汤科技开发有限公司 场景重建方法、装置、电子设备和计算机存储介质
CN113643421A (zh) * 2021-07-06 2021-11-12 北京航空航天大学 图像的三维重建方法和三维重建装置
CN114494984A (zh) * 2022-04-18 2022-05-13 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113557548A (zh) * 2019-09-19 2021-10-26 北京航迹科技有限公司 生成位姿图的系统和方法
CN111462298B (zh) * 2020-02-24 2023-03-28 西安电子科技大学 一种重建水下三维场景的方法
CN112865897B (zh) * 2021-01-13 2022-08-02 山东师范大学 一种无人机对地面场景的非平稳信道仿真方法及系统
CN112766215A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 人脸融合方法、装置、电子设备及存储介质
CN113409444B (zh) * 2021-05-21 2023-07-11 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN113808253B (zh) * 2021-08-31 2023-08-15 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN113822896B (zh) * 2021-08-31 2024-04-23 北京市农林科学院信息技术研究中心 一种植物群体三维表型数据采集装置及方法
CN114022537B (zh) * 2021-10-29 2023-05-05 浙江东鼎电子股份有限公司 一种用于动态称重区域车辆装载率和偏载率分析方法
CN114373041B (zh) * 2021-12-15 2024-04-02 聚好看科技股份有限公司 一种三维重建方法及设备
CN114299252B (zh) * 2021-12-30 2024-04-02 中国电信股份有限公司 通用三维模型重建方法及装置、存储介质及电子设备
CN114429495B (zh) * 2022-03-14 2022-08-30 荣耀终端有限公司 一种三维场景的重建方法和电子设备
CN114812503A (zh) * 2022-04-14 2022-07-29 湖北省水利水电规划勘测设计院 基于机载激光扫描的陡崖点云提取方法
CN115222875A (zh) * 2022-06-01 2022-10-21 支付宝(杭州)信息技术有限公司 模型的确定方法、局部场景重建方法、介质、设备及产品
CN114812540B (zh) * 2022-06-23 2022-11-29 深圳市普渡科技有限公司 一种建图方法、装置和计算机设备
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN115048820B (zh) * 2022-08-15 2022-11-04 中国长江三峡集团有限公司 一种电化学储能集装箱的三维温度场动态重构方法及装置
CN115223067B (zh) * 2022-09-19 2022-12-09 季华实验室 应用于无人机的点云融合方法、装置、设备及存储介质
CN116437063A (zh) * 2023-06-15 2023-07-14 广州科伊斯数字技术有限公司 一种三维图像显示系统及方法
CN116721143B (zh) * 2023-08-04 2023-10-20 南京诺源医疗器械有限公司 3d医学图像的深度信息处理装置及方法
CN116778066B (zh) * 2023-08-24 2024-01-26 先临三维科技股份有限公司 数据处理方法、装置、设备及介质
CN116824070B (zh) * 2023-08-31 2023-11-24 江西求是高等研究院 一种基于深度图像的实时三维重建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN105786016A (zh) * 2016-03-31 2016-07-20 深圳奥比中光科技有限公司 无人机以及rgbd图像的处理方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192354B2 (en) * 2015-04-14 2019-01-29 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data using UAVS for cell sites
CN105184863A (zh) 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN105225241B (zh) 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10878365B2 (en) * 2016-09-28 2020-12-29 Federal Express Corporation Aerial drone-based systems and methods for adaptively providing an aerial relocatable communication hub within a delivery vehicle
CN106698762B (zh) 2017-01-16 2023-07-04 陕西省石油化工研究设计院 乳胶漆废水预处理装置
CN108335353B (zh) 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
US11740630B2 (en) * 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN105786016A (zh) * 2016-03-31 2016-07-20 深圳奥比中光科技有限公司 无人机以及rgbd图像的处理方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LAN XU等: "FlyCap: Markerless Motion Capture Using Multiple Autonomous Flying Cameras", 《HTTP://IEEEXPLORE.IEEE.ORG/DOCUMENT/7983006》 *
MAIK KELLER等: "Real-time 3D Reconstruction in Dynamic Scenes using Point-based Fusion", 《2013 INTERNATIONAL CONFERENCE ON 3D VISION-3DV 2013》 *
刘少强等: "基于立体视觉的三维重建方法研究", 《中国优秀硕士论文全文数据库 信息科技辑（月刊）》 *
赵龙等: "改进ICP算法用于多组图像的点云拼接与融合", 《软件》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161813A1 (zh) * 2018-02-23 2019-08-29 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法以及装置和系统、服务器、介质
US11954870B2 (en) 2018-02-23 2024-04-09 Tsinghua University Dynamic scene three-dimensional reconstruction method, apparatus and system, server, and medium
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
WO2020034086A1 (zh) * 2018-08-14 2020-02-20 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、装置、电子设备及存储介质
CN109040730A (zh) * 2018-08-20 2018-12-18 武汉理工大学 一种动态花海场景系统及其工作方法
CN109040730B (zh) * 2018-08-20 2020-03-17 武汉理工大学 一种动态花海场景系统及其工作方法
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
WO2020113423A1 (zh) * 2018-12-04 2020-06-11 深圳市大疆创新科技有限公司 目标场景三维重建方法、系统及无人机
CN111433818A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标场景三维重建方法、系统及无人机
CN109708655A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 导航方法、装置、车辆及计算机可读存储介质
CN109816778A (zh) * 2019-01-25 2019-05-28 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN109816778B (zh) * 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
US11182928B2 (en) 2019-02-28 2021-11-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining rotation angle of engineering mechanical device
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN112740070A (zh) * 2019-12-30 2021-04-30 深圳市大疆创新科技有限公司 控制方法、可移动平台及存储介质
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN111489392B (zh) * 2020-03-30 2022-09-09 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN112233228A (zh) * 2020-10-28 2021-01-15 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112233228B (zh) * 2020-10-28 2024-02-20 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112530014A (zh) * 2020-12-18 2021-03-19 北京理工大学重庆创新中心 一种多无人机室内场景三维重建方法及装置
CN112530014B (zh) * 2020-12-18 2023-07-25 北京理工大学重庆创新中心 一种多无人机室内场景三维重建方法及装置
CN113096144B (zh) * 2021-03-23 2022-07-29 清华大学 基于神经网络的动态人体自由视点视频的生成方法和装置
CN113096144A (zh) * 2021-03-23 2021-07-09 清华大学 基于神经网络的动态人体自由视点视频的生成方法和装置
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113436318A (zh) * 2021-06-30 2021-09-24 北京市商汤科技开发有限公司 场景重建方法、装置、电子设备和计算机存储介质
CN113643421A (zh) * 2021-07-06 2021-11-12 北京航空航天大学 图像的三维重建方法和三维重建装置
CN113643421B (zh) * 2021-07-06 2023-08-25 北京航空航天大学 图像的三维重建方法和三维重建装置
CN114494984A (zh) * 2022-04-18 2022-05-13 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法
CN114494984B (zh) * 2022-04-18 2022-07-22 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法

Also Published As

Publication number Publication date
WO2019161813A1 (zh) 2019-08-29
US20210074012A1 (en) 2021-03-11
CN108335353B (zh) 2020-12-22
US11954870B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN108335353A (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
JP7364809B2 (ja) レイキャスティングおよびライブ深度を使用したオクルージョンレンダリングの方法
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
KR102227229B1 (ko) 추적 및 맵핑 오차에 강한 대규모 표면 재구성 기법
KR101608253B1 (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
JP4392507B2 (ja) ３次元サーフェス生成方法
CN106716497B (zh) 在表面重构中使用自由形式变形
US9098930B2 (en) Stereo-aware image editing
WO2018009473A1 (en) Motion capture and character synthesis
CN111640175A (zh) 一种物体建模运动方法、装置与设备
US20080024523A1 (en) Generating images combining real and virtual images
US20130127847A1 (en) System and Method for Interactive Image-based Modeling of Curved Surfaces Using Single-view and Multi-view Feature Curves
CN111161336B (zh) 三维重建方法、三维重建装置和计算机可读存储介质
US20120081357A1 (en) System and method for interactive painting of 2d images for iterative 3d modeling
WO2022205760A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
JP2023514289A (ja) ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
JP2022533207A (ja) 稠密３ｄ再構築データのキャッシュおよび更新
US8670606B2 (en) System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency
EP3756163A1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
JP6852224B2 (ja) 全視角方向の球体ライトフィールドレンダリング方法
CN114219001A (zh) 一种模型融合方法及相关装置
CA2716257A1 (en) System and method for interactive painting of 2d images for iterative 3d modeling
WO2020173222A1 (zh) 物品虚拟化处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221129

Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen International Graduate School of Tsinghua University

Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE