CN108805979B - 一种动态模型三维重建方法、装置、设备和存储介质 - Google Patents
一种动态模型三维重建方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108805979B CN108805979B CN201810612051.8A CN201810612051A CN108805979B CN 108805979 B CN108805979 B CN 108805979B CN 201810612051 A CN201810612051 A CN 201810612051A CN 108805979 B CN108805979 B CN 108805979B
- Authority
- CN
- China
- Prior art keywords
- target object
- color image
- model
- current
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种动态模型三维重建方法、装置、设备和存储介质，其中，动态模型三维重建方法包括：获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息；其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的各帧彩色图像。本发明实施例为用户提供了良好的交互式目标物体动态模型三维重建体验。
Description
技术领域
本发明实施例涉及计算机图形学和计算机视觉技术领域，尤其涉及一种动态模型三维重建方法、装置、设备和存储介质。
背景技术
三维物体动态模型在虚拟现实、3D游戏等众多领域有广泛的应用，因此，物体动态模型三维重建是图像数据处理领域的一个重要问题。
现有的物体动态模型三维重建方法主要有三种，分别是基于激光扫描的三维重建方法、基于切片的三维重建方法以及基于图像的三维重建方法。利用上述三维重建方法重建出的目标物体动态三维模型一般只包含目标物体结构信息，而没有结合其他的图像信息，导致用户对目标物体动态模型三维重建体验不佳。
发明内容
本发明提供一种动态模型三维重建方法、装置、设备和存储介质，为用户提供了良好的交互式目标物体动态模型三维重建体验。
第一方面，本发明实施例提供了一种动态模型三维重建方法，该方法包括：
获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的各顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的各帧彩色图像。
第二方面，本发明实施例还提供了一种动态模型三维重建装置，该装置包括：
图像获取模块，用于获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
模型获取模块，用于利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
颜色信息确定模块，用于根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的各顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的各帧彩色图像。
第三方面，本发明实施例还提供了一种动态模型三维重建设备，该设备包括：
图像采集装置，用于采集目标物体的深度图像及与所述深度图像相对应的彩色图像；
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的动态模型三维重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的动态模型三维重建方法。
本发明实施例提供的动态模型三维重建方法、装置、设备和存储介质，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，再根据当前帧彩色图像与前置彩色图像中的关键帧，确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的颜色信息，克服了现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。
附图说明
下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：
图1是本发明实施例一中的一种动态模型三维重建方法的流程图；
图2是本发明实施例二中的一种动态模型三维重建方法的流程图；
图3是本发明实施例三中的一种动态模型三维重建方法的流程图；
图4是本发明实施例四中的一种动态模型三维重建方法的流程图；
图5是本发明实施例五中的一种动态模型三维重建方法的流程图；
图6是本发明实施例六中的一种动态模型三维重建装置的结构示意图；
图7是本发明实施例七中的一种动态模型三维重建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种动态模型三维重建方法的流程图，本实施例可适用于需要重建带有颜色信息的目标物体动态三维模型的情况，该方法可以由动态模型三维重建装置来执行，其中该装置可由软件和/或硬件实现。如图1所示，该方法具体包括：
S110、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
其中，深度图像为三维灰度图像，深度图像的水平垂直坐标对应每个像素点的位置，每个像素点的灰度值表征该像素点距离摄像头的远近，即深度图像中的每个像素点都可以表示空间中的一个具有三维坐标的点。将深度图像中的各个像素点映射到三维空间中，可以形成与目标物体的运动状态相对应的一组三维点云，其中三维点云可以用于构建目标物体重建模型。彩色图像为普通RGB彩色图像，其记录了目标物体的颜色信息。
本实施例中，可以利用扫描仪扫描或相机拍摄的方式实时的获取目标物体的深度图像和彩色图像。对于当前时刻的目标物体，其对应当前帧深度图像以及与当前帧深度图像相对应的当前帧彩色图像。其中，当前帧彩色图像能够与当前帧深度图像完全对齐，即当前帧彩色图像中的像素点能够与当前帧深度图像中的像素点一一对应。
S120、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型；第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型；目标物体重建模型反映与其对应的目标物体的当前运动状态，其由各个顶点构成，每个顶点可以包含位置信息，其中位置信息可以利用深度图像确定。
本实施例中，在上一帧深度图像对应的目标物体重建模型的基础上，可以利用当前帧深度图像记录的能够表征当前目标物体运动的特征信息，重新构建与当前帧深度图像相对应的目标物体重建模型。
S130、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息。
其中，前置彩色图像为在当前帧彩色图像之前获取到的各帧彩色图像；关键帧为当目标物体在运动或变化时，记录目标物体关键动作的那一帧彩色图像。本实施例中，目标物体的每个顶点还可以包含颜色信息。其中，各顶点的颜色信息可以利用当前帧彩色图像与前置彩色图像中的各关键帧确定。
本实施例提供的动态模型三维重建方法，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，再根据当前帧彩色图像与前置彩色图像中的关键帧，确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的颜色信息，克服了现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。
在上述技术方案的基础上，进一步的，获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，可以包括：
利用深度相机获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
其中，深度相机为可以直接获取实际场景中目标物体距离摄像头物理距离的相机，该相机可以同时获取实际场景中目标物体的深度图像和彩色图像。本实施例中，利用深度相机同时获取目标物体的深度图像和彩色图像，克服了现有依赖价格昂贵的激光扫描仪或者多相机阵列系统来获取图像信息的不足，大大降低了图像信息的采集成本，同时，利用深度相机还能够实现快速准确的对目标物体的识别与追踪。
实施例二
图2是本发明实施例二提供的一种动态模型三维重建方法的流程图。本实施例在上述各实施例的基础上，将根据所述当前帧彩色图像与前置彩色图像中的关键帧，确定所述第二目标物体重建模型中的各顶点的颜色信息，进一步优化为：根据当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息；其中，所述各前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的各关键帧。如图2所示，该方法具体包括：
S210、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S220、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
S230、根据当前帧彩色图像是否满足预设条件，确定与当前帧深度图像相对应的当前彩色图像关键帧。
本实施例中，由于图像序列中的各关键帧记录的是目标物体的关键动作，当前帧彩色图像可能会由于其采集到的信息不是目标物体的关键动作，导致其并不是关键帧。因此，当前帧彩色图像和前置彩色图像中的关键帧的数目小于当前帧彩色图像和前置彩色图像的总数目。又由于每个深度图像对应一个目标物体重建模型，为了利用各关键帧中的颜色信息，确定与当前帧深度图像相对应的目标物体重建模型中各顶点的颜色信息，可以先确定与当前帧深度图像相对应的当前彩色图像关键帧。其中，如果当前帧彩色图像满足预设条件，则确定与当前帧深度图像相对应的当前帧彩色图像为当前彩色图像关键帧，如果当前帧彩色图像不能满足预设条件，则确定与当前帧深度图像相对应的当前帧彩色图像不是当前彩色图像关键帧。其中，预设条件可以是目标物体关键动作的各运动参数阈值，也可以是覆盖模型顶点比例阈值等。
S240、利用当前彩色图像关键帧和各前置彩色图像关键帧确定第二目标物体重建模型中的各顶点的颜色信息。
其中，各前置彩色图像关键帧为在当前彩色图像关键帧之前确定的各关键帧。在上述确定了当前彩色图像关键帧之后，可以利用当前彩色图像关键帧和各前置彩色图像关键帧中记录的目标物体的颜色信息，确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的颜色信息。
本实施例提供的动态模型三维重建方法，通过获取目标物体的深度图像及与深度图像相对应的彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，并利用关键帧确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的颜色信息，克服了现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。此外，还利用当前彩色图像关键帧和各前置彩色图像关键帧，而不是仅利用当前彩色图像关键帧，获取目标物体重建模型中各顶点的颜色信息，增加了目标物体重建模型的颜色信息的完整性。
在上述各实施例的基础上，进一步的，在确定与当前帧深度图像相对应的当前彩色图像关键帧之前，还包括：
当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定彩色图像为具有运动模糊的彩色图像，去除具有运动模糊的彩色图像。
在确定各关键帧的过程中，为了减少计算量和加快模型重建速度，可以在确定与当前深度图像相对应的当前彩色图像关键帧之前，将具有运动模糊的彩色图像去除。具体的，利用图像模糊程度计算方法计算彩色图像的运动模糊程度，若计算出的彩色图像的运动模糊程度大于或等于预设模糊程度阈值，则确定相对应的彩色图像为具有运动模糊的彩色图像，此时去除该彩色图像；若计算出的彩色图像的运动模糊程度小于预设模糊程度阈值，则确定相对应的彩色图像为有效的彩色图像，此时保留该彩色图像。其中，预设模糊程度阈值优选可以是0.6，以保证能够去除足够多的具有运动模糊的彩色图像。
实施例三
图3是本发明实施例三提供的一种动态模型三维重建方法的流程图。本实施例在上述各实施例的基础上进一步优化。如图3所示，该方法具体包括：
S310、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S320、利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型。
S330、计算当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值。
其中，完整的目标物体模型顶点个数为确定已知的，其根据目标物体的不同存在差异，即目标物体不同，其对应的完整的目标物体模型顶点个数也是不同的。由于彩色图像能够与深度图像完全对齐，彩色图像中的像素点能够与深度图像中的像素点一一对应，又由于深度图像可以映射到三维空间形成具有距离信息的三维点云，因此，与深度图像相对应的彩色图像也同样能够映射到三维空间形成具有颜色信息的一组三维点云。其中，三维点云可以反映目标物体的运动状态，其对应完整的目标物体模型顶点中的部分模型顶点。
本实施例中，可以将当前帧彩色图像与前置彩色图像进行融合，以确定融合后的模型顶点个数。具体的，可以将当前帧彩色图像映射为一组三维点云，将前置彩色图像映射为多组三维点云。其中，多组三维点云与一组三维点云中的任意一组都可以对应完整的目标物体模型顶点中的部分模型顶点。将上述多组三维点云与一组三维点云进行融合(相同部位的顶点视为同一顶点，不同部位的顶点相对位置不变)得到总的模型顶点个数，计算融合后对应的模型顶点个数与已知的完整的目标物体模型顶点个数的比值，并将该比值作为第一比值。
S340、计算将各前置彩色图像关键帧融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第二比值。
本实施例中，确定各前置彩色图像关键帧融合后对应的模型顶点个数的方法，与上述确定当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数的方法相同。具体的，可以将各前置彩色图像关键帧映射为多组三维点云，并将该多组三维点云进行融合得到总的模型顶点个数，计算融合后对应的模型顶点个数与已知的完整的目标物体模型顶点个数的比值，并将该比值作为第二比值。
S350、若第一比值与第二比值的差值大于预设阈值，则确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；若第一比值与第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。
本实施例中，可以利用模型完整性判断依据函数来确定与当前深度图像相对应的当前彩色图像关键帧。其中，模型完整性判断依据函数表达式如下：
其中，
为第一比值；
为第二比值；u为第一比值与第二比值之间的差值，依据u的大小可以确定当前帧彩色图像是否是当前彩色图像关键帧。
具体的，若第一比值与第二比值的差值大于预设阈值，则确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；若第一比值与第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。其中，预设阈值优选可以是0.2。
S360、利用当前彩色图像关键帧对应的深度图像，将当前彩色图像关键帧映射为包含颜色信息的单组三维点云。
其中，当前彩色图像关键帧对应的深度图像，为能够与当前彩色图像关键帧完全对齐，并且像素点能够一一对应的深度图像。利用该深度图像的映射方式将当前彩色图像关键帧映射到三维空间，得到包含颜色信息的单组三维点云。
S370、利用各前置彩色图像关键帧对应的深度图像，将各前置彩色图像关键帧分别映射为包含颜色信息的多组三维点云。
其中，各前置彩色图像关键帧对应的深度图像，为能够分别与各前置彩色图像关键帧完全对齐，并且像素点能够一一对应的深度图像。利用各深度图像的映射方式将各前置彩色图像关键帧分别映射到三维空间，得到包含颜色信息的多组三维点云。
S380、将单组三维点云与多组三维点云进行融合，得到包含颜色信息的融合后的点云。
本实施例中，将上述多组三维点云与单组三维点云进行融合，具体的，将相同部位的顶点视为同一顶点，不同部位的顶点相对位置不变，最终得到包含颜色信息的融合后的点云。其中，融合后的点云和当前帧深度图像对应的目标物体重建模型中的各顶点相对应。
S390、从融合后的点云中提取与第二目标物体重建模型中的各顶点相对应的颜色信息，并将颜色信息赋予第二目标物体重建模型中相应的顶点。
本实施例中，将与当前帧深度图像相对应的目标物体重建模型中的各顶点与融合后的点云进行一一对应，并从融合后的点云中提取出与该目标物体重建模型中的各顶点相对应的颜色信息，赋予该目标物体重建模型中相应的顶点，利用上述方式确定该目标物体重建模型中的各顶点的颜色信息。
本实施例提供的动态模型三维重建方法，在上述各实施例的基础上，通过利用模型完整性判断依据来确定当前彩色图像关键帧，并将当前彩色图像关键帧和前置彩色图像关键帧映射到三维空间，获得多组包含颜色信息的三维点云并融合，最终利用融合后的三维点云确定目标物体重建模型中的各顶点的颜色信息，在为用户提供了良好的交互式目标物体动态模型三维重建体验，增加目标物体重建模型的颜色信息的完整性的同时，提高了目标物体重建模型中颜色信息的准确性。
实施例四
图4是本发明实施例四提供的一种动态模型三维重建方法的流程图。本实施例在上述各实施例的基础上，将利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型，进一步优化为：将所述当前帧深度图像映射为三维点云；根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数；将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；利用所述运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定所述第二目标物体重建模型中的各顶点的位置，获得所述第二目标物体重建模型，如图4所示，该方法具体包括：
S410、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S420、将当前帧深度图像映射为三维点云。
本实施例中，可以将当前帧深度图像映射到三维空间中，形成与目标物体的运动状态相对应的一组三维点云。以采用深度相机获取当前帧深度图像和当前帧彩色图像为例进行详细说明，具体的：可以获取深度相机的内参矩阵，根据获取到的内参矩阵将当前帧深度图像映射到三维空间中得到一组三维点云。
其中，利用深度相机的内参矩阵进行映射的映射公式为：
其中，u,v为像素点坐标，d(u,v)为深度图像上像素点(u,v)位置处的灰度值(或深度值)，所述
为深度相机内参矩阵。
S430、根据三维点云和第一目标物体重建模型，求解第二目标物体重建模型上的各顶点所对应的运动参数。
其中，运动参数可以包括非刚性运动位置变换参数和物体姿态参数。将当前帧深度图像进行映射得到三维点云，该三维点云与目标物体的当前运动状态相对应。利用上述三维点云与上一帧深度图像对应的目标物体重建模型中的各顶点的相对位置关系，求解与当前帧深度图像相对应的目标物体重建模型上的各顶点所对应的运动参数。
S440、将三维点云与第一目标物体重建模型进行融合，以使第一目标物体重建模型包括三维点云的所有点。
本实施例中，由当前帧深度图像映射得到的三维点云对应目标物体的当前运动状态，而由上一帧深度图像映射得到的三维点云对应目标物体的前置运动状态，因此，由当前帧深度图像映射得到的三维点云可能包含上一帧深度图像对应的目标物体重建模型没有包含的顶点信息。为了利用当前帧深度图像获取更加完整的目标物体重建模型的顶点信息，可以将三维点云与上一帧深度图像对应的目标物体重建模型进行融合，以使上一帧深度图像对应的目标物体重建模型包含上述三维点云中的所有点，以便后续重建出的与当前帧深度图像相对应的目标物体重建模型更加精确。
S450、利用运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定第二目标物体重建模型中的各顶点的位置，获得第二目标物体重建模型。
本实施例中，利用与各顶点对相对应的运动参数，分别调整融合后的上一帧深度图像对应的目标物体重建模型中的各顶点，以确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的具体位置，进而获得与当前帧深度图像相对应的目标物体重建模型。
S460、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息。
本实施例提供的动态模型三维重建方法，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像映射得到的三维点云和与上一帧深度图像相对应的目标物体重建模型，求解与当前帧深度图像相对应的目标物体重建模型上的各顶点所对应的运动参数，并利用运动参数调整融合后的与上一帧深度图像相对应的目标物体重建模型中相应的顶点，获得与当前帧深度图像相对应的目标物体重建模型，再根据获取到的彩色图像中的关键帧，确定该目标物体重建模型中的各顶点的颜色信息，在克服现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验的同时，提高了目标物体重建模型的结构和姿态的准确性。
实施例五
图5是本发明实施例五提供的一种动态模型三维重建方法的流程图。本实施例在上述各实施例的基础上进一步优化。如图5所示，该方法具体包括：
S510、获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像。
S520、将当前帧深度图像映射为三维点云。
S530、将第一目标物体重建模型上的各顶点与三维点云进行匹配，得到各匹配点对。
本实施例中，由当前帧深度图像映射得到的三维点云可能包含上一帧深度图像对应的目标物体重建模型中的各顶点没有包含的顶点信息，为了利用当前帧深度图像的特征信息调整上一帧深度图像对应的目标物体重建模型，进而获得与当前帧深度图像相对应的目标物体重建模型，可以借助由当前帧深度图像映射得到的三维点云与上一帧深度图像对应的目标物体重建模型中的各顶点之间的共有顶点。具体的，可以将上一帧深度图像对应的目标物体重建模型中的各顶点与三维点云进行一一匹配，将匹配得到的共有顶点作为各匹配点对。
S540、利用与各匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，运动参数为所述能量函数的自变量。
其中，所述能量函数的表达式如下：
Et＝λnEn+λsEs+λgEg
其中，Et为总能量项，En为所述非刚性运动约束项，Es为所述骨架运动约束项，Eg为所述局部刚性运动约束项，λn为与所述非刚性运动约束项相对应的权重系数，λs为与所述骨架运动约束项相对应的权重系数，λg为与所述局部刚性运动约束项相对应的权重系数；
其中，所述非刚性运动约束项的表达式为：
所述骨架运动约束项的表达式为：
所述局部刚性运动约束项的表达式为：
其中，
表示经过非刚性运动驱动后，所述第二目标物体重建模型的顶点坐标，
表示与经过非刚性运动驱动后的顶点坐标相对应的法向，ui表示同一匹配点对中所述三维点云的位置坐标，ci表示所述匹配点对集合中的第i个元素；
表示经过物体骨架运动驱动后，所述第二目标物体重建模型的顶点坐标，
表示与经过物体骨架运动驱动后的顶点坐标相对应的法向；在局部刚性运动约束项Eg中，k表示所述第一目标物体重建模型上的第k个顶点，
表示所述第一目标物体重建模型上第k个顶点周围的邻近顶点的集合，
表示局部刚性运动对所述第一目标物体重建模型表面顶点vk的驱动作用，
表示局部刚性运动对所述第一目标物体重建模型表面顶点vj的驱动作用，
表示作用在vk上的局部刚性运动作用在vj上的位置变换效果，
表示作用在vj上的局部刚性运动作用在vj上的位置变换效果，
表示
与
之间差值的范数。
S550、利用预设算法求解使能量函数最小的运动参数。
其中，预设算法优选可以是高斯牛顿法。利用高斯牛顿法求解使上述能量函数最小的运动参数，作为调整上一帧深度图像对应的目标物体重建模型中的各匹配点的运动参数。
S560、将三维点云与第一目标物体重建模型进行融合，以使第一目标物体重建模型包括三维点云的所有点。
S570、利用运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定第二目标物体重建模型中的各顶点的位置，获得第二目标物体重建模型。
S580、根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息。
本实施例提供的动态模型三维重建方法，在上述实施例的基础上，通过将上一帧深度图像对应的目标物体重建模型上的各顶点与当前帧深度图像映射得到的三维点云进行匹配，得到各匹配点对，利用能量函数的表达式以及各约束项求解用于调整各匹配点对的运动参数，最终利用各运动参数确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的位置，获得与当前帧深度图像相对应的目标物体重建模型，在克服现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验的同时，进一步提高了目标物体重建模型的结构和姿态的准确性。
实施例六
图6为本发明实施例六提供的一种动态模型三维重建装置的结构示意图。如图6所示，该装置包括：
图像获取模块610，用于获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；
模型获取模块620，用于利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
颜色信息确定模块630，用于根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息。
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的各帧彩色图像。
本实施例提供的动态模型三维重建装置，通过获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像，利用当前帧深度图像以及与上一帧深度图像相对应的目标物体重建模型，得到与当前帧深度图像相对应的目标物体重建模型，再根据当前帧彩色图像与前置彩色图像中的关键帧，确定与当前帧深度图像相对应的目标物体重建模型中的各顶点的颜色信息，克服了现有三维重建方法重建出的目标物体动态三维模型只包含目标物体的结构信息，而不能结合目标物体颜色信息的不足，为用户提供了良好的交互式目标物体动态模型三维重建体验。
进一步的，颜色信息确定模块630可以包括：
当前关键帧确定子模块，用于根据当前帧彩色图像是否满足预设条件，确定与当前帧深度图像相对应的当前彩色图像关键帧；
颜色信息确定子模块，用于利用当前彩色图像关键帧和各前置彩色图像关键帧确定第二目标物体重建模型中的各顶点的颜色信息；
其中，所述各前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的各关键帧。
进一步的，当前关键帧确定子模块可以包括：
第一比值计算单元，用于计算当前帧彩色图像与前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
第二比值计算单元，用于计算将各前置彩色图像关键帧融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第二比值；
当前关键帧确定单元，用于在第一比值与第二比值的差值大于预设阈值的情况下，确定当前帧彩色图像为与当前帧深度图像相对应的当前彩色图像关键帧；以及在第一比值与第二比值的差值小于或等于预设阈值的情况下，确定上一帧彩色图像关键帧为与当前帧深度图像相对应的当前彩色图像关键帧。
进一步的，该装置还可以包括：
模糊图像去除模块，用于在确定与当前帧深度图像相对应的当前彩色图像关键帧之前，当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定彩色图像为具有运动模糊的彩色图像，去除具有运动模糊的彩色图像。
进一步的，颜色信息确定子模块可以包括：
单组三维点云获取单元，用于利用当前彩色图像关键帧对应的深度图像，将当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
多组三维点云获取单元，用于利用各前置彩色图像关键帧对应的深度图像，将各前置彩色图像关键帧分别映射为包含颜色信息的多组三维点云；
融合点云获取单元，用于将单组三维点云与多组三维点云进行融合，得到包含颜色信息的融合后的点云；
颜色信息确定单元，用于从融合后的点云中提取与第二目标物体重建模型中的各顶点相对应的颜色信息，并将颜色信息赋予第二目标物体重建模型中相应的顶点。
进一步的，模型获取模块620可以包括：
三维点云获取子模块，用于将当前帧深度图像映射为三维点云；
运动参数求解子模块，用于根据三维点云和第一目标物体重建模型，求解第二目标物体重建模型上的各顶点所对应的运动参数；
三维点云融合子模块，用于将三维点云与第一目标物体重建模型进行融合，以使第一目标物体重建模型包括三维点云的所有点；
模型获取子模块，用于利用运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定第二目标物体重建模型中的各顶点的位置，获得第二目标物体重建模型；
其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
进一步的，运动参数求解子模块可以包括：
匹配点对确定单元，用于将第一目标物体重建模型上的各顶点与三维点云进行匹配，得到各匹配点对；
能量函数构造单元，用于利用与各匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，运动参数为能量函数的自变量；
运动参数求解单元，用于利用预设算法求解使能量函数最小的运动参数。
本发明实施例所提供的动态模型三维重建装置可执行本发明任意实施例所提供的动态模型三维重建方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七中的动态模型三维重建设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性动态模型三维重建设备712的框图。图7显示的动态模型三维重建设备712仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，动态模型三维重建设备712以通用计算设备的形式表现。动态模型三维重建设备712的组件可以包括但不限于：一个或者多个处理器716，存储器728，连接不同系统组件(包括存储器728和处理器716)的总线718，除此之外，动态模型三维重建设备712还包括：图像采集装置713，用于采集目标物体的深度图像及与深度图像相对应的彩色图像，图像采集装置713可以是深度相机，该深度相机可以固定不动，也可以移动或旋转；该深度相机还可以安装在手机或可穿戴式头盔上。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
动态模型三维重建设备712典型地包括多种计算机系统可读介质。这些介质可以是任何能够被动态模型三维重建设备712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)730和/或高速缓存存储器732。动态模型三维重建设备712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置734可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本发明所描述的实施例中的功能和/或方法。
动态模型三维重建设备712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等，其中，显示器724可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该动态模型三维重建设备712交互的设备通信，和/或与使得该动态模型三维重建设备712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且，动态模型三维重建设备712还可以通过网络适配器720与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与动态模型三维重建设备712的其它模块通信。应当明白，尽管图7中未示出，可以结合动态模型三维重建设备712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器716通过运行存储在存储器728中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的动态模型三维重建方法。
实施例八
本发明实施例八提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的动态模型三维重建方法，包括：
获取目标物体的当前帧深度图像及与当前帧深度图像相对应的当前帧彩色图像；
利用当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
根据当前帧彩色图像与前置彩色图像中的关键帧，确定第二目标物体重建模型中的各顶点的颜色信息；
其中，第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，第二目标物体重建模型为与当前帧深度图像相对应的目标物体重建模型，前置彩色图像为在当前帧彩色图像之前获取到的各帧彩色图像。
当然，本发明实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于执行如上所述的方法操作，还可以执行本发明任意实施例所提供的动态模型三维重建方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种动态模型三维重建方法，其特征在于，包括：
获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
根据所述当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；
利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的各帧彩色图像；所述各前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的各关键帧；
其中，根据所述当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧，包括：
计算所述当前帧彩色图像与所述前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
计算将所述各前置彩色图像关键帧融合后对应的模型顶点个数与所述完整的目标物体模型顶点个数的第二比值；
若所述第一比值与所述第二比值的差值大于预设阈值，则确定当前帧彩色图像为与所述当前帧深度图像相对应的当前彩色图像关键帧；
若所述第一比值与所述第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与所述当前帧深度图像相对应的当前彩色图像关键帧。
2.根据权利要求1所述的方法，其特征在于，在确定与所述当前帧深度图像相对应的当前彩色图像关键帧之前，还包括：
当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定所述彩色图像为具有运动模糊的彩色图像，去除所述具有运动模糊的彩色图像。
3.根据权利要求1所述的方法，其特征在于，利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息，包括：
利用所述当前彩色图像关键帧对应的深度图像，将所述当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
利用所述各前置彩色图像关键帧对应的深度图像，将所述各前置彩色图像关键帧分别映射为包含颜色信息的多组三维点云；
将所述单组三维点云与所述多组三维点云进行融合，得到包含颜色信息的融合后的点云；
从所述融合后的点云中提取与所述第二目标物体重建模型中的各顶点相对应的颜色信息，并将所述颜色信息赋予所述第二目标物体重建模型中相应的顶点。
4.根据权利要求1所述的方法，其特征在于，利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型，包括：
将所述当前帧深度图像映射为三维点云；
根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数；
将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；
利用所述运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定所述第二目标物体重建模型中的各顶点的位置，获得所述第二目标物体重建模型；
其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
5.根据权利要求4所述的方法，其特征在于，根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数，包括：
将所述第一目标物体重建模型上的各顶点与所述三维点云进行匹配，得到各匹配点对；
利用与各匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，所述运动参数为所述能量函数的自变量；
利用预设算法求解使所述能量函数最小的所述运动参数。
6.根据权利要求5所述的方法，其特征在于，所述能量函数的表达式如下：
Et＝λnEn+λsEs+λgEg
其中，Et为总能量项，En为所述非刚性运动约束项，Es为所述骨架运动约束项，Eg为所述局部刚性运动约束项，λn为与所述非刚性运动约束项相对应的权重系数，λs为与所述骨架运动约束项相对应的权重系数，λg为与所述局部刚性运动约束项相对应的权重系数；
其中，所述非刚性运动约束项的表达式为：
所述骨架运动约束项的表达式为：
所述局部刚性运动约束项的表达式为：
其中，
表示经过非刚性运动驱动后，所述第二目标物体重建模型的顶点坐标，
表示与经过非刚性运动驱动后的顶点坐标相对应的法向，ui表示同一匹配点对中所述三维点云的位置坐标，ci表示所述匹配点对集合中的第i个元素；
表示经过物体骨架运动驱动后，所述第二目标物体重建模型的顶点坐标，
表示与经过物体骨架运动驱动后的顶点坐标相对应的法向；在局部刚性运动约束项Eg中，k表示所述第一目标物体重建模型上的第k个顶点，
表示所述第一目标物体重建模型上第k个顶点周围的邻近顶点的集合，
表示局部刚性运动对所述第一目标物体重建模型表面顶点vk的驱动作用，
表示局部刚性运动对所述第一目标物体重建模型表面顶点vj的驱动作用，
表示作用在vk上的局部刚性运动作用在vj上的位置变换效果，
表示作用在vj上的局部刚性运动作用在vj上的位置变换效果，
表示
与
之间差值的范数。
7.根据权利要求1所述的方法，其特征在于，所述获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像，包括：
利用深度相机获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像。
8.一种动态模型三维重建装置，其特征在于，包括：
图像获取模块，用于获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；
模型获取模块，用于利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；
当前关键帧确定子模块，用于根据所述当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；
颜色信息确定子模块，用于利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息；
其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的各帧彩色图像；所述各前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的各关键帧；
其中，所述当前关键帧确定子模块包括：
第一比值计算单元，用于计算所述当前帧彩色图像与所述前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；
第二比值计算单元，用于计算将所述各前置彩色图像关键帧融合后对应的模型顶点个数与所述完整的目标物体模型顶点个数的第二比值；
当前关键帧确定单元，用于在所述第一比值与所述第二比值的差值大于预设阈值的情况下，确定当前帧彩色图像为与所述当前帧深度图像相对应的当前彩色图像关键帧；以及在所述第一比值与所述第二比值的差值小于或等于预设阈值的情况下，确定上一帧彩色图像关键帧为与所述当前帧深度图像相对应的当前彩色图像关键帧。
9.根据权利要求8所述的装置，其特征在于，还包括：
模糊图像去除模块，用于在确定与所述当前帧深度图像相对应的当前彩色图像关键帧之前，当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定所述彩色图像为具有运动模糊的彩色图像，去除所述具有运动模糊的彩色图像。
10.根据权利要求8所述的装置，其特征在于，所述颜色信息确定子模块包括：
单组三维点云获取单元，用于利用所述当前彩色图像关键帧对应的深度图像，将所述当前彩色图像关键帧映射为包含颜色信息的单组三维点云；
多组三维点云获取单元，用于利用所述各前置彩色图像关键帧对应的深度图像，将所述各前置彩色图像关键帧分别映射为包含颜色信息的多组三维点云；
融合点云获取单元，用于将所述单组三维点云与所述多组三维点云进行融合，得到包含颜色信息的融合后的点云；
颜色信息确定单元，用于从所述融合后的点云中提取与所述第二目标物体重建模型中的各顶点相对应的颜色信息，并将所述颜色信息赋予所述第二目标物体重建模型中相应的顶点。
11.根据权利要求8所述的装置，其特征在于，所述模型获取模块包括：
三维点云获取子模块，用于将所述当前帧深度图像映射为三维点云；
运动参数求解子模块，用于根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数；
三维点云融合子模块，用于将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；
模型获取子模块，用于利用所述运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定所述第二目标物体重建模型中的各顶点的位置，获得所述第二目标物体重建模型；
其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。
12.根据权利要求11所述的装置，其特征在于，所述运动参数求解子模块包括：
匹配点对确定单元，用于将所述第一目标物体重建模型上的各顶点与所述三维点云进行匹配，得到各匹配点对；
能量函数构造单元，用于利用与各匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，所述运动参数为所述能量函数的自变量；
运动参数求解单元，用于利用预设算法求解使所述能量函数最小的所述运动参数。
13.一种动态模型三维重建设备，其特征在于，包括：
图像采集装置，用于采集目标物体的深度图像及与所述深度图像相对应的彩色图像；
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的动态模型三维重建方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的动态模型三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/091224 WO2019238114A1 (zh) | 2018-02-05 | 2019-06-14 | 动态模型三维重建方法、装置、设备和存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018101123435 | 2018-02-05 | ||
| CN201810112343 | 2018-02-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805979A CN108805979A (zh) | 2018-11-13 |
| CN108805979B true CN108805979B (zh) | 2021-06-29 |
Family
ID=64086947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810612051.8A Active CN108805979B (zh) | 2018-02-05 | 2018-06-14 | 一种动态模型三维重建方法、装置、设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108805979B (zh) |
| WO (1) | WO2019238114A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805979B (zh) * | 2018-02-05 | 2021-06-29 | 清华-伯克利深圳学院筹备办公室 | 一种动态模型三维重建方法、装置、设备和存储介质 |
| CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台（上海）信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
| CN109710071B (zh) * | 2018-12-26 | 2022-05-17 | 青岛小鸟看看科技有限公司 | 一种屏幕控制方法和装置 |
| CN111739146A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 物体三维模型重建方法及装置 |
| CN112785682A (zh) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | 模型的生成方法、模型的重建方法及装置 |
| CN111369666A (zh) * | 2020-03-02 | 2020-07-03 | 中国电子科技集团公司第五十二研究所 | 一种基于多台rgbd相机的动态目标重建方法和装置 |
| CN111754573B (zh) * | 2020-05-19 | 2024-05-10 | 新拓三维技术(深圳)有限公司 | 一种扫描方法及系统 |
| CN112233142A (zh) * | 2020-09-29 | 2021-01-15 | 深圳宏芯宇电子股份有限公司 | 目标跟踪方法、设备及计算机可读存储介质 |
| CN112991524B (zh) * | 2021-04-20 | 2022-03-25 | 北京的卢深视科技有限公司 | 三维重建的方法、电子设备及存储介质 |
| CN113689503B (zh) * | 2021-10-25 | 2022-02-25 | 北京市商汤科技开发有限公司 | 目标对象的姿态检测方法、装置、设备及存储介质 |
| CN114119839B (zh) * | 2022-01-24 | 2022-07-01 | 阿里巴巴（中国）有限公司 | 三维模型重建与图像生成方法、设备以及存储介质 |
| CN116884572B (zh) * | 2023-09-07 | 2024-02-06 | 北京四海汇智科技有限公司 | 一种基于图像处理的营养智能管理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及系统 |
| CN103761738A (zh) * | 2014-01-22 | 2014-04-30 | 杭州匡伦科技有限公司 | 一种三维立体重建中提取视频序列关键帧的方法 |
| CN107292949A (zh) * | 2017-05-25 | 2017-10-24 | 深圳先进技术研究院 | 场景的三维重建方法、装置及终端设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140172377A1 (en) * | 2012-09-20 | 2014-06-19 | Brown University | Method to reconstruct a surface from oriented 3-d points |
| CN107845134B (zh) * | 2017-11-10 | 2020-12-29 | 浙江大学 | 一种基于彩色深度相机的单个物体的三维重建方法 |
| CN108122275A (zh) * | 2017-12-22 | 2018-06-05 | 清华大学 | 基于骨架跟踪的动态实时三维人体重建方法及系统 |
| CN108805979B (zh) * | 2018-02-05 | 2021-06-29 | 清华-伯克利深圳学院筹备办公室 | 一种动态模型三维重建方法、装置、设备和存储介质 |
-
2018
- 2018-06-14 CN CN201810612051.8A patent/CN108805979B/zh active Active
-
2019
- 2019-06-14 WO PCT/CN2019/091224 patent/WO2019238114A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198523A (zh) * | 2013-04-26 | 2013-07-10 | 清华大学 | 一种基于多深度图的非刚体三维重建方法及系统 |
| CN103761738A (zh) * | 2014-01-22 | 2014-04-30 | 杭州匡伦科技有限公司 | 一种三维立体重建中提取视频序列关键帧的方法 |
| CN107292949A (zh) * | 2017-05-25 | 2017-10-24 | 深圳先进技术研究院 | 场景的三维重建方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| "Real-Time Geometry, Albedo, and Motion Reconstruction Using a Single RGB-D Camera";Kaiwen Guo等;《ACM Trans.Graph》;20170630;第36卷(第3期);第3-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805979A (zh) | 2018-11-13 |
| WO2019238114A1 (zh) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805979B (zh) | 一种动态模型三维重建方法、装置、设备和存储介质 | |
| CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| CN108898630B (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| CN110163903B (zh) | 三维图像的获取及图像定位方法、装置、设备和存储介质 | |
| CN110910486B (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
| CN109191554B (zh) | 一种超分辨图像重建方法、装置、终端和存储介质 | |
| EP3337158A1 (en) | Method and device for determining points of interest in an immersive content | |
| CN108447097A (zh) | 深度相机标定方法、装置、电子设备及存储介质 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| EP2430616A2 (en) | Image generation method | |
| JP6571262B2 (ja) | 複数のモデルに基づくオブジェクトの表示 | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN112991537B (zh) | 城市场景重建方法、装置、计算机设备和存储介质 | |
| CN112927363A (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
| CN111882632A (zh) | 一种地表细节的渲染方法、装置、设备及存储介质 | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN112766215A (zh) | 人脸融合方法、装置、电子设备及存储介质 | |
| CA3172140A1 (en) | Full skeletal 3d pose recovery from monocular camera | |
| CN112017242B (zh) | 显示方法及装置、设备、存储介质 | |
| CN117315372A (zh) | 一种基于特征增强的三维感知方法 | |
| CN111882640B (zh) | 一种渲染参数确定方法、装置、设备及存储介质 | |
| CN114612602A (zh) | 确定透明度的方法、装置、电子设备及存储介质 | |
| CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN113763478A (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221115 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen International Graduate School of Tsinghua University Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |
|
| TR01 | Transfer of patent right |