CN111862139B - 一种基于彩色-深度相机的动态物体参数化建模方法 - Google Patents

一种基于彩色-深度相机的动态物体参数化建模方法 Download PDF

Info

Publication number
CN111862139B
CN111862139B CN201910759208.4A CN201910759208A CN111862139B CN 111862139 B CN111862139 B CN 111862139B CN 201910759208 A CN201910759208 A CN 201910759208A CN 111862139 B CN111862139 B CN 111862139B
Authority
CN
China
Prior art keywords
model
edge1
node1
frame
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910759208.4A
Other languages
English (en)
Other versions
CN111862139A (zh
Inventor
成慧
黄浩洸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910759208.4A priority Critical patent/CN111862139B/zh
Publication of CN111862139A publication Critical patent/CN111862139A/zh
Application granted granted Critical
Publication of CN111862139B publication Critical patent/CN111862139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于彩色‑深度相机的动态物体参数化建模方法，包括以下步骤：S1、获得物体的彩色‑深度图片序列；S2、获取像素级别保边的前景物体mask；S3、进行动作分析，得到目标物体的完整骨骼模型；S4、使用三维重建算法进行三维重建，得到三维重建模型；S5、使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；S6、为已经绑定骨骼模型的三维重建模型生成关键帧动画。本发明的基于彩色‑深度相机的动态物体参数化建模方法通过把重建模型刚性绑定到骨骼模型，实现赋予传感器所扫描物体参数化特性的目的，可高效地分析出视频中物体的关节信息，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。

Description

一种基于彩色-深度相机的动态物体参数化建模方法
技术领域
本发明涉及计算机图形学以及计算机视觉技术领域，具体涉及一种基于彩色-深度相机的动态物体参数化建模方法。
背景技术
目前人们可以使用消费级的彩色-深度传感器来获取被扫描物体的高质量的三维重建模型，然后他们所获得的重建模型是静态的，不包含运动学特性。为了增强计算机与重建模型的交互能力，赋予重建模型运动学特性是至关重要的，相比静态的模型，这包含运动学特性的模型是一种更合适的物体参数化方式。物体的运动学特性一般通过骨骼模型来表达。要准确地分析视频流中动态物体的骨骼模型是非常具有挑战性的，即使该物体是一个刚性物体。进一步地，要准确地把物体网格模型逐面片地绑定到骨骼模型的对应骨块上，同样也是具有高挑战性的任务。主流的物体三维重建算法利用彩色-深度相机，通过构建体素化立方体来增量融合观测数据的方式，可以给静态或动态的场景进行高精度的三维重建，如《Dynamicfusion:Reconstruction and tracking of non-rigid scenes in real-time》和《Volumedeform:Real-time volumetric non-rigid reconstruction》。类似的方法，甚至可以对大规模的场景进行三维重建，如《Real-time large-scale dense rgb-dslam with volumetric fusion》。然而，他们获得的重建模型只包含空间信息，并不具备运动学特性。物体运动特性分析的代表性工作为《Mobility fitting using 4d ransac》和《Occlusion-aware reconstruction and manipulation of 3d articulated objects》。前者基于对刚性物体不同动作的聚类，能准确提取出刚性物体的关节信息，但需要先把包含完整动作的子序列从视频中手动分割出来；后者基于普氏分析法来提取物体的关节信息，但需要先对物体的三维模型进行稀疏的模型重建。因此，现有的动态物体建模方法大多不具有运动学特性，而且建模操作麻烦，分析过程也不够高效。
发明内容
本发明为了克服现有的动态物体建模方法大多不具有运动学特性，而且建模操作麻烦，分析过程也不够高效的问题，提供了一种基于彩色-深度相机的动态物体参数化建模方法，通过把重建模型刚性绑定到骨骼模型，实现赋予传感器所扫描物体参数化特性的目的，可高效地分析出视频中物体的关节信息，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。
为解决上述技术问题，本发明提供以下技术方案：
一种基于彩色-深度相机的动态物体参数化建模方法，包括以下步骤：
S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；
S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；
S3：进行动作分析，得到目标物体的完整骨骼模型；
S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；
S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；
S6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。
本发明提出一种基于彩色-深度相机的动态物体参数化建模方法，指定输入的彩色-深度视频序列中的一个动态刚性物体，该方法在完成对该物体三维重建的同时，准确地提取物体的骨骼模型，然后把重建得到的网格模型逐面片地绑定到骨骼模型上，实现该物体的参数化建模，本方法的执行过程无需任何先验知识，可高效地分析出视频中物体的关节信息，并且该算法对粗糙的传感器源数据具有鲁棒性，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。
进一步的，在步骤S2中，所述前后景分割算法包括以下步骤：
S2.1：进行预处理，参考相关文献《Multi-scale Guided Mask Refinement forCoarse-to-fine RGB-D Perception》，给定深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]；
S2.2：通过经典的物体追踪算法，例如KCF，获取指定物体的包围盒，然后基于包围盒内深度值的统计直方图，通过设置指定阈值来二值化包围盒内的每个像素位置，从而得到粗糙的物体分割结果M0；
S2.3：为M0建立最小化能量优化模型：
上式中，M为mask的优化结果，Ec和Ed分别为彩色和深度信息的能量函数，λm和λc和λd分别为可调参数，具体地，Ec和Ed分别是基于二维图像像素距离信息结合彩色图像或者深度图像的高斯卷积核的卷积结果，上述能量函数可通过雅克比近似的方式进行迭代求解；
S2.4：优化得到的仅包含指定物体mask的深度图和颜色图，同样记为D＝[D1,...,DL]和I＝[I1,...,IL]。
进一步的，在步骤S3中，包括以下步骤：
S3.1：把经过前景物体分割后的彩色-深度图序列按照所设定的步长s和长度l，划分为多个时间上重叠的子序列；
S3.2：对每个子序列的l帧彩色图和深度图，执行4d ransac算法，得到每个子序列中所对应的关节图；
S3.3：对于多个时间上重叠的关节图，依照关节图合并算法，合并多个关节图，得到目标物体的完整骨骼模型。
进一步的，在步骤S3.3中，所述关节图合并算法包括以下基本定义：关节模型被抽象为关节图来表示，其中每个关节定义为一条边，即edge，一个刚性分块定义为一个顶点，即node；顶点与顶点之间通过边来连接；在图模型中，除了基本的对顶点和边的增删查功能外，还定义了图模型与图模型之间的一些合并的操作，包括顶点与顶点的合并，边与边的合并，顶点与边的合并，边与顶点的合并；以及最后为了让每个顶点和每条边都拥有全序列生命而利用骨骼连接关系进行的动作变换传播操作；每个node包含起始帧start_frame，刚性分块序号 node_id，每帧的node的位置集合centersSet，每帧的动作变换集合transformationsSet，以及表示当前node是否已被处理的状态变量state；每条edge包含起始帧frame，所连接的父分块 parent_id和子分块son_id，关节类型jointType，每帧的edge的位置集合positionsSet，每帧的动作变换集合transformationsSet，以及表示当前edge是否已被处理的状态变量state。
进一步的，在步骤S3.3中，合并操作包括以下步骤：
S3.3.1：顶点node1与顶点node2的合并，包括以下步骤：
S3.3.1.1：node1和node2时间上重叠的部分，不进行合并；
S3.3.1.2：node2比node1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.1.3：更新node1的start_frame；
S3.3.1.4：更新node1和node2的状态变量；
S3.3.2：边edge1与边edge2的合并，包括以下步骤：
S3.3.2.1：若edge1和edge2关节类型相同，则进入步骤S3.3.2.2，若edge1和edge2类型相异且edge1为铰链式关节，edge2为球形关节，则合并后edge1关节类型更新为球形关节，然后进入步骤S3.3.2.2；
S3.3.2.2：edge1和edge2时间上重叠的部分，合并两者的位置集合；
S3.3.2.3：edge2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.2.4：更新edge1的start_frame；
S3.3.2.5：更新edge1和edge2的状态变量；
S3.3.3：顶点node1与边edge2的合并，包括以下步骤：
S3.3.3.1：node1和edge2时间上重叠的部分，不进行合并；
S3.3.3.2：edge2比node1时间轴上超出的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.3.3：更新node1的start_frame；
S3.3.3.4：更新node1和edge2的状态变量；
S3.3.4：边edge1与顶点node2的合并，包括以下步骤：
S3.3.4.1：node2和edge1时间上重叠的部分，不进行合并；
S3.3.4.2：node2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.4.3：更新edge1的start_frame；
S3.3.4.4：更新edge1和node2的状态变量；
S3.3.5：顶点node1与顶点node1’的反向合并，包括以下步骤：
S3.3.5.1：node1和node1’时间上重叠的部分，不进行合并；
S3.3.5.2：node1’比node1时间轴上滞后的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.5.3：更新node1的start_frame；
S3.3.6：边edge1与顶点node1的反向合并，包括以下步骤：
S3.3.6.1：edge1和node1时间上重叠的部分，不进行合并；
S3.3.6.2：node1比edge1时间轴上滞后的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.6.3：更新edge1的start_frame；
S3.3.7：全序列生命周期上的动作传播，包括以下步骤：
S3.3.7.1：遍历合并后的图模型中，start_frame的edge；若edge所连接两个nodes，有 start_frame比edge的要小的，则进行步骤S3.3.6的“边与顶点的反向合并”；
S3.3.7.2：遍历合并后的图模型中start_frame>0的node；若node两端的nodes有start_frame 比当前node要小的，优先考虑为父亲关系的node，进行步骤S3.3.5的“顶点与顶点的反向合并”；
在上面的步骤中，node1，node1’表示来自时间轴靠前的关节图graph1的不同顶点，edge1 表示来自graph1的边；node2表示来自时间轴靠后的关节图graph2的顶点，edge2表示来自 graph2的边。
进一步的，在步骤S4中，给定已进行前景物体分割的深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]，参考《Dynamicfusion:Reconstruction and tracking ofnon-rigid scenes in real-time》可以把动态目标物体的三维模型重建出来。
进一步的，在步骤S5中，假设骨骼模型SK中包含m个骨块(bones)，记作b1,...bm，对于第k帧，骨骼中包含信息{Tk,posk}，其中Tk为第k帧到第k+1帧的仿射变换，posk表示骨骼中心在第k帧的位置，对于三维重建模型M中的一个点vi，其表面法向量为ni，在第k帧时，逐个分析点到骨骼之间的距离如何计算，其中包括：
(1)仿射变换距离
针对第k帧三维重建模型Mk，可以在第k+1帧三维重建模型中建立KdTree，然后高效地获得Mk中的点vki到模型Mk+1中的最近匹配点对于骨骼模型SK中的第j个骨块bj，其到点vki的仿射变换距离DT为：
(2)空间位置距离
对于骨骼模型SK中的第j个骨块bj，其到点vki的空间位置距离Dpos为：
(3)法向量夹角距离
法向量准则要求点vi的表面法向量ni和点到第j块骨块上的最近点连线的方向向量 eij的夹角要足够小，把法向量夹角距离Ddir记为：
Ddir＝1-<eij,ni>，其中，<·>为向量的点乘；
由于上述(1)(2)为欧式距离，量纲为距离单位；而(3)为余弦距离的一种，量纲与前者不一样，因此，本算法先考虑欧式距离上的度量结果，当不同候选分块间到选定点的距离值很相近时，则选择利用余弦距离来判断点到骨骼分块的最佳匹配；
记欧式几何上的距离为Deur＝wTDT+wposDpos，余弦距离为Dcos＝Ddir；对于m块骨块b1,...bm，其到点vi的欧式几何距离分别记为D1,eur,...,Dm,eur，余弦距离分别为D1,cos,...,Dm,cos，其中；把欧式几何距离的集合{D1,eur,...,Dm,eur}从小到大排序，依次记为同样地，余弦距离几何从小到大排序依次记为/>
进一步的，在步骤S6中，已经与骨骼模型绑定的三维重建模型具备了运动学特性，按照计算机图形学中骨骼模型的前向驱动来带动三维重建模型运动，即可为三维重建模型生成相应的关键帧动画。
与现有技术相比，本发明具有以下有益效果：
针对任意的动态刚性物体，本发明提出一种基于彩色-深度相机的动态物体参数化建模方法，不依赖于任何先验知识，结合物体三维重建方法和物体骨骼模型分析方法，在完成对该物体三维重建的同时，准确地提取物体的骨骼模型，然后把重建得到的网格模型逐面片地绑定到骨骼模型上，实现赋予传感器所扫描物体参数化特性的目的，实现该物体的参数化建模；本发明里面还提出一种自适应地分析彩色-深度视频流中动态刚性物体的骨骼模型的方法，该方法基于随机一致采样以及图模型融合的思路，无需任何先验知识，可高效地分析出视频中物体的关节信息，并且该算法对粗糙的传感器源数据具有鲁棒性；除此之外，本发明提出一种物体网格模型上逐面片到骨骼模型的的刚性绑定算法，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图获得其他的附图。
图1为本发明一种基于彩色-深度相机的动态物体参数化建模方法的流程图；
图2为本发明在步骤S3中把原序列划分为多个时间上重叠的子序列的示意图；
图3为关节图合并的算法伪代码；
图4为点到骨骼绑定的判断策略。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例包括：
如图1所示，一种基于彩色-深度相机的动态物体参数化建模方法，包括以下步骤：
S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；
S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；
S3：进行动作分析，得到目标物体的完整骨骼模型；
S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；
S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；
S6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。
本发明提出一种基于彩色-深度相机的动态物体参数化建模方法，指定输入的彩色-深度视频序列中的一个动态刚性物体，该方法在完成对该物体三维重建的同时，准确地提取物体的骨骼模型，然后把重建得到的网格模型逐面片地绑定到骨骼模型上，实现该物体的参数化建模，本方法的执行过程无需任何先验知识，可高效地分析出视频中物体的关节信息，并且该算法对粗糙的传感器源数据具有鲁棒性，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。
在本实施例中，在步骤S2中，前后景分割算法包括以下步骤：
S2.1：进行预处理，参考相关文献《Multi-scale Guided Mask Refinement forCoarse-to-fine RGB-D Perception》，给定深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]；
S2.2：通过经典的物体追踪算法，例如KCF，获取指定物体的包围盒，然后基于包围盒内深度值的统计直方图，通过设置指定阈值来二值化包围盒内的每个像素位置，从而得到粗糙的物体分割结果M0；
S2.3：为M0建立最小化能量优化模型：
上式中，M为mask的优化结果，Ec和Ed分别为彩色和深度信息的能量函数，λm和λc和λd分别为可调参数，具体地，Ec和Ed分别是基于二维图像像素距离信息结合彩色图像或者深度图像的高斯卷积核的卷积结果，上述能量函数可通过雅克比近似的方式进行迭代求解；
S2.4：优化得到的仅包含指定物体mask的深度图和颜色图，同样记为D＝[D1,...,DL]和 I＝[I1,...,IL]。
在本实施例中，在步骤S3中，包括以下步骤：
S3.1：如图2所示，把经过前景物体分割后的彩色-深度图序列按照所设定的步长s和长度l，划分为多个时间上重叠的子序列；
S3.2：对每个子序列的l帧彩色图和深度图，执行4d ransac算法，得到每个子序列中所对应的关节图；
S3.3：对于多个时间上重叠的关节图，依照关节图合并算法，合并多个关节图，得到目标物体的完整骨骼模型。
如图3所示，在步骤S3.3中，关节图合并算法包括以下基本定义：关节模型被抽象为关节图来表示，其中每个关节定义为一条边，即edge，一个刚性分块定义为一个顶点，即node；顶点与顶点之间通过边来连接；在图模型中，除了基本的对顶点和边的增删查功能外，还定义了图模型与图模型之间的一些合并的操作，包括顶点与顶点的合并，边与边的合并，顶点与边的合并，边与顶点的合并；以及最后为了让每个顶点和每条边都拥有全序列生命而利用骨骼连接关系进行的动作变换传播操作；每个node包含起始帧start_frame，刚性分块序号 node_id，每帧的node的位置集合centersSet，每帧的动作变换集合transformationsSet，以及表示当前node是否已被处理的状态变量state；每条edge包含起始帧frame，所连接的父分块 parent_id和子分块son_id，关节类型jointType，每帧的edge的位置集合positionsSet，每帧的动作变换集合transformationsSet，以及表示当前edge是否已被处理的状态变量state。
如图3所示，在步骤S3.3中，合并操作包括以下步骤：
S3.3.1：顶点node1与顶点node2的合并，包括以下步骤：
S3.3.1.1：node1和node2时间上重叠的部分，不进行合并；
S3.3.1.2：node2比node1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.1.3：更新node1的start_frame；
S3.3.1.4：更新node1和node2的状态变量；
S3.3.2：边edge1与边edge2的合并，包括以下步骤：
S3.3.2.1：若edge1和edge2关节类型相同，则进入步骤S3.3.2.2，若edge1和edge2类型相异且edge1为铰链式关节，edge2为球形关节，则合并后edge1关节类型更新为球形关节，然后进入步骤S3.3.2.2；
S3.3.2.2：edge1和edge2时间上重叠的部分，合并两者的位置集合；
S3.3.2.3：edge2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.2.4：更新edge1的start_frame；
S3.3.2.5：更新edge1和edge2的状态变量；
S3.3.3：顶点node1与边edge2的合并，包括以下步骤：
S3.3.3.1：node1和edge2时间上重叠的部分，不进行合并；
S3.3.3.2：edge2比node1时间轴上超出的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.3.3：更新node1的start_frame；
S3.3.3.4：更新node1和edge2的状态变量；
S3.3.4：边edge1与顶点node2的合并，包括以下步骤：
S3.3.4.1：node2和edge1时间上重叠的部分，不进行合并；
S3.3.4.2：node2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.4.3：更新edge1的start_frame；
S3.3.4.4：更新edge1和node2的状态变量；
S3.3.5：顶点node1与顶点node1’的反向合并，包括以下步骤：
S3.3.5.1：node1和node1’时间上重叠的部分，不进行合并；
S3.3.5.2：node1’比node1时间轴上滞后的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.5.3：更新node1的start_frame；
S3.3.6：边edge1与顶点node1的反向合并，包括以下步骤：
S3.3.6.1：edge1和node1时间上重叠的部分，不进行合并；
S3.3.6.2：node1比edge1时间轴上滞后的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.6.3：更新edge1的start_frame；
S3.3.7：全序列生命周期上的动作传播，包括以下步骤：
S3.3.7.1：遍历合并后的图模型中，start_frame的edge；若edge所连接两个nodes，有start_frame比edge的要小的，则进行步骤S3.3.6的“边与顶点的反向合并”；
S3.3.7.2：遍历合并后的图模型中start_frame>0的node；若node两端的nodes有start_frame 比当前node要小的，优先考虑为父亲关系的node，进行步骤S3.3.5的“顶点与顶点的反向合并”；
在上面的步骤中，node1，node1’表示来自时间轴靠前的关节图graph1的不同顶点，edge1 表示来自graph1的边；node2表示来自时间轴靠后的关节图graph2的顶点，edge2表示来自 graph2的边。
在本实施例中，在步骤S4中，给定已进行前景物体分割的深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]，参考《Dynamicfusion:Reconstruction and trackingof non-rigid scenes in real-time》可以把动态目标物体的三维模型重建出来。
在本实施例中，在步骤S5中，假设骨骼模型SK中包含m个骨块(bones)，记作b1,...bm，对于第k帧，骨骼中包含信息{Tk,posk}，其中Tk为第k帧到第k+1帧的仿射变换，posk表示骨骼中心在第k帧的位置，对于三维重建模型M中的一个点vi，其表面法向量为ni，在第k帧时，逐个分析点到骨骼之间的距离如何计算，其中包括：
(1)仿射变换距离
针对第k帧三维重建模型Mk，可以在第k+1帧三维重建模型中建立KdTree，然后高效地获得Mk中的点vki到模型Mk+1中的最近匹配点对于骨骼模型SK中的第j个骨块bj，其到点vki的仿射变换距离DT为：
(2)空间位置距离
对于骨骼模型SK中的第j个骨块bj，其到点vki的空间位置距离Dpos为：
(3)法向量夹角距离
法向量准则要求点vi的表面法向量ni和点到第j块骨块上的最近点连线的方向向量 eij的夹角要足够小，把法向量夹角距离Ddir记为：
Ddir＝1-<eij,ni>，其中，<·>为向量的点乘；
如图4所示，由于上述(1)(2)为欧式距离，量纲为距离单位；而(3)为余弦距离的一种，量纲与前者不一样，因此，本算法先考虑欧式距离上的度量结果，当不同候选分块间到选定点的距离值很相近时，则选择利用余弦距离来判断点到骨骼分块的最佳匹配；
记欧式几何上的距离为Deur＝wTDT+wposDpos，余弦距离为Dcos＝Ddir；对于m块骨块b1,...bm，其到点vi的欧式几何距离分别记为D1,eur,...,Dm,eur，余弦距离分别为D1,cos,...,Dm,cos，其中；把欧式几何距离的集合{D1,eur,...,Dm,eur}从小到大排序，依次记为同样地，余弦距离几何从小到大排序依次记为/>
在本实施例中，在步骤S6中，已经与骨骼模型绑定的三维重建模型具备了运动学特性，按照计算机图形学中骨骼模型的前向驱动来带动三维重建模型运动，即可为三维重建模型生成相应的关键帧动画。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于彩色-深度相机的动态物体参数化建模方法，其特征在于，包括以下步骤：
S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；
S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；所述前后景分割算法包括以下步骤：
S2.1：进行预处理，给定深度图序列D＝[D1,...,DL]和彩色图序列I＝[I1,...,IL]；
S2.2：通过经典的物体追踪算法来获取指定物体的包围盒，然后基于包围盒内深度值的统计直方图，通过设置指定阈值来二值化包围盒内的每个像素位置，从而得到粗糙的物体分割结果M0；
S2.3：为M0建立最小化能量优化模型：
上式中，M为mask的优化结果，Ec和Ed分别为彩色和深度信息的能量函数，λm和λc和λd分别为可调参数，具体地，Ec和Ed分别是基于二维图像像素距离信息结合彩色图像或者深度图像的高斯卷积核的卷积结果，上述能量函数可通过雅克比近似的方式进行迭代求解；
S2.4：优化得到的仅包含指定物体mask的深度图和颜色图，同样记为D＝[D1,...,DL]和I＝[I1,...,IL]；
S3：进行动作分析，得到目标物体的完整骨骼模型；包括以下步骤：
S3.1：把经过前景物体分割后的彩色-深度图序列按照所设定的步长s和长度l，划分为多个时间上重叠的子序列；
S3.2：对每个子序列的l帧彩色图和深度图，执行4d ransac算法，得到每个子序列中所对应的关节图；
S3.3：对于多个时间上重叠的关节图，依照关节图合并算法，合并多个关节图，得到目标物体的完整骨骼模型；所述关节图合并算法包括以下基本定义：关节模型被抽象为关节图来表示，其中每个关节定义为一条边，即edge，一个刚性分块定义为一个顶点，即node；顶点与顶点之间通过边来连接；在图模型中，除了基本的对顶点和边的增删查功能外，还定义了图模型与图模型之间的一些合并的操作，包括顶点与顶点的合并，边与边的合并，顶点与边的合并，边与顶点的合并；以及最后为了让每个顶点和每条边都拥有全序列生命而利用骨骼连接关系进行的动作变换传播操作；每个node包含起始帧start_frame，刚性分块序号node_id，每帧的node的位置集合centersSet，每帧的动作变换集合transformationsSet，以及表示当前node是否已被处理的状态变量state；每条edge包含起始帧frame，所连接的父分块parent_id和子分块son_id，关节类型jointType，每帧的edge的位置集合positionsSet，每帧的动作变换集合transformationsSet，以及表示当前edge是否已被处理的状态变量state；
S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；
S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；
S6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。
2.根据权利要求1所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S3.3中，合并操作包括以下步骤：
S3.3.1：顶点node1与顶点node2的合并，包括以下步骤：
S3.3.1.1：node1和node2时间上重叠的部分，不进行合并；
S3.3.1.2：node2比node1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.1.3：更新node1的start_frame；
S3.3.1.4：更新node1和node2的状态变量；
S3.3.2：边edge1与边edge2的合并，包括以下步骤：
S3.3.2.1：若edge1和edge2关节类型相同，则进入步骤S3.3.2.2，若edge1和edge2类型相异且edge1为铰链式关节，edge2为球形关节，则合并后edge1关节类型更新为球形关节，然后进入步骤S3.3.2.2；
S3.3.2.2：edge1和edge2时间上重叠的部分，合并两者的位置集合；
S3.3.2.3：edge2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.2.4：更新edge1的start_frame；
S3.3.2.5：更新edge1和edge2的状态变量；
S3.3.3：顶点node1与边edge2的合并，包括以下步骤：
S3.3.3.1：node1和edge2时间上重叠的部分，不进行合并；
S3.3.3.2：edge2比node1时间轴上超出的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.3.3：更新node1的start_frame；
S3.3.3.4：更新node1和edge2的状态变量；
S3.3.4：边edge1与顶点node2的合并，包括以下步骤：
S3.3.4.1：node2和edge1时间上重叠的部分，不进行合并；
S3.3.4.2：node2比edge1时间轴上超出的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.4.3：更新edge1的start_frame；
S3.3.4.4：更新edge1和node2的状态变量；
S3.3.5：顶点node1与顶点node1’的反向合并，包括以下步骤：
S3.3.5.1：node1和node1’时间上重叠的部分，不进行合并；
S3.3.5.2：node1’比node1时间轴上滞后的部分，把动作变换集合添加到node1的对应时间位置上，然后通过新添加的动作变化得到node1在时间轴超出部分上的位置集合；
S3.3.5.3：更新node1的start_frame；
S3.3.6：边edge1与顶点node1的反向合并，包括以下步骤：
S3.3.6.1：edge1和node1时间上重叠的部分，不进行合并；
S3.3.6.2：node1比edge1时间轴上滞后的部分，把动作变换集合添加到edge1的对应时间位置上，然后通过新添加的动作变化得到edge1在时间轴超出部分上的位置集合；
S3.3.6.3：更新edge1的start_frame；
S3.3.7：全序列生命周期上的动作传播，包括以下步骤：
S3.3.7.1：遍历合并后的图模型中，start_frame的edge；若edge所连接两个nodes，有start_frame比edge的要小的，则进行步骤S3.3.6的边与顶点的反向合并；
S3.3.7.2：遍历合并后的图模型中start_frame>0的node；若node两端的nodes有start_frame比当前node要小的，则为父亲关系的node，进行步骤S3.3.5的顶点与顶点的反向合并；
其中，node1，node1’表示来自时间轴靠前的关节图graph1的不同顶点，edge1表示来自graph1的边；node2表示来自时间轴靠后的关节图graph2的顶点，edge2表示来自graph2的边。
3.根据权利要求2所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S5中，假设骨骼模型SK中包含m个骨块，记作b1,...bm，对于第k帧，骨骼中包含信息{Tk,posk}，其中Tk为第k帧到第k+1帧的仿射变换，posk表示骨骼中心在第k帧的位置，对于三维重建模型M中的一个点vi，其表面法向量为ni，在第k帧时，逐个分析点到骨骼之间的距离如何计算，其中包括：
(1)仿射变换距离
针对第k帧三维重建模型Mk，可以在第k+1帧三维重建模型中建立KdTree，然后高效地获得Mk中的点vki到模型Mk+1中的最近匹配点对于骨骼模型SK中的第j个骨块bj，其到点vki的仿射变换距离DT为：
(2)空间位置距离
对于骨骼模型SK中的第j个骨块bj，其到点vki的空间位置距离Dpos为：
(3)法向量夹角距离
法向量准则要求点vi的表面法向量ni和点到第j块骨块上的最近点连线的方向向量eij的夹角要足够小，把法向量夹角距离Ddir记为：
Ddir＝1-<eij,ni>，其中，<·>为向量的点乘；
由于上述DTDpos为欧式距离，量纲为距离单位；而Ddir为余弦距离的一种，量纲与DT不一样，因此，本算法先考虑欧式距离上的度量结果，当不同候选分块间到选定点的距离值很相近时，则选择利用余弦距离来判断点到骨骼分块的最佳匹配；
记欧式几何上的距离为Deur＝wTDT+wposDpos，余弦距离为Dcos＝Ddir；对于m块骨块b1,...bm，其到点vi的欧式几何距离分别记为D1,eur,...,Dm,eur，余弦距离分别为D1,cos,...,Dm,cos，其中；把欧式几何距离的集合{D1,eur,...,Dm,eur}从小到大排序，依次记为同样地，余弦距离几何从小到大排序依次记为/>
4.根据权利要求3所述的基于彩色-深度相机的动态物体参数化建模方法，其特征在于，在步骤S6中，已经与骨骼模型绑定的三维重建模型具备了运动学特性，按照计算机图形学中骨骼模型的前向驱动来带动三维重建模型运动，即可为三维重建模型生成相应的关键帧动画。
CN201910759208.4A 2019-08-16 2019-08-16 一种基于彩色-深度相机的动态物体参数化建模方法 Active CN111862139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910759208.4A CN111862139B (zh) 2019-08-16 2019-08-16 一种基于彩色-深度相机的动态物体参数化建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910759208.4A CN111862139B (zh) 2019-08-16 2019-08-16 一种基于彩色-深度相机的动态物体参数化建模方法

Publications (2)

Publication Number Publication Date
CN111862139A CN111862139A (zh) 2020-10-30
CN111862139B true CN111862139B (zh) 2023-08-18

Family

ID=72970604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910759208.4A Active CN111862139B (zh) 2019-08-16 2019-08-16 一种基于彩色-深度相机的动态物体参数化建模方法

Country Status (1)

Country Link
CN (1) CN111862139B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CA2915214A1 (en) * 2014-12-29 2016-06-29 Dassault Systemes Method for calibrating a depth camera
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及系统
CN108399632A (zh) * 2018-03-02 2018-08-14 重庆邮电大学 一种联合彩色图像的rgb-d相机深度图像修复方法
CN108711185A (zh) * 2018-05-15 2018-10-26 清华大学 联合刚性运动和非刚性形变的三维重建方法及装置
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CA2915214A1 (en) * 2014-12-29 2016-06-29 Dassault Systemes Method for calibrating a depth camera
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及系统
CN108399632A (zh) * 2018-03-02 2018-08-14 重庆邮电大学 一种联合彩色图像的rgb-d相机深度图像修复方法
CN108711185A (zh) * 2018-05-15 2018-10-26 清华大学 联合刚性运动和非刚性形变的三维重建方法及装置
CN110060329A (zh) * 2019-01-15 2019-07-26 叠境数字科技（上海）有限公司 一种基于彩色深度视频流数据的移动端人体模型重建方法

Also Published As

Publication number Publication date
CN111862139A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Menze et al. Object scene flow
Zhang et al. Learning signed distance field for multi-view surface reconstruction
CN109242873B (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
US10803546B2 (en) Systems and methods for unsupervised learning of geometry from images using depth-normal consistency
Yu et al. Bodyfusion: Real-time capture of human motion and surface geometry using a single depth camera
Revaud et al. Epicflow: Edge-preserving interpolation of correspondences for optical flow
Truong et al. Pdc-net+: Enhanced probabilistic dense correspondence network
US9129432B2 (en) Image-based procedural remodeling of buildings
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
Wang et al. Robust 3D reconstruction of building surfaces from point clouds based on structural and closed constraints
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
Kazemi et al. Real-time face reconstruction from a single depth image
Xue et al. Symmetric piecewise planar object reconstruction from a single image
Lebeda et al. 2D or not 2D: Bridging the gap between tracking and structure from motion
Xie et al. Integration of optical flow and Multi-Path-Viterbi algorithm for stereo vision
Huang et al. A bayesian approach to multi-view 4d modeling
Li et al. Topology-change-aware volumetric fusion for dynamic scene reconstruction
Zhao et al. 3D object tracking via boundary constrained region-based model
CN111862139B (zh) 一种基于彩色-深度相机的动态物体参数化建模方法
CN115841546A (zh) 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统
Jabbar et al. FD-stackGAN: face de-occlusion using stacked generative adversarial networks
Nguyen et al. A robust hybrid image-based modeling system
Niemirepo et al. Open3DGen: open-source software for reconstructing textured 3D models from RGB-D images
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code
Huang et al. A surface approximation method for image and video correspondences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant