CN102722906B - 一种基于特征的自顶向下从图像建模的方法 - Google Patents

Abstract

本发明涉及一种基于特征的自顶向下从图像建模的方法，包括以下步骤：先对目标进行统计性的层次化、特征化解构；然后获取目标对象的多视图像；采用目标对象整体表面的统计变形模型拟合多视图像得到目标的粗估计模型，重构目标对象的特征树；重建各层次外形特征；从大到小重建各层次表面特征。这种方法具有不需要标记点，无交互或少交互，重建结果自适应，适用于静态目标，也适用于运动过程，重建结果具有语义信息，并且能输出敷贴纹理的三维模型等优点。

Description

一种基于特征的自顶向下从图像建模的方法

技术领域

本发明涉及一种从多幅图像恢复三维模型的方法，可以用于三维测量，也可以用于静态目标数字化、运动过程重建等领域。

背景技术

随着社会现代化程度的不断进步和物质文化生活水平的不断提高，图像建模的技术越来越成熟，应用领域越来越广泛，在立体视频、三维动画、脚型测量、人脸重建、身份识别、运动分析等领域具有巨大的潜在价值。但不同的技术有不同的优缺点，如激光扫描、结构光投影在重建远距离目标时容易得到平面化的模型，从自然光图像重建模型的过程中需要大量交互，增加了人力劳动。

发明内容

本发明所要解决的技术问题在于，提供一种无标记点、快速高效、使用简单、成本低廉的基于特征的自顶向下从图像建模的方法。为解决上述技术问题，本发明采用以下技术方案：

1) 从目标对象的外形特点出发，将形状特征和表面特征分开处理，对形状特征和表面特征进行特征化、层次化的结构描述，建立形状特征的层次化特征树，将表面特征依附于相应层次的形状特征上，并对特征树中的各个类型特征生成相应的统计规律；

2)获取目标对象的多视图像；

3)采用目标对象整体表面的统计变形模型拟合多视图像得到目标的粗估计模型；

4)重构目标对象的特征树；

5)重建各层次外形特征；

6)自顶向下重建各层次表面特征。

作为一种改进，所述重构目标对象的特征树包括以下步骤：将目标对象整体的粗估计模型转换为网格模型；设定并依据目标对象的层次化解构原则，在形状变化、相对运动的位置分割粗估计模型；根据不变矩识别部分特征，然后根据特征树中父子特征层次关系，识别部分父特征和子特征；根据已经识别的特征，采用EM算法计算贝叶斯统计概率，进行最大似然估计，匹配目标特征树与类型的特征树；采用启发式搜索，识别退化特征、蘖生特征、正常特征及特征间的连接关系，并进一步分析特征的属性；综合以上方法所识别的结果，重建特征树。

作为一种改进，所述重建各层次外形特征包括以下步骤：根据生成的目标对象特征树，从目标的粗估计模型估计下层次外形特征的初始参数，然后用各外形特征的统计变形模型拟合多视图像生成各层次外形特征；并按特征树的层次关系自顶向下重建各级外形特征，直到所有外形特征重建完成，得到半致密的外形模型。

作为一种改进，所述自顶向下重建各层次表面特征包括以下步骤：将初步模型用网格表示后，对特征树中的表面特征，按自顶向下的顺序重建，迭代以下操作直到满足终止条件，操作包括：①将外形特征投影到未被遮挡的各视图像；②按预定操作处理外形特征投影范围内的表面特征，首先按尺度检测特征，然后将特征切割成特征点；③匹配平面特征点并生成空间点，利用新增空间点细分网格。

作为一种改进，所述层次化解构原则包括以下部分：①将外形轮廓和表面特征分开，将表面特征看作是依附于外形特征的另一种特征；②对存在形状突变、相对运动的外形特征必须再次解构，因此目标对象解构成结构化的外形特征；③不再解构的基元特征，具有语义单一和表面形状简单的特点；                                                同层次的特征间容易区分，不变矩有较大差异。

作为一种改进，所述匹配平面特征点并生成空间点，利用新增空间点细分网格包括以下步骤：建立网格尺度与特征尺度的统计关系，使得特征尺度只有网格尺度1/3~1/5，并在迭代细分中保持这种比例基本不变，限制每个空间三角形所属新增空间点的数量；特征居于网格中心位置外的一定范围内，以使新增空间点不在投影三角形中心而靠近中心；对于居于三角形边缘的特征，采用对偶几何将特征变化到中间位置，限制在网格顶点投影附近的平面特征点生成新增空间点。

作为一种改进，对形状特征进行层次化、特征化的结构描述，采用自底向上的解耦方式，保证自顶向下耦合时能逐步致密化，同时形状具有自适应性，从下层特征的统计变形模型中抽取一定权重的形状因子，按特征树的概率模型结合，计算上层特征的统计变形模型；按同样的方法，计算更上层特征的统计变形模型，以及目标对象整体表面的统计变形模型；在重建目标时，从上层特征所提供的形状因子参数按特征树概率模型解耦，计算下层各特征的主要形状因子，然后再从多视图像中计算其余形状因子，得到更致密的目标模型。

作为一种改进，以网格投影分割图像所形成的三角形区域中不再有奇异点作为终止条件。

作为一种改进，各层次特征的外形特征都采用统计变形模型表达，并且按先基元特征后上层特征的顺序计算统计变形模型。

作为一种改进，采用树状结构表达特征树，特征树中每一节点的数据结构包括编码、在父特征中出现的概率、与兄弟节点的关系、外形特征的统计变形模型、表面特征，表面特征包括有有线性特征、纹理特征、斑点特征、颜色特征，依附于特征树中的各级节点。

本发明具有以下优点：

1、不需要标记点，重建过程无交互或少交互，重建结果自适应

由于充分利用了先验知识，不需要在目标对象上设置标记点，提高了重建的自动化程度；重建过程中无交互或少交互，减少了人力劳动；自适应的多视重建，在投影三角形中没有平面图像特征时终止；

2、适用于静态重建，也适用于运动分析

由于是自适应的重建，重建模型能完全吸收图像中的信息量，能自动达到最精度的程度，因此能用于静态目标的三维测量；由于是视觉成像，对目标无干扰，采集数据时间短，能够重建动态目标；由于结合了先验知识，能够克服远距离目标在重建时模型容易平面化的不足，能用于运动分析还可以观测运动中的形变；

3、重建结果具有语义，并且能输出敷贴纹理的三维模型

由于是自顶向下重建，重建中能识别组件，因此重建结果具有语义，方便上层应用。重建结束时投影三角形中的色彩单一，可以敷贴到相应网格，使重建模型具有纹理，输出有真实感的三维全息图形，具有激光扫描、结构光投影所不具有的优势。

附图说明

图1为本发明的计算流程。

图2是层次化解构及特征树的表达。

图3为本发明的实验平台。

图4为表面特征重建流程。

具体实施方式

如图1、图2、图3、图4所示，本发明的技术解决方案包括如下步骤：

1、目标的层次化、特征化解构

从目标对象的外形特点出发，分析其构成要素及要素间的关系，建立目标对象的层次化解构原则，将形状特征和表面特征分开处理，对形状特征进行特征化、层次化的结构描述，建立其层次化的特征树，将表面特征作为依附于相应形状特征的下级特征，并对特征树中的各个类型特征生成相应的统计规律。

如图2所示，按照以下原则进行解构：①将外形轮廓和表面特征分开，将表面特征看作是依附于外形特征的另一种特征；②对存在形状突变、相对运动的外形特征必须再次解构，因此目标对象解构成结构化的外形特征；③不再解构的基元特征，具有语义单一和表面形状简单的特点；同层次的特征间容易区分，不变矩有较大差异。

各层次特征的外形特征都采用统计变形模型表达，并且按先基元特征后上层特征的顺序计算统计变形模型。首先用已有的三维测量设备扫描样本获取整体外形三维数据。然后针对各基元特征的外形特点，设计关键形位点；从样本的整体外形三维数据中切割出基元特征，然后从基元特征的外形三维数据中获取基元特征的形体点数据，用形位点集代表基元特征；将各形位点集归一化后采用迭代最近点法ICP方法对齐，利用成份分析方法统计分析基元特征的共性和个性，获取个性的形变空间，建立基元特征的统计变形模型。然后用同样的方法自底向上建立各级父特征的统计变形模型，并且各级特征的形位点数量自底向上越来越少，模型逐渐稀疏。

表面特征有线性特征、纹理特征、斑点特征、颜色特征等各种类型，依附于特征树中的各级节点。由于特征在形状突变和相对运动之处分解，而这些分解之处往往是表面特征集中之处，因此表面特征不只依附于基元特征，而是各级特征上都可能有表面特征；基元特征继承了父节点的表面特征，因此每个基元特征的表面特征是从叶到根的所有节点表面特征的总和；在特征树上从叶到根的倒序节点排列中，每类表面特征可以出现多次，层次越底的表面特征越具有优先权，即如果下级的表面特征同上级的表面特征相冲突，下级特征将具有下级的表面特征而不是上级的表面特征。通过对样本的分析，总结整体表面所具有的表面特征类型；通过对样本中各特征的分析，研究各特征所具有的表面特征类型，及表面特征的特点、组成、表观及尺度。特征树中的每项表面特征节点，是一个包括特征类型、属性参数变化范围及操作处理的三元组。操作处理是根据表面特征类型和属性而总结的差异化检测、处理方式。

采用树状结构表达特征树，特征树中的每个节点有编码、在父特征中出现的概率、与兄弟节点的关系、外形特征的统计变形模型、表面特征等属性。

2、获取多视图像

多视图像获取装置如图3所示，包括锁位圆环1、锁位装置2、相机支架臂3、目标对象、承载平台5和相机6。根据目标的静态尺寸及动态的运动，确定视分布球的大小，放置锁位圆环1在承载平台5上；相机支架3通过锁位装置2固定在锁位圆环1上；相机6通过螺钉固定在相机支架3上。采用刻有标记的透明玻璃作为承载平台5，玻璃上的标记作为相机标定时的参照。视分布球的半径决定了锁位圆环1和相机支架臂3的尺寸；相机6指向分布球的球心，其球面坐标由相机支架臂3的角度确定；相机6通过USB HUB与计算机相连。目标对象放置在视分布球的中间位置。多个角度下的相机同步成像，获取多视图像作为重建的输入。

3、基于特征的自顶向下多视重建

与前期的目标对象层次化解构相似，基于特征的自顶向下重建先从多视图像中先捕捉目标的大致外形轮廓，然后恢复目标的层次化、语义化结构，获取对目标外观形状的估计，再有序、有组织、分层次地抽取平面图像特征所表达的表面特征去恢复外观形状上的细节，雕刻表面，完整、精确、致密地重建模型。具体步骤如下：

3.1)采用目标对象整体表面的统计变形模型拟合多视图像得到目标的粗估计；

3.2)重构目标的特征树。将目标整体的粗估计模型转换为网格模型；根据目标的层次化解构原则，在形状变化、相对运动的位置分割粗估计模型；根据不变矩识别部分特征，然后根据特征树中父子特征层次关系，识别部分父特征和子特征；根据已经识别的特征，采用EM算法计算贝叶斯统计概率，进行最大似然估计，匹配目标特征树与类型的特征树；采用启发式搜索，识别退化特征、蘖生特征、正常特征及特征间的连接关系，并进一步分析特征的属性；综合以上方法所识别的特征，重建特征树。

3.3)重建各层次外形特征。根据生成的目标特征树，从目标的粗估计模型估计下层次特征的初始参数，然后用各特征的统计变形模型拟合多视图像生成各层次特征；并按特征树的层次关系自顶向下重建各级特征，直到所有特征重建完成，得到半致密的外形模型。

3.4)自顶向下重建各层次表面特征。将初步模型用网格表示后，对特征树中的表面特征，按自顶向下的顺序重建。对各级外形特征上的表面特征，按以下步骤重建：①将外形特征投影到未被遮挡的各视图像；②按预定操作处理外形特征投影范围内的表面特征，首先按尺度检测特征，然后将特征切割成特征点；③匹配平面特征点并生成空间点，利用新增空间点细分网格。整个细分过程在表面特征尺度的控制下从大到小地进行，从粗到细抽取表面特征来雕刻组件表面各层次细节；同时网格模型中的三角形从大到小细化，逐步汲取表面特征的信息。

4、自适应的多视重建

本发明不但能够从图像恢复模型，还能够针对不同个体重建其个性特征，同时能够根据所提供多视图像的信息量，自动重建到相应的精度，因此具有一定的自适应性。

4.1)建立特征树中上下层间外形特征的耦合关系。采用自底向上的解耦方式，保证自顶向下耦合时能逐步致密化，同时形状具有自适应性。从下层特征的统计变形模型中抽取一定权重的形状因子，按特征树的概率模型结合，计算上层特征的统计变形模型；按同样的方法，计算更上层特征的统计变形模型，以及目标对象整体表面的统计变形模型。在重建目标时，从上层特征所提供的形状因子参数按特征树概率模型解耦，计算下层各特征的主要形状因子，然后再从多视图像中计算其余形状因子，得到更致密的目标模型，充分利用上层特征的计算结果计算下层特征，减少重建时间。

4.2)建立重建表面特征的自适应特性。重建表面特征时，用网格表示目标对象，把网格投影到各视图像，投影的二维网格就自然会把图像切割成块，并且图像间的图像块分割是相互契合的。因此如果能得到初步正确的结构和表面，那么网格重投影就是一种抗仿射变形的图像分块方法，也是一种区域匹配方法。区域中特征及特征点在其它视中的匹配对象，都在相应的区域中。建立网格尺度与特征尺度的统计关系，使得特征尺度只有网格尺度1/3~1/5，并在迭代细分中保持这种比例基本不变，限制每个空间三角形所属新增空间点的数量；特征居于网格中心位置外的一定范围内，以使新增空间点不在投影三角形中心而靠近中心；对于居于三角形边缘的特征，采用对偶几何将特征变化到中间位置，限制在网格顶点投影附近的平面特征点生成新增空间点。利用特征点计算细分点，使得特征在细分后的三角形中仍处于三角形的中间位置，有利于下一轮的表面特征重建；网格细分生长时，采用和随机种子点生长法去除三角形间的相交、重复、多余、孤立、空洞，使得模型能够保持正确的拓扑结构。

5、与深度图法从固定分辨率的像素点开始重建不同，也与网格统一细分到像素级、亚像素级等指定精度不同，本发明以网格投影分割图像所形成的三角形区域中不再有奇异点作为终止条件。图像区域中不存在奇异点，网格完全汲取了图像中的特征信息，已经将模型重建到各视图像所提供的最大信息量程度，保证重建模型的精度与图像提供的信息量相吻合，自适应地完成重建。 

Claims (5)

1.一种基于特征的自顶向下从图像建模的方法，其特征在于：包括以下步骤：

1) 从目标对象的外形特点出发，将形状特征和表面特征分开处理，对形状特征和表面特征进行特征化、层次化的结构描述，建立形状特征的层次化特征树，将表面特征依附于相应层次的形状特征上，并对特征树中的各个类型特征生成相应的统计规律；

2) 获取目标对象的多视图像；

3) 采用目标对象整体表面的统计变形模型拟合多视图像得到目标的粗估计模型；

4) 重构目标对象的特征树；

5) 重建各层次外形特征；

6) 自顶向下重建各层次表面特征；

所述重构目标对象的特征树包括以下步骤：将目标对象整体的粗估计模型转换为网格模型；设定并依据目标对象的层次化解构原则，在形状变化、相对运动的位置分割粗估计模型；根据不变矩识别部分特征，然后根据特征树中父子特征层次关系，识别部分父特征和子特征；根据已经识别的特征，采用EM 算法计算贝叶斯统计概率，进行最大似然估计，匹配目标特征树与类型的特征树；采用启发式搜索，识别退化特征、蘖生特征、正常特征，以及各个特征间的连接关系，并进一步分析特征的属性；重建特征树。

2.根据权利要求1 所述的一种基于特征的自顶向下从图像建模的方法，其特征是所述重建各层次外形特征包括以下步骤：根据生成的目标对象特征树，从目标的粗估计模型估计下层次外形特征的初始参数，然后用各外形特征的统计变形模型拟合多视图像生成各层次外形特征；并按特征树的层次关系自顶向下重建各级外形特征，直到所有外形特征重建完成，得到半致密的外形模型。

3.根据权利要求1 所述的一种基于特征的自顶向下从图像建模的方法，其特征是所述自顶向下重建各层次表面特征包括以下步骤：将初步模型用网格表示后，对特征树中的表面特征，按自顶向下的顺序重建，迭代以下操作直到满足终止条件，操作包括：①将外形特征投影到未被遮挡的各视图像；②按预定操作处理外形特征投影范围内的表面特征，首先按尺度检测特征，然后将特征切割成特征点；③匹配平面特征点并生成空间点，利用新增空间点细分网格。

4.根据权利要求1 所述的一种基于特征的自顶向下从图像建模的方法，其特征是所述层次化解构原则包括以下部分：①将外形轮廓和表面特征分开，将表面特征看作是依附于外形特征的另一种特征；②对存在形状突变、相对运动的外形特征必须再次解构，因此目标对象解构成结构化的外形特征；③不再解构的基元特征，具有语义单一和表面形状简单的特点；④同层次的特征间容易区分，不变矩有差异。

5.根据权利要求2 所述的一种基于特征的自顶向下从图像建模的方法，其特征在于：各层次特征的外形特征都采用统计变形模型表达，并且按先基元特征后上层特征的顺序计算统计变形模型。