CN110826580B - 基于热核特征的物体二维形状分类方法 - Google Patents

基于热核特征的物体二维形状分类方法 Download PDF

Info

Publication number
CN110826580B
CN110826580B CN201810905461.1A CN201810905461A CN110826580B CN 110826580 B CN110826580 B CN 110826580B CN 201810905461 A CN201810905461 A CN 201810905461A CN 110826580 B CN110826580 B CN 110826580B
Authority
CN
China
Prior art keywords
dimensional
thermonuclear
vertex
dimensional grid
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810905461.1A
Other languages
English (en)
Other versions
CN110826580A (zh
Inventor
孙德超
王仁芳
毕春跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wanli University
Original Assignee
Zhejiang Wanli University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Wanli University filed Critical Zhejiang Wanli University
Priority to CN201810905461.1A priority Critical patent/CN110826580B/zh
Publication of CN110826580A publication Critical patent/CN110826580A/zh
Application granted granted Critical
Publication of CN110826580B publication Critical patent/CN110826580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于热核特征的物体二维形状分类方法，通过获取模型库内各物体二维图像的形状信息，对获取的各形状信息分别做三维建模，以对应生成三维网格模型；提取各三维网格模型的各顶点的热核特征，通过聚类方法构建模型库的特征词典，并生成针对每个三维网格模型的统一特征描述子；根据各统一特征描述子，对模型库内各三维网格模型做相似性度量，实现对多个物体二维形状的分类。该发明从三维的角度去处理物体的二维形状信息，从而有效地实现了对非刚性物体的二维形状分类。

Description

基于热核特征的物体二维形状分类方法
技术领域
本发明涉及数字图像处理领域，尤其涉及一种基于热核特征的物体二维形状分类方法。
背景技术
在数字图像处理领域，形状分类是计算机视觉和模式识别领域中的一个基本问题。最为典型的情况是以物体的二维图像作为输入，按照几何特征的相似性对输入的二维图像进行归类。与颜色、纹理等特征相比，物体二维图像所对应的物体二维形状特征从几何的角度刻画了物体的外形信息，被广泛地应用在诸如目标识别、文字识别、机器人导航、医学诊断以及基于内容的图像检索等领域中。在当前针对物体二维图像的分类方法中，物体二维形状的形状分类方法主要分为局部特征描述方法、全局特征描述方法以及二者相结合的方法。
在局部特征描述方法中，该类方法主要是通过对物体二维图像的二维形状轮廓进行诸点分析，设计出具有较好区分度和适用性的描述子，进而完成针对物体形状的分类。这类方法可以较好地表达刚性物体的边界形状信息，但是对非刚性物体的关节变化和形变比较敏感，难以很好地对非刚性物体(即为可形变的物体)的关节变化和形变情况做出较好的表达。
在全局特征描述方法中，该类方法通过物体二维图像的二维形状的全局结构特征描述形状信息。这类全局特征描述方法虽然计算简单，并且具有较低的时空复杂度，但过于关注物体二维形状的全局结构信息，严重的忽视了物体二维形状中的关键局部结构信息，尤其不能对非刚性物体的二维形状情况做出很好的表达，以提高物体二维形状分类效率。
在前述两者相结合的方法中，该类方法是将物体二维图像所对应的物体二维形状的局部特征信息和全局结构信息相互结合。这类相互结合的方法虽然将物体二维形状的局部特征信息和全局结构信息做了结合处理，以完善对物体二维形状的结构特征描述，提高物体二维形状的匹配成功率。但是，这类方法也是主要针对刚性物体，依旧未能很好的解决针对非刚性物体的物体二维形状分类问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术提供一种基于热核特征的物体二维形状分类方法。
本发明解决上述技术问题所采用的技术方案为：基于热核特征的物体二维形状分类方法，用于实现对模型库内多个物体二维图像的分类，其特征在于，所述基于热核特征的物体二维形状分类方法包括如下步骤1至步骤5：
步骤1，获取所述模型库内各物体二维图像的形状信息；其中，所述物体二维图像的形状信息包括物体形状和物体形状边界，所述物体形状标记为O，所述物体形状的边界标记为
Figure BDA00017605083900000213
步骤2，对获取的各所述形状信息分别做三维建模，分别对应生成具有光滑表面且封闭的三维网格模型；其中，任一个所述三维网格模型的生成过程包括如下步骤2-1至步骤2-8：
步骤2-1，提取所述物体二维图像的物体形状；其中，所述物体形状标记为O，所述物体形状的边界标记为
Figure BDA0001760508390000021
步骤2-2，计算所述物体形状的直骨架，得到所述物体形状内的多个块区域；其中，所述物体形状内的块区域数量标记为N，第i个块区域标记为si，1≤i≤N，si为一个具有k个顶点的多边形，所述块区域si的边界标记为
Figure BDA0001760508390000022
所述边界
Figure BDA0001760508390000023
上的任一顶点标记为pg，所述顶点pg的三维坐标标记为pg(xg,yg,zg)；
Figure BDA0001760508390000024
r表示顶点pg到所述物体形状O的边界
Figure BDA0001760508390000025
的最短距离；
步骤2-3，针对所述物体形状内的各块区域做内部约束三角化处理，使得所述各块区域被对应地分成多个小三角形；其中，经内部约束三角化处理后，所述块区域si被对应地分成小三角形的总数量标记为
Figure BDA00017605083900000214
步骤2-4，计算所述各块区域所对应分成的各小三角形对应顶点的三维坐标；其中，所述块区域si内的第j个小三角形Trj所对应顶点的三维坐标标记为
Figure BDA0001760508390000026
Figure BDA0001760508390000027
Figure BDA0001760508390000028
和
Figure BDA0001760508390000029
是已知的，顶点
Figure BDA00017605083900000210
的纵坐标值
Figure BDA00017605083900000211
计算公式如下：
Figure BDA00017605083900000212
Figure BDA0001760508390000031
Figure BDA0001760508390000032
其中，αg表示小三角形上的顶点
Figure BDA0001760508390000033
所对应的角度，αg-1表示小三角形上的顶点
Figure BDA0001760508390000034
所对应的角度；
步骤2-5，根据所得各小三角形所对应顶点的三维坐标，得到各顶点所对应的拉普拉斯算子；其中，所述顶点
Figure BDA0001760508390000035
对应的拉普拉斯算子标记为△u(j)：
Figure BDA0001760508390000036
u(j)表示所述顶点
Figure BDA0001760508390000037
的热量值；αwj和βwj表示分别与顶点
Figure BDA0001760508390000038
和顶点
Figure BDA0001760508390000039
之间连线所相对的夹角的角度，A(w)为与顶点
Figure BDA00017605083900000310
所邻接的所有小三角形面积之和的三分之一；
步骤2-6，根据所得各顶点所对应的拉普拉斯算子以及所述步骤2-4计算后各顶点坐标的三维坐标值，对所述各小三角形的顶点位置分别进行更新，对应得到各小三角形所对应顶点的更新后顶点坐标；其中，
Figure BDA00017605083900000311
其中，△为小三角形所对应任一顶点的拉普拉斯算子，△X＝0和△Y＝0表示对所述物体二维形状边界的约束；A为与顶点所邻接的所有小三角形面积之和的三分之一；η为控制物体所对应三维网格模型高度的参数；
步骤2-7，判断步骤2-6中所述各更新后顶点坐标收敛到预设误差范围内时，则执行步骤2-8；否则，转至执行步骤2-5；
步骤2-8，生成表面光滑且封闭的三维网格模型；
步骤3，提取各所述三维网格模型的各顶点的热核特征；其中，所述三维网格模型的顶点的热核特征提取包括如下步骤3-1至步骤3-2：
步骤3-1，将非刚性的三维网格模型作为二维流形，根据热核理论，获取所述二维流形上的任一顶点在任一时刻的热核；其中，所述二维流形上的任一顶点标记为
Figure BDA00017605083900000312
该顶点
Figure BDA00017605083900000313
在任一时刻tn所对应的热核标记为
Figure BDA00017605083900000314
Figure BDA0001760508390000041
其中，λq表示顶点
Figure BDA0001760508390000042
所对应拉普拉斯算子的第q个特征值，
Figure BDA0001760508390000043
表示该顶点
Figure BDA0001760508390000044
所对应拉普拉斯算子的第q个特征值所对应的特征向量；
步骤3-2，设定时间域，并将获取的所述各顶点所对应的热核限制在所述时间域上，得到所述各顶点的热核特征；其中，所述时间域标记为t，所述顶点
Figure BDA0001760508390000045
在所述时间域t上的热核特征标记为
Figure BDA0001760508390000046
Figure BDA0001760508390000047
其中，N'的值由在所述时间域t内所选取时间节点的个数来决定；
步骤4，通过聚类方法构建所述模型库的特征词典，把所得每个三维网格模型的热核特征投影到所述特征词典上，分别对应生成针对每个三维网格模型的统一特征描述子；其中，所述三维网格模型的统一特征描述子生成过程包括如下步骤4-1至步骤4-5；
步骤4-1，构建聚类中心集合，由所述模型库内所有顶点所对应的热核特征形成热核特征集合，并在所述热核特征集合中，随机选取一个三维网格模型的任意一个顶点所对应的热核特征作为第一个聚类中心；其中，所述聚类中心集合标记为C，该聚类中心集合内的聚类中心个数为J；
步骤4-2，针对所述热核特征集合中的每一个热核特征，计算与该热核特征最近聚类中心的欧式距离，并计算所述热核特征集合中各热核特征所对应欧式距离的距离和值；其中，热核特征
Figure BDA0001760508390000048
与该热核特征
Figure BDA0001760508390000049
最近聚类中心的欧式距离标记为
Figure BDA00017605083900000410
所述热核特征集合中各热核特征所对应欧式距离的距离和值标记为
Figure BDA00017605083900000411
步骤4-3，在所述热核特征集合中，计算各热核特征被选取作为聚类中心的选中概率，并以所得所有选中概率中的最大值所对应的热核特征作为新的聚类中心；其中，设定所述热核特征集合中任一个热核特征被选取作为聚类中心的选中概率标记为
Figure BDA00017605083900000412
Figure BDA00017605083900000413
步骤4-4，重复执行步骤4-2和步骤4-3，直到选取得到预设数量的聚类中心，并将所选取的所有聚类中心作为初始聚类中心放置到所述聚类中心集合C中；其中，所述聚类中心的预设数量设置为J'；
步骤4-5，将步骤4-4中所述聚类中心集合中的所有聚类中心作为特征单词库，并将该聚类中心集合中的任一聚类中心作为所述特征单词库中的单词，根据每个顶点所对应热核特征到所述特征单词库内各单词的欧式距离，将所述顶点的热核特征映射到距离最短的单词中，统计每个单词在任一个三维网格模型的所有热核特征中出现的频数，得到每个三维网格模型所对应的统一特征描述子；
步骤5，根据所得针对各所述三维网格模型的统一特征描述子，对所述模型库内各三维网格模型做相似性度量，实现对多个所述物体二维形状的分类；其中，对物体二维形状的相似性度量和分类过程分别对应如下步骤5-1和步骤5-2：
步骤5-1，根据所得各三维网络模型对应的统一特征描述子做相似性度量，得到各三维网格模型之间的欧式距离，并将与任一个三维网格模型具有最小欧式距离的三维网格模型作为该任一个三维网格模型的同类；其中，所述三维网格模型之间的欧式距离计算方式如下：
计算任意两个所述三维网格模型之间的欧式距离；其中，所述任意两个三维网格模型分别标记为G和Y，所述三维网格模型G和三维网格模型Y之间的欧式距离标记为dBOW(G,Y)：dBOW(G,Y)＝||f(G)-f(Y)||2；
f(G)表示所述三维网格模型G所对应的统一特征描述子，f(Y)表示所述三维网格模型Y所对应的统一特征描述子；||·||2表示计算两个向量之间的欧式距离；
步骤5-2，将作为同类的三维网格模型所对应的各物体二维形状归为一类，实现对多个物体二维图像的分类。
改进地，在所述基于热核特征的物体二维形状分类方法中，在步骤5中，预先设置进行形状分类的预设分类阈值，且当所述两个三维网格模型之间的欧式距离小于所述预设分类阈值时，则判定该两个三维网格模型所对应的物体二维形状为同一类；否则，判定该两个三维网格模型所对应的物体二维形状不为同一类。
进一步地，在所述基于热核特征的物体二维形状分类方法中，可利用最近邻分类器实现针对所述模型库内多个物体二维图像的分类。
与现有技术相比，本发明的优点在于：
首先，本发明通过获取模型库内各物体二维图像的形状信息，对获取的各形状信息分别做三维建模，以对应生成三维网格模型；提取各三维网格模型的各顶点的热核特征，通过聚类方法构建模型库的特征词典，并生成针对每个三维网格模型的统一特征描述子；根据各统一特征描述子，对模型库内各三维网格模型做相似性度量，实现对多个物体二维形状的分类；
非刚性物体由于姿势等变化，其形状也会发生变化，传统的物体二维形状分类方法主要从二维轮廓对物体特征进行描述；当物体的形状发生变化时，其对应的特征也会发生变化。本发明通过从三维的角度对物体进行描述，且从三维模型提取的热核特征具有不变形，因此当物体的形状发生变化时，其特征也不会发生变化，因此能很好地解决非刚性物体的物体二维形状分类问题，从而提高分类效率；
其次，本发明中的物体二维形状分类具有更强的鲁棒性，能够有效地避免噪声对于物体二维形状的分类影响，进而有效地提高分类准确率。
附图说明
图1为本发明实施例中基于热核特征的物体二维形状分类方法流程示意图；
图2为本发明实施例中的部分MPEG-7的物体二维形状图；
图3为本发明实施例中的部分Animal Shapes的物体二维形状图；
图4为在无噪声情况下，物体二维形状转换为物体三维网格模型时的示意图；
图5为图4中所示物体三维网格模型的热核特征分布示意图；
图6为在噪声程度为0.01条件下，物体二维形状转换为物体三维网格模型时的示意图；
图7为图6中所示物体三维网格模型的热核特征分布示意图；
图8为在噪声程度为0.03条件下，物体二维形状转换为物体三维网格模型时的示意图；
图9为图8中所示物体三维网格模型的热核特征分布示意图；
图10为在噪声程度为0.05条件下，物体二维形状转换为物体三维网格模型时的示意图；
图11为图10中所示物体三维网格模型的热核特征分布示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，本实施例中基于热核特征的物体二维形状分类方法，用于实现对模型库内多个物体二维图像的分类，该基于热核特征的物体二维形状分类方法包括如下步骤1至步骤5：
步骤1，获取模型库内各物体二维图像的形状信息；其中，物体二维图像的形状信息包括物体形状和物体形状边界，物体形状标记为O，物体形状O的边界标记为
Figure BDA0001760508390000061
步骤2，对获取的各形状信息分别做三维建模，分别对应生成具有光滑表面且封闭的三维网格模型；其中，任一个所述三维网格模型的生成过程包括如下步骤2-1至步骤2-8：
步骤2-1，提取物体二维图像的物体形状；其中，物体形状标记为O，物体形状的边界标记为
Figure BDA0001760508390000071
步骤2-2，计算物体形状的直骨架，得到物体形状内的多个块区域；其中，物体形状内的块区域数量标记为N，第i个块区域标记为si，1≤i≤N，si为一个具有k个顶点的多边形，块区域si的边界标记为
Figure BDA0001760508390000072
边界
Figure BDA0001760508390000073
上的任一顶点标记为pg，顶点pg的三维坐标标记为pg(xg,yg,zg)；
Figure BDA0001760508390000074
r表示顶点pg到物体形状O的边界
Figure BDA0001760508390000075
的最短距离；
步骤2-3，针对物体形状O内的各块区域做内部约束三角化处理，使得各块区域被对应地分成多个小三角形；其中，经内部约束三角化处理后，块区域si被对应地分成小三角形的总数量标记为
Figure BDA0001760508390000076
步骤2-4，计算各块区域所对应分成的各小三角形对应顶点的三维坐标；其中，块区域si内的第j个小三角形Trj所对应顶点的三维坐标标记为
Figure BDA0001760508390000077
Figure BDA0001760508390000078
Figure BDA0001760508390000079
和
Figure BDA00017605083900000710
是已知的，顶点
Figure BDA00017605083900000711
的纵坐标值
Figure BDA00017605083900000712
计算公式如下：
Figure BDA00017605083900000713
Figure BDA00017605083900000714
Figure BDA00017605083900000715
其中，αg表示小三角形上的顶点
Figure BDA00017605083900000716
所对应的角度，αg-1表示小三角形上的顶点
Figure BDA00017605083900000717
所对应的角度；
步骤2-5，根据所得各小三角形所对应顶点的三维坐标，得到各顶点所对应的拉普拉斯算子；其中，顶点
Figure BDA00017605083900000718
对应的拉普拉斯算子标记为△u(j)：
Figure BDA0001760508390000081
u(j)表示顶点
Figure BDA0001760508390000082
的热量值；αwj和βwj表示分别与顶点
Figure BDA0001760508390000083
和顶点
Figure BDA0001760508390000084
之间连线所相对的夹角的角度，A(w)为与顶点
Figure BDA0001760508390000085
所邻接的所有小三角形面积之和的三分之一；顶点
Figure BDA0001760508390000086
的热量值u(j)可以由常规方法获取得到；例如，采用作为现有技术的热导方程得到顶点
Figure BDA0001760508390000087
的热量值；
步骤2-6，根据所得各顶点所对应的拉普拉斯算子以及步骤2-4计算后各顶点坐标的三维坐标值，对各小三角形的顶点位置分别进行更新，对应得到各小三角形所对应顶点的更新后顶点坐标；其中，
Figure BDA0001760508390000088
其中，△为小三角形所对应任一顶点的拉普拉斯算子，△X＝0和△Y＝0表示对所述物体二维形状边界的约束；为与顶点所邻接的所有小三角形面积之和的三分之一；η为控制物体所对应三维网格模型高度的参数；
通过对各三角形的顶点位置分别进行更新，可以使得所得三维网格模型的表面更加光滑；
步骤2-7，判断步骤2-6中各更新后顶点坐标收敛到预设误差范围内时，则执行步骤2-8；否则，转至执行步骤2-5；
步骤2-8，生成表面光滑且封闭的三维网格模型；
步骤3，提取各三维网格模型的各顶点的热核特征；其中，任一个三维网格模型的顶点的热核特征提取包括如下步骤3-1至步骤3-2：
步骤3-1，将非刚性的三维网格模型作为二维流形，根据热核理论，获取该二维流形上的任一顶点在任一时刻的热核；其中，二维流形上的任一顶点标记为
Figure BDA0001760508390000089
该顶点
Figure BDA00017605083900000810
在任一时刻tn所对应的热核标记为
Figure BDA00017605083900000811
Figure BDA00017605083900000812
其中，λq表示顶点
Figure BDA00017605083900000813
所对应拉普拉斯算子的第q个特征值，
Figure BDA00017605083900000814
表示该顶点
Figure BDA00017605083900000815
所对应拉普拉斯算子的第q个特征值所对应的特征向量；
步骤3-2，设定时间域，并将获取的各顶点所对应的热核限制在该时间域上，得到各顶点的热核特征；其中，这里的时间域标记为t，顶点
Figure BDA0001760508390000091
在时间域t上的热核特征标记为
Figure BDA0001760508390000092
Figure BDA0001760508390000093
其中，N'的值由在时间域t内所选取时间节点的个数来决定；也就是说，可以根据实际需要，在时间域t内选取所需要个数的时间节点，即N'的值为根据实际需要设置；
步骤4，通过聚类方法构建模型库的特征词典，把所得每个三维网格模型的热核特征投影到该特征词典上，分别对应生成针对每个三维网格模型的统一特征描述子；其中，所述三维网格模型的统一特征描述子生成过程包括如下步骤4-1至步骤4-5；
步骤4-1，构建聚类中心集合，由模型库内所有顶点所对应的热核特征形成热核特征集合，并在该热核特征集合中，随机选取一个三维网格模型的任意一个顶点所对应的热核特征作为第一个聚类中心；其中，此处的聚类中心集合标记为C，该聚类中心集合内的聚类中心个数为J；
步骤4-2，针对热核特征集合中的每一个热核特征，计算与该热核特征最近聚类中心的欧式距离，并计算热核特征集合中各热核特征所对应欧式距离的距离和值；其中，热核特征
Figure BDA0001760508390000094
与该热核特征
Figure BDA0001760508390000095
最近聚类中心的欧式距离标记为
Figure BDA0001760508390000096
所述热核特征集合中各热核特征所对应欧式距离的距离和值标记为
Figure BDA0001760508390000097
Figure BDA0001760508390000098
步骤4-3，在热核特征集合中，计算各热核特征被选取作为聚类中心的选中概率，并以所得所有选中概率中的最大值所对应的热核特征作为新的聚类中心；其中，设定该热核特征集合中任一个热核特征被选取作为聚类中心的选中概率标记为
Figure BDA0001760508390000099
Figure BDA00017605083900000910
例如，热核特征
Figure BDA00017605083900000911
热核特征
Figure BDA00017605083900000912
…、热核特征
Figure BDA00017605083900000913
和热核特征
Figure BDA00017605083900000914
分别对应的被选取作为聚类中心的选中概率为
Figure BDA00017605083900000915
Figure BDA0001760508390000101
和
Figure BDA0001760508390000102
如果在这J个选中概率中的最大值为
Figure BDA0001760508390000103
那么在该步骤4-3中就将概率
Figure BDA0001760508390000104
所对应的热核特征
Figure BDA0001760508390000105
作为新的聚类中心；
步骤4-4，重复执行步骤4-2和步骤4-3，直到选取得到预设数量的聚类中心，并将所选取的所有聚类中心作为初始聚类中心放置到聚类中心集合C中；其中，聚类中心的预设数量设置为J'；
步骤4-5，将步骤4-4中所述聚类中心集合中的所有聚类中心作为特征单词库，并将该聚类中心集合中的任一聚类中心作为该特征单词库中的单词，根据每个顶点所对应热核特征到该特征单词库内各单词的欧式距离，将该顶点的热核特征映射到距离最短的单词中，统计每个单词在任一个三维网格模型的所有热核特征中出现的频数，得到每个三维网格模型所对应的统一特征描述子；
此处需要说明的是，在本实施例中的步骤4中，通过把所得每个三维网格模型的热核特征投影到特征词典上以及分别对应生成针对每个三维网格模型的统一特征描述子，可以实现将各三维网格模型做降维处理，这样有利于在较少的维度上处理模型数据，进而提高运算处理效率；
步骤5，根据所得针对各三维网格模型的统一特征描述子，对模型库内各三维网格模型做相似性度量，实现对多个物体二维形状的分类；其中，对物体二维形状的相似性度量和分类过程分别对应如下步骤5-1和步骤5-2：
步骤5-1，根据所得各三维网络模型对应的统一特征描述子做相似性度量，得到各三维网格模型之间的欧式距离，并将与任一个三维网格模型具有最小欧式距离的三维网格模型作为该任一个三维网格模型的同类；其中，三维网格模型之间的欧式距离计算方式如下：
计算任意两个三维网格模型之间的欧式距离；其中，任意两个三维网格模型分别标记为G和Y，三维网格模型G和三维网格模型Y之间的欧式距离标记为dBOW(G,Y)：
dBOW(G,Y)＝||f(G)-f(Y)||2；
f(G)表示三维网格模型G所对应的统一特征描述子，f(Y)表示三维网格模型Y所对应的统一特征描述子；||·||2表示计算两个向量之间的欧式距离；该欧式距离在本发明中也可以称之为两个向量之间的相似性距离；对应到两个三维网格模型，此时的欧式距离就对应的表示两个三维网格模型之间的相似性距离；
步骤5-2，将作为同类的三维网格模型所对应的各物体二维形状归为一类，实现对多个物体二维图像的分类。
当前，针对本实施例的该步骤5，还可以通过预先设置进行形状分类的预设分类阈值，且当两个三维网格模型之间的欧式距离小于该预设分类阈值时，则判定该两个三维网格模型所对应的物体二维形状为同一类；否则，判定该两个三维网格模型所对应的物体二维形状不为同一类。其中，此处可以利用最近邻分类器实现针对模型库内多个物体二维图像的分类。
为了验证本实施例中基于热核特征的物体二维形状分类方法的有效性，本实施例分别使用了MPEG-7和Animal Shapes数据库进行仿真测试实验。其中，仿真测试实验中所使用的电脑的配置情况如下：
1)Win7 64位操作系统；2)3.6GHz Intel(R)Core(TM)i7 CPU；3)64GB内存。
仿真测试实验(一)：MPEG-7数据库
MPEG-7数据库是被广泛使用的测试形状分类算法效果的基准数据集，该数据库由70类图像组成，每类包含20个形状，共1400个形状。图2是部分MPEG-7的物体二维形状图。
在仿真测试实验中，选取特征词典的个数为300.；通过公式dBOW(G,Y)＝||f(G)-f(Y)||2计算完MEPG-7数据集中两两物体间的欧式距离后，生成形状的距离矩阵，该距离矩阵的维度为1400×1400。该数据集的形状分类算法通常通过名为Bullseye test方法所对应的Bullseye test分数来评估：
对于数据集中的每一张图，都与其他1399张图做匹配，然后将前40个最像的图作为候选集；在每个候选集的40幅图中，最多有20幅图(即同类的图)是正确的匹配；Bullseyetest的测试分数即为候选集中正确匹配的总数除以可能的最大正确匹配数(20×1400)作为算法分类的准确度。本实施例中物体二维形状分类方法和已有物体二维形状分类方法的测试结果如表1所示。
表1 Bullseye test分数(MEPG-7)
物体二维形状分类方法 分数(％)
SC+TPS分类方法 76.51
Skeletal contexts分类方法 79.2
Planar graph cuts分类方法 85
IDSC+DP分类方法 85.4
TAR+shape complexity分类方法 87.13
Hilbert curve分类方法 88.3
Aspect shape context分类方法 88.3
Variational shape matching分类方法 89.05
Height functions分类方法 89.66
本发明的分类方法 90.12
从表1的结果可以看出，本实施例中的物体二维形状分类方法达到了90％以上的形状分类分数。对比过程则采用内部距离的形状上下文分类方法，本实施例中物体二维形状分类方法大幅提高了物体形状分类的准确度。
仿真测试实验(二)：Animal shapes数据库
Animal Shapes主要是由一些鸟、蝴蝶、牛等20类形状变化的动物组成。每类包含100个形状，共2000幅图像。图3是部分Animal Shapes的物体二维形状图。相比于其他数据库，Animal Shapes数据库有很大的挑战性。因为视点变化和遮挡问题较大，该数据库某些类与类之间物体形状有很大相似性，类内的一些动物却有很大差异。
在仿真测试实验中，选取特征词典的个数为460，完成模型的BoW特征提取后，本实施例采用最近邻分类器实现模型的分类。每类训练样本的个数为80，测试样本为20。对比实验使用典型的基于全局的形状描述方法以及结合全局与局部信息的二维形状描述方法；同时，引入传统的傅里叶形状描述方法(fourier descriptor,FD)、基于形状轮廓的方法(contour shapes,CS)、IDSC方法、形状树(shape tree)方法和融合HOG-SIFT特征方法。
表2平均分类准确率
物体二维形状分类方法 准确率(％)
FD 67.7
CS 71.13
IDSC 73.6
<![CDATA[Shape Tree<sup>[33]</sup>]]> 80.0
<![CDATA[HOG-SIFT BoW<sup>[34]</sup>]]> 80.4
本发明的分类方法 86.52
从表2实验对比的结果来看,本实施例中的物体二维形状分类方法提高了针对模型库内多个物体二维形状的分类准确率。
仿真测试实验(三)：鲁棒性测试
为了测试本实施例中的物体二维形状分类方法的鲁棒性，在物体二维轮廓的顶点上加入了不同程度的噪声。利用本实施例中的物体二维形状分类方法把加噪后的物体二维轮廓转换成三维网格模型，并计算物体三维网格模型在不同程度噪声下的HKS特征分布，仿真测试结果如图4所示。其中，
参见图4～图11，本实施例给出了在不同噪声程度σ2条件下，物体二维形状转换为物体三维网格模型时的示意图以及对应转换后各物体三维网格模型的热核特征分布示意图。其中，本实施例中的噪声程度σ2表示噪声幅度相对于物体三维网格模型大小的比例。
从图4、图6、图8和图10可以看出，给物体二维轮廓的顶点加不同噪声后，本实施例中的物体二维形状分类方法仍能生成一个表面光滑且封闭的三维网格模型。
表3为在不同噪声程度σ2下所生成的三维网格模型与无噪声情况下所生成的三维网格模型之间的特征相似度的比较情况。
表3与原始物体三维网格模型的相似度比较
<![CDATA[σ<sup>2</sup>＝0.01]]> <![CDATA[σ<sup>2</sup>＝0.03]]> <![CDATA[σ<sup>2</sup>＝0.05]]>
相似性距离 0.096 1 0.114 2 0.130 9
从表3可以看出，在不同程度噪声的干扰下，相同物体三维网格模型之间的相似性度量值变化不大，这证明了本实施例中的物体二维形状分类方法的鲁棒性。
尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于热核特征的物体二维形状分类方法，用于实现对模型库内多个物体二维图像的分类，其特征在于，所述基于热核特征的物体二维形状分类方法包括如下步骤1至步骤5：
步骤1，获取所述模型库内各物体二维图像的形状信息；其中，所述物体二维图像的形状信息包括物体形状和物体形状边界，所述物体形状标记为O，所述物体形状的边界标记为
Figure FDA00017605083800000114
步骤2，对获取的各所述形状信息分别做三维建模，分别对应生成具有光滑表面且封闭的三维网格模型；其中，任一个所述三维网格模型的生成过程包括如下步骤2-1至步骤2-8：
步骤2-1，提取所述物体二维图像的物体形状；其中，所述物体形状标记为O，所述物体形状的边界标记为
Figure FDA0001760508380000011
步骤2-2，计算所述物体形状的直骨架，得到所述物体形状内的多个块区域；其中，所述物体形状内的块区域数量标记为N，第i个块区域标记为si，1≤i≤N，si为一个具有k个顶点的多边形，所述块区域si的边界标记为
Figure FDA0001760508380000012
所述边界
Figure FDA0001760508380000013
上的任一顶点标记为pg，所述顶点pg的三维坐标标记为pg(xg,yg,zg)；
Figure FDA0001760508380000014
r表示顶点pg到所述物体形状O的边界
Figure FDA0001760508380000015
的最短距离；
步骤2-3，针对所述物体形状内的各块区域做内部约束三角化处理，使得所述各块区域被对应地分成多个小三角形；其中，经内部约束三角化处理后，所述块区域si被对应地分成小三角形的总数量标记为
Figure FDA0001760508380000016
1≤i≤N；
步骤2-4，计算所述各块区域所对应分成的各小三角形对应顶点的三维坐标；其中，所述块区域si内的第j个小三角形Trj所对应顶点的三维坐标标记为
Figure FDA0001760508380000017
Figure FDA0001760508380000018
Figure FDA0001760508380000019
和
Figure FDA00017605083800000110
是已知的，顶点
Figure FDA00017605083800000111
的纵坐标值
Figure FDA00017605083800000112
计算公式如下：
Figure FDA00017605083800000113
Figure FDA0001760508380000021
Figure FDA0001760508380000022
其中，αg表示小三角形上的顶点
Figure FDA0001760508380000023
所对应的角度，αg-1表示小三角形上的顶点
Figure FDA0001760508380000024
所对应的角度；
步骤2-5，根据所得各小三角形所对应顶点的三维坐标，得到各顶点所对应的拉普拉斯算子；其中，所述顶点
Figure FDA0001760508380000025
对应的拉普拉斯算子标记为△u(j)：
Figure FDA0001760508380000026
u(j)表示所述顶点
Figure FDA0001760508380000027
的热量值；αwj和βwj表示分别与顶点
Figure FDA0001760508380000028
和顶点
Figure FDA0001760508380000029
之间连线所相对的夹角的角度，A(w)为与顶点
Figure FDA00017605083800000210
所邻接的所有小三角形面积之和的三分之一；
步骤2-6，根据所得各顶点所对应的拉普拉斯算子以及所述步骤2-4计算后各顶点坐标的三维坐标值，对所述各小三角形的顶点位置分别进行更新，对应得到各小三角形所对应顶点的更新后顶点坐标；其中，
Figure FDA00017605083800000211
其中，△为小三角形所对应任一顶点的拉普拉斯算子，△X＝0和△Y＝0表示对所述物体二维形状边界的约束；A为与顶点所邻接的所有小三角形面积之和的三分之一；η为控制物体所对应三维网格模型高度的参数；
步骤2-7，判断步骤2-6中所述各更新后顶点坐标收敛到预设误差范围内时，则执行步骤2-8；否则，转至执行步骤2-5；
步骤2-8，生成表面光滑且封闭的三维网格模型；
步骤3，提取各所述三维网格模型的各顶点的热核特征；其中，所述三维网格模型的顶点的热核特征提取包括如下步骤3-1至步骤3-2：
步骤3-1，将非刚性的三维网格模型作为二维流形，根据热核理论，获取所述二维流形上的任一顶点在任一时刻的热核；其中，所述二维流形上的任一顶点标记为
Figure FDA00017605083800000212
该顶点
Figure FDA0001760508380000031
在任一时刻tn所对应的热核标记为
Figure FDA0001760508380000032
Figure FDA0001760508380000033
其中，λq表示顶点
Figure FDA0001760508380000034
所对应拉普拉斯算子的第q个特征值，
Figure FDA0001760508380000035
表示该顶点
Figure FDA0001760508380000036
所对应拉普拉斯算子的第q个特征值所对应的特征向量；
步骤3-2，设定时间域，并将获取的所述各顶点所对应的热核限制在所述时间域上，得到所述各顶点的热核特征；其中，所述时间域标记为t，所述顶点
Figure FDA0001760508380000037
在所述时间域t上的热核特征标记为
Figure FDA0001760508380000038
Figure FDA0001760508380000039
其中，N'的值由在所述时间域t内所选取时间节点的个数来决定；
步骤4，通过聚类方法构建所述模型库的特征词典，把所得每个三维网格模型的热核特征投影到所述特征词典上，分别对应生成针对每个三维网格模型的统一特征描述子；其中，所述三维网格模型的统一特征描述子生成过程包括如下步骤4-1至步骤4-5；
步骤4-1，构建聚类中心集合，由所述模型库内所有顶点所对应的热核特征形成热核特征集合，并在所述热核特征集合中，随机选取一个三维网格模型的任意一个顶点所对应的热核特征作为第一个聚类中心；其中，所述聚类中心集合标记为C，该聚类中心集合内的聚类中心个数为J；
步骤4-2，针对所述热核特征集合中的每一个热核特征，计算与该热核特征最近聚类中心的欧式距离，并计算所述热核特征集合中各热核特征所对应欧式距离的距离和值；其中，热核特征
Figure FDA00017605083800000310
与该热核特征
Figure FDA00017605083800000311
最近聚类中心的欧式距离标记为
Figure FDA00017605083800000312
所述热核特征集合中各热核特征所对应欧式距离的距离和值标记为
Figure FDA00017605083800000313
步骤4-3，在所述热核特征集合中，计算各热核特征被选取作为聚类中心的选中概率，并以所得所有选中概率中的最大值所对应的热核特征作为新的聚类中心；其中，设定所述热核特征集合中任一个热核特征被选取作为聚类中心的选中概率标记为
Figure FDA00017605083800000314
Figure FDA0001760508380000041
步骤4-4，重复执行步骤4-2和步骤4-3，直到选取得到预设数量的聚类中心，并将所选取的所有聚类中心作为初始聚类中心放置到所述聚类中心集合C中；其中，所述聚类中心的预设数量设置为J'；
步骤4-5，将步骤4-4中所述聚类中心集合中的所有聚类中心作为特征单词库，并将该聚类中心集合中的任一聚类中心作为所述特征单词库中的单词，根据每个顶点所对应热核特征到所述特征单词库内各单词的欧式距离，将所述顶点的热核特征映射到距离最短的单词中，统计每个单词在任一个三维网格模型的所有热核特征中出现的频数，得到每个三维网格模型所对应的统一特征描述子；
步骤5，根据所得针对各所述三维网格模型的统一特征描述子，对所述模型库内各三维网格模型做相似性度量，实现对多个所述物体二维形状的分类；其中，对物体二维形状的相似性度量和分类过程分别对应如下步骤5-1和步骤5-2：
步骤5-1，根据所得各三维网络模型对应的统一特征描述子做相似性度量，得到各三维网格模型之间的欧式距离，并将与任一个三维网格模型具有最小欧式距离的三维网格模型作为该任一个三维网格模型的同类；其中，所述三维网格模型之间的欧式距离计算方式如下：
计算任意两个所述三维网格模型之间的欧式距离；其中，所述任意两个三维网格模型分别标记为G和Y，所述三维网格模型G和三维网格模型Y之间的欧式距离标记为dBOW(G,Y)：
dBOW(G,Y)＝||f(G)-f(Y)||2；
f(G)表示所述三维网格模型G所对应的统一特征描述子，f(Y)表示所述三维网格模型Y所对应的统一特征描述子；||·||2表示计算两个向量之间的欧式距离；
步骤5-2，将作为同类的三维网格模型所对应的各物体二维形状归为一类，实现对多个物体二维图像的分类。
2.根据权利要求1所述基于热核特征的物体二维形状分类方法，其特征在于，在步骤5中，预先设置进行形状分类的预设分类阈值，且当所述两个三维网格模型之间的欧式距离小于所述预设分类阈值时，则判定该两个三维网格模型所对应的物体二维形状为同一类；否则，判定该两个三维网格模型所对应的物体二维形状不为同一类。
3.根据权利要求2所述基于热核特征的物体二维形状分类方法，其特征在于，利用最近邻分类器实现针对所述模型库内多个物体二维图像的分类。
CN201810905461.1A 2018-08-10 2018-08-10 基于热核特征的物体二维形状分类方法 Active CN110826580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810905461.1A CN110826580B (zh) 2018-08-10 2018-08-10 基于热核特征的物体二维形状分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810905461.1A CN110826580B (zh) 2018-08-10 2018-08-10 基于热核特征的物体二维形状分类方法

Publications (2)

Publication Number Publication Date
CN110826580A CN110826580A (zh) 2020-02-21
CN110826580B true CN110826580B (zh) 2023-04-14

Family

ID=69541019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810905461.1A Active CN110826580B (zh) 2018-08-10 2018-08-10 基于热核特征的物体二维形状分类方法

Country Status (1)

Country Link
CN (1) CN110826580B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945569A (zh) * 2012-10-23 2013-02-27 西北工业大学 一种基于热核信号的三维模型对称性分析方法
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN108280158A (zh) * 2018-01-15 2018-07-13 北京科技大学 基于梯度方向累加热核特征的非刚性三维模型检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945569A (zh) * 2012-10-23 2013-02-27 西北工业大学 一种基于热核信号的三维模型对称性分析方法
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN108280158A (zh) * 2018-01-15 2018-07-13 北京科技大学 基于梯度方向累加热核特征的非刚性三维模型检索方法

Also Published As

Publication number Publication date
CN110826580A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
Caelli et al. An eigenspace projection clustering method for inexact graph matching
Singh et al. Svm-bdt pnn and fourier moment technique for classification of leaf shape
Lin et al. Discriminatively trained and-or graph models for object shape detection
Sahillioğlu et al. Minimum-distortion isometric shape correspondence using EM algorithm
CN109697692B (zh) 一种基于局部结构相似的特征匹配方法
CN104850822B (zh) 基于多特征融合的简单背景下的叶片识别方法
Yang et al. Plant species recognition using triangle-distance representation
Tam et al. Deformable model retrieval based on topological and geometric signatures
CN112926592B (zh) 一种基于改进Fast算法的商标检索方法及装置
Deng et al. Efficient 3D face recognition using local covariance descriptor and Riemannian kernel sparse coding
CN105930859B (zh) 基于线性流形聚类的雷达信号分选方法
Lu et al. Learning-based bipartite graph matching for view-based 3D model retrieval
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
Jin et al. Content-based image retrieval based on shape similarity calculation
Zafari et al. Segmentation of partially overlapping convex objects using branch and bound algorithm
Chen et al. Mesh convolution: a novel feature extraction method for 3d nonrigid object classification
Arvanitis et al. Broad-to-narrow registration and identification of 3D objects in partially scanned and cluttered point clouds
CN109712146B (zh) 一种基于直方图的em多阈值图像分割方法及装置
Du et al. Classifying fragments of terracotta warriors using template-based partial matching
CN109508674A (zh) 基于区域划分的机载下视异构图像匹配方法
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
Li et al. A non-rigid 3D model retrieval method based on scale-invariant heat kernel signature features
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN108897747A (zh) 一种商标图形相似度比对方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant