CN103839081B - 一种基于拓扑表达的跨视角步态识别方法 - Google Patents
一种基于拓扑表达的跨视角步态识别方法 Download PDFInfo
- Publication number
- CN103839081B CN103839081B CN201410064937.5A CN201410064937A CN103839081B CN 103839081 B CN103839081 B CN 103839081B CN 201410064937 A CN201410064937 A CN 201410064937A CN 103839081 B CN103839081 B CN 103839081B
- Authority
- CN
- China
- Prior art keywords
- triangle
- visual angle
- under
- space
- feature representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于拓扑表达的跨视角步态识别方法，该方法包括以下步骤：根据某个人某个视角的人体空间轮廓图片，建立人体空时轮廓；以数据点为顶点构建立方体，得到包述人体空时轮廓外表面的三角形集合；对所有边和顶点排序，构建新空间，计算其拓扑表达，形成每个方向每个维度下的类柱状图；在类柱状图上提取特征，得到这个人这个视角下的特征表达；得到每个人在各个视角下的特征表达，作为匹配模板；计算测试样本的特征表达，将其与匹配模板进行匹配，得到步态识别结果。本发明从步态的全局信息出发，融合部分有区分力的局部信息，解决了人体步态在跨视角下利用局部信息难以区分的问题，从而提高了步态识别，尤其是跨视角下的精度。
Description
技术领域
本发明涉及模式识别和代数拓扑，特别涉及一种基于silhouette模型拓扑表达的跨视角步态识别方法。
背景技术
目前，传统步态识别算法，尤其是基于silhouette模型的步态识别算法，缺乏有效地表达时序和三维空间的全局信息的能力，尤其是在视角剧烈变化和有遮挡的情况下，这些传统算法往往表现的不尽如人意。这也是计算机视觉系统与人眼视觉系统相比在识别精度上仍存在着巨大差距的重要原因之一。因此，鉴于以往的方法很难满足人们对全局信息的需要，本发明提出了一种基于拓扑表达的跨视角步态识别方法来描述步态的整体时空结构，本发明方法在跨视角和遮挡的条件下，比传统方法表现出了更强的鲁棒性和更高的识别精度。
发明内容
为了解决现有技术存在的问题，本发明提供一种基于拓扑表达的跨视角步态识别方法，该方法包括以下步骤：
步骤1，根据数据库中某个人在某个视角下的人体空间轮廓图片，建立对应的人体空时轮廓；
步骤2，对所述人体空时轮廓中的每个数据点，若满足立方体构建条件，则以其为一个顶点构建一个立方体；
步骤3，根据构建得到的立方体，得到包围所述人体空时轮廓外表面的三角形集合；
步骤4，基于对所述三角形集合中的三角形按多个方向进行排序，并根据三角形的排列顺序对构成三角形的所有边和顶点进行排序；
步骤5，将排好序的顶点、边和三角形作为要素，构建新空间，并计算所述新空间的拓扑表达，形成每个方向每个维度下的类柱状图barcode；
步骤6，在所述步骤5得到的每个方向每个维度下的类柱状图上提取特征，得到这个人在这个视角下的最终特征表达；
步骤7，对所有人在每个视角下都进行所述步骤1-6的过程，得到每个人在各个视角下的特征表达，作为用于匹配的模板；
步骤8，对于测试样本按照所述步骤1-6得到其对应的特征表达，将测试序列的特征表达与所述步骤7得到的数据库中的特征表达模板进行匹配，得到步态识别结果。
根据本发明方法，可以区分局部相似而全局不同的特征。通过以拓扑结构为媒介使得特征对视角变化和遮挡更加鲁棒，提供更高的识别精度。
附图说明
图1是本发明方法的流程图。
图2是根据本发明一实施例的人体空间轮廓图(silhouette)。
图3(a)是将人体空间轮廓叠加在一起形成的空时轮廓示意图。
图3(b)是立方体三角化的示意图。
图3(c)是三角形排序的示意图。
图4是类柱状图的示意图。
图5是在三种条件下利用本发明方法和传统步态能量图方法进行步态识别的精度比较图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明利用基于拓扑的目标表达，来实现一个步态识别方法。该方法包括构建新空间、对新空间进行描述、计算新空间的拓扑表达、利用拓扑表达进行步态识别等4部分内容。本发明利用空间的全局信息，增强了图像的信息表达能力。
图1是本发明方法的流程图，如图1所示，所述方法包括以下步骤：
步骤1，根据数据库中某个人在某个视角下的人体空间轮廓图片，建立对应的人体空时轮廓；
所述步骤1进一步包括以下步骤：
步骤11，收集一系列某个人在某个视角下的人体空间轮廓图片，如图2所示；
步骤12，将图片中的人体空间轮廓按比例缩放到同一尺寸大小并对齐，比如对齐到图片中心；
步骤13，将所有图片以相邻间隔m个(比如1个)像素单位地叠在一起，得到一个人体空时轮廓(space-time shape)，如图3(a)所示。
步骤2，对所述人体空时轮廓中的每个数据点，判断能否以其为一个顶点构建一个立方体，判断规则如图3(b)所示，当前数据点为点1，如果对应的数据点2～8存在，则满足立方体构建条件，否则由该数据点出发无法构建一个立方体。
步骤3，根据构建得到的立方体，得到包围所述人体空时轮廓外表面的三角形集合；
所述步骤3进一步包括以下步骤：
步骤31，对组成立方体的每个正方形进行判断：如果这个正方形同时为两个立方体所共有，则删除这个正方形，对于所有的正方形进行上述判断，得到一个包围人体空时轮廓外表面的正方形集合；
步骤32，对所述正方形集合中的每个正方形进行三角化，即将所述正方形集合中的每个正方形划分成两个三角形，如图3(b)所示，最终得到一个包围人体空时轮廓外表面的三角形集合。
步骤4，基于对所述三角形集合中的三角形按多个方向进行排序，并根据三角形的排列顺序对构成三角形的所有边和顶点进行排序；
在本发明一实施例中，在对三角形按多个方向进行排序时，可以先以三角形的某个顶点来表示此三角形，然后按照三角形的第一个坐标进行由小到大的排列，如图3(c)中X轴所示的方向，形成集合S1；然后取其逆序，得到集合S2；按照第二坐标和两个对角线方向分别对三角形进行正向和反向排序，又可以得到集合S3，S4，…，S7，S8。
在本发明一实施例中，在对构成三角形的所有边和顶点进行排序时，按照以下规则进行排序：如果某个三角形在三角形集合中处于第i个的位置，那么其三条边在三角形边集合中应位于3i，3i+1，3i+2的位置，其三个顶点在三角形顶点集合中应位于3i，3i+1，3i+2的位置。
步骤5，将排好序的顶点、边和三角形作为要素，构建新空间，并计算所述新空间的拓扑表达，形成每个方向每个维度下的类柱状图(barcode)，如图4所示。
在本发明一实施例中，利用现有技术中常用的persistent homology方法计算空间的拓扑表达。
步骤6，在所述步骤5得到的每个方向每个维度下的类柱状图上提取特征，得到这个人在这个视角下的最终特征表达；
所述步骤6进一步包括以下步骤：
步骤61，将某个维度的类柱状图沿着横轴划分成多个比如ncut个区域；
步骤62，在每个区域内统计新产生的特征数目和从上一区域一直持续到本区域结束的特征数目，其中，一条线就是对应的一个特征；
步骤63，将这些数字串起来形成一个向量，即为在该维度下的类柱状图提取得到的特征；
步骤64，在每个方向每个维度下进行相同的操作，将得到的所有向量合并起来得到一个矩阵，即为这个人在这个视角下的最终特征表达。
步骤7，对所有人在每个视角下都进行所述步骤1-6的过程，得到每个人在各个视角下的特征表达，作为用于匹配的模板；
步骤8，对于测试样本按照所述步骤1-6得到其对应的特征表达，将测试序列的特征表达与所述步骤7得到的数据库中的特征表达模板进行匹配，得到步态识别结果。
在本发明一实施例中，采用最近邻匹配的方式：采用cosine距离计算两个特征表达的相似度。
为了详细说明本发明方法，接下来以某步态识别数据集为例进行说明。该数据集包含124个人在3种条件下(正常、背包、穿大衣)11个视角(从0°到180°，相邻角度间隔18°)的图像，图片总计数量在一百万以上。本发明能够根据人的步态图像，给出图像所代表的人的标签。具体步骤如下：
步骤S0，将所有人体轮廓图按比例缩放、对齐到100×100大小。
步骤S1，将步骤S0得到的某人某视角下的图片以相邻间隔1个像素单位按序叠在一起，形成一个人体空时轮廓space-time shape。
步骤S2，对space-time shape中每个数据点构建立方体；对立方体的每个面，如果它也是其它立方体的一个面，那么就舍弃这个面；然后对剩余的立方体的面进行三角化。
步骤S3，对步骤S2产生的三角形按照其第一顶点的第一个坐标进行排序，形成集合S1；取其逆序，得到集合S2；按照第二坐标和两个对角线方向分别对三角形进行正向和反向排序，又得到集合S3，S4，…，S7，S8。
步骤S4，将步骤S3中每组排序好的集合Si，i＝1，2，…，8，连带着其边和节点，利用persistent homology计算其拓扑表达，形成每个方向每个维度下的barcode Bi，j，其中，j代表维度。
步骤S5，将步骤S4中产生barcode Bi，j，划分成24区域，在每个区域内统计新产生的特征数目(一条线就是对应一个特征)和从上一区域一直持续到本区域结束的特征数目，将这些数字串起来形成一个48维的向量Vi，j，然后将所有8个方向下第0个维度和第1个维度(j＝0，1)下的向量合并起来形成一个48×16大小的矩阵M＝[V1，0 V1，1 V2，0 V2，1…V8，0V8，1]，这就是这个人在这个视角下的最终特征表达。
步骤S6，对于数据库中的每个人、每个视角，重复步骤S1～步骤S5，建立其对应的特征表达。
步骤S7，对于新来的测试样本，重复步骤S1～步骤S5，建立其特征表达，并和数据库中已存在的特征表达进行最近邻匹配；采用cosine距离计算两个特征表达的相似度，也即对于特征表达 其相似度为
最后的实验精度表明，在三种条件下(图5(a)正常条件、图5(b)背包条件和图5(c)穿大衣条件)本发明方法比传统的步态能量图方法的识别精度要高出很多，如图5所示，图5中的每个数值表示本发明方法的精度减去传统步态能量图的精度，因此，图5中的正值表示本发明方法优于传统方法，负值则相反。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于拓扑表达的跨视角步态识别方法，其特征在于，该方法包括以下步骤：
步骤1，根据数据库中某个人在某个视角下的人体空间轮廓图片，建立对应的人体空时轮廓；
步骤2，对所述人体空时轮廓中的每个数据点，若满足立方体构建条件，则以其为一个顶点构建一个立方体；
步骤3，根据构建得到的立方体，得到包围所述人体空时轮廓外表面的三角形集合；
步骤4，基于对所述三角形集合中的三角形按多个方向进行排序，并根据三角形的排列顺序对构成三角形的所有边和顶点进行排序；
步骤5，将排好序的顶点、边和三角形作为要素，构建新空间，并计算所述新空间的拓扑表达，形成每个方向每个维度下的类柱状图barcode；
步骤6，在所述步骤5得到的每个方向每个维度下的类柱状图上提取特征，得到这个人在这个视角下的最终特征表达；
步骤7，对所有人在每个视角下都进行所述步骤1-6的过程，得到每个人在各个视角下的特征表达，作为用于匹配的模板；
步骤8，对于测试样本按照所述步骤1-6得到其对应的特征表达，将测试序列的特征表达与所述步骤7得到的数据库中的特征表达模板进行匹配，得到步态识别结果；
所述步骤1进一步包括以下步骤：
步骤11，收集一系列某个人在某个视角下的人体空间轮廓图片；
步骤12，将图片中的人体空间轮廓按比例缩放到同一尺寸大小并对齐；
步骤13，将所有图片以相邻间隔m个像素单位地叠在一起，得到一个人体空时轮廓。
2.根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤：
步骤31，对组成立方体的每个正方形进行判断：如果这个正方形同时为两个立方体所共有，则删除这个正方形，对于所有的正方形进行判断，得到一个包围人体空时轮廓外表面的正方形集合；
步骤32，对所述正方形集合中的每个正方形进行三角化，最终得到一个包围人体空时轮廓外表面的三角形集合。
3.根据权利要求1所述的方法，其特征在于，在所述步骤4中对三角形按多个方向进行排序时，先以三角形的某个顶点来表示此三角形，然后按照三角形的第一个坐标进行由小到大的排列，形成集合S1；然后取其逆序，得到集合S2；按照第二坐标和两个对角线方向分别对三角形进行正向和反向排序，得到集合S3，S4，…，S7，S8。
4.根据权利要求1所述的方法，其特征在于，在所述步骤4中对构成三角形的所有边和顶点进行排序时，按照以下规则进行排序：如果某个三角形在三角形集合中处于第i个的位置，那么其三条边在三角形边集合中应位于3i，3i+1，3i+2的位置，其三个顶点在三角形顶点集合中应位于3i，3i+1，3i+2的位置。
5.根据权利要求1所述的方法，其特征在于，所述步骤6进一步包括以下步骤：
步骤61，将某个维度的类柱状图沿着横轴划分成多个区域；
步骤62，在每个区域内统计新产生的特征数目和从上一区域一直持续到本区域结束的特征数目，其中，一条线就是对应的一个特征；
步骤63，将这些数字串起来形成一个向量，即为在该维度下的类柱状图提取得到的特征；
步骤64，在每个方向每个维度下进行相同的操作，将得到的所有向量合并起来得到一个矩阵，即为这个人在这个视角下的最终特征表达。
6.根据权利要求1所述的方法，其特征在于，所述步骤5中，采用persistent homology方法来计算空间的拓扑表达。
7.根据权利要求1所述的方法，其特征在于，所述步骤8中，采用最近邻匹配的方式计算两个特征表达的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410064937.5A CN103839081B (zh) | 2014-02-25 | 2014-02-25 | 一种基于拓扑表达的跨视角步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410064937.5A CN103839081B (zh) | 2014-02-25 | 2014-02-25 | 一种基于拓扑表达的跨视角步态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103839081A CN103839081A (zh) | 2014-06-04 |
| CN103839081B true CN103839081B (zh) | 2017-06-16 |
Family
ID=50802559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410064937.5A Active CN103839081B (zh) | 2014-02-25 | 2014-02-25 | 一种基于拓扑表达的跨视角步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103839081B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134077B (zh) * | 2014-07-10 | 2017-10-20 | 华南理工大学 | 一种基于确定学习理论的与视角无关的步态识别方法 |
| CN104063702B (zh) * | 2014-07-16 | 2017-02-15 | 中南大学 | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 |
| US10223582B2 (en) | 2014-10-28 | 2019-03-05 | Watrix Technology | Gait recognition method based on deep learning |
| CN106203339B (zh) * | 2016-07-11 | 2019-07-09 | 山东大学 | 一种基于多耦合判别局部块对齐的跨角度步态识别方法 |
| CN111144167A (zh) * | 2018-11-02 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 一种步态信息识别优化方法、系统及存储介质 |
| CN111753903B (zh) * | 2020-06-24 | 2022-07-12 | 武汉理工大学 | 一种基于叶脉拓扑特征的大豆品种识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609507A (zh) * | 2009-07-28 | 2009-12-23 | 中国科学技术大学 | 步态识别方法 |
| CN101833765A (zh) * | 2010-04-30 | 2010-09-15 | 天津大学 | 基于双向匹配和三角形约束的特征匹配方法 |
| CN102982323A (zh) * | 2012-12-19 | 2013-03-20 | 重庆信科设计有限公司 | 快速步态识别方法 |
-
2014
- 2014-02-25 CN CN201410064937.5A patent/CN103839081B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609507A (zh) * | 2009-07-28 | 2009-12-23 | 中国科学技术大学 | 步态识别方法 |
| CN101833765A (zh) * | 2010-04-30 | 2010-09-15 | 天津大学 | 基于双向匹配和三角形约束的特征匹配方法 |
| CN102982323A (zh) * | 2012-12-19 | 2013-03-20 | 重庆信科设计有限公司 | 快速步态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103839081A (zh) | 2014-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103839081B (zh) | 一种基于拓扑表达的跨视角步态识别方法 | |
| Doumanoglou et al. | Recovering 6D object pose and predicting next-best-view in the crowd | |
| CN103247041B (zh) | 一种基于局部采样的多几何特征点云数据的分割方法 | |
| CN108010045A (zh) | 基于orb的视觉图像特征点误匹配提纯方法 | |
| CN105809651B (zh) | 基于边缘非相似性对比的图像显著性检测方法 | |
| CN107577990A (zh) | 一种基于gpu加速检索的大规模人脸识别方法 | |
| CN105184786B (zh) | 一种浮点型三角形特征描述方法 | |
| CN101877007A (zh) | 融合空间方位关系语义的遥感图像检索方法 | |
| CN103383700B (zh) | 基于边缘方向差直方图的图像检索方法 | |
| CN103679702A (zh) | 一种基于图像边缘矢量的匹配方法 | |
| CN102682477A (zh) | 一种基于结构先验的规则场景三维信息提取方法 | |
| Yue et al. | Robust loop closure detection based on bag of superpoints and graph verification | |
| CN101526944A (zh) | 图像检索比对方法 | |
| CN103455794A (zh) | 一种基于帧融合技术的动态手势识别方法 | |
| CN100585638C (zh) | 基于线框的曲面体三维边界表示模型重建方法及其装置 | |
| Gu et al. | Matching perspective views of a polyhedron using circuits | |
| CN109671110A (zh) | 一种局部几何结构约束的城区宽基线影像特征点匹配方法 | |
| CN109766873A (zh) | 一种混合可变形卷积的行人再识别方法 | |
| Lian et al. | A new convexity measurement for 3D meshes | |
| CN103577840A (zh) | 物品识别方法 | |
| CN104361096A (zh) | 一种基于特征富集区域集合的图像检索方法 | |
| CN104732529B (zh) | 一种遥感图像形状特征配准方法 | |
| CN108961385A (zh) | 一种slam构图方法及装置 | |
| CN106355646A (zh) | 应用于图像处理的表面细化方法、装置以及系统 | |
| CN101650778A (zh) | 一种基于特征点与单应性匹配的不变性识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160908 Address after: 100190, Beijing, Zhongguancun, Haidian District, south of a No. 2 Horse International Hotel, B District, three floor Applicant after: Galaxy drop Technology (Beijing) Co., Ltd. Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No. Applicant before: Institute of Automation, Chinese Academy of Sciences |
|
| GR01 | Patent grant |