CN108446625A - 基于图模型的图片重要行人检测方法 - Google Patents
基于图模型的图片重要行人检测方法 Download PDFInfo
- Publication number
- CN108446625A CN108446625A CN201810216972.2A CN201810216972A CN108446625A CN 108446625 A CN108446625 A CN 108446625A CN 201810216972 A CN201810216972 A CN 201810216972A CN 108446625 A CN108446625 A CN 108446625A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- picture
- important
- feature
- graph model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000010276 construction Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000004615 ingredient Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 229910017435 S2 In Inorganic materials 0.000 claims 1
- 238000000034 method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图模型的图片重要行人检测方法，包括下述步骤：S1、给定一张包含多行人的图片，对图片中行人进行检测与行人重要特征提取；S2、对于图片检测到行人，通过关系函数基于不同的特征构建混合关系图；S3、提出基于图模型的重要行人检测算法PersonRank，通过提出的PersonRank算法对混合关系图中的行人的重要程度进行排序；S4、对重要行人特征进行分析，并使用空间特征、动作特征、外观特征以及注意力特征来对行人进行表征。本发明利用不同的特征，对图片中检测出来的行人构建混合关系图来模型图片中行人之间的关系。通过改进著名排序算法PageRank使之能够用于对多层混合关系图中的行人的重要程度进行排序，最终检测到图片中最重要的行人。
Description
技术领域
本发明涉及行人检测的技术领域，尤其是涉及一种基于图模型的图片重要行人检测方法。
背景技术
图片重要行人检测，即从群体合照图片中，检测最重要的人。这项技术有望用于图像理解等众多计算机视觉领域，包括在给图片生成描述文字问题上可以更加突出图片中心人物、在行人检索搜索领域中提升搜索质量、在图片或视频中事件的识别与领域中更加突出重要人物对事件识别与检测的相关性从而提升识别与检测的效果等。
现有的图片重要人脸检测主要有以下两类：
1)基于行人对排序：为了自动检测图片中重要的行人，最直接的方式就是对图片中的行人两两形成行人对，在对行人对的重要程度关系进行预测。因此，Vip:Findingimportant people in images中提出了使用回归模型来推断图片两个不同人之间的重要程度关系，通过这样的行人对的重要程度关系，推断出图片中最重要的人脸。
2)基于感知器排序：图片或者视频中最重要的人对于视频中的事件的识别与检测有非常大的作用。Detecting events and key actors in multi-person videos提出，对篮球赛中不同的球员进行动作特征以及外观特征提取，通过感知器对不同球员的重要程度进行计算，从而提升对篮球比赛中事件的识别与检测的准确率。
已有的重要人脸检测算法尚存在很多不足。Vip:Finding important people inimages中提出通过提取行人人脸的空间特征以及显著特征，并通过对行人对进行排序进而对行人重要程度进行排序。该方法在对行人重要程度排序时，忽略了其他人的重要程度以及行人间关系对重要程度的影响。与此同时，该方法也忽略了上下文信息、动作信息、外观信息以及注意力信息对于重要行人检测的作用。Detecting events and key actors inmulti-person videos中则基于每个行人的特征，提出使用感知器直接对行人重要程度进行计算。这忽略了行人之间关系对重要程度分析的作用。此外，该方法也忽略了空间信息以及关注力信息的作用。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于图模型的图片重要行人检测方法，本发明利用不同的特征，对图片中检测出来的行人构建混合关系图来模型图片中行人之间的关系，通过改进著名排序算法PageRank使之能够用于对多层混合关系图中的行人的重要程度进行排序，最终检测到图片中最重要的行人。
为了达到上述目的，本发明采用以下技术发明：
本发明基于图模型的图片重要行人检测方法，包括下述步骤：
S1、给定一张包含多行人的图片，对图片中行人进行检测与行人重要特征提取；
S2、对于图片检测到行人，通过关系函数基于不同的特征构建混合关系图，在混合关系图中，检测到的行人为图的结点，关系函数则用以构造图中结点间的相互联系的有向边；
S3、提出基于图模型的重要行人检测算法PersonRank，通过提出的PersonRank算法对混合关系图中的行人的重要程度进行排序；
S4、对重要行人特征进行分析，并使用空间特征、动作特征、外观特征以及注意力特征来对行人进行表征。
作为优选的技术方案，步骤S1包括下述步骤：
将图像输入人脸检测器或者行人检测器中提取图片中人脸或行人的检测框其中为pi检测框,其中为是行人pi在图片中的位置，是pi在图片中被检测到的框的宽度跟高度，基于行人检测框提取四种行人重要特征：(a)空间特征(b)动作特征(c)外观特征(d)注意力特征
作为优选的技术方案，所述空间特征：使用行人的显著特征；使用行人在图片中位置信息；使用行人在图片中每个位置中的密度；
所述动作特征：使用在动作识别数据库UCF101上预训练的ResNet提取2048维度特征；
所述外观特征：使用在图片分类数据库ImageNet上预训练的ResNet提取2048维度特征；
所述注意力特征 则是用来估计pi在3D空间中人脸看的方向。
作为优选的技术方案，在3D空间中，pi的人脸的角度总共有3个成分：[roll，pitch，yaw]，使用水平方向来估计pi在3D空间中人脸看的方向，则因此，中，为yaw角的水平分量，为yaw角的深度分量。
作为优选的技术方案，在步骤S2中，设计关系函数以构造不同的混合关系图：
(a)空间以及动作关系函数：
(b)外观函数：
(c)注意力函数：
作为优选的技术方案，在步骤S3具体为：
基于以及不同的特征以及关系函数，构造混合关系图其中ε＝εp∪εr,
其中为行人结点，包括了行人以及区域，ε为行人间的有向边，εp为双向变，εr为单向超边，G为边的权重；
然后定义图中每一位行人的重要程度为：
其中N为图片中行人总数，α为0.85，为结点pj的出度总和。
作为优选的技术方案，步骤S4具体为：
对于4种不同的特征以及4种不同的关系函数，有4层混合关系图，并分别得到为pi在四种图中的重要程度，则定义最终的重要程度为：
并定义融合关系函数
通过融合关系函数，构建融合混合关系图，并通过与在单一混合关系图对行人重要程度排序的PersonRank一样，分析融合混合关系图。
作为优选的技术方案，所有的参数均采用SVM优化。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明通过关系函数构建混合关系图，能够很好的模拟图片中行人间的相互关系，这种结构能够更加有效的表征行人在图片中的重要程度。
2.本发明提出的PersonRank能够从混合关系图中对行人的重要程度进行分析，PersonRank算法在分析图片中行人的重要程度的时候，能够考虑当前行人的重要程度，同时也考虑到其他人的重要程度以及他们跟当前行人的关系。
3.本发明能够基于多层混合关系图进行行人重要程度分析。
附图说明
图1是本发明重要行人检测方法总体框架图；
图2(a)在Multi-scene Important People Image Dataset上的结果；
图2(b)为在NCAA Basketball Image Dataset上的结果。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本发明基于图模型的图片重要行人检测方法，目的是输入一张群体合照的图片，通过检测行人并通过提出的重要行人检测算法对每个检测到的行人进行排序，找到最重要的行人。
如图1所示，本发明通过人脸检测器检测图片中所有的行人，通过构建不同的行人关系图(行人与行人之间)以及行人关系超图(区域与行人之间)，最终组成混合关系图(Hybrid-Interaction Graph)。最终通过PersonRank模型基于最终组成混合关系图(Hybrid-Interaction Graph)分析行人的重要程度，并最终检测到图片中的重要行人。本发明的重要行人检测方法具体包括下述内容：
1)图片中行人检测与行人重要特征提取
给定一张包含多行人的图片，本发明首先将图像输入人脸检测器或者行人检测器中提取图片中人脸或行人的检测框其中为pi检测框,其中为是行人pi在图片中的位置，是pi在图片中被检测到的框的宽度跟高度。基于行人检测框本发明提取四种行人重要特征：(a)空间特征(b)动作特征(c)外观特征(d)注意力特征
其中空间特征：使用行人的显著特征(使用检测框大小、Sobel滤波器提取锐利度等信息)；使用行人在图片中位置信息；使用行人在图片中每个位置中的密度。
动作特征：使用在知名动作识别数据库UCF101上预训练的ResNet提取2048维度特征。
外观特征：使用在知名图片分类数据库ImageNet上预训练的ResNet提取2048维度特征。
注意力特征 则是用来估计pi在3D空间中人脸看的方向，其中在3D空间中，pi的人脸的角度总共有3个成分：[roll，pitch，yaw]，本发明中只需要用到水平方向来估计pi在3D空间中人脸看的方向，则因此，中，为yaw角的水平分量，为yaw角的深度分量。
2)构建混合关系图：对于图片检测到行人，本发明通过关系函数基于不同的特征构建混合关系图。建混合关系图中，检测到的行人为图的结点，关系函数则用以构造图中结点间的相互联系的有向边。本发明对图片构造混合关系图有利于模拟行人在事件中人与人之间的关系，从而使提出的模型能够更加准确有效的利用已有信息对行人在图片中的重要程度进行分析。
构建混合关系图具体如下：
基于检测的行人以及行人重要特征，我们设计四种关系函数以构造不同的混合关系图：
(a)空间以及动作关系函数：
(b)外观函数：
(c)注意力函数：
3)提出基于图模型的重要行人检测算法PersonRank。本发明提出对于图片中检测到的行人构建混合关系图(Hybrid-Interaction Graph)，进而通过提出的PersonRank算法对混合关系图中的行人的重要程度进行排序。本发明在分析图片中行人的重要程度的时候，能够考虑当前行人的重要程度，同时也考虑到其他人的重要程度以及他们跟当前行人的关系。
基于以及不同的特征以及关系函数，构造混合关系图其中ε＝εp∪εr,
其中为行人结点，包括了行人以及区域，ε为行人间的有向边，εp为双向变，εr为单向超边，G为边的权重；
然后定义图中每一位行人的重要程度为：
其中N为图片中行人总数，α为0.85，为结点pi的出度总和。
4)重要行人特征：图片中重要行人检测是一个复杂的问题，对图片中行人的重要程度的分析与行人在文章中的上下文信息、动作信息、外观信息与注意力信息相关。因此，本文提出使用空间特征、动作特征、外观特征以及注意力特征来对行人进行表征。
对于4种不同的特征以及4种不同的关系函数，有4层混合关系图，并分别得到为pi在四种图中的重要程度，则定义最终的重要程度为：
并定义融合关系函数
通过融合关系函数，构建融合混合关系图，并通过与在单一混合关系图对行人重要程度排序的PersonRank一样，分析融合混合关系图。
进一步的，本发明的所有参数都是用SVM优化求得。
本发明在Multi-Scene Important People Image Dataset以及NCAA ImportantPeople Image Dataset重要行人检测库上进行了重要人脸检测实验，实验结果表明，本发明的重要行人检测结果明显超过现有最好算法，模拟结果如图2(a)、图2(b)所示,图2(a)在Multi-scene Important People Image Dataset上的结果，图2(b)为在NCAA BasketballImage Dataset上的结果。以上本发明的检测结果皆比现今最好算法(VIP)高超过15％的准确率。
本发明的基础在于对图片中人物关系进行建模，基于提出的行人重要特征，通过关系函数构建混合关系图，通过提出的PersonRank算法基于多层混合关系图对行人的重要程度进行分析。因此任何基于本发明提出的图片重要行人检测模型进行图片关键行人检测的应用技术都包含在本发明之内，如图像关键行人检测、重要目标检测等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，除了上述说明的全局-局部多模态手势方式，其他的利用本文提出的基于骨骼点对RGB图、深度图和光流图的局部数据表达的构造也在本专利保护范围之内；同时，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.基于图模型的图片重要行人检测方法，其特征在于，包括下述步骤：
S1、给定一张包含多行人的图片，对图片中行人进行检测与行人重要特征提取；
S2、对于图片检测到行人，通过关系函数基于不同的特征构建混合关系图，在混合关系图中，检测到的行人为图的结点，关系函数则用以构造图中结点间的相互联系的有向边；
S3、提出基于图模型的重要行人检测算法PersonRank，通过提出的PersonRank算法对混合关系图中的行人的重要程度进行排序；
S4、对重要行人特征进行分析，并使用空间特征、动作特征、外观特征以及注意力特征来对行人进行表征。
2.根据权利要求1所述基于图模型的图片重要行人检测方法，其特征在于，步骤S1包括下述步骤：
将图像输入人脸检测器或者行人检测器中提取图片中人脸或行人的检测框其中为pi检测框,其中为是行人pi在图片中的位置，是pi在图片中被检测到的框的宽度跟高度，基于行人检测框提取四种行人重要特征：(a)空间特征(b)动作特征(c)外观特征(d)注意力特征
3.根据权利要求2所述基于图模型的图片重要行人检测方法，其特征在于，
所述空间特征：使用行人的显著特征；使用行人在图片中位置信息；使用行人在图片中每个位置中的密度；
所述动作特征：使用在动作识别数据库UCF101上预训练的ResNet提取2048维度特征；
所述外观特征：使用在图片分类数据库ImageNet上预训练的ResNet提取2048维度特征；
所述注意力特征则是用来估计pi在3D空间中人脸看的方向。
4.根据权利要求3所述基于图模型的图片重要行人检测方法，其特征在于，在3D空间中，pi的人脸的角度总共有3个成分：[roll，pitch，yaw]，使用水平方向来估计pi在3D空间中人脸看的方向，则因此，中，为yaw角的水平分量，为yaw角的深度分量。
5.根据权利要求1所述基于图模型的图片重要行人检测方法，其特征在于，在步骤S2中，设计关系函数以构造不同的混合关系图：
(a)空间以及动作关系函数：
(b)外观函数：
(c)注意力函数：
6.根据权利要求1所述基于图模型的图片重要行人检测方法，其特征在于，在步骤S3具体为：
基于以及不同的特征以及关系函数，构造混合关系图其中ε＝εp∪εr,
其中为行人结点，包括了行人以及区域，ε为行人间的有向边，εp为双向变，εr为单向超边，G为边的权重；
然后定义图中每一位行人的重要程度为：
其中N为图片中行人总数，α为0.85，为结点pj的出度总和。
7.根据权利要求1所述基于图模型的图片重要行人检测方法，其特征在于，步骤S4具体为：
对于4种不同的特征以及4种不同的关系函数，有4层混合关系图，并分别得到为pi在四种图中的重要程度，则定义最终的重要程度为：
并定义融合关系函数
通过融合关系函数，构建融合混合关系图，并通过与在单一混合关系图对行人重要程度排序的PersonRank一样，分析融合混合关系图。
8.根据权利要求1-7中任一项所述基于图模型的图片重要行人检测方法，其特征在于，所有的参数均采用SVM优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810216972.2A CN108446625A (zh) | 2018-03-16 | 2018-03-16 | 基于图模型的图片重要行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810216972.2A CN108446625A (zh) | 2018-03-16 | 2018-03-16 | 基于图模型的图片重要行人检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108446625A true CN108446625A (zh) | 2018-08-24 |
Family
ID=63194814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810216972.2A Pending CN108446625A (zh) | 2018-03-16 | 2018-03-16 | 基于图模型的图片重要行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108446625A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188705A (zh) * | 2019-06-02 | 2019-08-30 | 东北石油大学 | 一种适用于车载系统的远距离交通标志检测识别方法 |
| CN111008558A (zh) * | 2019-10-30 | 2020-04-14 | 中山大学 | 结合深度学习与关系建模的图片/视频重要人物检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102810161A (zh) * | 2012-06-07 | 2012-12-05 | 江苏物联网研究发展中心 | 一种用于拥挤场景下的多个行人检测方法 |
-
2018
- 2018-03-16 CN CN201810216972.2A patent/CN108446625A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102810161A (zh) * | 2012-06-07 | 2012-12-05 | 江苏物联网研究发展中心 | 一种用于拥挤场景下的多个行人检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI-HONG LI 等: "PersonRank: Detecting Important People in Images", 《ARXIV:1711.01984V1》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188705A (zh) * | 2019-06-02 | 2019-08-30 | 东北石油大学 | 一种适用于车载系统的远距离交通标志检测识别方法 |
| CN110188705B (zh) * | 2019-06-02 | 2022-05-06 | 东北石油大学 | 一种适用于车载系统的远距离交通标志检测识别方法 |
| CN111008558A (zh) * | 2019-10-30 | 2020-04-14 | 中山大学 | 结合深度学习与关系建模的图片/视频重要人物检测方法 |
| CN111008558B (zh) * | 2019-10-30 | 2023-05-30 | 中山大学 | 结合深度学习与关系建模的图片/视频重要人物检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330396B (zh) | 一种基于多属性和多策略融合学习的行人再识别方法 | |
| CN100361138C (zh) | 视频序列中人脸的实时检测与持续跟踪的方法及系统 | |
| CN102629328B (zh) | 一种融合颜色的显著特征概率潜在语义模型物体图像识别方法 | |
| CN103714181B (zh) | 一种层级化的特定人物检索方法 | |
| CN109636795A (zh) | 实时无跟踪的监控视频遗留物检测方法 | |
| CN105243356B (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
| CN110532970A (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| CN101833664A (zh) | 基于稀疏表达的视频图像文字检测方法 | |
| CN109583315A (zh) | 一种面向智能视频监控的多通道快速人体姿态识别方法 | |
| CN109711344A (zh) | 一种前端智能化的特定异常行为检测方法 | |
| CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN104463232A (zh) | 一种基于hog特征和颜色直方图特征的密度人群计数的方法 | |
| CN102693427A (zh) | 形成和使用用于检测图像的检测器的方法和设备 | |
| Duan et al. | A structural filter approach to human detection | |
| CN110287798A (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
| CN108710879A (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
| CN108446625A (zh) | 基于图模型的图片重要行人检测方法 | |
| Jiang et al. | A unified tree-based framework for joint action localization, recognition and segmentation | |
| Tang et al. | Using a selective ensemble support vector machine to fuse multimodal features for human action recognition | |
| Galiyawala et al. | Visual appearance based person retrieval in unconstrained environment videos | |
| Chen et al. | Multi-gait identification based on multilinear analysis and multi-target tracking | |
| Folgado et al. | A block-based model for monitoring of human activity | |
| Mitsui et al. | Object detection by joint features based on two-stage boosting | |
| Fu | Recent Deep Learning Approaches for Object Detection | |
| Kim et al. | Accurate abandoned and removed object classification using hierarchical finite state machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180824 |
|
| WD01 | Invention patent application deemed withdrawn after publication |