CN108664916A - 一种基于锚点设计的小面孔检测方法 - Google Patents

一种基于锚点设计的小面孔检测方法 Download PDF

Info

Publication number
CN108664916A
CN108664916A CN201810429058.6A CN201810429058A CN108664916A CN 108664916 A CN108664916 A CN 108664916A CN 201810429058 A CN201810429058 A CN 201810429058A CN 108664916 A CN108664916 A CN 108664916A
Authority
CN
China
Prior art keywords
anchor point
anchor
face
value
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810429058.6A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810429058.6A priority Critical patent/CN108664916A/zh
Publication of CN108664916A publication Critical patent/CN108664916A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于锚点设计的小面孔检测方法，其主要内容包括：预期最大重叠值、锚点设计策略，其过程为，首先使用分类和递归锚框的方式来检测目标物体，并在训练过程中将锚点匹配至实况锚框；然后定义最大交并比值作为匹配机制，获取预期最大重叠值；其次使用新的网络架构、重新定义锚点位置、提出面孔频率抖动方法；最后提出补偿策略，把小面孔匹配至多个锚点。本发明通过设置锚点位置、重新定义锚点距离等锚点设计策略，能够从众多面孔当中检测出其中的一个，或者能够从远距离拍摄得到的图像当中检测出目标小面孔，并且检测精度非常高、计算耗时非常少。

Description

一种基于锚点设计的小面孔检测方法
技术领域
本发明涉及小面孔检测领域，尤其是涉及了一种基于锚点设计的小面孔检测方法。
背景技术
小面孔检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有占据整幅图像中非常小面积的人脸，如果是则返回这些小面孔的位置、大小和姿态。小面孔检测在身份认证、安全防护、媒体娱乐、图像搜索等方面具有重要的应用。比如，在火车站、机场等人群密集、人流量巨大的场合，监控摄像头拍摄的视野一般都比较广阔，因此拍摄所得的图像里面人物的面孔往往非常小，这种情况下检测特定的目标人物(如嫌疑犯、危险人物等)，就需要使用小面孔检测技术。
先前小面孔检测主要包括基于纯人工提取的特征和基于神经网络的特征两大类，它们具有以下缺点：第一，基于纯人工提取的特征的方法精确度不高；第二，基于神经网络的特征的方法鲁棒性不高。
本发明提出了一种基于锚点设计的小面孔检测方法，首先使用分类和递归锚框的方式来检测目标物体，并在训练过程中将锚点匹配至实况锚框；然后定义最大交并比值作为匹配机制，获取预期最大重叠值；其次使用新的网络架构、重新定义锚点位置、提出面孔频率抖动方法；最后提出补偿策略，把小面孔匹配至多个锚点。本发明通过设置锚点位置、重新定义锚点距离等锚点设计策略，能够从众多面孔当中检测出其中的一个，或者能够从远距离拍摄得到的图像当中检测出目标小面孔，并且检测精度非常高、计算耗时非常少。
发明内容
针对现有方法精确度和鲁棒性都不高的问题，本发明的目的在于提供一种基于锚点设计的小面孔检测方法，首先使用分类和递归锚框的方式来检测目标物体，并在训练过程中将锚点匹配至实况锚框；然后定义最大交并比值作为匹配机制，获取预期最大重叠值；其次使用新的网络架构、重新定义锚点位置、提出面孔频率抖动方法；最后提出补偿策略，把小面孔匹配至多个锚点。
为解决上述问题，本发明提供一种基于锚点设计的小面孔检测方法，其主要内容包括：
(一)预期最大重叠值；
(二)锚点设计策略。
其中，所述的预期最大重叠值，用于刻画锚点获取最高的面孔交并比值；主要包括：
(1)基于锚点的检测器；
(2)标准的锚点设置和锚点匹配机制；
(3)获取预期最大重叠值。
进一步地，所述的基于锚点的检测器，其方法使用分类和递归锚框的方式来检测目标物体；锚点是一系列预定义的锚框；在满足下面两个条件之一时，一个锚点会匹配至实况锚框：
(1)这个锚点与该锚框的交并比值高于所有其他的锚点；
(2)其交并比值高于某个阈值；
交并比值小于阈值的锚点会被标定为背景；
锚点把距离当作中心值，利用对应的表征值计算条件值和边界框回归值。
进一步地，所述的锚点设置和锚点匹配机制，给定一个面孔框Bf，其匹配至一个锚框Ba，最大交并比值可以由下式计算得出：
其中，∩和∪分别表示两个框的交集和并集。
进一步地，所述的获取预期最大重叠值，设置S＝{16，32，64，128，256，512}来覆盖数据集当中具有面孔大小的分布，由于面孔框近似正方形，因此设置R＝{1}；另外，假设每一张面孔能够以相同的概率出现在图像的任何位置；
只考虑一个周期，四个锚点中心包围住面孔的中心位置；区域外部的面孔会被匹配到另外三个锚点之一。
其中，所述的锚点设计策略，目的在提高交并比值的平均值，特别是从提升期望最大重叠值的角度来提高小面孔的交并比值；通过减少锚点之间距离和减少锚点与面孔中心的距离，以达到提高交并比值平均值的目的；
为了减少锚点之间的距离，使用新的网络架构以改变与锚点相关的特征图像的距离；重新定义锚点位置，能够进一步地减少锚点距离；提出面孔频率抖动方法，可以随机地减少锚点与面孔中心的距离；提出补偿策略，用于把小面孔匹配至多个锚点。
进一步地，所述的新的网络架构，包括：
(a)双线性上采样网络结构：双线性上采样以两倍放大特征图像；在特征图像后面加上一个反卷积网络层，其滤波器被初始化，用于获得双线性上采样的权重；在训练过程中，滤波器保持更新以适应新的数据；
(b)通过跳跃连接方式的双线性上采样网络结构：从较平滑的大特征图像中扩展其特征；这个设计的目的在于把高层次的特征(含有语义信息)和低层次的特征(含有位置精度)结合起来；首先添加两个1×1的卷积网络层，用于把信道的数目减少至相同的数量级；然后，在元素对元素相加操作之后，把一个3×3的卷积网络层加在最后的特征图像上，用于检测
(c)扩张卷积网络层：具体来说，剔除较平滑的大特征图像后面的共享或者卷积操作，并且扩大后续所有卷积网络层的滤波器。
进一步地，所述的重新定义锚点位置，通过添加额外的支撑锚点，达到进一步减少锚点距离sA的效果，这些支撑锚点称为平移锚点，它们共享中心锚点所表征的图像特征；
具体来说，当添加了额外的支撑锚点之后，锚点距离可以由原来的特征距离sF减少为另外，还可以再增加两个支撑锚点，把锚点距离降至sF/2；实际上，只需要添加少量的平移锚点就可以获得很大的交并比值平均值。
进一步地，所述的面孔频率抖动，在训练过程中，对每一次迭代都随机平移距离锚点中心较远的面孔，这样可以获得更高的交并比值；
具体来说，图像在每一次迭代中都平移了一个随机的偏移量；这个偏移量是在均匀分布当中通过离散采样得到的；使用偏移量的离散均匀分布计算得出面孔位置的连续均匀分布；设置最大偏移量为
进一步地，所述的补偿策略，把小面孔匹配至多个锚点；具体来说，首先，当锚点的重叠值高于阈值Th时，标注这些锚点为正；然后，那些重叠值低于Th的面孔标记为难以识别的面孔；对于这些面孔，与它们重叠的最大N个锚点标注为正。
附图说明
图1是本发明一种基于锚点设计的小面孔检测方法的系统框架图。
图2是本发明一种基于锚点设计的小面孔检测方法的锚点设置和匹配机制图。
图3是本发明一种基于锚点设计的小面孔检测方法的预期最大重叠值获取过程图。
图4是本发明一种基于锚点设计的小面孔检测方法的三种网络架构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于锚点设计的小面孔检测方法的系统框架图。其主要内容包括预期最大重叠值、锚点设计策略。
其中，所述的预期最大重叠值，用于刻画锚点获取最高的面孔交并比值；主要包括：
(1)基于锚点的检测器；
(2)标准的锚点设置和锚点匹配机制；
(3)获取预期最大重叠值。
进一步地，所述的基于锚点的检测器，其方法使用分类和递归锚框的方式来检测目标物体；锚点是一系列预定义的锚框；训练过程中，锚点匹配至实况锚框；在满足下面两个条件之一时，一个锚点会匹配至实况锚框：
(1)这个锚点与该锚框的交并比值高于所有其他的锚点；
(2)其交并比值高于某个阈值；
交并比值小于阈值的锚点会被标定为背景；
锚点把距离当作中心值，利用对应的表征值计算条件值和边界框回归值。
图2是本发明一种基于锚点设计的小面孔检测方法的锚点设置和锚点匹配机制图。其中，所述的锚点设置和匹配机制，给定一个面孔框Bf，其匹配至一个锚框Ba，最大交并比值可以由下式计算得出：
其中，∩和∪分别表示两个框的交集和并集。
图3是本发明一种基于锚点设计的小面孔检测方法的预期最大重叠值获取过程图。其中，所述的获取预期最大重叠值，设置S＝{16，32，64，128，256，512}来覆盖数据集当中具有面孔大小的分布，由于面孔框近似正方形，因此设置R＝{1}；另外，假设每一张面孔能够以相同的概率出现在图像的任何位置；
只考虑一个周期，四个锚点中心包围住面孔的中心位置；区域外部的面孔会被匹配到另外三个锚点之一。
其中，所述的锚点设计策略，目的在提高交并比值的平均值，特别是从提升期望最大重叠值的角度来提高小面孔的交并比值；通过减少锚点之间距离和减少锚点与面孔中心的距离，以达到提高交并比值平均值的目的；
为了减少锚点之间的距离，使用新的网络架构以改变与锚点相关的特征图像的距离；重新定义锚点位置，能够进一步地减少锚点距离；提出面孔频率抖动方法，可以随机地减少锚点与面孔中心的距离；提出补偿策略，用于把小面孔匹配至多个锚点。
图4是本发明一种基于锚点设计的小面孔检测方法的三种网络架构示意图，包括：
(a)双线性上采样网络结构：双线性上采样以两倍放大特征图像；在特征图像后面加上一个反卷积网络层，其滤波器被初始化，用于获得双线性上采样的权重；在训练过程中，滤波器保持更新以适应新的数据；
(b)通过跳跃连接方式的双线性上采样网络结构：从较平滑的大特征图像中扩展其特征；这个设计的目的在于把高层次的特征(含有语义信息)和低层次的特征(含有位置精度)结合起来；首先添加两个1×1的卷积网络层，用于把信道的数目减少至相同的数量级；然后，在元素对元素相加操作之后，把一个3×3的卷积网络层加在最后的特征图像上，用于检测
(c)扩张卷积网络层：具体来说，剔除较平滑的大特征图像后面的共享或者卷积操作，并且扩大后续所有卷积网络层的滤波器。
进一步地，所述的重新定义锚点位置，通过添加额外的支撑锚点，达到进一步减少锚点距离sA的效果，这些支撑锚点称为平移锚点，它们共享中心锚点所表征的图像特征；
具体来说，当添加了额外的支撑锚点之后，锚点距离可以由原来的特征距离sF减少为另外，还可以再增加两个支撑锚点，把锚点距离降至实际上，只需要添加少量的平移锚点就可以获得很大的交并比值平均值。
进一步地，所述的面孔频率抖动，在训练过程中，对每一次迭代都随机平移距离锚点中心较远的面孔，这样可以获得更高的交并比值；
具体来说，图像在每一次迭代中都平移了一个随机的偏移量；这个偏移量是在均匀分布当中通过离散采样得到的；使用偏移量的离散均匀分布计算得出面孔位置的连续均匀分布；设置最大偏移量为
进一步地，所述的补偿策略，把小面孔匹配至多个锚点；具体来说，首先，当锚点的重叠值高于阈值Th时，标注这些锚点为正；然后，那些重叠值低于Th的面孔标记为难以识别的面孔；对于这些面孔，与它们重叠的最大N个锚点标注为正。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于锚点设计的小面孔检测方法，其特征在于，主要包括预期最大重叠值(一)、锚点设计策略(二)。
2.基于权利要求书1所述的预期最大重叠值(一)，其特征在于，预期最大重叠值用于刻画锚点获取最高的面孔交并比值；主要包括：
(1)基于锚点的检测器；
(2)标准的锚点设置和锚点匹配机制；
(3)获取预期最大重叠值。
3.基于权利要求书2所述的基于锚点的检测器，其特征在于，基于锚点的检测方法使用分类和递归锚框的方式来检测目标物体；锚点是一系列预定义的锚框；在满足下面两个条件之一时，一个锚点会匹配至实况锚框：
(1)这个锚点与该锚框的交并比值高于所有其他的锚点；
(2)其交并比值高于某个阈值；
交并比值小于阈值的锚点会被标定为背景；
锚点把距离当作中心值，利用对应的表征值计算条件值和边界框回归值。
4.基于权利要求书2所述的锚点设置和锚点匹配机制，其特征在于，给定一个面孔框Bf，其匹配至一个锚框Ba，最大交并比值可以由下式计算得出：
其中，∩和∪分别表示两个框的交集和并集。
5.基于权利要求书2所述的获取预期最大重叠值，其特征在于，设置S＝{16，32，64，128，256，512}来覆盖数据集当中具有面孔大小的分布，由于面孔框近似正方形，因此设置R＝{1}；另外，假设每一张面孔能够以相同的概率出现在图像的任何位置；
只考虑一个周期，四个锚点中心包围住面孔的中心位置；区域外部的面孔会被匹配到另外三个锚点之一。
6.基于权利要求书1所述的锚点设计策略(二)，其特征在于，目的在提高交并比值的平均值，特别是从提升期望最大重叠值的角度来提高小面孔的交并比值；通过减少锚点之间距离和减少锚点与面孔中心的距离，以达到提高交并比值平均值的目的；
为了减少锚点之间的距离，使用新的网络架构以改变与锚点相关的特征图像的距离；重新定义锚点位置，能够进一步地减少锚点距离；提出面孔频率抖动方法，可以随机地减少锚点与面孔中心的距离；提出补偿策略，用于把小面孔匹配至多个锚点。
7.基于权利要求书6所述的新的网络架构，其特征在于，双线性上采样以两倍放大特征图像；在特征图像后面加上一个反卷积网络层，其滤波器被初始化，用于获得双线性上采样的权重；在训练过程中，滤波器保持更新以适应新的数据；
放大的特征图像通过跳跃连接方式，从较平滑的大特征图像中扩展其特征；这个设计的目的在于把高层次的特征(含有语义信息)和低层次的特征(含有位置精度)结合起来；首先添加两个1×1的卷积网络层，用于把信道的数目减少至相同的数量级；然后，在元素对元素相加操作之后，把一个3×3的卷积网络层加在最后的特征图像上，用于检测；
具体来说，剔除较平滑的大特征图像后面的共享或者卷积操作，并且扩大后续所有卷积网络层的滤波器。
8.基于权利要求书6所述的重新定义锚点位置，其特征在于，通过添加额外的支撑锚点，达到进一步减少锚点距离sA的效果，这些支撑锚点称为平移锚点，它们共享中心锚点所表征的图像特征；
具体来说，当添加了额外的支撑锚点之后，锚点距离可以由原来的特征距离sF减少为另外，还可以再增加两个支撑锚点，把锚点距离降至sF/2；实际上，只需要添加少量的平移锚点就可以获得很大的交并比值平均值。
9.基于权利要求书6所述的面孔频率抖动，其特征在于，在训练过程中，对每一次迭代都随机平移距离锚点中心较远的面孔，这样可以获得更高的交并比值；
具体来说，图像在每一次迭代中都平移了一个随机的偏移量；这个偏移量是在均匀分布当中通过离散采样得到的；使用偏移量的离散均匀分布计算得出面孔位置的连续均匀分布；设置最大偏移量为
10.基于权利要求书6所述的补偿策略，其特征在于，把小面孔匹配至多个锚点；具体来说，首先，当锚点的重叠值高于阈值Th时，标注这些锚点为正；然后，那些重叠值低于Th的面孔标记为难以识别的面孔；对于这些面孔，与它们重叠的最大N个锚点标注为正。
CN201810429058.6A 2018-05-08 2018-05-08 一种基于锚点设计的小面孔检测方法 Withdrawn CN108664916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810429058.6A CN108664916A (zh) 2018-05-08 2018-05-08 一种基于锚点设计的小面孔检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810429058.6A CN108664916A (zh) 2018-05-08 2018-05-08 一种基于锚点设计的小面孔检测方法

Publications (1)

Publication Number Publication Date
CN108664916A true CN108664916A (zh) 2018-10-16

Family

ID=63778683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810429058.6A Withdrawn CN108664916A (zh) 2018-05-08 2018-05-08 一种基于锚点设计的小面孔检测方法

Country Status (1)

Country Link
CN (1) CN108664916A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197113A (zh) * 2019-03-28 2019-09-03 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN111311673A (zh) * 2018-12-12 2020-06-19 北京京东尚科信息技术有限公司 一种定位方法及装置、存储介质
CN111950515A (zh) * 2020-08-26 2020-11-17 重庆邮电大学 一种基于语义特征金字塔网络的小人脸检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636749A (zh) * 2013-11-14 2015-05-20 中国移动通信集团公司 目标对象检测方法及装置
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636749A (zh) * 2013-11-14 2015-05-20 中国移动通信集团公司 目标对象检测方法及装置
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENCHEN ZHU ET.AL: ""Seeing Small Faces from Robust Anchor’s Perspective"", 《ARXIV:1802.09058V1 [CS.CV]》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311673A (zh) * 2018-12-12 2020-06-19 北京京东尚科信息技术有限公司 一种定位方法及装置、存储介质
CN111311673B (zh) * 2018-12-12 2023-11-03 北京京东乾石科技有限公司 一种定位方法及装置、存储介质
CN110197113A (zh) * 2019-03-28 2019-09-03 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN110197113B (zh) * 2019-03-28 2021-06-04 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN111950515A (zh) * 2020-08-26 2020-11-17 重庆邮电大学 一种基于语义特征金字塔网络的小人脸检测方法

Similar Documents

Publication Publication Date Title
US10635929B2 (en) Saliency-based method for extracting road target from night vision infrared image
CN106952402B (zh) 一种数据处理方法及装置
AU2013213659B2 (en) Method and system for using fingerprints to track moving objects in video
EP3273412B1 (en) Three-dimensional modelling method and device
CN104899586B (zh) 对图像中包含的文字内容进行识别方法及装置
CN108664916A (zh) 一种基于锚点设计的小面孔检测方法
US20150356372A1 (en) Character recognition method
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
CN110378997A (zh) 一种基于orb-slam2的动态场景建图与定位方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN105389553A (zh) 一种活体检测方法和装置
CN104616006B (zh) 一种面向监控视频的胡须人脸检测方法
CN102156881B (zh) 基于多尺度图像相位信息的海难搜救目标检测方法
CN102360503B (zh) 基于空间贴近度和像素相似性的sar图像变化检测方法
Krinidis et al. A robust and real-time multi-space occupancy extraction system exploiting privacy-preserving sensors
Cutzu et al. Distinguishing paintings from photographs
Niu et al. A moving objects detection algorithm based on improved background subtraction
CN111223099B (zh) 违禁品检测方法、一种计算设备及存储介质
CN105225248B (zh) 识别物体的运动方向的方法和设备
CN105184771A (zh) 一种自适应运动目标检测系统及检测方法
CN106815587A (zh) 图像处理方法及装置
CN103065320A (zh) 基于恒虚警阈值的sar图像变化检测方法
CN104657989B (zh) 基于图像对目标对象进行测量的方法和装置
CN108805073A (zh) 一种安防监控动态目标优化锁定追踪方法及系统
CN103743750A (zh) 一种大口径光学元件表面损伤分布图的生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181016

WW01 Invention patent application withdrawn after publication