CN109614841A - 嵌入式系统中的快速人脸检测方法 - Google Patents

嵌入式系统中的快速人脸检测方法 Download PDF

Info

Publication number
CN109614841A
CN109614841A CN201810388775.9A CN201810388775A CN109614841A CN 109614841 A CN109614841 A CN 109614841A CN 201810388775 A CN201810388775 A CN 201810388775A CN 109614841 A CN109614841 A CN 109614841A
Authority
CN
China
Prior art keywords
subgraph
image
face
low
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810388775.9A
Other languages
English (en)
Other versions
CN109614841B (zh
Inventor
刘玉宇
王增锹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIDEOPARK TECHNOLOGY Co Ltd
Original Assignee
VIDEOPARK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIDEOPARK TECHNOLOGY Co Ltd filed Critical VIDEOPARK TECHNOLOGY Co Ltd
Priority to CN201810388775.9A priority Critical patent/CN109614841B/zh
Publication of CN109614841A publication Critical patent/CN109614841A/zh
Application granted granted Critical
Publication of CN109614841B publication Critical patent/CN109614841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种嵌入式系统中的快速人脸检测方法，包括如下步骤：对低分辨率视频数据流进行运动检测；利用高分辨率的视频数据流进行子图人脸检测；将有人脸的各个子图的中心位置坐标添加到结果列表中；融合结果列表中的重叠检测结果。本发明具有可实现4‑5倍的计算量削减，大幅削减了误检的数量的特点。

Description

嵌入式系统中的快速人脸检测方法
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种计算效率高的嵌入式系统中的快速人脸检测方法。
背景技术
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。人脸检测是图像分析中的常用技术，特别是随着生物认证的兴起，人脸检测在图像技术中发挥越来越重要的作用。
人脸检测算法从2004年Viola等提出基于Boosting算法和cascade方式的人脸检测器后，得到了长足的发展。近年兴起的基于深度学习神经网络的人脸检测算法，更是大幅提升了检测的准确率和适应能力。不管哪种方式，都是采用对图像不同位置抠出的子图进行是否存在人脸的判定来实现的。
进一步，为了做不同尺度人脸的检出，还会对图像按照一个固定的倍率进行多次降采样，并在降采样后的图像上进行人脸检测。最终，将从原图到所有降采样图像上的所有位置的人脸判定结果按照一定的融合规则合并重叠检测，得到最终人脸检测的结果。
但是，嵌入式系统计算能力和内存都很有限，直接在高分辨率视频码流上进行运动检测，则计算量太大；若将高分辨率视频码流降采样为低分辨率，则降采样会消耗大量的内存和计算量，难以起到加速的作用。
发明内容
本发明的发明目的是为了克服现有技术中嵌入式系统的计算量大，计算效率低的不足，提供了一种计算效率高的嵌入式系统中的快速人脸检测方法。
为了实现上述目的，本发明采用以下技术方案：
一种嵌入式系统中的快速人脸检测方法，包括如下步骤：
嵌入式系统提供高分辨率视频数据流和低分辨率视频数据流；
(1-1)对低分辨率视频数据流的当前时刻帧进行运动检测；
(1-2)利用高分辨率的视频数据流的当前时刻帧进行子图人脸检测；
(1-3)将有人脸的各个子图的中心位置坐标添加到结果列表中；
(1-4)融合结果列表中的重叠检测结果。
基于当前嵌入式系统同时提供多个不同分辨率码流的特点，采用最低分辨率码流进行运动检测，其结果用于限定高分辨率视频码流上进行的人脸检测的位置。通过仅对运动区域进行检测，降低计算量。利用最低分辨率码流进行动检很关键，因为嵌入式系统计算能力和内存都很有限，直接在高分辨率视频码流上进行运动检测，则计算量太大；若将高分辨率视频码流降采样为低分辨率，则降采样会消耗大量的内存和计算量，难以起到加速的作用。
检测区域限制与人脸检测区域以及多尺度人脸检测构建的金字塔采用坐标系方式融合，几乎不增加系统负荷。
作为优选，步骤(1-1)利用如下公式进行运动检测；
M0(x′，y′)为当前时刻帧的运动检测结果图像，I0(x′，y′)为低分辨率视频数据流当前时刻帧的灰度图像，I-1(x′，y′)为低分辨率视频数据流的前一时刻帧的灰度图像，x′和y′为低分辨率视频数据流的灰度图像的横坐标和纵坐标，T1为运动检测判别阈值。
作为优选，步骤(1-2)包括如下步骤：
(2-1)对高分辨率的视频数据流中的当前时刻帧图像截取用户检测区域图像，将用户检测区域图像进行1次降采样后的图像的坐标(x1，y1)转换为低分辨率的运动检测结果图像的对应坐标(x′，y′)；
其中，l为用户检测区域图像降采样的次数，s为对用户检测区域图像降采样的倍率，xd和yd为用户检测区域图像的左上角横坐标和纵坐标，wf和hf为人脸检测模板的宽和高，rw和rh为高分辨率图像与低分辨率图像在横向和纵向的像素数比值；
(2-2)以降采样后的有运动的用户检测区域图像的每个像素点的坐标(x1，y1)为中心，抠取宽度为wf和高度为hf的子图x；
(2-3)仅对判断有运动的子图计算是否存在人脸，无运动的子图直接判为不存在人脸；判断方式为，根据坐标变化得到的低分辨率图像坐标(x′，y′)，若低分辨率图像坐标(x′，y′)处的M0(x′，y′)＝1，则判断为子图存在运动；若为0，则判断子图无运动；
(2-4)计算通过训练得到的N个弱分类器hk(x)的输出值，弱分类器hk(x)的输出值为0或为1；
若判定子图x内有人脸。
作为优选，步骤(1-3)包括如下步骤：
将有人脸的子图x的中心位置坐标(x1，y1)添加到结果列表中，设i，j为结果列表中的任意两个检测结果的序号，i不等于j。
作为优选，步骤(1-4)包括如下步骤：
步骤(1-4)包括如下步骤：
利用如下公式将(x1，y1)还原为原始图像坐标(xo，yo)：
设定检测结果i的子图的中心位置为(xoi，yoi)，检测结果j的子图的中心位置为(xoj，yoj)；
若T2为融合阈值；
则通过修改检测结果i的子图的中心坐标将检测结果i和检测结果j融合：
将检测结果j从结果列表中删除；
当结果列表中的检测结果已无可融合的检测结果时，输出结果列表中的各个检测结果的中心坐标，将各个中心坐标作为当前时刻人脸检测的最终结果。
因此，本发明具有如下有益效果：在资源有限的网络摄像机嵌入式系统上，可实现4-5倍的计算量削减；同时，由于很多复杂背景不存在运动而不必检测，也大幅削减了误检的数量。
附图说明
图1是本发明的一种流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所示的实施例是一种嵌入式系统中的快速人脸检测方法，包括如下步骤：
嵌入式系统提供高分辨率视频数据流和低分辨率视频数据流；
步骤100，对低分辨率视频数据流进行运动检测；
M0(x′，y′)为当前时刻帧的运动检测结果图像，I0(x′，y′)为低分辨率视频数据流的当前时刻帧的灰度图像，I-1(x′，y′)为低分辨率视频数据流的前一时刻帧帧的灰度图像，x′和y′为低分辨率视频数据流的灰度图像的横坐标和纵坐标，T1为运动检测判别阈值。
步骤200，利用高分辨率的视频数据流进行子图人脸检测；
步骤210，对高分辨率的视频数据流中的当前时刻帧图像截取用户检测区域图像，将用户检测区域图像进行7次降采样后的图像的坐标(x1，y1)转换为低分辨率的运动检测结果图像的对应坐标(x′，y′)；
其中，7为用户检测区域图像降采样的次数，s为对用户检测区域图像降采样的倍率，xd和yd为用户检测区域图像的左上角横坐标和纵坐标，wf和hf为人脸检测模板的宽和高，rw和rh为高分辨率图像与低分辨率图像在横向和纵向的像素数比值；
步骤220，以降采样后的有运动的用户检测区域图像的每个像素点的坐标(x1，y1)为中心，抠取宽度为wf和高度为hf的子图x；
步骤230，仅对判断有运动的子图计算是否存在人脸，无运动的子图直接判为不存在人脸；判断方式为，根据坐标变化得到的低分辨率图像坐标(x′，y′)，若低分辨率图像坐标(x′，y′)处的M0(x′，y′)＝1，则判断为子图存在运动；若为0，则判断子图无运动；
假定低分辨率图像为32x24，高分辨率图像为1920x1080，用户检测人脸的区域为左上角位于(200，200)，宽高为1000x500的矩形区域。则，对于矩形区域中的坐标(960，540)，根据公式可以计算出低分辨率的坐标为(16，12)。坐标(16，12)处的M0(16，20)若为1，判定用户检测区域图像内有运动，并进一步进行人脸有无计算。否则判定为无运动，同时判定无人脸。
步骤240，计算通过训练得到的N个弱分类器hk(x)的输出值，弱分类器hk(x)的输出值为0或为1；
若判定子图x内有人脸。
步骤300，将有人脸的各个子图的中心位置坐标添加到结果列表中；
将有人脸的子图x的中心位置坐标(x1，y1)添加到结果列表中，设i，j为结果列表中的任意两个检测结果的序号，i不等于j。
步骤400，融合结果列表中的重叠检测结果。
利用如下公式将(x1，y1)还原为原始图像坐标(xo，yo)：
设定检测结果i的子图的中心位置为(xoi，yoi)，检测结果j的子图的中心位置为(xoj，yoj)；
若T2为融合阈值；
则通过修改检测结果i的子图的中心坐标将检测结果i和检测结果j融合：
将检测结果j从结果列表中删除；
当结果列表中的检测结果已无可融合的检测结果时，输出结果列表中的各个检测结果的中心坐标，将各个中心坐标作为当前时刻人脸检测的最终结果。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (5)

1.一种嵌入式系统中的快速人脸检测方法，其特征是，包括如下步骤：
嵌入式系统提供高分辨率视频数据流和低分辨率视频数据流；
(1-1)对低分辨率视频数据流的当前时刻帧进行运动检测；
(1-2)利用高分辨率的视频数据流的当前时刻帧进行子图人脸检测；
(1-3)将有人脸的各个子图的中心位置坐标添加到结果列表中；
(1-4)融合结果列表中的重叠检测结果。
2.根据权利要求1所述的嵌入式系统中的快速人脸检测方法，其特征是，步骤(1-1)利用如下公式进行运动检测；
M0(x′，y′)为当前时刻帧的运动检测结果图像，I0(x′，y′)为低分辨率视频数据流的当前时刻帧的灰度图像，I-1(x′，y′)为低分辨率视频数据流的前一时刻帧帧的灰度图像，x′和y′为低分辨率视频数据流的灰度图像的横坐标和纵坐标，T1为运动检测判别阈值。
3.根据权利要求1所述的嵌入式系统中的快速人脸检测方法，其特征是，步骤(1-2)包括如下步骤：
(2-1)对高分辨率的视频数据流中的当前时刻帧图像截取用户检测区域图像，将用户检测区域图像进行1次降采样后的图像的坐标(x1，y1)转换为低分辨率的运动检测结果图像的对应坐标(x′，y′)；
其中，l为用户检测区域图像降采样的次数，s为对用户检测区域图像降采样的倍率，xd和yd为用户检测区域图像的左上角横坐标和纵坐标，wf和hf为人脸检测模板的宽和高，rw和rh为高分辨率图像与低分辨率图像在横向和纵向的像素数比值；
(2-2)以降采样后的有运动的用户检测区域图像的每个像素点的坐标(x1，y1)为中心，抠取宽度为wf和高度为hf的子图x；
(2-3)仅对判断有运动的子图计算是否存在人脸，无运动的子图直接判为不存在人脸；判断方式为，根据坐标变化得到的低分辨率图像坐标(x′，y′)，若低分辨率图像坐标(x′，y′)处的M0(x′，y′)＝1，则判断为子图存在运动；若为0，则判断子图无运动；
(2-4)计算通过训练得到的N个弱分类器hk(x)的输出值，弱分类器hk(x)的输出值为0或为1；
若判定子图x内有人脸。
4.根据权利要求1所述的嵌入式系统中的快速人脸检测方法，其特征是，步骤(1-3)包括如下步骤：
将有人脸的子图x的中心位置坐标(x1，y1)添加到结果列表中，设i，j为结果列表中的任意两个检测结果的序号，i不等于j。
5.根据权利要求1或2或3或4所述的嵌入式系统中的快速人脸检测方法，其特征是，步骤(1-4)包括如下步骤：
利用如下公式将(x1，y1)还原为原始图像坐标(xo，yo)：
设定检测结果i的子图的中心位置为(xoi，yoi)，检测结果j的子图的中心位置为(xoj，yoj)；
若T2为融合阈值；
则通过修改检测结果i的子图的中心坐标将检测结果i和检测结果j融合：
将检测结果j从结果列表中删除；
当结果列表中的检测结果已无可融合的检测结果时，输出结果列表中的各个检测结果的中心坐标，将各个中心坐标作为当前时刻人脸检测的最终结果。
CN201810388775.9A 2018-04-26 2018-04-26 嵌入式系统中的快速人脸检测方法 Active CN109614841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810388775.9A CN109614841B (zh) 2018-04-26 2018-04-26 嵌入式系统中的快速人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810388775.9A CN109614841B (zh) 2018-04-26 2018-04-26 嵌入式系统中的快速人脸检测方法

Publications (2)

Publication Number Publication Date
CN109614841A true CN109614841A (zh) 2019-04-12
CN109614841B CN109614841B (zh) 2023-04-18

Family

ID=66002129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810388775.9A Active CN109614841B (zh) 2018-04-26 2018-04-26 嵌入式系统中的快速人脸检测方法

Country Status (1)

Country Link
CN (1) CN109614841B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430500A (zh) * 2022-04-02 2022-05-03 深圳酷源数联科技有限公司 带实时目标检测的视频推流方法、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717695A (zh) * 2002-11-29 2006-01-04 索尼英国有限公司 脸部检测及跟踪
CN1794264A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 视频序列中人脸的实时检测与持续跟踪的方法及系统
CN101271514A (zh) * 2007-03-21 2008-09-24 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法
CN103020580A (zh) * 2011-09-23 2013-04-03 无锡中星微电子有限公司 快速人脸检测方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104102921A (zh) * 2014-07-15 2014-10-15 广州市番禺奥莱照明电器有限公司 一种基于人脸识别的视频检测方法及其检测装置
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备
CN106874825A (zh) * 2015-12-10 2017-06-20 展讯通信(天津)有限公司 人脸检测的训练方法、检测方法和装置
CN107506707A (zh) * 2016-11-30 2017-12-22 奥瞳系统科技有限公司 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
CN107909026A (zh) * 2016-11-30 2018-04-13 深圳奥瞳科技有限责任公司 基于嵌入式系统小规模卷积神经网络的年龄和性别评估

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717695A (zh) * 2002-11-29 2006-01-04 索尼英国有限公司 脸部检测及跟踪
CN1794264A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 视频序列中人脸的实时检测与持续跟踪的方法及系统
CN101271514A (zh) * 2007-03-21 2008-09-24 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法
CN103020580A (zh) * 2011-09-23 2013-04-03 无锡中星微电子有限公司 快速人脸检测方法
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104102921A (zh) * 2014-07-15 2014-10-15 广州市番禺奥莱照明电器有限公司 一种基于人脸识别的视频检测方法及其检测装置
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN106874825A (zh) * 2015-12-10 2017-06-20 展讯通信(天津)有限公司 人脸检测的训练方法、检测方法和装置
CN107506707A (zh) * 2016-11-30 2017-12-22 奥瞳系统科技有限公司 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
CN107909026A (zh) * 2016-11-30 2018-04-13 深圳奥瞳科技有限责任公司 基于嵌入式系统小规模卷积神经网络的年龄和性别评估
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430500A (zh) * 2022-04-02 2022-05-03 深圳酷源数联科技有限公司 带实时目标检测的视频推流方法、设备及存储介质

Also Published As

Publication number Publication date
CN109614841B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN115661943B (zh) 一种基于轻量级姿态评估网络的跌倒检测方法
CN110781962B (zh) 基于轻量级卷积神经网络的目标检测方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN103020580B (zh) 快速人脸检测方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN109948457B (zh) 基于卷积神经网络和cuda加速的实时目标识别方法
CN115115672B (zh) 基于目标检测和特征点速度约束的动态视觉slam方法
CN105046278B (zh) 基于Haar特征的Adaboost检测算法的优化方法
CN109903339A (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN114170549A (zh) 一种基于深度学习的水面漂浮物检测方法
CN111177811A (zh) 一种应用于云平台的消防点位自动布图的方法
CN111967399A (zh) 一种基于改进的Faster RCNN行为识别方法
CN112149664A (zh) 一种优化分类与定位任务的目标检测方法
CN111626109A (zh) 一种基于双流卷积神经网络的跌倒行为分析检测方法
CN108765463A (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
CN107944437A (zh) 一种基于神经网络和积分图像的人脸定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant