CN105046222A - 一种基于fpga的人脸检测与跟踪方法 - Google Patents

一种基于fpga的人脸检测与跟踪方法 Download PDF

Info

Publication number
CN105046222A
CN105046222A CN201510408497.5A CN201510408497A CN105046222A CN 105046222 A CN105046222 A CN 105046222A CN 201510408497 A CN201510408497 A CN 201510408497A CN 105046222 A CN105046222 A CN 105046222A
Authority
CN
China
Prior art keywords
skin
pixel
fpga
face detection
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510408497.5A
Other languages
English (en)
Other versions
CN105046222B (zh
Inventor
程树英
张义群
林培杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201510408497.5A priority Critical patent/CN105046222B/zh
Publication of CN105046222A publication Critical patent/CN105046222A/zh
Application granted granted Critical
Publication of CN105046222B publication Critical patent/CN105046222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Abstract

本发明涉及一种基于FPGA的人脸检测与跟踪方法，首先采集视频，接着进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像，再进行空间滤波，确定肤色像素，然后进行时间滤波，得到当前帧的像素的平均值，进一步确定肤色像素，接着过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果，最后采用VGA实时显示。本发明克服了现有人脸检测的成本以及检测与跟踪的实时性问题，算法较简单，而准确性、速度和实时性都较高，系统成本较低。

Description

一种基于FPGA的人脸检测与跟踪方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于FPGA的人脸检测与跟踪方法。
背景技术
目前，人脸的检测方法的检测对象是静态图像，而无法准确地检测并跟踪视频序列中的人脸。有的人脸检测，如果背景图像较复杂，要从其它物体中区分出人脸较困难；有的在不同的光照条件下的检测结果受很大的影响；有的在人脸被遮挡三分之一以上就难以检测出来。现有人脸检测的处理系统不像FPGA是并行处理的，因此检测和跟踪的实时性受限。
发明内容
有鉴于此，本发明的目的是提出一种基于FPGA的人脸检测与跟踪方法，克服了现有人脸检测的成本以及检测与跟踪的实时性问题。
本发明采用以下方案实现：一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
进一步的，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
进一步的，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
进一步的，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
进一步的，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式 a v g _ o u t = 3 4 a v g _ i n + 1 4 d a t a 改写为 a v g _ o u t = a v g _ i n - 1 4 a v g _ i n + 1 4 d a t a , 利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26%的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
进一步的，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
与现有技术相比，本发明采用FPGA设备来实现人脸检测的功能，肤色阈值检测可以减小每帧图像的搜索区域；空间滤波和时间滤波提高了人脸检测并跟踪的准确性；FPGA的数据处理都是并行的。因此本发明提出的人脸检测和跟踪的算法较简单，而准确性、速度和实时性都较高，系统成本较低。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
在本实施例中，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
在本实施例中，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
在本实施例中，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
在本实施例中，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式 a v g _ o u t = 3 4 a v g _ i n + 1 4 d a t a 改写为 a v g _ o u t = a v g _ i n - 1 4 a v g _ i n + 1 4 d a t a , 利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，在本实施例中，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除小于上述已检测出的最大肤色连通区域26%的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
在本实施例中，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于FPGA的人脸检测与跟踪方法，其特征在于包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
2.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
3.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
4.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
5.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤，进而得到多个肤色连通区域。
6.根据权利要求5所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述公式还可以写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。
7.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S5具体为：比较步骤S4处理后的每一帧图像的各个肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26%的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
8.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
CN201510408497.5A 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法 Active CN105046222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510408497.5A CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510408497.5A CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN105046222A true CN105046222A (zh) 2015-11-11
CN105046222B CN105046222B (zh) 2018-05-04

Family

ID=54452751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510408497.5A Active CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN105046222B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106934354A (zh) * 2017-02-28 2017-07-07 厦门瑞为信息技术有限公司 一种fpga实现人脸检测的方法
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN109993083A (zh) * 2019-03-20 2019-07-09 吉林大学 一种夜间车辆识别的方法
CN112132068A (zh) * 2020-09-27 2020-12-25 深圳市梦网视讯有限公司 一种基于视频动态信息的年龄分析方法、系统和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1428694A (zh) * 2001-12-29 2003-07-09 成都银晨网讯科技有限公司 基于dsp的嵌入式人脸自动检测装置和方法
US20140270490A1 (en) * 2013-03-13 2014-09-18 Futurewei Technologies, Inc. Real-Time Face Detection Using Combinations of Local and Global Features
CN104463125A (zh) * 2014-12-11 2015-03-25 哈尔滨工程大学 基于dsp的人脸自动检测跟踪装置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1428694A (zh) * 2001-12-29 2003-07-09 成都银晨网讯科技有限公司 基于dsp的嵌入式人脸自动检测装置和方法
US20140270490A1 (en) * 2013-03-13 2014-09-18 Futurewei Technologies, Inc. Real-Time Face Detection Using Combinations of Local and Global Features
CN104463125A (zh) * 2014-12-11 2015-03-25 哈尔滨工程大学 基于dsp的人脸自动检测跟踪装置及其方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106934354A (zh) * 2017-02-28 2017-07-07 厦门瑞为信息技术有限公司 一种fpga实现人脸检测的方法
CN106934354B (zh) * 2017-02-28 2020-08-07 厦门瑞为信息技术有限公司 一种fpga实现人脸检测的方法
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN107704829B (zh) * 2017-10-09 2019-12-03 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN109993083A (zh) * 2019-03-20 2019-07-09 吉林大学 一种夜间车辆识别的方法
CN112132068A (zh) * 2020-09-27 2020-12-25 深圳市梦网视讯有限公司 一种基于视频动态信息的年龄分析方法、系统和设备

Also Published As

Publication number Publication date
CN105046222B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN105046222A (zh) 一种基于fpga的人脸检测与跟踪方法
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN103136766B (zh) 一种基于颜色对比和颜色分布的物体显著性检测方法
CN102855617B (zh) 自适应图像处理方法及系统
CN104268899A (zh) 基于帧间差分和背景差分的运动目标检测方法
CN104318266B (zh) 一种图像智能分析处理预警方法
CN103412643B (zh) 终端及其遥控的方法
US10282601B2 (en) Electronic device and gesture recognition method applied therein
CN103218605A (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN104318588A (zh) 一种基于位置感知判别外观模型的多摄像机目标跟踪方法
CN106446905A (zh) 渗透算法和自适应Canny算法相融合的表面裂纹纹理的提取方法
CN104700405A (zh) 一种前景检测方法和系统
CN107194946B (zh) 一种基于fpga的红外显著物体检测方法
CN104537688A (zh) 一种基于背景差分和hog特征的运动目标检测方法
Fan et al. Moving target detection algorithm based on Susan edge detection and frame difference
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
CN106503651A (zh) 一种手势图像的提取方法及系统
CN103686092A (zh) 学生起立双系统检测方法及系统
CN107169977A (zh) 基于FPGA和Kirsch的自适应阈值彩色图像边缘检测方法
CN105787912A (zh) 一种基于分类的阶跃型边缘亚像素定位方法
CN108010050A (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法
CN106023168A (zh) 一种视频监控中边缘检测的方法及装置
CN102855025A (zh) 一种基于视觉注意模型的光学多点触控触点检测方法
Hu et al. Motion objects detection based on higher order statistics and hsv color space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant