CN105046222B - 一种基于fpga的人脸检测与跟踪方法 - Google Patents

一种基于fpga的人脸检测与跟踪方法 Download PDF

Info

Publication number
CN105046222B
CN105046222B CN201510408497.5A CN201510408497A CN105046222B CN 105046222 B CN105046222 B CN 105046222B CN 201510408497 A CN201510408497 A CN 201510408497A CN 105046222 B CN105046222 B CN 105046222B
Authority
CN
China
Prior art keywords
pixel
skin
face
fpga
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510408497.5A
Other languages
English (en)
Other versions
CN105046222A (zh
Inventor
程树英
张义群
林培杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201510408497.5A priority Critical patent/CN105046222B/zh
Publication of CN105046222A publication Critical patent/CN105046222A/zh
Application granted granted Critical
Publication of CN105046222B publication Critical patent/CN105046222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于FPGA的人脸检测与跟踪方法，首先采集视频，接着进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像，再进行空间滤波，确定肤色像素，然后进行时间滤波，得到当前帧的像素的平均值，进一步确定肤色像素，接着过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果，最后采用VGA实时显示。本发明克服了现有人脸检测的成本以及检测与跟踪的实时性问题，算法较简单，而准确性、速度和实时性都较高，系统成本较低。

Description

一种基于FPGA的人脸检测与跟踪方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于FPGA的人脸检测与跟踪方法。
背景技术
目前，人脸的检测方法的检测对象是静态图像，而无法准确地检测并跟踪视频序列中的人脸。有的人脸检测，如果背景图像较复杂，要从其它物体中区分出人脸较困难；有的在不同的光照条件下的检测结果受很大的影响；有的在人脸被遮挡三分之一以上就难以检测出来。现有人脸检测的处理系统不像FPGA是并行处理的，因此检测和跟踪的实时性受限。
发明内容
有鉴于此，本发明的目的是提出一种基于FPGA的人脸检测与跟踪方法，克服了现有人脸检测的成本以及检测与跟踪的实时性问题。
本发明采用以下方案实现：一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
进一步的，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
进一步的，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
进一步的，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
进一步的，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式改写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
进一步的，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
与现有技术相比，本发明采用FPGA设备来实现人脸检测的功能，肤色阈值检测可以减小每帧图像的搜索区域；空间滤波和时间滤波提高了人脸检测并跟踪的准确性；FPGA的数据处理都是并行的。因此本发明提出的人脸检测和跟踪的算法较简单，而准确性、速度和实时性都较高，系统成本较低。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于FPGA的人脸检测与跟踪方法，具体包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素的平均值；
步骤S5：过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示。
在本实施例中，所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
在本实施例中，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
在本实施例中，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
在本实施例中，所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式改写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤。
较佳地，在本实施例中，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连通区域，滤除小于上述已检测出的最大肤色连通区域26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
在本实施例中，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于FPGA的人脸检测与跟踪方法，其特征在于包括以下步骤：
步骤S1：采集视频；
步骤S2：进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像；
步骤S3：进行空间滤波，确定肤色像素；
步骤S4：进行时间滤波，得到当前帧的像素值；
步骤S5：过滤非人脸肤色干扰，进行人脸跟踪，得到实时人脸检测结果；
步骤S6：采用VGA实时显示；
所述步骤S4具体为：对每帧图像中的每个像素点使用公式进行再一次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素点的像素值，如果avg_out大于0.06，则认为该像素是皮肤，否则该像素不是皮肤，进而得到多个肤色连通区域。
2.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述的步骤S1具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。
3.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量在20<U<74范围内的像素的像素值设为1，否则设为0，进而将采集到的视频数据由YUV格式转换为二进制图像。
4.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9×9像素块，若该9×9像素块中有超过75％的像素点的像素值为1，则认为该像素点p是肤色像素，否则不是。
5.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述公式还可以写为利用移位运算可得avg_out＝avg_in-avg_in＞＞2+data＞＞2。
6.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S5具体为：比较步骤S4处理后的每一帧图像的各个肤色连通区域，滤除面积小于已检测出的最大肤色连通区域面积的26％的其它连通区域，将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结果。
7.根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
CN201510408497.5A 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法 Active CN105046222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510408497.5A CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510408497.5A CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN105046222A CN105046222A (zh) 2015-11-11
CN105046222B true CN105046222B (zh) 2018-05-04

Family

ID=54452751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510408497.5A Active CN105046222B (zh) 2015-07-14 2015-07-14 一种基于fpga的人脸检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN105046222B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106934354B (zh) * 2017-02-28 2020-08-07 厦门瑞为信息技术有限公司 一种fpga实现人脸检测的方法
CN107704829B (zh) * 2017-10-09 2019-12-03 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN109993083A (zh) * 2019-03-20 2019-07-09 吉林大学 一种夜间车辆识别的方法
CN112132068A (zh) * 2020-09-27 2020-12-25 深圳市梦网视讯有限公司 一种基于视频动态信息的年龄分析方法、系统和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1428694A (zh) * 2001-12-29 2003-07-09 成都银晨网讯科技有限公司 基于dsp的嵌入式人脸自动检测装置和方法
CN104463125A (zh) * 2014-12-11 2015-03-25 哈尔滨工程大学 基于dsp的人脸自动检测跟踪装置及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268993B2 (en) * 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1428694A (zh) * 2001-12-29 2003-07-09 成都银晨网讯科技有限公司 基于dsp的嵌入式人脸自动检测装置和方法
CN104463125A (zh) * 2014-12-11 2015-03-25 哈尔滨工程大学 基于dsp的人脸自动检测跟踪装置及其方法

Also Published As

Publication number Publication date
CN105046222A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046222B (zh) 一种基于fpga的人脸检测与跟踪方法
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
US9025875B2 (en) People counting device, people counting method and people counting program
EP2523165A2 (en) Image processing method and image processing device
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN102509074B (zh) 一种目标识别方法和设备
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN102542552B (zh) 视频图像的顺逆光判断和拍摄时间检测方法
US20060056702A1 (en) Image processing apparatus and image processing method
US9053385B2 (en) Object detection device and object detection method
CN104182721A (zh) 提升人脸识别率的图像处理系统及图像处理方法
CN103903223A (zh) 一种基于图像显著性检测的获取缩略图的方法
EP2560149A2 (en) Image processing device, image processing method and program
US9852519B2 (en) Detection system
CN106550221A (zh) 监视摄像装置及其使用的区域式移动侦测方法
CN106991418A (zh) 飞虫检测方法、装置及终端
CN103793923A (zh) 一种图像中运动目标的获取方法及设备
CN103578113A (zh) 前景图像提取方法
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CA2825506A1 (en) Spectral scene simplification through background subtraction
US10904429B2 (en) Image sensor
CN106874882A (zh) 路面病害边缘检测方法和装置
KR102339342B1 (ko) 월파 감지 방법 및 시스템
WO2016155435A1 (zh) 动态调整终端屏幕显示的方法、终端及存储介质
Zhang et al. A traffic flow detection system combining optical flow and shadow removal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant