CN106650675A - 一种基于嵌入式系统的实时人脸检测算法 - Google Patents

一种基于嵌入式系统的实时人脸检测算法 Download PDF

Info

Publication number
CN106650675A
CN106650675A CN201611230826.2A CN201611230826A CN106650675A CN 106650675 A CN106650675 A CN 106650675A CN 201611230826 A CN201611230826 A CN 201611230826A CN 106650675 A CN106650675 A CN 106650675A
Authority
CN
China
Prior art keywords
face
image
detection
feature extraction
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611230826.2A
Other languages
English (en)
Other versions
CN106650675B (zh
Inventor
戴林
慈红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandi Weiye Technology Co., Ltd.
Original Assignee
Tianjin Tiandi Weiye Productivity Promotion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandi Weiye Productivity Promotion Co Ltd filed Critical Tianjin Tiandi Weiye Productivity Promotion Co Ltd
Priority to CN201611230826.2A priority Critical patent/CN106650675B/zh
Publication of CN106650675A publication Critical patent/CN106650675A/zh
Application granted granted Critical
Publication of CN106650675B publication Critical patent/CN106650675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于嵌入式系统的实时人脸检测算法，包括如何通过前景检测和跟踪进行检测热点的确定,人员个数预测,多种快速特征检测级联,以及如何对检测结果进行分类评价等，本发明保证了在嵌入式平台上进行实时视频人脸检测,满足了系统关于算法运行效率和效果的要求,本发明采取了多种算法融合,充分发挥各模块的优点,既大大减少了冗余的计算量,提高了算法的实时性,又提高了检测率.使得人脸检测算法在嵌入式上实现实时运行成为可能。

Description

一种基于嵌入式系统的实时人脸检测算法
技术领域
本发明属于人脸检测技术领域，尤其是涉及一种基于嵌入式系统的实时人脸检测算法。
背景技术
随着半导体技术的飞速发展和新的计算法方法的不断出现，现在的智能分析算法都逐渐从后段PC设备移到前端，出现了各式各样的智能终端产品，人脸检测作为智能设备的主要功能，能够实时地对人脸进行检测、抓拍，不仅大大提高了用户体验，而且能减少后期存储压力，加快检索速度，为客户降低使用成本，提高工作效率，在当前竞争激烈的监控领域，无疑是最佳选择。
现有技术中的人脸检测方法均基于前景检测、特征提取和分类识别，前景检测即利用拍摄图像的情景对比确定目标位置，进而减少计算量，然后将确定位置的检测目标进行图像缩放操作，构成图像金字塔，在图像金字塔的各层图像中提取人脸特征，并通过分类器分类，最后进行图像融合生成人脸图像；
此种方法虽然采用了前景检测，但没有充分利用视频流中实际目标的位置反馈，以及对区域内目标个数的预测，检测实时性差；同时该方法只采用了一种特征提取方式，提升检测率智能通过样本的选择和特征围数来实现，且效果不明显；该方法没有人脸识别评价滤除机制，误检率较高。
发明内容
有鉴于此，本发明旨在提出一种基于嵌入式系统的实时人脸检测算法，。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于嵌入式系统的实时人脸检测算法，包括以下步骤：
(1)图像缩放：利用训练模型的尺度大小和要检测场景中最小目标的尺度大小，对拍摄原图进行缩放，减少运算量；
(2)前景检测：利用拍摄场景图像的情景对比确定检测热点；
(3)人脸区域融合：将前景检测和目标跟踪预测区域进行叠加融合，得到更有效的人脸检测区域；
(4)人脸个数预测：利用已检测出的人脸尺度对步骤(3)得到的人脸检测图像预测，得到该区域人脸个数估计值；
(5)特征提取和分类识别：对步骤(3)中得到的人脸检测图像进行特征提取和分类识别，得到人脸特征模块；
(6)识别去误与人脸跟踪：使用强分辨器对步骤(5)中得到的人脸特征模块评价打分，并将分值较低不属于人脸特征的模块去除，综合人脸特征模块输出清晰人脸图像，同时根据人脸图像在视频帧中进行人脸区域预测，并将目标跟踪预测区域数据返回步骤(3)。
进一步的，所述步骤(5)中的特征提取和分类识别包括以下步骤：
(5.1)对步骤(3)中得到的人脸检测图像做图像金字塔；
(5.2)通过LBP特征提取算法和BOOST分类器对步骤(5.1)中的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块进行计数统计，若不小于步骤(4)中的人脸个数估计值，则进行步骤(6)，若小于步骤(4)中的人脸个数估计值，则进行步骤(5.3)；
(5.3)通过NPD特征提取算法和BOOST分类器将步骤(5.1)中得到的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块与步骤(5.2)中得到的人脸特征模块进行相同区域的融合，然后进行步骤(6)。
进一步的，所述步骤(6)中的强分辨器为神经网络分类器。
进一步的，所述步骤(5.1)中的图像金字塔由LBP特征提取算法和BOOST分类器或NPD特征提取算法和BOOST分类器制作。
相对于现有技术，本发明所述的基于嵌入式系统的实时人脸检测算法具有以下优势：
(1)本发明所述的基于嵌入式系统的实时人脸检测算法，在前景检测的基础上，采用跟踪预测人脸区域与前景检测区域融合，在确定了真实目标区域，增强检测图像清晰度的同时，进一步减少了计算量，同时根据检测出的人脸反馈结果，通过位置、比例信息来预测区域目标个数，为级联检测器的选用提供了条件。
(2)本发明所述的基于嵌入式系统的实时人脸检测算法，实现了多级联检测算法的金字塔图像共享，避免了前一种检测器没有达到预测效果时，后面的检测算法可以共享其已运算过的金字塔图像，大大提升了效率。
(3)本发明所述的基于嵌入式系统的实时人脸检测算法，通过多特征分类检测算法(本算法主要采用LBP和NPD两种特征预测条件)，依次对金字塔图像进行分类检测，实现金字塔图像共享的同时，充分发挥每种算法的特长，避免了人脸特征模块的遗漏，在融合检测目标过程中提高了检测目标的检测率。
(4)本发明所述的基于嵌入式系统的实时人脸检测算法，采用了多种特征分类，由于每种特征分类都会有误检，为减少虚假目标，提高数据准确性，本方案加入了对检测目标进行识别分类并给出每个目标评分分值的过程，对虚假目标进行过滤，提高了检测的准确性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于嵌入式系统的实时人脸检测算法流程示意图；
图2为本发明实施例所述的常规人脸算法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明包括以下步骤：
(1)图像缩放：利用训练模型的尺度大小和要检测场景中最小目标的尺度大小，对拍摄原图进行缩放，减少运算量；
(2)前景检测：利用拍摄场景图像的情景对比确定检测热点；
(3)人脸区域融合：将前景检测和目标跟踪预测区域进行叠加融合，得到更有效的人脸检测区域；
(4)人脸个数预测：利用已检测出的人脸尺度对步骤(3)得到的人脸检测图像预测，得到该区域人脸个数估计值；
(5)特征提取和分类识别：对步骤(3)中得到的人脸检测图像进行特征提取和分类识别，得到人脸特征模块；
(6)识别去误与人脸跟踪：使用强分辨器对步骤(5)中得到的人脸特征模块评价打分，并将分值较低不属于人脸特征的模块去除，综合人脸特征模块输出清晰人脸图像，同时根据人脸图像在视频帧中进行人脸区域预测，并将目标跟踪预测区域数据返回步骤(3)。
所述步骤(5)中的特征提取和分类识别包括以下步骤：
(5.1)对步骤(3)中得到的人脸检测图像做图像金字塔；
(5.2)通过LBP特征提取算法和BOOST分类器对步骤(5.1)中的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块进行计数统计，若不小于步骤(4)中的人脸个数估计值，则进行步骤(6)，若小于步骤(4)中的人脸个数估计值，则进行步骤(5.3)；
(5.3)通过NPD特征提取算法和BOOST分类器将步骤(5.1)中得到的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块与步骤(5.2)中得到的人脸特征模块进行相同区域的融合，然后进行步骤(6)。
所述步骤(6)中的强分辨器为神经网络分类器。
所述步骤(5.1)中的图像金字塔由LBP特征提取算法和BOOST分类器或NPD特征提取算法和BOOST分类器制作。
目前大部分方案都是基于前景检测、特征提取、分类识别。这几个方面，其中前景检测主要用来确定目标位置，减少计算量，特征提取和分类识别用于检测确定人脸位置。不同的特征和分类器的选择直接影响到算法的检测率及运行效率。目前常用的特征主要有HAAR、LBP、NPD、HOG等。分类器一般选取BOOST分类器。算法流程如图2所示。
如图1所示，本发明在很大程度上减少了冗余的运算量，提高了检测率和数据的准确性，使人脸检测算法在前端嵌入式平台上得以运行，实测处理帧数在10-15帧每秒，满足实时处理的要求，而且本算法具有较高的检测率，这也满足了实际产品的需求，被广泛应用于智能监控，智能考勤等领域，给客户带来了良好的体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于嵌入式系统的实时人脸检测算法，其特征在于：包括以下步骤：
(1)图像缩放：利用训练模型的尺度大小和要检测场景中最小目标的尺度大小，对拍摄原图进行缩放；
(2)前景检测：利用拍摄场景图像的情景对比确定检测热点；
(3)人脸区域融合：将前景检测和目标跟踪预测区域进行叠加融合，得到更有效的人脸检测区域；
(4)人脸个数预测：利用已检测出的人脸尺度对步骤(3)得到的人脸检测图像预测，得到该区域人脸个数估计值；
(5)特征提取和分类识别：对步骤(3)中得到的人脸检测图像进行特征提取和分类识别，得到人脸特征模块；
(6)识别去误与人脸跟踪：使用强分辨器对步骤(5)中得到的人脸特征模块评价打分，并将分值较低不属于人脸特征的模块去除，综合人脸特征模块输出清晰人脸图像，同时根据人脸图像在视频帧中进行人脸区域预测，并将目标跟踪预测区域数据返回步骤(3)。
2.根据权利要求1所述的基于嵌入式系统的实时人脸检测算法，其特征在于：所述步骤(5)中的特征提取和分类识别包括以下步骤：
(5.1)对步骤(3)中得到的人脸检测图像做图像金字塔；
(5.2)通过LBP特征提取算法和BOOST分类器对步骤(5.1)中的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块进行计数统计，若不小于步骤(4)中的人脸个数估计值，则进行步骤(6)，若小于步骤(4)中的人脸个数估计值，则进行步骤(5.3)；
(5.3)通过NPD特征提取算法和BOOST分类器将步骤(5.1)中得到的图像金字塔进行特征提取和分类识别，将得到的人脸特征模块与步骤(5.2)中得到的人脸特征模块进行相同区域的融合，然后进行步骤(6)。
3.根据权利要求1所述的基于嵌入式系统的实时人脸检测算法，其特征在于：所述步骤(6)中的强分辨器为神经网络分类器。
4.根据权利要求2所述的基于嵌入式系统的实时人脸检测算法，其特征在于：所述步骤(5.1)中的图像金字塔由LBP特征提取算法和BOOST分类器或NPD特征提取算法和BOOST分类器制作。
CN201611230826.2A 2016-12-28 2016-12-28 一种基于嵌入式系统的实时人脸检测方法 Active CN106650675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611230826.2A CN106650675B (zh) 2016-12-28 2016-12-28 一种基于嵌入式系统的实时人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611230826.2A CN106650675B (zh) 2016-12-28 2016-12-28 一种基于嵌入式系统的实时人脸检测方法

Publications (2)

Publication Number Publication Date
CN106650675A true CN106650675A (zh) 2017-05-10
CN106650675B CN106650675B (zh) 2020-01-21

Family

ID=58831689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611230826.2A Active CN106650675B (zh) 2016-12-28 2016-12-28 一种基于嵌入式系统的实时人脸检测方法

Country Status (1)

Country Link
CN (1) CN106650675B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法
US7853086B2 (en) * 2006-01-23 2010-12-14 Fujifilm Corporation Face detection method, device and program
US20110150337A1 (en) * 2009-12-17 2011-06-23 National Tsing Hua University Method and system for automatic figure segmentation
CN102880729A (zh) * 2012-11-02 2013-01-16 深圳市宜搜科技发展有限公司 基于人脸检测与识别的人物图片索引方法及装置
CN102915435A (zh) * 2012-10-23 2013-02-06 哈尔滨工程大学 一种基于人脸能量图的多姿态人脸识别方法
CN103927519A (zh) * 2014-04-14 2014-07-16 中国华戎控股有限公司 一种实时人脸检测与过滤方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853086B2 (en) * 2006-01-23 2010-12-14 Fujifilm Corporation Face detection method, device and program
US20110150337A1 (en) * 2009-12-17 2011-06-23 National Tsing Hua University Method and system for automatic figure segmentation
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法
CN102915435A (zh) * 2012-10-23 2013-02-06 哈尔滨工程大学 一种基于人脸能量图的多姿态人脸识别方法
CN102880729A (zh) * 2012-11-02 2013-01-16 深圳市宜搜科技发展有限公司 基于人脸检测与识别的人物图片索引方法及装置
CN103927519A (zh) * 2014-04-14 2014-07-16 中国华戎控股有限公司 一种实时人脸检测与过滤方法

Also Published As

Publication number Publication date
CN106650675B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN108986064B (zh) 一种人流量统计方法、设备及系统
US10212324B2 (en) Position detection device, position detection method, and storage medium
Stalder et al. Cascaded confidence filtering for improved tracking-by-detection
US9600760B2 (en) System and method for utilizing motion fields to predict evolution in dynamic scenes
WO2014092552A2 (en) Method for non-static foreground feature extraction and classification
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
WO2019205727A1 (zh) 对象识别方法和对象识别设备
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
Daniyal et al. Multi-camera scheduling for video production
CN104781848A (zh) 用于估计单体的倾斜度的图像监测装置及其方法
CN111145223A (zh) 多摄像头识别人员行为轨迹分析方法
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
Lin et al. Cross camera people counting with perspective estimation and occlusion handling
Boltes et al. Influences of extraction techniques on the quality of measured quantities of pedestrian characteristics
US20170053172A1 (en) Image processing apparatus, and image processing method
CN110991397A (zh) 一种行进方向确定方法及相关设备
Wanchaitanawong et al. Multi-modal pedestrian detection with large misalignment based on modal-wise regression and multi-modal IoU
Guan et al. Multi-person tracking-by-detection with local particle filtering and global occlusion handling
Howe et al. Weakly supervised training of monocular 3d object detectors using wide baseline multi-view traffic camera data
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
Liu et al. Multi-view vehicle detection and tracking in crossroads
Li et al. Evaluating the performance of systems for tracking football players and ball

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191213

Address after: 300384 Huayuan Industrial Zone, Xiqing District, Tianjin, No. 8, Huake No. 2 Road, Haitai

Applicant after: Tiandi Weiye Technology Co., Ltd.

Address before: 300384 in Tianjin Binhai high tech Zone Huayuan Industrial Zone (outer ring road No. 8) two Haitai branch

Applicant before: Tianjin Tiandi Weiye productivity promotion Co., Ltd.

GR01 Patent grant
GR01 Patent grant