CN107273810A - 一种自动学习划定人脸检测兴趣区域的方法 - Google Patents

一种自动学习划定人脸检测兴趣区域的方法 Download PDF

Info

Publication number
CN107273810A
CN107273810A CN201710363052.9A CN201710363052A CN107273810A CN 107273810 A CN107273810 A CN 107273810A CN 201710363052 A CN201710363052 A CN 201710363052A CN 107273810 A CN107273810 A CN 107273810A
Authority
CN
China
Prior art keywords
interest
face
face datection
area
datection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710363052.9A
Other languages
English (en)
Inventor
齐德龙
姚琪
罗畅
刘靖峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Vision Information Technology Co Ltd
Original Assignee
Wuhan Vision Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Vision Information Technology Co Ltd filed Critical Wuhan Vision Information Technology Co Ltd
Priority to CN201710363052.9A priority Critical patent/CN107273810A/zh
Publication of CN107273810A publication Critical patent/CN107273810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

本发明公开了一种自动学习划定人脸检测兴趣区域的方法，包括以下步骤：对采集视频图像帧序列中的当前帧图像进行全画面人脸检测，得到帧图像中所有人脸对应的最小外接矩形；根据得到的多个最小外接矩形的位置以及大小，判断图像采集区域的人脸集中度，并以此生成人脸检测感兴趣区域；对后续的视频图像帧序列中的每一帧图像，针对感兴趣区域进行人脸检测。本发明可以通过自动调整学习来划定人脸检测的兴趣区域，无需实时的针对高清视频图像进行全画面人脸检测，仅对兴趣区域内的人脸进行检测，大大节省了计算资源和计算时间。

Description

一种自动学习划定人脸检测兴趣区域的方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种自动学习划定人脸检测兴趣区域的方法。
背景技术
人脸识别作为生物身份识别的典型技术，由于不需要被检测个体的主动配合，近年来在人机交互，安防，身份认证，娱乐，和医疗看护等方面得到大量的应用。人脸识别技术包括：人脸检测，特征提取和特征匹配和分类。人脸检测的方法有：HARR扫描，HOG扫描，ADABOOT学习，深度学习CNN物体检测等。特征提取的方法有：PCA本征脸，深度学习CNN特征提取等。特征匹配和分类包括：1-NN，k-NN和SVM。将上面提到的各种人脸检测，特征提取和特征匹配的方法有机的结合，就可以得到目前通用的人脸识别技术。
在智慧城市，安防和公安技术侦察中，人脸识别是常用的人工智能技术手段。人脸识别技术需要高分辨率视频，而在高清照片上全画面范围的进行人脸检测需要消耗大量的时间和计算资源。
一般来讲，在摄像头对着的方向，有些区域距离比较远，人脸很小，价值比较低，有些区域距离比较近，人脸比较大，价值比较高。传统的做法是在画面上人工划定一个区域，在这个区域进行人脸检测和识别。但是如果云台转动，或者调焦，整个画面会发生变化，需要重新划定区域。
申请日为2016年8月19日申请号为201610694192.X的发明专利申请公开了《一种人脸跟踪方法及装置》，该申请利用人脸感兴趣区域判断每一图像帧的人脸五官位置，当图像帧中出现多个人脸，则依次对每张人脸进行人脸检测生成人脸感兴趣区域。该申请中所记载的技术方案适用于在移动端上进行实时人脸跟踪，其在某一时间段内，拍摄的对象及其数量是固定的，而且在进行人脸跟踪时，需要对每帧图像进行所有人脸检测。若将该方法应用于智慧城市，安防和公安技术侦察中，由于高清摄像头的拍摄区域较大，不同时间段内视频采集区域内人脸数量变化较大，而当某一时间段人脸过多时，会带来严重的数据处理负荷，需要消耗大量的时间和计算资源，因此需要一种新的检测方法，实现在高清视频上快速捕获有价值的人脸。
发明内容
针对现有技术的问题，本发明提出一种自动学习划定人脸检测兴趣区域的方法，每经过一定的时间间隔进行一次全画面检测，而实时的人脸检测，只在高清ROI区域(人脸检测兴趣区域)进行，这样既能保证所有高质量的人脸被捕获，又能节省计算资源和计算时间。
本发明为解决上述技术问题所采用的技术方案是：
本发明提供一种自动学习划定人脸检测兴趣区域的方法，包括以下步骤；
S1，对采集视频图像帧序列中的当前帧图像进行全画面人脸检测，得到帧图像中所有人脸对应的最小外接矩形，所述最小外接矩形的位置参数为人脸的中心坐标；
S2，根据步骤S1中得到的多个最小外接矩形的位置以及大小，判断图像采集区域的人脸集中度，并以此生成人脸检测感兴趣区域；
S3，对后续的视频图像帧序列中的每一帧图像，针对步骤S2中生成的感兴趣区域进行人脸检测。
所述步骤S2具体包括以下子步骤：
S21，设置淘汰阈值，判断步骤S1中得到的所有最小外接矩形的面积是否小于淘汰阈值，保留面积大于淘汰阈值的最小外接矩形；
S22，以步骤S21中保留的最小外接矩形的位置坐标为中心，按照一定比例，扩大每个最小外接矩形的边长，生成包含单张人脸的感兴趣区域；
S23，将相互有交叉的包含单张人脸的感兴趣区域合并，并利用最小外包矩形将合并区域进行框选，所述最小外包矩形即为包含多张人脸的人脸检测感兴趣区域。
优选的，步骤S2所述人脸检测感兴趣区域由包含多张人脸的人脸检测感兴趣区域和与其他区域没有交叉的包含单张人脸的感兴趣区域组成。
优选的，步骤S1具体为，对采集到的视频帧图像，每隔指定的时间间隔，进行一次帧图像提取，并对提取的帧图像进行全画面人脸检测，得到帧图像中所有人脸所处的最小外接矩形的位置和大小。针对时间间隔内的视频帧图像，进行人脸检测时，仅针对上一时间间隔点生成的多块兴趣区域进行人脸检测。
本发明的有益效果是：
本发明可以通过自动调整学习来划定人脸检测的兴趣区域，无需实时的针对高清视频图像进行全画面人脸检测，仅对兴趣区域内的人脸进行检测，大大节省了计算资源和计算时间，而且定期的进行全画面人脸检测，有效的避免了由于云台转动或调焦导致整个画面发生变化而对感兴趣区域的影响。
附图说明
图1为方法流程图；
图2为人脸感兴趣区域划定示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步说明。
如图1所示，本发明提供一种自动学习划定人脸检测兴趣区域的方法，包括以下步骤：
S1，对采集到的视频帧图像，每隔指定的时间间隔，例如每5分钟进行一次帧图像提取，并对提取的帧图像进行全画面人脸检测，得到帧图像中所有人脸所处的最小外接矩形的位置和大小(x,y,H,W)，(x,y)为人脸的中心坐标，(H,W)为最小外接矩形的高度和宽度。
定期的进行全画面人脸检测，有效的避免了由于云台转动或调焦导致整个画面发生变化而对感兴趣区域的影响。
S2，根据步骤S1中得到的多个最小外接矩形的位置以及大小，判断图像采集区域的人脸集中度，并以此生成人脸检测感兴趣区域；
具体如图2所示，步骤S2包括以下子步骤：
S21，设置淘汰阈值，判断步骤S1中得到的所有最小外接矩形的面积是否小于淘汰阈值，即判断H*W与淘汰阈值的大小，保留面积不小于淘汰阈值的最小外接矩形；
S22，以步骤S21中保留的最小外接矩形的位置坐标为中心，按照一定比例，例如，按照10倍放大，扩大每个最小外接矩形的边长，生成包含单张人脸的感兴趣区域；
S23，将相互有交叉的包含单张人脸的感兴趣区域合并，并利用最小外包矩形将合并区域进行框选，所述最小外包矩形即为包含多张人脸的人脸检测感兴趣区域。
所述人脸检测感兴趣区域由包含多张人脸的人脸检测感兴趣区域和与其他区域没有交叉的包含单张人脸的感兴趣区域组成。
S3，对下一时间间隔点之前的后续视频图像帧序列中的每一帧图像，针对步骤S2中生成的感兴趣区域进行人脸检测。
理想来讲，我们肯定希望在高清全画面进行人脸检测，但是这消耗大量的资源和时间，所以我们选择过一段时间进行一次全画面检测，例如每5分钟进行一次全画面检测。而实时的人脸检测，只在高清ROI区域(人脸检测兴趣区域)进行，这样既能保证所有高质量的人脸被捕获，又能节省计算资源和计算时间。
根据每次全画面检测到的人脸的位置和人脸的大小，生成新的ROI(人脸检测兴趣区域)，供实时人脸检测使用。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (6)

1.一种自动学习划定人脸检测兴趣区域的方法，其特征在于：包括以下步骤：
S1，对采集视频图像帧序列中的当前帧图像进行全画面人脸检测，得到帧图像中所有人脸对应的最小外接矩形；
S2，根据步骤S1中得到的多个最小外接矩形的位置以及大小，判断图像采集区域的人脸集中度，并以此生成人脸检测感兴趣区域；
S3，对后续的视频图像帧序列中的每一帧图像，针对步骤S2中生成的感兴趣区域进行人脸检测。
2.根据权利要求1所述的一种自动学习划定人脸检测兴趣区域的方法，其特征在于：步骤S1中所述最小外接矩形的位置参数为人脸的中心坐标。
3.根据权利要求2所述的一种自动学习划定人脸检测兴趣区域的方法，其特征在于：步骤S2具体包括以下子步骤：
S21，设置淘汰阈值，判断步骤S1中得到的所有最小外接矩形的面积是否小于淘汰阈值，保留面积大于淘汰阈值的最小外接矩形；
S22，以步骤S21中保留的最小外接矩形的位置坐标为中心，按照一定比例，扩大每个最小外接矩形的边长，生成包含单张人脸的感兴趣区域；
S23，将相互有交叉的包含单张人脸的感兴趣区域合并，并利用最小外包矩形将合并区域进行框选，所述最小外包矩形即为包含多张人脸的人脸检测感兴趣区域。
4.根据权利要求3所述的一种自动学习划定人脸检测兴趣区域的方法，其特征在于：步骤S2所述人脸检测感兴趣区域由包含多张人脸的人脸检测感兴趣区域和与其他区域没有交叉的包含单张人脸的感兴趣区域组成。
5.根据权利要求4所述的一种自动学习划定人脸检测兴趣区域的方法，其特征在于：步骤S1具体为，对采集到的视频帧图像，每隔指定的时间间隔，进行一次帧图像提取，并对提取的帧图像进行全画面人脸检测，得到帧图像中所有人脸所处的最小外接矩形的位置和大小。
6.根据权利要求5所述的一种自动学习划定人脸检测兴趣区域的方法，其特征在于：针对时间间隔内的视频帧图像，进行人脸检测时，仅针对上一时间间隔点生成的多块兴趣区域进行人脸检测。
CN201710363052.9A 2017-05-22 2017-05-22 一种自动学习划定人脸检测兴趣区域的方法 Pending CN107273810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710363052.9A CN107273810A (zh) 2017-05-22 2017-05-22 一种自动学习划定人脸检测兴趣区域的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710363052.9A CN107273810A (zh) 2017-05-22 2017-05-22 一种自动学习划定人脸检测兴趣区域的方法

Publications (1)

Publication Number Publication Date
CN107273810A true CN107273810A (zh) 2017-10-20

Family

ID=60065193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710363052.9A Pending CN107273810A (zh) 2017-05-22 2017-05-22 一种自动学习划定人脸检测兴趣区域的方法

Country Status (1)

Country Link
CN (1) CN107273810A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229368A (zh) * 2017-12-28 2018-06-29 浙江大华技术股份有限公司 一种视频显示方法及装置
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及系统
CN111881905A (zh) * 2019-05-02 2020-11-03 纬创资通股份有限公司 调整感兴趣区域的方法与其运算装置
CN112183227A (zh) * 2020-09-08 2021-01-05 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477616A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 人脸检测与追踪方法
CN103218600A (zh) * 2013-03-29 2013-07-24 四川长虹电器股份有限公司 一种实时人脸检测算法
US20130208784A1 (en) * 2012-02-10 2013-08-15 Google Inc. Adaptive region of interest
CN106326853A (zh) * 2016-08-19 2017-01-11 厦门美图之家科技有限公司 一种人脸跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477616A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 人脸检测与追踪方法
US20130208784A1 (en) * 2012-02-10 2013-08-15 Google Inc. Adaptive region of interest
CN103218600A (zh) * 2013-03-29 2013-07-24 四川长虹电器股份有限公司 一种实时人脸检测算法
CN106326853A (zh) * 2016-08-19 2017-01-11 厦门美图之家科技有限公司 一种人脸跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶志强: "《社交电视 系统关键支撑技术与应用案例 system key supporting technology and application》", 31 January 2016 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229368A (zh) * 2017-12-28 2018-06-29 浙江大华技术股份有限公司 一种视频显示方法及装置
CN108229368B (zh) * 2017-12-28 2020-05-26 浙江大华技术股份有限公司 一种视频显示方法及装置
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN108734107B (zh) * 2018-04-24 2021-11-05 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及系统
CN109740537B (zh) * 2019-01-03 2020-09-15 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及系统
CN111881905A (zh) * 2019-05-02 2020-11-03 纬创资通股份有限公司 调整感兴趣区域的方法与其运算装置
CN111881905B (zh) * 2019-05-02 2024-02-09 纬创资通股份有限公司 调整感兴趣区域的方法与其运算装置
CN112183227A (zh) * 2020-09-08 2021-01-05 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备
CN112183227B (zh) * 2020-09-08 2023-12-22 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备

Similar Documents

Publication Publication Date Title
US20200364443A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
Radman et al. Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut
CN107273810A (zh) 一种自动学习划定人脸检测兴趣区域的方法
Liu et al. Enhancing person re-identification by integrating gait biometric
CN104598897B (zh) 视觉传感器、图像处理方法和装置、视觉交互设备
Avgerinakis et al. Recognition of activities of daily living for smart home environments
Fan et al. Fusing dynamic deep learned features and handcrafted features for facial expression recognition
CN108960076B (zh) 基于卷积神经网络的耳朵识别与跟踪方法
Kalas Real time face detection and tracking using OpenCV
Loke et al. Indian sign language converter system using an android app
CN104268520A (zh) 一种基于深度运动轨迹的人体动作识别方法
Min et al. Gait recognition using deep convolutional features
Yingxin et al. A robust hand gesture recognition method via convolutional neural network
Lage et al. Low-cost IoT surveillance system using hardware-acceleration and convolutional neural networks
CN110909612A (zh) 一种基于深度神经网络与机器视觉的步态识别方法及系统
Wang et al. Fusion of multiple channel features for person re-identification
Chen et al. Enhancing the detection rate of inclined faces
Sriram et al. Human detection and tracking in video surveillance system
Reddy et al. Facial Recognition Enhancement Using Deep Learning Techniques
Mustafah et al. Real-time face detection and tracking for high resolution smart camera system
Li et al. Application of thermal infrared imagery in human action recognition
Liu et al. Video classification of farming activities with motion-adaptive feature sampling
Zhang et al. Face detection system based on video stream
Wang et al. Adaptive visual tracking based on discriminative feature selection for mobile robot
Jia et al. Research of improved algorithm based on LBP for face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020

RJ01 Rejection of invention patent application after publication