CN109543648A - 一种过车图片中人脸提取方法 - Google Patents
一种过车图片中人脸提取方法 Download PDFInfo
- Publication number
- CN109543648A CN109543648A CN201811459476.6A CN201811459476A CN109543648A CN 109543648 A CN109543648 A CN 109543648A CN 201811459476 A CN201811459476 A CN 201811459476A CN 109543648 A CN109543648 A CN 109543648A
- Authority
- CN
- China
- Prior art keywords
- region
- grid
- human face
- face
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种过车图片中人脸提取方法,其可自动分析过车图片,通过对车辆位置区域进行一次网格划分就可以快速找到人脸区域,提取人脸信息交付后续步骤进行分析,有效的提高了整个图像识别的计算效率。其包括以下步骤:S1:通过现有交通监控设备获取过程图片;S2:通过图像识别技术定位图片中的车辆区域;S3:提取准确的人脸区域的位置信息,并且通过网格计算出准确的人脸区域;S4:把准确的人脸区域的位置信息交付到后续步骤中,通过图像识别技术和人工智能技术进行人脸识别的流程。
Description
技术领域
本发明涉及智能交通控制技术领域,具体为一种过车图片中人脸提取方法。
背景技术
现代的交通控制中,经常需要通过卡口设备抓取的图片识别违法车辆、以及驾车的人,比如:酒后驾驶、吊销驾驶证后仍在路面行驶、疲劳驾驶等和驾驶人相关的违法行为,不但需要识别出违法车辆,还需要确认具体的驾驶人。交警部门从卡口等监控设备中提取嫌疑车辆的图片后,通过图像识别技术进行人车牌号码和人脸识别,现有的人脸识别技术,对于人脸区域提取的方法中大多利用滑动窗口的技术,采取改变窗口大小的方式,对区域做重复的检测,速度比较慢,所以导致整个识别过程相对更耗时一些;当需要大量处理图片数据进行人脸识别的时候,图像识别的速度就成为现有技术的一个瓶颈。
发明内容
为了解决现有技术中处理大量图片数据时速度过慢的问题,本发明提供一种过车图片中人脸提取方法,其可自动分析过车图片,通过对车辆位置区域进行一次网格划分就可以快速找到人脸区域,提取人脸信息交付后续步骤进行分析,有效的提高了整个图像识别的计算效率。
本发明的技术方案是这样的:一种过车图片中人脸提取方法,其包括以下步骤:
S1:通过现有交通监控设备获取过程图片;
S2:通过图像识别技术定位图片中的车辆区域;
S3:提取准确的人脸区域的位置信息;
S4:把所述准确的人脸区域的位置信息交付到后续步骤中,通过图像识别技术和人工智能技术进行人脸识别的流程;
其特征在于:
所述S3按照以下步骤进行:
S3-1:将检测到的所述车辆区域调整到预设大小;
S3-2:将调整后的所述车辆位置区域进行划分,划分为S*S个网格;
S3-3:对每个所述网格进行特征的提取和计算,得到人脸中心点所在的网格和其含有人脸的概率;
S3-4:针对每个所述网格的预测得到的所有的人脸区域,分别根据区域之间的重叠度关系,采用非极大值抑制的原理进行区域的筛选和合并,获得一组预测的人脸区域;针对这组所述预测的人脸区域,若每一个所述预测的人脸区域的预测结果的置信度得分大于预设的置信度阈值时,即认为该所述预测的人脸区域为准确的人脸区域;若所述预测的人脸区域的预测结果的置信度得分小于所述置信度阈值时,抛弃所述预测的人脸区域的数据信息。
其进一步特征在于:
步骤S3-3中,通过训练好的YOLO模型对所述网格进行特征提取和计算,其步骤包括:
S3-3-1:把步骤S3-2中经过划分的S*S个所述网格输入到所述训练好的YOLO模型,对每个所述网格做人脸中心点检测;
S3-3-2:根据对车内人脸空间和尺度上的复杂度统计结果,设置每个所述网格预测可能含有人脸的区域数目B;
S3-3-3:根据每个所述网格内检测到的人脸中心点,针对每个所述网格预测B个5维度的向量,所述向量为可能含有人脸区域的位置信息,和可能含有人脸区域的置信度,共得到S*S*B*5个向量;
步骤S3-3-3中输出的针对每个所述网格的向量包括:
中心点坐标的横坐标Xi和纵坐标Yi,预测的人脸的可能区域在图片中的宽wi和高hi,以及可能存在人脸的概率scorei;
步骤S3-4中,针对每个所述网格的所有所述人脸区域,采用非极大值抑制的方式进行筛选、合并、输出,其包括以下步骤:
S3-4-1:经过所述训练好的YOLO模型对所述网格进行分类提取后,每个所述网格输出的B个5维度的向量中,每个5维度的向量记作一个区域框,即每个所述网格对应B个所述区域框;
把所有的所述区域框按照scorei排序,选中最高的scorei以及对应的所述区域框;
S3-4-2:遍历其余的所述区域框,如果和当前最高的scorei的所述区域框的重叠度大于预设的重叠阈值,则删除此区域框;否则保留此区域框;
S3-4-3:从未处理的其余区域框中继续选取一个最高的scorei的所述区域框,重复步骤S3-4-2和S3-4-3,同时确认参与运算的区域框的个数,如果所有的B个区域框都已经参与过计算,或者虽然参与计算的区域框个数小于B、但保留的所述区域框个数已经达到了最小置信度,此时保留的所有人脸区域即为所述预测的人脸区域;
S3-4-4:把所述预测的人脸区域的scores与所述置信度阈值进行比较,当scores大于所述置信度阈值的时候,把所述预测的人脸区域作为所述准确的人脸区域进行输出,结束本次计算;否则丢弃所述预测的人脸区的数据,结束本次计算;
步骤S3-4-2中,所述区域框之间的重叠度的计算用交并比计算,计算公式如下:
IOU = (A∩C)/(A∪C),
其中IOU表示交并比,A和C表示参与计算的两个区域框。
本发明提供的一种过车图片中人脸提取方法,经过车辆区域的划分后,再经过一次计算就可检出所有可能的人脸中心点,预测出所有的人脸区域,无需反复比对,有效的提高了计算效率,进而提高了人脸识别过程的计算效率;特别是针对大数据计算的时候,有显著的效果。
附图说明
图1为本方法的流程示意图;
图2为对每个所述网格的人脸区域进行计算的流程示意图。
具体实施方式
如图1~图2所示,本发明一种过车图片中人脸提取方法,其包括以下步骤:
S1:通过现有交通监控设备获取过程图片;
S2:通过图像识别技术定位图片中的车辆区域;
S3:提取准确的人脸区域的位置信息;
S4:把所述准确的人脸区域的位置信息交付到后续步骤中,通过图像识别技术和人工智能技术进行人脸识别的流程;
其特征在于:
所述S3按照以下步骤进行:
S3-1:将检测到的所述车辆区域调整到预设大小;
S3-2:将调整后的所述车辆位置区域进行划分,划分为S*S个网格;
S3-3:对每个所述网格进行特征的提取和计算,得到人脸中心点所在的网格和其含有人脸的概率;
S3-4:针对每个所述网格的预测得到的所有的人脸区域,分别根据区域之间的重叠度关系,采用非极大值抑制的原理进行区域的筛选和合并,获得一组预测的人脸区域;针对这组所述预测的人脸区域,若每一个所述预测的人脸区域的预测结果的置信度得分大于预设的置信度阈值时,即认为该所述预测的人脸区域为准确的人脸区域;若所述预测的人脸区域的预测结果的置信度得分小于所述置信度阈值时,抛弃所述预测的人脸区域的数据信息。
步骤S3-3中,通过训练好的YOLO模型对网格进行特征提取和计算,其步骤包括:
S3-3-1:把步骤S3-2中经过划分的S*S个网格输入到训练好的YOLO模型,对每个网格做人脸中心点检测;
S3-3-2:根据对车内人脸空间和尺度上的复杂度统计结果,设置每个网格预测可能含有人脸的区域数目B;
S3-3-3:根据每个网格内检测到的人脸中心点,针对每个网格预测B个5维度的向量,向量为可能含有人脸区域的位置信息,和可能含有人脸区域的置信度,共得到S*S*B*5个向量;5个维度的向量包括:
中心点坐标的横坐标Xi和纵坐标Yi,预测的人脸的可能区域在图片中的宽wi和高hi,以及可能存在人脸的概率scorei。
如图2所示,步骤S3-4中,针对每个网格的所有人脸区域,采用非极大值抑制的方式进行筛选、合并、输出,其包括以下步骤:
S3-4-1:经过训练好的YOLO模型对网格进行分类提取后,每个网格输出的B个5维度的向量中,每个5维度的向量记作一个区域框,即每个网格对应B个区域框;
把所有的区域框按照scorei排序,选中最高的scorei以及对应的区域框;
S3-4-2:遍历其余的区域框,如果和当前最高的scorei的区域框的重叠度大于预设的重叠阈值,则删除此区域框;否则保留此区域框;实际运算中重叠阈值取值为0.5;
区域框之间的重叠度的计算用交并比计算,计算公式如下:
IOU = (A∩C)/(A∪C),
其中IOU表示交并比,
A和C表示参与计算的两个区域框;
S3-4-3:从未处理的其余区域框中继续选取一个最高的scorei的区域框,重复步骤S3-4-2和S3-4-3,同时确认参与运算的区域框的个数,如果所有的B个区域框都已经参与过计算,或者虽然参与计算的区域框个数小于B、但保留的区域框个数已经达到了最小置信度,此时所保留的人脸区域即为预测的人脸区域;设置最小置信度来监控参与计算的网格包含人脸区域的可能性,车内人脸的个数相对比较固定,如果超过一定区域预测数量之后的置信度,或超过最小置信度就认为置信度很低,没必要再计算,在实施例中,最小置信度设置为20;
S3-4-4:把预测的人脸区域的scores与置信度阈值进行比较,当scores大于置信度阈值的时候,把预测的人脸区域作为准确的人脸区域进行输出,结束本次计算;否则丢弃预测的人脸区的数据,结束本次计算。
由于车内人脸大小相对固定,从200W单车道到700W三车道拍出的过车图片来看,人脸之间的像素差相对较小,有针对性的设计了窗口划分的大小,即S*S中的S大小,通常情况下S取7;因为车内的人脸方向也相对一致,人脸的角度(基本都是在正脸,旋转角度小,上下左右角度基本可以控制在45°),不存在躺倒的人,因此适量减少了B的大小,即输出预测的个数;通过对S和B的控制,用以降低整体计算量,确保提高整体的计算效率。
2010年发布的完全公开的非约束环境人脸检测数据库FDDB,FDDB总共2845张图像,5171张,人脸非约束环境,人脸的难度较大,有面部表情,双下巴,光照变化,穿戴,夸张发型,遮挡等难点;图像分辨率较小,所有图像的较长边缩放到450,也就是说所有图像都小于450*450,最小标注人脸20*20,包括彩色和灰度两类图像;每张图像的人脸数量偏少,平均1.8人脸/图,绝大多数图像都只有一人脸。基于FDDB,我们对本算法与现有的几个算法进行了比对实验,结果入表1所示,
参与实验的现有算法为:
CascadeCNN(Cascade Convolutional Networks)、MTCNN(Multi-task CascadedConvolutional Networks)、FaceBoxes、SSH (Single Stage Headless Face Detector )
表1 与现有算法的比对结果
由上表1结果可见,准确率相差不大,本发明的优点在于速度快,是通过窗口滑动的人脸检测方式(CNNCascade,MTCNN这类的)的2倍多。
因为本发明中的算法模型是基于YOLO进行设计的,所以使用来源于实际的交通监控卡口设备获取的真是图片作为实验数据,把本发明与原始的YOLO算法模型进行比对,确认本算法的效果。所用数据集含有近9471张图片,其中1个人脸的7438张,2个人脸的1903张,3个人脸的130张。比对结果入下表2所示:
表2 基于真实数据的比对结果
由上表2可知,本发明的准确率和速度都明显高于原始的YOLO-face算法。
Claims (5)
1.一种过车图片中人脸提取方法,其包括以下步骤:
S1:通过现有交通监控设备获取过程图片;
S2:通过图像识别技术定位图片中的车辆区域;
S3:提取准确的人脸区域的位置信息;
S4:把所述准确的人脸区域的位置信息交付到后续步骤中,通过图像识别技术和人工智能技术进行人脸识别的流程;
其特征在于:
所述S3按照以下步骤进行:
S3-1:将检测到的所述车辆区域调整到预设大小;
S3-2:将调整后的所述车辆位置区域进行划分,划分为S*S个网格;
S3-3:对每个所述网格进行特征的提取和计算,得到人脸中心点所在的网格和其含有人脸的概率;
S3-4:针对每个所述网格的预测得到的所有的人脸区域,分别根据区域之间的重叠度关系,采用非极大值抑制的原理进行区域的筛选和合并,获得一组预测的人脸区域;针对这组所述预测的人脸区域,若每一个所述预测的人脸区域的预测结果的置信度得分大于预设的置信度阈值时,即认为该所述预测的人脸区域为准确的人脸区域;若所述预测的人脸区域的预测结果的置信度得分小于所述置信度阈值时,抛弃所述预测的人脸区域的数据信息。
2.根据权利要求1所述一种过车图片中人脸提取方法,其特征在于:步骤S3-3中,通过训练好的YOLO模型对所述网格进行特征提取和计算,其步骤包括:
S3-3-1:把步骤S3-2中经过划分的S*S个所述网格输入到所述训练好的YOLO模型,对每个所述网格做人脸中心点检测;
S3-3-2:根据对车内人脸空间和尺度上的复杂度统计结果,设置每个所述网格预测可能含有人脸的区域数目B;
S3-3-3:根据每个所述网格内检测到的人脸中心点,针对每个所述网格预测B个5维度的向量,所述向量为可能含有人脸区域的位置信息,和可能含有人脸区域的置信度,共得到S*S*B*5个向量。
3.根据权利要求2所述一种过车图片中人脸提取方法,其特征在于:步骤S3-3-3中输出的针对每个所述网格的向量包括:
中心点坐标的横坐标Xi和纵坐标Yi,预测的人脸的可能区域在图片中的宽wi和高hi ,以及可能存在人脸的概率scorei。
4.根据权利要求1所述一种过车图片中人脸提取方法,其特征在于:步骤S3-4中,针对每个所述网格的所有所述人脸区域,采用非极大值抑制的方式进行筛选、合并、输出,其包括以下步骤:
S3-4-1:经过所述训练好的YOLO模型对所述网格进行分类提取后,每个所述网格输出的B个5维度的向量中,每个5维度的向量记作一个区域框,即每个所述网格对应B个所述区域框;
把所有的所述区域框按照scorei排序,选中最高的scorei以及对应的所述区域框;
S3-4-2:遍历其余的所述区域框,如果和当前最高的scorei的所述区域框的重叠度大于预设的重叠阈值,则删除此区域框;否则保留此区域框;
S3-4-3:从未处理的其余区域框中继续选取一个最高的scorei的所述区域框,重复步骤S3-4-2和S3-4-3,同时确认参与运算的区域框的个数,如果所有的B个区域框都已经参与过计算,或者虽然参与计算的区域框个数小于B、但保留的所述区域框个数已经达到了最小置信度,此时保留的所有人脸区域即为所述预测的人脸区域;
S3-4-4:把所述预测的人脸区域的scores与所述置信度阈值进行比较,当scores大于所述置信度阈值的时候,把所述预测的人脸区域作为所述准确的人脸区域进行输出,结束本次计算;否则丢弃所述预测的人脸区的数据,结束本次计算。
5.根据权利要求4所述一种过车图片中人脸提取方法,其特征在于:步骤S3-4-2中,所述区域框之间的重叠度的计算用交并比计算,计算公式如下:
IOU = (A∩C)/(A∪C),
其中IOU表示交并比,A和C表示参与计算的两个区域框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811459476.6A CN109543648B (zh) | 2018-11-30 | 2018-11-30 | 一种过车图片中人脸提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811459476.6A CN109543648B (zh) | 2018-11-30 | 2018-11-30 | 一种过车图片中人脸提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109543648A true CN109543648A (zh) | 2019-03-29 |
CN109543648B CN109543648B (zh) | 2022-06-17 |
Family
ID=65852074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811459476.6A Active CN109543648B (zh) | 2018-11-30 | 2018-11-30 | 一种过车图片中人脸提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109543648B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222673A (zh) * | 2019-06-21 | 2019-09-10 | 杭州宇泛智能科技有限公司 | 一种基于头部检测的客流统计方法 |
CN110298296A (zh) * | 2019-06-26 | 2019-10-01 | 北京澎思智能科技有限公司 | 应用于边缘计算设备的人脸识别方法 |
CN112001219A (zh) * | 2020-06-19 | 2020-11-27 | 国家电网有限公司技术学院分公司 | 一种多角度多人脸识别考勤方法及系统 |
CN112131935A (zh) * | 2020-08-13 | 2020-12-25 | 浙江大华技术股份有限公司 | 一种机动车车厢载人识别方法、装置和计算机设备 |
CN113888890A (zh) * | 2021-09-29 | 2022-01-04 | 四川奇石缘科技股份有限公司 | 高速公路防事故电子警示系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326903A (zh) * | 2016-08-31 | 2017-01-11 | 中国科学院空间应用工程与技术中心 | 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法 |
CN107871134A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
CN108875624A (zh) * | 2018-06-13 | 2018-11-23 | 华南理工大学 | 基于多尺度的级联稠密连接神经网络的人脸检测方法 |
-
2018
- 2018-11-30 CN CN201811459476.6A patent/CN109543648B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326903A (zh) * | 2016-08-31 | 2017-01-11 | 中国科学院空间应用工程与技术中心 | 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法 |
CN107871134A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
CN108875624A (zh) * | 2018-06-13 | 2018-11-23 | 华南理工大学 | 基于多尺度的级联稠密连接神经网络的人脸检测方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222673A (zh) * | 2019-06-21 | 2019-09-10 | 杭州宇泛智能科技有限公司 | 一种基于头部检测的客流统计方法 |
CN110222673B (zh) * | 2019-06-21 | 2021-04-06 | 杭州宇泛智能科技有限公司 | 一种基于头部检测的客流统计方法 |
CN110298296A (zh) * | 2019-06-26 | 2019-10-01 | 北京澎思智能科技有限公司 | 应用于边缘计算设备的人脸识别方法 |
CN112001219A (zh) * | 2020-06-19 | 2020-11-27 | 国家电网有限公司技术学院分公司 | 一种多角度多人脸识别考勤方法及系统 |
CN112001219B (zh) * | 2020-06-19 | 2024-02-09 | 国家电网有限公司技术学院分公司 | 一种多角度多人脸识别考勤方法及系统 |
CN112131935A (zh) * | 2020-08-13 | 2020-12-25 | 浙江大华技术股份有限公司 | 一种机动车车厢载人识别方法、装置和计算机设备 |
CN113888890A (zh) * | 2021-09-29 | 2022-01-04 | 四川奇石缘科技股份有限公司 | 高速公路防事故电子警示系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109543648B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543648A (zh) | 一种过车图片中人脸提取方法 | |
JP2007128513A (ja) | シーン解析 | |
CN104361332B (zh) | 一种用于疲劳驾驶检测的人脸眼睛区域定位方法 | |
Cheng et al. | Intelligent highway traffic surveillance with self-diagnosis abilities | |
CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
WO2011097795A1 (zh) | 人流量统计的方法及系统 | |
Huang et al. | Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems | |
CN106919902B (zh) | 一种基于cnn的车辆识别和轨迹追踪方法 | |
WO2019119515A1 (zh) | 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路 | |
Nodado et al. | Intelligent traffic light system using computer vision with android monitoring and control | |
Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
Meng et al. | Smart traffic light control system using image processing | |
Jemai et al. | A novel approach for drowsy driver detection using eyes recognition system based on wavelet network | |
CN106951820B (zh) | 基于环形模板和椭圆拟合的客流统计方法 | |
CN109816022A (zh) | 一种基于三支决策与cnn的图像识别方法 | |
Hussein et al. | Improved driver drowsiness detection model using relevant eye image’s features | |
Wang et al. | Wood surface defect detection based on adaboost and CNN | |
Batapati et al. | Video analysis for traffic anomaly detection using support vector machines | |
KR101851823B1 (ko) | 영상 이미지에서 신장 대비 머리 높이의 비를 이용하여 어린이와 성인을 구분하는 방법 | |
Chong et al. | Visual based fall detection with reduced complexity horprasert segmentation using superpixel | |
Kulkarni et al. | Managing crowd density and social distancing | |
CN112580633A (zh) | 一种公共交通客流统计装置及方法 | |
CN112200010A (zh) | 一种社区监控场景下的人脸采集质量评估策略 | |
Zhang et al. | Study on vision monitoring techniques of driver's face orientation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |