CN109215150A - 人脸点名与计数方法及其系统 - Google Patents
人脸点名与计数方法及其系统 Download PDFInfo
- Publication number
- CN109215150A CN109215150A CN201710524397.8A CN201710524397A CN109215150A CN 109215150 A CN109215150 A CN 109215150A CN 201710524397 A CN201710524397 A CN 201710524397A CN 109215150 A CN109215150 A CN 109215150A
- Authority
- CN
- China
- Prior art keywords
- face
- roll
- counting
- camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 230000001815 facial effect Effects 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能和自动控制领域，公开了一种人脸点名与计数方法及其系统。本发明中，该人脸点名与计数方法包括以下步骤：利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；利用普通相机抓拍人脸图像，得到人脸图像序列；对人脸图像序列进行人脸检测与识别；关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。通过深度相机与人脸抓拍相机，将人员计数与人脸图像关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。
Description
技术领域
本发明涉及人工智能和自动控制领域，特别涉及一种人脸点名与计数技术。
背景技术
作为计算机视觉领域的一个典型应用，在特定场所(例如公安监管、监狱等)的人员点名计数，以及在公共室内场所(例如大型文体场馆入口等)的人数统计在公共安全、人流量商业数据统计分析等许多方面有着重要的应用价值。
现有技术中，在上述应用场景中的人数统计，通常只能实现大致的人数统计，不能给出精确的人数统计结果，更不能给出被计数人员的人脸信息，在在准确性，实时性等方面都有待提高。
因此，目前亟需一种满足精确度和实时性的人脸点名及计数技术，从而提高公共室内场所人数统计方法的实时性、准确性，并能给出被计数人员的人脸信息。
发明内容
本发明的目的在于提供一种人脸点名与计数方法及其系统，不但能够给出精确的人数统计结果，还能给出被计数人员的人脸信息，符合更高标准的安保要求。
为解决上述技术问题，本发明的实施方式公开了一种人脸点名与计数方法，包括以下步骤：
利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；
利用普通相机抓拍人脸图像，得到人脸图像序列；
对人脸图像序列进行人脸检测与识别；
关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。
本发明的实施方式还公开了一种人脸点名与计数系统，包括：
深度相机、普通相机、人脸检测单元和点名与计数单元；
深度相机与普通相机连接；
普通相机与人脸检测单元连接；
人脸检测单元和深度相机分别与点名与计数单元连接；
深度相机，用于采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；
普通相机，用于抓拍人脸图像，得到人脸图像序列；
人脸检测单元，用于对普通相机所抓拍的人脸图像序列进行人脸检测与识别；
点名与计数单元，用于关联人脸检测单元检测到的人脸到深度相机的该次计数，得到进出人数信息和对应的人脸信息。
本发明实施方式与现有技术相比，主要区别及其效果在于：
通过结合使用深度相机与人脸抓拍相机，将人员计数与人脸图像关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。
进一步地，通过结合RGB-D信息和RGB信息，进行多信息融合判断，进行人脸抓拍、头肩检测与比对等智能视频分析，能达到更好的人员点名与人数统计效果。
进一步地，深度相机较普通的可见光相机能更准确地还原目标的3D信息，对头肩检测的效果更好，计数更准确。
进一步地，检测到人脸后，与给定的名单，即需要点名的人脸样本库进行比对，判断是否是名单里的人员，适用于监管、监狱点名以及人员搜查等场景。
进一步地，抓拍人脸图像的过程中，在人脸过暗时启用补光灯进行补光，以保证人脸图像的清晰可靠。
进一步地，通过安装在不同高度的双相机进行人脸抓拍，能够解决不同身高的人的人脸抓拍问题。
附图说明
图1是本发明第一实施方式中一种人脸点名与计数方法的流程示意图；
图2是本发明第一实施方式中一种人脸点名与计数方法的控制流程图；
图3是本发明第二实施方式中一种人脸点名与计数系统的结构示意框图；
图4是本发明第二实施方式中一种人脸点名与计数系统的结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种人脸点名与计数方法。图1是该人脸点名与计数方法的流程示意图。
具体地说，如图1所示，该人脸点名与计数方法包括以下步骤：
在步骤101中，利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数。
深度相机较普通的可见光相机能更准确地还原目标的3D信息，对头肩检测的效果更好，计数更准确。
优选地，在采集到深度图像后，还可以对深度图像进行噪声过滤与增强，包括以下子步骤：
利用区域生长在深度图像边缘和该深度图像对应的彩色图像边缘提取错误像素所在的区域，用对应的距离图像来指导区域生长的方向；
利用加权模式滤波算法填补空洞；
利用自适应联合双边滤波器去除噪声。
通过对深度图像进行噪声过滤与增强，能够提高深度图像的质量，提高计数和头肩检测的精确度和实时性。
此后进入步骤102，利用普通相机抓拍人脸图像，得到人脸图像序列。
需要说明的是，在本发明的各实施方式中，抓拍人脸图像可以有以下两种实现方式：
第一种，抓拍相机(即普通相机)按照一定的时间间隔不停地抓拍；
第二种，深度相机检测到有人到达时，发送触发信号给抓拍相机，触发抓拍相机开始抓拍人脸图像。
在本实施方式中，优选地，用于人脸图像抓拍的普通相机的数目为两个，分别安装在不同的高度，能够解决不同身高的人的人脸抓拍问题。
更进一步地，优选地，抓拍人脸图像的过程中，在人脸过暗时启用补光灯进行补光，以保证人脸图像的清晰可靠。
此后进入步骤103，对人脸图像序列进行人脸检测与识别。
具体地说，对抓拍相机获取的人脸图像序列进行人脸检测与识别，主要包括以下步骤：
(1)对人脸图像序列进行基于深度学习的人脸检测，利用大数据优势，具有更好的检测效果。
基于深度学习的人脸检测方法效果要好于传统的人脸检测方法(例如AdaBoost等)。基于深度学习的人脸检测方法是通过大量的人脸样本(大数据)来训练深度神经网络，通常需要GPU(图形处理单元)来支持。训练好深度神经网络以后，在算法服务器部署深度神经网络用于人脸检测。基于深度学习的人脸检测方法已是目前主流人脸检测方法。
(2)对通过基于深度学习的人脸检测方法检测出的人脸进行合并。
利用不同的方法将抓拍相机抓拍的人脸进行合并，对同一个相机抓拍的人脸合并采用人脸跟踪的方法，对不同相机抓拍的人脸合并采用相似度计算的方法。
优选地，人脸跟踪方法采用KCF算法(Kernelized Correlation Filters)。KCF算法准确率较高，而且速度快。该算法通过循环偏移构建出了分类器的训练样本，从而使得数据矩阵变成了一个循环矩阵。然后基于循环矩阵的特性把问题的求解变换到了傅里叶变换域，从而避免了矩阵求逆的过程，大大降低了算法的复杂度。
相似度计算的方法，提取人脸LBP特征(Local Binary Pattern，局部二值模式)，计算两个脸得到的LBP特征之间的距离，计算余弦距离作为相似度衡量。余弦距离是指用向量空间中两个特征向量夹角的余弦值作为衡量两个特征间差异的大小，余弦相似度更加注重两个特征向量在方向上的差异。
(3)通过上述深度相机的头肩检测，对合并后的人脸过滤远处干扰信息。
经过上述合并、过滤后的人脸信息将更加准确可靠。
此后进入步骤104，关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。
通过结合深度相机的RGB-D信息和普通相机的RGB信息，进行多信息融合判断，进行人脸抓拍、头肩检测与比对等智能视频分析，能达到更好的人员点名与人数统计效果。
此后进入步骤105，进行人脸点名，将检测到的人脸与给定的名单(即需要点名的人脸样本库)进行人脸比对，判断是否是名单里的人员。
优选地，人脸比对可以使用DeepID方法或FaceNet方法。
DeepID所应用的领域是人脸识别的子领域——人脸验证，就是判断两张图片是不是同一个人。人脸验证问题很容易就可以转成人脸识别问题，人脸识别就是多次人脸验证。
FaceNet与其他的深度学习方法在人脸上的应用不同，FaceNet并没有用传统的softmax方式进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。在LFW数据集上识别率为99.63％。
然后将人脸计数与点名信息推送到业务平台和移动终端。推送到移动终端后，管教(或其他相关人员)可以在移动终端上直接查看。
通常，业务平台指的是已有的信息系统，比如监管的业务平台等。移动终端指的是手机、平板等终端设备。
需要说明的是，步骤105是可选地，只有在需要与给定的名单进行比对时进行，适用于监管、监狱点名以及人员搜查等场景。
图2是该人脸点名与计数方法的控制流程图。
综上所述，本发明的技术方案特别设计针对人脸点名与计数场景过程中，对经过人员的数量及人脸状态的检测。
RGB-D信息要明显优于普通RGB相机，最关键的是多了一维深度信息，对于人头及头肩信息检测更准确。通过分析人头和头肩的特征，结合可见光RGB信息进行特征区分。结合人脸抓拍，能够准确报出进出人数和对应的人脸信息。
通过结合使用深度相机与人脸抓拍相机，将人员计数与人脸图像关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
本发明第二实施方式涉及一种人脸点名与计数系统。图3是人脸点名与计数系统的结构示意框图，图4是该人脸点名与计数系统的结构示意图。
具体地，如图3和图4所示，该人脸点名与计数系统包括：
深度相机11、普通相机12、人脸检测单元(图4中未示出)和点名与计数单元(图4中未示出)；
深度相机11与普通相机12连接；
普通相机12与人脸检测单元连接；
人脸检测单元和深度相机11分别与点名与计数单元连接；
深度相机11，用于采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；
深度相机较普通的可见光相机能更准确地还原目标的3D信息，对头肩检测的效果更好，计数更准确。
普通相机12，用于抓拍人脸图像，得到人脸图像序列；
需要说明的是，在本发明的各实施方式中，抓拍人脸图像可以有以下两种实现方式：
第一种，抓拍相机(即普通相机)按照一定的时间间隔不停地抓拍；
第二种，深度相机检测到有人到达时，发送触发信号给抓拍相机，触发抓拍相机开始抓拍人脸图像。
人脸检测单元，用于对普通相机所抓拍的人脸图像序列进行人脸检测与识别；
点名与计数单元，用于关联人脸检测单元检测到的人脸到深度相机的该次计数，得到进出人数信息和对应的人脸信息。
进一步地，优选地，该人脸点名与计数系统还可以包括：比对单元。
如图3所示，比对单元与人脸检测单元连接，用于进行人脸点名，将所述人脸检测单元检测到的人脸与给定的名单进行人脸比对，判断是否是名单里的人员。
需要说明的是，比对单元是可选地，只有在需要与给定的名单进行比对时需要，适用于监管、监狱点名以及人员搜查等场景。
补光灯13，与普通相机连接，用于抓拍人脸图像的过程中，在人脸过暗时，对人脸进行补光，以保证人脸图像的清晰可靠。
更进一步地，优选地，普通相机12的数目为两个，分别安装在不同的高度，用于对不同身高的人进行抓拍。
此外，还可以包括系统框架14，如图4所示，该系统框架14呈“倒L”形，包括：与地面平行的水平部分，以及与对面垂直的垂直部分，水平部分与地面的距离(即垂直部分的高度)为3至4米，水平部分的长度为1至2米。
深度相机11安装在系统框架14的水平部分。
两个普通相机12上下排列地安装在系统框架14的垂直部分，其中一个安装在距离地面1.6米左右的地方，另一个安装在距离地面1.8米左右的地方。
补光灯13安装在系统框架14的垂直部分，并位于两个普通相机12之间。
最后，人脸点名与计数系统还可以包括：推送单元。
如图3所示，推送单元，分别与点名与计数单元和比对单元连接，用于将人脸计数与点名信息推送到业务平台或用户的移动终端。
将人脸计数与点名信息推送到业务平台和移动终端后，管教(或其他相关人员)可以在移动终端上直接查看。
通常，业务平台指的是已有的信息系统，比如监管的业务平台等。移动终端指的是手机、平板等终端设备。
需要说明的是，人脸检测单元、点名与计数单元、比对单元和推送单元，可以单独设置在专门的服务器上，也可以集成在深度相机11中。
通过结合使用深度相机与人脸抓拍相机，将人员计数与人脸关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。
另外，深度相机、普通相机、人脸检测单元、点名与计数单元、补光灯、比对单元和推送单元都是现有技术中的成熟产品和技术，在此不再进一步详细阐述。
下面详细介绍人脸点名与计数系统的一个优选实施例。
系统结构图如图4所示，系统框架14的水平部分长为1.5米，深度相机11安装在水平部分的中间位置处。系统框架14的垂直部分长3.2米(也即系统框架14的高)，两个普通相机12上下排列地安装在垂直部分上，分别安装在距离地面1.6米和1.8米左右的地方。
系统控制流程图如图2所示。
该人脸点名与计数系统包括人脸图像采集装置(即图4中的普通相机12)、深度信息采集装置(即图4中的普通相机11)和点名与计数单元，具体地，
1.人脸图像采集装置，其主要执行以下步骤：
a)为系统采集人脸图像；
b)安装在系统框架距离地面1.6米和1.8米左右的双相机(如图2所示)，用于解决不同身高人的抓拍问题；
c)获取到图像序列；
d)在人脸过暗时，启用补光灯，进行补光；
e)人脸图像质量增强。
2.深度信息采集装置，其主要执行以下步骤：
a)获取RGB-D(深度)信息；
b)深度信息噪声过滤与增强。
通过对深度图像进行噪声过滤与增强，能够提高深度图像的质量，提高计数和头肩检测的精确度和实时性。
3.点名与计数单元，其主要执行以下步骤：
a)对人脸图像采集装置获取的图像序列进行人脸检测与识别。
b)基于RGB-D信息进行头肩检测与计数，其主要包括以下步骤：
(1)RGB-D信息要明显优于普通RGB相机，最关键的是多了一维深度信息，对于人头及头肩信息检测更准确
(2)通过分析人头和头肩的特征，结合可见光RGB信息进行特征区分
(3)结合人脸抓拍，系统准确报出进出人数和对应的人脸信息
通过结合深度相机的RGB-D信息和普通相机的RGB信息，进行多信息融合判断，进行人脸抓拍、头肩检测与比对等智能视频分析，能达到更好的人员点名与人数统计效果。
4.数据推送单元，将人脸计数与点名信息推送到业务平台和移动终端。
推送到终端后，管教可以在手机等上直接查看。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种人脸点名与计数方法，其特征在于，包括以下步骤：
利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；
利用普通相机抓拍人脸图像，得到人脸图像序列；
对所述人脸图像序列进行人脸检测与识别；
关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。
2.根据权利要求1所述的人脸点名与计数方法，其特征在于，在所述“关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息”的步骤之后，还包括以下步骤：
进行人脸点名，将检测到的人脸与给定的名单进行人脸比对，判断是否是名单里的人员。
3.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述“对所述人脸图像序列进行人脸检测与识别”的步骤中，包括以下子步骤：
对所述人脸图像序列进行基于深度学习的人脸检测；
对所述深度学习检测出的人脸进行合并；
通过所述深度相机的头肩检测，对合并后的人脸过滤远处干扰信息。
4.根据权利要求3所述的人脸点名与计数方法，其特征在于，所述“对所述深度学习检测出的人脸进行合并”的步骤中，包括以下子步骤：
对同一个相机抓拍的人脸合并采用人脸跟踪的方法，对不同的相机抓拍的人脸合并采用相似度计算的方法；
所述人脸跟踪的方法采用KCF算法；
所述相似度计算的方法包括以下步骤：
提取人脸的LBP特征，计算两个脸的LBP特征之间的距离，计算余弦距离作为相似度衡量。
5.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述“利用普通相机抓拍人脸图像，得到人脸图像序列”的步骤中，包括以下子步骤：
在人脸过暗时，启用补光灯进行补光。
6.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述“利用深度相机采集场景的深度图像”的步骤之后，还包括以下步骤：
对所述深度图像进行噪声过滤与增强；
所述“对所述深度图像进行噪声过滤与增强”的步骤中，包括以下子步骤：
利用区域生长在深度图像边缘和所述深度图像对应的彩色图像边缘提取错误像素所在的区域，用对应的距离图像来指导区域生长的方向；
利用加权模式滤波算法填补空洞；
利用自适应联合双边滤波器去除噪声。
7.一种人脸点名与计数系统，其特征在于，包括：深度相机、普通相机、人脸检测单元和点名与计数单元；
所述深度相机与所述普通相机连接；
所述普通相机与所述人脸检测单元连接；
所述人脸检测单元和所述深度相机分别与所述点名与计数单元连接；
所述深度相机，用于采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；
所述普通相机，用于抓拍人脸图像，得到人脸图像序列；
所述人脸检测单元，用于对所述普通相机所抓拍的人脸图像序列进行人脸检测与识别；
所述点名与计数单元，用于关联所述人脸检测单元检测到的人脸到所述深度相机的该次计数，得到进出人数信息和对应的人脸信息。
8.根据权利要求7所述的人脸点名与计数系统，其特征在于，还包括：
比对单元，与所述人脸检测单元连接，用于进行人脸点名，将所述人脸检测单元检测到的人脸与给定的名单进行人脸比对，判断是否是名单里的人员。
9.根据权利要求7所述的人脸点名与计数系统，其特征在于，还包括：
补光灯，与所述普通相机连接，用于抓拍人脸图像的过程中，在人脸过暗时，对人脸进行补光。
10.根据权利要求7所述的人脸点名与计数系统，其特征在于，所述普通相机的数目为两个，分别安装在不同的高度，用于对不同身高的人进行抓拍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710524397.8A CN109215150A (zh) | 2017-06-30 | 2017-06-30 | 人脸点名与计数方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710524397.8A CN109215150A (zh) | 2017-06-30 | 2017-06-30 | 人脸点名与计数方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109215150A true CN109215150A (zh) | 2019-01-15 |
Family
ID=64976850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710524397.8A Pending CN109215150A (zh) | 2017-06-30 | 2017-06-30 | 人脸点名与计数方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109215150A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263703A (zh) * | 2019-06-18 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 人员流量统计方法、装置和计算机设备 |
| CN110705417A (zh) * | 2019-09-24 | 2020-01-17 | 杭州驭光光电科技有限公司 | 人头计数方法及光投射装置 |
| CN112073676A (zh) * | 2019-06-11 | 2020-12-11 | 杭州海康威视数字技术股份有限公司 | 一种点名系统 |
| CN117455441A (zh) * | 2023-12-22 | 2024-01-26 | 深圳市华安泰智能科技有限公司 | 基于多模态算法的在线安全应急监测终端系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013126102A (ja) * | 2011-12-14 | 2013-06-24 | Casio Comput Co Ltd | 撮像装置、その制御方法及びプログラム |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN106228628A (zh) * | 2016-07-15 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 基于人脸识别的签到系统、方法和装置 |
| CN106504289A (zh) * | 2016-11-02 | 2017-03-15 | 深圳乐行天下科技有限公司 | 一种室内目标检测方法及装置 |
| CN207233038U (zh) * | 2017-06-30 | 2018-04-13 | 上海弘视通信技术有限公司 | 人脸点名与计数系统 |
-
2017
- 2017-06-30 CN CN201710524397.8A patent/CN109215150A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013126102A (ja) * | 2011-12-14 | 2013-06-24 | Casio Comput Co Ltd | 撮像装置、その制御方法及びプログラム |
| CN104751491A (zh) * | 2015-04-10 | 2015-07-01 | 中国科学院宁波材料技术与工程研究所 | 一种人群跟踪及人流量统计方法及装置 |
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN106228628A (zh) * | 2016-07-15 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 基于人脸识别的签到系统、方法和装置 |
| CN106504289A (zh) * | 2016-11-02 | 2017-03-15 | 深圳乐行天下科技有限公司 | 一种室内目标检测方法及装置 |
| CN207233038U (zh) * | 2017-06-30 | 2018-04-13 | 上海弘视通信技术有限公司 | 人脸点名与计数系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112073676A (zh) * | 2019-06-11 | 2020-12-11 | 杭州海康威视数字技术股份有限公司 | 一种点名系统 |
| CN112073676B (zh) * | 2019-06-11 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种点名系统 |
| CN110263703A (zh) * | 2019-06-18 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 人员流量统计方法、装置和计算机设备 |
| CN110705417A (zh) * | 2019-09-24 | 2020-01-17 | 杭州驭光光电科技有限公司 | 人头计数方法及光投射装置 |
| CN117455441A (zh) * | 2023-12-22 | 2024-01-26 | 深圳市华安泰智能科技有限公司 | 基于多模态算法的在线安全应急监测终端系统 |
| CN117455441B (zh) * | 2023-12-22 | 2024-04-12 | 深圳市华安泰智能科技有限公司 | 基于多模态算法的在线安全应急监测终端系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhuo et al. | Occluded person re-identification | |
| Ryan et al. | Crowd counting using multiple local features | |
| CN109711370B (zh) | 一种基于wifi探测和人脸聚类的数据融合方法 | |
| CN104091176B (zh) | 人像比对在视频中的应用技术 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN107657244B (zh) | 一种基于多摄像机的人体跌倒行为检测系统及其检测方法 | |
| CN101556717A (zh) | 一种atm智能安保系统及监测方法 | |
| CN109215150A (zh) | 人脸点名与计数方法及其系统 | |
| CN110111565A (zh) | 一种基于实时视频流下的人车流量统计系统与方法 | |
| CN104301712B (zh) | 一种基于视频分析的监控摄像头抖动检测方法 | |
| CN111598132B (zh) | 一种人像识别算法性能评测方法和装置 | |
| CN207233038U (zh) | 人脸点名与计数系统 | |
| US11315374B2 (en) | Detection of fraudulent access at control gates | |
| Srivastava et al. | Crowd flow estimation using multiple visual features for scenes with changing crowd densities | |
| CN112163572A (zh) | 识别对象的方法和装置 | |
| CN110399835A (zh) | 一种人员停留时间的分析方法、装置及系统 | |
| CN115841651B (zh) | 基于计算机视觉与深度学习的施工人员智能监测系统 | |
| CN111382596A (zh) | 人脸识别方法、装置及计算机存储介质 | |
| Carletti et al. | An efficient and effective method for people detection from top-view depth cameras | |
| CN104899559B (zh) | 一种基于视频监控的快速行人检测方法 | |
| CN109344792A (zh) | 一种目标自动识别跟踪方法 | |
| CN108230607A (zh) | 一种基于区域特征分析的图像火灾探测方法 | |
| CN103049748A (zh) | 行为监测方法及装置 | |
| CN112016509B (zh) | 人员站位异常提醒方法及装置 | |
| CN114037934A (zh) | 一种工服穿戴行为的识别方法、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |