CN108710859A - 人脸检测方法和设备、人脸识别方法和设备及存储介质 - Google Patents
人脸检测方法和设备、人脸识别方法和设备及存储介质 Download PDFInfo
- Publication number
- CN108710859A CN108710859A CN201810499428.3A CN201810499428A CN108710859A CN 108710859 A CN108710859 A CN 108710859A CN 201810499428 A CN201810499428 A CN 201810499428A CN 108710859 A CN108710859 A CN 108710859A
- Authority
- CN
- China
- Prior art keywords
- visual angles
- various visual
- video data
- face
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明提供的人脸检测方法和设备、人脸识别方法和设备及存储介质,通过多视角相机阵列接收所采集的原始视频数据,利用多视角合成去遮挡处理技术处理原始视频数据得到多视角合成去遮挡视频数据,分别对原始视频数据、及多视角合成去遮挡视频数据进行编码推流,或分别对原始视频数据、及多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片向外传输。从而解决因人脸遮挡而造成漏检或少检的问题,能针对人群某些特征进行重点采集与识别,提高人脸采集与识别的效率,降低内存负荷,同时还能进行人脸检测,减少后端服务器处理压力。另外本发明同时发送视频与图片数据,使得在带宽不足的情况下,保证人脸检测与识别的实时性。
Description
技术领域
本发明涉及人脸检测与识别技术领域。尤其是涉及人脸检测方法和设备、人脸识别方法和设备及存储介质。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸的一系列相关技术。随着人脸识别技术的快速发展,人脸识别技术越来越多的运用到安检卡口或人流通道等场所进行人脸采集与识别。但是在人流十分密集的情况下,所采集的人脸视频或照片会出现后者的面部被前者遮挡,造成漏检或少检,难以在不阻碍人流前进速度的情况下进行全面有效的人脸抓取或检测。
此外,实时监控产生的视频数据往往是对全部人群进行人脸采集与识别,未对人群某些特征进行重点采集与识别,从而造成内存负荷量大,效率低。并且现有人脸检测设备通常将采集数据发送后端服务器,再进行比对识别,一方面会产生较大处理压力,另一方面在带宽不足的情况下,仅提供视频数据,会造成传输时间过长或中断,降低了人脸识别的实时性。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供人脸检测方法和设备、人脸识别方法和设备及存储介质,用于解决现有技术中人流密集情况下造成漏检或少检,对全部人群进行人脸采集与识别内存负荷量大,效率低,无法降低后端服务器处理压力,以及在带宽不足情况下无法保证人脸识别的实时性等问题。
获取实景信息难以应对突发情况以及保证数据的时效性,建模效率低,周期时间长的问题。
为实现上述目的及其他相关目的,本发明提供一种人脸检测方法,方法包括:从多视角相机阵列接收所采集的原始视频数据;利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据;分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行编码,并向外推流;或者,分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片,并向外传输。
于本发明的一实施例中,所述多视角合成去遮挡处理技术包括:通过投影去除倾斜角度,对所述原始视频数据的画面进行去畸变;将去畸变处理后的画面进行叠加;叠加合成时通过调整对焦深度,得到三维空间中不同焦平面的图像数据;利用深度相机,和/或图像深度算法的处理,去除焦平面图像数据中距离更近的遮挡物体;得到不同焦平面上的多视角合成去遮挡视频。
于本发明的一实施例中,所述人脸检测通过对所述原始视频数据、及所述多视角合成去遮挡视频数据划定人脸检测范围进行检测。
于本发明的一实施例中,所述多视角合成去遮挡处理技术包括:通过投影去除倾斜角度,对所述原始视频数据的画面进行去畸变;将去畸变处理后的画面进行叠加;叠加合成时通过调整对焦深度,得到三维空间中不同焦平面的图像数据;利用深度相机,和/或图像深度算法的处理,去除焦平面图像数据中距离更近的遮挡物体;得到不同焦平面上的多视角合成去遮挡视频;所述人脸检测范围划分依据包括:人体身高、焦平面距离、及相机视角中的任意一或多种。
于本发明的一实施例中,所述多视角相机阵列的设置参数与所述人脸检测范围有关;所述设置参数包括:相机高度、下倾斜角度、光圈、增益以及对焦位置中的任意一或多种。
于本发明的一实施例中,所述多视角相机阵列设置于安检卡口或人流通道;所述多视角相机阵列的相机数量、及相机间隔与所述安检卡口或人流通道宽窄有关。
为实现上述目的及其他相关目的,本发明提供一种人脸识别方法,包括:接收原始视频数据及多视角合成去遮挡视频数据,或者接收原始图片及多视角合成去遮挡图片;其中,所述多视角合成去遮挡视频数据是对所述原始视频数据利用多视角合成去遮挡处理技术进行处理得到的,所述原始图片及多视角合成去遮挡图片是分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到的;将所述原始视频数据及所述多视角合成去遮挡视频数据中人脸特征与预设人脸特征进行匹配;或者,将所述原始图片及所述多视角合成去遮挡图片中的人脸特征与预设人脸特征进行匹配。
为实现上述目的及其他相关目的,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行实现所述人脸检测方法,或者实现所述人脸识别方法。
为实现上述目的及其他相关目的,本发明提供一种人脸检测设备,包括:通信器、处理器、及存储器;通信器通信连接多视角相机阵列及外部设备;存储器用于存储程序;处理器运行程序实现所述人脸检测方法。
为实现上述目的及其他相关目的,本发明提供一种人脸识别设备,包括通信器、处理器、及存储器;通信器通信连接外部设备;存储器用于存储程序;处理器运行程序实现所述人脸识别方法。
如上所述,本发明的人脸检测方法和设备、人脸识别方法和设备及存储介质,通过多视角相机阵列接收所采集的原始视频数据,并利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据。再分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行编码向外推流,或分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片,并向外传输。采用本发明的人脸检测方法和设备、人脸识别方法和设备及存储介质,具有以下有益效果:
在不阻碍人流前进速度的情况下,能够解决因人脸遮挡而造成漏检或少检的问题,而且还能针对人群某些特征进行重点采集与识别,提高人脸采集与识别的效率,降低内存负荷。此外,在人脸采集并发送其数据的同时还能够进行人脸检测,大大减少了后端服务器处理压力。另外,同时发送视频与图片数据,使得在带宽不足的情况下,依然保证人脸检索与识别的实时性。
附图说明
图1a显示为本发明于一实施例中的人脸检测方法的流程示意图。
图1b显示为本发明于另一实施例中的人脸检测方法的流程示意图。
图2显示为本发明于一实施例中的多视角合成去遮挡处理技术的流程示意图。
图3a显示为本发明于一实施例中的人脸识别方法的流程示意图。
图3b显示为本发明于另一实施例中的人脸识别方法的流程示意图。
图4显示为本发明于一实施例中的人脸检测设备示意图。
图5显示为本发明于一实施例中的人脸识别设备示意图。
元件标号说明
S101~S104 方法步骤
S201~S205 方法步骤
S301~S303 方法步骤
400 人脸检测设备
401 存储器
402 处理器
403 通信器
500 人脸识别设备
501 存储器
502 处理器
503 通信器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
如图1a所示,展示本发明于一实施例中的人脸检测方法的流程示意图,本发明提供一种人脸检测方法,所述方法包括:
步骤S101:从多视角相机阵列接收所采集的原始视频数据。
于本发明的一实施例中,所述多视角相机阵列设置于安检卡口或人流通道;所述多视角相机阵列的相机数量、及相机间隔与所述安检卡口或人流通道宽窄有关。
所述多视角相机阵列是由多个普通相机组成的,每个相机拍摄范围及视角不同而构成多视角。每个相机之间位置相对固定,所述多视角相机阵列通过每个相机空间上的位置关系,计算出聚焦光线并以数码的方式记下,选取一路标准相机,通过数码信息进行重新对焦,即通过计算其它非标准相机图像位置,然后叠加到标准相机的图像上,从而可以得到不同对焦深度的照片。
所述多视角相机阵列设置于安检卡口或人流通道,由于相机镜头难免有畸变,更多相机能带来更好的显示效果和清晰度,但同时也会提升成本,因此多视角相机阵列的数量及间隔需要根据不同通道的宽窄来调节,同时根据希望通过多视角相机阵列获取的数据量来定。
当通道较窄的场景下,本发明实施例中指通道宽度不超过2.5米,由于人流相对较为密集,因此在此场景下多视角相机设置优选为7-9台,最左、或最右相机与最中间相机间隔不少于1.1米,从而保证有相机能拍到前后距离较近的两个人中的后一个(即被遮挡的一个);
当通道较窄的场景下,本发明实施例中指通道宽度大于等于2.5米,由于人流会相对较为宽松,因此在此场景下多视角相机设置优选为每2.5米相机数量不少于7台,每7台中最左与最右相机间隔不少于2米,从而保证有相机能拍到前后距离较近的两个人中的后一个(被遮挡的一个)的同时,尽可能地减少成本。
使用数量合适的相机以及较大的相机间隔,可以保证有相机能拍到前后距离较近的两个人中的后一个。
步骤S102:利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据。
如图2所示,展示本发明于一实施例中的多视角合成去遮挡处理技术的流程示意图。应用于如图1a实施例的人脸检测方法,所述多视角合成去遮挡处理技术包括:
步骤S201:通过投影去除倾斜角度,对所述原始视频数据的画面进行去畸变。
步骤S202:将去畸变处理后的画面进行叠加。
步骤S203:叠加合成时通过调整对焦深度,得到三维空间中不同焦平面的图像数据。
步骤S204:利用深度相机,和/或图像深度算法的处理,去除焦平面图像数据中距离更近的遮挡物体。
步骤S205:得到不同焦平面上的多视角合成去遮挡视频。
步骤S205中所述得到的不同焦平面上的多视角合成去遮挡视频,即为步骤S102中利用多视角合成去遮挡处理技术处理所述原始视频数据得到的所述多视角合成去遮挡视频数据。
由于多视角技术的限制,处理后的视频只能看清设定好的深度上的人脸图像,但能将比设定好的深度更浅的遮挡物给去除。由于现有人脸检测器的速度限制,不可能将每一个设定深度的每一帧都用来检测人脸,且可能有一个人正好在两帧之间的时间(33毫秒)通过了设定深度,因此会出现漏测、少测的情况。所以采用原始视频数据来检测大部分未被遮挡的人脸,采用多视角合成去遮挡处理技术处理后的多视角合成去遮挡视频数据来识别剩余被遮挡的人脸,极大提高了人脸检测与识别的准确率,有效降低了人脸信息获取的遗漏概率,两者结合从而保证不漏人。
所述畸变是由于镜头中镜片因光线的通过产生的不规则的折射,但因镜头的固有特性,导致这种情况下产生的畸变没有办法消除,只能改善。而好一些的镜头因为光学设计以及用料的考究,利用镜片组的优化设计、选用高质量的光学玻璃来制造镜片,可以把畸变控制在很小的情况下,不过是不能完全消除的。如使用广角镜头,就会特别明显。
所述多视角相机阵列通过预先设定的相机内外参数,可以有效去畸变;所述内外设置参数包括:相机高度、下倾斜角度、光圈、增益以及对焦位置中的任意一或多种。
对所述去畸变处理后的画面进行叠加,通过调整对焦深度,可得到不同对焦深度的平面,多个焦平面组成三维空间,使得存在前后遮挡物与被遮挡物的遮挡关系更加清晰,以便精准去除遮挡物,并使得被遮挡物画面或所在焦平面图像清晰。
所述深度相机,顾名思义指的是可以测量物体到相机距离(深度)的相机,如微软的Kinect、Kinect2、Intel的RealSense甚至包括激光雷达也可以归为深度相机。根据硬件实现方式的不同,目前行业内所采用的主流3D机器视觉大约有三种:结构光、TOF时间光、双目立体成像。深度相机具备以下优点:1)相对二维图像,可通过距离信息获取物体之间更加丰富的位置关系,即区分前景与后景;2)深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用;3)经过进一步深化处理,可以完成三维建模等应用;4)能够快速完成对目标的识别与追踪;5)主要配件成本相对低廉,包括CCD和普通LED等,对今后的普及化生产及使用有利;6)借助CMOS的特性,可获取大量数据及信息,对复杂物体的姿态判断极为有效,无需扫描设备辅助工作。
本发明实施例中所述深度相机可选Kinect、Kinect2、RealSense、及激光雷达中任意一种,或者利用结构光、TOF时间光、以及双目立体成像中任意一种原理实现。
所述图像深度算法中深度指的是场景中某个点到相机中心所在平面的距离,可以用一张深度图来表示场景中的各个点的深度信息,即深度图中的每一个像素记录了场景中的某一个点到相机中心所在平面的距离,从真实拍摄的图像和视频中恢复出深度信息是计算机视觉领域的经典问题。
基于图像的深度计算方法有各种各样,常见的主要有多视图立体发(multi-viewstereo)、光度立体视觉法(photometric stereo)、色度成形法(shape from shading)、散焦推断法(depth from defocus)以及基于机器学习的方法等。本发明实施例中所述图像深度算法优选上述任意一种计算方法。
利用所述深度相机,和/或图像深度算法的处理,可去除焦平面中距离更近的遮挡物体,所述遮挡物可以指前后两个人距离较近且存在遮挡关系的前者,还可以指存遮挡到人脸的物体,例如安检门、护栏等检测防护设备,或者气球、行李箱等行人手持物。
步骤S103:分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行编码,并向外推流。
所述推流指的是把采集阶段封包好的视频内容传输到服务器的过程。
另外,如果仅在本发明涉及的人脸检测设备进行人脸识别处理,本发明涉及的人脸检测设备的处理压力会比较大,采用传输视频供外部设备进行人脸识别是一种分散处理压力的方式。
如图1b所示,展示本发明另一实施例中的人脸检测方法的流程示意图,所述方法包括:
步骤S101:从多视角相机阵列接收所采集的原始视频数据。
步骤S102:利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据。
步骤S104:分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片,并向外传输。
图1b实施例中所述步骤S101、及步骤S102与图1a实施例中所述步骤S101、及步骤S102一致。
对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测,在检测过程产生了视频流中不同帧的图片,相应地从对所述原始视频数据中得到原始图片,从所述多视角合成去遮挡视频数据中得到多视角合成去遮挡图片,并分别对原始图片、及多视角合成去遮挡图片打包,并向外传输,以便设备针对图片进行人脸识别。
本发明具有视频数据的获取、检测、识别、传送的功能之外,还增加图片数据的获取、检测、识别、传送功能。其目的于,当处于带宽足够的情况下,可以传输视频从而保障数据更完整,而在带宽不足的情况下,为了识别的实时性,用传输图片来减少带宽占用。
所述带宽不足的情况,例如在通讯网络为2G、3G等带宽有限的情况下。
于本发明的一实施例中,所述人脸检测通过对所述原始视频数据、及所述多视角合成去遮挡视频数据划定人脸检测范围进行检测。
于本发明的一实施例中,所述步骤S20通过对焦到三维空间中的不同焦平面;所述人脸检测范围划分依据包括:人体身高、焦平面距离、及相机视角中的任意一或多种。
于本发明的一实施例中,所述多视角相机阵列的设置参数与所述人脸检测范围有关;所述设置参数包括:相机高度、下倾斜角度、光圈、增益以及对焦位置中的任意一或多种。
所述人脸检测范围划分可通过指定到人体身高的某一高度,针对性的重点检测某一人群,所述多视角相机阵列可依据设定的范围,相应调整相机高度、下倾斜角度等;另外,所述人脸检测范围划分还可通过指定某一焦平面,针对性的重点检测某一人群,所述多视角相机阵列可依据设定的范围,相应调整下倾斜角度、光圈、增益以及对焦位置等。通过对人群某些特征进行重点采集与识别,从而降低内存负荷量,大大提高采集与识别的效率。
为实现上述目的及其他相关目的,本发明提供一种人脸识别方法。
如图3a所示,展示本发明于一实施例中的人脸识别方法的流程示意图,所述方法包括:
步骤301:接收原始视频数据及多视角合成去遮挡视频数据,或者接收原始图片及多视角合成去遮挡图片;其中,所述多视角合成去遮挡视频数据是对所述原始视频数据利用多视角合成去遮挡处理技术进行处理得到的,所述原始图片及多视角合成去遮挡图片是分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到的;
步骤302:将原始视频数据及多视角合成去遮挡视频数据中人脸特征与预设人脸特征进行匹配;
如图3b所示,展示本发明于另一实施例中的人脸识别方法的流程示意图,本发明还提供一种人脸识别方法,所述方法包括:
步骤301:接收原始视频数据及多视角合成去遮挡视频数据,或者接收原始图片及多视角合成去遮挡图片;其中,所述多视角合成去遮挡视频数据是对所述原始视频数据利用多视角合成去遮挡处理技术进行处理得到的,所述原始图片及多视角合成去遮挡图片是分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到的;
步骤303:将原始图片及多视角合成去遮挡图片中的人脸特征与预设人脸特征进行匹配。
所述人脸特征是人脸识别进行身份识别的生物信息特征之一。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术。
为实现上述目的及其他相关目的,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行实现所述一种人脸检测方法,或者实现所述一种人脸识别方法。
所述计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示,展示本发明于一实施例中的人脸检测设备示意图,为实现上述目的及其他相关目的,本发明提供一种人脸检测设备400,包括:通信器403、处理器402、及存储器401;通信器通403信连接多视角相机阵列及外部设备;存储器401用于存储程序;处理器402运行程序实现所述一种人脸检测方法。
所述通信器403通信连接多视角相机阵列的方式与通信器通403信连接外部设备的方式不同。
所述外部设备可为本实施例中的人脸识别设备500。
所述存储器401存储实现如图1a、图1b、以及图2的各步骤程序,以使处理器402运行程序实现所述人脸检测方法。
所述通信器403用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接,所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如,通信方式可以包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。
所述存储器401可能包含随机存取存储器(RandomAccessMemory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
所述处理器402可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图5所示,展示本发明于一实施例中的人脸识别设备示意图,为实现上述目的及其他相关目的,本发明提供一种人脸识别设备500,包括通信器503、处理器502、及存储器501;通信器503通信连接外部设备;存储器501用于存储程序;处理器502运行程序实现所述人脸识别方法。
所述外部设备可为本实施例中的人脸识别设备500。
所述存储器501存储实现如图3的各步骤程序,以使处理器502运行程序实现所述人脸识别方法。
所述通信器503用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接,所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如,通信方式可以包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。
所述存储器501可能包含随机存取存储器(RandomAccessMemory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
所述处理器502可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述,本发明的人脸检测方法和设备、人脸识别方法和设备及存储介质,通过多视角相机阵列接收所采集的原始视频数据,并利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据。再分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行编码向外推流,或分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片,并向外传输。
本发明可以在不阻碍人流前进速度的情况下,能够解决因人脸遮挡而造成漏检或少检的问题,而且还能针对人群某些特征进行重点采集与识别,提高人脸采集与识别的效率,降低内存负荷。此外,在人脸采集并发送其数据的同时还能够进行人脸检测,大大减少了后端服务器处理压力。另外,还能够同时发送视频与图片数据,使得在带宽不足的情况下,依然保证人脸检测与识别的实时性。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种人脸检测方法,其特征在于,方法包括:
从多视角相机阵列接收所采集的原始视频数据;
利用多视角合成去遮挡处理技术处理所述原始视频数据以得到多视角合成去遮挡视频数据;
分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行编码,并向外推流;或者,分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到原始图片及多视角合成去遮挡图片,并向外传输。
2.根据权利要求1所述的人脸检测方法,其特征在于,所述多视角合成去遮挡处理技术包括:
通过投影去除倾斜角度,对所述原始视频数据的画面进行去畸变;
将多视角的去畸变画面进行叠加;
通过调整对焦深度,得到三维空间中不同焦平面的图像数据;
利用深度相机,和/或图像深度算法的处理,去除焦平面图像数据中距离更近的遮挡物体;
得到不同焦平面上的多视角合成去遮挡视频。
3.根据权利要求1所述的人脸检测方法,其特征在于,所述人脸检测通过对所述原始视频数据、及所述多视角合成去遮挡视频数据划定人脸检测范围进行检测。
4.根据权利要求3所述的人脸检测方法,其特征在于,所述多视角合成去遮挡处理技术包括:通过投影去除倾斜角度,对所述原始视频数据的画面进行去畸变;将去畸变处理后的图像进行叠加;叠加合成时通过调整对焦深度,得到三维空间中不同焦平面的图像数据;利用深度相机,和/或图像深度算法的处理,去除此平面图像数据中距离更近的遮挡物体;得到不同焦平面上的多视角合成去遮挡视频;所述人脸检测范围划分依据包括:人体身高、焦平面距离、及相机视角中的任意一或多种。
5.根据权利要求3所述的人脸检测方法,其特征在于,所述多视角相机阵列的设置参数与所述人脸检测范围有关;所述设置参数包括:相机高度、下倾斜角度、光圈、增益以及对焦位置中的任意一或多种。
6.根据权利要求1所述的人脸检测方法,其特征在于,所述多视角相机阵列设置于安检卡口或人流通道;所述多视角相机阵列的相机数量、及相机间隔与所述安检卡口或人流通道宽窄有关。
7.一种人脸识别方法,其特征在于,包括:
接收原始视频数据及多视角合成去遮挡视频数据,或者接收原始图片及多视角合成去遮挡图片;其中,所述多视角合成去遮挡视频数据是对所述原始视频数据利用多视角合成去遮挡处理技术进行处理得到的,所述原始图片及多视角合成去遮挡图片是分别对所述原始视频数据、及所述多视角合成去遮挡视频数据进行人脸检测而得到的;
将所述原始视频数据及所述多视角合成去遮挡视频数据中人脸特征与预设人脸特征进行匹配;或者,将所述原始图片及所述多视角合成去遮挡图片中的人脸特征与预设人脸特征进行匹配。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至6中任一项所述的人脸检测方法,或者实现权利要求7所述的人脸识别方法。
9.一种人脸检测设备,其特征在于,包括:通信器、处理器、及存储器;
通信器通信连接多视角相机阵列及外部设备;存储器用于存储程序;处理器运行程序实现权利要求1至6中任一项所述的人脸检测方法。
10.一种人脸识别设备,其特征在于,包括:通信器、处理器、及存储器;
通信器通信连接外部设备;存储器用于存储程序;处理器运行程序实现权利要求7中所述的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810499428.3A CN108710859A (zh) | 2018-05-23 | 2018-05-23 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810499428.3A CN108710859A (zh) | 2018-05-23 | 2018-05-23 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108710859A true CN108710859A (zh) | 2018-10-26 |
Family
ID=63868404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810499428.3A Pending CN108710859A (zh) | 2018-05-23 | 2018-05-23 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710859A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492614A (zh) * | 2018-11-29 | 2019-03-19 | 上海道枢信息技术有限公司 | 一种基于安防视频识别面部特征的方法及系统 |
CN109812941A (zh) * | 2019-01-18 | 2019-05-28 | 漆燕 | 人脸识别式驱动机构 |
CN110110672A (zh) * | 2019-05-10 | 2019-08-09 | 广东工业大学 | 一种人脸表情识别方法、装置及设备 |
CN110516623A (zh) * | 2019-08-29 | 2019-11-29 | 中新智擎科技有限公司 | 一种人脸识别方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110586A1 (en) * | 2014-10-15 | 2016-04-21 | Nec Corporation | Image recognition apparatus, image recognition method and computer-readable medium |
CN105574525A (zh) * | 2015-12-18 | 2016-05-11 | 天津中科智能识别产业技术研究院有限公司 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
CN105741318A (zh) * | 2016-01-22 | 2016-07-06 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
-
2018
- 2018-05-23 CN CN201810499428.3A patent/CN108710859A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160110586A1 (en) * | 2014-10-15 | 2016-04-21 | Nec Corporation | Image recognition apparatus, image recognition method and computer-readable medium |
CN105574525A (zh) * | 2015-12-18 | 2016-05-11 | 天津中科智能识别产业技术研究院有限公司 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
CN105741318A (zh) * | 2016-01-22 | 2016-07-06 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492614A (zh) * | 2018-11-29 | 2019-03-19 | 上海道枢信息技术有限公司 | 一种基于安防视频识别面部特征的方法及系统 |
CN109812941A (zh) * | 2019-01-18 | 2019-05-28 | 漆燕 | 人脸识别式驱动机构 |
CN109812941B (zh) * | 2019-01-18 | 2020-01-03 | 曲阜师范大学 | 人脸识别式驱动机构 |
CN110110672A (zh) * | 2019-05-10 | 2019-08-09 | 广东工业大学 | 一种人脸表情识别方法、装置及设备 |
CN110516623A (zh) * | 2019-08-29 | 2019-11-29 | 中新智擎科技有限公司 | 一种人脸识别方法、装置及电子设备 |
CN110516623B (zh) * | 2019-08-29 | 2022-03-22 | 中新智擎科技有限公司 | 一种人脸识别方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106275B2 (en) | Virtual 3D methods, systems and software | |
CN108710859A (zh) | 人脸检测方法和设备、人脸识别方法和设备及存储介质 | |
US9727959B2 (en) | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles | |
US8334893B2 (en) | Method and apparatus for combining range information with an optical image | |
US9131128B2 (en) | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles | |
Battiato et al. | 3D stereoscopic image pairs by depth-map generation | |
EP3091508B1 (en) | Three-dimensional imaging system | |
CN102170577B (zh) | 用于处理视频图像的方法和系统 | |
KR20190076998A (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
CN103609102A (zh) | 高分辨率多光谱图像捕捉 | |
CN111598132A (zh) | 一种人像识别算法性能评测方法和装置 | |
CN104331890B (zh) | 一种全局视差估计方法和系统 | |
US20150373320A1 (en) | Visual cognition system | |
CN107205103A (zh) | 基于压缩感知和条纹相机原理的超高速压缩摄影装置 | |
Zhang et al. | Wide-area crowd counting: Multi-view fusion networks for counting in large scenes | |
CN106023189A (zh) | 一种基于匹配优化的光场数据深度重建方法 | |
Hong et al. | Three-dimensional integral-imaging display from calibrated and depth-hole filtered kinect information | |
CN104408710B (zh) | 一种全局视差估计方法和系统 | |
CN104584075B (zh) | 用于描述对象空间的对象点以及用于其执行的连接方法 | |
US11659135B2 (en) | Slow or fast motion video using depth information | |
Kulkarni et al. | Depth estimation from defocused images: a survey | |
Gribben et al. | Structured light 3D measurement of reflective objects using multiple DMD projectors | |
Rodríguez | A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking | |
Custodio | Depth estimation using light-field cameras | |
Henderson | Non-Line-of-Sight Visualization and Imaging for Dynamic Scenes Using Sensor Fusion and Light Transport |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181026 |
|
RJ01 | Rejection of invention patent application after publication |