CN109214324A - 基于多相机阵列的最正脸图像输出方法及输出系统 - Google Patents
基于多相机阵列的最正脸图像输出方法及输出系统 Download PDFInfo
- Publication number
- CN109214324A CN109214324A CN201810983213.9A CN201810983213A CN109214324A CN 109214324 A CN109214324 A CN 109214324A CN 201810983213 A CN201810983213 A CN 201810983213A CN 109214324 A CN109214324 A CN 109214324A
- Authority
- CN
- China
- Prior art keywords
- face
- current
- rotation angle
- image
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 abstract 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于多相机阵列的最正脸图像输出方法及输出系统。所述方法包括：获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像，以作为当前人脸的最正脸图像。本发明基于空间和时间对多相机阵列获取的人脸图像做最正脸选择，输出的最正脸图像更加精确，从而为后续人脸比对提供更加可靠的数据基础。
Description
技术领域
本发明涉及人脸识别技术领域，特别是涉及基于多相机阵列的最正脸图像输出方法及输出系统。
背景技术
随着我国经济的快速发展，我国城市人口呈现日益密集的趋势，如何加强城市中交通管理、社会治安、维持稳定等方面的需求日益增强。另外，人口流动性的增大为公安人员对犯罪分子的人工排查增加了不小的难度，效率和成功率都不太理想。可见，现代城市需要对流动人员设置人员卡口和视频监控。
人脸抓拍系统旨在针对出入安检口的人员进行监控，是视频分析人脸检测和跟踪在视频监控领域的全新综合应用。通过多相机阵列采集到的光场图像检测出其中最正的人脸，并将其通过计算机网络传输到数据中心的数据库中，并且与数据库中人员黑名单进行比对，当发现可疑人员的时候，系统会发出预警来通知值班的民警。
由此可见，如何从检测到的图像中选择最正的人脸图像来为后续人脸比对提供更加可靠的图像数据，对于提高人脸比对效率、发现可疑人员具有重要意义。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于多相机阵列的最正脸图像输出方法及输出系统，用于解决现有技术中最正人脸图像的选择问题。
为实现上述目的及其他相关目的，本发明提供一种基于多相机阵列的最正脸图像输出方法，包括：获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像，以作为当前人脸的最正脸图像。
于本发明一实施例中，分析各所述人脸图像中当前人脸的旋转角度的步骤，包括：分别从各所述人脸图像中提取一定数量的第一关键点；从标准正脸三维模型中提取与各所述第一关键点位置对应的第二关键点；对于各所述人脸图像，根据其第一关键点、对应的第二关键点、及相机参数，计算当前人脸的三轴旋转矩阵，并将所述三轴旋转矩阵中的三个角度的绝对值的平均值作为当前人脸的旋转角度。
于本发明一实施例中，在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，所述方法还包括：通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸；若是，则执行后续判断步骤。
于本发明一实施例中，通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸的步骤，包括：对于各所述人脸图像，将其中的当前人脸划分成多个区域；生成当前人脸图像的全局特征向量及其各区域图像所对应的各特征向量；合并所述全局特征向量及各所述特征向量以生成最终特征向量；若各所述人脸图像的最终特征向量匹配，则说明各所述人脸图像中的当前人脸是同一个人的人脸。
于本发明一实施例中，在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，所述方法还包括：通过模板匹配方法判断新获取的人脸图像是否为当前人脸的人脸图像；若是，则执行后续判断步骤。
为实现上述目的及其他相关目的，本发明提供一种基于多相机阵列的最正脸图像输出系统，包括：通信模块，用于获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；处理模块，用于分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像，以作为当前人脸的最正脸图像。
于本发明一实施例中，所述处理模块分析各所述人脸图像中当前人脸的旋转角度的实现方式包括：分别从各所述人脸图像中提取一定数量的第一关键点；从标准正脸三维模型中提取与各所述第一关键点位置对应的第二关键点；对于各所述人脸图像，根据其第一关键点、对应的第二关键点、及相机参数，计算当前人脸的三轴旋转矩阵，并将所述三轴旋转矩阵中的三个角度的绝对值的平均值作为当前人脸的旋转角度。
于本发明一实施例中，所述处理模块在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，还用于：通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸；若是，则执行后续判断步骤。
于本发明一实施例中，所述处理模块通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸的实现方式包括：对于各所述人脸图像，将其中的当前人脸划分成多个区域；生成当前人脸图像的全局特征向量及其各区域图像所对应的各特征向量；合并所述全局特征向量及各所述特征向量以生成最终特征向量；若各所述人脸图像的最终特征向量匹配，则说明各所述人脸图像中的当前人脸是同一个人的人脸。
于本发明一实施例中，所述处理模块在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，还用于：通过模板匹配方法判断新获取的人脸图像是否为当前人脸的人脸图像；若是，则执行后续判断步骤。
为实现上述目的及其他相关目的，本发明提供一种存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现如上任一所述的基于多相机阵列的最正脸图像输出方法。
为实现上述目的及其他相关目的，本发明提供一种电子设备，包括：处理器、及存储器；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如上任一所述的基于多相机阵列的最正脸图像输出方法。
如上所述，本发明的基于多相机阵列的最正脸图像输出方法及输出系统，获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像以作为当前人脸的最正脸图像。本发明基于空间和时间对多相机阵列获取的人脸图像做最正脸选择，相比于现有技术中仅做空间上最正脸选择的技术方案而言，输出的最正脸图像更加精确，从而为后续人脸比对提供更加可靠的数据基础。
附图说明
图1显示为本发明一实施例中的基于多相机阵列的最正脸图像输出方法示意图。
图2显示为本发明一实施例中的基于多相机阵列的最正脸图像输出系统示意图。
图3显示为本发明一实施例中的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
通常情况下，对监控视频中的人脸进行属性检测和人脸比对前，需要在包含同一个人脸的连续多帧图像中选取一帧最适合处理的，从而更好地进行属性检测和人脸比对。这时，便需要人脸选帧功能对多张人脸图像做出最正脸的选择。本发明提出在多相机阵列监控、捕捉人脸信息的场景下，对于检测到的人脸图像，从空间和时间两个维度获取其最正脸图像的技术方案，也即：对于每一时刻多相机阵列获得的多张人脸图像，对于每一张人脸图像都分别做基于空间和时间上的最正脸选择，以弥补现有技术中仅仅基于多相机空间上的最正脸选择，使得捕捉到的最正脸飘移角度更加小，为后续人脸比对提供更加可靠的图像数据。
如图1所示，显示为本发明的基于多相机阵列的最正脸图像输出方法于一实施例中的流程示意图，该方法由台式机、便携式电脑、平板电脑、智能手机等电子设备负责执行，具体包括以下步骤：
S11：获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像。
详细而言，从多相机阵列中的各个相机获得数据流，利用人脸检测算法检测出人脸所在的区域，从而作为所谓的人脸图像。
S12：分析各所述人脸图像中当前人脸的旋转角度以从中选择旋转角度最小的人脸图像。
详细而言，首先，分别从各所述人脸图像中提取一定数量的第一关键点；其次，从标准正脸三维模型中提取与各所述第一关键点位置对应的第二关键点；再次，对于各所述人脸图像，根据其第一关键点、对应的第二关键点、及相机参数，计算当前人脸的三轴旋转矩阵；最后，将所述三轴旋转矩阵中的三个角度的绝对值的平均值作为当前人脸的旋转角度。其中，所谓的标准正脸三维模型是指预先建立的正脸三维模型，该正脸三维模型包括了其上若干关键点的坐标信息。
举例而言，对步骤S11得到的多张人脸图像，先分别搭建画出检测框，同时，对人脸所在的区域进行人脸对齐，再提取出各人脸图像头部的若干个关键点，关键点的选取可以涵盖耳朵、眼睛、鼻尖、嘴巴轮廓等面部区域。在完成前述的人脸位置与关键点检测后，即可进行头部姿态估计，也即计算出各人脸图像中人脸的三轴旋转矩阵[M]，计算公式如下：
其中，[A]是相机的内参矩阵，[R|t]是相机的外参矩阵，(u,v,1)是某张人脸图像的各关键点的二维坐标信息，(x,y,z,1)是标准正脸三维模型中的同等数量的关键点的三维坐标信息，于此，所选取的人脸图像各关键点的位置与标准正脸三维模型中的关键点的位置对应。值得注意的是，所谓位置对应，比如：人脸图像鼻尖上的关键点与标准正脸三维模型中鼻尖上的关键点对应，又比如：人脸图像嘴巴轮廓上的多个关键点与标准正脸三维模型中嘴巴轮廓上的多个关键点一一对应等。当然，为了提高计算效率，也可不将每张人脸图像全部的关键点带入上述公式计算，而是从中选取一定数量且质量较高的关键点参与计算，本发明对此不做限定。
对于上述公式，可借助dlib库提供的最小二乘法计算工具拟合出人脸的三个方向的旋转角度以及深度信息，即(r1,r2,r3,Zm)，其中，(r1,r2,r3)即为三轴旋转矩阵[M]的三个分量，分别表示沿着XYZ轴的旋转角度，Zm表示人脸深度信息，是外参矩阵中的一变量。随之，计算三个分量角度的绝对值的平均值，将该平均值作为当前人脸的旋转角度。最终，将各人脸图像中旋转角度最小的一张予以保存，为后面做时间上的最正脸选择做标准。
S13：判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则执行步骤S14。
详细而言，建立跟踪器对步骤S12得到的基于空间维度确定的最正脸进行跟踪。当新检测到一个人时，通过模板匹配技术判断新检测到的人和跟踪器跟踪的人是不是同一个人，如果不是同一个人，则初始化一个跟踪器进行跟踪；否则，在跟踪器得到人脸的下一帧的位置时判断人脸此时的旋转角度，若小于步骤S12得到的最正脸的旋转角度，则执行步骤S14。
众所周知，模板匹配的原理就是在一幅图像中寻找与模板最相似的区域。在一实施例中，可使用OpenCV中的模板匹配函数：
void matchTemplate(InputArray image,InputArray templ,
OutputArray result,int method)；
其中，method采用标准相关匹配CV_TM_CCOEFF_NORMED，这是OpenCV支持的最复杂的一种相似度计算的算法，具体说就是统计科学的相关系数的计算方法，减去各自的平均值，还要除以各自的方差，这样子能够保证图像和模板即使分别改变光照亮度也不会影响结果。参见下方公式，计算出来的相关系数在区间[-1,1]之间，1表示完全相同，-1表示完全相反，0表示两幅图像之间没有线性关系：
其中，(x,y)表示为图像的二维像素值(也即二维坐标)，T表示模板图像，I表示带匹配图像，模板图像的宽和高分别为w和h，x’＝0-w-1，y’＝h-1，R表示匹配结果。当模板图像(小图像)在待匹配图像(大图)中从左到右从上到下滑动匹配的时候，记录模板图像左上角的位置为当前模板的位置(x,y)，上述函数就是要求解此时二者的匹配度，并将结果存在矩阵R中。
在一实施例中，执行本步骤时，除了需要判断新检测到的人和跟踪器跟踪的人是不是同一个人，还需要判断多相机阵列不同视角下检测到的人是不是同一个人。
行人重识别技术(person ReID)是利用计算机技术判断图像后者视频序列中是否存在特定人的一项技术，给定一个监控行人的图像，检索跨设备下该人的图像。PersonReID弥补了固定摄像头的视觉局限。ReID领域已经被研究了多年，但是仍然存在一些挑战性，主要原因：
1)人体的特征很难对齐。之前的一些方法要么是全局特征，或者是人工设计的水平窗口，因而特征很难对齐。针对这个问题，于一实施例中，借鉴人体地标(Humanlandmark)的方式，并且利用建议网络(RPN)来生成人脸的区域，用来进行REID的是一个多阶段的感兴趣区域(ROI)是从多个区域提取得到，这样保证人脸部位能够很好的对齐。
2)一些细节信息对于区别个体非常有用。大多数的REID方法采用了全局特征，因而很难获得这些细节的信息。
3)遮挡对于REID是一个挑战。有的部位由于被遮挡因而进行关联操作的时候会非常的困难。因此，在遮挡发生的时候，相应区域的特征的重要性就应该被削弱。之前REID方法并未采用特征选择和过滤策略，这就意味着所有的部分都被赋予了相同的重要性。但是事实是，不同的区域应该有着不同的重要性。为了更好地利用区域特征，可采用一种树形融合策略而不是将所有的特征进行简单的拼接，从而不同语义层次的区域特征分别在不同的阶段进行语义融合。
举例来说，对于各所述人脸图像，首先，将其中的当前人脸划分成多个区域，如：额头子区域、左眼子区域、右眼子区域、鼻子子区域、嘴巴子区域、下巴子区域等；其次，引导多阶段特征提取网络(FEN，Feature Extraction Network)，也即：将整个人脸图像和多个子区域图像一起作为RPN网络的输入，以得到其输出的当前人脸图像的全局特征向量和各子区域所对应的特征向量；再次，利用树结构竞争特征融合网络(FFN，Feature FusionNetwork)，FFN网络将全局像特征向量和各子区域的特征向量合并在一起来计算最终的特征向量。最终的特征向量可以用来区分不同的人脸，若各所述人脸图像的最终特征向量匹配，则说明各所述人脸图像中的当前人脸是同一个人的人脸。
S14：令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像。
也就是说，用新获得的旋转角度更小的人脸图像取代之前保存的最正脸图像。
S15：判断当前人脸是否离开跟踪范围；若是，则执行步骤S16；反之，返回步骤S13。
也就是说，在跟踪器失去跟踪目标后，执行步骤S16，反之执行步骤S13以不断刷新保存的最正脸图像。
S16：输出最终的人脸图像，以作为当前人脸的最正脸图像。
实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。基于这样的理解，本发明还提供一种计算机程序产品，包括一个或多个计算机指令。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(如：软盘、硬盘、磁带)、光介质(如：DVD)、或者半导体介质(如：固态硬盘Solid State Disk(SSD))等。
参阅图2，本实施例提供一种基于多相机阵列的最正脸图像输出系统20，作为一款软件搭载于电子设备中，以在运行时执行前述方法实施例所述的基于多相机阵列的最正脸图像输出方法。由于本系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
本实施例的基于多相机阵列的最正脸图像输出系统具体包括：通信模块21、处理模块22。通信模块21用于执行前述方法实施例介绍的步骤S11，处理模块22用于执行前述方法实施例介绍的步骤S12～S16。
本领域技术人员应当理解，图2实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个或多个物理实体上。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块22可以为单独设立的处理元件，也可以集成在某一个芯片中实现，此外，也可以以程序代码的形式存储于存储器中，由某一个处理元件调用并执行处理模块22的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
参阅图3，本实施例提供一种电子设备，电子设备可以台式机、便携式电脑、智能手机等设备。详细的，电子设备至少包括通过总线31连接的：存储器32、处理器33，其中，存储器32用于存储计算机程序，处理器33用于执行存储器32存储的计算机程序，以执行前述方法实施例中的全部或部分步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的基于多相机阵列的最正脸图像输出方法及输出系统，基于空间上的最正脸抓拍，对于多相机多目标的监控场景，某一时刻，多个相机同时检测到了某一个人，以及通过面部关键点信息计算出此人脸部在三维空间中的角度，从中选取一个最小的角度对应的人脸图像即为该人在该时刻最正的脸部图像；基于时间上的最正脸抓拍，对于多相机多目标监控场景中的某一个人，跟踪检测到的人脸，当检测到人脸三个角度的偏移都更小且在追踪结束时输出人脸图像，这样不仅保证了最正脸的精确性，同时减少了每一帧都输出人脸给系统带来的不必要的负担。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种基于多相机阵列的最正脸图像输出方法，其特征在于，包括：
获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；
分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；
判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；
若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像，以作为当前人脸的最正脸图像。
2.根据权利要求1所述的方法，其特征在于，分析各所述人脸图像中当前人脸的旋转角度的步骤，包括：
分别从各所述人脸图像中提取一定数量的第一关键点；
从标准正脸三维模型中提取与各所述第一关键点位置对应的第二关键点；
对于各所述人脸图像，根据其第一关键点、对应的第二关键点、及相机参数，计算当前人脸的三轴旋转矩阵，并将所述三轴旋转矩阵中的三个角度的绝对值的平均值作为当前人脸的旋转角度。
3.根据权利要求1所述的方法，其特征在于，在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，所述方法还包括：
通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸；
若是，则执行后续判断步骤。
4.根据权利要求3所述的方法，其特征在于，通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸的步骤，包括：
对于各所述人脸图像，将其中的当前人脸划分成多个区域；
生成当前人脸图像的全局特征向量及其各区域图像所对应的各特征向量；
合并所述全局特征向量及各所述特征向量以生成最终特征向量；
若各所述人脸图像的最终特征向量匹配，则说明各所述人脸图像中的当前人脸是同一个人的人脸。
5.根据权利要求1所述的方法，其特征在于，在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，所述方法还包括：
通过模板匹配方法判断新获取的人脸图像是否为当前人脸的人脸图像；
若是，则执行后续判断步骤。
6.一种基于多相机阵列的最正脸图像输出系统，其特征在于，包括：
通信模块，用于获取多相机阵列于一时刻捕捉到的当前人脸的多张人脸图像；
处理模块，用于分析各所述人脸图像中当前人脸的旋转角度，并从中选择旋转角度最小的人脸图像；判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像；若是，则令所述新获取的人脸图像取代所选择的旋转角度最小的人脸图像，直至当前人脸离开跟踪范围时输出最终的人脸图像，以作为当前人脸的最正脸图像。
7.根据权利要求6所述的系统，其特征在于，所述处理模块分析各所述人脸图像中当前人脸的旋转角度的实现方式包括：
分别从各所述人脸图像中提取一定数量的第一关键点；
从标准正脸三维模型中提取与各所述第一关键点位置对应的第二关键点；
对于各所述人脸图像，根据其第一关键点、对应的第二关键点、及相机参数，计算当前人脸的三轴旋转矩阵，并将所述三轴旋转矩阵中的三个角度的绝对值的平均值作为当前人脸的旋转角度。
8.根据权利要求6所述的系统，其特征在于，所述处理模块在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，还用于：
通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸；
若是，则执行后续判断步骤。
9.根据权利要求8所述的系统，其特征在于，所述处理模块通过行人重识别技术判断所述多相机阵列跟踪的当前人脸是否是同一个人的人脸的实现方式包括：
对于各所述人脸图像，将其中的当前人脸划分成多个区域；
生成当前人脸图像的全局特征向量及其各区域图像所对应的各特征向量；
合并所述全局特征向量及各所述特征向量以生成最终特征向量；
若各所述人脸图像的最终特征向量匹配，则说明各所述人脸图像中的当前人脸是同一个人的人脸。
10.根据权利要求6所述的系统，其特征在于，所述处理模块在判断所述多相机阵列在跟踪当前人脸时新获取的人脸图像中当前人脸的旋转角度是否小于所选择的旋转角度最小的人脸图像之前，还用于：
通过模板匹配方法判断新获取的人脸图像是否为当前人脸的人脸图像；
若是，则执行后续判断步骤。
11.一种存储介质，其中存储有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1至5中任一所述的基于多相机阵列的最正脸图像输出方法。
12.一种电子设备，其特征在于，包括：处理器、及存储器；其中，
所述存储器用于存储计算机程序；
所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1至5中任一所述的基于多相机阵列的最正脸图像输出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983213.9A CN109214324A (zh) | 2018-08-27 | 2018-08-27 | 基于多相机阵列的最正脸图像输出方法及输出系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810983213.9A CN109214324A (zh) | 2018-08-27 | 2018-08-27 | 基于多相机阵列的最正脸图像输出方法及输出系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109214324A true CN109214324A (zh) | 2019-01-15 |
Family
ID=64985896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810983213.9A Pending CN109214324A (zh) | 2018-08-27 | 2018-08-27 | 基于多相机阵列的最正脸图像输出方法及输出系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109214324A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175589A (zh) * | 2019-05-31 | 2019-08-27 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对摄像机的家居零售业信息共享平台 |
| CN110197162A (zh) * | 2019-05-31 | 2019-09-03 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对的多通讯方式全角度抓拍摄像机 |
| CN110532997A (zh) * | 2019-09-05 | 2019-12-03 | 杭州视在科技有限公司 | 一种用于机场的多相机融合自动获取站坪完整信息的方法 |
| CN111667479A (zh) * | 2020-06-10 | 2020-09-15 | 创新奇智(成都)科技有限公司 | 目标图像的图案核验方法及装置、电子设备、存储介质 |
| CN112131904A (zh) * | 2019-06-24 | 2020-12-25 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN114267068A (zh) * | 2021-12-24 | 2022-04-01 | 北京的卢深视科技有限公司 | 基于连续帧信息的人脸识别方法、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916384A (zh) * | 2010-09-01 | 2010-12-15 | 汉王科技股份有限公司 | 一种人脸图像重建方法、装置及人脸识别系统 |
| CN102609695A (zh) * | 2012-02-14 | 2012-07-25 | 上海博物馆 | 一种多角度人脸识别方法及系统 |
| CN102693418A (zh) * | 2012-05-17 | 2012-09-26 | 上海中原电子技术工程有限公司 | 多姿态人脸识别方法及系统 |
| CN103473564A (zh) * | 2013-09-29 | 2013-12-25 | 公安部第三研究所 | 一种基于敏感区域的正面人脸检测方法 |
| CN104751144A (zh) * | 2015-04-02 | 2015-07-01 | 山东大学 | 一种面向视频监控的正面人脸快速评价方法 |
| CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及系统 |
| CN105046245A (zh) * | 2015-08-28 | 2015-11-11 | 深圳英飞拓科技股份有限公司 | 视频人脸检测评价方法 |
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
-
2018
- 2018-08-27 CN CN201810983213.9A patent/CN109214324A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916384A (zh) * | 2010-09-01 | 2010-12-15 | 汉王科技股份有限公司 | 一种人脸图像重建方法、装置及人脸识别系统 |
| CN102609695A (zh) * | 2012-02-14 | 2012-07-25 | 上海博物馆 | 一种多角度人脸识别方法及系统 |
| CN102693418A (zh) * | 2012-05-17 | 2012-09-26 | 上海中原电子技术工程有限公司 | 多姿态人脸识别方法及系统 |
| CN103473564A (zh) * | 2013-09-29 | 2013-12-25 | 公安部第三研究所 | 一种基于敏感区域的正面人脸检测方法 |
| CN104751144A (zh) * | 2015-04-02 | 2015-07-01 | 山东大学 | 一种面向视频监控的正面人脸快速评价方法 |
| CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及系统 |
| CN105046245A (zh) * | 2015-08-28 | 2015-11-11 | 深圳英飞拓科技股份有限公司 | 视频人脸检测评价方法 |
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| 戴锋: "《Visual C++程序设计基础》", 30 April 2001, 清华大学出版社 * |
| 熊黎丽 等: "基于三维重建的人脸姿态估计", 《重庆邮电大学学报（自然科学版）》 * |
| 英红: "《基于视觉的水泥路面病害检测方法》", 30 November 2014, 电子科技大学出版社 * |
| 蔡晓东: "基于多分支卷积神经网络的车辆图像比对方法", 《电视技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175589A (zh) * | 2019-05-31 | 2019-08-27 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对摄像机的家居零售业信息共享平台 |
| CN110197162A (zh) * | 2019-05-31 | 2019-09-03 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对的多通讯方式全角度抓拍摄像机 |
| CN112131904A (zh) * | 2019-06-24 | 2020-12-25 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN112131904B (zh) * | 2019-06-24 | 2024-03-15 | 曜科智能科技（上海）有限公司 | 基于图匹配的多目标跨镜追踪方法、装置、设备和介质 |
| CN110532997A (zh) * | 2019-09-05 | 2019-12-03 | 杭州视在科技有限公司 | 一种用于机场的多相机融合自动获取站坪完整信息的方法 |
| CN111667479A (zh) * | 2020-06-10 | 2020-09-15 | 创新奇智(成都)科技有限公司 | 目标图像的图案核验方法及装置、电子设备、存储介质 |
| CN114267068A (zh) * | 2021-12-24 | 2022-04-01 | 北京的卢深视科技有限公司 | 基于连续帧信息的人脸识别方法、电子设备及存储介质 |
| CN114267068B (zh) * | 2021-12-24 | 2022-11-01 | 合肥的卢深视科技有限公司 | 基于连续帧信息的人脸识别方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147717B (zh) | 一种人体动作的识别方法及设备 | |
| US11928800B2 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
| CN109214324A (zh) | 基于多相机阵列的最正脸图像输出方法及输出系统 | |
| US10096122B1 (en) | Segmentation of object image data from background image data | |
| Zhang et al. | Spatio-temporal fusion for macro-and micro-expression spotting in long video sequences | |
| KR100714724B1 (ko) | 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템 | |
| CN104933414B (zh) | 一种基于wld-top的活体人脸检测方法 | |
| US7929728B2 (en) | Method and apparatus for tracking a movable object | |
| JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2015070764A1 (zh) | 一种人脸定位的方法与装置 | |
| US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
| CN109255802B (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
| Seo et al. | Effective and efficient human action recognition using dynamic frame skipping and trajectory rejection | |
| CN109271923A (zh) | 人脸姿态检测方法、系统、电子终端及存储介质 | |
| WO2022174523A1 (zh) | 一种提取行人的步态特征的方法、步态识别方法及系统 | |
| US9323989B2 (en) | Tracking device | |
| Kheirkhah et al. | A hybrid face detection approach in color images with complex background | |
| Zhang et al. | Fast moving pedestrian detection based on motion segmentation and new motion features | |
| JP2018088049A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| CN113228105A (zh) | 一种图像处理方法、装置和电子设备 | |
| CN108875488B (zh) | 对象跟踪方法、对象跟踪装置以及计算机可读存储介质 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| CN107145820B (zh) | 基于hog特征和fast算法的双眼定位方法 | |
| Demirkus et al. | People detection in fish-eye top-views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190115 |