CN108090473B - 多相机下人脸识别的方法及装置 - Google Patents

多相机下人脸识别的方法及装置 Download PDF

Info

Publication number
CN108090473B
CN108090473B CN201810031468.5A CN201810031468A CN108090473B CN 108090473 B CN108090473 B CN 108090473B CN 201810031468 A CN201810031468 A CN 201810031468A CN 108090473 B CN108090473 B CN 108090473B
Authority
CN
China
Prior art keywords
face
camera
picture
matrix
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810031468.5A
Other languages
English (en)
Other versions
CN108090473A (zh
Inventor
张默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moshanghua Technology Co ltd
Original Assignee
Beijing Moshanghua Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moshanghua Technology Co ltd filed Critical Beijing Moshanghua Technology Co ltd
Priority to CN201810031468.5A priority Critical patent/CN108090473B/zh
Publication of CN108090473A publication Critical patent/CN108090473A/zh
Application granted granted Critical
Publication of CN108090473B publication Critical patent/CN108090473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种多相机下人脸识别方法及装置。该方法包括:根据人脸图片得到人脸特征信息;对多个相机编码获得相机标号;根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵;确定目标人脸图片和所述目标人脸图片所属的相机;选择联合贝叶斯矩阵,得到人脸相似度;通过人脸相似度识别出人脸;采用对多个相机编码获得相机标号的方式,通过所述相机标号对应的所述相机和人脸特征信息训练多个联合贝叶斯矩阵,解决了由于相关技术中仅靠光照强度等级划分不同的样本图片来计算相似度而不能解决真实环境中其它变化因素对计算结果的影响的问题。

Description

多相机下人脸识别的方法及装置
技术领域
本发明涉及人脸识别领域,具体而言,涉及一种多相机下人脸识别的方法及装置。
背景技术
随着智慧城市建设的推进和智能安防技术的革新,在视频监控领域中的智能视频分析技术,成为节省人力物力、提高监控安全等级的有效手段。其中,人脸目标是监控系统的重点关注目标,对其进行识别和监测是智能视频分析技术的重要功能。
由于在视频监控系统中的相机拍摄视频质量参差不齐,拍摄角度和光照条件各异,出现在拍摄画面中的人脸姿态多变、遮挡程度不同等缺点,因此,对目标人脸的多相机下持续识别是智能视频监控领域的一大难题。
相关技术中是根据光照强度等级划分不同的样本图片来计算相似度的,通过选取当前测试样本和当前光照强度等级对应的数据库中的人脸图片,进行相似度计算;此中方法只关注了图片中人脸的光照变化,对真实环境中还存在的拍摄角度,姿态等其它变化因素没有达到有效的解决效果。因此,急需一种多相机下人脸识别的方法及装置,以解决相关技术中仅靠光照强度等级划分不同的样本图片来计算相似度而不能解决真实环境中其它变化因素对计算结果的影响的问题。
发明内容
本发明的主要目的在于提供一种多相机下人脸识别的方法,以解决相关技术中仅靠光照强度等级划分不同的样本图片来计算相似度而不能解决真实环境中其它变化因素对计算结果的影响的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种多相机下人脸识别的方法。根据本发明的多相机下人脸识别的方法包括:根据人脸图片得到人脸特征信息;对多个相机编码获得相机标号;根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵;确定目标人脸图片和所述目标人脸图片所属的相机;选择联合贝叶斯矩阵,得到人脸相似度;通过人脸相似度识别出人脸。
进一步的,所述部署多个相机用于采集人脸图片包括:
通过Haar矩形框,得到人脸特征值;
将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;
通过Haar-link特征算法,得到人脸位置;
截取图片中人脸部位,得到人脸图片。
进一步的,所述根据人脸图片得到人脸特征信息,包括如下步骤:
将所述人脸图片输入卷积神经网络模型,其中所述卷积神经网络包括卷积层、批规范化层和池化层;
通过卷积层,获取特征信息;
通过批规范化层,提升网络性能;
通过池化层,得到低维度人脸特征信息。
进一步的,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
根据联合贝叶斯矩阵,得到目标人脸分布x=μ+ξ,其中,μ表示不同人的人脸变化,ξ表示相同人在不同光照、姿态、表情下的人脸变化。
进一步,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
通过不同标号的相机,获得训练参数,所述训练参数为第一相机和第二相机所属的相机标号、人脸标签和人脸特征信息中任意一项或者多项;
根据所述训练参数,得到联合贝叶斯矩阵中的协方差矩阵Sμ和协方差矩阵Sξ,其中,Sμ表示不同人情况下的协方差矩阵,Sξ表示相同人情况下的协方差矩阵;
根据协方差矩阵Sμ和协方差矩阵Sξ,得到训练后的联合贝叶斯矩阵A=(Sμ+Sξ)-1-(F+G),其中,替代变量
Figure GDA0002973204830000031
替代变量
Figure GDA0002973204830000032
进一步的,所述选择联合贝叶斯矩阵,得到人脸相似度包括:
通过所述训练后的联合贝叶斯矩阵A,得到人脸相似度
Figure GDA0002973204830000033
其中,i和j表示所述对比图片所对应的相机标号,x1和x2表示两张对比图片,T表示矩阵转置,HI表示相同人情况下的假设,HE表示不同人情况下的假设,P表示概率。
进一步的,所述选择联合贝叶斯矩阵,得到人脸相似度包括:
通过协方差矩阵Sμ得到相同人情况下的概率
Figure GDA0002973204830000034
通过协方差矩阵Sξ得到不同人情况下的概率
Figure GDA0002973204830000035
通过相同人情况下的概率和不同人情况下的概率,得到人脸相似度
Figure GDA0002973204830000036
为了实现上述目的,根据本发明的另一方面,提供了一种多相机下人脸识别装置。根据本发明的多相机下人脸识别装置包括:
人脸检测单元,用于部署多个相机用于采集人脸图片;
特征提取单元,用于根据人脸图片得到人脸特征信息;
相机编码单元,用于对多个相机编码获得相机标号;
矩阵训练单元,用于根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵;
确定目标单元,用于确定目标人脸图片和所述目标人脸图片所属的相机;
相似度计算单元,用于选择联合贝叶斯矩阵,得到人脸相似度;
人脸识别单元,用于通过人脸相似度识别出人脸。
进一步的,所述人脸检测单元包括:
人脸特征值获取模块,用于通过Haar矩形框,得到人脸特征值;
特征值比较模块,用于将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;
人脸位置获取模块,用于通过Haar-link特征算法,得到人脸位置;
人脸图片获取模块,用于截取图片中人脸部位,得到人脸图片。
进一步的,所述特征提取单元包括:
图片输入模块,用于将所述人脸图片输入卷积神经网络模型;
卷积层处理模块,用于通过卷积层,获取局部特征信息;
批规范化层处理模块,用于通过批规范化层,提升网络性能;
池化层处理模块,用于通过池化层,得到低维度人脸特征信息。
在本发明实施例中,采用对多个相机编码获得相机标号的方式,通过所述相机标号对应的所述相机和人脸特征信息训练多个联合贝叶斯矩阵,达到了在确定目标人脸图片和目标人脸图片所属的相机后能够选择训练好的联合贝叶斯矩阵得到人脸相似度的目的,从而克服了多变因素下对计算结果造成的影响的技术效果,进而解决了由于相关技术中仅靠光照强度等级划分不同的样本图片来计算相似度而不能解决真实环境中其它变化因素对计算结果的影响的问题。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,使得本发明的其它特征、目的和优点变得更明显。本发明的示意性实施例附图及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明所述的多相机下人脸识别的方法的流程示意图;
图2是根据本发明所述的部署多个相机采集人脸图片的流程示意图;
图3是根据本发明所述的根据人脸图片得到人脸特征信息的流程示意图;
图4是根据本发明所述的根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵的流程示意图;
图5是根据本发明所述的所述选择联合贝叶斯矩阵,得到人脸相似度的流程示意图;
图6是根据本发明所述的多相机下人脸识别的智能装置的框图结构示意图;
图7是根据本发明所述的人脸检测单元模版原理示意图;以及
图8是根据本发明所述的特征提取单元模版原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示,该方法包括如下的步骤S101至步骤S106:
步骤S101,根据人脸图片得到人脸特征信息,具体的,通过卷积神经网络模型从人脸图片中提取高层次的人脸特征信息;
步骤S102,对多个相机编码获得相机标号,使每部相机拥有自身唯一标号;
步骤S103,根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵,具体的,选取两部相机标号不同的相机及其所属的人脸特征信息,用来作为训练数据对一个联合贝叶斯矩阵进行训练,得到训练后的适用于所述这两部相机的联合贝叶斯矩阵;
步骤S104,确定目标人脸图片和所述目标人脸图片所属的相机;
步骤S105,选择联合贝叶斯矩阵,得到人脸相似度,根据与所述相机对应的所有联合贝叶斯矩阵,通过贝叶斯算法计算得到人脸相似度;
步骤S106,通过人脸相似度识别出人脸。
如图2所示,本申请的另一可选实施例中,在步骤S101之前还包括如下的步骤S201至步骤S204:
步骤S201,通过Haar矩形框,得到人脸特征值,具体是把多种包含黑白两种区间的矩形框,放到待检测的人脸图片上,用白色区域像素值的和减去黑色区域的像素值的和,作为人脸特征值;
步骤S202,将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;
步骤S203,通过Haar-link特征算法,得到人脸位置;
步骤S204,截取图片中人脸部位,得到人脸图片,并把人脸图片裁剪成128x96大小,留作后续步骤使用。
如图3所示,本申请的另一可选实施例中,所述根据人脸图片得到人脸特征信息,包括如下步骤S301至步骤S304:
步骤S301,将所述人脸图片输入卷积神经网络模型,其中所述卷积神经网络主要包括卷积层、批规范化层和池化层,具体的,使用ResNet-101神经网络模型,对人脸图片进行抽取高层次的特征向量,特征维度为2048;
步骤S302,通过卷积层,获取特征信息;
步骤S303,通过批规范化层,提升网络性能;
步骤S304,通过池化层,得到低维度人脸特征信息,网络中引入了残差网络结构,能够进行大量的网络堆叠,提取更高层的特征语义向量,最后得到2048维度的向量为人脸图片的特征表示,并和所属相机标号一起,存储在人脸特征库中。
本申请的另一可选实施例中,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
根据联合贝叶斯矩阵,得到目标人脸分布x=μ+ξ,其中,μ表示不同人的人脸变化,ξ表示相同人在不同光照、姿态、表情下的人脸变化,这两个潜在变量μ和ξ分布服从两个高斯分布:N(0,Sμ)和N(0,Sξ),Sμ和Sξ代表待定的协方差矩阵,可以通过训练得到。
如图4所示,本申请的另一可选实施例中,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括如下的步骤S401至步骤S403:
步骤S401,通过不同标号的相机,获得训练参数,所述训练参数为第一相机和第二相机所属的相机标号、人脸标签和人脸特征信息中任意一项或者多项;
步骤S402,根据所述训练参数,得到联合贝叶斯矩阵中的协方差矩阵Sμ和协方差矩阵Sξ,其中,Sμ表示不同人情况下的协方差矩阵,Sξ表示相同人情况下的协方差矩阵,具体的,由于相机A拍摄的10张人脸图片和相机B拍摄的10张人脸图片中的目标人物在光照强度、拍摄角度、遮挡程度或其他变化因素上存在差异,所以将相机A的相机标号、相机A所拍摄的10张人脸图片所对应的人脸特征信息和与所述人脸特征信息对应的人脸标签与相机B的相机标号、相机B所拍摄的10张人脸图片所对应的人脸特征信息和与所述人脸特征信息对应的人脸标签作为一组训练数据,对一个联合贝叶斯矩阵ab进行训练,得到联合贝叶斯矩阵ab中的协方差矩阵Sμ和协方差矩阵Sξ
步骤S403,根据协方差矩阵Sμ和协方差矩阵Sξ,得到训练后的联合贝叶斯矩阵A=(Sμ+Sξ)-1-(F+G),其中,替代变量
Figure GDA0002973204830000081
替代变量
Figure GDA0002973204830000082
本申请的另一可选实施例中,所述选择联合贝叶斯矩阵,得到人脸相似度包括:
通过所述训练后的联合贝叶斯矩阵A,得到人脸相似度
Figure GDA0002973204830000083
具体的,假设目标人物现在在相机i前拍摄了一张图片并成为目标图片,相机i即为目标图片所属的相机,将目标图片的人脸特征信息进行提取,然后与相机j所拍摄的10张目标人物的人脸图片所对应的人脸特征信息通过包含联合贝叶斯矩阵A的贝叶斯算法分别进行人脸相似度计算,得到10个对比结果
Figure GDA0002973204830000091
其中,i和j表示所述对比图片所对应的相机标号,x1和x2表示两张对比图片,T表示矩阵转置,HI表示相同人情况下的假设,HE表示不同人情况下的假设,P表示概率。
如图5所示,本申请的另一可选实施例中,所述选择联合贝叶斯矩阵,得到人脸相似度包括如下的步骤S501至步骤S503:
步骤S501,通过协方差矩阵Sμ得到相同人情况下的概率
Figure GDA0002973204830000092
其中,在两个相同人条件下,μ1和μ2是相同的,ξ1和ξ2是相互独立的;
步骤S502,通过协方差矩阵Sξ得到不同人情况下的概率
Figure GDA0002973204830000093
其中,在两个不同人的情况下,μ和ξ都是独立的;
步骤S503,通过相同人情况下的概率和不同人情况下的概率,得到人脸相似度
Figure GDA0002973204830000094
其中,上述人脸相似度公式基于最大后验概率准则。
从以上的描述中,可以看出,本发明实现了如下技术效果:
在本发明实施例中,采用对多个相机编码获得相机标号的方式,通过所述相机标号对应的所述相机和人脸特征信息训练多个联合贝叶斯矩阵,达到了在确定目标人脸图片和目标人脸图片所属的相机后能够选择训练好的联合贝叶斯矩阵得到人脸相似度的目的,从而克服了多变因素下对计算结果造成的影响的技术效果,进而解决了由于相关技术中仅靠光照强度等级划分不同的样本图片来计算相似度而不能解决真实环境中其它变化因素对计算结果的影响的问题。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述多相机下人脸识别的方法的装置,如图6所示,该装置包括:人脸检测单元10,用于部署多个相机用于采集人脸图片;特征提取单元20,用于根据人脸图片得到人脸特征信息,具体的,通过卷积神经网络模型从人脸图片中提取高层次的人脸特征信息;相机编码单元30,用于对多个相机编码获得相机标号,使每部相机拥有自身唯一标号;矩阵训练单元40,用于根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵,具体的,选取两部相机标号不同的相机及其所属的人脸特征信息,用来作为训练数据对一个联合贝叶斯矩阵进行训练,得到训练后的适用于所述这两部相机的联合贝叶斯矩阵;确定目标单元50,用于确定目标人脸图片和所述目标人脸图片所属的相机;相似度计算单元60,用于选择联合贝叶斯矩阵,得到人脸相似度,根据与所述相机对应的所有联合贝叶斯矩阵,通过贝叶斯算法计算得到人脸相似度;人脸识别单元70,用于通过人脸相似度识别出人脸。
如图7所示,进一步的,所述人脸检测单元10包括:人脸特征值获取模块01,用于通过Haar矩形框,得到人脸特征值,具体是把多种包含黑白两种区间的矩形框,放到待检测的人脸图片上,用白色区域像素值的和减去黑色区域的像素值的和,作为人脸特征值;特征值比较模块02,用于将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;人脸位置获取模块03,用于通过Haar-link特征算法,得到人脸位置;人脸图片获取模块04,用于截取图片中人脸部位,得到人脸图片,并把人脸图片裁剪成128x96大小,留作后续步骤使用。
如图8所示,进一步的,所述特征提取单元20包括:图片输入模块11,用于将所述人脸图片输入卷积神经网络模型,其中所述卷积神经网络主要包括卷积层、批规范化层和池化层,具体的,使用ResNet-101神经网络模型,对人脸图片进行抽取高层次的特征向量,特征维度为2048;卷积层处理模块12,用于通过卷积层,获取局部特征信息;批规范化层处理模块13,用于通过批规范化层,提升网络性能;池化层处理模块14,用于通过池化层,得到低维度人脸特征信息,具体的,选择特征信息,降低维度,网络中引入了残差网络结构,能够进行大量的网络堆叠,提取更高层的特征语义向量,最后得到2048维度的向量为人脸图片的特征表示,并和所属相机标号一起,存储在人脸特征库中。
首先,假设监控系统内包含三台相机:相机A、相机B和相机C,通过编码分别拥有自身唯一相机标号,目标人物分别通过相机A拍摄了10张图片、通过相机B拍摄了10张图片、通过相机C拍摄了10张图片,其中,所拍摄到的图片通过Haar矩形框,得到人脸特征值,具体是把多种包含黑白两种区间的矩形框,放到待检测的人脸图片上,用白色区域像素值的和减去黑色区域的像素值的和,作为人脸特征值,由此和有人脸的图片的特征值比较,来区分人脸和非人脸,再通过Haar-link特征算法,得到人脸位置,并把人脸图片裁剪成128x96大小,留作后续步骤使用。
然后,将所述人脸图片输入卷积神经网络模型,其中所述卷积神经网络主要包括卷积层、批规范化层和池化层,具体的,使用ResNet-101神经网络模型,对人脸图片进行抽取高层次的特征向量,特征维度为2048;再通过卷积层,获取局部特征信息;再通过批规范化层,提升网络性能;最后通过池化层,得到低维度人脸特征信息,具体的,选择特征信息,降低维度,网络中引入了残差网络结构,能够进行大量的网络堆叠,提取更高层的特征语义向量,最后得到2048维度的向量最为人脸图片的特征表示,并和所属相机标号一起,存储在人脸特征库中。
再然后,由于相机A拍摄的10张人脸图片和相机B拍摄的10张人脸图片中的目标人物在光照强度、拍摄角度、遮挡程度或其他变化因素上存在差异,所以将相机A的相机标号、相机A所拍摄的10张人脸图片所对应的人脸特征信息和与所述人脸特征信息对应的人脸标签与相机B的相机标号、相机B所拍摄的10张人脸图片所对应的人脸特征信息和与所述人脸特征信息对应的人脸标签作为一组训练数据,对一个联合贝叶斯矩阵ab进行训练,得到联合贝叶斯矩阵ab中的协方差矩阵Sμ和协方差矩阵Sξ,其中,Sμ表示不同人情况下的协方差矩阵,Sξ表示相同人情况下的协方差矩阵;再根据协方差矩阵Sμ和协方差矩阵Sξ,得到训练后的联合贝叶斯矩阵ab=(Sμ+Sξ)-1-(F+G),其中,替代变量
Figure GDA0002973204830000121
替代变量
Figure GDA0002973204830000122
同理可以得到相机A与相机C之间的联合贝叶斯矩阵ac=(Sμ+Sξ)-1-(F+G)和相机B与相机C之间的联合贝叶斯矩阵bc=(Sμ+Sξ)-1-(F+G)。
最后,假设目标人物现在在相机A前拍摄了一张图片并成为目标图片,相机A即为目标图片所属的相机,将目标图片的人脸特征信息进行提取,然后与相机B所拍摄的10张目标人物的人脸图片所对应的人脸特征信息通过包含联合贝叶斯矩阵ab的贝叶斯算法分别进行人脸相似度计算,得到10个对比结果
Figure GDA0002973204830000123
其中,A表示联合贝叶斯矩阵ab,a和b表示所述对比图片所对应的相机标号,x1和x2表示两张对比图片,T表示矩阵转置,HI表示相同人情况下的假设,HE表示不同人情况下的假设,概率
Figure GDA0002973204830000124
同时与相机C所拍摄的10张目标人物的人脸图片所对应的人脸特征信息通过包含联合贝叶斯矩阵ac的贝叶斯算法分别进行人脸相似度计算,得到10个对比结果
Figure GDA0002973204830000125
其中,A表示联合贝叶斯矩阵ac,a和c表示所述对比图片所对应的相机标号;将20个人脸相似度计算结果进行展示并从中识别出目标目标人物。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种多相机下人脸识别方法,其特征在于,部署多个相机用于采集人脸图片,所述方法包括如下步骤:
根据人脸图片得到人脸特征信息;
对多个相机编码获得相机标号;
部署多个相机用于采集人脸图片,包括:通过Haar矩形框,得到人脸特征值,具体是把多个包含黑白两种区间的矩形框,放到待检测的人脸图片上,用白色区域像素值的和减去黑色区域的像素值的和,作为人脸特征值;根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵;
确定目标人脸图片和所述目标人脸图片所属的相机;
选择联合贝叶斯矩阵,得到人脸相似度;以及
通过人脸相似度识别出人脸;
所述根据人脸图片得到人脸特征信息包括:
将人脸图片输入卷积神经网络模型对人脸图片抽取特征向量,其中网络中引入了残差网络结构,能够进行网络堆叠,提取特征语义向量;
所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
选取两部相机标号不同的相机及其所属的人脸特征信息,用来作为训练数据对一个联合贝叶斯矩阵进行训练得到适用于所述这两部相机的联合贝叶斯矩阵,多个相机对应可以得到多个联合贝叶斯矩阵;
所述选择联合贝叶斯矩阵,得到人脸相似度包括:选择与所述目标人脸图片所属的相机对应的多个联合贝叶斯矩阵,分别基于每个联合贝叶斯矩阵计算目标人脸图片与该联合贝叶斯矩阵对应的另一个相机拍摄的图片之间的相似度;
通过人脸相似度识别出人脸包括:
通过目标人脸图片基于多个联合贝叶斯矩阵计算得到的所有相似度结果识别出目标人物。
2.根据权利要求1所述的多相机下人脸识别方法,其特征在于,所述部署多个相机用于采集人脸图片包括:
将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;
通过Haar-link特征算法,得到人脸位置;
截取图片中人脸部位,得到人脸图片。
3.根据权利要求1所述的多相机下人脸识别方法,其特征在于,所述根据人脸图片得到人脸特征信息,包括如下步骤:
将所述人脸图片输入卷积神经网络模型,其中所述卷积神经网络包括卷积层、批规范化层和池化层;
通过卷积层,获取特征信息;
通过批规范化层,提升网络性能;
通过池化层,得到人脸特征信息。
4.根据权利要求1所述的多相机下人脸识别方法,其特征在于,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
根据联合贝叶斯矩阵,得到目标人脸分布x=μ+ξ,其中,μ表示不同人的人脸变化,ξ表示相同人在不同光照、姿态、表情下的人脸变化。
5.根据权利要求4所述的多相机下人脸识别方法,其特征在于,所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
通过不同标号的相机,获得训练参数,所述训练参数为第一相机和第二相机所属的相机标号、人脸标签和人脸特征信息中任意一项或者多项;
根据所述训练参数,得到联合贝叶斯矩阵中的协方差矩阵Sμ和协方差矩阵Sξ,其中,Sμ表示不同人情况下的协方差矩阵,Sξ表示相同人情况下的协方差矩阵;
根据协方差矩阵Sμ和协方差矩阵Sξ,得到训练后的联合贝叶斯矩阵A=(Sμ+Sξ)-1-(F+G),其中,替代变量
Figure FDA0002973204820000031
替代变量
Figure FDA0002973204820000032
6.根据权利要求5所述的多相机下人脸识别方法,其特征在于,所述选择联合贝叶斯矩阵,得到人脸相似度包括:
通过所述训练后的联合贝叶斯矩阵A,得到人脸相似度
Figure FDA0002973204820000033
其中,i和j表示所述对比图片所对应的相机标号,x1和x2表示两张对比图片进行人脸特征信息提取后对应的矩阵,T表示矩阵转置,HI表示相同人情况下的假设,HE表示不同人情况下的假设,P表示概率,Aij为相机标号为i、j对应的联合贝叶斯矩阵;Gij为相机标号为i、j对应的联合贝叶斯矩阵中的替代变量。
7.一种多相机下人脸识别装置,其特征在于,包括:
人脸检测单元,用于部署多个相机用于采集人脸图片,其包括:通过Haar矩形框,得到人脸特征值,其包括:将多个包含黑白两种区间的矩形框,放到待检测的人脸图片上,用白色区域像素值的和减去黑色区域的像素值的和,作为人脸特征值;
特征提取单元,用于根据人脸图片得到人脸特征信息;
相机编码单元,用于对多个相机编码获得相机标号;
矩阵训练单元,用于根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵;
确定目标单元,用于确定目标人脸图片和所述目标人脸图片所属的相机;
相似度计算单元,用于选择联合贝叶斯矩阵,得到人脸相似度;
人脸识别单元,用于通过人脸相似度识别出人脸;
所述根据人脸图片得到人脸特征信息包括:
所述人脸图片输入卷积神经网络模型对人脸图片抽取特征向量,其中网络中引入了残差网络结构,能够进行网络堆叠,提取特征语义向量;
所述根据所述相机标号对应的所述相机和所述人脸特征信息,训练多个联合贝叶斯矩阵包括:
选取两部相机标号不同的相机及其所属的人脸特征信息,用来作为训练数据对一个联合贝叶斯矩阵进行训练得到适用于所述这两部相机的联合贝叶斯矩阵,多个相机对应可以得到多个联合贝叶斯矩阵;
所述选择联合贝叶斯矩阵,得到人脸相似度包括:选择与所述目标人脸图片所属的相机对应的多个联合贝叶斯矩阵,分别基于每个联合贝叶斯矩阵计算目标人脸图片与该联合贝叶斯矩阵对应的另一个相机拍摄的图片之间的相似度;
通过人脸相似度识别出人脸包括:
通过目标人脸图片基于多个联合贝叶斯矩阵计算得到的所有相似度结果识别出目标人物。
8.根据权利要求7所述的多相机下人脸识别的装置,其特征在于,所述人脸检测单元包括:
人脸特征值获取模块,用于通过Haar矩形框,得到人脸特征值;
特征值比较模块,用于将所述人脸特征值与有人脸的图片特征值比较,确定图片是否包含人脸;
人脸位置获取模块,用于通过Haar-link特征算法,得到人脸位置;
人脸图片获取模块,用于截取图片中人脸部位,得到人脸图片。
9.根据权利要求7所述的多相机下人脸识别的装置,其特征在于,所述特征提取单元包括:
图片输入模块,用于将所述人脸图片输入卷积神经网络模型;
卷积层处理模块,用于通过卷积层,获取局部特征信息;
批规范化层处理模块,用于通过批规范化层,提升网络性能;
池化层处理模块,用于通过池化层,得到人脸特征信息。
CN201810031468.5A 2018-01-12 2018-01-12 多相机下人脸识别的方法及装置 Active CN108090473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810031468.5A CN108090473B (zh) 2018-01-12 2018-01-12 多相机下人脸识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810031468.5A CN108090473B (zh) 2018-01-12 2018-01-12 多相机下人脸识别的方法及装置

Publications (2)

Publication Number Publication Date
CN108090473A CN108090473A (zh) 2018-05-29
CN108090473B true CN108090473B (zh) 2021-04-30

Family

ID=62183194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810031468.5A Active CN108090473B (zh) 2018-01-12 2018-01-12 多相机下人脸识别的方法及装置

Country Status (1)

Country Link
CN (1) CN108090473B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541454A (zh) * 2020-12-21 2021-03-23 的卢技术有限公司 一种用于视线估计的卷积神经网络设计方法
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备
CN114612959A (zh) * 2022-01-28 2022-06-10 北京深睿博联科技有限责任公司 一种用于辅助盲人人际交流的人脸识别系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517114A (zh) * 2014-12-30 2015-04-15 广州视源电子科技股份有限公司 一种元件特征识别方法与系统
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299236B (zh) * 2014-10-20 2018-02-27 中国科学技术大学先进技术研究院 一种基于场景标定结合插值的目标定位方法
CN104866833B (zh) * 2015-05-29 2018-11-09 中国科学院上海高等研究院 视频流人脸检测方法及其装置
CN105930797B (zh) * 2016-04-21 2019-03-26 腾讯科技(深圳)有限公司 一种人脸验证方法及装置
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股(北京)有限公司 表情识别方法及系统
CN106355171A (zh) * 2016-11-24 2017-01-25 深圳凯达通光电科技有限公司 一种视频监控联网系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517114A (zh) * 2014-12-30 2015-04-15 广州视源电子科技股份有限公司 一种元件特征识别方法与系统
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法

Also Published As

Publication number Publication date
CN108090473A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN108256459B (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
US11651229B2 (en) Methods and systems for face recognition
EP3888001B1 (en) Anti-spoofing
CN107153817B (zh) 行人重识别数据标注方法和装置
Salimi et al. Visual-based trash detection and classification system for smart trash bin robot
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
CN108090406B (zh) 人脸识别方法及系统
US8842889B1 (en) System and method for automatic face recognition
CN108090473B (zh) 多相机下人脸识别的方法及装置
CN110751018A (zh) 一种基于混合注意力机制的群组行人重识别方法
Zhou et al. Detecting humans in RGB-D data with CNNs
CN107918773B (zh) 一种人脸活体检测方法、装置及电子设备
US8094971B2 (en) Method and system for automatically determining the orientation of a digital image
CN114783003A (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN111539351A (zh) 一种多任务级联的人脸选帧比对方法
CN113205002A (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
CN112183504B (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN107480628B (zh) 一种人脸识别方法及装置
JP7270304B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのidを検証するための方法、及び当該方法を実施するためのモバイル装置
CN108280468A (zh) 一种基于网格的图像识别方法
CN114187644A (zh) 一种基于支持向量机的口罩人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180529

Assignee: Apple R&D (Beijing) Co., Ltd.

Assignor: BEIJING MOSHANGHUA TECHNOLOGY CO., LTD.

Contract record no.: 2019990000054

Denomination of invention: Multi-camera face recognition method and device

License type: Exclusive License

Record date: 20190211

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant