CN106599837A - 基于多图像输入的人脸识别方法及装置 - Google Patents
基于多图像输入的人脸识别方法及装置 Download PDFInfo
- Publication number
- CN106599837A CN106599837A CN201611145649.8A CN201611145649A CN106599837A CN 106599837 A CN106599837 A CN 106599837A CN 201611145649 A CN201611145649 A CN 201611145649A CN 106599837 A CN106599837 A CN 106599837A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- face
- many
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Genetics & Genomics (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多图像输入的人脸识别方法及装置，该方法包括：接收待识别对象对应的多个人脸图像；经多图像共享网络参数对接收的多个人脸图像进行特征提取得到中间特征；对中间特征进行特征合并及融合，得到多图像融合特征；计算多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。本发明人脸识别方法提高了在监控等非限制性环境下利用多人脸图像作为输入进行人脸识别的准确性，且基于多图像共享网络参数可以一次性生成多张人脸图像融合后的特征向量，较传统单独提取各人脸图像的特征向量相比，运行效率及特征稳定性均得到有效改善，具有广泛的推广应用价值。
Description
技术领域
本发明涉及生物识别技术领域，特别地，涉及一种基于多图像输入的人脸识别方法及装置。
背景技术
近年来随着社会进步对自动身份认证的迫切需求，以及生物特征识别技术的快速发展，脸部特征作为人体的内在属性之一，具有较强的自身稳定性及个体差异性；而人脸识别具有直接、方便的特点，易于用户接受，且人脸识别技术还能进一步得到关于性别、表情、年龄等更多属性信息。
当前基于人工设置提取特征(如角点、轮廓特征等)的传统方式的人脸识别技术，由于受光照、遮挡、姿态等外在因素影响较大，无法准确描述人脸特征，因而无法取得较好的人脸识别效果；随着深度学习技术的出现，人脸识别效果提升到了一个新的阶段，在一定程度上减小了光照、姿态对人脸识别效果的影响，在限制性环境下(光照、姿态可控)取得了较传统识别方法更好的识别结果。
当前人脸识别主要基于单张人脸图像与留底模板照比对，通过阈值判断是否属于同一个人，然而外部环境较为复杂多样，仅通过单张人脸作为认证照对图像质量(包含姿态、光照、是否有眼镜、口罩、帽子等遮挡)要求较高，在监控等非限制性环境中往往难以满足一次性获取较为清晰的高质量人脸图像，为解决这一难点，近来提出了基于多张人脸图像作为认证输入的人脸识别方法。
如CN105956518A公开了一种人脸识别方法，通过获取待识别对象多张不同视角的人脸图像，并分别从该多张不同人脸图像中提取人脸特征信息，得到待识别对象的人脸特征信息组，然后，基于该人脸特征信息组对待识别对象的人脸进行识别。其虽然采用多张不同视角的人脸图像，但需要对每张图像单独提取人脸特征向量，形成人脸特征向量组，再根据人脸特征向量组对待识别对象的人脸进行识别，其需要对每张人脸图像分别单独进行特征提取，特征稳定性容易受到影响，且识别效率有待提高。故亟需设计一种适用于多图像输入的人脸识别方法，以改善无法单次获取清晰高质量人脸图像的非限制性环境中的人脸识别需求的难题。
发明内容
本发明提供了一种基于多图像输入的人脸识别方法及装置，以解决现有的无法单次获取清晰高质量人脸图像的非限制性环境中的人脸识别效率及质量有待改善的技术问题。
本发明采用的技术方案如下：
根据本发明的一个方面，提供一种基于多图像输入的人脸识别方法，本发明人脸识别方法包括：
接收待识别对象对应的多个人脸图像；
经多图像共享网络参数对接收的多个人脸图像进行特征提取得到中间特征；
对中间特征进行特征合并及融合，得到多图像融合特征；
计算多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
进一步地，多图像共享网络参数为多个人脸图像共用的多层堆叠卷积神经网络对应的底层参数。
进一步地，对中间特征进行特征合并及融合，得到多图像融合特征的步骤包括：
将经多层堆叠卷积神经网络获得的与多张人脸图像对应的中间特征联合在一起得到第二级特征，即第一级输出的单人脸特征假定特征长度为L，M张人脸图像作为输入，则联合后对应的第二级特征长度为M*L，并不改变第一级特征的值；
将联合后的第二级特征作为第三级特征的输入，在更高层进行卷积运算，此时网络参数训练融合了第一级的M张人脸的特征信息，并通过训练提取更显著的目标特征，在卷积层之后连接full-connect层作为网络最终输出特征，从而得到多图像融合特征，完成了多张人脸图像的端到端自适应学习。
进一步地，接收待识别对象对应的多个人脸图像包括：
接收待识别对象对应的多个原始人脸图像，其中，原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种对应的图像；
对原始人脸图像进行规整化处理，得到预处理后的人脸图像。
进一步地，对原始人脸图像进行规整化处理包括：
检测人脸，并定位人脸关键特征点；
利用双眼特征点的横向斜率定位人脸倾斜角度，并将整体人脸图像旋转；
裁剪旋转之后的人脸区域；
对人脸图像进行光照均衡化调整；
将人脸图像归一化到预定的图像大小。
进一步地，预设模板照特征为多张证件照经多图像共享网络参数进行特征提取及后续的特征合并及融合后得到的特征向量。
根据本发明的另一方面，还提供一种基于多图像输入的人脸识别装置，本发明人脸识别装置包括：
图像接收单元，用于接收待识别对象对应的多个人脸图像；
特征提取单元，用于经多图像共享网络参数对接收的多个人脸图像进行特征提取得到中间特征；
特征融合单元，用于对中间特征进行特征合并及融合，得到多图像融合特征；
认证单元，用于计算多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
进一步地，本发明特征融合单元包括：
特征合并子单元，用于将经多层堆叠卷积神经网络获得的与多张人脸图像对应的中间特征联合在一起得到第二级特征，即第一级输出的单人脸特征假定特征长度为L，M张人脸图像作为输入，则联合后对应的第二级特征长度为M*L，并不改变第一级特征的值；
多图像融合特征生成子单元，用于将联合后的第二级特征作为第三级特征的输入，在更高层进行卷积运算，此时网络参数训练融合了第一级的M张人脸的特征信息，并通过训练提取更显著的目标特征，在卷积层之后连接full-connect层作为网络最终输出特征，从而得到多图像融合特征，完成了多张人脸图像的端到端自适应学习。
进一步地，本发明图像接收单元包括：
接收子单元，用于接收待识别对象对应的多个原始人脸图像，其中，原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种的图像；
规整化处理子单元，用于对原始人脸图像进行规整化处理，得到预处理后的人脸图像。
进一步地，本发明人脸识别装置还包括：
特征生成单元，用于以多张证件照经多图像共享网络参数进行特征提取及后续的特征合并及融合后得到作为预设模板照特征的特征向量。
本发明具有以下有益效果：
本发明基于多图像输入的人脸识别方法及装置，通过接收待识别对象对应的多个人脸图像，并经多图像共享网络参数对多个人脸图像进行特征提取得到中间特征，再对中间特征进行特征合并及融合得到多图像融合特征，并经多图像融合特征进行人脸识别，本发明人脸识别方法提高了在监控等非限制性环境下利用多人脸图像作为输入进行人脸识别的准确性，且基于多图像共享网络参数可以一次性生成多张人脸图像融合后的特征向量，较传统单独提取各人脸图像的特征向量相比，运行效率及特征稳定性均得到有效改善，具有广泛的推广应用价值。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例基于多图像输入的人脸识别方法的步骤流程示意图；
图2是本发明优选实施例多输入单模型的结构示意图；
图3是本发明优选实施例基于多图像输入的人脸识别装置的原理方框示意图；
图4是本发明优选实施例中特征融合单元的原理方框示意；
图5是本发明优选实施例中图像接收单元的原理方框示意图；
图6是本发明另一优选实施例人脸识别装置的原理方框示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明优选实施例提供一种基于多图像输入的人脸识别方法，以解决无法单次获取清晰高质量人脸图像的非限制性环境中的人脸识别需求的难题，参照图1，本实施例方法包括：
步骤S100，接收待识别对象对应的多个人脸图像；其中，接收的多个人脸图像为同一人对应的多种不同源的人脸图像，包括但不限于：不同时期的人脸图像、不同姿态的人脸图像、不同光照环境下的人脸图像、不同遮挡条件下的人脸图像中至少一类。
步骤S200，经多图像共享网络参数对接收的多个人脸图像进行特征提取得到中间特征；其中，多个人脸图像经共享网络参数进行第一级处理后得到的中间特征与多个人脸图像一一对应。
步骤S300，对中间特征进行特征融合得到多图像融合特征；
本实施例中，直接将多个人脸图像对应的中间特征串联，并采用卷积神经网络对合并后的中间特征进行融合得到多图像融合特征，网络参数学习过程是end-to-end(端到端)的自适应学习过程。
步骤S400，计算多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
本实施例通过同时输入同一人的不同时期或不同姿态或不同光照的多张人脸图像作为认证输入，与留底模板照进行比对，判断此人是否与模板照一致，整个过程仅需一次认证，而现有技术只能是单张人脸图像作为网络认证输入，并且如果有多张认证照需要做认证，则需要多次将不同图像输入同一网络进行特征提取，然后分别进行多次认证，或者将多个特征进行融合或将特征比对分数进行融合，这样特征提取所消耗的时间复杂度为单张图像提取特征的N倍，特征融合结果或分数融合结果也与经验有关，具有一定的局限性，而单张图像分别进行多次认证的结果更易受到环境的影响而做出可能不一致的判断。
本发明实施例提供了一种新的基于多图像输入的人脸识别方法，通过接收待识别对象对应的多个人脸图像，并经多图像共享网络参数对多个人脸图像进行特征提取得到中间特征，再对中间特征进行特征合并及融合得到多图像融合特征，并经多图像融合特征进行人脸识别，本实施例人脸识别方法提高了在监控等非限制性环境下利用多人脸图像作为输入进行人脸识别的准确性，且基于多图像共享网络参数可以一次性生成多张人脸图像融合后的特征向量，较传统单独提取各人脸图像的特征向量相比，运行效率及特征稳定性均得到有效改善，具有广泛的推广应用价值。
本实施例中，优选地，步骤S100包括：
接收待识别对象对应的多个原始人脸图像，其中，原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种对应的图像；
对原始人脸图像进行规整化处理，得到预处理后的人脸图像。
具体地，本实施例中，多个原始人脸图像包括但不限于以下五种情况：
1)不同时期人脸图像，如不同年龄阶段的人脸图像、同一天或同一年不同时间段采集的人脸图像等；
2)不同姿态人脸图像，如左右不同姿态、俯仰不同姿态的人脸图像；
3)不同光照环境下的人脸图像，如单侧光源、不同颜色光源等条件下拍摄的人脸图像；
4)不同遮挡条件下的人脸图像，如头发、眼镜、口罩、帽檐等部分遮挡条件下的人脸图像；
5)多种环境下的人脸图像的混合输入。
即原始人脸图像可以为照相、视频中截取等任意渠道获取得到人脸图像，图像质量可能为清晰、普通或低分辨率图像，由于人脸姿态不同，或左转或右转，或抬头或仰头，或光照分布不均匀，或眼镜、帽子遮挡等。本实施例中，对原始人脸图像进行规整化处理包括：
检测人脸，并定位人脸关键特征点；
利用双眼特征点的横向斜率定位人脸倾斜角度，并将整体人脸图像旋转；
裁剪旋转之后的人脸区域；
对人脸图像进行光照均衡化调整；
将人脸图像归一化到预定的图像大小。
本实施例通过对接收的多个原始人脸图像经规整化处理后，转换为统一的预定图像大小的人脸图像供后续的特征提取及特征融合。
本实施例中，多图像共享网络参数为多个人脸图像共用的多层堆叠卷积神经网络对应的底层参数。
图2示出了本发明优选实施例多输入单模型的结构示意图，采用该网络模型对多人脸图像进行人脸识别的步骤如下：
设置网络单次输入图像为m张(图示3张，仅为举例)，卷积网络包含n层，其中第0～k层为多图像共享卷积网络参数阶段(对应第一级)，第k+1层进行特征合并阶段(对应第二级)，第k+1～n层为多特征融合卷积神经网络阶段(对应第三级)；设第k层卷积网络输出为Fk，与第k-1层的特征的关系为Fk＝Delta(Conv(Fk-1))；其中Conv表示进行卷积运算，Delta表示卷积神经元的激活函数。
第0～k层分别对应的第m张人脸的特征为Fk m，则在网络共享参数层，将分别利用共享的Conv参数提取单张人脸的特征作为Fk m，此时的特征与输入的人脸图像是一一对应的；
在第m+1层为特征联合层，即将第m层分别得到的多张人脸图像的特征联合在一起，并非做数学运算，而是直接将多张人脸图像的Fk m串联在一起组成一个更长维度的特征，即如果原始Fk m的特征维度为d维，则串联后的第m+1层输出特征维度D＝m*d维。
第k+2层至第n层为特征融合阶段，即第k+1层的输出作为特征融合阶段的输入，此时输入特征同时具有了m张人脸的中间层特征信息，再通过第k+2～n层的卷积网络进行参数训练学习，此时相当于由网络依据训练数据进行自适应的监督学习，不断训练，调整网络参数，最后从第k+1层的输出特征中学习抽象出更能表征输入的多张人脸图像所对应的目标的特征向量Fn，此时人脸图像与特征向量之间的关系为多对一的关系，即同时输入某个人的多张人脸图像，经过神经网络之后，得到了能表征该人的更显著的特征向量，此时的特征向量不再是如专利CN105956518A所述的基于特征组向量之间的简单数学运算，而是经过了一系列自适应卷积运算的更高级的抽象表征，同时该特征具有了更低的维度和更好的表征能力；且整个网络参数学习过程是end-to-end的自适应学习过程，完全由数据驱动，无需人工参与进行参数调整。
本实施例中，步骤S200中，多个人脸图像通过共享相同的卷积层参数得到中间特征输出，其不同于各人脸图像分别经独立的网络提取特征向量，若每张人脸图像送入不同网络，则得到的输出都是不同的，即使同样送入3张图像，通过不同排列组合送入3个不同网络中，最终得到的特征都不相同，势必造成下一阶段的特征融合的不确定性，对最终性能产生较大影响。而通过本实施例提出的共用网络架构，即使3张不同图像从不同通道输入，但是由于共享网络参数，不会对中间特征输出产生特别大的影响，特征比较稳定。
本实施例中多张人脸图像通过底层共享网络参数得到中间特征，直接将多张人脸图像得到的中间特征串联在一起，再送入下一级卷积神经网络，通过多人脸图像“端到端”的训练网络参数得到最终的多图像融合特征；与传统的特征融合方案不同的是，传统的特征融合是直接将多张人脸特征分别抽取出来，通过经验性的实验来选取不同人脸特征向量在每一维度上特征的最大、最小、均值或加权均值、或PCA变换等方式来得到最终的特征向量，这样通过经验性实验得到的特征向量会损失掉一些原有特征向量中的有用信息，减弱了特征向量的有效性；而本发明中的特征融合方法通过训练网络参数来选取学习有效的特征向量，尽可能的学习并保留了有效的人脸特征信息，且最终的特征向量维度可通过实验调整，使得学习到的有效特征向量具有最大化的识别性能。
优选地，预设模板照特征为多张证件照经多图像共享网络参数进行特征提取及后续特征合并及融合后得到的特征向量。由于模板照通常为证件照或一两张质量较高的正面照图像，对于不满足网络输入的图像张数的条件下，可将网络输入的多个通道输入同一张人脸图像或部分通道输入模板照中另一张人脸图像，然后将网络输出的特征向量作为模板照特征向量。
本实施例步骤S400具体为：将经步骤S300得到的多图像融合特征作为认证照的特征向量，通过计算认证照与模板照的对应特征向量的得分(如Cosine距离、Euclidean距离等)，与阈值比较判定认证照与模板照是否是同一个对象。
根据本发明的另一方面，还提供一种基于多图像输入的人脸识别装置，与上述方法实施例对应，参照图3，本实施例装置包括：
图像接收单元100，用于接收待识别对象对应的多个人脸图像；
特征提取单元200，用于经多图像共享网络参数对接收的多个人脸图像进行特征提取得到中间特征；
特征融合单元300，用于对中间特征进行特征融合得到多图像融合特征；
认证单元400，用于计算多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
本实施例中，经处理器设备运行上述图像接收单元100、特征提取单元200、特征融合单元300及认证单元400。其中，特征提取单元200、特征融合单元300及认证单元400的具体实施过程参照上述方法实施例。本领域技术人员可以理解，此处的处理器设备可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
参照图4，本实施例中，特征融合单元300包括：
特征合并子单元301，用于将经多层堆叠卷积神经网络获得的与多张人脸图像对应的中间特征联合在一起得到第二级特征，即第一级输出的单人脸特征假定特征长度为L，M张人脸图像作为输入，则联合后对应的第二级特征长度为M*L，并不改变第一级特征的值；
多图像融合特征生成子单元302，用于将联合后的第二级特征作为第三级特征的输入，在更高层进行卷积运算，此时网络参数训练融合了第一级的M张人脸的特征信息，并通过训练提取更显著的目标特征，在卷积层之后连接full-connect层作为网络最终输出特征，从而得到多图像融合特征，完成了多张人脸图像的端到端自适应学习。
本领域技术人员可以理解，此处的特征合并子单元301及多图像融合特征生成子单元302的实现参照上述方法实施例对应步骤，在此不再赘述。
参照图5，本实施例中，图像接收单元100包括：
接收子单元101，用于接收待识别对象对应的多个原始人脸图像，其中，原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种的图像；
规整化处理子单元102，用于对原始人脸图像进行规整化处理，得到预处理后的人脸图像。
本实施例中，规整化处理子单元102的处理过程具体参照上述方法实施例。
在本发明另一实施例中，参照图6，本实施例基于多图像输入的人脸识别装置还包括：
特征生成单元500，用于以多张证件照经多图像共享网络参数进行特征提取及后续的特征合并及融合后得到作为预设模板照特征的特征向量。
为验证本实施例方法及装置的有效性，实验采用同一对象在不同监控环境下的多张照片(姿态、光照不同)作为输入与其证件留底照做比对，首先将数据集分为训练集、验证集及测试集，训练集采用9825段视频中截取的各时段人脸图像，测试集为现场采集的共147个对象的不同姿态、光照图像；训练时随机抽取一人的3张照片作为输入进行分类，测试时从测试集中随机抽取3张认证照作为输入抽取认证照特征，输入相同的3张模板照作为输入抽取模板照特征，实验结果如表1所示。
表1.多输入不同模型认证结果比较
实验结果分析：由于实验集为监控照片，单张图像质量较差，单张认证照与模板照比对效果较差；而多输入多模型网络相当于多个单输入模型的融合，部分综合了多张人脸特征信息，实验效果较单模型有较大提升，但由于有多个模型，执行效率较低；多输入单模型(对应本实施例方法)充分考虑了识别率与时间效率，通过多图像信息共享网络参数，然后在较高层特征融合，最后输出融合后的特征作为最终特征向量，较单输入网络特征有较高的稳定性，且特征抽取时间大大小于多输入多模型网络；
以上实验结果证实了在监控等非限制性环境下同时利用多人脸图像作为输入显著提高了人脸识别准确性。结合识别率与时间效率上的综合性能考虑，本发明所提出的方法大大改善了目前在监控等复杂环境中的人脸识别困难的窘境。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)，磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多图像输入的人脸识别方法，其特征在于，包括：
接收待识别对象对应的多个人脸图像；
经多图像共享网络参数对接收的所述多个人脸图像进行特征提取得到中间特征；
对所述中间特征进行特征合并及融合，得到多图像融合特征；
计算所述多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
2.根据权利要求1所述的基于多图像输入的人脸识别方法，其特征在于，
所述多图像共享网络参数为多个人脸图像共用的多层堆叠卷积神经网络对应的底层参数。
3.根据权利要求1所述的基于多图像输入的人脸识别方法，其特征在于，
对所述中间特征进行特征合并及融合，得到多图像融合特征的步骤包括：
将经多层堆叠卷积神经网络获得的与多张人脸图像对应的中间特征联合在一起得到第二级特征，即第一级输出的单人脸特征假定特征长度为L，M张人脸图像作为输入，则联合后对应的第二级特征长度为M*L，并不改变第一级特征的值；
将联合后的第二级特征作为第三级特征的输入，在更高层进行卷积运算，此时网络参数训练融合了第一级的M张人脸的特征信息，并通过训练提取更显著的目标特征，在卷积层之后连接full-connect层作为网络最终输出特征，从而得到多图像融合特征，完成了多张人脸图像的端到端自适应学习。
4.根据权利要求1所述的基于多图像输入的人脸识别方法，其特征在于，
接收待识别对象对应的多个人脸图像包括：
接收待识别对象对应的多个原始人脸图像，其中，所述原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种对应的图像；
对所述原始人脸图像进行规整化处理，得到预处理后的人脸图像。
5.根据权利要求4所述的基于多图像输入的人脸识别方法，其特征在于，
对所述原始人脸图像进行规整化处理包括：
检测人脸，并定位人脸关键特征点；
利用双眼特征点的横向斜率定位人脸倾斜角度，并将整体人脸图像旋转；
裁剪旋转之后的人脸区域；
对人脸图像进行光照均衡化调整；
将人脸图像归一化到预定的图像大小。
6.根据权利要求1至5任一所述的基于多图像输入的人脸识别方法，其特征在于，
所述预设模板照特征为多张证件照经所述多图像共享网络参数进行特征提取及后续的特征合并及融合后得到的特征向量。
7.一种基于多图像输入的人脸识别装置，其特征在于，包括：
图像接收单元，用于接收待识别对象对应的多个人脸图像；
特征提取单元，用于经多图像共享网络参数对接收的所述多个人脸图像进行特征提取得到中间特征；
特征融合单元，用于对所述中间特征进行特征合并及融合，得到多图像融合特征；
认证单元，用于计算所述多图像融合特征与预设模板照特征的距离阈值，根据该距离阈值得到人脸识别结果。
8.根据权利要求7所述的基于多图像输入的人脸识别装置，其特征在于，
所述特征融合单元包括：
特征合并子单元，用于将经多层堆叠卷积神经网络获得的与多张人脸图像对应的中间特征联合在一起得到第二级特征，即第一级输出的单人脸特征假定特征长度为L，M张人脸图像作为输入，则联合后对应的第二级特征长度为M*L，并不改变第一级特征的值；
多图像融合特征生成子单元，用于将联合后的第二级特征作为第三级特征的输入，在更高层进行卷积运算，此时网络参数训练融合了第一级的M张人脸的特征信息，并通过训练提取更显著的目标特征，在卷积层之后连接full-connect层作为网络最终输出特征，从而得到多图像融合特征，完成了多张人脸图像的端到端自适应学习。
9.根据权利要求7所述的基于多图像输入的人脸识别装置，其特征在于，
所述图像接收单元包括：
接收子单元，用于接收待识别对象对应的多个原始人脸图像，其中，所述原始人脸图像包括对应不同时间、不同姿态、不同光照环境、不同遮挡条件中一种或者多种的图像；
规整化处理子单元，用于对所述原始人脸图像进行规整化处理，得到预处理后的人脸图像。
10.根据权利要求7所述的基于多图像输入的人脸识别装置，其特征在于，还包括：
特征生成单元，用于以多张证件照经所述多图像共享网络参数进行特征提取及后续的特征合并及融合得到作为所述预设模板照特征的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611145649.8A CN106599837A (zh) | 2016-12-13 | 2016-12-13 | 基于多图像输入的人脸识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611145649.8A CN106599837A (zh) | 2016-12-13 | 2016-12-13 | 基于多图像输入的人脸识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106599837A true CN106599837A (zh) | 2017-04-26 |
Family
ID=58802018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611145649.8A Pending CN106599837A (zh) | 2016-12-13 | 2016-12-13 | 基于多图像输入的人脸识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106599837A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784678A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| CN107862383A (zh) * | 2017-11-09 | 2018-03-30 | 睿魔智能科技（东莞）有限公司 | 一种用于人体视觉感知的多任务深度学习方法和系统 |
| CN108021669A (zh) * | 2017-12-05 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图像分类方法和装置、电子设备、计算机可读存储介质 |
| CN108596098A (zh) * | 2018-04-24 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 人体部件的解析方法、系统、设备和存储介质 |
| CN108875542A (zh) * | 2018-04-04 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸识别方法、装置、系统及计算机存储介质 |
| CN108921140A (zh) * | 2018-08-07 | 2018-11-30 | 安徽云森物联网科技有限公司 | 行人再识别方法 |
| CN109472240A (zh) * | 2018-11-12 | 2019-03-15 | 北京影谱科技股份有限公司 | 人脸识别多模型自适应特征融合增强方法和装置 |
| CN109583289A (zh) * | 2018-09-27 | 2019-04-05 | 中国农业大学 | 蟹的性别识别方法和装置 |
| CN109598212A (zh) * | 2018-11-20 | 2019-04-09 | 北京知道创宇信息技术有限公司 | 一种人脸检测方法及装置 |
| CN109948966A (zh) * | 2018-10-22 | 2019-06-28 | 大连艾米移动科技有限公司 | 一种基于人脸识别技术的智能物品存取方法 |
| CN109961583A (zh) * | 2018-10-22 | 2019-07-02 | 大连艾米移动科技有限公司 | 一种基于人脸识别技术的智能商场暂存系统 |
| CN110309692A (zh) * | 2018-03-27 | 2019-10-08 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置及系统、模型训练方法及装置 |
| CN110647864A (zh) * | 2019-09-30 | 2020-01-03 | 上海依图网络科技有限公司 | 基于生成对抗网络的单人多图特征识别方法、设备及介质 |
| CN110781842A (zh) * | 2019-10-29 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111401206A (zh) * | 2020-03-11 | 2020-07-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种全景图共享方法、系统、设备和介质 |
| CN111783600A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
| CN111860542A (zh) * | 2020-07-22 | 2020-10-30 | 海尔优家智能科技（北京）有限公司 | 用于识别物品类别的方法及装置、电子设备 |
| CN112364827A (zh) * | 2020-11-30 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
| CN112651380A (zh) * | 2021-01-13 | 2021-04-13 | 深圳市一心视觉科技有限公司 | 人脸识别方法、人脸识别装置、终端设备及存储介质 |
| CN113011386A (zh) * | 2021-04-13 | 2021-06-22 | 重庆大学 | 一种基于等分特征图的表情识别方法及系统 |
| CN113127658A (zh) * | 2019-12-31 | 2021-07-16 | 浙江宇视科技有限公司 | 身份识别数据库的初始化方法、装置、介质及电子设备 |
| WO2022161235A1 (zh) * | 2021-01-26 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 身份识别方法、装置、设备、存储介质及计算机程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004899A (zh) * | 2010-11-03 | 2011-04-06 | 无锡中星微电子有限公司 | 一种人脸认证系统及方法 |
| CN104021397A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 人脸识别比对方法及装置 |
| CN104899579A (zh) * | 2015-06-29 | 2015-09-09 | 小米科技有限责任公司 | 人脸识别方法和装置 |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN105760835A (zh) * | 2016-02-17 | 2016-07-13 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度学习的步态分割与步态识别一体化方法 |
| CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统 |
-
2016
- 2016-12-13 CN CN201611145649.8A patent/CN106599837A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004899A (zh) * | 2010-11-03 | 2011-04-06 | 无锡中星微电子有限公司 | 一种人脸认证系统及方法 |
| CN104021397A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 人脸识别比对方法及装置 |
| CN104899579A (zh) * | 2015-06-29 | 2015-09-09 | 小米科技有限责任公司 | 人脸识别方法和装置 |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN105760835A (zh) * | 2016-02-17 | 2016-07-13 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度学习的步态分割与步态识别一体化方法 |
| CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784678B (zh) * | 2017-11-08 | 2021-11-12 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| CN107784678A (zh) * | 2017-11-08 | 2018-03-09 | 北京奇虎科技有限公司 | 卡通人脸图像的生成方法、装置和终端 |
| CN107862383A (zh) * | 2017-11-09 | 2018-03-30 | 睿魔智能科技（东莞）有限公司 | 一种用于人体视觉感知的多任务深度学习方法和系统 |
| CN108021669A (zh) * | 2017-12-05 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图像分类方法和装置、电子设备、计算机可读存储介质 |
| CN110309692A (zh) * | 2018-03-27 | 2019-10-08 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置及系统、模型训练方法及装置 |
| CN108875542A (zh) * | 2018-04-04 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸识别方法、装置、系统及计算机存储介质 |
| CN108596098A (zh) * | 2018-04-24 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 人体部件的解析方法、系统、设备和存储介质 |
| CN108596098B (zh) * | 2018-04-24 | 2021-10-01 | 北京京东尚科信息技术有限公司 | 人体部件的解析方法、系统、设备和存储介质 |
| CN108921140A (zh) * | 2018-08-07 | 2018-11-30 | 安徽云森物联网科技有限公司 | 行人再识别方法 |
| CN109583289A (zh) * | 2018-09-27 | 2019-04-05 | 中国农业大学 | 蟹的性别识别方法和装置 |
| CN109948966A (zh) * | 2018-10-22 | 2019-06-28 | 大连艾米移动科技有限公司 | 一种基于人脸识别技术的智能物品存取方法 |
| CN109961583A (zh) * | 2018-10-22 | 2019-07-02 | 大连艾米移动科技有限公司 | 一种基于人脸识别技术的智能商场暂存系统 |
| CN109472240A (zh) * | 2018-11-12 | 2019-03-15 | 北京影谱科技股份有限公司 | 人脸识别多模型自适应特征融合增强方法和装置 |
| CN109598212A (zh) * | 2018-11-20 | 2019-04-09 | 北京知道创宇信息技术有限公司 | 一种人脸检测方法及装置 |
| CN110647864A (zh) * | 2019-09-30 | 2020-01-03 | 上海依图网络科技有限公司 | 基于生成对抗网络的单人多图特征识别方法、设备及介质 |
| CN110781842A (zh) * | 2019-10-29 | 2020-02-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113127658A (zh) * | 2019-12-31 | 2021-07-16 | 浙江宇视科技有限公司 | 身份识别数据库的初始化方法、装置、介质及电子设备 |
| CN111401206A (zh) * | 2020-03-11 | 2020-07-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种全景图共享方法、系统、设备和介质 |
| CN111783600A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
| CN111783600B (zh) * | 2020-06-24 | 2024-02-09 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
| CN111860542A (zh) * | 2020-07-22 | 2020-10-30 | 海尔优家智能科技（北京）有限公司 | 用于识别物品类别的方法及装置、电子设备 |
| CN112364827A (zh) * | 2020-11-30 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
| CN112364827B (zh) * | 2020-11-30 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
| CN112651380A (zh) * | 2021-01-13 | 2021-04-13 | 深圳市一心视觉科技有限公司 | 人脸识别方法、人脸识别装置、终端设备及存储介质 |
| WO2022161235A1 (zh) * | 2021-01-26 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 身份识别方法、装置、设备、存储介质及计算机程序产品 |
| CN113011386A (zh) * | 2021-04-13 | 2021-06-22 | 重庆大学 | 一种基于等分特征图的表情识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599837A (zh) | 基于多图像输入的人脸识别方法及装置 | |
| CN107423700B (zh) | 人证核实的方法及装置 | |
| US10417526B2 (en) | Object recognition method and device | |
| González et al. | On-board object detection: Multicue, multimodal, and multiview random forest of local experts | |
| CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| CN109033940B (zh) | 一种图像识别方法、装置、计算设备及存储介质 | |
| CN109815893A (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN106462724A (zh) | 基于规范化图像校验面部图像的方法和系统 | |
| CN108334816A (zh) | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 | |
| CN108182394A (zh) | 卷积神经网络的训练方法、人脸识别方法及装置 | |
| CN106022221A (zh) | 一种图像处理方法及处理系统 | |
| CN105138954A (zh) | 一种图像自动筛选查询识别系统 | |
| CN106203333A (zh) | 人脸识别方法及系统 | |
| CN106709418B (zh) | 基于现场照和证件照的人脸识别方法及识别装置 | |
| CN108596082A (zh) | 基于图像扩散速度模型和色彩特征的人脸活体检测方法 | |
| CN106295496A (zh) | 脸部识别方法和设备 | |
| CN110751098A (zh) | 一种基于光照、姿态生成对抗网络的人脸识别方法 | |
| CN109584153A (zh) | 修饰眼部的方法、装置和系统 | |
| CN104834905A (zh) | 一种人脸图像识别仿真系统及方法 | |
| CN104298973A (zh) | 基于自编码器的人脸图像旋转方法 | |
| US20200327726A1 (en) | Method of Generating 3D Facial Model for an Avatar and Related Device | |
| CN101169830A (zh) | 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法 | |
| Cherian et al. | Are deep neural networks SMARTer than second graders? | |
| CN111598051A (zh) | 一种脸部验证方法、装置、设备及可读存储介质 | |
| CN107563319A (zh) | 一种基于图像的亲子间人脸相似性度量计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100097 Beijing Haidian District Kunming Hunan Road 51 C block two floor 207. Applicant after: ATHENA EYES SCIENCE & TECHNOLOGY CO., LTD. Address before: 100193 4, 403, block A, 14 building, 10 East North Road, Haidian District, Beijing. Applicant before: ATHENA EYES SCIENCE & TECHNOLOGY CO., LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 410205 14 Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant after: Wisdom Eye Technology Co., Ltd. Address before: 100097 2nd Floor 207, Block C, 51 Hunan Road, Kunming, Haidian District, Beijing Applicant before: ATHENA EYES SCIENCE & TECHNOLOGY CO., LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |