CN110909582B - 一种人脸识别的方法及设备 - Google Patents

一种人脸识别的方法及设备 Download PDF

Info

Publication number
CN110909582B
CN110909582B CN201811090801.6A CN201811090801A CN110909582B CN 110909582 B CN110909582 B CN 110909582B CN 201811090801 A CN201811090801 A CN 201811090801A CN 110909582 B CN110909582 B CN 110909582B
Authority
CN
China
Prior art keywords
face image
face
mode
feature
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811090801.6A
Other languages
English (en)
Other versions
CN110909582A (zh
Inventor
黄晓林
黄为
刘刚
胡鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811090801.6A priority Critical patent/CN110909582B/zh
Priority to KR1020217010470A priority patent/KR102592668B1/ko
Priority to PCT/CN2019/106216 priority patent/WO2020057509A1/zh
Priority to EP19861630.2A priority patent/EP3842990A4/en
Publication of CN110909582A publication Critical patent/CN110909582A/zh
Priority to US17/202,726 priority patent/US20210201000A1/en
Application granted granted Critical
Publication of CN110909582B publication Critical patent/CN110909582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Abstract

本申请实施例公开了一种人脸识别的方法及设备，属于计算机视觉领域，可应用在自动驾驶领域的智能汽车上，其中方法包括：获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像；判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同；若所述第一人脸图像的模态与所述第二人脸图像的模态不相同，则将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征；根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。本申请实施例可以提高跨模态的人脸识别的速度。

Description

一种人脸识别的方法及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种人脸识别的方法及设备。
背景技术
由于人脸识别这种基于生物特征的识别技术具有非接触性，在车载领域中具有广阔的发展和应用前景。车载人脸识别是指利用车辆内部摄像头进行身份确认或者身份查找的技术。传统的人脸识别技术获取的是可见光模态下的人脸图像，由于车载场景中经常会出现车库、夜间等照明不佳的场景，导致车载场景中利用可见光模态下的人脸图像进行人物身份识别的识别率较低，因此车载场景中大多数情况下采用的是不受环境光影响的近红外摄像头。
近红外摄像头会发出肉眼看不到的红外光去照亮被拍摄的物体，并形成由红外线反射所成的影像，因此即使是黑暗环境下仍可拍到肉眼看不到的影像，适用于车载场景。但是近红外摄像头和可见光摄像头拍摄的图像来自于不同的模态，由于不同模态的摄像头的感光过程不同，同一个物体在不同模态的摄像头下获取的图像会产生较大的差异，降低了车载人脸识别的识别率。比如，用户利用可见光模态下的人脸图像对车载设备进行了身份认证，在同一用户使用近红外模态下的人脸图像对相同的车载设备进行身份确认的情况下，由于近红外模态下的图像和可见光模态下的图像存在较大差异，很有可能出现用户身份无法确认成功的情况。
现阶段，跨模态的人脸识别方法大多数采用基于卷积神经网络的深度学习算法。该方法首先对可见光模态下的人脸图像和近红外模态下的人脸图像进行相同预处理，接着用预处理后的可见光模态下的人脸图像对深度卷积神经网络进行预训练，为跨模态图像的深度卷积神经网络训练提供先验知识。然后将可见光模态下的人脸图像和近红外模态下的人脸图像按照预设规则构成三元组，挑选出预训练的跨模态图像深度卷积神经网络中较难区分的难三元组；并将挑选出的难三元组输入预训练的跨模态图像深度卷积神经网络进行精调，反复迭代难三元组的选择、精调，直到跨模态图像深度卷积神经网络性能不再提升。最后利用训练好的跨模态图像深度卷积神经网络模型进行跨模态人脸识别。
难三元组是影响上述算法性能的重要因素。但在实际应用中，由于卷积神经网络的深度学习需要大量的训练数据，导致难样本三元组挑选困难，因此容易出现网络的过拟合现象，降低身份识别的识别率。同时，卷积神经网络的计算需要图形处理器(graphicsprocessing unit，GPU)的加速，在没有GPU的设备上，基于神经网络的算法运算速度较慢，无法达到实时性的要求。
发明内容
本申请实施例提供一种人脸识别的方法及设备，可以提高跨模态的人脸识别的速度，从而能够满足实时性的要求。
第一方面，本申请实施例提供了一种人脸识别的方法，该方法包括：获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像；判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同；若所述第一人脸图像的模态与所述第二人脸图像的模态不相同，则将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间；根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
在这种方式中，使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
结合第一方面，在一种可选的实施方式中，所述将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，包括：获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
结合第一方面，在一种可选的实施方式中，所述获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，包括：根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。通过这种方式，可以同时确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，提升人脸识别的速度。
结合第一方面，在一种可选的实施方式中，所述根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，包括：使用匹配追踪MP算法求解公式以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
结合第一方面，在一种可选的实施方式中，所述根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，包括：使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
结合第一方面，在一种可选的实施方式中，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
结合第一方面，在一种可选的实施方式中，所述根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征，包括：根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
结合第一方面，在一种可选的实施方式中，所述根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，包括：根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
结合第一方面，在一种可选的实施方式中，所述判断第一人脸图像的模态与第二人脸图像的模态是否相同，包括：将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同。
结合第一方面，在一种可选的实施方式中，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
结合第一方面，在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
结合第一方面，在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。通过这种方式，在求解过程中采用2模约束来放松稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
结合第一方面，在一种可选的实施方式中，所述根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别，包括：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
第二方面，本申请实施例提供了一种人脸识别的设备，该设备包括获取单元，判断单元，映射单元和识别单元：所述获取单元，用于获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像；所述判断单元，用于判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同；所述映射单元，用于当所述第一人脸图像的模态与所述第二人脸图像的模态不相同时，将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间；所述识别单元，用于根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
通过这种设备，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的设备不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
结合第二方面，在一种可选的实施方式中，所述映射单元包括获取子单元，第一映射子单元和第二映射子单元：所述获取子单元，用于获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；所述第一映射子单元，用于根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；所述第二映射子单元，用于根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
结合第二方面，在一种可选的实施方式中，所述获取子单元具体用于：根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。通过这种设备，可以同时确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，提升人脸识别的速度。
结合第二方面，在一种可选的实施方式中，获取子单元具体用于：使用匹配追踪MP算法求解公式以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
结合第二方面，在一种可选的实施方式中，所述获取子单元具体用于：使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
结合第二方面，在一种可选的实施方式中，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
结合第二方面，在一种可选的实施方式中，所述第一映射子单元具体用于：根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
结合第二方面，在一种可选的实施方式中，所述第二映射子单元具体用于：根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
结合第二方面，在一种可选的实施方式中，所述判断单元具体用于：将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同。
结合第二方面，在一种可选的实施方式中，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
结合第二方面，在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
结合第二方面，在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。通过这种方式，在求解过程中采用2模约束来放松稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
结合第二方面，在一种可选的实施方式中，所述识别单元具体用于：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
第三方面，本申请实施例提供了另一种设备，包括处理器和存储器，该处理器和存储器相互连接，其中，该存储器用于存储程序指令，该处理器用于调用该存储器中的程序指令来执行上述第一方面或者第一方面的任一可能的实现方式所描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机存储介质存储有程序指令，该程序指令当被处理器运行时，该处理器执行上述第一方面或者第一方面的任一可能的实现方式所描述的方法。
第五方面，本申请实施例提供了一种计算机程序，该计算机程序在处理器上运行时，该处理器执行上述第一方面或者第一方面的任一可能的实现方式所描述的方法。
在本申请实施例中，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种人脸识别的系统架构的示意图；
图2是本申请实施例提供的一种获取人脸图像的示意图；
图3是本申请实施例提供的又一种获取人脸图像的示意图；
图4是本申请实施例提供的一种人脸识别的方法的流程图；
图5是本申请实施例提供的又一种人脸识别的方法的流程图；
图6是本申请实施例提供的一种人脸识别设备的示意图；
图7是本申请实施例提供的又一种人脸识别设备的示意图。
具体实施方式
下面对本申请实施例中的技术方案进行更详细地描述。
参见图1，是本申请实施例提供的一种人脸识别的系统架构的示意图，该系统包括移动终端和车载人脸识别设备，该移动终端与该人脸识别设备可以通过网络进行通信。具体来说，该移动终端上通常配置有可见光摄像头，可以获取用户的可见光模态下的人脸图像。参见图2，是本申请实施例提供的一种获取人脸图像的示意图。其中，获取到的人脸图像为可见光模态下的人脸图像，用户可以使用该人脸图像进行身份录入和身份认证。该移动终端可以通过网络将该人脸图像发送至车载人脸识别设备进行存储。相应地，车载人脸识别设备可以通过网络接收移动终端发送的人脸图像。
车载人脸识别设备上配置有近红外摄像头，用于在车载场景中经常出现的车库、夜间等照明不佳的场景采集用户的人脸图像，该车载人脸识别系统获取的人脸图像为近红外模态下的人脸图像。参见图3，是本申请实施例提供的又一种获取人脸图像的示意图。其中，车载人脸识别系统获取到的人脸图像为近红外模态下的人脸图像。车载人脸识别设备通过比较获取到的用户当前的人脸图像和存储的人脸图像，以进行人脸识别。具体的，可以通过人脸识别验证当前用户是否通过身份认证，以提高车辆的安全性；还可以通过人脸识别确定用户的身份，以执行该用户身份对应的个性化服务(例如，调节座椅，播放专属音乐库的音乐，开启车载应用权限等)。
在一种可选的实施方式中，该系统还可以包括决策设备，该决策设备用于根据该车载人脸识别设备的人脸识别结果执行相应操作，例如，可以根据人脸识别验证通过的结果，执行发动车辆，或者开启车载空调等操作；还可以根据人脸识别确定的用户身份，执行该用户身份对应的个性化服务(例如，调节座椅，播放专属音乐库的音乐，开启车载应用权限等)。
参见图4，是本申请实施例提供的一种人脸识别的方法的流程图，该方法可以基于图1所示的架构来实现，下面描述的人脸识别设备可以是图1所示的系统架构中的车载人脸识别设备。该方法包括但不限于如下步骤。
S401、人脸识别设备获取第一人脸图像和第二人脸图像。
具体的，当用户进入车辆后，人脸识别设备可以利用配置的近红外摄像头采集该用户当前的第一人脸图像；或者该用户触发了针对个性化服务的身份验证(例如，调节座椅，播放专属音乐库的音乐，开启车载应用权限等)后，人脸识别设备可以利用配置的近红外摄像头采集该用户当前的第一人脸图像。
所述第二人脸图像为存储的参考人脸图像。其中，所述第二人脸图像可以是该人脸识别设备之前拍摄并存储的人脸图像，也可以是该人脸识别设备接收的由其他设备(例如，移动终端)发送并存储的人脸图像，还可以是该人脸识别设备从其他存储介质上读取到并存储的人脸图像，等等。其中，所述第二人脸图像可以与人物身份具对应关系，所述第二人脸图像还可以与所述个性化服务具有对应关系。
S402、判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同。
具体的，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
S403、若所述第一人脸图像的模态与所述第二人脸图像的模态不相同，则将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
其中，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间。传统的，对第一人脸图像的模态与第二人脸图像的模态不相同的问题，通常是直接将第一人脸图像和第二人脸图像利用卷积神经网络进行识别。由于这种方式需要GPU的加速，在没有GPU的设备上计算缓慢，无法达到实时性需求；同时需要不断调整卷积神经网络的参数，需要大量的训练样本，容易出现网络过拟合的问题。本申请将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，对映射后的第一稀疏人脸特征和第二稀疏人脸特征进行比较，从而进行人脸识别。这种方式无需依赖卷积神经网络，不依赖于GPU的加速，提升了人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
S404、根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
可选的，所述根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别，包括：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。其中，所述相似度阈值可以通过实验进行标定。
需要说明的是，在第一人脸图像的模态和第二人脸图像的模态不相同的情况下，均可以参考上述方式将不同模态下的人脸图像分别映射到跨模态空间，再对映射后的稀疏人脸特征进行比较，以得到人脸识别的结果。举例而言，第一人脸图像模态可以是近红外模态，第二人脸图像的模态可以是可见光模态；第一人脸图像的模态可以是二维(twodimensiona，4D)模态，第二人脸图像的模态可以是三维(three dimensiona，3D)模态；第一人脸图像的模态可以是低精度模态，第二人脸图像的模态可以是高精度模态，等等。该第一人脸图像的模态和第二人脸图像的模态不作限制。
在图4所示的方法中，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
参见图5，是本申请实施例提供又一种人脸识别的方法的流程图，该方法可以基于图1所示的架构来实现，下面描述的人脸识别设备可以是图1所示的系统架构中的车载人脸识别设备。该方法包括但不限于如下步骤。
S501、人脸识别设备获取第一人脸图像和第二人脸图像。
具体的，当用户进入车辆后，人脸识别设备可以利用配置的近红外摄像头采集该用户当前的第一人脸图像；或者该用户触发了针对个性化服务的身份验证(例如，调节座椅，播放专属音乐库的音乐，开启车载应用权限等)后，人脸识别设备可以利用配置的近红外摄像头采集该用户当前的第一人脸图像。
所述第二人脸图像为存储的参考人脸图像。其中，所述第二人脸图像可以是该人脸识别设备之前拍摄并存储的人脸图像，也可以是该人脸识别设备接收的由其他设备(例如，移动终端)发送并存储的人脸图像，还可以是该人脸识别设备从其他存储介质上读取到并存储的人脸图像，等等。其中，所述第二人脸图像可以与人物身份具对应关系，所述第二人脸图像还可以与所述个性化服务具有对应关系。
可选的，在所述人脸识别设备获取第一人脸图像和第二人脸图像之后，对该第一人脸图像和第二人脸图像进行预处理，所述预处理包括：调整大小处理和标准化处理。该预处理使得处理后的人脸图像数据符合标准正太分布，即均值为0，标准差为1。标准化处理的方式可以如公式1-1所示：
x＝(x-μ)/σ 1-1
在公式1-1中，μ为人脸图像的模态对应的均值，σ为人脸图像的模态对应的标准差，不同模态对应的μ和σ的值不同。举例而言，若对第一人脸图像进行预处理，则公式1-1中的μ为第一人脸图像的模态对应的均值，公式1-1中的σ为第一人脸图像的模态对应的标准差。第一人脸图像的模态对应的均值和第一人脸图像的模态对应的标准差可以通过实验来进行标定，通过对多个第一人脸图像的模态下的多个人脸图像样本进行计算处理，可以得到第一人脸图像的模态对应的均值和第一人脸图像的模态对应的标准差。依照相同的方式，可以得到第二人脸图像的模态对应的均值和第二人脸图像的模态对应的标准差，此处不再赘述。
S502、判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同。
具体的，判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同的具体实现方式如下：
1)将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间。
具体的，将人脸图像从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间的方式可以如下述公式1-2所示：
在公式1-2中，R代表人脸图像中一个像素点的红色通道的值，G代表该一个像素点的绿色通道的值，B代表该一个像素点的蓝色通道的值；Y代表该一个像素点的亮度分量值，Cb代表该一个像素点的蓝色色度分量值，Cr代表该一个像素点的红色色度分量值。
2)根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值。
具体的，计算人脸图像的色彩系数值的方式可以如公式1-3所示：
在公式1-3中，y代表人脸图像的色彩系数值，能够代表人脸图像的模态特征，n代表人脸图像中像素点的个数，Cri是人脸图像中第i个像素点的红色色度分量值，Cbi是人脸图像中第i个像素点的蓝色色度分量值。
3)根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同。
具体的，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
其中，若人脸图像的色彩系数值大于所述第一阈值，则该人脸图像为可见光模态下的图像；若人脸图像的色彩系数值不大于所述第一阈值，则该人脸图像为近红外模态下的图像。第一阈值为实验中标定的数值，例如，该第一阈值可以为0.5。
S503、若所述第一人脸图像的模态和所述第二人脸图像的模态不相同，则获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。
首先对表征人脸图像的特征的稀疏表示方法作出介绍。该稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式可以包括0模约束，1模约束，2模约束中的一种。
以下介绍获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典的方法。所述方法包括但不限于以下步骤。
1)构造跨模态初始化字典D(0)。
其中，该初始化字典D(0)中的值可以为随机生成的数值；还可以为在人脸图像样本中随机选择的样本，再根据该随机选择的样本生成的数值。在该跨模态初始化字典构建完成之后，归一化该跨模态初始化字典D(0)的列。具体的，所述人脸图像样本中包含多个样本。
2)令k＝0，循环执行流程A，直到Y-D(k)X(K)小于第二阈值，则D(k)为所述D。
其中，Y为所述人脸图像样本的特征表示矩阵，具体的，其中，YV为所述人脸图像样本在所述第一人脸图像的模态下的人脸特征，YN为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征。Y中的第1个行向量到第M个行向量为所述第一人脸特征YV，第M+1个行向量到第2M个行向量为所述第二人脸特征YN。具体的，YV中的一个列向量表征在第一人脸图像的模态下的一个样本的特征，YN中的一个列向量表征在第一人脸图像的模态下的一个样本的特征。
D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵。具体的，其中，DV为第一人脸图像的模态对应的第一字典，DN为第二人脸图像的模态对应的第二字典。D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。X(k)为人脸图像样本在所述跨模态空间的特征表示矩阵。
D(k)X(K)表示所述人脸图像样本映射到跨模态空间的稀疏人脸特征，Y-D(k)X(K)表示所述人脸图像样本的特征与所述人脸图像样本映射到跨模态空间的稀疏人脸特征的差值，该差值越小，说明第一字典和第二字典的性能越优质。
具体的，流程A为：
①k＝k+1；
②根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪(matchingpursuit，MP)算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征。
具体的，可以使用MP算法求解如下公式1-4，以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵X(k)。该公式1-4为：
在公式1-4中，yi为所述人脸图像样本的特征表示矩阵Y的第i个列向量，所述人脸图像样本的特征表示矩阵Y一共有M个列向量。具体的，形成所述人脸图像样本在所述跨模态空间的特征表示矩阵X(k)。K为稀疏度，D(k-1)为第k-1次更新后的第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵。
其中，n表征所述稀疏的约束方式，n的值为0，1，2中的一个值。具体的，当n的值为0时，所述稀疏的约束方式为0模约束，‖x‖0≤K表示x中不为0的元素的个数小于或等于稀疏度K。当n的值为1时，所述稀疏的约束方式为1模约束，‖x‖1≤K表示x中的元素的绝对值之和小于或等于稀疏度K。当n的值为2时，所述稀疏的约束方式为2模约束，‖x‖2≤K表示x中的元素的平方之和小于或等于稀疏度K。具体的，对于人脸图像的稀疏人脸特征的求解采用2模约束的求解方式，可以放松对稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
③根据所述人脸图像样本在所述第一人脸图像的模态下的人脸特征、所述人脸图像样本在所述第二人脸图像的模态下的人脸特征、所述特征表示矩阵，使用最优方向(method of optimal directions，MOD)算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。
具体的，可以根据公式1-5确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。该公式1-5为：
在公式1-5中，F为矩阵范数，X(k-1)为第k-1次更新后的跨模态空间的特征表示矩阵。D(k)为第k次更新后的第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵。
通过上述方法，可以同时得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，减少了运算时间，提升了获取字典的速度；并且，求解过程中可以采用2模约束来放松稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
S504、根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征。
具体的，根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征的方式为：根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的跨模态投影矩阵；利用所述第一人脸图像的模态对应的跨模态投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
其中，根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的跨模态投影矩阵的计算方式可以如公式1-6所示：
在公式1-6中，DV为第一人脸图像的模态对应的第一字典。Pa为所述第一人脸图像的模态对应的跨模态投影矩阵。λ为惩罚系数，与稀疏度相关，可以通过实验标定。I为单位矩阵。
具体的，利用所述第一人脸图像的模态对应的跨模态投影矩阵和所述第一人脸图像计算得所述第一人脸图像在跨模态空间的第一稀疏人脸特征的计算方式可以如公式1-7所示：
Ai＝Payai，1<i<M 1-7
在公式1-7中，Ai为所述第一人脸图像在跨模态空间的第一稀疏人脸特征。yai为所述第一人脸图像的特征表示矩阵的第i个列向量。Pa为所述第一人脸图像的模态对应的跨模态投影矩阵。
S505、根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
具体的，根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征的方式可以为：根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的跨模态投影矩阵；利用所述第二人脸图像的模态对应的跨模态投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
其中，根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的跨模态投影矩阵的计算方式可以如公式1-8所示：
在公式1-8中，DN为第二人脸图像的模态对应的第二字典。Pb为所述第二人脸图像的模态对应的跨模态投影矩阵。λ为惩罚系数，与稀疏度相关，可以通过实验标定。I为单位矩阵。
具体的，利用所述第二人脸图像的模态对应的跨模态投影矩阵和所述第二人脸图像计算得所述第二人脸图像在跨模态空间的第二稀疏人脸特征的计算方式可以如公式1-9所示：
Bi＝Pbybi，1<i<M 1-9
在公式1-9中，Bi为所述第二人脸图像在跨模态空间的第二稀疏人脸特征。ybi为所述第一人脸图像的特征表示矩阵的第i个列向量。Pb为所述第一人脸图像的模态对应的跨模态投影矩阵。
S506、根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
具体的，所述根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别，包括：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。其中，所述相似度阈值可以通过实验进行标定。
可选的，计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度的方式可以为计算所述第一稀疏人脸特征和所述第二稀疏人脸特征的余弦距离。其中，计算所述第一稀疏人脸特征和所述第二稀疏人脸特征的余弦距离的方式可以如公式1-10所示：
在公式1-10中，Ai为所述第一人脸图像在跨模态空间的第一稀疏人脸特征。Bi为所述第二人脸图像在跨模态空间的第二稀疏人脸特征。n表示稀疏特征的维数。需要说明的是，计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度的方式还可以为其他方式，此处不作限定。
在图5所示的方法中，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
参见图6，是本申请实施例提供的一种人脸识别设备的示意图。该人脸识别设备60包括获取单元601，判断单元602，映射单元603和识别单元604。以下将对这些单元进行介绍。
所述获取单元601，用于获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像。
所述判断单元602，用于判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同。
所述映射单元603，用于当所述第一人脸图像的模态与所述第二人脸图像的模态不相同时，将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。其中，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间。
所述识别单元604，用于根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
通过这种设备，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的设备不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
在一种可选的实施方式中，所述映射单元包括获取子单元，第一映射子单元和第二映射子单元：所述获取子单元，用于获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；所述第一映射子单元，用于根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；所述第二映射子单元，用于根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
在一种可选的实施方式中，所述获取子单元具体用于：根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。通过这种设备，可以同时确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，提升人脸识别的速度。
在一种可选的实施方式中，获取子单元具体用于：使用匹配追踪MP算法求解公式以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
在一种可选的实施方式中，所述获取子单元具体用于：使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
在一种可选的实施方式中，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
在一种可选的实施方式中，所述第一映射子单元具体用于：根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
在一种可选的实施方式中，所述第二映射子单元具体用于：根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
在一种可选的实施方式中，所述判断单元具体用于：将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同。
在一种可选的实施方式中，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。通过这种方式，在求解过程中采用2模约束来放松稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
在一种可选的实施方式中，所述识别单元具体用于：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
图6中的各个操作的实现还可以对应参照图4或图5所示的方法实施例的相应描述。
在图6所述的人脸识别设备中，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
参见图7，是本申请实施例提供的又一种人脸识别设备的示意图。该第一设备70可以包括：一个或多个处理器701；一个或多个输入设备702，一个或多个输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器702用于存储指令。
所称处理器701可以是中央处理单元，该处理器还可以是其他通用处理器、数字信号处理器、专用集成电路或者其他可编程逻辑器件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备702可以包括通信接口，数据线等，输出设备703可以包括显示器(LCD等)扬声器，数据线，通信接口等。
该存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。例如，存储器704还可以存储设备类型的信息。
处理器701用于运行存储器704存储的指令来执行如下操作：
获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像。
判断所述第一人脸图像的模态与所述第二人脸图像的模态是否相同。
若所述第一人脸图像的模态与所述第二人脸图像的模态不相同，则将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。其中，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间。
根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
在一种可选的实施方式中，所述处理器701具体用于：获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
在一种可选的实施方式中，所述处理器701具体用于：根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。通过这种设备，可以同时确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，提升人脸识别的速度。
在一种可选的实施方式中，所述处理器701具体用于：使用匹配追踪MP算法求解公式以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
在一种可选的实施方式中，所述处理器701具体用于：使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
在一种可选的实施方式中，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
在一种可选的实施方式中，所述处理器701具体用于：根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
在一种可选的实施方式中，所述处理器701具体用于：根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
在一种可选的实施方式中，所述处理器701具体用于：将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同。
在一种可选的实施方式中，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
在一种可选的实施方式中，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。通过这种方式，在求解过程中采用2模约束来放松稀疏的限制，使得公式的计算存在解析解，避免了多次迭代求解引起的运算时间较长的问题，进一步提升获取字典的速度。
在一种可选的实施方式中，所述处理器701具体用于：计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
图7中的各个操作的实现还可以对应参照图4或图5所示的方法实施例的相应描述。
在图7所述的人脸识别设备中，可以使用稀疏表示的方法，将不同模态下的第一人脸图像和第二人脸图像映射到同一跨模态空间，再根据第一人脸图像映射后的第一稀疏人脸特征和第二人脸图像第二稀疏人脸特征对所述第一人脸图像进行人脸识别。这种人脸识别的方式不依赖于GPU的加速，降低了对硬件设备的要求，能够提升人脸识别的速度，满足对人脸识别的实时性要求；同时稀疏表示的方法对数据量的要求较低，可以避免过拟合的问题。
在本发明的另一实施例中提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，图4或图5所示实施例的方法得以实现。
在本发明的另一实施例中提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被计算机执行时实现图4或图5所示实施例的方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (26)

1.一种人脸识别的方法，应用在自动驾驶领域的智能汽车上，其特征在于，包括：
获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像；
将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；
根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；
根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同；
若所述第一人脸图像的模态与所述第二人脸图像的模态不相同，则将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间；
根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，包括：
获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；
根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；
根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
3.根据权利要求2所述的方法，其特征在于，所述获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，包括：
根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；
根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。
4.根据权利要求3所述的方法，其特征在于，所述根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，包括：
使用匹配追踪MP算法求解公式1<i<M，以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
5.根据权利要求3或4所述的方法，其特征在于，所述根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典，包括：
使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
6.根据权利要求5所述的方法，其特征在于，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
7.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征，包括：
根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；
利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
8.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，包括：
根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；
利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
11.根据权利要求1-9任一项所述的方法，其特征在于，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别，包括：
计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；
若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；
若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
13.一种人脸识别设备，应用在自动驾驶领域的智能汽车上，其特征在于，所述设备包括获取单元，判断单元，映射单元和识别单元：
所述获取单元，用于获取第一人脸图像和第二人脸图像，所述第一人脸图像为摄像头获取的当前人脸图像，所述第二人脸图像为存储的参考人脸图像；
所述判断单元，用于将所述第一人脸图像和所述第二人脸图像分别从红绿蓝RGB色彩空间转换到亮度分量、蓝色色度分量以及红色色度分量YCbCr空间；根据所述第一人脸图像在所述YCbCr空间的值和所述第二人脸图像在所述YCbCr空间的值，确定第一人脸图像的色彩系数值和第二人脸图像的色彩系数值；根据第一人脸图像的色彩系数值和第二人脸图像的色彩系数值判断第一人脸图像的模态与第二人脸图像的模态是否相同；
所述映射单元，用于当所述第一人脸图像的模态与所述第二人脸图像的模态不相同时，将所述第一人脸图像和所述第二人脸图像分别映射到跨模态空间，以得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征和所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征，所述跨模态空间为可以同时表征所述第一人脸图像的特征和所述第二人脸图像的特征的色彩空间；
所述识别单元，用于根据所述第一稀疏人脸特征和所述第二稀疏人脸特征对所述第一人脸图像进行人脸识别。
14.根据权利要求13所述的设备，其特征在于，所述映射单元包括获取子单元，第一映射子单元和第二映射子单元：
所述获取子单元，用于获取所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；
所述第一映射子单元，用于根据所述第一人脸图像的模态对应的第一字典将所述第一人脸图像映射到跨模态空间，得到所述第一人脸图像在所述跨模态空间的第一稀疏人脸特征；
所述第二映射子单元，用于根据所述第二人脸图像的模态对应的第二字典将所述第二人脸图像映射到跨模态空间，得到所述第二人脸图像在所述跨模态空间的第二稀疏人脸特征。
15.根据权利要求14所述的设备，其特征在于，所述获取子单元具体用于：
根据第一人脸特征，第二人脸特征，初始化字典，使用匹配追踪MP算法获取所述人脸图像样本在所述跨模态空间的特征表示矩阵，所述第一人脸特征为人脸图像样本在所述第一人脸图像的模态下的人脸特征，所述第二人脸特征为所述人脸图像样本在所述第二人脸图像的模态下的人脸特征；
根据所述第一人脸特征，所述第二人脸特征和所述特征表示矩阵，使用最优方向MOD算法确定所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典。
16.根据权利要求15所述的设备，其特征在于，所述获取子单元具体用于：
使用匹配追踪MP算法求解公式1<i<M，以得到所述人脸图像样本在所述跨模态空间的特征表示矩阵；其中，yi为所述第一人脸特征和所述第二人脸特征组成的矩阵Y的第i个列向量，所述矩阵Y中的第1个行向量到第M个行向量为所述第一人脸特征，第M+1个行向量到第2M个行向量为所述第二人脸特征，/>为所述跨模态空间的特征表示矩阵的第i个列向量，D(0)为所述初始化字典，n表征所述稀疏的约束方式，K为稀疏度。
17.根据权利要求15或16所述的设备，其特征在于，所述获取子单元具体用于：
使用最优方向MOD算法求解公式以得到所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典；其中，D为所述第一人脸图像的模态对应的第一字典和所述第二人脸图像的模态对应的第二字典组成的矩阵，X为所述特征表示矩阵。
18.根据权利要求17所述的设备，其特征在于，所述D包含M个列向量，2M个行向量；其中，第1个行向量到第M个行向量组成的矩阵为所述第一人脸图像的模态对应的第一字典，第M+1个行向量到第2M个行向量组成的矩阵为所述第二人脸图像的模态对应的第二字典。
19.根据权利要求14或15所述的设备，其特征在于，所述第一映射子单元具体用于：
根据所述第一人脸图像的模态对应的第一字典和惩罚系数确定所述第一人脸图像的模态对应的第一投影矩阵；
利用所述第一人脸图像的模态对应的第一投影矩阵和所述第一人脸图像计算得到所述第一人脸图像在跨模态空间的第一稀疏人脸特征。
20.根据权利要求14-16任一项所述的设备，其特征在于，所述第二映射子单元具体用于：
根据所述第二人脸图像的模态对应的第二字典和惩罚系数确定所述第二人脸图像的模态对应的第二投影矩阵；
利用所述第二人脸图像的模态对应的第二投影矩阵和所述第二人脸图像计算得到所述第二人脸图像在跨模态空间的第二稀疏人脸特征。
21.根据权利要求13-20任一项所述的设备，其特征在于，所述第一人脸图像的模态与所述第二人脸图像的模态不相同，为所述第一人脸图像的色彩系数值和所述第二人脸图像的色彩系数值中的其中一个色彩系数值大于第一阈值，另一个色彩系数值不大于所述第一阈值。
22.根据权利要求13-21任一项所述的设备，其特征在于，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为0模约束，1模约束，2模约束中的一种。
23.根据权利要求13-21任一项所述的设备，其特征在于，所述稀疏为，用从字典中选取的列向量的线性组合来表征原始人脸图像特征的方式，其中，选取列向量的方式为2模约束。
24.根据权利要求13-23任一项所述的设备，其特征在于，所述识别单元具体用于：
计算所述第一稀疏人脸特征和所述第二稀疏人脸特征之间的相似度；
若所述相似度大于相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别通过；
若所述相似度小于或等于所述相似度阈值，则确定对所述第一人脸图像的人脸识别结果为识别不通过。
25.一种人脸识别设备，其特征在于，包括处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器被配置用于调用所述程序指令来执行如权利要求1-12任一项所述的方法。
26.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-12任一项所述的方法。
CN201811090801.6A 2018-09-18 2018-09-18 一种人脸识别的方法及设备 Active CN110909582B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811090801.6A CN110909582B (zh) 2018-09-18 2018-09-18 一种人脸识别的方法及设备
KR1020217010470A KR102592668B1 (ko) 2018-09-18 2019-09-17 안면 인식 방법 및 디바이스
PCT/CN2019/106216 WO2020057509A1 (zh) 2018-09-18 2019-09-17 一种人脸识别的方法及设备
EP19861630.2A EP3842990A4 (en) 2018-09-18 2019-09-17 FACIAL RECOGNITION PROCESS AND DEVICE
US17/202,726 US20210201000A1 (en) 2018-09-18 2021-03-16 Facial recognition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811090801.6A CN110909582B (zh) 2018-09-18 2018-09-18 一种人脸识别的方法及设备

Publications (2)

Publication Number Publication Date
CN110909582A CN110909582A (zh) 2020-03-24
CN110909582B true CN110909582B (zh) 2023-09-22

Family

ID=69813650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811090801.6A Active CN110909582B (zh) 2018-09-18 2018-09-18 一种人脸识别的方法及设备

Country Status (5)

Country Link
US (1) US20210201000A1 (zh)
EP (1) EP3842990A4 (zh)
KR (1) KR102592668B1 (zh)
CN (1) CN110909582B (zh)
WO (1) WO2020057509A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111919224A (zh) * 2020-06-30 2020-11-10 北京小米移动软件有限公司 生物特征融合方法及装置、电子设备及存储介质
CN112183480A (zh) * 2020-10-29 2021-01-05 深圳奥比中光科技有限公司 一种人脸识别方法、装置、终端设备及存储介质
WO2022252118A1 (zh) * 2021-06-01 2022-12-08 华为技术有限公司 一种头部姿态测量方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324025A (zh) * 2011-09-06 2012-01-18 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN102436645A (zh) * 2011-11-04 2012-05-02 西安电子科技大学 基于mod字典学习采样的谱聚类图像分割方法
DE102013219551A1 (de) * 2013-09-27 2015-04-02 Carl Zeiss Meditec Ag Verfahren zur Darstellung zweier digitaler Bilder zur visuellen Erkennung und Bewertung von Unterschieden bzw. Veränderungen
CN106056647A (zh) * 2016-05-30 2016-10-26 南昌大学 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法
CN106326903A (zh) * 2016-08-31 2017-01-11 中国科学院空间应用工程与技术中心 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法
EP3230951A1 (en) * 2014-12-09 2017-10-18 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
CN108256405A (zh) * 2016-12-29 2018-07-06 中国移动通信有限公司研究院 一种人脸识别方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512255B2 (en) * 2003-08-22 2009-03-31 Board Of Regents, University Of Houston Multi-modal face recognition
US8917914B2 (en) * 2011-04-05 2014-12-23 Alcorn State University Face recognition system and method using face pattern words and face pattern bytes
CN103136516B (zh) * 2013-02-08 2016-01-20 上海交通大学 可见光与近红外信息融合的人脸识别方法及系统
US9275309B2 (en) * 2014-08-01 2016-03-01 TCL Research America Inc. System and method for rapid face recognition
CN104700087B (zh) * 2015-03-23 2018-05-04 上海交通大学 可见光与近红外人脸图像的相互转换方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324025A (zh) * 2011-09-06 2012-01-18 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN102436645A (zh) * 2011-11-04 2012-05-02 西安电子科技大学 基于mod字典学习采样的谱聚类图像分割方法
DE102013219551A1 (de) * 2013-09-27 2015-04-02 Carl Zeiss Meditec Ag Verfahren zur Darstellung zweier digitaler Bilder zur visuellen Erkennung und Bewertung von Unterschieden bzw. Veränderungen
EP3230951A1 (en) * 2014-12-09 2017-10-18 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
CN106056647A (zh) * 2016-05-30 2016-10-26 南昌大学 一种基于卷积稀疏双层迭代学习的磁共振快速成像方法
CN106326903A (zh) * 2016-08-31 2017-01-11 中国科学院空间应用工程与技术中心 一种基于仿射尺度不变特征和稀疏表示的典型目标识别方法
CN108256405A (zh) * 2016-12-29 2018-07-06 中国移动通信有限公司研究院 一种人脸识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reale C等."Coupled dictionaries for thermal to visible face recognition.《2014 IEEE International Conference on Image Processing (ICIP)》.2014,第328-332页. *
Shuting Cai等.A Dictionary-Learning Algorithm Based on Method of Optimal Directions and Approximate K-SVD.《Proceedings of the 35t" Chinese Control Conference》.2016,第6957-6961页. *

Also Published As

Publication number Publication date
CN110909582A (zh) 2020-03-24
EP3842990A4 (en) 2021-11-17
WO2020057509A1 (zh) 2020-03-26
US20210201000A1 (en) 2021-07-01
KR102592668B1 (ko) 2023-10-24
EP3842990A1 (en) 2021-06-30
KR20210058882A (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
CN108229468B (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN109784186B (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN110909582B (zh) 一种人脸识别的方法及设备
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN110516734B (zh) 一种图像匹配方法、装置、设备及存储介质
CN108764096B (zh) 一种行人重识别系统和方法
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN111192277A (zh) 一种实例分割的方法及装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN111191582A (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN113449704A (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN112990152B (zh) 基于关键点检测和局部特征对齐的车辆重识别方法
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN116798041A (zh) 图像识别方法、装置和电子设备
CN114022713A (zh) 模型训练方法、系统、设备及介质
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN113420724B (zh) 一种无人机遥感入河排口识别方法及装置
CN114882525B (zh) 基于模态特定记忆网络的跨模态行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant