CN112528866A - 跨模态人脸识别方法、装置、设备及存储介质 - Google Patents

跨模态人脸识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112528866A
CN112528866A CN202011467703.7A CN202011467703A CN112528866A CN 112528866 A CN112528866 A CN 112528866A CN 202011467703 A CN202011467703 A CN 202011467703A CN 112528866 A CN112528866 A CN 112528866A
Authority
CN
China
Prior art keywords
face
image sequence
neural network
infrared
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011467703.7A
Other languages
English (en)
Inventor
陈碧辉
高通
钱贝贝
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202011467703.7A priority Critical patent/CN112528866A/zh
Publication of CN112528866A publication Critical patent/CN112528866A/zh
Priority to PCT/CN2021/107935 priority patent/WO2022127112A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种跨模态人脸识别方法、装置、设备及存储介质，所述方法通过采用由可见光人脸预处理图像序列和红外光人脸预处理图像序列训练完成的跨模态人脸识别模型，对待识别的人脸图像进行人脸识别，能够提高对不同模态的摄像头下获取的人脸图像识别的准确率。

Description

跨模态人脸识别方法、装置、设备及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种跨模态人脸识别方法、装置、设备及存储介质。
背景技术
人脸识别的准确性受周围环境光照的影响较大。常见的人脸识别技术主要是针对不受环境光照影响的近红外摄像头拍摄的人脸图像进行识别。但是，在现实环境中经常会出现光照不均以及光照不佳的情况，这就需要针对在不同模态的摄像头下获取的图像进行识别，而目前的人脸识别技术无法对不同模态的摄像头下获取的图像进行准确性识别。因此，现有技术存在对不同模态的摄像头下获取的人脸图像识别准确率不高的问题。
发明内容
本申请提供了一种跨模态人脸识别方法、装置、设备及存储介质，能够解决对不同模态的摄像头下获取的人脸图像识别准确率不高的问题。
第一方面，本申请提供了一种跨模态人脸识别方法，包括：
采集待识别的人脸图像；
将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别；
其中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
在一可选的实现方式中，所述预先训练完成的跨模态人脸识别模型的收敛函数由所述红外人脸特征向量集和第二分类损失函数构成；所述收敛函数表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
在一可选的实现方式中，在将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别之前，还包括：
获取第一预设数量的可见光人脸图像序列；
对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列；
基于所述可见光人脸预处理图像序列对所述第一神经网络进行训练，得到所述第一子神经网络。
在一可选的实现方式中，在所述将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别之前，还包括：
获取所述第二预设数量的红外人脸图像序列；
对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列；
基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络。
在一可选的实现方式中，对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列，包括：
对所述可见光人脸图像序列转换为灰度图像；
对所述灰度图像进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列，包括：
对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列；
对增强后的红外人脸图像序列进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列，包括：
对所述红外人脸图像序列进行直方图均衡化处理，增强所述红外人脸图像序列的图像对比度，得到增强后的红外人脸图像序列。
第二方面，本申请提供了跨模态人脸识别装置，包括：
采集模块，用于采集待识别的人脸图像；
识别模块，用于将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别；
其中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
在一可选的实现方式中，所述预先训练完成的跨模态人脸识别模型的收敛函数由所述红外人脸特征向量集和第二分类损失函数构成；所述收敛函数表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
在一可选的实现方式中，还包括：
第一获取模块，用于获取第一预设数量的可见光人脸图像序列；
第一处理模块，用于对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列；
第一训练模块，用于基于所述可见光人脸预处理图像序列对所述第一神经网络进行训练，得到所述第一子神经网络。
在一可选的实现方式中，还包括：
第二获取模块，用于获取所述第二预设数量的红外人脸图像序列；
第二处理模块，用于对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列；
第二训练模块，用于基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络。
在一可选的实现方式中，所述第一处理模块，包括：
转换单元，用于对所述可见光人脸图像序列转换为灰度图像；
第一处理单元，用于对所述灰度图像进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，所述第二处理模块，包括：
增强单元，用于对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列；
第二处理单元，用于对增强后的红外人脸图像序列进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，所述增强单元，具体用于：
对所述红外人脸图像序列进行直方图均衡化处理，增强所述红外人脸图像序列的图像对比度，得到增强后的红外人脸图像序列。
第三方面，本申请提供了一种跨模态人脸识别设备，上述跨模态人脸识别设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
上述第一方面的跨模态人脸识别方法，通过采用由可见光人脸预处理图像序列和红外光人脸预处理图像序列训练完成的跨模态人脸识别模型，对待识别的人脸图像进行人脸识别，能够提高对不同模态的摄像头下获取的人脸图像识别的准确率。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的跨模态人脸识别方法的实现流程图；
图2是预先训练完成的跨模态人脸识别模型的训练过程示意图；
图3是本申请实施例提供的跨模态人脸识别装置的示意图；
图4是本申请实施例提供的跨模态人脸识别设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面结合具体实施例对本申请提供的跨模态人脸识别方法进行示例性的说明。如图1所示，图1是本申请实施例提供的跨模态人脸识别方法的实现流程图。本实施了可以由跨模态人脸识别设备执行，所述跨模态人脸识别设备包括但不限于自助终端、监控设备、考勤设备以及各种应用场景下的服务器、机器人、可穿戴设备或者移动终端等。详述如下：
S101，采集待识别的人脸图像。
在本申请的实施例中，所述待识别的人脸图像可以是可见光模态下或者红外模态下采集的人脸图像。示例性地，可以通过跨模态人脸识别设备的摄像机，例如移动终端或者考勤设备的摄像机采集可见光模态下的人脸图像，或者采集红外模态下的人脸图像。
S102将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别。
在本申请的实施例中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
所述预先训练完成的跨模态人脸识别模型的收敛函数由所述红外人脸特征向量集和第二分类损失函数构成；所述收敛函数表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
所述预设跨模态人脸识别模型包括第一子神经网络和第二子神经网络；应该理解的是，第一子神经网络和第二子神经网络可采用任意结构的神经网络。在一个可选的实现方式中，第一子神经网络与第二子神经网络的网络结构相同，但初始参数不同；或者，在另一可选的实现方式中，第一子神经网络与第二子神经网络的网络结构不同。
其中，图2是预先训练完成的跨模态人脸识别模型的训练过程示意图。如图2所示，所述预先训练完成的跨模态人脸识别模型的训练过程包括如下步骤：
S201，获取第一预设数量的可见光人脸图像序列，对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列。
需要说明的是，可使用彩色相机或多光谱相机采集包含人脸的可见光人脸图像序列。其中，可见光人脸图像包含丰富的纹理特征且容易受环境光影响。因此，在一些可选的实现方式中，通过获取第一预设数量的可见光人脸图像序列；并对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列。
在一可选的实现方式中，对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列，可以包括：将采集到的包括可见光人脸图像中的人脸区域与背景区域进行分割，以获取见光人脸图像。
在本申请的一些实施例中，在进行图像分割之前，可以首先通过图像检测模型检测待处理图像中是否有人脸，当图像检测模型的输出结果显示图像中没有人脸时，则不必进行人脸分割，同时结束人脸分割处理，以减少不必要的工作量。当图像检测模型的输出结果显示图像中有人脸时，还可以进一步进行人脸的筛选，即判断图像中是否存在符合预设条件的人脸，例如，可以是判断人脸是否符合要求，具体的，可以针对人脸的位置和/或大小来预先设定上述要求，如可以预先设定人脸区域大小满足预设大小时才认为符合要求。当人脸符合预设条件时，则执行后续处理，如进行图像的旋转校正、对图像进行对象分割处理，当人脸不符合预设条件时，则可以不对图像进行分割处理。
在本申请的一些实施例中，将一系列可见光人脸图像作如上处理，即可获取可见光人脸图像序列，进一步对可见光人脸图像序列进行预处理可以得到可见光人脸预处理图像序列。可选地，对所述可见光人脸图像序列进行预处理，可以包括：对所述可见光人脸图像序列进行灰度转换和归一化处理，以得到可见光人脸预处理图像序列。
其中，将可见光人脸图像序列中的人脸图像进行灰度转换为灰度图像。可选地，可通过预设灰度转换的公式进行灰度转换，所述预设灰度转换公式可以表示为：
Igary＝0.2989×R+0.5870×G+0.1140×B
其中，Igray为灰度转换后灰度图像输出，R、G、B为灰度转换前图像对应的RGB值。
进一步将转换得到的灰度图像进行归一化处理，示例性地，通过预设的归一化处理公式进行归一化处理，所述预设的归一化处理公式可以表示为：
Figure BDA0002835014860000091
其中，In为灰度图像Igray归一化后的图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值。
S202，基于所述可见光人脸预处理图像序列对所述第一神经网络进行训练，得到所述第一子神经网络。
由于可见光模态下的人脸较复杂，因此可先使用可见光人脸预处理图像序列对跨模态神经网络进行预训练。在本申请的一个实施例中，将可见光人脸预处理图像序列分为训练集、验证集两部分。其中，训练集与验证集不重合，使用训练集对所述预设跨模态人脸识别模型进行训练，通过验证集所述预设跨模态人脸识别模型的训练进行验证，同时构建第一分类损失函数，通过不断保存使验证集损失最小的神经网络确定为本实施例最终训练得到的第一子神经网络，该第一子神经网络输出可见光图像序列。
S203，获取所述第二预设数量的红外人脸图像序列，对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列。
需要说明的是，所述红外人脸预处理图像序列为对红外人脸图像序列进行预处理得到。示例性地，获取所述第二预设数量的红外人脸图像序列，对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列。
其中，对所述红外人脸图像序列进行像素均衡处理包括：对所述红外人脸图像序列进行图像对比度增强以及归一化处理。在本申请的一些实施例中，可以对红外人脸图像序列进行直方图均衡化来增强图像对比度。其中，直方图均衡化是一种通过拉伸像素强度分布范围来增强图像对比度的方法。在其它一些实施例中，还可以对红外人脸图像序列采用对数函数和幂函数进行转换来增强图像对比度。
在本申请实例之后，对红外人脸图像序列进行归一化处理的过程与对可见光人脸图像进行归一化处理的过程相同，在此不再赘述。
S204，基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络。
示例性地，基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络，包括：基于所述红外人脸预处理图像序列以及第二分类损失函数对所述预设的第二神经网络进行训练，所述预设的第二神经网络可以是第一子神经网络模型。
将所述红外人脸预处理图像序列输入所述第二子神经网络，并基于第二分类损失函数对所述第二子神经网络进行训练，使得所述第二子神经网络输出与所述红外人脸图像对应的第二人脸特征向量集。
此外，在本申请的实施例中，在训练得到所述第一子神经网络和所述第二子神经网络之后，基于所述第一人脸特征向量集、所述第二人脸特征向量集以及所述第二分类损失函数构建收敛函数；进一步根据所述红外人脸预处理图像序列以及所述收敛函数对所述第二子神经网络再次进行训练，得到所述跨模态人脸识别模型。
示例性地，根据所述红外人脸预处理图像序列以及所述收敛函数对所述第二子神经网络再次进行训练，得到所述跨模态人脸识别模型，包括：
根据所述红外人脸预处理图像序列对所述第二子神经网络再次进行训练，直至所述收敛函数满足预设的收敛条件。
所述收敛函数可以表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
示例性地，所述待识别的人脸图像可以包括可见光人脸图像和/或红外人脸图像；将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别，可以包括：将所述可见光人脸图像和/或红外人脸图像输入预先训练完成的跨模态人脸识别模型以输出用于人脸识别的可见光人脸特征向量和/或红外人脸特征向量，并将输出的可见光人脸特征向量和/或红外人脸特征向量与预存的授权人脸特征向量进行比对，若比对之后输出的可见光人脸特征向量和/或红外人脸特征向量与预存的授权人脸特征向量的相似度超过预设的相似度阈值时，则识别成功，反之失败。
在本申请的一些实施例中，所述跨模态人脸识别模型包括卷积层和全连接层。其中，在全连接层前可有任意层数的卷积层。示例性地，所述跨模态人脸识别模型包括五个卷积层和一个全连接层；其中，第一卷积层和第二卷积层均包括两个用于特征提取的卷积层和一个用于降维的最大池化层，第三卷积层至第五卷积层均包括三个用于特征提取的卷积层和一个用于降维的最大池化层，每一层运算操作后的特征图都经过非线性激活函数；可见光预处理图像序列与红外预处理图像序列经过卷积层进行卷积操作提取特征值，之后经过全连接层输出人脸特征向量。
示例性的，所述第一卷积层可以包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为64的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；第二卷积层包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为128的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；第三卷积层包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为256的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；第四卷积层包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；第五卷积层包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；两个全连接层各有4096个节点。应该了解的是，上述跨模态神经网络可采用任意结构，上述例子不具有限制作用。
其中，在跨模态人脸识别模型的训练过程中，卷积核和权重进行随机初始化，偏置项置为0。采用随机梯度下降(SGD)算法对上述跨模态神经网络进行网络参数的更新和梯度的优化，当网络迭代次数达到预设值时，训练停止并保存训练好的跨模态神经网络。
通过上述实施例可知，本申请提供的跨模态人脸识别方法，通过采用由可见光人脸预处理图像序列和红外光人脸预处理图像序列训练完成的跨模态人脸识别模型，对待识别的人脸图像进行人脸识别，能够提高对不同模态的摄像头下获取的人脸图像识别的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的跨模态人脸识别方法，图3示出了本申请实施例提供的跨模态人脸识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图3所示，图3是本申请实施例提供的跨模态人脸识别装置的示意图。该跨模态人脸识别装置300包括：
采集模块301，用于采集待识别的人脸图像；
识别模块302，用于将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别；
其中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
在一可选的实现方式中，所述预先训练完成的跨模态人脸识别模型的收敛函数由所述红外人脸特征向量集和第二分类损失函数构成；所述收敛函数表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
在一可选的实现方式中，还包括：
第一获取模块，用于获取第一预设数量的可见光人脸图像序列；
第一处理模块，用于对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列；
第一训练模块，用于基于所述可见光人脸预处理图像序列对所述第一神经网络进行训练，得到所述第一子神经网络。
在一可选的实现方式中，还包括：
第二获取模块，用于获取所述第二预设数量的红外人脸图像序列；
第二处理模块，用于对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列；
第二训练模块，用于基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络。
在一可选的实现方式中，所述第一处理模块，包括：
转换单元，用于对所述可见光人脸图像序列转换为灰度图像；
第一处理单元，用于对所述灰度图像进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，所述第二处理模块，包括：
增强单元，用于对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列；
第二处理单元，用于对增强后的红外人脸图像序列进行归一化处理，得到所述红外人脸预处理图像序列。
在一可选的实现方式中，所述增强单元，具体用于：
对所述红外人脸图像序列进行直方图均衡化处理，增强所述红外人脸图像序列的图像对比度，得到增强后的红外人脸图像序列。
需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4是本申请实施例提供的跨模态人脸识别设备的结构示意图。如图4所示，该实施例的跨模态人脸识别设备4包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述图1所述方法实施例中的步骤。
所述跨模态人脸识别设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该跨模态人脸识别设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是跨模态人脸识别设备4的举例，并不构成对跨模态人脸识别设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述跨模态人脸识别设备4的内部存储单元，例如跨模态人脸识别设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述跨模态人脸识别设备4的外部存储设备，例如所述跨模态人脸识别设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述跨模态人脸识别设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在跨模态人脸识别设备上运行时，使得跨模态人脸识别设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种跨模态人脸识别方法，其特征在于，包括：
采集待识别的人脸图像；
将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别；
其中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
2.如权利要求1所述的跨模态人脸识别方法，其特征在于，所述预先训练完成的跨模态人脸识别模型的收敛函数由所述红外人脸特征向量集和第二分类损失函数构成；所述收敛函数表示为：
Lcombine＝α·(fN-fV)2+β·arcfaceLoss
其中，Lcombine表示收敛函数，arcfaceLoss为第二分类损失函数，fN表示红外人脸特征向量集，fN表示可见光人脸特征向量集，α和β为常数。
3.如权利要求1所述的跨模态人脸识别方法，其特征在于，在将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别之前，还包括：
获取第一预设数量的可见光人脸图像序列；
对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列；
基于所述可见光人脸预处理图像序列对所述第一神经网络进行训练，得到所述第一子神经网络。
4.如权利要求1所述的跨模态人脸识别方法，其特征在于，在所述将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别之前，还包括：
获取所述第二预设数量的红外人脸图像序列；
对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列；
基于所述红外人脸预处理图像序列对预设的第二神经网络进行训练，得到所述第二子神经网络。
5.如权利要求3所述的跨模态人脸识别方法，其特征在于，对所述可见光人脸图像序列进行像素均衡处理，得到所述可见光人脸预处理图像序列，包括：
对所述可见光人脸图像序列转换为灰度图像；
对所述灰度图像进行归一化处理，得到所述红外人脸预处理图像序列。
6.如权利要求4所述的跨模态人脸识别方法，其特征在于，对所述红外人脸图像序列进行像素均衡处理，得到所述红外人脸预处理图像序列，包括：
对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列；
对增强后的红外人脸图像序列进行归一化处理，得到所述红外人脸预处理图像序列。
7.如权利要求6所述的跨模态人脸识别方法，其特征在于，对所述红外人脸图像序列进行图像对比度增强，得到增强后的红外人脸图像序列，包括：
对所述红外人脸图像序列进行直方图均衡化处理，增强所述红外人脸图像序列的图像对比度，得到增强后的红外人脸图像序列。
8.一种跨模态人脸识别装置，其特征在于，包括：
采集模块，用于采集待识别的人脸图像；
识别模块，用于将所述待识别的人脸图像输入预先训练完成的跨模态人脸识别模型进行人脸识别；
其中，所述预先训练完成的跨模态人脸识别模型包括：第一子神经网络和第二子神经网络；所述第一子神经网络由第一预设数量的可见光人脸预处理图像序列基于第一分类损失函数对预设的第一神经网络进行训练得到，将所述可见光人脸预处理图像序列输入所述第一子神经网络生成可见光人脸特征向量集；所述第二子神经网络由红外人脸预处理图像序列对预设的第二神经网络进行训练得到，将所述红外人脸图像序列输入所述第二子神经网络生成红外人脸特征向量集。
9.一种跨模态人脸识别设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202011467703.7A 2020-12-14 2020-12-14 跨模态人脸识别方法、装置、设备及存储介质 Pending CN112528866A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011467703.7A CN112528866A (zh) 2020-12-14 2020-12-14 跨模态人脸识别方法、装置、设备及存储介质
PCT/CN2021/107935 WO2022127112A1 (zh) 2020-12-14 2021-07-22 跨模态人脸识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467703.7A CN112528866A (zh) 2020-12-14 2020-12-14 跨模态人脸识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112528866A true CN112528866A (zh) 2021-03-19

Family

ID=74999573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467703.7A Pending CN112528866A (zh) 2020-12-14 2020-12-14 跨模态人脸识别方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112528866A (zh)
WO (1) WO2022127112A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及系统
WO2022127112A1 (zh) * 2020-12-14 2022-06-23 奥比中光科技集团股份有限公司 跨模态人脸识别方法、装置、设备及存储介质
CN115147679A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 多模态图像识别方法和装置、模型训练方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342968B (zh) * 2023-01-18 2024-03-19 北京六律科技有限责任公司 一种双通道人脸识别方法及装置
CN116612439B (zh) * 2023-07-20 2023-10-31 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN117036890A (zh) * 2023-08-22 2023-11-10 北京智芯微电子科技有限公司 行人检测模型的训练、行人检测方法、装置、设备及介质
CN118042065A (zh) * 2024-04-15 2024-05-14 深圳市青桔智慧科技有限公司 基于人脸识别的校园音视频话机系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197585A (zh) * 2017-12-13 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
US20190065906A1 (en) * 2017-08-25 2019-02-28 Baidu Online Network Technology (Beijing) Co., Ltd . Method and apparatus for building human face recognition model, device and computer storage medium
CN111881826A (zh) * 2020-07-28 2020-11-03 深圳力维智联技术有限公司 跨模态行人重识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084109A (zh) * 2019-03-19 2019-08-02 西安电子科技大学 一种低分辨率人脸图像识别方法、装置、电子设备及存储介质
CN112528866A (zh) * 2020-12-14 2021-03-19 奥比中光科技集团股份有限公司 跨模态人脸识别方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065906A1 (en) * 2017-08-25 2019-02-28 Baidu Online Network Technology (Beijing) Co., Ltd . Method and apparatus for building human face recognition model, device and computer storage medium
CN108197585A (zh) * 2017-12-13 2018-06-22 北京深醒科技有限公司 脸部识别方法和装置
CN111881826A (zh) * 2020-07-28 2020-11-03 深圳力维智联技术有限公司 跨模态行人重识别方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127112A1 (zh) * 2020-12-14 2022-06-23 奥比中光科技集团股份有限公司 跨模态人脸识别方法、装置、设备及存储介质
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及系统
CN115147679A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 多模态图像识别方法和装置、模型训练方法和装置
CN115147679B (zh) * 2022-06-30 2023-11-14 北京百度网讯科技有限公司 多模态图像识别方法和装置、模型训练方法和装置

Also Published As

Publication number Publication date
WO2022127112A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN112528866A (zh) 跨模态人脸识别方法、装置、设备及存储介质
KR101808467B1 (ko) 생체 인식 인증을 위한 특징 추출 및 정합과 템플릿 갱신
CN112507897A (zh) 跨模态人脸识别方法、装置、设备及存储介质
US8750573B2 (en) Hand gesture detection
CN110728234A (zh) 驾驶员人脸识别方法、系统、设备及介质
CN110852310B (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
JP6341650B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110717497B (zh) 图像相似度匹配方法、装置及计算机可读存储介质
US11087106B2 (en) Method of extracting features from a fingerprint represented by an input image
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
CN112464803A (zh) 图像比较方法和装置
CN113435408A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN113569707A (zh) 活体检测方法、装置、电子设备以及存储介质
CN111814682A (zh) 人脸活体检测方法及装置
CN115116111B (zh) 抗扰动人脸活体检测模型训练方法、装置及电子设备
CN117095214A (zh) 文物存储环境监测方法及系统
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
Selvi et al. FPGA implementation of a face recognition system
CN113128289B (zh) 人脸识别的特征提取计算方法及设备
CN112733574B (zh) 一种人脸识别的方法、装置及计算机可读存储介质
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
CN111160363B (zh) 特征描述子生成方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination