CN109472240B - 人脸识别多模型自适应特征融合增强方法和装置 - Google Patents

人脸识别多模型自适应特征融合增强方法和装置 Download PDF

Info

Publication number
CN109472240B
CN109472240B CN201811340225.6A CN201811340225A CN109472240B CN 109472240 B CN109472240 B CN 109472240B CN 201811340225 A CN201811340225 A CN 201811340225A CN 109472240 B CN109472240 B CN 109472240B
Authority
CN
China
Prior art keywords
face
cutting
image
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811340225.6A
Other languages
English (en)
Other versions
CN109472240A (zh
Inventor
姬晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingpu Technology Co Ltd
Original Assignee
Beijing Yingpu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingpu Technology Co Ltd filed Critical Beijing Yingpu Technology Co Ltd
Priority to CN201811340225.6A priority Critical patent/CN109472240B/zh
Publication of CN109472240A publication Critical patent/CN109472240A/zh
Application granted granted Critical
Publication of CN109472240B publication Critical patent/CN109472240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别多模型自适应特征融合增强方法和装置。其中方法包括：对图像进行人脸检测，利用两种以上的切图方式对人脸部分进行切图，得到不同类型的人脸切图；分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；对于人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将特征向量表示为关于图片的离散分布，计算离散分布之间的相对熵，从而得到人脸切图特征之间的相似度；基于人脸切图特征之间的相似度对人脸切图特征进行融合。该方法能实现端到端的自适应人脸识别特征融合增强，每个网络利用各自优势从不同人脸区域中学习更有利于提升融合后特征判别力的信息。

Description

人脸识别多模型自适应特征融合增强方法和装置
技术领域
本申请涉及计算机视觉和生物特征识别技术领域，特别是涉及人脸识别多模型自适应特征融合增强方法和装置。
背景技术
深度神经网络的多模型集成方法广泛用于执行很多计算机视觉任务，由于不同网络可以有效地从原始图像中提取互补的信息，因此多模型集成可以明显地提成识别性能。在目标识别领域，网络集成一般将不同结构卷积神经网络的结果进行融合。在图像细分类领域，采用双线性模型框架可以有效提升性能，该框架包含两个卷积神经网络分支分别用于提取原图中不同部件的信息，同时两个分支提取的特征通过外积进行融合从而提升最终性能。在行为识别领域，主流的双流卷积神经网络方法采用两分支卷积神经网络分别捕获图像序列的表观以及运动信息，同样达到了融合互补特征的目的。多模型集成同样广泛应用于计算机视觉中经典的人脸识别问题。在手工特征时期，代表性的局部二值特征在人脸识别问题中融合了不同尺度的信息。在深度学习时期，最具代表性的DeepID2人脸识别框架为了有效利用人脸不同区域(如眼睛，鼻子)中互补的表观信息，手工定义了200中不同的人脸切图方式，并使用这些不同的切图分别训练了200个卷积神经网络模型用于捕获不同人脸区域的信息。最终的人脸识别系统通过离线特征融合的方式采用贪心的策略选取出最好的25个模型。
然而，该通用方法每个切图模型均为单独训练得到。在训练过程中，不同切图特征在训练过程中没有引入任何的相关性。只可用离线的串联特征以及单独训练支持向量机或联合贝叶斯等降维方式来进行融合。该方法虽然可以利用一定量互补信息并去除部分冗余信息，但确没有对特征提取器卷积神经网络网络进行任何监督指导。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种人脸识别多模型自适应特征融合增强方法，包括：
人脸切图步骤：对图像进行人脸检测，利用两种以上的切图方式对所述人脸部分进行切图，得到不同类型的人脸切图；
人脸切图特征获取步骤：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
相对熵损失计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图片的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；
判别融合步骤：基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合。
采用该方法，能够实现端到端的自适应人脸识别特征融合增强。该方法针对人脸识别中多切图深度特征融合问题，采用自适应特征融合方法来融合模型集成过程中来源于不同人脸切图的深度特征。在端到端的训练过程中，每个切图的卷积神经网络网络可利用各自的优势，从不同人脸区域中学习到更有利于提升融合后特征判别力的信息。
可选地，所述人脸切图步骤包括：
人脸检测步骤：对所述对图像进行人脸检测、关键点定位和人脸对齐操作；
切图步骤：基于先验知识定义的两种以上的人脸切图方式对所述人脸部分进行切图，对于每种类型的切图的尺度通过特定关键点间的距离进行归一化处理。
采用该方法，能够得到不同类型的人脸切图，便于后续计算切图特征之间的关系，从而得到该人物的脸部特征。
可选地，在所述人脸切图特征获取步骤中：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。
该方法能够将不同类型切图分别进行训练，得到不同的网络模型，使得每一类切图的特征都能够通过相应的网络准确计算，有利于分析不同切图的特征的异同，从而为后续特征融合提供准确的数据支撑。
可选地，所述相对熵损失计算步骤包括：
概率计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量输入到归一化指数函数中，得到所述特征向量每一维的概率值；
相对熵计算步骤：将所述特征向量表示为关于所述图片的离散分布，其中，所述特征向量的每一维作为该离散分布的随机变量；采用相对熵度量两两所述离散分布间的相似程度，得到所述人脸切图特征之间的相似度，其中，通过将相对熵的计算结果之和作为目标函数来优化所述离散分布。
该方法采用相对熵损失计算步骤，能够使通过卷积神经网络提取出的多切图人脸特征中的每个特征尽可能学习到互补的信息。使用归一化指数训练的同时设计了相对熵损失函数，增大了同一人脸图片不同切图特征间的相对熵，以此增大不同切图特征间的差异性，有利于后续信息融合。
可选地，所述判别融合步骤包括：
初步融合步骤：基于所述人脸切图特征之间的相似对所述人脸切图特征进行初步融合，利用类别中心点聚类损失函数对所述初步融合后的特征进行监督训练；
降维步骤：对所述初步融合后的特征进行维降处理，利用归一化指数损失函数进行监督训练。
该方法将多分支的卷积神经网络网络提取出的每个切图特征进行端到端的融合，相比传统的离线手工融合方法，进一步增强整体人脸特征判别能力。
根据本申请的另一个方面，还提供了一种人脸识别多模型自适应特征融合增强装置，包括：
人脸切图模块，其配置成用于对图像进行人脸检测，利用两种以上的切图方式对所述人脸部分进行切图，得到不同类型的人脸切图；
人脸切图特征获取模块，其配置成用于分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
相对熵损失计算模块，其配置成用于对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图片的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；和
判别融合模块，其配置成用于基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合。
采用该装置，能够实现端到端的自适应人脸识别特征融合增强。该方法针对人脸识别中多切图深度特征融合问题，采用自适应特征融合方法来融合模型集成过程中来源于不同人脸切图的深度特征。在端到端的训练过程中，每个切图的卷积神经网络网络可利用各自的优势，从不同人脸区域中学习到更有利于提升融合后特征判别力的信息。
可选地，所述人脸切图模块包括：
人脸检测模块，其配置成用于对所述对图像进行人脸检测、关键点定位和人脸对齐操作；
切图模块，其配置成用于基于先验知识定义的两种以上的人脸切图方式对所述人脸部分进行切图，对于每种类型的切图的尺度通过特定关键点间的距离进行归一化处理。
可选地，所述人脸切图特征获取模块还用于：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。
根据本申请的另一个方面，还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。
根据本申请的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解的是，这些附图未必是按比例绘制的。在附图中：
图1是运行根据本申请一个实施例的人脸识别多模型自适应特征融合增强方法的计算机装置硬件结构示意图；
图2是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的示意性流程图；
图3是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的相对熵损失计算步骤的示意性原理图；
图4是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的判别融合步骤的示意性原理图；
图5是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强装置的示意性框图；
图6是本申请的计算设备的一个实施例的框图；
图7是本申请的计算机可读存储介质的一个实施例的框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本申请实施例，还提供了一种人脸识别多模型自适应特征融合增强方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于本申请方法的计算机装置(或移动设备)的硬件结构框图。如图1所示，计算机装置10(或移动设备10)可以包括一个或多个处理器(图中采用102a、102b，……，102n来示出，处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机装置10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机装置10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中人脸识别多模型自适应特征融合增强方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机装置10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller,NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机装置10(或移动设备)的用户界面进行交互。
在上述运行环境下，本申请提供了一种人脸识别多模型自适应特征融合增强方法。图2是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的示意性流程图。该方法可以包括以下步骤：
S100人脸切图步骤：对图像进行人脸检测，利用两种以上的切图方式对所述人脸部分进行切图，得到不同类型的人脸切图；
S300人脸切图特征获取步骤：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
S500相对熵损失计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图片的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；
S700判别融合步骤：基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合。
采用该方法，能够实现端到端的自适应人脸识别特征融合增强。该方法针对人脸识别中多切图深度特征融合问题，采用自适应特征融合方法来融合模型集成过程中来源于不同人脸切图的深度特征。在端到端的训练过程中，每个切图的卷积神经网络网络可利用各自的优势，从不同人脸区域中学习到更有利于提升融合后特征判别力的信息。
可选地，所述S100人脸切图步骤可以包括：
人脸检测步骤：对所述对图像进行人脸检测、关键点定位和人脸对齐操作；
切图步骤：基于先验知识定义的两种以上的人脸切图方式对所述人脸部分进行切图，对于每种类型的切图的尺度通过关键点间的距离进行归一化处理。其中，人脸切图方式可以根据人工先验知识进行定义多种人脸切图方法。每种切图大小尺度可以通过固定的两个关键点间的距离来进行归一化。
采用该方法，能够得到不同类型的人脸切图，便于后续计算切图特征之间的关系，从而得到该人物的脸部特征。
可选地，在所述S300人脸切图特征获取步骤中：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。其中，利用每种类型的切图分别训练一个卷积神经网络模型用于提取人脸切图特征，模型结构可以采用25层的残差神经网络，损失函数采用基于分类的归一化指数损失。在测试时，直接将每种类型的人脸切图输入相应卷积神经网络网络进行特征提取。
该方法能够将不同类型切图分别进行训练，得到不同的网络模型，使得每一类切图的特征都能够通过相应的网络准确计算，有利于分析不同切图的特征的异同，从而为后续特征融合提供准确的数据支撑。
可选地，所述S500相对熵损失计算步骤可以包括：
概率计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量输入到归一化指数函数中，得到所述特征向量每一维的概率值；
相对熵计算步骤：将所述特征向量表示为关于所述图片的离散分布，其中，所述特征向量的每一维作为该离散分布的随机变量；采用相对熵度量两两所述离散分布间的相似程度，得到所述人脸切图特征之间的相似度，其中，通过将相对熵的计算结果之和作为目标函数来优化所述离散分布。优化离散分布的目的是把特征向量看作一个离散概率分布，特征向量的每一维代表概率值，所有维的和为1。对于两个离散分布，优化这两个离散分布，使得相对熵最大，即使得两个特征向量差异最大。
图3是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的相对熵损失计算步骤的示意性原理图。其中，在概率计算步骤中，归一化指数分类损失层的前一层可以是Softmax层。在相对熵计算步骤中，可以将该人脸切图的特征向量表示为关于输入图像的一种分布。为了度量每个分布之间的差异性，引入两个切图特征之前的相对熵公式，相对熵DKL可以采用如下公式计算：
Figure BDA0001862355640000081
其中，M表示特征维数，N表示样本个数，
Figure BDA0001862355640000082
表示第一人脸切图的特征向量的第m维向量中元素xi的概率，
Figure BDA0001862355640000083
表示第二人脸切图的特征向量的第m维向量中xi的概率。在训练过程中，计算两个人脸切图特征间的相对熵。参见图3，该相对熵函数也可以作为KL散度损失函数，用来计算两种分布之间的相似程度。在判别融合步骤之前使用该相对熵函数，能够使卷积神经网络优先学习质量较好的人脸切图图像和差异更大的特征向量。
采用相对熵来度量两两分布间的相似程度，计算同一人脸图片的所有不同切图特征两两间的相对熵，将所有相对熵求和作为优化的目标函数。目标函数的公式如下：
Figure BDA0001862355640000084
其中，N为样本总数，Em表示人脸切图两两配对的所有组合的集合，M表示特征向量维数，表示第一人脸切图的特征向量的第m维向量中元素xi的概率，
Figure BDA0001862355640000086
表示第二人脸切图的特征向量的第m维向量中xi的概率。优化该目标函数，使得计算结果尽可能小，能够使得所有相对熵变大，从而增大不同人像切图特征间的差异性，更有利于后续模块利用互补信息。
通过该优化步骤能够确定离散分布的各个参数，从而确定离散分布的类型，在训练采用该步骤，确定了各个人脸切图方式得到的人脸切图的离散分布参数后，在测试时可以无需再执行该步骤。
该方法采用相对熵损失计算步骤，能够使通过卷积神经网络提取出的多切图人脸特征中的每个特征尽可能学习到互补的信息。使用归一化指数训练的同时设计了相对熵损失函数，增大了同一人脸图片不同切图特征间的相对熵，以此增大不同切图特征间的差异性，有利于后续信息融合。
图4是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强方法的判别融合步骤的示意性原理图。可选地，所述S700判别融合步骤可以包括：
初步融合步骤：基于所述人脸切图特征之间的相似对所述人脸切图特征进行初步融合，利用类别中心点聚类损失函数对所述初步融合后的特征进行监督训练；
降维步骤：对所述初步融合后的特征进行维降处理，利用归一化指数损失函数进行监督训练。
其中，在初步融合步骤中，初步融合可以是平均融合，平均融合可以采用下面公式计算：
Figure BDA0001862355640000091
其中，m代表同一批量内的样本个数；xi表示向量中元素；cyi表示当前记录下的类别特征中心。对平均融合后的特征采用类别中心点聚类损失函数进行监督训练。该步骤能够保证融合后的特征更具有判别力。
在降维步骤中，可以将初步融合的特征用单层全连接从512维降维到256维，对降维后的特征采用归一化指数损失函数进行监督。该步骤能够在降维后去除多个切图特征中冗余信息，并且能够去除融合后的特征的噪声。
在测试时，采用初步融合步骤和降维步骤进行处理，而无需采用损失函数进行监督。
在进行特征融合后，对于需要比对的人脸图像，直接计算图像的融合特征的余弦距离，余弦距离越大说明两张人脸越相似，余弦距离越小说明两张人脸越不相似，从而实现端到端的人脸识别和比较。
该方法将多分支的卷积神经网络网络提取出的每个切图特征进行端到端的融合，相比传统的离线手工融合方法，进一步增强整体人脸特征判别能力。
本申请提供的人脸识别多模型自适应特征融合增强方法，针对人脸识别中多切图深度特征融合问题，采用自适应特征融合模块来融合模型集成过程中来源于不同人脸切图的深度特征。在训练阶段，根据人工指定的多切图方法，将经过人脸检测和对齐后得到的标准姿态下的人脸图片进行多种不同方式的切图。对每种形式的人脸切图训练出单独的卷积神经网络模型来进行人脸特征提取，训练模型时损失函数采用基于分类的归一化指数损失。相对熵损失函数主要用于是减小相同人脸图像不同切图特征间的分布相似性，对人脸切图特征提取单元输出的人脸切图特征进行进一步的深度度量学习。判别融合步骤在训练中自适应融合多切图特征，保证最终融合出更具有判别力的人脸特征整体表达。在测试阶段，将输入的人脸图像进行人脸检测、对齐和多切图。将多个人脸切图输入到人脸切图特征提取单元分别进行特征提取。最后将多个提取出的人脸切图特征输入到判别融合单元得到最终的融合特征。融合特征有效利用了不同切图间的互补信息，相比每个切图特征都具有更强的判别能力。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例，还提供了一种人脸识别多模型自适应特征融合增强装置。该装置可以是与实施例1所述的方法对应的装置。图5是根据本申请的一个实施例的人脸识别多模型自适应特征融合增强装置的示意性框图。该装置可以包括：
人脸切图模块100，其配置为用于对图像进行人脸检测，利用两种以上的切图方式对所述人脸部分进行切图，得到不同类型的人脸切图；
人脸切图特征获取模块300，其配置为用于分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
相对熵损失计算模块500，其配置为用于对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图片的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；
判别融合模块700，其配置为用于基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合。
采用该装置，能够实现端到端的自适应人脸识别特征融合增强。该方法针对人脸识别中多切图深度特征融合问题，采用自适应特征融合方法来融合模型集成过程中来源于不同人脸切图的深度特征。在端到端的训练过程中，每个切图的卷积神经网络网络可利用各自的优势，从不同人脸区域中学习到更有利于提升融合后特征判别力的信息。
可选地，所述人脸切图模块100可以包括：
人脸检测模块，其配置为用于对所述对图像进行人脸检测、关键点定位和人脸对齐操作；
切图模块，其配置为用于基于先验知识定义的两种以上的人脸切图方式对所述人脸部分进行切图，对于每种类型的切图的尺度通过关键点间的距离进行归一化处理。其中，人脸切图方式可以根据人工先验知识进行定义多种人脸切图方法。每种切图大小尺度可以通过固定的两个关键点间的距离来进行归一化。
采用该装置，能够得到不同类型的人脸切图，便于后续计算切图特征之间的关系，从而得到该人物的脸部特征。
可选地，所述人脸切图特征获取模块300用于分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。其中，利用每种类型的切图分别训练一个卷积神经网络模型用于提取人脸切图特征，模型结构可以采用25层的残差神经网络，损失函数采用基于分类的归一化指数损失。在测试时，直接将每种类型的人脸切图输入相应卷积神经网络网络进行特征提取。
可选地，所述相对熵损失计算模块500可以包括：
概率计算模块，其配置为用于对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量输入到归一化指数函数中，得到所述特征向量每一维的概率值；
相对熵计算模块，其配置为用于将所述特征向量表示为关于所述图片的离散分布，其中，所述特征向量的每一维作为该离散分布的随机变量；采用相对熵度量两两所述离散分布间的相似程度，得到所述人脸切图特征之间的相似度，其中，通过将相对熵的计算结果之和作为目标函数来优化所述离散分布。
其中，在相对熵计算模块中，可以将该人脸切图的特征向量表示为关于输入图像的一种分布。为了度量每个分布之间的差异性，采用相对熵计算两个切图特征之前相似程度，熵计算可以采用上述公式计算，此处不再赘述。
采用相对熵来度量两两分布间的相似程度，计算同一人脸图片的所有不同切图特征两两间的相对熵，将所有相对熵求和作为优化的目标函数。目标函数可以采用上述公式，此处不再赘述。优化该目标函数，使得计算结果尽可能小，能够使得所有相对熵变大，从而增大不同人像切图特征间的差异性，更有利于后续模块利用互补信息。
可选地，所述判别融合模块700可以包括：
初步融合模块，其配置为用于基于所述人脸切图特征之间的相似对所述人脸切图特征进行初步融合，利用类别中心点聚类损失函数对所述初步融合后的特征进行监督训练；
降维模块，其配置为用于对所述初步融合后的特征进行维降处理，利用归一化指数损失函数进行监督训练。
其中，在初步融合模块中，初步融合可以是平均融合。对平均融合后的特征采用类别中心点聚类损失函数进行监督训练。该步骤能够保证融合后的特征更具有判别力。
在降维模块中，可以将初步融合的特征用单层全连接从512维降维到256维，对降维后的特征采用归一化指数损失函数进行监督。该步骤能够在降维后去除多个切图特征中冗余信息，并且能够去除融合后的特征的噪声。
在测试时，采用初步融合步骤和降维步骤进行处理，而无需采用损失函数进行监督。
在进行特征融合后，对于需要比对的人脸图像，直接计算图像的融合特征的余弦距离，余弦距离越大说明两张人脸越相似，余弦距离越小说明两张人脸越不相似，从而实现端到端的人脸识别和比较。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例3
本申请的实施例的一个方面提供了一种计算设备，参照图6，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本申请的方法步骤1131。
本申请的实施例的一个方面还提供了一种计算机可读存储介质。参照图7，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本申请的方法步骤的程序1131’，该程序被处理器执行。
本申请实施例的一个方面还提供了一种包含指令的计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算设备执行时，导致所述计算设备执行如上所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种人脸识别多模型自适应特征融合增强方法，该方法包括：
人脸切图步骤：对图像进行人脸检测，利用两种以上的切图方式对人脸部分进行切图，得到不同类型的人脸切图；
人脸切图特征获取步骤：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
相对熵损失计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图像的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；和
判别融合步骤：基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合；
所述相对熵损失计算步骤包括：
概率计算步骤：对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量输入到归一化指数函数中，得到所述特征向量每一维的概率值；和
相对熵计算步骤：将所述特征向量表示为关于所述图像的离散分布，其中，所述特征向量的每一维作为该离散分布的随机变量；采用相对熵度量两两所述离散分布间的相似程度，得到所述人脸切图特征之间的相似度，其中，通过将相对熵的计算结果之和作为目标函数来优化所述离散分布；优化离散分布的目的是把特征向量看作一个离散概率分布，特征向量的每一维代表概率值，所有维的和为1；对于两个离散分布，优化这两个离散分布，使得相对熵最大，即使得两个特征向量差异最大；
其中相对熵DKL采用如下公式计算：
Figure FDA0002266609600000011
其中，M表示特征维数，N表示样本总数，
Figure FDA0002266609600000012
表示第一人脸切图的特征向量的第m维向量中元素xi的概率，表示第二人脸切图的特征向量的第m 维向量中xi的概率；
采用相对熵来度量两两分布间的相似程度，计算同一人脸图片的所有不同切图特征两两间的相对熵，将所有相对熵求和作为优化的目标函数；
优化该目标函数，使得所有相对熵变大，从而增大不同人脸切图特征间的差异性；
所述判别融合步骤包括：
初步融合步骤：基于所述人脸切图特征之间的相似度对所述人脸切图特征进行初步融合，利用类别中心点聚类损失函数对所述初步融合后的特征进行监督训练；和
降维步骤：对所述初步融合后的特征进行维降处理，利用归一化指数损失函数进行监督训练。
2.根据权利要求1所述的方法，其特征在于，所述人脸切图步骤包括：
人脸检测步骤：对所述图像进行人脸检测、关键点定位和人脸对齐操作；和
切图步骤：基于先验知识定义的两种以上的人脸切图方式对人脸部分进行切图，对于每种类型的切图的尺度通过特定关键点间的距离进行归一化处理。
3.根据权利要求1所述的方法，其特征在于，在所述人脸切图特征获取步骤中：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。
4.一种人脸识别多模型自适应特征融合增强装置，该装置包括：
人脸切图模块，其配置成用于对图像进行人脸检测，利用两种以上的切图方式对人脸部分进行切图，得到不同类型的人脸切图；
人脸切图特征获取模块，其配置成用于分别利用每种类型的人脸切图训练对应的卷积神经网络模型，得到人脸切图特征；
相对熵损失计算模块，其配置成用于对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量表示为关于所述图像的离散分布，计算所述离散分布之间的相对熵，从而得到所述人脸切图特征之间的相似度；和
判别融合模块，其配置成用于基于所述人脸切图特征之间的相似度对所述人脸切图特征进行融合；
所述相对熵损失计算模块包括：
概率计算模块，其配置为用于对于所述人脸切图特征，提取对应的卷积神经网络模型中归一化指数分类损失层的前一层输出的特征向量，将所述特征向量输入到归一化指数函数中，得到所述特征向量每一维的概率值；
相对熵计算模块，其配置为用于将所述特征向量表示为关于所述图像的离散分布，其中，所述特征向量的每一维作为该离散分布的随机变量；采用相对熵度量两两所述离散分布间的相似程度，得到所述人脸切图特征之间的相似度，其中，通过将相对熵的计算结果之和作为目标函数来优化所述离散分布；优化离散分布的目的是把特征向量看作一个离散概率分布，特征向量的每一维代表概率值，所有维的和为1；对于两个离散分布，优化这两个离散分布，使得相对熵最大，即使得两个特征向量差异最大；
其中相对熵DKL采用如下公式计算：
Figure FDA0002266609600000031
其中，M表示特征维数，N表示样本总数，
Figure FDA0002266609600000032
表示第一人脸切图的特征向量的第m维向量中元素xi的概率，
Figure FDA0002266609600000033
表示第二人脸切图的特征向量的第m维向量中xi的概率；
采用相对熵来度量两两分布间的相似程度，计算同一人脸图片的所有不同切图特征两两间的相对熵，将所有相对熵求和作为优化的目标函数；
优化该目标函数，使得所有相对熵变大，从而增大不同人脸切图特征间的差异性;
所述判别融合模块包括：
初步融合模块，其配置为用于基于所述人脸切图特征之间的相似度对所述人脸切图特征进行初步融合，利用类别中心点聚类损失函数对所述初步融合后的特征进行监督训练；
降维模块，其配置为用于对所述初步融合后的特征进行维降处理，利用归一化指数损失函数进行监督训练。
5.根据权利要求4所述的装置，其特征在于，所述人脸切图模块包括：
人脸检测模块，其配置成用于对所述图像进行人脸检测、关键点定位和人脸对齐操作；和
切图模块，其配置成用于基于先验知识定义的两种以上的人脸切图方式对所述人脸部分进行切图，对于每种类型的切图的尺度通过特定关键点间的距离进行归一化处理。
6.根据权利要求4或5所述的装置，其特征在于，所述人脸切图特征获取模块还用于：分别利用每种类型的人脸切图训练对应的卷积神经网络模型，所述卷积神经网络模型采用残差神经网络，损失函数采用基于分类的归一化指数损失函数。
7.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的方法。
8.一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1至3中任一项所述的方法。
CN201811340225.6A 2018-11-12 2018-11-12 人脸识别多模型自适应特征融合增强方法和装置 Active CN109472240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811340225.6A CN109472240B (zh) 2018-11-12 2018-11-12 人脸识别多模型自适应特征融合增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811340225.6A CN109472240B (zh) 2018-11-12 2018-11-12 人脸识别多模型自适应特征融合增强方法和装置

Publications (2)

Publication Number Publication Date
CN109472240A CN109472240A (zh) 2019-03-15
CN109472240B true CN109472240B (zh) 2020-02-28

Family

ID=65672335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811340225.6A Active CN109472240B (zh) 2018-11-12 2018-11-12 人脸识别多模型自适应特征融合增强方法和装置

Country Status (1)

Country Link
CN (1) CN109472240B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046551B (zh) * 2019-03-18 2021-04-20 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN109902767B (zh) * 2019-04-11 2021-03-23 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110751209B (zh) * 2019-10-18 2022-12-13 北京邮电大学 一种融合深度图像分类和检索的智能台风定强方法
CN112784636A (zh) * 2019-11-07 2021-05-11 佳能株式会社 人脸图像分类方法、人脸图像分类装置和存储介质
CN110929697B (zh) * 2019-12-17 2021-04-13 中国人民解放军海军航空大学 一种基于残差结构的神经网络目标识别方法及系统
CN111832402A (zh) * 2020-06-04 2020-10-27 桂林电子科技大学 一种人脸识别方法及装置
CN112633154B (zh) * 2020-12-22 2022-07-22 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN113065576A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种特征提取的方法以及装置
CN116456184B (zh) * 2023-06-19 2023-09-08 北京博点智合科技有限公司 一种调整摄像头安装点位的方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136504B (zh) * 2011-11-28 2016-04-20 汉王科技股份有限公司 人脸识别方法及装置
CN103824090B (zh) * 2014-02-17 2017-02-08 北京旷视科技有限公司 一种自适应的人脸低层特征选择方法及人脸属性识别方法
US9576224B2 (en) * 2014-12-31 2017-02-21 TCL Research America Inc. Robust error correction with multi-model representation for face recognition
CN106599837A (zh) * 2016-12-13 2017-04-26 北京智慧眼科技股份有限公司 基于多图像输入的人脸识别方法及装置
CN106874898B (zh) * 2017-04-08 2021-03-30 复旦大学 基于深度卷积神经网络模型的大规模人脸识别方法
CN107609571B (zh) * 2017-08-02 2023-09-05 南京理工大学 一种基于lark特征的自适应目标跟踪方法
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108197660A (zh) * 2018-01-17 2018-06-22 中国科学院上海高等研究院 多模型特征融合方法/系统、计算机可读存储介质及设备
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
CN108171223A (zh) * 2018-02-27 2018-06-15 北京中晟信达科技有限公司 一种基于多模型多通道的人脸识别方法及系统
CN108510466A (zh) * 2018-03-27 2018-09-07 百度在线网络技术（北京）有限公司 用于验证人脸的方法和装置
CN108764077B (zh) * 2018-05-15 2021-03-19 重庆邮电大学 一种基于卷积神经网络的数字信号调制分类方法

Also Published As

Publication number Publication date
CN109472240A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472240B (zh) 人脸识别多模型自适应特征融合增强方法和装置
CN108121943B (zh) 基于图片的判别方法及装置和计算设备
US20210334604A1 (en) Facial recognition method and apparatus
CN108319888B (zh) 视频类型的识别方法及装置、计算机终端
CN105426857A (zh) 人脸识别模型训练方法和装置
US20210216913A1 (en) Prediction method, apparatus, and system for performing an image search
CN111046759A (zh) 人脸识别方法及相关装置
CN113420690A (zh) 基于感兴趣区域的静脉识别方法、装置、设备及存储介质
CN113191478A (zh) 神经网络模型的训练方法、装置和系统
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置
CN114494782B (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN110874602A (zh) 一种图像识别方法及装置
CN115270754A (zh) 跨模态匹配方法及相关装置、电子设备、存储介质
CN111753656B (zh) 特征提取方法、装置、设备及计算机可读存储介质
CN114898473A (zh) 手写签名比对方法、装置及电子设备
CN113705366A (zh) 人员管理系统身份识别方法、装置及终端设备
CN113657135A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN112417925A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN112287723A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN111858869B (zh) 一种数据匹配方法、装置、电子设备和存储介质
CN113900889B (zh) 一种智能识别app人为操作的方法及系统
CN118015386B (zh) 图像识别方法和装置、存储介质及电子设备
CN114511872A (zh) 模型处理方法、装置、存储介质及计算机设备
CN113705365A (zh) 人员管理系统身份识别方法、装置及终端设备
CN114549892A (zh) 图像处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Multi model adaptive feature fusion enhancement method and device for face recognition

Effective date of registration: 20230713

Granted publication date: 20200228

Pledgee: Bank of Jiangsu Limited by Share Ltd. Beijing branch

Pledgor: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2023110000278