CN112966643A - 基于自适应加权的人脸和虹膜融合识别方法及装置 - Google Patents

基于自适应加权的人脸和虹膜融合识别方法及装置 Download PDF

Info

Publication number
CN112966643A
CN112966643A CN202110310472.7A CN202110310472A CN112966643A CN 112966643 A CN112966643 A CN 112966643A CN 202110310472 A CN202110310472 A CN 202110310472A CN 112966643 A CN112966643 A CN 112966643A
Authority
CN
China
Prior art keywords
fusion
image
iris
feature
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110310472.7A
Other languages
English (en)
Inventor
林建辉
陈春俊
杨岗
周奥
张东兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tianyou Luhang Track Traffic Technology Co ltd
Southwest Jiaotong University
Original Assignee
Chengdu Tianyou Luhang Track Traffic Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tianyou Luhang Track Traffic Technology Co ltd, Southwest Jiaotong University filed Critical Chengdu Tianyou Luhang Track Traffic Technology Co ltd
Priority to CN202110310472.7A priority Critical patent/CN112966643A/zh
Publication of CN112966643A publication Critical patent/CN112966643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及生物特征识别技术领域，具体涉及基于自适应加权的人脸和虹膜融合识别方法及装置。包括获取相同目标的人脸图像和虹膜图像；将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征。本发明可以通过融合人脸和虹膜特征，并采用通道注意力机制进行自适应融合调整，得到表征能力更强的融合特征，以提高目标识别的准确性、识别率和可靠性。

Description

基于自适应加权的人脸和虹膜融合识别方法及装置
技术领域
本发明涉及生物特征识别技术领域，具体涉及基于自适应加权的人脸和虹膜融合识别方法及装置。
背景技术
在当今信息化时代，如何准确鉴定一个人的身份、保护信息安全，已成为一个必须解决的关键社会问题。传统的身份认证由于极易伪造和丢失，越来越难以满足社会的需求，目前最为便捷与安全的解决方案无疑就是生物识别技术。它不但简洁快速，而且利用它进行身份的认定，安全、可靠、准确。同时更易于配合电脑和安全、监控、管理系统整合，实现自动化管理。由于其广阔的应用前景、巨大的社会效益和经济效益，已引起各国的广泛关注和高度重视。每个个体都有唯一的可以测量或可自动识别和验证的生理特性或行为方式，即生物特征。它可划分为生理特征(如指纹、面像、虹膜、掌纹等)和行为特征(如步态、声音、笔迹等)。生物识别就是依据每个个体之间独一无二的生物特征对其进行识别与身份的认证。
人脸识别和虹膜识别技术作为当前安全性、准确性、易用性均衡的生物特征识别技术，近年来备受各领域关注，正逐步形成了新一代生物特征识别技术体系。每一种生物模态都会应为其本身特征存在相应优势和劣势，采用单一生物模态的身份认证管理系统受到图像采集技术、识别技术、生物特征可识别条件等多种要求，在用户配合度低时识别准确性、识别率和可靠性会急剧下降。
发明内容
针对现有技术存在的不足，本发明提供了基于自适应加权的人脸和虹膜融合识别方法及装置，其应用时，可以通过融合人脸和虹膜特征，并采用通道注意力机制进行自适应融合调整，得到表征能力更强的融合特征，以提高目标识别的准确性、识别率和可靠性。
第一方面，本发明提供基于自适应加权的人脸和虹膜融合识别方法，包括：
获取相同目标的人脸图像和虹膜图像；
将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；
将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；
将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；
根据浅层融合特征和融合加权值计算获得深层融合特征，并根据深层融合特征进行目标的分类及识别。
基于上述发明内容，通过特征提取网络来分别对人脸图像和虹膜图像进行特征提取，然后进行特征堆叠获得浅层融合特征，再利用通道注意力机制对浅层融合特征进行自适应权重分配处理，得到深层融合特征来用于目标的分类及识别。该方法充分发挥并利用了单一生物特征信息的互补性，可以解决单一生物特征识别率低下、不稳定等问题，通过融合人脸和虹膜特征，并采用通道注意力机制进行自适应融合调整，得到表征能力更强的特征，以提高目标识别的准确性、识别率和可靠性。
在一个可能的设计中，所述特征提取网络采用ResNeXt神经网络，且特征提取网络包含两个子特征提取网络，两个子特征提取网络分别进行人脸图像和虹膜图像的图像特征提取。
在一个可能的设计中，所述特征提取网络进行图像特征提取的过程包括：将人脸图像和虹膜图像分别采用ResNeXt神经网络前向传播到第k层进行卷积，得到两个图像的k层特征参数，k为设定值，两个图像的k层特征参数表达式为：
Figure BDA0002989481410000031
Figure BDA0002989481410000032
其中，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，*为卷积操作，w为权重参数，f11(x[k-1])和f12(x[k-1])分别为人脸图像和虹膜图像卷积前的k-1层特征参数，b为偏移量参数，
Figure BDA0002989481410000033
为激活函数。
在一个可能的设计中，所述将人脸图像和虹膜图像的图像特征进行堆叠，包括：将人脸图像和虹膜图像的图像特征采用concatenation级联方式进行堆叠。
在一个可能的设计中，采用concatenation级联方式进行图像特征堆叠后，输出的浅层融合特征表达式为：
Figure BDA0002989481410000034
其中，f2(x)为浅层融合特征参数，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，k为设定值，
Figure BDA0002989481410000035
为concatenation级联方式。
在一个可能的设计中，所述将浅层融合特征采用通道注意力机制进行自适应权重分配处理，包括：将浅层融合特征进行全局平均池化，得到一个1*1*c的feature map特征参数，再通过两次全连接进行降维和升维处理得到相同维度的feature map特征参数，将最终得到的feature map特征参数进行sigmoid函数非线性化处理，获得融合加权值，融合加权值表达式为：
K＝σ(f(Relu([f(AvgPool([f2(x)]))])))
其中，K为融合加权值，σ表示sigmoid函数，f表示卷积运算，Relu表示Relu函数，AvgPool表示全局平均池化操作，f2(x)为浅层融合特征参数。
在一个可能的设计中，根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征，包括：将浅层融合特征参数与融合加权值相乘，获得深层融合特征参数，表达式为：
Y＝K*f2(x)
其中，Y为深层融合特征参数，*表示矩阵相乘。
第二方面，本发明提供基于自适应加权的人脸和虹膜融合识别装置，所述装置包括：
获取单元，用于获取相同目标的人脸图像和虹膜图像；
提取单元，用于将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；
堆叠单元，用于将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；
加权单元，用于将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；
计算单元，用于根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征。
第三方面，本发明提供基于自适应加权的人脸和虹膜融合识别装置，所述装置包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行上述第一方面中任意一种所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述第一方面中任意一种所述的方法。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行上述第一方面中任意一种所述的方法。
本发明的有益效果为：
本发明通过特征提取网络来分别对人脸图像和虹膜图像进行特征提取，然后进行特征堆叠获得浅层融合特征，再利用通道注意力机制对浅层融合特征进行自适应权重分配处理，得到深层融合特征来用于目标的分类及识别。该方法充分发挥并利用了单一生物特征信息的互补性，可以解决单一生物特征识别率低下、不稳定等问题，通过融合人脸和虹膜特征，并采用通道注意力机制进行自适应融合调整，得到表征能力更强的融合特征，以提高目标识别的准确性、识别率和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法步骤示意图；
图2为特征提取网络的结构示意图；
图3为ResNeXt神经网络内部结构示意图；
图4为通道注意力机制处理示意图；
图5为本发明第一种装置的构成示意图；
图6为本发明第二种装置的构成示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，术语第一、第二等仅用于区分描述，而不能理解为指示或暗示相对重要性。尽管本文可以使用术语第一、第二等等来描述各种单元，这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元，并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本发明的描述中，术语“上”、“竖直”、“内”、“外”等指示的方位或位置关系，是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
应当理解，当将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相对地，当将单元称作与另一个单元“直接相连”或“直接耦合”时，不存在中间单元。应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”，“相邻”对“直接相邻”等等)。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本文使用的术语仅用于描述特定实施例，并且不意在限制本发明的示例实施例。如本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解术语“包括”、“包括了”、“包含”、和/或“包含了”当在本文中使用时，指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性，并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例1：
本实施例提供基于自适应加权的人脸和虹膜融合识别方法，如图1至图2所示，包括以下步骤：
S101.获取相同目标的人脸图像和虹膜图像。
人脸和虹膜特征识别是当前安全性、准确性、易用性均衡的生物特征识别方式，因此选用人脸图像和虹膜图像来进行后续的融合处理。具体实施时，可通过相应的图像处理技术来对获取的人脸图像和虹膜图像进行预处理，获得识别度更高的人脸图像和虹膜图像，图像预处理过程包括去噪处理、图像增强、图像复原、灰度处理等。
S102.将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征。
具体实施时，特征提取网络可采用如图2和图3所示的ResNeXt神经网络，其中，4n-d表示通道为4的feature map(卷积网络卷积层的输出)，
Figure BDA0002989481410000085
表示concatenation级联方式，Group表示分组卷积的个数。特征提取网络包含两个子特征提取网络，两个子特征提取网络分别进行人脸图像和虹膜图像的图像特征提取。ResNeXt神经网络保证了在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量，该网络结构结合了VGG堆叠的思想和Inception的分离、变换和合并思想，通过该深层网络提取表征能力更强的、有丰富语义信息的特征。所述特征提取网络进行图像特征提取的过程包括：将人脸图像和虹膜图像分别采用ResNeXt神经网络前向传播到第k层进行卷积，得到两个图像的k层特征参数，k为设定值，两个图像的k层特征参数表达式为：
Figure BDA0002989481410000081
Figure BDA0002989481410000082
其中，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，*为卷积操作，w为权重参数，f11(x[k-1])和f12(x[k-1])分别为人脸图像和虹膜图像卷积前的k-1层特征参数，b为偏移量参数，
Figure BDA0002989481410000083
为激活函数。
S103.将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征。
具体实施时，将人脸图像和虹膜图像的图像特征采用concatenation级联方式进行图像特征堆叠，堆叠后输出的浅层融合特征表达式为：
Figure BDA0002989481410000084
其中，f2(x)为浅层融合特征参数，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，k为设定值，
Figure BDA0002989481410000091
为concatenation级联方式。
S104.将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值。
具体实施时，将浅层融合特征采用如图4所示的通道注意力机制进行自适应权重分配处理，处理的过程包括：将浅层融合特征进行全局平均池化，得到一个1*1*c的featuremap特征参数，再通过两次全连接进行降维和升维处理得到相同维度的feature map特征参数，将最终得到的feature map特征参数进行sigmoid函数非线性化处理，获得融合加权值，融合加权值表达式为：
K＝σ(f(Relu([f(AvgPool([f2(x)]))])))
其中，K为融合加权值，σ表示sigmoid函数，f表示卷积运算，Relu表示Relu函数，AvgPool表示全局平均池化操作，f2(x)为浅层融合特征参数。
S105.根据浅层融合特征和融合加权值计算获得深层融合特征，并根据深层融合特征进行目标的分类及识别。
具体实施时，根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征的过程包括：将浅层融合特征参数与融合加权值相乘，获得深层融合特征参数，表达式为：
Y＝K*f2(x)
其中，Y为深层融合特征参数，*表示矩阵相乘。
实施例2：
本实施例提供基于自适应加权的人脸和虹膜融合识别装置，如图5所示，包括：
获取单元，用于获取相同目标的人脸图像和虹膜图像；
提取单元，用于将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；
堆叠单元，用于将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；
加权单元，用于将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；
计算单元，用于根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征。
实施例3：
本实施例提供基于自适应加权的人脸和虹膜融合识别装置，如图6所示，包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中所述的基于自适应加权的人脸和虹膜融合识别方法。
所述存储器可以但不限于包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First InputFirst Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等；所述处理器可以但不限于包括单片机、ARM处理器等。
实施例4：
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中所述的基于自适应加权的人脸和虹膜融合识别方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
实施例5：
本实施例提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中所述的基于自适应加权的人脸和虹膜融合识别方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照实施例的方法、装置、存储介质和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.基于自适应加权的人脸和虹膜融合识别方法，其特征在于，包括：
获取相同目标的人脸图像和虹膜图像；
将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；
将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；
将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；
根据浅层融合特征和融合加权值计算获得深层融合特征，并根据深层融合特征进行目标的分类及识别。
2.根据权利要求1所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，所述特征提取网络采用ResNeXt神经网络，且特征提取网络包含两个子特征提取网络，两个子特征提取网络分别进行人脸图像和虹膜图像的图像特征提取。
3.根据权利要求2所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，所述特征提取网络进行图像特征提取的过程包括：将人脸图像和虹膜图像分别采用ResNeXt神经网络前向传播到第k层进行卷积，得到两个图像的k层特征参数，k为设定值，两个图像的k层特征参数表达式为：
Figure FDA0002989481400000011
Figure FDA0002989481400000012
其中，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，*为卷积操作，w为权重参数，f11(x[k-1])和f12(x[k-1])分别为人脸图像和虹膜图像卷积前的k-1层特征参数，b为偏移量参数，
Figure FDA0002989481400000013
为激活函数。
4.根据权利要求1所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，所述将人脸图像和虹膜图像的图像特征进行堆叠，包括：将人脸图像和虹膜图像的图像特征采用concatenation级联方式进行堆叠。
5.根据权利要求4所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，采用concatenation级联方式进行图像特征堆叠后，输出的浅层融合特征表达式为：
Figure FDA0002989481400000021
其中，f2(x)为浅层融合特征参数，f11(xk)和f12(xk)分别为人脸图像和虹膜图像的k层特征参数，k为设定值，
Figure FDA0002989481400000022
为concatenation级联方式。
6.根据权利要求1所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，所述将浅层融合特征采用通道注意力机制进行自适应权重分配处理，包括：将浅层融合特征进行全局平均池化，得到一个1*1*c的feature map特征参数，再通过两次全连接进行降维和升维处理得到相同维度的feature map特征参数，将最终得到的feature map特征参数进行sigmoid函数非线性化处理，获得融合加权值，融合加权值表达式为：
K＝σ(f(Relu([f(AvgPool([f2(x)]))])))
其中，K为融合加权值，σ表示sigmoid函数，f表示卷积运算，Relu表示Relu函数，AvgPool表示全局平均池化操作，f2(x)为浅层融合特征参数。
7.根据权利要求6所述的基于自适应加权的人脸和虹膜融合识别方法，其特征在于，根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征，包括：将浅层融合特征参数与融合加权值相乘，获得深层融合特征参数，表达式为：
Y＝K*f2(x)
其中，Y为深层融合特征参数，*表示矩阵相乘。
8.基于自适应加权的人脸和虹膜融合识别装置，其特征在于，包括：
获取单元，用于获取相同目标的人脸图像和虹膜图像；
提取单元，用于将人脸图像和虹膜图像输入特征提取网络中，分别提取人脸图像和虹膜图像的图像特征；
堆叠单元，用于将人脸图像和虹膜图像的图像特征进行堆叠，输出浅层融合特征；
加权单元，用于将浅层融合特征采用通道注意力机制进行自适应权重分配处理，获得融合加权值；
计算单元，用于根据浅层融合特征和融合加权值计算获得用于目标分类及识别的深层融合特征。
9.基于自适应加权的人脸和虹膜融合识别装置，其特征在于，所述装置包括：
存储器，用于存储指令；
处理器，用于读取所述存储器中存储的指令，并根据指令执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求1-7任意一项所述的方法。
CN202110310472.7A 2021-03-23 2021-03-23 基于自适应加权的人脸和虹膜融合识别方法及装置 Pending CN112966643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310472.7A CN112966643A (zh) 2021-03-23 2021-03-23 基于自适应加权的人脸和虹膜融合识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310472.7A CN112966643A (zh) 2021-03-23 2021-03-23 基于自适应加权的人脸和虹膜融合识别方法及装置

Publications (1)

Publication Number Publication Date
CN112966643A true CN112966643A (zh) 2021-06-15

Family

ID=76278220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310472.7A Pending CN112966643A (zh) 2021-03-23 2021-03-23 基于自适应加权的人脸和虹膜融合识别方法及装置

Country Status (1)

Country Link
CN (1) CN112966643A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN117475502A (zh) * 2023-12-27 2024-01-30 成都科瑞特电气自动化有限公司 基于矿用的虹膜和人脸融合识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680541A (zh) * 2020-04-14 2020-09-18 华中科技大学 一种基于多维度注意力融合网络的多模态情绪分析方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680541A (zh) * 2020-04-14 2020-09-18 华中科技大学 一种基于多维度注意力融合网络的多模态情绪分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈文静等: "基于人脸与虹膜的多生物特征融合识别算法研究", 《中国人民公安大学学报》, no. 01, 31 December 2015 (2015-12-31), pages 77 - 79 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113657180B (zh) * 2021-07-23 2024-11-05 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN114758424B (zh) * 2022-06-14 2022-09-02 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN117475502A (zh) * 2023-12-27 2024-01-30 成都科瑞特电气自动化有限公司 基于矿用的虹膜和人脸融合识别方法及系统
CN117475502B (zh) * 2023-12-27 2024-03-15 成都科瑞特电气自动化有限公司 基于矿用的虹膜和人脸融合识别方法及系统

Similar Documents

Publication Publication Date Title
Peralta et al. On the use of convolutional neural networks for robust classification of multiple fingerprint captures
Jeon et al. Fingerprint pattern classification using convolution neural network
CN112966643A (zh) 基于自适应加权的人脸和虹膜融合识别方法及装置
Gunasekaran et al. Deep multimodal biometric recognition using contourlet derivative weighted rank fusion with human face, fingerprint and iris images
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN107209864B (zh) 人脸识别方法和装置
CN106991368A (zh) 一种基于深度卷积神经网络的指静脉验证身份识别方法
Li et al. Learning compact multirepresentation feature descriptor for finger-vein recognition
Jiang A review of the comparative studies on traditional and intelligent face recognition methods
Lin et al. Multi-siamese networks to accurately match contactless to contact-based fingerprint images
CN112801054A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN108509927A (zh) 一种基于局部对称图结构的手指静脉图像识别方法
Nguyen et al. Universal fingerprint minutiae extractor using convolutional neural networks
JP7141518B2 (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
El-Abed et al. Quality assessment of image-based biometric information
Diarra et al. Study of deep learning methods for fingerprint recognition
Kumar et al. Convolutional Neural Network Approach for Multimodal Biometric Recognition System for Banking Sector on Fusion of Face and Finger
CN114821722A (zh) 一种基于马氏距离改进的人脸识别系统及方法
CN106407942B (zh) 一种图像处理方法及其装置
Adami et al. Contactless fingerprint biometric anti-spoofing: An unsupervised deep learning approach
Singh et al. A feasible adaptive fuzzy genetic technique for face, fingerprint, and palmprint based multimodal biometrics systems
Gona et al. Multimodal biometric reorganization system using deep learning convolutional neural network
Kumar et al. An efficient gravitational search decision forest approach for fingerprint recognition
Lei et al. Iris recognition based on few‐shot learning
CN110851808A (zh) 身份认证方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination