CN112215157B - 一种基于多模型融合的人脸特征降维提取方法 - Google Patents

一种基于多模型融合的人脸特征降维提取方法 Download PDF

Info

Publication number
CN112215157B
CN112215157B CN202011091983.6A CN202011091983A CN112215157B CN 112215157 B CN112215157 B CN 112215157B CN 202011091983 A CN202011091983 A CN 202011091983A CN 112215157 B CN112215157 B CN 112215157B
Authority
CN
China
Prior art keywords
model
network
face
sub
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011091983.6A
Other languages
English (en)
Other versions
CN112215157A (zh
Inventor
宋春晓
瞿洪桂
高珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinonet Science and Technology Co Ltd
Original Assignee
Beijing Sinonet Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinonet Science and Technology Co Ltd filed Critical Beijing Sinonet Science and Technology Co Ltd
Priority to CN202011091983.6A priority Critical patent/CN112215157B/zh
Publication of CN112215157A publication Critical patent/CN112215157A/zh
Application granted granted Critical
Publication of CN112215157B publication Critical patent/CN112215157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及人脸特征提取领域，公开了一种基于多模型融合的人脸特征降维提取方法，包括对人脸图像数据集进行预处理；建立若干个子网络模型；利用训练数据集对若干个子网络模型分别进行训练；利用测试数据集对若干个子网络模型进行测试；将若干个子网络模型的测试结果作为网络权重，利用若干个子网络模型以及网络权重构建多模型融合人脸特征降维提取网络，对多模型融合人脸特征降维提取网络进行训练；利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值；获取待识别人脸图像对，利用多模型融合人脸特征降维提取网络对待识别人脸图像对进行识别。本发明更全面更有效地提高人脸识别精度，能有效提高运算效率，具有较好的鲁棒性。

Description

一种基于多模型融合的人脸特征降维提取方法
技术领域
本发明涉及人脸特征提取领域，具体地涉及一种基于多模型融合的人脸特征降维提取方法。
背景技术
伴随着信息技术的迅猛发展，智能时代已经悄然到来。在智慧城市等项目的推动下，智慧安防领域作为不可或缺的一部分对人脸识别技术的精准性的要求也在逐步提高。当前的人脸识别产品及系统具有一定的局限性。比如在遇到强光变化、表情夸张、脸部遮挡、姿态变化或者图像分辨率变低时，人脸的识别精度就会受损。以上这些干扰因素对人脸识别技术的推广及使用带来了难题。因此，提取人脸中关键性的特征就显得尤为重要。
现有的人脸特征提取方法主要有：对整张人脸提取局部纹理特征的方法，该方法获取的特征维度较大，包含了一些冗余信息，鲁棒性较差；提取SIFT图像特征的方法，该方法用在人脸图像时，对关键点信息定位不准造成精度低；提取人脸几何特征的方法，该方法在人脸有遮挡时精度表现较差，且不适用于复杂场景；基于模板匹配的方法，该方法对面部表情有特定的要求，比如表情夸张时，精度会低，适用性较窄；基于机器学习降维(PCA/LDA)的方法，该方法的精度会受光照、表情等因素的影响；基于神经网络的特征提取方法，该方法多是使用单个网络提取特征，特征信息单一且维度较大，对网络的设计依赖性较大。
因此，提取人脸中更关键、有效且维度适用的特征是是亟需解决的问题。
发明内容
本发明提供一种基于多模型融合的人脸特征降维提取方法，从而解决现有技术的上述问题。
一种基于多模型融合的人脸特征降维提取方法，包括以下步骤：
S1)采集人脸图像数据集，对人脸图像数据集进行预处理；
S2)获得预处理后的人脸图像数据集，将预处理后的人脸图像数据集按比例划分为训练数据集和测试数据集；
S3)建立若干个子网络模型，若干个子网络模型的主干网络结构不同；
S4)利用训练数据集对若干个子网络模型分别进行训练，得到训练好的若干个子网络模型；
S5)利用测试数据集分别对若干个子网络模型进行测试，获得若干个子网络模型的测试结果；
S6)将若干个子网络模型的测试结果作为网络权重，利用若干个子网络模型以及网络权重构建多模型融合人脸特征降维提取网络，利用训练数据集对多模型融合人脸特征降维提取网络进行训练，多模型融合人脸特征降维提取网络还包括拼接层、SVD层、多模型融合全连接层、输出层；多模型融合全连接层包括若干层全连接层；
S7)利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值；
S8)获取待识别人脸图像对，将待识别人脸图像对输入多模型融合人脸特征降维提取网络中，多模型融合人脸特征降维提取网络的第一层全连接层的输出为与所述待识别人脸图像对相对应的两个特征向量，计算与待识别人脸图像对相对应的两个特征向量之间的余弦相似度，根据步骤S7)中多模型融合人脸特征降维提取网络的相似度阈值获得待识别人脸图像对的识别结果。
在步骤S1)中，对人脸图像数据集进行预处理，包括对人脸图像数据集中的图像进行色度信息处理和/或进行不同角度区域遮挡；进行色度信息处理包括对图像进行不同饱和度、亮度或对比度处理；进行不同角度区域遮挡包括进行图像边角区域的裁剪、部分区域黑色块填充或部分区域黑色块覆盖。
本发明对人脸图像数据集中的部分数据进行预处理操作，为模拟不同角度光照条件，对图像进行不同饱和度、亮度、对比度等色度信息处理；为模型遮挡条件，对图像进行不同角度区域的遮盖，遮盖方式可以是边角区域的裁剪以及某些区域黑色块填充以及黑色块覆盖。
在步骤S5)中，利用测试数据集分别对若干个子网络模型进行测试，获得若干个子网络模型的测试结果，包括以下步骤:
S51)测试数据集为人脸对数据集，人脸对数据集包括正人脸对数据集和负人脸对数据集，正人脸对表示两张图像是同一个人，负人脸对表示两张图像不是同一个人；将人脸对数据集划分为r等分，将第i等分的人脸对数据集输入至第k个子网络模型，i≤r，第k个子网络模型输出与第i等分的人脸对数据集相对应的若干个人脸对的特征向量；k≤h，h为若干个子网络模型的总数；
S52)分别计算每个人脸对的两个特征向量之间的余弦相似度，获得与第i等分的人脸对数据集相对应的余弦相似度矩阵，余弦相似度矩阵中的一个元素对应于一个人脸对的两个特征向量之间的余弦相似度；
S53)设置与余弦相似度矩阵的维度相同的阈值矩阵，阈值矩阵中的每一个元素取值相同，元素的取值范围为[-1,1]，设置第一间隔数值为q，按第一间隔数值q在取值范围[-1,1]中进行等间隔取值，获得
Figure BDA0002722417950000031
个阈值矩阵，将每个阈值矩阵的元素与余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有阈值矩阵相对应的准确率，从所有阈值矩阵相对应的准确率中找出准确率最高对应的阈值矩阵，将准确率最高对应的阈值矩阵中的元素值作为第i等分的人脸对数据集的阈值；
S54)依次获得所有等分的人脸对数据集对应的阈值，对所有等分的人脸对数据集对应的阈值求均值，获得均值结果，将均值结果作为第k个子网络模型的最终余弦相似度阈值；
S55)将测试数据集输入至第k个子网络模型，第k个子网络模型输出测试数据集中若干个人脸对的特征向量，计算每个人脸对的两个特征向量之间的余弦相似度，将每个人脸对的两个特征向量之间的余弦相似度与步骤S54)中第k个子网络模型的最终余弦相似度阈值进行比较，获得第k个子网络模型的最终准确率，将第k个子网络模型的最终准确率作为第k个子网络模型的测试结果；
S56)依次获得h个子网络模型的测试结果。
本发明对经预处理后的人脸图像数据集按比例划分为训练数据集和测试数据集，在划分数据之前首先对人脸图像数据集的每个人脸ID数量、性别以及年龄分布进行分析，以此保证挑选的测试数据集中的数据在年龄、性别分布相对均衡，这样能够保证在测试数据集上的评测结果相对中性且客观。测试数据集中由两部分组成：分别是正人脸对(两张图片是同一个人)和负人脸对(两张图片不是同一个人)，为符合现实生活场景，正负人脸对的比例也是按比例设置。
本发明在对子网络模型进行单独测试时，为避免结果的随机性且保证结果准确前提下，将测试数据集划分为若干等分，然后等分计算准确率并求准确率均值。在计算准确率之前，设定一个阈值矩阵，因为相似度计算使用的是余弦相似度，所以阈值范围设定为-1到1，按照等间隔进行取值。计算准确率时，对测试数据集输入的正负人脸对分别计算余弦相似度并与阈值矩阵中的值进行比较从而来判断人脸识别正确与否，然后对识别正确的结果进行累加，获得人脸识别的准确率。最后选择最高准确率并求均值即为测试结果。
进一步的，步骤S6)中，将若干个子网络模型的测试结果作为网络权重，利用若干个子网络模型以及网络权重构建多模型融合人脸特征降维提取网络，利用训练数据集对多模型融合人脸特征降维提取网络进行训练，包括以下步骤：
S61)提取若干个子网络模型的主干网络结构以及与主干网络结构相连的全连接层，将第k个子网络模型的测试结果作为第k个子网络模型的网络权重，将提取的第k个子网络模型的全连接层与第k个子网络模型的网络权重进行乘法操作，获得第k个子网络模型的全连接层的输出；
S62)依次获得所有子网络模型的全连接层的输出，将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵，拼接层将融合矩阵输入至SVD层；
S63)在SVD层中对融合矩阵进行奇异值分解，获得融合矩阵的若干个特征值以及若干个特征向量，设置能量阈值，根据能量阈值获得降维后的特征维度，根据降维后的特征维度获得降维特征向量；
S64)SVD层将降维特征向量输入至多模型融合全连接层进行分类训练，多模型融合全连接层的最后一层全连接层连接输出层。
进一步的，步骤S62)中，依次获得所有子网络模型的全连接层的输出，将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵，包括以下步骤：
S621)获得所有子网络模型的全连接层的输出V1、V2、…、Vk…、Vh，第k个子网络模型的全连接层的输出
Figure BDA0002722417950000051
上标k表示子网络模型的序号，下标s表示利用训练数据集对多模型融合人脸特征降维提取网络进行训练过程中的batch_size，下标nk表示第k个子网络模型中的全连接层的特征输出维度；Acck表示第k个子网络模型的网络权重；
S622)将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵V＝[V1V2…Vk…Vh]。
每一个子网络模型包括主干网络以及子网络全连接层，子网络全连接层包括若干个全连接层，本发明将与所有子网络模型的主干网络对应连接的全连接层分别与各个网络权重进行乘法操作之后，一起进行通道融合输入到拼接层，目的是为了融合更多描述图像本身的特征信息，然后通过SVD层对所有子网络模型的特征融合的信息(即融合矩阵)进行分解，从而根据分解得到的矩阵信息(即降维后的特征维度)来挑选重要的特征，过滤不重要的特征，最终降低特征的维度，最后再连接多模型融合全连接层，多模型融合全连接层中的倒数第二层全连接层的神经元个数是特征向量的输出维度，多模型融合全连接层中的最后一层全连接层的神经元个数是由训练数据集的类别确定。
进一步的，步骤S63)中，在SVD(Singular Value Decomposition)层中对融合矩阵进行奇异值分解，获得融合矩阵的若干个特征值以及若干个特征向量，设置能量阈值，根据能量阈值获得降维后的特征维度，根据降维后的特征维度获得降维特征向量，包括以下步骤：
S631)在SVD层中对融合矩阵进行奇异值分解，V＝UΣUT，U为特征向量矩阵，Σ为特征值对角矩阵，特征值对角矩阵Σ中有j个特征值，λ1≥λ2≥…≥λj，特征向量矩阵中包括j个特征向量，第j个特征值λj与第j个特征向量uj相对应；
S632)设置能量阈值w，根据能量阈值获得降维后的特征维度f，降维后的特征维度满足关系式
Figure BDA0002722417950000061
截取特征向量矩阵U中的前f列，将特征向量矩阵U中的前f列作为降维特征向量。
本发明对融合矩阵进行了奇异值分解，奇异值分解的目的是根据融合矩阵V获得j个特征值，λ1≥λ2≥…≥λj，以及与j个特征值分别对应的特征向量U{u1,u2,...，uj}。其中特征值对角矩阵∑中的特征值代表了特征向量矩阵U中特征向量的重要性，特征值对角矩阵∑中的特征值是由大到小排列，特征值越大表示该维特征越重要。而对融合矩阵降维的操作就是选择重要的特征，为获得更有用的特征，本发明通过计算特征值平方累加的百分比
Figure BDA0002722417950000071
来确定最后选择的特征维度，即计算位于特征值对角矩阵∑中第f列的特征值以及所有大于第f列的特征值的平方累加
Figure BDA0002722417950000072
和与所有特征值的平方累加和
Figure BDA0002722417950000073
的百分比来确定最后选择的特征维度，特征值平方累加的百分比
Figure BDA0002722417950000074
称为能量值。根据设置的能量阈值便可计算获得对应的降维之后的特征维度f，然后在存放特征向量的特征向量矩阵U中截取前f列便能得到降维后的降维特征向量。
进一步的，步骤S7)中，利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值，包括以下步骤：
S71)将测试数据集划分为e等分，将第z等分的人脸对数据集输入至多模型融合人脸特征降维提取网络，z≤e，获取多模型融合人脸特征降维提取网络的倒数第二层全连接层输出的人脸特征，根据倒数第二层全连接层输出的人脸特征计算每对人脸对的余弦相似度；
S72)获得与第z等分的人脸对数据集相对应的多模型余弦相似度矩阵；
S73)设置多模型阈值矩阵，多模型阈值矩阵中的每一个元素取值相同，多模型阈值矩阵中的元素的取值范围为[-1,1]，设置第二间隔数值为d，按第二间隔数值d在取值范围[-1,1]中进行等间隔取值，获得若干个多模型阈值矩阵，将每个多模型阈值矩阵的元素与多模型余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有多模型阈值矩阵相对应的准确率，从所有多模型阈值矩阵相对应的准确率中找出准确率最高对应的多模型阈值矩阵，将准确率最高对应的多模型阈值矩阵中的元素值作为第z等分的人脸对数据集的多模型阈值；
S74)依次获得所有等分的人脸对数据集对应的多模型阈值，对所有等分的人脸对数据集对应的多模型阈值求均值，获得多模型阈值均值结果，将所述多模型阈值均值结果作为所述多模型融合人脸特征降维提取网络的多模型融合余弦相似度阈值θ。
进一步的，在步骤S8)中，获取待识别人脸图像对，将待识别人脸图像对分别输入多模型融合人脸特征降维提取网络中，多模型融合人脸特征降维提取网络的第一层全连接层的输出为与待识别人脸图像对相对应的两个特征向量，计算与待识别人脸图像对相对应的两个特征向量之间的余弦相似度c，将余弦相似度c与所述多模型融合余弦相似度阈值θ进行比较，若余弦相似度c大于或等于多模型融合余弦相似度阈值θ，则表明待识别人脸图像对是同一个人，若余弦相似度c小于多模型融合余弦相似度阈值θ，则表明待识别人脸图像对不是同一个人。
本发明的有益效果是：
不同于现有技术仅采用单一网络结构提取人脸特征的方法，本发明在构建网络时，融合若干种结构不同的主干网络,利用每个网络在测试集上的不同表现作为网络权重进行融合，与单一网络结构相比，融合网络提取的特征更全面且可有效地提高人脸识别精度。
本发明构建的多模型融合人脸特征降维网络中，增加了SVD降维操作，SVD操作可以根据特征的重要性挑选出关键性特征，过滤掉几乎没有作用的特征，达到了去除冗余信息的目的；同时特征维度的减少可以有效提高运算效率。
本发明对训练数据中单个人脸ID中的部分数据增加了光照和遮挡数据增强操作，这样在训练阶段有助于网络在有无遮挡和不同光照条件下学习更加丰富的关键性特征信息，从而使得训练获取的模型在光照和遮挡条件下也具有较好的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例一提供的基于多模型融合的人脸特征降维提取方法的流程示意图。
图2为本实施例一提供的子网络模型Model_a的网络结构示意图。
图3为本实施例一提供的多模型融合人脸特征降维提取网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一，一种基于多模型融合的人脸特征降维提取方法，如图1所示，包括以下步骤：
S1)采集人脸图像数据集，对人脸图像数据集进行预处理；
在步骤S1)中，对人脸图像数据集进行预处理，包括对人脸图像数据集中的图像进行色度信息处理和/或进行不同角度区域遮挡；进行色度信息处理包括对图像进行不同饱和度、亮度或对比度处理；进行不同角度区域遮挡包括进行图像边角区域的裁剪、部分区域黑色块填充或部分区域黑色块覆盖。
本发明对人脸图像数据集中的部分数据进行预处理操作，为模拟不同角度光照条件，对图像进行不同饱和度、亮度、对比度等色度信息处理；为模型遮挡条件，对图像进行不同角度区域的遮盖，遮盖方式可以是边角区域的裁剪以及某些区域黑色块填充以及黑色块覆盖。
S2)获得预处理后的人脸图像数据集，将预处理后的人脸图像数据集按9：1的比例划分为训练数据集和测试数据集。在划分数据之前首先对人脸图像数据集的每个人脸ID数量、性别以及年龄分布进行分析，以此保证挑选的测试数据集中的数据在年龄、性别分布相对均衡，这样能够保证在测试数据集上的评测结果相对中性且客观。测试数据集中由两部分组成：分别是正人脸对(两张图片是同一个人)和负人脸对(两张图片不是同一个人)，为符合现实生活场景，正负人脸对的比例设置为1:10。
S3)建立若干个子网络模型，若干个子网络模型的主干网络结构不同。本发明中若干个子网络模型的要求是主干网络不同，它们的主干网络可以是简单的卷积网络，也可以是残差网络，也可以是多个网络的结合。
本实施例中建立了3个子网络模型，分别为子网络模型Modela、子网络模型Modelb、和子网络模型Modelc。图2为子网络模型Modela的网络结构示意图，本实施例以残差网络为例构建子网络模型,数据流方向依次是：输入层(对应于图2中的Input Layer)、卷积层(Convolution)、批归一化层(Batch Normalization)、ReLU激活层、3个Block块、平均池化(AvgPooling)、全连接层1(Fully connected 1)、全连接层2(Fully connected 2)和输出层(Output Layer)，其中每个Bolck块是由两个残差块构成，每一个残差块的网络结构可见图2中的虚线框。
构建子网络模型Modelb和子网络模型Modelc时，需要保证三个子网络模型的主干网络有差异，主干网络部分可见图2中的Backbone标注框。本实施例中，三个子网络的主干网络结构包括卷积层、批归一化层、ReLU激活层、若干个Block块、平均池化。
S4)利用训练数据集对若干个子网络模型分别进行训练，得到训练好的若干个子网络模型；
S5)利用测试数据集分别对若干个子网络模型进行测试，获得若干个子网络模型的测试结果，包括以下步骤:
S51)测试数据集为人脸对数据集，人脸对数据集包括正人脸对数据集和负人脸对数据集，正人脸对表示两张图像是同一个人，负人脸对表示两张图像不是同一个人；将人脸对数据集划分为r等分，将第i等分的人脸对数据集输入至第k个子网络模型，i≤r，第k个子网络模型输出与第i等分的人脸对数据集相对应的若干个人脸对的特征向量；k≤h，h为若干个子网络模型的总数；
S52)分别计算每个人脸对的两个特征向量之间的余弦相似度，获得与第i等分的人脸对数据集相对应的余弦相似度矩阵，余弦相似度矩阵中的一个元素对应于一个人脸对的两个特征向量之间的余弦相似度；
S53)设置与余弦相似度矩阵的维度相同的阈值矩阵，阈值矩阵中的每一个元素取值相同，元素的取值范围为[-1,1]，设置第一间隔数值为q，按第一间隔数值q在取值范围[-1,1]中进行等间隔取值，获得
Figure BDA0002722417950000111
个阈值矩阵，将每个阈值矩阵的元素与余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有阈值矩阵相对应的准确率，从所有阈值矩阵相对应的准确率中找出准确率最高对应的阈值矩阵，将准确率最高对应的阈值矩阵中的元素值作为第i等分的人脸对数据集的阈值；
S54)依次获得所有等分的人脸对数据集对应的阈值，对所有等分的人脸对数据集对应的阈值求均值，获得均值结果，将均值结果作为第k个子网络模型的最终余弦相似度阈值；
S55)将测试数据集输入至第k个子网络模型，第k个子网络模型输出测试数据集中若干个人脸对的特征向量，计算每个人脸对的两个特征向量之间的余弦相似度，将每个人脸对的两个特征向量之间的余弦相似度与步骤S54)中第k个子网络模型的最终余弦相似度阈值进行比较，获得第k个子网络模型的最终准确率，将第k个子网络模型的最终准确率作为第k个子网络模型的测试结果；
S56)依次获得h个子网络模型的测试结果。
本发明在对子网络模型进行单独测试时，为避免结果的随机性且保证结果准确前提下，将测试数据集划分为若干等分，然后等分计算准确率并求准确率均值。在计算准确率之前，设定一个阈值矩阵，因为相似度计算使用的是余弦相似度，所以阈值范围设定为-1到1，按照等间隔进行取值。计算准确率时，对测试数据集输入的正负人脸对分别计算余弦相似度并与阈值矩阵中的值进行比较从而来判断人脸识别正确与否，然后对识别正确的结果进行累加，获得人脸识别的准确率。最后选择最高准确率并求均值即为测试结果。
S6)将若干个子网络模型的测试结果作为网络权重，利用若干个子网络模型以及网络权重构建多模型融合人脸特征降维提取网络，利用训练数据集对多模型融合人脸特征降维提取网络进行训练，多模型融合人脸特征降维提取网络还包括拼接层、SVD层、多模型融合全连接层、输出层；所述多模型融合全连接层包括若干层全连接层；包括以下步骤：
S61)提取若干个子网络模型的主干网络结构以及与主干网络结构相连的全连接层，将第k个子网络模型的测试结果作为第k个子网络模型的网络权重，将提取的第k个子网络模型的全连接层与第k个子网络模型的网络权重进行乘法操作，获得第k个子网络模型的全连接层的输出；
S62)依次获得所有子网络模型的全连接层的输出，将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵，所述拼接层将融合矩阵输入至SVD层；包括以下步骤：
S621)获得所有子网络模型的全连接层的输出V1、V2、…、Vk…、Vh，第k个子网络模型的全连接层的输出
Figure BDA0002722417950000131
上标k表示子网络模型的序号，下标s表示利用训练数据集对多模型融合人脸特征降维提取网络进行训练过程中的batch_size，下标nk表示第k个子网络模型中的全连接层的特征输出维度；Acck表示第k个子网络模型的网络权重；
S622)将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵V＝[V1V2…Vk…Vh]。
本实施例中，如图3所示，首先提取3个子网络模型的主干网络结构以及与主干网络结构相连的第一层全连接层，子网络模型Modela的全连接层1(Fully connected 1)的输出为特征向量fc1a，子网络模型Modelb的全连接层1的输出为特征向量fc1b，子网络模型Modelc的全连接层1的输出为特征向量fc1c。子网络模型Modela的网络权重为Acca，子网络模型Modelb的网络权重为Accb，子网络模型Modelc的网络权重为Accc。子网络模型Modela的全连接层1的输出Mula＝V1＝Acca*fc1a,子网络模型Modelb的全连接层1的输出Mulb＝V2＝Accb*fc1b,子网络模型Modelc的全连接层1的输出Mulc＝V3＝Accc*fc1c,将3个子网络模型的全连接层的输出进行通道融合，获得融合矩阵V＝[V1 V2 V3]。
本实施例将与所有子网络模型的主干网络对应连接的全连接层分别与各个网络权重进行乘法操作之后，一起进行通道融合输入到拼接层(Concatenate Layer)，目的是为了融合更多描述图像本身的特征信息，然后通过SVD层对所有子网络模型的特征融合的信息(即融合矩阵)进行分解，从而根据分解得到的矩阵信息(即降维后的特征维度)来挑选重要的特征，过滤不重要的特征，最终降低特征的维度，最后再连接多模型融合全连接层。本实施例中，多模型融合人脸特征降维提取网络的多模型融合全连接层有2层全连接层，第一层全连接层的神经元个数是特征向量的输出维度，第二层全连接层的神经元个数是由训练数据集的类别确定。
S63)在SVD层中对融合矩阵进行奇异值分解，获得融合矩阵的若干个特征值以及若干个特征向量，设置能量阈值，根据能量阈值获得降维后的特征维度，根据降维后的特征维度获得降维特征向量，包括以下步骤：
S631)在SVD层中对融合矩阵进行奇异值分解，V＝UΣUT，U为特征向量矩阵，Σ为特征值对角矩阵，特征值对角矩阵Σ中有j个特征值，λ1≥λ2≥…≥λj，特征向量矩阵中包括j个特征向量，第j个特征值λj与第j个特征向量uj相对应；
S632)设置能量阈值w，根据能量阈值获得降维后的特征维度f，降维后的特征维度满足关系式
Figure BDA0002722417950000141
截取特征向量矩阵U中的前f列，将特征向量矩阵U中的前f列作为降维特征向量。
本发明对融合矩阵进行了奇异值分解，奇异值分解的目的是根据融合矩阵V获得j个特征值，λ1≥λ2≥…≥λj，以及与j个特征值分别对应的特征向量U{u1,u2,...，uj}。其中特征值对角矩阵∑中的特征值代表了特征向量矩阵U中特征向量的重要性，特征值对角矩阵∑中的特征值是由大到小排列，特征值越大表示该维特征越重要。而对融合矩阵降维的操作就是选择重要的特征，为获得更有用的特征，本发明通过计算特征值平方累加的百分比
Figure BDA0002722417950000142
来确定最后选择的特征维度，即计算所有大于以及等于第f列的特征值的平方累加和
Figure BDA0002722417950000143
与所有特征值的平方累加和
Figure BDA0002722417950000151
的百分比来确定最后选择的特征维度，特征值平方累加的百分比
Figure BDA0002722417950000152
称为能量值。根据设置的能量阈值便可计算获得对应的降维之后的特征维度f，然后在存放特征向量的特征向量矩阵U中截取前f列便可以得到降维后的降维特征向量。把降维特征向量输入接下来的多模型全连接层中进行分类训练，从而完成多模型融合人脸特征降维提取网络的训练。
S64)SVD层将降维特征向量输入至多模型融合全连接层进行分类训练，多模型融合全连接层的最后一层全连接层连接输出层。
S7)利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值，包括以下步骤：
S71)将测试数据集划分为e等分，将第z等分的人脸对数据集输入至多模型融合人脸特征降维提取网络，z≤e，获取多模型融合人脸特征降维提取网络的倒数第二层全连接层输出的人脸特征，根据倒数第二层全连接层输出的人脸特征计算每对人脸对的余弦相似度；
S72)获得与第z等分的人脸对数据集相对应的多模型余弦相似度矩阵；
S73)设置多模型阈值矩阵，多模型阈值矩阵中的每一个元素取值相同，多模型阈值矩阵中的元素的取值范围为[-1,1]，设置第二间隔数值为d，按第二间隔数值d在取值范围[-1,1]中进行等间隔取值，获得若干个多模型阈值矩阵，将每个多模型阈值矩阵的元素与多模型余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有多模型阈值矩阵相对应的准确率，从所有多模型阈值矩阵相对应的准确率中找出准确率最高对应的多模型阈值矩阵，将准确率最高对应的多模型阈值矩阵中的元素值作为第z等分的人脸对数据集的多模型阈值；
S74)依次获得所有等分的人脸对数据集对应的多模型阈值，对所有等分的人脸对数据集对应的多模型阈值求均值，获得多模型阈值均值结果，将所述多模型阈值均值结果作为所述多模型融合人脸特征降维提取网络的多模型融合余弦相似度阈值θ。
S8)获取待识别人脸图像对，将待识别人脸图像对输入多模型融合人脸特征降维提取网络中，多模型融合人脸特征降维提取网络的第一层全连接层输出与待识别人脸图像对相对应的两个特征向量，计算与待识别人脸图像对相对应的两个特征向量之间的余弦相似度c，将余弦相似度c与所述多模型融合余弦相似度阈值θ进行比较，若余弦相似度c大于或等于多模型融合余弦相似度阈值θ，则表明待识别人脸图像对是同一个人，若余弦相似度c小于多模型融合余弦相似度阈值θ，则表明待识别人脸图像对不是同一个人。
待识别人脸图像对包括两张人脸图像，分别为待识别人脸1和待识别人脸2，将待识别人脸1和待识别人脸2分别输入多模型融合人脸特征降维提取网络中，利用多模型融合人脸特征降维提取网络的第一层全连接层分别输出与待识别人脸图像对相对应的两个特征向量，两个特征向量分别为特征向量1和特征向量2，再计算特征向量1和特征向量2之间的余弦相似度。本实施例通过将特征向量1和特征向量2之间的余弦相似度与多模型融合人脸特征降维提取网络的多模型融合余弦相似度阈值进行比较，从而获得待识别人脸图像对的识别结果。
本发明中多模型融合人脸特征降维提取网络中的三个子网络模型的要求是主干网络不同，它们的主干网络可以是简单的卷积网络，也可以是残差网络，也可以是多个网络的结合。
本发明中多模型融合人脸特征降维提取网络中的三个子网络模型后面连接的全连接层的神经元个数不一定要完全一样，同样在多模型融合人脸特征降维提取网络中全连接层的神经元个数也不是一个限定的值。
本发明中的SVD降维计算中的能量阈值不是一个固定不变的百分比，特征维度的选择也不是一个固定的值。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
不同于现有技术仅采用单一网络结构提取人脸特征的方法，本发明在构建网络时，融合若干种结构不同的主干网络,利用每个网络在测试集上的不同表现作为网络权重进行融合，与单一网络结构相比，融合网络提取的特征更全面且可有效地提高人脸识别精度。
本发明构建的多模型融合人脸特征降维网络中，增加了SVD降维操作，SVD操作可以根据特征的重要性挑选出关键性特征，过滤掉几乎没有作用的特征，达到了去除冗余信息的目的；同时特征维度的减少可以有效提高运算效率。
本发明对训练数据中单个人脸ID中的部分数据增加了光照和遮挡数据增强操作，这样在训练阶段有助于网络在有无遮挡和不同光照条件下学习更加丰富的关键性特征信息，从而使得训练获取的模型光照和遮挡条件下也具有较好的鲁棒性。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于多模型融合的人脸特征降维提取方法，其特征在于，包括以下步骤：
S1)采集人脸图像数据集，对所述人脸图像数据集进行预处理；
S2)获得预处理后的人脸图像数据集，将所述预处理后的人脸图像数据集按比例划分为训练数据集和测试数据集；
S3)建立若干个子网络模型，所述若干个子网络模型的主干网络结构不同；
S4)利用所述训练数据集对若干个子网络模型分别进行训练，得到训练好的若干个子网络模型；
S5)利用测试数据集分别对所述若干个子网络模型进行测试，获得若干个子网络模型的测试结果；
S6)将所述若干个子网络模型的测试结果作为网络权重，利用所述若干个子网络模型以及所述网络权重构建多模型融合人脸特征降维提取网络，利用训练数据集对所述多模型融合人脸特征降维提取网络进行训练，所述多模型融合人脸特征降维提取网络还包括拼接层、SVD层、多模型融合全连接层、输出层；所述多模型融合全连接层包括两层全连接层；
S7)利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值，步骤S7)中，利用测试数据集获得多模型融合人脸特征降维提取网络的相似度阈值，包括以下步骤：
S71)将所述测试数据集划分为e等分，将第z等分的人脸对数据集输入至多模型融合人脸特征降维提取网络，z≤e，获取所述多模型融合人脸特征降维提取网络的第一层全连接层输出的人脸特征，根据所述第一层全连接层输出的人脸特征计算每对人脸对的余弦相似度；
S72)获得与第z等分的人脸对数据集相对应的多模型余弦相似度矩阵；
S73)设置多模型阈值矩阵，所述多模型阈值矩阵中的每一个元素取值相同，多模型阈值矩阵中的元素的取值范围为[-1,1]，设置第二间隔数值为d，按第二间隔数值d在取值范围[-1,1]中进行等间隔取值，获得若干个多模型阈值矩阵，将每个多模型阈值矩阵的元素与多模型余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有多模型阈值矩阵相对应的准确率，从所有多模型阈值矩阵相对应的准确率中找出准确率最高对应的多模型阈值矩阵，将准确率最高对应的多模型阈值矩阵中的元素值作为第z等分的人脸对数据集的多模型阈值；
S74)依次获得所有等分的人脸对数据集对应的多模型阈值，对所有等分的人脸对数据集对应的多模型阈值求均值，获得多模型阈值均值结果，将所述多模型阈值均值结果作为所述多模型融合人脸特征降维提取网络的多模型融合余弦相似度阈值θ；
S8)获取待识别人脸图像对，将所述待识别人脸图像对输入所述多模型融合人脸特征降维提取网络中，所述多模型融合人脸特征降维提取网络的第一层全连接层的输出为与所述待识别人脸图像对相对应的两个特征向量，计算与待识别人脸图像对相对应的两个特征向量之间的余弦相似度，根据步骤S7)中多模型融合人脸特征降维提取网络的相似度阈值获得待识别人脸图像对的识别结果。
2.根据权利要求1所述的基于多模型融合的人脸特征降维提取方法，其特征在于，在步骤S1)中，对所述人脸图像数据集进行预处理，包括对人脸图像数据集中的图像进行色度信息处理和/或进行不同角度区域遮挡；进行色度信息处理包括对图像进行不同饱和度、亮度或对比度处理；进行不同角度区域遮挡包括进行图像边角区域的裁剪、部分区域黑色块填充或部分区域黑色块覆盖。
3.根据权利要求1或2所述的基于多模型融合的人脸特征降维提取方法，其特征在于，在步骤S5)中，利用测试数据集分别对所述若干个子网络模型进行测试，获得若干个子网络模型的测试结果，包括以下步骤:
S51)所述测试数据集为人脸对数据集，所述人脸对数据集包括正人脸对数据集和负人脸对数据集，所述正人脸对表示两张图像是同一个人，所述负人脸对表示两张图像不是同一个人；将所述人脸对数据集划分为r等分，将第i等分的人脸对数据集输入至第k个子网络模型，i≤r，第k个子网络模型输出与第i等分的人脸对数据集相对应的若干个人脸对的特征向量；k≤h，h为若干个子网络模型的总数；
S52)分别计算每个人脸对的两个特征向量之间的余弦相似度，获得与第i等分的人脸对数据集相对应的余弦相似度矩阵，余弦相似度矩阵中的一个元素对应于一个人脸对的两个特征向量之间的余弦相似度；
S53)设置与所述余弦相似度矩阵的维度相同的阈值矩阵，所述阈值矩阵中的每一个元素取值相同，元素的取值范围为[-1,1]，设置第一间隔数值为q，按第一间隔数值q在取值范围[-1,1]中进行等间隔取值，获得
Figure FDA0003011012620000031
个阈值矩阵，将每个阈值矩阵的元素与余弦相似度矩阵的元素进行比较，并将比较结果进行统计，获得所有阈值矩阵相对应的准确率，从所有阈值矩阵相对应的准确率中找出准确率最高对应的阈值矩阵，将准确率最高对应的阈值矩阵中的元素值作为第i等分的人脸对数据集的阈值；
S54)依次获得所有等分的人脸对数据集对应的阈值，对所有等分的人脸对数据集对应的阈值求均值，获得均值结果，将所述均值结果作为第k个子网络模型的最终余弦相似度阈值；
S55)将测试数据集输入至第k个子网络模型，第k个子网络模型输出所述测试数据集中若干个人脸对的特征向量，计算每个人脸对的两个特征向量之间的余弦相似度，将每个人脸对的两个特征向量之间的余弦相似度与步骤S54)中第k个子网络模型的最终余弦相似度阈值进行比较，获得第k个子网络模型的最终准确率，将第k个子网络模型的最终准确率作为第k个子网络模型的测试结果；
S56)依次获得h个子网络模型的测试结果。
4.根据权利要求3所述的基于多模型融合的人脸特征降维提取方法，其特征在于，步骤S6)中，将所述若干个子网络模型的测试结果作为网络权重，利用所述若干个子网络模型以及所述网络权重构建多模型融合人脸特征降维提取网络，利用训练数据集对所述多模型融合人脸特征降维提取网络进行训练，包括以下步骤：
S61)提取所述若干个子网络模型的主干网络结构以及与主干网络结构相连的全连接层，将第k个子网络模型的测试结果作为第k个子网络模型的网络权重，将提取的第k个子网络模型的全连接层与第k个子网络模型的网络权重进行乘法操作，获得第k个子网络模型的全连接层的输出；
S62)依次获得所有子网络模型的全连接层的输出，将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵，所述拼接层将融合矩阵输入至SVD层；
S63)在SVD层中对所述融合矩阵进行奇异值分解，获得所述融合矩阵的若干个特征值以及若干个特征向量，设置能量阈值，根据所述能量阈值获得降维后的特征维度，根据所述降维后的特征维度获得降维特征向量；
S64)所述SVD层将所述降维特征向量输入至多模型融合全连接层进行分类训练，所述多模型融合全连接层的最后一层全连接层连接输出层。
5.根据权利要求4所述的基于多模型融合的人脸特征降维提取方法，其特征在于，步骤S62)中，依次获得所有子网络模型的全连接层的输出，将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵，包括以下步骤：
S621)获得所有子网络模型的全连接层的输出V1、V2、…、Vk…、Vh，第k个子网络模型的全连接层的输出
Figure FDA0003011012620000051
上标k表示子网络模型的序号，下标s表示利用训练数据集对多模型融合人脸特征降维提取网络进行训练过程中的batch_size，下标n k表示第k个子网络模型中的全连接层的特征输出维度；Acck表示第k个子网络模型的网络权重；
S622)将所有子网络模型的全连接层的输出进行通道融合，获得融合矩阵V＝[V1 V2... Vk ... Vh]。
6.根据权利要求5所述的基于多模型融合的人脸特征降维提取方法，其特征在于，步骤S63)中，在SVD层中对所述融合矩阵进行奇异值分解，获得所述融合矩阵的若干个特征值以及若干个特征向量，设置能量阈值，根据所述能量阈值获得降维后的特征维度，根据所述降维后的特征维度获得降维特征向量，包括以下步骤：
S631)在SVD层中对所述融合矩阵进行奇异值分解，V＝UΣUT，U为特征向量矩阵，Σ为特征值对角矩阵，特征值对角矩阵Σ中有j个特征值，λ1≥λ2≥…≥λj，特征向量矩阵中包括j个特征向量，第j个特征值λj与第j个特征向量uj相对应；
S632)设置能量阈值w，根据能量阈值获得降维后的特征维度f，降维后的特征维度满足关系式
Figure FDA0003011012620000061
截取特征向量矩阵U中的前f列，将特征向量矩阵U中的前f列作为降维特征向量。
7.根据权利要求1所述的基于多模型融合的人脸特征降维提取方法，其特征在于，在步骤S8)中，获取待识别人脸图像对，将所述待识别人脸图像对输入所述多模型融合人脸特征降维提取网络中，所述多模型融合人脸特征降维提取网络的第一层全连接层输出与待识别人脸图像对相对应的两个特征向量，计算与待识别人脸图像对相对应的两个特征向量之间的余弦相似度c，将余弦相似度c与所述多模型融合余弦相似度阈值θ进行比较，若余弦相似度c大于或等于所述多模型融合余弦相似度阈值θ，则表明待识别人脸图像对是同一个人，若余弦相似度c小于所述多模型融合余弦相似度阈值θ，则表明待识别人脸图像对不是同一个人。
CN202011091983.6A 2020-10-13 2020-10-13 一种基于多模型融合的人脸特征降维提取方法 Active CN112215157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091983.6A CN112215157B (zh) 2020-10-13 2020-10-13 一种基于多模型融合的人脸特征降维提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091983.6A CN112215157B (zh) 2020-10-13 2020-10-13 一种基于多模型融合的人脸特征降维提取方法

Publications (2)

Publication Number Publication Date
CN112215157A CN112215157A (zh) 2021-01-12
CN112215157B true CN112215157B (zh) 2021-05-25

Family

ID=74053866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091983.6A Active CN112215157B (zh) 2020-10-13 2020-10-13 一种基于多模型融合的人脸特征降维提取方法

Country Status (1)

Country Link
CN (1) CN112215157B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113052150B (zh) * 2021-05-24 2021-07-30 腾讯科技（深圳）有限公司 活体检测方法、装置、电子设备和计算机可读存储介质
JPWO2023013081A1 (zh) * 2021-08-06 2023-02-09

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
CN108009481A (zh) * 2017-11-22 2018-05-08 浙江大华技术股份有限公司 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
US10621779B1 (en) * 2017-05-25 2020-04-14 Fastvdo Llc Artificial intelligence based generation and analysis of 3D models
CN111401294A (zh) * 2020-03-27 2020-07-10 山东财经大学 基于自适应特征融合的多任务人脸属性分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439938B1 (ko) * 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
US10621779B1 (en) * 2017-05-25 2020-04-14 Fastvdo Llc Artificial intelligence based generation and analysis of 3D models
CN108009481A (zh) * 2017-11-22 2018-05-08 浙江大华技术股份有限公司 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN108830262A (zh) * 2018-07-25 2018-11-16 上海电力学院 自然状态下多角度人脸表情识别方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN111401294A (zh) * 2020-03-27 2020-07-10 山东财经大学 基于自适应特征融合的多任务人脸属性分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cross-Model Deep Feature Fusion for Face Detection;Jie Sun等;《IEEE》;20200907;第1-4页 *

Also Published As

Publication number Publication date
CN112215157A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215157B (zh) 一种基于多模型融合的人脸特征降维提取方法
CN110427877B (zh) 一种基于结构信息的人体三维姿态估算的方法
CN109800710B (zh) 行人重识别系统及方法
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN109344713B (zh) 一种姿态鲁棒的人脸识别方法
CN110879982A (zh) 一种人群计数系统及方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法
CN110503113A (zh) 一种基于低秩矩阵恢复的图像显著性目标检测方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN116823983A (zh) 基于风格收集机制的一对多风格书法图片生成方法
CN112396089B (zh) 基于lfgc网络和压缩激励模块的图像匹配方法
CN114495210A (zh) 一种基于注意力机制的姿态变化人脸识别方法
CN114897858A (zh) 一种基于深度学习的快速绝缘子缺陷检测方法及其系统
Wei Pedestrian Re-Identification Incorporating Multi-Information Flow Deep Learning Model
CN113723482A (zh) 基于多示例孪生网络的高光谱目标检测方法
Junhua et al. No-reference image quality assessment based on AdaBoost_BP neural network in wavelet domain
CN112633229A (zh) 一种基于spd流形的行人重识别系统
CN113837048B (zh) 基于少样本注意力的车辆重识别方法
CN109359561B (zh) 时间信息差异的度量算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant