CN117649692A - 基于多人脸图像特征图融合的人脸识别方法及相关设备 - Google Patents
基于多人脸图像特征图融合的人脸识别方法及相关设备 Download PDFInfo
- Publication number
- CN117649692A CN117649692A CN202311383607.8A CN202311383607A CN117649692A CN 117649692 A CN117649692 A CN 117649692A CN 202311383607 A CN202311383607 A CN 202311383607A CN 117649692 A CN117649692 A CN 117649692A
- Authority
- CN
- China
- Prior art keywords
- feature
- images
- face
- fusion
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多人脸图像特征图融合的人脸识别方法及相关设备，涉及人脸生物信息识别技术领域，针对现有技术中的因人脸图像中姿态、光照、模糊等不可控环境因素造成人脸识别准确率较低的问题，本发明采用多帧图像输入人脸识别方案，同时将多帧输入到模型中，通过基于SENET改进的特征通道融合方法，将Model 1输出的特征图按权重高低保留和删除，使其满足Model 2模型的输入形状，最终多张图输入直接得到一个特征编码。相比于使用单帧识别方案，本发明提出了融合了多帧图像权重高的特征图方法，有效利用了多帧图像中的有效特征信息提高基于视频流的人脸识别准确率，有效降低了多帧输入人脸识别计算成本。
Description
技术领域
本发明涉及人脸生物信息识别技术领域，具体涉及一种基于多人脸图像特征图融合的人脸识别方法及相关设备。
背景技术
随着计算机视觉研究的不断发展，人脸识别技术在身份认证领域扮演着越来越重要的角色。人脸识别是一种基于人的面部特征(如统计或几何特征等)的生物识别技术，通过自动识别和比对人脸特征来实现身份认证。目前，非配合式人脸识别技术已经成为人们快速身份识别的重要手段，并在不断取得研究成果的推动下得以广泛应用。
传统的基于单帧图像的人脸识别方案在很多场景下得到广泛应用，然而在特定情况下存在一些问题。例如，由于图像采集设备的限制，人脸图像容易受到摄像头分辨率、运动抖动、光线照射等因素的影响而出现模糊、抖动、遮挡、光照不足以及侧脸等现象。在基于单帧图像的人脸识别方法中，这些图像质量问题可能导致人脸身份识别错误，或者需要进行多次识别才能正确识别出人脸，甚至有时无法识别人脸，从而大大降低了人脸识别技术的准确性。
因此，如何提高基于视频流的人脸识别身份验证的准确性成为当前研究的重要课题。基于视频流的人脸识别技术通过连续的图像帧，能够捕捉到更多的信息和动态变化，从而有望克服基于单帧图像的限制，提高人脸识别的准确性和鲁棒性。研究人员正在致力于开发和改进基于视频流的人脸识别算法，以应对不同光照、姿态、表情变化等复杂场景下的挑战，并实现快速、准确的身份识别。
一些研究也在尝试解决上述问题，如专利CN107958244公开的技术方案，然而，该专利公开的技术方案提出分别将多帧图像分别输入模型，获得多个特征编码feature，然后通过算法将多个特征编码融合成一个，但缺点是每张图都要分别输入到模型里，需要更高的算力计算成本。
发明内容
针对现有技术中的因人脸图像中姿态、光照、模糊等不可控环境因素造成人脸识别准确率较低的问题，本发明提供一种基于多人脸图像特征图融合的人脸识别方法及相关设备，可以在较低的算力成本下提高图像识别准确率。
为实现上述目的，本发明提供以下技术方案：
第一方面，本发明提供了一种基于多人脸图像特征图融合的人脸识别方法，其包括步骤：
提取视频文件中多帧图像；
根据多帧所述图像获得多帧人脸裁剪图像；
生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图；
基于多张所述中间特征图进行融合操作获得特征图；
利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码；
根据预设的特征编码和获得的特征编码进行人脸识别。
第二方面，本发明提供了一种基于多人脸图像特征图融合的人脸识别装置，其包括：
视频提取模块，其用于提取视频文件中多帧图像；
中间特征图生成模块，其用于执行以下操作：
根据多帧所述图像获得多帧人脸裁剪图像；
生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图；
特征编码识别模块，其用于执行以下操作：
基于多张所述中间特征图进行融合操作获得特征图；
利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码；
根据预设的特征编码和获得的特征编码进行人脸识别。
第三方面，本发明还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
第四方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
第五方面，本发明还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明与现有技术相比，其有益效果在于：
1、相比于使用单帧识别方案，本发明提出了融合了多帧图像权重高的特征图方法，有效利用了多帧图像中的有效特征信息提高基于视频流的人脸识别准确率；
2、本方案与单帧输入人脸识别方案所需算力相近，有效降低了多帧输入人脸识别计算成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是背景技术相关的技术流程图；
图2是背景技术相关的又一技术流程图；
图3是本发明实施例示出的方法流程图；
图4是本发明实施例示出的又一方法流程图；
图5是本发明实施例示出的SEBlock结构示意图；
图6是本发明实施例的装置的结构示意图；
图7是本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例：
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，目前人脸识别的常用方案如下，单帧图像经过预处理后输入模型，获得特征编码features后与注册编码库对比即可获得对比结果。
参见图2，一些研究，如专利CN107958244公开的技术方案，该专利公开的技术方案提出分别将多帧图像分别输入模型，获得多个特征编码feature，然后通过算法将多个特征编码融合成一个，但缺点是每张图都要分别输入到模型里，需要更高的算力计算成本。
参见图3至图4，本发明实施例所提供的一种基于多人脸图像特征图融合的人脸识别方法，可以包括如下流程：
步骤101：提取视频文件中多帧图像。
该步骤中，视频文件可以为在线视频文件或下载在终端上的视频文件，也可以是进行人脸生物信息识别时正在录制的视频文件，在线视频文件或下载在终端上的视频文件可以通过边播放边提取的方式提取，进行人脸生物信息识别时正在录制的视频文件可以是边录制边提取，也可以是录制完再提取。该多帧图像可以为视频文件的连续多帧图像，也可以是跳跃的关键多帧图像。
其中，具体的提取方式可以使用帧间差分法、构建人脸图像质量分析模型等方法提取。
步骤102：根据多帧所述图像获得多帧人脸裁剪图像。
该步骤中，将提取的N帧(N>＝1)图像进行人脸检测等图像预处理方法，获得N张人脸裁剪图像；作为一种可选的实施方式，在某些实施例中，还需使用人脸跟踪算法配合人脸检测算法初步确保N张人脸裁剪图像为同一人。
其中，在进行人脸跟踪前，需要先检测到人脸，目前实现人脸检测的方式有很多，人脸检测是输入可能包含人脸图的原始图像，检测出是否包含人脸的技术，常见的人脸检测如采用Robust Real-Time Face Detection(鲁棒实时人脸检测)。检测到人脸后，就对检测到人脸进行跟踪，具体实现方式可以是检测到的人脸区域标记出人脸跟踪框，然后通过现有的人脸识别算法初步确定N张人脸裁剪图像为同一人。
步骤103：生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图。
该步骤中，N帧人脸图并行输入的Model 1(第一卷积神经网络模型)后得到N个中间特征图，结构是：
OUTPUT 1＝N*(Channel，H，W)＝(Channel*N，H，W)
常规模型中，此时Model 1(第一卷积神经网络模型)输出(Channel，H，W)中间特征图，该中间特征图会输入到Model 2(第二卷积神经网络模型)中，然后继续计算得到feature(特征图)，由于本实施例有N帧人脸图输入，导致Model 1(第一卷积神经网络模型)输出结构为(Channel*N，H，W)。
作为一种可选的实施方式，在某些实施例中，基于完整的卷积神经网络分割形成所述第一卷积神经网络模型和所述第二卷积神经网络模型，例如，可以采用卷积神经网络作为识别的基础模型，实施例将完整的卷积神经网络(包括但不限于VGGNET、ResNet、DenseNet等使用卷积方法的模型)分割成Model 1(第一卷积神经网络模型)和Model 2(第二卷积神经网络模型)两个模型。
作为一种可选的实施方式，在某些实施例中，所述第一卷积神经网络模型的卷积块间配置有SEBlock模块，所述SEBlock模块包括压缩部分和激励部分，所述压缩部分用于将输入的多帧所述人脸裁剪图像采用全局平均池化压缩，所述激励部分用于将压缩后的图像的特征层每个通道的权重固定到0～1之间。
具体地，参见图5，SEBlock并不是一个完整的网络结构，而是一个子结构，可以嵌入到其他网络模型的任意深度来替换掉原始的卷积层形成新的网络模型。SEBlock通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。
其中，SEBlock包括Squeeze(压缩部分)和Excitation(激励部分)两部分。
对输入进来的特征层u采用全局平均池化(global average pooling)进行Squeeze；
上式，zc表示与第c个特征图的全局平均池化输出值，H×W表示第c个特征图全部元素个数，将整个特征图中所有的元素求和。
Excitation(激励部分)通过两个全连接层(FC)，第一个全连接层W1神经元个数较少用于降维，第二个全连接层W2神经元个数与输入特征层相同用于升维。最后通过激活函数Sigmoid将权重固定到0～1之间，即获得了输入特征层每个通道的权值(0～1之间)。
s＝Fex(z,W)＝σ(δ(z,W))＝σ(W2δ(W1zc))
上式，W1、W2分别为第一个和第二个FC层权重；δ为非线性激活函数ReLU()；σ为sigmoid函数；s为featuremap(特征图)权重。
步骤104：基于多张所述中间特征图进行融合操作获得特征图。
该步骤中，将所述激励部分输出的权重通过乘法逐通道加权到输入特征层上；使用N*channel通道权重排序设置中间特征图的筛选阈值β，筛选出高于设定筛选阈值β的权重的通道；根据通道权重的高低删除或保留中间特征图，获得设定形状的特征图。
具体地，将Excitation输出的权重通过乘法逐通道加权到输入特征层上；使用N*channel通道权重排序设置特征图筛选阈值β筛选出最高权重的channel；至此，完成N帧图像输入Model 1(第一卷积神经网络模型)后输出形状为(Channel，H，W)的特征图步骤。本发明提出使用通道权值删除OUTPUT1中低权重通道从而完成多特征图融合的方法，使其满足Model 2(第二卷积神经网络模型)输入尺寸(Channel，H，W)。
步骤105：利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码。
该步骤中，将特征图输入至Model 2(第二卷积神经网络模型)得到一个特征编码。
步骤106：根据预设的特征编码和获得的特征编码进行人脸识别。
该步骤中，将得到的特征编码与注册照特征编码进行相似度比较，获得是否为同人的结果。
由此，本发明实施例采用多帧图像输入人脸识别方案，同时将多帧输入到模型中，通过基于SENET改进的特征通道融合方法，将Model 1输出的特征图按权重高低保留和删除，使其满足Model 2模型的输入形状，最终多张图输入直接得到一个特征编码，避免了每张图都要分别输入到模型里，需要更高的算力计算成本，从而可以在较低的算力成本下提高图像识别准确率。
实施例2
参见图6，基于同一发明构思，本发明实施例还提供一种基于多人脸图像特征图融合的人脸识别装置，其包括：视频提取模块、中间特征图生成模块和特征编码识别模块，其中，
视频提取模块用于提取视频文件中多帧图像；
中间特征图生成模块用于执行以下操作：
根据多帧所述图像获得多帧人脸裁剪图像；
生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图；
特征编码识别模块用于执行以下操作：
基于多张所述中间特征图进行融合操作获得特征图；
利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码；
根据预设的特征编码和获得的特征编码进行人脸识别。
由于该装置是本发明实施例的基于多人脸图像特征图融合的人脸识别方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法实施例的实施过程，重复之处不再赘述。
实施例3
参见图7，基于同一发明构思，本发明实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如上所述的基于多人脸图像特征图融合的人脸识别方法。
可以理解的是，存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-OnlyMemory)。可选地，该存储器包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据服务器的使用所创建的数据等。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行服务器的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central ProcessingUnit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
由于该电子设备是本发明实施例的基于多人脸图像特征图融合的人脸识别方法对应的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见上述方法实施例的实施过程，重复之处不再赘述。
实施例4
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的基于多人脸图像特征图融合的人脸识别方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-onlyMemory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
由于该存储介质是本发明实施例的基于多人脸图像特征图融合的人脸识别方法对应的存储介质，并且该存储介质解决问题的原理与该方法相似，因此该存储介质的实施可以参见上述方法实施例的实施过程，重复之处不再赘述。
实施例5
在一些可能的实施方式中，本发明实施例的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的基于多人脸图像特征图融合的人脸识别方法的步骤。其中，用于执行各个实施例的可执行的计算机程序代码或“代码”可以用诸如C、C++、C#、Smalltalk、Java、JavaScript、Visual Basic、结构化查询语言(例如，Transact-SQL)、Perl之类的高级编程语言或者用各种其它编程语言编写。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。
Claims (9)
1.一种基于多人脸图像特征图融合的人脸识别方法，其特征在于，包括步骤：
提取视频文件中多帧图像；
根据多帧所述图像获得多帧人脸裁剪图像；
生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图；
基于多张所述中间特征图进行融合操作获得特征图；
利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码；
根据预设的特征编码和获得的特征编码进行人脸识别。
2.根据权利要求1所述的基于多人脸图像特征图融合的人脸识别方法，其特征在于，所述根据多帧所述图像获得多帧人脸裁剪图像，之后还包括初步检测步骤：
通过预设算法初步确定多帧所述人脸裁剪图像为同一人。
3.根据权利要求1所述的基于多人脸图像特征图融合的人脸识别方法，其特征在于，基于完整的卷积神经网络分割形成所述第一卷积神经网络模型和所述第二卷积神经网络模型。
4.根据权利要求1所述的基于多人脸图像特征图融合的人脸识别方法，其特征在于，所述第一卷积神经网络模型的卷积块间配置有SEBlock模块，所述SEBlock模块包括压缩部分和激励部分，所述压缩部分用于将输入的多帧所述人脸裁剪图像采用全局平均池化压缩，所述激励部分用于将压缩后的图像的特征层每个通道的权重固定到0～1之间。
5.根据权利要求4所述的基于多人脸图像特征图融合的人脸识别方法，其特征在于，所述基于多张所述中间特征图进行融合操作获得特征图，具体为：
将所述激励部分输出的权重通过乘法逐通道加权到输入特征层上；
使用N*channel通道权重排序设置中间特征图的筛选阈值β，筛选出高于设定筛选阈值β的权重的通道；
根据通道权重的高低删除或保留中间特征图，获得设定形状的特征图。
6.根据权利要求1所述的基于多人脸图像特征图融合的人脸识别方法，其特征在于，所述根据预设的特征编码和获得的特征编码进行人脸识别，具体为：
预设的特征编码配置为注册照的特征编码；
根据所述注册照的特征编码和获得的特征编码进行相似度比较，判断图像是否为同一人。
7.一种基于多人脸图像特征图融合的人脸识别装置，其特征在于，包括：
视频提取模块，其用于提取视频文件中多帧图像；
中间特征图生成模块，其用于执行以下操作：
根据多帧所述图像获得多帧人脸裁剪图像；
生成第一卷积神经网络模型和第二卷积神经网络模型，利用所述第一卷积神经网络模型对多帧所述人脸裁剪图像进行处理，获得多张按预设权重顺序排列的中间特征图；
特征编码识别模块，其用于执行以下操作：
基于多张所述中间特征图进行融合操作获得特征图；
利用所述第二卷积神经网络模型对融合操作后的特征图进行处理，获得特征编码；
根据预设的特征编码和获得的特征编码进行人脸识别。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序，所述至少一条指令、所述至少一段程序由所述处理器加载并执行，以实现如权利要求1至6任一所述的基于多人脸图像特征图融合的人脸识别方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序，所述至少一条指令、所述至少一段程序由处理器加载并执行以实现如权利要求1至6任一所述的基于多人脸图像特征图融合的人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311383607.8A CN117649692A (zh) | 2023-10-24 | 2023-10-24 | 基于多人脸图像特征图融合的人脸识别方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311383607.8A CN117649692A (zh) | 2023-10-24 | 2023-10-24 | 基于多人脸图像特征图融合的人脸识别方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117649692A true CN117649692A (zh) | 2024-03-05 |
Family
ID=90048480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311383607.8A Pending CN117649692A (zh) | 2023-10-24 | 2023-10-24 | 基于多人脸图像特征图融合的人脸识别方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649692A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958244A (zh) * | 2018-01-12 | 2018-04-24 | 成都视观天下科技有限公司 | 一种基于视频多帧人脸特征融合的人脸识别方法及装置 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN111291740A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种人脸识别模型的训练方法、人脸识别方法及硬件 |
| CN114898416A (zh) * | 2022-01-21 | 2022-08-12 | 北方工业大学 | 一种人脸识别方法、装置、电子设备及可读存储介质 |
| CN116383419A (zh) * | 2023-03-14 | 2023-07-04 | 杭州点望科技有限公司 | 一种本地相册儿童照片智能筛选和时间线整理方法及系统 |
-
2023
- 2023-10-24 CN CN202311383607.8A patent/CN117649692A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958244A (zh) * | 2018-01-12 | 2018-04-24 | 成都视观天下科技有限公司 | 一种基于视频多帧人脸特征融合的人脸识别方法及装置 |
| CN109190532A (zh) * | 2018-08-21 | 2019-01-11 | 北京深瞐科技有限公司 | 一种基于云边融合的人脸识别方法、装置及系统 |
| CN111291740A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 一种人脸识别模型的训练方法、人脸识别方法及硬件 |
| CN112084946A (zh) * | 2020-05-09 | 2020-12-15 | 支付宝(杭州)信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
| CN114898416A (zh) * | 2022-01-21 | 2022-08-12 | 北方工业大学 | 一种人脸识别方法、装置、电子设备及可读存储介质 |
| CN116383419A (zh) * | 2023-03-14 | 2023-07-04 | 杭州点望科技有限公司 | 一种本地相册儿童照片智能筛选和时间线整理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 董胜 等: "基于人脸区域特征相关性的视频流人脸识别研究", 智能计算机与应用, vol. 7, no. 03, 30 June 2017 (2017-06-30), pages 5 - 12 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shah et al. | CADP: A novel dataset for CCTV traffic camera based accident analysis | |
| CN109934300B (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| CN111178211A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN112437926B (zh) | 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 | |
| CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
| KR101996371B1 (ko) | 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
| CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
| US11238289B1 (en) | Automatic lie detection method and apparatus for interactive scenarios, device and medium | |
| CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
| KR102185979B1 (ko) | 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치 | |
| CN115797929A (zh) | 基于双注意力机制的小型农田图像分割方法、装置 | |
| CN114581812B (zh) | 视觉语言识别方法、装置、电子设备及存储介质 | |
| CN110598540B (zh) | 一种监控视频中步态轮廓图的提取方法及系统 | |
| CN111613227A (zh) | 声纹数据生成方法、装置、计算机装置及存储介质 | |
| CN110796003B (zh) | 车道线检测方法、装置及电子设备 | |
| CN112825116B (zh) | 监控视频图像人脸检测和追踪方法、装置、介质及设备 | |
| CN116883900A (zh) | 一种基于多维生物特征的视频真伪鉴别方法和系统 | |
| CN111507279A (zh) | 一种基于UNet++网络的掌纹识别方法 | |
| CN117649692A (zh) | 基于多人脸图像特征图融合的人脸识别方法及相关设备 | |
| CN115689993A (zh) | 基于注意力与多特征融合的皮肤癌图像分割方法及系统 | |
| Castillo et al. | Object detection in digital documents based on machine learning algorithms | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| Li et al. | Faster R-CNN with Generative Adversarial Occlusion Network for Object Detection | |
| CN118135448A (zh) | 用于暗光条件下的目标检测方法及系统 | |
| CN114612817A (zh) | 一种攻击检测方法和换嘴检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |