CN117095447A - 一种跨域人脸识别方法、装置、计算机设备及存储介质 - Google Patents
一种跨域人脸识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117095447A CN117095447A CN202311348761.1A CN202311348761A CN117095447A CN 117095447 A CN117095447 A CN 117095447A CN 202311348761 A CN202311348761 A CN 202311348761A CN 117095447 A CN117095447 A CN 117095447A
- Authority
- CN
- China
- Prior art keywords
- branch
- domain
- face recognition
- dual
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 69
- 230000009977 dual effect Effects 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种跨域人脸识别方法、装置、计算机设备及存储介质，该方法，包括：预先构建初始双分支人脸识别模型并获取跨域人脸图像；分别采用通用域人脸数据和特定域人脸数据训练初始双分支人脸识别模型；在初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；基于通用域人脸数据和特定域人脸数据共同训练目标双分支人脸识别模型；将获取的待识别人脸图像输入目标双分支人脸识别模型进行识别，得到识别结果。本申请采用双分支网络模型进行多阶段训练，根据输入的人脸赋予两个分支的特征图不同的权重，不仅可以用于通用域和特定域场景，在跨域场景应用时也能自适应权重，提高人脸识别准确率。
Description
技术领域
本申请涉及人脸识别领域，具体涉及一种跨域人脸识别方法、装置、计算机设备及存储介质。
背景技术
随着人工智能的发展，人脸识别技术应用越来越广泛，人脸识别技术面临越来越多的跨域场景应用的问题。比较典型的是人证识别、特定人群的识别等应用场景（如小学生、老年人），这些特定域的数据量往往远小于通用人脸识别数据，导致直接基于这些数据训练人脸识别模型，容易出现过拟合的问题。同时，虽然这些特定域数据有自身特点，但与通用人脸数据也有比较大的联系，利用通用人脸数据来增强这些特定域的人脸识别性能是有意义的。
针对这一问题，一种比较常用的方式是先使用通用人脸识别数据训练通用人脸识别模型，然后再到特定域数据上进行微调训练。但是这种方式存在特定域数据量较小，容易出现过拟合的问题，在学习过程中失去了通用人脸数据的相关知识。
另一种方式是将通用人脸识别数据和特定域数据合并在一起进行训练，这种方式的缺点是：通用人脸识别数据量远多于特定域的数据，导致特定域的权重过低，虽然可以在计算损失函数时，人为调整不同数据的权重，但这种方式实现复杂，需要对数据做特殊标记和处理。
因此，现有的人脸识别技术在跨域场景应用时存在准确率低的技术问题。
本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
发明内容
为了解决上述技术问题，本申请提供了一种跨域人脸识别方法、装置、计算机设备及存储介质，具体方案如下：
第一方面，本申请实施例提供了一种跨域人脸识别方法，所述跨域人脸识别方法包括：
预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；
分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；
在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；
基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；
获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。
根据本申请公开的一种具体实施方式，分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型的步骤，包括：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
根据本申请公开的一种具体实施方式，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
在所述初始双分支人脸识别模型中引入双重注意力模块的步骤，包括：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
根据本申请公开的一种具体实施方式，基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型的步骤，包括：
获取所述双分支网络中任一所述阶段模块输出的初始特征图，其中，所述跨域人脸图像由所述特征共享网络、所述双分支网络中的所述阶段模块进行特征提取和加深，得到所述初始特征图；
将所述初始特征图输入所述自注意力模块，得到自注意力特征图；
将所述自注意力特征图输入所述通道注意力模块，得到对应当前分支网络的加权特征图；
将所述左分支网络的加权特征图和所述右分支网络的加权特征图相加后，依次输入所述第二Dropout层和所述第二全连接层，得到最终特征向量和训练后的所述目标双分支人脸识别模型。
根据本申请公开的一种具体实施方式，所述自注意力模块包括不同类型的卷积，其中，所述不同类型的卷积包括查询卷积、键卷积、值卷积；
将所述初始特征图输入所述自注意力模块，得到自注意力特征图的步骤，包括：
所述初始特征图分别经由所述查询卷积、键卷积和值卷积变换为第一特征图、第二特征图和第三特征图；
将所述第一特征图和第二特征图相乘并按行归一化得到注意力权重图；
将所述第三特征图和所述注意力权重图加权相乘后，得到所述自注意力特征图。
第二方面，本申请实施例提供了一种跨域人脸识别装置，所述跨域人脸识别装置包括：
获取模块，用于预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；
单域训练模块，用于分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；
双重引入模块，用于在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；
全域训练模块，用于基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；
识别模块，用于获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。
根据本申请公开的一种具体实施方式，所述单域训练模块具体用于：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
根据本申请公开的一种具体实施方式，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
所述双重引入模块具体用于：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现第一方面中任一项所述的跨域人脸识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现第一方面中任一项所述的跨域人脸识别方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请通过预先构建初始双分支人脸识别模型并获取跨域人脸图像；分别采用通用域人脸数据和特定域人脸数据训练初始双分支人脸识别模型；在初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；基于通用域人脸数据和特定域人脸数据共同训练目标双分支人脸识别模型；将获取的待识别人脸图像输入目标双分支人脸识别模型进行识别，得到识别结果。本申请采用双分支网络模型进行多阶段训练，根据输入的人脸赋予两个分支的特征图不同的权重，不仅可以用于通用域和特定域场景，在跨域场景应用时也能自适应权重，提高人脸识别准确率。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种跨域人脸识别方法的流程示意图；
图2为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第一次训练的示意图；
图3为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第二次训练的示意图；
图4为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第三次训练的示意图；
图5为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型的自注意力模块结构示例图；
图6为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型的通道注意力模块结构示例图；
图7为本申请实施例提供的一种跨域人脸识别装置的模块示意图；
图8为能实施根据本申请实施例的方法的计算机设备的示例性结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
参见图1，图1为本申请实施例提供的一种跨域人脸识别方法的流程示意图。如图1所示，所述跨域人脸识别方法主要包括：
步骤S101，预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据。
具体实施时，可以定义或者预先定义一个初始双分支人脸识别模型，这个模型可以是任意堆叠式特征提取结构，从某一层开始分叉，分叉前的权重共享（构成特征共享网络），分叉后左分支网络负责通用域人脸识别，右分支网络负责特定域的人脸识别。需要说明的是，左右分支网络与通用域人脸数据、特定域人脸数据的对应关系可以根据具体应用场景和用户的实际使用需求自定义。例如，也可以由左分支网络负责特定域人脸识别，右分支网络负责通用域的人脸识别。
本申请以Resnet网络在输入尺寸为112x112时为例对整体流程进行说明。双分支人脸识别模型在第三个阶段模块（Stage）开始分支，此Stage的输出特征图像大小为14x14。具体地，Resnet是一种常用的深度卷积神经网络，它的结构包含4个阶段模块：
Stage 1：包含3个卷积层和2个池化层，主要负责对输入图像进行特征提取；
Stage 2：包含4个卷积层和2个池化层，主要负责对第一阶段模块提取的特征进一步加深和提升；
Stage 3：包含6个卷积层和2个池化层，主要负责对第二阶段模块提取的特征进一步加深和提升；
Stage 4：包含3个卷积层和1个池化层，主要负责对第三阶段模块提取的特征进一步加深和提升。
总的来说，这4个阶段模块的主要作用是对输入图像的特征进行提取和加深，以便后续的图像分类或其他任务。
分支前的权重由2个分支共享。分支后，左分支网络和右分支网络均包含一个Stage 4模块，一个第一Dropout层和一个第一全连接层。
此外，特定域是相对通用域而言，例如特定人群（小学生、老年人等）对应特定域，这些特定域的数据量往往远小于通用域人脸识别数据。
步骤S102，分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型。
本申请采用双分支网络多阶段训练来解决跨域场景下数据量不足造成的人脸识别准确率低的技术问题。流程主要分为三个子步骤进行模型训练，步骤S102对应其中两个子步骤：第一次训练时，使用通用域人脸数据训练初始双分支人脸识别模型，得到基础权重模型；第二次训练使用特定域数据训练初始双分支人脸识别模型。
具体实施时，分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型的步骤，包括：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
参见图2和图3，图2为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第一次训练的示意图，图3为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第二次训练的示意图。如图2和图3所示，第一次训练时使用通用域人脸数据训练左分支网络及特征共享网络，此时右分支网络冻结不参与训练（对应图2中深色部分）。第二次训练时，冻结特征共享网络以及左分网络支（对应图3中深色部分），使用特定域人脸数据训练右分支网络。其中，训练使用的损失函数和第一次训练时一致，具体的，本发明中使用人脸识别领域广泛使用的arcface loss损失函数。
需要说明的是，图2和图3中所示Dropout、全连接层即为前文所述第一Dropout层和第一全连接层。
步骤S103，在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型。
我们可以通过眼睛看到各种各样的事物，感知世界上的大量信息；通过人的选择能力，可以选择重要的信息，而忽视不重要信息，让自己免受海量信息的干扰。在对模型进行全域（特定域+通用域）训练时，希望模型也具有这种能力，从而在模型中引入了注意力模块。注意力机制，是对输入进行加权再输出，对希望模型关注到的地方给较大的权重，不希望模型注意的地方给较小的权重。
所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
在所述初始双分支人脸识别模型中引入双重注意力模块的步骤，包括：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
在步骤S104对应的第三次训练开始前，需要在初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型。参见图4，图4为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型第三次训练的示意图。如图4所示，去除左分支网络和右分支网络中的第一全连接层，并分别加入双重注意力模块，左分支网络和右分支网络的输出相加后，接一个第二Dropout层和一个第二全连接层。第二全连接层的权重初始化为两个第一全连接层的均值，固定双重注意力模块前的层参数（对应图4中深色部分）。
需要说明的是，全连接层是神经网络中的一种常见的层类型，全连接层的作用是将输入特征映射到输出结果，通常在神经网络的最后一层使用，用于分类、回归等任务。全连接层的输出结果可以看作是对输入特征的一种非线性变换，这种变换可以将输入特征空间映射到输出结果空间，从而实现模型的复杂性和非线性拟合能力。全连接层的参数量非常大，因此容易出现过拟合的情况：指机器学习模型在训练数据集上表现得很好，但是在新的、未见过的数据集上表现得很差的现象。过拟合的原因一般是模型过于复杂，导致模型在训练数据上过于准确地拟合了噪声和细节，从而失去了泛化能力。
Dropout是一种常用的正则化方法，用于减少神经网络的过拟合现象。它的基本思想是在训练神经网络的过程中，随机地将一部分神经元的输出值置为0，从而使得神经网络的结构变得不稳定，从而强制网络学习到更加鲁棒的特征表示。
因此，本申请在将两个双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，可以得到更加鲁棒的特征表示。
步骤S104，基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型。
基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型的步骤，包括：
固定自注意力模块前的所有网络权重，不进行该部分的网络更新；
输入通用域人脸数据和所述特定域人脸数据获取所述双分支网络中任一所述阶段模块输出的初始特征图，其中，所有人脸图像均由所述特征共享网络、所述双分支网络中的所述阶段模块进行特征提取和加深，得到所述初始特征图；
将所述初始特征图输入所述自注意力模块，得到自注意力特征图；
将所述自注意力特征图输入所述通道注意力模块，得到对应当前分支网络的加权特征图；
将所述左分支网络的加权特征图和所述右分支网络的加权特征图相加后，依次输入所述第二Dropout层和所述第二全连接层，得到最终特征向量, 使用最终的特征向量进行模型训练，所用损失函数和第一次、第二次训练所用损失函数一致。通过第三次训练，所述双分支模型具有根据输入特点对双分支进行自适应加权的能力，对于风格偏向特定域的人脸，特定域分支将具有更大权重，对于偏向通用域的人脸，通用分支将具有更大权重。
具体地，所述自注意力模块包括不同类型的卷积，其中，所述不同类型的卷积包括查询卷积、键卷积、值卷积；将所述初始特征图输入所述自注意力模块，得到自注意力特征图的步骤，包括：
所述初始特征图分别经由所述查询卷积、键卷积和值卷积变换为第一特征图、第二特征图和第三特征图；
将所述第一特征图和第二特征图相乘并按行归一化得到注意力权重图；
将所述第三特征图和所述注意力权重图加权相乘后，得到所述自注意力特征图。
参见图5，图5为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型的自注意力模块结构示例图。如图5所示：
1、对于一个Stage 4输出的初始特征图(称为特征图X)，在经过自注意力模块时，首先经过1x1卷积（称为query_conv，即前文所述查询卷积）得到维度为的输出，然后将维度变换为第一特征图/>（称为特征图Q）：，其中transpose为特征维度交换的操作；
2、特征图X经过另一个1x1卷积（称为key_conv，即前文所述键卷积）得到维度为，然后将维度变换为/>的第二特征图（称为特征图K）：；
3、将Q和K相乘并按行归一化，即可得到注意力权重图：
；
其中，Matmul为矩阵乘法。
4、特征图X经过一个1x1卷积（称为value_conv）得到维度为，然后将维度变换为/>的第三特征图（称为特征图V）：
；
5、将V与注意力权重图加权相乘后，获得自注意力特征图：
；
参见图6，图6为本申请实施例提供的一种跨域人脸识别方法涉及的双分支人脸识别模型的通道注意力模块结构示例图。如图6所示，将获得的自注意力特征图通过通道注意力模块，获得该分支上的加权特征图：
；
其中，FC为全连接层，ReLU为激活层，GAP为全局平均池化层。
通过通道注意力权重，模型可根据输入人脸，得到两个分支相加时各自的权重，从而自适应调节。将左分支网络和右分支网络的加权特征图相加后，经过第二Dropout层和第二全连接层，生成最终的特征向量，完成第三次训练。特征向量就类似于ID号码，输入一张人脸图像，输出一个特征向量；之后再输入一张脸，得到一个特征向量，此时只需要比较一下获得的两个特征向量就能够知道这两张脸是不是同一个人。其中，第三次训练的损失函数与第一次训练、第二次训练时的损失函数一致。
步骤S105，获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别。具体地，获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行特征提取，提取时，所述待识别人脸图像经过所述目标双分支人脸识别模型的两个分支，由所述目标双分支人脸识别模型中的双重注意力模块进行双分支的自适应加权，得到待识别人脸的特征，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。
完成全部三次训练得到目标双分支人脸识别模型后，模型可以自动根据输入的通用域或者特定域人脸数据赋予左分支网络和右分支网络的特征图不同的权重，从而适应不同的场景。此外，由于学习了通用人脸场景和该特定域场景的特点，可以提升跨域人脸识别的准确率。
本申请采用双分支网络模型进行多阶段训练，根据输入的人脸赋予两个分支的特征图不同的权重，在跨域场景应用时能自适应权重，提高人脸识别准确率。
与上述方法实施例相对应，参见图7，本发明还提供一种跨域人脸识别装置700，所述跨域人脸识别装置700包括：
获取模块701，用于预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；
单域训练模块702，用于分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；
双重引入模块703，用于在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；
全域训练模块704，用于基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；
识别模块705，用于获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。
具体实施时，所述单域训练模块702具体用于：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
具体实施时，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
所述双重引入模块703具体用于：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
本领域技术人员将明白根据本申请实施例的跨域人脸识别装置可以结合根据本申请实施例的跨域人脸识别方法的特征，反之亦然。
此外，还提供一种计算机设备计算机设备包括处理器和存储器，存储器存储有计算机程序，计算机程序在处理器上执行时实现上述跨域人脸识别方法。
图8示出了一种可以实施本申请实施例的方法或实现本申请实施例的计算机设备800的示意图，在一些实施例中可以包括比图示更多或更少的计算机设备。在一些实施例中，可以利用单个或多个计算机设备实施。在一些实施例中，可以利用云端或分布式的计算机设备实施。
如图8所示，计算机设备800包括处理器801，其可以根据存储在只读存储器（ROM）802中的程序和/或数据或者从存储部分808加载到随机访问存储器（RAM）803中的程序和/或数据而执行各种适当的操作和处理。处理器801可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器801可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如，中央处理器（CPU）、图形处理器（GPU）、神经网络处理器（NPU）、数字信号处理器（DSP）等等。在RAM 803中，还存储有计算机设备800操作所需的各种程序和数据。处理器801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的方法、步骤或功能。
以下部件连接至I/O接口805：包括键盘、鼠标、触摸屏等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。图8中仅示意性示出部分组件，并不意味着计算机系统800只包括图8所示组件。
上述实施例阐明的系统、装置、模块或单元，可以由计算机或其关联部件实现。计算机例如可以为移动终端、智能电话、个人计算机、膝上型计算机、车载人机交互设备、个人数字助理、媒体播放器、导航设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、服务器或者其组合。
尽管未示出，在本申请实施例中，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行任一本申请实施例的跨域人脸识别方法。
在本申请的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在本申请的实施例的方法、程序、系统、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，可以由通过通信网络而被连接的远程处理设备来执行任务。
所提供的计算机设备和计算机可读存储介质的具体实施过程，可以参见上述实施例提供的跨域人脸识别方法的具体实施过程，在此不再一一赘述。
本申请提供的计算机设备和计算机可读存储介质，本申请采用双分支网络模型进行多阶段训练，根据输入的人脸赋予两个分支的特征图不同的权重，在跨域场景应用时能自适应权重，提高人脸识别准确率。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。
除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本文中，针对本申请的多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中， “一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本申请的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
已参考上述实施例具体示出并描述了本申请的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本申请的精神及范围。
Claims (8)
1.一种跨域人脸识别方法，其特征在于，所述跨域人脸识别方法包括：
预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；
分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；
在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；
基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；
获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种；其中
分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型的步骤，包括：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
2.根据权利要求1所述的跨域人脸识别方法，其特征在于，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
在所述初始双分支人脸识别模型中引入双重注意力模块的步骤，包括：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
3.根据权利要求2所述的跨域人脸识别方法，其特征在于，基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型的步骤，包括：
获取所述双分支网络中任一所述阶段模块输出的初始特征图，其中，所述跨域人脸图像由所述特征共享网络、所述双分支网络中的所述阶段模块进行特征提取和加深，得到所述初始特征图；
将所述初始特征图输入所述自注意力模块，得到自注意力特征图；
将所述自注意力特征图输入所述通道注意力模块，得到对应当前分支网络的加权特征图；
将所述左分支网络的加权特征图和所述右分支网络的加权特征图相加后，依次输入所述第二Dropout层和所述第二全连接层，得到最终特征向量和训练后的所述目标双分支人脸识别模型。
4.根据权利要求3所述的跨域人脸识别方法，其特征在于，所述自注意力模块包括不同类型的卷积，其中，所述不同类型的卷积包括查询卷积、键卷积、值卷积；
将所述初始特征图输入所述自注意力模块，得到自注意力特征图的步骤，包括：
所述初始特征图分别经由所述查询卷积、键卷积和值卷积变换为第一特征图、第二特征图和第三特征图；
将所述第一特征图和第二特征图相乘并按行归一化得到注意力权重图；
将所述第三特征图和所述注意力权重图加权相乘后，得到所述自注意力特征图。
5.一种跨域人脸识别装置，其特征在于，所述跨域人脸识别装置包括：
获取模块，用于预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；
单域训练模块，用于分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；
双重引入模块，用于在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；
全域训练模块，用于基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；
识别模块，用于获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种；并且其中
所述单域训练模块具体用于：
固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；
固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。
6.根据权利要求5所述的跨域人脸识别装置，其特征在于，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一Dropout层和一个第一全连接层；
所述双重引入模块具体用于：
去除所述右分支网络和所述左分支网络中的所述第一Dropout层和所述第一全连接层；
在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；
将两个所述双重注意力模块的输出相加后，连接一个第二Dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现权利要求1-4中任一项所述的跨域人脸识别方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现权利要求1-4中任一项所述的跨域人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311348761.1A CN117095447B (zh) | 2023-10-18 | 2023-10-18 | 一种跨域人脸识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311348761.1A CN117095447B (zh) | 2023-10-18 | 2023-10-18 | 一种跨域人脸识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095447A true CN117095447A (zh) | 2023-11-21 |
| CN117095447B CN117095447B (zh) | 2024-01-12 |
Family
ID=88781507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311348761.1A Active CN117095447B (zh) | 2023-10-18 | 2023-10-18 | 一种跨域人脸识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095447B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376595A (zh) * | 2018-09-14 | 2019-02-22 | 杭州宇泛智能科技有限公司 | 基于人眼注意力的单目rgb摄像头活体检测方法及系统 |
| CN110781784A (zh) * | 2019-10-18 | 2020-02-11 | 高新兴科技集团股份有限公司 | 基于双路注意力机制的人脸识别方法、装置及设备 |
| WO2020215985A1 (zh) * | 2019-04-22 | 2020-10-29 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| WO2021248733A1 (zh) * | 2020-06-12 | 2021-12-16 | 浙江大学 | 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质 |
| CN114120430A (zh) * | 2022-01-26 | 2022-03-01 | 杭州魔点科技有限公司 | 基于双分支权重融合同源性自监督的口罩人脸识别方法 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| CN114882529A (zh) * | 2022-04-29 | 2022-08-09 | 南京邮电大学 | 一种基于注意力校准的双分支跨域行人重识别方法 |
| CN115439884A (zh) * | 2022-08-16 | 2022-12-06 | 山东科技大学 | 一种基于双分支自注意力网络的行人属性识别方法 |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| CN116110089A (zh) * | 2022-10-25 | 2023-05-12 | 河南工业大学 | 一种基于深度自适应度量学习的面部表情识别方法 |
| CN116129507A (zh) * | 2023-02-08 | 2023-05-16 | 浙江树人学院 | 一种面部表情识别方法及装置、电子设备、存储介质 |
| CN116486452A (zh) * | 2023-04-04 | 2023-07-25 | 电子科技大学(深圳)高等研究院 | 人脸识别方法和系统 |
| CN116740434A (zh) * | 2023-06-12 | 2023-09-12 | 中国矿业大学 | 基于Transformer的跨域双分支对抗域适应图像分类方法 |
| CN116798102A (zh) * | 2023-07-27 | 2023-09-22 | 西安电子科技大学 | 一种基于多阶段注意力相关性学习的跨域人脸生成方法 |
-
2023
- 2023-10-18 CN CN202311348761.1A patent/CN117095447B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376595A (zh) * | 2018-09-14 | 2019-02-22 | 杭州宇泛智能科技有限公司 | 基于人眼注意力的单目rgb摄像头活体检测方法及系统 |
| WO2020215985A1 (zh) * | 2019-04-22 | 2020-10-29 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| CN110781784A (zh) * | 2019-10-18 | 2020-02-11 | 高新兴科技集团股份有限公司 | 基于双路注意力机制的人脸识别方法、装置及设备 |
| WO2021248733A1 (zh) * | 2020-06-12 | 2021-12-16 | 浙江大学 | 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质 |
| WO2022151535A1 (zh) * | 2021-01-15 | 2022-07-21 | 苏州大学 | 基于深度学习的人脸特征点检测方法 |
| CN114120430A (zh) * | 2022-01-26 | 2022-03-01 | 杭州魔点科技有限公司 | 基于双分支权重融合同源性自监督的口罩人脸识别方法 |
| CN114882529A (zh) * | 2022-04-29 | 2022-08-09 | 南京邮电大学 | 一种基于注意力校准的双分支跨域行人重识别方法 |
| CN115439884A (zh) * | 2022-08-16 | 2022-12-06 | 山东科技大学 | 一种基于双分支自注意力网络的行人属性识别方法 |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| CN116110089A (zh) * | 2022-10-25 | 2023-05-12 | 河南工业大学 | 一种基于深度自适应度量学习的面部表情识别方法 |
| CN116129507A (zh) * | 2023-02-08 | 2023-05-16 | 浙江树人学院 | 一种面部表情识别方法及装置、电子设备、存储介质 |
| CN116486452A (zh) * | 2023-04-04 | 2023-07-25 | 电子科技大学(深圳)高等研究院 | 人脸识别方法和系统 |
| CN116740434A (zh) * | 2023-06-12 | 2023-09-12 | 中国矿业大学 | 基于Transformer的跨域双分支对抗域适应图像分类方法 |
| CN116798102A (zh) * | 2023-07-27 | 2023-09-22 | 西安电子科技大学 | 一种基于多阶段注意力相关性学习的跨域人脸生成方法 |
Non-Patent Citations (4)
| Title |
|---|
| XIUWEN LU等: "Multi-Channel Expression Recognition Network Based on Channel Weighting", APPLIED SCIENCES, pages 1 - 14 * |
| 张波等: "基于卷积网络通道注意力的人脸表情识别", 信号与信息处理, pages 148 - 153 * |
| 翟鹏博;杨浩;宋婷婷;余亢;马龙祥;黄向生;: "结合注意力机制的双路径语义分割", 中国图象图形学报, no. 08 * |
| 高健;林志贤;郭太良;: "基于混合注意力机制的表情识别研究", 信息技术与网络安全, no. 01 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095447B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667399B (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| CN112232325B (zh) | 样本数据处理方法和装置、存储介质及电子设备 | |
| CN112613581A (zh) | 一种图像识别方法、系统、计算机设备和存储介质 | |
| CN113435509B (zh) | 基于元学习的小样本场景分类识别方法及系统 | |
| Zuo et al. | Convolutional neural networks for image denoising and restoration | |
| CN112488923A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN114418853B (zh) | 基于相似图像检索的图像超分辨率优化方法、介质及设备 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN112561028A (zh) | 训练神经网络模型的方法、数据处理的方法及装置 | |
| CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及系统 | |
| CN118742918A (zh) | 用于高效单图像超分辨率的高频注意力网络的方法和系统 | |
| CN117994570A (zh) | 基于模型无关适配器提高复杂多样数据分布的识别方法 | |
| CN117218031B (zh) | 基于DeqNLNet算法的图像重构方法、装置及介质 | |
| WO2022133814A1 (en) | Omni-scale convolution for convolutional neural networks | |
| CN117830102A (zh) | 图像超分辨率复原方法、装置、计算机设备和存储介质 | |
| CN117373064A (zh) | 基于自适应跨维度加权的人体姿态估计方法、计算机设备及存储介质 | |
| CN117095447B (zh) | 一种跨域人脸识别方法、装置、计算机设备及存储介质 | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
| Zhao et al. | Joint Learning Spatial-Temporal Attention Correlation Filters for Aerial Tracking | |
| Jones | Deep learning for image enhancement and visibility improvement | |
| CN118570573B (zh) | 特征处理方法、装置、设备及存储介质 | |
| US12112524B2 (en) | Image augmentation method, electronic device and readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 311100, 24th, 25th, and 26th floors, Building 3, Fashion Wantong City, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Yufan Intelligent Technology Co.,Ltd. Country or region after: China Address before: 311100, 24th, 25th, and 26th floors, Building 3, Fashion Wantong City, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: UNIVERSAL UBIQUITOUS TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |