CN116645700B - 特征提取模型处理方法、装置和特征提取方法、装置 - Google Patents
特征提取模型处理方法、装置和特征提取方法、装置 Download PDFInfo
- Publication number
- CN116645700B CN116645700B CN202310931966.6A CN202310931966A CN116645700B CN 116645700 B CN116645700 B CN 116645700B CN 202310931966 A CN202310931966 A CN 202310931966A CN 116645700 B CN116645700 B CN 116645700B
- Authority
- CN
- China
- Prior art keywords
- sample
- palm
- feature
- key
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 226
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 395
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000013507 mapping Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012546 transfer Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 36
- 238000012795 verification Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 19
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000012512 characterization method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 210000003811 finger Anatomy 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
一种特征提取模型处理方法，包括：获取样本掌部的多张样本掌部图像，确定各样本掌部图像中包括有样本掌部的预设部位的第一样本图像区域，及除第一样本图像区域外的第二样本图像区域；将各第一样本图像区域的第一样本嵌入特征映射到键空间，得到各第一样本嵌入特征的键向量；将各第二样本图像区域的第二样本嵌入特征映射到查询空间，得到各第二样本嵌入特征的查询向量；根据各键向量和各查询向量确定预测自注意力权重；基于预测自注意力权重融合各第一样本嵌入特征和各第二样本嵌入特征，获得预测掌部特征；基于多张样本掌部图像对应的预测掌部特征相对于标签掌部特征的预测差异进行模型训练，得到特征提取模型。本方法能够提高特征提取的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品，以及一种特征提取方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了特征提取技术。特征提取技术被广泛应用在文本翻译、图像识别、身份验证等领域。例如，对手掌图像进行特征提取，使用提取的手掌特征进行身份验证。
传统的特征提取技术是通过神经网络从一张手掌图像中提取掌纹特征，若所提取的掌纹特征量少，则从另外的手掌图像中提取与所获取的掌纹特征不同的特征。即，对于多张手掌图像中的相同区域，只提取其中一个区域的特征，忽略其他手掌图像中相同区域。
然而，多张手掌图像中的相同区域之间可能存在细节差异，直接忽略其他手掌图像中的相同区域可能导致对细节的掌纹特征提取的不准确，从而影响后续对所提取的掌纹特征的相关应用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对掌部图像的特征提取准确性的特征提取模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种特征提取模型处理方法，所述方法包括：
获取样本掌部的多张样本掌部图像，确定每张所述样本掌部图像中的第一样本图像区域和除所述第一样本图像区域以外的第二样本图像区域；每个所述第一样本图像区域包括有所述样本掌部的预设部位；
获取各所述第一样本图像区域各自的第一样本嵌入特征，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；
获取各所述第二样本图像区域各自的第二样本嵌入特征，将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；
根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；
基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；
获取所述多张样本掌部图像对应的标签掌部特征，基于所述预测掌部特征相对于所述标签掌部特征的预测差异进行模型训练，得到特征提取模型。
本申请还提供了一种特征提取模型处理装置，所述装置包括：
样本获取模块，用于获取样本掌部的多张样本掌部图像，确定每张所述样本掌部图像中的第一样本图像区域和除所述第一样本图像区域以外的第二样本图像区域；每个所述第一样本图像区域包括有所述样本掌部的预设部位；
键空间映射模块，用于获取各所述第一样本图像区域各自的第一样本嵌入特征，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；
查询空间映射模块，用于获取各所述第二样本图像区域各自的第二样本嵌入特征，将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；
权重预测模块，用于根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；
样本特征融合模块，用于基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；
训练模块，用于获取所述多张样本掌部图像对应的标签掌部特征，基于所述预测掌部特征相对于所述标签掌部特征的预测差异进行模型训练，得到特征提取模型。
在其中一个实施例中，所述权重预测模块，还用于确定各所述键向量之间的键相似度和各所述查询向量之间的查询相似度；针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；将各所述键相似度、各所述查询相似度和各所述内容相似度进行融合处理，获得所述多张样本掌部图像对应的预测自注意力权重。
在其中一个实施例中，所述键空间映射模块，还用于获取初始键权重，基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；
所述查询空间映射模块，还用于获取初始查询权重，基于所述初始查询权重将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二图像区域的查询向量。
在其中一个实施例中，所述训练模块，还用于确定所述预测掌部特征相对于所述标签掌部特征的预测差异；当所述预测差异满足预设迭代条件，确定各所述键向量之间的键相似度，并根据各所述键相似度调整所述初始键权重，获得更新的键权重；确定各所述查询向量之间的查询相似度，根据各所述查询相似度调整所述初始查询权重，获得更新的查询权重；将所述更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，返回基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足所述预设迭代条件时停止，获得特征提取模型。
在其中一个实施例中，所述装置还包括：
值空间映射模块，用于获取初始内容权重，基于所述初始内容权重，将各所述第一样本嵌入特征和各所述第二样本嵌入特征分别映射至值空间，得到每个所述第一样本嵌入特征的内容向量和每个所述第二样本嵌入特征的内容向量；
所述样本特征融合模块，还用于基于所述预测自注意力权重融合各所述内容向量，获得所述多张样本掌部图像对应的预测掌部特征。
在其中一个实施例中，所述训练模块，还用于当所述预测差异满足预设迭代条件，针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；根据各所述内容相似度调整所述初始内容权重，获得更新的内容权重；将更新后的内容权重作为下一迭代的初始内容权重，并执行返回所述基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤。
在其中一个实施例中，所述样本获取模块，还用于分别提取每张所述样本掌部图像的特征点；基于每张所述样本掌部图像各自的特征点，识别出每张所述样本掌部图像中的预设部位，并确定每张所述样本掌部图像中所述预设部位所处的第一样本图像区域；针对每张所述样本掌部图像，确定所针对的样本掌部图像中除相应的所述第一样本图像区域以外的第二样本图像区域。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取样本掌部的多张样本掌部图像，确定每张所述样本掌部图像中的第一样本图像区域和除所述第一样本图像区域以外的第二样本图像区域；每个所述第一样本图像区域包括有所述样本掌部的预设部位；获取各所述第一样本图像区域各自的第一样本嵌入特征，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；获取各所述第二样本图像区域各自的第二样本嵌入特征，将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；获取所述多张样本掌部图像对应的标签掌部特征，基于所述预测掌部特征相对于所述标签掌部特征的预测差异进行模型训练，得到特征提取模型。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本掌部的多张样本掌部图像，确定每张所述样本掌部图像中的第一样本图像区域和除所述第一样本图像区域以外的第二样本图像区域；每个所述第一样本图像区域包括有所述样本掌部的预设部位；获取各所述第一样本图像区域各自的第一样本嵌入特征，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；获取各所述第二样本图像区域各自的第二样本嵌入特征，将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；获取所述多张样本掌部图像对应的标签掌部特征，基于所述预测掌部特征相对于所述标签掌部特征的预测差异进行模型训练，得到特征提取模型。
本申请还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本掌部的多张样本掌部图像，确定每张所述样本掌部图像中的第一样本图像区域和除所述第一样本图像区域以外的第二样本图像区域；每个所述第一样本图像区域包括有所述样本掌部的预设部位；获取各所述第一样本图像区域各自的第一样本嵌入特征，将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；获取各所述第二样本图像区域各自的第二样本嵌入特征，将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；获取所述多张样本掌部图像对应的标签掌部特征，基于所述预测掌部特征相对于所述标签掌部特征的预测差异进行模型训练，得到特征提取模型。
上述特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品，获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域，而每个第一样本图像区域包括有样本掌部的预设部位，从而可以确定出多张样本掌部图像中相同的图像区域，以及多张样本掌部图像中不相同的图像区域。获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，能够将相同的各第一样本图像区域的特征表征从向量空间映射到键空间，以得到每个第一样本嵌入特征的键向量。获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，能够将不同的各第一样本图像区域的特征表征从向量空间映射到查询空间，以得到每个第二样本嵌入特征的查询向量。根据相同的样本图像区域的各键向量和不同的样本图像区域的各查询向量，能够预测出多张样本掌部图像对应的预测自注意力权重，所预测的预测自注意力权重表征每个键向量和每个查询向量在融合中各自的重要程度，即表征模型对各相同的样本图像区域中的特征的关注度，从而同时考虑到了相同的样本图像区域中的特征和不同的样本图像区域中的特征。基于预测自注意力权重融合各第一样本嵌入特征和各第二样本嵌入特征，能够融合多张样本掌部图像中的相同特征和不同特征，以获得多张样本掌部图像对应的预测掌部特征。而模型对各相同的样本图像区域中的特征的关注度不同，使得从相同的样本图像区域中提取的特征不完全相同，从而能够提取到相同的样本图像区域中存在的不同的细节特征，从而获得更多的特征信息量。获取多张样本掌部图像对应的标签掌部特征，该标签掌部特征作为模型训练期望获得的掌部特征，基于模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异来进行模型训练，使得在训练中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，从而逐步提高模型的提取精度，最终获得特征提取模型。该特征提取模型能够关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，从而获得更多的特征信息量。
本申请提供了一种特征提取方法，所述方法包括：
获取掌部的多张掌部图像；
通过特征提取模型处理方法训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；
通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；
通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
本申请还提供了一种特征提取装置，所述装置包括：
图像获取模块，用于获取掌部的多张掌部图像；
区域确定模块，用于获取通过特征提取模型处理装置训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；
特征获取模块，用于获取通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；
特征融合模块，用于获取通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
在其中一个实施例中，所述特征提取模型还包括训练获得的内容权重；所述装置还包括：
映射模块，用于基于所述内容权重将各所述第一嵌入特征和各所述第二嵌入特征分别映射至值空间，得到每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量；
所述特征融合模块，还用于通过所述特征提取模型，基于所述自注意力权重融合每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量，获得所述多张掌部图像对应的掌部特征。
在其中一个实施例中，所述图像获取模块，还用于响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像；
所述装置还包括：
验证模块，用于根据所述掌部特征对所述待验证对象进行身份验证，获得验证结果；
资源转移模块，用于当所述验证结果表征所述待验证对象的身份验证成功，获取资源转移信息，并基于所述资源转移信息执行资源转移操作。
本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取掌部的多张掌部图像；通过特征提取模型处理方法训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取掌部的多张掌部图像；通过特征提取模型处理方法训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
本申请还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取掌部的多张掌部图像；通过特征提取模型处理方法训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
上述特征提取方法、装置、计算机设备、存储介质和计算机程序产品，通过特征提取模型处理方法训练获得的特征提取模型包括自注意力权重，该自注意力权重表征特征提取模型对多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度。获取掌部的多张掌部图像，通过特征提取模型确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域，而每个第一图像区域包括有掌部的预设部位，从而可以确定出多张掌部图像中相同的图像区域，以及多张掌部图像中不相同的图像区域。通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征，以将各图像区域从图像空间转换至向量空间，获得相应的嵌入特征。通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，使得不仅关注到不同的图像区域的特征，还关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，使得所获得的掌部特征包含更多的特征量。并且，所提取的掌部特征包含了更多细节特征，能够提高不同场景下使用掌部特征进行特征识别时的识别准确性。
附图说明
图1为一个实施例中特征提取模型处理方法和特征提取方法的应用环境图；
图2为一个实施例中特征提取模型处理方法的流程示意图；
图3为一个实施例中拍摄角度不同的两张样本掌部图像的示意图；
图4为一个实施例中将第一样本嵌入特征映射到键空间、将第二样本嵌入特征映射到查询空间的流程示意图；
图5为一个实施例中将样本掌部图像映射至向量空间的示意图；
图6为一个实施例中将第一样本嵌入特征和第二样本嵌入特征映射到值空间的流程示意图；
图7为一个实施例中确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域的流程示意图；
图8为其中一个实施例中特征提取模型处理方法的流程示意图；
图9为其中一个实施例中特征提取模型处理方法的流程示意图；
图10为一个实施例中特征提取模型的并行训练的流程示意图；
图11为一个实施例中特征提取方法的流程示意图；
图12为一个实施例中特征提取方法的应用场景的场景示意图；
图13为一个实施例中特征提取模型处理装置的结构框图；
图14为一个实施例中特征提取装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的自然语言处理、机器学习等技术，具体通过如下实施例进行说明。
本申请实施例提供的特征提取模型处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。终端102和服务器104均可单独执行本申请实施例中提供的特征提取模型处理方法。终端102和服务器104也可协同用于执行本申请实施例中提供的特征提取模型处理方法。当终端102和服务器104协同用于执行本申请实施例中提供的特征提取模型处理方法时，终端102从服务器104获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域；每个第一样本图像区域包括有样本掌部的预设部位。终端102获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量。终端102获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。终端102根据各键向量和各查询向量，确定多张样本掌部图像对应的预测自注意力权重。终端102基于预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像对应的预测掌部特征；获取多张样本掌部图像对应的标签掌部特征，基于预测掌部特征相对于标签掌部特征的预测差异进行模型训练，得到特征提取模型。该特征提取模型可部署于终端102或服务器104上。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能语音交互设备、智能家电、车载终端、飞行器、便携式可穿戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中，特征提取方法也可以应用于如图1所示的应用环境中。终端102和服务器104均可单独执行本申请实施例中提供的特征提取方法。终端102和服务器104也可协同用于执行本申请实施例中提供的特征提取方法。
需要说明的是，本申请各实施例中提及的“多张”等的数量均指代“至少两张”的数量。
在一个实施例中，如图2所示，提供了一种特征提取模型处理方法，以该方法应用于图1中的计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：
步骤S202，获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域；每个第一样本图像区域包括有样本掌部的预设部位。
其中，样本掌部是指样本对象的掌部。样本对象可以是人或动物，样本掌部可以是人的手掌、脚掌等，也可以是动物的前掌、后掌等。
样本掌部图像是拍摄样本掌部所获得的图像。样本掌部可包括指部、掌心部、掌缘部，指部包括拇指、食指、中指、无名指、小指等。掌缘部处于掌心的周围的部位。样本掌部包括有预设部位，该预设部位可以是样本掌部的掌心部位。
具体地，计算机设备可获取样本对象的同一样本掌部的多张样本掌部图像，例如获取人的左手掌的多张样本掌部图像，或获取人的右手掌的多张样本掌部图像。
计算机设备确定每张样本掌部图像中的预设部位，并确定该预设部位在样本掌部图像中所处的区域，将该区域作为第一样本图像区域。针对每张样本掌部图像，计算机设备将所针对的样本掌部图像中除第一样本图像区域以外的区域作为第二样本图像区域，以得到每个样本掌部图像的第一样本图像区域和第二样本图像区域。
本实施例中，计算机设备可通过摄像头对样本对象的同一样本掌部进行不同角度的拍摄，得到多张拍摄角度不同的样本掌部图像。如图3所示，显示了两张拍摄角度不同的样本掌部图像。
本实施例中，计算机设备可通过摄像头对样本对象的同一样本掌部进行视频拍摄，样本对象在视频拍摄过程中移动、转动样本掌部，以改变样本掌部的掌部姿态，得到掌部视频。从掌部视频中获取多个视频帧，每个视频帧作为样本掌部图像。
步骤S204，获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量。
其中，键空间是指QKV（Query-Key-Value，查询-键-值）机制下的投影空间。QKV投影操作是注意力机制中的一种操作，是将输入的向量分别投影到三个不同的空间中，转换为在三个空间中的向量。三个不同的空间即查询空间、键空间和值空间。值空间也称为内容空间。第一样本嵌入特征包括第一样本图像区域的掌纹特征，还可以包括第一样本图像区域的姿态特征。
具体地，计算机设备分别对每个第一样本图像区域进行特征映射，以将第一样本图像区域映射到向量空间，得到每个第一样本图像区域的第一样本嵌入特征。计算机设备分别将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量。
步骤S206，获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
其中，查询空间是指QKV机制下的投影空间。查询空间不同于键空间。第二样本嵌入特征包括第二样本图像区域的掌纹特征，还可以包括第二样本图像区域的姿态特征。
具体地，计算机设备分别对每个第二样本图像区域进行特征映射，以将第二样本图像区域映射到向量空间，得到每个第二样本图像区域的第二样本嵌入特征。计算机设备分别将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
步骤S208，根据各键向量和各查询向量，确定多张样本掌部图像对应的预测自注意力权重。
其中，预测自注意力权重是指模型训练过程中的模型所确定的自注意力权重，模型训练完成后获得最终的自注意力权重。自注意力权重是指自注意力机制下表征特征间的关联性的权重。特征间的关联性可以通过特征间的相似度表征。
自注意力机制是一种计算机视觉和自然语言处理中常用的机制，通过计算查询（Q）、键（K）和数值（V）之间的相似性来建立特征间的关联和权重分配。本实施例中，自注意力机制被应用于同一样本掌部的多张掌部图像的特征提取，以获得样本掌部更多的特征信息。
具体地，针对每个键向量，计算机设备确定所针对的键向量分别与每个查询向量之间的内容相似度。根据各内容相似度确定多张样本掌部图像对应的预测自注意力权重。
进一步地，对各内容相似度进行归一化处理，得到多张样本掌部图像对应的预测自注意力权重。
本实施例中，计算机设备可确定各键向量之间的键相似度，根据各内容相似度和各键相似度，确定多张样本掌部图像对应的预测自注意力权重。
本实施例中，计算机设备可确定各查询向量之间的查询相似度，根据各内容相似度和各查询相似度，确定多张样本掌部图像对应的预测自注意力权重。
步骤S210，基于预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像对应的预测掌部特征。
具体地，计算机设备基于预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像对应的预测掌部特征。
进一步地，预测自注意力权重包括每个第一样本嵌入特征对应的权重和每个第二样本嵌入特征对应的权重，计算机设备将每个第一样本嵌入特征、每个第二样本嵌入特征分别和相应的权重进行加权求和，得到多张样本掌部图像对应的预测掌部特征。
步骤S212，获取多张样本掌部图像对应的标签掌部特征，基于预测掌部特征相对于标签掌部特征的预测差异进行模型训练，得到特征提取模型。
其中，标签掌部特征是预先标注的、作为模型训练的参照结果的特征。
具体地，计算机设备获取多张样本掌部图像对应的标签掌部特征，确定预测掌部特征相对于标签掌部特征的预测差异，基于预测掌部特征相对于标签掌部特征的预测差异进行模型训练，以调整模型参数并继续训练，训练完成时获得特征提取模型。训练获得的特征提取模型包括自注意力权重。
本实施例中，计算机设备确定预测掌部特征相对于标签掌部特征的预测差异，获取预设迭代条件。将预测差异和预设迭代条件进行匹配，当预测差异满足预设迭代条件，调整模型参数并继续训练，直至训练所确定的预测差异不满足预设迭代条件时停止，得到特征提取模型。
其中，预设迭代条件是指需要进行下一次迭代的条件，预设迭代条件可以是预先设置的迭代次数、预先设置的差异阈值等。例如，当预测差异大于差异阈值时，调整模型的参数并继续训练，直至训练过程中确定的预测差异小于或等于差异阈值时停止训练，得到训练完成的特征提取模型。
本实施例中，获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域，而每个第一样本图像区域包括有样本掌部的预设部位，从而可以确定出多张样本掌部图像中相同的图像区域，以及多张样本掌部图像中不相同的图像区域。获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，能够将相同的各第一样本图像区域的特征表征从向量空间映射到键空间，以得到每个第一样本嵌入特征的键向量。获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，能够将不同的各第一样本图像区域的特征表征从向量空间映射到查询空间，以得到每个第二样本嵌入特征的查询向量。根据相同的样本图像区域的各键向量和不同的样本图像区域的各查询向量，能够预测出多张样本掌部图像对应的预测自注意力权重，所预测的预测自注意力权重表征每个键向量和每个查询向量在融合中各自的重要程度，即表征模型对各相同的样本图像区域中的特征的关注度，从而同时考虑到了相同的样本图像区域中的特征和不同的样本图像区域中的特征。基于预测自注意力权重融合各第一样本嵌入特征和各第二样本嵌入特征，能够融合多张样本掌部图像中的相同特征和不同特征，以获得多张样本掌部图像对应的预测掌部特征。而模型对各相同的样本图像区域中的特征的关注度不同，使得从相同的样本图像区域中提取的特征不完全相同，从而能够提取到相同的样本图像区域中存在的不同的细节特征，从而获得更多的特征信息量。获取多张样本掌部图像对应的标签掌部特征，该标签掌部特征作为模型训练期望获得的掌部特征，基于模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异来进行模型训练，使得在训练中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，从而逐步提高模型的提取精度，最终获得特征提取模型。
最终获得的特征提取模型包含了训练获得的自注意力权重，该自注意力权重表征多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度，使得关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，从而获得更多的特征信息量。
在其中一个实施例中，根据各键向量和各查询向量，确定多张样本掌部图像对应的预测自注意力权重，包括：
确定各键向量之间的键相似度和各查询向量之间的查询相似度；针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；将各键相似度、各查询相似度和各内容相似度进行融合处理，获得多张样本掌部图像对应的预测自注意力权重。
具体地，计算机设备计算各键向量两两之间的相似度，两个键向量之间的相似度称为键相似度。键相似度可以是余弦相似度或欧式距离。计算机设备可计算各查询向量两两之间的相似度，两个查询向量之间的相似度称为查询相似度。该查询相似度可以是余弦相似度或欧式距离。
针对每个键向量，确定所针对的键向量分别与每个查询向量之间的相似度，键向量与查询向量之间的相似度即为内容相似度。该内容相似度可以是余弦相似度或欧式距离。
计算机设备将各键相似度、各查询相似度和各内容相似度进行融合处理，获得多张样本掌部图像对应的预测自注意力权重。
本实施例中，确定各键向量之间的余弦相似度，将两个键向量之间的余弦相似度作为这两个键向量之间的键相似度。确定各查询向量之间的余弦相似度，将两个查询向量之间的余弦相似度作为这两个查询向量之间的查询相似度。
本实施例中，确定各键向量之间的距离，将两个键向量之间的距离作为这两个键向量之间的键相似度。两个键向量之间的距离可以是两个键向量之间的欧式距离。
确定各查询向量之间的距离，将两个查询向量之间的距离作为这两个查询向量之间的查询相似度。两个查询向量之间的距离可以是两个查询向量之间的欧式距离。
本实施例中，针对模型训练的每次迭代，计算机设备确定所针对迭代的各键向量和各查询向量，以确定所针对迭代中的各键向量之间的键相似度和各查询向量之间的查询相似度。在所针对迭代中，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度。将所针对迭代中的各键相似度、各查询相似度和各内容相似度进行融合处理，获得多张样本掌部图像对应的预测自注意力权重。
本实施例中，确定各键向量之间的键相似度和各查询向量之间的查询相似度，键相似度表征键向量之间的相关程度，键相似度高则键向量之间的相关程度高。查询相似度表征查询向量之间的相关程度，查询相似度高则查询向量之间的相关程度高。针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度，内容相似度表征键向量和查询向量之间的相关程度，内容相似度高则表征键向量和查询向量之间的相关程度。将各键相似度、各查询相似度和各内容相似度进行融合处理，从而能够将向量之间的相关程度作为相应的权重，从而获得多张样本掌部图像中所有特征的预测自注意力权重。
在其中一个实施例中，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量，包括：获取初始键权重，基于初始键权重，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量；
将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量，包括：获取初始查询权重，基于初始查询权重将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
其中，初始键权重表征训练过程从向量空间转换到键空间的转换系数。初始查询权重训练过程从向量空间转换到查询空间的转换系数。
具体地，计算机设备获取初始键权重，将初始键权重和各第一样本嵌入特征进行点乘处理，以将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量。
计算机设备获取初始查询权重，将初始查询权重和各第二样本嵌入特征进行点乘处理，以将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
本实施例中，计算机设备通过多次迭代训练获得特征提取模型，每次迭代对应各自的初始键权重和初始查询权重。每次迭代的初始键权重基于对上一次迭代的初始键权重的调整获得。每次迭代的初始查询权重基于对上一次迭代的初始查询权重的调整获得。
针对每次迭代，计算机设备获取所针对迭代的初始键权重，基于所针对迭代的初始键权重，将各第一样本嵌入特征分别映射到键空间，得到所针对迭代中每个第一样本嵌入特征的键向量。
针对每次迭代，计算机设备获取所针对迭代的初始查询权重，基于所针对迭代的初始查询权重，将各第二样本嵌入特征分别映射到查询空间，得到所针对迭代中每个第二样本嵌入特征的查询向量。
计算机设备根据所针对迭代中的各键向量和各查询向量，确定多张样本掌部图像在所针对迭代中对应的预测自注意力权重。基于所针对迭代中的预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像在所针对迭代中对应的预测掌部特征。基于所针对迭代中的预测掌部特征相对于标签掌部特征的预测差异，调整所针对迭代对应的初始键权重和初始查询权重，获得所针对迭代中更新的键权重和更新的查询权重。将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，从而进入下一次迭代，直至训练获得特征提取模型。
如图4所示，初始键权重为，第一样本嵌入特征为/>，通过初始键权重/>将第一样本嵌入特征/>映射到键空间，得到键向量K。
初始查询权重为，第二样本嵌入特征为/>，通过初始查询权重/>将第二样本嵌入特征/>映射到键空间，得到查询向量Q。
根据各键向量K和各查询向量Q，确定多张样本掌部图像对应的预测自注意力权重。
可以理解的是，初始键权重为权重矩阵，包括对应每个第一样本嵌入特征的权重；初始查询权重/>为权重矩阵，包括对应每个第二样本嵌入特征的权重；预测自注意力权重/>为权重矩阵，包括对应每个第一样本嵌入特征的权重，以及对应每个第二样本嵌入特征的权重。
本实施例中，获取初始键权重，基于初始键权重，将各第一样本嵌入特征分别映射到键空间，从而能够将每个第一样本图像区域从向量空间准确投影到键空间，得到每个第一样本嵌入特征的键向量。获取初始查询权重，基于初始查询权重将各第二样本嵌入特征分别映射到查询空间，从而能够将每个第二样本嵌入特征从向量空间准确投影到查询空间，得到每个第二样本嵌入特征的查询向量。
在其中一个实施例中，基于预测掌部特征相对于标签掌部特征的预测差异进行模型训练，得到特征提取模型，包括：
确定预测掌部特征相对于标签掌部特征的预测差异；当预测差异满足预设迭代条件，确定各键向量之间的键相似度，并根据各键相似度调整初始键权重，获得更新的键权重；确定各查询向量之间的查询相似度，根据各查询相似度调整初始查询权重，获得更新的查询权重；将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，返回基于初始键权重，将各第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足预设迭代条件时停止，获得特征提取模型。
具体地，计算机设备确定预测掌部特征相对于标签掌部特征的预测差异，将预测差异和预设迭代条件进行匹配。当预测差异满足预设迭代条件，计算机设备确定各键向量之间的键相似度，并根据各键相似度调整初始键权重，获得更新的键权重。并且，计算机设备确定各查询向量之间的查询相似度，根据各查询相似度调整初始查询权重，获得更新的查询权重。
获得更新的键权重和更新的查询权重后，进入下一迭代，将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重。
本实施例中，每次迭代对应各自的初始键权重和初始查询权重，针对每次迭代，计算机设备获取所针对迭代的初始键权重和初始查询权重，基于所针对迭代的初始键权重，将各第一样本嵌入特征分别映射到键空间，得到所针对迭代中每个第一样本嵌入特征的键向量。基于所针对迭代的初始查询权重，将各第二样本嵌入特征分别映射到查询空间，得到所针对迭代中每个第二图像区域的查询向量。
计算机设备根据所针对迭代中的各键向量和各查询向量，确定多张样本掌部图像在所针对迭代中对应的预测自注意力权重。基于所针对迭代中的预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像在所针对迭代中对应的预测掌部特征。计算机设备确定所针对迭代中的预测掌部特征相对于标签掌部特征的预测差异，当所针对迭代中的预测差异满足预设迭代条件，确定所针对迭代中各键向量之间的键相似度，并根据各键相似度调整所针对迭代中的初始键权重，获得所针对迭代中更新的键权重。并且，确定所针对迭代中各查询向量之间的查询相似度，根据各查询相似度调整所针对迭代中的初始查询权重，获得所针对迭代中更新的查询权重。将更新的键权重作为所针对迭代的下一迭代的初始键权重，将更新后的查询权重作为所针对迭代的下一迭代的初始查询权重，从而进入下一次迭代，以下一次迭代中执行基于初始键权重将各第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足预设迭代条件时停止，获得特征提取模型。
其中，不满足预设迭代条件可以是迭代次数不满足预先设置的迭代次数、所针对迭代的预测差异不满足预先设置的差异阈值等。所针对迭代的预测差异不满足预先设置的差异阈值，可以是所针对迭代的预测差异小于或等于差异阈值。
本实施例中，确定预测掌部特征相对于标签掌部特征的预测差异，即可确定模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异。当预测差异满足预设迭代条件，表示需要进行下一次迭代，则先更新键权重和查询权重。即确定各键向量之间的键相似度，键相似度表征键向量之间的关联度，相似度越高表示关联度越高，从而能够根据各键相似度调整初始键权重，获得更新的键权重。查询相似度表征查询向量之间的关联度，从而能够根据各查询相似度调整初始查询权重，获得更新的查询权重。将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，从而进入下一次迭代继续执行，从而在迭代中不断更新键权重和查询权重，以及基于键权重和查询权重所确定的预测自注意力权重也不断更新，使得在迭代中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，直至所确定的预测差异不满足预设迭代条件时停止，此时获得最终的键权重、查询权重和自注意力权重，从而获得特征提取模型。
在其中一个实施例中，该方法还包括：
获取初始内容权重，基于初始内容权重，将各第一样本嵌入特征和各第二样本嵌入特征分别映射至值空间，得到每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量；
基于预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像对应的预测掌部特征，包括：
基于预测自注意力权重，融合各第一样本嵌入特征的内容向量和各第二样本嵌入特征的内容向量，获得多张样本掌部图像对应的预测掌部特征。
其中，初始内容权重表征训练过程中从向量空间转换到值空间的转换系数。
具体地，计算机设备获取初始内容权重，将初始内容权重和各第一样本嵌入特征进行点乘处理，以将各第一样本嵌入特征和各第二样本嵌入特征分别映射到值空间，得到每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量。
计算机设备基于预测自注意力权重，对每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量进行融合处理，获得多张样本掌部图像对应的预测掌部特征。
本实施例中，预测自注意力权重包括每个内容向量对应的权重，计算机设备将每个第一样本嵌入特征的内容向量、每个第二样本嵌入特征的内容向量分别和相应的权重进行加权求和，得到多张样本掌部图像对应的预测掌部特征。
如图5所示，将样本掌部图像映射至向量空间，得到对应的样本嵌入特征X。该样本嵌入特征X包括第一样本嵌入特征和第二样本嵌入特征/>。即，将第一样本图像区域和第二样本图像区域分别映射至向量空间，得到第一样本嵌入特征/>和第二样本嵌入特征。
如图6所示，根据各键向量K和各查询向量Q，确定多张样本掌部图像对应的预测自注意力权重。/>
基于初始内容权重，将样本嵌入特征X映射至值空间，即将各第一样本嵌入特征/>和各第二样本嵌入特征/>，分别映射至值空间，得到内容向量V。
基于预测自注意力权重融合各内容向量V，得到预测掌部特征。
可以理解的是，初始内容权重为权重矩阵，包括对应每个第一样本嵌入特征的权重，以及对应每个第二样本嵌入特征的权重。
本实施例中，获取初始内容权重，基于初始内容权重，将各第一样本嵌入特征和各第二样本嵌入特征分别映射至值空间，能够将多张样本掌部图像的所有嵌入特征准确映射到值空间，以得到每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量。基于预测自注意力权重，融合各第一样本嵌入特征的内容向量和各第二样本嵌入特征的内容向量，从而能够将多张样本掌部图像中相同部位的特征进行不同程度的融合，使得对每张样本掌部图像中相同部位的特征的关注度不同，从而能够关注到多张样本掌部图像中相同部位的特征之间的差异性，并获取到这些具有差异的细节特征，再结合不包含预设部位的其他图像区域的特征，使得所获得多张样本掌部图像对应的预测掌部特征包含更多的信息量，有助于提升在不同场景下对掌部特征的识别和验证的准确性。
在其中一个实施例中，该方法还包括：
当预测差异满足预设迭代条件，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；根据各内容相似度调整初始内容权重，获得更新的内容权重；将更新后的内容权重作为下一迭代的初始内容权重，并执行返回基于初始键权重，将各第一样本嵌入特征分别映射到键空间的步骤。
具体地，当预测差异满足预设迭代条件，针对每个键向量，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度。其中，内容相似度可以是余弦相似度或距离，即将键向量和查询向量之间的余弦相似度作为内容相似度，或将键向量和查询向量之间的距离作为内容相似度。该距离可以是欧式距离。
计算机设备根据各内容相似度调整初始内容权重，获得更新的内容权重。将更新后的内容权重作为下一迭代的初始内容权重，进入下一次迭代，执行下一次迭代中基于初始键权重将各第一样本嵌入特征分别映射到键空间的步骤。
本实施例中，计算机设备通过多次迭代训练获得特征提取模型，每次迭代对应各自的初始键权重、初始查询权重和初始内容权重。每次迭代的初始内容权重基于对上一次迭代的初始内容权重的调整获得。
针对每次迭代，计算机设备获取所针对迭代的初始内容权重，基于所针对迭代的初始内容权重，将各第一样本嵌入特征、各第一样本嵌入特征分别映射到键空间，得到所针对迭代中每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量。
在所针对迭代中对应的预测自注意力权重后，基于所针对迭代中的预测自注意力权重，融合所针对迭代中的各内容向量，获得多张样本掌部图像在所针对迭代中对应的预测掌部特征。计算机设备确定所针对迭代中的预测掌部特征相对于标签掌部特征的预测差异，当所针对迭代中的预测差异满足预设迭代条件，根据所针对迭代中各键向量之间的键相似度调整所针对迭代中的初始键权重，获得所针对迭代中更新的键权重。并且，根据所针对迭代中各查询向量之间的查询相似度调整所针对迭代中的初始查询权重，获得所针对迭代中更新的查询权重。以及，根据各所针对迭代中各查询向量之间的内容相似度调整所针对迭代中的初始内容权重，获得所针对迭代中更新的内容权重。将更新的键权重作为所针对迭代的下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，将更新后的内容权重作为下一迭代的初始内容权重，从而进入下一次迭代，以下一次迭代中执行基于初始键权重将各第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足预设迭代条件时停止，获得特征提取模型。
本实施例中，当预测差异满足预设迭代条件，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度，该内容相似度表征键向量和查询向量之间的相关程度，从而根据各内容相似度调整初始内容权重，获得更新的内容权重，将更新后的内容权重作为下一迭代的初始内容权重，并执行返回基于初始键权重，以在迭代中不断更新内容权重，从而在迭代中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，从而逐步提高模型的提取精度，最终获得特征提取模型。
在其中一个实施例中，如图7所示，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域，包括：
步骤S702，分别提取每张样本掌部图像的特征点。
步骤S704，基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域。
具体地，计算机设备对每张样本掌部图像进行特征点提取，得到每张样本掌部图像各自的多个特征点。
针对每张样本掌部图像，计算机设备基于所针对的样本掌部图像的各特征点识别出预设部位，并确定形成预设部位的各特征点在所针对的样本掌部图像中的位置，根据所确定的位置获得包括有预设部位的第一样本图像区域。
步骤S706，针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域。
具体地，计算机设备将所针对的样本掌部图像中除第一样本图像区域以外的区域作为第二样本图像区域，从而获得所针对的样本掌部图像的第一样本图像区域和第二样本图像区域。按照相同处理，计算机设备可获得每张样本掌部图像的第一样本图像区域和第二样本图像区域。
本实施例中，分别提取每张样本掌部图像的特征点，基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域，从而能够确定出多张样本掌部图像中所包括的相同预设部位的图像区域，这些图像区域之间存在相同或非常相似的特征，便于针对相同或相似的特征进一步提取细节特征，以提高对细节特征获取和识别的精准度。针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域，便于后续对包括有预设部位的样本图像区域和没有包括预设部位的样本图像区域进行不同的处理。
在一个实施例中，特征提取模型处理方法包括图像获取、图像映射、自注意力机制处理、并行训练和特征存储等多个部分。
如图8所示，图像获取部分，用于在获取同一用户的掌部的多个样本掌部图像像，通过获取不同角度和时间点的样本掌部图像，以获取包含更多信息的多样化数据。即通过采用多摄像头从多角度、多时态的拍摄用户的掌部，获得同一用户多个掌部图像的多样化数据。这些数据包含了不同角度、不同时间点和不同动态的掌部信息，为后续的特征提取和处理提供了更丰富的信息基础。
图像映射旨在将样本掌部图像映射到一个特定的向量空间，以提取样本掌部图像的特征表示，并保留样本掌部图像的更多信息。可以通过使用冗余稀疏的embedding方式，即向量可能存在冗余的特征，并且整个向量是稀疏的，这样能够更好地保留样本掌部图像的特征信息。
例如，一张样掌部图像通过像素矩阵表示，其中每个元素代表样本掌部图像的像素值。该像素矩阵是一个5*5的矩阵，其中的元素取值范围为0到255，则可以将像素矩阵展平为一个25维的向量，每个像素值作为一个特征。对这个25维向量进行降维，将其映射到一个较低维的向量表示。具体可以通过使用诸如主成分分析（PCA）或自编码器等降维方法来实现。这样可以将样本掌部图像的信息压缩到较低的维度，同时保留重要的特征。最终，可得到样本掌部图像的一个低维的embedding特征向量，其中每个元素代表样本掌部图像的相应像素在低维空间中的特征表示。这个向量可以用于后续的掌部特征提取、匹配或识别任务。
通过采用冗余稀疏的embedding方式，能够保留更多样本掌部图像的特征信息。这种方式允许冗余特征的存在，即同一特征的多个embedding特征表示，同时利用稀疏性来表示整个向量，使得模型能够更好地提取和表示样本掌部图像的细节特征，进而增强后续处理和识别阶段对掌部的准确度和鲁棒性。
自注意力机制处理是一种多头自注意力机制的多样本掌部图像注意力处理单元，旨在利用自注意力机制来计算掌部的多个样本掌部图像之间的关联和权重分配，从而获取到更多的冗余信息并提升掌部特征的信息量。该单元采用QKV机制将embedding嵌入特征投影到多个子空间，以并行学习多个子空间中的样本掌部图像特征，并利用多头注意力机制来增强计算效果。即利用自注意力机制来计算多个样本掌部图像之间的相关程度和权重分配，通过将样本掌部图像各样本图像区域的嵌入特征转换为查询向量、键向量和内容向量，并计算它们之间的相似性，能够获取到多个样本掌部图像之间的冗余信息，并捕捉到这些样本掌部图像之间的关联性，从而获得更多的冗余信息，增强掌部特征的信息量。
在计算出预测自注意力权重后，将各内容向量进行特征融合，得到预测掌部特征。将特征融合得到的预测掌部特征作为图8中并行训练部分的输入。
如图9所示，并行训练使用前馈神经网络作为基础模型，前馈神经网络是一种常用的深度学习模型，通过层层传递信号的方式进行信息处理和特征提取。为了避免梯度爆炸等问题，并提高模型的训练效果，训练中采用残差网络（Residual Network，ResNet）结构和批归一化（Batch Normalization）技术。ResNet引入了跨层连接和残差学习，解决了深层网络训练中的梯度消失和表达能力受限问题。批归一化则通过对每个小批量样本进行归一化处理，使得网络的输入分布更稳定，提高训练速度和模型的泛化能力。
并行训练对每一层进行并行计算，以保留样本掌部图像的特征。通过并行计算，可以同时处理多个样本掌部图像的特征，避免信息丢失。这种并行计算的方式有助于提高训练速度和保留样本掌部图像的细节特征。
如图10所示，通过采用前馈神经网络结构、ResNet和批归一化技术，以及并行计算的方式，并行训练模块能够提高刷掌识别系统的训练速度。为了避免梯度爆炸等问题，同时对每一层进行并行计算，保留样本掌部图像的掌部特征，提高计算效率。并且，可以加快训练过程，同时有效地提取和学习掌部特征，提升刷掌识别系统的准确性和性能。
如图10，可将样本掌部图像的第一样本图像区域和第二样本图像区域映射到向量空间，获得样本嵌入特征1和样本嵌入特征2，可将样本嵌入特征1和样本嵌入特征2并行进行归一化处理，归一化处理后的两个嵌入特征分别输入残差块，以实现在残差网络中的并行处理。
也可以将样本嵌入特征1和样本嵌入特征2分别输入隐藏层的隐藏神经元，使得隐藏神经元1处理样本嵌入特征1、隐藏神经元2处理样本嵌入特征2，以实现并行处理。隐藏神经元1处理得到的特征输入残差网络的残差块1，隐藏神经元2处理得到的特征输入残差网络的残差块2，从而获得残差块1输出的预测掌部特征1和残差块2输出的预测掌部特征2，以在训练中实现各个部分的并行处理。将预测掌部特征1和预测掌部特征2融合可得到样本掌部图像对应的预测掌部特征。
本实施例中，样本嵌入特征1和样本嵌入特征2可以是两张样本掌部图像各自对应的嵌入特征，从而实现对多张样本掌部图像的并行训练。
本实施例中，为了提高计算效率和探索不同的子空间，训练中并行学习允许同时处理多个样本掌部图像特征，以保留更多的信息和特征。多头注意力机制允许模型在多个子空间中学习和计算样本掌部图像之间的关联程度和重要程度，从而提升信息量。通过并行学习和多头注意力机制的结合，能够更全面地捕捉到不同样本掌部图像之间的冗余信息，进而提取更丰富的掌部特征信息，用于刷掌识别系统的准确性提升。
在一个实施例中，如图11所示，提供了一种特征提取方法，以该方法应用于图1中的计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：
步骤S1102，获取掌部的多张掌部图像。
其中，掌部是指待验证对象的掌部。待验证对象可以是人或动物，掌部可以是人的手掌、脚掌等，也可以是动物的前掌、后掌等。
掌部图像是拍摄待验证对象的掌部所获得的图像。掌部可包括指部、掌心部、掌缘部，指部包括拇指、食指、中指、无名指、小指等。掌部包括有预设部位，该预设部位可以是掌部的掌心部位。
具体地，计算机设备可获取待验证对象的同一掌部的多张掌部图像，例如获取人的左手掌的多张掌部图像，或获取人的右手掌的多张掌部图像。
本实施例中，计算机设备可通过摄像头对待验证对象的同一掌部进行不同角度的拍摄，得到多张拍摄角度不同的掌部图像。
本实施例中，计算机设备可通过摄像头对待验证对象的同一掌部进行视频拍摄，待验证对象在视频拍摄过程中移动、转动掌部，以改变掌部的掌部姿态，得到掌部视频。从掌部视频中获取多个视频帧，每个视频帧作为掌部图像。
步骤S1104，通过特征提取模型处理方法训练获得的特征提取模型，确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域；每个第一图像区域包括有掌部的预设部位，该特征提取模型包括训练获得的自注意力权重。
具体地，计算机设备将每张掌部图像输入特征提取模型，该特征提取模型是通过特征提取模型处理方法训练获得的。
特征提取模型确定每张掌部图像中的预设部位，并确定该预设部位在掌部图像中所处的区域，将该区域作为第一图像区域。针对每张掌部图像，将所针对的掌部图像中除第一图像区域以外的区域作为第二图像区域，以得到每个掌部图像的第一图像区域和第二图像区域。
本实施例中，通过特征提取模型处理方法训练获得的特征提取模型，确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域，包括：
通过特征提取模型处理方法训练获得的特征提取模型，分别提取每张掌部图像的特征点；通过特征提取模型，基于每张掌部图像各自的特征点识别出每张掌部图像中的预设部位，并确定每张掌部图像中预设部位所处的第一图像区域；通过特征提取模型，针对每张掌部图像，确定所针对的掌部图像中除相应的第一图像区域以外的第二图像区域。
步骤S1106，通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征。
具体地，计算机设备通过特征提取模型分别对每个第一图像区域进行特征映射，以将第一图像区域映射到向量空间，得到每个第一图像区域的第一嵌入特征。计算机设备通过特征提取模型分别对每个第二图像区域进行特征映射，以将第二图像区域映射到向量空间，得到每个第二图像区域的第二嵌入特征。
步骤S1108，通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，获得多张掌部图像对应的掌部特征。
具体地，特征提取模型通过训练获得自注意力权重。计算机设备通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，获得多张掌部图像对应的掌部特征。
进一步地，自注意力权重包括每个第一嵌入特征对应的权重和每个第二嵌入特征对应的权重，计算机设备将每个第一嵌入特征、每个第二嵌入特征分别和相应的权重进行加权求和，得到多张掌部图像对应的掌部特征。
本实施例中，通过特征提取模型处理方法训练获得的特征提取模型包括自注意力权重，该自注意力权重表征特征提取模型对多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度。获取掌部的多张掌部图像，通过特征提取模型确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域，而每个第一图像区域包括有掌部的预设部位，从而可以确定出多张掌部图像中相同的图像区域，以及多张掌部图像中不相同的图像区域。通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征，以将各图像区域从图像空间转换至向量空间，获得相应的嵌入特征。通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，使得不仅关注到不同的图像区域的特征，还关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，使得所获得的掌部特征包含更多的特征量。并且，所提取的掌部特征包含了更多细节特征，能够提高不同场景下使用掌部特征进行特征识别时的识别准确性。
在其中一个实施例中，特征提取模型还包括训练获得的内容权重；该方法还包括：通过特征提取模型，基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量；
通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，获得多张掌部图像对应的掌部特征，包括：通过特征提取模型，基于自注意力权重融合每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量，获得多张掌部图像对应的掌部特征。
其中，内容权重表征从向量空间转换到值空间的转换系数。
具体地，特征提取模型通过训练获得自注意力权重和内容权重。计算机设备通过特征提取模型，将内容权重和各第一嵌入特征进行点乘处理，以将各第一嵌入特征和各第二嵌入特征分别映射到值空间，得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量。
计算机设备通过特征提取模型，基于自注意力权重，对每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量进行融合处理，获得多张掌部图像对应的掌部特征。
本实施例中，自注意力权重包括每个内容向量对应的权重，计算机设备通过特征提取模型，将每个第一嵌入特征的内容向量、每个第二嵌入特征的内容向量分别和相应的权重进行加权求和，得到多张掌部图像对应的掌部特征。
本实施例中，通过特征提取模型，基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，能够将多张掌部图像的所有嵌入特征准确映射到值空间，以得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量。基于自注意力权重，融合各第一嵌入特征的内容向量和各第二嵌入特征的内容向量，从而能够将多张掌部图像中相同部位的特征进行不同程度的融合，使得对每张掌部图像中相同部位的特征的关注度不同，从而能够关注到多张掌部图像中相同部位的特征之间的差异性，并获取到这些具有差异的细节特征，再结合不包含预设部位的其他图像区域的特征，使得所获得多张掌部图像对应的掌部特征包含更多的信息量，有助于提升在不同场景下对掌部特征的识别和验证的准确性。
在其中一个实施例中，特征提取方法应用于资源转移场景；获取掌部的多张掌部图像，包括：
响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像；
该方法还包括：
根据掌部特征对待验证对象进行身份验证，获得验证结果；当验证结果表征待验证对象的身份验证成功，获取资源转移信息，并基于资源转移信息执行资源转移操作。
具体地，在资源转移场景，待验证用户可在计算机设备运行资源转移应用，并基于资源转移应用输入资源转移信息后点击触发资源转移操作。资源转移应用响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像。
计算机设备将多张掌部图像输入特征提取模型，通过特征提取模型确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域，每个第一图像区域包括有掌部的预设部位。通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征。通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，获得多张掌部图像对应的掌部特征。计算机设备根据掌部特征对待验证对象进行身份验证，获得验证结果。当验证结果表征待验证对象的身份验证成功，获取资源转移信息，并基于资源转移信息执行资源转移操作。
本实施例中，通过特征提取模型，基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量。通过特征提取模型，基于自注意力权重融合每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量，获得多张掌部图像对应的掌部特征。计算机设备根据掌部特征对待验证对象进行身份验证，当待验证对象的身份验证成功，获取资源转移信息，并基于资源转移信息执行资源转移操作。
本实施例中，将特征提取方法应用于资源转移场景，使得响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像，从而通过特征提取模型获取多张掌部图像的掌部特征，所获得的掌部特征包括多张掌部图像中相同部位的存在细节差异的特征，使得能够根据掌部特征对待验证对象进行的身份验证更准确，从而基于资源转移信息执行资源转移操作，能够有效提高资源转移的安全性。
在其他实施例中，特征提取方法可应用于门禁控制，闸机控制等。如图12所示，用户将手掌放置在闸机的掌部识别区域，掌部识别区域获取用户手掌的多张掌部图像，通过特征提取模型对多张掌部图像进行处理，获得掌部特征。根据掌部特征对用户进行身份验证，当验证成功则开启闸机。验证识别则不开启闸机并发出提示。
可以理解的是，该特征提取方法可应用于任何需要进行掌部图像的特征提取的应用场景，不限于上述各实施例的举例。
在一个实施例中，提供了一种特征提取模型处理方法，应用于计算机设备，包括：
获取样本掌部的多张样本掌部图像，分别提取每张样本掌部图像的特征点。
接着，基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域。
接着，针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域。
进一步地，获取各第一样本图像区域各自的第一样本嵌入特征，并获取各第二样本图像区域各自的第二样本嵌入特征。
进一步地，获取当前迭代的初始键权重、初始查询权重和初始内容权重，基于当前迭代的初始键权重将各第一样本嵌入特征分别映射到键空间，得到当前迭代中每个第一样本嵌入特征的键向量；基于当前迭代的初始查询权重将各第二样本嵌入特征分别映射到查询空间，得到当前迭代中每个第二图像区域的查询向量；基于当前迭代的初始内容权重，将各第一样本嵌入特征和各第二样本嵌入特征分别映射至值空间，得到当前迭代中每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量。其中，当当前迭代为首次迭代时，初始键权重、初始查询权重和初始内容权重均为预设的权重。
接着，在当前迭代中，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；对各内容相似度进行归一化处理，获得多张样本掌部图像对应的预测自注意力权重。
接着，基于当前迭代的预测自注意力权重，融合当前迭代的各内容向量，获得多张样本掌部图像在当前迭代中对应的预测掌部特征。
进一步地，获取多张样本掌部图像对应的标签掌部特征，确定当前迭代的预测掌部特征相对于标签掌部特征的预测差异。
接着，当当前迭代的预测差异大于差异阈值，确定当前迭代中各键向量之间的键相似度，并根据各键相似度调整当前迭代的初始键权重，获得当前迭代中更新的键权重；确定当前迭代中各查询向量之间的查询相似度，根据各查询相似度调整当前迭代的初始查询权重，获得当前迭代中更新的查询权重；在当前迭代中，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；根据各内容相似度调整当前迭代的初始内容权重，获得当前迭代中更新的内容权重。
进一步地，将当前迭代中更新的键权重、更新后的查询权重和更新后的查询权重，分别作为当前迭代的下一迭代对应的初始键权重、初始查询权重和初始内容权重，进入下一次迭代，返回基于初始键权重，将各第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异小于或等于差异阈值时停止，获得特征提取模型。其中，最后一次迭代停止时获得特征提取模型的键权重、查询权重、内容权重和自注意力权重。
本实施例中，还提供了一种特征提取方法，包括：
获取掌部的多张掌部图像，通过特征提取模型确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域；每个第一图像区域包括有掌部的预设部位。
接着，通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征；基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量。
进一步地，通过特征提取模型，基于自注意力权重融合每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量，获得多张掌部图像对应的掌部特征。
本实施例中，分别提取每张样本掌部图像的特征点，基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域，从而能够确定出多张样本掌部图像中所包括的相同预设部位的图像区域，这些图像区域之间存在相同或非常相似的特征，便于针对相同或相似的特征进一步提取细节特征，以提高对细节特征获取和识别的精准度。针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域，从而确定出多张样本掌部图像中不相同的图像区域。
基于初始键权重将每个第一样本图像区域从向量空间准确投影到键空间，得到每个第一样本嵌入特征的键向量。基于初始查询权重将每个第二样本图像区域从向量空间准确投影到查询空间，得到每个第二样本嵌入特征的查询向量。基于内容查询权重将每个第一样本嵌入特征和第二样本嵌入特征从向量空间准确投影到值空间，得到各自对应的内容向量。
根据相同的样本图像区域的各键向量和不同的样本图像区域的各查询向量，能够预测出多张样本掌部图像对应的预测自注意力权重，所预测的预测自注意力权重表征每个键向量和每个查询向量在融合中各自的重要程度，即表征模型对各相同的样本图像区域中的特征的关注度，从而同时考虑到了相同的样本图像区域中的特征和不同的样本图像区域中的特征。基于预测自注意力权重融合各第一样本嵌入特征和各第二样本嵌入特征，能够融合多张样本掌部图像中的相同特征和不同特征，以获得多张样本掌部图像对应的预测掌部特征。而模型对各相同的样本图像区域中的特征的关注度不同，使得从相同的样本图像区域中提取的特征不完全相同，从而能够提取到相同的样本图像区域中存在的不同的细节特征，从而获得更多的特征信息量。获取多张样本掌部图像对应的标签掌部特征，该标签掌部特征作为模型训练期望获得的掌部特征，即可确定模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异。当预测差异满足预设迭代条件，表示需要进行下一次迭代，则先更新键权重和查询权重。即确定各键向量之间的键相似度，键相似度表征键向量之间的关联度，相似度越高表示关联度越高，从而能够根据各键相似度调整初始键权重，获得更新的键权重。查询相似度表征查询向量之间的关联度，从而能够根据各查询相似度调整初始查询权重，获得更新的查询权重。内容相似度表征查询向量和键向量之间的关联度，从而能够根据各内容相似度调整初始内容权重，获得更新的内容权重。
将更新的键权重、查询权重、内容权重作为下一迭代的初始键权重、初始查询权重和初始内容权重，从而进入下一次迭代继续执行，从而在迭代中不断更新键权重、查询权重和内容权重，以及基于键权重和查询权重所确定的预测自注意力权重也不断更新，使得在迭代中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，直至所确定的预测差异不满足预设迭代条件时停止，此时获得最终的键权重、查询权重和自注意力权重，从而获得特征提取模型。
最终获得的特征提取模型包含了训练获得的自注意力权重，该自注意力权重表征多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度，使得关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，从而获得更多的特征信息量。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的特征提取模型处理方法的特征提取模型处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个特征提取模型处理装置实施例中的具体限定可以参见上文中对于特征提取模型处理方法的限定，在此不再赘述。
在一个实施例中，如图13所示，提供了一种特征提取模型处理装置，包括：
样本获取模块1302，用于获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域；每个第一样本图像区域包括有样本掌部的预设部位。
键空间映射模块1304，用于获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量。
查询空间映射模块1306，用于获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
权重预测模块1308，用于根据各键向量和各查询向量，确定多张样本掌部图像对应的预测自注意力权重。
样本特征融合模块1310，用于基于预测自注意力权重，融合各第一样本嵌入特征和各第二样本嵌入特征，获得多张样本掌部图像对应的预测掌部特征。
训练模块1312，用于获取多张样本掌部图像对应的标签掌部特征，基于预测掌部特征相对于标签掌部特征的预测差异进行模型训练，得到特征提取模型。
本实施例中，获取样本掌部的多张样本掌部图像，确定每张样本掌部图像中的第一样本图像区域和除第一样本图像区域以外的第二样本图像区域，而每个第一样本图像区域包括有样本掌部的预设部位，从而可以确定出多张样本掌部图像中相同的图像区域，以及多张样本掌部图像中不相同的图像区域。获取各第一样本图像区域各自的第一样本嵌入特征，将各第一样本嵌入特征分别映射到键空间，能够将相同的各第一样本图像区域的特征表征从向量空间映射到键空间，以得到每个第一样本嵌入特征的键向量。获取各第二样本图像区域各自的第二样本嵌入特征，将各第二样本嵌入特征分别映射到查询空间，能够将不同的各第一样本图像区域的特征表征从向量空间映射到查询空间，以得到每个第二样本嵌入特征的查询向量。根据相同的样本图像区域的各键向量和不同的样本图像区域的各查询向量，能够预测出多张样本掌部图像对应的预测自注意力权重，所预测的预测自注意力权重表征每个键向量和每个查询向量在融合中各自的重要程度，即表征模型对各相同的样本图像区域中的特征的关注度，从而同时考虑到了相同的样本图像区域中的特征和不同的样本图像区域中的特征。基于预测自注意力权重融合各第一样本嵌入特征和各第二样本嵌入特征，能够融合多张样本掌部图像中的相同特征和不同特征，以获得多张样本掌部图像对应的预测掌部特征。而模型对各相同的样本图像区域中的特征的关注度不同，使得从相同的样本图像区域中提取的特征不完全相同，从而能够提取到相同的样本图像区域中存在的不同的细节特征，从而获得更多的特征信息量。获取多张样本掌部图像对应的标签掌部特征，该标签掌部特征作为模型训练期望获得的掌部特征，基于模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异来进行模型训练，使得在训练中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，从而逐步提高模型的提取精度，最终获得特征提取模型。
最终获得的特征提取模型包含了训练获得的自注意力权重，该自注意力权重表征多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度，使得关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，从而获得更多的特征信息量。
在其中一个实施例中，权重预测模块1308，还用于确定各键向量之间的键相似度和各查询向量之间的查询相似度；针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；将各键相似度、各查询相似度和各内容相似度进行融合处理，获得多张样本掌部图像对应的预测自注意力权重。
本实施例中，确定各键向量之间的键相似度和各查询向量之间的查询相似度，键相似度表征键向量之间的相关程度，键相似度高则键向量之间的相关程度高。查询相似度表征查询向量之间的相关程度，查询相似度高则查询向量之间的相关程度高。针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度，内容相似度表征键向量和查询向量之间的相关程度，内容相似度高则表征键向量和查询向量之间的相关程度。将各键相似度、各查询相似度和各内容相似度进行融合处理，从而能够将向量之间的相关程度作为相应的权重，从而获得多张样本掌部图像中所有特征的预测自注意力权重。
在其中一个实施例中，键空间映射模块1304，还用于获取初始键权重，基于初始键权重，将各第一样本嵌入特征分别映射到键空间，得到每个第一样本嵌入特征的键向量；
查询空间映射模块1306，还用于获取初始查询权重，基于初始查询权重将各第二样本嵌入特征分别映射到查询空间，得到每个第二样本嵌入特征的查询向量。
本实施例中，获取初始键权重，基于初始键权重，将各第一样本嵌入特征分别映射到键空间，从而能够将每个第一样本图像区域从向量空间准确投影到键空间，得到每个第一样本嵌入特征的键向量。获取初始查询权重，基于初始查询权重将各第二样本嵌入特征分别映射到查询空间，从而能够将每个第二样本图像区域从向量空间准确投影到查询空间，得到每个第二样本嵌入特征的查询向量。
在其中一个实施例中，训练模块1312，还用于确定预测掌部特征相对于标签掌部特征的预测差异；当预测差异满足预设迭代条件，确定各键向量之间的键相似度，并根据各键相似度调整初始键权重，获得更新的键权重；确定各查询向量之间的查询相似度，根据各查询相似度调整初始查询权重，获得更新的查询权重；将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，返回基于初始键权重，将各第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足预设迭代条件时停止，获得特征提取模型。
本实施例中，确定预测掌部特征相对于标签掌部特征的预测差异，即可确定模型预测获得的预测掌部特征和期望获得的掌部特征之间的差异。当预测差异满足预设迭代条件，表示需要进行下一次迭代，则先更新键权重和查询权重。即确定各键向量之间的键相似度，键相似度表征键向量之间的关联度，相似度越高表示关联度越高，从而能够根据各键相似度调整初始键权重，获得更新的键权重。查询相似度表征查询向量之间的关联度，从而能够根据各查询相似度调整初始查询权重，获得更新的查询权重。将更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，从而进入下一次迭代继续执行，从而在迭代中不断更新键权重和查询权重，以及基于键权重和查询权重所确定的预测自注意力权重也不断更新，使得在迭代中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，直至所确定的预测差异不满足预设迭代条件时停止，此时获得最终的键权重、查询权重和自注意力权重，从而获得特征提取模型。
在其中一个实施例中，该装置还包括：
值空间映射模块，用于获取初始内容权重，基于初始内容权重，将各第一样本嵌入特征和各第二样本嵌入特征分别映射至值空间，得到每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量；
样本特征融合模块1310，还用于基于预测自注意力权重融合各内容向量，获得多张样本掌部图像对应的预测掌部特征。
本实施例中，获取初始内容权重，基于初始内容权重，将各第一样本嵌入特征和各第二样本嵌入特征分别映射至值空间，能够将多张样本掌部图像的所有嵌入特征准确映射到值空间，以得到每个第一样本嵌入特征的内容向量和每个第二样本嵌入特征的内容向量。基于预测自注意力权重，融合各第一样本嵌入特征的内容向量和各第二样本嵌入特征的内容向量，从而能够将多张样本掌部图像中相同部位的特征进行不同程度的融合，使得对每张样本掌部图像中相同部位的特征的关注度不同，从而能够关注到多张样本掌部图像中相同部位的特征之间的差异性，并获取到这些具有差异的细节特征，再结合不包含预设部位的其他图像区域的特征，使得所获得多张样本掌部图像对应的预测掌部特征包含更多的信息量，有助于提升在不同场景下对掌部特征的识别和验证的准确性。
在其中一个实施例中，训练模块1312，还用于当预测差异满足预设迭代条件，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度；根据各内容相似度调整初始内容权重，获得更新的内容权重；将更新后的内容权重作为下一迭代的初始内容权重，并执行返回基于初始键权重，将各第一样本嵌入特征分别映射到键空间的步骤。
本实施例中，当预测差异满足预设迭代条件，针对每个键向量，确定所针对的键向量分别与每个查询向量之间的内容相似度，该内容相似度表征键向量和查询向量之间的相关程度，从而根据各内容相似度调整初始内容权重，获得更新的内容权重，将更新后的内容权重作为下一迭代的初始内容权重，并执行返回基于初始键权重，以在迭代中不断更新内容权重，从而在迭代中逐渐减小预测掌部特征和期望获得的掌部特征之间的差异，从而逐步提高模型的提取精度，最终获得特征提取模型。
在其中一个实施例中，样本获取模块1302，还用于分别提取每张样本掌部图像的特征点；基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域；针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域。
本实施例中，分别提取每张样本掌部图像的特征点，基于每张样本掌部图像各自的特征点，识别出每张样本掌部图像中的预设部位，并确定每张样本掌部图像中预设部位所处的第一样本图像区域，从而能够确定出多张样本掌部图像中所包括的相同预设部位的图像区域，这些图像区域之间存在相同或非常相似的特征，便于针对相同或相似的特征进一步提取细节特征，以提高对细节特征获取和识别的精准度。针对每张样本掌部图像，确定所针对的样本掌部图像中除相应的第一样本图像区域以外的第二样本图像区域，便于后续对包括有预设部位的样本图像区域和没有包括预设部位的样本图像区域进行不同的处理。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的特征提取方法的特征提取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个特征提取装置实施例中的具体限定可以参见上文中对于特征提取方法的限定，在此不再赘述。
在一个实施例中，如图14所示，提供了一种特征提取装置1400，包括：
图像获取模块1402，用于获取掌部的多张掌部图像。
区域确定模块1404，用于获取通过特征提取模型处理装置训练获得的特征提取模型，确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域；每个第一图像区域包括有掌部的预设部位，特征提取模型包括训练获得的自注意力权重。
特征获取模块1406，用于获取通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征。
特征融合模块1408，用于获取通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，获得多张掌部图像对应的掌部特征。
本实施例中，通过特征提取模型处理方法训练获得的特征提取模型包括自注意力权重，该自注意力权重表征特征提取模型对多张掌部图像中各相同的图像区域和不同的图像区域的特征的关注度。获取掌部的多张掌部图像，通过特征提取模型确定每张掌部图像中的第一图像区域和除第一图像区域以外的第二图像区域，而每个第一图像区域包括有掌部的预设部位，从而可以确定出多张掌部图像中相同的图像区域，以及多张掌部图像中不相同的图像区域。通过特征提取模型获取各第一图像区域各自的第一嵌入特征，以及各第二图像区域各自的第二嵌入特征，以将各图像区域从图像空间转换至向量空间，获得相应的嵌入特征。通过特征提取模型，基于自注意力权重融合各第一嵌入特征和各第二嵌入特征，使得不仅关注到不同的图像区域的特征，还关注到相同的图像区域的特征，从而能够提取到相同的图像区域中存在的不同的细节特征，使得所获得的掌部特征包含更多的特征量。并且，所提取的掌部特征包含了更多细节特征，能够提高不同场景下使用掌部特征进行特征识别时的识别准确性。
在其中一个实施例中，特征提取模型还包括训练获得的内容权重；该装置还包括：
映射模块，用于基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量；
特征融合模块，还用于通过特征提取模型，基于自注意力权重融合每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量，获得多张掌部图像对应的掌部特征。
本实施例中，通过特征提取模型，基于内容权重将各第一嵌入特征和各第二嵌入特征分别映射至值空间，能够将多张掌部图像的所有嵌入特征准确映射到值空间，以得到每个第一嵌入特征的内容向量和每个第二嵌入特征的内容向量。基于自注意力权重，融合各第一嵌入特征的内容向量和各第二嵌入特征的内容向量，从而能够将多张掌部图像中相同部位的特征进行不同程度的融合，使得对每张掌部图像中相同部位的特征的关注度不同，从而能够关注到多张掌部图像中相同部位的特征之间的差异性，并获取到这些具有差异的细节特征，再结合不包含预设部位的其他图像区域的特征，使得所获得多张掌部图像对应的掌部特征包含更多的信息量，有助于提升在不同场景下对掌部特征的识别和验证的准确性。
在其中一个实施例中，图像获取模块，还用于响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像；
该装置还包括：
验证模块，用于根据掌部特征对待验证对象进行身份验证，获得验证结果；
资源转移模块，用于当验证结果表征待验证对象的身份验证成功，获取资源转移信息，并基于资源转移信息执行资源转移操作。
本实施例中，将特征提取方法应用于资源转移场景，使得响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像，从而通过特征提取模型获取多张掌部图像的掌部特征，所获得的掌部特征包括多张掌部图像中相同部位的存在细节差异的特征，使得能够根据掌部特征对待验证对象进行的身份验证更准确，从而基于资源转移信息执行资源转移操作，能够有效提高资源转移的安全性。
上述特征提取模型处理装置、特征提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。以终端为例，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种特征提取模型处理方法，以及一种特征提取方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种特征提取模型处理方法，其特征在于，所述方法包括：
获取对样本掌部进行不同角度的拍摄获得的多张样本掌部图像，分别提取每张所述样本掌部图像的特征点；
基于每张所述样本掌部图像各自的特征点，识别出每张所述样本掌部图像中所述样本掌部的预设部位，并确定每张所述样本掌部图像中所述预设部位所处的第一样本图像区域；
针对每张所述样本掌部图像，确定所针对的样本掌部图像中除相应的所述第一样本图像区域以外的第二样本图像区域；
获取各所述第一样本图像区域各自的第一样本嵌入特征，获取初始键权重，基于所述初始键权重将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；
获取各所述第二样本图像区域各自的第二样本嵌入特征，获取初始查询权重，基于所述初始查询权重将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；
根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；
基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；
获取所述多张样本掌部图像对应的标签掌部特征，确定所述预测掌部特征相对于所述标签掌部特征的预测差异；
当所述预测差异满足预设迭代条件，确定各所述键向量之间的键相似度，并根据各所述键相似度调整所述初始键权重，获得更新的键权重；
确定各所述查询向量之间的查询相似度，根据各所述查询相似度调整所述初始查询权重，获得更新的查询权重；
将所述更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，返回基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足所述预设迭代条件时停止，获得特征提取模型。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重，包括：
确定各所述键向量之间的键相似度和各所述查询向量之间的查询相似度；
针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；
将各所述键相似度、各所述查询相似度和各所述内容相似度进行融合处理，获得所述多张样本掌部图像对应的预测自注意力权重。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取初始内容权重，基于所述初始内容权重，将各所述第一样本嵌入特征和各所述第二样本嵌入特征分别映射至值空间，得到每个所述第一样本嵌入特征的内容向量和每个所述第二样本嵌入特征的内容向量；
所述基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征，包括：
基于所述预测自注意力权重，融合各所述第一样本嵌入特征的内容向量和各所述第二样本嵌入特征的内容向量，获得所述多张样本掌部图像对应的预测掌部特征。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述预测差异满足预设迭代条件，针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；
根据各所述内容相似度调整所述初始内容权重，获得更新的内容权重；
将更新后的内容权重作为下一迭代的初始内容权重，并执行返回所述基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤。
5.一种特征提取方法，其特征在于，所述方法包括：
获取掌部的多张掌部图像；
通过如权利要求1-4任一项所述的特征提取模型处理方法训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；
通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；
通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
6.根据权利要求5所述的方法，其特征在于，所述特征提取模型还包括训练获得的内容权重；所述方法还包括：
通过所述特征提取模型，基于所述内容权重将各所述第一嵌入特征和各所述第二嵌入特征分别映射至值空间，得到每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量；
所述通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征，包括：
通过所述特征提取模型，基于所述自注意力权重融合每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量，获得所述多张掌部图像对应的掌部特征。
7.根据权利要求5至6任意一项所述的方法，其特征在于，所述特征提取方法应用于资源转移场景；所述获取掌部的多张掌部图像，包括：
响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像；
所述方法还包括：
根据所述掌部特征对所述待验证对象进行身份验证，获得验证结果；
当所述验证结果表征所述待验证对象的身份验证成功，获取资源转移信息，并基于所述资源转移信息执行资源转移操作。
8.一种特征提取模型处理装置，其特征在于，所述装置包括：
样本获取模块，用于获取对样本掌部进行不同角度的拍摄获得的多张样本掌部图像，分别提取每张所述样本掌部图像的特征点；基于每张所述样本掌部图像各自的特征点，识别出每张所述样本掌部图像中所述样本掌部的预设部位，并确定每张所述样本掌部图像中所述预设部位所处的第一样本图像区域；针对每张所述样本掌部图像，确定所针对的样本掌部图像中除相应的所述第一样本图像区域以外的第二样本图像区域；
键空间映射模块，用于获取各所述第一样本图像区域各自的第一样本嵌入特征，获取初始键权重，基于所述初始键权重将各所述第一样本嵌入特征分别映射到键空间，得到每个所述第一样本嵌入特征的键向量；
查询空间映射模块，用于获取各所述第二样本图像区域各自的第二样本嵌入特征，获取初始查询权重，基于所述初始查询权重将各所述第二样本嵌入特征分别映射到查询空间，得到每个所述第二样本嵌入特征的查询向量；
权重预测模块，用于根据各所述键向量和各所述查询向量，确定所述多张样本掌部图像对应的预测自注意力权重；
样本特征融合模块，用于基于所述预测自注意力权重，融合各所述第一样本嵌入特征和各所述第二样本嵌入特征，获得所述多张样本掌部图像对应的预测掌部特征；
训练模块，用于获取所述多张样本掌部图像对应的标签掌部特征，确定所述预测掌部特征相对于所述标签掌部特征的预测差异；当所述预测差异满足预设迭代条件，确定各所述键向量之间的键相似度，并根据各所述键相似度调整所述初始键权重，获得更新的键权重；确定各所述查询向量之间的查询相似度，根据各所述查询相似度调整所述初始查询权重，获得更新的查询权重；将所述更新的键权重作为下一迭代的初始键权重，将更新后的查询权重作为下一迭代的初始查询权重，返回基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤并继续执行，直至所确定的预测差异不满足所述预设迭代条件时停止，获得特征提取模型。
9.根据权利要求8所述的装置，其特征在于，所述权重预测模块，还用于
确定各所述键向量之间的键相似度和各所述查询向量之间的查询相似度；针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；将各所述键相似度、各所述查询相似度和各所述内容相似度进行融合处理，获得所述多张样本掌部图像对应的预测自注意力权重。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
值空间映射模块，用于获取初始内容权重，基于所述初始内容权重，将各所述第一样本嵌入特征和各所述第二样本嵌入特征分别映射至值空间，得到每个所述第一样本嵌入特征的内容向量和每个所述第二样本嵌入特征的内容向量；
所述样本特征融合模块，还用于基于所述预测自注意力权重，融合各所述第一样本嵌入特征的内容向量和各所述第二样本嵌入特征的内容向量，获得所述多张样本掌部图像对应的预测掌部特征。
11.根据权利要求10所述的装置，其特征在于，所述训练模块，还用于当所述预测差异满足预设迭代条件，针对每个所述键向量，确定所针对的键向量分别与每个所述查询向量之间的内容相似度；根据各所述内容相似度调整所述初始内容权重，获得更新的内容权重；将更新后的内容权重作为下一迭代的初始内容权重，并执行返回所述基于所述初始键权重，将各所述第一样本嵌入特征分别映射到键空间的步骤。
12.一种特征提取装置，其特征在于，所述装置包括：
图像获取模块，用于获取掌部的多张掌部图像；
区域确定模块，用于获取通过如权利要求8-11任一项所述的特征提取模型处理装置训练获得的所述特征提取模型，确定每张所述掌部图像中的第一图像区域和除所述第一图像区域以外的第二图像区域；每个所述第一图像区域包括有所述掌部的预设部位，所述特征提取模型包括训练获得的自注意力权重；
特征获取模块，用于获取通过所述特征提取模型获取各所述第一图像区域各自的第一嵌入特征，以及各所述第二图像区域各自的第二嵌入特征；
特征融合模块，用于获取通过所述特征提取模型，基于所述自注意力权重融合各所述第一嵌入特征和各所述第二嵌入特征，获得所述多张掌部图像对应的掌部特征。
13.根据权利要求12所述的装置，其特征在于，所述特征提取模型还包括训练获得的内容权重；所述装置还包括：
映射模块，用于通过所述特征提取模型，基于所述内容权重将各所述第一嵌入特征和各所述第二嵌入特征分别映射至值空间，得到每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量；
所述特征融合模块，还用于通过所述特征提取模型，基于所述自注意力权重融合每个所述第一嵌入特征的内容向量和每个所述第二嵌入特征的内容向量，获得所述多张掌部图像对应的掌部特征。
14.根据权利要求12至13任意一项所述的装置，其特征在于，所述特征提取装置应用于资源转移场景；所述图像获取模块，还用于响应于资源转移触发操作，调用摄像头对待验证对象的掌部进行不同角度的拍摄，获得多张掌部图像；
所述装置还包括：
验证模块，用于根据所述掌部特征对所述待验证对象进行身份验证，获得验证结果；
资源转移模块，用于当所述验证结果表征所述待验证对象的身份验证成功，获取资源转移信息，并基于所述资源转移信息执行资源转移操作。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931966.6A CN116645700B (zh) | 2023-07-27 | 2023-07-27 | 特征提取模型处理方法、装置和特征提取方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931966.6A CN116645700B (zh) | 2023-07-27 | 2023-07-27 | 特征提取模型处理方法、装置和特征提取方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116645700A CN116645700A (zh) | 2023-08-25 |
| CN116645700B true CN116645700B (zh) | 2023-11-03 |
Family
ID=87625155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310931966.6A Active CN116645700B (zh) | 2023-07-27 | 2023-07-27 | 特征提取模型处理方法、装置和特征提取方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645700B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822264A (zh) * | 2021-06-25 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种文本识别方法、装置、计算机设备和存储介质 |
| CN114360005A (zh) * | 2021-12-14 | 2022-04-15 | 武汉烽火信息集成技术有限公司 | 一种基于AU区域和多层级Transformer融合模块的微表情分类方法 |
| US11501580B1 (en) * | 2022-03-30 | 2022-11-15 | King Saud University | Methods and systems for implementing secure biometric recognition |
| WO2022236959A1 (zh) * | 2021-05-12 | 2022-11-17 | 腾讯云计算（北京）有限责任公司 | 图像数据处理方法、装置、设备以及存储介质 |
| CN115909336A (zh) * | 2021-08-17 | 2023-04-04 | 腾讯科技（深圳）有限公司 | 文本识别方法、装置、计算机设备和计算机可读存储介质 |
| CN116129228A (zh) * | 2023-04-19 | 2023-05-16 | 中国科学技术大学 | 图像匹配模型的训练方法、图像匹配方法及其装置 |
-
2023
- 2023-07-27 CN CN202310931966.6A patent/CN116645700B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022236959A1 (zh) * | 2021-05-12 | 2022-11-17 | 腾讯云计算（北京）有限责任公司 | 图像数据处理方法、装置、设备以及存储介质 |
| CN113822264A (zh) * | 2021-06-25 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种文本识别方法、装置、计算机设备和存储介质 |
| CN115909336A (zh) * | 2021-08-17 | 2023-04-04 | 腾讯科技（深圳）有限公司 | 文本识别方法、装置、计算机设备和计算机可读存储介质 |
| CN114360005A (zh) * | 2021-12-14 | 2022-04-15 | 武汉烽火信息集成技术有限公司 | 一种基于AU区域和多层级Transformer融合模块的微表情分类方法 |
| US11501580B1 (en) * | 2022-03-30 | 2022-11-15 | King Saud University | Methods and systems for implementing secure biometric recognition |
| CN116129228A (zh) * | 2023-04-19 | 2023-05-16 | 中国科学技术大学 | 图像匹配模型的训练方法、图像匹配方法及其装置 |
Non-Patent Citations (2)
| Title |
|---|
| A new hybrid approch for palm print recognition in PCA based palm print recognition system;Shivkant Kaushik等;《2016 5th International Conference on Reliability, Infocom Technologies and Optimization (Trends and Future Directions) (ICRITO)》;第239-244页 * |
| 基于度量学习和注意力机制的步态识别研究;李雪健;《中国优秀硕士学位论文全文数据库信息科技辑》(第05期);第I138-987页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116645700A (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210012198A1 (en) | Method for training deep neural network and apparatus | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
| EP4002161A1 (en) | Image retrieval method and apparatus, storage medium, and device | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN115953665B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| WO2023024413A1 (zh) | 信息的匹配方法、装置、计算机设备及可读存储介质 | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN114266897A (zh) | 痘痘类别的预测方法、装置、电子设备及存储介质 | |
| CN114299304B (zh) | 一种图像处理方法及相关设备 | |
| An | Pedestrian Re‐Recognition Algorithm Based on Optimization Deep Learning‐Sequence Memory Model | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN117237547B (zh) | 图像重建方法、重建模型的处理方法和装置 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN116645700B (zh) | 特征提取模型处理方法、装置和特征提取方法、装置 | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN117237856B (zh) | 图像识别方法、装置、计算机设备、存储介质 | |
| CN116883765B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN117938951B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| WO2024082891A1 (zh) | 一种数据处理方法及相关设备 | |
| CN116703687B (zh) | 图像生成模型处理、图像生成方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091057 Country of ref document: HK |