CN116778534A - 图像处理方法、装置、设备和介质 - Google Patents
图像处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116778534A CN116778534A CN202311080229.6A CN202311080229A CN116778534A CN 116778534 A CN116778534 A CN 116778534A CN 202311080229 A CN202311080229 A CN 202311080229A CN 116778534 A CN116778534 A CN 116778534A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- definition
- sample
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 168
- 238000012545 processing Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000003709 image segmentation Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 239000003999 initiator Substances 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 19
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置、设备和介质,该方法包括:获取包含多个区域图像的第一样本图像;调用注意力机制网络基于注意力参数识别多个区域图像中关注度不同的第一区域图像和第二区域图像;为第一区域图像添加第一预测标签,为第二区域图像添加第二预测标签;第一预测标签和第二预测标签用于指示不同的图像清晰度;获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;基于第一预测标签与第一参考标签的差异、第二预测标签与第二参考标签的差异修正注意力参数;修正后的注意力参数用于提取对掌纹图像进行分类处理的嵌入特征。采用本申请,可提高提取掌纹图像的嵌入特征的准确性及对掌纹图像进行分类处理的准确性。
Description
技术领域
本申请涉及人工智能的技术领域,尤其涉及一种图像处理方法、装置、设备和介质。
背景技术
在对掌纹图像进行分类的场景中,通常是先通过特征提取网络对掌纹图像进行嵌入处理,以提取得到掌纹图像的嵌入特征,进而,再通过该嵌入特征实现对掌纹图像的分类处理。
其中,掌纹图像是采用摄像机拍摄得到的,掌纹图像中可以包含清晰度不同的若干区域图像。现有应用中,可以直接采用特征提取网络对掌纹图像进行嵌入处理,在该过程中,特征提取网络可能会过多关注到掌纹图像中的不清晰区域的图像,而不清晰区域的图像的特征通常是不准确的,从而会导致对掌纹图像所提取得到的嵌入特征并不准确,进而导致对掌纹图像的分类结果也不准确。
发明内容
本申请提供了一种图像处理方法、装置、设备和介质,可提高对掌纹图像的嵌入特征进行提取的准确性,从而提高对掌纹图像进行分类处理的准确性。
本申请一方面提供了一种图像处理方法,该方法包括:
获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;
基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;
获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;
基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。
本申请一方面提供了一种图像处理装置,该装置包括:
第一获取模块,用于获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用模块,用于调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;
添加模块,用于基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;
第二获取模块,用于获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;
修正模块,用于基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。
可选的,调用模块调用注意力机制网络对多个区域图像进行识别处理,得到第一区域图像和第二区域图像的方式,包括:
调用注意力机制网络基于注意力参数,确定多个区域图像中每个区域图像的关注权重;任一区域图像的关注权重用于反映注意力机制网络对该任一区域图像的关注度;
将多个区域图像中关注权重在第一权重范围内的区域图像,作为第一区域图像,并将多个区域图像中关注权重在第二权重范围内的区域图像,作为第二区域图像;
其中,第一权重范围内的权重值大于第二权重范围内的权重值。
可选的,注意力机制网络包含于掌纹分类网络中,修正后的注意力参数在掌纹分类网络中被冻结,掌纹分类网络还包含分类子网络;上述装置还用于:
获取第二样本图像;第二样本图像是对样本掌纹拍摄得到的图像,第二样本图像具有掌纹标签,掌纹标签用于指示样本掌纹的真实类别;
调用注意力机制网络基于修正后的注意力参数,对第二样本图像进行嵌入处理,生成第二样本图像的样本嵌入特征;
调用分类子网络基于样本嵌入特征,对样本掌纹进行分类预测处理,得到样本掌纹的分类预测结果;
基于真实类别与分类预测结果之间的差异,修正掌纹分类网络中除被冻结的修正后的注意力参数之外的网络参数,得到训练好的掌纹分类网络。
可选的,第二样本图像有多个,多个第二样本图像是从多个拍摄角度对样本掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到样本掌纹的一个第二样本图像;
上述装置调用注意力机制网络基于修正后的注意力参数,对第二样本图像进行嵌入处理,生成第二样本图像的样本嵌入特征的方式,包括:
调用注意力机制网络基于修正后的注意力参数,分别对每个第二样本图像进行嵌入处理,生成每个第二样本图像的图像嵌入特征;
对多个第二样本图像的图像嵌入特征进行融合处理,生成样本嵌入特征。
可选的,上述装置对多个第二样本图像的图像嵌入特征进行融合处理,生成样本嵌入特征的方式,包括:
对多个第二样本图像的图像嵌入特征进行拼接处理,生成样本嵌入特征;或者,
对多个第二样本图像的图像嵌入特征进行加和处理,生成样本嵌入特征。
可选的,训练好的掌纹分类网络包含训练好的注意力机制网络和训练好的分类子网络;上述装置还用于:
获取待分类的掌纹图像;掌纹图像是对目标掌纹拍摄得到的图像;
调用训练好的注意力机制网络,对掌纹图像进行嵌入处理,生成掌纹图像的目标嵌入特征;
调用训练好的分类子网络基于目标嵌入特征,对目标掌纹进行分类预测处理,得到目标掌纹的目标类别。
可选的,掌纹图像有多个,多个掌纹图像是从多个拍摄角度对目标掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到目标掌纹的一个掌纹图像;
上述装置调用训练好的注意力机制网络,对掌纹图像进行嵌入处理,生成掌纹图像的目标嵌入特征的方式,包括:
调用训练好的注意力机制网络,分别对每个掌纹图像进行嵌入处理,生成每个掌纹图像的图像嵌入特征;
对多个掌纹图像的图像嵌入特征进行融合处理,生成目标嵌入特征。
可选的,目标类别用于指示目标掌纹的所属者;掌纹图像是在业务发起者发起针对目标业务的执行请求后拍摄得到的;
上述装置还用于:
若目标类别指示的目标掌纹的所属者是业务发起者,则对业务发起者执行目标业务。
可选的,第二获取模块获取第一区域图像的第一参考标签和第二区域图像的第二参考标签的方式,包括:
调用训练好的清晰度分类网络对第一区域图像的清晰度进行分类预测处理,得到第一区域图像的第一参考清晰度类型;
调用训练好的清晰度分类网络对第二区域图像的清晰度进行分类预测处理,得到第二区域图像的第二参考清晰度类型;
基于第一参考清晰度类型为第一区域图像添加第一参考标签,并基于第二参考清晰度类型为第二区域图像添加第二参考标签。
可选的,上述装置还用于:
获取第三样本图像及需训练的清晰度分类网络;第三样本图像具有清晰度标签,清晰度标签用于指示第三样本图像的真实清晰度类型;
调用需训练的清晰度分类网络对第三样本图像的清晰度类型进行分类预测处理,得到第三样本图像的预测清晰度类型;
基于真实清晰度类型与预测清晰度类型之间的差异,修正需训练的清晰度分类网络的网络参数,得到训练好的清晰度分类网络。
可选的,第二获取模块获取第一区域图像的第一参考标签和第二区域图像的第二参考标签的方式,包括:
调用训练好的图像分割网络对第一样本图像进行图像分割处理,得到第一样本图像的多个分割图像,一个分割图像对应一种清晰度类型;
将多个分割图像中与第一区域图像之间的重合度最高的分割图像,作为第一区域图像的第一清晰度匹配图像,并基于第一清晰度匹配图像对应的清晰度类型,为第一区域图像添加第一参考标签;以及,
将多个分割图像中与第二区域图像之间的重合度最高的分割图像,作为第二区域图像的第二清晰度匹配图像,并基于第二清晰度匹配图像对应的清晰度类型,为第二区域图像添加第二参考标签;
其中,第一参考清晰度类型是第一清晰度匹配图像对应的清晰度类型,第二参考清晰度类型是第二清晰度匹配图像对应的清晰度类型。
本申请一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面中的方法。
本申请一方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时使该处理器执行上述一方面中的方法。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请可以获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;并可以调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;进而,可以基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;还可以获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;从而,可以基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。由此可见,本申请提出的方法可以通过注意力机制网络对第一样本图像中的区域图像的关注度,来为第一样本图像的区域图像添加预测标签,且为关注度更高的区域图像添加的预测标签所指示的清晰度类型的清晰度可以更高,进而,就可以通过区域图像的真实标签(如参考标签)与预测标签之间的差异,来修正注意力参数,后续,注意力机制网络就可以通过修正后的注意力参数,对掌纹图像中清晰度更高的区域图像采取更高的关注度,并对掌纹图像中清晰度越低的区域图像采取更低的关注度,以此就可以更大限度地提取到掌纹图像中清晰度更高的区域图像的图像特征,最终提取得到掌纹图像更准确的嵌入特征,通过掌纹图像的更准确的嵌入特征,就可以实现对掌纹图像的更准确的分类处理。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种网络架构的结构示意图;
图2是本申请提供的一种修正网络参数的场景示意图;
图3是本申请提供的一种图像处理方法的流程示意图;
图4是本申请提供的一种训练图像分割网络的流程示意图;
图5是本申请提供的一种修正注意力参数的场景示意图;
图6是本申请提供的一种网络训练方法的流程示意图;
图7是本申请提供的一种训练掌纹分类网络的场景示意图;
图8是本申请提供的一种生成目标嵌入特征的场景示意图;
图9是本申请提供的一种掌纹预测的场景示意图;
图10是本申请提供的一种图像处理装置的结构示意图;
图11是本申请提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请涉及到人工智能相关技术。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请中主要涉及到了人工智能中的机器学习。其中,机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请中所涉及到的机器学习主要指,如何训练得到掌纹分类网络,进而通过训练好的掌纹分类网络实现对掌纹图像的掌纹类别的准确分类。该具体过程可以参见下述图3对应的实施例中的相关描述。
首先,需要进行说明的是,本申请所采集的所有数据(如掌纹图像等相关的所有数据)都是在该数据所属对象(如用户、机构或者企业)同意并授权的情况下进行采集的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
请参见图1,图1是本申请提供的一种网络架构的结构示意图。如图1所示,网络架构可以包括服务器200和终端设备集群,终端设备集群可以包括一个或者多个终端设备,这里将不对终端设备的数量进行限制。如图1所示,多个终端设备具体可以包括终端设备1、终端设备2、终端设备3、…、终端设备n;如图1所示,终端设备1、终端设备2、终端设备3、…、终端设备n均可以与服务器200进行网络连接,以便于每个终端设备可以通过网络连接与服务器200之间进行数据交互。
如图1所示的服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、车载终端等智能终端。下面以终端设备1与服务器200之间的通信为例,进行本申请实施例的具体描述。
请一并参见图2,图2是本申请提供的一种修正网络参数的场景示意图。如图2所示,服务器200可以通过第一样本图像来修正注意力机制网络的注意力参数,第一样本图像可以包含多个区域图像(属于第一样本图像的局部图像),注意力机制网络可以通过注意力参数可以确定对于输入图像(如第一样本图像)中的各个区域图像的关注度。
因此,服务器200可以通过注意力机制网络的注意力参数,为第一样本图像中的各个区域图像添加预测标签,该预测标签可以是通过注意力机制网络的注意力参数所确定的第一样本图像中各个区域图像的清晰度类型的标签,如可以将注意力机制网络越关注的区域图像打上清晰度越高的清晰度类型的标签。
服务器200还可以获取到第一样本图像中各个区域图像的参考标签,该参考标签可以用于指示第一样本图像中各个区域图像实际的清晰度类型。
因此,服务器200可以通过第一样本图像中各个区域图像的预测标签与参考标签之间的差异,来修正注意力机制网络的注意力参数,进而,使得注意力机制网络可以通过修正后的注意力参数,更加关注于输入图像中更清晰区域的图像的特征。
后续,注意力机制网络可以在掌纹识别场景中,作为对掌纹图像进行特征提取的网络,注意力机制网络可以通过按照上述方式进行修正后的注意力参数,对输入的掌纹图像进行嵌入处理,以生成掌纹图像准确的嵌入特征,进而通过该嵌入特征就可以实现对掌纹图像中掌纹类别的准确的分类处理。其中,该掌纹图像可以是由上述终端设备1对用户的掌纹所拍摄得到的图像,终端设备1可以将采集到的该掌纹图像发送给服务器200,以请求服务器200对该掌纹图像的掌纹类别进行分类处理,使得服务器200就可以调用上述注意力机制网络通过修正后的注意力参数,实现对该掌纹图像的掌纹类别的分类处理。上述具体过程也可以参见下述图3以及图6对应实施例中的相关描述。
采用本申请的方法,可以让注意力机制网络更加关注于输入的掌纹图像更清晰区域的图像的特征,从而可以提取得到掌纹图像更准确的嵌入特征,通过掌纹图像准确的嵌入特征也可以实现对掌纹图像的掌纹类别的更准确的分类处理。
请参见图3,图3是本申请提供的一种图像处理方法的流程示意图。本申请实施例中的执行主体可以是图像处理设备,该图像处理设备可以是一个计算机设备或者是多个计算机设备构成的计算机设备集群,该计算机设备可以是服务器,也可以是终端设备,或者是其他设备,对此不做限制。如图3所示,该方法可以包括:
步骤S101,获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同。
可选的,图像处理设备可以获取到第一样本图像,该第一样本图像可以包含多个区域图像,换句话说,该第一样本图像可以被划分为多个区域图像,各个区域图像都可以是该第一样本图像中的局部图像。即第一样本图像可以被划分为多个图像块(即多个区域图像),各个图像块的尺寸可以根据实际应用场景确定(可以是预先设定的划分尺寸),各个图像块的尺寸可以是相同的。
该多个区域图像中可以具有清晰度(即图像清晰度)不同的区域图像,若区域图像的清晰度不同,则可以认为区域图像所属的清晰度类型不同。其中,图像的清晰度类型可以理解为图像的清晰度等级,各个清晰度类型均可以用于指示各自对应的清晰度(图像清晰度),如用于指示各自对应的清晰度等级。
示例地,图像的清晰度类型至少可以包括两种,该两种可以包括模糊的清晰度类型以及清晰(或者高清)的清晰度类型,顾名思义,模糊的清晰度类型所指示的清晰度(模糊的清晰度)低于清晰的清晰度类型所指示的清晰度(清晰的清晰度),或者在此基础上,还可以依据清晰的程度划分为上述更细的清晰度类型,如图像的清晰度类型可以包括模糊(如低清)的清晰度类型、标清的清晰度类型、高清的清晰度类型、超高清的清晰度类型,等等,该各个清晰度类型所指示的清晰度可以是依次递增的,如标清的清晰度类型所指示的清晰度高于模糊的清晰度类型所指示的清晰度,高清的清晰度类型所指示的清晰度高于标清的清晰度类型所指示的清晰度,超高清的清晰度类型所指示的清晰度高于高清的清晰度类型所指示的清晰度。
其中,图像的清晰度类型的种类以及具体包括哪些清晰度类型,可以根据实际应用场景进行任意设置,对此不做限制。可以理解的是,区域图像的清晰度不同,可以是指区域图像的清晰度等级不同。
换句话说,第一样本图像可以包含至少两种清晰度类型的区域图像,一个区域图像可以具有一个清晰度类型。第一样本图像的具体数量可以根据实际应用场景确定。
步骤S102,调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度。
可选的,本申请可以让注意力机制网络对输入图像(如第一样本图像)按照对该输入图像划分的各个区域图像为单位来进行识别处理,因此,图像处理设备可以调用注意力机制网络对上述第一样本图像的多个区域图像进行识别处理(如关注度的识别处理),从而得到该多个区域图像中的第一区域图像和第二区域图像。
其中,注意力机制网络可以包含注意力参数(属于权重参数,是注意力机制网络的网络参数),注意力机制网络可以通过该注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度,即注意力机制网络对第一区域图像的关注度高于对第二区域图像的关注度,而注意力机制网络对各个区域图像的关注度可以是通过注意力机制网络的注意力参数所确定的,如下述内容描述。
注意力机制网络可以通过上述注意力参数对第一样本图像按照第一样本图像的各个区域图像为单位进行识别处理(即进行特征学习),以识别得到(即学习得到)注意力机制网络对各个区域图像的关注权重,注意力机制网络对一个区域图像可以具有一个关注权重,注意力机制网络对一个区域图像的关注权重,可以用于反映该注意力机制网络对该个区域图像的关注度,关注权重越高,关注度也就越高,反之,关注权重越低,关注度也就越低。关注权重的取值范围可以是[0,1]。
由上可知,注意力机制网络可以通过注意力参数,按照第一样本图像的各个图像块(即各个区域图像)为单位,获取针对第一样本图像的各个图像块的关注权重。也就是说,通过注意力机制网络的注意力参数可以知道注意力机制网络更为关注输入图像(如第一样本图像)的哪些图像块以及更不关注输入图像的哪些图像块。
可选的,可以根据图像的清晰度类型的种数,对关注权重的取值范围[0,1]进行划分,以划分得到关注权重的多个权重范围,一个清晰度类型可以对应关注权重的一个权重范围,清晰度类型所指示的清晰度越高,则清晰度类型对应的权重范围内的权重值也就越高,所有权重范围组合起来就可以是关注权重的整个取值范围[0,1]。
例如,若图像的清晰度类型有两种,包括模糊的清晰度类型和清晰的清晰度类型,则可以将关注权重的取值范围划分为两个权重范围,如划分为权重范围[0,0.5)和权重范围[0.5,1],权重范围[0,0.5)可以是模糊的清晰度类型对应的权重范围,权重范围[0.5,1]可以是清晰的清晰度类型对应的权重范围,各个权重范围之间没有重合。
因此,上述第一区域图像的关注权重和第二区域图像的关注权重可以是分别在划分的两个权重范围内的,且第一区域图像的关注权重大于第二区域图像的关注权重,即第一区域图像的关注权重所属权重范围内的权重值大于第二区域图像的关注权重所属权重范围内的权重值。
其中,可以将对关注权重的取值范围划分的多个权重范围中的任两个权重范围称之为是第一权重范围和第二权重范围,且第一权重范围内的权重值大于第二权重范围内的权重值。如上述权重范围[0.5,1]可以是第一权重范围,上述权重范围[0,0.5)可以是第二权重范围。
因此,本申请可以将第一样本图像的多个区域图像中关注权重在第一权重范围内的区域图像,作为是上述第一区域图像,并可以将该多个区域图像中关注权重在第二权重范围内的区域图像,作为是第二区域图像。第一区域图像和第二区域图像的数量均可以是一个或多个,第一区域图像和第二区域图像的具体数量可以根据实际应用场景确定。
可以理解的是,本申请是以两种清晰度类型的区域图像(即第一区域图像和第二区域图像)为例进行说明的,实际上,对于所有清晰度类型的区域图像都可以(或者是需要)按照同样的处理方式进行处理,以修正注意力机制网络的注意力参数,如下述内容描述。
步骤S103,基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度。
可选的,图像处理设备可以通过注意力机制网络对各个区域图像的关注权重所属的权重范围、以及各个权重范围对应的清晰度类型,来为各个区域图像添加相应的预测标签,如下述内容描述。
图像处理设备可以通过注意力机制网络对第一区域图像的关注权重(即关注度),为第一区域图像添加第一预测标签:如图像处理设备可以通过第一区域图像的关注权重所属权重范围对应的清晰度类型,为第一区域图像添加第一预测标签,该第一预测标签就可以是用于指示第一区域图像的清晰度类型属于第一预测清晰度类型,该第一预测清晰度类型也就是第一区域图像的关注权重所属权重范围对应的清晰度类型,该第一预测清晰度类型可以理解为是注意力机制网络基于注意力参数所确定的第一区域图像的清晰度类型。
同理,图像处理设备可以通过注意力机制网络对第二区域图像的关注权重(即关注度),为第二区域图像添加第二预测标签:如图像处理设备可以通过第二区域图像的关注权重所属权重范围对应的清晰度类型,为第二区域图像添加第二预测标签,该第二预测标签就可以是用于指示第二区域图像的清晰度类型属于第二预测清晰度类型,该第二预测清晰度类型也就是第二区域图像的关注权重所属权重范围对应的清晰度类型,该第二预测清晰度类型可以理解为是注意力机制网络基于注意力参数所确定的第二区域图像的清晰度类型。
并且,可以理解的是,第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度。
通过上述对第一区域图像和第二区域图像添加预测标签(包括第一预测标签和第二预测标签)的过程,可以理解的是,本申请可以为注意力机制网络越关注的区域图像,添加所指示的清晰度越高的清晰度类型的预测标签,后续,通过此种方式来修正注意力机制网络的注意力参数,也可以使得注意力机制网络可以通过修正的注意力参数,更为关注到输入图像中更清晰的区域图像,而更不关注输入图像中更模糊的区域图像。
步骤S104,获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型。
可选的,图像处理设备可以获取第一区域图像的参考标签以及第二区域图像的参考标签,可以将第一区域图像的参考标签称之为是第一参考标签,并可以将第二区域图像的参考标签称之为是第二参考标签。
其中,第一参考标签可以是第一区域图像实际的清晰度类型的标签,第二参考标签可以是第二区域图像实际的清晰度类型的标签。
第一参考标签可以用于指示第一区域图像的清晰度类型属于第一参考清晰度类型,即第一区域图像实际的清晰度类型可以是第一参考清晰度类型。同理,第二参考标签可以用于指示第二区域图像的清晰度类型属于第二参考清晰度类型,即第二区域图像实际的清晰度类型可以是第二参考清晰度类型。
其中,第一参考清晰度类型以及第二参考清晰度类型均可以是上述为图像设置的至少两种清晰度类型中的任一种。
可选的,可以通过训练好的清晰度分类网络,来获取上述第一区域图像的第一参考标签以及第二区域图像的第二参考标签,如下述内容描述:
图像处理设备可以调用训练好的清晰度分类网络,对第一区域图像的清晰度进行分类预测处理,可以得到第一区域图像的第一参考清晰度类型,该第一参考清晰度类型也就是采用训练好的清晰度分类网络所预测的第一区域图像实际的清晰度类型。
同理,图像处理设备可以调用训练好的清晰度分类网络,对第二区域图像的清晰度进行分类预测处理,可以得到第二区域图像的上述第二参考清晰度类型,该第二参考清晰度类型也就是采用训练好的清晰度分类网络所预测的第二区域图像实际的清晰度类型。
因此,图像处理设备可以通过上述第一参考清晰度类型为第一区域图像添加上述第一参考标签,该第一参考标签就用于指示第一区域图像的清晰度类型是第一参考清晰度类型。
图像处理设备还可以通过上述第二参考清晰度类型为第二区域图像添加上述第二参考标签,该第二参考标签就用于指示第二区域图像的清晰度类型是第二参考清晰度类型。
示例地,对训练得到上述训练好的清晰度分类网络的过程,可以包括:图像分类网络可以获取第三样本图像以及需训练的清晰度分类网络,该第三样本图像可以具有清晰度标签,该清晰度标签就可以用于指示第三样本图像的真实清晰度类型(即第三样本图像实际的清晰度类型)。可选的,本申请可以有若干第三样本图像,该若干第三样本图像可以包括各种清晰度类型(包括对图像预先配置的所有清晰度类型)的样本图像,用于对需训练的清晰度分类网络的训练。
进而,图像处理设备可以调用需训练的清晰度分类网络,对上述第三样本图像的清晰度类型进行分类预测处理,可以得到第三样本图像的预测清晰度类型,该预测清晰度类型也就是采用需训练的清晰度分类网络,对第三样本图像所预测得到的清晰度类型。
接着,图像处理设备可以通过第三样本图像的真实清晰度类型与预测清晰度类型之间的差异(可以通过该真实清晰度类型与预测清晰度类型之间的交叉熵损失体现),来修正需训练的清晰度分类网络的网络参数,即可得到训练好的清晰度分类网络。
更多的,图像处理设备还可以调用训练好的图像分割网络,来获取第一区域图像的第一参考标签和第二区域图像的第二参考标签,该过程可以包括:
该训练好的图像分割网络是训练得到的可以用于分割出输入图像中不同清晰度类型的各部分图像的网络,可选的,该训练好的图像分割网络可以是U-Net(一种卷积神经网络)。因此,图像处理设备可以调用训练好的图像分割网络对第一样本图像进行图像分割处理,以得到第一样本图像的多个分割图像,各个分割图像都可以是第一样本图像中的局部图像,一个分割图像可以对应一种清晰度类型,即一个分割图像具有一种清晰度类型,各个分割图像对应的清晰度类型也可以是由训练好的图像分割网络在分割得到各个分割图像时所识别得到的。
进而,图像处理设备可以将该多个分割图像中与第一区域图像之间的重合度最高(即图像重合区域最多)的分割图像,作为是第一区域图像的第一清晰度匹配图像,进而,就可以通过该第一清晰度匹配图像对应的清晰度类型,为第一区域图像添加第一参考标签,第一参考标签所指示的第一参考清晰度类型就可以是该第一清晰度匹配图像对应的清晰度类型。
同理,图像处理设备可以将该多个分割图像中与第二区域图像之间的重合度最高(即图像重合区域最多)的分割图像,作为是第二区域图像的第二清晰度匹配图像,进而,就可以通过该第二清晰度匹配图像对应的清晰度类型,为第二区域图像添加第二参考标签,第二参考标签所指示的第二参考清晰度类型就可以是该第二清晰度匹配图像对应的清晰度类型。
可选的,图像处理设备可以采用上述两种方式(一种是基于训练好的清晰度分类网络的方式,一种是基于训练好的图像分割网络的方式)中的任一种,预先为第一样本图像中各个区域图像分别添加对应的参考标签,进而在该步骤S104中,就可以直接获取到预先为第一区域图像和第二区域图像添加的参考标签(包括第一参考标签和第二参考标签)。
请参见图4,图4是本申请提供的一种训练图像分割网络的流程示意图。如图4所示,该流程可以包括:
1.假设对图像设置的清晰度类型包括清晰的清晰度类型和模糊的清晰度类型,因此,图像处理设备可以准备包含清晰区域标签和模糊区域标签的样本图像,该清晰区域标签可以是给该样本图像中清晰区域的图像所打的标签,该清晰区域标签就是清晰的清晰度类型的标签;该模糊区域标签就可以是给该样本图像中模糊区域的图像所打的标签,该模糊区域标签就是模糊的清晰度类型的标签。
2.图像处理设备可以构建图像分割网络,如图像处理设备可以构建U-Net网络作为图像分割网络。
3.图像处理设备可以定义图像分割网络的损失函数,如该损失函数可以是给样本图像打的区域标签(包括上述清晰区域标签和模糊区域标签)所指示的实际的清晰区域和模糊区域与预测得到的清晰区域和模糊区域之间的交叉熵损失。
4.图像处理设备可以对图像分割网络的网络参数进行初始化处理,如进行随机初始化处理,进而,就可以开始对图像分割网络进行训练。
5.图像处理设备可以获取当前轮对图像分割网络进行训练的样本(属于上述步骤1中准备的样本图像)。
6.图像处理设备可以将获取的样本输入到图像分割网络中进行前向传播,以预测识别出输入的样本图像中的清晰区域以及模糊区域。
7.图像处理设备可以通过所预测识别的清晰区域与清晰区域标签所标注的实际的清晰区域之间的差异(可以通过交叉熵损失体现),以及所预测识别的模糊区域与模糊区域标签所标注的实际的模糊区域之间的差异(可以通过交叉熵损失体现),计算得到图像分割网络的损失函数。
8.图像处理设备可以通过计算的损失函数在图像分割网络中进行反向传播,以修正(即更新)图像分割网络的网络参数。
9.图像处理设备可以判断当前是否达到停止条件,该停止条件可以是用于判定图像分割网络是否被训练好的条件,如该停止条件可以是图像分割网络的网络参数被训练至收敛状态,或者该停止条件可以是对图像分割网络迭代训练的轮次大于或等于次数阈值,等等。因此,若达到停止条件,则图像处理设备可以执行下述步骤10,若未达到停止条件,则图像处理设备可以重复执行上述步骤5,以开始对图像分割网络的下一轮迭代训练。
10.将此时训练得到的图像分割网络作为训练好的图像分割网络。
步骤S105,基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。
可选的,图像处理设备可以通过上述第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,来修正上述注意力机制网络的注意力参数。其中,第一预测标签与第一参考标签之间的差异可以通过第一预测标签与第一参考标签之间的交叉熵损失体现,第二预测标签与第二参考标签之间的差异可以通过第二预测标签与第二参考标签之间的交叉熵损失体现。
换句话说,可以通过第一预测标签与第一参考标签之间的交叉熵损失,以及第二预测标签与第二参考标签之间的交叉熵损失(如两个交叉熵之和),来修正注意力机制网络的注意力参数,修正的目的可以是使得该交叉熵之和趋于最小值(如0)。
请参见图5,图5是本申请提供的一种修正注意力参数的场景示意图。如图5所示,第一区域图像可以具有第一预测标签和第一参考标签,第二区域图像可以具有第二预测标签以及第二参考标签。
图像处理设备可以获取到第一区域图像的第一预测标签和第一参考标签之间的差异,如该差异可以是第一预测标签和第一参考标签之间的交叉熵损失。图像处理设备还可以获取到第二区域图像的第二预测标签以及第二参考标签之间的差异,如该差异可以是第二预测标签和第二参考标签之间的交叉熵损失。
进而,图像处理设备就可以通过上述所获取的第一预测标签和第一参考标签之间的交叉熵损失,以及第二预测标签和第二参考标签之间的交叉熵损失,来修正注意力机制网络的注意力参数,以得到修正后的注意力参数。
通过上述原理,注意力机制网络通过修正后的注意力参数可以更为关注到输入图像(如掌纹图像)中清晰度更高的区域图像,并更少关注到输入图像中清晰度更低的区域图像,因此,后续,采用该注意力机制网络就可以通过修正后的注意力参数,来更为准确地提取到掌纹图像的嵌入特征,该准确的嵌入特征就可以用于对掌纹图像的掌纹类别(如掌纹图像中的掌纹的所属者)进行更为准确的分类处理,该具体过程也可以参见下述图6对应实施例中的相关描述。
本申请可以获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;并可以调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;进而,可以基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;还可以获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;从而,可以基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。由此可见,本申请提出的方法可以通过注意力机制网络对第一样本图像中的区域图像的关注度,来为第一样本图像的区域图像添加预测标签,且为关注度更高的区域图像添加的预测标签所指示的清晰度类型的清晰度可以更高,进而,就可以通过区域图像的真实标签(如参考标签)与预测标签之间的差异,来修正注意力参数,后续,注意力机制网络就可以通过修正后的注意力参数,对掌纹图像中清晰度更高的区域图像采取更高的关注度,并对掌纹图像中清晰度越低的区域图像采取更低的关注度,以此就可以更大限度地提取到掌纹图像中清晰度更高的区域图像的图像特征,最终提取得到掌纹图像更准确的嵌入特征,通过掌纹图像的更准确的嵌入特征,就可以实现对掌纹图像的更准确的分类处理。
请参见图6,图6是本申请提供的一种网络训练方法的流程示意图。本申请可以应用于掌纹识别的场景中。如图6所示,该方法可以包括:
步骤S201,获取第二样本图像;第二样本图像是对样本掌纹拍摄得到的图像,第二样本图像具有掌纹标签,掌纹标签用于指示样本掌纹的真实类别。
可选的,图像处理设备还可以获取到第二样本图像,该第二样本图像可以是对样本掌纹(可以是任意用户的掌纹)拍摄得到的图像,该第二样本图像可以具有掌纹标签,该掌纹标签可以用于指示该样本掌纹的真实类别,该真实类别可以用于指示该样本掌纹实际的所属者(如实际所属的用户,即是哪个用户的掌纹)。
上述注意力机制网络可以包含于掌纹分类网络中,通过上述图3对应实施例中所描述的过程对注意力机制网络的注意力参数进行修正后所得到的注意力参数(即修正后的注意力参数),在掌纹分类网络中可以被进行冻结处理,使得后续在对掌纹分类网络进行训练的过程中,该修正的注意力参数就可以无需再进行修正。
换句话说,上述图3对应实施例中的过程可以理解为是对掌纹分类网络中注意力机制网络的注意力参数进行修正的一个前置操作,在对掌纹分类网络中注意力机制网络的注意力参数进行修正之后,还可以对掌纹分类网络进行整体的训练,该训练过程中,就可以不更新修正后的注意力参数,而会更新掌纹分类网络中除修正的注意力参数之外的其他网络参数,如下述内容描述。
步骤S202,调用注意力机制网络基于修正后的注意力参数,对第二样本图像进行嵌入处理,生成第二样本图像的样本嵌入特征。
可选的,上述注意力机制网络可以属于掌纹分类网络中的一个用于对输入图像进行特征提取的子网络,注意力机制网络的网络参数除了包括修正后的注意力参数之外,还可以包括其他用于对输入图像进行嵌入处理(即特征提取)的网络参数。
因此,图像处理设备可以调用掌纹分类网络中的上述注意力机制网络,基于上述修正后的注意力参数以及其他用于对输入图像进行嵌入处理的网络参数,对第二样本图像(即此时注意力机制网络的输入图像)进行嵌入处理(即特征提取处理),可以生成第二样本图像的样本嵌入特征,可选的,该样本嵌入特征可以是特征向量。该样本嵌入特征也就是注意力机制网络对第二样本图像学习得到的特征。
可选的,上述第二样本图像可以有多个,多个第二样本图像可以是从多个拍摄角度对上述样本掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到样本掌纹的一个第二样本图像,因此,本申请生成上述样本嵌入特征的过程,可以包括:
图像处理设备可以调用注意力机制网络通过基于上述修正后的注意力参数以及其他用于对输入图像进行嵌入处理的网络参数,分别对每个第二样本图像进行嵌入处理,可以生成每个第二样本图像的图像嵌入特征,一个第二样本图像可以具有一个图像嵌入特征,一个第二样本图像的图像嵌入特征也就是注意力机制网络对该第二样本图像学习得到的特征。
进而,图像处理设备可以对上述多个第二样本图像的图像嵌入特征进行融合处理,即可生成上述样本嵌入特征,该样本嵌入特征就可以是融合了样本掌纹的多角度的拍摄图像(如多个第二样本图像)的特征所得到的特征。
可以理解的是,由于各个拍摄角度上所拍摄得到的第二样本图像可以包含样本掌纹不同的清晰区域的图像,因此,通过各个拍摄角度上所得到的第二样本图像来融合得到样本嵌入特征,可以使得该样本嵌入特征包含样本掌纹在各个拍摄角度上的清晰区域的图像的特征,而清晰区域的图像的特征比模糊区域的图像的特征更准确,因此,采用此种方式所生成的样本嵌入特征也会更加准确,后续通过该样本嵌入特征也可以实现对第二样本图像的掌纹类别的更准确的分类处理。
可选的,对上述多个第二样本图像的图像嵌入特征进行融合处理的方式包括但不限于以下方式:对该多个第二样本图像的图像嵌入特征进行拼接处理(如横向拼接),以生成样本嵌入特征;或者,对该多个第二样本图像的图像嵌入特征进行加和处理,以生成样本嵌入特征。可选的,所生成的样本嵌入特征也可以是特征向量。
其中,对该多个第二样本图像的图像嵌入特征进行加和处理的过程可以包括:各个第二样本图像的图像嵌入特征的维度可以是相同的,因此,可以对各个第二样本图像的图像嵌入特征中相同位置上的特征值进行相加,以生成样本嵌入特征。
步骤S203,调用分类子网络基于样本嵌入特征,对样本掌纹进行分类预测处理,得到样本掌纹的分类预测结果。
可选的,掌纹分类网络中还可以包括分类子网络,该分类子网络可以用于对掌纹图像中的掌纹进行分类处理,以输出掌纹图像中的掌纹属于用户集(可以是在掌纹识别的应用场景中所需识别的全量用户的集合)中每个用户(可以称为对象)的概率(可以构成概率分布)。可选的,该分类子网络可以是全连接网络。
因此,掌纹分类网络可以调用该分类子网络通过上述样本嵌入特征,对样本掌纹进行分类预测处理,即可得到样本掌纹的分类预测结果,该分类预测结果可以是由所预测的样本掌纹属于用户集中各个用户的概率所构成的概率分布(可以表示为一个向量)。
步骤S204,基于真实类别与分类预测结果之间的差异,修正掌纹分类网络中除被冻结的修正后的注意力参数之外的网络参数,得到训练好的掌纹分类网络。
可选的,图像处理设备可以通过上述样本掌纹的真实类别(也可以表示为一个向量,该向量中真实类别指示的用户处的概率可以1,其他用户处的概率可以为0)与分类预测结果之间的差异(可以通过交叉熵损失体现),来修正掌纹分类网络中除被冻结的修正后的注意力参数之外的其他网络参数(可以包括注意力机制网络的除修正后的注意力参数之外的用于对图像进行嵌入处理的网络参数、以及分类子网络的网络参数),以得到训练好的掌纹分类网络。
如可以通过上述过程不断对掌纹分类网络进行迭代训练,直至掌纹分类网络的网络参数(除被冻结的修正后的注意力参数之外的其他网络参数)达到收敛状态,或者是对掌纹分类网络迭代训练的次数大于或等于次数阈值,则可以将此时训练得到的掌纹分类网络,作为是训练好的掌纹分类网络。
其中,训练好的掌纹分类网络中的注意力机制网络即为训练好的注意力机制网络,训练好的掌纹分类网络中的分类子网络即为训练好的分类子网络。
请参见图7,图7是本申请提供的一种训练掌纹分类网络的场景示意图。如图7所示,首先,图像处理设备可以通过第一样本图像修正掌纹分类网络中注意力机制网络的注意力参数。
进而,可以通过第二样本图像修正掌纹分类网络中除修正后的注意力参数之外的其他网络参数(包括注意力机制网络的除修正后的注意力参数之外的其他特征嵌入特征,以及分类子网络的用于进行掌纹分类的网络参数),最终即可得到训练好的掌纹分类网络。
通过上述过程,即可训练得到掌纹分类网络,训练好的掌纹分类网络可以包含训练好的注意力机制网络和训练好的分类子网络。后续,就可以通过训练好的掌纹分类网络实现对掌纹图像准确的分类处理,如下述内容描述。
图像处理设备可以获取待分类的掌纹图像,该掌纹图像可以是对目标掌纹(可以是任意用户的掌纹)拍摄得到的图像。可选的,该待分类的掌纹图像也可以有多个,多个掌纹图像可以是从多个拍摄角度对目标掌纹拍摄得到的图像,一个拍摄角度可以拍摄得到该目标掌纹的一个掌纹图像。
图像处理设备可以调用训练好的注意力机制网络,对该待分类的掌纹图像进行嵌入处理,以生成该待分类的掌纹图像的目标嵌入特征,该目标嵌入特征的生成原理与上述样本嵌入特征的生成原理相同,可以包括:
图像处理设备可以调用训练好的注意力机制网络,分别对待分类的每个掌纹图像进行嵌入处理,以生成该每个掌纹图像的图像嵌入特征,进而,可以对该待分类的多个掌纹图像的图像嵌入特征进行融合处理(如拼接处理或者加和处理),即可生成上述目标嵌入特征。
其中,由于训练好的注意力机制网络包括上述修正后的注意力参数,因此,训练好的注意力机制网络可以通过修正后的注意力参数更为关注到各个掌纹图像中的清晰区域的图像,因此,可以生成待分类的掌纹图像的更准确的目标嵌入特征。
请参见图8,图8是本申请提供的一种生成目标嵌入特征的场景示意图。如图8所示,待分类的掌纹图像可以包括此处多拍摄角度所拍摄得到的掌纹图像1~掌纹图像m,图像处理设备可以调用训练好的注意力机制网络对待分类的各个掌纹图像进行嵌入处理,以生成掌纹图像1的图像嵌入特征1、掌纹图像2的图像嵌入特征2、掌纹图像3的图像嵌入特征3、……以及掌纹图像m的图像嵌入特征m。
进而,可以对上述生成的图像嵌入特征1、图像嵌入特征2、图像嵌入特征3、……以及图像嵌入特征m进行特征融合处理,即可生成目标嵌入特征。
进而,图像处理设备可以调用训练好的分类子网络通过上述生成的目标嵌入特征,对目标掌纹进行分类预测处理,即可得到目标掌纹的目标类别,该目标类别可以表示训练好的分类子网络所预测的、目标掌纹属于用户集中各个用户的概率中的最大概率所对应的用户,该用户就是所预测的目标掌纹的所属者,即目标类别可以用于指示所分类出的目标掌纹的所属者。
请参见图9,图9是本申请提供的一种掌纹预测的场景示意图。如图9所示,图像处理设备可以将待分类的掌纹图像输入训练好的掌纹分类网络,以调用训练好的掌纹分类图像中的训练好的注意力机制网络提取得到待分类的掌纹图像的目标嵌入特征。
进而,可以调用训练好的掌纹分类图像中的训练好的分类子网络通过上述生成的目标嵌入特征,分类预测得到上述待分类的掌纹图像中的目标掌纹的目标类别。
在一种可行的实施方式中,上述掌纹图像可以是在业务发起者(可以是一个业务账号,该业务账号可以属于某个业务用户)发起(如在业务平台中发起)针对目标业务的执行请求后,采用掌纹采集设备(如发起目标业务的执行请求的设备)实时拍摄得到的掌纹图像。
因此,若上述目标类别指示上述目标掌纹的所属者是上述业务发起者(即是上述业务发起者所属的业务用户),则可以对业务发起者执行(办理)上述目标业务,即为业务发起者提供目标业务。
通过上述过程,就实现了在对掌纹图像进行准确的分类识别后,才可进行相应业务的安全处理。
请参见图10,图10是本申请提供的一种图像处理装置的结构示意图。如图10所示,该图像处理装置1可以包括:第一获取模块11、调用模块12、添加模块13、第二获取模块14和修正模块15。
第一获取模块11,用于获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用模块12,用于调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;
添加模块13,用于基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;
第二获取模块14,用于获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;
修正模块15,用于基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。
可选的,调用模块12调用注意力机制网络对多个区域图像进行识别处理,得到第一区域图像和第二区域图像的方式,包括:
调用注意力机制网络基于注意力参数,确定多个区域图像中每个区域图像的关注权重;任一区域图像的关注权重用于反映注意力机制网络对该任一区域图像的关注度;
将多个区域图像中关注权重在第一权重范围内的区域图像,作为第一区域图像,并将多个区域图像中关注权重在第二权重范围内的区域图像,作为第二区域图像;
其中,第一权重范围内的权重值大于第二权重范围内的权重值。
可选的,注意力机制网络包含于掌纹分类网络中,修正后的注意力参数在掌纹分类网络中被冻结,掌纹分类网络还包含分类子网络;上述装置1还用于:
获取第二样本图像;第二样本图像是对样本掌纹拍摄得到的图像,第二样本图像具有掌纹标签,掌纹标签用于指示样本掌纹的真实类别;
调用注意力机制网络基于修正后的注意力参数,对第二样本图像进行嵌入处理,生成第二样本图像的样本嵌入特征;
调用分类子网络基于样本嵌入特征,对样本掌纹进行分类预测处理,得到样本掌纹的分类预测结果;
基于真实类别与分类预测结果之间的差异,修正掌纹分类网络中除被冻结的修正后的注意力参数之外的网络参数,得到训练好的掌纹分类网络。
可选的,第二样本图像有多个,多个第二样本图像是从多个拍摄角度对样本掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到样本掌纹的一个第二样本图像;
上述装置1调用注意力机制网络基于修正后的注意力参数,对第二样本图像进行嵌入处理,生成第二样本图像的样本嵌入特征的方式,包括:
调用注意力机制网络基于修正后的注意力参数,分别对每个第二样本图像进行嵌入处理,生成每个第二样本图像的图像嵌入特征;
对多个第二样本图像的图像嵌入特征进行融合处理,生成样本嵌入特征。
可选的,上述装置1对多个第二样本图像的图像嵌入特征进行融合处理,生成样本嵌入特征的方式,包括:
对多个第二样本图像的图像嵌入特征进行拼接处理,生成样本嵌入特征;或者,
对多个第二样本图像的图像嵌入特征进行加和处理,生成样本嵌入特征。
可选的,训练好的掌纹分类网络包含训练好的注意力机制网络和训练好的分类子网络;上述装置1还用于:
获取待分类的掌纹图像;掌纹图像是对目标掌纹拍摄得到的图像;
调用训练好的注意力机制网络,对掌纹图像进行嵌入处理,生成掌纹图像的目标嵌入特征;
调用训练好的分类子网络基于目标嵌入特征,对目标掌纹进行分类预测处理,得到目标掌纹的目标类别。
可选的,掌纹图像有多个,多个掌纹图像是从多个拍摄角度对目标掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到目标掌纹的一个掌纹图像;
上述装置1调用训练好的注意力机制网络,对掌纹图像进行嵌入处理,生成掌纹图像的目标嵌入特征的方式,包括:
调用训练好的注意力机制网络,分别对每个掌纹图像进行嵌入处理,生成每个掌纹图像的图像嵌入特征;
对多个掌纹图像的图像嵌入特征进行融合处理,生成目标嵌入特征。
可选的,目标类别用于指示目标掌纹的所属者;掌纹图像是在业务发起者发起针对目标业务的执行请求后拍摄得到的;
上述装置1还用于:
若目标类别指示的目标掌纹的所属者是业务发起者,则对业务发起者执行目标业务。
可选的,第二获取模块14获取第一区域图像的第一参考标签和第二区域图像的第二参考标签的方式,包括:
调用训练好的清晰度分类网络对第一区域图像的清晰度进行分类预测处理,得到第一区域图像的第一参考清晰度类型;
调用训练好的清晰度分类网络对第二区域图像的清晰度进行分类预测处理,得到第二区域图像的第二参考清晰度类型;
基于第一参考清晰度类型为第一区域图像添加第一参考标签,并基于第二参考清晰度类型为第二区域图像添加第二参考标签。
可选的,上述装置1还用于:
获取第三样本图像及需训练的清晰度分类网络;第三样本图像具有清晰度标签,清晰度标签用于指示第三样本图像的真实清晰度类型;
调用需训练的清晰度分类网络对第三样本图像的清晰度类型进行分类预测处理,得到第三样本图像的预测清晰度类型;
基于真实清晰度类型与预测清晰度类型之间的差异,修正需训练的清晰度分类网络的网络参数,得到训练好的清晰度分类网络。
可选的,第二获取模块14获取第一区域图像的第一参考标签和第二区域图像的第二参考标签的方式,包括:
调用训练好的图像分割网络对第一样本图像进行图像分割处理,得到第一样本图像的多个分割图像,一个分割图像对应一种清晰度类型;
将多个分割图像中与第一区域图像之间的重合度最高的分割图像,作为第一区域图像的第一清晰度匹配图像,并基于第一清晰度匹配图像对应的清晰度类型,为第一区域图像添加第一参考标签;以及,
将多个分割图像中与第二区域图像之间的重合度最高的分割图像,作为第二区域图像的第二清晰度匹配图像,并基于第二清晰度匹配图像对应的清晰度类型,为第二区域图像添加第二参考标签;
其中,第一参考清晰度类型是第一清晰度匹配图像对应的清晰度类型,第二参考清晰度类型是第二清晰度匹配图像对应的清晰度类型。
根据本申请的一个实施例,图3所示的图像处理方法所涉及的步骤可由图10所示的图像处理装置1中的各个模块来执行。例如,图3中所示的步骤S101可由图10中的第一获取模块11来执行,图3中所示的步骤S102可由图10中的调用模块12来执行;图3中所示的步骤S103可由图10中的添加模块13来执行,图3中所示的步骤S104可由图10中的第二获取模块14来执行,图3中所示的步骤S105可由图10中的修正模块15来执行。
本申请可以获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;并可以调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;进而,可以基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;还可以获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;从而,可以基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。由此可见,本申请提出的装置可以通过注意力机制网络对第一样本图像中的区域图像的关注度,来为第一样本图像的区域图像添加预测标签,且为关注度更高的区域图像添加的预测标签所指示的清晰度类型的清晰度可以更高,进而,就可以通过区域图像的真实标签(如参考标签)与预测标签之间的差异,来修正注意力参数,后续,注意力机制网络就可以通过修正后的注意力参数,对掌纹图像中清晰度更高的区域图像采取更高的关注度,并对掌纹图像中清晰度越低的区域图像采取更低的关注度,以此就可以更大限度地提取到掌纹图像中清晰度更高的区域图像的图像特征,最终提取得到掌纹图像更准确的嵌入特征,通过掌纹图像的更准确的嵌入特征,就可以实现对掌纹图像的更准确的分类处理。
根据本申请的一个实施例,图10所示的图像处理装置1中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元,可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个单元来实现,或者多个模块的功能由一个单元实现。在本申请的其它实施例中,图像处理装置1也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的一个实施例,可以在通用计算机设备(该计算机设备可以包含中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件)上,运行能够执行本申请各实施例中所示的相应方法所涉及的各步骤的计算机程序,来构造如图10中所示的图像处理装置1。上述计算机程序可以记载于如计算机可读记录介质上,且可以通过该计算机可读记录介质装载于上述计算机设备中,并在其中运行。
请参见图11,图11是本申请提供的一种计算机设备的结构示意图。如图11所示,计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,在一些实施例中,计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取第一样本图像;第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用注意力机制网络对多个区域图像进行识别处理,得到多个区域图像中的第一区域图像和第二区域图像;注意力机制网络包含注意力参数,注意力机制网络基于注意力参数确定对第一区域图像的关注度高于对第二区域图像的关注度;
基于注意力机制网络对第一区域图像的关注度,为第一区域图像添加第一预测标签,并基于注意力机制网络对第二区域图像的关注度,为第二区域图像添加第二预测标签;第一预测标签用于指示第一区域图像属于第一预测清晰度类型;第二预测标签用于指示第二区域图像属于第二预测清晰度类型;第一预测清晰度类型所指示的清晰度高于第二预测清晰度类型所指示的清晰度;
获取第一区域图像的第一参考标签和第二区域图像的第二参考标签;第一参考标签用于指示第一区域图像属于第一参考清晰度类型;第二参考标签用于指示第二区域图像属于第二参考清晰度类型;
基于第一预测标签与第一参考标签之间的差异,以及第二预测标签与第二参考标签之间的差异,修正注意力参数;注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对掌纹图像的掌纹类别进行分类处理。
应当理解,本申请实施例中所描述的计算机设备1000可执行本申请各实施例中对上述图像处理方法的描述,也可执行前文图10所对应实施例中对上述图像处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有计算机程序,当处理器执行该计算机程序时,能够执行本申请各实施例中对图像处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述计算机程序可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(securedigital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行本申请各实施例中对上述图像处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一样本图像;所述第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用注意力机制网络对所述多个区域图像进行识别处理,得到所述多个区域图像中的第一区域图像和第二区域图像;所述注意力机制网络包含注意力参数,所述注意力机制网络基于所述注意力参数确定对所述第一区域图像的关注度高于对所述第二区域图像的关注度;
基于所述注意力机制网络对所述第一区域图像的关注度,为所述第一区域图像添加第一预测标签,并基于所述注意力机制网络对所述第二区域图像的关注度,为所述第二区域图像添加第二预测标签;所述第一预测标签用于指示所述第一区域图像属于第一预测清晰度类型;所述第二预测标签用于指示所述第二区域图像属于第二预测清晰度类型;所述第一预测清晰度类型所指示的清晰度高于所述第二预测清晰度类型所指示的清晰度;
获取所述第一区域图像的第一参考标签和所述第二区域图像的第二参考标签;所述第一参考标签用于指示所述第一区域图像属于第一参考清晰度类型;所述第二参考标签用于指示所述第二区域图像属于第二参考清晰度类型;
基于所述第一预测标签与所述第一参考标签之间的差异,以及所述第二预测标签与所述第二参考标签之间的差异,修正所述注意力参数;所述注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对所述掌纹图像的掌纹类别进行分类处理。
2.如权利要求1所述的方法,其特征在于,所述调用注意力机制网络对所述多个区域图像进行识别处理,得到第一区域图像和第二区域图像,包括:
调用所述注意力机制网络基于所述注意力参数,确定所述多个区域图像中每个区域图像的关注权重;任一区域图像的关注权重用于反映所述注意力机制网络对该任一区域图像的关注度;
将所述多个区域图像中关注权重在第一权重范围内的区域图像,作为所述第一区域图像,并将所述多个区域图像中关注权重在第二权重范围内的区域图像,作为所述第二区域图像;
其中,所述第一权重范围内的权重值大于所述第二权重范围内的权重值。
3.如权利要求1所述的方法,其特征在于,所述注意力机制网络包含于掌纹分类网络中,所述修正后的注意力参数在所述掌纹分类网络中被冻结,所述掌纹分类网络还包含分类子网络;所述方法还包括:
获取第二样本图像;所述第二样本图像是对样本掌纹拍摄得到的图像,所述第二样本图像具有掌纹标签,所述掌纹标签用于指示所述样本掌纹的真实类别;
调用所述注意力机制网络基于所述修正后的注意力参数,对所述第二样本图像进行嵌入处理,生成所述第二样本图像的样本嵌入特征;
调用所述分类子网络基于所述样本嵌入特征,对所述样本掌纹进行分类预测处理,得到所述样本掌纹的分类预测结果;
基于所述真实类别与所述分类预测结果之间的差异,修正所述掌纹分类网络中除被冻结的所述修正后的注意力参数之外的网络参数,得到训练好的掌纹分类网络。
4.如权利要求3所述的方法,其特征在于,所述第二样本图像有多个,多个第二样本图像是从多个拍摄角度对所述样本掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到所述样本掌纹的一个第二样本图像;
所述调用所述注意力机制网络基于所述修正后的注意力参数,对所述第二样本图像进行嵌入处理,生成所述第二样本图像的样本嵌入特征,包括:
调用所述注意力机制网络基于所述修正后的注意力参数,分别对每个第二样本图像进行嵌入处理,生成所述每个第二样本图像的图像嵌入特征;
对所述多个第二样本图像的图像嵌入特征进行融合处理,生成所述样本嵌入特征。
5.如权利要求4所述的方法,其特征在于,所述对所述多个第二样本图像的图像嵌入特征进行融合处理,生成所述样本嵌入特征,包括:
对所述多个第二样本图像的图像嵌入特征进行拼接处理,生成所述样本嵌入特征;或者,
对所述多个第二样本图像的图像嵌入特征进行加和处理,生成所述样本嵌入特征。
6.如权利要求3所述的方法,其特征在于,所述训练好的掌纹分类网络包含训练好的注意力机制网络和训练好的分类子网络;所述方法还包括:
获取待分类的掌纹图像;所述掌纹图像是对目标掌纹拍摄得到的图像;
调用所述训练好的注意力机制网络,对所述掌纹图像进行嵌入处理,生成所述掌纹图像的目标嵌入特征;
调用所述训练好的分类子网络基于所述目标嵌入特征,对所述目标掌纹进行分类预测处理,得到所述目标掌纹的目标类别。
7.如权利要求6所述的方法,其特征在于,所述掌纹图像有多个,多个掌纹图像是从多个拍摄角度对所述目标掌纹拍摄得到的图像,一个拍摄角度用于拍摄得到所述目标掌纹的一个掌纹图像;
所述调用所述训练好的注意力机制网络,对所述掌纹图像进行嵌入处理,生成所述掌纹图像的目标嵌入特征,包括:
调用所述训练好的注意力机制网络,分别对每个掌纹图像进行嵌入处理,生成所述每个掌纹图像的图像嵌入特征;
对所述多个掌纹图像的图像嵌入特征进行融合处理,生成所述目标嵌入特征。
8.如权利要求6所述的方法,其特征在于,所述目标类别用于指示所述目标掌纹的所属者;所述掌纹图像是在业务发起者发起针对目标业务的执行请求后拍摄得到的;
所述方法还包括:
若所述目标类别指示的所述目标掌纹的所属者是所述业务发起者,则对所述业务发起者执行所述目标业务。
9.如权利要求1所述的方法,其特征在于,所述获取所述第一区域图像的第一参考标签和所述第二区域图像的第二参考标签,包括:
调用训练好的清晰度分类网络对第一区域图像的清晰度进行分类预测处理,得到所述第一区域图像的所述第一参考清晰度类型;
调用所述训练好的清晰度分类网络对第二区域图像的清晰度进行分类预测处理,得到所述第二区域图像的所述第二参考清晰度类型;
基于所述第一参考清晰度类型为所述第一区域图像添加所述第一参考标签,并基于所述第二参考清晰度类型为所述第二区域图像添加所述第二参考标签。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
获取第三样本图像及需训练的清晰度分类网络;所述第三样本图像具有清晰度标签,所述清晰度标签用于指示所述第三样本图像的真实清晰度类型;
调用所述需训练的清晰度分类网络对所述第三样本图像的清晰度类型进行分类预测处理,得到所述第三样本图像的预测清晰度类型;
基于所述真实清晰度类型与所述预测清晰度类型之间的差异,修正所述需训练的清晰度分类网络的网络参数,得到所述训练好的清晰度分类网络。
11.如权利要求1所述的方法,其特征在于,所述获取所述第一区域图像的第一参考标签和所述第二区域图像的第二参考标签,包括:
调用训练好的图像分割网络对所述第一样本图像进行图像分割处理,得到所述第一样本图像的多个分割图像,一个分割图像对应一种清晰度类型;
将所述多个分割图像中与所述第一区域图像之间的重合度最高的分割图像,作为所述第一区域图像的第一清晰度匹配图像,并基于所述第一清晰度匹配图像对应的清晰度类型,为所述第一区域图像添加所述第一参考标签;以及,
将所述多个分割图像中与所述第二区域图像之间的重合度最高的分割图像,作为所述第二区域图像的第二清晰度匹配图像,并基于所述第二清晰度匹配图像对应的清晰度类型,为所述第二区域图像添加所述第二参考标签;
其中,所述第一参考清晰度类型是所述第一清晰度匹配图像对应的清晰度类型,所述第二参考清晰度类型是所述第二清晰度匹配图像对应的清晰度类型。
12.一种图像处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一样本图像;所述第一样本图像包含多个区域图像,若区域图像的清晰度不同,则区域图像所属的清晰度类型不同;
调用模块,用于调用注意力机制网络对所述多个区域图像进行识别处理,得到所述多个区域图像中的第一区域图像和第二区域图像;所述注意力机制网络包含注意力参数,所述注意力机制网络基于所述注意力参数确定对所述第一区域图像的关注度高于对所述第二区域图像的关注度;
添加模块,用于基于所述注意力机制网络对所述第一区域图像的关注度,为所述第一区域图像添加第一预测标签,并基于所述注意力机制网络对所述第二区域图像的关注度,为所述第二区域图像添加第二预测标签;所述第一预测标签用于指示所述第一区域图像属于第一预测清晰度类型;所述第二预测标签用于指示所述第二区域图像属于第二预测清晰度类型;所述第一预测清晰度类型所指示的清晰度高于所述第二预测清晰度类型所指示的清晰度;
第二获取模块,用于获取所述第一区域图像的第一参考标签和所述第二区域图像的第二参考标签;所述第一参考标签用于指示所述第一区域图像属于第一参考清晰度类型;所述第二参考标签用于指示所述第二区域图像属于第二参考清晰度类型;
修正模块,用于基于所述第一预测标签与所述第一参考标签之间的差异,以及所述第二预测标签与所述第二参考标签之间的差异,修正所述注意力参数;所述注意力机制网络用于基于修正后的注意力参数提取掌纹图像的嵌入特征,该嵌入特征用于对所述掌纹图像的掌纹类别进行分类处理。
13.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-11中任一项所述方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适用于由处理器加载并执行权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311080229.6A CN116778534B (zh) | 2023-08-25 | 2023-08-25 | 图像处理方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311080229.6A CN116778534B (zh) | 2023-08-25 | 2023-08-25 | 图像处理方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116778534A true CN116778534A (zh) | 2023-09-19 |
CN116778534B CN116778534B (zh) | 2023-10-20 |
Family
ID=87986407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311080229.6A Active CN116778534B (zh) | 2023-08-25 | 2023-08-25 | 图像处理方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778534B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205908A (zh) * | 2022-07-01 | 2022-10-18 | 济南大学 | 基于深度哈希和注意力机制的可撤销掌纹识别方法 |
CN115564993A (zh) * | 2022-09-26 | 2023-01-03 | 盐城工学院 | 一种基于多尺度特征融合和注意力机制的唇纹图像分类算法 |
-
2023
- 2023-08-25 CN CN202311080229.6A patent/CN116778534B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205908A (zh) * | 2022-07-01 | 2022-10-18 | 济南大学 | 基于深度哈希和注意力机制的可撤销掌纹识别方法 |
CN115564993A (zh) * | 2022-09-26 | 2023-01-03 | 盐城工学院 | 一种基于多尺度特征融合和注意力机制的唇纹图像分类算法 |
Also Published As
Publication number | Publication date |
---|---|
CN116778534B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8463025B2 (en) | Distributed artificial intelligence services on a cell phone | |
CN109816200B (zh) | 任务推送方法、装置、计算机设备和存储介质 | |
CN112232293A (zh) | 图像处理模型训练、图像处理方法及相关设备 | |
CN114419570B (zh) | 一种点云数据识别方法、装置、电子设备及存储介质 | |
CN111047088A (zh) | 预测图像获取方法、装置、计算机设备和存储介质 | |
CN112333165B (zh) | 身份认证方法、装置、设备及系统 | |
CN113379045B (zh) | 数据增强方法和装置 | |
CN117095019B (zh) | 一种图像分割方法及相关装置 | |
CN114005019A (zh) | 一种翻拍图像识别方法及其相关设备 | |
CN116778534B (zh) | 图像处理方法、装置、设备和介质 | |
CN113283388B (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
CN117036843A (zh) | 目标检测模型训练方法、目标检测方法和装置 | |
CN114898381A (zh) | Ocr识别方法及装置、存储介质和电子设备 | |
CN114241253A (zh) | 违规内容识别的模型训练方法、系统、服务器及存储介质 | |
CN116580054A (zh) | 视频数据处理方法、装置、设备以及介质 | |
CN114510592A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
CN117058432B (zh) | 图像查重方法、装置、电子设备及可读存储介质 | |
CN117011616B (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
CN113822199B (zh) | 对象属性识别方法、装置、存储介质和电子装置 | |
CN110895670B (zh) | 场景的识别方法及装置 | |
CN113516137A (zh) | 一种在线图像的传输识别方法及系统 | |
CN117911475A (zh) | 基于人工智能的图像信息分析方法及电子设备 | |
CN116704566A (zh) | 人脸识别、用于人脸识别的模型训练方法、装置及设备 | |
CN118015386A (zh) | 图像识别方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092337 Country of ref document: HK |