CN117058498B - 分割图评估模型的训练方法、分割图的评估方法及装置 - Google Patents
分割图评估模型的训练方法、分割图的评估方法及装置 Download PDFInfo
- Publication number
- CN117058498B CN117058498B CN202311318485.4A CN202311318485A CN117058498B CN 117058498 B CN117058498 B CN 117058498B CN 202311318485 A CN202311318485 A CN 202311318485A CN 117058498 B CN117058498 B CN 117058498B
- Authority
- CN
- China
- Prior art keywords
- sample
- segmentation
- segmentation map
- map
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 715
- 238000011156 evaluation Methods 0.000 title claims abstract description 240
- 238000000034 method Methods 0.000 title claims abstract description 122
- 238000013210 evaluation model Methods 0.000 title claims abstract description 119
- 238000012549 training Methods 0.000 title claims abstract description 116
- 230000008569 process Effects 0.000 claims description 40
- 239000003550 marker Substances 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 33
- 238000002372 labelling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 20
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 238000012804 iterative process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 21
- 238000003709 image segmentation Methods 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 9
- 210000003786 sclera Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种分割图评估模型的训练方法、分割图的评估方法及装置、存储介质和电子设备,本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,该方法中,在获取的样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得各样本分割图各自的样本评估信息,再基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型,在每次迭代过程中,获取样本分割图的预测评估信息,基于该预测评估信息与相应的样本评估信息之间的差异,对待训练的分割图评估模型进行参数调整。基于该方法,用于评估满足需求的目标分割图,提高分割准确度。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种分割图评估模型的训练方法、分割图的评估方法及装置、存储介质和电子设备。
背景技术
随着高新技术的发展,在虹膜识别领域衍生出针对虹膜图像进行虹膜区域分割的图像分割模型,从而能够基于分割出的虹膜区域实现虹膜识别。
相关技术下,通常采用图像分割模型,针对虹膜图像中的虹膜区域进行分割,获得针对虹膜区域的预测分割图,作为最终的分割结果。
然而,在实际应用中,面对质量参差不齐的虹膜图像,采用图像分割模型获得的各张预测分割图的准确率难以得到保障;这样,后续基于各张预测分割图进行虹膜识别,受到其中不准确的预测分割图的影响,导致后续的虹膜识别的识别效果不佳。
发明内容
本申请提供一种分割图评估模型的训练方法、分割图的评估方法及装置、存储介质和电子设备,用于评估满足需求的目标分割图,保障相关图像分割模型获得预测分割图的可靠性,以此提高分割准确度。
第一方面,本申请提供了一种分割图评估模型的训练方法,包括:
获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,所述样本分割图:是针对所述样本图像中的目标样本元素进行分割处理生成的,所述标记分割图:是基于目标标注方式,对所述样本图像中的所述目标样本元素进行标注处理获得的;
在所述样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息;
基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取所述样本分割图的预测评估信息,基于所述预测评估信息与相应的样本评估信息之间的差异,对所述待训练的分割图评估模型进行参数调整。
第二方面,本申请提供了一种分割图的评估方法,包括:
获取目标图像的预测分割图;其中,所述目标图像为包含目标图像元素的图像,所述预测分割图是针对所述目标图像中的目标图像元素进行分割处理生成的;
将所述预测分割图,输入上述第一方面中任意一种分割图评估模型的训练方法训练获得的分割图评估模型中;
基于所述分割图评估模型,获得所述预测分割图的预测评估信息;
当所述预测评估信息满足预设的评估条件时,将所述预测分割图作为目标分割图。
第三方面,本申请提供了一种分割图评估模型的训练装置,包括:
样本获取单元,获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,所述样本分割图:是针对所述样本图像中的目标样本元素进行分割处理生成的,所述标记分割图:是基于目标标注方式,对所述样本图像中的所述目标样本元素进行标注处理获得的;
样本获得单元,在所述样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息;
评估训练单元,基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取所述样本分割图的预测评估信息,基于所述预测评估信息与相应的样本评估信息之间的差异,对所述待训练的分割图评估模型进行参数调整。
可选地,所述样本获得单元,具体用于:
针对各样本分割图,分别执行以下操作:
在一张样本分割图中,获取所述目标样本元素所属的样本分割区域,并在所述一张样本分割图对应的标记分割图中,获取所述目标样本元素所属的标记分割区域;
基于所述样本分割区域和所述标记分割区域之间的区域面积重合率,获得相应的相似度;
将所述相似度所属相似度范围关联的样本评估等级,作为所述一张样本分割图的样本评估信息;其中,所述样本评估等级表征:相应样本分割图的分割准确程度。
可选地,所述样本数据包括:一张样本图像对应N种预设分割指标获得的样本分割图,以及所述样本分割图对应的标记分割图,其中,N为大于1的整数,每个预设分割指标表征:一种目标类别对象的分割方式;
则所述样本获得单元,具体用于:
在一张样本图像对应的样本分割图,分别基于所述N个预设分割指标,提取所述目标样本元素所属的样本分割区域,获得N个样本分割区域;以及,
在所述样本分割图各自对应的标记分割图中,分别基于所述N个预设分割指标,提取所述目标样本元素所属的标记分割区域,获得N个标记分割区域;
分别计算所述N个样本分割区域,与相应的标记分割区域之间的区域面积重合率,获得N个区域面积重合率;
将所述N个区域面积重合率的平均值作为所述相似度,将所述相似度所属相似度范围所关联的样本评估等级,分别作为所述样本分割图的样本评估信息;其中,所述样本评估等级表征:所述样本分割图的分割准确程度。
可选地,所述区域面积重合率,是通过如下方式获得的,则所述样本获得单元,还用于:
获取一个样本分割区域与相应的标记分割区域之间的区域相交面积;
获取所述一个样本分割区域与相应的标记分割区域之间的区域相合面积;
计算所述区域相交面积与所述区域相合面积之间的比值,作为所述一张样本分割图对应的区域面积重合率。
可选地,所述评估训练单元,具体用于:
提取选取的样本分割图的样本元素特征,并基于获得的样本元素特征,获得所述样本分割图的预测评估信息;
基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用所述损失值进行模型参数调整。
可选地,所述评估训练单元,用于基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用所述损失值进行模型参数调整,具体用于:
采用交叉熵的方式,获得预测评估信息与相应样本评估信息之间的差异值,并将所述差异值作为损失值;
当所述损失值不小于预设损失阈值,且当前迭代次数小于预设迭代次数时,采用所述损失值对所述待训练的分割图评估模型进行模型参数调整;
当所述损失值小于所述预设损失阈值,或,当前迭代次数不小于所述预设迭代次数时,获得所述已训练的分割图评估模型。
可选地,所述每份样本数据,是通过以下方式生成的,则所述样本获取单元,还用于:
获取一张样本图像;其中,所述一张样本图像包含:至少一种预设分割指标各自关联的目标样本元素,每个预设分割指标表征:一种目标类别对象的分割方式;
针对所述一张样本图像,获取所述至少一种预设分割指标各自对应的标记分割图;
调用已训练的分割图生成模型,分别基于所述至少一种预设分割指标,提取所述一张样本图像的全局空间特征;其中,每个全局空间特征包含:所述一张样本图像中各样本图像元素各自的像素特征;
基于提取的各个全局空间特征,获得所述一张样本图像基于所述至少一种预设分割指标生成的样本分割图。
可选地,所述样本获取单元,还用于基于提取的各个全局空间特征,获得所述一张样本图像基于所述至少一种预设分割指标生成的样本分割图,具体用于:
针对提取的各个全局空间特征,分别执行以下操作:
从已训练的分割图生成模型,获取特征权重;
采用所述特征权重,对单个全局空间特征进行加权处理,获得所述一张样本图像中的各样本图像元素,各自属于相应预设分割指标关联的目标样本元素的概率;
基于所述各样本图像元素对应的概率与相应的预设概率阈值之间的比较结果,针对相应目标样本元素在所述一张样本图像中的预测分割区域进行分割处理,获得相应的样本分割图。
可选地,所述分割图生成模型,是采用如下方式训练获得的,则所述样本获取单元还用于;
获取样本原始图像集合,其中,每张样本原始图像包含:至少一种预设分割指标各自关联的目标样本元素及相应的分割标注;
基于所述样本原始图像集合,对待训练的分割图生成模型进行迭代训练,获得已训练的分割图生成模型,在每轮迭代训练过程中,至少执行以下操作:
基于所述至少一种预设分割指标,提取获得的样本原始图像的全局空间特征;
采用获取的特征权重,对所述全局空间特征进行加权求和,获得相应目标样本元素分别针对所述至少一种预测分割指标,在所述样本原始图像中的预测分割区域;
基于各预测分割区域与相应的分割标注之间的误差,调整所述特征权重。
第四方面,本申请提供了一种分割图的评估装置,包括:
获取单元,获取目标图像的预测分割图;其中,所述目标图像为包含目标图像元素的图像,所述预测分割图是针对所述目标图像中的目标图像元素进行分割处理生成的;
获得单元,将所述预测分割图,输入上述第一方面中任意一种分割图评估模型的训练方法中;基于所述分割图评估模型,获得所述预测分割图的预测评估信息;
评估预测单元,当所述预测评估信息满足预设的评估条件时,将所述预测分割图作为目标分割图。
第五方面,本申请提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任意一种分割图评估模型的训练方法,或,上述第二方面中一种分割图的评估方法。
第六方面,本申请提供了一种计算机存储介质,所述计算机可读存储介质内存储有计算机程序指令,所述计算机程序指令被处理器执行上述第一方面中任意一种分割图评估模型的训练方法,或,上述第二方面中一种分割图的评估方法。
第七方面,本申请实施例提供的一种计算机程序产品,包括计算机程序指令,所述计算机程序指令被处理器执行时实现上述第一方面中任意一种分割图评估模型的训练方法,或,上述第二方面中一种分割图的评估方法。
本申请有益效果如下:
本申请实施例中,提供一种分割图评估模型的训练方法,通过训练的分割图评估模型,获得预测分割图的预测评估信息,用于评估预测分割图是否满足相应的业务需求,解决例如虹膜识别领域,虹膜识别受不准确的预测分割图影响,导致识别效果不佳的问题。
一方面,本申请实施例中,在训练分割图评估模型之前,为保证分割图评估模型的评估准确度,提出一种分割图评估模型的训练样本集生成方式。具体地,执行设备获取样本数据集,其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,该样本分割图:是针对样本图像中的目标样本元素进行分割处理生成的,该标记分割图:是基于目标标注方式,对同一样本图像中的目标样本元素进行标注处理获得的。然后,在样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得各样本分割图各自的样本评估信息,在此,将获得的各样本分割图及相应的样本评估信息,作为分割图评估模型的训练样本集。如此,实现各样本分割图相应的样本评估信息的自动生成,每个样本评估信息都是基于同一样本图像的样本分割图和标记分割图之间的相似度生成的,而每张标记分割图又是基于目标标注方式获得的,因此这样获得的样本评估信息能够客观、精准地反映样本分割图相对样本图像的分割准确度。
另一方面,本申请实施例中,基于获得的各样本分割图及相应的样本评估信息,还提供一种分割图评估模型的训练方式。具体地,执行设备基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型,其中,在每次迭代过程中,执行以下操作:获取样本分割图的预测评估信息,基于预测评估信息与相应的样本评估信息之间的差异,对待训练的分割图评估模型进行参数调整。如此,将获得的各样本评估信息作为相应样本分割图的分割评估标准,在对待训练的分割图评估模型进行迭代训练的过程中,待训练的分割图评估模型在每次迭代训练中,能够基于样本评估信息,调整模型用于生成预测评估信息的模型参数,通过学习二者之间的差异,使得待训练的分割图评估模型提高针对样本分割图生成的预测评估信息的预测准确度,直到完成训练,获得已训练的预测评估信息。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中可选的应用场景的示意图;
图2A~图2B为本申请实施例提供的分割图评估模型的训练方法的流程示意图;
图3为本申请实施例中可选的受不同程度噪声影响的虹膜图像的示意图;
图4为本申请实施例中可选的样本图像的标记分割图的示意图;
图5A为本申请实施例中分割图生成模型的训练过程示意图;
图5B为本申请实施例中分割图生成模型的迭代训练过程示意图;
图6A~图6B为本申请实施例中可选的获得样本评估信息的过程示意图;
图7为本申请实施例中区域面积重合率的计算过程示意图;
图8A为本申请实施例中分割图评估模型的训练过程示意图;
图8B为本申请实施例中分割图评估模型的迭代训练过程示意图;
图9为本申请实施例提供的分割图的评估方法的流程示意图;
图10A~图10E为本申请实施例中模型训练及部署的流程示意图;
图11为本申请实施例提供的分割图评估模型的训练装置的结构示意图;
图12为本申请实施例提供的分割图的评估装置的结构示意图;
图13为本申请实施例提供的计算机设备的一种结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
为便于理解本申请实施例提供的技术方案,首先对本申请实施例使用的一些关键名词进行解释。
图像分割: 一种典型的计算机视觉问题,其涉及将一些原始数据(例如,平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。
在本申请实施例中,感兴趣区域主要由目标图像元素构成;例如,虹膜图像中的目标图像元素为虹膜元素,则虹膜图像的分割结果为虹膜分割图。此外,在本申请实施例中,还可基于至少一种预设分割指标各自关联的目标图像元素,获得相应预设分割指标对应的预测分割图;例如,预设分割指标各自关联的目标图像元素可包含瞳孔元素、虹膜元素、巩膜元素、皮肤元素等,则基于各预测分割评估指标,获得的预测分割图可包含瞳孔分割图、虹膜分割图、巩膜分割图、皮肤分割图等。
本申请实施例涉及人工智能(Artificial Intelligence,AI)和机器学习技术(Machine Learning,ML),基于人工智能中的计算机视觉技术和机器学习而设计。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革,swin-transformer,ViT,V-MOE,MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
此外,本申请实施例中的分割图评估模型就是采用机器学习或深度学习技术训练得到的。基于上述技术训练得到分割图评估模型后,即可应用该分割图评估模型对目标图像的预测分割图进行评估,并基于相应获得的预测评估信息,高效、准确筛选满足需求的目标分割图,进而解决分割不准确对实际业务应用造成的影响,也即提升了图像分割的准确度。
下面对本申请实施例的设计思想进行简要介绍。
基于有监督深度学习的图像分割方法近年来在多个应用领域都有着成功的落地,如虹膜识别场景中的虹膜分割技术。然而,在实际应用中,面对质量参差不齐的虹膜图像,采用图像分割模型获得的各张预测分割图的准确率难以得到保障;这样,后续基于各张预测分割图进行虹膜识别,受到其中不准确的预测分割图的影响,导致后续的虹膜识别的识别效果不佳。
目前,用于解决上述问题的相关技术,大体上可概括为如下两种。
相关方案一:引入多个图像分割模型,通过综合考虑不同图像分割模型对于虹膜区域的不同关注程度,提高了虹膜分割的准确度;但是,若要实现多个图像分割模型的分割处理,则相应地,需要更多的分割时间和更高的处理算力。因此,在一些高时效、低算力的场景下,该方案需要分别压缩这多个图像分割模型,才能满足相应的场景需求。
然而,上述方案中,模型压缩将造成模型性能的损失,导致各图像分割模型的分割准确度下降。例如,在对模糊的虹膜图像进行分割处理时,基于压缩后的多个图像分割模型难以获得准确率符合预设阈值的虹膜分割图,则后续基于该虹膜分割图进行虹膜识别,将导致虹膜识别的识别效果受不准确的虹膜分割图影响,出现识别效果不佳的问题。
相关方案二:提出一种检测图像噪音的方式,采用专家设定的虹膜分割标准,针对图像分割模型获得的各虹膜分割图,进行图像噪音的识别处理,从而筛除不准确度的虹膜分割图,以保证后续参与虹膜识别的各虹膜分割图的分割准确度。
然而,上述方案中,虹膜分割标准受到人为主观因素的影响,存在不稳定性高、以及设定成本高的问题。例如,在实际应用中,若业务需求发生变化,则需要专家重新设定新的虹膜分割标准,导致效率低下的问题,并且,虹膜分割标准的评估效果完全取决于专家的认知经验,若专家的认知经验存在偏差,则不客观的虹膜分割标准将导致最终评估结果不准确,进而导致后续虹膜识别出现效果不佳的问题。
鉴于此,本申请实施例提供了一种分割图评估模型的训练方法、分割图的评估方法及装置、存储介质和电子设备。本申请中新提出的分割图评估模型,能够基于样本评估信息,调整模型用于生成预测评估信息的模型参数,通过学习二者之间的差异,使得待训练的分割图评估模型提高针对样本分割图生成的预测评估信息的预测准确度;并且,每个样本评估信息都是基于同一样本图像的样本分割图和标记分割图之间的相似度生成的,而每张标记分割图又是基于目标标注方式获得的,因此这样获得的样本评估信息能够客观、精准地反映样本分割图相对样本图像的分割准确度,从而解决相关技术受人为主观因素的影响,造成准确度不稳定、效率低下的问题。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。
在本申请实施例中,终端设备110包括但不限于手机、电脑、平板电脑、笔记本电脑、台式电脑、车载终端电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端、飞行器等等设备;终端设备上可以安装有图像处理相关的客户端,该客户端可以是软件(例如浏览器、图像处理软件等),也可以是网页、小程序等,服务器120则是与软件或是网页、小程序等相对应的后台服务器,或者是专门用于进行图像处理的服务器,本申请不做具体限定。服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是,本申请各实施例中的分割图评估模型的训练方法可以由电子设备执行,该电子设备可以为终端设备110或者服务器120,即,该方法可以由终端设备110或者服务器120单独执行,也可以由终端设备110和服务器120共同执行。比如由终端设备110和服务器120共同执行时,在模型训练阶段,通过服务器120构建训练样本集,并基于该训练样本集对待训练的分割图评估模型进行多轮迭代训练,获得分割图评估模型,并部署于服务器120上。
在模型应用阶段,通过终端设备110获取目标图像的预测分割图,并将该预测分割图发送给服务器120,或者,将该预测分割图的统一资源定位符(Uniform ResourceLocator,URL)发送给服务器120,由服务器120自行下载,等等;进而,经过服务器120上部署的分割图评估模型,提取该预测分割图的目标元素特征,基于该目标元素特征,获得该预测分割图的预测评估信息,继而,当该预测评估信息满足预设的评估条件时,将该预测分割图作为满足需求的目标分割图。最终,服务器120将该分割图评估模型的输出结果(预测分割图的预测评估信息、该预测分割图是否为满足需求的目标分割图的评估结果等)反馈给终端设备110,由终端设备110展示给用户。
需要说明的是,上述所列举的由终端设备110和服务器120共同执行该分割图评估模型的训练方法的过程只是一种可行的实施方式,实际上,任何一种由终端设备110、服务器120执行该方法的过程都适用于本申请实施例,本文不再一一赘述。
在一种可选的实施方式中,终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中,通信网络是有线网络或无线网络。
需要说明的是,图1所示只是举例说明,实际上终端设备和服务器的数量不受限制,在本申请实施例中不做具体限定。
本申请实施例中,当服务器的数量为多个时,多个服务器可组成为一区块链,而服务器为区块链上的节点;如本申请实施例所公开的分割图评估模型的训练方法,其中所涉及的样本数据集、各样本评估信息、各预设分割指标关联的特征权重、已训练的分割图生成模型、各模型输出结果等都可保存于区块链上。
此外,本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶、自动驾驶等场景。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的分割图评估模型的训练方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
参阅图2A所示,为本申请实施例提供的一种分割图评估模型的训练方法的实施流程图,以服务器为执行主体为例,该方法的具体实施流程如下(S21~S23):
S21:获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,样本分割图:是针对样本图像中的目标样本元素进行分割处理生成的,标记分割图:是基于目标标注方式,对样本图像中的目标样本元素进行标注处理获得的。
其中,目标样本元素是从样本图像中被分割出来的部分元素。一般而言,目标样本元素用于构成指定类别目标,该指定类型目标与预设分割指标关联,也即每个预设分割指标表征一种目标类型对象的分割方式,相应地,目标样本元素与预设分割指标也具有关联关系。
上述与预设分割指标关联的目标样本元素具体根据实际需求而定,如该模型应用于虹膜识别场景时,目标样本元素包括但不限于以下的部分或全部:
虹膜元素、瞳孔元素、巩膜元素、皮肤元素(或背景元素)。
需要说明的是,上述目标样本元素的举例只是一种可行的实施方式,在实际应用过程中,针对不同的场景可设置不同的目标样本元素,本文不做具体限定。
在一种可能的实施方式中,本申请实施例中提供了一种样本数据集的生成方法,在此以一个样本数据为例进行说明。
参阅图2B所示,将S21进一步划分,在样本数据集的生成过程中,每生成一份样本数据,分别执行以下子步骤(S211~S213):
S211:获取一张样本图像,其中,一张样本图像包含:至少一种预设分割指标各自关联的目标样本元素。
其中,当预设分割指标所表征分割方式的目标类别对象为指定对象时,相应样本对象中包含该指定对象的目标对象元素。
本申请实施例中是在虹膜识别场景下,以虹膜图像作为样本图像为例进行详细说明的。例如,当预设分割指标所表征分割方式的目标类别对象为虹膜对象时,相应样本图像中至少包含虹膜元素;当预设分割指标所表征分割方式的目标类别对象为瞳孔对象时,相应样本图像中至少包含瞳孔元素;当预设分割指标所表征分割方式的目标类别对象为巩膜对象时,相应样本图像中至少包含巩膜元素。
需要说明的是,在本申请实施例中可将各种各样的虹膜图像作为样本图像,包括受不同程度噪声影响的虹膜图像。
参阅图3所示,其为本申请实施例中可选的受不同程度噪声影响的虹膜图像的示意图。如图3所示,按照从左至右、从上至下的次序,第一张虹膜图像存在失焦模糊的问题,第二张虹膜图像存在闭眼遮挡的问题,第三张虹膜图像存在斜视遮挡的问题,第四张虹膜图像存在虹膜区域不均匀的问题,第五张虹膜图像存在眼睛反光的问题,第六张虹膜图像存在尺寸失真的问题,第七张虹膜图像存在尺度多样化的问题,第八张虹膜图像存在区域不完整的问题。
容易理解地,在虹膜识别场景下,存在受不同程度噪声影响的样本图像,由此衍生出一系列的技术问题。例如,相关技术下,受现有图像分割方式的限制,导致对受噪声影响的样本图像的分割不准确,亦或受人为主观因素影响,导致对这些样本图像的预测分割图的评估结果难以满足相应的业务需求(如:稳定客观),等等。
在此还需补充说明的是,衍生出上述技术问题的原因,究其根本,在于缺乏一种客观评估预测分割图的方式,而对于一个待训练的分割图评估模型来讲,如何获得相对客观的训练样本集成为解决问题的关键,相应地,保证用于生成训练样本集的每份样本数据的客观性也就显得十分重要,而本申请实施例通过每张样本图像的样本分割图和标记分割图之间的差异来生成相应的样本数据,易理解地,每张样本图像的样本分割图和标记分割图的准确性同样影响后续生成样本数据的准确性,从而影响对于预测分割图的客观评价。
下面以本步骤获取的一张样本图像为例,阐述如何基于该样本图像,提高获取相应样本分割图和标记分割图的准确性。
S212:针对一张样本图像,获取至少一种预设分割指标各自对应的标记分割图。
其中,当预设分割指标所表征分割方式的目标类别对象为指定对象时,标记分割图是基于目标标注方式(如:业务需求关联的标注方式),在样本图像中,对相应样本对象中包含该指定对象的目标对象元素进行标注处理获得的。
本申请实施例中是在虹膜识别场景下,以虹膜图像作为样本图像为例进行详细说明的。
参阅图4所示,其为本申请实施例中可选的样本图像的标记分割图的示意图。如图4所示,左图为虹膜图像,右图为虹膜图像的标记分割图。其中,在右图中,当预设分割指标所表征分割方式的目标类别对象为虹膜对象时,通过标注方格区域的虹膜元素,获得相应标记分割图;当预设分割指标所表征分割方式的目标类别对象为瞳孔对象时,通过在方格区域内部标记斜杠区域的瞳孔元素,获得相应标记分割图;当预设分割指标所表征分割方式的目标类别对象为巩膜对象时,通过在方格区域外部标记斜杠区域的巩膜元素,获得相应标记分割图。
需要说明的是,上述标记分割图的举例只是一种可行的实施方式,在实际应用过程中,针对不同的预设分割指标可设置不同的标记分割图,本文不做具体限定。
S213:调用已训练的分割图生成模型,分别基于至少一种预设分割指标,提取该一张样本图像的全局空间特征,并基于提取的各个全局空间特征,分别获得一张样本图像基于至少一种预设分割指标生成的样本分割图;其中,每个全局空间特征包含:一张样本图像中各样本图像元素各自的像素特征。
在一种可能的实现方式中,为提高分割图生成模型的生成样本分割图(或后续的:预测分割图)的准确度,本申请实施例中提供了一种分割图生成模型的训练方法。
参阅图5A所示,其为本申请实施例中分割图生成模型的训练过程示意图。如图5A所示,首先,获取样本原始图像集合,其中,每张样本原始图像包含:至少一种预设分割指标各自关联的目标样本元素及相应的分割标注,然后,基于样本原始图像集合,对待训练的分割图生成模型进行迭代训练,获得已训练的分割图生成模型。
参阅图5B所示,其为本申请实施例中分割图生成模型的迭代训练过程示意图。如图5B所示,以单次迭代训练为例,基于一种预设分割指标,提取获得的样本原始图像的全局空间特征,并采用获取的特征权重,对全局空间特征进行加权求和,获得相应目标样本元素分别针对至少一个预测分割指标,在所述样本原始图像中的预测分割区域,再基于各预测分割区域与相应的分割标注之间的误差,调整该特征权重。
其中,全局空间特征包含相应样本图像中各样本图像元素各自的像素特征,每个像素特征包含相应样本元素所属像素点的位置信息及类别信息,位置信息表征相应样本元素所属像素点在样本图像中的所处位置,类别信息与相应预设分割指标对应的目标类别对象相关,可选的,类别信息表征相应样本元素所属像素点是否属于相应预设分割指标对应的目标类别对象。
可选地,分割图生成模型包括:分割网络单元模块、分割类别权重模块、分割目标函数计算模块、分割目标函数优化模块,下面对每个模块分别进行展开说明。
分割网络单元模块,用于提取样本原始图像的全局空间特征。具体地,分割网络单元模块针对图像尺寸为w×h(即:宽为w,高为h)的样本图像,将获得w×h×nd(即:宽为w,高为h,每个像素点所提取到的特征维度为nd)的全局空间特征。可选地,网络分割单元模块通常具有的基本结构为卷积神经网络(Convolutional Neural Network ,CNN),其中,可以包含卷积(convolution)计算、非线性激活函数(Relu)计算、池化(Pooling)计算等处理操作。在实际应用中,为提升后续分割的准确度,分割网络单元模块一般可采用Unet形式的结构实现全局空间特征的提取。
分割类别权重模块,用于获取特征权重,并采用该特征权重,对全局空间特征进行加权求和,获得相应的预测分割区域。具体地,基于特征权重,将全局空间特征从w×h×nd映射为w×h×c的矩阵,其中,c为相应像素点所属目标样本元素的目标类别对象,例如,在虹膜分割领域,c可以为四种数值,每种数值分别对应为:瞳孔对象、虹膜对象、巩膜对象、皮肤对象(即:背景对象)。
分割目标函数计算模块,用于获取相应像素点所属目标样本元素的目标类别对象的数值c,以及相应的分割标注,即相应像素点真实所属目标样本元素的目标类别对象的参考数值,基于两个数值,计算目标损失函数,该目标损失函数可采用任意分类损失函数,如:softmax等,不对此做具体限定。
分割目标函数优化模块,用于采用获取的特征权重,基于各预测分割区域与相应的分割标注之间的误差,调整该特征权重。具体地,采用梯度下降的方式,实现对特征权重的调整,以完成分割图生成模型的训练优化,其中,梯度下降的方式可包括但不限于:随机梯度下降,带动量项的随机梯度下降,adam,adagard。
至此,分割图生成模型的迭代训练完成,可获得已训练的分割图生成模型。
可选地,基于相同的发明构思,该分割图生成模型在应用过程中,针对提取的各个全局空间特征,分别执行以下操作:从已训练的分割图生成模型,获取特征权重,并采用该特征权重,对提取的单个全局空间特征进行加权处理,获得一张样本图像中的各样本图像元素,各自属于相应预设分割指标关联的目标样本元素的概率,然后,基于各个样本图像元素对应的概率与相应的预设概率阈值之间的比较结果,针对相应目标样本元素在一张样本图像中的预测分割区域进行分割处理,获得相应的样本分割图。
需要说明的是,S21所提供的样本数据集的获取方式,可区别于分割图评估模型的训练方式单独实现,当然也可与分割图评估模型的训练方式级联实现,在此不做展开阐述。
S22:在样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得各样本分割图各自的样本评估信息。
本申请实施例中,为了保证训练出的分割图评估模型能够更大程度保证其评估的客观和准确,提供一种自动生成待训练的各样本分割图各自的样本评估信息的方式,其中,每张样本分割图和相应的样本评估信息用于构成训练样本集中的一个训练样本,训练样本集用于训练分割图评估模型。
需要说明的是,上述样本评估信息的生成与预设分割指标的数量相关,下面分为两种情形,分别阐述不同数量的预设分割指标对样本评估信息的生成过程造成的影响。
情形一,针对一个预设分割指标,获得各样本分割图各自的样本评估信息。
具体地,以获得一张样本分割图的样本评估信息为例,在一张样本分割图中,获取目标样本元素所属的样本分割区域,并在一张样本分割图对应的标记分割图中,获取目标样本元素所属的标记分割区域,然后,基于样本分割区域和标记分割区域之间的区域面积重合率,获得相应的相似度,再将相似度所属相似度范围关联的样本评估等级,作为一张样本分割图的样本评估信息,其中的样本评估等级表征:该样本分割图的分割准确程度。
参阅图6A所示,其为本申请实施例中可选的获得样本评估信息的过程示意图。在图6A中,以左斜杠作为标记分割区域,以右斜杠作为样本分割区域,则二者相交区域为方块标记部分。
情形二,针对N(N为大于1的整数)个预设分割指标,获得各样本分割图各自的样本评估信息。
其中,每份样本数据包括一张样本分割图及相应的标记分割图,每张样本分割图是相应样本图像对应N种预设分割指标预测生成的,同理,每张标记分割图是相应样本图像对应N种预设分割指标标记获得的,其中,每个预设分割指标表征:一种目标类别对象的分割方式。
具体地,以获得一张样本分割图的样本评估信息为例,在一张样本图像对应的样本分割图,分别基于N个预设分割指标,提取目标样本元素所属的样本分割区域,获得N个样本分割区域,以及,在样本分割图各自对应的标记分割图中,分别基于N个预设分割指标,提取目标样本元素所属的标记分割区域,获得N个标记分割区域,然后,分别计算N个样本分割区域与相应的标记分割区域之间的区域面积重合率,获得N个区域面积重合率,再将N个区域面积重合率的平均值作为相似度,将相似度所属相似度范围所关联的样本评估等级,分别作为样本分则是对图像中割图的样本评估信息,其中的样本评估等级表征:该样本分割图的分割准确程度。
参阅图6B所示,其为本申请实施例中可选的获得样本评估信息的过程示意图。在图6B中,以N为2为例,两个预设分割指标分别对应目标样本元素1和目标样本元素2,则以左斜杠对应的两个区域分别作为标记分割区域1和标记分割区域2,以右斜杠对应的两个区域分别作为样本分割区域1和样本分割区域2,则方块对应的两个区域分别作为标记分割区域1和样本分割区域1的相交区域、标记分割区域2和样本分割区域2的相交区域。
作为一种可选的实现手段,上述任一情况中的一个区域面积重合率,可以通过如下方式获得:获取一个样本分割区域与相应的标记分割区域之间的区域相交面积,以及,获取一个样本分割区域与相应的标记分割区域之间的区域相合面积,通过计算该区域相交面积与该区域相合面积之间的比值,将计算获得的比值作为这一张样本分割图对应的区域面积重合率。
参阅图7所示,为区域面积重合率的计算过程示意图。如图7所示,以格子作为一个样本分割区域与相应的标记分割区域之间的区域相交面积,以横杠作为一个样本分割区域与相应的标记分割区域之间的区域相合面积。
容易理解地,样本评估结果取决于样本分割图与标记分割图之间的相似度,进一步取决于相应样本分割区域与相应标记分割区域之间的相似度,也即平均区域面积重合率。从分割区域的划分本质来看,分割实则是对图像中的各个像素点进行分类,基于前面的阐述,可与类别与预设分割指标相关,则相似度mIoU与基于各预设分割指标的编号k(也即:类别编号),与样本图像的像素点P之间的关联关系可参考如下:
其中,mIoU表示一张样本分割图各自与相应标记分割图之间的相似度;k表示为各预设分割指标的编号k(也即:类别编号);Pii表示样本分割图中各像素点的像素值(也即:像素点预测值)与标记分割图中各像素点的像素值(也即:相应真实值)一致的像素点个数;Pij表示在相应预设分割指标(也即:指定类别)下真实像素点的个数,Pji表示在相应预设分割指标(也即:指定类别)下预测像素点的个数。在此,mIoU越高,则表征分割得越准确。
需要说明的是,本申请实施例中是在虹膜识别场景下,基于虹膜识别这种业务需求,可获得4种预设分割指标,分别关联虹膜元素、瞳孔元素、巩膜元素、皮肤元素(或背景元素),则可将上式k设置为3(即:i为1、2、3、4)。
在一种可能的设计中,提供一种确定相似度所属相似度范围所关联的样本评估等级,获得相应样本评估信息的方式。
示例性,在虹膜识别场景下,可预设多种对应不同分割准确程度的样本评估等级,以预设4个样本评估等级为例,获取基于实际需求设定的四个评估等级阈值th1、th2、th3、th4,基于这四个评估等级阈值,设定四个评估等级区间,每个评估等级区间对应一个样本评估等级,则相似度mIoU与这四个评估等级区间之间的关联关系可参见如下:
其中,Lout为最终获得的样本评估等级,当Lout为0、1、2、3时,分别对应4个预设的样本评估等级。
进一步,在一种可选的实施方式中,为提升分割图评估模型的泛化能力,相较分割图评估模型和分割图生成模型采用相同的样本图像进行训练的实施方式,在训练分割图评估模型的过程中,还可基于业务需求引入新增的样本图像作为增量训练数据。例如,采用添加图像噪声方式,在个别原始训练的样本图像中添加相应的图像噪声,作为新增训练数据,这样能够有效扩充样本,以提高分割图评估模型的泛化能力。
综上所述,S22所提供的样本评估信息的获得方式,可实现各样本分割图相应的样本评估信息的自动生成,每个样本评估信息都是基于同一样本图像的样本分割图和标记分割图之间的相似度生成的,而每张标记分割图又是基于目标标注方式获得的,因此这样获得的样本评估信息能够客观、精准地反映样本分割图相对样本图像的分割准确度。
S23:基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取样本分割图的预测评估信息,基于预测评估信息与相应的样本评估信息之间的差异,对待训练的分割图评估模型进行参数调整。
参阅图8A所示,其为本申请实施例中分割图评估模型的训练过程示意图。如图8A所示,将获得的各样本分割图及相应的样本评估信息作为分割图评估模型的训练样本集合,基于该训练样本集合,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型。
参阅图8B所示,其为本申请实施例中分割图评估模型的迭代训练过程示意图。如图8B所示,首先,提取选取的样本分割图的样本元素特征,并基于获得的样本元素特征,获得样本分割图的预测评估信息,然后,基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用该损失值进行模型参数调整。
上述损失值可采用交叉熵的方式计算获得,通过计算评估信息与相应样本评估信息之间的差异值,获得损失值。
在一种可选的实现方式中,预设迭代训练的触发条件,当损失值不小于预设损失阈值,且当前迭代次数小于预设迭代次数时,采用该损失值对待训练的分割图评估模型进行模型参数调整。相应地,预设迭代训练的终止条件,当损失值小于预设损失阈值,或,当前迭代次数不小于预设迭代次数时,获得已训练的分割图评估模型。
可选地,分割图评估模型包括:分割图评估模块、评估目标函数计算模块、评估目标函数优化模块,下面对每个模块分别进行展开说明。
分割图评估模块,用于提取样本分割图的样本元素特征,并基于该样本元素特征,获得样本分割图的预测评估信息。其中,预测评估信息为一种预测评估等级,以预设有4个样本评估等级为例,则最终针对一张样本分割图获得的预测评估等级,为前述预设的4个样本评估等级中的任意一个。可选地,分割图评估模块通常采用卷积神经网络(Convolutional Neural Network ,CNN)的网络结构,例如,若干层全连接相连、采用RESNET形式的神经网络等,本方案对此不做具体限定。
评估目标函数计算模块,用于基于预测评估信息与相应的样本评估信息之间的差异,获得损失值。具体地,基于预设评估等级与相应的样本评估等级之间的差异,获得损失值,其中,可采用交叉熵方式构建评估目标函数。
评估目标函数优化模块,用于采用损失值进行模型参数调整。具体地,采用梯度下降的方式,实现对模型参数的调整,以完成分割图评估模型的训练优化,其中,梯度下降的方式可包括但不限于:随机梯度下降,带动量项的随机梯度下降,adam,adagard。
至此,分割图评估模型的迭代训练完成,可获得已训练的分割图评估模型。
进一步,参阅图9所示,基于训练好的分割图评估模型,本申请还提出一种分割图的评估方法,该方法的具体实施流程如下(S91~S94):
S91:获取目标图像的预测分割图;其中,目标图像为包含目标图像元素的图像,预测分割图是针对目标图像中的目标图像元素进行分割处理生成的。
其中,预测分割图,可以是基于已训练的分割图评估模型,对目标图像中的目标图像元素进行分割处理获得的。
此外,预测分割图可以通过通信交互、人机交互等方式获得;本申请实施例对此不作具体限制。
S92:将预测分割图,输入本申请实施例中已训练的分割图评估模型中。
其中,分割图评估模型的训练过程可参见S21~S23,在此不做重复赘述。
S93:基于已训练的分割图评估模型,获得预测分割图的预测评估信息。
本申请实施例中,分割评估模型在训练过程中,基于客观获得的训练样本集,通过学习图像元素(如:图像像素)层级的信息,使得其在实际应用时,能够获得相对客观且准确的预测评估信息。
S94:当预测评估信息满足预设的评估条件时,将预测分割图作为目标分割图。
在一种可能的实现方式中,预测评估信息为预测评估等级,评估等级按分割准确程度,其取值从小到大排列。作为一种示例,当获得的预测评估等级大于标准的评估等级时,将相应预测分割图作为满足业务需求的目标分割图;当获得的预测评估等级不大于标准的评估等级时,筛除相应的预测分割图,避免不准确的预测分割图对后续业务造成不良影响。
综上所述,本申请实施例提供一种分割图评估模型的训练方法及分割图评估方法,用于筛选满足业务需求的目标分割图,以保障相关图像分割模型获得的预测分割图的准确度。
为便于本领域技术人员更好理解本方案,下面结合虹膜识别场景,对本申请提供的一种分割图评估模型的训练方法、分割图的评估方法做进一步的整体阐述。
参阅图10A所示,其为模型训练及部署的流程示意图。如图10A所示,分割图评估模型的完整训练方法用于模型训练阶段,大致分为如下三个模型训练部分:训练分割图生成模型、生成样本评估信息、训练分割图评估模型;分割图的评估方法用于模型部署阶段,大致分为如下三个模型部署部分:生成预测分割图、评估预测分割图、筛选目标分割图。
其中,针对分割图评估模型的完整训练过程示意图,做如下展开阐述。
第一模型训练部分,参阅图10B所示,其为训练分割图生成模型的完整流程示意图。如图10B所示,样本原始图像集合准备模块用于获取样本原始图像集合及相应的分割标注。分割网络单元模块,用于提取样本原始图像的全局空间特征。分割类别权重模块,用于获取特征权重,并采用该特征权重,对全局空间特征进行加权求和,获得相应的预测分割区域。分割目标函数计算模块,用于获取相应像素点所属目标样本元素的目标类别对象的数值,以及相应的分割标注。分割目标函数优化模块,用于采用获取的特征权重,基于各预测分割区域与相应的分割标注之间的误差,调整该特征权重。终止条件包括:当误差值小于预设误差阈值,或,当前迭代次数不小于预设迭代次数时,获得已训练的分割图生成模型。
第二模型训练部分,参阅图10C所示,其为生成样本评估信息的完整流程示意图。如图10C所示,采用分割图生成模型,获得样本分割图的预测分割图,并获得相应的标记分割图,将之输入mIoU评估模块。mIoU评估模块用于计算样本分割图与相应标记分割图之间的相似度(即:mIoU)。预测评估信息生成模块,用于根据相似度所属相似度范围所关联的样本评估等级,获得相应的样本评估信息。
第三模型训练部分,参阅图10D所示,其为训练分割图评估模型的完整流程示意图。如图10D所示,样本原始图像集合准备模块用于获取各样本分割图像及相应的样本评估信息。分割图评估模块,用于提取样本分割图的样本元素特征,并基于该样本元素特征,获得样本分割图的预测评估信息。评估目标函数计算模块,用于基于预测评估信息与相应的样本评估信息之间的差异,获得损失值。终止条件包括:当误差值小于预设误差阈值,或,当前迭代次数不小于预设迭代次数时,获得已训练的分割图生成模型。
其中,针对分割图评估模型的完整部署过程示意图,做如下展开阐述。
参阅图10E所示,基于分割图生成模型,获取目标图像的预测分割图,将预测分割图,输入本申请实施例中已训练的分割图评估模型中,获得预测分割图的预测评估信息,当预测评估信息满足预设的评估条件时,将预测分割图作为满足业务需求的目标分割图。
综上所述,本申请实施例将提升分割图的准确度问题,转换为对于分割图的评估问题,可用以提升例如虹膜识别场景下,虹膜分割的准确率,增强后续业务流程对于预测分割图的利用,实际业务过程中,能够有效提升用户体验。
参阅图11所述,基于同一发明构思,本申请实施例还提供了一种分割图评估模型的训练装置1100,包括:
样本获取单元1101,获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,样本分割图:是针对样本图像中的目标样本元素进行分割处理生成的,标记分割图:是基于目标标注方式,对样本图像中的目标样本元素进行标注处理获得的;
样本获得单元1102,在样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得各样本分割图各自的样本评估信息;
评估训练单元1103,基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取样本分割图的预测评估信息,基于预测评估信息与相应的样本评估信息之间的差异,对待训练的分割图评估模型进行参数调整。
可选地,样本获得单元1102,具体用于:
针对各样本分割图,分别执行以下操作:
在一张样本分割图中,获取目标样本元素所属的样本分割区域,并在一张样本分割图对应的标记分割图中,获取目标样本元素所属的标记分割区域;
基于样本分割区域和标记分割区域之间的区域面积重合率,获得相应的相似度;
将相似度所属相似度范围关联的样本评估等级,作为一张样本分割图的样本评估信息;其中,样本评估等级表征:相应样本分割图的分割准确程度。
可选地,样本数据包括:一张样本图像对应N种预设分割指标获得的样本分割图,以及样本分割图对应的标记分割图,其中,N为大于1的整数,每个预设分割指标表征:一种目标类别对象的分割方式;
则样本获得单元1102,具体用于:
在一张样本图像对应的样本分割图,分别基于N个预设分割指标,提取目标样本元素所属的样本分割区域,获得N个样本分割区域;以及,
在样本分割图各自对应的标记分割图中,分别基于N个预设分割指标,提取目标样本元素所属的标记分割区域,获得N个标记分割区域;
分别计算N个样本分割区域,与相应的标记分割区域之间的区域面积重合率,获得N个区域面积重合率;
将N个区域面积重合率的平均值作为相似度,将相似度所属相似度范围所关联的样本评估等级,分别作为样本分割图的样本评估信息;其中,样本评估等级表征:样本分割图的分割准确程度。
可选地,区域面积重合率,是通过如下方式获得的,则样本获得单元1102,还用于:
获取一个样本分割区域与相应的标记分割区域之间的区域相交面积;
获取一个样本分割区域与相应的标记分割区域之间的区域相合面积;
计算区域相交面积与区域相合面积之间的比值,作为一张样本分割图对应的区域面积重合率。
可选地,评估训练单元1103,具体用于:
提取选取的样本分割图的样本元素特征,并基于获得的样本元素特征,获得样本分割图的预测评估信息;
基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用损失值进行模型参数调整。
可选地,评估训练单元1103,用于基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用损失值进行模型参数调整,具体用于:
采用交叉熵的方式,获得预测评估信息与相应样本评估信息之间的差异值,并将差异值作为损失值;
当损失值不小于预设损失阈值,且当前迭代次数小于预设迭代次数时,采用损失值对待训练的分割图评估模型进行模型参数调整;
当损失值小于预设损失阈值,或,当前迭代次数不小于预设迭代次数时,获得已训练的分割图评估模型。
可选地,每份样本数据,是通过以下方式生成的,则样本获取单元1101,还用于:
获取一张样本图像;其中,一张样本图像包含:至少一种预设分割指标各自关联的目标样本元素,每个预设分割指标表征:一种目标类别对象的分割方式;
针对一张样本图像,获取至少一种预设分割指标各自对应的标记分割图;
调用已训练的分割图生成模型,分别基于至少一种预设分割指标,提取一张样本图像的全局空间特征;其中,每个全局空间特征包含:一张样本图像中各样本图像元素各自的像素特征;
基于提取的各个全局空间特征,获得一张样本图像基于至少一种预设分割指标生成的样本分割图。
可选地,样本获取单元1101,还用于基于提取的各个全局空间特征,获得一张样本图像基于至少一种预设分割指标生成的样本分割图,具体用于:
针对提取的各个全局空间特征,分别执行以下操作:
从已训练的分割图生成模型,获取特征权重;
采用特征权重,对单个全局空间特征进行加权处理,获得一张样本图像中的各样本图像元素,各自属于相应预设分割指标关联的目标样本元素的概率;
基于各样本图像元素对应的概率与相应的预设概率阈值之间的比较结果,针对相应目标样本元素在一张样本图像中的预测分割区域进行分割处理,获得相应的样本分割图。
可选地,分割图生成模型,是采用如下方式训练获得的,则样本获取单元1101还用于;
获取样本原始图像集合,其中,每张样本原始图像包含:至少一种预设分割指标各自关联的目标样本元素及相应的分割标注;
基于样本原始图像集合,对待训练的分割图生成模型进行迭代训练,获得已训练的分割图生成模型,在每轮迭代训练过程中,至少执行以下操作:
基于至少一种预设分割指标,提取获得的样本原始图像的全局空间特征;
采用获取的特征权重,对全局空间特征进行加权求和,获得相应目标样本元素分别针对至少一种预测分割指标,在样本原始图像中的预测分割区域;
基于各预测分割区域与相应的分割标注之间的误差,调整特征权重。
该装置可以用于执行本申请各实施例中所示的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考前述实施例的描述,不多赘述。
参阅图12所述,基于同一发明构思,本申请实施例还提供了一种分割图的评估装置1200,包括:
获取单元1201,获取目标图像的预测分割图;其中,目标图像为包含目标图像元素的图像,预测分割图是针对目标图像中的目标图像元素进行分割处理生成的;
获得单元1202,将预测分割图,输入上述任意一种分割图评估模型的训练方法训练获得的分割图评估模型中;基于分割图评估模型,获得预测分割图的预测评估信息;
评估预测单元1203,当预测评估信息满足预设的评估条件时,将预测分割图作为目标分割图。
该装置可以用于执行本申请各实施例中所示的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考前述实施例的描述,不多赘述。
请参见图13所示,基于同一技术构思,本申请实施例还提供了一种计算机设备1300,该计算机设备1300可以为图1所示的终端设备或服务器,该计算机设备1300可以包括存储器1301和处理器1302。
存储器1301,用于存储处理器1302执行的计算机程序。存储器1301可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1302,可以是一个中央处理单元(central processing unit, CPU),或者为数字处理单元等等。本申请实施例中不限定上述存储器1301和处理器1302之间的具体连接介质。本申请实施例在图13中以存储器1301和处理器1302之间通过总线1303连接,总线1303在图13中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1303可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1301可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1301也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器1301是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1301可以是上述存储器的组合。
处理器1302,用于调用存储器1301中存储的计算机程序时执行本申请各实施例中设备所执行的方法。
在一些可能的实施方式中,本申请提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤,例如,计算机设备可以执行本申请各实施例中设备所执行的方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (13)
1.一种分割图评估模型的训练方法,其特征在于,包括:
获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,所述样本分割图:是针对所述样本图像中的目标样本元素进行分割处理生成的,所述标记分割图:是基于目标标注方式,对所述样本图像中的所述目标样本元素进行标注处理获得的;
在所述样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息;其中,一张样本分割图与相应标记分割图之间的相似度,是通过如下方式获得的:在所述一张样本分割图中获取所述目标样本元素所属的样本分割区域,并在所述相应标记分割图中获取所述目标样本元素所属的标记分割区域,获取所述样本分割区域与所述标记分割区域之间的区域相交面积和区域相合面积,计算所述区域相交面积与所述区域相合面积之间的比值,获得相应的相似度;
基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取所述样本分割图的预测评估信息,基于所述预测评估信息与相应的样本评估信息之间的差异,对所述待训练的分割图评估模型进行参数调整。
2.如权利要求1所述的方法,其特征在于,所述根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息,包括:
针对各样本分割图,分别执行以下操作:
获取一张样本分割图与相应标记分割图之间的相似度;
将所述相似度所属相似度范围关联的样本评估等级,作为所述一张样本分割图的样本评估信息;其中,所述样本评估等级表征:相应样本分割图的分割准确程度。
3.如权利要求1所述的方法,其特征在于,所述样本数据包括:一张样本图像对应N种预设分割指标获得的样本分割图,以及所述样本分割图对应的标记分割图,其中,N为大于1的整数,每个预设分割指标表征:一种针对目标类别对象的分割方式;
则所述根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息,包括:
获取一张样本图像对应的N张样本分割图各自与相应标记分割图之间的相似度;
将获取的N个相似度的平均值所关联的样本评估等级,分别作为所述N张样本分割图的样本评估信息;其中,所述样本评估等级表征:相应样本分割图的分割准确程度。
4.如权利要求1所述的方法,其特征在于,所述获取所述样本分割图的预测评估信息,基于所述预测评估信息与相应的样本评估信息之间的差异,对所述待训练的分割图评估模型进行参数调整,包括:
提取选取的样本分割图的样本元素特征,并基于获得的样本元素特征,获得所述样本分割图的预测评估信息;
基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用所述损失值进行模型参数调整。
5.如权利要求4所述的方法,其特征在于,所述基于获得的预测评估信息与相应的样本评估信息之间的差异,获得损失值,并采用所述损失值进行模型参数调整,包括:
采用交叉熵的方式,获得预测评估信息与相应样本评估信息之间的差异值,并将所述差异值作为损失值;
当所述损失值不小于预设损失阈值,且当前迭代次数小于预设迭代次数时,采用所述损失值对所述待训练的分割图评估模型进行模型参数调整;
当所述损失值小于所述预设损失阈值,或,当前迭代次数不小于所述预设迭代次数时,获得所述已训练的分割图评估模型。
6.如权利要求1~5任一项所述的方法,其特征在于,所述每份样本数据,是通过以下方式生成的:
获取一张样本图像;其中,所述一张样本图像包含:至少一种预设分割指标各自关联的目标样本元素,每个预设分割指标表征:一种目标类别对象的分割方式;
针对所述一张样本图像,获取所述至少一种预设分割指标各自对应的标记分割图;
调用已训练的分割图生成模型,分别基于所述至少一种预设分割指标,提取所述一张样本图像的全局空间特征;其中,每个全局空间特征包含:所述一张样本图像中各样本图像元素各自的像素特征;
基于提取的各个全局空间特征,获得所述一张样本图像基于所述至少一种预设分割指标生成的样本分割图。
7.如权利要求6所述的方法,其特征在于,所述基于提取的各个全局空间特征,获得所述一张样本图像基于所述至少一种预设分割指标生成的样本分割图,包括:
针对提取的各个全局空间特征,分别执行以下操作:
从已训练的分割图生成模型,获取特征权重;
采用所述特征权重,对单个全局空间特征进行加权处理,获得所述一张样本图像中的各样本图像元素,各自属于相应预设分割指标关联的目标样本元素的概率;
基于所述各样本图像元素对应的概率与相应的预设概率阈值之间的比较结果,针对相应目标样本元素在所述一张样本图像中的预测分割区域进行分割处理,获得相应的样本分割图。
8.如权利要求6所述的方法,其特征在于,所述分割图生成模型,是采用如下方式训练获得的;
获取样本原始图像集合,其中,每张样本原始图像包含:至少一种预设分割指标各自关联的目标样本元素及相应的分割标注;
基于所述样本原始图像集合,对待训练的分割图生成模型进行迭代训练,获得已训练的分割图生成模型,在每轮迭代训练过程中,至少执行以下操作:
基于所述至少一种预设分割指标,提取获得的样本原始图像的全局空间特征;
采用获取的特征权重,对所述全局空间特征进行加权求和,获得相应目标样本元素分别针对所述至少一种预测分割指标,在所述样本原始图像中的预测分割区域;
基于各预测分割区域与相应的分割标注之间的误差,调整所述特征权重。
9.一种分割图的评估方法,其特征在于,包括:
获取目标图像的预测分割图;其中,所述目标图像为包含目标图像元素的图像,所述预测分割图是针对所述目标图像中的目标图像元素进行分割处理生成的;
将所述预测分割图,输入基于权利要求1~8任一项所述方法训练获得的分割图评估模型中;
基于所述分割图评估模型,获得所述预测分割图的预测评估信息;
当所述预测评估信息满足预设的评估条件时,将所述预测分割图作为目标分割图。
10.一种分割图评估模型的训练装置,其特征在于,包括:
样本获取单元,获取样本数据集;其中,每份样本数据包括:一张样本图像的样本分割图和标记分割图,所述样本分割图:是针对所述样本图像中的目标样本元素进行分割处理生成的,所述标记分割图:是基于目标标注方式,对所述样本图像中的所述目标样本元素进行标注处理获得的;
样本获得单元,在所述样本数据集中,根据各样本分割图各自与相应标记分割图之间的相似度,分别获得所述各样本分割图各自的样本评估信息;其中,一张样本分割图与相应标记分割图之间的相似度,是通过如下方式获得的:在所述一张样本分割图中获取所述目标样本元素所属的样本分割区域,并在所述相应标记分割图中获取所述目标样本元素所属的标记分割区域,获取所述样本分割区域与所述标记分割区域之间的区域相交面积和区域相合面积,计算所述区域相交面积与所述区域相合面积之间的比值,获得相应的相似度;
评估训练单元,基于获得的各样本分割图及相应的样本评估信息,对待训练的分割图评估模型进行迭代训练,获得已训练的分割图评估模型;其中,每次迭代过程中,执行以下操作:获取所述样本分割图的预测评估信息,基于所述预测评估信息与相应的样本评估信息之间的差异,对所述待训练的分割图评估模型进行参数调整。
11.一种分割图的评估装置,其特征在于,包括:
获取单元,获取目标图像的预测分割图;其中,所述目标图像为包含目标图像元素的图像,所述预测分割图是针对所述目标图像中的目标图像元素进行分割处理生成的;
获得单元,将所述预测分割图,输入基于权利要求1~8任一项所述方法训练获得的分割图评估模型中;基于所述分割图评估模型,获得所述预测分割图的预测评估信息;
评估预测单元,当所述预测评估信息满足预设的评估条件时,将所述预测分割图作为目标分割图。
12.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
13.一种计算机存储介质,其上存储有计算机程序指令,其特征在于,
所述计算机程序指令被处理器执行时实现权利要求1至9任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311318485.4A CN117058498B (zh) | 2023-10-12 | 2023-10-12 | 分割图评估模型的训练方法、分割图的评估方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311318485.4A CN117058498B (zh) | 2023-10-12 | 2023-10-12 | 分割图评估模型的训练方法、分割图的评估方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117058498A CN117058498A (zh) | 2023-11-14 |
CN117058498B true CN117058498B (zh) | 2024-02-06 |
Family
ID=88666719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311318485.4A Active CN117058498B (zh) | 2023-10-12 | 2023-10-12 | 分割图评估模型的训练方法、分割图的评估方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117058498B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753843A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技(深圳)有限公司 | 基于深度学习的分割效果评估方法、装置、设备及介质 |
WO2022143811A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
CN115063861A (zh) * | 2022-06-24 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 模型训练方法、图像背景相似判断方法及装置 |
CN115512116A (zh) * | 2022-11-01 | 2022-12-23 | 北京安德医智科技有限公司 | 图像分割模型优化方法、装置、电子设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110599503B (zh) * | 2019-06-18 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 检测模型训练方法、装置、计算机设备和存储介质 |
US11963846B2 (en) * | 2020-01-24 | 2024-04-23 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
-
2023
- 2023-10-12 CN CN202311318485.4A patent/CN117058498B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753843A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技(深圳)有限公司 | 基于深度学习的分割效果评估方法、装置、设备及介质 |
WO2022143811A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
CN115063861A (zh) * | 2022-06-24 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 模型训练方法、图像背景相似判断方法及装置 |
CN115512116A (zh) * | 2022-11-01 | 2022-12-23 | 北京安德医智科技有限公司 | 图像分割模型优化方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
条带池化注意力的实时语义分割算法;吕佳 等;《计算机辅助设计与图形学学报》;第35卷(第9期);第1395-1404页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117058498A (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
Arietta et al. | City forensics: Using visual elements to predict non-visual city attributes | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
CN111126258A (zh) | 图像识别方法及相关装置 | |
CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
CN114418030B (zh) | 图像分类方法、图像分类模型的训练方法及装置 | |
KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN116310318B (zh) | 交互式的图像分割方法、装置、计算机设备和存储介质 | |
CN117011616B (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
CN112668608A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN112580616B (zh) | 人群数量确定方法、装置、设备及存储介质 | |
CN114004364A (zh) | 采样优化方法、装置、电子设备及存储介质 | |
CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN116778534B (zh) | 图像处理方法、装置、设备和介质 | |
CN116958176B (zh) | 图像分割方法、装置、计算机设备及介质 | |
CN117541824A (zh) | 标识的识别方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |