CN110969627B - 图像分割模型训练方法、图像处理方法及装置 - Google Patents
图像分割模型训练方法、图像处理方法及装置 Download PDFInfo
- Publication number
- CN110969627B CN110969627B CN201911204021.4A CN201911204021A CN110969627B CN 110969627 B CN110969627 B CN 110969627B CN 201911204021 A CN201911204021 A CN 201911204021A CN 110969627 B CN110969627 B CN 110969627B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation model
- loss function
- feature
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 162
- 238000012549 training Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 195
- 230000011218 segmentation Effects 0.000 claims abstract description 149
- 238000005070 sampling Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开关于图像分割模型训练方法、图像处理方法及装置。该训练方法包括获取训练集图像和与所述训练集图像对应的标准语义分割结果；将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。本公开的训练方法可提高图像分割模型的精度。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及图像分割模型训练方法、图像处理方法及装置。
背景技术
图像语义分割是对于给定的一幅图片，给图中每个像素按照的目标类别打上标签，使得不同种类的对象在图像上被区分开来，相对于对图片中的对象进行类别判断，图像语义分割更加细粒度，能够在像素级别进行识别，图像语义分割能够应用在自动驾驶技术中，将道路上的人和车辆识别出来进行避障。
然而，现有的利用全卷积神经网络实现图像语义的分割测试方法，能够有效分割目标对象，但是其计算量大不适用于移动端等受限于计算量的设备，现有适用于移动端等受限于计算量的设备的分割测试方法，存在边界等部位分割比较粗糙问题，现有适用于移动端等受限于计算量的设备精确度有待提升。
发明内容
本公开提供一种图像分割模型训练方法、图像处理方法及装置，以至少解决相关技术中对边界精细分割时存在计算量大的问题。
根据本公开实施例的第一方面，提供一种图像分割模型训练方法，包括：
获取训练集图像和与所述训练集图像对应的标准语义分割结果；
将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；
将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。
在其中一个实施例中，所述将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图步骤包括：将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
在其中一个实施例中，所述将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数步骤包括：将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
在其中一个实施例中，所述根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数步骤，包括：对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
在其中一个实施例中，所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤包括：获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在其中一个实施例中，在所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤之后，包括：删除所述训练后的图像分割模型中的监督分支。
根据本公开实施例的第二方面，提供一种图像处理方法，包括：获取待处理图像；将待处理图像输入上述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
根据本公开实施例的第三方面，提供一种图像分割模型训练装置，包括：
训练图像获取模块，被配置为执行获取训练集图像和与所述训练集图像对应的标准语义分割结果；
采样模块，被配置为执行将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；
监督分支加入模块，被配置为执行将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
总损失函数计算模块，被配置为执行根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
第一修正模块，被配置为执行根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。
在其中一个实施例中，所述采样模块包括：下采样单元，被配置为执行将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；ASPP处理单元，被配置为执行将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；上采样单元，被配置为执行以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
在其中一个实施例中，所述监督分支加入模块包括：反卷积运算单元，被配置为执行将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；概率计算单元，被配置为执行根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；损失函数计算单元，被配置为执行根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
在其中一个实施例中，所述总损失函数计算模块包括：权重设置单元，被配置为执行对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；总损失函数计算单元，被配置为执行根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
在其中一个实施例中，所述第一修正模块包括：像素获取单元，被配置为执行获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；修正单元，被配置为执行根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在其中一个实施例中，所述图像分割模型训练装置，还包括：删除模块，被配置为执行删除所述训练后的图像分割模型中的监督分支。
根据本公开实施例的第四方面，提供一种图像处理装置，包括：
待处理图像获取模块，被配置为执行获取待处理图像；
目标分割结果获取模块，被配置为执行将待处理图像输入上述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
根据本公开实施例的第五方面，提供一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的图像分割模型训练方法或权利要求7所述的图像处理方法。
根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述的图像分割模型训练方法或权利要求7所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过对上采样过程中的多个不同尺度的特征图分别计算损失函数，实现对不同特征图的监督，再根据多个不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数计算所述初始图像分割模型的总损失函数，通过总损失函数来修正初始图像分割模型中的各特征图的参数，提高了损失函数的计算精度，从而提高了图像分割模型的精确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像分割模型训练方法的流程图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种图像分割模型训练装置的框图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
图5是根据一示例性实施例示出的对人像进行分割的示意图。
图6是根据一示例性实施例示出的计算机设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像分割模型训练方法的流程图，如图1所示，包括以下步骤。
在步骤S110中，获取训练集图像和与所述训练集图像对应的标准语义分割结果。
其中，训练集图像为多幅关于目标对象的图像，通过包括手机、相机、录像机等摄影设备获取，或者从网络图库中获得，目标对象为将要从图形中分割出来的对象，目标对象可以为图片中的某个人、某一物品等，当然，本公开中进行分割的目标对象可以设置为一个也可以为多个。其中，标准语义分割结果是指预先标注好的语义分割结果，在步骤S1101中，标准语义分割结果通过训练集图像进行标注获得，例如，通过人工根据训练集图像将目标对象的像素标注为255，背景图像的像素标注为0，当然还可以采用其它标注方法，在此不再赘述。
在步骤S120中，将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；其中，所述上采样和下采样对应的特征图的尺度相同。
其中，图像分割模型为针对图像进行语义分割的全卷积神经网络(FullyConvolutional Networks，FNC)模型，通过对图像分割模型进行不断训练和测试，以提高对目标分割图像的精度。初始图像分割模型为训练前的图像分割模型，训练集图像输入初始图像分割模型会经过一系列的卷积运算获得多个特征图，每个特征图的运算都是以上一特征图作为输入进行卷积运算获得，最终获得目标分割结果，特征图为关于所述输入的训练集图像的多个不同特征信息。当然，本申请实施例中卷积运算不仅包括卷积运算，也可以包括批标准化(batch normalization)运算和线性整流函数(Rectified Linear Unit,ReLU)运算。
其中，下采样也称为编码(Encoder)，将训练集图像进行卷积运算后输入池化层得到第一个特征图，再将第一个特征图进行卷积运算后输入池化层得到第二个特征图，第二个特征图的尺度小于第一个特征图的尺度，依次类推，最终获得第N个特征图，第N个特征图为最小尺度的特征图，N为大于2的正整数。根据第N个特征图通过ASPP(Atrous SpatialPyramid Pooling，深度空间金字塔池化)模块再做一次卷积运算，获得第N+1个特征图，第N+1个特征图与第N个特征图尺度相同。上采样也称为解码(Decoder)，根据第N+1个特征图进行卷积运算后输入上采样层得到第N+2个特征图，然后再对第N+2个特征图进行卷积运算后输入上采样层得到第N+3个特征图，依次类推，最终获得第N+N个特征图，第N+N个特征图的尺度与第一个特征图的尺度相同，第N+N-1个特征图与第二个特征图尺度相同，依次类推，每个上采样过程中得到的特征图能够找到一个同尺度的下采样过程中得到的特征图。
在经典的全卷积神经网络中，没有全连接操作，所以可以应用于不同尺度的图像，上采样和下采样之间的跳连接能够缩短网络误差回传的路径，融合前后的不同的信息，提升分割的精确度，关于经典的全卷积神经网络详细介绍在此不再赘述。
在步骤S130中，所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数。
其中，不同尺度的特征图为排除最小尺度的特征图之外的其它特征图，例如，上述第N+1个特征图为最小尺度的特征图，则不同尺度的特征图为除了第N+1个特征图的其它特征图，不同尺度的特征图包括第N+2个特征图、第N+3个特征图、……第N+N-1个特征图和第N+N个特征图。其中，监督分支为根据不同尺度的特征图中特征图进行卷积运算得到输出图，再根据输出图和标准语义分割结果计算损失函数。所述标准语义分割结果提取的像素的信息，作为对所述不同尺度的特征图的特征信息进行误差计算的基础。每个不同尺度的特征图都会进行一次损失函数的计算。通过多次计算的损失函数能够更加深入的反应卷积运算过程中的误差，据此能够调整初始图像分割模型中的参数，能够提高图像分割模型的精度。
其中，所述监督分支作为运算模块，其处理过程包括卷积运算、标准化(batchnormalization)运算和线性整流函数(Rectified Linear Unit,ReLU)运算。
在步骤S140中，根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得。
其中，总损失函数可以通过多个不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数进行加权运算得到，总损失函数也可以通过多个不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数进行求和运算得到，或者总损失函数可以通过多个不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数开平方得到。
例如，设目标分割结果对应的损失函数为loss，3个不同尺度的特征图对应的损失函数分别为loss1、loss2、loss3，则在训练的过程中，总损失函数为：
Loss_total＝weight*loss+weight1*loss1+weight2*loss2+weight3*loss3
其中，Loss_total为总损失函数，weight为loss的权重，weight1、weight2和weight3为对应的loss1、loss2、loss3的权重，根据实际需要，weight的值比weight1、weight2和weight3的值大。
在步骤S150中，根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。
其中，反向传播(Back Propagation，BP)算法是“误差反向传播”算法的简称，是一种与最优化方法(如梯度下降法)结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。所述梯度反馈给最优化方法，用来更新权值以最小化损失函数。反向传播算法要求有对每个输入值想得到的已知输出，来计算损失函数梯度，因此，它通常被认为是一种监督式学习方法，虽然它也用在一些无监督网络(如自动编码器)中，它是多层前馈网络的Delta规则的推广，可以用链式法则对每层迭代计算梯度，反向传播要求人工神经元(或“节点”)的激励函数可微。关于反向传播(Back Propagation，BP)算法详细介绍在此不再赘述。
上述图像分割模型训练方法，通过对上采样过程中的根据多个不同尺度的特征图分别计算损失函数，实现对不同特征图的监督，再根据多个不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数计算所述初始图像分割模型的总损失函数，通过总损失函数来修正初始图像分割模型中的各特征图的参数，提高了损失函数的计算精度，从而提高了图像分割模型的精确度。
在其中一个实施例中，所述步骤S120包括：
在步骤S121中，将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图。
其中，在下采样过程中，根据所述训练集图像进行多次卷积运算，最终获得第一最小尺度特征图，可以参照上述实施例中的第N个特征图。
在步骤S122中，将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图。
其中，步骤S122中通过ASPP(Atrous Spatial Pyramid Pooling，深度空间金字塔池化)模块中的卷积核对所述第一最小尺度特征图进行处理，第二最小尺度特征图可以参照上述实施例中的第N+1个特征图。此处，“第一”和“第二”并不是表示特征图的尺度大小关系，只是用于区分两个不同的最小尺度特征图。
在步骤S123中，以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同。其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
相邻前两级特征图为要计算的当前特征图(第二特征图)的前一级特征图和前一级特征图的前一级特征图，同尺度的所述第一特征图为同尺度的下采样获得的特征图，请参见上述实施例中的介绍。此处的上采样过程中，可以融合三个不同的特征图作为卷积运算的输入，提高了卷积运行的信息丰富度，能够使得得到的第二特征图中个特征信息更加接近真实信息。
在其中一个实施例中，所述步骤130包括：
在步骤S131中，将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像。
在步骤S132中，根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率。
其中，述还原图像中每个像素具有相应的位置信息，根据所述位置信息能够找到所述标准语义分割结果中对应的像素。具体的，可以通过还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值之差，再除以所述标准语义分割结果中像素的像素值，得到所述还原图像中每个像素属于目标对象的概率。
在步骤S133中，根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
具体的，取10为底所述概率的对数的相反数作为损失函数。
在其中一个实施例中，所述步骤140包括：
在步骤S141中，对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重。
在步骤S112中，根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
例如，设目标分割结果对应的损失函数为loss，3个不同尺度的特征图对应的损失函数分别为loss1、loss2、loss3，loss、loss1、loss2和loss3设置权重分别为weight、weight1、weight2和weight3，则在训练的过程中，总损失函数为：
Loss_total＝weight*loss+weight1*loss1+weight2*loss2+weight3*loss3
其中，Loss_total为总损失函数，根据实际需要，weight的值比weight1、weight2和weight3的值大。
在其中一个实施例中，所述步骤S150包括：
在步骤S151中，获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数。
其中，训练集图像包括多个图像，分别根据每个图像进行图像分割模型训练，训练集图像中的每个像素会计算对应的总损失函数，像素的总损失函数越高表示表示分类错误的概率越高，此处设置分类错误的概率高的像素为易分类错误像素。在步骤S151之前，会按照总损失函数的值的大小对所述像素进行排序。其中，排序靠前通过阈值确定，如所述总损失函数的值大于阈值，则判断对应的像素为易分类错误像素。
在步骤S152中，根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在计算总损失函数的时候，大部分的像素比较容易分类，而在边缘的像素通常容易分类错误，尤其是目标对象和背景比较类似的情况下。通过搜寻这些易分类错误的像素，然后通过对分类误差(总损失函数)进行排序，当前的反向传播中，只关注于误差排列靠前的一定比例的像素，来提升效果。
本实施例中，通过根据总损失函数的值最大的前N位像素；所述N为大于零的正整数来对初始图像分割模型中的各特征图的参数进行修正，通过至关注误差排列靠前的一定比例的像素来优化图像分割模型，减少了修正过程中计算量，同时能够实现对目标对象的边界精细分割。
在其中一个实施例中，所述图像分割模型训练方法，还包括：删除所述训练后的图像分割模型中的监督分支。
本实施例通过删除所述图像分割模型中的监督分支，在后续使用训练后的图像分割模型的过程中，不需要再进行监督分支的运算，对系统配置要求降低，提高了图像分割的效率。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，包括以下步骤。
在步骤S210中，获取待处理图像。
在步骤S220中，将待处理图像输入上述实施例所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
其中，待处理图像也为关于目标对象的图像，通过包括手机、相机、录像机等摄影设备获取，或者从网络图库中获得，目标对象为将要从图形中分割出来的对象，目标对象可以为图片中的某个人、某一物品等，当然，本公开中进行分割的目标对象可以设置为一个也可以为多个。
上述图像处理方法，在进行图像分割时并没有如训练方法一般加入监督分支信息，而是直接将待处理图像输入训练后的图像分割模型获得目标分割结果，有效的减少了测试过程中的计算量。
图3是根据一示例性实施例示出的一种图像分割模型训练装置框图。参照图3，该装置400包括训练图像获取模块410，采样模块420，监督分支加入模块430，总损失函数计算模块440和第一修正模块450。
训练图像获取模块410，被配置为执行获取训练集图像和与所述训练集图像对应的标准语义分割结果。
采样模块420，被配置为执行将所述训练集图像输入初始图像分割模型401逐级进行下采样和上采样，获得多个特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同。
监督分支加入模块430，被配置为执行将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数。
总损失函数计算模块440，被配置为执行根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得。
第一修正模块450，被配置为执行根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型402。
在其中一个实施例中，所述采样模块420包括：下采样单元，被配置为执行将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；ASPP处理单元，被配置为执行将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；上采样单元，被配置为执行以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
在其中一个实施例中，所述监督分支加入模块430包括：反卷积运算单元，被配置为执行将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；概率计算单元，被配置为执行根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；损失函数计算单元，被配置为执行根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
在其中一个实施例中，所述总损失函数计算模块440包括：权重设置单元，被配置为执行对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；总损失函数计算单元，被配置为执行根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
在其中一个实施例中，所述第一修正模块450包括：像素获取单元，被配置为执行获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；修正单元，被配置为执行根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在其中一个实施例中，所述图像分割模型训练装置400还包括：删除模块，被配置为执行删除所述训练后的图像分割模型中的监督分支。
图4是根据一示例性实施例示出的一种图像处理装置框图。参照图4，该装置包括待处理图像获取模块510和目标分割结果获取模块520。
待处理图像获取模块510，被配置为执行获取待处理图像。
目标分割结果获取模块520，被配置为执行将待处理图像输入上述实施例所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
图5是根据一示例性实施例示出的对人像进行分割的示意图。如图5所示，在对初始图像分割模型的训练过程中，图像701为其中一张训练集图像，将图像701逐级进行下采样，得到特征图E1、特征图E2、特征图E3和特征图E4，特征图E1的尺度为128*128，特征图E2的尺度为64*64，特征图E3的尺度为32*32，特征图E4的尺度为16*16，特征图E4为第一最小尺度特征图。将特征图E4通过ASPP(Atrous Spatial Pyramid Pooling，深度空间金字塔池化)模块再做一次卷积运算得到特征图D4，特征图D4为第二最小尺度特征图。将特征图D4进行卷积运算后输入上采样层得到特征图D3，将特征图D3、特征图D4和特征图E2堆叠后进行卷积运算后输入上采样层得到特征图D2，将特征图D2、特征图D3和特征图E1堆叠后进行卷积运算后输入上采样层得到特征图D1，将特征图D1和特征图D4堆叠后进行卷积运算后输入上采样层得到目标分割结果702，其中，特征图D1的尺度为128*128，特征图D2的尺度为64*64，特征图D3的尺度为32*32，特征图D4的尺度为16*16，图像701的尺度与目标分割结果702尺度相同，目标分割结果702为将人像从背景中分离出来，人像的像素值为255，背景的像素值为0。在上述过程中，在特征图D1、特征图D2和特征图D3分别加入监督分支1信息、监督分支2信息和监督分支3信息，分别计算得到特征图D1、特征图D2和特征图D3对应的损失函数，再计算目标分割结果702对应的损失函数，根据特征图D1、特征图D2和特征图D3对应的损失函数(共三个损失函数)和目标分割结果702对应的损失函数计算所述初始图像分割模型的总损失函数。从图5中可以看出，监督分支3对应的图像边界较模糊，其损失函数值较大，监督分支2和监督分支1对应的图像边界较清晰，其损失函数值较小，目标分割结果相较于监督分支1、监督分支2和监督分支3其边界更清晰，其损失函数值最小。
图6是根据一示例性实施例示出的计算机设备的内部结构图。如图6所示，在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各特征图的特征信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割模型训练方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现以下步骤：
获取训练集图像和与所述训练集图像对应的标准语义分割结果；
将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；
将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。
在一个实施例中，所述将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图步骤包括：将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
在一个实施例中，所述将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数步骤包括：将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
在一个实施例中，所述根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数步骤，包括：对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
在一个实施例中，所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤包括：获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在一个实施例中，所述处理器被配置为执行所述指令时还实现以下步骤：删除所述训练后的图像分割模型中的监督分支。
在一个实施例中，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现以下步骤：获取待处理图像；将所述待处理图像输入上述实施例中所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
在一个实施例中，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行时实现以下步骤：
获取训练集图像和与所述训练集图像对应的标准语义分割结果；
将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同；
将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型。
在一个实施例中，所述将所述训练集图像输入初始图像分割模型逐级进行下采样和上采样，获得多个特征图步骤包括：将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理。
在一个实施例中，所述将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数步骤包括：将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
在一个实施例中，所述根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数步骤，包括：对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
在一个实施例中，所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤包括：获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
在一个实施例中，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行时还实现以下步骤：删除所述训练后的图像分割模型中的监督分支。
在一个实施例中，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行时实现以下步骤：获取待处理图像；将所述待处理图像输入上述实施例中所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种图像分割模型训练方法，其特征在于，包括：
获取训练集图像和与所述训练集图像对应的标准语义分割结果；
将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；
将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；
以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理，相邻前两级特征图为要计算的所述第二特征图的前一级特征图和前一级特征图的前一级特征图，同尺度的所述第一特征图为同尺度的下采样获得的特征图；
将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型，所述图像分割模型为针对图像进行语义分割的全卷积神经网络。
2.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数步骤包括：
将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；
根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；
根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
3.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算所述初始图像分割模型的总损失函数步骤，包括：
对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；
根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
4.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤包括：
获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；
根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
5.根据权利要求1所述的图像分割模型训练方法，其特征在于，在所述根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型步骤之后，包括：
删除所述训练后的图像分割模型中的监督分支。
6.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入权利要求1-5任一项所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
7.一种图像分割模型训练装置，其特征在于，包括：
训练图像获取模块，被配置为执行获取训练集图像和与所述训练集图像对应的标准语义分割结果；
采样模块，被配置为执行将所述训练集图像逐级进行下采样，获得多个第一特征图；其中，最后一级所述下采样获得的所述第一特征图为第一最小尺度特征图；将所述第一最小尺度特征图输入ASPP模块，获得第二最小尺度特征图；以第二最小尺度特征图为基础逐级进行上采样，获得多个第二特征图；其中，所述上采样次数与所述下采样次数相同，相应的每级所述上采样和同级下采样对应的特征图的尺度相同，每级所述上采样是基于相邻前两级特征图、同尺度的所述第一特征图进行处理，相邻前两级特征图为要计算的所述第二特征图的前一级特征图和前一级特征图的前一级特征图，同尺度的所述第一特征图为同尺度的下采样获得的特征图；
监督分支加入模块，被配置为执行将所述上采样获得的多个不同尺度的特征图，分别输入对应的监督分支中，根据所述标准语义分割结果和所述不同尺度的特征图的目标分割结果，得到与所述不同尺度的特征图对应的损失函数；
总损失函数计算模块，被配置为执行根据与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数，计算初始图像分割模型的总损失函数；其中，所述目标分割结果为所述初始图像分割模型最终输出的图像分割结果，所述目标分割结果对应的损失函数根据所述目标分割结果和所述标准语义分割结果计算获得；
第一修正模块，被配置为执行根据所述总损失函数调整所述初始图像分割模型的参数，获得训练后的图像分割模型，所述图像分割模型为针对图像进行语义分割的全卷积神经网络。
8.根据权利要求7所述的图像分割模型训练装置，其特征在于，所述监督分支加入模块包括：
反卷积运算单元，被配置为执行将所述上采样获得的多个不同尺度的特征图分别进行反卷积运算，得到与所述训练集图像同尺寸的还原图像；
概率计算单元，被配置为执行根据所述还原图像中每个像素的像素值和对应的所述标准语义分割结果中像素的像素值，计算所述还原图像中每个像素属于目标对象的概率；
损失函数计算单元，被配置为执行根据所述像素属于目标对象的概率，得到与所述不同尺度的特征图对应的损失函数。
9.根据权利要求7所述的图像分割模型训练装置，其特征在于，所述总损失函数计算模块包括：
权重设置单元，被配置为执行对与所述不同尺度的特征图对应的损失函数和目标分割结果对应的损失函数分别设置不同权重；
总损失函数计算单元，被配置为执行根据多个所述权重和多个所述损失函数进行加权求和运算，得到所述初始图像分割模型的总损失函数。
10.根据权利要求7所述的图像分割模型训练装置，其特征在于，所述第一修正模块包括：
像素获取单元，被配置为执行获取训练集图像中所述总损失函数的值最大的前N位像素；所述N为大于零的正整数；
修正单元，被配置为执行根据所述像素的总损失函数，采用反向传播算法对所述初始图像分割模型的参数进行修正，获得训练后的图像分割模型。
11.根据权利要求7所述的图像分割模型训练装置，其特征在于，还包括：
删除模块，被配置为执行删除所述训练后的图像分割模型中的监督分支。
12.一种图像处理装置，其特征在于，所述装置包括：
待处理图像获取模块，被配置为执行获取待处理图像；
目标分割结果获取模块，被配置为执行将所述待处理图像输入权利要求1-5任一项所述的训练后的图像分割模型，获得目标分割结果，所述目标分割结果为目标对象与背景部分分割的图像。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的图像分割模型训练方法或如权利要求6所述的图像处理方法。
14.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的图像分割模型训练方法或如权利要求6所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911204021.4A CN110969627B (zh) | 2019-11-29 | 2019-11-29 | 图像分割模型训练方法、图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911204021.4A CN110969627B (zh) | 2019-11-29 | 2019-11-29 | 图像分割模型训练方法、图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969627A CN110969627A (zh) | 2020-04-07 |
| CN110969627B true CN110969627B (zh) | 2024-03-29 |
Family
ID=70032328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911204021.4A Active CN110969627B (zh) | 2019-11-29 | 2019-11-29 | 图像分割模型训练方法、图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969627B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783822B (zh) * | 2020-05-20 | 2024-04-16 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置及存储介质 |
| CN112232368B (zh) * | 2020-09-10 | 2023-09-01 | 浙江大华技术股份有限公司 | 目标识别模型训练方法、目标识别方法及其相关装置 |
| CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
| CN112785575B (zh) * | 2021-01-25 | 2022-11-18 | 清华大学 | 一种图像处理的方法、装置和存储介质 |
| CN113160246A (zh) * | 2021-04-14 | 2021-07-23 | 中国科学院光电技术研究所 | 一种基于深度监督的图像语义分割方法 |
| CN114842312B (zh) * | 2022-05-09 | 2023-02-10 | 深圳市大数据研究院 | 面向不配对跨模态图像分割模型的生成及分割方法、装置 |
| CN116071622B (zh) * | 2023-04-06 | 2024-01-12 | 广州思德医疗科技有限公司 | 基于深度学习的胃部图像识别模型构建方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| CN109409432A (zh) * | 2018-10-31 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置和存储介质 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN109800778A (zh) * | 2018-12-03 | 2019-05-24 | 浙江工业大学 | 一种基于难分样本挖掘的Faster RCNN目标检测方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN110427836A (zh) * | 2019-07-11 | 2019-11-08 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种基于多尺度优化的高分辨率遥感影像水体提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10929977B2 (en) * | 2016-08-25 | 2021-02-23 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
-
2019
- 2019-11-29 CN CN201911204021.4A patent/CN110969627B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN109409432A (zh) * | 2018-10-31 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置和存储介质 |
| CN109800778A (zh) * | 2018-12-03 | 2019-05-24 | 浙江工业大学 | 一种基于难分样本挖掘的Faster RCNN目标检测方法 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN110427836A (zh) * | 2019-07-11 | 2019-11-08 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 一种基于多尺度优化的高分辨率遥感影像水体提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| A multi-scale strategy for deep semantic segmentation with convolutional neural networks;Bonan Zhao等;《Neurocomputing》;参9-19页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969627A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969627B (zh) | 图像分割模型训练方法、图像处理方法及装置 | |
| CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
| CN112001403B (zh) | 一种图像轮廓检测方法及系统 | |
| CN113706542A (zh) | 基于卷积神经网络及混合损失函数的眼球分割方法及装置 | |
| CN114998595B (zh) | 弱监督语义分割方法、语义分割方法及可读存储介质 | |
| CN112668462B (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
| CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
| CN111523429A (zh) | 基于深度学习的堆钢识别方法 | |
| CN115713487A (zh) | 用于x射线焊缝图像的缺陷识别方法、设备和存储介质 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN116266387A (zh) | 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统 | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN116740728A (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| CN116579409A (zh) | 基于重参数化的智能相机模型剪枝加速方法及加速系统 | |
| CN116091784A (zh) | 一种目标跟踪方法、设备及存储介质 | |
| CN116091823A (zh) | 一种基于快速分组残差模块的单特征无锚框目标检测方法 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
| CN112966757A (zh) | 训练样本的扩展方法、装置、存储介质及设备 | |
| CN112001388A (zh) | 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法 | |
| CN117576416B (zh) | 工件边缘区域的检测方法、设备及存储介质 | |
| CN111127393B (zh) | 雷达影像变化检测的样本制作方法及系统、存储介质、设备 | |
| CN112396648B (zh) | 一种可定位目标物质心的目标识别方法和系统 | |
| CN116797780A (zh) | 一种基于数据增强和特征融合的改进ssd目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |