CN117953217A - 基于位置敏感的图像分割方法及装置 - Google Patents
基于位置敏感的图像分割方法及装置 Download PDFInfo
- Publication number
- CN117953217A CN117953217A CN202410126823.2A CN202410126823A CN117953217A CN 117953217 A CN117953217 A CN 117953217A CN 202410126823 A CN202410126823 A CN 202410126823A CN 117953217 A CN117953217 A CN 117953217A
- Authority
- CN
- China
- Prior art keywords
- processing
- network
- feature
- feature map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000035945 sensitivity Effects 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 205
- 238000005070 sampling Methods 0.000 claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 239000010410 layer Substances 0.000 claims description 77
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 239000012791 sliding layer Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本公开提供了一种基于位置敏感的图像分割方法及装置。该方法包括:构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取待分割的目标图像,将目标图像输入图像分割模型:通过多个下采样网络处理目标图像,得到目标上采样特征图;通过特征处理网络处理目标上采样特征,得到目标处理特征图;通过多个上采样网络处理目标处理特征图,得到目标分割特征图;依据分割特征图确定目标图像中目标对象对应的分割图像。采用上述技术手段,解决现有技术中图像分割效果差的问题。
Description
技术领域
本公开涉及目标检测技术领域,尤其涉及一种基于位置敏感的图像分割方法及装置。
背景技术
图像分割算法的目的是对原始图像中目标对象进行像素级别分割,也就是从原始图像中分割出目标对象对应的图像部分。现有的图像分割算法常采用卷积神经网络分割图像,卷积神经网络具有强大的局部特征捕捉能力,但因为其卷积操作为局部滑动操作,因此难以建立全局依赖,导致图像分割效果差。
发明内容
有鉴于此,本公开实施例提供了一种基于位置敏感的图像分割方法、装置、电子设备及计算机可读存储介质,以解决现有技术中图像分割效果差的问题。
本公开实施例的第一方面,提供了一种基于位置敏感的图像分割方法,包括:构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取待分割的目标图像,将目标图像输入图像分割模型:通过多个下采样网络处理目标图像,得到目标上采样特征图;通过特征处理网络处理目标上采样特征,得到目标处理特征图;通过多个上采样网络处理目标处理特征图,得到目标分割特征图;依据分割特征图确定目标图像中目标对象对应的分割图像。
本公开实施例的第二方面,提供了一种基于位置敏感的图像分割装置,包括:构建模块,被配置为构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取模块,被配置为获取待分割的目标图像,将目标图像输入图像分割模型:上采样模块,被配置为通过多个下采样网络处理目标图像,得到目标上采样特征图;处理模块,被配置为通过特征处理网络处理目标上采样特征,得到目标处理特征图;下采样模块,被配置为通过多个上采样网络处理目标处理特征图,得到目标分割特征图;确定模块,被配置为依据分割特征图确定目标图像中目标对象对应的分割图像。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取待分割的目标图像,将目标图像输入图像分割模型:通过多个下采样网络处理目标图像,得到目标上采样特征图;通过特征处理网络处理目标上采样特征,得到目标处理特征图;通过多个上采样网络处理目标处理特征图,得到目标分割特征图;依据分割特征图确定目标图像中目标对象对应的分割图像。采用上述技术手段,可以解决现有技术中图像分割效果差的问题,进而提升图像分割效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于位置敏感的图像分割方法的流程示意图;
图2是本公开实施例提供的一种图像分割模型的训练方法的流程示意图;
图3是本公开实施例提供的一种基于位置敏感的图像分割装置的结构示意图;
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种基于位置敏感的图像分割方法和装置。
图1是本公开实施例提供的一种基于位置敏感的图像分割方法的流程示意图。图1的基于位置敏感的图像分割方法可以由计算机或服务器,或者计算机或服务器上的软件执行。如图1所示,该基于位置敏感的图像分割方法包括:
S101,构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;
S102,获取待分割的目标图像,将目标图像输入图像分割模型:
S103,通过多个下采样网络处理目标图像,得到目标上采样特征图;
S104,通过特征处理网络处理目标上采样特征,得到目标处理特征图;
S105,通过多个上采样网络处理目标处理特征图,得到目标分割特征图;
S106,依据分割特征图确定目标图像中目标对象对应的分割图像。
位置敏感网络是按照不同的维度分割特征图,然后处理、拼接和融合分割结果,得到新的特征图。下采样网络在处理特征图的过程还实现下采样操作,所以记作下采样网络。上采样网络在处理特征图的过程还实现上采样操作,所以记作上采样网络。特征处理网络仅处理特征图,不改变特征图的尺寸。依次连接多个下采样网络、特征处理网络和多个上采样网络,得到图像分割模型。
在图像分割模型中:多个下采样网络对目标图像进行处理,得到目标上采样特征图;特征处理网络对目标上采样特征进行处理,得到目标处理特征图;多个上采样网络对目标处理特征图进行处理,得到目标分割特征图。目标分割特征图中一个元素表示对应位置是否属于目标对象的身体部位,如果该位置属于,则表示该位置的元素为1,如果该位置不属于,则表示该位置的元素为0。依据分割特征图确定目标图像中目标对象对应的分割图像,是将分割特征图中元素为1的位置从目标图像中分割出来,分割出来的图像(分割图像)全部是关于目标对象的,被分割掉的是不关于目标对象的。比如目标图像中有一个目标对象还有5个其他对象,本申请实施例是通过图像分割模型处理得到分割特征图,依据分割特征图将目标图像中关于目标对象的部分分割出来,得到分割图像。
根据本申请实施例提供的技术方案,构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取待分割的目标图像,将目标图像输入图像分割模型:通过多个下采样网络处理目标图像,得到目标上采样特征图;通过特征处理网络处理目标上采样特征,得到目标处理特征图;通过多个上采样网络处理目标处理特征图,得到目标分割特征图;依据分割特征图确定目标图像中目标对象对应的分割图像。采用上述技术手段,可以解决现有技术中图像分割效果差的问题,进而提升图像分割效果。
进一步地,构建位置敏感网络,包括:依次连接高度分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到高度处理分支;依次连接宽度分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到宽度处理分支;依次连接通道分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到通道处理分支;将特征融合层的输入侧均连接到并行后的高度处理分支、宽度处理分支和通道处理分支的输出侧之后,得到位置敏感网络。
高度分组层是在图像高度方向(图像高度方向同于特征图高度方向)上将特征图划分为多个小特征图,也就是横向划分特征图。宽度分组层是在图像宽度方向(图像宽度方向同于特征图宽度方向)上将特征图划分为多个小特征图,也就是竖向划分特征图。通道分组层是在特征图通道方向上将特征图划分为多个小特征图。窗口滑动层是通过滑动窗口在划分得到的小特征图上多次滑动,以将小特征图再次划分为更小的特征图。特征降维层是将窗口滑动层划分的更小的特征图变换为一维向量。特征升维层是将全连接层处理后的一维向量变换为多维的特征图,特征升维层输出的特征图和窗口滑动层输出的特征图是同一个维度。
进一步地,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型,包括:依次连接多个残差单元和位置敏感网络,得到下采样网络,其中,下采样网络是通过调整多个残差单元的步长实现对特征图的上采样;依次连接位置敏感网络和多个残差单元,得到上采样网络,其中,上采样网络是通过调整多个残差单元的步长实现对特征图的下采样;将多个串行连接的残差单元作为特征处理网络;依次连接多个下采样网络、特征处理网络和多个上采样网络,得到图像分割模型。
残差单元是现有的网络结构,包括多个卷积层和一个快捷连接。快捷连接将残差单元的输入直接传递到残差单元的最后一层,使得该输入和经过卷积层处理后的输出可以相加,作为残差单元的输出。
进一步地,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型,包括:依次连接两个残差单元和位置敏感网络,得到下采样网络,其中,下采样网络中第一个残差单元的步长为第一预设步长,第二个残差单元的步长为第二预设步长,第二预设步长为第一预设步长的预设倍数;依次连接位置敏感网络和两个残差单元,得到上采样网络,其中,上采样网络中的两个残差单元的步长均为第一预设步长;将三个串行连接的残差单元作为特征处理网络;依次连接两个下采样网络、特征处理网络和两个上采样网络,得到图像分割模型。
假设第一预设步长为1,则第二预设步长为2,下采样网络中第一个残差单元的步长为1,第二个残差单元的步长为2,那么下采样网络可以在处理特征图的过程中实现2倍下采样,两个残差单元采用的卷积核可以根据常规设置自行选择,比如第一个残差单元采用的卷积核为1*1,第二个残差单元的3*3。上采样网络使用两个步长均为1的残差单元,上采样网络可以在处理特征图的过程中实现2倍上采样,两个残差单元采用的卷积核为1*1和3*3。将三个串行连接的残差单元作为特征处理网络,特征处理网络仅处理特征图不改变特征图的尺寸。
更进一步地,将位置敏感网络的输入和输出分别记作第一特征图和第二特征图,包括:在位置敏感网络内部:分别通过高度处理分支、宽度处理分支和通道处理分支处理第一特征图,得到高度处理特征图、宽度处理特征图和通道处理特征图;通过特征融合层融合高度处理特征图、宽度处理特征图和通道处理特征图,得到第二特征图。
下采样网络和上采样网络中均包括位置敏感网络,位置敏感网络在下采样网络和上采样网络中的作用均是相同的。将任意一个位置敏感网络的输入记作第一特征图,第一特征图分别经过高度处理分支、宽度处理分支和通道处理分支,得到高度处理特征图、宽度处理特征图和通道处理特征图,特征融合层融合高度处理特征图、宽度处理特征图和通道处理特征图,得到位置敏感网络输出的第二特征图。
更进一步地,通过高度处理分支处理第一特征图,得到高度处理特征图,包括:通过高度分组层在特征图高度维度上将第一特征图划分为多个第三特征图;通过窗口滑动层在各个第三特征图按照预设尺寸滑动,以将各个第三特征图划分为多个第四特征图;通过特征降维层将各个第四特征图变换为一维的特征向量;通过全连接层处理各条特征向量,得到各条特征向量对应的全连接向量;通过特征升维层将各条全连接向量变换为第五特征图,其中,各个第五特征图和各个第四特征图的维度相同;通过特征拼接层拼接各个第五特征图,得到高度处理特征图。
宽度处理分支处理第一特征图得到宽度处理特征图,和通道处理分支处理第一特征图得到通道处理特征图的过程,类似于通过高度处理分支处理第一特征图得到高度处理特征图的过程,不再赘述宽度处理分支和通道处理分支处理第一特征图的过程。
图2是本公开实施例提供的一种图像分割模型的训练方法的流程示意图,如图2所示,该方法包括:
S201,获取训练图像,将训练图像输入图像分割模型:
S202,通过多个下采样网络处理训练图像,得到上采样特征图;
S203,通过特征处理网络处理上采样特征,得到处理特征图;
S204,通过多个上采样网络处理处理特征图,得到分割特征图;
S205,利用散度损失函数计算分割特征图和训练图像的标签之间的损失,依据损失优化图像分割模型,以完成对图像分割模型的训练。
本申请实施例属于图像分割模型的训练阶段,利用训练图像训练图像分割模型,在图像分割模型内部:多个下采样网络处理训练图像得到上采样特征图,特征处理网络处理上采样特征得到处理特征图,多个上采样网络处理处理特征图得到分割特征图。利用散度损失函数计算分割特征图和训练图像的标签之间的损失,依据损失优化图像分割模型。训练图像的标签是为训练图像提前标注的能代表分割特征的特征图。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是本公开实施例提供的一种基于位置敏感的图像分割装置的示意图。
如图3所示,该基于位置敏感的图像分割装置包括:
构建模块301,被配置为构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;
获取模块302,被配置为获取待分割的目标图像,将目标图像输入图像分割模型:
上采样模块303,被配置为通过多个下采样网络处理目标图像,得到目标上采样特征图;
处理模块304,被配置为通过特征处理网络处理目标上采样特征,得到目标处理特征图;
下采样模块305,被配置为通过多个上采样网络处理目标处理特征图,得到目标分割特征图;
确定模块306,被配置为依据分割特征图确定目标图像中目标对象对应的分割图像。
根据本申请实施例提供的技术方案,构建位置敏感网络,利用多个残差单元和位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、特征处理网络和多个上采样网络构建图像分割模型;获取待分割的目标图像,将目标图像输入图像分割模型:通过多个下采样网络处理目标图像,得到目标上采样特征图;通过特征处理网络处理目标上采样特征,得到目标处理特征图;通过多个上采样网络处理目标处理特征图,得到目标分割特征图;依据分割特征图确定目标图像中目标对象对应的分割图像。采用上述技术手段,可以解决现有技术中图像分割效果差的问题,进而提升图像分割效果。
在一些实施例中,构建模块301还被配置为依次连接高度分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到高度处理分支;依次连接宽度分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到宽度处理分支;依次连接通道分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到通道处理分支;将特征融合层的输入侧均连接到并行后的高度处理分支、宽度处理分支和通道处理分支的输出侧之后,得到位置敏感网络。
在一些实施例中,构建模块301还被配置为依次连接多个残差单元和位置敏感网络,得到下采样网络,其中,下采样网络是通过调整多个残差单元的步长实现对特征图的上采样;依次连接位置敏感网络和多个残差单元,得到上采样网络,其中,上采样网络是通过调整多个残差单元的步长实现对特征图的下采样;将多个串行连接的残差单元作为特征处理网络;依次连接多个下采样网络、特征处理网络和多个上采样网络,得到图像分割模型。
在一些实施例中,构建模块301还被配置为依次连接两个残差单元和位置敏感网络,得到下采样网络,其中,下采样网络中第一个残差单元的步长为第一预设步长,第二个残差单元的步长为第二预设步长,第二预设步长为第一预设步长的预设倍数;依次连接位置敏感网络和两个残差单元,得到上采样网络,其中,上采样网络中的两个残差单元的步长均为第一预设步长;将三个串行连接的残差单元作为特征处理网络;依次连接两个下采样网络、特征处理网络和两个上采样网络,得到图像分割模型。
在一些实施例中,上采样模块303以及下采样模块305还被配置为在位置敏感网络内部:分别通过高度处理分支、宽度处理分支和通道处理分支处理第一特征图,得到高度处理特征图、宽度处理特征图和通道处理特征图;通过特征融合层融合高度处理特征图、宽度处理特征图和通道处理特征图,得到第二特征图。
在一些实施例中,上采样模块303以及下采样模块305还被配置为通过高度分组层在特征图高度维度上将第一特征图划分为多个第三特征图;通过窗口滑动层在各个第三特征图按照预设尺寸滑动,以将各个第三特征图划分为多个第四特征图;通过特征降维层将各个第四特征图变换为一维的特征向量;通过全连接层处理各条特征向量,得到各条特征向量对应的全连接向量;通过特征升维层将各条全连接向量变换为第五特征图,其中,各个第五特征图和各个第四特征图的维度相同;通过特征拼接层拼接各个第五特征图,得到高度处理特征图。
在一些实施例中,获取模块302还被配置为获取训练图像,将训练图像输入图像分割模型:通过多个下采样网络处理训练图像,得到上采样特征图;通过特征处理网络处理上采样特征,得到处理特征图;通过多个上采样网络处理处理特征图,得到分割特征图;利用散度损失函数计算分割特征图和训练图像的标签之间的损失,依据损失优化图像分割模型,以完成对图像分割模型的训练。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于位置敏感的图像分割方法,其特征在于,包括:
构建位置敏感网络,利用多个残差单元和所述位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、所述特征处理网络和多个上采样网络构建图像分割模型;
获取待分割的目标图像,将所述目标图像输入所述图像分割模型:
通过多个下采样网络处理所述目标图像,得到目标上采样特征图;
通过所述特征处理网络处理所述目标上采样特征,得到目标处理特征图;
通过多个上采样网络处理所述目标处理特征图,得到目标分割特征图;
依据分割特征图确定所述目标图像中目标对象对应的分割图像。
2.根据权利要求1所述的方法,其特征在于,构建位置敏感网络,包括:
依次连接高度分组层、窗口滑动层、特征降维层、全连接层、特征升维层和特征拼接层,得到高度处理分支;
依次连接宽度分组层、所述窗口滑动层、所述特征降维层、所述全连接层、所述特征升维层和所述特征拼接层,得到宽度处理分支;
依次连接通道分组层、所述窗口滑动层、所述特征降维层、所述全连接层、所述特征升维层和所述特征拼接层,得到通道处理分支;
将特征融合层的输入侧均连接到并行后的高度处理分支、宽度处理分支和通道处理分支的输出侧之后,得到所述位置敏感网络。
3.根据权利要求1所述的方法,其特征在于,利用多个残差单元和所述位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、所述特征处理网络和多个上采样网络构建图像分割模型,包括:
依次连接多个残差单元和所述位置敏感网络,得到所述下采样网络,其中,所述下采样网络是通过调整多个残差单元的步长实现对特征图的上采样;
依次连接所述位置敏感网络和多个残差单元,得到所述上采样网络,其中,所述上采样网络是通过调整多个残差单元的步长实现对特征图的下采样;
将多个串行连接的残差单元作为所述特征处理网络;
依次连接多个下采样网络、所述特征处理网络和多个上采样网络,得到所述图像分割模型。
4.根据权利要求1所述的方法,其特征在于,利用多个残差单元和所述位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、所述特征处理网络和多个上采样网络构建图像分割模型,包括:
依次连接两个残差单元和所述位置敏感网络,得到所述下采样网络,其中,所述下采样网络中第一个残差单元的步长为第一预设步长,第二个残差单元的步长为第二预设步长,第二预设步长为第一预设步长的预设倍数;
依次连接所述位置敏感网络和两个残差单元,得到所述上采样网络,其中,所述上采样网络中的两个残差单元的步长均为第一预设步长;
将三个串行连接的残差单元作为所述特征处理网络;
依次连接两个下采样网络、所述特征处理网络和两个上采样网络,得到所述图像分割模型。
5.根据权利要求2所述的方法,其特征在于,将所述位置敏感网络的输入和输出分别记作第一特征图和第二特征图,包括:
在所述位置敏感网络内部:
分别通过所述高度处理分支、所述宽度处理分支和所述通道处理分支处理所述第一特征图,得到高度处理特征图、宽度处理特征图和通道处理特征图;
通过所述特征融合层融合所述高度处理特征图、所述宽度处理特征图和所述通道处理特征图,得到所述第二特征图。
6.根据权利要求5所述的方法,其特征在于,通过所述高度处理分支处理所述第一特征图,得到高度处理特征图,包括:
通过所述高度分组层在特征图高度维度上将所述第一特征图划分为多个第三特征图;
通过所述窗口滑动层在各个第三特征图按照预设尺寸滑动,以将各个第三特征图划分为多个第四特征图;
通过所述特征降维层将各个第四特征图变换为一维的特征向量;
通过所述全连接层处理各条特征向量,得到各条特征向量对应的全连接向量;
通过所述特征升维层将各条全连接向量变换为第五特征图,其中,各个第五特征图和各个第四特征图的维度相同;
通过所述特征拼接层拼接各个第五特征图,得到高度处理特征图。
7.根据权利要求1所述的方法,其特征在于,将所述目标图像输入所述图像分割模型之前,所述方法还包括:
获取训练图像,将所述训练图像输入所述图像分割模型:
通过多个下采样网络处理所述训练图像,得到上采样特征图;
通过所述特征处理网络处理所述上采样特征,得到处理特征图;
通过多个上采样网络处理所述处理特征图,得到分割特征图;
利用散度损失函数计算所述分割特征图和所述训练图像的标签之间的损失,依据所述损失优化所述图像分割模型,以完成对所述图像分割模型的训练。
8.一种基于位置敏感的图像分割装置,其特征在于,包括:
构建模块,被配置为构建位置敏感网络,利用多个残差单元和所述位置敏感网络构建下采样网络和上采样网络,利用多个残差单元构建特征处理网络,利用多个下采样网络、所述特征处理网络和多个上采样网络构建图像分割模型;
获取模块,被配置为获取待分割的目标图像,将所述目标图像输入所述图像分割模型:
上采样模块,被配置为通过多个下采样网络处理所述目标图像,得到目标上采样特征图;
处理模块,被配置为通过所述特征处理网络处理所述目标上采样特征,得到目标处理特征图;
下采样模块,被配置为通过多个上采样网络处理所述目标处理特征图,得到目标分割特征图;
确定模块,被配置为依据分割特征图确定所述目标图像中目标对象对应的分割图像。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410126823.2A CN117953217A (zh) | 2024-01-29 | 2024-01-29 | 基于位置敏感的图像分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410126823.2A CN117953217A (zh) | 2024-01-29 | 2024-01-29 | 基于位置敏感的图像分割方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117953217A true CN117953217A (zh) | 2024-04-30 |
Family
ID=90791941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410126823.2A Pending CN117953217A (zh) | 2024-01-29 | 2024-01-29 | 基于位置敏感的图像分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117953217A (zh) |
-
2024
- 2024-01-29 CN CN202410126823.2A patent/CN117953217A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
CN112668588B (zh) | 车位信息生成方法、装置、设备和计算机可读介质 | |
CN109118456B (zh) | 图像处理方法和装置 | |
CN110598714A (zh) | 一种软骨图像分割方法、装置、可读存储介质及终端设备 | |
CN111860398A (zh) | 遥感图像目标检测方法、系统及终端设备 | |
WO2021115061A1 (zh) | 图像分割方法、装置及服务器 | |
CN113239925A (zh) | 一种文本检测模型训练方法、文本检测方法及装置、设备 | |
CN112598673A (zh) | 全景分割方法、装置、电子设备和计算机可读介质 | |
CN113516697A (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
WO2019109410A1 (zh) | 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法 | |
CN115546766B (zh) | 车道线生成方法、装置、电子设备和计算机可读介质 | |
CN110852250A (zh) | 一种基于最大面积法的车辆排重方法、装置及存储介质 | |
CN113139617B (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
CN117953217A (zh) | 基于位置敏感的图像分割方法及装置 | |
CN111385603B (zh) | 用于嵌入视频到二维地图的方法 | |
CN113642510A (zh) | 目标检测方法、装置、设备和计算机可读介质 | |
CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
CN110633595B (zh) | 一种利用双线性插值的目标检测方法和装置 | |
CN114022458A (zh) | 骨架检测方法、装置、电子设备和计算机可读存储介质 | |
CN111382696A (zh) | 用于检测目标的边界点的方法和装置 | |
CN113763405A (zh) | 一种图像检测方法和装置 | |
CN109657523B (zh) | 一种可行驶区域检测方法和装置 | |
CN116630436B (zh) | 相机外参修正方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |