CN114092696A - 图像分割方法、装置、电子设备及存储介质 - Google Patents

图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114092696A
CN114092696A CN202010744818.XA CN202010744818A CN114092696A CN 114092696 A CN114092696 A CN 114092696A CN 202010744818 A CN202010744818 A CN 202010744818A CN 114092696 A CN114092696 A CN 114092696A
Authority
CN
China
Prior art keywords
gradient
image
convolution kernel
target image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010744818.XA
Other languages
English (en)
Inventor
李虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010744818.XA priority Critical patent/CN114092696A/zh
Publication of CN114092696A publication Critical patent/CN114092696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分割方法、装置、电子设备及存储介质，提出了卷积核的可变形思路，通过确定图像的梯度信息来指导可变形卷积核进行变形，并基于变形后的卷积核对图像进行卷积处理，由于图像像素的梯度信息能够反映图像像素的变化状况，从而对于非规则物体来说，实现了利用其非规则区域的像素变化状况信息，指导可变形卷积核进行适应性形变，以充分提取非规则物体的图像特征信息，相应可达到准确、高效地完成非规则物体图像的语义分割任务的目的。

Description

图像分割方法、装置、电子设备及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。
传统的图像分割算法，如基于阈值、基于边缘或基于区域的分割算法等，所提取的特征信息有限，泛化性能欠佳，并且分割逻辑简单、实现图像的语义分割存在一定难点。
图像语义分割是在图像分割基础上对分割后的图像加上语义标签，基于深度学习的图像分割算法能够提取丰富的特征信息，相比于传统分割算法更好地解决了图像的语义分割问题，但是大多数基于深度学习的图像分割网络均是基于标准的卷积核构建，对于分割任务而言，并不仅仅需要完成规则物体的语义分割，现实场景中还存在很多需要完成非规则物体的语义分割的任务，而标准卷积核很难充分的利用卷积核来提取图像语义分割任务中非规则物体的图像(尤其是非规则物体的图像边缘)的特征信息。
发明内容
有鉴于此，本申请提供了一种图像分割方法、装置、电子设备及存储介质，通过利用基于梯度的可变形卷积核进行图像语义分割，达到能充分提取非规则物体的图像特征信息的目的。
具体技术方案如下：
一种图像分割方法，包括：
获得目标图像；
确定所述目标图像的梯度信息；
基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核；
利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
可选的，所述获得目标图像，包括：
若所述当前卷积层是所述深度分割网络模型中的第一层卷积层，获得待分割的原始图像；
若所述当前卷积层不是所述深度分割网络模型中的第一层卷积层，获得与所述当前卷积层相邻的上一层卷积层输出的所述原始图像的相应特征图像。
可选的，所述确定所述目标图像的梯度信息，包括：
计算所述目标图像的所有像素点的梯度向量，得到梯度图像；
或者，
计算卷积操作过程中所述第一卷积核在目标图像中对应的当前待扫描像素区域的各像素点的梯度向量。
可选的，所述计算所述目标图像的所有像素点的梯度向量，得到梯度图像，包括：
利用所述深度分割网络模型中设置于所述当前卷积层的上一层的梯度计算网络层，计算所述目标图像的所有像素点的梯度向量，得到梯度图像。
可选的，所述基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，包括：
从所述梯度图像中提取对应于所述待扫描像素区域的各像素点的梯度向量，或者，获取确定的所述待扫描像素区域的各像素点的梯度向量；其中，所述梯度向量包括梯度方向和梯度大小；
基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向；
基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离。
可选的，基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向，基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离，包括：
控制所述第一卷积核对应的滑动窗口中的每个子窗口沿所述待扫描像素区域中相对应像素点的梯度方向移动，并沿所述梯度方向移动所述相对应像素点的梯度大小的距离；
其中，完成移动的各个子窗口构成所述第二卷积核。
可选的，所述第一卷积核为预定尺寸的标准卷积核；
所述基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核，包括：
在对所述目标图像进行一次完整的卷积操作的过程中，利用所述标准卷积核按设定的扫描方式及滑动步长在所述目标图像上进行滑动；
且，每当滑动至一待扫描像素区域，基于所述待扫描像素区域的各个像素点的梯度向量对滑动至所述待扫描像素区域的所述标准卷积核进行变形处理，得到第二卷积核。
可选的，所述利用所述第二卷积核对所述目标图像进行卷积处理，包括：
基于所述第二卷积核中各个子窗口当前在所述目标图像中的像素位置，对所述目标图像进行卷积处理。
一种图像分割装置，包括：
获取单元，用于获得目标图像；
确定单元，用于确定所述目标图像的梯度信息；
变形处理单元，用于基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核；
卷积处理单元，用于利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
一种电子设备，包括：
存储器，用于存放计算机指令集；
处理器，用于通过执行所述存储器上存放的指令集，实现如权利要求1-8任一项所述的图像分割方法。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如权利要求1-8任一项所述的图像分割方法。
本申请实施例提供的图像分割方法、装置、电子设备及存储介质，提出了卷积核的可变形思路，通过确定图像的梯度信息来指导可变形卷积核进行变形，并基于变形后的卷积核对图像进行卷积处理，由于图像像素的梯度信息能够反映图像像素的变化状况，从而对于非规则物体来说，实现了利用其非规则区域的像素变化状况信息，指导可变形卷积核进行适应性形变，以充分提取非规则物体的图像特征信息，相应可达到准确、高效地完成非规则物体图像的语义分割任务的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的图像分割方法的一种流程示意图；
图2是不同尺寸的标准卷积核的示意图；
图3是本申请实施例提供的图像分割方法的另一种流程示意图；
图4(a)是本申请实施例提供的目标图像的所有像素点的梯度向量示意图；
图4(b)是本申请实施例提供的目标图像中当前待扫描像素区域的各像素点的梯度向量示意图；
图5是本申请实施例提供的计算像素梯度向量的示意图；
图6是本申请实施例提供的基于图像梯度大小和方向对卷积核进行变形的示意图；
图7是本申请实施例提供的在目标图像中对卷积核进行滑动的示意图；
图8是本申请实施例提供的图像分割装置的结构示意图；
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了能够充分提取非规则物体的图像特征信息，尽可能准确、高效地完成其图像的语义分割任务，本申请公开了一种图像分割方法、装置、电子设备及存储介质，以下将通过多个实施例对本申请的图像分割方法、装置、电子设备及存储介质进行说明。
在一可选实施例中，提供了一种图像分割方法，该方法适用于利用电子设备进行图像分割(如图像语义分割)的场景中，执行图像分割的电子设备可以是但不限于笔记本、台式机、一体机等个人PC，或者还可以是云端服务器、局域网服务器等设备，在此不做限制。
如图1所示，该图像分割方法可以包括以下处理步骤：
步骤101、获得目标图像。
本申请实施例使用基于深度学习的图像分割技术，完成图像的语义分割。
且具体地，针对传统技术中基于深度学习的图像分割网络均采用标准卷积核提取图像语义分割任务中物体的图像特征信息，相应存在的很难充分提取非规则物体的图像特征信息的缺陷，本申请提出了如下的技术思路：基于待分割图像的梯度信息指导可变形卷积核进行形变，并利用变形后的卷积核对图像进行卷积操作，以此达到能够充分提取非规则物体的图像特征信息的目的，进而实现利用感兴趣区域(如不规则物体的边缘区域)的特征信息，尽可能准确、高效地完成图像的语义分割任务。
传统的标准卷积核一般为矩形，结合参阅图2，如具体可以是尺寸为3x3，5x5，7x7等的矩形卷积核等，而本申请实施例中的可变形卷积核，即指核的形状可以任意发生变化，不再局限于矩形。
图1示出的各个步骤101-104，旨在基于上述技术思路提供利用可变形卷积核对图像进行卷积处理进而完成图像语义分割任务的实现过程。
基于深度学习的图像分割技术构建的深度分割网络模型，通常包括多个具有卷积核的卷积层，其中，若深度分割网络模型中待处理所述目标图像的当前卷积层是该模型中的第一层卷积层，则本步骤101中获得目标图像，具体为获得待分割的原始图像；若深度分割网络模型中待处理所述目标图像的当前卷积层不是该模型中的第一层卷积层，则本步骤101中获得目标图像，具体为获得与当前卷积层相邻的上一层卷积层输出的待分割的原始图像的相应特征图像。
步骤102、确定所述目标图像的梯度信息。
图像可以认为是二维离散函数，该二维离散函数可以表达为图像各个像素的像素值与图像像素点坐标的函数关系，具体地，比如可以表达为图像像素的RGB值或灰度值与像素的二维位置坐标(x，y)之间的函数关系等。
梯度是一个向量(矢量)信息，具有方向和大小；梯度具体表示某一函数在函数曲线某点处的方向导数沿着某方向能取得最大值，即函数在该点处沿着该方向变化最快，变化率最大，该变化最快的方向即为梯度方向，变化率即为该梯度的大小(或称梯度的模)。
图像的梯度就是对图像的二维离散函数进行求导的结果，在一张图像中，其边缘部分图像像素差别比较大，尤其是不规则物体的图像边缘部分更是具有较大的图像像素差异，相应具有较大的梯度，而在平缓区域梯度值一般较小。
正是基于这一特点，本申请基于图像区域的梯度信息来反映图像区域的像素变化，并相应利用图像区域的梯度信息指导卷积过程中卷积核的动态变形，使得卷积核的形状变化与图像的像素变化状况(比如，不规则物体的图像边缘像素形成的图像边缘形状不规则，可能呈现出弧形、波浪形、锯齿形、尖角形等变化特征)相契合，相应能更准确、高效地提取其特征信息。
本步骤中，确定目标图像的梯度信息，相应包括确定目标图像中像素的梯度大小和梯度方向。
步骤103、基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核。
在确定出目标图像中像素的梯度大小和梯度方向之后，进一步利用目标图像中像素的梯度大小和梯度方向这些梯度信息，指导第一卷积核(即，深度分割网络模型中待处理目标图像的当前卷积层的当前卷积核)的偏移量，实现对其进行变形处理，相应得到变形后的第二卷积核。
步骤104、利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
最终利用变形后的第二卷积核对目标图像进行卷积操作。由于梯度信息能够反映图像的像素变化状况，基于梯度信息指导卷积核进行变形，可使得卷积核的形状变化与图像的像素变化状况相契合，尤其是对于非规则物体的图像边缘来说，可使得卷积核产生与不规则物体图像边缘像素的变化特征相符的形变，据此可实现利用感兴趣区域的特征信息，尽可能准确高效地完成图像的语义分割任务。
本实施例的图像分割方法，提出了卷积核的可变形思路，通过确定图像的梯度信息来指导可变形卷积核进行变形，并基于变形后的卷积核对图像进行卷积处理。这样，对于非规则物体来说，可利用其非规则区域的像素变化状况信息，指导可变形卷积核进行适应性形变，以充分提取非规则物体的图像特征信息，相应可达到准确、高效地完成其图像的语义分割任务的目的。
在一可选实施例中，参阅图3，本申请公开的图像分割方法可进一步实现为以下的处理过程：
步骤301、获得目标图像。
其中，若深度分割网络模型中待处理目标图像的当前卷积层是该模型中的第一层卷积层，则获得待分割的原始图像。
若深度分割网络模型中待处理目标图像的当前卷积层不是该模型中的第一层卷积层，则获得与当前卷积层相邻的上一层卷积层输出的待分割的原始图像的相应特征图像。
步骤302、计算所述目标图像的所有像素点的梯度向量，得到梯度图像；或者，计算卷积操作过程中所述第一卷积核在目标图像中对应的当前待扫描像素区域的各像素点的梯度向量。
在一可选实施方式中，结合参阅图4(a)所示，确定目标图像的梯度信息，具体可以是计算目标图像的所有像素点的梯度向量，得到梯度图像；即梯度图像包括一一对应于目标图像的所有像素点的各个梯度向量，图4(a)中，各个框中的省略号表示同样计算了该框的位置对应的像素点的梯度向量，但图中未具体示出计算得到的梯度向量。
另外，可选地，结合参阅图4(b)所示，确定目标图像的梯度信息，还可以是计算卷积操作过程中第一卷积核(对图像进行处理时的当前卷积核)在目标图像中对应的当前待扫描像素区域的各像素点的梯度向量，图4(b)中各个空白框表示未计算各个空白框的位置对应的像素点的梯度向量。
基于4(a)或图4(b)示出的任一方式计算得到的梯度向量，均包括梯度大小和方向。
实施中，考虑到卷积核的尺寸，可优选使用与第一卷积核尺寸相同的两个滤波核：x方向的滤波核Sx和y方向的滤波核Sy，分别与目标图像进行卷积操作，即
Figure BDA0002607979950000081
(其中，f表示目标图像)，之后，将两个方向所得到的结果合并在一起即可得到目标图像在某一像素点的梯度向量，具体可将该像素点的梯度向量表示为：
Figure BDA0002607979950000082
为便于理解可结合参考图5所示，其中，x方向的向量表示针对某一像素点将Sx与目标图像进行卷积的卷积操作结果，y方向的向量表示针对该像素点将Sy与目标图像进行卷积操作的卷积操作结果，两者的合向量即为该像素点的梯度向量。
步骤303、从所述梯度图像中提取对应于所述待扫描像素区域的各像素点的梯度向量，或者，获取确定的所述待扫描像素区域的各像素点的梯度向量；其中，梯度向量包括梯度方向和梯度大小。
利用卷积核对图像(原始图像或特征图像)进行卷积操作，本质上，是利用卷积核所对应的滑动窗口按预定扫描方式及滑动步长在图像上进行滑动，如，利用卷积核对应的3x3、5x5或7x7等的窗口，按从左到右结合从上到下的扫描方式并基于一个像素的滑动步长在图像上进行滑动等，并在滑动至每一个位置时，对图像当前处于卷积核窗口位置的各个像素点(可将处于窗口位置的各个像素点称为待扫描区域的像素点)进行点乘(将像素的像素值与卷积核中相对应位置的权重进行点乘)及求和(将各个像素的点乘结果求和)运算，以提取图像中该窗口位置处即该待扫描区域的图像特征，更详细的处理过程可参阅现有技术中对图像的卷积处理过程，不再详述。
利用一个卷积核对图像执行的一次完整卷积操作，即是利用卷积核对整个图像完成基于卷积核窗口滑动的扫描(包括上述的点乘和求和)处理，相应完成对整个图像的特征提取的过程。本实施中，对卷积核的变形，具体是指，在利用卷积核对目标图像进行卷积操作的过程中，每当将卷积核的窗口滑动至某一位置待对该位置对应的像素区域进行扫描时，首先基于该位置对应的待扫描区域中各像素的梯度信息对卷积核进行变形，之后基于变形后的卷积核进行基于点乘及求和等的扫描处理。从而，本申请中，在利用一个卷积核对图像执行一次完整卷积操作的过程中，卷积核是不断地进行动态变形的，其中，当基于卷积核的窗口滑动每当需要在一个新的窗口位置进行扫描时，则首先在扫描之前基于该窗口位置对应的各像素的梯度信息对卷积核进行变形。
在此基础上，对于图4(a)示出的情况，可从包括目标图像所有像素点梯度信息的上述梯度图像中，提取第一卷积核当前的待扫描像素区域的各像素点的梯度向量，提取的待扫描像素区域的各像素点的梯度向量具体地可以是如图4(b)所示的梯度向量信息，对于图4(b)示出的情况，则可直接读取如4(b)中示出的待扫描像素区域的各像素点的梯度向量。
步骤304、基于所述待扫描的像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向。
步骤305、基于所述待扫描的像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离；完成移动的各个子窗口构成所述第二卷积核。
之后，可基于提取或读取的待扫描像素区域的各像素点的梯度向量，指导待执行卷积操作的上述第一卷积核的偏移量，对其进行变形。
梯度向量包方向和大小，在利用梯度向量指导第一卷积核进行变形时，具体可基于待扫描像素区域中各像素点的梯度方向，指导第一卷积核对应的滑动窗口中与各像素点的位置一一对应的各个子窗口的移动方向；并基于待扫描像素区域中各像素点的梯度大小，指导第一卷积核对应的滑动窗口中与各像素点的位置一一对应的各个子窗口的移动距离，通过对第一卷积核对应的滑动窗口中各个子窗口的移动实现对第一卷积核的变形。
可选地，实施中，参阅图6(a)-图6(b)，在分别基于图像梯度大小和方向，指导第一卷积核的移动距离和方向时，具体可控制第一卷积核对应的滑动窗口中的每个子窗口沿待扫描像素区域中相对应像素点的梯度方向移动，并沿所述梯度方向移动相对应像素点的梯度大小的距离。
需要说明的是，第一卷积核为预定尺寸的标准卷积核，如3x3、5x5或7x7等的矩形卷积核等，第二卷积核为相同尺寸的非标准卷积核，此处的相同尺寸，具体是指，第二卷积核对应的窗口具有与变形前的第一卷积核所对应窗口中相同数量的子窗口，举例说明，假设对于3x3的标准第一卷积核，其窗口形状为长宽分别为3的矩形，共包括9个子窗口，在变形得到第二卷积核后，第二卷积核同样具有9个子窗口，但形状不再是矩形，其具体形状需视基于梯度信息所作的变形处理而定。
如图6(a)中，子窗口1-9基于各自所处位置构成3x3的标准卷积核，即为本实施例中的第一卷积核，在该卷积核中的各个子窗口沿其所对应的各像素点的梯度方向移动梯度大小的距离(图6(a)中1-9分别对应的像素的梯度向量(矢量)即体现了方向又体现了大小)后，变形为图6(b)中由处于相应位置的子窗口1-9构成的第二卷积核。
步骤306、基于所述第二卷积核中各个子窗口当前在所述目标图像中的像素位置，对所述目标图像进行卷积处理。
之后，利用第二卷积核，基于第二卷积核中各个子窗口当前在目标图像中对应的区域位置，如图6(b)中各个子窗口1-9所对应的区域位置等，对目标图像的该区域位置进行包括点乘及求和等的扫描操作。
在完成该扫描操作后，可将第一卷积核从当前位置基于预定扫描方式及滑动步长滑动至下一扫描位置，示例性地，可参阅图7(a)-7(b)所示的滑动，并进一步基于新的滑动位置处(即新的待扫描区域)所对应的各像素的梯度信息，指导处于该新位置处的第一卷积核进行变形，进而基于变形后的第二卷积核进行扫描操作，直至完成对目标图像的一次完整卷积操作过程(基于卷积核的滑动扫描)相应得到该目标图像的特征图为止。
后续可继续基于深度分割网络模型执行图像分割的下一处理环节，如利用下一卷积核(比如下一卷积层的相应卷积核等)继续进行卷积操作。直至完成整个图像的分割过程。
其中，对于深度分割网络模型的相同或不同卷积层的不同卷积核，均是基于上述处理过程，对待处理图像进行基于卷积核变形的卷积操作，在卷积操作过程中，每当将卷积核的窗口滑动至某一位置，优选地，均可基于该当前窗口位置所对应的各像素的梯度信息指导卷积核所对应窗口内的各个子窗口进行变形，并进而基于变形后的卷积核进行该位置的扫描操作。
由于一般分割的物体都不是规则的，用标准卷积核如矩形卷积核对图像分割会存在问题，如分割后的图像边缘存在锯齿等，但是利用本申请实施例的不规则形状的卷积核能够提取更符合物体边缘的特征信息，更进一步地，由于梯度信息能够反映图像的像素变化状况，基于梯度信息指导卷积核进行变形，可使得卷积核的形状变化与图像的像素变化状况相契合，尤其是对于非规则物体的图像边缘来说，可使得卷积核产生与不规则物体图像边缘像素的变化状况(如不规则物体的图像边缘像素形成的图像边缘形状不规则，可能呈现为弧形、波浪形、锯齿形、尖角形的变化特征等)相契合的形变，据此实现利用感兴趣区域的特征信息，尽可能准确、高效地完成图像的语义分割任务。
在一可选实施中，可对现有深度分割网络模型(如FCN、U-Net、PSPNet或DeepLab等)进行模型结构改进，在这些网络模型的结构基础上增添设置梯度计算网络层，其中，具体可在每个卷积层之上添加设置一梯度计算网络层。
在每一次的卷积操作之前，为了削弱标准卷积中规则地选取感受野而限制了图像特征的准确提取的问题，首先，可利用相应的梯度计算网络层对待处理图像进行梯度计算，得到包括待处理图像所有像素点的梯度向量的梯度图像，然后，基于梯度图像中的梯度向量指导下一层卷积核的位置偏移使得对卷积核进行变形，这样实际增加的计算量并不大，但是实现了卷积核在卷积操作的扫描过程中的动态变形，在图像分割任务中，能够基于与图像边缘特征相契合的形变卷积核在图像的边缘位置充分发挥作用，从而实现了更好的图像分割效果。
对应于上述的图像分割方法，本申请实施例还公开了一种图像分割装置，如图8所示，该图像分割装置包括：
获取单元801，用于获得目标图像；
确定单元802，用于确定所述目标图像的梯度信息；
变形处理单元803，用于基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核；
卷积处理单元804，用于利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
在本申请实施例的一可选实施方式中，获取单元801具体用于：
在所述当前卷积层是所述深度分割网络模型中的第一层卷积层情况下，获得待分割的原始图像；
在所述当前卷积层不是所述深度分割网络模型中的第一层卷积层情况下，获得与所述当前卷积层相邻的上一层卷积层输出的所述原始图像的相应特征图像。
在本申请实施例的一可选实施方式中，确定单元802具体用于：
计算所述目标图像的所有像素点的梯度向量，得到梯度图像；
或者，
计算卷积操作过程中所述第一卷积核在目标图像中对应的当前待扫描像素区域的各像素点的梯度向量。
在本申请实施例的一可选实施方式中，确定单元802计算所述目标图像的所有像素点的梯度向量，得到梯度图像，包括：
利用所述深度分割网络模型中设置于所述当前卷积层的上一层的梯度计算网络层，计算所述目标图像的所有像素点的梯度向量，得到梯度图像。
在本申请实施例的一可选实施方式中，变形处理单元803具体用于：
从所述梯度图像中提取对应于所述待扫描像素区域的各像素点的梯度向量，或者，获取确定的所述待扫描像素区域的各像素点的梯度向量；其中，所述梯度向量包括梯度方向和梯度大小；
基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向；
基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离；
通过对第一卷积核对应的滑动窗口中各个子窗口的移动实现对第一卷积核的变形。
在本申请实施例的一可选实施方式中，变形处理单元803基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向，基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离，包括：
控制所述第一卷积核对应的滑动窗口中的每个子窗口沿所述待扫描像素区域中相对应像素点的梯度方向移动，并沿所述梯度方向移动所述相对应像素点的梯度大小的距离；
其中，完成移动的各个子窗口构成所述第二卷积核。
在本申请实施例的一可选实施方式中，所述第一卷积核为预定尺寸的标准卷积核；
变形处理单元803具体用于：
在对所述目标图像进行一次完整的卷积操作的过程中，利用所述标准卷积核按设定的扫描方式及滑动步长在所述目标图像上进行滑动；
且，每当滑动至一待扫描像素区域，基于该待扫描像素区域的各个像素点的梯度向量对滑动至该待扫描像素区域的所述标准卷积核进行变形处理，得到第二卷积核。
在本申请实施例的一可选实施方式中，卷积处理单元804具体用于：
基于所述第二卷积核中各个子窗口当前在所述目标图像中的像素位置，对所述目标图像进行卷积处理。
对于本申请实施例公开的图像分割装置而言，由于其与上文各实施例公开的图像分割方法相对应，所以描述的比较简单，相关相似之处请参见上文各实施例中图像分割方法部分的说明即可，此处不再详述。
另外，本申请实施例还公开了一种电子设备，该电子设备可以是但不限于笔记本、台式机、一体机等个人PC，或者还可以是云端服务器、局域网服务器等设备，在此不做限制。
如图9所示，该电子设备至少包括：
存储器901，用于存放计算机指令集；
其中，计算机指令集具体可通过计算机程序的形式实现。
存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器902，用于通过执行所述存储器上存放的指令集，实现如上文任一实施例所提供的图像分割方法。
该处理器902可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
除此之外，上述的电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备(如其他PC或服务器等)之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。
本实施例中，电子设备中的处理器通过执行存储器中存放的计算机指令集，提出了卷积核的可变形思路，通过确定图像的梯度信息来指导可变形卷积核进行变形，并基于变形后的卷积核对图像进行卷积处理，由于图像像素的梯度信息能够反映图像像素的变化状况，从而对于非规则物体来说，实现了利用其非规则区域的像素变化状况信息，指导可变形卷积核进行适应性形变，以充分提取非规则物体的图像特征信息，相应可达到准确、高效地完成非规则物体图像的语义分割任务的目的。
同时，本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的图像分割方法。
上述的计算机可读存储介质中存储的指令集在运行时，提出了卷积核的可变形思路，通过确定图像的梯度信息来指导可变形卷积核进行变形，并基于变形后的卷积核对图像进行卷积处理，由于图像像素的梯度信息能够反映图像像素的变化状况，从而对于非规则物体来说，实现了利用其非规则区域的像素变化状况信息，指导可变形卷积核进行适应性形变，以充分提取非规则物体的图像特征信息，相应可达到准确、高效地完成非规则物体图像的语义分割任务的目的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种图像分割方法，其特征在于，包括：
获得目标图像；
确定所述目标图像的梯度信息；
基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核；
利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
2.根据权利要求1所述的方法，其特征在于，所述获得目标图像，包括：
若所述当前卷积层是所述深度分割网络模型中的第一层卷积层，获得待分割的原始图像；
若所述当前卷积层不是所述深度分割网络模型中的第一层卷积层，获得与所述当前卷积层相邻的上一层卷积层输出的所述原始图像的相应特征图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像的梯度信息，包括：
计算所述目标图像的所有像素点的梯度向量，得到梯度图像；
或者，
计算卷积操作过程中所述第一卷积核在目标图像中对应的当前待扫描像素区域的各像素点的梯度向量。
4.根据权利要求3所述的方法，其特征在于，所述计算所述目标图像的所有像素点的梯度向量，得到梯度图像，包括：
利用所述深度分割网络模型中设置于所述当前卷积层的上一层的梯度计算网络层，计算所述目标图像的所有像素点的梯度向量，得到梯度图像。
5.根据权利要求3所述的方法，其特征在于，所述基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，包括：
从所述梯度图像中提取对应于所述待扫描像素区域的各像素点的梯度向量，或者，获取确定的所述待扫描像素区域的各像素点的梯度向量；其中，所述梯度向量包括梯度方向和梯度大小；
基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向；
基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离。
6.根据权利要求5所述的方法，其特征在于，基于所述待扫描像素区域中各像素点的梯度方向，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动方向，基于所述待扫描像素区域中各像素点的梯度大小，控制所述第一卷积核对应的滑动窗口中与所述各像素点的位置对应的各个子窗口的移动距离，包括：
控制所述第一卷积核对应的滑动窗口中的每个子窗口沿所述待扫描像素区域中相对应像素点的梯度方向移动，并沿所述梯度方向移动所述相对应像素点的梯度大小的距离；
其中，完成移动的各个子窗口构成所述第二卷积核。
7.根据权利要求5所述的方法，其特征在于，所述第一卷积核为预定尺寸的标准卷积核；
所述基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核，包括：
在对所述目标图像进行一次完整的卷积操作的过程中，利用所述标准卷积核按设定的扫描方式及滑动步长在所述目标图像上进行滑动；
且，每当滑动至一待扫描像素区域，基于所述待扫描像素区域的各个像素点的梯度向量对滑动至所述待扫描像素区域的所述标准卷积核进行变形处理，得到第二卷积核。
8.根据权利要求7所述的方法，其特征在于，所述利用所述第二卷积核对所述目标图像进行卷积处理，包括：
基于所述第二卷积核中各个子窗口当前在所述目标图像中的像素位置，对所述目标图像进行卷积处理。
9.一种图像分割装置，其特征在于，包括：
获取单元，用于获得目标图像；
确定单元，用于确定所述目标图像的梯度信息；
变形处理单元，用于基于所述梯度信息，对深度分割网络模型中待处理所述目标图像的当前卷积层的第一卷积核进行变形处理，得到变形后的第二卷积核；
卷积处理单元，用于利用所述第二卷积核对所述目标图像进行卷积处理，基于对所述目标图像的卷积处理，获得对所述目标图像的语义分割结果。
10.一种电子设备，其特征在于，包括：
存储器，用于存放计算机指令集；
处理器，用于通过执行所述存储器上存放的指令集，实现如权利要求1-8任一项所述的图像分割方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如权利要求1-8任一项所述的图像分割方法。
CN202010744818.XA 2020-07-29 2020-07-29 图像分割方法、装置、电子设备及存储介质 Pending CN114092696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010744818.XA CN114092696A (zh) 2020-07-29 2020-07-29 图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010744818.XA CN114092696A (zh) 2020-07-29 2020-07-29 图像分割方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114092696A true CN114092696A (zh) 2022-02-25

Family

ID=80294866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010744818.XA Pending CN114092696A (zh) 2020-07-29 2020-07-29 图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114092696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581510A (zh) * 2022-02-28 2022-06-03 扬州宝祥节能科技有限公司 基于模式识别的卷帘窗阻力点定位方法及人工智能系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581510A (zh) * 2022-02-28 2022-06-03 扬州宝祥节能科技有限公司 基于模式识别的卷帘窗阻力点定位方法及人工智能系统

Similar Documents

Publication Publication Date Title
CN109816011B (zh) 视频关键帧提取方法
WO2019201035A1 (zh) 对图像中的对象节点的识别方法、装置、终端及计算机可读存储介质
CN110427932B (zh) 一种识别图像中多个票据区域的方法及装置
US11636604B2 (en) Edge detection method and device, electronic equipment, and computer-readable storage medium
US20110211233A1 (en) Image processing device, image processing method and computer program
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和系统及介质
US20140247470A1 (en) Camera-based document imaging
CN110427946B (zh) 一种文档图像二值化方法、装置和计算设备
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN108346148B (zh) 一种高密度柔性ic基板氧化区域检测系统及方法
EP3640886B1 (en) Homography rectification
CN112085033A (zh) 一种模板匹配方法、装置、电子设备及存储介质
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN113313083A (zh) 文本检测方法及装置
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112418243A (zh) 特征提取方法、装置及电子设备
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN113052162B (zh) 一种文本识别方法、装置、可读存储介质及计算设备
CN108682021B (zh) 快速手部跟踪方法、装置、终端及存储介质
CN113077477B (zh) 图像矢量化方法、装置及终端设备
CN114359889A (zh) 一种长文本资料的文本识别方法
CN114092696A (zh) 图像分割方法、装置、电子设备及存储介质
CN111095295B (zh) 物体检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination