CN112233052B - 膨胀卷积处理方法、图像处理方法、设备及存储介质 - Google Patents
膨胀卷积处理方法、图像处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN112233052B CN112233052B CN202011103388.XA CN202011103388A CN112233052B CN 112233052 B CN112233052 B CN 112233052B CN 202011103388 A CN202011103388 A CN 202011103388A CN 112233052 B CN112233052 B CN 112233052B
- Authority
- CN
- China
- Prior art keywords
- convolution
- processed
- sub
- sampling points
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 180
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 69
- 238000010586 diagram Methods 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 abstract description 50
- 239000000284 extract Substances 0.000 abstract description 16
- 230000010339 dilation Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种膨胀卷积处理方法、图像处理方法、设备及存储介质，该方法通过确定待处理膨胀卷积中各个采样点与中心点的距离，进而，根据该距离，对上述各个采样点进行分类，根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
Description
技术领域
本申请涉及计算机视觉技术，尤其涉及一种膨胀卷积处理方法、图像处理方法、设备及存储介质。
背景技术
语义分割是图像理解中的重要技术手段，是计算机视觉中的一项重要研究内容。图像是由很多像素组成的，语义分割就是将图像中的所有像素按照其表达的语义含义进行不同的分类分组，也就是像素级分类。相比于目标识别和物体检测，语义分割可以实现对图像更加细致的理解。鉴于语义分割的稠密预测性，语义分割在很多实际应用领域中都有着巨大的作用，比如自动/智能驾驶系统中的路面场景理解，无人机系统中的着陆点判断以及可穿戴设备中的图像理解等。
自深度学习发展以来，基于深度学习的图像算法层出不穷。相关技术中，基于深度学习的语义分割算法通常使用膨胀卷积来融合不同尺度的空间信息。具体的，通过对特征图分别进行几种不同膨胀系数的膨胀卷积操作，对得到的结果进行融合来提取不同尺度的空间信息。
然而，上述在使用膨胀卷积提取空间尺度特征时，会出现提取的空间尺度不统一的问题，进而影响分割精度。
发明内容
为解决现有在使用膨胀卷积提取空间尺度特征时，会出现提取的空间尺度不统一的问题，本申请提供一种膨胀卷积处理方法、图像处理方法、设备及存储介质。
第一方面，本申请实施例提供一种膨胀卷积处理方法，该方法包括如下步骤：
根据待处理膨胀卷积的膨胀系数，确定所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离；
根据所述距离，对所述各个采样点进行分类；
根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点。
在一种可能的实现方式中，所述根据所述距离，对所述各个采样点进行分类，包括：
根据所述距离，确定所述各个采样点中距离相同的采样点；
根据所述距离相同的采样点，对所述各个采样点进行分类。
在一种可能的实现方式中，所述根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，包括：
若所述中心点为所述待处理膨胀卷积中的一个采样点，则根据所述中心点和分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积；
若所述中心点不为所述待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积。
第二方面，本申请实施例提供一种图像处理方法，该方法包括如下步骤：
利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，所述待处理膨胀卷积划分的多个子卷积是根据所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离，对所述各个采样点进行分类后，根据分类后的采样点，将所述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点；
根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图。
在一种可能的实现方式中，在所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图之前，还包括：
对所述输入特征图进行第一预设卷积操作，获得第一特征图；
所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
根据所述多个不同空间尺度的特征图和所述第一特征图，获得所述输出特征图。
在一种可能的实现方式中，在所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图之前，还包括：
对所述输入特征图进行全局平均池化，并根据所述输入特征图的大小，调整全局平均池化的特征图的大小；
对调整大小后的特征图进行全局特征提取，获得第二特征图；
所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
根据所述多个不同空间尺度的特征图和所述第二特征图，获得所述输出特征图。
在一种可能的实现方式中，所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
对所述多个不同空间尺度的特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理，获得第三特征图；
通过第二预设卷积操作，将所述第三特征图的通道数降为预设通道数，获得所述输出特征图。
第三方面，本申请实施例提供一种膨胀卷积处理装置，包括：
确定模块，用于根据所述待处理膨胀卷积的膨胀系数，确定所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离；
分类模块，用于根据所述距离，对所述各个采样点进行分类；
划分模块，用于根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点。
在一种可能的实现方式中，所述分类模块，具体用于：
根据所述距离，确定所述各个采样点中距离相同的采样点；
根据所述距离相同的采样点，对所述各个采样点进行分类。
在一种可能的实现方式中，所述划分模块，具体用于：
若所述中心点为所述待处理膨胀卷积中的一个采样点，则根据所述中心点和分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积；
若所述中心点不为所述待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积。
第四方面，本申请实施例提供一种图像处理装置，包括：
卷积模块，用于利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，所述待处理膨胀卷积划分的多个子卷积是根据所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离，对所述各个采样点进行分类后，根据分类后的采样点，将所述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点；
获得模块，用于根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图。
在一种可能的实现方式中，所述获得模块，还用于：
对所述输入特征图进行第一预设卷积操作，获得第一特征图；
所述获得模块，具体用于：
根据所述多个不同空间尺度的特征图和所述第一特征图，获得所述输出特征图。
在一种可能的实现方式中，所述获得模块，还用于：
对所述输入特征图进行全局平均池化，并根据所述输入特征图的大小，调整全局平均池化的特征图的大小；
对调整大小后的特征图进行全局特征提取，获得第二特征图；
所述获得模块，具体用于：
根据所述多个不同空间尺度的特征图和所述第二特征图，获得所述输出特征图。
在一种可能的实现方式中，所述获得模块，具体用于：
对所述多个不同空间尺度的特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理，获得第三特征图；
通过第二预设卷积操作，将所述第三特征图的通道数降为预设通道数，获得所述输出特征图。
第五方面，本申请实施例提供一种膨胀卷积处理设备，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
第六方面，本申请实施例提供一种图像处理设备，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第二方面所述的方法的指令。
第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。
第八方面，本申请实施例提供另一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第二方面所述的方法。
本申请实施例提供的膨胀卷积处理方法、图像处理方法、设备及存储介质，该方法通过确定待处理膨胀卷积中各个采样点与中心点的距离，进而，根据该距离，对上述各个采样点进行分类，根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的通过膨胀卷积提取空间尺度特征的示意图；
图2为本申请实施例提供的膨胀卷积处理系统架构示意图；
图3为本申请实施例提供的一种膨胀卷积处理方法的流程示意图；
图4为本申请实施例提供的膨胀卷积中各个采样点与中心点的距离示意图；
图5为本申请实施例提供的另一种膨胀卷积处理方法的流程示意图；
图6为本申请实施例提供的一种图像处理方法的流程示意图；
图7为本申请实施例提供的另一种图像处理方法的流程示意图；
图8为本申请实施例提供的再一种图像处理方法的流程示意图；
图9为本申请实施例提供的一种膨胀卷积处理装置的结构示意图；
图10为本申请实施例提供的一种图像处理装置的结构示意图；
图11A为本申请提供的一种膨胀卷积设备的基本硬件架构示意图；
图11B为本申请提供的一种图像处理设备的基本硬件架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中，基于深度学习的语义分割算法通常使用膨胀卷积来融合不同尺度的空间信息。具体的，通过对特征图分别进行几种不同膨胀系数的膨胀卷积操作，对得到的结果进行融合来提取不同尺度的空间信息。
示例性的，如图1所示，以3*3膨胀卷积操作为例，图1示出分别通过膨胀系数(rate)＝6，12、18和24的3*3膨胀卷积提取四种不同空间尺度的特征，再将这些特征进行融合。
然而，在上述使用的3*3膨胀卷积在提取空间尺度特征时具有一个缺点，即一个3*3膨胀卷积的9个采样点距离中心点的距离并不相同，这使得每个3*3膨胀卷积的空间尺度不统一，进而影响分割精度。举例来说，上述空间尺度特征提取的设计初衷是：rate为24的膨胀卷积提取较大尺度的空间特征，而rate为18的膨胀卷积提取尺度相对较小的空间特征。然而，对于rate为18的膨胀卷积，除中心点外的8个采样点距离中心点的距离分为18和而rate为24的膨胀卷积的采样点距离中心点的距离分别是24和/>其中，(如图中rate＝18和24中划线部分所示)，这说明rate为18的膨胀卷积的某些采样点的空间尺度大于了rate为24的膨胀卷积的某些采样点的空间尺度。这样，一个3*3的膨胀卷积混合提取了两个不同的尺度(即rate和/>)的空间特征，使得提取的空间信息变得模糊，影响后续语义分割的分割精度。
因此，本申请实施例提出一种膨胀卷积处理方法，将膨胀卷积划分为多个子卷积，使得子卷积的采样点是属于同一尺度的，从而，在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，进而，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
本申请实施例提供的膨胀卷积处理方法可应用在自动/智能驾驶系统中的路面场景理解中，除此之外，本申请实施例提供的膨胀卷积处理方法还可应用在无人机系统中的着陆点判断以及可穿戴设备中的图像理解等，具体可以根据实际情况确定，本申请实施例对此不做特别限制。
可选地，图2为膨胀卷积处理系统架构示意图。在图2中，以自动/智能驾驶系统中的路面场景理解为例，上述架构包括接收装置21、语义分割装置22和处理装置23。
可以理解的是，本申请实施例示意的结构并不构成对膨胀卷积处理系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图1所示的部件可以以硬件，软件，或软件与硬件的组合实现。
在具体实现过程中，接收装置21、语义分割装置22和处理装置23可以设置在自动/智能驾驶系统中，以车辆的自动/智能驾驶为例，接收装置21、语义分割装置22和处理装置23可以设置在车辆的自动/智能驾驶系统中。
在车辆行驶过程中，自动/智能驾驶系统中的接收装置21可以接收车辆行驶过程中的路面场景图像，上述路面场景图像可以由设置在车辆中的图像获取装置获取。即图像获取装置在获取上述路面场景图像后，将上述路面场景图像发送至接收装置21。另外，接收装置21还可以接收上述路面场景图像的特征图，其中，该特征图可以由设置在车辆中的特征提取装置对上述路面场景图像进行特征提取后获取。示例性的，上述图像获取装置在获取上述路面场景图像后，将上述路面场景图像发送至特征提取装置，特征提取装置在对上述路面场景图像进行特征提取后，获得上述路面场景图像的特征图，并将该特征图发送至接收装置11。
语义分割装置22可以使用空洞空间卷积池化金字塔(atrous spatial pyramidpooling，ASPP)模块来融合不同尺度的空间信息，具体的，语义分割装置22在使用ASPP模块对上述特征图分别进行几种不同膨胀系数的膨胀卷积操作，获得上述图像的输出特征图后，基于该特征图，分割出上述图像的特征，例如分割出上述图像中的障碍物的大小、形状等信息，这样，在车辆行驶过程中可以为车辆提供上述信息，从而，保证车辆正常行驶。
其中，语义分割装置22中使用的膨胀卷积可以通过处理装置23获得。具体的，处理装置23可以将膨胀卷积划分为多个子卷积，使得子卷积的采样点是属于同一尺度的，从而，在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，进而，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
应理解，上述处理装置可以通过读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。
另外，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本申请实施例提供了一种膨胀卷积处理方法的流程示意图，本实施例的执行主体可以为图2所示实施例中的处理装置，如图3所示，该方法可以包括：
S301：根据待处理膨胀卷积的膨胀系数，确定待处理膨胀卷积中各个采样点与待处理膨胀卷积的中心点的距离。
这里，待处理膨胀卷积可以根据实际情况确定，例如上述3*3的膨胀卷积，本申请实施例对此不做特别限制。
示例性的，上述根据所述待处理膨胀卷积的膨胀系数，确定待处理膨胀卷积中各个采样点与待处理膨胀卷积的中心点的距离，可以包括：
确定待处理膨胀卷积在不同rate下各个采样点与待处理膨胀卷积的中心点的距离，例如，如图4所示，rate＝6，12和18的3*3膨胀卷积，在每个rate下确定3*3膨胀卷积中各个采样点与中心点的距离，rate为6的膨胀卷积的采样点距离中心点的距离分别是6和rate为12的膨胀卷积的采样点距离中心点的距离分别是12和/>rate为12的膨胀卷积的采样点距离中心点的距离分别是18和/>
S302：根据上述距离，对上述各个采样点进行分类。
在本申请实施例中，在上述确定待处理膨胀卷积中各个采样点与中心点的距离之后，可以根据该距离，基于实际情况，对上述各个采样点进行分类，例如上述rate为6，12和18的3*3膨胀卷积，可以将距离中心点的距离为6，12和18的采样点分为一类，将距离中心点的距离为和/>的采样点分为一类，本申请实施例对此不做特别限制。
S303：根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点。
这里，在上述根据上述距离，对上述各个采样点进行分类之后，根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积，即一个子卷积中包括分类后的一类采样点，例如上述rate为6，12和18的3*3膨胀卷积，一个子卷积中包括距离中心点的距离为6，12和18的一类采样点，另一个子卷积中包括距离中心点的距离为和/>的一类采样点。
本申请实施例，通过确定待处理膨胀卷积中各个采样点与中心点的距离，进而，根据该距离，对上述各个采样点进行分类，根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
另外，本申请实施例在根据上述距离，对上述各个采样点进行分类时，考虑各个采样点中距离相同的采样点。并且在根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积时，考虑上述中心点是否为待处理膨胀卷积中的一个采样点。图5为本申请实施例提出的另一种膨胀卷积处理方法的流程示意图。如图5所示，该方法包括：
S501：根据待处理膨胀卷积的膨胀系数，确定待处理膨胀卷积中各个采样点与待处理膨胀卷积的中心点的距离。
其中，步骤S501与上述步骤S201的实现方式相同，此处不再赘述。
S502：根据上述距离，确定上述各个采样点中距离相同的采样点。
示例性的，如上述图4所示，rate＝6，12和18的3*3膨胀卷积，rate为6的膨胀卷积的采样点距离中心点的距离分别是6和rate为12的膨胀卷积的采样点距离中心点的距离分别是12和/>rate为12的膨胀卷积的采样点距离中心点的距离分别是18和即3*3膨胀卷积的采样点距离中心点的距离分别是rate和/>
上述根据上述距离，确定上述各个采样点中距离相同的采样点可以理解为：根据上述距离，确定上述各个采样点中距离相同的一类采样点，例如上述3*3膨胀卷积，确定上述各个采样点中距离相同的采样点可以为：确定上述各个采样点中距离为rate的采样点，以及确定上述各个采样点中距离为的采样点。
S503：根据上述距离相同的采样点，对上述各个采样点进行分类。
这里，可以把每一距离相同的采样点归为一类采样点，例如上述rate＝6，12和18的3*3膨胀卷积，距离为6，12和18的采样点归为一类采样点，距离为和/>的采样点归为一类采样点，即距离为rate的采样点归为一类采样点，距离为/>的采样点归为一类采样点。
S504：若上述中心点为待处理膨胀卷积中的一个采样点，则根据上述中心点和分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积。
在本申请实施例中，处理装置可以根据分类后的采样点，将上述待处理膨胀卷积划分为多个子卷积，具体的，如果上述中心点为待处理膨胀卷积中的一个采样点，则根据上述中心点和分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积。
示例性的，对于一个3*3膨胀卷积，其采样点可按照其到中心点的距离分为两类，相应的，3*3膨胀卷积可以划分为两个子卷积，例如subconv1和subconv2。其中，3*3膨胀卷积的两类采样点分别为距离中心点为rate的采样点和距离中心点为的采样点。假如3*3膨胀卷积的中心点为(i,j)，距离中心点为rate的采样点分别为(i-rate,j)，(i,j-rate)，(i+rate,j)和(i,j+rate)，距离中心点为/>的采样点分别为(i-rate,j-rate)，(i+rate,j-rate)，(i+rate,j+rate)和(i-rate,j+rate)。
3*3膨胀卷积的中心点为3*3膨胀卷积中的一个采样点，对于subconv1，中心点(i,j)和距离中心点为rate的采样点(i-rate,j)，(i,j-rate)，(i+rate,j)和(i,j+rate)，确定了3*3膨胀卷积的一个子卷积subconv1。对于subconv2，中心点(i,j)和距离中心点为的采样点(i-rate,j-rate)，(i+rate,j-rate)，(i+rate,j+rate)和(i-rate,j+rate)，确定了3*3膨胀卷积的一个子卷积subconv2。
这里，对于subconv1和subconv2来说，一个这种卷积操作的所提取的空间特征是属于同一个空间尺度的。
S505：若上述中心点不为待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积。
这里，处理装置可以根据分类后的采样点，将上述待处理膨胀卷积划分为多个子卷积，具体的，如果上述中心点不为待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积。示例性的，如4*4膨胀卷积，具体根据分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积可以参照上述3*3膨胀卷积，本申请实施例对此不再赘述。
本申请实施例，在根据上述距离，对上述各个采样点进行分类时，考虑各个采样点中距离相同的采样点，进而，根据距离相同的采样点，对上述各个采样点进行分类。并且在根据分类后的采样点，将待处理膨胀卷积划分为多个子卷积时，考虑上述中心点是否为待处理膨胀卷积中的一个采样点，从而，在上述中心点为待处理膨胀卷积中的一个采样点时，根据上述中心点和分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积，否则，根据分类后的一类采样点，确定待处理膨胀卷积划分的一个子卷积，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
以上实施例详细描述了根据本申请实施例的膨胀卷积处理方法，下面将结合以下实施例详细描述根据本申请实施例提供的图像处理方法。其中，该图像处理方法为基于上述的膨胀卷积处理方法的图像处理方法，应理解，图像处理方法中描述的某些概念、特性等与膨胀卷积处理方法中的描述相应，为了简洁，适当省略重复的描述。
图6为本申请实施例提供的一种图像处理方法的流程示意图，本实施例的执行主体可以为图2中的语义分割装置，如图6所示，该方法可以包括如下步骤：
S601：利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，上述待处理膨胀卷积划分的多个子卷积是根据上述待处理膨胀卷积中各个采样点与上述待处理膨胀卷积的中心点的距离，对上述各个采样点进行分类后，根据分类后的采样点，将上述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点。
这里，以3*3膨胀卷积为例，上述3*3膨胀卷积可以划分为两个子卷积，例如subconv1和subconv2。语义分割装置可以对待处理图像的输入特征图，例如X，分别进行rate为6、12和18的subconv1和subconv2卷积操作，得到6组具有不同空间尺度的特征图。
S602：根据上述多个不同空间尺度的特征图，获得上述待处理图像的输出特征图。
示例性的，还以上述3*3膨胀卷积为例，subconv1对应采样点(i,j)，(i-rate,j)，(i,j-rate)，(i+rate,j)和(i,j+rate)，subconv2对应采样点(i,j)，(i-rate,j-rate)，(i+rate,j-rate)，(i+rate,j+rate)和(i-rate,j+rate)。对于subconv1来说，输出特征图的第(i,j)个像素对应输入特征图的5个采样点为(i,j),(i-rate,j),(i,j-rate),(i+rate,j),(i,j+rate)，此时
yi,j＝w0,0*xi,j+w-1,0*xi-rate,j+w0,-1*xi,j-rate+w1,0*xi+rate,j+w0,1*xi,j+rate
其中x是输入特征图，yi,j是subconv1卷积操作后输出特征图，w是预设数值，rate为6、12和18。对于subconv2来说，输出特征图的第(i,j)个像素对应输入特征图的5个采样点为(i,j),(i-rate,j-rate),(i+rate,j-rate),(i+rate,j+rate),(i-rate,j+rate)，此时
yi,j＝w0,0*xi,j+w-1,-1*xi-rate,j-rate+w1,-1*xi+rate,j-rate+w1,1*xi+rate,j+rate+w-1,1*xi-rate,j+rate
其中x是输入特征图，yi,j是subconv2卷积操作后输出特征图，w是预设数值，rate为6、12和18。
进一步，为了根据上述多个不同空间尺度的特征图，获得上述待处理图像的输出特征图，即根据上述subconv1卷积操作后输出特征图和subconv2卷积操作后输出特征图，获得上述待处理图像的输出特征图，可以包括：
对上述多个不同空间尺度的特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理，获得第三特征图；
通过第二预设卷积操作，将上述第三特征图的通道数降为预设通道数，获得上述输出特征图。
其中，上述第二预设卷积操作可以根据实际情况确定，例如1*1卷积操作或3*3卷积操作等，本申请实施例对此不做特别限制。
本申请实施例，膨胀卷积被划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
另外，本申请实施例在根据上述多个不同空间尺度的特征图，获得待处理图像的输出特征图之前，还考虑对上述输入特征图进行第一预设卷积操作。图7为本申请实施例提出的另一种图像处理方法的流程示意图。如图7所示，该方法包括：
S701：利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，上述待处理膨胀卷积划分的多个子卷积是根据上述待处理膨胀卷积中各个采样点与上述待处理膨胀卷积的中心点的距离，对上述各个采样点进行分类后，根据分类后的采样点，将上述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点。
其中，步骤S701与上述步骤S601的实现方式相同，此处不再赘述。
S702：对上述输入特征图进行第一预设卷积操作，获得第一特征图。
这里，语义分割装置对输入特征图X进行第一预设卷积操作，得到第一特征图，用以保留输入特征图的信息，其中，上述第一预设卷积操作可以根据实际情况确定，例如1*1卷积操作或3*3卷积操作等，本申请实施例对此不做特别限制。
S703：根据上述多个不同空间尺度的特征图和上述第一特征图，获得待处理图像的输出特征图。
示例性的，上述根据上述多个不同空间尺度的特征图和上述第一特征图，获得上述输出特征图，可以包括：
对上述多个不同空间尺度的特征图和上述第一特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理；
通过第二预设卷积操作，将上述处理后获得的特征图的通道数降为预设通道数，获得上述输出特征图。
另外，在本申请实施例中，语义分割装置在根据上述多个不同空间尺度的特征图，获得待处理图像的输出特征图之前，还考虑对上述输入特征图进行全局平均池化，进而提取全局特征。
示例性的，在上述根据上述多个不同空间尺度的特征图，获得上述待处理图像的输出特征图之前，还包括：
对上述输入特征图进行全局平均池化，并根据上述输入特征图的大小，调整全局平均池化的特征图的大小；
对调整大小后的特征图进行全局特征提取，获得第二特征图；
上述根据上述多个不同空间尺度的特征图，获得上述待处理图像的输出特征图，包括：
根据上述多个不同空间尺度的特征图和上述第二特征图，获得上述输出特征图。
其中，上述根据上述多个不同空间尺度的特征图和上述第二特征图，获得上述输出特征图，可以包括：
对上述多个不同空间尺度的特征图和上述第二特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理；
通过第二预设卷积操作，将上述处理后获得的特征图的通道数降为预设通道数，获得上述输出特征图。
本申请实施例，通过对输入特征图X进行预设卷积操作，用以保留输入特征图的信息，通过对输入特征图X进行全局平均池化等，来提取全局特征，进而，根据上述待处理膨胀卷积划分的多个子卷积，对待处理图像的输入特征图进行卷积操作后，获得的多个不同空间尺度的特征图，以及上述预设卷积操作后的特征图，或者，提取全局特征的特征图，获得待处理图像的输出特征图，使输出的特征图比输入特征图具有更多的多尺度特征，可以使得网络具有更高的分割精度。另外，上述膨胀卷积被划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
另外，本申请实施例在上述根据上述多个不同空间尺度的特征图，获得上述待处理图像的输出特征图之前，不仅考虑对上述输入特征图进行第一预设卷积操作，而且还考虑对上述输入特征图进行全局平均池化，进而提取全局特征。图8为本申请实施例提出的再一种图像处理方法的流程示意图。如图8所示，该方法包括：
S801：利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，上述待处理膨胀卷积划分的多个子卷积是根据上述待处理膨胀卷积中各个采样点与上述待处理膨胀卷积的中心点的距离，对上述各个采样点进行分类后，根据分类后的采样点，将上述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点。
其中，步骤S801与上述步骤S601的实现方式相同，此处不再赘述。
S802：对上述输入特征图进行第一预设卷积操作，获得第一特征图。
这里，语义分割装置对输入特征图X进行第一预设卷积操作，得到第一特征图，用以保留输入特征图的信息。
S803：对上述输入特征图进行全局平均池化，并根据上述输入特征图的大小，调整全局平均池化的特征图的大小，对调整大小后的特征图进行全局特征提取，获得第二特征图。
在本申请实施例中，语义分割装置对输入特征图X进行全局平均池化并resize回输入特征图的宽高，进而提取全局特征，获得第二特征图。
S804：对上述多个不同空间尺度的特征图、第一特征图和第二特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理。
这里，将步骤S801-S803得到的特征图进行concatenate，并进行BatchNorm和ReLU6操作，得到相应的特征图。
S805：通过第二预设卷积操作，将上述处理后获得的特征图的通道数降为预设通道数，获得待处理图像的输出特征图。
示例性的，通过第二预设卷积操作，将步骤S804中得到的特征图的通道数降为预设通道数，这样就得到了待处理图像的输出特征图，其中，上述预设通道数可以根据实际情况确定，本申请实施例对此不做特别限制。
本申请实施例，根据上述待处理膨胀卷积划分的多个子卷积，对待处理图像的输入特征图进行卷积操作后，获得的多个不同空间尺度的特征图，以及上述预设卷积操作后的特征图和提取全局特征的特征图，获得待处理图像的输出特征图，使输出的特征图比输入特征图具有更多的多尺度特征，可以使得网络具有更高的分割精度。另外，上述膨胀卷积被划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点，从而，使得子卷积的采样点是属于同一尺度的，这样在使用子卷积提取空间尺度特征时，一个子卷积所提取的空间特征是属于同一个空间尺度的，使提取的空间尺度统一，提高提取的空间尺度信息的清晰度，进而，通过本申请实施例的膨胀卷积能够更准确的提取多尺度特征，为语义分割任务提取更加准确的特征，提高语义分割的分割精度。
对应于上文实施例的膨胀卷积处理方法，图9为本申请实施例提供的膨胀卷积处理装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图9为本申请实施例提供的一种膨胀卷积处理装置的结构示意图，该膨胀卷积处理装置90包括：确定模块901、分类模块902以及划分模块903。这里的膨胀卷积处理装置可以是上述处理装置本身，或者是实现上述处理装置的功能的芯片或者集成电路。这里需要说明的是，确定模块、分类模块以及划分模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，确定模块901，用于根据待处理膨胀卷积的膨胀系数，确定待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离。
分类模块902，用于根据所述距离，对所述各个采样点进行分类。
划分模块903，用于根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点。
在一种可能的实现方式中，所述分类模块902，具体用于：
根据所述距离，确定所述各个采样点中距离相同的采样点；
根据所述距离相同的采样点，对所述各个采样点进行分类。
在一种可能的实现方式中，所述划分模块903，具体用于：
若所述中心点为所述待处理膨胀卷积中的一个采样点，则根据所述中心点和分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积；
若所述中心点不为所述待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积。
本申请实施例提供的装置，可用于执行上述图3或图5方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图10为本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置100包括：卷积模块1001以及获得模块1002。这里的膨胀卷积处理装置可以是上述语义分割装置本身，或者是实现上述语义分割装置的功能的芯片或者集成电路。这里需要说明的是，卷积模块以及获得模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。
其中，卷积模块1001，用于利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，所述待处理膨胀卷积划分的多个子卷积是根据所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离，对所述各个采样点进行分类后，根据分类后的采样点，将所述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点。
获得模块1002，用于根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图。
在一种可能的实现方式中，所述获得模块1002，还用于：
对所述输入特征图进行第一预设卷积操作，获得第一特征图；
所述获得模块1002，具体用于：
根据所述多个不同空间尺度的特征图和所述第一特征图，获得所述输出特征图。
在一种可能的实现方式中，所述获得模块1002，还用于：
对所述输入特征图进行全局平均池化，并根据所述输入特征图的大小，调整全局平均池化的特征图的大小；
对调整大小后的特征图进行全局特征提取，获得第二特征图；
所述获得模块1002，具体用于：
根据所述多个不同空间尺度的特征图和所述第二特征图，获得所述输出特征图。
在一种可能的实现方式中，所述获得模块1002，具体用于：
对所述多个不同空间尺度的特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理，获得第三特征图；
通过第二预设卷积操作，将所述第三特征图的通道数降为预设通道数，获得所述输出特征图。
本申请实施例提供的装置，可用于执行上述图6、图7或图8方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
可选地，图11A和11B示意性地分别提供本申请所述膨胀卷积处理设备和图像处理设备的一种可能的基本硬件架构。
参见图11A和11B，膨胀卷积处理设备和图像处理设备包括至少一个处理器1101以及通信接口1103。进一步可选的，还可以包括存储器1102和总线1104。
其中，膨胀卷积处理设备和图像处理设备中，处理器1101的数量可以是一个或多个，图11A和11B仅示意了其中一个处理器1101。可选地，处理器1101，可以是中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)或者数字信号处理器(digital signal processor，DSP)。如果膨胀卷积处理设备和图像处理设备具有多个处理器1101，多个处理器1101的类型可以不同，或者可以相同。可选地，膨胀卷积处理设备和图像处理设备的多个处理器1101还可以集成为多核处理器。
存储器1102存储计算机指令和数据；存储器1102可以存储实现本申请提供的上述膨胀卷积处理方法或上述图像处理方法所需的计算机指令和数据，例如，存储器1102存储用于实现上述膨胀卷积处理方法或上述图像处理方法的步骤的指令。存储器1102可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘)，易失性存储器。
通信接口1103可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
可选的，通信接口1103还可以用于膨胀卷积处理设备和图像处理设备与其它计算设备或者终端进行数据通信。
进一步可选的，图11A和11B用一条粗线表示总线1104。总线1104可以将处理器1101与存储器1102和通信接口1103连接。这样，通过总线1104，处理器1101可以访问存储器1102，还可以利用通信接口1103与其它计算设备或者终端进行数据交互。
在本申请中，膨胀卷积处理设备和图像处理设备执行存储器1102中的计算机指令，使得膨胀卷积处理设备和图像处理设备实现本申请提供的上述膨胀卷积处理方法或上述图像处理方法，或者使得膨胀卷积处理设备和图像处理设备部署上述的膨胀卷积处理装置或上述图像处理装置。
从逻辑功能划分来看，示例性的，如图11A所示，存储器1102中可以包括确定模块901、分类模块902以及划分模块903。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现确定模块、分类模块以及划分模块的功能，而不限定是物理上的结构。
一种可能设计，如图11B所示，存储器1102中包括卷积模块1001以及获得模块1002，这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现卷积模块以及获得模块的功能，而不限定是物理上的结构。
另外，上述的膨胀卷积处理装置除了可以像上述图11A和11B通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。
本申请提供一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本申请提供的上述膨胀卷积处理方法。
本申请提供另一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本申请提供的上述图像处理方法。
本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本申请提供的上述膨胀卷积处理方法或上述图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
Claims (10)
1.一种膨胀卷积处理方法，其特征在于，包括：
根据待处理膨胀卷积的膨胀系数，确定所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离；
根据所述距离，对所述各个采样点进行分类；
根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，其中，一个子卷积中包括分类后的一类采样点；所述待处理膨胀卷积划分的多个子卷积用于分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图以根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述距离，对所述各个采样点进行分类，包括：
根据所述距离，确定所述各个采样点中距离相同的采样点；
根据所述距离相同的采样点，对所述各个采样点进行分类。
3.根据权利要求1或2所述的方法，其特征在于，所述根据分类后的采样点，将所述待处理膨胀卷积划分为多个子卷积，包括：
若所述中心点为所述待处理膨胀卷积中的一个采样点，则根据所述中心点和分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积；
若所述中心点不为所述待处理膨胀卷积中的一个采样点，则根据分类后的一类采样点，确定所述待处理膨胀卷积划分的一个子卷积。
4.一种图像处理方法，其特征在于，包括：
利用待处理膨胀卷积划分的多个子卷积，分别对待处理图像的输入特征图进行卷积操作，获得多个不同空间尺度的特征图，其中，所述待处理膨胀卷积划分的多个子卷积是根据所述待处理膨胀卷积中各个采样点与所述待处理膨胀卷积的中心点的距离，对所述各个采样点进行分类后，根据分类后的采样点，将所述待处理膨胀卷积划分为的多个子卷积，一个子卷积中包括分类后的一类采样点；
根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图之前，还包括：
对所述输入特征图进行第一预设卷积操作，获得第一特征图；
所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
根据所述多个不同空间尺度的特征图和所述第一特征图，获得所述输出特征图。
6.根据权利要求4所述的方法，其特征在于，在所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图之前，还包括：
对所述输入特征图进行全局平均池化，并根据所述输入特征图的大小，调整全局平均池化的特征图的大小；
对调整大小后的特征图进行全局特征提取，获得第二特征图；
所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
根据所述多个不同空间尺度的特征图和所述第二特征图，获得所述输出特征图。
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述根据所述多个不同空间尺度的特征图，获得所述待处理图像的输出特征图，包括：
对所述多个不同空间尺度的特征图进行级联，并对级联后的特征图进行BatchNorm和ReLU6处理，获得第三特征图；
通过第二预设卷积操作，将所述第三特征图的通道数降为预设通道数，获得所述输出特征图。
8.一种膨胀卷积处理设备，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-3任一项所述的方法的指令。
9.一种图像处理设备，其特征在于，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求4-7任一项所述的方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-3任一项所述的方法；或者所述计算机程序使得终端执行权利要求4-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011103388.XA CN112233052B (zh) | 2020-10-15 | 2020-10-15 | 膨胀卷积处理方法、图像处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011103388.XA CN112233052B (zh) | 2020-10-15 | 2020-10-15 | 膨胀卷积处理方法、图像处理方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233052A CN112233052A (zh) | 2021-01-15 |
| CN112233052B true CN112233052B (zh) | 2024-04-30 |
Family
ID=74117301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011103388.XA Active CN112233052B (zh) | 2020-10-15 | 2020-10-15 | 膨胀卷积处理方法、图像处理方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233052B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410229A (zh) * | 2018-08-27 | 2019-03-01 | 南京珂亥韧光电科技有限公司 | 多目标透镜位置以及凹凸面识别的方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN109858612A (zh) * | 2019-01-18 | 2019-06-07 | 清华大学 | 一种自适应形变空洞卷积方法 |
| WO2019136623A1 (en) * | 2018-01-10 | 2019-07-18 | Nokia Technologies Oy | Apparatus and method for semantic segmentation with convolutional neural network |
| CN111316285A (zh) * | 2019-03-19 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备与计算机存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4112812B2 (ja) * | 2001-03-27 | 2008-07-02 | 株式会社東芝 | パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体 |
| KR102170689B1 (ko) * | 2014-01-14 | 2020-10-27 | 한화테크윈 주식회사 | 영상 정합을 위한 특징점 샘플링 방법 |
-
2020
- 2020-10-15 CN CN202011103388.XA patent/CN112233052B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136623A1 (en) * | 2018-01-10 | 2019-07-18 | Nokia Technologies Oy | Apparatus and method for semantic segmentation with convolutional neural network |
| CN109410229A (zh) * | 2018-08-27 | 2019-03-01 | 南京珂亥韧光电科技有限公司 | 多目标透镜位置以及凹凸面识别的方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN109858612A (zh) * | 2019-01-18 | 2019-06-07 | 清华大学 | 一种自适应形变空洞卷积方法 |
| CN111316285A (zh) * | 2019-03-19 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备与计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进全卷积神经网络的图像单像素边缘提取;刘畅;张剑;林建平;;计算机工程(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233052A (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241895B (zh) | 密集人群计数方法及装置 | |
| CN111709420B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| US20220101644A1 (en) | Pedestrian re-identification method, device, electronic device and computer-readable storage medium | |
| EP3410351A1 (en) | Learning program, learning method, and object detection device | |
| CN113379718B (zh) | 一种目标检测方法、装置、电子设备以及可读存储介质 | |
| Medvedeva et al. | Image segmentation based on two-dimensional Markov chains | |
| CN110399847B (zh) | 关键帧提取方法、装置及电子设备 | |
| CN114626503A (zh) | 模型的训练方法、目标检测方法、装置、电子设备及介质 | |
| CN112598673A (zh) | 全景分割方法、装置、电子设备和计算机可读介质 | |
| CN111145196A (zh) | 图像分割方法、装置及服务器 | |
| CN112233052B (zh) | 膨胀卷积处理方法、图像处理方法、设备及存储介质 | |
| CN112365513A (zh) | 一种模型训练的方法及装置 | |
| CN117095198A (zh) | 遥感图像检索网络训练方法、应用方法、电子设备及介质 | |
| CN115100541B (zh) | 一种卫星遥感数据的处理方法、系统及云平台 | |
| CN114998172A (zh) | 图像处理方法及相关系统 | |
| CN112669346B (zh) | 一种路面突发状况确定方法及装置 | |
| CN110634155A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| CN114359572A (zh) | 多任务检测模型的训练方法、装置及终端设备 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN113705432A (zh) | 一种模型训练、三维目标检测方法、装置、设备及介质 | |
| JP7107544B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN112651351A (zh) | 一种数据处理的方法和装置 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114550137B (zh) | 识别交通标志牌的方法、装置和电子设备 | |
| EP3486866A1 (en) | A method for processing a light field video based on the use of a super-rays representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |