CN110189337A - 一种自动驾驶图像语义分割方法 - Google Patents

一种自动驾驶图像语义分割方法 Download PDF

Info

Publication number
CN110189337A
CN110189337A CN201910468973.0A CN201910468973A CN110189337A CN 110189337 A CN110189337 A CN 110189337A CN 201910468973 A CN201910468973 A CN 201910468973A CN 110189337 A CN110189337 A CN 110189337A
Authority
CN
China
Prior art keywords
processing result
image
channel
result
weighted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910468973.0A
Other languages
English (en)
Inventor
黄国恒
朱俊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910468973.0A priority Critical patent/CN110189337A/zh
Publication of CN110189337A publication Critical patent/CN110189337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种自动驾驶图像语义分割方法，该方法包括获取目标待处理图像；通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；确定第一处理结果中每个特征通道的通道权重值；将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；基于第二处理结果确定目标待处理图像的图像语义分割结果。本申请提供的一种图像语义分割方法，在得到第一处理结果后，还需基于通道权重值对第一处理结果中的特征通道所代表的特征进行管控，可以提高图像语义分割结果的准确性。本申请提供的一种自动驾驶图像语义分割系统、设备及计算机可读存储介质也解决了相应技术问题。

Description

一种自动驾驶图像语义分割方法
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种自动驾驶图像语义分割方法。
背景技术
在计算机视觉，如自动驾驶等应用场景中，有时需要对图像中的对象进行识别、区分，这时便需要对图像进行图像语义分割，假设一幅图像中有猫和狗两个目标对象，对该图像进行图像语义分割后，便可以得到只含有猫的图像区域和只含有狗的图像区域，从而可以准确的对图像中的对象进行识别、区分。
现有的一种图像语义分割方法是：通过ASPP(Atrous Spatial Pyramid Poolong，空洞卷积空间金字塔)模型对目标待处理图像进行处理，得到处理结果，并基于处理结果得到目标待处理图像的图像语义分割结果。
然而，现有的一种图像语义分割方法中，ASPP模型获得的特征中可能包含与图像语义分割结果不相符的特征，影响图像语义分割结果的准确性。
综上所述，如何提高图像语义分割方法的准确性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种自动驾驶图像语义分割方法，其能在一定程度上解决如何提高图像语义分割方法的准确性的技术问题。本申请还提供了一种自动驾驶图像语义分割系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种自动驾驶图像语义分割方法，包括：
获取自动驾驶下的目标待处理图像；
通过ASPP模型对所述目标待处理图像进行处理，得到第一处理结果；
确定所述第一处理结果中每个特征通道的通道权重值；
将所述第一处理结果中的每个特征通道及对应的所述通道权重值进行乘法运算，得到第二处理结果；
基于所述第二处理结果确定所述目标待处理图像的图像语义分割结果。
优选的，所述确定所述第一处理结果中每个特征通道的通道权重值，包括：
通过SE-NET模型确定所述第一处理结果中每个特征通道的通道权重值。
优选的，所述通过SE-NET模型确定所述第一处理结果中每个特征通道的通道权重值，包括：
对所述第一处理结果进行全局平均池化操作，得到池化操作结果；
获取预先训练的降维矩阵及升维矩阵；
基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值。
优选的，所述对所述第一处理结果进行全局平均池化操作，得到池化操作结果，包括：
通过全局平均池化公式对所述第一处理结果进行全局平均池化操作，得到所述池化操作结果；
所述全局平均池化公式包括：
其中，uc表示所述第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示所述第一处理结果的卷积核的宽度；H表示所述第一处理结果的卷积核的高度。
优选的，z的维度为1×1×C，C表示所述第一处理结果的卷积核的特征通道数。
优选的，所述基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值，包括：
通过第一运算公式，基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值；
所述第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示所述降维矩阵；W2表示所述升维矩阵；σ表示激活函数；δ表示激活函数；s表示所述通道权重值；z表示所述池化操作结果。
优选的，σ表示sigmoid激活函数；δ表示relu激活函数。
一种自动驾驶图像语义分割系统，包括：
第一获取模块，用于获取自动驾驶下的目标待处理图像；
第一处理模块，用于通过ASPP模型对所述目标待处理图像进行处理，得到第一处理结果；
第一确定模块，用于确定所述第一处理结果中每个特征通道的通道权重值；
第一运算模块，用于将所述第一处理结果中的每个特征通道及对应的所述通道权重值进行乘法运算，得到第二处理结果；
第二确定模块，用于基于所述第二处理结果确定所述目标待处理图像的图像语义分割结果。
一种自动驾驶图像语义分割设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述自动驾驶图像语义分割方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述自动驾驶图像语义分割方法的步骤。
本申请提供的一种自动驾驶图像语义分割方法，获取目标待处理图像；通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；确定第一处理结果中每个特征通道的通道权重值；将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；基于第二处理结果确定目标待处理图像的图像语义分割结果。本申请提供的一种自动驾驶图像语义分割方法，在得到第一处理结果后，还需确定第一处理结果中每个特征通道的通道权重值，并且基于通道权重值对第一处理结果进行乘法运算，得到第二处理结果，从而可以基于通道权重值对第一处理结果中的特征通道所代表的特征进行管控，与直接基于第一处理结果得到图像语义分割结果的现有技术相比，可以提高图像语义分割结果的准确性。本申请提供的一种自动驾驶图像语义分割系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种自动驾驶图像语义分割方法的第一流程图；
图2为本申请实施例提供的一种自动驾驶图像语义分割方法的第二流程图；
图3为本申请提供的ASPP模型和SE-NET模型的连接示意图；
图4为本申请实施例提供的一种自动驾驶图像语义分割系统的结构示意图；
图5为本申请实施例提供的一种自动驾驶图像语义分割设备的结构示意图；
图6为本申请实施例提供的一种自动驾驶图像语义分割设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在计算机视觉，如自动驾驶等应用场景中，有时需要对图像中的对象进行识别、区分，这时便需要对图像进行图像语义分割，假设一幅图像中有猫和狗两个目标对象，对该图像进行图像语义分割后，便可以得到只含有猫的图像区域和只含有狗的图像区域，从而可以准确的对图像中的对象进行识别、区分。现有的一种图像语义分割方法是：通过ASPP(Atrous Spatial Pyramid Poolong，空洞卷积空间金字塔)模型对目标待处理图像进行处理，得到处理结果，并基于处理结果得到目标待处理图像的图像语义分割结果。然而，现有的一种图像语义分割方法中，ASPP模型获得的特征中可能包含与图像语义分割结果不相符的特征，影响图像语义分割结果的准确性。本申请提供的一种自动驾驶图像语义分割方法可以提高图像语义分割方法的准确性。
请参阅图1，图1为本申请实施例提供的一种自动驾驶图像语义分割方法的第一流程图。
本申请实施例提供的一种自动驾驶图像语义分割方法，可以包括以下步骤：
步骤S101：获取自动驾驶下的目标待处理图像。
实际应用中，可以先获取自动驾驶下的目标待处理图像，目标待处理图像的类型可以根据具体应用场景确定，比如目标待处理图像可以为机器人运行过程中拍摄的图像，汽车行驶过程中拍摄的图像等。
步骤S102：通过ASPP模型对目标待处理图像进行处理，得到第一处理结果。
实际应用中，在获取目标待处理图像后，便可以通过ASPP模型对目标待处理图像进行处理，得到第一处理结果。通过ASPP模型对目标待处理图像进行处理的过程可以为：对目标待处理图像进行卷积运算，得到含有目标待处理图像中的特征图像的特征图，通过预设数量的空洞卷积核分别对特征图进行处理，得到预设数量的中间处理结果；将预设数量的中间处理结果联结在一起即可得到第一处理结果。
步骤S103：确定第一处理结果中每个特征通道的通道权重值。
实际应用中，在得到第一处理结果后，还需确定第一处理结果中每个特征通道的通道权重值。具体应用场景中，可以基于特征通道所对应的特征与所需的图像语义分割结果的关联程度来确定通道权重值，也即通道权重值代表特征通道所对应的特征与图像语义分割结果的关联程度。
步骤S104：将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果。
实际应用中，在确定通道权重值之后，还需将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果。由于是将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，所以通道权重值会影响特征通道在第二处理结果中的比重，也即通过通道权重值可以对每个特征通道进行管控，相应的，也即对每个特征通道所对应的特征进行管控。
步骤S105：基于第二处理结果确定目标待处理图像的图像语义分割结果。
实际应用中，在得到第二处理结果后，便可以基于第二处理结果确定目标待处理图像的图像语义分割结果。具体的，在确定图像语义分割结果之后，还可以基于图像语义分割结果对目标待处理图像进行图像识别。
本申请提供的一种自动驾驶图像语义分割方法，获取目标待处理图像；通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；确定第一处理结果中每个特征通道的通道权重值；将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；基于第二处理结果确定目标待处理图像的图像语义分割结果。本申请提供的一种自动驾驶图像语义分割方法，在得到第一处理结果后，还需确定第一处理结果中每个特征通道的通道权重值，并且基于通道权重值对第一处理结果进行乘法运算，得到第二处理结果，从而可以基于通道权重值对第一处理结果中的特征通道所代表的特征进行管控，与直接基于第一处理结果得到图像语义分割结果的现有技术相比，可以提高图像语义分割结果的准确性。
请参阅图2和图3，图2为本申请实施例提供的一种自动驾驶图像语义分割方法的第二流程图；图3为本申请提供的ASPP模型和SE-NET模型的连接示意图，土3中，Fsq表示全局平均池化公式，Fex表示第一运算公式，Fscale表示得到第二处理结果的过程。
本申请实施例提供的一种自动驾驶图像语义分割方法具体可以包括以下步骤：
步骤S201：获取自动驾驶下的目标待处理图像。
步骤S202：通过ASPP模型对目标待处理图像进行处理，得到第一处理结果。
步骤S203：通过SE-NET模型确定第一处理结果中每个特征通道的通道权重值。
实际应用中，为了提高通道权重值的确定速率，可以借助SE-NET模型自动确定通道权重值，具体应用场景中，贼通过SE-NET模型确定第一处理结果中每个特征通道的通道权重值时，可以先对第一处理结果进行全局平均池化操作，得到池化操作结果；再获取预先训练的降维矩阵及升维矩阵；最后基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值。
具体应用场景中，对第一处理结果进行全局平均池化操作，得到池化操作结果时，可以通过全局平均池化公式对第一处理结果进行全局平均池化操作，得到池化操作结果；
全局平均池化公式包括：
其中，uc表示第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示第一处理结果的卷积核的宽度；H表示第一处理结果的卷积核的高度。
具体应用场景中，为了降低对第一处理结果进行全局平均池化操作的复杂度，提高对第一处理结果进行全局平均池化操作的效率，全局平均池化公式中z的维度可以为1×1×C，C表示第一处理结果的卷积核的特征通道数。
具体应用场景中，在基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值时，可以通过第一运算公式，基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值；
第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示降维矩阵；W2表示升维矩阵；σ表示激活函数；δ表示激活函数；s表示通道权重值；z表示池化操作结果。具体的，W1、W2的维度可以根据实际需要确定，比如W1的维度可以为W2的维度可以为且具体应用场景中，σ可以表示sigmoid激活函数；δ可以表示relu激活函数。
步骤S204：将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果。
步骤S205：基于第二处理结果确定目标待处理图像的图像语义分割结果。
本实施例中相关步骤的说明请参阅上述实施例，在此不再赘述。
本申请还提供了一种自动驾驶图像语义分割系统，其具有本申请实施例提供的一种自动驾驶图像语义分割方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种自动驾驶图像语义分割系统的结构示意图。
本申请实施例提供的一种自动驾驶图像语义分割系统，可以包括：
第一获取模块101，用于获取自动驾驶下的目标待处理图像；
第一处理模块102，用于通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；
第一确定模块103，用于确定第一处理结果中每个特征通道的通道权重值；
第一运算模块104，用于将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；
第二确定模块105，用于基于第二处理结果确定目标待处理图像的图像语义分割结果。
本申请实施例提供的一种自动驾驶图像语义分割系统中，第一确定模块可以包括：
第一确定子模块，用于通过SE-NET模型确定第一处理结果中每个特征通道的通道权重值。
本申请实施例提供的一种自动驾驶图像语义分割系统中，第一确定子模块可以包括：
第一池化子模块，用于对第一处理结果进行全局平均池化操作，得到池化操作结果；
第一获取子模块，用于获取预先训练的降维矩阵及升维矩阵；
第一处理子模块，用于基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值。
本申请实施例提供的一种自动驾驶图像语义分割系统，第一池化子模块可以包括：
第一池化单元，用于通过全局平均池化公式对第一处理结果进行全局平均池化操作，得到池化操作结果；
全局平均池化公式包括：
其中，uc表示第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示第一处理结果的卷积核的宽度；H表示第一处理结果的卷积核的高度。
本申请实施例提供的一种自动驾驶图像语义分割系统中，z的维度可以为1×1×C，C表示第一处理结果的卷积核的特征通道数。
本申请实施例提供的一种自动驾驶图像语义分割系统中，第一处理子模块可以包括：
第一处理单元，用于通过第一运算公式，基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值；
第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示降维矩阵；W2表示升维矩阵；σ表示激活函数；δ表示激活函数；s表示通道权重值；z表示池化操作结果。
本申请实施例提供的一种自动驾驶图像语义分割系统中，σ可以表示sigmoid激活函数；δ可以表示relu激活函数。
本申请还提供了一种自动驾驶图像语义分割设备及计算机可读存储介质，其均具有本申请实施例提供的一种自动驾驶图像语义分割方法具有的对应效果。请参阅图5，图5为本申请实施例提供的一种自动驾驶图像语义分割设备的结构示意图。
本申请实施例提供的一种自动驾驶图像语义分割设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时实现如下步骤：
获取自动驾驶下的目标待处理图像；
通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；
确定第一处理结果中每个特征通道的通道权重值；
将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；
基于第二处理结果确定目标待处理图像的图像语义分割结果。
本申请实施例提供的一种自动驾驶图像语义分割设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时具体实现如下步骤：通过SE-NET模型确定第一处理结果中每个特征通道的通道权重值。
本申请实施例提供的一种自动驾驶图像语义分割设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时具体实现如下步骤：对第一处理结果进行全局平均池化操作，得到池化操作结果；获取预先训练的降维矩阵及升维矩阵；基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值。
本申请实施例提供的一种自动驾驶图像语义分割设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时具体实现如下步骤：通过全局平均池化公式对第一处理结果进行全局平均池化操作，得到池化操作结果；
全局平均池化公式包括：
其中，uc表示第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示第一处理结果的卷积核的宽度；H表示第一处理结果的卷积核的高度。
本申请实施例提供的一种自动驾驶图像语义分割设备中，z的维度为1×1×C，C表示第一处理结果的卷积核的特征通道数。
本申请实施例提供的一种自动驾驶图像语义分割设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时具体实现如下步骤：通过第一运算公式，基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值；
第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示降维矩阵；W2表示升维矩阵；σ表示激活函数；δ表示激活函数；s表示通道权重值；z表示池化操作结果。
本申请实施例提供的一种自动驾驶图像语义分割设备中，σ表示sigmoid激活函数；δ表示relu激活函数。
请参阅图6，本申请实施例提供的另一种自动驾驶图像语义分割设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现自动驾驶图像语义分割设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取自动驾驶下的目标待处理图像；
通过ASPP模型对目标待处理图像进行处理，得到第一处理结果；
确定第一处理结果中每个特征通道的通道权重值；
将第一处理结果中的每个特征通道及对应的通道权重值进行乘法运算，得到第二处理结果；
基于第二处理结果确定目标待处理图像的图像语义分割结果。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时具体实现如下步骤：通过SE-NET模型确定第一处理结果中每个特征通道的通道权重值。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时具体实现如下步骤：对第一处理结果进行全局平均池化操作，得到池化操作结果；获取预先训练的降维矩阵及升维矩阵；基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时具体实现如下步骤：通过全局平均池化公式对第一处理结果进行全局平均池化操作，得到池化操作结果；
全局平均池化公式包括：
其中，uc表示第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示第一处理结果的卷积核的宽度；H表示第一处理结果的卷积核的高度。
本申请实施例提供的一种计算机可读存储介质中，z的维度为1×1×C，C表示第一处理结果的卷积核的特征通道数。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时具体实现如下步骤：通过第一运算公式，基于降维矩阵及升维矩阵对池化操作结果进行处理，得到通道权重值；
第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示降维矩阵；W2表示升维矩阵；σ表示激活函数；δ表示激活函数；s表示通道权重值；z表示池化操作结果。
本申请实施例提供的一种计算机可读存储介质中，σ表示sigmoid激活函数；δ表示relu激活函数。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种自动驾驶图像语义分割系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种自动驾驶图像语义分割方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种自动驾驶图像语义分割方法，其特征在于，包括：
获取自动驾驶下的目标待处理图像；
通过ASPP模型对所述目标待处理图像进行处理，得到第一处理结果；
确定所述第一处理结果中每个特征通道的通道权重值；
将所述第一处理结果中的每个特征通道及对应的所述通道权重值进行乘法运算，得到第二处理结果；
基于所述第二处理结果确定所述目标待处理图像的图像语义分割结果。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一处理结果中每个特征通道的通道权重值，包括：
通过SE-NET模型确定所述第一处理结果中每个特征通道的通道权重值。
3.根据权利要求2所述的方法，其特征在于，所述通过SE-NET模型确定所述第一处理结果中每个特征通道的通道权重值，包括：
对所述第一处理结果进行全局平均池化操作，得到池化操作结果；
获取预先训练的降维矩阵及升维矩阵；
基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一处理结果进行全局平均池化操作，得到池化操作结果，包括：
通过全局平均池化公式对所述第一处理结果进行全局平均池化操作，得到所述池化操作结果；
所述全局平均池化公式包括：
其中，uc表示所述第一处理结果中的第c个卷积层；zc表示uc对应的池化操作结果；W表示所述第一处理结果的卷积核的宽度；H表示所述第一处理结果的卷积核的高度。
5.根据权利要求4所述的方法，其特征在于，z的维度为1×1×C，C表示所述第一处理结果的卷积核的特征通道数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值，包括：
通过第一运算公式，基于所述降维矩阵及所述升维矩阵对所述池化操作结果进行处理，得到所述通道权重值；
所述第一运算公式包括：
s＝σ(W2·δ(W1·z))；
其中，W1表示所述降维矩阵；W2表示所述升维矩阵；σ表示激活函数；δ表示激活函数；s表示所述通道权重值；z表示所述池化操作结果。
7.根据权利要求6所述的方法，其特征在于，σ表示sigmoid激活函数；δ表示relu激活函数。
8.一种自动驾驶图像语义分割系统，其特征在于，包括：
第一获取模块，用于获取自动驾驶下的目标待处理图像；
第一处理模块，用于通过ASPP模型对所述目标待处理图像进行处理，得到第一处理结果；
第一确定模块，用于确定所述第一处理结果中每个特征通道的通道权重值；
第一运算模块，用于将所述第一处理结果中的每个特征通道及对应的所述通道权重值进行乘法运算，得到第二处理结果；
第二确定模块，用于基于所述第二处理结果确定所述目标待处理图像的图像语义分割结果。
9.一种自动驾驶图像语义分割设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述自动驾驶图像语义分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述自动驾驶图像语义分割方法的步骤。
CN201910468973.0A 2019-05-31 2019-05-31 一种自动驾驶图像语义分割方法 Pending CN110189337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910468973.0A CN110189337A (zh) 2019-05-31 2019-05-31 一种自动驾驶图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910468973.0A CN110189337A (zh) 2019-05-31 2019-05-31 一种自动驾驶图像语义分割方法

Publications (1)

Publication Number Publication Date
CN110189337A true CN110189337A (zh) 2019-08-30

Family

ID=67719411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910468973.0A Pending CN110189337A (zh) 2019-05-31 2019-05-31 一种自动驾驶图像语义分割方法

Country Status (1)

Country Link
CN (1) CN110189337A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079767A (zh) * 2019-12-22 2020-04-28 浪潮电子信息产业股份有限公司 一种用于分割图像的神经网络模型及其图像分割方法
CN112215840A (zh) * 2020-10-30 2021-01-12 上海商汤临港智能科技有限公司 图像检测、行驶控制方法、装置、电子设备及存储介质
CN114035575A (zh) * 2021-11-04 2022-02-11 南京理工大学 基于语义分割的无人驾驶车辆运动规划方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108629410A (zh) * 2018-04-28 2018-10-09 中国科学院计算技术研究所 基于主成分分析降维和/或升维的神经网络处理方法
CN108961253A (zh) * 2018-06-19 2018-12-07 深动科技（北京）有限公司 一种图像分割方法和装置
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109360206A (zh) * 2018-09-08 2019-02-19 华中农业大学 基于深度学习的大田稻穗分割方法
CN109657567A (zh) * 2018-11-30 2019-04-19 深圳大学 一种基于3d指纹图像的弱监督的特征分析方法及系统
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108629410A (zh) * 2018-04-28 2018-10-09 中国科学院计算技术研究所 基于主成分分析降维和/或升维的神经网络处理方法
CN108961253A (zh) * 2018-06-19 2018-12-07 深动科技（北京）有限公司 一种图像分割方法和装置
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN108985269A (zh) * 2018-08-16 2018-12-11 东南大学 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型
CN109360206A (zh) * 2018-09-08 2019-02-19 华中农业大学 基于深度学习的大田稻穗分割方法
CN109657567A (zh) * 2018-11-30 2019-04-19 深圳大学 一种基于3d指纹图像的弱监督的特征分析方法及系统
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIE HU 等: "Squeeze-and-Excitation Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIE HU 等: "Squeeze-and-Excitation Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 23 June 2018 (2018-06-23), pages 7132 - 7141, XP055975363, DOI: 10.1109/CVPR.2018.00745 *
JUN FU，等: "Dual Attention Network for Scene Segmentation", 《ARXIV:1809.02983V4 [CS.CV] 21 APR 2019》, pages 1 - 10 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079767A (zh) * 2019-12-22 2020-04-28 浪潮电子信息产业股份有限公司 一种用于分割图像的神经网络模型及其图像分割方法
WO2021128896A1 (zh) * 2019-12-22 2021-07-01 浪潮电子信息产业股份有限公司 一种用于分割图像的神经网络模型及其图像分割方法
CN111079767B (zh) * 2019-12-22 2022-03-22 浪潮电子信息产业股份有限公司 一种用于分割图像的神经网络模型及其图像分割方法
CN112215840A (zh) * 2020-10-30 2021-01-12 上海商汤临港智能科技有限公司 图像检测、行驶控制方法、装置、电子设备及存储介质
CN114035575A (zh) * 2021-11-04 2022-02-11 南京理工大学 基于语义分割的无人驾驶车辆运动规划方法及系统
CN114035575B (zh) * 2021-11-04 2023-03-31 南京理工大学 基于语义分割的无人驾驶车辆运动规划方法及系统

Similar Documents

Publication Publication Date Title
CN110189337A (zh) 一种自动驾驶图像语义分割方法
US11216971B2 (en) Three-dimensional bounding box from two-dimensional image and point cloud data
TWI775605B (zh) 深度視覺處理器
CN105892989B (zh) 一种神经网络加速器及其运算方法
CN109284817A (zh) 深度可分离卷积神经网络处理架构/方法/系统及介质
CN108665059A (zh) 基于现场可编程门阵列的卷积神经网络加速系统
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
US20150109290A1 (en) Device and method for removing noise points in point clouds
US8854374B2 (en) Tessellation patterns
US8954295B1 (en) Determining an outer shell of a composite three-dimensional model
CN104766346B (zh) 一种基于视频图像的斑马鱼跟踪方法
CN110490203A (zh) 图像分割方法及装置、电子设备和计算机可读存储介质
CN107301646B (zh) 基于单目视觉的无人船智能避障方法和装置
RU2019138328A (ru) Сверточная нейронная сеть на основе октодерева
CN110368694A (zh) 游戏场景的数据处理方法、装置、设备及可读存储介质
CN107886164A (zh) 一种卷积神经网络训练、测试方法及训练、测试装置
CN111047630A (zh) 神经网络和基于神经网络的目标检测及深度预测方法
CN110163831A (zh) 三维虚拟沙盘的物体动态展示方法、装置及终端设备
CN102855654B (zh) 一种超大规模天气效果渲染方法
CN105469445A (zh) 一种步长可变地图生成方法
CN113486898B (zh) 一种基于改进ShuffleNet的雷达信号RD图像干扰辨识方法及系统
CN113837275A (zh) 基于扩张坐标注意力的改进YOLOv3目标检测方法
CN105787998A (zh) 一种离散元仿真中多球颗粒的两层网格搜索接触检测方法
US10719982B2 (en) Surface extrction method, apparatus, and non-transitory computer readable storage medium thereof
CN113592885A (zh) 基于SegNet-RS网络的大障碍物轮廓分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination