CN110163862B - 图像语义分割方法、装置及计算机设备 - Google Patents

图像语义分割方法、装置及计算机设备 Download PDF

Info

Publication number
CN110163862B
CN110163862B CN201811232265.9A CN201811232265A CN110163862B CN 110163862 B CN110163862 B CN 110163862B CN 201811232265 A CN201811232265 A CN 201811232265A CN 110163862 B CN110163862 B CN 110163862B
Authority
CN
China
Prior art keywords
image
enhanced
original image
channel
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811232265.9A
Other languages
English (en)
Other versions
CN110163862A (zh
Inventor
王志杰
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811232265.9A priority Critical patent/CN110163862B/zh
Publication of CN110163862A publication Critical patent/CN110163862A/zh
Application granted granted Critical
Publication of CN110163862B publication Critical patent/CN110163862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请公开了一种图像语义分割方法、装置及计算机设备，属于图像处理领域。该方法包括：获取原始图像，采用n种增强处理算法分别对该原始图像进行增强处理，得到与该n种增强处理算法一一对应的n个增强图像，该n为大于1的整数；分别对每个增强图像进行语义分割，得到每个增强图像的初始分割结果；对该n个增强图像的初始分割结果进行融合，得到原始图像的目标分割结果。由于该n个增强图像的图像质量相比于原始图像可以在不同方面得到改善，因此对每个增强图像分别进行语义分割，并将初始分割结果进行融合后得到目标分割结果的分割效果较好，避免了原始图像的图像质量对分割效果的影响，提高了图像语义分割方法的可靠性。

Description

图像语义分割方法、装置及计算机设备
技术领域
本申请涉及图像处理领域，特别涉及一种图像语义分割方法、装置及计算机设备。
背景技术
图像语义分割(semantic segmentation)是一种对图像中的每个像素按照语义进行分类，并根据像素所属的类别对像素进行标注(例如采用不同颜色标注不同类别的像素)，以区分图像中所包括的语义对象的方法。
相关技术中，通常采用基于机器学习算法训练得到的神经网络来进行图像语义分割。该图像语义分割的过程包括：首先将原始图像输入至一个神经网络，得到图像的语义特征，之后对该语义特征进行融合得到分割结果。或者，采用另一个神经网络对得到的语义特征进行处理得到的分割结果。该分割结果可以是原始图像中每个像素属于不同类别的概率，或者也可以是采用不同颜色对原始图像中不同类别的像素进行标注后得到的图像。
但是，相关技术中的方法对不同质量的图像均采用相同的神经网络进行处理，其分割效果较差。
发明内容
本申请实施例提供了一种图像语义分割方法、装置及计算机设备，可以解决相关技术中的语义分割方法分割效果较差的问题。所述技术方案如下：
一方面，提供了一种图像语义分割方法，所述方法包括：
获取原始图像；
采用n种增强处理算法分别对所述原始图像进行增强处理，得到与所述n种增强处理算法一一对应的n个增强图像，所述n为大于1的整数；
分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果；
对所述n个增强图像的初始分割结果进行融合，得到所述原始图像的目标分割结果。
另一方面，提供了一种图像语义分割装置，所述装置包括：
第一获取模块，用于获取原始图像；
处理模块，用于采用n种增强处理算法分别对所述原始图像进行增强处理，得到与所述n种增强处理算法一一对应的n个增强图像，所述n为大于1的整数；
分割模块，用于分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果；
融合模块，用于对所述n个增强图像的初始分割结果进行融合，得到所述原始图像的目标分割结果。
又一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的图像语义分割方法。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的图像语义分割方法。
再一方面，提供了一种图像语义分割方法，应用于自动驾驶车辆，所述方法包括：
获取所述自动驾驶车辆的周围场景图像；
采用n种增强处理算法分别对所述周围场景图像进行增强处理，得到与所述n种增强处理算法一一对应的n个增强图像，所述n为大于1的整数；
分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果；
对所述n个增强图像的初始分割结果进行融合，得到所述周围场景图像的目标分割结果。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供了一种图像语义分割方法、装置及计算机设备，在进行语义分割之前，可以采用n种增强处理算法对原始图像进行增强处理，得到n个增强图像，该n为大于1的整数。该n个增强图像的图像质量相比于原始图像可以在不同方面得到改善。因此后续再对每个增强图像分别进行语义分割，并对各个增强图像的初始分割结果进行融合得到目标分割结果的分割效果较好，避免了原始图像的图像质量对分割效果的影响，提高了图像语义分割的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像语义分割方法所应用的计算机设备的示意图；
图2是本申请实施例提供的一种图像语义分割方法的流程图；
图3是本申请实施例提供的另一种图像语义分割方法的流程图；
图4是本申请实施例提供的一种图像语义分割方法的算法框图；
图5是本申请实施例提供的一种采用第i种增强处理算法对指定通道图像进行增强处理的方法流程图；
图6是本申请实施例提供的一种获取增强图像的算法框图；
图7是本申请实施例提供的一种对获取到的初始分割结果进行融合的方法流程图；
图8是本申请实施例提供的一种增强网络的训练方法的流程图；
图9是本申请实施例提供的又一种图像语义分割方法的流程图；
图10是本申请实施例提供的一种图像语义分割装置的结构示意图；
图11是本申请实施例提供的另一种图像语义分割装置的结构示意图；
图12是本申请实施例提供的一种计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请实施例提供的图像语义分割方法所应用的计算机设备01的示意图。如图1所示，本申请实施例提供的方法所应用的计算机设备01可以为服务器、手机、笔记本电脑、个人计算机或自动驾驶车辆等。其中，该服务器可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心。
当该图像语义分割方法应用于服务器中时，服务器可以从图像数据库中获取原始图像，并通过该语义分割方法对原始图像进行语义分割，以便根据该分割结果进行进一步的分析操作，例如进行图像分类或人脸识别等。
当该图像语义分割方法应用于手机或个人计算机等终端设备中时，该终端设备中可以安装有图像处理软件，该图像语义分割方法可以部署于该图像处理软件中。终端设备可以通过该图像语义分割方法对拍摄得到的图像或者预先存储的图像中的对象(例如人像)进行精准分割，从而实现自动抠图、自动美颜或图像风格转换等多种图像处理功能。
当该图像语义分割方法应用于自动驾驶车辆时，该图像语义分割方法可以部署于自动驾驶车辆中的处理器中。该自动驾驶车辆的处理器可以通过该图像语义分割方法，对图像传感器采集到的周围场景图像中的道路、行人、车辆、信号灯和交通标志等对象进行精准的分割和识别，以便自动驾驶车辆可以根据分割结果增加对周围场景的理解，即确定周围场景图像中所包括的对象以及各对象所在的区域。进一步的，自动驾驶车辆可以根据预先存储的车辆控制算法，以及对该周围场景图像的分割结果确定车辆的驾驶意图，并对车辆的行驶状态进行控制。例如，当该周围场景图像的分割结果中包括信号灯或交通标志时，自动驾驶车辆可以根据识别出的信号灯或交通标志控制车辆的车速。当该周围场景图像的分割结果中包括道路时，自动驾驶车辆可以根据识别出的道路控制车辆的行驶方向。当该周围场景图像的分割结果中包括行人和车辆等障碍物时，自动驾驶车辆可以根据根据识别出的障碍物，以及其他传感器(例如雷达或激光传感器)检测到的本车与障碍物的距离，以及障碍物的移动速度等信息，控制车辆的车速和行驶方向。
图2是本申请实施例提供的一种图像语义分割方法的流程图。本实施例以该图像语义分割方法应用于图1所示的计算机设备来举例说明。参考图2，该方法可以包括：
步骤101、获取原始图像。
该原始图像即为该计算机设备当前待处理的图像。例如当该计算机设备为终端设备时，该原始图像可以为终端设备拍摄得到的图像或者终端设备中预先存储的图像。当该计算机设备为服务器时，该原始图像可以是从图像数据库中获取到的待处理的图像。当该计算机设备为自动驾驶车辆时，该原始图像可以为自动驾驶车辆通过图像传感器采集到的图像。
步骤102、采用n种增强处理算法分别对该原始图像进行增强处理，得到与该n种增强处理算法一一对应的n个增强图像。
在本申请实施例中，计算机设备中可以预先配置有n种不同的增强处理算法，n为大于1的整数，即n≥2。计算机设备可以分别采用每种增强处理算法对该原始图像进行增强处理，得到n个增强图像。其中，该n种增强处理算法可以包括下述多种算法中的n种：加权最小二乘算法、引导滤波算法、直方图均衡化处理的算法、双边滤波算法和锐化处理算法等。
步骤103、分别对每个增强图像进行语义分割，得到每个增强图像的初始分割结果。
计算机设备可以将该n个增强图像中的每个增强图像分别输入至预先训练得到的分割网络，从而得到每个增强图像的初始分割结果。每个增强图像的初始分割结果可以是原始图像包括的多个像素中每个像素属于不同类别的概率。
步骤104、对该n个增强图像的初始分割结果进行融合，得到该原始图像的目标分割结果。
计算机设备可以采用预设的融合算法对该n个增强图像的初始分割结果进行融合，从而得到原始图像的目标分割结果。
计算机设备在对n个增强图像的初始分割结果进行融合时，作为一种可选的实现方式，对于原始图像中的每个像素，计算机设备可以将各个初始分割结果中该像素属于同一类别的概率的平均值确定为该像素属于该类别的综合概率，进而可以将综合概率最高的类别确定为该像素所属的类别。最后，计算机设备即可根据确定出的各像素所属的类别对各像素进行标注，得到该目标分割结果。其中，该平均值可以为算术平均值、加权平均值或者几何平均值等。
作为另一种可选的实现方式，对于原始图像中的每个像素，计算机设备可以将各个初始分割结果中该像素属于各个类别的概率中，概率最高的类别确定为该像素所属的类别。最后，计算机设备即可根据确定出的各像素所属的类别对各像素进行标注，得到该目标分割结果。
综上所述，本申请实施例提供了一种图像语义分割方法，该方法在进行语义分割之前，可以采用n种增强处理算法对原始图像进行增强处理，得到n个增强图像，该n个增强图像的图像质量相比于原始图像可以在不同方面得到改善。因此后续再对每个增强图像分别进行语义分割，并对各个增强图像的初始分割结果进行融合得到目标分割结果的分割效果较好，避免了原始图像的图像质量对分割效果的影响，提高了图像语义分割方法的可靠性。
图3是本申请实施例提供的另一种图像语义分割方法的流程图。本实施例以该图像语义分割方法应用于图1所示的计算机设备来举例说明。参考图3，该方法可以包括：
步骤201、获取原始图像。
该原始图像即为该计算机设备当前待处理的图像。示例的，当该计算机设备为服务器时，该原始图像可以是从图像数据库中获取到的待处理的图像。当该计算机设备为终端设备时，该原始图像可以为终端设备拍摄得到的图像或者终端设备中预先存储的图像。当该计算机设备为自动驾驶车辆时，该原始图像可以为自动驾驶车辆通过图像传感器采集到的图像。
步骤202、检测该原始图像是否为指定色彩空间的图像。
该指定色彩空间可以为计算机设备中预先设定的色彩空间(也称为颜色空间)，且该指定色彩空间可以包括多个通道，该多个通道中可以包括用于指示图像亮度分量的指定通道。在本申请实施例中，计算机设备所获取到的原始图像一般为红绿蓝(red greenblue，RGB)色彩空间的图像，直接对该RGB色彩空间的图像进行增强处理的效果一般。而对该指定通道图像进行增强处理后能够有效增强原始图像的边缘信息，便于后续进行语义分割处理。因此在本申请实施例中，计算机设备获取到原始图像后，可以先检测其色彩空间是否为指定色彩空间，若该原始图像不为指定色彩空间的图像，则计算机设备可以执行步骤203；若该原始图像为该指定色彩空间的图像，则计算机设备无需执行该色彩空间转换的操作，即计算机设备可以直接执行下述步骤204。
可选的，该指定色彩空间可以为YCbCr色彩空间，其中Y指代亮度，Cb指代蓝色色度分量，Cr指代红色色度分量。或者，该指定色彩空间可以为YUV色彩空间，其中Y指代亮度，U和V分别指代色度和浓度。
该YCbCr色彩空间包括Y通道、Cb通道和Cr通道，Y通道用于指示图像的亮度分量，Cb通道和Cr通道分别用于指示图像的蓝色色度分量和红色色度分量。YUV色彩空间包括Y通道、U通道和V通道，Y通道用于指示图像的亮度分量，U通道和V通道分别用于指示图像的色度分量和浓度分量。
步骤203、将该原始图像转换至指定色彩空间，得到转换图像。
若该原始图像不为指定色彩空间的图像，则计算机设备可以采用色彩空间转换算法将原始图像转换至该指定色彩空间，得到转换图像。例如计算机设备可以将该原始图像与色彩空间转换矩阵相乘，从而得到该转换图像。
示例的，假设原始图像为RGB色彩空间的图像，则计算机设备可以获取RGB色彩空间与YCbCr色彩空间之间的色彩空间转换矩阵，并将该原始图像与该色彩空间转换矩阵相乘，从而得到YCbCr色彩空间的转换图像。
步骤204、获取该转换图像中的指定通道图像，以及其他通道图像。
在本申请实施例中，计算机设备可以采用单通道图像提取算法从该转换图像中提取指定通道图像。提取该指定通道图像后，该转换图像中剩余的部分即为其他通道图像。其中，该指定通道可以为用于指示图像的亮度分量的通道。
示例的，若该指定色彩空间为YCbCr色彩空间，则该指定通道可以为Y通道，相应的，该其他通道即为CbCr通道。若该指定色彩空间为YUV色彩空间，则该指定通道可以为Y通道，相应的，该其他通道即为UV通道。
步骤205、采用n种增强处理算法分别对该指定通道图像进行增强处理，得到与该n种处理算法一一对应的n个增强后的指定通道图像。
图4是本申请实施例提供的一种图像语义分割方法的算法框图。如图4所示，计算机设备中可以预先存储有n种不同的增强处理算法，该计算机设备获取到指定通道图像后，可以分别采用每种增强处理算法对该指定通道图像进行增强处理，得到增强后的指定通道图像1至增强后的指定通道图像n，该n个增强后的指定通道图像与该n种增强处理算法一一对应。
作为本申请实施例一种可选的实现方式，该n种增强处理算法中的每种增强处理算法可以对应一种增强网络，且该增强网络可以是采用机器学习算法预先训练得到的神经网络。
以该n种增强处理算法中的第i种增强处理算法为例，介绍采用增强处理算法对指定通道图像进行增强处理的过程。其中，i可以为不大于n的正整数，即1≤i≤n。参考图5，对指定通道图像进行增强处理的过程可以包括：
步骤2051、将指定通道图像输入至第i种增强处理算法对应的增强网络，得到与该指定通道图像对应的增强滤波器。
在本申请实施例中，每种增强处理算法对应的一种增强网络可以用于生成一种类型的增强滤波器。例如，该n种增强处理算法对应的n种增强网络可以包括下述多种增强网络中的n种：用于生成加权最小二乘滤波器(weighted least squares filter，WLSfilter)的增强网络，用于生成引导滤波器(Guided Filter)的增强网络，用于生成双边滤波器(Bilateral filter)的增强网络，用于生成直方图均衡化滤波器(histeq filter)的增强网络以及用于生成图像锐化滤波器(imsharpen filter)的增强网络。
图6是本申请实施例提供的一种获取增强图像的算法框图。参考图6，计算机设备可以将指定通道图像输入至第i种增强处理算法对应的增强网络，该增强网络即可输出与该指定通道图像对应的一个增强滤波器。可选的，该增强滤波器可以是一个q×q的矩阵，q为大于1的奇数，例如q可以为3或5等。
示例的，假设该第i个增强处理算法对应的增强网络为用于生成WLS滤波器的增强网络，且该WLS滤波器为5×5的矩阵。则计算机设备将从原始图像中获取到的Y通道图像输入至该第i个增强处理算法对应的增强网络后，可以得到一个5×5的矩阵。如图6所示，该5×5的矩阵中第一行第一列的元素可以为0.3，第一行第二列的元素可以为0.2。
步骤2052、采用与该指定通道图像对应的增强滤波器对该指定通道图像进行处理，得到与该第i种增强处理算法对应的一个增强后的指定通道图像。
采用增强滤波器对该指定通道图像进行处理的过程可以为：将该增强滤波器作为卷积核，采用该卷积核对该指定通道图像进行卷积处理。该卷积处理后得到的图像即为与该第i种增强处理算法对应的一个增强后的指定通道图像。
该增强后的指定通道图像能够有效增强图像中的边缘信息，可以提高后续进行语义分割时的分割精度，改善分割效果。并且，仅对该指定通道图像进行增强处理，可以有效提高增强处理的效率，进而提高该图像语义分割方法的处理效率。
进一步的，由于本申请实施例提供的方法中，每个增强网络均可以动态生成与指定通道图像对应的一个增强滤波器，相比于采用固定的增强滤波器对指定通道图像或原始图像进行增强处理，采用该增强网络动态生成的专属于该指定通道图像或原始图像的增强滤波器进行增强处理时的处理效果更好。
步骤206、将每个增强后的指定通道图像分别与该其他通道图像进行融合，得到n个融合图像。
对于每个增强后的指定通道图像图像，参考图6，计算机设备可以采用多通道图像融合算法将该增强后的指定通道图像与该其他通道图像进行融合，得到一个融合图像。计算机设备将该n个增强后的指定通道图像分别与其他通道图像进行融合后，即可得到与该n种增强处理算法一一对应的n个融合图像。
其中，该计算机设备所采用的多通道图像融合算法可以与上述步骤203中所采用的单通道图像提取算法相对应。
步骤207、将每个融合图像转换至原色彩空间，得到与该n种增强处理算法一一对应的n个增强图像。
计算机设备可以对每个融合图像进行色彩空间转换，以将每个融合图像转换至原色彩空间，从而得到与该n种增强处理算法一一对应的n个增强图像。例如，计算机设备可以获取指定色彩空间与该原色彩空间之间的色彩空间转换矩阵，并将每个融合图像与该色彩空间转换矩阵相乘，从而得到与该n种增强处理算法一一对应的n个增强图像。其中，该原色彩空间是指原始图像的色彩空间。
由于原始图像的色彩空间一般为RGB色彩空间，用于对图像进行语义分割的分割网络也一般是针对该RGB色彩空间的图像进行设计的，因此计算机设备可以将每个融合图像再转换至RGB色彩空间，以便进行后续的语义分割处理。
步骤208、分别对每个增强图像进行语义分割，得到每个增强图像的初始分割结果。
如图4所示，计算机设备将该n个增强图像中的每个增强图像分别输入至预先训练得到的分割网络后，可以得到初始分割结果1至初始分割结果n共n个初始分割结果，该n个初始分割结果与n个增强处理算法一一对应。其中，该分割网络可以采用机器学习算法预先训练得到神经网络。该每个增强图像的初始分割结果可以包括：原始图像包括的多个像素中每个像素属于不同类别的概率。示例的，假设原始图像中各像素的备选类别包括10个类别，则每个初始分割结果均可以包括每个像素属于该10个类别中每个类别的概率。
步骤209、对该原始图像进行语义分割，得到该原始图像的初始分割结果。
在本申请实施例中，计算机设备还可以将未经过增强处理的原始图像直接输入至分割网络，从而得到该原始图像的初始分割结果。
步骤210、对该n个增强图像的初始分割结果，以及该原始图像的初始分割结果进行融合，得到该原始图像的目标分割结果。
计算机设备可以采用预设的融合算法，对n个增强图像的初始分割结果，以及原始图像的初始分割结果进行融合，得到该原始图像的目标分割结果。
作为一种可选的实现方式，参考图7，计算机设备对获取到的初始分割结果进行融合，得到该原始图像的目标分割结果的过程可以包括：
步骤2101、将获取到的多个初始分割结果中，每个像素属于同一类别的概率的平均值确定为该像素属于该类别的综合概率，得到原始图像中每个像素属于不同类别的综合概率。
计算机设备获取到的多个初始分割结果可以包括该n个增强图像的初始分割结果，或者，还可以包括原始图像的初始分割结果。计算机设备在计算原始图像中第一像素属于第一类别的综合概率时，可以计算多个初始分割结果中第一像素属于第一类别的概率的平均值，并将该平均值作为该第一像素属于该第一类别的综合概率。其中，该平均值可以为算术平均值、加权平均值或者几何平均值等。
以该平均值为加权平均值为例进行说明。计算机设备在计算综合概率之前，可以先获取预先存储的n种增强处理算法的权重w1至wn，以及该原始图像的权重为wn+1。假设计算机设备获取到了n个增强图像的初始分割结果，以及原始图像的初始分割结果，即计算机设备获取到初始分割结果的总数为n+1。每个初始分割结果中均包括原始图像中每个像素属于M个类别中每个类别的概率，即原始图像中每个像素的备选类别的个数为M。则计算机设备根据获取到的权重，计算原始图像所包括的J个像素中第j(j为不大于J的正整数)个像素属于第m(m为不大于M的正整数)个类别的概率的加权平均值后，得到的该第j个像素属于第m个类别的综合概率Pjm可以满足：
其中，wi为w1至wn+1中第i个权重，i为不大于n+1的正整数；为第i个初始分割结果中，该第j个像素属于第m个类别的概率。
在本申请实施例中，n种增强处理算法的权重w1至wn，以及该原始图像的权重为wn+1可以是根据经验预先设定的，且每种增强处理算法的权重可以大于该原始图像的权重wn+1。例如，在该语义分割方法应用之前，计算机设备可以可以预先配置多组权重，每组权重可以包括与该n种增强处理算法以及该原始图像对应的权重。然后计算机设备可以分别采用每组权重对多个初始分割结果进行融合，得到多个目标分割结果。之后，计算机设备可以将分割效果最好的目标分割结果所对应的一组权重确定为该语义分割方法实际采用的权重。
步骤2102、对于该原始图像中每个像素，将综合概率最高的类别确定为该像素所属的类别。
对于每个像素，计算机设备可以对比该像素属于不同类别的综合概率的大小。若综合概率最高的类别仅包括一个，则计算机设备可以直接将该类别确定为该像素所属的类别。若综合概率最高的类别包括多个，则计算机设备可以从该多个类别中随机确定一个类别作为该像素所属的类别。
示例的，对于原始图像中的第j个像素，计算机设备可以对比该第j个像素属于M个类别中每个类别的综合概率。若第j个像素属于M个类别中第2个类别的综合概率最高，则计算机设备可以将该M个类别中的第2个类别确定为该第j个像素所属的类别。
步骤2103、按照该原始图像中每个像素所属的类别对各个像素进行标注，得到该原始图像的目标分割结果。
在本申请实施例中，计算机设备可以采用不同的颜色或者不同的填充图案对不同类别的像素进行标注。其中同一类别的像素可以采用同一颜色或同一填充图案进行标注，由此即可得到该原始图像的目标分割结果。
作为另一种可选的实现方式，计算机设备对获取到的初始分割结果进行融合，得到该原始图像的目标分割结果的过程可以包括：
对于原始图像中的每个像素，计算机设备可以将各个初始分割结果中该像素属于各类别的概率中，概率最高的类别确定为该像素所属的类别。最后，计算机设备即可根据确定出的各像素所属的类别对各像素进行标注，得到该目标分割结果。
示例的，假设计算机设备获取到的n+1个初始分割结果中每个初始分割结果中均包括：原始图像中每个像素属于M个类别中每个类别的概率。则对于原始图像所包括的J个像素中第j个像素，计算机设备基于该n+1个初始分割结果可以获取到M×(n+1)个概率。计算机设备可以将该M×(n+1)个概率中，概率最高的概率所对应的类别确定为该第j个像素所属的类别。
可选的，本申请实施例提供的图像语义分割方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如上述步骤202至步骤204、步骤206和步骤207也可以根据情况进行删除，相应的，在上述步骤205中，计算机设备可以分别采用每种增强处理算法直接对原始图像进行增强处理，从而得到每种增强处理算法对应的增强图像。或者上述步骤209可以在步骤208之前执行；又或者，上述步骤209也可以根据情况进行删除，相应的，在上述步骤210中，计算机设备可以对该n个增强图像的初始分割结果进行融合，得到目标分割结果。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供了一种图像语义分割方法，该方法在进行语义分割之前，可以采用n种增强处理算法对原始图像进行增强处理，得到n个增强图像，该n个增强图像的图像质量相比于原始图像可以在不同方面得到改善。因此后续再对每个增强图像分别进行语义分割，并对各个增强图像的初始分割结果进行融合得到目标分割结果的分割精度和准确度较高，分割效果较好。并且可以避免原始图像的图像质量对分割效果的影响，从而有效提高了该图像语义分割方法的可靠性和鲁棒性。
可选的，在上述步骤201之前，计算机设备还可以采用机器学习算法训练得到每一种增强处理算法对应的一种增强网络。图8是本申请实施例提供的一种增强网络的训练方法的流程图。以训练第i种增强处理算法对应的增强网络为例，参考图8，该训练方法可以包括：
步骤301、获取原始样本图像，以及与该原始样本图像对应的增强样本图像。
在本申请实施例中，与该原始样本图像对应的增强样本图像可以是采用预先设计的增强滤波器进行处理后得到的。相应的，该待训练的第i种增强处理算法对应的增强网络所生成的滤波器的类型与该预先设计的增强滤波器的类型一致。也即是，对于待训练的第i种增强处理算法对应的增强网络，可以根据该增强网络生成的滤波器的类型，预先设计对应类型的增强滤波器，并采用该预先设计的增强滤波器对原始样本图像进行处理，得到用于训练该第i种增强处理算法对应的增强网络的增强样本图像。
步骤302、将该原始样本图像输入至该第i种增强处理算法对应的增强网络，得到与该原始样本图像对应的增强滤波器。
可选的，该第i种增强处理算法对应的增强网络可以为多层神经网络，例如可以为深度神经网络(Deep Neural Networks，DNN)。在训练之前，计算机设备可以为该多层神经网络中的每个神经元配置初始权值。在训练时，可以将该原始样本图像输入至该配置有初始权值的增强网络，得到与该原始样本图像对应的增强滤波器。
步骤303、采用与该原始样本图像对应的增强滤波器对该原始图像进行处理，得到初始增强图像。
示例的，计算机设备可以以该原始样本图像对应的增强滤波器为卷积核，对该原始样本图像进行卷积处理，从而得到原始样本图像的初始增强图像。
步骤304、基于该初始增强图像和该增强样本图像，调整该第i种增强处理算法对应的增强网络的参数。
在本申请实施例中，计算机设备可以基于初始增强图像和该增强样本图像之间的差异，构建损失函数。之后，计算机设备可以采用误差反向传播算法调整该第i种增强处理算法对应的增强网络的参数(例如可以调整该增强网络中各神经元的权值)，直至该损失函数收敛时完成对该第i种增强处理算法对应的增强网络的训练。
对于其他增强处理算法对应的增强网络，均可以采用上述步骤301至步骤304所示的方法进行训练，本申请实施例对此不再赘述。
本申请实施例提供的增强网络的训练方法所训练得到的增强网络，可以基于输入的原始图像，生成与该原始图像对应的增强滤波器。相比于采用同一增强滤波器对原始图像进行处理，采用与该原始图像对应的增强滤波器对原始图像进行增强处理的效果较好，进而可以提高后续对增强图像进行语义分割时的分割效果。
以该计算机设备为终端设备为例，对本申请实施例提供的图像语义分割方法进行说明。该终端设备中可以安装有图像处理软件，该图像语义分割方法可以部署于该图像处理软件中。终端设备启动该图像处理软件后，该图像处理软件可以根据接收到的图像选择指令，获取该图像选择指令所指示的待处理的原始图像。之后，当图像处理软件接收到针对该原始图像的图像处理指令后，若该图像处理指令指示的图像处理操作需要对该原始图像中的对象进行分割，例如当该图像处理操作为自动抠图或自动美颜等操作时，该图像处理软件可以采用预先部署的图像语义分割方法对该原始图像进行图像语义分割，得到目标分割结果。该图像语义分割的过程可以参考上述方法实施例，此处不再赘述。
进一步的，该图像处理软件即可基于该目标分割结果对原始图像中的指定对象进行裁剪，以实现自动抠图；或者采用不同类型的美化算法对原始图像中的不同对象进行美化处理，以实现自动美颜。由于本申请实施例提供的图像语义分割方法的分割效果较好，因此图像处理软件基于该图像语义分割方法对原始图像进行处理后的处理效果也较好。
以该计算机设备为自动驾驶车辆为例，对本申请实施例提供的图像语义分割方法进行说明。参考图9，该方法可以包括：
步骤401、获取自动驾驶车辆的周围场景图像。
在本申请实施例中，自动驾驶车辆中可以安装有能够采集周围环境图像的图像传感器，例如摄像头。自动驾驶车辆的处理器可以获取该图像传感器采集到的周围环境图像。
步骤402、采用n种增强处理算法分别对该周围场景图像进行增强处理，得到与该n种增强处理算法一一对应的n个增强图像。
其中，该n为大于1的整数。
步骤403、分别对每个增强图像进行语义分割，得到每个增强图像的初始分割结果。
步骤404、对该n个增强图像的初始分割结果进行融合，得到该周围场景图像的目标分割结果。
该目标分割结果可以包括对该周围场景图像中道路、行人、车辆、信号灯和交通标志等对象的语义分割结果。
上述步骤402至步骤404所示的方法可以均由自动驾驶车辆的处理器实现，且具体实现过程可以参考上述方法实施例中的相关描述，此处不再赘述。
在本申请实施例中，自动驾驶车辆的处理器中还可以预先存储有车辆控制算法。在上述步骤404之后，自动驾驶车辆的处理器还可以根据该车辆控制算法，以及对该周围场景图像的分割结果确定车辆的驾驶意图，并对车辆的行驶状态进行控制。
例如，当该目标分割结果中包括信号灯或交通标志时，自动驾驶车辆可以根据识别出的信号灯或交通标志控制车辆的车速。当该周围场景图像的目标分割结果中包括道路时，自动驾驶车辆可以根据识别出的道路控制车辆的行驶方向。当该周围场景图像的目标分割结果中包括行人和车辆等障碍物时，自动驾驶车辆可以根据根据识别出的障碍物，以及其他传感器(例如雷达或激光传感器)检测到的本车与障碍物的距离，以及障碍物的移动速度等信息，控制车辆的车速和行驶方向。
由于本申请实施例提供的图像语义分割方法的分割效果较好，因此自动驾驶车辆基于该周围场景图像的目标分割结果对车辆进行控制时的控制效果也较好，控制的精度和可靠性较高。
图10是本申请实施例提供的一种图像语义分割装置的结构示意图。该图像语义分割装置可以配置于图1所示的计算机设备01中，参考图10，该装置可以包括：
第一获取模块501，用于获取原始图像。
处理模块502，用于采用n种增强处理算法分别对该原始图像进行增强处理，得到与该n种增强处理算法一一对应的n个增强图像，n为大于1的整数。
分割模块503，用于分别对每个该增强图像进行语义分割，得到每个该增强图像的初始分割结果。
融合模块504，用于对该n个增强图像的初始分割结果进行融合，得到该原始图像的目标分割结果。
可选的，每种增强处理算法可以对应一种增强网络。该处理模块502采用该n种增强处理算法中的第i种增强处理算法对该原始图像进行增强处理，得到与该第i种增强处理算法对应的一个增强图像的过程可以包括：
将该原始图像输入至该第i种增强处理算法对应的增强网络，得到与该原始图像对应的增强滤波器；
采用与该原始图像对应的增强滤波器对该原始图像进行处理，得到与该第i种增强处理算法对应的一个增强图像；其中，该i为不大于n的正整数。
图11是本申请实施例提供的另一种图像语义分割装置的结构示意图。该图像语义分割装置可以配置于图1所示的计算机设备01中，如图11所示，该装置还可以包括：
训练模块505，用于采用机器学习算法训练得到每一种增强处理算法对应的一种增强网络；
其中，该训练模块505采用机器学习算法训练得到该n种增强处理算法中的第i种增强处理算法对应的增强网络的过程可以包括：
获取原始样本图像，以及与该原始样本图像对应的增强样本图像；
将该原始样本图像输入至该第i种增强处理算法对应的增强网络，得到与该原始样本图像对应的增强滤波器；
采用与该原始样本图像对应的增强滤波器对该原始图像进行处理，得到初始增强图像；
基于该初始增强图像和该增强样本图像，调整该第i种增强处理算法对应的增强网络的参数。
可选的，该n种增强处理算法对应的n种增强网络可以包括下述多种增强网络中的n种：用于生成加权最小二乘列滤波器的增强网络，用于生成引导滤波器的增强网络，用于生成双边滤波器的增强网络，用于生成直方图均衡化滤波器的增强网络以及用于生成图像锐化滤波器的增强网络。
可选的，如图11所示，该装置还可以包括：
转换模块506，用于若该原始图像不为指定色彩空间的图像，将该原始图像转换至该指定色彩空间，得到转换图像，该指定色彩空间包括的多个通道中包括用于指示图像亮度分量的指定通道。
第二获取模块507，用于获取该转换图像中的指定通道图像，以及其他通道图像。
该处理模块502采用第i种增强处理算法对该原始图像进行增强处理，得到与该第i种增强处理算法对应的一个增强图像的过程可以包括：
采用该第i种增强处理算法对该指定通道图像进行增强处理，得到增强后的该指定通道图像；
将增强后的该指定通道图像与该其他通道图像进行融合，得到融合图像；
将该融合图像转换至原色彩空间，得到与该第i种增强处理算法对应的增强图像。
可选的，该指定色彩空间为YCbCr色彩空间，该指定通道图像为Y通道图像，该其他通道图像为CbCr通道图像；
或者，该指定色彩空间为YUV色彩空间，该指定通道图像为Y通道图像，该其他通道图像为UV通道图像。
可选的，该分割模块503还可以用于对该原始图像进行语义分割，得到该原始图像的初始分割结果；
相应的，该融合模块504，可以用于对该n个增强图像的初始分割结果，以及该原始图像的初始分割结果进行融合，得到该原始图像的目标分割结果。
可选的，每个初始分割结果可以包括：该原始图像中每个像素属于不同类别的概率。该融合模块504，可以用于：
将该n个增强图像的初始分割结果中，每个像素属于同一类别的概率的平均值确定为该像素属于该类别的综合概率，得到该原始图像中每个像素属于不同类别的综合概率；
对于该原始图像中每个像素，将综合概率最高的类别确定为该像素所属的类别；
按照该原始图像中每个像素所属的类别对各个像素进行标注，得到该原始图像的目标分割结果。
可选的，该分割模块503可以用于：
将每个该增强图像分别输入至分割网络，得到每个该增强图像的初始分割结果；其中，该分割网络采用机器学习算法训练得到神经网络。
综上所述，本申请实施例提供了一种图像语义分割装置，该装置在进行语义分割之前，可以采用n种增强处理算法对原始图像进行增强处理，得到n个增强图像，该n个增强图像的图像质量相比于原始图像可以在不同方面得到改善。因此后续再对每个增强图像分别进行语义分割，并对各个增强图像的初始分割结果进行融合得到目标分割结果的分割精度和准确度较高，分割效果较好。并且可以避免原始图像的图像质量对分割效果的影响，从而有效提高了该图像语义分割装置的可靠性和鲁棒性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图12示出了本申请一个示例性实施例提供的计算机设备1100的结构框图。该计算机设备1100可以是：服务器、智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1100还可能被称为用户终端、便携式计算机终端、膝上型终端、台式终端等其他名称。
通常，计算机设备1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的图像语义分割方法。
在一些实施例中，计算机设备1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置计算机设备1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在计算机设备1100的不同表面或呈折叠设计；在再一些实施例中，显示屏1105可以是柔性显示屏，设置在计算机设备1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
电源1109用于为计算机设备1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以计算机设备1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制触摸显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测计算机设备1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对计算机设备1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在计算机设备1100的侧边框和/或触摸显示屏1105的下层。当压力传感器1113设置在计算机设备1100的侧边框时，可以检测用户对计算机设备1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在触摸显示屏1105的下层时，由处理器1101根据用户对触摸显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制触摸显示屏1105的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1105的显示亮度；当环境光强度较低时，调低触摸显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1116，也称距离传感器，通常设置在计算机设备1100的前面板。接近传感器1116用于采集用户与计算机设备1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与计算机设备1100的正面之间的距离逐渐变小时，由处理器1101控制触摸显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与计算机设备1100的正面之间的距离逐渐变大时，由处理器1101控制触摸显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对计算机设备1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现上述方法实施例提供的图像语义分割方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种图像语义分割方法，其特征在于，应用于自动驾驶车辆，所述方法包括：
获取原始图像，所述原始图像为自动驾驶车辆通过图像传感器采集到的周围场景图像；
若所述原始图像不为亮度色度浓度YUV色彩空间的图像，将所述原始图像转换至所述YUV色彩空间，得到转换图像，所述YUV色彩空间包括Y通道、U通道和V通道，所述Y通道用于指示图像的亮度分量，所述U通道和所述V通道分别用于指示图像的色度分量和浓度分量；获取所述转换图像中的Y通道图像，以及其他通道图像；若所述原始图像为所述YUV色彩空间的图像，则直接获取所述原始图像中的Y通道图像，以及其他通道图像；
将所述Y通道图像分别输入至n种增强处理算法对应的增强网络，得到与所述Y通道图像对应的n个增强滤波器；采用所述n个增强滤波器分别对所述Y通道图像进行处理，得到n个增强后的Y通道图像；将每个增强后的Y通道图像与所述其他通道图像进行融合，得到n个融合图像；将所述n个融合图像转换至红绿蓝RGB色彩空间，得到与所述n种增强处理算法一一对应的n个增强图像，所述n为大于1的整数；
分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果，其中，每个所述增强图像的初始分割结果是所述原始图像包括的多个像素中每个像素属于不同类别的概率，所述不同类别的个数为M；
将获取到的多个初始分割结果中，每个像素属于同一类别的概率的平均值确定所述像素属于所述类别的综合概率，得到原始图像中每个像素属于不同类别的综合概率，所述多个初始分割结果包括n个增强图像的初始分割结果和所述原始图像的初始分割结果；
其中，每个像素属于同一类别的概率的平均值确定所述像素属于所述类别的综合概率，包括：
获取预先存储的n种增强处理算法的权重w1至wn，以及所述原始图像的权重为wn+1；根据获取到权重w1至wn以及所述原始图像的权重为wn+1，计算原始图像所包括的J个像素中第j个像素属于第m个类别的概率的加权平均值后，得到的所述第j个像素属于第m个类别的综合概率Pjm满足：
其中，wi为w1至wn+1中第i个权重，i为不大于n+1的正整数；为第i个初始分割结果中，所述第j个像素属于第m个类别的概率，j为不大于J的正整数，m为不大于M的正整数；
对于所述原始图像中的每个像素，将所述综合概率最高的类别确定为所述像素所属的类别，根据确定出的所述原始图像中各像素所属的类别对各像素进行标注，得到目标分割结果，所述目标分割结果包括对所述周围场景图像中道路、行人、障碍物、信号灯和交通标志的语义分割结果，其中，当所述目标分割结果中包括信号灯或交通标志时，自动驾驶车辆根据识别出的信号灯或交通标志控制车辆的车速；当所述目标分割结果中包括道路时，自动驾驶车辆根据识别出的道路控制车辆的行驶方向；当所述目标分割结果中包括行人和障碍物时，自动驾驶车辆根据识别出的障碍物，以及其他传感器检测到的自动驾驶车辆与障碍物的距离，以及障碍物的移动速度，控制自动驾驶车辆的车速和行驶方向。
2.根据权利要求1所述的方法，其特征在于，所述n种增强处理算法对应的n种增强网络包括如下多种增强网络中的n种：
用于生成加权最小二乘列滤波器的增强网络；
用于生成引导滤波器的增强网络；
用于生成双边滤波器的增强网络；
用于生成直方图均衡化滤波器的增强网络；
用于生成图像锐化滤波器的增强网络。
3.根据权利要求1至2任一所述的方法，其特征在于，所述分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果，包括：
将每个所述增强图像分别输入至分割网络，得到每个所述增强图像的初始分割结果。
4.一种图像语义分割装置，其特征在于，应用于自动驾驶车辆，所述装置包括：
第一获取模块，用于获取原始图像，所述原始图像为自动驾驶车辆通过图像传感器采集到的周围场景图像；
转换模块，用于若所述原始图像不为亮度色度浓度YUV色彩空间的图像，将所述原始图像转换至所述YUV色彩空间，得到转换图像，所述YUV色彩空间包括Y通道、U通道和V通道，所述Y通道用于指示图像的亮度分量，所述U通道和所述V通道分别用于指示图像的色度分量和浓度分量；
第二获取模块，用于获取所述转换图像中的Y通道图像，以及其他通道图像；若所述原始图像为所述YUV色彩空间的图像，则直接获取所述原始图像中的Y通道图像，以及其他通道图像；
处理模块，用于将所述Y通道图像分别输入至n种增强处理算法对应的增强网络，得到与所述Y通道图像对应的n个增强滤波器；采用所述n个增强滤波器分别对所述Y通道图像进行处理，得到n个增强后的Y通道图像；将每个增强后的Y通道图像与所述其他通道图像进行融合，得到n个融合图像；将所述n个融合图像转换至红绿蓝RGB色彩空间，得到与所述n种增强处理算法一一对应的n个增强图像，所述n为大于1的整数；
分割模块，用于分别对每个所述增强图像进行语义分割，得到每个所述增强图像的初始分割结果，其中，每个所述增强图像的初始分割结果是所述原始图像包括的多个像素中每个像素属于不同类别的概率，所述不同类别的个数为M；将获取到的多个初始分割结果中，每个像素属于同一类别的概率的平均值确定所述像素属于所述类别的综合概率，得到原始图像中每个像素属于不同类别的综合概率，所述多个初始分割结果包括n个增强图像的初始分割结果和所述原始图像的初始分割结果；
所述分割模块，用于获取预先存储的n种增强处理算法的权重w1至wn，以及所述原始图像的权重为wn+1；根据获取到权重w1至wn以及所述原始图像的权重为wn+1，计算原始图像所包括的J个像素中第j个像素属于第m个类别的概率的加权平均值后，得到的所述第j个像素属于第m个类别的综合概率Pjm满足：
其中，wi为w1至wn+1中第i个权重，i为不大于n+1的正整数；为第i个初始分割结果中，所述第j个像素属于第m个类别的概率，j为不大于J的正整数，m为不大于M的正整数；
融合模块，用于对于所述原始图像中的每个像素，将所述综合概率最高的类别确定为所述像素所属的类别，根据确定出的所述原始图像中各像素所属的类别对各像素进行标注，得到目标分割结果，所述目标分割结果包括对所述周围场景图像中道路、行人、障碍物、信号灯和交通标志的语义分割结果，其中，当所述目标分割结果中包括信号灯或交通标志时，自动驾驶车辆根据识别出的信号灯或交通标志控制车辆的车速；当所述目标分割结果中包括道路时，自动驾驶车辆根据识别出的道路控制车辆的行驶方向；当所述目标分割结果中包括行人和障碍物时，自动驾驶车辆根据识别出的障碍物，以及其他传感器检测到的自动驾驶车辆与障碍物的距离，以及障碍物的移动速度，控制自动驾驶车辆的车速和行驶方向。
5.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至3任一所述的图像语义分割方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至3任一所述的图像语义分割方法。
CN201811232265.9A 2018-10-22 2018-10-22 图像语义分割方法、装置及计算机设备 Active CN110163862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811232265.9A CN110163862B (zh) 2018-10-22 2018-10-22 图像语义分割方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811232265.9A CN110163862B (zh) 2018-10-22 2018-10-22 图像语义分割方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110163862A CN110163862A (zh) 2019-08-23
CN110163862B true CN110163862B (zh) 2023-08-25

Family

ID=67645105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811232265.9A Active CN110163862B (zh) 2018-10-22 2018-10-22 图像语义分割方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110163862B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223054B (zh) * 2019-11-19 2024-03-15 深圳开立生物医疗科技股份有限公司 超声图像评估方法和装置
CN116523775B (zh) * 2023-04-14 2023-11-07 海的电子科技(苏州)有限公司 高速图像信号的增强优化方法和设备、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216891A (zh) * 2008-01-10 2008-07-09 北京中星微电子有限公司 一种彩色图像分割方法
CN105427272A (zh) * 2014-09-17 2016-03-23 富士通株式会社 图像处理设备、图像处理方法以及电子装置
CN105741241A (zh) * 2016-01-27 2016-07-06 中南民族大学 基于合成增强图像的肿瘤区域图像增强方法及系统
US9483701B1 (en) * 2011-11-17 2016-11-01 Google Inc. System and method for using segmentation to identify object location in images
US9704257B1 (en) * 2016-03-25 2017-07-11 Mitsubishi Electric Research Laboratories, Inc. System and method for semantic segmentation using Gaussian random field network
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108229478A (zh) * 2017-06-30 2018-06-29 深圳市商汤科技有限公司 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN108389251A (zh) * 2018-03-21 2018-08-10 南京大学 基于融合多视角特征的投影全卷积网络三维模型分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2599056A2 (en) * 2010-07-30 2013-06-05 Koninklijke Philips Electronics N.V. Organ-specific enhancement filter for robust segmentation of medical images
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
US9530218B2 (en) * 2014-04-04 2016-12-27 Hrl Laboratories, Llc Method for classification and segmentation and forming 3D models from images
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216891A (zh) * 2008-01-10 2008-07-09 北京中星微电子有限公司 一种彩色图像分割方法
US9483701B1 (en) * 2011-11-17 2016-11-01 Google Inc. System and method for using segmentation to identify object location in images
CN105427272A (zh) * 2014-09-17 2016-03-23 富士通株式会社 图像处理设备、图像处理方法以及电子装置
CN105741241A (zh) * 2016-01-27 2016-07-06 中南民族大学 基于合成增强图像的肿瘤区域图像增强方法及系统
US9704257B1 (en) * 2016-03-25 2017-07-11 Mitsubishi Electric Research Laboratories, Inc. System and method for semantic segmentation using Gaussian random field network
CN107025457A (zh) * 2017-03-29 2017-08-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法
CN108229478A (zh) * 2017-06-30 2018-06-29 深圳市商汤科技有限公司 图像语义分割及训练方法和装置、电子设备、存储介质和程序
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108389251A (zh) * 2018-03-21 2018-08-10 南京大学 基于融合多视角特征的投影全卷积网络三维模型分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多标号图像分割及其应用;丁亚军等;计算机应用;第30卷(第01期);第29-35页 *

Also Published As

Publication number Publication date
CN110163862A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN109034102B (zh) 人脸活体检测方法、装置、设备及存储介质
CN110070056B (zh) 图像处理方法、装置、存储介质及设备
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN110400304B (zh) 基于深度学习的物体检测方法、装置、设备及存储介质
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN110991457B (zh) 二维码处理方法、装置、电子设备及存储介质
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
CN110163862B (zh) 图像语义分割方法、装置及计算机设备
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN110163192B (zh) 字符识别方法、装置及可读介质
WO2021218823A1 (zh) 指纹活体检测方法、设备及存储介质
CN115937738A (zh) 视频标注模型的训练方法、装置、设备及存储介质
CN113379705B (zh) 图像处理方法、装置、计算机设备及存储介质
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
CN110728275B (zh) 车牌识别方法、装置及存储介质
CN111563402B (zh) 车牌识别方法、装置、终端及存储介质
CN114462580A (zh) 文本识别模型的训练方法、文本识别方法、装置和设备
CN112560903A (zh) 图像美学信息的确定方法、装置、设备及存储介质
CN112990424A (zh) 神经网络模型训练的方法和装置
CN114615520B (zh) 字幕定位方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant