CN107533760A - 一种图像分割方法和装置 - Google Patents

一种图像分割方法和装置 Download PDF

Info

Publication number
CN107533760A
CN107533760A CN201580078960.2A CN201580078960A CN107533760A CN 107533760 A CN107533760 A CN 107533760A CN 201580078960 A CN201580078960 A CN 201580078960A CN 107533760 A CN107533760 A CN 107533760A
Authority
CN
China
Prior art keywords
image
super
segmentation
pixel
superpixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580078960.2A
Other languages
English (en)
Other versions
CN107533760B (zh
Inventor
赵瑞
欧阳万里
李鸿升
王晓刚
黎伟
刘健庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XFusion Digital Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107533760A publication Critical patent/CN107533760A/zh
Application granted granted Critical
Publication of CN107533760B publication Critical patent/CN107533760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Abstract

一种图像分割方法和装置，该方法可包括：将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。该方法和装置可以提高图像分割的分割效果。

Description

一种图像分割方法和装置 技术领域
本发明涉及图像处理领域，尤其涉及一种图像分割方法和装置。
背景技术
图像分割技术是目前图像处理领域中关键技术之一，且是图像识别和计算机视觉技术中至关重要的预处理，以及是进行图像识别、图像分析和图像理解的基础。其中，图像分割是把图像分割成若干个特定的且具有独特性质的区域，并提出感兴趣目标的过程。目前图像分割技术主要是通过人为设计一种特征作为图像分割的依据，再基于该依据进行图像分割。例如：基于阈值的分割方法、基于边缘的分割方法或者基于区域的分割方法等。由于上述图像分割技术都是需要人为设计一种特征，再基于该特征进行分割，而人为设计的特征往往具有某种局限性，从而导致分割效果可能会存在较差的问题。比如对某类图像的分割效果很好，但对另一类差异较大的图像则分割效果很差。另外，人为设计的特征也容易出错，从而导致图像的分割效果较差。可见，目前的图像分割的分割效果较差。
发明内容
本发明实施例提供了一种图像分割方法和装置，可以提高图像分割的分割效果。
第一方面，本发明实施例提供一种图像分割方法，包括：
将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；
以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
在第一方面的第一种可能的实现方式中，在所述将待分割图像按照预设的第一分割规则分割成若干个超像素之后，在所述以各个超像素为中心在所述超像素图像切割特定尺度的图像之前，所述方法还包括：
对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
所述以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块，包括：
以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
所述利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素的分割类标，包括：
利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标，包括：
针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
结合第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块，包括：
以所述各个超像素为中心在所述超像素图像切割上第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
以所述各个超像素为中心在所述超像素图像切割上第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
所述利用所述神经网络对所述各个超像素的图像块进行运算，以得到所述各个超像素的分类向量，包括：
针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
结合第一方面或者第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像，包括：
按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
结合第一方面的第五种可能的实现方式或者第一方面的第三种可能的实现方式，在第一方面的第六种可能的实现方式中，所述方法还包括：
将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割为背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
结合第一方面或者第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式或者第一方面的第五种可能的实现方式或者第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述神经网络包括：
深度神经网络或者非深度神经网络。
第二方面，本发明实施例提供一种图像分割装置，包括：第一分割单元、切割单元、分类单元和第二分割单元，其中：
所述第一分割单元，用于将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；
所述切割单元，用于以所述第一分割单元分割的各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
所述分类单元，用于利用神经网络对所述切割单元得到的各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
所述第二分割单元，用于按照预设的第二分割规则对所述第一分割单元所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
在第二方面的第一种可能的实现方式中，所述装置还包括：
扩充单元，用于对所述第一切割单元所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
所述切割单元，用于以所述第一分割单元分割的所述各个超像素为中心在所述扩充单元扩充的扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
结合第二方面或者第二方面的第一种可能的实现方式，在第二方面的第二 种可能的实现方式中，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
所述分类单元包括：
运算单元，用于利用所述神经网络对所述切割单元得到的所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
识别单元，用于识别所述运算单元得到的所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
分类子单元，用于针对所述各个超像素中的任一个超像素，将所述识别单元识别的所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述识别单元，包括：
计算单元，用于针对所述各个超像素中的任一个超像素，通过如下公式计算所述运算单元得到的所述任一个超像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
选择单元，用于从所述计算单元得到的所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
结合第二方面的第二种可能的实现方式或者第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述切割单元用以所述第一分割单元分割的所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块，以及以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素 对应的第二图像块；
所述运算单元用于针对所述各个超像素中的任一个超像素，利用神经网络分别对所述切割单元切割的所述任一超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
结合第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式或者第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述第二分割单元用于按照所述第二分割规则将所述第一分割单元所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述第一分割单元所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述装置还包括：
设置单元，用于将所述超像素图像中被所述第二分割单元分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被所述第二分割单元分割背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
结合第二方面或者第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式或者第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式或者第二方面的第五种可能的实现方式或者第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述神经网络包括：
深度神经网络或者非深度神经网络。
第三方面，本发明实施例提供一种图像分割装置，包括：处理器、网络接口、存储器和通信总线，其中，所述通信总线用于实现所述处理器、网络接口和存储器之间连接通信，所述处理器执行所述存储器中存储的程序用于实现以下方法：
将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素 图像；
以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
在第三方面的第一种可能的方式中，所述处理器在执行将待分割图像按照预设的第一分割规则分割成若干个超像素之后，所述以各个超像素为中心在所述超像素图像切割特定尺度的图像，以得到所述各个超像素的图像块之前，所述处理器执行的程序还包括：
对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
所述处理器执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，包括：
以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
结合第三方面或者第三方面的第一种可能的实现方式，在第三方面的第二种可能的方式中，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
所述处理器执行的利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素的分割类标的程序，包括：
利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
结合第三方面的第二种可能的实现方式，在第三方面的第三种可能的方式 中，所述处理器执行的识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标的程序，包括：
针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
结合第三方面的第二种可能的实现方式或者第三方面的第三种可能的实现方式，在第三方面的第四种可能的方式中，所述处理器执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，包括：
以所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
所述处理器执行的利用所述神经网络对所述各个超像素的图像块进行运算，以得到所述各个超像素的分类向量的程序，包括：
针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
结合第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式或者第三方面的第三种可能的实现方式或者第三方面的第四种可能的 实现方式，在第三方面的第五种可能的方式中，所述处理器执行的按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像的程序，包括：
按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
结合第三方面的第五种可能的实现方式，在第三方面的第六种可能的方式中，所述处理器执行的程序还包括：
将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
结合第三方面或者第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式或者第三方面的第三种可能的实现方式或者第三方面的第四种可能的实现方式或者第三方面的第五种可能的实现方式或者第三方面的第六种可能的实现方式，在第三方面的第七种可能的方式中，所述神经网络包括：
深度神经网络或者非深度神经网络。
上述技术方案中，将待分割图像按照预设的第一分割规则分割成若干个超像素；以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。这样相比现有技术中使用人为设计的特征，上述技术方案可以避免人为设计的特征带来的局限性，以及可以避免人为设计的特征容易出错的问题，从而可以提高图像分割的分割效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像分割方法的流程示意图；
图2是本发明实施例提供的另一种图像分割方法的流程示意图；
图3是本发明实施例提供的一种超像素分割示意图；
图4是本发明实施例提供的一种图像块切割示意图；
图5是本发明实施例提供的一种使用深度神经网络分类的示意图；
图6是本发明实施例提供的一种深度神经网络结构示意图；
图7是本发明实施例提供的一种深度神经网络的汇聚示意图；
图8是本发明实施例提供的一种分割类标的颜色示意图；
图9是本发明实施例提供的一种图像分割示意图；
图10是本发明实施例提供的一种实验数据示意图；
图11是本发明实施例提供的一种图像分割装置的结构示意图；
图12是本发明实施例提供的另一种图像分割装置的结构示意图；
图13是本发明实施例提供的另一种图像分割装置的结构示意图；
图14是本发明实施例提供的另一种图像分割装置的结构示意图；
图15是本发明实施例提供的另一种图像分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明实施例提供的一种图像分割方法的流程示意图，如图1所示，包括以下步骤：
101、将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像。
本实施例中，上述步骤可以是将上述待分割图像划分为若干个超像素，其 中，上述超像素(Superpixel)可以是指一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域，另外，这些小区域可以保留了进一步进行图像分割的有效信息，且可以不破坏图像中物理的边界信息。另外，上述第一预设分割规则可以是基于图论的分割方法的分割规则，或者可以是基于梯度下降的分割方法的分割规则。
102、以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
该步骤可以是以超像素中某一个像素点为中心在所述超像素图像上切割预设尺度的图像。另外，每个超像素对应的图像块可以是一个或者多个图像块。
103、利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标。
其中，上述分割类标可以理解为图像分割的区域标识，即在图像分割时相同分割类标的超像素被分割至相同的区域。另外，上述利用神经网络对各个超像素对应的图像块进行处理可以理解为利用神经网络模型对各个超像素的图像块进行处理，其中，该神经网络模型可以是预先获取的，例如：预先通过训练得到该神经网络模型。
104、按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
当各个超像素的分割类标确定后，就可以将预设的第二分割规则对所述所述超像素图像进行分割，例如：相同分割类标的超像素分割至相同的区域，从而可以将上述待分割图像分割成多个区域。
本实施例中，上述方法可以应用于任何具备图像处理功能的智能设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等具有图像处理功能的智能设备。
本实施例中，将待分割图像按照预设的第一分割规则分割成若干个超像素；以各个超像素为中心在所述超像素图像上切割预设尺度图像，以得到所述各个超像素对应的图像块；利用神经网络对所述各个超像素对应的图像块进行 处理，得到所述各个超像素对应的分割类标；按照预设的第二分割规则对所述所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指分割类标相同的超像素分割至相同的区域。这样相比现有技术中使用人为设计的特征，上述技术方案可以避免人为设计的特征带来的局限性，以及可以避免人为设计的特征容易出错的问题，从而可以提高图像分割的分割效果。
请参阅图2，图2是本发明实施例提供的另一种图像分割方法的流程示意图，如图2所示，包括以下步骤：
201、将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像。
本实施例中，步骤201可以使用基于图论的分割方法的分割规则将上述待分割图像分割成若干个超像素，或者步骤201可以使用基于梯度下降的分割方法的分割规则将上述待分割图像分割成若干个超像素。例如：步骤201可以使用基于梯度下降的分割方法中的SLIC算法将上述待分割图像分割成若干个超像素，该算法是基于颜色和距离的相似性进行超像素分割的，使用该算法进行分割可以生产大小均匀和形状规则的超像素。例如：如图3所示的超像素示意图，其中，图3所示的超像素示意图中，从左上角到右下角顺序中各超像素的像素分布依次为64、256和1024个像素。
202、对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像。
本实施例中，上述扩充可以以上述所述超像素图像为参考位置，对该超像素图像进行扩充，可以是在超像素图像的四周扩充某一固定颜色值的图像，例如：在超像素图像的四周扩充某一固定均值或者某一固定灰度值的图像。
本实施例中，步骤202还可以是以上述超像素图像为中心进行扩充，例如：如图4所示，401表示分割成超像素后的超像素图像，402是扩充后的扩充图像，该图像中，步骤202中扩充后的扩充图像是超像素图像的N倍大小，例如：N为3，其中，这里的N倍可以是指长和宽都是超像素图像的N倍。
203、以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像， 以得到所述各个超像素对应的图像块。
本实施例中，可以设置上述预设尺度为超像素图像的倍数，其中，这里的倍数可以不仅是整数倍数，可以是小数分倍数，例如：1.1倍、1.2倍或者1倍等。例如：如图4所示，步骤203切割的图像块可以是局部图像块403，局部图像块是指切割的图像块只包括超像素图像的局部图像。另外，步骤203切割的图像块可以是全局图像块404，全局图像块是指切割的图像块包括超像素图像的全部图像。当然，本实施例中，每个超像素可以切割多个对应的图像块，例如：切割局部图像块和全局图像块。
另外，需要说明的是，步骤202扩充的扩充图像可以满足以任何超像素为中心在所述扩充图像上切割的预设尺度图像都属于该扩充图像内，例如：步骤202扩充的扩充图像为超像素图像的3倍，这样以超像素图像的任何超像素为中心进行全局图像块切割时，切割的全局图像块都属于该扩充图像内，即切割的全局图像块都不会超过扩充图像的范围。
204、利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标。
本实施例中，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数，这样步骤204就可以是识别各个超像素在上述m个分割类标中所对应的分割类标。例如：步骤204可以包括：
利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
该实施方式中具体可以是将上述分类向量通过深度神经网络中的全连接层实现识别各个超像素的分类向量在所述m个分割类标中所对应的分割类标。
本实施例中，上述识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标的步骤，可以包括：
针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超 像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
其中，上述参数αi,j可以是通过大量训练样本学习得到。
通过上述方式就可以得到各个超像素的分割类标。
本实施例中，上述以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的步骤，可以包括：
以所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
上述利用所述神经网络对所述各个超像素的图像块进行运算，以得到所述各个超像素的分类向量的步骤，可以包括：
针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
其中，上述超像素的对应的第一图像块和第二图像块可以是上述介绍的局部图块和全局图像块，本实施方式中采用局部图块和全局图像块可以在神经网络进行处理时更好地体现出超像素在超像素图像中的局部特征和全局特征，从而提高图像分割效果。
另外，对于不同尺度的图像块，本实施例中可以使用相同或者不同的神经 网络进行处理，例如：对于局部图像块和全局图像块都可以使用同一个深度神经网络进行处理，得到的分类向量后，再进行合成。这样得到的超像素的分类向量更加丰富，从而可以提高图像分割效果。
另外，本实施例中，上述神经网络可以是非深度神经网络，其中，非深度神经网络可以理解为单层神经网络，例如：BP神经网络、Hebb神经网络或者DL神经网络。另外，上述神经网络可以是深度神经网络，其中，深度神经网络可以理解为多层神经网络。例如：Clarifai深度神经网络、AlexNet深度神经网络、NIN深度神经网络、OverFest深度神经网络或者GoogLeNet深度神经网络等，对此不作限定。
下面以Clarifai深度神经网络进行详细说明：
Clarifai深度神经网络包括5层卷积层和2层全连接层，当使用Clarifai深度神经网络对各个超像素的图像块进行深度学习时，步骤204如图5所示，其中，图5中只画出了具有参数的卷积层和全连接层，且图5中的参数都可以是通过大量训练样本学习得的。当对超像素的图像块包括局部图像块和全局图像块时，可以分别对局部图像块和全局图像块进行学习，再将学习得到分类向量进行合成，以输出结果。其中，这样里的输出结果可以是各个超像素的分割类标。
另外，以图5所示的例子中的参数对步骤204进行详细说明，具体请参考图6，如图6所示，在图6中，第1卷积层利用多个参数模板对图像块进行卷积，假设全局图像块和局部图像块的尺寸都线性变换到227×227，假设全局图像块和局部图像块都是3通道的彩色图像，那么第1层卷积层的输入是227×227×3的矩阵，第1卷积层用96个7×7×3的参数模板对输入的227×227×3的矩阵进行卷积运算，这96×7×7×3个参数均为未知，可以通过大量样本训练得到。另外，为了加快速度，卷积时在x和y方向的平移步长为2个像素，这样每一个卷积运算会得到一个111×111的矩阵，96个卷积运算的结果拼接在一起就会得到一个111×111×96的矩阵。
第1层修正线性单元函数可以将上述111×111×96的矩阵中小于0的值用0替换。另外，本实施例中，修正线性单元函数的表达式可以为relu(x)＝max(x,0)。
第1层汇聚层的可以是指将矩阵中的某一区域的值按照某一规则(比如取最大值)，映射为一个值。例如，如图7所示，图7给出了将一个4×4的矩阵中每一个2×2的矩阵按最大值的规则映射为一个值，最终得到一个2×2的矩阵的示意图.另外，竖长条的高度表示该位置元素值的大小，没有画竖长条的表示该位置元素值为0。这样图6中第1层汇聚层按照图7给出的规则，可以将前面得到的111×111×96的矩阵汇聚成55×55×96的矩阵(忽略矩阵的边缘数据)。这样将55×55×96的矩阵作为第2层卷积层的输入，第2层卷积层用256个3×3×96的参数模板对输入的55×55×96的矩阵进行卷积运算，这256×3×3×96个参数均为未知，可以通过大量样本训练得到。另外，为了加快速度，第2层卷积层卷积时在x和y方向的平移步长为2个像素，这样每一个卷积运算会得到一个27×27的矩阵，256个卷积运算的结果拼接在一起就会得到一个27×27×256的矩阵。
需要说明的是，后面的第3、4、5层和前面的过程类似，只是第3层和第4层不做汇聚，第5层汇聚后得到一个6×6×256的矩阵。此处不作重复说明。
图6中全连接层可以是指将上一层的所有节点和这一层的所有节点两两连接，每一个连接对应一个未知参数，该未知参数可以通过大量样本训练得到。比如，第6层全连接表示将第5层的6×6×256个节点和第6层的4096个节点进行两两连接，用公式表示为：
其中xi表示上一层的节点，yj表示这一层的节点，αi,j表示未知参数，n为第5层的节点的数量，m为第6层节点的数量。
这样图5中的全局图像块和局部图像分别块经过神经网络运算到第7层分别得到一个4096维的向量，将这两个4096维向量按上述公式和最终输出结果进行全连接。比如2类分类问题，即上述m为2，则最终输出结果层包含2个节点，其中，这里的最终输出结果层可以理解为上述介绍的分割类标，即最终输出结果包含2个分割类标。这样最终那个节点的值最大，则输入的超像素被分类到该节点。
需要说明的是，上述未知参数都可以通过大量训练样本学习得到。
本实施例中，上述方法还可以包括如下步骤：
深度学习获取上述深度神经网络模型。
例如：预设包括大量未知参数的模型，并给每一个未知参数赋一个初始值，每一个初始值都是由计算机随机生成；然后通过大量训练样本进行训练，训练样本是人工分割好的样本，也就是每一个图像块对应的分割类标是已知的，训练的过程就是不断调整那些未知参数的值，使得所有的图像块经过这个深度神经网络后尽量能够分类正确，最后，当分类错误最小的时候，就可以把这些未知参数的值确定下来，训练也就完成了，从而生成上述深度神经网络。
当然，在本实施例中，上述深度神经网络也可以是已经训练好的深度神经网络，如接收其他设备发送的深度神经网络。
205、按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
本实施例中，上述关注分割类标可以是一个或者多个，例如：当上述关注分割类标为一个时，步骤205就可以将分割类标属于该关注分割类标的超像素分割为前景区域，而将超像素图像的其余所有超像素分割为背景区域。例如：当上述关注分割类标为多个时，将这属于这多个分割类标的超像素分割为前景区域，而将超像素图像的其余所有超像素分割为背景区域。这里需要说明的是，由于是多个关注分割类标，那么，这里的前景区域是包含多个区域的，每个区域由相同的分割类标的超像素组成。
本实施例中，上述方法还可以包括如下步骤：
将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割为背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
该实施方式中，当上述关注分割类标为多个时，不同的关注分割类标可以对应的前景颜色可以不相同，而所有关注分割类标对应的背景颜色都是相同的。
其中，各分割标识对应的前景颜色可以如图8所示，不同的分割类标对应 不同的颜色。例如：如图9所示的待分割图像，该待分割图像主要包括天空背景、建筑物和植物，针对该待分割图像使用本方法的步骤对其进行分割，就可以将天空背景、建筑物和植物分割为不同的区域，如果将建筑物的超像素的分割类标为作关注分割类标时，那么，就可以将建筑物的区域分割为前景，将天空背景和植物分割为背景，且建筑物的超像素的分割类标对应的颜色为白色时，那么就可以生成如9所示的分割图像。
本实施例，在图1所示的实施例的基础上增加了多种可选的实施方式，且都可以实现提高图像分割效果。
请参阅图10、图10是本发明实施例提供的一种实验数据示意图，如图10所示，最左列为原始图像，第二列为手工标注的真实值(Ground Truth，GT)，第三列为本发明实施例提供的图像分割技术的分割结果，后面三列分别为DRFI、GBMR、HS图像分割技术的分割结果。从图中可以看出本发明实施例提供的图像分割技术的分割结果更接近人工标注的真实值。
另外，本发明实施例还提供本发明实施例提供的图像分割技术在ASD、SED1、SED2、ECSSD、PASCAL-S这些图像分割公开库上和IS、GBVS、SF、GC、CEOS、PCAS、GBMR、HS、DRFI这些目前最具代理性的图像分割技术做了实验对比。表1给出了本发明实施例提供的图像分割技术和其他图像分割技术这5个公开库上的F-测量得分Fβ，其中Fβ得分越高表示分割效果越好，Fβ如下公式所示：
其中，Precision是精度，指分类正确的像素个数÷总的像素个数，Recall是召回率，指正确分类为前景的像素个数÷总的前景的像素个数，β2＝0.3。
表1：
  ASD SED1 SED2 ECSSD PASCAL-S
IS 0.5943 0.5540 0.5682 0.4731 0.4901
GBVS 0.6499 0.7125 0.5862 0.5528 0.5929
SF 0.8879 0.7533 0.7961 0.5448 0.5740
GC 0.8811 0.8066 0.7728 0.5821 0.6184
CEOS 0.9020 0.7935 0.6198 0.6465 0.6557
PCAS 0.8613 0.7586 0.7791 0.5800 0.6332
GBMR 0.9100 0.9062 0.7974 0.6570 0.7055
HS 0.9307 0.8744 0.8150 0.6391 0.6819
DRFI 0.9448 0.9018 0.8725 0.6909 0.7447
本发明 0.9548 0.9295 0.8903 0.7322 0.7930
通过上述实验数据，可以很清楚地得到本发明实施例提供的图像分割技术的分割效果优于目前最具代表性的图像分割技术。
下面为本发明装置实施例，本发明装置实施例用于执行本发明方法实施例一至二实现的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例一和实施例二。
请参阅图11，图11是本发明实施例提供的一种图像分割装置的结构示意图，如图11所示，包括：第一分割单元111、切割单元112、分类单元113和第二分割单元114，其中：
第一分割单元111，用于将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像。
本实施例中，第一分割单元111可以是将上述待分割图像划分为若干个超像素，其中，上述超像素(Superpixel)可以是指一系列位置相邻且颜色、亮度和纹理等特征相似的像素点组成的小区域，另外，这些小区域可以保留了进一步进行图像分割的有效信息，且可以不破坏图像中物理的边界信息。另外， 上述第一预设分割规则可以是基于图论的分割方法的分割规则，或者可以是基于梯度下降的分割方法的分割规则。
切割单元112，用于以第一分割单元111分割的各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
切割单元112可以是以超像素中某一个像素点为中心在所述超像素图像上切割预设尺度的图像。另外，每个超像素对应的图像块可以是一个或者多个图像块。
分类单元113，用于利用神经网络对切割单元112得到的各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标。
其中，上述分割类标可以理解为图像分割的区域标识，即在图像分割时相同分割类标的超像素被分割至相同的区域。另外，上述利用神经网络对各个超像素对应的图像块进行处理可以理解为利用神经网络模型对各个超像素的图像块进行处理，其中，该神经网络模型可以是预先获取的，例如：预先通过训练得到该神经网络模型。
第二分割单元114，用于按照预设的第二分割规则对第一分割单元111分割的所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
当各个超像素的分割类标确定后，就可以将预设的第二分割规则对所述超像素图像进行分割，例如：相同分割类标的超像素分割至相同的区域，从而可以将上述待分割图像分割成多个区域。
本实施例中，上述装置可以应用于任何具备图像处理功能的智能设备，例如：平板电脑、手机、电子阅读器、遥控器、PC、笔记本电脑、车载设备、网络电视、可穿戴设备等具有图像处理功能的智能设备。
本实施例中，将待分割图像按照预设的第一分割规则分割成若干个超像素；以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。这样相比现有技术 中使用人为设计的特征，上述技术方案可以避免人为设计的特征带来的局限性，以及可以避免人为设计的特征容易出错的问题，从而可以提高图像分割的分割效果。
请参阅图12，图12是本发明实施例提供的另一种图像分割装置的结构示意图，如图12所示，包括：第一分割单元121、扩充单元122、切割单元123、分类单元124和第二分割单元125，其中：
第一分割单元121，用于将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像。
本实施例中，第一分割单元121可以使用基于图论的分割方法的分割规则将上述待分割图像分割成若干个超像素，或者第一分割单元121可以使用基于梯度下降的分割方法的分割规则将上述待分割图像分割成若干个超像素。例如：第一分割单元121可以使用基于梯度下降的分割方法中的SLIC算法将上述待分割图像分割成若干个超像素，该算法是基于颜色和距离的相似性进行超像素分割的，使用该算法进行分割可以生产大小均匀和形状规则的超像素。例如：如图3所示的超像素示意图，其中，图3所示的超像素示意图中，从左上角到右下角顺序中各超像素的像素分布依次为64、256和1024个像素。
扩充单元122，用于对第一分割单元112分割的所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像。
本实施例中，上述扩充可以以上述所述超像素图像为参考位置，对该超像素图像进行扩充，可以是在超像素图像的四周扩充某一固定颜色值的图像，例如：在超像素图像的四周扩充某一固定均值或者某一固定灰度值的图像。
本实施例中，扩充单元122还可以是以上述超像素图像为中心进行扩充，例如：如图4所示，401表示分割成超像素后的超像素图像，402是扩充后的扩充图像，该图像中，扩充单元122中扩充后的扩充图像是超像素图像的N倍大小，例如：N为3，其中，这里的N倍可以是指长和宽都是超像素图像的N倍。
切割单元123，用于以第一分割单元121分割的各个超像素为中心在所述扩充单元121扩充的扩充图像上切割预设尺度的图像，以得到所述各个超像素 对应的图像块。
本实施例中，可以设置上述预设尺度为超像素图像的倍数，其中，这里的倍数可以不仅是整数倍数，可以是小数分倍数，例如：1.1倍、1.2倍或者1倍等。例如：如图4所示，切割单元123切割的图像块可以是局部图像块403，局部图像块是指切割的图像块只包括超像素图像的局部图像。另外，切割单元123切割的图像块可以是全局图像块404，全局图像块是指切割的图像块包括超像素图像的全部图像。当然，本实施例中，每个超像素可以分割多个图像块，例如：切割局部图像块和全局图像块。
另外，需要说明的是，扩充单元122扩充的扩充图像可以满足以任何超像素为中心在所述扩充图像上切割的预设尺度图像都属于该扩充图像内，例如：扩充单元122扩充的扩充图像为超像素图像的3倍，这样以超像素图像的任何超像素为中心进行全局图像块切割时，切割的全局图像块都属于该扩充图像内，即切割的全局图像块都不会超过扩充图像的范围。
分类单元124，用于利用神经网络对切割单元123得到的各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标。
本实施例中，可以预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数，这样分类单元124就可以是识别各个超像素在上述m个分割类标中所属的分割类标。例如：分类单元124可以包括：
运算单元1241，用于利用所述神经网络对分割单元123得到的各个超像素的图像块进行运算，以得到所述各个超像素的分类向量；
识别单元1242，用于识别运算单元1241得到的各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
分类子单元1243，用于针对所述各个超像素中的任一个超像素，将识别单元1242识别的所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
该实施方式中具体可以是将上述分类向量通过深度神经网络中的全连接层实现识别各个超像素的分类向量在所述m个分割类标中所属的分割类标。
本实施例中，如图13所示，识别单元1242可以包括：
计算单元12421，用于针对所述各个超像素中的任一个超像素，通过如下 公式计算运算单元1241得到的任一个超像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
选择单元12422，用于从所述计算单元12421得到的所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
其中，上述参数αi,j可以是通过大量训练样本学习得到。
通过上述方式就可以得到各个超像素的分割类标。
本实施例中，分割单元122可以用于以第一分割单元121分割的各个超像素为中心在超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块，以及以第一分割单元121分割的各个超像素为中心在超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
运算单元1241可以用于针对所述各个超像素中的任一个超像素，利用神经网络分别对分割单元123分割的所述任一超像素的对应的第一图像块和第二图像块进行运算，得到所述任一超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一超像素的分类向量。
其中，上述超像素的对应的第一图像块和第二图像块可以是上述介绍的局部图块和全局图像块，本实施方式中采用局部图块和全局图像块可以在神经网络进行处理时更好地体现出超像素在超像素图像中的局部特征和全局特征，从而提高图像分割效果。
另外，对于不同尺度的图像块，本实施例中可以使用相同或者不同的神经网络进行处理，例如：对于局部图像块和全局图像块都可以使用同一个深度神经网络进行处理，得到的分类向量后，再进行合成。这样得到的超像素的分类 向量更加丰富，从而可以提高图像分割效果。
另外，本实施例中，上述神经网络可以是非深度神经网络，其中，非深度神经网络可以理解为单层神经网络，例如：BP神经网络、Hebb神经网络或者DL神经网络。另外，上述神经网络可以是深度神经网络，其中，深度神经网络可以理解为多层神经网络。例如：Clarifai深度神经网络、AlexNet深度神经网络、NIN深度神经网络、OverFest深度神经网络或者GoogLeNet深度神经网络等，对此不作限定。
第二分割单元125，用于按照所述第二分割规则将第一分割单元121分割后的超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将第一分割单元121分割后的超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
本实施例中，上述关注分割类标可以是一个或者多个，例如：当上述关注分割类标为一个时，第二分割单元125就可以将分割类标属于该关注分割类标的超像素分割为前景区域，而将超像素图像的其余所有超像素分割为背景区域。例如：当上述关注分割类标为多个时，将这属于这多个分割类标的超像素分割为前景区域，而将待分割图像的其余所有超像素分割为背景区域。这里需要说明的是，由于是多个关注分割类标，那么，这里的前景是包含多个区域的，每个区域由相同的分割类标的超像素组成。
本实施例中，如图14所示，上述装置还可以包括：
设置单元126，用于将所述超像素图像中被第二分割单元125分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被第二分割单元125分割背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
该实施方式中，当上述关注分割类标为多个时，不同的关注分割类标可以对应的前景颜色可以不相同，而所有关注分割类标对应的背景颜色都是相同的。
本实施例，在图11所示的实施例的基础上增加了多种可选的实施方式，且都可以实现提高图像分割效果。
请参阅图15，图15是本发明实施例提供的另一种图像分割装置的结构示意图，如图15所示，包括：处理器151、网络接口152、存储器153和通信总线154，其中，所述通信总线154用于实现所述处理器151、网络接口152和存储器153之间连接通信，所述处理器151执行所述存储器153中存储的程序用于实现以下方法：
将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素；
以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
本实施例中，处理器151在执行将待分割图像按照预设的第一分割规则分割成若干个超像素之后，所述以各个超像素为中心在超像素上切割特定尺度的图像，以得到所述各个超像素的图像块之前，所述处理器执行的程序还可以包括：
对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
处理器151执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，可以包括：
以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
本实施例中，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
处理器151执行的利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素的分割类标的程序，可以包括：
利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
本实施例中，处理器151执行的识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标的程序，可以包括：
针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超像素的分类向量与所述m个分割类标的连接值：
其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
本实施例中，处理器151执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，可以包括：
以所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
处理器151执行的利用所述神经网络对所述各个超像素的图像块进行运算，以得到所述各个超像素的分类向量的程序，可以包括：
针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
本实施例中，处理器151执行的按照预设的第二分割规则对超像素图像进行分割，得到包括至少两个区域的分割图像的程序，可以包括：
按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
本实施例中，处理器151执行的程序还可以包括：
将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割为背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
本实施例中，所述神经网络可以包括：
深度神经网络或者非深度神经网络。
本实施例中，将待分割图像按照预设的第一分割规则分割成若干个超像素；以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。这样相比现有技术中使用人为设计的特征，上述技术方案可以避免人为设计的特征带来的局限性，以及可以避免人为设计的特征容易出错的问题，从而可以提高图像分割的分割效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (24)

  1. 一种图像分割方法，其特征在于，包括：
    将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；
    以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
    利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
    按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
  2. 如权利要求1所述的方法，其特征在于，在所述将待分割图像按照预设的第一分割规则分割成若干个超像素之后，在所述以各个超像素为中心在所述超像素图像上切割特定尺度的图像之前，所述方法还包括：
    对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
    所述以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块，包括：
    以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
  3. 如权利要求1或2所述的方法，其特征在于，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
    所述利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素的分割类标，包括：
    利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
    识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
    针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
  4. 如权利要求3所述的方法，其特征在于，所述识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标，包括：
    针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超像素的分类向量与所述m个分割类标的连接值：
    其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
    从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
  5. 如权利要求3或4所述的方法，其特征在于，所述以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块，包括：
    以所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
    以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
    所述利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量，包括：
    针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合 成得到所述任一个超像素的分类向量。
  6. 如权利要求1-5中任一项所述的方法，其特征在于，所述按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像，包括：
    按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
  7. 如权利要求6所述的方法，其特征在于，所述方法还包括：
    将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割为背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
  8. 如权利要求1-7中任一项所述的方法，其特征在于，所述神经网络包括：
    深度神经网络或者非深度神经网络。
  9. 一种图像分割装置，其特征在于，包括：第一分割单元、切割单元、分类单元和第二分割单元，其中：
    所述第一分割单元，用于将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；
    所述切割单元，用于以所述第一分割单元分割的各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
    所述分类单元，用于利用神经网络对所述切割单元得到的各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
    所述第二分割单元，用于按照预设的第二分割规则对所述第一分割单元分割的所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
  10. 如权利要求9所述的装置，其特征在于，所述装置还包括：
    扩充单元，用于对所述第一切割单元所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
    所述切割单元，用于以所述第一分割单元分割的各个超像素为中心在所述扩充单元扩充的扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
  11. 如权利要求9或10所述的装置，其特征在于，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
    所述分类单元包括：
    运算单元，用于利用所述神经网络对所述切割单元得到的所述各个超像素对应的图像块进行运算，以得到所述各个超像素的分类向量；
    识别单元，用于识别所述运算单元得到的各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
    分类子单元，用于针对所述各个超像素中的任一个超像素，将所述识别单元识别的所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
  12. 如权利要求11所述的装置，其特征在于，所述识别单元，包括：
    计算单元，用于针对所述各个超像素中的任一个超像素，通过如下公式计算所述运算单元得到的任一个超像素的分类向量与所述m个分割类标的连接值：
    其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
    选择单元，用于从所述计算单元得到的所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
  13. 如权利要求11或12所述的装置，其特征在于，所述切割单元用以所述第一分割单元分割的各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块，以及以所述第一分割单元分割的各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
    所述运算单元用于针对所述各个超像素中的任一个超像素，利用神经网络分别对所述切割单元切割的所述任一超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
  14. 如权利要求9-13中任一项所述的装置，其特征在于，所述第二分割单元用于按照所述第二分割规则将所述第一分割单元分割后的超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述第一分割单元分割后的超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
  15. 如权利要求14所述的装置，其特征在于，所述装置还包括：
    设置单元，用于将所述超像素图像中被所述第二分割单元分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被所述第二分割单元分割为背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
  16. 如权利要求9-15中任一项所述的装置，其特征在于，所述神经网络包括：
    深度神经网络或者非深度神经网络。
  17. 一种图像分割装置，其特征在于，包括：处理器、网络接口、存储器和通信总线，其中，所述通信总线用于实现所述处理器、网络接口和存储器之间连接通信，所述处理器执行所述存储器中存储的程序用于实现以下方法：
    将待分割图像按照预设的第一分割规则分割成若干个超像素，得到超像素图像；
    以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块；
    利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素对应的分割类标；
    按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像；其中，所述第二分割规则是指将分割类标相同的超像素分割至相同的区域。
  18. 如权利要求17所述的装置，其特征在于，所述处理器在执行将待分割图像按照预设的第一分割规则分割成若干个超像素之后，所述以各个超像素为中心在所述超像素图像上切割特定尺度的图像，以得到所述各个超像素的图像块之前，所述处理器执行的程序还包括：
    对所述超像素图像进行扩充，以生成包括所述超像素图像的扩充图像；
    所述处理器执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，包括：
    以所述各个超像素为中心在所述扩充图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块。
  19. 如权利要求17或18所述的装置，其特征在于，预先设定需要得到m个分割类标，所述m为大于或者等于2的自然数；
    所述处理器执行的利用神经网络对所述各个超像素对应的图像块进行处理，得到所述各个超像素的分割类标的程序，包括：
    利用所述神经网络对所述各个超像素对应的图像块进行运算，以得到所述 各个超像素的分类向量；
    识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标；
    针对所述各个超像素中的任一个超像素，将所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标作为所述任一个超像素的分割类标。
  20. 如权利要求19所述的装置，其特征在于，所述处理器执行的识别所述各个超像素的分类向量在所述m个分割类标中所对应的分割类标的程序，包括：
    针对所述各个超像素中的任一个超像素，通过如下公式计算所述任一个超像素的分类向量与所述m个分割类标的连接值：
    其中，所述yj为超像素的分类向量与第j个分割类标的连接值，所述xi表示所述目标超像素的分类向量中第i维向量，所述n为所述目标超像素的分类向量中向量的维数，且所述n为大于1整数，所述αi,j为预先设定的用于识别分割类标的参数；
    从所述任一个超像素的m个连接值中选择最大的连接值，将所述最大的连接值对应的分割类标作为所述任一个超像素的分类向量在所述m个分割类标中所对应的分割类标。
  21. 如权利要求19或20所述的装置，其特征在于，所述处理器执行的以各个超像素为中心在所述超像素图像上切割预设尺度的图像，以得到所述各个超像素对应的图像块的程序，包括：
    以所述各个超像素为中心在所述超像素图像上切割第一预设尺度的图像，以得到所述各个超像素对应的第一图像块；
    以所述各个超像素为中心在所述超像素图像上切割第二预设尺度的图像，以得到所述各个超像素对应的第二图像块；
    所述处理器执行的利用所述神经网络对所述各个超像素的图像块进行运 算，以得到所述各个超像素的分类向量的程序，包括：
    针对所述各个超像素中的任一个超像素，利用神经网络分别对所述任一个超像素的对应的第一图像块和第二图像块进行运算，得到所述任一个超像素的第一分类向量和第二分类向量，并将所述第一分类向量和第二分类向量进行合成得到所述任一个超像素的分类向量。
  22. 如权利要求17-21中任一项所述的装置，其特征在于，所述处理器执行的按照预设的第二分割规则对所述超像素图像进行分割，得到包括至少两个区域的分割图像的程序，包括：
    按照所述第二分割规则将所述超像素图像中分割类标属于预先设定的用户需要关注的分割类标的超像素分割为前景区域，将所述超像素图像中分割类标不属于所述预先设定的用户需要关注的分割类标的超像素分割为背景区域。
  23. 如权利要求22所述的装置，其特征在于，所述处理器执行的程序还包括：
    将所述超像素图像中被分割为前景区域的超像素的颜色设置为预先设置与所述关注分割类标对应的前景颜色，将所述超像素图像中被分割背景区域的超像素的颜色设置为与所述关注分割类标对应的背景颜色。
  24. 如权利要求17-23中任一项所述的装置，其特征在于，所述神经网络包括：
    深度神经网络或者非深度神经网络。
CN201580078960.2A 2015-04-29 2015-04-29 一种图像分割方法和装置 Active CN107533760B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/077859 WO2016172889A1 (zh) 2015-04-29 2015-04-29 一种图像分割方法和装置

Publications (2)

Publication Number Publication Date
CN107533760A true CN107533760A (zh) 2018-01-02
CN107533760B CN107533760B (zh) 2021-03-23

Family

ID=57197932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078960.2A Active CN107533760B (zh) 2015-04-29 2015-04-29 一种图像分割方法和装置

Country Status (2)

Country Link
CN (1) CN107533760B (zh)
WO (1) WO2016172889A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889857A (zh) * 2019-11-15 2020-03-17 北京邮电大学 一种移动Web实时视频帧分割方法及系统
CN112217958A (zh) * 2020-09-15 2021-01-12 陕西科技大学 与设备颜色空间无关的数字水印载体图像预处理的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780582B (zh) * 2016-12-16 2019-08-13 西安电子科技大学 基于纹理特征和颜色特征融合的图像显著性检测方法
CN111860465A (zh) * 2020-08-10 2020-10-30 华侨大学 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN117058393A (zh) * 2023-08-30 2023-11-14 南通大学 用于眼底硬性渗出图像分割的超像素三支证据dpc方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
CN103353986A (zh) * 2013-05-30 2013-10-16 山东大学 一种基于超像素模糊聚类的脑部mr图像分割方法
CN103679719A (zh) * 2013-12-06 2014-03-26 河海大学 一种图像分割方法
CN103984958A (zh) * 2014-05-07 2014-08-13 深圳大学 宫颈癌细胞分割方法及系统
CN104537676A (zh) * 2015-01-12 2015-04-22 南京大学 一种基于在线学习的渐进式图像分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169867B (zh) * 2007-12-04 2011-02-16 北京中星微电子有限公司 图像分割方法、图像处理设备及系统
US8472718B2 (en) * 2011-04-27 2013-06-25 Sony Corporation Superpixel segmentation methods and systems
CN103164858B (zh) * 2013-03-20 2015-09-09 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法
CN104050677A (zh) * 2014-06-30 2014-09-17 南京理工大学 一种基于多层神经网络的超光谱图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
CN103353986A (zh) * 2013-05-30 2013-10-16 山东大学 一种基于超像素模糊聚类的脑部mr图像分割方法
CN103679719A (zh) * 2013-12-06 2014-03-26 河海大学 一种图像分割方法
CN103984958A (zh) * 2014-05-07 2014-08-13 深圳大学 宫颈癌细胞分割方法及系统
CN104537676A (zh) * 2015-01-12 2015-04-22 南京大学 一种基于在线学习的渐进式图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
饶倩 等: "基于超像素的人工神经网络图像分类", 《计算机与现代化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889857A (zh) * 2019-11-15 2020-03-17 北京邮电大学 一种移动Web实时视频帧分割方法及系统
CN112217958A (zh) * 2020-09-15 2021-01-12 陕西科技大学 与设备颜色空间无关的数字水印载体图像预处理的方法

Also Published As

Publication number Publication date
CN107533760B (zh) 2021-03-23
WO2016172889A1 (zh) 2016-11-03

Similar Documents

Publication Publication Date Title
CN109685067B (zh) 一种基于区域和深度残差网络的图像语义分割方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109377445B (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN107533760B (zh) 一种图像分割方法和装置
JP2022534337A (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
CN104820990A (zh) 一种交互式图像抠图系统
JP2014010621A (ja) 最適画像サイズによる画像領域分割装置、方法、およびプログラム
US11615515B2 (en) Superpixel merging
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN110889863A (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN109993753B (zh) 遥感影像中城市功能区的分割方法及装置
CN111401380A (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
JP6389742B2 (ja) 画像セグメンテーション方法、装置、及びプログラム
CN114445651A (zh) 一种语义分割模型的训练集构建方法、装置及电子设备
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN111149101A (zh) 一种目标图案查找方法及计算机可读存储介质
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
CN116933141B (zh) 一种基于多核图学习的多光谱激光雷达点云分类方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN111291611A (zh) 一种基于贝叶斯查询扩展的行人重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211224

Address after: 450046 Floor 9, building 1, Zhengshang Boya Plaza, Longzihu wisdom Island, Zhengdong New Area, Zhengzhou City, Henan Province

Patentee after: Super fusion Digital Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right