CN111192279A - 基于边缘检测的物体分割方法、电子终端及存储介质 - Google Patents

Abstract

本申请提供一种基于边缘检测的物体分割方法、电子终端及存储介质，所述方法包括：包括：获取输入图片；通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息；根据所述像素级别信息对所述输入图片的像素点进行类别级的分类；基于中心点对同一类别的边缘像素点进行个体级别的分类；基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割。本发明提出了一个适合物体边缘信息预测的卷积神经网络模型，可以获得更加精细的物体分割。

Description

基于边缘检测的物体分割方法、电子终端及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及图像检测技术领域，具体为一种基于边缘检测的物体分割方法、电子终端及存储介质。

背景技术

物体分割方法主要是对一张图片中的所有物体进行像素级别的识别，即每个像素需要知道这些像素是属于哪一个个体。现有的物体分割方法可以分为两个类：基于物体识别的方法和基于分割的方法。

基于物体识别的方法是先通过物体检测的方法检测出一张图片中的所有物体的不同实体，然后根据物体检测方法得到的每个实例的边界框，然后根据边界框到原图或者原图经过神经网络之后的特征图进行框选，再对框选的区域进行进一步处理，得到物体的像素级分割。

基于语义分割的方法是先对整张图片进行像素级别的语义分割，然后再将语义分割区分出不同的物体个体。

现有的基于分割的方法存在的一个问题是预测得到的物体分割的边缘不够准确，由于基于分割的方法在在预测得到像素级别信息时处理的是整张图片，相比基于物体检测的方法来说，神经网络需要处理的背景噪音较多，同时分辨率也相对较低，所以在大部分基于分割的网络都比较难得到比较精细的边缘。而基于物体检测的方法虽然可以获得较好的准确性，但是由于整个流程相对来说更加分裂，在训练的时候会有需要考虑不同的阶段，整个过程较为繁琐。同时基于物体检测的分割方法在物体较多时整个模型速度会有较为明显变慢现象。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供基于边缘检测的物体分割方法、电子终端及存储介质，用于解决现有技术中物体分割方法对物体分割的边缘不够准确的技术问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于边缘检测的物体分割方法，包括：获取输入图片；通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息；根据所述像素级别信息对所述输入图片的像素点进行类别级的分类；基于中心点对同一类别的边缘像素点进行个体级别的分类；基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割。

于本申请的第一方面的一些实施例中，所述卷积神经网络模型包括一个基础层、多个残差网络模块、多个特征金字塔模块和输出层；所述基础层包括卷积层，批归一化层，激活层和一池化层；每个残差网络模块包含着多个连续的残差网络结构；所述输出层包括通过级联网络连接的多个输出模块。

于本申请的第一方面的一些实施例中，各所述特征金字塔模块对应对各残差网络模块进行采样，直到上采样到和第一个残差模块的输入的特征图大小一致。

于本申请的第一方面的一些实施例中，选取一个或多个所述残差网络结构，并将选取的所述残差网络结构连接一非局部操作层；选取级联网络并将选取的级联网络连接一非局部操作层。

于本申请的第一方面的一些实施例中，所述像素级别信息包括：像素点是否为物体边缘，像素点的类别，像素点所属的物体的中心的位置，像素点到下一个像素点的方向。

于本申请的第一方面的一些实施例中，所述进行类别级的分类包括：通过设置置信度阈值和类别信息来将边缘像素点划分称不同的类别。

于本申请的第一方面的一些实施例中，所述基于中心点对同一类别的边缘像素点进行个体级别的分类的一种实现方式包括：预测物体中心到当前所有物体个体的估计中心的距离，找出距离最小的一个物体个体，记为距离最小物体个体；若边缘像素点的预测物体中心距离所述距离最小物体个体的估计中心距离小于所述物体个体半径的一定比例，则判定这个边缘像素点属于这个物体，否则将这个边缘像素点构建一个新的物体个体。

于本申请的第一方面的一些实施例中，所述基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割的一种实现方式包括：计算一个物体个体的各边缘像素点与其预测的中心点的连线和图片的x轴之间的夹角；然后将所有边缘像素点按照计算到的夹角大小进行排序，获取边缘像素点的排序；根据邻接判定距离和像素点到下一个像素点的方向判断是否将相邻的像素点进行连接；将多个连续的边缘像素点连接，则形成封闭的边缘，获得物体分割。

为实现上述目的及其他相关目的，本申请的第二方面提供一种电子终端，包括：至少一存储器，用于存储计算机程序；至少一处理器，耦接于所述存储器，用于运行所述计算机程序以实现如上所述的基于边缘检测的物体分割方法。

实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于边缘检测的物体分割方法。

如上所述，本申请的基于边缘检测的物体分割方法、电子终端及存储介质，具有以下有益效果：

本发明提出了一个适合物体边缘信息预测的卷积神经网络模型，通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息，根据所述像素级别信息对所述输入图片的像素点进行类别级的分类，基于中心点对同一类别的边缘像素点进行个体级别的分类，基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，可以获得更加精细的物体分割。

附图说明

图1显示为本申请一实施例中的基于边缘检测的物体分割方法的整体流程示意图。

图2显示为本申请一实施例中的基于边缘检测的物体分割方法的流程简易图。

图3显示为本申请一实施例中的基于边缘检测的物体分割方法中卷积神经网络模型示意图。

图4a至图4d显示为本申请一实施例中的基于边缘检测的物体分割方法中卷积神经网络模型中残差网络结构示意图。

图5显示为本申请一实施例中的基于边缘检测的物体分割方法中卷积神经网络模型中级联模块示意图。

图6显示为本申请一实施例中的基于边缘检测的物体分割方法中卷积神经网络模型中非局部操作层的连接示意图。

图7显示为本申请一实施例中的电子终端的的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施例的目的在于提供基于边缘检测的物体分割方法、电子终端及存储介质，用于解决现有技术中物体分割方法对物体分割的边缘不够准确的技术问题。

本实施例提出了一个适合物体边缘信息预测的卷积神经网络模型，提出了一个基于卷积神经网络模型对图片中的物体进行像素级别分割的方法，对于每张图片，会用卷积神经网络预测每张图片上所有实例的边缘点的位置，边缘点的之间的关系，边缘点与物体个体之间的关系等信息，然后对这些信息进行处理来获得每个物体的像素级分割。

以下将详细阐述本实施例的一种基于边缘检测的物体分割方法、电子终端及存储介质的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种基于边缘检测的物体分割方法、电子终端及存储介质。

需说明的是，所述基于边缘检测的物体分割方法可应用于多种类型的硬件设备。所述硬件设备例如是控制器，具体如ARM(Advanced RISC Machines)控制器、FPGA(FieldProgrammable Gate Array)控制器、SoC(System on Chip)控制器、DSP(DigitalSignal Processing)控制器、或者MCU(Micorcontroller Unit)控制器等等。所述硬件设备例如也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述硬件设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。

如图1和图2所示展示本发明一实施例中的基于边缘检测的物体分割方法的流程示意图。如图1所示，在本实施例中，所述基于边缘检测的物体分割方法包括步骤S100至步骤S500。

步骤S100，获取输入图片；

步骤S200，通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息；

步骤S300，根据所述像素级别信息对所述输入图片的像素点进行类别级的分类；

步骤S400：基于中心点对同一类别的边缘像素点进行个体级别的分类；

步骤S500：基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割。

以下对本实施例中的所述基于边缘检测的物体分割方法的步骤S100至步骤S500进行详细说明。

步骤S100，获取输入图片。

步骤S200，通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息。

于本实施例中，所述卷积神经网络模型包括一个基础层、多个残差网络模块、多个特征金字塔模块和输出层；所述基础层包括卷积层，批归一化层，激活层和一池化层；每个残差网络模块包含着多个连续的残差网络结构；所述输出层包括通过级联网络连接的多个输出模块。

其中，各所述特征金字塔模块对应对各残差网络模块进行采样，直到上采样到和第一个残差模块的输入的特征图大小一致。

于本实施例中，选取一个或多个所述残差网络结构，并将选取的所述残差网络结构连接一非局部操作层；选取级联网络并将选取的级联网络连接一非局部操作层。

具体地，本实施例使用的卷积神经网络结构如图3所示，基础神经网络主干(backbone)选择的是ResNe，在图中为深蓝色矩形块。卷积神经网络的主体由一个基础层和四个残差网络模块构成，其中基础层是一个卷积核较大的卷积层，一个批归一化层，一个激活层和一个池化层组成。每个残差网络模块包含着多个连续的残差网络结构，比如ResNet50的4个残差模块分别有3，4，6，3个残差网络结构。具体的残差网络结构如图4a和图4b所示，其中图4a为没有进行下采样操作的残差网络结构，图4b为进行了下采样操作的残差网络结构，在每个残差网络模块中的第一个残差网络结构进行下采样，采用的是步长为2的方式进行下采样。

特征金字塔的结构如图3中的矩形块所示，每个特征金字塔模块(在图中命名为FPN模块)都包含了像素重排结构以实现上采样。这个网络结构一共上采样了四次，直到上采样到和第一个残差模块的输入的特征图大小一致。这个输出的大小为输入图片大小的四分之一，虽然需要比较高的准确率，但是这个缩放比例事实上肉眼比较难判别出差别，其在长和宽上分别只差了一个像素。而这个缩放可以使得后面级联网络的计算量大大减少，相当于原图大小计算量的四分之一，因此最终采用了原图大小四分之一的输入大小。同时通过层级连接和像素级相加实现不同特征图的结合。特征金字塔结构的最后输出会传给输出层，输出层有两个作用，伴随着两个输出:一个作用得到整个物体分割方法最终所需要的输出，主要是通道数的改变；一个作用是给之后的网络提供特征图，这个特征图是在刚刚提及的方法最终输出上叠加一个神经网络而得到的。

级联网络结构如图3中虚线框内的内容所示。其中的级联模块如图3和图5所示。由于空间问题，图3只展示两个级联网络，在实际工程实现上，采用了4个级联网络。从图3可以看出，特征金字塔的输出会被连接到每一个级联网络。而特征金字塔的输出是与基础的神经网络主干的网络浅层的输出特征图结合在一起的，通过这种方式，让每一个级联网络不仅会包含之前一路经过各个神经网络层之后输出的特征图，也可以以相对直接的方式获取神经网络浅层的信息，这样每一个级联网络都可以结合比较低级的图片信息和比较高级的语意信息，从而得到较好的效果。同时也可以看到每一个级联网络最终都是一个输出模块，这个输出模块跟上一段描述的输出模块的结构一致，同样有两个输出，一个为最终模型的输出，一个是提供给后面级联网络的特征图。有一个在图中没有展示的是，在级联网络中进行了上采样的操作和下采样的操作，具体在每个级联网络的第二个级联模块进行了下采样，在每个级联网络的第四个级联模块进行了上采样。

也采用了如图6所示的非局部操作层，将其结合到了残差网络模块中。如图4c和图4d所示，将非局部操作层接在残差网络结构的后面。具体在整个神经网络中的具体位置，例如：在第二个残差模块的第一和第三个残差结构，第三个残差模块的第一，第三和第五个残差结构后面接非局部操作层。同时也在每个级联网络中的第三个级联模块的最后接非局部操作层。

于本实施例中，所述像素级别信息包括：像素点是否为物体边缘，像素点的类别，像素点所属的物体的中心的位置，像素点到下一个像素点的方向。

本实施例中使用上述的卷积神经网络，对一张图片进行信息预测。当卷积神经网络接收一张图片之后，最终输出矩阵的每个像素点包含下面4个信息：

1)是否为边缘点：卷积神经网络有一个通道表示的是输入图片上面的像素区域是否为边缘点。为了减少计算量，没有将最后的输出上采样到原图一样的大小，只上采样到原图的四分之一，所以最终输出的矩阵上面的一个像素对应原图上4个像素组成的区域。在训练的时候，只要原图四个像素有一个点是边缘点，就把最终输出矩阵对应的像素点的训练标签设置为1，表示输出矩阵上该像素对应的原图区域是属于物体边缘。

2)类别信息：类别信息主要是区别每个像素对应原图的区域的类别的类别。假设物体识别任务的中有C个分类，卷积神经网络的最终输出中有C个通道会被用来表示原图对应区域的类别，这样每个像素有一个长度为C的向量来表示类别，之后称这种表示类别信息的向量为类别向量。这个类别信息在训练的时候会用一位有效编码(one-hot encoding)来表示类别标签，即每个类别标签向量只有在像素类别对应的位置上是1，其他位置都是0。在预测的时候会通过softmax函数来让神经网络最终输出的类别向量进行正则化。

3)边缘像素点所属物体中心位置：神经网络最终输出会有两个通道表示边缘像素点所属物体中心位置，物体的中心位置由图像的长和宽两个维度的坐标构成，这个坐标位置为相对位置，即中心点位置相对图像左上角的像素距离除以对应的图像长或宽。这种处理让神经网络最终的输出的范围为[0,1]。在训练的时候，每个物体中性点的位置通过如下方式得到：在得到物体分割的标签之后，构造一个刚好能覆盖这个物体所有分割的矩形，这个矩形的四个边会与物体的分割掩码有切点，且分别与图像的长或宽平行。在得到矩形之后，采用矩形中距离矩形左上角点二分之一矩形长和二分之一矩形宽的点作为图像的中点。预测边缘像素点所属物体中心位置主要是为了将不同物体的边缘像素点区分开来。即属于同一个中心点的边缘像素点视为属于一个物体的。

4)下一个边缘像素点的方向：对于每个边缘像素点，神经网络最终输出会有两个通道被用来预测当前边缘像素点的下一个像素点的方向，这个方向是由两个标量构成的一个矢量，两个标量分别代表方向矢量在图片长方向的的分量和在图片宽方向的分量。将所有边缘像素点指向下一个像素点的位置的方向矢量长度调整为1。下一个边缘像素点的方向信息主要是用来连接同一个物体的所有边缘像素点。有一个边缘像素点开始，依次寻找下一个边缘像素点，绝大部分边缘像素点直到形成封闭曲线。这样便可以得到最终的物体分割。

在卷积神经网络预测得到该像素点是否为物体边缘，该像素点的类别。该像素点所属的物体的中心的位置，该像素点到下一个像素点的方向这四个信息之后，通过步骤S300至步骤S500的处理得到最终的物体分割。

步骤S300，根据所述像素级别信息对所述输入图片的像素点进行类别级的分类。

于本实施例中，所述进行类别级的分类包括：通过设置置信度阈值和类别信息来将边缘像素点划分称不同的类别。

具体地，采用设置阈值实现的:通过设置置信度阈值，可以利用是否为边缘点的信息区别出前景和背景像素，比如将神经网络预测值大于0.3的像素点视为边缘像素点，再通过类别信息来将边缘像素点划分称不同的类别，比如，猫和沙发。

在得到不同类别的边缘像素点集合之后对每个类别内的边缘像素点集合采用下面描述的边缘像素点分类和多边形确定算法来得到最终的物体分割。采用先对边缘像素点分类在再进行后两步操作可以让后两步的计算量大大减少。同时也基于一个观察:神经网络在分类预测的准确率上要高于位置和方向向量的回归。

步骤S400：基于中心点对同一类别的边缘像素点进行个体级别的分类。

于本实施例中，所述基于中心点对同一类别的边缘像素点进行个体级别的分类的一种实现方式包括：

预测物体中心到当前所有物体个体的估计中心的距离，找出距离最小的一个物体个体，记为距离最小物体个体；若边缘像素点的预测物体中心距离所述距离最小物体个体的估计中心距离小于所述物体个体半径的一定比例，则判定这个边缘像素点属于这个物体，否则将这个边缘像素点构建一个新的物体个体。

具体地，本实施例提出了一个简洁的方法来实现边缘像素点的中心点聚类。这个方法主要借助物体个体的大小来帮助聚类，也基于一个观察:虽然预测的物体中心位置不够准确，但是绝大部分的预测的物体中心位置在物体内部。该算法维护了一个物体个体列表。该列表表示目前为止所有找到的物体个体。每个物体个体在编程时为一个对象(class)，这个对象包含了目前为止，当前物体个体包含的所有边缘像素点的信息和两个计算量:物体个体的估计中心和物体个体的半径。

其中，物体个体的估计中心是用当前物体个体包含的所有边缘像素点的预测物体中心的平均位置，物体个体的半径为当前物体个体包含的所有边缘像素点位置到其预测物体中心位置的距离的平均值。之所以没有用到边缘像素点位置到物体估计中心位置是为了减少计算量。

本实施例的重点是判定一个边缘像素点属于哪一个物体个体。对于每个边缘像素点，会算出它的预测物体中心到当前所有物体个体的估计中心的距离，然后找出距离最小的一个物体个体。如果边缘像素点的预测物体中心距离这个物体个体的估计中心距离小于物体个体半径的一定比例。比如小于物体半径的0.6，那就判定这个边缘像素点属于这个物体，否则用这个边缘像素点构建一个新的物体个体实例。在实际使用中，设置r＝0.5。

步骤S500：基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割。

于本实施例中，所述基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割的一种实现方式包括：

计算一个物体个体的各边缘像素点与其预测的中心点的连线和图片的x轴之间的夹角；然后将所有边缘像素点按照计算到的夹角大小进行排序，获取边缘像素点的排序；根据邻接判定距离和像素点到下一个像素点的方向判断是否将相邻的像素点进行连接；将多个连续的边缘像素点连接，则形成封闭的边缘，获得物体分割。

具体地，首先对一个物体个体的所有边缘像素点进行排序。

对于一个像素点，会计算这个像素点与其预测的中心点的连线和图片的x轴之间的夹角，然后将所有像素点按照计算的到的夹角进行排序。这里图片的x轴是只图片的横边。方向为从图片左上角到右上角。这个排序相当于给所有边缘像素点进行一个预排序。经过这个排序，边缘像素点的顺序会接近最终的多边形点的顺序。事实上，对于凸多边形形状的边缘，这个按角度的排序结果可以直接作为最终边缘像素点的排序结果。

将按角度排序后的循环列表命名为list_a，基于这个排序，对边缘像素点依次进行连接，对于每个边缘像素点p，为方便后面阐述，将当前处理的边缘像素点及其信息命名为p，选出p在list_a排序中前后6个边缘像素点，之所以选前后6个像素点是因为经过预排序之后，真实的下一个像素点在绝大部分情况下会是这12个点中的一个，而如果是对物体的所有像素点进行操作，不仅算法复杂度会增加，而且由于下一个点的预测有时候会不准，这种方向预测不准，可能会导致有一个离得很远的像素点与当前像素点的连线与预测方向夹角很小，导致算法准确率下降。

所以用临近的点可以减少方向预测不准带来的误差)，计算这12个边缘像素点到p的距离，并得到最短距离d及其对应的边缘像素点像素点p1，如果最短距离d小于用户设置的邻接判定距离，那就判定p1距离p足够近，因此将p1作为p的下一个边缘像素点。

这个判断主要是基于一些情况下，神经网络可以预测到连续的边缘像素点，这些边缘像素点的预测相对下一个点的方向预测准确，所以，如果神经网络预测出了连续的边缘像素点，算法会优先将连续的边缘点进行连接，而不是用下一个边缘点的预测方向来连接。

是否为连续的判断由邻接判定距离决定，一般可以设置为4或者其他比较小的个位数，即如果两个边缘像素点如果距离小于4个像素距离的话，将被视为是连续的。

如果没有找到连续的边缘像素点，将进一步计算p到12个像素点的连线向量与p预测的下一个像素点方向向量的各个夹角的大小，并得到最小角度对应的边缘像素点像素点p2，将p2设置为p下一个像素点。在遍历到list_a最后几个位置后都会停止，这是因为在一些情况下，可能算法没有遍历到list_a的最后一个位置，所以只需要到最后几个即可终止循环。

在公开数据集Cityscapes上进行了对比实验。采用整个物体掩码用来训练的方式来与物体边缘进行比较。物体掩码方法采用的神经网络结构与物体边缘方法采用的神经网络结构一致。不同的是在最后输出信息时，物体掩码方式在每个像素点输出的是三个信息:是否为物体掩码，物体分类，物体个体的中心点。其中物体个体的中心点与物体边缘方法中的物体个体中心点一致，这三个信息的训练方式与物体边缘方法中的是否为边缘点，物体分类，物体个体的中心点这个三个信息的训练方法一致。物体掩码方法的后处理是通过物体个体的中心点得到所有属于同一个物体的像素。物体边缘和物体掩码性能的比较如表1，从表1中可以看出使用物体边缘进行检测可以达到一定的提升。

表1物体边缘和物体掩码性能比较

	mAP	mAP50
			物体边缘	29.3	55.6
物体掩码	28.2	54.1

由上可见，本实施例通过卷积神经网络能对一张图片的每个像素点预测得到该像素点是否为物体边缘，该像素点的类别。该像素点所属的物体的中心的位置，该像素点到下一个像素点的方向这四个信息，然后利用这些信息利用技术方案描述部分中的步骤S300至步骤S500处理操作，得到最终的物体分割。本实施例提出的方法虽然是基于物体分割的方法，但是由于本实施例方法可以让卷积神经网络模型会更加关注于值得关注的边缘，所以可以获得更加精细的分割。同时由于本实施例的方法是基于物体分割的方法，训练相对基于物体检测的方法会更加直接，同时由于稀疏训练，让训练速度更快。

如图6所示，展示本申请实施例中的电子终端101的结构示意图。

所述电子终端101，包括：

至少一显示器1001，用于显示。于一实施例中，所述显示器可以是OLED、LED或LCD显示器等。

至少一存储器1002，用于存储计算机程序；

至少一处理器1003，耦接于所述显示器1001及存储器1002，用于运行所述计算机程序以实现上述各方法实施例的步骤。

存储器1102通过系统总线与处理器1101连接并完成相互间的通信，存储器1102用于存储计算机程序，处理器1101用于运行计算机程序，以使所述电子终端执行所述的基于边缘检测的物体分割方法。上述已经对所述基于边缘检测的物体分割方法进行了详细说明，在此不再赘述。

另需说明的是，上述提到的系统总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器1101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

此外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于边缘检测的物体分割方法。上述已经对所述基于边缘检测的物体分割方法进行了详细说明，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提出了一个适合物体边缘信息预测的卷积神经网络模型，通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息，根据所述像素级别信息对所述输入图片的像素点进行类别级的分类，基于中心点对同一类别的边缘像素点进行个体级别的分类，基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，可以获得更加精细的物体分割。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于边缘检测的物体分割方法，其特征在于：包括：

获取输入图片；

通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息；

根据所述像素级别信息对所述输入图片的像素点进行类别级的分类；

基于中心点对同一类别的边缘像素点进行个体级别的分类；

基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割。

2.根据权利要求1所述的基于边缘检测的物体分割方法，其特征在于：所述卷积神经网络模型包括一个基础层、多个残差网络模块、多个特征金字塔模块和输出层；所述基础层包括卷积层，批归一化层，激活层和一池化层；每个残差网络模块包含着多个连续的残差网络结构；所述输出层包括通过级联网络连接的多个输出模块。

3.根据权利要求2所述的基于边缘检测的物体分割方法，其特征在于：各所述特征金字塔模块对应对各残差网络模块进行采样，直到上采样到和第一个残差模块的输入的特征图大小一致。

4.根据权利要求2所述的基于边缘检测的物体分割方法，其特征在于：选取一个或多个所述残差网络结构，并将选取的所述残差网络结构连接一非局部操作层；选取级联网络并将选取的级联网络连接一非局部操作层。

5.根据权利要求1所述的基于边缘检测的物体分割方法，其特征在于：所述像素级别信息包括：像素点是否为物体边缘，像素点的类别，像素点所属的物体的中心的位置，像素点到下一个像素点的方向。

6.根据权利要求5所述的基于边缘检测的物体分割方法，其特征在于：所述进行类别级的分类包括：通过设置置信度阈值和类别信息来将边缘像素点划分称不同的类别。

7.根据权利要求5所述的基于边缘检测的物体分割方法，其特征在于：所述基于中心点对同一类别的边缘像素点进行个体级别的分类的一种实现方式包括：

预测物体中心到当前所有物体个体的估计中心的距离，找出距离最小的一个物体个体，记为距离最小物体个体；

若边缘像素点的预测物体中心距离所述距离最小物体个体的估计中心距离小于所述物体个体半径的一定比例，则判定这个边缘像素点属于这个物体，否则将这个边缘像素点构建一个新的物体个体。

8.根据权利要求5所述的基于边缘检测的物体分割方法，其特征在于：所述基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘，获得物体分割的一种实现方式包括：

计算一个物体个体的各边缘像素点与其预测的中心点的连线和图片的x轴之间的夹角；

然后将所有边缘像素点按照计算到的夹角大小进行排序，获取边缘像素点的排序；

根据邻接判定距离和像素点到下一个像素点的方向判断是否将相邻的像素点进行连接；

将多个连续的边缘像素点连接，则形成封闭的边缘，获得物体分割。

9.一种电子终端，其特征在于：包括：

至少一存储器，用于存储计算机程序；

至少一处理器，耦接于所述存储器，用于运行所述计算机程序以实现如权利要求1至8中任一项所述的基于边缘检测的物体分割方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于边缘检测的物体分割方法。

Images