CN110866930A - 语义分割辅助标注方法与装置 - Google Patents

Abstract

本申请公开了一种语义分割辅助标注方法与装置，涉及图像识别技术领域。首先通过分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；然后根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像；接着依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度；最后将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点，实现了依据边缘图像、语义分割图像二者的重合程度，对图像边缘及图像顶点的标注进行优化，从而提高了图像数据标注的精确度。

Description

语义分割辅助标注方法与装置

技术领域

本申请涉及图像识别技术领域，尤其涉及一种语义分割辅助标注方法与装置。

背景技术

随着深度学习的在各个领域中的日益普及，图像数据标注成为一种新的服务业务，图像数据标注是指对图像中不同类别的区域进行区分标注，例如，将一张图像中的月亮、星星、天空打上不同的标签。

现有技术中，对数据进行标注通常采用语义分割模型进行图像数据标注，然而通过语义分割模型进行图像数据标注的精确度低，例如，对图像中模糊的区域或者与两个相连太紧区域的标识，无法进行很好的识别。因此，如何提高图像数据标注的精确度，是目前有待解决的问题。

发明内容

本申请实施例提供了一种语义分割辅助标注方法与装置，以改善目前对图像数据标注的精确度低的问题。

第一方面，本申请实施例提供了一种语义分割辅助标注方法，包括：

分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；

根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像；

依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度；

将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

第二方面，本申请实施例还提供了一种语义分割辅助标注装置，所述装置包括：

信息提取单元，被配置成分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合。

边缘检测单元，被配置成根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像。

重合程度确定单元，被配置成依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度。

目标标注单元，被配置成将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

本申请实施例提供的语义分割辅助标注方法与装置，首先通过分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；然后根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像；接着依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度；最后将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点，实现了依据边缘图像、语义分割图像二者的重合程度，对图像边缘及图像顶点的标注进行优化，从而提高了图像数据标注的精确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请提供的一种实施例的语义分割辅助标注方法的流程图；

图2为本申请提供的一种实施例的语义分割辅助标注方法的流程图；

图3为本申请提供的语义分割图像的示意图；

图4为本申请提供的顶点图像的示意图；

图5为本申请提供的边缘图像的示意图；

图6为本申请提供的合并图像的示意图；

图7为本申请提供的S11的具体流程图；

图8为本申请提供的S22的具体流程图；

图9为本申请提供的S14的具体流程图；

图10为本申请提供的S22的具体流程图；

图11为本申请提供的一种实施例的语义分割辅助标注装置的功能模块框图；

图12为本申请提供的信息提取单元的具体功能模块框图；

图13为本申请提供的一种实施例的语义分割辅助标注装置的功能模块框图；

图14为本申请提供的像素探索模块的具体功能模块框图；

图15为本申请提供的重合度确定单元的具体功能模块框图；

图16为本申请提供的目标标注单元的具体功能模块框图；

图17为本申请提供的服务器的电路连接框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

请参阅图1，本申请实施例提供了一种语义分割辅助标注方法，应用于服务器。其中，服务器可以与用户终端或网络摄像头交互，以获取用户终端或网络摄像头传输的待标注图像。所述方法包括：

S11：分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合。

其中，语义分割图像可以为通过语义分割模型对待标注图像进行语义分割后得到的图像。语义分割模型可以通过将海量的被标注过的训练图像通过训练网络模型训练而成。对于训练网络模型而言，可以设置为：输入图像数据形状为(128，256，1)、将顶点、边缘、背景分别定义为待识别标注的一类，总共3类，训练网络模型的优化函数为Adam，损失函数为categorical crossentropy；输出形状为(128，256，3)的张量，即可通过图像的三个通道(如红，绿，蓝通道)，每个通道代表一类的标注结果，例如，红色为顶点，绿色为边缘，蓝色为背景。将海量的预先被标注过的待训练图像输入到训练网络模型进行训练，从而得到语义分割模型。

例如，假设待标注图像为一个四边形，四边形的四个顶点依次为A顶点、B顶点、C顶点以及D顶点，则通过识别提取出A顶点的像素集合、B顶点的像素集合、C顶点的像素集合以及D顶点的像素集合，且A顶点的像素集合、B顶点的像素集合、C顶点的像素集合以及D顶点的像素集合之间存在顺序关系。

S12：根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像。

其中，边缘检测算法可以为但不限于Canny边缘检测算法、索贝尔边缘检测算法。

S13：依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度。

基于上述，例如，针对A顶点的像素集合中的多个像素点与B顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度；然后针对B顶点的像素集合中的多个像素点与C顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度；然后针对C顶点的像素集合中的多个像素点与D顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度；最后针对D顶点的像素集合中的多个像素点与A顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度。

S14：将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

基于上述，例如，在A顶点的像素集合中的多个像素点与B顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第一条目标边缘；然后在B顶点的像素集合中的多个像素点与C顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第二条目标边缘；然后在C顶点的像素集合中的多个像素点与D顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第三条目标边缘；在D顶点的像素集合中的多个像素点与A顶点的像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第四条目标边缘，将上述的第一条目标边缘、第二条目标边缘、第三条目标边缘、第四条目标边缘的交点标注为目标顶点。

本申请实施例提供的语义分割辅助标注方法，首先通过分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；然后根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像；接着依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度；最后将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点，实现了依据边缘图像、语义分割图像二者的重合程度，对图像边缘及图像顶点的标注进行优化，从而提高了图像数据标注的精确度。

具体地，如图2所示，上述的S11包括：

S21：分别提取出待标注图像的语义分割图像中的顶点图像、边缘图像，并根据顶点图像、边缘图像中大于预设阈值的像素点生成合并图像。

如图3所示，假设图3为待标注图像的语义分割图像，则分别提取出语义分割图像中仅包括顶点的顶点图像(如图4所示)、仅包括边缘的边缘图像(如图5所示)，然后根据顶点图像、边缘图像中大于预设阈值的像素点生成合并图像(如图6所示)，提取顶点图像、边缘图像中大于预设阈值(例如，像素值大于50)的像素点，是为了提高生成的合并图像的精确度。另外，为了进一步提高合并图像的性能，可以对将合并图像中的像素点的像素值进行放大，例如，将合并图像中的像素值大于50小于255的像素点，均更新为像素值为255的像素点。

S22：以合并图像中的任一像素点为初始起点像素，指定一个方向对初始起点像素在合并图像中相邻的像素点进行探索。

例如，对于一个四边形，按照顺时针方向或者逆时针方向对初始起点像素在合并图像中相邻的像素点进行探索。

S23：将探索到的像素值大于预设阈值且未被作为过起点像素的像素点加入到备选起点像素集合中，从备选起点像素集合中取出一个像素点作为新的起点像素，返回指定一个方向对该像素点在边缘图像中相邻的像素点进行探索的操作，直到备选起点像素集合中没有可用的像素点，并在探索的同时根据顶点图像按顺序记录探索到的顶点像素点。

例如，将探索到的像素值为255且未被作为过起点像素的像素点加入到备选起点像素集合中，从备选起点像素集合中取出一个像素点作为新的起点像素，返回指定一个方向对该像素点在边缘图像中相邻的像素点进行探索的操作，直到备选起点像素集合中没有可用的像素点(例如，沿着四边形探索回到已经被作为过起点像素的初始起点像素)，并在探索的同时根据顶点图像按顺序记录探索到的顶点像素点。例如，根据各个顶点图像中的顶点的像素坐标识别在探索过程中的像素点，并将依次探索到的A顶点、B顶点、C顶点、D顶点的像素有序排列构成一个矩阵像素集合。

S24：对属于同一顶点的顶点像素点进行分类，得到存在顺序关系的不同顶点的像素集合。

例如，矩阵像素集合进行分割得到A顶点的像素集合、B顶点的像素集合、C顶点的像素集合、D顶点的的像素集合。

可选地，在S24之前，如图7所示，所述方法还包括：

S71：在探索完毕后，根据被探索到的像素点的数量、初始起点像素的坐标、终点像素的坐标，确定合并图像是否为闭合图像。

对属于同一顶点的顶点像素进行分类，得到存在顺序关系的不同顶点的像素集合的执行条件为：合并图像为闭合图像。

可以理解地，在本公开实施例中，合并图像为闭合图像时，才具备标注的价值。

具体地，S71包括：S711：判断探索到的像素点的数量是否大于预设的数量阈值，且初始起点像素的坐标、终点像素的坐标之间的距离是否小于预设的距离阈值，如果是，则执行S712，如果否，则执行S713。

当探索到的像素点的数量大于预设的数量阈值，且初始起点像素的坐标、终点像素的坐标之间的距离小于预设的距离阈值时，说明探索到的像素点又回到了起始探索点的附近，则说明该合并图像为闭合图像。

S712：确定合并图像为闭合图像。

S713：反方向对该像素点在合并图像中相邻的像素点进行重新探索。

S714：判断重新探索到的像素点的数量是否大于预设的数量阈值且初始起点像素的坐标、重新探索到的终点像素的坐标之间的距离是否小于预设的距离阈值，或判断两次探索得到的终端坐标是否均在合并图像的边缘，如果是，则执行S712。

当重新探索到的像素点的数量大于预设的数量阈值且初始起点像素的坐标、重新探索到的终点像素的坐标之间的距离小于预设的距离阈值时，说明探索到的像素点又回到了起始探索点的附近，并说明前次探索存在误差，可以将合并图像为闭合图像。如果两次探索得到的终端坐标均在合并图像的边缘，说明合并图像中被图像的边沿割裂，则可以默认合并图像为闭合图像。

可选地，如图8所示，S22包括：

S81：根据顶点图像、边缘图像确定其中一个顶点的像素集合中与边缘像图像的交汇的像素点集合。

例如，某一顶点的像素集合包含有A像素点，边缘图像中也包含A像素点，则将A像素点纳入交汇的像素点集合中。

S82：确定交汇的像素点集合中的距离最远的两个像素点。

S83：在距离最远的两个像素点之间确定一个禁止探索区域。

例如，在距离最远的两个像素点的中心位置，画一条2个像素宽、10个像素长，并垂直于距离最远的两个像素点所相连的直线并以该直线的中心点为交点的垂直线作为禁止探索区域，目的是将探索的合并图像切开，避免探索像素点时从两个方向同时探索。

S84：以交汇的像素点集合中的其中一个像素点为初始起点像素，开始对该像素点在合并图像中相邻的像素点进行探索。

可选地，如图9所示，S14包括：

S91：根据每个顶点的像素集合中的最大横坐标、最小横坐标、最大纵坐标以及最小纵坐标确定每个顶点的像素集合对应的矩形像素集合。

通过确定每个顶点的像素集合对应的矩形像素集合，可以提高对最终的图像标注的性能。

S92：依次从每个矩形像素集合中提取出目标像素集合。

例如，从A顶点的矩形像素集合中提取目标像素集合、从B顶点的矩形像素集合中提取目标像素集合、从C顶点的矩形像素集合中提取目标像素集合、从D顶点的矩形像素集合中提取目标像素集合，通过从每个矩形像素集合中提取出目标像素集合，可以减少计算重合程度的工作量。

作为其中一种实施方式，S92可以为针对每个在矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成目标像素集合。例如，取矩形的两条长边的中心，垂直画一条一个像素宽的线，取短边的中心画另外一条一个像素宽的线，构成一个“十”字像素集合，用这个“十”字像素集合代表顶点的像素集，可以兼顾横向和纵向的像素，同时减少像素点的数量，减少后续的计算量。

作为另一种实施方式，针对每个矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成初步目标像素集合。例如，取矩形的两条长边的中心，垂直画一条一个像素宽的线，取短边的中心画另外一条一个像素宽的线，构成一个“十”字坐标集合，用这个“十”字坐标集合代表顶点的像素集，可以兼顾横向和纵向的像素，同时减少坐标数据，减少后续的计算量。

针对各组顺序相邻的两个顶点对应的初步目标像素集合中分别提取一个像素点。如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角小于预设定的角度，则将该组顺序相邻的两个顶点分别对应的竖直像素集合作为目标像素集合；如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角大于预设定的角度，则将该组顺序相邻的两个顶点分别对应的水平像素集合作为目标像素集合。

例如，取A顶点的“十”字点集中的一个像素点，取B顶点的“十”点集中一个像素点，如果两个像素点构成的直线与水平方向构成的较小夹角小于45度，则本次操作只使用“十”字的竖线上的像素点；如果两个像素点构成的直线与水平方向构成的较小夹角大于45度时，则只使用“十”字的横线上的点，这样可以进一步减少计算量。

S93：确定每两个顺序相邻的顶点的目标像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度。

基于上述，例如，在A顶点的目标像素集合中的多个像素点与B顶点的目标像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第一条目标边缘；然后在B顶点的目标像素集合中的多个像素点与C顶点的目标像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第二条目标边缘；然后在C顶点的目标像素集合中的多个像素点与D顶点的目标像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第三条目标边缘；在D顶点的目标像素集合中的多个像素点与A顶点的目标像素集合中的多个像素点之间的多条连线分别与边缘检测图像的重合程度中，选取一个边缘检测图像的重合程度最高的连线标注为第四条目标边缘，将上述的第一条目标边缘、第二条目标边缘、第三条目标边缘、第四条目标边缘的交点标注为目标顶点。

可选地，如图10所示，S14包括：

S101：将每两个顺序相邻的顶点的像素集合中的像素点之间多条连线的像素值，分别与边缘检测图像做矩阵加运算，得到每条连线对应的重合程度矩阵。

S102：分别记录每条连线对应的重合程度矩阵中，像素值大于预设阈值的数量。

可以理解地，像素值大于预设阈值的数量代表连线与边缘检测图像的重合程度。

S103：将数量最高的连线分别标注为目标边缘。

请参阅图11，本申请实施例提供了一种语义分割辅助标注装置1100，需要说明的是，本申请实施例所提供的语义分割辅助标注装置1100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本申请实施例部分未提及之处，可参考上述的实施例中相应内容。所述装置1100包括信息提取单元1101、边缘检测单元1102、重合程度确定单元1103以及目标标注单元1104，其中，

信息提取单元1101，被配置成分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合。

边缘检测单元1102，被配置成根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像。

重合程度确定单元1103，被配置成依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度。

目标标注单元1104，被配置成将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

本申请实施例提供的语义分割辅助标注装置1100，在执行时可以实现如下功能：首先通过分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；然后根据边缘检测算法对待标注图像进行边缘检测，得到待标注图像的边缘检测图像；接着依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线分别与边缘检测图像的重合程度；最后将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点，实现了依据边缘图像、语义分割图像二者的重合程度，对图像边缘及图像顶点的标注进行优化，从而提高了图像数据标注的精确度。

可选地，如图12所示，信息提取单元1101包括：

合并图像生成模块1201，被配置成分别提取出待标注图像的语义分割图像中的顶点图像、边缘图像，并根据顶点图像、边缘图像中大于预设阈值的像素点生成合并图像。

像素探索模块1202，被配置成以合并图像中的任一像素点为初始起点像素，指定一个方向对初始起点像素在合并图像中相邻的像素点进行探索，将探索到的像素值大于预设阈值且未被作为过起点像素的像素点加入到备选起点像素集合中，从备选起点像素集合中取出一个像素点作为新的起点像素，返回指定一个方向对该像素点在边缘图像中相邻的像素点进行探索的操作，直到备选起点像素集合中没有可用的像素点，并在探索的同时根据顶点图像按顺序记录探索到的顶点像素点。

顶点分类模块1203，被配置成对属于同一顶点的顶点像素点进行分类，得到存在顺序关系的不同顶点的像素集合。

如图13所示，所述装置1100还包括：

闭合确定单元1301，被配置成在探索完毕后，根据被探索到的像素点的数量、初始起点像素的坐标、终点像素的坐标，确定合并图像是否为闭合图像；

对属于同一顶点的顶点像素进行分类，得到存在顺序关系的不同顶点的像素集合的执行条件为：合并图像为闭合图像。

具体地，闭合确定单元1301被具体配置成，如果探索到的像素点的数量大于预设的数量阈值，且初始起点像素的坐标、终点像素的坐标之间的距离小于预设的距离阈值，则确定合并图像为闭合图像；如果探索到的像素点的数量小于预设的数量阈值或初始起点像素的坐标、终点像素的坐标之间的距离大于预设的距离阈值，则反方向对该像素点在合并图像中相邻的像素点进行重新探索；如果重新探索到的像素点的数量大于预设的数量阈值且初始起点像素的坐标、重新探索到的终点像素的坐标之间的距离小于预设的距离阈值，或两次探索得到的终端坐标均在合并图像的边缘，则确定合并图像为闭合图像。

可选地，如图14所示，像素探索模块1202包括：

像素集合确定子模块1401，被配置成根据顶点图像、边缘图像确定其中一个顶点的像素集合中与边缘像图像的交汇的像素点集合。

像素点确定子模块1402，被配置成确定交汇的像素点集合中的距离最远的两个像素点。

区域确定子模块1403，被配置成在距离最远的两个像素点之间确定一个禁止探索区域。

像素探索子模块1404，被配置成以交汇的像素点集合中的其中一个像素点为初始起点像素，开始对该像素点在合并图像中相邻的像素点进行探索。

可选地，如图15所示，重合程度确定单元1103具体包括：

矩形集合确定模块1501，被配置成根据每个顶点的像素集合中的最大横坐标、最小横坐标、最大纵坐标以及最小纵坐标确定每个顶点的像素集合对应的矩形像素集合。

目标集合提取模块1502，被配置成依次从每个矩形像素集合中提取出目标像素集合。

作为其中一种实施方式，目标集合提取模块1502，被具体配置成针对每个在矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成目标像素集合。

作为另一种实施方式，目标集合提取模块1502，被具体配置成针对每个矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成初步目标像素集合；针对各组顺序相邻的两个顶点对应的初步目标像素集合中分别提取一个像素点；如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角小于预设定的角度，则将该组顺序相邻的两个顶点分别对应的竖直像素集合作为目标像素集合；如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角大于预设定的角度，则将该组顺序相邻的两个顶点分别对应的水平像素集合作为目标像素集合。

重合程度确定单元1103，被具体配置成确定每两个顺序相邻的顶点的目标像素集合中的像素点之间的多条连线与边缘检测图像的重合程度。

可选地，如图16所示，目标标注单元1104包括：

运算模块1601，被配置成将每两个顺序相邻的顶点的像素集合中的像素点之间多条连线的像素值，分别与边缘检测图像做矩阵加运算，得到每条连线对应的重合程度矩阵。

计算模块1602，被配置成分别记录每条连线对应的重合程度矩阵中，像素值大于预设阈值的数量。

标注模块1603，被配置成将数量最高的连线分别标注为目标边缘。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图17是本申请的一个实施例服务器的结构示意图。请参考图17，在硬件层面，该服务器包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该服务器还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry StandardArchitecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended IndustryStandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成语义分割辅助标注装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；

根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像；

依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度；

将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

上述如本申请图1所示实施例揭示的语义分割辅助标注装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

当然，除了软件实现方式之外，本申请的服务器并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式服务器执行时，能够使该便携式服务器执行图1所示实施例的方法，并具体用于执行以下操作：

分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；

根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像；

依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度；

将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种语义分割辅助标注方法，其特征在于，包括：

分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；

根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像；

依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度；

将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

2.根据权利要求1所述的方法，其特征在于，所述分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合包括：

分别提取出待标注图像的语义分割图像中的顶点图像、边缘图像，并根据所述顶点图像、所述边缘图像中大于预设阈值的像素点生成合并图像；

以所述合并图像中的任一像素点为初始起点像素，指定一个方向对初始起点像素在合并图像中相邻的像素点进行探索；

将探索到的像素值大于预设阈值且未被作为过起点像素的像素点加入到备选起点像素集合中，从所述备选起点像素集合中取出一个像素点作为新的起点像素，返回指定一个方向对该像素点在边缘图像中相邻的像素点进行探索的操作，直到所述备选起点像素集合中没有可用的像素点，并在探索的同时根据所述顶点图像按顺序记录探索到的顶点像素点；

对属于同一顶点的顶点像素点进行分类，得到存在顺序关系的不同顶点的像素集合。

3.根据权利要求2所述的方法，其特征在于，在所述对属于同一顶点的顶点像素点进行分类，得到存在顺序关系的不同顶点的像素集合之前，所述方法还包括：

在探索完毕后，根据被探索到的像素点的数量、初始起点像素的坐标、终点像素的坐标，确定所述合并图像是否为闭合图像；

所述对属于同一顶点的顶点像素进行分类，得到存在顺序关系的不同顶点的像素集合的执行条件为：所述合并图像为闭合图像。

4.根据权利要求3所述的方法，其特征在于，所述在探索完毕后，根据被探索到的像素点的数量、初始起点像素的坐标、终点像素的坐标，确定所述合并图像是否为闭合图像包括：

如果探索到的像素点的数量大于预设的数量阈值，且初始起点像素的坐标、终点像素的坐标之间的距离小于预设的距离阈值，则确定所述合并图像为闭合图像；

如果探索到的像素点的数量小于预设的数量阈值或初始起点像素的坐标、终点像素的坐标之间的距离大于预设的距离阈值，则反方向对该像素点在合并图像中相邻的像素点进行重新探索；

如果重新探索到的像素点的数量大于预设的数量阈值且初始起点像素的坐标、重新探索到的终点像素的坐标之间的距离小于预设的距离阈值，或两次探索得到的终端坐标均在所述合并图像的边缘，则确定所述合并图像为闭合图像。

5.根据权利要求2所述的方法，其特征在于，所述以所述合并图像中的任一像素点为初始起点像素，指定一个方向对初始起点像素在合并图像中相邻的像素点进行探索包括：

根据所述顶点图像、所述边缘图像确定其中一个顶点的像素集合中与边缘像图像的交汇的像素点集合；

确定所述交汇的像素点集合中的距离最远的两个像素点；

在所述距离最远的两个像素点之间确定一个禁止探索区域；

以所述交汇的像素点集合中的其中一个像素点为初始起点像素，开始对该像素点在合并图像中相邻的像素点进行探索。

6.根据权利要求1所述的方法，其特征在于，所述依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度包括：

根据每个顶点的像素集合中的最大横坐标、最小横坐标、最大纵坐标以及最小纵坐标确定每个顶点的像素集合对应的矩形像素集合；

依次从每个所述矩形像素集合中提取出目标像素集合；

确定每两个顺序相邻的顶点的目标像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度。

7.根据权利要求6所述的方法，其特征在于，所述从每个所述矩形像素集合中提取出目标像素集合包括：

针对每个在所述矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成目标像素集合。

8.根据权利要求6所述的方法，其特征在于，所述从每个所述矩形像素集合中提取出目标像素集合包括：

针对每个所述矩形像素集合，从水平方向上提取出预设的宽度的水平像素集合、从竖直方向上提取出预设的宽度的竖直像素集合构成初步目标像素集合；

针对各组顺序相邻的两个顶点对应的初步目标像素集合中分别提取一个像素点；

如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角小于预设定的角度，则将该组顺序相邻的两个顶点分别对应的所述竖直像素集合作为目标像素集合；

如果同一组顺序相邻的两个顶点的初步目标像素集合中，分别提取出的像素点之间的连线与水平方向构成的较小夹角大于预设定的角度，则将该组顺序相邻的两个顶点分别对应的所述水平像素集合作为目标像素集合。

9.根据权利要求1所述的方法，其特征在于，所述将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘包括：

将每两个顺序相邻的顶点的像素集合中的像素点之间多条连线的像素值，分别与所述边缘图像做矩阵加运算，得到每条连线对应的重合程度矩阵；

分别记录每条连线对应的重合程度矩阵中，像素值大于预设阈值的数量；

将数量最高的连线分别标注为目标边缘。

10.一种语义分割辅助标注装置，其特征在于，包括：

信息提取单元，被配置成分别提取出待标注图像的语义分割图像中的存在顺序关系的不同顶点的像素集合；

边缘检测单元，被配置成根据边缘检测算法对所述待标注图像进行边缘检测，得到待标注图像的边缘检测图像；

重合程度确定单元，被配置成依次确定每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线与所述边缘检测图像的重合程度；

目标标注单元，被配置成将每两个顺序相邻的顶点的像素集合中的像素点之间的多条连线中，与所述边缘检测图像的重合程度最高的连线分别标注为目标边缘，将多条目标边缘之间的交点标注为目标顶点。

Images