CN110689026A - 一种图像中对象的标注方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像中对象的标注方法、装置及电子设备，方法包括：获得用户对第一图像的第一个边缘标注点；将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

Description

一种图像中对象的标注方法、装置及电子设备

技术领域

本申请涉及图像处理领域，更具体的说，是涉及一种图像中对象的标注方法、装置及电子设备。

背景技术

在智能领域，通常使用具有标注内容的训练样本对模型进行训练。以图像识别模型为例，为了能够识别出图像中的对象，需要利用具有对象标注的图像样本对图像识别模型进行训练。

目前，在对图像样本中的目标对象进行标注时，通常需要用户手动将目标对象在图像中所在的区域使用一个紧密的边缘线框选出来，边缘线所框选出来的区域即为目标对象的标注，以便用于模型训练。

而用户完全手动标注目标对象在图像中的边缘线，往往需要消耗大量的时长，导致图像中对象的标注效率较低。

发明内容

有鉴于此，本申请提供了一种图像中对象的标注方法、装置及电子设备，用以解决图像中对象的标注效率较低的技术问题。

为实现上述目的，本申请提供如下技术方案：

一种图像中对象的标注方法，包括：

获得用户对第一图像的第一个边缘标注点；

将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；

基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；

将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

上述方法，优选的，所述当前边缘标注点在所述第一图像上具有当前标注次序；

其中，所述当前边缘标注点对应的当前特征参数通过以下方式获得：

在特征列表中，获得在所述当前标注次序上的训练特征参数作为所述当前边缘标注点的当前特征参数；

其中，所述特征列表中包括多个训练特征参数，所述训练特征参数具有训练标注次序，所述训练标注次序上的训练特征参数通过以下方式获得：

获得用户在训练图像上针对所述训练标注次序的第一边缘标注点；

至少基于所述第一边缘标注点对应的初始的训练特征参数，获得所述训练标注次序的下一个标注次序对应的预测边缘标注点；

获得用户在所述训练图像上所述训练标注次序的下一个标注次序对应的第二边缘标注点；

基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，以使得利用经过调整的训练特征参数重新获得的预测边缘标注点与所述第二边缘标注点相一致。

上述方法，优选的，所述第一边缘标注点对应的初始的训练特征参数通过以下方式获得：

获得第一区域中在多个特征项上的特征值和所述特征项对应的预设特征权值；所述第一区域为所述训练图像中以所述第一边缘标注点为中心的图像区域；

对所述特征项的特征值利用对应的特征权值进行加权求和，得到和值；

至少基于所述和值，获得所述第一边缘标注点对应的训练特征参数。

上述方法，优选的，基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，包括：

获得所述第二边缘标注点和所述预测边缘标注点之间的特征差值，所述特征差值表征所述预测边缘标注点在多个特征项上与所述第二边缘标注点之间的距离；

基于所述特征差值，对所述第一边缘标注点上在所述特征项上对应的特征权值进行增加或降低，以调整至少基于所述特征权值得到的训练特征参数。

上述方法，优选的，基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点，包括：

基于所述当前边缘标注点对应的当前特征参数，利用具有多个卷积核的卷积算法对第二区域进行卷积计算，得到卷积结果，所述卷积结果中包括多个经过所述当前边缘标注点的预测边缘线及所述预测边缘线对应的置信度值；所述第二区域为所述第一图像中以所述当前边缘标注点为中心的图像区域；

获得所述预测边缘线与所述第二区域的边界的预测边缘交点，所述预测边缘交点与所述当前边缘标注点之间具有预设的标注顺序；

在所述预测边缘交点中，获得对应的预测边缘线的置信度值满足预设条件的目标交点，以所述目标交点作为所述当前边缘标注点的下一个边缘标注点。

上述方法，优选的，所述第二区域具有边界尺寸值；

其中，在基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点之后，所述方法还包括：

至少基于所述当前边缘标注点和所述下一个边缘标注点在各自所属第二区域中的位置，对所述第二区域的边界尺寸进行调整。

上述方法，优选的，在基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点之后，所述方法还包括：

对所述当前边缘标注点的当前特征参数进行调整，经过调整的当前特征参数至少用于：重新获得所述下一个边缘标注点，和/或，更新所述特征列表中标注次序与所述当前边缘标注点一致的训练特征参数。

上述方法，优选的，所述第一图像的第一个边缘标注点与所述训练图像中的第一个边缘标注点之间具有关联关系，所述关联关系包括：两个边缘标注点在各自图像中所属的对象上的属性相一致。

一种图像中对象的标注装置，包括：

第一获得单元，用于获得用户对第一图像的第一个边缘标注点；

参数获得单元，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；

第二获得单元，用于基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；

所述第二获得单元还用于：将所述下一个边缘标注点作为新的当前边缘标注点，重新触发所述参数获得单元执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

一种电子设备，包括：

显示部件，用于显示第一图像；

输入部件，用于获得用户对所述第一图像的第一个边缘标注点；

处理器，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的图像中对象的标注方法。

经由上述的技术方案可知，本申请提供的一种图像中对象的标注方法、装置及电子设备，在用户对图像的第一个边缘标注点进行标注之后，通过对该第一个边缘标注点对应的特征参数，预测下一个边缘标注点，之后再利用这下一个边缘标注点的特征参数，再预测下一个的下一个边缘标注点，以此类推，直到预测出与第一个边缘标注点重合的最后一个边缘标注点，完成对象的标注边缘线的预测。可见，本申请中只需要用户标注图像中的第一个边缘标注点，之后就可以利用前一个标注点的特征参数对后一个边缘标注点进行预测，不再需要用户的手动标注，由此明显减少用户的标注操作，降低用户标注对象所消耗的工作时长，由此提高图像中对象的标注效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例一提供的一种图像中对象的标注方法的流程图；

图2-图6分别为本申请实施例的示例图；

图7为本申请实施例一中获得训练特征参数的流程图；

图8-图13分别为本申请实施例的另一示例图；

图14为本申请实施例一中预测下一个边缘标注点的流程图；

图15-图16分别为本申请实施例的其他示例图；

图17为本申请实施例二提供的一种图像中对象的标注装置的结构示意图；

图18为本申请实施例三提供的一种电子设备的结构示意图；

图19为本申请实施例中对象标注的训练阶段的流程图；

图20为本申请实施例中对象标注的预测阶段的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种图像中对象的标注方法的实现流程图，该方法可以适用于能够进行图像处理的电子设备中，如计算机或服务器等，该电子设备能够输出图像，以实现对图像中的对象的标注，而且，该电子设备中的方法主要用于提高图像中对象的标注效率。

具体的，本实施例中的方法可以包括以下步骤：

步骤101：获得用户对第一图像的第一个边缘标注点。

其中，第一个边缘标注点是用户在第一图像中的对象的边缘进行手动选择的标注点，如图2中所示，用户对第一图像中的特定对象的边缘上的点进行标注，以作为第一个边缘标注点。

步骤102：将第一个边缘标注点作为当前标注点，获得当前边缘标注点对应的当前特征参数。

其中，当前特征参数表征所述当前边缘标注点所在图像区域中的特点，如像素灰度、颜色、纹理等多个特征项上所表征的特征参数。本实施例中可以通过对当前边缘标注点所属的一定范围内的图像区域进行特征提取，以获得到当前边缘点对应的当前特征参数。

步骤103：基于当前边缘标注点对应的当前特征参数，获得当前边缘标注点的下一个边缘标注点。

其中，在第一图像中，当前边缘标注点是对象的边缘线上已经确定的标注点，而当前边缘标注点为经过该点的多条预测边缘线的交点，如图3中所示，针对当前边缘标注点，可能有多条预测边缘线为对象的边缘线，相应的，当前边缘标注点的下一个边缘标注点则是这多条预测边缘线中的其中一条预测边缘线上的点，如图4中所示，本实施例中通过预测，获得当前边缘标注点A的下一个边缘标注点B为经过当前边缘标注点的预测边缘线X上的点，当然，当前边缘标注点A与其下一个边缘标注点B均在预测边缘线X上。

也就是说，当前边缘标注点的下一个边缘标注点肯定是与当前边缘标注点在一条预测边缘线上，而该预测边缘线是所有经过该当前边缘标注点的所有预测边缘线中的一条。

步骤104：将下一个边缘标注点作为新的当前边缘标注点，并返回步骤102中，重新执行获得当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与第一个边缘标注点相一致。

而此时，所有的边缘标注点组成对象的标注边缘线，由此完成对第一图像中对象的预测标注。

其中，本实施例在得到当前边缘标注点的下一个边缘标注点之后，将这下一个边缘标注点作为当前边缘标注点，再次进行下一个边缘标注点的预测，以此类推，直到所预测出的下一个边缘标注点与第一个边缘标注点重叠或距离小于阈值，如图5中所示，此时，完成对第一图像中对象的边缘标注，得到对象的标注边缘线。

需要说明的是，下一个边缘标注点即新的当前边缘标注点与第一个边缘标注点相一致，可以包括至少两种情况，一种是新的当前边缘标注点与第一个边缘标注点完全重叠或部分重叠，另一种是下一个边缘标注点与第一边缘标注点关于点坐标不重叠但相近，如两个点之间的坐标距离小于一定阈值，即可认为是一致。

由上述方案可知，本申请实施例一提供的一种图像中对象的标注方法，在用户对图像的第一个边缘标注点进行标注之后，通过对该第一个边缘标注点对应的特征参数，预测下一个边缘标注点，之后再利用这下一个边缘标注点的特征参数，再预测下一个的下一个边缘标注点，以此类推，直到预测出与第一个边缘标注点重合的最后一个边缘标注点，完成对象的标注边缘线的预测。可见，本实施例中只需要用户标注图像中的第一个边缘标注点，之后就可以利用前一个标注点的特征参数对后一个边缘标注点进行预测，不再需要用户的手动标注，由此明显减少用户的标注操作，降低用户标注对象所消耗的工作时长，由此提高图像中对象的标注效率。

在一种实现方式中，当前边缘标注点在第一图像上是具有当前标注次序的，也就是说，在第一图像中的各个边缘标注点之间是具有标注顺序的，如顺时针方向上的顺序或者逆时针方向上的顺序。

相应的，步骤102中的当前边缘标注点对应的当前特征参数可以在已经存储的特征列表中，获得具有与当前边缘标注点同一当前标注次序的训练特征参数作为当前边缘标注点的当前特征参数。

如图6中所示，在特征列表中存储有已经训练得到的多个训练特征参数，训练特征参数之间具有训练标注次序，如第1-m个训练特征参数，本实施例中可以在特征列表中查找标注次序一致的训练特征参数来作为当前边缘标注点的当前特征参数。

具体的，每个训练标注次序上的训练特征参数可以通过以下方式获得，如图7中所示：

步骤701：获得用户在训练图像上针对训练标注次序的第一边缘标注点。

如图8中所示，用户在训练图像上选择了第一边缘标注点，该第一边缘标注点具有相应的训练标注次序，如第1个或第3个标注次序。

步骤702：至少基于第一边缘标注点对应的初始的训练特征参数，获得训练标注次序的下一个标注次序对应的预测边缘标注点。

其中，本实施例中第一边缘标注点对应的初始的训练特征参数可以通过以下方式获得：

首先，获得第一区域中在多个特征项上的特征值和特征项对应的预设特征权值，其中，第一区域为训练图像中以第一边缘标注点为中心的图像区域，如图9中以第一边缘标注点为中心边长为4的正方形区域即为第一区域；而第一区域中的特征项可以包括有：第一区域中的灰度、纹理、颜色、历史方向趋势、顺序、纠错差值等特征项，特征项的特征值可以理解为对特征项进行量化或归一化之后的值，如灰度对应的特征值为对第一区域进行灰度量化或二值化的值，如0-255之间的值或0或1的值，等等。相应的，特征项对应的预设特征权值可以根据需求进行设置，如灰度特征项的特征权值为0.3、纹理特征项的特征权值为0.2、颜色特征项的特征权值可以为0.01，等等。

之后，对特征项的特征值利用对应的特征权值进行加权求和，得到和值。例如，将各个特征项的特征值分别乘以其对应的特征权值之后，得到各个特征项对应的乘积，再将各个乘积进行加和，得到和值；

最后，至少基于和值，获得第一边缘标注点对应的训练特征参数。

其中，本实施例中可以将和值即作为第一边缘标注点对应的训练特征参数，或者，本实施例中还可以将和值和对应的特征项一起作为第一边缘标注点对应的训练特征参数，该训练特征参数具有训练标注次序，即与第一边缘标注点一致的标注次序。

在一种实现方式中，步骤702中在基于第一边缘标注点对应的初始的训练特征参数，获得训练标注次序的下一个标注次序对应的预测边缘标注点时，可以通过以下方式实现：

首先，基于第一边缘标注点对应的初始的训练特征参数，利用具有多个卷积核的卷积算法对目标区域进行卷积计算，得到卷积结果，其中，卷积结果中包括有多个经过第一边缘标注点的预测边缘线及每条预测边缘线的置信度值，而目标区域为训练图像中以第一边缘标注点为中心以n为边界像素长度的正方形图像区域，其中，n为大于或等于2的正整数；

之后，获得预测边缘线与目标区域的边界的预测边缘交点，预测边缘交点与第一边缘标注点之间具有预设的标注顺序，即预测边缘交点的标注次序在第一边缘标注点的标注次序之后；其中，每条预测边缘线均与目标区域有两个交点，而每条预测边缘线对应的两个交点分别位于第一边缘标注点的两侧，如图10中所示。进一步的，本实施例中可以对两个交点进行筛选，例如，按照第一边缘标注点的标注次序之前的边缘标注点朝向与第一边缘标注点的方向，在两个交点中选择该方向上的第一个交点进行剔除，保留第二个交点，如图11中所示。

最后，在预测边缘交点中，获得对应的预测边缘线的置信度值满足预设条件的交点，将该交点作为在第一边缘标注点的训练标注次序的下一个标注次序上的预测边缘标注点。

步骤703：获得用户在训练图像上训练标注次序的下一个标注次序对应的第二边缘标注点。

如图12中所示，用户在训练图像上选择第3个标注次序的第一边缘标注点后，选择第4个标注次序对应的第二边缘标注点。

步骤704：基于第二边缘标注点和预测边缘标注点，对第一边缘标注点的训练特征参数进行调整，以使得利用经过调整的训练特征参数重新获得的预测边缘标注点与第二边缘标注点相一致。

也就是说，本实施例中可以将用户手动标注的第二边缘标注点和利用初始的训练特征参数预测出来的预测边缘标注点进行比较，进而对训练特征参数进行调整，以使得利用经过调整的训练特征参数重新获得的预测边缘标注点与第二边缘标注点完全重叠或者两点之间的距离低于阈值。

在具体实现中，本实施例中可以利用以下方式对第一边缘标注点的训练特征参数进行调整：

首先，获得第二边缘标注点和预测标注点之间的特征差值，其中，特征差值表征预测边缘标注点在多个特征项上与第二边缘标注点之间的距离，如灰度、纹理、颜色等特征项的距离；具体的，本实施例中可以通过对第二边缘标注点和预测标注点在多个特征项上的距离的方向即方差进行计算，将方差作为特征差值；

最后，基于特征差值，对第一边缘标注点上在特征项对应的特征权值进行增加或降低，以调整至少基于特征权值得到的训练特征参数。其中，本实施例中可以通过判断特征差值的大小或变化趋势等，来对第一边缘标注点在各个特征项上对应的特征权值分别进行降低、增加或保持不变等操作，由此在特征项的特征值上经过降低或增加之后的特征权值加权求和之后得到的训练特征参数得到调整。例如，如果方差大于方差阈值时，表明当前的训练标注次序上的训练特征参数误差较大，究其原因在于得到该训练特征参数的特征权值误差较大，由此，本实施例中可以对方差较大的特征项的特征权值进行调整。具体的，可以根据方差较小的特征项对应的特征权值为基准，按照相应的权重比例，对方差较大的特征项的特征权值进行增加或减小，等等。

需要说明的是，本实施例中可以在经过一次调整之后，再次利用重新预测出来的预测边缘标注点和第二边缘标注点对训练特征参数进行调整，以此类推，进而可以利用多次调整的训练特征参数对第一边缘标注点的预测边缘标注点进行预测，由此通过重复调整和重复调整后的预测，来使得训练特征参数能够更加准确，进而能够基于该训练特征参数能够更加准确的预测出当前边缘标注点的下一个边缘标注点，以提高对象的边缘标注准确率。

在另一种实现方式中，步骤102中的当前边缘标注点对应的当前特征参数也可以通过以下方式获得：

首先，获得第二区域中在多个特征项上的特征值和特征项对应的预设特征权值，其中，第二区域为第一图像中以当前边缘标注点为中心的图像区域，如图13中以当前边缘标注点为中心边长为4的正方形区域即为第二区域；而第二区域中的特征项可以包括有：第二区域中的灰度、纹理、颜色、历史方向趋势、顺序、纠错差值等特征项，特征项的特征值可以理解为对特征项进行量化或归一化之后的值，如灰度对应的特征值为对第二区域进行灰度量化或二值化的值，如0-255之间的值或0或1的值，等等。相应的，特征项对应的预设特征权值可以根据需求进行设置，如灰度特征项的特征权值为0.3、纹理特征项的特征权值为0.2、颜色特征项的特征权值可以为0.01，等等。

之后，对特征项的特征值利用对应的特征权值进行加权求和，得到和值。例如，将各个特征项的特征值分别乘以其对应的特征权值之后，得到各个特征项对应的乘积，再将各个乘积进行加和，得到和值；

最后，至少基于和值，获得当前边缘标注点对应的当前特征参数。

其中，本实施例中可以将和值即作为当前边缘标注点对应的当前特征参数，或者，本实施例中还可以将和值和对应的特征项一起作为当前边缘标注点对应的当前特征参数，该当前特征参数具有当前标注次序。

基于以上实现，本实施例中步骤101中所获得的第一个边缘标注点与训练图像中的第一个边缘标注点之间具有关联关系，例如，关联关系包括：两个边缘标注点在各自图像中所属的对象上的属性相一致，例如，两个边缘标注点在图像中所属对象的对象特征一致，如兔子左耳耳尖的点，或者人脸的下巴顶点的点，等等。也就是说，本实施例中用户所标注的第一个边缘标注点是按照训练图像中的第一个边缘标注点的特点进行的，具体的，本实施例中可以在用户对第一图像进行标注之前，可以输出提示信息，如“左耳耳尖开始标注”或者“下巴顶点开始标注”等，以提示用户按照与训练图像中第一个边缘标注点相一致的规则，在第一图像中标注第一个边缘标注点。

在一种实现方式中，步骤103在基于当前边缘标注点对应的当前特征参数获得当前边缘标注点的下一个边缘标注点时，可以通过以下方式实现，如图14中所示：

步骤1401：基于当前边缘标注点对应的当前特征参数，利用具有多个卷积核的卷积算法对第二区域进行卷积计算，得到卷积结果。

其中，当前边缘标注点的当前特征参数可以是在特征列表中获得的在当前标注次序上的训练特征参数，也可以是按照第二区域中多个特征项上的特征值利用对应的特征权值进行加权求和得到的特征参数。

需要说明的是，卷积结果中包括有多个经过当前边缘标注点的预测边缘线及每条预测边缘线的置信度值，而第二区域为第一图像中以当前边缘标注点为中心以n为边界像素长度的正方形图像区域，其中，n为大于或等于2的正整数；

步骤1402：获得预测边缘线与第二区域的边界的预测边缘交点。

其中，预测边缘交点与当前边缘标注点之间具有预设的标注顺序，即预测边缘交点的标注次序在当前边缘标注点的标注次序之后；其中，每条预测边缘线均与第二区域有两个交点，而每条预测边缘线对应的两个交点分别位于当前边缘标注点的两侧，如图15中所示。进一步的，本实施例中可以对两个交点进行筛选，例如，按照当前边缘标注点的标注次序之前的边缘标注点朝向与当前边缘标注点的方向，在两个交点中选择该方向上的第一个交点进行剔除，保留第二个交点，如图16中所示。

步骤1403：在预测边缘交点中，获得对应的预测边缘线的置信度值满足预设条件的目标交点。

其中，该目标交点即为在当前边缘标注点的当前标注次序的下一个标注次序上的预测边缘标注点，即当前边缘标注点的下一个边缘标注点。

基于以上实现，本实施例中还可以对第二区域的边界长度进行调整，具体的，第二区域具有边界尺寸值，如4像素的边界尺寸或8像素的边界尺寸，第二区域的区域大小在一定程度上影响对下一个边缘标注的预测的准确性，因此，本实施例中在获得当前边缘标注点的下一个边缘标注点之后，可以根据当前边缘标注点和下一个边缘标注点在各自所属的第二区域中的位置，对第二区域的边界尺寸进行调整。

具体的，本实施例可以在用户不对预测出的下一个边缘标注点进行手动调整时，对当前边缘标注点对应的第二区域的边界尺寸进行调整，或者，本实施例中可以在当前边缘标注点和下一个边缘标注点在各自所属的第二区域中的位置完全一致，如均在各自所属第二区域的右下角或正下方，表明此时第二区域的边界尺寸较大，导致第二区域中干扰预测准确率的区域过大，区域像素点过多导致预测出下一个边缘标注点的准确率较低，此时，调整第二区域的边界尺寸减小，而如果下一个边缘标注点在所属的第二区域的位置相对于当前边缘标注点在所属的第二区域中的位置偏差较大，表明第二区域的边界尺寸较小，导致第二区域中干扰预测准确率的区域过小，区域像素点过少可能无法准确预测出下一个边缘标注点，此时可以调整第二区域的边界尺寸增大。

需要说明的是，本实施例中可以在对第二区域的边界尺寸经过一次调整之后再重新进行下一个边缘标注点的预测，再次利用重新预测出来的下一个边缘标注点和当前边缘标注点在各自所属第二区域中的位置对第二区域的边界尺寸进行调整，以此类推，进而可以利用多次调整的第二区域对下一个边缘标注点进行预测，由此通过重复调整和重复调整后的预测，来使得第二区域的边界尺寸能够更加准确，进而能够基于该边界吃醋能够更加准确的预测出当前边缘标注点的下一个边缘标注点，以提高对象的边缘标注准确率。

基于以上实现，本实施例中在步骤103之后，还可以对当前边缘标注点的当前特征参数进行调整，进而经过调整的当前特征参数能够用于重新获得当前边缘标注点的下一个边缘标注点，或者，还能够更新特征列表中标注次序与当前边缘标注点一致的训练特征参数，以便于下一张图像的标注时能够提高标注准确率。

具体的，本实施例中可以在用户针对当前边缘标注点进行手动标注之后，对其手动标注的标注点进行获取，进而根据该标注点所在的第二区域来调整当前边缘标注点的当前特征参数，如调整得到当前特征参数的特征权值等。

上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。

参考图17，为本申请实施例二提供的一种图像中对象的标注装置的结构示意图，该装置可以配置在能够进行图像处理的电子设备中，如计算机或服务器等，该电子设备能够输出图像，以实现对图像中的对象的标注，而且，该电子设备中的装置主要用于提高图像中对象的标注效率。

具体的，本实施例中的装置可以包括以下单元：

第一获得单元1701，用于获得用户对第一图像的第一个边缘标注点；

参数获得单元1702，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；

第二获得单元1703，用于基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；

所述第二获得单元1703还用于：将所述下一个边缘标注点作为新的当前边缘标注点，重新触发所述参数获得单元1702执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

由上述方案可知，本申请实施例二提供的一种图像中对象的标注装置，在用户对图像的第一个边缘标注点进行标注之后，通过对该第一个边缘标注点对应的特征参数，预测下一个边缘标注点，之后再利用这下一个边缘标注点的特征参数，再预测下一个的下一个边缘标注点，以此类推，直到预测出与第一个边缘标注点重合的最后一个边缘标注点，完成对象的标注边缘线的预测。可见，本实施例中只需要用户标注图像中的第一个边缘标注点，之后就可以利用前一个标注点的特征参数对后一个边缘标注点进行预测，不再需要用户的手动标注，由此明显减少用户的标注操作，降低用户标注对象所消耗的工作时长，由此提高图像中对象的标注效率。

在一种实现方式中，所述当前边缘标注点在所述第一图像上具有当前标注次序；

其中，所述当前边缘标注点对应的当前特征参数通过以下方式获得：

在特征列表中，获得在所述当前标注次序上的训练特征参数作为所述当前边缘标注点的当前特征参数；

其中，所述特征列表中包括多个训练特征参数，所述训练特征参数具有训练标注次序，所述训练标注次序上的训练特征参数通过以下方式获得：

获得用户在训练图像上针对所述训练标注次序的第一边缘标注点；

至少基于所述第一边缘标注点对应的初始的训练特征参数，获得所述训练标注次序的下一个标注次序对应的预测边缘标注点；

获得用户在所述训练图像上所述训练标注次序的下一个标注次序对应的第二边缘标注点；

基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，以使得利用经过调整的训练特征参数重新获得的预测边缘标注点与所述第二边缘标注点相一致。

例如，基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，可以通过以下方式实现：

获得所述第二边缘标注点和所述预测边缘标注点之间的特征差值，所述特征差值表征所述预测边缘标注点在多个特征项上与所述第二边缘标注点之间的距离；

基于所述特征差值，对所述第一边缘标注点上在所述特征项上对应的特征权值进行增加或降低，以调整至少基于所述特征权值得到的训练特征参数。

在一种实现方式中，所述第一边缘标注点对应的初始的训练特征参数通过以下方式获得：

获得第一区域中在多个特征项上的特征值和所述特征项对应的预设特征权值；所述第一区域为所述训练图像中以所述第一边缘标注点为中心的图像区域；

对所述特征项的特征值利用对应的特征权值进行加权求和，得到和值；

至少基于所述和值，获得所述第一边缘标注点对应的训练特征参数。

在一种实现方式中，第二获得单元具体用于：

基于所述当前边缘标注点对应的当前特征参数，利用具有多个卷积核的卷积算法对第二区域进行卷积计算，得到卷积结果，所述卷积结果中包括多个经过所述当前边缘标注点的预测边缘线及所述预测边缘线对应的置信度值；所述第二区域为所述第一图像中以所述当前边缘标注点为中心的图像区域；

获得所述预测边缘线与所述第二区域的边界的预测边缘交点，所述预测边缘交点与所述当前边缘标注点之间具有预设的标注顺序；

在所述预测边缘交点中，获得对应的预测边缘线的置信度值满足预设条件的目标交点，以所述目标交点作为所述当前边缘标注点的下一个边缘标注点。

可选的，所述第二区域具有边界尺寸值；

其中，第二获得单元还用于：

至少基于所述当前边缘标注点和所述下一个边缘标注点在各自所属第二区域中的位置，对所述第二区域的边界尺寸进行调整。

可选的，第二获得单元还用于：

对所述当前边缘标注点的当前特征参数进行调整，经过调整的当前特征参数至少用于：重新获得所述下一个边缘标注点，和/或，更新所述特征列表中标注次序与所述当前边缘标注点一致的训练特征参数。

可选的，所述第一图像的第一个边缘标注点与所述训练图像中的第一个边缘标注点之间具有关联关系，所述关联关系包括：两个边缘标注点在各自图像中所属的对象上的属性相一致。

需要说明的是，本实施例中各单元的具体实现可以参考前文中相应内容，此处不再详述。

另外，本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现以上所述的图像中对象的标注方法。

参考图18，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行图像处理的电子设备，如计算机或服务器等，该电子设备能够输出图像，以实现对图像中的对象的标注，而且，该电子设备主要用于提高图像中对象的标注效率。

具体的，本实施例中的电子设备可以包括以下结构：

显示部件1801，用于显示第一图像。

其中，显示部件1801可以为显示器等具有显示区域，能够显示图像的部件。

输入部件1802，用于获得用户对所述第一图像的第一个边缘标注点。

其中，输入部件1802可以为显示器上的触控屏，也可以为鼠标等输入部件。能够对第一图像中的点进行标注。

处理器1803，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

由上述方案可知，本申请实施例三提供的一种电子设备，在用户对图像的第一个边缘标注点进行标注之后，通过对该第一个边缘标注点对应的特征参数，预测下一个边缘标注点，之后再利用这下一个边缘标注点的特征参数，再预测下一个的下一个边缘标注点，以此类推，直到预测出与第一个边缘标注点重合的最后一个边缘标注点，完成对象的标注边缘线的预测。可见，本实施例中只需要用户标注图像中的第一个边缘标注点，之后就可以利用前一个标注点的特征参数对后一个边缘标注点进行预测，不再需要用户的手动标注，由此明显减少用户的标注操作，降低用户标注对象所消耗的工作时长，由此提高图像中对象的标注效率。

需要说明的是，本实施例中处理器的具体实现可以参考前文中相应内容，此处不再详述。

以下以训练样本图像中对小兔子的边缘进行标注为例，对本申请的技术方案进行举例说明：

首先，本申请的技术方案是一种结合多种图像特征和标注点顺序特征的逐像素标注方案，在训练阶段，对于同一目标对象只需用户按照约定顺序对训练图像完成一次完整的边缘标注；接下来，在预测阶段，对各图像的每次预测只需要用户点击一次起始的标注点(第一个边缘标注点)，基于本申请的技术方案所搭建的应用程序则自动预测其余标注点(下一个边缘标注点)。

其中，在训练阶段，将标注点之间的图像特征(包括灰度、颜色、纹理、历史方向趋势、纠错差值等)以及顺序特征的加权和存入有序特征列表L中。而预测阶段与训练共存，当用户点击起始标注点后，根据有序特征列表中对应的特征算子(加权和)预测出下一个标注点，并结合用户纠正信息及全局特征信息动态调整特征算子权重，从而使得预测精度随着标注次数的增加不断上升，完成L的训练。

具体的，本申请的技术方案的总体流程分为两个阶段，分别是训练阶段和预测阶段。在训练阶段用户需按照约定顺序(如顺时针)完成一次完整的目标边缘标注，程序结合预测点与用户标注点的特征差值调整特征权重。由于引入了标注点的顺序作为一种特征，因此对于每个标注点的预测，只需要结合与上一标注点之间的关联特征作为依据即可实现预测，无需学习全局特征信息，因此能够排除背景噪声对预测点的干扰。具体流程如图19中所示：

1、初始化长度为m的有序特征列表L，其中，m为训练图像中标注点的总数；其中，有序特征列表L用于存储不同标注点P(i)对应的加权特征算子L(i)，L的长度m在标注过程中可以根据实际情况动态调整。且L为有序列表，用户的标注顺序也按照规定的方向进行(如顺时针或逆时针)，因此L(i)的顺序能够作为一种特征为预测下一标注点P(i+1)提供支持。

2、获得用户在训练图像上点击的起始标注点P(1)，即第一个边缘标注点；其中，起始标注点P(1)由用户点击，需要注意的是，当确定了训练阶段的P(1)后，实际预测阶段均需要点击一次具有P(1)特征的标注点，才能够自动生成所有边缘标注点。

3、从原图(训练图像)裁剪出从原图中裁剪出以P(i)为中心，n*n大小的搜索区域范围D(i)，i表示次序；其中，D(i)用于预测下一标注点P(i+1)的位置，已知P(i)落于若干条边缘线上，那么P(i+1)一定存在于某一条边缘线与D(i)的某条边界线的交点上，本案的目的在于预测置信度最高的焦点作为P(i+1)，因此，D(i)的边长n在标注过程中可以根据实际情况动态调整。

4、使用P(i)对应的特征算子L(i)，对D(i)上可能存在的P(i+1)进行预测，得到按置信度排序的预测点列表PL(i)；其中，L(i)是D(i)中灰度、颜色、纹理、历史方向趋势、顺序、纠错差值等特征加权之后得到的综合特征算子，经过L(i)卷积计算后会得到N条经过P(i)的边缘线及相应的置信度，计算边缘线与D(i)四条边界的交点，可以得到2N个预测点P(i+1)`，将它们按照置信度排序存入PL(i)中，选择置信度最高的预测点作为P(i+1)``。

5、获得用户点击的下一个标注点P(i+1)；其中，用户可以根据实际情况，点击边缘线上的下一个标注点。

6、计算P(i+1)与PL(i)的特征差值，根据结果动态调整L(i)；其中，计算用户点击的P(i+1)与PL(i)中2N个预测点P(i+1)`的特征差值(包括灰度、颜色、纹理等特征)，并根据差值调整L(i)的权重，添加正则项。重新预测，调整PL(i)的置信度排序。

7、判断P(i+1)是否到达起始标注点P(1)，如果是，表明此时训练图像标注完成，此时更新特征列表L，否则，继续下一个标注训练，即P(i)＝P(i+1)将用户选择的下一个标注点P(i+1)作为当前标注点P(i)之后，返回3。

而在预测阶段用户每次仅需点击一次约定的起始标注点(如小动物的左耳尖)，程序则自动生成其余所有边缘标注点。在此过程中，用户可随时纠正预测点，纠正误差将被反馈到特征算子中，使得特征权重动态调优。具体流程如图20中所示：

1、获得用户点击的起始标注点P(1)，即第一个边缘标注点，与训练图像中的标注点相对应；其中，用户需要点击一次起始标注点P(1)，在允许的误差范围内，P(1)必须与训练阶段定义的P(1)特征相吻合(例如每次都点击小动物的左耳尖)。

2、以P(i)为中心，边长为n搜索区域范围D(i)内根据L(i)预测P(i+1)；其中，L是训练阶段得到的有序特征列表，利用L(i)加权特征算子对D(i)进行卷积运算，将会得到若干个预测标注点P(i+1)`，按照置信度对P(i+1)`，按照置信度对P(i+1)`排序，选择置信度最高的预测点作为P(i+1)，并绘制在目标边缘上。

3、判断用户是否调整已预测的点，如果是，计算并反馈用户点击的像素点与P(i+1)的特征差值，调整L(i)权重，执行4，否则，直接执行4；其中，用户随时可以对任何预测点进行调整，本实施例将自动学习纠错数据，并反馈到L上，动态调整特征算子权重。初始几次预测可能会存在偏差较大的问题，但随着权重不断调整，特征算子学习到更多的正负样本和方向趋势信息，预测精度也随之提高。

4、判断是否需要调整搜索区域范围尺寸，如果是，调整搜索区域边长n，执行5，否则，直接执行5；其中，对于不同尺寸的目标采用相同长度的L或者相同边长的D都是不合适的，因此应该根据实际检测目标动态调整m和n的大小。例如，当发现连续k个L(i)都相同时，意味着D(i)的边长过小，此时应增大m和n，使其搜索范围更广。

5、判断当前是否到达起始标注点P(1)，如果是，更新特征列表L，否则将P(i)＝P(i+1)，返回执行3。

可见，本申请的技术方案能够实现半自动化的图像标注，例如，对于同一目标，当用户完成一次逐点标注后，每次标注只需点击一次初始像素点，本申请即可自动生成剩余所有边缘标注点；而且，本申请的技术方案无需大量训练样本，只需用户完成一次完整的手动标注，因此更加轻量化，更加易用；另外，本申请的技术方案能够权衡多种图像特征，具有较强的鲁棒性，并引入标注顺序作为一种特征，能够避免模型学习到不必要的特征。除此之外，本申请的技术方案具有反馈机制，用户可以随时纠正预测点，纠正误差可以反馈到特征算子的调整中，以动态调整特征权重，进而提高预测准确率。由此，本申请的技术方案的适用性比较广，对待检测的目标类别没有任何限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像中对象的标注方法，包括：

获得用户对第一图像的第一个边缘标注点；

将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；

基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；

将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

2.根据权利要求1所述的方法，所述当前边缘标注点在所述第一图像上具有当前标注次序；

其中，所述当前边缘标注点对应的当前特征参数通过以下方式获得：

在特征列表中，获得在所述当前标注次序上的训练特征参数作为所述当前边缘标注点的当前特征参数；

其中，所述特征列表中包括多个训练特征参数，所述训练特征参数具有训练标注次序，所述训练标注次序上的训练特征参数通过以下方式获得：

获得用户在训练图像上针对所述训练标注次序的第一边缘标注点；

至少基于所述第一边缘标注点对应的初始的训练特征参数，获得所述训练标注次序的下一个标注次序对应的预测边缘标注点；

获得用户在所述训练图像上所述训练标注次序的下一个标注次序对应的第二边缘标注点；

基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，以使得利用经过调整的训练特征参数重新获得的预测边缘标注点与所述第二边缘标注点相一致。

3.根据权利要求2所述的方法，所述第一边缘标注点对应的初始的训练特征参数通过以下方式获得：

获得第一区域中在多个特征项上的特征值和所述特征项对应的预设特征权值；所述第一区域为所述训练图像中以所述第一边缘标注点为中心的图像区域；

对所述特征项的特征值利用对应的特征权值进行加权求和，得到和值；

至少基于所述和值，获得所述第一边缘标注点对应的训练特征参数。

4.根据权利要求2或3所述的方法，基于所述第二边缘标注点和所述预测边缘标注点，对所述第一边缘标注点的训练特征参数进行调整，包括：

获得所述第二边缘标注点和所述预测边缘标注点之间的特征差值，所述特征差值表征所述预测边缘标注点在多个特征项上与所述第二边缘标注点之间的距离；

基于所述特征差值，对所述第一边缘标注点上在所述特征项上对应的特征权值进行增加或降低，以调整至少基于所述特征权值得到的训练特征参数。

5.根据权利要求1或2所述的方法，基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点，包括：

基于所述当前边缘标注点对应的当前特征参数，利用具有多个卷积核的卷积算法对第二区域进行卷积计算，得到卷积结果，所述卷积结果中包括多个经过所述当前边缘标注点的预测边缘线及所述预测边缘线对应的置信度值；所述第二区域为所述第一图像中以所述当前边缘标注点为中心的图像区域；

获得所述预测边缘线与所述第二区域的边界的预测边缘交点，所述预测边缘交点与所述当前边缘标注点之间具有预设的标注顺序；

在所述预测边缘交点中，获得对应的预测边缘线的置信度值满足预设条件的目标交点，以所述目标交点作为所述当前边缘标注点的下一个边缘标注点。

6.根据权利要求5所述的方法，所述第二区域具有边界尺寸值；

其中，在基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点之后，所述方法还包括：

至少基于所述当前边缘标注点和所述下一个边缘标注点在各自所属第二区域中的位置，对所述第二区域的边界尺寸进行调整。

7.根据权利要求2所述的方法，在基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点之后，所述方法还包括：

对所述当前边缘标注点的当前特征参数进行调整，经过调整的当前特征参数至少用于：重新获得所述下一个边缘标注点，和/或，更新所述特征列表中标注次序与所述当前边缘标注点一致的训练特征参数。

8.根据权利要求2所述的方法，所述第一图像的第一个边缘标注点与所述训练图像中的第一个边缘标注点之间具有关联关系，所述关联关系包括：两个边缘标注点在各自图像中所属的对象上的属性相一致。

9.一种图像中对象的标注装置，包括：

第一获得单元，用于获得用户对第一图像的第一个边缘标注点；

参数获得单元，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；

第二获得单元，用于基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；

所述第二获得单元还用于：将所述下一个边缘标注点作为新的当前边缘标注点，重新触发所述参数获得单元执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

10.一种电子设备，包括：

显示部件，用于显示第一图像；

输入部件，用于获得用户对所述第一图像的第一个边缘标注点；

处理器，用于将所述第一个边缘标注点作为当前边缘标注点，获得所述当前边缘标注点对应的当前特征参数；基于所述当前边缘标注点对应的当前特征参数，获得所述当前边缘标注点的下一个边缘标注点；其中，所述当前边缘标注点为多条预测边缘线的交点，所述下一个边缘标注点为所述多条预测边缘线中的一条预测边缘线上的点；将所述下一个边缘标注点作为新的当前边缘标注点，重新执行所述获得所述当前边缘标注点对应的当前特征参数，直到新的当前边缘标注点与所述第一个边缘标注点相一致，所述边缘标注点组成所述对象的标注边缘线。

Images