CN115393379A - 一种数据标注方法及相关产品 - Google Patents

Abstract

本申请公开了一种数据标注方法及相关产品，属于数据处理技术领域。该方法包括：获得目标图像中包含的目标对象的第一边缘线和第二边缘线；第一边缘线和第二边缘线不同；根据第一边缘线，得到目标对象的第一轮廓；利用第二边缘线对第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。本方法通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

Description

一种数据标注方法及相关产品

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据标注方法及相关产品。

背景技术

标签是一种用来描述业务实体特征的数据形式，通过标签可以对业务实体进行刻画，从多角度反映业务实体的特征。标签可以由数据标注得到，数据标注是通过数据标注人员借助标记工具对数据进行标注的行为。数据标注的类型包括：图像标注、语音标注、文本标注等。其中，图像标注可应用于人脸识别以及自动驾驶车辆识别等应用场景中。数据标注人员需要对不同的目标标记物用不同的颜色进行轮廓标记，然后对相应的轮廓打标签，用标签来概述轮廓内的目标标记物，以便让模型能够自动识别图像中的不同标记物。随着基于数据驱动的图像处理技术在各个领域获得广泛使用，越来越多的应用场景需要使用标签来自动识别图像中包含的不同标记物。而标签需要通过数据标注得到，因此，如何优化数据标注的准确率和效率至关重要。

目前，通常采用交互式图像分割标注的方法进行数据标注。具体为，人工给定初始区域，利用分割算法在初始区域中对目标对象进行分割，得到目标对象的边缘点，进而通过修正边缘点来修正对目标对象的分割结果。

但是，上述标注方法需要人工对边缘点逐一修正，耗时耗力，且标注结果的准确率及效率较低。

发明内容

本申请实施例提供了一种数据标注方法及相关产品，通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

第一方面，本申请实施例提供了一种数据标注方法，该方法包括：

获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

根据所述第一边缘线，得到所述目标对象的第一轮廓；

利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

本申请实施例中，通过对目标图像做不同的处理，可以得到目标图像中包含的目标对象的不同边缘线，比如第一边缘线和第二边缘线。然后基于第一边缘线对目标对象进行初标，得到目标对象的第一轮廓。再利用第二边缘线对初标得到的第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。

目前的数据标注方法，通常分割算法对目标对象进行分割，得到目标对象的边缘点，进而通过修正边缘点来修正目标对象的轮廓。因此，需要人工对边缘点逐一修正，耗时耗力，且标注结果的准确率及效率较低。

本申请实施例提供的数据标注方法，与目前常用的数据标注方法相比，采用第一边缘线对目标对象进行初标，再利用第二边缘线对初标得到的第一轮廓的边缘线进行修正，从而将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

在一种可能的实施方式中，所述利用所述第二边缘线对所述第一轮廓的边缘线进行修正，包括：

将所述第二边缘线与所述第一轮廓的边缘线构成的轮廓，确定为所述第二轮廓。

在本申请实施例中，提供了一种利用第二边缘线对第一轮廓的边缘线进行修正的可能的实施方式。将第二边缘线与第一轮廓的边缘线构成的轮廓，确定为目标对象的第二轮廓，该修正方法提高了标注结果的准确率及效率。

在一种可能的实施方式中，所述获得目标图像中包含的目标对象的第一边缘线和第二边缘线之前，所述方法还包括：

对所述目标图像做分割处理，得到所述目标对象的第一边缘点；所述分割处理用于将所述目标图像中包含的所述目标对象分离出来；

对所述目标对象做边缘检测，得到所述目标对象的第二边缘点；所述边缘检测用于将所述目标对象的边缘分离出来；

所述获得目标图像中包含的目标对象的第一边缘线和第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线。

在本申请实施例中，提供了一种获得目标图像中包含的目标对象的第一边缘线和第二边缘线的可能的实施方式。即在确定目标对象的第一边缘线和第二边缘线之前，先通过对目标图像做分割处理，将目标图像中的目标对象分离出来，以得到目标对象的第一边缘点。此处的分割处理包括基于非深度学习的图像分割方法(如基于分水岭算法、图论的分割方法等)与基于深度学习的图像分割方法，两者的主要差别是基于深度学习的图像分割方法需要使用到卷积神经网络。在将目标图像中的目标对象分离出来之后，再对该目标对象做边缘检测，将该目标对象的边缘分离出来，得到目标对象的第二边缘点。此处的边缘检测包括基于非预选框深度学习的边缘检测与基于预选框深度学习的边缘检测，两者的区别在于是否使用到预选框，基于预选框深度学习的边缘检测不是检测目标图像上的像素点是否为边缘点，而是检测每一个预选框对应的边缘点的位置及类别。上述第一边缘点和第二边缘点虽然都是目标对象的边缘点，但是通过对目标对象采取不同的方式得到的边缘点，因此，上述第一边缘点和第二边缘点不完全相同。根据第一边缘点和第二边缘点，可以确定上述目标对象的第一边缘线和第二边缘线。由于上述第一边缘点和第二边缘点不完全相同，相应的，据此得到的第一边缘线和第二边缘线也不完全相同。

通过本申请实施例所提供的获得第一边缘线和第二边缘线的实施方式，可以提高获取到的目标对象的边缘线的精度，且有利于后续将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，提高标注结果的准确率及效率。

在一种可能的实施方式中，所述根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，得到所述第一边缘线；所述第一边缘线上的点为所述第一边缘点和所述第二边缘点重合的边缘点；

根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线。

在本申请实施例中，提供了一种根据第一边缘点和第二边缘点确定第一边缘线和第二边缘线的可能的具体实施方式。将第一边缘点和第二边缘点重合的边缘点所构成的线确定为第一边缘线，即该第一边缘线均位于上述分割处理和边缘检测得到的边缘结果上，上述分割处理和边缘检测均可得到该第一边缘线。再根据第一边缘点、第二边缘点以及上述第一边缘线，确定第二边缘线。本申请实施例得到的第一边缘线和第二边缘线的精度更高，据此标注的结果准确率及效率也更高。

在一种可能的实施方式中，所述根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，得到第三边缘线；所述第三边缘线上的点为所述第一边缘点或所述第二边缘点，且不为所述第一边缘点和所述第二边缘点重合的边缘点；

将与所述第一边缘线有两个或两个以上的交点的所述第三边缘线，确定为所述第二边缘线。

在本申请实施例中，提供了一种根据第一边缘点、第二边缘点以及第一边缘线确定第二边缘线的可能的具体实施方式。将第一边缘点和第二边缘点的并集去除第一边缘点和第二边缘点重合的边缘点后所构成的线确定为第三边缘线，即该第三边缘线位于上述分割处理得到的边缘结果上，或位于上述边缘检测得到的边缘结果上，不是均位于分割处理和边缘检测得到的边缘结果上。再将与上述第一边缘线有两个或两个以上交点的第三边缘线，确定为上述第二边缘线。本申请实施例得到的第二边缘线的精度更高，利用该第二边缘线可将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，有利于提高修正的准确率及效率。

在一种可能的实施方式中，所述对所述目标对象做边缘检测，得到所述目标对象的第二边缘点，包括：

根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签；

根据所述目标对象的标签，调整所述目标对象的边缘线上的边缘点，得到所述第二边缘点。

在本申请实施例中，提供了一种边缘检测的可能的实施方式。对该目标对象做边缘检测，将该目标对象的边缘分离出来，得到目标对象的第二边缘点。其中，基于预选框深度学习的边缘检测不是检测目标图像上的像素点是否为边缘点，而是检测每一个预选框对应的边缘点的位置及类别。即根据边缘线上的各个预选框对应的边缘点的位置，确定该目标对象的类别标签，再根据类别标签去调整边缘线上各个预选框对应的边缘点，为各个预选框对应的边缘点分配边缘方向和边缘距离，按照边缘方向移动各个预选框对应的边缘点的边缘距离，得到上述第二边缘点。本申请实施例通过基于预选框深度学习的边缘检测，可以使得到的第二边缘点位置精度更高，据此得到的目标对象的边缘线也更准确，有利于提高标注结果的准确率及效率。

在一种可能的实施方式中，所述根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签，包括：

在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘点个数小于位于所述第二标签上的边缘点个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘点个数等于位于所述第二标签上的边缘点个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

在本申请实施例中，提供了一种确定目标对象的类别标签的可能的实施方式。将目标对象的边缘线上各个预选框对应的边缘点所在标签高的类别，确定为目标对象的类别标签，即边缘线上的点位于哪一类别，则预选框类别即为那个类别。比如，在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将该第一标签确定为目标对象的类别标签，同理，在位于第一标签上的边缘点个数小于位于第二标签上的边缘点个数的情况下，将该第二标签确定为目标对象的类别标签。在位于第一标签上的边缘点个数等于位于第二标签上的边缘点个数的情况下，进一步根据标签的关键度来确定目标对象的类别标签。本申请实施例通过为预选框分配类别来确定目标对象的类别标签，可以提高确定目标对象类别的准确率及效率，并据此调整目标对象的边缘线上的边缘点，可以使得到的第二边缘点位置精度更高。

在一种可能的实施方式中，所述对所述目标图像做分割处理，得到所述目标对象的第一边缘点，包括：

将所述目标图像输入至卷积神经网络中做所述分割处理，得到所述第一边缘点。

在本申请实施例中，利用基于深度学习的图像分割方法将目标图像输入至卷积神经网络做分割处理，与目前常用的交互式图像分割方法相比，本方法得到的目标对象的边缘点更为准确，且分割效率更高。

在一种可能的实施方式中，所述根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签，包括：

在所述第一标签的关键度高于所述第二标签的关键度的情况下，将所述第一标签确定为所述目标对象的标签；

在所述第二标签的关键度高于所述第一标签的关键度的情况下，将所述第二标签确定为所述目标对象的标签。

在本申请实施例中，提供了一种确定目标对象的类别标签的可能的具体实施方式。即在位于第一标签上的边缘点个数等于位于第二标签上的边缘点个数的情况下，将进一步根据标签的关键度来确定目标对象的类别标签。比如，在第一标签的关键度高于第二标签的关键度的情况下，将该第一标签确定为目标对象的类别标签，同理，在第二标签的关键度高于第一标签的关键度的情况下，将该第二标签确定为目标对象的第二标签。本申请实施例通过进一步比较标签关键度来确定目标对象的类别标签，可以提高确定目标对象类别的准确率及效率，并据此调整目标对象的边缘线上的边缘点，可以使得到的第二边缘点位置精度更高。

在一种可能的实施方式中，所述方法还包括：

根据目标雷达的目标数据，得到目标对象的第一边框和第二边框；所述第一边框和所述第二边框不同，所述目标数据包括所述目标雷达探测所述目标对象得到的数据；

根据所述第一边框，得到所述目标对象的第一轮廓；

利用所述第二边框对所述第一轮廓的边框进行修正，得到所述目标对象的第二轮廓。

本申请实施例中，通过对目标雷达探测目标对象所采集到的目标数据做不同的处理，可以得到目标对象的不同边框，比如第一边框和第二边框。然后基于第一边框对目标对象进行初标，得到目标对象的第一轮廓。再利用第二边框对初标得到的第一轮廓的边框进行修正，得到目标对象的第二轮廓。

本申请实施例提供的数据标注方法，不仅适用于对二维图像数据的标注，还适用于对三维雷达数据的标注。将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边框的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

在一种可能的实施方式中，所述利用所述第二边框对所述第一轮廓的边框进行修正，包括：

将所述第二边框与所述第一轮廓的边框构成的轮廓，确定为所述第二轮廓。

在一种可能的实施方式中，所述根据目标雷达的目标数据，得到目标对象的第一边框和第二边框之前，所述方法还包括：

对所述目标对象做分割处理，得到所述目标对象的第一边缘面；所述分割处理用于将所述目标对象从所述目标雷达的探测区域中分离出来；

对所述目标对象做边缘检测，得到所述目标对象的第二边缘面；所述边缘检测用于将所述目标对象的边缘分离出来；

所述根据目标雷达的目标数据，得到目标对象的第一边框和第二边框，包括：

根据所述第一边缘面和所述第二边缘面，确定所述第一边框和所述第二边框。

在一种可能的实施方式中，根据所述第一边缘面和所述第二边缘面，确定所述第一边框和所述第二边框，包括：

根据所述第一边缘面和所述第二边缘面，得到所述第一边框；所述第一边框上的边缘面为所述第一边缘面和所述第二边缘面重合的边缘面；

根据所述第一边缘面、所述第二边缘面以及所述第一边框，得到所述第二边框。

在一种可能的实施方式中，根据所述第一边缘面、所述第二边缘面以及所述第一边框，得到所述第二边框，包括：

根据所述第一边缘面和所述第二边缘面，得到第三边框；所述第三边框上的面为所述第一边缘面或所述第二边缘面，且不为所述第一边缘面和所述第二边缘面重合的边缘面；

将与所述第一边框有两个或两个以上相交的面的所述第三边框，确定为所述第二边框。

在一种可能的实施方式中，所述对所述目标对象做边缘检测，得到所述目标对象的第二边缘面，包括：

根据所述目标对象的边框上的边缘面的位置，确定所述目标对象的标签；

根据所述目标对象的标签，调整所述目标对象的边框上的边缘面，得到所述第二边缘面。

在一种可能的实施方式中，根据所述目标对象的边框上的边缘面的位置，确定所述目标对象的标签，包括：

在位于第一标签上的边缘面个数大于位于第二标签上的边缘面个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘面个数小于位于所述第二标签上的边缘面个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘面个数等于位于所述第二标签上的边缘面个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

第二方面，本申请实施例提供了一种数据标注装置，该装置包括：

确定单元，用于获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

所述确定单元，还用于根据所述第一边缘线，得到所述目标对象的第一轮廓；

修正单元，用于利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

在一种可能的实施方式中，所述修正单元，具体用于将所述第二边缘线与所述第一轮廓的边缘线构成的轮廓，确定为所述第二轮廓。

在一种可能的实施方式中，所述装置还包括：

分割单元，用于对所述目标图像做分割处理，得到所述目标对象的第一边缘点；所述分割处理用于将所述目标图像中包含的所述目标对象分离出来；

边缘检测单元，用于对所述目标对象做边缘检测，得到所述目标对象的第二边缘点；所述边缘检测用于将所述目标对象的边缘分离出来；

所述确定单元，具体用于根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线。

在一种可能的实施方式中，所述确定单元，具体还用于根据所述第一边缘点和所述第二边缘点，得到所述第一边缘线；所述第一边缘线上的点为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元，具体还用于根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线。

在一种可能的实施方式中，所述确定单元，具体还用于根据所述第一边缘点和所述第二边缘点，得到第三边缘线；所述第三边缘线上的点为所述第一边缘点或所述第二边缘点，且不为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元，具体还用于将与所述第一边缘线有两个或两个以上的交点的所述第三边缘线，确定为所述第二边缘线。

在一种可能的实施方式中，所述边缘检测单元，具体用于根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签；

所述边缘检测单元，具体还用于根据所述目标对象的标签，调整所述目标对象的边缘线上的边缘点，得到所述第二边缘点。

在一种可能的实施方式中，所述边缘检测单元，具体还用于在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘点个数小于位于所述第二标签上的边缘点个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘点个数等于位于所述第二标签上的边缘点个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

在一种可能的实施方式中，所述分割单元，具体用于将所述目标图像输入至卷积神经网络中做所述分割处理，得到所述第一边缘点。

在一种可能的实施方式中，所述确定单元，具体还用于在所述第一标签的关键度高于所述第二标签的关键度的情况下，将所述第一标签确定为所述目标对象的标签；

所述确定单元，具体还用于在所述第二标签的关键度高于所述第一标签的关键度的情况下，将所述第二标签确定为所述目标对象的标签。

在一种可能的实施方式中，所述确定单元，用于根据目标雷达的目标数据，得到目标对象的第一边框和第二边框；所述第一边框和所述第二边框不同，所述目标数据包括所述目标雷达探测所述目标对象得到的数据；

所述确定单元，还用于根据所述第一边框，得到所述目标对象的第一轮廓；

所述修正单元，用于利用所述第二边框对所述第一轮廓的边框进行修正，得到所述目标对象的第二轮廓。

在一种可能的实施方式中，所述修正单元，具体用于将所述第二边框与所述第一轮廓的边框构成的轮廓，确定为所述第二轮廓。

在一种可能的实施方式中，所述分割单元，用于对所述目标对象做分割处理，得到所述目标对象的第一边缘面；所述分割处理用于将所述目标对象从所述目标雷达的探测区域中分离出来；

所述边缘检测单元，用于对所述目标对象做边缘检测，得到所述目标对象的第二边缘面；所述边缘检测用于将所述目标对象的边缘分离出来；

所述确定单元，具体用于根据所述第一边缘面和所述第二边缘面，确定所述第一边框和所述第二边框。

在一种可能的实施方式中，所述确定单元，具体还用于根据所述第一边缘面和所述第二边缘面，得到所述第一边框；所述第一边框上的边缘面为所述第一边缘面和所述第二边缘面重合的边缘面；

所述确定单元，具体还用于根据所述第一边缘面、所述第二边缘面以及所述第一边框，得到所述第二边框。

在一种可能的实施方式中，所述确定单元，具体还用于根据所述第一边缘面和所述第二边缘面，得到第三边框；所述第三边框上的面为所述第一边缘面或所述第二边缘面，且不为所述第一边缘面和所述第二边缘面重合的边缘面；

所述确定单元，具体还用于将与所述第一边框有两个或两个以上相交的面的所述第三边框，确定为所述第二边框。

在一种可能的实施方式中，所述边缘检测单元，具体用于根据所述目标对象的边框上的边缘面的位置，确定所述目标对象的标签；

所述边缘检测单元，具体还用于根据所述目标对象的标签，调整所述目标对象的边框上的边缘面，得到所述第二边缘面。

在一种可能的实施方式中，所述边缘检测单元，具体还用于在位于第一标签上的边缘面个数大于位于第二标签上的边缘面个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘面个数小于位于所述第二标签上的边缘面个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘面个数等于位于所述第二标签上的边缘面个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

关于第二方面以及任一项可能的实施方式所带来的技术效果，可参考对应于第一方面以及相应的实施方式的技术效果的介绍。

第三方面，本申请实施例提供一种数据标注装置，所述数据标注装置包括处理器和存储器；所述存储器用于存储计算机程序或指令；所述处理器用于执行所述存储器所存储的计算机程序或指令，以使所述数据标注装置执行如上述第一方面以及任一项可能的实施方式的方法。

可选的，所述数据标注装置还包括收发器，所述收发器，用于接收数据或者发送数据。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序；当所述计算机程序被执行时，使得第一方面以及任一项可能的实施方式所述的方法被实现。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序；当所述计算机程序被执行时，使得第一方面以及任一项可能的实施方式所述的方法被实现。

第六方面，本申请实施例提供一种芯片，所述芯片包括处理器，所述处理器用于执行指令，当该处理器执行所述指令时，使得该芯片执行如第一方面以及任一项可能的实施方式所述的方法。

可选的，所述芯片还包括通信接口，所述通信接口用于输入数据或输出数据。

第七方面，本申请实施例提供一种终端，所述终端包括至少一个如第二方面或第三方面所述的数据标注装置，或第六方面所述的芯片。

第八方面，本申请实施例提供一种服务器，所述服务器包括至少一个如第二方面或第三方面所述的数据标注装置，或第六方面所述的芯片。

可选的，在执行上述第一方面以及任一项可能的实施方式所述的方法的过程中，上述处理器可以是专门用于执行这些方法的处理器，也可以是通过执行存储器中的计算机指令来执行这些方法的处理器，例如通用处理器。上述存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(Read Only Memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

在一种可能的实施方式中，上述至少一个存储器位于装置之外。

在又一种可能的实施方式中，上述至少一个存储器位于装置之内。

在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于装置之内，另一部分存储器位于装置之外。

本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。

本申请实施例中，通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据标注的效果示意图；

图2为本申请实施例提供的一种数据标注系统的架构示意图；

图3为本申请实施例提供的一种数据标注的应用场景示意图；

图4为本申请实施例提供的一种数据标注方法的流程示意图；

图5a为本申请实施例提供的一种数据标注的效果示意图；

图5b为本申请实施例提供的一种数据标注的效果示意图；

图5c为本申请实施例提供的一种数据标注的效果示意图；

图6a为本申请实施例提供的一种数据标注系统的架构示意图；

图6b为本申请实施例提供的一种数据标注系统的架构示意图；

图6c为本申请实施例提供的一种数据标注系统的架构示意图；

图7为本申请实施例提供的另一种数据标注方法的流程示意图；

图8为本申请实施例提供的一种数据标注装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例进行描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

本申请提供了一种数据标注方法，为了更清楚地描述本申请的方案，下面将结合本申请实施例中的附图，先介绍一些与数据标注相关的知识，再对本申请实施例进行描述。

请参阅图1，图1为本申请实施例提供的一种数据标注的效果示意图。

边缘面：图1中的(A)为车载雷达根据采集到的目标数据所得到的目标对象(目标车辆)的立体模型，该目标车辆的立体模型由若干个边缘面构成，该边缘面可以通过对采集到的目标数据进行标注得到，如图1中的(B)即为边缘面。

边缘线：如果将图1中的(B)作为目标对象(目标车辆)的二维图像模型，则该目标车辆的二维图像模型由若干条边缘线构成，该边缘线可以通过对采集到的二维图像数据进行标注得到，如图1中的(C)即为边缘线。

边缘点：通过对采集到的二维图像数据进行标注得到若干个边缘点，由这些边缘点可得到图1中的边缘线(C)，边缘线上标注的黑点即为边缘点。

图像标注：是指针对图像的视觉内容，通过机器学习的方法给图像添加反应其内容的文本特征信息的过程。基本思想是利用已标注图像集或其他可获得的信息，自动学习语义概念空间与视觉特征空间的潜在关联或者映射关系，给未知图像添加文本关键词。经过图像自动标注技术的处理，将图像信息问题可以转化为技术已经相对较成熟的文本信息处理问题。

图像数据标注广泛应用于自动驾驶、人像识别、医疗图像识别等领域中。其中，自动驾驶领域内的图像数据标注，主要有两种标注方式，一种是拉框标注，一种是精细的分割标注。

拉框标注方法，是在对图像标注的时候需要将框的边紧贴目标对象边缘，同时注明每一个框的属性。对于算法而言，每一个框都是一个小图，每一个小图对应一种对象类别，以车辆为例，通过上述拉框标注的方法，可以得到图像中的小汽车、面包车、小型货车等不同类别的车。标注的时候需要特别注意框与车辆的边缘相切，如果不相切，比如把不属于车辆的部分框选了进来，那么机器在学习的时候就有可能将多框选进来的部分识别为车辆，从而造成机器识别不准确甚至是识别错误的问题。此外，图像数据标注需要大量的标注数据，机器算法在大量数据的学习中，会自行总结这些对象的高维特征，在识别新图像时能够通过总结的高维特征对新的图像进行识别，对每一种可能的结果给出一个概率。

分割标注方法，是采用交互式图像分割的方法，对给定的原始图像的初始区域，利用分割算法在初始区域中对目标对象进行分割，从而产生一系列边缘点，进而通过修正边缘点来修正分割结果。

下面以分割标注方法为例进行简要说明，假设原始图像(a)中存在人、车、行道树、建筑等多种类别对象，分割标注需要识别出图像中存在的不同类别对象并检测其位置对其进行分割。

首先是对原始图像(a)进行语义分割，即对原始图像(a)中的每一个像素点进行分类，确定每个像素点的类别(如属于背景、人或车等)，从而对原始图像(a)中的每个对象打上类别标签，把图像中包含的对象分为人、行道树、车、建筑标签，并进行区域划分，得到图像(b)。

然后是对语义分割得到的图像(b)进行实例分割，实例分割是目标检测和语义分割的结合，即在图像中将目标对象检测出来，然后结合上述语义分割确定的每个像素点的类别，确定目标对象的类别标签，得到图像(c)。如以车为目标对象为例，语义分割不区分属于相同车类别的不同实例(比如所有车对象都标为红色)，而实例分割会结合语义分割的结果和目标对象检测，区分同类的不同实例(比如使用不同颜色区分不同的车类别)。

最后是对实例分割得到的图像(c)进行全景分割，全景分割是语义分割和实例分割的结合，即对图像中的所有目标都检测出来，同时又要区分出同个类别中的不同实例，得到图像(d)。对比图像(c)和图像(d)可以看出，实例分割只对图像中的目标对象(如图中的车)进行检测和按像素类别分割，区分不同实例(使用不同颜色)，而全景分割是对图中的所有物体包括背景均进行检测和分割，以区分不同实例(使用不同颜色)。

无论上述拉框标注方法还是分割标注方法，最后均需要对产生的目标对象的边缘点进行修正，而对边缘点逐一修正耗时耗力，且标注结果的准确率及效率较低。

针对上述数据标注方法中存在的标注结果准确率及效率较低的问题，本申请实施例提供了一种数据标注系统，以及基于该数据标注系统的新的数据标注方法。该方法通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

下面将分别对数据标注系统以及基于该数据标注系统的数据标注方法进行说明。

请参阅图2，图2为本申请实施例提供的一种数据标注系统的架构示意图。

如图2所示，该系统架构主要包括三方面：数据采集模块，存储模块，以及数据标注模块。其中，数据采集模块用于采集待标注的数据，具体可以通过摄像头采集图像数据，或通过雷达采集目标数据等。存储模块用于存储数据采集模块采集的待标注数据，该存储模块可以是云端或本地服务器，与数据采集模块通过移动网络实现数据通信。数据标注模块可以是独立的模块，也可以是智能驾驶平台，如移动数据中心(Mobile Data Center，MDC)，还可以是智能座舱平台，如座舱域控制器(Cockpit Domain Controller，CDC)，还可以是整车控制平台，如整车域控制器(Vehicle Domain Controller，VDC)等，用于从云端或者服务器中获取待标注数据进行标注，得到标注结果，并将该标注结果存储至云端或服务器，以便可以用于后续的数据识别中。

可以理解的是，图2中的数据标注系统架构只是本申请实施例中的一种示例性的实施方式，本申请实施例中的数据标注系统架构包括但不仅限于以上数据标注系统架构。

相应的，基于本申请实施例所提供的数据标注系统，还提供了一种新的数据标注方法，该方法的数据标注过程由上述数据标注系统中的数据标注模块完成。该方法可应用于如自动驾驶、人像识别、医疗图像识别等多种场景中，下面将以自动驾驶应用场景下的数据标注为例进行说明。

请参阅图3，图3为本申请实施例提供的一种数据标注的应用场景示意图。

如图3所示，该应用场景可以包括云端网络和多个车辆行驶控制装置(测试车、用户车a、用户车b、用户车c)。上述多个车辆行驶控制装置可以通过与云端网络进行数据通信，从而实现测试车与用户车之间的数据交互，以及不同用户车(用户车a、用户b、用户车c)之间的数据交互。特别的，上述车辆行驶控制装置是通过摄像头或车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。智能汽车集中运用了计算机、现代传感、信息融合、通讯、人工智能以及自动控制等技术，是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的高新技术综合体。其中，本申请中的车辆(如测试车、用户车a、用户车b、用户车c)可以是主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶目的的车辆，可以是拥有辅助驾驶系统或者全自动驾驶系统的智能车辆，还可以是轮式移动机器人等。

基于上述应用场景，在一种可能的实施方式中，本申请实施例所提供的数据标注方法由测试车完成。测试车在目标路段对应的行驶场景下，通过摄像头采集行驶过程中目标路段的图像数据，依靠车内的计算机系统完成对图像数据的标注，得到相应的数据标签，并将数据标签传输至云端网络中。用户车在实际行驶中，通过摄像头采集行驶路段的图像数据，并从云端网络获取测试车标注得到的数据标签，利用该数据标签结合图像识别算法，自动识别采集到的图像中存在的对象，从而达到感知道路环境，自动规划行车路线并控制车辆躲避障碍物对象，到达预定地址的目的。

在另一种可能的实施方式中，本申请实施例所提供的数据标注方法由用户车完成。由于在车辆实际行驶过程中，路况复杂多变，很难仅仅依靠测试车在目标路段的测试中得到的数据标签，来完成对所有采集到的图像数据的识别。此时，用户车需要依靠车内的计算机系统完成对图像数据的标注，得到相应的数据标签，并利用该数据标签结合图像识别算法，自动识别采集到的图像中存在的对象，从而达到感知道路环境，自动规划行车路线并控制车辆躲避障碍物对象，到达预定地址的目的。此外，用户车还将数据标签传输至云端网络中，以便可以用于其他用户车后续的图像识别中。

可以理解的是，图3中的自动驾驶应用场景下的数据标注只是本申请实施例中的一种示例性的实施方式，本申请实施例中的数据标注应用场景包括但不仅限于以上自动驾驶应用场景。

请参阅图4，图4为本申请实施例提供的一种数据标注方法的流程示意图，该方法包括但不限于如下步骤：

步骤401：电子设备获得目标图像中包含的目标对象的第一边缘线和第二边缘线。

本申请实施例中的电子设备为搭载了可用于执行计算机执行指令的处理器的设备。该电子设备可以是如计算机、控制器等终端，也可以是服务器等。具体可以是上述图3中的搭载了计算机系统的车载设备，用于对采集到的图像数据进行标注，得到相应的数据标签，并利用该数据标签结合图像识别算法，自动识别采集到的图像中存在的对象，以实现感知道路环境，自动规划行车路线并控制车辆躲避障碍物对象，到达预定地址的目的。

本申请实施例中，电子设备通过对目标图像做不同的处理，获得目标图像中包含的目标对象的第一边缘线和第二边缘线，该第一边缘线和第二边缘线不同。

电子设备对目标图像做不同的处理，具体可以是，通过对目标图像做分割处理，将目标图像中的目标对象分离出来，以得到目标对象的第一边缘点。此处的分割处理包括基于非深度学习的图像分割方法(如基于分水岭算法、图论的分割方法等)与基于深度学习的图像分割方法，两者的主要差别是基于深度学习的图像分割方法需要使用到卷积神经网络，将目标图像输入至卷积神经网络做分割处理。在将目标图像中的目标对象分离出来之后，再对该目标对象做边缘检测，将该目标对象的边缘分离出来，得到目标对象的第二边缘点。此处的边缘检测包括基于非预选框深度学习的边缘检测与基于预选框深度学习的边缘检测，两者的区别在于是否使用到预选框，基于预选框深度学习的边缘检测不是检测目标图像上的像素点是否为边缘点，而是检测每一个预选框对应的边缘点的位置及类别。

上述第一边缘点和第二边缘点虽然都是目标对象的边缘点，但是通过对目标对象采取不同的方式得到的边缘点，因此，上述第一边缘点和第二边缘点不完全相同。根据第一边缘点和第二边缘点，可以确定上述目标对象的第一边缘线和第二边缘线。由于上述第一边缘点和第二边缘点不完全相同，相应的，据此得到的第一边缘线和第二边缘线也不完全相同。

在一种可能的实施方式中，上述根据第一边缘点和第二边缘点确定目标对象的第一边缘线和第二边缘线，具体可以是，将第一边缘点和第二边缘点重合的边缘点所构成的线确定为第一边缘线，即该第一边缘线均位于上述分割处理和边缘检测得到的边缘结果上，上述分割处理和边缘检测均可得到该第一边缘线。然后将第一边缘点和第二边缘点的并集去除第一边缘点和第二边缘点重合的边缘点后所构成的线确定为第三边缘线，即该第三边缘线位于上述分割处理得到的边缘结果上，或位于上述边缘检测得到的边缘结果上，不是均位于分割处理和边缘检测得到的边缘结果上。最后将与上述第一边缘线有两个或两个以上交点的第三边缘线，确定为上述第二边缘线。

通过本申请实施例所提供的获得第一边缘线和第二边缘线的具体实施方式，可以提高获取到的目标对象的边缘线的精度，且有利于后续将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，提高标注结果的准确率及效率。

示例性的，还可以通过数据标注的效果示意图，对上述获得目标图像中包含的目标对象的第一边缘线和第二边缘线的实施方式做进一步说明。

请参阅图5a，图5a为本申请实施例提供的一种数据标注的效果示意图。

如图5a所示，通过对目标图像做分割处理，将目标图像中的目标对象分离出来，以得到目标对象的第一边缘点。再对该目标对象做边缘检测，将该目标对象的边缘分离出来，得到目标对象的第二边缘点。将上述第一边缘点和第二边缘点重合的边缘点(即图5a中标出的边缘点)所构成的线确定为目标对象的第一边缘线(即图5a中的边缘线a)。可以看出，该第一边缘线均位于上述分割处理和边缘检测得到的边缘结果上。

然后将上述第一边缘点和第二边缘点的并集去除第一边缘点和第二边缘点重合的边缘点(即图5a中标出的边缘点)后所构成的线确定为第三边缘线。可以看出，该第三边缘线位于上述分割处理得到的边缘结果上，或位于上述边缘检测得到的边缘结果上，并非均位于分割处理和边缘检测得到的边缘结果上。最后将与上述第一边缘线(即图5a中的边缘线a)有两个或两个以上交点的第三边缘线，确定为第二边缘线(即图5a中的边缘线b)。

示例性的，还可以通过数据标注的效果示意图，对上述基于预选框深度学习的边缘检测的实施方式做进一步说明。

请参阅图5b，图5b为本申请实施例提供的一种数据标注的效果示意图。

如图5b所示，对给定的目标图像包含的内容做了简要的区域划分，六边形为目标对象的实际轮廓，六边形以内的封闭区域为目标对象的内部区域，包含六边形的椭圆区域为目标对象的轮廓的敏感区域，需要在该敏感区域中标注目标对象，得到其精准轮廓。在该敏感区域中标注目标对象的过程中，可以基于预选框深度学习的边缘检测将该目标对象的边缘分离出来，得到目标对象的边缘点。

其中，基于预选框深度学习的边缘检测具体可参阅图5c，图5c为本申请实施例提供的一种数据标注的效果示意图。

如图5c所示，在对目标图像进行标注的过程中，需要将该目标对象划分成若干个网格单元，此处的预选框中的预选内容为目标图像划分成的网格的所有横轴线段，如图5c中椭圆区域标出的线段。基于预选框深度学习的边缘检测不是检测目标图像上的像素点是否为边缘点，而是检测每一个预选框对应的横轴线段上的边缘点的位置及类别。即根据边缘线上的各个预选框对应的横轴线段上的边缘点的位置，确定该目标对象的类别标签，将目标对象的边缘线上各个预选框对应的横轴线段上的边缘点所在标签高的类别，确定为目标对象的类别标签。比如，在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将该第一标签确定为目标对象的类别标签，同理，在位于第一标签上的边缘点个数小于位于第二标签上的边缘点个数的情况下，将该第二标签确定为目标对象的类别标签。在位于第一标签上的边缘点个数等于位于第二标签上的边缘点个数的情况下，进一步根据标签的关键度来确定目标对象的类别标签。比如，在第一标签的关键度高于第二标签的关键度的情况下，将该第一标签确定为目标对象的类别标签，同理，在第二标签的关键度高于第一标签的关键度的情况下，将该第二标签确定为目标对象的第二标签。具体的，标签的关键度并不是固定的值，可以根据应用场景的不同而不同，在自动驾驶应用场景中，默认情况下，人的重要程度要高于车，车的重要程度要高于行道树，因此，人的关键度要高于车的关键度，车的关键度要高于行道树的关键度。在确定目标对象的类别标签之后，根据该类别标签去调整边缘线上各个预选框对应的边缘点，为各个预选框对应的边缘点分配边缘方向和边缘距离，按照边缘方向移动各个预选框对应的边缘点的边缘距离，从而得到目标对象的边缘点，即上述第二边缘点。

本申请实施例通过基于预选框深度学习的边缘检测，为预选框分配类别标签，并进一步比较标签关键度来确定目标对象的类别标签，可以提高确定目标对象类别的准确率及效率，并据此调整目标对象的边缘线上的边缘点，可以使得到的第二边缘点位置精度更高，据此得到的目标对象的边缘线也更准确，有利于提高标注结果的准确率及效率。

步骤402：根据该第一边缘线，得到目标对象的第一轮廓。

电子设备获得目标对象的第一边缘线之后，基于该第一边缘线对目标对象进行初标，得到目标对象的第一轮廓。该第一轮廓可作为目标对象最终标注的轮廓结果，也可以作为目标对象标注的候选轮廓结果，并在此基础上通过对候选轮廓的边缘进行修正来达到提高标注结果准确率的目的。

示例性的，在上述图5a中，利用得到的边缘线a对目标对象进行初标，得到目标对象的第一轮廓。可以看出，目标对象的实际轮廓与得到的第一轮廓有细微差别，第一轮廓并未完全覆盖目标对象并与该目标对象的边缘相切。需要在初标的基础上，通过利用边缘线b对第一轮廓的边缘进行修正来提高标注结果的准确率。

步骤403：利用该第二边缘线对该第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。

电子设备利用第二边缘线对初标得到的第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。具体可以是，将第二边缘线与第一轮廓的边缘线构成的轮廓，确定为目标对象的第二轮廓，该修正方法提高了标注结果的准确率及效率。

示例性的，在上述图5a中，利用边缘线a对目标对象进行初标得到第一轮廓的基础上，再通过利用边缘线b对第一轮廓的边缘进行修正来提高标注结果的准确率，修正后得到的目标对象的第二轮廓，完全覆盖了目标对象且与该目标对象的边缘相切。

目前的数据标注方法，通常分割算法对目标对象进行分割，得到目标对象的边缘点，进而通过修正边缘点来修正目标对象的轮廓。因此，需要人工对边缘点逐一修正，耗时耗力，且标注结果的准确率及效率较低。

本申请实施例提供的数据标注方法，与目前常用的数据标注方法相比，采用第一边缘线对目标对象进行初标，再利用第二边缘线对初标得到的第一轮廓的边缘线进行修正，从而将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

相应的，上述图4所提供的数据标注方法，可对应于图6a至图6c所示的数据标注系统架构。下面将结合图4中的数据标注方法，分别对图6a至图6c中的数据标注系统架构进行说明。

请参阅图6a，图6a为本申请实施例提供的一种数据标注系统的架构示意图。

如图6a所示，首先获取目标图像的图像数据，然后分别对该图像数据做基于非深度学习的图像分割、基于深度学习的图像分割、基于预选框深度学习的边缘检测以及基于非预选框深度学习的边缘检测，得到关于目标对象的不同边缘信息的结果，并根据上述不同处理得到的结果，生成强语义信息和弱语义信息。

可以理解为，该强语义信息为上述图5a中的边缘线a或上述图4中的第一边缘线，即均位于上述不同处理得到的边缘信息的结果上，换言之，上述不同处理得到的边缘信息的重合部分，为该强语义信息。相应的，该弱语义信息为上述图5a中的边缘线b或上述图4中的第二边缘线，即只位于上述不同处理中的某个处理得到的边缘信息的结果上，换言之，上述不同处理得到的边缘信息的非重合部分，为该弱语义信息。

最后基于生成的强语义信息对目标对象进行初标，基于生成的弱语义信息对初标的结果进行修正。结合上述图4中的数据标注方法，可分别对应于上述步骤402：根据第一边缘线，得到目标对象的第一轮廓；以及步骤403：利用第二边缘线对该第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。再结合图5a中的数据标注的具体实施例，可分别对应于，利用边缘线a对目标对象进行初标，得到目标对象的第一轮廓；以及利用边缘线b对第一轮廓的边缘线进行修正，得到目标对象的第二轮廓。

进一步地，根据上述不同处理得到的结果生成强语义信息，具体流程可参阅图6b，图6b为本申请实施例提供的一种数据标注系统的架构示意图。

如图6b所示，分别对目标图像的图像数据做基于深度学习的图像分割和基于非深度学习的图像分割，将二者得到的关于目标对象的边缘信息的结果融合，生成目标对象的边缘点。再分别对目标图像的图像数据做基于预选框深度学习的边缘检测以及基于非预选框深度学习的边缘检测，将二者得到的边缘检测结果融合，将边缘检测融合结果用于对上述生成的目标对象的边缘点的修正，从而得到强语义信息，表示目标对象的第一边缘线。

进一步地，根据上述不同处理得到的结果生成弱语义信息，具体流程可参阅图6c，图6c为本申请实施例提供的一种数据标注系统的架构示意图。

如图6c所示，结合上述生成的强语义信息，分别对图像数据做基于非深度学习的图像分割、基于深度学习的图像分割、基于预选框深度学习的边缘检测以及基于非预选框深度学习的边缘检测，可生成弱语义信息。

请参阅图7，图7为本申请实施例提供的另一种数据标注方法的流程示意图，该方法包括但不限于如下步骤：

步骤701：电子设备根据目标雷达的目标数据，得到目标对象的第一边框和第二边框。

本申请实施例中的电子设备为搭载了可用于执行计算机执行指令的处理器的设备。该电子设备可以是如计算机、控制器等终端，也可以是服务器等。具体可以是上述图3中的搭载了计算机系统的车载设备，用于对车载目标雷达采集到的目标数据进行标注，得到相应的数据标签，并利用该数据标签结合识别算法，自动识别采集到的目标数据中存在的对象，以实现感知道路环境，自动规划行车路线并控制车辆躲避障碍物对象，到达预定地址的目的。

本申请实施例中，电子设备通过对目标雷达探测目标对象所采集到的目标数据做不同的处理，获得目标对象的第一边框和第二边框，该第一边框和第二边框不同。

电子设备对目标雷达探测目标对象所采集到的目标数据做不同的处理，具体可以是，通过对目标对象做分割处理，将目标对象从目标雷达的探测区域中分离出来，以得到目标对象的第一边缘面。再对该目标对象做边缘检测，将该目标对象的边缘分离出来，得到目标对象的第二边缘面。

上述第一边缘面和第二边缘面虽然都是目标对象的边缘面，但是通过对目标对象采取不同的方式得到的边缘面，因此，上述第一边缘面和第二边缘面不完全相同。根据第一边缘面和第二边缘面，可以确定上述目标对象的第一边框和第二边框。由于上述第一边缘面和第二边缘面不完全相同，相应的，据此得到的第一边框和第二边框也不完全相同。

在一种可能的具体实施方式中，上述根据第一边缘面和第二边缘面确定目标对象的第一边框和第二边框，具体可以是，将第一边缘面和第二边缘面重合的边缘面所构成的边框确定为第一边框，即该第一边框均位于上述分割处理和边缘检测得到的边缘结果上，上述分割处理和边缘检测均可得到该第一边框。然后将第一边缘面和第二边缘面的并集去除第一边缘面和第二边缘面重合的边缘面后所构成的边框确定为第三边框，即该第三边框位于上述分割处理得到的边缘结果上，或位于上述边缘检测得到的边缘结果上，不是均位于分割处理和边缘检测得到的边缘结果上。最后将与上述第一边框有两个或两个以上相交的面的第三边框，确定为上述第二边框。

在一种可能的具体实施方式中，上述对该目标对象做边缘检测，得到目标对象的第二边缘面，具体可以是，根据目标对象的边框上的边缘面的位置，确定目标对象的标签。比如，在位于第一标签上的边缘面个数大于位于第二标签上的边缘面个数的情况下，将第一标签确定为目标对象的标签；同理，在位于第一标签上的边缘面个数小于位于第二标签上的边缘面个数的情况下，将第二标签确定为目标对象的标签。在位于第一标签上的边缘面个数等于位于第二标签上的边缘面个数的情况下，进一步根据第一标签的关键度和第二标签的关键度，来确定目标对象的标签。比如，在第一标签的关键度高于第二标签的关键度的情况下，将该第一标签确定为目标对象的类别标签，同理，在第二标签的关键度高于第一标签的关键度的情况下，将该第二标签确定为目标对象的第二标签。具体的，标签的关键度并不是固定的值，可以根据应用场景的不同而不同，在自动驾驶应用场景中，默认情况下，人的重要程度要高于车，车的重要程度要高于行道树，因此，人的关键度要高于车的关键度，车的关键度要高于行道树的关键度。在确定目标对象的类别标签之后，根据该类别标签去调整目标对象的边框上的边缘面的位置，得到第二边缘面。

步骤702：根据该第一边框，得到目标对象的第一轮廓。

电子设备获得目标对象的第一边框之后，基于该第一边框对目标对象进行初标，得到目标对象的第一轮廓。该第一轮廓可作为目标对象最终标注的轮廓结果，也可以作为目标对象标注的候选轮廓结果，并在此基础上通过对候选轮廓的边框进行修正来达到提高标注结果准确率的目的。

步骤703：利用该第二边框对该第一轮廓的边框进行修正，得到目标对象的第二轮廓。

电子设备利用第二边框对初标得到的第一轮廓的边框进行修正，得到目标对象的第二轮廓。具体可以是，将第二边框与第一轮廓的边框构成的轮廓，确定为目标对象的第二轮廓，该修正方法提高了标注结果的准确率及效率。

本申请实施例，通过对目标雷达探测目标对象所采集到的目标数据做不同的处理，可以得到目标对象的不同边框，比如第一边框和第二边框。然后基于第一边框对目标对象进行初标，得到目标对象的第一轮廓。再利用第二边框对初标得到的第一轮廓的边框进行修正，得到目标对象的第二轮廓。

本申请实施例提供的数据标注方法，不仅适用于对二维图像数据的标注，还适用于对三维雷达数据的标注。将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边框的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

上述详细阐述了本申请实施例的方法，下面提供本申请实施例的装置。

请参阅图8，图8为本申请实施例提供的一种数据标注装置的结构示意图，该数据标注装置80可以包括确定单元801以及修正单元802，其中，各个单元的描述如下：

确定单元801，用于获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

所述确定单元801，还用于根据所述第一边缘线，得到所述目标对象的第一轮廓；

修正单元802，用于利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

在一种可能的实施方式中，所述修正单元802，具体用于将所述第二边缘线与所述第一轮廓的边缘线构成的轮廓，确定为所述第二轮廓。

在一种可能的实施方式中，所述装置还包括：

分割单元803，用于对所述目标图像做分割处理，得到所述目标对象的第一边缘点；所述分割处理用于将所述目标图像中包含的所述目标对象分离出来；

边缘检测单元804，用于对所述目标对象做边缘检测，得到所述目标对象的第二边缘点；所述边缘检测用于将所述目标对象的边缘分离出来；

所述确定单元801，具体用于根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线。

在一种可能的实施方式中，所述确定单元801，具体还用于根据所述第一边缘点和所述第二边缘点，得到所述第一边缘线；所述第一边缘线上的点为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元801，具体还用于根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线。

在一种可能的实施方式中，所述确定单元801，具体还用于根据所述第一边缘点和所述第二边缘点，得到第三边缘线；所述第三边缘线上的点为所述第一边缘点或所述第二边缘点，且不为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元801，具体还用于将与所述第一边缘线有两个或两个以上的交点的所述第三边缘线，确定为所述第二边缘线。

在一种可能的实施方式中，所述边缘检测单元804，具体用于根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签；

所述边缘检测单元804，具体还用于根据所述目标对象的标签，调整所述目标对象的边缘线上的边缘点，得到所述第二边缘点。

在一种可能的实施方式中，所述边缘检测单元804，具体还用于在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，所述边缘检测单元804，具体还用于在位于所述第一标签上的边缘点个数小于位于所述第二标签上的边缘点个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，所述边缘检测单元804，具体还用于在位于所述第一标签上的边缘点个数等于位于所述第二标签上的边缘点个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

在一种可能的实施方式中，所述分割单元803，具体用于将所述目标图像输入至卷积神经网络中做所述分割处理，得到所述第一边缘点。

在一种可能的实施方式中，所述确定单元801，具体还用于在所述第一标签的关键度高于所述第二标签的关键度的情况下，将所述第一标签确定为所述目标对象的标签；

所述确定单元801，具体还用于在所述第二标签的关键度高于所述第一标签的关键度的情况下，将所述第二标签确定为所述目标对象的标签。

在一种可能的实施方式中，所述确定单元801，用于根据目标雷达的目标数据，得到目标对象的第一边框和第二边框；所述第一边框和所述第二边框不同，所述目标数据包括所述目标雷达探测所述目标对象得到的数据；

所述确定单元801，还用于根据所述第一边框，得到所述目标对象的第一轮廓；

所述修正单元802，用于利用所述第二边框对所述第一轮廓的边框进行修正，得到所述目标对象的第二轮廓。

在一种可能的实施方式中，所述修正单元802，具体用于将所述第二边框与所述第一轮廓的边框构成的轮廓，确定为所述第二轮廓。

在一种可能的实施方式中，所述分割单元803，用于对所述目标对象做分割处理，得到所述目标对象的第一边缘面；所述分割处理用于将所述目标对象从所述目标雷达的探测区域中分离出来；

所述边缘检测单元804，用于对所述目标对象做边缘检测，得到所述目标对象的第二边缘面；所述边缘检测用于将所述目标对象的边缘分离出来；

所述确定单元801，具体用于根据所述第一边缘面和所述第二边缘面，确定所述第一边框和所述第二边框。

在一种可能的实施方式中，所述确定单元801，具体还用于根据所述第一边缘面和所述第二边缘面，得到所述第一边框；所述第一边框上的边缘面为所述第一边缘面和所述第二边缘面重合的边缘面；

所述确定单元801，具体还用于根据所述第一边缘面、所述第二边缘面以及所述第一边框，得到所述第二边框。

在一种可能的实施方式中，所述确定单元801，具体还用于根据所述第一边缘面和所述第二边缘面，得到第三边框；所述第三边框上的面为所述第一边缘面或所述第二边缘面，且不为所述第一边缘面和所述第二边缘面重合的边缘面；

所述确定单元801，具体还用于将与所述第一边框有两个或两个以上相交的面的所述第三边框，确定为所述第二边框。

在一种可能的实施方式中，所述边缘检测单元804，具体用于根据所述目标对象的边框上的边缘面的位置，确定所述目标对象的标签；

所述边缘检测单元804，具体还用于根据所述目标对象的标签，调整所述目标对象的边框上的边缘面，得到所述第二边缘面。

在一种可能的实施方式中，所述边缘检测单元804，具体还用于在位于第一标签上的边缘面个数大于位于第二标签上的边缘面个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，所述边缘检测单元804，具体还用于在位于所述第一标签上的边缘面个数小于位于所述第二标签上的边缘面个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，所述边缘检测单元804，具体还用于在位于所述第一标签上的边缘面个数等于位于所述第二标签上的边缘面个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

关于本申请实施例中任一项可能的实施方式所带来的技术效果，可参考对应于发明内容第一方面以及相应的实施方式的技术效果的介绍。

根据本申请实施例，图8所示的装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于网络设备也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

需要说明的是，各个单元的实现还可以对应参照上述图4以及图7所示的方法实施例的相应描述。

在图8所描述的数据标注装置80中，通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

请参阅图9，图9为本申请实施例提供的一种电子设备90的结构示意图。该电子设备90可以包括存储器901、处理器902。进一步可选的，还可以包含通信接口903以及总线904，其中，存储器901、处理器902以及通信接口903通过总线904实现彼此之间的通信连接。通信接口903用于与上述数据标注装置80进行数据交互。

其中，存储器901用于提供存储空间，存储空间中可以存储操作系统和计算机程序等数据。存储器901包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)。

处理器902是进行算术运算和逻辑运算的模块，可以是中央处理器(centralprocessing unit，CPU)、显卡处理器(graphics processing unit，GPU)或微处理器(microprocessor unit，MPU)等处理模块中的一种或者多种的组合。

存储器901中存储有计算机程序，处理器902调用存储器901中存储的计算机程序，以执行上述图4所示的数据标注方法：

获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

根据所述第一边缘线，得到所述目标对象的第一轮廓；

利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

上述处理器902执行方法的具体内容可参阅上述图4，此处不再赘述。

另一方面，处理器902调用存储器901中存储的计算机程序，以执行上述图7所示的数据标注方法：

根据目标雷达的目标数据，得到目标对象的第一边框和第二边框；所述第一边框和所述第二边框不同，所述目标数据包括所述目标雷达探测所述目标对象得到的数据；

根据所述第一边框，得到所述目标对象的第一轮廓；

利用所述第二边框对所述第一轮廓的边框进行修正，得到所述目标对象的第二轮廓。

上述处理器902执行方法的具体内容可参阅上述图7，此处不再赘述。

相应的，处理器902调用存储器901中存储的计算机程序，还可以用于执行上述图8所示的数据标注装置80中的各个单元所执行的方法步骤，其具体内容可参阅上述图8，此处不再赘述。

在图9所描述的电子设备90中，通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当上述计算机程序在一个或多个处理器上运行时，可以实现上述图4以及图7所示的方法。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括计算机程序，当上述计算机程序在处理器上运行时，可以实现上述图4以及图7所示的方法。

本申请实施例还提供一种芯片，该芯片包括处理器，所述处理器用于执行指令，当该处理器执行所述指令时，可以实现上述图4以及图7所示的方法。

可选的，该芯片还包括通信接口，该通信接口用于输入数据或输出数据。

本申请实施例还提供了一种终端，该终端包括了至少一个如上述数据标注装置80，或电子设备90，或上述芯片。

本申请实施例还提供了一种服务器，该服务器包括了至少一个如上述数据标注装置80，或电子设备90，或上述芯片。

综上上述，通过提出基于预选框的深度学习方法对目标图像中的目标对象进行边缘检测，得到目标对象的第一轮廓，再引入弱语义信息将对目标对象的第一轮廓的边缘点的修正转化为对目标对象的第一轮廓的边缘线的修正，修正得到目标对象的第二轮廓，可以大大提高标注结果的准确率及效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序相关的硬件完成，该计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储计算机程序代码的介质。

Claims (22)

1.一种数据标注方法，其特征在于，包括：

获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

根据所述第一边缘线，得到所述目标对象的第一轮廓；

利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第二边缘线对所述第一轮廓的边缘线进行修正，包括：

将所述第二边缘线与所述第一轮廓的边缘线构成的轮廓，确定为所述第二轮廓。

3.根据权利要求1或2所述的方法，其特征在于，所述获得目标图像中包含的目标对象的第一边缘线和第二边缘线之前，所述方法还包括：

对所述目标图像做分割处理，得到所述目标对象的第一边缘点；所述分割处理用于将所述目标图像中包含的所述目标对象分离出来；

对所述目标对象做边缘检测，得到所述目标对象的第二边缘点；所述边缘检测用于将所述目标对象的边缘分离出来；

所述获得目标图像中包含的目标对象的第一边缘线和第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，得到所述第一边缘线；所述第一边缘线上的点为所述第一边缘点和所述第二边缘点重合的边缘点；

根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线，包括：

根据所述第一边缘点和所述第二边缘点，得到第三边缘线；所述第三边缘线上的点为所述第一边缘点或所述第二边缘点，且不为所述第一边缘点和所述第二边缘点重合的边缘点；

将与所述第一边缘线有两个或两个以上的交点的所述第三边缘线，确定为所述第二边缘线。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述对所述目标对象做边缘检测，得到所述目标对象的第二边缘点，包括：

根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签；

根据所述目标对象的标签，调整所述目标对象的边缘线上的边缘点，得到所述第二边缘点。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签，包括：

在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘点个数小于位于所述第二标签上的边缘点个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，在位于所述第一标签上的边缘点个数等于位于所述第二标签上的边缘点个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

8.根据权利要求3至7中任一项所述的方法，其特征在于，所述对所述目标图像做分割处理，得到所述目标对象的第一边缘点，包括：

将所述目标图像输入至卷积神经网络中做所述分割处理，得到所述第一边缘点。

9.一种数据标注装置，其特征在于，包括：

确定单元，用于获得目标图像中包含的目标对象的第一边缘线和第二边缘线；所述第一边缘线和所述第二边缘线不同；

所述确定单元，还用于根据所述第一边缘线，得到所述目标对象的第一轮廓；

修正单元，用于利用所述第二边缘线对所述第一轮廓的边缘线进行修正，得到所述目标对象的第二轮廓。

10.根据权利要求9所述的装置，其特征在于，所述修正单元，具体用于将所述第二边缘线与所述第一轮廓的边缘线构成的轮廓，确定为所述第二轮廓。

11.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：

分割单元，用于对所述目标图像做分割处理，得到所述目标对象的第一边缘点；所述分割处理用于将所述目标图像中包含的所述目标对象分离出来；

边缘检测单元，用于对所述目标对象做边缘检测，得到所述目标对象的第二边缘点；所述边缘检测用于将所述目标对象的边缘分离出来；

所述确定单元，具体用于根据所述第一边缘点和所述第二边缘点，确定所述第一边缘线和所述第二边缘线。

12.根据权利要求11所述的装置，其特征在于，所述确定单元，具体还用于根据所述第一边缘点和所述第二边缘点，得到所述第一边缘线；所述第一边缘线上的点为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元，具体还用于根据所述第一边缘点、所述第二边缘点以及所述第一边缘线，得到所述第二边缘线。

13.根据权利要求12所述的装置，其特征在于，所述确定单元，具体还用于根据所述第一边缘点和所述第二边缘点，得到第三边缘线；所述第三边缘线上的点为所述第一边缘点或所述第二边缘点，且不为所述第一边缘点和所述第二边缘点重合的边缘点；

所述确定单元，具体还用于将与所述第一边缘线有两个或两个以上的交点的所述第三边缘线，确定为所述第二边缘线。

14.根据权利要求11至13中任一项所述的装置，其特征在于，所述边缘检测单元，具体用于根据所述目标对象的边缘线上的边缘点的位置，确定所述目标对象的标签；

所述边缘检测单元，具体还用于根据所述目标对象的标签，调整所述目标对象的边缘线上的边缘点，得到所述第二边缘点。

15.根据权利要求14所述的装置，其特征在于，所述边缘检测单元，具体还用于在位于第一标签上的边缘点个数大于位于第二标签上的边缘点个数的情况下，将所述第一标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘点个数小于位于所述第二标签上的边缘点个数的情况下，将所述第二标签确定为所述目标对象的标签；

或者，所述边缘检测单元，具体还用于在位于所述第一标签上的边缘点个数等于位于所述第二标签上的边缘点个数的情况下，根据所述第一标签的关键度和所述第二标签的关键度，确定所述目标对象的标签。

16.根据权利要求11至15中任一项所述的装置，其特征在于，所述分割单元，具体用于将所述目标图像输入至卷积神经网络中做所述分割处理，得到所述第一边缘点。

17.一种数据标注装置，其特征在于，包括：处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器所存储的计算机程序，以使所述数据标注装置执行如权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，包括：

所述计算机可读存储介质用于存储计算机程序；当所述计算机程序被执行时，使如权利要求1至8中任一项所述的方法被实现。

19.一种计算机程序产品，其特征在于，包括：计算机程序；

所述计算机程序被执行时，使如权利要求1至8中任一项所述的方法被实现。

20.一种芯片，其特征在于，包括：处理器；

所述处理器用于执行指令；当所述指令被执行时，使如权利要求1至8中任一项所述的方法被实现。

21.一种终端，其特征在于，包括如权利要求9至16中任一项所述的数据标注装置，或者权利要求17所述的数据标注装置，或者权利要求20所述的芯片。

22.一种服务器，其特征在于，包括如权利要求9至16中任一项所述的数据标注装置，或者权利要求17所述的数据标注装置，或者权利要求20所述的芯片。

Images