CN112348122A - 可行驶区域的标注方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种可行驶区域的标注方法、装置和电子设备，首先从预设的多个待标注数据集中，确定目标数据集；将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的指示可行驶区域的位置的标注结果；按照可行驶区域确定规则，调整标注结果；将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到每个待标注数据集均被标注完成。该方式无需投入大量人力，提高了标注效率；同时，该方式通过不断优化的标注模型对图像进行标注，提高了模型标注的精确度。

Description

可行驶区域的标注方法、装置和电子设备

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及一种可行驶区域的标注方法、装置和电子设备。

背景技术

随着深度学习在图像识别领域取得的巨大成功，基于深度学习的自动驾驶感知技术成为了当前的研究热点。相比传统图像处理的方法，基于深度学习的自动驾驶感知技术，在环境适应性、鲁棒性、准确度上都有着巨大的优势。然而有监督的深度学习感知算法，都需要大量的已标注数据进行训练。面对日益增多的数据需求，如何获得大量高质量的标注数据成为一个亟待解决的问题。

对自动驾驶中的可行驶区域的标注，主要是标注出图像中的可行驶区域边界范围，且需要标注人员对道路交通场景有一定的专业理解，比如道路的可行驶区域边界范围等。相关技术中，对可行驶区域的标注的方法主要包括两类，一类是纯手工的方式标注可行驶区域边界，该方法标注速度慢，标注质量难以得到保证；另一类方法是基于图像处理算法或是预训练模型自动标注的方法，该方法虽然一定程度上降低了标注难度，提高了标注速度，但在可行驶区域标注任务上的准确度不高，仍旧需要投入大量的人力手工调整标注结果。

发明内容

本发明的目的在于提供一种可行驶区域的标注方法、装置和电子设备，以提高可行驶区域的标注速度和标注准确度。

第一方面，本发明提供了一种可行驶区域的标注方法，该方法包括：从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像；将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果；该标注结果用于指示可行驶区域的位置；按照预设的可行驶区域确定规则，调整标注结果；将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

在可选的实施方式中，上述多个待标注数据集通过下述方式获得：通过预设相机，采集包含有可行驶区域场景的多张图像；针对采集的每张图像进行预处理，得到多张待标注图像；其中，该预处理包括：对图像的裁剪、白平衡、去噪、直方图均衡、归一化中的一种或者多种处理；对多张待标注图像进行划分，得到多个待标注数据集。

在可选的实施方式中，上述将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果的步骤，包括：基于目标数据集确定目标图像；接收用户输入的针对目标图像的交互指令，将交互指令和目标图像输入至初始标注模型中，得到目标图像的标注结果；继续执行基于目标数据集确定目标图像的步骤，直到目标数据集中的所有待标注图像均被标注完成；其中，该交互指令包括用户指示的目标图像中的可行驶区域。

在可选的实施方式中，上述接收用户输入的针对目标图像的交互指令的步骤之后，上述方法还包括：将交互指令转化为指定尺寸的向量或者指定尺寸的矩阵，以适用于初始标注模型接收。

在可选的实施方式中，上述按照预设的可行驶区域确定规则，调整标注结果的步骤，包括：将标注结果转换为二值图；该二值图中包含有多个连通域；滤除二值图中的上半部分指定区域的连通域；对滤除后的二值图进行闭运算，以将滤除后的二值图中的每个连通域中间的孔洞区域去除；从去除孔洞后的二值图的连通域中，选取包含像素数量最多的连通域为可行驶区域；将包含有选取的可行驶区域的二值图，确定为调整后的标注结果。

在可选的实施方式中，上述标注结果为通道数为二的图像；两个通道分别为可行驶区域通道和非可行驶区域通道；上述将标注结果转换为二值图的步骤，包括：针对标注结果对应的图像中的每个像素点，执行下述操作：判断当前像素点对应的可行驶区域通道的通道值是否大于非可行驶区域通道的通道值；如果大于，将当前像素点的像素值设置为第一数值；如果小于或者等于，将当前像素点的像素值设置为第二数值。

在可选的实施方式中，上述将包含有选取的可行驶区域的二值图，确定为调整后的标注结果的步骤之后，上述方法还包括：利用车道线位置信息，修正调整后的标注结果，得到最终的标注结果；或者，利用毫米波雷达的检测信息，修正调整后的标注结果，得到最终的标注结果。

在可选的实施方式中，上述从预设的多个待标注数据集中，确定目标数据集的步骤之前，上述方法还包括：获取样本集；其中，该样本集中包含有多个样本，每个样本中均包含有样本图像，以及该样本图像对应的标注有可行驶区域的二值图；基于样本集和预设的模拟指令，训练第一模型，得到训练后的第一模型；将训练后的第一模型确定为初始标注模型。

第二方面，本发明提供了一种可行驶区域的标注装置，该装置包括：数据集确定模块，用于从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像；数据输入模块，用于将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果；该标注结果用于指示可行驶区域的位置；结果调整模块，用于按照预设的可行驶区域确定规则，调整标注结果；模型训练模块，用于将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；数据标注模块，用于将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

第三方面，本发明提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现前述实施方式任一项所述的可行驶区域的标注方法。

本发明实施例带来了以下有益效果：

本发明提供的一种可行驶区域的标注方法、装置和电子设备，首先从预设的多个待标注数据集中，确定目标数据集；进而将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的指示可行驶区域的位置的标注结果；再按照可行驶区域确定规则，调整标注结果；将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；然后将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到每个待标注数据集均被标注完成。该方式无需投入大量人力，提高了标注效率；同时，该方式通过不断优化的标注模型对图像进行标注，提高了模型标注的精确度。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种可行驶区域的标注方法的流程图；

图2为本发明实施例提供的另一种可行驶区域的标注方法的流程图；

图3为本发明实施例提供的一种车道线位置信息修正标注结果的示意图；

图4为本发明实施例提供的另一种可行驶区域的标注方法的流程图；

图5为本发明实施例提供的一种可行驶区域的标注装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对自动驾驶中的可行驶区域的标注任务，可以看作是图像的语义分割任务，与图片分类或者目标检测任务不同，图像的语义分割任务需要把待分割目标的边界用闭合多边形绘制出来。相比其它类型的图像标注任务，图像的语义分割标注难度大，且极其的耗时。对自动驾驶中的可行驶区域标注任务而言，还需要标注人员对道路交通场景有一定的专业理解，比如道路的可行驶区域边界范围等。

相关技术中，可行驶区域的标注是要标注出图像中的可行驶区域边界范围，目前被广泛采用的方法主要包括两类，一类是纯手工的方式标注可行驶区域边界，该方法标注速度慢，标注质量难以得到保证；另一类方法是基于图像处理算法或是预训练模型自动标注的方法，该方法虽然一定程度上降低了标注难度，提高了标注速度，但在可行驶区域标注任务上的准确度不高，仍旧需要投入大量的人力手工调整标注结果。

基于此，对相关技术中的技术缺点总结如下：

1、基于人工的数据标注方式，需要耗费大量的时间和体力，且标注效率低下。

2、标注人员往往不具备标注任务对应的专业领域知识，需要付出巨大的培训成本培养标注人员。

3、现有的自动化标注软件，其做法是用现有的性能相对较差的模型先行预测一遍待标注数据，然后再对预测不佳的数据进行人工纠正，其本质上只是缩小了待标数据的规模，预测不佳的数据仍然需要大量的人工投入。

4、现有的自动化标注软件未能把人工交互指令带入到预标注模型中，模型预标注和人工交互的两部分完全解耦，缺乏对人工交互指令的发掘利用。

5、现有的自动化标注软件在模型预标注、人工调整后，还需要对标注结果进行复核，整个标注流程各部分之间存在冗余。

基于上述缺点，本发明实施例提供了一种可行驶区域的标注方法、装置和电子设备，该技术可以应用可行驶区域的图像数据标注场景中。为了便于对本发明实施例进行理解，首先对本发明实施例提供的一种可行驶区域的标注方法进行详细介绍，如图1所示，该方法包括如下步骤：

步骤S102，从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像。

上述待标注图像是用户预先采集的，该待标注图像中包含有可行驶区域场景，该可行驶区域通常是指自动驾驶场景中车辆可以行驶的区域，可行驶区域的检测主要是为自动驾驶提供路径规划辅助。在具体实现时，用户会采集大量的待标注图像，并将这些图像随机划分为若干个图像数量相同或者相近的待标注数据集，例如，每个待标注数据集中包含有1000张左右的待标注图像。

上述目标数据集是多个待标注数据集中的任意一个，通常多个待标注数据集中的每个待标注数据集只会被确定为一次目标数据集。

步骤S104，将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果；该标注结果用于指示可行驶区域的位置。

上述交互指令可以是用户根据目标数据集中的待标注图像中的可行驶区域，输入的用于指示可行驶区域的位置的指令。在具体实现时，将目标数据集中的每张待标注图像，以及每张待标注图像对应交互指令，依次输入至初始标注模型中，该初始标注模型可以输出目标数据集对应的标注结果，其中，该目标数据集对应的标注结果中包含有目标数据集中的每张待标注图像对应的标注结果，该标注结果用于指示待标注图像中可行驶区域的位置。

上述初始标注模型可以是神经网络模型或者深度学习模型，例如语义分割模型，该语义分割模型通常可以是DeepLabv3、Deeplabv3+、Unet、Unet++、BiSeNet或者BiSeNetv2等这些语义分割模型中的一种，这些语义分割模型均可以训练实现图像像素级分割。具体地，该语义分割模型通常是一种在经典语义分割模型基础上修改过的模型，这种修改包括但不限于模型输入的修改、模型权重更新方式的修改、模型优化目标的修改、模型推理阶段参数传播方式的修改。

步骤S106，按照预设的可行驶区域确定规则，调整标注结果。

上述可行驶区域确定规则可以根据车辆运动的常识或者用户经验进行设置，例如，可行驶区域一般只会出现在图像平面的下半部分，上半部分为天空区域，所以可以利用这种先验知识滤除标注结果图像上半部分的标注区域，只保留下半部分的标注区域；也可以根据可行驶区域一般位于车道线之间的先验知识，滤除掉车道线以外的可行驶区域。

步骤S108，将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型。

上述训练集合中包含有调整后的标注结果和目标数据集，可以理解为训练集合中包含有目标数据集中的多张待标注图像，以及每张待标注图像对应的标注结果。基于训练集合对初始标注模型进行训练，可以得到标注精度优于初始标注模型的、训练后的初始标注模型。

步骤S110，将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

当得到训练后的初始标注模型后，将步骤S104中的初始标注模型替换为训练后的初始标注模型，继续执行步骤S102-S108，直到每个待标注数据集均被标注完成。在具体实现时，将初始标注模型替换为训练后的初始标注模型后，从多个待标注数据集中确定新的目标数据集，将新的目标数据集和预设的交互指令输入至训练后的初始标注模型中，输出新的目标数据集对应的标注结果；进而按照预设的可行驶区域确定规则，调整新的目标数据集对应的标注结果，再将新的数据集和其对应的调整后的标注结果组成训练集合，通过该训练集合对训练后的初始标注模型进行训练，得到进一步优化的训练后的初始标注模型；然后将步骤S104中的初始标注模型替换为进一步优化的训练后的初始标注模型，继续执行步骤S102-S108，直到每个待标注数据集均被标注完成。该方式可以在待标注图像被标注的同时，不断提升标注模型的性能。

本发明实施例提供了一种可行驶区域的标注方法，首先从预设的多个待标注数据集中，确定目标数据集；进而将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的指示可行驶区域的位置的标注结果；再按照可行驶区域确定规则，调整标注结果；将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；然后将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到每个待标注数据集均被标注完成。该方式无需投入大量人力，提高了标注效率；同时，该方式通过不断优化的标注模型对图像进行标注，提高了模型标注的精确度。

本发明实施例还提供了另一种可行驶区域的标注方法，该方法在上述实施例方法的基础上实现；该方法重点描述将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果的具体过程(通过下述步骤S210-S212实现)，以及按照预设的可行驶区域确定规则，调整标注结果(通过下述步骤S214-S222实现)；如图2所示，该方法包括如下步骤：

步骤S202，通过预设相机，采集包含有可行驶区域场景的多张图像。

上述预设相机可以是安装在汽车或者其他载具上的相机。当通过预设相机采集到包含有可行驶区域场景的多张图像时，需要对采集到的图像按照一定格式进行编码存储，以便后续调用。

步骤S204，针对采集的每张图像进行预处理，得到多张待标注图像。

在具体实现时，上述预处理可以包括但不限于：对图像的裁剪、白平衡、去噪、直方图均衡、归一化等处理中的一种或者多种处理。在一些实施例中，在对图像进行预处理后，还需要对预处理后的图进行筛选，包括去除异常数据、去除非道路数据等；最后，形成供后续步骤使用的待标注图像。

步骤S206，对多张待标注图像进行划分，得到多个待标注数据集。

在具体实现时，将多张待标注图像随机划分为若干个图像数量相同或者相近的待标注数据集，例如，每个待标注数据集中包含有1000张左右的待标注图像。

步骤S208，从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像。

步骤S210，基于目标数据集确定目标图像。

上述目标图像可以是目标数据集中的任意一个，通常目标数据集中的每个待标注图像只会被确定为一次目标图像。

步骤S212，接收用户输入的针对目标图像的交互指令，将该交互指令和目标图像输入至初始标注模型中，得到目标图像的标注结果；继续执行基于目标数据集确定目标图像的步骤，直到目标数据集中的所有待标注图像均被标注完成。

上述交互指令包括用户指示的目标图像中的可行驶区域。该交互指令可以是用户通过终端设备输入的。在具体实现时，从目标数据集确定一张目标图像后，该目标图像可以显示在电子设备的界面上，用户参考界面上显示的图像，判断图像中可行驶区域的位置，在界面上输入并显示交互指令；用户可以通过手指或者交互工具(例如，画笔)，在界面中点击目标图像中的可行驶区域，形成交互指令。其中，该界面可以是显示待标注图像、拖拽待标注图像、放大缩小待标注图像、接收交互指令、修改交互指令、提供各种交互工具、显示可行驶区域分割结果、显示可行驶区域边界、调整可行驶区域边界等功能的显示媒介。

在一些实施例中，在接收到用户输入的针对目标图像的交互指令后，可以将交互指令转化为指定尺寸的向量或者指定尺寸的矩阵，以适用于初始标注模型接收。

在具体实现时，将转化后的针对目标图像的交互指令和目标图像输入至初始标注模型中，得到目标图像的标注结果；继续基于目标数据集确定新的目标图像，并接收新的目标图像的交互指令，将该交互指令和新的目标图像输入至初始标注模型中，得到新的目标图像的标注结果，再次基于目标数据集确定新的目标图像，直到目标数据集中的所有待标注图像均被确定为目标图像。

在一些实施例中，每张目标图像的标注结果均会展示到用户界面上，用户可以判断对展示的标注结果是否满意，如果满意，则导出本张目标图像的标注结果；否则，在界面上修改交互指令(也即是当用户发现展示的标注结果不准确时，可以通过再次点击可行驶区域，给初始标注模型提供更多的先验信息，辅助模型输出更准确的标注结果)，然后初始标注模型根据修改的交互指令和目标图像重新输出标注结果，直至用户对标注结果满意为止。

在界面上修改交互指令包括但不限于增加新的交互指令、删除旧的交互指令、调整旧的交互指令。以用画笔工具点击为例，当用户对初始标注模型的输出结果不满意时，用户可以在界面上的可行驶区域其它位置再次点击、也可以删除原先位置的点击并输入其它位置的点击、也可以直接调整原先点击的位置。

在界面上修改交互指令虽然需要人工参与，但人工在此处只需判断好或不好，若不好才需修改人工交互式指令，和现有技术相比，本方法提出的交互式指令并不需像现有技术中那样去仔细地调整可行驶区域边缘点的位置，而只需要在可行驶区域或非可行驶区域简单的点击，也就是人工介入的方式是不一样的，相比而言，本方法中的人工介入方式更加的简单易操作。

步骤S214，将标注结果转换为二值图；该二值图中包含有多个连通域。

在具体实现时，上述标注结果为通道数为二的图像，该图像的宽高与该标注结果对应的待标注图像的宽高相同；两个通道分别为可行驶区域通道和非可行驶区域通道；在实现步骤S214时，针对标注结果对应的图像中的每个像素点，执行下述步骤10-12：

步骤10，判断当前像素点对应的可行驶区域通道的通道值是否大于非可行驶区域通道的通道值；如果大于，执行步骤11；如果小于或者等于，执行步骤12。

步骤11，将当前像素点的像素值设置为第一数值。

步骤12，将当前像素点的像素值设置为第二数值。

上述第一数值和第二数值可以根据用户需求设置，例如可以将第一数值设置1，将第二数值设置为0。

步骤S216，滤除二值图中的上半部分指定区域的连通域。

在具体实现时，可行驶区域一般只会出现在图像平面的下半部分，上半部分为天空区域，所以可以利用这种先验知识滤除上述二值图中上半部分的连通域，只保留下半部分的连通域。

步骤S218，对滤除后的二值图进行闭运算，以将滤除后的二值图中的每个连通域中间的孔洞区域去除。

在具体实现时，滤除后的二值图的连通域中通常会出现孔洞，即像素值为第一数值的连通域中间还包含像素值为第二数值的连通域，需要用图像处理中的闭运算操作去除这些孔洞。

步骤S220，从去除孔洞后的二值图的连通域中，选取包含像素数量最多的连通域为可行驶区域。

在具体实现时，对去除孔洞后的二值图中的各个连通域按照像素数量进行排序，选取像素数量最多的一个连通域作为可行驶区域。

步骤S222，将包含有选取的可行驶区域的二值图，确定为调整后的标注结果。

在一些实施例中，在上述步骤S222之后，还可以通过下述方式一或者方式二对调整后的标注结果进行修正：

方式一，利用车道线位置信息，修正调整后的标注结果，得到最终的标注结果。

获取经调整后的标注结果，利用算法检测出该标注结果对应的待标注图像中的车道线位置信息，基于可行驶区域一般位于车道线之间这一先验知识，滤除掉车道线以外的可行驶区域。所述滤除掉车道线以外的可行驶区域是指，算法检测出的最左侧车道线的左侧区域为非可行驶区域，予以滤除；算法检测的最右侧车道的右侧区域为非可行驶区域，予以滤除；其它区域不做处理，如图3所示为一种车道线位置信息修正标注结果的示意图，该标注结果相当于图3中修正后的可行驶区域二值图。

方式二，利用毫米波雷达的检测信息，修正调整后的标注结果，得到最终的标注结果。

获取毫米波雷达输出的检测信息，该检测信息可以是目标位置信息，去除干扰目标点，筛选出有效的目标点，将毫米波雷达检出的目标点结果转换到图像坐标系，若转换后的毫米波雷达目标点落在调整后的标注结果的可行驶区域范围内，则将雷达目标点的位置信息和交互式指令一起转化成初始标注模型可以接收的形式并输入至初始标注模型中，输出待标注图像的标注结果，修正标注结果，直至没有转换后的毫米波雷达目标点落在可行驶区域范围内。

在一些实施例中，为了保证标注结果的准确性，还可以在得到最终的标注结果后，人工对可行驶区域分割边界进行微调，得到人工修正后的标注结果，将修正后的标注结果作为后续训练集合中的数据，并导出标注结果。上述微调可以是指人工通过点击、拖拽等方式，改变可行驶区域边界的位置；上述将标注结果导出包括但不限于导出至本机的存储系统、分布式文件服务器，其导出文件的命名方式与待标注图像有着一一对应的关系，文件内容包括了原始图像的大小、标注日期、可行驶区域的边界点坐标等内容，其文件格式包括但不限于.csv，.xml，.html，.txt等。

步骤S224，将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型。

步骤S226，将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

上述可行驶区域的标注方法，将接收的交互指令输入至初始标注模型中，本质上是对模型预测结果添加监督的过程，该标注方法可以减轻甚至是免去了后面的标注质量检查负担，提高了标注质量。同时，随着越来越多的数据被标注，交互式标注模型也将会不断地被优化，经过一段时间的数据积累和模型优化后，用户只需要提供少量的交互信息，标注模型就能产生高质量的标注结果。

本发明实施例还提供了另一种可行驶区域的标注方法，该方法在上述实施例方法的基础上实现；如图4所示，该方法包括如下步骤：

步骤S402，获取样本集；其中，该样本集中包含有多个样本，每个样本中均包含有样本图像，以及该样本图像对应的标注有可行驶区域的二值图。

上述样本集可以是一个包含可行驶区域标签的公开数据集，例如，bdd100k数据集。该样本集中包含有多个样本，每个样本中均包含有样本图像，以及该样本图像对应的标注有可行驶区域的二值图。该可行驶区域的二值图通常是一张和样本图像宽高相同的单通道图像，在二值图中可行驶区域的对应像素值为1，非可行驶区域的对应像素值为0。该可行驶区域的二值图相当于可行驶区域标签。

步骤S404，基于上述样本集和预设的模拟指令，训练第一模型，得到训练后的第一模型；将训练后的第一模型确定为初始标注模型。

在具体实现时，可以由样本集的可行驶区域标签模拟出用户的交互指令，得到模拟指令；该模拟指令包括但不限于用户在可行驶区域的点击、用户在可行驶区域的涂写、用户在可行驶区域绘制的外接框等。由于第一模型可能不能接收原始的模拟指令，需要将模拟指令转化成可以输入至第一模型的表达形式。

步骤S406，从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像。

步骤S408，将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果；该标注结果用于指示可行驶区域的位置。

步骤S410，按照预设的可行驶区域确定规则，调整标注结果。

步骤S412，将调整后的标注结果和目标数据集组成训练集合，通过训练集合和样本集训练初始标注模型，得到训练后的初始标注模型。

步骤S414，将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

上述可行驶区域的标注方法，利用包含可行驶区域标签的样本集，生成模拟指令，结合样本集和模拟指令训练第一模型，得到初始标注模型，该方式相比纯手工标注方式，工作量大为减轻；相比现有的预训练模型的标注方法，为模型预测引入了交互指令信息，在不明显增加工作量的前提下，提升了标注质量。

对应于上述方法实施例，本发明实施例提供了一种可行驶区域的标注装置，如图5所示，该装置包括：

数据集确定模块50，用于从预设的多个待标注数据集中，确定目标数据集；其中，每个待标注数据集中均包含有多张待标注图像。

数据输入模块51，用于将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的标注结果；该标注结果用于指示可行驶区域的位置。

结果调整模块52，用于按照预设的可行驶区域确定规则，调整标注结果。

模型训练模块53，用于将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型。

数据标注模块54，用于将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到多个待标注数据集中的每个待标注数据集均被标注完成。

上述可行驶区域的标注装置，首先从预设的多个待标注数据集中，确定目标数据集；进而将目标数据集和预设的交互指令输入至初始标注模型，输出目标数据集对应的指示可行驶区域的位置的标注结果；再按照可行驶区域确定规则，调整标注结果；将调整后的标注结果和目标数据集组成训练集合，通过训练集合训练初始标注模型，得到训练后的初始标注模型；然后将初始标注模型替换为训练后的初始标注模型，继续执行从多个待标注数据集中，确定目标数据集的步骤，直到每个待标注数据集均被标注完成。该方式无需投入大量人力，提高了标注效率；同时，该方式通过不断优化的标注模型对图像进行标注，提高了模型标注的精确度。

进一步地，上述装置还包括待标注数据获取模块，用于：通过预设相机，采集包含有可行驶区域场景的多张图像；针对采集的每张图像进行预处理，得到多张待标注图像；其中，该预处理包括：对图像的裁剪、白平衡、去噪、直方图均衡、归一化中的一种或者多种处理；对多张待标注图像进行划分，得到多个待标注数据集。

进一步地，上述数据输入模块51，还用于：基于目标数据集确定目标图像；接收用户输入的针对目标图像的交互指令，将该交互指令和目标图像输入至初始标注模型中，得到目标图像的标注结果；继续执行基于目标数据集确定目标图像的步骤，直到目标数据集中的所有待标注图像均被标注完成；其中，该交互指令包括用户指示的目标图像中的可行驶区域。

具体地，上述装置还包括指令转换模块，用于：接收用户输入的针对目标图像的交互指令之后，将交互指令转化为指定尺寸的向量或者指定尺寸的矩阵，以适用于初始标注模型接收。

进一步地，上述结果调整模块52，还用于：将标注结果转换为二值图；该二值图中包含有多个连通域；滤除二值图中的上半部分指定区域的连通域；对滤除后的二值图进行闭运算，以将滤除后的二值图中的每个连通域中间的孔洞区域去除；从去除孔洞后的二值图的连通域中，选取包含像素数量最多的连通域为可行驶区域；将包含有选取的可行驶区域的二值图，确定为调整后的标注结果。

在具体实现时，上述标注结果为通道数为二的图像；两个通道分别为可行驶区域通道和非可行驶区域通道；上述结果调整模块52，还用于：针对标注结果对应的图像中的每个像素点，执行下述操作：判断当前像素点对应的可行驶区域通道的通道值是否大于非可行驶区域通道的通道值；如果大于，将当前像素点的像素值设置为第一数值；如果小于或者等于，将当前像素点的像素值设置为第二数值。

进一步地，上述装置还包括结果修正模块，用于：将包含有选取的可行驶区域的二值图，确定为调整后的标注结果之后，利用车道线位置信息，修正调整后的标注结果，得到最终的标注结果；或者，利用毫米波雷达的检测信息，修正调整后的标注结果，得到最终的标注结果。

进一步地，上述装置还包括初始训练模块，用于：在从预设的多个待标注数据集中，确定目标数据集之前，获取样本集；其中，该样本集中包含有多个样本，每个样本中均包含有样本图像，以及样本图像对应的标注有可行驶区域的二值图；基于样本集和预设的模拟指令，训练第一模型，得到训练后的第一模型；将训练后的第一模型确定为初始标注模型。

本发明实施例所提供的可行驶区域的标注装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图6所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述可行驶区域的标注方法。

进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述可行驶区域的标注方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种可行驶区域的标注方法，其特征在于，所述方法包括：

从预设的多个待标注数据集中，确定目标数据集；其中，每个所述待标注数据集中均包含有多张待标注图像；

将所述目标数据集和预设的交互指令输入至初始标注模型，输出所述目标数据集对应的标注结果；所述标注结果用于指示可行驶区域的位置；

按照预设的可行驶区域确定规则，调整所述标注结果；

将调整后的标注结果和目标数据集组成训练集合，通过所述训练集合训练所述初始标注模型，得到训练后的所述初始标注模型；

将所述初始标注模型替换为训练后的所述初始标注模型，继续执行从所述多个待标注数据集中，确定目标数据集的步骤，直到所述多个待标注数据集中的每个待标注数据集均被标注完成。

2.根据权利要求1所述的方法，其特征在于，所述多个待标注数据集通过下述方式获得：

通过预设相机，采集包含有可行驶区域场景的多张图像；

针对采集的每张图像进行预处理，得到多张待标注图像；其中，所述预处理包括：对图像的裁剪、白平衡、去噪、直方图均衡、归一化中的一种或者多种处理；

对所述多张待标注图像进行划分，得到所述多个待标注数据集。

3.根据权利要求1所述的方法，其特征在于，所述将所述目标数据集和预设的交互指令输入至初始标注模型，输出所述目标数据集对应的标注结果的步骤，包括：

基于所述目标数据集确定目标图像；

接收用户输入的针对所述目标图像的交互指令，将所述交互指令和所述目标图像输入至所述初始标注模型中，得到所述目标图像的标注结果；继续执行基于所述目标数据集确定目标图像的步骤，直到所述目标数据集中的所有待标注图像均被标注完成；

其中，所述交互指令包括用户指示的所述目标图像中的可行驶区域。

4.根据权利要求3所述的方法，其特征在于，所述接收用户输入的针对所述目标图像的交互指令的步骤之后，所述方法还包括：

将所述交互指令转化为指定尺寸的向量或者指定尺寸的矩阵，以适用于所述初始标注模型接收。

5.根据权利要求1所述的方法，其特征在于，所述按照预设的可行驶区域确定规则，调整所述标注结果的步骤，包括：

将所述标注结果转换为二值图；所述二值图中包含有多个连通域；

滤除所述二值图中的上半部分指定区域的连通域；

对滤除后的所述二值图进行闭运算，以将滤除后的所述二值图中的每个所述连通域中间的孔洞区域去除；

从去除孔洞后的所述二值图的连通域中，选取包含像素数量最多的连通域为可行驶区域；

将包含有选取的可行驶区域的二值图，确定为调整后的所述标注结果。

6.根据权利要求5所述的方法，其特征在于，所述标注结果为通道数为二的图像；两个所述通道分别为可行驶区域通道和非可行驶区域通道；

所述将所述标注结果转换为二值图的步骤，包括：

针对所述标注结果对应的图像中的每个像素点，执行下述操作：

判断当前像素点对应的所述可行驶区域通道的通道值是否大于所述非可行驶区域通道的通道值；

如果大于，将所述当前像素点的像素值设置为第一数值；

如果小于或者等于，将所述当前像素点的像素值设置为第二数值。

7.根据权利要求5所述的方法，其特征在于，所述将包含有选取的可行驶区域的二值图，确定为调整后的所述标注结果的步骤之后，所述方法还包括：

利用车道线位置信息，修正调整后的所述标注结果，得到最终的所述标注结果；

或者，利用毫米波雷达的检测信息，修正调整后的所述标注结果，得到最终的所述标注结果。

8.根据权利要求1所述的方法，其特征在于，所述从预设的多个待标注数据集中，确定目标数据集的步骤之前，所述方法还包括：

获取样本集；其中，所述样本集中包含有多个样本，每个样本中均包含有样本图像，以及所述样本图像对应的标注有可行驶区域的二值图；

基于所述样本集和预设的模拟指令，训练第一模型，得到训练后的所述第一模型；将训练后的所述第一模型确定为所述初始标注模型。

9.一种可行驶区域的标注装置，其特征在于，所述装置包括：

数据集确定模块，用于从预设的多个待标注数据集中，确定目标数据集；其中，每个所述待标注数据集中均包含有多张待标注图像；

数据输入模块，用于将所述目标数据集和预设的交互指令输入至初始标注模型，输出所述目标数据集对应的标注结果；所述标注结果用于指示可行驶区域的位置；

结果调整模块，用于按照预设的可行驶区域确定规则，调整所述标注结果；

模型训练模块，用于将调整后的标注结果和目标数据集组成训练集合，通过所述训练集合训练所述初始标注模型，得到训练后的所述初始标注模型；

数据标注模块，用于将所述初始标注模型替换为训练后的所述初始标注模型，继续执行从所述多个待标注数据集中，确定目标数据集的步骤，直到所述多个待标注数据集中的每个待标注数据集均被标注完成。

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-8任一项所述的可行驶区域的标注方法。

Images