CN111274926A - 图像数据筛选方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像数据筛选方法、装置、计算机设备和存储介质。所述方法包括：获取训练图像以及训练图像对应的标注结果；将训练图像输入与训练图像对应的视觉感知神经网络，通过视觉感知神经网络对训练图像进行视觉感知任务检测，得到检测结果；根据检测结果和标注结果对训练图像进行图像数据评分，得到第一评分值；利用训练图像以及训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；当获取到待筛选图像时，将待筛选图像输入数据评分网络，通过数据评分网络对待筛选图像进行图像数据评分，得到第二评分值；根据第二评分值对待筛选图像进行筛选。采用本方法能够提高效率。

Description

图像数据筛选方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像数据筛选方法、装置、计算机设备和存储介质。

背景技术

近几年，随着深度学习技术的快速发展，使得计算机视觉领域的很多传统任务的精度能够得到大幅度的提升。加之摄像头价格的低廉以及其能够弥补一些其他传感器无法完成的工作的综合优势，让基于视觉的感知算法得到了广泛的研究和应用，尤其是在自动驾驶和辅助驾驶领域实现了真正落地使用。

然而，众所周知，有价值的图像数据对于深度学习算法的训练和迭代更新至关重要。因此，如何高效准确筛选出图像数据成为了目前研究的热点。为了从海量数据中挖掘筛选得到能够进一步完善算法的数据，传统方法通常都是对这些数据进行清洗和筛选。而最常用以及最简单的做法就是通过人工的方式进行，但是由于数据量太大，人工筛选大大降低了筛选的效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高效率的图像数据筛选方法、装置、计算机设备和存储介质。

一种图像数据筛选方法，所述方法包括：

获取训练图像以及所述训练图像对应的标注结果；

将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果；

根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值；

利用所述训练图像以及所述训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；

当获取到待筛选图像时，将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值；

根据所述第二评分值对所述待筛选图像进行筛选。

在其中一个实施例中，所述方法还包括：

当从所述待筛选图像中筛选确定存在类别标签为困难样本的待筛选图像时，利用所述类别标签为困难样本的所述待筛选图像对所述视觉感知神经网络进行迭代训练。

在其中一个实施例中，所述根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值，包括：

根据所述检测结果和所述标注结果确定真阳性数据、假阳性数据以及假阴性数据；

基于所述真阳性数据、假阳性数据以及假阴性数据计算所述检测结果和所述标注结果的重叠度，得到第一评分值。

在其中一个实施例中，所述将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值，包括：

将所述待筛选图像输入所述数据评分网络的主干网络，通过所述主干网络提取得到所述待筛选图像的图像特征；

将所述待筛选图像的图像特征输入所述数据评分网络的数据评分分支网络，通过所述数据评分分支网络对所述待筛选图像的图像特征进行全局池化和回归，输出第二评分值。

在其中一个实施例中，所述视觉感知神经网络包括视觉感知主干网络和至少一个视觉感知任务分支网络；

所述将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果，包括：

将所述训练图像输入所述视觉感知主干网络，通过所述视觉感知主干网络提取得到所述训练图像的图像特征；

将所述训练图像的图像特征输入与所述训练图像的类型对应的所述视觉感知任务分支网络，通过对应的所述视觉感知任务分支网络根据所述训练图像的图像特征进行视觉感知任务检测，得到检测结果。

在其中一个实施例中，所述将所述训练图像的图像特征输入与所述训练图像的类型对应的所述视觉感知任务分支网络，通过对应的所述视觉感知任务分支网络根据所述训练图像的图像特征进行视觉感知任务检测，得到检测结果，包括：

当所述训练图像的类型为车道线图像时，将所述训练图像的图像特征输入所述车道线语义分割网络，通过所述车道线语义分割网络基于所述训练图像的图像特征进行车道线检测，得到二进制车道线图像；

将所述训练图像的图像特征输入所述车道线实例分割网络，通过所述车道线实例分割网络基于所述训练图像的图像特征进行车道线实例分割，得到车道线实例聚类图像；

融合所述二进制车道线图像和所述车道线实例聚类图像，得到检测结果。

在其中一个实施例中，所述根据所述第二评分值对所述待筛选图像进行筛选，包括：

获取预设的评分阈值；

将所述待筛选图像对应的所述第二评分值与所述评分阈值进行比较，确定所述待筛选图像的类别标签。

一种图像数据筛选装置，所述装置包括：

获取模块，用于获取训练图像以及所述训练图像对应的标注结果；

检测模块，用于将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果；

评分计算模块，用于根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值；

训练模块，用于利用所述训练图像以及所述训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；

网络评分模块，用于当获取到待筛选图像时，将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值；

筛选模块，用于根据所述第二评分值对所述待筛选图像进行筛选。在其中一个实施例中，

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述图像数据筛选方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述图像数据筛选方法的步骤。

上述图像数据筛选方法、装置、计算机设备和存储介质，在获取到训练图像以及对应的标注结果之后，通过对应的视觉感知任务对训练图像进行视觉感知任务检测，进而根据检测得到的检测结果以及标注结果对训练图像进行评价得到对应的评分值。然后，基于训练图像和评分值对深度神经网络进行训练得到数据评分网络，后续直接利用数据评分网络对大量需要筛选的新图像数据进行筛选。该方法利用训练得到的数据评分网络可以在没有任何关于新图像参考信息的条件下，完成对新图像数据的评价任务，相比传统的人工直接筛选或人工标注部分信息的方式，能够显著提高筛选效率。

附图说明

图1为一个实施例中图像数据筛选方法的应用环境图；

图2为一个实施例中图像数据筛选方法的流程示意图；

图3为一个实施例中数据评分网络中间层可视化结果示意图；

图4为一个实施例中数据评分网络输出示意图；

图5为一个实施例中闭环神经网络迭代更新方法的流程示意图；

图6为一个实施例中数据评分网络结构的结构示意图；

图7为一个实施例中视觉感知神经网络结构的结构示意图；

图8为一个实施例中图像数据筛选装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像数据筛选方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102获取到训练图像以及训练图像对应的标注结果之后，可以单独实现上述图像数据筛选方法。也可以将训练图像以及对应的标注结果发送给服务器104，由服务器104实现上述图像数据筛选方法。具体地，以终端102为例，终端102获取训练图像以及训练图像对应的标注结果；终端102将训练图像输入与训练图像对应的视觉感知神经网络，通过视觉感知神经网络对训练图像进行视觉感知任务检测，得到检测结果；终端102根据检测结果和标注结果对训练图像进行图像数据评分，得到第一评分值；终端102利用训练图像以及训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；终端102当获取到待筛选图像时，将待筛选图像输入数据评分网络，通过数据评分网络对待筛选图像进行图像数据评分，得到第二评分值；终端102根据第二评分值对待筛选图像进行筛选。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像数据筛选方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S202，获取训练图像以及训练图像对应的标注结果。

其中，训练图像是通过图像采集设备，例如摄像机和相机等设备采集得到用于训练深度神经网络的图像。训练图像对应的标注结果则是对训练图像进行标注得到的结果，标注可以人工利用任何一种标注工具进行标注。

具体地，图像采集设备将采集的训练图像发送至终端。当终端接收到训练图像之后，由人工在通过与终端连接的输入装置启动标注工具对训练图像进行标注，得到训练图像对应的标注结果。当将所有的训练图像标注完成之后，终端即可获取到所有的训练图像以及各训练图像对应的标注结果。

步骤S204，将训练图像输入与训练图像对应的视觉感知神经网络，通过视觉感知神经网络对训练图像进行视觉感知任务检测，得到检测结果。

其中，视觉感知神经网络是用于进行计算机视觉感知的神经网络。计算机视觉是一种利用计算机设备对目标进行识别、跟踪和测量的技术，主要通过对图像和视频进行处理以获得相应结果。应当理解的是，本实施例中的视觉感知神经网络为已经训练好的网络，是可以直接进行视觉感知任务识别的网络。

具体地，当获取到训练图像以及训练图像对应的标注结果之后，调用与训练图像对应的视觉感知神经网络。所调用的视觉感知神经网络所识别检测的目标应当与训练图像中包括的对象目标或者标注结果一致。例如，训练图像中的包括的对象目标或者标注结果是车道线，那么所调用的视觉感知神经网络就应当是已经训练好用于识别检测车道线的网络。训练图像中包括的对象目标或者标注结果是行人时，那么所调用的视觉感知神经网络应当就是已经训练好用于行人识别的网络。当调用到训练图像对应的视觉感知神经网络之后，将训练图像输入至对应的视觉感知神经网络中。由训练图像对应的视觉感知神经网络对训练图像进行对应的视觉感知任务检测，得到视觉感知神经网络输出的检测结果。例如，当调用的视觉感知神经网络用于识别检测车道线，则对训练图像进行车道线的识别检测，从而得到对训练图像进行车道线检测的检测结果。

步骤S206，根据检测结果和标注结果对训练图像进行图像数据评分，得到第一评分值。

其中，第一评分值是根据训练图像对应的视觉感知神经网络的检测结果以及人工标注的标注结果进行评估得到的评估值。该评估值用于评价对应训练图像对于对应的视觉感知神经网络来说是否是比较好处理的图像。可以理解为，用于评价视觉感知神经网络对该训练图像进行视觉感知任务识别的网络性能。

在一个实施例中，根据检测结果和标注结果对训练图像进行图像数据评分，得到第一评分值，具体包括：根据检测结果和标注结果确定真阳性数据、假阳性数据以及假阴性数据；基于真阳性数据、假阳性数据以及假阴性数据计算检测结果和所述标注结果的重叠度，得到第一评分值。

其中，真阳性数据是指检测结果与标注结果一致的数据，假阳性数据和假阴性数据都是检测结果与标注结果不一致的数据。以车道线为例，将训练图像中车道线所在的区域进行标注得到标注结果。因此，真阳性数据为视觉感知神经网络检测出来的认为是车道线区域且标注结果中也确实包括的区域，用TP(True Positive，真阳性)表示。假阳性数据为视觉感知神经网络检测出来认为是车道线区域，但实际上不是标注结果中标注的区域，即实际上不是车道线区域，用FP(False Positive，假阳性)表示。而假阴性数据为视觉感知神经网络检测出来的认为不是车道线区域，但却是标注结果中标注的区域，即实际上是车道线区域，用FN(False Negative，假阴性)表示。第一评分值是通过真阳性数据、假阳性数据以及假阴性数据计算得到的训练图像的评分值。

具体地，当得到检测结果之后，首先计算检测结果和标注结果的交集，得到真阳性数据TP。而标注结果减去真阳性数据得到假阳性数据FP，检测结果减去假阳性数据得到假阴性数据FN。然后，根据TP、FP和FN计算重叠度IoU(Intersection-over-Union)，计算公式如下：

IoU＝TP/(TP+FP+FN)

IoU的取值范围是在0到1之间，取值越小表示视觉感知神经网络的检测结果与真实的标注结果之间的差别越大，即网络性能越差。反之取值越大表示视觉感知神经网络的检测结果与真实的标注结果之间的差别越小。应当理解的是，若以车道线为例，计算得到的IoU仅仅只是一条车道线的第一评分值。而当训练图像中实际是包括多条车道线时，则需要对每一条车道线的IoU求平均得到最终的第一评分值。同理，当视觉感知神经网络是对包括行人的训练图像进行目标(行人)检测时，所有行人的IoU求平均得到最终的第一评分值。

步骤S208，利用训练图像以及训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络。

具体地，本实施例对预设的深度神经网络进行训练是基于回归的训练。当得到训练图像对应的第一评分值之后，利用训练图像和训练图像对应的第一评分值对深度神经网络进行训练，得到数据评分网络。将训练图像输入至深度神经网络，通过深度神经网络对训练图像进行图像数据评分，输出训练评分值。根据训练图像的训练评分值以及对应的第一评分值对深度神经网络的参数权重等进行调整。然后在将训练图像输入至参数权重已经调整之后的深度神经网络再次进行训练，直至满足训练结束条件。训练结束条件可以是已经满足了预设的训练次数，也可以是损失函数收敛为止。当满足训练结束条件之后，将得到的训练好的深度神经网络作为数据评分网络。

步骤S210，当获取到待筛选图像时，将待筛选图像输入数据评分网络，通过数据评分网络对待筛选图像进行图像数据评分，得到第二评分值。

具体地，当获取到待筛选图像时，直接将待筛选图像输入训练得到的数据评分网络中。通过数据评分网络对筛选图像进行图像数据评分，输出待筛选图像的评分值，即第二评分值。其中，待筛选图像是需要进行筛选的图像。

步骤S212，根据第二评分值对待筛选图像进行筛选。

其中，第二评分值是通过数据评分网络得到的待筛选图像的评分值。由于本实施例中的数据评分网络是进行回归方式训练得到的，所以该评分值的输出方式是回归。可以理解为，本实施例输出的第二评分值是一个具体地数值。

在一个实施例中，根据第二评分值对待筛选图像进行筛选，具体包括：获取预设的评分阈值；将待筛选图像对应的第二评分值与评分阈值进行比较，确定待筛选图像的类别标签。

其中，类别标签是用于表示待筛选图像相对于视觉感知神经网络来说是否是比较好处理的图像，分别包括困难样本、中等样本和简单样本。可以理解为，简单样本是视觉感知神经网络最容易处理且处理的最准确的图像。困难样本则是视觉感知神经网络较难处理且可能出现检测不准确的图像。

具体地，当得到待筛选图像的第二评分值后，获取预设的评分阈值，根据评分阈值与第二评分值的大小差异确定待筛选图像是困难样本、中等样本还是简单样本。评分阈值包括第一阈值和第二阈值，且第一阈值小于第二阈值，可以根据实际情况进行设定。本实施例以第一阈值0.4和第二阈值0.7为例进行说明，当第二评分值小于等于第一阈值0.4时，对应的待筛选图像属于困难样本。当第二评分值大于第一阈值0.4小于等于第二阈值0.7时，对应的待筛选图像属于中等样本。当第二评分值大于第二阈值0.7时，对应的待筛选图像属于困难样本。

上述图像数据筛选方法，在获取到训练图像以及对应的标注结果之后，通过对应的视觉感知任务对训练图像进行视觉感知任务检测，进而根据检测得到的检测结果以及标注结果对训练图像进行评价得到对应的评分值。然后，基于训练图像和评分值对深度神经网络进行训练得到数据评分网络，后续直接利用数据评分网络对需要筛选的图像数据进行筛选。该方法利用训练得到的数据评分网络可以在不需要获得新图像任何参考信息的条件下，完成对新图像数据的评价任务，相比传统的人工直接筛选或者人工标注部分信息的方式，该方法能够显著提高筛选效率。

在另一个实施例中，步骤S208，对预设的深度神经网络进行训练可以是基于分类的训练。分类的训练可以理解为是将网络的输出定义为分类任务，是训练网络学习分类标签的训练方式。

具体地，当得到训练图像的第一评分值之后，首先通过第一评分值将训练图像分为简单样本、中等样本和复杂样本这三类。如下表1所示，利用第一评分值将其对应的样本划分为三个类别。

表1

划分标准	第一评分值≤0.4	0.4<第一评分值≤0.7	第一评分值>0.7
				类别标签	困难样本	中等样本	简单样本

当训练图像的类别划分完成之后，利用训练图像及其对应的类别标签训练预设的深度神经网络得到相应的数据评分网络。将训练图像输入至深度神经网络，通过深度神经网络对训练图像进行分类，输出对应的训练类别标签。根据输出的训练类别标签与实际的类别标签对深度神经网络的参数权重等进行调整后进行迭代训练，直至满足训练结束条件，得到本实施例基于分类的数据评分网络。

本实施例基于分类训练得到数据评分网络之后，对数据评分网络的性能进行了量化评估。如图3所示，提供一种数据评分网络中间层可视化结果图。图3是以车道线为例，参考图3，第一列为输入数据评分网络的测试样本，第二列为车道线检测结果及其对应的第一评分，第三列为数据评分网络中间层的可视化结果(全局池化之前的特征图，其中通道数为3)。根据中间层的可视化结果可以进一步证明，对于不同车道线质量的图像，数据评分网络的中间层会有不同的响应，说明网络学到了区分不同质量图像的特征。

最终训练好的数据评分网络输出如图4所示。图4是以车道线为例分别展示了数据评分网络输出的三种分类结果。第一行为困难样本，其中车道线处于难以观测的程度。第二行为中等样本，车道线处于较为清晰的程度。第三行为简单样本，车道线处于非常清晰的程度。从网络的输出结果可以看出，该结果符合人眼对于车道线清晰程度的主观感受。

另外，应当理解的是，由于本实施例中的数据评分网络是基于分类训练得到的。所以，当利用本实施例的数据评分网络对待筛选图像进行图像数据评分时，所得到的第二评分值是待筛选图像的分类结果，而不是一个具体地数值了。因此，根据本实施例数据评分网络输出的第二评分值就可以直接确定待筛选图像的类别标签，从而筛选确定待筛选图像是困难样本、中等样本还是简单样本。

在一个实施例中，如图5所示，步骤S212之后还包括：

步骤S214，当从待筛选图像中筛选确定存在类别标签为困难样本的待筛选图像时，利用类别标签为困难样本的待筛选图像对视觉感知神经网络进行迭代训练。

具体地，当根据数据评分网络的输出确定待筛选图像的类别标签是困难样本、中等样本或者简单样本之后，获取所有的类别标签为困难样本的待筛选图像。类别标签为困难样本的待筛选图像均是视觉感知神经网络处理不好的图像，因此将所有类别标签为困难样本的待筛选图像收集起来，用于给视觉感知神经进行新一轮的迭代训练。即将类别标签为困难样本的待筛选图像进行标注，得到对应的标注结果之后，将该待筛选图像输入视觉感知神经网络中进行对应的视觉感知任务识别，输出检测结果。在根据类别标签为困难样本的待筛选图像的检测结果和标注结果对视觉感知神经网络进行参数权重的调整。重新将类别标签为困难样本的待筛选图像输入至参数权重调整后的视觉感知神经网络中，直至满足迭代结束条件为止，得到经过新一轮迭代更新后的视觉感知神经网络为最终的视觉感知神经网络。

本实施例中，通过将属于困难样本的图像对已经训练好的视觉感知神经网络再次进行迭代训练，形成一种闭环神经网络迭代更新方法，由此不断提升视觉感知神经网络的性能，从而进一步提升检测网络处理困难样本的能力，以此提高视觉感知神经网络处理复杂场景的能力和检测精度。

在一个实施例中，如图6所示，提供一种数据评分网络结构的结构示意图。参考图6，数据评分网络包括主干网络601和数据评分分支网络602。主干网络601采用了多分辨率的U型结构网络，数据评分分支网络602采用全局池化加分类或者回归的结构，将采用全局池化加分类或者回归的数据评分分支网络作为网络的最终输出。

以图6所示的数据评分网络结构为例，将待筛选图像输入数据评分网络，通过数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值具体包括：将待筛选图像输入数据评分网络的主干网络，通过主干网络提取得到待筛选图像的图像特征；将待筛选图像的图像特征输入数据评分网络的数据评分分支网络，通过数据评分分支网络对待筛选图像的图像特征进行全局池化和回归，输出第二评分值。

具体地，即通过数据评分网络对待筛选图像进行图像数据评分时，首先将待筛选图像输入至U型结构的主干网络，通过主干网络对待筛选图像进行图像特征的提取。然后，再将主干网络提取得到的待筛选图像的图像特征输入至数据评分分支网络，由数据评分分支网络的全局池化层和分类或回归层对图像特征进行处理，从而输出待筛选图像的第二评分值。在本实施例中，通过训练好的数据评分网络对待筛选图像进行评估，不仅无需人工评估还能提升评估的准确性和效率。

在一个实施例中，如图7所示，以本申请应用于自动驾驶系统中为例，提供一种视觉感知神经网络结构的结构示意图。参考图7，应用与自动驾驶系统中的视觉感知神经网络包括视觉感知主干网络701和至少一个视觉感知任务分支网络。视觉感知任务分支网络包括但不限于车道线语义分割网络702、车道线实例分割网络703、线型分类网络704、路面标志分类网络705、通行区域检测网络706、车辆行人实例分割网络707和路面障碍物分类网络708。

具体地，视觉感知主干网络同样采用多分辨率的U型结构，视觉感知任务分支网络可采用Deconvolution(反卷积)或Pixel Shuffle(像素重组)的方式进行上采样操作。主干网络用于对需要进行视觉感知任务识别的图像进行图像特征的初步提取，然后提取得到的特征图输入至对应的分支网络进行对应任务的检测。例如，车道线语义分割网络进行基于语义分割的车道线检测、车道线实例分割网络进行基于实例分割的车道线检测、线型分类网络进行车道线线型的检测、路面标志分类网络进行路面标志的检测、通行区域检测网络进行可通行区域、路沿、车辆和行人的检测、车辆行人实例分割网络进行基于实例分割的车辆和行人的检测、以及路面障碍物分类网络进行障碍物的检测。

另外，为了增加训练样本的多样性保证视觉感知神经网络的表现能力，训练视觉感知神经网络所用的训练数据集中的训练样本可以是多种不同条件下不同的视觉感知图像。例如，不同光照条件、不同场景、摄像设备不同安装角度的图像。其中可以包括晴天、雨天、白天、夜间、高速、城区、大车视角、小车视角等场景下的图像。

在一个实施例中，以图7所示的视觉感知神经网络结构的结构示意图为例，将训练图像输入与训练图像对应的视觉感知神经网络，通过视觉感知神经网络对训练图像进行视觉感知任务检测，得到检测结果具体包括：将训练图像输入视觉感知主干网络，通过视觉感知主干网络提取得到训练图像的图像特征；将训练图像的图像特征输入与训练图像的类型对应的视觉感知任务分支网络，通过对应的视觉感知任务分支网络根据训练图像的图像特征进行视觉感知任务检测，得到检测结果。

具体地，首先将训练图像输入至视觉感知神经网络的视觉感知主干网络进行图像特征的初步提取，得到训练图像的图像特征。然后，根据训练图像的类型将训练图像的图像特征输入对应的视觉感知任务分支网络。以自动驾驶系统中视觉感知任务为例，训练图像的类型可以有包括车道线的图像、包括路面标志的图像、包括可通行区域、路沿、车辆和行人等的图像以及包括路面障碍物的图像。根据训练图像包括的对象确定训练图像的类型，从而将训练图像的图像特征输入与类型对应的视觉感知任务分支网络进行视觉感知任务检测，得到检测结果。

在一个实施例中，以图7所示的视觉感知神经网络结构中的车道线语义分割网络701和车道线实例分割网络702为例，将训练图像的图像特征输入与训练图像的类型对应的视觉感知任务分支网络，通过对应的视觉感知任务分支网络根据训练图像的图像特征进行视觉感知任务检测，得到检测结果，包括：将训练图像的图像特征输入车道线语义分割网络，通过车道线语义分割网络基于训练图像的图像特征进行车道线检测，得到二进制车道线图像；将训练图像的图像特征输入车道线实例分割网络，通过车道线实例分割网络基于训练图像的图像特征进行车道线实例分割，得到车道线实例分割图像；融合二进制车道线图像和车道线实例分割图像，得到检测结果。

其中，车道线语义分割网络是基于语义分割对训练图像中的车道线进行目标检测的网络。语义分割只需要对图像上的所有像素点进行分类，而属于同一物体的不同实例不需要单独区分出来。而车道线实例分割网络则是对训练图像中的车道线进行实例分割的网络。

具体地，将训练图像的图像特征分别输入车道线语义分割网络和车道线实例分割网络。车道线语义分割网络基于训练图像的图像特征进一步提取待训练图像中车道线的特征，从而语义分割得到二进制车道线图像。车道线实例分割网络基于训练图像的图像特征进一步提取训练图像中各车道线所在空间位置的特征从而得到车道线实例分割图像。当得到车道线实例分割图像之后，为了使得属于同一区域的车道线的像素点聚集为一类。利用聚类算法对车道线实例分割图像对应的图像矩阵进行聚类，得到车道线实例聚类图像。聚类算法可采用任意一种，包括但不限于DBSCAN(Density-Based Spatial Clustering ofApplications with Noise，基于密度的聚类算法)、Mean-shift(均值漂移)算法、K均值聚类等。

然后，融合二进制车道线图像和车道线实例聚类图像。根据车道线实例聚类图像对二进制车道线图像进行实例分类。由于车道线实例聚类图像中是根据每条车道线的空间位置关系对空间进行划分。因此利用语义分割分支网络输出的二进制车道线图像结合车道线实例聚类图像，就可以为相同车道线上的点标记同一个标签，同时不同车道线上的点标签不同，从而实现车道线实例分割的目的，得到最终的检测结果。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种图像数据筛选装置，包括：获取模块802、检测模块804、评分计算模块806、训练模块808、网络评分模块810和筛选模块812，其中：

获取模块802，用于获取训练图像以及训练图像对应的标注结果。

检测模块804，用于将训练图像输入与训练图像对应的视觉感知神经网络，通过视觉感知神经网络对训练图像进行视觉感知任务检测，得到检测结果。

评分计算模块806，用于根据检测结果和标注结果对训练图像进行图像数据评分，得到第一评分值。

训练模块808，用于利用训练图像以及所述训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络。

网络评分模块810，用于当获取到待筛选图像时，将待筛选图像输入数据评分网络，通过数据评分网络对待筛选图像进行图像数据评分，得到第二评分值。

筛选模块812，用于根据第二评分值对待筛选图像进行筛选。

在一个实施例中，图像数据筛选装置还包括迭代训练模块，用于当从待筛选图像中筛选确定存在类别标签为困难样本的待筛选图像时，利用类别标签为困难样本的待筛选图像对视觉感知神经网络进行迭代训练。

在一个实施例中，评分计算模块806还用于根据检测结果和标注结果确定真阳性数据、假阳性数据以及假阴性数据；基于真阳性数据、假阳性数据以及假阴性数据计算检测结果和所述标注结果的重叠度，得到第一评分值。

在一个实施例中，网络评分模块810还用于将待筛选图像输入数据评分网络的主干网络，通过主干网络提取得到待筛选图像的图像特征；将待筛选图像的图像特征输入数据评分网络的数据评分分支网络，通过数据评分分支网络对待筛选图像的图像特征进行全局池化和回归，输出第二评分值。

在一个实施例中，检测模块804还用于将训练图像输入视觉感知主干网络，通过视觉感知主干网络提取得到训练图像的图像特征；将训练图像的图像特征输入与训练图像的类型对应的视觉感知任务分支网络，通过对应的视觉感知任务分支网络根据训练图像的图像特征进行视觉感知任务检测，得到检测结果。

在一个实施例中，检测模块804还用于将训练图像的图像特征输入车道线语义分割网络，通过车道线语义分割网络基于训练图像的图像特征进行车道线检测，得到二进制车道线图像；将训练图像的图像特征输入车道线实例分割网络，通过车道线实例分割网络基于训练图像的图像特征进行车道线实例分割，得到车道线实例分割图像；融合二进制车道线图像和车道线实例分割图像，得到检测结果。

在一个实施例中，筛选模块812还用于获取预设的评分阈值；将待筛选图像对应的第二评分值与评分阈值进行比较，确定所述待筛选图像的类别标签。

关于图像数据筛选装置的具体限定可以参见上文中对于图像数据筛选方法的限定，在此不再赘述。上述图像数据筛选装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像数据筛选方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像数据筛选方法，所述方法包括：

获取训练图像以及所述训练图像对应的标注结果；

将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果；

根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值；

利用所述训练图像以及所述训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；

当获取到待筛选图像时，将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值；

根据所述第二评分值对所述待筛选图像进行筛选。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当从所述待筛选图像中筛选确定存在类别标签为困难样本的待筛选图像时，利用所述类别标签为困难样本的所述待筛选图像对所述视觉感知神经网络进行迭代训练。

3.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值，包括：

根据所述检测结果和所述标注结果确定真阳性数据、假阳性数据以及假阴性数据；

基于所述真阳性数据、假阳性数据以及假阴性数据计算所述检测结果和所述标注结果的重叠度，得到第一评分值。

4.根据权利要求1所述的方法，其特征在于，所述将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值，包括：

将所述待筛选图像输入所述数据评分网络的主干网络，通过所述主干网络提取得到所述待筛选图像的图像特征；

将所述待筛选图像的图像特征输入所述数据评分网络的数据评分分支网络，通过所述数据评分分支网络对所述待筛选图像的图像特征进行全局池化和回归，输出第二评分值。

5.根据权利要求1所述的方法，其特征在于，所述视觉感知神经网络包括视觉感知主干网络和至少一个视觉感知任务分支网络；

所述将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果，包括：

将所述训练图像输入所述视觉感知主干网络，通过所述视觉感知主干网络提取得到所述训练图像的图像特征；

将所述训练图像的图像特征输入与所述训练图像的类型对应的所述视觉感知任务分支网络，通过对应的所述视觉感知任务分支网络根据所述训练图像的图像特征进行视觉感知任务检测，得到检测结果。

6.根据权利要求5所述的方法，其特征在于，所述将所述训练图像的图像特征输入与所述训练图像的类型对应的所述视觉感知任务分支网络，通过对应的所述视觉感知任务分支网络根据所述训练图像的图像特征进行视觉感知任务检测，得到检测结果，包括：

当所述训练图像的类型为车道线图像时，将所述训练图像的图像特征输入所述车道线语义分割网络，通过所述车道线语义分割网络基于所述训练图像的图像特征进行车道线检测，得到二进制车道线图像；

将所述训练图像的图像特征输入所述车道线实例分割网络，通过所述车道线实例分割网络基于所述训练图像的图像特征进行车道线实例分割，得到车道线实例聚类图像；

融合所述二进制车道线图像和所述车道线实例聚类图像，得到检测结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第二评分值对所述待筛选图像进行筛选，包括：

获取预设的评分阈值；

将所述待筛选图像对应的所述第二评分值与所述评分阈值进行比较，确定所述待筛选图像的类别标签。

8.一种图像数据筛选装置，其特征在于，所述装置包括：

获取模块，用于获取训练图像以及所述训练图像对应的标注结果；

检测模块，用于将所述训练图像输入与所述训练图像对应的视觉感知神经网络，通过所述视觉感知神经网络对所述训练图像进行视觉感知任务检测，得到检测结果；

评分计算模块，用于根据所述检测结果和所述标注结果对所述训练图像进行图像数据评分，得到第一评分值；

训练模块，用于利用所述训练图像以及所述训练图像对应的第一评分值对预设的深度神经网络进行训练，将训练好的深度神经网络作为数据评分网络；

网络评分模块，用于当获取到待筛选图像时，将所述待筛选图像输入所述数据评分网络，通过所述数据评分网络对所述待筛选图像进行图像数据评分，得到第二评分值；

筛选模块，用于根据所述第二评分值对所述待筛选图像进行筛选。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images