CN109740553B - 一种基于识别的图像语义分割数据筛选方法及系统 - Google Patents

Abstract

本发明涉及一种基于识别的图像语义分割数据筛选方法及系统，该方法包括步骤：利用已训练出的网络模型对新图像进行图像识别预测，得到该新图像中每个像素点的置信度；对置信度做归一化处理，并进行图片转换，得到包含置信度信息的灰度图；基于所述包含置信度信息的灰度图，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好；筛选出预测效果不好的新图像。通过本发明方法及系统，可以将不需要用于训练的数据剔除，只筛选出有新特征的数据用于进行标注及训练，可以提高模型训练效率。

Description

一种基于识别的图像语义分割数据筛选方法及系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于识别的图像语义分割数据筛选方法及系统。

背景技术

近年来，随着深度学习的逐渐发展，卷积神经网络在计算机视觉领域得到了广泛的应用，包括目标检测、图象语义分割等方面。卷积神经网络模型的训练过程是：采集样本数据——对样本数据进行标注——输入样本数据进行模型预测——将预测结果与标注数据进行损失计算，并以计算结果优化模型参数——N次迭代得到最终的模型。模型的训练需要大量的样本数据，且训练数据的质量直接影响到模型的质量，所以在神经网络模型的使用过程中，可能会使用新数据对既有的模型进行再次训练以内模型进行优化，尤其是最初的模型的训练样本较为缺乏的情况。新数据中可能包括新特征，也可能仅包含原有的特征，对所有的新数据进行标注再训练，必然会花费大量的时间，效率低。

发明内容

本发明的目的在于改善现有技术中所存在的对所有的新数据进行标注再训练导致效率低的不足，提供一种基于识别的图像语义分割数据筛选方法及系统。

为了实现上述发明目的，一方面，本发明实施例提供了一种基于识别的图像语义分割数据筛选方法，包括以下步骤：

利用已训练出的网络模型对新数据进行图像识别预测，得到图像中每个像素点的置信度；

对置信度做归一化处理，并进行图片转换，得到包含置信度信息的图片；

基于所述包含置信度信息的图片，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好；

筛选出预测效果不好的数据。

根据本发明实施例，所述归一化处理是指：将置信度由0-1之间的数值转换为0-255之间的数值。

根据本发明实施例，所述根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好的方式是，若出现以下三种情况中的任一种，则判定为该数据预测效果不好：

(1)当前像素点及其周围像素点的平均置信度小于设定的第一置信度阈值；

(2)当前像素点及其周围像素点的类别数大于等于设定的类别个数阈值，且平均置信度小于第二置信度阈值；

(3)当前像素点及其周围像素点的类别数等于1，并且周围像素点的置信度小于第三置信度阈值的个数大于设定的像素点个数阈值；

第二置信度阈值＞第三置信度阈值＞第一置信度阈值。

进一步地，周围像素点是指以当前像素点为中心的N×N矩阵内的像素点，N为大于等于3的整数。

在进一步优化的方案中，上述方法还包括步骤：将筛选出的预测效果不好的数据进行标注，以用于对所述已训练出的网络模型进行继续训练。

另一方面，本发明实施例中还提供了一种基于识别的图像语义分割数据筛选系统，包括以下模块：

预测模块，用于利用已训练出的网络模型对新数据进行图像识别预测，得到图像中每个像素点的置信度；

归一化模块，用于对置信度做归一化处理，并进行图片转换，得到包含置信度信息的图片；

筛选模块，用于基于所述包含置信度信息的图片，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好，及筛选出预测效果不好的数据。

进一步地，上述系统中，所述归一化模块具体用于：将置信度由0-1之间的数值转换为0-255之间的数值，并将原始图片转换为包含置信度信息的图片。

进一步地，上述系统中，所述筛选模块具体用于：若出现以下三种情况中的任一种，则判定为该数据预测效果不好，并筛选出预测效果不好的数据：

(1)当前像素点及其周围像素点的平均置信度小于设定的第一置信度阈值；(2)当前像素点及其周围像素点的类别数大于等于设定的类别个数阈值，且平均置信度小于第二置信度阈值；(3)当前像素点及其周围像素点的类别数等于1，并且周围像素点的置信度小于第三置信度阈值的个数大于设定的像素点个数阈值；其中，第二置信度阈值＞第三置信度阈值＞第一置信度阈值。

另一方面，本发明实施例中还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任一方案所述方法的步骤。

再一方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一方案所述方法的步骤。

与现有技术相比，本发明的有益效果：

本方法或系统利用现有模型进行预测，挑选出当前模型表现不佳的图片，可以仅对挑选出的图片进行标注及模型训练，极大地降低了标注及训练的工作量，继而提高了模型训练的效率。

通过对挑选出的图片进行标注和训练，提升了数据质量，使得已有模型更优化，增强了模型的识别能力。

本方法简单易实现，且非常可靠有效。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的基于识别的图像语义分割数据筛选方法的流程图。

图2为本发明较佳实施例提供的基于识别的图像语义分割数据筛选系统的组成框图。

图3为本发明较佳实施例中所说的电子设备的组成模块框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例中提供了一种基于识别的图像语义分割数据筛选方法，该方法包括以下步骤：

S101，利用已训练出的网络模型对新数据(即新的图片)进行图像识别预测，得到图像中每个像素点的置信度。

S102，对置信度做归一化处理，并进行图片转换，得到包含置信度信息的图片，即灰度置信图。

置信度是预测结果的概率值，为0-1之间的数值。本步骤中，作为一种可实施方式的举例，归一化处理是指将0-1之间的置信度值归一化到0-255，即，将0-1之间的数值转换为0-255之间的数值，这样可以将置信度信息转化输出一张灰度图，方便观察和分析。

S103，基于步骤S102中得到的图片，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好。

本步骤中，所述当前像素点周围的像素点，是指以当前像素点为中心的3×3矩阵内的像素点。作为其他实施方式，也可以分别采用以当前像素点为中心的例如3×3、5×5、7×7或11×11等矩阵内的像素点。

当前像素点周围的像素点的类别个数和/或置信度即为数据筛选条件，作为可实施方式的举例，下面列举了三个筛选条件，只要满足其中任一个筛选条件，则判定为预测效果欠佳，若三个筛选条件均不满足，则判定为预测效果良好。

所述的三个筛选条件如下：

(1)如果当前像素点及其周围像素点(例如取周围11×11个像素点)的平均置信度小于设定的第一置信度阈值，例如0.35，则判定为该数据预测效果欠佳(即预测效果不好)。

此种情况是针对识别效果特别差的一类。

需要说明的是，本实施例中，周围像素点取周围11×11个像素点，置信度阈值设置为0.35，是经过实验得出的更优选的一种实施方式，作为其他可实施方式，周围像素点也可以取周围3×3、5×5、7×7或13×13个像素点，置信度阈值也可以取0.3、0.35、0.40、0.45、0.50、0.55或0.60等。

(2)如果当前像素点及其周围像素点(例如取周围3×3个像素点)的类别数大于等于设定的类别个数阈值，例如2，且平均置信度小于第二置信度阈值(例如0.8)，则判定为该数据预测效果欠佳。像素点的类别由像素点的值决定，一个像素点的值表示一个类别，例如两个像素点的值均为1，则两个像素点为同一个类别，若两个像素点的值分别为1和2，则该两个像素点分别为不同的类别，即该两个像素点的类别个数为2。

此种情况是针对识别结果出现类别混淆的一类，例如右侧车道线的部分像素点识别成左侧车道线。上述类别个数阈值2和第二置信度阈值0.8仅是针对路面分割的应用情况而进行的较优设置，容易理解的，针对于其他不同的应用情况，可以有不同的设置方式。

(3)如果当前像素点及其周围像素点的类别数等于1，并且周围像素点(例如取周围3×3个像素点)的置信度小于第三置信度阈值(例如0.55)的个数大于设定的像素点个数阈值(例如100)，则判定为该数据预测效果欠佳。

此种情况是针对同一类别预测不佳的一类。例如，路面右侧车道线，下面边缘部分的识别效果不太好，会出现部分能够识别但部分不能识别的情况，造成车道线识别漏识别现象。

本实施例中所举的三个置信度阈值、像素点类别个数阈值仅是针对路面分割的应用情况而进行的较优设置，容易理解的，针对于其他不同的应用情况，可以或者应当有不同的设置方式。

本实施例中所述的三项筛选条件，仅是针对路面要素语义分割模型结合所关注的路面要素进行设定的，路面要素包括左车道线、右车道线、白色标线、专用车道标线、出入口标线、路面连接带、导流线等。容易理解的，针对不同应用及不同问题可以设定不同策略，目的就是筛选出识别不佳的数据，进行有针对性的模型训练。

S104，挑选出预测效果欠佳的数据，即挑选出新的图片中预测效果不好的图片。挑选出的数据被认为是和目前的模型不匹配的，这些数据因为有了相对旧数据(训练目前已有模型时使用的数据)新的特征，所以在已有模型上表现并不好，因此对于挑选出来的数据可以用来继续对已有模型进行训练，以增强已有模型的识别能力。

基于目前神经网络强大的识别功能，用已有的模型对新数据进行识别，若新数据中为原有训练样本中的特征，该模型能够很好的识别出来，如果识别效果不好，更大概率是因为新数据中带有新特征，以至于原模型不能识别出该新特征。本方法，可以对没有参与过训练的新数据进行筛选，从而找出之前数据中不具有的新特征数据，通过对新数据进行标注，并进行有针对的训练，可以使得原来的模型更优化，增强识别能力。通过本方法进行数据筛选，可以筛选出需要用于训练的数据，而对于无需再训练的数据(即识别效果好的数据)则直接剔除，可以降低数据标注和训练的工作量，提高模型(优化)训练的效率。

请参阅图2，基于相同的发明构思，本实施例中同时提供了一种基于识别的图像语义分割数据筛选系统，包括预测模块、归一化模块和筛选模块。其中，

预测模块，用于利用已训练出的网络模型对新图像进行图像识别预测，得到所述新图像中每个像素点的置信度；

归一化模块，用于对置信度做归一化处理，并进行图片转换，得到包含置信度信息的灰度图；

筛选模块，用于基于所述包含置信度信息的图片，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好，以及筛选出预测效果不好的新图像。

作为一种可实施方式的举例，所述归一化模块具体用于：将置信度由0-1之间的数值转换为0-255之间的数值，并转换为包含置信度信息的灰度图。

作为一种可实施方式的举例，所述筛选模块具体用于：若出现以下三种情况中的任一种，则判定为该新图像预测效果不好，并筛选出预测效果不好的新图像：

(1)当前像素点及其周围像素点的平均置信度小于设定的第一置信度阈值；

(2)当前像素点及其周围像素点的类别数大于等于设定的类别个数阈值，且平均置信度小于第二置信度阈值；

(3)当前像素点及其周围像素点的类别数等于1，并且周围像素点的置信度小于第三置信度阈值的个数大于设定的像素点个数阈值；

其中，第二置信度阈值＞第三置信度阈值＞第一置信度阈值。

周围像素点是指以当前像素点为中心的N×N矩阵内的像素点，N为大于等于3的整数。例如，以当前像素点为中心的3×3、5×5、7×7或11×11矩阵内的像素点。

上述系统中，还可以包括标注模块，用于将筛选出的预测效果不好的数据进行标注，以用于对所述已训练出的网络模型进行继续训练。

如图3所示，本实施例同时提供了一种电子设备，该电子设备可以包括处理器51和存储器52，其中存储器52耦合至处理器51。值得注意的是，该图是示例性的，还可以使用其他类型的结构来补充或替代该结构，实现数据提取、效果增强、车道线识别、通信或其他功能。

如图3所示，该电子设备还可以包括：输入单元53、显示单元54和电源55。值得注意的是，该电子设备也并不是必须要包括图3中显示的所有部件。此外，电子设备还可以包括图3中没有示出的部件，可以参考现有技术。

处理器51有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器51接收输入并控制电子设备的各个部件的操作。

其中，存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器51的配置信息、处理器51执行的指令、记录的表格数据等信息。处理器51可以执行存储器52存储的程序，以实现信息存储或处理等。在一个实施例中，存储器52中还包括缓冲存储器，即缓冲器，以存储中间信息。

输入单元53例如用于向处理器51提供新数据。显示单元54用于显示处理过程中的各种处理结果，例如置信度、转换后的图片等，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源55用于为电子设备提供电力。

本发明实施例还提供一种计算机可读指令，其中当在电子设备中执行所述指令时，所述程序使得电子设备执行本发明方法所包含的操作步骤。

本发明实施例还提供一种存储有计算机可读指令的存储介质，其中所述计算机可读指令使得电子设备执行本发明方法所包含的操作步骤。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于识别的图像语义分割数据筛选方法，其特征在于，包括以下步骤：

利用已训练出的网络模型对新图像进行图像识别预测，得到所述新图像中每个像素点的置信度；

对置信度做归一化处理，并进行图片转换，得到包含置信度信息的灰度图；

基于所述包含置信度信息的灰度图，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好；

筛选出被判断为预测效果不好的新图像，

其中，若出现以下三种情况中的任一种，则判定为该新图像预测效果不好：(1)当前像素点及其周围像素点的平均置信度小于设定的第一置信度阈值；(2)当前像素点及其周围像素点的类别数大于等于设定的类别个数阈值，且平均置信度小于第二置信度阈值；(3)当前像素点及其周围像素点的类别数等于1，并且周围像素点的置信度小于第三置信度阈值的个数大于设定的像素点个数阈值；其中，第二置信度阈值＞第三置信度阈值＞第一置信度阈值。

2.根据权利要求1所述的基于识别的图像语义分割数据筛选方法，其特征在于，所述归一化处理是指：将置信度由0-1之间的数值转换为0-255之间的数值。

3.根据权利要求1所述的基于识别的图像语义分割数据筛选方法，其特征在于，周围像素点是指以当前像素点为中心的N×N矩阵内的像素点，N为大于等于3的整数。

4.根据权利要求1所述的基于识别的图像语义分割数据筛选方法，其特征在于，还包括步骤：将筛选出的预测效果不好的数据进行标注，以用于对所述已训练出的网络模型进行继续训练。

5.一种基于识别的图像语义分割数据筛选系统，其特征在于，包括以下模块：

预测模块，用于利用已训练出的网络模型对新图像进行图像识别预测，得到所述新图像中每个像素点的置信度；

归一化模块，用于对置信度做归一化处理，并进行图片转换，得到包含置信度信息的灰度图；

筛选模块，用于基于所述包含置信度信息的灰度图，根据当前像素点及其周围的像素点的类别个数和/或置信度，判断预测效果是否良好，及筛选出被判断为预测效果不好的新图像，其中，若出现以下三种情况中的任一种，则判定为该新图像预测效果不好：(1)当前像素点及其周围像素点的平均置信度小于设定的第一置信度阈值；(2)当前像素点及其周围像素点的类别数大于等于设定的类别个数阈值，且平均置信度小于第二置信度阈值；(3)当前像素点及其周围像素点的类别数等于1，并且周围像素点的置信度小于第三置信度阈值的个数大于设定的像素点个数阈值；其中，第二置信度阈值＞第三置信度阈值＞第一置信度阈值。

6.根据权利要求5所述的基于识别的图像语义分割数据筛选系统，其特征在于，所述归一化模块具体用于：将置信度由0-1之间的数值转换为0-255之间的数值，并转换为包含置信度信息的灰度图。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～4任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～4任一项所述方法的步骤。

Images