CN114913488A - 抛洒物检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种抛洒物检测方法、装置、电子设备及计算机可读存储介质。该抛洒物检测方法包括：获取道路的原图像；对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；根据所述差异特征图确定所述道路是否存在抛洒物。本申请中无需依赖于目标检测算法进行抛洒物检测，避免了训练数据获取难及算法鲁棒性低的问题；检测精度不受限抛洒物的类别、大小，可以检测出多种类别、大小的抛洒物，在一定程度上提高了道路抛洒物的检测精度。

Description

抛洒物检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种抛洒物检测方法、装置、电子设备及计算机可读存储介质。

背景技术

在高速行驶的过程中经常因为人为和非人为的因素出现抛洒物，为保障高速公路上的安全，目前主要基于视觉的抛洒物检测算法检测高速公路中的抛洒物。

在对现有技术的研究和实践过程中，本申请实施例的发明人发现，现有的基于视觉的抛洒物检测算法多为目标检测算法，由于抛洒物的种类太多且大小不确定，因此只能检测出少数几类的抛洒物，且训练数据难获取以及抛洒物检测算法的鲁棒性较低。可见，现有的抛洒物检测算法检测精度低、训练数据难获取以及算法鲁棒性低。

发明内容

本申请提供一种抛洒物检测方法、装置、电子设备及计算机可读存储介质，旨在解决现有目标检测算法检测抛洒物的检测精度低、训练数据难获取及算法鲁棒性低的问题。

第一方面，本申请提供一种抛洒物检测方法，所述方法包括：

获取道路的原图像；

对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；

根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；

对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；

根据所述差异特征图确定所述道路是否存在抛洒物。

第二方面，本申请提供一种抛洒物检测装置，所述抛洒物检测装置包括：

获取单元，用于获取道路的原图像；

分割单元，用于对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；

合成单元，用于根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；

比较单元，用于对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；

判别单元，用于根据所述差异特征图确定所述道路是否存在抛洒物。

第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种抛洒物检测方法中的步骤。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的抛洒物检测方法中的步骤。

本申请通过对道路的原图像进行分割，得到包含多个非抛洒物的语义信息的分割图，再基于分割图重建道路原图得到合成图像；再通过对比道路的原图像与合成图像之间的差异特征，确定道路是否存在抛洒物。由于没有单独针对原图像中的抛洒物进行语义分割，因此在分割图中抛洒物的信息被融合到路面等的语义信息中，故而合成图像中并不包含抛洒物，通过对比原图像和合成图像之间的差异特征，即可识别出原图像中的抛洒物。可见，本申请中抛洒物的检测无需依赖于目标检测算法，避免了训练数据获取难及算法鲁棒性低的问题；检测精度不受限抛洒物的类别、大小，可以检测出多种类别、大小的抛洒物，在一定程度上提高了道路抛洒物的检测精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例所提供的抛洒物检测系统的场景示意图；

图2是本申请实施例提供的抛洒物检测方法的一种流程示意图；

图3是本申请实施例中对原图像进行语义分割前后的对比示意图；

图4是本申请实施例中对分割图进行合成前后的对比示意图；

图5是本申请实施例中提供的比较网络的网络架构的一个实施例示意图；

图6是本申请实施例中提供的路面区域图、二值化图和抛洒物区域图的一种示意图；

图7是本申请实施例提供的抛洒物检测过程的一种示意图；

图8是本申请实施例中提供的抛洒物检测装置的一个实施例结构示意图；

图9是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

本申请实施例提供一种抛洒物检测方法、装置、电子设备和计算机可读存储介质。其中，该抛洒物检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

本申请实施例抛洒物检测方法的执行主体可以为本申请实施例提供的抛洒物检测装置，或者集成了该抛洒物检测装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的电子设备，其中，抛洒物检测装置可以采用硬件或者软件的方式实现，UE具体可以为车辆、智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。

该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的抛洒物检测方法，无需依赖于目标检测算法进行抛洒物的检测，避免了训练数据获取难及算法鲁棒性低的问题；检测精度不受限抛洒物的类别、大小，可以检测出多种类别、大小的抛洒物，在一定程度上提高了道路抛洒物的检测精度。

参见图1，图1是本申请实施例所提供的抛洒物检测系统的场景示意图。其中，该抛洒物检测系统可以包括电子设备100，电子设备100中集成有抛洒物检测装置。例如，该电子设备可以获取道路的原图像；对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；根据所述差异特征图确定所述道路是否存在抛洒物。

另外，如图1所示，该抛洒物检测系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。

需要说明的是，图1所示的抛洒物检测系统的场景示意图仅仅是一个示例，本申请实施例描述的抛洒物检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着抛洒物检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

下面，开始介绍本申请实施例提供的抛洒物检测方法，本申请实施例中以电子设备作为执行主体，示例性地，该电子设备可以是车辆，也可以是如高速抛洒物管理平台等类型的服务器，为了简化与便于描述，后续方法实施例中将省略该执行主体，该抛洒物检测方法包括：获取道路的原图像；对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；根据所述差异特征图确定所述道路是否存在抛洒物。

参照图2，图2是本申请实施例提供的抛洒物检测方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该抛洒物检测方法包括步骤201～205，其中：

201、获取道路的原图像。

本申请实施例中，抛洒物是指道路上的障碍物，抛洒物可以有多种，比如可以是人为丢弃的物品，如矿泉水瓶、纸巾等；也可以是运输车辆上掉落的物体，如石头、包裹等。其中，抛洒物的表现形式可以有多种，此处仅为举例，抛洒物的具体类别、大小等此处不做限定。

在本申请实施例中，通过在浮动车辆(如)上安装摄像头，以捕捉道路上是否存在抛洒物。

具体地，在实际应用中，应用本申请实施例提供的电子设备，在硬件上可直接包括浮动车辆上的摄像头(摄像头主要用于采集包含道路的图像)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与摄像头建立网络连接，并根据该网络连接从摄像头在线获取摄像头得到的图像；或者，电子设备也可从存储有摄像头拍摄得到的图像的相关存储介质，读取出摄像头拍摄得到的图像，具体获取方式在此不做限定。

其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。

其中，原图像是指通过摄像头拍摄得到的包含道路的图像。

202、对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息。

为了更好地理解本申请实例，首先介绍一下本申请实施例的发明构思，本申请实施例提出一种基于图像分割和图像合成的抛洒物检测方式。其中，图像分割的具体方式可以是语义分割、也可以是实例分割。例如，首先通过语义分割的方式对道路的原图像进行语义分割，得到道路的分割图；其中，分割图中包含路面区域的语义信息、并且不包含抛洒物的语义信息。然后，利用分割图重建道路的原图像；并检测重建图与原图像的路面区域差异大不大。若重建图与原图像的路面区域差异较大，则确定道路存在抛洒物；若重建图与原图像的路面区域差异不大，则确定道路不存在抛洒物。

其中，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如说一张照片中(目标前景是人、摩托车，背景是出人和摩托车之外的像素)，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。

实例分割不同于语义分割，实例分割算法相对于语义分割算法在功能上更进一步。举例来说，如果本申请实施例中的一张状态图像中有多个抛洒物，对于语义分割来说，只要将所有抛洒物的像素都归为一类，但是实例分割还要将不同抛洒物的像素归为不同的类。

其中，非抛洒物可以包括路面、天空、建筑、树林、车辆和云等。分割图是指对道路的原图像进行如路面、天空、建筑、树林、车辆和云等非抛洒物等分割后，所得到的掩码图。

为了在重建图与原图像的对比过程中凸显原图像中的抛洒物，因此在对原图像进行分割时不单独针对抛洒物进行分割。

在一些实施例中，可以采用语义分割的方式对原图像进行分割得到原图像的分割图。为了在重建图与原图像的对比过程中凸显原图像中的抛洒物，因此在对原图像进行语义分割时不单独针对抛洒物进行语义分割。

一般来说，基于语义分割模型的分割主要过程如下：首先，对图像进行(如卷积、池化、插值等)特征提取操作，得到图像的图像特征。然后，根据图像的图像特征，对图像中每个像素点进行预测，确定图像中每个像素点分别是路面、天空、建筑、树林、车辆和云等的置信度。最后，根据每个像素点分别是路面、天空、建筑、树林、车辆和云等的置信度、以及预设的判别置信度阈值，确定图像中实际上分别是路面、天空、建筑、树林、车辆和云等的像素点，从而得到图像中的路面、天空、建筑、树林、车辆和云等语义信息。

请参照图3，图3是本申请实施例中对原图像进行语义分割前后的对比示意图。

本申请实施例中，采用基于卷积神经网络的语义分割模型对原图像进行语义分割得到原图像的分割图；其中，分割图包含路面、天空、建筑、树林、车辆和云等多个非抛洒物的语义信息。

其中，语义分割模型通过深度学习后得到，在一些实施例中，该语义分割算法通过如下训练步骤得到：

(1)获取样本数据集。其中，每个样本数据包括样本图像以及标签数据。标签数据用于指示图像中的路面、天空、建筑、树林、车辆和云等信息。

(2)构建初步的语义分割模型。例如，可以采用模型参数为默认值的(可用于语义分割任务)开源网络，如MINet算法模型、或PoolNet算法模型等作为初步的语义分割模型。

(3)采用样本数据集对初步的语义分割模型进行训练。

具体地，第一步，调用初步的语义分割模型，根据样本图像进行语义分割处理，得到样本图像中的路面、天空、建筑、树林、车辆和云等语义信息。

初步的语义分割模型以样本图像作为输入，首先，对样本图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对样本图像进行特征提取得到样本图像的图像特征。

然后，根据样本图像的图像特征对样本图像中的每个像素点进行回归预测处理，确定每个像素点分别是路面、天空、建筑、树林、车辆和云等的置信度；并根据每个像素点分别是路面、天空、建筑、树林、车辆和云等的置信度，分割出样本图像中的路面、天空、建筑、树林、车辆和云等语义信息。

第二步，根据对样本图像进行语义分割处理所得到的样本图像中的路面、天空、建筑、树林、车辆和云等语义信息，以及标签数据所指示的样本图像中的路面、天空、建筑、树林、车辆和云等信息，确定初步的语义分割模型的分割损失值。

其中，初步的语义分割模型对应设置有对应设置了损失函数，以使得初步的语义分割模型能够学习到图像中的路面、天空、建筑、树林、车辆和云等特征信息。损失函数对应于初步的语义分割模型输出的路面、天空、建筑、树林、车辆和云等语义信息进行设置。在训练过程中，损失函数的值即为初步的语义分割模型的分割损失值。其中，损失函数可以是铰链损失函数(hinge loss function)、交叉熵损失函数(cross-entropy loss function)、指数损失函数(exponential loss function)等，在本申请实施例中对损失函数的具体函数类型不做限制。

第三步，根据分割损失值，对初步的语义分割模型的模型参数进行调整，直至初步的语义分割模型收敛时，将初步的语义分割模型作为训练后的语义分割模型。此时，可将训练好的初步的语义分割模型应用于分割图像中的路面、天空、建筑、树林、车辆和云等语义信息。

由以上内容可以看出，由于语义分割模型是经过深度学习训练得到，因此训练后的初步的语义分割模型，可以充分学习路面、天空、建筑、树林、车辆和云等的图像特征，从而在一定程度上保证了路面、天空、建筑、树林、车辆和云等的分割精度。

其中，语义分割模型的训练过程与现有的网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式，在此不再赘述。

在一些实施例中，还可以采用基于训练后的实例分割模型对原图像进行分割得到原图像的分割图。为了在重建图与原图像的对比过程中凸显原图像中的抛洒物，因此在对原图像进行实例分割时不单独针对抛洒物进行实例分割。

具体地，采用包含有路面、天空、建筑、树林、车辆和云等多个非抛洒物的图像对现有的实例分割模型(比如，Mask-RCNN算法模型等等)进行训练，直至实例分割模型收敛时，可以将训练好的实例分割模型对原图像进行路面、天空、建筑、树林、车辆和云等多个非抛洒物的分割，从而得到原图像中的路面、天空、建筑、树林、车辆和云等语义信息。其中，实例分割模型的训练过程与现有的网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式、以及上述语义分割模型的训练方式，在此不再赘述。

203、根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像。

其中，合成图像是指以重构道路的原图像为目的，基于道路的分割图进行合成所得到的图像。

请参照图4，图4是本申请实施例中对分割图进行合成前后的对比示意图。

示例性地，将分割图输入基于GAN技术的图像生成网络，以使得基于GAN技术的图像生成网络根据分割图进行合成，得到道路的合成图像。

GAN即生成对抗模型，是图像生成领域内的一种重要方法，GAN是在训练两个相互对抗的网络，一个生成器(Generator)和一个判别器(Descriminator)。当训练达到平衡时，对于一个输入噪声z。G(z)就是最后生成出来的图像。

GAN有一个生成器G和一个判别器D：生成器的输入是一组随机的变量，输出是生成的图；判别器负责对生成的图进行打分，输出是一个0-1之间的置信度。

对于生成器G，希望生成的图像G(z)无限逼近于真实图像，而对于判别器D，希望无论生成的图像G(z)有多真实，判别器总是能把他和真实的图像区分开，所以说GAN是一个G和D博弈的过程。

204、对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图。

其中，差异特征图是指反映原图像和合成图像中同一像素点位置之间差异的图像。差异特征图的表现形式可以有多种，在一些实施例中，差异特征图可以通过像素点的像素值来反应差异，比如，原图像和合成图像中同一像素点位置之间差异越大，表示该像素点位置的像素值越大。在一些实施例中，差异特征图也可以通过二值化图像来表示差异，比如，差异较大(如差异判别分数大于预设分数阈值)的像素点采用像素值255表示，差异较小(如差异判别分数小于预设分数阈值)或无差异的像素点采用像素值0表示。

具体地，可以通过预先构建的比较网络基于原图像、合成图像和分割图进行卷积、融合等特征提取操作，

请参照图5，图5是本申请实施例中提供的比较网络的网络架构的一个实施例示意图。其中，比较网络包括预训练得到的两个权重共享的VGG16模型(Visual Geometry GroupNetwork，VGGNet)、卷积神经网络(Convolutional Neural Networks，CNN)。两个权重共享的VGG16模型分别用于提取原图像、合成图像的特征，CNN网络用于提取分割图的特征。

示例性地，可以基于预训练的VGG16模型对比原图像和合成图像，得到原图像和合成图像之间的差异特征图。如图5所示，首先，一方面，使用权重共享的预训练的两个VGG16模型分别对原图像、合成图像进行特征提取；另一方面，使用简单的卷积神经网络对上述步骤202得到的分割图进行特征提取。然后，每一个特征层级都通过逐通道融合和1×1卷积来减少通道数，原图像的特征和合成图像的特征同时被计算和传递。最终，使用反卷积返回原图像和合成图像中同一像素点位置的像素点的差异判别分数；并将差异判别分数大于预设分数阈值的像素点作为原图像和合成图像的差异特征点，从而得到原图像和合成图像之间的差异特征图。

205、根据所述差异特征图确定所述道路是否存在抛洒物。

由于没有单独针对原图像中的抛洒物进行语义分割，因此在分割图中抛洒物的信息被融合到路面等的语义信息中，故而合成图像中并不包含抛洒物，通过对比原图像和合成图像之间的差异特征，即可识别出原图像中的抛洒物。

在一些实施例中，将上述步骤204所得到的差异特征图中所指示的差异特征像素点直接作为抛洒物所在的像素点，从而可以直接根据差异特征图中是否存在差异特征像素点，确定道路是否存在抛洒物，并分割出抛洒物。

在一些实施例中，上述步骤204所得到的差异特征图中表示原图像和合成图像之间差异的像素点构成了一个或多个连通区域，为了提高抛洒物的检测精度，会对差异特征图作进一步的去噪、和/或连通区域筛选等操作，最终将剩余的连通区域作为抛洒物所在区域。从而可以检测去噪、和/或连通区域筛选等操作后的差异特征图中是否存在差异特征的连通区域，确定道路是否存在抛洒物，并分割出抛洒物。详细的去噪、连通区域筛选等操作在后文中将详细介绍，此处不再赘述。

由以上内容可以看出，本申请实施例中通过对道路的原图像进行分割，得到包含多个非抛洒物的语义信息的分割图，再基于分割图重建道路原图得到合成图像；再通过对比道路的原图像与合成图像之间的差异特征，确定道路是否存在抛洒物。由于没有单独针对原图像中的抛洒物进行语义分割，因此在分割图中抛洒物的信息被融合到路面等的语义信息中，故而合成图像中并不包含抛洒物，通过对比原图像和合成图像之间的差异特征，即可识别出原图像中的抛洒物。可见，本申请实施例中抛洒物的检测无需依赖于目标检测算法，避免了训练数据获取难及算法鲁棒性低的问题；检测精度不受限抛洒物的类别、大小，可以检测出多种类别、大小的抛洒物，在一定程度上提高了道路抛洒物的检测精度。

在一些实施例中，差异特征图中表示原图像和合成图像之间差异的像素点构成了一个或多个连通区域，为了提高抛洒物的检测精度，首先，会根据预设的去噪算法，去除所述差异特征图中的噪声区域。其中，所述噪声区域是所述差异特征图的连通区域中小于预设面积的连通区域。然后，再将去噪后的差异特征图中所指示的差异特征像素点直接作为抛洒物所在的像素点，从而可以直接根据差异特征图中是否存在差异特征像素点，确定道路是否存在抛洒物，并分割出抛洒物。其中，预设的去噪算法可以是高斯模糊算法、闭运算等，具体可以根据实际需求而选择，不以此为限。通过采用如高斯模糊算法、闭运算等去噪算法，可以去除差异特征图中的小面积的噪声区域，避免将噪声区域识别为抛洒物，从而在一定程度上提高了抛洒物的检测精度。

在一些实施例中，所述差异特征图包括多个连通区域，其中，每个连通区域是指差异特征图中表示原图像和合成图像之间差异的像素点构成连通区域。为了提高抛洒物的检测精度，会对多个连通区域进行筛选，以筛选出抛洒物区域。即步骤205具体可以包括以下步骤a～c，其中：

a、计算每个所述连通区域的分割阈值。

具体地，可以采用Ostu算法计算差异特征图中的每个连通区域的分割阈值。Ostu方法，又名最大类间差方法，通过统计整个图像的直方图特性来实现全局阈值T的自动选取，其算法步骤为：

1)先计算图像的直方图，即将图像所有的像素点按照0～255共256个区间，统计落在每个区间的像素点数量；

2)归一化直方图，也即将每个区间中像素点数量除以总的像素点；

3)i表示分类的阈值，也即一个灰度级，从0开始迭代；

4)通过归一化的直方图，统计0～i灰度级的像素(假设像素值在此范围的像素叫做前景像素)所占整幅图像的比例w0，并统计前景像素的平均灰度u0；统计i～255灰度级的像素(假设像素值在此范围的像素叫做背景像素)所占整幅图像的比例w1，并统计背景像素的平均灰度u1；

5)计算前景像素和背景像素的方差：g＝w0*w1*(u0-u1)(u0-u1)；

6)直到i为256时结束迭代；

7)将最大方差g相应的i值作为图像的全局阈值。

b、从多个所述连通区域中，获取所述分割阈值处于预设的阈值范围外的目标连通区域。

具体地，首先，将每个连通区域的分割阈值与预设的阈值范围进行对比，检测每个连通区域的分割阈值是否处于预设的阈值范围内。若连通区域的分割阈值处于预设的阈值范围内，则确定该连通区域为如车道线等路面干扰区域，而非抛洒物信息，滤除该连通区域。若连通区域的分割阈值处于预设的阈值范围外，则确定该连通区域为抛洒物信息，将该连通区域作为目标连通区域。

例如，基于Ostu算法，计算每个连通区域的分割阈值(分割阈值简称为T_OTSU)，当T_OTSU处于预先设定的阈值范围[T_Min，T_Max]内，则认为该连通区域为如车道线等路面干扰区域，而非抛洒物信息。当T_OTSU处于预先设定的阈值范围[T_Min，T_Max]之外时，则认为该连通区域为抛洒物信息，将该连通区域作为目标连通区域。其中，预先设定的阈值范围[T_Min，T_Max]可以根据实际场景和需求而设置，此处不做限定。

c、根据所述目标连通区域确定所述道路是否存在抛洒物。

在一些实施例中，直接将目标连通区域作为抛洒物所在区域，当步骤b中获取到目标连通区域时，确定道路存在抛洒物；并根据目标连通区域分割出道路的抛洒物。当步骤b中检测到差异特征图中的每个连通区域的分割阈值均处于预设的阈值范围内时，确定道路不存在抛洒物。

在一些实施例中，非抛洒物的语义信息包括路面的语义信息，为了提高抛洒物的检测精度，可以将目标连通区域作为疑似抛洒物所在区域，进一步检测疑似抛洒物是否处于路面，若疑似抛洒物处于地面才最终确定道路存在抛洒物。此时，步骤c具体可以包括：

c1、根据所述路面的语义信息，将所述分割图中的路面区域像素置为大于0、非路面区域像素置为0，得到路面区域图。

c2、在所述差异特征图中将所述目标连通区域与其他区域进行二值化处理，得到疑似抛洒物的二值化图，其中，所述其他区域是指所述差异特征图中除所述目标连通区域外的区域。

c3、将所述路面区域图与所述二值化图相乘，得到抛洒物区域图，所述抛洒物区域图用于指示所述道路是否存在抛洒物。

其中，路面区域像素是指分割图中路面的语义信息所在区域。

如图6所示，图6是本申请实施例中提供的路面区域图、二值化图和抛洒物区域图的一种示意图。

例如，步骤202得到的分割图中包含了路面、天空、建筑、树林、车辆和云等19类语义信息，将分割图中路面区域像素点的像素值置为1、将除路面外的18类语义信息所在区域像素点置为0，得到如图6(a)中所示的路面区域图。

将差异特征图中的目标连通区域像素值置为255、将除目标连通区域外的其他区域像素值置为0，从而得到疑似抛洒物的二值化图，如图6(b)所示。

然后，将路面区域图与疑似抛洒物的二值化图对应位置的像素值相乘，得到抛洒物区域图，如图6(c)所示。

由以上内容可以看出，通过将分割图中的路面区域像素置为非0、非路面区域像素置为0，得到路面区域图；并将在差异特征图中将目标连通区域与其他区域进行二值化处理，得到疑似抛洒物的二值化图；最后将路面区域图与疑似抛洒物的二值化图相乘，可以滤除不在路面区域的疑似抛洒物，检测出路面区域的抛洒物；避免了将非地面区域的其他物体误判为疑似抛洒物的问题，在一定程度上提高了抛洒物的检测精度。

一般来说，步骤201中浮动车辆所采集到的原图像是包含道路的，但是不排除原图像质量不高、或者原图像不包含道路，导致步骤202的分割图中无法分割出路面的语义信息。而步骤c1～c3中需要基于路面的语义信息判别道路是否真实存在抛洒物，进一步地，为了降低无效的数据处理量，当得到包含多个非抛洒物的语义信息的分割图后，进一步检测非抛洒物的语义信息中是否包含的路面的语义信息。当检测到非抛洒物的语义信息中包含的路面的语义信息时，再执行步骤203“根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像”。当检测到非抛洒物的语义信息中不包含的路面的语义信息时，不执行步骤203，返回步骤201继续处理下一张图像。

为了便于相关管理人员可以及时发现道路的抛洒物，及时清理道路抛洒物，避免交通事故的反生，在本申请的一些实施例中，该抛洒物检测方法还包括：当确定所述道路存在抛洒物时，获取预警信息。其中，所述预警信息包括抛洒物的所处地点、抛洒物的图像、抛洒物的发生时间点等信息。若预警信息是抛洒物的所处地点，当确定所述道路存在抛洒物时，获取所述原图像的采集地点作为抛洒物的所处地点；将所述所处地点上传至云端数据库。若预警信息是抛洒物的发生时间点，当确定所述道路存在抛洒物时，获取所述原图像的采集时间点作为抛洒物的发生时间点；将所述发生时间点上传至云端数据库。若预警信息是抛洒物的发生时间点，当确定所述道路存在抛洒物时，可以获取道路的原图像作为抛洒物的图像；将所述所处地点上传至云端数据库。

例如，浮动车辆于1月1日上午9:00在光明大道行驶，并采集了图像a，通过将图像a作为道路的原图像执行上述方法各步骤，可以检测出图像a中是否存在抛洒物，即检测出光明大道上是否存在抛洒物。当确定光明大道上存在抛洒物时，获取浮动车辆采集图像a时的GPS位置、采集时间点，并将浮动车辆采集图像a时的GPS位置作为抛洒物的所处地点、将浮动车辆采集图像a时的采集时间点作为抛洒物的发生时间点。并将抛洒物的所处地点、发生时间点上传至云端数据库，以便于相关管理人员可以及时了解到道路的抛洒物信息，并且无需抵达现场逐个道路巡逻。

可以理解的是，当确定所述道路存在抛洒物时，所获取的预警信息除了可以上传云端数据库外，也可以保存在电子设备的本地。例如，当电子设备是如高速抛洒物管理平台等类型的服务器时，当确定所述道路存在抛洒物时，所获取的预警信息也可以保存在服务器的本地。

此外，为了避免抛洒物造成交通事故，当确定所述道路存在抛洒物时，所获取的预警信息还可以发送至目标车辆。其中，目标车辆可以是与电子设备建立通信连接的所有车辆，也可以是与抛洒物的所处地点距离小于预设距离的车辆。目标车辆在接收到预警信息后，可以通过语音播报、地图展示等方式展示预警信息，如在地图上展示抛洒物的所处地点、抛洒物的发生时间点、抛洒物的图像，以使得驾驶者可以及时了解到道路上的抛洒物信息，保证驾驶者的行车安全。

请参照图7是本申请实施例提供的抛洒物检测过程的一种示意图，在本实施例中，将以该浮动车辆采集的道路视频为例，说明抛洒物检测过程。

图7中针对抛洒物检测过程划分为了五个模块内容进行阐述：前端图像采集模块、语义分割模块、图像合成模块、图像比较模块、云端数据管理模块。

(一)端图像采集模块

例如，可以将浮动车辆采集的道路视频截取视频帧作为道路的原图像。

(二)语义分割模块

采用训练好的语义分割模型对视频帧进行分割，分割出包含如路面、天空、建筑、树林、车辆和云等非抛洒物的语义信息的分割图。

(三)图像合成模块

将(三)中生成的语义分割图，输入基于GAN技术的图像生成网络，获取合成图像。

(四)图像比较模块

首先，原图像、合成图像和分割图输入比较网络，通过比较网络确定原图像和合成图像之间的差异特征图。

然后，通过如高斯模糊算法、闭运算等去噪算法滤除差异特征图中小面积的噪声区域。

接着，通过Ostu阈值筛选逻辑，计算差异特征图中的各连通区域的分割阈值T_OTSU。当T_OTSU处于预先设定的阈值范围[T_Min，T_Max]内，则认为该连通区域为如车道线等路面干扰区域，而非抛洒物信息。通过判别各连通区域的分割阈值T_OTSU是否处于预先设定的阈值范围[T_Min，T_Max]内，可以检测疑似抛洒物的区域。并将抛洒物区域与非抛洒物进行二值化，得到疑似抛洒物的二值化图像。

并根据路面的语义信息，将(二)中的分割图中的路面区域置为1、非路面区域置为0，从而得到路面区域图。

最后，将疑似抛洒物的二值化图像与路面区域图相乘，从而可以得到处于路面的抛洒物的信息。

(五)云端数据管理模块

当确定道路存在抛洒物时，通过浮动车辆采集视频帧时的GPS位置作为抛洒物的所处地点，并将视频帧的采集时间点作为抛洒物的发生时间点，将抛洒物的所处地点、发生时间点等信息上传至云端管理平台，以便于相关工作人员可以及时到达现场清理抛洒物。

此外，为了验证本申请实施例提供的抛洒物检测方法带来的效果，还对本申请实施例提供的方案进行了实验测试，具体如下：

从在线生产环境获取1000张样本图像作为测试，检测图像中是否存在抛洒物，本申请实施例提供的抛洒物检测方法检测精度达到93.42％，而传统基于多尺度分割与后处理方式的检测精度为85.7％。基于传统处理方法判断图像抛洒物区域，不同的阈值设定下结果差异较大。本申请实施例提供的抛洒物检测方法基于图像分割、图像合成和比较神经网络判断两个图像的差异，具有较高的鲁棒性。

为了更好实施本申请实施例中抛洒物检测方法，在抛洒物检测方法基础之上，本申请实施例中还提供一种抛洒物检测装置，如图8所示，为本申请实施例中抛洒物检测装置的一个实施例结构示意图，该抛洒物检测装置800包括：

获取单元801，用于获取道路的原图像；

分割单元802，用于对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；

合成单元803，用于根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；

比较单元804，用于对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；

判别单元805，用于根据所述差异特征图确定所述道路是否存在抛洒物。

在本申请一种可能的实现方式中，所述差异特征图包括多个连通区域，所述判别单元805具体用于：

计算每个所述连通区域的分割阈值；

从多个所述连通区域中，获取所述分割阈值处于预设的阈值范围外的目标连通区域；

根据所述目标连通区域确定所述道路是否存在抛洒物。

在本申请一种可能的实现方式中，所述非抛洒物的语义信息包括路面的语义信息，所述判别单元805具体用于：

根据所述路面的语义信息，将所述分割图中的路面区域像素置为大于0、非路面区域像素置为0，得到路面区域图；

在所述差异特征图中将所述目标连通区域与其他区域进行二值化处理，得到疑似抛洒物的二值化图，其中，所述其他区域是指所述差异特征图中除所述目标连通区域外的区域；

将所述路面区域图与所述二值化图相乘，得到抛洒物区域图，所述抛洒物区域图用于指示所述道路是否存在抛洒物。

在本申请一种可能的实现方式中，所述分割单元802具体用于：

检测所述非抛洒物的语义信息是否存在路面的语义信息；

当检测到所述路面的语义信息时，对所述分割图进行合成得到道路的合成图像。

在本申请一种可能的实现方式中，所述抛洒物检测装置800还包括去噪单元(图中未示出)，在所述根据所述差异特征图确定所述道路是否存在抛洒物的步骤之前，所述去噪单元具体用于：

根据预设的去噪算法，去除所述差异特征图中的噪声区域，其中，所述噪声区域是所述差异特征图的连通区域中小于预设面积的连通区域。

在本申请一种可能的实现方式中，所述抛洒物检测装置800还包括上传单元(图中未示出)，所述上传单元具体用于：

当确定所述道路存在抛洒物时，获取预警信息，其中，所述预警信息包括抛洒物的所处地点、抛洒物的图像、抛洒物的发生时间点中的至少一者；

将所述预警信息上传至云端数据库；

所述获取预警信息，包括：

获取所述原图像的采集地点作为抛洒物的所处地点；

或者，获取所述原图像的采集时间点作为抛洒物的发生时间点。

在本申请一种可能的实现方式中，所述抛洒物检测装置800还包括发送单元(图中未示出)，所述发送单元具体用于：

当确定到所述道路存在抛洒物时，获取预警信息，其中，所述预警信息包括抛洒物的所处地点、抛洒物的图像、所述抛洒物的发生时间点中的至少一者；

发送所述预警信息至目标车辆；

所述获取预警信息，包括：

获取所述原图像的采集地点作为抛洒物的所处地点；

或者，获取所述原图像的采集时间点作为抛洒物的发生时间点。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由于该抛洒物检测装置可以执行本申请如图1至图7对应任意实施例中抛洒物检测方法中的步骤，因此，可以实现本申请如图1至图7对应任意实施例中抛洒物检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。

此外，为了更好实施本申请实施例中抛洒物检测方法，在抛洒物检测方法基础之上，本申请实施例还提供一种电子设备，参阅图9，图9示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器901，处理器901用于执行存储器902中存储的计算机程序时实现如图1至图7对应任意实施例中抛洒物检测方法的各步骤；或者，处理器901用于执行存储器902中存储的计算机程序时实现如图8对应实施例中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器902中，并由处理器901执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

电子设备可包括，但不仅限于处理器901、存储器902。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器901、存储器902、输入输出设备以及网络接入设备等通过总线相连。

处理器901可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

存储器902可用于存储计算机程序和/或模块，处理器901通过运行或执行存储在存储器902内的计算机程序和/或模块，以及调用存储在存储器902内的数据，实现计算机装置的各种功能。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的抛洒物检测装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图7对应任意实施例中抛洒物检测方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图7对应任意实施例中抛洒物检测方法中的步骤，具体操作可参考如图1至图7对应任意实施例中抛洒物检测方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图7对应任意实施例中抛洒物检测方法中的步骤，因此，可以实现本申请如图1至图7对应任意实施例中抛洒物检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请实施例所提供的一种抛洒物检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种抛洒物检测方法，其特征在于，所述方法包括：

获取道路的原图像；

对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；

根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；

对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；

根据所述差异特征图确定所述道路是否存在抛洒物。

2.根据权利要求1所述的抛洒物检测方法，其特征在于，所述差异特征图包括多个连通区域，所述根据所述差异特征图确定所述道路是否存在抛洒物，包括：

计算每个所述连通区域的分割阈值；

从多个所述连通区域中，获取所述分割阈值处于预设的阈值范围外的目标连通区域；

根据所述目标连通区域确定所述道路是否存在抛洒物。

3.根据权利要求2所述的抛洒物检测方法，其特征在于，所述非抛洒物的语义信息包括路面的语义信息，所述根据所述目标连通区域确定所述道路是否存在抛洒物，包括：

根据所述路面的语义信息，将所述分割图中的路面区域像素置为大于0、非路面区域像素置为0，得到路面区域图；

在所述差异特征图中将所述目标连通区域与其他区域进行二值化处理，得到疑似抛洒物的二值化图，其中，所述其他区域是指所述差异特征图中除所述目标连通区域外的区域；

将所述路面区域图与所述二值化图相乘，得到抛洒物区域图，所述抛洒物区域图用于指示所述道路是否存在抛洒物。

4.根据权利要求1所述的抛洒物检测方法，其特征在于，所述对所述分割图进行合成得到所述道路的合成图像，还包括：

检测所述非抛洒物的语义信息是否存在路面的语义信息；

当检测到所述路面的语义信息时，对所述分割图进行合成得到道路的合成图像。

5.根据权利要求1所述的抛洒物检测方法，其特征在于，所述根据所述差异特征图确定所述道路是否存在抛洒物，之前还包括：

根据预设的去噪算法，去除所述差异特征图中的噪声区域，其中，所述噪声区域是所述差异特征图的连通区域中小于预设面积的连通区域。

6.根据权利要求1-5任一项所述的抛洒物检测方法，其特征在于，所述方法还包括：

当确定所述道路存在抛洒物时，获取预警信息，其中，所述预警信息包括抛洒物的所处地点、抛洒物的图像、抛洒物的发生时间点中的至少一者；

将所述预警信息上传至云端数据库；

所述获取预警信息，包括：

获取所述原图像的采集地点作为抛洒物的所处地点；

或者，获取所述原图像的采集时间点作为抛洒物的发生时间点。

7.根据权利要求1-5任一项所述的抛洒物检测方法，其特征在于，所述方法还包括：

当确定所述道路存在抛洒物时，获取预警信息，其中，所述预警信息包括抛洒物的所处地点、抛洒物的图像、所述抛洒物的发生时间点中的至少一者；

发送所述预警信息至目标车辆；

所述获取预警信息，包括：

获取所述原图像的采集地点作为抛洒物的所处地点；

或者，获取所述原图像的采集时间点作为抛洒物的发生时间点。

8.一种抛洒物检测装置，其特征在于，所述抛洒物检测装置包括：

获取单元，用于获取道路的原图像；

分割单元，用于对所述原图像进行分割得到所述原图像的分割图，其中，所述分割图包含多个非抛洒物的语义信息；

合成单元，用于根据预设的生成对抗网络，对所述分割图进行合成得到所述道路的合成图像；

比较单元，用于对比所述原图像和所述合成图像，得到所述原图像和所述合成图像之间的差异特征图；

判别单元，用于根据所述差异特征图确定所述道路是否存在抛洒物。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的抛洒物检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的抛洒物检测方法中的步骤。

Images