CN112330658A - 抛洒物检测方法、装置、电子设备及存储介质 - Google Patents

抛洒物检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112330658A
CN112330658A CN202011320763.6A CN202011320763A CN112330658A CN 112330658 A CN112330658 A CN 112330658A CN 202011320763 A CN202011320763 A CN 202011320763A CN 112330658 A CN112330658 A CN 112330658A
Authority
CN
China
Prior art keywords
projectile
suspected
network
state image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011320763.6A
Other languages
English (en)
Inventor
白军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengtu Technology Shenzhen Co Ltd
Original Assignee
Fengtu Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengtu Technology Shenzhen Co Ltd filed Critical Fengtu Technology Shenzhen Co Ltd
Priority to CN202011320763.6A priority Critical patent/CN112330658A/zh
Publication of CN112330658A publication Critical patent/CN112330658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种抛洒物检测方法、装置、电子设备及计算机可读存储介质。该抛洒物检测方法包括：获取待检测路面的状态图像；根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；根据所述第一分类结果，确定所述待检测路面的真实抛洒物。本申请中可以在一定程度上避免抛洒物误分割的问题，提高抛洒物的检测准确率。

Description

抛洒物检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种抛洒物检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着我国经济的发展，交通运输行业日益发达，使得交通问题日益严峻，交通事故的频繁发生引起了国家和人民的深切关注，尤其在隧道、公路上，车流量大、车速较快，有时会有物体从车辆掉落，进而造成车祸。
因此，如何快速准确地检测到隧道/公路上的抛洒物并报警、尽早发现安全隐患并及时排除、保持隧道、公路等的安全畅通成为交通安防领域重要的问题。现有技术中大多依赖于路面图像进行前背景分割来捕捉前景(即抛洒物)，以确定路面是否产生了抛洒物。
发明人发现现有技术中至少存在如下问题：由于路面图像复杂多变，基于前背景分割容易出现抛洒物误分割的问题，进而导致抛洒物的检测准确率较低。
发明内容
本申请提供一种抛洒物检测方法、装置、电子设备及计算机可读存储介质，旨在解决基于前背景分割容易出现抛洒物误分割，进而导致抛洒物的检测准确率较低问题。
第一方面，本申请提供一种抛洒物检测方法，所述方法包括：
获取待检测路面的状态图像；
根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；
根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
在本申请一种可能的实现方式中，所述根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物，包括：
对所述状态图像中的每个像素点进行预测，得到所述每个像素点是抛洒物像素点的置信度；
从所述状态图像的各像素点中，获取所述置信度大于第一预设阈值的第一目标像素点；
确定与所述第一目标像素点之间的距离小于预设距离阈值的第二目标像素点；
从所述第二目标像素点中，获取所述置信度大于第二预设阈值的第三目标像素点，其中，所述第一预设阈值大于所述第二预设阈值；
根据所述第一目标像素点和所述第三目标像素点，分割出所述状态图像中的疑似抛洒物。
在本申请一种可能的实现方式中，所述第一分类结果包括所述疑似抛洒物是真实抛洒物，所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，之前还包括：
根据所述状态图像和预设的车道线检测算法，确定所述状态图像中的车道线；
根据所述车道线确定所述待检测路面的路面区域；
检测所述疑似抛洒物是否处于所述路面区域；
所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，包括：
若所述疑似抛洒物处于所述路面区域、且所述疑似抛洒物是真实抛洒物，则将所述疑似抛洒物确定为所述待检测路面的真实抛洒物。
在本申请一种可能的实现方式中，所述根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物，包括：
调用训练后抛洒物检测网络中的分割子网络，根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
调用所述抛洒物检测网络中的分类子网络，对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
在本申请一种可能的实现方式中，所述方法还包括：
获取训练数据集，其中，所述训练数据集包括多个样本抛洒物的样本图像，所述样本图像中标注了实际抛洒物的信息；
调用第一预设网络，根据所述样本图像进行抛洒物分割处理，得到所述样本图像中的第一抛洒物；
根据所述第一抛洒物和所述抛洒物信息，确定所述第一预设网络的分割损失值；
根据所述分割损失值，对所述第一预设网络的模型参数进行调整，直至所述第一预设网络收敛时，将所述第一预设网络作为所述分割子网络。
在本申请一种可能的实现方式中，所述方法还包括：
调用第二预设网络，对所述第一抛洒物进行分类处理，得到所述第一抛洒物的第二分类结果；
根据所述第二分类结果和所述抛洒物信息，确定所述第二预设网络的分类损失值；
根据所述分类损失值，对所述第二预设网络的模型参数进行调整，直至所述第二预设网络收敛时，将所述第二预设网络作为所述分类子网络。
在本申请一种可能的实现方式中，所述样本图像包括雨天图像、夜晚图像和雾天图像中的至少一种。
第二方面，本申请提供一种抛洒物检测装置，所述抛洒物检测装置包括：
获取单元，用于获取待检测路面的状态图像；
分割单元，用于根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
分类单元，用于对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；
确定单元，用于根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
在本申请一种可能的实现方式中，所述分割单元具体用于：
对所述状态图像中的每个像素点进行预测，得到所述每个像素点是抛洒物像素点的置信度；
从所述状态图像的各像素点中，获取所述置信度大于第一预设阈值的第一目标像素点；
确定与所述第一目标像素点之间的距离小于预设距离阈值的第二目标像素点；
从所述第二目标像素点中，获取所述置信度大于第二预设阈值的第三目标像素点，其中，所述第一预设阈值大于所述第二预设阈值；
根据所述第一目标像素点和所述第三目标像素点，分割出所述状态图像中的疑似抛洒物。
在本申请一种可能的实现方式中，所述第一分类结果包括所述疑似抛洒物是真实抛洒物，所述抛洒物检测装置还包括检测单元，在所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物的步骤之前，所述检测单元具体用于：
根据所述状态图像和预设的车道线检测算法，确定所述状态图像中的车道线；
根据所述车道线确定所述待检测路面的路面区域；
检测所述疑似抛洒物是否处于所述路面区域；
所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，包括：
若所述疑似抛洒物处于所述路面区域、且所述疑似抛洒物是真实抛洒物，则将所述疑似抛洒物确定为所述待检测路面的真实抛洒物。
在本申请一种可能的实现方式中，所述分割单元具体用于：
调用训练后抛洒物检测网络中的分割子网络，根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
在本申请一种可能的实现方式中，所述分类单元具体用于：
调用所述抛洒物检测网络中的分类子网络，对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
在本申请一种可能的实现方式中，所述抛洒物检测装置还包括训练单元，所述训练单元具体用于：
获取训练数据集，其中，所述训练数据集包括多个样本抛洒物的样本图像，所述样本图像中标注了实际抛洒物的信息；
调用第一预设网络，根据所述样本图像进行抛洒物分割处理，得到所述样本图像中的第一抛洒物；
根据所述第一抛洒物和所述抛洒物信息，确定所述第一预设网络的分割损失值；
根据所述分割损失值，对所述第一预设网络的模型参数进行调整，直至所述第一预设网络收敛时，将所述第一预设网络作为所述分割子网络。
在本申请一种可能的实现方式中，所述训练单元具体用于：
调用第二预设网络，对所述第一抛洒物进行分类处理，得到所述第一抛洒物的第二分类结果；
根据所述第二分类结果和所述抛洒物信息，确定所述第二预设网络的分类损失值；
根据所述分类损失值，对所述第二预设网络的模型参数进行调整，直至所述第二预设网络收敛时，将所述第二预设网络作为所述分类子网络。
在本申请一种可能的实现方式中，所述训练单元具体用于：
获取雨天图像、夜晚图像和雾天图像中的至少一种作为所述样本图像。
第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种抛洒物检测方法中的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的抛洒物检测方法中的步骤。
本申请通过先对状态图像进行分割得到状态图像中的疑似抛洒物，再对分割出来的疑似抛洒物进一步进行分类，以确定疑似抛洒物是否为真实抛洒物，再最终确定待检测路面的真实抛洒物。由于待检测路面的真实抛洒物是经过分割、分类双重判定而确定，其中分割后再分类可以过滤掉误分割的疑似抛洒物，因此可以提升对抛洒物的检测准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例所提供的抛洒物检测系统的场景示意图；
图2是本申请实施例提供的抛洒物检测方法的一种流程示意图；
图3是本申请实施例中提供的状态图像中各像素点置信度的一种示意图；
图4是本申请实施例中提供的第一目标像素点的一种示意图；
图5是本申请实施例中提供的状态图像基于二值化处理实现疑似抛洒物分割前后的对比示意图；
图6是本申请实施例中提供的路面区域与疑似抛洒物的位置关系示意图；
图7是本申请实施例中提供的抛洒物检测装置的一个实施例结构示意图；
图8是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种抛洒物检测方法、装置、电子设备和计算机可读存储介质。其中，该抛洒物检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
道路抛洒物严重影响行车安全，极易增加发生多车交通事故的风险。目前排查道路抛洒物普遍方法为通过交通卡口摄像头监控或者高速交警大队安排人员车辆持续巡逻。随着全国高等级公路里程逐年增加，在高速公路上全面铺开视频监控设备，需要大量的前期资金投入并且持续进行设备维护，但同时难以覆盖全部道路面；人工排查方式耗时耗力且覆盖频次较低。
本申请实施例中通过深度学习图像处理技术，能够快速有效地判断当前路段是否存在较大的抛洒物，并且将抛洒物相关信息呈现出来。
本申请实施例抛洒物检测方法的执行主体可以为本申请实施例提供的抛洒物检测装置，或者集成了该抛洒物检测装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的电子设备，其中，抛洒物检测装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本申请实施例提供的抛洒物检测方法，可以在一定程度上避免抛洒物误分割的问题，提高抛洒物的检测准确率。
参见图1，图1是本申请实施例所提供的抛洒物检测系统的场景示意图。其中，该抛洒物检测系统可以包括电子设备100，电子设备100中集成有抛洒物检测装置。例如，该电子设备可以获取待检测路面的状态图像；根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
另外，如图1所示，该抛洒物检测系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
需要说明的是，图1所示的抛洒物检测系统的场景示意图仅仅是一个示例，本申请实施例描述的抛洒物检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着抛洒物检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
下面，开始介绍本申请实施例提供的抛洒物检测方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
参照图2，图2是本申请实施例提供的抛洒物检测方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该抛洒物检测方法包括步骤S10～S40，其中：
S10、获取待检测路面的状态图像。
其中，状态图像是指包含有待检测路面的图像。
具体地，在实际应用中，应用本申请实施例提供的抛洒物检测方法的电子设备，在硬件上可直接包括的摄像头(该摄像头主要用于采集包含待检测路面的图像)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取该摄像头得到的图像；或者，电子设备也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
S20、根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物。
其中，疑似抛洒物是指通过对状态图像进行前景分割后，基于分割结果直接确定的抛洒物。
在一些实施例中，可以直接基于现有的语义分割模型对状态图像进行抛洒物分割，从而得到状态图像中的疑似抛洒物。
具体地，采用包含有抛洒物的图像对现有的语义分割模型(比如，MINet算法模型、PoolNet算法模型等等)进行训练，直至语义分割模型收敛时，可以将训练好的语义分割模型对状态图像进行抛洒物分割，从而得到状态图像中的疑似抛洒物。其中，语义分割模型的训练过程与现有的网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式，在此不再赘述。
一般来说，基于语义分割模型的前景分割主要过程如下：首先，对状态图像进行(如卷积、池化、插值等)特征提取操作，得到状态图像的图像特征。然后，根据状态图像的图像特征，对状态图像中每个像素点进行预测，确定状态图像中每个像素点是抛洒物的置信度。最后，根据每个像素点是抛洒物的置信度、以及预设的判别置信度阈值，确定状态图像中是抛洒物的像素点，从而得到状态图像中的疑似抛洒物。
其中，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如说一张照片中(目标前景是人、摩托车，背景是出人和摩托车之外的像素)，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。
在一些实施例中，可以直接基于现有的实例分割模型对状态图像进行抛洒物分割，从而得到状态图像中的疑似抛洒物。
具体地，采用包含有抛洒物的图像对现有的实例分割模型(比如，Mask-RCNN算法模型等等)进行训练，直至实例分割模型收敛时，可以将训练好的实例分割模型对状态图像进行抛洒物分割，从而得到状态图像中的疑似抛洒物。其中，实例分割模型的训练过程与现有的网络模型的训练过程类似，对于没有详细说明的训练过程，可以参照现有网络模型的训练方式，在此不再赘述。
其中，实例分割不同于语义分割，实例分割算法相对于语义分割算法在功能上更进一步。举例来说，如果本申请实施例中的一张状态图像中有多个抛洒物，对于语义分割来说，只要将所有抛洒物的像素都归为一类，但是实例分割还要将不同抛洒物的像素归为不同的类。
因此，若对抛洒物的检测要求较高时，可以优先考虑采用实例分割模型对状态图像进行抛洒物分割处理，得到状态图像中的每个疑似抛洒物。
S30、对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
其中，第一分类结果用于指示疑似抛洒物是否为真实的抛洒物。第一分类结果可以是二分类的分类结果，或者是多分类的分类结果。比如，第一分类结果是二分类的分类结果，则可以包括疑似抛洒物是真实抛洒物、疑似抛洒物是非真实抛洒物。又如，第一分类结果是多分类的分类结果，则可以包括疑似抛洒物是瓶类抛洒物、疑似抛洒物是纸屑类抛洒物、疑似抛洒物是非真实抛洒物。
在本申请实施例中，为了提高对抛洒物的检测准确率，从状态图像中分割出疑似抛洒物之后，还会对分割出来的疑似抛洒物进一步分类，进一步判定疑似抛洒物是否为真实抛洒物。
具体地，在一些实施例中，会基于状态图像中分割出来的疑似抛洒物作进一步的特征提取。并根据所提取的疑似抛洒物的图像特征，对疑似抛洒物进行二分类处理，得到疑似抛洒物的第一分类结果。比如，疑似抛洒物1是真实抛洒物、疑似抛洒物2是非真实抛洒物。
在一些实施例中，会基于状态图像中分割出来的疑似抛洒物作进一步的特征提取。并根据所提取的疑似抛洒物的图像特征，对疑似抛洒物进行多分类处理，得到疑似抛洒物的第一分类结果。比如，疑似抛洒物1是瓶类抛洒物、疑似抛洒物2是纸屑类抛洒物、疑似抛洒物3是非真实抛洒物。
S40、根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
具体地，若第一分类结果指示疑似抛洒物是非真实的抛洒物，则确定待检查路面不存在抛洒物。若第一分类结果指示疑似抛洒物是真实的抛洒物，则将该疑似抛洒物确定为待检测路面的真实抛洒物。
比如，对于步骤S20中分割出的疑似抛洒物：抛洒物1、抛洒物2，步骤S30中对分割出的每个疑似抛洒物(抛洒物1、抛洒物2)分别进行二分类，确定抛洒物1是真实抛洒物、疑似抛洒物2是非真实抛洒物。则，可以将抛洒物1确定为待检测路面的真实抛洒物。
又如，对于步骤S20中分割出的疑似抛洒物：抛洒物1、抛洒物2、抛洒物3，步骤S30中对分割出的每个疑似抛洒物(抛洒物1、抛洒物2、抛洒物3)分别进行多分类，确定抛洒物1是瓶类抛洒物、疑似抛洒物2是纸屑类抛洒物、疑似抛洒物3是非真实抛洒物。其中，瓶类抛洒物、纸屑类抛洒物都是真实抛洒物。则，可以将抛洒物1、抛洒物2确定为待检测路面的真实抛洒物。
由以上内容可以看出，通过先对状态图像进行前景分割得到状态图像中的疑似抛洒物，再对分割出来的疑似抛洒物进一步进行分类，以确定疑似抛洒物是否为真实抛洒物，再最终确定待检测路面的真实抛洒物。由于待检测路面的真实抛洒物是经过分割、分类双重判定而确定，其中分割后再分类可以过滤掉误分割的疑似抛洒物，因此可以提升对抛洒物的检测准确率。
请参照图3，图3是本申请实施例中提供的状态图像中各像素点置信度的一种示意图。其中，实线三角形内的像素点置信度全部＞90；虚线三角形内中，除实线三角形内的像素点外，80＜全部像素点置信度≤90。
一般来说，上述步骤S20中，为了分割出状态图像中的疑似抛洒物，会先对状态图像中的每个像素点进行预测，得到每个像素点是抛洒物像素点的置信度。然后，再将置信度高于某个预设置信度值的像素点作为疑似抛洒物的所在像素点，并将疑似抛洒物的所在像素点、与疑似抛洒物的所在像素点外的其他像素点进行二值化，从而分割出状态图像中的疑似抛洒物。在本申请实施例中，将这种基于某个预设置信度值进行二值化，实现目标(即疑似抛洒物)分割的方法称为“单一阈值二值化分割”。
但是，“单一阈值二值化分割”存在较大的目标误分割，具体体现在“单一阈值二值化分割”的结果存在很多这样的情况：有目标的地方面积比较小、平均置信度高；误分割的地方面积比较大、平均置信度低一点。
由于若将预设置信度值设置的过大，将会导致无法准确地检测出完整的目标；若将预设置信度值设置的过小，将会导致目标的误分割面积较大。
为此，在本申请的一些实施例中，设置了“高低阈值策略”，基于“高低阈值策略”对状态图像中疑似抛洒物进行分割。此时，步骤S20具体可以包括以下步骤S21～S25，其中：
S21、对所述状态图像中的每个像素点进行预测，得到所述每个像素点是抛洒物像素点的置信度。
其中，本申请实施例中的“高低阈值策略”是指设定至少2个不同的置信度阈值，先基于较大的置信度阈值初步筛选出目标区域，再基于较小的置信度阈值对目标区域作进一步扩大，从而实现目标区域的精准分割。比如，设定一个高置信度阈值(如90)、一个低置信度阈值(如85)，先初步筛选出置信度大于高置信度阈值(90)像素点作为目标区域所在像素点；然后，目标区域周边大于低置信度阈值(85)的相像素点，扩充为目标区域的像素点。
其中，像素点i的置信度是指状态图像中，像素点i是抛洒物像素点的置信度。后续所简称的置信度，是指像素点是抛洒物像素点的置信度。
具体地，首先，对状态图像进行(如卷积、池化、插值等)特征提取操作，得到状态图像的图像特征。然后，根据状态图像的图像特征，对状态图像中每个像素点进行预测，确定状态图像中每个像素点是抛洒物的置信度。
S22、从所述状态图像的各像素点中，获取所述置信度大于第一预设阈值的第一目标像素点。
其中，第一目标像素点是指状态图像的各像素点中，置信度大于第一预设阈值的的像素点。第一目标像素点用于指示疑似抛洒物所在的像素点区域。
可以理解的是，此时，第一目标像素点可以构成一个或多个连通的区域，对于每个连通区域将视为一个目标区域(即一个疑似抛洒物所在区域)。为了便于理解，后文中以只存在一个连通区域(即只存在一个疑似抛洒物所在区域)为例。
具体地，遍历状态图像的各像素点，对于状态图像中的每个像素点i，检测像素点i的置信度是否大于第一预设阈值。若像素点i的置信度大于第一预设阈值，则将像素点i作为第一目标像素点，以供后续确定疑似抛洒物。若像素点i的置信度小于或等于第一预设阈值，则不对像素点i作进一步处理。
例如，对于图3所示的状态图像中的每个像素点i，检测像素点i的置信度是否大于第一预设阈值(如90)。对于置信度大于第一预设阈值(90)的像素点，作为第一目标像素点，如图4中(a)所示，图4(a)中实线三角形所在的像素点即为第一目标像素点。图4是本申请实施例中提供的第一目标像素点和第二目标像素点的一种示意图。
其中，第一预设阈值的具体取值可以根据实际需求而设置，上述第一预设阈值仅为举例，不应当以此为限。
S23、确定与所述第一目标像素点之间的距离小于预设距离阈值的第二目标像素点。
请参照图4(b)中所示，图4(b)是根据图4(a)中所示的第一目标像素点而确定的第二目标像素点的示意图。其中，虚线三角形内中，除实线三角形内的像素点外，均为第二目标像素点。
为了方便理解，接以上步骤S22中的例子继续说明。例如，预设距离阈值为20个像素点，则将第一目标像素点周边20个像素点范围内的像素点作为第二目标像素点，如图4(b)所示。
其中，预设距离阈值的具体取值可以根据实际需求而设置，此处预设距离阈值仅为举例，不应当以此为限。
S24、从所述第二目标像素点中，获取所述置信度大于第二预设阈值的第三目标像素点。
其中，第一预设阈值大于第二预设阈值。
具体地，遍历第二目标像素点中的各像素点，对于第二目标像素点中的每个像素点i，检测像素点i的置信度是否大于第二预设阈值。若像素点i的置信度大于第二预设阈值，则将像素点i作为第三目标像素点，以供后续确定疑似抛洒物。若像素点i的置信度小于或等于第二预设阈值，则不对像素点i作进一步处理。
为了方便理解，接以上步骤S23中的例子继续说明。
例如，对于图5所示的第二目标像素点，检测像素点i的置信度是否大于第二预设阈值(如80)。对于置信度大于第二预设阈值(80)的像素点i，作为第三目标像素点。此处，第二预设阈值(80)应当小于第一预设阈值(90)，以保证准确地检测出完整的目标、并减少目标的误分割面积。
其中，第二预设阈值的具体取值可以根据实际需求而设置，上述第二预设阈值仅为举例，不应当以此为限。
S25、根据所述第一目标像素点和所述第三目标像素点，分割出所述状态图像中的疑似抛洒物。
请参照图5，图5是本申请实施例中提供的状态图像基于二值化处理实现疑似抛洒物分割前后的对比示意图。图5中左图是原始的状态图像，图5中右图是左图中疑似抛洒物的像素点、以及其他像素点二值化处理后的示意图。
例如，为了便于后续处理，可以对状态图像的像素点进行二值化，以实现对状态图像中的疑似抛洒物的分割。具体地，将第一目标像素点和第三目标像素点作为疑似抛洒物的像素点，并将第一目标像素点和第三目标像素点的像素值设置为0；将第一目标像素点和第三目标像素点外的其他像素点的像素值设置为255。
上述二值化的像素值(如255、0)仅为举例，具体可以根据实际需求而设置，不以此为限。
进一步地，对于同一抛洒物各像素应当是连通的，因此第一目标像素点和第三目标像素点所构成的区域应当是连通的。为了提高疑似抛洒物的分割准确率，第一目标像素点和第三目标像素点所构成的区域中，若存在与第一目标像素点区域(简称为目标区域)不连通的第三目标像素点，则将该不连通的第三目标像素点滤除，以避免干扰造成的误分割。
由以上内容可以看出，通过上述步骤S21～S25的“高低阈值策略”对状态图像中疑似抛洒物进行分割，可以准确地检测出完整的疑似抛洒物目标、并减少疑似抛洒物目标的误分割面积，提高了疑似抛洒物分割的精度，从而可以进一步地提高抛洒物的检测精度。
状态图像中除了包含待检测路面之外，还会存在一些其他干扰，比如半空中的路灯、挂在树上的灯笼等等。在步骤S20中进行疑似抛洒物的分割时，还可能会将干扰物体视为疑似抛洒物分割出来。为了降低干扰物体对抛洒物的检测准确率的影响，在本申请的一些实施例中，还可以对待检测路面外的干扰物体进行滤除。
为此，在本申请的一些实施例中，该抛洒物检测方法还包括以下步骤(1)～(3)，其中：
(1)根据所述状态图像和预设的车道线检测算法，确定所述状态图像中的车道线。
其中，预设的车道线检测算法可以开源的车道线检测算法，比如LineNet算法。车道线检测算法已经是比较成熟的算法，在本申请实施例中，直接采用了现有的车道线检测双方检测出状态图像中的车道线。
(2)根据所述车道线确定所述待检测路面的路面区域。
具体地，将任意两条车道线之间的像素点均归为待检测路面所在的像素点，从而可以将待检测路面所有像素点构成的区域，确定为待检测路面的路面区域。
(3)检测所述疑似抛洒物是否处于所述路面区域。
具体地，检测疑似抛洒物所在的像素点与路面区域所在的像素点是否重合，比如，疑似抛洒物所在的像素点是否均为路面区域所在的像素点中的像素点。
当检测到疑似抛洒物所在的像素点与路面区域所在的像素点重合时，确定疑似抛洒物处于路面区域。
当检测到疑似抛洒物所在的像素点与路面区域所在的像素点不重合时，确定疑似抛洒物处于路面区域之外。此时，若疑似抛洒物处于路面区域之外，则可以直接确定疑似抛洒物不是待检测路面上的真实抛洒物。
请参照图6，图6是本申请实施例中提供的路面区域与疑似抛洒物的位置关系示意图。其中，疑似抛洒物1处于路面区域、疑似抛洒物2处于路面区域之外。
所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，包括：
若所述疑似抛洒物处于所述路面区域、且所述疑似抛洒物是真实抛洒物，则将所述疑似抛洒物确定为所述待检测路面的真实抛洒物。
由以上内容可以看出，通过识别状态图像中的车道线，确定待检测路面的路面区域；当确定疑似抛洒物处于路面区域、且疑似抛洒物经过分类后确定是真实抛洒物时，才最终将疑似抛洒物确定为待检测路面的真实抛洒物，可以避免干扰物体对抛洒物的检测的影响，进而提高抛洒物的检测准确率。
在一些实施例中，可以采用经过深度学习后的网络模型来对状态图像进行抛洒物分割、也可以采用经过深度学习后的网络模型来对疑似抛洒物进行分类。此时，步骤S20具体可以包括：调用训练后抛洒物检测网络中的分割子网络，根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物。
步骤S30具体可以包括：调用所述抛洒物检测网络中的分类子网络，对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
例如，可以通过训练后抛洒物检测网络对状态图像进行抛洒物分割处理，得到状态图像中的疑似抛洒物；并通过训练后抛洒物检测网络对疑似抛洒物进行分类处理，得到疑似抛洒物的第一分类结果。
其中，抛洒物检测网络可以包括分割子网络和分类子网络。
分割子网络，用于实现步骤S20，以分割出状态图像中的疑似抛洒物。其中，分割子网络还可以进一步包括第一特征提取层、分割预测层。
第一特征提取层，用于根据状态图像输出状态图像的第一特征信息。第一特征提取层以状态图像作为输入，对状态图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对状态图像进行特征提取得到状态图像的第一特征信息。其中，第一特征提取层可以是卷积神经网络(Convolutional Neural Networks,CNN)。
分割预测层，用于根据状态图像的第一特征信息输出状态图像中的疑似抛洒物的分割结果。分割预测层以状态图像的第一特征信息作为输入，根据状态图像的第一特征信息对状态图像中的每个像素点进行回归预测处理，确定每个像素点是抛洒物像素点的置信度；并根据每个像素点是抛洒物像素点的置信度，分割出状态图像中的疑似抛洒物。
分类子网络，用于实现步骤S30，以确定疑似抛洒物的第一分类结果。其中，分类子网络还可以进一步包括第二特征提取层、分类预测层。
第二特征提取层，用于输出疑似抛洒物的第二特征信息。第二特征提取层以疑似抛洒物所在区域的图像(即状态图像中分割出疑似抛洒物图像)作为输入，对疑似抛洒物所在区域的图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对疑似抛洒物所在区域的图像进行特征提取得到疑似抛洒物的第二特征信息。其中，第二特征提取层可以是卷积神经网络(Convolutional Neural Networks,CNN)。
分类预测层，用于根据第一特征信息和/或第二特征信息输出疑似抛洒物的第一分类结果。分类预测层以第一特征信息和/或第二特征信息作为输入，根据第一特征信息和/或第二特征信息对疑似抛洒物进行回归预测处理，确定疑似抛洒物的第一分类结果。
可以理解的是，上述分割子网络、分类子网络的具体网络结构仅为举例，具体可以根据实际情况而调整，实际应用时，上述分割子网络、分类子网络的具体网络结构可以比上述包含更多或更少的具体功能结构。
其中，抛洒物检测网络可以由分割子网络、分类子网络分别单独训练后得到，也可以由分割子网络、分类子网络联合训练后得到。
以下针对分割子网络、分类子网络分别单独训练，以及联合训练两种情况分别进行说明。
1、分割子网络、分类子网络分别单独训练。
第一方面，训练分割子网络。
分割子网络可以通过以下步骤A1～A4训练得到，其中：
A1、获取训练数据集。
其中，训练数据集包括多个样本抛洒物的样本图像，样本图像中标注了实际抛洒物的信息。实际抛洒物的信息是指样本图像中，实际的抛洒物所在的像素点。比如，样本图像1中标注了实际的抛洒物所在的像素点。
进一步地，为了提高网络训练后的分割精度，样本图像中通过包含有样本抛洒物、以及路面，样本抛洒物处于路面。
由于雨天、雾天、夜晚等特殊场景情况下，较难实现精准分割。为此，进一步地，在本申请的一些实施例中，还在雨天、雾天、夜晚等特殊场景下，采集样本抛洒物的图像作为样本图像，对网络进行训练。
A2、调用第一预设网络，根据所述样本图像进行抛洒物分割处理，得到所述样本图像中的第一抛洒物。
其中，第一抛洒物是指对样本图像进行抛洒物分割处理，得到样本图像中的抛洒物。
第一预设网络以样本图像作为输入，首先，对样本图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对样本图像进行特征提取得到样本图像的图像特征。
然后，根据样本图像的图像特征对样本图像中的每个像素点进行回归预测处理，确定每个像素点是抛洒物像素点的置信度；并根据每个像素点是抛洒物像素点的置信度，分割出样本图像中的第一抛洒物。
其中，第一预设网络可以是可用于分割任务的开源网络模型，如用于分割任务的SegNet网络等等。具体地，可以采用模型参数为默认值的(可用于分割任务)开源网络作为第一预设网络。
A3、根据所述第一抛洒物和所述抛洒物信息，确定所述第一预设网络的分割损失值。
其中，第一预设网络对应设置有对应设置了第一损失函数，以使得第一预设网络能够学习到图像中的抛洒物特征信息。第一损失函数对应于第一预设网络输出的第一抛洒物进行设置。在训练过程中，第一损失函数的值即为第一预设网络的分割损失值。其中，第一损失函数可以是铰链损失函数(hinge loss function)、交叉熵损失函数(cross-entropy loss function)、指数损失函数(exponential loss function)等，在本申请实施例中对第一损失函数的具体函数类型不做限制。
A4、根据所述分割损失值，对所述第一预设网络的模型参数进行调整，直至所述第一预设网络收敛时，将所述第一预设网络作为所述分割子网络。
具体地，不断地根据每次训练的分割损失值对第一预设网络的模型参数进行调整，直至满足预设的停止训练条件时(即第一预设网络收敛时)，将参数更新后的第一预设网络作为训练好分割子网络。此时，可将训练好的分割子网络应用于分割状态图像中的疑似抛洒物。
其中，预设的停止训练条件可以根据实际需求而设置。例如，可以是当分割损失值小于预设值时，或者是分割损失值基本不再变化时，即相邻多次训练对应的分割损失值的差值小于预设值；或者是第一预设网络训练的迭代次数达到最大迭代次数时。
由以上内容可以看出，由于分割子网络是经过深度学习训练得到，因此训练后的分割子网络，可以充分学习抛洒物的图像特征，从而在一定程度上保证了疑似抛洒物的分割精度。
第二方面，训练分类子网络。
分类子网络可以通过以下步骤B1～B4训练得到，其中：
B1、获取训练数据集。
其中，训练数据集包括多个样本物体(包括抛洒物、非抛洒物)的训练图像，训练图像中标注了样本物体实际的类别信息。其中，类别信息用于指示样本物体是抛洒物、或非抛洒物。比如，训练图像1中标注了样本物体实际的类别信息：抛洒物。
进一步地，步骤B1中获取的训练图像，也可以是上述步骤A2中分割出的疑似抛洒物的区域图像。
B2、调用第二预设网络，根据所述训练图像进行分类处理，得到训练图像中样本物体的第二分类结果。
其中，第二分类结果用于指示样本物体是否为真实的抛洒物。
第二预设网络以训练图像作为输入，首先，对训练图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对训练图像进行特征提取得到训练图像的图像特征。然后，根据训练图像的图像特征进行回归预测处理，确定样本物体的第二分类结果。
其中，第二预设网络可以是可用于分类任务的开源网络模型，如用于分类任务的YOLOv3网络、MobileNet网络等等。具体地，可以采用模型参数为默认值的(可用于分类任务)开源网络作为第二预设网络。
B3、根据所述第二分类结果和所述类别信息，确定所述第二预设网络的分类损失值。
其中，第二预设网络对应设置有对应设置了第二损失函数，以使得第二预设网络能够学习到图像中的抛洒物特征信息。第二损失函数对应于第二预设网络输出的第二分类结果进行设置。在训练过程中，第二损失函数的值即为第二预设网络的分类损失值。其中，第二损失函数可以是铰链损失函数(hinge loss function)、交叉熵损失函数(cross-entropy loss function)、指数损失函数(exponential loss function)等，在本申请实施例中对第二损失函数的具体函数类型不做限制。
B4、根据所述分类损失值，对所述第二预设网络的模型参数进行调整，直至所述第二预设网络收敛时，将所述第二预设网络作为所述分类子网络。
具体地，不断地根据每次训练的分类损失值对第二预设网络的模型参数进行调整，直至满足预设的停止训练条件时(即第二预设网络收敛时)，将参数更新后的第二预设网络作为训练好分类子网络。此时，可将训练好的分类子网络应用于对状态图像中分割出的疑似抛洒物进行分类处理，得到疑似抛洒物的第一分类结果。
其中，预设的停止训练条件可以根据实际需求而设置。例如，可以是当分割损失值小于预设值时，或者是分割损失值基本不再变化时，即相邻多次训练对应的分割损失值的差值小于预设值；或者是第一预设网络训练的迭代次数达到最大迭代次数时。
2、分割子网络、分类子网络联合训练。
具体地，采用上述第一预设网络和第二预设网络构建为待训练网络，并通过上述步骤A1～A3确定第一预设网络的分割损失值、通过上述步骤B1～B3确定第二预设网络的分类损失值。
然后，根据分割损失值和分类损失值确定待训练网络的训练总损失值。并根据训练总损失值，对待训练网络的模型参数(包括第一预设网络的模型参数、第二预设网络的模型参数)进行调整，直至待训练网络收敛时，将待训练网络作为抛洒物检测网络。
此时，可将训练好的待训练网络应用于分割状态图像中的疑似抛洒物，并应用于对状态图像中分割出的疑似抛洒物进行分类处理，得到疑似抛洒物的第一分类结果。
其中，待训练网络、第一预设网络、第二预设网络的网络结构及功能，与上述抛洒物检测网络、分割子网络、分类子网络的网络结构及功能类似，可以分别参照上述抛洒物检测网络、分割子网络、分类子网络的网络结构及功能的说明，在此不再赘述。
由以上内容可以看出，由于分类子网络是经过深度学习训练得到，因此训练后的分类子网络，可以充分学习抛洒物、与非抛洒物之间的图像特征差异，从而在一定程度上保证了疑似抛洒物的分类准确率。
此外，为了验证本申请实施例步骤S21～S25中基于“高低阈值策略”对状态图像中疑似抛洒物进行分割，能降低抛洒物误分割率的分割效果，还对本申请实施例提供的方案进行了实验测试，具体如下：
分别采用了MINet算法模型、PoolNet算法模型执行上述步骤S21～S25，分割出状态图像中的疑似抛洒物。状态图像分别采用5万个典型的场景图像作为测试集，对图像中的疑似抛洒物进行分割。其中：MINet算法模型的召回率为0.6283、精确率为0.1942，PoolNet算法模型的召回率为0.4870、精确率为0.2330。
其中，精确率用于表示：预测为正的样本中有多少是真正的正样本。召回率用于表示：样本中的正例有多少被预测正确了。
为了更好实施本申请实施例中抛洒物检测方法，在抛洒物检测方法基础之上，本申请实施例中还提供一种抛洒物检测装置，如图7所示，为本申请实施例中抛洒物检测装置的一个实施例结构示意图，该抛洒物检测装置700包括：
获取单元701，用于获取待检测路面的状态图像；
分割单元702，用于根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
分类单元703，用于对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；
确定单元704，用于根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
在本申请的一些实施例中，所述分割单元702具体用于：
对所述状态图像中的每个像素点进行预测，得到所述每个像素点是抛洒物像素点的置信度；
从所述状态图像的各像素点中，获取所述置信度大于第一预设阈值的第一目标像素点；
确定与所述第一目标像素点之间的距离小于预设距离阈值的第二目标像素点；
从所述第二目标像素点中，获取所述置信度大于第二预设阈值的第三目标像素点，其中，所述第一预设阈值大于所述第二预设阈值；
根据所述第一目标像素点和所述第三目标像素点，分割出所述状态图像中的疑似抛洒物。
在本申请的一些实施例中，所述第一分类结果包括所述疑似抛洒物是真实抛洒物，所述抛洒物检测装置700还包括检测单元(图中未示出)，在所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物的步骤之前，所述检测单元具体用于：
根据所述状态图像和预设的车道线检测算法，确定所述状态图像中的车道线；
根据所述车道线确定所述待检测路面的路面区域；
检测所述疑似抛洒物是否处于所述路面区域；
所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，包括：
若所述疑似抛洒物处于所述路面区域、且所述疑似抛洒物是真实抛洒物，则将所述疑似抛洒物确定为所述待检测路面的真实抛洒物。
在本申请的一些实施例中，所述分割单元702具体用于：
调用训练后抛洒物检测网络中的分割子网络，根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
在本申请的一些实施例中，所述分类单元703具体用于：
调用所述抛洒物检测网络中的分类子网络，对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
在本申请的一些实施例中，所述抛洒物检测装置700还包括训练单元(图中未示出)，所述训练单元具体用于：
获取训练数据集，其中，所述训练数据集包括多个样本抛洒物的样本图像，所述样本图像中标注了实际抛洒物的信息；
调用第一预设网络，根据所述样本图像进行抛洒物分割处理，得到所述样本图像中的第一抛洒物；
根据所述第一抛洒物和所述抛洒物信息，确定所述第一预设网络的分割损失值；
根据所述分割损失值，对所述第一预设网络的模型参数进行调整，直至所述第一预设网络收敛时，将所述第一预设网络作为所述分割子网络。
在本申请的一些实施例中，所述训练单元具体用于：
调用第二预设网络，对所述第一抛洒物进行分类处理，得到所述第一抛洒物的第二分类结果；
根据所述第二分类结果和所述抛洒物信息，确定所述第二预设网络的分类损失值；
根据所述分类损失值，对所述第二预设网络的模型参数进行调整，直至所述第二预设网络收敛时，将所述第二预设网络作为所述分类子网络。
在本申请的一些实施例中，所述训练单元具体用于：
获取雨天图像、夜晚图像和雾天图像中的至少一种作为所述样本图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由于该抛洒物检测装置可以执行本申请如图1至图6对应任意实施例中抛洒物检测方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中抛洒物检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
此外，为了更好实施本申请实施例中抛洒物检测方法，在抛洒物检测方法基础之上，本申请实施例还提供一种电子设备，参阅图8，图8示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器801，处理器801用于执行存储器802中存储的计算机程序时实现如图1至图6对应任意实施例中抛洒物检测方法的各步骤；或者，处理器801用于执行存储器802中存储的计算机程序时实现如图7对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器802中，并由处理器801执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括，但不仅限于处理器801、存储器802。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器801、存储器802、输入输出设备以及网络接入设备等通过总线相连。
处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
存储器802可用于存储计算机程序和/或模块，处理器801通过运行或执行存储在存储器802内的计算机程序和/或模块，以及调用存储在存储器802内的数据，实现计算机装置的各种功能。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的抛洒物检测装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中抛洒物检测方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中抛洒物检测方法中的步骤，具体操作可参考如图1至图6对应任意实施例中抛洒物检测方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中抛洒物检测方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中抛洒物检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请实施例所提供的一种抛洒物检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种抛洒物检测方法，其特征在于，所述方法包括：
获取待检测路面的状态图像；
根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；
根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
2.根据权利要求1所述的抛洒物检测方法，其特征在于，所述根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物，包括：
对所述状态图像中的每个像素点进行预测，得到所述每个像素点是抛洒物像素点的置信度；
从所述状态图像的各像素点中，获取所述置信度大于第一预设阈值的第一目标像素点；
确定与所述第一目标像素点之间的距离小于预设距离阈值的第二目标像素点；
从所述第二目标像素点中，获取所述置信度大于第二预设阈值的第三目标像素点，其中，所述第一预设阈值大于所述第二预设阈值；
根据所述第一目标像素点和所述第三目标像素点，分割出所述状态图像中的疑似抛洒物。
3.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一分类结果包括所述疑似抛洒物是真实抛洒物，所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，之前还包括：
根据所述状态图像和预设的车道线检测算法，确定所述状态图像中的车道线；
根据所述车道线确定所述待检测路面的路面区域；
检测所述疑似抛洒物是否处于所述路面区域；
所述根据所述第一分类结果，确定所述待检测路面的真实抛洒物，包括：
若所述疑似抛洒物处于所述路面区域、且所述疑似抛洒物是真实抛洒物，则将所述疑似抛洒物确定为所述待检测路面的真实抛洒物。
4.根据权利要求1所述的抛洒物检测方法，其特征在于，所述根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物，包括：
调用训练后抛洒物检测网络中的分割子网络，根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
调用所述抛洒物检测网络中的分类子网络，对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果。
5.根据权利要求4所述的抛洒物检测方法，其特征在于，所述方法还包括：
获取训练数据集，其中，所述训练数据集包括多个样本抛洒物的样本图像，所述样本图像中标注了实际抛洒物的信息；
调用第一预设网络，根据所述样本图像进行抛洒物分割处理，得到所述样本图像中的第一抛洒物；
根据所述第一抛洒物和所述抛洒物信息，确定所述第一预设网络的分割损失值；
根据所述分割损失值，对所述第一预设网络的模型参数进行调整，直至所述第一预设网络收敛时，将所述第一预设网络作为所述分割子网络。
6.根据权利要求4所述的抛洒物检测方法，其特征在于，所述方法还包括：
调用第二预设网络，对所述第一抛洒物进行分类处理，得到所述第一抛洒物的第二分类结果；
根据所述第二分类结果和所述抛洒物信息，确定所述第二预设网络的分类损失值；
根据所述分类损失值，对所述第二预设网络的模型参数进行调整，直至所述第二预设网络收敛时，将所述第二预设网络作为所述分类子网络。
7.根据权利要求5或6所述的抛洒物检测方法，其特征在于，所述样本图像包括雨天图像、夜晚图像和雾天图像中的至少一种。
8.一种抛洒物检测装置，其特征在于，所述抛洒物检测装置包括：
获取单元，用于获取待检测路面的状态图像；
分割单元，用于根据所述状态图像进行抛洒物分割处理，得到所述状态图像中的疑似抛洒物；
分类单元，用于对所述疑似抛洒物进行分类处理，得到所述疑似抛洒物的第一分类结果；
确定单元，用于根据所述第一分类结果，确定所述待检测路面的真实抛洒物。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的抛洒物检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的抛洒物检测方法中的步骤。
CN202011320763.6A 2020-11-23 2020-11-23 抛洒物检测方法、装置、电子设备及存储介质 Pending CN112330658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011320763.6A CN112330658A (zh) 2020-11-23 2020-11-23 抛洒物检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011320763.6A CN112330658A (zh) 2020-11-23 2020-11-23 抛洒物检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112330658A true CN112330658A (zh) 2021-02-05

Family

ID=74321385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011320763.6A Pending CN112330658A (zh) 2020-11-23 2020-11-23 抛洒物检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112330658A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297913A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员穿衣规范的识别方法
CN114419561A (zh) * 2022-02-25 2022-04-29 广东粤港澳大湾区硬科技创新研究院 一种抛洒物检测方法及装置
CN114694060A (zh) * 2022-03-10 2022-07-01 海信集团控股股份有限公司 一种道路抛洒物检测方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN109740484A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 道路障碍物识别的方法、装置及系统
CN110533023A (zh) * 2019-07-08 2019-12-03 天津商业大学 一种用于检测识别铁路货车异物的方法及装置
CN111753612A (zh) * 2019-09-11 2020-10-09 上海高德威智能交通系统有限公司 一种抛洒物检测方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN109740484A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 道路障碍物识别的方法、装置及系统
CN110533023A (zh) * 2019-07-08 2019-12-03 天津商业大学 一种用于检测识别铁路货车异物的方法及装置
CN111753612A (zh) * 2019-09-11 2020-10-09 上海高德威智能交通系统有限公司 一种抛洒物检测方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297913A (zh) * 2021-04-26 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业人员穿衣规范的识别方法
CN114419561A (zh) * 2022-02-25 2022-04-29 广东粤港澳大湾区硬科技创新研究院 一种抛洒物检测方法及装置
CN114694060A (zh) * 2022-03-10 2022-07-01 海信集团控股股份有限公司 一种道路抛洒物检测方法、电子设备及存储介质
CN114694060B (zh) * 2022-03-10 2024-05-03 海信集团控股股份有限公司 一种道路抛洒物检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112330658A (zh) 抛洒物检测方法、装置、电子设备及存储介质
CN109087510B (zh) 交通监测方法及装置
US9460361B2 (en) Foreground analysis based on tracking information
Xu et al. Background modeling methods in video analysis: A review and comparative evaluation
CN105321350B (zh) 套牌车检测方法及装置
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN107480676B (zh) 一种车辆颜色识别方法、装置和电子设备
CN104361359A (zh) 基于图像检测的车辆识别方法
WO2018157056A1 (en) Video data background tracking and subtraction with multiple layers of stationary foreground and regions
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
CN113255580A (zh) 抛洒物识别、车辆抛洒滴漏识别方法和装置
CN105023025A (zh) 一种开集痕迹图像分类方法及系统
CN114419584A (zh) 一种改进的非极大值抑制YOLOv4交通标志识别定位方法
CN113537170A (zh) 一种交通路况智能监测方法和计算机可读存储介质
Wang et al. Video-based vehicle detection approach with data-driven adaptive neuro-fuzzy networks
CN114141022A (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
Hsieh et al. A real-time mobile vehicle license plate detection and recognition for vehicle monitoring and management
CN111008609A (zh) 交通灯与车道的匹配方法、装置及电子设备
CN114913488A (zh) 抛洒物检测方法、装置、电子设备及存储介质
JP7435244B2 (ja) 画像に基づく駐車検出方法、装置及び電子機器
CN104809438A (zh) 一种检测电子眼的方法和设备
CN115240132A (zh) 传送带运行状态的监测方法、装置和存储介质
CN114495028A (zh) 一种车辆套牌的识别方法、装置、电子设备及存储介质
CN108510517B (zh) 一种自适应的视觉背景提取方法及装置
CN110581979A (zh) 一种图像采集系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination