CN116311161A - 一种基于联合多任务模型的路面抛洒物检测方法 - Google Patents

一种基于联合多任务模型的路面抛洒物检测方法 Download PDF

Info

Publication number
CN116311161A
CN116311161A CN202310214913.2A CN202310214913A CN116311161A CN 116311161 A CN116311161 A CN 116311161A CN 202310214913 A CN202310214913 A CN 202310214913A CN 116311161 A CN116311161 A CN 116311161A
Authority
CN
China
Prior art keywords
road surface
image
area
pavement
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310214913.2A
Other languages
English (en)
Other versions
CN116311161B (zh
Inventor
赵作鹏
赵广明
贺晨
周杰
郝凯
刘笑枫
崔舒娅
郑天赐
徐俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202310214913.2A priority Critical patent/CN116311161B/zh
Publication of CN116311161A publication Critical patent/CN116311161A/zh
Application granted granted Critical
Publication of CN116311161B publication Critical patent/CN116311161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种联合多任务模型的路面抛洒物检测方法，包括：步骤一：获取路面视频数据；步骤二：将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息；步骤三：对路面掩码信息进行解码，得到第一图像，对视频帧进行灰度处理，得到第二图像；步骤四：根据第一、第二图像提取抛洒物疑似区域；步骤五：从抛洒物疑似区域的连通域中确定最终抛洒物区域。本发明能够从复杂状态的路面上更加准确地提取路面抛洒物，将目标检测任务和语义分割任务联合训练为多任务联合模型，减小检测模型的体积和复杂度，更加合理地利用路面上各种干扰物类别的特征，优化后处理流程，最终准确识别抛洒物，不限抛洒物类别、形状、样式和尺寸等特征。

Description

一种基于联合多任务模型的路面抛洒物检测方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于联合多任务模型的路面抛洒物检测方法。
背景技术
由于货运车辆遗洒、飘散的运载货物等人为或非人为的因素，石子、纸箱和轮胎等路面抛洒物，一直是引发交通事故的重要原因之一。不同于路面资产检测，路面抛洒物需要及时排查，化解事故风险，靠人力检测效率太低且风险太大，目前的抛洒物检测主要是基于计算机视觉。
现有的基于计算机视觉的路面抛洒物检测主要是用目标检测的方法，但由于抛洒物种类过多，尺寸、大小、样式多变，训练数据难以采集等因素，导致这类方法精度不高，而且识别种类有限。一些使用语义分割模型的方法在数据处理时并没有充分利用各种类别的特点，冗余地检测了一些可以无需考虑的类别。另一些方法使用目标检测模型后连接语义分割模型，这类方法模型体积过大，在资源受限的边缘设备上速度过慢。
发明内容
本发明的目的是提供一种基于联合多任务模型的路面抛洒物检测方法，在一个模型上同时执行两种任务，能够检测路面上的常见抛洒物，不局限于抛洒物类别、形状、样式和尺寸等特征，既提高了推理速度，也保障了识别精度。
为解决上述技术问题，本发明提供如下技术方案：
一种基于联合多任务模型的路面抛洒物检测方法，包括如下步骤：
步骤一：通过车载检测设备获取路面视频数据，所述视频数据包括存在路面掩码信息、干扰物掩码信息和位置信息的视频帧；
步骤二：将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息；
步骤三：对路面掩码信息进行解码，得到值在0-255之间的8位第一图像，再对视频帧进行灰度处理，根据步骤二中的掩码信息提取灰度图像的路面区域，得到第二图像；
步骤四：根据第一、第二图像提取抛洒物疑似区域；
步骤五：从抛洒物疑似区域的连通域中确定最终抛洒物区域。
优选地，步骤二中所述从多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息，包括：
所述多任务联合模型为卷积神经网络；
上述卷积神经网络包括骨干网络、加强特征提取网络和检测头部分，其中检测头分为目标检测头和语义分割头两个分支；
多任务联合模型由道路病害数据集和城市分割数据集联合训练得到；
特别的，由于车辆、行人等路面常见类别上半部分高于地面边界，在语义分割后并不会再路面区域留下孔洞区域，将这一部分目标使用语义分割而非目标检测来识别会更加方便后续工作。而对于道路病害目标，由于其形状多变、特征复杂，很难被模型识别，使用目标检测会更加准确。
路面掩码信息和干扰物掩码信息为语义分割头的部分预测结果，干扰物位置信息为目标检测头的预测结果；
上述干扰物包括道路上的汽车、自行车、行人、围栏、车道标识、井盖等，以及裂缝、坑洼、修补等容易误识别的道路病害。
进一步的，步骤三中所述第一图像和第二图像，包括：
将路面掩码区域像素值设置为1，与视频帧转化的灰度图像进行异或操作，得到的图像只有路面区域，其他位置像素值为0，记为第二图像；
将第一图像中路面区域，即所有灰度值不为0的像素设为255，得到第一连通图，连通图中路面区域为255，其他区域为0；
对第一连通域进行反转操作，用255减去所有像素灰度值，得到干扰物连通域，记为第二连通图；
在第一连通域中拿到所有连通域边缘，并通过边缘区域拿到所有连通域面积，默认最大面积的连通域为路面区域，将该区域填充得到没有孔洞的路面连通域，记为第三连通图。
优选地，步骤四中所述根据第一图像提取抛洒物疑似区域，包括：
使用图像分割方法提取抛洒物，并对得到的连通域进行腐蚀膨胀等操作去除颗粒噪声，得到抛洒物疑似区域；
上述抛洒物疑似区域应至少包含一个连通域。
进一步的，步骤五中所述从抛洒物疑似区域的连通域中确定最终抛洒物区域，包括：
设定区别抛洒物和非抛洒物的阈值；
计算抛洒物疑似区域中的连通域依次与第二连通图的重合比例，根据阈值剔除属于非抛洒物的连通域；
判断第二连通图中所有连通域的中心点在第三连通域中是否为255，且在第一图像中的值是否在需要剔除的类别之内，不符合则删除该连通域；
从联合多任务模型目标检测分支输出的路面病害结果中计算预测框的中心点位置，删除中心点在抛洒物疑似区域的连通域；
其余连通域作为最终抛洒物区域。
优选地，所述骨干网络、加强特征提取网络和检测头部分，包括：
上述加强特征提取网络，是从骨干网络中提取三种不同尺度的特征层，经过上采样特征融合和下采样特征融合得到三种尺度的有效加强特征层，并输入三个检测头中分别做预测，并在最大尺度的特征层后连接语义分割头进行区域划分。
进一步的，上述卷积神经网络，还包括：
对最终抛洒物区域中的连通域计算外接矩形，记录边界框信息，并将这些信息结合目标检测输出结果作为网络的最终输出。
与现有技术相比，本发明的有益效果是：
（1）使用分割的方法，无需人工标注类型复杂的路面抛洒物，可以对不同类别、形状、样式和尺寸等特征的抛洒物进行统一检测；
（2）利用各种类别特点，合理分配不同类别的检测方式，对于车辆、行人等类别，基于其在掩码图中并不会内嵌在路面区域，利用语义分割检测可以直接剔除，对于路面病害等分割精度过低的类别，使用目标检测剔除；
（3）联合多任务训练卷积神经网络模型检测抛洒物，避免多个模型串联，缩短检测时间，减少模型大小，增加检测速度，提高检测效率；
（4）引入路面病害检测，除路面上的车辆、行人、围栏、车道标识和井盖等常见干扰物外，还减少了裂缝、坑洼、修补等路面病害对检测结果的影响。
附图说明
图1为本发明实施例的工作原理示意图；
图2为本申请实施例中语义分割模型输出的掩码信息示意图；
图3为本申请实施例中从掩码信息中提取的道路掩码第一连通域示意图；
图4为本申请实施例中将路面区域填充后得到的没有孔洞的路面第三连通域示意图；
图5为本申请实施例中根据第一图像提取抛洒物疑似区域示意图；
图6为本申请实施例中对抛洒物疑似区域进行膨胀腐蚀操作去除噪声后的疑似区域示意图；
图7为本申请实施例中对抛洒物疑似区域中连通域筛选后的最终抛洒物区域示意图；
图8为本申请实施例中最终抛洒物检测结果示意图；
图9位本发明多任务联合模型简单示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
参照图1-图9，其中图1为本发明工作原理示意图，涉及一种基于联合多任务模型的路面抛洒物检测方法，该方法提高路面抛洒物检测速度，不需费力的人工标注，可以检测石头、纸箱、瓶子、轮胎等不限类别的抛洒物，模型可以部署在边缘设备中，在路面巡检时实时检测抛洒物，检测过程中无需人工参与，具体包括以下步骤：
步骤一：通过车载检测设备获取路面视频数据；
步骤二：将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息；
步骤三：对路面掩码信息进行解码，得到值在0-255之间的8位第一图像，再对视频帧进行灰度处理，根据步骤二中的掩码信息提取灰度图像的路面区域，得到第二图像；
步骤四：根据第一、第二图像提取抛洒物疑似区域；
步骤五：从抛洒物疑似区域的连通域中确定最终抛洒物区域。
在一些实施方式中，多任务联合模型由卷积神经网络搭建而来，其目标检测分支可以使用当前流行的一阶段或二阶段算法，包括但不限于YOLO系列、R-CNN系列、SSD系列等。
上述卷积神经网络包括骨干网络、加强特征提取网络和检测头部分，其中检测头分为目标检测头和语义分割头两个分支；
多任务联合模型由道路病害数据集和城市分割数据集联合训练得到；
在本实施列中，道路病害数据集使用从省道S253采集的道路图像，并标注横向裂缝、纵向裂缝、龟裂、坑洼、灌缝和井盖6个类别，并结合重新标注的GRDDC道路病害公共数据集；城市分割数据集使用wilddash全景分割数据集，应当注意的是，上述两个数据集只在本实施例中使用，当使用其他数据集时，分割数据集标注应尽可能细致，且至少应包含道路、路边标识两个类别。
特别的，由于车辆、行人等路面常见类别上半部分高于地面边界，在语义分割后并不会再路面区域留下孔洞区域，将这一部分目标使用语义分割而非目标检测来识别会更加方便后续工作。而对于道路病害目标，由于其形状多变、特征复杂，很难被模型识别，使用目标检测会更加准确。
路面掩码信息和干扰物掩码信息为语义分割头的部分预测结果，干扰物位置信息为目标检测头的预测结果；
上述干扰物包括道路上的汽车、自行车、行人、围栏、车道标识、井盖等，以及裂缝、坑洼、修补等容易误识别的道路病害。
在本实施列中，由于抛洒物种类众多，且无固定特征，所以选择语义分割的方式提取路面区域，可以通过下述方式提取路面区域：
从模型输出中提取语义分割的预测结果，并将其转化为像素值在0-255之内的8位灰度图，记为第一图像，图像这种每一个灰度值都代表一种类别。
从第一图像中找到路面掩码对应的像素值，并将路面掩码区域像素值设置为1，之后再与视频帧转化的灰度图像进行异或操作，得到的图像只有路面区域，其他位置像素值为0，记为第二图像；
将第一图像中路面区域，即所有灰度值不为0的像素设为255，得到第一连通图，连通图中路面区域为255，其他区域为0；
对第一连通图进行反转操作，用255减去所有像素灰度值，得到干扰物连通域，记为第二连通图；
在第一连通图中拿到所有连通域边缘，并通过边缘区域拿到所有连通域面积，默认最大面积的连通域为路面区域，将该区域填充得到没有孔洞的路面连通域，记为第三连通图。
在一些实施方式中，将语义分割后路面区域中剔除干扰物后的孔洞区域作为抛洒物区域，但为了避免抛洒物被误识别为路面，需要使用图像分割的方法将抛洒物从路面图像中识别出来。
具体来说，可以使用包括但不限于Otsu、Kapur或自适应阈值等分割方法提取第二图像上的连通域，首先设置目标和背景的阈值，然后根据阈值通过图像分割算法将第二图像上的像素点分为抛洒物目标和背景，其中，目标像素值设为255，背景像素值设为0，得到疑似抛洒物的连通域；
对得到的连通域进行腐蚀膨胀等操作去除颗粒噪声，得到抛洒物疑似区域；
上述抛洒物疑似区域应至少包含一个连通域。
在本实施例中，在得到由路面孔洞区域和图像分割处理结果合并的连通域后，需要对上述抛洒物疑似的连通域再提取，判断疑似区域中心点是否在路面上，以及是否为汽车、自行车、行人、围栏、车道标识、井盖等非抛洒物类别，之后删除误识别的连通域，确认最终的抛洒物区域，具体筛查步骤包括：
对于图像分割得到的连通域，设定区别抛洒物和非抛洒物的阈值；
计算抛洒物疑似区域中的连通域依次与第二连通图的重合比例，根据阈值剔除属于非抛洒物的连通域；
将上述删减后的连通域与第二连通图中所有连通域合并成抛洒物疑似区域；
依次判断抛洒物疑似区域的中心点在第三连通域中是否为255，且在第一图像中的值是否在需要剔除的类别之内，不符合则删除该连通域；
由于分割图像分割方法不是基于路面特征，而是根据像素值额变化进行提取，且在语义分割模型中，并没有针对性的将裂缝、坑洼、修补等路面病害作为特征进行训练，需要从结果中删除这些极易产生误识别的目标，根据联合多任务模型目标检测分支输出的路面病害结果中计算预测框的中心点位置，删除中心点在抛洒物疑似区域的连通域；
进过上述筛查删除步骤后，其余连通域作为最终抛洒物区域。
在一些实施方式中，路面抛洒物大小不同，为了让模型适应不同尺度的抛洒物检测，在特征提取时从骨干网络的三个不同阶段提取三种尺度的特征图，尺度大小分别为Size1、Size2、Size3。在加强特征提取网络中，输入接收来自骨干网络的三个特征，尺度由下至上依次进行上采样操作并与上一尺度进行特征融合，再由上至下进行下采样操作，依次特征融合后的结果进行下采样操作并与之前相同尺度的融合特征再次融合，将最后一次上采样后的融合特征以及两次下采样后的融合特征作为输出传给三个头部。
上述加强特征提取网络，是从骨干网络中提取三种不同尺度的特征层，经过上采样特征融合和下采样特征融合得到三种尺度的有效加强特征层，并输入三个检测头中分别做预测，并在最大尺度的特征层后连接语义分割头进行区域划分。
在本实施例中，对最终抛洒物区域中的连通域计算外接矩形，记录边界框信息，并将这些信息结合目标检测输出结果作为网络的最终输出。

Claims (7)

1.一种基于联合多任务模型的路面抛洒物检测方法，其特征在于，包括：
步骤一：通过车载检测设备获取路面视频数据；
步骤二：将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息；
步骤三：对路面掩码信息进行解码，得到值在0-255之间的8位第一图像，再对视频帧进行灰度处理，根据步骤二中的掩码信息提取灰度图像的路面区域，得到第二图像；
步骤四：根据第一、第二图像提取抛洒物疑似区域；
步骤五：从抛洒物疑似区域的连通域中确定最终抛洒物区域。
2.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法，其特征在于，步骤二中所述多任务联合模型为卷积神经网络，所述上述卷积神经网络包括骨干网络、加强特征提取网络和检测头部分，其中检测头分为目标检测头和语义分割头两个分支；
多任务联合模型由道路病害数据集和城市分割数据集联合训练得到；
路面掩码信息和干扰物掩码信息为语义分割头的部分预测结果，干扰物位置信息为目标检测头的预测结果；
所述干扰物包括道路上的汽车、自行车、行人、围栏、车道标识、井盖等，以及裂缝、坑洼、修补等容易误识别的道路病害。
3.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法，其特征在于，步骤三包括：
将路面掩码区域像素值设置为1，与视频帧转化的灰度图像进行异或操作，得到的图像只有路面区域，其他位置像素值为0，记为第二图像；
将第一图像中路面区域，即所有灰度值不为0的像素设为255，得到第一连通图，连通图中路面区域为255，其他区域为0；
对第一连通域进行反转操作，用255减去所有像素灰度值，得到干扰物连通域，记为第二连通图；
在第一连通域中拿到所有连通域边缘，并通过边缘区域拿到所有连通域面积，默认最大面积的连通域为路面区域，将该区域填充得到没有孔洞的路面连通域，记为第三连通图。
4.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法，其特征在于，步骤四中所述根据第一图像提取抛洒物疑似区域，包括：
使用图像分割方法提取抛洒物，并对得到的连通域进行腐蚀膨胀等操作去除颗粒噪声，得到抛洒物疑似区域；
所述抛洒物疑似区域应至少包含一个连通域。
5.根据权利要求1中所述的一种基于联合多任务模型的路面抛洒物检测方法，其特征在于，步骤五中所述从抛洒物疑似区域的连通域中确定最终抛洒物区域，包括：
设定区别抛洒物和非抛洒物的阈值；
计算抛洒物疑似区域中的连通域依次与第二连通图的重合比例，根据阈值剔除属于非抛洒物的连通域；
判断第二连通图中所有连通域的中心点在第三连通域中是否为255，且在第一图像中的值是否在需要剔除的类别之内，不符合则删除该连通域；
从联合多任务模型目标检测分支输出的路面病害结果中计算预测框的中心点位置，删除中心点在抛洒物疑似区域的连通域；
其余连通域作为最终抛洒物区域。
6.根据权利要求2中所述的卷积神经网络，其特征在于，所述加强特征提取网络，是从骨干网络中提取三种不同尺度的特征层，经过上采样特征融合和下采样特征融合得到三种尺度的有效加强特征层，并输入三个检测头中分别做预测，并在最大尺度的特征层后连接语义分割头进行区域划分。
7.根据权利要求1、2、5中所述方法，其特征在于，还包括步骤六：
对最终抛洒物区域中的连通域计算外接矩形，记录边界框信息，并将这些信息结合目标检测输出结果作为网络的最终输出。
CN202310214913.2A 2023-03-08 2023-03-08 一种基于联合多任务模型的路面抛洒物检测方法 Active CN116311161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310214913.2A CN116311161B (zh) 2023-03-08 2023-03-08 一种基于联合多任务模型的路面抛洒物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310214913.2A CN116311161B (zh) 2023-03-08 2023-03-08 一种基于联合多任务模型的路面抛洒物检测方法

Publications (2)

Publication Number Publication Date
CN116311161A true CN116311161A (zh) 2023-06-23
CN116311161B CN116311161B (zh) 2024-09-17

Family

ID=86782906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310214913.2A Active CN116311161B (zh) 2023-03-08 2023-03-08 一种基于联合多任务模型的路面抛洒物检测方法

Country Status (1)

Country Link
CN (1) CN116311161B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778675A (zh) * 2016-12-31 2017-05-31 歌尔科技有限公司 一种视频图像中目标对象的识别方法和装置
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN112883813A (zh) * 2021-01-26 2021-06-01 南京公路发展(集团)有限公司 一种基于监控视频的高速公路路面抛洒物检测方法
CN113743151A (zh) * 2020-05-27 2021-12-03 顺丰科技有限公司 一种检测路面抛洒物的方法、装置及存储介质
CN115223106A (zh) * 2021-04-20 2022-10-21 南京大学 一种融合差分视频序列和卷积神经网络的抛洒物检测方法
CN115331384A (zh) * 2022-08-22 2022-11-11 重庆科技学院 基于边缘计算的作业平台火灾事故预警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778675A (zh) * 2016-12-31 2017-05-31 歌尔科技有限公司 一种视频图像中目标对象的识别方法和装置
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN113743151A (zh) * 2020-05-27 2021-12-03 顺丰科技有限公司 一种检测路面抛洒物的方法、装置及存储介质
CN112883813A (zh) * 2021-01-26 2021-06-01 南京公路发展(集团)有限公司 一种基于监控视频的高速公路路面抛洒物检测方法
CN115223106A (zh) * 2021-04-20 2022-10-21 南京大学 一种融合差分视频序列和卷积神经网络的抛洒物检测方法
CN115331384A (zh) * 2022-08-22 2022-11-11 重庆科技学院 基于边缘计算的作业平台火灾事故预警系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
欧阳聪宇: "基于背景分离混合高斯模型的高速公路小目标抛洒物检测", 《中国知网硕士优秀论文集 工程科技Ⅱ辑》, 15 August 2020 (2020-08-15) *
韩锟;韩洪飞;: "基于区域级和像素级特征的路面裂缝检测方法", 铁道科学与工程学报, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN116311161B (zh) 2024-09-17

Similar Documents

Publication Publication Date Title
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN109190481B (zh) 一种遥感影像道路材质提取方法和系统
CN108345822B (zh) 一种点云数据处理方法及装置
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN103034836B (zh) 道路标志检测方法和道路标志检测设备
CN108986122B (zh) 室内泊车引导地图智能重构方法
CN102903239B (zh) 交通路口车辆左右违章转向检测方法和系统
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN102819952A (zh) 一种基于视频检测技术的车辆违法变道检测方法
CN112200171B (zh) 一种基于扫描线的道路点云的提取方法
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
Chao et al. Multi-lane detection based on deep convolutional neural network
CN113780200A (zh) 基于计算机视觉的路面多种病害面积检测及定位方法
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
CN112464914A (zh) 一种基于卷积神经网络的护栏分割方法
CN116434160A (zh) 基于背景模型与跟踪的高速公路抛洒物检测方法及装置
CN118196683A (zh) 基于显著性前景匹配的高速公路抛洒物检测方法
CN116311161B (zh) 一种基于联合多任务模型的路面抛洒物检测方法
Pramanik et al. Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach
CN117671617A (zh) 一种集装箱港口环境下的实时车道识别方法
CN116824520A (zh) 基于ReID和图卷积网络的车辆轨迹预测方法及系统
Danilescu et al. Road anomalies detection using basic morphological algorithms
Ab Ghani et al. Lane detection using deep learning for rainy conditions
CN116242774A (zh) 适用于农村公路的轻量化三维检测方法及装置
CN115294545A (zh) 一种基于深度学习的复杂路面车道识别方法及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant