CN117593890B - 一种道路遗撒物体的检测方法、装置、电子设备及存储介质 - Google Patents

一种道路遗撒物体的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117593890B
CN117593890B CN202410072619.7A CN202410072619A CN117593890B CN 117593890 B CN117593890 B CN 117593890B CN 202410072619 A CN202410072619 A CN 202410072619A CN 117593890 B CN117593890 B CN 117593890B
Authority
CN
China
Prior art keywords
model
determining
frame
feature map
branch sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410072619.7A
Other languages
English (en)
Other versions
CN117593890A (zh
Inventor
李春阳
张潇丹
孙传姣
李萌
廖军洪
沈国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Highway Ministry of Transport
Original Assignee
Research Institute of Highway Ministry of Transport
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Highway Ministry of Transport filed Critical Research Institute of Highway Ministry of Transport
Priority to CN202410072619.7A priority Critical patent/CN117593890B/zh
Publication of CN117593890A publication Critical patent/CN117593890A/zh
Application granted granted Critical
Publication of CN117593890B publication Critical patent/CN117593890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种道路遗撒物体的检测方法、装置、电子设备及存储介质，该方法包括：获取待识别图像；对待识别图像进行解析，通过预先训练的候选框提取模型，确定与待识别图像对应的目标物体的候选特征图；根据目标物体的候选特征图和预先训练的检测模型，确定目标物体的类别和位置信息，根据目标物体和预先存储的遗散物分类模型，确定目标物体是否为分布外的遗散物，本申请实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。

Description

一种道路遗撒物体的检测方法、装置、电子设备及存储介质
技术领域
本申请涉及检测技术领域，具体而言，涉及一种道路遗撒物体的检测方法、装置、电子设备及存储介质。
背景技术
高速公路等道路的遗撒检测是智能交通系统中的重要研究任务，在道路安全管理、智能交通控制等应用中起着关键角色。随着智能化技术的发展，道路遗撒物检测成为了当前最活跃的研究主题之一。然而，由于遗撒物的种类繁多，形态各异，且路面环境复杂，常常有训练数据分布以外的遗散物出现，导致现有的遗撒物检测方法识别精度并不令人满意。因此，提高分布外遗撒物检测的精度成为了重要的研究课题。
遗撒物检测通过识别道路图像中的异常物体，识别出可能的遗撒物，现有技术中通常采用目标检测算法，以便找到与道路环境不匹配的物体。将已有道路遗撒物的图像信息输入到遗撒物检测识别器中，该遗撒物检测识别器是以监督学习的形式训练的，在训练过程需要大量标注的遗撒物图像，而对于未知类别的遗散物则难以检测，如何能够准确检测到分布外的遗散物是目前急需解决的问题。
发明内容
本申请的一些实施例的目的在于提供一种道路遗撒物体的检测方法、装置、电子设备及存储介质，通过本申请的实施例的技术方案，通过获取待识别图像；对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息，根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，本申请实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测待识别图像中道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
第一方面，本申请的一些实施例提供了一种道路遗撒物体的检测方法，包括：
获取待识别图像；
对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物。
本申请的一些实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地待识别图像中检测道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
可选地，所述对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，包括：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于第一预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
通过输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
可选地，所述根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，包括：
将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述目标物体的类别；
根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；
根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；
对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；
根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。
可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。
本申请的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。
可选地，所述根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，包括：
获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；
根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；
根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；
若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。
本申请的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。
可选地，所述候选框提取模型通过如下方式获得：
获取样本训练数据；
将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；
对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；
对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；
将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；
若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；
根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；
若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；
将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；
根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；
计算第一初始分类分支子模型的损失函数值；
若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；
根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；
计算所述第一初始边界框回归分支子模型的损失函数值；
若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；
根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。
本申请的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物。
可选地，所述检测模型通过如下方式获得：
根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；
将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述样本训练数据中的物体的类别；
计算所述第二初始分类分支子模型的损失函数值；
若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；
根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；
根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；
若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；
根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。
第二方面，本申请的一些实施例提供了一种道路遗撒物体的检测装置，包括：
获取模块，用于获取待识别图像；
解析模块，用于对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
检测模块，用于根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
确定模块，用于根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物。
本申请的一些实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测待识别图像中道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
可选地，所述解析模块，用于：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中， 得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
根据输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。
本申请的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。
可选地，所述检测模块用于：
将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述目标物体的类别；
根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；
根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；
对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；
根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。
可选地，所述确定模块用于：
获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；
根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；
根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；
若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。
本申请的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。
可选地， 所述装置还包括训练模块，所述训练模块用于：
获取样本训练数据；
将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；
对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；
对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；
将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；
若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；
根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；
若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；
将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；
根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；
计算第一初始分类分支子模型的损失函数值；
若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；
根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；
计算所述第一初始边界框回归分支子模型的损失函数值；
若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；
根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。
本申请的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物 。
可选地，所述训练模块用于：
根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；
将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述样本训练数据中的物体的类别；
计算所述第二初始分类分支子模型的损失函数值；
若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；
根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；
根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；
若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；
根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。
第三方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。
第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。
第五方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的道路遗撒物体的检测方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种道路遗撒物体的检测方法的流程示意图；
图2为本申请实施例提供的又一种道路遗撒物体的检测方法的流程示意图；
图3为本申请实施例提供的一种道路遗撒物体的检测装置的结构示意图；
图4为本申请实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
高速公路等道路的遗撒检测是智能交通系统中的重要研究任务，在道路安全管理、智能交通控制等应用中起着关键角色。随着智能化技术的发展，道路遗撒物检测成为了当前最活跃的研究主题之一。然而，由于遗撒物的种类繁多，形态各异，且路面环境复杂，常常有训练数据分布以外的遗散物出现，导致现有的遗撒物检测方法识别精度并不令人满意。因此，提高分布外遗撒物检测的精度成为了重要的研究课题。
遗撒物检测通过识别道路图像中的异常物体，识别出可能的遗撒物，现有技术中通常采用目标检测算法，以便找到与道路环境不匹配的物体。将已有道路遗撒物的图像信息输入到遗撒物检测识别器中，该遗撒物检测识别器是以监督学习的形式训练的，在训练过程需要大量标注的遗撒物图像，而对于未知类别的遗散物则难以检测，鉴于此，本申请的一些实施例提供了一种道路遗撒物体的检测方法，该方法包括获取待识别图像；对待识别图像进行解析，通过预先训练的候选框提取模型，确定与待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；根据目标物体的候选特征图和预先训练的检测模型，确定目标物体的类别和位置信息，其中，预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定遗散物的类别确定物体的类别，所述第二边界框回归分支子模型用于确定遗散物的位置信息确定物体的位置信息；根据目标物体和预先存储的遗散物分类模型，确定目标物体是否为分布外的遗散物；本申请实施例通过训练检测模型并、候选框提取模型结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
如图1所示，本申请的实施例提供了一种道路遗撒物体的检测方法，该方法包括：
S101、获取待识别图像；
其中，终端设备获取待识别图像，该待识别图像可以是公路上的摄像机采集的图像，并将采集的图像发送至终端设备上。
S102、对待识别图像进行解析，通过预先训练的候选框提取模型，确定与待识别图像对应的目标物体的候选特征图，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
具体地，终端设备对获取的待识别图像进行解析，即将待识别图像输入到特征提取主干网络，获取与待识别图像对应的特征图，然后将特征图输入到预先训练的候选框提取模型（Region Proposal Network，RPN）中，得到目标物体的候选特征图，其中，该目标物体的候选特征图可以是候选框；其中，候选框提取模型是采用样本数据以及标注的物体框，对神经网络进行训练得到的。候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景，第一边界框回归分支子模型用于对待识别图像中进行物体的粗定位。
S103、根据目标物体的候选特征图和预先训练的检测模型，确定目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
具体地，终端设备预先训练候选框提取模型与检测模型，候选框提取模型与检测模型是基于神经网络模型训练的，候选框提取模型用于确定目标物体的候选特征图。
终端设备预先训练检测模型，该检测模型是基于神经网络模型训练的，该检测模型中包括两个分支，一个是第二分类分支子模型，用于确定物体的类别，另一个是第二边界框回归分支子模型，用于确定物体的位置信息，比第一边界框回归分支子模型能定位到更精确的位置。
终端设备通过候选框提取模型获取到目标物体的候选特征图，将该目标物体的候选特征图输入到检测模型中，通过分类分支子模型可以识别出与候选特征图对应的目标物体的类型，即遗散物类别，通过边界框回归分支子模型，识别遗散物的位置信息。
S104、根据目标物体和预先存储的遗散物分类模型，确定目标物体是否为分布外的遗散物。
具体地，终端设备在识别出待识别图像中的遗撒物的类别和位置后，进一步地判断该遗撒物是否是分布外的遗撒物，也就是说，将目标物体的候选特征图输入到预先存储的遗散物分类模型中，从而可以判断目标物体是否为分布外的遗散物。
本申请的一些实施例通过训练检测模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
本申请又一实施例对上述实施例提供的道路遗撒物体的检测方法做进一步补充说明。
可选地，对待识别图像进行解析，通过预先训练的候选框提取模型，确定与待识别图像对应的目标物体的候选特征图，包括：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于第一预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
通过输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
可选地，特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。
具体地，本申请实施例中通过遗撒物特性分析器即遗散物分类模型和检测模型共享特征提取主干网络，通过联合计算检测参数，包括遗撒物特征和目标位置信息，其中，遗撒物特征包括遗撒物是分布外的遗撒物还是分布内的遗撒物，以实现对遗撒物的精确检测。
可选地，所述根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，包括：
将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述目标物体的类别；
根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；
根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；
对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；
根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。
可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。
本申请的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。
可选地，所述根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，包括：
获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；
根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；
根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；
若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。
具体地，本申请实施例通过分析已知类别的遗撒物的均值与方差，提取具有辨识度的特征信息，区分是否为分布外遗散物。除此以外，使用一个额外的分类器来增强封闭集分类器，通过该遗散物分类器区分是否为分布外遗散物，从而将封闭性训练转变为开放性训练。
对于分布外样本而言，目标属性与已知类别属性有很大不同，因此分布外样本应位于与训练样本有较大漂移的分布中。假设这些数据漂移被模型特征提取主干网络提取的表征特征所捕获， 那么用隐空间向量的距离度量和softmax置信度得分，就可以量化其与已知样本在特征或属性上的变化。在此模块中，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算待预测目标与已知类别的隐空间向量距离，若目标与已知类别遗散物的最小距离大于距离置信度，则表示该目标为分布外的遗散物。
本申请的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。
示例性地，步骤1：将待识别图像的分辨率统一归一化到3 × 224 × 224，输入到特征提取主干网络，该主干网络可以是卷积神经网络或视觉自注意力模型。以卷积神经网络ResNet45为例，图像首先经过三个卷积阶段（stage）进行特征提取，三个阶段分别生成了32 × 224 × 224，64 × 224 × 224和64 × 112 × 112尺寸的特征图（其中第一个参数为特征图的通道数）；
步骤2：对三个阶段特征图的宽高分别进行1/4,1/4,1的卷积下采样，使其特征图均变为64 × 112 × 112，然后对特征图进行拼接，得到拼接融合的尺度特征，并再次进行1/4的卷积下采样，使其特征图变为192 × 56 × 56。其中卷积的卷积核均为3×3，步长设置为1；
步骤3：将上述特征图表示输入到候选框提取模型。首先生成基础anchor，基础anchor的数目=长宽比的数目 × anchor的缩放比例数目。这里设置了3种长宽比（1:1,1:2，2:1）和3种缩放尺度（8,16,32）。接着对特征图上的每一个像素，都会以它为中心生成9种不同尺寸的边界框，所以总共生成56 × 56 × 9=28224个anchor。需要注意的是，所有生成的anchor都是相对于原图的。
步骤4：上述中间层特征图接下来将进入两条不同的分支。第一条分支为分类分支，进行目标和背景的二分类，因为基础anchor数目为9，目标背景二分类为2，因此需要将深度变为18。具体而言，将特征图进行1×1的卷积，输出通道为18，得到18 × 56 × 56的特征图。
步骤5：第二条分支为边界框回归分支，输出通道数目=基础anchor数目 × 位置偏移位数（x，y，w，h），即将特征图进行1×1的卷积，输出通道为36，得到36 × 56 × 56的特征图。
步骤6：如果anchor对应的锚框与真实框的IoU交并比>0.7，标定为正样本；如果anchor对应的锚框与真实框的IoU<0.3，标记为负样本。剩下的既不是正样本也不是负样本，不用于最终训练。训练候选框提取网络的Loss由两部分组成：分类损失与回归损失。
具体计算如下所示：
其中，i表示anchor的序号，p表示是否为目标的概率，t为边代表界框偏移量的四维向量，×表示真实框，默认为10。
步骤7：将所有生成的anchor按照目标概率从高到低进行排序，只取前pre_nms_num个anchor（训练阶段默认为12000，预测阶段默认为2000），然后通过nms筛选（非极大值抑制）得到post_nms_num个anchor作为候选框输出。
步骤8：使用ROI pooling候选框池化操作，根据输入特征图，将候选框映射到对应位置，并把映射区域划分为8×8个大小相同的区域，并对每个区域进行最大池化处理maxpooling，最终得到固定大小的192 × 8 × 8 输出特征图。
上述特征共享和计算的叙述以卷积神经网络ResNet45为例，其它卷积神经网络或是视觉自注意力模型同样也可以用于该过程。为保持特征提取主干网络与遗散物特性分析、二阶段目标检测器的松耦合特性，推荐的做法是将特征提取主干网络多个尺度的特征重组为维度为64 × 112 × 112的特征图，再输入到上述特征提取网络。
本申请的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。
可选地，所述候选框提取模型通过如下方式获得：
获取样本训练数据；
将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；
对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；
对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；
将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；
若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；
根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；
若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；
将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；
根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；
计算第一初始分类分支子模型的损失函数值；
若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；
根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；
计算所述第一初始边界框回归分支子模型的损失函数值；
若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；
根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。
本申请的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物。
可选地，所述检测模型通过如下方式获得：
根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；
将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述样本训练数据中的物体的类别；
计算所述第二初始分类分支子模型的损失函数值；
若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；
根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；
根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；
若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；
根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。
具体地，本申请实施例还包括基于锚框的二阶段目标检测，即利用提取的候选特征图，匹配和定位遗撒物目标。
具体步骤如下：
步骤1：待识别的候选特征图接下来将进入两条不同的分支。第一条分支为分类分支即分类分支子模型，进行目标分类，分类数目为已知遗散物的类别数class_num。具体而言，首先将特征图展平为192 × 64的二维向量，然后通过一层全连接层，输出通道数为class_num，最后通过softmax得到目标的分类得分。如果目标最高的分类得分小于分类得分置信度，则表示该目标为分布外遗散物。
步骤2：第二条分支为边界框回归分支即边界框回归分支子模型，预测候选框与真实框的偏移量，与候选框提取网络中的边界框回归分支有所不同，输出通道数目=位置偏移位数（x，y，w，h）。先将特征图展平为192 × 64的二维向量，然后通过一层全连接层，输出通道数为4，得到目标候选框与真实框的偏移量。目标检测器的损失如下所示：
其中，i表示anchor的序号，c表示目标类别的概率，总类别数为C+1（已知目标类别数为C，分布外类别数为1），t为边代表界框偏移量的四维向量，×表示真实值，默认为10。
最终模型总损失函数如下所示：
其中，分别代表候选框提取损失、分布外遗散物检测损失、目标检测器损失的系数，默认值都为1。
步骤3：在推理阶段，结合分类分支、边界框回归分支的预测结果，得到目标的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物。
在模型训练过程中：
由于道路遗散物的特殊性，传统交通目标检测数据集不能满足训练需求。因此这里引入了CODA的挑战性数据集。CODA中场景是从三个大型自动驾驶数据集中精心挑选的：KITTI、nuScenes和ONCE，一共为CODA贡献了1500个不同的场景，每个场景至少包含一个对自动驾驶汽车或其周围生活和资产有害的目标级极端案例，跨越30多个目标类别。极端情况通常可以分为7个超级类别：车辆，行人，骑行者，动物，交通设施，障碍物和杂项。在基于分布外数据的道路遗撒检测中，重点关注障碍物与杂项两个超级类别。
从模型训练的整体角度来看，通过使用共享特征交替训练的方式，达到接近实时的性能。交替训练方式描述为：
（1）根据现有网络的预训练权重初始化权值W，训练候选框提取模型；
（2）用候选框提取模型提取训练集上的候选区域，用候选区域训练二阶段目标检测器和遗散物分类器，并更新权值W；
（3）重复过程（1）、（2），直到模型收敛。
具体的训练过程中，使用Adam优化器进行优化，训练轮次被设定为120轮，学习率设置为1e-4，分别在第80，100轮开始下降0.9倍。在初始训练的第一轮使用warmup策略，初始化的比例为0.001。所有的实验在Pytorch框架下使用8张3080卡进行分布式训练，batchsize批大小设置为200。特征提取主干网络的最后一层通道数保持192。通过ROIpooling的特征统一下采样为192 × 8 × 8尺寸，该设置既能保留图片特性又能加快收敛，是最优的设置，并采用交叉熵损失作为损失函数。
本申请的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物 。
与此同时，使用一个C+1类别的遗散物分类器来模仿新类的出现，可以将封闭训练转化为开放训练，具体步骤如下：
步骤1：训练阶段，对于每一个已知分类c，统计该分类对应的192 × 8 × 8的特征图的均值和协方差矩阵/>，并记录保存。同时192 × 8 × 8的特征图将送入一个类别数目为C+1的遗散物分类器中，其中C代表已知分类的总数。优化遗撒物分类器的方式与普通分类器不同，分类器输出删除真实标签后的第二大概率，且优化的目标标签为C+1，即未知类别，充分学习目标类和非目标类之间的不变信息，从而将开放集转化为封闭集进行训练。具体损失函数如下所示：
其中，l表示交叉熵损失，表示删除真实标签后的第二大概率。
步骤2：推理阶段，根据192 × 8 × 8的特征图与每个类别的均值和协方差矩阵/>计算Mahalanobis distance马氏距离，并以该特征图与各个类别最小的Mahalanobisdistance的平方值作为分布外距离分数。若分布外距离分数大于距离置信度，则表示该目标不属于任何一个已知类别，属于分布外样本。若192 × 8 × 8的特征图经过遗散物分类器预测，置信度最高的类别为C+1，则同样代表该目标为分布外遗散物。
本申请的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。
图2为本申请实施例提供的又一种道路遗撒物体的检测方法的流程示意图，该道路遗撒物体的检测方法，包括:
S1：将待识别图像输入特征提取主干网络的浅层共享部分，提取待识别图像的特征图;
S2：将该待识别图像的特征图送入RPN网络中，提取待识别图像中的目标物体的候选框;
S3：通过目标物体的候选框的池化操作即RoI Pooling将不同尺寸特征图映射到相同尺寸;
S4：获取目标物体的候选框对应的特征进行类别分类，置信度预测与边框回归，实现待识别图像中的目标物体的检测;
S5：将真实目标物体对应的特征图送入遗撒物特性分析器，判断真实目标物体是否为分布外的遗散物，从而实现分布外检测；
S6：训练阶段，端到端同步优化RPN网络、目标检测网络与遗散物特性分析器，直至训练收敛；推理阶段，结合分类分支与边框回归分支，确定目标的类别与位置信息，结合遗散物特性分支，确定目标物体是否属于分布外遗散物。
本检测方法由遗撒物特性分析和基于锚框的二阶段目标检测两个过程联合计算检测参数。通过遗撒物特性分析器和目标检测模块共享特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。因此，该方法在道路安全监测中具有很高的应用价值。
本申请实例里中引入分布外数据分析，即在道路遗撒检测环节中首次引入了分布外数据分析的方法，通过分析分布外数据，提高了对道路上遗撒物的检测效率和准确性，使得检测过程更加精确，实现了多种场景下的高精度和快速的高速公路道路分布外遗撒物检测。这使得本发明在高速公路安全中具有很高的应用价值。
本申请实例还基于锚框的二阶段目标检测方法，与遗撒物特性分析进行联合计算检测参数。相比于一阶段的目标检测方法，通过基于锚框的二阶段目标检测方法，能够更准确地检测道路上的遗撒物，提高了检测结果的精确度。同时，候选框提取模型与类别无关的特性可以更好地减少分布外目标的漏检，从而大大提升分布外目标的召回率。
本申请实施例的检测模型与遗撒物特性分析器共享特征提取主干网络，实现了在特征级别而非图像级别上进行检测。这样做既能够减少新增参数和推理时间开销，又能够提供更准确的遗撒物检测结果。
因此，本申请实施例能够通过分布外数据分析、锚框目标检测和共享特征提取等手段，提高道路遗撒物检测的准确性和效率。与传统方法相比，本申请实施例具有更高的精确度、更少的参数增加和推理时间开销。此外，本申请实施例的遗撒物特性分析器的泛化性很强，适用于不同场景下的遗撒物检测需求，具有广阔的应用前景。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请另一实施例提供一种道路遗撒物体的检测装置，用于执行上述实施例提供的道路遗撒物体的检测方法。
如图3所示，为本申请实施例提供的道路遗撒物体的检测装置的结构示意图。该道路遗撒物体的检测装置包括获取模块301、解析模块302、检测模块303和确定模块304，其中：
获取模块301用于获取待识别图像；
解析模块302用于对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
检测模块303用于根据目标物体的候选特征图和预先训练的检测模型，确定目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
确定模块304用于根据目标物体和预先存储的遗散物分类模型，确定目标物体是否为分布外的遗散物。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请的一些实施例通过训练检测模型、候选框提取模型并结合遗散物分类模型，对待识别图像进行识别，能够更准确地检测待识别图像中道路上的遗撒物，并判断该遗撒物是否为分布外的遗撒物，且确定遗撒物的类别和位置信息，提高了检测结果的精确度。
本申请又一实施例对上述实施例提供的道路遗撒物体的检测装置做进一步补充说明。
可选地，所述解析模块，用于：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中， 得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
根据输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
可选地，所述特征提取主干网络至少包括卷积神经网络模型或视觉自注意力模型中一种。
本申请的一些实施例通过训练特征提取主干网络，实现在特征级别而非图像级别进行检测，从而减少新增参数和推理时间开销，生成更为精确的遗撒物检测结果，以实现在多种场景下对道路分布外遗撒物的高精度和快速检测。
可选地，所述检测模块用于：
将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述目标物体的类别；
根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；
根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；
对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；
根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。
可选地，所述确定模块用于：
获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；
根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；
根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；
若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。
本申请的一些实施例，训练时记录已知类别的遗撒物的均值与方差并保存，预测时计算目标物体与已知类别的隐空间向量距离，若目标物体与已知类别遗散物的最小距离大于距离置信度，则表示该目标物体为分布外的遗散物。
可选地， 所述装置还包括训练模块，所述训练模块用于：
获取样本训练数据；
将所述训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；
对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；
对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；
将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；
若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；
根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；
若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；
将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；
根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；
计算第一初始分类分支子模型的损失函数值；
若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；
根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；
计算所述第一初始边界框回归分支子模型的损失函数值；
若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；
根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。
本申请的一些实施例，结合分类分支、边界框回归分支的预测结果，得到目标物体的类别属性与位置信息，并根据遗撒物特性分析确定目标是否属于分布外遗散物 。
可选地，所述训练模块用于：
根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；
将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述样本训练数据中的物体的类别；
计算所述第二初始分类分支子模型的损失函数值；
若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；
根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；
根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；
若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；
根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时可实现如上述实施例提供的道路遗撒物体的检测方法中的任意实施例所对应方法的操作。
本申请实施例还提供了一种计算机程序产品，的计算机程序产品包括计算机程序，其中，的计算机程序被处理器执行时可实现如上述实施例提供的道路遗撒物体的检测方法中的任意实施例所对应方法的操作。
如图4所示，本申请的一些实施例提供一种电子设备400，该电子设备400包括：存储器410、处理器420以及存储在存储器410上并可在处理器420上运行的计算机程序，其中，处理器420通过总线430从存储器410读取程序并执行程序时可实现如上述道路遗撒物体的检测方法包括的任意实施例的方法。
处理器420可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器420可以是微处理器。
存储器410可以用于存储由处理器420执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器420可以用于执行存储器410中的指令以实现上述所示的方法。存储器410包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种道路遗撒物体的检测方法，其特征在于，所述方法包括：
获取待识别图像；
对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物；其中：
所述对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，包括：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中， 得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于第一预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
通过输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
2.根据权利要求1所述的道路遗撒物体的检测方法，其特征在于，所述根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，包括：
将所述目标物体的候选特征图转换成二维向量，输入到所述第二分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述目标物体的类别；
根据所述目标物体的候选特征图和所述第二边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三锚框；
根据第三锚框的分类得分概率，对所述第三锚框进行排序，将分类得分概率最大的第三锚框确定为第四锚框；
对于其余第三锚框，依照分类得分概率降序排列，若所述第三锚框和所有第四锚框的交并比小于第四预设值，则将所述第三锚框确定为第四锚框；
根据得到的所述第四锚框与对应的目标物体分类得分，确定所述待识别图像对应的遗散物的类别与位置信息。
3.根据权利要求1所述的道路遗撒物体的检测方法，其特征在于，所述根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物，包括：
获取预先存储的遗散物分类模型中的已知物体的第一特征图均值和第一协方差矩阵；
根据目标物体的第二特征图均值和第二协方差矩阵，以及所述第一特征图均值和所述第一协方差矩阵，计算马氏距离；
根据所述目标物体的候选特征图与所述马氏距离中的最小马氏距离的平方值，计算分布外距离分数；
若所述分布外距离分数大于预设距离置信度，则将与所述分布外距离分数对应的目标物体，确定为分布外遗散物。
4.根据权利要求1所述的道路遗撒物体的检测方法，其特征在于，所述候选框提取模型通过如下方式获得：
获取样本训练数据；
将训练数据图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中，得到第一样本特征图；
对所述第一样本特征图进行卷积下采样，得到第二样本特征图，并对所述第二样本特征图进行拼接，得到样本拼接融合的尺度特征；
对所述样本拼接融合的尺度特征进行卷积下采样，得到第三样本特征图；
将所述第三样本特征图输入到候选框提取模型，得到第一样本物体锚框；
若所述第一样本物体锚框和真实物体框的交并比大于第三预设值，则将所述物体锚框确定为第一样本锚框；
根据第一样本锚框的目标概率，对所述第一样本锚框进行排序；
若所述第一样本锚框的目标概率大于第四预设值，则将大于第四预设值的第一样本锚框确定为第二样本锚框；
将非第一样本锚框的物体锚框对应的特征图转换成二维向量，输入到第一分类分支子模型，得到目标物体的样本分类得分；
根据所述样本分类得分，确定所述样本训练数据中的物体的前景或背景类别；
计算第一初始分类分支子模型的损失函数值；
若所述第一分类分支子模型的损失函数值小于第五预设值，则将所述第一初始分类分支子模型确定为所述候选框提取模型的第一分类分支子模型；
根据所述第一样本锚框和真实物体框，确定第一样本锚框和真实框的偏移量；
计算第一初始边界框回归分支子模型的损失函数值；
若所述候选框提取模型的第一初始边界框回归分支子模型的损失函数值小于第六预设值，则将第一初始边界框回归分支子模型确定为所述第一边界框回归分支子模型；
根据所述第一分类分支子模型和所述第一边界框回归分支子模型，确定所述候选框提取模型。
5.根据权利要求4所述的道路遗撒物体的检测方法，其特征在于，所述检测模型通过如下方式获得：
根据所述样本训练数据，通过预先训练的候选框提取模型，确定与所述样本训练数据对应的物体的候选特征图；
将所述候选特征图转换成二维向量，输入到第二初始分类分支子模型，得到目标物体的分类得分；
根据所述分类得分，确定所述样本训练数据中的物体的类别；
计算所述第二初始分类分支子模型的损失函数值；
若所述第二初始分类分支子模型的损失函数值小于第七预设值，则将所述第二初始分类分支子模型确定为所述第二分类分支子模型；
根据所述候选特征图和第二初始边界框回归分支子模型，确定目标候选框和真实框的偏移量，并将目标候选框加上偏移量的物体锚框确定为第三样本锚框；
根据第三样本锚框与真实框，计算所述第二初始边界框回归分支子模型的损失函数值；
若所述第二初始边界框回归分支子模型的损失函数值小于第八预设值，则将所述第二初始边界框回归分支子模型确定为所述第二边界框回归分支子模型；
根据所述第二分类分支子模型和所述第二边界框回归分支子模型，确定所述检测模型。
6.一种道路遗撒物体的检测装置，其特征在于，所述装置包括：
获取模块，用于获取待识别图像；
解析模块，用于对所述待识别图像进行解析，通过预先训练的候选框提取模型，确定与所述待识别图像对应的目标物体的候选特征图，其中，所述候选框提取模块至少包括第一分类分支子模型和第一边界框回归分支子模型，所述第一分类分支子模型用于确定所述待识别图像中的前景或背景；
检测模块，用于根据所述目标物体的候选特征图和预先训练的检测模型，确定所述目标物体的类别和位置信息，其中，所述预先训练的检测模型至少包括第二分类分支子模型和第二边界框回归分支子模型，所述第二分类分支子模型用于确定物体的类别，所述第二边界框回归分支子模型用于确定物体的位置信息；
确定模块，用于根据目标物体和预先存储的遗散物分类模型，确定所述目标物体是否为分布外的遗散物；其中：
所述解析模块，用于：
将待识别图像的分辨率进行归一化处理，并将处理后的待识别图像输入到特征提取主干网络中， 得到第一特征图；
对所述第一特征图进行卷积下采样，得到第二特征图，并对所述第二特征图进行拼接，得到拼接融合的尺度特征；
对所述拼接融合的尺度特征进行卷积下采样，得到第三特征图；
将所述第三特征图输入到所述预先训练的候选框提取模型，得到第一物体锚框；
若所述第一物体锚框和真实物体框的交并比大于第一预设值，则将所述第一物体锚框确定为第一锚框；
根据第一锚框的目标概率，对所述第一锚框进行排序；
若所述第一锚框的目标概率大于第二预设值，则将大于第二预设值的第一锚框确定为第二锚框；
通过输入特征图，将所述第二锚框映射到待识别图像中的对应位置，并根据映射结果确定所述待识别图像对应的目标物体的候选特征图。
7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-5中任意一项权利要求所述的道路遗撒物体的检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-5中任意一项权利要求所述的道路遗撒物体的检测方法。
CN202410072619.7A 2024-01-18 2024-01-18 一种道路遗撒物体的检测方法、装置、电子设备及存储介质 Active CN117593890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410072619.7A CN117593890B (zh) 2024-01-18 2024-01-18 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410072619.7A CN117593890B (zh) 2024-01-18 2024-01-18 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117593890A CN117593890A (zh) 2024-02-23
CN117593890B true CN117593890B (zh) 2024-03-29

Family

ID=89918702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410072619.7A Active CN117593890B (zh) 2024-01-18 2024-01-18 一种道路遗撒物体的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117593890B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN109492552A (zh) * 2018-10-25 2019-03-19 西安电子科技大学 一种道路遗撒物体检测方法、装置、设备及可读存储介质
WO2021254175A1 (zh) * 2020-06-17 2021-12-23 华为技术有限公司 一种道路安全监控的方法、系统和计算机设备
WO2022077264A1 (zh) * 2020-10-14 2022-04-21 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
CN114782891A (zh) * 2022-04-13 2022-07-22 浙江工业大学 一种基于对比聚类自学习的道路抛洒物检测方法
CN115223106A (zh) * 2021-04-20 2022-10-21 南京大学 一种融合差分视频序列和卷积神经网络的抛洒物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033947A (zh) * 2018-06-11 2018-12-18 北京航空航天大学 基于深度学习的路面遗撒识别方法
CN109492552A (zh) * 2018-10-25 2019-03-19 西安电子科技大学 一种道路遗撒物体检测方法、装置、设备及可读存储介质
WO2021254175A1 (zh) * 2020-06-17 2021-12-23 华为技术有限公司 一种道路安全监控的方法、系统和计算机设备
WO2022077264A1 (zh) * 2020-10-14 2022-04-21 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
CN115223106A (zh) * 2021-04-20 2022-10-21 南京大学 一种融合差分视频序列和卷积神经网络的抛洒物检测方法
CN114782891A (zh) * 2022-04-13 2022-07-22 浙江工业大学 一种基于对比聚类自学习的道路抛洒物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向高速公路抛洒物检测的动态背景建模方法;夏莹杰;欧阳聪宇;;浙江大学学报(工学版);20201231(第07期);全文 *

Also Published As

Publication number Publication date
CN117593890A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN108550259B (zh) 道路拥堵判断方法、终端设备及计算机可读存储介质
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN110569696A (zh) 用于车辆部件识别的神经网络系统、方法和装置
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
Rottmann et al. Uncertainty measures and prediction quality rating for the semantic segmentation of nested multi resolution street scene images
CN111369572A (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
CN112541904A (zh) 一种无监督遥感图像变化检测方法、存储介质及计算设备
CN113537070B (zh) 一种检测方法、装置、电子设备及存储介质
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Sofla et al. Road extraction from satellite and aerial image using SE-Unet
CN114882423A (zh) 一种基于改进Yolov5m模型和DeepSort的货车入库货物识别方法
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN112699858B (zh) 无人平台烟尘雾感知方法、系统、计算机设备及存储介质
CN113920479A (zh) 一种目标检测网络构建和目标检测方法、装置及电子设备
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN117593890B (zh) 一种道路遗撒物体的检测方法、装置、电子设备及存储介质
CN112529025A (zh) 一种数据处理方法及装置
CN112949630B (zh) 基于边框分级筛选的弱监督目标检测方法
CN112651996B (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant