CN116958911A - 一种面向恶劣天气下的交通监控图像目标检测方法 - Google Patents

一种面向恶劣天气下的交通监控图像目标检测方法 Download PDF

Info

Publication number
CN116958911A
CN116958911A CN202310696848.1A CN202310696848A CN116958911A CN 116958911 A CN116958911 A CN 116958911A CN 202310696848 A CN202310696848 A CN 202310696848A CN 116958911 A CN116958911 A CN 116958911A
Authority
CN
China
Prior art keywords
convolution
image
yolov3
bounding box
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310696848.1A
Other languages
English (en)
Inventor
沈子涵
李慧洋
肖荣新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cccc Huakong Tianjin Technology Development Co ltd
Original Assignee
Cccc Huakong Tianjin Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cccc Huakong Tianjin Technology Development Co ltd filed Critical Cccc Huakong Tianjin Technology Development Co ltd
Priority to CN202310696848.1A priority Critical patent/CN116958911A/zh
Publication of CN116958911A publication Critical patent/CN116958911A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种面向恶劣天气下的交通监控图像目标检测方法，待恢复监控图像输入动态卷积模块中进行卷积处理，经过动态卷积模块后将图像输入双数复小波增强模块，将经过双树复小波变换增强后的信息进入残差学习恢复模块进行残差学习来获得干净的图像，将残差学习后输出的图片送入YOLOv3交通目标检测模块进行目标检测，对经过恢复的图像进行目标检测。本发明利用双树复小波变换结合频率特征和通过动态卷积层结合结构信息来挖掘雨雪雾图像中的鲁棒特征，使用残差网络结构来细化获得的特征，并通过残差学习操作来重建干净的图像，对复杂的恶劣天气场景实现更好的适应性，通用的进行雨雪雾天气时的监控图像恢复。

Description

一种面向恶劣天气下的交通监控图像目标检测方法
技术领域
本发明涉及深度学习、图像恢复、目标检测的技术领域，尤其涉及一种面向恶劣天气下的交通监控图像目标检测方法。
背景技术
随着人工智能在监控领域的蓬勃发展，提高监控准确度是行业面临共同难题，在这些应用中，清晰且高质量的图片可以提高识别准确率，更好地完成智能监控系统中对目标的检测、跟踪与识别，低质量的图像阻碍了高级计算机视觉任务的识别，导致出现错误警报和不稳定风险。成像过程中，很多原因都会引起监控图像质量的退化，硬件系统的不完善引起的图像质量下降，图像拍摄过程中由于介质的影响也会产生退化，如暴雨、降雪、薄雾等恶劣天气会产生影响成像质量的大气粒子，使得图像损失重要信息，霾、雾和烟就是由于大气粒子的吸收和散射而产生的，雨滴尽管是透明的，但是由于雨滴对光的透射，也会产生面纱效应(类似于雾霾或薄雾)，当雨势较大时会产生影响图像质量的不规则线条，雪更是一种高度复杂的大气现象，通常包含有雪花、雪条纹和面纱效应，这些问题导致现有智能交通监控在遇到恶劣天气时总是效果不佳。
现有方法多集中在单任务恶劣天气目标检测，如Image-AdaptiveYOLO(IAYOLO)。这些算法在监控领域的实际使用情况较差，有操作繁琐、模型复杂、图像恢复效果不佳等问题。恶劣天气变化莫测，大雨暴雪天气往往伴随着面纱效应，单一任务的图像恢复已经不能满足监控领域高效率的需求，这些改进的目标检测方法不适用于需要检测小目标的交通监控领域，交通监控在恶劣天气下需要更清晰更高质量的图像来进行目标检测。
发明内容
本发明旨在解决现有技术的不足，而提供一种面向恶劣天气下的交通监控图像目标检测方法，本发明在轻微增加运算量的情况下可以恢复出更清晰的待检测图像，统一的完成去雨去雪去雾任务，不需要繁琐地切换算法，将待检测图像输入YOLOv3检测网络可以获得较好的检测效果，也可以随着YOLO系列目标检测算法的升级迭代而获得水涨船高的检测性能。
本发明为实现上述目的，采用以下技术方案：
一种面向恶劣天气下的交通监控图像目标检测方法，总体网络结构包括五层动态卷积模块、两个八层的双树复小波增强模块、十层的残差学习恢复模块和YOLOv3交通目标检测模块；
具体步骤为：
S1、待恢复监控图像输入动态卷积模块中进行卷积处理；
过程为：动态卷积模块为五层，第一层为卷积层，将输入的待恢复监控图像进行下采样，卷积核大小为5×5，输出通道为64；第二到四层分别为两层权重生成器和一个卷积核大小为5×5的卷积层；第五层为ReLU激活函数，从动态卷积中提取获得特征，输出通道为64；
S2、经过动态卷积模块后将图像输入双数复小波增强模块；
过程为：使用双树复小波变换将线性结构信息转换为六个频率特征，将频率特征通过残差学习特征增强机制来增强原图特征，以抑制雨雪条纹，从而在图像中恢复详细的信息，最后使用双树复小波逆变换将频率特征转换成线性结构信息；
S3、将经过双树复小波变换增强后的信息进入残差学习恢复模块进行残差学习来获得干净的图像；
过程为：使用四层残差密集层和ReLU激活函数的组合将双树复小波变换增强后的信息进行第一次残差学习，进一步细化图像去噪中的特征；使用四层残差密集层和ReLU激活函数的组合将第一次残差学习的输出再进行一次残差学习；将第二次残差学习的输出与第一次残差学习的输出进行融合，增强图像深层次的信息；最后使用卷积层后接ReLU细化这些特征，其中其输入通道和输出通道分别为64；
S4、将残差学习后输出的图片送入YOLOv3交通目标检测模块进行目标检测，对经过恢复的图像进行目标检测；
过程为：对输入图片进行处理，再进行特征提取，将提取后的特征图预测边界框，解码出边界框的信息进行非极大值抑制，最后输出检测结果，给出交通车辆信息和置信度。
步骤S1中，权重生成器包含池化层、1×1卷积、激活函数、softmax分类器；动态卷积的具体实现方式为，使用权重生成器获得四个权重，通过加权的方式作用于四个并行卷积核来调整参数获得动态卷积，使用动态卷积对第一卷积层的输出进行卷积。
步骤S2中，特征增强使用四层残差密集层来进行，包括三层卷积层加激活函数和一层1×1卷积层，三层卷积层的卷积核大小都是5×5。
步骤S3中，残差学习恢复模块中所有卷积核的大小是5×5，两个残差块的输入通道数和输出通道数是64，最后一个卷积层的输入通道数是64，选择均方误差作为损失函数来训练网络。
选择均方误差作为损失函数来训练网络的具体操作为：均方误差以监督的方式使用{IC，IL}对来训练该去噪模型，其中IC和IL分别定义为干净图像和待恢复图像，通过Adam优化器进行优化，获得合适的参数。
步骤S4中，首先，YOLOv3将输入图像分成13×13个格子，对于每个格子，YOLOv3会预测B个边界框，并且对每个边界框预测C个类别的概率，同时预测每个边界框的置信度，如果一个边界框的置信度低于阈值，则将其过滤掉；
接下来，YOLOv3将输入图像通过一个卷积神经网络进行特征提取，YOLOv3采用了Darknet53作为其主干网络，在Darknet53中，首先对输入图像进行多层卷积和池化操作，然后使用残差结构对特征图进行进一步处理，最终得到高层次的特征表示；
在Darknet53的最后一层卷积输出的特征图上，YOLOv3使用一个卷积层来预测边界框：YOLOv3使用1×1卷积层来将特征图的深度降低为B×(5+C)，其中B是每个格子预测的边界框数，5代表每个边界框的位置和置信度信息，C是预测的类别数，因此，对于每个格子和每个边界框，YOLOv3会预测一个位置和一个置信度值，以及C个类别的概率；YOLOv3将预测的边界框转换为真实的边界框，对于每个格子和每个边界框，YOLOv3首先计算边界框的中心坐标，以及边界框的宽度和高度，其中坐标是相对于格子左上角的偏移量，然后，YOLOv3将中心坐标和宽度高度转换为边界框左上角和右下角的坐标，最终得到一个真实的边界框；
使用非极大值抑制算法对重叠的边界框进行筛选：对于每个类别，首先将所有置信度高于阈值的边界框按照置信度从高到低排序，然后选择置信度最高的边界框，并将其与所有其他边界框进行比较，如果两个边界框的重叠程度大于一定阈值，则将置信度较低的边界框过滤掉，直到所有边界框都被筛选完毕；最后，YOLOv3将筛选后的边界框以及其类别和置信度输出为检测结果。如果两个边界框的重叠程度大于0.5，则将置信度较低的边界框过滤掉。
YOLOv3将筛选后的边界框以及其类别和置信度输出为检测结果，会将检测结果可视化显示在输入图像上，并给出每个物体的类别和置信度。
本发明的有益效果是：本发明利用双树复小波变换的多方向和多尺度特性，能够更好地适应复杂的恶劣天气场景，提高图像恢复的效果和准确性；通过动态卷积层结合结构信息来挖掘雨雪雾图像中的鲁棒特征，提高了对复杂场景的处理能力；使用残差网络结构来细化获得的特征，进一步提高了图像恢复的质量和准确性；通过残差学习操作来重建干净的图像，可以获得高质量的输入图像，从而提高交通目标检测性能。
附图说明
图1为本发明流程图；
图2为本发明动态卷积算法流程图；
图3为本发明双树复小波纹理信息增强算法流程图；
图4为本发明残差学习图像恢复算法流程图；
图5为本发明YOLOv3网络结构图；
以下将结合本发明的实施例参照附图进行详细叙述。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图和实施例对本发明作进一步说明：
一种面向恶劣天气下的交通监控图像目标检测方法，总体网络结构包括五层动态卷积模块、两个八层的双树复小波增强模块、十层的残差学习恢复模块和YOLOv3交通目标检测模块。
本发明流程如图1所示。
具体步骤为：
S1、待恢复监控图像输入动态卷积模块中进行卷积处理；
过程为：动态卷积模块为五层，第一层为卷积层，将输入的待恢复监控图像进行下采样，卷积核大小为5×5，输出通道为64；第二到四层分别为两层权重生成器和一个卷积核大小为5×5的卷积层；第五层为ReLU激活函数，从动态卷积中提取获得特征，输出通道为64，如图2所示；
需要说明的是，权重生成器包含池化层、1×1卷积、激活函数、softmax分类器；动态卷积的具体实现方式为，使用权重生成器获得四个权重，通过加权的方式作用于四个并行卷积核来调整参数获得动态卷积，使用动态卷积对第一卷积层的输出进行卷积。
动态卷积(DynamicConvolution)通过注意力机制使用多个并行的动态卷积根据不同的图像来调整每个层的权重参数以获得鲁棒性的提升。卷积神经网络通过共享每个卷积层的参数来训练模型，将动态卷积嵌入神经网络可以提高训练效率，消除冗余特征。
S2、经过动态卷积模块后将图像输入双数复小波增强模块；
过程为：使用双树复小波变换将线性结构信息转换为六个频率特征，将频率特征通过残差学习特征增强机制来增强原图特征，以抑制雨雪条纹，从而在图像中恢复详细的信息，最后使用双树复小波逆变换将频率特征转换成线性结构信息，如图3所示；
需要说明的是，特征增强使用四层残差密集层来进行，包括三层卷积层加激活函数和一层1×1卷积层，三层卷积层的卷积核大小都是5×5。
双树复小波变换(Dual-TreeComplexWaveletTransform，DTCWT)是离散小波变换(DiscreteWaveletTransform，DWT)的改进形式。离散小波变换在图像和信号处理领域中应用已久，其物理思想是在不同空间尺度上去除信号的相关性，然后使用数据来表示原始信号，通过这种操作以获取人们感兴趣的特征。通过这种方式进行分解后，可以进一步对低频部分和高频部分进行小波变换，从而提供了多分辨率特征，以用于信号处理。但是离散小波变换仍具有一些限制：平移敏感性；缺乏方向选择性。双树复小波变换通过引入复小波和二叉树结构来克服这些缺陷。二维双树复小波变换可以生成六个高通子带和一个低通子带。高通子带包含六个方向(即±15°、±45°、±75°)的纹理信息。这一特性有利于雨雪信息的提取，因为雨雪粒子影响图像通常形成对角线和斜面条纹，双树复小波变换中的高频子带可以更好的表示雨雪条纹。因此双树复小波变换嵌入到网络中，可以更好地挖掘雨雪雾图像中的鲁棒特征。
S3、将经过双树复小波变换增强后的信息进入残差学习恢复模块进行残差学习来获得干净的图像；
过程为：使用四层残差密集层和ReLU激活函数的组合将双树复小波变换增强后的信息进行第一次残差学习，进一步细化图像去噪中的特征；使用四层残差密集层和ReLU激活函数的组合将第一次残差学习的输出再进行一次残差学习；将第二次残差学习的输出与第一次残差学习的输出进行融合，增强图像深层次的信息；最后使用卷积层后接ReLU细化这些特征，其中其输入通道和输出通道分别为64，如图4所示；
需要说明的是，残差学习恢复模块中所有卷积核的大小是5×5，两个残差块的输入通道数和输出通道数是64，最后一个卷积层的输入通道数是64，选择均方误差(MSE)作为损失函数来训练网络，具体操作为：均方误差(MSE)以监督的方式使用{IC，IL}对来训练该去噪模型，其中IC和IL分别定义为干净图像和待恢复图像，通过Adam优化器进行优化，获得合适的参数。
S4、将残差学习后输出的图片送入YOLOv3交通目标检测模块进行目标检测，对经过恢复的图像进行目标检测；
过程为：对输入图片进行处理，再进行特征提取，将提取后的特征图预测边界框，解码出边界框的信息进行非极大值抑制，最后输出检测结果，给出交通车辆信息和置信度，如图5所示。
需要说明的是，首先，YOLOv3将输入图像分成13×13个格子，(13为超参数，根据具体的待检测特征设置)。对于每个格子，YOLOv3会预测B个边界框，并且对每个边界框预测C个类别的概率，同时预测每个边界框的置信度，如果一个边界框的置信度低于阈值，则将其过滤掉；
接下来，YOLOv3将输入图像通过一个卷积神经网络进行特征提取，YOLOv3采用了Darknet53作为其主干网络，这是一种高效的CNN结构，可以提高检测精度和速度。在Darknet53中，首先对输入图像进行多层卷积和池化操作，然后使用残差结构对特征图进行进一步处理，最终得到高层次的特征表示；
在Darknet53的最后一层卷积输出的特征图上，YOLOv3使用一个卷积层来预测边界框：YOLOv3使用1×1卷积层来将特征图的深度降低为B×(5+C)，其中B是每个格子预测的边界框数，5代表每个边界框的位置和置信度信息，C是预测的类别数，因此，对于每个格子和每个边界框，YOLOv3会预测一个位置(四个坐标值)和一个置信度值，以及C个类别的概率；YOLOv3将预测的边界框转换为真实的边界框，对于每个格子和每个边界框，YOLOv3首先计算边界框的中心坐标，以及边界框的宽度和高度，其中坐标是相对于格子左上角的偏移量，然后，YOLOv3将中心坐标和宽度高度转换为边界框左上角和右下角的坐标，最终得到一个真实的边界框；
使用非极大值抑制算法对重叠的边界框进行筛选：对于每个类别，首先将所有置信度高于阈值的边界框按照置信度从高到低排序，然后选择置信度最高的边界框，并将其与所有其他边界框进行比较，如果两个边界框的重叠程度(即它们的交集面积与并集面积之比)大于一定阈值(通常是0.5)，则将置信度较低的边界框过滤掉，直到所有边界框都被筛选完毕；最后，YOLOv3将筛选后的边界框以及其类别和置信度输出为检测结果，会将检测结果可视化显示在输入图像上，并给出每个物体的类别和置信度。总体来说，YOLOv3采用了一系列优化措施，如高效的CNN结构、更好的激活函数、数据增强等，从而提高了检测精度和速度。
YOLO(YouOnlyLookOnce)是经典的单阶段目标检测算法，不需要多次扫描图像或使用滑动窗口来检测物体，而是直接在图像上进行预测，从而实现实时性能。其核心思想是将图像分成网格，并在每个网格中预测边界框和概率分数，然后根据预测结果对物体进行分类和定位。本发明使用加入了FPN特征金字塔进行加强特征提取和使用YoloHead有效特征层进行预测等特性的YOLOv3，可以进一步提高检测性能。基于YOLOv3算法的改进版本，使用图像自适应机制，可以自动地根据输入图像的质量和天气条件调整算法的超参数，提高雾霾天气下的目标检测效果。
本发明的关键点是：
1、双树复小波变换特征增强模块，利用双树复小波的多方向选择性充分地挖掘雨雪雾图像中的鲁棒特征。
2、使用动态卷积来加快算法速度，根据不同的雨雪图像动态调整卷积的参数而不是使用相同的参数，可以在去噪性能和计算成本之间进行平衡。
3、统一的设计了针对雨雪图像条纹特性的图像恢复算法。
4、通过YOLO系列算法将恶劣天气图像恢复应用于交通监控目标检测，提高了交通监控系统在雨雪天气时的可用性，可以随着YOLO系列算法的升级获得更好的性能。
本发明利用双树复小波变换的多方向和多尺度特性，能够更好地适应复杂的恶劣天气场景，提高图像恢复的效果和准确性；通过动态卷积层结合结构信息来挖掘雨雪雾图像中的鲁棒特征，提高了对复杂场景的处理能力；使用残差网络结构来细化获得的特征，进一步提高了图像恢复的质量和准确性；通过残差学习操作来重建干净的图像，可以获得高质量的输入图像，从而提高交通目标检测性能。
本发明的方法通用，可以适用于各种恶劣天气场景下的监控图像恢复。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (8)

1.一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，
总体网络结构包括五层动态卷积模块、两个八层的双树复小波增强模块、十层的残差学习恢复模块和YOLOv3交通目标检测模块；
具体步骤为：
S1、待恢复监控图像输入动态卷积模块中进行卷积处理；
过程为：动态卷积模块为五层，第一层为卷积层，将输入的待恢复监控图像进行下采样，卷积核大小为5×5，输出通道为64；第二到四层分别为两层权重生成器和一个卷积核大小为5×5的卷积层；第五层为ReLU激活函数，从动态卷积中提取获得特征，输出通道为64；
S2、经过动态卷积模块后将图像输入双数复小波增强模块；
过程为：使用双树复小波变换将线性结构信息转换为六个频率特征，将频率特征通过残差学习特征增强机制来增强原图特征，以抑制雨雪条纹，从而在图像中恢复详细的信息，最后使用双树复小波逆变换将频率特征转换成线性结构信息；
S3、将经过双树复小波变换增强后的信息进入残差学习恢复模块进行残差学习来获得干净的图像；
过程为：使用四层残差密集层和ReLU激活函数的组合将双树复小波变换增强后的信息进行第一次残差学习，进一步细化图像去噪中的特征；使用四层残差密集层和ReLU激活函数的组合将第一次残差学习的输出再进行一次残差学习；将第二次残差学习的输出与第一次残差学习的输出进行融合，增强图像深层次的信息；最后使用卷积层后接ReLU细化这些特征，其中其输入通道和输出通道分别为64；
S4、将残差学习后输出的图片送入YOLOv3交通目标检测模块进行目标检测，对经过恢复的图像进行目标检测；
过程为：对输入图片进行处理，再进行特征提取，将提取后的特征图预测边界框，解码出边界框的信息进行非极大值抑制，最后输出检测结果，给出交通车辆信息和置信度。
2.根据权利要求1所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，步骤S1中，权重生成器包含池化层、1×1卷积、激活函数、softmax分类器；动态卷积的具体实现方式为，使用权重生成器获得四个权重，通过加权的方式作用于四个并行卷积核来调整参数获得动态卷积，使用动态卷积对第一卷积层的输出进行卷积。
3.根据权利要求1所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，步骤S2中，特征增强使用四层残差密集层来进行，包括三层卷积层加激活函数和一层1×1卷积层，三层卷积层的卷积核大小都是5×5。
4.根据权利要求1所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，步骤S3中，残差学习恢复模块中所有卷积核的大小是5×5，两个残差块的输入通道数和输出通道数是64，最后一个卷积层的输入通道数是64，选择均方误差作为损失函数来训练网络。
5.根据权利要求4所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，选择均方误差作为损失函数来训练网络的具体操作为：均方误差以监督的方式使用{IC，IL}对来训练该去噪模型，其中IC和IL分别为干净图像和待恢复图像，通过Adam优化器进行优化，获得合适的参数。
6.根据权利要求1所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，步骤S4中，
首先，YOLOv3将输入图像分成13×13个格子，对于每个格子，YOLOv3会预测B个边界框，并且对每个边界框预测C个类别的概率，同时预测每个边界框的置信度，如果一个边界框的置信度低于阈值，则将其过滤掉；
接下来，YOLOv3将输入图像通过一个卷积神经网络进行特征提取，YOLOv3采用了Darknet53作为其主干网络，在Darknet53中，首先对输入图像进行多层卷积和池化操作，然后使用残差结构对特征图进行进一步处理，最终得到高层次的特征表示；
在Darknet53的最后一层卷积输出的特征图上，YOLOv3使用一个卷积层来预测边界框：YOLOv3使用1×1卷积层来将特征图的深度降低为B×(5+C)，其中B是每个格子预测的边界框数，5代表每个边界框的位置和置信度信息，C是预测的类别数，因此，对于每个格子和每个边界框，YOLOv3会预测一个位置和一个置信度值，以及C个类别的概率；YOLOv3将预测的边界框转换为真实的边界框，对于每个格子和每个边界框，YOLOv3首先计算边界框的中心坐标，以及边界框的宽度和高度，其中坐标是相对于格子左上角的偏移量，然后，YOLOv3将中心坐标和宽度高度转换为边界框左上角和右下角的坐标，最终得到一个真实的边界框；
使用非极大值抑制算法对重叠的边界框进行筛选：对于每个类别，首先将所有置信度高于阈值的边界框按照置信度从高到低排序，然后选择置信度最高的边界框，并将其与所有其他边界框进行比较，如果两个边界框的重叠程度大于一定阈值，则将置信度较低的边界框过滤掉，直到所有边界框都被筛选完毕；最后，YOLOv3将筛选后的边界框以及其类别和置信度输出为检测结果。
7.根据权利要求6所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，如果两个边界框的重叠程度大于0.5，则将置信度较低的边界框过滤掉。
8.根据权利要求6所述的一种面向恶劣天气下的交通监控图像目标检测方法，其特征在于，YOLOv3将筛选后的边界框以及其类别和置信度输出为检测结果，会将检测结果可视化显示在输入图像上，并给出每个物体的类别和置信度。
CN202310696848.1A 2023-06-13 2023-06-13 一种面向恶劣天气下的交通监控图像目标检测方法 Pending CN116958911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310696848.1A CN116958911A (zh) 2023-06-13 2023-06-13 一种面向恶劣天气下的交通监控图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310696848.1A CN116958911A (zh) 2023-06-13 2023-06-13 一种面向恶劣天气下的交通监控图像目标检测方法

Publications (1)

Publication Number Publication Date
CN116958911A true CN116958911A (zh) 2023-10-27

Family

ID=88455538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310696848.1A Pending CN116958911A (zh) 2023-06-13 2023-06-13 一种面向恶劣天气下的交通监控图像目标检测方法

Country Status (1)

Country Link
CN (1) CN116958911A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218517A (zh) * 2023-11-08 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 一种雨雪天气下的室外运动目标检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218517A (zh) * 2023-11-08 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 一种雨雪天气下的室外运动目标检测系统
CN117218517B (zh) * 2023-11-08 2024-01-26 诺比侃人工智能科技(成都)股份有限公司 一种雨雪天气下的室外运动目标检测系统

Similar Documents

Publication Publication Date Title
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
Kuanar et al. Night time haze and glow removal using deep dilated convolutional network
EP1995691B1 (en) Method and apparatus for segmenting a motion area
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN110400274B (zh) 一种车载红外行人检测用红外图像增强方法
CN116958911A (zh) 一种面向恶劣天气下的交通监控图像目标检测方法
Shijila et al. Simultaneous denoising and moving object detection using low rank approximation
CN113065645A (zh) 孪生注意力网络、图像处理方法和装置
Long et al. Underwater forward-looking sonar images target detection via speckle reduction and scene prior
CN114359687B (zh) 基于多模态数据双重融合的目标检测方法、装置、设备和介质
CN116596792A (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN117496384A (zh) 一种无人机图像物体检测方法
Satrasupalli et al. Single Image Haze Removal Based on transmission map estimation using Encoder-Decoder based deep learning architecture
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Jiao et al. Infrared dim small target detection method based on background prediction and high-order statistics
CN115984568A (zh) 一种基于YOLOv3网络的雾霾环境下目标检测方法
CN113673616B (zh) 一种耦合注意力和上下文的轻量化小目标检测方法
CN114821529A (zh) 一种用于智能汽车的视觉检测系统、方法及装置
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质
CN114398950A (zh) 垃圾识别分类方法、计算机可读存储介质和机器人
Khasanova et al. Image denoising for video surveillance cameras based on deep learning techniques
CN113837058B (zh) 一种耦合上下文聚合网络的轻量化雨水篦子检测方法
CN114842012B (zh) 基于位置意识u型网络的医学图像小目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination