CN116883868A - 基于自适应图像去雾的无人机智能巡航检测方法 - Google Patents

基于自适应图像去雾的无人机智能巡航检测方法 Download PDF

Info

Publication number
CN116883868A
CN116883868A CN202310472873.1A CN202310472873A CN116883868A CN 116883868 A CN116883868 A CN 116883868A CN 202310472873 A CN202310472873 A CN 202310472873A CN 116883868 A CN116883868 A CN 116883868A
Authority
CN
China
Prior art keywords
image
defogging
aerial
traffic
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310472873.1A
Other languages
English (en)
Inventor
张晖
马博文
赵海涛
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310472873.1A priority Critical patent/CN116883868A/zh
Publication of CN116883868A publication Critical patent/CN116883868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了基于自适应图像去雾的无人机智能巡航检测方法，包括：采集航拍交通目标图片，构建航拍交通目标数据集，根据数据集进行改进的YOLOv5网络模型训练，得到训练好的识别模型；对当前输入图片进行含雾量判断；对含雾图像进行自适应去雾和三色通道修正；将去雾后的图片输入到训练好的模型中获得最终的交通目标识别。在智慧交通场景中，利用本发明的方法，可以很好的解决由于雨雾天气下航拍图像整体较为模糊，拍摄目标细节丢失严重，造成的交通目标漏检和误检问题，实现快速准确进行的交通堵塞区域、车祸发生现场情况定位，为后续道路规划和紧急救援提供准确的先验信息。

Description

基于自适应图像去雾的无人机智能巡航检测方法
技术领域
本发明涉及一种基于自适应图像去雾的无人机智能巡航检测方法，属于目标识别和计算机视觉领域。
背景技术
基于无人机巡检的目标检测技术是智慧城市发展的核心技术之一，通过无人机巡检可以快速准确的定位交通堵塞区域、车祸发生现场，为后续道路规划和紧急救援提供准确的先验信息。然而，通常情况下，交通堵塞和车祸大多在雨雾等恶劣天气下发生，但由于雨雾天气下航拍图像整体较为模糊，拍摄目标细节丢失严重，很容易交通小目标的漏检和误检，无法实现精准的目标识别与定位。
综上所述，如何在避免增加过多的硬件算力要求的情况，在现有的目标识别技术上实现较为准确的雾天航拍目标检测成为了无人机交通巡检场景内亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供了基于自适应图像去雾的无人机智能巡航检测方法，解决了现有技术对无人机巡检过程中由于雾天天气引起航拍图像整体较为模糊，拍摄目标细节丢失严重所造成的交通小目标的漏检和误检问题。
本发明为了解决上述技术问题采用以下技术方案：
一种基于自适应图像去雾的无人机智能巡航检测方法，包括如下步骤：
步骤1、无人机航拍获得交通目标图像，并对所获得的交通目标图像进行标注，构建航拍交通目标数据集；
步骤2：将利用步骤1中所构建的数据集对YOLOv5网络模型进行训练，得到训练好的识别模型；
步骤3、对无人机实时航拍所获得航拍交通图像进行含雾量检测，判定实时航拍所获得航拍交通图像是否是含雾图像；若实时航拍所获得航拍交通图像是含雾图像，则进入步骤4，否则，将实时航拍所获得航拍交通图像输入到训练好的识别模型进行识别，输出最终识别结果；
步骤4、利用自适应暗通道先验去雾算法，对实时航拍所获得航拍交通图像进行去雾操作；
步骤5、将步骤4所得去雾图像输入到训练好的识别模型进行识别，将识别结果在实时航拍所获得航拍交通图像的对应位置进行标注，从而获得最终识别结果。
进一步地，所述步骤2中采用改进的YOLOv5网络，对YOLOv5网络进行如下改进：
1)、构建分层加权的空间金字塔池化模块替代YOLOv5网络中原有的快速金字塔池化模块，进行特征提取；
2)、使用CARAFE上采样算子替代YOLOv5网络中FPN结构中的最近邻插值提取方法，进行上采样操作；
3)、使用Soft-NMS替代YOLOv5网络中NMS算法，剔除重复冗余的预测框。
进一步地，所述分层加权的空间金字塔池化模块的具体构建过程如下：
首先，使用空洞速率大小分别设置为k1、k2、k3的三种不同的3×3空洞卷积对输入特征图f1进行特征提取，并将提取后特征进行通道拼接得到特征图f2；然后，使用SimAM注意力机制对特征图f2进行新的权重分配，得到特征图f3；再后，将特征图f3与输入特征图f1进行残差连接，得到特征图f4；最后，将特征图f4输入改进后的FPN结构中。
进一步地，所述步骤3中的含雾量检测的具体过程如下：
步骤3.1、将实时航拍所获得航拍交通图像I(x)转换为灰度图Igray(x)；
步骤3.2、计算灰度图Igray(x)的均值和方差；
步骤3.3、基于灰度图均值和方差和像素x，构建含雾量指标因子K(μ,δ,x)，具体计算如下：
其中，μ和σ分别为灰度图Igray(x)的均值和方差，和/>分别为灰度图Igray(x)的最大值像素点和最小值像素点，k为尺度调整系数；
步骤3.4、对实时航拍所获得航拍交通图像，若对应的含雾图像判别函数值小于设定阈值，则判定其是含雾图像，否则判定其不是含雾图像。
进一步地，所述步骤4中利用双重修正的自适应暗通道先验去雾算法，对实时航拍所获得航拍交通图像进行去雾操作，具体过程如下：
步骤4.1、使用多分割迭代的大气光值定位方法，对实时航拍所获得航拍交通图像I(x)进行大气光源值A定位；
步骤4.2、基于实时航拍所获得航拍交通图像I(x)的含雾量检测结果，对透射率进行修正，得到修正后的透射率t'(x)；
步骤4.3、利用大气光源值A和修正后的透射率t'(x)，对实时航拍所获得航拍交通图像I(x)进行去雾：
其中，t0为透射率偏置因子，J(x)为去雾图像，max(·)为最大值取值函数。
进一步地，所述步骤4.1中多分割迭代的大气光值定位方法的具体过程如下；
步骤4.1.1、将实时航拍所获得航拍交通图像的灰度图Igray(x)进行宽、高中线分割，分割形成的四个子区域从上到下，从左到右分别记为对应的宽和高分别记为
步骤4.1.2、对每个子区域进行区域梯度计算：
式中，l∈[1,4]为索引值，为第l个子区域内的平均梯度值，xc，xv分别表示像素x的横坐标和纵坐标，/>分别表示第l个子图区域的宽、高、像素横坐标的集合、像素纵坐标的集合，Φ(xc)和Φ(xv)分别Sobel算子在xc和xv方向的卷积模板；
步骤4.1.3、计算每个子区域内的像素均值μl：
步骤4.1.4、根据μl与构建区域评价函数/>
步骤4.1.5、对四个子区域，选取区域评价函数值最大的子区域作为候选区域，返回步骤4.1.1，直至满足预设迭代终止条件，定位当前候选区域中亮度最高点的像素位置，并以此亮度最高点作为大气光源值A。
进一步地，所述步骤4.2中对透射率进行自适应修正，具体过程如下：
对无人机实时航拍所获得的首帧航拍交通图像I1(x)，执行以下步骤4.2.1和步骤4.2.2，进行透射率修正：
步骤4.2.1、预设种像素尺度最小值滤波窗口/>从大到小分别计算出得到/>种不同尺度透射率值/>进而得到/>幅不同的去雾图像/>
其中，t0为透射率偏置因子，z＝1,2,…,Z，max(·)为最大值取值函数，A1为I1(x)的大气光源值；
步骤4.2.2、将幅不同的去雾图像与I1(x)进行相似度判断，选取相似度最高的去雾图像所对应的透射率值作为t'(x)，并将对应的最小值滤波窗口记为Ω'(x)；
对无人机实时航拍所获得的首帧之后的航拍交通图像Ii(x),i≠1，执行以下步骤4.2.3和步骤4.2.2，进行透射率修正：
步骤4.2.3、将Ii(x)与基准图像I1(x)进行相似度判断，若相似度大于所设阈值ηMR，则使用步骤4.2.1中A1和步骤4.2.2中的t'(x)对Ii(x)进行去雾处理；若相似度不大于ηMR，则按照如下方式进行最小值滤波窗口选择和透射率修正：
步骤4.2.4、对Ii(x)与I1(x)进行含雾量检测，若I1(x)的含雾量大于Ii(x)，则在Ω'(x)基础上增加预设最小值滤波窗口尺度；否则在Ω'(x)基础上减小预设最小值滤波窗口尺度；
步骤4.2.5、所述步骤4.2.4中Ω'(x)的修正方向，重复步骤4.2.1到4.2.2过程对Ii(x)进行透射率的修正，并以Ii(x)作为新的基准图像。
进一步地，将去雾图像M与去雾前原图N之间进行MG-SSIM相似度判断，计算过程如下：
其中，MG-SSIM(M,N)为M与N之间的MG-SSIM相似度，δm、δn分别为M和N的像素方差，δmn为M和N的像素协方差，C2、C3为常数因子，避免分母为零情况，δgm和δgn为M和N的梯度值方差，和/>为M和N上像素点a的梯度值，μgm和μgn为M和N的梯度均值，Q为总的像素数，α、β、γ为指数修正因子。
进一步地，首帧图像M与首帧之后图像N之间的MG-SSIM相似度的计算过程如下：
其中，MG-SSIM(M,N)为M与N之间的MG-SSIM相似度，b为索引值，ξ为分割的区域总数，μm、μn分别为M和的像素均值，δm、δn分别为M和N的像素方差，为M和N对应子区域b内像素的互相关系数，/>和/>为M和N对应子区域b内像素的方差和协方差，C1常数因子。
进一步地，所述步骤5中，在将步骤4所得去雾图像输入到训练好的识别模型进行识别之前，先对步骤4所得去雾图像进行RGB三色通道修正，具体过程如下：
步骤5.1、将步骤4所得去雾图像转换到HSV颜色空间；
步骤5.2、对亮度分量V采用对比度受限的直方图均衡化，进行亮度均衡化；
步骤5.3、将亮度均衡化之后的结果由HSV颜色空间转回RGB颜色空间，完成RGB三色通道修正。
本发明所述的基于自适应图像去雾的无人机智能巡航检测方法，采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明提出的图像去雾方法可以根据当前图像中含雾浓度，动态进行透射率的选择和大气光源值的定位，在不同雾天天气下都具有良好的去雾效果，并利用三色修正方法最大程度的恢复交通目标细节；
2、本发明方法通过所构建的分层加权的空间金字塔池化模块和系列YOLOv5调整策略，在并没有增加过多算力要求下加强了对于航拍目标的特征提取能力，具有更好的检测效果；
3、本发明方法能够在雾天交通巡检场景中在不适用红外和超声波雷达情况下，能够对含雾图像中的交通目标进行有效识别，大大减轻了雾天交通巡检场景中的成本投入。
附图说明
图1是改进的YOLOv5s的整体结构；
图2是分层加权的空间金字塔池化模块；
图3是基于雾天天气的无人机航拍交通目标检测算法整体流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明提出的基于自适应图像去雾的无人机智能巡航检测方法，包括：采集航拍交通目标图片，构建航拍交通目标数据集，根据数据集进行改进的YOLOv5网络模型训练，得到训练好的识别模型；对当前输入图片进行含雾量判断；对含雾图像进行自适应去雾和三色通道修正；将去雾后的图片输入到训练好的模型中获得最终的交通目标识别。在智慧交通场景中，利用本发明的方法，可以很好的解决由于雨雾天气下航拍图像整体较为模糊，拍摄目标细节丢失严重，造成的交通目标漏检和误检问题，实现快速准确进行的交通堵塞区域、车祸发生现场情况定位，为后续道路规划和紧急救援提供准确的先验信息。
上述基于自适应图像去雾的无人机智能巡航检测方法，主要包括两部分：一是对YOLOv5检测模型的改进与训练；二是基于自适应图像去雾的雾天目标检测。
一、YOLOv5检测模型的改进与训练
首先是模型改进部分，改进后的整体结构如图1所示：
1)构建分层加权的空间金字塔池化模块替代原有快速金字塔池化模块进行特征提取，如图2所示，具体构建过程如下：
首先，使用空洞速率大小分别设置为k1、k2、k3的三种不同的3×3空洞卷积对输入特征图f1进行特征提取，并将提取后特征进行通道拼接得到特征图f2；然后，使用SimAM注意力机制对经过空洞卷积提取和通道拼接后的特征图f2进行重新的特征分配，增大重要特征通道的权重，弱化无关通道的对于特征图的影响，将经过权重重新分配后的特征图记作为f3；进一步的，将特征图f3与输入特征图f1进行残差连接，从而实现对空洞卷积后所损失的局部信息进行补偿，将经过残差连接处理后特征图记作为f4；最后，将将所得特征图f4输入到步骤2.2的FPN结构进行后续多尺度特征融合处理。
2)构建基于CARAFE上采样算子的FPN特征融合网络，该网络使用CARAFE上采样算子代替FPN网络中的最近邻插值提取方法进行上采样操作，使得上采样后的特征图具有更有效的语义信息。
3)使用Soft-NMS代替NMS算法剔除重复冗余的预测框，从而降低密集目标重叠时的漏检问题。Soft-NMS与NMS算法相比，通过修改分数重置函数，对于大于阈值的相邻检测框设置一个惩罚函数，而不是直接置零。Soft-NMS算法如下：
式中，bq代表q个检测框，sq是q个检测框的得分，δt代表高斯函数方差，P为得分最高的检测框得分框。通过使用Soft-NMS有效的缓解了重叠区域的漏检问题，提高了模型对于密集车辆目标的鲁棒性。
其次是模型训练部分：首先，从Visdrone公开数据集和UAVDT数据集中进行选取，挑选后的航拍车辆数据集包含雾天拍摄、和正常白天拍摄在内的两种交通场景，共有8980张，4个类别，分别为：货车(truck)、桥车(car)、摩托车(motorcycle)、公交车(bus)。本文按照6:2:2的分割方式对所挑选的数据集进行划分，划分后训练集为5388张，验证集为1796张，测试集为1796张。其次划分后的训练集和验证集送入改进的YOLOv5进行检测。
二、基于自适应图像去雾的雾天目标检测
基于雾天天气的无人机航拍交通目标检测方法整体流程如图3所示，主要包括含雾量检测、自适应图像去雾、三色通道修正和去雾图像检测4部分。
(一)关于含雾量检测部分，具体步骤如下：
首先，将输入的RGB含雾图像I(x)转换为灰度图Igray(x)，RGB转灰度图的转换公式如下：
GRAY＝0.299*R+0.587*G+0.114*B。
其次，计算灰度图像Igray(x)的均值和方差，具体计算如下：
其中，N为灰度图Igray(x)像素总数，xi为当前像素值，μ、σ分别为灰度图Igray(x)的均值和方差。
最后，基于灰度图均值和方差和像素x，构建含雾量指标因子K(μ,δ,x)，具体计算如下：
其中，和/>分别为灰度图Igray(x)的最大值像素点和最小值像素点，k为尺度调整系数；根据上述公式可知，图像含雾越多，图像像素差异越小，均值和方差越小，且/>与/>最接近，K(μ,δ,x)也就越小，反之图像含雾越少，图像像素差异越大，均值和方差越大，/>与越/>差距越大，K(μ,δ,x)也就越大，并且K(μ,δ,x)范围被限制于(0,1)之间，故通过设置合适阈值，便可判断输入图像是否为含雾图像。一般阈值设置为0.8，一般0.8以上就为含雾量很低或者根本无雾情况，0.5-0.8之间为轻雾图像，0.5以下就是浓雾图像。
(二)关于自适应图像去雾部分，具体步骤如下：
首先，使用多分割迭代的大气光值定位方法进行输入图像的大气光源值A定位，具体步骤如下：
1)将灰度图Igray(x)进行宽高中线分割，分割后的四幅子区域从上到下，从左到右分别为分别为分割后子子区域的宽和高。
2)计算每个子区域进行区域梯度，通用计算过程如下：
式中，l∈[1,4]为索引值，为第l个子图区域内的平均梯度值，xc，xv分别表示像素x的横坐标和纵坐标，/>分别表示第l个子图区域内宽、高、以及像素横坐标和纵坐标的集合，Φ(xc)和Φ(xv)分别Sobel算子在xc和xv方向的卷积模板。
3)计算每个子区域内的像素均值μl，相关计算如下：
4)根据所得的μl与构建区域评价函数/>具体计算如下：
5)将四个区域的Γ值进行比较，选取区域评价函数值最大的区域作为候选区域，然后重复迭代步骤1-4过程。
6)将经过每次四分割后候选区域进行迭代终止判断，为了区域卷积充分，不损失边缘细节，故将最终迭代终值的阈值设置为步骤4.1.2中所使用的Sobel算子卷积模板的λ倍，λ为区间调整系数，设最终迭代终止区域为d×d，本发明在实验中一般选用Sobel算子模板为3*3算子，且设置迭代终止区域为9×9。
7)在最终选中的9×9候选区域中，定位亮度最高点的像素位置，并将此点作为大气光源点A。
(三)，根据K(μ,δ,x)对图像含雾浓度判断情况，进行自适应的透射率修正，将修正后的透射率记作t'(x)，具体实施步骤如下：
1)利用所提出的多分割迭代的大气光值定位方法，进行首帧输入图像I1(x)的大气光源位置定位，获取大气光源A值。
2)将预设种像素尺度最小值滤波窗口/>从大到小分别计算出得到/>种不同尺度透射率值/>具体计算过程如下：
其中，Ic(x)为有雾图像最小单色通道，ω表示雾气保留系数，一般取值范围为[0.95,1]。
3)将所得大气光源值A和种不同尺度透射率值/>代入去雾公式中，得到/>幅不同的去雾图像/>关于去雾公式的计算如下：
其中，t0为透射率偏置因子，主要是避免所估计的透射率过小而造成最终复原图像严重失真，J(x)为去雾后的图像，max(·)为最大值取值函数。
4)对所得幅去雾图像与原图I1(x)(去雾前图像)进行MG-SSIM相似度判断，选取复原程度最高(MG-SSIM相似度最高)的去雾图像所使用的透射率情况，并记录当前的最小滤波窗口Ω'(x)和透射率t'(x)。
关于去雾图像M与去雾前原图N之间MG-SSIM的计算过程如下：
其中，c(M,N)对比度相似度，s(M,N)为结构化相似度，g(M,N)均值梯度相似度，δm、δn分别为M和N的像素方差，δmn为M和N的像素协方差，C2、C3为常数因子，避免分母为零情况，δgm和δgn为M和N的梯度值方差，和/>为M和N上像素点a的梯度值，μgm和μgn为M和N的梯度均值，Q总的像素数，α、β、γ为指数修正因子。
5)将后续航拍图像与首帧图像进行基于MR-SSIM相似度判断，若大于所设阈值ηMR，则认为当前拍摄图片的含雾情况变化不大，直接使用步骤4.2.1中的A值和步骤4.2.4中的透射率t'(x)进行去雾处理。
其中，首帧图像M与当前图像N关于的MR-SSIM计算方法如下：
其中，l(M,N)表示亮度相似度，sb(M,N)为区域结构化相似度，b为索引值，ζ为M和N的子区域划分总数，为两个输入图像对应子区域内像素的互相关系数，/>和为当前对应子区域内像素的方差和协方差。
6)若当前拍摄图像与首帧图像相比相似度低于设置阈值ηMR，则按照如下方式进行最小值滤波窗口选择和透射率更新：
6.1)当两幅图像MR-SSIM不大于阈值ηMR时，利用步骤3.3所述的K(μ,δ,x)含雾量指标因子进行含雾变化判断，若图像雾气含量变高时，即首帧图像K(μ,δ,x)值高于当前拍摄图片K(μ,δ,x)值，则需要在当前的最小滤波窗口Ω'(x)基础上增加最小值滤波窗口尺度，加强其去雾能力，反之，则需要在最小滤波窗口Ω'(x)基础上减小最小值滤波窗口尺度，细化透射率，尽可能保留原图细节。
6.2)根据上述的Ω'(x)尺度变化修正方向，重复步骤1到4过程，进行大气光值和透射率值更新，并将当前拍摄图像作为后续输入图像基准对比图(否则一直保持首帧图像作为基准对比图)。
最后利用所获得大气光源值A和自适应调整后的透射率t'(x)，同样使用如下去雾公式对当前含雾图片进行去雾，获得对应的去雾图像J(x)，具体计算如下：
其中，t0为透射率偏置因子，主要是避免所估计的透射率过小而造成最终复原图像严重失真，J(x)为去雾后的图像，max(·)为最大值取值函数。
(四)关于三色通道修正部分：首先将经过自适应图像去雾处理后J(x)转换到HSV颜色空间，然后，在HSV空间内，对亮度分量V采用对比度受限的直方图均衡化，进行亮度均衡化，对比度限制设置为0.01，进行局部均衡尺度大小与此图片的最小值滤波窗口大小Ω'(x)保持一致；最后，将经过亮度均衡后的HSV空间转回RGB空间，从而实现RGB三色通道修正。
最后关于含雾图像检测流程如下：将含雾量较低或者是无雾图像直接输入到训练好的改进YOLOv5模型中进行检测，将含雾高的图片经过自适应去雾处理和亮度修正后，将修正后的图片输入到训练好的模型进行检测，然后，将识别得到的目标位置信息和类别信息在原图的对应位置进行标注，从而获得最终的识别结果图。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，包括如下步骤：
步骤1、无人机航拍获得交通目标图像，并对所获得的交通目标图像进行标注，构建航拍交通目标数据集；
步骤2：将利用步骤1中所构建的数据集对YOLOv5网络模型进行训练，得到训练好的识别模型；
步骤3、对无人机实时航拍所获得航拍交通图像进行含雾量检测，判定实时航拍所获得航拍交通图像是否是含雾图像；若实时航拍所获得航拍交通图像是含雾图像，则进入步骤4，否则，将实时航拍所获得航拍交通图像输入到训练好的识别模型进行识别，输出最终识别结果；
步骤4、利用自适应暗通道先验去雾算法，对实时航拍所获得航拍交通图像进行去雾操作；
步骤5、将步骤4所得去雾图像输入到训练好的识别模型进行识别，将识别结果在实时航拍所获得航拍交通图像的对应位置进行标注，从而获得最终识别结果。
2.根据权利要求1所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤2中采用改进的YOLOv5网络，对YOLOv5网络进行如下改进：
1)、构建分层加权的空间金字塔池化模块替代YOLOv5网络中原有的快速金字塔池化模块，进行特征提取；
2)、使用CARAFE上采样算子替代YOLOv5网络中FPN结构中的最近邻插值提取方法，进行上采样操作；
3)、使用Soft-NMS替代YOLOv5网络中NMS算法，剔除重复冗余的预测框。
3.根据权利要求2所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述分层加权的空间金字塔池化模块的具体构建过程如下：
首先，使用空洞速率大小分别设置为k1、k2、k3的三种不同的3×3空洞卷积对输入特征图f1进行特征提取，并将提取后特征进行通道拼接得到特征图f2；然后，使用SimAM注意力机制对特征图f2进行新的权重分配，得到特征图f3；再后，将特征图f3与输入特征图f1进行残差连接，得到特征图f4；最后，将特征图f4输入改进后的FPN结构中。
4.根据权利要求1所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤3中的含雾量检测的具体过程如下：
步骤3.1、将实时航拍所获得航拍交通图像I(x)转换为灰度图Igray(x)；
步骤3.2、计算灰度图Igray(x)的均值和方差；
步骤3.3、基于灰度图均值和方差和像素x，构建含雾量指标因子K(μ,δ,x)，具体计算如下：
其中，μ和σ分别为灰度图Igray(x)的均值和方差，和/>分别为灰度图Igray(x)的最大值像素点和最小值像素点，k为尺度调整系数；
步骤3.4、对实时航拍所获得航拍交通图像，若对应的含雾图像判别函数值小于设定阈值，则判定其是含雾图像，否则判定其不是含雾图像。
5.根据权利要求1所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤4中利用双重修正的自适应暗通道先验去雾算法，对实时航拍所获得航拍交通图像进行去雾操作，具体过程如下：
步骤4.1、使用多分割迭代的大气光值定位方法，对实时航拍所获得航拍交通图像I(x)进行大气光源值A定位；
步骤4.2、基于实时航拍所获得航拍交通图像I(x)的含雾量检测结果，对透射率进行修正，得到修正后的透射率t'(x)；
步骤4.3、利用大气光源值A和修正后的透射率t'(x)，对实时航拍所获得航拍交通图像I(x)进行去雾：
其中，t0为透射率偏置因子，J(x)为去雾图像，max(·)为最大值取值函数。
6.根据权利要求5所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤4.1中多分割迭代的大气光值定位方法的具体过程如下；
步骤4.1.1、将实时航拍所获得航拍交通图像的灰度图Igray(x)进行宽、高中线分割，分割形成的四个子区域从上到下，从左到右分别记为对应的宽和高分别记为/>
步骤4.1.2、对每个子区域进行区域梯度计算：
式中，为索引值，/>为第/>个子区域内的平均梯度值，xc，xv分别表示像素x的横坐标和纵坐标，/>分别表示第/>个子图区域的宽、高、像素横坐标的集合、像素纵坐标的集合，μ(xc)和μ(xv)分别Sobel算子在xc和xv方向的卷积模板；
步骤4.1.3、计算每个子区域内的像素均值
步骤4.1.4、根据与/>构建区域评价函数/>
步骤4.1.5、对四个子区域，选取区域评价函数值最大的子区域作为候选区域，返回步骤4.1.1，直至满足预设迭代终止条件，定位当前候选区域中亮度最高点的像素位置，并以此亮度最高点作为大气光源值A。
7.根据权利要求5所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤4.2中对透射率进行自适应修正，具体过程如下：
对无人机实时航拍所获得的首帧航拍交通图像I1(x)，执行以下步骤4.2.1和步骤4.2.2，进行透射率修正：
步骤4.2.1、预设种像素尺度最小值滤波窗口/>从大到小分别计算出得到/>种不同尺度透射率值/>进而得到/>幅不同的去雾图像/>
其中，t0为透射率偏置因子，z＝1,2,…,Z，max(·)为最大值取值函数，A1为I1(x)的大气光源值；
步骤4.2.2、将幅不同的去雾图像与I1(x)进行相似度判断，选取相似度最高的去雾图像所对应的透射率值作为t'(x)，并将对应的最小值滤波窗口记为Ω'(x)；
对无人机实时航拍所获得的首帧之后的航拍交通图像Ii(x),i≠1，执行以下步骤4.2.3和步骤4.2.2，进行透射率修正：
步骤4.2.3、将Ii(x)与基准图像I1(x)进行相似度判断，若相似度大于所设阈值ηMR，则使用步骤4.2.1中A1和步骤4.2.2中的t'(x)对Ii(x)进行去雾处理；若相似度不大于ηMR，则按照如下方式进行最小值滤波窗口选择和透射率修正：
步骤4.2.4、对Ii(x)与I1(x)进行含雾量检测，若I1(x)的含雾量大于Ii(x)，则在Ω'(x)基础上增加预设最小值滤波窗口尺度；否则在Ω'(x)基础上减小预设最小值滤波窗口尺度；
步骤4.2.5、所述步骤4.2.4中Ω'(x)的修正方向，重复步骤4.2.1到4.2.2过程对Ii(x)进行透射率的修正，并以Ii(x)作为新的基准图像。
8.根据权利要求7所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，将去雾图像M与去雾前原图N之间进行MG-SSIM相似度判断，计算过程如下：
其中，MG-SSIM(M,N)为M与N之间的MG-SSIM相似度，δm、δn分别为M和N的像素方差，δmn为M和N的像素协方差，C2、C3为常数因子，避免分母为零情况，δgm和δgn为M和N的梯度值方差，和/>为M和N上像素点a的梯度值，μgm和μgn为M和N的梯度均值，Q为总的像素数，α、β、γ为指数修正因子。
9.根据权利要求7所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，首帧图像M与首帧之后图像N之间的MG-SSIM相似度的计算过程如下：
其中，MG-SSIM(M,N)为M与N之间的MG-SSIM相似度，b为索引值，ξ为分割的区域总数，μm、μn分别为M和的像素均值，δm、δn分别为M和N的像素方差，为M和N对应子区域b内像素的互相关系数，/>和/>为M和N对应子区域b内像素的方差和协方差，C1常数因子。
10.根据权利要求1所述基于自适应图像去雾的无人机智能巡航检测方法，其特征在于，所述步骤5中，在将步骤4所得去雾图像输入到训练好的识别模型进行识别之前，先对步骤4所得去雾图像进行RGB三色通道修正，具体过程如下：
步骤5.1、将步骤4所得去雾图像转换到HSV颜色空间；
步骤5.2、对亮度分量V采用对比度受限的直方图均衡化，进行亮度均衡化；
步骤5.3、将亮度均衡化之后的结果由HSV颜色空间转回RGB颜色空间，完成RGB三色通道修正。
CN202310472873.1A 2023-04-27 2023-04-27 基于自适应图像去雾的无人机智能巡航检测方法 Pending CN116883868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310472873.1A CN116883868A (zh) 2023-04-27 2023-04-27 基于自适应图像去雾的无人机智能巡航检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310472873.1A CN116883868A (zh) 2023-04-27 2023-04-27 基于自适应图像去雾的无人机智能巡航检测方法

Publications (1)

Publication Number Publication Date
CN116883868A true CN116883868A (zh) 2023-10-13

Family

ID=88259249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310472873.1A Pending CN116883868A (zh) 2023-04-27 2023-04-27 基于自适应图像去雾的无人机智能巡航检测方法

Country Status (1)

Country Link
CN (1) CN116883868A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451012A (zh) * 2023-12-25 2024-01-26 威海市三维工程测绘有限公司 一种无人机航摄测量方法及系统
CN117893879A (zh) * 2024-01-19 2024-04-16 安徽大学 一种雾天场景下的海上小目标航拍图像识别模型训练方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117451012A (zh) * 2023-12-25 2024-01-26 威海市三维工程测绘有限公司 一种无人机航摄测量方法及系统
CN117451012B (zh) * 2023-12-25 2024-03-05 威海市三维工程测绘有限公司 一种无人机航摄测量方法及系统
CN117893879A (zh) * 2024-01-19 2024-04-16 安徽大学 一种雾天场景下的海上小目标航拍图像识别模型训练方法

Similar Documents

Publication Publication Date Title
CN107798335B (zh) 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法
CN104794688B (zh) 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN108537756B (zh) 基于图像融合的单幅图像去雾方法
CN116883868A (zh) 基于自适应图像去雾的无人机智能巡航检测方法
CN112949493B (zh) 一种结合语义分割和注意力机制的车道线检测方法及系统
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN113298810A (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN107273870A (zh) 一种监控场景下融合上下文信息的行人位置检测方法
CN110363160B (zh) 一种多车道线识别方法及装置
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN105976330A (zh) 一种嵌入式雾天实时视频稳像方法
CN104766319B (zh) 提升夜间拍照图像配准精度的方法
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN112200746B (zh) 一种雾天交通场景图像的去雾方法和设备
CN112766056B (zh) 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN110738139A (zh) 一种融合Min-Max目标的NIN车牌识别方法
CN105608683B (zh) 一种单幅图像去雾方法
CN111680580A (zh) 一种闯红灯的识别方法、装置、电子设备及存储介质
CN115100615A (zh) 一种基于深度学习的端到端车道线检测方法
CN114332655A (zh) 一种车辆自适应融合检测方法及系统
CN104766287A (zh) 一种基于显著性检测的模糊图像盲复原方法
CN118071632A (zh) 一种基于igoa-svm的图像增强以及特征识别方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination