CN116310276B - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116310276B
CN116310276B CN202310593273.0A CN202310593273A CN116310276B CN 116310276 B CN116310276 B CN 116310276B CN 202310593273 A CN202310593273 A CN 202310593273A CN 116310276 B CN116310276 B CN 116310276B
Authority
CN
China
Prior art keywords
image
detected
defogging
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310593273.0A
Other languages
English (en)
Other versions
CN116310276A (zh
Inventor
李俊
高银
晏超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202310593273.0A priority Critical patent/CN116310276B/zh
Publication of CN116310276A publication Critical patent/CN116310276A/zh
Application granted granted Critical
Publication of CN116310276B publication Critical patent/CN116310276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种目标检测方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，该方法结合图像亮度增强、图像去雾和注意力融合机制，可以极大地提高不良环境下针对小目标的检测性能。该方法采用的加权分数阶变分模型，在增强图像亮度的同时可以保持图像结构，为目标检测提供良好的基础。该方法采用的基于变窗边界限制的变窗相对变差方法以及多曝光融合，可以揭示不良环境下的图像细节，进而改善目标检测结果的准确性。该方法采用的注意力融合机制，可以提升对小目标的感受野和特征提取能力，进而实现对小目标的准确检测。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
近年来，随着图像处理领域的不断发展，利用图像获取信息已成为一种重要手段。例如，采用高品质的图像进行目标检测。然而，在恶劣的天气条件等不良环境下拍摄的图像通常会受到环境亮度、大气中大量悬浮颗粒的散射等因素的影响，造成图像对比度下降、颜色失真等问题，计算机视觉系统由于这些大量噪声的存在，很难依据这种低质量的图像准确地进行目标检测。
为此，现急需提供一种新的目标检测方法。
发明内容
本发明提供一种目标检测方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。
本发明提供一种目标检测方法，包括：
获取待检测图像；
若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
根据本发明提供的一种目标检测方法，所述基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，包括：
基于所述加权分数阶变分模型，采用范数分别约束所述光照图与所述反射图，并采用迭代重加权最小二乘法，将所述/>范数用/>范数进行表示；
采用半解耦分解方法将所述加权分数阶变分模型按所述光照图与所述反射图进行分离，并采用块坐标下降算法，对所述光照图与所述反射图分别进行迭代求解。
根据本发明提供的一种目标检测方法，所述采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果，包括：
基于所述亮度增强图像的通道图像，确定所述变窗边界限制；
基于中值滤波方法，对所述初始透射率图像进行优化，得到第二优化结果；
基于所述变窗边界限制以及所述第二优化结果，采用变窗相对变差方法，对所述初始透射率图像进行优化，得到所述第一优化结果。
根据本发明提供的一种目标检测方法，所述基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像，包括：
基于所述待检测图像中各像素点的局部对比度，计算所述待检测图像中各像素点的局部对比度权重；
基于亮度阈值，计算所述待检测图像中各像素点的亮度权重；
对所述待检测图像中各像素点的颜色相似度进行膨胀操作和腐蚀操作，确定所述待检测图像中各像素点的颜色相似度权重；
采用最小二乘法，对所述待检测图像中各像素点的局部对比度权重、亮度权重以及颜色相似度权重进行融合，得到所述待检测图像中各像素点的融合权重；
基于所述融合权重，对所述初始去雾图像中各像素点的像素值进行融合，得到所述目标去雾图像。
根据本发明提供的一种目标检测方法，所述基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果，包括：
将所述目标去雾图像输入至目标检测模型，得到所述目标检测模型输出的所述目标检测结果；
其中，所述目标检测模型在基础模型中嵌入注意力融合模块，所述基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块；所述ELAN模块用于特征提取，所述ELAN_W模块用于特征融合；
所述目标检测模型基于携带有目标标签的图像样本训练得到。
根据本发明提供的一种目标检测方法，所述YOLOv5模型中的SPP模块被替换为SPPCSPC模块。
根据本发明提供的一种目标检测方法，所述目标检测模型基于如下步骤训练得到：
将所述图像样本输入至初始检测模型，得到所述初始检测模型输出的初始检测结果；
基于所述初始检测结果以及所述目标标签，计算具有惩罚项的Focal EIoU Loss，并加入如下惩罚项：
；
其中，为Focal EIoU Loss，/>为异常值抑制程度控制参数，/>为EIoU损失值，/>为所述初始检测结果对应的边框与所述目标标签对应的边框的交并比。
本发明还提供一种目标检测装置，包括：
图像获取模块，用于获取待检测图像；
亮度增强模块，用于若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
第一去雾模块，用于若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
第二去雾模块，用于基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
目标检测模块，用于基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明提供的目标检测方法、装置、电子设备及存储介质，在待检测图像需要亮度增强时利用加权分数阶变分模型进行亮度增强，得到亮度增强图像，在待检测图像需要去雾时利用分割阈值以及基于变窗边界限制的变窗相对变差方法确定初始去雾图像，并通过对初始去雾图像进行多曝光融合得到目标去雾图像。最后结合注意力融合机制对目标去雾图像进行目标检测，得到待检测图像的目标检测结果。该方法结合图像亮度增强、图像去雾和注意力融合机制，可以极大地提高不良环境下针对小目标的检测性能。该方法采用的加权分数阶变分模型，在增强图像亮度的同时可以保持图像结构，为目标检测提供良好的基础。该方法采用的基于变窗边界限制的变窗相对变差方法以及多曝光融合，可以揭示不良环境下的图像细节，进而改善目标检测结果的准确性。该方法采用的注意力融合机制，可以提升对小目标的感受野和特征提取能力，进而实现对小目标的准确检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的目标检测方法的流程示意图之一；
图2是本发明提供的目标检测方法中的待检测图像一；
图3是本发明提供的目标检测方法中待检测图像一对应的亮度增强图像；
图4是本发明提供的目标检测方法中的待检测图像二；
图5是本发明提供的目标检测方法中待检测图像二对应的亮度增强图像；
图6是本发明提供的目标检测方法中的亮度增强图像一；
图7是本发明提供的目标检测方法中亮度增强图像一对应的目标去雾图像；
图8是本发明提供的目标检测方法中的亮度增强图像二；
图9是本发明提供的目标检测方法中亮度增强图像二对应的目标去雾图像；
图10是本发明提供的目标检测模型中ELAN模块的结构示意图；
图11是本发明提供的目标检测模型中ELAN_W模块的结构示意图；
图12是本发明提供的目标检测模型中YOLOv5模型的结构示意图之一；
图13是本发明提供的目标检测模型中SPPCSPC模块的结构示意图；
图14是本发明提供的目标检测模型中YOLOv5模型的结构示意图之二；
图15是本发明提供的YOLOv5模型中CSP模块的结构示意图；
图16是本发明提供的CSP模块中Res unit的结构示意图；
图17是本发明提供的YOLOv5模型中MP_2模块的结构示意图；
图18是本发明提供的YOLOv5模型中REP模块在训练过程中的结构示意图；
图19是本发明提供的目标检测模型中AF模块的结构示意图；
图20是本发明提供的目标检测方法的流程示意图之二；
图21是本发明提供的目标检测装置的结构示意图；
图22是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由此可知，现有技术中进行目标检测时通常利用的是恶劣的天气条件等不良环境下拍摄的图像，这将会受到环境亮度、大气中大量悬浮颗粒的散射等因素的影响，造成图像对比度下降、颜色失真等问题，进而很难依据这种低质量的图像准确地进行目标检测。为解决该技术问题，本发明实施例中提供了一种目标检测方法。
图1为本发明实施例中提供的一种目标检测方法的流程示意图，如图1所示，该方法包括：
S1，获取待检测图像；
S2，若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
S3，若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
S4，基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
S5，基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
具体地，本发明实施例中提供的目标检测方法，其执行主体为目标检测装置，该装置可以配置于服务器内，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机以及平板电脑等，本发明实施例中对此不作具体限定。该目标检测装置既可以实现对待检测图像中目标的在线检测，也可以实现对待检测图像中目标的离线检测，此处不作具体限定。当目标检测装置对待检测图像中的目标进行离线检测时，该目标检测装置可以配置于离线的开发板上。
首先，执行步骤S1，获取待检测图像，该待检测图像是指需要对其中的目标进行检测的图像，可以是彩色图像。对目标进行检测可以包括检测目标在图像中的位置以及种类，该种类可以是人以及不同类别的动物等，此处不作具体限定。
然后执行步骤S2，判断待检测图像是否需要亮度增强，即需要对待检测图像进行亮度水平检测。
亮度水平检测包括：对于彩色的待检测图像，首先将其转换为像素值在0~255之间的灰度图/>，然后计算灰度图中各像素点的像素值与平均像素值128之间的关系，即有：
； （1）
其中，为像素值，/>，/>，/>，、/>分别代表求和运算以及均值运算，/>表示灰度图中像素值为的像素数量。/>表示灰度图与平均像素值128之间的整体偏差程度，当/>时说明待检测图像的亮度保持在正常水平此时不需要亮度增强，当/>并且/>时代表待检测图像的亮度整体偏低，此时需要对待检测图像进行亮度增强。
在确定待检测图像需要亮度增强时，利用加权分数阶变分模型，将待检测图像分解为光照图以及反射图。
根据Retinex理论可以将待检测图像分解为光照图与反射图：
； （2）
其中，为待检测图像，/>和/>分别是需要求解的光照图与反射图，运算符/>为按元素乘法。光照图代表着待检测图像中不同区域的明暗变化情况。本发明实施例中，假设光照图是分段平滑的，即只包含主要的边缘结构。反射图包含了待检测图像中的纹理和结构，与得到的亮度增强图像相似。
为了准确的分解出光照图与反射图，本发明实施例中利用加权分数阶变分模型，采用范数分别约束光照图与反射图，可以获得比整数阶范数更灵活和准确的结果。
加权分数阶变分模型可以建模为一个最小化问题：
； （3）
其中，，/>分别是用于平衡光照图以及反射图的系数，/>代表/>范数，/>和/>分别表示光照图以及反射图对应的/>范数。/>是一阶梯度算子，包含水平方向梯度/>和垂直方向梯度/>。/>以及/>均为分数阶范数。/>是权重矩阵，用以感知局部小结构：
； （4）
对于光照图中每一个像素/>，/>是基于放大的梯度并通过核大小为/>的高斯滤波/>感知局部结构和纹理。此处，/>=0.4，/>=3。
由于公式（3）的求解是一个非凸问题，因此为了高效的求解范数，采用迭代重加权最小二乘法，将公式（3）中的分数阶范数进行重写：
； （5）
其中，是一个很小的常数以避免分母为0。因此，结合公式（5）可以让公式（2）可以描述为：
； （6）
其中，，/>。值得注意的是，每一轮的迭代中/>，/>，/>都作为已知变量，通过上一轮的光照图与反射图计算得到，因此公式（6）的求解可以通过求解两个分离的子问题得到最优解。
进而，本发明实施例中采用半解耦分解方法将加权分数阶变分模型按光照图与反射图进行分离，并采用块坐标下降算法，对所述光照图与所述反射图分别进行迭代求解。
对于光照图的求解，提取公式（6）中与光照有关的项，为了避免光照图求解过程中涉及到未知变量反射图，采用半解耦分解将光照图与初始光照建立联系，即：
； （7）
其中，初始光照由待检测图像的RGB三通道的最大值得到：
； （8）
公式（7）中只涉及到二次项，将其对光照微分并将置为0可以计算出最终解：
； （9）
其中，是大小合适的单位矩阵，/>。/>分别是对应变量的对角矩阵。/>包含水平/>和垂直/>，是具有前向差分离散梯度算子的Toeplitz矩阵。
对于反射图的求解，同样提取公式（6）包含反射的项得到：
； （10）
与光照图的求解类似，得到最终解：
； （11）
迭代的停止条件为并且/>，或者达到最大迭代次数/>。此处，/>，代表Frobenius范数。
此后，可以对光照图进行Gamma校正，并基于校正所得结果与反射图，确定亮度增强图像，可以描述为：
； （12）
其中，，/>为亮度增强图像，/>为Gamma常数。
图2为待检测图像一，图3为待检测图像一对应的亮度增强图像，图4为待检测图像二，图5为待检测图像二对应的亮度增强图像。
然后执行步骤S3，判断亮度增强图像是否需要去雾，即需要判断亮度增强图像中是否存在雾。由于有雾图像有相对的浅灰色，这意味着其HSV通道中的亮度通道V有较大值，同时有雾图像的颜色不清晰导致其饱和度通道S的值较小，因此本发明实施例中，采用比率判断亮度增强图像中是否存在雾，当/>大于3时认为亮度增强图像中存在雾，需要去雾。
在确定亮度增强图像需要去雾时，采用基于视觉选择器的图像去雾算法对亮度增强图像进行去雾操作，得到目标去雾图像。
基于视觉选择器的图像去雾算法首先对亮度增强图像中的大气背景光区域进行分割，大气背景光区域可以是天空区域或明亮区域。通过统计1000张以上的彩色有雾图像的直方图可知，分割阈值位于倒数第二个类波谷。由于直方图的波形分布不规则，造成波峰波谷跳变比较大，因此需要对亮度增强图像先进行平滑处理，之后通过一阶导数和二阶导数方法，获取分割阈值，其泛函如下：
； （13）
其中，是分割阈值，表示大气背景光区域的像素均值，/>表示两次导数方法获取波谷值的方法，/>表示高斯模糊核，/>表示卷积操作。由于每个通道的分割阈值不同，因此求取的/>为一个集合。
此后，针对透射率的优化，设计变窗边界限制的变窗相对变差方法。首先利用分割阈值以及亮度增强图像的通道图像中各像素点的像素值，确定亮度增强图像的初始透射率图像。亮度增强图像的通道图像可以是R、G、B三个通道的通道图像，亮度增强图像的通道图像中各像素点的像素值可以用/>表示，其中/>。
此处，可以先利用亮度增强图像的通道图像，确定变窗边界限制。变窗边界限制可以包括边界限制下界和边界限制上界，边界限制下界可以表示为，边界限制上界可以表示为/>。
此后，初始透射率图像中各像素点的像素值可以表示为：
； （14）
其中，是初始透射率图像中各像素点的像素值，/>表示分割阈值的总个数。
此后，采用基于变窗边界限制的变窗相对变差方法，对初始透射率图像进行优化，得到第一优化结果。即有：
； （15）
其中，表示基于变窗边界限制的变窗相对变差方法，/>表示第一优化结果。
其中，基于变窗边界限制的变窗相对变差方法可以先利用中值滤波方法，对初始透射率图像进行优化，得到第二优化结果。此后，利用变窗边界限制以及第二优化结果，采用变窗相对变差方法，对初始透射率图像进行优化，得到第一优化结果。基于变窗边界限制的变窗相对变差方法的泛函如下：
； （16）
其中，为第二优化结果，/>表示极小的常数，例如10的-3次方。/>为常数，/>与表示/>的x与y方向的操作。/>，/>。
此后执行步骤S4，利用第一优化结果以及分割阈值，确定亮度增强图像的初始去雾图像。可以先计算亮度增强图像中各像素点的像素值与分割阈值的差值，然后确定第一优化结果中各像素点的像素值与第一优化结果中最小像素值之间的最大值，最后利用上述差值、上述最大值以及分割阈值，确定初始去雾图像。
该初始去雾图像可以表示为：
； （17）
其中，表示/>的下边界，/>是gamma校正的参数，/>表示初始去雾图像。
此后，利用待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对初始去雾图像进行多曝光融合，得到目标去雾图像。在此之前，可以选择性地执行如下候选及优化操作：
1）对初始去雾图像进行候选，候选规则的泛函如下：
； （18）
其中，，/>是图像质量评价方法，本发明实施例中可以采用NIQE方法。/>是大气背景光区域在亮度增强图像中所占的比例，，/>代表非零统计值，/>代表亮度增强图像的通道图像中大气背景光区域的分割阈值，/>，代表图像评价最大值。
2）候选之后，通过LIME优化方法对候选结果进行优化，以进一步提高视觉效果，其泛函如下：
； （19）
其中，表示LIME优化方法。/>表示最终优化好的图像。
本发明实施例中，通过构造视觉选择器融合方法，对初始去雾图像进行多曝光融合，得到目标去雾图像。这是基于快速最小二乘法优化的多曝光融合方法，其泛函如下：
； （20）
其中，表示目标去雾图像。/>代表新的多曝光融合方法，该方法的构造可以由局部对比度、亮度和颜色相似度组成。
第一，利用待检测图像中各像素点的局部对比度，计算待检测图像中各像素点的局部对比度权重：
； （21）
其中，是局部对比度权重，/>是待检测图像的局部对比度，，/>是待检测图像的灰度图像/>，/>代表拉普拉斯滤波。
第二，基于亮度阈值，计算待检测图像中各像素点的亮度权重：
； （22）
其中，是亮度权重，/>是亮度阈值，可以有/>。
第三，对待检测图像中各像素点的颜色相似度进行膨胀操作和腐蚀操作，确定待检测图像中各像素点的颜色相似度权重：
； （23）
其中，是颜色相似度权重，/>是颜色相似度，，/>和/>表示膨胀和腐蚀操作，/>表示对待检测图像进行中值滤波平滑操作后的结果，/>表示第i个直方图均衡化图像，/>和/>是半径/>和/>对应的圆盘结构。
第四，采用最小二乘法，对待检测图像中各像素点的局部对比度权重、亮度权重以及颜色相似度权重进行融合，得到待检测图像中各像素点的融合权重：
； （24）
其中，表示快速最小二乘法，/>是规则化操作，/>表示融合权重。
第五，利用融合权重，对初始去雾图像中各像素点的像素值进行融合，得到目标去雾图像。融合规则为：
； （25）
图6为亮度增强图像一，图7为亮度增强图像一对应的目标去雾图像，图8为亮度增强图像二，图9为亮度增强图像二对应的目标去雾图像。
最后执行步骤S5，利用注意力融合机制，对目标去雾图像进行目标检测，得到待检测图像的目标检测结果。
目标检测工作强调了特征融合的优点，在一定程度上能促进感受野的增加，但有时会忽略全局中两个位置之间的联系。因此本发明实施例中使用一种特征之间基于注意力的，可学习的全局连接。由于检测图片中通常包含很多小目标，它们有可能是以群体的方式出现。注意力融合（Attention Fusion，AF）机制通过一系列的加权计算有选择的聚集每个位置处的特征，可以摆脱空间距离的限制，进而能够准确的提取小目标的特征，改善了当前目标检测算法针对小目标检测错误率高的缺陷，对小目标检测的准确率提升显著。
本发明实施例中提供的目标检测方法，在待检测图像需要亮度增强时利用加权分数阶变分模型进行亮度增强，得到亮度增强图像，在待检测图像需要去雾时利用分割阈值以及基于变窗边界限制的变窗相对变差方法确定初始去雾图像，并通过对初始去雾图像进行多曝光融合得到目标去雾图像。最后结合注意力融合机制对目标去雾图像进行目标检测，得到待检测图像的目标检测结果。该方法结合图像亮度增强、图像去雾和注意力融合机制，可以极大地提高不良环境下针对小目标的检测性能。该方法采用的加权分数阶变分模型，在增强图像亮度的同时可以保持图像结构，为目标检测提供良好的基础。该方法采用的基于变窗边界限制的变窗相对变差方法以及多曝光融合，可以揭示不良环境下的图像细节，进而改善目标检测结果的准确性。该方法采用的注意力融合机制，可以提升对小目标的感受野和特征提取能力，进而实现对小目标的准确检测。
在上述实施例的基础上，本发明实施例中提供的目标检测方法，所述基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果，包括：
将所述目标去雾图像输入至目标检测模型，得到所述目标检测模型输出的所述目标检测结果；
其中，所述目标检测模型在基础模型中嵌入注意力融合模块，所述基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块；所述ELAN模块用于特征提取，所述ELAN_W模块用于特征融合；
所述目标检测模型基于携带有目标标签的图像样本训练得到。
具体地，在对目标去雾图像进行目标检测时，可以引入目标检测模型，然后将目标去雾图像输入至目标检测模型，利用目标检测模型对目标去雾图像中的目标进行检测，进而得到并输出目标检测结果。
目标检测模型在基础模型中嵌入注意力融合模块，基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块。
对于小目标检测主要考虑的因素是精度与速度，YOLOv5模型采用经典的one-stage检测算法，能够检测目标的类别与准确率，由于YOLOv5只在普通目标上性能优越，但在小目标上检测效果不佳，本发明实施例中将YOLOv5模型与注意力融合模块结合，实现对小目标准确且快速的检测。
ELAN模块的结构如图10所示，ELAN_W模块的结构如图11所示。ELAN模块是一个高效的网络结构，通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性。对于ELAN_W模块，它与ELAN模块非常相似，略有不同的就是它在第二条分支的时候选取的输出数量不同。ELAN模块选取了三个输出进行最后的相加而ELAN_W模块则是五个。
图10和图11中，CBS模块包括依次连接的卷积（Conv）层、归一化（BN）层以及第二激活（silu）层，cat模块为拼接模块。
如图12所示，YOLOv5模型的主要结构包括依次连接的Input、Backbone、Neck与Prediction共4个模块。将目标去雾图像输入至Input模块，并通过Backbone模块实现特征提取，通过Neck模块实现目标图像融合，通过Prediction模块实现小目标检测任务。ELAN模块可以连接于Backbone模块中，注意力融合（Attention Fusion，AF）模块以及ELAN_W模块可以连接于Neck模块中。
由于YOLOv5模型中的SPP模块对小目标检测适用性较差，本发明实施例中采用优化后的SPPCSPC模块替换SPP模块。SPPCSPC模块的作用是增大感受野，使得算法适应不同的分辨率图像，它通过最大池化来获得不同感受野。如图13所示，在第一条分支中，经历MaxPool的有四条分支。分别是5，9，13，1，四个不同的MaxPool能够处理不同的对象即四个不同尺度的最大池化有四种感受野，用来区别于大目标和小目标。当一张照片中的大害虫和小害虫，他们的尺度是不一样的，通过不同的MaxPool，这样子就能够更好的区别小目标和大目标。优化后的SPPCSPC模块将先前的提取的特征与池化后的特征进行融合，获得原始图片更多的细节信息和更多的语义。
如图14所示，Backbone模块包括依次连接的Focus模块、CBL模块、CSP1_1模块、CBS模块、CSP1_2模块、CBL模块、CSP1_3模块、CBS模块、ELAN模块以及SPPCSPC模块，其中Focus模块用于对输入的目标去雾图像进行切片操作，CBL模块包括依次连接的卷积（Conv）层、归一化（BN）层以及第一激活（Leakyrelu）层，
CSP模块的结构如图15所示，其中的Res unit的结构如图16所示，图16中add模块为加法模块。
图14中，UPSample模块为上采样模块，MP_2模块的结构如图17所示。REP模块在训练过程中的结构如图18所示，在测试过程中的结构则仅包括顺次连接的卷积（Conv）层和归一化（BN）层。
图14中，Prediction模块则可以经过三个CBM模块分别输出尺寸为20*20*225、40*40*225、80*80*225的目标检测结果。
图19展示了AF模块的结构。由于每个像素都能访问每一个像素的特征，使用此模块将会更大的扩充感受野。此外，它隐含地充当跨层传播相关信息的门。由于目标之间的特征通常都是相关的，这些特性使得它适用于多个小目标的检测问题。
对于输入特征图，首先对其进行一次卷积操作得到/>。对卷积后的/>进行1*1的卷积生成/>。其中/>，将/>都经reshape操作得到矩阵/>与/>，并将/>与/>进行矩阵乘法，再将乘积经SoftMax层进行注意力图的计算，得到/>。计算方法如下式：
； （26）
其中代表第/>个位置对第/>个位置的联系指数，数值越大代表相关性越高。最后，对/>进行1*1卷积操作得到/>，对/>进行reshape操作得到/>。再将/>和进行矩阵相乘，所得结果加上/>，获得最终输出/>。/>中每个位置处的结果特征是所有位置处的特征和原始特征的加权和。因此，它具有全局上下文和根据空间注意图选择性聚集的上下文，使得相似特征增强增益而不相关特征被抑制。
目标检测模型需要在目标去雾图像中采样大量的区域，判断这些区域中是否包含检测的小目标，并调整区域边界从而更准确地预测目标的真实边界框（ground-truthbounding box）。以每个像素为中心，生成多个缩放比和宽高比（aspect ratio）不同的边界框。这些边界框被称为锚框（anchor box）。此处，使用k-means聚类生成anchor box。
锚框的计算步骤如下：
（a）随机选取K个框作为初始anchor box；
（b）使用作为评价指标，将每个/>分配给与其距离最近的anchor box；
（c）根据每个簇中所有宽和高计算之后的均值，更新anchor box；
重复步骤（b）和（c），直到anchor box基本稳定，或者达到了最大迭代次数停止。
本发明实施例中，目标检测模型可以基于携带有目标标签的图像样本训练得到，例如，可以先将图像样本输入至初始检测模型，得到初始检测模型输出的初始检测结果。初始检测模型与目标检测模型的结构相同，均是在基础模型中嵌入注意力融合模块，基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块。
由于YOLOv5模型中的损失函数在小目标上效果差，因此采用更适合小目标检测的作为边框损失的损失函数，并对/>损失值进行优化。/>损失是在/>损失的基础上添加了衡量预测框和真实边界框纵横比，在一定程度上可以加快预测框的回归速度，但仍然存在着很大的问题。
在预测框回归过程中，当预测框和真实边界框的宽高之间的比呈现线性比例时，中添加的相对比例的惩罚项便不再起作用。根据预测框的宽度w和高度h的梯度公式可以推知，宽度w和高度h在其中一个值增大时，另外一个值必须减小，不能保持同增同减。为了解决这个问题，/>直接对宽度w和高度h的预测结果进行惩罚，以下公式作为损失函数：
； （27）
其中，和/>分别是覆盖预测框和真实边界框的最小外接矩形的宽度和高度，/>、/>分别代表了预测框和真实边界框的中心点，c代表的是最小外接矩形的对角线距离，/>、/>分别表示真实边界框的宽度和高度，/>为预测框和真实边界框的中心点间的欧式距离，/>为预测框和真实边界框的宽度差，/>为预测框和真实边界框的高度差。将损失函数分成了三个部分：
：预测框和真实边界框的重叠损失；
：预测框和真实边界框的中心距离损失；
：预测框和真实边界框的宽和高损失。
损失的前两部分与中的方法一致，而宽高损失直接使预测框与真实边界框的宽度和高度之差最小，使得收敛速度更快。
考虑到BBox的回归中也存在训练样本不平衡的问题，即在一张图像中回归误差小的高质量锚框的数量远少于误差大的低质量样本，质量较差的样本会产生过大的梯度影响训练过程。在的基础上结合Focal Loss提出的一种Focal EIoU Loss，从梯度的角度出发，把高质量的锚框和低质量的锚框分开，对其进行改进，惩罚项公式如下：
； （28）
其中，为Focal EIoU Loss，/>为异常值抑制程度控制参数，/>为EIoU损失值，/>为初始检测结果对应的边框与目标标签对应的边框的交并比，即有，/>为初始检测结果对应的边框面积，/>为目标标签对应的边框面积。
Focal EIoU Loss与传统的Focal Loss有一定的区别，传统的Focal Loss针对越困难的样本损失越大，起到的是困难样本挖掘的作用；而根据公式（28），越高的损失越大，相当于加权作用，给越好的回归目标一个越大的损失，有助于提高回归精度。
该方法中的关键参数是，它控制目标框选精准度。一般来说，较大的/>收敛回更快且效果更好，为了获得更好的检测效果，此处可以设置/>=0.15，从而产生了很好的结果。
综上所述，在目标检测识别的过程中，尤其是户外，不可避免的会遇到天气等干扰因素，其中环境亮度和雾是影响最大的。针对该问题，如图20所示，本发明实施例中提出一种基于低亮度图像增强和去雾算法的小目标检测方法，可以在光照不理想和雾环境下准确的检测出小目标物体。该方法可以分为四个大步骤：获取待检测图像；基于加权分数阶变分模型的低亮度图像增强算法对待检测图像进行亮度增强；基于视觉选择器的图像去雾算法对亮度增强图像进行去雾；基于注意力融合机制的小目标检测算法对目标去雾图像进行目标检测，得到目标检测结果。
值得注意的是需要在亮度增强和去雾操作执行前对待检测图像进行亮度水平和雾浓度的检测，当待检测图像的亮度水平低和存在雾的时候才会执行对应的亮度增强和/或去雾操作。
如图21所示，在上述实施例的基础上，本发明实施例中提供了一种目标检测装置，包括：
图像获取模块211，用于获取待检测图像；
亮度增强模块212，用于若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
第一去雾模块213，用于若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
第二去雾模块214，用于基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
目标检测模块215，用于基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，所述亮度增强模块，具体用于：
基于所述加权分数阶变分模型，采用范数分别约束所述光照图与所述反射图，并采用迭代重加权最小二乘法，将所述/>范数用/>范数进行表示；
采用半解耦分解方法将所述加权分数阶变分模型按所述光照图与所述反射图进行分离，并采用块坐标下降算法，对所述光照图与所述反射图分别进行迭代求解。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，所述第一去雾模块，具体用于：
基于中值滤波方法，对所述初始透射率图像进行优化，得到第二优化结果；
基于所述变窗边界限制以及所述第二优化结果，采用变窗相对变差方法，对所述初始透射率图像进行优化，得到所述第一优化结果。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，所述第二去雾模块，具体用于：
基于所述待检测图像中各像素点的局部对比度，计算所述待检测图像中各像素点的局部对比度权重；
基于亮度阈值，计算所述待检测图像中各像素点的亮度权重；
对所述待检测图像中各像素点的颜色相似度进行膨胀操作和腐蚀操作，确定所述待检测图像中各像素点的颜色相似度权重；
采用最小二乘法，对所述待检测图像中各像素点的局部对比度权重、亮度权重以及颜色相似度权重进行融合，得到所述待检测图像中各像素点的融合权重；
基于所述融合权重，对所述初始去雾图像中各像素点的像素值进行融合，得到所述目标去雾图像。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，所述目标检测模块，具体用于：
将所述目标去雾图像输入至目标检测模型，得到所述目标检测模型输出的所述目标检测结果；
其中，所述目标检测模型在基础模型中嵌入注意力融合模块，所述基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块；所述ELAN模块用于特征提取，所述ELAN_W模块用于特征融合；
所述目标检测模型基于携带有目标标签的图像样本训练得到。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，所述YOLOv5模型中的SPP模块被替换为SPPCSPC模块。
在上述实施例的基础上，本发明实施例中提供的目标检测装置，还包括模型训练模块，用于：
将所述图像样本输入至初始检测模型，得到所述初始检测模型输出的初始检测结果；
基于所述初始检测结果以及所述目标标签，计算具有惩罚项的Focal EIoU Loss，并加入如公式（28）所示的惩罚项。
具体地，本发明实施例中提供的目标检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图22示例了一种电子设备的实体结构示意图，如图22所示，该电子设备可以包括：处理器(processor)2210、通信接口(Communications Interface)2220、存储器(memory)2230和通信总线2240，其中，处理器2210，通信接口2220，存储器2230通过通信总线2240完成相互间的通信。处理器2210可以调用存储器2230中的逻辑指令，以执行上述各实施例中提供的目标检测方法，该方法包括：获取待检测图像；若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
此外，上述的存储器2230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的目标检测方法，该方法包括：获取待检测图像；若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的目标检测方法，该方法包括：获取待检测图像；若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像；
若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果；
所述基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，包括：
基于所述加权分数阶变分模型，采用范数分别约束所述光照图与所述反射图，并采用迭代重加权最小二乘法，将所述/>范数用/>范数进行表示；
采用半解耦分解方法将所述加权分数阶变分模型按所述光照图与所述反射图进行分离，并采用块坐标下降算法，对所述光照图与所述反射图分别进行迭代求解；
所述采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果，包括：
基于中值滤波方法，对所述初始透射率图像进行优化，得到第二优化结果；
基于所述变窗边界限制以及所述第二优化结果，采用变窗相对变差方法，对所述初始透射率图像进行优化，得到所述第一优化结果。
2.根据权利要求1所述的目标检测方法，其特征在于，基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像，包括：
基于所述待检测图像中各像素点的局部对比度，计算所述待检测图像中各像素点的局部对比度权重；
基于亮度阈值，计算所述待检测图像中各像素点的亮度权重；
对所述待检测图像中各像素点的颜色相似度进行膨胀操作和腐蚀操作，确定所述待检测图像中各像素点的颜色相似度权重；
采用最小二乘法，对所述待检测图像中各像素点的局部对比度权重、亮度权重以及颜色相似度权重进行融合，得到所述待检测图像中各像素点的融合权重；
基于所述融合权重，对所述初始去雾图像中各像素点的像素值进行融合，得到所述目标去雾图像。
3.根据权利要求1-2中任一项所述的目标检测方法，其特征在于，所述基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果，包括：
将所述目标去雾图像输入至目标检测模型，得到所述目标检测模型输出的所述目标检测结果；
其中，所述目标检测模型在基础模型中嵌入注意力融合模块，所述基础模型在YOLOv5模型中加入ELAN模块以及ELAN_W模块；所述ELAN模块用于特征提取，所述ELAN_W模块用于特征融合；
所述目标检测模型基于携带有目标标签的图像样本训练得到。
4.根据权利要求3所述的目标检测方法，其特征在于，所述YOLOv5模型中的SPP模块被替换为SPPCSPC模块。
5.根据权利要求3所述的目标检测方法，其特征在于，所述目标检测模型基于如下步骤训练得到：
将所述图像样本输入至初始检测模型，得到所述初始检测模型输出的初始检测结果；
基于所述初始检测结果以及所述目标标签，计算具有惩罚项的Focal EIoU Loss，并加入如下惩罚项：
；
其中，为Focal EIoU Loss，/>为异常值抑制程度控制参数，/>为EIoU损失值，/>为所述初始检测结果对应的边框与所述目标标签对应的边框的交并比。
6.一种目标检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
亮度增强模块，用于若所述待检测图像需要亮度增强，则基于加权分数阶变分模型，将所述待检测图像分解为光照图以及反射图，并对所述光照图进行校正，基于校正所得结果与所述反射图，确定亮度增强图像；
第一去雾模块，用于若所述亮度增强图像需要去雾，则基于所述亮度增强图像中各像素点的像素值，确定所述亮度增强图像中大气背景光区域的分割阈值，并基于所述分割阈值以及所述亮度增强图像的通道图像中各像素点的像素值，确定所述亮度增强图像的初始透射率图像，并采用基于变窗边界限制的变窗相对变差方法，对所述初始透射率图像进行优化，得到第一优化结果；
第二去雾模块，用于基于所述第一优化结果以及所述分割阈值，确定所述亮度增强图像的初始去雾图像，并基于所述待检测图像中各像素点的局部对比度、亮度以及颜色相似度，对所述初始去雾图像进行多曝光融合，得到目标去雾图像；
目标检测模块，用于基于注意力融合机制，对所述目标去雾图像进行目标检测，得到所述待检测图像的目标检测结果；
所述亮度增强模块，具体用于：
基于所述加权分数阶变分模型，采用范数分别约束所述光照图与所述反射图，并采用迭代重加权最小二乘法，将所述/>范数用/>范数进行表示；
采用半解耦分解方法将所述加权分数阶变分模型按所述光照图与所述反射图进行分离，并采用块坐标下降算法，对所述光照图与所述反射图分别进行迭代求解；
所述第一去雾模块，具体用于：
基于中值滤波方法，对所述初始透射率图像进行优化，得到第二优化结果；
基于所述变窗边界限制以及所述第二优化结果，采用变窗相对变差方法，对所述初始透射率图像进行优化，得到所述第一优化结果。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的目标检测方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的目标检测方法。
CN202310593273.0A 2023-05-24 2023-05-24 目标检测方法、装置、电子设备及存储介质 Active CN116310276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310593273.0A CN116310276B (zh) 2023-05-24 2023-05-24 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310593273.0A CN116310276B (zh) 2023-05-24 2023-05-24 目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116310276A CN116310276A (zh) 2023-06-23
CN116310276B true CN116310276B (zh) 2023-08-08

Family

ID=86818988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310593273.0A Active CN116310276B (zh) 2023-05-24 2023-05-24 目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116310276B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133462A (zh) * 2017-12-08 2018-06-08 泉州装备制造研究所 一种基于梯度场区域分割的单幅图像的复原方法
CN108648160A (zh) * 2018-05-14 2018-10-12 中国农业大学 一种水下海参图像去雾增强方法及系统
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
CN112967215A (zh) * 2021-03-03 2021-06-15 辽宁工程技术大学 基于拉普阿斯金字塔重构的Retinex图像增强算法
CN113284055A (zh) * 2021-03-18 2021-08-20 华为技术有限公司 一种图像处理的方法以及装置
CN114638749A (zh) * 2022-02-14 2022-06-17 深圳大学 低光照图像增强模型、方法、电子设备及存储介质
CN115393203A (zh) * 2022-07-20 2022-11-25 海南大学 基于深度学习的针对真实带雾图像的去雾方法及装置
CN115797205A (zh) * 2022-11-24 2023-03-14 兰州大学 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN115880663A (zh) * 2022-09-28 2023-03-31 哈尔滨理工大学 一种低照度环境交通标志检测与识别方法
WO2023066173A1 (zh) * 2021-10-18 2023-04-27 虹软科技股份有限公司 图像处理方法、装置及存储介质、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230026811A1 (en) * 2021-07-15 2023-01-26 Ping An Technology (Shenzhen) Co., Ltd. System and method for removing haze from remote sensing images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133462A (zh) * 2017-12-08 2018-06-08 泉州装备制造研究所 一种基于梯度场区域分割的单幅图像的复原方法
CN108648160A (zh) * 2018-05-14 2018-10-12 中国农业大学 一种水下海参图像去雾增强方法及系统
CN112967215A (zh) * 2021-03-03 2021-06-15 辽宁工程技术大学 基于拉普阿斯金字塔重构的Retinex图像增强算法
CN113284055A (zh) * 2021-03-18 2021-08-20 华为技术有限公司 一种图像处理的方法以及装置
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
WO2023066173A1 (zh) * 2021-10-18 2023-04-27 虹软科技股份有限公司 图像处理方法、装置及存储介质、电子设备
CN114638749A (zh) * 2022-02-14 2022-06-17 深圳大学 低光照图像增强模型、方法、电子设备及存储介质
CN115393203A (zh) * 2022-07-20 2022-11-25 海南大学 基于深度学习的针对真实带雾图像的去雾方法及装置
CN115880663A (zh) * 2022-09-28 2023-03-31 哈尔滨理工大学 一种低照度环境交通标志检测与识别方法
CN115797205A (zh) * 2022-11-24 2023-03-14 兰州大学 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于暗通道先验和深度学习的去雾算法研究;黄依国;信息科技;全文 *

Also Published As

Publication number Publication date
CN116310276A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Zhao et al. Multi-scale optimal fusion model for single image dehazing
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN112819772A (zh) 一种高精度快速图形检测识别方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111524113A (zh) 提升链异常识别方法、系统、设备及介质
CN110706208A (zh) 一种基于张量均方最小误差的红外弱小目标检测方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
CN113313179A (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
JP3716455B2 (ja) 領域抽出方法及び領域抽出装置
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116310276B (zh) 目标检测方法、装置、电子设备及存储介质
CN111476226A (zh) 一种文本定位方法、装置及模型训练方法
CN111754491A (zh) 一种图片清晰度判定方法及装置
CN116843618A (zh) 一种金属零件浅显外观缺陷检测方法
CN113222843B (zh) 一种图像修复方法及其相关设备
CN108875630B (zh) 一种基于视频的雨天环境下移动目标检测方法
CN114842506A (zh) 一种人体姿态估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant