CN115375991A - 一种强/弱光照和雾环境自适应目标检测方法 - Google Patents

一种强/弱光照和雾环境自适应目标检测方法 Download PDF

Info

Publication number
CN115375991A
CN115375991A CN202211093671.8A CN202211093671A CN115375991A CN 115375991 A CN115375991 A CN 115375991A CN 202211093671 A CN202211093671 A CN 202211093671A CN 115375991 A CN115375991 A CN 115375991A
Authority
CN
China
Prior art keywords
image
neural network
target detection
fog
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211093671.8A
Other languages
English (en)
Inventor
李东瀛
黄真
张博
郁文贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ronghui Intelligent Technology Co ltd
Original Assignee
Shanghai Ronghui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ronghui Intelligent Technology Co ltd filed Critical Shanghai Ronghui Intelligent Technology Co ltd
Priority to CN202211093671.8A priority Critical patent/CN115375991A/zh
Publication of CN115375991A publication Critical patent/CN115375991A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/73—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明涉及一种强/弱光照和雾环境自适应目标检测方法，包括：采集可见光视频文件，并拆分为多张单帧图像，对单帧图像进行标注得到样本数据；将样本数据划分为训练集、验证集和测试集；构建参数预测神经网络，通过训练集对参数预测神经网络进行训练；利用训练好的参数预测神经网络预测待检测图像的光照强度、透射率和白平衡，并进行去雾处理和白平衡处理；使用合成雾算法对样本数据进行加雾处理，得到新数据集；构建目标检测神经网络，通过新数据集对目标检测神经网络进行训练；利用训练好的目标检测神经网络对去雾处理和白平衡处理后的待检测图像进行检测，得到检测结果。本发明能够在一定光照条件和雾气条件下准确检测出行人和车辆等目标。

Description

一种强/弱光照和雾环境自适应目标检测方法
技术领域
本发明涉及目标检测与识别技术领域，特别是涉及一种强/弱光照和雾环境自适应目标检测方法。
背景技术
目标检测是计算机视觉领域的一项重要任务与挑战，主要内容是检测图像中的对象以及进行准确的定位与分类识别。随着计算机技术的发展，目标检测被广泛地应用国家安防、人机交互和信息安全等多个领域。
目前，根据是否需要手动提取目标特征，目标检测算法可以分为传统方法以及深度学习的方法。传统的目标检测算法多采取基于滑动窗口的物体检测方法，获取感兴趣区域；手动选择颜色特征、纹理特征、尺度不变特征以及HOG特征作为特征依据；采用支持向量机以及AdaBoost作为分类器，进而实现目标的检测与定位识别。由于需要手动提取特征和步骤较多，传统方法存在着算法时间复杂度高、实时性差、鲁棒性低以及准确率低的问题，在21世纪逐渐被基于卷积神经网络的深度学习方法所替代。深度学习目标检测算法分为两阶段目标检测方法和单阶段目标检测方法，前者先根据算法生成锚框，然后使用卷积神经网络进行定位和分类，包括R-CNN、Fast R-CNN、Faster R-CNN以及FPN等算法；后者通过主干网络回归目标的位置以及分类概率，包括SSD、YOLO、YOLOX、Vit-Transformer、Swin-Transformer等算法。
目前深度学习方法在传统的数据集上已经取得了良好的效果，但是针对不同天气条件下，存在着光照条件变化大，雾气遮挡造成的图像低质量问题，因此难以平衡好图像增强与检测以及会缺失部分潜在的信息，导致最终目标检测效果不佳，模型精度下降。
发明内容
本发明所要解决的技术问题是提供一种强/弱光照和雾环境自适应目标检测方法，能够在一定光照条件和雾气条件下检测出行人和车辆等目标，具有良好的鲁棒性。
本发明解决其技术问题所采用的技术方案是：提供一种强/弱光照和雾环境自适应目标检测方法，包括以下步骤：
采集可见光视频文件，并拆分为多张单帧图像，使用标注工具标注所述单帧图像的光照强度、透射率、白平衡以及目标信息，得到样本数据；
将所述样本数据划分为训练集、验证集和测试集；
构建参数预测神经网络，通过所述训练集对所述参数预测神经网络进行训练，使得训练好的所述参数预测神经网络能够对输入图像的光照强度、透射率和白平衡进行预测；
利用训练好的所述参数预测神经网络预测待检测图像的光照强度、透射率和白平衡，并基于所述待检测图像的光照强度、透射率和白平衡对所述待检测图像进行去雾处理和白平衡处理；
使用合成雾算法对所述样本数据进行加雾处理，将加雾处理后的数据与所述样本数据进行合并，得到新数据集；
构建目标检测神经网络，通过所述新数据集对所述目标检测神经网络进行训练，使得训练好的所述目标检测神经网络能够识别出不同光照和雾环境下的目标；
利用所述训练好的所述目标检测神经网络对去雾处理和白平衡处理后的所述待检测图像进行检测，得到检测结果。
所述将所述样本数据划分为训练集、验证集和测试集前，还包括：
对所述样本数据进行数据增强处理，所述数据增强处理包括：色域变换、光照畸变、图像裁剪、随机对比度变换、随机比例缩放、随机左右翻转、随机上下翻转和Mixup数据增强。
所述参数预测神经网络为用于图像分割的深度卷积神经网络，由收缩路径和扩张路径组成，采用编码器-解码器结构；所述编码器包含四个部分，每个部分均由2个3×3卷积核和步长为2的2×2最大池化构成，并使用ReLU作为激活函数，用于对图像进行下采样；所述解码器包含四个部分，每个部分使用2×2的卷积核进行反卷积操作，再使用3×3的卷积核进行卷积，用于对图像进行上采样；所述用于图像分割的深度卷积神经网络将上采样结果与编码器中具有相同分辨率的子模块输出进行连接，并作为解码器下一个子模块的输入，最终通过一个1x1的卷积输出结果。
所述对所述待检测图像进行去雾处理具体为：
通过
Figure BDA0003838037830000021
进行去雾处理，其中，J(x)为去雾后的图像，I(x)为待检测图像，L为待检测图像的光照强度，t(x)为待检测图像的透射率。
所述待检测图像进行白平衡处理具体为：
通过J＝(Wrri,Wggi,Wbbi)进行白平衡处理，其中，ri，gi和bi分别为待检测图像的第i个像素点的RGB三个通道的值，Wr，Wg和Wb为待检测图像的白平衡，J为白平衡处理后的待检测图像的各个像素点像素值。
所述使用合成雾算法对所述样本数据进行加雾处理具体为：
获取所述样本数据中的单帧图像中每个像素的RGB分量最小值，并保存到与所述单帧图像大小相同的灰度图中，并对所述灰度图进行最小值滤波；
通过I′(x)＝J′(x)t′(x)-L′(1-t′(x))进行加雾处理，其中，I′(x)为加雾处理后的图像，J′(x)为经过最小值滤波后的灰度图；t′(x)为设置的透射率，L′为设置的光照强度。
所述设置的透射率通过
Figure BDA0003838037830000031
进行设置，其中，D表示雾气的厚度，w,h表示图像的像素坐标，wc,hc表示雾化的中心坐标，s表示雾化的尺寸。
所述目标检测神经网络为YOLOv5目标检测神经网络，所述YOLOv5目标检测神经网络包括输入端、骨干网络部分、颈部部分和检测头部分；所述骨干网络部分用于进行特征提取，所述颈部部分用于进行特征增强以及提取不同尺度对象的特征；所述检测头部分用于实现目标的检测。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
相比于传统数据集上的目标检测方法，本发明实现了在强/弱光照和薄雾复杂环境下的自适应目标检测，能够自动分析可见光相机的光照强度以及雾气条件并且进行适应增强，检测准确率高，鲁棒性高。本发明采用了混合方式对最新的目标检测算法YOLOv5进行训练，在训练中使用合成雾算法FA对数据进行增强，从而实现在雾天以及非雾天条件下检测都能得到良好的效果。本发明方法实现了可见光相机视频到行人与车辆的检测结果的端到端的检测，部署方法明确，操作简单。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式的算法结构图；
图3是本发明实施方式的不同光照与雾气条件下检测效果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种强/弱光照和雾环境自适应目标检测方法，该方法能够在一定光照条件和雾气条件下检测出行人和车辆等目标，具有良好的鲁棒性。如图1所示，具体包括以下步骤：
步骤1，采集可见光相机视频，并拆分为多张单帧图像，使用标注工具标注所述单帧图像的光照强度、透射率、白平衡以及目标信息，得到样本数据。本步骤中，在标注时可以采用mmLabelme标注工具完成，该mmLabelme标注工具是基于PyQt5开发的多模特图像目标及其状态标注工具，其可以集成YOLOv5目标检测神经网络以及训练好的权重和红外目标检测神经网络及其权重，能够对不同模态的图像进行自动检测并且标注出人与车辆等目标及ID，可以人工对标注进行微调；同时该工具还可以内置合成雾算法和单帧图像深度估计算法，能够获取到图像的深度信息，对不同深度的区域可以设置不同的光照强度与透射率，从而进行加雾；该工具还可以内置白平衡工具，可以使用滚轮修改图像RGB三个通道的白平衡参数，并实时观察白平衡后的图像。在标注时，首先使用mmLabelme加载原始的单帧图像，使用多边形工具筛选不同光照情况的区域，并且使用白平衡工具依次对每个区域进行白平衡，通过滚轮调整三个参数的大小，实时观察白平衡图像的效果，将效果较好的参数值作为真值保存到json文件中；使用内置的单目图像深度估计算法对图像的深度进行估计，获取图像中不同远近的区域，对较远区域设置较小的透射率，对较近区域设置较大的透射率，同时使用高斯分布或者均匀分布设置不同的光照强度L，利用内置的合成雾算法根据透射率和光照强度对原图像进行加雾处理，保存加雾后的图像，相应的光照强度和透射率作为其真值保存在json文件中。
步骤2，对获取的样本数据进行数据增强，并将处理后的数据划分为训练集、验证集和测试集。本步骤中，数据增强是针对人和车辆区域图像进行的，数据增强处理包括色域变换、光照畸变、图像裁剪、随机对比度变换、随机比例缩放、随机左右翻转、随机上下翻转和Mixup数据增强。
步骤3，构建参数预测神经网络，通过所述训练集对所述参数预测神经网络进行训练，使得训练好的所述参数预测神经网络能够对输入图像的光照强度、透射率和白平衡进行预测。
本步骤中的参数预测神经网络为用于图像分割的深度卷积神经网络，例如可以使用U-Net，其由收缩路径和扩张路径组成，采用编码器-解码器结构；所述编码器包含四个部分，每个部分均由2个3×3卷积核和步长为2的2×2最大池化构成，并使用ReLU作为激活函数，用于对图像进行下采样。编码操作能够充分提取图像的深层次特征，为后续的解码提供支撑。所述解码器包含四个部分，每个部分使用2×2的卷积核进行反卷积操作，再使用3×3的卷积核进行卷积，用于对图像进行上采样。解码器有大量的特征通道，使得网络可以将上下文信息传播到更高分辨率的层，从而获取到更多图像的纹理信息。本实施方式中U-net采取了跳跃连接，将上采样结果与编码器中具有相同分辨率的子模块输出进行连接，并作为解码器下一个子模块的输入，最终通过一个1x1的卷积输出结果。为了预测图像边界区域的像素，还通过镜像输入图像来推断缺失的上下文信息。
步骤4，利用训练好的所述参数预测神经网络预测待检测图像的光照强度、透射率和白平衡，并基于所述待检测图像的光照强度、透射率和白平衡对所述待检测图像进行去雾处理和白平衡处理。
本步骤中，去雾处理可以基于暗通道先验的方法，设计得到一个除雾滤波其，根据大气光散射模型可以得到：
Figure BDA0003838037830000051
由上式可知，可以通过待检测图像I(x)的光照强度L和待检测图像I(x)的透射率t(x)实现去雾处理，得到去雾后的图像J(x)。因此，本步骤通过参数预测神经网络预测待检测图像的光照强度和透射率后，便能实现对待检测图像进行去雾。
图像白平衡能够矫正颜色的偏差，以及提高图像的对比度。对于不同光照条件下的图像，白平衡能够在一定程度上消除光照条件对颜色的影响，从而正确地感知物体的颜色，能够增强目标检测与识别的效果。本步骤中，白平衡滤波器的映射函数为：J＝(Wrri,Wggi,Wbbi)。其中，ri，gi和bi分别为待检测图像的第i个像素点的RGB三个通道的值，Wr，Wg和Wb为待检测图像的白平衡，J为白平衡处理后的待检测图像的各个像素点像素值，即为白平衡参数与通道值的乘积和。
步骤5，使用合成雾算法对所述样本数据进行加雾处理，将加雾处理后的数据与所述样本数据进行合并，得到新数据集。
本步骤中的合成雾算法是针对彩色图像，根据暗通道先验原理，设置不同的光照强度和雾气厚度对原图像进行处理得到的雾气形成模型。彩色图像的每个像素点存储RGB三个颜色的数值，数值越大，则对应的颜色成分也越多。灰度图像是由彩色图像的RGB三个颜色合并为一个通道形成的，每个点用0到255来表示，数值为0时为纯黑，数值为255时为纯白。通常的情况下，对于大部分无雾彩色图像的无天空区域，像素中至少存在一个颜色通道存在着非常低的值，这个几乎等于零，因此，针对一个观测的图像，暗通道先验可以表达为：
Figure BDA0003838037830000061
其中，Jdark表示输出的灰度图，Jc表示单帧图像的每个通道，Ω(x)表示以该像素为中心的一个滤波窗口，即向获取每个像素RGB分量最小值，将其保存到与原图像大小相同的灰度图中，再对该灰度图进行最小值滤波。
暗通道先验中造成彩色图像中某个通道低值的原因主要是来自阴影、彩色物体或表面、黑色物体或者表面。在雾气图像中，雾气使得原图像添加了一层白色的雾气蒙版，因此其RGB三分通道的最小值均比较大。因此可以得到合成雾模型：I′(x)＝J′(x)t′(x)-L′(1-t′(x))。其中，I′(x)为加雾处理后的图像，J′(x)为经过最小值滤波后的灰度图；t′(x)为设置的透射率，L′为设置的光照强度。光照强度L′取值为0-1，代表输出图像中原始图像与雾气的占比，取值越大，原始图像占比越大，取值越小，雾气占比越大。针对图像中每个点设置合适的透射率，公式如下：
Figure BDA0003838037830000062
其中，D表示雾气的厚度，w,h表示图像的像素坐标，wc,hc表示雾化的中心坐标，s表示雾化的尺寸，为图像宽高最大值的平方根。
步骤6，构建目标检测神经网络，通过所述新数据集对所述目标检测神经网络进行训练，使得训练好的所述目标检测神经网络能够识别出不同光照和雾环境下的目标。
本步骤中目标检测神经网络可以是YOLOv5目标检测神经网络，其能够实现快速准确的目标检测与识别。YOLOv5目标检测神经网络主要包含了输入端、骨干网络部分(Backbone)、颈部部分(Neck)和检测头部分(Head)。
Backbone包含了Focus、CONV、SPP、CSP等模块，为检测网络提供了强大的特征提取能力。Focus模块对原始图像进行切片处理，使得感受野变为原来的四倍；CONV(Conv2D+BatchNorm+Relu)使用包含卷积、批归一化和激活函数的卷积块代替池化，作为不同层的中间链接；SPP为空间金字塔池化，能够自适应不同尺寸的子图像；CSP模块内部应用了残差网络结构，能够优化主干网络中的梯度信息。
Neck部分包含了FPN单元与PAN单元，主要进行特征增强以及提取不同尺度对象的特征。FPN单元通过上采样逐渐增大特征图的尺寸并且与CBL模块中卷积输出的特征图进行融合相加；PAN单元则通过下采样缩小特征图与FPN中得到的特征图进行融合，得到检测框。
Head部分能实现目标的检测，采用CONV代替了全连接层，能够有效减少参数量。
步骤7，利用所述训练好的所述目标检测神经网络对去雾处理和白平衡处理后的所述待检测图像进行检测，得到检测结果。
值得一提的是，在实际检测时，可以先训练好参数预测神经网络和目标检测神经网络，然后将训练好的参数预测神经网络与去雾处理和白平衡处理算法封装成一个自适应模块，再将该自适应模块与训练好的目标检测神经网络进行融合，从而形成一个二阶段端到端的网络(见图2)。当待检测的可见光视频文件输入至该网络后，即可实现行人与车辆等目标的检测识别。图3是不同光照与雾气条件下检测效果图，从图中可以看出在不同情况下均能够准确识别出行人和车辆。
不难发现，本发明实现了在强/弱光照和薄雾复杂环境下的自适应目标检测，能够自动分析可见光相机的光照强度以及雾气条件并且进行适应增强，检测准确率高，鲁棒性高。本发明采用了混合方式对最新的目标检测算法YOLOv5进行训练，在训练中使用合成雾算法FA对数据进行增强，从而实现在雾天以及非雾天条件下检测都能得到良好的效果。本发明方法实现了可见光相机视频到行人与车辆的检测结果的端到端的检测，部署方法明确，操作简单。

Claims (8)

1.一种强/弱光照和雾环境自适应目标检测方法，其特征在于，包括以下步骤：
采集可见光视频文件，并拆分为多张单帧图像，使用标注工具标注所述单帧图像的光照强度、透射率、白平衡以及目标信息，得到样本数据；
将所述样本数据划分为训练集、验证集和测试集；
构建参数预测神经网络，通过所述训练集对所述参数预测神经网络进行训练，使得训练好的所述参数预测神经网络能够对输入图像的光照强度、透射率和白平衡进行预测；
利用训练好的所述参数预测神经网络预测待检测图像的光照强度、透射率和白平衡，并基于所述待检测图像的光照强度、透射率和白平衡对所述待检测图像进行去雾处理和白平衡处理；
使用合成雾算法对所述样本数据进行加雾处理，将加雾处理后的数据与所述样本数据进行合并，得到新数据集；
构建目标检测神经网络，通过所述新数据集对所述目标检测神经网络进行训练，使得训练好的所述目标检测神经网络能够识别出不同光照和雾环境下的目标；
利用所述训练好的所述目标检测神经网络对去雾处理和白平衡处理后的所述待检测图像进行检测，得到检测结果。
2.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述将所述样本数据划分为训练集、验证集和测试集前，还包括：
对所述样本数据进行数据增强处理，所述数据增强处理包括：色域变换、光照畸变、图像裁剪、随机对比度变换、随机比例缩放、随机左右翻转、随机上下翻转和Mixup数据增强。
3.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述参数预测神经网络为用于图像分割的深度卷积神经网络，由收缩路径和扩张路径组成，采用编码器-解码器结构；所述编码器包含四个部分，每个部分均由2个3×3卷积核和步长为2的2×2最大池化构成，并使用ReLU作为激活函数，用于对图像进行下采样；所述解码器包含四个部分，每个部分使用2×2的卷积核进行反卷积操作，再使用3×3的卷积核进行卷积，用于对图像进行上采样；所述用于图像分割的深度卷积神经网络将上采样结果与编码器中具有相同分辨率的子模块输出进行连接，并作为解码器下一个子模块的输入，最终通过一个1x1的卷积输出结果。
4.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述对所述待检测图像进行去雾处理具体为：
通过
Figure FDA0003838037820000021
进行去雾处理，其中，J(x)为去雾后的图像，I(x)为待检测图像，L为待检测图像的光照强度，t(x)为待检测图像的透射率。
5.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述对所述待检测图像进行白平衡处理具体为：
通过J＝(Wrri,Wggi,Wbbi)进行白平衡处理，其中，ri，gi和bi分别为待检测图像的第i个像素点的RGB三个通道的值，Wr，Wg和Wb为待检测图像的白平衡，J为白平衡处理后的待检测图像的各个像素点像素值。
6.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述使用合成雾算法对所述样本数据进行加雾处理具体为：
获取所述样本数据中的单帧图像中每个像素的RGB分量最小值，并保存到与所述单帧图像大小相同的灰度图中，并对所述灰度图进行最小值滤波；
通过I′(x)＝J′(x)t′(x)-L′(1-t′(x))进行加雾处理，其中，I′(x)为加雾处理后的图像，J′(x)为经过最小值滤波后的灰度图；t′(x)为设置的透射率，L′为设置的光照强度。
7.根据权利要求6所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述设置的透射率通过
Figure FDA0003838037820000022
进行设置，其中，D表示雾气的厚度，w,h表示图像的像素坐标，wc,hc表示雾化的中心坐标，s表示雾化的尺寸。
8.根据权利要求1所述的强/弱光照和雾环境自适应目标检测方法，其特征在于，所述目标检测神经网络为YOLOv5目标检测神经网络，所述YOLOv5目标检测神经网络包括输入端、骨干网络部分、颈部部分和检测头部分；所述骨干网络部分用于进行特征提取，所述颈部部分用于进行特征增强以及提取不同尺度对象的特征；所述检测头部分用于实现目标的检测。
CN202211093671.8A 2022-09-08 2022-09-08 一种强/弱光照和雾环境自适应目标检测方法 Withdrawn CN115375991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211093671.8A CN115375991A (zh) 2022-09-08 2022-09-08 一种强/弱光照和雾环境自适应目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211093671.8A CN115375991A (zh) 2022-09-08 2022-09-08 一种强/弱光照和雾环境自适应目标检测方法

Publications (1)

Publication Number Publication Date
CN115375991A true CN115375991A (zh) 2022-11-22

Family

ID=84071479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093671.8A Withdrawn CN115375991A (zh) 2022-09-08 2022-09-08 一种强/弱光照和雾环境自适应目标检测方法

Country Status (1)

Country Link
CN (1) CN115375991A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824542A (zh) * 2023-06-13 2023-09-29 重庆市荣冠科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN107909005A (zh) 基于深度学习的监控场景下人物姿态识别方法
WO2021057069A1 (zh) 计算机执行的车辆定损方法及装置
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN108242061A (zh) 一种基于Sobel算子的超市购物车手部识别方法
CN111950457A (zh) 油田安全生产图像识别方法及系统
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN116994049A (zh) 全自动针织横机及其方法
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置
CN111696090A (zh) 一种无约束环境下人脸图像质量评估方法
CN111402185A (zh) 一种图像检测方法及装置
CN115601538A (zh) 目标检测方法及目标检测器、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221122

WW01 Invention patent application withdrawn after publication