CN116311254A - 一种恶劣天气情况下的图像目标检测方法、系统及设备 - Google Patents

一种恶劣天气情况下的图像目标检测方法、系统及设备 Download PDF

Info

Publication number
CN116311254A
CN116311254A CN202310579491.9A CN202310579491A CN116311254A CN 116311254 A CN116311254 A CN 116311254A CN 202310579491 A CN202310579491 A CN 202310579491A CN 116311254 A CN116311254 A CN 116311254A
Authority
CN
China
Prior art keywords
image
module
encoder
target detection
severe weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310579491.9A
Other languages
English (en)
Other versions
CN116311254B (zh
Inventor
黄斐然
李志颖
林舒源
吴俊豪
雷永嘉
昂思宁
陈奕铭
马芷淇
王兴宇
杨淯而
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202310579491.9A priority Critical patent/CN116311254B/zh
Publication of CN116311254A publication Critical patent/CN116311254A/zh
Application granted granted Critical
Publication of CN116311254B publication Critical patent/CN116311254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种恶劣天气情况下的图像目标检测方法、系统及设备，该方法包括下述步骤：采集在恶劣天气环境下的原始图像，预处理后得到雾霾图像和暗光图像，经过图像去噪滤波器得到对应的清晰化图像，经过掩码自编码器掩码编码再解码还原得到原图，构建正样本集合进行对比学习，更新编码器的参数，对图像数据集中的图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型编码得到Prompt向量编码，将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练，待检测的恶劣天气环境图像输入至目标检测模块得到图像分类信息与定位信息。本发明提高恶劣天气条件下图像目标检测的鲁棒性以及识别准确率。

Description

一种恶劣天气情况下的图像目标检测方法、系统及设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种恶劣天气情况下的图像目标检测方法、系统及设备。
背景技术
图像目标检测根据目标的几何与统计特征，实现图像目标的提取分割和分类识别，随人工智能技术的不断发展，芯片的计算性能持续提升，基于深度学习算法的目标检测技术在众多领域得到了广泛应用，如自动辅助泊车，自动驾驶派送，无人机野外巡航救援等，最常见的场景如行驶中的自动驾驶汽车、无人机等自动驾驶机器，需要持续感知并分析路况及周围环境，不断进行路线规划和修正，并预测路线范围中可能出现的潜在危险，及时规避以确保驾驶安全。
现有的目标检测模型不断发展，在实验环境中取得了不错的成果，但在实际应用下场受制于复杂环境而表现效果下降。这是由于目标检测模型通常是在良好天气条件下训练和测试的，而恶劣天气条件（如雨天，雾天，高湿度，高光照等）会导致图像变得模糊不清，导致性能下降；且针对恶劣天气环境下标签数据集较为稀缺，如进行数据的补充则需要大量的人力物力的投入，这对其广泛应用也带来了挑战。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种恶劣天气情况下的图像目标检测方法，本发明基于图像去噪滤波器对恶劣天气下捕捉到的图像去除噪声信息，使图像更加清晰，提高图像质量，基于掩码自编码器发掘图像深层的语义信息，消除图像数据中存在的冗余信息，提高恶劣天气条件下图像目标检测的鲁棒性。
本发明的第二目的在于提供一种恶劣天气情况下的图像目标检测系统；
本发明的第三目的在于提供一种计算机设备；
为了达到上述目的，本发明采用以下技术方案：
一种恶劣天气情况下的图像目标检测方法，包括下述步骤：
采集在恶劣天气环境下的原始图像，对原始图像进行加雾处理得到雾霾图像，对原始图像进行暗光处理得到暗光图像；
构建图像去噪滤波器和掩码自编码器，所述掩码自编码器包括编码器和解码器；
将雾霾图像、暗光图像输入至图像去噪滤波器，所述图像去噪滤波器对雾霾图像、暗光图像进行去噪，得到对应的清晰化图像；
将雾霾图像、暗光图像输入至掩码自编码器，将雾霾图像、暗光图像拆分为非重叠块，所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作，通过线性映射跟位置编码得到图像tokens，所述解码器将图像tokens经过图像重建解码还原得到原图；
将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，更新编码器的参数；
构建目标检测模块，所述目标检测模块包括编码单元和预测头，所述编码单元包括更新参数后的编码器和对抗调整器，并在编码单元的输入端设置文本描述Prompt模块，所述预测头与更新参数后的编码器的输出端连接；
获取有标签的图像数据集，对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数，文本描述Prompt模块对图像数据集中的图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型进行编码，得到Prompt向量编码，将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练，预测头输出图像分类信息与定位信息；
获取待检测的恶劣天气环境图像，将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
作为优选的技术方案，所述对原始图像进行加雾处理得到雾霾图像，具体包括：
根据标准光学模型的中心点合成雾的图像模拟雾霾方法对原始图像进行加雾处理，表示为：
Figure SMS_1
；
Figure SMS_2
；
其中，G(x)表示用于训练过程的雾霾图像，O(x)表示原始图像，β表示大气散射系数，d(x)表示图像场景参数，
Figure SMS_3
表示当前像素坐标至图像中心像素坐标的欧氏距离，row、col分别表示图像的行、列像素数目，A表示图像全景环境亮度。
作为优选的技术方案，所述图像去噪滤波器包括去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器；
所述去雾化滤波器采用具有可学习参数的除雾滤波器；
所述像素化滤波器包括白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块；
所述白平衡滤波模块用于调整图像的色温，所述伽马滤波模块用于调整图像的亮度，所述对比度滤波模块用于增强图像的对比度，所述色调滤波模块用于改变图像的色调；
所述锐化滤波器用于输出锐化后的图像，具体表示为：
Figure SMS_4
；
其中，
Figure SMS_5
表示锐化后的图像，P(x)表示输入图像，Gau(P(x))为高斯滤波器，/>
Figure SMS_6
为缩放因子，x表示图像中像素位置；
所述去暗光化滤波器采用伽马变换进行操作，具体表示为：
Figure SMS_7
；
其中，S是变换后的图像灰度值，r是原图像灰度值，c是常数，g是伽马系数。
作为优选的技术方案，将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，使用InfoNCE损失函数，具体表示为：
Figure SMS_8
；
其中，
Figure SMS_9
表示超参数，N表示对比集合中的样本数，/>
Figure SMS_10
、/>
Figure SMS_11
分别表示对应的正样本，若下标不一样则表示是负样本，/>
Figure SMS_12
表示若下标不同，则为1，否则为0。
作为优选的技术方案，所述对抗调整器包括扰动模块和调整模块，对于第i层，利用扰动掩码
Figure SMS_13
将均匀分布μ引入原始注意力权重/>
Figure SMS_14
中，在扰动模块中扰动过程如下：
Figure SMS_15
；
Figure SMS_16
；
其中，
Figure SMS_17
、/>
Figure SMS_18
和/>
Figure SMS_19
分别是扰动注意力权重、第i层的Query矩阵和Key矩阵，/>
Figure SMS_20
表示元素乘积符号，/>
Figure SMS_21
和/>
Figure SMS_22
表示两个可学习的矩阵；
扰动模块通过扰动掩码
Figure SMS_23
校准原始注意力权重/>
Figure SMS_24
，调整模块计算得到调整后的注意力权重/>
Figure SMS_25
，表示为：
Figure SMS_26
；
将调整后的注意力权重
Figure SMS_27
与原始注意力权重/>
Figure SMS_28
进行聚合，得到组合注意力权重
Figure SMS_29
，表示为：
Figure SMS_30
；
将组合注意力权重
Figure SMS_31
作为最终的经过扰动后的注意力权重。
作为优选的技术方案，对抗调整器使用交叉熵函数进行扰动损失和调整损失的计算，具体包括：
Figure SMS_32
；
Figure SMS_33
；
其中，
Figure SMS_34
表示扰动损失，/>
Figure SMS_35
表示调整损失，n表示注意力层层数。
作为优选的技术方案，预测头输出图像分类信息与定位信息，对分类信息采用多值交叉熵损失函数进行损失计算，表示为：
Figure SMS_36
；
其中，
Figure SMS_37
表示多值交叉熵损失函数，C表示类别数，/>
Figure SMS_38
表示目标类别，/>
Figure SMS_39
表示图像样本属于第i个类别的概率；
对定位信息采用Smooth L1函数进行损失计算，表示为：
Figure SMS_40
；
对于目标检测中的每个预测框
Figure SMS_41
和其对应的真实框/>
Figure SMS_42
，采用Smooth L1 Loss进行损失计算，表示为：
Figure SMS_43
；
其中，x、y表示框的中心点坐标，w、h表示的是框的宽度和高度，
Figure SMS_44
表示预测框/>
Figure SMS_45
的第j个坐标，/>
Figure SMS_46
表示真实框/>
Figure SMS_47
的第j个坐标，最终的定位损失是所有预测框的SmoothL1损失的平均值；
构建目标检测模块的目标函数，表示为：
Figure SMS_48
；
通过反向传播训练自注意力机制。
作为优选的技术方案，还包括检测结果筛选步骤，具体包括：
预设阈值对目标检测模块输出的图像分类信息与定位信息进行筛选，当目标出现重叠时使用非极大值抑制去除冗余的检测结果，保留置信度最高的检测结果。
为了达到上述第二目的，本发明采用以下技术方案：
一种恶劣天气情况下的图像目标检测系统，包括：原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块；
所述原始图像采集模块用于采集在恶劣天气环境下的原始图像；
所述加雾处理模块用于对原始图像进行加雾处理得到雾霾图像；
所述暗光处理模块用于对原始图像进行暗光处理得到暗光图像；
所述图像去噪滤波器构建模块用于构建图像去噪滤波器，所述图像去噪滤波器对雾霾图像、暗光图像进行去噪，得到对应的清晰化图像；
所述掩码自编码器构建模块用于构建掩码自编码器，所述掩码自编码器包括编码器和解码器；
所述掩码自编码器用于获取雾霾图像、暗光图像，将雾霾图像、暗光图像拆分为非重叠块，所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作，通过线性映射跟位置编码得到图像tokens，所述解码器将图像tokens经过图像重建解码还原得到原图；
所述对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，更新编码器的参数；
所述目标检测模块构建模块用于构建目标检测模块，所述目标检测模块包括编码单元和预测头，所述编码单元包括更新参数后的编码器和对抗调整器，所述预测头与更新参数后的编码器的输出端连接；
所述文本描述Prompt模块设置在编码单元的输入端；
所述对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数；所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型进行编码，得到Prompt向量编码；
所述目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练；
所述预测头输出图像分类信息与定位信息；
所述目标检测结果输出模块用于获取待检测的恶劣天气环境图像，将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
为了达到上述第三目的，本发明采用以下技术方案：
一种计算机设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述恶劣天气情况下的图像目标检测方法。
本发明与现有技术相比，具有如下优点和有益效果：
（1）本发明基于图像去噪滤波器对恶劣天气下捕捉到的图像去除噪声信息，使图像更加清晰，提高图像质量，基于掩码自编码器发掘图像深层的语义信息，消除图像数据中存在的冗余信息，提高恶劣天气条件下图像目标检测的鲁棒性，具体来说，在编码器部分对图像进行掩码操作，以去除部分冗余信息；在解码器部分通过深层的语义信息重建图像，得到更加鲁棒的特征表达。
（2）本发明将掩码自编码器输出的掩码重建后的图像以及经过图像去噪滤波器的清晰图像作为在真实恶劣天气环境下原始图像的正样本数据，通过对比学习的方式得到鲁棒性更强的特征表达，提高恶劣天气情况下的图像目标检测的识别准确率。
附图说明
图1为本发明恶劣天气情况下的图像目标检测方法的流程示意图；
图2为本发明预训练过程中的图像去噪滤波器和掩码自编码器的框架示意图；
图3为本发明目标检测模块进行图像目标检测的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种恶劣天气情况下的图像目标检测方法，具体包括下述步骤：
S1：图像预处理：采集在真实的恶劣天气环境下的原始图像，形成源数据集，对源数据集中的原始图像进行加雾处理及暗光处理，得到雾霾图像和暗光图像；
具体步骤包括：
S11：对数据集中的原始图像进行加雾处理，得到雾霾图像；
在本实施例中，根据标准光学模型的中心点合成雾的图像模拟雾霾方法对数据集中的原始图像进行加雾预处理，以模拟浓雾霾天气效果并扩充数据集，对于原始图像O(x)，其对应用于训练过程的雾霾图像G(x)计算如下：
Figure SMS_49
；
其中，O(x)表示原始图像，A表示图像全景环境亮度（大气光照），t(x)表示介质透视映射图，具体表示为：
Figure SMS_50
；
其中，β表示介质系数，即大气散射系数；d(x)表示图像场景参数，具体计算公式如下：
Figure SMS_51
；
其中，
Figure SMS_52
表示当前像素坐标至图像中心像素坐标的欧氏距离；row、col分别表示图像的行、列像素数目；
综上所述，加雾处理的处理过程简化公式如下：
Figure SMS_53
；
在本实施例中，全景环境亮度A值设为0.5；介质系数β由
Figure SMS_54
计算得到，i为区间[0, 9]之间的随机整数。由此，对于每一张原始清晰图像，最多可生成10种不同雾霾浓度效果的雾霾图像。
S12：对数据集中的原始图像进行暗光处理，得到暗光图像；
在本实施例中，使用图像模拟暗光方法，对数据集中的原始图像进行暗光处理，以模拟弱光照环境并扩充数据集，具体过程如下：
对于每一张原始图像X，X中的每一个像素x作如下变换：
Figure SMS_55
；
其中，参数γ的值由值域为[1.5，5]的均匀分布中随机获取。
S2：如图2所示，构建图像去噪滤波器和掩码自编码器，将雾霾图像、暗光图像同时输入至图像去噪滤波器、掩码自编码器中，其中，图像去噪滤波器对图像进行去噪的操作，去除掉恶劣天气下带来的噪声信息，得到一个清晰化的图像，掩码自动编码器采用了非对称的编码-解码器结构，对图像进行一个掩码编码再解码还原的操作，具体步骤包括：
S21：构建图像去噪滤波器，对图像进行去噪的操作，图像去噪滤波器包括：去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器，各个滤波器遵循可微性、分辨率独立的原则，可以通过反向传播训练网络，并且各个滤波器之前并不限定其先后处理的顺序；
在本实施例中，从下采样的大小为256×256的低分辨率图像中学习滤波器参数，然后将相同的滤波器应用到原始分辨率的图像中，因此，这些过滤器需要独立于图像分辨率，在这些滤波器中，除雾滤波器是专门为大雾场景设计的，去暗光化滤波器是专门为弱光照场景设计的。
在本实施例中，去雾化滤波器是一个具有可学习参数的除雾滤波器，基于大气散射模型，用于训练及测试过程的雾霾图像I(x)的形成可以表述为：
Figure SMS_56
；
当用于训练过程时，雾霾图像I(x)即为上述的雾霾图像G(x)，为了恢复干净图像
Figure SMS_57
，关键是获取大气光A和透射图/>
Figure SMS_58
。在这里先计算透射图，选择最亮的1000个像素，然后对用于训练及测试过程的雾霾图像/>
Figure SMS_59
的1000个像素平均估计A，通过推导：
Figure SMS_60
；
通过反向传播优化
Figure SMS_61
使得除雾滤波器更有利于雾天图像的检测，其中C是一个常数，用来避免透射率为0的情况，y是一个指数参数，用来调整透射率的分布。在这里，C=0.1,y=0.8；
在本实施例中，像素化滤波器包括：白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块；
其中，白平衡滤波模块（White Balance Filtering Module）：用于调整图像的色温，使其更接近自然光照下的颜色；伽马滤波模块（Gamma Filtering Module）：用于调整图像的亮度，使其更适合人眼观察；对比度滤波模块（Contrast Filtering Module）：用于增强图像的对比度，使其更清晰；色调滤波模块（Hue Filtering Module）：用于改变图像的色调，使其更鲜艳。
像素化滤波器映射一个输入像素值
Figure SMS_62
转换为输出像素值
Figure SMS_63
，其中(r,g,b)分别表示红绿蓝三个颜色通道的值；
在本实施例中，锐化滤波器可以突出图像的细节，具体如下：
Figure SMS_64
；
其中，P(x)为输入图像，
Figure SMS_65
为高斯滤波器，/>
Figure SMS_66
为缩放因子，x表示图像中像素位置，锐化程度可以通过优化/>
Figure SMS_67
调优性能；
在本实施例中，去暗光化滤波器基于对比度增强算法实现的，具体采用伽马变换进行操作，具体如下：
Figure SMS_68
；
其中，S是变换后的图像灰度值，r是原图像灰度值，c是常数，g是伽马系数，能够有效地提高图像的对比度，增强图像中的细节。
S22：构建掩码自编码器，图像进行掩码编码再解码还原的操作，具体步骤包括：
将图像拆分为非重叠块，基于服从均匀分布的无重复随机采样图像块进行掩码操作，本实施例采用了高掩码比例75%，高掩码比例的随机采样可以极大程度消除冗余，进而构建一个不会轻易的被近邻块推理解决的图像重建任务，即用编码器（Encoder）提取图像特征，然后用解码器（Decoder）恢复被掩码的图像区域。高掩码比例可以使得编码器学习到更多的全局信息和语义信息，而不是只依赖于局部信息和低级信息。
通过线性映射跟位置编码得到图像tokens，其中，线性映射基于一个全连接层（Fully Connected Layer）将每个图像块的像素值映射到一个低维向量。位置编码是一种给每个图像块添加位置信息的方法，可以用于区分不同位置的图像块，本实施例基于正弦余弦函数（SinusoidalFunction）作为位置编码。
在预训练过程中，掩码自编码器包括编码器和解码器，其中，编码器采用VisionTransformer架构，只作用于还没有进行掩码操作的图像块，通过线性投影编码图片，将图像块编码为向量，再加上位置编码，送入到一堆连续的Transformer块中，得到没有进行掩码操作图像tokens的表征；
解码器也采用Vision Transformer架构，将进行掩码操作的图像tokens结合没有进行掩码操作的图像tokens，全部输入到解码器中，最终还原成原图；
在本实施例中，图像进行掩码编码再解码还原的操作，是采用自监督学习范式，让模型通过掩码编码再解码还原，进行图像重建的过程去抓取到图像中最为本质的特征，解码器按照初始的图像块的位置进行复位，经过图像重建还原得到原图。
S3：获取无标签的图像数据集，基于对比学习预训练掩码自编码器进行对比学习；
在本实施例中，无标签的图像数据集采用一些大型的开源数据集比如COCO、VOC等数据，或者在实际应用中真实世界中捕捉到的大量的数据集，整个对比学习过程，目的是优化掩码自编码器的能力，更新掩码自编码器的信息提取能力，因为掩码自编码器的图像重建任务依靠的是编码器那部分对图像信息提取的能力，该部分的提取能力越强，则图像重建任务表现越好；
本实施例的图像去噪滤波器跟掩码自编码器输出的结果，因为都是来自同一张图像，所以看成是一对正样本，所表达的语义信息是相近的，而不同的图像为负样本，通过构建这样的任务，进行对比学习，使用InfoNCE损失函数，具体公式如下：
Figure SMS_69
；
其中，
Figure SMS_70
是一个超参数，N表示对比集合中的样本数，/>
Figure SMS_71
、/>
Figure SMS_72
指的是正样本（即经过滤波器去噪后以及掩码自编码器后的图片），下标不一样，则表示是负样本，/>
Figure SMS_73
表示若下标不同，则为1，否则为0；
本实施例的预训练步骤最主要的是为了利用无标签的数据集来训练掩码自编码器中的编码器的信息提取能力，解码器是利用编码器提取到的信息进行图像还原任务，在目标检测任务中利用解码器的信息提取能力为后续操作提供助力。
S4：如图3所示，获取有标签的图像数据集，即带有标注信息的数据，构建目标检测模块进行图像目标检测，输出图像目标的分类结果和定位结果；
在本实施中，目标检测模块包括：编码单元和预测头，其中，编码单元包括预训练后的编码器和对抗调整器；
本实施例编码器使用的是Vision Transformer架构，Vision Transformer的主体采用的都是自注意力机制，在恶劣天气情况下，该自注意力机制会给那些对预测结果影响有限的区域块分配高的注意力权重，从而导致不准确的检测，因此在编码单元设置对抗调整器，根据每个区域块对预测的贡献重新分配注意力分数，采用了可学习的掩码，通过扭曲原始注意力矩阵估计贡献，并采用对抗性损失指导其训练过程；
本实施例的对抗调整器包括扰动模块和调整模块，对于第i层，利用扰动掩码
Figure SMS_74
将均匀分布μ引入原始注意力权重/>
Figure SMS_75
中，在扰动模块中扰动过程如下：
Figure SMS_76
；
Figure SMS_77
；
其中，
Figure SMS_78
、/>
Figure SMS_79
和/>
Figure SMS_80
分别是扰动注意力权重、第i层的Query矩阵和Key矩阵，/>
Figure SMS_81
表示元素乘积符号，/>
Figure SMS_82
和/>
Figure SMS_83
是两个可学习的矩阵；
扰动模块通过扰动掩码
Figure SMS_84
去除决定性信息来降低模型的性能，即扰动掩码/>
Figure SMS_85
揭示了原始注意力权重/>
Figure SMS_86
中的关键部分，通过突出显示重要部分来校准原始注意力权重/>
Figure SMS_87
，调整模块计算得到调整后的注意力权重/>
Figure SMS_88
，表示为：
Figure SMS_89
；
通过将大的扰动分配给对模型的输出较为重要的信息项，是为了增加在原始注意力权重
Figure SMS_90
中的注意力权重。在计算了调整后的注意力权重/>
Figure SMS_91
之后，将其与原始注意力权重
Figure SMS_92
进行聚合，得到组合注意力权重/>
Figure SMS_93
，表示为：
Figure SMS_94
；
经过调整后的
Figure SMS_95
作为最后的扰动注意力权重；
本实施例使用交叉熵函数进行扰动损失和调整损失的计算：
Figure SMS_96
；
Figure SMS_97
；
其中，
Figure SMS_98
表示扰动损失，/>
Figure SMS_99
表示调整损失，/>
Figure SMS_100
表示经过扰动后的注意力权重，/>
Figure SMS_101
表示原始注意力权重。在调整损失中，是为了限制注意力权重的范围，具体来说，调整损失可以通过限制注意力权重的值域在[0, 1]之间来保证其有效性和合理性。在/>
Figure SMS_102
中前面是为了限制注意力权重的下界为0，后面是为了限制注意力权重的上界为1。
本实施例还在模型中加入了语言模态的信息，使用多种模态的信息来进行目标检测任务，具体操作如下：
在编码单元的输入端，设置文本描述Prompt模块，可以通过输入一个简短的文本描述，引导VisionTransformer在图像中寻找指定的目标，该部分是步骤S3的预训练阶段，主要是通过对比学习来训练图2中的掩码自编码器中的编码器的信息提取能力。在训练阶段，利用预训练好的编码器来进行信息的提取。在编码器的输入端，除了输入图像，还要结合语言模态下的信息（即使用Prompt模块对文字信息进行编码）共同输入到编码器中，通过两种模态信息的交融，来指导目标检测任务。例如，可以使用以下文本描述Prompt来指导编码器在黑夜中寻找一辆自行车：在黑夜图像中寻找一辆自行车。将文本描述Prompt和带标签的图像输入到编码器当中，这里采用Prompt要与整体的背景相匹配，该场景是针对恶劣天气下（雾天、暗光条件）的目标检测，那么Prompt要着重描述两种天气特性，以及物体的大小和形状。结合Prompt技术来进行目标检测的具体操作如下：
1、数据准备，对所使用到的数据集，每张图片编写自然语言描述的Prompt，例如“在雾天环境下找到所有的车和人”；
2、Prompt编码：将每个Prompt编码为向量表示，使用Bert预训练模型进行编码；
3、Prompt编码跟图像特征进行结合：将每个Prompt向量与对应的图像特征结合，使用加权求和，得到一个联合表示；
4、训练：将联合表示，放入到编码器中进行训练，然后再经过预测头去输出分类信息和定位信息，通过反向传播来进行模型的优化。通过学习将Prompt向量和图像特征进行相关联的两种模态信息融合的方式，并在图像中找到匹配查询的对象，来促进目标检测性能。
在本实施例中，在编码器的尾部接上一个预测头，作用是为了输出分类信息跟定位信息。从编码器输出的向量，即融合了文字和图像两种模态信息后得到最后的图像特征，拿到这个特征，需要去完成后续的目标检测任务。需要利用预测头来完成这个任务，该预测头会将图像特征进行不同的处理，针对分类信息，先经过一个全连接层后，采用Softmax方法，得出对应类别的分数，然后取最大；针对定位信息，将其经过一个全连接层来输出位置信息。具体的损失函数涉及如下：
对分类信息而言，采用多值交叉熵函数来进行损失计算：
Figure SMS_103
；
上式为多值交叉熵损失函数的公式，其中C表示类别数，
Figure SMS_104
表示该样本（这里的样本表示的是框出来的那个目标类别，例如车、人、猫等是否属于第i个类别，若属于为1，否则为0）；/>
Figure SMS_105
为该样本属于第i个类别的概率。该损失函数的含义是，对于每个类别，如果真实标签为该类别，就计算该类别的预测概率的对数，否则不计算。最终的损失是所有类别的损失之和的相反数。
对定位信息而言，采用Smooth L1函数进行损失计算：
Figure SMS_106
；
对于目标检测中的每个预测框
Figure SMS_107
和其对应的真实框/>
Figure SMS_108
，Smooth L1 Loss 的计算方式如下：
Figure SMS_109
；
其中，x,y,w,h表示是框的坐标信息，x、y表示框的中心点坐标，w、h表示的是框的宽度和高度，
Figure SMS_110
表示预测框/>
Figure SMS_111
的第j个坐标，/>
Figure SMS_112
表示真实框/>
Figure SMS_113
的第j个坐标，最终的定位损失是所有预测框的SmoothL1损失的平均值。
因此，最后的目标函数就按照：
Figure SMS_114
；
这样的目标函数，将扰动损失、调整损失与目标检测任务的目标函数综合起来，通过反向传播来训练自注意力机制，可以训练模型的鲁棒性，以及泛化能力，并且还能将学习效果共享到目标检测器中，提升目标检测器的性能。
测试过程：采用真实世界捕捉到的真实图像，输入到训练好的模型中(加载微调后的模型权重)，进行推理，预设阈值对预测的结果进行筛选，当目标出现重叠时使用非极大值抑制(Non-Maximum Suppression，NMS)来去除冗余的检测结果。NMS可以保留置信度最高的检测结果，同时去除重叠的检测结果。
实施例2
本实施例除以下技术内容外，其余技术内容与实施例1相同；
本实施例提供一种恶劣天气情况下的图像目标检测系统，包括：原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块；
在本实施例中，原始图像采集模块用于采集在恶劣天气环境下的原始图像；
在本实施例中，加雾处理模块用于对原始图像进行加雾处理得到雾霾图像；
在本实施例中，暗光处理模块用于对原始图像进行暗光处理得到暗光图像；
在本实施例中，图像去噪滤波器构建模块用于构建图像去噪滤波器，所述图像去噪滤波器对雾霾图像、暗光图像进行去噪，得到对应的清晰化图像；
在本实施例中，掩码自编码器构建模块用于构建掩码自编码器，所述掩码自编码器包括编码器和解码器；
在本实施例中，掩码自编码器用于获取雾霾图像、暗光图像，将雾霾图像、暗光图像拆分为非重叠块，所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作，通过线性映射跟位置编码得到图像tokens，所述解码器将图像tokens经过图像重建解码还原得到原图；
在本实施例中，对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，更新编码器的参数；
在本实施例中，目标检测模块构建模块用于构建目标检测模块，所述目标检测模块包括编码单元和预测头，所述编码单元包括更新参数后的编码器和对抗调整器，所述预测头与更新参数后的编码器的输出端连接；
在本实施例中，文本描述Prompt模块设置在编码单元的输入端；
在本实施例中，对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数；所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型进行编码，得到Prompt向量编码；
在本实施例中，目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练；
在本实施例中，预测头输出图像分类信息与定位信息；
在本实施例中，目标检测结果输出模块用于获取待检测的恶劣天气环境图像，将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
实施例3
本实施例提供一种计算机设备，该计算机设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算机设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的恶劣天气情况下的图像目标检测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种恶劣天气情况下的图像目标检测方法，其特征在于，包括下述步骤：
采集在恶劣天气环境下的原始图像，对原始图像进行加雾处理得到雾霾图像，对原始图像进行暗光处理得到暗光图像；
构建图像去噪滤波器和掩码自编码器，所述掩码自编码器包括编码器和解码器；
将雾霾图像、暗光图像输入至图像去噪滤波器，所述图像去噪滤波器对雾霾图像、暗光图像进行去噪，得到对应的清晰化图像；
将雾霾图像、暗光图像输入至掩码自编码器，将雾霾图像、暗光图像拆分为非重叠块，所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作，通过线性映射跟位置编码得到图像tokens，所述解码器将图像tokens经过图像重建解码还原得到原图；
将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，更新编码器的参数；
构建目标检测模块，所述目标检测模块包括编码单元和预测头，所述编码单元包括更新参数后的编码器和对抗调整器，并在编码单元的输入端设置文本描述Prompt模块，所述预测头与更新参数后的编码器的输出端连接；
获取有标签的图像数据集，对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数，文本描述Prompt模块对图像数据集中的图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型进行编码，得到Prompt向量编码，将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练，预测头输出图像分类信息与定位信息；
获取待检测的恶劣天气环境图像，将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
2.根据权利要求1所述的恶劣天气情况下的图像目标检测方法，其特征在于，所述对原始图像进行加雾处理得到雾霾图像，具体包括：
根据标准光学模型的中心点合成雾的图像模拟雾霾方法对原始图像进行加雾处理，表示为：
Figure QLYQS_1
；
Figure QLYQS_2
；
其中，G(x)表示用于训练过程的雾霾图像，O(x)表示原始图像，β表示大气散射系数，d(x)表示图像场景参数，
Figure QLYQS_3
表示当前像素坐标至图像中心像素坐标的欧氏距离，row、col分别表示图像的行、列像素数目，A表示图像全景环境亮度。
3.根据权利要求1所述的恶劣天气情况下的图像目标检测方法，其特征在于，所述图像去噪滤波器包括去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器；
所述去雾化滤波器采用具有可学习参数的除雾滤波器；
所述像素化滤波器包括白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块；
所述白平衡滤波模块用于调整图像的色温，所述伽马滤波模块用于调整图像的亮度，所述对比度滤波模块用于增强图像的对比度，所述色调滤波模块用于改变图像的色调；
所述锐化滤波器用于输出锐化后的图像，具体表示为：
Figure QLYQS_4
；
其中，
Figure QLYQS_5
表示锐化后的图像，P(x)表示输入图像，Gau(P(x))为高斯滤波器，/>
Figure QLYQS_6
为缩放因子，x表示图像中像素位置；
所述去暗光化滤波器采用伽马变换进行操作，具体表示为：
Figure QLYQS_7
；
其中，S是变换后的图像灰度值，r是原图像灰度值，c是常数，g是伽马系数。
4.根据权利要求1所述的恶劣天气情况下的图像目标检测方法，其特征在于，将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，使用InfoNCE损失函数，具体表示为：
Figure QLYQS_8
；
其中，
Figure QLYQS_9
表示超参数，N表示对比集合中的样本数，/>
Figure QLYQS_10
、/>
Figure QLYQS_11
分别表示对应的正样本，若下标不一样则表示是负样本，/>
Figure QLYQS_12
表示若下标不同，则为1，否则为0。
5.根据权利要求1所述的恶劣天气情况下的图像目标检测方法，其特征在于，所述对抗调整器包括扰动模块和调整模块，对于第i层，利用扰动掩码
Figure QLYQS_13
将均匀分布μ引入原始注意力权重/>
Figure QLYQS_14
中，在扰动模块中扰动过程如下：
Figure QLYQS_15
；
Figure QLYQS_16
；
其中，
Figure QLYQS_17
、/>
Figure QLYQS_18
和/>
Figure QLYQS_19
分别是扰动注意力权重、第i层的Query矩阵和Key矩阵，/>
Figure QLYQS_20
表示元素乘积符号，/>
Figure QLYQS_21
和/>
Figure QLYQS_22
表示两个可学习的矩阵；
扰动模块通过扰动掩码
Figure QLYQS_23
校准原始注意力权重/>
Figure QLYQS_24
，调整模块计算得到调整后的注意力权重/>
Figure QLYQS_25
，表示为：
Figure QLYQS_26
；
将调整后的注意力权重
Figure QLYQS_27
与原始注意力权重/>
Figure QLYQS_28
进行聚合，得到组合注意力权重/>
Figure QLYQS_29
，表示为：
Figure QLYQS_30
；
将组合注意力权重
Figure QLYQS_31
作为最终的经过扰动后的注意力权重。
6.根据权利要求5所述的恶劣天气情况下的图像目标检测方法，其特征在于，对抗调整器使用交叉熵函数进行扰动损失和调整损失的计算，具体包括：
Figure QLYQS_32
；
Figure QLYQS_33
；
其中，
Figure QLYQS_34
表示扰动损失，/>
Figure QLYQS_35
表示调整损失，n表示注意力层层数。
7.根据权利要求6所述的恶劣天气情况下的图像目标检测方法，其特征在于，预测头输出图像分类信息与定位信息，对分类信息采用多值交叉熵损失函数进行损失计算，表示为：
Figure QLYQS_36
；
其中，
Figure QLYQS_37
表示多值交叉熵损失函数，C表示类别数，/>
Figure QLYQS_38
表示目标类别，/>
Figure QLYQS_39
表示图像样本属于第i个类别的概率；
对定位信息采用Smooth L1函数进行损失计算，表示为：
Figure QLYQS_40
；
对于目标检测中的每个预测框
Figure QLYQS_41
和其对应的真实框/>
Figure QLYQS_42
，采用Smooth L1 Loss进行损失计算，表示为：
Figure QLYQS_43
；
其中，x、y表示框的中心点坐标，w、h表示的是框的宽度和高度，
Figure QLYQS_44
表示预测框/>
Figure QLYQS_45
的第j个坐标，/>
Figure QLYQS_46
表示真实框/>
Figure QLYQS_47
的第j个坐标，最终的定位损失是所有预测框的SmoothL1损失的平均值；
构建目标检测模块的目标函数，表示为：
Figure QLYQS_48
；
通过反向传播训练自注意力机制。
8.根据权利要求1所述的恶劣天气情况下的图像目标检测方法，其特征在于，还包括检测结果筛选步骤，具体包括：
预设阈值对目标检测模块输出的图像分类信息与定位信息进行筛选，当目标出现重叠时使用非极大值抑制去除冗余的检测结果，保留置信度最高的检测结果。
9.一种恶劣天气情况下的图像目标检测系统，其特征在于，包括：原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块；
所述原始图像采集模块用于采集在恶劣天气环境下的原始图像；
所述加雾处理模块用于对原始图像进行加雾处理得到雾霾图像；
所述暗光处理模块用于对原始图像进行暗光处理得到暗光图像；
所述图像去噪滤波器构建模块用于构建图像去噪滤波器，所述图像去噪滤波器对雾霾图像、暗光图像进行去噪，得到对应的清晰化图像；
所述掩码自编码器构建模块用于构建掩码自编码器，所述掩码自编码器包括编码器和解码器；
所述掩码自编码器用于获取雾霾图像、暗光图像，将雾霾图像、暗光图像拆分为非重叠块，所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作，通过线性映射跟位置编码得到图像tokens，所述解码器将图像tokens经过图像重建解码还原得到原图；
所述对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习，更新编码器的参数；
所述目标检测模块构建模块用于构建目标检测模块，所述目标检测模块包括编码单元和预测头，所述编码单元包括更新参数后的编码器和对抗调整器，所述预测头与更新参数后的编码器的输出端连接；
所述文本描述Prompt模块设置在编码单元的输入端；
所述对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数；所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述，文本描述经过Bert模型进行编码，得到Prompt向量编码；
所述目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练；
所述预测头输出图像分类信息与定位信息；
所述目标检测结果输出模块用于获取待检测的恶劣天气环境图像，将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
10.一种计算机设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-8任一项所述恶劣天气情况下的图像目标检测方法。
CN202310579491.9A 2023-05-23 2023-05-23 一种恶劣天气情况下的图像目标检测方法、系统及设备 Active CN116311254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310579491.9A CN116311254B (zh) 2023-05-23 2023-05-23 一种恶劣天气情况下的图像目标检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310579491.9A CN116311254B (zh) 2023-05-23 2023-05-23 一种恶劣天气情况下的图像目标检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116311254A true CN116311254A (zh) 2023-06-23
CN116311254B CN116311254B (zh) 2023-09-15

Family

ID=86815322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310579491.9A Active CN116311254B (zh) 2023-05-23 2023-05-23 一种恶劣天气情况下的图像目标检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116311254B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447767A2 (en) * 2003-02-13 2004-08-18 Canon Kabushiki Kaisha Image document administration method
CN113159120A (zh) * 2021-03-15 2021-07-23 浙江工商大学 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN114419151A (zh) * 2021-12-31 2022-04-29 福州大学 一种基于对比学习的多目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447767A2 (en) * 2003-02-13 2004-08-18 Canon Kabushiki Kaisha Image document administration method
CN113159120A (zh) * 2021-03-15 2021-07-23 浙江工商大学 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN114419151A (zh) * 2021-12-31 2022-04-29 福州大学 一种基于对比学习的多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNTING PAN ET AL.: "ST-Adapter: Parameter-Efficient Image-to-Video Transfer Learning", ARXIV:2206.13559V3 [CS.CV], pages 1 - 21 *
刘扬: "基于残差聚集网的恶劣天气环境下图像清晰化处理", 指挥控制与仿真, vol. 42, no. 2, pages 46 - 52 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116758562B (zh) * 2023-08-22 2023-12-08 杭州实在智能科技有限公司 通用文本验证码识别方法及系统
CN116957988A (zh) * 2023-08-28 2023-10-27 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法
CN116957988B (zh) * 2023-08-28 2024-03-08 南京航空航天大学 一种目标检测驱动的潜望镜图像复原表征学习方法

Also Published As

Publication number Publication date
CN116311254B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN111368846B (zh) 一种基于边界语义分割的道路积水识别方法
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
Cheng et al. A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN117115641B (zh) 建筑物信息提取方法、装置、电子设备及存储介质
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN112950521B (zh) 一种图像去雾方法及生成器网络
CN114155165A (zh) 一种基于半监督的图像去雾方法
Li et al. Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement
Shun et al. Research on remote sensing image extraction based on deep learning
CN113255704A (zh) 一种基于局部二值模式的像素差卷积边缘检测方法
Gao et al. CP-Net: Channel attention and pixel attention network for single image dehazing
Zhou et al. Underwater occluded object recognition with two-stage image reconstruction strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant