CN116311254B - 一种恶劣天气情况下的图像目标检测方法、系统及设备 - Google Patents
一种恶劣天气情况下的图像目标检测方法、系统及设备 Download PDFInfo
- Publication number
- CN116311254B CN116311254B CN202310579491.9A CN202310579491A CN116311254B CN 116311254 B CN116311254 B CN 116311254B CN 202310579491 A CN202310579491 A CN 202310579491A CN 116311254 B CN116311254 B CN 116311254B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- encoder
- target detection
- severe weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000009827 uniform distribution Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000000873 masking effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000030609 dephosphorylation Effects 0.000 description 1
- 238000006209 dephosphorylation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Nonlinear Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种恶劣天气情况下的图像目标检测方法、系统及设备,该方法包括下述步骤:采集在恶劣天气环境下的原始图像,预处理后得到雾霾图像和暗光图像,经过图像去噪滤波器得到对应的清晰化图像,经过掩码自编码器掩码编码再解码还原得到原图,构建正样本集合进行对比学习,更新编码器的参数,对图像数据集中的图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型编码得到Prompt向量编码,将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练,待检测的恶劣天气环境图像输入至目标检测模块得到图像分类信息与定位信息。本发明提高恶劣天气条件下图像目标检测的鲁棒性以及识别准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种恶劣天气情况下的图像目标检测方法、系统及设备。
背景技术
图像目标检测根据目标的几何与统计特征,实现图像目标的提取分割和分类识别,随人工智能技术的不断发展,芯片的计算性能持续提升,基于深度学习算法的目标检测技术在众多领域得到了广泛应用,如自动辅助泊车,自动驾驶派送,无人机野外巡航救援等,最常见的场景如行驶中的自动驾驶汽车、无人机等自动驾驶机器,需要持续感知并分析路况及周围环境,不断进行路线规划和修正,并预测路线范围中可能出现的潜在危险,及时规避以确保驾驶安全。
现有的目标检测模型不断发展,在实验环境中取得了不错的成果,但在实际应用下场受制于复杂环境而表现效果下降。这是由于目标检测模型通常是在良好天气条件下训练和测试的,而恶劣天气条件(如雨天,雾天,高湿度,高光照等)会导致图像变得模糊不清,导致性能下降;且针对恶劣天气环境下标签数据集较为稀缺,如进行数据的补充则需要大量的人力物力的投入,这对其广泛应用也带来了挑战。
发明内容
为了克服现有技术存在的缺陷与不足,本发明提供一种恶劣天气情况下的图像目标检测方法,本发明基于图像去噪滤波器对恶劣天气下捕捉到的图像去除噪声信息,使图像更加清晰,提高图像质量,基于掩码自编码器发掘图像深层的语义信息,消除图像数据中存在的冗余信息,提高恶劣天气条件下图像目标检测的鲁棒性。
本发明的第二目的在于提供一种恶劣天气情况下的图像目标检测系统;
本发明的第三目的在于提供一种计算机设备;
为了达到上述目的,本发明采用以下技术方案:
一种恶劣天气情况下的图像目标检测方法,包括下述步骤:
采集在恶劣天气环境下的原始图像,对原始图像进行加雾处理得到雾霾图像,对原始图像进行暗光处理得到暗光图像;
构建图像去噪滤波器和掩码自编码器,所述掩码自编码器包括编码器和解码器;
将雾霾图像、暗光图像输入至图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
将雾霾图像、暗光图像输入至掩码自编码器,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,并在编码单元的输入端设置文本描述Prompt模块,所述预测头与更新参数后的编码器的输出端连接;
获取有标签的图像数据集,对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数,文本描述Prompt模块对图像数据集中的图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码,将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练,预测头输出图像分类信息与定位信息;
获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
作为优选的技术方案,所述对原始图像进行加雾处理得到雾霾图像,具体包括:
根据标准光学模型的中心点合成雾的图像模拟雾霾方法对原始图像进行加雾处理,表示为:
;
;
其中,G(x)表示用于训练过程的雾霾图像,O(x)表示原始图像,β表示大气散射系数,d(x)表示图像场景参数,表示当前像素坐标至图像中心像素坐标的欧氏距离,row、col分别表示图像的行、列像素数目,A表示图像全景环境亮度。
作为优选的技术方案,所述图像去噪滤波器包括去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器;
所述去雾化滤波器采用具有可学习参数的除雾滤波器;
所述像素化滤波器包括白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块;
所述白平衡滤波模块用于调整图像的色温,所述伽马滤波模块用于调整图像的亮度,所述对比度滤波模块用于增强图像的对比度,所述色调滤波模块用于改变图像的色调;
所述锐化滤波器用于输出锐化后的图像,具体表示为:
;
其中,表示锐化后的图像,P(x)表示输入图像,Gau(P(x))为高斯滤波器,/>为缩放因子,x表示图像中像素位置;
所述去暗光化滤波器采用伽马变换进行操作,具体表示为:
;
其中,S是变换后的图像灰度值,r是原图像灰度值,c是常数,g是伽马系数。
作为优选的技术方案,将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,使用InfoNCE损失函数,具体表示为:
;
其中,表示超参数,N表示对比集合中的样本数,/>、/>分别表示对应的正样本,若下标不一样则表示是负样本,/>表示若下标不同,则为1,否则为0。
作为优选的技术方案,所述对抗调整器包括扰动模块和调整模块,对于第i层,利用扰动掩码将均匀分布μ引入原始注意力权重/>中,在扰动模块中扰动过程如下:
;
;
其中,、/>和/>分别是扰动注意力权重、第i层的Query矩阵和Key矩阵,/>表示元素乘积符号,/>和/>表示两个可学习的矩阵;
扰动模块通过扰动掩码校准原始注意力权重/>,调整模块计算得到调整后的注意力权重/>,表示为:
;
将调整后的注意力权重与原始注意力权重/>进行聚合,得到组合注意力权重,表示为:
;
将组合注意力权重作为最终的经过扰动后的注意力权重。
作为优选的技术方案,对抗调整器使用交叉熵函数进行扰动损失和调整损失的计算,具体包括:
;
;
其中,表示扰动损失,/>表示调整损失,n表示注意力层层数。
作为优选的技术方案,预测头输出图像分类信息与定位信息,对分类信息采用多值交叉熵损失函数进行损失计算,表示为:
;
其中,表示多值交叉熵损失函数,C表示类别数,/>表示目标类别,/>表示图像样本属于第i个类别的概率;
对定位信息采用Smooth L1函数进行损失计算,表示为:
;
对于目标检测中的每个预测框和其对应的真实框/>,采用Smooth L1 Loss进行损失计算,表示为:
;
其中,x、y表示框的中心点坐标,w、h表示的是框的宽度和高度,表示预测框/>的第j个坐标,/>表示真实框/>的第j个坐标,最终的定位损失是所有预测框的SmoothL1损失的平均值;
构建目标检测模块的目标函数,表示为:
;
通过反向传播训练自注意力机制。
作为优选的技术方案,还包括检测结果筛选步骤,具体包括:
预设阈值对目标检测模块输出的图像分类信息与定位信息进行筛选,当目标出现重叠时使用非极大值抑制去除冗余的检测结果,保留置信度最高的检测结果。
为了达到上述第二目的,本发明采用以下技术方案:
一种恶劣天气情况下的图像目标检测系统,包括:原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块;
所述原始图像采集模块用于采集在恶劣天气环境下的原始图像;
所述加雾处理模块用于对原始图像进行加雾处理得到雾霾图像;
所述暗光处理模块用于对原始图像进行暗光处理得到暗光图像;
所述图像去噪滤波器构建模块用于构建图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
所述掩码自编码器构建模块用于构建掩码自编码器,所述掩码自编码器包括编码器和解码器;
所述掩码自编码器用于获取雾霾图像、暗光图像,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
所述对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
所述目标检测模块构建模块用于构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,所述预测头与更新参数后的编码器的输出端连接;
所述文本描述Prompt模块设置在编码单元的输入端;
所述对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数;所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码;
所述目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练;
所述预测头输出图像分类信息与定位信息;
所述目标检测结果输出模块用于获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
为了达到上述第三目的,本发明采用以下技术方案:
一种计算机设备,包括处理器和用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现如上述恶劣天气情况下的图像目标检测方法。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明基于图像去噪滤波器对恶劣天气下捕捉到的图像去除噪声信息,使图像更加清晰,提高图像质量,基于掩码自编码器发掘图像深层的语义信息,消除图像数据中存在的冗余信息,提高恶劣天气条件下图像目标检测的鲁棒性,具体来说,在编码器部分对图像进行掩码操作,以去除部分冗余信息;在解码器部分通过深层的语义信息重建图像,得到更加鲁棒的特征表达。
(2)本发明将掩码自编码器输出的掩码重建后的图像以及经过图像去噪滤波器的清晰图像作为在真实恶劣天气环境下原始图像的正样本数据,通过对比学习的方式得到鲁棒性更强的特征表达,提高恶劣天气情况下的图像目标检测的识别准确率。
附图说明
图1为本发明恶劣天气情况下的图像目标检测方法的流程示意图;
图2为本发明预训练过程中的图像去噪滤波器和掩码自编码器的框架示意图;
图3为本发明目标检测模块进行图像目标检测的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供一种恶劣天气情况下的图像目标检测方法,具体包括下述步骤:
S1:图像预处理:采集在真实的恶劣天气环境下的原始图像,形成源数据集,对源数据集中的原始图像进行加雾处理及暗光处理,得到雾霾图像和暗光图像;
具体步骤包括:
S11:对数据集中的原始图像进行加雾处理,得到雾霾图像;
在本实施例中,根据标准光学模型的中心点合成雾的图像模拟雾霾方法对数据集中的原始图像进行加雾预处理,以模拟浓雾霾天气效果并扩充数据集,对于原始图像O(x),其对应用于训练过程的雾霾图像G(x)计算如下:
;
其中,O(x)表示原始图像,A表示图像全景环境亮度(大气光照),t(x)表示介质透视映射图,具体表示为:
;
其中,β表示介质系数,即大气散射系数;d(x)表示图像场景参数,具体计算公式如下:
;
其中,表示当前像素坐标至图像中心像素坐标的欧氏距离;row、col分别表示图像的行、列像素数目;
综上所述,加雾处理的处理过程简化公式如下:
;
在本实施例中,全景环境亮度A值设为0.5;介质系数β由计算得到,i为区间[0, 9]之间的随机整数。由此,对于每一张原始清晰图像,最多可生成10种不同雾霾浓度效果的雾霾图像。
S12:对数据集中的原始图像进行暗光处理,得到暗光图像;
在本实施例中,使用图像模拟暗光方法,对数据集中的原始图像进行暗光处理,以模拟弱光照环境并扩充数据集,具体过程如下:
对于每一张原始图像X,X中的每一个像素x作如下变换:
;
其中,参数γ的值由值域为[1.5,5]的均匀分布中随机获取。
S2:如图2所示,构建图像去噪滤波器和掩码自编码器,将雾霾图像、暗光图像同时输入至图像去噪滤波器、掩码自编码器中,其中,图像去噪滤波器对图像进行去噪的操作,去除掉恶劣天气下带来的噪声信息,得到一个清晰化的图像,掩码自动编码器采用了非对称的编码-解码器结构,对图像进行一个掩码编码再解码还原的操作,具体步骤包括:
S21:构建图像去噪滤波器,对图像进行去噪的操作,图像去噪滤波器包括:去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器,各个滤波器遵循可微性、分辨率独立的原则,可以通过反向传播训练网络,并且各个滤波器之前并不限定其先后处理的顺序;
在本实施例中,从下采样的大小为256×256的低分辨率图像中学习滤波器参数,然后将相同的滤波器应用到原始分辨率的图像中,因此,这些过滤器需要独立于图像分辨率,在这些滤波器中,除雾滤波器是专门为大雾场景设计的,去暗光化滤波器是专门为弱光照场景设计的。
在本实施例中,去雾化滤波器是一个具有可学习参数的除雾滤波器,基于大气散射模型,用于训练及测试过程的雾霾图像I(x)的形成可以表述为:
;
当用于训练过程时,雾霾图像I(x)即为上述的雾霾图像G(x),为了恢复干净图像,关键是获取大气光A和透射图/>。在这里先计算透射图,选择最亮的1000个像素,然后对用于训练及测试过程的雾霾图像/>的1000个像素平均估计A,通过推导:
;
通过反向传播优化使得除雾滤波器更有利于雾天图像的检测,其中C是一个常数,用来避免透射率为0的情况,y是一个指数参数,用来调整透射率的分布。在这里,C=0.1,y=0.8;
在本实施例中,像素化滤波器包括:白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块;
其中,白平衡滤波模块(White Balance Filtering Module):用于调整图像的色温,使其更接近自然光照下的颜色;伽马滤波模块(Gamma Filtering Module):用于调整图像的亮度,使其更适合人眼观察;对比度滤波模块(Contrast Filtering Module):用于增强图像的对比度,使其更清晰;色调滤波模块(Hue Filtering Module):用于改变图像的色调,使其更鲜艳。
像素化滤波器映射一个输入像素值转换为输出像素值,其中(r,g,b)分别表示红绿蓝三个颜色通道的值;
在本实施例中,锐化滤波器可以突出图像的细节,具体如下:
;
其中,P(x)为输入图像,为高斯滤波器,/>为缩放因子,x表示图像中像素位置,锐化程度可以通过优化/>调优性能;
在本实施例中,去暗光化滤波器基于对比度增强算法实现的,具体采用伽马变换进行操作,具体如下:
;
其中,S是变换后的图像灰度值,r是原图像灰度值,c是常数,g是伽马系数,能够有效地提高图像的对比度,增强图像中的细节。
S22:构建掩码自编码器,图像进行掩码编码再解码还原的操作,具体步骤包括:
将图像拆分为非重叠块,基于服从均匀分布的无重复随机采样图像块进行掩码操作,本实施例采用了高掩码比例75%,高掩码比例的随机采样可以极大程度消除冗余,进而构建一个不会轻易的被近邻块推理解决的图像重建任务,即用编码器(Encoder)提取图像特征,然后用解码器(Decoder)恢复被掩码的图像区域。高掩码比例可以使得编码器学习到更多的全局信息和语义信息,而不是只依赖于局部信息和低级信息。
通过线性映射跟位置编码得到图像tokens,其中,线性映射基于一个全连接层(Fully Connected Layer)将每个图像块的像素值映射到一个低维向量。位置编码是一种给每个图像块添加位置信息的方法,可以用于区分不同位置的图像块,本实施例基于正弦余弦函数(SinusoidalFunction)作为位置编码。
在预训练过程中,掩码自编码器包括编码器和解码器,其中,编码器采用VisionTransformer架构,只作用于还没有进行掩码操作的图像块,通过线性投影编码图片,将图像块编码为向量,再加上位置编码,送入到一堆连续的Transformer块中,得到没有进行掩码操作图像tokens的表征;
解码器也采用Vision Transformer架构,将进行掩码操作的图像tokens结合没有进行掩码操作的图像tokens,全部输入到解码器中,最终还原成原图;
在本实施例中,图像进行掩码编码再解码还原的操作,是采用自监督学习范式,让模型通过掩码编码再解码还原,进行图像重建的过程去抓取到图像中最为本质的特征,解码器按照初始的图像块的位置进行复位,经过图像重建还原得到原图。
S3:获取无标签的图像数据集,基于对比学习预训练掩码自编码器进行对比学习;
在本实施例中,无标签的图像数据集采用一些大型的开源数据集比如COCO、VOC等数据,或者在实际应用中真实世界中捕捉到的大量的数据集,整个对比学习过程,目的是优化掩码自编码器的能力,更新掩码自编码器的信息提取能力,因为掩码自编码器的图像重建任务依靠的是编码器那部分对图像信息提取的能力,该部分的提取能力越强,则图像重建任务表现越好;
本实施例的图像去噪滤波器跟掩码自编码器输出的结果,因为都是来自同一张图像,所以看成是一对正样本,所表达的语义信息是相近的,而不同的图像为负样本,通过构建这样的任务,进行对比学习,使用InfoNCE损失函数,具体公式如下:
;
其中,是一个超参数,N表示对比集合中的样本数,/>、/>指的是正样本(即经过滤波器去噪后以及掩码自编码器后的图片),下标不一样,则表示是负样本,/>表示若下标不同,则为1,否则为0;
本实施例的预训练步骤最主要的是为了利用无标签的数据集来训练掩码自编码器中的编码器的信息提取能力,解码器是利用编码器提取到的信息进行图像还原任务,在目标检测任务中利用解码器的信息提取能力为后续操作提供助力。
S4:如图3所示,获取有标签的图像数据集,即带有标注信息的数据,构建目标检测模块进行图像目标检测,输出图像目标的分类结果和定位结果;
在本实施中,目标检测模块包括:编码单元和预测头,其中,编码单元包括预训练后的编码器和对抗调整器;
本实施例编码器使用的是Vision Transformer架构,Vision Transformer的主体采用的都是自注意力机制,在恶劣天气情况下,该自注意力机制会给那些对预测结果影响有限的区域块分配高的注意力权重,从而导致不准确的检测,因此在编码单元设置对抗调整器,根据每个区域块对预测的贡献重新分配注意力分数,采用了可学习的掩码,通过扭曲原始注意力矩阵估计贡献,并采用对抗性损失指导其训练过程;
本实施例的对抗调整器包括扰动模块和调整模块,对于第i层,利用扰动掩码将均匀分布μ引入原始注意力权重/>中,在扰动模块中扰动过程如下:
;
;
其中,、/>和/>分别是扰动注意力权重、第i层的Query矩阵和Key矩阵,/>表示元素乘积符号,/>和/>是两个可学习的矩阵;
扰动模块通过扰动掩码去除决定性信息来降低模型的性能,即扰动掩码/>揭示了原始注意力权重/>中的关键部分,通过突出显示重要部分来校准原始注意力权重/>,调整模块计算得到调整后的注意力权重/>,表示为:
;
通过将大的扰动分配给对模型的输出较为重要的信息项,是为了增加在原始注意力权重中的注意力权重。在计算了调整后的注意力权重/>之后,将其与原始注意力权重进行聚合,得到组合注意力权重/>,表示为:
;
经过调整后的作为最后的扰动注意力权重;
本实施例使用交叉熵函数进行扰动损失和调整损失的计算:
;
;
其中,表示扰动损失,/>表示调整损失,/>表示经过扰动后的注意力权重,/>表示原始注意力权重。在调整损失中,是为了限制注意力权重的范围,具体来说,调整损失可以通过限制注意力权重的值域在[0, 1]之间来保证其有效性和合理性。在/>中前面是为了限制注意力权重的下界为0,后面是为了限制注意力权重的上界为1。
本实施例还在模型中加入了语言模态的信息,使用多种模态的信息来进行目标检测任务,具体操作如下:
在编码单元的输入端,设置文本描述Prompt模块,可以通过输入一个简短的文本描述,引导VisionTransformer在图像中寻找指定的目标,该部分是步骤S3的预训练阶段,主要是通过对比学习来训练图2中的掩码自编码器中的编码器的信息提取能力。在训练阶段,利用预训练好的编码器来进行信息的提取。在编码器的输入端,除了输入图像,还要结合语言模态下的信息(即使用Prompt模块对文字信息进行编码)共同输入到编码器中,通过两种模态信息的交融,来指导目标检测任务。例如,可以使用以下文本描述Prompt来指导编码器在黑夜中寻找一辆自行车:在黑夜图像中寻找一辆自行车。将文本描述Prompt和带标签的图像输入到编码器当中,这里采用Prompt要与整体的背景相匹配,该场景是针对恶劣天气下(雾天、暗光条件)的目标检测,那么Prompt要着重描述两种天气特性,以及物体的大小和形状。结合Prompt技术来进行目标检测的具体操作如下:
1、数据准备,对所使用到的数据集,每张图片编写自然语言描述的Prompt,例如“在雾天环境下找到所有的车和人”;
2、Prompt编码:将每个Prompt编码为向量表示,使用Bert预训练模型进行编码;
3、Prompt编码跟图像特征进行结合:将每个Prompt向量与对应的图像特征结合,使用加权求和,得到一个联合表示;
4、训练:将联合表示,放入到编码器中进行训练,然后再经过预测头去输出分类信息和定位信息,通过反向传播来进行模型的优化。通过学习将Prompt向量和图像特征进行相关联的两种模态信息融合的方式,并在图像中找到匹配查询的对象,来促进目标检测性能。
在本实施例中,在编码器的尾部接上一个预测头,作用是为了输出分类信息跟定位信息。从编码器输出的向量,即融合了文字和图像两种模态信息后得到最后的图像特征,拿到这个特征,需要去完成后续的目标检测任务。需要利用预测头来完成这个任务,该预测头会将图像特征进行不同的处理,针对分类信息,先经过一个全连接层后,采用Softmax方法,得出对应类别的分数,然后取最大;针对定位信息,将其经过一个全连接层来输出位置信息。具体的损失函数涉及如下:
对分类信息而言,采用多值交叉熵函数来进行损失计算:
;
上式为多值交叉熵损失函数的公式,其中C表示类别数,表示该样本(这里的样本表示的是框出来的那个目标类别,例如车、人、猫等是否属于第i个类别,若属于为1,否则为0);/>为该样本属于第i个类别的概率。该损失函数的含义是,对于每个类别,如果真实标签为该类别,就计算该类别的预测概率的对数,否则不计算。最终的损失是所有类别的损失之和的相反数。
对定位信息而言,采用Smooth L1函数进行损失计算:
;
对于目标检测中的每个预测框和其对应的真实框/>,Smooth L1 Loss 的计算方式如下:
;
其中,x,y,w,h表示是框的坐标信息,x、y表示框的中心点坐标,w、h表示的是框的宽度和高度,表示预测框/>的第j个坐标,/>表示真实框/>的第j个坐标,最终的定位损失是所有预测框的SmoothL1损失的平均值。
因此,最后的目标函数就按照:
;
这样的目标函数,将扰动损失、调整损失与目标检测任务的目标函数综合起来,通过反向传播来训练自注意力机制,可以训练模型的鲁棒性,以及泛化能力,并且还能将学习效果共享到目标检测器中,提升目标检测器的性能。
测试过程:采用真实世界捕捉到的真实图像,输入到训练好的模型中(加载微调后的模型权重),进行推理,预设阈值对预测的结果进行筛选,当目标出现重叠时使用非极大值抑制(Non-Maximum Suppression,NMS)来去除冗余的检测结果。NMS可以保留置信度最高的检测结果,同时去除重叠的检测结果。
实施例2
本实施例除以下技术内容外,其余技术内容与实施例1相同;
本实施例提供一种恶劣天气情况下的图像目标检测系统,包括:原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块;
在本实施例中,原始图像采集模块用于采集在恶劣天气环境下的原始图像;
在本实施例中,加雾处理模块用于对原始图像进行加雾处理得到雾霾图像;
在本实施例中,暗光处理模块用于对原始图像进行暗光处理得到暗光图像;
在本实施例中,图像去噪滤波器构建模块用于构建图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
在本实施例中,掩码自编码器构建模块用于构建掩码自编码器,所述掩码自编码器包括编码器和解码器;
在本实施例中,掩码自编码器用于获取雾霾图像、暗光图像,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
在本实施例中,对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
在本实施例中,目标检测模块构建模块用于构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,所述预测头与更新参数后的编码器的输出端连接;
在本实施例中,文本描述Prompt模块设置在编码单元的输入端;
在本实施例中,对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数;所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码;
在本实施例中,目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练;
在本实施例中,预测头输出图像分类信息与定位信息;
在本实施例中,目标检测结果输出模块用于获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
实施例3
本实施例提供一种计算机设备,该计算机设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备,该计算机设备包括处理器和存储器,存储器存储有一个或多个程序,处理器执行存储器存储的程序时,实现实施例1的恶劣天气情况下的图像目标检测方法。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种恶劣天气情况下的图像目标检测方法,其特征在于,包括下述步骤:
采集在恶劣天气环境下的原始图像,对原始图像进行加雾处理得到雾霾图像,对原始图像进行暗光处理得到暗光图像;
构建图像去噪滤波器和掩码自编码器,所述掩码自编码器包括编码器和解码器;
将雾霾图像、暗光图像输入至图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
将雾霾图像、暗光图像输入至掩码自编码器,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,并在编码单元的输入端设置文本描述Prompt模块,所述预测头与更新参数后的编码器的输出端连接;
获取有标签的图像数据集,对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数,文本描述Prompt模块对图像数据集中的图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码,将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练,预测头输出图像分类信息与定位信息;
获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
2.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述对原始图像进行加雾处理得到雾霾图像,具体包括:
根据标准光学模型的中心点合成雾的图像模拟雾霾方法对原始图像进行加雾处理,表示为:
;
;
其中,G(x)表示用于训练过程的雾霾图像,O(x)表示原始图像,β表示大气散射系数,d(x)表示图像场景参数,表示当前像素坐标至图像中心像素坐标的欧氏距离,row、col分别表示图像的行、列像素数目,A表示图像全景环境亮度。
3.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述图像去噪滤波器包括去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器;
所述去雾化滤波器采用具有可学习参数的除雾滤波器;
所述像素化滤波器包括白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块;
所述白平衡滤波模块用于调整图像的色温,所述伽马滤波模块用于调整图像的亮度,所述对比度滤波模块用于增强图像的对比度,所述色调滤波模块用于改变图像的色调;
所述锐化滤波器用于输出锐化后的图像,具体表示为:
;
其中,表示锐化后的图像,P(x)表示输入图像,Gau(P(x))为高斯滤波器,/>为缩放因子,x表示图像中像素位置;
所述去暗光化滤波器采用伽马变换进行操作,具体表示为:
;
其中,S是变换后的图像灰度值,r是原图像灰度值,c是常数,g是伽马系数。
4.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,使用InfoNCE损失函数,具体表示为:
;
其中,表示超参数,N表示对比集合中的样本数,/>、/>分别表示对应的正样本,若下标不一样则表示是负样本,/>表示若下标不同,则为1,否则为0。
5.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述对抗调整器包括扰动模块和调整模块,对于第i层,利用扰动掩码将均匀分布μ引入原始注意力权重/>中,在扰动模块中扰动过程如下:
;
;
其中,、/>和/>分别是扰动注意力权重、第i层的Query矩阵和Key矩阵,/>表示元素乘积符号,/>和/>表示两个可学习的矩阵;
扰动模块通过扰动掩码校准原始注意力权重/>,调整模块计算得到调整后的注意力权重/>,表示为:
;
将调整后的注意力权重与原始注意力权重/>进行聚合,得到组合注意力权重/>,表示为:
;
将组合注意力权重作为最终的经过扰动后的注意力权重。
6.根据权利要求5所述的恶劣天气情况下的图像目标检测方法,其特征在于,对抗调整器使用交叉熵函数进行扰动损失和调整损失的计算,具体包括:
;
;
其中, 表示扰动损失, />表示调整损失,n表示注意力层层数。
7.根据权利要求6所述的恶劣天气情况下的图像目标检测方法,其特征在于,预测头输出图像分类信息与定位信息,对分类信息采用多值交叉熵损失函数进行损失计算,表示为:
;
其中, 表示多值交叉熵损失函数,C表示类别数, />表示目标类别, />表示图像样本属于第i个类别的概率;
对定位信息采用SmoothL1函数进行损失计算,SmoothL1函数表示为:
;
对于目标检测中的每个预测框和其对应的真实框/>,采用SmoothL1Loss进行损失计算,表示为:
;
其中,x、y表示框的中心点坐标,w、h表示的是框的宽度和高度, 表示预测框/>的第j个坐标,/>表示真实框/>的第j个坐标,最终的定位损失是所有预测框的SmoothL1损失的平均值;
构建目标检测模块的目标函数,表示为:
;
通过反向传播训练自注意力机制。
8.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,还包括检测结果筛选步骤,具体包括:
预设阈值对目标检测模块输出的图像分类信息与定位信息进行筛选,当目标出现重叠时使用非极大值抑制去除冗余的检测结果,保留置信度最高的检测结果。
9.一种恶劣天气情况下的图像目标检测系统,其特征在于,包括:原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块;
所述原始图像采集模块用于采集在恶劣天气环境下的原始图像;
所述加雾处理模块用于对原始图像进行加雾处理得到雾霾图像;
所述暗光处理模块用于对原始图像进行暗光处理得到暗光图像;
所述图像去噪滤波器构建模块用于构建图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
所述掩码自编码器构建模块用于构建掩码自编码器,所述掩码自编码器包括编码器和解码器;
所述掩码自编码器用于获取雾霾图像、暗光图像,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
所述对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
所述目标检测模块构建模块用于构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,所述预测头与更新参数后的编码器的输出端连接;
所述文本描述Prompt模块设置在编码单元的输入端;
所述对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数;所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码;
所述目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练;
所述预测头输出图像分类信息与定位信息;
所述目标检测结果输出模块用于获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
10.一种计算机设备,包括处理器和用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现如权利要求1-8任一项所述恶劣天气情况下的图像目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579491.9A CN116311254B (zh) | 2023-05-23 | 2023-05-23 | 一种恶劣天气情况下的图像目标检测方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579491.9A CN116311254B (zh) | 2023-05-23 | 2023-05-23 | 一种恶劣天气情况下的图像目标检测方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116311254A CN116311254A (zh) | 2023-06-23 |
CN116311254B true CN116311254B (zh) | 2023-09-15 |
Family
ID=86815322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310579491.9A Active CN116311254B (zh) | 2023-05-23 | 2023-05-23 | 一种恶劣天气情况下的图像目标检测方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116311254B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758562B (zh) * | 2023-08-22 | 2023-12-08 | 杭州实在智能科技有限公司 | 通用文本验证码识别方法及系统 |
CN116957988B (zh) * | 2023-08-28 | 2024-03-08 | 南京航空航天大学 | 一种目标检测驱动的潜望镜图像复原表征学习方法 |
CN118155154A (zh) * | 2024-05-11 | 2024-06-07 | 东南大学 | 一种基于图像识别技术的恶劣天气下交通事故检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1447767A2 (en) * | 2003-02-13 | 2004-08-18 | Canon Kabushiki Kaisha | Image document administration method |
CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
CN114419151A (zh) * | 2021-12-31 | 2022-04-29 | 福州大学 | 一种基于对比学习的多目标跟踪方法 |
-
2023
- 2023-05-23 CN CN202310579491.9A patent/CN116311254B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1447767A2 (en) * | 2003-02-13 | 2004-08-18 | Canon Kabushiki Kaisha | Image document administration method |
CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
CN114419151A (zh) * | 2021-12-31 | 2022-04-29 | 福州大学 | 一种基于对比学习的多目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
Junting Pan et al..ST-Adapter: Parameter-Efficient Image-to-Video Transfer Learning.arXiv:2206.13559v3 [cs.CV].2022,第1-21页. * |
刘扬.基于残差聚集网的恶劣天气环境下图像清晰化处理.指挥控制与仿真.2020,第42卷(第2期),第46-52页. * |
Also Published As
Publication number | Publication date |
---|---|
CN116311254A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
CN110310241B (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
CN111368846B (zh) | 一种基于边界语义分割的道路积水识别方法 | |
CN112258436B (zh) | 图像处理模型的训练方法、装置、图像处理方法及模型 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
CN112434723B (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
CN112950521B (zh) | 一种图像去雾方法及生成器网络 | |
CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
Wang et al. | A feature-supervised generative adversarial network for environmental monitoring during hazy days | |
CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统 | |
Cheng et al. | A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions | |
CN116188307A (zh) | 适用于全天的图像低照度增强和语义分割联合方法和系统 | |
CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
Shun et al. | Research on remote sensing image extraction based on deep learning | |
CN117115641B (zh) | 建筑物信息提取方法、装置、电子设备及存储介质 | |
CN112818858A (zh) | 一种基于双通路视觉机制的雨天交通视频显著性检测方法 | |
CN113537397B (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |