CN117392009A - 图像自动透雾处理方法、系统、终端及存储介质 - Google Patents

图像自动透雾处理方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN117392009A
CN117392009A CN202311659189.0A CN202311659189A CN117392009A CN 117392009 A CN117392009 A CN 117392009A CN 202311659189 A CN202311659189 A CN 202311659189A CN 117392009 A CN117392009 A CN 117392009A
Authority
CN
China
Prior art keywords
image
fog
images
processed
penetrating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311659189.0A
Other languages
English (en)
Other versions
CN117392009B (zh
Inventor
陈文栋
牛丙震
高鹏
张晓�
李宋林
曹付勇
宋凯
刘宏光
王一夔
徐文震
赵世文
杨沂霖
金增航
王恒通
王辉
张大朋
尹晓钢
段立进
刘月
李洪亮
王政
王康
王晓东
崔学涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zibo Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
Zibo Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zibo Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical Zibo Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority to CN202311659189.0A priority Critical patent/CN117392009B/zh
Publication of CN117392009A publication Critical patent/CN117392009A/zh
Application granted granted Critical
Publication of CN117392009B publication Critical patent/CN117392009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体提供一种图像自动透雾处理方法、系统、终端及存储介质，包括：利用图像分类模型对待处理图像的雾气浓度进行等级分类；若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。本发明利用图像分类模型对待处理图像进行雾气浓度等级分类，基于分类为待处理图像自动启用匹配的透雾处理策略，实现图像的自动透雾，并且在执行光学透雾后自动对图像进行色彩补偿，最终得到清晰的彩色图像。

Description

图像自动透雾处理方法、系统、终端及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种图像自动透雾处理方法、系统、终端及存储介质。
背景技术
雾（霾）天能见度低，各类自动监拍摄设备受能见度影响，难以实现有效的可视化监拍功能。且随雾气浓浅程度不同，能见度变化大，非智能化透雾设备无法实现自动调节透雾效果，或需人工调节，便利性差。
目前的自动透雾设备大多采用人工调节的方式进行透雾模式的切换，这种方式存在诸多不便，虽然已经存在通过图像处理方式确定雾气浓度的方法，但是该方法存在明显的泛化性不足的问题，易造成判断不准，引起透雾模式切换异常的问题。另外，由于透雾后图像是黑白图像，现有方法采用彩色透雾处理的方法，该处理方法基于图像处理的方法对雾天图像进行去雾处理，在一定程度上改变了图像本来的色彩分布，容易造成失真问题，从而实现的透雾效果不佳。
发明内容
针对现有技术的上述不足，本发明提供一种图像自动透雾处理方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种图像自动透雾处理方法，包括：
利用图像分类模型对待处理图像的雾气浓度进行等级分类；
若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
在一个可选的实施方式中，所述方法还包括：
收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所有图像分成7类雾天图像和1类非雾天模糊图像；
使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像；
将剔除异常图像后剩余的雾天图像和模糊图像作为数据集对图像分类模型进行训练；
所述图像分类模型为YoloV5-cls模型，所述YoloV5-cls模型将Conv_104层之后连接的全局均值池化层取消，直接对张量进行压缩，将张量压缩至一维，之后将一维张量输入到通道数逐层递减的三层全连接层，三层通道数递减的全连接层，其通道数分别为5120、2560、1280；增加网络参数的同时使参数从高维到低维映射的过程更加平稳，避免细节信息的丢失。
在一个可选的实施方式中，所述7类雾天图像从浅到浓分别为：0级无雾图像、1级薄雾图像、2级浅雾图像、3级中雾图像、4级大雾图像、5级特大雾图像、6级浓雾图像。
在一个可选的实施方式中，所述图像质量评价模型为改进的HyperIQA，所述改进的HyperIQA包括输入层、特征提取网络、图像失真感知模块；
所述输入层直接将图像尺寸缩放至224*224；
所述特征提取网络的第Conv2_10，Conv3_12，Conv4_18层为全局特征提取后进行特征变换，以使图像质量评价模型获得对全局特征质量的感知能力。
在一个可选的实施方式中，使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像，包括：
输入图像经过图像缩放模块后输入到特征提取网络中，通过图像失真感知模块提取图像的全局和局部的特征质量，经过能够学习感知规则的超网络后输入到质量预测网络中，得到最终的图像质量得分；
利用所述图像质量评价模型求每一类雾天图像的质量评价得分平均值；
对于除最后一类6级浓雾图像以外的每一类雾天图像，将质量评价得分与相应类别的质量评价得分平均值的差值达到预设阈值的图像删除。
在一个可选的实施方式中，若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原，包括：
将透雾后图像和透雾前图像进行图像融合；
对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射；
将所述色彩映射后的透雾图像与透雾前图像进行直方图规定化，通过灰度映像函数，将色彩映射后的透雾图像的灰度直方图分布映射至原图的直方图分布。
在一个可选的实施方式中，对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射，包括：
将融合后图像和原图像从RGB空间转移到Lab空间中，计算两幅图像的均值和方差；
将融合后图像按通道进行划分，减去均值后进行标准化操作后加上原图像均值；
对处理后的图像进行像素限制，避免出现超过像素值范围；
对所有通道合并后将图像从Lab空间转移回RGB空间。
第二方面，本发明提供一种图像自动透雾处理系统，包括：
图像分类模块，用于利用图像分类模型对待处理图像的雾气浓度进行等级分类；
第一处理模块，用于若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
第二处理模块，用于若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
在一个可选的实施方式中，所述系统还包括：
收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所有图像分成7类雾天图像和1类非雾天模糊图像；
使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像；
将剔除异常图像后剩余的雾天图像和模糊图像作为数据集对图像分类模型进行训练；
所述图像分类模型为YoloV5-cls模型，所述YoloV5-cls模型将Conv_104层之后连接的全局均值池化层取消，直接对张量进行压缩，将张量压缩至一维，之后将一维张量输入到通道数逐层递减的三层全连接层，三层通道数递减的全连接层，其通道数分别为5120、2560、1280；增加网络参数的同时使参数从高维到低维映射的过程更加平稳，避免细节信息的丢失。
在一个可选的实施方式中，所述7类雾天图像从浅到浓分别为：0级无雾图像、1级薄雾图像、2级浅雾图像、3级中雾图像、4级大雾图像、5级特大雾图像、6级浓雾图像。
在一个可选的实施方式中，所述图像质量评价模型为改进的HyperIQA，所述改进的HyperIQA包括输入层、特征提取网络、图像失真感知模块；
所述输入层直接将图像尺寸缩放至224*224；
所述特征提取网络的第Conv2_10，Conv3_12，Conv4_18层为全局特征提取后进行特征变换，以使图像质量评价模型获得对全局特征质量的感知能力。
在一个可选的实施方式中，使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像，包括：
输入图像经过图像缩放模块后输入到特征提取网络中，通过图像失真感知模块提取图像的全局和局部的特征质量，经过能够学习感知规则的超网络后输入到质量预测网络中，得到最终的图像质量得分；
利用所述图像质量评价模型求每一类雾天图像的质量评价得分平均值；
对于除最后一类6级浓雾图像以外的每一类雾天图像，将质量评价得分与相应类别的质量评价得分平均值的差值达到预设阈值的图像删除。
在一个可选的实施方式中，若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原，包括：
将透雾后图像和透雾前图像进行图像融合；
对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射；
将所述色彩映射后的透雾图像与透雾前图像进行直方图规定化，通过灰度映像函数，将色彩映射后的透雾图像的灰度直方图分布映射至原图的直方图分布。
在一个可选的实施方式中，对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射，包括：
将融合后图像和原图像从RGB空间转移到Lab空间中，计算两幅图像的均值和方差；
将融合后图像按通道进行划分，减去均值后进行标准化操作后加上原图像均值；
对处理后的图像进行像素限制，避免出现超过像素值范围；
对所有通道合并后将图像从Lab空间转移回RGB空间。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，本发明提供的图像自动透雾处理方法、系统、终端及存储介质，通过利用图像质量评价模型对训练集中的图像进行筛选，从而提升图像分类模型的训练精度，得到高准确度的图像分类模型，利用图像分类模型对待处理图像进行雾气浓度等级分类，基于分类为待处理图像自动启用匹配的透雾处理策略，实现图像的自动透雾，并且在执行光学透雾后自动对图像进行色彩补偿，最终得到清晰的彩色图像。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的另一示意性流程图。
图3是本发明一个实施例的系统的示意性框图。
图4为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例提供的图像自动透雾处理方法由计算机设备执行，相应地，图像自动透雾处理系统运行于计算机设备中。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种图像自动透雾处理系统。根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
如图1所示，该方法包括：
步骤110，利用图像分类模型对待处理图像的雾气浓度进行等级分类；
步骤120，若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
步骤130，若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
为了便于对本发明的理解，下面以本发明图像自动透雾处理方法的原理，结合实施例中对图像进行自动透雾处理的过程，对本发明提供的图像自动透雾处理方法做进一步的描述。
具体的，请参考图2，所述图像自动透雾处理方法包括：
S1、收集不同场景、不同雾气浓浅程度的图像；
收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所有图像分成7类雾天图像和1类非雾天模糊图像。
S11、收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所收集的图像进行分类；
分类共包括8类，7类不同浓浅程度的雾天图像和1类他因造成的模糊图像；
S12、所述7类不同浓浅程度的雾天图像从浅到浓分别为：0级无雾图像、1级薄雾图像、2级浅雾图像、3级中雾图像、4级大雾图像、5级特大雾图像、6级浓雾图像；其中0-3级为低级，4-6级为高级。
S13、所述其他原因造成的模糊图像包括：遮挡物造成的模糊、设备老化造成的模糊、运动模糊。
所述图像质量评价模型为改进的HyperIQA，所述改进的HyperIQA包括输入层、特征提取网络、图像失真感知模块，所述图像质量模型的基础模型是HyperIQA，为了增强对后续任务的适应性，对模型进行了改进，由于经过图像质量评价模型的图像后续需要进行图像分类模型的训练，而对于雾气浓度的分类是基于图像整体感知特征，因此对基础模型中的图像特征感知模块进行了改进。具体如下：
对图像质量评价模型的输入层进行改进，将输入层对图像随机裁剪为224*224尺寸更换为直接对图像尺寸缩放至224*224；
对局部失真感知模块进行改进，将特征提取网络ResNet50的第Conv2_10，Conv3_12，Conv4_18层，从原来的多尺度特征Patch提取改进为全局特征提取后进行特征变换，将模型对局部特征质量的感知能力转移到模型对全局特征质量的感知能力。
S2、使用图像质量评价模型对所述不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像。
改进的HyperIQA模型的数据处理步骤：
输入图像经过图像缩放模块后输入到特征提取网络中，通过图像失真感知模块提取图像的全局和局部的特征质量，经过能够学习感知规则的超网络后输入到质量预测网络中，得到最终的图像质量得分。
收集大量图像并标注图像的雾气的浓度等级，保存至数据集。采用图像质量评价模型求7类雾天图像每一类的质量评价得分平均值；对所述7类雾天图像种除最后一类6级浓雾图像以外的每一类，删除该类别中质量评价得分小于该类别质量评价得分平均值十点以上的图像。
S3、将图像质量评价模型所述筛选后的雾天图像和模糊图像作为数据集对图像分类网络进行训练。
将删除部分图像后的数据集划分为训练集、测试集和验证集。
具体的，使用所述筛选完成的图像训练图像分类模型，本发明优选的图像分类网络为改进的YoloV5-cls（分类信息cls），所述网络需要在终端设备上实现移植，因此需要对网络进行量化，为了减少网络量化过程造成的精度损失，对所述网络进行了改进；所述图像分类网络优选为改进的YoloV5-cls，将Conv_104层之后连接的全局均值池化层取消，直接对张量进行压缩，将张量压缩至一维，之后将一维张量输入到通道数逐层递减的三层全连接层（三层通道数递减的全连接层，其通道数分别为5120、2560、1280）；增加网络参数的同时使参数从高维到低维映射的过程更加平稳，避免细节信息的丢失。改进前后的量化精度如表1所示；
表1 量化后模型精度
S4、使用所述图像分类网络对拍摄到的图像进行分类，按不同类别切换不同透雾模式；
在获取新的图像后，利用步骤S3训练得到的YoloV5-cls对图像的雾气浓度等级进行识别。
具体的，将拍摄到的图像输入改进的YoloV5-cls，得到图像的分类，其中1-3级开启电子透雾，4-6级开启光学透雾；
电子透雾采用去雾算法对雾天图像进行处理，去雾算法可以为任一基于图像处理的算法，如基于暗通道先验的去雾方法：计算每个像素处的灰度值梯度；根据图像中的梯度，将图像中的每个像素分为两类：暗通道像素和亮通道像素；暗通道像素的梯度大于阈值，而亮通道像素的梯度小于阈值；根据暗通道像素和亮通道像素的比例，计算出暗通道比例系数；根据暗通道比例系数，计算出每个像素处的雾深度；根据每个像素处的雾深度，计算出每个像素的去雾后的灰度值。
光学透雾通过增加光学镜头实现去雾。由于所述光学透雾图像透雾后图像色彩缺失，需要对图像进行色彩还原，具体步骤包括：
1、将所述透雾后图像和透雾前图像进行图像融合，例如：像素加权平均、多尺度图像融合。
2、对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射，只进行色彩的映射而不改变图像内容；
色彩映射步骤如下：
（1）将融合后图像和原图像从RGB空间转移到Lab空间中，计算两幅图像的均值和方差；
（2）将融合后图像按通道进行划分，减去均值后进行标准化操作后加上原图像均值；
（3）对处理后的图像进行像素限制，避免出现超过像素值范围；
（4）对所有通道合并后将图像从Lab空间（Lab color space是颜色-对立空间）转移回RGB空间（以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式）。
3、将所述色彩映射后的透雾图像与透雾前图像进行直方图规定化，即通过灰度映像函数，将色彩映射后的透雾图像的灰度直方图分布映射至原图的直方图分布。
在一些实施例中，所述图像自动透雾处理系统可以包括多个由计算机程序段所组成的功能模块。所述图像自动透雾处理系统中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）图像自动透雾处理的功能。
本实施例中，所述图像自动透雾处理系统根据其所执行的功能，可以被划分为多个功能模块，如图3所示。系统300的功能模块可以包括：图像分类模块310、第一处理模块320、第二处理模块330。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
图像分类模块，用于利用图像分类模型对待处理图像的雾气浓度进行等级分类；
第一处理模块，用于若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
第二处理模块，用于若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
可选地，作为本发明一个实施例，所述系统还包括：
收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所有图像分成7类雾天图像和1类非雾天模糊图像；
使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像；
将剔除异常图像后剩余的雾天图像和模糊图像作为数据集对图像分类模型进行训练；
所述图像分类模型为YoloV5-cls模型，所述YoloV5-cls模型将Conv_104层之后连接的全局均值池化层取消，直接对张量进行压缩，将张量压缩至一维，之后将一维张量输入到通道数逐层递减的三层全连接层，三层通道数递减的全连接层，其通道数分别为5120、2560、1280；增加网络参数的同时使参数从高维到低维映射的过程更加平稳，避免细节信息的丢失。
可选地，作为本发明一个实施例，所述7类雾天图像从浅到浓分别为：0级无雾图像、1级薄雾图像、2级浅雾图像、3级中雾图像、4级大雾图像、5级特大雾图像、6级浓雾图像。
可选地，作为本发明一个实施例，所述图像质量评价模型为改进的HyperIQA，所述改进的HyperIQA包括输入层、特征提取网络、图像失真感知模块；
所述输入层直接将图像尺寸缩放至224*224；
所述特征提取网络的第Conv2_10，Conv3_12，Conv4_18层为全局特征提取后进行特征变换，以使图像质量评价模型获得对全局特征质量的感知能力。
可选地，作为本发明一个实施例，使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像，包括：
输入图像经过图像缩放模块后输入到特征提取网络中，通过图像失真感知模块提取图像的全局和局部的特征质量，经过能够学习感知规则的超网络后输入到质量预测网络中，得到最终的图像质量得分；
利用所述图像质量评价模型求每一类雾天图像的质量评价得分平均值；
对于除最后一类6级浓雾图像以外的每一类雾天图像，将质量评价得分与相应类别的质量评价得分平均值的差值达到预设阈值的图像删除。
可选地，作为本发明一个实施例，若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原，包括：
将透雾后图像和透雾前图像进行图像融合；
对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射；
将所述色彩映射后的透雾图像与透雾前图像进行直方图规定化，通过灰度映像函数，将色彩映射后的透雾图像的灰度直方图分布映射至原图的直方图分布。
可选地，作为本发明一个实施例，对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射，包括：
将融合后图像和原图像从RGB空间转移到Lab空间中，计算两幅图像的均值和方差；
将融合后图像按通道进行划分，减去均值后进行标准化操作后加上原图像均值；
对处理后的图像进行像素限制，避免出现超过像素值范围；
对所有通道合并后将图像从Lab空间转移回RGB空间。
图4为本发明实施例提供的一种终端400的结构示意图，该终端400可以用于执行本发明实施例提供的图像自动透雾处理方法。
其中，该终端400可以包括：处理器410、存储器420及通信模块430。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器420可以用于存储处理器410的执行指令，存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器420中的执行指令由处理器410执行时，使得终端400能够执行以下上述方法实施例中的部分或全部步骤。
处理器410为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器410可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信模块430，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。
因此，本发明通过利用图像质量评价模型对训练集中的图像进行筛选，从而提升图像分类模型的训练精度，得到高准确度的图像分类模型，利用图像分类模型对待处理图像进行雾气浓度等级分类，基于分类为待处理图像自动启用匹配的透雾处理策略，实现图像的自动透雾，并且在执行光学透雾后自动对图像进行色彩补偿，最终得到清晰的彩色图像，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像自动透雾处理方法，其特征在于，包括：
利用图像分类模型对待处理图像的雾气浓度进行等级分类；
若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
收集不同场景、不同雾气浓浅程度的图像，按雾气的浓浅程度对所有图像分成7类雾天图像和1类非雾天模糊图像；
使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像；
将剔除异常图像后剩余的雾天图像和模糊图像作为数据集对图像分类模型进行训练；
所述图像分类模型为YoloV5-cls模型，所述YoloV5-cls模型将Conv_104层之后连接的全局均值池化层取消，直接对张量进行压缩，将张量压缩至一维，之后将一维张量输入到通道数逐层递减的三层全连接层，三层通道数递减的全连接层，其通道数分别为5120、2560、1280；增加网络参数的同时使参数从高维到低维映射的过程更加平稳，避免细节信息的丢失。
3.根据权利要求2所述的方法，其特征在于，所述7类雾天图像从浅到浓分别为：0级无雾图像、1级薄雾图像、2级浅雾图像、3级中雾图像、4级大雾图像、5级特大雾图像、6级浓雾图像。
4.根据权利要求2所述的方法，其特征在于，所述图像质量评价模型为改进的HyperIQA，所述改进的HyperIQA包括输入层、特征提取网络、图像失真感知模块；
所述输入层直接将图像尺寸缩放至224*224；
所述特征提取网络的第Conv2_10，Conv3_12，Conv4_18层为全局特征提取后进行特征变换，以使图像质量评价模型获得对全局特征质量的感知能力。
5.根据权利要求4所述的方法，其特征在于，使用图像质量评价模型对不同雾气浓度程度的图像进行筛选，剔除不符合数据分布的异常图像，包括：
输入图像经过图像缩放模块后输入到特征提取网络中，通过图像失真感知模块提取图像的全局和局部的特征质量，经过能够学习感知规则的超网络后输入到质量预测网络中，得到最终的图像质量得分；
利用所述图像质量评价模型求每一类雾天图像的质量评价得分平均值；
对于除最后一类6级浓雾图像以外的每一类雾天图像，将质量评价得分与相应类别的质量评价得分平均值的差值达到预设阈值的图像删除。
6.根据权利要求1所述的方法，其特征在于，若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原，包括：
将透雾后图像和透雾前图像进行图像融合；
对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射；
将所述色彩映射后的透雾图像与透雾前图像进行直方图规定化，通过灰度映像函数，将色彩映射后的透雾图像的灰度直方图分布映射至原图的直方图分布。
7.根据权利要求6所述的方法，其特征在于，对融合后的图像按原图像的色彩分布转换到Lab空间并进行色彩映射，包括：
将融合后图像和原图像从RGB空间转移到Lab空间中，计算两幅图像的均值和方差；
将融合后图像按通道进行划分，减去均值后进行标准化操作后加上原图像均值；
对处理后的图像进行像素限制，避免出现超过像素值范围；
对所有通道合并后将图像从Lab空间转移回RGB空间。
8.一种图像自动透雾处理系统，其特征在于，包括：
图像分类模块，用于利用图像分类模型对待处理图像的雾气浓度进行等级分类；
第一处理模块，用于若待处理图像的雾气浓度为低级，则采用去雾算法对所述待处理图像进行透雾处理；
第二处理模块，用于若待处理图像的雾气浓度为高级，则增加光学镜头进行光学透雾，并对光学透雾得到的图像进行色彩还原。
9.一种终端，其特征在于，包括：
存储器，用于存储图像自动透雾处理程序；
处理器，用于执行所述图像自动透雾处理程序时实现如权利要求1-7任一项所述图像自动透雾处理方法的步骤。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述可读存储介质上存储有图像自动透雾处理程序，所述图像自动透雾处理程序被处理器执行时实现如权利要求1-7任一项所述图像自动透雾处理方法的步骤。
CN202311659189.0A 2023-12-06 2023-12-06 图像自动透雾处理方法、系统、终端及存储介质 Active CN117392009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311659189.0A CN117392009B (zh) 2023-12-06 2023-12-06 图像自动透雾处理方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311659189.0A CN117392009B (zh) 2023-12-06 2023-12-06 图像自动透雾处理方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN117392009A true CN117392009A (zh) 2024-01-12
CN117392009B CN117392009B (zh) 2024-03-19

Family

ID=89463332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311659189.0A Active CN117392009B (zh) 2023-12-06 2023-12-06 图像自动透雾处理方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN117392009B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279011A1 (en) * 2014-03-27 2015-10-01 Samsung Techwin Co., Ltd. Defogging system and defogging method
CN107767345A (zh) * 2016-08-16 2018-03-06 杭州海康威视数字技术股份有限公司 一种透雾方法及装置
CN107909084A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于卷积‑线性回归网络的雾霾浓度预测方法
CN109544467A (zh) * 2018-10-23 2019-03-29 江苏理工学院 一种基于lab模型下增强彩色图像对比度的方法
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
CN112308799A (zh) * 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
CN112749654A (zh) * 2020-12-31 2021-05-04 南京恩瑞特实业有限公司 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
US20220084166A1 (en) * 2019-10-18 2022-03-17 Boe Technology Group Co., Ltd. Image processing method and device, training method of neural network, image processing method based on combined neural network model, constructing method of combined neural network model, neural network processor, and storage medium
CN218734589U (zh) * 2022-11-04 2023-03-24 西安天圆光电科技有限公司 一种微光昼夜透雾监视云台

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150279011A1 (en) * 2014-03-27 2015-10-01 Samsung Techwin Co., Ltd. Defogging system and defogging method
CN107767345A (zh) * 2016-08-16 2018-03-06 杭州海康威视数字技术股份有限公司 一种透雾方法及装置
CN107909084A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于卷积‑线性回归网络的雾霾浓度预测方法
CN109544467A (zh) * 2018-10-23 2019-03-29 江苏理工学院 一种基于lab模型下增强彩色图像对比度的方法
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
US20220084166A1 (en) * 2019-10-18 2022-03-17 Boe Technology Group Co., Ltd. Image processing method and device, training method of neural network, image processing method based on combined neural network model, constructing method of combined neural network model, neural network processor, and storage medium
CN112308799A (zh) * 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法
CN112749654A (zh) * 2020-12-31 2021-05-04 南京恩瑞特实业有限公司 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN218734589U (zh) * 2022-11-04 2023-03-24 西安天圆光电科技有限公司 一种微光昼夜透雾监视云台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHEIKH MD. RABIUL ISLAM等: "A Novel Image Quality Index for Image Quality Assessment", 《ICONIP 2013: NEURAL INFORMATION PROCESSING》, 31 December 2013 (2013-12-31), pages 549 - 556 *
孙晓: "掌纹图像质量评估卷积神经网络模型研究", 《万方数据库》, 18 October 2023 (2023-10-18), pages 10 - 44 *
杨爱萍等: "基于误差回传机制的多尺度去雾网络", 《自动化学报》, vol. 49, no. 9, 30 September 2023 (2023-09-30), pages 1857 - 1867 *

Also Published As

Publication number Publication date
CN117392009B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US7636477B2 (en) Device for detecting red eye, program therefor, and recording medium storing the program
CN111951933B (zh) 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN110390643B (zh) 一种车牌增强方法、装置及电子设备
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN108122238A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN109903210B (zh) 水印的去除方法、装置和服务器
CN110458789B (zh) 一种图像清晰度评测方法、装置及电子设备
CN112785572B (zh) 图像质量评估方法、装置以及计算机可读存储介质
CN108961209B (zh) 行人图像质量评价方法、电子设备及计算机可读介质
CN112419214A (zh) 一种标注图像生成方法、装置、可读存储介质及终端设备
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及系统
CN111291778B (zh) 深度分类模型的训练方法、曝光异常检测方法以及装置
CN111626335A (zh) 一种像素增强的神经网络的改进难例挖掘训练方法及系统
CN113420871B (zh) 图像质量的评估方法、装置、存储介质及电子装置
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN113989785A (zh) 一种驾驶场景分类方法、装置、设备及存储介质
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN117392009B (zh) 图像自动透雾处理方法、系统、终端及存储介质
CN111311526B (zh) 视频增强方法、视频增强装置及终端设备
CN108805838A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN112381737A (zh) 图像处理方法、装置、电子设备及存储介质
CN114648467B (zh) 图像的去雾方法、装置、终端设备及计算机可读存储介质
Miao et al. An end-to-end single image dehazing network based on U-net
CN109033797B (zh) 一种权限设置方法及装置
CN111311610A (zh) 图像分割的方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant