CN114862691A - 一种基于神经网络模型的图像去雾方法、装置和设备 - Google Patents
一种基于神经网络模型的图像去雾方法、装置和设备 Download PDFInfo
- Publication number
- CN114862691A CN114862691A CN202210289357.0A CN202210289357A CN114862691A CN 114862691 A CN114862691 A CN 114862691A CN 202210289357 A CN202210289357 A CN 202210289357A CN 114862691 A CN114862691 A CN 114862691A
- Authority
- CN
- China
- Prior art keywords
- parameter
- layer
- image
- convolution
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000002834 transmittance Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像去雾技术领域，具体是涉及一种基于神经网络模型的图像去雾方法、装置和设备。本发明先对大气散射模型进行变形，使得具有两个未知参数的大气散射模型变成只有一个未知参数的大气散射模型。然后通过神经网络计算唯一的未知参数的值，最后将该未知参数的值代入到大气散射模型就可以求得去雾图像。由于本发明只需要通过神经网络模型计算出一个参数的值，因此能够降低因计算多个参数值所带来的累积误差，从而提高了最后利用参数值所计算出来的去雾图像质量。
Description
技术领域
本发明涉及图像去雾技术领域，具体是涉及一种基于神经网络模型的图像去雾方法、装置和设备。
背景技术
在有雾或霾的场景中,光学传感器捕获的图像会受到大气颗粒的散射作用,导致图像的细节缺失、色彩暗淡、亮度降低,图像对比度和色彩保真度都会降低,这直接影响人们对图像的视觉感知,还会影响图像后期的处理,更会影响各类依赖于光学成像仪器的系统工作,如卫星遥感系统、航拍系统、室外监控和目标识别系统等。由于雾霾天气下大气颗粒的散射作用，通过视频和图像采集系统获取的图像通常可见度较低，将严重影响计算机视觉系统后续的目标识别、目标追踪等功能。因此为保障计算机视觉处理系统、交通出行、航空航天以及军事安全等方面的需要，对有雾图像进行去雾复原，提高有雾图像的清晰度和对比度。
何凯明博士的暗通道理论(双参数大气散射模型)首先根据有雾图像的暗通道图估计出大气层系数和透射率,然后再将大气层系数和透射率代入到双参数大气散射模型中，根据模型求得去雾图像。随着深度学习的高速发展,也把深度学习应用到图像去雾中,深度学习主要分为监督学习和无监督学习,图像去雾也就由此产生两种神经网络训练方法,一种是卷积神经网络(CNN)进行模型估计,另一种是神经对抗网络生成去雾图像。无论是卷积神经网络还是神经对抗网络都是分别对双参数大气散射模型中的大气层系数和透射率这两个参数进行计算，由于是分别计算两个参数的值，两次计算都无可避免会出现误差，那么两次误差的累加就会增大最终的计算误差，从而降低了去雾图像的质量。
综上所述，现有的去雾方法降低了去雾图像的质量。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种基于神经网络模型的图像去雾方法、装置和设备，解决了现有的去雾方法降低了去雾图像质量的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种基于神经网络模型的图像去雾方法，其中，包括：
计算由单个参数构成的单参数大气散射模型；
将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
在一种实现方式中，所述计算由单个参数构成的单参数大气散射模型，包括：
获取由透射率和大气层系数构成的双参数大气散射模型；
对所述双参数大气散射模型进行模型变形，将所述透射率和所述大气层系数合并成单个参数，得到单参数大气散射模型。
在一种实现方式中，所述已训练的所述神经网络模型的训练方式包括：
依据所述神经网络模型，得到所述神经网络模型中的由第一卷积模块和第二卷积模块构成的双卷积模块网络模型；
获取有雾样本图像和有雾样本图像所对应的单个参数样本值；
将所述有雾样本图像输入到所述第一卷积模块，得到所述第一卷积模块输出的特征图；
将所述特征图输入到所述第二卷积模块，得到所述第二卷积模块输出的所述单个参数所对应的参数训练值；
依据所述参数训练值和所述单个参数样本值，训练所述双卷积模块网络模型，得到已训练的所述双卷积模块网络模型。
在一种实现方式中，所述将所述有雾样本图像输入到所述第一卷积模块，得到所述第一卷积模块输出的特征图，包括：
依据所述第一卷积模块，得到构成所述第一卷积模块的各个卷积层、以及位于各个所述卷层之间的池化层和上采样层；
将所述有雾样本图像输入到作为输入层的卷积层，得到作为输出层的上采样层输出的特征图。
在一种实现方式中，从靠近所述第一卷积模块的输入层至靠近作为所述第一卷积模块输出层的所述上采样层，各个所述卷积层的尺寸分别是11*11、9*9、7*7、5*5、3*3、1*1。
在一种实现方式中，所述将所述特征图输入到所述第二卷积模块，得到所述第二卷积模块输出的所述单个参数所对应的参数训练值，包括：
依据所述第二卷积模块，得到所述第二卷积模块中的第二卷积单元，所述第二卷积单元包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一连接层、第二连接层、第三连接层；
将所述特征图输入到所述第一卷积层，得到所述第一卷积层输出的第一结果；
将所述第一结果输入到所述第二卷积层，得到所述第二卷积层输出的第二结果；
将所述第一结果和所述第二结果输入到所述第一连接层，得到所述第一连接层输出的第一中间结果；
将所述第一中间结果输入到所述第三卷积层，得到所述第三卷积层输出的第三结果；
将所述第二结果和所述第三结果输入到所述第二连接层，得到所述第二连接层输出的第二中间结果；
将所述第二中间结果输入到所述第四卷积层，得到所述第四卷积层输出的第四结果；
将所述第四结果和所述第三结果输入到所述第三连接层，得到所述第三连接层输出的第三中间结果；
将所述第三中间结果输入到所述第五卷积层，得到所述第五卷积层输出的所述单个参数所对应的参数训练值。
在一种实现方式中，所述对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像，包括：
对所述有雾图像和所述参数值应用非线性映射模型，得到映射之后的所述参数值，映射之后的所述参数值与所述有雾图像的像素点位置相对应；
对所述有雾图像和映射之后的所述参数值应用所述单参数大气散射模型，得到去雾图像。
第二方面，本发明实施例还提供一种基于神经网络模型的图像去雾装置，其中，所述装置包括如下组成部分：
模型计算模块，用于计算由单个参数构成的单参数大气散射模型；
参数值计算模块，用于将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
去雾模块，用于对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于神经网络模型的图像去雾程序，所述处理器执行所述基于神经网络模型的图像去雾程序时，实现上述所述的基于神经网络模型的图像去雾方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于神经网络模型的图像去雾程序，所述基于神经网络模型的图像去雾程序被处理器执行时，实现上述所述的基于神经网络模型的图像去雾方法的步骤。
有益效果：本发明先对大气散射模型进行变形，使得具有两个未知参数的大气散射模型变成只有一个未知参数的大气散射模型。然后通过神经网络计算唯一的未知参数的值，最后将该未知参数的值代入到大气散射模型就可以求得去雾图像。由于本发明只需要通过神经网络模型计算出一个参数的值，因此能够降低因计算多个参数值所带来的累积误差，从而提高了最后利用参数值所计算出来的去雾图像质量。
附图说明
图1为本发明的整体流程图；
图2为实施例中的第一卷积模块结构图；
图3为实施例中的第二卷积模块结构图；
图4为实施例中的映射示意图；
图5为实施例中的有雾图像；
图6为实施例中的无雾图像；
图7为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现，在有雾或霾的场景中,光学传感器捕获的图像会受到大气颗粒的散射作用,导致图像的细节缺失、色彩暗淡、亮度降低,图像对比度和色彩保真度都会降低,这直接影响人们对图像的视觉感知,还会影响图像后期的处理,更会影响各类依赖于光学成像仪器的系统工作,如卫星遥感系统、航拍系统、室外监控和目标识别系统等.由于雾霾天气下大气颗粒的散射作用，通过视频和图像采集系统获取的图像通常可见度较低，将严重影响计算机视觉系统后续的目标识别、目标追踪等功能.因此为保障计算机视觉处理系统、交通出行、航空航天以及军事安全等方面的需要，对有雾图像进行去雾复原，提高有雾图像的清晰度和对比度。何凯明博士的暗通道理论(双参数大气散射模型)首先根据有雾图像的暗通道图估计出大气层系数和透射率,然后再将大气层系数和透射率代入到双参数大气散射模型中，根据模型求得去雾图像。随着深度学习的高速发展,也把深度学习应用到图像去雾中,深度学习主要分为监督学习和无监督学习,图像去雾也就由此产生两种神经网络训练方法,一种是卷积神经网络(CNN)进行模型估计,另一种是神经对抗网络生成去雾图像。无论是卷积神经网络还是神经对抗网络都是分别对双参数大气散射模型中的大气层系数和透射率这两个参数进行计算，由于是分别计算两个参数的值，两次计算都无可避免会出现误差，那么两次误差的累加就会增大最终的计算误差，从而降低了去雾图像的质量。
为解决上述技术问题，本发明提供了一种基于神经网络模型的图像去雾方法、装置和设备，解决了现有的去雾方法降低了去雾图像质量的问题。具体实施时，计算由单个参数构成的单参数大气散射模型；将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。本实施例的去雾方法能够提高去雾图像的质量。
示例性方法
本实施例的基于神经网络模型的图像去雾方法可应用于终端设备中，所述终端设备可为具有图像采集功能的终端产品，比如相机、手机等。在本实施例中，如图1中所示，所述基于神经网络模型的图像去雾方法具体包括如下步骤：
S100，计算由单个参数构成的单参数大气散射模型。
大气散射模型由有雾图像和去雾之后的图像构成，通过大气散射模型能够求出去雾之后的图像。步骤S100包括如下的步骤S101和S102：
S101，获取由透射率和大气层系数构成的双参数大气散射模型。
I(x)＝J(x)*t(x)+A*(1-t(x)) (1)
公式(1)的变形公式：
I(x)为有雾图像，x代表有雾图像像素点位置，J(x)为去雾图像，t(x)为透射率，A为大气层系数，t0是个很小的值防止分母是0，其中t(x)表达式如下：
t(x)＝e-βd(x) (2)
β为大气层散射系数,d(x)为拍摄有雾图像所对应的场景与拍摄设备之间的距离。
将公式(2)代入公式(1)之后，公式(1)中会有β和A这两个未知参数，需要求出β和A才能通过公式(1)求出去雾图像J(x)。计算β会产生一个计算误差，计算A也会产生一个计算误差，两个计算误差累积在一起就会产生更大的计算误差，以较大误差计算出的无雾图像质量会很差。因此，本实施例通过下面的步骤S102将两个未知参数变成一个未知参数，从而减少了计算误差。
S102，对所述双参数大气散射模型进行模型变形，将所述透射率和所述大气层系数合并成单个参数，得到单参数大气散射模型。
J(x)＝K(x)*I(x)-K(x)+b (3)
式中，b是默认的固定偏差值,通常b为1。K(x)的表达式如下：
只要计算出K(x)这一单个参数的值，就可以通过公式(3)中求出去雾图像J(x)。
S200，将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值。
本实施例包括两个部分，第一部分是对神经网络模型进行训练，第二部分是利用已训练的神经网络模型计算出有雾图像中的K(x)的值。
第一部分包括如下的步骤S201、S202、S203、S204、S205、S206：
S201，依据所述神经网络模型，得到所述神经网络模型中的由第一卷积模块和第二卷积模块构成的双卷积模块网络模型。
S202，获取有雾样本图像和有雾样本图像所对应的单个参数样本值。
S203，依据所述第一卷积模块，得到构成所述第一卷积模块的各个卷积层、以及位于各个所述卷层之间的池化层和上采样层。
本实施例中的第一卷积模块如图2所示，从左到右依次是输入层、第一卷积层、第一组采样池化组、第二卷积层、第二组卷积采样池化组、第三卷积层、第三组卷积采样池化组、第四卷积层、第四卷积采样池化组、第五卷积层、第五卷积采样池化组、第六卷积层、第六卷积采样池化组、输出层。第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层的尺寸分别为11*11、9*9、7*7、5*5、3*3、1*1。每一组采样池化组从左至右依次是池化层(2*2)、上采样层(12*12)、卷积层(1*1*3)
S204，将所述有雾样本图像输入到作为输入层的卷积层，得到作为输出层的上采样层输出的特征图。
将有雾图像输入到图2中的输入层，依次经过从左到右的卷积层、池化层、上采样层就输出了有雾图像的特征图。
本实施例中11*11、9*9、7*7、5*5、3*3、1*1构成了多尺度模块的设计，而多尺度模块对于特征提取有着明显的优势，而统一之后的参数K(x)更加需要细致准确的估计，这样才能有着更好的效果，在加入这些尺寸的卷积层以后，经过池化，采样的一系列操作以后能够保证图片的尺寸不变，能够为后续处理做准备,以便于求出去雾图像。
本实施例采用11*11,9*9,7*7,5*5,3*3,1*1,各个尺寸的卷积层,形成多尺度模块进行特征提取,并且在每个卷积层后,加入了池化层和上采样层,使得每次卷积之后,图片尺寸保持不变。
S205，将所述特征图输入到所述第二卷积模块，得到所述第二卷积模块输出的所述单个参数所对应的参数训练值。
本实施例将计算参数训练值分成两个部分，通过步骤S201至步骤S204得到有雾图像的特征图，然后将特征图输入到第二卷积模块就得到了单个参数K(x)的训练值。步骤S205包括如下的步骤S2051、S2052、S2053、S2054、S2055、S2056、S2057、S2058、S2059：
S2051，依据所述第二卷积模块，得到所述第二卷积模块中的第二卷积单元，所述第二卷积单元包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一连接层、第二连接层、第三连接层。
如图3所示，从左到右依次是第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一连接层、第二连接层、第三连接层，各个层的尺寸如图3所示。
S2052，将所述特征图输入到所述第一卷积层，得到所述第一卷积层输出的第一结果。
S2053，将所述第一结果输入到所述第二卷积层，得到所述第二卷积层输出的第二结果。
S2054，将所述第一结果和所述第二结果输入到所述第一连接层，得到所述第一连接层输出的第一中间结果。
S2055，将所述第一中间结果输入到所述第三卷积层，得到所述第三卷积层输出的第三结果。
S2056，将所述第二结果和所述第三结果输入到所述第二连接层，得到所述第二连接层输出的第二中间结果。
S2057，将所述第二中间结果输入到所述第四卷积层，得到所述第四卷积层输出的第四结果。
S2058，将所述第四结果和所述第三结果输入到所述第三连接层，得到所述第三连接层输出的第三中间结果。
S2059，将所述第三中间结果输入到所述第五卷积层，得到所述第五卷积层输出的所述单个参数所对应的参数训练值。
S206，依据所述参数训练值和所述单个参数样本值，训练所述双卷积模块网络模型，得到已训练的所述双卷积模块网络模型。
本实施例，对双卷积模块网络模型进行训练，就是将双卷积模块网络模型输出的参数训练值与单个参数样本值进行比较，不断调整双卷积模块网络模型中各个层的参数设置，直至输出的参数训练值与单个参数样本值之间的差值小于设定的阈值，完成对双卷积模块网络模型的训练。
S300，对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
本实施例是将有雾图像输入到步骤S200中的双卷积模块网络模型(单参数大气散射模型)得到参数K(x)的值，然后将有雾图像和K(x)的值都代入到单参数大气散射模型(公式(3))就得到了去雾图像。
本实施例中，在将参数K(x)代入到单参数大气散射模型之前，需要先完成映射操作，之所以要进行映射操作，是因为在神经网络的卷积过程中，K(x)的各个值已与图像上的各个点不对应了，因此需要进行映射操作，以使得K(x)的各个值与图像上的各个点一一对应。
步骤S300包括如下的步骤S301和S302：
S301，对所述有雾图像和所述参数值应用非线性映射模型，得到映射之后的所述参数值，映射之后的所述参数值与所述有雾图像的像素点位置相对应。
本实施例的非线性映射模型如图4所示，通过如图4所示的模型把步骤S200中的第二卷积模块计算出来的K(x)进行细化，生成较为准确的K(x)。该模型适合多种环境下的图像,去雾效果更加完美。
如图4所示，将K(x)通过卷积层,池化层,最后通过上采样层把生成的图映射成560*560尺寸大小,然后把输入的原图和生成的映射图进行concat连接,尽量减少经过卷积、池化所损失的信息,最后通过卷积层,得到最后的K(X)的参数估计。
S302，对所述有雾图像和映射之后的所述参数值应用所述单参数大气散射模型，得到去雾图像。
如图5所示的有雾图像，经过本实施例的步骤S100、步骤S200、步骤S300去雾算法之后，得到如图6所示的无雾图像。
综上，本发明先对大气散射模型进行变形，使得具有两个未知参数的大气散射模型变成只有一个未知参数的大气散射模型。然后通过神经网络计算唯一的未知参数的值，最后将该未知参数的值代入到大气散射模型就可以求得去雾图像。由于本发明只需要通过神经网络模型计算出一个参数的值，因此能够降低因计算多个参数值所带来的累积误差，从而提高了最后利用参数值所计算出来的去雾图像质量。
示例性装置
本实施例还提供一种基于神经网络模型的图像去雾装置，所述装置包括如下组成部分：
模型计算模块，用于计算由单个参数构成的单参数大气散射模型；
参数值计算模块，用于将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
去雾模块，用于对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图7所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于神经网络模型的图像去雾方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于神经网络模型的图像去雾程序，处理器执行基于神经网络模型的图像去雾程序时，实现如下操作指令：
计算由单个参数构成的单参数大气散射模型；
将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种基于神经网络模型的图像去雾方法、装置和设备，所述方法包括：计算由单个参数构成的单参数大气散射模型；将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。能够提高去雾图像质量。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于神经网络模型的图像去雾方法，其特征在于，包括：
计算由单个参数构成的单参数大气散射模型；
将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
2.如权利要求1所述的基于神经网络模型的图像去雾方法，其特征在于，所述计算由单个参数构成的单参数大气散射模型，包括：
获取由透射率和大气层系数构成的双参数大气散射模型；
对所述双参数大气散射模型进行模型变形，将所述透射率和所述大气层系数合并成单个参数，得到单参数大气散射模型。
3.如权利要求1所述的基于神经网络模型的图像去雾方法，其特征在于，所述已训练的所述神经网络模型的训练方式包括：
依据所述神经网络模型，得到所述神经网络模型中的由第一卷积模块和第二卷积模块构成的双卷积模块网络模型；
获取有雾样本图像和有雾样本图像所对应的单个参数样本值；
将所述有雾样本图像输入到所述第一卷积模块，得到所述第一卷积模块输出的特征图；
将所述特征图输入到所述第二卷积模块，得到所述第二卷积模块输出的所述单个参数所对应的参数训练值；
依据所述参数训练值和所述单个参数样本值，训练所述双卷积模块网络模型，得到已训练的所述双卷积模块网络模型。
4.如权利要求3所述的基于神经网络模型的图像去雾方法，其特征在于，所述将所述有雾样本图像输入到所述第一卷积模块，得到所述第一卷积模块输出的特征图，包括：
依据所述第一卷积模块，得到构成所述第一卷积模块的各个卷积层、以及位于各个所述卷层之间的池化层和上采样层；
将所述有雾样本图像输入到作为输入层的卷积层，得到作为输出层的上采样层输出的特征图。
5.如权利要求4所述的基于神经网络模型的图像去雾方法，其特征在于，从靠近所述第一卷积模块的输入层至靠近作为所述第一卷积模块输出层的所述上采样层，各个所述卷积层的尺寸分别是11*11、9*9、7*7、5*5、3*3、1*1。
6.如权利要求3所述的基于神经网络模型的图像去雾方法，其特征在于，所述将所述特征图输入到所述第二卷积模块，得到所述第二卷积模块输出的所述单个参数所对应的参数训练值，包括：
依据所述第二卷积模块，得到所述第二卷积模块中的第二卷积单元，所述第二卷积单元包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一连接层、第二连接层、第三连接层；
将所述特征图输入到所述第一卷积层，得到所述第一卷积层输出的第一结果；
将所述第一结果输入到所述第二卷积层，得到所述第二卷积层输出的第二结果；
将所述第一结果和所述第二结果输入到所述第一连接层，得到所述第一连接层输出的第一中间结果；
将所述第一中间结果输入到所述第三卷积层，得到所述第三卷积层输出的第三结果；
将所述第二结果和所述第三结果输入到所述第二连接层，得到所述第二连接层输出的第二中间结果；
将所述第二中间结果输入到所述第四卷积层，得到所述第四卷积层输出的第四结果；
将所述第四结果和所述第三结果输入到所述第三连接层，得到所述第三连接层输出的第三中间结果；
将所述第三中间结果输入到所述第五卷积层，得到所述第五卷积层输出的所述单个参数所对应的参数训练值。
7.如权利要求1所述的基于神经网络模型的图像去雾方法，其特征在于，所述对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像，包括：
对所述有雾图像和所述参数值应用非线性映射模型，得到映射之后的所述参数值，映射之后的所述参数值与所述有雾图像的像素点位置相对应；
对所述有雾图像和映射之后的所述参数值应用所述单参数大气散射模型，得到去雾图像。
8.一种基于神经网络模型的图像去雾装置，其特征在于，所述装置包括如下组成部分：
模型计算模块，用于计算由单个参数构成的单参数大气散射模型；
参数值计算模块，用于将有雾图像输入到已训练的神经网络模型中，得到已训练的所述神经网络模型输出的所述单个参数所对应的参数值；
去雾模块，用于对所述有雾图像和所述参数值应用所述单参数大气散射模型，得到去雾图像。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于神经网络模型的图像去雾程序，所述处理器执行所述基于神经网络模型的图像去雾程序时，实现如权利要求1-7任一项所述的基于神经网络模型的图像去雾方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于神经网络模型的图像去雾程序，所述基于神经网络模型的图像去雾程序被处理器执行时，实现如权利要求1-7任一项所述的基于神经网络模型的图像去雾方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289357.0A CN114862691A (zh) | 2022-03-23 | 2022-03-23 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210289357.0A CN114862691A (zh) | 2022-03-23 | 2022-03-23 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862691A true CN114862691A (zh) | 2022-08-05 |
Family
ID=82628421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210289357.0A Pending CN114862691A (zh) | 2022-03-23 | 2022-03-23 | 一种基于神经网络模型的图像去雾方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862691A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110852971A (zh) * | 2019-11-11 | 2020-02-28 | 昆明理工大学 | 基于暗原色先验和Retinex的视频去雾方法及计算机程序产品 |
| CN110930320A (zh) * | 2019-11-06 | 2020-03-27 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像去雾方法 |
| CN111161160A (zh) * | 2019-12-04 | 2020-05-15 | 新奇点企业管理集团有限公司 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
| CN111161360A (zh) * | 2019-12-17 | 2020-05-15 | 天津大学 | 基于Retinex理论的端到端网络的图像去雾方法 |
| CN111833272A (zh) * | 2020-07-17 | 2020-10-27 | 南京理工大学 | 一种基于渐进特征融合的图像去雾方法及系统 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
-
2022
- 2022-03-23 CN CN202210289357.0A patent/CN114862691A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110930320A (zh) * | 2019-11-06 | 2020-03-27 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像去雾方法 |
| CN110852971A (zh) * | 2019-11-11 | 2020-02-28 | 昆明理工大学 | 基于暗原色先验和Retinex的视频去雾方法及计算机程序产品 |
| CN111161160A (zh) * | 2019-12-04 | 2020-05-15 | 新奇点企业管理集团有限公司 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
| CN111161360A (zh) * | 2019-12-17 | 2020-05-15 | 天津大学 | 基于Retinex理论的端到端网络的图像去雾方法 |
| CN111833272A (zh) * | 2020-07-17 | 2020-10-27 | 南京理工大学 | 一种基于渐进特征融合的图像去雾方法及系统 |
| CN112365414A (zh) * | 2020-11-04 | 2021-02-12 | 天津大学 | 一种基于双路残差卷积神经网络的图像去雾方法 |
Non-Patent Citations (3)
| Title |
|---|
| BOYI LI, AT EL.: ""AOD-Net: All-in-One Dehazing Network"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, 31 December 2017 (2017-12-31), pages 4780 - 4788 * |
| 李玉峰等: ""基于深度学习的遥感图像去雾算法"", 《计算机应用研究》, vol. 38, no. 6, 30 December 2020 (2020-12-30), pages 1 - 4 * |
| 雎青青等: ""改进多尺度卷积神经网络的单幅图像去雾方法"", 《计算机工程与应用》, vol. 55, no. 10, 31 December 2019 (2019-12-31) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11467661B2 (en) | Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium | |
| CN109829437B (zh) | 图像处理方法、文本识别方法、装置和电子系统 | |
| EP4105877A1 (en) | Image enhancement method and image enhancement apparatus | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| CN112446834A (zh) | 图像增强方法和装置 | |
| CN110675385B (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
| CN112949507B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| CN112241976A (zh) | 一种训练模型的方法及装置 | |
| CN112818873B (zh) | 车道线检测方法、系统及电子设备 | |
| CN111368717A (zh) | 视线确定方法、装置、电子设备和计算机可读存储介质 | |
| WO2021159811A1 (zh) | 青光眼辅助诊断装置、方法及存储介质 | |
| CN112907557A (zh) | 道路检测方法、装置、计算设备及存储介质 | |
| CN111260548B (zh) | 基于深度学习的贴图方法及装置 | |
| CN112863453B (zh) | 全息显示方法及全息显示系统 | |
| CN114049549A (zh) | 水下视觉识别方法、系统和计算机可读存储介质 | |
| CN114862691A (zh) | 一种基于神经网络模型的图像去雾方法、装置和设备 | |
| CN112950497A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2023142753A1 (zh) | 图像相似性度量方法及其装置 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| Nasonov et al. | Linear blur parameters estimation using a convolutional neural network | |
| CN112116596A (zh) | 图像分割模型的训练方法、图像分割方法、介质及终端 | |
| CN115564682A (zh) | 一种光照不均图像增强方法及系统 | |
| CN112927139B (zh) | 一种双目热成像系统及超分辨率图像获取方法 | |
| CN111652245B (zh) | 车辆轮廓检测方法、装置、计算机设备及存储介质 | |
| CN114972530A (zh) | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |