CN116757949A - 一种大气-海洋散射环境退化图像复原方法及系统 - Google Patents
一种大气-海洋散射环境退化图像复原方法及系统 Download PDFInfo
- Publication number
- CN116757949A CN116757949A CN202310701588.2A CN202310701588A CN116757949A CN 116757949 A CN116757949 A CN 116757949A CN 202310701588 A CN202310701588 A CN 202310701588A CN 116757949 A CN116757949 A CN 116757949A
- Authority
- CN
- China
- Prior art keywords
- image
- scattering
- atmospheric
- degradation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000015556 catabolic process Effects 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000011161 development Methods 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000002834 transmittance Methods 0.000 claims description 59
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 230000018109 developmental process Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000000593 degrading effect Effects 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000013178 mathematical model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种大气‑海洋散射环境退化图像复原方法及系统，解决了现有图像复原方法鲁棒性不足的问题，提高了退化图像复原的实时性，方法包括：一、分析大气和海洋散射模态下图像退化过程，建立自适应模态匹配的图像复原模型，实现多模态散射环境高鲁棒性退化图像复原；二、估计大气和海洋散射环境中的未知散射参数，并生成退化图像复原网络训练样本数据集；三、建立基于生成对抗网络的退化图像复原网络模型，预训练该网络模型并抽取生成器网络，实现退化图像复原。系统包括相机、ZYNQ嵌入式开发板和交互装置，相机用于采集退化图像；ZYNQ嵌入式开发板搭载有用于实现上述方法的退化图像复原算法；交互装置用于人机交互并显示处理前后的图像。
Description
技术领域
本发明属于散射环境下退化图像复原技术领域，具体涉及一种大气-海洋散射环境退化图像复原方法及系统。
背景技术
大气-海洋散射环境(如雾霾、浑浊水体等)会对目标场景清晰化成像造成极大干扰，降低成像目标的对比度和清晰度，使得相机所拍摄的目标场景图像受散射介质散射影响呈模糊、低对比度、视距减小、偏色等退化现象，严重影响了观测者对目标场景的认知。如雾霾天候驾驶视线受阻、视距降低容易引发交通事故；浑浊水体散射致使水下视距减小、场景偏色等，为水下搜救、考古等增加困难；水栖两路及潜艇的感知系统在遭受大气及海洋散射环境迭代影响时，会折损其场景感知性能。单一散射环境下的退化图像复原方法，尽管可以满足特定散射介质扰动下的退化图像复原，但当散射介质状态或类型改变时，其图像复原质量有所下降亦或失败，究其原因是退化图像复原方法的鲁棒性不足；此外，离线或延时图像复原均会造成场景感知效率下降，难以满足实时化场景感知的应用需求。基于此，亟需开发高鲁棒性快速退化图像复原方法及系统。
传统的退化图像复原方法，通常针对特定散射环境建立散射模型实现退化图像复原，表现为该模型只针对当下散射环境及状态有效，散射环境适应性不足，例如Kaiming He的“Single Image Haze Removal Using Dark Channel Prior”文献，针对雾霾散射环境提出了暗通道的方法实现图像去雾，但该方法存在块效应且在天空区域效果不佳，当将其拓展到水下散射环境时，需要进行特定改进，图像复原算法鲁棒性低；专利文献“一种基于生成对抗网络的模糊图像复原方法及系统”，采用多尺度条件生成对抗网络实现运动模糊图像复原，但是该方法的物理可解释性不足，且泛化性有待进一步提高；专利文献“基于多级小波卷积神经网络的图像复原系统”，解决了现有基于卷积神经网络的图像复原系统无法兼顾图像复原质量和图像复原速度的问题，但是该方法需要配对数据集，给退化图像获取带来了困难。
发明内容
为了解决现有技术中的问题，本发明提供了一种大气-海洋散射环境退化图像复原方法及系统，解决了现有图像复原方法鲁棒性不足的问题，提高了退化图像复原的实时性。
为了实现以上目的，本发明提供了一种大气-海洋散射环境退化图像复原方法，包括：
步骤一、分析大气和海洋散射模态下图像退化过程，包括建立在大气散射介质散射下的图像退化过程模型以及基于双透射率的水下成像模型；建立自适应模态匹配的图像复原模型，用于联系两种不同散射模态，且根据自适应散射模态匹配的方式选择当下散射环境并开展图像复原；
步骤二、估计大气和海洋散射环境中的未知散射参数，并带入自适应模态匹配的图像复原模型得到复原图像，生成退化图像复原网络模型的训练样本数据集；
步骤三，建立基于生成对抗网络的退化图像复原网络模型，根据训练样本数据集预训练退化图像复原网络模型并抽取生成器网络，实现退化图像复原。
进一步地，所述步骤一中考虑大气散射介质是同质均匀的雾霾时，大气散射系数和大气光值是常量，忽略波长对大气散射的影响，得到雾霾散射下的图像退化过程模型为：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，I(x)表示雾霾散射下的退化图像，J(x)表示目标场景清晰图像，t(x)＝e-βd(x)为大气透射率，d(x)为相机距离目标场景之间的距离，β为大气散射系数，A(x)表示大气光值，x表示空间坐标。
进一步地，所述步骤一中基于双透射率的水下成像模型表示为：
其中：为直接衰减分量透射率，/>为后向散射分量透射率，Jλ(x)表示波长为λ时的清晰图像，Iλ(x)表示波长为λ时的退化图像。
进一步地，所述步骤一中设置模态匹配系数，建立自适应模态匹配的图像复原模型表示为：
其中，α,β∈[0,1]为模态匹配系数且互斥，max(·)表示取最大值的操作，Aλ(x)表示波长为λ时的大气光值，t0为避免透射率过小导致图像复原畸变的下限参数。
进一步地，所述步骤二中未知散射参数包括大气光值、大气透射率、水光值和水体双透射率，所述大气光值和水光值均采用四叉树分解法估计，针对大气散射退化图像，先对大气退化图像进行天空区域分割，再对天空区域四叉树分解得到收敛区域，取收敛区域的平均强度作为大气光值；针对水体散射退化图像，对退化图像进行全局四叉树分解得到收敛区域，取收敛区域的平均强度作为水光值；其中四叉树分解时取平均强度较高的分解区域开展下一次分解，以设定的收敛区域尺寸为分解终止条件。
进一步地，所述大气透射率采用分块估计再拼接的方式估计，并采用暗通道极值差修正的方式估计大气透射率，表达为：
其中，为退化图像暗通道所有像素强度最大值，/>为退化图像暗通道所有像素强度最小值，U为单位矩阵，表示哈达玛积，A(x)为大气光值，ti(xi)表示退化图像分割后第i个子块的透射率，xi表示第i个子块中像素空间坐标；估计到每个子块的大气透射率后再将其拼接在一起，得到整体大气透射率t(x)。
进一步地，所述水体双透射率中将大气透射率的估计方式默认为水下偏色色调通道的水体透射率，采用分通道估计的方式估计各通道水体透射率，后向散射分量透射率与波长弱相关，与成像距离正相关，表达为：
其中，表示水下偏色色调通道的水体透射率；λ1,λ2∈{λg,λb}，λg,λb分别表示绿光和蓝光波长，如果水下退化图像呈蓝色色调，则λ1＝λb，λ2＝λg；否则，则λ1＝λg，λ2＝λb；Aλ为不同光波长的水光值，bλ为不同光波长的水下散射系数，/>表示红通道直接衰减分量透射率，cr表示波长为r时的衰减系数；后向散射分量透射率与波长弱相关，与成像距离正相关，表达为：
其中，表示后向散射分量透射率，/>和/>分别表示蓝通道直接衰减透射率和绿通道直接衰减透射率，/>和/>分别表示水下退化图像的蓝通道强度均值和绿通道强度均值。
进一步地，所述步骤二中训练样本数据集生成过程包括：采集单幅大气-海洋散射环境下的退化图像，采用LOG算子的二阶导数过零点进行图像低频特征检测，若能够检测到过零点，说明存在线特征，则该退化图像具有低频轮廓信息，作为待复原图像；对退化图像进行RGB三通道直方图分析，若红通道强度均值低于蓝/绿通道，则认为是水下退化图像，设置模态匹配系数β＝1，反之α＝1；再估计当前散射模态下的未知散射参数，并带入自适应模态匹配的图像复原模型中得到复原图像，形成退化图像-复原图像的训练样本数据集。
进一步地，所述步骤三具体包括：首先通过训练样本数据集生成样本集；然后构建生成器网络和判别器网络，生成器网络采用U-Net的端到端结构，判别器采用多尺度结构提取图像局部和全局特征，同时采用对抗损失、L1损失和感知损失构造损失函数，约束网络的训练过程；其次利用生成的样本集和构建的生成对抗网络结构，开展生成对抗网络的博弈对抗训练，参数优化过程中，先固定生成器网络参数，优化判别器网络参数i次，再固定判别器网络参数，优化生成器网络参数1次，反复循环，直至生成器网络和判别器网络达到纳什均衡为止，网络训练过程中生成对抗网络的图像复原能力逼近甚至超越自适应模态匹配的图像复原模型性能；最后从训练好的生成对抗网络中抽取出生成器网络实现退化图像复原。
本发明还提供了一种大气-海洋散射环境退化图像复原系统，包括依次通信连接的相机、ZYNQ嵌入式开发板和交互装置，相机用于采集退化图像；ZYNQ嵌入式开发板搭载有用于实现上述的大气-海洋散射环境退化图像复原方法的退化图像复原算法；交互装置用于人机交互并显示处理前后的图像。
与现有技术相比，本发明方法通过采集大气-海洋散射环境下的退化图像，建立了大气和海洋散射环境下自适应模态匹配的图像复原模型，通过模态匹配，估计不同模态散射环境散射参数，实现高鲁棒性退化图像复原，并生成图像复原样本数据集，设计了基于生成对抗网络的图像复原网络，并开展网络预训练，抽取生成器网络，实现快速退化图像复原，提高退化图像复原效率，实现高鲁棒性快速退化图像复原。方法分析并归纳了大气和海洋散射环境图像退化过程，建立了自适应模态匹配的图像复原数学模型，通过自适应模态匹配的方式估计当前散射模态并估计未知散射参数，为高鲁棒性退化图像复原奠定了理论基础。基于生成对抗网络的图像复原网络模型，通过自适应模态匹配的图像复原模型生成样本数据集，解决了样本集获取困难和合成样本集非真实性对网络泛化性的影响，通过网络训练与生成器网络抽取，实现了高鲁棒性快速图像复原。
本发明的系统基于上述大气-海洋散射环境退化图像复原方法开发，移植算法至嵌入式开发板中，利用ZYNQ的并行数据处理机制，遵循模块化紧凑型设计思想，便于终端集成，实现便携式终端感知设备快速场景感知及实时退化图像复原，能够应用于视频监控、水下搜救和智能驾驶等领域。
附图说明
图1是本发明的方法流程图；
图2是本发明的图像复原网络训练样本集生成流程图；
图3是本发明的基于生成对抗网络的退化图像复原示意图，其中(a)为生成对抗网络结构示意图；(b)为退化图像复原与测试图；
图4是本发明的退化图像复原效果对比图，其中(a)为退化图像图；(b)为复原图像图；
图5是本发明的系统结构示意图；
图6是本发明的系统原理框图；
其中，501是目标场景；502是相机；503是数据传输线；504是ZYNQ嵌入式开发板；505是显示屏；506是复原图像。
具体实施方式
下面结合说明书附图和具体的实施例对本发明作进一步地解释说明，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明提供了一种大气-海洋散射环境退化图像复原方法及系统，方法通过建立自适应模态匹配的退化图像复原模型，解决现有图像复原方法鲁棒性不足的问题，同时设计生成对抗网络，通过生成对抗网络训练与生成器网络抽取，提高退化图像复原方法的实时性；此外，移植该算法至嵌入式开发板中，开发基于ZYNQ的嵌入式退化图像复原系统，实现便携式终端感知设备实时退化图像复原；本发明能应用于智能驾驶、水下搜救、视频监控领域。本实施例中的大气-海洋散射环境是指雾、霾、浑浊水体等散射环境。
下面本发明实施例方法以雾霾和浑浊水体作为散射介质开展实例验证。
参见图1，本发明的方法包括：101通过采集大气-海洋散射环境下的退化图像；102建立自适应模态匹配的图像复原模型，估计不同模态散射环境散射参数，实现高鲁棒性退化图像复原；103生成图像复原样本数据集；104设计生成对抗网络并开展网络预训练；105抽取生成器网络，实现快速退化图像复原。
具体包括以下步骤：
步骤一：分析大气和海洋散射模态下图像退化过程，建立自适应模态匹配的图像复原模型，实现多模态散射环境高鲁棒性退化图像复原。步骤一具体又包括以下步骤：
步骤1.1：分析并归纳大气和海洋散射模态下的图像退化过程
大气中的雾霾等散射介质通常造成图像模糊、对比度下降、视距降低，尽管图像清晰度受散射介质干扰得以下降，但仍然包含较多低频信息，感知场景的目标形态可以辨识但不清晰，这主要是由于目标场景受环境光散射和反射光经介质衰减导致。若考虑大气散射介质是同质均匀的雾霾时，大气散射系数和大气光值是常量，忽略波长对大气散射的影响，可以得到雾霾散射下的图像退化过程为：
I(x)＝J(x)t(x)+A(x)(1-t(x)), (1)
其中，I(x)表示雾霾散射下的退化图像，J(x)表示目标场景清晰图像，t(x)＝e-βd(x)为大气透射率，d(x)为相机距离目标场景之间的距离，β为大气散射系数，A(x)表示大气光值，x表示空间坐标；
海洋中的场景图像不仅由于散射效应造成图像模糊、对比度下降，同时会因水体对光的吸收作用造成图像产生偏色现象，特别是红色分量的丢失，使水下图像通常呈模糊的蓝绿色现象。水体散射下的图像退化过程与雾霾散射下的图像退化过程类似，水体中，相机接收到光照度通常由三部分组成：直接衰减分量、前向散射分量和后向散射分量，但是水下成像时相机距离目标较近，可以忽略前向散射分量对成像系统的影响，将水下成像简化为受直接衰减分量和后向散射分量的影响。此外，考虑水对不同波长光的吸收作用，将水对不同波长光的衰减引入退化模型，将水下成像时的图像退化模型改进为基于双透射率的水下成像模型，可以表达为：
公式(2)中：为直接衰减分量透射率，/>为后向散射分量透射率，Jλ(x)表示波长为λ时的清晰图像，Iλ(x)表示波长为λ时的退化图像；
步骤1.2：建立自适应模态匹配的图像复原模型
为了提高图像复原方法的鲁棒性，使得图像复原方法在散射介质状态或类型改变时仍能复原出较好的图像质量，分析大气散射和海洋散射过程的相似之处，建立联系两种不同散射模态的数学模型，根据自适应散射模态匹配的方式选择当下散射环境并开展图像复原，以此提高图像复原方法的鲁棒性。为此，设置模态匹配系数，建立自适应模态匹配的图像复原数学模型为：
其中，α,β∈[0,1]为模态匹配系数且互斥，max(·)表示取最大值的操作，Aλ(x)表示波长为λ时的大气光值，t0为避免透射率过小导致图像复原畸变的下限参数。在利用该方法进行图像复原时，通过对退化特征检测和偏色判断，自适应匹配当前散射模态类型，确定模态匹配系数，并且估计当前散射模态下的未知散射参数后，利用公式(3)实现高鲁棒性图像复原。
步骤二：估计大气和海洋散射环境中的未知散射参数，并生成退化图像复原网络训练样本数据集。步骤二具体又包括以下步骤：
步骤2.1：估计大气和海洋散射模态未知散射参数
大气和海洋散射环境下的未知散射参数主要包括大气光值、大气透射率，水光值和水体双透射率。由于大气光值和水光值均取自无限远处的光强值，为此采用四叉树分解法估计大气光值和水光值。针对大气散射退化图像，先对大气退化图像进行天空区域分割，再对天空区域四叉树分解得到收敛区域，取收敛区域的平均强度作为大气光值；针对水体散射退化图像，对退化图像进行全局四叉树分解得到收敛区域，取收敛区域的平均强度作为水光值；其中四叉树分解时取平均强度较高的分解区域开展下一次分解，以设定的收敛区域尺寸为分解终止条件。
大气中的雾霾受环境影响可能呈非均匀分布状态，采用分块估计再拼接的方式估计雾霾散射下的大气透射率，同时为了减小大气透射率估计时对大气光值准确性的依赖，采用暗通道极值差修正的方式估计大气透射率，可以表达为：
其中，为退化图像暗通道所有像素强度最大值，/>为退化图像暗通道所有像素强度最小值，U为单位矩阵，表示哈达玛积，A(x)为大气光值，ti(xi)表示退化图像分割后第i个子块的透射率，xi表示第i个子块中像素空间坐标；估计到每个子块的大气透射率后再将其拼接在一起，得到整体大气透射率t(x)。
水下散射过程和大气散射下图像退化过程相似，但水体对光具有吸收作用，因此，将大气透射率的估计方式默认为水下偏色色调通道的水体透射率，采用分通道估计的方式估计各通道水体透射率。其中，直接衰减分量透射率与成像距离弱相关，受波长影响较大，可以表达为：
式中，表示水下偏色色调通道的水体透射率，λ1,λ2∈{λg,λb}，λg,λb分别表示绿光和蓝光波长，如果水下退化图像呈蓝色色调，则λ1＝λb，λ2＝λg；否则，则λ1＝λg，λ2＝λb；Aλ为不同光波长的水光值，bλ为不同光波长的水下散射系数，/>表示红通道直接衰减分量透射率，cr表示波长为r时的衰减系数。后向散射分量透射率与波长弱相关，与成像距离正相关，可以表达为：
其中，表示后向散射分量透射率，/>和/>分别表示蓝通道直接衰减透射率和绿通道直接衰减透射率，/>和/>分别表示水下退化图像的蓝通道强度均值和绿通道强度均值。
步骤2.2：生成退化图像复原网络样本数据集
由于散射环境下的清晰化样本数据难以获取，且合成数据集与真实样本集具有一定偏差，容易影响网络泛化性能。因此，利用上述步骤生成退化图像复原网络训练数据集，用以训练基于生成对抗网络的退化图像复原网络。如图2所示，具体流程为：201采集大量单幅大气-海洋散射环境下的退化图像；202采用LOG算子的二阶导数过零点进行图像低频特征检测，若能够检测到过零点，说明存在线特征，该图像具有低频轮廓信息，可以采用该方法复原图像；203对退化图像进行RGB三通道直方图分析，若红通道强度均值低于蓝/绿通道，则认为是水下退化图像，204设置模态匹配系数β＝1，反之α＝1；205再根据步骤2.1估计当前散射模态下的未知散射参数；206将其带入自适应模态匹配的图像复原模型中得到复原图像；207形成退化图像-复原图像样本数据集。
步骤三：设计基于生成对抗网络的退化图像复原网络模型，预训练该网络模型并抽取生成器网络，实现退化图像高鲁棒性快速复原。
尽管基于自适应模态匹配的图像复原模型可以实现退化图像复原，但该方法的未知散射参数估计和模态匹配过程较为耗时，导致退化图像复原实时性能较差。为了提高图像复原效率，提出基于生成对抗网络的退化图像复原方法，如图3所示，该方法的具体过程为：如图3中(a)所示，首先，通过步骤2.2生成样本集，解决散射环境下样本数据获取困难的问题；其次，设计生成器网络和判别器网络，其中生成器网络采用类似U-Net的端到端结构设计，判别器采用多尺度结构提取图像局部和全局特征，同时，采用对抗损失、L1损失和感知损失构造损失函数，约束网络的训练过程；然后，利用生成的样本集和设计的生成对抗网络结构，开展生成对抗网络的博弈对抗训练，参数优化过程中，先固定生成器网络参数，优化判别器网络参数i次，再固定判别器网络参数，优化生成器网络参数1次，反复循环，直至生成器网络和判别器网络达到纳什均衡为止，网络训练过程中生成对抗网络的图像复原能力逼近甚至超越自适应模态匹配图像复原性能，由于采用了散射环境真实样本，网络泛化性能和可解释性也得到了提升；最后，如图3中(b)所示，从训练好的生成对抗网络中抽取出生成器网络实现退化图像复原，避免了样本集生成和网络判别过程造成的时间消耗，极大地提高了图像复原效率，其中退化图像复原前后效果如图4所示，可以看到不论是雾霾退化图像还是浑浊水体散射退化图像，复原后图像清晰度得到了明显提升，若彩色显示时可以看到图像偏色得到了矫正。
通过上述步骤一、步骤二、步骤三可以实现大气-海洋散射环境退化图像复原，为了将该方法落地应用，将所提出的一种大气-海洋散射环境退化图像复原方法移植至嵌入式开发板中，形成退化图像复原系统如图5所示。本发明的系统包括依次通信连接的相机502、ZYNQ嵌入式开发板504和交互装置，相机502用于采集退化图像；ZYNQ嵌入式开发板504搭载有用于实现上述的大气-海洋散射环境退化图像复原方法的退化图像复原算法；交互装置可以是显示屏505等用于人机交互并显示处理前后的图像。具体地，系统包括相机502、数据传输线503、ZYNQ嵌入式开发板504和显示屏505组成。退化图像复原系统原理如图6所示，相机502用于采集退化图像501；数据传输线503用于传送退化图像即目标场景501，连接相机502至嵌入式开发板504；ZYNQ嵌入式开发板504用于运行退化图像复原算法，并控制显示屏505显示处理前后的图像506。其中数据传输线503、ZYNQ嵌入式开发板504和显示屏505遵循模块化开发思想，便于集成至相机502后端，与相机502快速组成散射环境场景感知系统。
本发明的方法分析并归纳了大气和海洋散射环境图像退化过程，建立了自适应模态匹配的图像复原数学模型，通过自适应模态匹配的方式估计当前散射模态并估计未知散射参数，为高鲁棒性退化图像复原奠定了理论基础。本发明方法设计了基于生成对抗网络的图像复原网络模型，通过自适应模态匹配的图像复原模型生成样本数据集，解决了样本集获取困难和合成样本集非真实性对网络泛化性的影响，通过网络训练与生成器网络抽取，实现了高鲁棒性快速图像复原，实现雾霾和浑浊水体等散射环境下的退化图像复原，提高了目标场景清晰度并矫正了图像偏色，进一步提升对散射环境下的目标场景感知。
本发明基于所提出的一种大气-海洋散射环境退化图像复原方法开发了退化图像复原系统，该系统利用ZYNQ的并行数据处理机制，遵循模块化紧凑型设计思想，开发了便于终端集成的退化图像复原系统。通过散射环境数学模型建立与网络结构设计实现高鲁棒性快速图像复原，同时设计终端可嵌入的便携式图像复原系统，实现快速场景感知。建立自适应模态匹配的图像复原模型生成样本数据集，设计生成对抗网络实现退化图像复原，同时开发退化图像复原系统，为便携式终端图像复原提供支持。系统以模块化设计的思想，便于快速集成终端可嵌入的紧凑型场景感知系统。本发明应用领域包括但并不限于智能驾驶、水下搜救和视频监控等领域。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种大气-海洋散射环境退化图像复原方法，其特征在于，包括：
步骤一、分析大气和海洋散射模态下图像退化过程，包括建立在大气散射介质散射下的图像退化过程模型以及基于双透射率的水下成像模型；建立自适应模态匹配的图像复原模型，用于联系两种不同散射模态，且根据自适应散射模态匹配的方式选择当下散射环境并开展图像复原；
步骤二、估计大气和海洋散射环境中的未知散射参数，并带入自适应模态匹配的图像复原模型得到复原图像，生成退化图像复原网络模型的训练样本数据集；
步骤三，建立基于生成对抗网络的退化图像复原网络模型，根据训练样本数据集预训练退化图像复原网络模型并抽取生成器网络，实现退化图像复原。
2.根据权利要求1所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤一中考虑大气散射介质是同质均匀的雾霾时，大气散射系数和大气光值是常量，忽略波长对大气散射的影响，得到雾霾散射下的图像退化过程模型为：
I(x)＝J(x)t(x)+A(x)(1-t(x))
其中，I(x)表示雾霾散射下的退化图像，J(x)表示目标场景清晰图像，t(x)＝e-βd(x)为大气透射率，d(x)为相机距离目标场景之间的距离，β为大气散射系数，A(x)表示大气光值，x表示空间坐标。
3.根据权利要求2所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤一中基于双透射率的水下成像模型表示为：
其中：为直接衰减分量透射率，/>为后向散射分量透射率，Jλ(x)表示波长为λ时的清晰图像，Iλ(x)表示波长为λ时的退化图像。
4.根据权利要求3所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤一中设置模态匹配系数，建立自适应模态匹配的图像复原模型表示为：
其中，α,β∈[0,1]为模态匹配系数且互斥，max(·)表示取最大值的操作，Aλ(x)表示波长为λ时的大气光值，t0为避免透射率过小导致图像复原畸变的下限参数。
5.根据权利要求1所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤二中未知散射参数包括大气光值、大气透射率、水光值和水体双透射率，所述大气光值和水光值均采用四叉树分解法估计，针对大气散射退化图像，先对大气退化图像进行天空区域分割，再对天空区域四叉树分解得到收敛区域，取收敛区域的平均强度作为大气光值；针对水体散射退化图像，对退化图像进行全局四叉树分解得到收敛区域，取收敛区域的平均强度作为水光值；其中四叉树分解时取平均强度较高的分解区域开展下一次分解，以设定的收敛区域尺寸为分解终止条件。
6.根据权利要求5所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述大气透射率采用分块估计再拼接的方式估计，并采用暗通道极值差修正的方式估计大气透射率，表达为：
其中，为退化图像暗通道所有像素强度最大值，/>为退化图像暗通道所有像素强度最小值，U为单位矩阵，表示哈达玛积，A(x)为大气光值，ti(xi)表示退化图像分割后第i个子块的透射率，xi表示第i个子块中像素空间坐标；估计到每个子块的大气透射率后再将其拼接在一起，得到整体大气透射率t(x)。
7.根据权利要求5所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述水体双透射率中将大气透射率的估计方式默认为水下偏色色调通道的水体透射率，采用分通道估计的方式估计各通道水体透射率，后向散射分量透射率与波长弱相关，与成像距离正相关，表达为：
其中，表示水下偏色色调通道的水体透射率；λ1,λ2∈{λg,λb}，λg,λb分别表示绿光和蓝光波长，如果水下退化图像呈蓝色色调，则λ1＝λb，λ2＝λg；否则，则λ1＝λg，λ2＝λb；Aλ为不同光波长的水光值，bλ为不同光波长的水下散射系数，/>表示红通道直接衰减分量透射率，cr表示波长为r时的衰减系数；后向散射分量透射率与波长弱相关，与成像距离正相关，表达为：
其中，表示后向散射分量透射率，/>和/>分别表示蓝通道直接衰减透射率和绿通道直接衰减透射率，/>和/>分别表示水下退化图像的蓝通道强度均值和绿通道强度均值。
8.根据权利要求1或5或6或7所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤二中训练样本数据集生成过程包括：采集单幅大气-海洋散射环境下的退化图像，采用LOG算子的二阶导数过零点进行图像低频特征检测，若能够检测到过零点，说明存在线特征，则该退化图像具有低频轮廓信息，作为待复原图像；对退化图像进行RGB三通道直方图分析，若红通道强度均值低于蓝/绿通道，则认为是水下退化图像，设置模态匹配系数β＝1，反之α＝1；再估计当前散射模态下的未知散射参数，并带入自适应模态匹配的图像复原模型中得到复原图像，形成退化图像-复原图像的训练样本数据集。
9.根据权利要求1所述的一种大气-海洋散射环境退化图像复原方法，其特征在于，所述步骤三具体包括：首先通过训练样本数据集生成样本集；然后构建生成器网络和判别器网络，生成器网络采用U-Net的端到端结构，判别器采用多尺度结构提取图像局部和全局特征，同时采用对抗损失、L1损失和感知损失构造损失函数，约束网络的训练过程；其次利用生成的样本集和构建的生成对抗网络结构，开展生成对抗网络的博弈对抗训练，参数优化过程中，先固定生成器网络参数，优化判别器网络参数i次，再固定判别器网络参数，优化生成器网络参数1次，反复循环，直至生成器网络和判别器网络达到纳什均衡为止，网络训练过程中生成对抗网络的图像复原能力逼近甚至超越自适应模态匹配的图像复原模型性能；最后从训练好的生成对抗网络中抽取出生成器网络实现退化图像复原。
10.一种大气-海洋散射环境退化图像复原系统，其特征在于，包括依次通信连接的相机、ZYNQ嵌入式开发板和交互装置，相机用于采集退化图像；ZYNQ嵌入式开发板搭载有用于实现如权利要求1至9中任选一项所述的大气-海洋散射环境退化图像复原方法的退化图像复原算法；交互装置用于人机交互并显示处理前后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310701588.2A CN116757949A (zh) | 2023-06-14 | 2023-06-14 | 一种大气-海洋散射环境退化图像复原方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310701588.2A CN116757949A (zh) | 2023-06-14 | 2023-06-14 | 一种大气-海洋散射环境退化图像复原方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116757949A true CN116757949A (zh) | 2023-09-15 |
Family
ID=87954678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310701588.2A Pending CN116757949A (zh) | 2023-06-14 | 2023-06-14 | 一种大气-海洋散射环境退化图像复原方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757949A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115043A (zh) * | 2023-10-19 | 2023-11-24 | 武汉大学 | 一种夜光影像除辉光方法及系统 |
-
2023
- 2023-06-14 CN CN202310701588.2A patent/CN116757949A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115043A (zh) * | 2023-10-19 | 2023-11-24 | 武汉大学 | 一种夜光影像除辉光方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596853A (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN109447917B (zh) | 基于内容和特征及多尺度模型的遥感图像雾霾消除方法 | |
| Rashid et al. | Single image dehazing using CNN | |
| CN110288539B (zh) | 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 | |
| CN110689490A (zh) | 一种基于纹理颜色特征和优化透射率的水下图像复原方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Yuan et al. | Image dehazing based on a transmission fusion strategy by automatic image matting | |
| CN111833258A (zh) | 一种基于双透射率水下成像模型的图像颜色校正方法 | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| Bansal et al. | A review of image restoration based image defogging algorithms | |
| CN116757949A (zh) | 一种大气-海洋散射环境退化图像复原方法及系统 | |
| Zhang et al. | Image dehazing based on dark channel prior and brightness enhancement for agricultural remote sensing images from consumer-grade cameras | |
| CN110335210B (zh) | 一种水下图像复原方法 | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| CN112070691A (zh) | 一种基于U-Net的图像去雾方法 | |
| CN112862876A (zh) | 一种用于水下机器人的实时深海视频图像增强方法 | |
| CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
| CN116152107A (zh) | 一种基于细节恢复的单幅图像去雾方法 | |
| CN113989164B (zh) | 一种水下彩色图像复原方法、系统及存储介质 | |
| Natarajan | A review on underwater image enhancement techniques | |
| Guodong et al. | Underwater image enhancement and detection based on convolutional DCP and YOLOv5 | |
| LI et al. | Underwater Image Enhancement Based on IMSRCR and CLAHE-WGIF | |
| Kis et al. | Night-time image dehazing using deep hierarchical network trained on day-time hazy images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |