CN109934791A - 一种基于风格迁移网络的图像去雾方法及系统 - Google Patents
一种基于风格迁移网络的图像去雾方法及系统 Download PDFInfo
- Publication number
- CN109934791A CN109934791A CN201910261234.4A CN201910261234A CN109934791A CN 109934791 A CN109934791 A CN 109934791A CN 201910261234 A CN201910261234 A CN 201910261234A CN 109934791 A CN109934791 A CN 109934791A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- loss function
- network
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种基于风格迁移网络的图像去雾方法及系统，属于数字图像处理技术领域。本发明的基于风格迁移网络的图像去雾方法，使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化损失函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。该发明的基于风格迁移网络的图像去雾方法不需要大量的先验知识，无需人为干预，仅需要对图像进行处理，适用范围广泛，具有很好的推广应用价值。
Description
技术领域
本发明涉及数字图像处理技术领域，具体提供一种基于风格迁移网络的图像去雾方法及系统。
背景技术
雾霾是一种常见的大气现象，主要出现在秋冬季节，它们都是由空气中散布的高浓度粉尘、气溶胶、微小水滴等大气颗粒物质所导致的灾害性天气现象。在形成机制上，雾和霾并不完全相同。雾是由空气中存在大量的微小水滴和冰晶，从而在接近地面的大气中形成的一种天气环境，其中的大气颗粒半径一般在1～10微米，颗粒较大其尺寸远大于可见光波长，因此其对不同波长的可见光的散射作用基本一致，导致雾气在视觉上泛白。霾与雾的区别主要在大气颗粒的类型上，霾颗粒主要由空气中悬浮的粉尘构成，颗粒半径一般为0.001～1微米，其尺寸对于波长较长的可见光散射更多，从而使得霾在视觉色彩上偏黄。二者都对人类的生产和生活带来了极大的不利影响，由于其影响的光线的传播使得，现在通用的数字图像采集设施获取的图像能见度低、对比度下降，为后续的图像分割、目标识别、目标跟踪、行为检测、自动驾驶等计算机视觉任务造成了极大的不便。
随着近年来雾霾天气的增加和图像技术、深度学习技术的快速发展，图像去雾问题受到了广泛的关注。目前常见的图像去雾方法是基于物理成像模型的方法：该类方法通过研究大气散射颗粒对光线传输的影响，并尝试将其作用机制运用在图像去雾算法中，对雾天图像的退化过程进行建模，之后通过对其中参数的调解优化来去除图像中的雾霾。一般这类方法的模型受到图像采集时的大气情况、距离景深等条件影响，对普通设备的去雾来说硬件要求过高，应用范围有限。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种不需要大量的先验知识，无需人为干预，仅需要对图像进行处理，适用范围广泛的基于风格迁移网络的图像去雾方法。
本发明进一步的技术任务是提供一种基于风格迁移网络的图像去雾系统。
本发明进一步的技术任务是提供一种基于风格迁移网络的图像去雾方法在图像或视频处理的应用。
为实现上述目的，本发明提供了如下技术方案：
一种基于风格迁移网络的图像去雾方法，该方法使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。
作为优选，该方法具体包括以下步骤：
S1、根据雾霾图像即内容图像选择特征相近的无雾霾图像即风格图像，并调整内容图像与风格图像的尺寸相同；
S2、使用初始化的网络参数构建图像生成网络fw；
S3、将内容图像输入生成网络，计算得到对应的生成图像yt；
S4、使用卷积深度神经网络分类模型的卷积层和池化层，对生成图像和风格图像进行特征提取；
S5、对内容图像和对应的生成图像使用均方差计算内容损失函数lcontent，对风格图像和对应的生成图像使用均方差计算风格损失函数lstyle；
S6、将内容损失函数与风格损失函数相加合并得到总体损失函数l，使用Adam优化函数减小总体损失函数l，来调整生成网络的参数w；
S7、返回步骤S3，使用调整后的生成网络参数重新计算生成图像yt+1，反复迭代至指定次数，返回最终生成图像y。
作为优选，步骤S4中，可使用已有经过验证的可靠图像分类卷积深度神经网络，使用其中训练好的卷积层参数和池化层参数。
作为优选，所述卷积深度神经网络分类模型采用Inception或VGG。
一种基于风格迁移网络的图像去雾系统，该系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块：
图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸；
多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数；
损失优化模块计算、合并内容损失函数和风格损失函数，使用Adam优化函数优化，并反馈调节生成网络的参数。
作为优选，所述图像生成模块包括初始化的参数矩阵，与内容图像矩阵计算得到大小不变的生成图像。
作为优选，所述内容图像提取使用的卷积层数少于风格图像提取的卷积层数。
作为优选，所述损失优化模块相加合并内容损失函数和风格损失函数，作为整体优化，并反馈调节生成网络的参数。
该发明的基于风格迁移网络的图像去雾方法在图像或视频处理的应用。
与现有技术相比，本发明的基于风格迁移网络的图像去雾方法具有以下突出的有益效果：该基于风格迁移网络的图像去雾方法通过使用已有图像分类网络中稳定的卷积层参数和池化层参数，可以快速进行图像内容和风格特征提取，避免复杂耗时的参数训练过程，仅需要对生成网络参数进行调整，使用者不需要额外的先验知识，仅需要选择与雾霾图像相近的真实图像即可完成图像的去雾操作，快速实现图像能见度和对比度的提升，无需人为干预即可达到去雾目的，具有良好的推广应用价值。
附图说明
图1是本发明所述基于风格迁移网络的图像去雾方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于风格迁移网络的图像去雾方法及系统作进一步详细说明。
实施例
本发明的基于风格迁移网络的图像去雾方法，使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。
该基于风格迁移网络的图像去雾方法通过基于风格迁移网络的图像去雾系统实现。基于风格迁移网络的图像去雾系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块。
图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸。
多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数。
损失优化模块计算、合并内容损失函数和风格损失函数，使用Adam优化函数优化，并反馈调节生成网络的参数。
如图1所示，该方法具体包括以下步骤：
S1、根据雾霾图像即内容图像选择特征相近的无雾霾图像即风格图像，并调整内容图像与风格图像的尺寸相同。
S2、使用初始化的网络参数构建图像生成网络fw。
S3、将内容图像输入生成网络，计算得到对应的生成图像yt。
S4、使用卷积深度神经网络分类模型的卷积层和池化层，对生成图像和风格图像进行特征提取。
其中风格特征提取使用的卷积层深度比内容特征提取的深度要高，以便提取出有差异的高层抽象风格特征和底层内容特征。
S5、对内容图像和对应的生成图像使用均方差计算内容损失函数lcontent，对风格图像和对应的生成图像使用均方差计算风格损失函数lstyle。
S6、将内容损失函数与风格损失函数相加合并得到总体损失函数l，使用Adam优化函数减小总体损失函数l，来调整生成网络的参数w。
将内容损失与风格损失进行结合，避免出现分别优化二者使得算法收敛速度降低和均衡二者比重的问题，进一步提高效率。
S7、返回步骤S3，使用调整后的生成网络参数重新计算生成图像yt+1，反复迭代至指定次数，返回最终生成图像y。
作为优选，步骤S4中，可使用已有经过验证的可靠图像分类卷积深度神经网络，使用其中训练好的卷积层参数和池化层参数。而不必自行使用大量的数据集和时间来训练特征提取模型的复杂参数，使得算法效率得到提高。
作为优选，所述卷积深度神经网络分类模型采用Inception或VGG。
一种基于风格迁移网络的图像去雾系统，该系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块：
图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸。
图像生成模块包括初始化的参数矩阵，与内容图像矩阵计算得到大小不变的生成图像。风格图像与内容图像具有相近的色彩空间范围，并调整为相同尺寸大小。
多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数。
卷积神经网络特征提取模块已经训练完毕，能够良好实现图像内容及高层特征的提取，包含多个卷积层和池化层。内容图像提取使用的卷积层数少于风格图像提取的卷积层数。
多层卷积神经网络特征提取模块，网络模型训练完毕，其中包含多个卷积层和池化层，不使用全连接层和softmax层，雾霾内容图像和无雾霾图像的通过该网络提取特征。其中内容提取使用的卷积层数少于风格提取的卷积层数。
损失优化模块计算、合并内容损失函数和风格损失函数，使用Adam优化函数优化，并反馈调节生成网络的参数。
损失优化模块相加合并内容损失函数和风格损失函数，作为整体优化，并反馈调节生成网络的参数。
可以根据实际需要，采用该发明的基于风格迁移网络的图像去雾方法应用在图像或视频处理中。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种基于风格迁移网络的图像去雾方法，其特征在于：该方法使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化损失函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。
2.根据权利要求1所述的基于风格迁移网络的图像去雾方法，其特征在于：该方法具体包括以下步骤：
S1、根据雾霾图像即内容图像选择特征相近的无雾霾图像即风格图像，并调整内容图像与风格图像的尺寸相同；
S2、使用初始化的网络参数构建图像生成网络fw；
S3、将内容图像输入生成网络，计算得到对应的生成图像yt；
S4、使用卷积深度神经网络分类模型的卷积层和池化层，对生成图像和风格图像进行特征提取；
S5、对内容图像和对应的生成图像使用均方差计算内容损失函数lcontent，对风格图像和对应的生成图像使用均方差计算风格损失函数lstyle；
S6、将内容损失函数与风格损失函数相加合并得到总体损失函数l，使用Adam优化函数减小总体损失函数l，来调整生成网络的参数w；
S7、返回步骤S3，使用调整后的生成网络参数重新计算生成图像yt+1，反复迭代至指定次数，返回最终生成图像y。
3.根据权利要求2所述的基于风格迁移网络的图像去雾方法，其特征在于：步骤S4中，可使用已有经过验证的可靠图像分类卷积深度神经网络，使用其中训练好的卷积层参数和池化层参数。
4.根据权利要求3所述的基于风格迁移网络的图像去雾方法，其特征在于：所述卷积深度神经网络分类模型采用Inception或VGG。
5.一种基于风格迁移网络的图像去雾系统，其特征在于：该系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块：
图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸；
多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数；
损失优化模块计算、合并内容损失函数和风格损失函数，使用Adam优化函数优化，并反馈调节生成网络的参数。
6.根据权利要求5所述的基于风格迁移网络的图像去雾系统，其特征在于：所述图像生成模块包括初始化的参数矩阵，与内容图像矩阵计算得到大小不变的生成图像。
7.根据权利要求6所述的基于风格迁移网络的图像去雾系统，其特征在于：所述内容图像提取使用的卷积层数少于风格图像提取的卷积层数。
8.根据权利要求7所述的基于风格迁移网络的图像去雾系统，其特征在于：所述损失优化模块相加合并内容损失函数和风格损失函数，作为整体优化，并反馈调节生成网络的参数。
9.权利要求1-4任意一项权利要求所述的基于风格迁移网络的图像去雾方法在图像或视频处理的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910261234.4A CN109934791A (zh) | 2019-04-02 | 2019-04-02 | 一种基于风格迁移网络的图像去雾方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910261234.4A CN109934791A (zh) | 2019-04-02 | 2019-04-02 | 一种基于风格迁移网络的图像去雾方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934791A true CN109934791A (zh) | 2019-06-25 |
Family
ID=66989018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910261234.4A Pending CN109934791A (zh) | 2019-04-02 | 2019-04-02 | 一种基于风格迁移网络的图像去雾方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934791A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN109410135A (zh) * | 2018-10-02 | 2019-03-01 | 复旦大学 | 一种对抗学习型图像去雾、加雾方法 |
-
2019
- 2019-04-02 CN CN201910261234.4A patent/CN109934791A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN109410135A (zh) * | 2018-10-02 | 2019-03-01 | 复旦大学 | 一种对抗学习型图像去雾、加雾方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107133935B (zh) | 一种基于深度卷积神经网络的单图像精细去雨方法 | |
| CN106296612B (zh) | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN105389843B (zh) | 基于径向基函数神经网络拟合的全局光照实时绘制方法 | |
| CN104794688B (zh) | 基于深度信息分离天空区域的单幅图像去雾方法及装置 | |
| CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
| CN110097519A (zh) | 基于深度学习的双监督图像去雾方法、系统、介质和设备 | |
| CN107564022B (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
| CN104134068B (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
| CN105631892B (zh) | 一种基于阴影和纹理特征的航空影像建筑物损毁检测方法 | |
| CN104299263B (zh) | 一种基于单幅图像建模云场景的方法 | |
| CN109410129A (zh) | 一种低光照图像场景理解的方法 | |
| CN102360513B (zh) | 基于梯度操作的对象光照迁移方法 | |
| CN102663694A (zh) | 一种基于暗原色通道先验的雾效数字滤镜方法 | |
| CN112801902A (zh) | 一种基于改进生成对抗网络的交通图像去雾方法 | |
| CN109345446A (zh) | 一种基于对偶学习的图像风格转移算法 | |
| CN102902956A (zh) | 一种地基可见光云图识别处理方法 | |
| Gleason et al. | A fusion approach for tree crown delineation from lidar data. | |
| CN106296618A (zh) | 一种基于高斯函数加权直方图规定化的彩色图像去雾方法 | |
| CN105447825A (zh) | 图像去雾方法及其系统 | |
| CN106780390A (zh) | 基于边缘分类加权融合的单幅图像去雾方法 | |
| CN108154158A (zh) | 一种面向增强现实应用的建筑物图像分割方法 | |
| CN103578107A (zh) | 一种交互式图像分割方法 | |
| CN104318528A (zh) | 基于多尺度wls滤波的雾天图像恢复方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
| RJ01 | Rejection of invention patent application after publication |