CN110060210B - 图像处理方法及相关装置 - Google Patents
图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN110060210B CN110060210B CN201810054848.0A CN201810054848A CN110060210B CN 110060210 B CN110060210 B CN 110060210B CN 201810054848 A CN201810054848 A CN 201810054848A CN 110060210 B CN110060210 B CN 110060210B
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- conversion
- weight matrix
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000006243 chemical reaction Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000011282 treatment Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 125000001475 halogen functional group Chemical group 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供图像处理方法及相关装置。上述方法包括：获取原始图像；根据所述原始图像进行至少一次去雾处理；其中，每一次去雾处理包括：对目标图像采用至少两种转换方式进行处理，得到至少两种转换图像；所述目标图像根据所述原始图像而生成；计算各转换图像对应的权重矩阵；根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像；最后一次所述去雾处理得到的融合图像为所述原始图像对应的去雾结果图。在此过程中，能较好地保留原始图像所拍摄场景的真实内容，从而提高去雾效果。
Description
技术领域
本发明涉及图像去雾技术领域，具体涉及图像处理方法及相关装置。
背景技术
在雾、霾等天气条件下，拍摄出的图像或视频会出现严重的降质，因此，需要对原始图像/视频进行去雾处理，得到去雾结果图。由于视频由多帧图像组成，则视频与图像的处理相类似，分别对视频中每一帧图像进行处理，即可实现对视频的去雾处理。
因此，如何对原始图像进行去雾处理是目前研究的热门。
发明内容
有鉴于此，本发明实施例提供图像处理方法及相关装置，以对原始图像进行去雾处理。
为实现上述目的，本发明实施例提供如下技术方案：
一种图像处理方法，包括：
获取原始图像；
根据所述原始图像进行至少一次去雾处理；
其中，每一次去雾处理包括：
对目标图像采用至少两种转换方式进行处理，得到至少两种转换图像；所述目标图像根据所述原始图像而生成；
计算各转换图像对应的权重矩阵；
根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像；
最后一次所述去雾处理得到的融合图像为所述原始图像对应的去雾结果图。
一种图像处理装置，包括：
获取单元，用于获取原始图像；
去雾单元，用于根据所述原始图像进行至少一次去雾处理；其中，每一次去雾处理包括：对目标
图像采用至少两种转换方式进行处理，得到至少两种转换图像；所述目标图像根据所述原始图像而生成；计算各转换图像对应的权重矩阵；根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像；最后一次所述去雾处理得到的融合图像为所述原始图像对应的去雾结果图。
一种图像处理设备，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。
本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
可见，在本发明实施例中，在每一次去雾处理中，会对目标图像(目标图像根据原始图像而生成)采用至少两种转换方式进行处理，得到至少两种转换图像；计算各转换图像对应的权重矩阵；根据各转换图像的权重矩阵将至少两种转换图像进行融合。在此过程中，能较好地保留原始图像所拍摄场景的真实内容，从而提高去雾效果。
附图说明
图1a-1c为本发明实施例提供的图像处理装置的示例性结构图；
图2为本发明实施例提供的图像处理设备的示例性结构图；
图3、6为本发明实施例提供的图像处理方法的示例性流程图；
图4为本发明实施例提供的像素点与权重矩阵的关系示意图；
图5a为本发明实施例提供的融合处理示意图；
图5b为本发明实施例提供的去雾处理示意图；
图7为本发明实施例提供的多尺度去雾处理示意图。
具体实施方式
本发明实施例提供图像处理方法及相关装置(图像处理装置、图像处理设备等)，其适用于各种需要提高图像清晰度的场合，例如，对摄影设备所拍摄的雾霾图像/视频进行去雾处理、自动驾驶的图像恢复等。
需要说明的是，如果将雾霾看作是一种噪声，那么去雾处理可指将原始图像恢复至没有雾霾下所获取的情况。而如将在雾霾环境或其他环境下拍摄的照片看作是图像本来的面貌，那么去雾处理可理解为：为了改善人们的主观视觉质量而对图像进行的增强。
本发明所提供的去雾处理的核心思想是：对目标图像(目标图像根据原始图像而生成)采用至少两种转换方式进行处理，得到至少两种转换图像，计算各转换图像对应的权重矩阵，根据各转换图像的权重矩阵将至少两种转换图像进行融合。
在介绍完核心思想后，下面介绍本发明实施例所涉及的装置。
上述图像处理装置可以软件或硬件的形式应用于图像处理设备中。具体的，图像处理设备可为诸如数码相机、移动终端(例如智能手机)、ipad等的终端，也可以是提供图像去雾服务的服务器。
当以软件形式应用于图像处理设备中时，上述图像处理装置可为独立的软件。当然，也可作为大型系统(例如操作系统)的子系统(子组件)，提供图像去雾服务。
当以硬件形式应用于图像处理设备中时，上述图像处理装置示例性的可为终端或服务器的控制器/处理器。
以应用于终端为例，上述图像处理方法的应用场景可为：用户选定照片或视频，在终端(例如智能手机)上对选定的照片或视频进行图像去雾。终端在此场景下，需部署图像处理装置。
此外，上述图像处理方法的应用场景还可为：用户使用终端拍摄照片或视频，启动去雾模式，终端实时对用户拍摄的照片或视频进行去雾处理。终端在此场景下，需部署图像处理装置。
当然，除用户启动去雾模式外，终端也可根据拍摄图片的质量或根据天气情况等自行决定启动去雾模式。
下面介绍图像处理装置的内部结构，图像处理装置的一种示例性结构如图1a所示，包括：获取单元11、去雾单元12。
其中，获取单元11用于获取原始图像，去雾单元12用于根据原始图像进行至少一次去雾处理。
在本发明其他实施例中，请参见图1b，上述去雾单元12还可进一步包括：转换单元13、深度神经网络14和融合单元15。
其中，转换单元13用于对目标图像(目标图像根据上述原始图像而生成)采用至少两种转换方式进行处理，得到至少两种转换图像；
深度神经网络14用于计算各转换图像对应的权重矩阵，而融合单元15则用于根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像。
在本发明其他实施例中，请参见图1c，上述深度神经网络14和融合单元15可组合门限融合网络16。
本文后续将结合图像处理方法介绍上述各单元的功能。
图2示出了上述实施例中图像处理设备的一种可能的结构示意图，包括：
总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。
其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(NetworkProcessor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器2中保存有执行本发明技术方案的程序或脚本，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。脚本则通常以文本(如ASCII)保存，只在被调用时进行解释或编译。
更具体的，存储器2可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、语音输入装置、触摸屏等。
输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。
通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
可以理解的是，图1c仅仅示出了图像处理设备的简化设计。在实际应用中，上述图像处理设备可以包含任意数量的发射器，接收器，处理器，控制器，存储器，通信接口等，而所有可以实现本发明的服务器/智能终端都在本发明的保护范围之内。
处理器1通过执行存储器2中所存放的程序以及调用其他设备，可实现下述实施例提供的图像处理方法。
此外，图1a-1c所示的图像处理装置各单元的功能，可由前述的处理器1执行存储器2中所存放的程序以及调用其他设备实现。
下面将基于上面所述的本发明涉及的共性方面，对本发明实施例进一步详细说明。
图3示出了图像处理方法的一种示例性流程，其至少可包括如下步骤：
300部分：获取原始图像；
原始图像可使用I表示。
获取原始图像的方式有多种。以终端应用场景为例，用户可在终端上启动图像处理装置(例如照相机APP等)，图像处理装置的界面可提供拍照/摄像按钮，用户点击拍照/摄像按钮来调用终端的拍摄装置(例如摄像头)来拍摄照片或视频，拍摄的照片或视频可存于终端本地图库，则图像处理装置可获取拍摄到的照片或视频作为原始图像。
或者，用户也可在终端的本地图库中选择已拍摄的照片或视频作为原始图像，启动图像处理装置对选择的照片或视频进行去雾。
再例如，在客户端-服务器场景下，可由客户端向服务器侧发送照片或视频，则部署在服务器侧的图像处理装置可获取客户端提供的原始图像。
在一个示例中，可由前述图像处理装置的获取单元11执行300部分，或由前述图像处理设备的通信接口3接收客户端提供的原始图像，或输入设备4(例如摄像头)拍摄原始图像，或由处理器1从存储器2的图库中获取原始图像等。
301部分：对目标图像采用至少两种转换方式进行特征转换处理，得到至少两种转换图像。
上述目标图像可根据上述原始图像生成，或为原始图像本身。在本实施例中，可直接将原始图像作为目标图像。
具体的，上述至少两种转换方式包括：白平衡处理、对比度增强处理和场景对比度去雾中的至少两种或全部。
因此，可分别对目标图像进行白平衡(white balance)处理、对比度增强处理和场景对比度去雾这三种转换，得到三幅转换图像。
其中，白平衡处理可缓解由于大气光照引起的颜色差异，还原场景的真实色彩(实现白平衡特征转换)，经其处理得到的转换图像可称为白平衡转换图像(以Iwb表示)。
对比度增强则用于缓解由于空气中存在的微小颗粒造成的光线散射导致的图像对比度降低，还原图像的真实对比度，实现对比度特征转换，经其处理得到的转换图像可称为对比度增强转换图像(以Ice表示)。具体操作为图像像素减去均值。
同时，对于场景存在不同深度引起的不同雾霾浓度，可利用场景对比度还原处理来还原深度较近的场景对比度(实现场景对比度特征转换)，以对不同深度的对比度进行不同程度的增强。经其处理得到的转换图像可称为场景对比度增强转换图像(以Igc表示)。
具体可使用伽马矫正操作来实现场景对比度还原。
在本步骤中，对目标图像进行的各种特征转换处理，可以得到目标图像不同的颜色和对比度的信息，为后续的去雾奠定了基础。
在一个示例中，可由前述的去雾单元12或转换单元13执行301部分，或者，可由前述图像处理设备的处理器1执行301部分。
302部分：计算各转换图像对应的权重矩阵；
其中，Iwb对应的权重矩阵为Wwb，Ice对应的权重矩阵为Wce，Igc对应的权重矩阵为Wgc。
需要说明的是，每一转换图像的像素点均有对应的权重值，所有像素点的权重值构成权重矩阵。
需要说明的是，当原始图像为彩色图像时，彩色图像每一像素点的像素值包含RGB三个通道的像素值，每一通道的像素值的取值范围为0-255。
可令上述RGB通道共享同样的权重值。则请参见图4，以Iwb为例，假定Iwb包含N×M个像素点，其对应的权重矩阵Wwb也包含N×M个权重值(图4中的w11的至wMN为N×M个权重值)。
而如果上述RGB通道各对应不同的权重值，则权重矩阵Wwb可进一步包含分别对应RGB通道的权重子矩阵，仍以Iwb为例，假定Iwb包含N×M个像素点，则每一权重子矩阵也包含N×M个权重值。
在一个示例中，任一权重值的取值范围为0-1。
为了归一化处理，也可将各像素值先归一化取值在0-1之间，以像素值取值为0-255为例，可将各像素值除以255，以实现归一化。归一化后，最后得到的融合图像的像素值可乘以255，从而实现对像素值还原。
在一个示例中，可由前述的去雾单元12或深度神经网络14或门限融合网络16执行302部分，或者，可由前述图像处理设备的处理器1执行302部分。
在使用深度神经网络计算权重矩阵时，可向深度神经网络输入图像数据，由深度神经网络输出各转换图像的权重矩阵。
其中，上述图像数据至少包括上述各转换图像。此外，上述图像数据还可包括原始图像。
303部分：根据各转换图像的权重矩阵将至少两种转换图像进行融合，得到融合图像。
在一个示例中，可由前述的去雾单元12或融合单元15或门限融合网络16执行303部分，或者，可由前述图像处理设备的处理器1执行303部分。
在本实施例中，得到的融合图像即为原始图像对应的去雾结果图。
在一个示例中，上述“根据各转换图像的权重矩阵将至少两种转换图像进行融合”可包括：
将上述各转换图像中目标像素点的像素值与相应的权重值相乘，得到上述各转换图像中上述目标像素点的加权像素值；其中，上述目标像素点为任一像素点；
将上述目标像素点在各转换图像中对应的各加权像素值相加，得到上述融合图像在上述目标像素点上的像素值。
具体表达公式为：
其中，符号
代表对应元素相乘，J表示融合图像，即为本实施例中的去雾结果图。
举例来讲，请参见图5a，以像素点A为例，假定其在Iwb、Ice、Igc中的像素值分别为a1、a2、a3，权重值分别为w1、w2、w3。则像素点A在融合图像J中的像素值a～为a1w1+a2w2+a3w3。
需要说明的是，门限融合网络的门限作用，是通过像素值与相应的权重值相乘来实现的。权重值决定了每一转换图像在目标像素点的像素值有多少可融合至融合图像。
本实施例的处理流程可参见图5b所示。
可见，在本发明实施例中，对于原始图像，首先利用图像本身的多种变换形式，包括白平衡、对比度增强和伽马矫正等操作提取图像内部的不同颜色或对比度特征，然后将得到的变换图像输入到门限融合网络中，利用深度神经网络对雾霾图像的每个变换图像计算一个权重矩阵(计算不同变换图像的重要成分)，再利用权重矩阵对所有的变换图像进行融合获得最终的去雾结果图。从而有效地对原始图像进行去雾处理，恢复图像中难以识别的重要信息。
需要说明的是，上述301-303部分为去雾处理，可仅进行一次去雾处理，也可进行多次去雾处理。
例如，可进行Y次去雾处理，其中，每一次去雾处理中的目标图像为前一次去雾处理得到的融合图像，第一次去雾处理中的目标图像为原始的原始图像。
在其他实施例中，各去雾处理所处理的图像其尺度也可不相同。
具体的，上述尺度可指分辨率。也即，不同次去雾处理中所处理图像的分辨率不同。
进一步的，前述提及的门限融合网络或深度神经网络也可为多尺度网络，根据尺度不同分为多个子网络。
以门限融合网络为例，假定其可包含Y个门限融合子网络，其中，第p+1个门限融合子网络用于进行第p+1次去雾处理，第p个门限融合子网络用于进行第p次去雾处理。
前述提及，门限融合网络可进一步包括深度神经网络和融合单元，则在多尺寸门限融合网络中，深度神经网络可包含Y个子网络，每一门限融合子网络中包括一个深度神经网络的子网络。其中，第p+1个子网络用于计算第p+1次去雾处理中的各转换图像对应的权重矩阵，第p个子网络用于计算第p次去雾处理中的各转换图像对应的权重矩阵。
那么，如何得到多尺度的图像呢？可采用下采样卷积来实现。
下采样原理如下：对于一幅分辨率为M*N的图像，对其进行s倍下采样，即得到分辨率为(M/s)*(N/s)的图像。
在此，也一并介绍后续会用到的上采样卷积。
上采样原理与下采样原理相反：对于一幅分辨率为M*N的图像，对其进行s倍上采样，即得到分辨率为(M*s)*(N*s)的图像。
下面将以三尺度门限融合网络为例，对图像处理方法进行进一步的介绍。
三尺度门限融合网络会依次处理低、中、高分辨率的图像。其中，这里的高分辨率即为原始图像的分辨率，中分辨率是对原始图像进行s倍下采样得到的分辨率。s示例性得可取2或根号2；至于低分辨率是对中分辨率图像进行s倍下采样得到的分辨率(对于原始图像而言，是进行了s^2倍下采样得到的分辨率)。
按分辨率由低至高，低分辨率为第一尺度，中分辨率为第二尺度，高分辨率为第三尺度，去雾处理也按分辨率由低至高执行。
与此类似，若尺度为Y，则第p次去雾处理中的目标图像是对第p+1次去雾处理中的目标图像进行下采样卷积处理生成的。
图6示出了基于多尺度门限融合网络实现图像处理方法的一种示例性流程，其至少可包括如下步骤：
600部分与前述300部分相类似，在此不作赘述。
601部分：生成各尺度的目标图像及转换图像。
在一个示例中，可由前述的获取单元11或去雾单元12或转换单元13执行301部分，或者，可由前述图像处理设备的处理器1执行601部分。
具体的，以低、中、高分辨率三尺度为例，若进行2倍下采样，则高分辨率目标图像即为原始图像，中分辨率目标图像是对原始图像进行2倍下采样得到的图像；至于低分辨率目标图像，是对中分辨率图像进行2倍下采样得到的图像。
在得到目标图像后，可对各尺度的目标图像采用至少两种转换方式进行处理，得到各尺度对应的转换图像。也即，对第p+1尺度的目标图像采用至少两种转换方式进行处理得到第p+1尺度的转换图像。
具体的，可对低分辨率目标图像分别进行白平衡处理、对比度增强处理和场景对比度还原，得到三种低分辨率的转换图像(可统称为第一转换图像)；
同理，可对中分辨率目标图像分别进行白平衡处理、对比度增强处理和场景对比度还原，得到三种中分辨率的转换图像(可统称为第二转换图像)；
以此类推，可对高分辨率目标图像分别进行白平衡处理、对比度增强处理和场景对比度还原，得到三种高辨率的转换图像(可统称为第三转换图像)。
具体转换可参见前述301部分的记载，在此不作赘述。
602部分：向第一(低分辨率)门限融合子网络输入第一图像数据，由第一门限融合子网络输出第一(低分辨率)融合图像。
在一个示例中，上述第一图像数据可仅包括三幅低分辨率的转换图像。
在其他示例中，上述第一图像数据还可包括上述低分辨率目标图像。
融合图像可以Jk表示，下标k表示尺度索引。
前述提及，门限融合子网络包含深度神经网络的子网络(可称为第一子网络)，更具体的，第一图像数据输入了第一子网络，由第一子网络输出对应的权重矩阵。第一子网络输出的权重矩阵，可称为第一权重矩阵，以此类推，不再赘述。
第一门限融合子网络中的融合单元会根据第一权限矩阵将各第一转换图像进行融合，得到第一融合图像。具体如何进行融合可参见前述303部分的介绍，在此不作赘述。
在一个示例中，可由前述的去雾单元12或门限融合网络16执行602部分，或者，可由前述图像处理设备的处理器1执行602部分。
603部分：对第一融合图像进行上采样卷积处理，得到第一上采样图像。
上采样卷积可参见前述的记载，在此不作赘述。
需要说明的是，第一融合图像进行上采样卷积处理后，其分辨度与第二尺度的分辨率是相等的。
604部分：向第二(中分辨率)门限融合子网络输入第二图像数据，由第二门限融合子网络输出第二(中分辨率)融合图像。
在一个示例中，上述第二图像数据可包括三幅中分辨率的转换图像，以及第一上采样图像。可见在本实施例中，采用了较低尺度去雾处理得到的去雾结果图(融合图像)来指导较高尺度的去雾处理。
在其他示例中，上述第二图像数据还可包括上述中分辨率目标图像。
604部分与前述的602部分相类似，在此不作赘述。
605部分：对第二融合图像进行上采样卷积处理，得到第二上采样图像。
需要说明的是，第二融合图像进行上采样卷积处理后，其分辨度与第三尺度的分辨率是相等的。
605部分与前述的603部分相类似，在此不作赘述。
606部分：向第三(高分辨率)门限融合子网络输入第三图像数据，由第三门限融合子网络输出第三(高分辨率)融合图像。
在一个示例中，上述第三图像数据可包括三幅高分辨率的转换图像，以及第二上采样图像。
在其他示例中，上述第三图像数据还可包括上述高分辨率目标图像。
可见在本实施例中，采用了较低尺度去雾处理得到的去雾结果图(融合图像)来指导较高尺度的去雾处理。
606部分与前述的604部分、602部分类似，在此不作赘述。
在本实施例中，第三融合图像即为原始图像对应的最终的去雾结果图。当然，本领域技术人员也可根据实际需要，灵活得增加或减少尺度，在此不作赘述。
多尺度的处理流程还可参见图7所示，在图7中，粗尺度门限融合网络、中尺度门限融合网络和精尺度门限融合网络，分别对应前述的第一门限融合子网络、第二门限融合子网络和第三门限融合子网络。
在本实施例中，使用多尺度门限融合网络进行了多尺度的去雾处理，使用较低尺度去雾处理得到的去雾结果图(融合图像)来指导较高尺度的去雾处理。由于多尺度网络可以大大增加网络的感知野，尤其是在分辨率最低的子网络中，可以降低光圈效应(HaloEffect)的产生，从而可以有效缓解光圈效应(光圈效应指图像的场景边缘区域的发白现象，也称为光环效应)。
上述门限融合网络事先需经过训练，训练好的门限融合网络可作为图像处理装置或图像处理装置的组成部分，完成上述的去雾处理操作。
下面，将介绍如何训练门限融合网络。
为了使得网络能够进行权重的自动计算，可首先合成大量的雾霾图像和清晰图像的匹配对，利用这些成对的图像数据对门限融合网络进行训练。
损失函数、反向传播和梯度计算一般构成深度神经网络的训练过程。
需要说明的是，门限融合网络中有多个滤波器，门限融合网络训练的主要目的是对滤波器参数进行调整。因此，神经网络训练或者优化的过程也可理解为调整滤波器参数以最小化损失函数的函数值的过程(损失函数值小了，对应预测的结果和真实结果的值就越接近)。
对于上述多尺度门限融合网络，可分别对每个尺度的门限融合子网络进行损失函数最优化处理，第k个尺度的损失函数可表示为：
其中，k代表尺度索引(例如，k＝3对应前述的高分辨率，k＝2对应前述的中分辨率，k＝1对应前述的低分辨率)，
表示第k个门限融合子网络的损失函数，
表示第k个门限融合子网络输出的融合图像，Θ表示滤波器参数，i表示匹配对数目，Ji,k表示第k个尺度对应的清晰图像，Ii，k表示第k尺度对应的原始图像(或目标图像)，‖*‖2表示求取欧几里得距离。
对于不分尺度的情况，其损失函数与之类似，只需要去除k即可。
本发明实施例还要求保护图像处理设备，其至少包括处理器和存储器，该处理器通过执行存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。
本发明实施例还要求保护一种存储介质，该存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明任一实施例所提供的图像处理方法中的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取原始图像；
根据所述原始图像进行至少一次去雾处理；
其中，每一次去雾处理包括：
对目标图像采用至少两种转换方式进行特征转换处理，得到至少两种转换图像；所述目标图像根据所述原始图像而生成；
计算各转换图像对应的权重矩阵；
根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像；
最后一次所述去雾处理得到的融合图像为所述原始图像对应的去雾结果图；
所述去雾处理的次数为Y次，在p大于等于1，小于等于Y-1的情况下，在第p+1次去雾处理中，计算各转换图像对应的权重矩阵的步骤具体包括：
向所述第p+1个子网络输入图像数据，由所述第p+1个子网络输出所述各转换图像的权重矩阵，其中，所述图像数据至少包括所述各转换图像；
所述第p+1次去雾处理中的目标图像为第p+1幅目标图像，所述第p次去雾处理得到的融合图像为第p幅融合图像；
所述图像数据还包括：所述第p幅融合图像经上采样卷积处理得到的图像，以及，所述第p+1幅目标图像中的至少一种。
2.如权利要求1所述的方法，其特征在于，所述计算各转换图像对应的权重矩阵的步骤由深度神经网络完成。
3.如权利要求2所述的方法，其特征在于，其中，第p次去雾处理中的目标图像是对第p+1次去雾处理中的目标图像进行下采样卷积处理生成的，第Y次去雾处理中的目标图像为所述原始图像。
4.如权利要求3所述的方法，其特征在于，所述深度神经网络包括Y个子网络，其中，所述第p+1个子网络用于计算所述第p+1次去雾处理中的各转换图像对应的权重矩阵，第p个子网络用于计算所述第p次去雾处理中的各转换图像对应的权重矩阵。
5.如权利要求1-4任一项所述的方法，其特征在于，所述至少两种转换方式包括：白平衡处理、对比度增强处理和场景对比度还原中的至少两种。
6.如权利要求1-4任一项所述的方法，其特征在于，
任一所述权重矩阵包括各像素点对应的权重值；
所述根据各转换图像的权重矩阵，将所述至少两种转换图像进行融合包括：
将所述各转换图像中目标像素点的像素值与相应的权重值相乘，得到所述各转换图像中所述目标像素点的加权像素值；其中，所述目标像素点为任一像素点；
将所述目标像素点在各转换图像中对应的各加权像素值相加，得到所述融合图像在所述目标像素点上的像素值。
7.一种图像处理装置，其特征在于，包括：
获取单元，用于获取原始图像；
去雾单元，用于根据所述原始图像进行至少一次去雾处理；其中，每一次去雾处理包括：对目标图像采用至少两种转换方式进行特征转换处理，得到至少两种转换图像；所述目标图像根据所述原始图像而生成；计算各转换图像对应的权重矩阵；根据各转换图像的权重矩阵将所述至少两种转换图像进行融合，得到融合图像；最后一次所述去雾处理得到的融合图像为所述原始图像对应的去雾结果图；
所述去雾处理的次数为Y次，在p大于等于1，小于等于Y-1的情况下，在第p+1次去雾处理中，计算各转换图像对应的权重矩阵的步骤具体包括：
向所述第p+1个子网络输入图像数据，由所述第p+1个子网络输出所述各转换图像的权重矩阵，其中，所述图像数据至少包括所述各转换图像；
所述第p+1次去雾处理中的目标图像为第p+1幅目标图像，所述第p次去雾处理得到的融合图像为第p幅融合图像；
所述图像数据还包括：所述第p幅融合图像经上采样卷积处理得到的图像，以及，所述第p+1幅目标图像中的至少一种。
8.如权利要求7所述的装置，其特征在于，所述去雾单元包括深度神经网络，所述深度神经网络用于计算各转换图像对应的权重矩阵。
9.如权利要求8所述的装置，其特征在于，
第p次去雾处理中的目标图像是对第p+1次去雾处理中的目标图像进行下采样卷积处理生成的，第Y次去雾处理中的目标图像为所述原始图像。
10.如权利要求9所述的装置，其特征在于，所述深度神经网络包括Y个子网络，其中，所述第p+1个子网络用于计算所述第p+1次去雾处理中的各转换图像对应的权重矩阵，第p个子网络用于计算第p次去雾处理中的各转换图像对应的权重矩阵。
11.一种图像处理设备，其特征在于，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行如权利要求1-6任一项所述的图像处理方法。
12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-6任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054848.0A CN110060210B (zh) | 2018-01-19 | 2018-01-19 | 图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054848.0A CN110060210B (zh) | 2018-01-19 | 2018-01-19 | 图像处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110060210A CN110060210A (zh) | 2019-07-26 |
| CN110060210B true CN110060210B (zh) | 2021-05-25 |
Family
ID=67315290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810054848.0A Active CN110060210B (zh) | 2018-01-19 | 2018-01-19 | 图像处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060210B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070701A (zh) * | 2020-09-08 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6437306B1 (en) * | 1999-11-01 | 2002-08-20 | Canon Kabushiki Kaisha | Reducing motion artifacts by joining partial images in multiple scans |
| CN104200437A (zh) * | 2014-09-04 | 2014-12-10 | 北京工业大学 | 一种图像去雾处理方法 |
| CN105513025A (zh) * | 2015-12-10 | 2016-04-20 | 中国科学技术大学 | 一种改进的快速去雾方法 |
| US9576210B1 (en) * | 2014-09-29 | 2017-02-21 | Amazon Technologies, Inc. | Sharpness-based frame selection for OCR |
| CN106530240A (zh) * | 2016-09-29 | 2017-03-22 | 南京邮电大学 | 一种基于多尺度融合和全变分优化的图像去雾方法 |
| CN106709893A (zh) * | 2016-12-28 | 2017-05-24 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
| CN106846241A (zh) * | 2015-12-03 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种图像融合的方法、装置和设备 |
| CN107566740A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996913B2 (en) * | 2014-04-07 | 2018-06-12 | Bae Systems Information And Electronic Systems Integration Inc. | Contrast based image fusion |
-
2018
- 2018-01-19 CN CN201810054848.0A patent/CN110060210B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6437306B1 (en) * | 1999-11-01 | 2002-08-20 | Canon Kabushiki Kaisha | Reducing motion artifacts by joining partial images in multiple scans |
| CN104200437A (zh) * | 2014-09-04 | 2014-12-10 | 北京工业大学 | 一种图像去雾处理方法 |
| US9576210B1 (en) * | 2014-09-29 | 2017-02-21 | Amazon Technologies, Inc. | Sharpness-based frame selection for OCR |
| CN106846241A (zh) * | 2015-12-03 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种图像融合的方法、装置和设备 |
| CN105513025A (zh) * | 2015-12-10 | 2016-04-20 | 中国科学技术大学 | 一种改进的快速去雾方法 |
| CN106530240A (zh) * | 2016-09-29 | 2017-03-22 | 南京邮电大学 | 一种基于多尺度融合和全变分优化的图像去雾方法 |
| CN106709893A (zh) * | 2016-12-28 | 2017-05-24 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
| CN107566740A (zh) * | 2017-10-18 | 2018-01-09 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110060210A (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163808B (zh) | 一种基于卷积神经网络的单帧高动态成像方法 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN109859144B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110136055A (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| WO2019090580A1 (en) | System and method for image dynamic range adjusting | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN113222855A (zh) | 一种图像恢复方法、装置和设备 | |
| CN111757100B (zh) | 相机运动变化量的确定方法、装置、电子设备和介质 | |
| CN105574834B (zh) | 图像处理方法及装置 | |
| CN113674193A (zh) | 图像融合方法、电子设备和存储介质 | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP2021043874A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN110060210B (zh) | 图像处理方法及相关装置 | |
| CN114445302A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR20230049231A (ko) | 영상 개선 방법 및 장치 | |
| CN112235571B (zh) | 视频位深扩展方法、装置、电子设备及存储介质 | |
| CN111402159B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| CN117897723A (zh) | 用于学习局部图像增强的色调曲线的系统和方法 | |
| CN113256785B (zh) | 图像处理方法、装置、设备及介质 | |
| US11838641B2 (en) | Network for correcting overexposed and underexposed images | |
| CN112561822B (zh) | 美颜方法、装置、电子设备及存储介质 | |
| CN116167926A (zh) | 一种模型训练方法及对比度调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |