CN110232658A - 图像去雨方法、系统、计算机设备及介质 - Google Patents
图像去雨方法、系统、计算机设备及介质 Download PDFInfo
- Publication number
- CN110232658A CN110232658A CN201810178126.6A CN201810178126A CN110232658A CN 110232658 A CN110232658 A CN 110232658A CN 201810178126 A CN201810178126 A CN 201810178126A CN 110232658 A CN110232658 A CN 110232658A
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- loss function
- antithesis
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004519 manufacturing process Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 157
- 230000008447 perception Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像去雨方法、系统、计算机设备及介质。其中，一种图像去雨方法，包括：选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。本发明在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而训练出具有良好去雨能力的网络，使得网络生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像去雨方法，一种图像去雨系统，一种计算机设备，一种计算机可读存储介质。
背景技术
在单张图像去雨中，训练出一个能够去雨的生成器是很重要的一步。通过这个生成器，我们能够对真实图像进行去雨。
在相关技术的图像去雨算法中，W.Yang等人通过向网络添加雨所在的区域，得到能够抓住雨的物理信息的模型进行去雨。但是这种方法不能非常好的利用雨的物理信息。
H.Zhang等人通过训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，得到了有不错去雨能力的网络。但是这种方法会生成偏暗的图像，而且没有充分考虑到雨信号的物理特征。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一方面在于提出了一种图像去雨方法。
本发明的另一方面在于提出了一种图像去雨系统。
本发明的再一方面在于提出了一种计算机设备。
本发明的又一方面在于提出了一种计算机可读存储介质。
有鉴于此，本发明提出了一种图像去雨方法，包括：选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
根据本发明的图像去雨方法，通过选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，采用此生成式对抗网络中的生成器，以真实雨图为输入，生成对应的去雨图片。本发明在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而训练出具有良好去雨能力的网络，使得网络生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
另外，根据本发明上述的图像去雨方法，还可以具有如下附加的技术特征：
在上述技术方案中，优选地，在训练集上对总损失函数进行训练的步骤之前，图像去雨方法还包括：根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建总损失函数。
在该技术方案中，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，其中总损失函数由均方误差损失函数、感知损失函数及对偶对抗损失函数构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而使得生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
在上述任一技术方案中，优选地，总损失函数为：
L＝le+αplp+αala；
其中le为均方误差损失函数，lp、αp分别为感知损失函数及其对应的权重，la、αa分别为对偶对抗损失函数及其对应的权重。
在上述任一技术方案中，优选地，均方误差损失函数为：
感知损失函数为：
对偶对抗损失函数为：
其中size(·)表示覆盖雨信号的图像的大小，G(·)表示生成式对抗网络中的生成器，V(·)表示从生成式对抗网络输入到生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为对偶判别器中用于鉴别生成的去雨图是否真实的判别器，D2(·)为对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
在上述任一技术方案中，优选地，训练集为：
其中Xk为覆盖雨信号的图像，Yk为覆盖雨信号的图像对应的真实去雨图像。
在该技术方案中，通过在真实去雨图像Yk上覆盖雨信号，得到覆盖雨信号的图像Xk，生成训练集；在训练集上通过总损失函数L训练出具有对偶判别器的生成式对抗网络，其中总损失函数L由均方误差损失函数le、感知损失函数lp及对偶对抗损失函数la构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器D1(·)和D2(·)分别鉴别网络生成的去雨图和雨信号是否真实，从而使得通过生成器G(·)生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
本发明还提出了一种图像去雨系统，包括：选取单元，用于选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；训练单元，用于在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；去雨单元，用于采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
根据本发明的图像去雨系统，通过选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，采用此生成式对抗网络中的生成器，以真实雨图为输入，生成对应的去雨图片。在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而训练出具有良好去雨能力的网络，使得网络生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
在上述技术方案中，优选地，在训练集上对总损失函数进行训练的步骤之前，图像去雨系统还包括：构建单元，用于根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建总损失函数。
在该技术方案中，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，其中总损失函数由均方误差损失函数、感知损失函数及对偶对抗损失函数构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而使得生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
在上述任一技术方案中，优选地，总损失函数为：
L＝le+αplp+αala；
其中le为均方误差损失函数，lp、αp分别为感知损失函数及其对应的权重，la、αa分别为对偶对抗损失函数及其对应的权重。
在上述任一技术方案中，优选地，均方误差损失函数为：
感知损失函数为：
对偶对抗损失函数为：
其中size(·)表示覆盖雨信号的图像的大小，G(·)表示生成式对抗网络中的生成器，V(·)表示从生成式对抗网络输入到生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为对偶判别器中用于鉴别生成的去雨图是否真实的判别器，D2(·)为对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
在上述任一技术方案中，优选地，训练集为：
其中Xk为覆盖雨信号的图像，Yk为覆盖雨信号的图像对应的真实去雨图像。
在该技术方案中，通过在真实去雨图像Yk上覆盖雨信号，得到覆盖雨信号的图像Xk，生成训练集；在训练集上通过总损失函数L训练出具有对偶判别器的生成式对抗网络，其中总损失函数L由均方误差损失函数le、感知损失函数lp及对偶对抗损失函数la构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器D1(·)和D2(·)分别鉴别网络生成的去雨图和雨信号是否真实，从而使得通过生成器G(·)生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器用于执行如上述任一技术方案中的图像去雨方法的步骤。
根据本发明的计算机设备，其所包含的处理器用于执行如上述任一技术方案中的图像去雨方法的步骤，因而该计算机设备能够实现该图像去雨方法全部的有益效果，不再赘述。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现了如上述任一技术方案中的图像去雨方法的步骤。
根据本发明的计算机可读存储介质，其上存储的计算机程序被处理器执行时实现了如上述任一技术方案中的图像去雨方法的步骤，因而该计算机可读存储介质能够实现该图像去雨方法全部的有益效果，不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的一个实施例的图像去雨方法的流程示意图；
图2示出了根据本发明的另一个实施例的图像去雨方法的流程示意图；
图3示出了根据本发明的一个实施例的图像去雨系统的示意框图；
图4示出了根据本发明的另一个实施例的图像去雨系统的示意框图；
图5示出了根据本发明的一个具体实施例的具有对偶判别器的生成式对抗网络结构的示意图；
图6示出了根据本发明的一个实施例的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，根据本发明的一个实施例的图像去雨方法的流程示意图。其中，该图像去雨方法，包括：
步骤102，选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
步骤104，在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
步骤106，采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
本发明提供的图像去雨方法，通过选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，采用此生成式对抗网络中的生成器，以真实雨图为输入，生成对应的去雨图片。在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而训练出具有良好去雨能力的网络，使得网络生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
如图2所示，根据本发明的另一个实施例的图像去雨方法的流程示意图。其中，该图像去雨方法，包括：
步骤202，选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
步骤204，根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建总损失函数；
步骤206，在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
步骤208，采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
在该实施例中，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，其中总损失函数由均方误差损失函数、感知损失函数及对偶对抗损失函数构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而使得生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
在上述任一实施例中，优选地，总损失函数为：
L＝le+αplp+αala；
其中le为均方误差损失函数，lp、αp分别为感知损失函数及其对应的权重，la、αa分别为对偶对抗损失函数及其对应的权重。
在上述任一实施例中，优选地，均方误差损失函数为：
感知损失函数为：
对偶对抗损失函数为：
其中size(·)表示覆盖雨信号的图像的大小，G(·)表示生成式对抗网络中的生成器，V(·)表示从生成式对抗网络输入到生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为对偶判别器中用于鉴别生成的去雨图是否真实的判别器，D2(·)为对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
在上述任一实施例中，优选地，训练集为：
其中Xk为覆盖雨信号的图像，Yk为覆盖雨信号的图像对应的真实去雨图像。
在该实施例中，通过在真实去雨图像Yk上覆盖雨信号，得到覆盖雨信号的图像Xk，生成训练集；在训练集上通过总损失函数L训练出具有对偶判别器的生成式对抗网络，其中总损失函数L由均方误差损失函数le、感知损失函数lp及对偶对抗损失函数la构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器D1(·)和D2(·)分别鉴别网络生成的去雨图和雨信号是否真实，从而使得通过生成器G(·)生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
如图3所示，根据本发明的一个实施例的图像去雨系统的示意框图。其中，该图像去雨系统300，包括：
选取单元302，用于选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
训练单元304，用于在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
去雨单元306，用于采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
本发明提供的图像去雨系统300，通过选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，采用此生成式对抗网络中的生成器，以真实雨图为输入，生成对应的去雨图片。在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而训练出具有良好去雨能力的网络，使得网络生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
如图4所示，根据本发明的另一个实施例的图像去雨系统的示意框图。其中，该图像去雨系统400，包括：
选取单元402，用于选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
训练单元404，用于在训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
去雨单元406，用于采用生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图；
构建单元408，用于在训练集上对总损失函数进行训练的步骤之前，根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建总损失函数。
在该实施例中，在训练集上通过总损失函数训练出具有对偶判别器的生成式对抗网络，其中总损失函数由均方误差损失函数、感知损失函数及对偶对抗损失函数构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器分别鉴别网络生成的去雨图和雨信号是否真实，从而使得生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
在上述任一实施例中，优选地，总损失函数为：
L＝le+αplp+αala；
其中le为均方误差损失函数，lp、αp分别为感知损失函数及其对应的权重，la、αa分别为对偶对抗损失函数及其对应的权重。
在上述任一实施例中，优选地，均方误差损失函数为：
感知损失函数为：
对偶对抗损失函数为：
其中size(·)表示覆盖雨信号的图像的大小，G(·)表示生成式对抗网络中的生成器，V(·)表示从生成式对抗网络输入到生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为对偶判别器中用于鉴别生成的去雨图是否真实的判别器，D2(·)为对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
在上述任一实施例中，优选地，训练集为：
其中Xk为覆盖雨信号的图像，Yk为覆盖雨信号的图像对应的真实去雨图像。
在该实施例中，通过在真实去雨图像Yk上覆盖雨信号，得到覆盖雨信号的图像Xk，生成训练集；在训练集上通过总损失函数L训练出具有对偶判别器的生成式对抗网络，其中总损失函数L由均方误差损失函数le、感知损失函数lp及对偶对抗损失函数la构建而成。相比相关技术中训练具有均方误差损失函数，感知损失函数和对抗损失函数的生成式对抗网络，本发明在训练网络的时候，能够使用一对对偶判别器D1(·)和D2(·)分别鉴别网络生成的去雨图和雨信号是否真实，从而使得通过生成器G(·)生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
如图5所示，根据本发明的一个具体实施例的具有对偶判别器的生成式对抗网络结构的示意图。其中残差网络ResidualBlock具体为：
input→conv→bn→relu→conv→bn→+input→output
在具体实施时，按照如下步骤进行：
步骤1，通过在真实图片上覆盖雨信号，生成训练集其中Xk,Yk为雨图及其对应的真实图像。
步骤2，均方误差损失函数为：
其中size(·)表示图像的大小，G(·)表示生成式对抗网络中的生成器输出，即从输入的雨图映射到输出的去雨图的一个映射。
感知损失函数为：
其中V(·)代表从vggnet输入到vggnet某一层输出的映射。
对偶对抗损失函数为：
其中D1(·)是鉴别生成的背景图是否真实的判别器，D2(·)是鉴别生成的雨是否真实的判别器。
那么总损失函数为：le+αplp+αala，其中αp，αa分别为lp和la对应的权重。
步骤3，用G(·)作为去雨函数进行去雨。
如图6所示，根据本发明的一个实施例的计算机设备的示意图。其中，该计算机设备1，包括存储器12、处理器14及存储在存储器12上并可在处理器14上运行的计算机程序，处理器14用于执行如上述任一实施例中的图像去雨方法的步骤。
本发明提供的计算机设备1，其所包含的处理器14用于执行如上述任一实施例中的图像去雨方法的步骤，因而该计算机设备1能够实现该图像去雨方法全部的有益效果，不再赘述。
本发明的另一方面实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现了如上述任一实施例中的图像去雨方法的步骤。
本发明提供的计算机可读存储介质，其上存储的计算机程序被处理器执行时实现了如上述任一实施例中的图像去雨方法的步骤，因而该计算机可读存储介质能够实现该图像去雨方法全部的有益效果，不再赘述。
本发明实施例提供的图像去雨方法、系统、计算机设备及介质，可以应用于单张图像去雨，用包含合成雨图及其对应背景图训练出拥有感知损失函数，均方误差损失函数，对偶的对抗损失函数的，拥有对偶判别器的生成式对抗网络；根据训练出的模型对真实的雨图进行去雨。在训练网络的时候，使用一对对偶判别器分别鉴别网络生成的图像和雨信号是否真实。从而使得生成的图片对应的残差变得纯净，有效帮助网络去掉雨信号，保留原始图片的细节。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像去雨方法，其特征在于，包括：
选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
在所述训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
采用所述生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
2.根据权利要求1所述的图像去雨方法，其特征在于，在所述训练集上对总损失函数进行训练的步骤之前，所述图像去雨方法还包括：
根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建所述总损失函数。
3.根据权利要求2所述的图像去雨方法，其特征在于，
所述总损失函数为：
L＝le+αplp+αala；
其中le为所述均方误差损失函数，lp、αp分别为所述感知损失函数及其对应的权重，la、αa分别为所述对偶对抗损失函数及其对应的权重。
4.根据权利要求1至3中任一项所述的图像去雨方法，其特征在于，
所述均方误差损失函数为：
所述感知损失函数为：
所述对偶对抗损失函数为：
其中size(·)表示所述覆盖雨信号的图像的大小，G(·)表示所述生成式对抗网络中的生成器，V(·)表示从所述生成式对抗网络输入到所述生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为所述对偶判别器中用于鉴别生成的所述去雨图是否真实的判别器，D2(·)为所述对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
5.根据权利要求4所述的图像去雨方法，其特征在于，
所述训练集为：
其中Xk为所述覆盖雨信号的图像，Yk为所述覆盖雨信号的图像对应的真实去雨图像。
6.一种图像去雨系统，其特征在于，包括：
选取单元，用于选取多张覆盖雨信号的图像及其对应的真实去雨图像作为训练集；
训练单元，用于在所述训练集上对总损失函数进行训练，获得具有对偶判别器的生成式对抗网络；
去雨单元，用于采用所述生成式对抗网络中的生成器对真实雨图进行去雨，生成对应的去雨图。
7.根据权利要求6所述的图像去雨系统，其特征在于，在所述训练集上对总损失函数进行训练的步骤之前，所述图像去雨系统还包括：
构建单元，用于根据均方误差损失函数、感知损失函数及对偶对抗损失函数构建所述总损失函数。
8.根据权利要求7所述的图像去雨系统，其特征在于，
所述总损失函数为：
L＝le+αplp+αala；
其中le为所述均方误差损失函数，lp、αp分别为所述感知损失函数及其对应的权重，la、αa分别为所述对偶对抗损失函数及其对应的权重。
9.根据权利要求6至8中任一项所述的图像去雨系统，其特征在于，
所述均方误差损失函数为：
所述感知损失函数为：
所述对偶对抗损失函数为：
其中size(·)表示所述覆盖雨信号的图像的大小，G(·)表示所述生成式对抗网络中的生成器，V(·)表示从所述生成式对抗网络输入到所述生成式对抗网络中全部卷积层的任一层输出的映射，D1(·)为所述对偶判别器中用于鉴别生成的所述去雨图是否真实的判别器，D2(·)为所述对偶判别器中用于鉴别生成的雨信号是否真实的判别器，Ik为单位矩阵。
10.根据权利要求9所述的图像去雨系统，其特征在于，
所述训练集为：
其中Xk为所述覆盖雨信号的图像，Yk为所述覆盖雨信号的图像对应的真实去雨图像。
11.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器用于执行如权利要求1至5中任一项所述的图像去雨方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现了如权利要求1至5中任一项所述的图像去雨方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178126.6A CN110232658B (zh) | 2018-03-05 | 2018-03-05 | 图像去雨方法、系统、计算机设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810178126.6A CN110232658B (zh) | 2018-03-05 | 2018-03-05 | 图像去雨方法、系统、计算机设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232658A true CN110232658A (zh) | 2019-09-13 |
| CN110232658B CN110232658B (zh) | 2021-12-03 |
Family
ID=67862008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810178126.6A Expired - Fee Related CN110232658B (zh) | 2018-03-05 | 2018-03-05 | 图像去雨方法、系统、计算机设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232658B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754419A (zh) * | 2020-05-15 | 2020-10-09 | 新加坡依图有限责任公司(私有) | 图像处理方法、训练方法、装置、设备及计算机可读存储介质 |
| CN112581377A (zh) * | 2019-09-30 | 2021-03-30 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303524A (zh) * | 2014-06-20 | 2016-02-03 | 现代自动车株式会社 | 图像去雾设备和方法 |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN106951919A (zh) * | 2017-03-02 | 2017-07-14 | 浙江工业大学 | 一种基于对抗生成网络的流速监测实现方法 |
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
-
2018
- 2018-03-05 CN CN201810178126.6A patent/CN110232658B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303524A (zh) * | 2014-06-20 | 2016-02-03 | 现代自动车株式会社 | 图像去雾设备和方法 |
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN106875352A (zh) * | 2017-01-17 | 2017-06-20 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN106951919A (zh) * | 2017-03-02 | 2017-07-14 | 浙江工业大学 | 一种基于对抗生成网络的流速监测实现方法 |
| CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
Non-Patent Citations (3)
| Title |
|---|
| HAOFENG LI,ET AL: "《Context-Aware Semantic Inpainting》", 《ARXIV:1712.07778V1》 * |
| RUI QIAN,ET AL: "《Attentive Generative Adversarial Network for Raindrop Removal from A Single Image》", 《ARXIV:1711.10098V1》 * |
| Z. YI，ET AL: "<DualGAN: Unsupervised Dual Learning for Image-to-Image Translation>", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581377A (zh) * | 2019-09-30 | 2021-03-30 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置和电子设备 |
| CN112581377B (zh) * | 2019-09-30 | 2024-06-11 | 上海商汤临港智能科技有限公司 | 图像处理方法、装置和电子设备 |
| CN111754419A (zh) * | 2020-05-15 | 2020-10-09 | 新加坡依图有限责任公司(私有) | 图像处理方法、训练方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232658B (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492627B (zh) | 一种基于全卷积网络的深度模型的场景文本擦除方法 | |
| Masud et al. | Community attitudes towards environmental conservation behaviour: An empirical investigation within MPAs, Malaysia | |
| CN109147810A (zh) | 建立语音增强网络的方法、装置、设备和计算机存储介质 | |
| KR20160053612A (ko) | 영상 학습 모델을 이용한 영상 생성 방법 및 장치 | |
| CN111784821A (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| CN112347850A (zh) | 红外图像转换方法、活体检测方法、装置、可读存储介质 | |
| GB2600583A (en) | Attribute-aware image generation using neural networks | |
| CN110232658A (zh) | 图像去雨方法、系统、计算机设备及介质 | |
| CN114638767B (zh) | 基于生成对抗网络的腹腔镜影像除烟方法 | |
| Muhammad et al. | Tree-based deep networks for edge devices | |
| CN109712718A (zh) | 基于人工智能分析学生心理的方法、装置及存储介质 | |
| CN105118027A (zh) | 一种图像的去雾方法 | |
| CN113505768A (zh) | 模型训练、人脸识别方法、电子设备及存储介质 | |
| CN109360159A (zh) | 一种基于生成对抗网络模型的图像补全方法 | |
| Senthilkumaran et al. | Neural network technique for lossless image compression using X-ray images | |
| Bogdanovic et al. | Deep apprenticeship learning for playing video games | |
| CN114842559B (zh) | 基于多模态时间感知和注意力的视频交互动作检测方法 | |
| CN112221140A (zh) | 虚拟对象的动作确定模型训练方法、装置、设备及介质 | |
| CN109344879A (zh) | 一种基于文本-图像对抗网络模型的分解卷积方法 | |
| Bossomaier | Introduction to the senses: from biology to computer science | |
| CN113230650B (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN101751514A (zh) | 一种获取健康信息的方法及终端 | |
| CN113191971A (zh) | 一种基于yuv颜色空间的无人机图像去雾方法 | |
| CN113592765A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN117205559A (zh) | 关键事件确定模型的训练、关键事件的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230323 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230626 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211203 |