CN109949242A - 图像去雾模型的生成方法、装置及图像去雾方法、装置 - Google Patents
图像去雾模型的生成方法、装置及图像去雾方法、装置 Download PDFInfo
- Publication number
- CN109949242A CN109949242A CN201910209125.8A CN201910209125A CN109949242A CN 109949242 A CN109949242 A CN 109949242A CN 201910209125 A CN201910209125 A CN 201910209125A CN 109949242 A CN109949242 A CN 109949242A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- free images
- fog free
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000004519 manufacturing process Methods 0.000 claims abstract description 56
- 239000003595 mist Substances 0.000 claims description 31
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000013480 data collection Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 239000012141 concentrate Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 62
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开了图像去雾模型的生成方法、装置及图像去雾方法、装置。该方法的一具体实施方式包括：通过将获取的训练数据中的样本有雾图像作为输入，将目标样本无雾图像作为输出，从而可以对条件生成式对抗网络模型中的生成模型进行训练，以确定其第一损失函数。并且通过将目标样本无雾图像和生成模型生成的无雾图像作为输入，将目标样本无雾图像的标识信息作为输入，从而可以对条件生成式对抗网络模型中的判别模型进行训练，以确定其第二损失函数。进而可以汇总确定模型整体的损失函数，并与预设阈值进行比较，以确定训练过程是否结束。这种方法生成的图像去雾模型，有助于提高模型输出结果的准确度，还可以扩大模型的适用范围。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及图像去雾模型的生成方法、装置及图像去雾方法、装置。
背景技术
遥感影像在获取过程中容易受到云、雾、霾等因素的影响，导致部分影像成像区域被云雾覆盖、遮挡，严重影响了遥感影像的视觉效果，造成许多珍贵的遥感影像难以使用。
具体地，在雾天条件下拍摄的遥感图像由于受到这些大气粒子的影响，使景物反射的光线在传播过程中发生衰减。导致到达光学传感器的光强度发生改变，致使最终获取的遥感图像数据产生退化现象。这种退化通常表现为图像的清晰度和对比度有所下降，图像的动态范围缩小，景物的细节信息不明显，可辨识度大大降低。同时图像的色彩保真度也会下降，甚至出现色彩偏移与失真。遥感图像质量的下降不仅使得光学遥感成像数据的可用率降低，而且限制了遥感数据的深层次应用，严重影响了目标识别与跟踪、军事航空侦查、灾情侦探、土地测绘、遥感导航等系统的有效发挥。
发明内容
本申请实施例提供了图像去雾模型的生成方法、装置及图像去雾方法、装置。
第一方面，本申请实施例提供了一种图像去雾模型的生成方法，该方法包括：获取训练数据，其中，训练数据包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息；执行以下训练步骤：将训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像；根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数，其中，目标样本无雾图像为与输入生成模型的样本有雾图像对应的样本无雾图像；将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果；根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数；根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值；响应于确定损失函数达到预设阈值，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出图像去雾模型。
在一些实施例中，获取训练数据，包括：采集目标地区的遥感数据集，其中，遥感数据集中包含至少一种波段的遥感数据；根据遥感数据集中的遥感数据，生成训练数据。
在一些实施例中，根据遥感数据集中的遥感数据，生成训练数据，包括：将遥感数据集中的至少一种波段的遥感数据进行合成，生成合成图像，其中，合成图像包括有雾合成图像和无雾合成图像；根据生成的合成图像，生成训练数据。
在一些实施例中，将遥感数据集中的至少一种波段的遥感数据进行合成，包括以下至少一项：将至少两种波段的有雾遥感数据进行合成；或者将至少两种波段的无雾遥感数据进行合成；或者将至少一种波段的有雾图像与至少一种波段的无雾图像进行合成。
在一些实施例中，根据生成的合成图像，生成训练数据，包括：对生成的合成图像进行裁剪，得到多张预设尺寸的裁剪图像；根据得到的裁剪图像，生成训练数据。
在一些实施例中，该方法还包括：响应于确定损失函数未达到预设阈值，对当前训练后的条件生成式对抗网络模型进行优化；将优化后的模型作为条件生成式对抗网络模型，并继续执行训练步骤。
第二方面，本申请实施例提供了一种图像去雾模型的生成装置，该装置包括：获取单元，被配置成获取训练数据，其中，训练数据包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息；执行单元，被配置成执行以下训练步骤：将训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像；根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数，其中，目标样本无雾图像为与输入生成模型的样本有雾图像对应的样本无雾图像；将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果；根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数；根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值；响应于确定损失函数达到预设阈值，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出图像去雾模型。
在一些实施例中，获取单元包括：采集子单元，被配置成采集目标地区的遥感数据集，其中，遥感数据集中包含至少一种波段的遥感数据；生成子单元，被配置成根据遥感数据集中的遥感数据，生成训练数据。
在一些实施例中，生成子单元包括：合成模块，被配置成将遥感数据集中的至少一种波段的遥感数据进行合成，生成合成图像，其中，合成图像包括有雾合成图像和无雾合成图像；生成模块，被配置成根据生成的合成图像，生成训练数据。
在一些实施例中，合成模块进一步被配置成以下至少一项：将至少两种波段的有雾遥感数据进行合成；或者将至少两种波段的无雾遥感数据进行合成；或者将至少一种波段的有雾图像与至少一种波段的无雾图像进行合成。
在一些实施例中，生成模块进一步被配置成：对生成的合成图像进行裁剪，得到多张预设尺寸的裁剪图像；根据得到的裁剪图像，生成训练数据。
在一些实施例中，该装置还包括优化单元，被配置成：响应于确定损失函数未达到预设阈值，对当前训练后的条件生成式对抗网络模型进行优化；将优化后的模型作为条件生成式对抗网络模型，并继续执行训练步骤。
第三方面，本申请实施例提供了一种图像去雾方法，该方法包括：将获取的目标有雾图像输入图像去雾模型，生成目标有雾图像的无雾图像；输出目标有雾图像的无雾图像；其中，图像去雾模型是采用如第一方面中任一实施例所描述的方法生成的。
第四方面，本申请实施例提供了一种图像去雾装置，该装置包括：生成单元，被配置成将获取的目标有雾图像输入图像去雾模型，生成目标有雾图像的无雾图像；输出单元，被配置成输出目标有雾图像的无雾图像；其中，图像去雾模型是采用如第一方面中任一实施例所描述的方法生成的。
本申请实施例提供的图像去雾模型的生成方法、装置及图像去雾方法、装置，通过将获取的训练数据中的样本有雾图像作为输入，将目标样本无雾图像作为输出，从而可以对条件生成式对抗网络模型中的生成模型进行训练，以确定其第一损失函数。其中，目标样本无雾图像可以为与输入生成模型的样本有雾图像对应的样本无雾图像。并且通过将目标样本无雾图像和生成模型生成的无雾图像作为输入，将目标样本无雾图像的标识信息作为输入，从而可以对条件生成式对抗网络模型中的判别模型进行训练，以确定其第二损失函数。进而可以汇总确定模型整体的损失函数，并与预设阈值进行比较，以确定训练过程是否结束。若损失函数达到预设阈值，说明训练过程结束。此时，可以根据当前训练后的条件生成式对抗网络模型，生成并输出图像去雾模型。这种方法生成的图像去雾模型，有助于提高模型输出结果的准确度，还可以扩大模型的适用范围。并且利用该图像去雾模型可以直接对有雾图像进行去雾处理，有利于提高处理效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请的一个实施例可以应用于其中的示例性系统架构图；
图2为本申请提供的图像去雾模型的生成方法的一个实施例的流程图；
图3为本申请提供的图像去雾模型的生成方法的又一个实施例的流程图；
图4为本申请提供的图像去雾模型的生成装置的一个实施例的结构示意图；
图5为本申请提供的图像去雾方法的一个实施例的流程图；
图6为本申请提供的图像去雾装置的一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的图像去雾模型的生成方法或装置，以及图像去雾方法或装置的示例性系统架构100。
如图1所示，系统架构100可以包括客户端101、数据库服务器102、服务器103和网络104。网络104可以用以在客户端101、数据库服务器102以及服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用客户端101通过网络104与服务器103进行交互，以接收或发送消息等。例如用户可以通过客户端101向服务器103发送模型生成请求或图像去雾请求等。客户端101上可以安装有各种客户端应用，例如模型生成类应用、图像播放器、浏览器和即时通讯工具等。
这里的客户端101可以是硬件，也可以是软件。当客户端101为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑和台式计算机等等。当客户端101为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
数据库服务器102可以是提供各种服务的服务器。例如，可以用于存储条件生成式对抗网络的初始模型。又例如，还可以用于存储训练数据和目标有雾图像等数据信息。
服务器103也可以是提供各种服务的服务器，例如可以是对客户端101所安装的应用提供支持的后台服务器。后台服务器在接收到客户端101发送的模型生成请求时，可以从数据库服务器102中获取训练数据和初始模型。从而可以对初始模型进行训练，并可以将训练结果(如图像去雾模型)发送给客户端101。
这里的数据库服务器102和服务器103同样可以是硬件，也可以是软件。当数据库服务器102和服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当数据库服务器102和服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的图像去雾模型的生成方法或图像去雾方法一般可以由服务器103(或客户端101)执行。相应地，图像去雾模型的生成装置或图像去雾装置一般也可以设置于服务器103(或客户端101)中。
应该理解，图1中的客户端、数据库服务器、服务器和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、数据库服务器、服务器和网络。
请参见图2，其示出了本申请提供的图像去雾模型的生成方法的一个实施例的流程200。该生成方法可以包括以下步骤：
步骤201，获取训练数据。
在本实施例中，生成方法的执行主体(例如图1中所示的服务器103)可以通过多种方式来获取训练数据。例如，执行主体可以通过有线连接方式或无线连接方式，从其他电子设备(如图1中所示的客户端101或数据库服务器102)来获取训练数据。又例如，执行主体还可以从云端等网上资源来获取训练数据。训练数据的存储位置以及获取方式在本申请中并不限制。
在本实施例中，训练数据可以包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息。其中，有雾图像一般是指在云、雾气或雾霾的影响下而得到的图像。无雾图像一般是指没有云、雾气或雾霾的影响下而得到的图像。可以理解的是，无雾图像通常要比有雾图像更加清晰。作为示例，也可以将在轻度雾气影响下而得到的较清晰图像作为无雾图像。这里的标识信息可以是用于表征样本无雾图像来自于训练数据的各种信息。例如可以包含数字、字母、文字等字符中的至少一种。
在这里，训练数据中的图像可以是彩色图像，也可以是灰度图像。其图像格式并不限制，可以被执行主体读取识别即可。此外，这些样本有雾图像和样本无雾图像可以是通过对实物进行拍摄而得到的。例如使用相机近景拍摄的图像，或者激光雷达扫描的图像，再或者遥感卫星的遥感图像等。这些图像也可以是采用应用软件模拟生成的。
步骤202，将训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像。
在本实施例中，执行主体可以执行步骤202至步骤207的训练步骤。具体地，执行主体首先可以将训练数据中的样本有雾图像，输入条件生成式对抗网络(CGAN，ConditionalGenerative Adversarial Networks)模型中的生成模型。生成模型可以对输入的样本有雾图像进行去雾处理，从而生成与之对应的无雾图像。
需要说明的是，这里的条件生成式对抗网络模型可以采用现有的各种机器学习技术来构建。例如，生成模型可以采用U-Net网络结构。该模型的输入端只有一个输入。与传统的生成式对抗网络模型相比，其输入的是条件(即有雾图像)，而非噪声。这种模型是一种端到端的网络，且是一种对称结构。也就是说，其可以将前面几层的一些映射直接连接到后面具有同样分辨率的层中，即skip connection(跳跃式传递)操作。另外，条件生成式对抗网络模型的存储位置在本申请中并不限制。
步骤203，根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数。
在本实施例中，根据目标样本无雾图像和生成模型生成的无雾图像，执行主体可以确定生成模型的第一损失函数。其中，目标样本无雾图像可以为训练数据中与输入生成模型的样本有雾图像对应的样本无雾图像。需要说明的是，这里的第一损失函数可以根据实际需求进行设置。
步骤204，将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果。
在本实施例中，执行主体可以将目标样本无雾图像和生成模型生成的无雾图像，输入上述条件生成式对抗网络模型中的判别模型。判别模型可以对输入的两种无雾图像进行判断，以确定哪种无雾图像为生成模型生成的图像，和/或确定哪种无雾图像为真实图像(即训练数据中的图像，非生成模型生成的图像)。并且可以输出图像判别结果。这里的图像判别结果可以用于表征输入判别模型的图像是否为生成的图像。其表示方式在本申请中并不限制。例如，若判断输入图像为生成的图像，则输出的图像判别结果可以为全0矩阵。又例如，若判断输入图像为真实图像，则输出的图像判别结果可以为全1矩阵。
步骤205，根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数。
在本实施例中，根据目标样本无雾图像的标识信息和判别模型输出的图像判别结果，执行主体可以确定判别模型的第二损失函数。需要说明的是，这里的第二损失函数同样可以根据实际需求进行设置。
步骤206，根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值。
在本实施例中，根据生成模型的第一损失函数和判别模型的第二损失函数，执行主体可以统计条件生成式对抗网络模型整体的损失函数。并且可以确定该损失函数是否达到预设阈值。如果达到预设阈值，说明模型训练已经完成。此时，执行主体可以执行步骤207，并停止上述训练步骤。
可以理解的是，这里的生成模型与判别模型是两个相互“对抗(博弈)”的模型。训练生成模型的主要目的是使其尽量去学习真实的数据分布，从而生成更加接近真实图像的图像。而训练判别模型的主要目的是使其尽量正确地判别出输入数据是来自真实数据，还是来自生成模型。此时模型整体的损失函数可以为：
lcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,y[log(1-D(x,G(x,z)))]
其中，G为生成模型；D为判别模型；x为样本有雾图像；y为样本无雾图像，即清晰图像；G(x,z)为生成的无雾图像；z为随机噪声。
在一些实施例中，为了保证生成模型中输入图像和输出图像之间的相似度，还可以在上述损失函数中增加第三损失函数：
lL1(G)＝Ex,y,z[||y-G(x,z)||1]
此时，条件生成式对抗网络模型的损失函数可以为：
G*＝argminG maxDlcGAN(G,D)+λlL1(G)
其中，λ表示超参数。由于lL1(G)函数会产生模糊化效果，因此可以通过加入超参数来进行控制。从上述公式可以看出，优化生成模型的目的是使上述损失函数最小化。而优化判别模型的目的是使上述损失函数最大化。
步骤207，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出图像去雾模型。
在本实施例中，执行主体在确定损失函数达到预设阈值的情况下，可以根据当前训练后的条件生成式对抗网络模型，来生成图像去雾模型。例如，执行主体可以直接将当前训练后的条件生成式对抗网络模型作为图像去雾模型。又例如，执行主体可以将当前训练后的条件生成式对抗网络模型中的生成模型作为图像去雾模型。并且执行主体可以输出该图像去雾模型。这里输出方式在本申请中同样不限制。如可以是存储输出、传输输出或显示输出等。
本实施例提供的图像去雾模型的生成方法，通过将获取的训练数据中的样本有雾图像作为输入，将目标样本无雾图像作为输出，从而可以对条件生成式对抗网络模型中的生成模型进行训练，以确定其第一损失函数。并且通过将目标样本无雾图像和生成模型生成的无雾图像作为输入，将目标样本无雾图像的标识信息作为输入，从而可以对条件生成式对抗网络模型中的判别模型进行训练，以确定其第二损失函数。进而可以汇总确定模型整体的损失函数，并与预设阈值进行比较，以确定训练过程是否结束。若损失函数达到预设阈值，说明训练过程结束。此时，可以根据当前训练后的条件生成式对抗网络模型，生成并输出图像去雾模型。这种方法生成的图像去雾模型，有助于提高模型输出结果的准确度。
继续参见图3，其示出了本申请提供的图像去雾模型的生成方法的又一个实施例的流程300。该生成方法可以包括以下步骤：
步骤301，采集目标地区的遥感数据集。
在本实施例中，生成方法的执行主体(例如图1中所示的服务器103)可以通过多种方式来采集目标地区的遥感数据集。其中，遥感数据集中可以包含至少一种波段的遥感数据。这里的目标地区可以根据实际情况来设置。例如，执行主体可以对网上资源的遥感图像进行筛选，从而得到同一地区的遥感数据集。又例如，执行主体可以通过至少一种遥感卫星，来采集某一地区的实时遥感数据，从而得到该地区的遥感数据集。可以理解的是，遥感数据集中一般可以包含有雾和无雾的遥感数据。
步骤302，根据遥感数据集中的遥感数据，生成训练数据。
在本实施例中，执行主体可以根据遥感数据集中的遥感数据，来生成训练数据。例如，执行主体可以将同一波段的各遥感数据，分别作为样本有雾图像和与之对应的样本无雾图像。又例如，为了扩大训练数据的数量，执行主体还可以对同一波段的各遥感数据进行裁剪，从而得到该波段的多张预设尺寸(不限制)的裁剪图像。这样，执行主体可以对各波段的裁剪图像进行分类，从而分别得到样本有雾图像和与之对应的样本无雾图像。
在本实施例的一些可选地实现方式中，执行主体还可以将遥感数据集中的至少一种波段的遥感数据进行合成，生成合成图像。从而可以根据合成图像，来生成训练数据。其中，合成图像一般可以包括有雾合成图像和无雾合成图像。
例如执行主体可以将多种波段的遥感数据使用应用软件(ArcGIS10.2)进行合成，并按照一定比例保存为合成图像。而且可以将合成图像直接作为样本有雾图像和样本无雾图像。需要说明的是，在用ArcGIS10.2软件合成遥感时，会有显示比例(如1:1000)。并且为了保证保存图像的清晰度，需要按一定比例保存图像。此外，合成图像可以有多种保存方式，例如jpg(Joint Photo graphic Experts Group)、png(Portable Network GraphicFormat)、tif(Tag Image File Format)等多种格式。其中，tif格式可以在保证图片不失真的情况下压缩，且保留了图片的分层或是透明信息。
在这里，合成方式在本申请中并不限制。如可以将至少两种波段的有雾遥感数据进行合成，得到有雾合成图像。又如可以将至少两种波段的无雾遥感数据进行合成，得到无雾合成图像。再如还可以将至少一种波段的有雾图像与至少一种波段的无雾图像进行合成，得到有雾合成图像。这样可以提高方法的灵活性，满足不同用户的需求。同时有利于丰富训练数据中内容。进而可以使训练得到的图像去雾模型适用范围更广，且输出结果更加准确。
可选地，为了进一步地丰富训练数据，执行主体还可以对生成的合成图像进行裁剪，以得到多张预设尺寸(如分辨率为256×256)的裁剪图像。从而根据得到的裁剪图像，生成训练数据。例如执行主体可以对裁剪图像进行筛选和分类，从而得到样本有雾图像和样本无雾图像。
步骤303，执行训练步骤。
在本实施例中，执行主体可以利用训练数据，对条件生成式对抗网络模型进行训练。具体训练步骤可以参见图2实施例中步骤202至步骤205的相关描述，此处不再赘述。
步骤304，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值。
在本实施例中，执行主体可以根据步骤303中的训练步骤，来统计条件生成式对抗网络模型的损失函数。并可以确定该损失函数是否达到预设阈值。可以参见图2实施例中步骤206的相关描述，此处不再赘述。若确定达到预设阈值，则执行主体可以继续执行步骤305。若确定未达到预设阈值，则执行主体可以执行步骤306。
步骤305，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出图像去雾模型。参见图2实施例中步骤207的相关描述，此处不再赘述。
步骤306，对当前训练后的条件生成式对抗网络模型进行优化；将优化后的模型作为条件生成式对抗网络模型，并继续执行训练步骤。
在本实施例中，若确定损失函数未达到预设阈值，执行主体可以对当前训练后的条件生成式对抗网络模型进行优化。这里的优化方法并不限制。作为示例，可以采用Adam优化算法。接着，执行主体可以将优化后的模型作为条件生成式对抗网络模型。并可以返回步骤303继续执行上述训练步骤。
需要说明的是，一般情况下，遥感卫星成像通道中的雾霾的影响机制不同于近景摄影测量中地面拍摄时的雾霾。遥感中雾霾通常是垂直大气方向。而地面拍摄时雾霾往往是平行大气方向。因此，处理方法也不尽相同。近景摄影测量中常用的图像去雾霾方法一般可分为两大类：第一类是采用图像增强的方法。这类方法主要有暗通道先验理论、同态滤波及增强同态滤波、Retinex(一种图像增强算法)等方法。第二类采用图像复原的方法。即以雾霾天降质图像的物理模型为基础，根据一定的假设或先验知识对雾霾图像进行复原。
将第一类方法用于遥感图像的去雾霾处理，普遍都会存在图像信息损失或过度增强等问题，影响遥感图像的解析。而第二类方法中雾霾降质图像的物理模型的精度，一般又难以适应复杂遥感成像的需求。
本实施例提供的图像去雾模型的生成方法，可以采用某地区的遥感数据作为训练数据。这样可以使训练得到的图像去雾模型适用于遥感图像。并且不需要进行图像透射率的估计。同时，通过对遥感数据进行合成及裁剪，可以丰富训练数据。这样，可以有助于提高图像去雾模的输出结果的准确度。
进一步参见图4，作为对上述图2至图3所示方法的实现，本申请还提供了一种图像去雾模型的生成装置的一个实施例。该装置实施例与上述各实施例所示的方法实施例相对应。该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的生成装置400可以包括：获取单元401，被配置成获取训练数据，其中，训练数据包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息；执行单元402，被配置成执行以下训练步骤：将训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像；根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数，其中，目标样本无雾图像为与输入生成模型的样本有雾图像对应的样本无雾图像；将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果；根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数；根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值；响应于确定损失函数达到预设阈值，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出图像去雾模型。
在一些实施例中，获取单元401可以包括：采集子单元，被配置成采集目标地区的遥感数据集，其中，遥感数据集中包含至少一种波段的遥感数据；生成子单元，被配置成根据遥感数据集中的遥感数据，生成训练数据。
可选地，生成子单元可以包括：合成模块，被配置成将遥感数据集中的至少一种波段的遥感数据进行合成，生成合成图像，其中，合成图像包括有雾合成图像和无雾合成图像；生成模块，被配置成根据生成的合成图像，生成训练数据。
进一步地，合成模块可以进一步被配置成以下至少一项：将至少两种波段的有雾遥感数据进行合成；或者将至少两种波段的无雾遥感数据进行合成；或者将至少一种波段的有雾图像与至少一种波段的无雾图像进行合成。
可选地，生成模块可以进一步被配置成：对生成的合成图像进行裁剪，得到多张预设尺寸的裁剪图像；根据得到的裁剪图像，生成训练数据。
在一些实施例中，该装置400还可以包括优化单元(图4中未示出)，被配置成：响应于确定损失函数未达到预设阈值，对当前训练后的条件生成式对抗网络模型进行优化；将优化后的模型作为条件生成式对抗网络模型，并继续执行训练步骤。
可以理解的是，该装置400中记载的诸单元与参考图2和图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于该装置400及其中包含的单元，在此不再赘述。
下面参见图5，其示出了本申请提供的图像去雾方法的一个实施例的流程500。该图像去雾方法可以包括以下步骤：
步骤501，将获取的目标有雾图像输入图像去雾模型，生成目标有雾图像的无雾图像。
在本实施例中，图像去雾方法的执行主体(例如图1中所示的服务器103)可以通过多种方式来获取目标有雾图像。这里的目标有雾图像可以是任意有雾图像。例如，可以通过有线连接或无线连接方式，接收客户端(例如图1中所示的客户端101)拍摄的有雾图像。又例如，可以通过遥感卫星获取有雾遥感图像等。
在本实施例中，执行主体可以将获取的目标有雾图像输入图像去雾模型。其中，图像去雾模型可以是采用如上述图2或图3中任一实施例所描述的方法而生成的，此处不再赘述。这样，通过图像去雾模型，可以生成目标有雾图像的无雾图像。即通过图像去雾模型，可以直接对目标有雾图像进行去雾处理，从而得到与之对应的清晰的无雾图像。这样，可以简化图像的去雾处理过程，有助于提高处理效率。同时，采用上述图像去雾模型，可以降低图像信息损失或过度增强等问题的发生。尤其对于高分辨率的遥感图像，可以有利于提高其处理结果(即去雾后的遥感图像)的准确度。
步骤502，输出目标有雾图像的无雾图像。
在本实施例中，执行主体可以输出图像去雾模型生成的目标有雾图像的无雾图像。这里的输出在本申请中并不限制。例如可以是存储输出，如存储在执行主体本地或其他电子设备上。又例如可以是传输输出，如发送给客户端或数据库服务器等。再例如可以是显示输出，如执行主体可以将无雾图像通过各种方式呈现给用户。
需要说明的是，由于现实中很难获得同一场景的有雾和无雾的图像对。有雾图像一般是将深度图经大气散射模型处理而生成的。其中，大气散射模型是随机设置参数人工合成的。因此，现有的基于学习的图像去雾算法通常是输入有雾图像，输出有雾图像透射率。然后再经过逆推算得出无雾图像。这种去雾处理过程较繁琐。
本实施例提供的图像去雾方法，通过图像去雾模型，可以对多种有雾图像进行去雾处理，有助于扩大方法的使用范围。同时，这种图像去雾方法，不需要进行图像透射率的估计，而直接得到无雾图像。这样可以提高图像的去雾处理效率和去雾处理结果的准确度。
请参见图6，作为对图5所示方法的实现，本申请还提供了一种图像去雾装置的一个实施例。该装置实施例与图5中各实施例所示的方法实施例相对应。该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的图像去雾装置600可以包括：生成单元601，被配置成将获取的目标有雾图像输入图像去雾模型，生成目标有雾图像的无雾图像；输出单元602，被配置成输出目标有雾图像的无雾图像；其中，图像去雾模型是采用如上述图2或图3中任一实施例所描述的方法生成的。
可以理解的是，该装置600中记载的诸单元与参考图5描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于该装置600及其中包含的单元，在此不再赘述。
可以理解的是，附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。例如，获取单元还可以被描述为“获取训练数据的单元”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种图像去雾模型的生成方法，其特征在于，所述方法包括：
获取训练数据，其中，所述训练数据包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息；
执行以下训练步骤：
将所述训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像；根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数，其中，所述目标样本无雾图像为与输入生成模型的样本有雾图像对应的样本无雾图像；将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果；根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数；根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值；响应于确定损失函数达到预设阈值，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出所述图像去雾模型。
2.根据权利要求1所述的方法，其特征在于，所述获取训练数据，包括：
采集目标地区的遥感数据集，其中，所述遥感数据集中包含至少一种波段的遥感数据；
根据所述遥感数据集中的遥感数据，生成训练数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述遥感数据集中的遥感数据，生成训练数据，包括：
将所述遥感数据集中的至少一种波段的遥感数据进行合成，生成合成图像，其中，所述合成图像包括有雾合成图像和无雾合成图像；
根据生成的合成图像，生成训练数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述遥感数据集中的至少一种波段的遥感数据进行合成，包括以下至少一项：
将至少两种波段的有雾遥感数据进行合成；或者
将至少两种波段的无雾遥感数据进行合成；或者
将至少一种波段的有雾图像与至少一种波段的无雾图像进行合成。
5.根据权利要求3所述的方法，其特征在于，所述根据生成的合成图像，生成训练数据，包括：
对生成的合成图像进行裁剪，得到多张预设尺寸的裁剪图像；
根据得到的裁剪图像，生成训练数据。
6.根据权利要求1-5之一所述的方法，其特征在于，所述方法还包括：
响应于确定损失函数未达到预设阈值，对当前训练后的条件生成式对抗网络模型进行优化；将优化后的模型作为条件生成式对抗网络模型，并继续执行所述训练步骤。
7.一种图像去雾模型的生成装置，其特征在于，所述装置包括：
获取单元，被配置成获取训练数据，其中，所述训练数据包括样本有雾图像、与样本有雾图像对应的样本无雾图像以及样本无雾图像的标识信息；
执行单元，被配置成执行以下训练步骤：
将所述训练数据中的样本有雾图像输入条件生成式对抗网络模型中的生成模型，生成与输入的样本有雾图像对应的无雾图像；根据生成的无雾图像和目标样本无雾图像，确定生成模型的第一损失函数，其中，所述目标样本无雾图像为与输入生成模型的样本有雾图像对应的样本无雾图像；将目标样本无雾图像和生成模型生成的无雾图像输入条件生成式对抗网络模型中的判别模型，输出图像判别结果；根据图像判别结果和目标样本无雾图像的标识信息，确定判别模型的第二损失函数；根据第一损失函数和第二损失函数，统计条件生成式对抗网络模型的损失函数，并确定损失函数是否达到预设阈值；响应于确定损失函数达到预设阈值，根据当前训练后的条件生成式对抗网络模型生成图像去雾模型，以及输出所述图像去雾模型。
8.根据权利要求7所述的装置，其特征在于，所述获取单元包括：
采集子单元，被配置成采集目标地区的遥感数据集，其中，所述遥感数据集中包含至少一种波段的遥感数据；
生成子单元，被配置成根据所述遥感数据集中的遥感数据，生成训练数据。
9.一种图像去雾方法，其特征在于，所述方法包括：
将获取的目标有雾图像输入图像去雾模型，生成所述目标有雾图像的无雾图像；
输出所述目标有雾图像的无雾图像；
其中，所述图像去雾模型是采用如权利要求1-6之一所述的方法生成的。
10.一种图像去雾装置，其特征在于，所述装置包括：
生成单元，被配置成将获取的目标有雾图像输入图像去雾模型，生成所述目标有雾图像的无雾图像；
输出单元，被配置成输出所述目标有雾图像的无雾图像；
其中，所述图像去雾模型是采用如权利要求1-6之一所述的方法生成的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910209125.8A CN109949242A (zh) | 2019-03-19 | 2019-03-19 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910209125.8A CN109949242A (zh) | 2019-03-19 | 2019-03-19 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109949242A true CN109949242A (zh) | 2019-06-28 |
Family
ID=67010265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910209125.8A Pending CN109949242A (zh) | 2019-03-19 | 2019-03-19 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949242A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298809A (zh) * | 2019-07-08 | 2019-10-01 | 广东工业大学 | 一种图像去雾方法及装置 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN111639542A (zh) * | 2020-05-06 | 2020-09-08 | 中移雄安信息通信科技有限公司 | 车牌识别方法、装置、设备和介质 |
| CN111709888A (zh) * | 2020-06-03 | 2020-09-25 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
| CN113744159A (zh) * | 2021-09-09 | 2021-12-03 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
| CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
| CN108460739A (zh) * | 2018-03-02 | 2018-08-28 | 北京航空航天大学 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
| CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学（威海） | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
-
2019
- 2019-03-19 CN CN201910209125.8A patent/CN109949242A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
| CN108460739A (zh) * | 2018-03-02 | 2018-08-28 | 北京航空航天大学 | 一种基于生成对抗网络的遥感图像薄云去除方法 |
| CN109300090A (zh) * | 2018-08-28 | 2019-02-01 | 哈尔滨工业大学（威海） | 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298809A (zh) * | 2019-07-08 | 2019-10-01 | 广东工业大学 | 一种图像去雾方法及装置 |
| CN110298809B (zh) * | 2019-07-08 | 2021-03-30 | 广东工业大学 | 一种图像去雾方法及装置 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110517203B (zh) * | 2019-08-30 | 2023-06-23 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN111639542A (zh) * | 2020-05-06 | 2020-09-08 | 中移雄安信息通信科技有限公司 | 车牌识别方法、装置、设备和介质 |
| CN111709888A (zh) * | 2020-06-03 | 2020-09-25 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
| CN111709888B (zh) * | 2020-06-03 | 2023-12-08 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
| CN113744159A (zh) * | 2021-09-09 | 2021-12-03 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
| CN113744159B (zh) * | 2021-09-09 | 2023-10-24 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
| CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
| CN115471429B (zh) * | 2022-10-31 | 2023-04-07 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949242A (zh) | 图像去雾模型的生成方法、装置及图像去雾方法、装置 | |
| KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
| CN112329725B (zh) | 一种道路场景的要素识别方法、装置、设备以及存储介质 | |
| US20230013451A1 (en) | Information pushing method in vehicle driving scene and related apparatus | |
| WO2007000999A1 (ja) | 画像分析装置および画像分析方法 | |
| DE102009049849A1 (de) | Verfahren zur Bestimmung der Pose einer Kamera und zur Erkennung eines Objekts einer realen Umgebung | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN112686172A (zh) | 机场跑道异物检测方法、装置及存储介质 | |
| US11800076B2 (en) | Spatially varying reduction of haze in images | |
| GB2623671A (en) | Systems and methods for categorizing image pixels | |
| CN112686276A (zh) | 一种基于改进RetinaNet网络的火焰检测方法 | |
| CN112513928A (zh) | 训练模型以对有雾图像执行语义分割的方法和系统 | |
| CN113688839B (zh) | 视频处理方法及装置、电子设备、计算机可读存储介质 | |
| CN113673369A (zh) | 遥感图像场景规划方法、装置、电子设备和存储介质 | |
| CA3094121A1 (en) | System for identifying objects by means of distributed neural networks | |
| CN113705380A (zh) | 雾天的目标检测方法、装置、电子设备以及存储介质 | |
| CN111192305B (zh) | 用于生成三维图像的方法和装置 | |
| US9400940B2 (en) | Method of processing images, notably from night vision systems and associated system | |
| CN109410142B (zh) | 一种基于图像质量评价最优的去雾方法 | |
| CN113516633A (zh) | 一种卫星图像的云检测标识填充方法 | |
| CN114764814A (zh) | 植物高度确定方法、装置、电子设备及介质 | |
| CN113139985A (zh) | 消除无人机与地面站通信延迟影响的跟踪目标框选方法 | |
| CN112465697A (zh) | 一种海上雾天图像模拟方法 | |
| CN117690095B (zh) | 一种基于三维场景的智慧社区管理系统 | |
| CN118505968A (zh) | 一种基于改进YOLO v5m的无人机信号快速检测识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |