CN114972124B - 一种遥感图像亮度自适应均衡方法及系统 - Google Patents
一种遥感图像亮度自适应均衡方法及系统 Download PDFInfo
- Publication number
- CN114972124B CN114972124B CN202210901918.8A CN202210901918A CN114972124B CN 114972124 B CN114972124 B CN 114972124B CN 202210901918 A CN202210901918 A CN 202210901918A CN 114972124 B CN114972124 B CN 114972124B
- Authority
- CN
- China
- Prior art keywords
- brightness
- remote sensing
- sensing image
- level
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 230000003042 antagnostic effect Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种遥感图像亮度自适应均衡方法及系统。该方法中对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别,构建具备全局注意力模块与局部注意力机制模块的生成对抗神经网络,进行逼近对抗训练和分级对抗训练,获取3个分级对抗预训练模型和1个逼近对抗预训练模型;获取待亮度均衡的遥感图像的亮度评估值,再利用3个分级对抗预训练模型和1个逼近对抗预训练模型自适应完成亮度均衡。本发明能够在保持遥感图像纹理和色彩的前提下对全局图像进行自动亮度均衡。
Description
技术领域
本发明涉及测绘数据生产技术领域,特别是涉及一种遥感图像亮度自适应均衡方法及系统。
背景技术
遥感技术作为一种重要的对地观测技术,能够通过航空、航天传感器在不直接接触地物表面的情况下获取地物的信息。光学遥感主要是指传感器工作波段在可见光波段,也就是0.38~0.76微米范围的遥感技术,是传统航空摄影侦察和航空摄影测绘中最常用的工作波段,光学遥感数据成果具备高空间分辨率、高光谱分辨率、高时间分辨率的特点,根据遥感平台的不同分为航空遥感和航天遥感,其获取的遥感图像数据成果分别为航空影像和卫星影像。
传统摄影测量的方法生产正射影像精度高,但首先要求航空摄影、航片洗片、扫描数字化,还要有准确的外业像片控制成果和进行内业像片控制点加密以及在全数字摄影测量系统上进行像片纠正处理等,生产周期长,费用高,难以满足许多行业快速发展的需要。目前主流的方法是利用高分辨率卫星影像制作正射影像,虽然精度不如摄影测量的方法高,但实效性好,实用性强,数据获取容易,生产周期短,能很好的满足社会许多行业的需要,从生产成本和生产效率上也有很大提高。
在数据处理的环节中,原始遥感图像因成像时受传感器内部状态(高度、姿态角),外部状态(大气折光、外部姿态角)和地表状态(地球曲率、地形起伏)的影响,图像存在不同程度的畸变,具体表现为图像中的几何图形与实际的几何图形在位置上的差异性,同时地物色调存在严重失真,具体表现为图像内部以及图像之间在亮度及色调上分布不均匀。为了消除畸变与失真,形成可以直接应用于遥感图像图载信息提取的数字正射影像,需要经过影像预处理、几何校正、图像融合和图像调色等生产工序。图像调色是结合实际情况和图像整体协调性对遥感图像的色调和亮度进行一致性调整,使得遥感图像整体视觉效果更优,图像图载信息的可读性更强,地物之间细粒度与区分性更明显。现有的生产工艺是使用Photoshop等商业软件基于经验知识人工对影像参数进行调整,获得符合实际情况的色彩效果较好的图像。然而现有工艺由于人为主观因素的介入导致调色标准的模糊,存在主观性强、处理时效低及调色标准不一致等问题。
发明内容
本发明的目的是提供一种遥感图像亮度自适应均衡方法及系统,能够在保持遥感图像纹理和色彩的前提下对全局图像进行自动亮度均衡。
为实现上述目的,本发明提供了如下方案:
一种遥感图像亮度自适应均衡方法,包括:
对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值低到高依次为第一级、第二级、第三级以及第四级;第四级为正常;
对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像;
根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集;
根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式;
构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块;
利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型;
获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别;
根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
可选地,所述对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别,之前还包括:
将遥感图像的RGB色彩空间转换为HSV色彩空间;
遍历遥感图像的HSV色彩空间中的每个像素,获取每个像素对应的明度值;
根据所有像素的明度值确定图像明度均值,并对图像明度均值进行归一化处理,确定亮度评估值;
根据亮度评估值确定亮度级别。
可选地,所述根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集,具体包括:
对目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别进行筛选处理以及数据增强处理;所述数据增强处理包括:平移、旋转、缩放以及仿射变换。
可选地,所述利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型,具体包括:
可选地,所述根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像,具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别、待亮度均衡的遥感图像的亮度评估值以及逼近对抗预训练模型对应的亮度特征距离确定逼近轮次;
利用逼近对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别。
可选地,所述根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像,具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别和待亮度均衡的遥感图像的亮度评估值确定亮度变换区间;
根据亮度变换区间确定亮度特征距离,并根据亮度特征距离确定对应的分级对抗预训练模型;
利用亮度特征距离对应的分级对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别。
一种遥感图像亮度自适应均衡系统,包括:
图像亮度全局评估模块,用于对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值低到高依次为第一级、第二级、第三级以及第四级;第四级为正常;
目标遥感图像确定模块,用于对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像;
亮度均衡样本制作模块,用于根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集;
样本数据集划分模块,用于根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式;
生成对抗网络构建模块,用于构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块;
生成对抗网络训练模块,用于利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型;
遥感图像处理模块,用于获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别;
遥感图像亮度均衡模块,用于根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
可选地,还包括:
色彩空间转换模块,用于将遥感图像的RGB色彩空间转换为HSV色彩空间;
明度值获取模块,用于遍历遥感图像的HSV色彩空间中的每个像素,获取每个像素对应的明度值;
亮度评估值确定模块,用于根据所有像素的明度值确定图像明度均值,并对图像明度均值进行归一化处理,确定亮度评估值;
亮度级别确定模块,用于根据亮度评估值确定亮度级别。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明所提供的一种遥感图像亮度自适应均衡方法及系统,对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别,构建具备全局注意力模块与局部注意力机制模块的生成对抗神经网络,进行逼近对抗训练和分级对抗训练,获取3个分级对抗预训练模型和1个逼近对抗预训练模型;获取待亮度均衡的遥感图像的亮度评估值,再利用3个分级对抗预训练模型和1个逼近对抗预训练模型自适应完成亮度均衡。本发明在保持遥感图像纹理和色彩的前提下对全局图像进行自动亮度均衡,可以使遥感图像亮度整体增强,解决亮度和反差分布不均匀的现象,达到整幅图像在亮度以及反差上的一致性,并且使不同遥感图像的亮度均衡结果趋于一致,达到更好地统一性的视觉效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种遥感图像亮度自适应均衡方法流程示意图;
图2为本发明实施例1中亮度均衡前的遥感图像;
图3为本发明实施例1中亮度均衡后的遥感图像;
图4为本发明实施例2中亮度均衡前的遥感图像;
图5为本发明实施例2中第一次亮度均衡后的遥感图像;
图6为本发明实施例2中第二次亮度均衡后的遥感图像;
图7为本发明实施例2中第三次亮度均衡后的遥感图像;
图8为本发明实施例2中第四次亮度均衡后的遥感图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种遥感图像亮度自适应均衡方法及系统,能够在保持遥感图像纹理和色彩的前提下对全局图像进行自动亮度均衡。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种遥感图像亮度自适应均衡方法流程示意图,如图1所示,本发明所提供的一种遥感图像亮度自适应均衡方法,包括:
S101,对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值由低到高依次分级为第一级、第二级、第三级以及第四级;第四级为正常。
S101之前还包括:
将遥感图像的RGB色彩空间转换为HSV色彩空间。其中H表示色调,S表示饱和度,V表示明度,H取值范围0-180,S取值范围0-255,V取值范围为0-255。
根据亮度评估值确定亮度级别。
其中,第一级为非常暗,第二级为较暗,第三级为有点暗,第四级为正常,通过对图像亮度进行分级,为后续图像亮度增强迭代留出空间,防止图像亮度过度增强以及迭代步长过大。具体的级别对应的亮度评估值区间如表1所示。
表1
S102,对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像。
将亮度级别为第四级的遥感图像中红绿蓝可见光波段数据进行保留,确定目标遥感图像。
分别将目标遥感图像的亮度评估值调整至较暗、有点暗、非常暗三种值域区间,生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像。
S103,根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集。
S103具体包括:
对目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别进行筛选处理以及数据增强处理,从而生成样本数据集;所述数据增强处理包括:平移、旋转、缩放以及仿射变换。
其中,筛选处理的步骤包括:
将目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像裁剪为预训练尺寸大小的图像,将小于预训练尺寸大小的图像则剔除,输出4种亮度的亮度均衡样本。其中预训练尺寸定义为p*q(单位为像素),预训练尺寸的大小取决于计算机实际硬件条件。
将裁剪后的样本再一次进行亮度值评估。遍历剪裁后的亮度均衡样本,计算其亮度评估值,若与原始图像的亮度评估值所处亮度区间分级不一致,则将其剔除,遍历完成后输出筛选完成后的样本。
S104,根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式。
作为一个具体的实施例,按照(非常暗、正常)、(暗、正常)、(有点暗、正常)组合方式分别输出分级对抗样本数据集S1、S2和S3;按照(非常暗、暗)、(暗、有点暗)、(有点暗、正常)的组合方式输出逼近对抗样本数据集S4。
S105,构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块。
全局注意力模块是将模型输入图像使用亮度评估公式计算得到其亮度评估值,其值记为I1,随机将输入图片分为9块,分别计算9块图像的亮度评估值,分别记为I2、I3、I4、I5、I6、I7、I8、I9、I10,则全局注意力值I=(I1+I2+I3+I4+I5+I6+I7+I8+I9+I10)/10。
注意力机制模块基于不同的亮度区间赋予不同的权重系数。权重系数与亮度评估值呈正比关系,如果亮度评估值较小,则增加权重,如果亮度评估值较大,则减小权重。因为注意力机制主要针对的是色彩较暗的区域,要增强该区域的色彩,尽可能的还原其真实效果。如果色彩亮的地方赋予与色彩较暗的地方相同的权重,则增强后的效果存在失真的可能性。
S106,利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型。
S106中对抗训练模型的确定步骤包括:
6.1 针对分级对抗样本数据集S1,S2与S3和逼近对抗法样本数据集S4的4个训练样本集,分别初始化4个生成器模型与判别器模型。
6.2 从训练样本集中随机抽样g个低亮度图像输入至生成器模型,基于预设的图像噪声输出对应的生成样本,其中g值取决于计算机硬件设备。
6.3 分别将g个生成样本和g个较高亮度的真实图像输入至判别器,输出代表真假的矩阵张量。
6.4 计算生成器模型与判别器模型的损失函数值,通过Adam梯度下降算法反向传播更新迭代生成器模型与判别器模型参数。
6.5 重复6.2~6.4,随着生成器和判别器损失曲线接近收敛,且判别器无法很好地区分图像是来自样本数据集图像还是来自生成器生成的样本图像时,停止训练。每个训练选择1个损失函数值最小的预训练模型,共输出4个模型,其中逼近对抗训练输出1个预训练模型,分级对抗法训练输出3个预训练模型。
S106具体包括:
S107,获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别。
S108,根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
S108具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别、待亮度均衡的遥感图像的亮度评估值以及逼近对抗预训练模型对应的亮度特征距离确定逼近轮次;
利用逼近对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别,生成亮度均衡后的遥感图像。
或者,S108具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别和待亮度均衡的遥感图像的亮度评估值确定亮度变换区间;
根据亮度变换区间确定亮度特征距离,并根据亮度特征距离确定对应的分级对抗预训练模型;
利用亮度特征距离对应的分级对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别,生成亮度均衡后的遥感图像。
作为一个具体的实施例,计算待亮度均衡的遥感图像的亮度评估值,基于表2,表2为亮度级别映射表,设置图像亮度增强的目标级别,即均衡后图像亮度评估值值域范围。若原始亮度级别为正常或者原始亮度级别不为正常且目标亮度级别小于或等于原始亮度级别,则不做任何处理,直接输出原始图像。
表2
若原始亮度级别不为正常且目标亮度级别大于原始亮度级别,将整幅遥感图像统一裁剪为若干个预训练尺寸的图像,不足预训练尺寸大小的图像采用预设背景值补齐的方式将图像尺寸规格统一,输出标准尺寸的图像集P0,记录其仿射参数和坐标系统。
逼近对抗的图像集P1,再将P1 输入至逼近对抗预训练模型,反复迭代,经过r轮逼近对抗后,输出图像集Pr。遍历图像集Pr,计算其亮度评估值,若亮度评估值位于区间范围内,则停止逼近对抗,否则继续进行下一轮逼近对抗均衡,直至。遍历图像集Pr ,拼接还原至整幅遥感影像,并写入仿射变化参数和坐标,输出亮度均衡后的遥感图像。
基于目标亮度级别,计算亮度变换区间,遍历分级对抗预训练模型,选择亮度特征距离的分级对抗预训练模型,若多个预训练模型满足条件,则优先选择亮度特征距离偏大的模型。将图像集P0输入至上述模型,输出经过分级对抗后的图像集Q1,遍历图像集Q1,拼接还原至整幅遥感影像,并写入仿射变化参数和坐标,输出亮度均衡后的遥感图像。
对亮度均衡后的遥感图像采用人眼视觉感知和自适应均衡耗时进行主观综合评价。其中人眼视觉感知内容包括全局的亮度和对比度以及局部轮廓细节三个方面。根据自适应均衡消耗时间的多少与人眼视觉感知效果的好坏,来决定亮度自适应均衡的效果。
以下通过两个实施例,具体说明本发明的亮度均衡的效果。
实施例1:
以原始遥感图像作为输入,使用分级对抗的方法对其增强至“正常”亮度。
首先计算输入遥感图像的整体亮度评估值,等于0.06,如图2所示,亮度级别为“非常暗”。基于目标亮度级别为正常,亮度变换区间为[0.26,0.94],遍历分级对抗预训练模型,选择亮度特征距离的分级对抗预训练模型。设置样本尺寸大小512*512,自动进行影像的标准化规格裁剪,记录其仿射变换参数。初始化分级对抗预训练模型后,依次将待预测的裁剪后的遥感图像输入至模型,输出分级对抗后亮度增强的图像。拼接处理后的图像根据仿射变换相关系数,还原整幅遥感图像。最后再次对整幅遥感图像进行亮度评估,检测影像是否达到预期“正常”亮度区间,若达到预期,则将整体遥感图像输出。最终在进行预测结果输出的遥感影像亮度特征值为0.38,如图3所示,属于“正常”亮度区间。
实施例2:
以原始遥感图像作为输入,使用逼近对抗的方法对其增强至“正常”亮度。
首先计算原始遥感影像的整体亮度评估值,等于0.06,亮度级别为“非常暗”。正常亮度级别亮度值[0.32,1],逼近对抗预训练模型亮度特征距离=0.07,预计逼近轮次,即。设置样本尺寸大小512*512,自动进行图像的标准化规格裁剪,记录其仿射变换参数。初始化逼近对抗预训练模型后,依次将待预测的裁剪后的遥感图像输入至模型,输出分级对抗后亮度增强的图像,再次将分级对抗后亮度增强的图像输入至模型,反复迭代4次后,输出处理后图像集。计算图像集的平均亮度评估值为0.33,亮度评估值位于正常亮度值域[0.32,1]内,则停止逼近对抗。最后拼接处理后的图像根据仿射变换相关系数,还原并输出整幅遥感图像。如图4至图8所示,经过4次逼近对抗的迭代,影像亮度评估值完成由0.06至0.13至0.20至0.27至0.33的变化。
本发明所提供的一种遥感图像亮度自适应均衡系统,包括:
图像亮度全局评估模块,用于对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值低到高依次为第一级、第二级、第三级以及第四级;第四级为正常。
目标遥感图像确定模块,用于对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像。
亮度均衡样本制作模块,用于根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集。
样本数据集划分模块,用于根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式。
生成对抗网络构建模块,用于构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块。
生成对抗网络训练模块,用于利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型。
遥感图像处理模块,用于获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别。
遥感图像亮度均衡模块,用于根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
本发明所提供的一种遥感图像亮度自适应均衡系统,还包括:
色彩空间转换模块,用于将遥感图像的RGB色彩空间转换为HSV色彩空间。
明度值获取模块,用于遍历遥感图像的HSV色彩空间中的每个像素,获取每个像素对应的明度值。
亮度评估值确定模块,用于根据所有像素的明度值确定图像明度均值,并对图像明度均值进行归一化处理,确定亮度评估值。
亮度级别确定模块,用于根据亮度评估值确定亮度级别。
本发明采用计算机视觉进行遥感图像亮度的自适应均衡化处理,相对于现有图像调色依托于Photoshop等商业软件基于经验知识人工对影像参数进行调整的工艺,实现了遥感图像亮度整体的自动增强,调色标准更加统一,作业效率更高。
本发明实现了统一的亮度均衡标准体系的建立。图像亮度增强主要是对图像中重点信息增强,低光照图像增强就是满足人们对清晰图片识别的需要,人工调色作业由于主观因素的介入在亮度增强过程中可能会产生不同的增强方案,可以从机器角度建立标准的亮度增强尺度,根据实际需求,对遥感图像整体进行统一的图像亮度增强处理。
本发明还实现了适配图像亮度均衡的生成对抗神经网络构建。相较于传统的生成对抗神经网络,本发明构建的生成对抗神经网络增加了注意力模块机制,注意力机制是衡量重要性权重的向量或元素与元素之间关联性的表示。注意力机制主要由编码器与解码器构成。编码器对原始输入向量进行编码,压缩为固定长度的上下文向量,编码器最后一个隐藏层输入解码器进行输出,可以有效解决变长的输入与输出。
本发明还实现了图像调色工艺的有效优化,提升了图像调色工艺的科学性和时效性。深度学习应用于遥感图像调色将传统“基于经验知识的人机交互式图像参数调整”发展成“自动化的自适应式图像亮度均衡”的作业模式,极大缩短了遥感图像预处理中图像调色环节的作业周期。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种遥感图像亮度自适应均衡方法,其特征在于,包括:
对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值由低到高依次分级为第一级、第二级、第三级以及第四级;第四级为正常;
对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像;
根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集;
根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式;
构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块;
利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型;
获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别;
根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
2.根据权利要求1所述的一种遥感图像亮度自适应均衡方法,其特征在于,所述对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别,之前还包括:
将遥感图像的RGB色彩空间转换为HSV色彩空间;
遍历遥感图像的HSV色彩空间中的每个像素,获取每个像素对应的明度值;
根据所有像素的明度值确定图像明度均值,并对图像明度均值进行归一化处理,确定亮度评估值;
根据亮度评估值确定亮度级别。
3.根据权利要求1所述的一种遥感图像亮度自适应均衡方法,其特征在于,所述根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集,具体包括:
对目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别进行筛选处理以及数据增强处理;所述数据增强处理包括:平移、旋转、缩放以及仿射变换。
5.根据权利要求4所述的一种遥感图像亮度自适应均衡方法,其特征在于,所述根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像,具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别、待亮度均衡的遥感图像的亮度评估值以及逼近对抗预训练模型对应的亮度特征距离确定逼近轮次;
利用逼近对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别,得到亮度均衡后的遥感图像。
6.根据权利要求4所述的一种遥感图像亮度自适应均衡方法,其特征在于,所述根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像,具体包括:
将待亮度均衡的遥感图像裁剪为多个预训练尺寸的图像,确定图像集;
根据增强后的目标亮度级别和待亮度均衡的遥感图像的亮度评估值确定亮度变换区间;
根据亮度变换区间选择亮度特征距离,并根据亮度特征距离确定对应的分级对抗预训练模型;
利用亮度特征距离对应的分级对抗预训练模型对待亮度均衡的遥感图像进行迭代,直至达到增强后的目标亮度级别。
7.一种遥感图像亮度自适应均衡系统,其特征在于,包括:
图像亮度全局评估模块,用于对遥感图像进行亮度全局评估,确定遥感图像的亮度评估值,并根据亮度评估值确定对应的亮度级别;所述亮度级别根据亮度评估值低到高依次为第一级、第二级、第三级以及第四级;第四级为正常;
目标遥感图像确定模块,用于对亮度级别为第四级的遥感图像进行预处理,确定目标遥感图像;并根据目标遥感图像生成第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像;
亮度均衡样本制作模块,用于根据目标遥感图像、第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像生成样本数据集;
样本数据集划分模块,用于根据样本数据集中不同亮度级别的遥感图像的组合方式生成3个分级对抗样本数据集以及1个逼近对抗样本数据集;所述分级对抗样本数据集为第一级的目标遥感图像、第二级的目标遥感图像以及第三级的目标遥感图像分别与目标遥感图像的组合方式;所述逼近对抗样本数据集为相邻亮度级别间的组合方式;
生成对抗网络构建模块,用于构建生成对抗神经网络;所述生成对抗神经网络中的生成器模型为在U-Net网络结构的基础上增加全局注意力模块与局部注意力机制模块;
生成对抗网络训练模块,用于利用3个分级对抗样本数据集以及1个逼近对抗样本数据集分别训练生成对抗神经网络,确定3个分级对抗预训练模型和1个逼近对抗预训练模型;
遥感图像处理模块,用于获取待亮度均衡的遥感图像,并对待亮度均衡的遥感图像进行亮度全局评估,确定待亮度均衡的遥感图像的亮度评估值,并确定增强后的目标亮度级别;
遥感图像亮度均衡模块,用于根据增强后的目标亮度级别以及待亮度均衡的遥感图像的亮度评估值,利用相应的分级对抗预训练模型或者逼近对抗预训练模型确定亮度均衡后的遥感图像。
8.根据权利要求7所述的一种遥感图像亮度自适应均衡系统,其特征在于,还包括:
色彩空间转换模块,用于将遥感图像的RGB色彩空间转换为HSV色彩空间;
明度值获取模块,用于遍历遥感图像的HSV色彩空间中的每个像素,获取每个像素对应的明度值;
亮度评估值确定模块,用于根据所有像素的明度值确定图像明度均值,并对图像明度均值进行归一化处理,确定亮度评估值;
亮度级别确定模块,用于根据亮度评估值确定亮度级别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210901918.8A CN114972124B (zh) | 2022-07-29 | 2022-07-29 | 一种遥感图像亮度自适应均衡方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210901918.8A CN114972124B (zh) | 2022-07-29 | 2022-07-29 | 一种遥感图像亮度自适应均衡方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972124A CN114972124A (zh) | 2022-08-30 |
CN114972124B true CN114972124B (zh) | 2022-10-28 |
Family
ID=82969068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210901918.8A Active CN114972124B (zh) | 2022-07-29 | 2022-07-29 | 一种遥感图像亮度自适应均衡方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972124B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664431B (zh) * | 2023-05-30 | 2024-04-12 | 新疆美特智能安全工程股份有限公司 | 一种基于人工智能的图像处理系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2850031A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
WO2021135391A1 (zh) * | 2020-01-02 | 2021-07-08 | 广州大学 | 一种图像质量评估方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101340512B (zh) * | 2008-08-12 | 2010-06-09 | 中兴通讯股份有限公司 | 一种视频图像处理方法 |
CN101650932B (zh) * | 2008-08-12 | 2012-10-10 | 鸿富锦精密工业(深圳)有限公司 | 便于调整图片参数的电子相框及其方法 |
CN102497565B (zh) * | 2011-12-05 | 2014-05-07 | 天津大学 | 一种影响立体图像舒适度的亮度范围的测定方法 |
CN106993183A (zh) * | 2017-03-28 | 2017-07-28 | 天津大学 | 基于立体图像显著区域的舒适亮度定量方法 |
CN109978777B (zh) * | 2019-02-01 | 2021-10-15 | 深圳锐取信息技术股份有限公司 | 图像亮度调节方法及装置 |
CN110276733B (zh) * | 2019-06-21 | 2023-03-31 | 合肥工业大学 | 一种基于fpga的彩色图像增强方法 |
JP7472403B2 (ja) * | 2020-10-02 | 2024-04-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Sdrからhdrへのアップコンバートのための適応的ローカルリシェーピング |
US11300652B1 (en) * | 2020-10-30 | 2022-04-12 | Rebellion Defense, Inc. | Systems and methods for generating images from synthetic aperture radar data using neural networks |
EP4002267A1 (en) * | 2020-11-19 | 2022-05-25 | Prospective Instruments GmbH | Imaging method and system for generating a digitally stained image, training method for training an artificial intelligence system, and non-transitory storage medium |
-
2022
- 2022-07-29 CN CN202210901918.8A patent/CN114972124B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2850031A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
WO2021135391A1 (zh) * | 2020-01-02 | 2021-07-08 | 广州大学 | 一种图像质量评估方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114972124A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
Bergen et al. | The validity of computer-generated graphic images of forest landscape | |
CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
CN109214470B (zh) | 一种基于编码网络微调的图像能见度检测方法 | |
Jiang et al. | Fog density estimation and image defogging based on surrogate modeling for optical depth | |
CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估系统及方法 | |
CN114445292A (zh) | 一种多阶段渐进式水下图像增强方法 | |
CN114972124B (zh) | 一种遥感图像亮度自适应均衡方法及系统 | |
CN111882555B (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
CN114494821A (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
CN112365467A (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
CN113592018A (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
EP3973500A1 (en) | Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering | |
CN111179196A (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
CN115439384A (zh) | 一种无鬼影多曝光图像融合方法、装置 | |
CN111428582A (zh) | 一种利用互联网街景照片计算城市天空开阔度的方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN113705538A (zh) | 基于深度学习的高分遥感影像道路变化检测装置及方法 | |
CN116664448B (zh) | 一种基于图像去雾的中高能见度计算方法及计算系统 | |
CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
CN114187380B (zh) | 基于视觉显著性和通道注意力机制的色彩传递方法 | |
CN113643312B (zh) | 基于真彩色卫星云图与图像处理的云层分割方法 | |
CN115546069A (zh) | 一种非均匀雾密度分布先验的遥感影像去雾方法 | |
CN108416815A (zh) | 大气光值的测定方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |