CN114494081B - 一种无人机遥感测绘图像增强方法 - Google Patents

一种无人机遥感测绘图像增强方法 Download PDF

Info

Publication number
CN114494081B
CN114494081B CN202210339484.7A CN202210339484A CN114494081B CN 114494081 B CN114494081 B CN 114494081B CN 202210339484 A CN202210339484 A CN 202210339484A CN 114494081 B CN114494081 B CN 114494081B
Authority
CN
China
Prior art keywords
image
loss
network
output
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210339484.7A
Other languages
English (en)
Other versions
CN114494081A (zh
Inventor
董浩楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210339484.7A priority Critical patent/CN114494081B/zh
Publication of CN114494081A publication Critical patent/CN114494081A/zh
Application granted granted Critical
Publication of CN114494081B publication Critical patent/CN114494081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及遥感图像处理技术领域，具体涉及一种无人机遥感测绘图像增强方法。该方法首先获取遥感测绘图像，根据不同的尺寸划分遥感测绘图像得到多个待处理区域；从多个待处理区域中选取出多个待优化区域；遥感测绘图像和待优化区域输入图像增强网络得到增强图像，该图像增强网络由第一增强网络和第二增强网络串联构成，图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和。本发明通过图像增强网络对需要图像增强的待优化区域进行图像增强，达到了在对遥感测绘图像进行整体图像增强的同时，尽可能的保留遥感测绘图像的细节信息。

Description

一种无人机遥感测绘图像增强方法
技术领域
本发明涉及遥感图像处理技术领域，具体涉及一种无人机遥感测绘图像增强方法。
背景技术
在遥感测绘图像采集过程中，由于天气因素影响或设备性能限制等问题，会导致遥感测绘图像的对比度较低，进而影响后续基于遥感测绘图像的处理，因此需要对采集获取的遥感测绘图像进行增强，增强遥感测绘图像的对比度，并保留整体和细节信息。
目前，常用的对遥感测绘图像进行图像增强的方法为：对场景进行识别，选择对应的高质量场景特征对遥感图像进行约束。但是由于场景内细节信息的不同，高质量模板仅能保证整体增强后的图像满足约束，无法保证细节信息不丢失。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种无人机遥感测绘图像增强方法，所采用的技术方案具体如下：
获取遥感测绘图像，根据不同的尺寸划分所述遥感测绘图像得到多个待处理区域；
从多个所述待处理区域中选取出多个待优化区域；
所述遥感测绘图像和所述待优化区域输入图像增强网络得到增强图像；
所述图像增强网络由第一增强网络和第二增强网络串联构成，第一增强网络的输出为第二增强网络的输入；所述图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和；所述第一损失由所述第一增强网络的输入和输出之间的损失构成；所述第二损失由所述第二增强网络的输入和输出之间的损失构成；所述第三损失由所述第一增强网络的输入和所述第二增强网络的输出之间的损失构成；所述第四损失由所述第一增强网络的输入和输出对应的图像对比度评价指标、所述第二增强网络的输出对应的图像对比度评价指标之间的损失构成；所述第五损失由所述第一增强网络的输入和输出对应的语义分割图像的损失，以及所述第二增强网络的输入和输出对应的语义分割图像的损失之和构成。
优选的，所述根据所述从多个待处理区域中选取出多个待优化区域，包括：
获取所述遥感测绘图像对应的语义分割图像，得到每个待处理区域的语义类别；根据所述语义类别计算每个待处理区域的区域信息熵；
获取所述待处理区域的区域对比度，所述区域信息熵和所述区域对比度之比为区域对比度评价指标，由所述区域对比度评价指标从多个待处理区域中选取出多个待优化区域。
优选的，所述由所述区域对比度评价指标从多个待处理区域中选取出多个待优化区域，包括：
根据所述区域对比度评价指标利用大津阈值法得到区域对比度评价阈值；
所述区域对比度评价指标小于所述区域对比度评价阈值的所述待处理区域为初始待优化区域；
利用非极大值抑制方法得到最终的多个待优化区域。
优选的，所述第一损失由所述第一增强网络的输入和输出之间的损失构成，包括：
计算所述第一增强网络的输入和所述第一增强网络的输出的欧氏距离作为第一损失。
优选的，所述第二损失由所述第二增强网络的输入和输出之间的损失构成，包括：
计算所述第二增强网络的输入和所述第二增强网络的输出的欧式距离作为第二损失。
优选的，所述第三损失由所述第一增强网络的输入和所述第二增强网络的输出之间的损失构成，包括：
所述第三损失为：
Figure DEST_PATH_IMAGE001
其中，
Figure 665185DEST_PATH_IMAGE002
为所述第三损失；
Figure 659685DEST_PATH_IMAGE003
为预设调节正数；
Figure 551549DEST_PATH_IMAGE004
为所述第一增强网络的输入；
Figure 377423DEST_PATH_IMAGE005
为所述第二增强网络的输出；
Figure 414649DEST_PATH_IMAGE006
为所述第一增强网络的输入和所述第二增强网络的输出的欧氏距离。
优选的，所述第四损失由所述第一增强网络的输入和输出对应的图像对比度评价指标、所述第二增强网络的输出对应的图像对比度评价指标之间的损失构成，包括：
计算所述第一增强网络的输入和输出对应的图像对比度评价指标、第二增强网络的输出对应的图像对比度评价指标；
根据所述第一增强网络的输入对应的图像对比度评价指标、所述第一增强网络的输出对应的图像对比度评价指标和所述第二增强网络的输出对应的图像对比度评价指标构建第四损失；
所述第四损失为：
Figure 440986DEST_PATH_IMAGE007
其中，
Figure 589071DEST_PATH_IMAGE008
为第四损失；
Figure 20183DEST_PATH_IMAGE009
为所述第一增强网络的输入对应的图像对比度评价指标；
Figure 25048DEST_PATH_IMAGE010
为所述第一增强网络的输出对应的图像对比度评价指标；
Figure 728562DEST_PATH_IMAGE011
为所述第二增强网络的输出对应的图像对比度评价指标。
优选的，所述图像对比度评价指标的获取方法，包括：
获取任意图像对应的初始语义分割图像，得到所述初始语义分割图像的图像语义类别；
根据所述图像语义类别计算所述初始语义分割图像的图像信息熵；获取所述任意图像的图像对比度；
所述图像信息熵和所述图像对比度之比为图像对比度评价指标。
优选的，所述第五损失由所述第一增强网络的输入和输出对应的语义分割图像的损失，以及所述第二增强网络的输入和输出对应的语义分割图像的损失之和构成，包括：
所述第五损失为：
Figure 227808DEST_PATH_IMAGE012
其中，
Figure 965957DEST_PATH_IMAGE013
为第五损失；
Figure 158035DEST_PATH_IMAGE014
为所述第一增强网络的输入对应的语义分割图像；
Figure 145582DEST_PATH_IMAGE015
为所述第一增强网络的输出对应的语义分割图像；
Figure 635469DEST_PATH_IMAGE016
为所述第二增强网络的输出对应的语义分割图像；
Figure 530523DEST_PATH_IMAGE017
为所述第一增强网络的输入和输出对应的语义分割图像的损失；
Figure 877191DEST_PATH_IMAGE018
为所述第二增强网络的输入和输出对应的语义分割图像的损失。
本发明实施例至少具有如下有益效果：
本发明实施例利用遥感图像处理技术，首先获取遥感测绘图像，根据不同的尺寸划分遥感测绘图像得到多个待处理区域；划分多个待处理区域的目的是为了后续以待处理区域为单元进行图像增强，避免对比度增强处理过程不适用于遥感测绘图像所有区域的问题。从多个待处理区域中选取出多个待优化区域；从多个尺寸的待处理区域中选择最优的待优化区域进行后续步骤的处理，避免了进行优化后丢失过多遥感测绘图像细节的问题，最大程度的保留遥感测绘图像的细节信息。遥感测绘图像和待优化区域输入图像增强网络得到增强图像，该图像增强网络由第一增强网络和第二增强网络串联构成，图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和；构建好的图像增强网络泛化能力强、尽可能的保留图像信息，起到了增强遥感测绘图像的对比度，并保留遥感测绘图像整体和图像细节的作用。本发明将遥感测绘图像划分成多个待处理区域，并从中选出待优化区域，在后续步骤中将遥感测绘图像输入图像增强网络时，仅对待优化区域进行增强，而保留非待优化区域的细节，达到了在对遥感测绘图像进行整体图像增强的同时，尽可能的保留原始遥感测绘图像的细节信息的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种无人机遥感测绘图像增强方法的方法流程图；
图2为本发明一个实施例所提供的选取待优化区域的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种无人机遥感测绘图像增强方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种无人机遥感测绘图像增强方法的具体实施方法，该方法适用于无人机测绘场景。使用无人机采集遥感测绘图像，其中无人机采集的场景信息可以是未知的。对于该无人机测绘场景已经提前训练好遥感测绘图像语义分割网络，无人机采集的场景内的图像属性默认已知，即遥感测绘图像的图像属性已知，图像属性为语义信息，即采集到的遥感测绘图像的像素所属语义类别是可知的。为了解决当无人机采集到的场景内细节不同的时候，即遥感测绘图像内细节信息不同的时候，对图像增强时无法保证细节信息不丢失的问题。本发明实施例将遥感测绘图像划分成多个待处理区域，并从中选出待优化区域，在后续步骤中将遥感测绘图像输入图像增强网络时，仅对待优化区域进行增强，而保留非待优化区域的细节，达到了在对遥感测绘图像进行整体图像增强的同时，尽可能的保留原始遥感测绘图像的细节信息的目的。
下面结合附图具体的说明本发明所提供的一种无人机遥感测绘图像增强方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种无人机遥感测绘图像增强方法的步骤流程图，该方法包括以下步骤：
步骤S100，获取遥感测绘图像，根据不同的尺寸划分遥感测绘图像得到多个待处理区域。
基于无人机所采集的遥感测绘图像，构建提取待处理区域的滑窗，滑窗为正方形，尺寸为
Figure 368347DEST_PATH_IMAGE019
，需要说明的是，滑窗边长
Figure 458662DEST_PATH_IMAGE020
建议设置为奇数，在本发明实施例中初始滑窗边长
Figure 656557DEST_PATH_IMAGE020
设置为3。
设置
Figure 174126DEST_PATH_IMAGE021
个滑窗边长，即第
Figure 886998DEST_PATH_IMAGE021
个滑窗边长为
Figure 718688DEST_PATH_IMAGE022
。滑窗边长的取值条件为
Figure 82673DEST_PATH_IMAGE023
且
Figure 518946DEST_PATH_IMAGE024
，
Figure 391218DEST_PATH_IMAGE025
，其中
Figure 88916DEST_PATH_IMAGE026
为遥感测绘图像的宽；
Figure 792561DEST_PATH_IMAGE027
为遥感测绘图像的高；
Figure 651932DEST_PATH_IMAGE028
为遥感测绘图像的宽和高中的最小值。
基于滑窗对遥感测绘图像进行滑动，提取遥感测绘图像中的区域图像信息，也可理解为滑窗内元素均为1，与遥感测绘图像逐点相乘，即提取到多个待处理区域；
具体的，滑窗滑动的规则为：由遥感测绘图像的左上角为起始位置，也即以像素坐标为
Figure 274150DEST_PATH_IMAGE029
的像素点位置为起始划窗中心点位置，该滑窗的滑动步长为
Figure 775538DEST_PATH_IMAGE022
。需要说明的是，若存在滑窗区域内包含不属于遥感测绘图像的像素点，此类像素点均进行置0操作，也即当滑窗划出了超过遥感测绘图像范围的时候，对滑窗内的遥感测绘图像范围外的像素点的像素值置0。
得到对应的多个待处理区域，根据不同的尺寸划分遥感测绘图像得到多个待处理区域的目的是为了后续以待处理区域为单元进行图像增强，避免图像对比度增强处理过程不适用于遥感测绘图像所有区域的问题。
步骤S200，从多个待处理区域中选取出多个待优化区域。
请参阅图2，选取出待优化区域的步骤，具体的：
步骤S210，获取遥感测绘图像对应的语义分割图像，得到每个待处理区域的语义类别；根据语义类别计算每个待处理区域的区域信息熵。
设以
Figure 317378DEST_PATH_IMAGE030
为滑窗边长时，根据步骤S100得到对应的待处理区域的待处理区域集合记为
Figure 301646DEST_PATH_IMAGE031
。设待处理区域集合
Figure 486859DEST_PATH_IMAGE031
内第
Figure 277091DEST_PATH_IMAGE032
个待处理区域为
Figure 204596DEST_PATH_IMAGE033
。
将遥感测绘图像送入语义分割网络，获取遥感测绘图像对应的语义分割图像。需要说明的是，规定用于遥感测绘图像的无人机型号一致，也即采集的遥感测绘图像的尺寸一致，所以训练好语义分割网络后，在本发明实施例中无需再考虑遥感测绘图像的尺寸与语义分割网络的适应问题。该语义分割网络为遥感图像处理中常见网络，该语义分割网络的训练过程是现有技术。
进一步，根据获取到的遥感测绘图像对应的语义分割图像，得到各待处理区域对应的语义分割图像区域信息，该语义分割图像区域信息包括每个待处理区域的语义类别。
根据语义分割图像的像素点的语义类别计算，每个待处理区域对应的区域信息熵。
待处理区域集合
Figure 625344DEST_PATH_IMAGE031
中第
Figure 474351DEST_PATH_IMAGE032
个待处理区域的区域信息熵
Figure 51963DEST_PATH_IMAGE034
的计算公式为：
Figure 847356DEST_PATH_IMAGE035
其中，
Figure 422694DEST_PATH_IMAGE036
为待处理区域集合
Figure 24577DEST_PATH_IMAGE031
中第
Figure 156612DEST_PATH_IMAGE032
个待处理区域内的语义类别数量；
Figure 261971DEST_PATH_IMAGE037
为第
Figure 821260DEST_PATH_IMAGE038
个语义类别的概率。
步骤S220，获取待处理区域的区域对比度，区域信息熵和区域对比度之比为区域对比度评价指标，由区域对比度评价指标从多个待处理区域中选取出多个待优化区域。
获取各待处理区域的区域对比度，其中，图像的对比度的计算方法为现有技术。
区域信息熵和区域对比度之比为区域对比度评价指标。在区域对比度固定的情况下，区域信息熵越大，则区域对比度评价指标越小；区域信息熵越小，则区域对比度评价指标越大；若区域对比度越小，则区域对比度评价指标越小。需要说明的是，相较于同一语义类别的像素点，不同语义类别的像素点对应的像素值的差异更大。
根据同一尺寸的待处理区域的区域对比度评价指标，利用大津阈值法得到同一尺寸的待处理区域的区域对比度评价阈值
Figure 176018DEST_PATH_IMAGE039
，该区域对比度评价阈值
Figure 298695DEST_PATH_IMAGE039
是：以
Figure 274872DEST_PATH_IMAGE030
为滑窗边长得到的对应的待处理区域所对应的区域对比度评价指标。用不同的滑窗边长得到的不同的待处理区域，其所对应的区域对比度评价指标不同。
区域对比度评价指标小于对应的区域对比度评价阈值的待处理区域为初始待优化区域；区域对比度评价指标大于等于对应的区域对比度评价阈值的待处理区域不再进行后续处理。
得到多个初始待优化区域，由于初始待优化区域有不同的尺寸，利用非极大值抑制方法得到遥感测绘图像对应的最终的多个待优化区域。
从多个尺寸的待处理区域中选择最优的待优化区域进行后续步骤的处理，避免了进行优化后丢失过多遥感测绘图像细节的问题。
步骤S300，遥感测绘图像和待优化区域输入图像增强网络得到增强图像。
构建泛化能力强、图像信息尽可能保留的图像增强网络，起到了增强遥感测绘图像的对比度，并保留遥感测绘图像整体和图像细节的作用，并实现了对遥感测绘图像增强。
构建图像增强网络，具体的：
对遥感测绘图像进行灰度化得到遥感测绘灰度图像。
构建编码器-解码器结构，编码器的输入为含有待优化区域信息的遥感测绘灰度图像，解码器输出为对待优化区域进行重构后的灰度图像，也即对待优化区域进行重构后的增强图像。
图像增强网络为串联结构，由第一增强网络和第二增强网络串联构成。该图像增强网络的网络结构为：输入-编码器-解码器-第一输出-编码器-解码器-第二输出；其中，输入-编码器-解码器-第一输出为第一增强网络，该第一输出为第一增强网络输出的初始增强图像；第一输出-编码器-解码器-第二输出为第二增强网络，该第二输出为第二增强网络输出的增强图像；第一增强网络的输出为第二增强网络的输入，即初始增强图像为第二增强网络的输入。需要说明的是：结构内编码器之间参数共享，解码器之间参数共享，设置串联结构的目的是为了确保图像增强网络重构过程对特征张量的改变方向和尺度一致，有利于网络提取到最有效的重构特征。
设计损失函数对图像增强网络的网络训练过程进行监督。该图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和，其中第一损失、第二损失和第三损失为重构损失。
第一损失由第一增强网络的输入和输出之间的损失构成。具体的：计算第一增强网络的输入和第一增强网络的输出的欧氏距离作为第一损失。
第二损失由第二增强网络的输入和输出之间的损失构成。具体的：计算第二增强网络的输入和第二增强网络的输出的欧式距离作为第二损失。
第三损失由第一增强网络的输入和第二增强网络的输出之间的损失构成。该第三损失的目的为避免图像增强网络仅进行输入的重构，而不进行输入的改变。具体的：
该第三损失
Figure 988750DEST_PATH_IMAGE002
为：
Figure 109765DEST_PATH_IMAGE001
其中，
Figure 770554DEST_PATH_IMAGE003
为预设调节正数；
Figure 647243DEST_PATH_IMAGE004
为第一增强网络的输入；
Figure 751596DEST_PATH_IMAGE005
为第二增强网络的输出；
Figure 346526DEST_PATH_IMAGE006
为第一增强网络的输入和第二增强网络的输出的欧氏距离。在本发明实施例中预设调节正数的取值为100，在其他实施例中由实施者根据实际情况对该取值调整。
第四损失由第一增强网络的输入和输出对应的图像对比度评价指标、第二增强网络的输出对应的图像对比度评价指标之间的损失构成，具体的：
计算第一增强网络的输入和输出对应的图像对比度评价指标、第二增强网络的输出对应的图像对比度评价指标。
该图像对比度评价指标的获取方法为：获取第一增强网络的输入和输出、第二增强网络的输出中任意图像对应的初始语义分割图像，得到初始语义分割图像的图像语义类别。根据图像语义类别计算初始语义分割图像的图像信息熵，并获取对应的任意图像的图像对比度。图像信息熵和图像对比度之比为图像对比度评价指标。
需要说明的是，该图像对比度评价指标和步骤S200中的区域对比度评价指标的步骤相似；只是计算图像对比度评价指标时，是获取了整张图像的图像语义类别计算其对应的图像信息熵，以及整张图像的图像对比度；而计算区域对比度评价指标时，是获取了待优化区域的区域语义类别计算其对应的区域信息熵，以及区域的区域对比度。
根据第一增强网络的输入对应的图像对比度评价指标、第一增强网络的输出对应的图像对比度评价指标和第二增强网络的输出对应的图像对比度评价指标构建第四损失。
第四损失
Figure 811005DEST_PATH_IMAGE008
为：
Figure 292933DEST_PATH_IMAGE007
其中，
Figure 817455DEST_PATH_IMAGE009
为第一增强网络的输入对应的图像对比度评价指标；
Figure 650413DEST_PATH_IMAGE010
为第一增强网络的输出对应的图像对比度评价指标；
Figure 653004DEST_PATH_IMAGE011
为第二增强网络的输出对应的图像对比度评价指标。
该第四损失起到约束输入改变方向的作用。第四损失的前两项
Figure 504286DEST_PATH_IMAGE040
，用于约束第一增强网络和第二增强网络对遥感测绘灰度图像进行重构后得到的初始增强图像和增强图像的图像对比度评价指标的上升趋势。第四损失的最后一项
Figure 970950DEST_PATH_IMAGE041
用于约束重构方向。
同时由于重构后初始增强图像和增强图像的评价涉及图像对比度和图像信息熵两个参数，为了保证重构后的增强图像的语义信息不丢失，构建第五损失对语义类别进行约束。
第五损失
Figure 9313DEST_PATH_IMAGE013
为：
Figure 628644DEST_PATH_IMAGE012
其中，
Figure 537694DEST_PATH_IMAGE014
为第一增强网络的输入对应的语义分割图像；
Figure 200757DEST_PATH_IMAGE015
为第一增强网络的输出对应的语义分割图像；
Figure 945990DEST_PATH_IMAGE016
为第二增强网络的输出对应的语义分割图像；
Figure 352700DEST_PATH_IMAGE017
为第一增强网络的输入和输出对应的语义分割图像的损失；
Figure 381836DEST_PATH_IMAGE018
为第二增强网络的输入和输出对应的语义分割图像的损失。
其中，第一增强网络的输入为含有待优化区域信息的遥感测绘灰度图像；第一增强网络的输出为初始增强图像；第二增强网络的输入为第一增强网络的输出，即第二增强网络的输入为初始增强图像；第二增强网络的输出为增强图像。
需要说明的是，该网络的训练过程需要语义分割网络参与训练，但在网络训练完成后，仅需要编码器-解码器构成的图像增强网络即可。
将最终需要进行优化的待优化区域和遥感测绘灰度图像送入图像增强网络中，也即将含有待优化区域信息的遥感测绘灰度图像送入图像增强网络，获取通过图像增强网络重构待优化区域后，将该重构后的区域替换至遥感测绘灰度图像内。
对替换后的遥感测绘灰度图像进行图像对比度评价，得到替换后的遥感测绘灰度图像的图像对比度评价指标
Figure 904216DEST_PATH_IMAGE042
。当该遥感测绘灰度图像的图像对比度评价指标
Figure 448330DEST_PATH_IMAGE042
大于等于遥感测绘图像对应的区域对比度评价指标的均值时，图像增强完成，该替换后的遥感测绘灰度图像即为最终的增强图像。其中遥感测绘图像对应的区域对比度评价指标的均值为
Figure 596414DEST_PATH_IMAGE043
，
Figure 24597DEST_PATH_IMAGE021
为遥感测绘图像对应的语义分割图像的语义类别数量；
Figure 232724DEST_PATH_IMAGE039
为第
Figure 749287DEST_PATH_IMAGE044
个语义类别的区域对比度评价指标。
当该遥感测绘灰度图像的图像对比度评价指标
Figure 232221DEST_PATH_IMAGE042
小于遥感测绘图像对应的区域对比度评价指标的均值时，选择待优化区域中区域对比度评价指标与对应的区域对比度评价阈值差异最大的待优化区域，再次将该差异最大的待优化区域连同遥感测绘灰度图像送入图像增强网络，对该差异最大的待优化区域进行二次替换。
对二次替换后的遥感测绘灰度图像进行图像对比度评价，得到二次替换后的遥感测绘灰度图像的图像对比度评价指标，判断该二次替换后的遥感测绘灰度图像的图像对比度评价指标是否大于等于遥感测绘图像对应的区域对比度评价指标的均值，若仍小于遥感测绘图像对应的区域对比度评价指标的均值，则再次寻找差异最大的待优化区域进行替换，直至替换后的遥感测绘灰度图像的图像对比度评价指标大于等于遥感测绘图像对应的区域对比度评价指标的均值为止，即得到最终的增强图像。
综上所述，本发明实施例利用遥感图像处理技术，首先获取遥感测绘图像，根据不同的尺寸划分遥感测绘图像得到多个待处理区域；从多个待处理区域中选取出多个待优化区域；遥感测绘图像和待优化区域输入图像增强网络得到增强图像，该图像增强网络由第一增强网络和第二增强网络串联构成，图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和。本发明将遥感测绘图像划分成多个待处理区域，并从中选出待优化区域，在后续将遥感测绘图像输入图像增强网络时，仅对待优化区域进行增强，而保留非待优化区域的细节，达到了在对遥感测绘图像进行整体图像增强的同时，尽可能的保留原始遥感测绘图像的细节信息。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种无人机遥感测绘图像增强方法，其特征在于，该方法包括以下步骤：
获取遥感测绘图像，根据不同的尺寸划分所述遥感测绘图像得到多个待处理区域；
从多个所述待处理区域中选取出多个待优化区域；
所述遥感测绘图像和所述待优化区域输入图像增强网络得到增强图像；
所述图像增强网络由第一增强网络和第二增强网络串联构成，第一增强网络的输出为第二增强网络的输入；所述图像增强网络的损失函数为第一损失、第二损失、第三损失、第四损失和第五损失的和；所述第一损失由所述第一增强网络的输入和输出之间的损失构成；所述第二损失由所述第二增强网络的输入和输出之间的损失构成；所述第三损失由所述第一增强网络的输入和所述第二增强网络的输出之间的损失构成；所述第四损失由所述第一增强网络的输入和输出对应的图像对比度评价指标、所述第二增强网络的输出对应的图像对比度评价指标之间的损失构成；所述第五损失由所述第一增强网络的输入和输出对应的语义分割图像的损失，以及所述第二增强网络的输入和输出对应的语义分割图像的损失之和构成；
其中，所述第三损失为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为所述第三损失；
Figure DEST_PATH_IMAGE006
为预设调节正数；
Figure DEST_PATH_IMAGE008
为所述第一增强网络的输入；
Figure DEST_PATH_IMAGE010
为所述第二增强网络的输出；
Figure DEST_PATH_IMAGE012
为所述第一增强网络的输入和所述第二增强网络的输出的欧氏距离；
其中，所述第四损失的获取方法为：
计算所述第一增强网络的输入和输出对应的图像对比度评价指标、第二增强网络的输出对应的图像对比度评价指标；根据所述第一增强网络的输入对应的图像对比度评价指标、所述第一增强网络的输出对应的图像对比度评价指标和所述第二增强网络的输出对应的图像对比度评价指标构建第四损失；
所述第四损失为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为第四损失；
Figure DEST_PATH_IMAGE018
为所述第一增强网络的输入对应的图像对比度评价指标；
Figure DEST_PATH_IMAGE020
为所述第一增强网络的输出对应的图像对比度评价指标；
Figure DEST_PATH_IMAGE022
为所述第二增强网络的输出对应的图像对比度评价指标；
其中，所述图像对比度评价指标的获取方法为：
获取任意图像对应的初始语义分割图像，得到所述初始语义分割图像的图像语义类别；根据所述图像语义类别计算所述初始语义分割图像的图像信息熵；获取所述任意图像的图像对比度；所述图像信息熵和所述图像对比度之比为图像对比度评价指标。
2.根据权利要求1所述的一种无人机遥感测绘图像增强方法，其特征在于，所述根据所述从多个所述待处理区域中选取出多个待优化区域，包括：
获取所述遥感测绘图像对应的语义分割图像，得到每个待处理区域的语义类别；根据所述语义类别计算每个待处理区域的区域信息熵；
获取所述待处理区域的区域对比度，所述区域信息熵和所述区域对比度之比为区域对比度评价指标，由所述区域对比度评价指标从多个待处理区域中选取出多个待优化区域。
3.根据权利要求2所述的一种无人机遥感测绘图像增强方法，其特征在于，所述由所述区域对比度评价指标从多个待处理区域中选取出多个待优化区域，包括：
根据所述区域对比度评价指标利用大津阈值法得到区域对比度评价阈值；
所述区域对比度评价指标小于所述区域对比度评价阈值的所述待处理区域为初始待优化区域；
利用非极大值抑制方法得到最终的多个待优化区域。
4.根据权利要求1所述的一种无人机遥感测绘图像增强方法，其特征在于，所述第一损失由所述第一增强网络的输入和输出之间的损失构成，包括：
计算所述第一增强网络的输入和所述第一增强网络的输出的欧氏距离作为第一损失。
5.根据权利要求1所述的一种无人机遥感测绘图像增强方法，其特征在于，所述第二损失由所述第二增强网络的输入和输出之间的损失构成，包括：
计算所述第二增强网络的输入和所述第二增强网络的输出的欧式距离作为第二损失。
6.根据权利要求1所述的一种无人机遥感测绘图像增强方法，其特征在于，所述第五损失由所述第一增强网络的输入和输出对应的语义分割图像的损失，以及所述第二增强网络的输入和输出对应的语义分割图像的损失之和构成，包括：
所述第五损失为：
Figure DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE026
为第五损失；
Figure DEST_PATH_IMAGE028
为所述第一增强网络的输入对应的语义分割图像；
Figure DEST_PATH_IMAGE030
为所述第一增强网络的输出对应的语义分割图像；
Figure DEST_PATH_IMAGE032
为所述第二增强网络的输出对应的语义分割图像；
Figure DEST_PATH_IMAGE034
为所述第一增强网络的输入和输出对应的语义分割图像的损失；
Figure DEST_PATH_IMAGE036
为所述第二增强网络的输入和输出对应的语义分割图像的损失。
CN202210339484.7A 2022-04-01 2022-04-01 一种无人机遥感测绘图像增强方法 Active CN114494081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210339484.7A CN114494081B (zh) 2022-04-01 2022-04-01 一种无人机遥感测绘图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210339484.7A CN114494081B (zh) 2022-04-01 2022-04-01 一种无人机遥感测绘图像增强方法

Publications (2)

Publication Number Publication Date
CN114494081A CN114494081A (zh) 2022-05-13
CN114494081B true CN114494081B (zh) 2022-07-05

Family

ID=81489002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210339484.7A Active CN114494081B (zh) 2022-04-01 2022-04-01 一种无人机遥感测绘图像增强方法

Country Status (1)

Country Link
CN (1) CN114494081B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147746B (zh) * 2022-09-02 2022-11-29 广东容祺智能科技有限公司 基于无人机遥感图像的盐碱地质识别方法
CN115931008B (zh) * 2023-02-27 2023-05-30 昆明人为峰科技有限公司 一种地形测绘设备运行状态监测系统与监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635662A (zh) * 2018-11-14 2019-04-16 浙江科技学院 一种基于卷积神经网络的道路场景语义分割方法
CN109741335A (zh) * 2018-11-28 2019-05-10 北京理工大学 血管oct图像中血管壁及血流区域的分割方法与装置
WO2019214344A1 (zh) * 2018-05-07 2019-11-14 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214344A1 (zh) * 2018-05-07 2019-11-14 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN109635662A (zh) * 2018-11-14 2019-04-16 浙江科技学院 一种基于卷积神经网络的道路场景语义分割方法
CN109741335A (zh) * 2018-11-28 2019-05-10 北京理工大学 血管oct图像中血管壁及血流区域的分割方法与装置
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112396110A (zh) * 2020-11-20 2021-02-23 南京大学 一种基于生成对抗级联网络增广图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于对比度增强和形态学的遥感影像道路提取;杨孝翠等;《测绘通报》;20170825(第08期);全文 *

Also Published As

Publication number Publication date
CN114494081A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114494081B (zh) 一种无人机遥感测绘图像增强方法
CN111325751B (zh) 基于注意力卷积神经网络的ct图像分割系统
CN110163815B (zh) 基于多阶段变分自编码器的低照度还原方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
US20180231871A1 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110781776B (zh) 一种基于预测和残差细化网络的道路提取方法
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN110009653A (zh) 基于灰度阈值分割法增加边缘识别点准确图像识别的方法
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111462124A (zh) 一种基于DeepLabV3+的遥感卫星云检测方法
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN112150400B (zh) 图像增强方法、装置和电子设备
CN111160481B (zh) 基于深度学习的adas目标检测方法及系统
CN117218029B (zh) 基于神经网络的夜间暗光图像智能处理方法
CN116469100A (zh) 一种基于Transformer的双波段图像语义分割方法
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN112418087A (zh) 一种基于神经网络的水下视频鱼类识别方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN114639002A (zh) 一种基于多模式特征的红外与可见光图像融合方法
CN115511759A (zh) 一种基于级联特征交互的点云图像深度补全方法
CN113674143A (zh) 图像超分辨率处理方法、装置、设备及存储介质
CN111192213A (zh) 图像去雾自适应参数的计算方法、图像去雾方法及系统
CN106023184A (zh) 一种基于各向异性中心环绕差异的深度显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant