CN113627292A - 基于融合网络的遥感图像识别方法及装置 - Google Patents
基于融合网络的遥感图像识别方法及装置 Download PDFInfo
- Publication number
- CN113627292A CN113627292A CN202110860645.2A CN202110860645A CN113627292A CN 113627292 A CN113627292 A CN 113627292A CN 202110860645 A CN202110860645 A CN 202110860645A CN 113627292 A CN113627292 A CN 113627292A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- fusion
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 12
- 239000002131 composite material Substances 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明实施例涉及遥感图像技术领域，公开了一种基于融合网络的遥感图像识别方法，包括：获取达到预设分辨率的遥感图像；对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；根据多个所述分割预测结果确定相应的图像识别结果。本发明实施例还公开了一种基于融合网络的遥感图像识别装置。本发明实施例中的基于融合网络的遥感图像识别方法通过采用多种神经网络模型来对遥感图像中特征进行构建，进而得到相应的复合特征，并利用复合特征来对遥感图像进行自动物体识别，提升整体检测的鲁棒性。
Description
技术领域
本发明涉及遥感图像技术领域，具体涉及一种基于融合网络的遥感图像识别方法及装置。
背景技术
目前，近年来，随着我国工业技术的快速发展，我国的成像卫星数量越来越多，尤其是高分辨率成像卫星。以“高分专项”系列卫星为例，高分一号、高分二号和高分六号都是可见光高分辨率成像卫星。这些可见光高分辨率成像卫星摄制的空间影像数据，为我国的国土资源部、环境保护部、农业部和其它有关部门和领域提供了广泛的应用服务，极大地提高了我国空间数据自给率，并扩大了空间信息产业链，逐步构建了“遥感大数据”的环境。
但是通常情况下，遥感图像的智能语义分割都需要庞大的数据集和极为精确的数据标注才能训练，对数据集的要求极高，而标注不精确，或者样本较小的数据集则无法取得令人满意的结果。因此，对于小样本且标注不精确的高分遥感图像的语义分割处理问题依然需要进一步的研究和探讨。因此，设计一种鲁棒性更好的遥感图像识别方案成为本领域技术人员亟待解决的技术问题。
发明内容
针对所述缺陷，本发明实施例公开了一种基于融合网络的遥感图像识别方法，其能够实现更加准确的遥感图像识别，提升整体检测的准确率。
本发明实施例第一方面公开了基于融合网络的遥感图像识别方法，包括：
获取达到预设分辨率的遥感图像；
对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
根据多个所述分割预测结果确定相应的图像识别结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像，包括：
选取所述遥感图像中波长对应为R、G、B波段的灰度图像；
将所述三个波段的灰度图像进行合成以得到RGB彩色图像；
将所述RGB彩色图像转换为IHS彩色图像，并将所述IHS彩色图像转换为预设大小的IHS彩色图像；
将全色通道的灰度图像与转换后的IHS彩色图像的I分量进行直方图匹配，并将其作为新的亮度分量替换彩色图像I分量以得到IHS匹配图像；
将所述IHS匹配图像转换回RGB彩色图像以得到遥感转换图像。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述遥感转换图像进行网格切片以得到多幅遥感切片图像，包括：
对所述遥感转换图像进行有重叠的网格切片以得到多幅遥感切片图像。
作为一种可选的实施方式，在本发明实施例第一方面中，所述根据多个所述分割预测结果确定相应的图像识别结果，包括：
对多个所述分割预测结果裁剪掉重叠区域上下左右各1/2个宽度的边缘部分；
将所有裁剪后的分割预测结果图像按照顺序进行拼接以得到相应的图像识别结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述融合网络模型通过如下步骤构建得到：
获取遥感训练图像，并对所述遥感训练图像进行影像融合及波段合成操作训练转换图像；
对所述训练转换图像进行物体标注以得到物体标记图像；
将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像；
将所述训练切割图像输入至构建完成的初始网络模型中进行训练以得到融合网络模型。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像之后，还包括：
对所述训练切割图像进行图像处理操作，所述图像处理操作包括图形转换、图像镜像、图像模糊操作、图像光照调整操作和图像加噪操作中的一种或者多种。
作为一种可选的实施方式，在本发明实施例第一方面中，所述融合网络模型包括U-Net网络模型和SegNet网络模型；在所述融合网络模型中U-Net网络模型的预测权重为40％；SegNet网络模型的预测权重为60％。
本发明实施例第二方面公开一种基于融合网络的遥感图像识别装置，包括：
获取模块：用于获取达到预设分辨率的遥感图像；
图像融合模块：用于对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
切片模块：用于对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
预测模块：用于将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
投票表决模块：用于根据多个所述分割预测结果确定相应的图像识别结果。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的基于融合网络的遥感图像识别方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于融合网络的遥感图像识别方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中的基于融合网络的遥感图像识别方法通过采用多种神经网络模型来对遥感图像中特征进行构建，进而得到相应的复合特征，并利用复合特征来对遥感图像进行自动物体识别，提升整体检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的基于融合网络的遥感图像识别方法的流程示意图；
图2是本发明实施例公开的影响融合及波段合成操作的流程示意图；
图3是本发明实施例公开的融合网络模型构建的流程示意图；
图4是本发明实施例公开的Unet网络模型的架构示意图；
图5是本发明实施例公开的基于融合网络的遥感图像识别方法的具体流程示意图；
图6是本发明实施例提供的一种基于融合网络的遥感图像识别装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
遥感是通过卫星上的传感器，对地球进行特定电磁波谱段的成像，是以航空摄影技术为基础发展起来的一门技术；通过遥感探测，能够在短时间内，对地球上大范围的地区进行多层次、多视角的观测，是获取环境信息和地球资源的重要手段。
遥感技术是衡量一个国家的科技水平和综合实力的重要标志之一，我国一直十分重视遥感技术的发展，使得遥感技术得到快速发展；目前，遥感技术已广泛应用于海洋、气象、农业、军事、林业、水资源、地质环境调查、环境保护、土地利用、城市规划等各种领域。
面对如此开阔的应用前景，遥感影像的信息提取技术显得尤为重要；可以说，遥感的最终目标就是为了能够从图像上提取到有用的信息，获取到知识。最基本的遥感影像信息提取有对象的分类和识别，在巨大的数据量下，人工进行分类和识别显然不再可行，需要更智能化的手段；在此基础上，才可以使遥感影像得到更多更广的应用。在这方面，随着计算机视觉和深度学习技术的发展，越来越多的方法和模型涌现，为遥感影像的信息提取提供了有力的手段。
目前，高分一号(GF-1)至高分九号(GF-9)9颗卫星已经成功发射，涵盖了全色、多光谱、高光谱、雷达等众多成像类型。其中，比较有代表性的有搭载了全色和多光谱相机的高分一号卫星和高分二号卫星、搭载了C频段多极化合成孔径雷达(SyntheticApertureRadar，SAR)的高分三号卫星、搭载了高光谱相机的高分五号卫星。
在高分卫星遥感影像中，可以通过图像语义分割技术，将图像中的特定目标划分标记出来，以此提取遥感影像中的特定信息，例如房屋的识别与划分、路网的识别、植被分离等等；这些都是遥感影像基础的信息提取，但是更多其他的应用需要在这个基础上进行，而基础的信息提取的准确率，直接影响到了后续的使用。遥感图像的智能语义分割都需要庞大的数据集和极为精确的数据标注才能训练，对数据集的要求极高，而标注不精确，或者样本较小的数据集则无法取得令人满意的结果。因此，对于小样本且标注不精确的高分遥感图像的语义分割处理问题依然需要进一步的研究和探讨。基于此，本发明实施例公开了基于融合网络的遥感图像识别方法、装置、电子设备及存储介质，基于融合网络的遥感图像识别方法通过采用多种神经网络模型来对遥感图像中特征进行构建，进而得到相应的复合特征，并利用复合特征来对遥感图像进行自动物体识别，提升整体检测的鲁棒性。
实施例一
请参阅图1和图5，图1是本发明实施例公开的基于融合网络的遥感图像识别方法的流程示意图；图5是本发明实施例公开的基于融合网络的遥感图像识别方法的具体流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1和图5所示，该基于融合网络的遥感图像识别方法包括以下步骤：
S101：获取达到预设分辨率的遥感图像；
本步骤主要是获取到需要进行识别比对的基础的遥感图像信息；这里的遥感图像需要是高分辨率的遥感图像，如果分辨率没有达到设定值，则无法进行准确的识别。本发明实施例中，预设分辨率至少为1500*1500。
S102：对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
多光谱影像一般有4个波谱频段，通常是蓝色、绿色、红色和近红外四个波段；SAR成像只有一个通道，影像一般为灰度图像，多用于探测地形方面；高光谱影像在电磁波谱上以多个连续细分的光谱波段对目标区域同时成像，包括了紫外、可见光范围、近红外和中红外等区域。分辨率最高的是高分二号卫星，搭载有高分辨率1米全色和4米多光谱的相机，其高定位精度和快速的姿态机动能力，大大提升了卫星综合观测效能，一度达到国际先进水平，为城市的精细化管理、交通规划、各类资源调查与监测等领域的应用提供服务支撑。图像语义分割是计算机视觉中的概念，指的是根据颜色、形状和纹理等特征，将图像划分为多个互不重叠的区域，使被划分为同一个区域的部分具有相似的特征，而不同区域之间的特征具有较为明显的区别，是一种把图像分成多个具有各自特性的独立区域，并提取出感兴趣目标的技术。
在本发明实施例中采用高分一号WFV传感器采集到的影像具备蓝(450nm-520nm)、绿(520nm-590nm)、红(630nm-690nm)和红外(770nm890nm)四个波段，所以需要截取RGB通道图像。
图2是本发明实施例公开的影响融合及波段合成操作的流程示意图，如图2所示，作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像，包括：
S1021：选取所述遥感图像中的前三个波段的灰度图像；
S1022：将所述三个波段的灰度图像进行合成以得到RGB彩色图像；
S1023：将所述RGB彩色图像转换为IHS彩色图像，并将所述IHS彩色图像转换为预设大小的IHS彩色图像；
S1024：将全色通道的灰度图像与转换后的IHS彩色图像进行直方图匹配以得到IHS匹配图像；
S1025：将所述IHS匹配图像转换回RGB彩色图像以得到遥感转换图像。
具体的，也即是取遥感影像中对应波长为B、G、R波段的灰度图像分别作为RGB图像中的B通道图像、G通道图像和R通道图像，进而合成一张RGB彩色图像；高分一号WFV传感器采集到的影像具备蓝(450nm-520nm)、绿(520nm-590nm)、红(630nm-690nm)和红外(770nm890nm)四个波段，所以需要截取RGB通道图像；将上述RGB彩色图像转换到IHS彩色图像，并将其放大至与遥感影像中的全色通道灰度图像同样大小；将所述全色通道的灰度图像与放大后IHS彩色图像中的I通道图像进行直方图匹配，并将匹配后的结果替代IHS彩色图像中的I通道图像；将替代完成后的IHS彩色图像转换回RGB彩色图像，即完成了影像融合及波段合成操作。
在进行标记的时候，可以对遥感图像的tif图进行标记，不可以进行识别；因为本发明实施例中所采用的是深度学习模型是基于RGB图像进行识别学习的，能够提供更方便快速的图像接入以及图像识别。
S103：对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
如果直接将得到的遥感图像输入至融合网络模型中，无法进行快速有效的识别，因为图像分辨率过大容易对融合网络模型的效率产生影响；也可能造成融合网络模型无法运行的情况。因此，在进行具体实施时，为了提升效率，将其切割为多幅遥感切片图像来进行后续的识别。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述遥感转换图像进行网格切片以得到多幅遥感切片图像，包括：
对所述遥感转换图像进行有重叠的网格切片以得到多幅遥感切片图像。
为了更全面准确的识别，来进行有重叠的网格切片，也即是将同一遥感图像切割为多幅遥感切片图像；多幅遥感切片图像有部分重叠的情况出现，通过部分重叠能够更为准确的对其进行准确识别，如果按照常规的切割方案，则有可能出现将一个浮阀切割成两半的情况，此时，如果用融合模型去识别，则有可能出现识别偏差的情况。而在通过本发明实施例的方式，能够尽可能的将上述情况排出，提升整体模型识别准确性。
对需要语义分割的遥感影像进行有重叠的网格切片，进而将每个切片图像分别输入至U-Net和SegNet神经网络模型中输出得到对应的单通道灰度图像，再采取模型融合的思路，对每张结果图的每个像素点采取投票表决的思路，对每张图相应位置的像素点的类别进行预测，票数最多的类别即为该像素点的类别，即分割预测结果。
S104：将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
对需要语义分割的遥感图像进行有重叠的网格切片，进而将每个切片图像分别输入至U-Net和SegNet神经网络模型中输出得到对应的单通道灰度图像，再采取模型融合的思路，对每张结果图的每个像素点采取投票表决的思路，对每张图相应位置的像素点的类别进行预测，票数最多的类别即为该像素点的类别，即分割预测结果。在本发明实施例中，融合网络模型可以是任意两种不同的神经网络模型来进行实施，本发明实施例中更为优选的，采用U-Net和SegNet神经网络模型融合的方式。所谓的融合，也即是赋予两种不同模型不同的权重，通过组合的方式提升整体模型识别的鲁棒性。
图3是本发明实施例公开的融合网络模型构建的流程示意图，如图3所示，作为一种可选的实施方式，在本发明实施例第一方面中，所述融合网络模型通过如下步骤构建得到：
S104a：获取遥感训练图像，并对所述遥感训练图像进行影像融合及波段合成操作训练转换图像；
S104b：对所述训练转换图像进行物体标注以得到物体标记图像；
S104c：将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像；
S104d：将所述训练切割图像输入至构建完成的初始网络模型中进行训练以得到融合网络模型。
具体的，将影像融合及波段合成后遥感影像的RGB彩色图像，利用argismap对图像将不同类别的物体标注出来，并保存多边形的顶点位置信息以及物体所属类别信息；根据类别信息将标签label图像转换成单通道的灰度图像，将彩色图像转换为灰色图像是为了降低数据量进而实现快速识别。该灰度图像即为标记图像，其中每个像素的灰度值即表示像素所属的物体类型，0代表背景，1代表浮筏。由于计算机显存的限制，不能直接把这些图像送入网络进行训练，因为内存承受不了而且他们的尺寸也各不相同。因此，首先将对标注好的原图像和标签图像做随机切割，即随机生成x,y坐标，然后抠出该坐标下256*256的小图，并做以下数据增强操作，由于卷积神经网络具备一定的平移不变性，但缺乏旋转不变性。所以在切割后遥感图像基础上，原图和label图都需要旋转：90度、180度、270度、原图和label图都需要做沿y轴的镜像操作、原图做模糊操作、原图做光照调整操作、原图做增加噪声操作(高斯噪声，椒盐噪声)，以扩充样本，提高本方法的鲁棒性。对于原图像做这一系列操作，验证算法的鲁棒性。而对于label做操作，大大影响算法的鲁棒性
作为一种可选的实施方式，在本发明实施例第一方面中，在所述将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像之后，还包括：
对所述训练切割图像进行图像处理操作，所述图像处理操作包括图形转换、图像镜像、图像模糊操作、图像光照调整操作和图像加噪操作中的一种或者多种。原图和label图都需要旋转：90度、180度、270度、原图和label图都需要做沿y轴的镜像操作、原图做模糊操作、原图做光照调整操作、原图做增加噪声操作(高斯噪声，椒盐噪声)，以扩充样本，提高本方法的鲁棒性。
作为一种可选的实施方式，在本发明实施例第一方面中，所述融合网络模型包括U-Net网络模型和SegNet网络模型；在所述融合网络模型中U-Net网络模型的预测权重为40％；SegNet网络模型的预测权重为60％。通过权重的设置方式来实现投票表决，最终提高识别结果的准确性和稳定性。
图4是本发明实施例公开的Unet网络模型的架构示意图，如图4所示，Unet神经网络模型的结构从输入到输出依次由4个加密模块和4个解密模块连接组成，所述加密模块从输入到输出依次由5个卷积组合层和1个池化层连接组成，所述解密模块从输入到输出依次由1个上采样层和5个卷积组合层连接组成，所述卷积组合层从输入到输出依次由1个卷积层、1个批标准化层和1个激活层连接组成；所述卷积层中的卷积核大小为3×3，步长为1，边距为1，所述激活层采样ReLU函数，所述池化层的倍数为2，所述上采样层的倍数为2；4个加密模块中的卷积核个数从输入到输出依次为64、128、256、512，4个解密模块中的卷积核个数从输入到输出依次为512、256、128、64。多少个数量都可以的。4的可以直接加载预训练模型。如果添加新的网络话，需要重新训练，而且参数量也很大。接着，SegNet神经网络模型的结构从输入到输出依次由5个加密模块和5个解密模块连接组成，所述加密模块从输入到输出依次由2个卷积组合层和1个池化层或者3个卷积组合层和1个池化层连接组成，所述解密模块从输入到输出依次由1个上采样层和2个卷积组合层或者1个上采样层和3个卷积组合层连接组成，所述卷积组合层从输入到输出依次由1个卷积层、1个批标准化层和1个激活层连接组成；所述卷积层中的卷积核大小为3×3，步长为1，边距为1，所述激活层采样ReLU函数，所述池化层的倍数为2，所述上采样层的倍数为2；5个加密模块中的卷积核个数从输入到输出依次为64、128、256、512、1024，5个解密模块中的卷积核个数从输入到输出依次为1024、512、256、128、64。
步骤S103中的Unet和SegNet神经网络模型接收大小为256×256的彩色图像作为输入，输出则为256×256大小的单通道灰度图像作为分割预测结果；在训练时，从遥感影像的RGB彩色图像中任意截取大小为256×256的彩色图块，使该彩色图块与标记图像中对应位置256×256大小的灰度图块作为一组样本输入至全卷积神经网络模型中，多组样本逐个输入反复学习即可完成模型训练任务。
S105：根据多个所述分割预测结果确定相应的图像识别结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述根据多个所述分割预测结果确定相应的图像识别结果，包括：
对多个所述分割预测结果裁剪掉重叠区域上下左右各1/2个宽度的边缘部分；
将所有裁剪后的分割预测结果图像按照顺序进行拼接以得到相应的图像识别结果。通过上述步骤来拼接得到最终的识别图像。本发明实施例的1/2个宽度指的是重叠区域的1/2个宽度；这样后续在进行拼接的时候，则能够实现图像复原。
本发明实施例中的基于融合网络的遥感图像识别方法通过采用多种神经网络模型来对遥感图像中特征进行构建，进而得到相应的复合特征，并利用复合特征来对遥感图像进行自动物体识别，提升整体检测的鲁棒性。
实施例二
请参阅图6，图6是本发明实施例公开的基于融合网络的遥感图像识别装置的结构示意图。如图6所示，该基于融合网络的遥感图像识别装置可以包括：
获取模块21：用于获取达到预设分辨率的遥感图像；
图像融合模块22：用于对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
切片模块23：用于对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
预测模块24：用于将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
投票表决模块25：用于根据多个所述分割预测结果确定相应的图像识别结果。
本发明实施例中的基于融合网络的遥感图像识别方法通过采用多种神经网络模型来对遥感图像中特征进行构建，进而得到相应的复合特征，并利用复合特征来对遥感图像进行自动物体识别，提升整体检测的鲁棒性。
实施例三
请参阅图7，图7是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图7所示，该电子设备可以包括：
存储有可执行程序代码的存储器510；
与存储器510耦合的处理器520；
其中，处理器520调用存储器510中存储的可执行程序代码，执行实施例一中的基于融合网络的遥感图像识别方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的基于融合网络的遥感图像识别方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于融合网络的遥感图像识别方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于融合网络的遥感图像识别方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的基于融合网络的遥感图像识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于融合网络的遥感图像识别方法，其特征在于，包括：
获取达到预设分辨率的遥感图像；
对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
根据多个所述分割预测结果确定相应的图像识别结果。
2.如权利要求1所述的基于融合网络的遥感图像识别方法，其特征在于，对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像，包括：
选取所述遥感图像中的波长对应为R、G、B波段的灰度图像；
将所述三个波段的灰度图像进行合成以得到RGB彩色图像；
将所述RGB彩色图像转换为IHS彩色图像，并将所述IHS彩色图像转换为预设大小的IHS彩色图像；
将全色通道的灰度图像与转换后的IHS彩色图像的I分量进行直方图匹配，并将其作为新的亮度分量替换彩色图像I分量以得到IHS匹配图像；
将所述IHS匹配图像转换回RGB彩色图像以得到遥感转换图像。
3.如权利要求1所述的基于融合网络的遥感图像识别方法，其特征在于，所述对所述遥感转换图像进行网格切片以得到多幅遥感切片图像，包括：
对所述遥感转换图像进行有重叠的网格切片以得到多幅遥感切片图像。
4.如权利要求1所述的基于融合网络的遥感图像识别方法，其特征在于，所述根据多个所述分割预测结果确定相应的图像识别结果，包括：
对多个所述分割预测结果裁剪掉重叠区域上下左右各1/2个宽度的边缘部分；
将所有裁剪后的分割预测结果图像按照顺序进行拼接以得到相应的图像识别结果。
5.如权利要求1所述的基于融合网络的遥感图像识别方法，其特征在于，所述融合网络模型通过如下步骤构建得到：
获取遥感训练图像，并对所述遥感训练图像进行影像融合及波段合成操作训练转换图像；
对所述训练转换图像进行物体标注以得到物体标记图像；
将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像；
将所述训练切割图像输入至构建完成的初始网络模型中进行训练以得到融合网络模型。
6.如权利要求5所述的基于融合网络的遥感图像识别方法，其特征在于，在所述将所述训练转换图像以及物体标记图像分别进行随机切割以得到训练切割图像之后，还包括：
对所述训练切割图像进行图像处理操作，所述图像处理操作包括图形转换、图像镜像、图像模糊操作、图像光照调整操作和图像加噪操作中的一种或者多种。
7.如权利要求5所述的基于融合网络的遥感图像识别方法，其特征在于，所述融合网络模型包括U-Net网络模型和SegNet网络模型；在所述融合网络模型中U-Net网络模型的预测权重为40％；SegNet网络模型的预测权重为60％。
8.一种基于融合网络的遥感图像识别装置，其特征在于，包括：
获取模块：用于获取达到预设分辨率的遥感图像；
图像融合模块：用于对所述遥感图像进行影像融合及波段合成操作以得到遥感转换图像；
切片模块：用于对所述遥感转换图像进行网格切片以得到多幅遥感切片图像；
预测模块：用于将多幅所述遥感切片图像输入至融合网络模型中进行类别预测以得到多个分割预测结果；
投票表决模块：用于根据多个所述分割预测结果确定相应的图像识别结果。
9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的基于融合网络的遥感图像识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的基于融合网络的遥感图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860645.2A CN113627292B (zh) | 2021-07-28 | 2021-07-28 | 基于融合网络的遥感图像识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860645.2A CN113627292B (zh) | 2021-07-28 | 2021-07-28 | 基于融合网络的遥感图像识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113627292A true CN113627292A (zh) | 2021-11-09 |
| CN113627292B CN113627292B (zh) | 2024-04-30 |
Family
ID=78381415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110860645.2A Active CN113627292B (zh) | 2021-07-28 | 2021-07-28 | 基于融合网络的遥感图像识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627292B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091953A (zh) * | 2023-04-11 | 2023-05-09 | 耕宇牧星(北京)空间科技有限公司 | 一种基于分组小波校准网络的建筑垃圾识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
| CN110222762A (zh) * | 2019-06-04 | 2019-09-10 | 恒安嘉新（北京）科技股份公司 | 对象预测方法、装置、设备、及介质 |
| CN111797678A (zh) * | 2020-05-15 | 2020-10-20 | 华南师范大学 | 基于复合神经网络的相位解包裹方法和装置 |
| US20200380696A1 (en) * | 2019-05-30 | 2020-12-03 | Springbok, Inc. | System and method for automatic segmentation of muscles from high-resolution mri using 3d deep convolutional neural network |
| CN112347927A (zh) * | 2020-11-06 | 2021-02-09 | 天津市勘察设计院集团有限公司 | 基于卷积神经网络概率决策融合的高分影像建筑提取方法 |
| CN112861774A (zh) * | 2021-03-04 | 2021-05-28 | 山东产研卫星信息技术产业研究院有限公司 | 一种使用遥感图像识别舰船目标的方法及系统 |
| US20210365717A1 (en) * | 2019-04-22 | 2021-11-25 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for segmenting a medical image, and storage medium |
-
2021
- 2021-07-28 CN CN202110860645.2A patent/CN113627292B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564587A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于全卷积神经网络的大范围遥感影像语义分割方法 |
| US20210365717A1 (en) * | 2019-04-22 | 2021-11-25 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for segmenting a medical image, and storage medium |
| US20200380696A1 (en) * | 2019-05-30 | 2020-12-03 | Springbok, Inc. | System and method for automatic segmentation of muscles from high-resolution mri using 3d deep convolutional neural network |
| CN110222762A (zh) * | 2019-06-04 | 2019-09-10 | 恒安嘉新（北京）科技股份公司 | 对象预测方法、装置、设备、及介质 |
| CN111797678A (zh) * | 2020-05-15 | 2020-10-20 | 华南师范大学 | 基于复合神经网络的相位解包裹方法和装置 |
| CN112347927A (zh) * | 2020-11-06 | 2021-02-09 | 天津市勘察设计院集团有限公司 | 基于卷积神经网络概率决策融合的高分影像建筑提取方法 |
| CN112861774A (zh) * | 2021-03-04 | 2021-05-28 | 山东产研卫星信息技术产业研究院有限公司 | 一种使用遥感图像识别舰船目标的方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091953A (zh) * | 2023-04-11 | 2023-05-09 | 耕宇牧星(北京)空间科技有限公司 | 一种基于分组小波校准网络的建筑垃圾识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113627292B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kalantar et al. | Drone-based land-cover mapping using a fuzzy unordered rule induction algorithm integrated into object-based image analysis | |
| Adriano et al. | Learning from multimodal and multitemporal earth observation data for building damage mapping | |
| CN109934153B (zh) | 基于门控深度残差优化网络的建筑物提取方法 | |
| US9230168B2 (en) | Automatic generation of built-up layers from high resolution satellite image data | |
| CA3164893A1 (en) | Systems for multiclass object detection and alerting and methods therefor | |
| CN113239736B (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法 | |
| CN110598784A (zh) | 基于机器学习的建筑垃圾分类方法及装置 | |
| CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
| CN109858450A (zh) | 一种十米级空间分辨率遥感影像城镇提取方法及系统 | |
| Shahi et al. | Road condition assessment by OBIA and feature selection techniques using very high-resolution WorldView-2 imagery | |
| Nivedita Priyadarshini et al. | A comparative study of advanced land use/land cover classification algorithms using Sentinel-2 data | |
| Sameen et al. | A refined classification approach by integrating Landsat Operational Land Imager (OLI) and RADARSAT-2 imagery for land-use and land-cover mapping in a tropical area | |
| Tiwari et al. | UAV remote sensing for campus monitoring: a comparative evaluation of nearest neighbor and rule-based classification | |
| Sadeghi et al. | Design and implementation of an expert system for updating thematic maps using satellite imagery (case study: changes of Lake Urmia) | |
| Nazmfar et al. | Classification of satellite images in assessing urban land use change using scale optimization in object-oriented processes (a case study: Ardabil city, Iran) | |
| CN113298042B (zh) | 遥感影像数据的处理方法及装置、存储介质、计算机设备 | |
| Martins et al. | Machine learning and SLIC for tree canopies segmentation in urban areas | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN113627292B (zh) | 基于融合网络的遥感图像识别方法及装置 | |
| Sakieh et al. | An integrated spectral-textural approach for environmental change monitoring and assessment: analyzing the dynamics of green covers in a highly developing region | |
| EP4296706A1 (en) | Method and system for lulc guided sar visualization | |
| CN112507888A (zh) | 建筑物识别方法及装置 | |
| He et al. | Bilinear squeeze-and-excitation network for fine-grained classification of tree species | |
| Latif | Multi-crop recognition using UAV-based high-resolution NDVI time-series | |
| Panigrahi et al. | Image pan-sharpening and sub-pixel classification enabled building detection in strategically challenged forest neighborhood environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |