CN111881976A - 一种融合人工智能技术和大数据的多源影像自动解译方法 - Google Patents

一种融合人工智能技术和大数据的多源影像自动解译方法 Download PDF

Info

Publication number
CN111881976A
CN111881976A CN202010731313.XA CN202010731313A CN111881976A CN 111881976 A CN111881976 A CN 111881976A CN 202010731313 A CN202010731313 A CN 202010731313A CN 111881976 A CN111881976 A CN 111881976A
Authority
CN
China
Prior art keywords
image
data
determining
analysis image
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010731313.XA
Other languages
English (en)
Other versions
CN111881976B (zh
Inventor
徐晶
周兴付
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Zhilian Space Technology Co ltd
Original Assignee
Yancheng Zhilian Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Zhilian Space Technology Co ltd filed Critical Yancheng Zhilian Space Technology Co ltd
Priority to CN202110052257.1A priority Critical patent/CN112836728B/zh
Priority to CN202010731313.XA priority patent/CN111881976B/zh
Priority to CN202110052234.0A priority patent/CN112836727B/zh
Publication of CN111881976A publication Critical patent/CN111881976A/zh
Application granted granted Critical
Publication of CN111881976B publication Critical patent/CN111881976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种融合人工智能技术和大数据的多源影像自动解译方法。获取历史影像和矢量数据,构建影像解译样本库;构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像;基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像。有益效果在于:本发明通过历史影像和矢量数据构建影像解译样本库,为深度神经网络模型提供了大量的高精度训练样本,提高了影像解译的精度。本发明还通过构建深度残差全卷积网络,实现自动标注,减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化,通过精确的要素分类,得到更高精度的解析影像。

Description

一种融合人工智能技术和大数据的多源影像自动解译方法
技术领域
本发明涉及于遥感影像解译技术领域,特别涉及一种融合人工智能技术和大数据的多源影像自动解译方法。
背景技术
目前绝大多数遥感数据处理软件内置分类方法仅仅利用了遥感影像数据本身,从影像的结构出发构建解译方法进行解译,精度难以进一步提高,难以满足大范围高精度像素分类需求,而且解译只能得到地表视觉信息,缺乏深层的社会信息,因此应用范围相对狭窄。
为了进一步提高解译结果的准确性,拓宽解译成果的应用场景,可采用多源时空大数据,对解译结果进行修正和补充,从而得到一个更可靠且更丰富的数据成果。
发明内容
本发明的目的在于融合人工智能的深度学习方法和时空大数据中包含的几何位置、自然属性、社会属性等信息,与遥感解译结果进行匹配,从而进一步提高遥感影像的精度。
一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于,包括:
获取历史影像和矢量数据,构建影像解译样本库;
构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像;
基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像。
作为本发明的一种实施例,所述获取历史影像和矢量数据,构建影像解译样本库,包括:
获取测绘数据,确定DOM数据和DLG数据;
根据所述DOM数据,获取历史影像;
根据所述DLG数据,获取矢量数据;
确定所述历史影像和矢量数据的掩膜,并在地理坐标上将所述掩膜与预设的地理要素进行对齐;其中,
所述地理要素与掩膜的类别相对应;
根据所述地理坐标,标注所述地理要素;其中,
当所述地理要素存在重叠现象时,对所述地理要素进行多类标注;
当所述地理要素存在重叠现象,并进行拓扑检查时,根据所述地理要素的类别优先级,进行唯一标注;
当所述地理坐标被标注后,将所述历史影像和掩膜裁剪为影像块;
其中,
所述影像块与掩膜一一对应;
将所述影像块输入深度学习模型,确定影像解译样本库。
作为本发明的一种实施例,所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,包括:
获取测绘数据,确定不同分辨率遥感影像;
构建深度残差卷积神经网络模型和特征编码器,并配置多层的非线性残差运算单元,根据多层的非线性残差运算单元,抽取不同分辨率遥感影像的本质空间特征;
构建双线性插值解码器,在不断恢复图像原本空间大小的过程中使用跳跃连接结构叠加高分辨率的空间信息;
根据所述空间信息,对具有不同分辨率遥感影像的本质空间特征进行特征级可微分融合,确定融合特征;
根据所述融合特征,使用影像解译样本库训练深度残差全卷积网络模型,并利用梯度下降算法收敛损失值;
利用训练完成的残差全卷积网络网络模型进行影像解译,生成第一解析影像。
作为本发明的一种实施例,所述利用梯度下降算法收敛损失值,包括:
根据所述融合特征,确定每个融合特征的数量场Si(xi,yi,zi);
根据所述数量场,确定所述融合特征的梯度向量
Figure BDA0002603430730000031
其中,所述i=(1,2,3,·····n);所述Ti表示第i个融合特征的梯度向量;
获取所述影像解译样本库的影像特征集合A(a1,a2,a3·····aj);j=(1,2,3,····m);所述aj表示影像解译样本库的第j个影像特征;
确定所述梯度向量在收敛过程中的贡献度:
Figure BDA0002603430730000032
根据所述贡献度,确定贡献百分值,并基于所述贡献百分值,确定损失值。
作为本发明的一种实施例,所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,还包括:
基于预设的深度学习框架,构建层次化结构的高性能自动化影像解译系统;其中,
所述高性能自动化影像解译系统包括:界面层、业务层、数据处理层、数据库层和底层运行层;
所述数据库层采用并行存储服务器存储历史影像和矢量数据;
根据所述高性能自动化影像解译系统,将所述历史影像和矢量数据处理为二进制数据;
基于预设的多项式误差衰减学习策略微调学习率,确定所述二进制数据的水平翻转和垂直翻转的增强数据;
将所述增强数据通过正则化方法处理,确定第一解析影像。
作为本发明的一种实施例,所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,包括:
获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,并作为第二解析影像;其中,
所述第二解析影像包括位置信息和分类要素信息;
将所述第一解析影像做为基底,融合所述位置信息和分类要素信息,判断分类结果是否正确,并进行调整,生成融合时空大数据后的目标解析影像。
作为本发明的一种实施例,所述获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,包括:
根据所述历史影像和矢量数据,确定时空大数据;其中,
所述时空大数据包括物联网传感器、互联网数据、电信信令数据;
基于所述影像解译样本库,对所述时空大数据的数据进行挖掘,确定第一目标数据;
基于数据分类和解译目标,对所述第一目标数据进行分析筛选,确定时空大数据。
作为本发明的一种实施例,所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,还包括:
根据所述时空大数据,确定几何位置、自然属性、社会属性;
将所述几何位置、自然属性、社会属性与第一解析影像匹配;其中,
若匹配吻合,验证无误,确定目标解析影像;
如果匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像,其中
所述误差原因包括:地表变化误差或解译误差。
作为本发明的一种实施例,所述将所述几何位置、自然属性、社会属性与第一解析影像匹配,包括:
确定以第一解析影像的帧向量:
Figure BDA0002603430730000051
其中,
所述Wb表示第b帧第一解析影像的特征值;所述W第一解析影像的特征均值;b=1,2,3,·····,B;
获取几何位置坐标集合JI(XI,YI),确定几何位置与所述第一解析影像的第一关联值:
Figure BDA0002603430730000052
获取自然属性的特征值R,确定自然属性与所述第一解析影像的第二关联值:
Figure BDA0002603430730000053
所述Rl表示第l个自然属性的特征值;l=1,2,3,·····N;
获取社会属性的特征值H,确定自然属性与所述第一解析影像的第三关联值:
Figure BDA0002603430730000061
Figure BDA0002603430730000062
其中,所述hc表示社会属性中第c个本地属性的特征值;所述kd表示社会属性中第d个目的属性的特征值;Hcd表示第c个本地属性下的第d个目的属性的特征值;c=1,2,3····C;d=1,2,3,·····D;
根据所述第一关联值、第二关联值和第三关联值,确定匹配值P:
Figure BDA0002603430730000063
其中,
Figure BDA0002603430730000064
表示所述第一关联值、第二关联值和第三关联值的均值;
当所述P=1,表示若匹配吻合,验证无误,确定目标解析影像;
当P≠1,表示匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像。
作为本发明的一种实施例,所述分析误差原因,进行相应地修正,包括:
基于所述深度残差全卷积网络,确定所述目标解析影像的本质空间特征;
基于所述影像解译样本库,预测所述目标解析影像的本质空间特征;
将所述标解析影像的本质空间特征和预测的目标解析影像的本质空间特征进行对比,确定第一损失比;
根据所述第一损失比,设置第一阈值;
在训练完成的残差全卷积网络网络模型引入第一阈值,将所述目标解析影像的本质空间特征代入训练完成的残差全卷积网络模型进行解译修正。
本发明的有益效果在于:本发明通过历史影像和矢量数据构建影像解译样本库,为深度神经网络模型提供了大量的高精度训练样本,提高了影像解译的精度。本发明还通过构建深度残差全卷积网络,在编码部分采用残差网络获取影像特征,在解码部分使用跳跃连接结构保持高分辨率的空间信息,实现自动标注,减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化,通过精确的要素分类,得到更高精度的解析影像,
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种融合人工智能技术和大数据的多源影像自动解译方法的方法流程图;
图2为本发明实施例中一种融合人工智能技术和大数据的多源影像自动解译方法的实施流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如附图1和附图2所示,本发明为一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于,包括:
步骤100:获取历史影像和矢量数据,构建影像解译样本库;深度学习遥感影像解译(即,本发明的多源影像自动解译)的基础是训练样本库,需要利用大量训练样本对深度神经网络模型进行训练,从而使得深度神经网络模型学习到泛化能力强的语义特征,为影像语义分割奠定基础。因此在训练之前需要构建大量的高精度训练样本数据。而样本数据包括覆盖城市主城区的航拍数据和卫星遥感影像等测绘数据。
步骤101:构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像;传统遥感影像训练库大多数为人工标注,耗时费力。深度残差全卷积影像解译技术,利用深度残差全卷积神经网络进行影像解译。构建深度残差全卷积网络模型,模型以全卷积神经网络为骨干网络,在编码部分采用残差网络获取影像特征,在解码部分使用跳跃连接结构保持高分辨率的空间信息,采用双线性插值恢复为原始影像大小,获取分类结果。
步骤102:基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像。仅仅依靠深度学习对影像数据的解译生成的解译结果还不够精确,本发明融合了时空大数据与深度学习影像解译结果达到更高的分类精度。以经过深度学习影像解译的分类结果作为基底,将物联网传感器、互联网数据、电信信令数据等时空大数据进行分析挖掘,提取出相应的分类要素,并融合至深度学习影像解译基底之上,获取深度学习影像解译精确程度,并判断分类是否准确,若有分类错误或影像中尚未体现的道路、水系、植被、居民地等要素,则进行分类结果调整,以达到更高的分类精度。
上述技术方案的有益效果在于:本发明通过历史影像和矢量数据构建影像解译样本库,为深度神经网络模型提供了大量的高精度训练样本,提高了影像解译的精度。本发明还通过构建深度残差全卷积网络,在编码部分采用残差网络获取影像特征,在解码部分使用跳跃连接结构保持高分辨率的空间信息,实现自动标注,减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化,通过精确的要素分类,得到更高精度的解析影像,
作为本发明的一种实施例,所述获取历史影像和矢量数据,构建影像解译样本库,包括:
获取测绘数据,确定DOM数据和DLG数据;
根据所述DOM数据(数字正射影像),获取历史影像;
根据所述DLG数据(数字线划地图),获取矢量数据;训练样本库构建需要矢量与相应的影像数据,矢量数据来源主要来自于测绘成果的DLG数据中抽取的矢量数据,影像数据的来源主要是来自于测绘成果的DOM数据中抽取的影像,
确定所述历史影像和矢量数据的掩膜,并在地理坐标上将所述掩膜与预设的地理要素进行对齐;其中,历史影像和矢量数据的掩膜的尺寸相等。
所述地理要素与掩膜的类别相对应;
根据所述地理坐标,标注所述地理要素;其中,
当所述地理要素存在重叠现象时,对所述地理要素进行多类标注;
当所述地理要素存在重叠现象,并进行拓扑检查时,根据所述地理要素的类别优先级,进行唯一标注;
当所述地理坐标被标注后,将所述历史影像和掩膜裁剪为影像块;
其中,
所述影像块与掩膜一一对应;影像块具有规格,例如:1024x1024;
将所述影像块输入深度学习模型,确定影像解译样本库。
上述技术方案的有益效果在于:训练样本库构建需要矢量与相应的影像数据,矢量数据来源主要来自于测绘成果的中抽取的矢量数据,影像数据的来源主要是来自于测绘成果的DOM数据中抽取的影像,如覆盖城市主城区的航拍数据和卫星遥感影像等,矢量和影像要在相同的时点上获取。实现了矢量数据和影像数据的双重获取,同时能够获取大量的高精度数据。
作为本发明的一种实施例,所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,包括:
获取测绘数据,确定不同分辨率遥感影像;
构建深度残差卷积神经网络模型和特征编码器,并配置多层的非线性残差运算单元,根据多层的非线性残差运算单元,抽取不同分辨率遥感影像的本质空间特征;特征编码器是对数据进行编码的单元,能够对不同分辨率的遥感影像进行编码,提取本质空间特征。
构建双线性插值解码器,在不断恢复图像原本空间大小的过程中使用跳跃连接结构叠加高分辨率的空间信息;
根据所述空间信息,对具有不同分辨率遥感影像的本质空间特征进行特征级可微分融合,确定融合特征;空间信息包含解码后的本质空间特征,而且,编码,解码后的本质空间特征更容易融合。
根据所述融合特征,使用影像解译样本库训练深度残差全卷积网络模型,并利用梯度下降算法收敛损失值;分辨率对损失函数的影响是不同的,因此如果我们想提高我们的训练效果可以在训练的前期设置一个较大的分辨率,然后在某一个时期降低分辨率。比如我们在第n次迭代时,降低我们的分辨率,然后继续训练。
利用训练完成的残差全卷积网络网络模型进行影像解译,生成第一解析影像。
上述技术方案的有益效果在于:本名基于度残差卷积神经网络模型和特征编码器,能够对不同分辨率的遥感影像进行编码,提取本质空间特征,并通过双线性插值解码器,确定融合特征。最后通过在不断迭代的情况下,降低分辨率得到解析影像。
作为本发明的一种实施例,所述利用梯度下降算法收敛损失值,包括:
根据所述融合特征,确定每个融合特征的数量场Si(xi,yi,zi);
根据所述数量场,确定所述融合特征的梯度向量
Figure BDA0002603430730000111
其中,所述i=(1,2,3,·····n);所述Ti表示第i个融合特征的梯度向量;
获取所述影像解译样本库的影像特征集合A(a1,a2,a3·····aj);j=(1,2,3,·····m);所述aj表示影像解译样本库的第j个影像特征;
确定所述梯度向量在收敛过程中的贡献度:
Figure BDA0002603430730000112
根据所述贡献度,确定贡献百分值,并基于所述贡献百分值,确定损失值。
上述技术方案和有益效果在于:本发明基于梯度下降算法收敛损失值,因此,基于融合特征的数量场和影像特征,通过贡献度的计算,进而通过1减去贡献度,得到损失值,使得训练更加精确。
作为本发明的一种实施例,所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,还包括:
基于预设的深度学习框架,构建层次化结构的高性能自动化影像解译系统;其中,
所述高性能自动化影像解译系统包括:界面层、业务层、数据处理层、数据库层和底层运行层;
所述数据库层采用并行存储服务器存储历史影像和矢量数据;
根据所述高性能自动化影像解译系统,将所述历史影像和矢量数据处理为二进制数据;
基于预设的多项式误差衰减学习策略微调学习率,确定所述二进制数据的水平翻转和垂直翻转的增强数据;
将所述增强数据通过正则化方法处理,确定第一解析影像。
上述技术方案的原理和有益效果在于:本发明基于Linux环境、GPU高性能计算节点环境,利用Pytorch深度学习框架,构建高性能自动化影像解译系统,采用层次化结构设计,分为:前端Linux UI界面、业务层、数据处理层、数据库层以及底层运行层。
数据层采用并行存储服务器存储海量历史数据样本和新型数据,利用Pytorch将读入的数据制作成二进制Dataset,借助Pytorch中Data loader借助Pytorch中Dataloader将数据提供给模型使用。使用Pytorch构建出残差全卷积神经网络进行训练,利用随机梯度下降算法对其进行优化,动量设置为0.9,权重衰减为1e-4,利用多项式误差衰减学习策略微调学习率,初始学习率为0.03,学习策略衰减指数为0.9。对于影像进行随机裁剪使得网络输入影像大小为512×512,设置水平与垂直翻转做数据增强,训练批次大小设置为16,训练时采用批次正则化方法(Batch Nornmalization),预测时关闭。
作为本发明的一种实施例,所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,包括:
获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,并作为第二解析影像;其中,
所述第二解析影像包括位置信息和分类要素信息;
将所述第一解析影像做为基底,融合所述位置信息和分类要素信息,判断分类结果是否正确,并进行调整,生成融合时空大数据后的目标解析影像。
上述技术方案的原理和有益效果在于:将深度学习影像解译结果作为基底即第一解析影像,获取该解译地区的时空大数据,进行分析挖掘,提取出相应的地表覆盖要素及分类结果;融合时空大数据分析挖掘结果,判断分类结果是否正确,并进行调整,生成融合时空大数据后的解译结果。
在一个实施例中:以道路为例,深度学习遥感影像解译某地区结果表明道路的中心线且道路中间有间断,获取该地区的时空大数据,如GPS,北斗导航,车辆实时位置等信息,可以发现真正的道路中心线以及道路是否有间断,如中心线与影像解译结果不同,表明影像解译结果有偏差,即进行微调;若交通没有中断表明道路没有间断,进行微调。以居民地解译为例,如解译结果无法表明某地块是在建建筑还是裸地,可以根据时空大数据中的土地规划信息以及房产信息等进行套合,明确该地块的类型。除了对结果进行修正之外,还可以在解译结果的基础上,增加更多非视觉信息。对于解译为人工建筑的地块,可以结合房产登记、社交媒体、商业推广等数据,进一步明确该处建筑的类型、年代、层高、用途等综合情况。对于解译为植被的地块,可以结合农田系统、生态系统、园林绿化等行业的数据,进一步了解该地块具体是耕地、山地还是城市绿地,计算作物产量、生态资源或城市绿化率等指标。对于解译为道路的地块,可以结合出租、公交、导航、路况等信息,了解该路段的路宽、等级、限速情况,甚至拥堵、维修、限行等实时状态。对于解译为水体的地块,可以结合历史水文、通航信息、污染新闻等数据,了解水体的类型、水深、用途、水质情况。
作为本发明的一种实施例,所述获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,包括:
根据所述历史影像和矢量数据,确定时空大数据;其中,
所述时空大数据包括物联网传感器、互联网数据、电信信令数据;
基于所述影像解译样本库,对所述时空大数据的数据进行挖掘,确定第一目标数据;影像解译样本库具有解译的样本,进而可以得到样本模型,确定挖掘需求,进而实施挖掘。
基于数据分类和解译目标,对所述第一目标数据进行分析筛选,确定时空大数据。分析筛选是在数据分类后,通过解译目标进行专向筛选得到最终的时空大数据。
作为本发明的一种实施例,所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,还包括:
根据所述时空大数据,确定几何位置、自然属性、社会属性;
将所述几何位置、自然属性、社会属性与第一解析影像匹配;其中,
若匹配吻合,验证无误,确定目标解析影像;
如果匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像,其中
所述误差原因包括:地表变化误差或解译误差。
上述技术方案的原理和有益效果在于:本发明在对第一解析影像进行优化解析的过程中,通过时空大数据验证第一解析影像,基于匹配状况,判断第一解析影像是无误的解析影响还是,能修正的影像,进而修正调整。
作为本发明的一种实施例,所述将所述几何位置、自然属性、社会属性与第一解析影像匹配,包括:
确定以第一解析影像的帧向量:
Figure BDA0002603430730000151
其中,
所述Wb表示第b帧第一解析影像的特征值;所述W第一解析影像的特征均值;b=1,2,3,·····,B;
获取几何位置坐标集合JI(XI,YI),确定几何位置与所述第一解析影像的第一关联值:
Figure BDA0002603430730000152
获取自然属性的特征值R,确定自然属性与所述第一解析影像的第二关联值:
Figure BDA0002603430730000153
所述Rl表示第l个自然属性的特征值;l=1,2,3,·····N;
获取社会属性的特征值H,确定自然属性与所述第一解析影像的第三关联值:
Figure BDA0002603430730000154
Figure BDA0002603430730000155
其中,所述hc表示社会属性中第c个本地属性的特征值;所述kd表示社会属性中第d个目的属性的特征值;Hcd表示第c个本地属性下的第d个目的属性的特征值;c=1,2,3·····C;d=1,2,3,·····D;
根据所述第一关联值、第二关联值和第三关联值,确定匹配值P:
Figure BDA0002603430730000161
其中,
Figure BDA0002603430730000162
表示所述第一关联值、第二关联值和第三关联值的均值;
当所述P=1,表示若匹配吻合,验证无误,确定目标解析影像;
当P≠1,表示匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像。
上述技术方案的有益效果在于:本发明首先确定以第一解析影像的帧向量,即第一解析影像的特征值向量。在帧向量确定后,本发明通过分别确定几何位置、自然属性、社会属性与第一解析影像的关联值,将几何位置、自然属性、社会属性等影响因素代入第一解析影像,然后通过第一关联值、第二关联值和第三关联值的匹配值,确定最终的匹配值,从而判断得到第一解析影像的状态。
作为本发明的一种实施例,所述分析误差原因,进行相应地修正,包括:
基于所述深度残差全卷积网络,确定所述目标解析影像的本质空间特征;目标解析影响的本质空间特征是带有损失值(也表示误差值)的空间特征。
基于所述影像解译样本库,预测所述目标解析影像的本质空间特征;影像解译样本库中有大量的数据,因此可以训练预测最终得到的无误差的目标解析影像的本质空间特征。
将所述标解析影像的本质空间特征和预测的目标解析影像的本质空间特征进行对比,确定第一损失比;
根据所述第一损失比,设置第一阈值;
在训练完成的残差全卷积网络网络模型引入第一阈值,将所述目标解析影像的本质空间特征代入训练完成的残差全卷积网络模型进行解译修正。基于两种误差之间的损失值,设置损失阈值,损失阈值是一个具有上限或下限的范围阈值,然后将范围法制引入训练完成的残差全卷积网络网络模型,得到没有损失值的网络模型,通过没有损失值的网络模型进行训练修正,确定最终的解析图像。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于,包括:
获取历史影像和矢量数据,构建影像解译样本库;
构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像;
基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像。
2.根据权利要求1所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述获取历史影像和矢量数据,构建影像解译样本库,包括:
获取测绘数据,确定DOM数据和DLG数据;
根据所述DOM数据,获取历史影像;
根据所述DLG数据,获取矢量数据;
确定所述历史影像和矢量数据的掩膜,并在地理坐标上将所述掩膜与预设的地理要素进行对齐;其中,
所述地理要素与掩膜的类别相对应;
根据所述地理坐标,标注所述地理要素;其中,
当所述地理要素存在重叠现象时,对所述地理要素进行多类标注;
当所述地理要素存在重叠现象,并进行拓扑检查时,根据所述地理要素的类别优先级,进行唯一标注;
当所述地理坐标被标注后,将所述历史影像和掩膜裁剪为影像块;其中,
所述影像块与掩膜一一对应;
将所述影像块输入深度学习模型,确定影像解译样本库。
3.根据权利要求1所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,包括:
获取测绘数据,确定不同分辨率遥感影像;
构建深度残差卷积神经网络模型和特征编码器,并配置多层的非线性残差运算单元,根据多层的非线性残差运算单元,抽取不同分辨率遥感影像的本质空间特征;
将所述不同分辨率遥感影像的本质空间特征进行特征级可微分融合,确定融合特征;
根据所述融合特征,使用影像解译样本库训练深度残差全卷积网络模型,并利用梯度下降算法收敛损失值;
利用训练完成的残差全卷积网络网络模型进行影像解译,生成第一解析影像。
4.根据权利要求3所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述利用梯度下降算法收敛损失值,包括:
根据所述融合特征,确定每个融合特征的数量场Si(xi,yi,zi);
根据所述数量场,确定所述融合特征的梯度向量
Figure FDA0002603430720000021
其中,所述
Figure FDA0002603430720000023
所述Ti表示第i个融合特征的梯度向量;
获取所述影像解译样本库的影像特征集合
Figure FDA0002603430720000024
Figure FDA0002603430720000025
所述aj表示影像解译样本库的第j个影像特征;
确定所述梯度向量在收敛过程中的贡献度:
Figure FDA0002603430720000022
根据所述贡献度,确定贡献百分值,并基于所述贡献百分值,确定损失值。
5.根据权利要求1所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述构建深度残差全卷积网络,通过影像解译样本库对所述深度残差全卷积网络进行训练,确定第一解析影像,还包括:
基于预设的深度学习框架,构建层次化结构的高性能自动化影像解译系统;其中,
所述高性能自动化影像解译系统包括:界面层、业务层、数据处理层、数据库层和底层运行层;
所述数据库层采用并行存储服务器存储历史影像和矢量数据;
根据所述高性能自动化影像解译系统,将所述历史影像和矢量数据处理为二进制数据;
基于预设的多项式误差衰减学习策略微调学习率,确定所述二进制数据的水平翻转和垂直翻转的增强数据;
将所述增强数据通过正则化方法处理,确定第一解析影像。
6.根据权利要求1所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,包括:
获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,并作为第二解析影像;其中,
所述第二解析影像包括位置信息和分类要素信息;
将所述第一解析影像做为基底,融合所述位置信息和分类要素信息,判断分类结果是否正确,并进行调整,生成融合时空大数据后的目标解析影像。
7.根据权利要求6所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述获取时空大数据,进行分析挖掘,确定时空大数据分析挖掘结果,包括:
根据所述历史影像和矢量数据,确定时空大数据;其中,
所述时空大数据包括物联网传感器、互联网数据、电信信令数据;
基于所述影像解译样本库,对所述时空大数据的数据进行挖掘,确定第一目标数据;
基于数据分类和解译目标,对所述第一目标数据进行分析筛选,确定时空大数据。
8.根据权利要求1所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化,确定目标解析影像,还包括:
根据所述时空大数据,确定几何位置、自然属性、社会属性;
将所述几何位置、自然属性、社会属性与所述目标解析影像匹配;其中,
若匹配吻合,验证无误,表示目标解析影像;
如果匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像,其中
所述误差原因包括:地表变化误差或解译误差。
9.根据权利要求8所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述将所述几何位置、自然属性、社会属性与目标解析影像匹配,包括:
确定以第一解析影像的帧向量:
Figure FDA0002603430720000051
其中,
所述Wb表示第b帧第一解析影像的特征值;所述W第一解析影像的特征均值;
Figure FDA0002603430720000058
获取几何位置坐标集合JI(XI,YI),确定几何位置与所述第一解析影像的第一关联值:
Figure FDA0002603430720000052
获取自然属性的特征值R,确定自然属性与所述第一解析影像的第二关联值:
Figure FDA0002603430720000053
所述Rl表示第l个自然属性的特征值;l=1,2,3,.....N;
获取社会属性的特征值H,确定自然属性与所述第一解析影像的第三关联值:
Figure FDA0002603430720000054
Figure FDA0002603430720000055
其中,所述hc表示社会属性中第c个本地属性的特征值;所述kd表示社会属性中第d个目的属性的特征值;Hcd表示第c个本地属性的第d个目的属性的特征值;
Figure FDA0002603430720000059
d=1,2,3,.....D;
根据所述第一关联值、第二关联值和第三关联值,确定匹配值P:
Figure FDA0002603430720000056
其中,
Figure FDA0002603430720000057
表示所述第一关联值、第二关联值和第三关联值的均值;
当所述P=1,表示匹配吻合,验证无误,确定目标解析影像;
当P≠1,表示匹配不吻合,分析误差原因,进行相应地修正,并确定目标解析影像。
10.根据权利要求8所述的一种融合人工智能技术和大数据的多源影像自动解译方法,其特征在于:所述分析误差原因,进行相应地修正,包括:
基于所述深度残差全卷积网络,确定所述目标解析影像的本质空间特征;
基于所述影像解译样本库,预测所述目标解析影像的本质空间特征;
将所述标解析影像的本质空间特征和预测的目标解析影像的本质空间特征进行对比,确定第一损失比;
根据所述第一损失比,设置第一阈值;
在训练完成的残差全卷积网络网络模型引入第一阈值,将所述目标解析影像的本质空间特征代入训练完成的残差全卷积网络模型进行解译修正。
CN202010731313.XA 2020-07-27 2020-07-27 一种融合人工智能技术和大数据的多源影像自动解译方法 Active CN111881976B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110052257.1A CN112836728B (zh) 2020-07-27 2020-07-27 一种基于深度训练模型和影像解译样本库的影像解译方法
CN202010731313.XA CN111881976B (zh) 2020-07-27 2020-07-27 一种融合人工智能技术和大数据的多源影像自动解译方法
CN202110052234.0A CN112836727B (zh) 2020-07-27 2020-07-27 一种基于时空大数据挖掘分析技术的影像解译优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010731313.XA CN111881976B (zh) 2020-07-27 2020-07-27 一种融合人工智能技术和大数据的多源影像自动解译方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110052234.0A Division CN112836727B (zh) 2020-07-27 2020-07-27 一种基于时空大数据挖掘分析技术的影像解译优化方法
CN202110052257.1A Division CN112836728B (zh) 2020-07-27 2020-07-27 一种基于深度训练模型和影像解译样本库的影像解译方法

Publications (2)

Publication Number Publication Date
CN111881976A true CN111881976A (zh) 2020-11-03
CN111881976B CN111881976B (zh) 2021-02-09

Family

ID=73200648

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010731313.XA Active CN111881976B (zh) 2020-07-27 2020-07-27 一种融合人工智能技术和大数据的多源影像自动解译方法
CN202110052257.1A Active CN112836728B (zh) 2020-07-27 2020-07-27 一种基于深度训练模型和影像解译样本库的影像解译方法
CN202110052234.0A Active CN112836727B (zh) 2020-07-27 2020-07-27 一种基于时空大数据挖掘分析技术的影像解译优化方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202110052257.1A Active CN112836728B (zh) 2020-07-27 2020-07-27 一种基于深度训练模型和影像解译样本库的影像解译方法
CN202110052234.0A Active CN112836727B (zh) 2020-07-27 2020-07-27 一种基于时空大数据挖掘分析技术的影像解译优化方法

Country Status (1)

Country Link
CN (3) CN111881976B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508832A (zh) * 2020-12-03 2021-03-16 中国矿业大学 一种面向对象的遥感影像数据时空融合方法、系统及设备
CN113362287A (zh) * 2021-05-24 2021-09-07 江苏星月测绘科技股份有限公司 一种人机协同的遥感影像智能解译方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392486A (zh) * 2023-12-12 2024-01-12 湖北珞珈实验室 自然资源要素样本库的构建方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108832986A (zh) * 2018-05-20 2018-11-16 北京工业大学 一种基于天地一体化的多源数据管控平台
CN109635828A (zh) * 2018-12-25 2019-04-16 国家测绘地理信息局第六地形测量队 一种生态保护红线区典型地理国情要素提取系统及方法
CN109784237A (zh) * 2018-12-29 2019-05-21 北京航天云路有限公司 基于迁移学习的残差网络训练的场景分类方法
CN110516101A (zh) * 2019-08-21 2019-11-29 湖北泰龙互联通信股份有限公司 一种基于大数据挖掘的林业一张图建立方法及装置
CN110826689A (zh) * 2019-09-30 2020-02-21 中国地质大学(武汉) 一种基于深度学习的预测县级单位时序gdp的方法
CN111178304A (zh) * 2019-12-31 2020-05-19 江苏省测绘研究所 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN111242028A (zh) * 2020-01-13 2020-06-05 北京工业大学 基于U-Net的遥感图像地物分割方法
AU2020100708A4 (en) * 2020-05-05 2020-06-18 Li, Wenjun Miss A prediction method of defaulters of bank loans based on big data mining

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289910B1 (en) * 2014-07-10 2019-05-14 Hrl Laboratories, Llc System and method for performing real-time video object recognition utilizing convolutional neural networks
CN108876754A (zh) * 2018-05-31 2018-11-23 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的遥感图像缺失数据重建方法
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统
CN110059758B (zh) * 2019-04-24 2020-07-10 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110287932B (zh) * 2019-07-02 2021-04-13 中国科学院空天信息创新研究院 基于深度学习图像语义分割的道路阻断信息提取方法
CN111325771B (zh) * 2020-02-17 2022-02-01 武汉大学 基于影像融合框架的高分辨率遥感影像变化检测方法
CN111368896B (zh) * 2020-02-28 2023-07-18 南京信息工程大学 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108832986A (zh) * 2018-05-20 2018-11-16 北京工业大学 一种基于天地一体化的多源数据管控平台
CN109635828A (zh) * 2018-12-25 2019-04-16 国家测绘地理信息局第六地形测量队 一种生态保护红线区典型地理国情要素提取系统及方法
CN109784237A (zh) * 2018-12-29 2019-05-21 北京航天云路有限公司 基于迁移学习的残差网络训练的场景分类方法
CN110516101A (zh) * 2019-08-21 2019-11-29 湖北泰龙互联通信股份有限公司 一种基于大数据挖掘的林业一张图建立方法及装置
CN110826689A (zh) * 2019-09-30 2020-02-21 中国地质大学(武汉) 一种基于深度学习的预测县级单位时序gdp的方法
CN111178304A (zh) * 2019-12-31 2020-05-19 江苏省测绘研究所 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN111242028A (zh) * 2020-01-13 2020-06-05 北京工业大学 基于U-Net的遥感图像地物分割方法
AU2020100708A4 (en) * 2020-05-05 2020-06-18 Li, Wenjun Miss A prediction method of defaulters of bank loans based on big data mining

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
???111: "深度学习高遥感影像语义分割", 《HTTPS://BLOG.CSDN.NET/WEIXIN_30470643/ARTICLE/DETAILS/95207304》 *
XINGDONG DENG等: "Geospatial Big Data: New Paradigm of Remote Sensing Applications", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
YANG ZHANG等: "TransLand: An Adversarial Transfer Learning Approach for Migratable Urban Land Usage Classification using Remote Sensing", 《2019 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》 *
党宇: "基于卷积神经网络的地表覆盖分类自动质量评价方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王哲: "区域卷积神经网络和生成对抗模型在遥感图像解译中的应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
蔡烁等: "基于深度卷积网络的高分遥感图像语义分割", 《信号处理》 *
虾神DAXIALU: "大数据之:影像提取中深度学习样本库获取的思考", 《HTTPS://BLOG.CSDN.NET/ALLENLU2008/ARTICLE/DETAILS/78112330?LOCATIONNUM=1&FPS=1》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508832A (zh) * 2020-12-03 2021-03-16 中国矿业大学 一种面向对象的遥感影像数据时空融合方法、系统及设备
CN112508832B (zh) * 2020-12-03 2024-02-13 中国矿业大学 一种面向对象的遥感影像数据时空融合方法、系统及设备
CN113362287A (zh) * 2021-05-24 2021-09-07 江苏星月测绘科技股份有限公司 一种人机协同的遥感影像智能解译方法
CN113362287B (zh) * 2021-05-24 2022-02-01 江苏星月测绘科技股份有限公司 一种人机协同的遥感影像智能解译方法

Also Published As

Publication number Publication date
CN112836728A (zh) 2021-05-25
CN112836728B (zh) 2021-12-28
CN111881976B (zh) 2021-02-09
CN112836727A (zh) 2021-05-25
CN112836727B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111881976B (zh) 一种融合人工智能技术和大数据的多源影像自动解译方法
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Hengl et al. Supervised Landform Classification to Enhance and Replace Photo‐Interpretation in Semi‐Detailed Soil Survey
CN109190481B (zh) 一种遥感影像道路材质提取方法和系统
CN110110682B (zh) 遥感图像的语义立体重构方法
CN111160127B (zh) 一种基于深度卷积神经网络模型的遥感影像处理及检测方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
US20230358533A1 (en) Instance segmentation imaging system
CN113505842B (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN115471467A (zh) 一种高分辨率光学遥感影像建筑物变化检测方法
CN110929621B (zh) 一种基于拓扑信息细化的道路提取方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN112001293A (zh) 结合多尺度信息和编解码网络的遥感影像地物分类方法
CN114943965A (zh) 基于课程学习的无监督域自适应遥感图像语义分割方法
CN114067245A (zh) 一种铁路外部环境隐患识别方法及系统
CN112767244B (zh) 一种高分辨率地表要素无缝感知方法与系统
US20220092368A1 (en) Semantic segmentation method and system for remote sensing image fusing gis data
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN113128559A (zh) 基于跨尺度特征融合金字塔网络的遥感图像目标检测方法
Yang et al. Three-dimensional structure determination of grade-separated road intersections from crowdsourced trajectories
Luo et al. Recognition and Extraction of Blue-roofed Houses in Remote Sensing Images based on Improved Mask-RCNN
Sun et al. Check dam extraction from remote sensing images using deep learning and geospatial analysis: A case study in the Yanhe River Basin of the Loess Plateau, China
Zachar et al. Cenagis-Als Benchmark-New Proposal for Dense ALS Benchmark Based on the Review of Datasets and Benchmarks for 3d Point Cloud Segmentation
Kasemsuppakorn Methodology and algorithms for pedestrian network construction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant