CN114996488A - 一种天网大数据决策级融合方法 - Google Patents

一种天网大数据决策级融合方法 Download PDF

Info

Publication number
CN114996488A
CN114996488A CN202210941870.3A CN202210941870A CN114996488A CN 114996488 A CN114996488 A CN 114996488A CN 202210941870 A CN202210941870 A CN 202210941870A CN 114996488 A CN114996488 A CN 114996488A
Authority
CN
China
Prior art keywords
data
skynet
big data
image
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210941870.3A
Other languages
English (en)
Other versions
CN114996488B (zh
Inventor
梁斯东
杨晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Daoda Tianji Technology Co ltd
Original Assignee
Beijing Daoda Tianji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Daoda Tianji Technology Co ltd filed Critical Beijing Daoda Tianji Technology Co ltd
Priority to CN202210941870.3A priority Critical patent/CN114996488B/zh
Publication of CN114996488A publication Critical patent/CN114996488A/zh
Application granted granted Critical
Publication of CN114996488B publication Critical patent/CN114996488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种天网大数据决策级融合方法，包括步骤：对遥感图像进行图像数据语义化处理；所述语义化处理包括对遥感图像进行语义分割，得到图像语义分割图，提取图像语义分割图高保真三维信息；对开源数据进行时空化处理；基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合；对融合的天网大数据进行混合多态存储管理；对天网大数据进行空间、时间、专题的三屏联动可视化。本发明的目的在于融合天基监测数据与网络开源数据，获得高时效高价值的数据信息。

Description

一种天网大数据决策级融合方法
技术领域
本发明涉及技术领域，特别涉及一种天网大数据决策级融合方法。
背景技术
随着高分辨率遥感影像对地观测的深入实施，极大的提升了成像监测能力，带动数据分析、人工智能、高性能计算等技术在图像数据分析中的全面应用。同时，随着公众号、头条和论坛等平台的广泛使用，必须一改开源数据研究处于被动和零散的状态，自主开展开源数据研究活动。但是，天基监测数据与网络开源数据未形成有效融合与协同，天网大数据（即天基监测数据和网络开源数据）综合效益未发掘和发挥。其中，“天”是指通过航天/航空/无人机传感器获取的图像、位置等对地观测数据进行分析获得的数据；“网”是指对在互联网中流转、存储的各类公开发布的多媒体数据进行分析获得的数据。天网大数据具备几乎不受限制的数据采集能力，并蕴含丰富的高时效高价值数据信息。同时，天网大数据也存在数据量巨大、信息冗余且复杂、处理与分析技术难度大等现实挑战。
发明内容
本发明的目的在于融合天基监测数据与网络开源数据，获得高时效高价值的数据信息，提供一种天网大数据决策级融合方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
一种天网大数据决策级融合方法，包括以下步骤：
步骤S1，对遥感图像进行图像数据语义化处理；所述语义化处理包括对遥感图像进行语义分割，得到图像语义分割图，提取图像语义分割图高保真三维信息；
步骤S2，对开源数据进行时空化处理；
步骤S3，基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合；
步骤S4，对融合的天网大数据进行混合多态存储管理；
步骤S5，对天网大数据进行空间、时间、专题的三屏联动可视化。
所述步骤S1中对遥感图像进行语义分割，得到图像语义分割图的步骤，包括：
使用图像语义分割模型对遥感图像进行语义分割，得到图像语义分割图；所述图像语义分割模型包括编码器、解码器，所述编码器包括深度卷积神经模块、特征图切分模块、空洞空间金字塔池化模块；
所述深度卷积神经模块用于提取遥感图像的基础特征图，当基础特征图的分辨率下降到1/16大小时，输入特征图切分模块；所述特征图切分模块对1/16分辨率的基础特征图进行切分，得到多个尺度相同的切分特征图，提取各个切分特征图中局部区域内的纹理特征，再将提取了纹理特征的各个切分特征图进行对应位置拼接，输出至所述解码器；
所述深度卷积神经模块提取的遥感图像的基础特征图输入到空洞空间金字塔池化模块中，空洞空间金字塔池化模块捕获基础特征图的上下文内容信息；所述空洞空间金字塔池化模块采用空洞率为6、12、18的空洞卷积序列，以及1*1大小的卷积核得到具有上下文信息的特征图输出张量；
所述解码器采用双线性插植对空洞空间金字塔池化模块输出的特征图进行2倍上采样后与特征图切分模块输出的拼接后的特征图进行融合，采用一个或多个3*3大小的深度可分离卷积核重新定义特征，输出与遥感图像尺度相同的图像语义分割图。
所述步骤S1中提取图像语义分割图高保真三维信息的步骤，包括：
使用分型网络算法对图像语义分割图进行分割，将分割后的各类子区域输入训练好的神经网络模型中进行识别分类；分类结果属于地面区域的子区域定义为修正区域，其他区域定义为非修正区域，对非修正区域通过平滑滤波生成其对应的数字高程模型；
选取各个修正区域向外延伸距离为D的区间为修正区域的训练样本，基于训练样本对修正区域的高程曲面进行拟合，生成修正区域对应的数字高程模型；
修正区域的数字高程模型和非修正区域的数字高程模型共同构成完整的高保真三维信息。
所述步骤S2中对开源数据进行时空化处理的步骤，包括：
从互联网获取开源数据，对开源数据进行预处理，得到文本数据；所述预处理包括中文分词及词性标注、命名实体识别、关键词抽取、文本自动分类；
对文本数据进行空间化处理，所述空间化处理包括地理实体识别、地理实体定位、地理实体属性抽取、地理实体关系抽取和地理事件抽取，以构建语义地理网，所述语义地理网包括语义关系表、空间关系表、属性表。
步骤S3中所述基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合的步骤，包括：
建立天网大数据关联关系，所述关联关系包括时空关联关系、对象关联关系、内容关联关系；
基于天网大数据关联关系，构建天网大数据时空图谱；
基于天网大数据时空图谱进行天网大数据自适应分析，根据模板文档解析场景模型，生成场景模型唯一对应的用户意图。
所述构建天网大数据时空图谱的步骤，包括：
基于汇集的多源遥感卫星数据和互联网公开来源信息数据，进行目标知识实体抽取；
通过面向关注目标的全源信息的知识融合方法进行目标知识实体链接；
对异构知识进行统一表达与推理计算；
通过关注目标领域时空图谱进行自适应增量更新；
基于面向关注目标相关时空图谱应用的图分析引擎对目标图进行分析。
与现有技术相比，本发明的有益效果：
（1）本发明提出天网大数据的融合方法，从数据时空对准、决策融合和大数据挖掘等基础问题出发，基于时空数据语义化、语义数据时空化的核心思想，构建天网大数据决策级融合分析技术体系，并对相关技术要点进行研究，采用“大数据、智能化”的方法深入挖掘多维度天网大数据，力求构建全网覆盖的天网大数据获取与分析能力。
（2）本发明基于深度学习的图像语义分割技术实现图像信息的语义化，改造卷积神经网络结构，构建一个深层的网络模型，并挖掘目标深层抽象的特征，这种方式优于传统语义分割的精度，能够形成高精度的图像分割数据产品；同时，通过自然语言技术提取地理位置信息，即从自然语言描述的网络文本数据中识别表达空间位置的参照命名实体，建立实体之间的语义和空间关联，发现和填充与地理实体相关的空间位置、属性信息和事件；通过将开源信息空间化对象与遥感目标检测识别结果建立关联，实现“影像-目标-对象”的时空图谱组织。
（3）本发明基于天基数据和开源数据，智能化动态筛选重要信息点，自动跟踪关注的重点人物、车辆、建筑物、飞机和舰船等目标的网络开源信息，构建天网大数据决策级融合理论与方法体系，实现以网查天、以天查网，相互印证的大数据分析与挖掘的理论方法体系，创新天网协同应用业务模式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明融合方法流程图；
图2为本发明实施例步骤S1的流程图；
图3为本发明实施例图像语义分割模型的结构示意图；
图4为本发明实施例选取训练样本示意图；
图5为本发明实施例文本数据进行地理信息识别抽取的流程图；
图6为本发明实施例步骤S2的流程图；
图7为本发明实施例步骤S3的流程图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实施例1：
本发明通过下述技术方案实现，如图1所示，一种天网大数据决策级融合方法，包括以下步骤：
步骤S1，对遥感图像进行图像数据语义化处理；所述语义化处理包括对遥感图像进行语义分割，得到图像语义分割图，提取图像语义分割图高保真三维信息。
基于遥感影像数据的语义化主要对以图像为对象，以知识为核心，研究图像中哪个位置有什么样的目标、目标场景之间的相互关系、图像表现了什么场景等问题，图像内容描述具有“像素-目标-区域-场景”的层次包含关系，能将完整的图像内容转换成可直观理解的类文本语言表达。图像信息语义化利用深度学习、迁移学习、高性能计算等技术手段，进行图像语义信息挖掘，主要针对卫星/航空飞机/无人机等立体观测获取的高分辨率遥感影像进行地物要素分割、三维地形信息提取、区域增量更新等技术内容。基于超海量影像数据开展高分辨率影像语义理解，是对图像的像素级描述，赋予了特定像素类别意义，同时作为实现决策级融合的基础过程，能够为天网大数据决策级融合提供强有力支撑，请参见图2，步骤S1主要过程包括以下步骤：
（1）使用图像语义分割模型对遥感图像进行语义分割，得到图像语义分割图；所述图像语义分割模型包括编码器、解码器，所述编码器由深度卷积神经模块、特征图切分模块、空洞空间金字塔池化模块组成。
深度卷积神经网络(DCNNs)针对图像提取的特征具有平移不变性，这种平移不变性能很好地帮助模型对图像中不同位置的目标进行特征提取，但是这种平移不变性对物体的空间位置敏感性不强，因此会导致语义分割任务中的空间位置信息丢失，然而在语义分割任务中需要准确的位置信息来定位分类目标的位置。
针对遥感图像中的目标，深度卷积神经网络不容易提取出其语义信息，难以获得较好的语义分割效果。因此本步骤提出一种基于DeepLab v3+的改进型图像语义分割模型，所述图像语义分割模型的结构如图3所示。所述图像语义分割模型包括编码器、解码器，所述编码器包括深度卷积神经模块、特征图切分模块、空洞空间金字塔池化模块。
首先将输入的遥感图像尺寸大小调整为320*320，在编码器部分，采用深度卷积神经模块来提取特征图，所述深度卷积神经模块由三层卷积层和三层倒置残差层依次连接组成。倒置残差层中使用深度可分离卷积代替普通卷积，第一层倒置残差层输入的特征图分辨率下降到输入遥感图像的1/16大小时，在最后一个倒置残差层中引入空洞卷积，空洞卷积能提高卷积核对特征图的感受野。
使用特征图切分模块对第三层卷积层输出的1/16分辨率的特征图进行切分，得到多个切分特征图，然后将各个切分特征图放大到切分之前的大小后，通过参数共享的方式提取多尺度特征，目的是让图像语义分割模型能够更好的提取特征切分后局部区域内小目标物体的特征。最后将每个提取了多尺度纹理特征的切分特征图进行对应位置拼接，后续再将拼接后的特征图和解码器阶段中相同尺寸的特征图进行融合。
深度卷积神经模块中最后一个倒置残差层输出的特征图继续输入到空洞空间金字塔池化模块中，用于捕获遥感图像多尺度的上下文内容信息，在空洞空间金字塔池化模块中采用空洞率为6、12、18的空洞卷积序列，然后用1*1卷积得到目标特征图的输出张量。
在解码器部分采用双线性插植进行2倍上采样，然后与编码器中特征图切分模块输出的特征图进行融合，再进行几个3*3的深度可分离卷积重新定义特征，最后采用双线性插植进行上采样，输出与输入遥感图像尺度相同的图像语义分割图。
（2）基于数字高程模型提取图像语义分割图的高保真三维信息。
传统的数字高程模型(DEM)生成往往采用区域网平差后模型计算密集点位内插平滑滤波生成，生产的数字高程模型通常包含建筑、植被、农作物等非地面要素，三维地形上表现尤为明显。此外，由于部分区域无需进行滤波完成平滑操作，使用平滑滤波会产生过拟合现象。不分物体种类的使用统一的滤波方法对非地面要素进行处理，无法兼顾不同类别的地理特征，实际效果较差。
本步骤使用基于神经网络的地物提取后进行数字高程模型修补策略，由于针对性地对建筑、植被、农作物、路面等类别的高程进行修正，所以较好的完成了对非地面物体的修补。神经网络对于建筑、农作物、道路等的识别效果好，三维地形图表现光滑，接近人工后处理的结果。
具体来说，基于神经网络的地物提取后进行数字高程模型修补方法包括以下步骤：
a，使用分型网络算法建立数字高程模型修正区域：为提高效率和减少计算机负担，将图像语义分割图(DOM)划分为固定大小网格，采用分型网络算法(Fractal NetEvolution Approach，FNEA)按照网格将图像语义分割图分割为众多子区域。分割时首先在待分割区域任选一个像素为对象，将该像素的邻域中所有满足设定的异质性阈值的像素合并到一起，再以合并之后的区域为对象，继续搜寻其邻域中满足设定的异质性阈值的像素，再次合并，这样反复直到对象之间的异质性不满足设定的异质性阈值。设定的异质性阈值被称为尺度参数，当异质性阈值越大，则分割的对象面积越大，数量越少；异质性阈值较小时，则分割的对象面积越大，数量越大，可以设定不同的异质性阈值进而改变分割结果。
分型网络算法在计算异质性时，同时考虑了光谱异质性hcolour和空间异质性hshape，异质性f定义为：
Figure DEST_PATH_IMAGE001
其中，hcolour表示光谱异质性，hshape表示空间异质性，f表示异质性；wshape表示空间异质性权值；1-wshape表示光谱异质性权值，即wcolour，光谱异质性权值大小为用户定义，一般尽可能增加wcolour。
光谱异质性定义为：
Figure DEST_PATH_IMAGE002
其中，wk表示各光谱分量对光谱差异度的贡献权重，k表示光谱段数，m表示光谱段数总数；nmerge表示合并后区域对象的像素数量；nobj1、nobj2为合并之前的两个对象的像素数量；
Figure DEST_PATH_IMAGE003
表示合并后区域对象的标准差；
Figure DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
表示合并之前的两个对象的标准差。
空间异质性hshape分为紧致度hcmpt和光滑度hsmooth，分别定义为：
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
其中，hcmpt表示紧致度，hsmooth表示光滑度；wcmpt表示紧致度权值；Imerge表示合并后区域对象的周长；bmerge表示合并后区域对象外切矩形的周长；Iobj1、Iobj2表示合并之前的两个对象的周长；bobj1、bobj2表示合并之前的两个对象外切矩形的周长。
对图像语义分割图(DOM)进行分型网络算法分割，将分割后得到的各类子区域输入训练好的神经网络低空遥感分类模型（神经网络模型）中进行识别分类。将分类结果属于建筑、植被、农作物、路面等地面区域的子区域定义为修正区域，将其他区域定义为非修正区域，对于非修正区域通过平滑滤波生成非修正区域对应的数字高程模型。
b，选取修正区域的高程训练样本：修正区域高程的拟合精度与选取的训练样本有密切关系。本步骤选取的训练样本的高程数据点集定义在各个修正区域向外延伸距离为D的区间，为了获取较高的修正区域拟合精度，采用高差能力衰减函数JD来搜索各个修正区域的训练样本（关联高程数据点集），如图4所示，修正区域外接多边形至虚线部分为选取的训练样本区间。
高差能力衰减函数JD的表达式为：
Figure DEST_PATH_IMAGE009
其中，D为修正区域向外延伸的距离，m(D)为选取的训练样本的高程数据点集，即关联高程数据点集；hi表示第i个高程点的高程值。
第n次迭代搜索范围与n+1次迭代的关系表达式为：
Figure DEST_PATH_IMAGE010
其中，Dn表示第n次迭代搜索范围，Dn+1表示第n+1次迭代搜索范围；d表示设置的向外搜索距离步长，
Figure DEST_PATH_IMAGE011
表示灵敏度。
当高差能力衰减函数JD收敛时，迭代搜索结束，收敛条件为满足前后连续两次迭代搜索之差的绝对值在一个设定的阈值
Figure DEST_PATH_IMAGE012
内，表达式为：
Figure DEST_PATH_IMAGE013
当高差能力衰减函数JD收敛时，即前后连续两次迭代搜索结果变化趋于平滑，修正区域向外延伸的训练样本选取区间确定，关联高程数据点集可选取为训练样本。
c.基于训练样本对修正区域的高程曲面进行拟合：在进行修正区域的高程曲面拟合时，考虑到训练样本中可能存在粗差，粗差点会影响拟合的高程曲面精度。因此本步骤采用一种顾及粗差的径向神经网络高程曲面拟合方法，通过将关联高程数据点集得到的格网点高程映射到图像语义分割图的灰度值，同时采用高斯差分(DoG)极值检测法来探测粗差，再用最小二乘移动曲面拟合法修正粗差，最后通过径向基函数(RBF)对修正粗差之后的关联高程数据点集拟合，得到修正区域的数字高程模型。修正区域的数字高程模型和非修正区域的数字高程模型共同构成完整的高保真三维信息。
步骤S2，对开源数据进行时空化处理。
互联网中开源信息种类日趋丰富，数据量迅速扩张，通过自然语言处理、文本翻译、OCR文字识别等技术实现开源数据清洗及空间化处理，为天网大数据决策级融合提供了丰富的数据来源。请参见图6，步骤S2主要包括以下步骤：
（1）从互联网获取开源数据，对开源数据进行预处理，得到文本数据；所述预处理包括中文分词及词性标注、命名实体识别、关键词抽取、文本自动分类。
从互联网获取的开源数据种类繁杂，根据其表现形式大致可分为图像、文本、视频、音频四大类。处理过程主要依托OCR文字识别、语言翻译、自然语言处理等技术手段，完成图像文字识别、词法分析、语义分析、语用分析等工作。随着深度学习的发展，基于机器学习的自然语言处理技术逐渐成熟并获得工业应用，能够为实现天网大数据决策级融合提供高可用的技术手段。
具体来说，基于机器学习的自然语言对开源数据预处理具体包括以下步骤：
a.基于机器学习的中文分词及词性标注，形成命名实体语料库：从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合频率进行统计，计算它们的互现信息，互现信息体现了字之间结合关系的紧密程度，当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需要对语料中的字组频率进行统计，不需要切分词典。但这种方法也有一定的局限性，会经常抽出一些共现频率高，但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词都要使用基本的分词词典进行串匹配分词，同时使用统计方法识别一些新的词，将串频统计和串匹配结合起来，发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。
b.基于深度学习对命名实体语料库中的词进行命名实体识别：传统的命名实体识别(NER)处理算法是条件随机场(CRF)，常用于标注或分析序列资料，实现给定一系列的特征去预测每个词的标签，通常特征是词性，如名词、动词等。但还是需要根据不同的场景去人工的抽取更多的特征来完成学习。因此，本步骤利用爬虫获取海量数据解决训练集有限的问题，并融合深度学习的方法将文本词转换为词向量的相似性比较，达到了良好的命名实体识别的效果。同时，还进一步支持对实体词库的编辑修改，支持用户在特定场景下的进一步优化。
c.基于机器学习从识别的命名实体中抽取关键词，形成摘要：基于规则与统计相结合的方式，从非结构的文本信息中抽取有意义的事实信息，被抽取的事实信息以结构化的形式描述，可以存入结构化数据库中。同时，通过机器学习已经标记好的语料库获取规则，经训练后能处理没有见过的新文本。统计方法主要是针对命名实体语料库来训练某个字作为命名实体组成部分的概率值，并用它们来计算某个候选字段作为命名实体的概率，其中概率值大于一定阈值的字段为识别出的命名实体。
d.根据摘要对文本进行自动分类：基于支持向量机算法(SVM)、分布式梯度提升算法(xgboost)对文本进行自动分类，对有类别标签的数据进行训练，然后对测试文本赋予新指定的类别，将各类别信息按照一定的分类体系进行分类调整，从而大大提高了用户搜集信息。
（2）对文本数据进行空间化处理。
开源数据空间化主要完成地理实体识别和空间关系识别，即通过自然语言技术提取地理位置信息，即从自然语言描述的网络文本数据中识别表达空间位置的参照命名实体，建立实体之间的语义和空间关联，发现和填充与地理实体相关的空间位置、属性信息和事件。通过将开源数据空间化对象与遥感图像目标检测识别结果建立关联，实现“影像-目标-对象”的组织，为天网大数据的融合分析奠定基础。
基于文本数据进行地理信息识别抽取的主要流程包括：地理实体识别、地理实体定位（定位后地名名称消歧、模糊区域建模）、地理实体属性抽取、地理实体关系抽取和地理事件抽取，最终为构建语义地理网提供基础数据，如图5所示，所述语义地理网包括语义关系表、空间关系表、属性表。
步骤S3，基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合。
基于步骤S1的图像数据语义化和步骤S2开源数据时空化，在通过不同类型的传感器观测同一个目标的海量多源天网大数据，每项数据在本地完成基本处理，其中包括预处理、特征抽取、识别或判决，以建立对所观测目标的初步结论，然后进行图谱分析、关联分析、时空分析和自适应分析等信息融合分析，形成决策级融合数据，最终获得联合推断结果，以辅助决策者制定相关策略。请参见图7，步骤S3主要包括以下步骤：
（1）建立天网大数据关联关系，所述关联关系包括时空关联关系、对象关联关系、内容关联关系。
天网大数据关联关系存在多种不同的样式，关联关系建立主要有时空关联、对象关联和内容关联。按照统一的标准规范建立时空基准，能够基于数据采集的时间、空间建立事件发生的线索，不仅从底层的时间、空间维度建立关注对象与数据的关联，同时又从高层语义维度建立关注对象与数据间关联。关联关系能够从多个维度去刻画、描述、定义关注对象和数据的外延，还原时空数据和公开开源数据所在的环境，提升天网大数据的应用价值。
具体来说，天网大数据关联关系建立包括以下步骤：
a.建立天网大数据的时空关联关系。
基于实际需求抽取描述数据的关键属性作为天网大数据关联分析的基本逻辑，例如，可以把时间、空间作为关联数据的基本属性。单纯基于属性来进行天网大数据关联，当面对海量天网大数据时，存在结构过于简单的问题。为了解决这个问题，采用关联数据的方法把一部分天网大数据作为基础性数据，形成进一步关联其他海量天网大数据的数据框架，而开源数据则是基础性框架数据的有效来源。
采用基于统一时空基准的天网大数据关联是一种新的数据关联技术，这种数据关联在传统信息关联与目标关联的基础上，更加注重数据的时空挖掘，希望通过统一的时空基准来关联、组织海量数据。提取数据的时间、空间要素，并通过时间、空间关联关系对各种各源的天网大数据进行融合和聚类。
b.建立天网大数据的对象关联关系。
面向对象的天网大数据关联分析，要在数据内部以及数据之间进行基于内容的数据关联，首先完成两种数据的语义映射。无论是图像还是文字，被关注的内容主要是包含在其中的关注对象，所以本步骤以关注对象体系为语义概念集。对图像数据，结合产生式自动标注技术，以及图像中的人工标注，将其映射成关注对象的向量表示。对文字数据，用结合最大熵方法和规则的关注对象提取方式，同样将其映射成关注对象的向量表示，最终统一完成基于关注对象体系的数据表达。
c.建立天网大数据的内容关联关系。
面向内容的天网大数据关联分析，直接以数据包含的内容来关联数据。基于内容的关联技术主要需要用到文本分类和图像语义标注，现行的图像语义标注方法主要包括基于模型的标注和基于搜索的标注两种方法。基于模型的标注本质上是训练出一个基于统计学习或者图模型的多类分类器，为待标注图像进行分类。而基于搜索的方法假定用户拥有一些弱标注的图像作为先验知识，在与待标注的图像相似的图像的弱标注中寻找最优标注来完成待任务。本步骤图像语义标注方法采用基于搜索的标注，假定用户拥有一些弱标注的图像作为先验知识，在与待标注图像相似图像的弱标注中寻找最优标注来完成待任务。
（2）构建天网大数据时空图谱。
天网大数据时空图谱构建能够将数据与时间、空间关联到一起，表现的图谱信息随时间维度、空间维度而变化，其技术路线为：第一，基于汇集的多源遥感卫星数据和互联网公开来源信息数据，对其研究的目标进行相关知识实体抽取；第二，研究面向关注目标的全源信息的知识融合方法，如同命名实体的实体链接方法等；第三，研究关注目标领域时空图谱的增量更新技术；第四，研究关注目标领域时空图谱相关知识的分布式计算与分析；第五，研制面向关注目标相关时空图谱应用的图分析引擎；最终形成体系化的领域时空图谱构建内容。
具体来说，天网大数据时空图谱构建包括以下步骤：
a.基于汇集的多源遥感卫星数据和互联网公开来源信息数据，进行目标知识实体抽取。
本方案采用基于迭层膨胀卷积神经网络的复杂实体抽取方法进行复杂目标的实体抽取，通过对word2vec和CNN结合的分类方法进行改进，一是对于学习数据进行扩充，增加训练数据来源，以增强训练效果；二是对学习过程进行改进，提升学习性能，从而实现复杂目标知识的多样化精准抽取。
首先，在原始句子的词向量和位置向量特征的基础上引入各个类别的关键词特征，增加类别区分度，降低了数据集中other类的实例对其他类别的干扰。
其次，针对加权技术(TF-IDF)对短文本处理的不足，提出了以句子为对象的类别关键词抽取算法(term proportion–inverse sentence proportion,TP-ISP)，主要包括两个部分：第一部分，计算包含某个词的实例所占该类别实例的比重，根据比重来衡量该词的重要性；第二部分，计算包含该词的实例在其他类别中分布的稀疏性。
衡量一个词在该类别中重要程度的方法为：
Figure DEST_PATH_IMAGE014
其中，tpi,k表示该词在某个类别中的重要程度；ni,k表示在某个类别中包含该词的实例数；Nk表示该类别总的实例数；i表示文本中第i个词，k表示第k个类别。
计算一个词在多个类别中的分布情况：
Figure DEST_PATH_IMAGE015
其中，ispi表示该词在多个类别中的分布概率；
Figure DEST_PATH_IMAGE016
表示数据集中所有的实例数，
Figure DEST_PATH_IMAGE017
表示包含该词的实例数，结果加1防止分母为0。
则每个类别中每个词的tpisp值为：
Figure DEST_PATH_IMAGE018
其中，tpispi表示第i个词的tpisp值。
最后，在卷积神经网络过程中采取分段最大池化策略，减少了传统的最大池化策略对于信息的丢失问题。
b.通过面向关注目标的全源信息的知识融合方法进行目标知识实体链接。
目标知识实体链接利用已有知识库中的实体对知识抽取阶段获得的上下文中的数据相关实体指称词进行消歧的过程，得到的结果为每一个实体指称词在相关数据领域知识库中对应的映射。如果实体指称在该领域知识库中找不到对应的实体，则称其为“NIL实体”，实体链接还需要对NIL实体进行预测。通常一个完整的实体链接系统包括三个部分，候选实体生成、候选实体排序、NIL实体预测。为了降低实体链接的复杂度，对于每一个目标相关数据领域实体指称词，首先需要确定一个实体指称词有可能指向的实体集合。在候选实体排序阶段，将实体指称词和生成的候选实体按照匹配度进行排序，然后将匹配度最高的实体作为数据相关领域实体的链接结果。
本步骤的目标知识实体链接采用融合通用基础知识库和关注目标信息领域知识库进行时空图谱逻辑构建链接：首先，从在维基百科、百度百科等权威知识库系统中汇聚抽取知识库要素，得到通用基础图谱，这个通用时空图谱包含关注目标领域无关的常识性知识；然后，融合已掌握的全源信息要素，针对关注目标领域构建时空图谱，形成具有自演化能力的时空图谱逻辑结构；最后，通过若干相关时空图谱的更新规则，时空图谱能够感知外界数据的变化，实现知识的推断与预测。
c.对异构知识进行统一表达与推理计算。
采用面向关注目标知识的自适应性统一表达方法，对异构知识进行统一表达，保证知识表达模型的完备性和适应性。即在统一的向量空间，表达丰富多样的信息知识。首先，根据关注目标知识的分类及特性，制定知识表达方法选择规则；然后，通过知识表达方法选择规则，根据输入的目标知识信息进行自适应表达方法的选择；最后，建立不同知识表达方法直接的链接关系。
同时，本步骤采用局部自适应的知识图谱表达方式：天网大数据领域知识图谱表达与计算方面，考虑到不同目标的天网大数据相关实体和关系的两个知识图谱具有各自的局部性，采用局部自适应的知识图谱表达方式。具体地，改进最基础的转移模型，转移模型将三元组(头实体，关系，尾实体)中的关系看成尾头实体间的转移，认为知识图谱中的三元组需要满足这一假设，基于该假设得到全局损失函数。而局部自适应的知识图谱表达方式在转移模型的基础上，采用自适应的方式，根据知识图谱自身的知识，决定不同知识图谱各自的最优损失函数。
d.通过关注目标领域时空图谱进行自适应增量更新。
采用时空图谱自适应增量更新策略，即一种统一的基于依赖图模型（Interdependence Graph Model,IGM）的随机游走算法的联合推断（CollectiveInference,CI）方法。通过对该方法的改进，能够将同一知识语料文本中的实体、知识语料中实体之间的语义关系、知识图谱中的实体以及实体所属的分类和分类之间的相关关系用依赖图统一建模，利用实体之间的依赖关系，使同一语料中不同实体的更新结果达到最优。具体地说，联合推断方法将开放知识图谱的更新问题看作是分类问题进行求解。采用基于实体上下文的biterm模型的方式，利用实体的上下文信息计算知识语料中出现的实体与知识图谱中的实体之间的语义相容性，相比基于词的计算方式更为准确。同时考虑知识图谱中相关数据实体所属分类的之间可能存在的相关关系，使得知识语料中实体的分类信息更为准确。
e.基于面向关注目标相关时空图谱应用的图分析引擎对目标图进行分析。
在目标图计算引擎技术方面，采用列存数据库的矢量处理引擎结合图引擎，使用紧凑的数组表示全源情报数据，运用大量的CPU缓存优化与指令优化（如循环展开），数据库中嵌套结构与图的邻接表结构等价。将图算法注入SQL处理逻辑，与SQL引擎紧密结合，使用SQL进行全源情报信息数据预处理。将图算法结果导出为数据列，支持使用SQL进行数据后处理。可定义可变状态与不可变状态，所有的状态维护都由数据库完成。提供边集循环与点集循环算子，与内置图结构紧密结合，便于二次开发。
采用面向分析的图计算引擎方法，针对图计算引擎开发的查询引擎，可以与SQL查询引擎无缝对接，可进行交互式分析，能够访问数据库所有数据。查询引擎为图计算查询提供了统一的查询接口，针对不同的图算法可以使用不同的图算法函数，从而可以对图算法进行一次性、自动化的迭代计算，大大的提高了查询效率和性能，达到对千万级图节点计算的秒级响应，实现对关注的目标知识快速查询与分析。
（3）天网大数据自适应分析，根据模板文档解析场景模型，生成场景模型唯一对应的用户意图。
天网大数据自适应分析能够自动根据数据需求和用户意图进行解析，基于基础模型和应用模型，生成核心流程基础模块，实现精准联想、主动推荐用户所需各处理阶段应用模型。依托标准化数据建模、工作流模型注册、自适应任务调度，对自动化进行系统化管理，构建“模型-工作流”机制，实现自动处理任务的一键式处理。具体来说，自适应分析包括以下步骤：
a.场景模型生成。
分析每个模板文档解析出一个唯一的解析文件，生成相对应的唯一性用户意图和场景模型文件。
b.解析文件生成。
解析文件默认生命周期是72小时，超过72小时，解析文件及相应用户意图和场景文件会在用户访问天网大数据时重新生成。
c.用户意图理解。
场景模型解析流程中的应用模型融合并不是简单的交集或并集，而是融合了经验库和用户偏好后，对用户意图进行再理解。
步骤S4，对融合的天网大数据进行混合多态存储管理。
天网大数据混合多态存储管理是基于关系型、非关系型和文件系统数据库的基础上，在上层封装搜索引擎和图数据库。打通不同数据之间的隔阂，构建“时间-空间-关系”的数据模型，形成三维一体化存储与组织管理模型，实现空间数据、文本数据在分析与显示维度任意无缝切换。
（1）构建天网大数据的存储模型，所述存储模型包括关系型数据库、非关系型数据库、文件存储系统。
基于各类关系型数据库、非关系型数据库和文件存储系统，在上层封装图数据库和搜索引擎，通过采用天网大数据分类体系学习的建模技术，对海量多源异构天网大数据进行一体化存储与组织管理，增强数据之间关联性，实现天网大数据的“时间＋空间＋业务”三维一体化组织融合，帮助提高数据组织与挖掘的效率。
其中，结构化数据主要包括人、地、事、物、组织在内的具有二维属性的数据信息，采用关系型数据库进行存储，根据数据规模及业务需要选择采用Oracle、My SQL以及SQLServer等数据库。
半结构化数据具有一定的结构属性，但结构变化较大，不能单独用二维表表述也不能形成文件进行表述。该类数据可基于关系型数据库、非关系型数据库以及文件存储系统进行存储管理。
非结构化数据包括遥感卫星影像、图片、文本、网页、视频等在内的没有完整属性信息的数据。该类数据可结合文件存储系统和非关系型数据库进行存储管理。
（2）天网大数据一体化组织管理。
为了整合和组织海量多源天网大数据信息，满足信息挖掘和分析的应用目的，在统一时空基准框架下，以时空数据和互联网公开来源数据为支撑，以业务应用为出发点，建立数据之间的时空关系线索以及内容关联组织主题，形成覆盖时间、位置、范围以及属性特征的天网大数据集。以时空元素为主线，承载多行业/多应用领域数据，包括影像、矢量、地形、视频、文本、图片、音频等多种类型数据，构建“素材-对象-专题”的三层天网大数据一体化组织管理体系。
步骤S5，对天网大数据进行空间、时间、专题的三屏联动可视化。
由于天网大数据的获取手段不同，决定了天网大数据的多尺度性和多样性。多尺度性包括时间多尺度、空间多尺度，时间多尺度表现在获取数据的时间序列间距的不同；空间多尺度表现在数据测量的精度方面。多样性主要为天网大数据的品类多样性，包括影像、矢量、地形、3D产品、4D产品、文字、图像、视频和音频等多源数据集合而成。
为了将多尺度的天网大数据在可视化平台上快速的表达出来，通过对天网大数据特点的分析，构建基于场和特征的天网大数据时空动态可视化模型。将天网大数据描述为空间、时间、专题三个方面组成的空间对象，先将特征与场进行地理空间对象级的关联，再对地理空间实体进行时、空、属一体化关联，从而形成空间、时间、专题一体化的时空动态可视化模型。最终以三屏联动的方式，实现媒体、时空、知识图谱联合联动的动态展示。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种天网大数据决策级融合方法，其特征在于：包括以下步骤：
步骤S1，对遥感图像进行图像数据语义化处理；所述语义化处理包括对遥感图像进行语义分割，得到图像语义分割图，提取图像语义分割图高保真三维信息；
步骤S2，对开源数据进行时空化处理；
步骤S3，基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合；
步骤S4，对融合的天网大数据进行混合多态存储管理；
步骤S5，对天网大数据进行空间、时间、专题的三屏联动可视化。
2.根据权利要求1所述的一种天网大数据决策级融合方法，其特征在于：所述步骤S1中对遥感图像进行语义分割，得到图像语义分割图的步骤，包括：
使用图像语义分割模型对遥感图像进行语义分割，得到图像语义分割图；所述图像语义分割模型包括编码器、解码器，所述编码器包括深度卷积神经模块、特征图切分模块、空洞空间金字塔池化模块；
所述深度卷积神经模块用于提取遥感图像的基础特征图，当基础特征图的分辨率下降到1/16大小时，输入特征图切分模块；所述特征图切分模块对1/16分辨率的基础特征图进行切分，得到多个尺度相同的切分特征图，提取各个切分特征图中局部区域内的纹理特征，再将提取了纹理特征的各个切分特征图进行对应位置拼接，输出至所述解码器；
所述深度卷积神经模块提取的遥感图像的基础特征图输入到空洞空间金字塔池化模块中，空洞空间金字塔池化模块捕获基础特征图的上下文内容信息；所述空洞空间金字塔池化模块采用空洞率为6、12、18的空洞卷积序列，以及1*1大小的卷积核得到具有上下文信息的特征图输出张量；
所述解码器采用双线性插植对空洞空间金字塔池化模块输出的特征图进行2倍上采样后与特征图切分模块输出的拼接后的特征图进行融合，采用一个或多个3*3大小的深度可分离卷积核重新定义特征，输出与遥感图像尺度相同的图像语义分割图。
3.根据权利要求1所述的一种天网大数据决策级融合方法，其特征在于：所述步骤S1中提取图像语义分割图高保真三维信息的步骤，包括：
使用分型网络算法对图像语义分割图进行分割，将分割后的各类子区域输入训练好的神经网络模型中进行识别分类；分类结果属于地面区域的子区域定义为修正区域，其他区域定义为非修正区域，对非修正区域通过平滑滤波生成其对应的数字高程模型；
选取各个修正区域向外延伸距离为D的区间为修正区域的训练样本，基于训练样本对修正区域的高程曲面进行拟合，生成修正区域对应的数字高程模型；
修正区域的数字高程模型和非修正区域的数字高程模型共同构成完整的高保真三维信息。
4.根据权利要求1所述的一种天网大数据决策级融合方法，其特征在于：所述步骤S2中对开源数据进行时空化处理的步骤，包括：
从互联网获取开源数据，对开源数据进行预处理，得到文本数据；所述预处理包括中文分词及词性标注、命名实体识别、关键词抽取、文本自动分类；
对文本数据进行空间化处理，所述空间化处理包括地理实体识别、地理实体定位、地理实体属性抽取、地理实体关系抽取和地理事件抽取，以构建语义地理网，所述语义地理网包括语义关系表、空间关系表、属性表。
5.根据权利要求1所述的一种天网大数据决策级融合方法，其特征在于：步骤S3中所述基于图像数据语义化处理的遥感图像和时空化处理的开源数据，进行天网大数据融合的步骤，包括：
建立天网大数据关联关系，所述关联关系包括时空关联关系、对象关联关系、内容关联关系；
基于天网大数据关联关系，构建天网大数据时空图谱；
基于天网大数据时空图谱进行天网大数据自适应分析，根据模板文档解析场景模型，生成场景模型唯一对应的用户意图。
6.根据权利要求5所述的一种天网大数据决策级融合方法，其特征在于：所述构建天网大数据时空图谱的步骤，包括：
基于汇集的多源遥感卫星数据和互联网公开来源信息数据，进行目标知识实体抽取；
通过面向关注目标的全源信息的知识融合方法进行目标知识实体链接；
对异构知识进行统一表达与推理计算；
通过关注目标领域时空图谱进行自适应增量更新；
基于面向关注目标相关时空图谱应用的图分析引擎对目标图进行分析。
CN202210941870.3A 2022-08-08 2022-08-08 一种天网大数据决策级融合方法 Active CN114996488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210941870.3A CN114996488B (zh) 2022-08-08 2022-08-08 一种天网大数据决策级融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210941870.3A CN114996488B (zh) 2022-08-08 2022-08-08 一种天网大数据决策级融合方法

Publications (2)

Publication Number Publication Date
CN114996488A true CN114996488A (zh) 2022-09-02
CN114996488B CN114996488B (zh) 2022-10-25

Family

ID=83023043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210941870.3A Active CN114996488B (zh) 2022-08-08 2022-08-08 一种天网大数据决策级融合方法

Country Status (1)

Country Link
CN (1) CN114996488B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482466A (zh) * 2022-09-28 2022-12-16 广西壮族自治区自然资源遥感院 一种基于深度学习的三维模型植被区域轻量化处理方法
CN115565148A (zh) * 2022-11-09 2023-01-03 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置
CN115618098A (zh) * 2022-09-08 2023-01-17 淮阴工学院 基于知识增强与空洞卷积的冷链物流推荐方法及装置
CN115858519A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种dem平整方法和装置
CN116030057A (zh) * 2023-03-29 2023-04-28 中国电子科技集团公司第五十四研究所 一种基于注意力机制的遥感影像能见度估计方法
CN116825293A (zh) * 2023-08-25 2023-09-29 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN117370582A (zh) * 2023-11-02 2024-01-09 广州蓝图地理信息技术有限公司 基于多数据融合的自然资源要素三维实体化建模方法
CN117370582B (zh) * 2023-11-02 2024-06-04 广州蓝图地理信息技术有限公司 基于多数据融合的自然资源要素三维实体化建模方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462124A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于DeepLabV3+的遥感卫星云检测方法
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
WO2021042823A1 (zh) * 2019-09-02 2021-03-11 苏宁云计算有限公司 图片检测方法及装置
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114187450A (zh) * 2021-12-15 2022-03-15 山东大学 一种基于深度学习的遥感图像语义分割方法
US20220092368A1 (en) * 2020-09-21 2022-03-24 Nanjing University Of Aeronautics And Astronautics Semantic segmentation method and system for remote sensing image fusing gis data
CN114529721A (zh) * 2022-02-08 2022-05-24 山东浪潮科学研究院有限公司 一种基于深度学习的城市遥感影像植被覆盖识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021042823A1 (zh) * 2019-09-02 2021-03-11 苏宁云计算有限公司 图片检测方法及装置
CN111462124A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于DeepLabV3+的遥感卫星云检测方法
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
US20220092368A1 (en) * 2020-09-21 2022-03-24 Nanjing University Of Aeronautics And Astronautics Semantic segmentation method and system for remote sensing image fusing gis data
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114187450A (zh) * 2021-12-15 2022-03-15 山东大学 一种基于深度学习的遥感图像语义分割方法
CN114529721A (zh) * 2022-02-08 2022-05-24 山东浪潮科学研究院有限公司 一种基于深度学习的城市遥感影像植被覆盖识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李文卓: "时序无人机影像二三维综合的面向对象建筑物变化检测关键技术研究", 《中国博士学位论文全文数据库基础科学辑》 *
杨晓冬 等: "天网情报决策级融合分析技术体系研究", 《电子技术与软件工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618098A (zh) * 2022-09-08 2023-01-17 淮阴工学院 基于知识增强与空洞卷积的冷链物流推荐方法及装置
CN115482466A (zh) * 2022-09-28 2022-12-16 广西壮族自治区自然资源遥感院 一种基于深度学习的三维模型植被区域轻量化处理方法
CN115565148A (zh) * 2022-11-09 2023-01-03 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置
CN115858519A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种dem平整方法和装置
CN116030057A (zh) * 2023-03-29 2023-04-28 中国电子科技集团公司第五十四研究所 一种基于注意力机制的遥感影像能见度估计方法
CN116030057B (zh) * 2023-03-29 2023-06-09 中国电子科技集团公司第五十四研究所 一种基于注意力机制的遥感影像能见度估计方法
CN116825293A (zh) * 2023-08-25 2023-09-29 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN116825293B (zh) * 2023-08-25 2023-11-07 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN117370582A (zh) * 2023-11-02 2024-01-09 广州蓝图地理信息技术有限公司 基于多数据融合的自然资源要素三维实体化建模方法
CN117370582B (zh) * 2023-11-02 2024-06-04 广州蓝图地理信息技术有限公司 基于多数据融合的自然资源要素三维实体化建模方法

Also Published As

Publication number Publication date
CN114996488B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN114996488B (zh) 一种天网大数据决策级融合方法
CN112199511B (zh) 跨语言多来源垂直领域知识图谱构建方法
JP7468929B2 (ja) 地理知識取得方法
Fonseca et al. Using ontologies for integrated geographic information systems
Wu et al. Dynamic graph convolutional network for multi-video summarization
Sanoja et al. Block-o-matic: A web page segmentation framework
WO2024087639A1 (zh) 基于内容理解的遥感影像推荐方法
CN113761971B (zh) 一种遥感影像目标知识图谱构建方法及装置
Sun et al. Remote sensing image interpretation with semantic graph-based methods: A survey
Yang et al. A latent feature-based multimodality fusion method for theme classification on web map service
Chiang Querying historical maps as a unified, structured, and linked spatiotemporal source: vision paper
Yao et al. Hypergraph-enhanced textual-visual matching network for cross-modal remote sensing image retrieval via dynamic hypergraph learning
Ruan et al. Semantic-based image retrieval in remote sensing archive: An ontology approach
KR20120071645A (ko) 웹페이지의 이질적 데이터 정보융합 제공시스템 및 방법
Liaqat et al. Applying uncertain frequent pattern mining to improve ranking of retrieved images
JPH0944518A (ja) 画像データベースの構築方法と、画像データベースの検索方法及び検索装置
Goyal et al. A Review on Different Content Based Image Retrieval Techniques Using High Level Semantic Feature
Guo et al. Object discovery in high-resolution remote sensing images: a semantic perspective
CN115905554A (zh) 一种基于多学科分类的中文学术知识图谱构建方法
Yu et al. A Light-Weighted Hypergraph Neural Network for Multimodal Remote Sensing Image Retrieval
Nhi A self-balanced clustering tree for semantic-based image retrieval
Chiang et al. GeoAI for the Digitization of Historical Maps
Zhao et al. Research on emotion-embedded design flow based on deep learning technology
Hai et al. Improving The Efficiency of Semantic Image Retrieval using A Combined Graph and SOM Model
Zhang et al. Scene classification of high-resolution remote sensing images based on IMFNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant