CN117421386B - 基于gis的空间数据处理方法及系统 - Google Patents
基于gis的空间数据处理方法及系统 Download PDFInfo
- Publication number
- CN117421386B CN117421386B CN202311746358.4A CN202311746358A CN117421386B CN 117421386 B CN117421386 B CN 117421386B CN 202311746358 A CN202311746358 A CN 202311746358A CN 117421386 B CN117421386 B CN 117421386B
- Authority
- CN
- China
- Prior art keywords
- gis
- sub
- space data
- feature
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 254
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于GIS的空间数据处理方法及系统,通过事先部署的特征编码网络对移动尺取后得到的每一子GIS空间数据簇进行空间数据特征提炼,依据得到的子GIS空间数据簇编码特征和预设对照数据库中的每一对照空间数据的编码特征,对每一子GIS空间数据簇进行异常识别,得到异常识别子结果,从而依据多个子GIS空间数据簇的异常识别子结果,确定拟检测GIS空间数据集对应的异常识别结果。基于此,通过具有初阶特征提炼网络层和进阶特征提炼网络层构成的特征编码网络对每一子GIS空间数据簇进行空间数据特征提炼,如此可以精准挖掘出到子GIS空间数据簇的子GIS空间数据簇编码特征,进而基于子GIS空间数据簇编码特征能够对拟检测GIS空间数据集进行精确可靠的检测。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种基于GIS的空间数据处理方法及系统。
背景技术
数字孪生是近年来兴起的一种技术概念,它将现实世界的物理对象或系统以数字化的形式进行建模和仿真,为实际运行中的物理系统提供虚拟的镜像。地理信息系统(GIS)则是一种专门用于处理地理位置数据的技术,它将地理空间信息与属性数据相结合,提供数据集成、管理、分析和可视化等功能。将GIS与数字孪生结合是一种自然的发展趋势,因为许多实际物理系统都具有地理位置信息,例如城市基础设施、交通网络、能源系统等。通过将GIS中的地理数据与数字孪生中的物理模型相结合,可以更好地理解和模拟物理系统在不同地理环境下的行为。在数字孪生中,GIS能够帮助用户更直观地理解和分析物理系统的特征和性能。通过可视化,在数字孪生中的仿真结果和地理数据之间进行对比和展示,进一步提升了决策制定者的理解能力和决策支持能力。其中,基于GIS空间数据的异常分析识别,是可视化展示的重要前置环节,如何确保GIS空间数据的识别准确性是需要考虑的技术问题。
发明内容
本申请的目的在于提供一种基于GIS的空间数据处理方法及系统,以确保GIS空间数据的识别准确性。本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
据本申请实施例的第一个方面,提供一种基于GIS的空间数据处理方法,应用于空间数据处理系统,所述方法包括:
对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇;
通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征;其中,所述特征编码网络包括初阶特征提炼网络层和进阶特征提炼网络层;所述初阶特征提炼网络层用于对所述子GIS空间数据簇进行初阶空间数据特征提炼;所述进阶特征提炼网络层用于基于所述初阶空间数据特征提炼时得到的初阶GIS空间数据特征,对所述子GIS空间数据簇进行进阶空间数据特征提炼,所述进阶空间数据特征提炼的提炼深度大于所述初阶空间数据特征提炼的提炼深度;
获取预设对照数据库中的每一对照空间数据的编码特征;
依据所述子GIS空间数据簇编码特征和所述每一对照空间数据的编码特征,对每一所述子GIS空间数据簇进行异常识别,得到异常识别子结果;
依据所述多个子GIS空间数据簇的异常识别子结果,确定所述拟检测GIS空间数据集对应的异常识别结果。
在一个实施方式中,所述对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇,包括:
基于预设的划簇工具,按照预设的尺取长度对所述拟检测GIS空间数据集进行划簇操作,得到多个子GIS空间数据簇,所述多个子GIS空间数据簇的数据长度一致。
在一个实施方式中,所述方法还包括:
获取布莱克曼窗算法;
基于所述布莱克曼窗算法对每一所述子GIS空间数据簇进行加窗过渡,得到多个加窗过渡后的子GIS空间数据簇;
所述对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征,包括:
对每一加窗过渡后的子GIS空间数据簇进行空间数据特征提炼,得到所述子GIS空间数据簇编码特征。
在一个实施方式中,所述通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征,包括:
将每一所述子GIS空间数据簇输入到所述初阶特征提炼网络层中,通过所述初阶特征提炼网络层,对所述子GIS空间数据簇进行初阶特征提炼编码,获得包含第一提炼深度的编码特征;
将所述包含第一提炼深度的编码特征,输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层,对所述子GIS空间数据簇进行进阶特征提炼编码,获得包含第二提炼深度的编码特征;所述第一提炼深度小于所述第二提炼深度。
在一个实施方式中,所述依据所述子GIS空间数据簇编码特征和所述每一对照空间数据的编码特征,对每一所述子GIS空间数据簇进行异常识别,得到异常识别子结果,包括:
确定所述子GIS空间数据簇编码特征与所述每一对照空间数据的编码特征之间的特征共性评分;
当所述子GIS空间数据簇编码特征与任一对照空间数据的编码特征之间的特征共性评分大于特征共性评分临界值时,确定所述子GIS空间数据簇的异常识别子结果为响应对照结果;所述响应对照结果表示所述子GIS空间数据簇中包含和所述预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。
在一个实施方式中,所述依据所述多个子GIS空间数据簇的异常识别子结果,确定所述拟检测GIS空间数据集对应的异常识别结果,包括:
当任一子GIS空间数据簇的异常识别子结果为所述响应对照结果时,确定所述拟检测GIS空间数据集对应的异常识别结果为所述响应对照结果。
在一个实施方式中,所述特征编码网络的调优过程包括:
将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中,通过自监督学习对所述初阶特征提炼网络层进行调优,得到调优后的初阶特征提炼网络层;
将GIS空间数据项集合中的第二GIS空间数据输入到所述调优后的初阶特征提炼网络层中,通过所述调优后的初阶特征提炼网络层对所述第二GIS空间数据进行初阶特征提炼编码,获得包含第三提炼深度的调优编码特征;
将所述包含第三提炼深度的调优编码特征输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层对所述第二GIS空间数据进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征;所述第三提炼深度小于所述第四提炼深度;
基于事先确定的分类映射层基于所述包含第四提炼深度的调优编码特征,对所述第二GIS空间数据进行异常识别,得到调优异常识别结果;
将所述调优异常识别结果与所述第二GIS空间数据的注释异常识别结果输入到预设损失获取网络层中,通过所述预设损失获取网络层输出网络损失信息;
基于所述网络损失信息对所述进阶特征提炼网络层中的网络内配配置变量进行更新,得到调优后的特征编码网络。
在一个实施方式中,所述初阶特征提炼网络层包括编码单元和映射单元;所述将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中,通过自监督学习对所述初阶特征提炼网络层进行调优,得到调优后的初阶特征提炼网络层,包括:
将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中;
通过所述编码单元对所述第一GIS空间数据进行第一滤波操作,得到稀疏描述特征;
通过所述映射单元对所述稀疏描述特征进行第二滤波操作,获得包含目标维数的编码特征;
将所述包含目标维数的编码特征输入到第一损失获取网络层中,通过所述第一损失获取网络层中的第一损失确定算法,确定所述包含目标维数的编码特征对应的第一网络损失信息;
基于所述第一网络损失信息对所述编码单元和所述映射单元中的网络内配配置变量进行更新,得到所述调优后的初阶特征提炼网络层;
所述进阶特征提炼网络层包括降维激活单元和聚焦加权单元;所述将所述包含第三提炼深度的调优编码特征输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层对所述第二GIS空间数据进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征,包括:
将所述包含第三提炼深度的调优编码特征,输入到所述进阶特征提炼网络层中;
通过所述降维激活单元,提取所述调优编码特征在不同维度下的核心空间信息;
通过所述聚焦加权单元对所述不同维度下的核心空间信息,在空间分布上按序进行相加和偏心计算,得到所述包含第四提炼深度的调优编码特征。
在一个实施方式中,所述进阶特征提炼网络层包括损失确定单元,所述损失确定单元包括第二损失确定算法;所述方法还包括:
将所述包含第四提炼深度的调优编码特征和所述第二GIS空间数据的异常注释信息,输入到所述损失确定单元;
通过所述损失确定单元的第二损失确定算法,确定所述包含第四提炼深度的调优编码特征对应的第二网络损失信息;
基于所述第二网络损失信息对所述降维激活单元和所述聚焦加权单元中的网络内配配置变量进行更新,得到调优后的进阶特征提炼网络层。
根据本申请实施例的另一个方面,提供一种空间数据处理系统,包括:
处理器;
以及存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行以上所述的方法。
本申请至少包含以下有益效果:
本申请实施例提供的基于GIS的空间数据处理方法及系统,通过事先部署的特征编码网络,对移动尺取后得到的每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征;并依据子GIS空间数据簇编码特征和预设对照数据库中的每一对照空间数据的编码特征,对每一子GIS空间数据簇进行异常识别,得到异常识别子结果;从而依据多个子GIS空间数据簇的异常识别子结果,确定拟检测GIS空间数据集对应的异常识别结果。基于此,通过具有初阶特征提炼网络层和进阶特征提炼网络层构成的特征编码网络对每一子GIS空间数据簇进行空间数据特征提炼,如此可以精准挖掘出到子GIS空间数据簇的子GIS空间数据簇编码特征,进而基于子GIS空间数据簇编码特征能够对拟检测GIS空间数据集进行精确可靠的检测。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于GIS的空间数据处理方法的流程图。
图2是本申请实施例提供的空间数据处理装置的功能模块架构示意图。
图3是本申请实施例提供的一种空间数据处理系统的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
请参照图1,是本申请实施例提供的一种基于GIS的空间数据处理方法的流程图,包括以下步骤:
步骤S110,对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇。
本申请实施例中,拟检测GIS空间数据集是需要进行异常数据检测的GIS(地理信息系统,Geographic Information System)空间数据构成的集合,例如可以包括但不限于空间要素数据、栅格数据、拓扑数据和地理编码数据中的一种或多种,其中,空间要素数据可以包括点、线、面等地理要素的空间位置和数据含义,具体可以是建筑物、道路、河流等;栅格数据可以是将地理区域划分成规则的像素网格,每个像素包含数值或类别信息,如高程模型、遥感影像等;拓扑数据用于描述地理要素之间的空间关系和拓扑结构,例如交叉点、相邻关系等;地理编码数据是将地理要素关联到指定的位置或者地址编码上,通常用于地理位置搜索和定位。其中,对于非连续的离散数据,如描述相邻关系的拓扑数据,可以将离散数据进行独热编码,得到适于计算机处理的数值数据。移动尺取表示基于事先确定的的划簇工具遍历拟检测GIS空间数据集,具体地,可以基于预设的划簇工具,按照预设的尺取长度(即移动步幅)对拟检测GIS空间数据集进行划簇操作,得到多个子GIS空间数据簇,多个子GIS空间数据簇的数据长度一致(即包含的数量相同)。例如,划簇工具为一个可移动控件(如移动框),该可移动控件具有预设的移动步幅和覆盖的数据范围(如基于数据数量确定的范围,或基于原始数据对应覆盖的地域范围),根据移动步幅进行移动,每一次移动截取一个子GIS空间数据簇。
可选地,在对拟检测GIS空间数据集进行划簇操作,得到多个子GIS空间数据簇后,还可以获取预设的布莱克曼窗算法(一种窗函数),基于布莱克曼窗算法对每一子GIS空间数据簇进行加窗过渡(即进行平滑操作),得到多个加窗过渡后的子GIS空间数据簇,加窗过渡可以使划簇后的各个数据簇之间更平滑地过渡,使各个簇之间更加连续,化解划簇引起的不连续性影响。那么,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征,包括:对每一加窗过渡后的子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征。
可选地,可以在每次获得一个子GIS空间数据簇后,对该子GIS空间数据簇进行异常识别,得到异常识别子结果。接着,再通过移动尺取得到另一个子GIS空间数据簇,再对该子GIS空间数据簇进行异常识别,基于此进行重复,完成对拟检测GIS空间数据集中的每一个子GIS空间数据簇的异常识别,如根据识别发现离群值或异常点,从而分析出与周围环境不符的特殊要素,识别异常环境。在其他实施方式中,可以对拟检测GIS空间数据集进行多次移动尺取,得到多个子GIS空间数据簇,依据子GIS空间数据簇在拟检测GIS空间数据集中的顺序,为每一子GIS空间数据簇赋予检测标签,该检测标签用于区分子GIS空间数据簇与其他子GIS空间数据簇,同时该检测标签还可以指示子GIS空间数据簇与其他子GIS空间数据簇在拟检测GIS空间数据集中的分布位置。获得多个子GIS空间数据簇后,基于每一子GIS空间数据簇的检测标签,依据子GIS空间数据簇在拟检测GIS空间数据集中的分布位置,按序(如从上到下,从左到右)对每一子GIS空间数据簇进行异常识别,得到多个异常识别子结果。
步骤S120,通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征。
本申请实施例中,特征编码网络包括初阶特征提炼网络层和进阶特征提炼网络层。其中,初阶特征提炼网络层用于对子GIS空间数据簇进行初阶空间数据特征提炼,进阶特征提炼网络层用于基于初阶空间数据特征提炼时得到的初阶GIS空间数据特征,对子GIS空间数据簇进行进阶空间数据特征提炼,进阶空间数据特征提炼的提炼深度大于初阶空间数据特征提炼的提炼深度。
本申请实施例中,将每一子GIS空间数据簇输入到特征编码网络中,通过特征编码网络中的初阶特征提炼网络层和进阶特征提炼网络层按序对子GIS空间数据簇进行初阶空间数据特征提炼和进阶空间数据特征提炼,换言之,按序对子GIS空间数据簇进行初步低精度的空间数据特征提炼和进一步高精度的空间数据特征提炼,得到子GIS空间数据簇编码特征。
本申请实施例中,子GIS空间数据簇编码特征表示对子GIS空间数据簇进行特征编码(转换为计算机可理解的形式,便于进一步计算)后得到的特征向量,子GIS空间数据簇编码特征,具体地,可以根据数据的类型和性质进行适宜的编码方式,例如对于GIS空间数据中的离散数据,可以基于独热编码、标签编码、嵌入编码的方式进行编码,对于连续数值型特征,可以采用诸如Binning、Scaling、Ranking、Logarithm Transformation、PowerTransformation等方式进行编码,对于统计类的特征编码方式,则可以基于如 MeanEncoding、Frequent Encoding、Weight of Evidence Encoding等方式进行编码,具体的方式,本申请实施例不做限定。
本申请实施例中,初阶特征提炼网络层为无监督预调优网络(即基于预先训练的神经网络),初阶特征提炼网络层预先通过海量的原始GIS空间数据进行自监督预调优,得到调优后的初阶特征提炼网络层。进阶特征提炼网络层是基于调优后的初阶特征提炼网络层进行特征挖掘后,再进行网络调优得到。具体而言,可以通过调优后的初阶特征提炼网络层,对GIS空间数据项集合中的GIS空间数据项(即单独的、独立的GIS空间数据,如划分出的一块单独进行识别的空间区域对应的数据)进行以上初步低精度的空间数据特征提炼,得到GIS空间数据项的编码特征,再将GIS空间数据项的编码特征作为进阶特征提炼网络层的输入,输入到进阶特征提炼网络层中,通过进阶特征提炼网络层对GIS空间数据项进行高精度的空间数据特征提炼。初阶特征提炼网络层、进阶特征提炼网络层以及特征编码网络的调优方式将在后续进行介绍。
本申请实施例中,对子GIS空间数据簇进行空间数据特征提炼时,因可以直接将子GIS空间数据簇输入到特征编码网络中进行特征挖掘,获得的是子GIS空间数据簇的编码特征,基于此,通过编码的降维效果,可以减少网络的计算开销,挖掘得到的编码特征能够更准确的表征子GIS空间数据簇中的GIS空间数据信息,则可对子GIS空间数据簇进行准确的空间数据特征提炼。本申请实施例中,可以将多个子GIS空间数据簇中的每一子GIS空间数据簇按序输入到事先部署的特征编码网络中,通过事先部署的特征编码网络对每一子GIS空间数据簇进行空间数据特征提炼,得到多个子GIS空间数据簇编码特征。
本申请实施例中,提炼深度用于表征空间数据特征提炼时,提取的编码特征所能表征对应的子GIS空间数据簇的精度,对于初步低精度的空间数据特征提炼过程,提炼得到的编码特征可以表征对应的子GIS空间数据簇的较少信息,使得提炼的编码特征可以表征对应的子GIS空间数据簇的信息的精度小于精度阈值。对于进一步高精度的空间数据特征提炼过程,提炼得到的编码特征可以表征对应的子GIS空间数据簇的较多信息,使得提炼的编码特征可以表征对应的子GIS空间数据簇的信息的精度大于精度阈值。
步骤S130,获取预设对照数据库中的每一对照空间数据的编码特征。
本申请实施例中,预设对照数据库中包括多个对照空间数据,预设对照数据库中的对照空间数据具有指定的数据含义(或称数据属性,如对照数据的类型,如正常还是异常,或者对照数据的直接属性,如坍塌、沉降等),换言之,预设对照数据库中的对照空间数据是指定类型的数据项。在一个具体的示例中,如果要对拟检测GIS空间数据集进行坍塌识别,则预设对照数据库中的对照空间数据为事先收集保存的坍塌数据项。
可选地实施方式中,在预设对照数据库中,可以保存有每一对照空间数据的对照空间数据GIS空间数据或者对照空间数据GIS空间数据集,可以对对照空间数据GIS空间数据进行GIS空间数据集识别,得到对照空间数据GIS空间数据对应的对照空间数据GIS空间数据集,以对对照空间数据GIS空间数据集进行空间数据特征提炼,得到对照空间数据的编码特征。具体而言,可以基于以上事先部署的特征编码网络对预设对照数据库中的每一对照空间数据的对照空间数据GIS空间数据集进行空间数据特征提炼,得到每一对照空间数据的编码特征,即每一对照空间数据GIS空间数据集的编码特征。
步骤S140,依据子GIS空间数据簇编码特征和每一对照空间数据的编码特征,对每一子GIS空间数据簇进行异常识别,得到异常识别子结果。
本申请实施例中,可以将子GIS空间数据簇编码特征与对照空间数据的编码特征进行对照,得到异常识别子结果。对照的方式可以是计算子GIS空间数据簇编码特征与对照空间数据的编码特征之间的特征共性评分,基于特征共性评分确定异常识别子结果,特征共性评分用于表征对照的二者之间的相似性程度,具体可以基于通用的特征距离计算方式进行计算,例如基于曼哈顿距离、余弦距离、欧式距离等距离公式进行计算,将得到的结果作为特征共性评分,可以理解,距离越近,特征共性评分越高。
本申请实施例在依据子GIS空间数据簇编码特征和每一对照空间数据的编码特征,对每一子GIS空间数据簇进行异常识别,得到异常识别子结果时,可选地,对于每一子GIS空间数据簇而言,在得到子GIS空间数据簇的子GIS空间数据簇编码特征与每一对照空间数据的编码特征之间的特征共性评分后,基于特征共性评分对对照空间数据进行降序排序,得到对照空间数据序列;再确定对照空间数据序列中的靠前的预设数量个对照空间数据,比较子GIS空间数据簇的子GIS空间数据簇编码特征与靠前的预设数量个对照空间数据的编码特征之间的特征共性评分,若靠前的预设数量个特征共性评分均大于特征共性评分临界值,则代表子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据,首先,因为在基于特征共性评分对照空间数据序列后筛选得到靠前的预设数量个对照空间数据,预设数量远小于预设对照数据库中对照空间数据的总数,则在与特征共性评分临界值进行对比时,只需对照预设数量个特征共性评分是否大于特征共性评分临界值,很明显,大大减少了数据处理量,使得异常识别的效率得到提升,此外,因为预设数量被设置为多个,则是在具有多个对照空间数据的特征共性评分都大于特征共性评分临界值的情况下,确定子GIS空间数据簇包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据,基于此,通过多个对照空间数据的特征共性评分的结果进行识别,可以确保异常识别的准确性,防止在确定与个别对照空间数据的特征共性评分具有误差时产生的不准确性情况。
在其他实施方式中,对于每一子GIS空间数据簇而言,在获得该子GIS空间数据簇的子GIS空间数据簇编码特征与每一对照空间数据的编码特征之间的特征共性评分后,获取预设的特征共性评分临界值,再筛选得到特征共性评分大于特征共性评分临界值的全部对照空间数据,获取全部对照空间数据的数量,若对照空间数据总数大于数量阈值,代表该子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据,那么,通过特征共性评分临界值和数量阈值双重评估标准,可以在确保特征共性评分高的基础上,评估得到包含较多相似对照空间数据的情况,换言之,在预设对照数据库中,具有大量和子GIS空间数据簇的子GIS空间数据簇编码特征具有较高特征共性评分的对照空间数据,基于此,可以对子GIS空间数据簇中是否包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据进行准确评估,提高异常识别的准确性。
又或者,对于每一子GIS空间数据簇而言,可以按序确定该子GIS空间数据簇的子GIS空间数据簇编码特征与每一对照空间数据的编码特征之间的特征共性评分,每计算得到一个特征共性评分,就对该特征共性评分进行评估,得到特征共性评分是否大于特征共性评分临界值;若该子GIS空间数据簇的子GIS空间数据簇编码特征与任一对照空间数据的编码特征之间的特征共性评分大于特征共性评分临界值,则不再计算该子GIS空间数据簇的子GIS空间数据簇编码特征与余下的对照空间数据的编码特征之间的特征共性评分,同时,确定得到该子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。本申请可以事先明确,只要具有一个对照空间数据的编码特征与子GIS空间数据簇编码特征之间的特征共性评分大于特征共性评分临界值,就视为子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据,换言之,在遇到对照空间数据的编码特征与子GIS空间数据簇编码特征之间的特征共性评分大于特征共性评分临界值,就视为子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。基于此,可以提升异常识别的效率。
步骤S150,依据多个子GIS空间数据簇的异常识别子结果,确定拟检测GIS空间数据集对应的异常识别结果。
本申请实施例中,在得到每一子GIS空间数据簇的异常识别子结果接着,对多个子GIS空间数据簇的异常识别子结果进行整合,得到拟检测GIS空间数据集对应的异常识别结果。在进行整合时,可以是在子GIS空间数据簇编码特征与任一对照空间数据的编码特征之间的特征共性评分大于特征共性评分临界值时,确定子GIS空间数据簇的异常识别子结果为响应对照结果,响应对照结果代表确定出子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。或者在子GIS空间数据簇编码特征与预设数量的对照空间数据的编码特征之间的特征共性评分大于特征共性评分临界值时,确定子GIS空间数据簇的异常识别子结果为响应对照结果,即确定该子GIS空间数据簇中包含和预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。
本申请实施例提供的基于GIS的空间数据处理方法,通过事先部署的特征编码网络,对移动尺取后得到的每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征;并依据子GIS空间数据簇编码特征和预设对照数据库中的每一对照空间数据的编码特征,对每一子GIS空间数据簇进行异常识别,得到异常识别子结果;从而依据多个子GIS空间数据簇的异常识别子结果,确定拟检测GIS空间数据集对应的异常识别结果。基于此,通过具有初阶特征提炼网络层和进阶特征提炼网络层构成的特征编码网络对每一子GIS空间数据簇进行空间数据特征提炼,如此可以精准挖掘出到子GIS空间数据簇的子GIS空间数据簇编码特征,进而基于子GIS空间数据簇编码特征能够对拟检测GIS空间数据集进行精确可靠的检测。
接下来对特征编码网络及特征编码网络的调优过程进行介绍。
本申请实施例中,特征编码网络包括初阶特征提炼网络层和进阶特征提炼网络层;初阶特征提炼网络层用于对子GIS空间数据簇进行初阶空间数据特征提炼;进阶特征提炼网络层用于基于初阶空间数据特征提炼时得到的初阶GIS空间数据特征,对子GIS空间数据簇进行进阶空间数据特征提炼,进阶空间数据特征提炼的提炼深度大于初阶空间数据特征提炼的提炼深度。
特征编码网络的调优方法可以包括以下步骤:
步骤S210,将原始GIS空间数据集中的第一GIS空间数据输入到初阶特征提炼网络层中,通过自监督学习对初阶特征提炼网络层进行调优,得到调优后的初阶特征提炼网络层。
本申请实施例中,原始GIS空间数据集即没有标签标记的GIS空间数据集,其中包括多个没有注释标签的GIS空间数据,因初阶特征提炼网络层可以基于无监督进行调优,则可以基于原始GIS空间数据集中的第一GIS空间数据对初阶特征提炼网络层进行调优。
本申请实施例中,自监督学习可以是度量学习,用于在没有标签时,使初阶特征提炼网络层学习数据中的相似或相异,从而获取原始GIS空间数据集的知识特征。通过自监督学习,可以在少量标记样本的基础上提高网络的性能。
可选地,初阶特征提炼网络层可以为一个嵌入表示网络,例如可以采用GloVe算法,对GIS空间数据转换得到的共现矩阵进行学习,当然,还可以采用其他可行的嵌入表示算法进行学习。本申请实施例中,通过调优嵌入表示网络,得到调优后的嵌入表示网络,并通过调优后的嵌入表示网络鉴别实际数据和噪声调优,有助于嵌入表示网络学习GIS空间数据的矢量形态。以便嵌入表示网络能够识别GIS空间数据。
步骤S220,将GIS空间数据项集合中的第二GIS空间数据输入到调优后的初阶特征提炼网络层中,通过调优后的初阶特征提炼网络层对第二GIS空间数据进行初阶特征提炼编码,获得包含第三提炼深度的调优编码特征。
本申请实施例中,第三提炼深度是调优后的初阶特征提炼网络层对应的提炼深度,即第三提炼深度是调优后的初阶特征提炼网络层在对第二GIS空间数据进行特征提炼编码时得到的调优编码特征的提炼深度。本申请实施例中,第三提炼深度对应于以上第一提炼深度,换言之,若基于调优后的初阶特征提炼网络层对上述子GIS空间数据簇进行初阶特征提炼编码时,则得到第一提炼深度的编码特征;若基于调优后的初阶特征提炼网络层对第二GIS空间数据进行初阶特征提炼编码,则获得第三提炼深度的编码特征(即包含第三提炼深度的调优编码特征)。
GIS空间数据项集合中包括多个GIS空间数据项(即第二GIS空间数据),每一GIS空间数据项即单个数据项的GIS空间数据。一个GIS空间数据项可以对应GIS空间中一个可独立作为分析目标的区域,如按照区域大小划分得到的空间。具体而言,提取原始GIS空间数据对应的原始GIS空间数据集,通过任意一种特征提炼网络层对原始GIS空间数据进行特征提取,获得原始GIS空间数据对应的多个GIS空间数据特征,每个GIS空间数据特征是一个GIS空间数据项的GIS空间数据对应的特征向量,接着,将原始GIS空间数据集与每一GIS空间数据特征对应(也即依据每一GIS空间数据特征,确定GIS空间数据特征对应的单个GIS空间数据项的GIS空间数据在原始GIS空间数据集中的分布位置,例如设置多个限位坐标限定一个数据区域),完成原始GIS空间数据集与GIS空间数据特征的对应;在完成对齐接着,依据原始GIS空间数据集与GIS空间数据特征之间的位置对原始GIS空间数据集进行划分,得到多个原始GIS空间数据子数据,每一原始GIS空间数据子数据对应一个GIS空间数据项。
本申请实施例中,可以将GIS空间数据项集合中的每一GIS空间数据项输入到调优后的初阶特征提炼网络层中,通过调优后的初阶特征提炼网络层对每一GIS空间数据项进行初阶特征提炼编码,得到多个调优编码特征,通过多个调优编码特征对进阶特征提炼网络层进行调优,即将多个调优编码特征作为进阶特征提炼网络层的调优调优进行网络调优。
步骤S230,将包含第三提炼深度的调优编码特征输入到进阶特征提炼网络层中,通过进阶特征提炼网络层对第二GIS空间数据进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征;第三提炼深度小于第四提炼深度。
本申请实施例中,第四提炼深度是进阶特征提炼网络层对应的提炼深度,即第四提炼深度是进阶特征提炼网络层对第二GIS空间数据进行进阶特征提炼编码时得到的调优编码特征的提炼深度。第四提炼深度对应于以上第二提炼深度,换言之,若基于进阶特征提炼网络层对上述子GIS空间数据簇进行进阶特征提炼编码,则得到第二提炼深度的编码特征,若基于进阶特征提炼网络层对第二GIS空间数据进行进阶特征提炼编码,则得到第四提炼深度的编码特征(即包含第四提炼深度的调优编码特征)。本申请实施例中,因为进阶空间数据特征提炼的提炼深度大于初阶空间数据特征提炼的提炼深度,则第三提炼深度小于第四提炼深度。
步骤S240,基于事先确定的分类映射层基于包含第四提炼深度的调优编码特征,对第二GIS空间数据进行异常识别,得到调优异常识别结果。
本申请实施例中,进阶特征提炼网络层对每一个调优编码特征进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征。接着,基于预设分类映射层(即一个分类器,如softmax),依据获得到的包含第四提炼深度的调优编码特征对第二GIS空间数据进行异常识别,即对第二GIS空间数据进行GIS空间数据分类,得到调优异常识别结果。
步骤S250,将调优异常识别结果与第二GIS空间数据的注释异常识别结果输入到预设损失获取网络层中,基于事先确定的损失获取网络层输出网络损失信息。
本申请实施例中,在得到多个GIS空间数据项(即第二GIS空间数据)后,为每个第二GIS空间数据赋予注释异常识别结果,注释异常识别结果用于注释该GIS空间数据项中是否具有目标分类的数据项。本申请实施例通过初阶特征提炼网络层和进阶特征提炼网络层,提炼得到第二GIS空间数据的包含第四提炼深度的调优编码特征,基于包含第四提炼深度的调优编码特征对第二GIS空间数据是否包含目标分类的数据项进行识别,得到调优异常识别结果接着,可以将调优异常识别结果与第二GIS空间数据的注释异常识别结果输入到预设损失获取网络层中,基于事先确定的损失获取网络层输出网络损失信息。
本申请实施例中,可以基于事先确定的损失获取网络层计算调优异常识别结果与注释异常识别结果之间的注释特征共性评分。如果注释特征共性评分大于注释特征共性评分临界值,代表进阶特征提炼网络层能够准确提炼第二GIS空间数据的调优编码特征,同时预设分类映射层能够依据调优编码特征对第二GIS空间数据进行准确的异常识别。可以理解,当前达到网络调优截止条件,停止对特征编码网络的调优,将当前得到的特征编码网络确定为调优好的特征编码网络。若注释特征共性评分小于或等于注释特征共性评分临界值时,代表进阶特征提炼网络层不能准确提炼第二GIS空间数据的调优编码特征,或预设分类映射层不能基于调优编码特征对第二GIS空间数据进行准确的异常识别,可以理解,当前未达到网络调优截止条件,需要继续对特征编码网络进行调优,直到注释特征共性评分大于注释特征共性评分临界值时停止调优。
步骤S260,基于网络损失信息对进阶特征提炼网络层中的网络内配配置变量进行更新,得到调优后的特征编码网络。
本申请实施例中,若注释特征共性评分小于或等于注释特征共性评分临界值,则可以基于更新网络内配配置变量(如网络权重、偏置、学习率等变量)对进阶特征提炼网络层中的网络内配配置变量进行更新;若注释特征共性评分大于注释特征共性评分临界值,则停止对特征编码网络的调优。在对网络内配配置变量进行更新时,预先设置网络内配配置变量的更新区间,进阶特征提炼网络层中的网络内配配置变量包括多个子变量,每个子变量对应一更新区域。
网络内配配置变量的更新区间表示该网络内配配置变量在本轮调优可以选择进行修正的更新变量的数值范围。在从更新区间中选取更新变量时,基于注释特征共性评分的数值进行确定,若注释特征共性评分较小,则在更新区间中确定较大的更新变量作为本轮调优的更新变量,若注释特征共性评分较大,则在更新区间中确定较小的更新变量作为本轮调优的更新变量。具体而言,可以设置更新特征共性评分临界值。若注释特征共性评分小于或等于更新特征共性评分临界值时,代表注释特征共性评分较小,在更新区间的中间值以后的数值中任意确定一个更新变量作为本轮调优的更新变量;如果注释特征共性评分大于该更新特征共性评分临界值时,代表注释特征共性评分较大,则在更新区间的中间值以前的数值中任意确定一个更新变量为本轮调优的更新变量,其中,更新特征共性评分临界值小于注释特征共性评分临界值。本申请实施例在确定得到更新变量后,基于该更新变量对相应的网络内配配置变量进行更新。如果更新变量为正数,则增大网络内配配置变量,反之,若更新变量为负数,则减小网络内配配置变量。
本申请实施例提供的特征编码网络的调优方法,通过原始GIS空间数据集中的第一GIS空间数据,对初阶特征提炼网络层进行无监督调优,通过调优后的初阶特征提炼网络层提取GIS空间数据项集合中的第二GIS空间数据的编码注释特征,获得包含第三提炼深度的调优编码特征,将包含第三提炼深度的调优编码特征作为进阶特征提炼网络层的调优数据,对进阶特征提炼网络层进行调优,在调优进阶特征提炼网络层的过程中,结合第二GIS空间数据的注释异常识别结果对进阶特征提炼网络层中的网络内配配置变量进行学习,可以对进阶特征提炼网络层进行准确学习和调优,获得可以对网络内配配置变量进行更新的特征编码网络。
接下来介绍初阶特征提炼网络层和进阶特征提炼网络层的调优方式。
初阶特征提炼网络层包括编码单元和映射单元,初阶特征提炼网络层的调优方法包括:
步骤S310,将原始GIS空间数据集中的第一GIS空间数据输入到初阶特征提炼网络层中。
步骤S320,通过编码单元对第一GIS空间数据进行第一滤波操作,得到稀疏描述特征。
本申请实施例中,初阶特征提炼网络层可以为嵌入表示网络。嵌入表示网络可以采用多个的conv(卷积层)来提取GIS空间数据的无标记GIS空间数据特征。具体地,嵌入表示网络包括将原始GIS空间数据编码为目标特征空间的编码单元,例如编码单元包含三层卷积层(或称滤波层),以及将目标特征空间转换为数据语义表征的映射单元,例如映射单元包含六层卷积层。换言之,编码单元通过多个滤波层对第一GIS空间数据进行多次滤波操作,完成对第一GIS空间数据编码,得到稀疏描述特征,稀疏描述特征可以理解为相对较早层次的卷积特征,它们可能包含了底层数据的细节特征,这些特征通常具有较小的感受野和较高的空间分辨率,可以捕捉到数据中细微的信息。
步骤S330,通过映射单元对稀疏描述特征进行第二滤波操作,获得包含目标维数的编码特征。
本申请实施例中,映射单元包括多个卷积层,通过多个卷积层对编码单元输出的稀疏描述特征进行多次滤波操作,完成将稀疏描述特征向数据异常表征的转化,获得包含目标维数(即预先设定好的维数)的编码特征。
步骤S340,将包含目标维数的编码特征输入到第一损失获取网络层中,通过第一损失获取网络层中的第一损失确定算法,确定包含目标维数的编码特征对应的第一网络损失信息。
本申请实施例中,网络调优时的损失确定算法可以选取对比损失确定算法,在调优时拉进正样本,拉远负样本。
步骤S350,基于第一网络损失信息对编码单元和映射单元中的网络内配配置变量进行更新,得到调优后的初阶特征提炼网络层。
本申请实施例提供的初阶特征提炼网络层的调优方法,通过编码单元对第一GIS空间数据进行编码处理,得到稀疏描述特征;通过映射单元将稀疏描述特征转换得到包含目标维数的编码特征,通过对比损失确定算法拉进正样本,拉远负样本。基于此,采用自监督对初阶特征提炼网络层进行高效准确调优。
进阶特征提炼网络层包括降维激活单元、聚焦加权单元和损失确定单元,其中,损失确定单元包括第二损失确定算法。进阶特征提炼网络层的调优方法包括:
步骤S410,将包含第三提炼深度的调优编码特征,输入到进阶特征提炼网络层中。
步骤S420,通过降维激活单元,提取调优编码特征在不同维度下的核心空间信息。
本申请实施例中,进阶特征提炼网络层可以为Res2Net,降维激活单元可以是Res2Net中设置的挤压激励网络,挤压激励网络包括降维(或称挤压)和激活(激励)两个模块,是一种用于增强卷积神经网络(CNN)表示能力的网络,可以改进CNN中的通道注意力机制,以使网络能够更好地适应不同特征通道的重要性,核心思想是通过学习得到每个通道的权重,然后根据这些权重对通道特征进行加权。具体而言,在降维环节,降维单元对输入的特征图进行全局平均池化,将每个通道的特征图转换为一个单一的数值表示,这个数值表示了每个通道的全局统计信息,用来反映该通道的重要性。在激励过程中,通过引入两个全连接层,对每个通道的权重进行学习,第一个全连接层将上一步得到的单一数值特征映射到一个较小的维度,然后通过ReLU激活函数进行非线性转换。随后,第二个全连接层将这个较小维度的特征映射回原始通道数,通过一个sigmoid激活函数生成每个通道的权重,这些权重用于对输入特征图进行加权,从而强调重要的通道特征,抑制不重要的通道特征。
步骤S430,通过聚焦加权单元对不同维度(即不同通道)下的核心空间信息,在空间分布上按序进行相加和偏心计算,获得包含第四提炼深度的调优编码特征。
本申请实施例中,聚焦加权单元可以是Res2Net中的基于注意力机制的注意力网络,基于自注意力机制,促使Res2Net聚焦空间信息(例如各个数据项的上下文关系),将不同维度的信息在空间分布上相加(即按照预设的空间顺序,如预设的采样先后次序进行逐次相加),同时引入加权平均的方式进行偏心计算(即先加权计算,在对加权结果进行平均计算),如此,学习得到的编码特征具备更高的稳定性和鉴别性。核心空间信息即基于自注意力机制赋予更多权重(或称偏心系数)的空间信息。
步骤S440,将包含第四提炼深度的调优编码特征和第二GIS空间数据的异常注释信息,输入到损失确定单元。
本申请实施例中,异常注释信息表示该GIS空间数据是否是异常的数据项对应的注释,其可以为一个标签。
步骤S450,通过损失确定单元的第二损失确定算法,确定包含第四提炼深度的调优编码特征对应的第二网络损失信息。
本申请实施例中,可以基于异常注释信息,获取与异常注释信息对应的特征向量,确定调优编码特征和特征向量的特征共性评分,得到第二网络损失信息。可选地实施方式中,第二损失确定算法可以是任意可行的损失确定算法,如交叉熵算法,具体不做限定。
步骤S460,基于第二网络损失信息对降维激活单元和聚焦加权单元中的网络内配配置变量进行更新,得到调优后的进阶特征提炼网络层。
本申请实施例提供的进阶特征提炼网络层的调优方法,通过降维激活单元,提取调优编码特征在不同维度下的核心空间信息;通过聚焦加权单元对不同维度下的核心空间信息,在空间分布上按序进行相加和偏心计算,获得包含第四提炼深度的调优编码特征。如此通过第二损失确定算法进行损失确定,在调优时减小同类的距离,增大类间距离,基于此,可以对进阶特征提炼网络层进行高效准确调优。以上对特征编码网络、特征编码网络中的初阶特征提炼网络层、进阶特征提炼网络层的调优可以在先调优好初阶特征提炼网络层后一起进行,或者按序进行。换言之,可以先调优初阶特征提炼网络层,接着再一起进行进阶特征提炼网络层和整个特征编码网络的调优,或者可以先调优初阶特征提炼网络层,接着再按序调优进阶特征提炼网络层和整个特征编码网络。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的基于GIS的空间数据处理方法。图2示意性地示出了本申请实施例提供的空间数据处理装置的结构框图。如图2所示,空间数据处理装置200包括:
移动尺取模块210,用于对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇;
特征提炼模块220,用于通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征;其中,所述特征编码网络包括初阶特征提炼网络层和进阶特征提炼网络层;所述初阶特征提炼网络层用于对所述子GIS空间数据簇进行初阶空间数据特征提炼;所述进阶特征提炼网络层用于基于所述初阶空间数据特征提炼时得到的初阶GIS空间数据特征,对所述子GIS空间数据簇进行进阶空间数据特征提炼,所述进阶空间数据特征提炼的提炼深度大于所述初阶空间数据特征提炼的提炼深度;
对照编码模块230,用于获取预设对照数据库中的每一对照空间数据的编码特征;
异常识别模块240,用于依据所述子GIS空间数据簇编码特征和所述每一对照空间数据的编码特征,对每一所述子GIS空间数据簇进行异常识别,得到异常识别子结果;
异常整合模块250,用于依据所述多个子GIS空间数据簇的异常识别子结果,确定所述拟检测GIS空间数据集对应的异常识别结果。
本申请各实施例中提供的空间数据处理装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图3示意性地示出了用于实现本申请实施例的空间数据处理系统的计算机系统结构框图。需要说明的是,图3示出的空间数据处理系统的计算机系统300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示,计算机系统300包括中央处理器301(Central Processing Unit,CPU),其可以根据存储在只读存储器302(Read-Only Memory,ROM)中的程序或者从存储部分308加载到随机访问存储器303(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器303中,还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器303通过总线304彼此相连。输入/输出接口305(Input/Output接口,即I/O接口)也连接至总线304。
以下部件连接至输入/输出接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口305。存储介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从存储介质311被安装。在该计算机程序被中央处理器301执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (8)
1.一种基于GIS的空间数据处理方法,其特征在于,应用于空间数据处理系统,所述方法包括:
对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇;
通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征;其中,所述特征编码网络包括初阶特征提炼网络层和进阶特征提炼网络层;所述初阶特征提炼网络层用于对所述子GIS空间数据簇进行初阶空间数据特征提炼;所述进阶特征提炼网络层用于基于所述初阶空间数据特征提炼时得到的初阶GIS空间数据特征,对所述子GIS空间数据簇进行进阶空间数据特征提炼,所述进阶空间数据特征提炼的提炼深度大于所述初阶空间数据特征提炼的提炼深度;
获取预设对照数据库中的每一对照空间数据的编码特征;
依据所述子GIS空间数据簇编码特征和所述每一对照空间数据的编码特征,对每一所述子GIS空间数据簇进行异常识别,得到异常识别子结果;
依据所述多个子GIS空间数据簇的异常识别子结果,确定所述拟检测GIS空间数据集对应的异常识别结果;
所述特征编码网络的调优过程包括:
将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中,通过自监督学习对所述初阶特征提炼网络层进行调优,得到调优后的初阶特征提炼网络层;
将GIS空间数据项集合中的第二GIS空间数据输入到所述调优后的初阶特征提炼网络层中,通过所述调优后的初阶特征提炼网络层对所述第二GIS空间数据进行初阶特征提炼编码,获得包含第三提炼深度的调优编码特征;
将所述包含第三提炼深度的调优编码特征输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层对所述第二GIS空间数据进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征;所述第三提炼深度小于所述第四提炼深度;
基于事先确定的分类映射层基于所述包含第四提炼深度的调优编码特征,对所述第二GIS空间数据进行异常识别,得到调优异常识别结果;
将所述调优异常识别结果与所述第二GIS空间数据的注释异常识别结果输入到预设损失获取网络层中,通过所述预设损失获取网络层输出网络损失信息;
基于所述网络损失信息对所述进阶特征提炼网络层中的网络内配配置变量进行更新,得到调优后的特征编码网络;
其中,所述初阶特征提炼网络层包括编码单元和映射单元;所述将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中,通过自监督学习对所述初阶特征提炼网络层进行调优,得到调优后的初阶特征提炼网络层,包括:
将原始GIS空间数据集中的第一GIS空间数据输入到所述初阶特征提炼网络层中;
通过所述编码单元对所述第一GIS空间数据进行第一滤波操作,得到稀疏描述特征;
通过所述映射单元对所述稀疏描述特征进行第二滤波操作,获得包含目标维数的编码特征;
将所述包含目标维数的编码特征输入到第一损失获取网络层中,通过所述第一损失获取网络层中的第一损失确定算法,确定所述包含目标维数的编码特征对应的第一网络损失信息;
基于所述第一网络损失信息对所述编码单元和所述映射单元中的网络内配配置变量进行更新,得到所述调优后的初阶特征提炼网络层;
所述进阶特征提炼网络层包括降维激活单元和聚焦加权单元;所述将所述包含第三提炼深度的调优编码特征输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层对所述第二GIS空间数据进行进阶特征提炼编码,获得包含第四提炼深度的调优编码特征,包括:
将所述包含第三提炼深度的调优编码特征,输入到所述进阶特征提炼网络层中;
通过所述降维激活单元,提取所述调优编码特征在不同维度下的核心空间信息;
通过所述聚焦加权单元对所述不同维度下的核心空间信息,在空间分布上按序进行相加和偏心计算,得到所述包含第四提炼深度的调优编码特征。
2.根据权利要求1所述的方法,其特征在于,所述对拟检测GIS空间数据集进行移动尺取,得到多个子GIS空间数据簇,包括:
基于预设的划簇工具,按照预设的尺取长度对所述拟检测GIS空间数据集进行划簇操作,得到多个子GIS空间数据簇,所述多个子GIS空间数据簇的数据长度一致。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取布莱克曼窗算法;
基于所述布莱克曼窗算法对每一所述子GIS空间数据簇进行加窗过渡,得到多个加窗过渡后的子GIS空间数据簇;
所述对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征,包括:
对每一加窗过渡后的子GIS空间数据簇进行空间数据特征提炼,得到所述子GIS空间数据簇编码特征。
4.根据权利要求1所述的方法,其特征在于,所述通过事先部署的特征编码网络,对每一子GIS空间数据簇进行空间数据特征提炼,得到子GIS空间数据簇编码特征,包括:
将每一所述子GIS空间数据簇输入到所述初阶特征提炼网络层中,通过所述初阶特征提炼网络层,对所述子GIS空间数据簇进行初阶特征提炼编码,获得包含第一提炼深度的编码特征;
将所述包含第一提炼深度的编码特征,输入到所述进阶特征提炼网络层中,通过所述进阶特征提炼网络层,对所述子GIS空间数据簇进行进阶特征提炼编码,获得包含第二提炼深度的编码特征;所述第一提炼深度小于所述第二提炼深度。
5.根据权利要求1所述的方法,其特征在于,所述依据所述子GIS空间数据簇编码特征和所述每一对照空间数据的编码特征,对每一所述子GIS空间数据簇进行异常识别,得到异常识别子结果,包括:
确定所述子GIS空间数据簇编码特征与所述每一对照空间数据的编码特征之间的特征共性评分;
当所述子GIS空间数据簇编码特征与任一对照空间数据的编码特征之间的特征共性评分大于特征共性评分临界值时,确定所述子GIS空间数据簇的异常识别子结果为响应对照结果;所述响应对照结果表示所述子GIS空间数据簇中包含和所述预设对照数据库中的对照空间数据具有同样类型的GIS空间数据。
6.根据权利要求5所述的方法,其特征在于,所述依据所述多个子GIS空间数据簇的异常识别子结果,确定所述拟检测GIS空间数据集对应的异常识别结果,包括:
当任一子GIS空间数据簇的异常识别子结果为所述响应对照结果时,确定所述拟检测GIS空间数据集对应的异常识别结果为所述响应对照结果。
7.根据权利要求1所述的方法,其特征在于,所述进阶特征提炼网络层包括损失确定单元,所述损失确定单元包括第二损失确定算法;所述方法还包括:
将所述包含第四提炼深度的调优编码特征和所述第二GIS空间数据的异常注释信息,输入到所述损失确定单元;
通过所述损失确定单元的第二损失确定算法,确定所述包含第四提炼深度的调优编码特征对应的第二网络损失信息;
基于所述第二网络损失信息对所述降维激活单元和所述聚焦加权单元中的网络内配配置变量进行更新,得到调优后的进阶特征提炼网络层。
8.一种空间数据处理系统,其特征在于,包括:
处理器;
以及存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311746358.4A CN117421386B (zh) | 2023-12-19 | 2023-12-19 | 基于gis的空间数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311746358.4A CN117421386B (zh) | 2023-12-19 | 2023-12-19 | 基于gis的空间数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117421386A CN117421386A (zh) | 2024-01-19 |
CN117421386B true CN117421386B (zh) | 2024-04-16 |
Family
ID=89525204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311746358.4A Active CN117421386B (zh) | 2023-12-19 | 2023-12-19 | 基于gis的空间数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117421386B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317918A (zh) * | 2014-10-29 | 2015-01-28 | 深圳先进技术研究院 | 基于复合大数据gis的异常行为分析及报警系统 |
CN105376260A (zh) * | 2015-12-18 | 2016-03-02 | 重庆邮电大学 | 一种基于密度峰值聚类的网络异常流量监测系统 |
CN111881131A (zh) * | 2020-06-18 | 2020-11-03 | 广东电网有限责任公司广州供电局 | 一种应用于电网规划的三维gis平台 |
CN113434576A (zh) * | 2021-06-30 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种enso事件类型划分方法 |
CN114090396A (zh) * | 2022-01-24 | 2022-02-25 | 华南理工大学 | 一种云环境多指标无监督异常检测和根因分析方法 |
CN114897131A (zh) * | 2022-04-15 | 2022-08-12 | 国网江西省电力有限公司电力科学研究院 | 基于深度学习网络的gis触头温升状态监测方法及系统 |
CN115659135A (zh) * | 2022-11-11 | 2023-01-31 | 石家庄铁大科贤信息技术有限公司 | 一种面向多源异构工业传感器数据的异常检测方法 |
CN116089012A (zh) * | 2023-01-18 | 2023-05-09 | 华南理工大学 | 一种基于容器资源指标的自适应容器异常检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5301310B2 (ja) * | 2009-02-17 | 2013-09-25 | 株式会社日立製作所 | 異常検知方法及び異常検知システム |
BR112015010990A2 (pt) * | 2012-11-13 | 2017-07-11 | Elminda Ltd | ''análise de dados neurofisiológicos utilizando parcelamento espaço-temporal'' |
-
2023
- 2023-12-19 CN CN202311746358.4A patent/CN117421386B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317918A (zh) * | 2014-10-29 | 2015-01-28 | 深圳先进技术研究院 | 基于复合大数据gis的异常行为分析及报警系统 |
CN105376260A (zh) * | 2015-12-18 | 2016-03-02 | 重庆邮电大学 | 一种基于密度峰值聚类的网络异常流量监测系统 |
CN111881131A (zh) * | 2020-06-18 | 2020-11-03 | 广东电网有限责任公司广州供电局 | 一种应用于电网规划的三维gis平台 |
CN113434576A (zh) * | 2021-06-30 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种enso事件类型划分方法 |
CN114090396A (zh) * | 2022-01-24 | 2022-02-25 | 华南理工大学 | 一种云环境多指标无监督异常检测和根因分析方法 |
CN114897131A (zh) * | 2022-04-15 | 2022-08-12 | 国网江西省电力有限公司电力科学研究院 | 基于深度学习网络的gis触头温升状态监测方法及系统 |
CN115659135A (zh) * | 2022-11-11 | 2023-01-31 | 石家庄铁大科贤信息技术有限公司 | 一种面向多源异构工业传感器数据的异常检测方法 |
CN116089012A (zh) * | 2023-01-18 | 2023-05-09 | 华南理工大学 | 一种基于容器资源指标的自适应容器异常检测方法 |
Non-Patent Citations (2)
Title |
---|
Spatial anomaly detection in sensor networks using neighborhood information;Hedde HWJ Bosman et al.;《Information Fusion》;20160426;41-56 * |
基于深度学习的农村住房遥感信息提取研究及时空演变应用;叶自然;《中国博士学位论文全文数据库 基础科学辑》;20220115;A008-45 * |
Also Published As
Publication number | Publication date |
---|---|
CN117421386A (zh) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110968654B (zh) | 文本数据的地址类目确定方法、设备以及系统 | |
CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
US10073908B2 (en) | Functional space-time trajectory clustering | |
Qin et al. | Simulating and Predicting of Hydrological Time Series Based on TensorFlow Deep Learning. | |
CN113378970B (zh) | 语句相似性检测方法、装置、电子设备及存储介质 | |
CN113570867B (zh) | 一种城市交通状态预测方法、装置、设备及可读存储介质 | |
CN111553279B (zh) | 兴趣点的表征学习、识别方法、装置、设备及存储介质 | |
CN112380104A (zh) | 用户属性识别方法、装置、电子设备及存储介质 | |
JP2023062150A (ja) | 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体 | |
CN116304341A (zh) | 基于用户网络大数据的欺诈判别方法及系统 | |
CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
CN117036834B (zh) | 基于人工智能的数据分类方法、装置及电子设备 | |
CN113569018A (zh) | 问答对挖掘方法及装置 | |
CN117421386B (zh) | 基于gis的空间数据处理方法及系统 | |
CN116775918A (zh) | 基于互补熵对比学习跨模态检索方法、系统、设备及介质 | |
CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
CN116451081A (zh) | 数据漂移的检测方法、装置、终端及存储介质 | |
CN114691918B (zh) | 基于人工智能的雷达图像检索方法、装置以及电子设备 | |
US20230022253A1 (en) | Fast and accurate prediction methods and systems based on analytical models | |
CN114997190A (zh) | 机器翻译方法、装置、计算机设备和存储介质 | |
CN113361522A (zh) | 确定字符序列的方法、装置和电子设备 | |
CN117539948B (zh) | 基于深度神经网络的业务数据检索方法及装置 | |
CN117911662B (zh) | 基于深度霍夫投票的数字孪生场景语义分割方法及系统 | |
CN118152974A (zh) | 一种新的多传感器数据融合方法、电子设备及存储介质 | |
CN116152582A (zh) | 图像分类方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |