CN117290617A - 一种海上分布式多源异构时空数据查询方法及系统 - Google Patents
一种海上分布式多源异构时空数据查询方法及系统 Download PDFInfo
- Publication number
- CN117290617A CN117290617A CN202311049009.7A CN202311049009A CN117290617A CN 117290617 A CN117290617 A CN 117290617A CN 202311049009 A CN202311049009 A CN 202311049009A CN 117290617 A CN117290617 A CN 117290617A
- Authority
- CN
- China
- Prior art keywords
- index
- entity
- view
- space
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010276 construction Methods 0.000 claims description 46
- 230000002776 aggregation Effects 0.000 claims description 35
- 238000004220 aggregation Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 35
- 238000012423 maintenance Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2393—Updating materialised views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种海上分布式多源异构时空数据查询方法及系统,属于海上感知系统态势知识数据管理领域,方法包括:当普通节点接收到查询请求时,在本层全局分布索引视图中搜索时空网格获取实体资源地址;若实体资源地址位于本地索引视图中,则获取实体的要素信息;否则向实体资源地址所在节点转发查询请求,获取实体的要素信息;当汇聚节点接收到查询请求时,在本层和上一层全局分布索引视图中搜索时空网格获取实体资源地址;若查询实体资源地址位于本层或上一层全局分布索引视图中的其他节点,则向所在节点转发查询请求;获取实体的要素信息。本发明提高了海上分布式多源异构时空数据的查询效率。
Description
技术领域
本发明属于海上感知系统态势知识数据管理领域,更具体地,涉及一种海上分布式多源异构时空数据查询方法及系统。
背景技术
在日常海洋权益维权执法和打击海上各类违法活动的过程中,由于单一平台对海域的感知范围有限,为了尽可能多的覆盖管控海域面积,需要多平台分布在不同区域进行布控、协同管控,各平台感知区域相互衔接才能尽可能的减少感知盲区,提高对海上船只日常行为的监视能力,从而提升海洋维权执法的效率。这就需要海上感知系统具备跨平台的分布式感知数据管理和查询能力。目前,单一平台对海面的感知数据主要由平台自身的多种传感器所采集,包括管控海域船只的实时位置数据、气象数据、水文数据、图像数据及人工判别数据等,这些数据具有信息来源多、结构多样化和多模态的特点,现有技术主要针对平台自身的感知数据环境,在本平台内实现多源异构数据的管理和查询,尚未针对海上通信受限和通信手段易干扰,容易造成数据不一致的特点,提供可靠的多节点分布式多元异构数据查询的有效解决方案。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种海上分布式多源异构时空数据查询方法及系统,旨在解决现有的海上分布式数据环境中跨节点多源异构态势数据查询困难,节点间数据一致性保持困难的技术问题。
为实现上述目的,一方面,本发明提供了一种海上分布式多源异构时空数据查询方法,包括以下步骤:
当普通节点接收到查询请求时,在当前更新的本层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址;若实体资源地址位于当前更新的本地索引视图中,则直接从本地多源异构数据池中获取实体的要素信息;否则向实体资源地址所在普通节点或汇聚节点转发查询请求,获取实体的要素信息后合并;
当汇聚节点接收到查询请求时,同时在当前更新的本层全局分布索引视图和上一层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址,若实体资源地址位于当前更新的本地索引视图,则直接从本地多源异构数据池中获取实体的要素信息;若查询实体资源地址位于本层全局分布索引视图中的其他节点,则向所在节点转发查询请求;若实体资源地址位于上一层全局分布索引视图中的节点,则向上一层全局分布索引视图中的汇聚节点转发查询请求,获取实体的要素信息后合并;
其中,本地索引视图构建在各平台,用于维护本地多源异构态势数据,为全局分布索引视图提供数据资源更新摘要;全局分布索引视图分层建立多层数据索引链环,并与本地索引视图关联;每层索引链环至少包含一个汇聚节点,本层索引链环采用汇聚节点接入上一层索引链环;全局分布索引视图和本地索引视图中均设置有普通节点;普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝;且汇聚节点还用于更新上一层全局分布索引视图拷贝。
进一步优选地,本地索引视图采用第一时空知识索引表,所述第一时空知识索引表的构建方法为:
构建海上态势知识图谱实体集合和关系集合;其中,实体集合包括航迹类实体和知识类实体;航迹类实体包括航迹描述实体和航迹段实体;关系集合包括普通关系和时空关系;普通关系为传统知识图谱中的关系;时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建;
其中,时空网格编码分为空间编码和时间编码;空间编码和时间编码的最大长度均为32位二进制;
空间编码方法包括以下步骤:
将地球东经180至西经180,北纬90度至南纬90度的地理坐标空间视为一个平面;
给定一个网格单元所表示的度数跨度,将平面划分成若干网格单元;
利用填充曲线编码从0开始为每一个网格单元编号,所述网格单元编号为网格单元的空间编码;
时间编码方法包括以下步骤:
将时间轴按照若干时间间隔划分,为每一个时间间隔设定一串32位的二进制数以唯一标识。
进一步优选地,全局分布索引视图采用第二时空知识索引表,第二时空知识索引表包括:时空网格编码、实体标识符列表和实体资源列表;实体标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址。
进一步优选地,全局分布索引视图的更新方法,包括以下步骤:
初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,其中,将第1层全局分布索引视图直接拷贝本地索引视图;
各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
若索引数据中的实体标识符在全局分布索引视图的时空网格单元中已存在,则将节点标识加入实体资源列表;若实体标识符在全局分布索引视图的时空网格单元中不存在,则将实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表中。
进一步优选地,优化后的区块链机制采用现有的区块链技术框架,在区块头信息中删除用于激励的算题,增加时空网格编码及索引链环层数;添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;
其中,更新消息签名为所有在节点间传递的索引视图更新数据均进行消息签名;节点包括普通节点和汇聚节点;索引视图包括本地索引视图和全局分布索引视图;
全局分布索引更新原语为一组全局分布索引视图更新消息执行单元的集合;其中,集合元素具备完备性、独立性、原子性和排他性;全局分布索引更新原语包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;
视图更新操作链为由多个全局分布索引视图更新原语二元组组成的序列,用于对索引新建、修改和删除全过程的更新过程记录;
全局分布索引视图更新原语共识过程为全局分布索引视图更新原语在执行前,发起更新操作的节点向网络中广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
全局分布索引视图更新原语智能合约为在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成。
另一方面,本发明提供了一种海上分布式多源异构时空数据查询系统,包括:
普通节点查询请求模块,用于当普通节点接收到查询请求时,在当前更新的本层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址;若实体资源地址位于当前更新的本地索引视图中,则直接从本地多源异构数据池中获取实体的要素信息;否则向实体资源地址所在普通节点或汇聚节点转发查询请求,获取实体的要素信息后合并;
汇聚节点查询请求模块,用于当汇聚节点接收到查询请求时,同时在当前更新的本层全局分布索引视图和上一层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址,若实体资源地址位于当前更新的本地索引视图,则直接从本地多源异构数据池中获取实体的要素信息;若查询实体资源地址位于本层全局分布索引视图中的其他节点,则向所在节点转发查询请求;若实体资源地址位于上一层全局分布索引视图中的节点,则向上一层全局分布索引视图中的汇聚节点转发查询请求,获取实体的要素信息后合并;
其中,本地索引视图构建在各平台,用于维护本地多源异构态势数据,为全局分布索引视图提供数据资源更新摘要;全局分布索引视图分层建立多层数据索引链环,并与本地索引视图关联;每层索引链环至少包含一个汇聚节点,本层索引链环采用汇聚节点接入上一层索引链环;全局分布索引视图和本地索引视图中均设置有普通节点;普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝;且汇聚节点还用于更新上一层全局分布索引视图拷贝。
进一步优选地,海上分布式多源异构时空数据查询系统还包括第一时空知识索引表构建模块,第一时空知识索引表构建模块包括:实体集合构建单元、关系集合构建单元、时空关系索引表构建单元和实体关系互联构建单元;
实体集合构建单元用于构建海上态势知识图谱实体集合;其中,实体集合包括航迹类实体和知识类实体;航迹类实体包括航迹描述实体和航迹段实体;
关系集合构建单元用于构建海上态势知识图谱关系集合;其中,关系集合包括普通关系和时空关系;普通关系为传统知识图谱中的关系;时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
时空关系索引表构建单元用于将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
实体关系互联构建单元用于将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建。
进一步优选地,全局分布索引视图采用第二时空知识索引表,第二时空知识索引表包括:时空网格编码、实体标识符列表和实体资源列表;实体标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址。
进一步优选地,海上分布式多源异构时空数据查询系统还包括全局分布索引视图更新模块,全局分布索引视图包括初始状态构建单元和视图更新单元;
初始状态构建单元用于初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,其中,将第1层全局分布索引视图直接拷贝本地索引视图;
视图更新单元用于各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
若索引数据中的实体标识符在全局分布索引视图的时空网格单元中已存在,则将节点标识加入实体资源列表;若实体标识符在全局分布索引视图的时空网格单元中不存在,则将实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表中。
进一步优选地,优化后的区块链机制采用现有的区块链技术框架,在区块头信息中删除用于激励的算题,增加时空网格编码及索引链环层数;添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;
其中,更新消息签名为所有在节点间传递的索引视图更新数据均进行消息签名;节点包括普通节点和汇聚节点;索引视图包括本地索引视图和全局分布索引视图;
全局分布索引更新原语为一组全局分布索引视图更新消息执行单元的集合;其中,集合元素具备完备性、独立性、原子性和排他性;全局分布索引更新原语包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;
视图更新操作链为由多个全局分布索引视图更新原语二元组组成的序列,用于对索引新建、修改和删除全过程的更新过程记录;
全局分布索引视图更新原语共识过程为全局分布索引视图更新原语在执行前,发起更新操作的节点向网络中广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
全局分布索引视图更新原语智能合约为在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下
有益效果:
本发明提供了一种海上分布式多源异构时空数据查询方法及系统,其中,节点包括普通节点和汇聚节点,全局分布索引视图和所述本地索引视图中均设置有普通节点;全局分布索引视图分层建立多层数据索引链环;每层索引链环至少包含一个汇聚节点,本层索引链环接入上一层索引链环采用汇聚节点;普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝,且汇聚节点还用于更新上一层全局分布索引视图拷贝;索引视图包括本地索引视图和全局分布索引视图,本地索引视图构建在各平台用于维护本地所源异构态势数据;全局分布索引视图分层建立多层数据索引链环;查询请求入口可在任意节点提交,索引可自动识别查询副本的分布状态,在副本间均衡查询请求,本发明提高了海上分布式多源异构时空数据的查询效率,同时本发明支持有限带宽无线通信条件下的分布式多源异构数据查询。
本发明提供了一种海上分布式多源异构时空数据查询方法及系统,其中,优化后的区块链机制采用现有的区块链技术框架,并添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;多节点间可保持多源异构数据的索引版本的一致性和完整性。
本发明提供了一种海上分布式多源异构时空数据查询方法及系统,其中,普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝,且汇聚节点还用于更新上一层全局分布索引视图拷贝;其中,全局分布索引视图的更新方法中各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;从中可以看出,本发明可以实现节点的存储、索引和查询模式不变,对索引视图的影响较小。
附图说明
图1是本发明实施例提供的分层索引链环组织结构示意图;
图2是本发明实施例提供的普通节点和汇聚节点索引视图组织结构示意图;
图3是本发明实施例提供的全局分布索引视图时空索引数据结构示意图;
图4是本发明实施例提供的全局分布索引视图更新链结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一方面,本发明提供了一种海上分布式多源异构时空数据查询方法,包括以下步骤:
S1:为全域的多源异构数据建立全局一致的索引视图;视图包括本地索引视图和全局分布索引视图两层,其中,本地索引视图构建在各平台上,用于维护本地多源异构态势数据,为全局分布索引视图提供数据资源更新摘要;全局分布索引视图分层建立全网一致的多层数据索引链环,并实现到本地索引视图的关联;
全局分布索引视图由多层数据索引链环组成,每一层索引链环包括不超过8个平台节点,每一层索引链环中包含至少一个汇聚节点,通过汇聚节点接入上一层索引链环,从下至上形成多层的索引链环;索引链环的层次在理论上不受限制,但从实际应用的角度,建议层数不超过三层,如图1所示。
每一层索引链环通过优化后的私有区块链机制在所有本链环内的节点上保持该层分布索引视图的一致性;不同层的分布索引视图之间通过汇聚节点进行交互;根据应用需要,链环内可设置多个汇聚节点,多个汇聚节点可带来高层索引链环分布索引视图的备份,提升索引视图的安全性和一致性,但会造成节点间的通信量增加,普通应用中建议不超过两个汇聚节点;
根据上述的索引视图结构特点,可将海上平台划分为两类节点:普通节点和汇聚节点;普通节点负责维护本地索引视图及本层全局分布索引视图的拷贝;汇聚节点除了普通节点的索引视图外还需要维护上一层全局分布索引视图拷贝,汇聚节点应由通信能力和处理能力强的节点担任,如图2所示;
S1.1:本地索引视图构建
本地多源异构数据索引视图采用时空知识索引表;其中,时空知识索引表的构建方法为:
a.构建海上态势知识图谱实体集合和关系集合;其中,实体集合包括航迹类实体和知识类实体;航迹类实体包括航迹描述实体和航迹段实体;关系集合包括普通关系和时空关系;普通关系为传统知识图谱中的关系;时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
b.将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
c.将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建;
其中,时空网格编码分为空间编码和时间编码;空间编码和时间编码的最大长度均为32位二进制;
空间编码方法包括以下步骤:
将地球东经180至西经180,北纬90度至南纬90度的地理坐标空间视为一个平面;
给定一个网格单元所表示的度数跨度,将平面划分成若干网格单元;
利用填充曲线编码从0开始为每一个网格单元编号,所述网格单元编号为网格单元的空间编码;
时间编码方法包括以下步骤:
将时间轴按照若干时间间隔划分,为每一个时间间隔设定一串32位的二进制数以唯一标识;
将空间编码和时间编码组合后形成时空网格编码;
步骤c具体包括以下步骤:
c.1:实体数据预处理,具体包括以下步骤:
c.1.1:航迹类实体预处理,具体包括以下步骤:
将航迹类实体中的异常数据进行剔除;异常数据包括关键数据要素不完整、数据值超过有效值范围以及重复数据;
将航迹点实体根据时间戳的先后顺序组织成航迹数据分类汇总表;
根据航迹数据分类汇总表生成航迹摘要信息,航迹摘要信息包括航迹起止时间、航迹空间范围和航迹点个数;
c.1.2:知识类实体预处理,具体包括以下步骤:
将知识类实体中的异常数据进行剔除,异常数据包括关键数据要素不完整、无标题、无内容、字符集混乱、重复数据以及图像视频缺失数据大于50%;
根据知识类实体的来源对实体进行分类,将同一来源的实体汇总到一起,形成知识类实体分类集合;
c.2提取实体数据,具体包括以下步骤:
c.2.1:航迹类实体数据的提取与更新,具体包括以下步骤:
将航迹摘要信息生成航迹描述实体;
将航迹数据分类汇总表的航迹类实体分成若干航迹段实体,将航迹段实体标识加入航迹描述实体的航迹段列表属性中;
遍历航迹描述实体所属航迹的所有航迹点,根据航迹点位置计算时空编码,将所有时空编码相同的航迹点放入同一航迹段实体的航迹点列表中,将航迹段实体标识加入航迹描述实体的航迹段列表属性中;
c.2.2:知识类实体数据的提取与更新:
将知识类实体通过关键字匹配方法提取知识类实体,根据实体具体的描述内容,分别将信息填入实体要素中;
c.3:时空关系的提取与更新:
根据时间范围计算时间编码,根据空间范围计算空间编码,综合时间编码和空间编码,在对应的时空关系索引表中,将实体标识信息加入到实体标识列表;
c.4:采用传统知识图谱关系提取普通关系;
S1.2:第i层全局分布索引视图构建
全局分布索引视图数据结构如图3所示,时空关系索引表按照时空网格编码组织,每一个网格中的索引数据包括时空网格编码、实体标识符列表和实体资源列表三部分,时空标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址,如果地址为Local则标识资源在本地多源异构数据池中;
第i层全局分布索引视图通过第i-1层全局分布索引视图构建,第1层全局分布索引视图通过本层索引链环内各节点的本地索引视图构建,构建方法如下:
S1.2.1:初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,第1层全局分布索引视图直接拷贝本节点本地索引视图;
S1.2.2:各节点通过S2的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图数据,根据索引中的时空编码,将时空编码相同网格内的索引数据项进行合并,合并后将更新数据向本环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
如果实体标识符在全局分布索引视图中已存在,则将该实体标识加入实体资源列表;如果实体标识符在全局分布索引视图中不存在,则将该实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表;
S1.2.3:每当索引视图发生更新时,执行S1.2.2,实现各层全局分布索引视图的一致性更新;
通过上述步骤,每一个索引环内各节点均可维护一个完整、一致的本层全局分布索引视图,整个索引视图在结构上形成若干个私有区块链;
S2:如图4所示,在每一层索引链环上,基于优化后的私有区块链机制,在节点间交换分布索引视图数据,确保每一层全局分布索引视图在各节点上都是一致的,并可保持全局分布索引视图数据的可信性、可追踪性和完整性;本发明基于常用的区块链技术框架,采用通用的技术架构,先对传统区块链优化的地方进行具体说明:
S2.1:更新消息签名
所有在节点间传递的索引视图更新数据均进行消息签名,实现完整、一致的索引视图数据交互和索引更新命令消息交互,主要依靠通用区块链的数据层和网络层应用进行处理,在实现中,可根据应用的需要替换相关加解密和签名算法模块,进一步提升系统的安全性;
S2.2:全局分布索引视图更新原语及视图更新操作链表示
全局分布索引视图更新原语:为一组全局分布索引视图更新消息执行单元的集合,该集合元素满足下列条件:
a.完备性:所有索引更新处理流程可通过集合元素之间的逻辑组合表示;
b.独立性:集合元素之间相互独立,互相不干涉;
c.原子性:集合元素不可再分,为最小的执行单元;
d.排他性:一旦执行,必须完成整个处理过程,中途不可中断;
全局分布索引视图更新原语是构成全局分布索引视图更新处理流程的最基本元素,主要包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;各命令原语包括命令标识和命令参数,可采用系统可识别的任意方式描述,建议使用XML或JSON等通俗易懂的描述方法;
视图更新操作链:由多个全局分布索引视图更新原语二元组组成的序列,用于表示针对某个索引新建、修改和删除全过程的更新过程记录;作为视图索引更新过程审计,判断索引一致性状态的依据;在本发明中将其视为与区块链中的交易等同,利用区块链保存整个索引视图更新操作过程;在原有区块链结构不同的是,在区块头信息中删除了用于激励的算题,增加了时空知识索引表时空网格编码及索引链环层数的内容;
S2.3:全局分布索引视图更新原语共识过程
本发明主要依靠全局分布索引视图维护原语在节点中协调一致的执行以保证全局分布索引视图更新过程的完整性和一致性,全局分布索引视图更新原语在执行前,发起更新操作的节点向网络中广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定好的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
在共识过程中,本层索引链环中的节点具备相同的处理权限,仅当执行可能导致冲突时,由汇聚节点进行干预和处理,共识规则可根据实际应用设定,例如,可设置成为2/3成员节点批复则原语可执行,否则原语不可执行;
S2.4:全局分布索引视图更新原语智能合约
为了应对更为复杂的全局分布索引视图更新操作,避免对更新流程理解不一致和操作顺序不一致造成的全局分布索引视图数据问题,在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成全局分布索引视图维护原语智能合约,将索引更新过程形成统一的智能合约脚本,全网统一执行该智能合约脚本进一步提升本层索引链环的全局分布索引视图维护的一致性和完整性;
S2.5:全局分布式索引维护过程监控和确认
为了对整个索引维护过程的监控和管理,及提供特殊情况下的保底手段,本发明通过人机交互方式,协助索引管理人员对索引更新维护的整个工作情况、原语的执行情况进行监控,适时做出调整;同时,也提供对全局分布索引视图数据的一致性进行确认和维护;
S3:分布式多源异构数据查询流程
基于S1所构建的多层全局分布索引视图,海上分布式多源异构数据的查询流程如下:
普通节点接收到查询请求时,对查询请求进行解析,在本层全局分布式索引视图中根据查询请求搜索时空网格,获取实体资源地址,如果实体资源地址位于本地索引视图,则直接从本地多源异构数据池中获取查询数据(实体要素信息),否则向实体资源地址所在节点转发查询请求,获得查询结果后,在本地进行合并,然后返回查询结果;
汇聚节点接收到查询请求时,同时在本层全局分布式索引视图和上一层全局分布式索引视图中根据查询请求搜索时空网格,获取实体资源地址,如果实体资源地址位于本地索引视图,则直接从本地多源异构数据池中获取查询数据;如果实体资源地址位于本层全局分布索引视图中的其他节点,则向该节点转发查询请求;如果实体资源地址位于上一层全局分布索引视图中的节点,则向该层汇聚节点转发查询请求;接收到查询数据后在本地进行合并,然后返回查询结果。
另一方面,本发明提供了一种海上分布式多源异构数据查询系统,包括:
普通节点查询请求模块,用于当普通节点接收到查询请求时,在当前更新的本层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址;若实体资源地址位于当前更新的本地索引视图中,则直接从本地多源异构数据池中获取实体的要素信息;否则向实体资源地址所在普通节点或汇聚节点转发查询请求,获取实体的要素信息后合并;
汇聚节点查询请求模块,用于当汇聚节点接收到查询请求时,同时在当前更新的本层全局分布索引视图和上一层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址,若实体资源地址位于当前更新的本地索引视图,则直接从本地多源异构数据池中获取实体的要素信息;若查询实体资源地址位于本层全局分布索引视图中的其他节点,则向所在节点转发查询请求;若实体资源地址位于上一层全局分布索引视图中的节点,则向上一层全局分布索引视图中的汇聚节点转发查询请求,获取实体的要素信息后合并;
其中,本地索引视图构建在各平台,用于维护本地多源异构态势数据,为全局分布索引视图提供数据资源更新摘要;全局分布索引视图分层建立多层数据索引链环,并与本地索引视图关联;每层索引链环至少包含一个汇聚节点,本层索引链环采用汇聚节点接入上一层索引链环;全局分布索引视图和本地索引视图中均设置有普通节点;普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝;且汇聚节点还用于更新上一层全局分布索引视图拷贝。
进一步优选地,海上分布式多源异构时空数据查询系统还包括第一时空知识索引表构建模块,第一时空知识索引表构建模块包括:实体集合构建单元、关系集合构建单元、时空关系索引表构建单元和实体关系互联构建单元;
实体集合构建单元用于构建海上态势知识图谱实体集合;其中,实体集合包括航迹类实体和知识类实体;航迹类实体包括航迹描述实体和航迹段实体;
关系集合构建单元用于构建海上态势知识图谱关系集合;其中,关系集合包括普通关系和时空关系;普通关系为传统知识图谱中的关系;时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
时空关系索引表构建单元用于将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
实体关系互联构建单元用于将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建。
进一步优选地,全局分布索引视图采用第二时空知识索引表,第二时空知识索引表包括:时空网格编码、实体标识符列表和实体资源列表;实体标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址。
进一步优选地,海上分布式多源异构时空数据查询系统还包括全局分布索引视图更新模块,全局分布索引视图包括初始状态构建单元和视图更新单元;
初始状态构建单元用于初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,其中,将第1层全局分布索引视图直接拷贝本地索引视图;
视图更新单元用于各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
若索引数据中的实体标识符在全局分布索引视图的时空网格单元中已存在,则将节点标识加入实体资源列表;若实体标识符在全局分布索引视图的时空网格单元中不存在,则将实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表中。
进一步优选地,优化后的区块链机制采用现有的区块链技术框架,在区块头信息中删除用于激励的算题,增加时空网格编码及索引链环层数;添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;
其中,更新消息签名为所有在节点间传递的索引视图更新数据均进行消息签名;节点包括普通节点和汇聚节点;索引视图包括本地索引视图和全局分布索引视图;
全局分布索引更新原语为一组全局分布索引视图更新消息执行单元的集合;其中,集合元素具备完备性、独立性、原子性和排他性;全局分布索引更新原语包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;
视图更新操作链为由多个全局分布索引视图更新原语二元组组成的序列,用于对索引新建、修改和删除全过程的更新过程记录;
全局分布索引视图更新原语共识过程为全局分布索引视图更新原语在执行前,发起更新操作的节点向广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
全局分布索引视图更新原语智能合约为在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成。
在实际的应用平台,本发明提供的海上分布式多源异构时空数据查询系统也可以划分为以下几个模块:
本地索引视图维护模块,用于维护本地多源数据索引,响应外部节点转发的查询请求,向外部节点返回查询结果;
全局分布索引视图维护模块,用于利用区块链机制维护本层全局分布式索引视图,实现索引链内全网一致的全局数据资源索引视图,执行索引更新原语和索引更新合约,保障全局分布式索引的一致性维护,响应查询请求,计算查询路由,生成查询链接;
分布式多源异构数据查询模块,用于接收查询请求,解析查询原语,生成子查询,对子查询进行调度执行,获取查询结果并反馈;
日志管理模块,用于记录数据接收、索引分类、查询原语提取、查询构建与更新等操作时间戳,计算处理时延,对超时情况进行告警。
针对海上分布式数据环境中对跨节点多源异构态势数据查询困难,节点间数据一致性保持困难的问题,本发明提供了一种海上分布式多源异构时空数据查询方法及系统,可以用来有效解决高度动态环境下跨节点多源异构数据全局索引的一致性维护和更新,为海上态势知识认知应用提供及时可靠的分布式态势图谱数据查询支撑,与现有方法相比,本发明具备以下优势:
支持有限带宽无线通信条件下的分布式多源异构数据查询;
尽可能保持本节点的存储、索引和查询模式不变,对现有系统影响较小;
多节点间可保持多源异构数据的索引版本的一致性和完整性;
查询请求入口可在任意节点提交;
索引可自动识别查询副本的分布状态,在副本间均衡查询请求,提高系统整体查询效率;
整体结构清晰,便于实施,能够提高实现的可靠性、运行的稳定性。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种海上分布式多源异构时空数据查询方法,其特征在于,包括以下步骤:
当普通节点接收到查询请求时,在当前更新的本层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址;若实体资源地址位于当前更新的本地索引视图中,则直接从本地多源异构数据池中获取实体的要素信息;否则向实体资源地址所在普通节点或汇聚节点转发查询请求,获取实体的要素信息后合并;
当汇聚节点接收到查询请求时,同时在当前更新的本层全局分布索引视图和上一层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址,若实体资源地址位于当前更新的本地索引视图,则直接从本地多源异构数据池中获取实体的要素信息;若查询实体资源地址位于本层全局分布索引视图中的其他节点,则向所在节点转发查询请求;若实体资源地址位于上一层全局分布索引视图中的节点,则向上一层全局分布索引视图中的汇聚节点转发查询请求,获取实体的要素信息后合并;
其中,所述本地索引视图构建在各平台用于维护本地多源异构态势数据;所述全局分布索引视图分层建立多层数据索引链环;每层索引链环至少包含一个汇聚节点,本层索引链环采用汇聚节点接入上一层索引链环;所述全局分布索引视图和所述本地索引视图中均设置有普通节点;所述普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝,且汇聚节点还用于更新上一层全局分布索引视图拷贝。
2.根据权利要求1所述的海上分布式多源异构时空数据查询方法,其特征在于,所述本地索引视图采用第一时空知识索引表,所述第一时空知识索引表的构建方法为:
构建海上态势知识图谱实体集合和关系集合;其中,实体集合包括航迹类实体和知识类实体;所述航迹类实体包括航迹描述实体和航迹段实体;关系集合包括普通关系和时空关系;所述普通关系为传统知识图谱中的关系;所述时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建;
其中,时空网格编码分为空间编码和时间编码;空间编码和时间编码的最大长度均为32位二进制;
空间编码方法包括以下步骤:
将地球东经180至西经180,北纬90度至南纬90度的地理坐标空间视为一个平面;
给定一个网格单元所表示的度数跨度,将平面划分成若干网格单元;
利用填充曲线编码从0开始为每一个网格单元编号,所述网格单元编号为网格单元的空间编码;
时间编码方法包括以下步骤:
将时间轴按照若干时间间隔划分,为每一个时间间隔设定一串32位的二进制数以唯一标识。
3.根据权利要求2所述的海上分布式多源异构时空数据查询方法,其特征在于,所述全局分布索引视图采用第二时空知识索引表,第二时空知识索引表包括:时空网格编码、实体标识符列表和实体资源列表;实体标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址。
4.根据权利要求1至3任一所述的海上分布式多源异构时空数据查询方法,其特征在于,全局分布索引视图的更新方法,包括以下步骤:
初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,其中,将第1层全局分布索引视图直接拷贝本地索引视图;
各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
若索引数据中的实体标识符在全局分布索引视图的时空网格单元中已存在,则将节点标识加入实体资源列表;若实体标识符在全局分布索引视图的时空网格单元中不存在,则将实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表中。
5.根据权利要求4所述的海上分布式多源异构时空数据查询方法,其特征在于,优化后的区块链机制采用现有的区块链技术框架,在区块头信息中删除用于激励的算题,增加时空网格编码及索引链环层数;添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;
其中,更新消息签名为所有在节点间传递的索引视图更新数据均进行消息签名;节点包括普通节点和汇聚节点;索引视图包括本地索引视图和全局分布索引视图;
全局分布索引更新原语为一组全局分布索引视图更新消息执行单元的集合;其中,集合元素具备完备性、独立性、原子性和排他性;全局分布索引更新原语包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;
视图更新操作链为由多个全局分布索引视图更新原语二元组组成的序列,用于对索引新建、修改和删除全过程的更新过程记录;
全局分布索引视图更新原语共识过程为全局分布索引视图更新原语在执行前,发起更新操作的节点向网络中广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
全局分布索引视图更新原语智能合约为在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成。
6.一种海上分布式多源异构时空数据查询系统,其特征在于,包括:
普通节点查询请求模块,用于当普通节点接收到查询请求时,在当前更新的本层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址;若实体资源地址位于当前更新的本地索引视图中,则直接从本地多源异构数据池中获取实体的要素信息;否则向实体资源地址所在普通节点或汇聚节点转发查询请求,获取实体的要素信息后合并;
汇聚节点查询请求模块,用于当汇聚节点接收到查询请求时,同时在当前更新的本层全局分布索引视图和上一层全局分布索引视图中根据查询请求搜索时空网格,获取实体资源地址,若实体资源地址位于当前更新的本地索引视图,则直接从本地多源异构数据池中获取实体的要素信息;若查询实体资源地址位于本层全局分布索引视图中的其他节点,则向所在节点转发查询请求;若实体资源地址位于上一层全局分布索引视图中的节点,则向上一层全局分布索引视图中的汇聚节点转发查询请求,获取实体的要素信息后合并;
其中,本地索引视图构建在各平台,用于维护本地多源异构态势数据,为全局分布索引视图提供数据资源更新摘要;全局分布索引视图分层建立多层数据索引链环,并与本地索引视图关联;每层索引链环至少包含一个汇聚节点,本层索引链环采用汇聚节点接入上一层索引链环;全局分布索引视图和本地索引视图中均设置有普通节点;普通节点和汇聚节点均用于更新本地索引视图及本层全局分布索引视图的拷贝;且汇聚节点还用于更新上一层全局分布索引视图拷贝。
7.根据权利要求6所述的海上分布式多源异构时空数据查询系统,其特征在于,还包括第一时空知识索引表构建模块,第一时空知识索引表构建模块包括:实体集合构建单元、关系集合构建单元、时空关系索引表构建单元和实体关系互联构建单元;
实体集合构建单元用于构建海上态势知识图谱实体集合;其中,实体集合包括航迹类实体和知识类实体;航迹类实体包括航迹描述实体和航迹段实体;
关系集合构建单元用于构建海上态势知识图谱关系集合;其中,关系集合包括普通关系和时空关系;普通关系为传统知识图谱中的关系;时空关系为两个及两个以上存在时空属性的图谱实体在时间范围或空间范围内相交;
时空关系索引表构建单元用于将地球网格划分同时对时间轴进行分割形成时空网格单元,通过对时空网格单元进行二进制时空网格编码,构建时空关系索引表;
实体关系互联构建单元用于将知识类实体与普通关系采用图数据库存储,航迹类实体通过航迹描述实体进行摘要检索,通过航迹段实体和时空关系索引表实现航迹点数据的存储和时空关系的关联,知识类实体中的时空要素属性映射到时空关系索引表中,且时空网格单元保存存在时空关系的航迹段实体标识和知识类实体标识,完成第一时空知识索引表的构建。
8.根据权利要求7所述的海上分布式多源异构时空数据查询系统,其特征在于,全局分布索引视图采用第二时空知识索引表,第二时空知识索引表包括:时空网格编码、实体标识符列表和实体资源列表;实体标识符列表记录当前时空网格编码下所有实体标识信息,每一个实体标识符链接一个实体资源地址列表,记录该实体数据具体来自的资源地址。
9.根据权利要求6至8任一所述的海上分布式多源异构时空数据查询系统,其特征在于,还包括全局分布索引视图更新模块,全局分布索引视图包括初始状态构建单元和视图更新单元;
初始状态构建单元用于初始状态时,将第i层全局分布索引视图直接拷贝第i-1层全局分布索引视图,其中,将第1层全局分布索引视图直接拷贝本地索引视图;
视图更新单元用于各节点通过优化后的区块链机制向本层索引链环中的汇聚节点交互本层全局分布索引视图,根据第二知识索引表中的时空编码,将相同时空编码网格内的索引数据项合并,合并后将更新数据向本层索引链环其他节点广播,同时向上一层汇聚节点报告本层全局分布索引视图更新;
其中,索引数据项合并方法为:
若索引数据中的实体标识符在全局分布索引视图的时空网格单元中已存在,则将节点标识加入实体资源列表;若实体标识符在全局分布索引视图的时空网格单元中不存在,则将实体标识符加入时空编码网格的实体标识符列表中,并将节点标识加入实体资源列表中。
10.根据权利要求9所述的海上分布式多源异构时空数据查询系统,其特征在于,优化后的区块链机制采用现有的区块链技术框架,在区块头信息中删除用于激励的算题,增加时空网格编码及索引链环层数;添加更新消息签名、全局分布索引视图更新原语及视图更新操作链表示、全局分布索引视图更新原语共识过程、全局分布索引视图维护原语智能合约;
其中,更新消息签名为所有在节点间传递的索引视图更新数据均进行消息签名;节点包括普通节点和汇聚节点;索引视图包括本地索引视图和全局分布索引视图;
全局分布索引更新原语为一组全局分布索引视图更新消息执行单元的集合;其中,集合元素具备完备性、独立性、原子性和排他性;全局分布索引更新原语包括新增视图要素原语、删除视图要素原语、更新视图要素原语、合并视图原语、清空视图原语和撤销命令原语;
视图更新操作链为由多个全局分布索引视图更新原语二元组组成的序列,用于对索引新建、修改和删除全过程的更新过程记录;
全局分布索引视图更新原语共识过程为全局分布索引视图更新原语在执行前,发起更新操作的节点向网络中广播原语执行请求,所有参与本层全局分布索引视图维护的索引链环内节点,根据设定的共识规则对请求进行批复,满足共识规则的原语申请节点开始执行,全部索引链环内节点一致性执行,执行完毕后将原语及执行参数保存至索引操作证据链中;
全局分布索引视图更新原语智能合约为在全局分布索引视图更新原语的基础上,将多条全局分布索引视图更新原语的顺序组合形成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049009.7A CN117290617B (zh) | 2023-08-18 | 2023-08-18 | 一种海上分布式多源异构时空数据查询方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049009.7A CN117290617B (zh) | 2023-08-18 | 2023-08-18 | 一种海上分布式多源异构时空数据查询方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117290617A true CN117290617A (zh) | 2023-12-26 |
CN117290617B CN117290617B (zh) | 2024-05-10 |
Family
ID=89238007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049009.7A Active CN117290617B (zh) | 2023-08-18 | 2023-08-18 | 一种海上分布式多源异构时空数据查询方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117290617B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015096582A1 (zh) * | 2013-12-27 | 2015-07-02 | 华为技术有限公司 | 一种时空数据的索引建立方法、查询方法、装置及设备 |
US20160299910A1 (en) * | 2015-04-09 | 2016-10-13 | Umm Al-Qura University | Method and system for querying and visualizing satellite data |
CN110059264A (zh) * | 2019-04-24 | 2019-07-26 | 东南大学 | 基于知识图谱的地点检索方法、设备及计算机存储介质 |
EP3739466A1 (en) * | 2018-02-19 | 2020-11-18 | Nippon Telegraph And Telephone Corporation | Information management device, information management method, and information management program |
CN112579714A (zh) * | 2019-09-30 | 2021-03-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置、设备及机器可读存储介质 |
KR20220078180A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 와이즈넛 | 분산 네트워크 환경에서의 쿼리 배치 장치 및 그 방법 |
CN114925075A (zh) * | 2022-07-20 | 2022-08-19 | 广州市城市规划勘测设计研究院 | 一种多源时空监测信息实时动态融合方法 |
WO2022222828A1 (zh) * | 2021-04-20 | 2022-10-27 | 华为技术有限公司 | 定位方法和相关装置 |
CN115935087A (zh) * | 2022-11-28 | 2023-04-07 | 杭州电子科技大学 | 一种基于时间窗口的地理社区搜索方法 |
CN116166895A (zh) * | 2022-12-09 | 2023-05-26 | 山东省计算中心(国家超级计算济南中心) | 基于物化视图的时空范围查询方法、系统、设备及介质 |
CN116186275A (zh) * | 2022-08-09 | 2023-05-30 | 中国船舶集团有限公司第七〇九研究所 | 战场态势的时空知识图谱构建、计算和感知方法和设备 |
CN116303675A (zh) * | 2023-03-20 | 2023-06-23 | 东北大学 | 一种基于共识组划分和多层索引的联盟链数据查询方法 |
-
2023
- 2023-08-18 CN CN202311049009.7A patent/CN117290617B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015096582A1 (zh) * | 2013-12-27 | 2015-07-02 | 华为技术有限公司 | 一种时空数据的索引建立方法、查询方法、装置及设备 |
US20160299910A1 (en) * | 2015-04-09 | 2016-10-13 | Umm Al-Qura University | Method and system for querying and visualizing satellite data |
EP3739466A1 (en) * | 2018-02-19 | 2020-11-18 | Nippon Telegraph And Telephone Corporation | Information management device, information management method, and information management program |
CN110059264A (zh) * | 2019-04-24 | 2019-07-26 | 东南大学 | 基于知识图谱的地点检索方法、设备及计算机存储介质 |
CN112579714A (zh) * | 2019-09-30 | 2021-03-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置、设备及机器可读存储介质 |
KR20220078180A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 와이즈넛 | 분산 네트워크 환경에서의 쿼리 배치 장치 및 그 방법 |
WO2022222828A1 (zh) * | 2021-04-20 | 2022-10-27 | 华为技术有限公司 | 定位方法和相关装置 |
CN114925075A (zh) * | 2022-07-20 | 2022-08-19 | 广州市城市规划勘测设计研究院 | 一种多源时空监测信息实时动态融合方法 |
CN116186275A (zh) * | 2022-08-09 | 2023-05-30 | 中国船舶集团有限公司第七〇九研究所 | 战场态势的时空知识图谱构建、计算和感知方法和设备 |
CN115935087A (zh) * | 2022-11-28 | 2023-04-07 | 杭州电子科技大学 | 一种基于时间窗口的地理社区搜索方法 |
CN116166895A (zh) * | 2022-12-09 | 2023-05-26 | 山东省计算中心(国家超级计算济南中心) | 基于物化视图的时空范围查询方法、系统、设备及介质 |
CN116303675A (zh) * | 2023-03-20 | 2023-06-23 | 东北大学 | 一种基于共识组划分和多层索引的联盟链数据查询方法 |
Non-Patent Citations (3)
Title |
---|
CHANG HUANG: "Integrating Water Observation from Space Product and Time-Series Flow Data for Modeling Spatio-Temporal Flood Inundation Dynamics", REMOTE SENSING, 29 October 2019 (2019-10-29) * |
刘照标: "舰载进程搜索雷达时空二维海杂波建模与仿真", 舰船电子对抗, 25 June 2023 (2023-06-25), pages 70 - 74 * |
张;肖卫东;杨晓亮;汤大权;唐九阳;: "战场环境中面向范围查询的分布式时空索引", 计算机工程与应用, no. 11, 11 April 2011 (2011-04-11), pages 122 - 126 * |
Also Published As
Publication number | Publication date |
---|---|
CN117290617B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112115198B (zh) | 一种城市遥感智能服务平台 | |
US8538981B2 (en) | Stream sharing for event data within an enterprise network | |
CN114860884A (zh) | 一种面向动态分析的时空知识图谱构建系统和方法 | |
CN112116488A (zh) | 一种水利大数据综合维护系统 | |
CN113626648B (zh) | 一种水利数据处理系统、方法和存储介质 | |
CN114153920A (zh) | 大数据边平台与方法 | |
CN112668841A (zh) | 一种基于数据融合的综合交通监测系统及方法 | |
CN112527886A (zh) | 一种基于城市大脑的数据仓库系统 | |
CN111274282A (zh) | 一种空气质量挖掘系统、方法及数据采集监控装置 | |
CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
CN113297196A (zh) | 智慧农业aiot分布式大数据存储平台 | |
CN112988865A (zh) | 工业互联网业务管理系统 | |
CN115545390A (zh) | 一种基于实践的数字孪生城市建设系统 | |
CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
CN116522272A (zh) | 一种基于城市信息单元的多源时空数据透明融合方法 | |
CN117290617B (zh) | 一种海上分布式多源异构时空数据查询方法及系统 | |
Hu et al. | 5G‐Oriented IoT Big Data Analysis Method System | |
CN116795816A (zh) | 一种基于流式处理的数仓建设方法和系统 | |
CN115903085A (zh) | 一种农业气象灾害预警方法、装置及存储介质 | |
Santipantakis et al. | Ontology-based data integration for event recognition in the maritime domain | |
Cuzzocrea et al. | Exploiting compression and approximation paradigms for effective and efficient online analytical processing over sensor network readings in data grid environments | |
Wang et al. | Block storage optimization and parallel data processing and analysis of product big data based on the hadoop platform | |
CN113934796A (zh) | 用于地下水应用服务系统的数据库子系统及数据查询方法 | |
CN112101894A (zh) | 选煤智能系统 | |
Xue | Information Fusion and Intelligent Management of Industrial Internet of Things under the Background of Big Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |