CN114491161A - 基于图的多存储形态空间大数据一体化管理方法及装置 - Google Patents
基于图的多存储形态空间大数据一体化管理方法及装置 Download PDFInfo
- Publication number
- CN114491161A CN114491161A CN202111617975.5A CN202111617975A CN114491161A CN 114491161 A CN114491161 A CN 114491161A CN 202111617975 A CN202111617975 A CN 202111617975A CN 114491161 A CN114491161 A CN 114491161A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- primitive
- big data
- primitive node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000010354 integration Effects 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 10
- 238000010205 computational analysis Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图的多存储形态空间大数据一体化管理方法及装置。包括:在获取到针对目标空间大数据集的关联存储指令时,确定目标空间大数据集的来源空间数据;根据来源空间数据的标签信息和存储形态信息从初始图元数据中获取来源图元节点信息;根据来源图元节点信息和目标空间大数据集生成目标图元节点信息;构建目标图元节点信息与来源图元节点信息之间的关联关系信息;根据目标图元节点信息和关联关系信息更新图元数据。本发明构建空间大数据多形态存储信息之间的有效关联,打破各存储形态之间在逻辑上的离散状态,支撑时空大数据的管理、计算分析、可视化等场景的有机结合,并且具有很强的扩展性,可容纳更多的空间大数据关联存储形态。
Description
技术领域
本发明涉及空间信息技术领域,尤其涉及一种基于图的多存储形态空间大数据一体化管理方法及装置。
背景技术
空间大数据多态存储解决了多元化应用场景对数据存储性能需求,但也带来了数据一体化的问题,即同一空间数据集用于数据管理场景、计算分析场景、可视化场景等场景中时来自不同的存储形态,各空间数据存储形态之间呈离散状态,未能从逻辑上实现统一,导致空间大数据管理、计算、可视化等服务之间的割裂。现有的空间大数据多形态存储方法或者技术中,同一数据在不同形态之间的关联性弱,无法从逻辑上对外表达为“一个”数据对象,未能有效支撑管理、计算分析、可视化等场景的有机结合。传统的空间大数据多形态存储模型是在专业的认知上进行高度概括与抽象实现的结构,不够直观、自然、直接和高效,以结构化或者半结构化的模型为主,每种元数据需要定制化设计,可扩展性不足,并且面对数据的全生命周期的追溯能力不足。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于图的多存储形态空间大数据一体化管理方法及装置,旨在解决现有的空间大数据多形态存储方法中各存储形态之间关联性弱,未能从逻辑上实现统一,导致管理、计算、可视化等服务之间割裂的技术问题。
为实现上述目的,本发明提供了一种基于图的多存储形态空间大数据一体化管理方法,所述方法包括以下步骤:
在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集;
根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;
根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息;
基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息;
根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
可选地,所述来源图元节点信息包括空间大数据集的序号、时间信息、标签信息、存储形态信息、存储格式、元数据以及用途信息。
可选地,根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息,包括:
自动生成目标序号以及目标时间信息;
根据所述来源图元节点信息中的标签信息确定目标图元节点对应的目标标签信息,其中,所述目标标签信息与所述标签信息保持一致;
从所述目标空间大数据集中获取所述目标图元节点对应的目标存储形态信息、目标存储格式以及目标元数据;
根据用户输入的使用场景信息确定所述目标图元节点对应的目标用途信息;
根据所述目标序号、所述目标时间信息、所述目标标签信息、所述目标存储形态信息、所述目标存储格式、所述目标元数据以及所述目标用途信息构成所述目标图元节点对应的目标图元节点信息。
可选地,所述关联关系信息包括空间大数据集在多存储形态中的数据流方向、数据流方法以及数据流规则。
可选地,根据所述目标图元节点信息以及所述关联关系信息更新图元数据之后,所述方法还包括:
获取查询指令;
根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息。
可选地,根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息,包括:
根据所述查询指令确定对应的约束条件,并获取待查询图元节点信息;
从更新后的图元数据中确定与所述待查询图元节点信息相关的关联关系信息集合;
根据所述关联关系信息集合确定关联图元节点集合;
获取所述关联图元节点集合中各图元节点对应的关联图元节点信息;
根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
可选地,根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息,包括:
在未获取到符合需求的当前图元节点信息时,以所述关联图元节点集合中各图元节点为初始节点进行迭代搜寻,得到目标关联图元节点集合;
获取所述目标关联图元节点集合中各图元节点对应的目标关联图元节点信息;
根据所述约束条件对所述目标关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
此外,为实现上述目的,本发明还提出一种基于图的多存储形态空间大数据一体化管理装置,所述基于图的多存储形态空间大数据一体化管理装置包括:
确定模块,用于在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集;
获取模块,用于根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;
节点生成模块,用于根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息;
构建模块,用于基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息;
图生成模块,用于根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
此外,为实现上述目的,本发明还提出一种基于图的多存储形态空间大数据一体化管理设备,所述基于图的多存储形态空间大数据一体化管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图的多存储形态空间大数据一体化管理程序,所述基于图的多存储形态空间大数据一体化管理程序配置为实现如上文所述的基于图的多存储形态空间大数据一体化管理方法。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于图的多存储形态空间大数据一体化管理程序,所述基于图的多存储形态空间大数据一体化管理程序被处理器执行时实现如上文所述的基于图的多存储形态空间大数据一体化管理方法。
本发明通过在获取到针对目标空间大数据集的关联存储指令时,确定目标空间大数据集所对应的来源空间数据集;根据来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;根据来源图元节点信息以及目标空间大数据集生成对应的目标图元节点信息;基于图构建目标图元节点信息与来源图元节点信息之间的关联关系信息;根据目标图元节点信息以及关联关系信息更新图元数据。通过上述方式,通过图元数据的节点存储不同存储形态的空间数据,并构建节点与节点之间的关联信息,构建了空间大数据集多形态存储信息之间的有效关联,打破了各存储形态之间在逻辑上的离散状态,支撑时空大数据的管理、计算分析、可视化等场景的有机结合,并且具有很强的扩展性,可容纳更多的空间大数据关联存储形态。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于图的多存储形态空间大数据一体化管理设备的结构示意图;
图2为本发明基于图的多存储形态空间大数据一体化管理方法第一实施例的流程示意图;
图3为本发明基于图的多存储形态空间大数据一体化管理方法一实施例的图元数据结构示意图;
图4为本发明基于图的多存储形态空间大数据一体化管理方法第二实施例的流程示意图;
图5为本发明基于图的多存储形态空间大数据一体化管理方法一实施例的数据查询参考图;
图6为本发明基于图的多存储形态空间大数据一体化管理装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于图的多存储形态空间大数据一体化管理设备结构示意图。
如图1所示,该基于图的多存储形态空间大数据一体化管理设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM),也可以是稳定的非易失性存储器(Non-VolatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于图的多存储形态空间大数据一体化管理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于图的多存储形态空间大数据一体化管理程序。
在图1所示的基于图的多存储形态空间大数据一体化管理设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明基于图的多存储形态空间大数据一体化管理设备中的处理器1001、存储器1005可以设置在基于图的多存储形态空间大数据一体化管理设备中,所述基于图的多存储形态空间大数据一体化管理设备通过处理器1001调用存储器1005中存储的基于图的多存储形态空间大数据一体化管理程序,并执行本发明实施例提供的基于图的多存储形态空间大数据一体化管理方法。
本发明实施例提供了一种基于图的多存储形态空间大数据一体化管理方法,参照图2,图2为本发明基于图的多存储形态空间大数据一体化管理方法第一实施例的流程示意图。
本实施例中,所述基于图的多存储形态空间大数据一体化管理方法包括以下步骤:
步骤S10:在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集。
可以理解的是,本实施例的执行主体为基于图的多存储形态空间大数据一体化管理设备,所述基于图的多存储形态空间大数据一体化管理设备可以为计算机、服务器等设备,还可以为其他具备相同或相似功能的设备,本实施例对此不加以限制。
需要说明的是,同一空间大数据集(图层)用于不同场景中时对应不同的存储形态,在需要对某一场景对应的目标空间大数据集进行存储时,接收用户输入的针对目标空间大数据集的关联存储指令,并确定目标空间大数据集所对应的来源空间数据集,例如,目标空间大数据集B为对空间数据集A进行文件转换得到的文件存储形态,目标空间大数据集B对应的来源空间数据集为空间数据集A。
步骤S20:根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息。
可以理解的是,本实施例中“图”(Graph)是一种描述关系网的数据结构,由节点和边两个基本元素组成,节点代表一个实体,边代表两个节点的关联方式,本实施例运用图论对多形态存储之间进行直观建模,从逻辑上对外表达为“一个”数据对象,支撑管理、计算分析、可视化等场景的有机结合,且这种方式非常直观、自然、直接和高效的表达了不同存储形态之间的关系,不需要中间过程的转化和处理。初始图元数据为提前构建的至少包含若干初始节点的数据结构,参照图3,图3为本发明基于图的多存储形态空间大数据一体化管理方法一实施例的图元数据结构示意图,图元数据表示为G(V,E),由图元节点集V={v1,v2,v3,…,vn}、边(关系)集合E={e1(va→vb),e2(vc→vd),…,em(ve→vf)}组成,其中a,b,c,d,e,f∈[1,n],且a≠b,c≠d,e≠f。本实施例中空间大数据集的存储形态为vi,同一数据的不同的存储形态可表达为V={v1,v2,v3,…,vn},不同的存储形态之间的关联关系为E={e1(va→vb),e2(vc→vd),…,em(ve→vf)},即通过图元数据G(V,E)可表达同一空间大数据集的不同存储形态以及不同存储形态之间的关联关系。
具体地,所述来源图元节点信息包括空间大数据集的序序号、时间信息、标签信息、存储形态信息、存储格式、元数据以及用途信息。
需要说明的是,图元数据G(V,E)中的各个图元节点vi包含的信息表达为七元组vi(Ii,Ti,Li,Si,Fi,Mi,Ui),分别为序号Ii、时间信息Ti、标签信息Li、存储形态信息Si、存储格式Fi、元数据Mi以及用途信息Ui,以来源空间数据集的标签信息Li以及存储形态信息Si为查询条件从初始图元数据中获取来源图元节点信息。
步骤S30:根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息。
具体地,所述步骤S30,包括:自动生成目标序号以及目标时间信息;根据所述来源图元节点信息中的标签信息确定目标图元节点对应的目标标签信息,其中,所述目标标签信息与所述标签信息保持一致;从所述目标空间大数据集中获取所述目标图元节点对应的目标存储形态信息、目标存储格式以及目标元数据;根据用户输入的使用场景信息确定所述目标图元节点对应的目标用途信息;根据所述目标序号、所述目标时间信息、所述目标标签信息、所述目标存储形态信息、所述目标存储格式、所述目标元数据以及所述目标用途信息构成所述目标图元节点对应的目标图元节点信息。
可以理解的是,根据来源图元节点信息vi(Ii,Ti,Li,Si,Fi,Mi,Ui)创建目标图元节点信息vi+1(Ij,Tj,Li,Sj,Fj,Mj,Uj),其中,目标序号Ij以及目标时间信息Tj自动生成,标签信息Li与来源图元节点信息保持一致,从目标空间大数据集的已有信息中获取目标存储形态信息Sj、目标存储格式Fj以及目标元数据Mj,目标用途信息Uj则需要用户根据使用场景进行输入。
步骤S40:基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息。
具体地,所述关联关系信息包括空间大数据集在多存储形态中的数据流方向、数据流方法以及数据流规则。
需要说明的是,关联关系信息ej中包含数据流方向Di,数据流方法Hi以及数据流规则Ri(图层筛选条件,属性筛选条件),表达为三元组ej(Di,Hi,Ri),创建目标图元节点B与来源图元节点A之间的关联关系信息ej(Di,Hi,Ri),例如,流动方向为Di为A→B,从A到B所采用的方式或者方法Hi为抽取A中的某一图层,方法Hi所采用的规则Ri为抽取的图层编号和抽取全量等。
可以理解的是,通过图元节点之间的关联关系,可表达不同存储形态数据之间的关系,主要包括以下四种:
1)单流向:表达不同数据形态之间转化关系不可逆转,参照图3中的v2→v4,例如存储于关系型数据库的原始数据可通过切片方法转为可视化的瓦片数据,而瓦片数据无法转化为原始数据。
2)双流向:表达不同数据形态之间转化关系可逆转或部分逆转,参照图3中v1→v2∪v2→v1,例如存储于关系型数据库的原始数据可转为文件存储形态,反之文件存储形态可恢复到关系数据库中。
3)一流多:表达一种数据形态转为了多种其它的存储形态,也可表达在同一存储形态下转为了多种存储格式,参照图3中的v1→v2∪v1→v3。
4)多流一:表达来源于多种存储形态数据合并转为了一种存储形态下的数据集,也可表达在同一存储形态下多个数据合并为一个数据,参照图3中的v5→v7∪v4→v7∪v6→v7。
步骤S50:根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
应当理解的是,在初始图元数据G(V,E)的节点集V中添加目标图元节点信息vi+1,并在关联关系集合E中添加关联关系信息ej(vi→vi+1),从而建立目标图元节点和来源图元节点之间的关联。
本实施例通过在获取到针对目标空间大数据集的关联存储指令时,确定目标空间大数据集所对应的来源空间数据集;根据来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;根据来源图元节点信息以及目标空间大数据集生成对应的目标图元节点信息;基于图构建目标图元节点信息与来源图元节点信息之间的关联关系信息;根据目标图元节点信息以及关联关系信息更新图元数据。通过上述方式,通过图元数据的节点存储不同存储形态的空间数据,并构建节点与节点之间的关联信息,构建了空间大数据集多形态存储信息之间的有效关联,打破了各存储形态之间在逻辑上的离散状态,支撑时空大数据的管理、计算分析、可视化等场景的有机结合,并且具有很强的扩展性,可容纳更多的空间大数据关联存储形态。
参考图4,图4为本发明基于图的多存储形态空间大数据一体化管理方法第二实施例的流程示意图。
基于上述第一实施例,本实施例基于图的多存储形态空间大数据一体化管理方法在所述步骤S50之后,还包括:
步骤S501:获取查询指令。
可以理解的是,本实施的数据查询的方式有两种,一种是空间索引的基础上通过空间范围实现数据的查询,另外一种方式是通过已有的属性信息(如标签信息、存储形态等属性联合查询)。
步骤S502:根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息。
需要说明的是,本实施例中以场景数据的图元节点为起始,以关联关系信息(边)作为依据对更新后的图元数据进行遍历,根据查询指令对应的约束条件对图元节点信息进行筛选,查找到符合需求的最终图元节点信息。
具体地,步骤S502,包括:根据所述查询指令确定对应的约束条件,并获取待查询图元节点信息;从更新后的图元数据中确定与所述待查询图元节点信息相关的关联关系信息集合;根据所述关联关系信息集合确定关联图元节点集合;获取所述关联图元节点集合中各图元节点对应的关联图元节点信息;根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
可以理解的是,获取场景数据的待查询图元节点vi,并通过更新后的图元数据获取与该图元节点相关的关联关系信息集合{e1,e2,e3,…,em},并通过关联关系信息集合{e1,e2,e3,…,em}查询关联图元节点集合{vj+1,vj+2,vj+3,…,vj+m},获取各关联图元节点的图元节点信息,并根据约束条件f对图元节点进行筛选,获取符合约束条件的图元节点。例如查询指令对应的约束条件为关联关系信息中数据流规则为全量抽取、图元节点信息中用途信息为分析计算。
进一步地,根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息,包括:在未获取到符合需求的当前图元节点信息时,以所述关联图元节点集合中各图元节点为初始节点进行迭代搜寻,得到目标关联图元节点集合;获取所述目标关联图元节点集合中各图元节点对应的目标关联图元节点信息;根据所述约束条件对所述目标关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
需要说明的是,如果关联关系节点集合{vj+1,vj+2,vj+3,…,vj+m}中没有符合约束条件的关联图元节点,则继续以{vj+1,vj+2,vj+3,…,vj+m}为初始节点以图论的方法进行迭代搜寻,参照图5,图5为本发明基于图的多存储形态空间大数据一体化管理方法一实施例的数据查询参考图,以v1为初始节点,第一次搜寻结果为v2、v3、v4,第二次搜寻结果为v5、v6、v7,第三次搜寻结果为目标节点v9。从图元数据中迭代搜寻相关联的图元节点,直到图搜索完毕或者搜寻到符合需求的目标图元节点,并获取目标图元节点的数据信息。通过上述方式,能在全链路上还原大数据在整个周期内的“前世今生”。
本实施例通过在获取到针对目标空间大数据集的关联存储指令时,确定目标空间大数据集中各目标空间大数据集对应的来源空间数据集;根据来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;根据来源图元节点信息以及目标空间大数据集生成对应的目标图元节点信息;构建目标图元节点信息与来源图元节点信息之间的关联关系信息;根据目标图元节点信息以及关联关系信息更新图元数据;获取查询指令;根据查询指令从更新后的图元数据中查找符合需求的最终图元节点信息。通过上述方式,构建了空间大数据多形态存储信息之间的有效关联,从构建好的图元数据中快速查找到符合需求的图元节点信息,实现了空间大数据不同存储形态之间全生命周期或链路的查询与追溯,打破了各存储形态之间在逻辑上的离散状态,支撑时空大数据的管理、计算分析、可视化等场景的有机结合。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于图的多存储形态空间大数据一体化管理程序,所述基于图的多存储形态空间大数据一体化管理程序被处理器执行时实现如上文所述的基于图的多存储形态空间大数据一体化管理方法。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参照图6,图6为本发明基于图的多存储形态空间大数据一体化管理装置第一实施例的结构框图。
如图6所示,本发明实施例提出的基于图的多存储形态空间大数据一体化管理装置包括:
确定模块10,用于在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集。
获取模块20,用于根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息。
节点生成模块30,用于根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息。
构建模块40,用于基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息。
图生成模块50,用于根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
本实施例通过在获取到针对目标空间大数据集的关联存储指令时,确定目标空间大数据集所对应的来源空间数据集;根据来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;根据来源图元节点信息以及目标空间大数据集生成对应的目标图元节点信息;基于图构建目标图元节点信息与来源图元节点信息之间的关联关系信息;根据目标图元节点信息以及关联关系信息更新图元数据。通过上述方式,通过图元数据的节点存储不同存储形态的空间数据,并构建节点与节点之间的关联信息,构建了空间大数据集多形态存储信息之间的有效关联,打破了各存储形态之间在逻辑上的离散状态,支撑时空大数据的管理、计算分析、可视化等场景的有机结合,并且具有很强的扩展性,可容纳更多的空间大数据关联存储形态。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的基于图的多存储形态空间大数据一体化管理方法,此处不再赘述。
在一实施例中,所述来源图元节点信息包括空间大数据集的序号、时间信息、标签信息、存储形态信息、存储格式、元数据以及用途信息。
在一实施例中,所述节点生成模块30,还用于自动生成目标序号以及目标时间信息;根据所述来源图元节点信息中的标签信息确定目标图元节点对应的目标标签信息,其中,所述目标标签信息与所述标签信息保持一致;从所述目标空间大数据集中获取所述目标图元节点对应的目标存储形态信息、目标存储格式以及目标元数据;根据用户输入的使用场景信息确定所述目标图元节点对应的目标用途信息;根据所述目标序号、所述目标时间信息、所述目标标签信息、所述目标存储形态信息、所述目标存储格式、所述目标元数据以及所述目标用途信息构成所述目标图元节点对应的目标图元节点信息。
在一实施例中,所述关联关系信息包括空间大数据集在多存储形态中的数据流方向、数据流方法以及数据流规则。
在一实施例中,所述基于图的多存储形态空间大数据一体化管理装置还包括查询模块;
所述查询模块,用于获取查询指令;根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息。
在一实施例中,所述查询模块,还用于根据所述查询指令确定对应的约束条件,并获取待查询图元节点信息;从更新后的图元数据中确定与所述待查询图元节点信息相关的关联关系信息集合;根据所述关联关系信息集合确定关联图元节点集合;获取所述关联图元节点集合中各图元节点对应的关联图元节点信息;根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
在一实施例中,所述查询模块,还用于在未获取到符合需求的当前图元节点信息时,以所述关联图元节点集合中各图元节点为初始节点进行迭代搜寻,得到目标关联图元节点集合;获取所述目标关联图元节点集合中各图元节点对应的目标关联图元节点信息;根据所述约束条件对所述目标关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于图的多存储形态空间大数据一体化管理方法,其特征在于,所述基于图的多存储形态空间大数据一体化管理方法包括:
在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集;
根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;
根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息;
基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息;
根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
2.如权利要求1所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,所述来源图元节点信息包括空间大数据集的序号、时间信息、标签信息、存储形态信息、存储格式、元数据以及用途信息。
3.如权利要求2所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息,包括:
自动生成目标序号以及目标时间信息;
根据所述来源图元节点信息中的标签信息确定目标图元节点对应的目标标签信息,其中,所述目标标签信息与所述标签信息保持一致;
从所述目标空间大数据集中获取所述目标图元节点对应的目标存储形态信息、目标存储格式以及目标元数据;
根据用户输入的使用场景信息确定所述目标图元节点对应的目标用途信息;
根据所述目标序号、所述目标时间信息、所述目标标签信息、所述目标存储形态信息、所述目标存储格式、所述目标元数据以及所述目标用途信息构成所述目标图元节点对应的目标图元节点信息。
4.如权利要求1所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,所述关联关系信息包括空间大数据集在多存储形态中的数据流方向、数据流方法以及数据流规则。
5.如权利要求1所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,根据所述目标图元节点信息以及所述关联关系信息更新图元数据之后,所述方法还包括:
获取查询指令;
根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息。
6.如权利要求5所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,根据所述查询指令从更新后的图元数据中查找符合需求的最终图元节点信息,包括:
根据所述查询指令确定对应的约束条件,并获取待查询图元节点信息;
从更新后的图元数据中确定与所述待查询图元节点信息相关的关联关系信息集合;
根据所述关联关系信息集合确定关联图元节点集合;
获取所述关联图元节点集合中各图元节点对应的关联图元节点信息;
根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
7.如权利要求6所述的基于图的多存储形态空间大数据一体化管理方法,其特征在于,根据所述约束条件对所述关联图元节点信息进行筛选,得到符合需求的最终图元节点信息,包括:
在未获取到符合需求的当前图元节点信息时,以所述关联图元节点集合中各图元节点为初始节点进行迭代搜寻,得到目标关联图元节点集合;
获取所述目标关联图元节点集合中各图元节点对应的目标关联图元节点信息;
根据所述约束条件对所述目标关联图元节点信息进行筛选,得到符合需求的最终图元节点信息。
8.一种基于图的多存储形态空间大数据一体化管理装置,其特征在于,所述基于图的多存储形态空间大数据一体化管理装置包括:
确定模块,用于在获取到针对目标空间大数据集的关联存储指令时,确定所述目标空间大数据集所对应的来源空间数据集;
获取模块,用于根据所述来源空间数据集对应的标签信息以及存储形态信息从初始图元数据中查询获取来源图元节点信息;
节点生成模块,用于根据所述来源图元节点信息以及所述目标空间大数据集生成对应的目标图元节点信息;
构建模块,用于基于图构建所述目标图元节点信息与所述来源图元节点信息之间的关联关系信息;
图生成模块,用于根据所述目标图元节点信息以及所述关联关系信息更新图元数据。
9.一种基于图的多存储形态空间大数据一体化管理设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图的多存储形态空间大数据一体化管理程序,所述基于图的多存储形态空间大数据一体化管理程序配置为实现如权利要求1至7中任一项所述的基于图的多存储形态空间大数据一体化管理方法。
10.一种存储介质,其特征在于,所述存储介质上存储有基于图的多存储形态空间大数据一体化管理程序,所述基于图的多存储形态空间大数据一体化管理程序被处理器执行时实现如权利要求1至7任一项所述的基于图的多存储形态空间大数据一体化管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111617975.5A CN114491161A (zh) | 2021-12-27 | 2021-12-27 | 基于图的多存储形态空间大数据一体化管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111617975.5A CN114491161A (zh) | 2021-12-27 | 2021-12-27 | 基于图的多存储形态空间大数据一体化管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114491161A true CN114491161A (zh) | 2022-05-13 |
Family
ID=81496539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111617975.5A Pending CN114491161A (zh) | 2021-12-27 | 2021-12-27 | 基于图的多存储形态空间大数据一体化管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114491161A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112445875A (zh) * | 2020-12-14 | 2021-03-05 | 招商局金融科技有限公司 | 数据关联及检验方法、装置、电子设备及存储介质 |
CN112632194A (zh) * | 2020-12-30 | 2021-04-09 | 平安证券股份有限公司 | 数据的图形可视化关系表示方法、装置、设备及存储介质 |
US20210334669A1 (en) * | 2020-04-27 | 2021-10-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for constructing knowledge graph |
-
2021
- 2021-12-27 CN CN202111617975.5A patent/CN114491161A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210334669A1 (en) * | 2020-04-27 | 2021-10-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for constructing knowledge graph |
CN112445875A (zh) * | 2020-12-14 | 2021-03-05 | 招商局金融科技有限公司 | 数据关联及检验方法、装置、电子设备及存储介质 |
CN112632194A (zh) * | 2020-12-30 | 2021-04-09 | 平安证券股份有限公司 | 数据的图形可视化关系表示方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
HINA FAROOQ等: "Designing Graphical Data Storage Model for Gene-Protein and Gene-Gene Interaction Networks", INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS, vol. 8, no. 5, 1 May 2017 (2017-05-01), pages 492 - 495 * |
赵玉聪;钟志农;景宁;吴烨;: "多维实体关联信息综合处理平台", 计算机应用, no. 1, 10 June 2016 (2016-06-10), pages 213 - 216 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11720631B2 (en) | Tool to build and store a data model and queries for a graph database | |
US20170126816A1 (en) | Methods for dynamically generating an application interface for a modeled entity and devices thereof | |
US9146955B2 (en) | In-memory, columnar database multidimensional analytical view integration | |
US9087296B2 (en) | Navigable semantic network that processes a specification to and uses a set of declaritive statements to produce a semantic network model | |
JP6546653B2 (ja) | マッピングルールの作成方法及び装置 | |
US20230075655A1 (en) | Systems and methods for context-independent database search paths | |
US11989198B1 (en) | User interfaces for database visualizations | |
US9547646B2 (en) | User-created members positioning for OLAP databases | |
US10929604B2 (en) | System and method for analyzing items and creating a data structure using lexicon analysis and filtering process | |
WO2021032146A1 (zh) | 元数据管理方法和装置、设备及存储介质 | |
JP4839087B2 (ja) | ワークフロー管理システム | |
WO2023077732A1 (zh) | 面向数据可视化大屏的知识可视化开发方法及系统 | |
US8239371B2 (en) | Fast search views over business objects | |
CN116523479A (zh) | 数字化作品协同创作方法、任务发布方法及装置 | |
US20160364426A1 (en) | Maintenance of tags assigned to artifacts | |
Graube et al. | Integrating industrial middleware in linked data collaboration networks | |
Szekely et al. | Exploiting semantics of web services for geospatial data fusion | |
CN117874120A (zh) | 基于数据虚拟化的智能数据集成方法及系统 | |
Attard et al. | ExConQuer: Lowering barriers to RDF and Linked Data re-use | |
WO2016165317A1 (zh) | 一种高速列车需求数据实例构建方法和装置 | |
Möller et al. | Towards an architecture to support data access in research data spaces | |
CN114491161A (zh) | 基于图的多存储形态空间大数据一体化管理方法及装置 | |
CN115629763A (zh) | 目标代码的生成方法、npu指令的显示方法及装置 | |
WO2018038065A1 (ja) | 情報管理装置並びにファイル管理方法 | |
CN104243201B (zh) | 网络设备测试用例对应拓扑图的存储方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |