CN113127660A - 一种时序图形数据库存储方法及装置 - Google Patents
一种时序图形数据库存储方法及装置 Download PDFInfo
- Publication number
- CN113127660A CN113127660A CN202110566530.2A CN202110566530A CN113127660A CN 113127660 A CN113127660 A CN 113127660A CN 202110566530 A CN202110566530 A CN 202110566530A CN 113127660 A CN113127660 A CN 113127660A
- Authority
- CN
- China
- Prior art keywords
- timestamp
- data
- node
- database
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种时序图形数据库存储方法及装置，主要解决现有图形数据库无法存储空间网络复杂数据的问题。该一种时序图形数据库存储方法为将图形数据库中结点和边的Key‑Value形式分别加上时序数据库中时间戳TimeStamp，分别得到具有时间戳TimeStamp的结点和边；然后将具有时间戳TimeStamp的结点和边转换为结点表和边表；最后根据具有时间戳TimeStamp的结点和边的属性分别进行自定义划分用于查询。通过上述方案，本发明达到了适用于空间网络数据存储场景目的。
Description
技术领域
本发明涉及数据存储解析技术领域，具体地说，是涉及一种时序图形数据库存储方法及装置。
背景技术
现有数据库无法解决按时间分片的图形化结构数据，如空间网络复杂数据存储的问题；其中图形数据库中的数据类型包含结点和边，无法存储包含时间戳信息的数据，故无法存储空间网络复杂数据；也无其他数据库能更好的存储空间网络复杂数据。
发明内容
本发明的目的在于提供一种时序图形数据库存储方法及装置，以解决现有图形数据库无法存储空间网络复杂数据的问题。
为了解决上述问题，本发明提供如下技术方案：
一种时序图形数据库存储方法包括以下步骤：
S1、将图形数据库中结点和边的Key-Value形式分别加上时序数据库中时间戳TimeStamp，分别得到具有时间戳TimeStamp的结点和边；加上时间戳TimeStamp的结点和边使得每个结点和边依据时间可以变得有序；
S2、通过步骤S1中具有时间戳TimeStamp的结点和边转换为结点表和边表；
S3、根据步骤S1中具有时间戳TimeStamp的结点和边的属性分别进行自定义划分用于查询。
本发明在原有图形数据库的结构基础上增加时间戳TimeStamp，将图形数据库和时序数据库进行有效进行融合，形成一种新的时序图形存储方法，更加适用于空间网络数据存储的场景。
进一步的，步骤S1中Key为结点或边的ID，Value为结点或边的相关属性。
进一步的，步骤S2的具体过程为：将结点数据按时序数据库的存储形式进行批量结点数据压缩存储形成结点表；边数据按时序数据库的存储形式进行批量边数据压缩存储形成边表。
进一步的，一种时序图形数据库存储方法还包括数据写入方法，数据写入方法的具体过程为：具有时间戳TimeStamp的结点和边数据首先进入写请求，然后进入写缓存，最后通过时序数据库实例再写入KV引擎中。
进一步的，一种时序图形数据库存储方法还包括数据查询方法，其具体过程如下：
S401、数据查询的语句通过读请求进入，在读缓存中进行搜索判断是否查询到，是则直接返回，否则执行步骤S402和S403；
S402、通过图形数据库实例解析Gremlin查询语句；
S403、步骤S402解析的Gremlin查询语句，通过时序数据库实例去KV引擎中查询数据，然后将查询数据返回给图形数据库实例再原路返回给读请求。
一种时序图形数据库存储装置包括存储器：用于存储可执行指令；处理器：用于执行所述存储器中存储的可执行指令，实现一种时序图形数据库存储方法。
与现有技术相比，本发明具有以下有益效果：
（1）本发明在原有图形数据库的结构基础上增加时间戳TimeStamp，将图形数据库和时序数据库进行有效进行融合，形成一种新的时序图形存储方法，更加适用于空间网络数据存储的场景。
（2）本发明将图形数据库和时序数据库进行进行融，用户根据融合后数据属性自定义划分列名，提供读写性能，便于查询。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1为本发明中时间戳TimeStamp的结点和边数据结构示意图。
图2为本发明中结点存储布局示意图。
图3为本发明中边存储布局示意图。
图4为本发明写入和读取数据的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合图1至图4对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
Gremlin是Apeach下开源的规范图语言，主要用于图的遍历与查询，可理解为一种数据库查询语言。
实施例1
如图1所示，一种时序图形数据库存储方法将图形数据库和时序数据库相互融合；其具有过程为：图形数据库的数据结构由结点和边组成，原图形数据库的结点为Key-Value形式，Key为结点的ID，Value为结点的相关属性；时序图形数据库在此基础上为结点再加上一个TimeStamp时间戳的，使得每个结点依据时间可以变得有序；同理结点之间关联的边也是如此，这样我们可以在Gremlin语法中查询中加入时间戳，可快速对需要的数据进行搜索查询。
如图2和图3所示，为结点和边加上时间戳TimeStamp之后，就可以将图结构的结点和边分别转化为结点表和边表；结点数据按照如图2所示进行批量结点数据压缩存储，边数据按照图3所示进行批量边数据压缩存储。
使用上述存储布局针对结点和边的属性，用户可自定义对属性进行划分，可根据属性提高查询性能。
实施例2
如图4所示，本实施例在实施例1的基础上进一步的，具有时间戳TimeStamp的结点和边数据首先进入写请求，然后进入写缓存，通过时序数据库实例再写入KV引擎中。
实施例3
如图4所示，本实施例在实施例1的基础上进一步的，数据查询语句通过读请求进入，首先在读缓存中进行搜索，若读缓存已存在数据直接返回，若不存在则通过图形数据库实例解析Gremlin查询语句；然后时序数据库实例去KV引擎中查询数据返回给图形数据库实例再原路返回给读请求。
实施例4
一种时序图形数据库存储装置包括存储器：用于存储可执行指令；处理器：用于执行所述存储器中存储的可执行指令，实现一种时序图形数据库存储方法。
本发明主要用于解决空间网络复杂数据的存储的问题；替代原有图形数据库更好的解决网络复杂结构数据的存储问题，具有很高的查询性能，尤其是能够满足带有时间序列的查询场景；本发明中数据存储结构为含时序的图结构，通过融合图形数据库和时序数据库来解决空间网络复杂数据的存储的问题，且用户可自定义属性来划分列名，提供读写性能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种时序图形数据库存储方法，其特征在于，包括以下步骤：
S1、将图形数据库中结点和边的Key-Value形式分别加上时序数据库中时间戳TimeStamp，分别得到具有时间戳TimeStamp的结点和边；
S2、通过步骤S1中具有时间戳TimeStamp的结点和边转换为结点表和边表；
S3、根据步骤S1中具有时间戳TimeStamp的结点和边的属性分别进行自定义划分用于查询。
2.根据权利要求1所述的一种时序图形数据库存储方法，其特征在于，步骤S1中Key为结点或边的ID，Value为结点或边的相关属性。
3.根据权利要求1所述的一种时序图形数据库存储方法，其特征在于，步骤S2的具体过程为：将结点数据按时序数据库的存储形式进行批量结点数据压缩存储形成结点表；边数据按时序数据库的存储形式进行批量边数据压缩存储形成边表。
4.根据权利要求1所述的一种时序图形数据库存储方法，其特征在于，还包括数据写入方法，数据写入方法的具体过程为：具有时间戳TimeStamp的结点和边数据首先进入写请求，然后进入写缓存，最后通过时序数据库实例再写入KV引擎中。
5.根据权利要求1所述的一种时序图形数据库存储方法，其特征在于，还包括数据查询方法，其具体过程如下：
S401、数据查询的语句通过读请求进入，在读缓存中进行搜索判断是否查询到，是则直接返回，否则执行步骤S402和S403；
S402、通过图形数据库实例解析Gremlin查询语句；
S403、步骤S402解析的Gremlin查询语句，通过时序数据库实例去KV引擎中查询数据，然后将查询数据返回给图形数据库实例再原路返回给读请求。
6.一种时序图形数据库存储装置，其特征在于，包括
存储器：用于存储可执行指令；
处理器：用于执行所述存储器中存储的可执行指令，实现如权利要求1-5任一项所述的一种时序图形数据库存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566530.2A CN113127660A (zh) | 2021-05-24 | 2021-05-24 | 一种时序图形数据库存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110566530.2A CN113127660A (zh) | 2021-05-24 | 2021-05-24 | 一种时序图形数据库存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113127660A true CN113127660A (zh) | 2021-07-16 |
Family
ID=76782431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110566530.2A Pending CN113127660A (zh) | 2021-05-24 | 2021-05-24 | 一种时序图形数据库存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113127660A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023066221A1 (zh) * | 2021-10-21 | 2023-04-27 | 支付宝(杭州)信息技术有限公司 | 图数据库处理 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5893117A (en) * | 1990-08-17 | 1999-04-06 | Texas Instruments Incorporated | Time-stamped database transaction and version management system |
| CN104899156A (zh) * | 2015-05-07 | 2015-09-09 | 中国科学院信息工程研究所 | 一种面向大规模社交网络的图数据存储及查询方法 |
| CN108399263A (zh) * | 2018-03-15 | 2018-08-14 | 北京大众益康科技有限公司 | 时序数据的存储和查询方法及存储和处理平台 |
| CN110633378A (zh) * | 2019-08-19 | 2019-12-31 | 杭州欧若数网科技有限公司 | 一种支持超大规模关系网络的图数据库构建方法 |
| CN111291235A (zh) * | 2020-05-13 | 2020-06-16 | 成都四方伟业软件股份有限公司 | 一种基于时序数据库的元数据存储方法及装置 |
-
2021
- 2021-05-24 CN CN202110566530.2A patent/CN113127660A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5893117A (en) * | 1990-08-17 | 1999-04-06 | Texas Instruments Incorporated | Time-stamped database transaction and version management system |
| CN104899156A (zh) * | 2015-05-07 | 2015-09-09 | 中国科学院信息工程研究所 | 一种面向大规模社交网络的图数据存储及查询方法 |
| CN108399263A (zh) * | 2018-03-15 | 2018-08-14 | 北京大众益康科技有限公司 | 时序数据的存储和查询方法及存储和处理平台 |
| CN110633378A (zh) * | 2019-08-19 | 2019-12-31 | 杭州欧若数网科技有限公司 | 一种支持超大规模关系网络的图数据库构建方法 |
| CN111291235A (zh) * | 2020-05-13 | 2020-06-16 | 成都四方伟业软件股份有限公司 | 一种基于时序数据库的元数据存储方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023066221A1 (zh) * | 2021-10-21 | 2023-04-27 | 支付宝(杭州)信息技术有限公司 | 图数据库处理 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038207B (zh) | 一种数据查询方法、数据处理方法及装置 | |
| CN110019218B (zh) | 数据存储与查询方法及设备 | |
| US20070124277A1 (en) | Index and Method for Extending and Querying Index | |
| CN110019384B (zh) | 一种血缘数据的获取方法、提供血缘数据的方法及装置 | |
| CN106407360B (zh) | 一种数据的处理方法及装置 | |
| US20140122455A1 (en) | Systems and Methods for Intelligent Parallel Searching | |
| CN105373541A (zh) | 数据库的数据操作请求的处理方法和系统 | |
| US8527480B1 (en) | Method and system for managing versioned structured documents in a database | |
| KR20050020927A (ko) | 구조화 문서의 데이터를 검색하는 장치 및 방법 | |
| CN111046036A (zh) | 数据同步方法、装置、系统及存储介质 | |
| Huang et al. | Mining frequent and top-k high utility time interval-based events with duration patterns | |
| CN113177095A (zh) | 一种企业知识管理方法、系统、电子设备及存储介质 | |
| CN113127660A (zh) | 一种时序图形数据库存储方法及装置 | |
| CN108959330B (zh) | 一种数据库的处理、数据查询方法及设备 | |
| CN111125216B (zh) | 数据导入Phoenix的方法及装置 | |
| CN111008198A (zh) | 业务数据获取方法、装置、存储介质、电子设备 | |
| CN113918535A (zh) | 一种数据读取方法、装置、设备及存储介质 | |
| CN113360496B (zh) | 一种构建元数据标签库的方法及装置 | |
| CN114816247A (zh) | 一种逻辑数据获取方法及装置 | |
| JPH06215037A (ja) | インデックスの自動更新装置 | |
| CN113821573A (zh) | 海量数据快速检索服务构建方法、系统、终端及存储介质 | |
| CN115543993A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| US9002810B1 (en) | Method and system for managing versioned structured documents in a database | |
| JP2004192657A (ja) | 情報検索システム、情報検索方法および情報検索用プログラムを記録した記録媒体 | |
| CN116126620A (zh) | 数据库日志处理方法、数据库变更查询方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210716 |