CN116010359A - 一种基于日志进行数据存储和查询的方法及系统 - Google Patents
一种基于日志进行数据存储和查询的方法及系统 Download PDFInfo
- Publication number
- CN116010359A CN116010359A CN202211607098.8A CN202211607098A CN116010359A CN 116010359 A CN116010359 A CN 116010359A CN 202211607098 A CN202211607098 A CN 202211607098A CN 116010359 A CN116010359 A CN 116010359A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- updated
- log
- service information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种基于日志进行数据存储和查询的方法及系统，涉及数据存储技术领域，其实现包括：新建数据变更日志表，用于记录当前业务对象的变更日志；确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，变更数据表只保存变更的数据，而不保存未发生变更的数据；根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；通过数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。本发明能够提供业务数据的变更日志和历史数据，并有效的降低占据的存储空间。
Description
技术领域
本发明涉及数据存储技术领域，具体的说是一种基于日志进行数据存储和查询的方法及系统。
背景技术
随着社会的进步发展，信息技术、互联网技术日益成熟。目前越来越多的政府将重要的业务转到线上办理，在很多业务中常常需要保留住历史数据，对每一次的数据修改以及办理都要有严格的数据备份，以往的办法都是将相关的一条记录完整的存入一张相同的历史数据表，这一条记录往往只改动了其中一两个属性，但却将要整条记录进行存储，当一条记录包含的数据过多时，对应历史数据的保存也需占用海量的存储空间。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于日志进行数据存储和查询的方法及系统。
首先，本发明的一种基于日志进行数据存储和查询的方法，解决上述技术问题采用的技术方案如下：
一种基于日志进行数据存储和查询的方法，包括如下步骤：
新建数据变更日志表，用于记录当前业务对象的变更日志；
确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，所述变更数据表只保存变更的数据，而不保存未发生变更的数据；
根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；
通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。
可选的，数据变更日志表和变更数据表中均记录了对应变更信息。
可选的，数据变更包括新增数据、修改数据和删除数据中的至少一种。
可选的，通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据，包括：
查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
其次，本发明的一种基于日志进行数据存储和查询的系统，解决上述技术问题采用的技术方案如下：
一种基于日志进行数据存储和查询的系统，其结构包括：
新建单元，用于新建数据变更日志表，用于记录当前业务对象的变更日志；
确定单元，用于确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，所述变更数据表只保存变更的数据，而不保存未发生变更的数据；
处理单元，用于根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；
查询单元，用于通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。
可选的，数据变更日志表和变更数据表中均记录了对应变更信息。
可选的，数据变更包括新增数据、修改数据和删除数据中的至少一种。
可选的，所涉及查询单元包括：
第一查询子单元，用于查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
第二查询子单元，用于查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
合并子单元，用于将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
本发明的一种基于日志进行数据存储和查询的方法及系统，与现有技术相比具有的有益效果是：
(1)本发明能够提供业务数据的变更日志和历史数据，并有效的降低占据的存储空间；
(2)本发明可应用于政府业务历史数据的存储和查询。
附图说明
附图1是本发明实施例一的方法流程图；
附图2是本发明实施例二的连接框图；
附图3是本发明的一个具体业务信息表进行数据变更生成日志的示意图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1，本实施例提出一种基于日志进行数据存储和查询的方法，包括如下步骤：
(1)新建数据变更日志表，用于记录当前业务对象的变更日志。
(2)确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，变更数据表只保存变更的数据，而不保存未发生变更的数据。
(3)根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表。
(4)通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据，具体操作包括：
查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
需要补充的是：
数据变更日志表和变更数据表中均记录了对应变更信息；
数据变更包括新增数据、修改数据和删除数据中的至少一种。
参考附图3，假定左侧最上方的人员信息表即为初始业务信息表，(A)发生数据新增后，得到左侧中间的业务信息表，基于本次数据新增，记录变更日志1；(B)发生数据修改后，得到左侧下方的业务信息表，基于本次数据修改，记录变更日志2，得到变更数据表。查询目标业务对象和指定节点时，若获取变更节点1数据，可根据日志1，获取到的是新增数据类型，可从业务信息表中直接获取对应日志1的节点数据；若获取变更节点2数据，可根据日志2可得为更新操作，对于本次变更而言，只变更了age和num属性，而业务信息表中的name和sex从未修改，因此对于此变更节点，name和sex从业务信息表获取，age和num从变更数据表所述节点的最近节点获取，合并后可得当前节点数据。
实施例二：
结合附图2，本实施例提出一种基于日志进行数据存储和查询的系统，其结构包括：
新建单元，用于新建数据变更日志表，用于记录当前业务对象的变更日志；
确定单元，用于确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，所述变更数据表只保存变更的数据，而不保存未发生变更的数据；
处理单元，用于根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；
查询单元，用于通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。
本实施例中，数据变更日志表和变更数据表中均记录了对应变更信息。
本实施例中，数据变更包括新增数据、修改数据和删除数据中的至少一种。
本实施例中，查询单元包括：
第一查询子单元，用于查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
第二查询子单元，用于查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
合并子单元，用于将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
综上可知，采用本发明的一种基于日志进行数据存储和查询的方法及系统，能够提供业务数据的变更日志和历史数据，并有效的降低占据的存储空间。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (8)
1.一种基于日志进行数据存储和查询的方法，其特征在于,包括如下步骤：
新建数据变更日志表，用于记录当前业务对象的变更日志；
确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，所述变更数据表只保存变更的数据，而不保存未发生变更的数据；
根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；
通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。
2.根据权利要求1所述的一种基于日志进行数据存储和查询的方法，其特征在于，所述数据变更日志表和所述变更数据表中均记录了对应变更信息。
3.根据权利要求1所述的一种基于日志进行数据存储和查询的方法，其特征在于，所述数据变更包括新增数据、修改数据和删除数据中的至少一种。
4.根据权利要求1所述的一种基于日志进行数据存储和查询的方法，其特征在于，通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据，包括：
查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
5.一种基于日志进行数据存储和查询的系统，其特征在于，其结构包括：
新建单元，用于新建数据变更日志表，用于记录当前业务对象的变更日志；
确定单元，用于确定发生数据变更的业务信息表，并为发生数据变更的业务信息表增加一套变更数据表，所述变更数据表只保存变更的数据，而不保存未发生变更的数据；
处理单元，用于根据数据变更日志的类型，对业务信息表和变更数据表中的数据进行对应处理，得到更新后的业务信息表和变更数据表；
查询单元，用于通过所述数据变更日志表，以及更新后的业务信息表和变更数据表，查询目标业务对象和指定节点，得到指定节点的历史数据。
6.根据权利要求5所述的一种基于日志进行数据存储和查询的系统，其特征在于，所述数据变更日志表和所述变更数据表中均记录了对应变更信息。
7.根据权利要求5所述的一种基于日志进行数据存储和查询的系统，其特征在于，所述数据变更包括新增数据、修改数据和删除数据中的至少一种。
8.根据权利要求5所述的一种基于日志进行数据存储和查询的系统，其特征在于，所述查询单元包括：
第一查询子单元，用于查询更新后业务信息表中是否存在节点创建时间不大于指定节点创建时间的数据，若是，则表明部分数据为指定节点产生的或在之前产生持续到指定节点时间点都未再发生修改；
第二查询子单元，用于查询更新后变更数据表中节点创建时间不大于指定节点创建时间的最接近的数据；
合并子单元，用于将从更新后业务信息表和更新后变更数据表查询到的数据进行合并，得到指定节点的历史数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607098.8A CN116010359A (zh) | 2022-12-14 | 2022-12-14 | 一种基于日志进行数据存储和查询的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607098.8A CN116010359A (zh) | 2022-12-14 | 2022-12-14 | 一种基于日志进行数据存储和查询的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116010359A true CN116010359A (zh) | 2023-04-25 |
Family
ID=86020135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607098.8A Pending CN116010359A (zh) | 2022-12-14 | 2022-12-14 | 一种基于日志进行数据存储和查询的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116010359A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116483873A (zh) * | 2023-06-25 | 2023-07-25 | 云筑信息科技(成都)有限公司 | 一种基于变更数据实现历史快照数据查询的方法 |
-
2022
- 2022-12-14 CN CN202211607098.8A patent/CN116010359A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116483873A (zh) * | 2023-06-25 | 2023-07-25 | 云筑信息科技(成都)有限公司 | 一种基于变更数据实现历史快照数据查询的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6397309B2 (en) | System and method for reconstructing data associated with protected storage volume stored in multiple modules of back-up mass data storage facility | |
| CN100399327C (zh) | 管理文件系统的逻辑版本的方法和数据存储系统 | |
| US9305072B2 (en) | Information storage system and data replication method thereof | |
| US8868512B2 (en) | Logging scheme for column-oriented in-memory databases | |
| CN103067433B (zh) | 一种分布式存储系统的数据迁移方法、设备和系统 | |
| US8843445B2 (en) | Storage system for storing data in a plurality of storage devices and method for same | |
| CN106202416B (zh) | 列表数据写方法和装置、列表数据读取方法和装置 | |
| CN107798130A (zh) | 一种分布式存储的快照方法 | |
| CN108319602A (zh) | 数据库管理方法及数据库系统 | |
| CN101103355A (zh) | 管理数据删除的方法和装置 | |
| CN104182435A (zh) | 基于数据缺失标记的信息检索系统及方法 | |
| CN106326239A (zh) | 分布式文件系统及其文件元信息管理方法 | |
| CN113407550A (zh) | 数据存储及查询方法、装置及数据库系统 | |
| CN116010359A (zh) | 一种基于日志进行数据存储和查询的方法及系统 | |
| CN111680019B (zh) | 一种区块链的数据扩容方法及其装置 | |
| CN110597835A (zh) | 一种基于区块链的交易数据删除方法及装置 | |
| CN109189759A (zh) | Kv存储系统中的数据读取方法、数据查询方法、装置及设备 | |
| US8612717B2 (en) | Storage system | |
| WO2021082925A1 (zh) | 一种交易处理的方法及装置 | |
| CN111400273B (zh) | 数据库扩容方法、装置、电子设备及机器可读存储介质 | |
| CN116049306A (zh) | 数据同步方法、装置、电子设备以及可读存储介质 | |
| TW201308115A (zh) | 分散式的重複數據刪除系統及其處理方法 | |
| CN111770158B (zh) | 云平台恢复方法、装置、电子设备及计算机可读存储介质 | |
| JP5446378B2 (ja) | ストレージシステム | |
| CN113377787B (zh) | 存储管理方法、系统、存储管理装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |