CN117648336A - 数据查询方法、装置、计算机设备和存储介质 - Google Patents

数据查询方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117648336A
CN117648336A CN202311732059.5A CN202311732059A CN117648336A CN 117648336 A CN117648336 A CN 117648336A CN 202311732059 A CN202311732059 A CN 202311732059A CN 117648336 A CN117648336 A CN 117648336A
Authority
CN
China
Prior art keywords
data
record
data update
storage
update record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311732059.5A
Other languages
English (en)
Inventor
张敏佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Life Insurance Co ltd
Original Assignee
China Life Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Life Insurance Co ltd filed Critical China Life Insurance Co ltd
Priority to CN202311732059.5A priority Critical patent/CN117648336A/zh
Publication of CN117648336A publication Critical patent/CN117648336A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;数据更新记录预先按照分级时间进行分级存储;基于存储时间戳信息,确定数据更新记录所处的目标存储分级;在目标存储分级中,基于记录标识和存储时间戳信息,确定数据更新记录。采用本方法能够提高数据查询效率。

Description

数据查询方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着数据分析和应用的不断深入,越来越多的企业和机构注意到数据的重要性,通过建设数据仓库进行数据存储,
传统方法中,当数据发生变化时,将对应的数据更新记录缓存至kafka(卡夫卡)消息队列中,并基于消息队列中的数据更新记录,通过增、删、改、查等方式,进行数据库中数据的更新,保证数据库中的数据为最新数据。
然而,传统方法中,仅能在数据库中查询到最新数据,而无法获取数据更新记录,而在kafka消息队列中数据更新记录的检索难度大、检索速度慢,进而,造成数据查询效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据查询方法,包括:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;所述数据更新记录预先按照分级时间进行分级存储;
基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
在所述目标存储分级中,基于所述记录标识和所述存储时间戳信息,确定数据更新记录。
在其中一个实施例中,所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息之前,所述方法还包括:
按照预设时长,构建数据库中的数据存储分区表;
获取消息队列中的各数据更新记录,并基于所述预设时长对各所述数据更新记录进行数据划分,得到数据划分结果;
将每一所述数据划分结果,更新至所述数据存储分区表中,得到数据更新记录表。
在其中一个实施例中,所述方法还包括:
查询所述数据库中各数据更新记录表的时效信息;
当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将所述目标数据更新记录表存储至磁盘中;
删除所述数据库中的所述目标数据更新记录。
在其中一个实施例中,所述基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级,包括:
若所述存储时间戳信息满足第一预设分级时间条件,确定所述数据更新记录处在数据库中;
若所述存储时间戳信息满足第二预设分级时间条件,确定所述数据更新记录处在磁盘中。
在其中一个实施例中,所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息之前,所述方法还包括:
获取用户的属性信息,并基于所述用户的属性信息,确定所述用户的查询权限;
在所述用户的查询权限满足数据更新记录查询条件的情况下,执行所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
在其中一个实施例中,所述方法还包括:
响应于分区重建请求,获取当前全量的数据存储分区表;
在当前所述全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
第二方面,本申请还提供了一种数据查询装置,包括:
第一确定模块,用于响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;
第二确定模块,用于基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
查询确定模块,用于在所述目标存储分级中,基于所述记录标识和所述存储时间间戳信息,确定数据更新记录。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;所述数据更新记录预先按照分级时间进行分级存储;
基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
在所述目标存储分级中,基于所述记录标识和所述存储时间戳信息,确定数据更新记录。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;所述数据更新记录预先按照分级时间进行分级存储;
基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
在所述目标存储分级中,基于所述记录标识和所述存储时间戳信息,确定数据更新记录。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;所述数据更新记录预先按照分级时间进行分级存储;
基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
在所述目标存储分级中,基于所述记录标识和所述存储时间戳信息,确定数据更新记录。
上述数据查询方法、装置、计算机设备、存储介质和计算机程序产品,响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;在所述目标存储分级中,基于所述记录标识,确定数据更新记录。采用本方法,将数据更新记录按照分级时间进行分级存储,进而,在进行数据查询时,可以依据数据更新记录的时间戳信息,快速确定数据更新记录所处的目标存储分级,并根据数据更新记录的记录标识快速查询到数据更新记录,提高数据更新记录的查询效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中数据查询方法的流程示意图;
图2为一个实施例中数据库中数据更新记录表的存储步骤的流程示意图;
图3为一个实施例中进行数据更新记录的分级存储步骤的流程示意图;
图4为一个实施例中分级查询数据更新记录表的方法的流程示意图;
图5为一个实施例中检验用户数据查询权限步骤的流程示意图;
图6为一个实施例中更新数据库中数据存储分区表步骤的流程示意图;
图7为一个实施例中数据查询装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种数据查询方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤102,响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息。
其中,数据更新记录预先按照分级时间进行分级存储。数据更新记录也可以称为数据更新轨迹,为数据库中发生数据更新操作事务产生的数据记录,数据更新记录中不仅包含原始数据和更新后的数据,还可以包含该数据更新过程所涉及的事务流程节点信息,每一流程节点对应的操作数据等,数据更新记录用于表征历史时间内一次完整的数据更新过程。通过该数据更新记录表的数据分析和追踪可以发现异常数据以及防止数据被篡改。
在实施中,在数据更新的过程中会将缓存消息队列中的数据更新记录按照预设分级时间进行分级存储,其中,分级存储地址包括数据库和磁盘。通过数据库和磁盘可以实现对数据更新记录的永久存储。而当用户需要对某一数据更新记录进行查询时,用户发起数据查询请求,该数据查询请求中携带数据更新记录的记录标识和存储时间戳信息,因此,终端响应于该数据查询请求,确定出待查询的数据更新记录的记录标识和存储时间戳信息。
可选的,本申请实施例中支持oracle、mysql、OB、polar、达梦五种关系型数据库对应的数据更新记录。
步骤104,基于存储时间戳信息,确定数据更新记录所处的目标存储分级。
在实施中,终端基于存储时间戳信息,确定数据更新记录所处的目标存储分级。具体地,在数据更新记录的预先存储过程中,终端会按照预设分级时间对数据更新记录进行数据存储。例如,预设分级时间设置为2个月。那么,基于数据更新记录的存储时间戳信息,终端将距离当前时刻2个月以内的数据更新记录存储在第一层数据存储空间,距离当前时刻2个月以外的数据更新记录存储在第二层数据存储空间。其中,第一层数据存储空间可以为数据库,第二层数据存储空间可以为磁盘。这样,在进行数据更新记录的查询时,终端可以再基于存储时间戳信息确定数据更新记录的存储位置(即目标存储分级)。
步骤106,在目标存储分级中,基于记录标识和存储时间戳信息,确定数据更新记录。
在实施中,在目标存储分级中,终端基于记录标识和存储时间戳信息进行查询定位,确定数据更新记录。例如,在数据库中,终端基于数据更新记录的记录标识查找数据更新记录所在的数据更新记录表,进而,基于存储时间戳信息,在数据更新记录表中确定数据更新记录具体条目。
其中,数据更新记录的记录标识可以但不限于为数据更新记录的名称,对此本申请实施例不做限定。
上述数据查询方法,响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;基于存储时间戳信息,确定数据更新记录所处的目标存储分级;在目标存储分级中,基于记录标识,确定数据更新记录。采用本方法,将数据更新记录按照分级时间进行分级存储,进而,在进行数据查询时,可以依据数据更新记录的时间戳信息,快速确定数据更新记录所处的目标存储分级,并根据数据更新记录的记录标识快速查询到数据更新记录,提高数据更新记录的查询效率。
在一示例性的实施例中,为了实现数据更新记录的有效存储和快速查询,对数据更新记录进行存储时需要预先设置存储规则,具体地,如图2所示,在步骤102之前,该方法还包括:
步骤201,按照预设时长,构建数据库中的数据存储分区表。
在实施中,终端按照预设时长,构建数据库中的数据存储分区表。具体地,该数据库可以但不限于为高斯数据库,终端执行业务系统发送的建表语句(也即建表请求)将该建表语句转换为高斯集群对应的高斯语句,在高斯集群中按照时间字段,构建高斯数据库中的数据存储分区表。例如,时间字段中可以按天分区,即以每一天为时间单位,构建数据存储分区表,该数据存储分区表中无主键,且按照事务提交时间对事务对应的数据更新记录进行分区存储。
步骤202,获取消息队列中的各数据更新记录,并基于预设时长对各数据更新记录进行数据划分,得到数据划分结果。
其中,消息队列可以是kafka卡夫卡消息队列,该消息队列作为一种分布式流媒体平台,用于实时获取各事务对应的数据更新记录。
在实施中,终端获取消息队列中的各数据更新记录,并基于预设时长对各数据更新记录进行数据划分,得到数据划分结果。例如,以天为时间单位对各数据更新记录进行数据划分,得到按天区分的数据划分结果。该数据更新记录表的划分时间与数据存储分区表的划分时间保持一致。
步骤203,将每一数据划分结果,更新至数据存储分区表中,得到数据更新记录表。
在实施中,终端将每一数据划分结果,更新至数据存储分区表中,得到数据更新记录表。从而,该数据更新记录表中分区时间以及数据更新记录的记录标识作为标识信息进行查找。
本实施例中,通过在数据库中创建数据存储分区表,实现对数据更新记录的存储,且基于预设时长对数据存储分区表进行分区,便于数据更新记录的查找,提高数据更新记录的查询效率。
在一示例性的实施例中,为了实现数据更新记录的永久性存储,针对数据更新记录对应的时效,以及预设分级时间对数据更新记录进行分级,如图3所示,该方法还包括:
步骤302,查询数据库中各数据更新记录表的时效信息。
在实施中,终端查询数据库中各数据更新记录表的时效信息。例如,按天分区进行数据更新记录的存储,在数据库中以天为时间单位,可以存储有一段时间内的各数据更新记录表,假设随着时间分区表的构建,该数据库中存储了某年11月1日至12月31日这61天内对应的数据更新记录表,这对应每一天的数据更新记录表其时效信息是不同的,时间越靠前数据更新记录越旧,时间越靠后数据更新记录越新。
步骤304,当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将目标数据更新记录表存储至磁盘中。
在实施中,当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,由于数据库中的存储空间有限,为了保证数据更新记录的留存,可以将目标数据更新记录表通过GDS(Gaussdb Data Server,高斯数据服务)服务数据更新记录表为单位,生成磁盘文件,转存至磁盘中。例如,以2个月为预设分级时间为例,则预设分级时间条件为数据更新记录表的时效信息超过预设分级时间,即超过2个月。则终端将超过2个月的时效信息的数据更新记录表作为目标数据更新记录表,转存至磁盘中。
步骤306,删除数据库中的目标数据更新记录。
在实施中,由于目标数据更新记录已经转存至磁盘中,因此,为了保证数据库中的数据存储空间,终端删除数据库中的目标数据更新记录。
本实施例中,通过对数据更新记录进行数据库与磁盘的分级存储,实现了数据更新记录的长久保存,而且,节约了数据库中的存储空间,从而,实现数据库中数据更新记录的更新。
在一个示例性的实施例中,由于数据更新记录按照分级时间进行分级存储,因此,在进行数据查询时,也按照待查询的数据更新记录的存储时间戳信息(也可以称为提交时间信息),确定待查询数据更新记录的目标存储分级,如图4所示,步骤104包括步骤402至步骤404。其中:
步骤402,若存储时间戳信息满足第一预设分级时间条件,确定数据更新记录处在数据库中。
在实施中,若存储时间戳信息满足第一预设分级时间条件,确定数据更新记录处在数据库中。其中,第一预设分级时间条件为存储时间戳信息未超过预设分级时间。例如,待查询的数据更新记录对应的存储时间戳信息未超过2个月时间,则确定该数据更新记录仍然保留在数据库中,因此,在数据库中对数据更新记录进行快速查找。
步骤404,若存储时间戳信息满足第二预设分级时间条件,确定数据更新记录处在磁盘中。
在实施中,若存储时间戳信息满足第二预设分级时间条件,确定数据更新记录处在磁盘中。其中,第二预设分级时间条件为存储时间戳信息超过预设分级时间。例如,待查询的数据更新记录对应的存储时间戳信息超过2个月时间,则确定该数据更新记录已经被转存至磁盘中,因此,在磁盘中对数据更新记录进行查找。
本实施例中,在数据更新记录的查询过程中,不仅通过数据更新记录的存储时间戳信息,对数据更新记录进行快速查询,而且,由于数据更新记录的分级存储,可以保证在数据库中的数据更新记录快速被查询到,提高了数据查询效率。
在一个示例性的实施例中,如图5所示,在步骤之前,该方法还包括:
步骤502,获取用户的属性信息,并基于用户的属性信息,确定用户的查询权限。
在实施中,在数据查询平台中,用户预先上传有权限工单,该权限工单用于明确每一用户的查询权限,进而,在用户进行数据查询操作之前,终端基于用户的属性信息,在该用户对应的权限工单中确定用户的查询权限。
步骤504,在用户的查询权限满足数据更新记录查询条件的情况下,执行响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
在实施中,在用户的查询权限满足预设数据更新记录查询条件的情况下,表征用户可以进行本次数据查询操作,则终端继续执行步骤102,该步骤102的具体处理过程在上述实施例中已经描述,在此不再赘述。反之,若用户的查询权限不满足数据更新记录查询条件,则提示用户无法进行数据查询。
本实施例中,在用户进行数据查询之前,通过对用户的权限进行检验,保证数据更新记录的数据安全性。
在一个示例性的实施例中,除了对数据库中数据更新记录进行更新(即更新数据存储分区表中的数据更新记录)之外,在数据库中还可以批量更新数据存储分区表,如图6所示,该方法还包括:
步骤602,响应于分区重建请求,获取当前全量的数据存储分区表。
在实施中,当用户发起数据库中数据存储分区表的更新时,终端响应于分区重建请求,获取当前全量的数据存储分区表,当前全量的数据存储分区表对应有时效信息,例如,当前包含全量的数据存储分区表包含61天的数据存储分区表,每一数据存储分区表记录有以天为时间单位的存储时间戳,该存储时间戳信息可以表征数据存储分区表的时效信息。
步骤604,在当前全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
在实施中,在当前全量的数据存储分区表中,终端按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。例如,以全量的数据存储分区表对应某年10月1日至11月30日这61天的数据存储分区表为例,终端可以新增设10天的数据存储分区表,即以天为时间单位,增设12月1日至12月10日的数据存储分区表,删除原始历史时段对应的数据存储分区表,即删除10月1日至11月30日内对应的数据存储分区表,可以删除前61天的全部数据存储分区表,也可以删除部分,本申请实施例不做限定。
本实施例中,通过对数据库中的数据存储分区表进行更新,实现对数据库中数据更新记录表的更新,保证数据存储的时效性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据查询方法的数据查询装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据查询装置实施例中的具体限定可以参见上文中对于数据查询方法的限定,在此不再赘述。
在一个示例性的实施例中,如图7所示,提供了一种数据查询装置700,包括:第一确定模块701、第二确定模块702和查询确定模块703,其中:
第一确定模块701,用于响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;数据更新记录预先按照分级时间进行分级存储。
第二确定模块702,用于基于存储时间戳信息,确定数据更新记录所处的目标存储分级。
查询确定模块703,用于在目标存储分级中,基于记录标识和存储时间戳信息,确定数据更新记录。
在一示例性的实施例中,该装置700还包括:
构建模块,用于按照预设时长,构建数据库中的数据存储分区表;
第一获取模块,用于获取消息队列中的各数据更新记录,并基于预设时长对各数据更新记录进行数据划分,得到数据划分结果;
第一更新模块,用于将每一数据划分结果,更新至数据存储分区表中,得到数据更新记录表。
在一示例性的实施例中,该装置700还包括:
查询模块,用于查询数据库中各数据更新记录表的时效信息;
存储模块,用于当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将目标数据更新记录表存储至磁盘中;
删除模块,用于删除数据库中的目标数据更新记录。
在一示例性的实施例中,第二确定模块702,具体用于若存储时间戳信息满足第一预设分级时间条件,确定数据更新记录处在数据库中;
若存储时间戳信息满足第二预设分级时间条件,确定数据更新记录处在磁盘中。
在一示例性的实施例中,该装置700还包括:
获取确定模块,用于获取用户的属性信息,并基于用户的属性信息,确定用户的查询权限;
判别模块,用于在用户的查询权限满足数据更新记录查询条件的情况下,执行响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
在一示例性的实施例中,该装置700还包括:
第二获取模块,用于响应于分区重建请求,获取当前全量的数据存储分区表;
第二更新模块,用于在当前全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
上述数据查询装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据查询方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;数据更新记录预先按照分级时间进行分级存储;
基于存储时间戳信息,确定数据更新记录所处的目标存储分级;
在目标存储分级中,基于记录标识和存储时间戳信息,确定数据更新记录。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
按照预设时长,构建数据库中的数据存储分区表;
获取消息队列中的各数据更新记录,并基于预设时长对各数据更新记录进行数据划分,得到数据划分结果;
将每一数据划分结果,更新至数据存储分区表中,得到数据更新记录表。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
查询数据库中各数据更新记录表的时效信息;
当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将目标数据更新记录表存储至磁盘中;
删除数据库中的目标数据更新记录。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若存储时间戳信息满足第一预设分级时间条件,确定数据更新记录处在数据库中;
若存储时间戳信息满足第二预设分级时间条件,确定数据更新记录处在磁盘中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取用户的属性信息,并基于用户的属性信息,确定用户的查询权限;
在用户的查询权限满足数据更新记录查询条件的情况下,执行响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
响应于分区重建请求,获取当前全量的数据存储分区表;
在当前全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;数据更新记录预先按照分级时间进行分级存储;
基于存储时间戳信息,确定数据更新记录所处的目标存储分级;
在目标存储分级中,基于记录标识和存储时间戳信息,确定数据更新记录。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
按照预设时长,构建数据库中的数据存储分区表;
获取消息队列中的各数据更新记录,并基于预设时长对各数据更新记录进行数据划分,得到数据划分结果;
将每一数据划分结果,更新至数据存储分区表中,得到数据更新记录表。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
查询数据库中各数据更新记录表的时效信息;
当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将目标数据更新记录表存储至磁盘中;
删除数据库中的目标数据更新记录。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若存储时间戳信息满足第一预设分级时间条件,确定数据更新记录处在数据库中;
若存储时间戳信息满足第二预设分级时间条件,确定数据更新记录处在磁盘中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取用户的属性信息,并基于用户的属性信息,确定用户的查询权限;
在用户的查询权限满足数据更新记录查询条件的情况下,执行响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
响应于分区重建请求,获取当前全量的数据存储分区表;
在当前全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据查询方法,其特征在于,所述方法包括:
响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;所述数据更新记录预先按照分级时间进行分级存储;
基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
在所述目标存储分级中,基于所述记录标识和所述存储时间戳信息,确定数据更新记录。
2.根据权利要求1所述的方法,其特征在于,所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息之前,所述方法还包括:
按照预设时长,构建数据库中的数据存储分区表;
获取消息队列中的各数据更新记录,并基于所述预设时长对各所述数据更新记录进行数据划分,得到数据划分结果;
将每一所述数据划分结果,更新至所述数据存储分区表中,得到数据更新记录表。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
查询所述数据库中各数据更新记录表的时效信息;
当各数据更新记录表中的目标数据更新记录表的时效信息满足预设分级时间条件时,将所述目标数据更新记录表存储至磁盘中;
删除所述数据库中的所述目标数据更新记录。
4.根据权利要求1所述的方法,其特征在于,所述基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级,包括:
若所述存储时间戳信息满足第一预设分级时间条件,确定所述数据更新记录处在数据库中;
若所述存储时间戳信息满足第二预设分级时间条件,确定所述数据更新记录处在磁盘中。
5.根据权利要求1所述的方法,其特征在于,所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息之前,所述方法还包括:
获取用户的属性信息,并基于所述用户的属性信息,确定所述用户的查询权限;
在所述用户的查询权限满足数据更新记录查询条件的情况下,执行所述响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息的步骤。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于分区重建请求,获取当前全量的数据存储分区表;
在当前所述全量的数据存储分区表中,按照预设时长增加新的数据存储分区表,并删除预设历史时段对应的数据存储分区表。
7.一种数据查询装置,其特征在于,所述装置包括:
第一确定模块,用于响应于数据查询请求,确定待查询的数据更新记录的记录标识和存储时间戳信息;
第二确定模块,用于基于所述存储时间戳信息,确定所述数据更新记录所处的目标存储分级;
查询确定模块,用于在所述目标存储分级中,基于所述记录标识和所述存储时间间戳信息,确定数据更新记录。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311732059.5A 2023-12-16 2023-12-16 数据查询方法、装置、计算机设备和存储介质 Pending CN117648336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311732059.5A CN117648336A (zh) 2023-12-16 2023-12-16 数据查询方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311732059.5A CN117648336A (zh) 2023-12-16 2023-12-16 数据查询方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117648336A true CN117648336A (zh) 2024-03-05

Family

ID=90043341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311732059.5A Pending CN117648336A (zh) 2023-12-16 2023-12-16 数据查询方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117648336A (zh)

Similar Documents

Publication Publication Date Title
CN111177302B (zh) 业务单据处理方法、装置、计算机设备和存储介质
CN107103011B (zh) 终端数据搜索的实现方法和装置
CN109840250B (zh) 中间字段的访问权限管理方法、装置、设备和存储介质
CN115168499B (zh) 数据库表的分片方法、装置、计算机设备和存储介质
CN117151045A (zh) 基于区块链的报表加工方法、装置及计算机设备
CN116339626A (zh) 数据处理方法、装置、计算机设备和存储介质
CN115495452A (zh) 数据处理方法、装置、计算机设备和存储介质
CN117648336A (zh) 数据查询方法、装置、计算机设备和存储介质
CN112181921A (zh) 数据处理方法及装置
CN112835886A (zh) 数据表字段添加方法和装置
CN114647630A (zh) 文件同步、信息生成方法、装置、计算机设备和存储介质
CN114996600B (zh) 一种多时相影像管理数据库数据写入、读取方法及装置
CN117435589A (zh) 数据转存方法、装置、计算机设备、存储介质
CN117453957A (zh) 资源处理方法、装置、计算机设备和存储介质
CN117033452A (zh) 数据库处理方法、装置、计算机设备和存储介质
CN114385630A (zh) 血缘关系梳理方法、装置、设备、存储介质和程序产品
CN118132656A (zh) 知识图谱构建方法、装置、计算机设备和存储介质
CN117827978A (zh) 数据冲突处理方法、装置、计算机设备和存储介质
CN116880927A (zh) 规则管理方法、装置、计算机设备和存储介质
CN116775955A (zh) 数据标签固化方法、装置、计算机设备和存储介质
CN116541145A (zh) 数据调用方法、装置、计算机设备和计算机存储介质
CN113961636A (zh) 对象关系查询方法、装置、计算机设备、存储介质
CN114547066A (zh) 核电业务数据的标准化方法、装置和计算机设备
CN118152622A (zh) 数据资产目录树的处理方法、装置、设备、介质和产品
CN117909550A (zh) 查询方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination