CN110119249B - 一种数据的存储方法和装置 - Google Patents
一种数据的存储方法和装置 Download PDFInfo
- Publication number
- CN110119249B CN110119249B CN201910272688.1A CN201910272688A CN110119249B CN 110119249 B CN110119249 B CN 110119249B CN 201910272688 A CN201910272688 A CN 201910272688A CN 110119249 B CN110119249 B CN 110119249B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- query
- authorized
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/14—Protection against unauthorised use of memory or access to memory
- G06F12/1416—Protection against unauthorised use of memory or access to memory by checking the object accessibility, e.g. type of access defined by the memory independently of subject rights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据的存储方法和装置,该方法包括:获取原始数据,该原始数据中包括自第一时间起所采集到的所有数据,对原始数据进行整合,以生成按照授权时间划分的分区数据,该分区数据中包括每个授权时间所对应的该授权时间向前回溯预设时长内的数据,每个授权时间是从第一时间开始起按照预设间隔划分后的时间;将分区数据存储在数据存储空间中。因此,通过双分区数据存储,提高数据覆盖率,提升数据价值。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据的存储方法和装置。
背景技术
在现有技术中,进行离线数据查询时,常规方法是基于对全生命周期的数据,建立一张每天一分区的中间表,数据查询结果是依据所选查询的回溯时间,对相应中间表中的数据进行加和而确定的。但由于在进行数据查询之前,通常需要对发起数据查询请求的用户进行授权验证,只有具有对应查询权限的用户才能够查询到相应的数据结果,每天生成的授权用户数量是有限的,系统可以为授权用户爬取近一段时间(通常为6个月)的相关数据,可以简称为单点有效数据或授权爬取数据,作为衍生数据,便于授权用户进行后续查询。因此,由于每天衍生出的数据的覆盖量与当天的授权用户数相对应,进而导致数据的覆盖率低,无法充分发挥数据价值,数据利用率较低。
发明内容
鉴于上述问题,本申请实施例提供一种数据的存储方法,能够解决现有技术数据的覆盖率和利用率低的问题。
相应的,本申请实施例还提供了一种数据的存储装置,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据的存储方法,所述方法包括:
获取原始数据,所述原始数据中包括自第一时间起所采集到的所有数据;
对所述原始数据进行整合,以生成按照授权时间划分的分区数据,所述分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,所述每个授权时间是从所述第一时间开始起按照预设间隔划分后的时间;
将所述分区数据存储在数据存储空间中。
相应的,本申请实施例还公开了一种数据的存储装置,所述装置包括:
数据获取模块,用于获取原始数据,所述原始数据中包括自第一时间起所采集到的所有数据;
数据整合模块,用于对所述原始数据进行整合,以生成按照授权时间划分的分区数据,所述分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,所述每个授权时间是从所述第一时间开始起按照预设间隔划分后的时间;
数据存储模块,用于将所述分区数据存储在数据存储空间中。
本申请实施例还提供一种装置,包括处理器以及存储器,其中,
所述处理器执行所述存储器所存放的计算机程序代码,以实现本申请所述的数据的存储方法。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现本申请所述的数据的存储方法的步骤。
本申请实施例包括以下优点:
获取原始数据,所述原始数据中包括自第一时间起所采集到的所有数据;对所述原始数据进行整合,以生成按照授权时间划分的分区数据,所述分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,所述每个授权时间是从所述第一时间开始起按照预设间隔划分后的时间;将所述分区数据存储在数据存储空间中。因此,通过双分区数据存储,提高数据覆盖率,提升数据价值。
附图说明
图1是本申请的一种数据的存储方法实施例的步骤流程图;
图2是本申请的一种数据的存储方法可选实施例的步骤流程图;
图3是本申请的另一种数据的存储方法可选实施例的步骤流程图;
图4是本申请的另一种数据的存储方法实施例的步骤流程图;
图5是本申请的又一种数据的存储方法实施例的步骤流程图;
图6是本申请的一种数据的存储装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本申请的一种数据的存储方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,获取原始数据。
其中,原始数据中包括自第一时间起所采集到的所有数据。
步骤102,对原始数据进行整合,以生成按照授权时间划分的分区数据。
其中,分区数据中包括每个授权时间所对应的每个授权时间向前回溯预设时长内的数据,每个授权时间是从第一时间开始起按照预设间隔划分后的时间。
示例地,对步骤101所获取到的原始数据进行清洗整合,对原始数据的分布情况,缺失情况以及数据的其他价值的探索。首先通过对原始数据进行预处理,将其中无用的数据过滤掉,例如先按照业务时间进行划分,再对应每个业务的用户的授权时间,将按业务时间划分后的数据进行整合,而生成分区数据,该分区数据中将原始数据进行双分区(业务时间以及授权时间)。
需要说明的是,由于离线数据的查询结果是依赖于存储的历史数据表,示例地,该历史数据表即分区数据是按照每天(授权时间)进行划分而生成的日表,通过获取实际的查询请求,确定其中对于数据的回溯时间(查询20天内的数据),再通过对数据表进行所选回溯时间内的数据简单加和后(前20内的数据总和),即可作为数据查询结果。
步骤103,将分区数据存储在数据存储空间中。
需要说明的是,根据上述步骤将原始数据清洗整合后所生成的分区数据进行存储,其存储方式与数据划分策略对应,当按照天进行数据划分时,存储分区数据的方式也是按照天进行存储的,即每天对于每个授权用户对应存储两个分区的数据,首先是该授权时间(第一分区)下,之后再从授权时间下向前回溯预设时长的按照业务时间(第二分区)进行划分后的数据。进而能够在数据存储空间中对应授权时间,预先存储预设时长的数据,以扩大数据覆盖范围,从而能够在数据查询时,为用户提供更全面的数据查询结果。
综上所述,本申请实施例提供的数据的存储方法,获取原始数据,原始数据中包括自第一时间起所采集到的所有数据,对原始数据进行整合,以生成按照授权时间划分的分区数据,分区数据中包括每个授权时间所对应的每个授权时间向前回溯预设时长内的数据;将分区数据存储在数据存储空间中。因此,通过双分区数据存储,提高数据覆盖率,提升数据价值。
参照图2,示出了本申请的一种数据的存储方法实施例的步骤流程图,在步骤103之后,所述方法还包括如下步骤:
步骤104,获取数据查询请求。
示例地,用户向系统提交数据查询请求,其中包括对历史数据的查询,即数据的回溯时间,如要查询从当前时间起前的90天的数据,系统则在接收到该数据查询请求之后,首先进行该数据查询请求的授权验证,只有验证通过的数据查询请求才能够获取对应的数据查询结果。
步骤105,利用数据查询授权信息,确定数据查询请求是否满足查询条件。
其中,数据查询授权信息包括对数据查询请求进行授权的信息。
在具体应用中,数据查询授权信息中例如可以包括每个业务时间下对应的授权用户的信息和/或对于该授权用户的授权权限信息,例如某个用户是哪天授权的以及该用户的授权权限信息包括可查询多少个业务时间下的数据内容。该查询条件例如包括发起方是否具有查询授权和/或发起发所具有的查询授权的范围,也就是根据数据查询请求确定发起方的信息(如用于标识用户的标识符),再与数据查询授权信息进行比对,确定该发起方是否为授权用户和/或是否有权限查询前90天的数据,示例地,在该发起方的授权信息确定其授权查询范围能够覆盖前90天的情况下,则确定满足查询条件;否则,提示用户不具有数据查询资格,不满足查询条件,需要重新输入数据查询请求。
步骤106,在数据查询请求满足查询条件的情况下,从数据存储空间中获取数据查询请求对应的数据查询结果。
示例地,由于图1的实施例中生成了按照授权时间进行分区的分区数据后,因此,在基于数据查询请求从数据存储空间中获取数据查询结果时,将从数据存储空间中获取到对应数据,进行组合封装作为数据查询结果。
参照图3,示出了本申请的一种数据的存储方法可选实施例的步骤流程图,步骤102所述的对原始数据进行整合,以生成按照授权时间划分的分区数据,包括如下步骤:
步骤1021,对原始数据进行预处理。
示例地,由于原始数据中可能存在无用数据,通过预处理将原始数据中的无用数据进行剔除,以保证原始数据的质量。
步骤1022,根据预处理后的原始数据,以生成根据按照每个授权时间下所对应的数据进行分区后得到的具有表结构的原始表数据。
在具体应用中,通过本步骤生成现有的按照授权时间直接分区的数据表结构。示例地,预设间隔可以选择为24小时,即一天。也就是将原始数据按照天进行划分,如从第一时间开始起,到当前时间共经历了700天,原始数据中包括700天的数据,可以将每天作为一个授权时间,其对应的数据内容作为表数据中的一个部分。示例地,原始表数据中包括按照每个授权时间(每天)分区的数据,表示上述700天中的任一个授权时间(0,1,…,700)对应向前可追溯的业务时间(多个业务时间)内的数据(一个业务时间下的一个或者多个数据)。需要说明的是,根据具体应用场景,还可以选择更长的时间间隔,例如7天;或者选择更短的时间间隔,例如8个小时等,本发明不做具体限制;此外,其中700天中的每天不一定都是有数据的,且每个业务时间下不一定具有每个类型的数据。
步骤1023,根据原始表数据,获取每个授权时间向前追溯预设时长内的数据,以生成分区数据。
示例地,由于数据查询授权信息中包括每个授权时间下的授权用户信息,因此针对每个授权时间,生成对应的双分区的表数据。将原始表数据进行整合,生成在授权时间下再次进行划分后得到的新的表数据。具体的,在不同的授权时间下,将向前回溯预设时长内对应的数据划分为每个业务时间下的数据,例如预设时长为180天,则第一授权时间(dt1)所对应的数据包括从dt1向前回溯180天内的数据,也就是在第一授权时间下对所有数据基于业务时间进行再次划分,dt1所对应的数据包括dt1i(i=1,2,…,180),其中这180天代表预设时长,可以根据不同预设时长的设置进行改变,也就是说在700个授权时间下,每个授权时间对应的数据再通过业务时间进行分区,以生成划分为180天(业务时间)的可回溯数据内容,区别于步骤1022所生成的原始表数据,该分区数据是进行授权时间分区和授权时间下的业务时间分区的双分区数据。
参照图4,示出了本申请的一种数据的存储方法可选实施例的步骤流程图,步骤1023所述的根据原始表数据,获取每个授权时间向前追溯预设时长内的数据,以生成分区数据,包括如下步骤:
步骤10231,在原始表数据中包括第一授权时间向前回溯预设时长内的数据的情况下,将预设时长内的所有数据作为第一授权时间对应的第一分区数据。
其中,第一授权时间是自第一时间起按照预设间隔划分后的任一时间,第一分区数据是根据本发明所提供的技术方案,所生成的分区数据中与第一授权时间对应的数据。
示例地,预设间隔为1天,则授权时间是从第一时间开始后的任一一天,也就是从第一时间开始的每一天中,需对应建立该时间内所有授权用户对应的预设时长(180天)的数据。而由于不同授权时间对应的历史数据区的数据不同,需将对应的多天数据(授权日向前追溯至第一时间的数据)作为分区数据。选择回溯预设时长为180天,则对应在历史数据区中数据为预设时长内的180天内的所有数据,若第一授权时间为1月2日,将1月2日之前的180内的数据作为历史数据区的数据,由于原始数据是自第一时间起所能够采集到的数据,如是从上一年度的10月1日开始,则其中并未包含自第一授权时间1月2日向前回溯180天内的数据,则仅将上一年度的10月1日起的原始表数据中的数据的所有作为历史数据区的数据;反之,若第一时间是上一年度的1月1日,则从本年度的1月2日向前回溯180天内的数据均包含在从第一时间起的原始数据所划分生成的数据表中。
需要说明的是,预设时长可以根据实际的数据应用场景进行设置,本发明不做具体限制。
步骤10232,在原始表数据未完全包括第一授权时间向前回溯预设时长内的所有数据的情况下,将原始表数据内第一授权时间之前的所有数据作为第一分区数据。
也就是说,当原始数据的数据范围(时间范围)包括从第一授权时间向前回溯预设时长的情况下,直接将第一授权时间向前回溯预设时长内的所有数据表中的数据作为与第一授权时间所对应的第一分区数据,进行步骤10231;否则,将原始数据中的从第一时间开始起至第一授权时间的数据作为第一分区数据,即进行步骤10232。本步骤将对自第一时间起按照预设间隔划分出的每个时间(授权时间)获取对应的子分区数据(第一分区数据,第二分区数据…第700分区数据),进而生成总的分区数据。
示例地,对于每一个授权时间,都对应一个按照业务时间划分的数据组,其中该数据组中包括是该授权时间可回溯的最远时间(预设时长)对应的数据。此外,需要说明的是,当产生了新的数据时,例如是第二授权时间对应的数据,则利用上述的操作步骤,获取第二授权时间对应的追溯数据,其中应包括从该第二授权时间向前回溯预设时长内的数据,对应选择步骤10231和步骤10232的操作,并保存在数据存储空间中,以更新分区数据。
参照图5,示出了本申请的一种数据的存储方法可选实施例的步骤流程图,步骤106所述的在数据查询请求满足查询条件的情况下,从数据存储空间中获取数据查询请求对应的数据查询结果,包括:
步骤1061,根据数据查询请求,确定数据查询请求的目标查询时间以及查询请求的查询回溯时长。
其中,目标查询时间是数据查询请求的发起方的授权时间。
步骤1062,在目标查询时间在当前时间之前的情况下,确定数据查询结果包括目标查询时间向前回溯第一时长内的数据。
其中,第一时长为查询回溯时长减去当前时间与目标查询时间之差。
在具体应用中,当数据查询请求满足查询条件的情况下,说明该数据查询请求的发起方具有数据查询的权限,因此可以根据其数据查询请求获取对应的数据查询结果以输出。示例地,当前时间为2月18日,该请求的发起方的授权时间,也就是目标查询时间为2月1日,该请求所需回溯的查询回溯时长为50天,则该发起方实际能够获取到的数据为2月1日向前回溯33(50-17)天的总数据,也就是说2月1日至2月18日之间的17天内的数据,由于没有相应的授权信息则无法回溯。
步骤1063,在目标查询时间与当前时间一致的情况下,确定数据查询结果包括第二时间向前追溯查询回溯时长内的数据。
其中,第二时间是当前时间向前推预设间隔的时间。
类似的,当用户的授权时间为2月18日时,该请求所回溯的查询回溯时长为50天,则发起方实际能够获取到的数据为2月18日的前一天,即第二时间,2月17日向前回溯50天的总数据。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图6,示出了本申请的一种数据的存储装置实施例的结构框图,具体可以包括如下模块:
数据获取模块610,用于获取原始数据,原始数据中包括自第一时间起所采集到的所有数据。
数据整合模块620,用于对原始数据进行整合,以生成按照授权时间划分的分区数据,分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,每个授权时间是从第一时间开始起按照预设间隔划分后的时间。
数据存储模块630,用于将分区数据存储在数据存储空间中。
在本申请的一个可选实施例中,装置还包括:
请求获取模块,用于在将分区数据对应时间存储在数据存储空间中的步骤之后,获取数据查询请求;
条件确定模块,用于利用数据查询授权信息,确定数据查询请求是否满足查询条件,数据查询授权信息包括对数据查询请求进行授权的信息;
结果获取模块,用于在数据查询请求满足查询条件的情况下,从数据存储空间中获取数据查询请求对应的数据查询结果。
可选的,在本申请的一个可选实施例中,数据整合模块,包括:
预处理子模块,用于对原始数据进行预处理;
数据划分子模块,用于根据预处理后的原始数据,以生成根据按照每个授权时间下所对应的数据进行分区后得到的具有表结构的原始表数据;
数据确定子模块,用于根据原始表数据,获取每个授权时间向前追溯预设时长内的数据,以生成分区数据。
可选的,在本申请的一个可选实施例中,数据确定子模块,用于:
在原始表数据中包括第一授权时间向前回溯预设时长内的数据的情况下,将预设时长内的所有数据作为第一授权时间对应的第一分区数据;或者
在原始表数据未完全包括第一授权时间向前回溯预设时长内的数据的情况下,将原始表数据内第一授权时间之前的所有数据作为第一分区数据;
其中,第一授权时间是自第一时间起按照预设间隔划分后的任一时间。
可选的,结果获取模块,包括:
信息获取子模块,用于获取目标查询时间以及数据查询请求对应的查询回溯时长,目标查询时间是对数据查询请求的发起方进行授权的时间;
结果确定子模块,用于在目标查询时间在当前时间之前的情况下,确定数据查询结果包括目标查询时间向前回溯第一时长内的数据,第一时长为查询回溯时长减去当前时间与目标查询时间之差;
结果确定子模块,还用于在目标查询时间与当前时间一致的情况下,确定数据查询结果包括第二时间向前追溯查询回溯时长内的数据,第二时间是当前时间向前推预设间隔的时间。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在终端设备时,可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据的存储方法,其特征在于,所述方法包括:
获取原始数据,所述原始数据中包括自第一时间起所采集到的所有数据;
对所述原始数据进行整合,以生成按照授权时间划分的分区数据,所述分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,所述每个授权时间是从所述第一时间开始起按照预设间隔划分后的时间;
将所述分区数据存储在数据存储空间中。
2.根据权利要求1所述的方法,其特征在于,在所述将所述分区数据对应时间存储在数据存储空间中的步骤之后,所述方法还包括:
获取数据查询请求;
利用数据查询授权信息,确定所述数据查询请求是否满足查询条件,所述数据查询授权信息包括对数据查询请求进行授权的信息;
在所述数据查询请求满足所述查询条件的情况下,从所述数据存储空间中获取所述数据查询请求对应的数据查询结果。
3.根据权利要求2所述的方法,其特征在于,所述对所述原始数据进行整合,以生成按照授权时间划分的分区数据,包括:
对所述原始数据进行预处理;
根据预处理后的所述原始数据,以生成根据按照所述每个授权时间下所对应的数据进行分区后得到的具有表结构的原始表数据;
根据所述原始表数据,获取所述每个授权时间向前追溯所述预设时长内的数据,以生成分区数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述原始表数据,获取所述每个授权时间向前追溯所述预设时长内的数据,以生成分区数据,包括:
在所述原始表数据中包括第一授权时间向前回溯所述预设时长内的数据的情况下,将所述预设时长内的所有数据作为所述第一授权时间对应的第一分区数据;
在所述原始表数据未完全包括所述第一授权时间向前回溯所述预设时长内的数据的情况下,将所述原始表数据内在所述第一授权时间之前的所有数据作为所述第一分区数据;
其中,所述第一授权时间是自所述第一时间起按照所述预设间隔划分后的任一时间。
5.根据权利要求2所述的方法,其特征在于,所述在所述数据查询请求满足所述查询条件的情况下,从所述数据存储空间中获取所述数据查询请求对应的数据查询结果,包括:
根据所述数据查询请求,确定所述数据查询请求的目标查询时间以及所述查询请求的查询回溯时长,所述目标查询时间是所述数据查询请求的发起方的授权时间;
在所述目标查询时间在当前时间之前的情况下,确定所述数据查询结果包括所述目标查询时间向前回溯第一时长内的数据,所述第一时长为所述查询回溯时长减去所述当前时间与所述目标查询时间之差;
在所述目标查询时间与所述当前时间一致的情况下,确定所述数据查询结果包括第二时间向前追溯所述查询回溯时长内的数据,所述第二时间是所述当前时间向前推所述预设间隔的时间。
6.一种数据的存储装置,其特征在于,所述装置包括:
数据获取模块,用于获取原始数据,所述原始数据中包括自第一时间起所采集到的所有数据;
数据整合模块,用于对所述原始数据进行整合,以生成按照授权时间划分的分区数据,所述分区数据中包括每个授权时间所对应的所述每个授权时间向前回溯预设时长内的数据,所述每个授权时间是从所述第一时间开始起按照预设间隔划分后的时间;
数据存储模块,用于将所述分区数据存储在数据存储空间中。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
请求获取模块,用于在所述将所述分区数据对应时间存储在数据存储空间中的步骤之后,获取数据查询请求;
条件确定模块,用于利用数据查询授权信息,确定所述数据查询请求是否满足查询条件,所述数据查询授权信息包括对数据查询请求进行授权的信息;
结果获取模块,用于在所述数据查询请求满足所述查询条件的情况下,从所述数据存储空间中获取所述数据查询请求对应的数据查询结果。
8.根据权利要求7所述的装置,其特征在于,所述数据整合模块,包括:
预处理子模块,用于对所述原始数据进行预处理;
数据划分子模块,用于根据预处理后的所述原始数据,以生成根据按照所述每个授权时间下所对应的数据进行分区后得到的具有表结构的原始表数据;
数据确定子模块,用于根据所述原始表数据,获取所述每个授权时间向前追溯所述预设时长内的数据,以生成分区数据。
9.根据权利要求8所述的装置,其特征在于,所述数据确定子模块,用于:
在所述原始表数据中包括第一授权时间向前回溯所述预设时长内的数据的情况下,将所述预设时长内的所有数据作为所述第一授权时间对应的第一分区数据;或者,在所述原始表数据未完全包括所述第一授权时间向前回溯所述预设时长内的数据的情况下,将所述原始表数据内所述第一授权时间之前的所有数据作为所述第一分区数据;
其中,所述第一授权时间是自所述第一时间起按照所述预设间隔划分后的任一时间。
10.根据权利要求7所述的装置,其特征在于,所述结果获取模块,包括:
信息获取子模块,用于根据所述数据查询请求,确定所述数据查询请求的目标查询时间以及所述查询请求的查询回溯时长,所述目标查询时间是所述数据查询请求的发起方的授权时间;
结果确定子模块,用于在所述目标查询时间在当前时间之前的情况下,确定所述数据查询结果包括所述目标查询时间向前回溯第一时长内的数据,所述第一时长为所述查询回溯时长减去所述当前时间与所述目标查询时间之差;
所述结果确定子模块,还用于在所述目标查询时间与所述当前时间一致的情况下,确定所述数据查询结果包括第二时间向前追溯所述查询回溯时长内的数据,所述第二时间是所述当前时间向前推所述预设间隔的时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910272688.1A CN110119249B (zh) | 2019-04-04 | 2019-04-04 | 一种数据的存储方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910272688.1A CN110119249B (zh) | 2019-04-04 | 2019-04-04 | 一种数据的存储方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110119249A CN110119249A (zh) | 2019-08-13 |
CN110119249B true CN110119249B (zh) | 2022-04-01 |
Family
ID=67520850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910272688.1A Active CN110119249B (zh) | 2019-04-04 | 2019-04-04 | 一种数据的存储方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110119249B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111538713B (zh) * | 2020-04-02 | 2023-10-17 | 咪咕文化科技有限公司 | 面向Hive的多模式数据处理方法、装置及电子设备 |
CN113342272B (zh) * | 2021-06-07 | 2023-02-10 | 深圳数联天下智能科技有限公司 | 一种坐姿数据的存储方法、展示方法、智能坐垫和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391735A (zh) * | 2017-08-04 | 2017-11-24 | 北京明朝万达科技股份有限公司 | 基于区块链的业务数据溯源方法、装置、系统和存储设备 |
CN107589915A (zh) * | 2017-09-25 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种分布式存储系统的容量信息监控方法、装置及设备 |
CN107657058A (zh) * | 2017-10-19 | 2018-02-02 | 上海大汉三通数据通信有限公司 | 一种数据的查询方法及相关装置 |
CN108769212A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术(深圳)有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
CN108881170A (zh) * | 2018-05-21 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种授权引导的数据处理方法、装置、处理设备及系统 |
CN109299613A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 数据库分区权限的设置方法和终端设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106909309B (zh) * | 2015-12-22 | 2019-12-24 | 阿里巴巴集团控股有限公司 | 一种数据信息处理方法以及数据存储系统 |
-
2019
- 2019-04-04 CN CN201910272688.1A patent/CN110119249B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391735A (zh) * | 2017-08-04 | 2017-11-24 | 北京明朝万达科技股份有限公司 | 基于区块链的业务数据溯源方法、装置、系统和存储设备 |
CN107589915A (zh) * | 2017-09-25 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种分布式存储系统的容量信息监控方法、装置及设备 |
CN107657058A (zh) * | 2017-10-19 | 2018-02-02 | 上海大汉三通数据通信有限公司 | 一种数据的查询方法及相关装置 |
CN108881170A (zh) * | 2018-05-21 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种授权引导的数据处理方法、装置、处理设备及系统 |
CN108769212A (zh) * | 2018-05-31 | 2018-11-06 | 康键信息技术(深圳)有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
CN109299613A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 数据库分区权限的设置方法和终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110119249A (zh) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108769212B (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN110119249B (zh) | 一种数据的存储方法和装置 | |
US10755322B2 (en) | Blockchain-based software instance usage determination | |
CN109271321B (zh) | 一种贡献代码数统计方法及装置 | |
WO2020134608A1 (zh) | 登录方式的推送、展示方法、装置及设备 | |
RU2005134910A (ru) | Интернет-система для аутентификации информации о профилях участников | |
WO2004114160A3 (en) | Systems and processes for automated criteria and attribute generation, searching, auditing and reporting of data | |
Bimpikis et al. | Designing dynamic contests | |
CN110674475B (zh) | 授权控制方法及装置、可信计算终端 | |
CN105989059A (zh) | 数据记录核对方法及装置 | |
CN106920024B (zh) | 一种业务流程管理方法、装置及设备 | |
CN111324335A (zh) | 一种小程序的创建方法及装置 | |
CN112131225B (zh) | 一种确定应用安装来源的方法、装置及溯源系统 | |
CN110008211B (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN110991901A (zh) | 任务分配方法、计算机存储介质及电子设备 | |
WO2017129013A1 (zh) | 一种二维码的初始化方法及装置 | |
CN112148920B (zh) | 数据管理方法 | |
CN108923967B (zh) | 一种去重流量记录方法、装置、服务器及存储介质 | |
CN106301881B (zh) | 一种业务处理方法和装置 | |
CN108829534B (zh) | 数据问题修复方法、装置、计算机设备和存储介质 | |
CN111079469B (zh) | 人脸图像的处理方法、装置、设备及可读存储介质 | |
CN113225368B (zh) | 一种区块链交易方法、装置、电子设备及存储介质 | |
CN113240384A (zh) | 一种薪酬的统计核算方法及装置 | |
CN110008269B (zh) | 一种数据回流方法、装置、设备及系统 | |
CN111127144A (zh) | 用户信用评价方法、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |