CN117194425A - 数据存储方法、装置、电子设备及存储介质 - Google Patents
数据存储方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117194425A CN117194425A CN202311153070.6A CN202311153070A CN117194425A CN 117194425 A CN117194425 A CN 117194425A CN 202311153070 A CN202311153070 A CN 202311153070A CN 117194425 A CN117194425 A CN 117194425A
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- target
- link
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013500 data storage Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 301
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 239000002131 composite material Substances 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据存储方法、装置、电子设备及存储介质,通过获取待存储的目标数据,并提取目标数据的业务特征;根据业务特征,得到目标数据对应的数据处理信息,其中,数据处理信息表征对业务特征对应的基础数据进行数据处理而生成目标数据的处理链路;将数据处理信息存储至目标数据对应的目标位置,目标位置用于在被终端设备访问后,使终端设备获得目标数据。通过提取业务特征,并根据业务特征将目标数据分解为基础数据和表征对基础数据进行数据处理而生成目标数据的处理链路的数据处理信息,之后仅将数据处理信息进行存储,即可达到存储目标数据的目的,提高数据存储效率,降低存储资源的占用,提高银行数据系统的数据读取性能。
Description
技术领域
本申请涉及金融系统领域,尤其涉及金融系统的客户服务业务领域,特别涉及一种数据存储方法、装置、电子设备及存储介质。
背景技术
当前,随着各类金融业务的不断增长,银行数据系统内存储了大量的各类业务数据。其中包括各类基础性的业务数据,例如交易记录、业务办理记录等,除此之外,还包括各类基于基础性的业务数据生成的复杂的复合数据,例如信用评估记录、风险敞口评估记录等。
现有技术中,银行数据系统在针对复合数据进行存储时,通常是直接将复合数据全量存储在数据库中。
发明人发现,现有技术中的方案会导致银行数据系统的数据存储效率低、存储资源占用大等问题,对银行数据系统的资源和管理造成了巨大压力。
发明内容
本申请提供一种数据存储方法、装置、电子设备及存储介质,用以解决现有技术中银行数据系统的数据存储效率低、存储资源占用大等问题。
第一方面,本申请提供一种数据存储方法,包括:获取待存储的目标数据,并提取所述目标数据的业务特征;根据所述业务特征,得到所述目标数据对应的数据处理信息,其中,所述数据处理信息表征对所述业务特征对应的基础数据进行数据处理而生成所述目标数据的处理链路;将所述数据处理信息存储至所述目标数据对应的目标位置,所述目标位置用于在被终端设备访问后,使所述终端设备获得所述目标数据。
在一种可能的设计中,根据所述业务特征,得到所述目标数据对应的数据处理信息,包括:根据所述业务特征,得到处理层级,所述处理层级表征所述处理链路的链路长度;根据所述处理层级,生成所述目标数据对应的数据处理信息。
在一种可能的设计中,根据所述业务特征,得到处理层级,包括:根据所述业务特征,确定所述目标数据的第一访问限制信息,所述第一访问限制信息表征所述终端设备两次请求所述目标数据的最短时间间隔;根据所述第一访问限制信息,得到所述处理层级。
在一种可能的设计中,所述处理链路包括至少两个链路节点,所述链路节点表征基于所述基础数据得到目标数据的一个处理步骤;所述根据所述处理层级,生成所述目标数据对应的数据处理信息,包括:获取基础处理链路,所述基础处理链路为仅通过所述基础数据生成所述目标数据的所有可能的处理链路的集合;根据所述处理层级,从所述基础处理链路中确定至少一个目标链路节点;获取所述目标链路节点对应的中间层数据,所述中间层数据为所述目标链路节点对应的处理步骤的输出结果;根据所述中间层数据和剩余链路节点,生成所述数据处理信息,所述剩余链路节点为所述基础处理链路中所述目标链路节点之后的链路节点。
在一种可能的设计中,所述方法还包括:根据所述目标数据的业务特征,确定所述中间层数据加密,得到加密中间层数据;所述根据所述中间层数据和剩余链路节点,生成所述数据处理信息,包括:根据所述加密中间层数据和剩余链路节点,生成所述数据处理信息。
在一种可能的设计中,所述数据处理信息包括第一信息项和第二信息项,其中,所述第一信息项表征构成所述处理链路的链路节点,所述第二信息项表征各所述链路节点之间的执行次序;所述将所述数据处理信息存储至所述目标数据对应的目标位置,包括:将所述第一信息项和所述第二信息项分别存储至所述目标数据对应的第一目标位置和第二目标位置。
在一种可能的设计中,所述提取所述目标数据的业务特征,包括:解析所述目标数据,提取所述目标数据的第一数据字段;基于所述第一数据字段,得到所述目标数据的业务特征,其中,所述第一数据字段表征以下至少一种:数据访问级别、数据业务类型、业务风险等级。
第二方面,本申请提供一种数据存储装置,包括:
获取模块,用于获取待存储的目标数据,并提取所述目标数据的业务特征;
处理模块,用于根据所述业务特征,得到所述目标数据对应的数据处理信息,其中,所述数据处理信息表征对所述业务特征对应的基础数据进行数据处理而生成所述目标数据的处理链路;
存储模块,用于将所述数据处理信息存储至所述目标数据对应的目标位置,所述目标位置用于在被终端设备访问后,使所述终端设备获得所述目标数据。
第三方面,本申请实施例提供一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据存储方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的数据存储方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一方面以及第一方面各种可能的设计所述的数据存储方法。
本申请提供的数据存储方法、装置、电子设备及存储介质,通过获取待存储的目标数据,并提取所述目标数据的业务特征;根据所述业务特征,得到所述目标数据对应的数据处理信息,其中,所述数据处理信息表征对所述业务特征对应的基础数据进行数据处理而生成所述目标数据的处理链路;将所述数据处理信息存储至所述目标数据对应的目标位置,所述目标位置用于在被终端设备访问后,使所述终端设备获得所述目标数据。通过提取业务特征,并根据业务特征将目标数据分解为基础数据和表征对基础数据进行数据处理而生成目标数据的处理链路的数据处理信息,之后仅将数据处理信息进行存储,即可达到存储目标数据的目的,提高数据存储效率,降低存储资源的占用,提高银行数据系统的数据读取性能,降低数据维护成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的数据存储方法的一种的应用场景图;
图2为本申请实施例提供的数据存储方法的流程图一;
图3为图2所示实施例中步骤S101的具体实现方式的流程图;
图4为图2所示实施例中步骤S102的具体实现方式的流程图;
图5为本公开实施例提供的一种由基础数据生成目标数据的处理链路示意图;
图6为本公开实施例提供的一种目标数据读取过程的示意图;
图7为本申请实施例提供的数据存储方法的流程图二;
图8为本公开实施例提供的一种目标链路节点的示意图;
图9为本申请实施例提供的数据存储装置的结构示意图;
图10为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请的技术方案中,所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
下面首先对本申请所应用的应用场景进行介绍,图1为本申请实施例提供的数据存储方法的一种的应用场景图。如图1所示,本申请实施例提供的数据存储方法,可以应用于针对银行客户服务的银行数据系统,更具体地,可以应用于银行数据系统内进行数据存储的应用场景中。本实施例的执行主体,可以为银行数据系统对应的数据处理服务器,或者其他起到类似功能的电子设备。参考图1中所示,数据处理服务器一方面与终端设备通信,从终端设备一侧获取复合数据,其中,终端设备由银行员工用户操作,复合数据可以是终端设备基于特定的指标、算法而生成,用于实现例如风险评估、走势预测等目标的功能数据。之后,数据处理服务器将上述业务数据、功能数据统一存储至数据库中,以实现对上述数据的存储和管理,其中,该数据库可以部署在数据处理服务器中,也可以部署在其他存储介质中,此处不再一一举例示出。
现有技术中,银行数据系统在针对复合数据进行存储时,通常是直接将复合数据全量存储在数据库中。发明人发现,现有技术中的方案会导致银行数据系统的数据存储效率低、存储资源占用大等问题,对银行数据系统的资源和管理造成了巨大压力。
针对上述技术问题,本申请提出如下技术构思:通过提取业务特征,并根据业务特征将目标数据分解为基础数据和表征对基础数据进行数据处理而生成目标数据的处理链路的数据处理信息,之后仅将数据处理信息进行存储,即可达到存储目标数据的目的,提高数据存储效率,降低存储资源的占用,提高银行数据系统的数据读取性能,降低数据维护成本,从而解决上述技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例提供了一种数据存储方法。图2为本申请实施例提供的数据存储方法的流程图一。如图2所示,该数据存储方法包括:
步骤S101:获取待存储的目标数据,并提取目标数据的业务特征。
示例性地,参考图1所示的应用场景示意图,本申请实施例提供的数据存储方法,可以由数据处理服务器执行。数据处理服务器接收其他服务器或终端设备发送的目标数据,并进行处理,其中,该目标数据即为待向数据库内存储的复合数据,即目标数据是由多项基础数据进行处理(运算、筛选、合并等)后得到的数据。数据处理服务器对目标数据进行处理的具体方式包括提取目标数据的业务特征。业务特征用于表征目标数据所对应的具体金融业务,例如,目标数据为用于评估特定货物价值的数据,该目标数据所对应的具体金融业务即为期货交易、风险评估等。因此,示例性地,目标数据的业务特征可以是一个由多个字符构成的特征标识,通过该特征标识来表征一项具体的金融业务;业务特征也可以是字符串、矩阵,通过字符串或矩阵来表示非特定的金融业务,上述所指的非特定的金融业务可以是多项现有的、确定的金融业务的交叉组合,此处不再进行具体赘述。
进一步地,目标数据的业务特征,可以通过目标数据的数据标识或属性信息来得到,具体地,目标数据可以以数据文件的形式实现,即数据处理服务器在接收到目标数据对应的数据文件后,基于数据文件的名称,或者数据文件的文件属性,利用预设的规则进行映射,获得该目标数据的业务特征,在另一种可能的实现方式中,数据处理服务器获得目标数据后,对目标数据进行解析而获得目标数据的业务特征。
示例性地,如图3所示,步骤S101的具体实现方式包括:
步骤S1011:解析目标数据,提取目标数据的第一数据字段。
步骤S1012:基于第一数据字段,得到目标数据的业务特征。
示例性地,目标数据由多个数据字段构成,基于预设的针对目标数据的解析规则,对目标数据进行解析,确定并提取目标数据的第一数据字段的字段内容,之后,基于第一数据字段,得到目标数据的业务特征。其中,第一数据字段可以包括一个或多个数据字段,当第一数据字段包括多个数据字段时,基于目标数据多个数据字段的字段内容,共同确定目标数据的业务特征。
进一步地,在一种可能的实现方式中,当第一数据字段为一个数据字段时,第一数据字段中包括表征业务特征的特征标识,通过该特征标识,既可以确定(生成)对应的业务特征。具体可参考之前实施例步骤中对业务特征实现方式的介绍,此处不再具体举例赘述。而在另一种可能的实现方式中,当第一数据字段包括目标数据的多个数据字段时,通过对多个数据字段分别提取,得到各数据字段对应的字段内容,再将各数据字段的字段内容进行组合,得到目标数据的数据特征。其中,示例性地,第一数据字段所对应的字段内容,包括以下至少一种:数据访问级别、数据业务类型、业务风险等级。更具体地,例如,根据【数据访问级别=1、数据业务类型=2】,得到(作为)业务特征A;根据【数据访问级别=4、数据业务类型=2,业务风险等级=1】,得到业务特征B。
步骤S102:根据业务特征,得到目标数据对应的数据处理信息,其中,数据处理信息表征对业务特征对应的基础数据进行数据处理而生成目标数据的处理链路。
示例性地,在得到目标数据的业务特征之后,基于该业务特征,选择对应的处理策略对目标数据进行处理,从而得到目标数据对应的数据处理信息。例如,当业务特征为A时,对目标数据采用处理策略method_1进行处理,得到数据处理信息Info_1;当业务特征为B时,对目标数据采用处理策略method_2进行处理,得到数据处理信息Info_2。
其中,数据处理信息表征对业务特征对应的基础数据进行数据处理而生成目标数据的处理链路。基础数据是指基础性的业务数据,例如交易量数据、交易记录数据等。上述基础数据可以是预存在银行数据系统内的,且银行数据系统会根据预设的更新规则,对上述数据进行更新和记录。处理链路是指多个有序处理步骤的集合,通过数据处理信息所表征的处理链路对基础数据进行处理后,即可得到上述目标数据,其中,处理链路可以通过数据序列来标识,数据序列中存储有功能接口标识、方法或函数的标识,在触发处理链路后,对该数据序列中的标识所对应的功能接口、方法或函数进行调用,即可实现相应的处理步骤。上述通过数据处理信息所表征的处理链路对基础数据进行处理的过程,相当于对目标数据的生成过程的还原。由于处理链路(数据序列)中不包含实际的数值型数据,其数据量很小,因此对处理链路进行存储可以有效的降低存储空间占用。
在一种可能的实现方式中,如图4所示,步骤S102的具体实现步骤包括:
步骤S1021:根据业务特征,得到处理层级,处理层级表征处理链路的链路长度。
步骤S1022:根据处理层级,生成目标数据对应的数据处理信息。
示例性地,处理链路包括至少两个链路节点,链路节点表征基于基础数据得到目标数据的一个处理步骤。在基于基础数据,生成目标数据的过程中,可能具有多条不同的处理链路,处理链路的链路长度,表征对基础数据进行处理的步骤数量,链路长度越长,表征处理步骤越多,反正,链路长度越短,表征处理步骤越少。图5为本公开实施例提供的一种由基础数据生成目标数据的处理链路示意图,如图5所示,针对目标数据A,需要使用基础数据A、基础数据B、基础数据C生成,具体的处理链路包括处理链路chain_1和处理链路chain_2(图中示为chain_1和chain_2),其中,处理链路chain_1对应3个链路节点P1、P2和P3;处理链路chain_2对应2个链路节点P2和P3;即处理链路chain_1的链路长度为3,处理链路chain_2的链路长度为2。在获得目标数据的业务特征后,基于业务特征确定对应的处理层级,即链路长度。例如,当目标数据的业务特征为A时,则确定对应的处理层级为2,从而确定对应的数据处理信息为处理链路chain_2。
针对上述步骤,通常情况下,处理链路的链路长度越短,则基于数据处理信息生成目标数据的效率越高,即目标数据(的数据处理信息)被存储后,从数据库读取目标数据的效率越高。然而,针对金融系统领域,以及金融数据处理的应用场景,不同的基础数据可能具有不同的保密等级,以及访问权限,而业务特征与访问权限相关。因此,为保证基于数据处理信息,能够还原出目标数据,本实施例中,通过业务特征,得到匹配的表征处理链路的链路长度的处理层级,之后基于该处理层级,来生成对应的处理链路,在考虑访问权限的前提下,得到最短的链路长度,即数据处理信息。保证数据安全性和数据存储效率。
步骤S103:将数据处理信息存储至目标数据对应的目标位置,目标位置用于在被终端设备访问后,使终端设备获得目标数据。
示例性地,在得到数据处理信息后,将数据处理信息存储至目标数据对应的目标位置,例如,目标位置为数据库的存储地址或索引,基于目标数据的数据标识,生成存储地址或者建立索引表,实现目标数据的数据标识与数据处理信息的存储位置的映射,从而实现对目标数据的存储。之后,当其他终端设备或服务器需要从数据库获取该目标数据时,基于目标数据的数据标识进行搜索,确定对应的目标位置并发送访问请求进行访问,服务器基于该访问请求,触发数据处理信息,即执行数据处理信息对应的处理链路,基于基础数据生成该目标数据,并发送给访问请求的发送方,从而实现数据读取的目的。
图6为本公开实施例提供的一种目标数据读取过程的示意图,如图6所示,终端设备在需要获取目标数据时,向数据处理服务器发送针对目标数据的访问请求,访问请求中包含有目标数据a的数据标识com_data_1。数据处理服务器根据数据标识com_data_1,从数据库中获得对应的数据处理信息info_1,并基于数据处理信息info_1向基础数据服务器发送基础数据请求,得到对应的基础数据Data_1、Data_2和Data_3(图中示为[Data_1,Data_2,Data_3]),之后,数据处理服务器并基于数据处理信息info_1以及对应的基础数据进行Data_1、Data_2和Data_3数据还原,得到目标数据,并将该目标数据发送给终端设备。
在另一种可能的实现方式中,终端设备在向数据处理服务器发送针对目标数据的访问请求后,数据处理服务器可以直接将对应的数据处理信息返回给终端设备,并由终端设备执行上述访问基础数据服务器、对目标数据进行还原的步骤,从而得到目标数据,具体可基于需要设置,此处不进行具体限制。
上述生成数据处理信息并进行存储的过程,相当于对目标数据进行压缩,即将目标数据从逻辑上分解为了基础数据和数据处理信息,由于基础数据对于不同的目标数据可以复用,而数据处理信息的空间占用很小,因此可以实现降低复合数据(目标数据)的存储资源占用,提高银行数据系统的数据存储效率的目的。
本实施例中,通过获取待存储的目标数据,并提取目标数据的业务特征;根据业务特征,得到目标数据对应的数据处理信息,其中,数据处理信息表征对业务特征对应的基础数据进行数据处理而生成目标数据的处理链路;将数据处理信息存储至目标数据对应的目标位置,目标位置用于在被终端设备访问后,使终端设备获得目标数据。通过提取业务特征,并根据业务特征将目标数据分解为基础数据和表征对基础数据进行数据处理而生成目标数据的处理链路的数据处理信息,之后仅将数据处理信息进行存储,即可达到存储目标数据的目的,提高数据存储效率,降低存储资源的占用,提高银行数据系统的数据读取性能,降低数据维护成本。
图7为本申请实施例提供的数据存储方法的流程图二。如图7所示,该数据存储方法,包括如下步骤:
步骤S201、获取待存储的目标数据,并提取目标数据的业务特征。
步骤S202、根据业务特征,确定目标数据的第一访问限制信息,第一访问限制信息表征终端设备两次请求目标数据的最短时间间隔。
步骤S203、根据第一访问限制信息,得到处理层级。
示例性地,在提取目标数据的业务特征之后,一种可能的实现方式中,首先根据该业务特征,确定终端设备两次请求目标数据的最短时间间隔,即第一访问限制信息,其中,针对金融系统领域,以及金融数据处理的应用场景,为保证银行数据系统的运行稳定性和安全性,对于具有不同业务特征的目标数据,通常会限制其对应的访问频率,终端设备两次请求目标数据的最短时间间隔。对于例如常用的、低访问权限要求、安全级别低的目标数据,对应较短的最短时间间隔,例如5秒钟,即每间隔5秒钟可访问一次。而对于不常用的、安全级别高的目标数据,对应较长的最短时间间隔,例如30秒。基于之前实施例中的介绍,处理层级表征处理链路的链路长度,处理层级较高(处理链路较长)时,相应的处理步骤较多、耗时也相应较长。在读取目标数据的过程中,当由数据处理服务器基于上述处理链路(数据处理信息)进行目标数据还原时,面临计算资源如何分配的问题,即处理链路的处理层级越高,可以减少基础数据的存储和读取量(参考图6中所示),但由于链路节点增加,会增加计算资源的开销。本实施例步骤中,针对该问题,通过或第一访问限制信息,并基于第一访问限制信息所表征的最短时间间隔,来确定对应的处理层级,当目标数据对应的最短时间间隔较长时,可以使用较高的处理层级来生成处理链路,从而降低基础数据和中间层数据(后续实施例中介绍)的存储和读取开销;而当目标数据对应的最短时间间隔较段时,可以使用较低的处理层级来生成处理链路,从而降低计算资源消耗,降低数据访问过程中的卡顿。
步骤S204、获取基础处理链路,基础处理链路为仅通过基础数据生成目标数据的所有可能的处理链路的集合。
步骤S205、根据处理层级,从基础处理链路中确定至少一个目标链路节点。
步骤S206、获取目标链路节点对应的中间层数据,中间层数据为目标链路节点对应的处理步骤的输出结果。
示例性地,在确定处理层级后,首先获取预生成的基础处理链路,基础处理链路即仅通过基础数据生成目标数据的所有可能的处理链路的集合,例如图6所示实施例中处理链路chain_1和处理链路chain_2的集合,可以理解的是,如还有其他仅通过基础数据即可得到目标数据的处理链路,则也包含在基础处理链路中。之后,根据之前步骤中确定的处理层级,确定目标链路节点。图8为本公开实施例提供的一种目标链路节点的示意图,如图8所示,示例性地,本实施例中,处理层级为基础处理链路中目标链路节点距离基础处理链路末尾的节点数,处理层级越高,则目标链路节点越接近处理链路的末尾越远。基于之前步骤,得到的处理层级=3,则从基础处理链路中的,确定倒数第3个链路节点P1,为目标链路节点,此外,图中还示出了处理层级=2时,所对应的目标链路节点为链路节点P2,以及处理层级=1时,所对应的目标链路节点为链路节点P3。之后,获取该目标链路节点对应的中间层数据,中间层数据为目标链路节点对应的处理步骤的输出结果,即中间层数据是预生成的数据。在之后,基于中间层数据和剩余链路节点,生成数据处理信息。
本实施例中,通过处理层级确定一个目标链路节点,之后将目标链路节点所对应的中间层数据,和剩余链路节点,生成数据处理信息,在后续对目标数据进行还原(从数据库读取目标数据的过程)时,以中间层数据为起点进行目标数据还原,相当于将中间层数据作为基础数据,执行由剩余链路节点生成的处理链路,达到缩短处理链路的长度目的,从而降低数据处理服务器的计算资源开销、降低查询时长、提高查询效率。
可选的,在步骤S206之后,还包括:
步骤S207、根据目标数据的业务特征,确定中间层数据加密,得到加密中间层数据。
步骤S208、根据加密中间层数据和剩余链路节点,生成数据处理信息,数据处理信息包括第一信息项和第二信息项,剩余链路节点为基础处理链路中目标链路节点之后的链路节点。
示例性地,在得到中间层数据后,还可以基于目标数据的业务特征,确定加密算法对中间层数据进行加密,由于中间层数据需要作为数据处理信息的一部分存储在数据库中,对其进行加密,生成中间层加密数据,之后基于中间层加密数据生成数据处理信息,可以提高数据处理信息的安全性,即使在数据库中的内容在未授权情况下被读取,也无法还原出最终的目标数据。
步骤S209、将第一信息项和第二信息项分别存储至目标数据对应的第一目标位置和第二目标位置。
进一步地,示例性地,数据处理信息包括第一信息项和第二信息项,其中,第一信息项表征构成处理链路的链路节点,第二信息项表征各链路节点之间的执行次序。在生成数据处理信息后,构成数据处理信息的第一信息项和第二信息项分别独立存储,从而进一步提高目标数据的安全性。保证在未授权请求下,第一信息项和第二信息项被单独获取后,无法还原出目标数据,从而进一步提高数据安全性。
图9为本申请实施例提供的数据存储装置的结构示意图。如图9所示,该数据存储装置3,包括:
获取模块31,用于获取待存储的目标数据,并提取目标数据的业务特征;
处理模块32,用于根据业务特征,得到目标数据对应的数据处理信息,其中,数据处理信息表征对业务特征对应的基础数据进行数据处理而生成目标数据的处理链路;
存储模块33,用于将数据处理信息存储至目标数据对应的目标位置,目标位置用于在被终端设备访问后,使终端设备获得目标数据。
在一些可能的实施例中,处理模块32,具体用于:根据业务特征,得到处理层级,处理层级表征处理链路的链路长度;根据处理层级,生成目标数据对应的数据处理信息。
在一些可能的实施例中,处理模块32在根据业务特征,得到处理层级时,具体用于:根据业务特征,确定目标数据的第一访问限制信息,第一访问限制信息表征终端设备两次请求目标数据的最短时间间隔;根据第一访问限制信息,得到处理层级。
在一些可能的实施例中,处理链路包括至少两个链路节点,链路节点表征基于基础数据得到目标数据的一个处理步骤;处理模块32在根据处理层级,生成目标数据对应的数据处理信息时,具体用于:获取基础处理链路,基础处理链路为仅通过基础数据生成目标数据的所有可能的处理链路的集合;根据处理层级,从基础处理链路中确定至少一个目标链路节点;获取目标链路节点对应的中间层数据,中间层数据为目标链路节点对应的处理步骤的输出结果;根据中间层数据和剩余链路节点,生成数据处理信息,剩余链路节点为基础处理链路中目标链路节点之后的链路节点。
在一些可能的实施例中,处理模块32,还用于:根据目标数据的业务特征,确定中间层数据加密,得到加密中间层数据;处理模块32在根据中间层数据和剩余链路节点,生成数据处理信息时,具体用于:根据加密中间层数据和剩余链路节点,生成数据处理信息。
在一些可能的实施例中,数据处理信息包括第一信息项和第二信息项,其中,第一信息项表征构成处理链路的链路节点,第二信息项表征各链路节点之间的执行次序;存储模块33,具体用于:将第一信息项和第二信息项分别存储至目标数据对应的第一目标位置和第二目标位置。
在一些可能的实施例中,获取模块31在提取目标数据的业务特征时,具体用于:解析目标数据,提取目标数据的第一数据字段;基于第一数据字段,得到目标数据的业务特征,其中,第一数据字段表征以下至少一种:数据访问级别、数据业务类型、业务风险等级。
本申请实施例提供的数据存储装置3,可用于执行上述实施例中数据存储方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块32可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块32的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图10为本申请实施例提供的电子设备的结构示意图。如图10所示,该电子设备可以包括:收发器121、处理器122、存储器123。
处理器122执行存储器存储的计算机执行指令,使得处理器122执行上述实施例中的方案。处理器122可以是通用处理器,包括中央处理器CPU、网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器123通过系统总线与处理器122连接并完成相互间的通信,存储器123用于存储计算机程序指令。
收发器121可以用于获取待运行任务和待运行任务的配置信息。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的电子设备,可以是上述实施例的数据处理服务器或终端设备。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中数据存储方法的技术方案。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行上述实施例数据存储方法的技术方案。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,其存储在计算机可读存储介质中,至少一个处理器可以从计算机可读存储介质读取计算机程序,至少一个处理器执行计算机程序时可实现上述实施例中数据存储方法的技术方案。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,简称ISA)总线、外部设备互连(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电控单元或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种数据存储方法,其特征在于,包括:
获取待存储的目标数据,并提取所述目标数据的业务特征;
根据所述业务特征,得到所述目标数据对应的数据处理信息,其中,所述数据处理信息表征对所述业务特征对应的基础数据进行数据处理而生成所述目标数据的处理链路;
将所述数据处理信息存储至所述目标数据对应的目标位置,所述目标位置用于在被终端设备访问后,使所述终端设备获得所述目标数据。
2.根据权利要求1所述的方法,其特征在于,根据所述业务特征,得到所述目标数据对应的数据处理信息,包括:
根据所述业务特征,得到处理层级,所述处理层级表征所述处理链路的链路长度;
根据所述处理层级,生成所述目标数据对应的数据处理信息。
3.根据权利要求2所述的方法,其特征在于,根据所述业务特征,得到处理层级,包括:
根据所述业务特征,确定所述目标数据的第一访问限制信息,所述第一访问限制信息表征所述终端设备两次请求所述目标数据的最短时间间隔;
根据所述第一访问限制信息,得到所述处理层级。
4.根据权利要求2所述的方法,其特征在于,所述处理链路包括至少两个链路节点,所述链路节点表征基于所述基础数据得到目标数据的一个处理步骤;
所述根据所述处理层级,生成所述目标数据对应的数据处理信息,包括:
获取基础处理链路,所述基础处理链路为仅通过所述基础数据生成所述目标数据的所有可能的处理链路的集合;
根据所述处理层级,从所述基础处理链路中确定至少一个目标链路节点;
获取所述目标链路节点对应的中间层数据,所述中间层数据为所述目标链路节点对应的处理步骤的输出结果;
根据所述中间层数据和剩余链路节点,生成所述数据处理信息,所述剩余链路节点为所述基础处理链路中所述目标链路节点之后的链路节点。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述目标数据的业务特征,确定所述中间层数据加密,得到加密中间层数据;
所述根据所述中间层数据和剩余链路节点,生成所述数据处理信息,包括:
根据所述加密中间层数据和剩余链路节点,生成所述数据处理信息。
6.根据权利要求1所述的方法,其特征在于,所述数据处理信息包括第一信息项和第二信息项,其中,所述第一信息项表征构成所述处理链路的链路节点,所述第二信息项表征各所述链路节点之间的执行次序;
所述将所述数据处理信息存储至所述目标数据对应的目标位置,包括:
将所述第一信息项和所述第二信息项分别存储至所述目标数据对应的第一目标位置和第二目标位置。
7.根据权利要求1所述的方法,其特征在于,所述提取所述目标数据的业务特征,包括:
解析所述目标数据,提取所述目标数据的第一数据字段;
基于所述第一数据字段,得到所述目标数据的业务特征,其中,所述第一数据字段表征以下至少一种:
数据访问级别、数据业务类型、业务风险等级。
8.一种数据存储装置,其特征在于,包括:
获取模块,用于获取待存储的目标数据,并提取所述目标数据的业务特征;
处理模块,用于根据所述业务特征,得到所述目标数据对应的数据处理信息,其中,所述数据处理信息表征对所述业务特征对应的基础数据进行数据处理而生成所述目标数据的处理链路;
存储模块,用于将所述数据处理信息存储至所述目标数据对应的目标位置,所述目标位置用于在被终端设备访问后,使所述终端设备获得所述目标数据。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311153070.6A CN117194425A (zh) | 2023-09-07 | 2023-09-07 | 数据存储方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311153070.6A CN117194425A (zh) | 2023-09-07 | 2023-09-07 | 数据存储方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194425A true CN117194425A (zh) | 2023-12-08 |
Family
ID=88988143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311153070.6A Pending CN117194425A (zh) | 2023-09-07 | 2023-09-07 | 数据存储方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194425A (zh) |
-
2023
- 2023-09-07 CN CN202311153070.6A patent/CN117194425A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10698885B2 (en) | Method and device for writing service data in block chain system | |
CN110020542B (zh) | 数据读写方法及装置、电子设备 | |
CN111782668B (zh) | 数据结构的读取及更新方法、装置、电子设备 | |
US8805767B1 (en) | Machine learning memory management and distributed rule evaluation | |
CA3088147C (en) | Data isolation in distributed hash chains | |
US11972414B2 (en) | Data recording methods and apparatuses, electronic devices, and storage media | |
CN110032568B (zh) | 数据结构的读取及更新方法、装置、电子设备 | |
US11275850B1 (en) | Multi-faceted security framework for unstructured storage objects | |
CN110070360B (zh) | 一种事务请求处理方法、装置、设备及存储介质 | |
US11394528B2 (en) | System and method for on-demand unsupervised data analytics on blockchain | |
CN107402821A (zh) | 共享资源的访问控制方法、装置和设备 | |
CN116308824A (zh) | 基于知识图谱的团伙欺诈风险识别方法及相关设备 | |
CN111815420A (zh) | 一种基于可信资产数据的匹配方法、装置及设备 | |
CN109271564A (zh) | 保单查询方法及设备 | |
CN117194425A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
CN113342275B (zh) | 区块链节点存取数据的方法、设备和计算机可读存储介质 | |
CN115221559A (zh) | 数据账户的访问授权方法及装置 | |
US11456996B2 (en) | Attribute-based quasi-identifier discovery | |
US9811669B1 (en) | Method and apparatus for privacy audit support via provenance-aware systems | |
CN116700842B (zh) | 数据对象的读写方法、装置、计算设备及存储介质 | |
US20240119178A1 (en) | Anonymizing personal information for use in assessing fraud risk | |
CN109997166B (zh) | 用于截取智能合同的系统和方法 | |
CN114297239A (zh) | 数据流的未关联数据的确定方法、装置与数据处理系统 | |
CN113468528A (zh) | 恶意设备识别方法、装置、服务器及存储介质 | |
CN117390023A (zh) | 数据合计方法、数据合计装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |