CN116009791A - 数据分类存储管理方法、装置、设备及介质 - Google Patents

数据分类存储管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116009791A
CN116009791A CN202310154578.1A CN202310154578A CN116009791A CN 116009791 A CN116009791 A CN 116009791A CN 202310154578 A CN202310154578 A CN 202310154578A CN 116009791 A CN116009791 A CN 116009791A
Authority
CN
China
Prior art keywords
data
service
related data
storage
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310154578.1A
Other languages
English (en)
Inventor
陆超华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pingan Payment Technology Service Co Ltd
Original Assignee
Pingan Payment Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pingan Payment Technology Service Co Ltd filed Critical Pingan Payment Technology Service Co Ltd
Priority to CN202310154578.1A priority Critical patent/CN116009791A/zh
Publication of CN116009791A publication Critical patent/CN116009791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明数据处理技术领域,公开了一种数据分类存储管理方法、装置、设备及介质,包括:确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。提高了业务相关数据的安全性。

Description

数据分类存储管理方法、装置、设备及介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据分类存储管理方法、装置、设备及介质。
背景技术
在使用vue.js开发H5应用过程中,使用vuex做状态管理,但刷新后数据会消失。通常使用vuex-persistedstate(一种同步vuex的state与localStorage或sesseionStorage等存储方式的插件)做到数据持久化,来保持离线状态,提升用户体验!但在开发过程中,往往会按路由页划分模块,使得一些敏感数据和不必要的数据也存储到sesseion Storage等存储方式中,随之带来了安全性问题;在流程结束时也无法轻易的删除不必要的数据来释放内存!
发明人意识到,上述方案敏感数据存储在sesseion Storage等存储方式中,增加了泄漏的风险,流程走完不及时方便的清除用户操作的数据,则占据内存拖垮运行效率。
发明内容
本发明提供一种人工智能的数据分类存储管理方法、装置、计算机设备及介质,以解决一些敏感数据和不必要的数据的安全性问题,在业务流程结束时释放内存不佳的技术问题。
第一方面,提供了一种数据分类存储管理方法,包括:
确定业务办理过程中产生的业务相关数据,所述业务相关数据包括用户数据和业务办理过程中的执行数据;
根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别;
根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引;
响应于业务流程办理完结指令,根据所述存储类别,清除缓存的业务相关数据。
在一些实施例中,所述确定业务办理过程中产生的业务相关数据,包括:
扫描通过业务办理界面获取的用户数据,根据所述通过业务办理界面获取的用户数据确定待获取用户数据;
确定所述待获取用户数据的审核级别,根据所述审核级向对应的审核端发送数据获取请求;
响应审核端的审核通过指令,从资源池中下载所述待获取用户数据。
在一些实施例中,所述根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别,包括:
根据根据预先设置的业务相关数据与数据存储类别之间的对应关系,将所述业务相关数据分为第一类数据、第二类数据和第三类数据,其中,
所述第一类数据为将所述业务相关数据存储在云端,本地存储所述业务相关数据;
所述第二类数据为将所述业务相关数据存储至云端,响应缓存删除指令,以删除本地存储的业务相关数据;
所述第三类数据为响应缓存删除指令,以删除本地存储的业务相关数据。
在一些实施例中,所述根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引,包括:
确定用于定位所述业务相关数据存储位置的数据索引;
确定所述数据索引的索引存储类型,所述索引存储类型包括加密索引和非加密索引;
若所述数据索引的索引存储类型为加密索引,则确定与所述业务相关数据相对应的数据密钥,并根据所述数据密钥在与所述数据索引相对应的数据存储位置进行加密存储;
若所述数据索引的索引类型为非加密索引,则在与所述数据索引相对应的数据存储位置进行非加密存储。
在一些实施例中,所述确定与所述业务相关数据相对应的数据密钥,并根据所述数据密钥在与所述数据索引相对应的数据存储位置进行加密存储,包括:
接收中心处理器返回的服务公钥;
生成第一公钥及其对应的第一私钥,生成对称密钥,用所述对称密钥加密所述第一公钥,得到第一公钥加密密文;
用所述服务公钥对所述对称秘钥进行加密,得到对称密钥加密密文;
将所述第一公钥加密密文和所述对称密钥加密密文发送至所述中心处理器,以供所述中心处理器用所述第一公钥和对称密钥加密生成返回加密密文;
接收所述中心处理器返回的返回加密密文;
对所述返回加密密文进行解密,得到主密钥和第二公钥;
用所述第一私钥对所述业务相关数据进行加密,得到业务相关数据加密密文;
将所述业务相关数据加密密文发送至所述中心处理器。
在一些实施例中,所述将所述业务相关数据加密密文发送至所述中心处理器,包括:
根据所述业务相关数据对应的数据量和预设分片数据量,对所述业务相关数据进行分割处理,以获得所述业务相关数据对应的多个数据分片和每个所述数据分片对应的顺序索引;
生成所述业务相关数据对应的标识码,并根据所述业务相关数据对应的标识码和每个所述数据分片对应的顺序索引生成每个所述数据分片对应的分片相关信息,其中,所述数据分片对应的分片相关信息包含所述数据分片对应的分片标识码;
根据预设最大上传次数向中心处理器上传多个所述数据分片和每个所述数据分片对应的分片相关信息,以便所述中心处理器根据每个所述数据分片对应的分片相关信息对多个所述数据分片进行合并处理,以获得所述业务相关数据。
在一些实施例中,在所述确定业务办理过程中产生的业务相关数据之后,还包括:
响应于业务相关数据显示指令,根据预先存储的业务相关数据与数据显示类别之间的对应关系,在所述业务办理界面上显示相应的业务相关数据。
第二方面,提供了一种数据分类存储管理装置,包括:
输入单元,用于确定业务办理过程中产生的业务相关数据,所述业务相关数据包括用户数据和业务办理过程中的执行数据;
分类单元,用于根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别;
索引单元,用于根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引;
清除单元,用于响应于业务流程办理完结指令,根据所述存储类别,清除缓存的业务相关数据。
第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述数据分类存储管理方法的步骤。
第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述数据分类存储管理方法的步骤。
上述数据分类存储管理方法、装置、计算机设备及存储介质所实现的方案中,可以通过确定业务办理过程中产生的业务相关数据;根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。在本发明中,敏感数据不存储在sesseion Storage等存储方式中,减少泄漏的风险提高了应用程序的安全性。流程走完可及时方便的清除用户操作的数据,释放内存提高运行效率。合理划分的数据,具有清晰的数据流向,方便数据解耦(A、B、C,三个页面的数据源,或一个页面里面分不同模块展示,信息共存或分开展示,A需要展示出行日期,有耦合性,出行日期不能删),提高可维护性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中数据分类存储管理方法的一应用环境示意图;
图2是本发明一实施例中数据分类存储管理方法的一流程示意图;
图3是图1中步骤S10的一具体实施方式流程示意图;
图4是图1中步骤S30的一具体实施方式流程示意图;
图5是本发明一实施例中数据分类存储管理装置的一结构示意图;
图6是本发明一实施例中计算机设备的一结构示意图;
图7是本发明一实施例中计算机设备的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的数据分类存储管理方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务端进行通信。服务端可以通过客户端接收业务相关数据,并预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别,以根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引;最后响应于业务流程办理完结指令,根据所述存储类别,清除缓存的业务相关数据;能敏感数据不存储在sesseion Storage等存储方式中,减少泄漏的风险提高了应用程序的安全性;流程走完可及时方便的清除用户操作的数据,释放内存提高运行效率;合理划分的数据,具有清晰的数据流向,方便数据解耦,提高可维护性。
下面通过具体的实施例对本发明进行详细的描述。
请参阅图2所示,图2为本发明实施例提供的数据分类存储管理方法的一个流程示意图,包括如下步骤:
S10、确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;
需要理解的是,用户数据是至用户办理业务需要提交的用户信息和用户文件,执行数据是用户在办理业务过程中产生的数据(例如,浏览一个网页,划到一个位置,返回回来,数据还是保存在原来位置)。这里的用户数据,可以是从系统内网获取的也可以是从外网获取的,更可以是用户当下输入的。
在一些实施例中,如图3所示,上述S10可以包括:
S101、扫描通过业务办理界面获取的用户数据,根据通过业务办理界面获取的用户数据确定待获取用户数据;
可理解,在用户进行业务办理过程中,可以首先通过业务办理界面输入用户的基本用户信息,例如身份证号等,然后,可以根据用户正在办理的业务和基本用户信息查看(本地、云端服务器等)是否存储有用户的其他用户信息,例如姓名、性别、年龄等。
S102、确定待获取用户数据的审核级别,根据审核级向对应的审核端发送数据获取请求;
可理解,审核级别包括高审核级别(人工审核)和低审核级别(自动审核)。基于审核级别而将业务相关数据上报到与审核级别相对应的审核端包括:将确定为低审核级别的用户数据上报到用户认证信息所属部门的审核端,并将确定为高审核级别的用户数据上报到用户认证信息所属部门的审核端,当然这里的待审核的用户数据是指正在办理的业务对应的除已经通过业务办理界面输的基本用户信息以外的用户信息。在一些实施方式中,可以根据待审核的用户数据的个数是否超过预定阈值而确定用户数据的审核级别。
S103、响应审核端的审核通过指令,从资源池中下载待获取用户数据。
基于审核级别而将用户数据上报到与审核级别相对应的审核端;基于审核端认证信息获取用户数据,并响应于审核通过而将用户数据数据传送到资源池;并从资源池下载业务相关数据的技术方案,能够节约时间和资源、提高安全性、便于确定责任人。
S20、根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;
可理解,至少一个客户端存储业务相关数据,将业务相关数据发送至中心处理器,中心处理器获取至少一个客户端发送的业务相关数据,例如可以是,客户端A获取业务相关数据,将业务相关数据发送至中心处理器,中心处理器获取客户端A发送的业务相关数据。
具体的,存储类别可以包括:必须存储的数据(necessary),如用户id、订单id等,页面刷新丢失会报错的关键数据。应该存储的数据(shouldbe),如筛选框状态,滚动的位置等,用户体验类的数据和用户操作数据。浏览一个网页,划到一个位置,返回回来,数据还是保存在原来位置。用户行为数据(敏感信息),通过一定规则算出来的。运行内存中。不必存储的数据(unnecessary),如用户敏感数据等,刷新丢失时可以通过必要数据请求接口获取的。
其中,步骤S20,可以包括如下步骤:
根据根据预先设置的业务相关数据与数据存储类别之间的对应关系,将业务相关数据分为第一类数据、第二类数据和第三类数据,
其中,第一类数据为将业务相关数据存储在云端,本地数据库中存储业务相关数据的客户端存储业务相关数据;
第二类数据为将业务相关数据存储至云端,并向发送业务相关数据的客户端发送业务相关数据删除请求,以使客户端删除本地数据库中存储的业务相关数据;
第三类数据为向发送业务相关数据的客户端发送业务相关数据删除请求,以使客户端删除本地数据库中存储的业务相关数据。
在一种应用场景中,中心处理器在获取到业务相关数据后,判断业务相关数据是否为第一类业务相关数据,若为第一类业务相关数据,中心处理器将业务相关数据同步存储在云端,并将业务相关数据发送至本地数据库中未存储业务相关数据的客户端,客户端接收到业务相关数据后,将业务相关数据存储至本地数据库,客户端A获取业务相关数据,将业务相关数据发送至中心处理器,中心处理器获取业务相关数据,判断业务相关数据是否为第一类业务相关数据,若业务相关数据为第一类业务相关数据,则中心处理器将业务相关数据同步存储在云端,并将业务相关数据发送至客户端B和客户端C,客户端B将业务相关数据存储至本地数据库,客户端C将业务相关数据存储至本地数据库。
S30、根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;
可理解,可以按照是否需要对数据索引中的数据进行加密,分为加密索引和非加密索引两种索引存储类型。可以从数据索引的存储类型标识上对两种索引存储类型进行区分。如果存储类型标识中带有加密标识信息,则确定数据索引的索引存储类型为加密索引。如果存储类型标识中未携带加密标识信息,则确定数据索引的索引存储类型为非加密索引。例如,针对加密索引,可以在其存储类型标识中添加前缀来作为加密标识信息。当一个数据索引的存储类型标识中带有前缀时,便可以确定该数据索引为加密索引,否则可以确定该数据索引为非加密索引。
其中,当数据索引的索引存储类型为加密索引时,代表该数据索引下存储的数据为加密数据。此时,需要对相关业务相关数据进行加密或者解密处理才能顺利进行业务相关数据的读写操作。
其中,如图3所示,步骤S30中,可以包括如下步骤:
S31、确定用于定位业务相关数据存储位置的数据索引;
其中,业务相关数据是对用户的实际业务需求进行类型划分得到的业务对象,针对不同业务相关数据,可以在服务器上提供各种不同的数据接口。数据索引(Index)表示一组数据的集合,类比于传统的关系型数据库领域来说,数据索引相当于基于结构化查询语言(Structured Query Language,SQL)的一个数据表,或者一个数据存储方案(Schema)。数据索引可以用于定位业务相关数据存储位置,该数据存储位置例如可以指向某个或者某几个数据处理节点上的磁盘空间。
S32、获取数据索引的索引存储类型,索引存储类型包括加密索引和非加密索引;
当数据索引的索引存储类型为加密索引时,代表该数据索引下存储的数据为加密数据。此时,需要对相关业务相关数据进行加密或者解密处理才能顺利进行业务相关数据的读写操作。
S33、若数据索引的索引存储类型为加密索引,则确定与业务相关数据相对应的数据密钥,并根据数据密钥在与数据索引相对应的数据存储位置进行加密存储;
S34、若数据索引的索引类型为非加密索引,则在与数据索引相对应的数据存储位置进行非加密存储。
在一些实施例中,步骤S33可以包括:
S33a、接收中心处理器返回的服务公钥;
S33b、生成第一公钥及其对应的第一私钥,生成对称密钥,用对称密钥加密第一公钥,得到第一公钥加密密文;
S33c、用服务公钥对对称秘钥进行加密,得到对称密钥加密密文;
S33d、将第一公钥加密密文和对称密钥加密密文发送至中心处理器,以供中心处理器用第一公钥和对称密钥加密生成返回加密密文;
S33e、接收中心处理器返回的返回加密密文;
S33f、对返回加密密文进行解密,得到主密钥和第二公钥;
S33g、用第一私钥对业务相关数据进行加密,得到业务相关数据加密密文;
S33h、将业务相关数据加密密文发送至中心处理器。
在本实施例中,包含密钥交换与数据传输两个步骤;1、密钥交换流程:准备数据传输流程中必须用到的密钥;2、数据传输流程:客户端用密钥交换流程获取的密钥,对传输的数据进行加密、解密。其中密钥交换过程过,需要用到SM2非对称加密算法对密钥进行加密,为密钥传输提供安全性保证。数据传输过程,需要用到SM4对称加密算法对报文进行加解密。可见本发明采用国密算法,提高了算法安全性;数据传输过程对密钥等安全性较高的数据进行非对称算法加密;通过对传输数据添加签名,签名验证通过才能视为数据传输成功,保证了数据传输的唯一性,防止第三方篡改数据;加密算法思想易移植,且兼容多平台设备,具有广泛普适性。
在一些实施例中,步骤S33h可以包括:
S33h1、根据业务相关数据对应的数据量和预设分片数据量,对业务相关数据进行分割处理,以获得业务相关数据对应的多个数据分片和每个数据分片对应的顺序索引;
S33h2、生成业务相关数据对应的标识码,并根据业务相关数据对应的标识码和每个数据分片对应的顺序索引生成每个数据分片对应的分片相关信息,其中,数据分片对应的分片相关信息包含数据分片对应的分片标识码;
S33h3、根据预设最大上传次数向中心处理器上传多个数据分片和每个数据分片对应的分片相关信息,以便中心处理器根据每个数据分片对应的分片相关信息对多个数据分片进行合并处理,以获得业务相关数据。
S40、响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。
可理解,业务流程走完清除掉缓存的数据shouldbe请求接口,返回数据的存储,同样基于数据的分类存储,在一个流程走完,比如机票落单成功后,可以方便及时清掉之前缓存的shouldbe(筛选框状态、选择的航班、舱位等数据),释放内存防止内存泄漏提高运行效率。
在一些实施例中上述的数据分类存储管理方法,在确定业务办理过程中产生的业务相关数据之后,还包括:
响应于业务相关数据显示指令,根据预先存储的业务相关数据与数据显示类别之间的对应关系,在业务办理界面上显示相应的业务相关数据。
本发明充分考虑Web容器内H5应用研发中的各个环节,做到了细分state、过滤unnecessary和流程走完清除掉缓存的数据shouldbe等。
1、细分state
必须存储的数据(necessary),如用户id、订单id等,页面刷新丢失会报错的关键数据。
应该存储的数据(shouldbe),如筛选框状态,滚动的位置等,用户体验类的数据和用户操作数据。
不必存储的数据(unnecessary),如用户敏感数据等,刷新丢失时可以通过必要数据请求接口获取的。
2、过滤unnecessary
基于上述对模块下数据的分类存储,使用vuex-persistedstate通过reducer方法,过滤掉每个模块的unnecessary(敏感数据),使之不存储在sesseionStorage等存储方式中,减少敏感数据泄露的风险,从而提高应用程序的安全性!
3、流程走完清除掉缓存的数据shouldbe
同样基于数据的分类存储,在一个流程走完,比如机票落单成功后,可以方便及时清掉之前缓存的shouldbe(筛选框状态、选择的航班、舱位等数据),释放内存防止内存泄漏提高运行效率!
从上述方案可以看出,安全性提高,敏感数据不存储在sesseion Storage等存储方式中,减少泄漏的风险提高了应用程序的安全性;运行效率提高,流程走完可及时方便的清除用户操作的数据,释放内存提高运行效率;可维护性提高,合理划分的数据,具有清晰的数据流向,方便数据解耦(A、B、C,三个页面的数据源,或一个页面里面分不同模块展示,信息共存或分开展示,A需要展示出行日期,有耦合性,出行日期不能删。),提高可维护性!
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种数据分类存储管理装置,该数据分类存储管理装置与上述实施例中数据分类存储管理方法一一对应。如图5所示,该数据分类存储管理装置包括输入单元101、分类单元102、索引单元103、判清除单元104。各功能模块详细说明如下:
输入单元101,用于确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;
分类单元102,用于根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;
索引单元103,用于根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;
清除单元104,用于响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。
在一实施例中,输入单元101,具体用于:
扫描业务相关数据的用户数据,基于用户数据确定业务相关数据的审核级别,并基于审核级别而将业务相关数据上报到与审核级别相对应的审核端;
基于审核端认证信息获取业务相关数据,并响应于审核通过而将业务相关数据传送到资源池;
基于用户认证信息访问资源池,并从资源池下载业务相关数据。
在一实施例中,分类单元102,具体用于:
根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别,包括:
根据根据预先设置的业务相关数据与数据存储类别之间的对应关系,将业务相关数据分为第一类数据、第二类数据和第三类数据,其中,第一类数据为将业务相关数据存储在云端,本地数据库中未存储业务相关数据的客户端存储业务相关数据;
第二类数据为将业务相关数据存储至云端,并向发送业务相关数据的客户端发送业务相关数据删除请求,以使客户端删除本地数据库中存储的业务相关数据;
第三类数据为向发送业务相关数据的客户端发送业务相关数据删除请求,以使客户端删除本地数据库中存储的业务相关数据。
在一实施例中,分类单元102,具体用于:
根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引,包括:
确定用于定位业务相关数据存储位置的数据索引;
获取数据索引的索引存储类型,索引存储类型包括加密索引和非加密索引;
若数据索引的索引存储类型为加密索引,则确定与业务相关数据相对应的数据密钥,并根据数据密钥在与数据索引相对应的数据存储位置进行加密存储;
若数据索引的索引类型为非加密索引,则在与数据索引相对应的数据存储位置进行非加密存储。
在一实施例中,分类单元102,具体用于:
确定与业务相关数据相对应的数据密钥,并根据数据密钥在与数据索引相对应的数据存储位置进行加密存储
接收中心处理器返回的服务公钥;
生成第一公钥及其对应的第一私钥,生成对称密钥,用对称密钥加密第一公钥,得到第一公钥加密密文;
用服务公钥对对称秘钥进行加密,得到对称密钥加密密文;
将第一公钥加密密文和对称密钥加密密文发送至中心处理器,以供中心处理器用第一公钥和对称密钥加密生成返回加密密文;
接收中心处理器返回的返回加密密文;
对返回加密密文进行解密,得到主密钥和第二公钥;
用第一私钥对业务相关数据进行加密,得到业务相关数据加密密文;
将业务相关数据加密密文发送至中心处理器。
在一实施例中,分类单元102,具体用于:
将业务相关数据加密密文发送至中心处理器,包括:
根据业务相关数据对应的数据量和预设分片数据量,对业务相关数据进行分割处理,以获得业务相关数据对应的多个数据分片和每个数据分片对应的顺序索引;
生成业务相关数据对应的标识码,并根据业务相关数据对应的标识码和每个数据分片对应的顺序索引生成每个数据分片对应的分片相关信息,其中,数据分片对应的分片相关信息包含数据分片对应的分片标识码;
根据预设最大上传次数向中心处理器上传多个数据分片和每个数据分片对应的分片相关信息,以便中心处理器根据每个数据分片对应的分片相关信息对多个数据分片进行合并处理,以获得业务相关数据。
在一实施例中,数据分类存储管理装置,还包括:显示单元,具体用于:响应于业务相关数据显示指令,根据预先存储的业务相关数据与数据显示类别之间的对应关系,在业务办理界面上显示相应的业务相关数据。
本发明提供了一种数据分类存储管理装置,先确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;然后根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;再然后根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;最后响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。敏感数据不存储在sesseion Storage等存储方式中,减少泄漏的风险提高了应用程序的安全性。流程走完可及时方便的清除用户操作的数据,释放内存提高运行效率。合理划分的数据,具有清晰的数据流向,方便数据解耦,提高可维护性。
关于数据分类存储管理装置的具体限定可以参见上文中对于数据分类存储管理方法的限定,在此不再赘述。上述数据分类存储管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据分类存储管理方法服务端侧的功能或步骤。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种数据分类存储管理方法客户端侧的功能或步骤
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;
根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;
根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;
响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
确定业务办理过程中产生的业务相关数据,业务相关数据包括用户数据和业务办理过程中的执行数据;
根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定业务相关数据对应的存储类别;
根据存储类别,将业务相关数据进行分类存储并建立存储的业务相关数据的数据索引;
响应于业务流程办理完结指令,根据存储类别,清除缓存的业务相关数据。
需要说明的是,上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤,可对应参阅前述方法实施例中,服务端侧以及客户端侧的相关描述,为避免重复,这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存储存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据分类存储管理方法,其特征在于,包括:
确定业务办理过程中产生的业务相关数据,所述业务相关数据包括用户数据和业务办理过程中的执行数据;
根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别;
根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引;
响应于业务流程办理完结指令,根据所述存储类别,清除缓存的业务相关数据。
2.如权利要求1所述的数据分类存储管理方法,其特征在于,所述确定业务办理过程中产生的业务相关数据,包括:
扫描通过业务办理界面获取的用户数据,根据所述通过业务办理界面获取的用户数据确定待获取用户数据;
确定所述待获取用户数据的审核级别,根据所述审核级向对应的审核端发送数据获取请求;
响应审核端的审核通过指令,从资源池中下载所述待获取用户数据。
3.如权利要求1所述的数据分类存储管理方法,其特征在于,所述根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别,包括:
根据根据预先设置的业务相关数据与数据存储类别之间的对应关系,将所述业务相关数据分为第一类数据、第二类数据和第三类数据,其中,
所述第一类数据为将所述业务相关数据存储在云端,本地存储所述业务相关数据;
所述第二类数据为将所述业务相关数据存储至云端,响应缓存删除指令,以删除本地存储的业务相关数据;
所述第三类数据为响应缓存删除指令,以删除本地存储的业务相关数据。
4.如权利要求1所述的数据分类存储管理方法,其特征在于,所述根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引,包括:
确定用于定位所述业务相关数据存储位置的数据索引;
确定所述数据索引的索引存储类型,所述索引存储类型包括加密索引和非加密索引;
若所述数据索引的索引存储类型为加密索引,则确定与所述业务相关数据相对应的数据密钥,并根据所述数据密钥在与所述数据索引相对应的数据存储位置进行加密存储;
若所述数据索引的索引类型为非加密索引,则在与所述数据索引相对应的数据存储位置进行非加密存储。
5.如权利要求4所述的数据分类存储管理方法,其特征在于,所述确定与所述业务相关数据相对应的数据密钥,并根据所述数据密钥在与所述数据索引相对应的数据存储位置进行加密存储,包括:
接收中心处理器返回的服务公钥;
生成第一公钥及其对应的第一私钥,生成对称密钥,用所述对称密钥加密所述第一公钥,得到第一公钥加密密文;
用所述服务公钥对所述对称秘钥进行加密,得到对称密钥加密密文;
将所述第一公钥加密密文和所述对称密钥加密密文发送至所述中心处理器,以供所述中心处理器用所述第一公钥和对称密钥加密生成返回加密密文;
接收所述中心处理器返回的返回加密密文;
对所述返回加密密文进行解密,得到主密钥和第二公钥;
用所述第一私钥对所述业务相关数据进行加密,得到业务相关数据加密密文;
将所述业务相关数据加密密文发送至所述中心处理器。
6.如权利要求5所述的数据分类存储管理方法,其特征在于,所述将所述业务相关数据加密密文发送至所述中心处理器,包括:
根据所述业务相关数据对应的数据量和预设分片数据量,对所述业务相关数据进行分割处理,以获得所述业务相关数据对应的多个数据分片和每个所述数据分片对应的顺序索引;
生成所述业务相关数据对应的标识码,并根据所述业务相关数据对应的标识码和每个所述数据分片对应的顺序索引生成每个所述数据分片对应的分片相关信息,其中,所述数据分片对应的分片相关信息包含所述数据分片对应的分片标识码;
根据预设最大上传次数向中心处理器上传多个所述数据分片和每个所述数据分片对应的分片相关信息,以便所述中心处理器根据每个所述数据分片对应的分片相关信息对多个所述数据分片进行合并处理,以获得所述业务相关数据。
7.如权利要求1所述的数据分类存储管理方法,其特征在于,在所述确定业务办理过程中产生的业务相关数据之后,还包括:
响应于业务相关数据显示指令,根据预先存储的业务相关数据与数据显示类别之间的对应关系,在所述业务办理界面上显示相应的业务相关数据。
8.一种数据分类存储管理装置,其特征在于,包括:
输入单元,用于确定业务办理过程中产生的业务相关数据,所述业务相关数据包括用户数据和业务办理过程中的执行数据;
分类单元,用于根据预先设置的业务相关数据与数据存储类别之间的对应关系,确定所述业务相关数据对应的存储类别;
索引单元,用于根据所述存储类别,将所述业务相关数据进行分类存储并建立存储的所述业务相关数据的数据索引;
清除单元,用于响应于业务流程办理完结指令,根据所述存储类别,清除缓存的业务相关数据。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据分类存储管理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据分类存储管理方法的步骤。
CN202310154578.1A 2023-02-10 2023-02-10 数据分类存储管理方法、装置、设备及介质 Pending CN116009791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154578.1A CN116009791A (zh) 2023-02-10 2023-02-10 数据分类存储管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154578.1A CN116009791A (zh) 2023-02-10 2023-02-10 数据分类存储管理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116009791A true CN116009791A (zh) 2023-04-25

Family

ID=86030147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154578.1A Pending CN116009791A (zh) 2023-02-10 2023-02-10 数据分类存储管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116009791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117289867A (zh) * 2023-09-28 2023-12-26 河北润博星原科技发展有限公司 基于大数据处理的信息处理平台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117289867A (zh) * 2023-09-28 2023-12-26 河北润博星原科技发展有限公司 基于大数据处理的信息处理平台

Similar Documents

Publication Publication Date Title
US11811907B2 (en) Data processing permits system with keys
US11256825B2 (en) Systems and methods for securing data in electronic communications
US11546348B2 (en) Data service system
CN110598442A (zh) 一种敏感数据自适应的脱敏方法、系统
US20220245472A1 (en) Data processing method and apparatus, and non-transitory computer readable storage medium
CN104995621A (zh) 服务器装置、隐匿检索程序、记录介质以及隐匿检索系统
CA3033144A1 (en) Tracing objects across different parties
US20160292441A1 (en) Redacting restricted content in files
CN108764902B (zh) 用于存储数据的方法、节点和区块链系统
CN112819617B (zh) 数据上链方法及装置、电子设备、存储介质
US11849026B2 (en) Database integration with an external key management system
CN116009791A (zh) 数据分类存储管理方法、装置、设备及介质
CN113779592A (zh) 一种智能设备剪切板数据加密系统及方法
CN106471510B (zh) 复合文档访问
US20230403279A1 (en) Internet protocol (ip) whitelisting for signed uniform resource locators (urls)
WO2022252880A1 (zh) 数据处理方法及其装置、系统、存储介质
CN106445962A (zh) 一种数据导入方法及装置
CN110032890B (zh) 一种安全网络装置和一种安全访问方法
EP3568798B1 (en) Data filing method and system
EP4158515A1 (en) Data storage server and client devices for securely storing data
US11922239B1 (en) System and method for abstraction of application programming interface creation without code
CN117993017B (zh) 数据共享系统、方法、装置、计算机设备及存储介质
CN112153142B (zh) 数据交互方法和装置
CN109063458B (zh) 一种分层信息管理的终端安全方法和装置
CN115455004A (zh) 基于存储规则的数据存储方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination