CN113254983B - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN113254983B CN113254983B CN202110788398.XA CN202110788398A CN113254983B CN 113254983 B CN113254983 B CN 113254983B CN 202110788398 A CN202110788398 A CN 202110788398A CN 113254983 B CN113254983 B CN 113254983B
- Authority
- CN
- China
- Prior art keywords
- data
- file format
- xml file
- format
- xml
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/83—Querying
- G06F16/835—Query processing
- G06F16/8358—Query translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
- G06F16/86—Mapping to a database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种数据处理方法及装置,所述数据处理方法包括:在可信执行环境中获取源数据库中的待处理数据;将待处理数据转换为可扩展标记语言XML文件格式的数据;其中,XML文件格式与源数据库和目标数据库的数据格式均存在映射关系;对XML文件格式的数据进行加密;存储加密后的XML文件格式的数据,并生成用于记录加密后的XML文件格式的数据的验证报告;验证报告中携带可信执行环境的标识信息,可信执行环境的标识信息用于验证所述验证报告的有效性。如此,以XML文件格式作为中间格式进行数据转换和存储,可以实现数据库数据存储的格式统一,且抑制源数据库中数据直接转换为目标数据库中数据的过程中产生的错误信息。
Description
技术领域
本发明涉及数据库领域,尤其涉及一种数据处理方法及装置。
背景技术
在数据库的应用场景中,由于业务系统越来越复杂,往往涉及到不同类型数据库之间的数据共享与交互问题,例如区块链的跨链问题就涉及到不同底层数据库中的数据交换。不同数据库存储不同业务与类型的数据,由于存在不同的异构性,使得数据在储存格式、语法和语义等方面存在很大的差异性,导致异构关系数据库在数据交换过程中可能存在结构冲突、语义和格式冲突等问题。基于异构数据库的数据定义模型转换进行数据交互时,需要耗费大量时间,且各种不同的数据冲突对异构数据交换系统造成严重的负担,在数据转换过程中无法实现完全的等价转换,会产生较多的错误信息,极大地影响了数据交互的效率,同时也给数据库的开发和维护带来负面影响。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法及装置。
本发明的技术方案是这样实现的:
第一方面,本发明实施例提供一种数据处理方法,包括:
在可信执行环境中获取源数据库中的待处理数据;
将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
对所述XML文件格式的数据进行加密;
存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
进一步地,所述方法还包括:
建立所述源数据库的数据格式与所述XML文件格式间的映射关系;
所述将所述待处理数据转换为可扩展标记语言XML文件格式的数据,包括:
基于所述源数据库的数据格式与所述XML文件格式间的映射关系,将所述待处理数据转换为可扩展标记语言XML文件格式的数据。
进一步地,所述建立所述源数据库的数据格式与所述XML文件格式间的映射关系,包括:
生成所述源数据库的数据格式与所述XML文件格式之间的配置文件和转换指令;
基于所述配置文件和转换指令,建立所述源数据库的数据格式与所述XML文件格式间的映射关系。
进一步地,所述将所述待处理数据转换为可扩展标记语言XML文件格式的数据,包括:
将所述待处理数据转换为二进制文件;
基于所述二进制文件与可扩展标记语言XML文件格式的数据中表对象的映射,将所述二进制文件写入对应的表对象,得到XML文件格式的数据。
进一步地,所述对所述XML文件格式的数据进行加密,包括:
通过哈希计算确定所述XML文件格式的数据的哈希值;
生成加密密钥;
通过所述加密密钥对所述XML文件格式的数据进行加密,并存储所述加密密钥;
将加密后的XML文件格式的数据与所述哈希值拼接,得到XML密文;
所述存储加密后的XML文件格式的数据,包括:
存储所述XML密文。
第二方面,本发明实施例提供一种数据处理方法,包括:
接收数据查询请求;
根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
将所述目标数据库的数据格式的数据写入所述目标数据库。
进一步地,所述在存储空间中获取XML文件格式的数据,还包括:
在存储空间中读取XML密文;
基于所述XML密文获取加密的XML文件格式的数据;
读取所述加密的XML文件格式的数据对应的加密密钥;
通过所述加密密钥对所述加密的XML文件格式的数据进行解密,得到XML文件格式的数据。
第三方面,本发明实施例提供一种数据处理装置,包括:
第一获取单元,用于在可信执行环境中获取源数据库中的待处理数据;
第一转换单元,用于将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
加密单元,用于对所述XML文件格式的数据进行加密;
存储单元,用于存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
第四方面,本发明实施例提供一种数据处理装置,包括:
接收单元,用于接收数据查询请求;
第二获取单元,用于根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
第二转换单元,用于基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
写入单元,用于将所述目标数据库的数据格式的数据写入所述目标数据库。
第五方面,本发明实施例提供一种电子设备,所述电子设备包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器;
处理器运行所述计算机程序时,执行前述一个或多个技术方案所述方法的步骤。
第六方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令;计算机可执行指令被处理器执行后,能够实现前述一个或多个技术方案所述方法。
本发明提供的数据处理方法,包括:在可信执行环境中获取源数据库中的待处理数据;将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;对所述XML文件格式的数据进行加密;存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。如此,基于XML文件格式作为对源数据库中数据的存储格式,由于XML文件格式更加简单,数据库的数据格式与XML文件格式间映射关系的建立也更加简单快捷,无需在异构数据库的数据定义模型之间进行转换,可以极大地减少数据交互过程所耗费的时间,又可以大大减少在异构数据库之间直接进行数据转换时,由于结构冲突、语义冲突和格式冲突等导致产生的转换错误信息,从而提高数据转换的准确性。而且可以有效形成数据存储的格式统一,便于对数据库系统中不同数据库的数据进行统一管理。
附图说明
图1为本发明实施例提供的数据处理方法的流程示意图;
图2为本发明实施例提供的数据处理方法的流程示意图;
图3为本发明实施例提供的数据处理方法的流程示意图;
图4为本发明实施例提供的数据处理方法的流程示意图;
图5为本发明实施例提供的数据处理方法的流程示意图;
图6为本发明实施例提供的数据处理方法的流程示意图;
图7为本发明实施例提供的数据处理方法的流程示意图;
图8为本发明实施例提供的数据处理装置的结构示意图;
图9为本发明实施例提供的数据处理装置的结构示意图;
图10为本发明实施例提供的数据处理方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
如图1所示,本发明实施例提供一种数据处理方法,包括:
S110:在可信执行环境中获取源数据库中的待处理数据;
S120:将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
S130:对所述XML文件格式的数据进行加密;
S140:存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
这里,源数据库可以为数据库系统中的一个数据库,用于在数据交互中提供原始数据,即待处理数据,目标数据库可以为与源数据库处于同一数据库系统的另一个数据库,用于在数据交互中获取来自源数据库的数据。其中,源数据库和目标数据库可以为相同的数据库,也可以为不同类型的数据库,例如,源数据库和目标数据库均可以为关系数据库、模式数据库、层次数据库、网络数据库以及面向对象数据库等多种数据库中的一种。
在本发明实施例中,将从源数据库中获取的待处理数据转换为可扩展标记语言(Extensible Markup Language,XML)文件格式的数据,且XML文件格式与源数据库支持的数据格式存在映射关系。其中,映射关系可以为双向映射关系,即基于该双向映射关系,源数据库中的数据与XML文件格式的数据可以相互转换。可以理解的是,源数据库的数据格式与XML文件格式间的映射关系可以预先生成并保存在源数据库中或者数据库系统中,在需要对源数据库中的数据进行转换时直接调用对应的映射关系。
在一个实施例中,XML文件格式还可以与目标数据库支持的数据格式存在映射关系。其中,映射关系可以为双向映射关系,基于该双向映射关系,目标数据库中的数据与XML文件格式的数据可以相互转换。
示例性地,XML文件格式可以与数据库系统中的所有类型数据库支持的数据格式均存在映射关系,每个映射关系可以预先生成并保存在对应的数据库中,或者统一保存在数据库系统中。在需要进行数据交互时,根据数据交互的源数据库和目标数据库类型,分别获取对应的映射关系。
在另一个实施例中,对由源数据库中的待处理数据转换得到的XML文件格式的数据进行加密,将加密后的XML文件格式数据存储在存储空间中。这里,存储空间可以为数据库系统中用于存储数据的空间。如此,可以提高数据存储的安全性,且在数据存储及后续读取过程中,XML文件格式数据更多以加密数据的形式存在,提高数据交互过程的隐私性。
可以理解的是,源数据库可以每隔一定周期对源数据库中存储的数据进行S110至S140的数据处理过程,也可以在接收到数据交互请求或者数据查询请求时,基于请求对相关的待处理数据进行S110至S140的数据处理过程。
在一个实施例中,可以在可信执行环境(Trusted Execution Environment,TEE)中进行待处理数据的获取、转换以及加密过程。如此,可以进一步提高数据处理过程的安全性,降低数据被窃取泄露的风险。
在另一个实施例中,在数据库系统中还可设置安全管理功能,至少包括:身份验证,利用数据签名验证、账号密码验证或者其它验证机制使得要进行通信的双方都要做身份的认证以确保双方的身份,例如,在获取源数据库的待处理数据时验证身份;访问控制,可以为基于身份验证针对不同的用户进行不同权限控制,以防止没有权限的用户对数据做破坏性的操作;数据完整性管理,可以通过预设的约束规则对数据进行检测,对于不合规范的数据禁止存储在数据库中;非否认服务,可以为记录对数据的处理过程,例如以日志的形式记录存储请求的发起、存储请求的响应等动作,以供后续根据所记录的内容查询历史进行的处理过程。
如此,基于XML文件格式作为源数据库中待处理数据的存储格式,由于将待处理数据转换为XML文件格式更加简单易操作,既可以免除基于异构数据库的数据定义模型的转换进行数据转换的繁杂操作,减少数据转换所花费的时间,又可以快速准确地实现异构数据库之间数据的等价转换,抑制在异构数据库之间直接进行数据转换时,由于结构冲突、语义冲突和格式冲突等导致产生的转换错误信息,从而提高数据交互过程的准确性。基于此,通过XML文件格式分别与源数据库和目标数据库间的映射关系,可以形成异构数据库间更加稳定准确的数据转换关系。而且可以有效统一数据库系统中多种数据库的数据存储格式,便于统一管理数据库系统中的数据。
在一个实施例中,对数据的获取以及存储等进程可以在可信执行环境中进行,以提高数据处理的私密性,防止他人对数据进行篡改。在可信执行环境中可以在执行数据的转换、加密、存储后生成验证报告,验证报告中记录已存储的XML文件格式的数据,例如,在微软的可信执行环境中,生成的验证报告为消息分析(Microsoft Message Analyzer,MMA)报告。
如此,基于可信执行环境对XML文件格式的数据进行处理,可以大大提高数据处理及交互过程的安全性,降低数据被盗取篡改的风险。而且基于验证报告的生成及有效性确定,可以进一步提高XML文件格式的数据在存储及查询过程中的安全性,使用户可以确定数据是否安全。
在一些实施例中,如图2所示,所述方法还包括:
S101:建立所述源数据库的数据格式与所述XML文件格式间的映射关系;
所述S120,包括:
S121:基于所述源数据库的数据格式与所述XML文件格式间的映射关系,将所述待处理数据转换为可扩展标记语言XML文件格式的数据。
在本发明实施例中,可以预先在数据库系统中建立源数据库的数据格式与XML文件格式间的映射关系,也可以在源数据库第一次需要进行数据转换时,建立该映射关系。映射关系可以保存在源数据库中,也可以保存在数据库系统的存储空间中,在需要进行数据交互时,基于数据交互请求或指令中的源数据库,查询对应的映射关系。
在一个实施例中,可以获取源数据库支持的数据格式,并结合XML文件格式,建立源数据库的数据格式与XML文件格式间的映射关系。其中,获取源数据库支持的数据格式,可以为通过源数据库中已存储数据的格式进行获取。
如此,基于源数据库数据格式与XML文件格式的映射关系,可以准确高效的将待处理数据转换为XML文件格式的数据,且映射关系保存于数据系统中可以在对应的源数据库需要进行数据交互时快速调用,提高数据交互的效率。
在一些实施例中,如图3所示,所述S101,包括:
S101a:生成所述源数据库的数据格式与所述XML文件格式之间的配置文件和转换指令;
S101b:基于所述配置文件和转换指令,建立所述源数据库的数据格式与所述XML文件格式间的映射关系。
在本发明实施例中,基于源数据库支持的数据格式,以及XML文件格式,可以生成用于支持源数据库中数据与XML文件格式数据间转换的配置文件和转换指令。其中,转换指令用于指示进行数据的转换过程,例如,转换指令可以包括将源数据库数据格式转换为XML文件格式数据的指令,以及将XML文件格式数据转换为源数据库中数据的指令。
在一个实施例中,转换指令和配置文件可以保存在源数据库中,也可以保存在数据库系统中。基于转换指令,在数据库系统中调用相应的配置文件,即可进行待处理数据转换为XML文件格式的数据的过程。
在另一个实施例中,还可以在XML文件格式中,基于XML文件的文档模式(XMLSchema)或者文档类型定义(Document Type Definition,DTD),建立XML文件格式数据的结构约束关系,其中,建立所述结构约束关系可以包括生成相应的转换指令和配置文件。
在一些实施例中,如图4所示,所述S120,包括:
S122:将所述待处理数据转换为二进制文件;
S123:基于所述二进制文件与可扩展标记语言XML文件格式的数据中表对象的映射,将所述二进制文件写入对应的表对象,得到XML文件格式的数据。
在本发明实施例中,对于源数据库中数据量较大的待处理数据,可以先将待处理数据转换为二进制文件,例如采用预先设定的编码进行转换。然后基于二进制文件与用于存储二进制文件的表对象的映射,将二进制文件写入对应的表对象。
在一个实施例中,对于待处理数据转换得到的二进制文件,可以通过指针或定位符等将二进制文件指向XML文件格式数据中对应的表对象,从而形成二进制文件与XML中表对象的映射。将待处理数据对应的二进制文件写入对应的表对象中,即可得到待处理数据对应的XML文件格式的数据。
如此,当源数据库中的待处理数据较大时,直接基于源数据库数据格式与XML文件格式间的映射关系进行转换,工作量较大。而先将待处理数据转换为数据量较小的二进制文件,再转换为XML文件格式的数据,可以有效降低XML文件格式数据转换的工作量,减轻数据库系统处理负担。
在一些实施例中,如图5所示,所述S130,包括:
S131:通过哈希计算确定所述XML文件格式的数据的哈希值;
S132:生成加密密钥;
S133:通过所述加密密钥对所述XML文件格式的数据进行加密,并存储所述加密密钥;
S134:将加密后的XML文件格式的数据与所述哈希值拼接,得到XML密文;
所述S140,包括:
S141:存储所述XML密文。
在本发明实施例中,生成加密密钥,可以采用密钥交换协议(Diffie-Hellman,DH)算法,通过源数据库与目标数据库双方协商得到加密密钥,也可以采用公钥算法(Ron –Adi-Leonard ,RSA)进行密钥生成。
在一个实施例中,得到加密密钥后,可以基于数据加密标准(Data EncryptionStandard,DES)对称加密算法,或者高级加密标准(Advanced Encryption Standard,AES)等加密算法,通过加密密钥对XML文件格式的数据进行加密。
在另一个实施例中,可以将加密密钥保存在源数据库中,也可以保存在数据库系统的存储空间中。若加密密钥是基于DH算法协商生成的,则加密密钥还可以保存在目标数据库中。
在另一个实施例中,在将源数据库中的待处理数据转换得到XML文件格式数据后,可通过哈希计算确定XML文件格式的数据的哈希值,也可以通过散列算法、摘要算法等确定XML文件格式数据的摘要信息。将所述哈希值或者所述摘要信息,与前述加密后的XML文件格式的数据进行拼接,得到最终用于存储的XML密文。
如此,对XML文件格式的数据进行加密,而且与其自身的哈希值进行拼接,在存储XML文件格式数据时可以大大提高数据的安全性和隐私性,抑制XML文件格式的数据在存储以及数据交互过程中被篡改的风险。
如图6所示,本发明实施例提供一种数据处理方法,包括:
S210:接收数据查询请求;
S220:根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
S230:基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
S240:将所述目标数据库的数据格式的数据写入所述目标数据库。
在本发明实施例中,数据查询请求中可以携带待查询数据所源于的源数据库,进而基于数据查询请求,可以在存储空间中查询该源数据库中待处理数据所转换得到的XML文件格式的数据。可以理解的是,数据查询请求中还可以携带待查询数据的标识信息等,用于在存储空间中基于标识信息查找对应的XML文件格式的数据。
在一个实施例中,源数据库可以根据数据查询请求,在源数据库中选取对应的待处理数据进行XML文件格式的数据转换,以及加密存储,目标数据库基于数据查询请求对相应地XML文件格式的数据进行查询和获取。
在另一个实施例中,目标数据库的数据格式与XML文件格式间的映射关系可以预先生成,且保存在目标数据库中或者数据库系统的存储空间中,在接收到数据查询请求后,可以调用数据查询请求中指定的目标数据库对应的映射关系。
在一个实施例中,基于数据查询请求中数据的标识信息,在数据库系统中查找对应的XML文件格式数据的验证报告。对验证报告的有效性进行确定,可以通过将验证报告提交至相应的服务器进行验证,确定验证报告是生成于可信执行环境中,则确定验证报告有效。还可以通过获取验证报告中携带的可信执行环境的标识信息等内容,确定验证报告生成于可信执行环境中。
在另一个实施例中,基于数据查询请求,源数据库在可信执行环境中对待处理的数据进行提取、转换为XML文件格式数据、加密以及存储,并将XML文件格式的数据记录在验证报告中,将验证报告发送给目标数据库。目标数据库对验证报告的有效性进行确定,若有效,则直接获取验证报告中记录的XML文件格式的数据。
如此,基于XML文件格式作为数据交互的中间格式,抑制目标数据库直接从源数据库中获取所需数据导致的结构冲突等兼容性问题,大大降低数据库系统在数据交互过程中的负担。而且基于目标数据库的数据格式与XML文件格式间的映射关系,可以高效快速地将以XML文件格式存储的数据转换为目标数据库支持格式的数据。
在一些实施例中,如图7所示,所述S220,还包括:
或者,S223:根据所述数据查询请求,在存储空间中读取XML密文;
S224:基于所述XML密文获取加密的XML文件格式的数据;
S225:读取所述加密的XML文件格式的数据对应的加密密钥;
S226:通过所述加密密钥对所述加密的XML文件格式的数据进行解密,得到XML文件格式的数据。
在本发明实施例中,若将待处理数据转换为XML文件格式的数据后,进行加密操作然后存储,则根据数据查询请求,获取到的是加密后的XML文件格式的数据,同时还可以向源数据库或者在存储空间中获取对应的加密密钥。
在一个实施例中,在将源数据库中的待处理数据转换为XML文件格式的数据后,基于DH算法经过源数据库与目标数据库双方协商得到加密密钥,则加密密钥可以保存在源数据库与目标数据库中。基于数据查询请求,也可以在目标数据库中获取加密密钥。
在另一个实施例中,数据处理发生在可信执行环境中,则基于数据查询请求,在存储空间中获取到验证报告,确定验证报告有效后,获取验证报告中记录的加密的XML文件格式数据。然后获取对应的加密密钥,解密得到XML文件格式的数据。
在一个实施例中,若在存储过程中,将待处理数据转换为XML文件格式的数据后进行加密,并对XML文件格式的数据进行哈希运算得到其哈希值,拼接加密后的XML文件格式的数据和哈希值,得到XML密文并存储于存储空间,则根据数据查询请求,获取到的是XML密文。基于所述XML密文,可以从中读取得到加密的XML文件格式的数据。进一步地,可以在存储空间或源数据库或目标数据库中读取对应的加密密钥,并对加密的XML文件格式的数据进行解密。
如图8所示,本发明实施例提供一种数据处理装置,包括:
第一获取单元110,用于在可信执行环境中获取源数据库中的待处理数据;
第一转换单元120,用于将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
加密单元130,用于对所述XML文件格式的数据进行加密;
存储单元140,用于存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
在一些实施例中,所述装置还包括:
建立单元,用于建立所述源数据库的数据格式与所述XML文件格式间的映射关系。
如图9所示,本发明实施例提供一种数据处理装置,包括:
接收单元210,用于接收数据查询请求;
第二获取单元220,用于根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
第二转换单元230,用于基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
写入单元240,用于将所述目标数据库的数据格式的数据写入所述目标数据库。
以下结合上述任一实施例提供一个具体示例:
本发明实施例的主要思路是在异构数据库系统中构建统一的XML映射转化方案,通过构建映射模型将数据统一转化为XML文件,再用目标数据库匹配读取XML文件,同时这一过程中引入了加密系统,确保了关键数据的安全性。如图10所示,本发明实施例方案包括:
S1、异构数据库系统:该系统主要包含各异构数据库,数据库与数据采集层直接连接。数据库需要与数据采集层进行相关配置,通过数据采集模块的命令进行。例如需要增加某数据,需要通过管理员向数据采集模块的服务Service接口发送指令,然后再转化为数据库的操作指令,进行相应数据增加。
S2、数据采集模块:是数据交换系统重要组成部分之一,主要使用互联网服务WebService 接口,汇总了各类数据库数据的查询与修改指令,将所要传输的数据采集汇总,送到数据交换平台中进行处理。
S3、数据交换平台:该主要由安全加密解密模块,XML 文档存储模块,核心处理模块组成,其中XML文档存储模块负责存储相关数据,核心处理模块主要的处理工作包括解析原始 XML 文档、XML 文档转换为目标数据库支持 XML 文档。主要包括:
1)加解密模块
先通过核心处理模块得到源数据库的XML文档,当对 XML 文档进行加密时,可以通过DH算法双方先协商得到相同的加密密钥,作为DES加密的密钥。接着对明文信息用哈希计算得到摘要信息,再用DES对称加密算法加密明文,两部分信息拼接得到最终的XML密文。当目标数据库需要同步共享数据时,用协商好的DES加密密钥进行解密,得到XML文件后,再通过该文件映射同步目标数据库的数据。
该模块同时设置安全权限管理功能,主要包含以下部分:
A、身份验证:利用数据签名或者其它安全机制使得要进行通信的双方都要做身份的认证以确保双方的身份,这样可以防止其它第三方的人用一些非法手段窃取数据;
B、访问控制:针对不同的用户进行不同权限控制以防止没有权限的用户对数据做破坏性的操作;
C、数据的完整性:异构数据库的数据在普通网络或者是分布式网络上进行数据交换时,需要确保数据在整个传输过程中没有被做任何的改动;
D、非否认服务:安全模型中的机制必须保证通信的双方在对需要交互的数据作出动作以后无法否认自己的行为。
2)核心处理模块
核心处理模块是数据交换的中心,是连接原始 XML 文档和目标系统的纽带,负责XML 数据处理和数据转换的工作。
它主要包括以下几个功能:
A、将原始 XML 文档转换为中间格式的 XML 文档并存放到存储到系统的空间去。XML配置数据转换规则。配置方法为在 XML 文档中依据 XML Schema 或者 DTD 来建立XML 文档中数据的结构约束关系。基于模型驱动的映射可以实现 XML 模式文档和关系数据库中的关系模式的双向映射,使得 XML 文档中数据和关系数据库中数据能够完成双向的交互传输。对于数据库中的大数据,可以先将其用特定编码转为二进制文件,再用定位符将指向特定的表对象。
B、根据用户的查询请求,将需要的共享数据的 XML 文件读取出来。
C、将中间格式的 XML 文档转换为目标数据库支持格式的 XML 文档。目标数据库对应的采集层接口能读取该文档,将新数据写入目标数据库。
本发明实施例还提供一种电子设备,所述电子设备包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,处理器运行所述计算机程序时,执行前述一个或多个技术方案所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,计算机可执行指令被处理器执行后,能够实现前述一个或多个技术方案所述方法。
本实施例提供的计算机存储介质可为非瞬间存储介质。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的方法技术方案。
在一些情况下,上述任一两个技术特征不冲突的情况下,可以组合成新的设备技术方案。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种数据处理方法,其特征在于,所述方法包括:
在可信执行环境中获取源数据库中的待处理数据;
将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
对所述XML文件格式的数据进行加密;
存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告用于供所述目标数据库获取所述XML文件格式的数据;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
建立所述源数据库的数据格式与所述XML文件格式间的映射关系;
所述将所述待处理数据转换为可扩展标记语言XML文件格式的数据,包括:
基于所述源数据库的数据格式与所述XML文件格式间的映射关系,将所述待处理数据转换为可扩展标记语言XML文件格式的数据。
3.根据权利要求2所述的方法,其特征在于,所述建立所述源数据库的数据格式与所述XML文件格式间的映射关系,包括:
生成所述源数据库的数据格式与所述XML文件格式之间的配置文件和转换指令;
基于所述配置文件和转换指令,建立所述源数据库的数据格式与所述XML文件格式间的映射关系。
4.根据权利要求1所述的方法,其特征在于,所述将所述待处理数据转换为可扩展标记语言XML文件格式的数据,包括:
将所述待处理数据转换为二进制文件;
基于所述二进制文件与可扩展标记语言XML文件格式的数据中表对象的映射,将所述二进制文件写入对应的表对象,得到XML文件格式的数据。
5.根据权利要求1所述的方法,其特征在于,所述对所述XML文件格式的数据进行加密,包括:
通过哈希计算确定所述XML文件格式的数据的哈希值;
生成加密密钥;
通过所述加密密钥对所述XML文件格式的数据进行加密,并存储所述加密密钥;
将加密后的XML文件格式的数据与所述哈希值拼接,得到XML密文;
所述存储加密后的XML文件格式的数据,包括:
存储所述XML密文。
6.一种数据处理方法,其特征在于,所述方法包括:
接收数据查询请求;
根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
将所述目标数据库的数据格式的数据写入所述目标数据库。
7.根据权利要求6所述的方法,其特征在于,所述在存储空间中获取XML文件格式的数据,还包括:
在存储空间中读取XML密文;
基于所述XML密文获取加密的XML文件格式的数据;
读取所述加密的XML文件格式的数据对应的加密密钥;
通过所述加密密钥对所述加密的XML文件格式的数据进行解密,得到XML文件格式的数据。
8.一种数据处理装置,其特征在于,所述装置包括:
第一获取单元,用于在可信执行环境中获取源数据库中的待处理数据;
第一转换单元,用于将所述待处理数据转换为可扩展标记语言XML文件格式的数据;其中,所述XML文件格式与所述源数据库和目标数据库的数据格式均存在映射关系;
加密单元,用于对所述XML文件格式的数据进行加密;
存储单元,用于存储加密后的XML文件格式的数据,并生成用于记录所述加密后的XML文件格式的数据的验证报告;所述验证报告用于供所述目标数据库获取所述XML文件格式的数据;所述验证报告中携带所述可信执行环境的标识信息,所述可信执行环境的标识信息用于验证所述验证报告的有效性。
9.一种数据处理装置,其特征在于,所述装置包括:
接收单元,用于接收数据查询请求;
第二获取单元,用于根据所述数据查询请求,在存储空间中获取XML文件格式的数据,包括:在存储空间中,获取可信执行环境中记录有XML文件格式的数据的验证报告;基于所述验证报告中携带的可信执行环境的标识信息确定所述验证报告是否有效,若有效,则在所述验证报告中获取所述XML文件格式的数据;
第二转换单元,用于基于目标数据库的数据格式与所述XML文件格式间的映射关系,将所述XML文件格式的数据转换为所述目标数据库的数据格式的数据;
写入单元,用于将所述目标数据库的数据格式的数据写入所述目标数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110788398.XA CN113254983B (zh) | 2021-07-13 | 2021-07-13 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110788398.XA CN113254983B (zh) | 2021-07-13 | 2021-07-13 | 一种数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113254983A CN113254983A (zh) | 2021-08-13 |
CN113254983B true CN113254983B (zh) | 2021-10-01 |
Family
ID=77191139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110788398.XA Active CN113254983B (zh) | 2021-07-13 | 2021-07-13 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113254983B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116796370A (zh) * | 2023-08-24 | 2023-09-22 | 湖南千家万护网络科技服务有限公司 | 一种基于多模块加密保护的保险数据多维分析系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012018424A2 (en) * | 2010-07-27 | 2012-02-09 | Oracle International Corporation | Mysql database heterogeneous log based replication |
CN102915377A (zh) * | 2012-11-14 | 2013-02-06 | 深圳市宏电技术股份有限公司 | 数据库转换或同步方法及系统 |
CN105550176A (zh) * | 2014-10-29 | 2016-05-04 | 镇江华扬信息科技有限公司 | 一种关系数据库与xml的基本映射方法 |
CN106560802A (zh) * | 2015-10-05 | 2017-04-12 | 镇江鼎拓科技信息有限公司 | 一种关系数据库与web数据的映射方法 |
CN110519260A (zh) * | 2019-08-23 | 2019-11-29 | 联想(北京)有限公司 | 一种信息处理方法及信息处理装置 |
CN111753308A (zh) * | 2020-06-28 | 2020-10-09 | 联想(北京)有限公司 | 一种信息验证方法及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110032720A (zh) * | 2018-12-28 | 2019-07-19 | 万康源(天津)基因科技有限公司 | 一种基于xml的可视化报告排版及自动生成方法及系统 |
-
2021
- 2021-07-13 CN CN202110788398.XA patent/CN113254983B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012018424A2 (en) * | 2010-07-27 | 2012-02-09 | Oracle International Corporation | Mysql database heterogeneous log based replication |
CN102915377A (zh) * | 2012-11-14 | 2013-02-06 | 深圳市宏电技术股份有限公司 | 数据库转换或同步方法及系统 |
CN105550176A (zh) * | 2014-10-29 | 2016-05-04 | 镇江华扬信息科技有限公司 | 一种关系数据库与xml的基本映射方法 |
CN106560802A (zh) * | 2015-10-05 | 2017-04-12 | 镇江鼎拓科技信息有限公司 | 一种关系数据库与web数据的映射方法 |
CN110519260A (zh) * | 2019-08-23 | 2019-11-29 | 联想(北京)有限公司 | 一种信息处理方法及信息处理装置 |
CN111753308A (zh) * | 2020-06-28 | 2020-10-09 | 联想(北京)有限公司 | 一种信息验证方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113254983A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200050595A1 (en) | Data storage layer index for efficient information retrieval | |
CN100468386C (zh) | 时间标记验证方法 | |
JP5111840B2 (ja) | ドメイン管理方法及びその装置 | |
CN104506487B (zh) | 云环境下隐私策略的可信执行方法 | |
US20060026691A1 (en) | Method of transmitting and reproducing content processed by various DRM systems | |
EP3537684B1 (en) | Apparatus, method, and program for managing data | |
CN109657492B (zh) | 数据库管理方法、介质及电子设备 | |
US11924185B2 (en) | Method and system for general data protection compliance via blockchain | |
CN112307515B (zh) | 基于数据库的数据处理方法、装置、电子设备和介质 | |
US20030014365A1 (en) | Information processing method and program | |
CN116168820A (zh) | 基于虚拟集成与区块链融合的医疗数据互操作方法 | |
EP3809300A1 (en) | Method and apparatus for data encryption, method and apparatus for data decryption | |
WO2020000777A1 (zh) | 基于区块链获取个人征信方法、装置及计算机设备 | |
KR20020067663A (ko) | 데이터배포시스템 | |
US20230308290A1 (en) | Data sharing method and electronic device | |
CN113254983B (zh) | 一种数据处理方法及装置 | |
CN115238320B (zh) | 一种电力数据存储管理方法 | |
EP4158515A1 (en) | Data storage server and client devices for securely storing data | |
CN103647650A (zh) | 基于规则定义的自动签名/验签装置和自动签名/验签方法 | |
CN113901498B (zh) | 一种数据共享方法、装置、设备及存储介质 | |
CN117272358A (zh) | 数据存储加密方法、装置、电子设备和计算机程序产品 | |
CN117194334B (zh) | 分布式日志存储系统的日志存储方法、装置、设备及介质 | |
CN112910834B (zh) | 数据共享方法、装置、系统、设备及介质 | |
US20040128501A1 (en) | Service offering system for allowing a client having no account to access a managed object with a limited right | |
CN113946864B (zh) | 一种机密信息获取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |