CN113343662A - 数据落地方法、装置、电子设备及介质 - Google Patents
数据落地方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113343662A CN113343662A CN202110718373.2A CN202110718373A CN113343662A CN 113343662 A CN113343662 A CN 113343662A CN 202110718373 A CN202110718373 A CN 202110718373A CN 113343662 A CN113343662 A CN 113343662A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- processed
- template
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域,揭露一种数据落地方法,包括:获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;通过所述文件配置模板创建所述待处理文件对应的数据存储表;将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。本发明还提出一种数据落地装置、设备及存储介质。本发明还涉及区块链技术,所述转化数据可存储于区块链节点中。本发明可以提高数据落地的效率和准确性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据落地方法、装置、电子设备及计算机可读存储介质。
背景技术
在金融行业以及其他行业中,数据在不同平台之间传输时,常需要考虑数据落地的问题。数据落地是指,接收由其他平台传输的数据并转化为接收平台可用的格式,进而使用接收到的数据。
现有技术中,数据落地时需要开发人员手动处理落地数据,例如根据落地文件的类型手工创建数据存储表,根据文件类型修改代码支持文件转化。因此现有技术因为人工的参与易于导致效率低下且容易出错。
发明内容
本发明提供一种数据落地方法、装置、电子设备及计算机可读存储介质,其主要目的在于提高数据落地的效率和准确性。
为实现上述目的,本发明提供的一种数据落地方法,包括:
获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
通过所述文件配置模板创建所述待处理文件对应的数据存储表;
将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
可选地,所述获取与所述待处理文件的文件类型对应的文件模板,包括:
获取所述待处理文件的文件格式;
根据所述待处理文件的文件格式选择文件读取工具,通过所述文件读取工具获取所述待处理文件的文件类型;
基于所述待处理文件的文件类型从预构建的模板库中获取与所述文件类型对应的文件模板。
可选地,所述获取所述待处理文件的文件格式,包括:
过预设类将所述待处理文件转化为待处理字节流;
获取所述待处理字节流的字节头,并将所述字节头转化为十六进制的字符串;
利用预设的字符映射表和所述字符串确定所述待处理文件的文件格式。
可选地,所述利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据,包括:
根据所述文件配置模板,获取所述文件配置模板中的数据转化协议;
通过所述数据转化协议转化所述待处理文件中的待处理数据,得到所述转化数据。
可选地,所述通过所述数据转化协议转化所述待处理文件中的待处理数据,包括:
根据所述数据转化协议对所述待处理数据中的单个数据进行数据定义,得到元数据;
根据所述元数据生成数据转化规则,并利用所述数据转化规则转化所述待处理文件中的待处理数据。
可选地,所述将所述转化数据进行加密得到加密数据,包括:
基于预设加密算法构建密钥生成器,并对所述密钥生成器进行初始化,得到原始对称密钥;
获取所述原始对称密钥的字节数组,根据所述字节数组生成加密密钥;
利用所述加密密钥对所述转化数据进行加密,得到加密数据。
可选地,所述将所述加密数据存储至所述数据存储表,包括:
根据所述数据存储表中的加密数据构建待发送文件,并将所述待发送文件发送至数据接收端。
为了解决上述问题,本发明还提供一种数据落地装置,所述装置包括:
文件模板获取模块,用于获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
文件模板配置模块,用于根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
数据转化模块,用于利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
存储表创建模块,用于通过所述文件配置模板创建所述待处理文件对应的数据存储表;
数据加密存储模块,用于将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的数据落地方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如上所述的数据落地方法。
本发明实施例中,通过获取到待处理文件之后,获取与所述待处理文件的文件类型对应的文件模板,根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板,利用所述文件配置模板转化待处理文件中的待处理数据,得到转化数据,可以针对性地对待处理文件进行数据转化,提升了数据落地的效率,并通过所述文件配置模板创建数据存储表,将转化后的待处理数据加密并存储入所述数据存储表中,通过加密使得数据不会被篡改,进一步提高了数据落地的准确性。因此,本发明实施例可以提高数据落地的效率和准确性。
附图说明
图1为本发明一实施例提供的一种数据落地方法的流程示意图;
图2为本发明第一实施例中图1提供的数据落地方法其中一个步骤的详细流程示意图;
图3为本发明一实施例提供的数据落地装置的模块示意图;
图4为本发明一实施例提供的实现数据落地方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种数据落地方法。所述数据落地方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述数据落地方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示,为本发明一实施例提供的一种数据落地方法的流程示意图。在本实施例中,所述数据落地方法包括:
S1、获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板。
本发明实施例中,所述待处理文件可以为用户输入的文件或者从预设的文件数据库中获取的文件。
所述待处理文件中包含待处理数据,其中,所述待处理数据可以为基金代销数据,进一步地,所述待处理数据可以存储在预设的网络附属存储器(Network AttachedStorage、NAS)中。
进一步地,所述待处理文件的文件类型将随所述待处理文件中待处理数据的不同而产生差别。
一可选实施例中,所述文件类型可以是根据文件格式进行分类得到的,具体的,所述文件格式是指计算机为了存储信息而使用的特殊编码方式。
又一可选实施例中,所述文件类型还可以是根据文件的获取源进行分类得到的。
其他可选实施例中,所述文件类型还可以根据其他分类的标准得到。
例如,第一待处理文件为文本文件,包含基金代销数据,从基金销售系统获取,第二待处理文件为文本文件,包含用户信息数据,从用户主数据管理系统获取,则根据文件格式进行分类时,第一待处理文件和第二待处理文件的文件类型相同,都为文本类型,或者,根据文件的获取源进行分类时,第一处理文件的文件类型与第二处理文件的文件类型不相同。
详细地,所述获取与所述待处理文件的文件类型对应的文件模板,包括:
S101、获取所述待处理文件的文件格式。
本实施例中,可以根据所述待处理文件的文件名称获取文件格式,例如,文件名称中包含的文件格式的标识,则根据待处理文件的文件名称获取文件格式。
其他可选实施例中,可以根据所述待处理文件的后缀确定所述待处理文件的文件格式。
进一步地,所述获取所述待处理文件的文件格式,包括:
通过预设类将所述待处理文件转化为待处理字节流;
获取所述待处理字节流的字节头,并将所述字节头转化为十六进制的字符串;
利用预设的字符映射表和所述字符串确定所述待处理文件的文件格式。
本实施例中,所述预设类为FileStream类,其中,可以使用FileStrem类对待处理文件进行读取、写入、打开和关闭操作。具体地,通过FileStream类可以实现同步读写操作和异步读写操作。
本发明实施例中,所述字符映射表中存有字符串及字符串对应的文件类型,通过根据十六进制的字符串在所述字符映射表中查找可以得到所述字符串对应的文件类型。
具体的,在所述字符映射表中,各个字符串都有对应的文件类型,例如字符串“FFD8FFED”对应“jpg”文件,字符串“89504E47”对应“png”文件,字符串“47494638”对应“gif”文件,字符串“49492A00”对应“tif”文件等。
S102、根据所述待处理文件的文件格式选择文件读取工具,通过所述文件读取工具获取所述待处理文件的文件类型。
例如,对于文本格式的待处理文件选择文本类读取工具,对于图片格式的待处理文件选用图像类读取工具。其中,文本类读取工具包括NLP工具,图像类读取工具包括JSocr文字识别工具或ocr文字识别工具。
S103、基于所述待处理文件的文件类型从预构建的模板库中获取与所述文件类型对应的文件模板。
本发明实施例中,所述文件模板为从预先设置的模板存储库中获取的模板。
S2、根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板。
本发明实施例中,所述文件配置模板用于对所述待处理文件进行解析。
本实施例中,所述数据转化协议存储于预设的协议库中,可以根据所述待处理文件的文件类型进行获取,通过将所述数据转化协议存储入所述文件模板,得到所述文件配置模板。
例如,所述待处理文件为金融行业的基金代销数据,则从所述协议库中获取数据转化协议,其中,所述数据转化协议为基金业务数据转化协议。
本发明实施例中,所述根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板之后,所述方法还包括:
创建所述文件配置模板的模板存储表;以及
获取所述文件配置模板的字段,并在所述模板存储表中添加所述文件配置模板的字段;
获取所述文件配置模板的模板类型,并在所述模板存储表中添加所述文件配置模板的模板类型和所述文件配置模板的字段的映射关系。
本发明实施例中,所述文件配置模板的字段为表示所述文件配置模板中的数据项,即所述文件配置模板包含的内容。所述文件配置模板的模板类型为所述文件配置模板用于处理的待处理文件的文件类型,即该文件配置模板的模板类型对应处理哪种待处理文件的文件类型。
本实施例中,可以将已明确模板类型的文件配置模板存储在所述模板存储表中,则在下次调用时,不需要获取文件模板以及配置化,可以直接从所述模板存储表中根据模板类型查找对应的文件配置模板的字段,并得到文件配置模板。因此,本实施例中通过文件配置模板的模板存储表可以方便管理文件配置模板,直接快速获取文件配置模板内容。
S3、利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据。
本发明实施例中,所述利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据,包括:
根据所述文件配置模板,获取所述文件配置模板中的数据转化协议;
通过所述数据转化协议转化所述待处理文件中的待处理数据,得到所述转化数据。
本发明实施例中,所述数据转化协议应用于对所述待处理文件中的待处理数据进行数据转化,例如,若数据转化协议为“开放式基金业务数据转化协议”,可以通过该数据转化协议对基金代销数据进行转化。
进一步地,所述通过所述数据转化协议转化所述待处理文件中的待处理数据,包括:
根据所述数据转化协议对所述待处理数据中的单个数据进行数据定义,得到元数据;
根据所述元数据生成数据转化规则,并利用所述数据转化规则转化所述待处理文件中的待处理数据。
本实施例中,所述根据所述元数据生成转化规则为基于所述元数据生成JAR包,所述JAR包为一种集成Java类文件和资源的软件包,用于对所述待处理数据进行转化。
详细地,所述元数据即为中介数据、中继数据,具体的,元数据是一种用于描述数据的数据,主要用于描述数据属性的信息,用于支持如指示存储位置、历史数据、资源查找、文件记录等功能。
S4、通过所述文件配置模板创建所述待处理文件对应的数据存储表。
本实施例中,所述数据存储表为用于存储转化后的所述待处理数据的存储表,和上述文件配置模板的模板存储表性质相同,通过所述数据存储表可以便于进行数据的查找。
本发明实施例中,所述通过所述文件配置模板创建所述待处理文件对应的数据存储表,包括:
获取所述文件配置模板中的字段;
根据所述文件配置模板中的字段映射得到字段名称、字段类型和字段长度;
根据所述字段名称、所述字段类型和所述字段长度创建数据定义语言脚本,并通过所述数据定义语言脚本在预设数据库中创建所述数据存储表。
本发明实施例中,所述数据定义语言脚本(Data Definition Language、DDL)可以对数据库,数据存储表进行操作,包括创建数据库、查看数据库、创建数据存储表等操作。
详细地,所述数据存储表也为数据库表,在数据库中以表的形式存储数据。
S5、将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
本实施例中,可以使用非对称加密方法进行加密得到加密数据。
进一步的,本发明另一可选实施例中,所述将所述转化数据进行加密得到加密数据,包括:
基于预设加密算法构建密钥生成器,并对所述密钥生成器进行初始化,得到原始对称密钥;
获取所述原始对称密钥的字节数组,根据所述字节数组生成加密密钥;
利用所述加密密钥对所述转化数据进行加密,得到加密数据。
本发明实施例中,所述预设加密算法为AES算法,可以根据AES算法中的密钥生成器类KeyGenerator源码构造密钥生成器,并根据AES算法中的ecnodeRules规则对所述密钥生成器进行初始化,继而得到AES算法的原始对称密钥。
详细地,所述AES算法为是一种对称的分组加密算法,使用128位分组加密数据,具有应用范围广、等待时间短、相对容易隐藏和吞吐量高的优点。
本发明其他可选实施例中,还可以采用DES算法、RSA算法等对所述转化数据进行加密。
进一步地,所述将所述加密数据存储至所述数据存储表可以通过结构化查询语言实现。
本发明实施例中,所述结构化查询语言(Structured Query Language、SQL)是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
进一步地,所述将所述加密数据存储至所述数据存储表之后,所述方法还包括根据所述数据存储表中的加密数据构建待发送文件,并将所述待发送文件发送至数据接收端。
本发明实施例中,所述数据接收端为对所述待发送文件进行接收和利用的设备。
本发明实施例中,所述根据所述数据存储表中的加密数据构建待发送文件,包括:
根据所述加密数据的数据类型创建空文件;
通过所述结构化查询语言将所述加密数据存储入所述空文件,得到所述待发送文件。
本发明实施例中,通过获取到待处理文件之后,获取与所述待处理文件的文件类型对应的文件模板,根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板,利用所述文件配置模板转化待处理文件中的待处理数据,得到转化数据,可以针对性地对待处理文件进行数据转化,提升了数据落地的效率,并通过所述文件配置模板创建数据存储表,将转化后的待处理数据加密并存储入所述数据存储表中,通过加密使得数据不会被篡改,进一步提高了数据落地的准确性。因此,本发明实施例可以提高数据落地的效率和准确性。
如图3所示,是本发明数据落地装置的模块示意图。
本发明所述数据落地装置100可以安装于电子设备中。根据实现的功能,所述数据落地装置可以包括文件模板获取模块101、文件模板配置模块102、数据转化模块103、存储表创建模块104和数据加密存储模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述文件模板获取模块101,用于获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板。
本发明实施例中,所述待处理文件可以为用户输入的文件或者从预设的文件数据库中获取的文件。
所述待处理文件中包含待处理数据,其中,所述待处理数据可以为基金代销数据,进一步地,所述待处理数据可以存储在预设的网络附属存储器(Network AttachedStorage、NAS)中。
进一步地,所述待处理文件的文件类型将随所述待处理文件中待处理数据的不同而产生差别。
一可选实施例中,所述文件类型可以是根据文件格式进行分类得到的,具体的,所述文件格式是指计算机为了存储信息而使用的特殊编码方式。
又一可选实施例中,所述文件类型还可以是根据文件的获取源进行分类得到的。
其他可选实施例中,所述文件类型还可以根据其他分类的标准得到。
例如,第一待处理文件为文本文件,包含基金代销数据,从基金销售系统获取,第二待处理文件为文本文件,包含用户信息数据,从用户主数据管理系统获取,则根据文件格式进行分类时,第一待处理文件和第二待处理文件的文件类型相同,都为文本类型,或者,根据文件的获取源进行分类时,第一处理文件的文件类型与第二处理文件的文件类型不相同。
进一步地,所述文件模板获取模块101包括获取单元、文件格式获取单元、文件类型读取单元和文件模板确定单元。
获取单元,用于获取待处理文件。
文件格式获取单元,用于获取所述待处理文件的文件格式。
本实施例中,可以根据所述待处理文件的文件名称获取文件格式,例如,文件名称中包含的文件格式的标识,则根据待处理文件的文件名称获取文件格式。
其他可选实施例中,可以根据所述待处理文件的后缀确定所述待处理文件的文件格式。
进一步地,所述文件格式获取单元具体用于:
通过预设类将所述待处理文件转化为待处理字节流;
获取所述待处理字节流的字节头,并将所述字节头转化为十六进制的字符串;
利用预设的字符映射表和所述字符串确定所述待处理文件的文件格式。
本实施例中,所述预设类为FileStream类,其中,可以使用FileStrem类对待处理文件进行读取、写入、打开和关闭操作。具体地,通过FileStream类可以实现同步读写操作和异步读写操作。
本发明实施例中,所述字符映射表中存有字符串及字符串对应的文件类型,通过根据十六进制的字符串在所述字符映射表中查找可以得到所述字符串对应的文件类型。
具体的,在所述字符映射表中,各个字符串都有对应的文件类型,例如字符串“FFD8FFED”对应“jpg”文件,字符串“89504E47”对应“png”文件,字符串“47494638”对应“gif”文件,字符串“49492A00”对应“tif”文件等。
文件类型读取单元,用于根据所述待处理文件的文件格式选择文件读取工具,通过所述文件读取工具获取所述待处理文件的文件类型。
例如,对于文本格式的待处理文件选择文本类读取工具,对于图片格式的待处理文件选用图像类读取工具。其中,文本类读取工具包括NLP工具,图像类读取工具包括JSocr文字识别工具或ocr文字识别工具。
文件模板确定单元,用于基于所述待处理文件的文件类型从预构建的模板库中获取与所述文件类型对应的文件模板。
本发明实施例中,所述文件模板为从预先设置的模板存储库中获取的模板。
所述文件模板配置模块102,用于根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板。
本发明实施例中,所述文件配置模板用于对所述待处理文件进行解析。
本实施例中,所述数据转化协议存储于预设的协议库中,可以根据所述待处理文件的文件类型进行获取,通过将所述数据转化协议存储入所述文件模板,得到所述文件配置模板。
例如,所述待处理文件为金融行业的基金代销数据,则从所述协议库中获取数据转化协议,其中,所述数据转化协议为基金业务数据转化协议。
本发明实施例中,所述装置还包括添加模块,所述添加模块用于:
根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板之后创建所述文件配置模板的模板存储表;以及
获取所述文件配置模板的字段,并在所述模板存储表中添加所述文件配置模板的字段;
获取所述文件配置模板的模板类型,并在所述模板存储表中添加所述文件配置模板的模板类型和所述文件配置模板的字段的映射关系。
本发明实施例中,所述文件配置模板的字段为表示所述文件配置模板中的数据项,即所述文件配置模板包含的内容。所述文件配置模板的模板类型为所述文件配置模板用于处理的待处理文件的文件类型,即该文件配置模板的模板类型对应处理哪种待处理文件的文件类型。
本实施例中,可以将已明确模板类型的文件配置模板存储在所述模板存储表中,则在下次调用时,不需要获取文件模板以及配置化,可以直接从所述模板存储表中根据模板类型查找对应的文件配置模板的字段,并得到文件配置模板。因此,本实施例中通过文件配置模板的模板存储表可以方便管理文件配置模板,直接快速获取文件配置模板内容。
所述数据转化模块103,用于利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据。
本发明实施例中,所述数据转化模块103具体用于:
根据所述文件配置模板,获取所述文件配置模板中的数据转化协议;
通过所述数据转化协议转化所述待处理文件中的待处理数据,得到所述转化数据。
本发明实施例中,所述数据转化协议应用于对所述待处理文件中的待处理数据进行数据转化,例如,若数据转化协议为“开放式基金业务数据转化协议”,可以通过该数据转化协议对基金代销数据进行转化。
进一步地,可以通过执行下述操作实现通过所述数据转化协议转化所述待处理文件中的待处理数据:
根据所述数据转化协议对所述待处理数据中的单个数据进行数据定义,得到元数据;
根据所述元数据生成数据转化规则,并利用所述数据转化规则转化所述待处理文件中的待处理数据。
本实施例中,所述根据所述元数据生成转化规则为基于所述元数据生成JAR包,所述JAR包为一种集成Java类文件和资源的软件包,用于对所述待处理数据进行转化。
详细地,所述元数据即为中介数据、中继数据,具体的,元数据是一种用于描述数据的数据,主要用于描述数据属性的信息,用于支持如指示存储位置、历史数据、资源查找、文件记录等功能。
所述存储表创建模块104,用于通过所述文件配置模板创建所述待处理文件对应的数据存储表。
本实施例中,所述数据存储表为用于存储转化后的所述待处理数据的存储表,和上述文件配置模板的模板存储表性质相同,通过所述数据存储表可以便于进行数据的查找。
本发明实施例中,所述存储表创建模块104具体用于:
获取所述文件配置模板中的字段;
根据所述文件配置模板中的字段映射得到字段名称、字段类型和字段长度;
根据所述字段名称、所述字段类型和所述字段长度创建数据定义语言脚本,并通过所述数据定义语言脚本在预设数据库中创建所述数据存储表。
本发明实施例中,所述数据定义语言脚本(Data Definition Language、DDL)可以对数据库,数据存储表进行操作,包括创建数据库、查看数据库、创建数据存储表等操作。
详细地,所述数据存储表也为数据库表,在数据库中以表的形式存储数据。
所述数据加密存储模块105,用于将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
本实施例中,可以使用非对称加密方法进行加密得到加密数据。
进一步的,本发明另一可选实施例中,所述数据加密存储模块105具体用于:
基于预设加密算法构建密钥生成器,并对所述密钥生成器进行初始化,得到原始对称密钥;
获取所述原始对称密钥的字节数组,根据所述字节数组生成加密密钥;
利用所述加密密钥对所述转化数据进行加密,得到加密数据;
将所述加密数据存储至所述数据存储表。
本发明实施例中,所述预设加密算法为AES算法,可以根据AES算法中的密钥生成器类KeyGenerator源码构造密钥生成器,并根据AES算法中的ecnodeRules规则对所述密钥生成器进行初始化,继而得到AES算法的原始对称密钥。
详细地,所述AES算法为是一种对称的分组加密算法,使用128位分组加密数据,具有应用范围广、等待时间短、相对容易隐藏和吞吐量高的优点。
本发明其他可选实施例中,还可以采用DES算法、RSA算法等对所述转化数据进行加密。
进一步地,所述将所述加密数据存储至所述数据存储表可以通过结构化查询语言实现。
本发明实施例中,所述结构化查询语言(Structured Query Language、SQL)是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
进一步地,所述装置还包括发送模块,所述发送模块用于:
将所述加密数据存储至所述数据存储表之后,根据所述数据存储表中的加密数据构建待发送文件,并将所述待发送文件发送至数据接收端。
本发明实施例中,所述数据接收端为对所述待发送文件进行接收和利用的设备。
本发明实施例中,可以通过执行下述操作实现根据所述数据存储表中的加密数据构建待发送文件:
根据所述加密数据的数据类型创建空文件;
通过所述结构化查询语言将所述加密数据存储入所述空文件,得到所述待发送文件。
本发明实施例中,所述根据所述数据存储表中的加密数据构建待发送文件,包括:本发明实施例中,通过获取到待处理文件之后,获取与所述待处理文件的文件类型对应的文件模板,根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板,利用所述文件配置模板转化待处理文件中的待处理数据,得到转化数据,可以针对性地对待处理文件进行数据转化,提升了数据落地的效率,并通过所述文件配置模板创建数据存储表,将转化后的待处理数据加密并存储入所述数据存储表中,可以提升数据的安全性,通过加密使得数据不会被篡改,进一步提高了数据落地的准确性。因此,本发明实施例可以提高数据落地的效率和准确性。
如图4所示,是本发明实现数据落地方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如数据落地程序。
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行数据落地程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如数据落地程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的数据落地程序是多个计算机程序的组合,在所述处理器10中运行时,可以实现:
获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
通过所述文件配置模板创建所述待处理文件对应的数据存储表;
将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
具体地,所述处理器10对上述计算机程序的具体实现方法可参考图1和图2对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
通过所述文件配置模板创建所述待处理文件对应的数据存储表;
将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据落地方法,其特征在于,所述方法包括:
获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
通过所述文件配置模板创建所述待处理文件对应的数据存储表;
将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
2.如权利要求1所述的数据落地方法,其特征在于,所述获取与所述待处理文件的文件类型对应的文件模板,包括:
获取所述待处理文件的文件格式;
根据所述待处理文件的文件格式选择文件读取工具,通过所述文件读取工具获取所述待处理文件的文件类型;
基于所述待处理文件的文件类型从预构建的模板库中获取与所述文件类型对应的文件模板。
3.如权利要求2所述的数据落地方法,其特征在于,所述获取所述待处理文件的文件格式,包括:
通过预设类将所述待处理文件转化为待处理字节流;
获取所述待处理字节流的字节头,并将所述字节头转化为十六进制的字符串;
利用预设的字符映射表和所述字符串确定所述待处理文件的文件格式。
4.如权利要求1所述的数据落地方法,其特征在于,所述利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据,包括:
根据所述文件配置模板,获取所述文件配置模板中的数据转化协议;
通过所述数据转化协议转化所述待处理文件中的待处理数据,得到所述转化数据。
5.如权利要求4所述的数据落地方法,其特征在于,所述通过所述数据转化协议转化所述待处理文件中的待处理数据,包括:
根据所述数据转化协议对所述待处理数据中的单个数据进行数据定义,得到元数据;
根据所述元数据生成数据转化规则,并利用所述数据转化规则转化所述待处理文件中的待处理数据。
6.如权利要求1至5中任一项所述的数据落地方法,其特征在于,所述将所述转化数据进行加密得到加密数据,包括:
基于预设加密算法构建密钥生成器,并对所述密钥生成器进行初始化,得到原始对称密钥;
获取所述原始对称密钥的字节数组,根据所述字节数组生成加密密钥;
利用所述加密密钥对所述转化数据进行加密,得到加密数据。
7.如权利要求1至5中任一项所述的数据落地方法,其特征在于,所述将所述加密数据存储至所述数据存储表之后,所述方法还包括:
根据所述数据存储表中的加密数据构建待发送文件,并将所述待发送文件发送至数据接收端。
8.一种数据落地装置,其特征在于,所述装置包括:
文件模板获取模块,用于获取待处理文件,并获取与所述待处理文件的文件类型对应的文件模板;
文件模板配置模块,用于根据所述待处理文件的文件类型获取数据转化协议,利用所述数据转化协议对所述文件模板进行配置,得到文件配置模板;
数据转化模块,用于利用所述文件配置模板转化所述待处理文件中的待处理数据,得到转化数据;
存储表创建模块,用于通过所述文件配置模板创建所述待处理文件对应的数据存储表;
数据加密存储模块,用于将所述转化数据进行加密得到加密数据,并将所述加密数据存储至所述数据存储表。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的数据落地方法。
10.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据落地方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110718373.2A CN113343662A (zh) | 2021-06-28 | 2021-06-28 | 数据落地方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110718373.2A CN113343662A (zh) | 2021-06-28 | 2021-06-28 | 数据落地方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113343662A true CN113343662A (zh) | 2021-09-03 |
Family
ID=77479072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110718373.2A Pending CN113343662A (zh) | 2021-06-28 | 2021-06-28 | 数据落地方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113343662A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786998A (zh) * | 2016-02-19 | 2016-07-20 | 创元网络技术股份有限公司 | 数据库中间件系统及利用其处理数据的方法 |
US9946776B1 (en) * | 2015-09-04 | 2018-04-17 | Palantir Technologies Inc. | Systems and methods for importing data from electronic data files |
CN111782608A (zh) * | 2020-07-21 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 文件自动生成方法、装置、电子设备及存储介质 |
WO2020237868A1 (zh) * | 2019-05-24 | 2020-12-03 | 平安科技(深圳)有限公司 | 数据传输方法、电子设备、服务器及存储介质 |
CN112882995A (zh) * | 2021-02-24 | 2021-06-01 | 深圳壹账通智能科技有限公司 | 脚本自动生成方法、装置、电子设备及存储介质 |
-
2021
- 2021-06-28 CN CN202110718373.2A patent/CN113343662A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9946776B1 (en) * | 2015-09-04 | 2018-04-17 | Palantir Technologies Inc. | Systems and methods for importing data from electronic data files |
CN105786998A (zh) * | 2016-02-19 | 2016-07-20 | 创元网络技术股份有限公司 | 数据库中间件系统及利用其处理数据的方法 |
WO2020237868A1 (zh) * | 2019-05-24 | 2020-12-03 | 平安科技(深圳)有限公司 | 数据传输方法、电子设备、服务器及存储介质 |
CN111782608A (zh) * | 2020-07-21 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 文件自动生成方法、装置、电子设备及存储介质 |
CN112882995A (zh) * | 2021-02-24 | 2021-06-01 | 深圳壹账通智能科技有限公司 | 脚本自动生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021189826A1 (zh) | 报文生成方法、装置、电子设备及计算机可读存储介质 | |
CN112653760B (zh) | 跨服务器的文件传输方法、装置、电子设备及存储介质 | |
CN112528616B (zh) | 业务表单生成方法、装置、电子设备及计算机存储介质 | |
CN112579098B (zh) | 软件发布方法、装置、电子设备及可读存储介质 | |
CN114185895A (zh) | 数据导入导出方法、装置、电子设备及存储介质 | |
CN112949278A (zh) | 数据核对方法、装置、电子设备及可读存储介质 | |
CN113468175B (zh) | 数据压缩方法、装置、电子设备及存储介质 | |
CN113434542B (zh) | 数据关系识别方法、装置、电子设备及存储介质 | |
CN113382017B (zh) | 基于白名单的权限控制方法、装置、电子设备及存储介质 | |
CN114491646A (zh) | 数据脱敏方法、装置、电子设备及存储介质 | |
CN112464619B (zh) | 大数据处理方法、装置、设备及计算机可读存储介质 | |
CN112104662B (zh) | 远端数据读写方法、装置、设备及计算机可读存储介质 | |
CN112235409A (zh) | 文件上传方法、装置、电子设备及计算机可读存储介质 | |
CN111324645B (zh) | 区块链的数据处理方法及装置 | |
CN114911479A (zh) | 基于配置化的界面生成方法、装置、设备及存储介质 | |
CN113343662A (zh) | 数据落地方法、装置、电子设备及介质 | |
CN115114297A (zh) | 数据轻量存储及查找方法、装置、电子设备及存储介质 | |
CN112328656A (zh) | 基于中台架构的服务查询方法、装置、设备及存储介质 | |
CN114185588A (zh) | 增量包生成方法、装置、设备及存储介质 | |
CN112686759A (zh) | 对账监测方法、装置、设备及介质 | |
CN113407657A (zh) | 基于单级数据库的数据查询方法、装置、设备及存储介质 | |
CN113434365B (zh) | 数据特征监控方法、装置、电子设备及存储介质 | |
CN113438221B (zh) | 本地端文件加载方法、装置、电子设备及介质 | |
CN113672565B (zh) | 一种文件标记方法、装置、电子设备及存储介质 | |
CN113868285A (zh) | 数据读取方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |