CN114048256A - 数据采集的方法、装置、计算机设备和存储介质 - Google Patents
数据采集的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114048256A CN114048256A CN202111283950.6A CN202111283950A CN114048256A CN 114048256 A CN114048256 A CN 114048256A CN 202111283950 A CN202111283950 A CN 202111283950A CN 114048256 A CN114048256 A CN 114048256A
- Authority
- CN
- China
- Prior art keywords
- target
- access logic
- data
- enterprise
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Storage Device Security (AREA)
Abstract
本申请涉及一种数据采集的方法、装置、计算机设备和存储介质。方法包括:响应于产品选择操作,在各候选管理产品中选择目标管理产品;从数据库中获取目标管理产品的版本号,基于企业信息与版本号获取加密取数逻辑;在基于企业信息获取到加密取数逻辑的密钥后,根据密钥对加密取数逻辑进行解密,得到取数逻辑;通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的目标文件。采用本方法能够解决了数据采集方式单一,易泄露技术资产的问题,同时增强了数据采集保密性。
Description
技术领域
本申请涉及互联网技术领域,特别是涉及一种数据采集的方法、装置、计算机设备和存储介质。
背景技术
对于企业来说,企业经营数据在企业经营过程中起着至关重要的作用,企业管理系统保存在数据库中的企业经营数据更是重中之重。企业管理数据是企业经营状况最直接、最有效的参考数据,为了方便、高效的获取企业管理数据,企业经营数据的数据采集工具应运而生。目前对于企业经营数据的采集还存在诸多不足,传统的企业经营数据采集方式由于一款数据采集工具只能采集一种管理软件的数据,以硬编码方式实现不同版本的适配、采集时的预处理,从而存在适配能力低、易泄露技术资产的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种数据采集的方法、装置、计算机设备和存储介质。
一种数据采集的方法,所述方法包括:
响应于产品选择操作,在各候选管理产品中选择目标管理产品;
从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑;
在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑;
通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件。
在其中的一个实施例中,所述从数据库中获取所述目标管理产品的版本号之前,所述方法还包括:
获取所述数据库的授权信息;
获取所述数据库的登录账号、登录密码和数据库连接信息;
利用所述授权信息、所述登录账号、所述登录密码和所述数据库连接信息,登录所述数据库。
在其中的一个实施例中,所述从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑包括:
基于结构化语句查询数据库,得到目标管理产品的版本号;
基于企业信息与所述版本号查询服务器中的加密取数逻辑,所述加密取数逻辑是利用加密算法对所述取数逻辑进行加密所得的。
在其中的一个实施例中,所述在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑包括:
在接收到服务器根据所述企业信息分配的密钥之后,利用所述密钥对所述加密取数逻辑进行解密,得到取数逻辑。
在其中的一个实施例中,所述取数逻辑包含用于创建存储过程的语句脚本和包含存储过程调用语句的列表组合;每个所述存储过程对应一个目标数据维度;
所述在各候选管理产品中选择目标管理产品之前,所述方法还包括:
对每个数据维度的企业数据进行编码,得到不同的编码结果;
所述通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件包括:
执行所述脚本以创建所述存储过程;
当所述编码结果与所述列表组合中的编码相同时,执行所述存储过程调用语句,以基于目标数据维度和记账时间依次进行数据获取,得到多块目标数据;
将每块所述目标数据转换为文件格式的目标文件。
在其中的一个实施例中,所述将所述目标数据转换为文件格式的目标文件之后,所述方法还包括:
根据所述企业信息获取加密密钥;
基于所述加密密钥将所述目标文件进行加密和压缩,得到压缩文件;
将所述压缩文件上传至服务器,以使所述服务器对所述压缩文件进行解密和解压缩,将所得的目标文件进行存储。
在其中的一个实施例中,所述在各候选管理产品中选择目标管理产品之前,所述方法还包括:
接收企业用户登录请求,所述企业用户登录请求中携带企业信息和企业用户通信号;
对所述企业信息和所述企业用户通信号进行认证;
当认证通过时,完成对所述数据采集工具的登录,并显示管理产品选择页面,所述管理产品选择页面,用于显示各所述候选管理产品。
一种数据采集的装置,应用于数据采集工具,所述装置包括:
选择模块,用于响应于产品选择操作,在各候选管理产品中选择目标管理产品;
获取模块,用于从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑;
解密模块,用于在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑;
导出模块,用于通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件。
在其中的一个实施例中,所述装置还包括:
登录模块,用于获取所述数据库的授权信息;获取所述数据库的登录账号、登录密码和数据库连接信息;利用所述授权信息、所述登录账号、所述登录密码和所述数据库连接信息,登录所述数据库。
在其中的一个实施例中,所述获取模块,还用于基于结构化语句查询数据库,得到目标管理产品的版本号;基于企业信息与所述版本号查询服务器中的加密取数逻辑,所述加密取数逻辑是利用加密算法对所述取数逻辑进行加密所得的。
在其中的一个实施例中,所述解密模块,还用于在接收到服务器根据所述企业信息分配的密钥之后,利用所述密钥对所述加密取数逻辑进行解密,得到取数逻辑。
在其中的一个实施例中,所述取数逻辑包含用于创建存储过程的语句脚本和包含存储过程调用语句的列表组合;每个所述存储过程对应一个目标数据维度;
所述装置还包括:
编码模块,用于对每个数据维度的企业数据进行编码,得到不同的编码结果;
所述导出模块,还用于执行所述脚本以创建所述存储过程;当所述编码结果与所述列表组合中的编码相同时,执行所述存储过程调用语句,以基于目标数据维度和记账时间依次进行数据获取,得到多块目标数据;将每块所述目标数据转换为文件格式的目标文件。
在其中的一个实施例,所述装置还包括:
上传模块,用于根据所述企业信息获取加密密钥;基于所述加密密钥将所述目标文件进行加密和压缩,得到压缩文件;将所述压缩文件上传至服务器,以使所述服务器对所述压缩文件进行解密和解压缩,将所得的目标文件进行存储。
在其中的一个实施例,所述装置还包括:
认证模块,用于接收企业用户登录请求,所述企业用户登录请求中携带企业信息和企业用户通信号;对所述企业信息和所述企业用户通信号进行认证;当认证通过时,完成对所述数据采集工具的登录,并显示管理产品选择页面,所述管理产品选择页面,用于显示各所述候选管理产品。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述数据采集的方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述数据采集的方法的步骤。
上述数据采集的方法、装置、计算机设备和存储介质,通过在各候选管理产品中选择目标管理产品,解决了数据采集方式单一带来的适配能力低的问题,在基于企业信息获取到加密取数逻辑的解密密钥后,根据解密密钥对加密取数逻辑进行解密,得到取数逻辑,通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的导出目标文件,通过加、解密取数逻辑和用取数逻辑获取数据并按模板导出,增强了数据采集保密性同时解决了易泄露技术资产的问题。
附图说明
图1为一个实施例中数据采集的方法的应用环境图;
图2为一个实施例中数据采集的方法的流程示意图;
图3为一个实施例中数据采集的装置的结构框图;
图4为另一个实施例中数据采集的装置的结构框图;
图5为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据采集的方法,可以应用于如图1所示的应用环境中。执行主体为数据采集工具,其安装在企业用户的终端120设备上,在该应用环境中,包括管理数据库110、终端120、服务器130和存储数据库140。其中,管理客户端也安装在企业用户的终端120上,管理客户端通信连接管理数据库110。终端120通过网络与服务器130进行通信。
其中,终端120可以是平板电脑、笔记本电脑、台式计算机等,但并不局限于此。
服务器130可以是独立的物理服务器,也可以是区块链系统中的服务节点,该区块链系统中的各服务节点之间形成组成点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。
此外,服务器130还可以是多个物理服务器构成的服务器集群,可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
存储数据库140可以是Oracle数据库,MySQL数据库,PostgreSQL数据库,HadoopHDFS数据库,Elasticsearch数据库,实时/时序数据库数据库,Hadoop HBase数据库,TiDB数据库,MongoDB数据库等等。
在一个实施例中,如图2所示,提供了一种数据采集的方法,该方法可以应用于服务器或终端,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S202,响应于产品选择操作,在各候选管理产品中选择目标管理产品。
其中,管理产品可以是不同类型的管理产品,目标管理产品指的是与企业用户使用一致的管理产品。例如,当前登录的企业用户所使用的管理产品为目标管理产品。
在一个实施例中,在S202之前,终端检测到选择管理产品的指令后,判断选择的管理产品是否与企业用户使用的一致,如果不一致,则重复以上步骤,如果一致,则执行S202。
在一个实施例中,响应于产品选择操作,终端判断选择的管理产品与企业用户使用的一致,则将当前选中的管理产品当成目标管理产品。
在一个实施例中,在S202之后,终端界面显示选择套账界面,响应于套账选择操作,选择相应的套账。
具体的,终端界面显示选择套账界面后,用户对相应的套账进行选择或勾选,终端响应于套账选择操作,选择相应的套账,用户再点击上传,即表示向服务器端请求将该套账上传。
其中,套账指的是存放会计核算对象的所有会计业务数据文件的总称,账套中包含的文件有会计科目、记账凭证、会计账簿、会计报表等。这个核算对象可以是企业的一个分部,也可以是整个企业集团。账套的记账周期一般为一年,即每一年都会建立新的账套,账套对应于数据库的实例,套账一般用公司名称或公司名称+年份来命名等。
在一个实施例中,在S202之前,终端接收企业用户登录请求,企业用户登录请求中携带企业信息和企业用户通信号;对企业信息和企业用户通信号进行认证;当认证通过时,完成对数据采集工具的登录,并显示管理产品选择页面,管理产品选择页面,用于显示各候选管理产品。
其中,企业信息指的是企业营业执照名称、统一社会信用代码、法定代表人姓名和法定代表人身份证号等一些企业相关的信息。企业用户通信号可以是企业用户的手机号码或社交账号等。
在一个实施例中,企业用户登录的步骤,具体可以包括:企业用户点击数据采集工具,点击登录,弹出登录页面,在登录页面企业用户输入企业信息,企业用户输入企业用户通信号并发送获取验证码指令,企业用户收取到验证码并回填表单,提交表单信息,含企业信息、企业用户通信号和验证码。例如,企业用户输入企业营业执照名称、统一社会信用代码、法定代表人姓名和法定代表人身份证号,输入法人手机号码“1xxxxxxxxxx”,点击获取验证码,待手机收到短信验证码“690857”,填入登录页面中的验证码一栏,点击确定,数据采集工具对表单里的信息进行认证,若信息比对一致,则认证通过,成功登录,跳转下一步,反之,页面出现相关错误提示。
在一个实施例中,当企业用户登录成功后,终端管理数据采集事件被触发。此时,读取预设于数据采集工具中的不同的管理产品,展示于管理产品的选择页面。
在一个实施例中,在S202之前,终端对每个数据维度的企业数据进行编码,编码方式是固定的,得到不同的编码结果,且编码结果与每个数据维度的企业数据一一对应,例如,对1.企业基本信息、2.存货信息、3.产品信息、4.采购信息、5.销售信息、6.固定资产信息、7.科目信息、8.应收应付信息分别进行唯一标识,得到字符串1、字符串2、字符串3、字符串4、字符串5、字符串6、字符串7、字符串8,通过字符串建立与存储过程调用语句的一一映射关系;对1.企业基本信息、2.存货信息、3.产品信息、4.采购信息、5.销售信息、6.固定资产信息、7.科目信息、8.应收应付信息分别进行唯一编码,得到编码1、编码2、编码3、编码4、编码5、编码6、编码7、编码8,通过编码建立与存储过程调用语句的一一映射关系。
S204,从数据库中获取目标管理产品的版本号,基于企业信息与版本号获取加密取数逻辑。
其中,版本号是指为软件设置版本的编号。通常,版本号码会以数字订定,但亦有不同的方式。软件名称后面经常有一些英文和数字,如:2007Beta,这些都是软件的版本标志,通过版本号可以对软件的类型有所了解。
其中,取数逻辑包含用于创建存储过程的语句脚本和包含存储过程调用语句的列表组合;每个存储过程对应一个目标数据维度。
其中,存储过程调用语句的结构为:执行(存储过程)占位符1,占位符2。例如:execGetXsOrder{0},{1};exec表示执行,GetXsOrder表示存储过程名称,{0}、{1}表示占位符,语句执行之前会替换成实际的参数再执行。替换成实际的参数的例子为:获取20xx年1月销售订单维度的数据,则实际执行的脚本是exec GetXsOrder'20xx','1'。列表组合是一张hash表(键-值对),即{key,value},key=数据维度编码,value=存储过程调用语句,如{"编码1":"语句1","编码2":"语句2"}。在获取某一维度的数据时,不同数据维度的编码(key)是固定的。目标数据维度是指需要获取的数据类型,比如:1.企业基本信息、2.存货信息、3.产品信息、4.采购信息、5.销售信息、6.固定资产信息等等。
在一个实施例中,S204包括终端基于结构化语句查询数据库,得到目标管理产品的版本号;数据采集工具基于企业信息与版本号查询服务器中的加密取数逻辑,加密取数逻辑是利用加密算法对取数逻辑进行加密所得的。
其中,结构化语句指的是利用结构化查询语言(Structured Query Language,SQL)编写而来的语句,SQL语言包括四类种主要程序设计语言类别的语句:数据定义语言(DDL),数据操作语言(DML)及数据控制语言(DCL)还有事务控制语言(TCL)。加密算法可以是数据加密标准(Data Encryption Standard,DES)算法,三重数据加密(Triple DES,3DES)算法、高级加密标准(Advanced Encryption Standard,AES)算法、国际数据加密算法(IDEA,International Data Encryption Algorithm)、BLOWFISH等加密算法。
在一个实施例中,S204的步骤具体可以是终端基于SQL语句对数据库进行查询,得到目标管理产品的版本号,基于企业四要素,即企业营业执照名称、统一社会信用代码、法定代表人姓名和法定代表人身份证号以及目标管理产品的版本号,对服务器进行查询,得到以3DES加密算法加密的加密取数逻辑。
在一个实施例中,S204之前,终端获取数据库的授权信息;获取数据库的登录账号、登录密码和数据库连接信息;利用授权信息、登录账号、登录密码和数据库连接信息,登录数据库。例如,签订数据授权协议,包括不限于数据的采集、加工、存储、使用等权利;签订金融机构授权协议,数据或数据加工结果可用于提供给授权的金融机构查看;数据库访问授权,获取到数据库的登录必要信息,有数据库登录账号,登录密码、数据库连接信息等,数据库连接信息可以是:IP:端口号,例如“172.0.0.1:1433”。
S206,在基于企业信息获取到加密取数逻辑的密钥后,根据密钥对加密取数逻辑进行解密,得到取数逻辑。
其中,密钥指的是用于加解密取数逻辑的,由服务器为企业用户分配固定长度随机密钥,且密钥有效期也是固定的,到期自动刷新,以保证取数逻辑保密性、安全性。例如,服务器为当前登录的企业用户分配32位长度随机密钥,且密钥有效期为7天,到期自动刷新。
在一个实施例中,S206的步骤可以是:终端在接收到服务器根据企业信息分配的密钥之后,利用密钥对加密取数逻辑进行解密,得到取数逻辑。例如,基于企业四要素,即企业营业执照名称、统一社会信用代码、法定代表人姓名和法定代表人身份证号,服务器分配对应企业的32位长度随机密钥后,数据采集工具利用对应企业的32位长度随机密钥解密,以3DES加密算法加密的取数逻辑。
S208,通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的目标文件。
其中,目标数据指的是数据采集工具需要采集的数据;指定模板可以是由Apache(一种网页服务器)提供的一种commons-csv文档读写工具,将目标数据转化为文件格式,例如,文件格式后缀为“.CSV”,并参照{企业税号}_{账套}_{表名}_{记账年月}文件命名方式格式进行命名。
其中,表与数据维度一一对应,它也是数据采集工具服务器端数据库的表,而非管理软件的数据库表。服务器端数据库的表的数据来自管理数据库中一个或多个表的数据(由存储过程逻辑决定),记账年月是指表中数据记录的创建时间字段,表示数据记录所发生的时间。在一个实施例中,S208可以是终端执行脚本以创建存储过程;当编码结果与列表组合中的编码相同时,执行存储过程调用语句,以基于目标数据维度和记账时间依次进行数据获取,得到多块目标数据;将每块目标数据转换为文件格式的目标文件。例如,管理数据库里总共有1.企业基本信息、2.存货信息、3.产品信息、4.采购信息、5.销售信息、6.固定资产信息、7.科目信息、8.应收应付信息,这8个数据维度。记账时间是20xx年7月至20xx年9月。而且都在S202之前进行了编码,得到了对应的编码结果1、编码结果2、编码结果3、编码结果4、编码结果5、编码结果6、编码结果7、编码结果8的编码结果。需要采集的数据的维度为:1.企业基本信息、3.产品信息、4.采购信息、8.应收应付信息。这4个目标数据维度。根据取数逻辑执行SQL脚本,创建与1.企业基本信息、3.产品信息、4.采购信息、8.应收应付信息一一对应的存储过程,将存储过程调用语句与列表组合{“编码1”:“语句1”,“编码3”:“语句3”“编码4”:“语句4”,“编码8”:“语句8”}中的语句一一对应,且编码是预先在取数逻辑中配置好的;按固定顺序执行语句,首先编码结果1与编码1相同,执行语句1,即基于1.企业基本信息维度和记账时间的20xx年7月、8月、9月依次进行数据获取。
当得到企业基本信息维度的7月数据文件后,利用commons-csv文档读写工具将这7月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。当得到企业基本信息维度的8月数据文件后,利用commons-csv文档读写工具将这8月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。以此类推,将n月数据文件对应的CSV格式的目标文件导出至本地。
编码结果2于编码3不同,跳过对应的2.存货信息维度的数据,将编码结果3与编码3对比,二者相同,执行语句3,即基于3.产品信息维度和记账时间的20xx年7月、8月、9月依次进行数据获取。
当得到企业基本信息维度的7月数据文件后,利用commons-csv文档读写工具将这7月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。当得到企业基本信息维度的8月数据文件后,利用commons-csv文档读写工具将这8月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。
以此类推,将n月数据文件对应的CSV格式的目标文件导出至本地。以此类推,直到将最后一个编码结果8与编码8对比,二者相同,执行语句8,即基于3.产品信息维度和记账时间的20xx年7月、8月、9月依次进行数据获取。
当得到企业基本信息维度的7月数据文件后,利用commons-csv文档读写工具将这7月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。当得到企业基本信息维度的8月数据文件后,利用commons-csv文档读写工具将这8月数据文件转化为CSV格式的文件,按{企业税号}_{账套}_{表名}_{记账年月}的命名方式对该CSV文件命名,并导出该CSV格式的目标文件至本地。以此类推,将n月数据文件对应的CSV格式的目标文件导出至本地。
在一个实施例中,在S208之后,终端根据企业信息获取加密密钥;基于加密密钥将目标文件进行加密和压缩,得到压缩文件;将压缩文件上传至服务器,以使服务器对压缩文件进行解密和解压缩,将所得的目标文件进行存储。
其中,加密密钥指的是服务器为当前登录企业分配固定长度随机密钥,且密钥有效期为固定天数,到期自动刷新,以保证取数逻辑保密性、安全性。且压缩使用的工具为zip4j工具包,一个支持加密zip文件的开源java库,压缩文件以固定命名格式命名。
在一个实施例中,加密和压缩的具体步骤可以包括:终端根据企业信息发起获取文件加密密钥的指令,服务器会为当前登录企业分配固定位长度的随机密钥,且密钥有效期为n天,到期自动刷新。其中,n为正整数。获得密钥后,应用zip4j工具把所有CSV文件以密钥进行加密压缩为ZIP格式文件,压缩文件命名方式格式为:{企业税号},其中双括号中的值是变量值。
在一个实施例中,将压缩文件上传至服务器后还包括:终端删除本地缓存的压缩文件。
在一个实施例中,服务器对压缩文件的处理具体包括服务器建立定时任务扫描文件夹,检测是否有待处理的文件包,定时任务固定时间间隔扫描一次,例如,定时任务每两分钟扫描一次,采用构建定时任务的技术是Quartz;当扫描到新待处理包,将其移动至待处理文件目录,并在待处理文件目录下构建企业税号命名的文件目录,解密解压文件包至企业税号目录下;遍历所有文件,根据文件名解析表名,查得表名对应的模板,使用LOAD DATAINFILE将数据导入存储数据库,存储数据库使用的是MySql数据库。
上述实施例中,通过在各候选管理产品中选择目标管理产品,解决了数据采集方式单一带来的适配能力低的问题,在基于企业信息获取到加密取数逻辑的解密密钥后,根据解密密钥对加密取数逻辑进行解密,得到取数逻辑,通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的导出目标文件,通过加、解密取数逻辑和用取数逻辑获取数据并按模板导出,增强了数据采集保密性同时解决了易泄露技术资产的问题。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图3所示,在一个实施例中,提供了一种数据采集的装置,该数据采集的装置具体包括:选择模块302,获取模块304、解密模块306、导出模块308;其中:
选择模块302,用于响应于产品选择操作,在各候选管理产品中选择目标管理产品;
获取模块304,用于从数据库中获取目标管理产品的版本号,基于企业信息与版本号获取加密取数逻辑;
解密模块306,用于在基于企业信息获取到加密取数逻辑的密钥后,根据密钥对加密取数逻辑进行解密,得到取数逻辑;
导出模块308,用于通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的目标文件。
在一个实施例中,获取模块304还用于终端基于结构化语句查询数据库,得到目标管理产品的版本号;数据采集工具基于企业信息与版本号查询服务器中的加密取数逻辑,加密取数逻辑是利用加密算法对取数逻辑进行加密所得的。
在一个实施例中,解密模块306还用于终端在接收到服务器根据企业信息分配的密钥之后,利用密钥对加密取数逻辑进行解密,得到取数逻辑;取数逻辑包含用于创建存储过程的语句脚本和包含存储过程调用语句的列表组合;每个存储过程对应一个目标数据维度。
在一个实施例中,导出模块308还用于执行脚本以创建存储过程;当编码结果与列表组合中的编码相同时,执行存储过程调用语句,以基于目标数据维度和记账时间依次进行数据获取,得到多块目标数据;将每块目标数据转换为文件格式的目标文件。
在一个实施例中,如图4所示,该装置还包括:登录模块310;其中,
登录模块310用于获取数据库的授权信息;获取数据库的登录账号、登录密码和数据库连接信息;利用授权信息、登录账号、登录密码和数据库连接信息,登录数据库。
在一个实施例中,如图4所示,该装置还包括:编码模块314;其中:
编码模块314,用于对每个数据维度的企业数据进行编码,得到不同的编码结果;
在一个实施例中,如图4所示,该装置还包括:上传模块316;其中:
上传模块316,用于根据企业信息获取加密密钥;基于加密密钥将目标文件进行加密和压缩,得到压缩文件;将压缩文件上传至服务器,以使服务器对压缩文件进行解密和解压缩,将所得的目标文件进行存储。
在一个实施例中,如图4所示,该装置还包括:认证模块312;其中:
认证模块312,用于接收企业用户登录请求,企业用户登录请求中携带企业信息和企业用户通信号;对企业信息和企业用户通信号进行认证;当认证通过时,完成对数据采集工具的登录,并显示管理产品选择页面,管理产品选择页面,用于显示各候选管理产品。
上述实施例中,通过在各候选管理产品中选择目标管理产品,解决了数据采集方式单一带来的适配能力低的问题,在基于企业信息获取到加密取数逻辑的解密密钥后,根据解密密钥对加密取数逻辑进行解密,得到取数逻辑,通过取数逻辑获取目标数据,并按照指定模板对目标数据进行导出,得到包括目标数据的导出目标文件,通过加、解密取数逻辑和用取数逻辑获取数据并按模板导出,增强了数据采集保密性同时解决了易泄露技术资产的问题。
关于数据采集的装置的具体限定可以参见上文中对于数据采集的方法的限定,在此不再赘述。上述数据采集的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端或服务器,在本实施例中以计算机设备为终端为例进行说明,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据采集的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据采集的方法,其特征在于,应用于数据采集工具,所述方法包括:
响应于产品选择操作,在各候选管理产品中选择目标管理产品;
从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑;
在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑;
通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件。
2.根据权利要求1所述的方法,其特征在于,所述从数据库中获取所述目标管理产品的版本号之前,所述方法还包括:
获取所述数据库的授权信息;
获取所述数据库的登录账号、登录密码和数据库连接信息;
利用所述授权信息、所述登录账号、所述登录密码和所述数据库连接信息,登录所述数据库。
3.根据权利要求1所述的方法,其特征在于,所述从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑包括:
基于结构化语句查询数据库,得到目标管理产品的版本号;
基于企业信息与所述版本号查询服务器中的加密取数逻辑,所述加密取数逻辑是利用加密算法对所述取数逻辑进行加密所得的。
4.根据权利要求1所述的方法,其特征在于,所述在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑包括:
在接收到服务器根据所述企业信息分配的密钥之后,利用所述密钥对所述加密取数逻辑进行解密,得到取数逻辑。
5.根据权利要求1所述的方法,其特征在于,所述取数逻辑包含用于创建存储过程的语句脚本和包含存储过程调用语句的列表组合;每个所述存储过程对应一个目标数据维度;
所述在各候选管理产品中选择目标管理产品之前,所述方法还包括:
对每个数据维度的企业数据进行编码,得到不同的编码结果;
所述通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件包括:
执行所述脚本以创建所述存储过程;
当所述编码结果与所述列表组合中的编码相同时,执行所述存储过程调用语句,以基于目标数据维度和记账时间依次进行数据获取,得到多块目标数据;
将每块所述目标数据转换为文件格式的目标文件。
6.根据权利要求1所述的方法,其特征在于,所述将所述目标数据转换为文件格式的目标文件之后,所述方法还包括:
根据所述企业信息获取加密密钥;
基于所述加密密钥将所述目标文件进行加密和压缩,得到压缩文件;
将所述压缩文件上传至服务器,以使所述服务器对所述压缩文件进行解密和解压缩,将所得的目标文件进行存储。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述在各候选管理产品中选择目标管理产品之前,所述方法还包括:
接收企业用户登录请求,所述企业用户登录请求中携带企业信息和企业用户通信号;
对所述企业信息和所述企业用户通信号进行认证;
当认证通过时,完成对所述数据采集工具的登录,并显示管理产品选择页面,所述管理产品选择页面,用于显示各所述候选管理产品。
8.一种数据采集的装置,其特征在于,应用于数据采集工具,所述装置包括:
选择模块,用于响应于产品选择操作,在各候选管理产品中选择目标管理产品;
获取模块,用于从数据库中获取所述目标管理产品的版本号,基于企业信息与所述版本号获取加密取数逻辑;
解密模块,用于在基于所述企业信息获取到所述加密取数逻辑的密钥后,根据所述密钥对所述加密取数逻辑进行解密,得到取数逻辑;
导出模块,用于通过所述取数逻辑获取目标数据,并按照指定模板对所述目标数据进行导出,得到包括所述目标数据的目标文件。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111283950.6A CN114048256A (zh) | 2021-11-01 | 2021-11-01 | 数据采集的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111283950.6A CN114048256A (zh) | 2021-11-01 | 2021-11-01 | 数据采集的方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114048256A true CN114048256A (zh) | 2022-02-15 |
Family
ID=80206586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111283950.6A Pending CN114048256A (zh) | 2021-11-01 | 2021-11-01 | 数据采集的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114048256A (zh) |
-
2021
- 2021-11-01 CN CN202111283950.6A patent/CN114048256A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11451392B2 (en) | Token-based secure data management | |
US11764950B2 (en) | System or method to implement right to be forgotten on metadata driven blockchain using shared secrets and consensus on read | |
US20220156706A1 (en) | File vault and cloud based document notary service | |
US20200242595A1 (en) | Systems, methods, and apparatuses utilizing a blended blockchain ledger in a cloud service to address local storage | |
US9130926B2 (en) | Authorization messaging with integral delegation data | |
US20190305932A1 (en) | Distributed key management and encryption for blockchains | |
EP3721578A1 (en) | Methods and systems for recovering data using dynamic passwords | |
KR102285798B1 (ko) | 공유되는 비밀 기반 블록체인 스토리지 | |
US11196561B2 (en) | Authorized data sharing using smart contracts | |
CA3028628A1 (en) | Distributed electronic record and transaction history | |
CN113228011A (zh) | 数据共享 | |
CN109493048B (zh) | 基于区块链的财务记账方法、装置、设备及存储介质 | |
US11388218B2 (en) | Cloud file transfers using cloud file descriptors | |
US20180308161A1 (en) | Trading information providing system that provides trading information provided by plural financial institutions to business operator, server apparatus, and node apparatus | |
JP2018181309A (ja) | 取引情報提供システム、サーバ装置、ノード装置ならびにプログラム | |
WO2022068360A1 (zh) | 基于共享根密钥的信息处理方法、装置、设备及介质 | |
US11711350B2 (en) | Systems and processes for vaultless tokenization and encryption | |
Wang et al. | Ess: An efficient storage scheme for improving the scalability of bitcoin network | |
US20230336355A1 (en) | Data protection on distributed data storage (dds) protection networks | |
US20230412404A1 (en) | Systems and methods for mitigating network congestion on blockchain networks by supporting blockchain operations through off-chain interactions | |
CN111177736A (zh) | 一种数据存储和访问的系统、方法和装置 | |
CN114048256A (zh) | 数据采集的方法、装置、计算机设备和存储介质 | |
US11070534B2 (en) | Systems and processes for vaultless tokenization and encryption | |
KR20220072719A (ko) | 하이브리드 블록체인 기반 개인 간 계약 관리 서비스 제공 시스템 | |
CN114884743B (zh) | 业务处理方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |