CN110413672A - 数据自动导入方法、装置及计算机可读存储介质 - Google Patents

数据自动导入方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110413672A
CN110413672A CN201910592449.4A CN201910592449A CN110413672A CN 110413672 A CN110413672 A CN 110413672A CN 201910592449 A CN201910592449 A CN 201910592449A CN 110413672 A CN110413672 A CN 110413672A
Authority
CN
China
Prior art keywords
data
source
server
source server
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910592449.4A
Other languages
English (en)
Other versions
CN110413672B (zh
Inventor
刘东宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910592449.4A priority Critical patent/CN110413672B/zh
Publication of CN110413672A publication Critical patent/CN110413672A/zh
Priority to PCT/CN2019/117350 priority patent/WO2021000488A1/zh
Application granted granted Critical
Publication of CN110413672B publication Critical patent/CN110413672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures

Abstract

本发明涉及一种云存储技术,揭露了一种数据自动导入方法,该方法包括:从源服务器获取需要导入的数据库信息,形成初始数据;采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口;生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。本发明还提出一种数据自动导入装置及存储介质。本发明实现了数据的自动导入。

Description

数据自动导入方法、装置及计算机可读存储介质
技术领域
本发明涉及云存储技术领域,尤其涉及一种基于修改源服务器导出逻辑和定时调用源服务器导出端口的数据自动导入方法、装置及计算机可读存储介质。
背景技术
随着信息技术的迅猛发展,企业信息化也越来越受到人们的重视,企业信息管理系统的用户常常会遇到需要将数据库中的数据导入到Excel数据表的问题。但是本地服务器与上游系统的通信是制约办公信息化效率与安全性的一个不可忽视的问题。例如,Excel台账所在的windows服务器,出于安全性考虑,拒绝所有外网服务器写入数据,但同时也拒绝了有用数据的载入。
批处理,也称为批处理脚本,是一条或多条命令按一定顺序排列而形成的集合。英文译为BATCH,文件扩展名为.bat或.cmd。单个命令行只能完成某一步操作,而有些管理任务非常复杂,需要将简单的命令不断地重复执行,这种情况下,要使用不同的命令才能完成。与逐条使用DOS命令管理Windows系统相比,批处理方式能够实现的Windows的自动管理,可以将用户从重复、烦琐的管理任务中解放出来,使用方便、灵活、高效。而且普通的数据导入方式是将所有接口都面向下游的目标服务器,这样不能保证数据的可靠性与准确性,对于企业级用户来讲,过多噪声的数据将可能直接导致重大决策的失误,如何将上游系统中有用的数据及时而准确地导入到本地服务器以供进一步利用,成为企业数据集成中亟待解决的一个问题。
发明内容
本发明提供一种数据自动导入方法及数据自动导入装置,其主要目的在于当用户将源服务器的数据导入到目标服务器时,为用户提供快速、高效、准确、安全的数据导入服务。
为实现上述目的,本发明提供的一种数据自动导入方法,包括:
从源服务器获取需要导入的数据库信息,形成初始数据;
采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口;
生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;
按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
可选地,所述从源服务器获取需要导入的数据库信息,形成初始数据,包括:
将源服务器中需导入到目标服务器的数据库、表及字段信息输入到预设的表中;
提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表、目标表以及源表和目标表间的字段映射关系进行初始化处理,形成所述初始数据。
可选地,所述采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口,包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名;
运用鉴定用户身份的数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址;
通过将所述数字模板与源服务器的各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
可选地,所述生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型,包括:
根据数据管道的语法规则,调用生成命令,动态生成数据管道;
通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到预设的表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
可选地,所述按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,包括:
接收用户设置的自动导入开始时间和间隔时间;
根据所设置的自动导入开始时间和系统当前时间计算出第一次数据导入间隔时间A;
根据设置的自动导入间隔时间计算两次数据导入之间的间隔时间B;
利用以间隔时间A、B为参数的Timer函数,实现对源服务器导出端口的定时调用功能。
为实现上述目的,本发明还提供一种数据自动导入装置,,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据自动导入程序,所述数据自动导入程序被所述处理器执行时实现如下步骤:
从源服务器获取需要导入的数据库信息,形成初始数据;
采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口;
生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;
按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
可选地,所述从源服务器获取需要导入的数据库信息,形成初始数据,包括:
将源服务器中需导入到目标服务器的数据库、表及字段信息输入到预设的表中;
提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表、目标表以及源表和目标表间的字段映射关系进行初始化处理,形成所述初始数据。
可选地,所述采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口,包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名;
运用鉴定用户身份的数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址;
通过将所述数字模板与源服务器的各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
可选地,所述生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型,包括:
根据数据管道的语法规则,调用生成命令,动态生成数据管道;
通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到预设的表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据导入程序,所述数据导入程序可被一个或者多个处理单元执行,以实现如上所述的数据自动导入方法的步骤。
本发明提出的数据自动导入方法及装置,当用户需要将存在于源服务器的部分大量数据导入到目标服务器时,通过数字签名的方式修改源服务器的导出逻辑,完成源服务器与目标服务器之间的通信认证,采用定时调用的方式将源服务器中的数据经过动态数据管道导入到目标服务器,从而实现为用户提供快速、高效、准确、安全的数据导入服务。
附图说明
图1为本发明一实施例提供的数据自动导入方法的流程示意图;
图2为本发明一实施例提供的数据自动导入装置的内部结构示意图;
图3为本发明一实施例提供的数据自动导入装置中数据自动导入程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据自动导入方法。参照图1所示,为本发明一实施例提供的数据自动导入方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,数据自动导入方法包括:
S1、从源服务器获取需要导入的数据库信息,形成初始数据。
为了实现源服务器和目标服务器之间的通信中,在端口申请、数据读取、数据写入的全过程中实现数据和管道的可配置性,本发明较佳实施例定义四种预设的表:ElectricDB:存放数据库服务器信息、ElectricTable:存放数据库中数据表信息、ElectricField:存放数据表中数据字段信息、PipeLine:存放动态生成的数据管道信息。
本发明将源服务器,如上游系统中需要导入到目标服务器的数据库、表及字段信息输入到相应的四种表中。
然后,提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表和目标表以及源表和目标表之间的字段映射关系进行初始化处理,形成所述初始数据。
S2、采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口。
详细地,本发明较佳实施例中,步骤S2包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名。
运用鉴定用户身份的数字确认方式,如数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址。本发明较佳实施中,所述通信原则包括点对点的通信协议原则。
通过将数字模板与各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
S3、生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为数据管道中的数据类型。
本发明较佳实施例根据数据管道的语法规则,调用生成命令,动态生成数据管道,并通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到PipeLine表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
S4、按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
本发明较佳实施例利用PowerBuilder提供的Timer()函数和Timer事件(Event),来实现对源服务器导出端口的定时调用。
所述Timer()函数的语法为:Timer(interval{windowname})。其中interval为重复执行寻址指令的时间间隔(以秒计算),windowname指包含要重复执行Timer事件的窗口名称。本发明利用所述Timer函数和窗口Timer事件来实现对源服务器数据的主动定时导入。
由本地用户设置自动导入的开始时间和间隔时间。然后,根据所设置的自动导入开始时间和系统当前时间计算出第一次数据导入的间隔时间A。
根据设置的自动导入间隔时间计算两次数据导入之间的间隔时间B。
利用以间隔时间A、B为参数的Timer函数,实现对源服务器导出端口的定时调用功能,即以间隔时间A为参数调用Timer函数:Timer(A,parent),在指定窗口Timer事件的数据导入函数wf_trans_data()中以间隔时间B为参数调用Timer函数:Timer(B,parent),从而形成循环定时调用的功能。
本发明其中一个实施例以合同信息导入为例,在数据管道生成的基础上,选择采用B/S架构下数据自动导入模块的方法,具体流程为:
用户登录系统后,点击需要导入的合同基本数据条目,系统会通过经过数字签名认证的端口定时读取合同数据信息,并将读取的合同数据信息与后台进行校对,如果数据格式符合规范,就将正确的数据导入到目标服务器的Oracle数据库基本信息表中。
发明还提供一种数据自动导入装置。参照图2所示,为本发明一实施例提供的数据自动导入装置1的内部结构示意图。
本发明较佳实施例中,所述数据自动导入装置1可以是一个作为源服务器2和目标服务器3之间数据交互的平台,实现数据从源服务器2到目标服务器3的自动导入操作。
在本实施例中,所述数据自动导入装置1包括存储单元11和处理单元12。
其中,所述存储单元11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储单元(例如,SD或DX存储单元等)、磁性存储单元、磁盘、光盘等。存储单元11在一些实施例中可以是数据自动导入装置1的内部存储单元,例如该数据自动导入装置1的硬盘。存储单元11在另一些实施例中也可以是数据自动导入装置1的外部存储设备,例如数据自动导入装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储单元11还可以既包括数据自动导入装置1的内部存储单元也包括外部存储设备。存储单元11不仅可以用于存储安装于数据自动导入装置1的应用软件及各类数据,例如数据自动导入程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理单元12在一些实施例中可以是一中央处理单元(Central Processing Unit,CPU)、控制器、微控制器、微处理单元或其他数据处理芯片,用于运行存储单元11中存储的程序代码或处理数据,例如执行数据自动导入程序01等。
在图2所示的装置1实施例中,处理单元12执行存储单元11中存储的数据自动导入程序01时可以实现如下步骤:
步骤一、从源服务器2获取需要导入的数据库信息,形成初始数据。
为了实现源服务器2和目标服务器3之间的通信中,在端口申请、数据读取、数据写入的全过程中实现数据和管道的可配置性,本发明较佳实施例定义四种预设的表:ElectricDB:存放数据库服务器信息、ElectricTable:存放数据库中数据表信息、ElectricField:存放数据表中数据字段信息、PipeLine:存放动态生成的数据管道信息。
本发明将源服务器,如上游系统中需要导入到目标服务器的数据库、表及字段信息输入到相应的四种表中。
进一步地,本发明较佳实施例提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表和目标表以及源表和目标表之间的字段映射关系进行初始化处理,形成所述初始数据。
步骤二、采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口。
详细地,本发明较佳实施例中,步骤二包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名。
运用鉴定用户身份的数字确认方式,如数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址。本发明较佳实施中,所述通信原则包括点对点的通信协议原则。
通过将数字模板与各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
步骤三、生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为数据管道中的数据类型。
本发明较佳实施例根据数据管道的语法规则,调用生成命令,动态生成数据管道,并通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到PipeLine表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
步骤四、按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
本发明较佳实施例利用PowerBuilder提供的Timer()函数和Timer事件(Event),来实现对源服务器导出端口的定时调用。
所述Timer()函数的语法为:Timer(interval{,windowname})。其中interval为重复执行寻址指令的时间间隔(以秒计算),windowname指包含要重复执行Timer事件的窗口名称。本发明利用所述Timer函数和窗口Timer事件来实现对源服务器数据的主动定时导入。
由本地用户设置自动导入的开始时间和间隔时间。然后,根据所设置的自动导入开始时间和系统当前时间计算出第一次数据导入的间隔时间A。
根据设置的自动导入间隔时间计算两次数据导入之间的间隔时间B。
利用以间隔时间A、B为参数的Timer函数,实现对源服务器导出端口的定时调用功能,即以间隔时间A为参数调用Timer函数:Timer(A,parent),在指定窗口Timer事件的数据导入函数wf_trans_data()中以间隔时间B为参数调用Timer函数:Timer(B,parent),从而形成循环定时调用的功能。
本发明其中一个实施例以合同信息导入为例,在数据管道生成的基础上,选择采用B/S架构下数据自动导入模块的方法,具体流程为:
用户登录系统后,点击需要导入的合同基本数据条目,系统会通过经过数字签名认证的端口定时读取合同数据信息,并将读取的合同数据信息与后台进行校对,如果数据格式符合规范,就将正确的数据导入到目标服务器的Oracle数据库基本信息表中。
可选地,在其他实施例中,数据自动导入程序01还可以被分割为一个或者多个模块,本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,用于描述数据自动导入程序的执行过程。
例如,参照图3所示,为本发明数据自动导入装置一实施例中的数据自动导入程序的程序模块示意图,该实施例中,所述数据自动导入程序可以被分割为配置模块10、数字签名模块20、动态数据管道生成模块30以及定时导入模块40,示例性地:
所述配置模块10用于:从源服务器获取需要导入的数据库信息,形成初始数据。
详细地,所述配置模块10将源服务器2中需导入到目标服务器3的数据库、表及字段信息输入到预设的表中,提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表、目标表以及源表和目标表间的字段映射关系进行初始化处理,形成所述初始数据。
所述数字签名模块20用于:采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口。
详细地,所述数字签名模块20通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名,运用鉴定用户身份的数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址,通过将所述数字模板与源服务器的各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
所述动态数据管道生成模块30用于:生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型。
详细地,所述动态数据管道生成模块30根据数据管道的语法规则,调用生成命令,动态生成数据管道,通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到预设的表中,并将所述数据管道与上述的源服务器的数据导出端口联通。所述定时导入模块40用于:按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
详细地,所述导入模块40接收用户设置的自动导入开始时间和间隔时间;
根据所设置的自动导入开始时间和系统当前时间计算出第一次数据导入间隔时间A;
根据设置的自动导入间隔时间计算两次数据导入之间的间隔时间B;
利用以间隔时间A、B为参数的Timer函数,实现对源服务器导出端口的定时调用功能。
上述配置模块10、数字签名模块20、动态数据管道生成模块30以及定时导入模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同,在此不再赘述。
此外,本发明实施例还提出一种数据自动导入装置,所述数据自动导入装置通过数字签名方式实现源服务器和目标服务器的通信,所述源服务器和目标服务器的通信是通过Timer()函数来对源服务器导出端口的定时调用,从而实现数据的导入,以实现如下操作:
从源服务器获取需要导入的数据库信息,形成初始数据;
生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;
按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
本发明动态数据管道具体实施方式与上述数据自动导入装置和方法各实施例基本相同,在此不作累述。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据自动导入方法,其特征在于,所述方法包括:
从源服务器获取需要导入的数据库信息,形成初始数据;
采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口;
生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;
按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
2.如权利要求1所述数据自动导入方法,其特征在于,所述从源服务器获取需要导入的数据库信息,形成初始数据,包括:
将源服务器中需导入到目标服务器的数据库、表及字段信息输入到预设的表中;
提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表、目标表以及源表和目标表间的字段映射关系进行初始化处理,形成所述初始数据。
3.如权利要求1所述的数据自动导入方法,其特征在于,所述采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口,包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名;
运用鉴定用户身份的数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址;
通过将所述数字模板与源服务器的各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
4.如权利要求1所述的数据自动导入方法,其特征在于,所述生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型,包括:
根据数据管道的语法规则,调用生成命令,动态生成数据管道;
通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到预设的表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
5.如权利要求1至4中任意一项所述的数据自动导入方法,其特征在于,所述按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,包括:
接收用户设置的自动导入开始时间和间隔时间;
根据所设置的自动导入开始时间和系统当前时间计算出第一次数据导入间隔时间A;
根据设置的自动导入间隔时间计算两次数据导入之间的间隔时间B;
利用以间隔时间A、B为参数的Timer函数,实现对源服务器导出端口的定时调用功能。
6.一种数据自动导入装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的数据自动导入程序,所述数据自动导入程序被所述处理器执行时实现如下步骤:
从源服务器获取需要导入的数据库信息,形成初始数据;
采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口;
生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型;
按照用户设置的导入初始时间和间隔时间,定时执行数据管道对源服务器导出端口的调用,对转换后的源表、目标表执行向目标服务器的导入操作。
7.如权利要求6所述的数据自动导入装置,其特征在于,所述从源服务器获取需要导入的数据库信息,形成初始数据,包括:
将源服务器中需导入到目标服务器的数据库、表及字段信息输入到预设的表中;
提供界面供用户在所述预设的表中对需要进行数据导入操作的源服务器、目标服务器、源表、目标表以及源表和目标表间的字段映射关系进行初始化处理,形成所述初始数据。
8.如权利要求6所述的数据自动导入装置,其特征在于,所述采用数字签名方式进行源服务器与目标服务器的通信认证,完成对源服务器导出逻辑的修改,获取源服务器的数据导出端口,包括:
通过预设的密码运算生成一系列符号或代码组成电子密码,用所述电子密码代替书写签名,作为源服务器的数据导出端口的数字签名;
运用鉴定用户身份的数字模板,按照一定的通信原则,遍历源服务器的所有端口,进行寻址;
通过将所述数字模板与源服务器的各个端口的数字签名做运算,得出的结果符合导出端口的要求时,则将该端口确认为源服务器的数据导出端口。
9.如权利要求6所述的数据自动导入装置,其特征在于,所述生成数据管道,并在所述初始数据中选择需要导入的源表、目标表以及源表和目标表之间的映射,将所述源表、目标表转换为所述数据管道中的数据类型,包括:
根据数据管道的语法规则,调用生成命令,动态生成数据管道;
通过.wf_change_db_type函数将源服务器中需导入的数据类型转换为数据管道中的数据类型,将生成的动态数据管道信息保存到预设的表中,并将所述数据管道与上述的源服务器的数据导出端口联通。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据自动导入程序,所述数据自动导入程序可被一个或者多个处理器执行,以实现如权利要求1至5中任一项所述的数据自动导入方法的步骤。
CN201910592449.4A 2019-07-03 2019-07-03 数据自动导入方法、装置及计算机可读存储介质 Active CN110413672B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910592449.4A CN110413672B (zh) 2019-07-03 2019-07-03 数据自动导入方法、装置及计算机可读存储介质
PCT/CN2019/117350 WO2021000488A1 (zh) 2019-07-03 2019-11-12 数据自动导入方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910592449.4A CN110413672B (zh) 2019-07-03 2019-07-03 数据自动导入方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110413672A true CN110413672A (zh) 2019-11-05
CN110413672B CN110413672B (zh) 2023-09-19

Family

ID=68358845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910592449.4A Active CN110413672B (zh) 2019-07-03 2019-07-03 数据自动导入方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110413672B (zh)
WO (1) WO2021000488A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000488A1 (zh) * 2019-07-03 2021-01-07 平安科技(深圳)有限公司 数据自动导入方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020052893A1 (en) * 1999-12-14 2002-05-02 Dirk Grobler Method and system for importing and exporting table data
CA2437008A1 (en) * 2003-08-12 2005-02-12 Ibm Canada Limited-Ibm Canada Limitee Method and apparatus for data migration between databases
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN108052681A (zh) * 2018-01-12 2018-05-18 毛彬 一种关系型数据库间结构化数据的同步方法及系统
CN108153852A (zh) * 2017-12-22 2018-06-12 中国平安人寿保险股份有限公司 一种数据处理方法、装置、终端设备及存储介质
CN108173659A (zh) * 2017-12-18 2018-06-15 河北华沃通信科技有限公司 一种基于ukey设备的证书管理方法、系统及终端设备
CN108829867A (zh) * 2018-06-22 2018-11-16 深圳云之家网络有限公司 一种大数据的智能采集方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100373384C (zh) * 2006-04-03 2008-03-05 西安理工大学 远程数据库的可靠下载与本地数据库的使用无冲突的方法
CN105512240A (zh) * 2015-11-30 2016-04-20 中国建设银行股份有限公司 一种基于不同数据库的数据复制方法和系统
CN108846129B (zh) * 2018-07-02 2023-04-18 腾讯科技(深圳)有限公司 存储数据访问方法、装置及存储介质
CN110413672B (zh) * 2019-07-03 2023-09-19 平安科技(深圳)有限公司 数据自动导入方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020052893A1 (en) * 1999-12-14 2002-05-02 Dirk Grobler Method and system for importing and exporting table data
CA2437008A1 (en) * 2003-08-12 2005-02-12 Ibm Canada Limited-Ibm Canada Limitee Method and apparatus for data migration between databases
CN103823797A (zh) * 2012-11-16 2014-05-28 镇江诺尼基智能技术有限公司 基于ftp协议的行业数据库数据实时同步系统
CN108173659A (zh) * 2017-12-18 2018-06-15 河北华沃通信科技有限公司 一种基于ukey设备的证书管理方法、系统及终端设备
CN108153852A (zh) * 2017-12-22 2018-06-12 中国平安人寿保险股份有限公司 一种数据处理方法、装置、终端设备及存储介质
CN108052681A (zh) * 2018-01-12 2018-05-18 毛彬 一种关系型数据库间结构化数据的同步方法及系统
CN108829867A (zh) * 2018-06-22 2018-11-16 深圳云之家网络有限公司 一种大数据的智能采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾玉莹: "面向数据集成的数据自动导入系统", 微计算机信息, vol. 22, no. 1, pages 194 - 196 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000488A1 (zh) * 2019-07-03 2021-01-07 平安科技(深圳)有限公司 数据自动导入方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2021000488A1 (zh) 2021-01-07
CN110413672B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111459821B (zh) 一种基于TestNG的软件自动化单元测试方法
CN107395353A (zh) 一种区块链共识方法及装置
CN110309125A (zh) 数据校验方法、电子装置及存储介质
CN111078260B (zh) 一种微信小程序第三方平台管理的方法及系统
CN103927338A (zh) 日志信息入库处理方法和装置
CN111124917B (zh) 公共测试用例的管控方法、装置、设备及存储介质
CN109146095A (zh) 多业务系统问题的处理方法和装置
CN107528912A (zh) 一种自动实现分布式事务处理的方法、系统及相关装置
WO2022095518A1 (zh) 接口自动化测试方法、装置、计算机设备及存储介质
CN111399828A (zh) 一种基于模型驱动的逻辑设备建模方法及终端
CN113590718B (zh) 基于区块链一体机的可信数据跨链系统
CN108345658A (zh) 算法计算轨迹的分解处理方法、服务器及存储介质
CN110413672A (zh) 数据自动导入方法、装置及计算机可读存储介质
CN113111125A (zh) 一种基于区块链的业务存证方法
CN111221690B (zh) 针对集成电路设计的模型确定方法、装置及终端
CN105933396B (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN116993523A (zh) 配置化对账方法、装置、设备及存储介质
CN112130823A (zh) 一种平台开发方法、装置、计算机设备及存储介质
CN114443039A (zh) 输入参数校验方法、装置、电子设备及存储介质
CN111324645B (zh) 区块链的数据处理方法及装置
CN113179294B (zh) 一种基于智能合约的schema统一存取方法
CN108763365A (zh) 案件信息动态导入方法、装置、设备及存储介质
CN115268847A (zh) 区块链智能合约的生成方法、装置及电子设备
CN112181817B (zh) 用于soa架构平台的测试方法及测试装置
CN114170700A (zh) 一种考勤方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant