CN112235392A - 数据推送方法、装置、计算机设备及存储介质 - Google Patents
数据推送方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112235392A CN112235392A CN202011087440.7A CN202011087440A CN112235392A CN 112235392 A CN112235392 A CN 112235392A CN 202011087440 A CN202011087440 A CN 202011087440A CN 112235392 A CN112235392 A CN 112235392A
- Authority
- CN
- China
- Prior art keywords
- information
- configuration
- database
- data
- pushing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013075 data extraction Methods 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域,主要涉及区块链技术,揭露了一种数据推送方法、装置、计算机设备及存储介质,所述方法包括:根据数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中;根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,从而实现数据的一键推送。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据推送方法、装置、计算机设备及存储介质。
背景技术
InfoSphere Server、QualityStage Designer、是IBM的一整套数据集成软件平台,支持对数据结构从简单到高度复杂的大量数据进行收集、变换和分发操作。其中,DataStage提供UI界面,测试人员可以通过界面执行数据分发操作,可使用该框架来设计和运行用于变换和清理、加载数据的作业,帮助企业从散布在各个系统中的复杂异构信息获得更多价值。
在现有测试过程中,DataStage支持数据下发功能,测试同事通过DataStage可进行数据下发操作,但手工操作步骤重复度极高,需要执行如下步骤:
1、先到数据库查询推送的表所在的project和job;
2、根据project和job到服务器查询获取源数据库和目标数据库,确认数据库信息配置无误;
3、登录DataStage客户端,进入对应的project,找到对应的job,手动触发运行下数操作。
4、查看数据下发是否成功。
若存在多表进行批量下数,则只能重复上述步骤,逐一处理,操作繁琐重复度高,且需要登录数据库、服务器以及DataStage客户端进行来回切换。
发明内容
本发明的主要目的在于提出一种数据推送方法、装置、计算机设备及存储介质,旨在提高数据推送的效率。
为实现上述目的,本发明提供一种数据推送方法,所述数据推送方法包括以下步骤:
在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中;
根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;
获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;
根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器;
在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
可选地,所述在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,包括:
在获取到数据推送指令时,提取所述数据推送指令中的推送配置信息;
获取预设空列表信息,对所述预设空列表信息进行识别,得到预设空列表信息中的属性信息以及对应的属性标签信息;
获取所述推送配置信息对应的推送标签信息;
将所述推送标签信息与所述属性标签信息进行比较,将与所述属性标签信息一致的推送标签信息对应的推送配置信息填入所述预设空列表信息中的属性信息,得到推送配置列表信息。
可选地,所述根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息,包括:
对所述推送配置列表信息进行解析,得到解析后的配置文件信息;
将所述解析后的配置文件信息与预设配置关键字信息进行比较,得到所述解析后的配置文件信息中的配置数据信息;
将所述配置数据信息作为关联数据库配置信息;
将所述解析后的配置文件信息与预设时间关键字信息进行比较,得到所述解析后的配置文件信息中的配置时间信息;
将所述配置时间信息作为推送时间信息。
可选地,所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器之前,所述方法还包括:
获取所述推送配置列表信息在预设映射表中的工程路径信息以及工作单元信息;
根据所述工作单元信息确定预设数据库;
根据所述工程路径信息得到交互路径信息,根据所述交互路径信息确定预设服务器。
可选地,所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器之前,所述方法还包括:
获取预设数据库的当前配置信息以及预设服务器的当前配置信息;
判断所述预设数据库的当前配置信息与所述数据库配置信息是否一致;
在所述预设数据库的当前配置信息与所述数据库配置信息不一致时,判断所述预设服务器的当前配置信息与所述服务器配置信息是否一致;
在所述预设服务器的当前配置信息与所述服务器配置信息不一致时,则执行所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器的步骤。
可选地,所述在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,包括:
在当前时间信息达到所述推送时间信息时,获取当前推送配置信息;
判断所述当前推送配置信息是否与所述关联数据库配置信息一致;
在所述当前推送配置信息是与所述关联数据库配置信息一致时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
可选地,所述在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器之后,所述方法还包括:
获取推送结果信息;
在所述推送结果信息为推送成功信息时,将所述推送成功信息采用预设方式进行提醒。
此外,为实现上述目的,本发明还提出一种计算机设备,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据推送程序,所述数据推送程序配置为实现如上文所述的数据推送方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有数据推送程序,所述数据推送程序被处理器执行时实现如上文所述的数据推送方法的步骤。
此外,为实现上述目的,本发明还提出一种数据推送装置,所述数据推送装置包括:
获取模块,用于在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中;
确定模块,用于根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;
所述获取模块,还用于获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;
配置模块,用于根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;
推送模块,用于在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
本发明提出的数据推送方法,通过在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息;根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,从而通过推送配置列表信息即可得到推送配置信息,而无需在数据库端、服务器端以及DataStage客户端进行相应的配置,提高DataStage数据推送的效率,实现数据的一键推送。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据推送方法第一实施例的流程示意图;
图3为本发明数据推送方法一实施例的Datastage数据推送处理示意图;
图4为本发明数据推送方法一实施例的整体流程示意图;
图5为本发明数据推送方法第二实施例的流程示意图;
图6为本发明数据推送方法第三实施例的流程示意图;
图7为本发明数据推送装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据推送程序。
在图1所示的设备中,网络接口1004主要用于连接外网,与其它网络设备进行数据通信;用户接口1003主要用于连接用户设备,与设备进行数据通信;本发明设备通过处理器1001调用存储器1005中存储的数据推送程序,并执行本发明实施例提供的数据推送的实施方法。
基于上述硬件结构,提出本发明数据推送方法实施例。
参照图2,图2为本发明数据推送方法第一实施例的流程示意图,在第一实施例中,所述数据推送方法包括以下步骤:
步骤S10,在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中。
需要说明的是,本实施例的执行主体可为设置有基于DataStage的数据推送程序的DataStage客户端,还可为控制DataStage客户端的服务器,本实施例对此不作限制,在本实施例中,以基于DataStage的数据推送程序的DataStage客户端为例进行说明。
需要强调的是,为进一步保证上述推送配置列表信息的私密和安全性,上述推送配置列表信息还可以存储于一区块链的节点中。
可以理解的是,存储数据的数据仓库中的数据来自于多种业务数据源,这些数据源可能来自于不同硬件平台,使用不同的操作系统,数据模型也相差很远,因而数据以不同的方式存在于不同的数据库中,如何获取并向数据仓库加载这些数据量大以及种类多的数据,已成为建立仓库所面临的一个关键问题,针对目前系统的数据来源复杂,而且分析应用灵活多变的现状,使用专业的数据抽取、转换和转载工具,即DataStage客户端,通过DataStage客户端可对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据仓库目标数据库的集成工具。
在现有测试过程中,DataStage支持数据下发功能,通过DataStage可进行数据下发操作,但手工操作步骤重复度极高,需要先到数据库查询推送的表所在的project和job,然后根据project和job到服务器查询获取源数据库和目标数据库,确认数据库信息配置无误,再登录DataStage客户端,进入对应的project,找到对应的job,手动触发运行下数操作,最后查看数据下发是否成功,若存在多表进行批量下数,则只能重复上述步骤,逐一处理,操作繁琐重复度高,且需要登录数据库、服务器以及DataStage客户端,来回切换。
在本实施例中,所述数据推送指令可为在DataStage客户端进行测试操作,还可为其他方式的操作,本实施例对此不作限制,在本实施例中以DataStage客户端进行测试操作为例进行说明,在开发人员或者测试人员进行测试时,通过DataStage客户端输入推送配置列表信息,通过推送配置列表信息进行测试工作,从而实现一键式数据推送。
步骤S20,根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息。
在本实施例中,所述推送配置列表信息包括关联数据库配置信息以及推送时间信息,其中,关联数据库配置信息包括数据库ID信息,源数据库信息以及目标数据库信息,还可包括其他配置信息,本实施例对此不作限制,所述推送时间信息可为下发数据时间段,还可为其他形式的时间信息,本实施例对此不作限制,具体为根据推送配置列表信息包括project工程路径及job名,Job就是一个Datastage的可运行单元,Server Job是最简单常用的Job类型,它使用拖拽的方式将基本的设计单元-Stage拖拽到工作区中,并通过连线的方式代表数据的流向。通过Server Job,可以实现以下功能定义数据如何抽取、定义数据流程、定义数据的集合、定义数据的转换以及定义数据的约束条件等,project工程路径为数据的传输路径信息,图3所示的Datastage数据推送处理示意图,通过project工程路径以及job名得到数据库的配置信息,其中,转换以及目标数据库等为job单元,project工程路径表示job单元之间的连接关系。
在具体实现中,开发人员/测试人员配置对应的目标表,支持多表批量配置处理、数据库信息,例如数据库SID,以及下发数据时间段,执行基于DataStage的数据推送程序,基于DataStage的数据推送程序自动读取配置文件,获取对应表所在的project工程路径及job名,从而无需在数据库端、服务器端以及DataStage客户端进行相应的配置,提高数据推送的效率。
步骤S30,获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息。
需要说明的是,所述关联数据库配置信息包括数据库的配置信息以及源服务器和目标服务器的配置信息,其中,数据库配置信息包括数据库的SID信息以及文件信息,还可包括其他数据库配置信息,本实施例对此不作限制,所述服务器配置信息包括网络地址信息以及服务器ID信息,还可包括其他服务器配置信息,本实施例对此不作限制。
在具体实现中,通过提取所述关联数据库配置信息中的服务器的配置信息,根据所述服务器配置信息对服务器进行配置,根据数据库的配置信息对数据库进行属性配置,由于本申请中的推送配置列表信息中包括数据库的配置信息以及服务器的配置信息,从而无需在数据库和服务器中切换进行配置,而是通过DataStage上的推送配置列表信息即可一键完成数据库的配置、服务器的配置以及数据的推送。
步骤S40,根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器。
在本实施例中,所述预设数据库以及预设服务器为根据推送配置列表信息得到的,所述推送配置列表信息中包括推送数据所用到的数据库信息以及服务器信息,从而确定对应的数据库以及服务器。
步骤S50,在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
在具体实现中,在当前时间信息达到所述推送时间信息时,例如推送时间信息为17:00-18:00,并获取当前时间信息,在当前时间信息为14:00时,则还未达到推送时间信息,在这种情况下,则不进行推送处理,在当前时间信息为15:00时,则达到推送时间信息,在这种情况下,则进行推送处理,从而实现数据推送的自动化处理。
如图4所示的整体流程示意图,填写配置信息,包括表名、数据库名以及推数时间,根据对应表在映射表中确定project和job,并获取DataStage配置数据库信息,核对数据库信息是否一致,数据库配置一致,则成功推数,数据库配置不一致,则提示修改配置,配置修改与填写一致,则成功推数。
本实施例通过上述方案,通过在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息;根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,从而通过推送配置列表信息即可得到推送配置信息,而无需在数据库端、服务器端以及DataStage客户端进行相应的配置,提高DataStage数据推送的效率,实现数据的一键推送。
在一实施例中,如图5所示,基于第一实施例提出本发明数据推送方法第二实施例,在本实施例中,所述步骤S10,包括:
步骤S101,在获取到数据推送指令时,提取所述数据推送指令中的推送配置信息。
在本实施例中,所述推送配置信息为测试内容信息,例如A数据库中的B文件,以及C数据库中的D文件等,还包括处理路径信息,即DataStage中的project工程路径及job名,还可包括其他配置参数信息,本实施例对此不作限制,所述推送配置信息可通过UI界面输入,还可通过其他方式进行输入,本实施例对此不作限制。
步骤S102,获取预设空列表信息,对所述预设空列表信息进行识别,得到预设空列表信息中的属性信息以及对应的属性标签信息。
在本实施例中,可通过提取所述数据推送指令中配置信息,将所述配置信息通过预设映射表进行映射,得到DataStage支持的推送配置列表信息,还可通过空表的形式得到推送配置列表信息,本实施例对此不作限制,在本实施例中,以填预设空列表信息为例进行说明,其中,属性信息为所述预设空列表信息包括的填表类别信息,属性标签信息为唯一识别编码信息,例如ID110,还可其他形式的标签信息,本实施例对此不作限制。
步骤S103,获取所述推送配置信息对应的推送标签信息。
在本实施例中,在所述推送配置信息对应的推送标签信息为唯一识别编码信息,例如ID200,还可其他形式的标签信息,本实施例对此不作限制,从而实现对推送配置信息中的数据内容的识别。
步骤S104,将所述推送标签信息与所述属性标签信息进行比较,将与所述属性标签信息一致的推送标签信息对应的推送配置信息填入所述预设空列表信息中的属性信息,得到推送配置列表信息。
在具体实现中,获取DataStage支持的空列表信息,对所述配置信息进行识别,得到属性信息以及对应的标签信息,获取所述空列表信息中的标签信息,根据所述空列表信息中的标签信息得到所述属性信息对应的标签信息中一致的标签信息,将一致的标签信息对应的属性信息填入所述空列表信息,得到推送配置列表信息,从而实现推送配置列表信息的建立,实现配置数据的有效管理。
在一实施例中,所述步骤S20,包括:
对所述推送配置列表信息进行解析,得到解析后的配置文件信息。将所述解析后的配置文件信息与预设配置关键字信息进行比较,得到所述解析后的配置文件信息中的配置数据信息。
需要说明的是,所述预设配置关键字信息可为DB以及ID等,还可为其他形式的配置关键字信息,本实施例对此不作限制。
将所述配置数据信息作为关联数据库配置信息。将所述解析后的配置文件信息与预设时间关键字信息进行比较,得到所述解析后的配置文件信息中的配置时间信息。将所述配置时间信息作为推送时间信息。
可以理解的是,所述预设时间关键字信息可为TIME等,还可为其他形式的时间关键字信息,本实施例对此不作限制。
在具体实现中,对所述推送配置列表信息进行解析,得到推送配置列表信息中的关联数据库配置信息以及推送时间信息,将所述推送配置列表信息与预设关键字进行比较,根据比较结果得到关联数据库配置信息以及推送时间信息,例如预设关键字可为DB、ID以及TIME等,还可为其他参数的关键字信息,本实施例对此不作限制。
在一实施例中,所述步骤S40之前,所述方法还包括:
获取所述推送配置列表信息在预设映射表中的工程路径信息以及工作单元信息;根据所述工作单元信息确定预设数据库;根据所述工程路径信息得到交互路径信息,根据所述交互路径信息确定预设服务器。
在本实施例中,所述工程路径信息为DataStage中的project,所述工作单元信息为DataStage中的job名,从而可根据推送配置列表信息得到需要配置的数据库以及服务器信息,通过推送配置列表信息可自动实现对相关数据库以及服务器的配置。
本实施例提供的方案,通过获取DataStage支持的空列表信息,对所述配置信息进行识别,得到属性信息以及对应的标签信息,获取所述空列表信息中的标签信息,根据所述空列表信息中的标签信息得到所述属性信息对应的标签信息中一致的标签信息,将一致的标签信息对应的属性信息填入所述空列表信息,得到推送配置列表信息,从而实现推送配置列表信息的建立,实现配置数据的有效管理。
在一实施例中,如图6所示,基于第一实施例或第二实施例提出本发明数据推送方法第三实施例,在本实施例中,基于第一实施例进行说明,所述步骤S40之前,所述方法还包括:
步骤S401,获取预设数据库的当前配置信息以及预设服务器的当前配置信息。
在本实施例中,所述预设数据库的当前配置信息包括数据库中的文件名信息,即是否包括需要推送的数据,所述预设服务器的当前配置信息包括服务器地址信息,即是否与配置列表中的服务器名以及地址信息是否一致。
步骤S402,判断所述预设数据库的当前配置信息与所述数据库配置信息是否一致。
需要说明的是,由于数据库和服务器均有固定的配置信息,在配置一次之后不会再进行配置,因此,在进行数据推送时,推送列表中的配置信息与数据库以及服务器中的配置信息会出现不一致的情况,在这种情况下,可对数据库与服务器中的配置信息进行判断,在配置一致时,则不进行处理,在配置不一致时,则需要调整数据库与服务器中的配置文件,从而实现对数据库与服务器的灵活管理。
步骤S403,在所述预设数据库的当前配置信息与所述数据库配置信息不一致时,判断所述预设服务器的当前配置信息与所述服务器配置信息是否一致。
在所述预设服务器的当前配置信息与所述服务器配置信息不一致时,则执行步骤S40。
在一实施例中,所述步骤S50,包括:
在当前时间信息达到所述推送时间信息时,获取当前推送配置信息;判断所述当前推送配置信息是否与所述关联数据库配置信息一致;在所述当前推送配置信息是与所述关联数据库配置信息一致时,则执行步骤S50。
在本实施例中,所述当前推送配置信息为DataStage的当前配置信息,通过获取DataStage的当前配置信息,将所述当前配置信息与关联数据库配置信息进行比较,在所述当前配置信息与关联数据库配置信息一致时,则通过DataStage根据所述关联数据库配置信息对关联数据库中的数据进行数据推送,在所述当前配置信息与关联数据库配置信息不一致时,则根据所述关联数据库配置信息对所述当前配置信息进行调整,得到调整配置后的DataStage,通过调整配置后的DataStage进行数据推送。
在具体实现中,匹配DS配置数据库与配置表填写数据库是否一致;DS实际配置数据库与配置表信息一致,则直接提示推数成功;DS实际配置数据库与配置表信息不一致,则根据提示修改DS数据库信息后,再次执行程序,即可推数成功并给出成功提示。
在本实施例中,通过DataStage上的推送配置列表信息即可一键完成数据库的配置、服务器的配置以及数据的推送,省去了大量人工排查工作,开发或测试人员只需要配置好要对应的表、数据库信息、推数时间段,执行程序,便可自动遍历扫描和解析数据,并支持批量下数功能。极大的提升了数据下发效率,节省测试同事下数时间,提高排查质量,减少运营成本。
在一实施例中,所述步骤S50之后,所述方法还包括:
获取推送结果信息;在所述推送结果信息为推送成功信息时,将所述推送成功信息采用预设方式进行提醒。
需要说明的是,所述预设方式可为通过信息通知的方式进行提醒,还可通过语音进行提醒,本实施例对此不作限制,在通过信息通知的方式进行提醒时,可在推数成功时,弹出推送成功提醒消息,从而方便用户了解测试的进程,实现一键推数的智能化。
本实施例提供的方案,通过获取推送结果信息;在所述推送结果信息为推送成功信息时,将所述推送成功信息采用预设方式进行提醒,从而实现数据推送的智能化。
本发明进一步提供一种数据推送装置。
参照图7,图7为本发明数据推送装置第一实施例的功能模块示意图。
本发明数据推送装置第一实施例中,该数据推送装置包括:
获取模块10,用于在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息。
可以理解的是,存储数据的数据仓库中的数据自于多种业务数据源,这些数据源可能来自于不同硬件平台使用不同的操作系统,数据模型也相差很远,因而数据以不同的方式存在于不同的数据库中,如何获取并向数据仓库加载这些数据量大以及种类多的数据,已成为建立仓库所面临的一个关键问题,针对目前系统的数据来源复杂,而且分析应用灵活多变的现状,使用专业的数据抽取、转换和转载工具,即DataStage客户端,通过DataStage客户端可对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据仓库目标数据库的集成工具。
在现有测试过程中,DataStage支持数据下发功能,通过DataStage可进行数据下发操作,但手工操作步骤重复度极高,需要先到数据库查询推送的表所在的project和job,然后根据project和job到服务器查询获取源数据库和目标数据库,确认数据库信息配置无误,再登录DataStage客户端,进入对应的project,找到对应的job,手动触发运行下数操作,最后查看数据下发是否成功,若存在多表进行批量下数,则只能重复上述步骤,逐一处理,操作繁琐重复度高,且需要登录数据库、服务器以及DataStage客户端,来回切换。
在本实施例中,所述数据推送指令可为在DataStage客户端进行测试操作,还可为其他方式的操作,本实施例对此不作限制,在本实施例中以DataStage客户端进行测试操作为例进行说明,在开发人员或者测试人员进行测试时,通过DataStage客户端输入推送配置列表信息,通过推送配置列表信息进行测试工作,从而实现一键式数据推送。
确定模块20,根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息。
在本实施例中,所述推送配置列表信息包括关联数据库配置信息以及推送时间信息,其中,关联数据库配置信息包括数据库ID信息,源数据库信息以及目标数据库信息,还可包括其他配置信息,本实施例对此不作限制,所述推送时间信息可为下发数据时间段,还可为其他形式的时间信息,本实施例对此不作限制,具体为根据推送配置列表信息包括project工程路径及job名,Job就是一个Datastage的可运行单元,Server Job是最简单常用的Job类型,它使用拖拽的方式将基本的设计单元-Stage拖拽到工作区中,并通过连线的方式代表数据的流向。通过Server Job,可以实现以下功能定义数据如何抽取、定义数据流程、定义数据的集合、定义数据的转换以及定义数据的约束条件等,project工程路径为数据的传输路径信息,图3所示的Datastage数据推送处理示意图,通过project工程路径以及job名得到数据库的配置信息,其中,转换以及目标数据库等为job单元,project工程路径表示job单元之间的连接关系。
在具体实现中,开发人员/测试人员配置对应的目标表,支持多表批量配置处理、数据库信息,例如数据库SID,以及下发数据时间段,执行基于DataStage的数据推送程序,基于DataStage的数据推送程序自动读取配置文件,获取对应表所在的project工程路径及job名,从而无需在数据库端、服务器端以及DataStage客户端进行相应的配置,提高数据推送的效率。
所述获取模块10,还用于获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息。
需要说明的是,所述关联数据库配置信息包括数据库的配置信息以及源服务器和目标服务器的配置信息,其中,数据库配置信息包括数据库的SID信息以及文件信息,还可包括其他数据库配置信息,本实施例对此不作限制,所述服务器配置信息包括网络地址信息以及服务器ID信息,还可包括其他服务器配置信息,本实施例对此不作限制。
在具体实现中,通过提取所述关联数据库配置信息中的服务器的配置信息,根据所述服务器配置信息对服务器进行配置,根据数据库的配置信息对数据库进行属性配置,由于本申请中的推送配置列表信息中包括数据库的配置信息以及服务器的配置信息,从而无需在数据库和服务器中切换进行配置,而是通过DataStage上的推送配置列表信息即可一键完成数据库的配置、服务器的配置以及数据的推送。
配置模块30,用于根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器。
在本实施例中,所述预设数据库以及预设服务器为根据推送配置列表信息得到的,所述推送配置列表信息中包括推送数据所用到的数据库信息以及服务器信息,从而确定对应的数据库以及服务器。
推送模块40,用于在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
在具体实现中,在当前时间信息达到所述推送时间信息时,例如推送时间信息为17:00-18:00,并获取当前时间信息,在当前时间信息为14:00时,则还未达到推送时间信息,在这种情况下,则不进行推送处理,在当前时间信息为15:00时,则达到推送时间信息,在这种情况下,则进行推送处理,从而实现数据推送的自动化处理。
如图4所示的整体流程示意图,填写配置信息,包括表名、数据库名以及推数时间,根据对应表在映射表中确定project和job,并获取DataStage配置数据库信息,核对数据库信息是否一致,数据库配置一致,则成功推数,数据库配置不一致,则提示修改配置,配置修改与填写一致,则成功推数。
本实施例通过上述方案,通过在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息;根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,从而通过推送配置列表信息即可得到推送配置信息,而无需在数据库端、服务器端以及DataStage客户端进行相应的配置,提高DataStage数据推送的效率,实现数据的一键推送。
在一实施例中,所述获取模块10,还用于在获取到数据推送指令时,提取所述数据推送指令中的推送配置信息;
获取预设空列表信息,对所述预设空列表信息进行识别,得到预设空列表信息中的属性信息以及对应的属性标签信息;
获取所述推送配置信息对应的推送标签信息;
将所述推送标签信息与所述属性标签信息进行比较,将与所述属性标签信息一致的推送标签信息对应的推送配置信息填入所述预设空列表信息中的属性信息,得到推送配置列表信息。
在一实施例中,所述确定模块20,还用于对所述推送配置列表信息进行解析,得到解析后的配置文件信息;
将所述解析后的配置文件信息与预设配置关键字信息进行比较,得到所述解析后的配置文件信息中的配置数据信息;
将所述配置数据信息作为关联数据库配置信息;
将所述解析后的配置文件信息与预设时间关键字信息进行比较,得到所述解析后的配置文件信息中的配置时间信息;
将所述配置时间信息作为推送时间信息。
在一实施例中,所述配置模块30,还用于获取所述推送配置列表信息在预设映射表中的工程路径信息以及工作单元信息;
根据所述工作单元信息确定预设数据库;
根据所述工程路径信息得到交互路径信息,根据所述交互路径信息确定预设服务器。
在一实施例中,所述配置模块30,还用于获取预设数据库的当前配置信息以及预设服务器的当前配置信息;
判断所述预设数据库的当前配置信息与所述数据库配置信息是否一致;
在所述预设数据库的当前配置信息与所述数据库配置信息不一致时,判断所述预设服务器的当前配置信息与所述服务器配置信息是否一致;
在所述预设服务器的当前配置信息与所述服务器配置信息不一致时,则执行所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器的步骤。
在一实施例中,所述推送模块40,还用于在当前时间信息达到所述推送时间信息时,获取当前推送配置信息;
判断所述当前推送配置信息是否与所述关联数据库配置信息一致;
在所述当前推送配置信息是与所述关联数据库配置信息一致时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
在一实施例中,所述推送模块40,还用于获取推送结果信息;
在所述推送结果信息为推送成功信息时,将所述推送成功信息采用预设方式进行提醒。
本发明所述数据推送装置采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,为实现上述目的,本发明还提出一种计算机设备,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据推送程序,所述数据推送程序配置为实现如上文所述的数据推送方法的步骤。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有数据推送程序,所述数据推送程序被处理器执行如上文所述的数据推送方法的步骤。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台智能终端设备(可以是手机,计算机,终端设备,空调器,或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据推送方法,其特征在于,所述数据推送方法包括:
在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中;
根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;
获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;
根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器;
在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
2.如权利要求1所述的数据推送方法,其特征在于,所述在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,包括:
在获取到数据推送指令时,提取所述数据推送指令中的推送配置信息;
获取预设空列表信息,对所述预设空列表信息进行识别,得到预设空列表信息中的属性信息以及对应的属性标签信息;
获取所述推送配置信息对应的推送标签信息;
将所述推送标签信息与所述属性标签信息进行比较,将与所述属性标签信息一致的推送标签信息对应的推送配置信息填入所述预设空列表信息中的属性信息,得到推送配置列表信息。
3.如权利要求1所述的数据推送方法,其特征在于,所述根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息,包括:
对所述推送配置列表信息进行解析,得到解析后的配置文件信息;
将所述解析后的配置文件信息与预设配置关键字信息进行比较,得到所述解析后的配置文件信息中的配置数据信息;
将所述配置数据信息作为关联数据库配置信息;
将所述解析后的配置文件信息与预设时间关键字信息进行比较,得到所述解析后的配置文件信息中的配置时间信息;
将所述配置时间信息作为推送时间信息。
4.如权利要求1所述的数据推送方法,其特征在于,所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器之前,所述方法还包括:
获取所述推送配置列表信息在预设映射表中的工程路径信息以及工作单元信息;
根据所述工作单元信息确定预设数据库;
根据所述工程路径信息得到交互路径信息,根据所述交互路径信息确定预设服务器。
5.如权利要求1至4中任一项所述的数据推送方法,其特征在于,所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器之前,所述方法还包括:
获取预设数据库的当前配置信息以及预设服务器的当前配置信息;
判断所述预设数据库的当前配置信息与所述数据库配置信息是否一致;
在所述预设数据库的当前配置信息与所述数据库配置信息不一致时,判断所述预设服务器的当前配置信息与所述服务器配置信息是否一致;
在所述预设服务器的当前配置信息与所述服务器配置信息不一致时,则执行所述根据所述数据库配置信息对预设数据库进行配置,得到目标数据库,并根据所述服务器配置信息对预设服务器进行配置,得到目标服务器的步骤。
6.如权利要求1至4中任一项所述的数据推送方法,其特征在于,所述在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器,包括:
在当前时间信息达到所述推送时间信息时,获取当前推送配置信息;
判断所述当前推送配置信息是否与所述关联数据库配置信息一致;
在所述当前推送配置信息是与所述关联数据库配置信息一致时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
7.如权利要求1至4中任一项所述的数据推送方法,其特征在于,所述在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器之后,所述方法还包括:
获取推送结果信息;
在所述推送结果信息为推送成功信息时,将所述推送成功信息采用预设方式进行提醒。
8.一种计算机设备,其特征在于,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据推送程序,所述数据推送程序配置为实现如权利要求1至7中任一项所述的数据推送方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有数据推送程序,所述数据推送程序被处理器执行时实现如权利要求1至7中任一项所述的数据推送方法的步骤。
10.一种数据推送装置,其特征在于,所述数据推送装置包括:
获取模块,用于在获取到数据推送指令时,根据所述数据推送指令得到推送配置列表信息,其中,所述推送配置列表信息存储于区块链中;
确定模块,用于根据所述推送配置列表信息得到关联数据库配置信息以及推送时间信息;
所述获取模块,还用于获取所述关联数据库配置信息中的数据库配置信息和服务器配置信息;
配置模块,用于根据所述数据库配置信息对相应的数据库进行配置,得到目标数据库,并根据所述服务器配置信息对相应的服务器进行配置,得到目标服务器;
推送模块,用于在当前时间信息达到所述推送时间信息时,通过所述关联数据库配置信息将所述目标数据库中的数据推送至所述目标服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011087440.7A CN112235392A (zh) | 2020-10-12 | 2020-10-12 | 数据推送方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011087440.7A CN112235392A (zh) | 2020-10-12 | 2020-10-12 | 数据推送方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112235392A true CN112235392A (zh) | 2021-01-15 |
Family
ID=74112233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011087440.7A Pending CN112235392A (zh) | 2020-10-12 | 2020-10-12 | 数据推送方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112235392A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100082792A1 (en) * | 2008-09-30 | 2010-04-01 | Square D Company | Plug and play energy efficiency solution and automatic data-push method for same |
CN102111398A (zh) * | 2010-08-11 | 2011-06-29 | 厦门雅迅网络股份有限公司 | 一种由中心向移动终端下发业务信息的方法 |
CN106059825A (zh) * | 2016-07-08 | 2016-10-26 | 福建天晴数码有限公司 | 一种分布式系统及配置方法 |
CN108694061A (zh) * | 2018-05-11 | 2018-10-23 | 深圳壹账通智能科技有限公司 | 一种数据库的调用方法、装置及计算机可读存储介质 |
-
2020
- 2020-10-12 CN CN202011087440.7A patent/CN112235392A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100082792A1 (en) * | 2008-09-30 | 2010-04-01 | Square D Company | Plug and play energy efficiency solution and automatic data-push method for same |
CN102111398A (zh) * | 2010-08-11 | 2011-06-29 | 厦门雅迅网络股份有限公司 | 一种由中心向移动终端下发业务信息的方法 |
CN106059825A (zh) * | 2016-07-08 | 2016-10-26 | 福建天晴数码有限公司 | 一种分布式系统及配置方法 |
CN108694061A (zh) * | 2018-05-11 | 2018-10-23 | 深圳壹账通智能科技有限公司 | 一种数据库的调用方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019486B (zh) | 数据采集方法、装置、设备及存储介质 | |
CN109165856B (zh) | 审批链的动态配置方法、装置及存储介质 | |
CN108984388B (zh) | 一种生成自动化测试用例的方法及终端设备 | |
WO2020015191A1 (zh) | 业务规则的发布管理方法、电子装置及可读存储介质 | |
CN109657216B (zh) | 合同生成方法、装置、设备及存储介质 | |
CN113448862B (zh) | 软件版本测试方法、装置及计算机设备 | |
CN111338693A (zh) | 基于模型构建的目标文件生成方法、服务器及存储介质 | |
CN115935035A (zh) | Rpa流程可视化管理方法、装置、设备及可读存储介质 | |
CN111552712A (zh) | 报表数据提取方法、装置及计算机设备 | |
CN111181805A (zh) | 一种基于测试用例的微服务测试挡板生成方法及系统 | |
CN108073511B (zh) | 测试代码生成方法和装置 | |
CN108650123B (zh) | 故障信息记录方法、装置、设备和存储介质 | |
CN110602049A (zh) | 数据传输方法、服务器及存储介质 | |
CN113672497B (zh) | 无埋点事件的生成方法、装置、设备及存储介质 | |
CN111651472A (zh) | 数据查询方法、服务器及存储介质 | |
CN115774881A (zh) | 代码审计方法、装置、设备及介质 | |
CN111027871A (zh) | 项目的资源分配方法、装置和可读存储介质 | |
CN112235392A (zh) | 数据推送方法、装置、计算机设备及存储介质 | |
CN115454472A (zh) | 远程升级问题解决方法、装置、设备及可读存储介质 | |
CN112131022B (zh) | 开放api管理方法、装置、系统与计算机可读存储介质 | |
CN112817816B (zh) | 埋点处理方法、装置、计算机设备和存储介质 | |
JP7246301B2 (ja) | プログラム開発支援システム及びプログラム開発支援方法 | |
CN111125205B (zh) | 看板数据显示方法、终端及存储介质 | |
CN112632559A (zh) | 漏洞自动验证方法、装置、设备及存储介质 | |
CN114816965A (zh) | 一种数据验证方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231229 |