CN108710684B - Etl任务数据源切换方法、系统、计算机设备和存储介质 - Google Patents
Etl任务数据源切换方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108710684B CN108710684B CN201810486101.2A CN201810486101A CN108710684B CN 108710684 B CN108710684 B CN 108710684B CN 201810486101 A CN201810486101 A CN 201810486101A CN 108710684 B CN108710684 B CN 108710684B
- Authority
- CN
- China
- Prior art keywords
- data source
- library
- database
- data
- api server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种ETL任务数据源切换方法、系统、计算机设备和存储介质，其中所述方法包括：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应；调用SHELL脚本，通过API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点；在API服务器确认起库信息和同步信息后，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。上述方法降低了人工操作的风险，提高了切换效率，减少了误操作。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种ETL任务数据源切换方法、系统、计算机设备和存储介质。
背景技术
利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常的业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理 (On lineTransaction Processing，OLTP)应用，它所存储的数据被称为操作数据或者业务数据。BI(Business Intelligence)是一种运用了数据仓库，在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的是为企业决策者提供决策支持。COW(写时复制Copy-On-Write)，是存储快照的一种方式，更新源数据卷中的原始数据时,将原始数据Copy到快照卷中。当我们需要恢复快照时,只需要按照快照指针表逐一进行寻址就能够完成了，而且COW在使用上非常的灵活,可以随时为任意源数据卷建立快照。
ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取 (extract)、转换(transform)、加载(load)至目的端的过程，ETL常用在数据仓库。ETL任务主要是针对OLAP型的BI项目。一般是从业务型的OLTP型数据库中抽取数据。主要特点是数据量大，处理时间长。一般处理的时间段大都是集中在OLTP数据库压力较小的凌晨，但存在如下问题：
1、部分抽数任务由于依赖任务多或者报错等原因，运行时间排到了白天上班时间。而在上班时间对OLTP型的数据库进行大数据量长时间的抽取，对数据库IO(数据库文件的读写，即检索数据和插入数据)和性能造成了很大影响。
2、一般采取人工从备份COW库取数方式解决上述问题，但人工切换方式易产生操作失误，且增加了不必要的人力。
发明内容
基于此，有必要针对现行ETL任务数据源切换方法，大数据量长时间的抽取，对数据库文件的读取和性能造成了很大影响，人工切换方式易产生操作失误的弊端，提供一种ETL任务数据源切换方法、系统、计算机设备和存储介质。
一种ETL任务数据源切换方法，所述切换方法包括：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW 库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过 API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
在其中一个实施例中，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。
在其中一个实施例中，所述调用SHELL脚本，所述SHELL脚本封装有调用 API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：
通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
通过API服务器检测和修改配置库中的连接字符串。
在其中一个实施例中，所述在API服务器确认起库信息和同步信息后，ETL 任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE 语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所连接的数据库，自动切换数据源。
在其中一个实施例中，所述自动切换到需要操作的数据源之后还包括：
在API服务器的数据库中设置工作日志，所述工作日志用于监控记录数据源是否切换成功，若未成功切换则发出警报通知用户。
在其中一个实施例中，所述所述警报包括电话告警和电子邮件通知。
一种ETL任务数据源切换系统，所述ETL任务数据源切换系统包括：
对应单元，用于在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用单元，用于调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
起库同步单元，用于在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
切换单元，用于在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
在其中一个实施例中，所述调用单元包括：
设置模块，用于通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
调用模块，用于所述SHELL脚本封装有调用API服务器的CURL命令，所述 CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
检测模块，用于通过API服务器检测和修改配置库中的连接字符串。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述切换方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述切换方法的步骤。
上述ETL任务数据源切换方法、系统、计算机设备和存储介质，通过在ETL 任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串，调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API 服务器，通过API服务器检测和修改配置库中的连接字符串，在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例，在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源，降低了人工操作的风险，提高了切换效率，减少了误操作。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为一个实施例中ETL任务数据源切换方法的流程图；
图2为一个实施例中检测和修改配置库中的连接字符串的流程图；
图3为一个实施例中ETL任务数据源切换系统的结构框图；
图4为一个实施例中调用单元的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
作为一个较好的实施例，如图1所示，一种ETL任务数据源切换方法，该 ETL任务数据源切换方法包括以下步骤：
步骤S101，在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，映射表包括生产库和COW库，将映射表中的生产库连接字符串和COW 库连接字符串一一对应，数据源配置表中的连接数据包括连接字符串；
ETL任务主要是针对OLAP型的BI项目。ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load) 至目的端的过程，ETL常用在数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。一般是从业务型的OLTP型数据库中抽取数据。利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常的业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(On line Transaction Processing，OLTP)应用，它所存储的数据被称为操作数据或者业务数据。BI(Business Intelligence)是一种运用了数据仓库，在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的是为企业决策者提供决策支持。COW(写时复制Copy-On-Write)，是存储快照的一种方式，更新源数据卷中的原始数据时,将原始数据Copy到快照卷中。当我们需要恢复快照时, 只需要按照快照指针表逐一进行寻址就能够完成了，而且COW在使用上非常的灵活,可以随时为任意源数据卷建立快照。
配置生产库与备份COW库间的对应关系。在一选定的Linux客户端，在其服务器的配置库中，事先设置一映射表，在所述映射表上录入生产库连接字符串和COW库连接字符串，并使之一一对应，从而配置生产库与备份COW库之间的对应关系，如下表1所示：
表1
其中，SID也就是安全标识符(Security Identifiers)，是标识用户、组和计算机帐户的唯一的号码。SID为数据源的SID,是一个数据库的唯一标识符，即在建立一个数据库时系统自动赋予的一个初始ID。JDBC_STR_COW和 JDBC_STR_PRD分别表示COW库的连接字符串和生产库的连接字符串。
步骤S102,调用SHELL脚本，SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
调用SHELL脚本，调用API服务器。API是Application Programming Interface(应用编程接口)，使用的API接口会把参数消息传到给API服务器。 API是ApplicationProgramming Interface(应用编程接口)，使用的API接口会把参数消息传到给API服务器。SHELL脚本与Windows/Dos下的批处理相似，利用SHELL的功能所写的一个程序，这个程序是使用纯文本文件，将一些SHELL 的语法与指令写在里面，然后用正规表示法，管道命令以及数据流重导向等功能。
在Linux服务器上，通过程序设置crontab表达式，该crontab表达式包括两部分，一部分为时间点，一部分为所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的脚本SHELL脚本，所述SHELL脚本中封装有一调用API的CURL命令，所述CURL命令是操作系统Linux 上的一个工具，可以通过命令行方式发起HTTP请求，进而调用API服务器。调用CURL命令来调用API后，经过API服务器来检测、修改配置库中的连接字符串。
步骤S103，在API服务器的数据库中设置数据库表，数据库表包含COW库的起库信息和同步数据信息，根据数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，起库是数据库启动实例；
检测COW库是否起库，是否已同步到凌晨时间0点：在API服务器的数据库中，设置有一数据库表，数据管理员将COW库的起库信息以及同步数据信息记录于该数据库表中，根据数据库表中记录的数据来检测数据库是否已经起库，是否已经将数据同步到凌晨时间0点，在API服务器中确认起库信息及同步信息以进行数据源切换。
步骤S104,在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
修改连接字符串，实现数据源自动切换。在Linux服务器的配置库上，设置有一数据源配置表，ETL任务在运行时，ETL任务运行时所在的服务器会读取数据源配置表中的连接数据，用于连接数据库。所述数据源配置表中的连接数据包括数据源名称，安全标识符(SID)，数据库用户名密码，以及连接字符串。
经上述步骤S103，在API服务器中检测通过起库信息以及同步信息后，通过PYTHON程序，利用PYTHON程序中的cx_Oracle包连接配置库，执行UPDATE 语句，来修改数据源配置表中的连接字符串，从而改变ETL任务运行时所连接的数据库，进行数据源的自动切换。
所述数据源配置表如下表所示：
如上表所示，数据源配置表中配置有数据源名称，SID，数据库用户名密码，以及连接字符串(JDBC_STR)等数据。COW库是生产库的备份库，具有相同的用户密码，区别在于连接字符串不同，故只需修改其中的连接字符串字段即可实现数据源的自动切换。
在一个实施例中，数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。
在Linux服务器的配置库上，设置有一数据源配置表，ETL任务在运行时， ETL任务运行时所在的服务器会读取数据源配置表中的连接数据，用于连接数据库。所述数据源配置表中的连接数据包括数据源名称，安全标识符(SID)，数据库用户名密码，以及连接字符串。
如图2所示，在一个实施例中，调用SHELL脚本，SHELL脚本封装有调用 API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：
步骤S201，通过程序在服务器上设置CRONTAB表达式，表达式包括时间点和时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
在Linux服务器上，通过程序设置CRONTAB表达式，该CRONTAB表达式包括两部分，一部分为时间点，一部分为所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的脚本SHELL脚本，所述SHELL脚本中封装有一调用API的CURL命令，所述CURL命令是操作系统Linux 上的一个工具，可以通过命令行方式发起HTTP请求，进而调用API服务器。调用CURL命令来调用API后，经过API服务器来检测、修改配置库中的连接字符串。
步骤S202,SHELL脚本封装有调用API服务器的CURL命令，CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
SHELL脚本中封装有一调用API的CURL命令，所述CURL命令是操作系统 Linux上的一个工具，可以通过命令行方式发起HTTP请求，进而调用API服务器。
步骤S203,通过API服务器检测和修改配置库中的连接字符串。
调用CURL命令来调用API后，经过API服务器来检测、修改配置库中的连接字符串。
在一个实施例中，在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE 语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所连接的数据库，自动切换数据源。
在一个实施例中，自动切换到需要操作的数据源之后还包括：
在API服务器的数据库中设置工作日志，工作日志用于监控记录数据源是否切换成功，若未成功切换则发出警报通知用户。
在一个实施例中，警报包括电话告警和电子邮件通知。
置工作日志，并进行外部监控：在API服务器的数据库中，还设置有一工作日志，该工作日志用于记录上述步骤4)中的数据源是否切换成功。
在服务器外端，设置一监控平台，所述监控平台配置有需要监控的API服务器的数据库、监控执行的SQL语句、监控联系人、邮件组以及监控执行的时间和频度。该监控平台按照监控执行的频率连接数据库中的数据，执行SQL语句，所述SQL语句用于检测数据源自动切换的工作日志数据，确定数据源是否已自动切换。设置监控的执行时间点稍晚于调用API服务器的时间点。
经监控执行的SQL语句检测数据源自动切换的工作日志数据后，根据数据信息来判断数据源是否切换成功。若数据源未成功切换，则通过监控平台电话告警及发送邮件给相应的运维人员和数据管理员，数据管理员查看API服务器的数据库中起库信息和同步信息，确定原因并进行处理，处理完成后再次调用 API服务器进行数据源的自动切换。
如图3所示，在一个实施例中，提供一种ETL任务数据源切换系统，该切换系统包括：
对应单元，用于在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用单元，用于调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
起库同步单元，用于在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
切换单元，用于在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
如图4所示，在一个实施例中，所述调用单元包括：
设置模块，用于通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
调用模块，用于所述SHELL脚本封装有调用API服务器的CURL命令，所述 CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
检测模块，用于通过API服务器检测和修改配置库中的连接字符串。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行所述计算机程序时实现以下步骤：
在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
在其中一个实施例中，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。
在其中一个实施例中，所述调用SHELL脚本，所述SHELL脚本封装有调用 API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：
通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
通过API服务器检测和修改配置库中的连接字符串。
在其中一个实施例中，所述在API服务器确认起库信息和同步信息后，ETL 任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE 语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所连接的数据库，自动切换数据源。
在其中一个实施例中，所述自动切换到需要操作的数据源之后还包括：
在API服务器的数据库中设置工作日志，所述工作日志用于监控记录数据源是否切换成功，若未成功切换则发出警报通知用户。
在其中一个实施例中，所述所述警报包括电话告警和电子邮件通知。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
在其中一个实施例中，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。
在其中一个实施例中，所述调用SHELL脚本，所述SHELL脚本封装有调用 API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：
通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
通过API服务器检测和修改配置库中的连接字符串。
在其中一个实施例中，所述在API服务器确认起库信息和同步信息后，ETL 任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE 语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所连接的数据库，自动切换数据源。
在其中一个实施例中，所述自动切换到需要操作的数据源之后还包括：
在API服务器的数据库中设置工作日志，所述工作日志用于监控记录数据源是否切换成功，若未成功切换则发出警报通知用户。
在其中一个实施例中，所述所述警报包括电话告警和电子邮件通知。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种ETL任务数据源切换方法，其特征在于，包括以下步骤：
在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
2.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。
3.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：
通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
通过API服务器检测和修改配置库中的连接字符串。
4.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：
在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所连接的数据库，自动切换数据源。
5.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述自动切换到需要操作的数据源之后还包括：
在API服务器的数据库中设置工作日志，所述工作日志用于监控记录数据源是否切换成功，若未成功切换则发出警报通知用户。
6.根据权利要求5所述的ETL任务数据源切换方法，其特征在于，所述警报包括电话告警和电子邮件通知。
7.一种ETL任务数据源切换系统，其特征在于，所述ETL任务数据源切换系统包括：
对应单元，用于在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；
调用单元，用于调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；
起库同步单元，用于在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；
切换单元，用于在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。
8.根据权利要求7所述的ETL任务数据源切换系统，其特征在于，所述调用单元包括：
设置模块，用于通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；
调用模块，用于所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；
检测模块，用于通过API服务器检测和修改配置库中的连接字符串。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810486101.2A CN108710684B (zh) | 2018-05-21 | 2018-05-21 | Etl任务数据源切换方法、系统、计算机设备和存储介质 |
| PCT/CN2018/104707 WO2019223181A1 (zh) | 2018-05-21 | 2018-09-08 | Etl任务数据源切换方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810486101.2A CN108710684B (zh) | 2018-05-21 | 2018-05-21 | Etl任务数据源切换方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108710684A CN108710684A (zh) | 2018-10-26 |
| CN108710684B true CN108710684B (zh) | 2023-05-30 |
Family
ID=63869298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810486101.2A Active CN108710684B (zh) | 2018-05-21 | 2018-05-21 | Etl任务数据源切换方法、系统、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108710684B (zh) |
| WO (1) | WO2019223181A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923256B (zh) * | 2020-06-22 | 2024-05-03 | 北京金山云网络技术有限公司 | 一种数据源管理方法、装置、服务器及系统 |
| CN114650283A (zh) * | 2020-12-21 | 2022-06-21 | 京东科技控股股份有限公司 | 动态切换云存储服务的方法、装置、电子设备及存储介质 |
| CN112732828A (zh) * | 2020-12-22 | 2021-04-30 | 航天信息股份有限公司 | 基于数据仓库工具的跨平台数据共享方法 |
| CN114973483A (zh) * | 2021-02-25 | 2022-08-30 | 星络社区云物联科技有限公司 | 门禁密码校验方法、门禁设备及计算机可读存储介质 |
| CN113836214A (zh) * | 2021-09-30 | 2021-12-24 | 杭州数梦工场科技有限公司 | 应用于etl的数据加载、读取方法和装置及电子设备 |
| CN116775737B (zh) * | 2023-06-21 | 2024-04-30 | 上海腾道信息技术有限公司 | 一种自动生成etl配置的方法以及系统 |
| CN116860227B (zh) * | 2023-07-12 | 2024-02-09 | 北京东方金信科技股份有限公司 | 一种基于大数据etl脚本编排的数据开发系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7443282B2 (en) * | 2005-05-05 | 2008-10-28 | Industrial Technology Research Institute | System and a method, including software and hardware, for providing real-time and synchronization views of supply chain information |
| CN104298773B (zh) * | 2014-10-30 | 2018-01-09 | 北京思特奇信息技术股份有限公司 | 一种etl作业自动切库系统及方法 |
| CA2937564A1 (en) * | 2015-07-29 | 2017-01-29 | Stressco Inc. | Systems, methods and devices for extraction, aggregation, analysis and reporting of financial data |
| CN107463709A (zh) * | 2017-08-21 | 2017-12-12 | 北京奇艺世纪科技有限公司 | 一种基于多数据源的etl处理方法及装置 |
| CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
-
2018
- 2018-05-21 CN CN201810486101.2A patent/CN108710684B/zh active Active
- 2018-09-08 WO PCT/CN2018/104707 patent/WO2019223181A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019223181A1 (zh) | 2019-11-28 |
| CN108710684A (zh) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108710684B (zh) | Etl任务数据源切换方法、系统、计算机设备和存储介质 | |
| CN106817295B (zh) | 一种消息处理装置和方法 | |
| CN109240886B (zh) | 异常处理方法、装置、计算机设备以及存储介质 | |
| CN110019138B (zh) | 一种基于Zabbix的传输表空间自动迁移方法和系统 | |
| CN109325016B (zh) | 数据迁移方法、装置、介质及电子设备 | |
| CN110650164B (zh) | 文件的上传方法、装置、终端以及计算机存储介质 | |
| US20190227710A1 (en) | Incremental data restoration method and apparatus | |
| US9880897B2 (en) | Failure mode identification and reporting | |
| CN105516266A (zh) | 一种业务监控方法、系统及相关设备 | |
| CN110659259A (zh) | 数据库迁移方法、服务器以及计算机存储介质 | |
| CN112800019A (zh) | 基于Hadoop分布式文件系统的数据备份方法及系统 | |
| CN111767346A (zh) | 一种数据库的数据同步方法、装置、设备及存储介质 | |
| CN111324617A (zh) | 一种数据库在线热备份的方法和设备 | |
| CN108595287B (zh) | 基于纠删码的数据截断方法及装置 | |
| CN113419680A (zh) | 一种存储方法及系统 | |
| CN105573867A (zh) | 一种MySQL高可用性的实现方法及系统 | |
| CN111475334A (zh) | TiDB数据库的维护方法、装置、计算机设备及存储介质 | |
| CN113641693B (zh) | 流式计算系统的数据处理方法及装置、电子设备和介质 | |
| CN106293897B (zh) | 组件自动化调度系统 | |
| CN111611107A (zh) | 获取数据库日志的方法及装置 | |
| CN111142791A (zh) | 数据迁移方法和装置 | |
| CN111177116B (zh) | 一种数据库智能管理平台及其管理方法 | |
| US11874821B2 (en) | Block aggregation for shared streams | |
| CN114546731B (zh) | 一种工作流数据恢复方法及数据恢复系统 | |
| CN114900531B (zh) | 数据同步方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |