CN115495529A - 一种dts数据链路运维方法、装置、设备及介质 - Google Patents
一种dts数据链路运维方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115495529A CN115495529A CN202211310739.3A CN202211310739A CN115495529A CN 115495529 A CN115495529 A CN 115495529A CN 202211310739 A CN202211310739 A CN 202211310739A CN 115495529 A CN115495529 A CN 115495529A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- configuration file
- link
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种DTS数据链路运维方法、装置、设备及介质，涉及信息技术领域。该方法包括：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。通过上述方案，能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。
Description
技术领域
本发明涉及信息技术领域，特别涉及一种DTS数据链路运维方法、装置、设备及介质。
背景技术
目前，根据阿里云DTS(即Data Transmission Service，数据传输服务)产品的开放API(即Application Programming Interface，应用程序接口)的开发，可以单独实现批量链路的创建、删除、修改、启停和查看状态。然而，目前相关技术中缺少对DTS产品API的整合，没有统一的同步链路模型，对于不同类型的链路需要考虑不同的输入参数。同时现有的专有云API和公有云API差别较大，不支持对DRDS(即PolarDB-X)以分库的方式同步到ADB(即Android Debug Bridge，安卓调试桥)，不支持源端和目标端的一致性校验，不支持多个同步链路的批量变更，以上功能都需要自行实现。综上，如何在DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率的问题有待进一步解决。
发明内容
有鉴于此，本发明的目的在于提供一种DTS数据链路运维方法、装置、设备及介质，能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。其具体方案如下：
第一方面，本申请公开了一种DTS数据链路运维方法，包括：
获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。
可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的所述数据链路ID、数据库和表的对应关系，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；
根据所述数据链路ID的命名方式确定所述源端的数据源类型；
如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。
可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
获取待操作同步链路清单并通过DTS链路名称模糊匹配确定所述同步链路ID清单中的待操作同步链路ID清单，调用所述预设目标应用程序接口对所述待操作同步链路ID清单中的同步链路进行目标操作。
可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的源端数据与目标端数据的连接信息，然后根据所述目标操作请求对应的目标数据校验操作选择与所述目标数据校验操作对应的预设数据校验接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
基于所述源端数据与所述目标端数据的连接信息根据所述源端数据与所述目标端数据的数据类型组装查询语句获取源端数据量与目标端数据量；
调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值，以完成所述目标数据校验操作。
可选的，所述调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值之后，还包括：
如果所述数据量差值超过预设数据量差值阈值，则停止校验并进行告警；
如果所述数据量差值不超过预设数据量差值阈值，则检查当前是否已完成校验并禁止告警。
可选的，还包括：
获取针对DTS数据的数据链路巡检请求，并根据预设数据链路巡检接口对所有数据链路进行状态巡检。
第二方面，本申请公开了一种DTS数据链路运维装置，包括：
请求获取模块，用于获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
配置文件解析模块，用于读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
接口调用模块，用于基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的所述的DTS数据链路运维方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的所述的DTS数据链路运维方法的步骤。
本申请在进行DTS数据链路运维时，获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。可见，本申请在进行DTS数据链路运维时，首先获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取DTS数据中数据链路对应的所述目标端与所述源端对应的目标yaml配置文件，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，最后基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。由此可见，本申请在进行DTS数据链路运维时，获取到目标操作请求后，获取并读取所述目标端与所述源端对应的目标yaml配置文件，根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，进一步调用所述预设目标应用程序接口并根据所述目标yaml配置文件中的目标数据信息进行目标操作，基于DTS已有的产品接口设计一套覆盖所有同步链路运维场景的同步链路模型和工具，补全了DTS产品的功能，并支持多个同步链路的批量操作，从而使得运维人员在进行DTS数据链路管理时效率更高。综上，本申请能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种DTS数据链路运维方法流程图；
图2为本申请提供的DTS实例模型关键属性示意图；
图3为本申请提供的一种具体的DTS数据链路运维方法流程图；
图4为本申请提供的一种具体的DTS数据链路运维方法流程图；
图5为本申请提供的一种具体的DTS数据链路运维方法流程图；
图6为本申请提供的一种DTS数据链路运维装置结构示意图；
图7为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前相关技术中缺少对DTS产品API的整合，没有统一的同步链路模型，对于不同类型的链路需要考虑不同的输入参数。同时现有的专有云API和公有云API差别较大，不支持对DRDS以分库的方式同步到ADB，不支持源端和目标端的一致性校验，不支持多个同步链路的批量变更，以上功能都需要自行实现。为此，本申请提供了一种DTS数据链路运维方法能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。
本发明实施例公开了一种DTS数据链路运维方法，参见图1所示，该方法包括：
步骤S11：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件。
在本实施例中，获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件。具体地，首先通过预设接口获取DTS数据中针对目标端与源端的数据链路的目标操作请求，可以理解的是，所述获取的目标操作请求中可以为针对多条数据链路进行目标操作的请求，当获取到所述目标操作请求时，进一步获取所述目标端与所述源端对应的目标yaml配置文件。通过上述技术方案，获取所述目标端与所述源端对应的目标yaml配置文件，以便于后续读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，进一步根据根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。
步骤S12：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。
在本实施例中，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。具体地，首选读取所述目标yaml配置文件并解析所述目标yaml配置文件，进一步得到所述目标yaml配置文件中的目标数据信息，并根据根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。可以理解的是，DTS实例模型关键属性如图2所示，所述预设目标应用程序接口为DTS实例中的预设接口，包括但不限于预设同步链路创建接口、预设数据校验接口、预设数据链路修改接口、预设数据链路删除接口、预设数据链路启动接口、预设数据链路暂停接口与预设数据链路巡检接口。通过上述技术方案，根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，以便于后续基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作。
步骤S13：基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
在本实施例中，基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。具体地，调用所述预设目标应用程序接口并根据所述目标yaml配置文件中的目标数据信息进行目标操作，基于DTS已有的产品接口设计一套覆盖所有同步链路运维场景的同步链路模型和工具，补全了DTS产品的功能，并支持多个同步链路的批量操作，从而使得运维人员在进行DTS数据链路管理时效率更高。
可见，本实施例在进行DTS数据链路运维时，首先获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取DTS数据中数据链路对应的所述目标端与所述源端对应的目标yaml配置文件，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，最后基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。由此可见，本申请在进行DTS数据链路运维时，获取到目标操作请求后，获取并读取所述目标端与所述源端对应的目标yaml配置文件，根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，进一步调用所述预设目标应用程序接口并根据所述目标yaml配置文件中的目标数据信息进行目标操作，基于DTS已有的产品接口设计一套覆盖所有同步链路运维场景的同步链路模型和工具，补全了DTS产品的功能，并支持多个同步链路的批量操作，从而使得运维人员在进行DTS数据链路管理时效率更高。综上，本申请能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。
参见图3所示，本发明实施例公开了一种具体的DTS数据链路运维方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S21：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件。
步骤S22：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口。
在本实施例中，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系。具体地，获取目标yaml配置文件中的关键字段，如目标和源数据源类型、实例ID，数据库和表的对应关系等信息。根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口，包括：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；根据所述数据链路ID的命名方式确定所述源端的数据源类型；如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。
步骤S23：调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。
在本实施例中，调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。具体地，调用预设同步链路创建接口创建空的同步链路，用相关API配置新建链路的同步对象，通过所述数据库和表的对应关系并行配置完成后，链路会自动启动，在完成创建流程后会返回包含链路信息的JSON结果集。
可见，在本实施例中，根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口，调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，支持运维人员前端无感知的将DRDS以分库的方式批量的同步到调试桥中，运维人员无需将几十个分库一个个的建立同步链路，从而使得运维人员在进行DTS数据链路管理时效率更高。
参见图4所示，本发明实施例公开了一种具体的DTS数据链路运维方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S31：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件。
步骤S32：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。
在本实施例中，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口。具体地，首先通过产品API获取清单，通过DTS链路名称模糊匹配所有清单中的链路，获取同步链路ID清单。用相关API并行批量删除、修改、启动、暂停或巡检获取的同步链路。
步骤S33：获取待操作同步链路清单并通过DTS链路名称模糊匹配确定所述同步链路ID清单中的待操作同步链路ID清单，调用所述预设目标应用程序接口对所述待操作同步链路ID清单中的同步链路进行目标操作。
在本实施例中，获取针对DTS数据的数据链路巡检请求，并根据预设数据链路巡检接口对所有数据链路进行状态巡检。
可见，在本实施例中，基于DTS已有的产品接口设计一套覆盖所有同步链路运维场景的同步链路模型和工具，补全了DTS产品的功能，并支持多个同步链路的批量操作，从而使得运维人员在进行DTS数据链路管理时效率更高。
参见图5所示，本发明实施例公开了一种具体的DTS数据链路运维方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S41：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件。
步骤S42：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的源端数据与目标端数据的连接信息，然后根据所述目标操作请求对应的目标数据校验操作选择与所述目标数据校验操作对应的预设数据校验接口。
步骤S43：基于所述源端数据与所述目标端数据的连接信息根据所述源端数据与所述目标端数据的数据类型组装查询语句获取源端数据量与目标端数据量。
步骤S44：调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值，以完成所述目标数据校验操作。
步骤S45：如果所述数据量差值超过预设数据量差值阈值，则停止校验并进行告警；如果所述数据量差值不超过预设数据量差值阈值，则检查当前是否已完成校验并禁止告警。
在本实施例中，获取一批源和目标端的数据库和表的映射关系，根据源和目标端的数据类型组装查询语句获取数据量，得出两端数据量差值。数据量差值超出阈值范围则报警，实时数据量写入返回结果集，如果没有超出阈值则检查当前是否已完成校验，如果清单未完成，读取下一批待校验数据表清单，如果清单已完成则输出校验结果集，结束校验流程。
可见，在本实施例中，支持源端和目标端的数据一致性校验，保证数据质量。
参见图6所示，本申请实施例公开了一种DTS数据链路运维装置，包括：
请求获取模块11，用于获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
配置文件解析模块12，用于读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
接口调用模块13，用于基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
可见，本实施例在进行DTS数据链路运维时，首先获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取DTS数据中数据链路对应的所述目标端与所述源端对应的目标yaml配置文件，读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，最后基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。由此可见，本申请在进行DTS数据链路运维时，获取到目标操作请求后，获取并读取所述目标端与所述源端对应的目标yaml配置文件，根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，进一步调用所述预设目标应用程序接口并根据所述目标yaml配置文件中的目标数据信息进行目标操作，基于DTS已有的产品接口设计一套覆盖所有同步链路运维场景的同步链路模型和工具，补全了DTS产品的功能，并支持多个同步链路的批量操作，从而使得运维人员在进行DTS数据链路管理时效率更高。综上，本申请能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。
在一些具体实施例中，所述配置文件解析模块12，具体用于：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口；
相应的，所述接口调用模块13，具体用于：调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。
在一些具体实施例中，所述配置文件解析模块12，具体包括：
数据读取单元，用于读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；
数据源类型确定单元，用于根据所述数据链路ID的命名方式确定所述源端的数据源类型；
链路ID获取单元，用于如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。
在一些具体实施例中，所述配置文件解析模块12，具体用于：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
相应的，所述接口调用模块13，具体用于：获取待操作同步链路清单并通过DTS链路名称模糊匹配确定所述同步链路ID清单中的待操作同步链路ID清单，调用所述预设目标应用程序接口对所述待操作同步链路ID清单中的同步链路进行目标操作。
在一些具体实施例中，所述配置文件解析模块12，具体用于：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的源端数据与目标端数据的连接信息，然后根据所述目标操作请求对应的目标数据校验操作选择与所述目标数据校验操作对应的预设数据校验接口；
相应的，所述接口调用模块13，具体包括：
数据量获取单元，用于基于所述源端数据与所述目标端数据的连接信息根据所述源端数据与所述目标端数据的数据类型组装查询语句获取源端数据量与目标端数据量；
数据校验单元，用于调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值，以完成所述目标数据校验操作。
在一些具体实施例中，所述DTS数据链路运维装置还包括：
告警模块，用于如果所述数据量差值超过预设数据量差值阈值，则停止校验并进行告警；
禁止告警模块，用于如果所述数据量差值不超过预设数据量差值阈值，则检查当前是否已完成校验并禁止告警。
在一些具体实施例中，所述DTS数据链路运维装置还包括：
链路巡检模块，用于获取针对DTS数据的数据链路巡检请求，并根据预设数据链路巡检接口对所有数据链路进行状态巡检。
图7所示为本申请实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的DTS数据链路运维方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源储存的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的DTS数据链路运维方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的DTS数据链路运维方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种DTS数据链路运维方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种DTS数据链路运维方法，其特征在于，包括：
获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
2.根据权利要求1所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。
3.根据权利要求2所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的所述数据链路ID、数据库和表的对应关系，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；
根据所述数据链路ID的命名方式确定所述源端的数据源类型；
如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。
4.根据权利要求1所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
获取待操作同步链路清单并通过DTS链路名称模糊匹配确定所述同步链路ID清单中的待操作同步链路ID清单，调用所述预设目标应用程序接口对所述待操作同步链路ID清单中的同步链路进行目标操作。
5.根据权利要求1所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
读取所述目标yaml配置文件并得到所述目标yaml配置文件中的源端数据与目标端数据的连接信息，然后根据所述目标操作请求对应的目标数据校验操作选择与所述目标数据校验操作对应的预设数据校验接口；
相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
基于所述源端数据与所述目标端数据的连接信息根据所述源端数据与所述目标端数据的数据类型组装查询语句获取源端数据量与目标端数据量；
调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值，以完成所述目标数据校验操作。
6.根据权利要求5所述的DTS数据链路运维方法，其特征在于，所述调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值之后，还包括：
如果所述数据量差值超过预设数据量差值阈值，则停止校验并进行告警；
如果所述数据量差值不超过预设数据量差值阈值，则检查当前是否已完成校验并禁止告警。
7.根据权利要求1至6中任一项所述的DTS数据链路运维方法，其特征在于，还包括：
获取针对DTS数据的数据链路巡检请求，并根据预设数据链路巡检接口对所有数据链路进行状态巡检。
8.一种DTS数据链路运维装置，其特征在于，包括：
请求获取模块，用于获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
配置文件解析模块，用于读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
接口调用模块，用于基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的DTS数据链路运维方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的DTS数据链路运维方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211310739.3A CN115495529A (zh) | 2022-10-25 | 2022-10-25 | 一种dts数据链路运维方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211310739.3A CN115495529A (zh) | 2022-10-25 | 2022-10-25 | 一种dts数据链路运维方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115495529A true CN115495529A (zh) | 2022-12-20 |
Family
ID=84473880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211310739.3A Pending CN115495529A (zh) | 2022-10-25 | 2022-10-25 | 一种dts数据链路运维方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115495529A (zh) |
-
2022
- 2022-10-25 CN CN202211310739.3A patent/CN115495529A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111857777B (zh) | 基于双芯智能电表的系统更新方法、装置和计算机设备 | |
| CN111695827B (zh) | 业务流程的管理方法、装置、电子设备及存储介质 | |
| CN110063042B (zh) | 一种数据库故障的响应方法及其终端 | |
| CN114493185A (zh) | 审批处理方法、装置、系统、电子设备、存储介质及产品 | |
| CN104104701A (zh) | 在线服务的配置更新的方法和系统 | |
| CN115129574A (zh) | 一种代码测试方法和装置 | |
| CN115495529A (zh) | 一种dts数据链路运维方法、装置、设备及介质 | |
| CN115544169A (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN110113181B (zh) | 节点配置方法、装置、计算机装置、及可读存储介质 | |
| CN115220992A (zh) | 接口变更监控方法、装置、计算机设备和存储介质 | |
| CN112650815A (zh) | 环境数据的同步方法及装置、存储介质及电子装置 | |
| CN112328245A (zh) | 页面显示方法、系统、电子设备及存储介质 | |
| CN109167826A (zh) | Web应用的上架方法、装置及系统 | |
| CN116560722B (zh) | 运维流程处理方法、装置、电子设备及存储介质 | |
| CN113449035B (zh) | 数据同步方法、装置、计算机设备及可读存储介质 | |
| CN116112411B (zh) | 一种自动化设备测试方法及其系统、电子设备 | |
| CN115686583B (zh) | 海量物联网设备升级方法、装置、电子设备和存储介质 | |
| CN117421234B (zh) | 一种多平台多并发自动化穿行测试系统 | |
| CN108196903A (zh) | 图书自助设备的配置修改方法及装置 | |
| CN112564953B (zh) | 一种对局远端设备管理的方法和装置及设备 | |
| CN108111612B (zh) | 图书自助设备的在线注册方法及装置 | |
| CN117376736A (zh) | 基于iec61850创建控制保护数据模型和通信数据映射的方法 | |
| CN115509842A (zh) | 一种故障注入方法、装置、设备及存储介质 | |
| CN117850914A (zh) | 基本输入输出系统配置选项测试方法、装置、设备及介质 | |
| CN114785847A (zh) | 网络控制软件开发配置方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |