CN110798490B - 基于数据中台接入第三方系统的方法、装置及数据中台 - Google Patents
基于数据中台接入第三方系统的方法、装置及数据中台 Download PDFInfo
- Publication number
- CN110798490B CN110798490B CN202010010207.2A CN202010010207A CN110798490B CN 110798490 B CN110798490 B CN 110798490B CN 202010010207 A CN202010010207 A CN 202010010207A CN 110798490 B CN110798490 B CN 110798490B
- Authority
- CN
- China
- Prior art keywords
- party system
- party
- data
- target
- project
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及数据处理技术领域，涉及一种基于数据中台接入第三方系统的方法、装置及数据中台。本发明能够首先在数据中台中创建第一项目，然后基于通过鉴权验证的第三方系统的目标接口在该第三系统中创建与第一项目对应的第二项目，并基于在数据中台中生成第三方任务节点，进而确定出第三方系统对应的第二目标工作流；并将第三方系统对应的第二目标工作流下发给该第三方系统，并获取该第三方系统反馈的任务节点执行结果和运行日志。如此，本发明能够实现数据中台与多个第三方系统的兼容，数据中台只需将第二目标工作流进行下发即可，无需在数据中台和多个第三方系统之间来回切换，极大地减少了开发成本。
Description
技术领域
本发明涉及信息处理技术领域，具体而言，涉及一种基于数据中台接入第三方系统的方法、装置及数据中台。
背景技术
数据中台是数据应用开发门户，具有闭环涵盖数据应用开发全流程，完整覆盖离线计算、实时计算应用等功能。能够满足开发人员从数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据 API 的各层次应用。可以理解，使用数据中台可以解放开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。
但是在大数据开发过程中，数据中台会和多个第三方系统进行交互，由于数据中台和多个第三方系统的不兼容性，在大数据开发时需要在数据中台和多个第三方系统之间来回切换并重复地导入和导出数据进行数据处理，极大地增加了开发成本。
发明内容
为了至少克服现有技术中的上述不足，本发明的目的之一在于提供一种基于数据中台接入第三方系统的方法、装置及数据中台。
本发明实施例的第一方面，提供了一种基于数据中台接入第三方系统的方法，应用于数据中台，所述数据中台与多个第三方系统通信，所述方法至少包括：
在所述数据中台中创建第一项目；
针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
在一种可替换的实施方式中，所述通过安全验证接口对该第三方系统进行鉴权验证，包括：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
在一种可替换的实施方式中，所述在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目，包括：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
在一种可替换的实施方式中，所述获取该第三方系统反馈的任务节点执行结果和运行日志，包括：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
本发明实施例的第二方面，提供了一种基于数据中台接入第三方系统的装置，应用于数据中台，所述数据中台与多个第三方系统通信，所述装置至少包括：
创建模块，用于在所述数据中台中创建第一项目；
验证模块，用于针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
编辑模块，用于在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
下发模块，用于针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
在一种可替换的实施方式中，所述验证模块，用于：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
在一种可替换的实施方式中，所述验证模块，用于：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
在一种可替换的实施方式中，所述下发模块，用于：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
本发明实施例的第三方面，提供了一种数据中台，包括处理器以及与所述处理器连接的存储器和总线；其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的基于数据中台接入第三方系统的方法。
本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的基于数据中台接入第三方系统的方法。
本发明实施例所提供的一种基于数据中台接入第三方系统的方法、装置及数据中台，能够首先在数据中台中创建第一项目，然后基于通过鉴权验证的第三方系统的目标接口在该第三系统中创建与第一项目对应的第二项目，并基于在数据中台中根据所述第一项目创建第一目标工作流并基于第三方系统的第二项目生成第三方任务节点，进而确定出第三方系统对应的第二目标工作流。进一步地，将第三方系统对应的第二目标工作流下发给该第三方系统，并获取该第三方系统反馈的任务节点执行结果和运行日志。如此，能够实现数据中台与多个第三方系统的兼容，数据中台只需将第二目标工作流进行下发即可，无需在数据中台和多个第三方系统之间来回切换并重复地导入和导出数据进行数据处理，极大地减少了开发成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种基于数据中台接入第三方系统的方法的流程图。
图2为本发明实施例所提供的一种基于数据中台接入第三方系统的装置的功能模块框图。
图3为本发明实施例所提供的一种数据中台的方框示意图。
图标：
200-基于数据中台接入第三方系统的装置；201-创建模块；202-验证模块；203-编辑模块；204-下发模块；300-数据中台；301-处理器；302-总线；303-存储器。
具体实施方式
下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
图1为根据本发明一个实施例提供的基于数据中台接入第三方系统的方法的流程图，所述数据中台与多个第三方系统通信，该方法可以包括以下内容：
步骤S21，在所述数据中台中创建第一项目。
步骤S22，针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目。
步骤S23，在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流。
步骤S24，针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
可以理解，通过步骤S21-步骤S24，能够首先在数据中台中创建第一项目，然后基于通过鉴权验证的第三方系统的目标接口在该第三系统中创建与第一项目对应的第二项目，并基于在数据中台中根据所述第一项目创建第一目标工作流并基于第三方系统的第二项目生成第三方任务节点，进而确定出第三方系统对应的第二目标工作流，进一步地，将第三方系统对应的第二目标工作流下发给该第三方系统，并获取该第三方系统反馈的任务节点执行结果和运行日志。如此，能够实现数据中台与多个第三方系统的兼容，数据中台只需将第二目标工作流进行下发即可，无需在数据中台和多个第三方系统之间来回切换并重复地导入和导出数据进行数据处理，极大地减少了开发成本。
在具体实施时，为了确保数据中台和第三方系统之间的数据安全性，需要对每个第三方系统进行验证，为此，在步骤S22中，所述通过安全验证接口对该第三方系统进行鉴权验证，具体可以包括以下内容：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息。
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率。
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数。
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
可以理解，通过上述内容，能够根据第三方系统的系统地址信息对每个第三方系统进行鉴权验证，从而确保与数据中台通信的第三方平台是通过鉴权验证的，如此，能够确保数据中台和第三方系统之间的数据安全性。
在具体实施时，为了确保第三方系统能够准确、可靠地执行任务节点，在步骤S22中，所述在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目，具体可以包括以下内容：
确定该第三方系统对应的目标接口的接口类型信息。
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表。
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据。
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型。
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息。
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
可以理解，通过上述内容，能够根据第三方系统对应的目标接口的接口类型信息在该第三方系统中创建与第一项目对应的第二项目。如此，能够确保第三方系统能够准确、可靠地执行任务节点。
在具体实施时，为了确保数据中台能够及时、准确地获取每个第三方系统反馈的任务节点执行结果，在步骤S24中，所述获取该第三方系统反馈的任务节点执行结果和运行日志，具体可以包括以下内容：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令。
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令。
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
可以理解，通过上述内容，能够使处于任务节点执行状态的目标第三方系统在发送任务节点执行结果和运行日志之前对任务节点执行结果和运行日志进行拆分，然后将拆分得到的数据块进行发送，如此，避免了将任务节点执行结果和运行日志直接进行发送，有效提高了传输效率，从而确保数据中台能够及时、准确地获取每个第三方系统反馈的任务节点执行结果。
可选地，在具体实施时，可能会对数据中台的第一项目进行修改，在这种情况下，为了确保第三方系统能够及时对第二目标工作流中的第三方任务节点进行调整和修改，在步骤S21-步骤S24的基础上，具体还可以包括以下内容：
检测所述数据中台中是否存在针对所述第一项目的修改事件。
在检测到所述数据中台中存在针对所述第一项目的所述修改事件时，确定出所述修改事件的结构化描述，并根据所述结构化描述确定出对所述第一项目进行修改之后的修改参数清单。
分别确定出所述第一项目在所述修改参数清单中的第一映射数值、所述第二项目在所述修改参数清单中的第二映射数值、所述第一目标工作流在所述修改参数清单中的第三映射数值以及所述第二目标工作流清单在所述修改参数清单中的第四映射数值。
根据所述第一映射数值、所述第二映射数值、所述第三映射数值和所述第四映射数值确定出每个第三方系统对应的第三方任务节点的修改逻辑信息。
向每个第三方系统发送对应的修改逻辑信息以使每个第三方系统根据对应的修改逻辑信息对每个第三方系统对应的第三方任务节点进行修改。
可以理解，通过上述内容，能够在检测到数据中台中存在针对第一项目的修改事件时根据确定出的修改事件的结构化描述确定出对第一项目进行修改之后的修改参数清单，并基于该修改参数清单确定出每个第三方系统对应的第三方任务节点的修改逻辑信息，进而向每个第三方系统发送对应的修改逻辑信息以使每个第三方系统根据对应的修改逻辑信息对每个第三方系统对应的第三方任务节点进行修改。如此，能够在第一项目存在修改时确保第三方系统能够及时对第二目标工作流中的第三方任务节点进行调整和修改，从而实现数据中台和第三方系统之间的同步性。
在上述基础上，本发明实施例提供了一种基于数据中台接入第三方系统的装置200。图2为根据本发明一个实施例提供的一种基于数据中台接入第三方系统的装置200的功能模块框图，该基于数据中台接入第三方系统的装置200包括：
创建模块201，用于在所述数据中台中创建第一项目；
验证模块202，用于针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
编辑模块203，用于在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
下发模块204，用于针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
在一种可替换的实施方式中，所述验证模块202，用于：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
在一种可替换的实施方式中，所述验证模块202，用于：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
在一种可替换的实施方式中，所述下发模块204，用于：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
所述数据中台300包括处理器和存储器，上述创建模块201、验证模块202、编辑模块203和下发模块204等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数实现数据中台与多个第三方系统的兼容，无需在数据中台和多个第三方系统之间来回切换并重复地导入和导出数据进行数据处理，极大地减少开发成本。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述基于数据中台接入第三方系统的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行的所述基于数据中台接入第三方系统的方法如下：
一种基于数据中台接入第三方系统的方法，应用于数据中台，所述数据中台与多个第三方系统通信，所述方法至少包括：
在所述数据中台中创建第一项目；
针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
可选地，所述通过安全验证接口对该第三方系统进行鉴权验证，包括：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
可选地，所述在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目，包括：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
可选地，所述获取该第三方系统反馈的任务节点执行结果和运行日志，包括：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
本发明实施例中，如图3所示，数据中台300包括至少一个处理器301、以及与处理器301连接的至少一个存储器303、总线；其中，处理器301、存储器303通过总线302完成相互间的通信；处理器301用于调用存储器303中的程序指令，以执行上述的基于数据中台接入第三方系统的方法。本文中的数据中台300可以是数据中台、PC、PAD、手机等。
本申请是参照根据本申请实施例的方法、数据中台（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理数据中台的处理器以产生一个机器，使得通过计算机或其他可编程数据处理数据中台的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，数据中台包括一个或多个处理器(CPU)、存储器和总线。数据中台还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储数据中台或任何其他非传输介质，可用于存储可以被计算数据中台访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者数据中台不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者数据中台所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者数据中台中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于数据中台接入第三方系统的方法，其特征在于，应用于数据中台，所述数据中台与多个第三方系统通信，所述方法至少包括：
在所述数据中台中创建第一项目；
针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
2.根据权利要求1所述的基于数据中台接入第三方系统的方法，其特征在于，所述通过安全验证接口对该第三方系统进行鉴权验证，包括：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
3.根据权利要求1所述的基于数据中台接入第三方系统的方法，其特征在于，所述在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目，包括：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
4.根据权利要求1所述的基于数据中台接入第三方系统的方法，其特征在于，所述获取该第三方系统反馈的任务节点执行结果和运行日志，包括：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
5.一种基于数据中台接入第三方系统的装置，其特征在于，应用于数据中台，所述数据中台与多个第三方系统通信，所述装置至少包括：
创建模块，用于在所述数据中台中创建第一项目；
验证模块，用于针对每个第三方系统，通过安全验证接口对该第三方系统进行鉴权验证；在该第三方系统通过鉴权验证时，通过该第三方系统对应的目标接口在该第三方系统中创建与所述第一项目对应的第二项目；
编辑模块，用于在所述数据中台中根据所述第一项目创建第一目标工作流；针对通过鉴权验证的每个第三方系统，根据所述第一目标工作流以及该第三方系统对应的第二项目生成该第三方系统的第三方任务节点，并基于所述第一目标工作流编辑该第三方系统的第三方任务节点，得到该第三方系统对应的第二目标工作流；
下发模块，用于针对每个第三方系统，将该第三方系统对应的第二目标工作流下发给该第三方系统，以使得该第三方系统执行该第三方系统对应的第二目标工作流中的第三方任务节点并获取该第三方系统反馈的任务节点执行结果和运行日志。
6.根据权利要求5所述的基于数据中台接入第三方系统的装置，其特征在于，所述验证模块，用于：
针对每个第三方系统，确定基于该第三方系统所获取到的系统地址信息；
针对所述系统地址信息中的当前系统地址信息，基于当前系统地址信息在预设时长内被调用的第一累计值以及各所述系统地址信息在所述预设时长内被调用的第二累计值，确定当前系统地址信息在所述预设时长内的调用比率；
根据当前系统地址信息在两个相邻的预设时长内的调用比率确定当前系统地址信息在两个相邻的预设时长段之间被调用的累计值调整系数；
根据所述调用比率和所述累计值调整系数确定该第三方系统是否通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值落入预设特征区间时，确定该第三方系统通过鉴权验证；在根据所述调用比率和所述累计值调整系数确定出的鉴权特征值未落入所述预设特征区间时，确定该第三方系统未通过鉴权验证。
7.根据权利要求5所述的基于数据中台接入第三方系统的装置，其特征在于，所述验证模块，用于：
确定该第三方系统对应的目标接口的接口类型信息；
从确定出的接口类型信息中采集多个可编码的第一数据和每个第一数据的编码逻辑表；
从所述多个可编码的第一数据中确定出多个与预设基准数据相匹配的数据，以得到多个第三数据；
分别确定出每个第三数据的数据类型权重；针对每两个第三数据类型权重，确定每两个数据类型权重之间的权重差值；统计落入预设权重区间内的每个权重差值对应的第三数据类型，得到至少两个目标数据类型；
确定出所述第一项目的第一项目结构信息并根据至少两个目标数据类型对所述第一项目结构信息进行调整，得到第二项目结构信息；
根据该第三方系统的配置参数对所述第二项目结构信息进行实例化，得到与所述第一项目对应的所述第二项目。
8.根据权利要求5所述的基于数据中台接入第三方系统的装置，其特征在于，所述下发模块，用于：
针对处于任务节点执行状态的目标第三方系统，根据所述目标第三方系统的系统架构信息生成与所述目标第三方系统对应的传输拆分前置指令并向所述目标第三方系统发送所述传输拆分前置指令；
在向所述目标第三方系统发送了所述传输拆分前置指令后，基于所述传输拆分前置指令生成对应的接收整合后置指令；
在接收到所述目标第三方系统发送的基于所述传输拆分前置指令对所述任务节点执行结果和所述运行日志进行拆分得到的数据块时，按照所述接收整合后置指令对所述数据块进行恢复，得到所述任务节点执行结果和所述运行日志。
9.一种数据中台，其特征在于，包括处理器以及与所述处理器连接的存储器和总线；其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述权利要求1-4任一项所述的基于数据中台接入第三方系统的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时实现上述权利要求1-4任一项所述的基于数据中台接入第三方系统的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010207.2A CN110798490B (zh) | 2020-01-06 | 2020-01-06 | 基于数据中台接入第三方系统的方法、装置及数据中台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010010207.2A CN110798490B (zh) | 2020-01-06 | 2020-01-06 | 基于数据中台接入第三方系统的方法、装置及数据中台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110798490A CN110798490A (zh) | 2020-02-14 |
| CN110798490B true CN110798490B (zh) | 2020-04-21 |
Family
ID=69448471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010010207.2A Active CN110798490B (zh) | 2020-01-06 | 2020-01-06 | 基于数据中台接入第三方系统的方法、装置及数据中台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110798490B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111865931B (zh) * | 2020-06-29 | 2023-04-07 | 北京明略软件系统有限公司 | 数据中台的安全控制方法、装置及计算机可读存储介质 |
| CN112487333A (zh) * | 2020-11-30 | 2021-03-12 | 深圳供电局有限公司 | 一种基于微服务的数据中台的设计方法及系统 |
| CN113297218B (zh) * | 2021-05-20 | 2022-01-07 | 广州光点信息科技有限公司 | 一种多系统数据交互方法、装置及系统 |
| CN115878648B (zh) * | 2023-02-22 | 2023-05-05 | 成都成电医星数字健康软件有限公司 | 数据逻辑时序自动调整方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694664A (zh) * | 2018-06-05 | 2018-10-23 | 阿里巴巴集团控股有限公司 | 业务系统的核对方法及装置、电子设备 |
| CN110020934A (zh) * | 2019-04-17 | 2019-07-16 | 王亚萍 | 一种电子税务局系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10409786B2 (en) * | 2016-09-19 | 2019-09-10 | Microsoft Technology Licensing, Llc | Deployment of applications confirming to application data sharing and decision service platform schema |
| CN106548327A (zh) * | 2016-11-09 | 2017-03-29 | 国云科技股份有限公司 | 一种工作流系统与其它第三方系统集成的方法 |
| CN109660574B (zh) * | 2017-10-10 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 数据提供方法及装置 |
| CN109034617A (zh) * | 2018-07-26 | 2018-12-18 | 国网浙江省电力有限公司温州供电公司 | 基于大数据的配电网指标分析方法及系统 |
| CN109803057B (zh) * | 2018-12-19 | 2020-10-30 | 北京仁科互动网络技术有限公司 | CTI适配器、SaaS应用系统及方法 |
| CN110175027A (zh) * | 2019-05-14 | 2019-08-27 | 广州衡昊数据科技有限公司 | 一种开发业务功能的方法和装置 |
| CN110427388A (zh) * | 2019-06-28 | 2019-11-08 | 卓尔智联(武汉)研究院有限公司 | 一种数据处理方法及装置、存储介质 |
-
2020
- 2020-01-06 CN CN202010010207.2A patent/CN110798490B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694664A (zh) * | 2018-06-05 | 2018-10-23 | 阿里巴巴集团控股有限公司 | 业务系统的核对方法及装置、电子设备 |
| CN110020934A (zh) * | 2019-04-17 | 2019-07-16 | 王亚萍 | 一种电子税务局系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110798490A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110798490B (zh) | 基于数据中台接入第三方系统的方法、装置及数据中台 | |
| CN110768912B (zh) | Api网关限流方法及装置 | |
| CN106649788B (zh) | 一种数据库数据传输方法与装置 | |
| CN108933713B (zh) | 基于影子链路实现沙箱调试的方法、装置及业务服务器 | |
| JP2019517040A (ja) | クラウドプラットフォームベースのクライアントアプリケーション情報統計方法および装置 | |
| CN113037831B (zh) | 一种服务网关报文处理方法及装置 | |
| CN107104923B (zh) | 一种账号绑定和业务处理的方法及装置 | |
| CN104346365A (zh) | 确定与特定业务相关的关联日志的方法和装置 | |
| CN112241362A (zh) | 一种测试方法、装置、服务器及存储介质 | |
| CN110958278B (zh) | 基于api网关实现的数据处理方法、系统和api网关 | |
| CN112491943A (zh) | 数据请求方法、装置、存储介质和电子设备 | |
| CN109542401B (zh) | 一种Web开发方法、装置、存储介质及处理器 | |
| CN114895851A (zh) | 数据处理方法、装置、存储介质以及电子设备 | |
| CN115374086A (zh) | 一种基于消息队列的数据迁移方法、装置、设备及介质 | |
| CN113792275A (zh) | 密码更新方法及装置、存储介质及电子设备 | |
| CN114979236A (zh) | 数据传输方法、装置、存储介质以及电子设备 | |
| CN113807969A (zh) | 一种业务系统并行验证方法及相关设备 | |
| CN109561123B (zh) | 令牌token的缓存方法及装置 | |
| CN108063679B (zh) | 一种云管理平台的升级方法及装置 | |
| CN111045812A (zh) | 一种区块链智能合约反向调用方法、设备及介质 | |
| CN110635963B (zh) | 网络状态检测方法和装置 | |
| CN110536325B (zh) | 一种提高车载智能设备通信连接成功率的方法 | |
| CN113055419B (zh) | 一种信息发送方法及装置 | |
| CN110851750B (zh) | 一种数据获取方法及装置 | |
| CN112579060A (zh) | 类库构建方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for accessing third-party system based on data middle station and data center station Effective date of registration: 20200715 Granted publication date: 20200421 Pledgee: Bank of China Limited Dongshan Branch of Guangzhou Pledgor: GUANGZHOU OCS INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2020440000197 |
|
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: No. 222, 2nd floor, building 3, No. 19, Shenzhou Road, Huangpu District, Guangzhou, Guangdong 510000 Patentee after: GUANGZHOU OCS INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 610, 612, 616, 601, building 5, No. 33, science Avenue, Science City, Guangzhou high tech Industrial Development Zone, Guangdong 510700 Patentee before: GUANGZHOU OCS INFORMATION TECHNOLOGY Co.,Ltd. |