CN117093634A - 数据接入处理方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种数据接入处理方法、系统、设备及介质，其中，数据接入处理方法通过基于预设训练目标配置数据获取请求；响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，从而能够实现不同外部数据接口自动化获取数据落库，并实时协同模型计算输出满足所述预设训练目标的目标模型。

Description

数据接入处理方法、系统、设备及介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据接入处理方法、数据接入处理系统、电子设备及存储介质。

背景技术

随着信息技术的发展，数据处理成为现代企业和组织的重要组成部分。数据来源的多样性和数据格式的不统一使得数据接入成为数据处理中一个必须面对的难题。传统的数据接入方法往往需要大量的人力和时间，而且容易出现数据转换错误和数据安全问题。

对于金融机构来说，一般情况下数据分为内部和外部数据，相比较内部数据，外部数据量更大、来源更多、结构更复杂，导致从数据接入到实现价值的整个生命周期困难重重，既有很高的技术门槛，又无法保障质量，企业想达到“知数善用”并不容易。而在开展银行类授信项目时，用户或者企业的授信模型计算往往会依赖很多外部数据源，在实际项目开发数据对接过程中会出现很多问题：(1)每一个接口都需要进行单独的定制化开发，对接流程繁琐，开发及联调工作量大，且后期管理难度大维护成本高；(2)数据接入时间成本高，外部数据接口接入时花费时间较长，联机查询数据后数据返回缓慢；(3)当业务系统重复接入时，会导致代码维护工作量非常大，难以实现接口接入的有效监管；(4)外部数据质量检测过程繁杂，难以把控接入的外部数据质量；(5)外部接口数据不能动态支持模型计算，使得数据接入后处理过程繁杂，处理结果准确率低难以满足模型计算需求。

发明内容

发明要解决的技术问题是为了克服现有技术中的上述缺陷，提供一种数据接入处理方法、数据接入处理系统、电子设备及存储介质。

本发明提供一种数据接入处理方法，所述数据接入处理方法包括：

基于预设训练目标配置数据获取请求；

响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

较佳地，所述数据接入处理方法，还包括：

判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

若是，则从所述接口返回表调用对应的所述目标接口；

若否，则从所述第三方数据源获取对应的所述目标接口。

较佳地，所述判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口，包括：

判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

和/或，

所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

较佳地，所述基于预设训练目标配置数据获取请求，包括：

响应所述预设训练目标，创建数据获取请求对应的配置界面；

基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

本发明还提供一种数据接入处理系统，所述数据接入处理系统包括：

配置模块，基于预设训练目标配置数据获取请求；

接口获取模块，响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

数据解析模块，解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

训练模块，从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

较佳地，所述数据接入处理系统，还包括：

判断模块，判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

若是，则从所述接口返回表调用对应的所述目标接口；

若否，则从所述第三方数据源获取对应的所述目标接口。

较佳地，所述判断模块，判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

和/或，

所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

较佳地，所述配置模块，响应所述预设训练目标，创建数据获取请求对应的配置界面；

基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上所述的数据接入处理方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据接入处理方法。

本发明的积极进步效果在于：通过基于预设训练目标配置数据获取请求；响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，从而能够实现不同外部数据接口自动化获取数据落库，并实时协同模型计算输出满足所述预设训练目标的目标模型。

附图说明

图1为本发明实施例提供的数据接入处理方法的第一流程示意图。

图2为本发明实施例提供的数据接入处理方法的第二流程示意图。

图3为本发明实施例提供的数据接入处理方法的第三流程示意图。

图4为本发明实施例提供的数据接入处理系统的模块示意图。

图5为本发明实施例提供的实现数据接入处理方法的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

在本文提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在文中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本文中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本文中的包括的定义，如这里所使用的术语“具有”、“可以具有”、“包括”或“可以包括”指示本文的相应功能、操作、元件等的存在，并且不限制其它的一个或多个功能、操作、元件等的存在。此外应当理解到，如这里所使用的术语“包括”或“具有”是指示在说明书中所描述的特点、数字、步骤、操作、元件、部件或其组合的存在，而不排除一个或多个其它特点、数字、步骤、操作、元件、部件或其组合的存在或增加。

本文中和/或的定义，如这里所使用的术语“A或B”、“A和/或B的至少之一”或“A和/或B的一个或多个”包括与其一起列举的单词的任意和所有组合。例如，“A或B”、“A和B的至少之一”或“A或B的至少之一”意味着(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B两者。

本文中第一、第二的定义，本文中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本文中对设备个数的特别限定，不能构成对本文的任何限制。例如，可以将第一元件称为第二元件，而没脱离本公开的范围，类似地，可以将第二元件称为第一元件。

本文中连接的定义，将理解到，当将元件(例如，第一元件)“连接到”或“(操作性地或通信性地)耦接到”另一元件(例如，第二元件)时，可以将所述元件直接连接或耦接到另一元件，并且在所述元件与另一元件之间可以有中间元件(例如，第三元件)。相反，将理解到，当将元件(例如，第一元件)“直接连接到”或“直接耦接到”另一元件(例如，第二元件)时，在所述元件与另一元件之间没有中间元件(例如，第三元件)。

本文中使用了流程图用来说明根据本文的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

现有技术中，在，用户或者企业的授信模型计算往往会依赖很多外部数据源，在实际项目开发数据对接过程中会出现很多问题：(1)每一个接口都需要进行单独的定制化开发，对接流程繁琐，开发及联调工作量大，且后期管理难度大维护成本高；(2)数据接入时间成本高，外部数据接口接入时花费时间较长，联机查询数据后数据返回缓慢；(3)当业务系统重复接入时，会导致代码维护工作量非常大，难以实现接口接入的有效监管；(4)外部数据质量检测过程繁杂，难以把控接入的外部数据质量；(5)外部接口数据不能动态支持模型计算，使得数据接入后处理过程繁杂，处理结果准确率低难以满足模型计算需求，基于此，本实施例提供一种数据接入处理方法，如图1所示，本实施例的数据接入处理方法包括：

S101、基于预设训练目标配置数据获取请求。

本实施例中，接入方可以为企业、组织、机构等，被接入方可以向接入方提供服务。当接入方需要与被接入方建立数据交互时，可以向被接入方发出接入请求，进而接入方可以基于预设训练目标配置数据获取请求。

通过预设训练目标，可以根据具体需求配置数据获取请求，以满足特定的训练目标。

S102、响应于数据获取请求从第三方数据源获取至少一个目标接口，并将目标接口存储至接口返回表中。

本实施例中，根据实际需求选择第三方数据源，第三方数据源包括但不限于数据库、文件系统、云存储等等。若接入方为银行时，则需要对第三方数据源进行数据整合和分类，例如，第三方数据源可以包括市场数据、交易数据、客户数据等。在此基础上，进一步细化数据来源，例如行业数据、个股数据、外汇数据、债券数据等，本实施例对此不做限制。

根据数据获取请求，从第三方数据源获取目标接口，并将其存储到接口返回表中，确保获取到所需的数据接口信息。

S103、解析接口返回表中的各个目标接口，以获取与目标接口对应的目标数据，并将目标数据存储至对应的数据返回表中。

通过解析接口返回表，可以准确提取与目标接口对应的目标数据，确保获得所需的数据内容。

获取接口返回表中为解析的数据，对应到不同的接口去解析返回的数据，并保存到每条数据对应的数据返回表中。只需要开发或者管理员在页面或者数据库中配置所需调用接口名、被调用方和调用方双方相互匹配的字段名，即可实现自动化落库，无需再写额外代码。从而，在有巨量的调用第三方接口并落库的需求时，通过本实施例不仅可以实现当前外部数据接口分钟级接入，支撑数据高效接入；在联机查询数据后可实时存储到本地库，快速返回数据。而如果按照现有技术实施，不仅接口数量繁多，每对接一个接口就需要写很长的代码，代码冗余大，效率不高。

还需要说明的是，在将目标数据存储至对应的数据返回表中，可以根据数据格式和内容对数据进行解析，并进行必要的转换，使得数据符合目标格式。例如，可以进行数据清洗和预处理，包括数据去重、数据格式化、数据标准化等等。又例如，对数据进行加密、压缩和传输，以保证数据的安全性和完整性。

S104、从各个数据返回表通过预设调用模板调用目标数据以对待训练模型库进行协同训练，输出满足预设训练目标的目标模型。

通过提供不同的预设调用模板，可以适应不同的数据处理需求，提供更灵活和多样化的数据处理方式。

需要说明的是，本实施例的待训练模型库中包括基于预设训练目标预先配置好的模型，也可以是现有技术中存在的模型，本实施例对此不做限制。

对于外部来源的数据，其数据量更大，且来源更加复杂，涉及不同的数据类型，而在本实施例中，通过从各个数据返回表通过预设调用模板调用目标数据以对待训练模型库进行协同训练，输出满足预设训练目标的目标模型，从而能够根据外部数据接口数据动态支持模型计算，获取结果时效性更快、准确性高，实现了数据接入即可以自动计算和训练模型，并输出满足预设训练目标的目标模型，大大提高了数据接入以及后续处理的效率。

还需要说明的是，本实施例还可以获取数据库数据，对数据进行数据处理，如异常值处理、缺失值处理、归一化、标准化处理、分箱处理等；引用数据分析包快速以图形化将数据进行展示，快速掌握数据表现情况，对其进行特征工程、模型自动化选型等等。

作为本实施例的一种可选的实施方式，如图2所示，本实施例的数据接入处理方法，还包括：

S201、判断接口返回表中是否具有与数据获取请求相匹配的目标接口。若是，则执行步骤S202，若否，则执行步骤S203。

作为本实施例的另一种可选的实施方式，步骤S201，包括：

S2011、判断接口返回表中是否具有与数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口。

通过判断接口返回表中的字段名、编码、名称、地址等类型，可以确定是否存在与数据获取请求相匹配的目标接口，提高接口匹配的准确性。

S202、则从接口返回表调用对应的目标接口。

S203、则从第三方数据源获取对应的目标接口。

具体地，如果接口返回表中，已保存对应的目标接口，则可以直接调用，而无需再次获取一遍，避免重复获取相同的目标接口数据，有效减少了接口的获取工作量。

作为本实施例的一种可选的实施方式，如图3所示，本实施例的步骤S101，包括：

S1011、响应预设训练目标，创建数据获取请求对应的配置界面。

S1012、基于配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成数据获取请求的配置。

通过配置界面，可以灵活地设置任务执行周期、接口表、接口参数、接口字段、执行结果等参数，实现对数据获取请求的定制化配置，满足具体的数据获取需求。

例如，可以通过cron表达式获取任务执行周期，并记录每一次执行任务的情况，而在任务开始执行后，通过配置的请求接口将请求参数灵活配置，向接口发送请求获取的数据保存到接口返回表中。

进一步地，可以利用交互设备创建数据获取请求对应的配置界面，通过可视化配置节点的自定义拖拉拽，配置数据获取请求中任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种。从而可以实现，源于数据编排功能，开发人员可以通过对接口自由编排配置组合，同时支持串行、并行、树型调用等多种模板配置方式，可以快速发布为数据服务，有效降低需求开发压力。

在一个具体例子中，以银行为例，对需要整合的数据进行分类，包括市场数据、交易数据、客户数据等。在此基础上，进一步细化数据来源，例如行业数据、个股数据、外汇数据、债券数据等。之后确定每个数据来源的接口类型，例如API接口、FTP接口、SOAP接口等。根据不同的接口类型，可以采用不同的技术手段建立与数据来源的接口。使用相应的技术手段建立与每个数据来源交互的接口，确保能够正常获取和发送数据。将不同数据来源的数据格式标准化，使得整合后的数据格式一致。这可以通过数据清洗和转换实现，例如去除重复数据、转换数据类型、格式化数据等。建立一个数据整合平台，将来自不同数据来源的数据整合到一个数据仓库中。这个数据仓库可以是关系型数据库、非关系型数据库或者数据仓库等。对整合后的数据进行清洗和预处理，以便更好地进行数据分析和应用。数据清洗包括数据去重、数据筛选、数据转换等；数据预处理包括数据归一化、数据标准化、数据缺失值处理等。建立查询接口，使得银行员工和系统能够查询和使用整合后的数据。这个查询接口可以是Web API接口、RESTful接口、SOAP接口等。需要对整合后的数据进行安全管理和权限控制，确保敏感数据不被泄露。这可以通过数据加密、访问控制、审计等措施实现。可以使用整合后的数据进行数据分析和应用，例如预测客户需求、风险评估、投资分析等。这可以采用数据挖掘、机器学习、统计分析等技术实现。

与上面介绍的数据接入处理方法对应地，本实施例还提供了一种数据接入处理系统。下面将分别进行介绍。具体地，如图4所示，本实施例的数据接入处理系统包括：

配置模块1，基于预设训练目标配置数据获取请求。

本实施例中，接入方可以为企业、组织、机构等，被接入方可以向接入方提供服务。当接入方需要与被接入方建立数据交互时，可以向被接入方发出接入请求，进而接入方可以基于预设训练目标配置数据获取请求。

通过预设训练目标，可以根据具体需求配置数据获取请求，以满足特定的训练目标。

接口获取模块2，响应于数据获取请求从第三方数据源获取至少一个目标接口，并将目标接口存储至接口返回表中。

本实施例中，根据实际需求选择第三方数据源，第三方数据源包括但不限于数据库、文件系统、云存储等等。若接入方为银行时，则需要对第三方数据源进行数据整合和分类，例如，第三方数据源可以包括市场数据、交易数据、客户数据等。在此基础上，进一步细化数据来源，例如行业数据、个股数据、外汇数据、债券数据等，本实施例对此不做限制。

根据数据获取请求，从第三方数据源获取目标接口，并将其存储到接口返回表中，确保获取到所需的数据接口信息。

数据解析模块3，解析接口返回表中的各个目标接口，以获取与目标接口对应的目标数据，并将目标数据存储至对应的数据返回表中。

通过解析接口返回表，可以准确提取与目标接口对应的目标数据，确保获得所需的数据内容。

获取接口返回表中为解析的数据，对应到不同的接口去解析返回的数据，并保存到每条数据对应的数据返回表中。只需要开发或者管理员在页面或者数据库中配置所需调用接口名、被调用方和调用方双方相互匹配的字段名，即可实现自动化落库，无需再写额外代码。从而，在有巨量的调用第三方接口并落库的需求时，通过本实施例不仅可以实现当前外部数据接口分钟级接入，支撑数据高效接入；在联机查询数据后可实时存储到本地库，快速返回数据。而如果按照现有技术实施，不仅接口数量繁多，每对接一个接口就需要写很长的代码，代码冗余大，效率不高。

还需要说明的是，在将目标数据存储至对应的数据返回表中，可以根据数据格式和内容对数据进行解析，并进行必要的转换，使得数据符合目标格式。例如，可以进行数据清洗和预处理，包括数据去重、数据格式化、数据标准化等等。又例如，对数据进行加密、压缩和传输，以保证数据的安全性和完整性。

训练模块4，从各个数据返回表通过预设调用模板调用目标数据以对待训练模型库进行协同训练，输出满足预设训练目标的目标模型。

通过提供不同的预设调用模板，可以适应不同的数据处理需求，提供更灵活和多样化的数据处理方式。

需要说明的是，本实施例的待训练模型库中包括基于预设训练目标预先配置好的模型，也可以是现有技术中存在的模型，本实施例对此不做限制。

对于外部来源的数据，其数据量更大，且来源更加复杂，涉及不同的数据类型，而在本实施例中，通过从各个数据返回表通过预设调用模板调用目标数据以对待训练模型库进行协同训练，输出满足预设训练目标的目标模型，从而能够根据外部数据接口数据动态支持模型计算，获取结果时效性更快、准确性高，实现了数据接入即可以自动计算和训练模型，并输出满足预设训练目标的目标模型，大大提高了数据接入以及后续处理的效率。

还需要说明的是，本实施例还可以获取数据库数据，对数据进行数据处理，如异常值处理、缺失值处理、归一化、标准化处理、分箱处理等；引用数据分析包快速以图形化将数据进行展示，快速掌握数据表现情况，对其进行特征工程、模型自动化选型等等。

作为本实施例的一种可选的实施方式，数据接入处理系统，还包括：

判断模块5，判断接口返回表中是否具有与数据获取请求相匹配的目标接口。

判断模块5，判断接口返回表中是否具有与数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口。

通过判断接口返回表中的字段名、编码、名称、地址等类型，可以确定是否存在与数据获取请求相匹配的目标接口，提高接口匹配的准确性。

若是，则从接口返回表调用对应的目标接口。

若否，则从第三方数据源获取对应的目标接口。

具体地，如果接口返回表中，已保存对应的目标接口，则可以直接调用，而无需再次获取一遍，避免重复获取相同的目标接口数据，有效减少了接口的获取工作量。

作为本实施例的一种可选的实施方式，配置模块1，响应预设训练目标，创建数据获取请求对应的配置界面。

基于配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成数据获取请求的配置。

通过配置界面，可以灵活地设置任务执行周期、接口表、接口参数、接口字段、执行结果等参数，实现对数据获取请求的定制化配置，满足具体的数据获取需求。

例如，可以通过cron表达式获取任务执行周期，并记录每一次执行任务的情况，而在任务开始执行后，通过配置的请求接口将请求参数灵活配置，向接口发送请求获取的数据保存到接口返回表中。

进一步地，可以利用交互设备创建数据获取请求对应的配置界面，通过可视化配置节点的自定义拖拉拽，配置数据获取请求中任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种。从而可以实现，源于数据编排功能，开发人员可以通过对接口自由编排配置组合，同时支持串行、并行、树型调用等多种模板配置方式，可以快速发布为数据服务，有效降低需求开发压力。

从而，本实施例的数据接入处理方法或系统相较于现有的数据接入方法，时间成本有效缩短当前外部数据接口分钟级接入，支撑数据高效接入；在联机查询数据后可实时存储到本地库，快速返回数据。需求开发压力有效降低。源于数据编排配置功能，开发人员可以通过对接口自由编排组合，同时支持串行、并行、树型调用等多种模板配置方式，可以快速发布为数据服务，有效降低需求开发压力。重复开发量有效减少，传统的外部数据管理方式上，因多业务系统重复接入，致使代码维护工作量非常大。基于外部数据管理平台，可以实现对接口接入有效管控，促使重复开发量大幅度减少。外部数据质量有效把控，通过灵活配置质量评估规则，达到自动检测外部数据质量和各外部服务商数据服务质量的效果，提升外部数据质量的把控能力。根据外部数据接口数据动态支持模型计算，获取结果时效性更快、准确性高。

还需要说明的是，本实施例的数据接入处理系统，例如可以是：单独的芯片、芯片模组或电子设备，也可以是集成于电子设备内的芯片或者芯片模组。关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

图5为本实施例提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述实施例中的数据接入处理方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33包括数据总线、地址总线和控制总线。

存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明如上所述的数据接入处理方法。

电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例的数据接入处理方法中的步骤。

其中，可读存储介质可以采用更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现如上所述的数据接入处理方法中的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种数据接入处理方法，其特征在于，所述数据接入处理方法包括：

基于预设训练目标配置数据获取请求；

响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

2.如权利要求1所述的数据接入处理方法，其特征在于，所述数据接入处理方法，还包括：

判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

若是，则从所述接口返回表调用对应的所述目标接口；

若否，则从所述第三方数据源获取对应的所述目标接口。

3.如权利要求2所述的数据接入处理方法，其特征在于，所述判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口，包括：

判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

和/或，

所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

4.如权利要求1中所述的数据接入处理方法，其特征在于，所述基于预设训练目标配置数据获取请求，包括：

响应所述预设训练目标，创建数据获取请求对应的配置界面；

基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

5.一种数据接入处理系统，其特征在于，所述数据接入处理系统包括：

配置模块，基于预设训练目标配置数据获取请求；

接口获取模块，响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

数据解析模块，解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

训练模块，从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

6.如权利要求1所述的数据接入处理系统，其特征在于，所述数据接入处理系统，还包括：

判断模块，判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

若是，则从所述接口返回表调用对应的所述目标接口；

若否，则从所述第三方数据源获取对应的所述目标接口。

7.如权利要求6所述的数据接入处理系统，其特征在于，所述判断模块，判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

和/或，

所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

8.如权利要求1中所述的数据接入处理系统，其特征在于，所述配置模块，响应所述预设训练目标，创建数据获取请求对应的配置界面；

基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1-4中任一项所述的数据接入处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的数据接入处理方法。