CN113407327A - 一种建模任务和数据分析的方法、装置、电子设备及系统 - Google Patents

Abstract

本发明公开了一种建模任务和数据分析的方法、装置、电子设备及系统，该方法包括：获取建模子任务的任务配置文件；基于建模子任务的配置文件对建模子任务进行调度，生成建模子任务的配置信息；基于配置信息及建模子任务所处的部署环境信息，生成建模子任务的启动脚本；基于建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行建模子任务，得到目标模型，联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

Description

一种建模任务和数据分析的方法、装置、电子设备及系统

技术领域

本发明涉及机器学习技术领域，具体涉及一种建模任务和数据分析的方法、装置、电子设备及系统。

背景技术

随着机器学习的普及，数据隐私保护的意识越来越强，联邦学习应运而生。使用联邦学习进行产品开发时，通常需要同时使用多个开源框架实现联邦学习计算，然而目前不同框架之间存在不兼容的问题，且多套框架分别独立部署，使得产品开发的过程较为复杂，因此亟待提出一种基于多个兼容的联邦学习框架的数据预测方法，降低产品开发的复杂度。

发明内容

因此，本发明要解决的技术问题在于克服现有多联邦学习框架不兼容的缺陷，从而提供一种建模任务处理方法、装置及电子设备。

根据第一方面，本发明实施例公开了一种建模任务处理方法，包括：获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

可选地，所述任务配置文件包括所述建模子任务的输入输出数据、预设模型及任务参数；所述基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息，包括：解析所述任务配置文件，得到所述建模子任务的执行顺序及依赖信息；

基于所述执行顺序及依赖信息对所述建模子任务进行调度，生成所述建模子任务的配置信息。

可选地，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，所述联邦学习算法框架的数据传输协议相同。

可选地，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，是通过预先调整数据传输协议的服务端和/或客户端实现不同启动配置的联邦学习算法框架使用统一的数据传输协议。

可选地，调用相应的联邦学习算法框架，执行所述建模子任务，包括：获取所述建模子任务对应的多种不同类型的任务参数；调用相应的联邦学习算法框架对所述多种不同类型的任务参数进行计算，得到所述建模子任务的任务结果。

根据第二方面，本发明实施例还公开了一种建模任务处理装置，包括：第一获取模块，用于获取建模子任务的任务配置文件；第一调度模块，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；第一启动模块，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；第一执行模块，用于基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

根据第三方面，本发明实施例还公开了一种数据分析方法，包括：获取不同数据节点的节点数据；对各数据节点的节点数据进行求交处理，得到共有数据集；基于所述共有数据集进行特征筛选，得到特征编码；将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如第一方面或第一方面任一可选实施方式所述的建模任务处理方法建模得到的。

根据第四方面，本发明实施例还公开了一种数据分析装置，包括：第二获取模块，用于获取不同数据节点的节点数据；第一处理模块，用于对各数据节点的节点数据进行求交处理，得到共有数据集；第二处理模块，用于基于所述共有数据集进行特征筛选，得到特征编码；第二执行模块，用于将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如第一方面或第一方面任一可选实施方式所述的建模任务处理方法建模得到的。

根据第五方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的建模任务处理方法的步骤。

根据第六方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的建模任务处理方法的步骤。

根据第七方面，本发明实施方式还公开了一种建模任务处理系统，包括：数据解析模块及联邦学习框架系统，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架；所述数据解析模块包括：第三获取模块，用于获取建模子任务的任务配置文件；第二调度模块，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；第二启动模块，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；第三执行模块，用于基于所述建模子任务的启动脚本启动所述联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务。

本发明技术方案，具有如下优点：

本发明提供的一种建模任务和数据分析的方法、装置、电子设备及系统，包括：获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一个具体应用场景；

图2为本发明实施例中建模任务处理方法的一个具体示例的流程图；

图3为本发明实施例中建模任务处理装置的一个具体示例的原理框图；

图4为本发明实施例中数据分析方法的一个具体示例图；

图5为本发明实施例中数据分析装置的一个具体示例的原理框图；

图6为本发明实施例中电子设备的一个具体示例图；

图7为本发明实施例中建模任务处理系统一个具体示例的结构框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例中所提及的联邦学习框架，具体可用于如图1所示的系统架构中，该系统架构中可包含多个合作方节点和目标节点，该合作方节点可对应于各类银行、支付平台、征信平台等所构建的计算节点，该目标节点可对应于提供借贷的公司所构建的计算节点。

本发明实施例公开了一种建模任务处理方法，如图2所示，该方法包括如下步骤：

步骤201，获取建模子任务的任务配置文件。

示例性地，建模子任务为构建模型所需要的子任务，例如子任务可以是数据的载入、数据样本安全求交、数据集切分、特征预处理、特征筛选、逻辑回归/XGB/DNN模型训练、模型评估等，本发明实施例对子任务类型及数量不作限定，本领域技术人员可以根据实际需要确定；任务配置文件中包含每个子任务的任务信息和相应的配置参数，具体地，该任务配置文件中可以有子任务的种类以及子任务的参数等，子任务的参数对应可以是数据安全求交的加密方式，数据集切分比例，特征筛选的度量方式和阈值等，本发明实施例对子任务配置文件中子任务的参数不作限定，本领域技术人员可以根据实际需要确定。

步骤202，基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息。示例性地，在构建模型时，针对每个建模子任务执行的先后顺序和执行方式进行设置和调整，例如，在建模的过程中首先需要完成内部算法模型的构建，而构建算法模型又需要先获取训练数据，并将训练数据划分为训练集和测试集；配置信息为对步骤201的配置文件中所包含的子任务的类型和参数的解析，得到上述类型和参数的具体内容。

步骤203，基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本。

示例性地，部署环境信息为建模子任务执行前的准备工作，例如根据配置信息初始化算法组件所需环境，可以是参数实例化、参数检查是否正确、数据实例化、当前子任务依赖的前一步骤的模型是否加载、模型实例化等，本发明实施例对子任务执行的环境信息不作限定，本领域技术人员可以根据实际需要确定。

步骤204，基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

示例性地，联邦学习框架系统可以是由不同的联邦学习算法框架构成，其中联邦学习算法框架可以是以同态加密为主的FATE算法框架，也可以是以MPC方案为主的Rosetta算法框架，本发明实施例对联邦学习的算法框架类型不作限定，本领域技术人员可以根据实际需要确定；联邦学习算法的选择通过不同子任务的启动脚本选择相应的联邦学习算法框架。

本发明实施例公开了一种建模任务处理方法，获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

作为本发明一个可选实施方式，所述任务配置文件包括所述建模子任务的输入输出数据、预设模型及任务参数等；上述的步骤202，基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息的过程，具体包括：解析所述任务配置文件，得到所述建模子任务的执行顺序及依赖信息；基于所述执行顺序及依赖信息对所述建模子任务进行调度，生成所述建模子任务的配置信息。

示例性地，任务的配置文件中包括子任务的类别及其所依赖的输入输出数据、预设模型以及相应的任务参数；根据配置文件中的子任务类型和参数，完成对各个子任务执行顺序的调度安排，生成对应的有向无环图(Directed Acyclic Graph，DAG图)，DAG图包含了子任务的执行顺序及依赖信息，然后工作流服务根据DAG图信息对子任务进行调度，具体的调度步骤可以是：首先检查各个子任务依赖的任务是否完成，其次解析子任务启动所需配置，生成不同合作方节点的子任务的配置信息，然后将不同合作方节点的子任务的配置信息通过网络通道发送给对应的目标节点。

作为本发明一个可选实施方式，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，所述联邦学习算法框架的数据传输协议相同。示例性地，不同的建模子任务对应的启动脚本不同，根据启动脚本的不同选择合适的联邦学习算法框架，选用最合适的联邦学习算法框架不仅提高了计算速度更提高了算法的准确性。

作为本发明一个可选实施方式，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，是通过预先调整数据传输协议的服务端和/或客户端实现不同启动配置的联邦学习算法框架使用统一的数据传输协议。

示例性地，具体运算过程涉及到多个节点的数据的交换，不同算法之间的通信传输方式不同，例如，其中一种联邦学习算法为FATE算法框架，另一种联邦学习算法为Rosetta算法框架，因此需要在FATE框架中使用grpc协议构建联邦学习框架的remote/get方法实现数据交互，在Rosetta框架中使用socket协议构建io模块的send/get方法实现数据交互；本发明实施例中，由于考虑不同框架的联邦学习框架使用不同的开发语言实现，为统一联邦学习框架的传输对象定义，可以采用grpc协议实现联邦通信交互，由于FATE框架联邦通信模块使用grpc协议，因此在联邦通信服务端设计时仍采用FATE联邦通信模块协议，并将联邦通信划分为服务端与客户端，对于Rosetta联邦通信模块，需要将socket联邦通信的客户端实现改为grpc实现，并移除socket服务端实现，将Rosetta联邦通信服务与FATE联邦通信服务统一，本发明实施例对联邦学习框架的通信协议统一方式不作限定，本领域技术人员可以根据实际需要确定。

作为本发明一个可选实施方式，上述步骤204中，调用相应的联邦学习算法框架，执行所述建模子任务的过程，主要包括：获取所述建模子任务对应的多种不同类型的任务参数；调用相应的联邦学习算法框架对所述多种不同类型的任务参数进行计算，得到所述建模子任务的任务结果。示例性地，根据每个子任务不同的参数类型和子任务的类型，选择联邦学习框架系统中的最合适的联邦学习算法框架，对应的联邦学习算法框架根据参数类型和子任务的类型得到需要的训练结果。

本发明实施例公开了一种建模任务处理装置，如图3所示，包括：

第一获取模块301，用于获取建模子任务的任务配置文件。详细内容请参见上述任意方法实施例的步骤201的相关描述，在此不再赘述。

第一调度模块302，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息。详细内容请参见上述任意方法实施例的步骤202的相关描述，在此不再赘述。

第一启动模块303，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本。详细内容请参见上述任意方法实施例的步骤203的相关描述，在此不再赘述。

第一执行模块304，用于基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。详细内容请参见上述任意方法实施例的步骤204的相关描述，在此不再赘述。

本发明实施例提供的建模任务处理装置，获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

本发明公开了一种数据分析方法，如图4所示，该方法包括如下步骤：

步骤401，获取不同数据节点的节点数据。

示例性地，不同的数据节点为在联邦学习算法中不同的合作方节点，每个合作方节点通过联邦学习算法对本地的数据进行训练学习，从而得到所需要的数据，在联邦学习算法过程中，需要不同的合作方节点提供数据，利用各个合作方节点的数据进行数据的训练学习，例如，合作方节点可以是各类银行、支付平台、征信平台等，目标节点可以为提供借贷的公司，合作方节点提供的数据类型可以是用户的消费流水、学历、银行信用卡授信额度/借贷记录/逾期/违约、其他平台借贷授信额度/记录/逾期/违约、房产等，目标节点根据内部用户的还款行为和建模任务构建的模型，完成对各个合作方节点的用户准入、授信额度、风险等级、信用评分、欺诈等特征的预测。

步骤402，对各数据节点的节点数据进行求交处理，得到共有数据集。示例性地，各个合作方数据节点所提供的数据都是不同的，同时每个合作方节点之间的数据是相互保密的，因此需要对各个合作方节点提供的数据进行安全保密的样本求交，经过保密的样本求交之后得到对应的样本集，在进行训练之前，将样本集按一定的比例划分为训练集和测试集，本发明实施例对数据样本求交的方法和数据集切分的比例不作限定，本领域技术人员可以根据实际需要确定。

步骤403，基于所述共有数据集进行特征筛选，得到特征编码。示例性地，对数据集的特征筛选可以包括，例如对训练集和测试集进行分箱、基于特征IV/相关性系数/样本稳定指数等多种特征筛选，本发明实施例对数据集的特征筛选方法不作限定，本领域技术人员可以根据实际需要确定。

步骤404，将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果。示例性地，数据分析模型为上述实施例中的联邦学习框架，将各个节点的数据相应的联邦学习框架，有上述实施例中的联邦学习算法得到相应的分析结果。

本发明实施例公开了一种数据分析方法，获取不同数据节点的节点数据；对各数据节点的节点数据进行求交处理，得到共有数据集；基于所述共有数据集进行特征筛选，得到特征编码；将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过上述实施例所述的建模任务处理方法建模得到的。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

本发明公开了一种数据分析装置，如图5所示，该装置包括：

第二获取模块501，用于获取不同数据节点的节点数据。详细内容请参见上述任意方法实施例的步骤401的相关描述，在此不再赘述。

第一处理模块502，用于对各数据节点的节点数据进行求交处理，得到共有数据集。详细内容请参见上述任意方法实施例的步骤402的相关描述，在此不再赘述。

第二处理模块503，用于基于所述共有数据集进行特征筛选，得到特征编码。详细内容请参见上述任意方法实施例的步骤403的相关描述，在此不再赘述。

第二执行模块504，用于将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过上述实施例所述的建模任务处理方法建模得到的。详细内容请参见上述任意方法实施例的步骤404的相关描述，在此不再赘述。

本发明实施例公开了一种数据分析装置，获取不同数据节点的节点数据；对各数据节点的节点数据进行求交处理，得到共有数据集；基于所述共有数据集进行特征筛选，得到特征编码；将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如权利要求1-5任一项所述的建模任务处理方法建模得到的。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器601和存储器602，其中处理器601和存储器602可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器601可以为中央处理器(Central Processing Unit，CPU)。处理器601还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器602作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的建模任务处理方法或数据分析方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的建模任务处理方法或数据分析方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器601所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至处理器601。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器602中，当被所述处理器601执行时，执行如图2所示实施例中的建模任务处理方法或图4所示的数据分析方法。

上述电子设备具体细节可以对应参阅图2所示或图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例公开了一种建模任务处理系统，如图7所示，包括：数据解析模块701及联邦学习框架系统702，所述联邦学习框架系统702中配置有不同启动配置的联邦学习算法框架；

示例性地，所述数据解析模块701包括：

第三获取模块7011，用于获取建模子任务的任务配置文件。详细内容请参见上述任意方法实施例的步骤401的相关描述，在此不再赘述。

第二调度模块7012，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息。详细内容请参见上述任意方法实施例的步骤402的相关描述，在此不再赘述。

第二启动模块7013，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本。详细内容请参见上述任意方法实施例的步骤403的相关描述，在此不再赘述。

第三执行模块7014，用于基于所述建模子任务的启动脚本启动所述联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务。详细内容请参见上述任意方法实施例的步骤404的相关描述，在此不再赘述。

本发明提供的一种建模任务处理系统，包括：获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架，调用相应的联邦学习算法，执行所述建模子任务，得到目标模型，所述联邦学习框架中配置有不同启动配置的联邦学习算法。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种建模任务处理方法，其特征在于，包括：

获取建模子任务的任务配置文件；

基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；

基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；

基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

2.根据权利要求1所述的建模任务处理方法，其特征在于，所述任务配置文件包括所述建模子任务的输入输出数据、预设模型及任务参数；

所述基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息，包括：

解析所述任务配置文件，得到所述建模子任务的执行顺序及依赖信息；

基于所述执行顺序及依赖信息对所述建模子任务进行调度，生成所述建模子任务的配置信息。

3.根据权利要求1所述的建模任务处理方法，其特征在于，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，所述联邦学习算法框架的数据传输协议相同。

4.根据权利要求3所述的建模任务处理方法，其特征在于，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，是通过预先调整数据传输协议的服务端和/或客户端实现不同启动配置的联邦学习算法框架使用统一的数据传输协议。

5.根据权利要求1所述的建模任务处理方法，其特征在于，调用相应的联邦学习算法框架，执行所述建模子任务，包括：

获取所述建模子任务对应的多种不同类型的任务参数；

调用相应的联邦学习算法框架对所述多种不同类型的任务参数进行计算，得到所述建模子任务的任务结果。

6.一种建模任务处理装置，其特征在于，包括：

第一获取模块，用于获取建模子任务的任务配置文件；

第一调度模块，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；

第一启动模块，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；

第一执行模块，用于基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

7.一种数据分析方法，其特征在于，包括：

获取不同数据节点的节点数据；

对各数据节点的节点数据进行求交处理，得到共有数据集；

基于所述共有数据集进行特征筛选，得到特征编码；

将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如权利要求1-5任一项所述的建模任务处理方法建模得到的。

8.一种数据分析装置，其特征在于，包括：

第二获取模块，用于获取不同数据节点的节点数据；

第一处理模块，用于对各数据节点的节点数据进行求交处理，得到共有数据集；

第二处理模块，用于基于所述共有数据集进行特征筛选，得到特征编码；

第二执行模块，用于将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如权利要求1-5任一项所述的建模任务处理方法建模得到的。

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5任一所述的建模任务处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的建模任务处理方法的步骤。

11.一种建模任务处理系统，其特征在于，包括：数据解析模块及联邦学习框架系统，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架；

所述数据解析模块包括：

第三获取模块，用于获取建模子任务的任务配置文件；

第二调度模块，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；

第二启动模块，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；

第三执行模块，用于基于所述建模子任务的启动脚本启动所述联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务。

Images