CN110688623B - 高阶lr模型的训练优化方法、装置、设备及存储介质 - Google Patents
高阶lr模型的训练优化方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110688623B CN110688623B CN201910932620.1A CN201910932620A CN110688623B CN 110688623 B CN110688623 B CN 110688623B CN 201910932620 A CN201910932620 A CN 201910932620A CN 110688623 B CN110688623 B CN 110688623B
- Authority
- CN
- China
- Prior art keywords
- order
- training data
- configuration file
- processing
- basic configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 283
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005457 optimization Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 202
- 238000007726 management method Methods 0.000 claims description 78
- 238000013468 resource allocation Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本发明实施例公开了一种高阶LR模型的训练优化方法、装置、设备及存储介质。所述方法使用分布式的方式实现，包括：管理设备根据初始训练数据，生成高阶LR基础配置文件；所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。本发明实施例的技术方案，实现了分布式模型训练，节省模型训练的时间，提升算法的性能。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种高阶LR模型的训练优化方法、装置、设备及存储介质。
背景技术
随着电商的普及，数据量迅速增加，人们对数据进行准确筛选的难度越来越大，因此，可以从大量数据中筛选并推荐所需数据的推荐系统受到人们的欢迎，在电商中已经是一种必备的重要系统。
目前，高阶逻辑回归(Logistic Regression,LR)算法是推荐系统进行模型训练的流行算法，现有的根据高阶LR算法进行模型训练的过程比较复杂，并且所有的步骤都是单机串行完成，还需要人工在windows端生成高阶过程的配置文件。由于高阶LR算法的配置文件中涉及的参数众多，不同场景不同的数据，最优模型需求的配置都不相同，因此，在人工手动输入时极易出错，再加上测试时间比较长，查错通常需要好几个小时，因此，工作人员不得不花更多的时间去修改缺陷和问题，调整参数。
发明内容
本发明实施例提供一种高阶LR模型的训练优化方法、装置、设备及存储介质，以实现分布式模型训练，节省模型训练的时间，提升算法的性能。
第一方面，本发明实施例提供了一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：
管理设备根据初始训练数据，生成高阶LR基础配置文件；
所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；
所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
可选的，管理设备根据初始训练数据，生成高阶LR基础配置文件，包括：
所述管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入所述高阶LR基础配置文件；
所述管理设备确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；
所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件。
第二方面，本发明实施例还提供了一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：
处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；
所述处理设备根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。
可选的，离散配置信息包括待离散的特征以及离散处理规则；
所述处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，包括：
所述处理设备根据高阶LR基础配置文件中的离散配置信息，从接收的目标训练数据的特征中选出待离散的特征；
所述处理设备根据离散处理规则，对待离散特征对应的训练数据进行离散处理，得到离散特征。
可选的，在所述处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征之时，还包括：
所述处理设备根据高阶LR基础配置文件中的交叉配置信息，生成包括高阶交叉规则的高阶交叉配置文件。
可选的，所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征，包括：
所述处理设备根据高阶LR基础配置文件中的交叉配置信息，从接收的目标训练数据的特征中选出待高阶交叉的特征；
所述处理设备根据高阶交叉配置文件中的高阶交叉规则，对待高阶交叉的特征进行交叉处理，得到交叉特征。
第三方面，本发明实施例还提供了一种高阶LR模型的训练优化装置，包括：
配置文件生成模块，用于根据初始训练数据，生成高阶LR基础配置文件；
文件及数据发送模块，用于向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；
模型训练模块，用于获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
第四方面，本发明实施例还提供了一种高阶LR模型的训练优化装置，包括：
文件及数据接收模块，用于接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；
特征离散处理模块，用于根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
特征交叉处理模块，用于对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。
第五方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的高阶LR模型的训练优化方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，该程序被处理器执行时实现本发明任意实施例提供的高阶LR模型的训练优化方法。
本发明实施例的技术方案，通过管理设备生成高阶LR基础配置文件，然后向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据，以使各处理设备分布式的使用高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征，并将各交叉特征分别输入至训练模型中，以对训练模型进行参数调优，解决了现有技术中的单机串行完成高阶LR模型的训练过程导致训练时间过长，以及人工生成高阶LR基础配置文件容易出错的问题，自动化集中生成基础配置文件，并将特征离散和特征高阶交叉分布式运行，实现分布式模型训练，节省了模型训练的时间，提高了算法的性能。
附图说明
图1是本发明实施例一中的一种高阶LR模型的训练优化方法的流程图；
图2是本发明实施例二中的一种高阶LR模型的训练优化方法的流程图；
图3是本发明实施例适应的一种应用场景的实现流程图；
图4是本发明实施例四中的一种高阶LR模型的训练优化装置的结构示意图；
图5是本发明实施例五中的一种高阶LR模型的训练优化装置的结构示意图；
图6是本发明实施例六中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种高阶LR模型的训练优化方法的流程图，本实施例可适用于使用分布式的方式实现高阶LR模型训练的情况，该方法可以由高阶LR模型的训练优化装置来执行，该装置可以由软件和/或硬件的方式实现，并一般可以集成在各种提供模型训练服务的设备中，例如，管理设备，与处理设备配合使用。结合图1，具体包括如下步骤：
步骤110、管理设备根据初始训练数据，生成高阶LR基础配置文件。
本发明实施例可以使用Hadoop框架、Spark框架等分布式框架来实现分布式，管理设备相当于分布式框架中的主节点，可以将模型训练过程中的特征离散和特征交叉等中间流程分成多个并行子流程，通过将各子流程分配给多个从节点进行并行处理，提高模型训练的速度。
本实施例中，以Spark框架为例，管理设备可以根据Spark框架中的资源管理器从数据库预先存储的训练数据集中获取初始训练数据，以对高阶LR模型进行模型训练。
本实施例中，高阶LR基础配置文件可以包括待离散的特征、待高阶交叉的特征以及各处理设备的资源分配信息，用于指示各处理设备本次模型训练使用的初始训练数据中需要离散的特征有哪些，需要进行高阶交叉的特征有哪些，以及自身可以用于模型训练的资源有哪些。
可选的，管理设备根据初始训练数据，生成高阶LR基础配置文件，可以具体包括：管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入高阶LR基础配置文件；管理设备确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入高阶LR基础配置文件；管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入高阶LR基础配置文件。其中，目标训练数据是初始训练数据的一部分，各个目标训练数据被分发给不同的从节点进行特征处理。
示例性的，假设初始训练数据包括：年龄(5,9,10,14,22,48,69)，性别(男，男，女，女，女，男，女)，身高(100,138,136,151，163,175,158)，消费水平(200,150,170,330,900,700,180)。管理设备确定初始训练数据中待离散的特征为年龄、身高、消费水平，生成对应的离散配置信息为：待离散的特征：年龄、身高、消费水平，离散规则1：将年龄处于范围0-18的训练数据离散为特征A，将年龄处于范围19-35的训练数据离散为特征B，将年龄处于范围36-100的训练数据离散为特征C，离散规则2：将身高处于范围0-150的训练数据离散为特征D，将身高处于范围151-170的训练数据离散为特征E，将身高处于范围171-200的训练数据离散为特征F，离散规则3：将消费水平处于范围0-500的训练数据离散为特征G，将消费水平处于范围501-1500的训练数据离散为特征H；确定初始训练数据中待高阶交叉的特征为性别和消费水平，生成对应的交叉配置信息为：待高阶交叉的特征：性别、消费水平，确定将训练数据年龄(5,9,10,14,22,48,69)和身高(100,138,136,151，163,175,158)分配给处理设备1，对应的资源分配信息为第一缓存区，将训练数据性别(男，男，女，女，女，男，女)，消费水平(200,150,170,330,900,700,180)分配给处理设备2，对应的资源分配信息为第三缓存区。
本实施例使用分布式框架，采用分布式的方式自动生成高阶LR基础配置文件，大大节省现有技术中利用人工生成高阶LR基础配置文件的时间，同时避免了人工输入配置参数容易出错的问题。
步骤120、管理设备向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据，以使各处理设备分布式的使用高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征。
本实施例中，管理设备生成高阶LR基础配置文件之后，为了实现对模型训练过程中的特征离散和特征交叉等中间流程的并行处理，向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据，其中，处理设备相当于分布式框架中的从节点，用于根据主节点发送的高阶LR基础配置文件对所接收到的目标训练数据进行相关处理，以得到与所接收到的目标训练数据对应的交叉特征。
步骤130、管理设备获取各处理设备处理得到的交叉特征后，将各交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
可选的，在各处理设备分别对其接收的目标训练数据进行特征离散和/或特征高阶交叉处理后，管理设备获取各处理设备分布式并行处理得到的交叉特征，并将该交叉特征输入至训练模型中，以进行模型训练，找到可以提高模型准确度的更优的训练模型参数。
本发明实施例的技术方案，通过管理设备生成高阶LR基础配置文件，然后向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据，以使各处理设备分布式的使用高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征，并将各交叉特征分别输入至训练模型中，以对训练模型进行参数调优，解决了现有技术中的单机串行完成高阶LR模型的训练过程导致训练时间过长，以及人工生成高阶LR基础配置文件容易出错的问题，自动化集中生成基础配置文件，并将特征离散和特征高阶交叉分布式运行，使用分布式的方式完成模型训练，节省了模型训练的时间，提高了算法的性能。
实施例二
图2是本发明实施例二中的一种高阶LR模型的训练优化方法的流程图，本实施例可适用于使用分布式的方式实现高阶LR模型训练的情况，该方法可以由高阶LR模型的训练优化装置来执行，该装置可以由软件和/或硬件的方式实现，并一般可以集成在各种提供模型训练服务的设备中，例如，处理设备，与管理设备配合使用。结合图1，具体包括如下步骤：
步骤210、处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据。
本实施例中，高阶LR基础配置文件为管理设备根据初始训练数据生成的，其中包括本次模型训练使用的初始训练数据中需要进行离散处理的特征，需要进行高阶交叉处理的特征，以及各处理设备可以用于模型训练的资源，目标训练数据为管理设备分配给处理设备的需要其进行相关特征处理的训练数据。
步骤220、处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征。
本实施例中，使用离散特征进行模型训练可以带来诸多的有益效果，例如，离散特征的增加和减少都很容易，易于模型快速迭代，离散特征对异常数据有很强的鲁棒性，比如年龄为300的异常值可归为年龄>30这一特征下，模型更稳定，使用离散特征可以降低模型过拟合的风险等。
可选的，高阶LR基础配置文件中的离散配置信息包括待离散的特征以及离散处理规则；相应地，处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，可以包括：处理设备根据高阶LR基础配置文件中的离散配置信息，从接收的目标训练数据的特征中选出待离散的特征；处理设备根据离散处理规则，对待离散特征对应的训练数据进行离散处理，得到离散特征。
示例性的，假设处理设备1接收到高阶LR基础配置文件以及目标训练数据年龄(5,9,10,14,22,48,69)和身高(100,138,136,151，163,175,158)，根据高阶LR基础配置文件中离散配置信息，确定年龄和身高都需要进行特征离散处理。根据离散规则1，年龄5落入范围0-18中，因此，其在离散特征A上的值为1，在离散特征B和C上的值为0，处理设备1依次对剩余的年龄数据进行离散处理，从而得到与年龄这一特征对应的3个互斥的离散特征。相应的，处理设备按照离散规则2对训练数据身高进行离散处理得到3个个互斥的离散特征。
可选的，在处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征之时，还包括：处理设备根据高阶LR基础配置文件中的交叉配置信息，生成包括高阶交叉规则的高阶交叉配置文件。
本实施例中，为了使处理设备能够对特征进行交叉处理，需要预先配置好与高阶LR基础配置文件中的待高阶交叉的特征匹配的交叉处理规则。示例性的，假设待交叉特征为性别、地域和消费水平，处理设备3在对待离散特征消费水平进行特征离散处理时，规定消费水平特征可以和地域特征进行1阶交叉和2阶交叉，可以与性别特征进行1阶交叉，并将该交叉规则填入高阶交叉配置文件中。
步骤230、处理设备对离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使管理设备从数据库中获取各处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。
可选的，对离散特征进行高阶特征交叉，可以将M个离散特征变为MN个交叉特征，将单个离散特征分成N个交叉特征，每个交叉特征有单独的权重，相当于为训练模型引入了非线性，能够提升模型表达能力，加大拟合。
本实施例中，处理设备对离散特征进行高阶交叉处理，得到交叉特征，可以具体包括：处理设备根据高阶LR基础配置文件中的交叉配置信息，从接收的目标训练数据的特征中选出待高阶交叉的特征；处理设备根据高阶交叉配置文件中的高阶交叉规则，对待高阶交叉的特征进行交叉处理，得到交叉特征。
示例性的，处理设备3根据交叉配置信息确定目标训练数据中的离散特征A，B与H，K可以进行交叉，交叉规则为A，B可以与H进行一阶交叉，与K进行二阶交叉，则处理设备3可以得到一阶交叉特征M＝AH，Z＝BH，以及二阶交叉特征S＝AHK，Q＝BHK。
本发明实施例的技术方案，通过处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，对离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使管理设备从数据库中获取各处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优，解决了现有技术中的单机串行完成高阶LR模型的训练过程导致训练时间过长，以及人工生成高阶LR基础配置文件容易出错的问题，自动化集中生成基础配置文件，并将特征离散和特征高阶交叉分布式运行，使用分布式的方式完成模型训练，节省了模型训练的时间，提高了算法的性能。
实施例三
图3是本发明实施例适应的一种应用场景的实现流程图，本实施例可以与上述实施例中各个可选方案结合。具体的，参考图3，该方法可以包括如下步骤：
首先，管理设备根据初始训练数据，生成高阶LR基础配置文件。
接着，管理设备向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据。
然后，处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，同时生成包括高阶交叉规则的高阶交叉配置文件。
可选的，在将训练数据的特征带入高阶LR模型之前，需要事先对特征进行预处理，以将连续型的特征处理成离散型，将离散型数据处理成多列特征。本实施例通过将特征串行处理改造成分布式并行处理，对所有特征同时进行离散，使得离散效率提升20倍以上。
可选的，处理设备发掘特征之间的交叉意义，需要提前配置好需要交叉的特征的信息，例如交叉规则，从而在基础配置中可以自动化生成高阶交叉配置文件，无需人工切换到windows环境，手工配置生成高阶交叉配置文件，减少了人工操作训练模型的时间以及参数配置错误。
然后，处理设备根据高阶交叉配置文件，对目标训练数据中的待高阶交叉的特征进行交叉处理，并将得到的交叉特征发送至数据库进行存储。
由于特征交叉的过程相互独立，所以本实施例将原有的串行两两交叉的过程修改成分布式并行交叉处理的过程，由多台处理设备共同完成特征交叉过程，大大缩短了特征交叉处理的时间。
最后，管理设备从数据库中获取各交叉特征并输入至训练模型，以对训练模型进行参数调优。
实施例四
图4是本发明实施例四中的一种高阶LR模型的训练优化装置的结构示意图。本实施例适用于使用分布式的方式实现高阶LR模型训练的情况。如图4所示，该高阶LR模型的训练优化装置应用于管理设备，包括：
配置文件生成模块410，用于根据初始训练数据，生成高阶LR基础配置文件；
文件及数据发送模块420，用于向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；
模型训练模块430，用于获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
本发明实施例的技术方案，通过管理设备生成高阶LR基础配置文件，然后向至少两个处理设备分发高阶LR基础配置文件以及对应的目标训练数据，以使各处理设备分布式的使用高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征，并将各交叉特征分别输入至训练模型中，以对训练模型进行参数调优，解决了现有技术中的单机串行完成高阶LR模型的训练过程导致训练时间过长，以及人工生成高阶LR基础配置文件容易出错的问题，自动化集中生成基础配置文件，并将特征离散和特征高阶交叉分布式运行，使用分布式的方式完成模型训练，节省了模型训练的时间，提高了算法的性能。
可选的，配置文件生成模块410具体用于：
确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入所述高阶LR基础配置文件；
确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；
确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件。
本发明实施例所提供的高阶LR模型的训练优化装置可执行本发明任意实施例所提供的应用于管理设备的高阶LR模型的训练优化方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五中的一种高阶LR模型的训练优化装置的结构示意图。本实施例适用于使用分布式的方式实现高阶LR模型训练的情况。如图5所示，该高阶LR模型的训练优化装置应用于处理设备，包括：
文件及数据接收模块510，用于接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；
特征离散处理模块520，用于根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
特征交叉处理模块530，用于对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。
本发明实施例的技术方案，通过处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优，解决了现有技术中的单机串行完成高阶LR模型的训练过程导致训练时间过长，以及人工生成高阶LR基础配置文件容易出错的问题，自动化集中生成基础配置文件，并将特征离散和特征高阶交叉分布式运行，使用分布式的方式完成模型训练，节省了模型训练的时间，提高了算法的性能。
可选的，离散配置信息包括待离散的特征以及离散处理规则；
特征离散处理模块520，具体用于：
根据高阶LR基础配置文件中的离散配置信息，从接收的目标训练数据的特征中选出待离散的特征；
根据离散处理规则，对待离散特征对应的训练数据进行离散处理，得到离散特征。
可选的，特征离散处理模块520，还包括：交叉配置文件生成单元，用于在所述处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征之时，根据高阶LR基础配置文件中的交叉配置信息，生成包括高阶交叉规则的高阶交叉配置文件。
可选的，特征交叉处理模块530，具体用于：
根据高阶LR基础配置文件中的交叉配置信息，从接收的目标训练数据的特征中选出待高阶交叉的特征；
根据高阶交叉配置文件中的高阶交叉规则，对待高阶交叉的特征进行交叉处理，得到交叉特征。
本发明实施例所提供的高阶LR模型的训练优化装置可执行本发明任意实施例所提供的应用于处理设备的高阶LR模型的训练优化方法，具备执行方法相应的功能模块和有益效果。
实施例六
参照图6，图6是本发明实施例六中的一种设备的结构示意图，如图6所示，该设备包括处理器610、存储器620、输入装置630和输出装置640；设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的高阶LR模型的训练优化方法对应的程序指令/模块(例如，高阶LR模型的训练优化装置中的配置文件生成模块410、文件及数据发送模块420和模型训练模块430，或者另一种高阶LR模型的训练优化装置中的文件及数据接收模块510、特征离散处理模块520以及特征交叉处理模块530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的高阶LR模型的训练优化方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入初始训练数据，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示服务器。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述实施例提供的任一种高阶LR模型的训练优化方法，其中，一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：
管理设备根据初始训练数据，生成高阶LR基础配置文件；
所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；
所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
或者，另一种高阶LR模型的训练优化方法，所述方法使用分布式的方式实现，包括：
处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据，其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；
所述处理设备根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机指令可执行不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的高阶LR模型的训练优化方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述高阶LR模型的训练优化装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种高阶LR模型的训练优化方法，其特征在于，所述方法使用分布式的方式实现，包括：
管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入高阶LR基础配置文件；其中，所述初始训练数据包括年龄、性别、身高和消费水平；所述待离散的特征包括年龄、身高和消费水平；所述管理设备为分布式框架中的主节点；
所述管理设备确定所述初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；其中，所述待高阶交叉的特征包括性别和消费水平；
所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件；
所述管理设备向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；其中，所述高阶LR基础配置文件包括所述待离散的特征、所述待高阶交叉的特征以及所述各处理设备的资源分配信息；所述处理设备为分布式框架中的从节点；
所述管理设备获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
2.一种高阶LR模型的训练优化方法，其特征在于，所述方法使用分布式的方式实现，包括：
处理设备接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据；其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；所述高阶LR基础配置文件包括待离散的特征、待高阶交叉的特征以及各处理设备的资源分配信息；所述管理设备为分布式框架中的主节点；所述处理设备为分布式框架中的从节点；
所述处理设备根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优；
其中，通过所述管理设备根据初始训练数据，生成高阶LR基础配置文件，包括：
通过所述管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入所述高阶LR基础配置文件；其中，所述初始训练数据包括年龄、性别、身高和消费水平；所述待离散的特征包括年龄、身高和消费水平；
通过所述管理设备确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；其中，所述待高阶交叉的特征包括性别和消费水平；
通过所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件。
3.根据权利要求2所述的方法，其特征在于，所述离散配置信息包括待离散的特征以及离散处理规则；
所述处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征，包括：
所述处理设备根据高阶LR基础配置文件中的离散配置信息，从接收的目标训练数据的特征中选出待离散的特征；
所述处理设备根据离散处理规则，对待离散特征对应的训练数据进行离散处理，得到离散特征。
4.根据权利要求3所述的方法，其特征在于，在所述处理设备根据高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征之时，还包括：
所述处理设备根据高阶LR基础配置文件中的交叉配置信息，生成包括高阶交叉规则的高阶交叉配置文件。
5.根据权利要求3所述的方法，其特征在于，所述处理设备对所述离散特征进行高阶交叉处理，得到交叉特征，包括：
所述处理设备根据高阶LR基础配置文件中的交叉配置信息，从接收的目标训练数据的特征中选出待高阶交叉的特征；
所述处理设备根据高阶交叉配置文件中的高阶交叉规则，对待高阶交叉的特征进行交叉处理，得到交叉特征。
6.一种高阶LR模型的训练优化装置，其特征在于，包括：
配置文件生成模块，用于管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入高阶LR基础配置文件；所述初始训练数据包括年龄、性别、身高和消费水平；所述待离散的特征包括年龄、身高和消费水平；所述管理设备为分布式框架中的主节点；所述管理设备确定所述初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；所述待高阶交叉的特征包括性别和消费水平；所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件；
文件及数据发送模块，用于向至少两个处理设备分发所述高阶LR基础配置文件以及对应的目标训练数据，以使各所述处理设备分布式的使用所述高阶LR基础配置文件对所接收到的目标训练数据进行处理，得到与所接收到的目标训练数据对应的交叉特征；其中，所述高阶LR基础配置文件包括所述待离散的特征、所述待高阶交叉的特征以及所述各处理设备的资源分配信息；所述处理设备为分布式框架中的从节点；
模型训练模块，用于获取各所述处理设备处理得到的交叉特征后，将各所述交叉特征分别输入至训练模型中，以对训练模型进行参数调优。
7.一种高阶LR模型的训练优化装置，其特征在于，包括：
文件及数据接收模块，用于接收管理设备分发的高阶LR基础配置文件以及对应的目标训练数据；其中，所述高阶LR基础配置文件为所述管理设备根据初始训练数据生成的；所述高阶LR基础配置文件包括待离散的特征、待高阶交叉的特征以及各处理设备的资源分配信息；所述管理设备为分布式框架中的主节点；所述处理设备为分布式框架中的从节点；
特征离散处理模块，用于根据所述高阶LR基础配置文件对接收的目标训练数据进行特征离散处理，得到离散特征；
特征交叉处理模块，用于对所述离散特征进行高阶交叉处理，得到交叉特征后发送至数据库，以使所述管理设备从数据库中获取各所述处理设备发送的交叉特征并输入至训练模型，以对训练模型进行参数调优；
其中，通过所述管理设备根据初始训练数据，生成高阶LR基础配置文件，包括：
通过所述管理设备确定初始训练数据中待离散的特征，并生成对应的离散配置信息填入所述高阶LR基础配置文件；其中，所述初始训练数据包括年龄、性别、身高和消费水平；所述待离散的特征包括年龄、身高和消费水平；
通过所述管理设备确定初始训练数据中待高阶交叉的特征，并生成对应的交叉配置信息填入所述高阶LR基础配置文件；其中，所述待高阶交叉的特征包括性别和消费水平；
通过所述管理设备确定分配给各处理设备的目标训练数据，并生成对应的资源分配信息填入所述高阶LR基础配置文件。
8.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1中所述的高阶LR模型的训练优化方法，或者实现如权利要求2-5中任一所述的高阶LR模型的训练优化方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1中所述的高阶LR模型的训练优化方法，或者实现如权利要求2-5中任一所述的高阶LR模型的训练优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910932620.1A CN110688623B (zh) | 2019-09-29 | 2019-09-29 | 高阶lr模型的训练优化方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910932620.1A CN110688623B (zh) | 2019-09-29 | 2019-09-29 | 高阶lr模型的训练优化方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110688623A CN110688623A (zh) | 2020-01-14 |
| CN110688623B true CN110688623B (zh) | 2023-12-26 |
Family
ID=69110929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910932620.1A Active CN110688623B (zh) | 2019-09-29 | 2019-09-29 | 高阶lr模型的训练优化方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110688623B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897168A (zh) * | 2022-06-20 | 2022-08-12 | 支付宝(杭州)信息技术有限公司 | 风控模型的基于知识表征学习的融合训练方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549692A (zh) * | 2018-04-13 | 2018-09-18 | 重庆邮电大学 | Spark框架下的稀疏多元逻辑回归模型对文本情感分类的方法 |
| CN109325808A (zh) * | 2018-09-27 | 2019-02-12 | 重庆智万家科技有限公司 | 基于Spark大数据平台的商品需求预测与物流分仓规划方法 |
-
2019
- 2019-09-29 CN CN201910932620.1A patent/CN110688623B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549692A (zh) * | 2018-04-13 | 2018-09-18 | 重庆邮电大学 | Spark框架下的稀疏多元逻辑回归模型对文本情感分类的方法 |
| CN109325808A (zh) * | 2018-09-27 | 2019-02-12 | 重庆智万家科技有限公司 | 基于Spark大数据平台的商品需求预测与物流分仓规划方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Ｓｐａｒｋ 的机器学习Ｗｅｂ 服务引擎设计;夏冉;《指挥控制与仿真》;20180228;第113-117页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110688623A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782042B (zh) | 横向联邦和纵向联邦联合方法、装置、设备及介质 | |
| CN108683539B (zh) | 区块链网络的管理方法、装置、介质及电子设备 | |
| CN107688493B (zh) | 训练深度神经网络的方法、装置及系统 | |
| CN107589952A (zh) | 智能升级方法、装置和系统 | |
| CN109586954B (zh) | 一种网络流量预测方法、装置及电子设备 | |
| CN113590576A (zh) | 数据库参数调整方法、装置、存储介质以及电子设备 | |
| CN109582289B (zh) | 规则引擎中规则流的处理方法、系统、存储介质和处理器 | |
| US20230281513A1 (en) | Data model training method and apparatus | |
| CN114254950A (zh) | 电信资源数据处理方法、装置、电子设备及存储介质 | |
| CN110688623B (zh) | 高阶lr模型的训练优化方法、装置、设备及存储介质 | |
| CN113486584A (zh) | 设备故障的预测方法、装置、计算机设备及计算机可读存储介质 | |
| CN113112026A (zh) | 一种联邦学习模型优化方法及装置 | |
| CN114817389A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN114629767A (zh) | 电力调度网络仿真方法、装置、计算机设备和存储介质 | |
| CN110414689A (zh) | 一种机器学习模型线上更新方法及装置 | |
| CN113254215B (zh) | 数据处理方法和装置、存储介质及电子设备 | |
| JP2023002103A (ja) | モデル推論装置、方法およびプログラム | |
| DE102021109465A1 (de) | Hierarchie-erkennung für blockschaltbilder | |
| WO2019225420A1 (ja) | 変換装置、および、変換プログラム | |
| CN114615262B (zh) | 网络聚合方法、存储介质、处理器以及系统 | |
| CN110196713B (zh) | 一种确定推荐结果的方法、装置、介质及设备 | |
| CN111208980B (zh) | 一种数据分析处理方法和系统 | |
| CN113452540B (zh) | Sdn配置方法、装置和计算机可读存储介质 | |
| WO2011079463A1 (en) | Method and apparatuses for testing on-line services | |
| CN107967655A (zh) | 数据资源模型建立方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |