CN113807631B - 回归模型的训练方法、装置、电子设备和存储介质 - Google Patents

回归模型的训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113807631B
CN113807631B CN202011584101.XA CN202011584101A CN113807631B CN 113807631 B CN113807631 B CN 113807631B CN 202011584101 A CN202011584101 A CN 202011584101A CN 113807631 B CN113807631 B CN 113807631B
Authority
CN
China
Prior art keywords
marked
training
regression model
target
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011584101.XA
Other languages
English (en)
Other versions
CN113807631A (zh
Inventor
郭洋
郑爱国
田国刚
彭南博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202011584101.XA priority Critical patent/CN113807631B/zh
Publication of CN113807631A publication Critical patent/CN113807631A/zh
Application granted granted Critical
Publication of CN113807631B publication Critical patent/CN113807631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提出一种回归模型的训练方法、装置、电子设备和存储介质，其中训练方法包括：获取已标注样本池中已标注用户的特征和标注的标签数据；根据已标注用户的特征和所述标签数据训练得到回归模型；根据回归模型获取对应的查询策略；根据查询策略确定对应的目标未标注用户；获取目标未标注用户的特征和标注的标签数据；将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，该方法根据根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。

Description

回归模型的训练方法、装置、电子设备和存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种回归模型的训练方法、装置、电子设备和存储介质。
背景技术
目前，回归模型在用户刻画、企业决策等领域中得到了广泛的应用。例如，回归模型可基于用户的基本信息、消费记录和消费偏好(例如，收藏商品)等信息，刻画用户的收入信息；或者，回归模型可基于企业的销售额信息、所处行业信息、经营状态等信息，预测企业的注册资金。然而，相关技术中的回归模型的训练方法，大多基于完全随机抽样或者分层抽样来获取训练样本，灵活性较差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请第一方面实施例提出一种回归模型的训练方法，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
本申请第二方面实施例提出一种回归模型的训练装置。
本申请第三方面实施例提出一种电子设备。
本申请第四方面实施例提出一种计算机可读存储介质。
本申请第一方面实施例提出了一种回归模型的训练方法，包括：获取已标注样本池中已标注用户的特征和标注的标签数据；根据所述已标注用户的特征和所述标签数据训练得到回归模型；根据所述回归模型获取对应的查询策略；根据所述查询策略确定对应的目标未标注用户；获取所述目标未标注用户的特征和标注的标签数据；将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中。
根据本申请实施例的回归模型的训练方法，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
另外，根据本申请上述实施例的回归模型的训练方法还可以具有如下附加的技术特征：
在本申请的一个实施例中，所述将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，还包括以下步骤中的至少一个：所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
在本申请的一个实施例中，所述回归模型为回归树模型或随机森林模型。
在本申请的一个实施例中，所述回归模型为所述回归树模型，所述根据所述回归模型获取对应的查询策略，包括：计算所述回归树模型中叶子节点的纯度；根据所述叶子节点的纯度确定目标路径分支；将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述根据所述叶子节点的纯度确定目标路径分支，包括：将所述叶子节点的纯度最低的叶子节点对应的路径分支，确定为所述目标路径分支。
在本申请的一个实施例中，所述回归模型为所述随机森林模型，所述根据所述回归模型获取对应的查询策略，包括：计算所述随机森林模型中所述回归树中叶子节点的纯度；计算同一路径分支对应的所述叶子节点的纯度的平均值；根据所述平均值确定目标路径分支；将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述根据所述平均值确定目标路径分支，包括：将所述平均值最低的路径分支确定为所述目标路径分支。
在本申请的一个实施例中，计算所述叶子节点的纯度，包括：计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；根据所述信息差异性指标计算所述叶子节点的纯度。
本申请第二方面实施例提出了一种回归模型的训练装置，包括：第一获取模块，用于获取已标注样本池中已标注用户的特征和标注的标签数据；训练模块，用于根据所述已标注用户的特征和所述标签数据训练得到回归模型；第二获取模块，用于根据所述回归模型获取对应的查询策略；确定模块，用于根据所述查询策略确定对应的目标未标注用户；第三获取模块，用于获取所述目标未标注用户的特征和标注的标签数据；添加模块，用于将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中。
另外，根据本申请上述实施例的回归模型的训练装置还可以具有如下附加的技术特征：
本申请实施例的回归模型的训练装置，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
在本申请的一个实施例中，所述添加模块，还用于：将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，执行以下步骤中的至少一个：所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
在本申请的一个实施例中，所述回归模型为回归树模型或随机森林模型。
在本申请的一个实施例中，所述回归模型为所述回归树模型，所述第二获取模块，包括：第一计算单元，用于计算所述回归树模型中叶子节点的纯度；第一确定单元，用于根据所述叶子节点的纯度确定目标路径分支；第二确定单元，用于将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述第一确定单元，具体用于：将所述叶子节点的纯度最低的叶子节点对应的路径分支，确定为所述目标路径分支。
在本申请的一个实施例中，所述回归模型为所述随机森林模型，所述第二获取模块，包括：第二计算单元，用于计算所述随机森林模型中所述回归树中叶子节点的纯度；第三计算单元，用于计算同一路径分支对应的所述叶子节点的纯度的平均值；第三确定单元，用于根据所述平均值确定目标路径分支；第四确定单元，将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述第三确定单元，具体用于：将所述平均值最低的路径分支确定为所述目标路径分支。
在本申请的一个实施例中，所述第一计算单元或者第二计算单元，具体用于：计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；根据所述信息差异性指标计算所述叶子节点的纯度。
本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述第一方面实施例所述的回归模型的训练方法。
本申请实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现前述方法实施例所述的回归模型的训练方法。
本申请实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例的回归模型的训练方法的流程示意图；
图2为根据本申请一个实施例的回归模型的训练方法的示意图；
图3为根据本申请一个实施例的回归模型的训练方法中回归模型为回归树模型时，根据回归模型获取对应的查询策略的流程示意图；
图4为根据本申请一个实施例的回归模型的训练方法中回归模型为随机森林模型时，根据回归模型获取对应的查询策略的流程示意图；
图5为根据本申请一个实施例的回归模型的训练装置的结构示意图；
图6为根据本申请另一个实施例的回归模型的训练装置的结构示意图；
图7为根据本申请另一个实施例的回归模型的训练装置的结构示意图；以及
图8为根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参照附图描述本申请实施例的回归模型的训练方法、装置、电子设备和存储介质。
图1为根据本申请一个实施例的回归模型的训练方法的流程示意图。
S101，获取已标注样本池中已标注用户的特征和标注的标签数据。
需要说明的是，本申请实施例的回归模型的训练方法的执行主体可为回归模型的训练装置，本申请实施例的回归模型的训练装置可以配置在任意电子设备中，以使该电子设备可以执行本申请实施例的回归模型的训练方法。其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
本申请的实施例中，可预先构建样本池，样本池中包括大量样本，并可对样本池中的部分样本进行标注。可将样本池分为已标注样本池和未标注样本池，已标注样本池包括多个已标注用户的特征和标注的标签数据，未标注样本池包括多个未标注用户。
可选的，可采用人工对样本池中的部分样本进行标注，例如，可从样本池中随机抽取部分样本，之后由特定人员对抽取出的部分样本进行标注。或者，还可采用预设的标注方法对样本池中的部分样本进行标注。
本申请的实施例中，对样本进行标注，可包括获取样本对应的用户特征，根据样本对应的用户特征，标注样本的标签数据。例如在用户画像构建场景，已标注样本池中若存在某个已标注用户A，用户A的特征为“周期性购买文具、购买教科类图书”，对应的标签数据可为“学生”，若存在某个已标注用户B，用户B的特征为“朝九晚六、一周固定五天上班”，对应的标签数据可为“工薪阶层”。
S102，根据已标注用户的特征和标签数据训练得到回归模型。
本申请的实施例中，获取已标注样本池中已标注用户的特征和标注的标签数据之后，可根据已标注用户的特征和标签数据训练得到回归模型。
其中，回归模型的类型包括但不限于一般线性回归模型、回归树(RegressionTree)模型、随机森林(Random forest)模型、K最近邻(K-Nearest Neighbor，KNN)算法模型、深度学习模型等，这里不做过多限定。
S103，根据回归模型获取对应的查询策略。
本申请的实施例中，可预先为回归模型设置对应的查询策略。可以理解的是，不同的回归模型可对应不同的查询策略。
可选的，可预先建立回归模型和查询策略之间的映射关系或者映射表，在获取到回归模型之后，查询映射关系或者映射表，能够获取到回归模型对应的查询策略。应说明的是，上述映射关系或者映射表可根据实际情况进行设置。
S104，根据查询策略确定对应的目标未标注用户。
可以理解的是，标注成本较高，为了节约成本，往往仅在样本池中标注少量用户，根据标注的少量用户特征和少量标签数据训练回归模型，训练得到的回归模型的泛化能力较差。
为了解决这一问题，本申请中，可根据查询策略确定对应的目标未标注用户。
可选的，可根据回归模型的模型训练效果和/或训练要求，设置相应的查询策略，从而根据查询策略确定的目标未标注用户，是达到回归模型的模型训练效果和/或训练要求的用户，可提高模型训练的效果。
可选的，根据查询策略确定对应的目标未标注用户，可包括根据查询策略在未标注样本池中筛选出目标未标注用户。
S105，获取目标未标注用户的特征和标注的标签数据。
步骤S105的相关内容可参照上述实施例，这里不再赘述。
S106，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。
本申请的实施例中，可将目标未标注用户的特征和标注的标签数据添加至已标注样本池中，从而可实现已标注样本池的扩充。
本申请的实施例中，如图2所示，采取了主动学习(Active Learning，AL)的思想来实现回归模型的训练，包含USLMQ这五个组件，U对应未标注样本池，S对应督导者，L对应已标注样本池，M对应回归模型，Q对应查询策略。先从未标注样本池(U)中随机抽取部分用户，由督导者(S)进行标注，并将已标注用户的特征和标注的标签数据添加至已标注样本池(L)中，之后可获取已标注样本池(L)中已标注用户的特征和标注的标签数据，并根据已标注用户的特征和标签数据训练得到回归模型(M)，之后根据查询策略(Q)从未标注样本池(U)中确定目标未标注用户，获取目标未标注用户的特征和标注的标签数据，将目标未标注用户的特征和标注的标签数据添加至已标注样本池(L)中，可利用目标未标注用户的特征和标注的标签数据重新训练回归模型(M)。
可选的，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中之后，若回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行获取已标注样本池中已标注用户的特征和标注的标签数据步骤，以继续训练回归模型。
或者，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中之后，可继续执行获取已标注样本池中已标注用户的特征和标注的标签数据步骤，以继续训练回归模型。
综上，根据本申请实施例的回归模型的训练方法，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
在上述任一实施例的基础上，回归模型可为回归树模型，回归树模型可包括分类与回归树(Classification And Regression Tree，CART)模型。
可选的，在构建回归树模型时，可通过设置回归树模型的参数，控制回归树的复杂度，避免叶子样本量不足导致统计结果不准确。其中，回归树模型的参数可为最小叶子样本含量。可选的，在构建CART回归树模型时，可采用平方误差最小化准则，贪婪遍历每个特征的每个取值，使得切分两侧样本时每侧目标变量均值平方误差最小。
回归模型为回归树模型时，如图3所示，步骤S103中根据回归模型获取对应的查询策略，可包括：
S201，计算回归树模型中叶子节点的纯度。
本申请的实施例中，可根据预设的计算方法计算回归树模型中叶子节点的纯度。
可选的，计算叶子节点的纯度，可包括计算叶子节点的信息差异性指标，信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差(Mean Absolute PercentageError，MAPE)、对称平均绝对百分比误差(Symmetric Mean Absolute Percentage Error，SMAPE)和变异系数(Coefficient of Variation，CV)，并根据信息差异性指标计算叶子节点的纯度。
可以理解的是，叶子节点的纯度和叶子节点的信息差异性指标有关，可将信息差异性指标换算之后，得到叶子节点的纯度。叶子节点的信息差异性越大，叶子节点的纯度越低。
S202，根据叶子节点的纯度确定目标路径分支。
可以理解的是，叶子节点的纯度越高，叶子节点对应的路径分支下的样本集合的不确定性越低，包含的信息量也越小。反之，叶子节点的纯度越低，叶子节点对应的路径分支下的样本集合的不确定性越高，包含的信息量也越大。则叶子节点的纯度较低的路径分支，由于包含的信息量比较丰富，可以有效提高模型的训练效果。
可选的，根据叶子节点的纯度确定目标路径分支，可包括将叶子节点的纯度最低的叶子节点对应的路径分支，确定为目标路径分支。
S203，将目标路径分支确定为查询策略。
可选的，将目标路径分支确定为查询策略，可包括将目标路径分支下的未标注用户，作为目标未标注用户。
由此，该方法在回归模型为回归树模型时，可根据叶子节点的纯度确定目标路径分支，并将目标路径分支确定为查询策略。
在上述任一实施例的基础上，回归模型可为随机森林模型。
可选的，在构建回归模型时，可采用CART回归树作为基本模型，同时采用随机森林作为集成学习，相较于单一模型，能够根据多棵树获取更加连续的预测结果，适用于样本标注成本远大于训练时间成本的情况。
回归模型为随机森林模型时，如图4所示，步骤S103中根据回归模型获取对应的查询策略，可包括：
S301，计算随机森林模型中回归树中叶子节点的纯度。
可以理解的是，随机森林模型可包括多个回归树，则可计算每个回归树中叶子节点的纯度。
计算叶子节点的纯度的相关内容可参见上述实施例，这里不再赘述。
S302，计算同一路径分支对应的叶子节点的纯度的平均值。
可以理解的是，随机森林模型可包括多个回归树，每个路径分支在每个回归树中都分布，则可根据同一路径分支在每个回归树对应的叶子节点的纯度，以及回归树的数量，计算同一路径分支对应的叶子节点的纯度的平均值。
例如，若随机森林模型包括N个回归树，路径分支A在N个回归树对应的叶子节点的纯度分别为B1、B2、B3至BN，则路径分支A对应的叶子节点的纯度的平均值
S303，根据平均值确定目标路径分支。
可以理解的是，叶子节点的纯度的平均值越高，叶子节点对应的路径分支下的样本集合的不确定性越低，包含的信息量也越小。反之，叶子节点的纯度的平均值越低，叶子节点对应的路径分支下的样本集合的不确定性越高，包含的信息量也越大。则叶子节点的纯度的平均值较低的路径分支，由于包含的信息量比较丰富，可以有效提高模型的训练效果。
可选的，根据平均值确定目标路径分支，可包括将平均值最低的路径分支确定为目标路径分支。
S304，将目标路径分支确定为查询策略。
可选的，将目标路径分支确定为查询策略，可包括将目标路径分支下的未标注用户，作为目标未标注用户。
由此，该方法在回归模型为随机森林模型时，可根据叶子节点的纯度的平均值确定目标路径分支，并将目标路径分支确定为查询策略。
与上述图1至图4实施例提供的回归模型的训练方法相对应，本公开还提供一种回归模型的训练装置，由于本公开实施例提供的回归模型的训练装置与上述图1至图4实施例提供的回归模型的训练方法相对应，因此回归模型的训练方法的实施方式也适用于本公开实施例提供的回归模型的训练装置，在本公开实施例中不再详细描述。
图5为根据本申请一个实施例的回归模型的训练装置的结构示意图。
如图5所示，本申请实施例的回归模型的训练装置100可以包括：第一获取模块110、训练模块120、第二获取模块130、确定模块140、第三获取模块150、添加模块160。
第一获取模块110，用于获取已标注样本池中已标注用户的特征和标注的标签数据；
训练模块120，用于根据所述已标注用户的特征和所述标签数据训练得到回归模型；
第二获取模块130，用于根据所述回归模型获取对应的查询策略；
确定模块140，用于根据所述查询策略确定对应的目标未标注用户；
第三获取模块150，用于获取所述目标未标注用户的特征和标注的标签数据；
添加模块160，用于将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中。
在本申请的一个实施例中，所述添加模块160，还用于：将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，执行以下步骤中的至少一个：所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
在本申请的一个实施例中，所述回归模型为回归树模型或随机森林模型。
在本申请的一个实施例中，所述回归模型为所述回归树模型，如图6所示，所述第二获取模块130，包括：第一计算单元1301，用于计算所述回归树模型中叶子节点的纯度；第一确定单元1302，用于根据所述叶子节点的纯度确定目标路径分支；第二确定单元1303，用于将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述第一确定单元1301，具体用于：将所述叶子节点的纯度最低的叶子节点对应的路径分支，确定为所述目标路径分支。
在本申请的一个实施例中，所述回归模型为所述随机森林模型，如图7所示，所述第二获取模块130，包括：第二计算单元1304，用于计算所述随机森林模型中所述回归树中叶子节点的纯度；第三计算单元1305，用于计算同一路径分支对应的所述叶子节点的纯度的平均值；第三确定单元1306，用于根据所述平均值确定目标路径分支；第四确定单元1307，将所述目标路径分支确定为所述查询策略。
在本申请的一个实施例中，所述第三确定单元1306，具体用于：将所述平均值最低的路径分支确定为所述目标路径分支。
在本申请的一个实施例中，所述第一计算单元1301或者第二计算单元1304，具体用于：计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；根据所述信息差异性指标计算所述叶子节点的纯度。
本申请实施例的用于室温预测的网络模型训练装置，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
为了实现上述实施例，如图8所示，本申请还提出一种电子设备200，包括：存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序，处理器220执行程序时，实现如本申请前述实施例提出的回归模型的训练方法。
本申请实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如本申请前述实施例提出的回归模型的训练方法。
本申请实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，根据已标注用户的特征和标签数据训练得到回归模型，根据回归模型获取对应的查询策略，并根据查询策略确定对应的目标未标注用户，将目标未标注用户的特征和标注的标签数据添加至已标注样本池中。由此，采取主动学习的方式来实现回归模型的训练，相较于现有技术中基于随机抽样获取的训练样本进行模型训练，有助于提高模型的泛化能力。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种回归模型的训练方法，其特征在于，包括：
获取已标注样本池中已标注用户的特征和标注的标签数据；
根据所述已标注用户的特征和所述标签数据训练得到回归模型；
所述回归模型为回归树模型，计算所述回归树模型中叶子节点的纯度；
根据所述叶子节点的纯度确定目标路径分支；
将所述目标路径分支确定为查询策略；
根据所述查询策略确定对应的目标未标注用户；
获取所述目标未标注用户的特征和标注的标签数据；
将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中。
2.根据权利要求1所述的训练方法，其特征在于，所述将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，还包括以下步骤中的至少一个：
所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；
继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
3.根据权利要求1所述的训练方法，其特征在于，所述根据所述叶子节点的纯度确定目标路径分支，包括：
将所述叶子节点的纯度最低的叶子节点对应的路径分支，确定为所述目标路径分支。
4.根据权利要求1或3任一项所述的训练方法，其特征在于，计算所述叶子节点的纯度，包括：
计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；
根据所述信息差异性指标计算所述叶子节点的纯度。
5.一种回归模型的训练方法，其特征在于，包括：
获取已标注样本池中已标注用户的特征和标注的标签数据；
根据所述已标注用户的特征和所述标签数据训练得到回归模型；
所述回归模型为随机森林模型，计算所述随机森林模型中回归树中叶子节点的纯度；
计算同一路径分支对应的所述叶子节点的纯度的平均值；
根据所述平均值确定目标路径分支；
将所述目标路径分支确定为查询策略；
根据所述查询策略确定对应的目标未标注用户；
获取所述目标未标注用户的特征和标注的标签数据；
将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中。
6.根据权利要求5所述的训练方法，其特征在于，所述将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，还包括以下步骤中的至少一个：
所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；
继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
7.根据权利要求5所述的训练方法，其特征在于，所述根据所述平均值确定目标路径分支，包括：
将所述平均值最低的路径分支确定为所述目标路径分支。
8.根据权利要求5或7任一项所述的训练方法，其特征在于，计算所述叶子节点的纯度，包括：
计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；
根据所述信息差异性指标计算所述叶子节点的纯度。
9.一种回归模型的训练装置，其特征在于，包括：
第一获取模块，用于获取已标注样本池中已标注用户的特征和标注的标签数据；
训练模块，用于根据所述已标注用户的特征和所述标签数据训练得到回归模型；
第二获取模块，用于根据所述回归模型获取对应的查询策略；
确定模块，用于根据所述查询策略确定对应的目标未标注用户；
第三获取模块，用于获取所述目标未标注用户的特征和标注的标签数据；
添加模块，用于将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中；
所述回归模型为回归树模型，所述第二获取模块，包括：
第一计算单元，用于计算所述回归树模型中叶子节点的纯度；
第一确定单元，用于根据所述叶子节点的纯度确定目标路径分支；
第二确定单元，用于将所述目标路径分支确定为所述查询策略。
10.根据权利要求9所述的训练装置，其特征在于，所述添加模块，还用于：将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，执行以下步骤中的至少一个：
所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；
继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
11.根据权利要求9所述的训练装置，其特征在于，所述第一确定单元，具体用于：
将所述叶子节点的纯度最低的叶子节点对应的路径分支，确定为所述目标路径分支。
12.根据权利要求9或11任一项所述的训练装置，其特征在于，所述第一计算单元，具体用于：
计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；
根据所述信息差异性指标计算所述叶子节点的纯度。
13.一种回归模型的训练装置，其特征在于，包括：
第一获取模块，用于获取已标注样本池中已标注用户的特征和标注的标签数据；
训练模块，用于根据所述已标注用户的特征和所述标签数据训练得到回归模型；
第二获取模块，用于根据所述回归模型获取对应的查询策略；
确定模块，用于根据所述查询策略确定对应的目标未标注用户；
第三获取模块，用于获取所述目标未标注用户的特征和标注的标签数据；
添加模块，用于将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中；
所述回归模型为随机森林模型，所述第二获取模块，包括：
第二计算单元，用于计算所述随机森林模型中回归树中叶子节点的纯度；
第三计算单元，用于计算同一路径分支对应的所述叶子节点的纯度的平均值；
第三确定单元，用于根据所述平均值确定目标路径分支；
第四确定单元，将所述目标路径分支确定为所述查询策略。
14.根据权利要求13所述的训练装置，其特征在于，所述添加模块，还用于：将所述目标未标注用户的特征和标注的标签数据添加至所述已标注样本池中之后，执行以下步骤中的至少一个：
所述回归模型未达到预设的期望性能和/或未触碰预设的训练结束条件，则继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤；
继续执行所述获取已标注样本池中已标注用户的特征和标注的标签数据步骤。
15.根据权利要求13所述的训练装置，其特征在于，所述第三确定单元，具体用于：
将所述平均值最低的路径分支确定为所述目标路径分支。
16.根据权利要求13或15任一项所述的训练装置，其特征在于，所述第二计算单元，具体用于：
计算所述叶子节点的信息差异性指标，所述信息差异性指标包括以下指标中的至少一个：平均绝对百分比误差、对称平均绝对百分比误差和变异系数；
根据所述信息差异性指标计算所述叶子节点的纯度。
17.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4或5-8中任一项所述的回归模型的训练方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4或5-8中任一项所述的回归模型的训练方法。
CN202011584101.XA 2020-12-28 2020-12-28 回归模型的训练方法、装置、电子设备和存储介质 Active CN113807631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011584101.XA CN113807631B (zh) 2020-12-28 2020-12-28 回归模型的训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011584101.XA CN113807631B (zh) 2020-12-28 2020-12-28 回归模型的训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113807631A CN113807631A (zh) 2021-12-17
CN113807631B true CN113807631B (zh) 2024-02-06

Family

ID=78943600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011584101.XA Active CN113807631B (zh) 2020-12-28 2020-12-28 回归模型的训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113807631B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090032A (zh) * 2018-01-03 2018-05-29 第四范式（北京）技术有限公司 逻辑回归模型的可视化解释方法及装置
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
US10339470B1 (en) * 2015-12-11 2019-07-02 Amazon Technologies, Inc. Techniques for generating machine learning training data
CN110503161A (zh) * 2019-08-29 2019-11-26 长沙学院 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN110782876A (zh) * 2019-10-21 2020-02-11 华中科技大学 一种用于语音情感计算的无监督主动学习方法
US10783442B1 (en) * 2016-12-19 2020-09-22 Amazon Technologies, Inc. Demand forecasting via direct quantile loss optimization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489688B2 (en) * 2017-07-24 2019-11-26 Adobe Inc. Personalized digital image aesthetics in a digital medium environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339470B1 (en) * 2015-12-11 2019-07-02 Amazon Technologies, Inc. Techniques for generating machine learning training data
US10783442B1 (en) * 2016-12-19 2020-09-22 Amazon Technologies, Inc. Demand forecasting via direct quantile loss optimization
CN108090032A (zh) * 2018-01-03 2018-05-29 第四范式（北京）技术有限公司 逻辑回归模型的可视化解释方法及装置
EP3736711A1 (en) * 2018-01-03 2020-11-11 The Fourth Paradigm (Beijing) Tech Co Ltd Visual interpretation method and device for logistic regression model
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN110503161A (zh) * 2019-08-29 2019-11-26 长沙学院 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN110782876A (zh) * 2019-10-21 2020-02-11 华中科技大学 一种用于语音情感计算的无监督主动学习方法

Also Published As

Publication number Publication date
CN113807631A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
Killick et al. Optimal detection of changepoints with a linear computational cost
Simpson Exploring genome characteristics and sequence quality without a reference
Anderson et al. Identifying clusters in Bayesian disease mapping
US7899763B2 (en) System, method and computer program product for evaluating a storage policy based on simulation
Georgiadou et al. Towards a potential research agenda to guide the implementation of Spatial Data Infrastructures—A case study from India
Wimmer et al. Analysing environmental acoustic data through collaboration and automation
CN113626499B (zh) 一种基于大数据数仓技术的学生画像挖掘实现方法
CN107203756A (zh) 一种识别手势的方法与设备
CN108345601A (zh) 搜索结果排序方法及装置
Bowler et al. The sustainability of rural systems: geographical interpretations
CN110851664A (zh) 一种面向主题的社交网络节点重要度评估方法
CN106570173A (zh) 一种基于Spark的高维稀疏文本数据聚类方法
CN108154120A (zh) 视频分类模型训练方法、装置、存储介质及电子设备
CN109344255B (zh) 标签的填充方法及终端设备
CN113807631B (zh) 回归模型的训练方法、装置、电子设备和存储介质
CN111126629B (zh) 模型的生成方法、刷单行为识别方法、系统、设备和介质
CN114821248B (zh) 面向点云理解的数据主动筛选标注方法和装置
CN115527083B (zh) 图像标注方法、装置和电子设备
CN111180053A (zh) 一种医院绩效信息处理方法、系统、装置及存储介质
CN113850485A (zh) 跨领域的多源数据评价模型训练方法、系统、装置及介质
CN109002849B (zh) 识别对象发展阶段的方法和装置
Maggiore et al. Smarter smartphones: understanding and predicting user habits from GPS sensor data
Yang et al. Emotion-aware music recommendation
Kineman et al. Relational Systems Ecology: The Anticipatory Niche and Complex Model Coupling
US20240152943A1 (en) Automatic analysis of regional housing markets based on the appreciation or depreciation of individual homes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant