CN115330058A - 对象选择模型的训练方法、对象选择方法及装置 - Google Patents
对象选择模型的训练方法、对象选择方法及装置 Download PDFInfo
- Publication number
- CN115330058A CN115330058A CN202210980320.2A CN202210980320A CN115330058A CN 115330058 A CN115330058 A CN 115330058A CN 202210980320 A CN202210980320 A CN 202210980320A CN 115330058 A CN115330058 A CN 115330058A
- Authority
- CN
- China
- Prior art keywords
- selection
- object selection
- target
- candidate objects
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000010187 selection method Methods 0.000 title claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 75
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000013210 evaluation model Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本公开提供了一种对象选择模型的训练方法、对象选择方法及装置，涉及人工智能技术领域，尤其涉及强化学习技术领域。实现方案为：获取多种候选对象的属性信息和多种选择策略，其中，多种候选对象被配置为利用目标资源，多种选择策略中的每种选择策略用于对多种候选对象进行选择；将属性信息和训练状态信息输入对象选择模型，以得到对象选择模型输出的目标选择策略，其中，训练状态信息指示对象选择模型在历史迭代轮次中输出的历史目标选择策略对多种候选对象的选择情况；基于属性信息、训练状态信息和目标选择策略，确定基于目标选择策略所得到的对象选择结果对目标资源的利用效果；以及基于利用效果，调整对象选择模型的参数。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及强化学习技术领域，具体涉及一种对象选择模型的训练方法及装置、对象选择方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
实践中，常常需要将待处理对象(例如，待运输或者待存储的货物)安排给用于处理对象的资源(例如，货车或仓库的存储空间)进行处理，不同种类的待处理对象具有不同的价值(例如，价格、重要性等)。
在一些情况中，待处理对象的种类和数量较多，而可利用的资源有限，无法对所有的待处理对象进行处理。在这种情况下，需要从多个待处理对象中选择出一部分价值较高的对象，交由资源进行处理，以使资源处理这些对象所得到的收益最大，实现有限资源的最优化利用。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种对象选择模型的训练方法及装置、对象选择方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种对象选择模型的训练方法，包括：获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；将所述属性信息和训练状态信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述训练状态信息指示所述对象选择模型在历史迭代轮次中输出的历史目标选择策略对所述多种候选对象的选择情况；基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果；以及基于所述利用效果，调整所述对象选择模型的参数。
根据本公开的一方面，提供了一种对象选择方法，包括：获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于上述对象选择模型的训练方法训练得到的；以及基于所述目标选择策略对所述多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
根据本公开的一方面，提供了一种对象选择模型的训练装置，包括：获取模块，被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；决策模块，被配置为将所述属性信息和训练状态信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述训练状态信息指示所述对象选择模型在历史迭代轮次中输出的历史目标选择策略对所述多种候选对象的选择情况；第一确定模块，被配置为基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果；以及第一调整模块，被配置为基于所述利用效果，调整所述对象选择模型的参数。
根据本公开的一方面，提供了一种对象选择装置，包括：获取模块，被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；决策模块，被配置为将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于上述对象选择模型的训练装置训练得到的；以及选择模块，被配置为基于所述目标选择策略对所述多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方面的方法。
根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行上述任一方面的方法。
根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一方面的方法。
根据本公开的一个或多个实施例，能够提高对象选择的效果，实现有限资源的最优化利用。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的对象选择模型的训练方法的流程图；
图2示出了根据本公开的实施例的对象选择模型的训练过程的示意图；
图3示出了根据本公开的实施例的对象选择方法的流程图；
图4示出了根据本公开的实施例的对象选择模型的训练装置的结构框图；
图5示出了根据本公开的实施例的对象选择装置的结构框图；以及
图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
相关技术中，通常采用固定的选择策略来从多种候选对象中选择出至少一个目标对象，并确定每种目标对象的数量，将被选中的目标对象交由有限的资源进行处理，以实现有限资源的最优化利用。选择策略例如可以是贪心策略、启发式策略(例如禁忌搜索算法、遗传算法、蚁群算法、蜂群算法等)、人工设计的其他策略等。不同选择策略的对象选择效果可能存在差异。
对象选择问题的应用场景多种多样。例如，在有限的背包空间下选择合适的物品进行放置、在有限的仓库空间下选择合适的货物进行存储、在有限的交通工具运输空间下选择合适的货物进行运输、在有限的预算下选择合适的物品进行采购、在有限的计算资源(例如CPU、内存等)下选择合适的计算任务进行处理，等等。针对不同的应用场景，候选对象的种类、数量、属性等往往存在差异，相应地，不同应用场景适用的选择策略也可能存在差异。针对不同的应用场景均采用固定的选择策略来选择对象，可能导致选择策略与应用场景不匹配，从而降低了选择效果，无法实现有限资源的最优化利用。
此外，相关技术中，采用选择策略来选择对象的过程往往由一系列决策步骤组成，每个决策步骤用于选择一定种类、数量的对象，并在最后一个决策步骤中得到对象选择问题的最优解。但是，现有的选择策略在每一个决策步骤中仅仅考虑了当前决策步骤的收益，没有考虑整体决策步骤的收益，导致当前决策步骤做出的决策不一定是能使整体对象选择效果最好的决策，进而使该决策策略所得到的最优解不是对象选择问题的全局最优解，而是局部最优解，无法实现有限资源的最优化利用。
针对上述问题，本公开实施例提供一种对象选择模型的训练方法和对象选择方法，以提高对象选择的效果，实现有限资源的最优化利用。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开实施例的对象选择方法100的流程图。如图1所示，方法100包括步骤S110-S140。
在步骤S110中，获取多种候选对象的属性信息和多种选择策略。其中，多种候选对象被配置为利用目标资源，多种选择策略中的每种选择策略用于对多种候选对象进行选择。
在步骤S120中，将属性信息和训练状态信息输入对象选择模型，以得到对象选择模型输出的目标选择策略。训练状态信息指示对象选择模型在历史迭代轮次中输出的历史目标选择策略对多种候选对象的选择情况。
在步骤S130中，基于属性信息、训练状态信息和目标选择策略，确定基于目标选择策略所得到的对象选择结果对目标资源的利用效果。
在步骤S140中，基于利用效果，调整对象选择模型的参数。
根据本公开的实施例，对象选择模型能够基于对象选择问题的应用场景动态确定用于解决该对象选择问题的目标选择策略，提高了目标选择策略与应用场景的适配性，从而使基于目标选择策略所得出的对象选择结果具有良好的效果，保证了有限资源的最优化利用。
此外，在对象选择模型的训练过程中，基于目标资源的利用效果来调整对象选择模型的参数，使得对象选择模型能够将最优化利用目标资源的选择策略作为目标选择策略，避免陷入局部最优，有利于得到全局最优的对象选择结果，保证了有限资源的最优化利用。
在本公开的实施例中，候选对象有多种，每种候选对象的数量可以相同，也可以不同。例如，在货物运输场景中，可以包括三种候选货物(即候选对象)A、B、C，三者的数量分别为10、10、20。即，该货物运输场景中包括10个候选货物A、10个候选货物B和20个候选货物C。
需要说明的是，在本公开的实施例中，候选对象的数量的取值可以是整数，也可以是小数(小数的取值范围可以是离散的，也可以是连续的)。例如，某些候选对象可以进行拆分或组合，使得候选对象的数量可以是诸如0.5、1.6之类的小数。
在本公开的实施例中，多种候选对象被配置为利用目标资源，换言之，目标资源用于处理多种候选对象。在本公开的实施例中，可利用的目标资源是有限的，不足以处理所有的候选对象，而只能处理一部分候选对象。因此，需要对多种候选对象进行选择。例如，在货物运输场景中，多种候选对象可以是候选货物A、候选货物B和候选货物C，可利用的目标资源可以是用于运载候选货物的货车厢体空间。候选货物A、B、C受厢体空间的约束。厢体空间是有限的，不足以装载所有的候选货物A、B、C，因此需要对候选货物A、B、C进行选择。
进一步地，在本公开的实施例中，每个候选对象具有相应的价值。价值例如可以通过成本、售价、重要性、实用性等评价指标来体现。为了实现有限资源的最优化利用，期望被选中的各个候选对象的价值的总和最大化。
需要说明的是，用于体现价值的评价指标可以根据需要来选用。所选用的评价指标可以与价值正相关，也可以与价值负相关。相应地，为了实现有限资源的最优化利用，期望被选中的各个候选对象的评价指标的总和最大化或最小化。
在本公开的实施例中，可以预先构建用于进行对象选择的策略库，该策略库包括多种选择策略，每种选择策略均可以对多种候选对象进行选择，以得到对象选择结果。具体地，对象选择结果包括每种候选对象的数量。
根据一些实施例，多种选择策略例如可以包括贪心策略、启发式策略(例如禁忌搜索算法、遗传算法、蚁群算法、蜂群算法等)、人工设计的其他策略等。在另一些实施例中，多种选择策略也可以包括经训练的模仿学习模型。例如，可以以历史的对象选择数据作为样本，对模仿学习模型进行监督训练，以得到经训练的模仿学习模型。经训练的模仿学习模型可以输出对象选择结果。
根据一些实施例，对象选择模型可以实现为多层感知机(MultiLayerPerceptron，MLP)、深度神经网络(Deep Neural Network，DNN)、卷积神经网络(Convolutional Neural Network，CNN)等神经网络结构。可以理解，对象选择模型包括多个可训练的参数。
在对象选择模型的训练过程中，对象选择模型的输入包括多种候选对象的属性信息和训练状态信息，输出为从多种选择策略中选出的目标选择策略。在本公开的实施例中，属性信息和训练状态信息可以统称为“状态特征”。
多种候选对象的属性信息可以指示对象选择的应用场景。根据一些实施例，属性信息例如可以包括多种候选对象的数量取值类型的分布情况和多种候选对象的约束类型的分布情况。
数量取值类型例如包括0-1整数、普通整数(0,1,2，…)、连续变量等。
约束类型例如可以包括优先级约束(例如指定不同种类的候选对象的选择优先级)、累积约束(例如指定不同种类的候选对象的数量和需要满足一定的条件)、取值范围约束(例如指定某种候选对象的数量的取值范围)等。根据一些实施例，约束类型可以采用MIPLIB(Mixed Integer Programming LIBrary，混合整数规划库)中定义的约束类(Constraint Classes)。
在对象选择模型的训练过程中，多种候选对象的属性信息是不变的，即，多种候选对象的属性信息是对象选择模型的训练过程中的静态特征。由此能够保证对象选择模型的每次决策均能充分考虑当前应用场景的特点，从而使模型输出的目标选择策略与应用场景相匹配，提高目标选择策略与应用场景的适配性。
训练状态信息用于指示对象选择模型在历史迭代轮次中输出的历史目标选择策略对多种候选对象的选择情况。根据一些实施例，训练状态信息可以包括基于历史目标选择策略所得到的历史对象选择结果(即，历史可行解)的统计特征。具体地，对象选择模型每进行一轮迭代，均可以得到一个目标选择策略，基于该目标选择策略对多种候选对象进行选择，可以得到相应的对象选择结果。基于该对象选择结果，可以对训练状态信息进行更新。更新后的训练状态信息将作为下一轮迭代中的模型输入。
根据一些实施例，可以在进行第一轮迭代之前，将训练状态信息初始化为预设值。预设值例如可以是全零、空值(null)等。
根据一些实施例，训练状态信息例如可以包括以下三项中的至少一项：
1、多种选择策略中的每种选择策略被确定为历史目标选择策略的次数。
例如，在第10轮迭代中，训练状态信息可以包括每种选择策略在前9个历史目标选择策略中的出现次数。
2、多种候选对象中的每种候选对象在最近的至少一个对象选择结果中的出现次数最多的数量的出现次数比，其中，最近的至少一个对象选择结果是分别基于最近的至少一个历史目标选择策略对多种候选对象进行选择而产生的。
至少一个对象选择结果的数量可以根据需要进行设置，例如可以设置为5、10等。
例如，可以设置至少一个对象选择结果的数量为5。在最近的5轮迭代所得到的对象选择结果中，候选对象A的数量分别为2、4、1、4、4，出现次数最多的数量为4，其出现次数为3，则出现次数比为3/5＝0.6。
3、多种候选对象中的每种候选对象在至少一个对象选择结果中的数量是否发生变化。
例如，在最近的5轮迭代所得到的对象选择结果中，候选对象A的数量分别为2、1、2、3、3，则其数量发生了变化。
又例如，在最近的5轮迭代所得到的对象选择结果中，候选对象A的数量均为2，则其数量未发生变化。
在对象选择模型的训练过程中，训练状态信息是不断变化的，即，训练状态信息是对象选择模型的训练过程中的动态特征。由此能够实现对象选择模型与环境的交互，使对象选择模型能够基于不同的状态采取不同决策动作，提高对象选择模型的决策效果和收敛速度。
在得到对象选择模型输出的目标选择策略后，可以基于状态特征(包括属性信息和训练状态信息)和目标选择策略，确定基于目标选择策略所得到的对象选择结果对目标资源的利用效果。目标资源的利用效果能够表示目标选择策略所带来的长期收益，即，能够评价对象选择模型的决策行为(即目标选择策略)，引导对象选择模型向优化目标资源的利用效果的方向调整其参数。
根据一些实施例，可以根据经验设置利用效果的计算公式，基于该计算公式来确定目标资源的利用效果。根据该实施例，可以快速确定目标资源的利用效果，计算效率高。但是可以理解，这种计算方式不够灵活、准确。
根据另一些实施例，可以设置用于确定目标资源的利用效果的评价模型。将状态特征(包括属性信息和训练状态信息)和目标选择策略输入评价模型，以得到评价模型输出的目标资源的利用效果。由此能够准确、灵活地确定目标资源的利用效果。
根据一些实施例，评价模型可以实现为多层感知机(MultiLayer Perceptron，MLP)、深度神经网络(Deep Neural Network，DNN)、卷积神经网络(Convolutional NeuralNetwork，CNN)等神经网络结构。可以理解，评价模型包括多个可训练的参数。
根据一些实施例，为了提高评价模型的评价效果，在每一轮迭代中，可以基于环境反馈的利用效果增益(即，即时奖励)来调整评价模型的参数，由此能够使评价模型更准确地确定目标资源的利用效果，即，更准确地评价对象选择模型的决策行为。
根据一些实施例，可以按照以下步骤来调整评价模型的参数：基于目标选择策略对多种候选对象进行选择，以得到当前的对象选择结果；基于当前的对象选择结果，确定目标选择策略的利用效果增益；基于利用效果增益和评价模型输出的利用效果，调整评价模型的参数。
根据一些实施例，可以基于利用效果增益计算出整体利用效果的目标值，然后基于评价模型输出的利用效果与目标值之间的差距(例如均方误差，MSE)来调整评价模型的参数，使评价模型输出的利用效果与目标值之间的差距逐渐减小。
根据一些实施例，利用效果增益可以是基于第一评价指标相对于第二评价指标的变化率确定的，其中，第一评价指标为当前的对象选择结果的评价指标，第二评价指标为上一轮迭代的对象选择结果的评价指标。
需要说明的是，利用效果增益是一个有符号的数值，其符号是根据第一评价指标相对于第二评价指标的优劣程度来确定的。例如，如果第一评价指标优于第二评价指标，则利用效果增益的符号为正；如果第一评价指标劣于第二评价指标，则利用效果增益的符号为负。
例如，评价指标可以与候选对象的价值正相关，相应地，对象选择问题的优化目标是最大化对象选择结果的评价指标。利用效果增益的计算公式可以是：利用效果增益＝(第一评价指标–第二评价指标)/第二评价指标。
又例如，评价指标可以与候选对象的价值负相关，相应地，对象选择问题的优化目标是最小化对象选择结果的评价指标。利用效果增益的计算公式可以是：利用效果增益＝(第二评价指标–第一评价指标)/第二评价指标。
可以理解，步骤S120-S140可以循环执行多次，直至达到预设的终止条件时，对象选择模型训练完成。终止条件例如可以是目标资源的利用效果(长期收益)收敛或者利用效果增益(即时奖励)收敛。
图2示出了根据本公开实施例的对象选择模型的训练过程的示意图。
图2所示的实施例采用强化学习领域的SAC(Soft Actor-Critic，柔性致动-评价)算法来训练对象选择模型210。对象选择模型210相当于SAC算法中的Actor，评价模型220相当于SAC算法中的Critic。
在图2所示的SAC强化学习算法中，状态特征240包括：
1、静态特征：
1)在待解决的对象选择问题中，不同变量类型的分布情况(例如0-1整数、普通整数、连续变量等)。这里的变量指的是不同种类的候选对象的数量。
2)在待解决的对象选择问题中，不同约束类型的分布情况。约束类型可以参考MIPLIB的约束类，例如包括优先级约束(Precedence)、累积约束(Aggregation)、变量取值范围约束(Variable Bound)等。
2、动态特征：
1)不同选择策略的历史求解效果，即，统计每种选择策略在对象选择模型210的训练过程中被确定为目标选择策略的次数。
2)针对每个变量，统计其在最新的K个可行解(即，基于对象选择模型210在最近K轮迭代中输出的目标选择策略所得到的对象选择结果)中的出现次数最多的取值的出现次数比。
3)针对每个变量，统计其在最新的K个可行解中的取值是否没有变化。
K例如可以设置为5、10、20等。
在图2所示的实施例中，对象选择模型210每次决策的内容是从多种选择策略中选出一个目标选择策略，用来解决对象选择问题。因此，对象选择模型210的完整动作空间是由多种选择策略所组成的策略库。策略库例如可以是{策略1，策略2，策略3，策略4}。
在强化学习过程中，环境230反馈的即时奖励是非常重要的监督信息。即时奖励相当于上文所述的利用效果增益。例如，当前的对象选择问题的优化目标是最小化某个评价指标(假设该评价指标恒大于0)，那么对象选择模型210每次决策的即时奖励可以按照以下公式计算：即时奖励＝(决策前的评价指标–决策后的评价指标)/决策前的评价指标。
在强化学习过程中，环境230的主要作用包括：基于对象选择模型210的动作进行状态转移，更新状态特征240；以及反馈即时奖励。
在图2所示的实施例中，对象选择模型210基于状态特征240，从动作空间(即策略库)中选择对应的动作(action，即目标选择策略)。评价模型220对对象选择模型210当前的动作进行打分(即，确定目标资源的利用效果)，从而指导对象选择模型210构建更合适的动作。
对象选择模型210的具体训练过程如下：
在步骤S251中，对象选择模型210获取当前时刻t1的状态特征240。
在步骤S252中，对象选择模型210基于状态特征240，输出策略库中的每种策略被选中的概率，将概率最大的策略作为目标选择策略。例如，如图2所示，将概率最大的策略4作为目标选择策略。
在步骤S253、S254中，对象选择模型210分别将目标选择策略(策略4)提交给环境230和评价模型220。
在步骤S255中，环境230基于目标选择策略(策略4)计算即时奖励，并将即时奖励发送给评价模型220。
在步骤S256中，环境230基于时刻t1的状态特征240和目标选择策略(策略4)，对状态特征240进行更新，得到时刻t2的状态特征240。
在步骤S257中，评价模型220获取时刻t1、t2的状态特征240。
在步骤S258中，评价模型220基于所获取的状态特征240和目标选择策略(策略4)，对对象选择模型210的决策行为进行打分，将打分反馈给对象选择模型210，以便对象选择模型210基于收到的打分来优化自身的参数。并且，评价模型220基于打分和步骤S255中接收到的即时奖励，优化自身的参数。
重复步骤S251-S258，直至评价模型220输出的打分收敛或者环境230输出的即时奖励收敛时，对象选择模型210训练完成。
基于经训练的对象选择模型，本公开的实施例还提供一种对象选择方法。图3示出了根据本公开的实施例的对象选择方法300的流程图。如图3所示，方法300包括步骤S310-S330。
在步骤S310中，获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择。
在步骤S320中，将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于本公开实施例的对象选择模型的训练方法训练得到的。
在步骤S330中，基于目标选择策略对多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
根据本公开的实施例，能够基于对象选择问题的应用场景动态确定用于解决该对象选择问题的目标选择策略，提高了目标选择策略与应用场景的适配性，从而使基于目标选择策略所得出的对象选择结果具有良好的效果，保证有限资源的最优化利用。
此外，对象选择模型是基于本公开实施例的对象选择模型的训练方法训练得到的，其训练过程中考虑了选择策略所能达到的目标资源的利用效果。采用对象选择模型来确定目标选择策略，能够保证有限资源的最优化利用。
根据本公开的实施例，还提供了一种对象选择模型的训练装置。图4示出了根据本公开实施例的对象选择模型的训练装置400的结构框图。如图4所示，装置400包括获取模块410、决策模块420、第一确定模块430和第一调整模块440。
获取模块410被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择。
决策模块420被配置为将所述属性信息和训练状态信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述训练状态信息指示所述对象选择模型在历史迭代轮次中输出的历史目标选择策略对所述多种候选对象的选择情况。
第一确定模块430被配置为基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果。
第一调整模块440被配置为基于所述利用效果，调整所述对象选择模型的参数。
根据本公开的实施例，对象选择模型能够基于对象选择问题的应用场景动态确定用于解决该对象选择问题的目标选择策略，提高了目标选择策略与应用场景的适配性，从而使基于目标选择策略所得出的对象选择结果具有良好的效果，保证了有限资源的最优化利用。
此外，在对象选择模型的训练过程中，基于目标资源的利用效果来调整对象选择模型的参数，使得对象选择模型能够将最优化利用目标资源的选择策略作为目标选择策略，避免陷入局部最优，有利于得到全局最优的对象选择结果，保证了有限资源的最优化利用。
根据一些实施例，所述属性信息包括所述多种候选对象的数量取值类型的分布情况和所述多种候选对象的约束类型的分布情况。
根据一些实施例，所述训练状态信息包括以下各项中的至少一项：所述多种选择策略中的每种选择策略被确定为历史目标选择策略的次数；所述多种候选对象中的每种候选对象在最近的至少一个对象选择结果中的出现次数最多的数量的出现次数比，其中，所述最近的至少一个对象选择结果是分别基于最近的至少一个历史目标选择策略对所述多种候选对象进行选择而产生的；所述多种候选对象中的每种候选对象在所述至少一个对象选择结果中的数量是否发生变化。
根据一些实施例，所述第一确定模块430进一步被配置为：将所述属性信息、所述训练状态信息和所述目标选择策略输入评价模型，以得到所述评价模型输出的所述利用效果。
根据一些实施例，装置400还包括：选择模块，被配置为基于所述目标选择策略对所述多种候选对象进行选择，以得到当前的对象选择结果；第二确定模块，被配置为基于所述当前的对象选择结果，确定所述目标选择策略的利用效果增益；以及第二调整模块，被配置为基于所述利用效果增益和所述利用效果，调整所述评价模型的参数。
根据一些实施例，所述利用效果增益是基于第一评价指标相对于第二评价指标的变化率确定的，所述第一评价指标为所述当前的对象选择结果的评价指标，所述第二评价指标为上一轮迭代的对象选择结果的评价指标。
根据一些实施例，装置400还包括：初始化模块，被配置为将所述训练状态信息初始化为预设值。
根据本公开的实施例，还提供了一种对象选择装置。图5示出了根据本公开实施例的对象选择装置500的结构框图。如图5所述，装置500包括获取模块510、决策模块520和选择模块530。
获取模块510被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择。
决策模块520被配置为将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于本公开实施例的对象选择模型的训练装置训练得到的。
选择模块530被配置为基于所述目标选择策略对所述多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
根据本公开的实施例，能够基于对象选择问题的应用场景动态确定用于解决该对象选择问题的目标选择策略，提高了目标选择策略与应用场景的适配性，从而使基于目标选择策略所得出的对象选择结果具有良好的效果，保证有限资源的最优化利用。
此外，对象选择模型是基于本公开实施例的对象选择模型的训练方法训练得到的，其训练过程中考虑了选择策略所能达到的目标资源的利用效果。采用对象选择模型来确定目标选择策略，能够保证有限资源的最优化利用。
应当理解，图4中所示装置400的各个模块或单元可以与参考图1描述的方法100中的各个步骤相对应，图5中所示装置500的各个模块或单元可以与参考图3描述的方法300中的各个步骤相对应。由此，上面针对方法100描述的操作、特征和优点同样适用于装置400及其包括的模块以及单元，上面针对方法300描述的操作、特征和优点同样适用于装置500及其包括的模块以及单元。为了简洁起见，某些操作、特征和优点在此不再赘述。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。
还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4、图5描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，模块410-530中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的实施例，还提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开实施例的对象选择模型的训练方法和/或对象选择方法。
根据本公开的实施例，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开实施例的对象选择模型的训练方法和/或对象选择方法。
根据本公开的实施例，还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开实施例的对象选择模型的训练方法和/或对象选择方法。
参考图6，现将描述电子设备600的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备，输入单元606可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、802.11设备、Wi-Fi设备、WiMAX设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法100和/或方法300。例如，在一些实施例中，方法100和/或方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的方法100和方法300的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法100和/或方法300。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (19)
1.一种对象选择模型的训练方法，包括：
获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；
将所述属性信息和训练状态信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述训练状态信息指示所述对象选择模型在历史迭代轮次中输出的历史目标选择策略对所述多种候选对象的选择情况；
基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果；以及
基于所述利用效果，调整所述对象选择模型的参数。
2.根据权利要求1所述的方法，其中，所述属性信息包括所述多种候选对象的数量取值类型的分布情况和所述多种候选对象的约束类型的分布情况。
3.根据权利要求1或2所述的方法，其中，所述训练状态信息包括以下各项中的至少一项：
所述多种选择策略中的每种选择策略被确定为历史目标选择策略的次数；
所述多种候选对象中的每种候选对象在最近的至少一个对象选择结果中的出现次数最多的数量的出现次数比，其中，所述最近的至少一个对象选择结果是分别基于最近的至少一个历史目标选择策略对所述多种候选对象进行选择而产生的；
所述多种候选对象中的每种候选对象在所述至少一个对象选择结果中的数量是否发生变化。
4.根据权利要求1-3中任一项所述的方法，其中，所述基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果包括：
将所述属性信息、所述训练状态信息和所述目标选择策略输入评价模型，以得到所述评价模型输出的所述利用效果。
5.根据权利要求4所述的方法，还包括：
基于所述目标选择策略对所述多种候选对象进行选择，以得到当前的对象选择结果；
基于所述当前的对象选择结果，确定所述目标选择策略的利用效果增益；以及
基于所述利用效果增益和所述利用效果，调整所述评价模型的参数。
6.根据权利要求5所述的方法，其中，所述利用效果增益是基于第一评价指标相对于第二评价指标的变化率确定的，所述第一评价指标为所述当前的对象选择结果的评价指标，所述第二评价指标为上一轮迭代的对象选择结果的评价指标。
7.根据权利要求1-6中任一项所述的方法，还包括：将所述训练状态信息初始化为预设值。
8.一种对象选择方法，包括：
获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；
将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于权利要求1-7中任一项所述的方法训练得到的；以及
基于所述目标选择策略对所述多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
9.一种对象选择模型的训练装置，包括：
获取模块，被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；
决策模块，被配置为将所述属性信息和训练状态信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述训练状态信息指示所述对象选择模型在历史迭代轮次中输出的历史目标选择策略对所述多种候选对象的选择情况；
第一确定模块，被配置为基于所述属性信息、所述训练状态信息和所述目标选择策略，确定基于所述目标选择策略所得到的对象选择结果对所述目标资源的利用效果；以及
第一调整模块，被配置为基于所述利用效果，调整所述对象选择模型的参数。
10.根据权利要求9所述的装置，其中，所述属性信息包括所述多种候选对象的数量取值类型的分布情况和所述多种候选对象的约束类型的分布情况。
11.根据权利要求9或10所述的装置，其中，所述训练状态信息包括以下各项中的至少一项：
所述多种选择策略中的每种选择策略被确定为历史目标选择策略的次数；
所述多种候选对象中的每种候选对象在最近的至少一个对象选择结果中的出现次数最多的数量的出现次数比，其中，所述最近的至少一个对象选择结果是分别基于最近的至少一个历史目标选择策略对所述多种候选对象进行选择而产生的；
所述多种候选对象中的每种候选对象在所述至少一个对象选择结果中的数量是否发生变化。
12.根据权利要求9-11中任一项所述的装置，其中，所述第一确定模块进一步被配置为：
将所述属性信息、所述训练状态信息和所述目标选择策略输入评价模型，以得到所述评价模型输出的所述利用效果。
13.根据权利要求12所述的装置，还包括：
选择模块，被配置为基于所述目标选择策略对所述多种候选对象进行选择，以得到当前的对象选择结果；
第二确定模块，被配置为基于所述当前的对象选择结果，确定所述目标选择策略的利用效果增益；以及
第二调整模块，被配置为基于所述利用效果增益和所述利用效果，调整所述评价模型的参数。
14.根据权利要求13所述的装置，其中，所述利用效果增益是基于第一评价指标相对于第二评价指标的变化率确定的，所述第一评价指标为所述当前的对象选择结果的评价指标，所述第二评价指标为上一轮迭代的对象选择结果的评价指标。
15.根据权利要求9-14中任一项所述的装置，还包括：
初始化模块，被配置为将所述训练状态信息初始化为预设值。
16.一种对象选择装置，包括：
获取模块，被配置为获取多种候选对象的属性信息和多种选择策略，其中，所述多种候选对象被配置为利用目标资源，所述多种选择策略中的每种选择策略用于对所述多种候选对象进行选择；
决策模块，被配置为将所述属性信息输入对象选择模型，以得到所述对象选择模型输出的目标选择策略，其中，所述对象选择模型是基于权利要求9-15中任一项所述的装置训练得到的；以及
选择模块，被配置为基于所述目标选择策略对所述多种候选对象进行选择，以得到被所述目标资源处理的至少一个目标对象。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980320.2A CN115330058A (zh) | 2022-08-16 | 2022-08-16 | 对象选择模型的训练方法、对象选择方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980320.2A CN115330058A (zh) | 2022-08-16 | 2022-08-16 | 对象选择模型的训练方法、对象选择方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115330058A true CN115330058A (zh) | 2022-11-11 |
Family
ID=83923346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210980320.2A Pending CN115330058A (zh) | 2022-08-16 | 2022-08-16 | 对象选择模型的训练方法、对象选择方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330058A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540915A (zh) * | 2023-11-14 | 2024-02-09 | 南方电网调峰调频发电有限公司检修试验分公司 | 基于大数据技术的选型方案生成方法、装置、设备和介质 |
-
2022
- 2022-08-16 CN CN202210980320.2A patent/CN115330058A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540915A (zh) * | 2023-11-14 | 2024-02-09 | 南方电网调峰调频发电有限公司检修试验分公司 | 基于大数据技术的选型方案生成方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113692594A (zh) | 通过强化学习的公平性改进 | |
| CN112560996B (zh) | 用户画像识别模型训练方法、设备、可读存储介质及产品 | |
| CN114596553B (zh) | 模型训练方法、轨迹预测方法、装置及自动驾驶车辆 | |
| CN109783028A (zh) | I/o调度的优化方法、装置、存储介质及智能终端 | |
| US20220374704A1 (en) | Neural Network Training Method and Apparatus, Electronic Device, Medium and Program Product | |
| EP3966669A1 (en) | System and method for actor based simulation of complex system using reinforcement learning | |
| CN114065863A (zh) | 联邦学习的方法、装置、系统、电子设备及存储介质 | |
| US20240168808A1 (en) | Systems and methods of optimizing resource allocation using machine learning and predictive control | |
| US20230206024A1 (en) | Resource allocation method, resource allocation apparatus, device, medium and computer program produ | |
| US20240070454A1 (en) | Lightweight model training method, image processing method, electronic device, and storage medium | |
| CN115330058A (zh) | 对象选择模型的训练方法、对象选择方法及装置 | |
| CN114065864A (zh) | 联邦学习方法、联邦学习装置、电子设备以及存储介质 | |
| CN114091589B (zh) | 模型训练方法、装置、电子设备及介质 | |
| CN113761379B (zh) | 商品推荐方法及装置、电子设备和介质 | |
| CN113742457B (zh) | 应答处理方法、装置、电子设备及存储介质 | |
| CN113516185B (zh) | 模型训练的方法、装置、电子设备及存储介质 | |
| CN114818913A (zh) | 决策生成方法和装置 | |
| US20240183670A1 (en) | Route generation for vehicle routing problem and variants thereof | |
| CN108681480B (zh) | 后台应用程序管控方法、装置、存储介质及电子设备 | |
| CN113448668B (zh) | 一种跳过弹窗的方法、装置及电子设备 | |
| CN114756774A (zh) | 出行方案推荐、模型训练方法、装置、设备以及存储介质 | |
| CN113065644B (zh) | 用于压缩神经网络模型的方法及装置、设备和介质 | |
| CN114860405B (zh) | 多任务模型的参数更新方法、装置和存储介质 | |
| US20230351211A1 (en) | Scoring correlated independent variables for elimination from a dataset | |
| WO2021217375A1 (zh) | 无人机及其航点补充方法和装置、数据处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |