CN110990548B - 强化学习模型的更新方法和装置 - Google Patents

强化学习模型的更新方法和装置 Download PDF

Info

Publication number
CN110990548B
CN110990548B CN201911206271.1A CN201911206271A CN110990548B CN 110990548 B CN110990548 B CN 110990548B CN 201911206271 A CN201911206271 A CN 201911206271A CN 110990548 B CN110990548 B CN 110990548B
Authority
CN
China
Prior art keywords
action
state
probability
value network
action value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911206271.1A
Other languages
English (en)
Other versions
CN110990548A (zh
Inventor
张望舒
温祖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911206271.1A priority Critical patent/CN110990548B/zh
Publication of CN110990548A publication Critical patent/CN110990548A/zh
Application granted granted Critical
Publication of CN110990548B publication Critical patent/CN110990548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种强化学习模型的更新方法和装置。强化学习模型包括第一动作价值网络和第二动作价值网络，分别承担第一比例和第二比例的线上流量，第一比例大于第二比例，方法包括：接收线上的当前问句；以当前问句作为当前状态，利用第一动作价值网络或利用第二动作价值网络得到当前状态对应的动作，以及相应的得到当前状态、动作、奖励和更新状态作为一条记录，将该条记录以一定概率存储；抽取记录，根据该记录对第二动作价值网络进行训练；当确定训练后的第二动作价值网络的效果优于第一动作价值网络时，将第一动作价值网络更新为训练后的第二动作价值网络。能够保证强化学习模型更新后的稳定性和质量。

Description

强化学习模型的更新方法和装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及强化学习模型的更新方法和装置。
背景技术
在智能客服中，用户在与机器人交互过程中用户语言口语化、简略化，或者，用户的问题描述不清晰、不准确或者描述冗杂，因此通常需要用户与机器人之间的多轮交互，才能得到用户想要的知识点答案。由于会话中，涉及到大量用户交互反馈，所以可以使用强化学习来建模如何根据用户问句确定知识点相关回答供用户反馈。
由于线上用户问句千变万化，业务变更迅速频繁，用户的问句兴趣点也会随着时间漂移，所以需要对强化学习模型不断更新迭代，以达到最佳效果。现有技术中，强化学习模型的更新方法无法保证更新后的稳定性和质量。
因此，希望能有改进的方案，能够保证强化学习模型更新后的稳定性和质量。
发明内容
本说明书一个或多个实施例描述了一种强化学习模型的更新方法和装置，能够保证强化学习模型更新后的稳定性和质量。
第一方面，提供了一种强化学习模型的更新方法，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，方法包括：
接收线上的当前问句；
当所述当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；
在所述第一状态执行所述第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；
将所述第一状态、所述第一动作、所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；
当所述当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；
在所述第二状态执行所述第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；
将所述第二状态、所述第二动作、所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；
从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；
当确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。
在一种可能的实施方式中，所述以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作，包括：
以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。
在一种可能的实施方式中，所述以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作，包括：
以所述当前问句作为第二状态，以所述第三概率根据所述第二动作价值函数选择价值最大的第二回答作为第二动作，以1减所述第三概率的概率随机选择第二回答作为第二动作。
在一种可能的实施方式中，所述第二概率小于所述第四概率。
进一步地，所述第四概率为1。
在一种可能的实施方式中，所述根据该记录利用所述第一动作价值函数计算累积奖励，包括：
对该记录中的奖励，以及利用所述第一动作价值函数计算的未来奖励，进行加权求和，得到所述累积奖励。
在一种可能的实施方式中，所述根据所述累积奖励对所述第二动作价值网络进行训练，包括：
利用所述第二动作价值函数计算估计奖励；
根据所述累积奖励和所述估计奖励的差值，以最小化该差值为目标调整所述第二动作价值函数的参数，以对所述第二动作价值网络进行训练。
在一种可能的实施方式中，所述确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，包括：
比较所述第二动作价值网络与所述第一动作价值网络的线上指标，当所述线上指标符合预设条件时，确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，其中，所述线上指标包括标签的点击率和/或在线转人工率。
在一种可能的实施方式中，所述经验回放列表具有最大容量，所述方法还包括：
当所述经验回放列表已达到最大容量且有新的记录需要存储时，按照存储时间的先后顺序丢弃最先存储的记录。
第二方面，提供了一种强化学习模型的更新装置，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，装置包括：
接收单元，用于接收线上的当前问句；
第一选择单元，用于当所述接收单元接收的当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；
第一执行单元，用于在所述第一状态执行所述第一选择单元选择的第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；
存储单元，用于将所述第一状态、所述第一动作、所述第一执行单元获取的所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；
第二选择单元，用于当所述接收单元接收的当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；
第二执行单元，用于在所述第二状态执行所述第二选择单元选择的第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；
所述存储单元，还用于将所述第二状态、所述第二动作、所述第二执行单元获取的所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；
训练单元，用于从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；
更新单元，用于当确定所述训练单元得到的训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，强化学习模型包括两个动作价值网络用于分担线上流量，所有的强化学习线上优化、迭代的流量被限制在其中一个动作价值网络，对于整体线上效果影响有限，同时将动作价值网络的迭代与测试效果的比对结合起来，满足一定业务要求才会进行迭代替换，能够保证强化学习模型更新后的稳定性和质量。此外，该方法可以基于线上用户反馈，自动迭代强化学习模型，将与用户交互的过程视为智能体(agent)与环境交互的过程，完成动作价值网络的自动更新，是一种十分有效的强化学习的数据闭环更新方案。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的强化学习模型的更新方法流程图；
图3示出根据另一个实施例的强化学习模型的更新方法流程图；
图4示出根据一个实施例的强化学习模型的更新装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及强化学习模型的更新，该强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈。可以理解的是，强化学习，用于描述和解决智能体(agent)在与环境交互的过程中通过学习策略以达成回报最大化或实现特定目标的问题。
在智能客服中，为了解决用户的模糊问题，可以通过机器人与用户之间的多轮交互明确用户述求，例如，图1所示的实施场景中，给出了多轮交互的一个典型示例，首先用户输出一个用户问句1，机器人根据该用户问句1不能明确用户述求，则输出一个或多个标签供用户点击，通过用户点击标签或用户的补充描述，更新用户问句，从而得到用户想要的知识点答案。本说明书实施例，针对多轮会话中，用户点击标签或用户补充描述涉及到大量用户交互反馈，所以使用强化学习来建模如何根据用户描述推荐合适的标签来让用户发生点击行为，或者机器人输出什么信息才能让用户作出肯定的表述。由于线上用户问句千变万化，业务变更迅速频繁，用户的问句兴趣点也会随着时间漂移，所以就需要一种数据闭环系统来对强化学习模型不断更新迭代，以达到最佳效果。
本说明书实施例，提出一种强化学习模型的更新方法，对深度Q学习(deepq-learing，DQN)算法本身做了一些改进，使其适用于线上实时数据闭环的业务环境。
图2示出根据一个实施例的强化学习模型的更新方法流程图，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，方法包括：步骤21，接收线上的当前问句；步骤22，当所述当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；步骤23，在所述第一状态执行所述第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；步骤24，将所述第一状态、所述第一动作、所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；步骤25，当所述当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；步骤26，在所述第二状态执行所述第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；步骤27，将所述第二状态、所述第二动作、所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；步骤28，从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；步骤29，当确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。下面描述以上各个步骤的具体执行方式。
首先在步骤21，接收线上的当前问句。可以理解的是，在机器人与用户的多轮对话中，可以将用户在当前轮输入的信息作为当前问句，例如，在图1所示的实施场景中，当前轮为用户点击了标签1，可以将标签1对应的信息作为当前问句；或者，可以将用户当前轮输入的信息和之前输入的历史信息作为当前问句，例如，在图1所示的实施场景中，当前轮为用户点击了标签1，之前输入的历史信息为用户问句1，可以将标签1对应的信息和用户问句1相结合作为当前问句。
然后在步骤22，当所述当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作。可以理解的是，出于兼顾探索和利用的原则，第一动作价值网络仅是部分选取价值最大的动作，以期探索到价值更大的动作。
在一个示例中，以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。
接着在步骤23，在所述第一状态执行所述第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态。以图1所示场景为例，若第一状态对应用户问句1，第一动作对应标签1、标签2和标签3，用户反馈为用户点击了标签1，根据该用户反馈可以确定第一奖励，以及状态更新后的第一更新状态。
再在步骤24，将所述第一状态、所述第一动作、所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中。可以理解的是，该经验回放列表中存储的各条记录可以作为训练样本，用于对强化学习模型的训练。基于前述探索和利用的原则，上述记录可能为探索得到的，也可能为利用得到的，而训练样本尽可能希望为探索得到的，因此可以根据探索和利用的比例来确定上述第二概率。
在一个示例中，所述经验回放列表具有最大容量，当所述经验回放列表已达到最大容量且有新的记录需要存储时，按照存储时间的先后顺序丢弃最先存储的记录。
再在步骤25，当所述当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作。可以理解的是，出于兼顾探索和利用的原则，第二动作价值网络仅是部分选取价值最大的动作，以期探索到价值更大的动作。
在一个示例中，以所述当前问句作为第二状态，以所述第三概率根据所述第二动作价值函数选择价值最大的第二回答作为第二动作，以1减所述第三概率的概率随机选择第二回答作为第二动作。
再在步骤26，在所述第二状态执行所述第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态。可以理解的是，在第二状态获取相应奖励和更新状态的场景与在第一状态类似，在此不做赘述。
再在步骤27，将所述第二状态、所述第二动作、所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中。可以理解的是，依据第二动作价值网络得到的记录，与依据第一动作价值网络得到的记录，可以存储在同一经验回放列表中，用于后续作为训练样本对强化学习模型进行训练。
在一个示例中，所述第二概率小于所述第四概率。
进一步地，所述第四概率为1。也就是说，全部存储第二动作价值网络得到的记录，部分存储依据第一动作价值网络得到的记录。
再在步骤28，从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络。可以理解的是，第一动作价值网络和第二动作价值网络用于分担在线流量，但是仅对第二动作价值网络进行训练，因此对整体线上效果影响有限。
在一个示例中，对该记录中的奖励，以及利用所述第一动作价值函数计算的未来奖励，进行加权求和，得到所述累积奖励。
在一个示例中，利用所述第二动作价值函数计算估计奖励；根据所述累积奖励和所述估计奖励的差值，以最小化该差值为目标调整所述第二动作价值函数的参数，以对所述第二动作价值网络进行训练。
最后在步骤29，当确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。可以理解的是，当满足一定业务要求时，再进行模型的更新迭代，极大提升了线上模型稳定性，保证了模型的效果。
在一个示例中，比较所述第二动作价值网络与所述第一动作价值网络的线上指标，当所述线上指标符合预设条件时，确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，其中，所述线上指标包括标签的点击率和/或在线转人工率。
其中，上述标签可以为知识点标题对应的关键词，或者知识点标题。可选地，该标签还可以链接到相应的知识点。
通过本说明书实施例提供的方法，强化学习模型包括两个动作价值网络用于分担线上流量，所有的强化学习线上优化、迭代的流量被限制在其中一个动作价值网络，对于整体线上效果影响有限，同时将动作价值网络的迭代与测试效果的比对结合起来，满足一定业务要求才会进行迭代替换，能够保证强化学习模型更新后的稳定性和质量。此外，该方法可以基于线上用户反馈，自动迭代强化学习模型，将与用户交互的过程视为智能体(agent)与环境交互的过程，完成动作价值网络的自动更新，是一种十分有效的强化学习的数据闭环更新方案。
图3示出根据另一个实施例的强化学习模型的更新方法流程图，该实施例给出了更为详细的线上数据闭环流程。参照图3，本说明书实施例在通常的DQN的基础上进行了改进，对线上流量进行随机分桶，分为对照桶A(例如80％流量)和实验桶B(例如20％流量)，为了保持线上整体算法稳定性和效果，实验桶的流量较小，收集足够的实验数据进行训练即可。对于当前时间的当前状态st，使用深度神经网络来近似表示价值函数(value-function)，价值函数也称为动作价值函数，其中A桶使用较稳定版本的价值函数
Figure BDA0002297003100000101
固定不变，B桶使用价值函数Q不断进行训练更新参数。同时，使用容量为N的经验回放列表D来存储经验历史，如果D中的数据量大于N则自动丢弃掉最老的数据，保持其容量一直最大为N的状态。其线上数据闭环流程过程如下：
首先，对于A桶和B桶，分别根据当前状态，通过贪心算法(例如ε-Greedy)的方式从
Figure BDA0002297003100000102
和Q得到动作
Figure BDA0002297003100000103
和
Figure BDA0002297003100000104
例如，对于A桶的流量，在当前状态
Figure BDA0002297003100000111
依据概率ε随机选择一个动作
Figure BDA0002297003100000112
否则，选取当前价值最大的动作；对于B桶的流量，在当前状态
Figure BDA0002297003100000113
依据概率ε随机选择一个动作
Figure BDA0002297003100000114
否则，选取当前价值最大的动作。
然后，A桶和B桶分别执行得到的相应动作，观察各自的奖励和下一状态rt A,
Figure BDA0002297003100000115
和rt B,
Figure BDA0002297003100000116
接着，分别将A桶的经验
Figure BDA0002297003100000117
和B桶经验
Figure BDA0002297003100000118
存入经验回放列表D，由于A桶流量较大且使用稳定的
Figure BDA0002297003100000119
探索较少，所以A桶以一定概率p将经验存入D，剩余的丢弃掉。
接下来训练Q。从D中抽样经验(sj,aj,rj,sj+1)，并计算累积奖励
Figure BDA00022970031000001110
使用损失函数loss＝(yj-Q(φj,aj；θ))2更新Q的参数θ。可以理解的是，
Figure BDA00022970031000001111
作为目标动作价值函数，φj+1为对sj+1预处理，γ为权重，累积奖励的公式、损失函数与通常的DQN类似，在此不做赘述。
最后进行AB桶的对比测试，经过一段时间的训练，比较AB桶各自的线上指标，如果B桶指标优于A，则进行滚筒迭代
Figure BDA00022970031000001112
从而完成一轮数据闭环更新。否则继续重复训练Q。
这样所有的强化学习线上优化、迭代的流量被限制在B桶，对于整体线上效果影响有限，同时将Q网络的迭代与AB测试结合起来，满足一定业务要求才会进行迭代替换，极大提升了线上模型稳定性，保证了模型的效果。该方案可以仅仅使用线上用户反馈，自动迭代强化学习模型，将与用户交互的过程视为智能体(agent)与环境交互的过程，完成Q网络的自动更新，是一种十分有效的强化学习的数据闭环更新方案。
本说明书实施例，动作价值网络可以使用任意形式的深度学习网络，例如卷积神经网络(convolutional neural networks，CNN)、深度神经网络(deep neural networks，DNN)、循环神经网络(recurrent neural network，RNN)等。
不同于普通的DQN算法，基于数据闭环的DQN可以不断的利用线上用户反馈和奖励数据不断更新迭代模型。对于业务变化频繁用户问句变化迅速的服务问答数据具有良好的适应性，同时自动闭环迭代也节省了大量人力资源进行手工训练调整和迭代，提升了算法迭代效率。
基于强化学习DQN的数据闭环系统解决了强化学习迭代不稳定的问题，从两个方面保证了线上效果稳定性和效果：一方面，80％的A桶线上流量使用固定的
Figure BDA0002297003100000121
所有的模型试验和迭代集中在实验桶B桶进行，这样既能回收充分的试验数据，又能确保线上模型效果的稳定；另一方面，将强化学习闭环与AB测试结合，只有符合业务要求的算法才能进行闭环迭代，进一步确保线上效果和稳定，确保了线上迭代不断在向优化目标迭代。
根据另一方面的实施例，还提供一种强化学习模型的更新装置，该装置用于执行本说明书实施例提供的强化学习模型的更新方法，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例。图4示出根据一个实施例的强化学习模型的更新装置的示意性框图。如图4所示，该装置400包括：
接收单元41，用于接收线上的当前问句；
第一选择单元42，用于当所述接收单元41接收的当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；
第一执行单元43，用于在所述第一状态执行所述第一选择单元42选择的第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；
存储单元44，用于将所述第一状态、所述第一动作、所述第一执行单元43获取的所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；
第二选择单元45，用于当所述接收单元41接收的当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；
第二执行单元46，用于在所述第二状态执行所述第二选择单元45选择的第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；
所述存储单元44，还用于将所述第二状态、所述第二动作、所述第二执行单元获取的所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；
训练单元47，用于从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；
更新单元48，用于当确定所述训练单元47得到的训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。
可选地，作为一个实施例，所述第一选择单元42，具体用于以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。
可选地，作为一个实施例，所述第二选择单元45，具体用于以所述当前问句作为第二状态，以所述第三概率根据所述第二动作价值函数选择价值最大的第二回答作为第二动作，以1减所述第三概率的概率随机选择第二回答作为第二动作。
可选地，作为一个实施例，所述第二概率小于所述第四概率。
进一步地，所述第四概率为1。
可选地，作为一个实施例，所述训练单元47，具体用于对该记录中的奖励，以及利用所述第一动作价值函数计算的未来奖励，进行加权求和，得到所述累积奖励。
可选地，作为一个实施例，所述训练单元47，具体用于：
利用所述第二动作价值函数计算估计奖励；
根据所述累积奖励和所述估计奖励的差值，以最小化该差值为目标调整所述第二动作价值函数的参数，以对所述第二动作价值网络进行训练。
可选地，作为一个实施例，所述更新单元48，具体用于比较所述第二动作价值网络与所述第一动作价值网络的线上指标，当所述线上指标符合预设条件时，确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，其中，所述线上指标包括标签的点击率和/或在线转人工率。
可选地，作为一个实施例，所述经验回放列表具有最大容量，所述存储单元44，还用于当所述经验回放列表已达到最大容量且有新的记录需要存储时，按照存储时间的先后顺序丢弃最先存储的记录。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2和图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2和图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (20)

1.一种强化学习模型的更新方法，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，所述方法包括：
接收线上的当前问句；
当所述当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；
在所述第一状态执行所述第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；
将所述第一状态、所述第一动作、所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；
当所述当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；
在所述第二状态执行所述第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；
将所述第二状态、所述第二动作、所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；
从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；
当确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。
2.如权利要求1所述的方法，其中，所述以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作，包括：
以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。
3.如权利要求1所述的方法，其中，所述以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作，包括：
以所述当前问句作为第二状态，以所述第三概率根据所述第二动作价值函数选择价值最大的第二回答作为第二动作，以1减所述第三概率的概率随机选择第二回答作为第二动作。
4.如权利要求1所述的方法，其中，所述第二概率小于所述第四概率。
5.如权利要求4所述的方法，其中，所述第四概率为1。
6.如权利要求1所述的方法，其中，所述根据该记录利用所述第一动作价值函数计算累积奖励，包括：
对该记录中的奖励，以及利用所述第一动作价值函数计算的未来奖励，进行加权求和，得到所述累积奖励。
7.如权利要求1所述的方法，其中，所述根据所述累积奖励对所述第二动作价值网络进行训练，包括：
利用所述第二动作价值函数计算估计奖励；
根据所述累积奖励和所述估计奖励的差值，以最小化该差值为目标调整所述第二动作价值函数的参数，以对所述第二动作价值网络进行训练。
8.如权利要求1所述的方法，其中，所述确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，包括：
比较所述第二动作价值网络与所述第一动作价值网络的线上指标，当所述线上指标符合预设条件时，确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，其中，所述线上指标包括标签的点击率和/或在线转人工率。
9.如权利要求1所述的方法，其中，所述经验回放列表具有最大容量，所述方法还包括：
当所述经验回放列表已达到最大容量且有新的记录需要存储时，按照存储时间的先后顺序丢弃最先存储的记录。
10.一种强化学习模型的更新装置，所述强化学习模型用于机器人客服根据用户问句确定知识点相关回答供用户反馈，所述强化学习模型包括第一动作价值网络和第二动作价值网络，所述第一动作价值网络承担第一比例的线上流量，所述第二动作价值网络承担第二比例的线上流量，所述第一比例大于所述第二比例，所述装置包括：
接收单元，用于接收线上的当前问句；
第一选择单元，用于当所述接收单元接收的当前问句被分配给所述第一动作价值网络时，以所述当前问句作为第一状态，根据第一概率和第一动作价值函数选择第一回答作为第一动作；
第一执行单元，用于在所述第一状态执行所述第一选择单元选择的第一动作，获取所述第一状态和所述第一动作对应的第一奖励，以及状态更新后的第一更新状态；
存储单元，用于将所述第一状态、所述第一动作、所述第一执行单元获取的所述第一奖励和所述第一更新状态作为一条记录，以第二概率将该条记录存储在经验回放列表中；
第二选择单元，用于当所述接收单元接收的当前问句被分配给所述第二动作价值网络时，以所述当前问句作为第二状态，根据第三概率和第二动作价值函数选择第二回答作为第二动作；
第二执行单元，用于在所述第二状态执行所述第二选择单元选择的第二动作，获取所述第二状态和所述第二动作对应的第二奖励，以及状态更新后的第二更新状态；
所述存储单元，还用于将所述第二状态、所述第二动作、所述第二执行单元获取的所述第二奖励和所述第二更新状态作为一条记录，以第四概率将该条记录存储在所述经验回放列表中；
训练单元，用于从所述经验回放列表中抽取记录，根据该记录利用所述第一动作价值函数计算累积奖励，根据所述累积奖励对所述第二动作价值网络进行训练，得到训练后的所述第二动作价值网络；
更新单元，用于当确定所述训练单元得到的训练后的所述第二动作价值网络的效果优于所述第一动作价值网络时，将所述第一动作价值网络更新为训练后的所述第二动作价值网络。
11.如权利要求10所述的装置，其中，所述第一选择单元，具体用于以所述当前问句作为第一状态，以所述第一概率根据所述第一动作价值函数选择价值最大的第一回答作为第一动作，以1减所述第一概率的概率随机选择第一回答作为第一动作。
12.如权利要求10所述的装置，其中，所述第二选择单元，具体用于以所述当前问句作为第二状态，以所述第三概率根据所述第二动作价值函数选择价值最大的第二回答作为第二动作，以1减所述第三概率的概率随机选择第二回答作为第二动作。
13.如权利要求10所述的装置，其中，所述第二概率小于所述第四概率。
14.如权利要求13所述的装置，其中，所述第四概率为1。
15.如权利要求10所述的装置，其中，所述训练单元，具体用于对该记录中的奖励，以及利用所述第一动作价值函数计算的未来奖励，进行加权求和，得到所述累积奖励。
16.如权利要求10所述的装置，其中，所述训练单元，具体用于：
利用所述第二动作价值函数计算估计奖励；
根据所述累积奖励和所述估计奖励的差值，以最小化该差值为目标调整所述第二动作价值函数的参数，以对所述第二动作价值网络进行训练。
17.如权利要求10所述的装置，其中，所述更新单元，具体用于比较所述第二动作价值网络与所述第一动作价值网络的线上指标，当所述线上指标符合预设条件时，确定训练后的所述第二动作价值网络的效果优于所述第一动作价值网络，其中，所述线上指标包括标签的点击率和/或在线转人工率。
18.如权利要求10所述的装置，其中，所述经验回放列表具有最大容量，所述存储单元，还用于当所述经验回放列表已达到最大容量且有新的记录需要存储时，按照存储时间的先后顺序丢弃最先存储的记录。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项的所述的方法。
CN201911206271.1A 2019-11-29 2019-11-29 强化学习模型的更新方法和装置 Active CN110990548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911206271.1A CN110990548B (zh) 2019-11-29 2019-11-29 强化学习模型的更新方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911206271.1A CN110990548B (zh) 2019-11-29 2019-11-29 强化学习模型的更新方法和装置

Publications (2)

Publication Number Publication Date
CN110990548A CN110990548A (zh) 2020-04-10
CN110990548B true CN110990548B (zh) 2023-04-25

Family

ID=70088654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911206271.1A Active CN110990548B (zh) 2019-11-29 2019-11-29 强化学习模型的更新方法和装置

Country Status (1)

Country Link
CN (1) CN110990548B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813904B (zh) * 2020-05-28 2024-09-20 平安科技（深圳）有限公司 多轮对话管理方法、装置和计算机设备
CN112580801B (zh) * 2020-12-09 2021-10-15 广州优策科技有限公司 一种强化学习训练方法及基于强化学习的决策方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141622A1 (en) * 2017-02-03 2018-08-09 Koninklijke Philips N.V. Extracted concept normalization using external evidence
CN109241291A (zh) * 2018-07-18 2019-01-18 华南师范大学 基于深度强化学习的知识图谱最优路径查询系统及其方法
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN109710741A (zh) * 2018-12-27 2019-05-03 中山大学 一种面向在线问答平台的基于深度强化学习的问题标注方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082210A1 (en) * 2016-09-18 2018-03-22 Newvoicemedia, Ltd. System and method for optimizing communications using reinforcement learning
CA3032182A1 (en) * 2018-01-31 2019-07-31 Royal Bank Of Canada Pre-training neural netwoks with human demonstrations for deep reinforcement learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141622A1 (en) * 2017-02-03 2018-08-09 Koninklijke Philips N.V. Extracted concept normalization using external evidence
CN109241291A (zh) * 2018-07-18 2019-01-18 华南师范大学 基于深度强化学习的知识图谱最优路径查询系统及其方法
CN109299237A (zh) * 2018-09-26 2019-02-01 苏州大学 基于行动者评论家强化学习算法的循环网络人机对话方法
CN109710741A (zh) * 2018-12-27 2019-05-03 中山大学 一种面向在线问答平台的基于深度强化学习的问题标注方法

Also Published As

Publication number Publication date
CN110990548A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
Gronauer et al. Multi-agent deep reinforcement learning: a survey
Chades et al. MOMDPs: a solution for modelling adaptive management problems
CN111813921B (zh) 题目推荐方法、电子设备及计算机可读存储介质
Strehl et al. Efficient structure learning in factored-state MDPs
Mandel et al. Where to add actions in human-in-the-loop reinforcement learning
Barsce et al. Towards autonomous reinforcement learning: Automatic setting of hyper-parameters using Bayesian optimization
CN110990548B (zh) 强化学习模型的更新方法和装置
Yao et al. Power constrained bandits
CN116448117A (zh) 一种融合深度神经网络和强化学习方法的路径规划方法
Reymond et al. Actor-critic multi-objective reinforcement learning for non-linear utility functions
CN113435606A (zh) 强化学习模型的优化方法、装置、存储介质及电子设备
EP4002213A1 (en) System and method for training recommendation policies
Zhan et al. Human-guided robot behavior learning: A gan-assisted preference-based reinforcement learning approach
CN106997488A (zh) 一种结合马尔科夫决策过程的动作知识提取方法
He et al. Measuring and modelling how people learn how to plan and how people adapt their planning strategies the to structure of the environment
Yang et al. Abstract demonstrations and adaptive exploration for efficient and stable multi-step sparse reward reinforcement learning
CN117539648A (zh) 一种电子政务云平台的服务质量管理方法及装置
CN111046156A (zh) 奖励数据的确定方法、装置和服务器
ElRafey et al. A hybrid active learning and progressive sampling algorithm
Sapora et al. EvIL: Evolution Strategies for Generalisable Imitation Learning
Chien et al. Stochastic curiosity maximizing exploration
Bossens Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
Efthymiadis et al. A comparison of plan-based and abstract mdp reward shaping
CN113420877A (zh) 一种金融数据决策方法、装置、电子设备及存储介质
Biedenkapp et al. Towards white-box benchmarks for algorithm control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant