CN111368966B - 工单描述生成方法、装置、电子设备及可读存储介质 - Google Patents

工单描述生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111368966B
CN111368966B CN201811594247.5A CN201811594247A CN111368966B CN 111368966 B CN111368966 B CN 111368966B CN 201811594247 A CN201811594247 A CN 201811594247A CN 111368966 B CN111368966 B CN 111368966B
Authority
CN
China
Prior art keywords
work order
model
optimal
description
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811594247.5A
Other languages
English (en)
Other versions
CN111368966A (zh
Inventor
宋振秋
卫万成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811594247.5A priority Critical patent/CN111368966B/zh
Publication of CN111368966A publication Critical patent/CN111368966A/zh
Application granted granted Critical
Publication of CN111368966B publication Critical patent/CN111368966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种工单描述生成方法、装置、电子设备及可读存储介质，所述工单描述生成方法包括：构建包括生成模型和判别模型的生成对抗网络；获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述。本申请实施例能够自动生成待处理工单对应的工单描述，提高了生成工单描述的效率。

Description

工单描述生成方法、装置、电子设备及可读存储介质
技术领域
本申请涉及自然语言处理技术领域，具体而言，涉及一种工单描述生成方法、装置、电子设备及可读存储介质。
背景技术
近年来，随着互联网技术的广泛应用，在线客服日益普及，企业可以通过在线客服满足用户的咨询、购买、投诉等需求，当用户与客服在线进行交流时，客服需要对用户反馈的信息进行信息提炼以生成工单描述，工单描述要求简洁明了且概括了用户反馈的所有信息，能够保证企业可以根据工单描述对用户反馈的信息快速做出反应。
但是，信息提炼本身就是一件较为复杂的工作，客服做大量重复的信息提炼工作还会使工单描述的准确性无法得到保证，对客服而言，人工对用户反馈的信息进行信息提炼需要花费大量的时间，并且效率低下。
发明内容
有鉴于此，本申请实施例的目的在于提供一种工单描述生成方法、装置、电子设备及可读存储介质，能够准确快速地生成工单描述。
第一方面，本申请实施例提供了一种工单描述生成方法，所述方法包括：构建包括生成模型和判别模型的生成对抗网络；获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述。
一种可选实施方式中，所述对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型的步骤，包括：将所述历史工单输入所述生成模型得到历史工单描述；将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值；利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；固定所述最优判别模型的参数，基于所述历史工单、生成模型和最优判别模型，得到所述最优判别模型的输出概率值；利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
一种可选实施方式中，所述生成模型包括编码器和解码器，所述将所述历史工单输入所述生成模型得到历史工单描述的步骤，包括：对所述历史工单进行分词，并基于预设词向量库将所述历史工单转换为词向量序列；将所述词向量序列输入所述生成模型，利用所述生成模型的编码器对所述词向量序列进行编码，得到所述编码器每个节点的编码隐层状态；基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述。
一种可选实施方式中，所述基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述的步骤，包括：利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述解码器每个节点的解码隐层状态；计算所述解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度；通过每个编码隐层状态及其对应归一化相似度，得到所述解码器当前节点的中间语义向量；根据解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到所述解码器当前节点对应的文本向量；重复上述过程，依据所述解码器每个节点对应的文本向量，得到历史工单描述。
一种可选实施方式中，所述生成模型包括序列到序列模型，所述编码器包括双向门控循环单元，所述解码器包括基于注意力机制的门控循环单元。
一种可选实施方式中，判别模型包括特征提取网络和分类网络；所述将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值的步骤，包括：将所述历史工单描述和所述人工工单描述经过相同的预处理得到对应的工单描述向量；将所述工单描述向量输入所述判别模型，利用所述特征提取网络对所述工单描述向量进行特征提取，得到文本特征；利用所述分类网络对所述文本特征进行分类，得到所述判别模型的输出概率值。
一种可选实施方式中，所述特征提取网络包括至少一层卷积层，所述分类网络包括至少一层全连接层。
一种可选实施方式中，所述利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型的步骤，包括：分别获取所述历史工单描述和所述人工工单描述对应的标签；依据所述判别模型的输出概率值、以及所述历史工单描述和所述人工工单描述对应的标签，计算出所述判别模型的损失函数值；依据所述判别模型的损失函数值及输出概率值，利用反向传播算法更新所述判别模型的参数，得到最优判别模型。
一种可选实施方式中，所述固定所述最优判别模型的参数，基于所述历史工单、生成模型和最优判别模型，得到所述最优判别模型的输出概率值的步骤，包括：固定所述最优判别模型的参数，将所述历史工单输入所述生成模型得到历史工单描述；将所述历史工单描述输入所述最优判别模型，得到所述最优判别模型的输出概率值。
一种可选实施方式中，所述利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型的步骤，包括：获取所述历史工单描述对应的标签；依据所述最优判别模型的输出概率值、以及所述历史工单描述对应的标签，计算出所述最优判别模型的奖励值；依据所述最优判别模型的奖励值，利用策略梯度算法更新所述生成模型的参数，直至所述最优判别模型的输出概率值逼近所述历史工单描述对应的标签，得到最优生成模型。
一种可选实施方式中，所述最优生成模型包括编码器和解码器，所述基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述的步骤，包括：对所述待处理工单进行分词，并基于预设词向量库将所述待处理工单转换为词向量序列；将所述词向量序列输入所述所述最优生成模型，利用所述最优生成模型的编码器对所述词向量序列进行编码，得到隐层状态序列；基于注意力机制，利用所述最优生成模型的解码器对所述编码器的输出进行解码，得到工单描述。
第二方面，本申请实施例还提供了一种工单描述生成装置，所述装置包括：构建模块，用于构建包括生成模型和判别模型的生成对抗网络；训练模块，用于获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；生成模块，用于基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述。
一种可选实施方式中，所述训练模块具体用于：将所述历史工单输入所述生成模型得到历史工单描述；将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值；利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型；固定所述最优判别模型的参数，基于所述历史工单、生成模型和最优判别模型，得到所述最优判别模型的输出概率值；利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型。
一种可选实施方式中，所述生成模型包括编码器和解码器，所述训练模块执行将所述历史工单输入所述生成模型得到历史工单描述的方式，包括：对所述历史工单进行分词，并基于预设词向量库将所述历史工单转换为词向量序列；将所述词向量序列输入所述生成模型，利用所述生成模型的编码器对所述词向量序列进行编码，得到所述编码器每个节点的编码隐层状态；基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述。
一种可选实施方式中，所述训练模块执行基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述的方式，包括：利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述解码器每个节点的解码隐层状态；计算所述解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度；通过每个编码隐层状态及其对应归一化相似度，得到所述解码器当前节点的中间语义向量；根据解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到所述解码器当前节点对应的文本向量；重复上述过程，依据所述解码器每个节点对应的文本向量，得到历史工单描述。
一种可选实施方式中，所述生成模型包括序列到序列模型，所述编码器包括双向门控循环单元，所述解码器包括基于注意力机制的门控循环单元。
一种可选实施方式中，所述判别模型包括特征提取网络和分类网络；所述训练模块执行将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值的方式，包括：将所述历史工单描述和所述人工工单描述经过相同的预处理得到对应的工单描述向量；将所述工单描述向量输入所述判别模型，利用所述特征提取网络对所述工单描述向量进行特征提取，得到文本特征；利用所述分类网络对所述文本特征进行分类，得到所述判别模型的输出概率值。
一种可选实施方式中，所述特征提取网络包括至少一层卷积层，所述分类网络包括至少一层全连接层。
一种可选实施方式中，所述训练模块执行利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型的方式，包括：分别获取所述历史工单描述和所述人工工单描述对应的标签；依据所述判别模型的输出概率值、以及所述历史工单描述和所述人工工单描述对应的标签，计算出所述判别模型的损失函数值；依据所述判别模型的损失函数值及输出概率值，利用反向传播算法更新所述判别模型的参数，得到最优判别模型。
一种可选实施方式中，所述训练模块执行固定所述最优判别模型的参数，基于所述历史工单、生成模型和最优判别模型，得到所述最优判别模型的输出概率值的方式，包括：固定所述最优判别模型的参数，将所述历史工单输入所述生成模型得到历史工单描述；将所述历史工单描述输入所述最优判别模型，得到所述最优判别模型的输出概率值。
一种可选实施方式中，所述训练模块执行利用所述最优判别模型的输出概率值对所述生成模型进行反向调节，得到最优生成模型的方式，包括：获取所述历史工单描述对应的标签；依据所述最优判别模型的输出概率值、以及所述历史工单描述对应的标签，计算出所述最优判别模型的奖励值；依据所述最优判别模型的奖励值，利用策略梯度算法更新所述生成模型的参数，直至所述最优判别模型的输出概率值逼近所述历史工单描述对应的标签，得到最优生成模型。
一种可选实施方式中，所述最优生成模型包括编码器和解码器，所述生成模块具体用于：对所述待处理工单进行分词，并基于预设词向量库将所述待处理工单转换为词向量序列；将所述词向量序列输入所述所述最优生成模型，利用所述最优生成模型的编码器对所述词向量序列进行编码，得到隐层状态序列；基于注意力机制，利用所述最优生成模型的解码器对所述编码器的输出进行解码，得到工单描述。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时实现上述的工单描述生成方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的工单描述生成方法。
本申请实施例通过构建包括生成模型和判别模型的生成对抗网络，并使用由历史工单和人工对历史工单进行信息提炼得到的人工工单描述构成的训练样本集，对构建出来的生成对抗网络进行训练，以将生成模型优化为最优生成模型，之后获取待处理工单并将该待处理工单输入最优生成模型中，就能自动生成待处理工单对应的工单描述，从而大大降低了客服人工进行信息提炼的复杂度，提高了生成工单描述的效率。
为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的工单描述生成系统的架构图；
图2示出了本申请实施例提供的工单描述生成方法流程图；
图3示出了生成对抗网络中生成模型的结构示意图；
图4示出了生成对抗网络中判别模型的训练流程示意图；
图5示出了生成对抗网络中生成模型的训练流程示意图；
图6为图2示出的步骤S102的子步骤流程图；
图7示出了本申请实施例提供的电子设备的结构框图；
图8示出了本申请实施例提供的工单描述装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1示出了本申请实施例提供的工单描述生成系统100的架构图。工单描述生成系统100可以是用于打车、外卖、电商、租房等的在线客服平台，工单描述生成系统100可以包括服务器110、网络120、服务请求方终端130、服务提供方终端140和数据库150中的一种或多种，服务器110中可以包括执行指令操作的处理器。
在一些实施例中，实施上述工单描述生成方法的服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110相对于终端，可以是本地的、也可以是远程的。例如，服务器110可以经由网络120访问存储在服务请求方终端130、服务提供方终端140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例，服务器110可以直接连接到服务请求方终端130、服务提供方终端140和数据库150中至少一个，以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务器110可以在具有本申请中图8所示的一个或多个组件的电子设备200上实现。
在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing,RISC)、或微处理器等，或其任意组合。
上述网络120可以用于信息和/或数据的交换。在一些实施例中，上述工单描述生成系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140和数据库150)可以向其他组件发送信息和/或数据。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或网络交换节点，上述工单描述生成系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
本申请实施例的工单描述生成方法可以应用于上述工单描述生成系统100中的服务器110。服务器110通过服务请求方终端130和服务提供方终端140获取待处理工单，服务请求方终端130的使用者是用户，服务提供方终端140的使用者是客服。
在一些实施例中，服务请求方终端130可以包括移动设备、平板计算机、膝上型计算机、个人计算机等。服务提供方终端140可以包括移动设备、平板计算机、膝上型计算机、个人计算机等。
数据库150可以存储数据和/或指令。在一些实施例中，数据库150可以存储从服务请求方终端130和/或服务提供方终端140获得的数据。在一些实施例中，数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等，或其任意组合。在一些实施例中，数据库150可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。
在一些实施例中，数据库150可以连接到网络120以与上述工单描述生成系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140等)通信。工单描述生成系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中，数据库150可以直接连接到工单描述生成系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140等)；或者，在一些实施例中，数据库150也可以是服务器110的一部分。
第一实施例
请参照图3，图3示出了本申请实施例提供的工单描述生成方法流程图。工单描述生成方法可以应用于电子设备200，该工单描述生成方法包括以下步骤：
步骤S101，构建包括生成模型和判别模型的生成对抗网络。
在本实施例中，构建的模型整体结构为生成对抗网络，该生成对抗网络包括生成模型和判别模型，其中，生成模型用于根据输入的工单生成对应的工单描述；判别模型用于在生成对抗网络的训练阶段，判别生成模型生成的工单描述的真伪。
本实施例构建的生成对抗网络中，生成模型可以采用序列到序列(sequence tosequence，seq2seq)模型，其包括编码器和解码器，作为一种方式，编码器用于对输入文本进行编码得到编码器每个节点的编码隐层状态，解码器用于基于注意力机制对对编码器最后一个节点的编码隐层状态进行解码得到输出文本。作为一种方式，请参照图3，生成模型的编码器可以采用双向门控循环单元(Gated Recurrent Unit，GRU)，生成模型的解码器可以采用基于注意力机制的门控循环单元，其中，双向门控循环单元用于将输入的词向量序列x＝{x1,x2,...,xn}转换成隐层状态序列h＝{h1,h2,...,hn}；基于注意力机制的门控循环单元用于依据双向门控循环单元的隐层状态序列得到隐层状态st和中间语义向量ct。
判别模型可以采用神经网络模型，其可以包括特征提取网络和分类网络，特征提取网络用于提取输入向量的文本特征，判别网络用于对文本特征进行分类，得到最有可能的判别结果，作为一种方式，判别模型的特征提取网络可以包括至少一层卷积层(CONVlayer)，判别模型的分类网络可以包括至少一层全连接层(FC layer)。
步骤S102，获得历史工单和人工工单描述作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型。
在本实施例中，构建出生成对抗网络之后，需要对生成对抗网络进行训练，首先需要获取训练集，训练集可以包括存储于数据库150中的历史工单和该历史工单对应的人工工单描述，历史工单可以是用户和客服通过服务请求方终端130和服务提供方终端140进行交互的历史交互文本，人工工单描述可以是客服人工对历史交互文本进行信息提炼得到的文本概括。需要指出的是，此处的历史工单是一个包括多个历史交互文本的集合，人工工单描述是一个包括多个文本概括的集合，历史工单中的多个历史交互文本和人工工单描述中的多个文本概括一一对应。
获取到历史工单和人工工单描述构成的训练集之后，采用单独交替迭代训练原则对生成对抗网络进行训练，即，先训练判别网络再训练生成网络并重复这一过程直至达到迭代次数，并按照评估标准选择出最优生成模型，下面仅以一次训练过程为例进行说明：
请参照图4，对判别模型进行训练时，先将历史工单输入生成模型，就会得到历史工单描述，该历史工单描述为假样本，同时获取真样本，真样本为历史工单对应的人工工单描述；然后，人为定义真样本和假样本的标签，即，定义人工工单描述的标签为1，历史工单描述的标签为0，这样就得到了人工工单描述及其标签、历史工单描述及其标签；接下来，将人工工单描述和历史工单描述输入判别模型进行训练，并依据误差反向调节判别模型的参数，重复上述步骤直至判别模型对人工工单描述的判别结果逼近1、对历史工单描述的判别结果逼近0，这样就完成了判别模型的训练。
判别模型训练完成之后，需要固定判别模型的参数并对生成模型进行训练，对于生成模型，训练的目的是生成尽可能逼真的样本，而生成模型生成的样本的真实程度只有通过判别模型才能知道，所以在训练生成模型时需要联合判别模型才能达到训练的目的。请参照图5，将历史工单再次输入生成模型得到历史工单描述，将该历史工单描述设置为真样本，也就是人为定义历史工单描述的标签为1；然后，将历史工单描述输入判别模型得到误差，并利用误差反向调节生成模型的参数，重复这一过程直至最优判别模型对历史工单描述的判别结果逼近1，即完成生成模型的训练。
请参照图6，生成对抗网络的一次训练过程可以包括子步骤S1021～S1025，下面进行详细描述：
子步骤S1021，将历史工单输入生成模型得到历史工单描述。
在本实施例中，从数据库150中获取到历史工单和人工工单描述后，对获取到的数据进行预处理，将数据处理成格式为(str1，str2)的元组形式，其中，str1代表历史工单，str2代表人工工单描述。之后将历史工单输入生成模型得到历史工单描述，具体过程包括以下步骤：
首先，对历史工单进行分词，并基于预设词向量库将历史工单转换为词向量序列，对历史工单进行分词后可以得到多个词，例如，图3中的{听,单,少……}，再从预设词向量中找出每个词对应的词向量即可得到词向量系列，例如，图3中的x＝{x1,x2,...,xn}。预设词向量库可以是自有词向量库，也可以是开源词向量库。
然后，将词向量序列输入生成模型，利用生成模型的编码器对词向量序列进行编码，得到编码器每个节点的编码隐层状态。结合到图3中，将词向量序列x＝{x1,x2,...,xn}输入生成模型，编码器会对词向量序列x＝{x1,x2,...,xn}进行编码，得到编码器每个节点的编码隐层状态h＝{h1,h2,...,hn}，由于编码器采用双向门控循环，故任一个节点hj的编码隐层状态不仅包括节点hj的前向隐层状态，还包括节点hj的后向隐层状态，即，其中，/>代表节点hj的前向隐层状态，/>代表节点hj的后向隐层状态。
最后，基于注意力机制，利用解码器对编码器节点的编码隐层状态进行解码，得到历史工单描述。结合到图3中，对于加入注意力机制的序列到序列模型，解码器的当前节点输出的文本向量可以用以下公式进行求解：
p(yi|y1,...,yi-1,x)＝g(yi-1,si,ci)，其中，yi为解码器当前节点i输出的文本向量，yi-1为解码器前一节点输出的文本向量，x为词向量序列，si为解码器当前节点i的解码隐层状态，ci为解码器当前节点i的中间语义向量。换句话说，对于解码器当前节点i，其输出yi与其解码隐层状态si、以及由注意力机制计算得到的中间语义向量ci和前一节点的输出yi-1有关。具体来说，解码器基于注意力机制对编码器每个节点的编码隐层状态h＝{h1,h2,...,hn}进行处理，得到历史工单描述的过程可以包括：
第一步，利用解码器对编码器节点的编码隐层状态进行解码，得到解码器每个节点的解码隐层状态。
第二步，计算解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度。对于当前节点i输出的文本向量yi来说，目前已知当前节点i的解码隐层状态si，此时需要计算生成文本向量yi时输入的词向量序列x＝{x1,x2,...,xn}中每个词向量相对于文本向量yi的注意力分配概率分布，故可以用当前节点i的解码隐层状态si与编码器的每个编码隐层状态hj进行对比，即获得文本向量yi与输入的每个词向量的相似度，该相似度可以用公式eij＝a(si,hj)进行求解；然后，对计算得到的相似度eij进行进行归一化，归一化的过程可以用公式表示，这样就得到了符合概率分布取值区间的注意力分配概率分布数值，即，解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度。
第三步，通过每个编码隐层状态及其对应归一化相似度，得到解码器当前节点的中间语义向量。解码器当前节点i的中间语义向量ci可以用以下公式进行求解：
其中，αij表示输入的词向量序列x＝{x1,x2,...,xn}中每个词向量的权重，即解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度。
第四步，根据解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到解码器当前节点对应的文本向量。也就是，根据解码器当前节点i的中间语义向量ci、当前节点i的解码隐层状态si、以及前一节点输出的文本向量yi-1，利用公式p(yi|y1,...,yi-1,x)＝g(yi-1,si,ci)求解出解码器当前节点i输出的文本向量yi。
第五步，重复上述过程，依据解码器每个节点对应的文本向量，得到历史工单描述。也就是，重复上述第一步～第四步的计算过程，就能得到解码器每个节点对应的文本向量y＝{y1,y2,...,yn}，即，得到了历史工单描述。
子步骤S1022，将历史工单描述和人工工单描述输入判别模型，得到判别模型的输出概率值。
在本实施例中，通过上述子步骤S1021得到历史工单描述之后，显然得到的该历史工单描述为生成模型生成的假样本，此时需要获取真样本即历史工单对应的人工工单描述，同时，人为定义真样本和假样本的标签，即，定义人工工单描述的标签为1，历史工单描述的标签为0，这样就得到了人工工单描述及其标签、历史工单描述及其标签。此时就可以利用假样本和真样本对判别模型进行训练，具体的训练过程可以包括以下过程：
首先，将历史工单描述和人工工单描述经过相同的预处理得到对应的工单描述向量，例如，可以基于同一个词向量库对历史工单描述和人工工单描述进行转换得到工单描述向量。
然后，将工单描述向量输入判别模型，利用特征提取网络对工单描述向量进行特征提取，得到文本特征，作为一种方式，判别模型的特征提取网络可以包括至少一层卷积层(CONV layer)。
接下来，利用分类网络对文本特征进行分类，得到判别模型的输出概率值，将上一步获得的文本特征输入分类网络之后，判别模型的输出概率值有2个，分别为属于类别1的概率和类别0的概率，类别1即为人工工单描述，类别0即为历史工单描述，例如，属于类别1的概率为0.6、属于类别0的概率为0.4。作为一种方式，判别模型的分类网络可以包括至少一层全连接层(FC layer)。
子步骤S1023，利用判别模型的输出概率值对判别模型进行反向调节，得到最优判别模型。
在本实施例中，将历史工单描述和人工工单描述输入判别模型，得到判别模型的输出概率值之后，依据误差反向调节判别模型的参数，具体过程可以包括：
第一步，分别获取历史工单描述和人工工单描述对应的标签。由于训练判别模型时，历史工单描述为假样本，人工工单描述为真样本，故获取到的人工工单描述的标签为1，历史工单描述的标签为0，此时判别模型相当于一个二分类网络。
第二步，依据判别模型的输出概率值、以及历史工单描述和人工工单描述对应的标签，计算出判别模型的损失函数值。损失函数是用来估量模型的预测值f(x)与真实值y的不一致程度，通常使用L(y,f(x))来表示。由于此时判别模型相当于二分类网络，故损失函数可以是0-1损失函数(0-1lossfunction)，平方损失函数(quadraticloss function)、绝对损失函数(absoluteloss function)等。本实施例中可以选用0-1损失函数，其可以用以下公式进行表示：
同时，对于二分类问题，可以将预测值经过一个非线性变换缩小到0到1之间，并设置一个阀值(例如，0.5)，小于0.5便是0，大于0.5便是1。例如，属于类别1的概率为0.6、属于类别0的概率为0.4，此时便认为预测值为1。再结合历史工单描述和人工工单描述对应的标签、以及上述0-1损失函数的表达式，就能得到判别模型的损失函数值。
第三步，依据判别模型的损失函数值及输出概率值，利用反向传播算法更新判别模型的参数，得到最优判别模型。得到判别模型的损失函数值及输出概率值之后，就能计算出判别模型的误差，再将误差反向传播给各个隐藏层，利用各个隐藏层的节点值就能对判别模型进行参数更新，即，对判别模型的权重和偏差进行更新。之后重复上述第一步～第二步的过程，直至判别模型对人工工单描述的判别结果逼近1、对历史工单描述的判别结果逼近0，这样就完成了判别模型的训练，得到最优判别模型。
子步骤S1024，固定最优判别模型的参数，基于历史工单、生成模型和最优判别模型，得到最优判别模型的输出概率值。
在本实施例中，判别模型训练完成之后，需要固定最优判别模型的参数并对生成模型进行训练。在训练过程中，需要将生成模型及最优判别模型串联。具体来说，首先固定最优判别模型的参数，将历史工单输入生成模型得到历史工单描述，将该历史工单描述设置为真样本，也就是人为定义历史工单描述的标签为1；然后，将历史工单描述输入最优判别模型，得到最优判别模型的输出概率值。
子步骤S1025，利用最优判别模型的输出概率值对生成模型进行反向调节，得到最优生成模型。
在本实施例实施例中，将历史工单描述输入最优判别模型，得到最优判别模型的输出概率值之后，依据误差反向调节生成模型的参数，具体过程可以包括：
第一步，获取历史工单描述对应的标签，由于训练生成模型时，设置历史描述样本为真样本，故获取到的历史工单描述的标签为1。
第二步，依据最优判别模型的输出概率值、以及历史工单描述对应的标签，计算出最优判别模型的奖励值。
第三步，依据最优判别模型的奖励值，利用策略梯度算法更新生成模型的参数，直至最优判别模型的输出概率值逼近历史工单描述对应的标签，得到最优生成模型。得到最优判别模型的奖励值之后，就能依据最优判别模型的的奖励值，利用策略梯度算法对生成模型进行参数更新，直至最优判别模型对历史工单描述的判别结果逼近1，即完成生成模型的训练，得到最优生成模型。
步骤S103，基于最优生成模型和待处理工单，生成待处理工单对应的工单描述。
在本实施例中，经过上述步骤，将生成对抗网络中的生成模型训练为最优生成模型之后，需要获取待处理工单，并将该待处理工单输入训练好的最优生成模型中，最优生成模型就能准确快速地生成待处理工单对应的工单描述。
此处，根据工单描述生成方法的应用场景不同，待处理工单可以有不同的获取方式。例如，将该工单描述方法应用在打车客服场景，则图1所示的服务请求方终端130中设置有文本输入按键，该文本输入按键能够被用户触发，且当文本触发按键被用户触发后，服务请求方终端130能够获取用户输入的文本；同时，图1所示的服务提供方终端140中设置有文本输入按键，该文本输入按键能够被客服触发，且当文本触发按键被客服触发后，服务提供方终端140能够获取客服输入的文本。也就是，用户和客服能够通过服务请求方终端130和服务提供方终端140进行交互，用户和客服交互的文本即为待处理工单。
在本实施例中，获取到待处理工单之后，需要按照子步骤S1021的方式对待处理工单进行预处理，将其处理成可用于模型输入的格式(str1，str2)，其中，str1代表待处理工单，str2代表待处理工单对应的工单描述。之后将待处理工单输入最优生成模型得到待处理工单对应的工单描述，这一过程与子步骤S1021介绍的方法类似，故下面进行简单说明：
首先，对待处理工单进行分词，并基于预设词向量库将待处理工单转换为词向量序列，词向量序列可以用x＝{x1,x2,...,xn}进行表示。
然后，将词向量序列输入最优生成模型，利用最优生成模型的编码器对词向量序列进行编码，得到隐层状态序列。将词向量序列x＝{x1,x2,...,xn}输入最优生成模型，编码器会对词向量序列x＝{x1,x2,...,xn}进行编码，得到编码器每个节点的编码隐层状态。
接下来，基于注意力机制，利用最优生成模型的解码器对编码器的输出进行解码，得到工单描述。对于加入注意力机制的序列到序列模型，解码器的当前节点输出的文本向量可以用以下公式进行求解：
p(yi|y1,...,yi-1,x)＝g(yi-1,si,ci)，其中，yi为解码器当前节点i输出的文本向量，yi-1为解码器前一节点输出的文本向量，x为词向量序列，si为解码器当前节点i的解码隐层状态，ci为解码器当前节点i的中间语义向量。这一过程的详细描述请参考子步骤S1021介绍的内容，在此不再赘述。
在本实施例中，将待处理工单输入最有生成模型生成工单描述后，可以通过线上客服反馈来对最优生成模型进行调节。具体来说，生成工单描述后，可以将该工单描述发送至图1所示的服务提供方终端140，服务提供方终端140设置有确认按键和取消按键，该确认按键和取消按键均能够被客服触发。如果确认按键被客服触发，则表示客服采纳了这条工单描述，此时服务提供方终端140发送正反馈；如果取消按键被客服触发，则表示客服没有采纳这条工单描述，此时服务提供方终端140发送负反馈。正反馈和负反馈均可以用来调节最优生成模型，使得最优生成模型不断调整与完善，从而实现最优生成模型对待处理工单的泛化能力。
本申请实施例通过构建包括生成模型和判别模型的生成对抗网络，并使用由历史工单和人工对历史工单进行信息提炼得到的人工工单描述构成的训练样本集，对构建出来的生成对抗网络进行训练，以将生成模型优化为最优生成模型，之后获取待处理工单并将该待处理工单输入最优生成模型中，就能自动生成待处理工单对应的工单描述，从而大大降低了客服人工进行信息提炼的复杂度，提高了生成工单描述的效率。
第二实施例
请参照图7，图7示出了本申请实施例提供的电子设备200的结构框图。电子设备200包括处理器201、存储器202和总线203，所述存储器202存储有处理器201可执行的机器可读指令，处理器201与存储器202之间通过总线203通信。另外，该电子设备200还可以包括通信接口204，通信接口204和存储器202通过总线203连接。
其中，存储器202可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口204(可以是有线或无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线203可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器202用于存储程序，处理器201在接收到执行指令后，执行程序，本申请实施例揭示的方法或装置可以应用于处理器201中，或者由处理器201实现。
处理器201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述机器可读指令被处理器201执行时执行如下处理：构建包括生成模型和判别模型的生成对抗网络；获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器201运行时执行上述方法实施例的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述工单描述生成方法，从而准确快速地生成工单描述。
本申请实施例所提供的工单描述生成方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
第三实施例
请参照图8，图8示出了本申请实施例提供的工单描述装置300的示意图。工单描述装置300可以应用于电子设备200，工单描述装置300包括构建模块301、训练模块302及生成模块303。
构建模块301，用于构建包括生成模型和判别模型的生成对抗网络。
训练模块302，用于获得历史工单和人工工单描述作为训练样本，对生成对抗网络进行训练，以基于生成模型得到最优生成模型。
一种可选实施方式中，训练模块302具体用于：将历史工单输入生成模型得到历史工单描述；将历史工单描述和人工工单描述输入判别模型，得到判别模型的输出概率值；利用判别模型的输出概率值对判别模型进行反向调节，得到最优判别模型；固定最优判别模型的参数，基于历史工单、生成模型和最优判别模型，得到最优判别模型的输出概率值；利用最优判别模型的输出概率值对生成模型进行反向调节，得到最优生成模型。
一种可选实施方式中，生成模型包括编码器和解码器，训练模块302执行将历史工单输入生成模型得到历史工单描述的方式，包括：对历史工单进行分词，并基于预设词向量库将历史工单转换为词向量序列；将词向量序列输入生成模型，利用生成模型的编码器对词向量序列进行编码，得到编码器每个节点的编码隐层状态；基于注意力机制，利用解码器对编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述。
一种可选实施方式中，训练模块302执行基于注意力机制，利用解码器对编码器最后一个节点的编码隐层状态进行解码，得到历史工单描述的方式，包括：利用解码器对编码器最后一个节点的编码隐层状态进行解码，得到解码器每个节点的解码隐层状态；计算解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度；通过每个编码隐层状态及其对应归一化相似度，得到解码器当前节点的中间语义向量；根据解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到解码器当前节点对应的文本向量；重复上述过程，依据解码器每个节点对应的文本向量，得到历史工单描述。
一种可选实施方式中，生成模型包括序列到序列模型，编码器包括双向门控循环单元，解码器包括基于注意力机制的门控循环单元。
一种可选实施方式中，判别模型包括特征提取网络和分类网络；训练模块执行将历史工单描述和人工工单描述输入判别模型，得到判别模型的输出概率值的方式，包括：将历史工单描述和人工工单描述经过相同的预处理得到对应的工单描述向量；将工单描述向量输入判别模型，利用特征提取网络对工单描述向量进行特征提取，得到文本特征；利用分类网络对文本特征进行分类，得到判别模型的输出概率值。
一种可选实施方式中，特征提取网络包括至少一层卷积层，分类网络包括至少一层全连接层。
一种可选实施方式中，训练模块302执行利用判别模型的输出概率值对判别模型进行反向调节，得到最优判别模型的方式，包括：分别获取历史工单描述和人工工单描述对应的标签；依据判别模型的输出概率值、以及历史工单描述和人工工单描述对应的标签，计算出判别模型的损失函数值；依据判别模型的损失函数值及输出概率值，利用反向传播算法更新判别模型的参数，得到最优判别模型。
一种可选实施方式中，训练模块302执行固定最优判别模型的参数，基于历史工单、生成模型和最优判别模型，得到最优判别模型的输出概率值的方式，包括：固定最优判别模型的参数，将历史工单输入生成模型得到历史工单描述；将历史工单描述输入最优判别模型，得到最优判别模型的输出概率值。
一种可选实施方式中，训练模块302执行利用最优判别模型的输出概率值对生成模型进行反向调节，得到最优生成模型的方式，包括：获取历史工单描述对应的标签；依据最优判别模型的输出概率值、以及历史工单描述对应的标签，计算出最优判别模型的奖励值；依据最优判别模型的奖励值，利用策略梯度算法更新生成模型的参数，直至最优判别模型的输出概率值逼近历史工单描述对应的标签，得到最优生成模型。
生成模块303，用于基于最优生成模型和待处理工单，生成待处理工单对应的工单描述。
一种可选实施方式中，生成模型包括编码器和解码器，生成模块303具体用于：对待处理工单进行分词，并基于预设词向量库将待处理工单转换为词向量序列；将词向量序列输入所述最优生成模型，利用最优生成模型的编码器对词向量序列进行编码，得到隐层状态序列；基于注意力机制，利用最优生成模型的解码器对编码器的输出进行解码，得到工单描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种工单描述生成方法，其特征在于，所述方法包括：
构建包括生成模型和判别模型的生成对抗网络；
获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；
基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述；
其中，所述对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型，包括：
利用所述人工工单描述和历史工单描述对所述判别模型进行训练，得到最优判别模型；所述历史工单描述是将所述历史工单输入所述生成模型后得到的；
固定所述最优判别模型的参数，以所述历史工单描述作为真样本，将所述历史工单描述输入所述最优判别模型，得到所述最优判别模型的输出概率值，并利用所述最优判别模型的输出概率值反向调节所述生成模型的参数，直至所述最优判别模型对所述历史工单描述的判别结果为真，确定完成所述生成模型的训练，得到所述最优生成模型；
其中，所述生成模型包括编码器和解码器，通过以下方法得到所述历史工单描述：
通过所述编码器对输入的所述历史工单进行编码，得到所述编码器每个节点的编码隐层状态；
基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述历史工单描述；其中，所述利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述历史工单描述包括：
依据所述编码器每个节点的编码隐层状态，得到所述解码器每个节点的解码隐层状态和中间语义向量；
根据所述解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到所述解码器当前节点对应的文本向量；
重复上述过程，依据所述解码器每个节点对应的文本向量，得到历史工单描述。
2.根据权利要求1所述的方法，其特征在于，所述利用所述人工工单描述和历史工单描述对所述判别模型进行训练，得到最优判别模型，包括：
将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值；
利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型。
3.根据权利要求1所述的方法，其特征在于，所述通过所述编码器对输入的所述历史工单进行编码，得到所述编码器每个节点的编码隐层状态，包括：
对所述历史工单进行分词，并基于预设词向量库将所述历史工单转换为词向量序列；
将所述词向量序列输入所述生成模型，利用所述生成模型的编码器对所述词向量序列进行编码，得到所述编码器每个节点的编码隐层状态。
4.根据权利要求1所述的方法，其特征在于，所述依据所述编码器每个节点的编码隐层状态，得到所述解码器每个节点的解码隐层状态和中间语义向量，包括：
利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述解码器每个节点的解码隐层状态；
计算所述解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度；
通过每个编码隐层状态及其对应归一化相似度，得到所述解码器当前节点的中间语义向量。
5.根据权利要求1所述的方法，其特征在于，所述生成模型包括序列到序列模型，所述编码器包括双向门控循环单元，所述解码器包括基于注意力机制的门控循环单元。
6.根据权利要求2所述的方法，其特征在于，所述判别模型包括特征提取网络和分类网络；
所述将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值的步骤，包括：
将所述历史工单描述和所述人工工单描述经过相同的预处理得到对应的工单描述向量；
将所述工单描述向量输入所述判别模型，利用所述特征提取网络对所述工单描述向量进行特征提取，得到文本特征；
利用所述分类网络对所述文本特征进行分类，得到所述判别模型的输出概率值。
7.根据权利要求6所述的方法，其特征在于，所述特征提取网络包括至少一层卷积层，所述分类网络包括至少一层全连接层。
8.根据权利要求2所述的方法，其特征在于，所述利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型的步骤，包括：
分别获取所述历史工单描述和所述人工工单描述对应的标签；其中，在训练所述判别模型时，所述历史工单描述对应的标签用于表征所述历史工单描述为假样本，所述人工工单描述对应的标签用于表征所述人工工单描述为真样本；
依据所述判别模型的输出概率值，确定所述判别模型对模型输入数据所属类别的预测值，并依据所述历史工单描述和所述人工工单描述对应的标签，确定所述模型输入数据所属类别的真实值，以根据所述预测值与所述真实值，计算出所述判别模型的损失函数值；其中，所述模型输入数据包括：所述历史工单描述和所述人工工单描述；
依据所述判别模型的损失函数值及输出概率值，利用反向传播算法更新所述判别模型的参数，得到最优判别模型。
9.根据权利要求1所述的方法，其特征在于，所述利用所述最优判别模型的输出概率值反向调节所述生成模型的参数，直至所述最优判别模型对所述历史工单描述的判别结果为真，包括：
获取所述历史工单描述对应的标签；其中，在训练所述生成模型时，所述历史工单描述对应的标签表征所述历史工单描述为真样本；
依据所述最优判别模型的输出概率值、以及所述历史工单描述对应的标签，计算出所述最优判别模型的奖励值；
依据所述最优判别模型的奖励值，利用策略梯度算法更新所述生成模型的参数，直至所述最优判别模型的输出概率值逼近所述历史工单描述对应的标签，得到最优生成模型。
10.根据权利要求1所述的方法，其特征在于，所述最优生成模型包括编码器和解码器，所述基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述的步骤，包括：
对所述待处理工单进行分词，并基于预设词向量库将所述待处理工单转换为词向量序列；
将所述词向量序列输入所述最优生成模型，利用所述最优生成模型的编码器对所述词向量序列进行编码，得到隐层状态序列；
基于注意力机制，利用所述最优生成模型的解码器对所述编码器的输出进行解码，得到工单描述。
11.一种工单描述生成装置，其特征在于，所述装置包括：
构建模块，用于构建包括生成模型和判别模型的生成对抗网络；
训练模块，用于获得历史工单和人工工单描述作为训练样本，对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型；
生成模块，用于基于所述最优生成模型和待处理工单，生成所述待处理工单对应的工单描述；
其中，在所述对所述生成对抗网络进行训练，以基于所述生成模型得到最优生成模型时，所述训练模块，用于：
利用所述人工工单描述和历史工单描述对所述判别模型进行训练，得到最优判别模型；所述历史工单描述是将所述历史工单输入所述生成模型后得到的；
固定所述最优判别模型的参数，以所述历史工单描述作为真样本，将所述历史工单描述输入所述最优判别模型，得到所述最优判别模型的输出概率值，并利用所述最优判别模型的输出概率值反向调节所述生成模型的参数，直至所述最优判别模型对所述历史工单描述的判别结果为真，确定完成所述生成模型的训练，得到所述最优生成模型；
其中，所述生成模型包括编码器和解码器，所述训练模块用于通过以下方法得到所述历史工单描述：
通过所述编码器对输入的所述历史工单进行编码，得到所述编码器每个节点的编码隐层状态；
基于注意力机制，利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述历史工单描述；其中，所述利用所述解码器对所述编码器最后一个节点的编码隐层状态进行解码，得到所述历史工单描述包括：
依据所述编码器每个节点的编码隐层状态，得到所述解码器每个节点的解码隐层状态和中间语义向量；
根据所述解码器当前节点的中间语义向量、当前节点的解码隐层状态、以及前一节点的文本向量，得到所述解码器当前节点对应的文本向量；
重复上述过程，依据所述解码器每个节点对应的文本向量，得到历史工单描述。
12.根据权利要求11所述的装置，其特征在于，所述训练模块具体用于：
将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值；
利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型。
13.根据权利要求11所述的装置，其特征在于，在所述通过所述编码器对输入的所述历史工单进行编码，得到所述编码器每个节点的编码隐层状态时，所述训练模块用于：
对所述历史工单进行分词，并基于预设词向量库将所述历史工单转换为词向量序列；
将所述词向量序列输入所述生成模型，利用所述生成模型的编码器对所述词向量序列进行编码，得到所述编码器每个节点的编码隐层状态。
14.根据权利要求11所述的装置，其特征在于，在所述依据所述编码器每个节点的编码隐层状态，得到所述解码器每个节点的解码隐层状态和中间语义向量时，所述训练模块用于：
利用所述解码器对所述编码器节点的编码隐层状态进行解码，得到所述解码器每个节点的解码隐层状态；
计算所述解码器当前节点的解码隐层状态与每个编码隐层状态的归一化相似度；
通过每个编码隐层状态及其对应归一化相似度，得到所述解码器当前节点的中间语义向量。
15.根据权利要求11所述的装置，其特征在于，所述生成模型包括序列到序列模型，所述编码器包括双向门控循环单元，所述解码器包括基于注意力机制的门控循环单元。
16.根据权利要求12所述的装置，其特征在于，所述判别模型包括特征提取网络和分类网络；
所述训练模块执行将所述历史工单描述和所述人工工单描述输入所述判别模型，得到所述判别模型的输出概率值的方式，包括：
将所述历史工单描述和所述人工工单描述经过相同的预处理得到对应的工单描述向量；
将所述工单描述向量输入所述判别模型，利用所述特征提取网络对所述工单描述向量进行特征提取，得到文本特征；
利用所述分类网络对所述文本特征进行分类，得到所述判别模型的输出概率值。
17.根据权利要求16所述的装置，其特征在于，所述特征提取网络包括至少一层卷积层，所述分类网络包括至少一层全连接层。
18.根据权利要求12所述的装置，其特征在于，所述训练模块执行利用所述判别模型的输出概率值对所述判别模型进行反向调节，得到最优判别模型的方式，包括：
分别获取所述历史工单描述和所述人工工单描述对应的标签；其中，在训练所述判别模型时，所述历史工单描述对应的标签用于表征所述历史工单描述为假样本，所述人工工单描述对应的标签用于表征所述人工工单描述为真样本；
依据所述判别模型的输出概率值，确定所述判别模型对模型输入数据所属类别的预测值，并依据所述历史工单描述和所述人工工单描述对应的标签，确定所述模型输入数据所属类别的真实值，以根据所述预测值与所述真实值，计算出所述判别模型的损失函数值；其中，所述模型输入数据包括：所述历史工单描述和所述人工工单描述；
依据所述判别模型的损失函数值及输出概率值，利用反向传播算法更新所述判别模型的参数，得到最优判别模型。
19.根据权利要求11所述的装置，其特征在于，在所述利用所述最优判别模型的输出概率值反向调节所述生成模型的参数，直至所述最优判别模型对所述历史工单描述的判别结果为真时，所述训练模块，用于：
获取所述历史工单描述对应的标签；其中，在训练所述生成模型时，所述历史工单描述对应的标签表征所述历史工单描述为真样本；
依据所述最优判别模型的输出概率值、以及所述历史工单描述对应的标签，计算出所述最优判别模型的奖励值；
依据所述最优判别模型的奖励值，利用策略梯度算法更新所述生成模型的参数，直至所述最优判别模型的输出概率值逼近所述历史工单描述对应的标签，得到最优生成模型。
20.根据权利要求11所述的装置，其特征在于，所述最优生成模型包括编码器和解码器，所述生成模块具体用于：
对所述待处理工单进行分词，并基于预设词向量库将所述待处理工单转换为词向量序列；
将所述词向量序列输入所述最优生成模型，利用所述最优生成模型的编码器对所述词向量序列进行编码，得到隐层状态序列；
基于注意力机制，利用所述最优生成模型的解码器对所述编码器的输出进行解码，得到工单描述。
21.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时实现如权利要求1～10任一所述的方法。
22.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1～10任一所述的方法。
CN201811594247.5A 2018-12-25 2018-12-25 工单描述生成方法、装置、电子设备及可读存储介质 Active CN111368966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811594247.5A CN111368966B (zh) 2018-12-25 2018-12-25 工单描述生成方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811594247.5A CN111368966B (zh) 2018-12-25 2018-12-25 工单描述生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111368966A CN111368966A (zh) 2020-07-03
CN111368966B true CN111368966B (zh) 2023-11-21

Family

ID=71209838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811594247.5A Active CN111368966B (zh) 2018-12-25 2018-12-25 工单描述生成方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111368966B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844469A (zh) * 2017-10-26 2018-03-27 北京大学 基于词向量查询模型的文本简化方法
CN108334889A (zh) * 2017-11-30 2018-07-27 腾讯科技（深圳）有限公司 摘要描述生成方法和装置、摘要描述模型训练方法和装置
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3336800B1 (de) * 2016-12-19 2019-08-28 Siemens Healthcare GmbH Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844469A (zh) * 2017-10-26 2018-03-27 北京大学 基于词向量查询模型的文本简化方法
CN108334889A (zh) * 2017-11-30 2018-07-27 腾讯科技（深圳）有限公司 摘要描述生成方法和装置、摘要描述模型训练方法和装置
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"AI论道-第二期：GAN用于生成式摘要提取的实践和探索";杨敏;《https://mp.weixin.qq.com/s/_l1yP1QuOH_2Bqc6rmUSmw》;20171129;第1-4页 *
杨敏."AI论道-第二期：GAN用于生成式摘要提取的实践和探索".《https://mp.weixin.qq.com/s/_l1yP1QuOH_2Bqc6rmUSmw》.2017, *

Also Published As

Publication number Publication date
CN111368966A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111695674B (zh) 联邦学习方法、装置、计算机设备及可读存储介质
CN109101537B (zh) 基于深度学习的多轮对话数据分类方法、装置和电子设备
JP2020520492A (ja) 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN112085565B (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
CN110309275A (zh) 一种对话生成的方法和装置
CN111651573B (zh) 一种智能客服对话回复生成方法、装置和电子设备
CN110705585A (zh) 网络欺诈识别方法、装置、计算机装置及存储介质
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN112560456A (zh) 一种基于改进神经网络的生成式摘要生成方法和系统
CN115146607B (zh) 评论信息情感偏好识别模型训练方法、识别方法及设备
CN103914527B (zh) 一种基于新编码方式的遗传规划算法的图形图像识别与匹配方法
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN113111190A (zh) 一种知识驱动的对话生成方法及装置
CN111597326A (zh) 生成商品描述文本的方法及装置
CN112949758A (zh) 应答模型的训练方法、应答方法、装置、设备及存储介质
CN113947095A (zh) 多语种文本翻译方法、装置、计算机设备及存储介质
CN113704393A (zh) 关键词提取方法、装置、设备及介质
CN116127925B (zh) 基于对文本进行破坏处理的文本数据增强方法及装置
CN111368966B (zh) 工单描述生成方法、装置、电子设备及可读存储介质
Yang et al. Predictive clinical decision support system with RNN encoding and tensor decoding
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
JP2023017983A (ja) 情報生成モデルの訓練方法、情報生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN116957128A (zh) 业务指标预测方法、装置、设备和存储介质
CN109902273A (zh) 关键词生成模型的建模方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant