CN112597289B - 问询信息分类方法、模型训练方法、装置和电子设备 - Google Patents

问询信息分类方法、模型训练方法、装置和电子设备 Download PDF

Info

Publication number
CN112597289B
CN112597289B CN202011553959.XA CN202011553959A CN112597289B CN 112597289 B CN112597289 B CN 112597289B CN 202011553959 A CN202011553959 A CN 202011553959A CN 112597289 B CN112597289 B CN 112597289B
Authority
CN
China
Prior art keywords
intention
query information
topic
vector
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011553959.XA
Other languages
English (en)
Other versions
CN112597289A (zh
Inventor
薛睿蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202011553959.XA priority Critical patent/CN112597289B/zh
Publication of CN112597289A publication Critical patent/CN112597289A/zh
Application granted granted Critical
Publication of CN112597289B publication Critical patent/CN112597289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种问询信息分类方法、模型训练方法、装置和电子设备，其中，该方法包括：获取问询信息；基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。通过本申请，解决了相关技术中存在获得有效的分类特征的问题，提高了问询信息的识别准确率。

Description

问询信息分类方法、模型训练方法、装置和电子设备
技术领域
本申请涉及深度学习领域，尤其涉及一种问询信息分类方法、模型训练方法、装置和电子设备。
背景技术
在社区运营、客户咨询等服务中，问询信息作为用户之间互动沟通的重要方式，带来了大量有价值的信息，给用户带来了诸多便利。由于用户提问所受约束较小，随意组织的问询信息会导致其他人无法准确地理解所问询的问题，不仅浪费其他人的时间，而且很难帮助到问询者，甚至会引起不适。因此，识别有效的、高质量的问询信息就显得很有价值。
目前，存在一些通过深度学习模型来对问询信息进行分类，识别问询信息中的有效信息，这些方法中的模型架构较为简单，由于用户提出的问题普遍存在句式短、语义信息稀疏或缺失，仅仅通过问询信息本身的词汇信息难以获得有效的分类特征，导致无法准确地识别有效问询信息。
因此，相关技术中存在如何更为有效的对问询信息进行分类的问题。
发明内容
本申请提供了一种问询信息分类方法、模型训练方法、装置和电子设备，以至少解决相关技术中存在如何更为有效的对问询信息进行分类的问题。
根据本申请实施例的一个方面，提供了一种问询信息分类方法，所述问询信息基于预先训练的分类模型进行分类，所述分类模型包括预先训练的语义提取模型层和预先训练的分类器模型层，所述分类方法包括：获取问询信息；基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
可选地，所述向量提取模型层包括注意力模型和卷积网络模型；所述基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量包括：提取所述问询信息中的所有字的语境向量，所述语境向量包括主题语境下的字向量、意图语境下的字向量和问询信息语境下的字向量；分别将所有字在主题语境下的字向量和意图语境下的字向量输入注意力模型层提取主题潜在类型向量和语义潜在类型向量；将所有字在问询信息语境下的字向量输入卷积网络模型提取所述语义向量。
可选地，所述提取所述问询信息中的所有字的语境向量包括：提取所述问询信息中的主题关键字序列和意图关键字序列；基于问询信息字序列、所述主题关键字序列和意图关键字序列分别提取问询信息字向量序列、主题关键字向量序列和意图关键字向量序列；分别将所述问询信息字向量序列、所述主题关键字向量序列和所述意图关键字向量序列分别与所述问询信息字向量序列进行拼接，得到问询信息拼接向量、主题拼接向量和意图拼接向量；基于多头注意力机制计算每个字分别在主题语境、问询信息语境和意图语境下的语境向量。
可选地，所述提取所述问询信息中的主题关键字序列和意图关键字序列包括：获取预设标签数据，所述预设标签数据包括主题标签文本数据和意图标签文本数据；基于所述预设标签数据中每个字分别在主题类别和意图类别的关键值构建主题关键字集合和意图关键字集合；将问询信息分别与所述主题关键字集合和所述意图关键字集合进行匹配提取所述主题关键字序列和所述意图关键字序列。
可选地，所述分别将所有字的所述主题语义信息和所述意图语义信息输入注意力模型层提取主题潜在类型向量和语义潜在类型向量包括：获取多个初始潜在类型向量，所述初始潜在类型向量与问询信息中的字的数量对应；通过所述初始潜在类型向量与所述主题语义信息计算每个字的主题注意力权重；通过所述初始潜在类型向量与所述意图语义信息计算每个字的意图注意力权重；分别基于主题注意力权重和意图注意力权重对所有所述初始潜在类型向量进行加权求和得到主题潜在类型向量和注意力潜在类型向量。
可选地，所述将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果包括：将所述主题潜在类型向量、所述意图潜在类型向量和所述语义向量进行拼接，得到拼接向量；将所述拼接向量输入所述分类模型进行主题分类和意图分类，得到分类结果。
根据本申请实施例的又一个方面，还提供了一种问询信息分类模型训练方法，所述分类模型包括向量提取模型层和分类器层，所述方法包括：获取问询信息样本，所述问询信息样本中标注有标签数据，其中，所述标签数据包括主题标签数据和意图标签数据；基于向量提取模型层提取问询信息样本的语义向量以及所述问询信息样本中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；将所述主题潜在类型向量、所述意图潜在类型向量和所述语义向量输入分类器层进行主题分类和意图分类得到分类结果，所述分类结果包括主题分类结果和意图分类结果；基于所述分类结果和标签数据计算分类损失；根据所述分类损失对所述分类模型进行传播训练，得到训练完成的分类模型。
根据本申请实施例的又一个方面，还提供了一种问询信息分类模型训练装置，包括：获取模块，用于获取问询信息；语义提取模块，用于基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；分类模块，用于将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请中，首先基于语义提取模型提取问询信息的语义向量得到问询信息的上下文语义信息，并提取问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量，将问询信息的语义信息和主题和意图关键字的潜在类型向量作为辅助，对询问信息中的意图和向量类型进行分类，可以充分利用其中的主题关键字和意图关键字信息，可以将给定问询信息分类成预定义的主题类别和预定义的意图类别，进而可以有效的对问询信息进行分类，解决了相关技术中存在获得有效的分类特征的问题，提高了问询信息的识别准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的问询信息分类方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的问询信息分类模型示意图；
图3是根据本申请实施例的一种可选的问询信息分类方法的流程示意图；
图4是根据本申请实施例的一种可选的问询信息分类方法的示意图；
图5是根据本申请实施例的另一种可选的问询信息分类模型训练方法的流程示意图；
图6是根据本申请实施例的一种可选的问询信息分类装置的结构框图；
图7是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种问询信息分类方法。可选地，在本实施例中，上述问询信息分类方法可以应用于如图1所示的硬件环境中。如图1所示，
根据本申请实施例的一个方面，提供了一种问询信息分类方法。可选地，在本实施例中，上述问询信息分类方法可以应用于如图1所示的由终端102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端102进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，还可以用于处理云服务，上述网络包括但不限于：广域网、城域网或局域网，终端102并不限定于PC、手机、平板电脑等。本申请实施例的问询信息分类方法可以由服务器104来执行，也可以由终端102来执行，还可以是由服务器104和终端102共同执行。其中，终端102执行本申请实施例的问询信息分类方法也可以是由安装在其上的客户端来执行。
以由服务器104和/或终端102来执行本实施例中的问询信息分类方法为例，问询信息分类方法是基于预先训练好的分类模型实现的，其中分类模型可以参加图2所示的模型，该模型可以包括语义提取模型层和分类器层，参见图3，图3是根据本申请实施例的一种可选的问询信息分类方法的流程示意图，如图3所示，该方法的流程可以包括以下步骤：
步骤S302，获取问询信息。
步骤S304，基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量。
步骤S306，将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
通过上述步骤S302至步骤S306，首先基于语义提取模型提取问询信息的语义向量得到问询信息的上下文语义信息，并提取问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量，将问询信息的语义信息和主题和意图关键字的潜在类型向量作为辅助，对询问信息中的意图和向量类型进行分类，可以充分利用其中的主题关键字和意图关键字信息，可以将给定问询信息分类成预定义的主题类别和预定义的意图类别，进而可以有效的对问询信息进行分类，解决了相关技术中存在获得有效的分类特征的问题，提高了问询信息的识别准确率。
在步骤S302的技术方案中，获取的问询信息为待分类的问询信息，例如，问句，查询语句，检索语句等，该问询信息可以来自交流平台，可以来自即时通讯工具，还可以来自自动问答系统，例如，问答机器人等。具体的，该问询信息可以包括多个领域的问询信息，例如，金融领域、医疗领域等。该问询信息中可以包括问询主题和问询意图，以金融领域为例进行说明：例如“城市金融科技公司成立时间是什么时候？”,主题为“企业”，意图为“时间”。其中，主题可以包括：信用卡、银行、企业、保险、贷款、股票、基金、理财、投资、信托、网贷和综合等；意图可以包括意图，分别为时间、地点、电话、人物、关系、公司简介、网友印象、股权结构、平台背景和其他。在本实施例中，获取的问询信息可以为文本信息可以为语音信息。
在步骤S304的技术方案中，基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量。其中，语义提取模块可以采用注意力模型，可以采用卷积神经网络模型，具体的，为了充分挖掘问询信息中的语义，可以基于语义模型层提取问询信息中的每个字在问询信息的语境下的语义，以及主题语境下的语义信息和意图语境存下的语义信息。即实现每个词的上下文语义信息。作为示例性的实施例，潜在类型向量可以为多义向量，即隐式向量。主题潜在类型向量可以包括多个语义信息，在不同的语境下(不同的问询信息或不同的领域)，可以对个不同主题语义，意图类型向量可以包括多个语义信息，在不同的语境下(不同的问询信息或不同的领域)，可以对应不同的意图语义，例如，问询信息为：“蚂蚁成立时间”中的“蚂蚁”这一主题，在问询信息的语境下可能表征金融平台，同时“蚂蚁”的语义还表征“昆虫”，作为示例性的实施例，语义向量可以为问询信息的单一向量表示，可以将问询信息解析为具有上下文语义感知的向量序列，并将具有上下文语义感知的向量序列输入模型中，依次进行卷积、池化和全连接，最后可以得到询问信息的语义向量。
在步骤S306的技术方案中，将语义向量以及主题潜在类型向量和意图潜在类型向量输入分类器层得到主题分类结果和意图分类结果。作为示例性的实施例，可以分别对主题与意图关键字的潜在类型编码，并与询问信息的语义向量进行横向拼接，形成一个最终的融合主题和意图语义信息的问询信息表示向量。并将该向量输入分类器中，可以通过softmax得到主题类别上的概率分布pT(yT|S,θ)，同样可得意图类别上的概率分布
pI(yI|S,θ)。具体公式如下：
其中，yT是真实的主题类别，pI是真实的意图类别，θ是模型中所有可学习的参数，包括WT、bT、WI和bI。最终，可以选择预测概率最高的主题类别和意图类别作为分类结果。
作为示例性的实施例，向量提取模型层可以包括注意力模型和卷积网络模型，其中，可以先提取问询信息中每个字的语境向量，该语境向量可以包括每个字在主题语境下的字向量，在意图语境下的字向量以及在问询信息语境下的字向量，可以基于语境下的字向量再得到字的主题潜在类型向量、意图潜在类型向量和询问信息的语义向量，如图4所示，可以包括如下步骤：
S402，提取所述问询信息中的所有字的语境向量，所述语境向量包括主题语境下的字向量、意图语境下的字向量和问询信息语境下的字向量。
S404，分别将所有字在主题语境下的字向量和意图语境下的字向量输入注意力模型层提取主题潜在类型向量和语义潜在类型向量；
S406，将所有字在问询信息语境下的字向量输入卷积网络模型提取所述语义向量。
对于步骤S402中的技术方案，可以提取所述问询信息中的主题关键字序列和意图关键字序列。作为示例性的实施例，主题关键字序列和意图关键字序列可以将问询信息与预设的关键字集合进行匹配得到，具体的，预设关键字集合可以包括主题关键字集合和意图关键字集合，预设关键字集合可以基于利用已有的带标签数据计算每个字在主题或意图分类中的关键程度，选择排名前多个字构建主题关键字集合与意图关键字集合；具体的，获取预设标签数据，所述预设标签数据包括主题标签文本数据和意图标签文本数据；基于所述预设标签数据中每个字分别在主题类别和意图类别的关键值构建主题关键字集合和意图关键字集合；将问询信息分别与所述主题关键字集合和所述意图关键字集合进行匹配提取所述主题关键字序列和所述意图关键字序列。其中，可以计算某字在某一主题或意图的询问信息中出现的概率作为关键值，具体的可以采用如下公式计算主题关键值或意图关键值，在本实施例中可以以主题关键值为例进行说明：
主题关键值公式为：
其中，为任意一个字wordcur的在主题分类下的关键值。numcur,p代表wordcur在p主题的询问信息中的出现次数，1≤p≤m，m为主题类别的总数，本文中m＝12；V为整个字表，numi,p是字表中第i个字wordi在第p个主题的所有询问信息中的出现次数，1≤i≤|V|，|V|为字表的总长度。分子部分计算了字在主题p分类下出现的概率，分母部分计算了在其余主题下关键字出现的概率。二者的比值体现了wordcur对当前主题的重要程度，意图分类下关键值计算与上述主题分类下关键值的计算公式相同。
主题关键字阈值εT＝20，如果wordi的主题关键值超过该阈值，则该字属于主题关键字集合；意图关键字阈值εI＝10，wordi的意图关键值/>超过该阈值，则该字属于意图关键字集合。在获取问询信息时，将问询信息与关键字集合进行匹配，提取问询信息中包含的主题关键字序列和意图关键字序列。
作为示例性的实施例，在得到主题关键字序列和意图关键字序列之后基于问询信息字序列、所述主题关键字序列和意图关键字序列分别提取问询信息字向量序列、主题关键字向量序列和意图关键字向量序列。作为示例性的实施例，可以对问询信息字序列、所述主题关键字序列和意图关键字序列进行编码，得到对应的向量序列，示例性的，可以采用Word2vec对字序列进行编码得到对应向量序列。例如：长度为n的问询信息：S＝[w1,w2,w3,...,wn]中，wi(i＝1,2,3,...,n)表示问询信息中的第i个字。查找字向量矩阵提取每个字的字向量，dw表示字向量的维数，|V表示字表的大小。问询信息中第i个字wi在矩阵中的列向量为xi，整个问询信息可以表示为一个字向量序列X＝[x1,x2,x3,...,xn]。同样，主题关键字序列S1映射为字向量序列K1，意图关键字序列S2经过字向量表示得到字向量序列K2。
在得到问询信息字向量序列、主题关键字序列向量和意图关键字向量序列之后，分别将所述问询信息字向量序列、所述主题关键字向量序列和所述意图关键字向量序列分别与所述问询信息字向量序列进行拼接，得到问询信息拼接向量、主题拼接向量和意图拼接向量，基于多头注意力机制计算每个字分别在主题语境、问询信息语境和意图语境下的语境向量。示例性的，分别将三组字向量序列与询问信息本身的字向量序列拼接，并行输入到多头注意力层，从而获得每个字在主题、询问信息、意图语境下的特征向量表示；
询问信息的字向量序列X、主题关键字向量序列K1和意图关键字序列K2分别与询问信息的字向量序列X进行拼接，得到融入上下文信息的三个向量矩阵：(K1,X,X)、(X,X,X)、(K2,X,X)。
将融入上下文信息的三个向量矩阵列分别输入到三个多头注意力模块，实现上下文语义感知时。注意力模块的计算公式为:
多头注意力的计算公式为：
M＝MultiHead(Q,K,V)＝WM[head1；head2；head3；...,headnum_h]
多头注意力的三个输入Q、K和V可以等价于输入的字向量序列。最终得到了每个字在主题、问询信息、意图语境下的向量表示。
对于步骤S404中的技术方案，将主题与意图语境下的向量输入Attention模型层获得语境下的潜在类型向量；将问询信息向量输入到CNN模型层获得问询信息的语义向量表示。作为示例性的实施例，可以获取多个初始潜在类型向量，所述初始潜在类型向量与问询信息中的字的数量对应；通过所述初始潜在类型向量与所述主题语义信息计算每个字的主题注意力权重；通过所述初始潜在类型向量与所述意图语义信息计算每个字的意图注意力权重；分别基于主题注意力权重和意图注意力权重对所有所述初始潜在类型向量进行加权求和得到主题潜在类型向量和注意力潜在类型向量。
以主题关键字的潜在类型向量表示为例：随机初始化若干个潜在类型向量ui，例如u1，u2和u3，这些初始化的潜在类型向量会在训练过程中不断更新；对潜在类型向量ui和当前主题关键字向量hT计算注意力权重ai，例如a1、a2和a3，其中ui′表示向量ui的转置，uj′表示向量uj的转置，nT为潜在类型数量；
对所有潜在类型向量加权求和，如公式所示：
最终，得到当前主题关键字的潜在类型向量lT，意图关键字潜在
类型向量lI计算方式与上述主题关键字的计算方式相同。
对于步骤S406中的技术方案，问询信息的上下文语义感知结果H为一组向量序列，通过CNN层获取问询信息的单一向量表示。向量序列经过CNN层后，依次进行卷积、池化和全连接，最后可以得到问询信息的语义向量。
本发明实施例还提供了一种问询信息分类模型训练方法，该方法可以采用具有标签数据的样本进行训练，具体的该模型可以包括向量提取模型层和分类器层，参见图5所示，该训练方法可以包括：
S502，获取问询信息样本，所述问询信息样本中标注有标签数据，其中，所述标签数据包括主题标签数据和意图标签数据。作为示例性的实施例，使每一条样本都由一个问询信息和对应的主题标签、意图标签组成。主题与意图的类别可以根据领域预先定义；
例如“城市金融科技公司成立时间是什么时候？”,主题为“企业”，意图为“时间”。针对金融领域的问询信息所描述的内容，本文定义了12个主题，分别为信用卡、银行、企业、保险、贷款、股票、基金、理财、投资、信托、网贷和综合；定义了10个意图，分别为时间、地点、电话、人物、关系、公司简介、网友印象、股权结构、平台背景和其他。可以基于标签数据确定问询信息样本中的主题关键字序列和意图关键字序列。
S504，基于向量提取模型层提取问询信息样本的语义向量以及所述问询信息样本中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量。作为示例性的实施例，提取所述问询信息中的主题关键字序列和意图关键字序列；基于问询信息字序列、所述主题关键字序列和意图关键字序列分别提取问询信息字向量序列、主题关键字向量序列和意图关键字向量序列；分别将所述问询信息字向量序列、所述主题关键字向量序列和所述意图关键字向量序列分别与所述问询信息字向量序列进行拼接，得到问询信息拼接向量、主题拼接向量和意图拼接向量；基于多头注意力机制计算每个字分别在主题语境、问询信息语境和意图语境下的语境向量，得到主题潜在类型向量、询问信息的语义向量和意图潜在类型向量。具体参见上述步骤S402至步骤S406中的描述得到主题潜在类型向量和语义潜在类型向量以及问询信息的语义向量。
S506，将所述主题潜在类型向量、所述意图潜在类型向量和所述语义向量输入分类器层进行主题分类和意图分类得到分类结果，所述分类结果包括主题分类结果和意图分类结果。
S508，基于所述分类结果和标签数据计算分类损失。
S510，根据所述分类损失对所述分类模型进行传播训练，得到训练完成的分类模型。
作为示例性的实施例，分别对主题与意图关键字的潜在类型编码，并与问询信息的语义向量进行横向拼接，形成一个最终的融合主题和意图语义信息的询问信息表示向量。将拼接好的向量输入到分类器中进行分类，并将主题与意图的分类结果与训练集标签对比，计算损失函数。
通过softmax得到主题类别上的概率分布pT(yT|S,θ)，同样可得意图类别上的概率分布
pI(yI|S,θ)。具体公式如下：
其中，yT是真实的主题类别，pI是真实的意图类别，θ是模型中所有可学习的参数，包括WT、bT、WI和bI。最终，我们选择预测概率最高的主题类别和意图类别作为分类结果。
预测结果与标签的差值的损失函数计算公式为：
在训练过程中，使用优化器Adam来最小化模型损失。反向迭代整体更新模型参数，当损失函数小于一定阈值时，模型收敛停止迭代，完成模型训练。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述问询信息分类方法的问询信息分类装置。图6是根据本申请实施例的一种可选的问询信息分类装置的示意图，如图6所示，该装置可以包括：
获取模块602，用于获取问询信息。
语义提取模块604，用于基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量。
分类模块606，用于将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
需要说明的是，该实施例中的获取模块602可以用于执行上述步骤S302，该实施例中的获取模块602可以用于执行上述步骤S304，该实施例中的分类模块606可以用于执行上述步骤S306。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种用于实施上述问询信息分类方法和/或问询信息分类模型训练方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图7是根据本申请实施例的一种可选的电子设备的结构框图，如图7所示，包括处理器702、通信接口704、存储器706和通信总线708，其中，处理器702、通信接口704和存储器706通过通信总线708完成相互间的通信，其中，
存储器706，用于存储计算机程序；
处理器702，用于执行存储器706上所存放的计算机程序时，实现如下步骤：
S1，获取问询信息；
S2，基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；
S3，将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图7所示的结构仅为示意，实施上述问询信息分类方法和/或问询信息分类模型训练方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行问询信息分类方法和/或问询信息分类模型训练的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，获取问询信息；
S2，基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；
S3，将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种问询信息分类方法，其特征在于，所述问询信息基于预先训练的分类模型进行分类，所述分类模型包括预先训练的语义提取模型层和预先训练的分类器层，所述分类方法包括：
获取问询信息；
基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；
将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果；
其中，所述语义提取模型层包括注意力模型和卷积网络模型；所述基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量包括：提取所述问询信息中的所有字的语境向量，所述语境向量包括主题语境下的字向量、意图语境下的字向量和问询信息语境下的字向量；分别将所有字在主题语境下的字向量和意图语境下的字向量输入注意力模型层提取主题潜在类型向量和语义潜在类型向量；将所有字在问询信息语境下的字向量输入卷积网络模型提取所述语义向量；其中，所述提取所述问询信息中的所有字的语境向量包括：提取所述问询信息中的主题关键字序列和意图关键字序列；基于问询信息字序列、所述主题关键字序列和意图关键字序列分别提取问询信息字向量序列、主题关键字向量序列和意图关键字向量序列；分别将所述问询信息字向量序列、所述主题关键字向量序列和所述意图关键字向量序列分别与所述问询信息字向量序列进行拼接，得到问询信息拼接向量、主题拼接向量和意图拼接向量；基于多头注意力机制计算每个字分别在主题语境、问询信息语境和意图语境下的语境向量；其中，所述提取所述问询信息中的主题关键字序列和意图关键字序列包括：获取预设标签数据，所述预设标签数据包括主题标签文本数据和意图标签文本数据；基于所述预设标签数据中每个字分别在主题类别和意图类别的关键值构建主题关键字集合和意图关键字集合；将问询信息分别与所述主题关键字集合和所述意图关键字集合进行匹配提取所述主题关键字序列和所述意图关键字序列。
2.如权利要求1所述的问询信息分类方法，其特征在于，分别将所有字的主题语义信息和意图语义信息输入注意力模型层提取主题潜在类型向量和语义潜在类型向量包括：
获取多个初始潜在类型向量，所述初始潜在类型向量与问询信息中的字的数量对应；
通过所述初始潜在类型向量与所述主题语义信息计算每个字的主题注意力权重；
通过所述初始潜在类型向量与所述意图语义信息计算每个字的意图注意力权重；
分别基于主题注意力权重和意图注意力权重对所有所述初始潜在类型向量进行加权求和得到主题潜在类型向量和注意力潜在类型向量。
3.如权利要求1所述的问询信息分类方法，其特征在于，所述将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果包括：
将所述主题潜在类型向量、所述意图潜在类型向量和所述语义向量进行拼接，得到拼接向量；
将所述拼接向量输入所述分类模型进行主题分类和意图分类，得到分类结果。
4.一种问询信息分类模型训练方法，其特征在于，应用在权利要求1至3任一项所述的方法，所述分类模型包括语义提取模型层和分类器层，所述方法包括：
获取问询信息样本，所述问询信息样本中标注有标签数据，其中，所述标签数据包括主题标签数据和意图标签数据；
基于语义提取模型层提取问询信息样本的语义向量以及所述问询信息样本中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；
将所述主题潜在类型向量、所述意图潜在类型向量和所述语义向量输入分类器层进行主题分类和意图分类得到分类结果，所述分类结果包括主题分类结果和意图分类结果；
基于所述分类结果和标签数据计算分类损失；
根据所述分类损失对所述分类模型进行传播训练，得到训练完成的分类模型。
5.一种问询信息分类装置，其特征在于，所述问询信息基于预先训练的分类模型进行分类，所述分类模型包括预先训练的语义提取模型层和预先训练的分类器层，所述装置用于：
获取问询信息；
基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量；
将所述语义向量以及所述主题潜在类型向量和和所述意图潜在类型向量输入到所述分类器层得到主题分类结果和意图分类结果；
其中，所述语义提取模型层包括注意力模型和卷积网络模型；所述基于所述语义提取模型层提取所述问询信息的语义向量以及所述问询信息中每个字在主题语境下的主题潜在类型向量和意图语境下的意图潜在类型向量包括：提取所述问询信息中的所有字的语境向量，所述语境向量包括主题语境下的字向量、意图语境下的字向量和问询信息语境下的字向量；分别将所有字在主题语境下的字向量和意图语境下的字向量输入注意力模型层提取主题潜在类型向量和语义潜在类型向量；将所有字在问询信息语境下的字向量输入卷积网络模型提取所述语义向量；其中，所述提取所述问询信息中的所有字的语境向量包括：提取所述问询信息中的主题关键字序列和意图关键字序列；基于问询信息字序列、所述主题关键字序列和意图关键字序列分别提取问询信息字向量序列、主题关键字向量序列和意图关键字向量序列；分别将所述问询信息字向量序列、所述主题关键字向量序列和所述意图关键字向量序列分别与所述问询信息字向量序列进行拼接，得到问询信息拼接向量、主题拼接向量和意图拼接向量；基于多头注意力机制计算每个字分别在主题语境、问询信息语境和意图语境下的语境向量；其中，所述提取所述问询信息中的主题关键字序列和意图关键字序列包括：获取预设标签数据，所述预设标签数据包括主题标签文本数据和意图标签文本数据；基于所述预设标签数据中每个字分别在主题类别和意图类别的关键值构建主题关键字集合和意图关键字集合；将问询信息分别与所述主题关键字集合和所述意图关键字集合进行匹配提取所述主题关键字序列和所述意图关键字序列。
6.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项所述方法的步骤。
CN202011553959.XA 2020-12-24 2020-12-24 问询信息分类方法、模型训练方法、装置和电子设备 Active CN112597289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011553959.XA CN112597289B (zh) 2020-12-24 2020-12-24 问询信息分类方法、模型训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011553959.XA CN112597289B (zh) 2020-12-24 2020-12-24 问询信息分类方法、模型训练方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112597289A CN112597289A (zh) 2021-04-02
CN112597289B true CN112597289B (zh) 2024-03-01

Family

ID=75202509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011553959.XA Active CN112597289B (zh) 2020-12-24 2020-12-24 问询信息分类方法、模型训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112597289B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388705A (zh) * 2017-08-07 2019-02-26 芋头科技（杭州）有限公司 一种文本意图分类方法
CN111737989A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN111931717A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 基于语义和图像识别的心电信息提取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388705A (zh) * 2017-08-07 2019-02-26 芋头科技（杭州）有限公司 一种文本意图分类方法
CN111737989A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN111931717A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 基于语义和图像识别的心电信息提取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于词向量融合的遥感场景零样本分类算法》;吴晨等;《计算机科学》(第12期);286-291 *

Also Published As

Publication number Publication date
CN112597289A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110737801B (zh) 内容分类方法、装置、计算机设备和存储介质
CN112732911B (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN112328742B (zh) 基于人工智能的培训方法、装置、计算机设备及存储介质
CN111159407B (zh) 训练实体识别和关系分类模型的方法、装置、设备及介质
CN111221944B (zh) 文本意图识别方法、装置、设备和存储介质
CN112287069B (zh) 基于语音语义的信息检索方法、装置及计算机设备
CN106649739B (zh) 多轮交互信息继承识别方法、装置以及交互系统
CN112580352B (zh) 关键词提取方法、装置和设备及计算机存储介质
WO2021088935A1 (zh) 对抗网络架构的优化方法、图像描述生成方法和系统
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN116821372A (zh) 基于知识图谱的数据处理方法、装置、电子设备及介质
CN117558270B (zh) 语音识别方法、装置、关键词检测模型的训练方法和装置
CN114428860A (zh) 院前急救病例文本的识别方法、装置、终端及存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN111680501B (zh) 基于深度学习的问询信息识别方法、装置及存储介质
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN112597289B (zh) 问询信息分类方法、模型训练方法、装置和电子设备
CN115358817A (zh) 基于社交数据的智能产品推荐方法、装置、设备及介质
CN114138954A (zh) 用户咨询问题推荐方法、系统、计算机设备及存储介质
CN115983269A (zh) 一种智慧社区数据命名实体识别方法、终端及计算机介质
CN113886539A (zh) 话术推荐方法、装置、客服设备及存储介质
CN114282549A (zh) 信息间根因关系的识别方法、装置、电子设备及存储介质
CN113657092A (zh) 识别标签的方法、装置、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant