CN111538823A - 信息处理方法、模型训练方法、装置、设备及介质 - Google Patents

信息处理方法、模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN111538823A
CN111538823A CN202010337359.3A CN202010337359A CN111538823A CN 111538823 A CN111538823 A CN 111538823A CN 202010337359 A CN202010337359 A CN 202010337359A CN 111538823 A CN111538823 A CN 111538823A
Authority
CN
China
Prior art keywords
sample
target
sentence
category
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010337359.3A
Other languages
English (en)
Inventor
易灿
许辽萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010337359.3A priority Critical patent/CN111538823A/zh
Publication of CN111538823A publication Critical patent/CN111538823A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书的一个或多个实施例公开了一种信息处理方法、模型训练方法、装置、设备及介质。信息处理方法包括：获取待应答语句；利用目标多分类模型，确定待应答语句的目标类别；其中，目标多分类模型是利用语料库中的多个样本语句及每个样本语句的类别对预定多分类模型训练得到，同一个类别的样本语句具有相同的语义；根据预定的类别与应答信息之间的对应关系，获取目标类别对应的目标应答信息。根据本说明书实施例，能够解决机器应答的速度比较慢的问题。

Description

信息处理方法、模型训练方法、装置、设备及介质
技术领域
本说明书属于计算机领域，尤其涉及一种信息处理方法、模型训练方法、装置、设备及介质。
背景技术
目前，通过自然语言生成系统能够实现用户与机器之间的交互。其中，现有的用户与机器之间的交互方案为：机器获取待应答语句之后，将待应答语句转换为向量，利用待应答语句的向量，计算待应答语句与语料库中的每个样本语句之间的相似性评分；获取相似性评分最大的样本语句；将该相似性评分最大的样本语句对应的应答信息作为待应答语句的应答信息；输出该应答信息。
但是，现有的用户与机器之间的交互方案具有如下缺点：如果语料库中存在大量的样本语句，那么需要消耗很长的时间才能计算出待应答语句与每个样本语句之间的相似性评分，导致机器应答的速度比较慢。
发明内容
本说明书实施例提供一种信息处理方法、模型训练方法、装置、设备及介质，能够解决机器应答的速度比较慢的问题。
第一方面，本说明书实施例提供一种信息处理方法，包括：
获取待应答语句；
利用目标多分类模型，确定待应答语句的目标类别；其中，目标多分类模型是利用语料库中的多个样本语句及每个样本语句的类别对预定多分类模型训练得到，同一个类别的样本语句具有相同的语义；
根据预定的类别与应答信息之间的对应关系，获取目标类别对应的目标应答信息。
第二方面，本说明书实施例提供了一种多分类模型训练方法，包括：
获取语料库中的多个样本语句以及每个样本语句的类别，其中，语料库中同一类别的样本语句具有相同的语义；
根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
第三方面，本说明书实施例提供了一种信息处理装置，包括：
语句获取模块，用于获取待应答语句；
类别确定模块，用于利用目标多分类模型，确定待应答语句的目标类别；其中，目标多分类模型是利用语料库中的多个样本语句及每个样本语句的类别对预定多分类模型训练得到，同一个类别的样本语句具有相同的语义；
应答信息获取模块，用于根据预定的类别与应答信息之间的对应关系，获取目标类别对应的目标应答信息。
第四方面，本说明书实施例提供了一种多分类模型训练装置，包括：
语料获取模块，用于获取语料库中的多个样本语句以及每个样本语句的类别，其中，语料库中同一类别的样本语句具有相同的语义；
模型训练模块，用于根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
第五方面，本说明书实施例提供了一种信息处理设备，信息处理设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现上述的信息处理方法。
第六方面，本说明书实施例提供了一种多分类模型训练设备，多分类模型训练设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现上述的多分类模型训练方法。
第七方面，本说明书实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述的信息处理方法或者上述的多分类模型训练方法。
本说明书实施例的信息处理方法、模型训练方法、装置、设备及介质，先利用目标多分类模型对待应答语句进行分类，得到待应答语句的目标类别，然后输出与目标类别对应的目标应答信息。可见，利用目标多分类模型将待应答语句分到一个类别中，不需要一一计算待应答语句与语料库中的每个样本语句之间的相似性评分。而且由于语料库中样本语句的类别数量小于语料库中样本语句的总数量，所以将待应答语句分到一个类别中所花费的时间要小于计算大量相似性评分所花费的时间。因此，本说明书实施例可以快速获取目标应答信息，从而快速针对待应答语句进行自动回复，解决了机器应答的速度比较慢的问题。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对本说明书实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了文本匹配模型的结构示意图；
图2示出了多分类模型的结构示意图；
图3示出了本说明书实施例提供的一个多分类模型训练方法的流程示意图；
图4示出了本说明书实施例提供的一个样本语句分布的示意图；
图5示出了本说明书实施例提供的另一个样本语句分布的示意图；
图6示出了本说明书实施例提供的一个信息处理方法的流程示意图；
图7示出了本说明书实施例提供的语料库中的样本语句及其类别、类别与应答信息之间的对应关系的示意图；
图8示出了本说明书实施例提供的信息处理方法的架构图；
图9示出了本说明书实施例提供的一种多分类模型训练装置的结构示意图；
图10示出了本说明书实施例提供的一种信息处理装置的结构示意图；
图11示出了本说明书实施例提供的设备的硬件结构示意图。
具体实施方式
下面将详细描述本说明书的各个方面的特征和示例性实施例，为了使本说明书的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本说明书进行进一步详细描述。对于本领域技术人员来说，本说明书可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本说明书的示例来提供对本说明书更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在相关技术中，一般采用一对一的文本匹配模型来实现语句的自动回复。在得到文本匹配模型之前，先训练文本匹配模型。图1示出了文本匹配模型的结构示意图。基于如图1所示的文本匹配模型的结构，训练文本匹配模型包括以下步骤：
将两个样本语句输入到嵌入层(Embedding Layer)，通过嵌入层分别将两个样本语句转换为对应的向量；图1中的两个样本语句为“为什么我的借呗不见了”和“为什么我的支付宝借呗不见了”；
利用长短期记忆网络(Long Short-Term Memory，LSTM)或者门控循环单元(GatedRecurrent Unit，GRU)，对每个样本语句的向量进行运算，得到每个样本语句中的词之间的相关关系；
根据每个样本语句中的词之间的相关关系，计算两个样本语句的相似度，该相似度包括Jaccard系数、余弦相似度和点极(dot product)；
利用全连接层(fully connected layer，简称FC layer)，计算两个样本语句的相似性评分(similarity score)，根据该相似性评分判断上述两个样本语句是否为相似语句，以调整文本匹配模型的参数。
以上是训练文本匹配模型的过程。在训练完文本匹配模型之后，利用训练后的文本匹配模型来实现语句的自动回复。具体方案是：机器获取待应答语句；通过文本匹配模型将待应答语句经过word2vec编码后转换为向量，并将该向量与语料库中的每个样本语句对应的向量分别进行计算，得到待应答语句与每个样本语句的相似性评分；获取相似性评分最大的样本语句；将该样本语句对应的应答信息作为待应答语句的应答信息；输出该应答信息。
其中，通过文本匹配模型计算待应答语句与样本语句的相似性评分，根据相似性评分可以判断待应答语句与样本语句是否为同义语句。可见，文本匹配模型只能判断两个语句是否为同义语句，无法判断待应答语句与哪些样本语句是同义语句。因此，相关技术中的文本匹配模型是二分类模型。
在上述的相关技术中，需要将待应答语句与语料库中的每个样本语句均进行一次相似度计算才能知道哪个样本语句是最相近的语句。因此，需要消耗很长的时间计算相似度，导致机器应答的速度比较慢。
为了解决上述技术问题，本说明书实施例提供了一种多分类模型训练方法。在介绍本说明书实施例提供的多分类模型训练方法之前，先介绍多分类模型的结构。图2示出了多分类模型的结构示意图。基于图2所示的多分类模型的结构，训练多分类模型包括以下步骤：
将样本语句输入到嵌入层(Embedding Layer)，通过嵌入层将样本语句转换为对应的向量。
其中，将样本语句转换为对应的向量具体包括：将样本语句进行分字操作；将分好的字转化为对应的字向量，实现对分好的字进行编码；然后将样本语句中的所有的字向量合并成矩阵，形成样本语句的向量。比如，图2中的样本语句为“为什么我的借呗不见了”，对该样本语句进行分字操作，得到“为”、“什”、“么”、“我”、“的”、“借”、“呗”、“不”、“见”、“了”。然后将“为”转化为向量[0.1,0.3.0,0.2,…,0.1]，以此类推，将其他的字转化为向量。最后将样本语句中所有的字向量合并成矩阵，形成样本语句的向量。
在通过嵌入层将样本语句转换为对应的向量之后，利用长短期记忆网络(LongShort-Term Memory，LSTM)或者门控循环单元(Gated Recurrent Unit，GRU)，对样本语句的向量进行运算，得到样本语句中词之间的相关关系。
然后，将样本语句中词之间的相关关系输入至全连接层(fully connectedlayer，简称FC layer)，利用全连接层(fully connected layer，简称FC layer)，确定样本语句的预测类别。再次，根据样本语句的预测类别调整多分类模型的参数。
以上是训练多分类模型的过程。基于上述训练多分类模型的过程，本说明书实施例提供了一个多分类模型训练方法。图3示出了本说明书实施例提供的一个多分类模型训练方法的流程示意图。如图3所示，多分类模型训练方法包括：
S102，获取语料库中的多个样本语句以及每个样本语句的类别，其中，语料库中同一类别的样本语句具有相同的语义。
S104，根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
其中，在S104中，每个样本语句依次经过图2中的嵌入层、LSTM/GRU、全连接层，得到每个样本语句的预测类别。根据每个样本语句的预测类别以及每个样本语句在语料库中的类别，多次调整预定多分类模型的参数，直到满足停止训练的条件为止。最后一次参数调整后的预定多分类模型即为目标分类模型。
在本说明书实施例中，根据语料库中样本语句的类别对预定多分类模型进行训练，得到目标多分类模型。利用目标多分类模型可以确定一个语句的具体类别，区别于二分类模型只能确定某个语句是否属于一个类别。另外，由于训练多分类模型的语料库中同一类别的样本语句具有相同的语义，因此，目标多分类模型是将语句分类到具有相同语义的类别中。
基于此，针对待应答语句，可以利用目标多分类模型将待应答语句分到一个类别中，基于该类别进行待应答语句的应答。不需要一一计算待应答语句与语料库中的每个样本语句之间的相似性评分。而且由于语料库中样本语句的类别数量小于语料库中样本语句的数量，所以将待应答语句分到一个类别中所花费的时间要小于计算大量相似度所花费的时间。因此，本说明书实施例将原始的文本匹配问题转换成了文本多分类的问题，这样可以快速获取目标应答信息，从而快速针对待应答语句进行自动回复，解决了机器应答的速度比较慢的问题。
经过研究发现，对多分类模型而言，在类别数量比较少，同一类别的样本语句数量比较多的情况下，不同损失函数对于类间距离和类内距离的影响不大。但是对于同一类别的样本语句数量比较少的情况下，更大限度的缩减类内距离和扩大类间距离就相当重要了。实验结果证明，直接用未改进的损失函数来进行训练，多分类模型非常难以收敛，多分类模型的效果很不好，而采用改进的am-softmax函数进行训练，会让多分类模型收敛的很快。
参考图4，C1表示第一类别的样本语句的中心，C2表示第二类别的样本语句的中心。对于图4中的三个样本语句Z1、Z2和Z3，相比于与C2的距离，Z1、Z3与C1的距离最近，因此，Z1和Z3属于第一类别。相比于与C1的距离，Z2与C2的距离最近，因此，Z2属于第二类别。其中，此处提到的距离可以是欧式距离、cos值或内积。
假设上述对Z1、Z2和Z3的分类结果是正确的，也就是说Z1和Z3是同义语句，Z1和Z2是非同义语句，Z3和Z2是非同义语句。但是问题是：Z1和Z2距离很近却不是同一类别的，而Z1和Z3距离很远，却是同一类别的。如果使用计算相似性评分的方法给Z1找一个同义句，那么就会找到Z2而不是Z3。因此，使用计算相似性评分的方法给Z1找的同义句是错误的。
经过分析，问题在于分类边界附近的那些样本语句上，而出现上述问题(即给Z1找出了错误的同义句)的原因其实就是分类条件过于宽松，如果加强一下分类条件，就可以提升准确率。比如，原来的分类条件为：每个样本与它所属类别中心的距离小于它跟其他类别中心的距离。将分类条件修改为：每个样本与它所属类别中心的距离小于它跟其他类别中心的距离的1/2。
在图4中，虽然样本语句满足下面的公式(1)：
‖Z1-C1‖<‖Z1-C2‖ (1)
但是没有满足下面的公式(2)：
Figure BDA0002467178710000081
所以还需要进一步优化损失函数。假如按照修改后的分类条件训练多分类模型，那么可以增大不同类别的样本语句之间的距离，减小相同类别的样本语句之间的距离。参考图5，按照修改后的分类条件训练多分类模型，Z1和Z2的距离被拉大了，而Z1和Z3的距离被缩小了。这正是我们所希望的结果：增大类间距离，缩小类内距离。am-softmax就是利用了这个思想对损失函数进行改进。
基于上述分析，为了增大类间距离，缩小类内距离，在本说明书的一个或多个实施例中，根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，包括：
基于am-softmax损失函数，根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练。
下面对如何基于am-softmax损失函数对预定多分类模型进行训练进行详细说明。基于am-softmax损失函数对预定多分类模型进行训练具体包括如下步骤：
将多个样本语句输入到预定多分类模型中，得到每个样本语句的预测类别；
利用am-softmax损失函数，调整多个样本语句之间的距离；其中，调整多个样本语句之间的距离包括：增大相同预测类别的样本语句之间的距离，以及减小不同预测类别的样本语句之间的距离；
利用距离调整后的多个样本语句，计算多个样本语句的预测类别与在语料库中的类别之间的差距；
根据该差距，调整预定多分类模型的权重。
以上是基于am-softmax损失函数对预定多分类模型进行训练的具体实现步骤。
在本说明书实施例中，利用am-softmax损失函数调整多个样本语句之间的距离，增大类间距离和缩小类内距离。由此，避免出现将两个距离较近的不同义语句错误地分为同一类别，从而可以准确地找出同义语句。
在二分类模型中，在确定正样本之后，有些非同义的样本语句与正样本有一定关联，那么这些非同义的样本语句是否属于负样本需要进一步地判断。比如，“花呗如何还款”与“花呗怎么还款”是同义语句；“花呗如何还款”与“我怎么还我的花呗呢”是同义语句；“花呗分期后逾期了如何还款”与“花呗分期后逾期了哪里还款”是非同义语句。这两个非同义语句有一定相关性，那么“花呗分期后逾期了哪里还款”是否为“花呗分期后逾期了如何还款”的负样本。可见，如何定义负样本是一个问题。
针对如何定义负样本的问题，在本说明书的一个或多个实施例中，S104包括：在将语料库中的第一类别的样本语句作为正样本的情况下，将语料库中除第一类别之外的类别的样本语句作为负样本；利用正样本和负样本，对预定多分类模型进行训练，得到目标多分类模型。
在本说明书实施例中，先对语料库中的样本语句进行分类，那么对于每一类别的样本语句来说，其他类别的样本语句均是其负样本，这样不需要费尽心思去定义负样本，节省了人力资源。
以上便是多分类模型训练方法的说明，基于上述的多分类模型训练方法得到了目标多分类模型。下面说明该目标多分类模型的应用。图6示出了本说明书实施例提供的一个信息处理方法的流程示意图。如图6所示，信息处理方法包括：
S202，获取待应答语句。
S204，利用目标多分类模型，确定待应答语句的目标类别；其中，目标多分类模型是利用语料库中的多个样本语句及每个样本语句的类别对预定多分类模型训练得到，同一个类别的样本语句具有相同的语义。
S206，根据预定的类别与应答信息之间的对应关系，获取目标类别对应的目标应答信息。
其中，图7示出了本说明书实施例提供的语料库中的样本语句及其类别、类别与应答信息之间的对应关系的示意图。在图7中，样本语句有两个类别，如果确定待应答语句的目标类别的编号为1，由于类别编号为1对应的四个应答语句，那么可以在这四个应答语句中选择一个应答语句作为目标应答信息。
在说明书实施例中，先利用目标多分类模型对待应答语句进行分类，得到待应答语句的目标类别，然后输出与目标类别对应的目标应答信息。可见，利用目标多分类模型将待应答语句分到一个类别中，不需要一一计算待应答语句与语料库中的每个样本语句之间的相似性评分。而且由于语料库中样本语句的类别数量小于语料库中样本语句的总数量，所以将待应答语句分到一个类别中所花费的时间要小于计算大量相似性评分所花费的时间。因此，本说明书实施例可以快速获取目标应答信息，从而快速针对待应答语句进行自动回复，解决了机器应答的速度比较慢的问题。
为了不断优化目标多分类模型，在本说明书的一个或多个实施例中，获取目标类别对应的目标应答信息之后，信息处理方法还包括：
获取待应答语句的标识类别；该标识类别可以是经过人工分析得出的待应答语句的类别；
将待应答语句添加到语料库中的标识类别；
利用添加有待应答语句的语料库，重新训练目标多分类模型。
下面通过一个示例来对本实施例进行说明。图8示出了本说明书实施例提供的信息处理方法的架构图。如图8所示，获取聊天软件中对方发送的语句，对方发送的语句即为待应答语句；利用多分类模型得到待应答语句的目标类别，并根据该目标类别获取目标应答信息；将目标应答信息通过聊天软件返回给对方，从而实现自动回复对方。另外，获取通过聊天软件与对方聊天所产生的聊天日志表，对聊天日志表中的上述待应答语句进行分析，标识该待应答语句的类别(即标识类别)，根据该标识类别，更新语料库。利用更新后的语料库重新训练目标多分类模型，从而可以利用重新训练的目标多分类模型进行下一次语句分类。由此，多分类模型的使用、更新语料库、重新训练目标多分类模型形成了一个闭环。
在本说明书实施例中，通过对语料库更新，并不断优化目标分类模型，使得目标分类模型在使用过程中其分类结果越来越准确。
在本说明书的一个或多个实施例中，将待应答语句添加到语料库中的标识类别之前，信息处理方法还包括：
在语料库中的标识类别的样本语句中，判断是否存在与待应答语句的相似度大于预定阈值的样本语句；
将待应答语句添加到语料库中的标识类别，包括：
若不存在与待应答语句的相似度大于预定阈值的样本语句，则将待应答语句添加到语料库中的标识类别。
比如，继续参考图7，待应答语句为“这个兼职是为了提高卖家信誉度”，目标分类模型确定待应答语句的目标类别为图7所示的类别编号为1的类别。由于类别编号为1的样本语句中没有与待应答语句相同的样本语句，即待应答语句不在语料库中，因此，将待应答语句添加到语料库中的标识类别，从而实现语料库的更新。利用更新的语料库重新训练目标多分类模型。
在本说明书实施例中，在语料库中没有与待应答语句比较相似的样本语句的情况下，将待应答语句添加到语料库中，以重新训练目标多分类模型。这样，利用重新训练的目标多分类模型进行下一个待应答语句的分类时，如果该下一个待应答语句与此前添加到语料库中的待应答语句相似，那么目标多分类模型可以较为准确地实现该下一个待应答语句的分类。另外，在语料库中有与待应答语句比较相似的样本语句的情况下，那么就没有必要更新语料库，避免对目标多分类模型进行不必要的训练，从而避免占用过多的资源。
在本说明书的一个或多个实施例中，将待应答语句添加到语料库中的标识类别之前，信息处理方法还包括：
在语料库中的样本语句的类别未包括标识类别的情况下，增加语料库中样本语句的类别，且增加的类别为标识类别。
本说明书实施例通过新增语料库中样本语句的类别，使得语料库中样本语句的类别越来越丰富，从而不断完善目标多分类模型。
在本说明书的一个或多个实施例中，目标多分类模型是基于am-softmax损失函数训练得到。am-softmax损失函数可以缩减相同类别的样本语句的距离，并且增大不同类别的样本语句的距离，提高目标多分类模型的预测结果的准确性。由于具体分析过程已经在训练多分类模型的部分做了详细说明，在此不再重复赘述。
在本说明书的一个或多个实施例中，获取待应答语句，包括：
获取目标用户账号发送的第一通信语句，并将第一通信语句作为待应答语句；
获取目标类别对应的目标应答信息之后，信息处理方法还包括：
向目标用户账号发送目标应答信息。
本说明书实施例可以应用于自动回复目标用户账号的信息。不需要人工回复，节省了人力成本。
在本说明书的一个或多个实施例中，获取目标用户账号发送的第一通信语句之前，信息处理方法还包括：
查找满足预定条件的目标用户账号；
向目标用户账号发送预定的第二通信语句；
获取目标用户账号发送的第一通信语句，包括：
获取目标用户账号发送的用于回复第二通信语句的第一通信语句。
其中，满足预定条件的目标用户账号可以为风险用户账号，比如，风险用户账号为具有欺诈风险的账号。预定条件可以包括用户账号被投诉的次数大于预定次数或者涉及非法交易的用户账号。
在本说明书实施例中，通过主动查找满足预定条件的目标用户账号，并主动与目标用户账号的持有者(比如风险用户)进行聊天，从而可以对风险用户有一定了解，便于对风险用户进行风险控制。另外，由于风险用户的聊天套路大同小异，他们有自己的一套骗术模板，本说明书实施例中的多分类模型可以学习风险用户的话术，对常用对话进行语义识别并通过一定的置性度进行选择性回复，从而达到减低人工工作量、规模化聊天。
在本说明书的一个或多个实施例中，利用目标多分类模型，确定待应答语句的目标类别之前，信息处理方法还包括：
判断待应答语句中是否包括预定类型的用户信息；
利用目标多分类模型，确定待应答语句的目标类别，包括：
在待应答语句中未包括预定类型的用户信息的情况下，利用目标多分类模型，确定待应答语句的目标类别。
在本说明书实施例中，预定类型的用户信息可以包括用户手机号、支付宝账号和银行卡号中的至少一项信息。如果待应答语句中未包括预定类型的用户信息，说明机器自动回复并没有套出对方的用户信息，那么确定待应答语句的目标类别，并根据该目标类别确定目标应答信息，将目标应答信息返回给对方，从而继续与对方聊天。
在本说明书的一个或多个实施例中，判断待应答语句中是否包括预定类型的用户信息之后，信息处理方法还包括：
在待应答语句中包括与预定类型的用户信息的情况下，结束与目标用户账号的交互，并输出预定类型的用户信息。
在本说明书实施例中，如果待应答语句中包括与预定类型的用户信息，说明机器自动回复套出了对方的用户信息，即达到了最终的目的，那么可以结束与目标用户账号的用户聊天。
在本说明书的一个或多个实施例中，获取目标用户账号发送的第一通信语句，包括：按照预定通信协议，通过预定应用程序获取目标用户账号发送的待应答语句。
向目标用户账号发送目标应答信息，包括：按照预定通信协议，通过预定应用程序向目标用户账号发送目标应答信息。
在本说明书实施例中，按照预定通信协议实现与目标用户账号的自动交互，不需要人工参与，方便大规模地利用目标多分类模型与用户进行交互。
图9示出了本说明书实施例提供的一种多分类模型训练装置的结构示意图。如图9所示，多分类模型训练装置300包括：
语料获取模块301，用于获取语料库中的多个样本语句以及每个样本语句的类别，其中，语料库中同一类别的样本语句具有相同的语义；
模型训练模块302，用于根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
在本说明书实施例中，根据语料库中样本语句的类别对预定多分类模型进行训练，得到目标多分类模型。利用目标多分类模型可以确定一个语句的具体类别，区别于二分类模型只能确定某个语句是否属于一个类别。另外，由于训练多分类模型的语料库中同一类别的样本语句具有相同的语义，因此，目标多分类模型是将语句分类到具有相同语义的类别中。
基于此，针对待应答语句，可以利用目标多分类模型将待应答语句分到一个类别中，基于该类别进行待应答语句的应答。不需要一一计算待应答语句与语料库中的每个样本语句之间的相似性评分。而且由于语料库中样本语句的类别数量小于语料库中样本语句的数量，所以将待应答语句分到一个类别中所花费的时间要小于计算大量相似度所花费的时间。因此，本说明书实施例将原始的文本匹配问题转换成了文本多分类的问题，这样可以快速获取目标应答信息，从而快速针对待应答语句进行自动回复，解决了机器应答的速度比较慢的问题。
在本说明书的一个或多个实施例中，模型训练模块302，具体用于基于am-softmax损失函数，根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练。
在本说明书实施例中，利用am-softmax损失函数调整多个样本语句之间的距离，增大类间距离和缩小类内距离。由此，避免出现将两个距离较近的不同义语句错误地分为同一类别，从而可以准确地找出同义语句。
在本说明书的一个或多个实施例中，模型训练模块302包括：
类别预测模块，用于将多个样本语句输入到预定多分类模型中，得到每个样本语句的预测类别；
距离调整模块，用于利用am-softmax损失函数，调整多个样本语句之间的距离；其中，调整多个样本语句之间的距离包括：增大相同预测类别的样本语句之间的距离，以及减小不同预测类别的样本语句之间的距离；
差距计算模块，用于利用距离调整后的多个样本语句，计算多个样本语句的预测类别与在语料库中的类别之间的差距；
权重调整模块，用于根据差距，调整预定多分类模型的权重。
在本说明书的一个或多个实施例中，模型训练模块302包括：
样本确定模块，用于在将语料库中的第一类别的样本语句作为正样本的情况下，将语料库中除第一类别之外的类别的样本语句作为负样本；
样本训练模块，用于利用正样本和负样本，对预定多分类模型进行训练，得到目标多分类模型。
在本说明书实施例中，先对语料库中的样本语句进行分类，那么对于每一类别的样本语句来说，其他类别的样本语句均是其负样本，这样不需要费尽心思去定义负样本，节省了人力资源。
图10示出了本说明书实施例提供的一种信息处理装置的结构示意图。如图10所示，信息处理装置400包括：
语句获取模块401，用于获取待应答语句；
类别确定模块402，用于利用目标多分类模型，确定待应答语句的目标类别；其中，目标多分类模型是利用语料库中的多个样本语句及每个样本语句的类别对预定多分类模型训练得到，同一个类别的样本语句具有相同的语义；
应答信息获取模块403，用于根据预定的类别与应答信息之间的对应关系，获取目标类别对应的目标应答信息。
在说明书实施例中，先利用目标多分类模型对待应答语句进行分类，得到待应答语句的目标类别，然后输出与目标类别对应的目标应答信息。可见，利用目标多分类模型将待应答语句分到一个类别中，不需要一一计算待应答语句与语料库中的每个样本语句之间的相似性评分。而且由于语料库中样本语句的类别数量小于语料库中样本语句的总数量，所以将待应答语句分到一个类别中所花费的时间要小于计算大量相似性评分所花费的时间。因此，本说明书实施例可以快速获取目标应答信息，从而快速针对待应答语句进行自动回复，解决了机器应答的速度比较慢的问题。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
第一模型训练模块，用于根据多个样本语句及每个样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型；
标识类别获取模块，用于获取待应答语句的标识类别；
语料添加模块，用于将待应答语句添加到语料库中的标识类别；
第二模型训练模块，用于利用添加有待应答语句的语料库，重新训练目标多分类模型。
在本说明书实施例中，通过对语料库更新，并不断优化目标分类模型，使得目标分类模型在使用过程中其分类结果越来越准确。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
语句判断模块，用于在语料库中的标识类别的样本语句中，判断是否存在与待应答语句的相似度大于预定阈值的样本语句；
语料添加模块，具体用于若不存在与待应答语句的相似度大于预定阈值的样本语句，则将待应答语句添加到语料库中的标识类别。
在本说明书实施例中，在语料库中没有与待应答语句比较相似的样本语句的情况下，将待应答语句添加到语料库中，以重新训练目标多分类模型。这样，利用重新训练的目标多分类模型进行下一个待应答语句的分类时，如果该下一个待应答语句与此前添加到语料库中的待应答语句相似，那么目标多分类模型可以较为准确地实现该下一个待应答语句的分类。另外，在语料库中有与待应答语句比较相似的样本语句的情况下，那么就没有必要更新语料库，避免对目标多分类模型进行不必要的训练，从而避免占用过多的资源。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
类别增加模块，用于在语料库中的样本语句的类别未包括标识类别的情况下，增加语料库中样本语句的类别，且增加的类别为标识类别。
本说明书实施例通过新增语料库中样本语句的类别，使得语料库中样本语句的类别越来越丰富，从而不断完善目标多分类模型。
在本说明书的一个或多个实施例中，目标多分类模型是基于am-softmax损失函数训练得到。
am-softmax损失函数可以缩减相同类别的样本语句的距离，并且增大不同类别的样本语句的距离，提高目标多分类模型的预测结果的准确性。
在本说明书的一个或多个实施例中，语句获取模块401包括：
通信语句获取模块，用于获取目标用户账号发送的第一通信语句；
语句确定模块，用于将第一通信语句作为待应答语句；
信息处理装置400还包括：
应答信息发送模块，用于向目标用户账号发送目标应答信息。
本说明书实施例可以应用于自动回复目标用户账号的信息。不需要人工回复，节省了人力成本。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
账号查找模块，用于查找满足预定条件的目标用户账号；
第一发送模块，用于向目标用户账号发送预定的第二通信语句；
通信语句获取模块，具体用于获取目标用户账号发送的用于回复第二通信语句的第一通信语句。
在本说明书实施例中，通过主动查找满足预定条件的目标用户账号，并主动与目标用户账号的持有者(比如风险用户)进行聊天，从而可以对风险用户有一定了解，便于对风险用户进行风险控制。另外，由于风险用户的聊天套路大同小异，他们有自己的一套骗术模板，本说明书实施例中的多分类模型可以学习风险用户的话术，对常用对话进行语义识别并通过一定的置性度进行选择性回复，从而达到减低人工工作量、规模化聊天。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
信息判断模块，用于判断待应答语句中是否包括预定类型的用户信息；
类别确定模块402，具体用于在待应答语句中未包括预定类型的用户信息的情况下，利用目标多分类模型，确定待应答语句的目标类别。
在本说明书实施例中，预定类型的用户信息可以包括用户手机号、支付宝账号和银行卡号中的至少一项信息。如果待应答语句中未包括预定类型的用户信息，说明机器自动回复并没有套出对方的用户信息，那么确定待应答语句的目标类别，并根据该目标类别确定目标应答信息，将目标应答信息返回给对方，从而继续与对方聊天。
在本说明书的一个或多个实施例中，信息处理装置400还包括：
信息输出模块，用于在待应答语句中包括与预定类型的用户信息的情况下，结束与目标用户账号的交互，并输出预定类型的用户信息。
在本说明书实施例中，如果待应答语句中包括与预定类型的用户信息，说明机器自动回复套出了对方的用户信息，即达到了最终的目的，那么可以结束与目标用户账号的用户聊天。
在本说明书的一个或多个实施例中，通信语句获取模块，具体用于按照预定通信协议，通过预定应用程序获取目标用户账号发送的待应答语句；
应答信息发送模块，具体用于按照预定通信协议，通过预定应用程序向目标用户账号发送目标应答信息。
在本说明书实施例中，按照预定通信协议实现与目标用户账号的自动交互，不需要人工参与，方便大规模地利用目标多分类模型与用户进行交互。
图11示出了本说明书实施例提供的设备的硬件结构示意图。该设备可以是信息处理设备或者多分类模型训练设备。
如图11所示，信息处理设备或者多分类模型训练设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本说明书实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关容灾设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。在特定实施例中，存储器502包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种信息处理方法或者多分类模型训练方法。
在一个示例中，信息处理设备或者多分类模型训练设备还可包括通信接口503和总线510。其中，如图11所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503，主要用于实现本说明书实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者，将信息处理设备或者多分类模型训练设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本说明书实施例描述和示出了特定的总线，但本说明书考虑任何合适的总线或互连。
该信息处理设备或者多分类模型训练设备可以执行本说明书实施例中的信息处理方法或者多分类模型训练方法，从而实现结合图3、图6、图9和图10描述的信息处理方法、多分类模型训练方法法和装置。
另外，结合上述实施例中的信息处理方法或者多分类模型训练方法，本说明书实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种信息处理方法或者多分类模型训练方法。
需要明确的是，本说明书并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本说明书的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本说明书的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本说明书的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本说明书中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本说明书不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上，仅为本说明书的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本说明书的保护范围之内。

Claims (19)

1.一种信息处理方法，包括：
获取待应答语句；
利用目标多分类模型，确定所述待应答语句的目标类别；其中，所述目标多分类模型是利用语料库中的多个样本语句及每个所述样本语句的类别对预定多分类模型训练得到，同一个类别的所述样本语句具有相同的语义；
根据预定的类别与应答信息之间的对应关系，获取所述目标类别对应的目标应答信息。
2.根据权利要求1所述的方法，其中，所述利用目标多分类模型，确定所述待应答语句的目标类别之前，所述方法还包括：
根据所述多个样本语句及每个所述样本语句的类别，对所述预定多分类模型进行训练，得到所述目标多分类模型；
所述获取所述目标类别对应的目标应答信息之后，所述方法还包括：
获取所述待应答语句的标识类别；
将所述待应答语句添加到所述语料库中的所述标识类别；
利用添加有所述待应答语句的语料库，重新训练所述目标多分类模型。
3.根据权利要求2所述的方法，其中，所述将所述待应答语句添加到所述语料库中的所述标识类别之前，所述方法还包括：
在所述语料库中的所述标识类别的样本语句中，判断是否存在与所述待应答语句的相似度大于预定阈值的样本语句；
所述将所述待应答语句添加到所述语料库中的所述标识类别，包括：
若不存在与所述待应答语句的相似度大于预定阈值的样本语句，则将所述待应答语句添加到所述语料库中的所述标识类别。
4.根据权利要求3所述的方法，其中，所述将所述待应答语句添加到所述语料库中的所述标识类别之前，所述方法还包括：
在所述语料库中的样本语句的类别未包括所述标识类别的情况下，增加所述语料库中样本语句的类别，且增加的类别为所述标识类别。
5.根据权利要求1所述的方法，其中，所述目标多分类模型是基于am-softmax损失函数训练得到。
6.根据权利要求1至5中任意一项所述的方法，其中，所述获取待应答语句，包括：
获取目标用户账号发送的第一通信语句，并将所述第一通信语句作为所述待应答语句；
所述获取所述目标类别对应的目标应答信息之后，所述方法还包括：
向所述目标用户账号发送所述目标应答信息。
7.根据权利要求6所述的方法，其中，所述获取目标用户账号发送的第一通信语句之前，所述方法还包括：
查找满足预定条件的所述目标用户账号；
向所述目标用户账号发送预定的第二通信语句；
所述获取目标用户账号发送的第一通信语句，包括：
获取所述目标用户账号发送的用于回复所述第二通信语句的所述第一通信语句。
8.根据权利要求6所述的方法，其中，所述利用目标多分类模型，确定待应答语句的目标类别之前，所述方法还包括：
判断所述待应答语句中是否包括预定类型的用户信息；
所述利用目标多分类模型，确定待应答语句的目标类别，包括：
在所述待应答语句中未包括所述预定类型的用户信息的情况下，利用所述目标多分类模型，确定所述待应答语句的目标类别。
9.根据权利要求8所述的方法，其中，所述判断所述待应答语句中是否包括预定类型的用户信息之后，所述方法还包括：
在所述待应答语句中包括与所述预定类型的用户信息的情况下，结束与所述目标用户账号的交互，并输出所述预定类型的用户信息。
10.根据权利要求6所述的方法，其中，
所述获取目标用户账号发送的第一通信语句，包括：按照预定通信协议，通过预定应用程序获取所述目标用户账号发送的所述待应答语句；
所述向所述目标用户账号发送所述目标应答信息，包括：按照所述预定通信协议，通过所述预定应用程序向所述目标用户账号发送所述目标应答信息。
11.一种多分类模型训练方法，包括：
获取语料库中的多个样本语句以及每个所述样本语句的类别，其中，所述语料库中同一类别的样本语句具有相同的语义；
根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
12.根据权利要求11所述的方法，其中，所述根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练，包括：
基于am-softmax损失函数，根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练。
13.根据权利要求12所述的方法，其中，所述基于am-softmax损失函数，根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练，包括：
将所述多个样本语句输入到所述预定多分类模型中，得到每个所述样本语句的预测类别；
利用am-softmax损失函数，调整所述多个样本语句之间的距离；其中，调整所述多个样本语句之间的距离包括：增大相同预测类别的样本语句之间的距离，以及减小不同预测类别的样本语句之间的距离；
利用距离调整后的所述多个样本语句，计算所述多个样本语句的所述预测类别与在所述语料库中的类别之间的差距；
根据所述差距，调整所述预定多分类模型的权重。
14.根据权利要求11所述的方法，其中，所述根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型，包括：
在将所述语料库中的第一类别的样本语句作为正样本的情况下，将所述语料库中除所述第一类别之外的类别的样本语句作为负样本；
利用所述正样本和所述负样本，对所述预定多分类模型进行训练，得到所述目标多分类模型。
15.一种信息处理装置，包括：
语句获取模块，用于获取待应答语句；
类别确定模块，用于利用目标多分类模型，确定所述待应答语句的目标类别；其中，所述目标多分类模型是利用语料库中的多个样本语句及每个所述样本语句的类别对预定多分类模型训练得到，同一个类别的所述样本语句具有相同的语义；
应答信息获取模块，用于根据预定的类别与应答信息之间的对应关系，获取所述目标类别对应的目标应答信息。
16.一种多分类模型训练装置，包括：
语料获取模块，用于获取语料库中的多个样本语句以及每个所述样本语句的类别，其中，所述语料库中同一类别的样本语句具有相同的语义；
模型训练模块，用于根据所述多个样本语句及每个所述样本语句的类别，对预定多分类模型进行训练，得到目标多分类模型。
17.一种信息处理设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-10任意一项所述的信息处理方法。
18.一种多分类模型训练设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求11-14任意一项所述的多分类模型训练方法。
19.一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-10任意一项所述的信息处理方法或者如权利要求11-14任意一项所述的多分类模型训练方法。
CN202010337359.3A 2020-04-26 2020-04-26 信息处理方法、模型训练方法、装置、设备及介质 Pending CN111538823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010337359.3A CN111538823A (zh) 2020-04-26 2020-04-26 信息处理方法、模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010337359.3A CN111538823A (zh) 2020-04-26 2020-04-26 信息处理方法、模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111538823A true CN111538823A (zh) 2020-08-14

Family

ID=71977216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010337359.3A Pending CN111538823A (zh) 2020-04-26 2020-04-26 信息处理方法、模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111538823A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214595A (zh) * 2020-08-21 2021-01-12 中国建设银行股份有限公司 类别确定方法、装置、设备及介质
CN112328776A (zh) * 2021-01-04 2021-02-05 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN114254593A (zh) * 2020-09-23 2022-03-29 中移动信息技术有限公司 问题语句的处理方法、装置、设备及计算机存储介质
CN115879514A (zh) * 2022-12-06 2023-03-31 深圳大学 类相关性预测改进方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140317726A1 (en) * 2010-11-29 2014-10-23 Biocatch Ltd. Device, system, and method of detecting user identity based on inter-page and intra-page navigation patterns
CN106528530A (zh) * 2016-10-24 2017-03-22 北京光年无限科技有限公司 一种确定句子类型的方法及装置
WO2019079922A1 (zh) * 2017-10-23 2019-05-02 腾讯科技（深圳）有限公司 会话信息处理方法及其装置、存储介质
CN110232114A (zh) * 2019-05-06 2019-09-13 平安科技（深圳）有限公司 语句意图识别方法、装置及计算机可读存储介质
US20190394333A1 (en) * 2018-06-21 2019-12-26 Wells Fargo Bank, N.A. Voice captcha and real-time monitoring for contact centers
CN111046147A (zh) * 2018-10-11 2020-04-21 马上消费金融股份有限公司 一种问答方法、装置及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140317726A1 (en) * 2010-11-29 2014-10-23 Biocatch Ltd. Device, system, and method of detecting user identity based on inter-page and intra-page navigation patterns
CN106528530A (zh) * 2016-10-24 2017-03-22 北京光年无限科技有限公司 一种确定句子类型的方法及装置
WO2019079922A1 (zh) * 2017-10-23 2019-05-02 腾讯科技（深圳）有限公司 会话信息处理方法及其装置、存储介质
US20190394333A1 (en) * 2018-06-21 2019-12-26 Wells Fargo Bank, N.A. Voice captcha and real-time monitoring for contact centers
CN111046147A (zh) * 2018-10-11 2020-04-21 马上消费金融股份有限公司 一种问答方法、装置及终端设备
CN110232114A (zh) * 2019-05-06 2019-09-13 平安科技（深圳）有限公司 语句意图识别方法、装置及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214595A (zh) * 2020-08-21 2021-01-12 中国建设银行股份有限公司 类别确定方法、装置、设备及介质
CN114254593A (zh) * 2020-09-23 2022-03-29 中移动信息技术有限公司 问题语句的处理方法、装置、设备及计算机存储介质
CN112328776A (zh) * 2021-01-04 2021-02-05 北京百度网讯科技有限公司 对话生成方法、装置、电子设备和存储介质
CN115879514A (zh) * 2022-12-06 2023-03-31 深圳大学 类相关性预测改进方法、装置、计算机设备及存储介质
CN115879514B (zh) * 2022-12-06 2023-08-04 深圳大学 类相关性预测改进方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110377911B (zh) 对话框架下的意图识别方法和装置
US11734319B2 (en) Question answering method and apparatus
CN109918673B (zh) 语义仲裁方法、装置、电子设备和计算机可读存储介质
CN111538823A (zh) 信息处理方法、模型训练方法、装置、设备及介质
CN110164452A (zh) 一种声纹识别的方法、模型训练的方法以及服务器
CN112732871B (zh) 一种机器人催收获取客户意向标签的多标签分类方法
CN110890088B (zh) 语音信息反馈方法、装置、计算机设备和存储介质
CN110134777B (zh) 问题去重方法、装置、电子设备和计算机可读存储介质
CN111382248A (zh) 一种问题回复方法、装置、存储介质及终端设备
CN111667817A (zh) 一种语音识别方法、装置、计算机系统及可读存储介质
CN111079427A (zh) 一种垃圾邮件识别方法及系统
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN112767925A (zh) 语音信息识别方法及装置
CN111382265B (zh) 搜索方法、装置、设备和介质
CN110708619A (zh) 一种智能设备的词向量训练方法及装置
CN114239606A (zh) 一种信息处理方法、装置、设备及计算机存储介质
CN114117031A (zh) 名单筛查方法、装置、设备及计算机存储介质
CN114863574A (zh) 手写签名识别方法、装置、设备、介质及程序产品
CN114547264A (zh) 一种基于马氏距离和对比学习的新意图数据识别方法
CN112559697A (zh) 识别话术意图的方法和装置
CN113869398B (zh) 一种不平衡文本分类方法、装置、设备及存储介质
CN117235137B (zh) 一种基于向量数据库的职业信息查询方法及装置
CN116383371A (zh) 摘要生成模型的训练方法和摘要生成方法、装置及设备
CN116911316A (zh) 数据处理方法、装置、设备及计算机存储介质
CN111177336B (zh) 一种确定应答信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination