发明内容
鉴于上述,本公开提供了一种基于至少一个业务分类模型进行业务分类的方法及装置,该方法和装置通过使用针对每个业务类别的至少一个业务分类模型确定待分类用户语句与各个业务类别的代表用户语句样本的相似度,进而基于该相似度确定待分类用户语句的业务类别,由此能够避免因某些业务类别被忽略导致业务分类失败。
根本公开的一个方面,提供了一种基于至少一个业务分类模型进行业务分类的方法,所述至少一个业务分类模型中的每个业务分类模型对应于一个业务类别,所述方法包括:针对所述至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与该代表用户语句样本之间的相似度,以确定所述待分类用户语句与该业务分类模型所对应的业务类别的相似度;以及基于所述待分类用户语句与各个业务类别之间的相似度,确定所述待分类用户语句的业务类别。
可选的,在一个示例中,所述至少一个业务分类模型可以为小样本学习模型。
可选的,在一个示例中,针对所述至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与该代表用户语句样本之间的相似度可以包括:将待分类用户语句与该业务分类模型所对应的业务类别的代表用户语句样本分别提供给该业务分类模型的第一输入层和第二输入层,以得到所述待分类用户语句与该代表用户语句样本的词向量表示;将所述待分类用户语句与该代表用户语句样本的词向量表示分别提供给该业务分类模型的第一特征提取层和第二特征提取层,以提取出所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量;将所得到的所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量提供给该业务分类模型的距离层,以确定所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度;以及将所确定出的所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度提供给该业务分类模型的输出层,以确定所述待分类用户语句和该代表用户语句样本的相似度。
可选的,在一个示例中,所述业务分类模型可以包括:第一输入层,被配置为接收所述待分类用户语句,并输出所述待分类用户语句的词向量表示;第二输入层,被配置为接收所述业务分类模型所对应的业务类别的代表用户语句样本,并输出所述代表用户语句样本的词向量表示;第一特征提取层,被配置为接收所述待分类用户语句的词向量表示,并基于第一权重和所述待分类用户语句的词向量表示对所述待分类用户语句进行特征提取,以及输出提取出的所述待分类用户语句的至少一个词语特征向量;第二特征提取层,被配置为接收所述代表用户语句样本的词向量表示,并基于第二权重和所述代表用户语句样本的词向量表示对所述代表用户语句样本进行特征提取,以及输出提取出的所述代表用户语句样本的至少一个词语特征向量;距离层,被配置为接收所述待分类用户语句的至少一个词语特征向量和所述代表用户语句样本的至少一个词语特征向量,并确定所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度;以及输出层,被配置为接收所述待分类用户语句的至少一个词语特征向量和所述代表用户语句样本的至少一个词语特征向量之间的两两相似度,并基于第三权重和所述两两相似度确定所述待分类用户语句和该代表用户语句样本的相似度。
可选的,在一个示例中,所述第一输入层包括对应于所述待分类用户语句的维度的至少一个第一输入层节点,所述第二输入层包括对应于所述代表用户语句样本的维度的至少一个第二输入层节点,所述第一特征提取层包括至少一个第一特征提取层节点,以及所述第二特征提取层包括至少一个第二特征提取层节点,所述至少一个第一特征提取层节点的数目与所述第一输入层输出的词向量表示中的词向量的数目相等,以及所述第二特征提取层节点的数目与所述第二输入层输出的词向量表示中的词向量的数目相等。其中,每个所述第一输入层节点的输出被提供给每个所述第一特征提取层节点,每个所述第二输入层节点的输出被提供给每个所述第二特征提取层节点。
可选的,在一个示例中,所述第一特征提取层可以包括至少一个卷积层和至少一个池化层,以及所述第二特征提取层可以包括至少一个卷积层和至少一个池化层。
可选的,在一个示例中,基于所述待分类用户语句与所述各个业务类别之间的相似度,确定所述待分类用户语句的业务类别可以包括:将所述待分类用户语句与各个业务类别之间的相似度中,大于预定阈值的相似度中的相似度最大值所对应的业务类别确定为所述待分类用户语句的业务类别。
可选的,在一个示例中,对应于各个业务分类模型的代表用户语句样本的数量为至少两个,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与该代表用户语句样本之间的相似度,以确定所述待分类用户语句与该业务分类模型所对应的业务类别的相似度可以包括:将待分类用户语句与该业务分类模型所对应的各个代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与所述各个代表用户语句样本之间的相似度;以及基于所述待分类用户语句与各个代表用户语句样本之间的相似度,确定所述待分类用户语句与该业务分类模型所对应的业务类别的相似度。
根据本公开的另一方面,还提供一种基于至少一个业务分类模型进行业务分类的装置,所述至少一个业务分类模型中的每个业务分类模型对应于一个业务类别,所述装置包括:相似度确定单元,被配置为针对所述至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与该代表用户语句样本之间的相似度,以确定所述待分类用户语句与该业务分类模型所对应的业务类别的相似度;以及业务类别确定单元,被配置为基于所述待分类用户语句与各个业务类别的相似度,确定所述待分类用户语句的业务类别。
可选的,在一个示例中,所述至少一个业务分类模型可以为小样本学习模型。
可选的,在一个示例中,所述相似度确定单元可以包括:词向量表示获取模块,被配置为将待分类用户语句与该业务分类模型所对应的业务类别的代表用户语句样本分别提供给该业务分类模型的第一输入层和第二输入层,以得到所述待分类用户语句与该代表用户语句样本的词向量表示;词语特征向量获取模块,被配置为将所述待分类用户语句与该代表用户语句样本的词向量表示分别提供给该业务分类模型的第一特征提取层和第二特征提取层,以提取出所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量;特征向量相似度确定模块,被配置为将所得到的所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量提供给该业务分类模型的距离层,以确定所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度;以及语句相似度确定模块,被配置为将所确定出的所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度提供给该业务分类模型的输出层,以确定所述待分类用户语句和该代表用户语句样本的相似度。
可选的,在一个示例中,所述业务分类模型可以包括:第一输入层,被配置为接收所述待分类用户语句,并输出所述待分类用户语句的词向量表示;第二输入层,被配置为接收所述业务分类模型所对应的业务类别的代表用户语句样本,并输出所述代表用户语句样本的词向量表示;第一特征提取层,被配置为接收所述待分类用户语句的词向量表示,并基于第一权重对所述待分类用户语句进行特征提取,以及输出提取出的所述待分类用户语句的至少一个词语特征向量;第二特征提取层,被配置为接收所述代表用户语句样本的词向量表示,并基于第二权重和所述代表用户语句样本的词向量表示对所述代表用户语句样本进行特征提取,以及输出提取出的所述代表用户语句样本的至少一个词语特征向量;距离层,被配置为接收所述待分类用户语句的至少一个词语特征向量和所述代表用户语句样本的至少一个词语特征向量,并确定所述待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度;以及输出层,被配置为接收所述待分类用户语句的至少一个词语特征向量和所述代表用户语句样本的至少一个词语特征向量之间的两两相似度,并基于第三权重和所述两两相似度确定所述待分类用户语句和该代表用户语句样本的相似度。
可选的,在一个示例中,所述第一输入层可以包括对应于所述待分类用户语句的维度的至少一个第一输入层节点,所述第二输入层包括对应于所述代表用户语句样本的维度的至少一个第二输入层节点,所述第一特征提取层包括至少一个第一特征提取层节点,以及所述第二特征提取层包括至少一个第二特征提取层节点,所述至少一个第一特征提取层节点的数目与所述第一输入层输出的词向量表示中的词向量的数目相等,以及所述第二特征提取层节点的数目与所述第二输入层输出的词向量表示中的词向量的数目可以相等。其中,每个所述第一输入层节点的输出被提供给每个所述第一特征提取层节点,每个所述第二输入层节点的输出被提供给每个所述第二特征提取层节点。
可选的,在一个示例中,所述第一特征提取层可以包括至少一个卷积层和至少一个池化层,以及所述第二特征提取层可以包括至少一个卷积层和至少一个池化层。
可选的,在一个示例中,所述业务类别确定单元可以被配置为:将所述待分类用户语句与各个业务类别之间的相似度中,大于预定阈值的相似度中的相似度最大值所对应的业务类别确定为所述待分类用户语句的业务类别。
可选的,在一个示例中,对应于各个业务分类模型的代表用户语句样本的数量为至少两个,所述相似度确定单元可以被配置为:针对所述至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的各个代表用户语句样本作为语句对提供给该业务分类模型来确定所述待分类用户语句与所述各个代表用户语句样本之间的相似度;以及基于所述待分类用户语句与各个代表用户语句样本之间的相似度,确定所述待分类用户语句与该业务分类模型所对应的业务类别的相似度。
根据本公开的另一方面,还提供一种计算设备,包括:至少一个处理器;以及存储器,所述存储器存储指令,当所述指令被所述至少一个处理器执行时,使得所述至少一个处理器执行如上所述的业务分类方法。
根据本公开的另一方面,还提供一种非暂时性机器可读存储介质,其存储有可执行指令,所述指令当被执行时使得所述机器执行如上所述的业务分类方法。
利用本公开的方法和装置,通过使用针对每个业务类别的至少一个业务分类模型确定待分类用户语句与各个业务类别的代表用户语句样本的相似度,进而基于待分类用户语句与各个业务类别的代表用户语句样本的相似度来确定待分类用户语句的业务类别,由此能够避免因某些业务类别被忽略而导致业务分类失败。
利用本公开的方法和装置,通过将业务分类模型中的第一输入层与第二输入层、第一特征提取层与第二特征提取层配置成对称的结构,能够使得在对待分类用户语句和代表用户语句样本进行特征提取时,能够同样地提取二者的特征,从而使得所确定的二者的相似度更接近于真实情况。
利用本公开的方法和装置,通过将业务分类模型的第一输入层与第一特征提取层之间、第二输入层与第二特征提取层之间配置成全连接结构,从而能够以简单且易于实现的结构实现业务分类模型,而且该结构对于训练样本不是足够大的业务类别也能够实现高准确度的业务分类。
利用本公开的方法和装置,通过将业务分类模型的第一特征提取层和第二特征提取层配置为基于卷积层和池化层来实现,业务分类模型用于处理较复杂的用户咨询时,能够实现对高维度的待分用户语句的准确快速分类,提高业务分类的效率和准确性。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
现在结合附图来描述本公开的基于至少一个业务分类模型进行业务分类的方法及装置。
图1是根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的方法的流程图。
如图1所示,在块110,针对至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定待分类用户语句与该代表用户语句样本之间的相似度,以确定待分类用户语句与该业务分类模型所对应的业务类别的相似度。每个业务分类模型分别针对一个业务类别,即每个业务分类模型是针对一个业务类别而利用该业务类别的训练样本来训练的。因而,每个业务类别都能够被识别,即使某些业务类别的训练样本较小,也不会被忽略。
待分类用户语句例如可以是由智能客服引导用户对其想要咨询的问题的一个或多个描述语句组合而成的。例如,如果用户的描述语句包括“商家赔付款项”、“网上显示交易成功”、“红包已收到但是实际账户余额未增加”,则待分类用户语句可以是[商家赔付款项网上显示交易成功红包已收到但是实际账户余额未增加]。对该待分类用户语句进行分词处理后可以得到由该待分类用户语句中的各个词语组成的词语特征样本,即[[商家],[赔付],[款项],[网上],[显示],[交易],[成功],[红包],[已],[收到],[但是],[实际],[账户],[余额],[未],[增加]]。
此外,还可以预先将待分类用户语句和代表用户语句样本处理成预定维度,维度表示语句中的词语的数目,即语句的长度。例如,如果预定维度为20,对于上述示例中的包括16个词语的待分类用户语句,其维度为16,可以在该待分类用户语句的末尾补充特殊字符以将待分类用户语句的维度处理成20。对于超过预定维度的待分类用户语句或代表用户语句样本,还可以对其进行截断,或过滤其中的某些词语(例如停止词、词频超过预定词频的词语等),以将其处理成预定维度。
在一个示例中,每个业务分类模型可以具有至少两个代表用户语句样本。至少两个代表用户语句样本可以是从用来训练该业务分类模型的用户语句样本中随机选取的。此时,可以针对每个业务分类模型,将待分类用户语句与该业务分类模型所对应的各个代表用户语句样本作为语句对提供给该业务分类模型来确定待分类用户语句与各个代表用户语句样本之间的相似度。然后可以基于待分类用户语句与各个代表用户语句样本之间的相似度,确定待分类用户语句与该业务分类模型所对应的业务类别的相似度。例如,可以将待分类用户语句与各个业务类别的相似度的平均值确定为待分类用户语句与该业务类别的相似度。
本公开所使用的业务分类模型可以是小样本学习(Few Shot Learning)模型,即基于小样本学习算法实现的模型。小样本学习通常被应用于图片分类当中,本公开将其应用到了文本识别领域中,以实现小样本的文本分类学习。
在获得待分类用户语句和各个代表用户语句样本之间的相似度之后,在块120,基于待分类用户语句与各个业务类别之间的相似度,确定待分类用户语句的业务类别。
在一个示例中,可以将待分类用户语句与各个业务类别之间的相似度中,大于预定阈值的相似度中的相似度最大值所对应的业务类别确定为待分类用户语句的业务类别。例如,如果存在对应于5个业务类别的业务分类模型,每个业务分类模型得到的相似度分别为0.2、0.45、0.68、0.77、0.85,假设预定阈值为0.6,则待分类用户语句的业务类别为0.68、0.77、0.85中的最大值0.85所对应的业务类别。如果相似度都小于预定阈值,则可认为待分类用户语句不属于已知的任一业务类别,可将其分类到未知分类或其它分类中。在客服工作中,可以由专门客服来处理不属于已知业务类别的客户咨询。
图2是根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的方法中使用的业务分类模型的一个示例的结构框图。如图2所示,业务分类模型包括第一输入层211、第二输入层212、第一特征提取层221、第二特征提取层222、距离层230和输出层240。
第一输入层211被配置为接收待分类用户语句,并输出待分类用户语句的词向量表示。第二输入层212被配置为接收业务分类模型所对应的业务类别的代表用户语句样本,并输出代表用户语句样本的词向量表示。语句的词向量表示是指将语句中的各个词语转换成对应的词向量后的表示。在本公开中,语句的词向量表示可以是由语句中的各个词语的词向量组合在一起而表示的语句,也可以是分离的各个词语的词向量。每个词语的词向量可以从词向量集中获取。代表用户语句样本可以从相应业务类别的至少一个用户语句样本中随机选取。至少一个用户语句样本可以是用于训练该业务分类模型的用户语句样本。
第一特征提取层221被配置为基于第一权重对待分类用户语句进行特征提取,并输出提取出的待分类用户语句的至少一个词语特征向量。第二特征提取层22被配置为基于第二权重对代表用户语句样本进行特征提取,并输出提取出的代表用户语句样本的至少一个词语特征向量。特征提取的目的是从语句的各个词语特征中提取中更能表征语句的高维特征。
距离层230被配置为接收待分类用户语句的至少一个词语特征向量和代表用户语句样本的至少一个词语特征向量,并确定待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度。待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度可以用词语与词语之间的距离来表征,例如欧式距离、夹角余弦距离等。
在一个示例中,距离层230可以确定待分类用户语句的所有词语特征向量和代表用户语句样本的所有词语特征向量的两两相似度,也可以随机舍弃部分两两相似度的确定。该随机舍弃过程例如可以采用丢弃(Dropout)算法实现。
然后,输出层240接收距离层230输出的待分类用户语句的至少一个词语特征向量和代表用户语句样本的至少一个词语特征向量之间的两两相似度,并基于第三权重和两两相似度确定待分类用户语句和该代表用户语句样本的相似度。待分类用户语句和该代表用户语句样本的相似度可以是待分类用户语句与该代表用户语句样本属于同一业务类别的概率。
此外,第一输入层211与第二输入层212、第一特征提取层221与第二特征提取层222可以具有对称的结构。
图3是根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的方法中使用的业务分类模型的另一示例的结构框图。
如图3所示,第一输入层311包括至少一个第一输入层节点。第一输入层节点的数目对应于待分类用户语句的维度,即各个第一输入层节点分别对应于待分类用户语句的各个词语特征X11~X1N。第二输入层312包括至少一个第二输入层节点。第二输入层节点的数目对应于代表用户语句样本的维度,即第二输入层节点分别对应于代表用户语句样本的词语特征X21~X2N。N表示待分类用户语句和代表用户语句样本的维度。图3中示出了第一输入层节点与第二输入层节点的数目相等的情形,在另一示例中,二者的数目也可以是不相等的。
第一特征提取层321包括至少一个第一特征提取层节点,第二特征提取层322包括至少一个第二特征提取层节点。第一特征提取层节点的数目可以与第一输入层输出的词向量表示中的词向量的数目相等。第二特征提取层节点的数目可以与第二输入层输出的词向量表示中的词向量的数目相等。即,第一特征提取层节点的数目与第一输入层节点的数目、第二特征提取层节点的数目与和二输入层节点的数目可以分别是相等的。在图3的示例中,每个第一输入层节点的输出被提供给每个第一特征提取层节点,每个第二输入层节点的输出被提供给每个第二特征提取层节点。即,第一输入层311与第一特征提取层321之间、以及第二输入层321与第二特征提取层322之间采取全连接的方式连接。
各个第一特征提取层节点分别基于相应的第一权重从待分类用户语句的词语特征X11~X1N中提取词语特征向量H11~H1N。例如,词语特征向量H11是基于第一权重W1,11~W1,1N从词语特征X11~X1N提取的。各个第二特征提取层节点分别基于相应的第二权重从待分类用户语句的词语特征X21~X2N中提取词语特征向量H21~H2N。例如,词语特征向量H21是基于第一权重W2,11~W2,1N从词语特征X21~X2N提取的。
在另一示例中,第一特征提取层节点的数目与第一输入层节点的数目、第二特征提取层节点的数目与第一特征提取层节点的数目也可以是不相等的。此外,第二特征提取层节点的数目与第一特征提取层节点的数目也可以不相等。
第一特征提取层321提取的词语特征向量H11~H1N以及第二特征提取层322提取的词语特征向量H21~H2N分别被提供给距离层330。进而,距离层330确定词语特征向量H11~H1N与词语特征向量H21~H2N之间的两两相似度D1~DM。在该示例中,距离层的节点数目M为第一特征提取层节点的数目N与第二特征提取层节点的数目N的乘积。在另一示例中,当待分类用户语句的词语特征向量和代表用户语句样本的词语特征向量之间的两两相似度中有部分被舍弃的情况下,距离层的节点数目M可以不等于上述乘积。
然后,词语特征向量H11~H1N与词语特征向量H21~H2N之间的两两相似度D1~DM被提供给输出层330。输出层330基于第三权重W31~W3M确定待分类用户语句与代表用户语句样本之间的相似度P。在本公开中,语句与语句之间的相似度可以用概率来表示。
在另一示例中,第一特征提取层和第二特征提取层可以基于卷积神经网络(CNN)实现。第一特征提取层可以包括至少一个卷积层和至少一个池化层,第二特征提取层也可以包括至少一个卷积层和至少一个池化层。此时,输入第一输入层的待分类用户语句被提供给至少一个卷积层进行卷积操作,以得到至少一个特征图(feature map)。该至少一个特征图被提供给至少一个池化层,以得到待分类用户语句的词语特征向量。输入第二输入层的代表用户语句样本被提供给至少一个卷积层进行卷积操作,以得到代表用户语句样本的至少一个特征图(feature map)。该至少一个特征图被提供给至少一个池化层进行池化后得到代表用户语句样本的词语特征向量。
图4是业务分类模型中的第一特征提取层的一个示例的结构框图。第二特征提取层也可以基于图4所示的结构实现。在图4中,第一特征提取层包括卷积层420和池化层430。虽然图4中示出了包括一个卷积层和一个池化层的情形,但是本公开对第一特征提取层与第二特征提取层中的卷积层和池化层的数目没有限制。
在图4的示例中,卷积层420在利用三种卷积核对待分类用户语句进行卷积操作,每种卷积核的数目为128个。三种卷积核的大小分别为3×300、4×300、5×300。待分类用户语句的词向量表示的大小为2000×300,其中2000表示待分类用户语句的维度,300为每个词向量的维度。利用该128个三种卷积核进行卷积操作后可分别得出1998×1×128、1997×1×128、1996×1×128的特征图。池化层430分别对该三个特征图进行池化操作化得到三个被缩小为1×1×128的特征。该缩小的特征即待分类用户语句的词语特征向量。
第二特征提取层也可以基于与图4所示的同样的结构得到代表用户语句样本的词语特征向量。然后距离层可基于池化操作后的待分类分词语句的特征和代表用户语句样本的特征,确定两两特征之间的相似度。例如,确定待分词用户语句样本的三个1×1×128的特征与代表用户语句样本的三个1×1×128的特征之间的两两相似度。
上述实施例示出了第一输入层与第二输入层对称、第一特征提取层与第二特征提取层对称的结构。在另一示例中,第一输入层与第二输入层、第一特征提取层与第二特征提取层也可以是不对称的。
图5是用于对根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的方法中使用的业务分类模型进行训练的训练过程的流程图。
如图5所示,在块510,针对每个业务分类模型,将该业务分类模型所对应的业务类别的用户语句样本和参考用户语句样本组成的语句对,依次输入业务分类模型的第一输入层和第二输入层。在各个语句对中的参考用户语句样本包括属于该业务类别的参考用户语句样本和不属于该业务类别的参考用户语句样本。每个语句对带有用户语句样本与参考用户语句样本是否属于同一业务类别的标签。
在块520,基于误差反向传播设置第一特征提取层的第一权重、第二特征提取层的第二权重和输出层的第三权重,以使输出层的输出匹配当前输入的语句对的标签。
第一权重例如可以是图3所示的第一特征提取层的W1,11~W1,1N等,或如图4所示的结构中卷积层的权重。第二权重例如可以是图3所示的第一特征提取层的W2,11~W2,1N等,或如图4所示的结构的第二特征提取层中卷积层的权重。
通过上述训练过程,可针对每个业务类别独立地训练出对应该业务类别的业务分类模型,从而在利用各个业务类别的业务分类模型来对待分类用户语句进行分类时,不会出现由于部分业务类别被忽略而无法实现分类的问题。
图6是用于对根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的方法中相似度确定过程的流程图。
如图6所示,在确定待分类用户语句与代表用户语句样本的相似度的过程中,在块610,将待分类用户语句与该业务分类模型所对应的业务类别的代表用户语句样本分别提供给该业务分类模型的第一输入层和第二输入层,以得到待分类用户语句与该代表用户语句样本的词向量表示。
然后在块620,将待分类用户语句与该代表用户语句样本的词向量表示分别提供给该业务分类模型的第一特征提取层和第二特征提取层,以提取出待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量。
得到待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之后,在块630,将所得到的待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量提供给该业务分类模型的距离层,以确定待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度。
获得上述两两相似度之后,在块640,将所确定出的待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度提供给该业务分类模型的输出层,以确定待分类用户语句和该代表用户语句样本的相似度。
图7是根据本公开的一个实施例的基于至少一个业务分类模型进行业务分类的装置(以下称为业务分类装置)700的结构框图。如图7所示,业务分类装置700包括相似度确定单元710和业务类别确定单元720。
相似度确定单元710被配置为针对至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定待分类用户语句与该代表用户语句样本之间的相似度,以确定待分类用户语句与该业务分类模型所对应的业务类别的相似度。业务类别确定单元720被配置为基于待分类用户语句与各个业务类别之间的相似度,确定待分类用户语句的业务类别。
在一个示例中,每个业务分类模型可以具有至少两个代表用户语句样本。在该示例中,相似度确定单元710可以被配置针对每个业务分类模型,将待分类用户语句与该业务分类模型所对应的各个代表用户语句样本作为语句对提供给该业务分类模型来确定待分类用户语句与各个代表用户语句样本之间的相似度。然后相似度确定单元710可以基于待分类用户语句与各个代表用户语句样本之间的相似度,确定待分类用户语句与该业务分类模型所对应的业务类别的相似度。例如,可以将待分类用户语句与各个业务类别的相似度的平均值确定为待分类用户语句与该业务类别的相似度。
业务分类模型可以采用如上参照图2-4描述的业务分类模型。
在一个示例中,业务类别确定单元720可以被配置为将待分类用户语句与各个业务类别之间的相似度中,大于预定阈值的相似度中的相似度最大值所对应的业务类别确定为待分类用户语句的业务类别。
图8是图7所示的相似度确定单元的一个示例的结构框图。如图8所示,相似度确定单元710包括词向量表示获取模块711、词语特征向量获取模块712、特征向量相似度确定模块713以及语句相似度确定模块714。
词向量表示获取模块711被配置为将待分类用户语句与该业务分类模型所对应的业务类别的代表用户语句样本分别提供给该业务分类模型的第一输入层和第二输入层,以得到待分类用户语句与该代表用户语句样本的词向量表示。词语特征向量获取模块712被配置为将待分类用户语句与该代表用户语句样本的词向量表示分别提供给该业务分类模型的第一特征提取层和第二特征提取层,以提取出待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量。
特征向量相似度确定模块713被配置为将所得到的待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量提供给该业务分类模型的距离层,以确定待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度。在获得两两相似度之后,语句相似度确定模块714将所确定出的待分类用户语句的至少一个词语特征向量和该代表用户语句样本的至少一个词语特征向量之间的两两相似度提供给该业务分类模型的输出层,以确定待分类用户语句和该代表用户语句样本的相似度。
如上参照图1-8,对根据本公开的基于至少一个业务分类模型进行业务分类的方法及装置的实施例进行了描述。应当理解的是,以上对于方法实施例的细节描述同样适用于装置实施例。以上的基于至少一个业务分类模型进行业务分类的装置可以采用硬件实现,也可以采用软件或者硬件和软件的组合来实现。
图9是根据本公开的一个实施例的用于实现基于至少一个业务分类模型进行业务分类的方法的计算设备900的结构框图。如图9所示,计算设备900可以包括至少一个处理器910、存储器920、内存930、通信接口940以及内部总线950,该至少一个处理器910执行在计算机可读存储介质(即,存储器920)中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器920中存储有计算机可执行指令,其当执行时使得至少一个处理器910:针对至少一个业务分类模型中的各个业务分类模型,将待分类用户语句与该业务分类模型所对应的代表用户语句样本作为语句对提供给该业务分类模型来确定待分类用户语句与该代表用户语句样本之间的相似度;以及基于待分类用户语句与所述各个代表用户语句样本之间的相似度,确定所述待分类用户语句的业务类别。
应该理解的是,在存储器920中存储的计算机可执行指令当执行时使得至少一个处理器910进行本公开的各个实施例中以上结合图1-8描述的各种操作和功能。
在本公开中,计算设备900可以包括但不限于:个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例,提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即,上述以软件形式实现的元素),该指令当被机器执行时,使得机器执行本公开的各个实施例中以上结合图1-8描述的各种操作和功能。
具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
以上结合附图阐述的具体实施方式描述了示例性实施例,但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
以上结合附图详细描述了本公开的实施例的可选实施方式,但是,本公开的实施例并不限于上述实施方式中的具体细节,在本公开的实施例的技术构思范围内,可以对本公开的实施例的技术方案进行多种简单变型,这些简单变型均属于本公开的实施例的保护范围。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说,对本公开内容进行的各种修改是显而易见的,并且,也可以在不脱离本公开内容的保护范围的情况下,将本文所定义的一般性原理应用于其它变型。因此,本公开内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。