CN110413769A - 场景分类方法、装置、存储介质及其电子设备 - Google Patents

Abstract

本公开提出一种场景分类方法、装置以及存储介质。该场景分类方法包括对用户输入的文本进行预处理；基于扩展词库对经预处理的文本进行分词以生成语料；将语料转换为向量；以及使用卷积神经网络模型对向量进行处理以获得与文本对应的场景分类的概率。本公开的方法和装置可以解决现有技术中的NLP场景分类方案效率低下、无法满足用户个性化需求的问题，向量表示更准确，结合机器学习、深度学习、自然语言处理，提高了分类效率，可以准确满足用户的个性化需求，使电商网站用户能够更好地筛选自己喜欢的商品，获得更好的用户体验。

Description

场景分类方法、装置、存储介质及其电子设备

技术领域

本公开涉及计算机数据处理，特别地，涉及场景分类方法、装置、存储介质及其电子设备。

背景技术

如今，人工智能已经成为一个众多实际应用和活跃学术研究的领域。在电商网站购物时，用户可以通过在APP(应用程序)界面向智能助理程序使用语音或文本输入信息。智能助理程序自动回答用户的问题，进而把用户吸引到感兴趣的模块，智能地为用户做个性化推荐。通过语音识别和语义理解，可将语音转化为文字，并准确地把握用户意图。自然语言处理(Natural Language Processing，NLP)是进行语义理解的重要方法。当前的采用斯坦福CoreNLP处理工具，先做基础语言底层分词、词性标注等分析，然后写正则模板匹配，提取出特定话术中的特定词语。

但是，斯坦福CoreNLP正则匹配模板，在提取语义信息时比较死板，只有在正则指定的话术中才可以匹配。随着电商网站购物的业务场景的扩大，需要设定越来越多的正则模板，比较浪费人力，效果也不够灵活。

因此，存在对现有的基于NLP的场景分类方案进行改进的需求。

发明内容

本公开的目的在于提出一种基于卷积神经网络(Convolutional neuralnetwork，CNN)模型的NLP场景分类方法和装置，解决现有技术中的NLP场景分类方案效率低下、无法满足用户个性化需求的问题，以使智能助理的场景分类结果更准确以提升用户体验。

根据本公开的一方面，提出一种场景分类方法，包括：

对用户输入的文本进行预处理；

基于扩展词库对经预处理的文本进行分词以生成语料，其中所述扩展词库包括扩展特征，所述扩展特征包括产品特征和品牌特征；

将所述语料转换为向量；

使用卷积神经网络模型对所述向量进行处理以获得与所述文本对应的场景分类的概率。

根据本公开的实施例，所述卷积神经网络模型包括输入层、多个卷积层、全连接层和输出层，每个所述卷积层包括卷积级、激活级和池化级，使用卷积神经网络模型对所述向量进行处理以获得与所述文本对应的场景分类的概率包括：将所述向量输入到所述输入层；使用所述卷积层基于所述向量生成卷积输出，其中为每个所述卷积层的池化级设置不同的池化参数；使用所述全连接层基于所述卷积输出生成向量输出；使用所述输出层基于所述向量输出生成与所述文本对应的所述场景分类的概率。

根据本公开的实施例，在使用卷积网络模型对所述向量进行处理之前，训练所述卷积神经网络模型。

根据本公开的实施例，训练所述卷积神经网络模型包括：使用标注数据创建训练数据集，其中所述标注数据通过对用户输入的文本标注扩展特征和对应的场景类别生成；基于所述训练数据集训练所述卷积神经网络模型的输入层、多个卷积层、全连接层和输出层的参数；调整所述卷积神经网络模型的学习率或控制所述卷积神经网络模型的过拟合。

根据本公开的实施例，通过衰减所述卷积神经网络模型的每个卷积层的权重或在所述卷积神经网络模型的每个卷积层的隐含层中随机丢弃神经元来控制所述卷积神经网络的过拟合。

根据本公开的实施例，将所述语料转换为向量包括：基于训练语料将每个所述语料转换为向量，其中所述训练语料包括使用话术模板基于所述语料生成的语料数据，通过语音日志生成的语料数据，以及与所述扩展特征相关的语料数据；基于每个向量生成一个最终向量。

根据本公开的实施例，对用户输入的文本进行预处理包括：从基于用户输入的文本生成的日志表中获取所述文本；对所述文本进行筛选。

根据本公开的实施例，在基于扩展词库对经预处理的文本进行分词以生成语料之前，该场景分类方法还包括：将经预处理的文本与关键词表进行匹配，所述关键词表包括关键文本与对应的场景分类；当所述经预处理的文本与所述关键词表中的关键文本相同或相似时，获取与所述关键文本对应的场景分类；当所述经预处理的文本与所述关键词表中的关键文本不相同并且不相似时，基于扩展词库对经预处理的文本进行分词以生成语料。

根据本公开的实施例，该场景分类方法还包括：验证所述卷积神经网络模型的场景分类结果。

根据本公开的另一方面，提出一种场景分类装置，包括：

预处理单元，设置为对用户输入的文本进行预处理；

分词单元，设置为基于扩展词库对经预处理的文本进行分词以生成语料，其中所述扩展词库包括扩展特征，所述扩展特征包括产品特征和品牌特征；

向量转换单元，设置为将所述语料转换为向量；

卷积神经网络模型，设置为对所述向量进行处理以获得与所述文本对应的场景分类的概率。

根据本公开的实施例，所述卷积神经网络模型包括输入层、多个卷积层、全连接层和输出层，每个所述卷积层包括卷积级、激活级和池化级，其中每个所述卷积层的池化级具有不同的池化参数。

根据本公开的实施例，所述卷积神经网络模型通过使用标注数据创建训练数据集进行训练，其中所述标注数据通过对用户输入的文本标注扩展特征和对应的场景类别生成，并且在训练过程中调整所述卷积神经网络模型的学习率或控制所述卷积神经网络模型的过拟合。

根据本公开的实施例，所述场景分类装置包括关键词表，所述关键词表包括关键文本与对应的场景分类，所述场景分类装置还包括：直达匹配单元，设置为分词单元在基于扩展词库对经预处理的文本进行分词以生成语料之前，将经预处理的文本与所述关键词表进行匹配，以及当所述经预处理的文本与所述关键词表中的关键文本相同或相似时，获取与所述关键文本对应的场景分类。

根据本公开的又一方面，提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施如上所述的方法。

根据本公开的再一方面，提出一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器设置为执行所述可执行指令以实施如上所述的方法。

通过采用本公开提出的场景分类方法和装置，在采用NLP对用户输入的文本进行分词获取语料过程中加入包括产品特征和品牌特征的扩展特征构建分词字典库，并使用针对扩展特征改进的CNN网络模型以对短文本特征抽象提取从而进行场景分类，向量表示更准确，结合机器学习、深度学习、自然语言处理，提高了分类效率，可以准确满足用户的个性化需求，使电商网站用户能够更好地筛选自己喜欢的商品，获得更好的用户体验。

附图说明

通过参照附图详细描述其示例性实施例，本公开的上述和其它特征及优点将变得更加明显。

图1是根据本公开实施例的场景分类方法和装置的系统结构图；

图2是根据本公开实施例的场景分类方法和装置的逻辑结构图；

图3是根据本公开实施例的场景分类方法和装置的示例性文章语料；

图4是根据本公开实施例的CNN网络模型的结构图；

图5是根据本公开三个实施例的具有不同具体参数的CNN网络模型的结构图；

图6是根据本公开实施例的使用卷积提取输入特征的抽象特征的示意图；

图7是根据本公开一个实施例的场景分类方法的流程图；

图8是根据本公开一个实施例的场景分类方法中使用CNN网络模型获得场景分类的细节步骤的流程图；

图9是根据本公开另一实施例的场景分类方法的流程图；

图10是根据本公开另一实施例的场景分类方法中训练CNN网络模型的流程图；

图11是根据本公开一个实施例的场景分类方法中将语料转换为向量的流程图；

图12是根据本公开一个实施例的场景分类方法中预处理文本的流程图；

图13是根据本公开又一实施例的场景分类方法中的全站直达业务的流程图；

图14是根据本公开再一实施例的场景分类方法的流程图；

图15是根据本公开实施例的场景分类装置的结构图；

图16是根据本公开又一实施例的场景分类装置的结构图；

图17是根据本公开另一实施例的场景分类装置的结构图；以及

图18是根据本公开实施例的电子设备的结构图。

具体实施方式

现在将参考附图更全面地描述示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本公开将全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能会夸大部分元件的尺寸或加以变形。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、元件等。在其它情况下，不详细示出或描述公知结构、方法或者操作以避免模糊本公开的各方面。

首先，对本文中的部分术语进行介绍。

自然语言处理(Natural Language Processing，NLP)是进行语义理解的重要方法。在多数情况下，NLP指计算机上各种大同小异的语言处理应用，以及用NLP技术所构建的实际应用程序，比如分词、词性标注、命名实体识别、句法分析、语法依存等。

Word2Vector，由Google公司提出的一种将文本词语转化为向量的算法。

智能助理，网络购物网站提供的APP中的一种功能或频道，用户可以在这个功能或频道中以语音形式或文本形式输入，智能助理会识别用户输入信息语义意图，并且给出相应的个性化推荐。

图1示出根据本公开的场景分类方法和装置的系统框图。系统架构100可以包括终端设备101、102、103，网络104和电商服务器105。用户通过终端设备101至103经由网络104访问提供网络购物服务的电商服务器105。网络104用以在终端设备101、102、103和电商服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览和APP运行的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。通常，终端设备101、102、103上安装有用于进行网络购物的应用程序(APP)。在APP上，网络购物服务商提供诸如智能助理的智能机器人，回答用户通过APP界面的语音输入或文本输入提出的问题。如果用户使用语音输入，智能助理可通过语音识别软件将该语音信息转化为文本信息。基于文本信息，智能助理可以获取用户的购买意向，并准确对用户的购买意向进行场景分类，将用户引导到相应的场景。例如，用户点击一下APP搜索框旁边的智能助理机器人图标，智能助理机器人就会自动回答用户的问题，进而把用户吸引到感兴趣的模块，智能地为用户做个性化推荐。智能助理也可以和用户一起互动购物，给用户筛选出最想要的商品，从品牌价格到性能质量，全面提升购物体验。

在智能助理为用户进行场景分类并准确进行个性化推荐过程中，关键的问题是对用户输入的经语音识别获得的或用户直接输入的文本信息进行语义识别和分类。当前采用的斯坦福CoreNLP处理工具，先做基础语言底层分词、词性标注等分析，然后写正则模板匹配，提取出特定话术中的特定词语。但是，斯坦福正则匹配模板，提取语义信息比较死板，只有在正则指定的话术中才可以匹配，随着京东业务场景的扩大，需要手动写越来越多的正则模板，浪费人力，效果也不够灵活。另外，使用传统机器学习的方法仍然需要手工设计特征结构，才能经过特征映射进行语义识别和分类，分类效率仍然不高。

因此，本公开提出基于改进CNN网络模型的NLP场景分类方法和装置，对智能助理的用户输入进行意图识别，运用强大的人工智能技术，解决用户个性化需求的问题，使得智能助理的业务场景分类更准确，提升用户体验。

根据本公开实施例的场景分类方法和装置的逻辑结构图如图2所示。该方案主要包括7个逻辑模块，分别是文本预处理模块210，文本分词模块220，构建向量模块230，CNN网络模型240，结果评估模块250，构建CNN网络模型模块260和全站直达匹配模块270。

文本预处理模块210：

根据本公开的场景分类方法首先需要获取用户输入的文本数据并对其进行预处理。智能助理与用户进行交互后，首先电商服务器105的智能助理程序从用户输入的数据中提取文本成分，筛选用户与智能助理的每一次会话的第一句。如果用户使用语音输入，则需要语音识别软件将语音数据转换为文本数据。语音识别不是本公开的主要讨论内容，在此不进一步详述。

得到用户输入的文本后，通过自然语言处理技术识别用户的意图。在业务场景分类过程中，用到分词、词性标注。在本公开实施例中，文本的预处理数据主要来源是智能助理的落地日志表。落地日志表属于大数据存储表Hive中的一种。例如，Hive表中行是数据，列是字段。智能助理将用户输入的文本以日志的形式存入落地日志表中的不同字段中。智能助理的落地日志表的全部字段的一个例子是表1，其中，本公开用到的字段是“输入内容”。

表1

然后，可对上述落地日志表中的相应字段的内容(例如输入内容)进行正则匹配，去除没有信息含量的用户输入中的垃圾信息，得到经过筛选的输入文本(或文本句)，如下所示：

“我要买个眼镜花。

一给我推荐一个手机。

这件货至今没有派送。

帮我推荐推荐东西哦。

随便了我要休闲短裤。

我要买破洞牛仔短裤。

我要书包滚着睡不着。

我要买男休闲鞋。

你晓得唐是傻子呢。”

在生成经筛选的文本后，根据本公开实施例的系统进入第二模块，即，

文本分词模块220：

本公开实施例使用结巴(Jieba)分词对用户输入的语料做分词和词性标注。Jieba分词作为分词工具，使用Jieba的分词词库对用户输入的文本进行分词。本公开将Jieba的分词词库扩展为包括扩展特征的扩展词库，其中该扩展特征包括产品特征和品牌特征。因此，扩展词库中将包括产品词库和品牌词库，这样分词结果更适合电商提供商的网络购物业务。经过分词的文本形成为语料。

将用户输入的文本进行分词后，系统进入第三模块，即，

构建向量模块230：

文本分词模块220将分词后获得的语料输入构建向量模块230。根据本公开的实施例，使用Word2vector将用户输入的文本中所包含的每一个分词转化为一个向量以进行特征构建。

Word2vector使用训练语料包括如下三个部分：

1)通过智能助理程序产品提供的话术模板基于从文本分词模块220获取的用户输入文本中的语料生成。话术模块用于从包括多个分词的经处理的文本中提取训练语料，举例如下：

我(要/想)买(一/二/x)(个/件/xx)(戴尔/xx)(电脑/xx)？

帮我(买/要)(一/二/x)(个/件/xx)(高露洁/xx)的(牙膏/xx)

给我买4箱三元牛奶

帮我下个(瓜子/xx)的订单

(金龙鱼/xx)的(大米/xx)下单吧

我要买(手机/大米/xx)

帮我搜索一下(红色的自营手机/xx)有哪些

[我要]买2(把/件/xx)(水壶/xx)[，推荐一个好的品牌给我]

其中，由话术模板中标记的训练语料以下划线标出。

2)通过现有的智能助理的语音日志生成。本公开实施例在文本预处理模块210中，对用于输入的文本信息进行处理，而对于用户使用语音输入与智能助理交互的语音信息，不仅通过语音识别软件转换为文本数据，还以语音日志的形式存储在智能助理中。此时，可以基于语音日志生成用于构建向量的训练语料。

3)与扩展特征相关的语料数据。对于电商提供商的网络购物业务，可以特别加入与包括产品特征和品牌特征的扩展特征相关联的文章语料作为训练语料以使生成的向量体现电商购物的特点。

关于包含扩展特征的文章语料，参见图3所示。

基于如上三种语料数据组成的训练语料，Word2vector将训练语料处理后，将每个训练语料转换为一个向量。然后，将所有与训练语料对应的向量进行平均运算生成一个最终向量。该平均方法包括但不限于矢量算术平均，矢量几何平均等。在构建向量模块230生成的向量，即CNN网络模型所需要的特征向量。也可以将上述向量理解为经过分词和特征提取的短文本向量信息。

CNN网络模型240：

本公开将生成的向量输入经建模和训练的CNN网络模型240，经过处理后获得与用户输入的文本对应的场景分类的结果。该结果可以是以概率形式的数据，表征用户输入的文本信息中属于该场景类别的可信程度。

CNN网络模型240的结构如图4所示，包括输入层410，若干卷积层420，全连接层430和softmax层440。

输入410层用于接收代表用户输入的文本信息的向量的输入。在本公开的实施例中，可以将输入的向量看做短文本。在实现中，输入层410通常作为嵌入层(embeddinglayer)集成在系统中。

若干卷积层420中的每个卷积层都包括至少一个卷积级421，用于计算输入的卷积。每个卷积级421的输入都通过激活函数ReLU的整流线性单元处理后输入到下一卷积级421。激活级中使用sigmoid激活函数。池化级423则使用不同的池化参数策略。在每个卷积层420中，可以选择不同的卷积结构和参数。例如，第一卷积层的卷积级的过滤单元为1x1，3x3或5x5尺寸网格中的一种，而第二卷积层的卷积级的过滤单元为另一种，或者同一卷积层中的不同卷积级的过滤单元也选择不同尺寸。同样，池化层的参数也可以有多种组合，例如第一卷积层的池化层的步幅为4，而第二卷积层的池化层为5，或者第一卷积层的池化层的步幅为4，而第二卷积层采用3x3尺寸的池化单元。对于不同尺寸的过滤单元和池化单元的选择，主要根据在CNN网络计算中特征所侧重的特征情况而定，大尺寸单元能够提取输入中较粗糙的特征，而小尺寸单元则能够提取更细微的特征。另外，卷积层420中还有大量的非线性分支，在卷积层和池化层几层交替之后，卷积特征映射的向量被重新变形以展平空间维度。CNN网络模型的其余部分是一个普通的前馈网络分类器。

图5则示出三种不同结构的CNN网络模型。三种结构具有相同的嵌入Embedding输入层511、521和531接收用户输入的短文本，也具有相同的Softmax层518、528和538用于输出不同场景类别的概率。

结构(A)包括两层卷积层(512、513和514、515)，第一层卷积层使用标准卷积级结合ReLu整流线性单元512和步幅为4的池化级输出513，第二卷积层则使用抽象卷积级结合ReLu单元514，并且池化级输出515的步幅为5。卷积层的输出单元516输出为向量，再通过全连接层矩阵乘法的输出517，以供softmax层生成场景类别概率。

结构(B)与(A)不同的是第二卷积层(524、525)采用池化为3x3尺寸的池化单元。相应的输出单元526的单元个数则与前一层不同，但其输出仍然使用全连接层的矩阵乘法。而结构(C)的区别在于两层卷积层虽然都是用相同的池化输出参数，但是其输出单元536则采用卷积输出，全连接层则替换为平均池化层537。

回到图4，卷积层420的卷积输出仍为向量形式。全连接层430通过矩阵乘法，将最终向量输出提供到Softmax层。

Softmax层基于全连接层的输出，生成与用户输入的文本对应的每个业务场景分类的概率。

现在将进一步介绍对本公开实施例中使用的CNN网络模型的建模和训练的细节。

构建CNN网络模型模块260：

首先需要建立CNN网络模型的训练数据集。

在文本预处理模块210中，经过文本筛选获得的文本数据可以进一步通过标注获得用于构成训练数据集的标注数据。

CNN卷积神经网络分类训练模型是有监督的深度学习，需要人工标注数据。例如，将设计好的标注规范文档提供给标注人员，每标注2000条数据就反馈给需求方，纠正错误，重新开始新一轮的标注工作。

标注工作由两部分构成，第一部分是从用户输入的文本中标注出业务场景类别，第二部分是标注出用户输入的文本信息所对应的品牌词、产品词和修饰词。其中品牌词和产品词对应于在文本分词模块220中用于分词的扩展词库中包括品牌特征和产品特征的扩展特征。

本公开的实施例中，首先用程序匹配电商提供商的品牌词库和产品词库，为标注人员找到初步的产品词和品牌词，然后由标注人员在此基础上更改，并记录发现的新产品词和品牌词，完善电商提供商的品牌词库、产品词库。这些品牌词库和产品词库还可以用于在文本分词模块220和其它模块中需要时调用。典型的标注需求表格如下：

表2

通过标注，包括与用户输入的文本数据对应的品牌词库和产品词库，可以完善CNN网络模型的训练数据集，而对应的业务场景类别则用于标注正确的CNN网络模型的训练结果。

作为替代，本公开实施例中的数据预处理可以不引入人工标注，程序可使用规则处理或爬虫获得标注，数据预处理正则匹配部分也可以由人工选取。

获得训练数据集后，按照上述结构创建CNN网络模型。

1)CNN网络模型初始化

根据本公开实施例，初始化CNN网络模型从以下两方面考虑：首先，初始化的权重必须使得CNN网络模型中的隐层神经元节点在sigmoid函数的线性范围内活动。如果权重过大，许多隐层神经元节点的输出会接近1或者0，导致梯度迷失；其次，随机初始化参数也很关键。因此，本公开实施例中的CNN网络模型通过对上下文的有效卷积进行计算，提取更加抽象的特征。

例如，图6示出输入为3x4阶向量601时，通过2x2阶卷积核602，计算得出更抽象的2x3阶特征603，其中特征603的每元素为向量卷积的线性和。

2)控制CNN网络模型的过拟合

CNN网络模型的权重衰减

与很多机器学习算法类似，过拟合是神经网络模型训练过程中通常会遇到的问题，因为CNN网络模型与其它机器学习算法相比，有更多的参数。本公开的实施例通过最小化训练参数集上的经验损失函数来减少过拟合。另外，权重衰减也可以辅助过拟合。典型的CNN卷积神经网络中的每一层有许多级，其核张量与各个网络层之间存在一一对应的关系。需要确定CNN网络模型结构的参数，既然每层可以被认为是前一层的特征抽取器，那么每层中节点的数量应该足够大。这在CNN网络模型的低层情况下特别重要，因为CNN网络模型的开始层的特征变化更大，它需要比其它层更多的节点来模拟特征模式。

丢弃法

控制过拟合除了前面提到的权重衰减法外，还包括丢弃法。丢弃法(dropout)的基本思想是：在训练过程中随机丢弃每一个隐层中一定比例的神经元。Dropout可以看作是一种将随机噪声加入训练数据集的手段，因为每一个较高层的神经元都会从较低层中神经元的某种随机组合中接收输入。

3)调整学习率和停止准则

根据本公开实施例，调整CNN网络模型的学习率以及停止准则的策略如下：如果观察到训练准则在大的训练子集上有波动情况，就把批量大小加倍，并将学习率减少例如1/4。同时，在学习率小于一个阈值或者整体数据的迭代次数已经达到预设次数的时候，停止训练。

本公开实施例通过在控制CNN网络模型的过拟合和调整学习率中对网络购物的电商应用环境进行相应调整，使CNN网络模型的具体结构针对用户输入文本处理生成的短文本特征进行抽象提取做出相应调整，提高了场景分类的效率和准确度。

全站直达匹配模块270：

根据本公开的实施例，进行场景分类的系统还包括在对经预处理的文本进行分词的文本分词模块220之前，引入全站直达匹配模块270。

本公开的系统还具有与全站直达功能对应的关键词表，其中存储与全站直达功能对应的关键词之间的对应关系。该对应关系可以是关键文本与对应的场景分类。该场景分类在全站直达匹配模块中，特别指全站直达的业务场景分类。

当用户输入文本后，程序将经过预处理的文本与关键词表中的关键文本进行匹配识别。如果用户输入的文本命中了关键词表中的关键文本，则获取与关键文本对应的场景分类。

全站直达业务可以细分为“精确全站直达”和“模糊全站直达”。在精确全站直达中，如果用户输入的文本命中关键词表中的关键文本则判断用户进入精确全站直达中的对应场景分类下。而模糊全站直达的关键词表具有类似的句式，如果用户输入的文本与该关键文本含义相似，则也判断用户进入模糊全站直达中的对应场景分类下。

通过使用全站直达业务，可以直接向用户推荐与输入文本对应的场景分类，而无需使用CNN网络模型进行复杂的计算。

结果评估模块250

在对用户推荐相应的场景分类后，还需要使用结果评估模块250对CNN网络模型给出的场景分类结果进行验证以确保结果的准确性。另外，可以通过结果评估模块250给出的反馈结果调整包括文本预处理模块210，文本分词模块220，构建向量模块230，CNN网络模型240，和构建CNN网络模型模块260的相应参数，进一步提高场景分类的准确性，从而改善用户体验。

根据本公开的实施例，在结果评估过程中使用测试集完成评估。在测试集中，基于产品人工构造5000条例子，涵盖各个业务场景，例如“订单查询”、“特定商品查询”、“特定优惠查询”、“模糊优惠查询”、“售后”、“全站直达”等以使数据均匀分布。通过将CNN网络模型的场景分类效果在测试集上评估，可以进一步使本公开实施例的CNN网络模型的分类性能的识别准确率提高到91％。

因此，根据本公开实施例的场景分类方法包括如图7所示的步骤：

S100：对用户输入的文本进行预处理；

S200：基于扩展词库对经预处理的文本进行分词以生成语料；

S300：将语料转换为向量；

S400：使用卷积神经网络模型对向量进行处理以获得与文本对应的场景分类的概率。

其中，该卷积神经网络模型包括输入层、多个卷积层、全连接层和输出层，每个所述卷积层包括卷积级、激活级和池化级。根据图8，步骤S400进一步包括如下步骤：

S410：将向量输入到输入层；

S420：使用卷积层基于向量生成卷积输出，其中为每个卷积层的池化级设置不同的池化参数；

S430：使用全连接层基于卷积输出生成向量输出；

S440：使用输出层基于向量输出生成与文本对应的场景分类的概率。

根据图9所示的根据本公开实施例的场景分类方法，相比图7，还在步骤S400之前增加步骤：

S500：训练卷积神经网络模型。

图10则示出训练卷积神经网络模型的具体步骤，包括：

S510：使用标注数据创建训练数据集；

S520：基于训练数据集训练卷积神经网络模型的输入层、多个卷积层、全连接层和输出层的参数；

S530：调整卷积神经网络模型的学习率或控制卷积神经网络模型的过拟合。

其中，可通过衰减卷积神经网络模型的每个卷积层的权重或在卷积神经网络模型的每个卷积层的隐含层中随机丢弃神经元来完成步骤S530中控制卷积神经网络的过拟合的功能。

图11所示的步骤进一步描述了将语料转换为向量的细节，包括如下步骤：

S310：基于训练语料将每个语料转换为向量；

S320：基于每个向量生成一个最终向量。

图12示出对用户输入的文本进行预处理的具体步骤，包括：

S110：从基于用户输入的文本生成的日志表中获取文本；

S120：对文本进行筛选。

在基于扩展词库对经预处理的文本进行分词以生成语料之前，该场景分类方法还包括如图13中示出的如下步骤：

S610：将经预处理的文本与关键词表进行匹配；

S620：当经预处理的文本与关键词表中的关键文本相同或相似时，获取与关键文本对应的场景分类。

当经预处理的文本与关键词表中的关键文本不相同并且不相似时，则进入步骤S200。

图14则示出根据本公开实施例的另一种包括验证的场景分类方法，相比图7的方法，进一步包括步骤：

S700：验证卷积神经网络模型的场景分类结果。

下面将介绍本公开的场景分类装置的具体结构。

图15示出根据本公开实施例的场景分类装置1500。场景分类装置1500包括预处理单元1510，分词单元1520，向量转换单元1530和卷积神经网络模型1540。

预处理单元1510用于对用户输入的文本进行预处理。分词单元1520用于基于扩展词库对经预处理的文本进行分词以生成语料。向量转换单元1530用于将语料转换为向量。卷积神经网络模型1540则用于使用卷积神经网络模型对向量进行处理以获得与文本对应的场景分类的概率。

其中，卷积神经网络(CNN)模型包括输入层、多个卷积层、全连接层和输出层，每个卷积层包括卷积级、激活级和池化级，其中每个卷积层的池化级具有不同的池化参数。CNN模型用于将向量输入到输入层，使用卷积层基于向量生成卷积输出，其中为每个卷积层的池化级设置不同的池化参数，使用全连接层基于卷积输出生成向量输出，以及使用输出层基于向量输出生成与文本对应的场景分类的概率。

根据本公开的实施例，在CNN网络模型的训练过程中，使用标注数据创建训练数据集；基于训练数据集训练卷积神经网络模型的输入层、多个卷积层、全连接层和输出层的参数；并且调整卷积神经网络模型的学习率或控制卷积神经网络模型的过拟合。其中，可通过衰减卷积神经网络模型的每个卷积层的权重或在卷积神经网络模型的每个卷积层的隐含层中随机丢弃神经元来完成控制卷积神经网络的过拟合的功能。

根据本公开的实施例，预处理单元1510进一步用于从基于用户输入的文本生成的日志表中获取文本，以及对文本进行筛选。向量转换单元1530则进一步用于基于训练语料将每个语料转换为向量，以及基于每个向量生成一个最终向量。

根据本公开的实施例，场景分类装置1500还包括如图16中所示的直达匹配单元1550和关键词表1560。

关键词表1560包括关键文本与对应的场景分类。直达匹配单元1550用于将经预处理的文本与关键词表进行匹配。当经预处理的文本与关键词表中的关键文本相同或相似时，获取与关键文本对应的场景分类；否则，当经预处理的文本与关键词表中的关键文本不相同并且不相似时，将经预处理的文本输出到分词单元1520。

根据本公开的实施例，场景分类装置1500还包括用于验证卷积神经网络模型的场景分类结果的验证单元1570，如图17所示。

通过采用本公开实施例提出的场景分类方法和装置，在采用NLP对用户输入的文本进行分词获取语料过程中加入包括产品特征和品牌特征的扩展特征构建分词字典库，并使用针对扩展特征改进的CNN网络模型以对短文本特征抽象提取从而进行场景分类，向量表示更准确，结合机器学习、深度学习、自然语言处理，提高了分类效率，可以准确满足用户的个性化需求，使电商网站用户能够更好地筛选自己喜欢的商品，获得更好的用户体验。

应当注意，尽管在上文详细描述中提及了场景分类装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包括可执行指令，该可执行指令被例如处理器执行时可以实现上述任意一个实施例中所述场景分类方法的步骤。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书场景分类方法中描述的根据本公开各种示例性实施例的步骤。

根据本公开的实施例的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中的场景分类方法的步骤。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图18来描述根据本公开的这种实施方式的电子设备1800。图18显示的电子设备1800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图18所示，电子设备1800以通用计算设备的形式表现。电子设备1800的组件可以包括但不限于：至少一个处理单元1810、至少一个存储单元1820、连接不同系统组件(包括存储单元1820和处理单元1810)的总线1830、显示单元1840等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1810执行，使得所述处理单元1810执行本说明书用于场景分类方法中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1810可以执行如图7至图14中所示的步骤。

所述存储单元1820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)18201和/或高速缓存存储单元18202，还可以进一步包括只读存储单元(ROM)18203。

所述存储单元1820还可以包括具有一组(至少一个)程序模块18205的程序/实用工具18204，这样的程序模块18205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1800也可以与一个或多个外部设备1900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1800交互的设备通信，和/或与使得该电子设备1800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1850进行。并且，电子设备1800还可以通过网络适配器1860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1860可以通过总线1830与电子设备1800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的场景分类方法。

本公开已由上述相关实施例加以描述，然而上述实施例仅为实施本公开的范例。必需指出的是，已揭露的实施例并未限制本公开的范围。相反，在不脱离本公开的精神和范围内所作的变动与润饰，均属本公开的专利保护范围。

Claims (15)

1.一种场景分类方法，其特征在于，包括：

对用户输入的文本进行预处理；

基于扩展词库对经预处理的文本进行分词以生成语料，其中所述扩展词库包括扩展特征，所述扩展特征包括产品特征和品牌特征；

将所述语料转换为向量；

使用卷积神经网络模型对所述向量进行处理以获得与所述文本对应的场景分类的概率。

2.根据权利要求1所述的场景分类方法，其特征在于，所述卷积神经网络模型包括输入层、多个卷积层、全连接层和输出层，每个所述卷积层包括卷积级、激活级和池化级，使用卷积神经网络模型对所述向量进行处理以获得与所述文本对应的场景分类的概率包括：

将所述向量输入到所述输入层；

使用所述卷积层基于所述向量生成卷积输出，其中为每个所述卷积层的池化级设置不同的池化参数；

使用所述全连接层基于所述卷积输出生成向量输出；

使用所述输出层基于所述向量输出生成与所述文本对应的所述场景分类的概率。

3.根据权利要求2所述的场景分类方法，其特征在于，在使用卷积网络模型对所述向量进行处理之前，训练所述卷积神经网络模型。

4.根据权利要求3所述的场景分类方法，其特征在于，训练所述卷积神经网络模型包括：

使用标注数据创建训练数据集，其中所述标注数据通过对用户输入的文本标注扩展特征和对应的场景类别生成；

基于所述训练数据集训练所述卷积神经网络模型的输入层、多个卷积层、全连接层和输出层的参数；

调整所述卷积神经网络模型的学习率或控制所述卷积神经网络模型的过拟合。

5.根据权利要求4所述的场景分类方法，其特征在于，通过衰减所述卷积神经网络模型的每个卷积层的权重或在所述卷积神经网络模型的每个卷积层的隐含层中随机丢弃神经元来控制所述卷积神经网络的过拟合。

6.根据权利要求1所述的场景分类方法，其特征在于，将所述语料转换为向量包括：

基于训练语料将每个所述语料转换为向量，其中所述训练语料包括使用话术模板基于所述语料生成的语料数据，通过语音日志生成的语料数据，以及与所述扩展特征相关的语料数据；

基于每个向量生成一个最终向量。

7.根据权利要求1所述的场景分类方法，其特征在于，对用户输入的文本进行预处理包括：

从基于用户输入的文本生成的日志表中获取所述文本；

对所述文本进行筛选。

8.根据权利要求1所述的场景分类方法，其特征在于，在基于扩展词库对经预处理的文本进行分词以生成语料之前，该场景分类方法还包括：

将经预处理的文本与关键词表进行匹配，所述关键词表包括关键文本与对应的场景分类；

当所述经预处理的文本与所述关键词表中的关键文本相同或相似时，获取与所述关键文本对应的场景分类；

当所述经预处理的文本与所述关键词表中的关键文本不相同并且不相似时，基于扩展词库对经预处理的文本进行分词以生成语料。

9.根据权利要求1所述的场景分类方法，其特征在于，还包括：

验证所述卷积神经网络模型的场景分类结果。

10.一种场景分类装置，其特征在于，包括：

预处理单元，设置为对用户输入的文本进行预处理；

分词单元，设置为基于扩展词库对经预处理的文本进行分词以生成语料，其中所述扩展词库包括扩展特征，所述扩展特征包括产品特征和品牌特征；

向量转换单元，设置为将所述语料转换为向量；

卷积神经网络模型，设置为对所述向量进行处理以获得与所述文本对应的场景分类的概率。

11.根据权利要求10所述的场景分类装置，其特征在于，所述卷积神经网络模型包括输入层、多个卷积层、全连接层和输出层，每个所述卷积层包括卷积级、激活级和池化级，其中每个所述卷积层的池化级具有不同的池化参数。

12.根据权利要求10所述的场景分类装置，其特征在于，所述卷积神经网络模型通过使用标注数据创建训练数据集进行训练，其中所述标注数据通过对用户输入的文本标注扩展特征和对应的场景类别生成，并且在训练过程中调整所述卷积神经网络模型的学习率或控制所述卷积神经网络模型的过拟合。

13.根据权利要求10所述的场景分类装置，其特征在于，所述场景分类装置包括关键词表，所述关键词表包括关键文本与对应的场景分类，所述场景分类装置还包括：

直达匹配单元，设置为分词单元在基于扩展词库对经预处理的文本进行分词以生成语料之前，将经预处理的文本与所述关键词表进行匹配，以及当所述经预处理的文本与所述关键词表中的关键文本相同或相似时，获取与所述关键文本对应的场景分类。

14.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施如权利要求1至9中任一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器设置为执行所述可执行指令以实施如权利要求1至9中任一项所述的方法。