CN112214600B - 一种聊天文本特征分类方法、装置及存储介质 - Google Patents

一种聊天文本特征分类方法、装置及存储介质 Download PDF

Info

Publication number
CN112214600B
CN112214600B CN202011131344.8A CN202011131344A CN112214600B CN 112214600 B CN112214600 B CN 112214600B CN 202011131344 A CN202011131344 A CN 202011131344A CN 112214600 B CN112214600 B CN 112214600B
Authority
CN
China
Prior art keywords
vector
output
convolution
word
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011131344.8A
Other languages
English (en)
Other versions
CN112214600A (zh
Inventor
赵建强
黄剑
杜新胜
张辉极
陈诚
邓叶勋
蒋卓
陈思萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202011131344.8A priority Critical patent/CN112214600B/zh
Publication of CN112214600A publication Critical patent/CN112214600A/zh
Application granted granted Critical
Publication of CN112214600B publication Critical patent/CN112214600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种聊天文本特征分类方法、装置及存储介质，通过获对聊天文本进行预处理得到词向量，将词向量输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；将词向量和表示聊天文本中每个单词位置的位置向量组合形成联合词向量，联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量；对输出向量使用softmax函数计算聊天文本的分类概率值，得到聊天文本所属的特征类别。

Description

一种聊天文本特征分类方法、装置及存储介质
技术领域
本发明涉及自然语言处理领域，具体涉及一种聊天文本特征分类方法、装置及存储介质。
背景技术
即时通信工具已经成为广大网络用户社会交往、自我表达、分享观点的重要媒介。数以亿计的活跃用户来自不同的社会文化背景，每时每刻都在通过社交即时通讯工具，进行生活、工作的交流，发表看法，表达感情，社会交往。但同时，一些违法犯罪行为也隐藏其中，通过社交软件发布大量虚假信息、广告信息、网络诈骗等各类违规违法信息，严重危害广大网民的财产安全。如何发现和识别这类不良文本信息，净化网络空间，亟需提出一种高效智能的分析方法。
社交聊天文本短小、口语化严重、不良信息中专业术语多、语言表述随意和充斥噪声，这些都使得社交聊天文本中不良文本的识别面临更大的挑战。已有的文本分类研究主要采用人工方式构建分类特征，分类特征多使用词袋模型，难以刻画词序信息并面临维数灾难和数据稀疏的问题。另外，不良社交聊天文本中经常出现特殊的同型异音、同音异型等的文本表述方式，而人工构建特征的方式难以发现和描述这类特殊的语义关系。聊天文本中除了不良文本类别需要识别，还有其他场景下也需要对文本的其他特征类别进行识别。
有鉴于此，建立一种聊天文本特征分类方法和装置是非常具有意义的。
发明内容
针对上述提到已有文本分类方法在社交聊天短文本上面临的性能下降、维数灾难、数据稀疏、人工特征难以描述隐含语义，以及已有使用循环神经网络方法进行文本分类识别时，计算推理慢，无法并行等问题。本申请的实施例的目的在于提出了一种聊天文本特征分类方法、装置及存储介质来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种聊天文本特征分类方法，包括以下步骤：
S1：获取聊天文本，并对聊天文本进行预处理得到词向量t，将词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
S2：将词向量t和表示聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；
S3：将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量y；以及
S4：对输出向量y使用softmax函数计算聊天文本的分类概率值，将分类概率值最大的类别作为聊天文本所属的特征类别。
在一些实施例中，步骤S1中对聊天文本进行预处理具体包括：
S11：对聊天文本进行清洗；
S12：通过预训练词向量模型对清洗后的聊天文本进行训练，得到词向量t＝[w1,w2,...,wn]，其中每个单词w都被映射为一个向量wi∈Rl，n为词向量的长度，l为词向量的维度，i为文本中某个字或词在句子中的编号。
清洗聊天文本内容，可以删除文本中非文本字符信息、一般标点符号等内容。通过预训练词向量模型训练生成词向量表示，解决了文本向量表示维数爆炸和数据稀疏的问题。
在一些实施例中，步骤S1中的卷积网络层使用多个可变窗口大小h的卷积核，分别计算生成局部特征向量xi＝f(W·ti:i+h-1+b)，其中W为卷积网络层的权重参数，b为网络层的偏置，i:i+h-1为卷积网络层的卷积核范围。利用多窗口卷积操作可以获取不同粒度的文本语义关系。
在一些实施例中，步骤S1中将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量具体包括：
S13：将上下文语义特征向量输入深度卷积神经网络的池化层，使用Top-K池化策略，得到池化输出向量o＝k max{ct}，其中k为Top-k的策略中的k值；
S14：将池化输出向量o作为特征输入卷积层进行卷积操作，将卷积操作得到的输出向量再进行Top-K池化操作，经过多个卷积层和池化层的组合网络层，最后一层使用最大化池化操作输出第一固定长度向量。
在一些实施例中，步骤S2具体包括：
S21：将联合词向量Z输入m个门限线性单元网络GLU得到门限网络输出向量Z′＝GLU(Z)；
S22：门限网络输出向量Z′通过多核Depthwise卷积计算，并对卷积权重做softmax，多核卷积权重共享得到多核卷积输出向量T＝Conv(Z′,softmax(W′))，其中，W′为卷积学习的权重向量，将多个多核卷积输出向量连接形成连接卷积输出向量
Figure GDA0003631669970000031
其中p为卷积核的数量，将多个连接卷积输出向量连接形成连接向量
Figure GDA0003631669970000032
S23：将连接向量输入全连接网络层映射并归一化得到网络输出特征向量T′＝norm(To*Wt+bt)，其中Wt和bt分别为全连接网络层学习的权重和偏置，网络输出特征向量输入深度卷积神经网络的池化层得到第二固定长度向量u＝maxpool(T′)。
通过多层卷积和池化组合从不同层次抽象文本语义表示，最后组合不同层次的连接卷积输出向量，能够更加全面和多样的描述社交聊天文本丰富的语义特征，从而提高不良社交聊天短文本识别的性能。
在一些实施例中，步骤S3中输出向量y＝WOt+b，其中W为输出层的转移矩阵，b为输出层的偏置系数。
在一些实施例中，步骤S4中通过下式计算分类概率值：
Figure GDA0003631669970000033
其中，θ表示要分类学习的参数，ys表示输出向量y的第s个分量，yg表示输出向量y的第g个分量。
第二方面，本申请的实施例还提出了一种聊天文本特征分类装置，包括：
第一固定长度向量计算模块，被配置为获取聊天文本，并对聊天文本进行预处理得到词向量t，将词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
第二固定长度向量计算模块，被配置为将词向量t和表示聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；
输出向量计算模块，被配置为将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量y；以及
分类识别模块，被配置为对输出向量y使用softmax函数计算聊天文本的分类概率值，将分类概率值最大的类别作为聊天文本所属的特征类别。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明提出了一种聊天文本特征分类方法、装置及存储介质，在自动分析和挖掘聊天文本时，先获取聊天文本，使用Word2Vec等预训练词向量模型训练生成词向量表示，解决了文本向量表示维数爆炸和数据稀疏的问题，利用多窗口卷积操作，获取不同粒度的文本语义关系，使用词向量和单词位置向量组合向量，能有效捕获和记忆文本上下文语义信息，多层卷积和池化组合从不同层次抽象文本语义表示，最后组合不同层次的文本特征向量表示，能够更加全面和多样的描述社交聊天文本丰富的语义特征，从而提高不良社交聊天短文本识别的性能。使用多个GLU网络结合卷积计算，实现模型并行计算，进一步提升识别方法的推理性能。该方法使用固定长度的词嵌入表示，避免维数灾难和数据稀疏问题，利用深度动态卷积神经网络描述多层次文本隐含语义，可以有效提升短文本识别分类的性能和计算效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的一种聊天文本特征分类方法的流程示意图；
图3为本发明的实施例的一种聊天文本特征分类方法的步骤S1中对聊天文本进行预处理的流程示意图；
图4为本发明的实施例的一种聊天文本特征分类方法的步骤S1中将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量的流程示意图；
图5为本发明的实施例的一种聊天文本特征分类方法的步骤S2的流程示意图；
图6为本发明的实施例的一种聊天文本特征分类方法的数据传输及网络结构的示意图；
图7为本发明的实施例的一种聊天文本特征分类装置的示意图；
图8是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的聊天文本特征分类方法或聊天文本特征分类装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的聊天文本特征分类方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，聊天文本特征分类装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
本实施例中提到的聊天文本所属的特征类别不限于文本具体的类别，以下实施例中以不良特征类别或不良文本为例。
图2示出了本申请的实施例公开的一种聊天文本特征分类方法，包括以下步骤：
S1：获取聊天文本，并对聊天文本进行预处理得到词向量t，将词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
S2：将词向量t和表示聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；
S3：将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量y；以及
S4：对输出向量y使用softmax函数计算聊天文本的分类概率值，将分类概率值最大的类别作为聊天文本所属的特征类别。
在具体的实施例中，如图3所示，步骤S1中对聊天文本进行预处理具体包括：
S11：对聊天文本进行清洗；
S12：通过预训练词向量模型对清洗后的聊天文本进行训练，得到词向量t＝[w1,w2,...,wn]，其中每个单词w都被映射为一个向量wi∈Rl，n为词向量的长度，l为词向量的维度，i为文本中某个字或词在句子中的编号。
首先编写获取聊天文本的程序，通过官方提供的API接口获取聊天文本内容，然后清洗聊天文本内容，可以删除聊天文本中非文本字符信息、一般标点符号等内容。社交聊天文本内容由于表达形式多样，包含部分非文本字符、特殊符号等不影响文本内容识别的内容，在进一步对文本进行处理前，删除这些信息，降低文本处理的词汇表空间，减少数据噪声信息。通过预训练词向量模型训练生成词向量表示，解决了文本向量表示维数爆炸和数据稀疏的问题。在优选的实施例中，预训练词向量模型可以使用Word2Vec等分布式词嵌入向量模型，训练聊天文本语料，获得聊天文本词的词向量表L∈Rl×|V|(l是词向量的维度，V是语料库的规模)。
在具体的实施例中，步骤S1中将词向量t输入卷积网络层，其中卷积网络层使用多个可变窗口大小h的卷积核，分别计算生成局部特征向量xi＝f(W·ti:i+h-1+b)，其中W为卷积网络层的权重参数，b为网络层的偏置，i:i+h-1为卷积网络层的卷积核范围。将局部特征向量连接形成上下文语义特征向量
Figure GDA0003631669970000081
利用多窗口卷积操作可以获取不同粒度的文本语义关系。
在具体的实施例中，如图4所示，步骤S1中将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量具体包括：
S13：将上下文语义特征向量输入深度卷积神经网络的池化层，使用Top-K池化策略，得到池化输出向量o＝k max{ct}，其中k为Top-k的策略中的k值；
S14：将池化输出向量o作为特征输入卷积层进行卷积操作，将卷积操作得到的输出向量再进行Top-K池化操作，经过多个卷积层和池化层的组合网络层，最后一层使用最大化池化操作输出第一固定长度向量。
最终得到第一固定长度向量o′。将待分析的分布式词向量表示t和聊天文本中单词位置表示向量q＝[q1,q2,...,qn]组合，其中qi∈Rl，形成包含单词位置信息的向量Z＝q+t。
在具体的实施例中，如图5所示，步骤S2具体包括：
S21：将联合词向量Z输入m个门限线性单元网络GLU得到门限网络输出向量Z′＝GLU(Z)；
S22：门限网络输出向量Z′通过多核Depthwise卷积计算，并对卷积权重做softmax，多核卷积权重共享得到多核卷积输出向量T＝Conv(Z′,softmax(W′))，其中，W′为卷积学习的权重向量，将多个多核卷积输出向量连接形成连接卷积输出向量
Figure GDA0003631669970000082
其中p为卷积核的数量，将多个连接卷积输出向量连接形成连接向量
Figure GDA0003631669970000083
S23：将连接向量输入全连接网络层映射并归一化得到网络输出特征向量T′＝norm(To*Wt+bt)，其中Wt和bt分别为全连接网络层学习的权重和偏置，网络输出特征向量输入深度卷积神经网络的池化层得到第二固定长度向量u＝maxpool(T′)。
通过多层卷积和池化组合从不同层次抽象文本语义表示，最后组合不同层次的连接卷积输出向量，能够更加全面和多样的描述社交聊天文本丰富的语义特征，从而提高不良社交聊天短文本识别的性能。将第一固定长度向量o′与第二固定长度向量u连接得到多层次文本语义向量
Figure GDA0003631669970000091
在具体的实施例中，步骤S3中输出向量y＝WOt+b，其中W为输出层的转移矩阵，b为输出层的偏置系数。以上数据传输及网络结构图如图6所示。
在具体的实施例中，步骤S4中通过下式计算分类概率值：
Figure GDA0003631669970000092
其中，θ表示要分类学习的参数，ys表示输出向量y的第s个分量，yg表示输出向量y的第g个分量。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种聊天文本特征分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请的实施例还提出了一种聊天文本特征分类装置，包括：
第一固定长度向量计算模块1，被配置为获取聊天文本，并对聊天文本进行预处理得到词向量t，将词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
第二固定长度向量计算模块2，被配置为将词向量t和表示聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，联合词向量通过门限线性单元网络G U，并结合多核Depthwise卷积网络层得到第二固定长度向量；
输出向量计算模块3，被配置为将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量y；以及
分类识别模块4，被配置为对输出向量y使用softmax函数计算聊天文本的分类概率值，将分类概率值最大的类别作为聊天文本所属的特征类别。
本发明提出了一种聊天文本特征分类方法、装置及存储介质，在自动分析和挖掘聊天文本时，先获取聊天文本，使用Word2Vec等预训练词向量模型训练生成词向量表示，解决了文本向量表示维数爆炸和数据稀疏的问题，利用多窗口卷积操作，获取不同粒度的文本语义关系，使用词向量和单词位置向量组合向量，能有效捕获和记忆文本上下文语义信息，多层卷积和池化组合从不同层次抽象文本语义表示，最后组合不同层次的文本特征向量表示，能够更加全面和多样的描述社交聊天文本丰富的语义特征，从而提高不良社交聊天短文本识别的性能。使用多个GLU网络结合卷积计算，实现模型并行计算，进一步提升识别方法的推理性能。该方法使用固定长度的词嵌入表示，避免维数灾难和数据稀疏问题，利用深度动态卷积神经网络描述多层次文本隐含语义，可以有效提升短文本识别分类的性能和计算效率。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机装置800包括中央处理单元(CPU)801和图形处理器(GPU)802，其可以根据存储在只读存储器(ROM)803中的程序或者从存储部分809加载到随机访问存储器(RAM)806中的程序而执行各种适当的动作和处理。在RAM 804中，还存储有装置800操作所需的各种程序和数据。CPU 801、GPU802、ROM 803以及RAM 804通过总线805彼此相连。输入/输出(I/O)接口806也连接至总线805。
以下部件连接至I/O接口806：包括键盘、鼠标等的输入部分807；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分808；包括硬盘等的存储部分809；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分810。通信部分810经由诸如因特网的网络执行通信处理。驱动器811也可以根据需要连接至I/O接口806。可拆卸介质812，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器811上，以便于从其上读出的计算机程序根据需要被安装入存储部分809。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分810从网络上被下载和安装，和/或从可拆卸介质812被安装。在该计算机程序被中央处理单元(CPU)801和图形处理器(GPU)802执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取聊天文本，并对聊天文本进行预处理得到词向量t，将词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将局部特征向量连接形成上下文语义特征向量，将上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；将词向量t和表示聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；将第一固定长度向量与第二固定长度向量连接得到多层次文本语义向量，将多层次文本语义向量输入全连接网络层计算输出向量y；以及对输出向量y使用softmax函数计算聊天文本的分类概率值，将分类概率值最大的类别作为聊天文本所属的特征类别。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种聊天文本特征分类方法，其特征在于，包括以下步骤：
S1：获取聊天文本，并对所述聊天文本进行预处理得到词向量t，将所述词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将所述局部特征向量连接形成上下文语义特征向量，将所述上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
步骤S1中将所述上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量具体包括：
S13：将所述上下文语义特征向量输入所述深度卷积神经网络的池化层，使用Top-K池化策略，得到池化输出向量o＝k max{ct}，其中k为Top-k的策略中的k值；
S14：将所述池化输出向量o作为特征输入卷积层进行卷积操作，将卷积操作得到的输出向量再进行Top-K池化操作，经过多个所述卷积层和所述池化层的组合网络层，最后一层使用最大化池化操作输出第一固定长度向量；
S2：将所述词向量t和表示所述聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，所述联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；
步骤S2具体包括：
S21：将所述联合词向量Z输入m个门限线性单元网络GLU得到门限网络输出向量Z′＝GLU(Z)；
S22：所述门限网络输出向量Z′通过多核Depthwise卷积计算，并对卷积权重做softmax，多核卷积权重共享得到多核卷积输出向量T＝Conv(Z′,softmax(W′))，其中，W′为卷积学习的权重向量，将多个所述多核卷积输出向量连接形成连接卷积输出向量
Figure FDA0003631669960000011
其中p为卷积核的数量，将多个所述连接卷积输出向量连接形成连接向量
Figure FDA0003631669960000012
S23：将所述连接向量输入全连接网络层映射并归一化得到网络输出特征向量T′＝norm(To*Wt+bt)，其中Wt和bt分别为全连接网络层学习的权重和偏置，所述网络输出特征向量输入深度卷积神经网络的池化层得到第二固定长度向量u＝maxpool(T′)；S3：将所述第一固定长度向量与所述第二固定长度向量连接得到多层次文本语义向量，将所述多层次文本语义向量输入全连接网络层计算输出向量y；
S4：对所述输出向量y使用softmax函数计算所述聊天文本的分类概率值，将分类概率值最大的类别作为所述聊天文本所属的特征类别。
2.根据权利要求1所述的聊天文本特征分类方法，其特征在于，步骤S1中对所述聊天文本进行预处理具体包括：
S11：对所述聊天文本进行清洗；
S12：通过预训练词向量模型对清洗后的所述聊天文本进行训练，得到词向量t＝[w1,w2,...,wn]，其中每个单词w都被映射为一个向量wi∈Rl，n为词向量的长度，l为词向量的维度，i为文本中某个字或词在句子中的编号。
3.根据权利要求1所述的聊天文本特征分类方法，其特征在于，步骤S1中的所述卷积网络层使用多个可变窗口大小h的卷积核，分别计算生成所述局部特征向量xi＝f(W·ti:i+h-1+b)，其中W为所述卷积网络层的权重参数，b为网络层的偏置，i:i+h-1为所述卷积网络层的卷积核范围。
4.根据权利要求1所述的聊天文本特征分类方法，其特征在于，步骤S3中输出向量y＝WOt+b，其中W为输出层的转移矩阵，b为输出层的偏置系数。
5.根据权利要求1所述的聊天文本特征分类方法，其特征在于，步骤S4中通过下式计算所述分类概率值：
Figure FDA0003631669960000021
其中，θ表示要分类学习的参数，ys表示输出向量y的第s个分量，yg表示输出向量y的第g个分量。
6.一种聊天文本特征分类装置，其特征在于，包括：
第一固定长度向量计算模块，被配置为获取聊天文本，并对所述聊天文本进行预处理得到词向量t，将所述词向量t输入卷积网络层，分别计算生成聊天文本的局部特征向量，将所述局部特征向量连接形成上下文语义特征向量，将所述上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量；
其中，将所述上下文语义特征向量输入深度卷积神经网络输出第一固定长度向量具体包括：
将所述上下文语义特征向量输入所述深度卷积神经网络的池化层，使用Top-K池化策略，得到池化输出向量o＝k max{ct}，其中k为Top-k的策略中的k值；
将所述池化输出向量o作为特征输入卷积层进行卷积操作，将卷积操作得到的输出向量再进行Top-K池化操作，经过多个所述卷积层和所述池化层的组合网络层，最后一层使用最大化池化操作输出第一固定长度向量；第二固定长度向量计算模块，被配置为将所述词向量t和表示所述聊天文本中每个单词位置的位置向量q组合形成联合词向量Z＝q+t，所述联合词向量通过门限线性单元网络GLU，并结合多核Depthwise卷积网络层得到第二固定长度向量；
具体包括：
将所述联合词向量Z输入m个门限线性单元网络GLU得到门限网络输出向量Z′＝GLU(Z)；
所述门限网络输出向量Z′通过多核Depthwise卷积计算，并对卷积权重做softmax，多核卷积权重共享得到多核卷积输出向量T＝Conv(Z′,softmax(W′))，其中，W′为卷积学习的权重向量，将多个所述多核卷积输出向量连接形成连接卷积输出向量
Figure FDA0003631669960000031
其中p为卷积核的数量，将多个所述连接卷积输出向量连接形成连接向量
Figure FDA0003631669960000032
将所述连接向量输入全连接网络层映射并归一化得到网络输出特征向量T′＝norm(To*Wt+bt)，其中Wt和bt分别为全连接网络层学习的权重和偏置，所述网络输出特征向量输入深度卷积神经网络的池化层得到第二固定长度向量u＝maxpool(T′)；输出向量计算模块，被配置为将所述第一固定长度向量与所述第二固定长度向量连接得到多层次文本语义向量，将所述多层次文本语义向量输入全连接网络层计算输出向量y；
分类识别模块，被配置为对所述输出向量y使用softmax函数计算所述聊天文本的分类概率值，将分类概率值最大的类别作为所述聊天文本所属的特征类别。
7.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202011131344.8A 2020-10-21 2020-10-21 一种聊天文本特征分类方法、装置及存储介质 Active CN112214600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011131344.8A CN112214600B (zh) 2020-10-21 2020-10-21 一种聊天文本特征分类方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011131344.8A CN112214600B (zh) 2020-10-21 2020-10-21 一种聊天文本特征分类方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112214600A CN112214600A (zh) 2021-01-12
CN112214600B true CN112214600B (zh) 2022-06-10

Family

ID=74056263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011131344.8A Active CN112214600B (zh) 2020-10-21 2020-10-21 一种聊天文本特征分类方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112214600B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761206A (zh) * 2021-09-10 2021-12-07 平安科技（深圳）有限公司 基于意图识别的信息智能查询方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301225A (zh) * 2017-06-20 2017-10-27 挖财网络技术有限公司 短文本分类方法及装置
CN108595440A (zh) * 2018-05-11 2018-09-28 厦门市美亚柏科信息股份有限公司 短文本内容分类方法和系统
CN109815485A (zh) * 2018-12-24 2019-05-28 厦门市美亚柏科信息股份有限公司 一种微博短文本情感极性识别的方法、装置及存储介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN111353043A (zh) * 2020-02-27 2020-06-30 浙江大学 一种基于轻量化卷积神经网络的细粒度观点挖掘方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236135A1 (en) * 2018-01-30 2019-08-01 Accenture Global Solutions Limited Cross-lingual text classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301225A (zh) * 2017-06-20 2017-10-27 挖财网络技术有限公司 短文本分类方法及装置
CN108595440A (zh) * 2018-05-11 2018-09-28 厦门市美亚柏科信息股份有限公司 短文本内容分类方法和系统
CN109815485A (zh) * 2018-12-24 2019-05-28 厦门市美亚柏科信息股份有限公司 一种微博短文本情感极性识别的方法、装置及存储介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN111353043A (zh) * 2020-02-27 2020-06-30 浙江大学 一种基于轻量化卷积神经网络的细粒度观点挖掘方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习在文本分类中的研究与应用;张晓敏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115(第1期);全文 *

Also Published As

Publication number Publication date
CN112214600A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN107783960B (zh) 用于抽取信息的方法、装置和设备
CN112732911B (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN112214601B (zh) 一种社交短文本情感分类方法、装置及存储介质
US9275041B2 (en) Performing sentiment analysis on microblogging data, including identifying a new opinion term therein
US10579655B2 (en) Method and apparatus for compressing topic model
CN111680159A (zh) 数据处理方法、装置及电子设备
CN108595440B (zh) 短文本内容分类方法和系统
CN112231569A (zh) 新闻推荐方法、装置、计算机设备及存储介质
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN111159409A (zh) 基于人工智能的文本分类方法、装置、设备、介质
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
CN113392179A (zh) 文本标注方法及装置、电子设备、存储介质
CN113553510A (zh) 一种文本信息推荐方法、装置及可读介质
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN112948584B (zh) 短文本分类方法、装置、设备以及存储介质
CN112214600B (zh) 一种聊天文本特征分类方法、装置及存储介质
CN112307738B (zh) 用于处理文本的方法和装置
CN113139558B (zh) 确定物品的多级分类标签的方法和装置
CN115269768A (zh) 要素文本处理方法、装置、电子设备和存储介质
CN112711943A (zh) 一种维吾尔文语种识别方法、装置及存储介质
CN115730237B (zh) 垃圾邮件检测方法、装置、计算机设备及存储介质
CN115827865A (zh) 一种融合多特征图注意力机制的不良文本分类方法及系统
CN112559727B (zh) 用于输出信息的方法、装置、设备、存储介质和程序
Fergus et al. Natural language processing
CN112633394B (zh) 一种智能用户标签确定方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant