CN111639483B - 一种评价方面确定方法和装置 - Google Patents

一种评价方面确定方法和装置 Download PDF

Info

Publication number
CN111639483B
CN111639483B CN201910113870.2A CN201910113870A CN111639483B CN 111639483 B CN111639483 B CN 111639483B CN 201910113870 A CN201910113870 A CN 201910113870A CN 111639483 B CN111639483 B CN 111639483B
Authority
CN
China
Prior art keywords
word
evaluation
dependency
vector
tag sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910113870.2A
Other languages
English (en)
Other versions
CN111639483A (zh
Inventor
郭林东
姚小龙
陈东沂
钟萍
刘玉霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910113870.2A priority Critical patent/CN111639483B/zh
Publication of CN111639483A publication Critical patent/CN111639483A/zh
Application granted granted Critical
Publication of CN111639483B publication Critical patent/CN111639483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种评价方面确定方法和装置，该方法包括：根据评价文本的字符特征向量，生成所述评价文本的词向量；然后，将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列；进而，基于所述第一预测标签序列，确定出所述评价文本的评价方面。本申请实施例提供的评价方面确定方法，将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，提高了评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。

Description

一种评价方面确定方法和装置
技术领域
本发明一般涉及信息技术领域，具体涉及一种评价方面确定方法和装置。
背景技术
现代社会中，互联网应用范围非常的广泛，给日常生活带来很大的乐趣和便利。在互联网上，我们可以聊天、玩游戏和查阅资料等。更为重要的是，人们还可以通过博客、微博以及贴吧等互联网产品来表达自己对商品与服务、社会热点事件与当事人的态度和观点。
近年来，主观性的态度和观点的发表量呈现出井喷式的增长态势。如何对具有感情色彩的评价方面进行确定，在企业产品竞争情报、社会舆情监控和市场趋势走向预测等应用领域中具有重要的研究价值。
相关技术中，采用的方案有：第一、基于频率和关联规则的评价方面确定方法，这种方法虽然易于实施，但是需要专家根据经验挑选模板以及制定匹配规则，而且由于容易受到频繁噪声的影响，确定精度较低；第二、在基于频率和关联规则的评价方面确定方法的基础上，引入点互信息(Point-wise Mutual Information，PMI)计算方法提升确定的精度，但是这种方法需要提前收集产品的类别指示判别器，同时点互信息的计算需要借助搜索引擎，将会消耗大量的时间；第三、基于深度学习的评价方面确定方法，通过循环神经网络模型(Recurrent Neural Network，RNN)和预先训练好的词嵌入进行模型训练，但是这种方法忽略了语言中能够传递有益信息的语法约束；第四、利用循环神经网络学习依存句法路径的分布式表示，并将该分布式表示作为条件随机场(Conditional Random Field，CRF)的特征进行训练，但是这种方法需要借助众多的特征工程才能工作，不能有效地利用神经网络具有强大建模能力的优势，而且还存在依存信息分布式表示的训练过程与评价方面的确定过程互相分离的问题。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种评价方面确定方法和装置，将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，能够提高评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。
第一方面，本申请提供一种评价方面确定方法，包括：
根据评价文本的字符特征向量，生成所述评价文本的词向量；
将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列；
基于所述第一预测标签序列，确定出所述评价文本的评价方面。
第二方面，本申请提供一种评价方面确定装置，包括：
词向量生成模块，用于根据评价文本的字符特征向量，生成所述评价文本的词向量；
标签序列预测模块，用于将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列；
评价方面确定模块，用于基于所述第一预测标签序列，确定出所述评价文本的评价方面。
综上，本申请实施例提供的评价方面确定方法和装置，根据评价文本的字符特征向量，生成评价文本的词向量；由于组成评价文本的单词本身包含复杂的形态学信息或者象形信息，通过评价文本的字符特征向量能够捕捉到单词的形态信息，从而判断出单词是否位于句子的开头或者属于专有名词等；然后，将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；由于词向量具有对应的词性标注，能够帮助句法结构的分析，同时在第一双向长短期记忆网络模型中配置依存跃迁结构，用于捕捉上下文信息；进而，基于第一预测标签序列，确定出评价文本的评价方面，即将第一预测标签序列中目标标签对应的单词作为评价文本的评价方面；基于此，本申请实施例将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，提高了评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种评价方面确定方法的基本流程示意图；
图2为本申请实施例提供的另一种评价方面确定方法的流程示意图；
图3为本申请实施例提供的一种评价方面确定方法的示例；
图4为本申请实施例提供的另一种评价方面确定方法的示例；
图5为本申请实施例提供的再一种评价方面确定方法的示例；
图6为本申请实施例提供的一种评价方面确定装置；
图7为本申请实施例提供的另一种评价方面确定装置；
图8为本申请实施例提供的再一种评价方面确定装置；
图9为本申请实施例提供的一种计算机系统。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例提供一种评价方面确定方法，该方法应用于终端中。需要说明的是，本申请实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、平板电脑(Tablet Computer)、无线手持设备和手机等。
为了便于理解和说明，下面通过图1至图8详细的阐述本申请实施例提供的评价方面确定方法及装置。
请参考图1，其为本申请实施例提供的一种评价方面确定方法的基本流程示意图，该方法包括以下步骤：
S101，根据评价文本的字符特征向量，生成评价文本的词向量。
具体的，本申请实施例通过对评价文本进行分词，并生成字符特征向量；进而，根据词嵌入算法和字符特征向量，生成评价文本的词向量。由于许多语言的单词本身包含复杂的形态学信息或者象形信息，比如，英文单词的前后缀、大小写等字母形态特征，中文的偏旁部首等象形特征。本申请实施例中通过提取评价文本的字符特征向量，能够帮助捕捉到单词的形态学信息或者象形信息，更加有利于判断出单词的属性，比如单词是否位于句子的开头或者单词是否属于专有名词等。
举例说明，本申请实施例中首先将评价文本进行分词之后得到的单词拆分成单个字符组成的序列，并使用双向长短期记忆网络模型生成词向量W(char)；然后，基于词嵌入算法，比如GloVe、CBOW等，生成词向量W(glove)；进而，将两个词向量拼接起来得到评价文本的词向量W＝[W(char),W(glove)]，这样的词向量中包含了单词的语义信息和形态信息，有助于后续评价方面的确定。需要说明的是，在本申请其它实施例中也可以将单个字符组成的序列通过循环神经网络模型(Recurrent Neural Network，RNN)生成词向量。
S102，将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列。
需要说明的是，双向长短期记忆网络模型(Bi-directional Long Short-TermMemory，Bi-LSTM)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。双向长短期记忆网络模型是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，能够利用上下文信息自动地提取句子特征。相较于循环神经网络模型，双向长短期记忆网络模型的优势主要在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell。
具体的，本申请实施例获取经过词性标注的词向量之间的句法依存关系，并将句法依存关系转换为依存嵌入向量；由于对词向量进行了词性标注，能够帮助句法结构的分析；然后，将依存跃迁向量作为配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，计算得到词向量对应所有设定标签的发射得分；其中，依存跃迁向量包括依存嵌入向量；由于在第一双向长短期记忆网络模型中配置了依存跃迁结构，能够考虑到上下文单词之间的互相影响，有助于更为准确地计算得到发射得分；最后，比较所有设定标签的发射得分的大小，并将发射得分最大值对应的设定标签作为词向量的第一预测标签，而评价文本对应的第一预测标签序列则由词向量的第一预测标签组成。
举例说明，以句子为单位，将一个含有n个单词的句子记作
x＝(x1，x2，……，xn-1，xn)
其中，xi表示句子的第i个单词在字典中的编码(Identification，ID)，即得到单词对应的词向量。进而，在获取经过词性标注的词向量之间的句法依存关系，并将句法依存关系转换为依存嵌入向量之后，将依存嵌入向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到词向量对应所有设定标签的发射得分。其中，设定标签的集合可以采用BIO标注集，即B-PER、I-PER表示人名首字、人名非首字，B-LOC、I-LOC表示地名首字、地名非首字，B-ORG、I-ORG表示组织机构名首字、组织机构名非首字，O表示该单词不属于命名实体的一部分；当然，设定标签的集合也可以采用更为复杂的BIOSE标注集，而BIOSE标注集为已知技术，本申请实施例对此不再赘述。
由于本申请实施例中只需要标注出评价文本中的评价方面，设定标签可以为三个，比如B表示评价方面词开始、I表示评价方面词中间，O表示非评价方面词。比如，词向量对应B标签的发射得分为1.2，对应I标签的发射得分为0.2，对应O标签的发射得分为-0.1，通过比较所有标签的发射得分的大小，并将发射得分最大值为1.2对应的B标签作为词向量的第一预测标签，而评价文本对应的第一预测标签序列则由各个词向量的第一预测标签组成。
为便于理解评价文本中的评价方面，现举例说明。在一般的情感分析方法中，均采用的是对一整句话进行情感倾向性判别，由此会导致情感分析的结果较为笼统、不够精准细腻。比如，在商品评价领域中，对于评价文本为“这款手机屏幕很炫，就是电池不耐用”而言，按照一般的情感分析方法，直接给出这句话的情感倾向判别为负向评价，而忽略了评价者对手机屏幕的正向评价。当手机生产商获取到情感倾向判别为负向评价时，只会关注到电池的问题，但不会注意到手机屏幕的优势，进而不能够全面地了解手机，并对手机进行相应地改进升级。因此，我们需要先抽取出评价者对手机的哪些方面进行了评价，这就是评价方面识别。再比如，在新闻评论领域中，对于评价文本为“终于把这个穷凶极恶的歹徒逮住了！给警察叔叔点赞”，评价者对于不同对象表现出了不同的情感，这里的评价方面即指“歹徒”和“警察叔叔”。总而言之，评价方面识别是细粒度情感分析的基石。提高评价方面识别的准确性，在情感判别、舆情监控以及商品推荐等领域中具有重要的作用和现实意义。
S103，基于第一预测标签序列，确定出评价文本的评价方面。
需要说明的是，根据第一双向长短期记忆网络模型运算得到的第一预测标签序列，可以确定出评价文本的评价方面，即将第一预测标签序列中设定的评价方面标签对应的单词确定为评价方面，但是这种方式未考虑到标签之间的约束问题，比如O标签后面不能为I标签，从而造成在确定评价方面时出现错误。
而本申请实施例中通过计算第一预测标签序列之间的转移得分，并根据第一预测标签序列的发射得分与第一预测标签序列之间的转移得分，确定出评价文本的评价方面。本申请实施例在经过双向长短期记忆网络模型得到预测标签之后，再加入条件随机场(Conditional Random Field，CRF)对标签之间进行约束，以此提高了预测标签的准确性，进而有助于评价文本中评价方面的确定。
本申请实施例提供的评价方面确定方法，根据评价文本的字符特征向量，生成评价文本的词向量；由于组成评价文本的单词本身包含复杂的形态学信息或者象形信息，通过评价文本的字符特征向量能够捕捉到单词的形态信息，从而判断出单词是否位于句子的开头或者属于专有名词等；然后，将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；由于词向量具有对应的词性标注，能够帮助句法结构的分析，同时在第一双向长短期记忆网络模型中配置依存跃迁结构，用于捕捉上下文信息；进而，基于第一预测标签序列，确定出评价文本的评价方面，即将第一预测标签序列中目标标签对应的单词作为评价文本的评价方面；基于此，本申请实施例将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，提高了评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。
基于前述实施例，本申请实施例提供的另一种评价方面确定方法的流程示意图，如图2所示，该方法包括以下步骤：
S201，对评价文本进行分词，并生成字符特征向量。
具体的，本申请实施例中通过将分词结果拆分成单个字符组成的序列，其中，分词结果为评价文本进行分词之后得到的单词；从而，基于第二双向长短期记忆网络模型，对单个字符组成的序列进行运算，并生成分词结果对应的字符特征向量。
S202，根据词嵌入算法和字符特征向量，生成评价文本的词向量。
以评价文本是“The design and atmosphere is just as good.”为例进行说明，如图3所示，其为本申请实施例提供的一种评价方面确定方法的示例。首先，将评价文本进行分词之后得到的单词拆分成单个字符组成的序列，比如，将design拆分成单个字符d、e、s、i、g、n，并使用双向长短期记忆网络模型生成词向量W(char)；然后，基于词嵌入算法，比如GloVe、CBOW等，生成词向量W(glove)；进而，将两个词向量拼接起来得到评价文本的词向量W＝[W(char),W(glove)]，这样的词向量中包含了单词的语义信息和形态信息，有助于后续评价方面的确定。需要说明的是，循环神经网络模型也可以用于生成词向量，本申请实施例对此不进行限定。
S203，获取经过词性标注的词向量之间的句法依存关系，并将句法依存关系转换为依存嵌入向量。
具体的，本申请实施例中通过遍历词向量对应的词性标注，并构建依存句法树；进而，将句法依存关系输入到仿射函数中，生成依存嵌入向量。其中，依存句法树能够用于表征词向量之间的句法依存关系。
举例说明，对于每句评价文本，本申请实施例首先利用自然语言处理工具包(Natural Language Toolkit，NLTK)输出各个词向量之间的句法依存关系，然后将句法依存关系转换为依存嵌入向量。例如，仿射函数f(r)＝Wrr+br，其中，
Figure BDA0001969370500000081
Wr表示权重矩阵，br表示偏置向量，f(r)为非线性激励函数，比如为双曲正切函数tanh(·)；仿射函数f(r)用于将向量r映射到循环单元隐状态的同一向量空间。如图4所示，单词“just”和“good”之间的依存关系类型为“advmod”，则该依存嵌入向量为dadvmod＝f(Wrradvmod+br)
需要说明的是，在词向量进行词性标注时，对于分词后识别出来的单词，可以直接从字典中查找该单词的词性；而对于未登录词，即字典中没有收录的单词，则采用隐马尔科夫模型(Hidden Markov Model，HMM)和维特比算法(Viterbi)来识别该单词的词性。
S204，将依存跃迁向量作为配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，计算得到词向量对应所有设定标签的发射得分；其中，依存跃迁向量包括依存嵌入向量。
举例说明，本申请实施例中将上一个时间步的隐状态向量ct-1、当前时间步单词输出向量or和依存嵌入向量dadvmod相加，得到更新后的每一个时间步的隐状态向量ct，即：
ct←ct-1+or+dadvmod
假设xt为t时刻输入的词向量，ht-1为在t-1时刻存储所有有用信息的隐藏层状态向量，σ为sigmoid回归层，Wxf、Wxi、Wxc、Wxo为不同状态下针对xt的权重矩阵，Whf、Whi、Whc、Who为隐藏层状态ht-1的权重矩阵，bf、bi、bc、bo为偏置向量。
在t时刻遗忘门的计算公式为
ft＝σ(Wxfxt+Whfht-1+Wcf(ct-1+or+d)+bf)
在t时刻更新隐藏层ht-1中存储的所有信息，计算公式为
it＝σ(Wxixt+Whiht-1+Wci(ct-1+or+d)+bi)
ct＝ft·ct-1+it·tanh(Wxcxt+Whcht-1+bc)
其中，ct为t时刻的隐状态向量。
在t时刻输出门的输出为ot，并更新隐藏层ht，计算公式为
ot＝σ(Wxoxt+Whoht-1+Wco(ct+or+d)+bo)
ht＝ot·tanh(ct)
其中，ht存储过去时刻的所有信息，用同样的方法再设置gt用于存储未来时刻的信息，最后两个隐藏层信息通过串联的方式形成向量。
由此，通过将包括依存嵌入向量的依存跃迁向量作为配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，并计算得到词向量对应所有设定标签的发射得分。
需要说明的是，本申请实施例中在将依存跃迁向量作为配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入时，还需要检测句法依存关系中的中心词的第一位置编号和当前时间步单词的第二位置编号。其中，中心词支配当前时间步单词，当前时间步单词是指第一双向长短期记忆网络模型在运算过程中当前时间步对应的单词；第一位置编号为依存句法树中具有依存关系的中心词对应的编号，第二位置编号为依存句法树中具有依存关系的当前时间步单词对应的编号，比如对于评价文本“The design andatmosphere is just as good.”而言，在构建依存句法树时对每个单词进行编号，单词“The”的编号为1、“design”的编号为2、“and”的编号为3、“atmosphere”的编号为4，以此类推，“as”的编号为7、“good”的编号为8、“.”的编号为9；请参考图4，由于“design”和“and”具有依存关系，此时第一位置编号为2、第二位置编号为3。
如果第一位置编号小于第二位置编号，则将依存跃迁向量从中心词前向传递至当前时间步单词，如图4所示，比如中心词为design，第一位置编号为2；当前时间步单词为and，第二位置编号为3，则依存跃迁向量从中心词design前向传递至当前时间步单词and。其中，DT表示限定词；NN表示常用名词；CC表示连词；VBZ表示动词第三人称单数，比如has；RB表示副词；JJ表示形容词或序数词；cc表示并列关系；conj表示连接两个并列的词；punct表示标点。需要说明的是，图4中每个箭头代表一个依赖关系，箭头的起点为中心词，箭头指向的为当前时间步单词。
如果第一位置编号大于第二位置编号，则将依存跃迁向量从中心词后向传递至当前时间步单词，如图5所示，比如中心词为good，第一位置编号为9；当前时间步单词为as，第二位置编号为7，则依存跃迁向量从中心词good后向传递至当前时间步单词as。其中，det表示决定词，如冠词等；nsubj表示名词性主语；cop表示系动词，如be、seem、appear等；advmod表示状语关系。需要说明的是，图5中每个箭头代表一个依赖关系，箭头的起点为中心词，箭头指向的为当前时间步单词。
由于在依存句法理论中，“依存”是指单词与单词之间支配与被支配的关系，这种关系不是对等的，且具有方向性；处于支配地位的成分称为支配者，比如中心词，而处于被支配地位的成分称为从属者，比如当前时间步单词。本申请实施例通过检测中心词和当前时间步单词的位置，进而判断依存跃迁向量的传递方向。
S205，比较所有设定标签的发射得分的大小，并将发射得分最大值对应的设定标签作为词向量的第一预测标签，评价文本对应的第一预测标签序列由词向量的第一预测标签组成。
S206，计算第一预测标签序列之间的转移得分。
S207，根据第一预测标签序列的发射得分与第一预测标签序列之间的转移得分，确定出评价文本的评价方面。
具体的，本申请实施例中首先通过计算预测标签序列的发射得分与预测标签序列之间的转移得分的和值，得到评价文本对应的标签组合的得分。其中，预测标签序列包括第一预测标签序列和至少一个第二预测标签序列。需要说明的是，第二预测标签序列为所有可能标签序列的组合。
举例说明，对于评价文本x＝(x1，x2，……，xT)和对应的第一预测标签序列y＝(y1，y2，……，yT)，该标签组合的得分为：
Figure BDA0001969370500000111
其中，Q表示预测标签序列之间的转移得分，H表示预测标签序列的发射得分。
其次，对评价文本对应的标签组合的得分进行归一化处理，比如使用Softmax处理，得到评价文本对应的标签组合的概率，即
Figure BDA0001969370500000112
其中，Yx表示x的所有可能标签序列组合，
Figure BDA0001969370500000113
表示x的可能标签序列。
再次，将评价文本对应的标签组合的概率输入到最大化对数似然函数中进行参数优化，比如使用随机梯度下降的方法进行优化，得到目标最大化对数似然函数，即
Figure BDA0001969370500000114
从而，根据目标最大化对数似然函数和至少一个第二预测标签序列，计算至少一个第二预测标签序列的概率，并将概率最大值对应的第二预测标签序列作为目标标签序列，以此确定出评价文本的评价方面。比如，在预测阶段，使用维特比算法能够高效地搜索出概率最大的标签序列y*：
Figure BDA0001969370500000115
最后，如图3所示，评价文本“The design and atmosphere is just as good.”中的标签序列y*为O、B、O、B、O、O、O、O、O，即评价方面为design和atmosphere。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供的评价方面确定方法，能够将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，提高了评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。
基于前述实施例，本申请实施例提供一种评价方面确定装置，该装置可以应用于图1～5对应的实施例提供的评价方面确定方法中。参照图6所示，该评价方面确定装置6包括：
词向量生成模块61，用于根据评价文本的字符特征向量，生成评价文本的词向量；
标签序列预测模块62，用于将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；
评价方面确定模块63，用于基于第一预测标签序列，确定出评价文本的评价方面。
在本申请的其它实施例中，如图7所示，词向量生成模块61包括：
分词单元611，用于对评价文本进行分词，并生成字符特征向量；
生成单元612，用于根据词嵌入算法和字符特征向量，生成评价文本的词向量。
在本申请的其它实施例中，分词单元601具体用于将分词结果拆分成单个字符组成的序列，分词结果为评价文本进行分词之后得到的单词；
基于第二双向长短期记忆网络模型，对单个字符组成的序列进行运算，并生成分词结果对应的字符特征向量。
在本申请的其它实施例中，如图8所示，标签序列预测模块62包括：
转换单元621，用于获取经过词性标注的词向量之间的句法依存关系，并将句法依存关系转换为依存嵌入向量；
计算单元622，用于将依存跃迁向量作为配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，计算得到词向量对应所有设定标签的发射得分；其中，依存跃迁向量包括依存嵌入向量；
预测单元623，用于比较所有设定标签的发射得分的大小，并将发射得分最大值对应的设定标签作为词向量的第一预测标签，评价文本对应的第一预测标签序列由词向量的第一预测标签组成。
在本申请的其它实施例中，转换单元621具体用于遍历词向量对应的词性标注，并构建依存句法树，依存句法树用于表征词向量之间的句法依存关系；
将句法依存关系输入到仿射函数中，生成依存嵌入向量。
在本申请的其它实施例中，计算单元622还用于检测句法依存关系中的中心词的第一位置编号和当前时间步单词的第二位置编号；其中，中心词支配当前时间步单词；
如果第一位置编号小于第二位置编号，则将依存跃迁向量从中心词前向传递至当前时间步单词；
如果第一位置编号大于第二位置编号，则将依存跃迁向量从中心词后向传递至当前时间步单词。
在本申请的其它实施例中，评价方面确定模块63具体用于计算第一预测标签序列之间的转移得分；
根据第一预测标签序列的发射得分与第一预测标签序列之间的转移得分，确定出评价文本的评价方面。
在本申请的其它实施例中，评价方面确定模块63还用于计算预测标签序列的发射得分与预测标签序列之间的转移得分的和值，得到评价文本对应的标签组合的得分；其中，预测标签序列包括第一预测标签序列和至少一个第二预测标签序列；
对评价文本对应的标签组合的得分进行归一化处理，得到评价文本对应的标签组合的概率；
将评价文本对应的标签组合的概率输入到最大化对数似然函数中进行参数优化，得到目标最大化对数似然函数；
根据目标最大化对数似然函数和至少一个第二预测标签序列，计算至少一个第二预测标签序列的概率，并将概率最大值对应的第二预测标签序列作为目标标签序列，以此确定出评价文本的评价方面。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供的评价方面确定装置，根据评价文本的字符特征向量，生成评价文本的词向量；由于组成评价文本的单词本身包含复杂的形态学信息或者象形信息，通过评价文本的字符特征向量能够捕捉到单词的形态信息，从而判断出单词是否位于句子的开头或者属于专有名词等；然后，将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；由于词向量具有对应的词性标注，能够帮助句法结构的分析，同时在第一双向长短期记忆网络模型中配置依存跃迁结构，用于捕捉上下文信息；进而，基于第一预测标签序列，确定出评价文本的评价方面，即将第一预测标签序列中目标标签对应的单词作为评价文本的评价方面；基于此，本申请实施例将双向长短期记忆网络模型可学习长期序列依赖的能力和依存跃迁信息提供的句法结构先验知识结合起来，提高了评价方面确定的准确性，避免了需要借助额外的特征工程以及事先由人工制定规则模板的技术问题。
基于前述实施例，本申请实施例提供一种计算机系统。请参照图9所示，该计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本申请的实施例，上文参考流程图1～2描述的过程可以被实现为计算机软件程序。例如，本申请的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序由CPU901执行，以实现如下步骤：
根据评价文本的字符特征向量，生成评价文本的词向量；
将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；
基于第一预测标签序列，确定出评价文本的评价方面。
在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例评价方面确定的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括词向量生成模块、标签序列预测模块及评价方面确定模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的终端中所包含的；也可以是单独存在，而未装配入该终端中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该终端执行时，使得该终端实现如上述实施例中的评价方面确定方法。
例如，终端可以实现如图1中所示的：S101，根据评价文本的字符特征向量，生成评价文本的词向量；S102，将经过词性标注的词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到评价文本对应的第一预测标签序列；S103，基于第一预测标签序列，确定出评价文本的评价方面。又如，终端可以实现如图2中所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的终端的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种评价方面确定方法，其特征在于，所述方法包括：
根据评价文本的字符特征向量，生成所述评价文本的词向量；
将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列；
计算所述第一预测标签序列之间的转移得分；
计算预测标签序列的发射得分与所述预测标签序列之间的转移得分的和值，得到所述评价文本对应的标签组合的得分；其中，所述预测标签序列包括所述第一预测标签序列和至少一个第二预测标签序列；
对所述评价文本对应的标签组合的得分进行归一化处理，得到所述评价文本对应的标签组合的概率；
将所述评价文本对应的标签组合的概率输入到最大化对数似然函数中进行参数优化，得到目标最大化对数似然函数；
根据所述目标最大化对数似然函数和所述至少一个第二预测标签序列，计算所述至少一个第二预测标签序列的概率，并将概率最大值对应的第二预测标签序列作为目标标签序列，以确定出所述评价文本的评价方面；
其中，所述将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列，包括：
获取所述经过词性标注的词向量之间的句法依存关系，并将所述句法依存关系转换为依存嵌入向量；
将依存跃迁向量作为所述配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，计算得到所述词向量对应所有设定标签的发射得分；其中，所述依存跃迁向量包括所述依存嵌入向量；
比较所述所有设定标签的发射得分的大小，并将发射得分最大值对应的设定标签作为所述词向量的第一预测标签，所述评价文本对应的第一预测标签序列由所述词向量的第一预测标签组成。
2.根据权利要求1所述的一种评价方面确定方法，其特征在于，所述根据评价文本的字符特征向量，生成所述评价文本的词向量，包括：
对所述评价文本进行分词，并生成所述字符特征向量；
根据词嵌入算法和所述字符特征向量，生成所述评价文本的词向量。
3.根据权利要求2所述的一种评价方面确定方法，其特征在于，所述对所述评价文本进行分词，并生成所述字符特征向量，包括：
将分词结果拆分成单个字符组成的序列，所述分词结果为所述评价文本进行分词之后得到的单词；
基于第二双向长短期记忆网络模型，对所述单个字符组成的序列进行运算，并生成所述分词结果对应的字符特征向量。
4.根据权利要求1所述的一种评价方面确定方法，其特征在于，所述获取所述经过词性标注的词向量之间的句法依存关系，并将所述句法依存关系转换为依存嵌入向量，包括：
遍历所述词向量对应的词性标注，并构建依存句法树，所述依存句法树用于表征所述词向量之间的句法依存关系；
将所述句法依存关系输入到仿射函数中，生成所述依存嵌入向量。
5.根据权利要求4所述的一种评价方面确定方法，其特征在于，所述方法还包括：
检测所述句法依存关系中的中心词的第一位置编号和当前时间步单词的第二位置编号；其中，所述中心词支配所述当前时间步单词；
如果所述第一位置编号小于所述第二位置编号，则将所述依存跃迁向量从所述中心词前向传递至所述当前时间步单词；
如果所述第一位置编号大于所述第二位置编号，则将所述依存跃迁向量从所述中心词后向传递至所述当前时间步单词。
6.一种评价方面确定装置，其特征在于，所述装置包括：
词向量生成模块，用于根据评价文本的字符特征向量，生成所述评价文本的词向量；
标签序列预测模块，用于将经过词性标注的所述词向量输入到配置依存跃迁结构的第一双向长短期记忆网络模型中进行运算，得到所述评价文本对应的第一预测标签序列；
评价方面确定模块，用于计算所述第一预测标签序列之间的转移得分；
计算预测标签序列的发射得分与所述预测标签序列之间的转移得分的和值，得到所述评价文本对应的标签组合的得分；其中，所述预测标签序列包括所述第一预测标签序列和至少一个第二预测标签序列；
对所述评价文本对应的标签组合的得分进行归一化处理，得到所述评价文本对应的标签组合的概率；
将所述评价文本对应的标签组合的概率输入到最大化对数似然函数中进行参数优化，得到目标最大化对数似然函数；
根据所述目标最大化对数似然函数和所述至少一个第二预测标签序列，计算所述至少一个第二预测标签序列的概率，并将概率最大值对应的第二预测标签序列作为目标标签序列，以确定出所述评价文本的评价方面；
其中，所述标签序列预测模块，具体用于获取所述经过词性标注的词向量之间的句法依存关系，并将所述句法依存关系转换为依存嵌入向量；
将依存跃迁向量作为所述配置依存跃迁结构的第一双向长短期记忆网络模型各个时间步的输入，计算得到所述词向量对应所有设定标签的发射得分；其中，所述依存跃迁向量包括所述依存嵌入向量；
比较所述所有设定标签的发射得分的大小，并将发射得分最大值对应的设定标签作为所述词向量的第一预测标签，所述评价文本对应的第一预测标签序列由所述词向量的第一预测标签组成。
7.根据权利要求6所述的一种评价方面确定装置，其特征在于，所述词向量生成模块包括：
分词单元，用于对所述评价文本进行分词，并生成所述字符特征向量；
生成单元，用于根据词嵌入算法和所述字符特征向量，生成所述评价文本的词向量。
CN201910113870.2A 2019-02-14 2019-02-14 一种评价方面确定方法和装置 Active CN111639483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910113870.2A CN111639483B (zh) 2019-02-14 2019-02-14 一种评价方面确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910113870.2A CN111639483B (zh) 2019-02-14 2019-02-14 一种评价方面确定方法和装置

Publications (2)

Publication Number Publication Date
CN111639483A CN111639483A (zh) 2020-09-08
CN111639483B true CN111639483B (zh) 2023-06-23

Family

ID=72330417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910113870.2A Active CN111639483B (zh) 2019-02-14 2019-02-14 一种评价方面确定方法和装置

Country Status (1)

Country Link
CN (1) CN111639483B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740382A (zh) * 2016-01-27 2016-07-06 中山大学 一种对短评论文本进行方面分类方法
CN108446271A (zh) * 2018-03-07 2018-08-24 中山大学 基于汉字部件特征的卷积神经网络的文本情感分析方法
CN108492118A (zh) * 2018-04-03 2018-09-04 电子科技大学 汽车售后服务质量评价回访文本数据的两阶段抽取方法
CN108829801A (zh) * 2018-06-06 2018-11-16 大连理工大学 一种基于文档级别注意力机制的事件触发词抽取方法
CN108984532A (zh) * 2018-07-27 2018-12-11 福州大学 基于层次嵌入的方面抽取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282467B2 (en) * 2014-06-26 2019-05-07 International Business Machines Corporation Mining product aspects from opinion text

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740382A (zh) * 2016-01-27 2016-07-06 中山大学 一种对短评论文本进行方面分类方法
CN108446271A (zh) * 2018-03-07 2018-08-24 中山大学 基于汉字部件特征的卷积神经网络的文本情感分析方法
CN108492118A (zh) * 2018-04-03 2018-09-04 电子科技大学 汽车售后服务质量评价回访文本数据的两阶段抽取方法
CN108829801A (zh) * 2018-06-06 2018-11-16 大连理工大学 一种基于文档级别注意力机制的事件触发词抽取方法
CN108984532A (zh) * 2018-07-27 2018-12-11 福州大学 基于层次嵌入的方面抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张璞等.基于深度学习的中文微博评价对象抽取方法.《计算机工程与设计》.2018,(第8期),第2634-2693页. *

Also Published As

Publication number Publication date
CN111639483A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN109992782B (zh) 法律文书命名实体识别方法、装置及计算机设备
CN110162749B (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
CN110737758B (zh) 用于生成模型的方法和装置
CN108255805B (zh) 舆情分析方法及装置、存储介质、电子设备
WO2019153737A1 (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN107679234A (zh) 客服信息提供方法、装置、电子设备、存储介质
CN111309915A (zh) 联合学习的自然语言训练方法、系统、设备及存储介质
US20150095017A1 (en) System and method for learning word embeddings using neural language models
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN113095080B (zh) 基于主题的语义识别方法、装置、电子设备和存储介质
CN112906397B (zh) 一种短文本实体消歧方法
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN112667782A (zh) 一种文本分类方法、装置、设备及存储介质
CN111753082A (zh) 基于评论数据的文本分类方法及装置、设备和介质
CN115688920A (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN114003682A (zh) 一种文本分类方法、装置、设备及存储介质
CN110826327A (zh) 情感分析方法、装置、计算机可读介质及电子设备
CN113705207A (zh) 语法错误识别方法及装置
CN111639483B (zh) 一种评价方面确定方法和装置
CN115827865A (zh) 一种融合多特征图注意力机制的不良文本分类方法及系统
Ling Coronavirus public sentiment analysis with BERT deep learning
CN114911940A (zh) 文本情感识别方法及装置、电子设备、存储介质
CN114398482A (zh) 一种词典构造方法、装置、电子设备及存储介质
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant