CN104049755B - 信息处理方法及装置 - Google Patents

信息处理方法及装置 Download PDF

Info

Publication number
CN104049755B
CN104049755B CN201410271542.2A CN201410271542A CN104049755B CN 104049755 B CN104049755 B CN 104049755B CN 201410271542 A CN201410271542 A CN 201410271542A CN 104049755 B CN104049755 B CN 104049755B
Authority
CN
China
Prior art keywords
vector
seed
evaluation
word
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410271542.2A
Other languages
English (en)
Other versions
CN104049755A (zh
Inventor
刘康
刘怀军
路彦雄
王巨宏
刘婷婷
徐立恒
赵军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Tencent Cyber Tianjin Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Tencent Cyber Tianjin Co Ltd filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201410271542.2A priority Critical patent/CN104049755B/zh
Publication of CN104049755A publication Critical patent/CN104049755A/zh
Priority to EP15809476.3A priority patent/EP3158419A4/en
Priority to US15/108,758 priority patent/US10235624B2/en
Priority to PCT/CN2015/081274 priority patent/WO2015192734A1/en
Application granted granted Critical
Publication of CN104049755B publication Critical patent/CN104049755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种信息处理方法及装置；所述方法包括：利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练；在第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量，在第一隐藏层对所述第一输入向量进行压缩得到第一中间向量，在第一输出层将所述第一中间向量进行解码得到第一输出向量；确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。采用本发明实施例的技术方案，能够提升从评价文本中提取观点信息的精度。

Description

信息处理方法及装置
技术领域
本发明涉及观点挖掘技术，尤其涉及一种信息处理方法及装置。
背景技术
随着互联网的迅速扩张，网络购物日益普及，许多网络购物网站提供了产品评价平台，方便用户分享产品使用经验以及对产品作出评价，这些评价无论对于消费者还是产品提供者都有重要参考价值。
目前，相关技术使用观点挖掘(也称为评论挖掘)装置对来自产品评价平台的评价文本(也称为语料)进行分析，得到用户对于产品的观点信息，但是测试证明，相关技术提供的信息处理装置所得到观点信息的准确率不高，这就使错误的观点信息成为“噪声”，过多的“噪声”导致产品提供者无法对产品的市场反应做出准确判断，也使消费者无法根据观点信息正确选择所需要的产品。
发明内容
本发明实施例提供一种信息处理方法及装置，能够提升从评价文本中提取观点信息的精度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种信息处理方法，所述方法包括：
利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量；
在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量，在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量，在所述第一输出层将所述第一中间向量进行解码得到第一输出向量；
确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
优选地，所述利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，包括：
在所述第一输入层将所述评价对象种子、所述评价词种子以及所述评价关系种子对应的向量进行连接得到第二输入向量；
在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；
更新所述深度神经网络的参数集合，直至第二输出向量与所述第二输入向量的欧氏距离最小，所述第二输出向量为在所述第一输出层对所述第二中间向量进行解码得到的向量。
优选地，所述方法还包括：
根据以下维度将所述第一观点信息中的评价对象进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；
按照降序在所述降序排序后的评价对象中选取M个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，M为大于1的整数；
利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练。
优选地，利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练之后，所述方法还包括：
在所述更新后的深度神经网络的第一输入层对所述候选评价对象、所述候选评价词以及所述候选评价关系对应的向量进行连接得到第三输入向量，在所述更新后的深度神经网络的第一隐藏层对所述第三输入向量进行压缩得到第三中间向量，在所述更新后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；
确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息。
优选地，确定解码错误值小于解码错误值阈值的第一输出向量之前，所述方法还包括：
根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，
所述解码错误值阈值与所述目标精度负相关，且与所述目标数量正相关。
优选地，在深度神经网络第一输入层，将候选评价对象、候选评价词以及候选评价关系对应的向量进行连接之前，所述方法还包括：
利用所述深度神经网络将所述候选评价对象、所述候选评价词映射为对应的向量；
在所述深度神经网络第二隐藏层至第n隐藏层将所述评价关系的句法依存路径包括的对象递归映射为向量；其中，
经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的似然比测试(LRT，Likelihood Ratio Test)指标正相关，n为正整数，且n与所述评价关系的句法依存路径包括的对象的数量对应。
优选地，在深度神经网络第一输入层，将评价对象、评价词以及评价关系映射的向量进行连接之前，所述方法还包括：
从评价文本中提取名词；
确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；
将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集。
本发明实施例还提供一种信息处理装置，包括：
训练单元，用于利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量；
连接单元，用于在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量；
压缩单元，用于在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量；
解码单元，用于在所述第一输出层将所述第一中间向量进行解码得到第一输出向量；
第一确定单元，用于确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
优选地，所述连接单元，还用于在所述第一输入层将所述评价对象种子、所述评价词种子以及所述评价关系种子对应的向量进行连接得到第二输入向量；
所述压缩单元，还用于在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；
所述解码单元，还用于在所述第一输出层对所述第二中间向量进行解码得到第二输出向量；
所述训练单元，还用于更新所述深度神经网络的参数集合，直至所述第二输出向量与所述第二输入向量的欧氏距离最小。
优选地，所述装置还包括：
排序单元，用于将所述第一观点信息中的评价对象按照以下维度进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；
更新单元，用于按照降序在所述降序排序后的评价对象中选取M个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，M为大于1的整数；
所述训练单元，还用于利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练。
优选地，所述连接单元，还用于在所述更新后的深度神经网络的第一输入层对所述候选评价对象、所述候选评价词以及所述候选评价关系对应的向量进行连接得到第三输入向量；
所述压缩单元，还用于在所述更新后的深度神经网络的第一隐藏层对所述第三输入向量进行压缩得到第三中间向量；
所述解码单元，还用于在所述更新后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；
所述第一确定单元，还用于确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息。
优选地，所述第一确定单元，还用于在确定所述第一输出向量中解码错误值小于解码错误值阈值的向量之前，根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，
所述解码错误值阈值与所述目标精度负相关，且与所述目标数量正相关。
优选地，所述装置还包括：
第一映射单元，用于利用所述深度神经网络将所述候选评价对象、候选评价词映射为对应的向量；
第二映射单元，用于在所述深度神经网络第二隐藏层至第n隐藏层将所述评价关系的句法依存路径包括的对象递归映射为向量；其中，
经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的LRT指标正相关，n为正整数，且n与所述评价关系对应的句法依存路径包括的对象的数量对应。
优选地，所述装置还包括：
提取单元，用于从评价文本中提取名词；
第二确定单元，用于确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集。
本发明实施例中，将评价对象、评价词以及评价关系对应的向量在深度神经网络第一输入层连接，并输入到第一隐藏层，由于第一隐藏层的节点数量小于第一输入层的节点数量，因此相当于在第一隐藏层对输入的向量每个维度的所表征的在语义或句法上的特性进行了压缩；当输出至第一输出层进行计算时，由于第一输出层的节点数量与第一输入层的节点数量对应，相当于对隐藏层压缩后的中间向量进行了解码输出，发明人在实施本发明的过程中发现，向量的解码错误值越小，则向量所对应的评价对象、评价词以及评价关系是正确的观点信息的概率就越大，从而可以根据解码错误值控制观点信息的提取精度，达到了提升从评价文本中提取观点信息的精度的效果。
附图说明
图1是本发明实施例中信息处理方法的实现流程图；
图2a是本发明实施例中信息处理装置的功能结构图一；
图2b是本发明实施例中信息处理装置的功能结构图二；
图2c是本发明实施例中信息处理装置的功能结构图三；
图2d是本发明实施例中信息处理装置的功能结构图四；
图3是本发明实施例中信息处理装置与评价平台连接的拓扑图；
图4是本发明实施例中句法依存路径的示意图；
图5是本发明实施例中进行词向量学习的示意图；
图6是本发明实施例中利用深度神经网络得到评价关系对应的向量的示意图一；
图7是本发明实施例中利用深度神经网络得到评价关系对应的向量的示意图二；
图8是本发明实施例中利用深度神经网络提取观点信息的示意图；
图9a～图9d是本发明实施例中利用深度神经网络提取观点信息的精度、以及相关技术提取观点信息的精度的对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
发明人在实施本发明的过程中发现，相关技术中，信息处理装置得到的观点信息包括评价对象(通常是产品的功能或属性)、评价词(表达用户观点倾向的词，可以理解为极性感情词)和评价关系(即评价词与评价对象之间的修饰关系)；发明人还发现，相关技术中信息处理装置输出的观点信息准确率不高的问题，表现在以下方面：
1)评价词识别错误。
即将未表达用户观点倾向的词识别为评价词。
例如，如果mp3领域的评价文本(即评价文本来自mp3产品的评价平台)中包括评价文本“Just another mp3I bought”，信息处理装置根据句法依存路径对评价文本进行处理时，认为与一个评价对象在句子中位置最接近的词是评价词，因此当利用“mp3”作为评价对象种子在评价文本中进行查找时，对于上述评价文本，确定“another”为修饰评价对象“mp3”的评价词，由于评价词“another”不是极性感情词(例如好，差)，导致输出了噪声观点信息，影响了提取观点信息的精度。
类似地，相关技术中，当信息处理装置使用共现统计方式确定观点信息时，如果mp3领域的评价文本中，“another”与评价对象种子“mp3”在评价文本中共同出现的次数(设为a)、与“another在评价文本中单独出现的次数(设为b)和“mp3”在评价文本中单独出现的次数(设为c)加和的比值，即a/(b+c)超过预设阈值，则确定“another”与“mp3”为观点信息中的元素，并根据词性确定“another”用于评价“mp3”，相应的观点信息为“another mp3”，导致提取出了噪声观点信息，影响了提取观点信息的精度。
2)评价对象识别错误。
即错误地识别了评价对象所修饰的词。
例如，对于评价文本“the mp3has many good things”，当信息处理装置基于句法依存路径对评价文本进行处理时，认为与一个评价对象在句子中位置最接近的词是评价词，即与评价对象最接近的词与评价对象之间存在评价关系，因此当利用“good”作为评价词种子在mp3领域的评价文本(即评价文本是mp3产品的评价文本)中进行查找时，对于上述评价文本，确定与“good”修饰的对象即评价对象是“things”，然而things与mp3产品领域无关的词，这就产生了噪声观点信息。
类似地，相关技术中当信息处理装置使用共现统计方式确定观点信息时，当以“mp3”作为评价对象种子在mp3的评价文本中进行查找时，如果评价文本中“another”与“mp3”在评价文本中共同出现的次数、“another”和“mp3”在评价文本中单独出现的次数的比值超过预设阈值，则确定“another”与“mp3”为观点信息中的元素，并根据词性确定“another”用于评价“mp3”，相应地观点信息为“another mp3”，导致产生了噪声观点信息。
结合上述分析，发明人发现，相关技术中提取观点信息时，仅仅是在评价文本中对评价词、评价对象、评价关系中的任意两个进行了验证，导致提取观点信息精度低的问题。例如，当根据评价对象种子词确定了评价词时，则确定该评价词是用于修饰评价对象种子词的，而对于所确定的评价词和评价对象种子词之间的修饰关系是否准确，则未进行验证；同理，当根据评价词种子确定了评价对象时，则确定评价词种子是用于修饰所确定的评价对象的，而对于评价词种子和所确定的评价对象之间的修饰关系是否准确，则不进行验证，导致相关技术的信息处理装置出现观点信息提取精度不高的问题；据此，发明人认为，如果从评价文本中提取观点信息时，能够对评价词、评价对象和评价关系同时进行验证，则能显著提高提取观点信息的精度。
本发明实施例记载一种信息处理方法，能够对评价文本中包含的评价词、评价对象、评价关系同时进行验证，提取观点信息的精度高，如图1所示，本发明实施例记载的信息处理方法包括以下步骤：
步骤101，利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练。
所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量。
评价对象种子、评价词种子以及评价关系种子可以与不同的产品领域如(MP3、Phone)对应，评价对象种子、评价词种子以及评价关系种子构成了相应领域产品的正确的观点信息(与噪声观点信息对立)，因此，种子也可以视为正样例，评价对象种子、评价词种子以及评价关系种子构成了观点信息正样例。
步骤102，在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量。
候选评价对象、候选评价词以及候选评价关系构成了候选观点信息，本发明实施例的目的在于从候选观点信息中提取正确的观点信息；候选评价对象、候选评价词可以从评价文本中抽取得到，例如，可以从评价文本中提取动词和形容词作为候选评价词，并从评价文本中提取名词作为候选评价对象；对于候选评价关系，可以基于评价文本的句法依存路径确定。
候选评价对象、候选评价词对应的向量可以利用深度神经网络进行词向量学习的方式得到，词向量的学习是指将候选评价对象、候选评价词映射到一个高维空间得到的向量，向量的每个维度表征词在句法或语义上的特性；本发明实施例中根据以下策略进行词向量的学习，当两个词在句法或者语义上越相近时，这两个词的词向量的欧式距离越小。
所述候选评价关系对应的向量可以通过在深度神经网络第二隐藏层至第n隐藏层将所述评价关系根据句法依存路径递归映射的方式得到；其中，经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的似然比测试LRT指标正相关，n为正整数，且n与所述评价关系对应的句法依存路径包括的对象的数量对应。
步骤103，在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量，在所述第一输出层将所述第一中间向量进行解码得到第一输出向量。
由于第一隐藏层的节点(也称为计算单元)数量小于第一输入层的节点数量，并且第一隐藏层的每个节点仅承载向量的一个维度的运算，这就可以使第一输入层输出到第一隐藏层的向量在语义或句法上的特性得到压缩，同时，由于第一输出层与第一输入层的节点数量一致，这就可以使第一隐藏层输出到第一输出层的中间向量进行了解码。
步骤104，确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
发明人在实施本发明的过程中发现，如果在第一输入层输入一个观点信息正样例对应的向量(也即评价对象种子、评价词种子和评价关系种子对应的向量连接而成的向量)，由于向量之间的语义或句法特性越相近，则向量之间的欧氏距离越小，因此，观点信息正样例的语义和句法特性应该能够很好地在第一输出层解码(也就是会得到一个较小的解码错误值)；相反地，如果在第一输入层输入一个观点信息负样例(即噪声观点信息)，那么在第一输出层输出的向量的解码错误值会大于正样例观点信息对应向量的解码错误值，导致输出层解码失败；据此，从评价文本中提取观点信息的过程，可以转化为在第一输入层输入候选评价词、候选评价对象和候选评价关系对应的第一输入向量，验证第一输出层解码错误值较小的第一输出向量的过程，例如可以将解码输出的第一输出向量中解码错误值小于解码错误值阈值的向量对应的候选评价词、候选评价对象和候选评价关系作为观点信息正样例(也即第一观点信息)输出；
在第一输入层输入候选评价词、候选评价对象和候选评价关系对应的第一输入向量之前，需要利用评价词种子、评价对象种子和评价关系种子对深度神经网络进行训练，以使深度神经网络具有对正样例观点信息对应向量的语义和句法特性在第一输出层正确解码的良好特性(即解码错误值小)；
作为一个示例，可以通过以下方式对深度神经网络进行训练：在所述第一输入层将所述评价对象种子、所述评价词种子以及评价关系种子对应的向量进行连接得到第二输入向量；在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；更新所述深度神经网络的参数集合，直至第二输出向量与所述第二输入向量的欧氏距离最小，所述第二输出向量为在所述第一输出层对所述第二中间向量进行解码得到的向量。
实际应用中，评价对象种子不可避免地存在分布稀疏的问题，这就导致从评价文本中提取的第一观点信息不全面，鉴于此，可以将所述第一观点信息中的评价对象按照以下维度进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；按照降序选取M(M为大于1的整数)个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，也就相当于根据第一次从评价文本中提取的观点信息(即第一观点信息)对评价对象种子进行了扩充，如此，利用评价词种子、评价关系种子以及更新后的评价对象种子对所述深度神经网络进行重新训练，能够使深度神经网络具有对正样例观点信息对应向量的语义和句法特性在第一输出层进行正确解码的良好特性；
相应地，可以在更新后的深度神经网络的第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第三输入向量，在更新后的深度神经网络的第一隐藏层对第三输入向量进行压缩得到第三中间向量，在更新后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息，由于第二观点信息是基于重新训练后的深度神经网络得到的，因此第二观点信息相对第一观点信息更加全面，也即相较于第一观点信息包括更多的候选评价词正样例、候选评价对象正样例以及候选评价关系正样例。
为了进一步克服评价对象种子分布稀疏的问题，在深度神经网络第一输入层，将评价对象、评价词以及评价关系映射的向量进行连接以训练深度神经网络之前，还可以从评价文本中提取名词；确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集；相当于基于评价文本对评价对象种子进行了扩充，由于扩充的评价对象种子是从评价文本中获取的评价对象正样例，因此利用扩充后的评价对象种子、以及评价词种子、评价关系种子对深度神经网络进行训练，能够使深度神经网络具有对正样例观点信息对应向量的语义和句法特性在第一输出层进行正确解码的更加良好的特性。
实际应用中，可以根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，所述解码错误值阈值与所述目标精度负相关，所述解码错误值阈值与所述目标数量正相关；也就是说，解码错误值阈值越小，则第一观点信息和第二观点信息的精度越高，由于解码错误值阈值变小，相当于提高了对解码精度的要求，因此在第一输出层得到的小于解码错误值的第一输出向量也就越少，相应地第一观点信息(或第二观点信息)的数量也就越少；反之亦然。
本发明实施例中，将评价对象、评价词以及评价关系对应的向量在深度神经网络第一输入层连接，并输入到第一隐藏层，由于第一隐藏层的节点数量小于第一输入层的节点数量，因此相当于在第一隐藏层对输入的向量每个维度的所表征的在语义或句法上的特性进行了压缩；当输出至第一输出层进行计算时，由于第一输出层的节点数量与第一输入层的节点数量对应，相当于对隐藏层压缩后的中间向量进行了解码输出，发明人在实施本发明的过程中发现，向量的解码错误值越小，则向量所对应的评价对象、评价词以及评价关系是正确的观点信息的概率就越大，从而可以根据解码错误值控制观点信息的提取精度，达到了提升从评价文本中提取观点信息的精度的效果；同时，向量是由候选评价对象、候选评价词以及候选评价关系对应的向量连接而成，这就相当于在提取观点信息时，利用解码错误阈值同时对评价对象、评价词以及评价关系进行了验证，则提取观点信息的精度必然高于相关技术。
本发明实施例还记载一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行图1所示的信息处理方法。
本发明实施例还记载一种信息处理装置，如图2所示，包括：
训练单元21，用于利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量；
连接单元22，用于在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量；
压缩单元23，用于在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量；
解码单元24，用于在所述第一输出层将所述第一中间向量进行解码得到第一输出向量；
第一确定单元25，用于确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
作为一个实施方式，所述连接单元22，还用于在所述第一输入层将所述评价对象种子、所述评价词种子以及评价关系种子对应的向量进行连接得到第二输入向量；
所述压缩单元23，还用于在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；
所述解码单元24，还用于在所述第一输出层对所述第二中间向量进行解码得到的第二输出向量；
所述训练单元21，还用于更新所述深度神经网络的参数集合，直至所述第二输出向量与所述第二输入向量的欧氏距离最小。
作为一个实施方式，如图2b所示，在图2a所示装置的基础上，所述装置还可以包括：
排序单元25，用于将所述第一观点信息中的评价对象按照以下维度进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；
更新单元26，用于按照降序在所述降序排序的评价对象中选取M个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，M为大于1的整数；
所述训练单元21，还用于利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练。
作为一个实施方式，所述连接单元22，还用于在所述更新后的深度神经网络的第一输入层对所述候选评价对象、所述候选评价词以及所述候选评价关系对应的向量进行连接得到第三输入向量；
所述压缩单元23，还用于在所述更新后的深度神经网络的第一隐藏层对所述第三输入向量进行压缩得到第三中间向量；
所述解码单元24，还用于在所述更新后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；
所述第一确定单元25，还用于确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息。
作为一个实施方式，所述第一确定单元25，还用于在确定所述第一输出向量中解码错误值小于解码错误值阈值的向量之前，根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，所述解码错误值阈值与所述目标精度负相关，所述解码错误值阈值与所述目标数量正相关。
作为一个实施方式，如图2c所示，在图2a所示装置的基础上，所述装置还包括：
第一映射单元27，用于利用所述深度神经网络将所述候选评价对象、候选评价词映射为对应的向量；
第二映射单元28，用于在所述深度神经网络第二隐藏层至第n隐藏层将所述评价关系的句法依存路径包括的对象递归映射为对应的向量；其中，
经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的LRT指标正相关，n为正整数，且n与所述评价关系对应的句法依存路径包括的对象的数量对应。
作为一个实施方式，如图2d所示，在图2a所示装置的基础上，所述装置还可以包括：
提取单元29，用于从评价文本中提取名词；
第二确定单元210，用于确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集。
需要说明的是，上述信息处理装置进行信息处理的技术特征，与上述方法实施例记载的技术特征是对应的，对于在装置实施例中未披露的细节，请参见上述方法实施例的记载。
需要说明的是，本发明实施例记载的信息处理装置可以运行于一个或多个服务器中，信息处理装置中的各单元可由信息处理装置中的中央处理器(CPU，CentralProcessing Unit)、协处理计算卡实现。
下面再结合实际处理场景进行说明，如图3所示，信息处理装置(也可以视为观点挖掘装置)与运行评价平台的服务器存在数据连接，以从评价平台服务器中获取某一领域的评价文本进行观点挖掘并输出观点信息，这里，所述的评价平台可以为任意产品评价平台(例如淘宝、亚马逊的评价平台)，由于当前的评价平台总是基于产品类别、型号存储产品的评价信息，因此，本发明实施例记载的信息处理装置可以直接从运行评价平台的服务器获取某一领域产品的评价文本，下面对信息处理装置的处理进行说明。
步骤一、获取种子
对来自评价平台的评价文本进行处理之前需要获取种子，所获取的种子包括评价词种子、评价对象种子和评价关系种子；评价词种子、评价对象种子和评价关系种子可以构成观点信息(也称为评价短语)。
1)对于评价词种子，信息处理装置从感情词库SentiWordNet获取186个领域(与不同的产品对应)独立的评价词作为评价词种子集合OS。
2)对于评价对象种子，信息处理装置使用LRT指标确定评价对象种子。
以确定mp3领域的评价对象种子为例，首先，信息处理装置将名词或名词短语作为评价对象，并使用分词工具(如斯坦福分词工具)对评价文本进行分词，得到名词集合{Ti}；
其次，基于mp3领域的初始评价对象种子集合{Ti}(Ti对应mp3的产品属性，例如存储容量、尺寸、硬件配置等)，确定Ti与从mp3领域的评价文本中抽取的名词集合{Tj}之间的LRT指标；
再次，将LRT指标最高的预设数量的Tj与初始对象种子集合{Ti}合并，作为评价对象种子集合TS；由于LRT指标反映了Tj与初始评价对象种子T的相关度，也就是说，Tj与Tj的相关度越高，Tj表征mp3领域的产品属性的可能性就越大，因此，本发明实施例中根据mp3的评价文本对mp3领域的初始评价对象种子集合{Ti}进行扩充，从而能够根据实际应用中不同的评价文本确定相应的评价对象，克服了评价对象分布系数导致提取的观点信息片面的缺陷；LRT指标的一个示例如公式(1)所示：
LRT＝2logL(p1,k1,n1)+log L(p2,k2,n2)-log L(p,k1,n1)-log{p,k2,n2} (1)
其中，k1＝tf(Ti,Tj), k 2 = tf ( T i , T j ‾ ) , k 3 = tf ( T i ‾ , T j ) , k 4 = tf ( T i ‾ , T j ‾ ) , tf()表示出现频率；L(p,k,n)＝pk(1-p)n-k，n1＝k1+k3，n2＝k2+k4，p1＝k1/n1，p1＝k2/n2。
还需要说明的是，对于评价文本，由于评价对象还可能以多个词连接的形式出现，信息处理装置可能将评价文本中的名词词组分割为单个名词，因此有必要先对评价文本中的名词短语进行检测，并将短语合并成为一个词语，实际应用中，可以基于共现统计的方式确定名词短语，即将出现频度超过一定阈值的连续多个名词连接为名词短语t，出现频繁程度的一个示例如公式(2)所示：CValue(t)＝log(|t|)×tf(t)，当t被其他短语包含时
CValue ( t ) = log ( | t | ) × tf ( t ) - 1 n ( L ) Σ l ∈ L tf ( l ) , 当t未被其他短语包含时 (2)
其中，|t|表示t中包含的词语个数，tf(t)是t在评价文本中出现的次数，L表示包含t的所有可能短语集合，n(L)表示集合L的数量。
3)对于评价关系种子，由于评价文本中的评价关系可以使用评价文本句子中的句法依存关系表示，因此，信息处理装置可以从评价文本中提取出评价关系模板，作为初始评价关系种子集合RS；下面进行说明。
首先对评价文本中的所有句子进行句法依存分析，然后通过模板抽取技术(例如评价关系图游走算法)从句法依存路径中提取出评价关系模板。图4展示了一个英文例句“The style of the screen is gorgeous”的句法依存路径，为了提取评价关系模板，首先将句中的词语替换为通配符，这里用通配符<TC>表示候选评价对象，用<OC>表示候选评价词，图4中的“gorgeous”和“screen”被分别替换为<OC>和<TC>，句法树中的其他词则被替换为对应的词性标签，以下举模板示例进行说明：
TC-TC模板：该模板对应抽取两个评价对象并列出现的情况，如例句“这衣服的颜色和款式都不错”中，颜色和款式为两个并列出现评价对象。
OC-TC模板：该模板对应一个评价词修饰一个评价对象的情况，如例句“这衣服的面料都很棒”中，“面料”为评价对象，“很棒”为评价词。
OC-OC模板：该模板对应两个评价词并列出现的情况。
在信息处理装置提取模板过程中，将一个候选评价词<OC>到达一个候选评价对象<TC>在句法树上的最短路径，作为一个评价关系模板，参见图3，图3中两个<TC>之间的最短路径是<TC>-{mod}-(Prep)-{pcomp-n}-<TC>，对应一个TC-TC模板；而图3中<OC>到<TC>的最短路径为<OC>-{pred}-(VBE)-{s}<TC>，对应一个OC-TC模板。
实际应用中，信息处理装置提取的模板越长，则模板所表达的语义准确性越低，因此，信息处理装置可以根据模板长度阈值提取模板，例如，当模板长度阈值为4时，则信息处理装置所提取的模板最多包括4个词；信息处理装置还可以对所提取出的模板按照在评价文本中出现的频率排序，并将出现频率超过预设阈值的模板作为评价关系模板种子。
由于观点信息采用短语的形式，因此观点信息等同于评价短语，相应地，本发明实施例中，信息处理装置可以采用以下方式表示上述得到的种子集合：se＝{so,st,sr}，其中，so∈OS,st∈TS,sr∈RS。
步骤二、基于评价文本提取候选观点信息
本发明实施例中采用以下方式表征一个观点信息，e＝{o,t,r}；其中，o为评价词(表达用户观点倾向的词，可以理解为极性感情词)，t为评价对象(通常是产品的功能或属性)、r(即评价词是用于修饰评价对象的)表示评价词o用于修饰评价对象t；在观点信息的一个示例中，“this mp3has clear screen”中，o＝{clear}，t＝{screen}，r表示clear用于修饰screen；由于观点信息采用短语的形式，因此从评价文本(也称为语料)中提取候选观点信息，等同于从来自评价平台的评价文本中提取候选评价短语；
由于候选评价短语往往采用动词和形容词的形式，而候选评价对象往往采用名词的形式，因此，本发明实施例记载的信息处理装置从评价文本中提取出名词作为候选评价对象，并提取出动词和形容词作为候选评价词，候选评价对象的集合C可以采用以下方式表示：C＝{OC,TC}；其中OC表示候选评价词，TC表示候选评价对象；
相应地，候选评价短语的集合可以采用以下方式表示；ce＝{co,ct,cr}，其中，co∈OC,ct∈TC,对于co与ct之间的候选评价关系cr，可以由信息处理装置基于评价文本中的句法依存路径确定，步骤一中已经进行了详细说明，这里不再赘述。
步骤三、词向量学习
即将上述步骤确定的评价词种子、评价对象种子、评价对象候选词、候选评价词映射为词向量(又称为词表示)，词向量是与每一个词一一对应的数学对象，词向量可以采用向量形式表示，词向量的每一个维度承载了词在句法或者语义上的某种潜在信息，词向量学习是指将词映射到一个高维空间得到对应的词向量；本步骤通过词向量的学习的目的在于：当两个词在句法或者语义上越相近时，这两个词的词向量的欧式距离越小。
信息处理装置使用实数矩阵LT表示|Vw|个词的词向量，每个词向量的维度为n，相应地，也就是说LT由|Vw|个词的词向量构成，矩阵LT的第i列对应|Vw|个词中第i个词Ti的词向量，矩阵LT第i列的每一个维度承载了词Ti在句法或者语义上的潜在信息，对于Ti的词向量xi可以用xi＝LTbi表示，其中，对于上述|Vw|个词，信息处理装置得到实数矩阵LT的过程也即词向量的训练过程，当完成词向量的训练得到矩阵LT时，矩阵LT中对应|Vw|个词中任意两个词在句法或者语义上越相近，则这两个词的词向量的欧式距离越小，为了满足上述条件，以对前述的候选词集合C进行词向量训练为例，信息处理装置可以根据公式(3)训练词向量：
&theta; ^ = arg min &theta; &Sigma; c &Element; C &Sigma; v &Element; V w max { 0,1 - s &theta; ( c ) + s &theta; ( v ) } - - - ( 3 )
其中，sθ(c)＝深度神经网络对于输入c(c为候选评价词或候选评价对象)；sθ(v)＝深度神经网络对于输入一个随机词v的得分，C＝{OC,TC}，θ是用于训练词向量的深度神经网络(DNN，Deep Neural Network)的参数集合，的值表征c和v在语义或句法上的相关度，当的值越小，则c和v在语义或句法上的相关度越大，因此，当通过遍历c和v，得到最小值，将最小值对应的c和v映射为欧式距离最小的向量。
发明人在实施本发明的过程中发现，深度神经网络用于供信息处理装置进行词向量的学习是一个非常有效的工具；并且，由于实际应用中，评价文本中的负样例(在任何领域均不构成观点信息的评价词、评价对象和评价关系)难以获得，因此，本发明实施例中采用单分类(One-Class Classificaiton)技术，也即仅采用正样例(对应步骤一中确定评价对象种子、评价词种子和评价关系种子)确定评价文本中观点信息；也就是说，本发明实施例中可以将深度神经网络技术与单分类技术融合为单分类深度神经网络(OCDNN)技术，下面对信息处理装置使用单分类深度神经网络技术进行词向量学习的处理进行说明，如图5所示，以将评价词和评价对象映射为词向量为例，这里所述的评价词包括步骤一获取的评价词种子和步骤二获取的候选评价词，所述评价对象包括步骤获取的评价对象种子和步骤二获取的候选评价对象；如图5所示，图5中的每一个空心圆圈表示深度神经网络的一个计算单元，每个计算单元承载评价词或评价对象(对应实心圆圈)的词向量的一个维度的训练，训练(对应竖线阴影圆圈)的目标为使句法或语义相近的词向量的欧氏距离最小，实际应用中，可以按照公式(3)所示的标准进行词向量的训练。
步骤四、获得评价关系的向量表示
与步骤三的处理类似地，本步骤的目的在于将评价关系(包括步骤一得到的评价关系种子、以及步骤三得到的候选评价关系)映射为向量，如图6所示，评价关系包括三个对象(对应实心圆圈)，计算单元将这三个对象按照句法依存路径(也即三个对象之间的句法依存关系)迭代合并，以映射为表示评价关系的向量；
评价关系按照句法依存路径映射为向量的一个示意图如图7所示，对于例句“tooloud to listen to the player”，信息处理装置确定评价词co(loud)和评价对象ct(player)之间的句法依存路径，由于处理评价关系时只需关注对象(与词对应)之间的句法依存关系，因此使用通配符OC和TC对应替代co和ct；从OC出发，沿句法依存路径逐步把该句法依存路径包括的对象映射为向量，直至句法依存路径遍历完毕；对于图7所示的句法依存路径：[OC](loud)-listen-to-[TC](player)，首先将[OC](对应x1)与listen(对应x2)映射为向量y1，然后将y1与“to”(对应x3)合并得到向量y2，并将y2与[TC](对应x4)得到评价关系的向量y3；至此，图7所示的句法依存路径对应的评价关系被映射为向量y3，下面对具体实现进行说明：
1)将[OC](对应x1)与listen(对应x2)映射为向量y1
图2中的虚线框展示了将OC(对应x1)和“listen”(对应x2)映射到n维向量(对应y1)的过程，从图7可以看出，输入层(对应OC和“listen”)的节点(即计算单元)的数量等于输出层(对应y1)的节点个数，由于每个计算单元承载向量的一个维度的训练，因此相当于把OC(对应x1)和“listen”(对应x2)的句法或语义上的特性压缩到向量y1中，y1可以用公式(4)表示：
y1＝f(W(dep)[x1:x2]+b) (4)
其中，[x1；x2]表示OC(对应x1)和“listen”(对应x2)对应的向量的连接，f()是sigmoid函数，W(xcomp)是x1和x2之间的句法依存关系即宾语补足语(xcomp)关系对应的参数矩阵，W(xcomp)的初始值如公式(5)所示：
W(dep)＝1/2[I1；I2；Ib]+ε (5)
其中，I1与句法依存关系(即x1和x2之间的xcomp)对应，I1是一个n阶矩阵，I2是一个n维空向量，ε产生自均匀分布U[-0.001,0.001]。
2)将y1与“to”(对应x3)映射为向量y2
输入层(对应y1和“to”)的节点(即计算单元)的数量等于输出层(对应y1)的节点个数，由于每个计算单元承载向量的一个维度的训练，因此相当于把y1和“to”的句法或语义的特性压缩到向量y2中，y2可以用公式(6)表示：
y2＝f(W(prep)[y1:x3]+b) (6)
其中，[y1:x3]表示y1和“to”(对应x3)对应的向量的连接，f()是sigmoid函数，W(prep)是y1和x3之间的句法依存关系即介词(prep)关系对应的参数矩阵，W(prep)的初始值如公式(7)所示：
W(prep)＝1/2[I3；I4；Ib]+ε (7)
其中，I3与句法依存关系(即x1和x2之间的句法依存关系xcomp)对应，I3是一个n阶矩阵，I4是一个n维空向量，ε产生自均匀分布U[-0.001,0.001]。
3)将y2与[TC](对应x4)映射为向量y3
输入层(对应y2和[TC])的节点(即计算单元)的数量等于输出层(对应y4)的节点个数，由于每个计算单元承载向量的一个维度的训练，因此相当于把y2和[TC]的语义或句法特性压缩到向量y3中，y3可以用公式(8)表示：
y3＝f(W(pobj)[y2；x3]+b) (8)
其中，[y2:x3]表示y2和[TC](对应x4)对应的向量的连接，f()是sigmoid函数，W(pobj)是y1和x3之间的句法依存关系即介宾(pobj)关系对应的参数矩阵，W(pobj)的初始值如公式(9)所示，
W(pobj)＝1/2[I5；I6；Ib]+ε (9)
其中，I5与句法依存关系(即y1和x3之间的句法依存关系xcomp)对应，I6是一个n阶矩阵，I4是一个n维空向量，ε产生自均匀分布U[-0.001,0.001]。4)训练W(xcomp)、W(prep)、W(pobj)
重复步骤1)至3)，以调整W(xcomp)、W(prep)、W(pobj)值，使公式(10)、(11)、(12)对应的递归解码器的输入层与输出层之间的欧氏距离最小：
Erae1＝||[x1；x2]-[x1′；x2′]||2 (10)
Erae2＝||[y1；x3]-[y1′；x3′]||2 (11)
Erae3＝||[y2；x4]-[y2′；x4′]||2 (12)
其中，Erae1为输入层x1；x2与输出层的[x1；x2]的解码(解码过程在图7中以虚线表示)值[x1′；x2′]之间的欧式距离，[x1′；x2′]＝yW1 (out)，W1 (out)的初始值为Erae2为输入层的[y1；x3]与输出层的解码(解码过程在图7中以虚线表示)值[y1′；x3′]之间的欧式距离，[y1′；x3′]＝y2W2 (out)，W2 (out)的初始值为Erae3为输入层[y2；x4]与输出层[y2；x4]的解码(解码过程在图7中以虚线表示)值[y2′；x4′]之间的欧式距离，[y2′；x4′]＝y3W3 (out)，W3 (out)的初始值为实际应用中，步骤1)至3)可以多次执行，每次在输出层对隐藏层的所映射的y1、y2、y3进行解码时，总是利用更新后的W1 (out)、W2 (out)、W3 (out)对应对y1、y2、y3进行解码；在图7中，对W(xcomp)、W(prep)、W(pobj)进行训练时，会利用W1 (out)、W2 (out)、W3 (out)对应对y1、y2、y3进行递归解码，因此图7所示的深度神经网络可以视为一个递归自解码器。
步骤四、训练深度神经网络，提取第一观点信息
1)训练深度神经网络
即将评价词种子、评价对象种子、以及评价关系种子se＝{so,st,sr}对应的向量ce＝{co,ct,cr}在图8所示的上层神经网络的输入层进行连接，在隐藏层对输入层输入的向量进行压缩，使得输出层对压缩后的向量进行解码输出后的得到的向量，与压缩前的向量的欧式距离最小。
2)提取第一观点信息
具体如图8所示，将图6所示的通过词向量学习得到的评价词种子和评价对象种子对应向量vo、vt，以及图7所示的通过自解码器得到的评价关系种子的向量vr，在图8所示上层深度神经网络的输入层连接为向量ve＝(vo,vt,vr)，并且，上层神经网络的隐藏层节点个数小于输入层节点个数，由于每个节点承载向量一个维度的运算，因此使用这样的一个“瓶颈”网络结构，就会在隐藏层得到维度小于ve维度的向量，也就是使输入层输入的向量ve在语义或句法上的特性在隐藏层被压缩；在深度神经网络上层解码器的输出层，将隐藏层所得到对向量ve压缩后得到的向量解码输出，由于输出层与输入层的节点数量一致，每个节点用于承载向量ve一个维度的运算，因此在输出层得到的向量ve的解码向量与向量ve的维度一致，图8所示的上层深度神经网络实现了压缩、解码的功能，也可以视为一个自解码器。
下面对图8所示的自解码器的结构进行说明，发明人在实施本发明的过程中发现，对于图8所示的自解码器，如果在输入层输入一个正样例观点信息，即se＝{so,st,sr}对应的向量ve＝(vo,vt,vr)，由于在ve＝(vo,vt,vr)中，向量之间的语义或句法特性越相近，则向量之间的欧氏距离越小(具体说明参见步骤三)，因此，观点信息正样例的语义或句法特性应该能够很好地在输出层解码(也就是会得到一个较小的解码错误值)；相反地，如果在输入层输入一个负样例观点信息对应的向量，那么在输出层输出的向量的解码错误值会大于正样例观点信息对应向量解码错误值，导致输出层解码失败；据此，从评价文本中提取观点信息(即评价短语)的过程，可以转化为在输入层输入候选评价词、候选评价对象和候选评价关系对应的向量vc＝(vco,vct,vcr)时，验证输出层解码错误值小于解码错误值阈值的输出向量(对应评价词、评价对象和评价关系)的过程，也就是将解码错误值小于解码错误值阈值的输出向量对应的评价词、评价对象和评价关系作为第一观点信息。
信息处理装置可以根据解码错误值阈值对输出层输出的向量进行过滤，将输出的向量中解码错误值小于阈值的向量所对应的候选评价词、候选评价对象和候选评价关系作为第一观点信息输出。
实际应用中，可以引入评价对象负样例负样例来确定的值，例如可以将常用名词中不是评价对象的词例如“thing”、“one”作为评价对象负样例GN，从SentiWordNet获取评价词正样例VO，根据公式(13)和(14)确定的值：
其中，PE表示观点信息，该观点信息(包括评价词、评价对象和评价关系)与输出层输出的向量中解码错误值小于的向量对应，Er()为输出层解码错误值，tf(t)是评价对象t在PE中出现的次数，tf+(t)是评价对象t被正确识别为评价对象正样例的次数；pp(t)是PE中的评价对象t被识别为评价对象正样例的次数与评价对象在评价文本中出现的次数的比值，与正相关，表征了信息处理装置从评价文本中提取观点信息的精度，越小则提取观点信息精度越高，但提取的观点信息也越少，越大则提取观点信息精度越低，相应地提取的观点信息数量越多(即将评价对象负样例识别为评价对象正样例的比例增大)；因此可以根据实际需要调整的值，例如，场景1中，当对输出层输出观点信息的精度要求较高而不关注输出观点信息的数量时，可以设置较高的值,例如0.1，此时将输出层解码得到的向量中解码错误值小于0.1的向量与第一观点信息对应；场景2中，当对输出层输出观点信息的精度要求较场景1低且需要输出相对场景1较多的观点信息时，可以设置较场景1大的值,例如0.2，此时输出层解码得到的向量中解码错误值小于0.2的向量与第一观点信息对应。
可以看出，由于输出层的输出向量同时包括了评价词、评价对象和评价关系，且信息处理装置在上层深度神经网络输出层对输出的向量根据解码错误值进行过滤，相当于对候选评价词、候选评价对象和候选评价关系进行联合验证，以得到观点信息，与相关技术只验证评价词、评价对象和评价关系中的两个相比，提取观点信息的精度更高。
需要指出的是，在步骤四中，由于信息处理装置使用图8所示的递归自解码器，把评价关系中的每一个词的词向量通过句法依存路径合并，因此，信息处理装置输出的解码错误值小于阈值的向量中，就会包括评价关系与评价关系种子结构相似的观点信息，这就相当于对评价关系种子进行了扩充，避免了评价关系种子分布稀疏导致提取观点信息不全面的问题。
步骤五、重新训练深度神经网络，提取第二观点信息
即从第一观点信息中获取新的评价对象种子并合并入评价对象种子集合TS，以利用TS作为新的评价对象种子重新训练深度神经网络，在训练完成后，在图8所示的上层深度神经网络的输入层将在图8所示的上层神经网络的输入层将候选评价词、候选评价对象和候选评价关系对应的向量连接为向量vc＝(vco,vct,vcr)，在隐藏层进行压缩，在输出层进行解码，将解码错误值小于解码错误值阈值的向量对应的候选评价词、候选评价对象和候选评价关系确定为第二观点信息，下面进行详细说明。
将步骤五输出的第一观点信息中的评价对象t根据公式(15)降序排列：
s(t)＝pp(t)×log tf(t) (15)
其中，pp(t)＝tf+(t)/tf(t)，tf+(t)表示t被识别为评价对象正样例的次数，tf(t)表示t在评价文本中出现的次数；
s(t)反映了t在评价文本中出现的次数、以及t被识别为评价对象正样例的次数，当t在评价文本中出现的次数、以及t被识别为评价对象正样例的次数越大，则t为评价对象正样例的概率就越大，基于此，将s(t)最大的M个评价对象t作为评价对象种子并入步骤一所述的评价对象种子集合TS，并利用扩充后的TS重新训练图8所示的上层深度神经网络；当训练完成后，在图8所示的上层深度神经网络的输入层将将候选评价词、候选评价对象和候选评价关系对应的向量连接为向量vc＝(vco,vct,vcr)，在隐藏层进行压缩，在输出层进行解码，将解码错误值小于解码错误值阈值的向量对应的候选评价词、候选评价对象和候选评价关系确定为第二观点信息。
由于对TS进行了扩展，在进行词向量学习时，能够克服TS中的评价对象稀疏分布的缺陷，从而使步骤五中提取的观点信息更加精确。
为了验证步骤五对从评价文本中提取观点信息的精度的影响，发明人进行了如下实验：
对利用深度神经网络技术所实施的本发明实施例记载的方法从MP3领域、Hotel领域、Mattress领域以及Phone领域的评价文本提取观点信息，每次提取出观点信息之后，将s(t)最大的M个评价对象t添加入评价对象种子集合TS重新训练图8所示的上层深度神经网络，并重新从上述领域的评价文本中提取观点信息；
利用相关技术的DP方法、LRTBOOT进行上述实验，每次提取精度如图9a至图9d的竖坐标所示，横坐标表示M与提取出的观点信息数量的比值；可以看出，深度神经网络技术所实施的本发明实施例记载的方法提取观点信息的精度明显优于相关技术；并且，随着评价对象种子集合TS的扩充，深度神经网络技术所实施的本发明实施例记载的方法提取观点信息的精度会出现先上升后下降的现象，这是由于随着评价对象种子集合TS的扩充，越来越多的噪声评价对象加入了评价对象集合TS，因此，实际应用中，步骤六可以只执行一次，以避免将噪声评价对象作为种子加入集合TS，导致提取观点信息精度下降的问题。
为了验证本发明实施例所带来的有益效果，本发明实施例中，对利用深度神经网络技术所实施的本发明实施例记载的方法、与AdjRule方法、DP方法、DP-HIT方法、LRTBOOT方法进行了比较，进行了如下实验：
采用准确率(用P表示)、召回率(用R表示)与F值评估不同方法从评价文本中提取评价词和评价对象的结果，定义如下：
P＝识别出的正样例词的个数/识别出的所有词的个数
R＝识别出的正样例词的个数/评价文本中正样例词的个数
F＝2PR/(P+R)
如表1所示，在采用相同的测试数据时，本发明实施例中提供的技术方案提取不同领域正样例词的比例优于相关技术提供的方法，
表1
表2和表3给出了本发明实施例中提供的技术方案提取观点信息(包括评价词、评价对象和评价关系)的比例，实际应用中，从评价文本中提取观点信息的精度比单纯识别正样例评价词和正样例评价对象的精度更具有说服力，从表2和表3可以看出，本发明实施例提供的技术方案中所实现的P、R、F参数优于相关技术实现的P、R、F参数；其中，D1～D2代表不同领域的评价文本测试库。
表2
表3
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种信息处理方法，其特征在于，所述方法包括：
利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量；
在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量，在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量，在所述第一输出层将所述第一中间向量进行解码得到第一输出向量；
确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
2.如权利要求1所述的方法，其特征在于，所述利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，包括：
在所述第一输入层将所述评价对象种子、所述评价词种子以及所述评价关系种子对应的向量进行连接得到第二输入向量；
在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；
更新所述深度神经网络的参数集合，直至第二输出向量与所述第二输入向量的欧氏距离最小，所述第二输出向量为在所述第一输出层对所述第二中间向量进行解码得到的向量。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据以下维度将所述第一观点信息中的评价对象进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；
按照降序在所述降序排序后的评价对象中选取M个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，M为大于1的整数；
利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练。
4.如权利要求3所述的方法，其特征在于，利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练之后，所述方法还包括：
在所述训练后的深度神经网络的第一输入层对所述候选评价对象、所述候选评价词以及所述候选评价关系对应的向量进行连接得到第三输入向量，在所述训练后的深度神经网络的第一隐藏层对所述第三输入向量进行压缩得到第三中间向量，在所述训练后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；
确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息。
5.如权利要求1所述的方法，其特征在于，确定解码错误值小于解码错误值阈值的第一输出向量之前，所述方法还包括：
根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，
所述解码错误值阈值与所述目标精度负相关，且与所述目标数量正相关。
6.如权利要求1所述的方法，其特征在于，在深度神经网络第一输入层，将候选评价对象、候选评价词以及候选评价关系对应的向量进行连接之前，所述方法还包括：
利用所述深度神经网络将所述候选评价对象、所述候选评价词映射为对应的向量；
在所述深度神经网络第二隐藏层至第n隐藏层将所述评价关系的句法依存路径包括的对象递归映射为向量；其中，
经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的似然比测试LRT指标正相关，n为正整数，且n与所述评价关系的句法依存路径包括的对象的数量对应。
7.如权利要求1至6任一项所述的方法，其特征在于，在深度神经网络第一输入层，将评价对象、评价词以及评价关系映射的向量进行连接之前，所述方法还包括：
从评价文本中提取名词；
确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；
将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集。
8.一种信息处理装置，其特征在于，包括：
训练单元，用于利用评价对象种子、评价词种子以及评价关系种子对深度神经网络进行训练，所述深度神经网络包括第一输入层、第一隐藏层以及第一输出层，所述第一输入层与所述第一输出层的节点的数量对应，且所述第一输入层的节点的数量大于所述第一隐藏层的节点的数量；
连接单元，用于在所述第一输入层对候选评价对象、候选评价词以及候选评价关系对应的向量进行连接得到第一输入向量；
压缩单元，用于在所述第一隐藏层对所述第一输入向量进行压缩得到第一中间向量；
解码单元，用于在所述第一输出层将所述第一中间向量进行解码得到第一输出向量；
第一确定单元，用于确定解码错误值小于解码错误值阈值的第一输出向量，并将所确定的第一输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第一观点信息。
9.如权利要求8所述的装置，其特征在于，
所述连接单元，还用于在所述第一输入层将所述评价对象种子、所述评价词种子以及所述评价关系种子对应的向量进行连接得到第二输入向量；
所述压缩单元，还用于在所述第一隐藏层对所述第二输入向量进行压缩得到第二中间向量；
所述解码单元，还用于在所述第一输出层对所述第二中间向量进行解码得到第二输出向量；
所述训练单元，还用于更新所述深度神经网络的参数集合，直至所述第二输出向量与所述第二输入向量的欧氏距离最小。
10.如权利要求8所述的装置，其特征在于，所述装置还包括：
排序单元，用于将所述第一观点信息中的评价对象按照以下维度进行降序排序：所述第一观点信息中的评价对象在评价文本中出现的次数；所述第一观点信息中的评价对象被识别为评价对象正样例的次数；
更新单元，用于按照降序在所述降序排序后的评价对象中选取M个评价对象，将所选取的M的评价对象确定为所述评价对象种子的子集，M为大于1的整数；
所述训练单元，还用于利用更新后的所述评价对象种子、所述评价词种子以及所述评价关系种子对所述深度神经网络进行训练。
11.如权利要求10所述的装置，其特征在于，
所述连接单元，还用于在所述训练后的深度神经网络的第一输入层对所述候选评价对象、所述候选评价词以及所述候选评价关系对应的向量进行连接得到第三输入向量；
所述压缩单元，还用于在所述训练后的深度神经网络的第一隐藏层对所述第三输入向量进行压缩得到第三中间向量；
所述解码单元，还用于在所述训练后的深度神经网络的第一输出层将所述第三中间向量进行解码得到第三输出向量；
所述第一确定单元，还用于确定解码错误值小于解码错误值阈值的第三输出向量，并将所确定的第三输出向量对应的候选评价对象、候选评价词以及候选评价关系确定为第二观点信息。
12.如权利要求8所述的装置，其特征在于，
所述第一确定单元，还用于在确定所述第一输出向量中解码错误值小于解码错误值阈值的向量之前，根据以下维度确定所述解码错误值阈值：
从评价文本中提取观点信息的目标精度；从所述评价文本中提取观点信息的目标数量；其中，
所述解码错误值阈值与所述目标精度负相关，且与所述目标数量正相关。
13.如权利要求8所述的装置，其特征在于，所述装置还包括：
第一映射单元，用于利用所述深度神经网络将所述候选评价对象、候选评价词映射为对应的向量；
第二映射单元，用于在所述深度神经网络第二隐藏层至第n隐藏层将所述评价关系的句法依存路径包括的对象递归映射为向量；其中，
经过映射所得到向量中任意两个向量的欧氏距离与所述任意两个向量在语义或句法上的似然比测试LRT指标正相关，n为正整数，且n与所述评价关系对应的句法依存路径包括的对象的数量对应。
14.如权利要求8至13任一项所述的装置，其特征在于，所述装置还包括：
提取单元，用于从评价文本中提取名词；
第二确定单元，用于确定初始评价对象种子与评价文本中提取的名词之间的LRT指标；将所提取的名词中与所述初始评价对象种子的LRT指标大于LRT指标阈值的名词确定为所述评价对象种子的子集。
CN201410271542.2A 2014-06-18 2014-06-18 信息处理方法及装置 Active CN104049755B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410271542.2A CN104049755B (zh) 2014-06-18 2014-06-18 信息处理方法及装置
EP15809476.3A EP3158419A4 (en) 2014-06-18 2015-06-11 Information processing method and apparatus
US15/108,758 US10235624B2 (en) 2014-06-18 2015-06-11 Information processing method and apparatus
PCT/CN2015/081274 WO2015192734A1 (en) 2014-06-18 2015-06-11 Information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410271542.2A CN104049755B (zh) 2014-06-18 2014-06-18 信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN104049755A CN104049755A (zh) 2014-09-17
CN104049755B true CN104049755B (zh) 2017-01-18

Family

ID=51502720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410271542.2A Active CN104049755B (zh) 2014-06-18 2014-06-18 信息处理方法及装置

Country Status (4)

Country Link
US (1) US10235624B2 (zh)
EP (1) EP3158419A4 (zh)
CN (1) CN104049755B (zh)
WO (1) WO2015192734A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049755B (zh) * 2014-06-18 2017-01-18 中国科学院自动化研究所 信息处理方法及装置
CN104615767B (zh) * 2015-02-15 2017-12-29 百度在线网络技术（北京）有限公司 搜索排序模型的训练方法、搜索处理方法及装置
US9984068B2 (en) * 2015-09-18 2018-05-29 Mcafee, Llc Systems and methods for multilingual document filtering
KR102195627B1 (ko) * 2015-11-17 2020-12-28 삼성전자주식회사 통역 모델 생성 장치 및 방법과, 자동 통역 장치 및 방법
KR20170068681A (ko) * 2015-12-09 2017-06-20 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법
WO2017161320A1 (en) * 2016-03-18 2017-09-21 Google Inc. Generating dependency parses of text segments using neural networks
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치
US10970629B1 (en) * 2017-02-24 2021-04-06 Amazon Technologies, Inc. Encodings for reversible sparse dimensionality reduction
US10691886B2 (en) 2017-03-09 2020-06-23 Samsung Electronics Co., Ltd. Electronic apparatus for compressing language model, electronic apparatus for providing recommendation word and operation methods thereof
CN106951412B (zh) * 2017-03-24 2020-07-24 苏州大学 一种中文情感表达组合抽取方法及装置
CN106959946B (zh) * 2017-04-07 2020-05-05 闽江学院 一种基于深度学习的文本语义特征生成优化方法
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
WO2019023911A1 (en) * 2017-07-31 2019-02-07 Beijing Didi Infinity Technology And Development Co., Ltd. SYSTEM AND METHOD FOR TEXT SEGMENTATION
US10915707B2 (en) * 2017-10-20 2021-02-09 MachineVantage, Inc. Word replaceability through word vectors
CN107943788B (zh) * 2017-11-17 2021-04-06 平安科技（深圳）有限公司 企业简称生成方法、装置及存储介质
CN108573025B (zh) * 2018-03-12 2021-07-02 云知声智能科技股份有限公司 基于混合模板抽取句子分类特征的方法及装置
CN110334266A (zh) * 2018-03-13 2019-10-15 优酷网络技术（北京）有限公司 观点提取方法及装置
CN110147881B (zh) * 2018-03-13 2022-11-22 腾讯科技（深圳）有限公司 语言处理方法、装置、设备及存储介质
CN110309407A (zh) * 2018-03-13 2019-10-08 优酷网络技术（北京）有限公司 观点提取方法及装置
US11403528B2 (en) 2018-05-31 2022-08-02 Kneron (Taiwan) Co., Ltd. Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance
US10599767B1 (en) * 2018-05-31 2020-03-24 The Ultimate Software Group, Inc. System for providing intelligent part of speech processing of complex natural language
US11488019B2 (en) * 2018-06-03 2022-11-01 Kneron (Taiwan) Co., Ltd. Lossless model compression by batch normalization layer pruning in deep neural networks
CN109086756B (zh) * 2018-06-15 2021-08-03 众安信息技术服务有限公司 一种基于深度神经网络的文本检测分析方法、装置及设备
CN109271526A (zh) * 2018-08-14 2019-01-25 阿里巴巴集团控股有限公司 文本检测方法、装置、电子设备及计算机可读存储介质
CN109299457B (zh) * 2018-09-06 2023-04-28 北京奇艺世纪科技有限公司 一种观点挖掘方法、装置及设备
CN109189689B (zh) * 2018-09-13 2021-08-17 上海连尚网络科技有限公司 用于测试的方法和装置
US10679150B1 (en) * 2018-12-13 2020-06-09 Clinc, Inc. Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system including seeding training samples or curating a corpus of training data based on instances of training data identified as anomalous
CN110162594B (zh) * 2019-01-04 2022-12-27 腾讯科技（深圳）有限公司 文本数据的观点生成方法、装置及电子设备
US11966837B2 (en) 2019-03-13 2024-04-23 International Business Machines Corporation Compression of deep neural networks
JP2020154647A (ja) * 2019-03-19 2020-09-24 富士ゼロックス株式会社 情報処理装置、情報処理プログラム
CN110750978A (zh) * 2019-09-25 2020-02-04 深圳市金证优智科技有限公司 情感倾向分析方法、装置、电子设备及存储介质
CN111061870B (zh) * 2019-11-25 2023-06-06 腾讯科技（深圳）有限公司 文章的质量评价方法及装置
CN111581474B (zh) * 2020-04-02 2022-07-29 昆明理工大学 基于多头注意力机制的涉案微博评论的评价对象抽取方法
CN111966832A (zh) * 2020-08-21 2020-11-20 网易（杭州）网络有限公司 评价对象的提取方法、装置和电子设备
US20220388162A1 (en) * 2021-06-08 2022-12-08 Fanuc Corporation Grasp learning using modularized neural networks
US11809521B2 (en) * 2021-06-08 2023-11-07 Fanuc Corporation Network modularization to learn high dimensional robot tasks
CN113486173B (zh) * 2021-06-11 2023-09-12 南京邮电大学 文本标注神经网络模型及其标注方法
CN116245260B (zh) * 2023-05-12 2023-08-08 国网吉林省电力有限公司信息通信公司 基于变电站资源部署5g基站的优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819730A (zh) * 2012-07-23 2012-12-12 常州蓝城信息科技有限公司 一种人脸特征提取和识别的方法
CN102968410A (zh) * 2012-12-04 2013-03-13 江南大学 一种基于rbf神经网络算法与语义特征选取的文本分类方法
CN103049792A (zh) * 2011-11-26 2013-04-17 微软公司 深层神经网络的辨别预训练

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991028A (en) * 1991-02-22 1999-11-23 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for cell classification
US8700552B2 (en) * 2011-11-28 2014-04-15 Microsoft Corporation Exploiting sparseness in training deep neural networks
US9336205B2 (en) * 2012-04-10 2016-05-10 Theysay Limited System and method for analysing natural language
CN103345656B (zh) * 2013-07-17 2016-01-20 中国科学院自动化研究所 一种基于多任务深度神经网络的数据识别方法及装置
CN104049755B (zh) 2014-06-18 2017-01-18 中国科学院自动化研究所 信息处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049792A (zh) * 2011-11-26 2013-04-17 微软公司 深层神经网络的辨别预训练
CN102819730A (zh) * 2012-07-23 2012-12-12 常州蓝城信息科技有限公司 一种人脸特征提取和识别的方法
CN102968410A (zh) * 2012-12-04 2013-03-13 江南大学 一种基于rbf神经网络算法与语义特征选取的文本分类方法

Also Published As

Publication number Publication date
EP3158419A1 (en) 2017-04-26
WO2015192734A1 (en) 2015-12-23
CN104049755A (zh) 2014-09-17
EP3158419A4 (en) 2017-07-05
US10235624B2 (en) 2019-03-19
US20160321541A1 (en) 2016-11-03

Similar Documents

Publication Publication Date Title
CN104049755B (zh) 信息处理方法及装置
Levy et al. Diverse demonstrations improve in-context compositional generalization
CN108960407B (zh) 递归神经网路语言模型训练方法、装置、设备及介质
CN109885660A (zh) 一种知识图谱赋能的基于信息检索的问答系统和方法
CN108363790A (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN110991645A (zh) 一种基于知识模型的自适应学习方法、系统及存储介质
CN107076567A (zh) 多语言图像问答
Tang et al. Modelling student behavior using granular large scale action data from a MOOC
CN108960574A (zh) 问答的质量确定方法、装置、服务器和存储介质
CN107656921A (zh) 一种基于深度学习的短文本依存分析方法
CN109840255A (zh) 答复文本生成方法、装置、设备及存储介质
CN114218922A (zh) 一种基于双通道图卷积网络的方面情感分析方法
CN114036246A (zh) 商品图谱向量化方法、装置、电子设备及存储介质
CN110348539A (zh) 短文本相关性判别方法
Tucker et al. When does syntax mediate neural language model performance? evidence from dropout probes
CN117009213A (zh) 面向智能问答系统逻辑推理功能的蜕变测试方法及系统
CN113742445B (zh) 文本识别样本获取、文本识别方法及装置
Hettema The unity of chemistry and physics: absolute reaction rate theory
CN115357711A (zh) 一种方面级情感分析方法、装置、电子设备及存储介质
CN115357712A (zh) 方面级情感分析方法、装置、电子设备及存储介质
CN114862636A (zh) 一种金融智能授课与隐私保护方法
WO2021176714A1 (ja) 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
Hu et al. Commonsense knowledge+ bert for level 2 reading comprehension ability test
Etxaniz Aragoneses Grounding Language Models for Compositional and Spatial Reasoning
CN111737422B (zh) 实体链接方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant