CN107870964A - 一种应用于答案融合系统的语句排序方法及系统 - Google Patents
一种应用于答案融合系统的语句排序方法及系统 Download PDFInfo
- Publication number
- CN107870964A CN107870964A CN201710628098.9A CN201710628098A CN107870964A CN 107870964 A CN107870964 A CN 107870964A CN 201710628098 A CN201710628098 A CN 201710628098A CN 107870964 A CN107870964 A CN 107870964A
- Authority
- CN
- China
- Prior art keywords
- sentence
- input
- lstm
- models
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种应用于答案融合系统的语句排序方法及系统，所述方法包括：通过对输入的目标数据进行预处理，获得index形式的语句对；所述语句对为候选答案；对语句对进行特征提取，获取语句对中前后句子的关系概率，包括：判断语句对中句子是否为前后顺序的关系，利用基于注意力机制的seq2seq模型，对语句对进行特征提取,将提取得到的特征输入到前馈神经网络中，得到句子前后顺序概率；根据所述关系概率和解空间检索算法获得排序结果，检索算法求解的目标函数是；根据所述排序结果得到目标答案。本发明能够实现从不同答案中抽取的句子进行排序，从而使得获取的目标答案更加通顺，利于理解，且具有较强的可读性；从而提升了用户体验。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种应用于答案融合系统的语句排序方法及系统。
背景技术
答案融合系统是问答系统中的一个部分，用来构建候选答案库。答案融合系统利用如百度知道、搜搜问问等平台提供的由用户生成的问答对，从中抽取相关答案并融合。答案融合系统从候选答案中抽取的答案是无序的，如果直接作为答案反馈给用户，可读性差，不利于理解。具体是，在答案融合系统中，从候选答案中抽取出的句子大多数是无序的，因此得到的答案对人们的阅读产生较大障碍。
但抽取得到的句子大多与问题相关，一个问题的标准答案句子间存在较强的逻辑关系，如前后句间的逻辑关系；因此利用句子间的前后句关系对抽取得到的答案进行句子排序，提高句子间的连贯性，增加答案的可读性，增强用户体验，使答案更加通顺利于理解，对于用户来说将具有重要的意义。
目前大多数答案融合系统中的句子排序多是根据答案在原候选答案中的相对位置进行排序，或者利用时间因素进行排序；而从不同答案中抽取的句子则无法进行排序。
发明内容
为了解决上述技术问题，本发明提出了一种应用于答案融合系统的语句排序方法及系统。
本发明是以如下技术方案实现的：
第一方面提供了一种应用于答案融合系统的语句排序方法，包括：
通过对输入的目标数据进行预处理，获得index形式的语句对；所述语句对为候选答案；
对语句对进行特征提取，获取语句对中前后句子的关系概率，包括：
判断语句对中句子是否为前后顺序的关系，利用基于注意力机制的seq2seq模型，对语句对进行特征提取,
将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
根据所述关系概率和解空间检索算法获得排序结果，所述解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序,i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s,o)；
从排序结果中选取打分最高的句子顺序，得到目标答案。
进一步地，所述通过对输入的目标数据进行预处理，获得index形式的语句对，包括：
根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
将多个目标语句两两构建成语句对；
通过语句转换功能将所述语句对转换为index形式的序列。
进一步地，所述采用基于注意力机制的seq2seq模型，对语句对进行特征提取，包括：
将index形式的语句对输入到seq2seq模型中；
将两个LSTM模型进行拼接得到所述seq2seq模型；
将attention机制应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
进一步地，所述将index形式的语句对输入到seq2seq模型中，包括:
将转换得到的index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
将语句对中分词得到的每个词输入到LSTM模块的节点中；
对每个节点进行计算得到所述LSTM模块的隐藏层输出。
进一步地，在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM隐藏层输入。
第二方面提供了一种应用于答案融合系统中的语句排序系统，包括：
预处理模块，用于对输入的目标数据进行预处理，得到index形式的语句对，所述语句对为候选答案；
关系概率获取模块，用于对语句对进行特征提取，获取语句对中的前后句子的关系概率，包括：
特征提取单元，用于判断语句对中的句子是否为前后顺序的关系，采用基于注意力机制的seq2seq模型，对语句对进行特征提取；
关系概率获取单元，用于将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
排序结果获取模块，用于根据所述关系概率和解空间检索算法得到答案语句的排序结果；解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序,i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s,o)；
答案获取模块，用于排序结果中选取打分最高的句子顺序，得到目标答案。
进一步地，所述预处理模块，包括：
分词单元，用于根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
语句对构建单元，用于将多个目标语句两两构建成语句对；
语句转换单元，用于通过语句转换功能将所述语句对转换为index形式的序列。
进一步地，所述特征提取单元，包括：
转换语句输入单元，用于将index形式的语句对输入到seq2seq模型中；
预设模型拼接单元，用于将两个LSTM模型进行拼接得到所述seq2seq模型；
权重获取单元，用于将attention机制应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
特征获取单元，根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
进一步地，所述转换语句输入单元，包括:
词向量形式子单元，用于将index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
词语输入节点子单元，用于将语句对中分词得到的每个词输入到LSTM模块的节点中；
隐藏层输出子单元，用于对每个节点进行计算得到所述LSTM模块的隐藏层输出。
进一步地，在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM模型隐藏层输入。
本发明能够实现从不同答案中抽取的句子进行排序，从而使得获取的目标答案更加通顺，利于理解，且具有较强的可读性；从而提升了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施例一中应用于问答系统中的语句排序方法流程图；
图2是实施例一中通过对输入的目标数据进行预处理，获得index形式的语句对的流程图；
图3是实施例一中对语句对进行特征提取，获取语句对中前后句子的关系概率的流程图；
图4是实施例一中将index形式的语句对输入到seq2seq模型中的流程图；
图5是实施例一中基于注意力机制的seq2seq的模型结构图；
图6是实施例一中解空间检索算法求解过程图；
图7是实施例二中应用于问答系统中的语句排序结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本发明利用句子的前后句关系对无序文本实现句子排序，提高提取的答案的可读性。
实施例一：
本实施例提供了一种应用于答案融合系统的语句排序方法，如图1所示，包括：
S101.通过对输入的目标数据进行预处理，获得index形式的语句对；所述语句对为候选答案；
具体地，所述通过对输入的目标数据进行预处理，获得index形式的语句对，如图2所示，包括：
S101a.根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
S101b.将多个目标语句两两构建成语句对；
S101c.通过语句转换功能将所述语句对转换为index形式的序列。
例如，输入所述系统的是a、b、c三句话：
其中：a、“专利制度旨在保护技术能够享受到独占性、排他性的权利，权利人之外的任何主体使用专利，都必须通过专利权人的授权许可才能获得使用权。”
b、“随着法律制度的不断完善，专利的使用呈现出多样化趋势，专利无效、专利撤销、过期专利等一一被列入专利法律范畴。”
c、“只有充分的认识诸如此类的法律制度，才能充分的利用专利资源，为企业实现更多的经济价值。”
利用分词工具将句子进行分词，如将句a进行分词，得到“专利-制度-旨在-保护-技术-能够-享受到-独占性、排他性-的-权利，权利-人-之外-的-任何-主体-使用-专利，都必须-通过-专利权-人-的-授权-许可-才能-获得-使用权。”
将输入的目标语句a、b、c构建成语句对(a,a)，(a,b)，(a,c)，(b,a)，(b,b)，(b,c)，(c,a)，(c,b)，(c,c)；
进一步通过语句转换功能将a,b,c转换为使用index形式的序列。
S102.对语句对进行特征提取，获取语句对中前后句子的关系概率，包括：
判断语句对中句子是否为前后顺序的关系，利用基于注意力机制的seq2seq模型，对语句对进行特征提取,
将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
其中，判断语句对中句子是否为前后顺序的关系，利用基于注意力机制的seq2seq模型，对语句对进行特征提取,将提取得到的特征输入到前馈神经网络中，得到句子前后顺序概率；若概率为1，则是前后关系；若为0，则不是。
需要说明的是，基于注意力机制的seq2seq(Sequence to Sequence)模型的是利用了注意力机制以及seq2seq模型。其中，注意力机制是一个资源分配模型，它模拟人脑工作，将更多的资源集中在重要的内容上。而在本方法的基本模型采用了seq2seq模型，并基于seq2seq模型实现了注意力模型，利用注意力机制计算前句与后句之间词与词之间关系。
其中，所述采用基于注意力机制的seq2seq模型，对语句对进行特征提取，如图3所示，包括：
S102a.将index形式的语句对输入到seq2seq模型中；
具体地，所述将index形式的语句对输入到seq2seq模型中，如图4所示，包括:
S1021a.将转换得到的index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
其中，词向量特征是利用gensim工具，通过大规模自然语言文本训练得到的。用词向量表示句子，是将句子进行分词，并将句子中每个词用词向量进行特征表示，从而用词向量表示整个句子。
S1022a.将语句对中分词得到的每个词输入到LSTM模块的节点中；
S1023a.对每个节点进行计算得到所述LSTM模块的隐藏层输出。
S102b.将两个LSTM模型进行拼接得到所述seq2seq模型；
其中，LSTM(Long-Short Term Memory)为长短期记忆模型模型；在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM隐藏层输入。具体地，seq2seq模型是由两个LSTM模型拼接而成，第一个LSTM模型L1的输入是由词向量表示的句子a。第二个LSTM模型L2的输入包括L1的最后一个节点的输出及由词向量表示的第二个句子b。
还有，LSTM模型是一种用于处理时序数据的模型，是深度学习模型中的一种，对于句子级别的特征提取具有良好的效果。LSTM由一系列cell组成，图5中的c1,c2等代表一个代表LSTM的cell。每个cell有两个输入，一是输入一个词，如“今天”，“天气”等，二是上一cell输出。每个LSTM cell的输出包括隐藏层输出h以及当前cell的状态c。LSTM内部包含三个门输入门、遗忘门、输出门以及细胞状态。LSTM计算公式如下所示：
其中，式(1)(2)为输入门计算公式，式(3)(4)为遗忘门计算公式，式(5)(6)为细胞状态计算公式，式(7)(8)为输出门计算公式；x为输入，b为隐藏层输出，s为细胞状态，w为中间权值。
S102c.将attention机制应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
其中，如图5所示，为基于注意力机制的seq2seq的模型结构图，其中，以句A和句B为例，句A为“今天天气适合出行”，句B为“那么去哪里玩”，进行处理示意图的表示。
S102d.根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
seq2seq模型中attention模型的计算公式如下所示：
Mt＝tanh(WyY+(Whht+Whrt-1)×eL) (1)
at＝sotfmax(wTMt) (2)
h*＝tanh(WprN+WxhN) (4)
LSTM2阶段每个cell节点利用attention计算公式(1)(2)(3)反复更新r，在最终节点计算h*，最终得特征M。
需要说明的是，所述关系概率涉及到前句和后句之间的词与词之间的关系。
S103.根据所述关系概率和解空间检索算法获得排序结果；
所述解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序，i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s，o)；
其中，解空间检索算法为最优排序求解算法，具体地，所述解空间检索算法包括beam search算法，根据前后句关系模块得到的语句对中前后句子的关系概率，检索句子排序的解空间，从而得到概率最大的句子排序，得到最后的排序结果。进一步地，Beam Search算法是一种启发式搜索算法，通常用在图的解空间比较大的情况下，为了减少搜索所占用的空间以及时间，在每一步深度扩展的时候，减掉一些质量比较差的节点，从而减少空间消耗。
最优排序求解模型求解过程如图6所示，其中open表记录候选排序组合并记录概率和，如[(1，0，3)，1.228]，(1，0，3)为已经考虑到的句子组合，1.228为(1，0)，(0，3)两个句子对概率的概率和。
open表大小为100，即存储了100个如[(1，0，3)，1.228]一样的记录。beam表存储的记录形式与open相同，beam表记录根据open得到的记录候选，是临时记录。
S104.从排序结果中选取打分最高的句子顺序，得到目标答案。
需要说明的是，在本方法中利用计算得到的句子对中前后句的关系，求解最佳排序；通过基于注意力机制的seq2seq模型求解句子对间的概率，此概率代表句子对是前后句关系的可能性。通过Beam Search算法求解句子排列的组合，求解的目标函数是即求解前后句关系概率和最大的句子组合o，这样才属于目标答案。
实施例二：
本实施例提供了一种应用于答案融合系统中的语句排序系统，如图7所示，包括：
预处理模块110，用于对输入的目标数据进行预处理，得到index形式的语句对，所述语句对为候选答案；
进一步地，所述预处理模块110，包括：
分词单元111，用于根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
语句对构建单元112，用于将多个目标语句两两构建成语句对；
语句转换单元113，用于通过语句转换功能将所述语句对转换为index形式的序列。
关系概率获取模块120，用于对语句对进行特征提取，获取语句对中的前后句子的关系概率，包括：
特征提取单元，用于判断语句对中的句子是否为前后顺序的关系，采用基于注意力机制的seq2seq模型，对语句对进行特征提取；
关系概率获取单元，用于将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
进一步地，所述特征提取单元121，包括：
转换语句输入单元1211，用于将index形式的语句对输入到seq2seq模型中；
具体地，所述转换语句输入单元1211，包括:
词向量形式子单元1211a，用于将index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
词语输入节点子单元1211b，用于将语句对中分词得到的每个词输入到LSTM模块的节点中；
隐藏层输出子单元1211c，用于对每个节点进行计算得到所述LSTM模块的隐藏层输出。
进一步地，在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM模型隐藏层输入。
预设模型拼接单元1212，用于将两个LSTM模型进行拼接得到所述seq2seq模型；
权重获取单元1213，用于将attention机制(注意力机制)应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
特征获取单元1214，根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
排序结果获取模块，用于根据所述关系概率和解空间检索算法得到答案语句的排序结果；解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序,i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s,o)；
答案获取模块，用于排序结果中选取打分最高的句子顺序，得到目标答案。
本发明基于注意力机制及seq2seq模型获取到语句对中前后句子的关系概率，其中所述关系概率涉及到前句和后句之间的词与词之间的关系；结合所述关系概率得到目标语句中最佳的排序结果，
本发明能够实现从不同答案中抽取的句子进行排序，从而使得获取的目标答案更加通顺，利于理解，且具有较强的可读性；从而提升了用户体验。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本发明中的技术方案中的各个模块均可通过计算机终端或其它设备实现。所述计算机终端包括处理器和存储器。所述存储器用于存储本发明中的程序指令/模块，所述处理器通过运行存储在存储器内的程序指令/模块，实现本发明相应功能。
本发明中的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
本发明中所述模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。可以根据实际的需要选择其中的部分或者全部模块/单元来达到实现本发明方案的目的。
另外，在本发明各个实施例中的各模块/单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种应用于答案融合系统的语句排序方法，其特征在于，包括：
通过对输入的目标数据进行预处理，获得index形式的语句对；所述语句对为候选答案；
对语句对进行特征提取，获取语句对中前后句子的关系概率，包括：
判断语句对中句子是否为前后顺序的关系，利用基于注意力机制的seq2seq模型，对语句对进行特征提取,
将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
根据所述关系概率和解空间检索算法获得排序结果，所述解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序,i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s,o)；
从排序结果中选取打分最高的句子顺序，得到目标答案。
2.根据权利要求1所述的方法，其特征在于，所述通过对输入的目标数据进行预处理，获得index形式的语句对，包括：
根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
将多个目标语句两两构建成语句对；
通过语句转换功能将所述语句对转换为index形式的序列。
3.根据权利要求1所述的方法，其特征在于，所述采用基于注意力机制的seq2seq模型，对语句对进行特征提取，包括：
将index形式的语句对输入到seq2seq模型中；
将两个LSTM模型进行拼接得到所述seq2seq模型；
将attention机制应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
4.根据权利要求3所述的方法，其特征在于，所述将index形式的语句对输入到seq2seq模型中，包括:
将转换得到的index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
将语句对中分词得到的每个词输入到LSTM模块的节点中；
对每个节点进行计算得到所述LSTM模块的隐藏层输出。
5.根据权利要求3所述的方法，其特征在于，在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM隐藏层输入。
6.一种应用于答案融合系统中的语句排序系统，其特征在于，包括：
预处理模块，用于对输入的目标数据进行预处理，得到index形式的语句对，所述语句对为候选答案；
关系概率获取模块，用于对语句对进行特征提取，获取语句对中的前后句子的关系概率，包括：
特征提取单元，用于判断语句对中的句子是否为前后顺序的关系，采用基于注意力机制的seq2seq模型，对语句对进行特征提取；
关系概率获取单元，用于将提取得到的特征输入到前馈神经网络中，得到所述语句对中句子的关系概率；
排序结果获取模块，用于根据所述关系概率和解空间检索算法得到答案语句的排序结果；解空间检索算法求解的目标函数是s为所有目标语句组成的句子集，o为语句对构成的句子顺序,i、j为句子标号，表示第i句话，第j句话；排序结果为多个元素，每个元素包含句子顺序o以及该顺序的打分Score(s,o)；
答案获取模块，用于排序结果中选取打分最高的句子顺序，得到目标答案。
7.根据权利要求1所述的系统，其特征在于，所述预处理模块，包括：
分词单元，用于根据分词工具对所有的目标数据进行分词，所述目标数据中包括多个目标语句；
语句对构建单元，用于将多个目标语句两两构建成语句对；
语句转换单元，用于通过语句转换功能将所述语句对转换为index形式的序列。
8.根据权利要求1所述的系统，其特征在于，所述特征提取单元，包括：
转换语句输入单元，用于将index形式的语句对输入到seq2seq模型中；
预设模型拼接单元，用于将两个LSTM模型进行拼接得到所述seq2seq模型；
权重获取单元，用于将attention机制应用到seq2seq模型上，通过前一LSTM模块LSTM1的隐藏层输出及后一LSTM模块LSTM2的每个节点的隐藏层输出，计算注意力分配权重，更新中间权重；
特征获取单元，用于根据更新得到的中间权重，结合LSTM1隐藏层输出及LSTM2最后节点的隐藏层输出计算得到特征值。
9.根据权利要求8所述的方法，其特征在于，所述转换语句输入单元，包括:
词向量形式子单元，用于将index形式的语句对通过embedding层的转换，使其以词向量特征的形式进行表示；
词语输入节点子单元，用于将语句对中分词得到的每个词输入到LSTM模块的节点中；
隐藏层输出子单元，用于对每个节点进行计算得到所述LSTM模块的隐藏层输出。
10.根据权利要求8所述的方法，其特征在于，在两个LSTM模型中，前一个LSTM模型的隐藏层输出作为后一LSTM模型隐藏层输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710628098.9A CN107870964B (zh) | 2017-07-28 | 2017-07-28 | 一种应用于答案融合系统的语句排序方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710628098.9A CN107870964B (zh) | 2017-07-28 | 2017-07-28 | 一种应用于答案融合系统的语句排序方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107870964A true CN107870964A (zh) | 2018-04-03 |
| CN107870964B CN107870964B (zh) | 2021-04-09 |
Family
ID=61761780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710628098.9A Active CN107870964B (zh) | 2017-07-28 | 2017-07-28 | 一种应用于答案融合系统的语句排序方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107870964B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763535A (zh) * | 2018-05-31 | 2018-11-06 | 科大讯飞股份有限公司 | 信息获取方法及装置 |
| CN108874761A (zh) * | 2018-05-31 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种智能写作方法和装置 |
| CN108959421A (zh) * | 2018-06-08 | 2018-12-07 | 三角兽（北京）科技有限公司 | 候选回复评价装置和问询回复设备及其方法、存储介质 |
| CN109446519A (zh) * | 2018-10-10 | 2019-03-08 | 西安交通大学 | 一种融合数据类别信息的文本特征提取方法 |
| CN110929519A (zh) * | 2018-09-20 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 实体属性抽取方法及装置 |
| CN110941962A (zh) * | 2019-11-26 | 2020-03-31 | 中国科学院自动化研究所 | 基于图网络的答案句选择方法及装置 |
| CN111241242A (zh) * | 2020-01-09 | 2020-06-05 | 北京百度网讯科技有限公司 | 目标内容的确定方法、装置、设备及计算机可读存储介质 |
| CN111382232A (zh) * | 2020-03-09 | 2020-07-07 | 联想(北京)有限公司 | 问答信息处理方法、装置及计算机设备 |
| WO2021051507A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 一种机器人对话生成方法、装置、可读存储介质及机器人 |
| CN112668304A (zh) * | 2020-11-02 | 2021-04-16 | 安阳师范学院 | 基于两个层次Bi-LSTM的汉语句子排序方法 |
| CN112732877A (zh) * | 2019-10-14 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置和系统 |
| CN113869033A (zh) * | 2021-09-24 | 2021-12-31 | 厦门大学 | 融入迭代式句对关系预测的图神经网络句子排序方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011001370A1 (en) * | 2009-06-29 | 2011-01-06 | Avraham Ben-David | Intelligent home automation |
| CN105389379A (zh) * | 2015-11-20 | 2016-03-09 | 重庆邮电大学 | 一种基于文本分布式特征表示的垃圾稿件分类方法 |
| CN105740349A (zh) * | 2016-01-25 | 2016-07-06 | 重庆邮电大学 | 一种结合Doc2vec和卷积神经网络的情感分类方法 |
| CN106326212A (zh) * | 2016-08-26 | 2017-01-11 | 北京理工大学 | 一种基于层次深度语义的隐式篇章关系分析方法 |
| US20170104702A1 (en) * | 2015-10-08 | 2017-04-13 | Signal Vine, Llc | Systems and methods for providing a two-way, intelligent text messaging platform |
-
2017
- 2017-07-28 CN CN201710628098.9A patent/CN107870964B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011001370A1 (en) * | 2009-06-29 | 2011-01-06 | Avraham Ben-David | Intelligent home automation |
| US20170104702A1 (en) * | 2015-10-08 | 2017-04-13 | Signal Vine, Llc | Systems and methods for providing a two-way, intelligent text messaging platform |
| CN105389379A (zh) * | 2015-11-20 | 2016-03-09 | 重庆邮电大学 | 一种基于文本分布式特征表示的垃圾稿件分类方法 |
| CN105740349A (zh) * | 2016-01-25 | 2016-07-06 | 重庆邮电大学 | 一种结合Doc2vec和卷积神经网络的情感分类方法 |
| CN106326212A (zh) * | 2016-08-26 | 2017-01-11 | 北京理工大学 | 一种基于层次深度语义的隐式篇章关系分析方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874761A (zh) * | 2018-05-31 | 2018-11-23 | 阿里巴巴集团控股有限公司 | 一种智能写作方法和装置 |
| CN108763535B (zh) * | 2018-05-31 | 2020-02-07 | 科大讯飞股份有限公司 | 信息获取方法及装置 |
| CN108763535A (zh) * | 2018-05-31 | 2018-11-06 | 科大讯飞股份有限公司 | 信息获取方法及装置 |
| CN108959421A (zh) * | 2018-06-08 | 2018-12-07 | 三角兽（北京）科技有限公司 | 候选回复评价装置和问询回复设备及其方法、存储介质 |
| CN110929519A (zh) * | 2018-09-20 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 实体属性抽取方法及装置 |
| CN110929519B (zh) * | 2018-09-20 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 实体属性抽取方法及装置 |
| CN109446519A (zh) * | 2018-10-10 | 2019-03-08 | 西安交通大学 | 一种融合数据类别信息的文本特征提取方法 |
| WO2021051507A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技（深圳）有限公司 | 一种机器人对话生成方法、装置、可读存储介质及机器人 |
| CN112732877A (zh) * | 2019-10-14 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置和系统 |
| CN112732877B (zh) * | 2019-10-14 | 2024-05-17 | 阿里巴巴集团控股有限公司 | 数据处理的方法、装置和系统 |
| CN110941962B (zh) * | 2019-11-26 | 2021-09-28 | 中国科学院自动化研究所 | 基于图网络的答案句选择方法及装置 |
| CN110941962A (zh) * | 2019-11-26 | 2020-03-31 | 中国科学院自动化研究所 | 基于图网络的答案句选择方法及装置 |
| CN111241242A (zh) * | 2020-01-09 | 2020-06-05 | 北京百度网讯科技有限公司 | 目标内容的确定方法、装置、设备及计算机可读存储介质 |
| CN111241242B (zh) * | 2020-01-09 | 2023-05-30 | 北京百度网讯科技有限公司 | 目标内容的确定方法、装置、设备及计算机可读存储介质 |
| CN111382232A (zh) * | 2020-03-09 | 2020-07-07 | 联想(北京)有限公司 | 问答信息处理方法、装置及计算机设备 |
| CN112668304A (zh) * | 2020-11-02 | 2021-04-16 | 安阳师范学院 | 基于两个层次Bi-LSTM的汉语句子排序方法 |
| CN113869033A (zh) * | 2021-09-24 | 2021-12-31 | 厦门大学 | 融入迭代式句对关系预测的图神经网络句子排序方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107870964B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107870964A (zh) | 一种应用于答案融合系统的语句排序方法及系统 | |
| CN104598611B (zh) | 对搜索条目进行排序的方法及系统 | |
| CN106598950B (zh) | 一种基于混合层叠模型的命名实体识别方法 | |
| CN110033022A (zh) | 文本的处理方法、装置和存储介质 | |
| CN110516245A (zh) | 细粒度情感分析方法、装置、计算机设备及存储介质 | |
| CN106951512A (zh) | 一种基于混合编码网络的端到端对话控制方法 | |
| CN107861938A (zh) | 一种poi文案生成方法及装置，电子设备 | |
| CN107704563A (zh) | 一种问句推荐方法及系统 | |
| CN106599933A (zh) | 一种基于联合深度学习模型的文本情感分类方法 | |
| CN107330130A (zh) | 一种向人工客服推荐回复内容的对话机器人的实现方法 | |
| CN106202010A (zh) | 基于深度神经网络构建法律文本语法树的方法和装置 | |
| CN106547737A (zh) | 基于深度学习的自然语言处理中的序列标注方法 | |
| CN109299258A (zh) | 一种舆情事件检测方法、装置及设备 | |
| CN109344404A (zh) | 情境感知的双重注意力自然语言推理方法 | |
| CN106897559A (zh) | 一种面向多数据源的症状体征类实体识别方法及装置 | |
| CN106682387A (zh) | 用于输出信息的方法和装置 | |
| CN111309887B (zh) | 一种训练文本关键内容提取模型的方法和系统 | |
| CN108154198A (zh) | 知识库实体归一方法、系统、终端和计算机可读存储介质 | |
| CN109766557A (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN106997341A (zh) | 一种创新方案匹配方法、装置、服务器及系统 | |
| CN106779053A (zh) | 一种基于影响因子和神经网络的知识点摸底方法 | |
| CN111159414A (zh) | 文本分类方法及系统、电子设备、计算机可读存储介质 | |
| CN109918627A (zh) | 文本生成方法、装置、电子设备及存储介质 | |
| CN107688583A (zh) | 创建用于自然语言处理装置的训练数据的方法和设备 | |
| CN107291775A (zh) | 错误样本的修复语料生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |