CN110110045A - 一种检索相似文本的方法、装置以及存储介质 - Google Patents
一种检索相似文本的方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN110110045A CN110110045A CN201910345077.5A CN201910345077A CN110110045A CN 110110045 A CN110110045 A CN 110110045A CN 201910345077 A CN201910345077 A CN 201910345077A CN 110110045 A CN110110045 A CN 110110045A
- Authority
- CN
- China
- Prior art keywords
- text
- retrieved
- word
- candidate
- incidence relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种检索相似文本的方法、装置以及存储介质，其中检索相似文本的方法包括：获取待检索文本，所述待检索文本包括多个待检索词；根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量；基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本；根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本，该方案可以提高召回率和检索结果的准确性。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种检索相似文本的方法、装置以及存储介质。
背景技术
用户在使用搜索引擎进行信息搜索时，往往会出现输入的搜索词和获得的搜索结果中同一个词的概念出现不一致的情况。为了提高搜索结果的召回率，通常需要对用户输入的搜索词进行扩展操作，以扩大对搜索词的搜索范围，从而提高搜索结果的准确率。
然而，现有技术中虽然存在对搜索词进行扩展的方案，但是，现有的方案可能会出现扩展词的语义与搜索词的语义发生漂移的问题，因此，现有方案的召回率差，检索结果的准确性不高。
发明内容
本发明实施例提供一种检索相似文本的方法、装置以及存储介质，可以提高召回率和检索结果的准确性。
本发明实施例提供了一种检索相似文本的方法，包括：
获取待检索文本，所述待检索文本包括多个待检索词；
根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量；
基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本；
根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本。
相应的，本发明实施例还提供了一种检索相似文本的装置，包括：
第一获取模块，用于获取待检索文本，所述待检索文本包括多个待检索词；
第二获取模块，用于根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量；
生成模块，用于基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本；
确定模块，用于根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本。
可选的，在本发明的一些实施例中，所述第二获取模块具体用于：
采用预设循环残差模型中的第一循环残差网络对所述待检索文本以及多个第一关联关系进行处理，生成所述待检索文本的特征向量。
可选的，在本发明的一些实施例中，所述第二获取模块，包括：
第一生成子单元，用于基于所述待检索文本中的待检索词的位置信息，生成所述待检索文本的文本向量；
第二生成子单元，用于采用预设循环残差模型中的第一循环残差网络对所述文本向量进行处理，生成所述待检索文本对应的特征向量，其中，所述特征向量包括每个待检索词之间的第一关联关系。
可选的，在本发明的一些实施例中，还包括：
计算模块，用于采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到所述特征向量对应的中间向量；
所述生成模块具体用于：基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述中间向量，生成所述待检索文本对应的计算文本。
可选的，在本发明的一些实施例中，所述生成模块包括：
计算子单元，用于根据所述第一关联关系以及第二关联关系，计算所述候选词信息中的每个候选词在所述特征向量中的权重，其中，所述第二关联关系为基于预设循环残差模型中的第二循环残差网络生成的所述待检索词与所述候选词之间的关联关系；
第三生成子单元，根据多个权重以及所述特征向量，生成所述特征向量对应的中间向量；
处理子单元，用于采用所述第二循环残差网络对所述候选词信息进行处理，得到候选向量；
第四生成子单元，用于根据所述第二关联关系、所述候选向量以及所述中间向量，生成计算文本。
可选的，在本发明的一些实施例中，所述第四生成子单元具体用于：
提取所述候选词信息的位置标识，所述位置标识包括起始标识和终止标识；
根据所述起始标识、所述第二关联关系以及所述中间向量，确定所述待检索文本对应的当前计算词；
根据所述起始标识、第二关联关系、中间向量以及当前计算词，确定所述所述待检索文本对应的第i个计算词，直至识别到所述终止标识位置，其中，所述i为正整数。
可选的，在本发明的一些实施例中，所述处理子单元具体用于：
提取每个候选词之间的第三关联关系；
采用所述第二循环残差网络对所述候选词信息以及多个第三关联关系进行处理，生成候选向量。
可选的，在本发明的一些实施例中，所述确定模块具体用于：
判断所述计算文本与预设文本库中的候选文本的匹配度是否大于或等于预设匹配度；
若所述计算文本与预设文本库中的候选文本的匹配度大于或等于预设匹配度，则确定与所述计算文本匹配的候选文本作为相似文本。
可选的，在本发明的一些实施例中，还包括第三获取模块，所述第三获取模块具体用于：
设置基础文本库，并根据所述基础文本库获取互联网信息；
根据所述互联网信息对所述基础文本库进行更新，得到候选文本库。
可选的，在本发明的一些实施例中，还包括训练模块，具体用于：
获取多个样本文本以及预设候选文本库中的多个候选文本，所述样本文本包括多个样本词，所述候选文本包括多个候选词；
构建每个所述样本词之间的第一关联关系；
构建所述样本词与所述候选词之间的第二关联关系；
以及构建每个所述候选词之间的第三关联关系；
根据所述第一关联关系、第二关联关系以及第三关联关系进行模型训练，得到循环残差模型。
本发明实施例在获取待检索文本后，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。该方案可以提高召回率和检索结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的检索相似文本的方法的场景示意图；
图1b为本发明实施例提供的检索相似文本的方法的流程示意图；
图1c为本发明实施例提供的检索相似文本的方法中生成中间向量的示意图；
图2是本发明实施例提供的车辆信息的获取方法的另一流程示意图；
图3a是本发明实施例提供的检索相似文本的装置的第一种实施方式的结构示意图；
图3b是本发明实施例提供检索相似文本的装置的第二种实施方式的结构示意图；
图3c是本发明实施例提供的检索相似文本的装置的第三种实施方式的结构示意图；
图3d是本发明实施例提供的检索相似文本的装置的第四种实施方式的结构示意图；
图3e为本发明实施例提供的检索相似文本的方法的应用场景示意图；
图4是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种检索相似文本的方法、装置以及存储介质。
其中，该车辆信息的获取装置具体可以集成在网络设备，比如终端或服务器等设备中。终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
例如，请参阅图1a，当用户需要查询某个问题对应的答案时，终端接收到用户发出的请求，该请求包括待检索文本，并将该待检索文本转换为另一种文本，即，生成待检索文本对应的相似文本。首先，终端获取待检索文本，该待检索文本包括多个待检索词，然后，终端根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，接着，再基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，终端根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
一种检索相似文本的方法，包括：获取待检索文本，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
请参阅图1b，图1b为本发明实施例提供的检索相似文本的方法的流程示意图。该车辆信息的获取方法的具体流程可以如下：
101、获取待检索文本。
其中，待检索文本包括多个待检索词。具体的，待检索文本可以是用户对网络设备输入的一句话，比如，用户在网络设备上输入“高血压疾病怎么治疗”，或者是用户对网络设备输入的多句话。其中，该待检索文本包括多个待检索词，还是以“高血压疾病怎么治疗”为例，在这句话中，待检索词为“高血压、疾病、怎么以及治疗”。
102、根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量。
需要说明的是，在本发明实施例中，第一关联关系指的是在同一句话中每个词语之间的相关关系，也就是说，若待检索文本为一句话，第一关联关系指的是每个待检索词之间的相关关系，若待检索文本包括多句话，第一关联关系指的是同一句话中每个待检索词之间的相关关系。
待检索文本的特征向量是基于每个待检索词之间的第一关联关系以及待检索文本对应的文本向量构建的。比如，可以采用预设循环残差网络中的第一循环残差网络对待检索文本进行处理，以生成待检索文本的特征向量，即，在一些实施例中，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，包括：
采用预设循环残差模型中的第一循环残差网络对待检索文本以及多个第一关联关系进行处理，生成待检索文本的特征向量。
在一些实施例中，采用预设循环残差模型中的第一循环残差网络对待检索文本以及多个第一关联关系进行处理，生成待检索文本的特征向量，包括：
(11)基于待检索文本中的待检索词的位置信息，生成待检索文本的文本向量。
(12)采用预设循环残差模型中的第一循环残差网络对文本向量进行处理，生成待检索文本对应的特征向量。
其中，所述特征向量包括每个待检索词之间的第一关联关系。具体的，可以基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成包含第一关联关系的文本向量，然后，再将该包含第一关联关系的文本向量输入至第一循环残差网络中，以修正第一关联关系，直到循环次数达到预设次数时，得到待检索文本的特征向量。比如，预设次数为6次，首先，基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成第一次处理后的文本向量，然后，再采用预设循环残差模型中的第一循环残差网络中的循环残差算法对第一次处理后的文本向量进行处理，完成一次对第一关联关系的修正，直到循环六次后，得到待检索文本的特征向量。
预设循环残差模型是预先训练好的循环残差模型。该循环残差模型可采用基于神经网络的Sequence-to-Sequence(序列-序列)框架。Sequence-to-Sequence框架是包含Encoder-Decoder(编码器-解码器)结构的框架。Encoder-Decoder结构可以将输入的待检索文本转换为相似文本输出。在本实施例中，第一循环残差网络可以为Sequence-to-Sequence框架中的编码器。第一循环残差网络可以为CNN(Convolutional NeuralNetworks，卷积神经网络)或RNN(Recurrent Neural Networks，循环神经网络)，具体根据实际情况进行设置。
具体的，在采用预设循环残差模型中的第一循环残差网络对待检索文本进行处理之前，还可以对待检索文本进行位置编码，即，在一些实施例中，采用预设循环残差模型中的第一循环残差网络对待检索文本进行处理，生成待检索文本对应的文本向量之前，还包括：
检测每个待检索词在待检索文本的位置，生成每个待检索词的位置信息。
根据每个待检索词的位置信息，对每个待检索词进行位置编码。
由于本发明的预设循环残差模型没有表征字词顺序的结构，因此，可以通过位置编码将位置信息加入到待检索文本的每个待检索词中。输入的待检索文本经过分词后变成由n个词组成的有序集合，n为正整数，其中，对于不满n个词的句子可以填充省略词，使得每个句子中均包括n个词。通过词嵌入模型将每个词嵌入为d_model维的词向量v，词向量集合V＝{v1,v2….vn}。利用余弦编码：
PEpos，2i＝sin(pos/10002i/dmodel)，PEpos，2i+1＝cos(pos/10002i/dmodel)
其中pos表示词的位置，即第pos个词；i表示词嵌入的维度，即词向量的第i维。将上式所得结果与词向量v相加，则得到新的词嵌入表示：V_new＝{v_new1,v_new2…v_newn}。
对待检索文本进行位置编码后，采用预设循环残差模型中的第一循环残差网络对待检索文本中每个待检索词进行变换处理，得到多个待检索词向量，基于这多个待检索词向量以及每个待检索词的位置编码信息，生成待检索文本对应的文本向量。然后，再采用第一循环残差网络对每个待检索词的位置编码信息进行处理，生成每个待检索词向量之间的第一关联关系，紧接着，融合多个第一关联关系以及文本向量，得到处理后的文本向量，最后，根据文本向量以及多个第一关联关系，对处理后的文本向量进行更新，得到待检索文本的特征向量。
需要说明的是，每个待检索词之间的第一关联关系是通过第一循环残差网络构建而成的。具体的，每个待检索词之间的第一关联关系可以由第一循环残差网络中的综合注意力单元计算得到的。优选的，综合注意力单元可以由四种注意力机制组合而成，分别是嵌入式(embed)、点乘式(dot)、拼接式(concat)和一般式(general)。
设综合注意力单元的输入为X，那么四种注意力机制的计算方法和它们的拼接过程如下式所示：
MultiTypeAttention(X)＝Concat(YEmbed(X)，YDot(X)，YConcat(X)，YGeneral(X))·W
式子中的g1、g2、g3以及g4均表示全连接层的权重，这些全连接层的权重在训练过程中被不断调整。ReLU表示激活函数，dk表示输入X的维度，需要说明的是，X的维度是由文本向量的维度决定，softmax表示归一化函数。计算完成后，将四种注意力机制所得结果，在维度方向直接拼接，并再通过参数为W的全连层，即可得到每个待检索词之间的第一关联关系。
对处理后的文本向量进行更新是为了使特征向量能够更准确地表征待检索文本中的特征，比如每个待检索词之间的相关度。比如，可以对处理后的文本向量更新五次，首先，根据多个第一关联关系以及文本向量，得到第一次处理后的文本向量。然后，再采用第一循环残差网络，根据多个第一关联关系、文本向量以及第一次处理后的文本向量，得到第二次处理后的文本向量，直到生成第六次处理后的文本向量为止，并将第六次处理后的文本向量作为所述待检索文本的特征向量。
设第一循环残差网络的输入为Xe循环次数为s，输入第一循环残差网络的矩阵为那么第一循环残差网络可以表示为：
Where，
H(X)＝LayerNorm(MultiTypeAttention(X)+X)
Trans(X)＝LayerNorm(FFN(H(X))+H(X))
FFN(X)＝max(0,X·Wfin+bfin)Wfour+bfour
其中，Trans表示经过一次第一循环残差网络时的运算。LayerNorm表示层归一化，MultiTypeAttention(X)表示综合注意力单元，FFN表示前馈神经网络，具体形式如最后一式所写。Wfin和bfin分别表示前馈神经网络输入层的权重和偏置，Wfout和bfout分别表示前馈神经网络输出层的权重和偏置。这四个参数会在训练过程中不断被调整。
103、基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本。
候选词信息包括位置标识和每个候选词的位置信息，候选词信息是从候选文本库中提取出来的。第二关联关系指的是两句话词语之间的相关关系，在本发明实施例中，第二关联关系指的是，待检索文本中的待检索词与候选文本的候选词之间的相关关系。
其中，候选文本库可以是预先建立的，即，在一些实施例中，“在获取待检索文本”之前，还包括：
(21)设置基础文本库，并根据基础文本库获取互联网信息。
(22)根据互联网信息对基础文本库进行更新，得到候选文本库。
其中，该基础文本库可以是运维人员预先建立好的，可以根据该基础文本库获取互联网信息，并根据互联网信息对基础文本库进行更新，使得候选文本库中含有跟更多的候选文本。
需要说明的是，为了进一步提高预设循环残差模型的召回率，在“基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本”的步骤之前，还包括：
采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到特征向量对应的中间向量。
基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本包括：基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及中间向量，生成待检索文本对应的计算文本。
也就是说，待检索文本对应的计算文本是根据第一关联关系、第二关联关系、候选词信息以及中间向量生成的。具体的，首先可以根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重，然后，根据多个权重以及所述特征向量，生成特征向量对应的中间向量。
具体的，请参阅图1c，图中a1至a5均表示第一循环残差网络中的注意力单元，b1至b5均表示第二循环残差网络中的注意力单元，如t0表示第一循环残差网络第一次循环的输入，t1表示第一循环残差网络第一次循的输出，s0表示第二循环残差网络第一次循环的输入，s1表示二循环残差网络第一次循的输出，。每一次计算第一循环残差网络的中间状态时，都用到了第一循环残差网络的每一个中间态，其中第一循环残差网络的中间态以参数\alpha_i为权重相加结合。
上式中的Rmax为按行取最大值，Cmax为按列取最大值，e表示第一循环残差网络的中间状态，d表示第二循环残差网络的中间状态，s表示第一循环残差网络的循环数(即第几次循环所得的结果)，t表示第二循环残差网络的循环数，src_len表示待检索文本中的句子的长度，tgt_len表示计算文本中的句子的长度。简要来说，就是将编码端的中间状态和解码端的中间状态相乘，将所得结果分别按每行和按每列取最大值后相加并做归一化运算，将第一循环残差网络的所有中间状态按上式求出权重后相乘累加，就是特征向量对应的中间向量。
即，在一些实施例中，“基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及中间向量，生成待检索文本对应的计算文本”，包括：
(31)根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重。
(32)根据多个权重以及特征向量，生成特征向量对应的中间向量；
(33)采用第二循环残差网络对候选词信息进行处理，得到候选向量；
(34)根据第二关联关系、候选向量以及中间向量，生成计算文本。
需要说明的是，第二循环残差网络的结构以及原理与第一循环残差网络结构以及原理类似，在根据所述第一关联关系以及第二关联关系，计算所述候选词信息中的每个候选词在所述特征向量中的权重之前，也是会对每个候选词进行位置编码。与第一循环残差网络的区别在于：第二循环残差网络对每个候选词进行位置编码，该位置编码信息还包括起始标志和终止标识。具体的，首先，根据起始标志、第二关联关系以及中间向量，确定待检索文本对应的第一个词，然后，根据起始标志、第二关联关系、中间向量以及待检索文本对应的第一个词，确定待检索文本对应的第二个词，直至识别到终止标识为止。
即，在一些实施例中，根据第二关联关系、候选向量以及中间向量，生成计算文本，包括：
(41)提取候选词信息的位置标识，位置标识包括起始标识和终止标识。
(42)根据起始标识、第二关联关系以及中间向量，确定待检索文本对应的当前计算词。
(43)根据起始标识、第二关联关系、中间向量以及当前计算词，确定待检索文本对应的第i个计算词，直至识别到所述终止标识为止，其中，所述i为正整数。
另外，为了进一步提高预设循环残差模型的召回率，在一些实施例中，还会构建在候选文本中每个候选词之间的相关关系，即构建每个候选词之间的第三关联关系，也即，“采用预设循环残差模型中的第二循环残差网络对候选词信息进行处理，得到候选向量”，包括：
(51)提取每个候选词之间的第三关联关系。
(52)采用第二循环残差网络对候选词信息以及多个第三关联关系进行处理，生成候选向量。
需要说明的是，候选向量包含第二关联关系和第三关联关系，采用预设循环残差模型中的第二循环残差网络中的循环残差算法对候选词的文本向量进行处理，生成包含第三关联关系的候选词的文本向量，然后，终端再采用第二循环残差网络对该包含第三关联关系的候选词的文本向量以及中间向量进行处理，以修正第三关联关系，直到循环次数达到预设次数时，得到候选向量。
还需要说明的是，在本发明实施例中，循环残差模型是可以是预先建立的，并且该循环残差模型是由第一关联关系、第二关联关系以及第三关联关系训练而成的，即，在一些实施例中，在“根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量”之前，还可以包括：
获取多个样本文本以及预设候选文本库中的多个候选文本。
构建每个样本词之间的第一关联关系。
构建样本词与候选词之间的第二关联关系。
以及构建每个候选词之间的第三关联关系。
根据第一关联关系、第二关联关系以及第三关联关系进行模型训练，得到循环残差模型。
其中，样本文本包括多个样本词，候选文本包括多个候选词。例如，具体的，可以采集多个样本文本以及候选文本，然后，可以通过人工标注的方法，将语义一致的样本文本以及候选文本作为一个训练样本对，接着，再构建每个样本词之间的第一关联关系、构建样本词与候选词之间的第二关联关系以及构建每个候选词之间的第三关联关系，将训练样本对输入至该循环残差模型中，并根据第一关联关系、第二关联关系以及第三关联关系对循环残差模型进行训练，得到循环残差模型。
其中，该预设循环残差模型可以根据实际应用的需求进行设定，例如，该预设检测模型可以包括四个卷积层和一个全连接层。
卷积层：主要用于对输入的文本(比如样本文本或候选文本)进行特征提取，其中，卷积核大小可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“ReLu(线性整流函数，Rectified Linear Unit)”，而padding(padding，指属性定义元素边框与元素内容之间的空间)方式均设置为“same”，“same”填充方式可以简单理解为以0填充边缘，左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1～2层进行下采样(pooling)操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(average pooling)等，为了描述方便，在本发明实施例中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为max pooling为例进行说明。
需说明的是，为了描述方便，在本发明实施例中，将激活函数所在层和下采样层(也称为池化层)均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层，当然，还可以包括用于输入数据的输入层和用于输出数据的输出层，在此不再赘述。
全连接层：可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid(S型函数)。
104、根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
具体的，可以判断计算文本与预设文本库中的候选文本的匹配度是否大于预设匹配度。比如，预设匹配度为95％，计算文本与预设文本库中的候选文本的匹配度为98％，则可以确定该候选文本作为相似文本，即，在一些实施例中，“根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本”，包括：
(61)判断计算文本与预设文本库中的候选文本的匹配度是否大于或等于预设匹配度。
(62)若计算文本与预设文本库中的候选文本的匹配度大于或等于预设匹配度，则确定与计算文本匹配的候选文本作为相似文本。
本发明实施例在获取待检索文本后，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。相较于对搜索词进行扩展的方案而言，可以避免扩展词的语义与搜索词的语义发生漂移的问题，因此该方案可以提高召回率和检索结果的准确性。
根据实施例所述的方法，以下将举例进一步详细说明。
在本实施例中将以该车辆信息的获取装置具体集成在终端中为例进行说明。
请参阅图2，一种车辆信息的获取方法，具体流程可以如下：
201、终端获取待检索文本。
具体的，待检索文本可以是用户对终端输入的一句话，比如，用户在网络设备上输入“高血压疾病怎么治疗”，或者是用户对终端输入的多句话。其中，该待检索文本包括多个待检索词，还是以“高血压疾病怎么治疗”为例，在这句话中，待检索词为“高血压、疾病、怎么以及治疗”。
202、终端根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量。
需要说明的是，在本发明实施例中，第一关联关系指的是在同一句话中每个词语之间的相关关系，也就是说，若待检索文本为一句话，第一关联关系指的是每个待检索词之间的相关关系，若待检索文本包括多句话，第一关联关系指的是同一句话中每个待检索词之间的相关关系。
待检索文本的特征向量是终端基于每个待检索词之间的第一关联关系以及待检索文本对应的文本向量构建的。比如，终端可以采用预设循环残差网络中的第一循环残差网络对待检索文本进行处理，以生成待检索文本的特征向量，即，在一些实施例中，终端根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，具体可以包括：
终端采用预设循环残差模型中的第一循环残差网络对待检索文本以及多个第一关联关系进行处理，生成待检索文本的特征向量。
在一些实施例中，终端采用预设循环残差模型中的第一循环残差网络对待检索文本以及多个第一关联关系进行处理，生成待检索文本的特征向量，包括：
(11)终端基于待检索文本中的待检索词的位置信息，生成待检索文本的文本向量。
(12)终端采用预设循环残差模型中的第一循环残差网络对文本向量进行处理，生成待检索文本对应的特征向量。
其中，特征向量包括每个待检索词之间的第一关联关系。具体的，终端可以基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，终端采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成包含第一关联关系的文本向量，然后，终端再采用第一循环残差网络该包含第一关联关系的文本向量进行处理，以修正第一关联关系，直到循环次数达到预设次数时，得到待检索文本的特征向量。比如，预设次数为6次，首先，终端基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，终端采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成第一次处理后的文本向量，然后，终端再采用预设循环残差模型中的第一循环残差网络中的循环残差算法对第一次处理后的文本向量进行处理，完成一次对第一关联关系的修正，直到循环六次后，得到待检索文本的特征向量。
预设循环残差模型是预先训练好的循环残差模型。该循环残差模型可采用基于神经网络的Sequence-to-Sequence(序列-序列)框架。Sequence-to-Sequence框架是包含Encoder-Decoder(编码器-解码器)结构的框架。Encoder-Decoder结构可以将输入的待检索文本转换为相似文本输出。在本实施例中，第一循环残差网络可以为Sequence-to-Sequence框架中的编码器。第一循环残差网络可以为CNN(Convolutional NeuralNetworks，卷积神经网络)或RNN(Recurrent Neural Networks，循环神经网络)，具体根据实际情况进行设置。
具体的，在采用预设循环残差模型中的第一循环残差网络对待检索文本进行处理之前，还可以对待检索文本进行位置编码，即，在一些实施例中，终端“采用预设循环残差模型中的第一循环残差网络对待检索文本进行处理，生成待检索文本对应的文本向量”之前，还包括：
终端检测每个待检索词在待检索文本的位置，生成每个待检索词的位置信息。
终端根据每个待检索词的位置信息，对每个待检索词进行位置编码。
由于本发明的预设循环残差模型没有表征字词顺序的结构，因此，可以通过位置编码将位置信息加入到待检索文本的每个待检索词中。输入的待检索文本经过分词后变成由n个词组成的有序集合，n为正整数，其中，对于不满n个词的句子可以填充省略词，使得每个句子中均包括n个词。通过词嵌入模型将每个词嵌入为d_model维的词向量v，词向量集合V＝{v1,v2….vn}。利用余弦编码：
PEpos，2i＝sin(pos/10002i/dmodel)，PEpos，2i+1＝cos(pos/10002i/dmodel)
其中pos表示词的位置，即第pos个词；i表示词嵌入的维度，即词向量的第i维。将上式所得结果与词向量v相加，则得到新的词嵌入表示：V_new＝{v_new1,v_new2…v_newn}。
对待检索文本进行位置编码后，采用预设循环残差模型中的第一循环残差网络对待检索文本中每个待检索词进行变换处理，得到多个待检索词向量，基于这多个待检索词向量以及每个待检索词的位置编码信息，生成待检索文本对应的文本向量。然后，再采用第一循环残差网络对每个待检索词的位置编码信息进行处理，生成每个待检索词向量之间的第一关联关系，紧接着，融合多个第一关联关系以及文本向量，得到处理后的文本向量，最后，根据文本向量以及多个第一关联关系，对处理后的文本向量进行更新，得到待检索文本的特征向量。
203、终端基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本。
候选词信息包括位置标识和每个候选词的位置信息，候选词信息是从候选文本库中提取出来的。第二关联关系指的是两句话词语之间的相关关系，在本发明实施例中，第二关联关系指的是，待检索文本中的待检索词与候选文本的候选词之间的相关关系。
其中，候选文本库可以是预先建立的，即，在一些实施例中，“终端在获取待检索文本”之前，还包括：
(21)终端设置基础文本库，并根据基础文本库获取互联网信息。
(22)终端根据互联网信息对基础文本库进行更新，得到候选文本库。
其中，该基础文本库可以是运维人员预先建立好的，终端可以根据该基础文本库获取互联网信息，并根据互联网信息对基础文本库进行更新，使得候选文本库中含有跟更多的候选文本。
需要说明的是，为了进一步提高预设循环残差模型的召回率，在“终端基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本”的步骤之前，还包括：
终端采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到特征向量对应的中间向量。
终端基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本包括：基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及中间向量，生成待检索文本对应的计算文本。
也就是说，待检索文本对应的计算文本是根据第一关联关系、第二关联关系、候选词信息以及中间向量生成的。具体的，首先可以根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重，然后，根据多个权重以及所述特征向量，生成特征向量对应的中间向量。
即，在一些实施例中，“终端基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及中间向量，生成待检索文本对应的计算文本”，包括：
(31)终端根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重。
(32)终端根据多个权重以及特征向量，生成特征向量对应的中间向量；
(33)终端采用第二循环残差网络对候选词信息进行处理，得到候选向量；
(34)终端根据第二关联关系、候选向量以及中间向量，生成计算文本。
需要说明的是，第二循环残差网络的结构以及原理与第一循环残差网络结构以及原理类似，终端在根据第一关联关系以及第二关联关系，终端计算候选词信息中的每个候选词在特征向量中的权重之前，也是会对每个候选词进行位置编码。与第一循环残差网络的区别在于：第二循环残差网络对每个候选词进行位置编码，该位置编码信息还包括起始标志和终止标识。具体的，首先，终端根据起始标志、第二关联关系以及中间向量，确定待检索文本对应的第一个词，然后，终端根据起始标志、第二关联关系、中间向量以及待检索文本对应的第一个词，终端确定待检索文本对应的第二个词，直至识别到终止标识为止。
即，在一些实施例中，“终端根据第二关联关系、候选向量以及中间向量，生成计算文本”，具体可以包括：
(41)终端提取候选词信息的位置标识，位置标识包括起始标识和终止标识。
(42)终端根据起始标识、第二关联关系以及中间向量，确定待检索文本对应的当前计算词。
(43)根据起始标识、第二关联关系、中间向量以及当前计算词，确定待检索文本对应的第i个计算词，直至识别到所述终止标识为止，其中，所述i为正整数。
另外，为了进一步提高预设循环残差模型的召回率，在一些实施例中，还会构建在候选文本中每个候选词之间的相关关系，即终端构建每个候选词之间的第三关联关系，也即，“终端采用预设循环残差模型中的第二循环残差网络对候选词信息进行处理，得到候选向量”，具体可以包括：
(51)终端提取每个候选词之间的第三关联关系。
(52)终端采用第二循环残差网络对候选词信息以及多个第三关联关系进行处理，生成候选向量。
需要说明的是，在本发明实施例中，循环残差模型是可以是预先建立的，并且该循环残差模型是由第一关联关系、第二关联关系以及第三关联关系训练而成的，即，在一些实施例中，在“终端根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量”之前，还可以包括：
终端获取多个样本文本以及预设候选文本库中的多个候选文本。
终端构建每个样本词之间的第一关联关系。
终端构建样本词与候选词之间的第二关联关系。
以及终端构建每个候选词之间的第三关联关系。
终端根据第一关联关系、第二关联关系以及第三关联关系进行模型训练，得到循环残差模型。
其中，样本文本包括多个样本词，候选文本包括多个候选词。例如，具体的，终端可以采集多个样本文本以及候选文本，然后，可以通过人工标注的方法，将语义一致的样本文本以及候选文本作为一个训练样本对，接着，再构建每个样本词之间的第一关联关系、构建样本词与候选词之间的第二关联关系以及构建每个候选词之间的第三关联关系，将训练样本对输入至该循环残差模型中，并根据第一关联关系、第二关联关系以及第三关联关系对循环残差模型进行训练，得到循环残差模型。
204、终端根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
具体的，终端可以判断计算文本与预设文本库中的候选文本的匹配度是否大于预设匹配度。比如，预设匹配度为95％，计算文本与预设文本库中的候选文本的匹配度为98％，则终端可以确定该候选文本作为相似文本，即，在一些实施例中，“终端根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本”，包括：
(61)终端判断计算文本与预设文本库中的候选文本的匹配度是否大于或等于预设匹配度。
(62)若计算文本与预设文本库中的候选文本的匹配度大于或等于预设匹配度，终端则确定与计算文本匹配的候选文本作为相似文本。
本发明实施例在终端获取待检索文本后，终端根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，终端基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，终端根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。该方案可以提高召回率和检索结果的准确性。
为便于更好的实施本发明实施例提供的检索相似文本的方法，本发明实施例还提供一种基于上述检索相似文本的装置(简称检索装置)。其中名词的含义与上述检索相似文本的方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图3a，图3a是本发明实施例提供的检索相似文本的装置的第一种实施方式的结构示意图，其中该检索装置可以包括第一获取模块301、第二获取模块302、生成模块303以及确定模块304，具体可以如下：
第一获取模块301，用于获取待检索文本。
其中，待检索文本包括多个待检索词。具体的，待检索文本可以是用户对网络设备输入的一句话，比如，用户在网络设备上输入“高血压疾病怎么治疗”，或者是用户对网络设备输入的多句话。第一获取模块301可以用于获取用户输入的待检索文本。
第二获取模块302，用于根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量。
在一些实施例中，第二获取模块302具体可以用于：
采用预设循环残差模型中的第一循环残差网络对待检索文本以及多个第一关联关系进行处理，生成待检索文本的特征向量。
在一些实施例中，第二获取模块具体可以包括：
第一生成子单元3021，用于基于待检索文本中的待检索词的位置信息，生成待检索文本的文本向量。
第二生成子单元3022，用于采用预设循环残差模型中的第一循环残差网络对文本向量进行处理，生成待检索文本对应的特征向量。
其中，特征向量包括每个待检索词之间的第一关联关系。具体的，第一生成子单元3021可以基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，第二生成子单元3022采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成包含第一关联关系的文本向量，然后，第二生成子单元3022采用第一循环残差网络对该包含第一关联关系的文本向量进行处理，以修正第一关联关系，直到循环次数达到预设次数时，得到待检索文本的特征向量。比如，预设次数为6次，首先，第一生成子单元3021基于每个待检索词的位置信息，生成待检索文本的文本向量，然后，第二生成子单元3022采用预设循环残差模型中的第一循环残差网络中的循环残差算法对文本向量进行处理，生成第一次处理后的文本向量，然后，第二生成子单元3022再采用预设循环残差模型中的第一循环残差网络中的循环残差算法对第一次处理后的文本向量进行处理，完成一次对第一关联关系的修正，直到循环六次后，得到待检索文本的特征向量。
生成模块303，用于基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本。
候选词信息包括位置标识和每个候选词的位置信息，候选词信息是从候选文本库中提取出来的。第二关联关系指的是两句话词语之间的相关关系，在本发明实施例中，第二关联关系指的是，待检索文本中的待检索词与候选文本的候选词之间的相关关系。
其中，候选文本库可以是预先建立的，即，在一些实施例中，检索装置还包括第三获取模块306，如图3c所示，第三获取模块306具体用于：
设置基础文本库，并根据基础文本库获取互联网信息。
根据互联网信息对基础文本库进行更新，得到候选文本库。
其中，该基础文本库可以是运维人员预先建立好的，第三获取模块306可以根据该基础文本库获取互联网信息，并根据互联网信息对基础文本库进行更新，使得候选文本库中含有跟更多的候选文本。
需要说明的是，为了进一步提高预设循环残差模型的召回率，在一些实施例中，检索装置还包括计算模块305，如图3b所示，该计算模块305用于采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到所述特征向量对应的中间向量，生成模块303具体用于：基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及中间向量，生成待检索文本对应的计算文本。
也就是说，待检索文本对应的计算文本是根据第一关联关系、第二关联关系、候选词信息以及中间向量生成的。具体的，首先可以根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重，然后，根据多个权重以及所述特征向量，生成特征向量对应的中间向量。
即，在一些实施例中，生成模块303包括：
计算子单元3031，用于根据第一关联关系以及第二关联关系，计算候选词信息中的每个候选词在特征向量中的权重。
第三生成子单元3032，用于根据多个权重以及特征向量，生成特征向量对应的中间向量；
处理子单元3033，用于采用第二循环残差网络对候选词信息进行处理，得到候选向量；
第四生成子单元3034，用于根据第二关联关系、候选向量以及中间向量，生成计算文本。
需要说明的是，第二循环残差网络的结构以及原理与第一循环残差网络结构以及原理类似，在根据所述第一关联关系以及第二关联关系，计算所述候选词信息中的每个候选词在所述特征向量中的权重之前，也是会对每个候选词进行位置编码。与第一循环残差网络的区别在于：第二循环残差网络对每个候选词进行位置编码，该位置编码信息还包括起始标志和终止标识。具体的，首先，根据起始标志、第二关联关系以及中间向量，确定待检索文本对应的第一个词，然后，根据起始标志、第二关联关系、中间向量以及待检索文本对应的第一个词，确定待检索文本对应的第二个词，直至识别到终止标识为止。
即，在一些实施例中，第四生成子单元3034具体用于：
提取候选词信息的位置标识，位置标识包括起始标识和终止标识。
根据起始标识、第二关联关系以及中间向量，确定待检索文本对应的当前计算词。
根据起始标识、第二关联关系、中间向量以及当前计算词，确定待检索文本对应的第i个计算词，直至识别到所述终止标识为止，其中，所述i为正整数。
另外，为了进一步提高预设循环残差模型的召回率，在一些实施例中，还会构建在候选文本中每个候选词之间的相关关系，即构建每个候选词之间的第三关联关系，也即，处理子单元3033具体用于：
提取每个候选词之间的第三关联关系。
采用第二循环残差网络对候选词信息以及多个第三关联关系进行处理，生成候选向量。
需要说明的是，在本发明实施例中，循环残差模型是可以是预先建立的，并且该循环残差模型是由第一关联关系、第二关联关系以及第三关联关系训练而成的，即，在一些实施例中，检索装置还包括训练模块307，如图3d所示，该训练模块307具体用于：
获取多个样本文本以及预设候选文本库中的多个候选文本。
构建每个样本词之间的第一关联关系。
构建样本词与候选词之间的第二关联关系。
以及构建每个候选词之间的第三关联关系。
根据第一关联关系、第二关联关系以及第三关联关系进行模型训练，得到循环残差模型。
其中，样本文本包括多个样本词，候选文本包括多个候选词。例如，具体的，可以采集多个样本文本以及候选文本，然后，可以通过人工标注的方法，将语义一致的样本文本以及候选文本作为一个训练样本对，接着，再构建每个样本词之间的第一关联关系、构建样本词与候选词之间的第二关联关系以及构建每个候选词之间的第三关联关系，将训练样本对输入至该循环残差模型中，并根据第一关联关系、第二关联关系以及第三关联关系对循环残差模型进行训练，得到循环残差模型。
确定模块304，用于根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
具体的，确定模块304可以判断计算文本与预设文本库中的候选文本的匹配度是否大于预设匹配度。比如，预设匹配度为95％，计算文本与预设文本库中的候选文本的匹配度为98％，则终端可以确定该候选文本作为相似文本，即，在一些实施例中，确定模块304具体用于：
判断计算文本与预设文本库中的候选文本的匹配度是否大于或等于预设匹配度。
若计算文本与预设文本库中的候选文本的匹配度大于或等于预设匹配度，则确定与计算文本匹配的候选文本作为相似文本。
本发明实施例在第一获取模块301获取待检索文本后，第二获取模块302根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，生成模块303基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，确定模块304根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。该方案可以提高召回率和检索结果的准确性。
进一步的，为了便于对本发明实施例提供的检索相似文本的方法的理解，请参阅图3e，以检索相似文本的装置集成在网络设备为例，当用户需要查询某个问题对应的答案时，如“高血压怎么治疗”，网络设备接收到用户输入的问句，即，网络设备接收到待检索文本，网络设备的编码端对待检索文本进行处理，得到待检索文本的特征向量。网络设备的解码端则输入开始字符，开始字符可以为SOS(Start of Sentence，句子开始的标志)，然后，解码端再根据开始字符以及待检索文本的特征向量生成解码端的第一个词，然后解码端再根据解码端的第一个词、开始字符以及待检索文本的特征向量生成解码端的第二个词，直到解码端解码出终止字符EOS(End of Sentence，句子结束的标志)，则用户输入的问句解码完成，输出该问句的相似问句，即，生成待检索文本的相似文本。然后，网络设备可以基于该相似问句，查询该相似问句对应的答案，并展示该相似问句对应的答案。比如，还是以用户输入“高血压怎么治疗”为例，网络设备基于用户输入的“高血压怎么治疗”，生成相似文具“高血压急症的治疗策略是什么”，最后基于“高血压急症的治疗策略是什么”，向用户展示“高血压急症的治疗策略是什么”对应的答案。
相应的，本发明实施例还提供一种终端，如图4所示，该终端可以包括射频(RF，Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：
获取待检索文本，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
本发明实施例在获取待检索文本后，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。该方案可以提高召回率和检索结果的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种车辆信息的获取方法中的步骤。例如，该指令可以执行如下步骤：
在获取待检索文本后，根据每个待检索词之间的第一关联关系，获取待检索文本的特征向量，然后，基于待检索词与候选词信息中的候选词之间的第二关联关系、候选词信息以及特征向量，生成待检索文本对应的计算文本，最后，根据计算文本与预设文本库中的候选文本的匹配度，确定与计算文本匹配的候选文本作为相似文本。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种检索相似文本的方法中的步骤，因此，可以实现本发明实施例所提供的任一种检索相似文本的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种检索相似文本的方法、装置以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种检索相似文本的方法，其特征在于，包括：
获取待检索文本，所述待检索文本包括多个待检索词；
根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量；
基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本；
根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本。
2.根据权利要求1所述的方法，其特征在于，所述根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量，包括：
采用预设循环残差模型中的第一循环残差网络对所述待检索文本以及多个第一关联关系进行处理，生成所述待检索文本的特征向量。
3.根据权利要求2所述的方法，其特征在于，所述采用预设循环残差模型中的第一循环残差网络对所述待检索文本以及多个第一关联关系进行处理，生成所述待检索文本的特征向量，包括：
基于所述待检索文本中的待检索词的位置信息，生成所述待检索文本的文本向量；
采用预设循环残差模型中的第一循环残差网络对所述文本向量进行处理，生成所述待检索文本对应的特征向量，其中，所述特征向量包括每个待检索词之间的第一关联关系。
4.根据权利要求1所述的方法，其特征在于，所述根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量之后，所述基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本之前，还包括：
采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到所述特征向量对应的中间向量；
所述基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本包括：基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述中间向量，生成所述待检索文本对应的计算文本。
5.根据权利要求4所述的方法，其特征在于，所述基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述中间向量，生成所述待检索文本对应的计算文本，包括：
根据所述第一关联关系以及第二关联关系，计算所述候选词信息中的每个候选词在所述特征向量中的权重，其中，所述第二关联关系为基于预设循环残差模型中的第二循环残差网络生成的所述待检索词与所述候选词之间的关联关系；
根据多个权重以及所述特征向量，生成所述特征向量对应的中间向量；
采用所述第二循环残差网络对所述候选词信息进行处理，得到候选向量；
根据所述第二关联关系、所述候选向量以及所述中间向量，生成计算文本。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二关联关系、所述候选向量以及所述中间向量，生成计算文本，包括：
提取所述候选词信息的位置标识，所述位置标识包括起始标识和终止标识；
根据所述起始标识、所述第二关联关系以及所述中间向量，确定所述待检索文本对应的当前计算词；
根据所述起始标识、第二关联关系、中间向量以及当前计算词，确定所述待检索文本对应的第i个计算词，直至识别到所述终止标识为止，其中，所述i为正整数。
7.根据权利要求5所述的方法，其特征在于，所述采用预设循环残差模型中的第二循环残差网络对所述候选词信息进行处理，得到候选向量，包括：
提取每个候选词之间的第三关联关系；
采用所述第二循环残差网络对所述候选词信息以及多个第三关联关系进行处理，生成候选向量。
8.根据权利要求1所述的方法，其特征在于，所述根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本，包括：
判断所述计算文本与预设文本库中的候选文本的匹配度是否大于或等于预设匹配度；
若所述计算文本与预设文本库中的候选文本的匹配度大于或等于预设匹配度，则确定与所述计算文本匹配的候选文本作为相似文本。
9.根据权利要求1所述的方法，其特征在于，在所述获取待检索文本之前，还包括：
设置基础文本库，并根据所述基础文本库获取互联网信息；
根据所述互联网信息对所述基础文本库进行更新，得到候选文本库。
10.根据权利要求1至9任一项所述的方法，其特征在于，在所述根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量之前，还包括：
获取多个样本文本以及预设候选文本库中的多个候选文本，所述样本文本包括多个样本词，所述候选文本包括多个候选词；
构建每个所述样本词之间的第一关联关系；
构建所述样本词与所述候选词之间的第二关联关系；
以及构建每个所述候选词之间的第三关联关系；
根据所述第一关联关系、第二关联关系以及第三关联关系进行模型训练，得到循环残差模型。
11.一种检索相似文本的装置，其特征在于，包括：
第一获取模块，用于获取待检索文本，所述待检索文本包括多个待检索词；
第二获取模块，用于根据每个待检索词之间的第一关联关系，获取所述待检索文本的特征向量；
生成模块，用于基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述特征向量，生成所述待检索文本对应的计算文本；
确定模块，用于根据所述计算文本与预设文本库中的候选文本的匹配度，确定与所述计算文本匹配的候选文本作为相似文本。
12.根据权利要求11所述的装置，其特征在于，所述第二获取模块具体用于：
采用预设循环残差模型中的第一循环残差网络对所述待检索文本以及多个第一关联关系进行处理，生成所述待检索文本的特征向量。
13.根据权利要求12所述的装置，其特征在于，所述第二获取模块，包括：
第一生成子单元，用于基于所述待检索文本中的待检索词的位置信息，生成所述待检索文本的文本向量；
第二生成子单元，用于采用预设循环残差模型中的第一循环残差网络对所述文本向量进行处理，生成所述待检索文本对应的特征向量，其中，所述特征向量包括每个待检索词之间的第一关联关系。
14.根据权利要求11所述的装置，其特征在于，还包括：
计算模块，用于采用预设循环残差模型中的全局注意力网络对所述特征向量进行计算，得到所述特征向量对应的中间向量；
所述生成模块具体用于：基于所述待检索词与候选词信息中的候选词之间的第二关联关系、所述候选词信息以及所述中间向量，生成所述待检索文本对应的计算文本。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述检索相似文本的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345077.5A CN110110045B (zh) | 2019-04-26 | 2019-04-26 | 一种检索相似文本的方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345077.5A CN110110045B (zh) | 2019-04-26 | 2019-04-26 | 一种检索相似文本的方法、装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110045A true CN110110045A (zh) | 2019-08-09 |
| CN110110045B CN110110045B (zh) | 2021-08-31 |
Family
ID=67487003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910345077.5A Active CN110110045B (zh) | 2019-04-26 | 2019-04-26 | 一种检索相似文本的方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110045B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928987A (zh) * | 2019-10-18 | 2020-03-27 | 平安科技（深圳）有限公司 | 基于神经网络混合模型的法律条文检索方法及相关设备 |
| CN111382337A (zh) * | 2020-03-10 | 2020-07-07 | 开封博士创新技术转移有限公司 | 一种信息对接匹配方法、装置、服务器及可读存储介质 |
| CN111680494A (zh) * | 2020-04-27 | 2020-09-18 | 平安科技（深圳）有限公司 | 相似文本的生成方法及装置 |
| CN112487274A (zh) * | 2020-12-02 | 2021-03-12 | 重庆邮电大学 | 一种基于文本点击率的搜索结果推荐方法及系统 |
| CN112784007A (zh) * | 2020-07-16 | 2021-05-11 | 上海芯翌智能科技有限公司 | 文本匹配方法及装置、存储介质和计算机设备 |
| CN113268564A (zh) * | 2021-05-24 | 2021-08-17 | 平安科技（深圳）有限公司 | 相似问题的生成方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054279A1 (en) * | 2001-01-04 | 2002-07-11 | Agency For Science, Technology And Research | Improved method of text similarity measurement |
| CN102693316A (zh) * | 2012-05-29 | 2012-09-26 | 中国科学院自动化研究所 | 基于线性泛化回归模型的跨媒体检索方法 |
| CN103886063A (zh) * | 2014-03-18 | 2014-06-25 | 国家电网公司 | 一种文本检索方法和装置 |
| CN106156154A (zh) * | 2015-04-14 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 相似文本的检索方法及其装置 |
| CN109086423A (zh) * | 2018-08-08 | 2018-12-25 | 北京神州泰岳软件股份有限公司 | 一种文本匹配方法及装置 |
-
2019
- 2019-04-26 CN CN201910345077.5A patent/CN110110045B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054279A1 (en) * | 2001-01-04 | 2002-07-11 | Agency For Science, Technology And Research | Improved method of text similarity measurement |
| CN102693316A (zh) * | 2012-05-29 | 2012-09-26 | 中国科学院自动化研究所 | 基于线性泛化回归模型的跨媒体检索方法 |
| CN103886063A (zh) * | 2014-03-18 | 2014-06-25 | 国家电网公司 | 一种文本检索方法和装置 |
| CN106156154A (zh) * | 2015-04-14 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 相似文本的检索方法及其装置 |
| CN109086423A (zh) * | 2018-08-08 | 2018-12-25 | 北京神州泰岳软件股份有限公司 | 一种文本匹配方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928987A (zh) * | 2019-10-18 | 2020-03-27 | 平安科技（深圳）有限公司 | 基于神经网络混合模型的法律条文检索方法及相关设备 |
| CN110928987B (zh) * | 2019-10-18 | 2023-07-25 | 平安科技（深圳）有限公司 | 基于神经网络混合模型的法律条文检索方法及相关设备 |
| CN111382337A (zh) * | 2020-03-10 | 2020-07-07 | 开封博士创新技术转移有限公司 | 一种信息对接匹配方法、装置、服务器及可读存储介质 |
| CN111680494A (zh) * | 2020-04-27 | 2020-09-18 | 平安科技（深圳）有限公司 | 相似文本的生成方法及装置 |
| CN112784007A (zh) * | 2020-07-16 | 2021-05-11 | 上海芯翌智能科技有限公司 | 文本匹配方法及装置、存储介质和计算机设备 |
| CN112784007B (zh) * | 2020-07-16 | 2023-02-21 | 上海芯翌智能科技有限公司 | 文本匹配方法及装置、存储介质和计算机设备 |
| CN112487274A (zh) * | 2020-12-02 | 2021-03-12 | 重庆邮电大学 | 一种基于文本点击率的搜索结果推荐方法及系统 |
| CN112487274B (zh) * | 2020-12-02 | 2023-02-07 | 重庆邮电大学 | 一种基于文本点击率的搜索结果推荐方法及系统 |
| CN113268564A (zh) * | 2021-05-24 | 2021-08-17 | 平安科技（深圳）有限公司 | 相似问题的生成方法、装置、设备及存储介质 |
| CN113268564B (zh) * | 2021-05-24 | 2023-07-21 | 平安科技（深圳）有限公司 | 相似问题的生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110045B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956771B2 (en) | Image recognition method, terminal, and storage medium | |
| CN110110045A (zh) | 一种检索相似文本的方法、装置以及存储介质 | |
| CN108305296A (zh) | 图像描述生成方法、模型训练方法、设备和存储介质 | |
| CN107943860B (zh) | 模型的训练方法、文本意图的识别方法及装置 | |
| KR101887558B1 (ko) | 컨볼루션 신경망 모델의 트레이닝 방법 및 장치 | |
| CN104239535B (zh) | 一种为文字配图的方法、服务器、终端及系统 | |
| US11290447B2 (en) | Face verification method and device | |
| CN109145303A (zh) | 命名实体识别方法、装置、介质以及设备 | |
| CN108364644A (zh) | 一种语音交互方法、终端及计算机可读介质 | |
| CN106710596A (zh) | 回答语句确定方法及装置 | |
| WO2021190122A1 (zh) | 人体关键点的检测方法、装置、电子设备及存储介质 | |
| CN108228270A (zh) | 启动资源加载方法及装置 | |
| CN110825863B (zh) | 一种文本对融合方法及装置 | |
| JP2023508062A (ja) | 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム | |
| CN114722937B (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
| CN111324699A (zh) | 语义匹配的方法、装置、电子设备及存储介质 | |
| CN113868427A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN110263077A (zh) | 一种获取移动终端中文件的方法、移动终端及存储介质 | |
| CN110597957B (zh) | 一种文本信息检索的方法及相关装置 | |
| CN111553163A (zh) | 文本相关度的确定方法、装置、存储介质及电子设备 | |
| CN110335629A (zh) | 音频文件的音高识别方法、装置以及存储介质 | |
| CN110377914A (zh) | 字符识别方法、装置及存储介质 | |
| CN114840563B (zh) | 一种字段描述信息的生成方法、装置、设备及存储介质 | |
| CN110503189A (zh) | 一种数据处理方法以及装置 | |
| CN113569043A (zh) | 一种文本类别确定方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |