CN111538803A - 待匹配的候选提问文本获取方法及装置、设备及介质 - Google Patents

待匹配的候选提问文本获取方法及装置、设备及介质 Download PDF

Info

Publication number
CN111538803A
CN111538803A CN202010309197.2A CN202010309197A CN111538803A CN 111538803 A CN111538803 A CN 111538803A CN 202010309197 A CN202010309197 A CN 202010309197A CN 111538803 A CN111538803 A CN 111538803A
Authority
CN
China
Prior art keywords
text
question
texts
questioning
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010309197.2A
Other languages
English (en)
Inventor
韩建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010309197.2A priority Critical patent/CN111538803A/zh
Publication of CN111538803A publication Critical patent/CN111538803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种待匹配的候选提问文本获取方法及装置、设备及介质。该方法的一具体实施方式包括：生成用户输入的提问文本的文本指纹；对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。该实施方式通过生成的文本指纹进行候选提问文本的筛选，得到问答数据库中与用户输入的提问文本较为相似的常用提问文本，之后便可采用一一匹配的策略仅对候选提问文本进行匹配，大大减少了需要匹配的提问文本数量，可显著提升问答系统进行常见提问语句匹配的效率和实时性。

Description

待匹配的候选提问文本获取方法及装置、设备及介质
技术领域
本发明涉及问答系统技术领域。更具体地，涉及一种待匹配的候选提问文本获取方法及装置、设备及介质。
背景技术
基于常见提问语句或者说常见问题的自动问答技术是自动问答技术领域的标准技术，几乎是各种问答系统的标配。自动问答技术通常包括问题理解模块、数据检索模块和答案抽取模块，其中，问题理解模块基于意图理解技术和实体识别技术进行问题理解。基于常见问题的意图理解技术就是计算用户提问语句和常见提问语句集合的匹配程度，即文本匹配技术。
自然语言理解的许多任务都可以抽象成文本匹配问题，文本匹配是自然语言理解中的一个核心问题。对文本匹配的研究可以应用到大量已知的自然语言处理任务中，例如信息检索、机器翻译、对话系统、复述问题等等。这些自然语言处理的任务都可以在一定程度上抽象成文本匹配问题，比如信息检索可以归结为查询项和文档的匹配，机器翻译可以归结为两种语言间的匹配，对话系统可以归结为前一句对话和回复的匹配，复述问题则可以归结为两个同义词句的匹配。
目前，对于用户输入的提问语句，要在常见提问语句集合中匹配到最相似的常见提问语句，通常采用一一匹配的方式，这样，耗时较多，效率很低。
因此，需要提供一种待匹配的候选提问文本获取方法及装置、设备及介质。
发明内容
本发明的目的在于提供一种待匹配的候选提问文本获取方法及装置、设备及介质，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种待匹配的候选提问文本获取方法，包括：
生成用户输入的提问文本的文本指纹；
对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。
本发明第一方面提供的待匹配的候选提问文本获取方法，通过生成的文本指纹进行候选提问文本的筛选，得到问答数据库中与用户输入的提问文本较为相似的常用提问文本，之后便可采用一一匹配的策略仅对候选提问文本进行匹配，大大减少了需要匹配的提问文本数量，可显著提升问答系统进行常见提问语句匹配的效率和实时性。
可选地，所述生成用户输入的提问文本的文本指纹包括：
利用循环神经网络对用户输入的提问文本进行矢量化，以将用户输入的提问文本转化为预设维度的矢量；
对所述预设维度的矢量进行整数化；
对所述整数化的预设维度的矢量依次进行哈希处理、加权处理和降维处理，得到用户输入的提问文本的文本指纹。
此可选方式可准确高效的生成有效的文本指纹，其中，由于利用循环神经网络对用户输入的提问文本进行矢量化得到的预设维度的矢量为取值在0-1之间的浮点数，计算机系统不便处理，因此，此可选方式进行整数化处理，以便后续处理。
可选地，所述对所述预设维度的矢量进行整数化包括：对所述预设维度的矢量的各维度的浮点数值依次进行乘以预设数值和取整。
可选地，所述利用循环神经网络对用户输入的提问文本进行矢量化包括：利用长短期记忆网络对用户输入的提问文本进行矢量化。
由于用户输入的提问文本为短文本的概率较大，因此此可选方式通过利用长短期记忆网络对用户输入的提问文本进行矢量化，解决了长依赖问题，可实现生成文本指纹流程对短文本的适用。
可选地，在所述对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断之前，该方法还包括：
生成问答数据库中的多个提问文本的文本指纹，包括：
利用循环神经网络对问答数据库中的多个提问文本分别进行矢量化，以将问答数据库中的多个提问文本分别转化为多个预设维度的矢量；
对所述多个预设维度的矢量分别进行整数化；
对所述整数化的多个预设维度的矢量分别依次进行哈希处理、加权处理和降维处理，得到问答数据库中的多个提问文本的文本指纹。
可选地，所述对所述多个预设维度的矢量分别进行整数化包括：对所述多个预设维度的矢量的各维度的浮点数值分别依次进行乘以预设数值和取整。
可选地，所述利用循环神经网络对问答数据库中的多个提问文本分别进行矢量化包括：利用长短期记忆网络对问答数据库中的多个提问文本分别进行矢量化。
可选地，所述对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本包括：
将预生成的问答数据库中的多个提问文本的文本指纹按位数等分为N段，将每一段的段号和文本指纹值作为键值来建立问答数据库中的多个提问文本的文本指纹的索引，构建存储问答数据库中的多个提问文本的文本指纹的索引的文本指纹库；
将用户输入的提问文本的文本指纹按位数等分为N段，根据用户输入的提问文本的文本指纹中每一段的段号和文本指纹值搜索所述文本指纹库，将与用户输入的提问文本的文本指纹至少M段相同的问答数据库中的提问文本的文本指纹作为待匹配的候选提问文本，其中，M和N分别为自然数，M小于N。
可选地，所述用户输入的提问文本和问答数据库中的多个提问文本分别为短文本。
本发明第二方面提供了一种执行本发明第一方面提供的方法的待匹配的候选提问文本获取装置，包括：
生成模块，用于生成用户输入的提问文本的文本指纹；
比较模块，用于对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度比较，得到待匹配的候选提问文本。
本发明第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的方法。
本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的方法。
本发明的有益效果如下：
本发明所述技术方案，通过生成的文本指纹进行候选提问文本的筛选，得到问答数据库中与用户输入的提问文本较为相似的常用提问文本，之后便可采用一一匹配的策略仅对候选提问文本进行匹配，大大减少了需要匹配的提问文本数量，可显著提升问答系统进行常见提问语句匹配的效率和实时性。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明：
图1示出本发明实施例提供的待匹配的候选提问文本获取方法的流程图。
图2示出生成文本指纹的流程图。
图3示出建立索引与搜索文本指纹库的流程图。
图4示出本发明实施例提供的待匹配的候选提问文本获取装置的示意图。
图5示出实现本发明实施例提供的待匹配的候选提问文本获取装置的计算机系统的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
本发明的一个实施例提供了一种待匹配的候选提问文本获取方法，该方法可以通过问答系统的软件客户端与相互配合的服务器实现，软件客户端安装在PC端例如台式机或移动终端例如智能手机、平板电脑上，在运行软件客户端例如APP时调用本实施例提供的待匹配的候选提问文本获取方法。
如图1所示，本实施例提供的待匹配的候选提问文本获取方法，包括如下步骤：
S1、生成问答数据库中的多个常用提问文本的文本指纹；
S2、建立问答数据库中的多个常用提问文本的文本指纹的索引，构建存储问答数据库中的多个常用提问文本的文本指纹的索引的文本指纹库；
S3、生成用户输入的提问文本的文本指纹；
S4、根据用户输入的提问文本的文本指纹搜索文本指纹库以进行对用户输入的提问文本的文本指纹与已生成的问答数据库中的多个常用提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。
其中，在一个具体示例中，步骤S1和S2由服务器离线执行，步骤S3由安装在例如智能手机的软件客户端在线执行，步骤S4由服务器在线执行。
本实施例提供的待匹配的候选提问文本获取方法，通过生成的文本指纹进行候选提问文本的筛选，得到问答数据库中与用户输入的提问文本较为相似的常用提问文本，之后便可采用一一匹配的策略仅对候选提问文本进行匹配，大大减少了需要匹配的提问文本数量，可显著提升问答系统进行常见提问语句匹配的效率和实时性。其中，步骤S2可实现基于搜索引擎技术进行索引和搜索，可提升待匹配的候选提问文本的效率和实时性。
在本实施例的一些可选的实现方式中，如图2所示，步骤S1包括：
利用循环神经网络(RNN)对问答数据库中的多个常用提问文本分别进行矢量化，以将问答数据库中的多个常用提问文本分别转化为多个预设维度的矢量，在一个具体示例中，预设维度的矢量为512维矢量；
对所述多个预设维度的矢量分别进行整数化；
对所述整数化的多个预设维度的矢量分别依次进行哈希处理、加权处理和降维处理，得到问答数据库中的多个常用提问文本的文本指纹；在一个具体示例中：对所述多个预设维度的矢量分别进行整数化后生成权重；之后再根据矢量维度序号进行哈希处理，哈希为64位；之后根据矢量维度序号的哈希值及其对应权重进行加权处理，具体为如果位值为1，则加上对应权重，否则减去对应权重；之后可进行合并处理，将加权结果累加；最后进行降维处理，具体为对加权合并之后的矢量，将每个维度值大于0的转化为1，否则转化为0，转化后的结果则为提问文本的文本指纹，文本指纹为64位的二进制字符串，例如“1010011111000110101000110110111010100111110001101010001101101110”。
此实现方式可准确高效的生成有效的文本指纹，其中，由于利用循环神经网络对问答数据库中的多个常用提问文本分别进行矢量化得到的预设维度的矢量为取值在0-1之间的浮点数，计算机系统不便处理，因此，此实现方式进行整数化处理，以便后续处理。
在本实施例的一些可选的实现方式中，所述对所述多个预设维度的矢量分别进行整数化包括：对所述多个预设维度的矢量的各维度的浮点数值分别依次进行乘以预设数值和取整，在一个具体示例中，预设数值为1000。
在本实施例的一些可选的实现方式中，所述利用循环神经网络对问答数据库中的多个常用提问文本分别进行矢量化包括：利用长短期记忆网络(LSTM)对问答数据库中的多个常用提问文本分别进行矢量化。
由于问答数据库中的常用提问文本为短文本的概率较大，因此此实现方式通过利用长短期记忆网络对问答数据库中的多个常用提问文本分别进行矢量化，解决了长依赖问题，可实现生成文本指纹流程对短文本的适用。
在本实施例的一些可选的实现方式中，步骤S2包括：
将问答数据库中的多个常用提问文本的文本指纹按位数等分为N段，将每一段的段号和文本指纹值作为键值(key值)来建立问答数据库中的多个常用提问文本的文本指纹的索引，构建存储问答数据库中的多个常用提问文本的文本指纹的索引的文本指纹库；
接续前述示例，如图3所示，遍历问答数据库中的每一个常用提问文本并生成其文本指纹，对于每一个常用提问文本的文本指纹，将64位文本指纹等分为4段(即N＝4)，每段16位，将每一段的段号和文本指纹值作为key值、64位文本指纹作为value值，建立问答数据库中的多个常用提问文本的文本指纹的索引，构建存储问答数据库中的多个提问文本的文本指纹的索引的文本指纹库。
在本实施例的一些可选的实现方式中，步骤S3包括：
利用循环神经网络对用户输入的提问文本进行矢量化，以将用户输入的提问文本转化为预设维度的矢量；
对所述预设维度的矢量进行整数化；
对所述整数化的预设维度的矢量依次进行哈希处理、加权处理和降维处理，得到用户输入的提问文本的文本指纹。
此实现方式可准确高效的生成有效的文本指纹，其中，由于利用循环神经网络对用户输入的提问文本进行矢量化得到的预设维度的矢量为取值在0-1之间的浮点数，计算机系统不便处理，因此，此可选方式进行整数化处理，以便后续处理。
在本实施例的一些可选的实现方式中，所述对所述预设维度的矢量进行整数化包括：对所述预设维度的矢量的各维度的浮点数值依次进行乘以预设数值和取整。
在本实施例的一些可选的实现方式中，所述利用循环神经网络对用户输入的提问文本进行矢量化包括：利用长短期记忆网络对用户输入的提问文本进行矢量化。
由于用户输入的提问文本为短文本的概率较大，因此此实现方式通过利用长短期记忆网络对用户输入的提问文本进行矢量化，解决了长依赖问题，可实现生成文本指纹流程对短文本的适用。
可理解的是，本实施例中，生成用户输入的提问文本的文本指纹的流程与生成的问答数据库中的多个常用提问文本的文本指纹的流程是相似的，在此不再举例赘述。
在本实施例的一些可选的实现方式中，步骤S4包括：
将用户输入的提问文本的文本指纹按位数等分为N段，根据用户输入的提问文本的文本指纹中每一段的段号和文本指纹值搜索所述文本指纹库，将与用户输入的提问文本的文本指纹至少M段相同的问答数据库中的提问文本的文本指纹作为待匹配的候选提问文本，其中，M和N分别为自然数，M小于N。
接续前述示例，对于用户输入的提问文本的文本指纹，将64位文本指纹等分为4段(即N＝4)，每段16位，根据每一段的段号和文本指纹值搜索所述文本指纹库，获取每一段对应的16位的常用提问文本的文本指纹段的集合，共计4个集合。统计4个集合中每个常用提问文本的文本指纹的出现频率，将出现频率大于等于3(即M＝3)的文本指纹作为候选指纹，将候选指纹所属的常用提问文本作为待匹配的候选提问文本。
在本实施例的一些可选的实现方式中，所述用户输入的提问文本和问答数据库中的多个常用提问文本分别为短文本。
如图4所示，本发明的另一个实施例提供了一种待匹配的候选提问文本获取装置，包括：
常用提问文本的文本指纹生成模块，用于生成问答数据库中的多个常用提问文本的文本指纹；
索引模块，用于建立问答数据库中的多个常用提问文本的文本指纹的索引，构建存储问答数据库中的多个常用提问文本的文本指纹的索引的文本指纹库；
输入的提问文本的文本指纹生成模块，用于生成用户输入的提问文本的文本指纹；
搜索模块，用于根据用户输入的提问文本的文本指纹搜索文本指纹库以进行对用户输入的提问文本的文本指纹与已生成的问答数据库中的多个常用提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。
需要说明的是，本实施例提供的待匹配的候选提问文本获取装置的工作流程与上述待匹配的候选提问文本获取方法相似，相关之处可以参照上述说明，在此不再赘述。
本实施例提供的待匹配的候选提问文本获取装置可实现于终端设备，或相互配合的终端设备和服务器，终端设备可以是各种电子设备，包括但不限于个人电脑、智能手机、智能手表、平板电脑、个人数字助理等等。另外，对于问答数据库中的多个常用提问文本的文本指纹的生成、索引的建立及文本指纹库的创建，可以在服务器离线实现。以本实施例提供的待匹配的候选提问文本获取装置实现相互配合的终端设备和服务器为例，终端设备实现输入的提问文本的文本指纹生成模块，另外三个模块由服务器实现，用户使用终端设备进行问答操作时，终端设备与服务器通信，终端设备用于生成用户输入的提问文本的文本指纹并发送至服务器，服务器用于：根据用户输入的提问文本的文本指纹搜索服务器已构建文本指纹库以进行对用户输入的提问文本的文本指纹与服务器已生成的问答数据库中的多个常用提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本，之后服务器便可采用一一匹配的策略对各候选提问文本分别进行与用户输入的提问文本的匹配，最后将匹配度最高的候选提问文本对应的回答文本返回至终端设备，或将匹配度最高的候选提问文本及与其对应的回答文本一起返回至终端设备，由终端设备通过显示屏、扬声器等输出器件输出给用户，实现完整的问答流程。
如图5所示，适于用来实现上述实施例提供的待匹配的候选提问文本获取装置的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括常用提问文本的文本指纹生成模块、索引模块、输入的提问文本的文本指纹生成模块和搜索模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，搜索模块还可以被描述为“比较模块”或“相似度判断模块”。
作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：生成问答数据库中的多个常用提问文本的文本指纹；建立问答数据库中的多个常用提问文本的文本指纹的索引，构建存储问答数据库中的多个常用提问文本的文本指纹的索引的文本指纹库；生成用户输入的提问文本的文本指纹；根据用户输入的提问文本的文本指纹搜索文本指纹库以进行对用户输入的提问文本的文本指纹与已生成的问答数据库中的多个常用提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。
需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (12)

1.一种待匹配的候选提问文本获取方法，其特征在于，包括：
生成用户输入的提问文本的文本指纹；
对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本。
2.根据权利要求1所述的方法，其特征在于，所述生成用户输入的提问文本的文本指纹包括：
利用循环神经网络对用户输入的提问文本进行矢量化，以将用户输入的提问文本转化为预设维度的矢量；
对所述预设维度的矢量进行整数化；
对所述整数化的预设维度的矢量依次进行哈希处理、加权处理和降维处理，得到用户输入的提问文本的文本指纹。
3.根据权利要求2所述的方法，其特征在于，所述对所述预设维度的矢量进行整数化包括：对所述预设维度的矢量的各维度的浮点数值依次进行乘以预设数值和取整。
4.根据权利要求2所述的方法，其特征在于，所述利用循环神经网络对用户输入的提问文本进行矢量化包括：利用长短期记忆网络对用户输入的提问文本进行矢量化。
5.根据权利要求1所述的方法，其特征在于，在所述对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断之前，该方法还包括：
生成问答数据库中的多个提问文本的文本指纹，包括：
利用循环神经网络对问答数据库中的多个提问文本分别进行矢量化，以将问答数据库中的多个提问文本分别转化为多个预设维度的矢量；
对所述多个预设维度的矢量分别进行整数化；
对所述整数化的多个预设维度的矢量分别依次进行哈希处理、加权处理和降维处理，得到问答数据库中的多个提问文本的文本指纹。
6.根据权利要求5所述的方法，其特征在于，所述对所述多个预设维度的矢量分别进行整数化包括：对所述多个预设维度的矢量的各维度的浮点数值分别依次进行乘以预设数值和取整。
7.根据权利要求5所述的方法，其特征在于，所述利用循环神经网络对问答数据库中的多个提问文本分别进行矢量化包括：利用长短期记忆网络对问答数据库中的多个提问文本分别进行矢量化。
8.根据权利要求1所述的方法，其特征在于，所述对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度判断，得到待匹配的候选提问文本包括：
将预生成的问答数据库中的多个提问文本的文本指纹按位数等分为N段，将每一段的段号和文本指纹值作为键值来建立问答数据库中的多个提问文本的文本指纹的索引，构建存储问答数据库中的多个提问文本的文本指纹的索引的文本指纹库；
将用户输入的提问文本的文本指纹按位数等分为N段，根据用户输入的提问文本的文本指纹中每一段的段号和文本指纹值搜索所述文本指纹库，将与用户输入的提问文本的文本指纹至少M段相同的问答数据库中的提问文本的文本指纹作为待匹配的候选提问文本，其中，M和N分别为自然数，M小于N。
9.根据权利要求1所述的方法，其特征在于，所述用户输入的提问文本和问答数据库中的多个提问文本分别为短文本。
10.一种执行如权利要求1-9中任一项所述方法的待匹配的候选提问文本获取装置，其特征在于，包括：
生成模块，用于生成用户输入的提问文本的文本指纹；
比较模块，用于对用户输入的提问文本的文本指纹与预生成的问答数据库中的多个提问文本的文本指纹进行相似度比较，得到待匹配的候选提问文本。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN202010309197.2A 2020-04-20 2020-04-20 待匹配的候选提问文本获取方法及装置、设备及介质 Pending CN111538803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010309197.2A CN111538803A (zh) 2020-04-20 2020-04-20 待匹配的候选提问文本获取方法及装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010309197.2A CN111538803A (zh) 2020-04-20 2020-04-20 待匹配的候选提问文本获取方法及装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111538803A true CN111538803A (zh) 2020-08-14

Family

ID=71952257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010309197.2A Pending CN111538803A (zh) 2020-04-20 2020-04-20 待匹配的候选提问文本获取方法及装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111538803A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380833A (zh) * 2020-11-20 2021-02-19 深圳得理科技有限公司 一种逐句段对比的相似文本查找方法及装置
CN117828064A (zh) * 2024-03-05 2024-04-05 之江实验室 一种问答系统及问答系统的构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095735A (zh) * 2016-06-06 2016-11-09 北京中加国道科技有限责任公司 一种基于深度神经网络检测学术文献抄袭的方法
US20180239811A1 (en) * 2017-02-21 2018-08-23 International Business Machines Corporation Question-answer pair generation
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN110765756A (zh) * 2019-10-29 2020-02-07 北京齐尔布莱特科技有限公司 一种文本处理方法、装置、计算设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095735A (zh) * 2016-06-06 2016-11-09 北京中加国道科技有限责任公司 一种基于深度神经网络检测学术文献抄袭的方法
US20180239811A1 (en) * 2017-02-21 2018-08-23 International Business Machines Corporation Question-answer pair generation
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN110765756A (zh) * 2019-10-29 2020-02-07 北京齐尔布莱特科技有限公司 一种文本处理方法、装置、计算设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张广庆 等: "基于Simhash的海量相似文档快速搜索优化方法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380833A (zh) * 2020-11-20 2021-02-19 深圳得理科技有限公司 一种逐句段对比的相似文本查找方法及装置
CN117828064A (zh) * 2024-03-05 2024-04-05 之江实验室 一种问答系统及问答系统的构建方法
CN117828064B (zh) * 2024-03-05 2024-05-28 之江实验室 一种问答系统及问答系统的构建方法

Similar Documents

Publication Publication Date Title
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
EP3819809A1 (en) A dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
US20210141798A1 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
JP2021501390A (ja) テキスト意味論的コード化の方法および装置
CN111680494B (zh) 相似文本的生成方法及装置
CN112395385B (zh) 基于人工智能的文本生成方法、装置、计算机设备及介质
CN111368042A (zh) 智能问答方法、装置、计算机设备及计算机存储介质
CN104615767A (zh) 搜索排序模型的训练方法、搜索处理方法及装置
CN116775847A (zh) 一种基于知识图谱和大语言模型的问答方法和系统
CN110837738A (zh) 相似问识别方法、装置、计算机设备及存储介质
CN114861889B (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN112988753B (zh) 一种数据搜索方法和装置
JP2022169743A (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN110795541A (zh) 文本查询方法、装置、电子设备及计算机可读存储介质
CN114238373A (zh) 一种自然语言问题转换为结构化查询语句的方法及装置
CN111538803A (zh) 待匹配的候选提问文本获取方法及装置、设备及介质
CN110413992A (zh) 一种语义分析识别方法、系统、介质和设备
CN116821299A (zh) 智能问答方法、智能问答装置、设备及存储介质
CN118113815B (zh) 内容搜索方法、相关装置和介质
CN117473071B (zh) 数据检索方法、装置、设备及计算机可读介质
CN110222144B (zh) 文本内容提取方法、装置、电子设备及存储介质
CN118211649A (zh) 一种基于参考的大语言模型推理加速方法及系统
CN116955644A (zh) 基于知识图谱的知识融合方法、系统及存储介质
CN116467417A (zh) 问题答案的生成方法、装置、设备及存储介质
CN113505595A (zh) 文本短语抽取方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination