CN116578693A - 一种文本检索方法及装置 - Google Patents
一种文本检索方法及装置 Download PDFInfo
- Publication number
- CN116578693A CN116578693A CN202310863072.8A CN202310863072A CN116578693A CN 116578693 A CN116578693 A CN 116578693A CN 202310863072 A CN202310863072 A CN 202310863072A CN 116578693 A CN116578693 A CN 116578693A
- Authority
- CN
- China
- Prior art keywords
- text information
- candidate
- query
- module
- candidate text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101000779415 Homo sapiens Alanine aminotransferase 2 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及人工智能技术领域，提供一种文本检索方法、装置、计算机设备及计算机可读存储介质。该方法在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容的主要内容信息，且在符合用户需求的同时，也可以更加自然、易懂，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率，即可让文本检索结果是用户真正想要的检索结果，提升文本检索效率和效果，从而提高文本检索模型的文本检索结果的精准度，进而提高了用户体验。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种文本检索方法及装置。
背景技术
搜索引擎是一种常用的搜索工具，广泛应用于互联网和企业内部等各个领域，包括信息检索、信息挖掘、广告推荐、企业搜索、电子商务等越来越多的场景。然而，现有的文本内容检索方式“一召三排”仅仅是基于已有的内容得到检索结果，但这种传统的“一召三排”逐渐不能满足用户需求，比如，最常见的长尾搜索问题。以现有的文本内容检索方式很难准确地理解用户意图，造成检索结果的质量不高的问题。也就是说，现有的文本内容检索方式会使得在文本检索的场景下，所检索到的文本检索结果并不是用户真正想要的检索结果，从而导致用户体验较差。
发明内容
有鉴于此，本公开实施例提供了一种文本检索方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中在文本检索的场景下，所检索到的文本检索结果并不是用户真正想要的检索结果，从而导致用户体验较差的问题。
本公开实施例的第一方面，提供了一种文本检索方法，所述方法应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块；所述方法包括：
将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；
将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；
将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；
将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；
将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；
若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
本公开实施例的第二方面，提供了一种文本检索装置，所述装置应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块；所述装置包括：
信息查询单元，用于将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；
信息召回单元，用于将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；
信息精排单元，用于将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；
信息生成单元，用于将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；
分数确定单元，用于将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；
答复确定单元，用于若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
本公开实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块。本公开实施例可以先将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息。然后，可以将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件。接着，可以将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件。紧接着，可以将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息。接下来，可以将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数。最后，若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。可见，本实施例在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可以利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂，这样，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率；也就是说，本实施例可以让文本检索结果（即查询文本信息对应的答复文本信息）是用户真正想要的检索结果，提升了文本检索效率和效果，从而提高实际业务场景中文本检索模型的文本检索效果（比如提高文本检索模型的文本检索结果的精准度），进而提高了用户体验。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的文本检索方法的流程图；
图3是本公开实施例提供的文本检索模型的网络架构示意图；
图4是本公开实施例提供的文本检索装置的框图；
图5是本公开实施例提供的计算机设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种文本检索方法和装置。
在现有技术中，由于现有的文本内容检索方式“一召三排”仅仅是基于已有的内容得到检索结果，但这种传统的“一召三排”逐渐不能满足用户需求，比如，最常见的长尾搜索问题。以现有的文本内容检索方式很难准确地理解用户意图，造成检索结果的质量不高的问题。也就是说，现有的文本内容检索方式会使得在文本检索的场景下，所检索到的文本检索结果并不是用户真正想要的检索结果，从而导致用户体验较差。现有的搜索引擎的基本原理和流程如下：网络爬虫：搜索引擎通过网络爬虫程序在互联网上爬取网页，并将其存储在搜索引擎的数据库中；索引建立：搜索引擎将爬取到的网页进行分析，提取出其中的关键词和信息，并建立索引，方便后续的检索；查询处理：用户输入查询关键词后，搜索引擎会对关键词进行分词、语义分析等处理，并利用之前建立的索引库，返回与查询关键词相关的网页列表；检索排序：搜索引擎对返回的网页列表进行排序，以便用户能够尽快找到与其查询意图相符的网页；展示结果：搜索引擎将排序后的网页列表展示给用户，并提供一些搜索筛选和排序等功能，以方便用户进一步筛选和获取所需信息；但是，最常见的长尾搜索问题，对于现有的搜索引擎依然是痛难点，很难准确地理解用户意图，导致搜索结果的质量不高；并且，某些词语的歧义性和多义性处理不够精准，容易出现与用户实际需求不匹配的搜索结果；除此之外，该类系统都具有的弱点是，这类系统无法直接给出用户可接受的结果，必须由用户基于多条结果进行总结归纳和甄别等等，才能获得最终结果，这极大地降低了信息检索效率。
为了解决上述问题。本发明提供了一种文本检索方法，在本方法中，由于本实施例可以在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可以利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂，这样，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率；也就是说，本实施例可以让文本检索结果（即查询文本信息对应的答复文本信息）是用户真正想要的检索结果，提升了文本检索效率和效果，从而提高实际业务场景中文本检索模型的文本检索效果（比如提高文本检索模型的文本检索结果的精准度），进而提高了用户体验。
举例说明，本发明实施例可以应用到如图1所示的应用场景。在该场景中，可以包括终端设备1和服务器2。
终端设备1可以是硬件，也可以是软件。当终端设备1为硬件时，其可以是具有显示屏且支持与服务器2通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1为软件时，其可以安装在如上该的电子设备中。终端设备1可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器2可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器2可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器2可以是硬件，也可以是软件。当服务器2为硬件时，其可以是为终端设备1提供各种服务的各种电子设备。当服务器2为软件时，其可以是为终端设备1提供各种服务的多个软件或软件模块，也可以是为终端设备1提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
终端设备1与服务器2可以通过网络进行通信连接。网络可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙（Bluetooth）、近场通信（Near Field Communication，NFC）、红外（Infrared）等，本公开实施例对此不作限制。
具体地，用户可以通过终端设备1输入查询文本信息；终端设备1将查询文本信息向服务器2发送。服务器2存储有文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块。服务器2可以先将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息。然后，服务器2可以将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件。接着，服务器2可以将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件。紧接着，服务器2可以将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息。接下来，服务器2可以将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数。再接下来，若所述候选答复文本信息对应的质量分数满足预设阈值，则服务器2可以将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息，以及，服务器2可以将查询文本信息对应的答复文本信息向终端设备1发送，以便终端设备1将查询文本信息对应的答复文本信息向用户展示。这样，由于本申请可以在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可以利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂，这样，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率；也就是说，本实施例可以让文本检索结果（即查询文本信息对应的答复文本信息）是用户真正想要的检索结果，提升了文本检索效率和效果，从而提高实际业务场景中文本检索模型的文本检索效果（比如提高文本检索模型的文本检索结果的精准度），进而提高了用户体验。
需要说明的是，终端设备1和服务器2以及网络的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
需要注意的是，上述应用场景仅是为了便于理解本公开而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2是本公开实施例提供的一种文本检索方法的流程图。图2的一种文本检索方法可以由图1的终端设备或服务器执行，具体地，所述方法可以应用于文本检索模型，如图3所示，所述文本检索模型可以包括查询模块、召回模块、精排模块、生成模块和判别模块。如图2所示，该文本检索方法包括：
S201：将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集。
其中，查询文本信息可以理解为需要进行查询的查询语句文本，比如，可以为用户输入的查询文本，举例来说，查询文本信息可以为“世界杯开始时间是什么时候”。在本实施例中，可以预先设置有预设数据库，其中，预设数据库中可以预先存储有大量文本信息，为了便于描述，可以将预设数据库中所存储的文本信息称之为候选文本信息，在一种可能的实现方式中，候选文本信息可以为一篇文章、一段文字或者一本书籍等。
在获取到查询文本信息后，可以将查询文本信息输入所述查询模块；查询模块可以根据查询文本信息，在预设数据库中检索与查询文本信息相关的候选文本信息，从而可以将检索到的与查询文本信息相关的候选文本信息作为查询文本信息对应的第一候选文本信息集。可以理解的是，第一候选文本信息集可以包括若干候选文本信息。
作为一种示例，具体地，查询模块可以先将所述查询文本信息转化为查询文本向量；其中，查询文本向量可以理解为能够反映查询文本信息的文本内容意思的特征向量，例如，查询文本向量可以反映查询文本信息中的关键词、短语和问题等相关信息。
然后，查询模块可以利用TF-IDF（term frequency–inverse documentfrequency，词频-逆文本频率指数）算法和所述查询文本向量，从预设数据库中筛选所述查询文本信息对应的第一候选文本信息集。具体地，查询模块可以使用TF-IDF算法计算查询文本向量分别与预设数据库中每一候选文本信息对应的文本向量的TF-IDF值，接着，可以将TF-IDF值大于或等于预设TF-IDF阈值的文本向量对应的候选文本信息作为查询文本信息对应的第一候选文本信息集。从而查询模块实现了利用TF-IDF算法对预设数据库中的候选文本信息进行召回，得到查询文本信息对应的第一候选文本信息集。
S202：将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集。
在本实施例中，可以利用召回模块对第一候选文本信息集中候选文本信息进行筛选，以提供最相关的候选文本信息给精排模块。获取到查询文本信息和第一候选文本信息集后，可以将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集。其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件。在一种实现方式中，第一预设条件可以为候选文本信息对应的相关值在第一候选文本信息集中的全部候选文本信息对应的相关值由高到低的排序结果中位于前N位。
具体地，所述召回模块可以先将所述查询文本信息转换为查询文本向量。然后，针对所述第一候选文本信息集中的每一候选文本信息，召回模块可以将所述候选文本信息转换为候选文本表征向量，该候选文本表征向量能够反映该候选文本信息的文本内容；接着，所述召回模块可以确定所述候选文本表征向量与所述查询文本向量之间的距离值，以及，该召回模块可以根据所述候选文本表征向量与所述查询文本向量之间的距离值，确定所述候选文本信息对应的相关值，例如，可以将所述候选文本表征向量与所述查询文本向量之间的距离值作为所述候选文本信息对应的相关值。其中，候选文本信息对应的相关值可以用于反映所述候选文本信息与所述查询文本信息之间的相关程度。可以理解的是，候选文本信息对应的相关值越高，说明所述候选文本信息与所述查询文本信息之间的相关程度越高，反之，候选文本信息对应的相关值越低，说明所述候选文本信息与所述查询文本信息之间的相关程度越低。
作为一种示例，召回模块可以包括基于BERT模型的双塔模型以及ES（elasticsearch）模块；其中，双塔模型可以包括深度向量召回Q塔和深度向量召回A塔。在获取到查询文本信息和第一候选文本信息集后，可以将查询文本信息输入深度向量召回Q塔，得到查询文本信息对应的查询文本向量；以及，将第一候选文本信息集中的候选文本信息分别输入深度向量召回A塔，得到每一个候选文本信息对应的候选文本表征向量。接着，可以利用ES（elastic search）模块分别计算每个候选文本信息对应的候选文本表征向量与查询文本向量之间的距离值，从而可以得到每个候选文本信息各自分别对应的相关值。
接着，可以将所述第一候选文本信息集中的全部候选文本信息对应的相关值由高到低进行排序，得到第一候选文本信息排序结果。紧接着，可以将所述第一候选文本信息排序结果中排名在前N位的候选文本信息作为第二候选文本信息集；其中，N为正整数。需要说明的是，第二候选文本信息集中的候选文本信息的数量少于第一候选文本信息集中的候选文本信息的数量。
S203：将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集。
在本实施例中，可以利用精排模块对第二候选文本信息集中的候选文本信息进行进一步地筛选，以进一步提高检索结果的准确性。在获取查询文本信息和第二候选文本信息集后，可以将查询文本信息和第二候选文本信息集输入精排模块，得到第三候选文本信息集。其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件。在一种实现方式中，第二预设条件可以为候选文本信息对应的匹配值在第二候选文本信息集中的全部候选文本信息对应的匹配值由高到低的排序结果中位于前M位。
具体地，针对所述第二候选文本信息集中的每一候选文本信息，可以将所述候选文本信息和所述查询文本信息输入所述精排模块，得到所述候选文本信息对应的匹配值。其中，所述候选文本信息对应的匹配值可以用于反映所述候选文本信息与所述查询文本信息之间的匹配程度。可以理解的是，候选文本信息对应的匹配值越高，说明候选文本信息与查询文本信息之间的匹配程度越高，即候选文本信息可以回答查询文本信息的问题的可能性越高，反之，候选文本信息对应的匹配值越低，说明候选文本信息与查询文本信息之间的匹配程度越低，即候选文本信息可以回答查询文本信息的问题的可能性越低。在一种实现方式中，精排模块可以为一种判别式神经网络，例如可以为BERT模型。
然后，可以将所述第二候选文本信息集中的全部候选文本信息对应的匹配值由高到低进行排序，得到第二候选文本信息排序结果。接着，可以将所述第二候选文本信息排序结果中排名在前M位的候选文本信息作为第三候选文本信息集；其中，M为正整数且M小于N。需要说明的是，第三候选文本信息集中的候选文本信息的数量少于第三候选文本信息集中的候选文本信息的数量。该步骤输出的候选文本信息的数量数量将大幅度减少（比如第三候选文本信息集中的候选文本信息的数量可以只有10篇）。可以理解的是，第三候选文本信息集中的候选文本信息均为可以回答查询文本信息的问题的文本信息。
S204：将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息。
在本实施例中，生成模块可以为已训练的大语言模型（LLM）。在一种实现方式中，生成模块可以为大语言模型，且该大语言模型可以是参数量在1.2Billion以上的生成模型，如BART或GPT2/3等。需要说明的是，大语言模型可以使用自然语言生成技术生成最相关的答案。
在本实施例中，可以将查询文本信息和第三候选文本信息集中的全部候选文本信息同时输入所述生成模块中，所述生成模块可以基于查询文本信息理解用户的搜索意图，以及根据用户的搜索意图对第三候选文本信息集中的全部候选文本信息生成新的答复文本信息作为用户的检索结果（即查询文本信息对应的候选答复文本信息）。也就是说，生成模块可以在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂。需要说明的是，生成模块针对一个查询文本信息可以只输出一个查询文本信息对应的候选答复文本信息。
S205：将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数。
在得到生成模块输出的查询文本信息对应的候选答复文本信息后，可以利用判别模块评估生成模块生成的答案（即候选答复文本信息）的质量。在一种实现方式中，判别模块可以为判别式神经网络，例如，判别模块可以用精排模块继续训练而成的，可以用以评估大型语言模型（即生成模块）输出的答案（即候选答复文本信息）的质量。
具体地，可以将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，可以得到所述候选答复文本信息对应的质量分数。候选答复文本信息对应的质量分数可以反映候选答复文本信息回答查询文本信息的问题的质量水平。可以理解的是，候选答复文本信息对应的质量分数越高，说明候选答复文本信息回答查询文本信息的问题的质量水平越高，越容易被用户所采纳；反之，候选答复文本信息对应的质量分数越低，说明候选答复文本信息回答查询文本信息的问题的质量水平越低，越不容易被用户所采纳。
S206：若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
在得到候选答复文本信息对应的质量分数后，可以判断候选答复文本信息对应的质量分数是否满足预设阈值，即判断候选答复文本信息对应的质量分数是否大于预设阈值，若候选答复文本信息对应的质量分数大于预设阈值，则说明候选答复文本信息非常可能被用户所采纳，因此，可以将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块。本公开实施例可以先将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息。然后，可以将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件。接着，可以将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件。紧接着，可以将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息。接下来，可以将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数。最后，若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。可见，本实施例在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可以利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂，这样，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率；也就是说，本实施例可以让文本检索结果（即查询文本信息对应的答复文本信息）是用户真正想要的检索结果，提升了文本检索效率和效果，从而提高实际业务场景中文本检索模型的文本检索效果（比如提高文本检索模型的文本检索结果的精准度），进而提高了用户体验。
也就是说，本实施例所提供的方法不同于目前主流的搜索引擎系统，仅仅基于用户搜索词及原始文本内容返回搜索结果，而是结合大语言模型的优势，基于海量的文本数据（即候选文本信息）上进行训练，在召回基础上，结合召回的文本，更好的理解用户的搜索意图基础之上，生成新文本作为用户的搜索结果，返回给用户。上述方式生成的搜索结果既可以涵盖原始内容的主要信息，且在符合用户需求同时，也更加自然、易懂，方便用户更快速的找到想要的结果，能够更好地满足用户需求，提高搜索结果的质量和效率。同时，不同于传统的基于索引库的搜索引擎，其在处理复杂的语义关系和多义词等问题上存在局限性，但是基于大语言生成技术的搜索引擎能够通过训练和学习自适应地处理这些复杂情况，更好的适应用户各种情景的搜索目的，理解用户的搜索意图，提升搜索效率。即本实施例利用tf-idf算法完成召回，使用判别式神经网络进行精排，并将精排文档和用户问题一起输入给大型语言模型，直接生成答案。最后，使用判别模型评估大型语言模型生成的答案质量。按照回答质量选择最高分生成答案返回，这样，可以有效地提高文档检索的准确性和效率。
在一些实施例中，可以基于用户对搜索结果（即查询文本信息对应的答复文本信息）的反馈对文本检索模型中的查询模块、召回模块、精排模块、生成模块和判别模块进行模型校正，以便可以不断提升文本检索模型生成答复文本信息的准确性。具体地，所述方法还包括以下步骤：
步骤a：将所述查询文本信息对应的答复文本信息在目标页面进行展示；
步骤b：若检测到用户针对所述查询文本信息对应的答复文本信息执行采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为正样本；以及，将所述正样本作为训练样本存储至反馈数据库；
步骤c：若检测到用户针对所述查询文本信息对应的答复文本信息执行不采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为负样本；以及，将所述负样本作为训练样本存储至反馈数据库。
作为一种示例，可以在展示查询文本信息对应的答复文本信息的目标页面中，针对答复文本信息设置一个采纳按钮（例如点赞按钮）和一个不采纳按钮（例如点踩按钮）。如果用户觉得所展示的查询文本信息对应的答复文本信息的质量较高，用户点击了采纳按钮（即检测到用户针对所述查询文本信息对应的答复文本信息执行采纳操作），则可以将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为正样本，即将查询文本信息、查询文本信息对应的答复文本信息以及采纳结果作为正样本；以及，将所述正样本作为训练样本存储至反馈数据库。反之，如果用户觉得所展示的查询文本信息对应的答复文本信息的质量不高，用户点击了不采纳按钮（即检测到用户针对所述查询文本信息对应的答复文本信息执行不采纳操作），则可以将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为负样本，即将查询文本信息、查询文本信息对应的答复文本信息以及不采纳结果作为负样本；以及，将所述负样本作为训练样本存储至反馈数据库。
接下来，将介绍如何利用反馈数据库中的样本数据对文本检索模型中的召回模块、精排模块、生成模块和判别模块进行模型校正。
首先，先介绍如何利用反馈数据库中的样本数据对文本检索模型中的召回模块进行模型校正。在一种实现方式中，所述方法还可以包括：
步骤111：利用三元组损失函数、所述反馈数据库中的正样本和负样本，确定所述召回模块对应的损失值；
步骤112：利用所述召回模块对应的损失值，对所述召回模块的模型参数进行调整。
作为一种示例，假设查询文本信息对应的答复文本信息A1被召回且最终被点击采纳，则查询文本信息对应的答复文本信息A1作为正样本中的答复文本信息；查询文本信息对应的答复文本信息A2被召回且最终未被点击采纳，则查询文本信息对应的答复文本信息A2作为负样本中的答复文本信息。接着，可以基于三元组损失函，根据查询文本信息、正样本中的答复文本信息和负样本中的答复文本信息数确定召回模块的损失值，以及利用召回模块的损失值对召回模块的模型参数进行调整。例如，三元组损失函数可以为下列公式：
L=max{d(a,p)-d(a,n)+margin,0}
其中，L为召回模块的损失值；d()是距离度量函数；a是查询文本信息；p是正样本中的答复文本信息；n是负样本中的答复文本信息；margin为预设常数。
可见，本实施例可以基于用户对搜索结果的反馈（即用户针对所述查询文本信息对应的答复文本信息所执行的采纳操作或不采纳操作的结果）对召回模块进行模型校正，不断提升召回模块所输出的相关值的准确性。
其次，介绍如何利用反馈数据库中的样本数据对文本检索模型中的精排模块进行模型校正。在一种实现方式中，所述方法还可以包括：
步骤121：将所述反馈数据库中的训练样本输入所述精排模块，得到所述训练样本对应的预测匹配值；
步骤122：根据所述训练样本对应的预测匹配值以及所述训练样本对应的预设匹配值，确定所述精排模块对应的损失值；
步骤123：利用所述精排模块对应的损失值，对所述精排模块的模型参数进行调整。
在本实施例中，可以预先为反馈数据库中的训练样本设置预设匹配值，例如，若反馈数据库中的训练样本为正样本，说明该训练样本已经被用户采纳，则可以将该训练样本的预设匹配值设置为大于预设匹配值阈值；若反馈数据库中的训练样本为负样本，说明该训练样本未被用户采纳，则可以将该训练样本的预设匹配值设置为小于预设匹配值阈值。
这样，可以先将所述反馈数据库中的训练样本输入所述精排模块，得到所述训练样本对应的预测匹配值。接着，可以根据所述训练样本对应的预测匹配值以及所述训练样本对应的预设匹配值，确定所述精排模块对应的损失值；例如，利用预设的损失函数，根据所述训练样本对应的预测匹配值以及所述训练样本对应的预设匹配值，确定所述精排模块对应的损失值；这样，便可以利用所述精排模块对应的损失值，对所述精排模块的模型参数进行调整。可见，本实施例可以基于用户对搜索结果的反馈（即用户针对所述查询文本信息对应的答复文本信息所执行的采纳操作或不采纳操作的结果）对精排模块进行模型校正，不断提升精排模块所输出的匹配值的准确性。
再次，介绍如何利用反馈数据库中的样本数据对文本检索模型中的生成模块进行模型校正。在一种实现方式中，所述方法还可以包括：
步骤131：将所述反馈数据库中的正样本的查询文本信息输入所述生成模块，得到所述查询文本信息对应的预测答复文本信息；
步骤132：利用交叉熵损失函数、所述查询文本信息对应的预测答复文本信息、所述正样本中的答复文本信息，确定所述生成模块对应的损失值；
步骤133：利用所述生成模块对应的损失值，对所述生成模块的模型参数进行调整。
作为一种示例，假设反馈数据库中的正样本中的查询文本信息为“中国在哪个大洲”，反馈数据库中的正样本中的答复文本信息为“中国在亚洲”。可以先将所述反馈数据库中的正样本的查询文本信息“中国在哪个大洲”输入所述生成模块，得到所述查询文本信息“中国在哪个大洲”对应的预测答复文本信息“中国在欧洲”。接着，可以利用交叉熵损失函数、所述查询文本信息对应的预测答复文本信息、所述正样本中的答复文本信息，确定所述生成模块对应的损失值；即，基于交叉熵损失函数，计算所述查询文本信息对应的预测答复文本信息“中国在欧洲”和正样本中的答复文本信息“中国在亚洲”的损失值；接着，可以利用所述生成模块对应的损失值，对所述生成模块的模型参数进行调整。可见，本实施例可以基于用户对搜索结果的反馈（即用户针对所述查询文本信息对应的答复文本信息所执行的采纳操作或不采纳操作的结果）对生成模块进行模型校正，不断提升生成模块所输出的答复文本信息的质量。
紧接着，介绍如何利用反馈数据库中的样本数据对文本检索模型中的判别模块进行模型校正。在一种实现方式中，所述方法还可以包括：
步骤141：将所述反馈数据库中的训练样本输入所述判别模块，得到所述训练样本对应的预测质量分数；
步骤142：根据所述训练样本对应的预测质量分数以及所述训练样本对应的预设质量分数，确定所述判别模块对应的损失值；
步骤143：利用所述判别模块对应的损失值，对所述判别模块的模型参数进行调整。
在本实施例中，可以预先为反馈数据库中的训练样本设置预设质量分数，例如，若反馈数据库中的训练样本为正样本，说明该训练样本已经被用户采纳，则可以将该训练样本的预设质量分数设置为大于预设质量分数阈值；若反馈数据库中的训练样本为负样本，说明该训练样本未被用户采纳，则可以将该训练样本的预设质量分数设置为小于预设质量分数阈值。
这样，可以先将所述反馈数据库中的训练样本输入所述判别模块，得到所述训练样本对应的预测质量分数。接着，可以根据所述训练样本对应的预测质量分数以及所述训练样本对应的预设质量分数，确定所述判别模块对应的损失值；例如，利用预设的损失函数，根据所述训练样本对应的预测质量分数以及所述训练样本对应的预设质量分数，确定所述判别模块对应的损失值；这样，便可以利用所述判别模块对应的损失值，对所述判别模块的模型参数进行调整。可见，本实施例可以基于用户对搜索结果的反馈（即用户针对所述查询文本信息对应的答复文本信息所执行的采纳操作或不采纳操作的结果）对判别模块进行模型校正，不断提升判别模块所输出的质量分数的准确性。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图4是本公开实施例提供的文本检索装置的示意图。如图4所示，所述装置应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块；所述装置包括：
信息查询单元401，用于将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；
信息召回单元402，用于将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；
信息精排单元403，用于将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；
信息生成单元404，用于将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；
分数确定单元405，用于将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；
答复确定单元406，用于若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
可选的，所述信息查询单元401，用于：
所述查询模块将所述查询文本信息转化为查询文本向量；
所述查询模块利用TF-IDF算法和所述查询文本向量，从预设数据库中筛选所述查询文本信息对应的第一候选文本信息集。
可选的，所述信息召回单元402，用于：
所述召回模块将所述查询文本信息转换为查询文本向量；
针对所述第一候选文本信息集中的每一候选文本信息，所述召回模块将所述候选文本信息转换为候选文本表征向量；所述召回模块确定所述候选文本表征向量与所述查询文本向量之间的距离值；所述召回模块根据所述候选文本表征向量与所述查询文本向量之间的距离值，确定所述候选文本信息对应的相关值；其中，所述候选文本信息对应的相关值用于反映所述候选文本信息与所述查询文本信息之间的相关程度；
将所述第一候选文本信息集中的全部候选文本信息对应的相关值由高到低进行排序，得到第一候选文本信息排序结果；
将所述第一候选文本信息排序结果中排名在前N位的候选文本信息作为第二候选文本信息集；其中，N为正整数。
可选的，所述信息精排单元403，用于
针对所述第二候选文本信息集中的每一候选文本信息，将所述候选文本信息和所述查询文本信息输入所述精排模块，得到所述候选文本信息对应的匹配值；其中，所述候选文本信息对应的匹配值用于反映所述候选文本信息与所述查询文本信息之间的匹配程度；
将所述第二候选文本信息集中的全部候选文本信息对应的匹配值由高到低进行排序，得到第二候选文本信息排序结果；
将所述第二候选文本信息排序结果中排名在前M位的候选文本信息作为第三候选文本信息集；其中，M为正整数且M小于N。
可选的，所述生成模块为已训练的大语言模型。
可选的，所述装置还包括反馈单元，用于：
将所述查询文本信息对应的答复文本信息在目标页面进行展示；
若检测到用户针对所述查询文本信息对应的答复文本信息执行采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为正样本；以及，将所述正样本作为训练样本存储至反馈数据库；
若检测到用户针对所述查询文本信息对应的答复文本信息执行不采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为负样本；以及，将所述负样本作为训练样本存储至反馈数据库。
可选的，所述反馈单元，还用于：
利用三元组损失函数、所述反馈数据库中的正样本和负样本，确定所述召回模块对应的损失值；
利用所述召回模块对应的损失值，对所述召回模块的模型参数进行调整。
可选的，所述反馈单元，还用于：
将所述反馈数据库中的训练样本输入所述精排模块，得到所述训练样本对应的预测匹配值；
根据所述训练样本对应的预测匹配值以及所述训练样本对应的预设匹配值，确定所述精排模块对应的损失值；
利用所述精排模块对应的损失值，对所述精排模块的模型参数进行调整。
可选的，所述反馈单元，还用于：
将所述反馈数据库中的正样本的查询文本信息输入所述生成模块，得到所述查询文本信息对应的预测答复文本信息；
利用交叉熵损失函数、所述查询文本信息对应的预测答复文本信息、所述正样本中的答复文本信息，确定所述生成模块对应的损失值；
利用所述生成模块对应的损失值，对所述生成模块的模型参数进行调整。
可选的，所述反馈单元，还用于：
将所述反馈数据库中的训练样本输入所述判别模块，得到所述训练样本对应的预测质量分数；
根据所述训练样本对应的预测质量分数以及所述训练样本对应的预设质量分数，确定所述判别模块对应的损失值；
利用所述判别模块对应的损失值，对所述判别模块的模型参数进行调整。
本公开实施例与现有技术相比存在的有益效果是：本公开实施例提供了一种文本检索装置，所述装置包括：信息查询单元，用于将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；信息召回单元，用于将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；信息精排单元，用于将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；信息生成单元，用于将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；分数确定单元，用于将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；答复确定单元，用于若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。可见，本实施例在利用查询模块、召回模块、精排模块筛选出部分候选文本信息后，可以利用生成模块在理解用户的搜索意图基础之上，生成新的答复文本信息作为用户的检索结果。这样，本实施例中所确定的查询文本信息对应的答复文本信息既可以涵盖原始内容（即第三候选文本信息集）的主要内容信息，且在符合用户需求（即符合查询文本信息）的同时，也可以更加自然、易懂，这样，便可以实现更加便于用户更快速的找到想要的文本检索结果，能够更好地满足用户需求，提高搜索结果的质量和效率；也就是说，本实施例可以让文本检索结果（即查询文本信息对应的答复文本信息）是用户真正想要的检索结果，提升了文本检索效率和效果，从而提高实际业务场景中文本检索模型的文本检索效果（比如提高文本检索模型的文本检索结果的精准度），进而提高了用户体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图5是本公开实施例提供的计算机设备5的示意图。如图5所示，该实施例的计算机设备5包括：处理器501、存储器502以及存储在该存储器502中并且可以在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/模块的功能。
示例性地，计算机程序503可以被分割成一个或多个模块/模块，一个或多个模块/模块被存储在存储器502中，并由处理器501执行，以完成本公开。一个或多个模块/模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在计算机设备5中的执行过程。
计算机设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是计算机设备5的示例，并不构成对计算机设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器501可以是中央处理模块（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以是计算机设备5的内部存储模块，例如，计算机设备5的硬盘或内存。存储器502也可以是计算机设备5的外部存储设备，例如，计算机设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器502还可以既包括计算机设备5的内部存储模块也包括外部存储设备。存储器502用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块、模块完成，即将装置的内部结构划分成不同的功能模块或模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块、模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块、模块的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。上述系统中模块、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或模块的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块/模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (13)
1.一种文本检索方法，其特征在于，所述方法应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块；所述方法包括：
将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；
将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；
将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；
将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；
将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；
若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
2.根据权利要求1所述的方法，其特征在于，所述将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集，包括：
所述查询模块将所述查询文本信息转化为查询文本向量；
所述查询模块利用TF-IDF算法和所述查询文本向量，从预设数据库中筛选所述查询文本信息对应的第一候选文本信息集。
3.根据权利要求1所述的方法，其特征在于，所述将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集，包括：
所述召回模块将所述查询文本信息转换为查询文本向量；
针对所述第一候选文本信息集中的每一候选文本信息，所述召回模块将所述候选文本信息转换为候选文本表征向量；所述召回模块确定所述候选文本表征向量与所述查询文本向量之间的距离值；所述召回模块根据所述候选文本表征向量与所述查询文本向量之间的距离值，确定所述候选文本信息对应的相关值；其中，所述候选文本信息对应的相关值用于反映所述候选文本信息与所述查询文本信息之间的相关程度；
将所述第一候选文本信息集中的全部候选文本信息对应的相关值由高到低进行排序，得到第一候选文本信息排序结果；
将所述第一候选文本信息排序结果中排名在前N位的候选文本信息作为第二候选文本信息集；其中，N为正整数。
4.根据权利要求1所述的方法，其特征在于，所述将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集，包括：
针对所述第二候选文本信息集中的每一候选文本信息，将所述候选文本信息和所述查询文本信息输入所述精排模块，得到所述候选文本信息对应的匹配值；其中，所述候选文本信息对应的匹配值用于反映所述候选文本信息与所述查询文本信息之间的匹配程度；
将所述第二候选文本信息集中的全部候选文本信息对应的匹配值由高到低进行排序，得到第二候选文本信息排序结果；
将所述第二候选文本信息排序结果中排名在前M位的候选文本信息作为第三候选文本信息集；其中，M为正整数且M小于N。
5.根据权利要求1所述的方法，其特征在于，所述生成模块为已训练的大语言模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述查询文本信息对应的答复文本信息在目标页面进行展示；
若检测到用户针对所述查询文本信息对应的答复文本信息执行采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为正样本；以及，将所述正样本作为训练样本存储至反馈数据库；
若检测到用户针对所述查询文本信息对应的答复文本信息执行不采纳操作，则将所述查询文本信息以及所述查询文本信息对应的答复文本信息作为负样本；以及，将所述负样本作为训练样本存储至反馈数据库。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
利用三元组损失函数、所述反馈数据库中的正样本和负样本，确定所述召回模块对应的损失值；
利用所述召回模块对应的损失值，对所述召回模块的模型参数进行调整。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述反馈数据库中的训练样本输入所述精排模块，得到所述训练样本对应的预测匹配值；
根据所述训练样本对应的预测匹配值以及所述训练样本对应的预设匹配值，确定所述精排模块对应的损失值；
利用所述精排模块对应的损失值，对所述精排模块的模型参数进行调整。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述反馈数据库中的正样本的查询文本信息输入所述生成模块，得到所述查询文本信息对应的预测答复文本信息；
利用交叉熵损失函数、所述查询文本信息对应的预测答复文本信息、所述正样本中的答复文本信息，确定所述生成模块对应的损失值；
利用所述生成模块对应的损失值，对所述生成模块的模型参数进行调整。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述反馈数据库中的训练样本输入所述判别模块，得到所述训练样本对应的预测质量分数；
根据所述训练样本对应的预测质量分数以及所述训练样本对应的预设质量分数，确定所述判别模块对应的损失值；
利用所述判别模块对应的损失值，对所述判别模块的模型参数进行调整。
11.一种文本检索装置，其特征在于，所述装置应用于文本检索模型，所述文本检索模型包括查询模块、召回模块、精排模块、生成模块和判别模块；所述装置包括：
信息查询单元，用于将查询文本信息输入所述查询模块，得到所述查询文本信息对应的第一候选文本信息集；其中，所述第一候选文本信息集包括若干候选文本信息；
信息召回单元，用于将所述查询文本信息和所述第一候选文本信息集输入所述召回模块，得到第二候选文本信息集；其中，所述第二候选文本信息集中的候选文本信息与所述查询文本信息的相关值满足第一预设条件；
信息精排单元，用于将所述查询文本信息和所述第二候选文本信息集输入所述精排模块，得到第三候选文本信息集；其中，所述第三候选文本信息集中的候选文本信息与所述查询文本信息的匹配值满足第二预设条件；
信息生成单元，用于将所述查询文本信息和所述第三候选文本信息集输入所述生成模块，得到所述查询文本信息对应的候选答复文本信息；
分数确定单元，用于将所述查询文本信息和所述查询文本信息对应的候选答复文本信息输入所述判别模块，得到所述候选答复文本信息对应的质量分数；
答复确定单元，用于若所述候选答复文本信息对应的质量分数满足预设阈值，则将所述候选答复文本信息作为所述查询文本信息对应的答复文本信息。
12.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310863072.8A CN116578693B (zh) | 2023-07-14 | 2023-07-14 | 一种文本检索方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310863072.8A CN116578693B (zh) | 2023-07-14 | 2023-07-14 | 一种文本检索方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116578693A true CN116578693A (zh) | 2023-08-11 |
| CN116578693B CN116578693B (zh) | 2024-02-20 |
Family
ID=87545751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310863072.8A Active CN116578693B (zh) | 2023-07-14 | 2023-07-14 | 一种文本检索方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578693B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060230022A1 (en) * | 2005-03-29 | 2006-10-12 | Bailey David R | Integration of multiple query revision models |
| US20140142920A1 (en) * | 2008-08-13 | 2014-05-22 | International Business Machines Corporation | Method and apparatus for Utilizing Structural Information in Semi-Structured Documents to Generate Candidates for Question Answering Systems |
| CN110516057A (zh) * | 2019-08-23 | 2019-11-29 | 深圳前海微众银行股份有限公司 | 一种信访问题答复方法及装置 |
| CN110941711A (zh) * | 2018-09-25 | 2020-03-31 | 深圳市蓝灯鱼智能科技有限公司 | 电子检索报告获取方法和装置、存储介质及电子装置 |
| CN111460114A (zh) * | 2020-03-10 | 2020-07-28 | 平安科技（深圳）有限公司 | 检索方法、装置、设备及计算机可读存储介质 |
| CN112989224A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种检索方法、装置、电子设备和存储介质 |
| CN114757208A (zh) * | 2022-06-10 | 2022-07-15 | 荣耀终端有限公司 | 一种问答匹配方法及装置 |
| CN115357691A (zh) * | 2022-10-21 | 2022-11-18 | 成都数之联科技股份有限公司 | 一种语义检索方法及系统、设备和计算机可读存储介质 |
| CN115495555A (zh) * | 2022-09-26 | 2022-12-20 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的文献检索方法和系统 |
| WO2023065617A1 (zh) * | 2021-10-21 | 2023-04-27 | 北京邮电大学 | 基于预训练模型和召回排序的跨模态检索系统及方法 |
| CN116186198A (zh) * | 2022-12-29 | 2023-05-30 | 深圳复临科技有限公司 | 信息检索方法、装置、计算机设备及存储介质 |
| CN116304286A (zh) * | 2021-12-20 | 2023-06-23 | 北京奇虎科技有限公司 | 答案抽取方法、装置、设备及存储介质 |
-
2023
- 2023-07-14 CN CN202310863072.8A patent/CN116578693B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060230022A1 (en) * | 2005-03-29 | 2006-10-12 | Bailey David R | Integration of multiple query revision models |
| US20140142920A1 (en) * | 2008-08-13 | 2014-05-22 | International Business Machines Corporation | Method and apparatus for Utilizing Structural Information in Semi-Structured Documents to Generate Candidates for Question Answering Systems |
| CN110941711A (zh) * | 2018-09-25 | 2020-03-31 | 深圳市蓝灯鱼智能科技有限公司 | 电子检索报告获取方法和装置、存储介质及电子装置 |
| CN110516057A (zh) * | 2019-08-23 | 2019-11-29 | 深圳前海微众银行股份有限公司 | 一种信访问题答复方法及装置 |
| CN111460114A (zh) * | 2020-03-10 | 2020-07-28 | 平安科技（深圳）有限公司 | 检索方法、装置、设备及计算机可读存储介质 |
| CN112989224A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种检索方法、装置、电子设备和存储介质 |
| WO2023065617A1 (zh) * | 2021-10-21 | 2023-04-27 | 北京邮电大学 | 基于预训练模型和召回排序的跨模态检索系统及方法 |
| CN116304286A (zh) * | 2021-12-20 | 2023-06-23 | 北京奇虎科技有限公司 | 答案抽取方法、装置、设备及存储介质 |
| CN114757208A (zh) * | 2022-06-10 | 2022-07-15 | 荣耀终端有限公司 | 一种问答匹配方法及装置 |
| CN115495555A (zh) * | 2022-09-26 | 2022-12-20 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的文献检索方法和系统 |
| CN115357691A (zh) * | 2022-10-21 | 2022-11-18 | 成都数之联科技股份有限公司 | 一种语义检索方法及系统、设备和计算机可读存储介质 |
| CN116186198A (zh) * | 2022-12-29 | 2023-05-30 | 深圳复临科技有限公司 | 信息检索方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116578693B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902077B2 (en) | Search result aggregation method and apparatus based on artificial intelligence and search engine | |
| CN112733042B (zh) | 推荐信息的生成方法、相关装置及计算机程序产品 | |
| WO2020088058A1 (zh) | 生成信息的方法和装置 | |
| US11977567B2 (en) | Method of retrieving query, electronic device and medium | |
| CN110633407B (zh) | 信息检索方法、装置、设备及计算机可读介质 | |
| US20150309988A1 (en) | Evaluating Crowd Sourced Information Using Crowd Sourced Metadata | |
| EP3961426A2 (en) | Method and apparatus for recommending document, electronic device and medium | |
| CN117390170A (zh) | 数据标准的对标方法、装置、电子设备和可读存储介质 | |
| CN111523019B (zh) | 用于输出信息的方法、装置、设备以及存储介质 | |
| CN113407814A (zh) | 文本搜索方法、装置、可读介质及电子设备 | |
| CN112052297A (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
| CN110990527A (zh) | 自动问答方法及装置、存储介质及电子设备 | |
| CN111400464B (zh) | 一种文本生成方法、装置、服务器及存储介质 | |
| JP2023554210A (ja) | インテリジェント推奨用のソートモデルトレーニング方法及び装置、インテリジェント推奨方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN109472028B (zh) | 用于生成信息的方法和装置 | |
| CN116578693B (zh) | 一种文本检索方法及装置 | |
| CN117909560A (zh) | 搜索方法、模型的训练方法、装置、设备、介质及程序产品 | |
| CN111143660A (zh) | 知识平台的智能推荐方法、装置及计算机可读存储介质 | |
| CN114020990B (zh) | 一种数据排序方法、装置、设备及介质 | |
| CN110659419B (zh) | 确定目标用户的方法及相关装置 | |
| CN115841144A (zh) | 一种文本检索模型的训练方法及装置 | |
| CN115617944A (zh) | 内容推荐方法、装置、存储介质及电子设备 | |
| CN113505293A (zh) | 信息推送方法、装置、电子设备及存储介质 | |
| CN113360769A (zh) | 信息查询方法、装置、电子设备以及存储介质 | |
| CN116933800B (zh) | 一种基于模版的生成式意图识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |