CN110990533B - 确定查询文本所对应标准文本的方法及装置 - Google Patents

确定查询文本所对应标准文本的方法及装置 Download PDF

Info

Publication number
CN110990533B
CN110990533B CN201911203536.2A CN201911203536A CN110990533B CN 110990533 B CN110990533 B CN 110990533B CN 201911203536 A CN201911203536 A CN 201911203536A CN 110990533 B CN110990533 B CN 110990533B
Authority
CN
China
Prior art keywords
text
candidate
query
semantic
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911203536.2A
Other languages
English (en)
Other versions
CN110990533A (zh
Inventor
张望舒
温祖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911203536.2A priority Critical patent/CN110990533B/zh
Publication of CN110990533A publication Critical patent/CN110990533A/zh
Application granted granted Critical
Publication of CN110990533B publication Critical patent/CN110990533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种确定查询文本所对应标准文本的方法。该方法包括：首先，获取用户输入的查询文本。然后，一方面，将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量；另一方面，获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；再获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定。接着，将查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；再然后，分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。

Description

确定查询文本所对应标准文本的方法及装置
技术领域
本说明书实施例涉及自然语言处理技术领域，具体地，涉及一种通过计算机执行的确定查询文本所对应标准文本的方法及装置。
背景技术
目前，客服平台通常会先使用机器人客服与用户进行交互，并期望根据用户描述能够确定用户意图，进而为用户提供相应的解决方案。然而，用户描述通常比较口语化，并且在某些情况下，描述的问题比较复杂，导致机器人客服难以准确识别用户意图。同时，越来越多的用户使用客服服务，用户对客服服务的使用频次也越来越高，这无疑对机器人客服识别用户意图的速度、准确率提出了更高要求。
因此，迫切需要一种可靠的方案，可以提高识别用户意图的准确率和速度，从而提高用户体验。
发明内容
本说明书一个或多个实施例描述确定查询文本所对应标准文本的方法及装置，可以根据用户输入的查询文本，快速、准确地确定出与该查询文本对应的标准文本，进而及时向用户展示该标准文本，充分提高用户体验。
根据第一方面，提供一种确定查询文本所对应标准文本的方法，所述方法包括：获取用户输入的查询文本；将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量，所述第一语义模型至少基于多个历史查询文本而预先训练得到；获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，所述第二语义模型至少基于多个标准文本而预先训练得到；将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
在一个实施例中，获取若干候选文本，包括：确定所述查询文本中包括的查询关键词；根据所述查询关键词对所述标准文本库进行检索，得到匹配所述查询关键词的文本，作为所述若干候选文本。
在一个实施例中，所述若干候选文本中包括任意的第一候选文本，所述若干候选语义向量中包括对应于所述第一候选文本的第一候选语义向量；获取所述若干候选文本对应的若干候选语义向量，包括：查询缓存中是否存在与所述第一候选文本相同的第一标准文本；当存在所述第一标准文本时，从所述缓存中获取与所述第一标准文本对应的标准语义向量，作为所述第一候选语义向量。
在一个具体的实施例中，在查询缓存中是否存在与所述第一候选文本相同的第一标准文本之后，所述方法还包括：当不存在所述第一标准文本时，将所述第一候选文本输入所述第二语义模型中，得到所述第一候选语义向量；将所述第一候选文本和所述第一候选语义向量分别归为标准文本和标准语义向量，关联存储至所述缓存中。
在一个实施例中，所述若干候选语义向量中包括任意的第一候选语义向量，所述查询语义向量和所述第一候选语义向量具有相同的维度；将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量，包括：对所述查询语义向量和所述第一候选语义向量进行对位点乘，得到所述第一综合向量。
在一个实施例中，所述若干候选语义向量中包括任意的第一候选语义向量；将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量，包括：对所述查询语义向量和所述第一候选语义向量进行拼接，得到所述第一综合向量。
在一个实施例中，在分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度之后，所述方法还包括：确定所述若干关联度中的最大值；在所述最大值不小于预定阈值的情况下，将所述最大值所对应的候选文本作为所述查询文本所对应的标准文本，以用于向用户展示。
在一个具体的实施例中，在确定所述若干关联度中的最大值之后，所述方法还包括：在所述最大值小于预定阈值的情况下，基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
在一个实施例中，在分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度之后，所述方法还包括：基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
在一个实施例中，所述关联度预测模型基于深度神经网络DNN或ResNet。
在一个实施例中，所述关联度预测模型基于以下步骤而预先训练：获取多个文本对和对应的多个文本关联标签，其中每个文本对中包括对应的历史查询文本和标准文本，每个文本关联标签用于指示每个文本对中文本之间的关联等级；利用所述多个文本对和对应的多个文本关联标签，以及所述第一语义模型和所述第二语义模型，训练所述关联度预测模型。
在一个实施例中，所述多个文本对中包括第一文本对和第二文本对，所述第一文本对包括某一历史查询文本和第一标准文本，所述第二文本对包括同一历史查询文本和第二标准文本；训练所述关联度预测模型，包括：利用第一语义模型、第二语义模型和关联度预测模型，预测所述第一文本对所对应的第一文本关联度；利用第一语义模型、第二语义模型和关联度预测模型，预测所述第二文本对所对应的第二文本关联度；基于所述第一文本关联度和第二文本关联度，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的预测概率；基于所述第一文本对和第二文本对所对应的两个文本关联标签，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的真实概率；基于所述预测概率和所述真实概率，确定预测损失，用于训练所述关联度预测模型。
根据第二方面，提供一种确定查询文本所对应标准文本的装置。该装置包括：第一获取单元，配置为获取用户输入的查询文本；语义编码单元，配置为将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量，所述第一语义模型至少基于多个历史查询文本而预先训练得到；第二获取单元，配置为获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；第三获取单元，配置为获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，所述第二语义模型至少基于多个标准文本而预先训练得到；综合处理单元，配置为将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；预测单元，配置为分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。
采用本说明书实施例披露的上述方法及装置，可以实现快速、准确、高效地确定用户查询文本所对应的标准文本，用于及时展示给用户，进而提高用户体验。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的排序算法实施框架图；
图2示出根据一个实施例的确定查询文本所对应标准文本的方法流程图；
图3示出根据一个实施例的用户端的客服会话界面示意图；
图4示出根据一个实施例的线上使用排序算法的流程示意图；
图5示出根据一个实施例的确定查询文本所对应标准文本的装置结构图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
如前所述，对于机器人客服问答，迫切需要一种方案，可以快速、准确地根据用户输入的内容确定用户意图，以给出与该用户意图对应的解答。
通常情况下，搜索系统会根据用户输入的查询文本(query)，给出与这个查询文本最相关的标准文本列表，其中标准文本指示用户意图或用户问题。若用户对列表中某个标准文本进行点击，则向用户展示该标注文本所对应的解答方案。搜索系统使用的算法结构由召回和排序这两部分组成，其中召回部分会根据查询文本，大概圈定一个标准文本范围的集合，排序部分是在召回的标准文本范围内，利用更加精确复杂的算法，给出标准文本的最终排序，排序算法的效果直接决定了整个搜索系统的质量。
Google在2018年推出的Bert(Bidirectional Encoder Representations fromTransformers)模型是目前最好的深度语义理解模型。本文提出利用Bert 模型进行排序，以期实现较优的排序效果。
在一种实施方式中，可以直接将Bert模型作为搜索排序模型在线上进行使用。但是，因Bert模型的参数量极其巨大，导致计算资源消耗巨大。如果直接使用查询文本和标准文本一起输入一个Bert模型，那么就需要每一个查询文本都与标准文本算一次输出分数，当候选召回的标准文本比较多的时候，其时间性能无法满足线上对模型延时的相关需求。
在另一种实施方式中，可以将查询文本和标准文本分开输入Bert模型进行语义编码(encoding)，最后计算两个语义向量的相似度，例如cosine距离。但是，由于Bert模型单独对查询文本和标准文本进行语义编码，两个文本之间缺少语义交互，导致排序结果的准确度有限。
基于此，本说明书实施例披露一种基于Bert的排序算法，能够同时保证排序的速度和准确性。图1示出根据一个实施例的排序算法实施框架图，其中第一语义模型和第二语义模型均基于Bert。如图1所示，在获取查询文本后，一方面，将查询文本输入第一语义模型中，得到查询语义向量；另一方面，根据查询文本在标准文本库中召回部分标准文本作为若干候选文本，在将若干候选文本分别输入第二语义模型中，得到若干候选语义向量。接着，将查询语义向量与若干候选语义向量分别进行综合处理，得到若干综合向量。然后，将若干综合向量分别输入关联度预测模型中，得到若干关联度。再接着，基于若干关联度对若干候选文本进行排序，得到排序结果，以根据排序结果确定查询文本对应的标准文本，用于向用户展示。如此，可以实现快速、准确地确定用户查询文本所对应的标准文本，用于及时展示给用户，进而提高用户体验。
下面结合具体的实施例，描述本说明书披露的确定查询文本所对应标准文本的方法。
具体地，图2示出根据一个实施例的确定查询文本所对应标准文本的方法流程图，所述方法的执行主体可以为任何具有计算、处理能力的装置或系统或服务器或平台等。如图2所示，所述方法包括以下步骤：
步骤S210，获取用户输入的查询文本；步骤S220，将查询文本输入基于 Bert的第一语义模型中，得到查询语义向量，其中第一语义模型至少基于多个历史查询文本而预先训练得到；步骤S230，获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；步骤S240，获取若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，其中第二语义模型至少基于多个标准文本而预先训练得到；步骤S250，将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；步骤S260，分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
以上步骤具体如下：
首先在步骤S210，获取用户输入的查询文本。
可以理解，在客服场景下，用户可以选择线咨询或拨打热线等方式。由此，用户在使用客服服务时可能会发送文本或语音。在一个实施例中，对于用户发送的文本内容，可以先进行预处理，包括去除停用词、空格、表情符号等，再将预处理后的文本作为查询文本。在另一个实施例中，对于用户发送的语音内容，可以先基于现有的语音识别技术，转换为对应的文本内容，再进行上述预处理，并将预处理后的文本作为查询文本
在引擎搜索场景下，用户通常会在搜索框中输入描述文本，描述目标搜索内容。在一个实施例中，可以直接将接收到的描述文本作为查询文本。在另一个实施例中，可以对先对描述文本进行上述预处理，再将预处理后的文本作为查询文本。
以上，可以获取用户输入的查询文本。接着，一方面在步骤S220，确定查询文本的查询语义向量。另一方面，在步骤S230和步骤S240，根据查询文本召回若干标准文本作为若干候选文本，并确定若干候选文本对应的若干候选语义向量。
具体地，在步骤S220，将查询文本输入基于Bert的第一语义模型中，得到查询语义向量。
上述第一语义模型至少基于多个历史查询文本而预先训练得到。在一个实施例中，可以先用大量通用语料训练出Bert基础模型，再用上述多个历史查询文本对Bert基础模型进行微调(fine tune)，得到上述第一语义模型。基于此，将查询文本输入训练好的第一语义模型中，可以得到查询语义向量。
另一方面，在步骤S230，获取根据查询文本召回的若干候选文本。
具体地，根据查询文本在标准文本库中圈定若干标准文本，作为上述若干候选文本。需要理解的是，其中标准文本库通常由业务方(如客服中心) 进行维护，包括增加、删除、修改标准文本等操作，以保证标准文本库中所包括标准文本的全面性和有效性，以保证后续召回候选文本等操作的准确性和有效性。
在一个实施例中，可以先确定查询文本中包括的查询关键词，再根据查询关键词对标准文本库进行检索，得到匹配所述关键词的文本，作为所述若干候选文本。在一个具体的实施例中，可以对查询文本进行分词处理，并将得到的多个分词作为上述查询关键词。然后，基于预设的匹配规则，如匹配查询关键词中的任意一个或全部，从标准文本库中检索出符合匹配规则的文本作为若干候选文本。
在以上获取若干候选文本后，接着在步骤S240，获取若干候选文本对应的若干候选语义向量。
上述若干候选语义向量是将若干候选文本输入基于Bert的第二语义模型而得到。其中第二语义模型至少基于多个标准文本而预先训练得到。在一个实施例中，其中多个标准文本可以是从标准文本库中抽取的部分文本。在一个实施例中，可以先用大量通用语料训练出Bert基础模型，再用上述多个标准文本对Bert基础模型进行微调(fine tune)，得到上述第二语义模型。在一个具体的实施例中，可以直接获取前述训练第一语义模型时所使用的 Bert基础模型，并用多个标准文本进行微调得到第二语义模型。
在一个实施例中，在本步骤中，可以在线上直接将若干候选文本输入第二语义模型中，得到上述若干候选候语义向量。
在另一个实施例中，在本步骤中，可以从缓存中获取若干候选文本对应的若干候选语义向量。下面对缓存中存储的文本和对应的语义向量进行说明。在一个实施例中，可以将一批标准文本，如标准文本库中的部分文本(如曾被多次召回的高频文本)或全部文本，分别输入上述第二语义模型中，对应得到一批标准语义向量，并在步骤S210之前，将这批标准文和标准语义向量预加载至缓存中。在一个具体的实施例中，可以对标准文本库中的标准文本与缓存中的标准文本进行同步，并且对缓存中的标准语义向量进行同步更新。如此，对于若干候选文本，必然可以从缓存中查询到对应的若干候选语义向量。可以理解，此种方式对同步的要求比较高。
在另一个具体的实施例中，不需要同步标准文本库和缓存，但结合缓存的设置，同样可以快速获取若干语义向量。具体地，缓存中预加载有上述一批标准文和对应的标准语义向量。基于此，针对若干候选文本，可以逐个查询缓存中是否存在相同的标准文本，若存在则直接从缓存中获取对应的标准语义向量作为候选语义向量，若不存在则将候选文本在线输入第二语义模型中，以得到候选语义向量。
在一个更具体的实施例中，对于若干候选文本中包括任意的第一候选文本，查询缓存中是否存在与所述第一候选文本相同的第一标准文本。进一步地，当存在所述第一标准文本时，从所述缓存中获取与所述第一标准文本对应的标准语义向量，作为第一候选语义向量。而当不存在所述第一标准文本时，将所述第一候选文本输入所述第二语义模型中，得到所述第一候选语义向量；并且，将所述第一候选文本和所述第一候选语义向量分别归为标准文本和标准语义向量，关联存储至所述缓存中。
如此，可以获取若干候选文本对应的若干候选语义向量。
由上，在步骤S220中可以获取查询文本对应的查询语义向量，在步骤S240 中可以获取若干候选文本对应的若干候选语义向量。基于此，在步骤S250，将查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量。
上述综合处理的方式有多种。具体地，针对若干候选语义向量中包括的任意的第一候选语义向量，在一个实施例中，所述查询语义向量和所述第一候选语义向量具有相同的维度，基于此，可以将查询语义向量和所述第一候选语义向量进行对位点乘，得到所述第一综合向量。可以理解，其中对位点乘是指两个向量中位于相同位置的向量元素相乘，相乘的结果作为新向量在该相同位置上的向量元素。在一个例子中，假定查询语义向量为(2，2，3)，第一候选语义向量为(3，3，2)，则二者进行对位点乘得到的第一综合向量为(6，6，6)。如此，通过对位点乘可以实现查询语义向量和候选语义向量的初步语义交互。在另一个实施例中，还可以对所述查询语义向量和所述第一候选语义向量进行加和，得到所述第一综合向量。
在又一个实施例中，可以对所述查询语义向量和所述第一候选语义向量进行拼接，得到所述第一综合向量。需要说明，对于拼接得到的综合向量，可以在后续的关联度预测模型中，实现对查询语义向量和候选语义向量的语义交互。
以上可以得到若干综合向量，接着在步骤S260，分别将所述若干综合向量输入关联度预测模型，得到若干关联度，以用于从上述若干候选文本中确定上述查询文本所对应的标准文本。
在一个实施例中，上述关联度预测模型基于DNN(Deep Neural Network，深度神经网络)或ResNet。通过设置关联度预测模型，可以实现查询语义向量和候选语义向量之间的充分交互。
在一个实施例中，上述关联度预测模型基于以下步骤而预先训练：首先，获取多个文本对和对应的多个文本关联标签，其中每个文本对中包括对应的历史查询文本和标准文本，每个文本关联标签用于指示每个文本对中文本之间的关联等级；然后，利用所述多个文本对和对应的多个文本关联标签，以及所述第一语义模型和所述第二语义模型，训练所述关联度预测模型。
在一个具体的实施例中，多个文本对中包括任意的第一文本对，第一文本对中包括第一历史查询文本和第一标准文本。在一个例子中，可以将第一历史查询文本输入第一语义模型，并将第一标准文本输入第二语义模型，再对得到的两个相同维度的向量进行对位点乘，并将对位点乘得到的向量输入关联度语义模型，得到针对第一文本对的预测关联度。再根据第一文本对的预测关联度和文本关联标签，对关联度预测模型进行训练。
在另一个具体的实施例中，在训练过程中，可以考虑引入针对一个查询文本，不同的候选文本之间的排序关系，对关联度预测模型进行训练。如此，可以提高模型训练的收敛速度，并优化模型性能。具体地，上述多个文本对中包括第一文本对和第二文本对，所述第一文本对包括某一历史查询文本和第一标准文本，所述第二文本对包括同一历史查询文本和第二标准文本。基于此，训练所述关联度预测模型可以包括：
1)确定预测概率。
首先，利用第一语义模型、第二语义模型和关联度预测模型，预测所述第一文本对所对应的第一文本关联度。利用第一语义模型、第二语义模型和关联度预测模型，预测所述第二文本对所对应的第二文本关联度。再基于所述第一文本关联度和第二文本关联度，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的预测概率。在一个具体的实施例中，可以通过以下公式确定上述预测概率：
式(1)中，Pij表示针对相同的查询文本，标准文本i排在标准文本j之前的概率，si表示该相同的查询文本与标准文本i之间的关联度，sj表示该相同的查询文本与标准文本j之间的关联度。σ可以为超参。
2)确定真实概率。
基于所述第一文本对和第二文本对所对应的两个文本关联标签，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的真实概率。在一个具体的实施例中，可以通过以下公式确定上述真实概率：
式(1)中，对于相同的查询文本，如果标准文本i比标准文本j更相关，那么sij＝1；如果标准文本i不如标准文本j相关，那么sij＝-1；如果标准文本i与标准文本j的相关程度相同，那么sij＝0。
在一个例子中，假定第一文本对的关联度标签为强相关，第二文本对的关联度标签为弱相关，由此可以判定第一标准文本比第二标准文本更相关，则基于式(2)得到的真实概率为1。在另一个例子中，假定第一文本对的关联度标签为弱相关，第二文本对的关联度标签为中相关，由此可以判定第一标准文本不如第二标准文本相关，则基于式(2)得到的真实概率为0。在又一个例子中，假定第一文本对的关联度标签为弱相关，第二文本对的关联度标签为弱相关，由此可以判定第一标准文本与第二标准文的相关程度相同，则基于式(2)得到的真实概率为1/2。
3)确定预测损失。
基于所述预测概率和所述真实概率，确定预测损失，用于训练所述关联度预测模型。在一个具体的实施例中，可以使用交叉熵度量预测损失，公式如下：
如此，可以确定出预测损失，并且利用预测损失训练关联度预测模型。进一步地，在一个具体的实施例中，可以利用反向传播法训练关联度预测模型。在一个例子中，其中可以使用以下求导公式：
其中，ΔNDCG表示交换标准文本i和标准文本j的位置进行交换后得到的 NDCG(Normalized Discounted cumulative gain，归一化折损累计增益)变化值。
如此，通过引入针对一个查询文本，不同的候选文本之间的排序关系，可以提高对关联度模型进行训练的收敛速度，并优化模型性能。
以上可以实现对关联度预测模型的训练。需要说明的是，在一种训练方式中，在训练关联度预测模型时，可以固定第一语义模型和第二语义模型，也就是说只训练关联度预测模型。在另一种训练方式中，还可以利用上述多个文本对和多个关联度标签对，同时对第一语义模型、第二语义模型和关联度预测模型进行训练，这意味着，对第一语义模型和第二语义模型进行进一步调参。可以理解，进一步调参之前的第一语义模型为利用前述多个历史查询文本对Bert基础模型进行微调后的模型，第二语义模型为利用前述多个标准文本对Bert基础模型进行微调后的模型。
基于以上，可以将若干综合向量输入预先训练的关联度预测模型中，得到若干关联度。由此，在步骤S260之后，所述方法还可以包括：根据若干关联度，确定上述查询文本所对应的标准文本。
具体地，在一个实施例中，先基于所述若干关联度对所述若干候选文本进行排序；再将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。在一个例子中，假定若干关联度包括0.5、0.6、0.7和0.8。由此基于关联度由高到低，对若干候选文本进行排序，并将预定名次(如3)内的候选文本，也就是关联度0.8、0.7和0.6对应的候选文本顺序组成标准文本列表，用于展示给用户。在一个具体的例子中，如图3所示，其中示出查询文本310：如何组合购买保险，实现完备保障？以及展示给用户的标准文本列表320，具体包括投保、全民保和好友问题。
在另一个具体的实施例中，可以先确定所述若干关联度中的最大值。进一步地，一方面，在所述最大值不小于预定阈值的情况下，将所述最大值所对应的候选文本作为所述查询文本所对应的标准文本，以用于向用户展示。另一方面，在所述最大值小于预定阈值的情况下，基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
如此，可以实现根据若干关联度，从若干候选文本中确定查询文本对应的标准文本，进而展示给用户。
综上，采用本说明书实施例披露的确定查询文本所对应标准文本的方法，可以实现快速、准确地确定用户查询文本所对应的标准文本，用于及时展示给用户，进而提高用户体验。
下面结合图4，用一个具体的实施例对上述方法进行进一步说明。图4示出根据一个实施例的线上使用排序算法的流程示意图。如图4所示，所述方法包括以下步骤：
步骤S41，获取用户输入的查询文本和召回的若干候选文本。
步骤S42，使用基于Bert的第一语义模型计算查询文本的查询语义向量。
步骤S43，逐个查找候选文本是否命中缓存。进一步地，在某个候选文本命中的情况下，从缓存中获取对应的候选语义向量，并执行步骤S46，将查询语义向量与获取的候选语义向量进行综合处理，并将得到的综合向量输入关联度预测模型，接着在步骤S47，输入预测得到的关联度。
在某个候选文本未命中的情况下，执行步骤S44，利用基于Bert的第二语义模型计算该某个候选文本的候选语义向量，然后在步骤S45，将该某个候选文本和计算出的候选语义向量关联存储至缓存中，并且，在步骤S46，对查询语义向量和计算得到的候选语义向量进行综合处理，并将得到的综合向量输入关联度预测模型，接着在步骤S47，输入预测得到的关联度。
以上，可以实现快速、准确地确定用户查询文本所对应的标准文本，用于及时展示给用户，进而提高用户体验。
与上述方法相对应的，本说明书实施例还披露一种确定装置。具体地，图5示出根据一个实施例的确定查询文本所对应标准文本的装置结构图。如图5所示，所述装置500可以包括：
第一获取单元510，配置为获取用户输入的查询文本。语义编码单元520，配置为将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量，所述第一语义模型至少基于多个历史查询文本而预先训练得到。第二获取单元530，配置为获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定。第三获取单元540，配置为获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，所述第二语义模型至少基于多个标准文本而预先训练得到。综合处理单元550，配置为将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量。预测单元560，配置为分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
在一个实施例中，所述第二获取单元530具体配置为：确定所述查询文本中包括的查询关键词；根据所述查询关键词对所述标准文本库进行检索，得到匹配所述查询关键词的文本，作为所述若干候选文本。
在一个实施例中，所述若干候选文本中包括任意的第一候选文本，所述若干候选语义向量中包括对应于所述第一候选文本的第一候选语义向量；所述第三获取单元540具体包括：查询子单元541，配置为查询缓存中是否存在与所述第一候选文本相同的第一标准文本；第一获取子单元542，配置为当存在所述第一标准文本时，从所述缓存中获取与所述第一标准文本对应的标准语义向量，作为所述第一候选语义向量。
在一个具体的实施例中，所述第三获取单元540还包括：第二获取子单元，配置为当不存在所述第一标准文本时，将所述第一候选文本输入所述第二语义模型中，得到所述第一候选语义向量；存储子单元，配置为将所述第一候选文本和所述第一候选语义向量分别归为标准文本和标准语义向量，关联存储至所述缓存中。
在一个实施例中，所述若干候选语义向量中包括任意的第一候选语义向量，所述查询语义向量和所述第一候选语义向量具有相同的维度；所述综合处理单元550具体配置为：对所述查询语义向量和所述第一候选语义向量进行对位点乘，得到所述第一综合向量。
在一个实施例中，所述若干候选语义向量中包括任意的第一候选语义向量；所述综合处理单元550具体配置为：对所述查询语义向量和所述第一候选语义向量进行拼接，得到所述第一综合向量。
在一个实施例中，所述装置还包括：确定单元570，配置为确定所述若干关联度中的最大值；在所述最大值不小于预定阈值的情况下，将所述最大值所对应的候选文本作为所述查询文本所对应的标准文本，以用于向用户展示。
在一个具体的实施例中，所述确定单元570还配置为：在所述最大值小于预定阈值的情况下，基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
在一个实施例中，所述装置500还包括：确定单元570，配置为基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
在一个实施例中，所述关联度预测模型基于深度神经网络DNN或ResNet。
在一个实施例中，所述关联度预测模型基于训练单元而预先训练，所述训练单元包括：第三获取子单元，配置为获取多个文本对和对应的多个文本关联标签，其中每个文本对中包括对应的历史查询文本和标准文本，每个文本关联标签用于指示每个文本对中文本之间的关联等级；训练子单元，配置为利用所述多个文本对和对应的多个文本关联标签，以及所述第一语义模型和所述第二语义模型，训练所述关联度预测模型。
在一个实施例中，所述多个文本对中包括第一文本对和第二文本对，所述第一文本对包括某一历史查询文本和第一标准文本，所述第二文本对包括同一历史查询文本和第二标准文本；所述训练子单元具体配置为：利用第一语义模型、第二语义模型和关联度预测模型，预测所述第一文本对所对应的第一文本关联度；利用第一语义模型、第二语义模型和关联度预测模型，预测所述第二文本对所对应的第二文本关联度；基于所述第一文本关联度和第二文本关联度，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的预测概率；基于所述第一文本对和第二文本对所对应的两个文本关联标签，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的真实概率；基于所述预测概率和所述真实概率，确定预测损失，用于训练所述关联度预测模型。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (26)

1.一种确定查询文本所对应标准文本的方法，包括：
获取用户输入的查询文本；
将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量，所述第一语义模型基于多个历史查询文本而预先训练得到；
获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；
获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，所述第二语义模型基于多个标准文本而预先训练得到；
将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；
分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
2.根据权利要求1所述的方法，其中，获取若干候选文本，包括：
确定所述查询文本中包括的查询关键词；
根据所述查询关键词对所述标准文本库进行检索，得到匹配所述查询关键词的文本，作为所述若干候选文本。
3.根据权利要求1所述的方法，其中，所述若干候选文本中包括任意的第一候选文本，所述若干候选语义向量中包括对应于所述第一候选文本的第一候选语义向量；获取所述若干候选文本对应的若干候选语义向量，包括：
查询缓存中是否存在与所述第一候选文本相同的第一标准文本；
当存在所述第一标准文本时，从所述缓存中获取与所述第一标准文本对应的标准语义向量，作为所述第一候选语义向量。
4.根据权利要求3所述的方法，其中，在查询缓存中是否存在与所述第一候选文本相同的第一标准文本之后，所述方法还包括：
当不存在所述第一标准文本时，将所述第一候选文本输入所述第二语义模型中，得到所述第一候选语义向量；
将所述第一候选文本和所述第一候选语义向量分别归为标准文本和标准语义向量，关联存储至所述缓存中。
5.根据权利要求1所述的方法，其中，所述若干候选语义向量中包括任意的第一候选语义向量，所述查询语义向量和所述第一候选语义向量具有相同的维度；将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量，包括：
对所述查询语义向量和所述第一候选语义向量进行对位点乘，得到第一综合向量。
6.根据权利要求1所述的方法，其中，所述若干候选语义向量中包括任意的第一候选语义向量；将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量，包括：
对所述查询语义向量和所述第一候选语义向量进行拼接，得到第一综合向量。
7.根据权利要求1所述的方法，其中，在分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度之后，所述方法还包括：
确定所述若干关联度中的最大值；
在所述最大值不小于预定阈值的情况下，将所述最大值所对应的候选文本作为所述查询文本所对应的标准文本，以用于向用户展示。
8.根据权利要求7所述的方法，其中，在确定所述若干关联度中的最大值之后，所述方法还包括：
在所述最大值小于预定阈值的情况下，基于所述若干关联度对所述若干候选文本进行排序；
将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
9.根据权利要求1所述的方法，其中，在分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度之后，所述方法还包括：
基于所述若干关联度对所述若干候选文本进行排序；
将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
10.根据权利要求1所述的方法，其中，所述关联度预测模型基于深度神经网络DNN或ResNet。
11.根据权利要求1所述的方法，其中，所述关联度预测模型基于以下步骤而预先训练：
获取多个文本对和对应的多个文本关联标签，其中每个文本对中包括对应的历史查询文本和标准文本，每个文本关联标签用于指示每个文本对中文本之间的关联等级；
利用所述多个文本对和对应的多个文本关联标签，以及所述第一语义模型和所述第二语义模型，训练所述关联度预测模型。
12.根据权利要求11所述的方法，其中，所述多个文本对中包括第一文本对和第二文本对，所述第一文本对包括某一历史查询文本和第一标准文本，所述第二文本对包括同一历史查询文本和第二标准文本；训练所述关联度预测模型，包括：
利用第一语义模型、第二语义模型和关联度预测模型，预测所述第一文本对所对应的第一文本关联度；
利用第一语义模型、第二语义模型和关联度预测模型，预测所述第二文本对所对应的第二文本关联度；
基于所述第一文本关联度和第二文本关联度，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的预测概率；
基于所述第一文本对和第二文本对所对应的两个文本关联标签，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的真实概率；
基于所述预测概率和所述真实概率，确定预测损失，用于训练所述关联度预测模型。
13.一种确定查询文本所对应标准文本的装置，包括：
第一获取单元，配置为获取用户输入的查询文本；
语义编码单元，配置为将所述查询文本输入基于Bert的第一语义模型中，得到查询语义向量，所述第一语义模型基于多个历史查询文本而预先训练得到；
第二获取单元，配置为获取若干候选文本，所述若干候选文本是根据所述查询文本检索标准文本库而确定；
第三获取单元，配置为获取所述若干候选文本对应的若干候选语义向量，所述若干候选语义向量通过基于Bert的第二语义模型而确定，所述第二语义模型基于多个标准文本而预先训练得到；
综合处理单元，配置为将所述查询语义向量分别与若干候选语义向量进行综合处理，得到若干综合向量；
预测单元，配置为分别将所述若干综合向量输入预先训练的关联度预测模型，得到所述查询文本与所述若干候选文本之间的若干关联度，以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。
14.根据权利要求13所述的装置，其中，所述第二获取单元具体配置为：
确定所述查询文本中包括的查询关键词；
根据所述查询关键词对所述标准文本库进行检索，得到匹配所述查询关键词的文本，作为所述若干候选文本。
15.根据权利要求13所述的装置，其中，所述若干候选文本中包括任意的第一候选文本，所述若干候选语义向量中包括对应于所述第一候选文本的第一候选语义向量；所述第三获取单元具体包括：
查询子单元，配置为查询缓存中是否存在与所述第一候选文本相同的第一标准文本；
第一获取子单元，配置为当存在所述第一标准文本时，从所述缓存中获取与所述第一标准文本对应的标准语义向量，作为所述第一候选语义向量。
16.根据权利要求15所述的装置，其中，所述第三获取单元还包括：
第二获取子单元，配置为当不存在所述第一标准文本时，将所述第一候选文本输入所述第二语义模型中，得到所述第一候选语义向量；
存储子单元，配置为将所述第一候选文本和所述第一候选语义向量分别归为标准文本和标准语义向量，关联存储至所述缓存中。
17.根据权利要求13所述的装置，其中，所述若干候选语义向量中包括任意的第一候选语义向量，所述查询语义向量和所述第一候选语义向量具有相同的维度；所述综合处理单元具体配置为：
对所述查询语义向量和所述第一候选语义向量进行对位点乘，得到第一综合向量。
18.根据权利要求13所述的装置，其中，所述若干候选语义向量中包括任意的第一候选语义向量；所述综合处理单元具体配置为：
对所述查询语义向量和所述第一候选语义向量进行拼接，得到第一综合向量。
19.根据权利要求13所述的装置，其中，所述装置还包括：确定单元，配置为确定所述若干关联度中的最大值；在所述最大值不小于预定阈值的情况下，将所述最大值所对应的候选文本作为所述查询文本所对应的标准文本，以用于向用户展示。
20.根据权利要求19所述的装置，其中，所述确定单元还配置为：
在所述最大值小于预定阈值的情况下，基于所述若干关联度对所述若干候选文本进行排序；
将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
21.根据权利要求13所述的装置，其中，所述装置还包括：
确定单元，配置为基于所述若干关联度对所述若干候选文本进行排序；将排序结果中位于预定名次内的候选文本作为所述查询文本所对应标准文本列表，以用于向用户展示。
22.根据权利要求13所述的装置，其中，所述关联度预测模型基于深度神经网络DNN或ResNet。
23.根据权利要求13所述的装置，其中，所述关联度预测模型基于训练单元而预先训练，所述训练单元包括：
第三获取子单元，配置为获取多个文本对和对应的多个文本关联标签，其中每个文本对中包括对应的历史查询文本和标准文本，每个文本关联标签用于指示每个文本对中文本之间的关联等级；
训练子单元，配置为利用所述多个文本对和对应的多个文本关联标签，以及所述第一语义模型和所述第二语义模型，训练所述关联度预测模型。
24.根据权利要求23所述的装置，其中，所述多个文本对中包括第一文本对和第二文本对，所述第一文本对包括某一历史查询文本和第一标准文本，所述第二文本对包括同一历史查询文本和第二标准文本；所述训练子单元具体配置为：
利用第一语义模型、第二语义模型和关联度预测模型，预测所述第一文本对所对应的第一文本关联度；
利用第一语义模型、第二语义模型和关联度预测模型，预测所述第二文本对所对应的第二文本关联度；
基于所述第一文本关联度和第二文本关联度，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的预测概率；
基于所述第一文本对和第二文本对所对应的两个文本关联标签，确定针对所述同一历史查询文本，所述第一标准文本排在第二标准文本之前的真实概率；
基于所述预测概率和所述真实概率，确定预测损失，用于训练所述关联度预测模型。
25.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。
26.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。
CN201911203536.2A 2019-11-29 2019-11-29 确定查询文本所对应标准文本的方法及装置 Active CN110990533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911203536.2A CN110990533B (zh) 2019-11-29 2019-11-29 确定查询文本所对应标准文本的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911203536.2A CN110990533B (zh) 2019-11-29 2019-11-29 确定查询文本所对应标准文本的方法及装置

Publications (2)

Publication Number Publication Date
CN110990533A CN110990533A (zh) 2020-04-10
CN110990533B true CN110990533B (zh) 2023-08-25

Family

ID=70088733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911203536.2A Active CN110990533B (zh) 2019-11-29 2019-11-29 确定查询文本所对应标准文本的方法及装置

Country Status (1)

Country Link
CN (1) CN110990533B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552781B (zh) * 2020-04-29 2021-03-02 焦点科技股份有限公司 一种联合机器检索阅读的方法
CN111767714B (zh) * 2020-06-28 2022-02-11 平安科技（深圳）有限公司 一种文本通顺度确定方法、装置、设备及介质
CN111881349B (zh) * 2020-07-20 2022-04-22 北京达佳互联信息技术有限公司 一种内容搜索的方法及装置
CN112084435A (zh) * 2020-08-07 2020-12-15 北京三快在线科技有限公司 搜索排序模型训练方法及装置、搜索排序方法及装置
CN112364146A (zh) * 2020-11-27 2021-02-12 支付宝(杭州)信息技术有限公司 查询文档排序方法、装置及电子设备
CN112699213A (zh) * 2020-12-23 2021-04-23 平安普惠企业管理有限公司 语音意图识别方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491547A (zh) * 2017-08-28 2017-12-19 北京百度网讯科技有限公司 基于人工智能的搜索方法和装置
WO2018040503A1 (zh) * 2016-08-30 2018-03-08 北京百度网讯科技有限公司 获取搜索结果的方法和装置
CN108595708A (zh) * 2018-05-10 2018-09-28 北京航空航天大学 一种基于知识图谱的异常信息文本分类方法
CN109840321A (zh) * 2017-11-29 2019-06-04 腾讯科技（深圳）有限公司 文本推荐方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017180B2 (en) * 2018-04-18 2021-05-25 HelpShift, Inc. System and methods for processing and interpreting text messages

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040503A1 (zh) * 2016-08-30 2018-03-08 北京百度网讯科技有限公司 获取搜索结果的方法和装置
CN107491547A (zh) * 2017-08-28 2017-12-19 北京百度网讯科技有限公司 基于人工智能的搜索方法和装置
CN109840321A (zh) * 2017-11-29 2019-06-04 腾讯科技（深圳）有限公司 文本推荐方法、装置及电子设备
CN108595708A (zh) * 2018-05-10 2018-09-28 北京航空航天大学 一种基于知识图谱的异常信息文本分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于语义向量表示的查询扩展方法;李岩;张博文;郝红卫;;计算机应用(第09期);2526-2530 *

Also Published As

Publication number Publication date
CN110990533A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990533B (zh) 确定查询文本所对应标准文本的方法及装置
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
JP7343568B2 (ja) 機械学習のためのハイパーパラメータの識別および適用
CN108509474B (zh) 搜索信息的同义词扩展方法及装置
CN109086303B (zh) 基于机器阅读理解的智能对话方法、装置、终端
CN106874441B (zh) 智能问答方法和装置
US9576054B2 (en) Search method, apparatus and system based on rewritten search term
EP3937029A2 (en) Method and apparatus for training search model, and method and apparatus for searching for target object
CN112800170A (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN110909145B (zh) 针对多任务模型的训练方法及装置
CN110147494B (zh) 信息搜索方法、装置，存储介质及电子设备
CN110083774B (zh) 应用推荐列表的确定方法、装置、计算机设备及存储介质
US20200278976A1 (en) Method and device for evaluating comment quality, and computer readable storage medium
CN112632261A (zh) 智能问答方法、装置、设备及存储介质
US20180285742A1 (en) Learning method, learning apparatus, and storage medium
US11379527B2 (en) Sibling search queries
CN114647739B (zh) 实体链指方法、装置、电子设备及存储介质
CN116361428A (zh) 一种问答召回方法、装置和存储介质
CN106934007B (zh) 关联信息的推送方法及装置
CN111625619A (zh) 查询省略方法、装置、计算机可读介质及电子设备
JP7121819B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN110851560B (zh) 信息检索方法、装置及设备
CN113641855A (zh) 一种视频推荐方法、装置、设备及存储介质
CN112148855A (zh) 一种智能客服问题检索方法、终端以及存储介质
CN110083679B (zh) 搜索请求的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant