CN112364146A - 查询文档排序方法、装置及电子设备 - Google Patents
查询文档排序方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112364146A CN112364146A CN202011365079.XA CN202011365079A CN112364146A CN 112364146 A CN112364146 A CN 112364146A CN 202011365079 A CN202011365079 A CN 202011365079A CN 112364146 A CN112364146 A CN 112364146A
- Authority
- CN
- China
- Prior art keywords
- query
- question
- matching degree
- documents
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 128
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 90
- 230000006870 function Effects 0.000 claims description 62
- 238000005457 optimization Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 35
- 239000013604 expression vector Substances 0.000 description 33
- 238000012546 transfer Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 230000032683 aging Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书一个或多个实施例提供一种查询文档排序方法、装置及电子设备，包括：基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
Description
技术领域
本说明书一个或多个实施例涉及计算机应用技术领域，尤其涉及一种查询文档排序方法、装置及电子设备。
背景技术
在现实生活中，用户在使用互联网服务(例如：网络购物、在线转账等)时，可能会遇到用户自己难以解决的问题。在这种情况下，用户通常会通过智能客服进行咨询，以由智能客服提供用户遇到的问题的解答。
举例来说，用户通常可以通过在智能客服的用户界面中输入查询问句，向智能客服提出问题，以由智能客服针对该查询问句进行解答，即由智能客服在数据库中查找与该查询问句对应的查询文档，并将查找到的查询文档通过智能客服的用户界面展示给用户，供用户查看。
随着业务用户量的逐渐增大，以及业务类型的日趋复杂，如何使智能客服更加高效、准确地为用户提供问题的解答也就成为了亟待解决的问题。
发明内容
本说明书提出一种查询文档排序方法，所述方法包括：
基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
可选地，所述排序学习模型为基于文档列表方法的排序学习模型。
可选地，所述方法还包括：
获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
可选地，所述基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练，包括：
基于所述训练样本，对所述排序学习模型的评分函数进行有监督的训练，以使与所述评分函数对应的损失函数收敛；
其中，所述损失函数包括：
L为所述损失函数的数值，
为所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分，si为所述训练样本中与所述查询问句的匹配度排在第i位的查询文档对应于所述查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
可选地，所述方法还包括：
从所述查询问句中提取出至少一个关键词；
获取包含任一所述关键词的多个查询文档，作为与所述查询问句对应的多个查询文档。
可选地，所述输出按照所述匹配度评分进行排序的排序结果，包括：
按照所述匹配度评分从大到小的顺序对所述多个查询文档进行排序，并输出排序后的所述多个查询文档。
本说明书还提出一种查询文档排序装置，所述装置包括：
构建模块，基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
计算模块，将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
排序模块，将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
可选地，所述排序学习模型为基于文档列表方法的排序学习模型。
可选地，所述装置还包括：
第一获取模块，获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
训练模块，基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
可选地，所述训练模块：
基于所述训练样本，对所述排序学习模型的评分函数进行有监督的训练，以使与所述评分函数对应的损失函数收敛；
其中，所述损失函数包括：
L为所述损失函数的数值，
为所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分，si为所述训练样本中与所述查询问句的匹配度排在第i位的查询文档对应于所述查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
可选地，所述装置还包括：
提取模块，从所述查询问句中提取出至少一个关键词；
第二获取模块，获取包含任一所述关键词的多个查询文档，作为与所述查询问句对应的多个查询文档。
可选地，所述排序模块：
按照所述匹配度评分从大到小的顺序对所述多个查询文档进行排序，并输出排序后的所述多个查询文档。
本说明书还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现上述方法的步骤。
本说明书还提出一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。
在上述技术方案中，针对用户输入的查询问句和与该查询问句对应的多个查询文档，可以由BERT模型同时计算得到分别与这多个查询文档对应的语义表示向量，并将这多个语义向量输入至排序学习模型，由该排序学习模型计算得到这多个查询文档分别对应于该查询问句的匹配度评分，并输出按照该匹配度评分进行排序得到的排序结果。采用这样的方式，由于可以通过一次性计算得到多个查询文档分别对应于相应的查询问句的匹配度评分，并直接输出按照该匹配度评分进行排序得到的排序结果，因此与相关技术中需要先通过多次计算，分别计算得到这多个查询文档对应于该查询问句的匹配度评分，再根据该匹配度评分对这多个查询文档进行排序的方式相比，可以简化查询文档的排序步骤，提高查询文档的排序效率，从而可以更快速地为用户提供信息查询服务，提升用户体验。
附图说明
图1是本说明书一示例性实施例示出的一种查询界面的示意图；
图2是一种BERT模型的示意图；
图3是本说明书一示例性实施例示出的一种查询文档排序系统的示意图；
图4是本说明书一示例性实施例示出的一种查询文档排序方法的流程图；
图5是本说明书一示例性实施例示出的另一种查询文档排序方法的流程图；
图6是本说明书一示例性实施例示出的一种查询文档排序装置所在电子设备的硬件结构图；
图7是本说明书一示例性实施例示出的一种查询文档排序装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以智能客服为例，用户通常可以通过在智能客服的用户界面中输入查询问句，向智能客服提出问题，以由智能客服在数据库中查找与该查询问句对应的查询文档，并将查找到的查询文档通过智能客服的用户界面展示给用户，供用户查看。
在与智能客服类似的信息查询的应用场景下，实现信息查询功能的服务端通常可以面向用户提供查询界面，从而使用户可以通过该查询界面输入需要查询的内容；其中，用户输入的需要查询的内容即为查询问句。后续，服务端可以基于该查询问句，在存储了查询文档的数据库中查找与该查询问句对应的查询文档，并向用户输出查找到的查询文档，例如：将查找到的查询文档展示在该查询界面中，以供用户查看；其中，查询文档具体可以包括文档内容和用于概括该文档内容的文档标题。
请参考图1，图1是本说明书一示例性实施例示出的一种查询界面的示意图。
以如图1所示的查询界面为例，用户可以在该查询界面包含的文本输入框中输入“怎么转账”作为查询问句。后续，服务端可以基于“怎么转账”这一查询问句，在存储了查询文档的数据库中查找与该查询问句对应的查询文档；假设服务端查找到的与该查询问句对应的查询文档包括文档标题为“转账操作”、“转账限额”和“转账时效”的三个查询文档，则服务端可以将这三个查询文档展示在该查询界面中，以供用户查看。进一步地，服务端在检测到用户针对这三个查询文档中的某个查询文档的文档标题的点击操作时，可以向用户输出该查询文档的文档内容，以供用户查看。
在实际应用中，如果服务端查找到多个与用户输入的查询问句对应的查询文档，则服务端在向用户输出查找到的这多个查询文档时，可以先对这多个查询文档进行排序，得到相应的排序结果，再向用户输出按照该排序结果进行排列的这多个查询文档，例如：服务端可以针对该查询问句和这多个查询文档，确定各个查询文档与该查询问句的匹配度(即该查询文档用于解答由该查询问句提出的问题的合适程度)，并按照匹配度从高到低的顺序对这多个查询文档进行排序，得到相应的排序结果，再向用户输出按照该排序结果进行排列的这多个查询文档。
继续以图1所示的查询界面为例，假设针对上述查询问句和上述三个查询文档，服务端确定文档标题为“转账操作”的查询文档与上述查询问句的匹配度最高，文档标题为“转账限额”的查询文档与该查询问句的匹配度排在第2位，文档标题为“转账时效”的查询文档与该查询问句的匹配度最低，则服务端可以按照匹配度从高到低的顺序对这三个查询文档进行排序，得到以下排序结果：1、文档标题为“转账操作”的查询文档；2、文档标题为“转账限额”的查询文档；3、文档标题为“转账时效”的查询文档。在这种情况下，服务端在将这三个查询文档展示在上述查询界面中时，可以将该排序结果中序号为1的查询文档显示在最上方，将该排序结果中序号为2的查询文档显示在中间，将该排序结果中序号为3的查询文档显示在最下方。
请参考图2，图2是一种BERT模型的示意图。
在实际应用中，针对一个查询问句，以及与该查询问句对应的一个查询文档，可以基于该查询问句和该查询文档，构建一个输入向量。
具体地，可以对该查询问句和该查询文档进行单词化拆分，以将该查询问句和该查询文档拆分为多个单词(token)，并一方面在拆分得到的所有单词之前添加CLS标志位，作为代表该查询问句和该查询文档的整体语义的标识，另一方面分别在从该查询问句拆分得到的所有单词之后，以及在从该查询文档拆分得到的所有单词之后添加SEP标志位，作为分隔标识，形成一个输入向量。
在构建了上述输入向量之后，可以对该输入向量中的从上述查询问句和上述查询文档中拆分得到的各个单词、CLS标志位和SEP标志位进行向量化处理，以得到分别与各个单词、CLS标志位和SEP标志位对应的表示向量。
在实际应用中，针对从上述查询问句和上述查询文档中拆分得到的任意一个单词，或者上述CLS标志位、上述SEP标志位，可以通过对该单词或该标志位进行词嵌入(tokenembedding)处理、句子嵌入(segment embedding)和位置嵌入(position embedding)，得到与该单词或该标志位对应的表示向量。
具体地，以从该查询问句和该查询文档中拆分得到的任意一个单词为例，一方面可以对该单词进行token embedding，得到与该单词对应的第一表示子向量，另一方面可以对该单词在该输入向量中所属的句子(SEP标志位用于分隔不同的句子)进行segmentembedding，得到与该单词对应的第二表示子向量，再一方面可以对该单词在该输入向量中的位置进行position embedding，得到与该单词对应的第三表示子向量；后续，可以将该第一表示子向量、该第二表示子向量和该第三表示子向量相加，并将相加得到的向量确定为与该单词对应的表示向量。
需要说明的是，与从上述查询问句和上述查询文档中拆分得到的各个单词对应的表示向量、与上述CLS标志位对应的表示向量，以及与上述SEP标志位对应表示向量的特征维度的数量通常都是相等的。
在得到了分别与上述输入向量中的从上述查询问句和上述查询文档中拆分得到的各个单词、CLS标志位和SEP标志位对应的表示向量之后，可以基于这些表示向量构建输入矩阵。
如图2所示，可以对与从上述查询问句和上述查询文档中拆分得到的各个单词对应的表示向量、与上述CLS标志位对应的表示向量，以及与上述SEP标志位对应表示向量进行排列，并将最终形成的矩阵确定为输入向量。
在实际应用中，可以分别将各个表示向量作为矩阵的行向量进行排列。举例来说，假设用户输入的查询问句为Q，与该查询问句对应的一个查询文档为T1；进一步假设可以将查询问句Q拆分为q1、q2这两个单词，并计算得到分别与这两个单词对应的表示向量为
将查询文档T1拆分为t11、t12这两个单词，并计算得到分别与这两个单词对应的表示向量为
在这种情况下，可以分别将这四个表示向量、与CLS标志位对应的表示向量(用
表示)和与SEP标志位对应的表示向量(用
表示)作为矩阵的行向量进行排列，最终形成的输入矩阵为
其中，该输入矩阵的行数为7，该输入矩阵的列数即为各个表示向量的特征维度的数量。
在构建了上述输入矩阵之后，可以将构建的该输入矩阵输入至BERT模型进行编码处理，得到与该输入矩阵对应的编码矩阵。
需要说明的是，对于与输入矩阵对应的编码矩阵而言，该编码矩阵中的某个位置上的向量即为与该输入矩阵中的相同位置上的向量对应的编码向量(可以视为语义向量)。
继续以上述举例为例，假设通过对上述输入矩阵进行编码处理，得到的编码矩阵为
则可以将
视为与CLS标志位对应的语义向量，将
视为与单词q1对应的语义向量，将
视为与单词q2对应的语义向量，以此类推。
由于上述CLS标志位可以作为代表上述查询问句和上述查询文档的整体语义的标识，因此与CLS标志位对应的语义向量可以指示该查询文档与该查询问句的匹配度。在这种情况下，在得到了与CLS标志位对应的语义向量之后，可以将该语义向量映射为数值，并将该数值作为该查询文档对应于该查询问句的匹配度评分，例如：可以基于由技术人员预先设置的评分函数，将该语义向量作为该评分函数中的自变量，计算对应的因变量，并将计算得到的因变量的数值作为该查询文档对应于该查询问句的匹配度评分。
相关技术中，如果查找到N个与用户输入的查询问句对应的查询文档，则需要分别计算这N个查询文档对应于该查询问句的匹配度评分，即针对这N个查询文档中的任意一个查询文档，都需要基于该查询问句和该查询文档，构建输入向量，并将构建的该输入向量输入至BERT模型进行计算，以得到与该输入向量中代表该查询问句和该查询文档的整体语义的CLS标志位对应的语义向量，再将得到的该语义向量映射为该查询文档对应于该查询问句的匹配度评分；后续，可以进一步按照计算得到的匹配度评分对这N个查询文档进行排序。
本说明书旨在提供一种基于BERT(Bidirectional Encoder Representationfrom Transformers)模型和训练完成的排序学习(Learning to Rank，LTR)模型，针对用户输入的查询问句(Query)和与该查询问句对应的多个查询文档(Document)，通过一次性计算得到各个查询文档对应于该查询问句的匹配度评分，并输出按照该匹配度评分进行排序得到的排序结果的技术方案。
在具体实现时，为了实现对查询文档的排序，从而便于向用户输出所需的查询文档，首先可以获取用户输入的查询问句，以及与该查询问句对应的多个查询文档。
在获取到用户输入的查询问句，以及与该查询问句对应的多个查询文档之后，可以基于该查询问句和这多个查询文档，构建一个输入向量；其中，该输入向量中与各个查询文档对应的位置上被分别添加了代表该查询文档的语义的预设标识。
在基于用户输入的查询问句，以及与该查询问句对应的多个查询文档构建了上述输入向量之后，可以将该输入向量输入至BERT模型进行语义表示计算。
在获取到了与用户输入的查询问句对应的多个查询文档的语义向量之后，可以将获取到的这多个语义向量输入至训练完成的排序学习模型，由该排序学习模型将这多个语义向量中的各个语义向量映射为各个查询文档对应于该查询问句的匹配度评分，并输出按照计算得到的匹配度评分进行排序的排序结果。
在上述技术方案中，针对用户输入的查询问句和与该查询问句对应的多个查询文档，可以由BERT模型同时计算得到分别与这多个查询文档对应的语义表示向量，并将这多个语义向量输入至排序学习模型，由该排序学习模型计算得到这多个查询文档分别对应于该查询问句的匹配度评分，并输出按照该匹配度评分进行排序得到的排序结果。采用这样的方式，由于可以通过一次性计算得到多个查询文档分别对应于相应的查询问句的匹配度评分，并直接输出按照该匹配度评分进行排序得到的排序结果，因此与相关技术中需要先通过多次计算，分别计算得到这多个查询文档对应于该查询问句的匹配度评分，再根据该匹配度评分对这多个查询文档进行排序的方式相比，可以简化查询文档的排序步骤，提高查询文档的排序效率，从而可以更快速地为用户提供信息查询服务，提升用户体验。
请参考图3，图3是本说明书一示例性实施例示出的一种查询文档排序系统的示意图。请结合图3，参考图4，图4是本说明书一示例性实施例示出的一种查询文档排序方法的流程图。该查询文档排序方法可以应用于上述提供信息查询服务的服务端，该服务端可以部署在电子设备上，该电子设备具体可以是服务器或计算机等，本说明书对此不作限制。如图4所示，该查询文档排序方法可以包括以下步骤：
步骤402，基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
步骤404，将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
步骤406，将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
在本实施例中，为了实现对查询文档的排序，从而便于向用户输出所需的查询文档，首先可以获取用户输入的查询问句，以及与该查询问句对应的多个查询文档。
在示出的一个实施方式中，在获取到用户输入的查询问句之后，可以先从该查询问句中提取出至少一个关键词，再获取包含这些关键词中的任意一个关键词的多个查询文档，作为与该查询问句对应的多个查询文档。
具体地，可以在存储了查询文档的数据库中，查找文档标题中包含上述任意一个关键词的多个查询文档，并将查找到的这多个查询文档作为与上述查询问句对应的多个查询文档。
举例来说，数据库中存储的查询文档可以如下表1所示：
| 文档标题 | 文档内容 |
| 转账操作 | …… |
| 转账限额 | …… |
| 转账时效 | …… |
| …… | …… |
表1
假设用户输入的查询问句为“怎么转账”，则可以从该查询问句中提取出“转账”作为关键词，从而可以在上述数据库中查找到标题为“转账操作”、“转账限额”和“转账时效”的三个查询文档，并将这三个查询文档作为与该查询问句对应的多个查询文档。
在本实施例中，在获取到用户输入的查询问句，以及与该查询问句对应的多个查询文档之后，可以基于该查询问句和这多个查询文档，构建一个输入向量；其中，该输入向量中与各个查询文档对应的位置上被分别添加了代表该查询文档的语义的预设标识。
具体地，可以对该查询问句和这多个查询文档进行单词化拆分，以将该查询问句和这多个查询文档拆分为多个单词(token)，并一方面在拆分得到的所有单词之前添加CLS标志位，作为代表该查询问句和这多个查询文档的整体语义的标识，另一方面分别在从该查询问句拆分得到的所有单词之后，以及在从所有查询文档拆分得到的所有单词之后添加SEP标志位，作为分隔标识，再一方面分别在从各个查询文档拆分得到的所有单词之前添加代表该查询文档的语义的预设标识(用RANK标志位表示)，形成一个输入向量。
需要说明的是，在对多个查询文档按照与查询问句的匹配度进行排序时，针对其中的某个查询文档添加的RANK标志位，可以代表该查询问句和该查询文档的整体的语义。
在实际应用中，可以分别在从各个查询文档拆分得到的所有单词之前添加RANK标志位，作为代表该查询文档的语义的预设标识，即此时与各个查询文档对应的位置为该查询文档的前一位；也可以分别在从各个查询文档拆分得到的所有单词之后添加RANK标志位，作为代表该查询文档的语义的预设标识，即此时与各个查询文档对应的位置为该查询文档的后一位；本说明书对代表各个查询文档的语义的预设标识的具体位置不作限制。
在本实施例中，在基于用户输入的查询问句，以及与该查询问句对应的多个查询文档构建了上述输入向量之后，可以将该输入向量输入至BERT模型进行语义表示计算。
由于上述RANK标志位可以作为代表上述查询文档的语义的标识，因此与该RANK标志位对应的语义向量可以指示该查询文档与上述查询问句的匹配度。在这种情况下，针对与该查询问句对应的多个查询文档中的任意一个查询文档，可以获取上述BERT模型输出的与上述输入向量中代表该查询文档的语义的RANK标志位对应的语义向量，作为与该查询文档对应的语义向量，并基于该语义向量计算该查询文档对应于该查询问句的匹配度评分。
具体地，可以对该输入向量中的从该查询问句和这多个查询文档中拆分得到的各个单词、RANK标志位、CLS标志位和SEP标志位进行向量化处理，以得到分别与各个单词、RANK标志位、CLS标志位和SEP标志位对应的表示向量。
在实际应用中，针对从上述查询问句和与该查询问句对应的多个查询文档中拆分得到的任意一个单词，或者上述RANK标志位、上述CLS标志位、上述SEP标志位，可以通过对该单词或该标志位进行词嵌入(token embedding)处理、句子嵌入(segment embedding)和位置嵌入(position embedding)，得到与该单词或该标志位对应的表示向量。
需要说明的是，与从上述查询问句和与该查询问句对应的多个查询文档中拆分得到的各个单词对应的表示向量、与上述RANK标志位对应的表示向量、与上述CLS标志位对应的表示向量，以及与上述SEP标志位对应表示向量的特征维度的数量通常都是相等的。
在得到了分别与上述输入向量中的从上述查询问句和与该查询问句对应的多个查询文档中拆分得到的各个单词、RANK标志位、CLS标志位和SEP标志位对应的表示向量之后，可以基于这些表示向量构建输入矩阵。
如图3所示，可以对与从上述查询问句和与该查询问句对应的多个查询文档中拆分得到的各个单词对应的表示向量、与上述RANK标志位对应的表示向量、与上述CLS标志位对应的表示向量，以及与上述SEP标志位对应表示向量进行排列，并将最终形成的矩阵确定为输入矩阵。
在实际应用中，可以分别将各个表示向量作为矩阵的行向量进行排列。举例来说，假设用户输入的查询问句为Q，与该查询问句对应的两个查询文档分别为T1和T2；进一步假设可以将查询问句Q拆分为q1、q2这两个单词，并计算得到分别与这两个单词对应的表示向量为
将查询文档T1拆分为t11、t12这两个单词，并计算得到分别与这两个单词对应的表示向量为
将查询文档T2拆分为t21、t22、t23这三个单词，并计算得到分别与这三个单词对应的表示向量为
在这种情况下，可以将这七个表示向量、与查询文档T1对应的RANK1标志位的表示向量(用
表示)和与查询文档T2对应的RANK2标志位的表示向量(用
表示)、与CLS标志位对应的表示向量(用
表示)和与SEP标志位对应的表示向量(用
表示)作为矩阵的行向量进行排列，最终形成的输入矩阵为
其中，该输入矩阵的行数为12，该输入矩阵的列数即为各个表示向量的特征维度的数量。
在构建了上述输入矩阵之后，可以将构建的该输入矩阵输入至BERT模型进行编码处理，得到与该输入矩阵对应的编码矩阵。
需要说明的是，对于与输入矩阵对应的编码矩阵而言，该编码矩阵中的某个位置上的向量即为与该输入矩阵中的相同位置上的向量对应的编码向量(可以视为语义向量)。
继续以上述举例为例，假设通过对上述输入矩阵进行编码处理，得到的编码矩阵为
则可以将
视为与CLS标志位对应的语义向量，将
视为与RANK1标志位对应的语义向量，将
视为与RANK2标志位对应的语义向量，以此类推。
也即，可以将
作为与查询文档T1对应的语义向量，并基于该语义向量计算查询文档T1对应于查询问句Q的匹配度评分，将
作为与查询文档T2对应的语义向量，并基于该语义向量计算查询文档T2对应于查询问句Q的匹配度评分。
在本实施例中，在获取到了与用户输入的查询问句对应的多个查询文档的语义向量之后，可以将获取到的这多个语义向量输入至训练完成的排序学习模型(Learning toRank，LTR)，由该排序学习模型将这多个语义向量中的各个语义向量映射为各个查询文档对应于该查询问句的匹配度评分，并输出按照计算得到的匹配度评分进行排序的排序结果。
需要说明的是，上述排序学习模型具体可以是基于文档列表方法(ListWiseApproach)的排序学习模型。
在实际应用中，上述排序学习模型可以是由一层神经网络输出层构成的机器学习模型，也可以是由多层神经网络输出层构成的机器学习模型；本说明书对该排序学习模型的具体架构不作限制。
在示出的一种实施方式中，上述排序学习模型在计算得到与用户输入的查询问句对应的多个查询文档分别对应于该查询问句的匹配度评分之后，可以基于计算得到的这多个匹配度评分，按照匹配度评分从大到小的顺序对这多个查询文档进行排序，得到相应的排序结果，并输出该排序结果。
举例来说，假设与查询问句Q对应的四个查询文档分别为查询文档T1、查询文档T2、查询文档T3和查询文档T4；进一步假设通过该排序学习模型的评分函数的计算，将与查询文档T1对应的语义向量映射为匹配度评分1，将与查询文档T2对应的语义向量映射为匹配度评分2，将与查询文档T3对应的语义向量映射为匹配度评分3，将与查询文档T4对应的语义向量映射为匹配度评分4，且匹配度评分2>匹配度评分3>匹配度评分1>匹配度评分4，则该排序学习模型可以输出如下表2所示的排序结果：
| 查询文档T2 | 1 | 匹配度评分2 |
| 查询文档T3 | 2 | 匹配度评分3 |
| 查询文档T1 | 3 | 匹配度评分1 |
| 查询文档T4 | 4 | 匹配度评分4 |
表2
请参考图5，图5是本说明书一示例性实施例示出的另一种查询文档排序方法的流程图。
针对上述排序学习模型，如图5所示，可以采用以下步骤实现对该排序学习模型的训练：
步骤502，获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
步骤504，基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
在本实施例中，为了对上述排序学习模型进行训练，首先可以获取预设数量的训练样本；其中，这些训练样本可以包括查询问句和与该查询问句对应的多个查询文档，且这多个查询文档被分别标注了指示与该查询问句的匹配度排序的标签。
具体地，针对任意一个训练样本，可以按照与该训练样本中的查询问句的匹配度从高到低的顺序，对该训练样本中的各个查询文档进行排序，并为各个查询文档标注由匹配度排序得到的序号。
举例来说，一个训练样本可以如下表3所示：
表3
在如上表3所示的训练样本中，与查询问句Q对应的四个查询文档分别为查询文档T1、查询文档T2、查询文档T3和查询文档T4；其中，查询文档T2与查询问句Q的匹配度最高，查询文档T3与查询问句Q的匹配度排在第2位，查询文档T1与查询问句Q的匹配度排在第3位，查询文档T4与查询问句Q的匹配度最低。
在本实施例中，在获取到上述训练样本之后，可以基于这些训练样本，按照预设的优化目标对上述排序学习模型的评分函数进行有监督的训练；其中，该优化目标可以包括：针对任意一个训练样本，该训练样本中与查询问句的匹配度最高的查询文档对应于该查询问句的匹配度评分最大。
具体地，可以基于其中各个查询文档被分别标注了由匹配度排序得到的序号的训练样本，对该排序学习模型的评分函数进行有监督的训练，从而使由该排序学习模型的评分函数针对任意一个训练样本，计算得到的该训练样本中的序号最小的查询文档对应于该训练样本中的查询问句的匹配度评分最大。
继续以上述举例为例，在对该排序学习模型的评分函数进行有监督的训练之后，针对如图3所示的训练样本，由该排序学习模型的评分函数计算得到的查询文档T2对应于查询问句Q的匹配度评分最大。
在实际应用中，为了实现按照上述优化目标对上述排序学习模型的评分函数进行有监督的训练，可以在基于上述训练样本对该排序学习模型的评分函数进行有监督的训练时，通过判断与该排序学习模型的评分函数对应的损失函数是否收敛，确定该排序学习模型的评分函数是否达到该优化目标，即确定该排序学习模型的评分函数是否训练完成。如果该损失函数收敛，则可以确定该排序学习模型的评分函数训练完成；如果该损失函数不收敛，则可以确定该排序学习模型的评分函数未训练完成，从而可以继续对该排序学习模型的评分函数进行有监督的训练。
具体地，与该排序学习模型的评分函数对应的损失函数可以包括：
其中，L为该损失函数的数值，
为该训练样本中与该训练样本中的查询问句的匹配度最高的查询文档对应于该查询问句的匹配度评分，si为该训练样本中与该训练样本中的查询问句的匹配度排在第i位的查询文档对应于该查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益(Normalized Discounted Cumulative Gain)和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
需要说明的是，λ可以由技术人员根据实际需求预先设置，通常可以被设置为大于0且小于
的一个数值。在这种情况下，如果
大于任意一个si，则由于
始终为0，因此L也为0，即此时的L最小；如果
小于某个si，则由于
大于0，因此L也大于0，此外，大于
的si越多，L越大。也即，可以通过调整上述排序学习模型的评分函数的参数，在L最小时确定上述损失函数收敛，从而确定该排序模型的评分函数训练完成。
在上述技术方案中，针对用户输入的查询问句和与该查询问句对应的多个查询文档，可以由BERT模型同时计算得到分别与这多个查询文档对应的语义表示向量，并将这多个语义向量输入至排序学习模型，由该排序学习模型计算得到这多个查询文档分别对应于该查询问句的匹配度评分，并输出按照该匹配度评分进行排序得到的排序结果。采用这样的方式，由于可以通过一次性计算得到多个查询文档分别对应于相应的查询问句的匹配度评分，并直接输出按照该匹配度评分进行排序得到的排序结果，因此与相关技术中需要先通过多次计算，分别计算得到这多个查询文档对应于该查询问句的匹配度评分，再根据该匹配度评分对这多个查询文档进行排序的方式相比，可以简化查询文档的排序步骤，提高查询文档的排序效率，从而可以更快速地为用户提供信息查询服务，提升用户体验。
与前述查询文档排序方法的实施例相对应，本说明书还提供了查询文档排序装置的实施例。
本说明书查询文档排序装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本说明书查询文档排序装置所在电子设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该查询文档排序的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图7，图7是本说明书一示例性实施例示出的一种查询文档排序装置的框图。该查询文档排序装置70可以应用于图6所示的电子设备，包括：
构建模块701，基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
计算模块702，将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
排序模块703，将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
在本实施例中，所述排序学习模型为基于文档列表方法的排序学习模型。
在本实施例中，所述装置70还包括：
第一获取模块704，获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
训练模块705，基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
在本实施例中，所述训练模块705：
基于所述训练样本，对所述排序学习模型的评分函数进行有监督的训练，以使与所述评分函数对应的损失函数收敛；
其中，所述损失函数包括：
L为所述损失函数的数值，
为所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分，si为所述训练样本中与所述查询问句的匹配度排在第i位的查询文档对应于所述查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
在本实施例中，所述装置70还包括：
提取模块706，从所述查询问句中提取出至少一个关键词；
第二获取模块707，获取包含任一所述关键词的多个查询文档，作为与所述查询问句对应的多个查询文档。
在本实施例中，所述排序模块703：
按照所述匹配度评分从大到小的顺序对所述多个查询文档进行排序，并输出排序后的所述多个查询文档。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (14)
1.一种查询文档排序方法，所述方法包括：
基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
2.根据权利要求1所述的方法，所述排序学习模型为基于文档列表方法的排序学习模型。
3.根据权利要求1所述的方法，所述方法还包括：
获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
4.根据权利要求3所述的方法，所述基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练，包括：
基于所述训练样本，对所述排序学习模型的评分函数进行有监督的训练，以使与所述评分函数对应的损失函数收敛；
其中，所述损失函数包括：
L为所述损失函数的数值，
为所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分，si为所述训练样本中与所述查询问句的匹配度排在第i位的查询文档对应于所述查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
5.根据权利要求1所述的方法，所述方法还包括：
从所述查询问句中提取出至少一个关键词；
获取包含任一所述关键词的多个查询文档，作为与所述查询问句对应的多个查询文档。
6.根据权利要求1所述的方法，所述输出按照所述匹配度评分进行排序的排序结果，包括：
按照所述匹配度评分从大到小的顺序对所述多个查询文档进行排序，并输出排序后的所述多个查询文档。
7.一种查询文档排序装置，所述装置包括：
构建模块，基于用户输入的查询问句和与所述查询问句对应的多个查询文档，构建输入向量；其中，所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识；
计算模块，将所述输入向量输入至BERT模型进行语义表示计算，并获取所述BERT模型输出的与各个预设标识对应的语义向量；
排序模块，将与各个预设标识对应的语义向量输入至训练完成的排序学习模型，计算与各个语义向量对应的匹配度评分，并输出按照所述匹配度评分进行排序的排序结果。
8.根据权利要求7所述的装置，所述排序学习模型为基于文档列表方法的排序学习模型。
9.根据权利要求7所述的装置，所述装置还包括：
第一获取模块，获取预设数量的训练样本；其中，所述训练样本包括查询问句和与所述查询问句对应的多个查询文档，所述多个查询文档被分别标注了指示查询文档与查询问句的匹配度排序的标签；
训练模块，基于所述训练样本，按照预设的优化目标对所述排序学习模型的评分函数进行有监督的训练；其中，所述优化目标包括所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分最大。
10.根据权利要求9所述的装置，所述训练模块：
基于所述训练样本，对所述排序学习模型的评分函数进行有监督的训练，以使与所述评分函数对应的损失函数收敛；
其中，所述损失函数包括：
L为所述损失函数的数值，
为所述训练样本中与查询问句的匹配度最高的查询文档对应于查询问句的匹配度评分，si为所述训练样本中与所述查询问句的匹配度排在第i位的查询文档对应于所述查询问句的匹配度评分，ΔNDCG为与
对应的归一化折损累计增益和与si对应的归一化折损累计增益的差值，λ为预设常量的数值。
11.根据权利要求7所述的装置，所述装置还包括：
提取模块，从所述查询问句中提取出至少一个关键词；
第二获取模块，获取包含任一所述关键词的多个查询文档，作为与所述查询问句对应的多个查询文档。
12.根据权利要求7所述的装置，所述排序模块：
按照所述匹配度评分从大到小的顺序对所述多个查询文档进行排序，并输出排序后的所述多个查询文档。
13.一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011365079.XA CN112364146A (zh) | 2020-11-27 | 2020-11-27 | 查询文档排序方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011365079.XA CN112364146A (zh) | 2020-11-27 | 2020-11-27 | 查询文档排序方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364146A true CN112364146A (zh) | 2021-02-12 |
Family
ID=74535533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011365079.XA Pending CN112364146A (zh) | 2020-11-27 | 2020-11-27 | 查询文档排序方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364146A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016076208A (ja) * | 2014-10-06 | 2016-05-12 | 富士通株式会社 | 文書ランク付け装置、方法、及びコンピュータプログラム |
| CN107491547A (zh) * | 2017-08-28 | 2017-12-19 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法和装置 |
| CN110309267A (zh) * | 2019-07-08 | 2019-10-08 | 哈尔滨工业大学 | 基于预训练模型的语义检索方法和系统 |
| CN110516145A (zh) * | 2019-07-10 | 2019-11-29 | 中国人民解放军国防科技大学 | 一种基于句向量编码的信息搜索方法 |
| US20200005149A1 (en) * | 2018-06-28 | 2020-01-02 | Microsoft Technology Licensing, Llc | Applying learning-to-rank for search |
| CN110688452A (zh) * | 2019-08-23 | 2020-01-14 | 重庆兆光科技股份有限公司 | 一种文本语义相似度评估方法、系统、介质和设备 |
| CN110879834A (zh) * | 2019-11-27 | 2020-03-13 | 福州大学 | 一种基于循环卷积网络的观点检索系统及其观点检索方法 |
| CN110990533A (zh) * | 2019-11-29 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 确定查询文本所对应标准文本的方法及装置 |
| CN111177366A (zh) * | 2019-12-30 | 2020-05-19 | 北京航空航天大学 | 一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统 |
-
2020
- 2020-11-27 CN CN202011365079.XA patent/CN112364146A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016076208A (ja) * | 2014-10-06 | 2016-05-12 | 富士通株式会社 | 文書ランク付け装置、方法、及びコンピュータプログラム |
| CN107491547A (zh) * | 2017-08-28 | 2017-12-19 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法和装置 |
| US20200005149A1 (en) * | 2018-06-28 | 2020-01-02 | Microsoft Technology Licensing, Llc | Applying learning-to-rank for search |
| CN110309267A (zh) * | 2019-07-08 | 2019-10-08 | 哈尔滨工业大学 | 基于预训练模型的语义检索方法和系统 |
| CN110516145A (zh) * | 2019-07-10 | 2019-11-29 | 中国人民解放军国防科技大学 | 一种基于句向量编码的信息搜索方法 |
| CN110688452A (zh) * | 2019-08-23 | 2020-01-14 | 重庆兆光科技股份有限公司 | 一种文本语义相似度评估方法、系统、介质和设备 |
| CN110879834A (zh) * | 2019-11-27 | 2020-03-13 | 福州大学 | 一种基于循环卷积网络的观点检索系统及其观点检索方法 |
| CN110990533A (zh) * | 2019-11-29 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 确定查询文本所对应标准文本的方法及装置 |
| CN111177366A (zh) * | 2019-12-30 | 2020-05-19 | 北京航空航天大学 | 一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统 |
Non-Patent Citations (3)
| Title |
|---|
| YAN PAN, HAI-XIA LUO, YONG TANG, CHANG-QIN HUANG: "Learning to rank with document ranks and scores", SCIENCEDIRECT, 19 December 2010 (2010-12-19), pages 1 - 5 * |
| 张芳芳;曹兴超;: "基于字面和语义相关性匹配的智能篇章排序", 山东大学学报(理学版), no. 03, 7 March 2018 (2018-03-07) * |
| 王黎;帅建梅;: "文本搜索排序中构造训练集的一种方法", 计算机系统应用, no. 10, 15 October 2010 (2010-10-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111159363A (zh) | 一种基于知识库的问题答案确定方法及装置 | |
| CN110019669B (zh) | 一种文本检索方法及装置 | |
| CN111125086B (zh) | 获取数据资源的方法、装置、存储介质及处理器 | |
| CN110737756B (zh) | 确定针对用户输入数据的应答的方法、装置、设备和介质 | |
| US11263400B2 (en) | Identifying entity attribute relations | |
| CN108875065B (zh) | 一种基于内容的印尼新闻网页推荐方法 | |
| WO2021190662A1 (zh) | 医学文献排序方法、装置、电子设备及存储介质 | |
| JP2014197300A (ja) | テキスト情報処理装置、テキスト情報処理方法、及びテキスト情報処理プログラム | |
| CN113342958A (zh) | 问答匹配方法、文本匹配模型的训练方法和相关设备 | |
| CN113076758B (zh) | 一种面向任务型对话的多域请求式意图识别方法 | |
| CN114328800A (zh) | 文本处理方法、装置、电子设备和计算机可读存储介质 | |
| CN111460808B (zh) | 同义文本识别及内容推荐方法、装置及电子设备 | |
| CN117435685A (zh) | 文档检索方法、装置、计算机设备、存储介质和产品 | |
| CN109902162B (zh) | 基于数字指纹的文本相似性的识别方法、存储介质及装置 | |
| CN111368081A (zh) | 一种精选文本内容确定方法和系统 | |
| JP6260678B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| CN112395405B (zh) | 查询文档排序方法、装置及电子设备 | |
| CN112364146A (zh) | 查询文档排序方法、装置及电子设备 | |
| CN115455152A (zh) | 写作素材的推荐方法、装置、电子设备及存储介质 | |
| CN114595389A (zh) | 通讯录查询方法、装置、设备、存储介质和程序产品 | |
| CN110362735B (zh) | 判断陈述真实性的方法和装置、电子设备、可读介质 | |
| CN114896461A (zh) | 信息资源管理方法、装置、电子设备及可读存储介质 | |
| CN111475652B (zh) | 数据挖掘的方法和系统 | |
| Hasanuzzaman et al. | Hultech at the ntcir-11 temporalia task: Ensemble learning for temporal query intent classification | |
| Ali et al. | Identifying and Profiling User Interest over time using Social Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |