CN115510193A - 查询结果向量化方法、查询结果确定方法及相关装置 - Google Patents

查询结果向量化方法、查询结果确定方法及相关装置 Download PDF

Info

Publication number
CN115510193A
CN115510193A CN202211238044.9A CN202211238044A CN115510193A CN 115510193 A CN115510193 A CN 115510193A CN 202211238044 A CN202211238044 A CN 202211238044A CN 115510193 A CN115510193 A CN 115510193A
Authority
CN
China
Prior art keywords
vector
query
query result
vectorization
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211238044.9A
Other languages
English (en)
Other versions
CN115510193B (zh
Inventor
苏磊
韩光耀
陈禹燊
李治平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211238044.9A priority Critical patent/CN115510193B/zh
Publication of CN115510193A publication Critical patent/CN115510193A/zh
Application granted granted Critical
Publication of CN115510193B publication Critical patent/CN115510193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种查询结果向量化方法、查询结果确定方法及相关装置，涉及自然语言处理、深度学习、知识图谱等人工智能技术领域。该方法包括：获取包含文本内容和图像内容的原始查询结果；在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为图像占位符，得到替换后查询结果；将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量；根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量；根据拼接向量确定原始查询结果的向量化表示。应用该方法可以提升查询结果向量与原始查询结果的接近程度，减少向量化过程的信息损失。

Description

查询结果向量化方法、查询结果确定方法及相关装置
技术领域
本公开涉及数据处理技术领域，具体涉及自然语言处理、深度学习、知识图谱等人工智能技术领域，尤其涉及一种查询结果向量化方法和查询结果确定方法，以及配套的装置、电子设备、计算机可读存储介质、计算机程序产品。
背景技术
随着机器学习、深度学习技术的不断提升，人工智能技术逐渐被应用在各个领域，以借助人工智能服务获取查询词或查询语句对应的查询结果的场景为例，人工智能服务往往都是通过计算查询内容与查询内容或查询内容与查询结果之间的关联性来给出反馈，同时考虑到自然语言不便于被计算机识别，所以在实际的数据分析过程中往往需要将自然语言转换为便于被计算机识别的向量、矩阵等形式。
考虑到大多数场景下为了使查询结果更便于被用户理解，其除了常规的文本内容外还包含有图像内容，因此如何将同时包含有图文内容的查询结果进行准确的向量化，以使最终转换得到的查询结果向量可用于进行关联性计算，是本领域技术人员亟待解决的问题。
发明内容
本公开实施例提出了一种查询结果向量化方法和查询结果确定方法，以及配套的装置、电子设备、计算机可读存储介质、计算机程序产品。
第一方面，本公开实施例提出了一种查询结果向量化方法，包括：获取包含文本内容和图像内容的原始查询结果；在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为图像占位符，得到替换后查询结果；将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量；根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量；根据拼接向量确定原始查询结果的向量化表示。
第二方面，本公开实施例提出了一种查询结果确定方法，包括：将获取到的查询语句转换为实际查询向量；基于实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列，候选查询向量为相应候选查询语句的向量化表示，候选查询语句与相应的候选查询结果之间组成了查询结果对；基于实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在目标候选查询语句序列中的排序，得到调整后候选查询语句序列，候选查询结果向量为相应的候选查询结果按第一方面所提供的查询结果向量化方法表示为向量；基于调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
第三方面，本公开实施例提出了一种查询结果向量化装置，包括：原始查询结果获取单元，被配置成获取包含文本内容和图像内容的原始查询结果；图像内容替换单元，被配置成在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为图像占位符，得到替换后查询结果；向量转换单元，被配置成将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量；向量拼接单元，被配置成根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量；查询结果向量化单元，被配置成根据拼接向量确定原始查询结果的向量化表示。
第四方面，本公开实施例提出了一种查询结果确定装置，包括：查询语句向量转换单元，被配置成将获取到的查询语句转换为实际查询向量；目标候选查询结果序列确定单元，被配置成基于实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列，候选查询向量为相应候选查询语句的向量化表示，候选查询语句与相应的候选查询结果之间组成了查询结果对；排序调整单元，被配置成基于实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在目标候选查询语句序列中的排序，得到调整后候选查询语句序列，候选查询结果向量为相应的候选查询结果按第三方面所提供的查询结果向量化装置表示为向量；候选查询结果返回单元，被配置成基于调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面描述的查询结果向量化方法和/或第二方面描述的查询结果确定方法。
第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面描述的查询结果向量化方法和/或第二方面描述的查询结果确定方法。
第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面描述的查询结果向量化方法的步骤和/或第二方面描述的查询结果确定方法的步骤。
本公开实施例提供的查询结果向量化方案，针对同时包含文本和图像的以原始形式表示的原始查询结果，通过在保持文本内容与图像内容排布顺序不变的情况下将图像替换为占位符，从而使得转换得到的文本内容向量保留了图像内容在完整查询结果中的排布位置信息，进而在将图像内容单独转换为图像内容向量后，将该图像内容拼接在该占位符所处在的文本内容向量位置下，使得最终得到的拼接向量可以尽可能的还原文本内容和图像内容的原始排布顺序，以使转换得到的查询结果向量与原始查询结果更加接近、减少因向量化表示造成的信息损失。
在上述提供的查询结果向量化方案基础上，本公开实施例还进一步提供了查询结果确定方案，在常规的基于实际查询向量与候选查询查询语句计算相似度，并仅基于查询语句间相似度和候选查询语句与候选查询结果之间的关联性反馈查询结果的基础上，还进一步的基于实际查询向量与目标候选查询结果的候选查询结果向量之间的向量相似度，调整了各目标候选查询语句在目标候选查询语句序列中的排序，进而使得基于排序调整后的目标候选查询语句序列可以更准确的返回最接近最符合实际需求的查询结果。即在结合查询语句与查询语句的关联情况下，还结合了查询语句与查询结果之间的关联，从而借助查询语句与查询结果之间的关联提升排序准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开可以应用于其中的示例性系统架构；
图2为本公开实施例提供的一种查询结果向量化方法的流程图；
图3为本公开实施例提供的一种将查询结果向量化的流程示意图；
图4为本公开实施例提供的一种查询结果确定方法的流程图；
图5为本公开实施例提供的一种将查询语句转换为实际查询向量的方法的流程图；
图6为本公开实施例提供的一种向查询语句引入领域知识的模型结构示意图；
图7为本公开实施例提供的另一种将查询语句转换为实际查询向量的方法的流程图；
图8为本公开实施例提供的语义句向量加权聚合示意图；
图9为本公告实施例结合运维知识问答领域提供的一种运维问题处理流程示意图；
图10为本公开实施例提供的一种查询结果向量化装置的结构框图；
图11为本公开实施例提供的一种查询结果确定装置的结构框图；
图12为本公开实施例提供的一种适用于执行查询结果向量化方法和/或查询结果确定方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本公开的查询结果向量化方法、查询结果确定方法，以及配套的装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如向量化转换类应用、查询结果确定类应用、即时通讯类应用等。
终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以提供将包含图文内容的查询结果进行向量化转换服务的向量化转换类应用为例，服务器105在运行该向量化转换类应用时可实现如下效果：服务器105通过网络104从终端设备101、102、103收集到查询结果对，并将每个查询结果对中的查询语句和查询结果分别转换为向量形式；以可以提供查询结果确定类服务的查询结果确定类应用为例，服务器105可以在运行该查询结果确定类应用时可实现如下效果：服务器105通过网络104接收到终端设备101、102、103传入的查询语句，服务器105将该查询语句转换为实际查询向量，然后基于实际查询向量与问答库中候选查询向量之间的相似度，筛选出目标候选查询语句序列，接下来基于实际查询向量与目标候选查询语句序列中每个目标候选查询语句对应的候选查询结果向量之间的相似度，调整各目标候选查询语句在序列中的排序，以最终基于排序调整后的序列返回查询结果。
需要指出的是，查询结果对除可以从终端设备101、102、103通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理向量化转换任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。
由于将海量原始表现形式的数据进行向量化转换以及基于向量之间的相似度计算需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的查询结果向量化方法和/或查询结果确定方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，查询结果向量化装置和/或查询结果确定装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的向量化转换类应用和/或查询结果确定类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但向量化转换类应用和/或查询结果确定类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，查询结果向量化装置和/或查询结果确定装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2为本公开实施例提供的一种查询结果向量化方法的流程图，其中流程200包括以下步骤：
步骤201：获取包含文本内容和图像内容的原始查询结果；
本步骤旨在由查询结果向量化方法的执行主体(例如图1所示的服务器105)获取包含文本内容和图像内容的原始查询结果。即，该原始查询结果中文本内容由原始的文本形式表示、图像内容由原始的图像形式表示，且文本内容和图像内容中按照内容之间的逻辑进行有序排布，例如其中一个名为图1的图像内容，其示出的出第一段文本内容中提及的某个概念或名词，那么图1将通常排布于第一段文本的下方或最后一段文本的下方。
步骤202：在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为图像占位符，得到替换后查询结果；
在步骤201的基础上，本步骤旨在由上述执行主体在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为由文本形式表示的图像占位符(通常表现为某个特定的符号)，以使得到的替换后查询结果中仅包含文本形式的内容，但原图像内容相对于原文本内容的相对位置关系将通过该图像占位符得到记录。
之所以要将图像内容替换为图像占位符，是因为后续要将其转换为向量形式，而文本转向量与图像转向量的方式不同，不同类型的数据按照与其数据类型相匹配的向量化转换方式，才能够使原类型数据中包含的信息尽可能的避免在向量化过程中丢失或损失。因此，将图像内容替换为文本形式的图像占位符后，替换后查询结果将仅包含文本数据，因此就可以全部按照文本转向量的方式进行向量化转换。而图像内容可以单独按照图像转向量的方式进行向量化转换。
步骤203：将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量；
在步骤202的基础上，本步骤旨在由上述执行主体将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量。之所以要保证图像内容向量与文本内容向量尺寸一致，是考虑到后续步骤为了还原包含图文的原始查询结果，还需要将文本内容向量与图像内容向量按原有内容排序顺序进行拼接，若两者向量尺寸不一致，将影响拼接结果。
步骤204：根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量；
在步骤203的基础上，本步骤旨在由上述执行主体根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量。即该图像占位符用于表征图像内容相对于文本内容的相对位置关系，那么在向量化之后，图像占位符对应的第一向量与原文本内容对应的第二向量之间的相对位置关系也就可以明确，进而可用于指导将图像内容向量拼接至第一向量在文本内容向量中的位置，从而使得拼接向量对应于原始查询结果中文本与图像内容之间的原始排序顺序。
一种包括但不限于的实现方式可以为：
根据该图像占位符在该替换后查询结果中的位置，确定与该图像占位符对应的向量在该文本内容向量中的目标位置；
将该图像内容向量拼接至该文本内容向量中的目标位置，得到该拼接向量。
另外，除直接将该图像占位符对应的向量在该文本向量中的目标位置作为拼接位置外，还可以基于目标位置进行关联位置(例如左/右侧关联位置和上/下侧关联位置)或替换位置的计算，以使该图像内容向量可以通过拼接在关联位置或替换位置得到类似的效果。
步骤205：根据拼接向量确定原始查询结果的向量化表示。
在步骤204的基础上，本步骤旨在由上述执行主体根据拼接向量确定原始查询结果的向量化表示。
具体的，就如何根据拼接向量确定原始查询结果的向量化表示，可根据拼接向量的尺寸是否满足为原始查询结果的向量化表示的尺寸分为两种：
其一，若该拼接向量的尺寸大于预设尺寸，则对该拼接向量进行降维处理，得到降维至该预设尺寸的降维后向量，从而将该降维后向量作为该原始查询结果的向量化表示；
第二，若该拼接向量的尺寸等于该预设尺寸，则直接将该拼接向量作为该原始查询结果的向量化表示。
本公开实施例提供的查询结果向量化方法，针对同时包含文本和图像的以原始形式表示的原始查询结果，通过在保持文本内容与图像内容排布顺序不变的情况下将图像替换为占位符，从而使得转换得到的文本内容向量保留了图像内容在完整查询结果中的排布位置信息，进而在将图像内容单独转换为图像内容向量后，将该图像内容拼接在该占位符所处在的文本内容向量位置下，使得最终得到的拼接向量可以尽可能的还原文本内容和图像内容的原始排布顺序，以使转换得到的查询结果向量与原始查询结果更加接近、减少因向量化表示造成的信息损失。
为加深对图2所示实施例具体如何实现的理解，本公开还通过图3提供了一种具体实现的流程示意图：
首先QR(Query&Reslut，查询语句&查询结果对)的文本信息通过Text(文本)embedding(降维处理)层编码转换为稠密矩阵，并将其输入带自注意力机制的语言模型Ernie中，通过多层网络转换获取最后一层CLS(全称为CLASSIFICATION，直译为分类)隐向量，在Sigmoid(S型)激活函数作用下，将隐向量归一化到[0,1]的概率区间，区间内Score(分数/得分)值即作为衡量该Q和A关联度的指标。
在Reslut中设计[img]的Token占位符表示图像信息，经过Text embedding层会转换为固定长度的稠密向量Dt。占位符[img]所对应的真正图像数据，在50层的ResNet(残差网络)预训练模型和Linear线性变换层的作用下转换为稠密向量Di。文本的向量Dt与图像向量Di在Token粒度下拼接Dti＝Concat(Dt,Di)。文本和图像拼接向量Dti在通过Linear线性层降维生成多模态融合向量Df。在QA序列维度上的每一个Token按照上述方法做图文信息融合，构成Fusion embedding矩阵Mfl：
Mfl＝Linear(Concat(Mtl,Mil)),0<l<L，其中，L表示整个QR文本Token长度。
上述实施例提供了如何将包含图文的原始查询结果进行不存在信息损失的向量化方案，在上述方案基础上，本实施例还进一步结合查询结果确定场景，提供了一种查询结果确定方案，以便于向发起查询请求的用户返回更匹配的查询结果。请参考图4，图4为本公开实施例提供的一种查询结果确定方法的流程图，其中流程400包括以下步骤：
步骤401：将获取到的查询语句转换为实际查询向量；
本步骤旨在由查询结果确定方法的执行主体(例如图1所示的服务器105或区别于服务器105的另一服务器)将从用户处获取到的查询语句进行向量化转换，以得到实际查询向量。进行向量化转换的目标是为了便于计算机理解和进行数据处理。若查询语句中同样包含文本内容和图像内容，也可以按照图2-3所示方案完成向量化转换；若查询语句中仅包含文本或仅包含图像，则可以按照常规的文本转向量或图像转向量的方式进行转换。
步骤402：基于实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列；
其中，该候选查询向量为相应候选查询语句的向量化表示，该候选查询语句与相应的候选查询结果之间组成了查询结果对(即由查询语句与相应的查询结果构成的内容对)，知识问答库中包含有多个查询结果对。
在步骤401的基础上，本步骤旨在由上述执行主体分别计算该实际查询向量与不同候选查询向量之间的向量相似度，然后将向量相似度较高或排名靠前的预设数量的目标候选查询语句筛选出来，目标候选查询语句序列则是将这些目标候选查询语句按照向量相似度的大小排序得到的序列。其中，该预设数量通常基于知识问答库中存储的候选查询向量的总数呈正相关，同时也与实际应用场景下的数量要求有关联。
步骤403：基于实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在目标候选查询语句序列中的排序，得到调整后候选查询语句序列；
其中，该候选查询结果向量为相应的候选查询结果按上述实施例提供的查询结果向量化方法表示为向量。
在步骤402的基础上，本步骤旨在由上述执行主体分别计算实际查询向量与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，然后再根据实际查询向量与候选查询结果向量之间的向量相似度，重新调整各目标候选查询语句在原序列中的排序，进而得到按照实际查询向量与候选查询结果向量之间的向量相似度，进行排序调整后的调整后候选查询语句序列。
之所以在执行步骤402的基础上还进行了步骤403来调整排序，是因为在大多数知识问答场景下，查询结果相比于查询语句会有更高的概率包含图像内容，以通过图文并现的方式让查询结果呈现的更全面、更便于理解、更便于用户按图复现，因此相比于查询语句与查询语句之间的向量相似度，包含以其它形式呈现相同或相关内容的查询结果与查询语句之间的向量相似度明显更加可靠。
步骤404：基于调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
在步骤403的基础上，本步骤旨在由上述执行主体基于调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。例如在调整后候选查询语句序列中再选择TOP3进行其查询结果的返回。
在上述提供的查询结果向量化方案基础上，本公开实施例还进一步提供了查询结果确定方案，在常规的基于实际查询向量与候选查询向量计算相似度，并仅基于查询语句间相似度和候选查询语句与候选查询结果之间的关联性反馈查询结果的基础上，还进一步的基于实际查询向量与目标候选查询语句的候选查询结果向量之间的向量相似度，调整了各目标候选查询语句在目标候选查询语句序列中的排序，进而使得基于排序调整后的目标候选查询语句序列可以更准确的返回最接近最符合实际需求的查询结果。即在结合查询语句与查询语句的关联情况下，还结合了查询语句与查询结果之间的关联，从而借助查询语句与查询结果之间的关联提升排序准确性。
在图4所示实施例的基础上，考虑到在某些知识问答领域下，有些问题的表述差异较小、但实际上所问的问题类别差异明显；有些问题的表述差异较大，但实际上所问题的问题类别差异较小。因此为了使得问题(查询内容)在向量化转换过程中，可能尽可能的体现与其它问题的差异，本实施例还通过图5提供了一种将查询语句转换为实际查询向量的方法的流程图，其中流程500包括以下步骤：
步骤501：利用知识库或知识图谱，确定查询语句所属的类别信息；
步骤502：将类别信息与查询语句的文本组合，转换为实际查询向量。
即本实施例并非直接将原始的查询语句转换为实际查询向量，而是先利用知识库或知识图谱确定查询语句所属的类别信息，以通过所属的类别信息增大该查询语句与其它查询语句的区别程度，进而将该类别信息与该查询语句的文本组合进行向量化转换，以使最终得到的实际查询向量更能够体现与拥有相近题干的其它查询语句的区别程度。
以运维场景为例，运维场景的故障描述信息Query常以短文本为主，并且存在句子主干句法相同，导致语义向量在特征空间中距离接近，难以区分，但实际上所描述的故障差异明显。例如：
Query1:IFS_0010_SH(文件清理)批量执行失败；末行返回值:1；
Query2:PLMP_0010_SH(文件清理)批量执行失败；末行返回值:1。
又例如：
Query3:ODA交易量低于阈值80；
Query4:ODA交易量异常波动。
Query3与Query4虽然表述不同，但所传达的意图基本一致，因此也希望它们在语义空间上的向量距离越近越好。
为实现上述目的，本公开基于图5所示的核心思想，提供了一种融合领域知识的方法来丰富Query的语义，以提升模型的语义空间建模能力，解决这类Query长尾问题。
如图6所示，在对Query的语义表征中，具体通过Ernie-gram模型对每一个Token(标记)，在字向量(Token Embedding)、字类型向量(Token Type Embedding)和字位置向量(Position Embedding)三个维度上叠加。为融入领域知识，采用将运维场景下的运维故障描述信息Query的所属业务名称和Query类别拼接在该Query之前，并且通过[CTG]进行分割以区分不同的知识源。同时对于每一种知识源，设计不同的Type Embedding，让模型可以识别每种知识源，以及学习到(知识源，知识源)，(知识源，Query)之间的关系，并且能够抑制引入的知识源，在对Query建模时所产生的交叉扰动。
需要说明的是，图6所示方案具体将该所属业务名称和类别拼接在原始Query开头，相比于拼接在其它位置，在头部新增的区别内容将更有利提升不同实际查询向量之间的区别程度。
在上述实施例的基础上，为了进一步提升将查询语句转换得到实际查询向量的语义质量，本实施例还过图7提供了另一种将查询语句转换为实际查询向量的方法的流程图，其中流程700包括以下步骤：
步骤701：将查询语句作为输入数据输入预设的自然语言向量化模型；
其中，该自然语言向量化模型用于将以自然语言表示的查询语句转换为向量化表示。
步骤702：控制自然语言向量化模型的不同功能层均输出的与输入本功能层的数据对应的语义句向量；
其中，该自然语言向量化模型包含串接的多个功能层，即底层功能层的输出将作为串接的上一功能层的输入，即较底层的功能层的输出更侧重于表征词粒度、较上层的功能层的输出更侧重于表征句粒度。
步骤703：控制自然语言向量化模型分别确定不同功能层的加权权重；
在步骤702的基础上，本步骤旨在由上述执行主体或区别于上述执行主体的另一执行主体控制自然语言向量化模型分别确定不同功能层的加权权重，其中，不同功能层所各自对应的加权权重预先经有标注的训练样本在训练阶段学习得到。因此在实际应用时，该自然语言向量化模型可以实时根据输入的查询语句确定出与之匹配的不同功能层的加权权重。
即导致不同查询语句在不同功能层加权权重不固定的原因，通常是因为问题所属领域、表述习惯、语料复杂度等特性导致。
步骤704：控制自然语言向量化模型基于相应功能层的加权权重对相应功能层的语义句向量进行加权计算，并将不同功能层的加权计算结果聚合为目标语义句向量；
在步骤703的基础上，本步骤旨在由上述执行主体控制自然语言向量化模型基于相应功能层的加权权重对相应功能层的语义句向量进行加权计算，从而将不同功能层的加权计算结果聚合为目标语义句向量。
步骤705：将自然语言向量化模型输出的目标语义句向量作为与查询语句对应的实际查询向量。
在步骤704的基础上，本步骤旨在由上述执行主体将自然语言向量化模型输出的目标语义句向量作为与查询语句对应的实际查询向量。
即本实施例所提供的技术方案通过将各功能层所输出语义句向量以合适权重进行加权、聚合的方式，使得聚合后的目标语义句向量替代原先方案中最后一层功能层侧重于句子粒度的语义句向量，得以尽可能的减少因忽视低层信息所造成的语义信息损失和偏差，提升了所表示出的语义句向量的准确性。
为便于加深对图7所示实施例的具体实现过程的理解，本公开还通过图8示出了一种具体的实现原理示意图：
该例子中，具体选用了Ernie-gram预训练模型，具体针对金融运维故障领域，以结合CLS Header向量头的方式实现高质量语义句向量的构建。
其中，所使用的Ernie-gram的预训练语言模型，其与传统预训练模型的区别在于融合了细粒度Token和粗粒度n-gram实体的建模。相比连续Mask掩码的方式，粗粒度的n-gram实体具有更加准确的语义单元。同时，细粒度的Token又会对n-gram内部进行建模。从而增强了对文本语义信息的学习。
另一方面，设计实现Mean均值聚合句语义向量头CLS Header(如图8所示)。在向量训练阶段，通过Query语料学习每一层CLS_Vec向量的权重W_layer；在向量生成阶段，使用W_layer加权均值所有Ernie层的CLS_Vec向量作为输出的语义向量CLS_Mean(计算公式如下)，替代最后一层的CLS_Vec句向量。低层CLS_Vec句向量侧重于词粒度的向量表征，高层CLS_Vec句向量侧重于句粒度的语义特征，全部层CLS_Vec抽取并均值融合词和句的向量特征，可以进一步提高文本语义质量，为后续进行问题向量与问题向量之间的向量检索效果提供基础保障。
Figure BDA0003882392880000151
为加深理解，本公开还结合一个具体应用场景，基于图9给出了一套完整的实现方案，主要包含四个功能模块：
1、运维知识库构建模块：知识库模块负责从txt/doc/excel/pdf等多源文本文件中，通过人工梳理、规则策略以及模型等方式梳理挖掘故障及其对应解决方案的知识对，落入MySQL数据库中。并对运维故障描述完成向量化和关联数据库。
2、故障描述向量化模块：基于Ernie-gram预训练模型，并融合领域相关知识，对运维故障描述离线与在线向量化表征。并通过Siamese孪生双塔模型，在运维故障数据下继续微调Ernie-gram模型，提高故障文本语义的理解和向量表征的质量(此部分请参见上述对图8部分的展开描述，此处不再重复展开)。
3、向量计算引擎模块：向量引擎模块同样分为在线和离线模式。离线负责批量构建故障知识向量索引库，在线则实时计算请求故障文本与离线向量索引库的相似度，召回用于排序推荐的候选故障向量集合。
4、召回排序模块：召回的候选向量集从关联的数据库中获取QA-Pairs召回集。通过多模排序模型(Multimodal Rank Model)对QA-Pairs召回集的Answer进行打分排序，推荐出分数最高的Answer返回。
以下分别对部分功能模块进行详细的展开说明：
1、运维知识库模块
1.构建运维知识库数据表。运维知识库是从非结构化的业务文档中梳理挖掘出的运维故障描述与其对应解决方案的QR-Pairs问答对。问答对QR-Pairs集合存储在MySQL数据表中，单条形如：
(id,Query,Reslut)->(1,“Pb479服务BUSY长时间不恢复”,“Pb479的pq深度超限，引起服务夯死，故需及时关闭Pb479服务tmshutdown-s Pb479-w 1”)。
2.故障描述离线编码。故障描述Query作为一条文本通过Ernie-gram模型离线批量将句文本编码成768维固定维度的语义向量集合Query_embeddings。编码模块实现(id,Query,Reslut)->(id,Query,Answer,Query_embedding)的映射绑定；
3.编码加入向量计算引擎。编码集Query_embeddings与ids绑定加入向量计算引擎，参见(3)向量引擎计算模块，完成离线向量化知识库的构建；
4.数据表与向量引擎关联映射。MySQL数据表存储原始QR-Pairs对集合，向量引擎存储Query语义向量Query_embeddings集合。Query_embedding与QR-Pairs通过唯一id号进行关联。
2、向量计算引擎模块
在离线阶段：
1)创建。创建基于K-means的IndexIVFFlat加速索引对全量数据进行无监督聚类，创建量化器IndexFlatL2对类内向量计算相似度距离；
2)训练。对全量异常故障的向量数据进行K-means无监督聚类训练，得到聚类后的数据；
3)添加。以带id的方式添加聚类后的数据到IndexIVFFlat索引对象中，id用来关联索引向量与数据库故障文本及其对应解决方案的QA-Pairs；
4)序列化。IndexIVFFlat故障向量索引库离线序列化。
在在线阶段：
1)初始化。Faiss初始化加载离线故障向量索引库；
2)向量召回。Faiss向量计算引擎从离线故障向量索引库计算召回与故障文本向量相近的TopK条向量子集，子集包含相似度分数Scores和向量Ids集合；
3)Id回溯。根据向量召回的Ids集合，在MySQL数据库中回溯召回QR-Pairs问答对集合。
即利用基于聚类算法的索引式向量计算引擎，计算实际查询向量分别与知识问答库中不同的候选查询结果向量之间的向量相似度。
3、召回排序模块
多模精排模型(Multimodal Rank Model)。基于Query语义向量召回具有高召回率，相对低准确率的特点。需要对召回的QR-Pairs集合做精细排序，推荐出最优的解决方案Result。同时，在召回阶段仅使用了Query信息，而解决方案Resultr中包含更加丰富的图文信息，对于这些信息加以融合使用，可以提升推荐的准确度和用户体验。因此，设计一种多模态排序模型，对多源信息加以充分融合学习(具体展开部分请参见图3对应实施例，此处不再重复展开)。
进一步参考图10和图11，分别作为对上述各图所示方法的装置实现，本公开提供了一种查询结果向量化装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，本公开还提供了一种查询结果确定装置的一个实施例，该装置实施例与图4所示的方法实施例向对应，这些装置具体可以应用于各种电子设备中。
如图10所示，本实施例的查询结果向量化装置1000可以包括：原始查询结果获取单元1001、图像内容替换单元1002、向量转换单元1003、向量拼接单元1004、查询结果向量化单元1005。其中，原始查询结果获取单元1001，被配置成获取包含文本内容和图像内容的原始查询结果；图像内容替换单元1002，被配置成在保持文本内容与图像内容排布顺序不变的情况下，将图像内容替换为图像占位符，得到替换后查询结果；向量转换单元1003，被配置成将替换后查询结果转换为文本内容向量、并将图像内容转换为与文本内容向量尺寸一致的图像内容向量；向量拼接单元1004，被配置成根据图像占位符在替换后查询结果中的位置，将图像内容向量拼接至文本内容向量中的相应位置，得到拼接向量；查询结果向量化单元1005，被配置成根据拼接向量确定原始查询结果的向量化表示。
在本实施例中，查询结果向量化装置1000中：原始查询结果获取单元1001、图像内容替换单元1002、向量转换单元1003、向量拼接单元1004、查询结果向量化单元1005的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，查询结果向量化单元1005可以被进一步配置成：
响应于拼接向量的尺寸大于预设尺寸，对拼接向量进行降维处理，得到降维至预设尺寸的降维后向量；
将降维后向量作为原始查询结果的向量化表示。
在本实施例的一些可选的实现方式中，向量拼接单元1004可以被进一步配置成：
根据图像占位符在替换后查询结果中的位置，确定与图像占位符对应的向量在文本内容向量中的目标位置；
将图像内容向量拼接至文本内容向量中的目标位置，得到拼接向量。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的查询结果向量化装置，针对同时包含文本和图像的以原始形式表示的原始查询结果，通过在保持文本内容与图像内容排布顺序不变的情况下将图像替换为占位符，从而使得转换得到的文本内容向量保留了图像内容在完整查询结果中的排布位置信息，进而在将图像内容单独转换为图像内容向量后，将该图像内容拼接在该占位符所处在的文本内容向量位置下，使得最终得到的拼接向量可以尽可能的还原文本内容和图像内容的原始排布顺序，以使转换得到的查询结果向量与原始查询结果更加接近、减少因向量化表示造成的信息损失。
如图11所示，本实施例的查询结果确定装置1100可以包括：查询语句向量转换单元1101、目标候选查询结果序列确定单元1102、排序调整单元1103、候选查询结果返回单元1104。其中，查询语句向量转换单元1101，被配置成将获取到的查询语句转换为实际查询向量；目标候选查询语句序列确定单元1102，被配置成基于实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列，候选查询向量为相应候选查询语句的向量化表示，候选查询语句与相应的候选查询结果之间组成了查询结果对；排序调整单元1103，被配置成基于实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在目标候选查询语句序列中的排序，得到调整后候选查询语句序列；候选查询结果返回单元1104，被配置成基于调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
在本实施例的一些可选的实现方式中，查询语句向量转换单元1101可以包括：
类别信息确定子单元，被配置成利用知识库或知识图谱，确定查询语句所属的类别信息；
查询语句向量转换子单元，被配置成将类别信息与查询语句的文本组合，转换为实际查询向量。
在本实施例的一些可选的实现方式中，查询语句向量转换子单元可以被进一步配置成：
将类别信息补充至查询语句的起始位置，得到类别信息补完语句；
将类别信息补完语句转换为实际查询向量。
在本实施例的一些可选的实现方式中，查询语句向量转换单元1101可以被进一步配置成：
将查询语句作为输入数据输入预设的自然语言向量化模型；
控制自然语言向量化模型的不同功能层均输出的与输入本功能层的数据对应的语义句向量，自然语言向量化模型包含串接的多个功能层；
控制自然语言向量化模型分别确定不同功能层的加权权重，不同功能层对应的加权权重预先经有标注的训练样本在训练阶段学习得到；
控制自然语言向量化模型基于相应功能层的加权权重对相应功能层的语义句向量进行加权计算，并将不同功能层的加权计算结果聚合为目标语义句向量；
将自然语言向量化模型输出的目标语义句向量作为与查询语句对应的实际查询向量。
在本实施例的一些可选的实现方式中，目标候选查询结果序列确定单元1102可以包括基于实际查询向量分别与知识问答库中不同的候选查询结果向量之间的向量相似度的相似度计算子单元，相似度计算子单元可以被进一步配置成：
利用基于聚类算法的索引式向量计算引擎，计算实际查询向量分别与知识问答库中不同的候选查询结果向量之间的向量相似度。
在上述提供的查询结果向量化方案基础上，本公开实施例还进一步提供了查询结果确定方案，在常规的基于实际查询向量与候选查询向量计算相似度，并仅基于查询内容间相似度和候选查询语句与候选查询结果之间的关联性反馈查询结果的基础上，还进一步的基于实际查询向量与目标候选查询语句的候选查询结果向量之间的向量相似度，调整了各目标候选查询语句在目标候选查询语句序列中的排序，进而使得基于排序调整后的目标候选查询语句序列可以更准确的返回最接近最符合实际需求的查询结果。即在结合查询语句与查询语句的关联情况下，还结合了查询语句与查询结果之间的关联，从而借助查询语句与查询结果之间的关联提升排序准确性。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的查询结果向量化方法和/或查询结果确定方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的查询结果向量化方法和/或查询结果确定方法。
根据本公开的实施例，本公开还提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的查询结果向量化方法的步骤和/或查询结果确定方法的步骤。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如查询结果向量化方法和/或查询结果确定方法。例如，在一些实施例中，查询结果向量化方法和/或查询结果确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的查询结果向量化方法和/或查询结果确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行查询结果向量化方法和/或查询结果确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。
根据本公开实施例的技术方案，针对同时包含文本和图像的以原始形式表示的原始查询结果，通过在保持文本内容与图像内容排布顺序不变的情况下将图像替换为占位符，从而使得转换得到的文本内容向量保留了图像内容在完整查询结果中的排布位置信息，进而在将图像内容单独转换为图像内容向量后，将该图像内容拼接在该占位符所处在的文本内容向量位置下，使得最终得到的拼接向量可以尽可能的还原文本内容和图像内容的原始排布顺序，以使转换得到的查询结果向量与原始查询结果更加接近、减少因向量化表示造成的信息损失。
在上述提供的查询结果向量化方案基础上，还进一步提供了查询结果确定方案，在常规的基于实际查询向量与候选查询结果向量计算相似度，并仅基于查询内容间相似度和候选查询语句与候选查询结果之间的关联性反馈查询结果的基础上，还进一步的基于实际查询向量与目标候选查询结果的候选查询结果向量之间的向量相似度，调整了各目标候选查询结果在目标候选查询结果序列中的排序，进而使得基于排序调整后的目标候选查询结果序列可以更准确的返回最接近最符合实际需求的查询结果。即在结合查询语句与查询语句的关联情况下，还结合了查询语句与查询结果之间的关联，从而借助查询语句与查询结果之间的关联提升排序准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种查询结果向量化方法，包括：
获取包含文本内容和图像内容的原始查询结果；
在保持所述文本内容与所述图像内容排布顺序不变的情况下，将所述图像内容替换为图像占位符，得到替换后查询结果；
将所述替换后查询结果转换为文本内容向量、并将所述图像内容转换为与所述文本内容向量尺寸一致的图像内容向量；
根据所述图像占位符在所述替换后查询结果中的位置，将所述图像内容向量拼接至所述文本内容向量中的相应位置，得到拼接向量；
根据所述拼接向量确定所述原始查询结果的向量化表示。
2.根据权利要求1所述的方法，其中，所述根据所述拼接向量确定所述原始查询结果的向量化表示，包括：
响应于所述拼接向量的尺寸大于预设尺寸，对所述拼接向量进行降维处理，得到降维至所述预设尺寸的降维后向量；
将所述降维后向量作为所述原始查询结果的向量化表示。
3.根据权利要求1或2所述的方法，其中，所述根据所述图像占位符在所述替换后查询结果中的位置，将所述图像内容向量拼接至所述文本内容向量中的相应位置，得到拼接向量，包括：
根据所述图像占位符在所述替换后查询结果中的位置，确定与所述图像占位符对应的向量在所述文本内容向量中的目标位置；
将所述图像内容向量拼接至所述文本内容向量中的目标位置，得到所述拼接向量。
4.一种查询结果确定方法，包括：
将获取到的查询语句转换为实际查询向量；
基于所述实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列，所述候选查询向量为相应候选查询语句的向量化表示，所述候选查询语句与相应的候选查询结果之间组成了查询结果对；
基于所述实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在所述目标候选查询语句序列中的排序，得到调整后候选查询语句序列，所述候选查询结果向量为相应的候选查询结果按权利要求1-3任一项所提供的查询结果向量化方法表示为向量；
基于所述调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
5.根据权利要求4所述的方法，其中，所述将获取到的查询语句转换为实际查询向量，包括：
利用知识库或知识图谱，确定所述查询语句所属的类别信息；
将所述类别信息与所述查询语句的文本组合，转换为所述实际查询向量。
6.根据权利要求5所述的方法，其中，所述将所述类别信息与所述查询语句的文本组合，转换为所述实际查询向量，包括：
将所述类别信息补充至所述查询语句的起始位置，得到类别信息补完语句；
将所述类别信息补完语句转换为所述实际查询向量。
7.根据权利要求4所述的方法，其中，所述将获取到的查询语句转换为实际查询向量，包括：
将所述查询语句作为输入数据输入预设的自然语言向量化模型；
控制所述自然语言向量化模型的不同功能层均输出的与输入本功能层的数据对应的语义句向量，所述自然语言向量化模型包含串接的多个功能层；
控制所述自然语言向量化模型分别确定不同功能层的加权权重，不同功能层对应的加权权重预先经有标注的训练样本在训练阶段学习得到；
控制所述自然语言向量化模型基于相应功能层的加权权重对相应功能层的语义句向量进行加权计算，并将不同功能层的加权计算结果聚合为目标语义句向量；
将所述自然语言向量化模型输出的目标语义句向量作为与所述查询语句对应的实际查询向量。
8.根据权利要求4-7任一项所述的方法，其中，所述基于所述实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，包括：
利用基于聚类算法的索引式向量计算引擎，计算所述实际查询向量分别与所述知识问答库中不同的候选查询向量之间的向量相似度。
9.一种查询结果向量化装置，包括：
原始查询结果获取单元，被配置成获取包含文本内容和图像内容的原始查询结果；
图像内容替换单元，被配置成在保持所述文本内容与所述图像内容排布顺序不变的情况下，将所述图像内容替换为图像占位符，得到替换后查询结果；
向量转换单元，被配置成将所述替换后查询结果转换为文本内容向量、并将所述图像内容转换为与所述文本内容向量尺寸一致的图像内容向量；
向量拼接单元，被配置成根据所述图像占位符在所述替换后查询结果中的位置，将所述图像内容向量拼接至所述文本内容向量中的相应位置，得到拼接向量；
查询结果向量化单元，被配置成根据所述拼接向量确定所述原始查询结果的向量化表示。
10.根据权利要求9所述的装置，其中，所述查询结果向量化单元被进一步配置成：
响应于所述拼接向量的尺寸大于预设尺寸，对所述拼接向量进行降维处理，得到降维至所述预设尺寸的降维后向量；
将所述降维后向量作为所述原始查询结果的向量化表示。
11.根据权利要求9或10所述的装置，其中，所述向量拼接单元被进一步配置成：
根据所述图像占位符在所述替换后查询结果中的位置，确定与所述图像占位符对应的向量在所述文本内容向量中的目标位置；
将所述图像内容向量拼接至所述文本内容向量中的目标位置，得到所述拼接向量。
12.一种查询结果确定装置，包括：
查询语句向量转换单元，被配置成将获取到的查询语句转换为实际查询向量；
目标候选查询结果序列确定单元，被配置成基于所述实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度，筛选出包含预设数量目标候选查询语句的目标候选查询语句序列，所述候选查询向量为相应候选查询语句的向量化表示，所述候选查询语句与相应的候选查询结果之间组成了查询结果对；
排序调整单元，被配置成基于所述实际查询向量分别与不同的目标候选查询语句所对应的候选查询结果向量之间的向量相似度，调整不同的目标候选查询语句在所述目标候选查询语句序列中的排序，得到调整后候选查询语句序列，所述候选查询结果向量为相应的候选查询结果按权利要求9-11任一项所提供的查询结果向量化装置表示为向量；
候选查询结果返回单元，被配置成基于所述调整后候选查询语句序列中不同目标候选查询语句的排序，顺序返回相应的候选查询结果。
13.根据权利要求12所述的装置，其中，所述查询语句向量转换单元包括：
类别信息确定子单元，被配置成利用知识库或知识图谱，确定所述查询语句所属的类别信息；
查询语句向量转换子单元，被配置成将所述类别信息与所述查询语句的文本组合，转换为所述实际查询向量。
14.根据权利要求13所述的装置，其中，所述查询语句向量转换子单元被进一步配置成：
将所述类别信息补充至所述查询语句的起始位置，得到类别信息补完语句；
将所述类别信息补完语句转换为所述实际查询向量。
15.根据权利要求12所述的装置，其中，所述查询语句向量转换单元被进一步配置成：
将所述查询语句作为输入数据输入预设的自然语言向量化模型；
控制所述自然语言向量化模型的不同功能层均输出的与输入本功能层的数据对应的语义句向量，所述自然语言向量化模型包含串接的多个功能层；
控制所述自然语言向量化模型分别确定不同功能层的加权权重，不同功能层对应的加权权重预先经有标注的训练样本在训练阶段学习得到；
控制所述自然语言向量化模型基于相应功能层的加权权重对相应功能层的语义句向量进行加权计算，并将不同功能层的加权计算结果聚合为目标语义句向量；
将所述自然语言向量化模型输出的目标语义句向量作为与所述查询语句对应的实际查询向量。
16.根据权利要求12-15任一项所述的装置，其中，所述目标候选查询结果序列确定单元包括基于所述实际查询向量分别与知识问答库中不同的候选查询向量之间的向量相似度的相似度计算子单元，所述相似度计算子单元被进一步配置成：
利用基于聚类算法的索引式向量计算引擎，计算所述实际查询向量分别与所述知识问答库中不同的候选查询向量之间的向量相似度。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的查询结果向量化方法和/或权利要求4-8中任一项所述的查询结果确定方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的查询结果向量化方法和/或权利要求4-8中任一项所述的查询结果确定方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-3中任一项所述的查询结果向量化方法的步骤和/或权利要求4-8中任一项所述的查询结果确定方法的步骤。
CN202211238044.9A 2022-10-10 2022-10-10 查询结果向量化方法、查询结果确定方法及相关装置 Active CN115510193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211238044.9A CN115510193B (zh) 2022-10-10 2022-10-10 查询结果向量化方法、查询结果确定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211238044.9A CN115510193B (zh) 2022-10-10 2022-10-10 查询结果向量化方法、查询结果确定方法及相关装置

Publications (2)

Publication Number Publication Date
CN115510193A true CN115510193A (zh) 2022-12-23
CN115510193B CN115510193B (zh) 2024-04-16

Family

ID=84508040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211238044.9A Active CN115510193B (zh) 2022-10-10 2022-10-10 查询结果向量化方法、查询结果确定方法及相关装置

Country Status (1)

Country Link
CN (1) CN115510193B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431767A (zh) * 2023-04-21 2023-07-14 北京百度网讯科技有限公司 文本图像查询方法、装置、电子设备以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144370A (zh) * 2019-12-31 2020-05-12 科大讯飞华南人工智能研究院（广州）有限公司 单据要素抽取方法、装置、设备及存储介质
CN111680510A (zh) * 2020-07-07 2020-09-18 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机设备以及存储介质
WO2021027218A1 (zh) * 2019-08-12 2021-02-18 北京国双科技有限公司 文本分类的方法、装置以及计算机可读介质
CN112836088A (zh) * 2021-02-24 2021-05-25 腾讯科技（深圳）有限公司 用于生成与视频对应的标签的方法、设备和介质
CN113032627A (zh) * 2021-03-25 2021-06-25 北京小米移动软件有限公司 视频分类方法、装置、存储介质及终端设备
CN113254610A (zh) * 2021-05-14 2021-08-13 廖伟智 面向专利咨询的多轮对话生成方法
CN113656570A (zh) * 2021-08-25 2021-11-16 平安科技（深圳）有限公司 基于深度学习模型的视觉问答方法及装置、介质、设备
CN113743099A (zh) * 2021-08-18 2021-12-03 重庆大学 基于自注意力机制方面术语提取系统、方法、介质、终端
CN114385780A (zh) * 2021-11-30 2022-04-22 北京凯睿数加科技有限公司 程序接口信息推荐方法、装置、电子设备和可读介质
CN114549935A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 信息生成方法和装置
CN114896438A (zh) * 2022-05-10 2022-08-12 西安电子科技大学 基于分层对齐和广义池化图注意力机制的图文检索方法
CN114997169A (zh) * 2022-05-30 2022-09-02 中电金信软件有限公司 一种实体词识别方法、装置、电子设备及可读存储介质
CN115114424A (zh) * 2022-07-14 2022-09-27 北京百度网讯科技有限公司 查询请求的应答方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027218A1 (zh) * 2019-08-12 2021-02-18 北京国双科技有限公司 文本分类的方法、装置以及计算机可读介质
CN111144370A (zh) * 2019-12-31 2020-05-12 科大讯飞华南人工智能研究院（广州）有限公司 单据要素抽取方法、装置、设备及存储介质
CN111680510A (zh) * 2020-07-07 2020-09-18 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机设备以及存储介质
CN112836088A (zh) * 2021-02-24 2021-05-25 腾讯科技（深圳）有限公司 用于生成与视频对应的标签的方法、设备和介质
CN113032627A (zh) * 2021-03-25 2021-06-25 北京小米移动软件有限公司 视频分类方法、装置、存储介质及终端设备
CN113254610A (zh) * 2021-05-14 2021-08-13 廖伟智 面向专利咨询的多轮对话生成方法
CN113743099A (zh) * 2021-08-18 2021-12-03 重庆大学 基于自注意力机制方面术语提取系统、方法、介质、终端
CN113656570A (zh) * 2021-08-25 2021-11-16 平安科技（深圳）有限公司 基于深度学习模型的视觉问答方法及装置、介质、设备
CN114385780A (zh) * 2021-11-30 2022-04-22 北京凯睿数加科技有限公司 程序接口信息推荐方法、装置、电子设备和可读介质
CN114549935A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 信息生成方法和装置
CN114896438A (zh) * 2022-05-10 2022-08-12 西安电子科技大学 基于分层对齐和广义池化图注意力机制的图文检索方法
CN114997169A (zh) * 2022-05-30 2022-09-02 中电金信软件有限公司 一种实体词识别方法、装置、电子设备及可读存储介质
CN115114424A (zh) * 2022-07-14 2022-09-27 北京百度网讯科技有限公司 查询请求的应答方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431767A (zh) * 2023-04-21 2023-07-14 北京百度网讯科技有限公司 文本图像查询方法、装置、电子设备以及存储介质
CN116431767B (zh) * 2023-04-21 2024-01-16 北京百度网讯科技有限公司 文本图像查询方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN115510193B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110019732B (zh) 一种智能问答方法以及相关装置
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN112560479A (zh) 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
JP7430820B2 (ja) ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム
US11194963B1 (en) Auditing citations in a textual document
CN115688920B (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN115982376B (zh) 基于文本、多模数据和知识训练模型的方法和装置
CN112528677A (zh) 一种语义向量提取模型的训练方法、装置及电子设备
US20230004819A1 (en) Method and apparatus for training semantic retrieval network, electronic device and storage medium
CN115470313A (zh) 信息检索及模型训练方法、装置、设备和存储介质
KR102608867B1 (ko) 업계 텍스트를 증분하는 방법, 관련 장치 및 매체에 저장된 컴퓨터 프로그램
CN115510193B (zh) 查询结果向量化方法、查询结果确定方法及相关装置
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
CN115329207B (zh) 智能销售信息推荐方法及系统
CN114647739B (zh) 实体链指方法、装置、电子设备及存储介质
CN116049370A (zh) 信息查询方法和信息生成模型的训练方法、装置
CN114118049B (zh) 信息获取方法、装置、电子设备及存储介质
CN115329850A (zh) 信息比对方法、装置、电子设备及存储介质
CN115455152A (zh) 写作素材的推荐方法、装置、电子设备及存储介质
CN114969371A (zh) 一种联合知识图谱的热度排序方法及装置
CN113869068A (zh) 场景服务推荐方法、装置、设备及存储介质
CN115618968B (zh) 新意图发现方法、装置、电子设备及存储介质
CN114925185B (zh) 交互方法、模型的训练方法、装置、设备及介质
US20230222344A1 (en) Method, electronic device, and storage medium for determining prompt vector of pre-trained model
US20230095352A1 (en) Translation Method, Apparatus and Storage Medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant