CN117056454A - 一种信息处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种信息处理方法、装置、计算机设备及存储介质，本申请实施例可以接收终端发送的在交互界面内输入的待查询信息，基于待查询信息进行多模态信息搜索，得到多模态搜索结果；对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；基于内容摘要片段生成待查询信息对应的文本查询结果；若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息；获取关键描述信息对应的富媒体查询结果；将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端，提高了信息处理的多样性和准确性。

Description

一种信息处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及互联网技术领域，具体涉及一种信息处理方法、装置、计算机设备及存储介质。

背景技术

在客服对话的场景中，为了解决大量客服的人力成本，可以采用人工智能的方式来进行对话，以代替人工客服。

目前，人工智能客服对话方式中，由用户提出问题，人工智能客服基于用户的问题进行文字特征提取，并基于提取出的文字特征从问题-答案库中寻找与用户提出的问题最接近的答案，并将该答案推送给用户。该对话方式仅局限于文字，对话方式较为单一，降低了沟通有效性和准确性。

发明内容

本申请实施例提供一种信息处理方法、装置、计算机设备及存储介质，可以提高对信息处理准确性和多样性。

为解决上述技术问题，本申请实施例提供以下技术方案：

本申请实施例提供了一种信息处理方法，应用于服务器，包括：

接收终端发送的在交互界面内输入的待查询信息，基于所述待查询信息进行多模态信息搜索，得到多模态搜索结果；

对所述多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；

基于所述内容摘要片段，生成所述待查询信息对应的文本查询结果；

若所述多模态搜索结果中前预设结果不包含富媒体查询结果，则对所述文本查询结果进行关键信息提炼，得到所述文本查询结果对应的关键描述信息；

获取所述关键描述信息对应的富媒体查询结果；

将所述文本查询结果和所述富媒体查询结果进行融合，得到目标查询结果，并将所述目标查询结果发送给所述终端。

根据本申请的一个方面，还提供了一种信息处理方法，应用于终端，包括：

显示交互界面，在所述交互界面内接收输入的待查询信息；

将所述待查询信息发送给服务器，接收所述服务器基于所述待查询信息返回的目标查询结果，所述目标查询结果包括文本查询结果和富媒体查询结果，所述文本查询结果基于针对所述待查询信息进行多模态信息搜索，得到的多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，所述富媒体查询结果基于所述多模态搜索结果中的前预设结果得到，或者基于对所述文本查询结果进行关键信息提炼得到的关键描述信息获取得到；

在所述交互界面内显示所述文本查询结果和所述富媒体查询结果。

根据本申请的一个方面，还提供了一种信息处理装置，包括：

搜索单元，用于接收终端发送的在交互界面内输入的待查询信息，基于所述待查询信息进行多模态信息搜索，得到多模态搜索结果；

提取单元，用于对所述多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；

生成单元，用于基于所述内容摘要片段，生成所述待查询信息对应的文本查询结果；

提炼单元，用于若所述多模态搜索结果中前预设结果不包含富媒体查询结果，则对所述文本查询结果进行关键信息提炼，得到所述文本查询结果对应的关键描述信息；

获取单元，用于获取所述关键描述信息对应的富媒体查询结果；

融合单元，用于将所述文本查询结果和所述富媒体查询结果进行融合，得到目标查询结果，并将所述目标查询结果发送给所述终端。

根据本申请的一个方面，还提供了一种信息处理装置，包括：

第一显示单元，用于显示交互界面，在所述交互界面内接收输入的待查询信息；

接收单元，用于将所述待查询信息发送给服务器，接收所述服务器基于所述待查询信息返回的目标查询结果，所述目标查询结果包括文本查询结果和富媒体查询结果，所述文本查询结果基于针对所述待查询信息进行多模态信息搜索，得到的多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，所述富媒体查询结果基于所述多模态搜索结果中的前预设结果得到，或者基于对所述文本查询结果进行关键信息提炼得到的关键描述信息获取得到；

第二显示单元，用于在所述交互界面内显示所述文本查询结果和所述富媒体查询结果。

根据本申请的一个方面，还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种信息处理方法。

根据本申请的一个方面，还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本申请实施例提供的任一种信息处理方法。

根据本申请的一个方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器加载，以执行本申请实施例提供的任一种信息处理方法。

本申请实施例可以基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果，根据多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段，基于内容摘要片段生成待查询信息对应的文本查询结果。以及，当多模态搜索结果中前预设结果不包含富媒体查询结果时，可以基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到富媒体查询结果，将文本查询结果和富媒体查询结果进行融合准确得到多样化的目标查询结果，从而可以提高对信息处理准确性和多样性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的信息处理方法应用的场景示意图；

图2是本申请实施例提供的信息处理方法的流程示意图；

图3是本申请实施例提供的交互界面的示意图；

图4是本申请实施例提供的信息处理方法的另一流程示意图；

图5是本申请实施例提供的在交互界面内分区显示查询结果的示意图；

图6是本申请实施例提供的显示原始文本的示意图；

图7是本申请实施例提供的显示原始文本的另一示意图；

图8是本申请实施例提供的显示富媒体的示意图；

图9是本申请实施例提供的翻页显示富媒体的示意图；

图10是本申请实施例提供的终端和服务器交互的流程示意图；

图11是本申请实施例提供的信息处理方法的另一流程示意图；

图12是本申请实施例提供的信息处理装置的示意图；

图13是本申请实施例提供的信息处理装置的另一示意图；

图14是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种信息处理方法、装置、计算机设备及存储介质。

请参阅图1，图1为本申请实施例所提供的信息处理方法应用的场景示意图，该信息处理方法可以应用于信息处理系统，该信息处理系统可以包括务器10和终端20等，该服务器10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。该终端20可以是手机、电脑、或者可穿戴设备等。服务器10与终端20之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

其中，终端20可以显示交互界面，在交互界面内接收用户输入的待查询信息(例如问题)，并将待查询信息发送给服务器10。服务器10可以基于接收到的待查询信息进行多模态信息搜索，得到多模态搜索结果，该多模态搜索结果可以包括按照与待查询信息相关度从高至低排序后的文本、图像、视频、以及表情等搜索结果，可以对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本(例如排三的文章)进行内容摘要提取，得到内容摘要片段，基于内容摘要片段，生成待查询信息对应的文本查询结果(例如文本答案)。若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息，获取关键描述信息对应的富媒体查询结果，将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端。若多模态搜索结果中前预设结果包含富媒体查询结果，则可以直接将文本查询结果和富媒体查询结果进行融合，得到目标查询结果。此时，可以将目标查询结果发送给终端20。终端20在接收待服务器基于待查询信息返回的目标查询结果后，可以在交互界面内显示包含文本查询结果和富媒体查询结果等的目标查询结果。通过准确获取得到的文本查询结果和富媒体查询结果的融合，得到多样化的目标查询结果，从而可以提高对信息处理准确性和多样性。

需要说明的是，图1所示的信息处理方法应用的场景示意图仅仅是一个示例，本申请实施例描述的信息处理方法应用以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着信息处理方法应用的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本实施例中，信息处理方法可以应用于服务器等计算机设备，该服务器集成有信息处理装置，以下将从服务器的角度进行描述。

请参阅图2，图2是本申请一实施例提供的信息处理方法的流程示意图。该信息处理方法可以包括：

S101、接收终端发送的在交互界面内输入的待查询信息，基于待查询信息进行多模态信息搜索，得到多模态搜索结果。

其中，交互界面可以是终端上显示用于与用户交互的界面，例如，搜一搜助手对话界面或即时通信对话界面等。待查询信息可以文本形式的问题，还可以是以图像、语音或其他形式的问题。当终端在显示的交互界面内接收到输入的待查询信息时，服务器可以接收终端发送的在交互界面内输入的待查询信息，例如，服务器可以接收终端发送的“某某乐园出新的人物形象了吗？”的待查询信息。又例如，服务器可以接收终端发送的“介绍一下龟背竹”的待查询信息。又例如，服务器可以接收终端发送的“龟背竹怎么养”的待查询信息。

在得到待查询信息后，服务器可以调用搜索引擎服务基于待查询信息进行多模态信息搜索，得到多模态搜索结果，多模态搜索结果可以包括文本(例如文章)、图像、表情、音乐、以及视频等中的至少一种搜索结果，该多模态搜索结果可以是按照与待查询信息相关度从高至低进行排序后的搜索结果。

当待查询信息是文本形式时，为了提高搜索的准确性，服务器可以通过聊天生成预训练转换模型(Chat Generative Pre-trained Transformer，ChatGPT)或者自然语言处理模型(Natural Language Processing，NLP)等，对待查询信息进行语音分析或关键词提炼等处理后，得到规范化的待查询信息(query)，然后调用搜索引擎服务基于规范化的待查询信息进行多模态信息搜索，得到多模态搜索结果。

例如，可以通过ChatGPT基于问题模板(query prompt)对待查询信息进行提炼，该问题模板(query prompt)可以如下：

你是一个query理解助手，根据我的任务列出适合检索的query，每个query输出在一对{}中，任务是：识别当用户搜索“％s”时最主要的需求，仅输出一个可以满足这个需求的检索query。

其中“％s”表示接收终端发送的在交互界面内输入的待查询信息。

需要说明的是，通过ChatGPT基于问题模板(query prompt)对待查询信息进行提炼，也可以得到多个query，此时可以每个query都进行搜索再整体汇总得到相关性高的多模态搜索结果。

当待查询信息是图像形式时，为了提高搜索的准确性，服务器可以通过图像识别模型，对待查询信息进行识别，以提取图像中包含的文字、物品等图像特征信息，然后调用搜索引擎服务基于图像特征信息进行多模态信息搜索，得到多模态搜索结果。

本实施例中，可以采用人工智能实现对信息处理，可以提高信息处理的准确性。需要说明的是，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(Machine Learning，ML)技术，其中，深度学习(Deep Learning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在机器视觉、语音处理技术、自然语言处理等领域。

S102、对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段。

其中，多模态搜索结果可以是按照与待查询信息相关度从高至低排序后的搜索结果，在得到多模态搜索结果后，服务器可以从多模态搜索结果中筛选出与待查询信息相关度大于预设相关度阈值的文本，该预设相关度阈值可以根据实际需求进行灵活设置，在此不做限定，即可以从多模态搜索结果中筛选出与待查询信息相关度高的排在前预设文本，例如可以是排在前三位的一篇或多篇文本，可以称为头部搜索结果，然后对筛选出的文本进行内容摘要提取，得到一个或多个内容摘要片段，该内容摘要片段可以准确概括文本对应的内容，并且语义通顺及格式清晰，针对一篇文本，可以提取出一个或多个内容摘要片段，其中，内容摘要提取方式在此处不做限定。例如，可以通过ChatGPT或其他语言模型对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段。

为了提高内容摘要片段获取的可靠性，服务器可以获取多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本的标题，将该标题与待查询信息进行相关度计算，保留最相关度大于预设阈值的搜索结果，对保留下来的文本进行全文内容分析抽取，得到一个或多个内容摘要片段，该预设阈值在此处不做限定。另外，还可以根据实际需求对内容摘要片段在原始文本中按需求设定一定的长度窗口进行前后正文扩展，得到扩展后的内容摘要片段，以基于扩展后的内容摘要片段生成待查询信息对应的文本查询结果。

S103、基于内容摘要片段，生成待查询信息对应的文本查询结果。

其中，文本查询结果可以包括内容摘要片段，还可以包括内容摘要片段对应的文本引用跳转链接等，文本引用跳转链接可以是添加了超文本标记语言(Hyper Text MarkupLanguage，HTML)标签的引用标注，可以通过文本引用跳转链接跳转至源文本链接对应的原始文本，源文本链接可以是文本的统一资源定位符(uniform resource locator，URL)。在得到内容摘要片段后，服务器可以通过ChatGPT基于内容摘要片段和文本引用跳转链接等信息，生成待查询信息对应的文本查询结果。例如，可以按相关度从高到低保留多篇文本对应的内容摘要片段，对多个内容摘要片段依次编号，如第一篇文本1的内容摘要片段标号为1，第二篇文本2的内容摘要片段标号为2，以此类推依次往后编号，将各个内容摘要片段拼接在一起，并将对应内容摘要片段的编号添加到拼接后文本中，如从文本1中抽取了内容摘要片段1(内容为xxxxxx)、内容摘要片段2(内容为yyyyyy)，从文本2中抽取了内容摘要片段3(内容为zzzzzz)，则拼接后文本为xxxxxx[1]yyyyyy[1]zzzzzz[2]，以及对[1]和[2]纯文本加上对应的<ahref＝”https://xxx”>html标签，形成文本引用跳转链接。

在一实施方式中，内容摘要片段包括多个，基于内容摘要片段，生成待查询信息对应的文本查询结果，包括：将多个内容摘要片段作为生成模型的输入，通过生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，并添加内容摘要片段对应的文本引用跳转链接，输出待查询信息对应的文本查询结果。

其中，生成模型可以是ChatGPT或者其他语言模型，在此不做限定。为了提高文本查询结果的丰富性，服务器可以基于多个内容摘要片段和文本引用跳转链接生成文本查询结果，多个内容摘要片段可以是对同一篇文本进行内容摘要提取得到，或者是，对多篇文本进行内容摘要提取得到。例如，可以将多个内容摘要片段作为ChatGPT的输入，通过ChatGPT按照预设文本生成模板对多个内容摘要片段进行拼接，得到拼接后文本，并在拼接后文本中内容摘要片段对应的位置，添加内容摘要片段对应的文本引用跳转链接，从而可以输出待查询信息对应的文本查询结果。

例如，如图3所示，可以在拼接后文本中内容摘要片段A对应的尾部位置，添加内容摘要片段A对应的引用标注1(即文本引用跳转链接)，以表示内容摘要片段A出自于源文本1，在拼接后文本中内容摘要片段B对应的尾部位置，添加内容摘要片段B对应的引用标注2，以表示内容摘要片段B出自于源文本2。文本查询结果除了包括拼接后文本和文本引用跳转链接之外，还可以包括内容摘要片段对应的参考来源，可以对参考来源添加对应的html<a>标签形成超链接文本，即内容摘要片段对应的源文本的源文本链接。

其中，预设文本生成模板可以是为ChatGPT或者其他语言模型设置的提示格式，例如，预设文本生成模板可以如下：

根据问题“％s”和文本的内容提取信息(即多个内容摘要片段)生成一个不超过“％x”字的答案，基于，目标是要尽可能完美的回答这个问题“％s”，舍去不相关的信息，语义通顺，格式清晰。用\"[数字]\"引用的形式分别注明你的回复中每句话的来源是哪个源文本的第几段，只给引用不要给注释，相关性差的段落不应该引用。

其中“％s”表示待查询信息，“％x”可以是400或其他数字，如可以生成一个不超过400字的答案，[数字]可以包括[1]、[2]、[3]等，表示第几个源文本。

在一实施方式中，通过生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，并添加内容摘要片段对应的文本引用跳转链接，输出待查询信息对应的文本查询结果，可以包括：通过生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，输出拼接后文本；将拼接后文本与内容摘要片段对应的原始文本进行语义匹配；若拼接后文本与内容摘要片段对应的原始文本匹配，则在拼接后文本中添加内容摘要片段对应的文本引用跳转链接，得到文本查询结果。

例如，服务器可以获取内容摘要片段对应的原始文本(即源文本)，以及可以通过ChatGPT照预设文本生成模板对多个内容摘要片段进行拼接，输出拼接后文本，然后可以将拼接后文本与内容摘要片段对应的原始文本进行语义匹配；若拼接后文本与内容摘要片段对应的原始文本匹配，则在拼接后文本中添加内容摘要片段对应的文本引用跳转链接，得到文本查询结果，若拼接后文本与内容摘要片段对应的原始文本不匹配，则不添加内容摘要片段对应的文本引用跳转链接，从而提高了文本查询结果获取的准确性。

需要说明的是，服务器可以在生成包含拼接后文本和引用标签的文本查询结果后，再将拼接后文本与内容摘要片段对应的原始文本进行语义匹配，若拼接后文本与内容摘要片段对应的原始文本匹配，则保留在拼接后文本中已添加内容摘要片段对应的引用标签，并将引用标记纯文本加上对应的<a href＝”https://xxx”>html标签添加引用来源链接，从而生成内容摘要片段对应的文本引用跳转链接，若拼接后文本与内容摘要片段对应的原始文本不匹配，则在拼接后文本中删除已添加的内容摘要片段对应的引用标签。

在一实施方式中，基于待查询信息进行多模态信息搜索，得到多模态搜索结果之后，信息处理方法还可以包括：若多模态搜索结果中前预设结果包含富媒体查询结果，则将文本查询结果和富媒体查询结果进行融合，得到目标查询结果；将目标查询结果发送给终端。

在得到多模态搜索结果后，由于多模态搜索结果可以是按照与待查询信息相关度从高至低排序后的搜索结果，因此服务器可以判断多模态搜索结果中，与待查询信息相关度较高的前预设结果是否包含富媒体查询结果，其中，前预设结果可以根据实际需要进行灵活设置，在此处不做限定，例如，可以判断多模态搜索结果中排在前三位的搜索结果是否包含视频、表情、图像或音频等富媒体查询结果。若多模态搜索结果中前预设结果包含富媒体查询结果，则可以直接将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，具体融合方式在此处不做限定，例如，可以将文本查询结果和富媒体查询结果进行首尾拼接，得到目标查询结果，或者，可以将富媒体查询结果插入文本查询结果的合适位置，得到目标查询结果。在得到目标查询结果后，服务器可以将包含文本查询结果和富媒体查询结果的目标查询结果发送给终端，以供终端在交互界面内显示文本查询结果和富媒体查询结果。

在一实施方式中，若多模态搜索结果中前预设结果包含富媒体查询结果，则将文本查询结果和多模态搜索结果中前预设结果包含的富媒体查询结果进行融合，得到目标查询结果，可以包括：若多模态搜索结果中前预设结果包含富媒体查询结果，则判断前预设结果包含富媒体查询结果的富媒体类型是否相同；若富媒体类型相同，则将前预设结果中排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果；若富媒体类型不相同，则将前预设结果中针对各类型排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果。

由于富媒体可以包括视频、表情、图像或音频等多种类型，为了提高查询结果获取的准确性和效率，可以先对富媒体类型进行判断，再基于富媒体类型准确获取匹配的富媒体查询结果。具体地，当多模态搜索结果中前预设结果包含富媒体查询结果时，服务器可以判断前预设结果包含富媒体查询结果的富媒体类型是否相同，例如，可以判断多模态搜索结果中排在前三位的搜索结果中包含的富媒体的富媒体类型是否相同。若富媒体类型相同，则将前预设结果中排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果；若富媒体类型不相同，则将前预设结果中针对各类型排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果。例如，可以将富媒体类型A排在首位的富媒体查询结果1、富媒体类型B排在首位的富媒体查询结果2与文本查询结果进行融合，得到目标查询结果。又例如，可以将富媒体类型A排在首位的富媒体查询结果1与文本查询结果进行融合，得到第一查询结果，以及将富媒体类型B排在首位的富媒体查询结果2与文本查询结果进行融合，得到第一查询结果，将第一查询结果和第二查询结果合并得到目标查询结果。

S104、若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息。

在得到多模态搜索结果后，由于多模态搜索结果可以是按照与待查询信息相关度从高至低排序后的搜索结果，因此可以判断多模态搜索结果中，与待查询信息相关度较高的前预设结果是否包含富媒体查询结果，例如，可以判断多模态搜索结果中排在前三位的搜索结果是否包含视频、表情、图像或音频等富媒体查询结果。若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息。

在一实施方式中，对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息，可以包括：将对文本查询结果作为生成模型的输入，通过生成模型基于文本内容完整性、包含指定关键信息和字数要求，进行关键信息提炼，得到文本查询结果对应的关键描述信息。

为了提高关键描述信息获取的准确性和效率，服务器可以将对文本查询结果作为生成模型的输入，通过生成模型输出关键描述信息，其中，生成模型可以是ChatGPT模型或者语言模型等。例如，可以文本查询结果中的文本作为ChatGPT的输入，通过ChatGPT调用信息提取模板，该信息提取模板可以如下：

你是一个query输出助手，请严格按以下规则输出：

根据文本内容列出一个最适合检索的query，用于进一步在搜索引擎中获取关于文本内容的更完整的信息。输出格式：query输出在一对{}中，query中尽可能包含品牌形象等关键信息，长度尽量不超过10个字。文本内容：％s。

其中，“％s”为文本查询结果中的文本。

通过ChatGPT调用信息提取模板，基于信息提取模板中的文本内容完整性、包含指定关键信息和字数要求等提示信息，进行关键信息提炼，得到文本查询结果对应的关键描述信息，该关键描述信息可以用于准确概括文本查询结果中的文本内容。其中，指定关键信息和字数要求等可以根据实际需求进行灵活设置，在此处不作限定，例如，指定关键信息可以包括品牌形象或人物等，字数要求可以是不超过10个字。

例如，针对文本内容为：是的，某某乐园3月10日推出了全新卡通形象“小熊猫美美”。她是一只毛绒绒的红包小熊猫，手脚呈深红色。身宽腿短，背上长着一条肥大的尾巴。美美这个角色来自于2022年3月上映的某某乐园动画电影。讲述了13岁的亚裔女孩美美，从家族中继承了“一激动焦躁就变身红色小熊猫”的能力，青春成长过程中与母亲发生一系列不愉快，最后终于和解的故事。可以提炼得到关键描述信息为：某某乐园小熊猫美美。

在得到关键描述信息后，服务器可以基于关键描述信息搜索对应的富媒体查询结果，从而可以充分利用搜索引擎服务能力与效果，将搜索与ChatGPT能力结合共同提升查询质量。

需要说明的是，步骤S104和步骤102之间的执行先后顺序可以根据实际需要求进行灵活设置，在此处不作限定，例如，可以先执行步骤S104后执行步骤102，或步骤S104和步骤102同时执行，或先执行步骤S102后执行步骤104等。

S105、获取关键描述信息对应的富媒体查询结果。

例如，服务器可以基于关键描述信息进行进行多模态信息搜索，得到按照与关键描述信息相关度从高至低进行排序的多模态搜索结果，将该多模态搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体查询结果，作为关键描述信息对应的富媒体查询结果，该目标相关度阈值可以根据实际需求进行灵活设置，在此不作限定。又例如，服务器可以通过媒体生成模型基于关键描述信息生成富媒体，得到富媒体查询结果，该媒体生成模型在此处不做限定。又例如，服务器可以基于关键描述信息进行进行多模态信息搜索，得到按照与关键描述信息相关度从高至低进行排序的多模态搜索结果，判断多模态搜索结果中，与关键描述信息相关度较高的前预设结果是否包含富媒体查询结果，若包含，则将该多模态搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体查询结果，作为关键描述信息对应的富媒体查询结果；若不包含，则可以将文本查询结果发送给终端。

在一实施方式中，获取关键描述信息对应的富媒体查询结果，可以包括：若关键描述信息与待查询信息不一致，则基于关键描述信息进行信息搜索，得到搜索结果；根据搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体，确定关键描述信息对应的富媒体查询结果。

例如，服务器可以先判断关键描述信息与待查询信息的语义、文字或者包含的对象等是否一致，若关键描述信息与待查询信息的语义、文字或者包含的对象等不一致，则关键描述信息与待查询信息不一致，此时可以基于关键描述信息进行信息搜索，例如调用搜索引擎进行多模态信息搜索，得到搜索结果。该搜索结果可以是与关键描述信息相关度从高至低排序后的搜索结果，若搜索结果排在前预设位数中包含富媒体，则说明待查询信息对应的查询结果包括文本查询结果和富媒体查询结果较佳，此时可以将搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体以及富媒体相关的链接等信息，生成关键描述信息对应的富媒体查询结果，从而可以结合搜索能力得到富媒体查询结果，以提高查询结果的丰富性。若搜索结果排在前预设位数中不包含富媒体，则可以仅将文本查询结果发送给终端。若关键描述信息与待查询信息一致，则说明待查询信息对应的查询结果只有文本查询结果最为合适，此时可以将文本查询结果发送给终端，以供终端在交互界面内显示文本查询结果。

在一实施方式中：根据搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体，确定关键描述信息对应的富媒体查询结果，可以包括：获取搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体的富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息；根据富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，生成关键描述信息对应的富媒体查询结果。

其中，富媒体查询结果可以包括富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息(cookie)等，富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息等，可以用于后续交互，例如，富媒体跳转链接可以用于被触发后跳转至富媒体详情页，富媒体点击回传信息可以是点击跳转富媒体详情页后继续推荐更多相关富媒体时请求后台服务的cookie信息，富媒体点击回传信息可以包括富媒体类型、查询字符串标识(docid)、提炼的关键描述信息等信息，这些信息可以通过一定的编码方式编码成字符串。服务器通过获取搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体的富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，将富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息进行融合，可以得到关键描述信息对应的富媒体查询结果，还可以使用当前的富媒体查询结果作为种子，查找相似的富媒体查询结果。其中，文本查询结果和富媒体查询结果的结构可以如下表所示：

S106、将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端。

其中，具体融合方式在此处不做限定，例如，可以将文本查询结果和富媒体查询结果进行首尾拼接，得到目标查询结果，或者，可以将富媒体查询结果插入文本查询结果的合适位置，得到目标查询结果。在得到目标查询结果后，服务器可以将包含文本查询结果和富媒体查询结果的目标查询结果发送给终端，以供终端在交互界面内显示文本查询结果和富媒体查询结果。例如，如果待查询信息中未提及与视频等富媒体相关的信息，但是，如果经过分析确定包含文本查询结果和富媒体查询结果的查询结果较优，则可以获取并将包含文本查询结果和富媒体查询结果的目标查询结果发送给终端。例如，如图3所示，终端可以在交互界面内显示接收到的文本查询结果和富媒体查询结果。

本申请实施例可以基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果，根据多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段，基于内容摘要片段生成待查询信息对应的文本查询结果。以及，当多模态搜索结果中前预设结果不包含富媒体查询结果时，可以基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到富媒体查询结果，将文本查询结果和富媒体查询结果进行融合准确得到多样化的目标查询结果，从而可以提高对信息处理准确性和多样性。

在本实施例中，信息处理方法可以应用于终端等计算机设备，该终端集成有信息处理装置，以下将从终端的角度进行描述。

请参阅图4，图4是本申请一实施例提供的信息处理方法的流程示意图。该信息处理方法可以包括：

S201、显示交互界面，在交互界面内接收输入的待查询信息。

S202、将待查询信息发送给服务器，接收服务器基于待查询信息返回的目标查询结果，目标查询结果包括文本查询结果和富媒体查询结果，文本查询结果基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，富媒体查询结果基于多模态搜索结果中的前预设结果得到，或者基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到。

S203、在交互界面内显示文本查询结果和富媒体查询结果。

本申请实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息处理方法的详细描述，此处不再赘述。

终端在接收到服务器基于待查询信息返回的目标查询结果后，可以在交互界面内显示目标查询结果，例如，若目标查询结果中仅包含文本查询结果，则终端可以在交互界面内显示文本查询结果，若目标查询结果中包括文本查询结果和富媒体查询结果，则终端可以在交互界面内显示文本查询结果和富媒体查询结果。此时，终端可以接收针对文本查询结果或富媒体查询结果的触发操作，对文本查询结果或富媒体查询结果进行查看、发送、或播放等，在此处不做限定。

在一实施方式中，文本查询结果包括文本和文本引用跳转链接，富媒体查询结果包括富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，在交互界面内显示文本查询结果和富媒体查询结果，可以包括：在交互界面的第一显示区域内，显示文本和文本引用跳转链接；在交互界面的第二显示区域内，显示富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息生成的富媒体标识。

其中，文本查询结果中包含的文本可以是基于内容摘要片段进行拼接后得到的拼接后文本，为了提高显示效果，可以将文本查询结果和富媒体查询结果分区显示，例如，如图5所示，终端可以在交互界面的第一显示区域内，显示文本和文本引用跳转链接，通过该文本引用跳转链接可以跳转到对应的源文本(即原始文本)、以及在交互界面的第二显示区域内显示富媒体标识，该富媒体标识可以包括富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息等，通过点击或按压等操作富媒体标识，可以触发富媒体跳转链接跳转至富媒体详情页显示富媒体，该富媒体标识的类型、大小、形状和颜色等可以根据实际需求进行灵活设置，在此不做限定。

在一实施方式中，在交互界面内显示文本查询结果和富媒体查询结果之后，信息处理方法还包括：响应于针对文本引用跳转链接的触发操作，显示文本引用跳转链接对应的原始文本。

其中，针对文本引用跳转链接的触发操作可以是点击操作、按压操作、滑动操作、语音唤醒操作、或手势唤醒操作等，在此不做限定。在终端显示文本查询结果后，终端可以接收用户输入的针对文本查询结果中包含的文本引用跳转链接的触发操作，响应于该触发操作，显示文本引用跳转链接对应的原始文本(即源文本)，方便用户查看，提高了显示的便捷性和灵活性。为了方便用户查看原始文本中内容摘要片段所在的位置，还可以在原始文本中高亮或加粗等方式显示内容摘要片段。例如，可以在设置引用标注来标记原始文本编号时，可以记录各个编号对应的内容摘要片段与源文本之间的映射关系，根据记录的引用标注的编号与对应源文本的映射关系，再结合引用的内容摘要片段在源文本中的位置，可以在文本引用跳转链接上设置对应的位置标记信息，作为引用标注的html<a href>标签，引用标注被触发时即可以跳转到对应的内容摘要片段在原始文本中的位置，并高亮或加粗显示。

在一实施方式中，显示文本引用跳转链接对应的原始文本，可以包括：在交互界面内弹窗显示对话框，并在对话框内显示文本引用跳转链接对应的原始文本；或者，将交互界面切换至文本显示界面，并在文本显示界面内显示文本引用跳转链接对应的原始文本。

例如，如图6所示，终端可以在交互界面内弹窗显示对话框，并在对话框内显示文本引用跳转链接对应的原始文本，提高了文本显示的灵活性。又例如，如图7所示，终端可以将交互界面切换至文本显示界面，并在文本显示界面内显示文本引用跳转链接对应的原始文本，可以方便用户全局查看原始文本。

在一实施方式中，在交互界面内显示文本查询结果和富媒体之后，信息处理方法还包括：响应于针对富媒体跳转链接的触发操作，生成媒体显示界面，并在媒体显示界面内显示富媒体跳转链接对应的富媒体。

其中，针对富媒体跳转链接的触发操作可以是点击操作、按压操作、滑动操作、语音唤醒操作、或手势唤醒操作等，在此不做限定。例如，如图8所示，在显示富媒体查询结果后，终端可以响应于针对富媒体查询结果中富媒体跳转链接的触发操作，生成媒体显示界面，并在媒体显示界面内显示富媒体跳转链接对应的富媒体，例如可以在媒体显示界面内播放视频，提高了富媒体显示的灵活性。

需要说明的是，当富媒体查询结果中富媒体类型包括多种时，可以对多种类型的富媒体进行分组显示，同一类型的富媒体被划分到同一组，可以通过切换按钮切换到不同组显示，或者，可以对多种类型的富媒体进行混合显示等，在此不做限定。

在一实施方式中，在交互界面内显示文本查询结果和富媒体之后，信息处理方法还包括：响应于针对富媒体点击回传信息的触发操作，获取富媒体的富媒体类型；获取与富媒体类型匹配的候选富媒体，在媒体显示界面内显示候选富媒体。

其中，针对富媒体点击回传信息的触发操作可以是点击操作、按压操作、滑动操作、语音唤醒操作、或手势唤醒操作等，在此不做限定。在显示富媒体查询结果后，终端可以响应于针对富媒体查询结果中富媒体点击回传信息的触发操作，触发相关富媒体的推荐过程，先获取富媒体的富媒体类型，然后获取与富媒体类型匹配的候选富媒体，在媒体显示界面内显示候选富媒体。例如，可以先通过触发富媒体跳转链接在媒体显示界面内显示包含富媒体的富媒体详情页，该富媒体详情页中设置有富媒体点击回传信息cookie，通过触发富媒体点击回传信息cookie，获取富媒体的富媒体类型，以及可以基于待查询信息或关键描述信息请求服务器搜索与富媒体类型匹配的富媒体，得到候选富媒体，或者调用富媒体类型对应的垂搜系统搜索与富媒体类型匹配的富媒体，得到候选富媒体，从而可以在媒体显示界面内显示候选富媒体。

在一实施方式中，候选富媒体包括多个，在媒体显示界面内显示候选富媒体，可以包括：接收到翻页指令，基于翻页指令将媒体显示界面内当前显示的候选富媒体切换至另一候选富媒体显示。

其中，翻页指令可以是滑动指令、语音切换指令、或手势切换指令等，在此不做限定。例如，如图9所示，当在媒体显示界面内接收到用户输入的向上滑动的滑动指令时，终端可以将媒体显示界面内当前显示的候选富媒体切换至另一候选富媒体显示，例如从富媒体A切换至富媒体B显示。

本申请实施例可以基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成文本查询结果，以及基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到富媒体查询结果，在交互界面内显示文本查询结果和富媒体查询结果，从而可以提高查询结果显示的多样性和准确性。

根据上述实施例所描述的方法，以下将举例作进一步详细说明。

本实施例以信息处理方法应用于信息处理系统为例，该信息处理系统可以包括终端和服务器，终端和服务器之间可以进行交互，例如，如图10所示，终端可以显示交互界面，并在交互界面内接收待查询信息(可以称为问题)，将待查询信息发送给服务器。服务器可以搜索待查询信息对应的目标查询结果(可以称为答案)，并将目标查询结果发送给终端，该目标查询结果可以包括文本查询结果和富媒体查询结果等。终端可以显示目标查询结果，还可以响应于针对目标查询结果的操作，显示相关信息，例如可以显示源文本或富媒体等。具体地，请参阅图11，图11为本申请实施例提供的信息处理方法的流程示意图。该方法流程可以包括：

S301、终端显示交互界面，在交互界面内接收待查询信息。

S302、终端将待查询信息发送给服务器。

S303、服务器基于待查询信息进行多模态信息搜索，得到多模态搜索结果。

S304、服务器对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段。

S305、服务器基于内容摘要片段，生成待查询信息对应的文本查询结果。

例如，服务器可以通过ChatGPT基于内容摘要片段，生成待查询信息对应的文本查询结果。

S306、服务器判断多模态搜索结果中前预设结果是否包含富媒体查询结果；若是，则执行步骤S307，若否，则执行步骤S308。

S307、服务器将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，将目标查询结果发送给终端。

S308、服务器对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息，搜索与关键描述信息相关度高的富媒体查询结果，将文本查询结果和富媒体查询结果进行融合，得到目标查询结果。

S309、服务器将目标查询结果发送给终端。

例如，服务器可以通过ChatGPT对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息。若搜索到与关键描述信息相关度高的富媒体查询结果，则可以将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端；若未搜索到与关键描述信息相关度高的富媒体查询结果，则可以将文本查询结果发送给终端。其中，相关度高可以是相关度大于预设阈值，该预设阈值在此处不作限定，或者相关度高可以基于关键描述信息进行多模态信息搜索，得到的按照与关键描述信息相关度从高至低进行排序多模态搜索结果中排在前预设位(例如前三位)，即排在前预设位的富媒体查询结果为与关键描述信息相关度高的富媒体查询结果。

S310、终端在交互界面内显示包含文本查询结果和富媒体查询结果的目标查询结果。

S311、终端响应于针对文本查询结果的操作，显示文本查询结果中内容摘要片段对应的源文本。

例如，终端可以接收用户输入的针对文本查询结果中包含的文本引用跳转链接的触发操作，响应于该触发操作，显示文本引用跳转链接对应的源文本，即内容摘要片段对应的源文本。

S312、终端响应于针对富媒体查询结果的操作，显示富媒体查询结果对应的富媒体。

例如，终端可以响应于针对富媒体查询结果中富媒体跳转链接的触发操作，跳转至媒体显示界面，并在媒体显示界面内显示富媒体跳转链接对应的富媒体，还可以推荐相关富媒体或者翻页显示富媒体等。

需要说明的是，步骤S304和步骤306之间的执行先后顺序可以根据实际需要求进行灵活设置，在此处不作限定，例如，可以先执行步骤S306后执行步骤304，或者步骤S304和步骤306同时执行等。以及，步骤S311和步骤312之间的执行先后顺序可以根据实际需要求进行灵活设置，在此处不作限定，例如，可以先执行步骤S312后执行步骤311。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息处理方法的详细描述，此处不再赘述。

可以理解的是，在本申请的具体实施方式中，涉及到文本和富媒体等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得相关用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

为便于更好的实施本申请实施例提供的信息处理方法，本申请实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图12，图12为本申请实施例提供的信息处理装置的结构示意图，其中该信息处理装置400可以包括搜索单元401、提取单元402、生成单元403、提炼单元404、获取单元405以及融合单元406等。

其中，搜索单元401，用于接收终端发送的在交互界面内输入的待查询信息，基于待查询信息进行多模态信息搜索，得到多模态搜索结果，多模态搜索结果按照与待查询信息相关度从高至低的顺序进行排序；

提取单元402，用于对多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段。

生成单元403，用于基于内容摘要片段，生成待查询信息对应的文本查询结果。

提炼单元404，用于若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息。

获取单元405，用于获取关键描述信息对应的富媒体查询结果。

融合单元406，用于将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端。

在一实施方式中，信息处理装置400还包括：

结果融合单元，用于若多模态搜索结果中前预设结果包含富媒体查询结果，则将文本查询结果和富媒体查询结果进行融合，得到目标查询结果；

第一发送单元，用于将目标查询结果发送给终端。

在一实施方式中，结果融合单元具体可以用于：若多模态搜索结果中前预设结果包含富媒体查询结果，则判断前预设结果包含富媒体查询结果的富媒体类型是否相同；若富媒体类型相同，则将前预设结果中排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果；若富媒体类型不相同，则将前预设结果中针对各类型排在首位的富媒体查询结果，与文本查询结果进行融合，得到目标查询结果。

在一实施方式中，提炼单元404具体可以用于：将对文本查询结果作为生成模型的输入，通过生成模型基于文本内容完整性、包含指定关键信息和字数要求，进行关键信息提炼，得到文本查询结果对应的关键描述信息。

在一实施方式中，获取单元405可以包括：

搜索模块，用于若关键描述信息与待查询信息不一致，则基于关键描述信息进行信息搜索，得到搜索结果；

确定模块，用于根据搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体，确定关键描述信息对应的富媒体查询结果。

在一实施方式中，确定模块具体可以用于：获取搜索结果中与关键描述信息相关度大于目标相关度阈值的富媒体的富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息；根据富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，生成关键描述信息对应的富媒体查询结果。

在一实施方式中，信息处理装置400还包括：

第二发送单元，用于若关键描述信息与待查询信息一致，则将文本查询结果发送给终端。

在一实施方式中，内容摘要片段包括多个，生成单元403可以包括：

生成模块，用于将多个内容摘要片段作为生成模型的输入，通过生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，并添加内容摘要片段对应的文本引用跳转链接，输出待查询信息对应的文本查询结果。

在一实施方式中，生成模块具体可以用于：通过生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，输出拼接后文本；将拼接后文本与内容摘要片段对应的原始文本进行语义匹配；若拼接后文本与内容摘要片段对应的原始文本匹配，则在拼接后文本中添加内容摘要片段对应的文本引用跳转链接，得到文本查询结果。

本申请实施例可以由搜索单元401基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果，由提取单元402根据多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段，由生成单元403基于内容摘要片段生成待查询信息对应的文本查询结果。以及，当多模态搜索结果中前预设结果不包含富媒体查询结果时，可以由提炼单元404基于对文本查询结果进行关键信息提炼得到关键描述信息，由获取单元405基于关键描述信息获取得到富媒体查询结果，由融合单元406将文本查询结果和富媒体查询结果进行融合准确得到多样化的目标查询结果，从而可以提高对信息处理准确性和多样性。

为便于更好的实施本申请实施例提供的信息处理方法，本申请实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图13，图13为本申请实施例提供的信息处理装置的结构示意图，其中该信息处理装置500可以包括第一显示单元501、接收单元502、以及第二显示单元503等。

其中，第一显示单元501，用于显示交互界面，在交互界面内接收输入的待查询信息。

接收单元502，用于将待查询信息发送给服务器，接收服务器基于待查询信息返回的目标查询结果，目标查询结果包括文本查询结果和富媒体查询结果，文本查询结果基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，富媒体查询结果基于多模态搜索结果中的前预设结果得到，或者基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到。

第二显示单元503，用于在交互界面内显示文本查询结果和富媒体查询结果。

在一实施方式中，文本查询结果包括文本和文本引用跳转链接，富媒体查询结果包括富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，第二显示单元503具体可以用于：在交互界面的第一显示区域内，显示文本和文本引用跳转链接；在交互界面的第二显示区域内，显示富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息生成的富媒体标识。

在一实施方式中，信息处理装置500还可以包括：

第三显示单元，用于响应于针对文本引用跳转链接的触发操作，显示文本引用跳转链接对应的原始文本。

在一实施方式中，第三显示单元具体可以用于，在交互界面内弹窗显示对话框，并在对话框内显示文本引用跳转链接对应的原始文本；或者，将交互界面切换至文本显示界面，并在文本显示界面内显示文本引用跳转链接对应的原始文本。

在一实施方式中，信息处理装置500还可以包括：

第四显示单元，用于响应于针对富媒体跳转链接的触发操作，生成媒体显示界面，并在媒体显示界面内显示富媒体跳转链接对应的富媒体。

在一实施方式中，信息处理装置500还可以包括：

第五显示单元，用于响应于针对富媒体点击回传信息的触发操作，获取富媒体的富媒体类型；获取与富媒体类型匹配的候选富媒体，在媒体显示界面内显示候选富媒体。

在一实施方式中，第五显示单元具体可以用于：接收到翻页指令，基于翻页指令将媒体显示界面内当前显示的候选富媒体切换至另一候选富媒体显示。

本申请实施例可以由第一显示单元501在交互界面内接收输入的待查询信息，由接收单元502将待查询信息发送给服务器，并接收服务器基于待查询信息返回的包括文本查询结果和富媒体查询结果的目标查询结果，以使得服务器基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成文本查询结果，以及基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到富媒体查询结果，此时可以由第二显示单元503在交互界面内显示文本查询结果和富媒体查询结果，从而可以提高查询结果显示的多样性和准确性。

本申请实施例还提供一种计算机设备，该计算机设备可以是终端或服务器等，如图14所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图14中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

当计算机设备为服务器时，可以接收终端发送的在交互界面内输入的待查询信息，基于待查询信息进行多模态信息搜索，得到多模态搜索结果；根据多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；基于内容摘要片段，生成待查询信息对应的文本查询结果；若多模态搜索结果中前预设结果不包含富媒体查询结果，则对文本查询结果进行关键信息提炼，得到文本查询结果对应的关键描述信息；获取关键描述信息对应的富媒体查询结果；将文本查询结果和富媒体查询结果进行融合，得到目标查询结果，并将目标查询结果发送给终端。

当计算机设备为终端时，可以显示交互界面，在交互界面内接收输入的待查询信息；将待查询信息发送给服务器，接收服务器基于待查询信息返回的目标查询结果，目标查询结果包括文本查询结果和富媒体查询结果，文本查询结果基于针对待查询信息进行多模态信息搜索，得到的多模态搜索结果中与待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，富媒体查询结果基于多模态搜索结果中的前预设结果得到，或者基于对文本查询结果进行关键信息提炼得到的关键描述信息获取得到；在交互界面内显示文本查询结果和富媒体查询结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息处理方法的详细描述，此处不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机指令来完成，或通过计算机指令控制相关的硬件来完成，该计算机指令可以存储于一计算机可读存储介质(即存储介质)中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有计算机程序，计算机程序可以包括计算机指令，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种信息处理方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种信息处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种信息处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种信息处理方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种信息处理方法，其特征在于，应用于服务器，包括：

接收终端发送的在交互界面内输入的待查询信息，基于所述待查询信息进行多模态信息搜索，得到多模态搜索结果；

对所述多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；

基于所述内容摘要片段，生成所述待查询信息对应的文本查询结果；

若所述多模态搜索结果中前预设结果不包含富媒体查询结果，则对所述文本查询结果进行关键信息提炼，得到所述文本查询结果对应的关键描述信息；

获取所述关键描述信息对应的富媒体查询结果；

将所述文本查询结果和所述富媒体查询结果进行融合，得到目标查询结果，并将所述目标查询结果发送给所述终端。

2.根据权利要求1所述的信息处理方法，其特征在于，所述基于所述待查询信息进行多模态信息搜索，得到多模态搜索结果之后，所述信息处理方法还包括：

若所述多模态搜索结果中前预设结果包含富媒体查询结果，则将所述文本查询结果和所述富媒体查询结果进行融合，得到目标查询结果；

将所述目标查询结果发送给所述终端。

3.根据权利要求2所述的信息处理方法，其特征在于，所述若所述多模态搜索结果中前预设结果包含富媒体查询结果，则将所述文本查询结果和所述多模态搜索结果中前预设结果包含的富媒体查询结果进行融合，得到目标查询结果，包括：

若所述多模态搜索结果中前预设结果包含富媒体查询结果，则判断前预设结果包含富媒体查询结果的富媒体类型是否相同；

若富媒体类型相同，则将前预设结果中排在首位的富媒体查询结果，与所述文本查询结果进行融合，得到目标查询结果；

若富媒体类型不相同，则将前预设结果中针对各类型排在首位的富媒体查询结果，与所述文本查询结果进行融合，得到目标查询结果。

4.根据权利要求1所述的信息处理方法，其特征在于，所述对所述文本查询结果进行关键信息提炼，得到所述文本查询结果对应的关键描述信息，包括：

将对所述文本查询结果作为生成模型的输入，通过所述生成模型基于文本内容完整性、包含指定关键信息和字数要求，进行关键信息提炼，得到所述文本查询结果对应的关键描述信息。

5.根据权利要求1所述的信息处理方法，其特征在于，所述获取所述关键描述信息对应的富媒体查询结果，包括：

若所述关键描述信息与所述待查询信息不一致，则基于所述关键描述信息进行信息搜索，得到搜索结果；

根据所述搜索结果中与所述关键描述信息相关度大于目标相关度阈值的富媒体，确定所述关键描述信息对应的富媒体查询结果。

6.根据权利要求5所述的信息处理方法，其特征在于，所述根据所述搜索结果中与所述关键描述信息相关度大于目标相关度阈值的富媒体，确定所述关键描述信息对应的富媒体查询结果，包括：

获取所述搜索结果中与所述关键描述信息相关度大于目标相关度阈值的所述富媒体的富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息；

根据所述富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，生成所述关键描述信息对应的富媒体查询结果。

7.根据权利要求5所述的信息处理方法，其特征在于，所述信息处理方法还包括：

若所述关键描述信息与所述待查询信息一致，则将所述文本查询结果发送给所述终端。

8.根据权利要求1至7任一项所述的信息处理方法，其特征在于，所述内容摘要片段包括多个，所述基于所述内容摘要片段，生成所述待查询信息对应的文本查询结果，包括：

将所述多个内容摘要片段作为生成模型的输入，通过所述生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，并添加所述内容摘要片段对应的文本引用跳转链接，输出所述待查询信息对应的文本查询结果。

9.根据权利要求8所述的信息处理方法，其特征在于，通过所述生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，并添加所述内容摘要片段对应的文本引用跳转链接，输出所述待查询信息对应的文本查询结果，包括：

通过所述生成模型按照预设文本生成模板对多个内容摘要片段进行拼接，输出拼接后文本；

将所述拼接后文本与所述内容摘要片段对应的原始文本进行语义匹配；

若所述拼接后文本与所述内容摘要片段对应的原始文本匹配，则在所述拼接后文本中添加所述内容摘要片段对应的文本引用跳转链接，得到文本查询结果。

10.一种信息处理方法，其特征在于，应用于终端，包括：

显示交互界面，在所述交互界面内接收输入的待查询信息；

将所述待查询信息发送给服务器，接收所述服务器基于所述待查询信息返回的目标查询结果，所述目标查询结果包括文本查询结果和富媒体查询结果，所述文本查询结果基于针对所述待查询信息进行多模态信息搜索，得到的多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，所述富媒体查询结果基于所述多模态搜索结果中的前预设结果得到，或者基于对所述文本查询结果进行关键信息提炼得到的关键描述信息获取得到；

在所述交互界面内显示所述文本查询结果和所述富媒体查询结果。

11.根据权利要求10所述的信息处理方法，其特征在于，所述文本查询结果包括文本和文本引用跳转链接，所述富媒体查询结果包括所述富媒体、富媒体封面链接、富媒体跳转链接、以及富媒体点击回传信息，所述在所述交互界面内显示所述文本查询结果和所述富媒体查询结果，包括：

在所述交互界面的第一显示区域内，显示所述文本和所述文本引用跳转链接；

在所述交互界面的第二显示区域内，显示所述富媒体、所述富媒体封面链接、所述富媒体跳转链接、以及所述富媒体点击回传信息生成的富媒体标识。

12.根据权利要求11所述的信息处理方法，其特征在于，所述在所述交互界面内显示所述文本查询结果和所述富媒体查询结果之后，所述信息处理方法还包括：

响应于针对所述文本引用跳转链接的触发操作，显示所述文本引用跳转链接对应的原始文本。

13.根据权利要求11所述的信息处理方法，其特征在于，所述显示所述文本引用跳转链接对应的原始文本，包括：

在所述交互界面内弹窗显示对话框，并在所述对话框内显示所述文本引用跳转链接对应的原始文本；或者，

将所述交互界面切换至文本显示界面，并在所述文本显示界面内显示所述文本引用跳转链接对应的原始文本。

14.根据权利要求11所述的信息处理方法，其特征在于，所述在所述交互界面内显示所述文本查询结果和所述富媒体查询结果之后，所述信息处理方法还包括：

响应于针对所述富媒体跳转链接的触发操作，生成媒体显示界面，并在所述媒体显示界面内显示所述富媒体跳转链接对应的富媒体。

15.根据权利要求11至14任一项所述的信息处理方法，其特征在于，所述在所述交互界面内显示所述文本查询结果和所述富媒体查询结果之后，所述信息处理方法还包括：

响应于针对所述富媒体点击回传信息的触发操作，获取所述富媒体的富媒体类型；

获取与所述富媒体类型匹配的候选富媒体，在媒体显示界面内显示所述候选富媒体。

16.根据权利要求15所述的信息处理方法，其特征在于，所述候选富媒体包括多个，所述在媒体显示界面内显示所述候选富媒体，包括：

接收到翻页指令，基于所述翻页指令所述将媒体显示界面内当前显示的候选富媒体切换至另一候选富媒体显示。

17.一种信息处理装置，其特征在于，包括：

搜索单元，用于接收终端发送的在交互界面内输入的待查询信息，基于所述待查询信息进行多模态信息搜索，得到多模态搜索结果；

提取单元，用于对所述多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到内容摘要片段；

生成单元，用于基于所述内容摘要片段，生成所述待查询信息对应的文本查询结果；

提炼单元，用于若所述多模态搜索结果中前预设结果不包含富媒体查询结果，则对所述文本查询结果进行关键信息提炼，得到所述文本查询结果对应的关键描述信息；

获取单元，用于获取所述关键描述信息对应的富媒体查询结果；

融合单元，用于将所述文本查询结果和所述富媒体查询结果进行融合，得到目标查询结果，并将所述目标查询结果发送给所述终端。

18.一种信息处理装置，其特征在于，包括：

第一显示单元，用于显示交互界面，在所述交互界面内接收输入的待查询信息；

接收单元，用于将所述待查询信息发送给服务器，接收所述服务器基于所述待查询信息返回的目标查询结果，所述目标查询结果包括文本查询结果和富媒体查询结果，所述文本查询结果基于针对所述待查询信息进行多模态信息搜索，得到的多模态搜索结果中与所述待查询信息相关度大于预设相关度阈值的文本进行内容摘要提取，得到的内容摘要片段生成，所述富媒体查询结果基于所述多模态搜索结果中的前预设结果得到，或者基于对所述文本查询结果进行关键信息提炼得到的关键描述信息获取得到；

第二显示单元，用于在所述交互界面内显示所述文本查询结果和所述富媒体查询结果。

19.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至9任一项所述的信息处理方法，或者执行如权利要求10至16任一项所述的信息处理方法。

20.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行权利要求1至9任一项所述的信息处理方法，或者执行如权利要求10至16任一项所述的信息处理方法。