CN108334627B - 新媒体内容的搜索方法、装置和计算机设备 - Google Patents

Abstract

本申请提出一种新媒体内容的搜索方法、装置和计算机设备，上述新媒体内容的搜索方法包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。本申请可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

Description

新媒体内容的搜索方法、装置和计算机设备

技术领域

本申请涉及搜索技术领域，尤其涉及一种新媒体内容的搜索方法、装置和计算机设备。

背景技术

随着计算技术的发展，全景(panorama)图片、全景视频、三维(Three Dimension；以下简称：3D)模型、三维动画及其在虚拟现实(Virtual Reality；以下简称：VR)和增强现实(Augmented Reality；以下简称：AR)场景下的展示与用户交互代表了下一代信息展现的形态和趋势，已受到越来越多的关注。同时，摄影技术(如鱼眼镜头、全景相机、深度摄像头等)、建模技术(如3D扫描工具、动作追踪等)、以及编程工具的高速发展，使此类内容的生产越来越容易，在互联网上，此类内容也将越来越多地出现。主流的网页浏览器现已支持对此类内容的展示和交互。下文将全景、3D、VR和/或AR这类内容统称为“新媒体内容”，与传统内容(文本、二维图片、视频和/或音频)相比，新媒体内容具有连贯性、多线性、多角度、临场感、大空间、高交互、信息即时性和线上联动线下等优点。这些新媒体内容具有更加丰富的视觉信息、能提供更具沉浸感、真实性和趣味性的视觉体验，尤其适合支持复杂环境、虚拟户外、沉浸探索、操作指导等场景下的信息展示和用户交互，在人工智能时代下，可以提供用户搜索需求的更高满足感。

传统的互联网搜索技术主要利用文本信息对海量网页内容进行索引，典型地，利用词频-逆向文件频率(Term Frequency–Inverse Document Frequency；以下简称：TF-IDF)以及词向量(word2vec)技术等在网页库中建立文字索引并搜索内容匹配用户文本查询(query)的网页。随着图片、视频内容的大量出现以及深度神经网络技术的发展，图片搜索——以用户上传或拍摄的图片作为检索词、在图片库中搜索相同图片或含有相似内容的图片——也得到快速发展，已成为当代搜索引擎的标配能力之一。此外，语音搜索和音乐搜索也得到长足发展。语音搜索可归结为语音识别加文本搜索，音乐搜索则针对音乐旋律进行声学上的匹配搜索。

然而，针对上文提到的新媒体内容，由于其形态超越了文本、普通二维图片、视频和/或音乐的表达空间，当前的搜索引擎技术缺乏行之有效的搜索技术，使用户无法直观快捷地搜索到相关内容。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种新媒体内容的搜索方法，以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

本申请的第二个目的在于提出一种新媒体内容的搜索装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种新媒体内容的搜索方法，包括：获取用户输入的检索词，所述检索词包括图片；对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。

本申请实施例的新媒体内容的搜索方法中，获取用户输入的检索词之后，对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

为达上述目的，本申请第二方面实施例提出了一种新媒体内容的搜索装置，包括：获取模块，用于获取用户输入的检索词，所述检索词包括图片；图片识别模块，用于对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；键值获得模块，用于根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；匹配模块，用于对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；选择模块，用于按照匹配度由高到低的顺序选择预定数量的新媒体内容；呈现模块，用于通过浏览器呈现所述选择模块选择的新媒体内容。

本申请实施例的新媒体内容的搜索装置中，获取模块获取用户输入的检索词之后，图片识别模块对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后键值获得模块根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，匹配模块对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后选择模块按照匹配度由高到低的顺序选择预定数量的新媒体内容，呈现模块通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

为达上述目的，本申请第三方面实施例提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请新媒体内容的搜索方法一个实施例的流程图；

图2为本申请新媒体内容的搜索方法一个实施例的示意图；

图3为本申请新媒体内容的搜索方法另一个实施例的流程图；

图4为本申请新媒体内容的搜索方法再一个实施例的流程图；

图5为本申请新媒体内容的搜索方法中获得新媒体内容的键值一个实施例的示意图；

图6为本申请新媒体内容的搜索方法再一个实施例的流程图；

图7为本申请新媒体内容的搜索装置一个实施例的结构示意图；

图8为本申请新媒体内容的搜索装置另一个实施例的结构示意图；

图9为本申请计算机设备一个实施例的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

图1为本申请新媒体内容的搜索方法一个实施例的流程图，上述新媒体内容的搜索方法的应用场景可以为：用户浏览网页时，看到一张图片(例如：一张霸王龙的手绘艺术画)，此时用户希望查找与霸王龙有关的新媒体内容。通过特定用户交互方式触发搜索命令后，搜索引擎搜索获得与霸王龙有关的新媒体内容，然后由浏览器展示查找到的按相关性排序的新媒体内容列表，用户点选列表中的新媒体内容，浏览器展示对应的新媒体内容。

如图1所示，上述新媒体内容的搜索方法可以包括：

步骤101，获取用户输入的检索词，上述检索词包括图片。

其中，上述图片的形式不限，也可为用户上传文件或手绘草图。

具体地，参见图2，搜索引擎可以通过网络接口接收浏览器客户端发送的上述用户输入的检索词，图2为本申请新媒体内容的搜索方法一个实施例的示意图。上述网络接口可以基于超文本传输协议(Hypertext Transfer Protocol；以下简称：HTTP)、基于安全套接层的HTTP(Hyper Text Transfer Protocol over Secure Socket Layer；以下简称：HTTPS)等协议的各类应用程序编程接口(Application Programming Interface；以下简称：API)实现，本实施例对上述网络接口的实现形式不作限定。

步骤102，对上述图片进行语义分析和内容识别，获得上述图片的视觉特征信息。

步骤103，根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值。

步骤104，对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度。

本实施例中，检索键值(key)和新媒体内容的键值均为编码向量的形式，可以采用余弦相似度等能够度量向量相似程度的方法对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，也可基于离线训练的机器学习模型实现匹配度的计算，本实施例对所采用的匹配方法不作限定。

本实施例中，上述新媒体内容可以包括全景、3D、VR和/或AR这类内容，新媒体内容具有连贯性、多线性、多角度、临场感、大空间、高交互、信息即时性和线上联动线下等优点。新媒体内容具有更加丰富的视觉信息、能提供更具沉浸感、真实性和趣味性的视觉体验，尤其适合支持复杂环境、虚拟户外、沉浸探索、操作指导等场景下的信息展示和用户交互，在人工智能时代下，可以提供用户搜索需求的更高满足感。

步骤105，按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。

其中，上述预定数量可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定数量的大小不作限定。

本实施例中，在获得匹配的新媒体内容和对应的匹配度之后，可以按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容。当然浏览器最终呈现的新媒体内容的排序，还可考虑额外因素，包括但不限于新媒体内容的质量评估指数(例如：优质、低质、分辨率和/或模型精细程度等)、用户历史点击记录和/或法律法规等。

步骤105之后，用户可以在浏览器界面上浏览所呈现的新媒体内容，进而用户可以通过一定的交互方式在呈现的新媒体内容中选择要展示的新媒体内容，由浏览器进行展示。

本实施例中，步骤102、步骤103和步骤104可通过离线方式预先计算，从而加速在线的搜索过程。例如，可以离线方式预先对全网网页的图片库逐张进行检索键值提取，并离线对新媒体内容资源库(其中的内容由搜索引擎爬虫爬取或新媒体内容生产者提供)的全部资源进行基于视角采样的键值提取，此外，以离线方式进行特征匹配和排序，建立静态的查找表结构，将任意网页中的图片建立起与新媒体内容资源的关联。在线搜索时，则可以通过查表快速获取相匹配的新媒体内容。该查找表可通过增量计算方式更新。如果用户输入的检索词不在查找表中，则可进行在线计算。上述在线和离线计算的过程均可通过并行计算等技术进行加速。

上述新媒体内容的搜索方法中，获取用户输入的检索词之后，对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

图3为本申请新媒体内容的搜索方法另一个实施例的流程图，本实施例中，上述检索词还可以包括：上述图片的文本上下文；其中，上述图片的文本上下文可通过传统数据分析技术获得，典型的例子可以包括图片标题、图片文件名和/或环绕图片的文本片段等，也可通过额外语音交互获取用户输入的语音，再将语音转化为文本获得，本实施例对获得上述图片的文本上下文的方法不作限定。

如图3所示，本申请图1所示实施例中，步骤102之后，还可以包括：

步骤301，检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性。

具体地，检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性可以为：计算上述图片的视觉特征信息中的图片语义与上述文本上下文语义的匹配程度，上述匹配程度可以为一个实数打分或一个多维向量。当上述匹配程度满足一定预设条件时(例如：实数的大小超过一定阈值)，则可以认为语义一致，否则认为不一致。

在具体实现时，可以基于字典、概念树(taxonomy)或词向量等方法将上述文本上下文与上述图片的视觉特征信息中的物体类别标签进行文本相似度的比对；或者，

可以利用多模态神经网络技术学习“通感”特征，将文本上下文语义和图片语义进行抽象特征级别的对应。可基于离线预训练方式得到模型，从而对文本上下文进行特征提取、并与表征图片语义的特征进行匹配程度的计算。

特别地，如果用户输入的检索词中不包含文本上下文，只有图片，则可以不检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性，可简单将检验结果置为“不一致”。

这时，步骤103可以包括：

步骤302，如果上述图片语义与上述文本上下文语义一致，则将上述图片的视觉特征信息中用于表征图片语义的特征向量与上述文本上下文的特征信息进行融合，获得融合后的特征向量编码，如果上述图片语义与上述文本上下文语义不一致，则根据上述图片的视觉特征信息中用于表征图片语义的特征向量，获得特征向量编码。

其中，上述文本上下文的特征信息包括上述文本上下文的文本原文和/或上述文本上下文的特征向量；

本实施例中，当上述图片语义与上述文本上下文语义一致时，可以通过多模态神经网络技术、或简单的合并、拼接等方式将文本上下文的特征信息与用于表征图片语义的特征向量进行融合，获得融合后的特征向量编码。融合后的特征向量编码包含更丰富的信息，文本特征作为图像特征的补充，有助于检索到更相关的新媒体内容。

当上述图片语义与上述文本上下文语义不一致时，可以只保留用于表征图片语义的特征向量，文本特征留空。表示此时更加信赖图片语义，文本上下文因获取过程存在一定的不准确的可能性，相对图片的可信赖度较低。

图4为本申请新媒体内容的搜索方法再一个实施例的流程图，如图4所示，本申请图1所示实施例中，步骤104之前，还可以包括：

步骤401，基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得上述新媒体内容的键值。

参见图5，图5为本申请新媒体内容的搜索方法中获得新媒体内容的键值一个实施例的示意图，具体地，可以通过改变观察位置、观察角度和/或可视范围，对上述新媒体内容资源库中的新媒体内容进行视角采样，获取至少两张图片，其中，上述至少两张图片中的每张图片均为将上述新媒体内容在可视范围内，按照观察角度在观察位置进行平面投影所得；对于包含动画内容的新媒体内容，则进一步配合帧采样在时间轴上采样生成图片；然后，对上述图片进行语义分析和内容识别，获得上述图片的视觉特征信息；最后，可以根据上述图片的视觉特征信息，获得特征向量编码，作为上述新媒体内容的键值。

图6为本申请新媒体内容的搜索方法再一个实施例的流程图，如图6所示，本申请图1所示实施例中，步骤102可以包括：

步骤601，通过显著性检测算法识别上述图片中主体内容的位置，去除上述图片的背景，保留前景。

其中，上述显著性检测算法可以为基于卷积神经网络的方法，也可以为其他算法，本实施例对此不作限定。

步骤602，通过物体检测和分类算法定位上述图片中存在的物体，并识别上述图片中各物体的类别，获得上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、以及上述图片中各物体的类别标签。

举例来说，上述图片中各物体的类别可以为恐龙、杯子或向日葵等。

步骤603，通过通用图像识别算法对上述图片的整体和/或局部进行特征提取，获得上述图片的视觉特征向量。

其中，上述图片的视觉特征向量在一定程度上编码了图片语义的信息，可看作一种图片语义的数值化表达。

步骤604，对上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、上述图片中各物体的类别标签和上述图片的视觉特征向量进行组合，获得上述图片的视觉特征信息。

具体地，上述图片的视觉特征信息可以通过合并、拼接等方式组合上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、上述图片中各物体的类别标签和上述图片的视觉特征向量得到。最终获得的上述图片的视觉特征信息可以包括：图片整体视觉特征向量、根据物体区域坐标分割的各区域的视觉特征向量和/或识别出的物体类别标签等。

本实施例中，步骤601～步骤603可以顺序执行，也可以先后执行，本实施例对步骤601～步骤603的执行顺序不作限定。步骤601～步骤603中任意一步内，所用识别、分类等的模型可通过离线预训练方式得到，也可复用现有图片搜索对图像提取特征的模块。

需要说明的是，本申请图4所示实施例中，获得上述新媒体内容的键值的过程中，对上述图片进行语义分析和内容识别，获得上述图片的视觉特征信息的步骤，也可以通过图6所示的流程实现。

本申请实施例提供的新媒体内容的搜索方法可以使搜索引擎充分发掘新媒体内容的展现价值，在搜索结果页中可以唤起全景、3D、VR和/或AR等具有3维空间感的新媒体内容。全景和/或VR内容可以模拟真实的三维空间，给用户带来身临其境的沉浸体验；3D和/或AR内容可以带来生动直观可交互的搜索体验。

在生态建设方面，本申请为新媒体内容打开新的入口。经基于真实数据的估算，本申请可以产生9倍以上的分发效能，对于搜素引擎生态建设可产生巨大作用。通过扩大新媒体内容的影响面，提高新媒体内容的价值，促进新媒体内容的生产，可构建更好的新媒体内容生态。新媒体内容生态的完善建设有助于提升用户的搜索体验。

图7为本申请新媒体内容的搜索装置一个实施例的结构示意图，本申请实施例中的新媒体内容的搜索装置可以实现本申请实施例提供的新媒体内容的搜索方法。如图7所示，上述新媒体内容的搜索装置可以包括：获取模块71、图片识别模块72、键值获得模块73、匹配模块74、选择模块75和呈现模块76；

其中，获取模块71，用于获取用户输入的检索词，上述检索词包括图片；其中，上述图片的形式不限，也可为用户上传文件或手绘草图。具体地，参见图2，搜索引擎可以通过网络接口接收浏览器客户端发送的上述用户输入的检索词。上述网络接口可以基于HTTP、HTTPS等协议的各类API实现，本实施例对上述网络接口的实现形式不作限定。

图片识别模块72，用于对上述图片进行语义分析和内容识别，获得上述图片的视觉特征信息；

键值获得模块73，用于根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值；

匹配模块74，用于对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；

本实施例中，检索键值(key)和新媒体内容的键值均为编码向量的形式，可以采用余弦相似度等能够度量向量相似程度的方法对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，也可基于离线训练的机器学习模型实现匹配度的计算，本实施例对匹配模块74所采用的匹配方法不作限定。

本实施例中，上述新媒体内容可以包括全景、3D、VR和/或AR这类内容，新媒体内容具有连贯性、多线性、多角度、临场感、大空间、高交互、信息即时性和线上联动线下等优点。新媒体内容具有更加丰富的视觉信息、能提供更具沉浸感、真实性和趣味性的视觉体验，尤其适合支持复杂环境、虚拟户外、沉浸探索、操作指导等场景下的信息展示和用户交互，在人工智能时代下，可以提供用户搜索需求的更高满足感。

选择模块75，用于按照匹配度由高到低的顺序选择预定数量的新媒体内容；其中，上述预定数量可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定数量的大小不作限定。

呈现模块76，用于通过浏览器呈现选择模块75选择的新媒体内容。

本实施例中，在匹配模块74获得匹配的新媒体内容和对应的匹配度之后，选择模块75可以按照匹配度由高到低的顺序选择预定数量的新媒体内容，呈现模块76通过浏览器呈现选择的新媒体内容。当然浏览器最终呈现的新媒体内容的排序，还可考虑额外因素，包括但不限于新媒体内容的质量评估指数(例如：优质、低质、分辨率和/或模型精细程度等)、用户历史点击记录和/或法律法规等。

之后，用户可以在浏览器界面上浏览所呈现的新媒体内容，进而用户可以通过一定的交互方式在呈现的新媒体内容中选择要展示的新媒体内容，由浏览器进行展示。

本实施例中，图片识别模块72、键值获得模块73和匹配模块74可通过离线方式预先计算，从而加速在线的搜索过程。例如，键值获得模块73可以离线方式预先对全网网页的图片库逐张进行检索键值提取，并离线对新媒体内容资源库(其中的内容由搜索引擎爬虫爬取或新媒体内容生产者提供)的全部资源进行基于视角采样的键值提取，此外，匹配模块74以离线方式进行特征匹配和排序，建立静态的查找表结构，将任意网页中的图片建立起与新媒体内容资源的关联。在线搜索时，则可以通过查表快速获取相匹配的新媒体内容。该查找表可通过增量计算方式更新。如果用户输入的检索词不在查找表中，则可进行在线计算。上述在线和离线计算的过程均可通过并行计算等技术进行加速。

上述新媒体内容的搜索装置中，获取模块71获取用户输入的检索词之后，图片识别模块72对上述检索词中的图片进行语义分析和内容识别，获得上述图片的视觉特征信息，然后键值获得模块73根据上述图片的视觉特征信息，获得特征向量编码，作为从上述用户输入的检索词中提取的检索键值，匹配模块74对上述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度，最后选择模块75按照匹配度由高到低的顺序选择预定数量的新媒体内容，呈现模块76通过浏览器呈现选择的新媒体内容，从而可以实现在搜索引擎中直观快捷地搜索到新媒体内容，充分发掘新媒体内容的展现价值，提升用户的搜索体验。

图8为本申请新媒体内容的搜索装置另一个实施例的结构示意图，与图7所示的层次化构建装置相比，不同之处在于，图8所示的新媒体内容的搜索装置中，上述检索词还可以包括：上述图片的文本上下文；其中，上述图片的文本上下文可通过传统数据分析技术获得，典型的例子可以包括图片标题、图片文件名和/或环绕图片的文本片段等，也可通过额外语音交互获取用户输入的语音，再将语音转化为文本获得，本实施例对获得上述图片的文本上下文的方法不作限定。

进一步地，上述新媒体内容的搜索装置还可以包括：检验模块77；

检验模块77，用于在图片识别模块72获得上述图片的视觉特征信息之后，检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性。

具体地，检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性可以为：检验模块77计算上述图片的视觉特征信息中的图片语义与上述文本上下文语义的匹配程度，上述匹配程度可以为一个实数打分或一个多维向量。当上述匹配程度满足一定预设条件时(例如：实数的大小超过一定阈值)，则可以认为语义一致，否则认为不一致。

在具体实现时，检验模块77可以基于字典、概念树(taxonomy)或词向量等方法将上述文本上下文与上述图片的视觉特征信息中的物体类别标签进行文本相似度的比对；或者，

检验模块77可以利用多模态神经网络技术学习“通感”特征，将文本上下文语义和图片语义进行抽象特征级别的对应。可基于离线预训练方式得到模型，从而对文本上下文进行特征提取、并与表征图片语义的特征进行匹配程度的计算。

特别地，如果用户输入的检索词中不包含文本上下文，只有图片，则可以不检验上述图片的视觉特征信息中的图片语义与上述文本上下文语义的一致性，可简单将检验结果置为“不一致”。

这时，键值获得模块73，具体用于当上述图片语义与上述文本上下文语义一致时，将上述图片的视觉特征信息中用于表征图片语义的特征向量与上述文本上下文的特征信息进行融合，获得融合后的特征向量编码，上述文本上下文的特征信息包括上述文本上下文的文本原文和/或上述文本上下文的特征向量；当上述图片语义与上述文本上下文语义不一致时，根据上述图片的视觉特征信息中用于表征图片语义的特征向量，获得特征向量编码。

其中，上述文本上下文的特征信息包括上述文本上下文的文本原文和/或上述文本上下文的特征向量；

本实施例中，当上述图片语义与上述文本上下文语义一致时，键值获得模块73可以通过多模态神经网络技术、或简单的合并、拼接等方式将文本上下文的特征信息与用于表征图片语义的特征向量进行融合，获得融合后的特征向量编码。融合后的特征向量编码包含更丰富的信息，文本特征作为图像特征的补充，有助于检索到更相关的新媒体内容。

当上述图片语义与上述文本上下文语义不一致时，键值获得模块73可以只保留用于表征图片语义的特征向量，文本特征留空。表示此时更加信赖图片语义，文本上下文因获取过程存在一定的不准确的可能性，相对图片的可信赖度较低。

进一步地，键值获得模块73，还用于基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得上述新媒体内容的键值，如图5所示。

本实施例中，键值获得模块73可以包括：视角采样子模块731、帧采样子模块732、识别子模块733和获得子模块734；

其中，视角采样子模块731，用于通过改变观察位置、观察角度和/或可视范围，对上述新媒体内容资源库中的新媒体内容进行视角采样，获取至少两张图片，其中，上述至少两张图片中的每张图片均为将上述新媒体内容在可视范围内，按照观察角度在观察位置进行平面投影所得；

帧采样子模块732，用于对于包含动画内容的新媒体内容，进一步配合帧采样在时间轴上采样生成图片；

识别子模块733，用于对帧采样子模块732生成的图片进行语义分析和内容识别，获得上述图片的视觉特征信息；

获得子模块734，用于根据上述图片的视觉特征信息，获得特征向量编码，作为上述新媒体内容的键值。

本实施例中，图片识别模块72可以包括：主体识别子模块721、类别识别子模块722、特征提取子模块723和组合子模块724；

其中，主体识别子模块721，用于通过显著性检测算法识别上述图片中主体内容的位置，去除上述图片的背景，保留前景；其中，上述显著性检测算法可以为基于卷积神经网络的方法，也可以为其他算法，本实施例对此不作限定。

类别识别子模块722，用于通过物体检测和分类算法定位上述图片中存在的物体，并识别上述图片中各物体的类别，获得上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、以及上述图片中各物体的类别标签。举例来说，上述图片中各物体的类别可以为恐龙、杯子或向日葵等。

特征提取子模块723，用于通过通用图像识别算法对上述图片的整体和/或局部进行特征提取，获得上述图片的视觉特征向量；其中，上述图片的视觉特征向量在一定程度上编码了图片语义的信息，可看作一种图片语义的数值化表达。

组合子模块724，用于对上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、上述图片中各物体的类别标签和上述图片的视觉特征向量进行组合，获得上述图片的视觉特征信息。

具体地，上述图片的视觉特征信息可以通过合并、拼接等方式组合上述图片中各物体在上述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、上述图片中各物体的类别标签和上述图片的视觉特征向量得到。最终获得的上述图片的视觉特征信息可以包括：图片整体视觉特征向量、根据物体区域坐标分割的各区域的视觉特征向量和/或识别出的物体类别标签等。

本申请实施例提供的新媒体内容的搜索装置可以使搜索引擎充分发掘新媒体内容的展现价值，在搜索结果页中可以唤起全景、3D、VR和/或AR等具有3维空间感的新媒体内容。全景和/或VR内容可以模拟真实的三维空间，给用户带来身临其境的沉浸体验；3D和/或AR内容可以带来生动直观可交互的搜索体验。

在生态建设方面，本申请为新媒体内容打开新的入口。经基于真实数据的估算，本申请可以产生9倍以上的分发效能，对于搜素引擎生态建设可产生巨大作用。通过扩大新媒体内容的影响面，提高新媒体内容的价值，促进新媒体内容的生产，可构建更好的新媒体内容生态。新媒体内容生态的完善建设有助于提升用户的搜索体验。

图9为本申请计算机设备一个实施例的结构示意图，上述计算机设备可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时，可以实现本申请实施例提供的新媒体内容的搜索方法。

其中，上述计算机设备可以为服务器或搜索引擎，也可以为终端设备，本实施例对上述计算机设备的具体形态不作限定。

图9示出了适于用来实现本申请实施方式的示例性计算机设备12的框图。图9显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例提供的新媒体内容的搜索方法。

本申请实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时可以实现本申请实施例提供的新媒体内容的搜索方法。

上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(Random AccessMemory；以下简称：RAM)，只读存储器(Read Only Memory；以下简称：ROM)，可擦除可编辑只读存储器(Erasable Programmable Read Only Memory；以下简称：EPROM)或闪速存储器，光纤装置，以及便携式光盘只读存储器(Compact Disc Read Only Memory；以下简称：CD-ROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种新媒体内容的搜索方法，其特征在于，包括：

获取用户输入的检索词，所述检索词包括图片；

对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；

根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；

对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；

按照匹配度由高到低的顺序选择预定数量的新媒体内容，并通过浏览器呈现选择的新媒体内容；

所述检索词还包括：所述图片的文本上下文；

所述对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息之后，还包括：

检验所述图片的视觉特征信息中的图片语义与所述文本上下文语义的一致性；

所述根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值包括：

根据图片语义与所述文本上下文语义一致性，将所述图片的视觉特征信息中用于表征图片语义的特征向量与所述文本上下文的特征信息进行融合，获得融合后的特征向量编码。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值包括：

如果所述图片语义与所述文本上下文语义一致，则将所述图片的视觉特征信息中用于表征图片语义的特征向量与所述文本上下文的特征信息进行融合，获得融合后的特征向量编码，所述文本上下文的特征信息包括所述文本上下文的文本原文和/或所述文本上下文的特征向量；

如果所述图片语义与所述文本上下文语义不一致，则根据所述图片的视觉特征信息中用于表征图片语义的特征向量，获得特征向量编码。

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度之前，还包括：

基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得所述新媒体内容的键值。

4.根据权利要求3所述的方法，其特征在于，所述基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得所述新媒体内容的键值包括：

通过改变观察位置、观察角度和/或可视范围，对所述新媒体内容资源库中的新媒体内容进行视角采样，获取至少两张图片，其中，所述至少两张图片中的每张图片均为将所述新媒体内容在可视范围内，按照观察角度在观察位置进行平面投影所得；

对于包含动画内容的新媒体内容，则进一步配合帧采样在时间轴上采样生成图片；

对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；

根据所述图片的视觉特征信息，获得特征向量编码，作为所述新媒体内容的键值。

5.根据权利要求1或4所述的方法，其特征在于，所述对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息包括：

通过显著性检测算法识别所述图片中主体内容的位置，去除所述图片的背景，保留前景；

通过物体检测和分类算法定位所述图片中存在的物体，并识别所述图片中各物体的类别，获得所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、以及所述图片中各物体的类别标签；

通过通用图像识别算法对所述图片的整体和/或局部进行特征提取，获得所述图片的视觉特征向量；

对所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、所述图片中各物体的类别标签和所述图片的视觉特征向量进行组合，获得所述图片的视觉特征信息。

6.一种新媒体内容的搜索装置，其特征在于，包括：

获取模块，用于获取用户输入的检索词，所述检索词包括图片；

图片识别模块，用于对所述图片进行语义分析和内容识别，获得所述图片的视觉特征信息；

键值获得模块，用于根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值；

匹配模块，用于对所述检索键值和基于视角采样获得的新媒体内容的键值进行匹配，获得匹配的新媒体内容和对应的匹配度；

选择模块，用于按照匹配度由高到低的顺序选择预定数量的新媒体内容；

呈现模块，用于通过浏览器呈现所述选择模块选择的新媒体内容；

所述图片的文本上下文；

所述新媒体内容的搜索装置还包括：

检验模块，用于在所述图片识别模块获得所述图片的视觉特征信息之后，检验所述图片的视觉特征信息中的图片语义与所述文本上下文语义的一致性；

所述根据所述图片的视觉特征信息，获得特征向量编码，作为从所述用户输入的检索词中提取的检索键值包括：

根据图片语义与所述文本上下文语义一致性，将所述图片的视觉特征信息中用于表征图片语义的特征向量与所述文本上下文的特征信息进行融合，获得融合后的特征向量编码。

7.根据权利要求6所述的装置，其特征在于，

所述键值获得模块，具体用于当所述图片语义与所述文本上下文语义一致时，将所述图片的视觉特征信息中用于表征图片语义的特征向量与所述文本上下文的特征信息进行融合，获得融合后的特征向量编码，所述文本上下文的特征信息包括所述文本上下文的文本原文和/或所述文本上下文的特征向量；当所述图片语义与所述文本上下文语义不一致时，根据所述图片的视觉特征信息中用于表征图片语义的特征向量，获得特征向量编码。

8.根据权利要求6-7任意一项所述的装置，其特征在于，

所述键值获得模块，还用于基于视角采样对新媒体内容资源库中的新媒体内容进行特征键值提取，获得所述新媒体内容的键值。

9.根据权利要求8所述的装置，其特征在于，所述键值获得模块包括：

视角采样子模块，用于通过改变观察位置、观察角度和/或可视范围，对所述新媒体内容资源库中的新媒体内容进行视角采样，获取至少两张图片，其中，所述至少两张图片中的每张图片均为将所述新媒体内容在可视范围内，按照观察角度在观察位置进行平面投影所得；

帧采样子模块，用于对于包含动画内容的新媒体内容，进一步配合帧采样在时间轴上采样生成图片；

识别子模块，用于对所述帧采样子模块生成的图片进行语义分析和内容识别，获得所述图片的视觉特征信息；

获得子模块，用于根据所述图片的视觉特征信息，获得特征向量编码，作为所述新媒体内容的键值。

10.根据权利要求6或9所述的装置，其特征在于，所述图片识别模块包括：

主体识别子模块，用于通过显著性检测算法识别所述图片中主体内容的位置，去除所述图片的背景，保留前景；

类别识别子模块，用于通过物体检测和分类算法定位所述图片中存在的物体，并识别所述图片中各物体的类别，获得所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、以及所述图片中各物体的类别标签；

特征提取子模块，用于通过通用图像识别算法对所述图片的整体和/或局部进行特征提取，获得所述图片的视觉特征向量；

组合子模块，用于对所述图片中各物体在所述图片中的区域坐标、根据物体区域坐标分割的各区域的视觉特征向量、所述图片中各物体的类别标签和所述图片的视觉特征向量进行组合，获得所述图片的视觉特征信息。

11.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。

12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images