CN110866133A - 信息搜索方法、页面显示方法、系统及设备 - Google Patents

Abstract

本申请实施例提供一种信息搜索方法、页面显示方法、系统及设备。其中，方法包括如下的步骤：获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；在所述图片的所述操作位置点处，检测目标对象；搜索与所述目标对象关联的信息。本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图片中的某一对象感兴趣时，用户只需在界面上对该对象进行一次操作位置点固定的触发操作，如长按、连击或点击等等，即可得到与该对象关联的信息，实现了一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为用户提供沉浸式的信息获取体验。

Description

信息搜索方法、页面显示方法、系统及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种信息搜索方法、页面显示方法、 系统及设备。

背景技术

随着智能终端(例如：手机)的普及，越来越多的用户通过智能终端观 看网络资源，例如：视频、图片等。用户在观看视频或图片的过程中，可能 会遇到感兴趣的对象，从而产生对感兴趣对象进一步了解的需求。

以电商为例，当用户在观看视频或图片过程中，想要购买画面中的商品， 只能依赖于发布者上传视频或图片时添加了的宝贝信息。若用户想要购买的 商品的宝贝信息，发布者并没有上传发布，那么，用户就需要通过截图、退 出视频或图片播放界面、进入电商应用首页、选择图片搜索模式、在截图中 框选出想要购买的商品等一系列操作才能得到相关商品信息。

可见，现有技术中，获取画面中某些对象的相关信息的流程太长，用户 体验较差。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解 决上述问题的信息搜索方法、页面显示方法、系统及设备。

在本申请的一个实施例中，提供了一种信息搜索方法。该方法包括：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

搜索与所述目标对象关联的信息。

在本申请的另一实施例中，提供了一种页面显示方法。该方法包括：

在界面上播放视频；

响应于所述界面上一位置点处的触控操作，从所述视频中截取位于所述 位置点处的目标对象；

显示与所述目标对象关联的搜索信息。

在本申请的又一实施例中，提供了一种信息搜索系统。该系统，包括：

客户端，用于获取用户在界面上操作的操作位置点以及操作时所述界面 上展现的图片；在所述图片的所述操作位置点处检测目标对象；将所述目标 对象发送至服务端；

所述服务端，用于接收所述客户端发送的所述目标对象；搜索与所述目 标对象关联的信息；将搜索到的所述信息反馈至所述客户端。

在本申请的又一个实施例中，提供了一种信息搜索方法。该方法包括：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图 片；

在所述图片的所述操作位置点处，检测目标对象；

将所述目标对象发送至服务端，以从所述服务端获取与所述目标对象关 联的信息。

在本申请的又一实施例中，提供了一种电子设备。该电子设备，包括： 第一存储器和第一处理器，其中，

所述第一存储器，用于存储程序；

所述第一处理器，与所述第一存储器耦合，用于执行所述第一存储器中 存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

搜索与所述目标对象关联的信息。

在本申请的又一实施例中，提供了一种电子设备。该电子设备，包括： 第二存储器、第二处理器和第二显示器，其中，

所述第二存储器，用于存储程序；

所述第二显示器，与所述第二处理器耦合；

所述第二处理器，与所述第二存储器耦合，用于执行所述第二存储器中 存储的所述程序，以用于：

控制所述第二显示器在界面上播放视频；

响应于所述界面上一位置点处的触控操作，从所述视频中截取位于所述 位置点处的目标对象；

控制所述第二显示器显示与所述目标对象关联的搜索信息。

在本申请的又一实施例中，提供了一种客户端设备。该客户端设备，包括： 第三存储器、第三处理器和第三通信组件，其中，

所述第三存储器，用于存储程序；

所述第三处理器，与所述第三存储器耦合，用于执行所述第三存储器中 存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图 片；

在所述图片的所述操作位置点处，检测目标对象；

所述第三通信组件，与所述第三处理器耦合，用于将所述目标对象发送 至服务端，以从所述服务端获取与所述目标对象关联的信息。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需在界面上对该对象进行一次操作位置点固 定的触发操作，如长按、连击或点击等等，即可得到与该对象关联的信息，实 现了一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为 用户提供沉浸式的信息获取体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的搜索方法的流程示意图；

图2为本申请又一实施例提供的页面显示方法的流程示意图；

图3为本发明又一实施例提供的搜索系统的结构框图；

图4为本发明另一实施例提供的搜索方法的流程示意图；

图5为本发明一实施例提供的搜索装置的结构框图；

图6为本发明又一实施例提供的页面显示装置的结构框图；

图7为本发明又一实施例提供的搜索装置的结构框图；

图8为本发明一实施例提供的电子设备的结构框图；

图9为本发明又一实施例提供的电子设备的结构框图；

图10为本发明又一实施例提供的客户端设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书、权利要求书及上述附图中描述的一些流程中，包含 了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺 序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同 的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或 更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本 文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等， 不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

随着直播技术的快速发展，我们逐渐从图文时代进入视频时代。当用户 在观看视频中，想要购买画面中的商品，只能依赖于发布者上传视频时添加 的宝贝信息。但是我们常遇到类似“该视频/主播讲美妆，其上传的商品仅包 含化妆品；而用户观看时想要了解画面中主播穿的衣服、背景装饰画等的购 买方式”的情况，现有技术中，用户只能通过下述两种方式来获取：1、询问 主播，但不一定能得到回复；2.通过截图—退出视频—到电商首页—选择图 像搜索模式—在截图中框选出感兴趣对象等一系列操作得到推荐商品，该信息获取流程太长，用户体验较差。

目前，在PC(personal computer)端提供了一种针对视频中对象的信息获 取方式：用户通过鼠标对画面中的物品进行圈选后可搜索出同类宝贝。该方 法存在的问题有：一、视频画面为动态画面，用户很难在动态画面中圈选出 感兴趣物体；二、若在手持设备(例如：手机)上复用此方法，则可用性不 佳：手持设备的屏幕面积有限，且手指圈选操作不便，有误差；圈选操作极 易跟横向滑动视频进度等互动操作入口耦合，导致误操作。可见，该方案不 够通用，且圈选操作增加了用户操作成本。

发明人观察发现：在现实生活中，当我们逛超市看到一包想要的零食， 直接用手取就可得到；那么我们在图片观看中，当画面中出现自己想要的物 品时，也可以通过手去获取，例如：长按、点击等操作。本申请提供的技术 方案即基于该思想实现，为用户提供了一种较为通用且用户操作成本较低的 多媒体信息获取方案。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本申请一实施例提供的搜索方法的流程示意图。本申请实施例 提供的方法的执行主体可以服务端，也可以是客户端。其中，服务端可以通用 服务器、云端或虚拟服务器等，本申请实施例对此不作具体限定。客户端可以 是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个 应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此 不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。 如图1所示，该方法，包括：

101、获取用户在界面上操作的操作位置点以及操作时所述界面上展现的 图片。

102、在所述图片的所述操作位置点处，检测目标对象。

103、搜索与所述目标对象关联的信息。

上述101中，当用户对界面上播放的图片中某一对象感兴趣时，用户可针 对该对象进行操作。操作的操作位置点即落在用户感兴趣对象上。该界面中可 展现图片，也可播放视频。当界面中播放的是视频时，上述操作时所述界面上 展现的图片即为根据操作时间，从视频中截取出的视频帧。

需要说明的是，用户在界面上的操作可以为简单的固定位置操作，例如： 长按、连击、点击等操作。即用户在界面上操作的操作位置点为一固定位置点。

在一种可实现的技术方案中，上述步骤102“在所述图片的所述操作位置点 处，检测目标对象”的实现过程可具体包括：在所述图片中的，以操作位置点 为圆心，一个预设值为半径(例如50像素)的圆形内进行对象探测，若无法探 测到物体，则继续扩大圆形大小直到探测到物体；若探测到物体，则将所述物 体的影像从所述图片中抠出，即得到目标对象。当然，在具体实施时，也可在 图片中的以所述操作位置点为中心的矩形区域、多边形区域等内进行对象探测。 上述103中，可根据目标对象的所属类型和/或视觉特征，来搜索与目标对象关 联的信息。与目标对象关联的信息可包括：与目标对象的相似度大于或等于预设阈值的信息。预设阈值的数值可根据实际情况进行设定，本申请实施例对此 不作具体限定。

以商品搜索为例，可利用基于目标对象识别出来的商品(下述简称被识别 商品)的商品类型以及视觉特征信息，在已有的商品库中匹配和查找与该商品 相似度高于预设阈值的相似商品。相似商品与被识别商品，可以同属于同一商 品类型(例如：连衣裙)，或者具有一些相同的视觉特征(例如：颜色、花纹)。 相似商品与被识别商品之间有一个相似度，该相似度确定了被识别商品和相似 商品之间相似的程度。相似度的计算，通常依赖于商品数学模型建立、特性提 取、相似度算法建立等过程。相似度的计算的具体实现过程可参见现有技术， 本申请实施例对此不作具体限定。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 方案执行主体即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对 象，进而根据目标对象进行关联信息的搜索。可见，本申请实施例提供的一触 即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为用户提供 沉浸式的信息获取体验。

当界面上展示有视频时，上述101中“获取用户在界面上的操作位置以及 操作时所述界面上展现的图片”，具体可采用如下步骤来实现：

1011、监听到用户在所述界面上的固定位置操作后，记录所述操作位置 点及操作时间。

1012、根据所述操作时间，从所述视频中截取至少一个作为所述图片的 视频帧。

上述1011中，固定位置操作指的是仅包括一个操作位置点的操作，例如： 长按、连击等操作。一旦监听到用户在界面上的固定位置操作后，记录操作位 置点以及操作时间。这里需要补充的是：本申请实施例中用户在界面上的操作 应不同于现有技术中已有的常规操作，以避免出现操作冲突。

上述1012中，无论是直播类视频还是录制类视频，其中任一视频帧的播放 时间点是可以确定出来的。直播类视频具有同步性，因此直播类视频的每一视 频帧的播放时间点可根据每一帧视频帧上传时间点来确定，例如：直播类视频B 中某一视频帧Z的上传时间点为2018年8月20日14点12分5s，网络延时为 一固定值1s，那么，视频帧Z的播放时间点为2018年8月20日14点12分6s； 录制类视频的每一视频帧的播放时间点可根据视频开始播放时间点、开始播放 位置以及每一视频帧的时间戳计算得到。例如：录制类视频A的总播放时间为1 分钟，开始播放时间点为2018年8月20日14点12分5s，开始播放位置为录 制类视频A的第30s处(即从时间戳为30s的视频帧处开始播放)，那么，录 制类视频A中时间戳为40s的视频帧的播放时间点为：2018年8月20日14点 12分15s。

当上述操作时间为时间点时，可从视频中截取，播放时间点与该时间点 相同的视频帧；和/或，从视频中截取，播放时间点在该时间点后预设时间范 围内的至少一个视频帧。播放时间点在该时间点后预设时间范围内的至少一 个视频帧可以是连续的视频帧，也可以是不连续的视频帧。预设时间范围可 根据实际情况来确定，本申请实施例对此不作具体限定。

举例来说：操作时间点为2018年8月20日14点12分15.0s，预设时 间范围为0.1s，则从视频中截取，播放时间点位于2018年8月20日14点 12分15.0s至2018年8月20日14点12分15.1s之间的至少一个视频帧。

截取的视频帧的数量可根据实际需要进行设定，本申请实施例对此不作 具体限定，例如：三个。

当上述操作时间为时间段时，可从视频中截取，播放时间点在该时间段 内的至少一个视频帧。举例来说：时间段为2018年8月20日14点12分15.0s 至2018年8月20日14点12分15.5s，即用户的操作持续时长为0.5s，从 视频中截取，播放时间点在2018年8月20日14点12分15.0s至2018年8 月20日14点12分15.5s内的至少一个视频帧。

在一种可实现的方案中，上述102中“在所述图片的所述操作位置点处， 检测目标对象”，具体可采用如下步骤来实现：

1021、在图片的以操作位置点为中心的检测区域内，对该图片进行图像 检测。

1022、若未检测到物体，则向外扩大检测区域，在扩大后的检测区域内 对该图片进行图像检测，直至检测到物体退出。

1023、将该物体的影像从该图片中抠出，得到目标对象。

上述1021和1022中，检测区域可以为圆形、正方形、长方形等形状。以 圆形为例：在该图片中，以操作位置点为圆心，以一设定值为半径的圆形内进 行图像检测(即图像目标检测)，若没有检测到具体物体，则逐步向外扩大圆 形半径，直至检测到具体物体结束。

上述1023中，可沿着结束时的检测区域的边界进行抠图得到目标对象，还 可沿着该物体的边缘进行抠图，得到目标对象。

当界面上展示有视频时，若按照上述实施例介绍的截取方法，从该视频中 截取得到多个视频帧(也即多个图片)，则需要分别针对这多个图片进行图像 目标检测。具体地，分别在这多个图片的操作位置点处，检测目标对象，以得 到多个目标对象，一个图片对应一个目标对象。

当目标对象为多个时，多个目标对象是分别在多个图片的操作位置点处检 测出的，上述方法，还可包括：

104、分别对多个目标对象进行实物识别，得到多个实物信息。

105、多个实物信息相同时，触发搜索与该目标对象关联的信息的步骤。

具体地，可采用机器学习、深度学习等技术来对目标对象进行实物识别， 得到实物信息，该实物信息可以为实物类别或实物名称。例如：目标对象为一 件商品，实物信息可以为商品类别。实物识别的具体实现可参见现有技术，在 此不再详述。

若针对多个目标对象进行实物识别的结果一致，才会触发搜索与该目标对 象关联的信息的步骤；若针对多个目标对象进行实物识别的结果不一致，可认 为用户的本次操作为无效，不执行后续的搜索步骤。作为可选地，多个实物信 息不相同时，可在界面上弹出提示弹窗，以提示用户重新操作一次。需要说明 的是，在视频中截取多个图片(即多个视频帧)的目的在于增加实物识别的准 确率。

图2为本申请又一实施例提供的页面显示方法的流程示意图。本实施例提 供的所述方法适用于客户端。其中，所述客户端可以是集成在终端上的一个具 有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入 在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为 包括手机、平板电脑、智能穿戴设备等任意终端设备。如图2所示，该方法包 括：

201、在界面上播放视频。

202、响应于所述界面上一位置点处的触控操作，从所述视频中截取位于 所述位置点处的目标对象。

203、显示与所述目标对象关联的搜索信息。

上述201中，界面上播放的视频可以为直播类视频或录制类视频。

上述202中，“从所述视频中截取位于所述位置点处的目标对象”的第一 种实现方式，具体包括：

2021、根据所述触控操作的操作时间，从所述视频中截取视频帧。

2022、在所述视频帧的所述位置点处，检测所述目标对象。

“从所述视频中截取位于所述位置点处的目标对象”的第二种实现方式， 具体包括：

2021’、根据所述触控操作的操作时间，从所述视频中截取至少两个连 续视频帧；

2022’、分别在所述至少两个连续视频帧的所述位置点处检测，得到至 少两个检出对象；

2023’、分别对所述至少两个检出对象进行实物识别，得出多个实物信 息；

2024’、当所述多个实物信息相同时，将所述至少两个检出对象中的一个 检出对象作为所述目标对象。

第一种实现方式中，上述步骤2022可具体采用如下方法实现：

在所述视频帧的以所述位置点为中心的检测区域内，对所述视频帧进行 图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域 内对所述视频帧进行图像检测，直至检测到物体退出；

将所述物体的影像从所述视频帧中抠出，得到所述目标对象。

这里需要说明的是：本实施例中的视频帧类同于上述实施例中的图片，因 此上述实现过程可具体参见上述1021～1023中的内容，此处不再赘述。

上述第二种实现方式中，将对所述至少两个检出对象进行实物识别的过程 放在了客户端侧实现。客户端的计算能力日益增强，将一些计算放在客户端侧 进行处理，可减轻服务端的负载。实际上，在另一种可实现的方案中，对所述 至少两个检出对象进行实物识别的过程也可在服务端侧实现，即客户端将从至 少两个视频帧的所述位置点处检测出的至少两个目标对象发送至服务端，服务 端在对所述至少两个目标对象进行实物识别后，确定出所述至少两个目标对象 为同一实物时，再执行搜索与目标对象关联信息的操作。

上述203中，与目标对象关联的搜索信息可显示在播放视频的界面中，或 者显示在播放视频的界面的浮窗中，或者显示在跳转后的另一界面中。

在一种可实现的方案中，缩小所述界面上当前视频播放画面以腾出空白区 域，将所述搜索信息显示在所述空白区域。

通常，播放视频的界面会全屏播放视频画面，为了不影响用户对视频观看， 可将视频播放画面缩小至半屏，腾出的半屏空白区域即可用来展示搜索信息。 这样，用户可一边观看视频一边查看搜索信息。

在另一种可实现的方案中，在所述界面上的浮窗中显示所述搜索信息。

即在播放视频的界面上弹出浮窗，在浮窗中展示搜索信息。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需在界面上对该对象进行一次操作位置点固 定的触发操作，如长按、连击或点击等等，即可得到与该对象关联的信息，实 现了一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为 用户提供沉浸式的信息获取体验。

进一步的，上述方法，还可包括：

204、在所述界面的所述位置点处，突出显示所述触控操作对应的页面元素。

在用户的操作位置点处，显示对应的页面元素，可用来提示用户操作成功， 从而避免用户的重复操作导致的运行资源浪费。页面元素可以为圆点、五角星 等。

这里需要说明的是：本申请实施例各步骤的具体实现，在本实施例中未 详细阐述的部分可参见上述各实施例中的相关内容，此处不再赘述。

本申请实施例提供的搜索方法还可基于如下系统架构实现。图3为本申 请又一实施例提供的搜索系统的结构框图。如图3所示，该搜索系统包括：客 户端301和服务端302。其中，

客户端301，用于获取用户在界面上操作的操作位置点以及操作时所述 界面上展现的图片；在所述图片的所述操作位置点处检测目标对象；将所述 目标对象发送至服务端302；

服务端302，用于接收所述客户端发送的所述目标对象；搜索与所述目 标对象关联的信息；将搜索到的所述信息反馈至所述客户端。

其中，客户端301获取到的操作时的图片可以是一个，两个或多个；因 此，当获取到的图片为两个或多个时，在各图片的操作位置点处检测出的目 标对象也就有多个。该多个目标对象可同时发送至服务端，由服务端在对多 个目标对象进行实物识别，确定所述多个目标对象属于同一实物时，再执行 搜索与所述目标对象关联的信息的操作。即本申请实施例提供的方案中，

所述服务端302还用于：当接收到所述目标对象为至少两个时，分别对 多个所述目标对象进行实物识别，得到多个实物信息；所述多个实物信息相 同时，搜索与所述目标对象关联的信息；

当接收到的所述目标对象为一个时，对所述目标对象进行图像识别，基 于所述图像识别结果，搜索与所述目标对象关联的信息。

或者，当客户端分别在多个图片的操作位置点处检测出多个目标对象时， 客户端分别对多个目标对象进行实物识别，确定所述多个目标对象属于同一 实物时，再从多个目标对象中选择一个目标对象发送至服务端。即本申请实 施例提供的技术方案中，

所述客户端301还用于：获取用户在界面上操作的操作位置点以及操作 时所述界面上展现的至少两个图片；分别在所述至少两个图片的所述操作位 置点处检测，以得到至少两个目标对象；分别对多个所述目标对象进行实物 识别，得到多个实物信息；所述多个实物信息相同时，从所述至少两个目标 对象中选择一个目标对象发送至所述服务端302。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 客户端即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对象，并 为用户提供服务端根据目标对象进行关联信息搜索的搜索结果。可见，本申请 实施例提供的一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速， 还能为用户提供沉浸式的信息获取体验。

本申请实施例提供的所述搜索系统中各组成单元，如客户端、服务端的 具体工作流程及之间的信令交互将在以下各实施例中作进一步的说明。

图4为本申请又一实施例提供的搜索方法的流程示意图。本实施例提供的 所述方法适用于客户端。其中，所述客户端可以是集成在终端上的一个具有嵌 入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终 端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括 手机、平板电脑、智能穿戴设备等任意终端设备。如图4所示，该方法，包括：

401、获取用户在界面上操作的操作位置点以及操作时所述界面上展现 的图片。

402、在所述图片的所述操作位置点处，检测目标对象。

403、将所述目标对象发送至服务端，以从所述服务端获取与所述目标 对象关联的信息。

上述401和402可参见上述各实施例中相应内容，在此不再赘述。

上述403中，将目标对象发送至服务端，服务端获取与目标对象关联的信 息的具体实现也可参见上述各实施例中相应内容，在此不再赘述。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 客户端即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对象，并 为用户提供服务端根据目标对象进行关联信息搜索的搜索结果。可见，本申请 实施例提供的一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速， 还能为用户提供沉浸式的信息获取体验。

当所述界面上展示有视频时，上述401中“获取用户在界面上的操作位 置点以及操作时所述界面上展现的图片”，具体可采用如下步骤来实现：

4011、监听到用户在所述界面上的固定位置操作后，记录所述操作位置 点及操作时间。

4012、根据所述操作时间，从所述视频中截取至少一个作为所述图片的 视频帧。

上述4011和4012可参见上述各实施例中相应内容，在此不再赘述。

在一种可实现的方案中，上述402中“在所述图片的所述操作位置点处， 检测目标对象”，具体可采用如下步骤来实现：

4021、在所述图片的以所述操作位置点为中心的检测区域内，对所述图 片进行图像检测。

4022、若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检 测区域内对所述图片进行图像检测，直至检测到物体退出。

4023、将所述物体的影像从所述图片中抠出，得到所述目标对象。

上述4021、4022和4023可参见上述各实施例中相应内容，在此不再赘述。

这里需要说明的是：本申请实施例各步骤的具体实现，在本实施例中未 详细阐述的部分可参见上述各实施例中的相关内容，此处不再赘述。

图5示出了本申请又一实施例提供的搜索装置的结构框图。如图5所示， 该装置包括：第一获取模块601、第一检测模块602以及第一搜索模块603。其 中，

第一获取模块601，用于获取用户在界面上操作的操作位置点以及操作 时所述界面上展现的图片；

第一检测模块602，用于在所述图片的所述操作位置点处，检测目标对 象；

第一搜索模块603，用于搜索与所述目标对象关联的信息。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 方案执行主体即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对 象，进而根据目标对象进行关联信息的搜索。可见，本申请实施例提供的一触 即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为用户提供 沉浸式的信息获取体验。

进一步的，所述界面上展示有视频；以及

所述第一获取模块601，包括：

第一记录单元，用于监听到用户在所述界面上的固定位置操作后，记录 所述操作位置点及操作时间；

第一截取单元，用于根据所述操作时间，从所述视频中截取至少一个作 为所述图片的视频帧。

进一步的，所述操作时间为时间点时，所述第一截取单元，具体用于：

从所述视频中截取，播放时间点与所述时间点相同的视频帧；

从所述视频中截取，播放时间点在所述时间点后预设时间范围内的至少 一个视频帧。

进一步的，所述操作时间为时间段时，所述第一截取单元，具体用于：

从所述视频中截取，播放时间点在所述时间段内的至少一个视频帧。

进一步的，所述第一检测模块602，具体用于：

在所述图片的以所述操作位置点为中心的检测区域内，对所述图片进行 图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域 内对所述图片进行图像检测，直至检测到物体退出；

将所述物体的影像从所述图片中抠出，得到所述目标对象。

进一步的，所述目标对象为多个，多个所述目标对象是分别在多个所述 图片的所述操作位置点处检测出的；以及，所述装置，还可包括：

第一识别模块，用于分别对多个所述目标对象进行实物识别，得到多个 实物信息；

第一触发模块，用于所述多个实物信息相同时，触发所述搜索与所述目 标对象关联的信息的步骤。

这里需要说明的是：上述实施例提供的信息搜索装置可实现上述各方法 实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各 方法实施例中的相应内容，此处不再赘述。

图6示出了本申请又一实施例提供的页面显示装置的结构框图。如图6 所示，该装置包括：第一播放模块701、第一截取模块702和第一显示模块 703。其中，

第一播放模块701，用于在界面上播放视频；

第一截取模块702，用于响应于所述界面上一位置点处的触控操作，从 所述视频中截取位于所述位置点处的目标对象；

第一显示模块703，用于显示与所述目标对象关联的搜索信息。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 后台即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对象，进而 根据目标对象进行关联信息的搜索。可见，本申请实施例提供的一触即得的多 媒体信息获取方式，不仅操作简单、信息获取快速，还能为用户提供沉浸式的 信息获取体验。

进一步的，所述第一显示模块703，具体用于：

缩小所述界面上当前视频播放画面以腾出空白区域，将所述搜索信息显 示在所述空白区域；或者

在所述界面上的浮窗中显示所述搜索信息。

进一步的，所述第一显示模块，还用于：

在所述界面的所述位置点处，突出显示所述触控操作对应的页面元素。

进一步的，第一截取模块702，包括：

第二截取单元，用于根据所述触控操作的操作时间，从所述视频中截取 视频帧；

第一检测单元，用于在所述视频帧的所述位置点处，检测所述目标对象。

进一步的，第一检测单元，具体用于：

在所述视频帧的以所述位置点为中心的检测区域内，对所述视频帧进行 图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域 内对所述视频帧进行图像检测，直至检测到物体退出；

将所述物体的影像从所述视频帧中抠出，得到所述目标对象。

进一步的，第一截取模块702，包括：

第三截取单元，用于根据所述触控操作的操作时间，从所述视频中截取 至少两个连续视频帧；

第二检测单元，用于分别在所述至少两个连续视频帧的所述位置点处检 测，得到至少两个检出对象；

第一识别单元，用于分别对所述至少两个检出对象进行实物识别，得出 多个实物信息；还用于当所述多个实物信息相同时，将所述至少两个检出对 象中的一个检出对象作为所述目标对象。

这里需要说明的是：上述实施例提供的页面显示装置可实现上述各方法 实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各 方法实施例中的相应内容，此处不再赘述。

图7示出了本申请又一实施例提供的信息搜索装置的结构框图。如图7 所示，该装置包括：第二获取模块801、第二检测模块802以及第一发送模 块803。其中，

第二获取模块801，用于获取用户在界面上操作的操作位置点以及操作 时所述界面上展现的图片；

第二检测模块802，用于在所述图片的所述操作位置点处，检测目标对 象；

第一发送模块803，用于将所述目标对象发送至服务端，以从所述服务 端获取与所述目标对象关联的信息。

本申请实施例提供的技术方案中，当用户对图像播放界面上展现的某一图 片中的某一对象感兴趣时，用户只需对该图片中的该对象进行一次触发操作， 客户端即可自动根据用户操作的操作位置点检测出用户感兴趣的目标对象，并 向用户反馈服务端根据目标对象进行关联信息的搜索。可见，本申请实施例提 供的一触即得的多媒体信息获取方式，不仅操作简单、信息获取快速，还能为 用户提供沉浸式的信息获取体验。

进一步的，所述界面上展示有视频；以及

第二获取模块801，包括：

第二记录单元，用于监听到用户在所述界面上的固定位置操作后，记录 所述操作位置点及操作时间；

第四截取单元，用于根据所述操作时间，从所述视频中截取至少一个作 为所述图片的视频帧。

进一步的，第二检测模块802，具体用于：

在所述图片的以所述操作位置点为中心的检测区域内，对所述图片进行 图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域 内对所述图片进行图像检测，直至检测到物体退出；

将所述物体的影像从所述图片中抠出，得到所述目标对象。

这里需要说明的是：上述实施例提供的搜索装置可实现上述各方法实施 例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法 实施例中的相应内容，此处不再赘述。

图8为本申请一实施例提供的电子设备的结构示意图。该电子设备包括： 第一存储器1101以及第一处理器1102。第一存储器1101可被配置为存储其 它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设 备上操作的任何应用程序或方法的指令。第一存储器1101可以由任何类型的 易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器 (SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读 存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)， 磁存储器，快闪存储器，磁盘或光盘。

所述第一处理器1102，与所述第一存储器1101耦合，用于执行所述第 一存储器1101中存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点，检测目标对象；

搜索与所述目标对象关联的信息。

其中，第一处理器1102在执行第一存储器1101中的程序时，除了上面 的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步的，如图8所示，电子设备还包括：第一通信组件1103、第一显 示器1104、第一电源组件1105、第一音频组件1106等其它组件。图8中仅 示意性给出部分组件，并不意味着电子设备只包括图8所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储 介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的搜索方 法的步骤或功能。

图9示出了本申请一实施例提供的电子设备的结构示意图。如图9所示， 所述电子设备包括第二存储器1201、第二处理器1202以及第二显示器1204。 第二存储器1201可被配置为存储其它各种数据以支持在电子设备上的操作。 这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。 第二存储器1201可以由任何类型的易失性或非易失性存储设备或者它们的 组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器 (EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器 (PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所述第二显示器1204，与所述第二处理器1202耦合；

所述第二处理器1202，与所述第二存储器1201耦合，用于执行所述第 二存储器1201中存储的所述程序，以用于：

控制所述第二显示器1204在界面上播放视频；

响应于所述界面上一位置点处的触控操作，从所述视频中截取位于所述 位置点处的目标对象；

控制所述第二显示器1204显示与所述目标对象关联的搜索信息。

其中，第二处理器1202在执行第二存储器1201中的程序时，除了上面 的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图9所示，电子设备还包括：第二通信组件1203、第二电源 组件1205、第二音频组件1206等其它组件。图9中仅示意性给出部分组件， 并不意味着电子设备只包括图9所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储 介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的页面显 示方法步骤或功能。

图10示出了本申请一实施例提供的客户端设备的结构示意图。如图10 所示，所述客户端设备包括第三存储器1301、第三通信组件1303以及第三 处理器1302。第三存储器1301可被配置为存储其它各种数据以支持在服务 端设备上的操作。这些数据的示例包括用于在客户端设备上操作的任何应用 程序或方法的指令。第三存储器1301可以由任何类型的易失性或非易失性存 储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除 可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可 编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器， 磁盘或光盘。

所述第三处理器1302，与所述第三存储器1301耦合，用于执行所述第 三存储器1301中存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图 片；

在所述图片的所述操作位置点处，检测目标对象；

所述第三通信组件1303，与所述第三处理器1302耦合，用于将所述目 标对象发送至服务端，以从所述服务端获取与所述目标对象关联的信息。

其中，第三处理器1302在执行第三存储器1301中的程序时，除了上面 的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图10所示，服务端设备还包括：第三显示器1304、第三电 源组件1305、第三音频组件1306等其它组件。图10中仅示意性给出部分组 件，并不意味着服务端设备只包括图10所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储 介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的搜索方 法步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也 可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。 本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施 方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。 基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以 以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介 质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可 以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某 些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种信息搜索方法，其特征在于，包括：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

搜索与所述目标对象关联的信息。

2.根据权利要求1所述的方法，其特征在于，所述界面上展示有视频；以及

获取用户在界面上的操作位置以及操作时所述界面上展现的图片，包括：

监听到用户在所述界面上的固定位置操作后，记录所述操作位置点及操作时间；

根据所述操作时间，从所述视频中截取至少一个作为所述图片的视频帧。

3.根据权利要求2所述的方法，其特征在于，所述操作时间为时间点时，根据所述操作时间，从所述视频中截取至少一个作为所述图片的视频帧，包括如下至少一种：

从所述视频中截取，播放时间点与所述时间点相同的视频帧；

从所述视频中截取，播放时间点在所述时间点后预设时间范围内的至少一个视频帧。

4.根据权利要求2所述的方法，其特征在于，所述操作时间为时间段时，根据所述操作时间，从所述视频中截取至少一个作为所述图片的视频帧，包括：

从所述视频中截取，播放时间点在所述时间段内的至少一个视频帧。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述图片的所述操作位置，检测目标对象,包括：

在所述图片的以所述操作位置点为中心的检测区域内，对所述图片进行图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域内对所述图片进行图像检测，直至检测到物体退出；

将所述物体的影像从所述图片中抠出，得到所述目标对象。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标对象为多个，多个所述目标对象是分别在多个所述图片的所述操作位置点处检测出的；以及，所述方法，还包括：

分别对多个所述目标对象进行实物识别，得到多个实物信息；

所述多个实物信息相同时，触发所述搜索与所述目标对象关联的信息的步骤。

7.一种页面显示方法，其特征在于，包括：

在界面上播放视频；

响应于所述界面上一位置点处的触控操作，从所述视频中截取位于所述位置点处的目标对象；

显示与所述目标对象关联的搜索信息。

8.根据权利要求7所述的方法，其特征在于，显示与所述目标对象关联的搜索信息，包括：

缩小所述界面上当前视频播放画面以腾出空白区域，将所述搜索信息显示在所述空白区域；或者

在所述界面上的浮窗中显示所述搜索信息。

9.根据权利要求7所述的方法，其特征在于，还包括：

在所述界面的所述位置点处，突出显示所述触控操作对应的页面元素。

10.根据权利要求7至9中任一项所述的方法，其特征在于，从所述视频中截取位于所述位置点处的目标对象，包括：

根据所述触控操作的操作时间，从所述视频中截取视频帧；

在所述视频帧的所述位置点处，检测所述目标对象。

11.根据权利要求10所述的方法，其特征在于，在所述视频帧的所述位置点处，检测所述目标对象，包括：

在所述视频帧的以所述位置点为中心的检测区域内，对所述视频帧进行图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域内对所述视频帧进行图像检测，直至检测到物体退出；

将所述物体的影像从所述视频帧中抠出，得到所述目标对象。

12.根据权利要求7至9中任一项所述的方法，其特征在于，从所述视频中截取位于所述位置点处的目标对象，包括：

根据所述触控操作的操作时间，从所述视频中截取至少两个连续视频帧；

分别在所述至少两个连续视频帧的所述位置点处检测，得到至少两个检出对象；

分别对所述至少两个检出对象进行实物识别，得出多个实物信息；

当所述多个实物信息相同时，将所述至少两个检出对象中的一个检出对象作为所述目标对象。

13.一种信息搜索系统，其特征在于，包括：

客户端，用于获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；在所述图片的所述操作位置点处检测目标对象；将所述目标对象发送至服务端；

所述服务端，用于接收所述客户端发送的所述目标对象；搜索与所述目标对象关联的信息；将搜索到的所述信息反馈至所述客户端。

14.一种信息搜索方法，其特征在于，包括：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

将所述目标对象发送至服务端，以从所述服务端获取与所述目标对象关联的信息。

15.根据权利要求14所述的方法，其特征在于，所述界面上展示有视频；以及

获取用户在界面上的操作位置点以及操作时所述界面上展现的图片，包括：

监听到用户在所述界面上的固定位置操作后，记录所述操作位置点及操作时间；

根据所述操作时间，从所述视频中截取至少一个作为所述图片的视频帧。

16.根据权利要求14或15所述的方法，其特征在于，在所述图片的所述操作位置点处，检测目标对象,包括：

在所述图片的以所述操作位置点为中心的检测区域内，对所述图片进行图像检测；

若未检测到物体，则向外扩大所述检测区域，在扩大后的所述检测区域内对所述图片进行图像检测，直至检测到物体退出；

将所述物体的影像从所述图片中抠出，得到所述目标对象。

17.一种电子设备，其特征在于，包括：第一存储器和第一处理器，其中，

所述第一存储器，用于存储程序；

所述第一处理器，与所述第一存储器耦合，用于执行所述第一存储器中存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

搜索与所述目标对象关联的信息。

18.一种电子设备，其特征在于，包括：第二存储器、第二处理器和第二显示器，其中，

所述第二存储器，用于存储程序；

所述第二显示器，与所述第二处理器耦合；

所述第二处理器，与所述第二存储器耦合，用于执行所述第二存储器中存储的所述程序，以用于：

控制所述第二显示器在界面上播放视频；

响应于所述界面上一位置点处的触控操作，从所述视频中截取位于所述位置点处的目标对象；

控制所述第二显示器显示与所述目标对象关联的搜索信息。

19.一种客户端设备，其特征在于，包括：第三存储器、第三处理器和第三通信组件，其中，

所述第三存储器，用于存储程序；

所述第三处理器，与所述第三存储器耦合，用于执行所述第三存储器中存储的所述程序，以用于：

获取用户在界面上操作的操作位置点以及操作时所述界面上展现的图片；

在所述图片的所述操作位置点处，检测目标对象；

所述第三通信组件，与所述第三处理器耦合，用于将所述目标对象发送至服务端，以从所述服务端获取与所述目标对象关联的信息。

Images