CN114740975A - 目标内容的获取方法及相关设备 - Google Patents

Abstract

本公开提供一种目标内容的获取方法及相关设备。该方法包括：获取具有第一清晰度且包含目标内容的第一图像数据，以及获取具有第二清晰度且与第一图像数据内容相同的第二图像数据，第一清晰度小于第二清晰度；基于第一图像数据判断在当前时刻用户是否完成针对目标内容的预设手势；响应于在当前时刻用户完成预设手势，判断第二图像数据中是否存在目标内容未被遮挡的目标图像；响应于第二图像数据中存在目标图像，基于目标图像获取目标内容。

Description

目标内容的获取方法及相关设备

技术领域

本公开涉及数据处理技术领域，尤其涉及一种目标内容的获取方法及相关设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

人们对于自己感兴趣的内容通常希望留存这些内容，便于今后再次观看和研究。一般人们通过拍摄方式的方式将该内容拍摄下来，但是不可避免的会将其他内容也拍摄下来，再经过后期处理将其他内容删除，这给人们带来了很多不便。虽然已经出现一些技术，可以通过计算机图像处理技术实现对人们手势所指示的内容采集，而不混入其他内容。但是这种场景下，手部容易对需要采集的内容形成遮挡，无法得到完整清晰的内容，从而导致内容采集的失败，不能快速准确且完整地采集感兴趣的目标内容。

发明内容

有鉴于此，非常需要一种改进的方法，能够有效地改善目标内容获取的内容有遮挡的问题。

本公开示例性实施例提供了一种目标内容的获取方法，包括：

获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度；

基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势；

响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像；

响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

在一些实施例中，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第二图像数据确定所述第二图像数据中所述目标内容的目标区域；

判断所述目标区域与所述第二图像数据中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第二图像数据中存在所述目标图像。

在一些实施例中，所述第二图像数据包括多个间隔预设帧数的第三图像，所述方法还包括：

对所述第三图像进行目标内容检测以及指尖手部检测，得到所述第三图像中的目标内容信息和指尖手部位置信息；

将所述当前时刻之前的预设数量的第三图像信息存储至缓存队列，所述第三图像信息包括所述第三图像、所述第三图像对应的所述目标内容位置信息和所述指尖手部位置信息。

在一些实施例中，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第三图像的目标内容位置信息确定所述第三图像中所述目标内容的目标区域；

判断所述目标区域与所述第三图像的指尖手部位置信息中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第三图像中存在所述目标图像。

在一些实施例中，所述方法还包括：

响应于所述重叠率大于或等于所述预设阈值，确定所述第三图像中不存在所述目标图像；

判断所述当前时刻之后所述缓存队列中新增的第三图像信息是否存在所述目标图像；其中，所述缓存队列中所述新增的第三图像信息时移除时间最早的第三图像信息。

在一些实施例中，所述方法还包括：

响应于在当前时刻用户完成所述预设手势，提示用户将手部移开，以使得所述用户的手部不遮挡所述目标内容。

在一些实施例中，所述第一图像数据包括多个连续的第一图像帧，则基于所述第一图像数据判断用户是否完成针对所述目标图像的预设手势，包括：

识别所述第一图像帧中所述用户的指尖位置，得到所述第一图像帧的手势指尖位置信息；

基于多个所述手势指尖位置信息得到手势指尖位置信息流；

基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势。

在一些实施例中，基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势，包括：

判断所述手势指尖位置信息流和所述预设手势是否相匹配；

响应于所述手势指尖位置信息流和所述预设手势相匹配，确定所述用户完成所述预设手势。

基于同一发明构思，本公开示例性实施例还提供了一种目标内容的获取装置，包括：

获取模块，用于获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度；

手势判断模块，用于基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势；

遮挡判断模块，用于响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像；

目标内容获取模块，用于响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

基于同一发明构思，本公开示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的目标内容的获取方法。

基于同一发明构思，本公开示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任一项所述的目标内容的获取方法。

基于同一发明构思，本公开示例性实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如上任一项所述的目标内容的获取方法。

从上面所述可以看出，本公开提供的目标内容的获取方法及相关设备，通过清晰度较低的第一图像数据进行手势检测，以触发目标内容的获取；以及在触发目标内容的获取时，基于清晰度较高的第二图像数据进行目标内容的遮挡判断，得到无遮挡的目标内容图像，从而能够实现通过手势来快速准确且完整地采集目标内容。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种目标内容的获取场景的示意图。

图2为本公开示例性实施例的目标内容的获取架构的示意图。

图3A为本公开示例性实施例的目标内容的获取方法的应用场景示意图。

图3B为本公开示例性实施例的目标内容的获取方法的流程示意图。

图4为本公开示例性实施例的目标内容的获取方法的原理示意图。

图5为本公开示例性实施例的目标内容的获取装置的结构示意图。

图6为本公开示例性实施例的电子设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

根据本公开的实施方式，提出了一种目标内容的获取方法及相关设备。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本申请的原理和精神。

发明概述

本公开的方案旨在提供目标内容的获取方法及相关设备，以实现一种改进的目标内容的获取方案。

目前，用户可以通过图像采集装置(例如摄像头)来采集目标内容的图像，从而获取目标内容。然而，图像采集装置的视野一般是规则形状，例如长方形、正方形。如果目标内容的排版形式是不规则形状，如图1所示。图1示出了一种目标内容的获取场景的示意图。图1中，内容对象100包括内容101、内容102和内容103。用户想获取内容101时，图像采集装置的视野110不仅包括内容101还包括内容102的一部分，那么此时获取的图像除了内容101外还混入了内容102，这将使得用户获取的图像不够准确。如果此时，用户想获取内容101，还需要进行后期处理，例如对视野110所拍摄的图像进行裁剪等一些图像处理，这将给用户带来极大的不便。此外，由于图像采集装置本身的属性限制，例如焦距或视野的长宽比例等，也容易导致混入其他内容，例如用户想获取内容102，由于视野的长宽比例是一定的，图像采集装置的视野120不仅包括内容102还包括内容103的一部分，同样混入了其他内容，导致无法获取准确的目标内容，用户需要后期制作处理才能得的准确的目标内容，增加了用户的操作，降低了目标内容获取的效率和准确度。

虽然有些目标内容的获取方式可以通过用户的手势交互，准确地确定目标内容的区域，例如可以通过用户的手势来确定目标内容所在的区域，并触发目标内容的采集，但是这种情况可能会获取到包括手部的图像，该手部会对目标内容造成遮挡，导致获取的目标内容不完整。

在实现本公开的过程中，发明人发现上述现有技术均存在明显不足。传统的目标内容的获取方式，容易混入其他内容，使得获取到的内容不够准确，且需要后期处理；或者通过手势触发时直接对图像进行采集，目标内容容易被手部遮挡，使得获取的到的内容不完整。

基于上述目标内容获取过程的特点，针对于上述现有技术存在的问题，本公开提供了一种目标内容的获取方法及相关设备，通过清晰度较低的第一图像数据进行手势检测，以触发目标内容的获取；以及在触发目标内容的获取时，基于清晰度较高的第二图像数据进行目标内容的遮挡判断，得到无遮挡的目标内容图像，从而能够实现通过手势来快速准确且完整地采集目标内容。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

参考图2，其为本公开实施例提供的目标内容的获取架构的示意图。该目标内容的获取架构200包括服务器210、终端220以及提供通信链路的网络230。服务器210和终端220之间可通过有线或无线的网络230连接。其中，服务器210可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

终端220可以是硬件或软件实现。例如，终端220为硬件实现时，可以是具有显示屏并且支持页面显示的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。终端120设备为软件实现时，可以安装在上述所列举的电子设备中；其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块，在此不做具体限定。

需要说明的是，本申请实施例所提供的目标内容的获取方法可以由终端220来执行，也可以由服务器210来执行。应了解，图2中的终端、网络和服务器的数目仅为示意，并不旨在对其进行限制。根据实现需要，可以具有任意数目的终端、网络和服务器。

参考图3A，其为本公开实施例提供的目标内容的获取方法的应用场景示意图。如图3A所示，目标内容对象100包括内容101-103，用户想获取的目标内容为内容101。用户可以用手部310在目标内容对象100上画出包括内容101的轨迹320。图像采集装置采集连续采集目标内容对象100的原始图像数据，并将该原始图像数据解析为具有第一清晰度的第一图像数据和具有第二清晰度的第二图像数据，第一清晰度可以小于第二清晰度。第一图像数据包括至少一帧第一图像，由于第一图像的清晰度较低，对其进行图像处理的计算量以及消耗也相应较低，可以对每帧第一图像都进行手部检测，当检测到手部310的手势为针对目标内容101的预设手势时，触发目标内容是否被遮挡的判断。第二图像数据包括至少一帧第二图像，第二图像的清晰度更高，即第二图像包含更清晰的目标内容，但受限于硬件条件而无法对每帧第二图像进行逐帧的图像处理，而是每隔一定数量的帧数进行手势检测和目标内容是否被遮挡的检测。可以检测第二图像的目标内容中是否遮挡，将其中目标内容未被遮挡的第二图像作为目标图像330，从而得到清晰度更高的包含目标内容的图像，可以从该目标图像中得到准确且完整的目标内容。

本公开实施例的方法，通过清晰度较低的第一图像数据进行手势检测，以触发目标内容的遮挡判断；以及基于清晰度较高的第二图像数据进行目标内容的遮挡判断，得到无遮挡的目标内容图像，从而能够实现通过手势来快速准确且完整地采集目标内容。

下面结合图3A的应用场景，来描述根据本公开示例性实施方式的目标内容的获取方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

示例性方法

首先，本公开实施例提供了一种目标内容的获取方法，可以由服务器执行，如图2中的服务器210；也可以由客户端执行，如图2中的客户端220；还可以有服务器和客户端共同执行，例如可以由客户端220获取第一图像数据和第二图像数据后，经由网络230将第一图像数据和第二图像数据发送至服务器210，由服务器210进行预设手势和是否被遮挡的判断，并确定未被遮挡的目标图像。然后可以将该目标图像发送至客户端220，由客户端220从目标图像中获取目标内容；或从目标图像中获取目标内容后将目标内容发送至客户端220。参考图3B，本公开实施例的目标内容的获取方法300，可以进一步包括如下步骤。

在步骤S301处，获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度。

其中，图像采集装置采集到包含目标内容的原始图像数据(例如原始视频数据)后，该原始图像数据可以经由对应的接口进行解析，得到具有第一清晰度的第一图像数据和具有第二清晰度的第二图像数据。参考图4，图4为根据本公开实施例的目标内容的获取方法的原理示意图。图4中，基于原始图像数据进行不同清晰度的解析后，得到第一图像数据和第二图像数据。由于第一图像数据和第二图像数据是由同一原始图像数据解析得到，所以，该第一图像数据和第二图像数据的数据一致。也就是说，对于相同的时刻第一图像数据和第二图像数据中所对应的图像内容是相同的，而第二图像数据的清晰度高于第一图像数据。

在步骤S302处，基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势。

其中，由于第一图像数据的清晰度较低，将该第一图像数据用于手势判断的数据基础，计算代价较低，有利于快速且准确地判断预设手势，加快了响应速度。

在一些实施例中，预设手势可以包括用户预先设置的手势信息。该手势信息可以包括预设手势的坐标信息和/或轨迹信息。进一步地，该坐标信息包括预设手势的多个坐标值形成的坐标流信息。例如，预设手势可以包括基于画圈(例如绘制目标内容的至少部分轮廓)、画线(例如在目标内容下方绘制线段)、指点(例如指向或点击目标内容所在区域)等。

在一些实施例中，所述第一图像数据包括多个连续的第一图像帧，则基于所述第一图像数据判断用户是否完成针对所述目标图像的预设手势，包括：

识别所述第一图像帧中所述用户的指尖位置，得到所述第一图像帧的手势指尖位置信息；

基于多个所述手势指尖位置信息得到手势指尖位置信息流；

基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势。

在一些实施例中，基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势，包括：

判断所述手势指尖位置信息流和所述预设手势是否相匹配；

响应于所述手势指尖位置信息流和所述预设手势相匹配，确定所述用户完成所述预设手势。

在一些实施例中，基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势，还包括：

响应于所述手势指尖位置信息流和所述预设手势不匹配，确定所述用户未完成所述预设手势。

具体地，如图4所示，第一图像数据410可以是帧率为25fps的视频流。第一图像数据410中包括多个第一图像帧411，每帧第一图像帧411之间的间隔为40ms。检测每帧第一图像帧411中的指尖位置，例如，指尖的坐标信息，记为手势指尖位置信息。多个第一图像帧411的手势指尖位置信息形成了第一图像数据410的手势指尖位置信息流。可以将手势指尖位置信息流进行处理(例如坐标对齐处理或坐标转换处理)，将手势指尖位置信息流转换至参考坐标系中的指尖信息流，即将手势指尖位置信息流与预设手势的预设指尖信息流在参考坐标系中的起始位置对齐。再将该指尖信息流与该参考坐标系下的预设手势的预设指尖信息流进行对比，如果二者一致或者用户的指尖信息流的至少部分与预设指尖信息流的至少部分一致则说明用户完成预设手势。例如，用户在参考坐标系下的指尖信息流L1为(x1，y1)→(x2，y2)→……→(xi，yi)，预设指尖信息流Lf为(x1，y1)→(x2，y2)→……→(xj，yj)，j≥i，i和j为正整数，指尖信息流L1为预设指尖信息流Lf的至少部分，说明用户完成该预设手势。

还可以基于用户的指尖信息流进行轨迹识别，确定用户的实际手势；再判断该实际手势是否为预设手势。例如，根据用户的指尖信息流L1为(x1，y1)→(x2，y2)→……→(xi，yi)→(x1，y1)确定用户的实际手势是画圈，画圈属于预设手势，说明用户完成了预设手势。其中，可以通过训练手势模型来识别用户的指尖信息流，例如，可以将多个指尖位置信息流作为输入层数据，对应的手势作为输出层数据，用于训练神经网络以得到手势识别模型。

图4中，基于第一图像帧411进行手势判断，并在时间t0确定用户完成针对目标内容的预设手势，从而触发第二图像数据的遮挡判断。

在步骤S303处，响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像。

在一些实施例中，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第二图像数据确定所述第二图像数据中所述目标内容的目标区域；

判断所述目标区域与所述第二图像数据中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第二图像数据中存在所述目标图像。

具体地，图4中，第二图像数据420包括多个第二图像帧(图中未示出)。每个第二图像帧都可以对应于一个第一图像帧411。可以对每个第二图像帧进行指尖手部检测得到第二图像帧中对应的指尖位置信息L2，而在时间t0触发第二图像数据的遮挡判断时，可以确定该时间t0第一图像帧中的手势指尖位置信息L0。由于第一图像帧和第二图像帧的图像内容一致，则指尖位置信息也一致，结合该指尖位置信息L0和每个第二图像帧的指尖位置信息L2可以确定第二图像帧中的目标区域D2。

在对第二图像帧中进行指尖手部检测时还可以得到第二图像帧中的手部区域的位置，例如，由于手势识别过程中必然会识别手部区域，可以基于手势模型对第二图像帧进行指尖手部检测，得到第二图像帧中的手部区域，例如手势模型可以输出包括手部区域的定位框。在进行目标内容的遮挡判断时可以计算手部区域与目标区域D2的重叠率，该重叠率可以包括手部区域的第一面积D1与目标区域D2的第二面积的比值D1/D2。再将该重叠率与预设阈值比较，如果重叠率大于或等于该预设阈值，则说明手部对目标内容形成遮挡；如果重叠率小于该预设阈值，则说明手部对目标内容没有形成遮挡。将其中手部没有对目标内容形成遮挡的第二图像帧作为目标图像，以从中获取准确而完整的目标内容。

在一些实施例中，所述第二图像数据包括多个间隔预设帧数的第三图像，方法300还可以进一步包括：

对所述第三图像进行目标内容检测以及指尖手部检测，得到所述第三图像中的目标内容信息和指尖手部位置信息；

将所述当前时刻之前的预设数量的第三图像信息存储至缓存队列，所述第三图像信息包括所述第三图像、所述第三图像对应的所述目标内容位置信息和所述指尖手部位置信息。

其中，由于硬件的限制，有时并不能对于第二图像数据420(例如高清路视频流)的每帧第二图像帧进行指尖手部检测和目标内容检测。可以间隔预设帧数f进行指尖手部检测和目标内容检测，例如图4中，每5帧也即为200ms进行一次进行指尖手部检测和目标内容检测，可以将对应的指尖手部检测结果(即指尖手部位置信息)和目标内容检测结果(即目标内容信息)连同该时刻的第二图像帧一起存入缓存队列430中，缓存队列430的长度为n帧缓存帧，n为正整数。例如，n＝5则缓存队列430的最长缓存时间为200ms*5＝1s。

如图4所示，缓存队列430可以包括至少一个缓存帧cache-1、cache-2、cache-3、cache-4、cache-5。每个缓存帧包括具有第二清晰度的第二图像帧421、指尖手部检测结果(例如本公开实施例的手部区域、指尖位置信息L2)和目标内容检测结果(例如本公开实施例的目标区域D2)。缓存队列430具有一个固定的长度，随着时间的推移，新的缓存帧加入缓存队列430的队尾时丢弃队首的缓存帧，以控制缓存占用的资源，且能够防止由于目标内容的移动等原因使得之前缓存时间过长的缓存帧不能有效识别出目标内容，导致目标内容的获取失败的情况发生。

在一些实施例中，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第三图像的目标内容位置信息确定所述第三图像中所述目标内容的目标区域；

判断所述目标区域与所述第三图像的指尖手部位置信息中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第三图像中存在所述目标图像。

具体地，在时间t0触发第二图像数据的遮挡判断时，可以从缓存队列的第三图像中确定目标图像。由于缓存帧中存储了第三图像及其对应的指尖手部检测结果(例如本公开实施例的手部区域、指尖位置信息)和目标内容检测结果(例如本公开实施例的目标区域)。可以计算第三图像的手部区域与目标区域D2的重叠率，该重叠率可以包括手部区域的第三面积D3与目标区域D2的第二面积的比值D3/D2。再将该重叠率与预设阈值比较，如果重叠率大于或等于该预设阈值，则说明手部对目标内容形成遮挡；如果重叠率小于该预设阈值，则说明手部对目标内容没有形成遮挡。将其中手部没有对目标内容形成遮挡的第三图像作为目标图像，以从中获取准确而完整的目标内容。由此可知，对缓存队列中的历史缓存帧进行目标内容的遮挡判断可以完全并行来进行的，因此可以提高目标内容的获取效率，进一步减少响应时间。

在一些实施例中，方法300还可以包括：

响应于所述重叠率大于或等于所述预设阈值，确定所述第三图像中不存在所述目标图像；

判断所述当前时刻之后所述缓存队列中新增的第三图像信息是否存在所述目标图像；其中，所述缓存队列中所述新增的第三图像信息时移除时间最早的第三图像信息。

其中，实际操作中可能会出现缓存队列430中不存在无遮挡的目标图像，这可能是用户在完成预测手势之前的一段时间中手部均对目标区域有所遮挡。此时，可以从当前检测到完成预测手势之后的第二图像数据或缓存队列中确定目标图像。例如，当新的缓存帧进入缓存队列之后，移除时间最早的缓存帧，可以对新的缓存帧进行遮挡判断，即判断缓存队列中新增的第三图像中的手部区域与目标区域D2的重叠率是否大于或等于预设阈值，将新增的第三图像中手部没有对目标内容形成遮挡的第三图像作为目标图像。例如，当图4的缓存帧cache-1、cache-2、cache-3、cache-4、cache-5中不存在未被遮挡的目标图像时，可以当新的缓存帧进入缓存队列430时，移除时间最早的缓存帧cache-5，计算新的缓存帧中手部区域与目标区域的重叠率是否大于或等于预设阈值，如果该新的缓存帧存在目标图像，则将该新的缓存帧中的第三图像返回；如果该新的缓存帧依然不存在目标图像，则继续对后续新增的缓存帧进行遮挡判断，将其中没有对目标内容形成遮挡的第三图像作为目标图像。

在一些实施例中，方法300还可以包括：响应于在当前时刻用户完成所述预设手势，提示用户将手部移开，以使得所述用户的手部不遮挡所述目标内容。

其中，为了防止较长时间范围内无法采集到目标图像导致响应时间增加，可以提示用户在完成预设手势后移开手部。该提示可以是在进行目标内容获取的步骤之前，也可以是在进行目标内容获取的期间进行。当在目标内容获取的步骤之前提示用户时，可以是在产品说明中指引用户，例如在静态的产品说明中通过步骤图示结合文字说明，或在动态的产品说明中通过动画图示进行说明。当在进行目标内容获取的期间提示用户时，可以通过语音和/或图像的方式在任意时间指引用户将手部快速离开目标区域，例如在用户完成预设手势后。

在一些实施例中，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

判断所述第二图像数据中是否存在不包含手部图像的第四图像；

响应于所述第二图像数据中存在所述第四图像，将所述第四图像确定为所述目标图像。

其中，还可以直接判断第二图像数据中是否存在手部图像来确定目标图像。如果第二图像数据中不存在手部图像，则必然不会存在对目标内容的遮挡。所以，可以将第二图像数据中不存在手部图像的第二图像确定为目标图像。

相同地，对于缓存队列430中的缓存帧也可以通过判断是否存在手部图像来确定目标图像。可以将缓存队列430(包括当前时间t0之间的历史缓存帧，以及当前时间t0之后新增的缓存帧)中不存在手部图像的第三图像确定为目标图像。

在步骤S304处，响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

其中，可以基于目标图像进行目标识别(例如文字识别、图像识别等)得到相应的目标内容。从而能够实现通过手势来快速准确且完整地采集目标内容。

在一些实施例中，方法300还包括：

判断所述第二图像数据在预设时间范围内是否不存在所述目标图像；

响应于所述第二图像数据在所述预设时间范围内不存在所述目标图像，提示用户重新进行手势操作。

具体地，当针对用户的某个预设手势完成，可以设置预设时间范围，当超出该预设时间范围还没有检测到目标图像，则可以提示用户重新进行手势操作，根据本公开实施例的方法重新获取目标内容。

示例性设备

参考图5，基于与上述任意目标内容的获取方法实施例相同的发明构思，本公开实施例还提供了一种目标内容的获取装置。所述的目标内容的获取装置，包括：

获取模块，用于获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度；

手势判断模块，用于基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势；

遮挡判断模块，用于响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像；

目标内容获取模块，用于响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

在一些实施例中，所述遮挡判断模块还用于：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第二图像数据确定所述第二图像数据中所述目标内容的目标区域；

判断所述目标区域与所述第二图像数据中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第二图像数据中存在所述目标图像。

在一些实施例中，所述第二图像数据包括多个间隔预设帧数的第三图像；

所述装置还包括缓存模块，用于：

对所述第三图像进行目标内容检测以及指尖手部检测，得到所述第三图像中的目标内容信息和指尖手部位置信息；

将所述当前时刻之前的预设数量的第三图像信息存储至缓存队列，所述第三图像信息包括所述第三图像、所述第三图像对应的所述目标内容位置信息和所述指尖手部位置信息。

在一些实施例中，所述遮挡判断模块还用于：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第三图像的目标内容位置信息确定所述第三图像中所述目标内容的目标区域；

判断所述目标区域与所述第三图像的指尖手部位置信息中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第三图像中存在所述目标图像。

在一些实施例中，所述缓存模块还用于：

响应于所述重叠率大于或等于所述预设阈值，确定所述第三图像中不存在所述目标图像；

判断所述当前时刻之后所述缓存队列中新增的第三图像信息是否存在所述目标图像；其中，所述缓存队列中所述新增的第三图像信息时移除时间最早的第三图像信息。

在一些实施例中，所述装置还包括：

提示模块，用于响应于在当前时刻用户完成所述预设手势，提示用户将手部移开，以使得所述用户的手部不遮挡所述目标内容。

在一些实施例中，所述第一图像数据包括多个连续的第一图像帧；所述手势判断模块还用于：

识别所述第一图像帧中所述用户的指尖位置，得到所述第一图像帧的手势指尖位置信息；

基于多个所述手势指尖位置信息得到手势指尖位置信息流；

基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势。

在一些实施例中，所述手势判断模块还用于：

判断所述手势指尖位置信息流和所述预设手势是否相匹配；

响应于所述手势指尖位置信息流和所述预设手势相匹配，确定所述用户完成所述预设手势。

在一些实施例中，所述装置还包括：超时模块，用于判断所述第二图像数据在预设时间范围内是否不存在所述目标图像；

所述提示模块，还用于响应于所述第二图像数据在所述预设时间范围内不存在所述目标图像，提示用户重新进行手势操作。

上述实施例的装置用于实现前述示例性目标内容的获取方法部分中任一实施例中相应的目标内容的获取方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于与上述任意目标内容的获取方法实施例相同的发明构思，本公开实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的目标内容的获取方法。

图6示出了本公开示例性实施例的电子设备结构示意图，该设备可以包括：处理器610、存储器620、输入/输出接口630、通信接口640和总线650。其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。

处理器610可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器620可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。

输入/输出接口630用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口640用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线650包括一通路，在设备的各个组件(例如处理器610、存储器1020、输入/输出接口630和通信接口640)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述示例性方法部分中任一实施例中相应的目标内容的获取方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

示例性程序产品

基于与上述任意目标内容的获取方法实施例相同的发明构思，本公开实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述示例性方法部分中任一实施例中相应目标内容的获取方法。

上述非暂态计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上示例性方法部分中任一实施例所述的目标内容的获取方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举示例)例如可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (10)

1.一种目标内容的获取方法，其特征在于，包括：

获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度；

基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势；

响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像；

响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

2.根据权利要求1所述的方法，其特征在于，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第二图像数据确定所述第二图像数据中所述目标内容的目标区域；

判断所述目标区域与所述第二图像数据中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第二图像数据中存在所述目标图像。

3.根据权利要求2的方法，其特征在于，所述第二图像数据包括多个间隔预设帧数的第三图像，还包括：

对所述第三图像进行目标内容检测以及指尖手部检测，得到所述第三图像中的目标内容信息和指尖手部位置信息；

将所述当前时刻之前的预设数量的第三图像信息存储至缓存队列，所述第三图像信息包括所述第三图像、所述第三图像对应的所述目标内容位置信息和所述指尖手部位置信息。

4.根据权利要求3所述的方法，其特征在于，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像，包括：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第三图像的目标内容位置信息确定所述第三图像中所述目标内容的目标区域；

判断所述目标区域与所述第三图像的指尖手部位置信息中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第三图像中存在所述目标图像。

5.根据权利要求4所述的方法，其特征在于，还包括：

响应于所述重叠率大于或等于所述预设阈值，确定所述第三图像中不存在所述目标图像；

判断所述当前时刻之后所述缓存队列中新增的第三图像信息是否存在所述目标图像；其中，所述缓存队列中所述新增的第三图像信息时移除时间最早的第三图像信息。

6.根据权利要求1所述的方法，其特征在于，还包括：

响应于在当前时刻用户完成所述预设手势，提示用户将手部移开，以使得所述用户的手部不遮挡所述目标内容。

7.根据权利要求1所述的方法，其特征在于，所述第一图像数据包括多个连续的第一图像帧，则基于所述第一图像数据判断用户是否完成针对所述目标图像的预设手势，包括：

识别所述第一图像帧中所述用户的指尖位置，得到所述第一图像帧的手势指尖位置信息；

基于多个所述手势指尖位置信息得到手势指尖位置信息流；

基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势。

8.根据权利要求7所述的方法，其特征在于，基于所述手势指尖位置信息流判断所述用户是否完成所述预设手势，包括：

判断所述手势指尖位置信息流和所述预设手势是否相匹配；

响应于所述手势指尖位置信息流和所述预设手势相匹配，确定所述用户完成所述预设手势。

9.一种目标内容的获取装置，其特征在于，包括：

获取模块，用于获取具有第一清晰度且包含所述目标内容的第一图像数据，以及获取具有第二清晰度且与所述第一图像数据内容相同的第二图像数据，所述第一清晰度小于所述第二清晰度；

手势判断模块，用于基于所述第一图像数据判断在当前时刻用户是否完成针对所述目标内容的预设手势；

遮挡判断模块，用于响应于在当前时刻用户完成所述预设手势，判断所述第二图像数据中是否存在所述目标内容未被遮挡的目标图像；

目标内容获取模块，用于响应于所述第二图像数据中存在所述目标图像，基于所述目标图像获取所述目标内容。

10.根据权利要求9所述的装置，其特征在于，所述遮挡判断模块还用于：

基于所述第一图像数据确定所述当前时刻的手势指尖位置信息；

基于所述手势指尖位置信息和所述第二图像数据确定所述第二图像数据中所述目标内容的目标区域；

判断所述目标区域与所述第二图像数据中手部区域的重叠率是否大于或等于预设阈值；

响应于所述重叠率小于所述预设阈值，确定所述第二图像数据中存在所述目标图像。

Images