CN104216517A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明涉及人机交互领域，公开了一种信息处理方法及电子设备，以解决现有技术中虚拟输入装置跟随性差的技术问题，该方法应用于包括显示单元的电子设备中，包括：采集获得电子设备所在环境的第一图像；从第一图像中确定出第一目标体所在的第一区域；在显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及人机交互领域，特别涉及一种信息处理方法及电子设备。

背景技术

随着科学技术的不断发展，电子技术也得到了飞速的发展，电子产品的种类也越来越多，人们也享受到了科技发展带来的各种便利。现在人们可以通过各种类型的电子设备，享受随着科技发展带来的舒适生活。现在技术中，为了方便用户进行输入操作，电子设备都包含有输入装置，例如：键盘、鼠标等等，而为了方便携带，也为了降低电子设备的体积，虚拟输入装置将逐渐替代实体输入装置，例如：虚拟输入键盘、触控屏、虚拟鼠标等等。

以虚拟输入装置为虚拟键盘为例，电子设备上需要安装投影装置，然后通过投影方式投影出虚拟键盘，故而导致功耗较大；并且通常情况下，由于投影装置都是朝向一个固定角度进行投影的，故而导致所产生的虚拟输入装置跟随性较差，例如：在用户从一个位置移动至另一个位置时，虚拟键盘并不会随着移动，也即是说现有技术中虚拟输入装置存着在功耗大、且跟随性差的技术问题。

发明内容

本发明实施例提供一种信息处理方法及电子设备，以解决现有技术中虚拟输入装置的跟随性差的技术问题。

第一方面，本发明实施例提供一种信息处理方法，应用于包括显示单元的电子设备中，包括：采集获得所述电子设备所在环境的第一图像；从所述第一图像中确定出第一目标体所在的第一区域；在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像，所述虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使所述电子设备在检测到针对所述第一目标体的手势操作时，根据所述第一区域与所述第二区域的对应关系，将所述手势操作转换为针对所述虚拟输入界面的输入操作。

结合第一方面，在第一种可能的实现方式中，所述显示单元的透明度大于预设阈值。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述虚拟图像与所述第一目标体在第一视线角度的位置存在重叠。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之前，所述方法还包括：根据所述第一目标体的大小确定所述虚拟图像的显示尺寸，以使在所述第一视线角度，所述虚拟图像仅显示于所述第一目标体表面。

结合第一方面或第一方面的第一种可能的实现方式，在第四种可能的实现方式中，所述电子设备具体为：智能眼镜。

结合第一方面或第一方面的第一种可能的实现方式，在第五种可能的实现方式中，在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之后，所述方法还包括：获取针对所述第一目标体的所述手势操作；确定所述手势操作所对应的所述虚拟输入界面的输入位置；基于所述手势操作所对应的手势信息以及所述输入位置，将所述手势操作转换为所述输入操作。

第二方面，本发明实施例提供一种电子设备，包括：采集模块，用于采集获得所述电子设备所在环境的第一图像；第一确定模块，用于从所述第一图像中确定出第一目标体所在的第一区域；显示模块，用于在所述电子设备的显示单元上与所述第一区域对应的第二区域显示虚拟图像，所述虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使所述电子设备在检测到针对所述第一目标体的手势操作时，根据所述第一区域与所述第二区域的对应关系，将所述手势操作转换为针对所述虚拟输入界面的输入操作。

结合第一方面，在第一种可能的实现方式中，所述显示单元的透明度大于预设阈值。

结合第一方面或第一方面的第一种可能的实现方式中，在第二种可能的实现方式中，所述虚拟图像与所述第一目标体在第一视线角度的位置存在重叠。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述电子设备还包括：第二确定模块，用于在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之前，根据所述第一目标体的大小确定所述虚拟图像的显示尺寸，以使在所述第一视线角度，所述虚拟图像仅显示于所述第一目标体表面。

结合第一方面或第一方面的第一种可能的实现方式中，在第四种可能的实现方式中，所述电子设备具体为：智能眼镜。

结合第一方面或第一方面的第一种可能的实现方式中，在第五种可能的实现方式中，所述电子设备还包括：获取模块，用于在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之后，获取针对所述第一目标体的所述手势操作；第三确定模块，用于确定所述手势操作所对应的所述虚拟输入界面的输入位置；转换模块，用于基于所述手势操作所对应的手势信息以及所述输入位置，将所述手势操作转换为所述输入操作。

本发明有益效果如下：

由于在本发明实施例中，首先采集获得电子设备所在环境的第一图像，然后从第一图像中确定出第一目标体所在的第一区域，最后在显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作，由于直接在电子设备的显示单元上显示对应虚拟输入装置的虚拟图像，并且在检测到针对第一目标体的手势操作时，可以将其转换为针对虚拟输入界面的输入操作，而不需要通过投影方式投影虚拟输入装置，故而达到了降低虚拟输入装置的功耗的技术效果；并且虚拟图像的显示位置为与第一目标体所在第一区域对应的第二区域，也就是随着第一目标体的移动，虚拟图像的位置也会跟着发生移动，故而达到了提高虚拟输入装置的跟随性的技术效果。

附图说明

图1为本发明实施例信息处理方法的流程图；

图2为本发明实施例信息处理方法中在智能眼镜表面显示虚拟键盘的虚拟图像的示意图；

图3为本发明实施例信息处理方法中将手势操作转换为输入操作的流程图；

图4为本发明实施例中电子设备的结构图。

具体实施方式

针对现有技术中虚拟输入装置的跟随性差的技术问题，本发明实施例提供一种信息处理方法，包括：首先采集获得电子设备所在环境的第一图像，然后从第一图像中确定出第一目标体所在的第一区域，最后在显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作。

由于在上述方案中，直接在电子设备的显示单元上显示对应虚拟输入装置的输入界面的虚拟图像，并且在检测到针对第一目标体的手势操作时，可以将其转换为针对虚拟输入界面的输入操作，而不需要通过投影方式投影虚拟输入装置，故而达到了降低虚拟输入装置的功耗的技术效果；并且虚拟图像的显示位置为与第一目标体所在第一区域对应的第二区域，也就是随着第一目标体的移动，虚拟图像的位置也会跟着发生移动，故而达到了提高虚拟输入装置的跟随性的技术效果。

下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。

第一方面，本发明实施例提供一种信息处理方法，应用于包括显示单元的电子设备中，电子设备例如为：智能眼镜、平板电脑、手机等等，其中，优选的电子设备为：智能眼镜，请参考图1，信息处理方法包括以下步骤：

步骤S101：采集获得电子设备所在环境的第一图像；

步骤S102：从第一图像中确定出第一目标体所在的第一区域；

步骤S103：在显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作。

步骤S101中，电子设备可以包含图像采集装置，进而通过电子设备的图像采集装置采集获得第一图像；又或者，电子设备可以与包含图像采集装置的另一电子设备相连，通过另一电子设备的图像采集装置采集获得第一图像，然后将其发送至当前电子设备，对于通过何种方式采集获得第一图像，本发明实施例不再详细列举，并且不作限制。

步骤S102中，第一目标体可以为预设的任意目标体，例如：手、人脸、投影屏等等，本发明实施例不作限制。在电子设备中可以预存多个预设目标体，这多个目标体存在一优先级顺序，例如：手>人脸>投影屏等等，在电子设备采集获得第一图像之后，就对第一图像进行图像识别，首先识别出其中是否包含优先级最高的目标体，如果存在，则将其确定为第一目标体；如果没有，再依次降低优先级进行识别，进而最终确定出第一目标体。

步骤S103中，以第一目标体为手为例，那么第一区域则为第一图像中手所在区域，以电子设备为智能眼镜为例，那么第二区域则为智能眼镜上与手对应的区域，如图2所示，为智能眼镜的第二区域显示一虚拟键盘的虚拟图像的示意图。

作为进一步的优选实施例，显示单元的透明度大于预设阈值，预设阈值例如为：50％、70％、100％等等，本发明实施例不作限制，在显示单元的透明度大于预设阈值时，用户在使用电子设备时，则可以透过显示单元查看到虚拟输入装置，进而在视觉上显示单元前方显示有虚拟输入装置，从而达到了不通过投影方式也可以模拟出与投影方式所达到的输入效果完全相同的虚拟输入装置的技术效果，进而达到了在降低虚拟输入装置的能耗的同时，不影响用户使用的技术效果。

作为进一步的优选实施例，虚拟图像与第一目标体在第一视线角度的位置存在重叠，第一视线角度例如为：电子设备的用户的正前面的实现角度，进而在电子设备的用户使用电子设备时，看到的虚拟图像显示于第一目标体表面，从而达到了在不投影的情况下，模拟出第一目标体表面显示虚拟输入界面的技术效果，进而能够保证在降低能够的同时，在第一目标体表面模拟出虚拟输入界面。

作为进一步的优选实施例，在基于步骤S103在显示单元上与第一区域对应的第二区域显示虚拟图像之前，方法还包括：

根据第一目标体的大小确定虚拟图像的显示尺寸，以使在第一视线角度，虚拟图像仅显示于第一目标体表面。

在具体实施过程中，通常第一目标体为表面比较平坦的目标体，进而即使显示单元为透明度高于预设阈值的显示单元，在显示单元表面显示虚拟图像之后，与第一目标体相重叠的部分依然可以清晰的被查看，而如果虚拟图像显示于第一目标体表面之外的区域的话，由于第一目标体和其它区域之间存在界限，故而会导致界限处的虚拟图像不能够清楚的被查看，进而影响用户的输入操作，例如：用户因为需要仔细辨认虚拟图像，进而导致降低输入速度，又或者直接输入错误的数据等等。通过上述方案确定了虚拟图像的大小，进而使虚拟图像在第一视线角度仅仅显示于第一目标体表面，从而保证用户能够方便的查看虚拟图像，进而提高了输入操作的效率和准确性。

作为进一步的优选实施例，请参考图3，在显示单元上与第一区域对应的第二区域显示虚拟图像之后，方法还包括：

步骤S301：获取针对第一目标体的手势操作；

步骤S302：确定手势操作所对应的虚拟输入界面的输入位置；

步骤S303：基于手势操作所对应的手势信息以及输入位置，将手势操作转换为输入操作。

步骤S301中，手势操作例如为：点击操作、滑动操作、触控操作等等，本发明实施例不作限制。

步骤S302中，可以通过设置于电子设备的图像采集装置或者电子设备外接的图像采集装置检测获得输入位置，其中，虚拟输入装置例如为：虚拟键盘、虚拟鼠标等等。

步骤S303中，假设虚拟输入装置为虚拟键盘，那么可以通过输入位置确定手势操作所对应的按键，进而将手势操作转换为针对键盘的按键操作；如果虚拟输入装置为虚拟鼠标，那么在电子设备中可以预先将虚拟图像划分为两个区域，其中如果输入位置为虚拟图像的左侧区域，那么则确定手势操作为针对鼠标左键的操作，如果输入位置为虚拟图像的右侧区域，则确定手势操作为针对鼠标右键的操作等等，对于采用何种方式将手势操作转换为输入操作，对此本发明实施例不再详细列举，并且不作限制。

第二方面，基于同一发明构思，本发明实施例提供一种电子设备，请参考图4，包括：

采集模块40，用于采集获得电子设备所在环境的第一图像；

第一确定模块41，用于从第一图像中确定出第一目标体所在的第一区域；

显示模块42，用于在电子设备的显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作。

可选的，显示单元的透明度大于预设阈值。

可选的，虚拟图像与第一目标体在第一视线角度的位置存在重叠。

可选的，电子设备还包括：

第二确定模块，用于在显示单元上与第一区域对应的第二区域显示虚拟图像之前，根据第一目标体的大小确定虚拟图像的显示尺寸，以使在第一视线角度，虚拟图像仅显示于第一目标体表面。

可选的，电子设备具体为：智能眼镜。

可选的，电子设备还包括：

获取模块，用于在显示单元上与第一区域对应的第二区域显示虚拟图像之后，获取针对第一目标体的手势操作；

第三确定模块，用于确定手势操作所对应的虚拟输入界面的输入位置；

转换模块，用于基于手势操作所对应的手势信息以及输入位置，将手势操作转换为输入操作。

本发明的一个或多个实施例，至少具有以下有益效果：

由于在本发明实施例中，首先采集获得电子设备所在环境的第一图像，然后从第一图像中确定出第一目标体所在的第一区域，最后在显示单元上与第一区域对应的第二区域显示虚拟图像，虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使电子设备在检测到针对第一目标体的手势操作时，根据第一区域与第二区域的对应关系，将手势操作转换为针对虚拟输入界面的输入操作，由于直接在电子设备的显示单元上显示对应虚拟输入装置的虚拟图像，并且在检测到针对第一目标体的手势操作时，可以将其转换为针对虚拟输入界面的输入操作，而不需要通过投影方式投影虚拟输入装置，故而达到了降低虚拟输入装置的功耗的技术效果；并且虚拟图像的显示位置为与第一目标体所在第一区域对应的第二区域，也就是随着第一目标体的移动，虚拟图像的位置也会跟着发生移动，故而达到了提高虚拟输入装置的跟随性的技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

具体来讲，本申请实施例中的信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与信息处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

采集获得所述电子设备所在环境的第一图像；

从所述第一图像中确定出第一目标体所在的第一区域；

在所述电子设备的显示单元上与所述第一区域对应的第二区域显示虚拟图像，所述虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使所述电子设备在检测到针对所述第一目标体的手势操作时，根据所述第一区域与所述第二区域的对应关系，将所述手势操作转换为针对所述虚拟输入界面的输入操作。

可选的，所述显示单元的透明度大于预设阈值。

可选的，所述虚拟图像与所述第一目标体在第一视线角度的位置存在重叠。

可选的，所述存储介质中还存储有另外一些计算机指令，这些计算机指令在步骤在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之前被执行，在被执行过程中包括以下步骤：

根据所述第一目标体的大小确定所述虚拟图像的显示尺寸，以使在所述第一视线角度，所述虚拟图像仅显示于所述第一目标体表面。

可选的，所述电子设备具体为：智能眼镜。

可选的，所述存储介质中还存储有另外一些计算机指令，这些计算机指令在步骤在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之后，之后被执行，在被执行过程中包括以下步骤：

获取针对所述第一目标体的所述手势操作；

确定所述手势操作所对应的所述虚拟输入界面的输入位置；

基于所述手势操作所对应的手势信息以及所述输入位置，将所述手势操作转换为所述输入操作。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种信息处理方法，应用于包括显示单元的电子设备中，其特征在于，包括：

采集获得所述电子设备所在环境的第一图像；

从所述第一图像中确定出第一目标体所在的第一区域；

在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像，所述虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使所述电子设备在检测到针对所述第一目标体的手势操作时，根据所述第一区域与所述第二区域的对应关系，将所述手势操作转换为针对所述虚拟输入界面的输入操作。

2.如权利要求1所述的方法，其特征在于，所述显示单元的透明度大于预设阈值。

3.如权利要求1或2所述的方法，其特征在于，所述虚拟图像与所述第一目标体在第一视线角度的位置存在重叠。

4.如权利要求3所述的方法，其特征在于，在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之前，所述方法还包括：

根据所述第一目标体的大小确定所述虚拟图像的显示尺寸，以使在所述第一视线角度，所述虚拟图像仅显示于所述第一目标体表面。

5.如权利要求1或2所述的方法，其特征在于，所述电子设备具体为：智能眼镜。

6.如权利要求1或2所述的方法，其特征在于，在所述在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之后，所述方法还包括：

获取针对所述第一目标体的所述手势操作；

确定所述手势操作所对应的所述虚拟输入界面的输入位置；

基于所述手势操作所对应的手势信息以及所述输入位置，将所述手势操作转换为所述输入操作。

7.一种电子设备，其特征在于，包括：

采集模块，用于采集获得所述电子设备所在环境的第一图像；

第一确定模块，用于从所述第一图像中确定出第一目标体所在的第一区域；

显示模块，用于在所述电子设备的显示单元上与所述第一区域对应的第二区域显示虚拟图像，所述虚拟图像为一虚拟输入装置的输入界面所对应的图像，以使所述电子设备在检测到针对所述第一目标体的手势操作时，根据所述第一区域与所述第二区域的对应关系，将所述手势操作转换为针对所述虚拟输入界面的输入操作。

8.如权利要求7所述的电子设备，其特征在于，所述显示单元的透明度大于预设阈值。

9.如权利要求7或8所述的电子设备，其特征在于，所述虚拟图像与所述第一目标体在第一视线角度的位置存在重叠。

10.如权利要求9所述的电子设备，其特征在于，所述电子设备还包括：

第二确定模块，用于在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之前，根据所述第一目标体的大小确定所述虚拟图像的显示尺寸，以使在所述第一视线角度，所述虚拟图像仅显示于所述第一目标体表面。

11.如权利要求7或8所述的电子设备，其特征在于，所述电子设备具体为：智能眼镜。

12.如权利要求7或8所述的电子设备，其特征在于，所述电子设备还包括：

获取模块，用于在所述显示单元上与所述第一区域对应的第二区域显示虚拟图像之后，获取针对所述第一目标体的所述手势操作；

第三确定模块，用于确定所述手势操作所对应的所述虚拟输入界面的输入位置；

转换模块，用于基于所述手势操作所对应的手势信息以及所述输入位置，将所述手势操作转换为所述输入操作。