CN104077013A

CN104077013A - 指令识别方法和电子设备

Info

Publication number: CN104077013A
Application number: CN201310105273.8A
Authority: CN
Inventors: 杨振奕; 张晓平
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2014-10-01
Anticipated expiration: 2033-03-28
Also published as: CN104077013B

Abstract

本发明提供一种指令识别方法和电子设备。该指令识别方法应用于具有显示屏的电子设备。该方法包括：在所述显示屏上显示三维场景，所述三维场景划分为多个图层，每个图层对应于一个视觉深度；检测指令发出物相对于所述电子设备的距离；根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；将指示符投射到当前显示的三维场景中与所述距离对应的图层中；确定所述指示符在当前显示的三维场景中所投射的图层中的位置；以及根据所述指示符的位置和指令发出物的动作识别指令。

Description

指令识别方法和电子设备

技术领域

本发明涉及电子设备的领域，更具体地，本发明涉及一种指令识别方法和电子设备。

背景技术

目前，三维（3D）显示技术越来越普遍。常见的有通过3D眼镜实现的3D显示以及裸眼3D显示。

在3D显示的情况下进行交互时，如果直接用手指对显示单元上显示的内容进行操作，则容易破坏3D视觉。此外，由于进行3D显示，所以操作位置不容易准确定位（尤其是触摸操作时），这可能导致用户的指令无法正确识别，从而导致误操作。

因此，期望提供一种指令识别方法和电子设备，其在进行3D内容显示时，能够准确地识别用户指令，从而提高用户体验。

发明内容

根据本发明一个实施例，提供了1.一种指令识别方法，应用于具有显示屏的电子设备，该方法包括：

在所述显示屏上显示三维场景，所述三维场景划分为多个图层，每个图层对应于一个视觉深度；

检测指令发出物相对于所述电子设备的距离；

根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；

将指示符投射到当前显示的三维场景中与所述距离对应的图层中；

确定所述指示符在当前显示的三维场景中所投射的图层中的位置；以及

根据所述指示符的位置和指令发出物的动作识别指令。

优选地，所述三维场景按照功能划分为多个图层。

优选地，在所述三维场景的各个图层中叠加至少一个控件，并且在最顶层图层中叠加的控件是功能控件。

优选地，所述方法还包括：

检测所述指令发出物针对所述控件的操作以识别指令，并且激活与该控件相应的操作。

优选地，所述方法还包括：

检测所述指令发出物针对所述控件的操作后的预定时间段内所述指令发出物是否与所述显示屏的接触；

当所述指令发出物与所述显示屏的接触时，确定此时所述指令发出物对应的所述三维场景中的图层；

将所述指令发出物的操作锁定在所确定的图层中；

根据所述指令发出物针对所述图层中的控件的操作以识别指令，并且激活与该控件相应的操作。

优选地，所述显示屏为触摸显示屏，所述方法还包括：

通过所述触摸显示屏检测所述指令发出物针对最顶层图层中的控件操作，并且激活与该控件相应的操作。

优选地，检测指令发出物相对于所述电子设备的距离包括：

利用布置在所述电子设备的与所述触摸显示屏相对一侧的三维摄像装置检测指令发出物，以获取该指令发出物相对于所述电子设备的距离。

优选地，所述方法还包括：

动态检测所述指令发出物相对于所述电子设备的距离以确定所述距离是否变化，

其中，当所述距离的变化小于预定阈值时，确定所述距离没有变化，以及

当所述距离的变化大于预定阈值时，确定所述距离已经变化。

优选地，当确定所述距离已经变化时，根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；以及

将指示符投射到当前显示的三维场景中与变化后的距离对应的图层中。

根据本发明另一实施例，提供了一种电子设备，包括：

显示单元，包括具有三维显示模式的显示屏，其中在三维显示模式中显示三维场景，所述三维场景划分为多个图层，每个图层对应于一个视觉深度；

检测单元，用于检测指令发出物相对于所述电子设备的距离；

图层确定单元，用于根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；

投射单元，用于将指示符投射到当前显示的三维场景中与所述距离对应的图层中；

位置确定单元，用于确定所述指示符在当前显示的三维场景中所投射的图层中的位置；以及

指令识别单元，用于根据确定的位置和指令发出物的动作识别指令。

优选地，所述三维场景按照功能划分为多个图层。

优选地，所述电子设备还包括操作单元，用于根据指令识别单元检测指令发出物针对所述控件的操作以识别指令的结果，激活与该控件相应的操作。

优选地，所述检测单元进一步用于：

所述图层确定单元进一步用于：

当所述指令发出物与所述显示屏的接触时，确定此时所述指令发出物对应的所述三维场景中的图层；将所述指令发出物的操作锁定在所确定的图层中；以及

所述指令识别单元进一步用于：

优选地，所述显示屏为触摸显示屏，所述检测单元进一步用于通过所述触摸显示屏检测所述指令发出物针对最顶层图层中的控件操作，并且所述指令识别单元激活与该控件相应的操作。

优选地，所述检测单元包括三维摄像装置，布置在所述电子设备的与所述显示单元相对一侧，用于检测指令发出物以获取该指令发出物对应的距离。

优选地，所述检测单元还用于动态检测所述指令发出物相对于所述电子设备的距离，以确定所述距离是否变化，

优选地，当确定所述距离已经变化时，所述图层确定单元根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；以及所述投射单元将指示符投射到当前显示的三维场景中与变化后的距离对应的图层中。

因此，根据本发明实施例的指令识别方法和电子设备，在进行3D内容显示时，能够准确地识别用户指令，从而提高用户体验。

附图说明

图1是描述根据本发明第一实施例的指令识别方法的原理的示例；

图2是描述根据本发明第一实施例的指令识别方法的流程图；

图3是描述根据本发明第一实施例的指令识别方法的应用示例；以及

图4是描述根据本发明第二实施例的电子设备的功能框图。

具体实施方式

下面，将参考附图详细描述根据本发明实施例的指令识别方法和电子设备。根据本发明实施例的指令识别方法应用于具有三维显示模式的电子设备。这样的电子设备可以是任何电子设备，例如电视机、平板电脑、智能手机等等，只要其具有三维显示模式，能够显示3D内容即可。

<第一实施例>

根据本发明第一实施例的指令识别方法100应用于显示3D场景的电子设备。

在开始描述本发明之前，将参考图1描述根据本发明第一实施例的指令识别方法的原理。

如图1所示，当界面内容以3D形式（裸眼3D或眼镜式3D）显示时，界面内容可以按照功能层次进行划分，并分布到不同的视觉深度图层。也就是说，三维场景可以划分为多个图层，每个图层对应于一个视觉深度。

如图1所示，从前往后，假设将内容划分为三层，第一图层例如是背景画面，第二图层例如是人物，第三图层例如是操作面板，每个图层具有一个深度坐标。

或者，以Photoshop软件为例，画布作为一层，调色板等工具类应用作为另一层，通过视觉深度进行区分。

检测装置可以检测指令发出物与检测装置的距离作为距离，然后将该指令发出物的距离投射到相应图层。

在每一图层中，用户可以根据预定指令，进行相应的操作。由于所有的操作都在该图层内进行，而不会影响到其他图层。通过这种手段，实现对于操作区域的区隔，以避免误操作的发生。

此外，可以通过距离的调整，切换到不同图层，然后在相应图层中进行预定操作。

根据第一实施例的指令识别方法100应用于电子设备中，该电子设备可以是任何电子设备，只要该电子设备具有显示屏。该电子设备的例子例如包括电视机、智能手机、平板电脑等等。

所述指令识别方法100包括：

步骤S101：在所述显示屏上显示三维场景，所述三维场景划分为多个图层，每个图层对应于一个视觉深度；

步骤S102：检测指令发出物相对于所述电子设备的距离；

步骤S103：根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；

步骤S104：将指示符投射到当前显示的三维场景中与所述距离对应的图层中；

步骤S105：确定所述指示符在当前显示的三维场景中所投射的图层中的位置；以及

步骤S106：根据所述指示符的位置和指令发出物的动作识别指令。

在步骤S101中，在电子设备的显示屏上显示三维场景。该显示屏可以3D形式（裸眼3D或眼镜式3D）显示三维场景。此外，所述三维场景划分为多个图层，每个图层对应于一个视觉深度。例如，如前面所述，该三维场景可以根据功能划分为多个图层，每个图层对应于一个视觉深度。

在步骤S102中，检测指令发出物相对于所述电子设备的距离。在该步骤中，可以通过各种方式检测指令发出物相对于所述电子设备的距离。例如，可以利用布置在所述电子设备的与所述触摸显示屏相对一侧的三维摄像装置检测指令发出物，以获取该指令发出物对应的距离。

具体来说，例如可以在电子设备的背侧（与显示单元相对的一侧）设置双摄像头、三维摄像装置（如微软公司的kinect）等等，然后使用三维摄像装置拍摄指令发出物（例如手指、触笔或其它操作部件），从而获得该指令发出物距离电子设备的距离作为其距离。

在步骤S103中，根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层。具体地，可以预先确定指令发出物和电子设备的距离与图层的视觉深度的对应关系。例如，当图层划分为三层的情况下，当该距离小于2cm时，确定该距离对应于第一图层。当该距离大于2cm小于5cm时，确定该距离对应于第二图层。当该距离大于5cm时，确定该距离对应于第三图层。也就是说，例如当用手指作为指令发出物的情况下，如果手指与电子设备背面的距离小于2cm，则确定此时对应于第一图层。如果手指与电子设备背面的距离大于2cm小于5cm时，则确定此时对应于第二图层。如果手指与电子设备背面的距离大于5cm，则确定此时对应于第三图层。

在步骤S104中，将指示符投射到当前显示的三维场景中与所述距离对应的图层中。例如，在该步骤中，根据在步骤S103中确定的图层，将诸如光标、箭头、手指状指示符等的指示符投射到确定的图层中。此时，该指示符只与投射的图层中的元素相关联。

在步骤S105中，确定所述指示符在当前显示的三维场景中所投射的图层中的位置。例如，在该步骤中，确定指示符在已投射图层中的屏幕位置。也就是说，在步骤S103中确定指令发出物在3D场景中的深度位置（即，对应的特定图层），然后，在步骤S104中确定指令发出物在该深度位置对应的平面中的平面位置。

在步骤S106中，根据所述指示符的位置和指令发出物的动作识别指令。

在该步骤中，根据已经确定的指示符的位置以及指令发出物所进行的动作，识别指令发出物要发出的指令。

例如，可以在所述三维场景的各个图层中叠加至少一个控件，并且在最顶层图层中叠加的控件是功能控件。例如，该功能控件可以是控制游戏任务进行跳、跑、射击等等操作的控件。

此时，可以检测所述指令发出物针对所述控件的操作以识别指令，并且激活与该控件相应的操作。

例如，如果指示符的位置与跑控件的位置叠加，并且此时检测指令发出物针对所述跑控件进行点击操，则可以识别该指令是要操作游戏人物进行跑动操作，并且激活游戏人物进行跑动。

类似地，如果指示符的位置与射击控件的位置叠加，并且此时检测指令发出物针对所述射击控件进行点击操，则可以识别该指令是要操作游戏人物进行射击操作，并且激活游戏人物进行射击。

此外，在一个实施例中，还可以检测所述指令发出物针对所述控件的操作后的预定时间段内所述指令发出物是否与所述显示屏的接触。当所述指令发出物与所述显示屏的接触时，确定此时所述指令发出物对应的所述三维场景中的图层。然后，将所述指令发出物的操作锁定在所确定的图层中，并且根据所述指令发出物针对所述图层中的控件的操作以识别指令，并且激活与该控件相应的操作。

也就是说，如果用户是单手操作的话，一直悬空操作比较累。为此，可以在选择操作中增加一个确定指令。例如，如果用户的食指通过摄像头检测选择了被操作对象后快速用拇指与设备的显示屏接触，例如在预定时间内（3秒）内与设备的显示屏接触，则确定用户期望选择当前被操作对象的图层。当确定完成之后，操作体在距离上的变化不响应图层选择的变化，也就是说，此时将不响应用户手指与电子设备的距离变化，而只是响应拇指与设备显示屏的接触操作，从而可以缓解用户手指长时间悬空导致的疲劳感。

更进一步地，当锁定当前图层使得用户可以用拇指与设备显示屏接触以进行针对被操作对象的操作时，例如，移动等，因为依靠触摸屏触发的平面上的xy坐标系的移动比检测食指投射的位置的坐标更加精确迅速，并且相对于悬空不容易产生疲劳，所以可以提高用户的使用体验。

此外，当所述显示屏为触摸显示屏时，还可以通过所述触摸显示屏检测所述指令发出物针对最顶层图层中的控件操作，并且激活与该控件相应的操作。也就是说，此时可以完全通过触摸操作来发出指令。

此外，还可以动态检测所述指令发出物的距离以确定所述距离是否变化。也就是说，可以动态检测指令发出物的活动，以确定指令发出物是否正在进行操作。

当所述距离的变化小于预定阈值时，确定所述距离没有变化。此时，对指令发出物的在深度方向上的位置改变设置预定阈值，当指令发出物的深度方向上的位置改变没有超过预定阈值时，确定指令发出物的距离没有变化。

也就是说，当所述距离的变化小于预定阈值时，所有的操作都在该图层内进行，而不会影响到其他图层。通过这种方式，能够实现对于操作区域的区隔，以避免误操作的发生。

另一方面，当所述距离的变化大于预定阈值时，确定所述距离已经变化。也就是说，当指令发出物的深度方向上的位置改变超过预定阈值时，确定指令发出物的距离已经变化。

当确定所述距离已经变化时，根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层，然后，将指示符投射到当前显示的三维场景中与变化后的距离对应的图层中。也就是说，根据变化后的距离，将指示符投射到另一图层中。例如，从第一图层投射到第二图层或第三图层。

下面将参考图3来详细描述根据本发明第一实施例的指令识别方法。图3是描述根据本发明第一实施例的指令识别方法的应用示例。

如图3所示，用户在自己的裸眼3D手机上玩3D版的模拟人生游戏。此时，游戏里人物的活动场景和游戏的操作指令面板分别被显示在了不同视觉深度的位置，也就是说，此时活动场景和操作指令面板具有不同的距离坐标。

在游戏进行时，用户将手指伸到手机背面3D摄像头前面，此时用户的手指用作指令发出物，3D摄像头用来检测手指与手机的距离作为手指的距离。在游戏中，在显示面板上会显示与手指位置对应的指示光标。也就是说，根据3D摄像头检测用户手指的结果，确定用户手指离手机的距离，然后根据该距离将光标投射到对应的虚拟人物活动场景图层或者是操作指令面板图层。

当用户期望进行特定操作时，例如用户想查看系统设置时，此时用户可以将手指更接近手机，从而使得光标投射到操作指令面板图层。此时，用户可以调整手指的位置，使得光标的位置与操作面板上的控件的位置重合。此时，再进行点击操作动作。3D手机识别该动作，并且识别该动作为点击的指令。然后，根据该点击指令，激活与该控件对应的操作。例如，显示系统设置界面。类似地，在显示的系统设置界面上，用户可以移动手指的位置，从而调整光标的位置与期望的控件重合，然后通过点击动作激活与相应控件对应的操作，从而完成期望的操作。

另一方面，当用户期望操作人物时，用户调整手指离手机的距离，使得此时光标投射到人物活动场景图层。此时，用户可以通过手指的摆动等动作，使得人物在人物活动场景图层中进行移动。例如，如图3所示，如果用户期望游戏人物踢走垃圾桶，则用户他做出点击动作，此时3D手机识别该动作，并且识别该动作为踢的指令。另外，如果此时人物的位置与垃圾桶的位置接近，则能够执行该踢的指令，并且将垃圾桶踢走。

此外，如果用户觉得长时间悬空操作手比较累，此时用户可以在将光标投射到人物活动场景图层中之后，快速地（例如，3秒内）用拇指触摸显示屏，并且通过双击操作或选择操作确定此时将用户的操作锁定在该图层中。

然后，用户的其它手指可以握紧电子设备，而只用拇指或其它手指在电子设备的显示屏上进行各种触摸操作，如滑动、点击等等，并且相应地操作该图层中的各个控件等。

然后，如果用户期望切换到其它图层，则同样可以通过双击显示屏等方式，解除对当前图层的锁定。此时，可以通过检测用户食指与电子设备的距离变化，将光标投射到变化后的距离对应的图层中。

类似地，可以进行与上面相应的操作。

因此，根据本发明实施例的指令识别方法，在进行3D内容显示时，能够准确地识别用户指令，从而提高用户体验。

<第二实施例>

以下，将参考图4描述根据本发明第二实施例的电子设备。根据本发明第二实施例的电子设备可以是任何电子设备，例如电视机、平板电脑、智能手机等等，只要其具有三维显示模式，能够显示3D内容即可。

根据本发明第二实施例的电子设备200包括：

显示单元201，包括具有三维显示模式的显示屏，其中在三维显示模式中显示三维场景，所述三维场景划分为多个图层，每个图层对应于一个视觉深度。该显示单元201可以是液晶显示屏幕等，可以通过3D眼镜或液晶显示屏幕本身实现3D内容的显示。

检测单元202，用于检测指令发出物相对于所述电子设备的距离。该检测单元202例如可以是双摄像头、三维摄像装置（如微软公司的kinect）等。该检测单元202可以拍摄指令发出物（例如手指、触笔或其它操作部件），从而获得该指令发出物距离电子设备的距离作为其距离。

图层确定单元203，用于根据所述距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层。

投射单元204，用于将指示符投射到当前显示的三维场景中与所述距离对应的图层中。该投射单元204可以根据预先确定的距离对应关系，将检测到的指令投射物的距离投射到当前显示的3D场景中的对应距离坐标，即，对应的图层中。

位置确定单元205，用于确定所述指示符在当前显示的三维场景中所投射的图层中的位置。该位置确定单元204可以在已经投射的图层中，检测指令发出物的位置。

指令识别单元206，用于根据确定的位置和指令发出物的动作识别指令。例如如图3所示，当在人物活动场景图层中时，如果游戏人物的光标靠近垃圾桶并且动作为踢的动作，则识别用户发出的指令是踢走垃圾筒。当在操作指令面板图层中时，如果光标在系统设置按钮上并且动作为点击的动作时，则识别用户发出的指令是激活系统设置界面。

如前面所述，可以在所述三维场景的各个图层中叠加至少一个控件，并且在最顶层图层中叠加的控件是功能控件。

此外，所述电子设备还可以包括操作单元207，用于根据指令识别单元206检测指令发出物针对所述控件的操作以识别指令的结果，激活与该控件相应的操作。

优选地，所述检测单元202进一步用于：

所述图层确定单元203进一步用于：

所述指令识别单元206进一步用于：

优选地，所述显示屏为触摸显示屏，所述检测单元202进一步用于通过所述触摸显示屏检测所述指令发出物针对最顶层图层中的控件操作，并且所述指令识别单元激活与该控件相应的操作。

优选地，所述检测单元202例如可以包括三维摄像装置，布置在所述电子设备的与所述显示单元相对一侧，用于检测指令发出物以获取该指令发出物对应的距离。

优选地，所述检测单元202还用于动态检测所述指令发出物相对于所述电子设备的距离，以确定所述距离是否变化，

优选地，当确定所述距离已经变化时，所述图层确定单元203根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；以及所述投射单元204将指示符投射到当前显示的三维场景中与变化后的距离对应的图层中。

因此，根据本发明实施例的电子设备，在进行3D内容显示时，能够准确地识别用户指令，从而提高用户体验。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种指令识别方法，应用于具有显示屏的电子设备，该方法包括：

检测指令发出物相对于所述电子设备的距离；

根据所述指示符的位置和指令发出物的动作识别指令。

2.如权利要求1所述的方法，其中所述三维场景按照功能划分为多个图层。

3.如权利要求1所述的方法，其中在所述三维场景的各个图层中叠加至少一个控件，并且在最顶层图层中叠加的控件是功能控件。

4.如权利要求3所述的方法，还包括：

5.如权利要求4所述的方法，还包括：

将所述指令发出物的操作锁定在所确定的图层中；

6.如权利要求3所述的方法，其中所述显示屏为触摸显示屏，所述方法还包括：

7.如权利要求1所述的方法，其中检测指令发出物相对于所述电子设备的距离包括：

8.如权利要求1所述的方法，还包括：

9.如权利要求8所述的方法，其中当确定所述距离已经变化时，根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；以及

10.一种电子设备，包括：

11.如权利要求10所述的电子设备，其中所述三维场景按照功能划分为多个图层。

12.如权利要求10所述的电子设备，其中在所述三维场景的各个图层中叠加至少一个控件，并且在最顶层图层中叠加的控件是功能控件。

13.如权利要求12所述的电子设备，还包括操作单元，用于根据指令识别单元检测指令发出物针对所述控件的操作以识别指令的结果，激活与该控件相应的操作。

14.如权利要求13所述的电子设备，其中所述检测单元进一步用于：

所述图层确定单元进一步用于：

所述指令识别单元进一步用于：

15.如权利要求14所述的电子设备，其中所述显示屏为触摸显示屏，所述检测单元进一步用于通过所述触摸显示屏检测所述指令发出物针对最顶层图层中的控件操作，并且所述指令识别单元激活与该控件相应的操作。

16.如权利要求10所述的电子设备，其中所述检测单元包括三维摄像装置，布置在所述电子设备的与所述显示单元相对一侧，用于检测指令发出物以获取该指令发出物对应的距离。

17.如权利要求10所述的电子设备，其中所述检测单元还用于动态检测所述指令发出物相对于所述电子设备的距离，以确定所述距离是否变化，

18.如权利要求17所述的电子设备，其中当确定所述距离已经变化时，所述图层确定单元根据变化后的距离以及距离与视觉深度的对应关系确定该指令发出物对应的图层；以及所述投射单元将指示符投射到当前显示的三维场景中与变化后的距离对应的图层中。