CN109656359A - 3d体感交互适配方法、系统、终端设备和可读存储介质 - Google Patents

Abstract

本发明属于人机交互技术领域，尤其涉及一种3D体感交互适配方法、装置、终端设备和计算机可读存储介质，所述方法包括：检测运行的应用程序，获取所述应用程序的身份信息；根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；识别指令检测区中用户姿势和/或手势；通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。本发明实现体感交互适配成本低且周期短。

Description

3D体感交互适配方法、系统、终端设备和可读存储介质

技术领域

本发明涉及人机交互技术领域，尤其涉及一种3D体感交互适配方法、系统、终端设备和可读存储介质。

背景技术

微软KINECT深度相机给人们提供了利用身体与设备进行交互的可能，比如将KINECT与游戏机、电视等设备结合，可以进行体感交互、手势控制等沉浸式操控功能，由此基于深度相机的3D人机交互方式也被认为是继按键交互、触摸交互之后的更自然的人机交互方式。

早期的交互设备，其交互互动的方式各有不同，如PC使用的是鼠标、键盘，手机最早使用的是手机键盘，后来升级为触摸屏触控，电视是用遥控器实现人机交互。而3D体感技术是基于人的姿势动作进行操控的交互方式，要想实现3D体感交互必须使上述交互设备具有专用的体感应用程序才行，比如体感游戏等，若这些交互设备没有体感应用程序，比如只有自带的游戏程序等，则无法进行体感交互。

目前使不同设备之间的程序内容转换成体感交互内容的方法是修改内容源代码，这将涉及到大量商务及研发成本，而且周期长。另外，体感指令映射单一化也是需要解决的技术问题，因此，目前关于3D体感技术开发的内容比较匮乏，用户需要更多更好的体感交互体验。

发明内容

本发明实施例提供一种3D体感交互适配方法、系统、终端和可读存储介质，解决现有技术中非体感交互设备实现体感交互成本高，周期长的技术问题。

本发明实施例第一方面提供一种3D体感交互适配方法，包括：

检测运行的应用程序，获取所述应用程序的身份信息；

根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；

识别指令检测区中用户姿势和/或手势；

通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；

发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

在一个实施例中，所述操作指令包括键盘、鼠标、触屏、遥控操作指令中的至少一种。

在一个实施例中，所述识别指令检测区中用户的姿势和/或手势，包括：

通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像识别所述用户姿势和/或手势。

在一个实施例中，所述映射关系包括空鼠映射方式、直接操作映射方式中的至少一种。

在一个实施例中，通过设定所述用户姿势和/或手势的判定阈值和触发间隔时间进行识别指令检测区中用户有效的姿势和/或手势。

本发明实施例第二方面提供一种3D体感交互适配系统，包括：

第一获取模块，用于检测运行的应用程序，获取所述应用程序的身份信息；

第二获取模块，用于根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；

识别模块，用于识别指令检测区中用户姿势和/或手势；

确定模块，用于通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；

发送模块，用于发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

本发明提供的一种3D体感交互适配系统，还包括判断模块，用于判断所述用户姿势和/或手势是否为有效姿势和/或手势。

所述识别模块通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像识别所述用户姿势和/或手势。

本发明实施例第三方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明实施例第四方面提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例中，通过预先形成配置信息集，在体感交互计算终端导入与应用程序的身份信息对应的配置信息集，使应用程序的每个用户界面均具有相对应的映射关系，从而使得终端设备上的任意应用程序都能实现体感交互方式，快速的将任意终端设备转变成体感交互操作方式，无需修改内容代码，成本低，适配性高；并且，每个配置信息集包括多个映射关系，映射方式多元化，能够通过体感操控不同的用户界面，极大丰富了体感交互内容，提高了用户体验度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的一种捕捉设备、终端设备和体感交互计算终端的交互示意图；

图2是本发明实施例提供的一种3D体感交互适配方法的实现流程图；

图3是本发明实施例提供的一种配置信息集的示意图；

图4是本发明实施例提供的一种配置信息的示意图；

图5是本发明实施例提供的另一种配置信息的示意图；

图6是本发明实施例提供的另一种3D体感交互适配方法的实现流程图；

图7是本发明实施例提供的一种3D体感交互适配系统的结构示意图；

图8是本发明实施例提供的终端设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

另外，在本发明中若涉及“第一”或“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”或“第二”等的特征可以明示或者隐含地包括至少一个该特征。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的终端设备100、捕捉设备200与体感交互计算终端300进行交互以实现体感交互的示意图。体感交互计算终端300通过有线或无线网络分别与终端设备100和捕捉设备200进行通信连接，以进行数据通信或交互。在图1中，终端设备100为电视，捕捉设备200为深度相机，体感交互计算终端300为服务器。

在本发明其他实施例中，终端设备100包括但不限于：电视、台式电脑、笔记本电脑、平板电脑(Portable Android Device，PAD)或智能手机等便携式或非便携式终端设备。终端设备100可以是触屏类、和/或遥控器类、和/或鼠标类、和/或键盘类、和/或操作杆等终端设备，这些终端设备都具有显示屏，可方便用户进行体感操控。终端设备100上可运行应用程序，应用程序包括但不限于：终端应用，网页应用，公众号或小程序等。

捕捉设备200包括但不限于结构光深度相机、TOF深度相机等。捕捉设备200用于获取指令检测区中用户的姿势和或手势的视觉图像和深度图像，或者仅获取深度图像。深度图像和视觉图像可由捕捉设备200的任何传感器或本领域中已知的其他适合的传感器来捕捉。当用户在捕捉设备200的指令检测区进行一系列动作时，捕捉设备200便识别确定对应于视觉图像和深度图像的一个或多个目标深度信息。

可以理解的是，捕捉设备200可以与体感交互计算终端300独立设置，也可以作为体感交互计算终端300的一部分，可以根据实际需要进行选择设置，本发明对此不作具体限制。

图2示出了本发明实施例提供的一种3D体感交互适配方法的实现流程图，所述方法由3D体感交互适配系统执行，3D体感交互适配系统通常配置于如图1所示的体感交互计算终端300中，可由软件和/或硬件实现。如图2所示，所述方法，包括步骤201至205。

S201，检测运行的应用程序，获取所述应用程序的身份信息。

其中，应用程序的身份信息为应用程序的身份标识。身份信息可以为应用程序的应用ID(application ID)，也可以为应用程序的包名(package name)等。本发明对应用程序的身份信息不做具体限定，身份信息只需能够唯一标识应用程序即可。

参见图1所示实施例，终端设备100与体感交互计算终端300之间进行数据通信。体感交互计算终端300检测终端设备100运行的应用程序，当体感交互计算终端300检测到终端设备100运行应用程序时，获取应用程序的身份信息。例如，应用程序是水果忍者，还是吃鸡游戏，根据应用程序的身份信息，如应用ID来区分，从而对水果忍者和吃鸡游戏这两个游戏进行不同的体感交互控制。

也就是说，当体感交互计算终端检测到终端设备上运行某一应用程序时，自动获取应用程序的身份信息，例如，体感交互计算终端能实时获取终端设备的运行数据，从而检测到终端设备是否开始运行应用程序，以进行后续体感交互的步骤；或者，终端设备开始运行某一应用程序时，主动发送携带有应用程序身份信息的消息给体感交互计算终端，从而体感交互计算终端能检测到终端设备开始运行某一应用程序，也能通过解析所述消息获取到该应用程序的身份信息，从而进行后续体感交互的步骤。

S202，根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系。

每个应用程序通常包括多个用户界面，在不同的用户界面通常进行的用户操作及响应不一致。针对一个应用程序而言，其配置信息集包括多个配置信息，每个配置信息分别对应不同的用户界面。每个配置信息与应用程序的一个用户界面对应，即配置信息与用户界面一一对应。因而，本发明实施例中，预先获取与每个用户界面分别对应的配置信息，配置信息至少包括用户姿势和/或手势与操作指令的映射关系，从而在识别到用户姿势和/或手势后，根据识别到的用户姿势和/或手势通过查找该配置信息就能得到与用户姿势和/或手势对应的操作指令。

也就是说，当获取到应用程序的身份信息，则能唯一确定终端设备运行的应用程序是哪个应用程序，从而将与所述身份信息对应的配置信息集导入预设数据库中，从而在后续的体感交互中查找该预设数据库得到对应的操作指令。本发明实施例中，预设数据库可以命名为内容配置信息数据库。

例如，某游戏应用程序包括登录界面和玩家界面等，当用户在登录界面登入成功后可以进入玩家界面，若使用本发明的体感交互方法控制游戏应用的不同用户界面，则对应登录界面和玩家界面，有不同的配置信息。针对登录界面而言，根据识别到的用户姿势则可以在该登录界面的配置信息中找到与用户姿势和/或手势对应的操作指令，从而实现在登录界面的用户登录；针对玩家界面而言，用户想游戏结束时同样可以利用体感交互方式操作退出该玩家界面。由此通过对应不同的用户界面分别设置配置信息的方式，使用户可以操作某个应用程序的各个不同显示界面。

另外，需要说明的是，针对同一应用程序中不同用户界面分别对应的配置信息，也可以使同一用户姿势和/或手势映射不同的操作指令，即同一用户姿势和/或手势针对不同的用户界面映射成不同的操作指令。例如，在游戏的登录界面，用户伸出左右手向前推出代表通过鼠标点击登录按钮这个操作指令，从而登入游戏进入玩家界面；而进入玩家界面后，用户伸出左右手向前推出代表按压键盘上的“↑”按键的操作指令，以完成向前移动某物体。

还需要说明的是，针对不同应用程序的用户界面的配置信息，也可以使同一用户姿势和/或手势映射不同的操作指令，即同一用户姿势和/或手势针对不同应用程序的用户界面映射成不同的操作指令。例如，在拳击游戏的玩家界面中，将拳头伸出离开身体代表游戏用户完成挥拳的活动；而在驾驶游戏的玩家界面中，相同的用户姿势和/或手势映射的是游戏用户完成加挡的活动。

由于终端设备可以通过触屏、和/或键盘、和/或鼠标、和/或遥控器、和/或遥控杆等接收用户操作。因而，根据终端设备的接收用户操作的类型的不同，每个配置信息包括但不限于：用户姿势和/或手势与键盘操作指令的映射关系，或用户姿势和/或手势与触屏操作指令的映射关系，或用户姿势和/或手势与遥控操作指令的映射关系，或用户姿势和/或手势与鼠标操作指令的映射关系，或用户姿势和/或手势与操作杆操作指令的映射关系，或用户姿势和/或手势与游戏用户活动的映射关系等。也就是说，所述操作指令包括键盘、鼠标、触屏、遥控操作指令中的至少一种。所述映射关系包括空鼠映射方式、直接操作映射方式中的至少一种。通过这种设置，本发明能够满足多样化的终端设备的需求，适配不同的终端设备，具有高的普适性，提高了用户体验度。相比于现有技术下通过修改内容源代码，高成本且周期长的方式，本发明实施例，只需要预先分析应用程序得到对应的配置信息集，将配置信息集导入体感交互计算终端就能在终端设备实现体感交互，成本低且时效性好。

例如，配置信息包括用户姿势和/或手势与鼠标操作指令的映射关系。通过识别用户姿势和/或手势，将左右手模拟成一个空气鼠标，追踪用户的左右手在空间坐标中的位移来模拟鼠标光标的移动。具体说来，通过骨骼跟踪事件，捕捉到用户左右手的空间坐标后，将其映射为屏幕坐标，这样手移动的距离就等同于鼠标光标在屏幕上移动的距离，然后设定无论左手还是右手，向前伸出一定距离映射成鼠标左键按下等操作指令，由此来实现通过用户手势映射鼠标操作指令的效果。

又如，配置信息包括用户姿势和/或手势与触屏操作指令的映射关系。通过将用户姿势和/或手势映射成触摸控制的直接操作的映射方式来实现相应的输入事件，即不需要光标提示或者相关高亮显示就可以使用户姿势和/或手势如同手指触摸屏幕一样去控制屏幕显示的内容，因此显示屏幕不会显示相应的光标等作为给用户的操作反馈，给人感觉就好像用户的动作在直接操控屏幕的显示界面，使用户体验效果佳。

在本发明其他实施例中，配置信息集不仅包括对应每个用户界面的配置信息，还包括应用程序的身份信息等。在本发明其他实施例中，配置信息不仅包括用户姿势和/或手势与操作指令两者的映射关系，还包括用户姿势和/或手势、操作指令和界面显示状态三者的映射关系。在本发明其他实施例中，配置信息不仅包括对应用户界面的映射关系，还包括但不限于用户界面的界面信息等；或者，还包括但不限于应用程序的身份信息、用户界面的界面信息等；或者，还包括但不限于应用程序的身份信息、用户界面的界面信息，用户界面的布局信息等。在识别出应用程序的身份信息后，便在预设数据库，例如内容配置信息数据库中导入与该身份信息对应的配置信息集。

例如，图3所示为本发明实施例提供的一种配置信息集的示意图，如图3所示，配置信息集包括应用程序的身份信息31、第一配置信息32和第二配置信息33；第一配置信息32包括第一用户界面的界面信息321、对应第一用户界面的用户姿势和/或手势322、操作指令323和界面显示状态324的映射关系；第二配置信息33包括第二用户界面的界面信息331、对应第二用户界面的用户姿势和/或手势332、操作指令333和界面显示状态334的映射关系。其中，操作指令323和333用于定义映射用户姿势和/或手势的操作指令；界面显示状态324和334用于定义映射操作指令的界面显示状态。通过该配置信息集将用户姿势和/或手势映射为键盘操作指令，来使体感操控代替传统的交互操作方式以控制界面显示状态的变化。此处示意的是映射关系包括用户姿势和/或手势与操作指令和界面显示状态三者的映射关系，将用户姿势和/或手势映射键盘操作指令，但是需要指出的是，在本发明其他示例中，用户姿势和/或手势还可以映射鼠标操作指令、触屏操作指令、或遥控操作指令等。此外，此处仅示例性地显示了应用程序包括两个显示界面的情况，比如游戏应用的登录界面还是玩家界面，不同的显示界面对应不同的映射关系，从而接收不同的输入指令更新相应的显示界面。在本发明其他示例中，应用程序还可以包括更多的用户界面，即配置信息集包括更多的配置信息。

又如，图4所示为本发明实施例提供的一种配置信息的示意图，如图4所示，配置信息包括应用程序的身份信息41、用户界面的界面信息42、以及用户姿势和/或手势43、操作指令44和界面显示状态45三者的映射关系。例如，在PPT演示界面中，当该界面对应图4所示的配置信息时，与用户姿势43中右手水平伸展开、左手水平伸展开以及双手同时举起分别对应的操作指令44为Right键按下、Left键按下以及B键按下，分别对应的界面显示状态45为翻到下一页、返回上一页、屏幕变黑。

又如，图5所示为本发明实施例提供的一种配置信息的示意图，如图5所示，配置信息包括用户界面的界面信息51、以及用户姿势和/或手势52、操作指令53和界面显示状态54三者的映射关系。例如，在PPT显示界面中，当该界面对应图5所示的配置信息时，与用户姿势52中用户五指并拢以及用户五指展开，分别对应的操作指令53为按下Ctrl键+滚动键向前滚动以及按下Ctrl键+滚动键向后滚动，分别对应的界面显示状态54为放大以及缩小。

需要说明的是，在其他实施例中，还可以定义其他映射关系，此处图3、图4和图5仅为示例性描述，不能解释为对本发明的具体限定。

S203，识别指令检测区中用户姿势和/或手势。

其中，指令检测区为能检测到目标对象，即能够捕捉目标对象的深度信息的区域，目标对象通常为用户。指令检测区的大小和位置由捕捉设备的属性来决定，当采用不同的捕捉设备，指令检测区可能不相同，也可能相同，本发明对指令检测区的大小和位置不做具体限定。通常情况下，指令检测区为距离终端设备的显示屏预设范围的一个区域，以使得用户清楚地看清楚屏幕，更好的实现人机交互。

用户姿势和/或手势包括但不限于：用户身体动作或者用户手指动作等。

需要说明的是，用户姿势和/或手势不仅包括某一个时刻的用户姿势，更包括一段时长内用户姿势和/或手势的变化。例如，某个时刻识别到的右手平举这个用户姿势，和一段时长内识别到的右手水平伸展开这个用户姿势。

具体地，步骤203包括：通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像进行识别所述用户姿势和/或手势。

其中，通过捕捉设备至少获取指令检测区中用户的深度图像，根据所述深度图像生成用户的3D模型，根据所述3D模型识别用户姿势。

捕捉设备获取用户的视觉图像和深度图像，或者仅获取深度图像。体感交互计算终端获取捕捉设备获取到的视觉图像和深度图像，或者仅获取深度图像。然后，基于获取到的视觉图像和深度图像，或仅基于获取到的深度图像生成用户3D模型，例如生成用户的骨架模型、或网格模型等，该3D模型可由例如定义骨架模型中的一个或多个关节来确定。最后基于用户3D模型，通过骨骼跟踪方法确定用户姿势。

进一步地，本发明其他实施例中，通过设定所述用户姿势和/或手势的判定阈值和触发间隔时间进行识别指令检测区中用户有效的姿势和/或手势。

其中，有效的姿势和/或手势指的是配置信息中存在的用户姿势和/或手势，即映射关系中存在的用户姿势和/或手势，此时能从配置信息中查找到与该用户姿势和/或手势对应的操作指令，从而对终端设备的用户界面进行控制。

需要说明的是，当用户姿势和/或手势不为有效的姿势和/或手势时，则说明识别出的用户姿势和/或手势为映射关系中不存在的用户姿势和/或手势，此时不能从配置信息中查找到与该用户姿势和/或手势对应的操作指令，也就不能实现对终端设备的当前用户界面的控制。

判定阈值和触发时间间隔均可以由体感交互计算终端默认设置，也可由用户自定义设置，本发明对此不做具体限定。本发明通过设定判定阈值和触发间隔时间进行识别指令检测区中用户有效的姿势和/或手势，提高触发操作指令的准确度和避免资源浪费。

需要说明的是，步骤202也可以在步骤203之后执行，也可与步骤203同时执行，本发明对步骤202和步骤203的执行时间顺序不做具体限定。

S204，通过查找与所述应用程序当前用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令。

其中，每个应用程序通常包括多个用户界面，当前用户界面为应用程序诸多用户界面中的一个用户界面，为终端设备运行的应用程序当前显示的用户界面。当应用程序由后台挂起转到前台运行时，当前显示的用户界面通常为转至后台挂起时显示的用户界面；而当应用程序在关闭后被启动运行时，显示的用户界面通常为应用程序的主界面，例如登录页面或目录页面等。

每个用户界面分别都有对应的配置信息，通过查找与当前用户界面对应的配置信息，从而确定与识别到的用户姿势和/或手势对应的操作指令。

作为本发明一实施例，在步骤204之前，还包括获取应用程序当前用户界面的界面信息的步骤。

作为本发明另一实施例，在步骤201中获取所述应用程序的身份信息的同时，也获取应用程序当前用户界面的界面信息。

其中，界面信息用于唯一标识同一应用程序的每个用户界面。获取当前用户界面的用户信息，从而将应用程序当前显示的用户界面与应用程序的其他用户界面进行区分。基于此，在配置信息集中确定与当前用户界面对应的配置信息，从而在该配置信息中查找与用户姿势对应的操作指令。

S205，发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

在本发明实施例中，体感交互计算终端在确定了与用户姿势对应的操作指令之后，将操作指令发送给终端设备，以使终端设备响应所述操作指令，完成界面显示状态的变化，从而更新界面。

例如，从当前用户界面直接退出应用、从当前用户界面成功登录应用程序、PPT翻页等等。

在本发明实施例中，通过预先形成配置信息集，在体感交互计算终端导入与应用程序的身份信息对应的配置信息集，使应用程序的每个用户界面均具有相对应的映射关系，从而使得终端设备上的任意应用程序都能实现体感交互方式，快速的将任意终端设备转变成体感交互操作方式，无需修改内容代码，成本低，适配性高；并且，每个配置信息集包括多个映射关系，映射方式多元化，能够通过体感操控不同的用户界面，极大丰富了体感交互内容，提高了用户体验度。可选地，在上述图2所示实施例的基础上，如图6所示，在步骤203识别指令检测区中用户的姿势和/或手势之后，还包括步骤206：判断所述用户姿势和/或手势是否为预设姿势和/或手势，也即判断用户的姿势和/或手势是否是有效的。

相应的，步骤205，通过查找与所述应用程序当前用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令，包括：

若判定所述用户姿势和/或手势为预设姿势和/或手势，则通过查找与所述应用程序当前用户界面对应的配置信息，确定与所述用户姿势对应的操作指令。

其中，在步骤202中，体感交互计算终端获取终端设备运行的应用程序的配置信息集，配置信息集至少包括多个映射关系，而每个映射关系至少包括用户姿势和/或手势与操作指令的映射关系，可见，映射关系中的用户姿势和/或手势为预设姿势，预设姿势和/或手势为预设有对应的操作指令的用户姿势和/或手势。当用户姿势和/或手势为预设姿势和/或手势时，则说明用户姿势和/或手势为映射关系中存在的用户姿势和/或手势，即用户姿势和/或手势是有效的，此时能从配置信息中查找到与该用户姿势和/或手势对应的操作指令，从而对终端设备的用户界面进行控制。

也就是说，在体感交互计算终端获得当前用户界面的界面信息，便可确定当前用于操作体感交互方式的操作界面，将识别出的用户姿势和/或手势与映射关系中包括的预设的用户姿势和/或手势进行对比匹配，若匹配成功，则生成体感动作指令，并根据所述映射关系将该体感动作指令进一步映射为操作指令，从而根据该操作指令对终端设备的当前用户界面进行控制。

需要说明的是，当用户姿势和/或手势不为预设姿势和/或手势时，则说明用户姿势和/或手势为映射关系中不存在的用户姿势和/或手势，此时不能从配置信息中查找到与该用户姿势和/或手势对应的操作指令，也就不能实现对终端设备的当前用户界面的控制。

此外，还需要说明的是，判断所述用户姿势和/或手势是否为预设姿势和/或手势可以通过判断所述用户姿势和/或手势是否满足预设姿势和/或手势对应的阈值条件来实现。

其中，阈值条件可以由体感交互计算终端默认设置，也可由用户自定义设置，本发明对此不做具体限定。通过预先对预设姿势设置阈值条件来提高触发操作指令的准确度。

比如，针对用户跳起来做跳跃动作这一用户姿势，此时便可设置跳跃的落差阈值来判断是否为跳跃动作。跳跃的落差阈值可以通过捕捉头部关键点位置的坐标相对偏差来确定，也可以通过捕捉脚底关键点位置离地面的差值来确定。

又如，在空气中演示PPT，当用户姿势和/或手势映射键盘操作指令的情况下，用户左手或右手伸展开有一个比较长的过程，因此，可能由于用户姿势和/或手势捕捉太频繁导致左手或右手伸展时，PPT显示界面会翻过好几页，这就需要设置阈值条件来避免误操作，可以将左手和右手伸展幅度的阈值条件尽量设定的大一些，避免体感交互计算终端判断出错，影响用户体验。

可选地，在上述任一实施例的基础上，在步骤204中确定与所述用户姿势和/或手势对应的操作指令之后，还包括：间隔预设时长后，再返回执行识别指令检测区中用户的姿势和/或手势的步骤。

在本发明实施例中，在对应用程序的当前用户界面执行控制的过程中，每个用户姿势和/或手势在触发每个操作事件之间会间隔预设时长，例如间歇大概100毫秒。也就是说，当通过识别用户姿势和/或手势生成并发送一个操作指令后，间隔预设时长再进行下一次用户姿势和/或手势的识别，从而产生下一个操作指令。用户姿势和/或手势的识别，和操作指令的发送均设置时间间隔，避免误识别引发的误操作，从而避免用户姿势的频繁变化导致系统失灵或判断出错等。

示例性地，在映射关系包括用户姿势和/或手势与键盘操作指令的映射关系的情况下，当一个用户姿势和/或手势映射“按下”键盘某个键的操作指令，另一个用户姿势和/或手势映射“松开”该键的操作指令时，相应的用户姿势和/或手势映射到键盘的“按下”事件后，会触发中间的Sleep键100毫秒，这样触发“按下”事件后会间隔一定时间才能在识别到相应的用户姿势和/或手势时映射到键盘的“松开”事件。通过这种设置，不仅能够避免用户姿势和/或手势的频繁变化导致系统失灵或判断出错等，还能够避免动作过于频繁造成系统资源损耗。

图7示出了本发明实施例提供的一种3D体感交互适配系统的结构示意图，包括以下模块：

第一获取模块71，用于检测运行的应用程序，获取所述应用程序的身份信息；

第二获取模块72，用于根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；

识别模块73，用于识别指令检测区中用户姿势和/或手势；

确定模块74，用于通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；

发送模块75，用于发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

可选地，所述识别模块73，具体用于：

通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像进行识别所述用户姿势和/或手势。

可选地，还包括判断模块，用于判断所述用户姿势和/或手势是否为有效姿势和/或手势；

相应的，所述确定模块74，具体用于：

若判定所述用户姿势和/或手势为有效的姿势和/或手势，则通过查找与所述应用程序当前用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令。

可选地，还包括计时模块，用于间隔预设时长后，再返回执行识别指令检测区中用户的姿势和/或手势的步骤。

需要说明的是，为描述的方便和简洁，上述描述的3D体感交互适配系统的具体工作过程，可以参考上述图2和图6所示实施例方法的对应过程，在此不再过多赘述。

图8是本发明一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如体感交互的程序。所述处理器80执行所述计算机程序82时实现上述3D体感交互适配方法3D体感交互适配方法实施例中的步骤，例如图2所示的步骤201至步骤205。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块71至75的功能。

示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述终端设备8中的执行过程。

所述终端设备8可以是台式电脑、笔记本电脑、或PAD等终端设备。所述终端设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D体感交互适配方法，其特征在于，包括：

检测运行的应用程序，获取所述应用程序的身份信息；

根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；

识别指令检测区中用户姿势和/或手势；

通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；

发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

2.如权利要求1所述的方法，其特征在于，所述操作指令包括键盘、鼠标、触屏、遥控操作指令中的至少一种。

3.如权利要求1或2所述的方法，其特征在于，所述识别指令检测区中用户的姿势和/或手势，包括：

通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像识别所述用户姿势和/或手势。

4.如权利要求1所述的方法，其特征在于，所述映射关系包括空鼠映射方式、直接操作映射方式中的至少一种。

5.如权利要求1-4任一权利要求所述的方法，其特征在于，通过设定所述用户姿势和/或手势的判定阈值和触发间隔时间进行识别指令检测区中用户有效的姿势和/或手势。

6.一种3D体感交互适配系统，其特征在于，包括：

第一获取模块，用于检测运行的应用程序，获取所述应用程序的身份信息；

第二获取模块，用于根据所述身份信息获取对应的配置信息集，所述配置信息集包括与所述应用程序的每个用户界面分别对应的配置信息，每个所述配置信息包括用户姿势和/或手势与操作指令的映射关系；

识别模块，用于识别指令检测区中用户姿势和/或手势；

确定模块，用于通过查找与所述应用程序当前运行的用户界面对应的配置信息，确定与所述用户姿势和/或手势对应的操作指令；

发送模块，用于发送所述操作指令至终端设备，以使所述终端设备响应所述操作指令。

7.如权利要求6所述的系统，其特征在于，还包括判断模块，用于判断所述用户姿势和/或手势是否为有效姿势和/或手势。

8.如权利要求6所述的系统，其特征在于，所述识别模块通过捕捉设备至少获取指令检测区中用户的深度图像，并基于所述深度图像识别所述用户姿势和/或手势。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。