CN106249875A - 体感交互方法以及设备 - Google Patents

Abstract

本发明公开了一种体感交互方法以及设备，所述体感交互方法包括：获取图像信息，从图像信息中提取目标人体图像；将目标人体图像映射到体感交互设备当前显示的应用场景中；判断映射后的目标人体图像是否与应用场景中的可触发对象接触；如果映射后的目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。通过上述方式，能够有效简化体感交互的操作过程，提高体感交互设备的执行率以及准确率，为用户特别是特殊人群带来方便。

Description

体感交互方法以及设备

技术领域

本发明涉及智能终端技术领域，特别是涉及一种体感交互方法以及设备。

背景技术

人机交互特别是体感交互技术相对于传统交互技术具有更加直观和自然的特点，正逐渐应用到各个领域，而体感交互的对象也几乎覆盖到所有的年龄段，如中老年人可进行一些市内体感太极、体感瑜伽，青少年人群则可以通过体感技术来游戏和学习，如体感竞技、体感功夫、体感读书、体感益智游戏等。

目前的体感交互技术，一般都是通过节点或者骨架形式来实现，如通过普通相机实现基于节点的体感交互，具体地，一般是将人手作为识别控制节点，在通过控制该节点与图标的坐标与速度映射来实现手势控制。而基于骨架的体感交互一般是通过获取深度图像并识别出人体骨架，通过对骨架的姿势以及动作识别来达到体感交互的目的。

上述体感交互技术，虽然能够达到体感交互的目的，但是由于交互技术本身操作较为复杂，如对手势的控制范围、控制精度都有较高的要求，而对于一些特定的人群，比如老年人、二通以及手臂残疾人而言，无论是基于节点或者骨架的体感交互，都会增加其完成的难度。

发明内容

本发明主要解决的技术问题是提供一种体感交互方法以及设备，能够有效简化体感交互的操作过程，提高体感交互设备的执行率以及准确率，为用户特别是特殊人群带来方便。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种体感交互方法，所述体感交互方法包括：

获取图像信息，从所述图像信息中提取目标人体图像；

将所述目标人体图像映射到体感交互设备当前显示的应用场景中；

判断映射后的所述目标人体图像是否与所述应用场景中的可触发对象接触；

如果所述目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

其中，所述将所述目标人体图像映射到体感交互设备当前显示的应用场景中的步骤具体包括：

将所述目标人体图像的大小按照所述体感交互设备的预设比例进行调整，并将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中。

其中，所述将调整后的目标人体图像映射到体感交互设备当前显示的应用场景中的步骤具体包括：

根据公式1将调整后的目标人体图像融合到所述体感交互设备当前显示的应用场景中；

R(x,y)＝t*H(x,y)+(1-t)P(x,y) (1)

其中，R(x,y)为所述目标人体图像与应用场景融合后得到的图像函数，H(x,y)为调整后的目标人体图像函数，P(x,y)为当前显示的应用场景的图像函数，t为目标人体图像所占的权重因子。

其中，所述将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中的步骤具体包括：

将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中多个可触发对象所组成区域的设定位置。

其中，所述判断映射后的所述目标人体图像是否与所述应用场景中的的可触发对象接触的步骤具体包括：

判断所述目标人体图像的至少部分轮廓是否处于所述可触发对象的有效触碰范围；

所述如果所述目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令的步骤具体包括：

如果所述目标人体图像的至少部分轮廓处于所述可触发对象的有效触碰范围时，执行所述可触发对象对应的指令。

其中，所述目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓。

其中，所述如果所述目标人体图像与所述可触发对象有接触，执行所述可触发对象对应的指令的步骤具体包括：

如果所述人体图像的接触到的可触发对象超过一个，按照所述可触发对象的优先级依次执行所述可触发对象对应的指令。

其中，所述获取图像信息，从所述图像信息中提取目标人体图像的步骤具体包括：

获取图像信息；

将所述图像信息进行背景和人体图像的分离，并将分离后的人体图像确定为所述目标人体图像。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种体感交互设备，

所述体感交互设备包括图像获取模块、图像映射模块、判断模块以及执行模块，

所述图像获取模块用于获取图像信息，从所述图像信息中提取目标人体图像；

所述图像映射模块用于将所述目标人体图像映射到体感交互设备设备当前显示的应用场景中；

所述判断模块用于判断映射后的所述目标人体图像是否与所述应用场景中的的可触发对象接触；

所述执行模块用于在所述映射后的目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

其中，所述图像映射模块具体用于将所述目标人体图像的大小按照所述体感交互设备的预设比例进行调整，并将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中。

本发明的有益效果是：区别于现有技术的情况，本实施方式的体感交互设备首先获取图像信息，从该图像信息中提取目标人体图像，将该目标人体图像映射到体感交互设备当前显示的应用场景中，判断映射后的目标人体图像是否与应用场景中的可触发对象接触，如果映射后的目标人体图像与可触发对象有接触，执行所述有接触的可触发对象对应的指令。上述方式中，将目标人体图像映射到体感交互设备当前的应用场景中，使用户能够更加直观的看到自己的状态和以及应用场景的对应关系，不仅能够对用户的动作起到指导作用，还能够提高体感交互的执行率以及执行效率。且将目标人体图像映射到应用场景后，实际拉近了用户与可触碰对象的距离，用户无需大动作就能实现有效的触碰，为用户特别是特殊群体用户带来了很大方便。

附图说明

图1是本发明体感交互方法一实施方式的流程示意图；

图2是本发明体感交互方法一具体实施方式的示意图；

图3是本发明体感交互方法另一实施方式的示意图；

图4是本发明体感交互设备一实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明体感交互方法一实施方式的流程示意图。如图1所示，本实施方式的体感交互方法包括如下步骤：

101：获取图像信息，从所述图像信息中提取目标人体图像。

为了完成体感交互锻炼或游戏、早教等体感交互操作，体感交互设备首先获取与体感交互操作对应的图像信息，其中，该图像信息包括2D图像或3D深度图像中的至少一种。该深度图像信息包括深度相片以及视频中的至少一种。

其中，该图像信息可通过普通相机或深度相机获取，该普通相机或深度相机可以独立存在且与该体感交互设备连接，也可以集成在所述体感交互设备上，在此不做限定。

在获得图像信息后，进一步地从该图像信息中提取目标人体图像。具体地，体感交互设备在获取到图像信息后，先对该图像信息进行滤波、去噪以及平滑处理，并将处理后的该图像信息进行背景和人体图像的分离，并将分离后的图像确定为目标人体图像。

其中，该目标人体包括目标人体所持物体，例如，儿童手上所持的指挥棒，老人手中拿的锻炼用具等。因此，映射到图像上，该目标人体图像为包括与人体连接的延伸物体图像，在其他实施方式中，还可以对该目标人体图像进行特别设定，例如将某一卡通人物形象与目标人体图像结合，形成具有与该目标人体图像形状一样的其他卡通人物图像，以增加儿童或其他特殊人群兴趣额等，在此不做限定。

102：将所述目标人体图像映射到体感交互设备当前显示的应用场景中。

由于目标人体图像对应的目标人体的体型可能各有不同，而体感交互设备的显示屏幕的大小一般也是固定的尺寸，可能会出现目标人体的体型与显示屏幕不相匹配的问题，如老年人的骨架相对与显示屏幕较大，而幼儿的体型相对与显示屏幕又偏小，因此，本实施方式首先将目标人体图像的大小按照该体感交互设备的预设比例进行调整，使目标人体图像的大小与体感交互设备的显示屏幕相匹配。例如，按照预设比例将目标人体图像进行缩放等。

然后，再将调整后的目标人体图像映射到体感交互设备当前显示的应用场景中。如图2所示，其中，标号1～7为可触发对象，人体形状为目标人体图像。

在其中的一个实施方式中，将该调整后的目标人体图像映射到体感交互设备当前显示的应用场景中多个可触发对象所组成区域的设定位置。其中，该可触碰对象包括触摸按键以及图标中的至少一个。

优选地，为了使触碰过程更加方便，该设定位置为为当前显示应用场景中多个可触发对象所组成区域的中间位置，这样，无论触碰哪一个可触发对象，均可以很轻松。

具体地，根据公式1：R(x,y)＝t*H(x,y)+(1-t)P(x,y)将调整后的目标人体图像融合到所述体感交互设备当前显示的应用场景中。其中，R(x,y)为所述目标人体图像与应用场景融合后得到的图像函数，H(x,y)为调整后的目标人体图像函数，P(x,y)为当前显示的应用场景的图像函数，t为目标人体图像所占的权重因子。

其中，当目标人体图像所占的权重因子t所占的比例较小时，此时目标人体图像在当前显示的应用场景中相对透明一些，而当目标人体图像所占的权重因子t所占的比例较大时，目标人体图像覆盖其当前所在位置的应用场景本身图像的程度要大一些，在此不做限定。

通过对目标人体图像和体感交互设备当前显示的应用场景进行融合的方式，使使用者能够更加直观的看到自己的状态和以及应用场景的对应关系，不仅能够对用户的动作起到指导作用，还能够提高体感交互的执行率，提高效率。

103：判断映射后的所述目标人体图像是否与所述应用场景中的可触发对象接触。

在将目标人体图像融合到当前的应用场景中后，使用者移动身体或挥动手脚，或舞动手中所持物体，通过上述动作，使映射到应用场景中的目标人体图像对应用场景中的可触发对象进行触碰。

为了确定本次触碰的有效性，避免误操作，进一步判断映射后的所述目标人体图像是否与所述应用场景中的可触发对象接触。

具体地，首先判断该目标人体图像的至少部分轮廓是否处于可触发对象的有效触碰范围，如图3所示，判断所述目标人体图像是否处于可触发对象1和3的有效触碰范围。

其中，该目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓。

104：如果映射后的所述目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

如果该目标人体图像的至少部分轮廓处于可触发对象的有效触碰范围，则执行所述有接触的触发对象对应的指令。

如果当前目标人体图像接触到的可触发对象超过一个，且均处于有效触碰范围时，如图3所示，目标人体图像即触碰到可触发对象1，也触碰到了可触碰对象3，此时，在一个优选的实施方式中，体感交互设备按照该可触发对象的优先级依次执行可触碰对象1和可触碰对象3对应的指令，如可触碰对象3的优先级高于可触碰对象3时，先执行可触碰对象1对应的指令，再执行可触碰对象3对应的指令。

需要说明的是，在其他实施方式中，也可以根据预先设定的其他规则来确定执行顺序或选择需要指令的指令，在此不做限定。

如果本次操作对应的目标人体图像不与任何可触发对象接触，则确定本次操作为无效操作，体感交互设备不进行任何处理。

在一个具体的实施方式中，以儿童学习7音符为例来说明，体感交互设备首先通过其自身或外接摄像头对该儿童的图像信息进行获取，对该图像信息进行滤波、去噪以及平滑处理后，从该图像信息中提取出儿童本身的人体图像，并确定为目标人体图像。再将该儿童的目标人体图像融合到体感交互设备当前显示的应用场景中。当该儿童发出体感动作时，体感交互设备判断对应到期显示屏幕上的目标人体图像是否与当前应用场景中的7个音符对应的可触发对象有接触。具体地，体感交互设备通过判断该儿童对应的目标人体图像的至少部分轮廓是否处于7个可触发对象的有效触碰范围来确定是否与可触发对象有接触。如果有接触，体感交互设备响应该可触发对象，并发出与该音符对应的声音。而当儿童对应的目标人体图像与多个可触发对象有接触时，体感交互设备按照音符从低到高的顺序依次播放。

区别于现有技术，本实施方式的体感交互设备首先获取图像信息，从该图像信息中提取目标人体图像，将该目标人体图像映射到体感交互设备当前显示的应用场景中，判断映射后的目标人体图像是否与应用场景中的可触发对象接触，如果映射后的目标人体图像与可触发对象有接触，执行所述有接触的可触发对象对应的指令。上述方式中，将目标人体图像映射到体感交互设备当前的应用场景中，使用户能够更加直观的看到自己的状态和以及应用场景的对应关系，不仅能够对用户的动作起到指导作用，还能够提高体感交互的执行率以及执行效率。且将目标人体图像映射到应用场景后，实际拉近了用户与可触碰对象的距离，用户无需大动作就能实现有效的触碰，为用户特别是特殊群体用户带来了很大方便。

另外，目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓，能够进一步降低用户操作时的动作精度要求，提高体感交互的执行率以及执行效率。

参阅图4，图4是本发明体感交互设备一实施方式的结构示意图。如图4所示，本实施方式的体感交互设备包括图像获取模块401、图像映射单元402、判断模块403以及执行模块404。

图像获取模块401用于获取图像信息，从所述图像信息中提取目标人体图像。

为了完成体感交互锻炼或游戏、早教等体感交互操作，图像获取模块401首先获取与体感交互操作对应的图像信息，其中，该图像信息包括2D图像或3D深度图像中的至少一种。该深度图像信息包括深度相片以及视频中的至少一种。

其中，图像获取模块401可通过普通相机或深度相机获取该图像信息，该普通相机或深度相机可以独立存在且与该体感交互设备连接，也可以集成在所述体感交互设备上，在此不做限定。

图像获取模块401在获得图像信息后，进一步地从该图像信息中提取目标人体图像。具体地，体感交互设备在获取到图像信息后，先对该图像信息进行滤波、去噪以及平滑处理，并将处理后的该图像信息进行背景和人体图像的分离，并将分离后的图像确定为目标人体图像。

其中，该目标人体包括目标人体所持物体，例如，儿童手上所持的指挥棒，老人手中拿的锻炼用具等。因此，映射到图像上，该目标人体图像为包括与人体连接的延伸物体图像，在其他实施方式中，还可以对该目标人体图像进行特别设定，例如将某一卡通人物形象与目标人体图像结合，形成具有与该目标人体图像形状一样的其他卡通人物图像，以增加儿童或其他特殊人群兴趣额等，在此不做限定。

图像映射模块402用于将所述目标人体图像映射到体感交互设备设备当前显示的应用场景中。

由于目标人体图像对应的目标人体的体型可能各有不同，而体感交互设备的显示屏幕的大小一般也是固定的尺寸，可能会出现目标人体的体型与显示屏幕不相匹配的问题，如老年人的骨架相对与显示屏幕较大，而幼儿的体型相对与显示屏幕又偏小，因此，图像映射模块402先将目标人体图像的大小按照该体感交互设备的预设比例进行调整，使目标人体图像的大小与体感交互设备的显示屏幕相匹配。例如，按照预设比例将目标人体图像进行缩放等。

然后，图像映射模块402再将调整后的目标人体图像映射到体感交互设备当前显示的应用场景中。

在其中的一个实施方式中，图像映射模块402将该调整后的目标人体图像映射到体感交互设备当前显示的应用场景中多个可触发对象所组成区域的设定位置。其中，该可触碰对象包括触摸按键以及图标中的至少一个。

优选地，为了使触碰过程更加方便，该设定位置为为当前显示应用场景中多个可触发对象所组成区域的中间位置，这样，无论触碰哪一个可触发对象，均可以很轻松。

具体地，图像映射模块402根据公式1：R(x,y)＝t*H(x,y)+(1-t)P(x,y)将调整后的目标人体图像融合到所述体感交互设备当前显示的应用场景中。其中，R(x,y)为所述目标人体图像与应用场景融合后得到的图像函数，H(x,y)为调整后的目标人体图像函数，P(x,y)为当前显示的应用场景的图像函数，t为目标人体图像所占的权重因子。

其中，当目标人体图像所占的权重因子t所占的比例较小时，此时目标人体图像在当前显示的应用场景中相对透明一些，而当目标人体图像所占的权重因子t所占的比例较大时，目标人体图像覆盖其当前所在位置的应用场景本身图像的程度要大一些，在此不做限定。

通过对目标人体图像和体感交互设备当前显示的应用场景进行融合的方式，使使用者能够更加直观的看到自己的状态和以及应用场景的对应关系，不仅能够对用户的动作起到指导作用，还能够提高体感交互的执行率，提高效率。

判断模块403用于判断映射后的所述目标人体图像是否与所述应用场景中的的可触发对象接触。

在将目标人体图像融合到当前的应用场景中后，使用者移动身体或挥动手脚，或舞动手中所持物体，通过上述动作，使映射到应用场景中的目标人体图像对应用场景中的可触发对象进行触碰。

为了确定本次触碰的有效性，避免误操作，判断模块403进一步判断映射后的所述目标人体图像是否与所述应用场景中的可触发对象接触。

具体地，判断模块403首先判断该目标人体图像的至少部分轮廓是否处于可触发对象的有效触碰范围。其中，该目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓。

执行模块404用于在所述目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

如果该目标人体图像的至少部分轮廓处于可触发对象的有效触碰范围，执行模块404执行所述有接触的触发对象对应的指令。

如果当前目标人体图像接触到的可触发对象超过一个，且均处于有效触碰范围时，执行模块404按照该可触发对象的优先级依次执行可触碰对象对应的指令。

需要说明的是，在其他实施方式中，也可以根据预先设定的其他规则来确定执行顺序或选择需要指令的指令，在此不做限定。

如果本次操作对应的目标人体图像不与任何可触发对象接触，则确定本次操作为无效操作，体感交互设备不进行任何处理。

在一个具体的实施方式中，以儿童学习7音符为例来说明，体感交互设备首先通过其自身或外接摄像头对该儿童的图像信息进行获取，对该图像信息进行滤波、去噪以及平滑处理后，从该图像信息中提取出儿童本身的人体图像，并确定为目标人体图像。再将该儿童的目标人体图像融合到体感交互设备当前显示的应用场景中。当该儿童发出体感动作时，体感交互设备判断对应到期显示屏幕上的目标人体图像是否与当前应用场景中的7个音符对应的可触发对象有接触。具体地，体感交互设备通过判断该儿童对应的目标人体图像的至少部分轮廓是否处于7个可触发对象的有效触碰范围来确定是否与可触发对象有接触。如果有接触，体感交互设备响应该可触发对象，并发出与该音符对应的声音。而当儿童对应的目标人体图像与多个可触发对象有接触时，体感交互设备按照音符从低到高的顺序依次播放。

区别于现有技术，本实施方式的体感交互设备的图像获取模块首先获取图像信息，图像映射单元从该图像信息中提取目标人体图像，将该目标人体图像映射到体感交互设备当前显示的应用场景中，判断模块判断映射后的目标人体图像是否与应用场景中的可触发对象接触，执行模块在映射后的目标人体图像与可触发对象有接触时，执行所述有接触的可触发对象对应的指令。上述方式中，将目标人体图像映射到体感交互设备当前的应用场景中，使用户能够更加直观的看到自己的状态和以及应用场景的对应关系，不仅能够对用户的动作起到指导作用，还能够提高体感交互的执行率以及执行效率。且将目标人体图像映射到应用场景后，实际拉近了用户与可触碰对象的距离，用户无需大动作就能实现有效的触碰，为用户特别是特殊群体用户带来了很大方便。

另外，目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓，能够进一步降低用户操作时的动作精度要求，提高体感交互的执行率以及执行效率。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种体感交互方法，其特征在于，所述体感交互方法包括：

获取图像信息，从所述图像信息中提取目标人体图像；

将所述目标人体图像映射到体感交互设备当前显示的应用场景中；

判断映射后的所述目标人体图像是否与所述应用场景中的可触发对象接触；

如果所述映射后的目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

2.根据权利要求1所述的体感交互方法，其特征在于，所述将所述目标人体图像映射到体感交互设备当前显示的应用场景中的步骤具体包括：

将所述目标人体图像的大小按照所述体感交互设备的预设比例进行调整，并将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中。

3.根据权利要求2所述的体感交互方法，其特征在于，所述将调整后的目标人体图像映射到体感交互设备当前显示的应用场景中的步骤具体包括：

根据公式1将调整后的目标人体图像融合到所述体感交互设备当前显示的应用场景中；

R(x,y)＝t*H(x,y)+(1-t)P(x,y) (1)

其中，R(x,y)为所述目标人体图像与应用场景融合后得到的图像函数，H(x,y)为调整后的目标人体图像函数，P(x,y)为当前显示的应用场景的图像函数，t为目标人体图像所占的权重因子。

4.根据权利要求2所述的体感交互方法，其特征在于，所述将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中的步骤具体包括：

将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中多个可触发对象所组成区域的设定位置。

5.根据权利要求1所述的体感交互方法，其特征在于，所述判断映射后的所述目标人体图像是否与所述应用场景中的的可触发对象接触的步骤具体包括：

判断所述目标人体图像的至少部分轮廓是否处于所述可触发对象的有效触碰范围；

所述如果所述目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令的步骤具体包括：

如果所述目标人体图像的至少部分轮廓处于所述可触发对象的有效触碰范围时，执行所述有接触的可触发对象对应的指令。

6.根据权利要求1或5所述的体感交互方法，其特征在于，所述目标人体图像的轮廓包括人体所持物体与人体共同形成的图像轮廓。

7.根据权利要求1或5所述的体感交互方法，其特征在于，所述如果所述目标人体图像与所述可触发对象有接触，执行所述可触发对象对应的指令的步骤具体包括：

如果所述人体图像的接触到的可触发对象超过一个，按照所述可触发对象的优先级依次执行所述可触发对象对应的指令。

8.根据权利要求1所述的体感交互方法，其特征在于，所述获取图像信息，从所述图像信息中提取目标人体图像的步骤具体包括：

获取图像信息；

将所述图像信息进行背景和人体图像的分离，并将分离后的人体图像确定为所述目标人体图像。

9.一种体感交互设备，其特征在于，所述体感交互设备包括图像获取模块、图像映射模块、判断模块以及执行模块，

所述图像获取模块用于获取图像信息，从所述图像信息中提取目标人体图像；

所述图像映射模块用于将所述目标人体图像映射到体感交互设备设备当前显示的应用场景中；

所述判断模块用于判断映射后的所述目标人体图像是否与所述应用场景中的的可触发对象接触；

所述执行模块用于在所述映射后的目标人体图像与所述可触发对象有接触，执行所述有接触的可触发对象对应的指令。

10.根据权利要求9所述的体感交互设备，其特征在于，所述图像映射模块具体用于将所述目标人体图像的大小按照所述体感交互设备的预设比例进行调整，并将调整后的目标人体图像映射到所述体感交互设备当前显示的应用场景中。