CN110472396B - 一种体感手势触控方法、系统、平台及存储介质 - Google Patents

一种体感手势触控方法、系统、平台及存储介质 Download PDF

Info

Publication number
CN110472396B
CN110472396B CN201910759852.1A CN201910759852A CN110472396B CN 110472396 B CN110472396 B CN 110472396B CN 201910759852 A CN201910759852 A CN 201910759852A CN 110472396 B CN110472396 B CN 110472396B
Authority
CN
China
Prior art keywords
sequence
data
somatosensory
gesture
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910759852.1A
Other languages
English (en)
Other versions
CN110472396A (zh
Inventor
刘嘉乐
陈康富
钟家进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Yelang Intelligent Technology Co ltd
Original Assignee
Zhongshan Yelang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Yelang Intelligent Technology Co ltd filed Critical Zhongshan Yelang Intelligent Technology Co ltd
Publication of CN110472396A publication Critical patent/CN110472396A/zh
Application granted granted Critical
Publication of CN110472396B publication Critical patent/CN110472396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机技术领域，具体涉及一种体感手势触控方法、系统、平台及存储介质。通过视觉传感器，获取体感手势动态数据；根据体感手势动态数据，与序列库中的空间属性实时匹配；根据匹配结果，实时发出设备操控指令。可以有效地确定并锁定操作目标，待完成操作后，会自动解锁，从而可以控制其它设备，也就是说，本发明可以避免误识别导致的误操作。

Description

一种体感手势触控方法、系统、平台及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种体感手势触控方法、系统、平台及存储介质。
背景技术
在智能家居环境里，使用同一种手势来控制多种设备是困难的，因为容易产生误操作，即控制A设备的同时，B设备被误操作了。目前，在手机行业，为了防止误触而打开手机，手机一般会使用滑行解锁或脸部识别等技术。但对于体感手势识别，并没有合适或通用的方案解决误识别的问题，当把一个物体误识别成手时，会触发误操作。
只要有摄像头的地方，都有可能实现手势控制，如手机、笔记本、平板、监控等摄像头。当用隔空的手势去控制这些设备(或者通过这些设备采集到图像，经主机分析后，控制其他设备)，有可能产生误判(把不是手的东西错识别为手)，误判产生后，识别会触发误操作，如果不进行处理，会有以下问题：
1、如果误操作在用户离开的时候发生将会导致无法预料的问题；
2、其它用户在视野范围内行走时，很可能触发误操作，导致设备难以控制；
3、在一些重要场合，用户不希望有任何异常发生，但目前没办法锁定设备；
4、有的用户希望只有他才能控制设备，希望设定专属的锁定/解锁方式。
发明内容
针对以上没有合适或通用的方案解决误识别的问题，当把一个物体误识别成手时，会触发误操作的技术问题，本发明提供一种体感手势触控方法、系统、平台及存储介质，可以有效地确定并锁定操作目标，待完成操作后，会自动解锁，从而可以控制其它设备。
本发明具体通过以下技术方案实现：
一种体感手势触控方法，所述的方法具体包括如下步骤：
通过视觉传感器，获取体感手势动态数据；
根据体感手势动态数据，与序列库中的空间属性实时匹配；
根据匹配结果，实时发出设备操控指令。
进一步地，于步骤通过视觉传感器，获取体感手势动态数据中，设定有时间阀值，用于在固定时间段内不间断的获取体感手势动态数据；
相应地，于步骤通过视觉传感器，获取体感手势动态数据中，还包括如下步骤：
获取体感手势动态数据的三维坐标；
将获取到的体感手势动态数据实时添加到序列库中。
进一步地，于步骤将获取到的体感手势动态数据实时添加到序列库中，还包括如下步骤：
实时清除错误的体感手势动态数据。
进一步地，于步骤根据体感手势动态数据，与序列库中的空间属性实时匹配中，设定有相似度阀值，用于判定体感手势动态数据与序列库中的空间属性是否匹配；
若超过阈值，则匹配，否则不匹配；
相应地，于步骤根据体感手势动态数据，与序列库中的空间属性实时匹配中，还包括如下步骤：
获取序列库中的空间属性；
判定体感手势动态数据和序列库中的空间属性是否匹配，若否则与重新获取到的体感手势动态数据匹配；否是则执行下一步；
根据匹配类型，进行类型状态操作。
进一步地，于步骤判定体感手势动态数据和序列库中的空间属性是否匹配，若否则与重新获取到的体感手势动态数据匹配；否是则执行下一步中，还包括如下步骤：
通过序列匹配结果，触发锁定状态或解锁状态；
根据触发状态，实时发出状态操作指令。
为实现上述目的，本发明还提供一种体感手势触控系统，所述的系统具体包括：
第一获取单元，用于通过视觉传感器，获取体感手势动态数据；
数据匹配单元，用于根据体感手势动态数据，与序列库中的空间属性实时匹配；
设备操控单元，用于根据匹配结果，实时发出设备操控指令。
进一步地，所述的第一获取单元还包括：
第一阀值模块，用于在固定时间段内不间断的获取体感手势动态数据；
第一获取模块，用于获取体感手势动态数据的三维坐标；
第二获取模块，用于将获取到的体感手势动态数据实时添加到序列库中；
清除模块，用于实时清除错误的体感手势动态数据；
所述的数据匹配单元还包括：
第二阀值模块，用于判定体感手势动态数据与序列库中的空间属性是否匹配；
第三获取模块，用于获取序列库中的空间属性；
第一判定模块，用于判定体感手势动态数据和序列库中的空间属性是否匹配；
第一操作模块，用于根据匹配类型，进行类型状态操作；
触发模块，用于通过序列匹配结果，触发锁定状态或解锁状态；
第二操作模块，用于根据触发状态，实时发出状态操作指令。
为实现上述目的，本发明还提供一种体感手势触控平台，包括：
处理器、存储器以及体感手势触控平台控制程序；
其中在所述的处理器执行所述的体感手势触控平台控制程序，所述体感手势触控平台控制程序被存储在所述存储器中，所述的体感手势触控平台控制程序，实现所述的体感手势触控方法步骤。
为实现上述目的，本发明还提供一种计算机可读取存储介质，所述计算机可读取存储介质存储有体感手势触控平台控制程序，所述的体感手势触控平台控制程序，实现所述的体感手势触控方法步骤。
与现有技术相比，本发明具有以下有益效果：
本发明通过一种体感手势触控方法，
通过视觉传感器，获取体感手势动态数据；
根据体感手势动态数据，与序列库中的空间属性实时匹配；
根据匹配结果，实时发出设备操控指令。
及相应地系统单元和模块：
第一获取单元，用于通过视觉传感器，获取体感手势动态数据；
数据匹配单元，用于根据体感手势动态数据，与序列库中的空间属性实时匹配；
设备操控单元，用于根据匹配结果，实时发出设备操控指令。
相应地，所述的第一获取单元还包括：
第一阀值模块，用于在固定时间段内不间断的获取体感手势动态数据；
第一获取模块，用于获取体感手势动态数据的三维坐标；
第二获取模块，用于将获取到的体感手势动态数据实时添加到序列库中；
清除模块，用于实时清除错误的体感手势动态数据；
所述的数据匹配单元还包括：
第二阀值模块，用于判定体感手势动态数据与序列库中的空间属性是否匹配；
第三获取模块，用于获取序列库中的空间属性；
第一判定模块，用于判定体感手势动态数据和序列库中的空间属性是否匹配；
第一操作模块，用于根据匹配类型，进行类型状态操作；
触发模块，用于通过序列匹配结果，触发锁定状态或解锁状态；
第二操作模块，用于根据触发状态，实时发出状态操作指令。
及相应地平台及存储介质；
可以有效地确定并锁定操作目标，待完成操作后，会自动解锁，从而可以控制其它设备，也就是说，本发明可以避免误识别导致的误操作，即通过对设备的位置指向动作实现多种设备的控制，并避免误识别导致的误操作
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种体感手势触控方法架构流程示意图；
图2为本发明一种体感手势触控方法轨迹码识别过程流程架构示意图；
图3为本发明一种体感手势触控方法优选实施例架构示意图；
图4为本发明一种体感手势触控方法建立三维坐标架构示意图；
图5为本发明一种体感手势触控方法启动序列示意图；
图6为本发明一种体感手势触控方法指向切换序列示意图；
图7为本发明一种体感手势触控方法指向序列示意图；
图8为本发明一种体感手势触控系统架构示意图；
图9为本发明一种体感手势触控系统之模块框架示意图；
图10为本发明一种体感手势触控平台架构示意图；
图11为本发明一种实施例中计算机可读取存储介质架构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
优选地，本发明一种体感手势触控方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
本发明为实现一种体感手势触控方法、系统、平台及存储介质。
如图1所示，是本发明实施例提供的体感手势触控方法的流程图。
在本实施例中，所述体感手势触控方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
所述体感手势触控方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的体感手势触控方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
例如，对于需要进行体感手势触控终端，可以直接在终端上集成本发明的方法所提供的体感手势触控功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供体感手势触控功能的接口，终端或其他设备通过所提供的接口即可实现体感手势触控功能。
如图1所示，本发明提供了一种体感手势触控方法，所述方法具体包括如下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
通过视觉传感器，获取体感手势动态数据；
根据体感手势动态数据，与序列库中的空间属性实时匹配；
根据匹配结果，实时发出设备操控指令。
具体地，于步骤通过视觉传感器，获取体感手势动态数据中，设定有时间阀值，用于在固定时间段内不间断的获取体感手势动态数据；
相应地，于步骤通过视觉传感器，获取体感手势动态数据中，还包括如下步骤：
获取体感手势动态数据的三维坐标；
将获取到的体感手势动态数据实时添加到序列库中。
较佳地，于步骤将获取到的体感手势动态数据实时添加到序列库中，还包括如下步骤：
实时清除错误的体感手势动态数据。
于步骤根据体感手势动态数据，与序列库中的空间属性实时匹配中，设定有相似度阀值，用于判定体感手势动态数据与序列库中的空间属性是否匹配；
若超过阈值，则匹配，否则不匹配；
相应地，于步骤根据体感手势动态数据，与序列库中的空间属性实时匹配中，还包括如下步骤：
获取序列库中的空间属性；
判定体感手势动态数据和序列库中的空间属性是否匹配，若否则与重新获取到的体感手势动态数据匹配；否是则执行下一步；
根据匹配类型，进行类型状态操作。
在本发明实施例中，于步骤判定体感手势动态数据和序列库中的空间属性是否匹配，若否则与重新获取到的体感手势动态数据匹配；否是则执行下一步中，还包括如下步骤：
通过序列匹配结果，触发锁定状态或解锁状态；
根据触发状态，实时发出状态操作指令。
也就是说，本发明的技术方案如下：
每隔时间t收集一次手部的三维坐标，添加到序列A中；
归一化处理：对序列A的起点和终点的连线向量缩放到单位1，其它点按比例缩放；
检查归一化处理后的A序列，是否与设定的序列有很高的相似度，如果超过阈值，则认为是同一个轨迹。
具体地，轨迹码流程如图2所示，每隔时间t收集一次手部的三维坐标，添加到序列A中；
归一化处理：对序列A的起点和终点的连线向量缩放到单位1，其它点按比例缩放；
检查归一化处理后的A序列，是否与设定的序列有很高的相似度，如果超过阈值，则认为是同一个轨迹。
较佳地，轨迹码工作原理：
1)、每隔时间t收集一次手部(通常是手腕)的三维坐标，添加到序列A中。
2)、归一化处理：对序列A的起点和终点的连线向量缩放到单位1，其它点按比例缩放。
3)、检查归一化处理后的A序列，是否与设定的序列有很高的相似度，如果超过阈值，则认为是同一个轨迹。
姿态码，如图2所示：工作原理与轨迹码类似，但增加手部姿态信息的比对，姿态信息包含每个关节的旋转角度。
而且，本发明可以避免误识别导致的误操作。本方法所用的两种方式，分别为：
1)、“轨迹码”，即把手的运动轨迹作为唯一标识去做认证。
2)、“姿态码”，即把一系列手的运动姿态作为唯一标识去做认证。
具体地，如图3所示，通过现有的视觉系统(双目视觉、结构光、TOF等技术)对人的姿态进行识别提取，得到下列空间属性。根据人体各关节的空间属性及设备的空间属性，可以通过指向性操作，实现指向控制。视觉系统将每一组锁定的“用户-设备”管理起来，每个指向及后续动作代表设备的某些预设的指令操作，最终通过红外、蓝牙、wifi等通信方式，实现指向性控制。
也就是说，在本发明实施例中，如图4所示，先确定空间属性定义，先定义一个世界坐标系，通常以房间某个角落为原点建立三维坐标系，基于以下几种属性综合预测用户要控制某个目标(设备或者是虚拟物体)的可能性。以下定义若干人或物体的空间属性(方向或位置的属性)；具体的如下：
1、身体所在的空间位置
用以表征身体空间位置的某个点P_user(x,y,z)，通常指的是人重心所在坐标系里的三维位置，但不排除使用其它方式定义的位置，如双脚连线的中心，头部或身体的某个特征点。
2、脸部的朝向
用以表征脸部正前方的一个三维方向向量V_face(x,y,z)，通常使用脸部所有关键点所拟合成的一个表面的法向量，但不排除使用其它方式定义向量位置，如两个眼睛+鼻子共三个特征点，脸部轮廓特征点拟合成的表面，或用神经网络训练出的向量位置。
3、眼球的朝向
用以表征眼球关注的方向V_eye(x,y,z)，通常以眼睛黑色部分(虹膜)在眼睛中的相对位置来判断眼球的朝向，但不排除使用其它方式定义眼球的位置及眼球的朝向。
4、前臂的指向
"前臂"即肘关节至腕关节的部位，用以表征前臂的朝向V_arm(x,y,z)，它属于手指指向的一个伴随指向。通常是肘关节和腕关节连线的方向，但不排除使用其它方式定义方向，如前臂外轮廓，尺骨和桡骨的姿态等等。
5、四指(除食指外)的指向
食指指向后，其它手指有一个会伴随一个指向V_fingers(x,y,z)，可能是握拳，也可能是自然屈伸。通常以近节指骨到远节指骨的连线为方向，但不排除使用其它方式定义方向，如近节指骨、中节指骨、远节指骨所在曲线拟合的直线或外轮廓的边缘线等等。通过5个手指的指向,可以定义若干状态，如握拳状态或手掌状态。
6、食指的指向
食指的指向代表用户对该方向有一定的交互需求V_index(x,y,z)，通常以食指近节指骨到远节指骨的连线为方向，但不排除使用其它方式定义方向，如近节指骨、中节指骨、远节指骨所在曲线拟合的直线或外轮廓的边缘线等等。
其中V_face(x,y,z)，V_eye(x,y,z)代表着用户的关注的方位，而V_arm(x,y,z)，V_fingers(x,y,z)，V_index(x,y,z)代表着用户明确要操控的设备所在的方位。
7、目标所在的空间位置
设备所在的空间位置为P_thing(x,y,z)，设备所在的空间位置通过手动标注法，标签法或指向法等方式，其特征在于，假定机器未达到全自动的前提下，需要人为参与确定设备的位置。
1)、标注法
通过双目视觉，结构光，TOF等技术得到场景的点云信息或部分三维信息，人为选取可代表设备的点集或区域作为设备的三维坐标的依据。
2)、标签法
在设备上贴上便于识别的二维码，二维码的位置即为设备的三维坐标。
3)、指向法
用户通过在两个不同的位置，用手分别指向设备。两次指向相交的点可认为是设备的三维位置。如果两次指向不相交，则可取公垂线段的中点作为设备的位置，也不排除使用其它相关的方法，如公垂线与其中一条直线的交点，指向线与空间物体的交点等等。
4)、特征明显物体替代法
指定一个特征明显的物体，物体的位置即为设备的位置，如某个人的人脸，当人脸静止在一个地方持续t秒，则认为人脸所在的位置是设备的位置。不排除使用其它物体，如某一个特殊画面，某个定制的物体均可。
其次，要确认动作及状态，具体地，动作序列用以判断人的行为是否满足一定条件，满足则触发相关操作。
假设观测动作集为S个观测序列{O1,O2,O3,...,OS}，目标是得出隐马尔可夫模型的参数λ＝(A,B,π)，其中：π为隐藏状态初始概率分布，A为状态转移概率矩阵B为观测状态概率矩阵。
由于所求的状态属于不可观测的隐数据I，因此可用EM算法实现概率模型的求解：
Figure BDA0002169922450000121
通过一个HMM模型对应一类动作序列进行识别，识别问题转化为HMM的概率计算问题。定义前向概率为：t时刻动作序列kp1,kp2,...,kpI，且状态是qi的概率，记为：aI(i)＝P(kp1,kp2,...,kpI,iI＝qi|λ)，通过递推可得aI(i)和观测序列概率P(KP|λ)。
(1)、初始状态：aI(i)＝πibi(kpI),i＝1,2,...,N
(2)、迭代过程：给定t＝1,2,...,T-1
Figure BDA0002169922450000122
(3)、结束条件：
Figure BDA0002169922450000123
根据以上步骤求得每个可能的序列的概率，识别结果为概率最大的HMM对应的动作类别。
预先定义以下序列
(1)、动体激发序列
当识别区内没有任何运动物体时，以低功率运行，一旦出现运动物体则恢复正常功率并判断是否匹配激发序列，如匹配则进入下一步的判断。动体需满足以下原则：
a)、该动体必须是人；
b)、该动体的运动超过一定幅度；
c)、训练结果受实际样本约束；
(2)、启动序列
启动序列指的是人从自然状态到准备操控设备时的一个前序动作，如图5所示，通常为手举起的动作序列，或序列过程中出现举手的子序列，序列样本的收集符合以下原则：
a)、序列中，每个状态Vi与Z轴的夹角a满足特定要求(如夹角递减)；
b)、序列中，角度变化△a>A，A为设定的一个阈值；
c)、训练结果受实际样本约束；
(3)、指向切换序列
如图6所示，当用户指向A设备并正在进行交互，即A设备处于锁定状态，此时如果用户指向另一个目标，当符合特定场景时，需要解锁A目标并锁定B目标。其特征在于：
1)、用户-设备已经处于锁定状态
2)、用户-设备无须解锁直接进入用户与另一个设备的锁定中
(4)、释放序列
当用户操控完一个设备后，直到恢复自然状态前，会有一个前序的动作序列，称之为“释放序列”，该序列是启动序列的反过程。其特征在于：
1)、用户当前已经处于锁定状态；2)、用户手部恢复到自然状态；3)、用户的指向离开了原锁定时的方向；4)、用户的指向已经完成了既定的操控；5)、用户不再注视原锁定时的方向；6)、用户的空间位置移动范围超过预设值；7)、用户的指向超过预设时间；
(5)、指向序列
如图7所示，用户想要操控一个设备，会进行一个指向动作，该动作是操控的一个前序动作，分两种类型的指向：
第一种是挥手指向，类似人举手打招呼的动作，其特征在于：
1)、手掌朝向的方向为指向的即时方向
2)、手部持续挥动一段时间，结束后决定最终的主方向
其中一种即时方向的求解策略为：
Figure BDA0002169922450000141
对于最终主方向的求解，可由每一帧的即时方向求和求取而得：
Figure BDA0002169922450000142
第二种是严格指向，具体地，
1)、指向一个方向后，有一个停留的时间t(I)，函数t可以是和I动作序列相关的一个变量，也可以是一个常数t0；
2)、、指向的主方向由前臂朝向V_arm(x,y,z)，四指朝向V_fingers(x,y,z)，食指的指向V_index(x,y,z)共同决定，原则上讲，指向的方向为上述三个朝向的函数，即V＝f(V_arm,V_fingers,V_index)，而实际操作中。根据三维信息的精确度通常分三种策略；
a)、食指为主方向：前臂方向为大致指向，在指定锤形区内由食指修正，V_fingers(x,y,z)确定手掌朝上或朝下。
b)、五指共同决定主方向：前臂方向为大致指向，在指定锤形区内由五指朝向的加权平均决定方向，V_fingers(x,y,z)确定手掌朝上或朝下。
c)、前臂方向为主方向，忽略手指的指向。
(6)、无匹配
其它未定义的序列，通常为用户自然的动作，如行走，摆动手臂，交谈时无意识的手部动作等等。
2、目标状态
(1)、注视状态
注视状态即用户在注视着某个方向，由于无法准确获取眼球的对焦位置，因此无法准确得知用户是否正在关注某个物体。用户在自然状态下，脸部或眼睛依然会注视着某个方向，但不代表对该方向的事物有操控的需求。
基于上述原因，注视状态属于辅助判断，其特征在于：
1)、用脸部和眼睛的朝向判断用户关注的方向
通常以两者叠加的方向作为为用户关注的方向，即V_face(x,y,z)+V_eye(x,y,z)，当眼球方向难以准确获取时，也可以认为V_eye(x,y,z)是零向量；
2)、注视状态属于复合条件下的状态，可与以下条件搭配判断
a、P_user(x,y,z)是否有移动；b、注视同一个方向持续的时间；c、该方向是否有设备可以操控；d、上一次是否对该方向的设备操控过；e、该方向是否有人遮挡；
复合条件举例：
1)、当人在移动时，不认为(认为)用户处于注视状态；2)、当注视同一个方向小于某个时间阈值时，不认为(认为)处于注视状态；3)、当注视方向无设备，则不认为用户处于注视状态；4)、当用户上一次操作过注视方向的物体，再次注视时，条件2)的时间阈值可动态调小；5)、当注视方向有人物遮挡，且人物的脸朝向用户时，不认为(认为)处于注视状态；
(2)、锁定状态
当用户已经在操控设备时，为了避免因突然的识别错误(如遮挡)而导致中断，或用户在自然状态下被误判为操控动作，需要一定的策略去解决，本发明通过锁定机制解决该问题，当某个设备被某用户指向而锁定时，其特征在于：
1)、该设备只能被该用户操控；2)、该用户只能控制该设备，而不能同时控制其它设备，直到解锁；3)、满足以下条件中的一个或多个将触发锁定，具体视实际情况而定；a)、用户动作满足启动序列的条件；b)、用户动作满足指向序列的条件；c)、用户动作满足指向切换序列的条件；d)、用户处于注视状态，且注视方向与指向方向相一致；
(3)、触发状态
当用户指向设备，实现从非锁定到锁定状态。在锁定状态一直到解锁状态期间，用户和设备完成一对一的匹配，该阶段称为交互阶段。在交互阶段中，定义两种交互方式，即单次出发及连续触发：
单次触发应用于可操作性少的设备，比如普通电灯，只需要开和关就可以满足需要，因此其交互逻辑可以定义为锁定状态之后，直接触发开关指令，即当灯是开的，切换为关，当灯是关的，切换为开，单次触发的特征在于：
1、用户首次指向设备触发控制(如开灯)；
2、用户再次指向设备触发上一次控制的关联控制(如关灯)；
3、用户一旦触发控制，可选的认为控制结束，进入解锁状态；
连续触发应用于可操作性多的设备，比如调节音量，当用户进入锁定状态后，直到解锁状态发生，都在控制着设备，其特征在于：
1、用户指向设备时触发控制后，设备等待用户进一步操作；
2、用户移动手部进行连续控制(典型地，左右移动控制音量大小，上下移动控制快进快退)；
3、用户手部放下结束控制；
4、用户改变手部动作切换控制指令(典型地，把手掌切换成拳头触发确认操作)；
5、用户悬停超过预定的时间而未发生移动，可触发某个操作(典型地，触发音乐开/关)；
(4)、解锁状态
当“用户-设备”进入锁定状态时，即用户和设备完成一对一配对之后，首选的策略是：用户无法控制其它设备，该设备也无法被其它用户控制，除非用户-设备已经处于解锁状态了。
在多人协同的场景下，如在会议中控制会议电视，可以采取多对一的策略(用户锁定，但设备不锁定)，即用户只能控制该设备、但该设备可以被其它用户控制。
解锁状态的特征在于：
1)、用户的动作符合释放序列；
2)、在下一次锁定前，用户无法控制任何设备；
(5)、其它指定状态
基于锁定、操控、解锁等相关策略，还有很多未能枚举的交互方式，其特征在于用户通过指向、移动、手势变化来控制设备，凡符合该性质的交互应当属于本专利涉及的范畴。
具体地，在本方法发明中，还适用于一种指向性手势识别方法，即用户通过手部、手臂等指向设备方向后直接触发对设备的控制。
以及一种锁定机制，指向设备方向后，锁定对设备的控制。，一对一的锁定时，该用户只能控制该设备，且该设备只能被该用户控制。也可以实现一对多、多对一的锁定。
相应地，还可应用于一种解锁机制，手放下之后解锁设备的控制，即设备从只能被该用户控制，转变为允许其他用户控制
以及，一种注意力获取机制，当脸部朝向设备，并且完成指向才触发设备的控制，用户脸部或眼睛朝向设备，同时手臂或手指指向设备，识别系统记录设备与手的关联，从而保证高效控制的前提下，实现有效的防误识别。
为实现上述目的，如图8所示，本发明还提供一种体感手势触控系统，所述的系统包括：
第一获取单元，用于通过视觉传感器，获取体感手势动态数据；
数据匹配单元，用于根据体感手势动态数据，与序列库中的空间属性实时匹配；
设备操控单元，用于根据匹配结果，实时发出设备操控指令。
相应地，如图9所示，所述的第一获取单元还包括：
第一阀值模块，用于在固定时间段内不间断的获取体感手势动态数据；
第一获取模块，用于获取体感手势动态数据的三维坐标；
第二获取模块，用于将获取到的体感手势动态数据实时添加到序列库中；
清除模块，用于实时清除错误的体感手势动态数据；
所述的数据匹配单元还包括：
第二阀值模块，用于判定体感手势动态数据与序列库中的空间属性是否匹配；
第三获取模块，用于获取序列库中的空间属性；
第一判定模块，用于判定体感手势动态数据和序列库中的空间属性是否匹配；
第一操作模块，用于根据匹配类型，进行类型状态操作；
触发模块，用于通过序列匹配结果，触发锁定状态或解锁状态；
第二操作模块，用于根据触发状态，实时发出状态操作指令。
本发明还提出一种体感手势触控平台，如图10所示，包括：处理器、存储器以及体感手势触控平台控制程序；
其中在所述的处理器执行所述的体感手势触控平台控制程序，所述体感手势触控平台控制程序被存储在所述存储器中，所述的体感手势触控平台控制程序，实现所述的体感手势触控方法步骤，例如：
通过视觉传感器，获取体感手势动态数据；
根据体感手势动态数据，与序列库中的空间属性实时匹配；
根据匹配结果，实时发出设备操控指令。
步骤具体细节已在上文阐述，此处不再赘述；
本发明实施例中，所述的体感手势触控平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行体感手势触控各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在体感手势触控平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
所述存储器包括只读存储器(Read-Only Memory，ROM)，随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
本发明还提出一种计算机可读取存储介质，如图11所示，所述计算机可读取存储介质存储有体感手势触控平台控制程序，所述体感手势触控平台控制程序，实现所述的体感手势触控方法步骤，例如，
通过视觉传感器，获取体感手势动态数据；
根据体感手势动态数据，与序列库中的空间属性实时匹配；
根据匹配结果，实时发出设备操控指令。
步骤具体细节已在上文阐述，此处不再赘述；
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。
另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
通过本发明的方法步骤、系统、平台及存储介质，可以有效地确定并锁定操作目标，待完成操作后，会自动解锁，从而可以控制其它设备，也就是说，本发明可以避免误识别导致的误操作，即通过对设备的位置指向动作实现多种设备的控制，并避免误识别导致的误操作。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种体感手势触控方法，其特征在于，所述的方法具体包括如下步骤：
通过视觉传感器，获取预定时间间隔体感手势的轨迹数据和姿态数据，将所述轨迹数据和姿态数据添加到序列中，并归一化处理所述轨迹数据和姿态数据；
根据归一化处理后体感手势的轨迹数据和姿态数据，以及序列中设定的序列数据，结合人体各关节的空间属性及设备的空间属性，并且判定与设定的序列的相似度，若超过阈值，则认为是同一个轨迹，通过指向性操作，实现指向控制；
所述归一化处理所述序列中的数据具体为：对序列起点和终点的连线向量缩放到单位1，并对非起点和终点的点按比例缩放处理；获取姿态数据具体还包括获取每个关节的旋转角度；
所述序列中分别设置有动体激发序列、启动序列、指向切换序列、释放序列、指向序列和无匹配序列；
所述根据归一化处理后体感手势的轨迹数据和姿态数据，以及序列中设定的序列数据，结合人体各关节的空间属性及设备的空间属性，并且判定与设定的序列的相似度，若超过阈值，则认为是同一个轨迹，通过指向性操作，实现指向控制，还包括如下步骤：
以房间角落为原点创建三维坐标系，基于身体所在的空间位置、脸部的朝向、眼球的朝向、前臂的指向、四指的指向、食指的指向和目标所在的空间位置属性综合预测用户要控制设备或虚拟物体的可能性；
根据脸部和眼睛的朝向判定用户关注的方向，根据设定的锁定机制判定设备锁定状态；以及根据用户动作数据触发或解锁设备作业状态；
所述目标所在的空间位置通过手动标注法、标签法或指向法，以及特征明显物体替代法确定；
所述特征明显物体替代法具体为：指定一个特征明显的物体，物体的位置即为设备的位置，若某个人的人脸，当人脸静止在一个地方持续t秒，则认为人脸所在的位置是设备的位置；同时确认动作及状态，动作序列用以判断人的行为是否满足设定条件，满足则触发相关操作；
构建HMM模型，并通过可用EM算法实现概率模型的求解：
Figure DEST_PATH_IMAGE001
；根据生成的每个可能的序列的概率，识别结果 为概率最大的HMM对应的动作类别。
2.一种体感手势触控系统，其特征在于，所述的系统具体包括：
数据获取处理单元，用于通过视觉传感器，获取预定时间间隔体感手势的轨迹数据和姿态数据，将所述轨迹数据和姿态数据添加到序列中，并归一化处理所述轨迹数据和姿态数据；
判定控制单元，用于根据归一化处理后体感手势的轨迹数据和姿态数据，以及序列中设定的序列数据，结合人体各关节的空间属性及设备的空间属性，并且判定与设定的序列的相似度，若超过阈值，则认为是同一个轨迹，通过指向性操作，实现指向控制；
所述归一化处理所述序列中的数据具体为：对序列起点和终点的连线向量缩放到单位1，并对非起点和终点的点按比例缩放处理；获取姿态数据具体还包括获取每个关节的旋转角度；
所述序列中分别设置有动体激发序列、启动序列、指向切换序列、释放序列、指向序列和无匹配序列；
所述根据归一化处理后体感手势的轨迹数据和姿态数据，以及序列中设定的序列数据，结合人体各关节的空间属性及设备的空间属性，并且判定与设定的序列的相似度，若超过阈值，则认为是同一个轨迹，通过指向性操作，实现指向控制，还包括如下步骤：
创建预测模块，用于以房间角落为原点创建三维坐标系，基于身体所在的空间位置、脸部的朝向、眼球的朝向、前臂的指向、四指的指向、食指的指向和目标所在的空间位置属性综合预测用户要控制设备或虚拟物体的可能性；
判定模块，用于根据脸部和眼睛的朝向判定用户关注的方向，根据设定的锁定机制判定设备锁定状态；以及根据用户动作数据触发或解锁设备作业状态；
所述目标所在的空间位置通过手动标注法、标签法或指向法，以及特征明显物体替代法确定；
所述特征明显物体替代法具体为：指定一个特征明显的物体，物体的位置即为设备的位置，若某个人的人脸，当人脸静止在一个地方持续t秒，则认为人脸所在的位置是设备的位置；同时确认动作及状态，动作序列用以判断人的行为是否满足设定条件，满足则触发相关操作；
模型构建模块，用于构建HMM模型，并通过可用EM算法实现概率模型的求解：
Figure DEST_PATH_IMAGE003
；根据生成的每个可能的序列的概率，识别结果为概率最大的HMM对应的动作类别。
3.一种体感手势触控平台，其特征在于，包括：
处理器、存储器以及体感手势触控平台控制程序；
其中在所述的处理器执行所述的体感手势触控平台控制程序，所述体感手势触控平台控制程序被存储在所述存储器中，所述的体感手势触控平台控制程序，实现如权利要求1所述的体感手势触控方法。
4.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有体感手势触控平台控制程序，所述的体感手势触控平台控制程序，实现如权利要求1所述的体感手势触控方法。
CN201910759852.1A 2018-08-17 2019-08-16 一种体感手势触控方法、系统、平台及存储介质 Active CN110472396B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018109387836 2018-08-17
CN201810938783 2018-08-17

Publications (2)

Publication Number Publication Date
CN110472396A CN110472396A (zh) 2019-11-19
CN110472396B true CN110472396B (zh) 2022-12-30

Family

ID=68510878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910759852.1A Active CN110472396B (zh) 2018-08-17 2019-08-16 一种体感手势触控方法、系统、平台及存储介质

Country Status (1)

Country Link
CN (1) CN110472396B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987580B (zh) * 2019-12-12 2022-10-11 华为技术有限公司 一种设备的控制方法、装置、服务器以及存储介质
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
CN113791548A (zh) * 2021-09-26 2021-12-14 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809144A (zh) * 2016-03-24 2016-07-27 重庆邮电大学 一种采用动作切分的手势识别系统和方法
CN107016342A (zh) * 2017-03-06 2017-08-04 武汉拓扑图智能科技有限公司 一种动作识别方法及系统
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107688390A (zh) * 2017-08-28 2018-02-13 武汉大学 一种基于体感交互设备的手势识别控制器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1763849A1 (en) * 2004-06-29 2007-03-21 Philips Intellectual Property & Standards GmbH Personal gesture signature
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods
CN104834894B (zh) * 2015-04-01 2018-09-25 济南大学 一种结合二进制编码和类-Hausdorff距离的手势识别方法
CN105425964B (zh) * 2015-11-30 2018-07-13 青岛海信电器股份有限公司 一种手势识别方法和系统
CN107633551B (zh) * 2017-08-18 2018-07-06 中山叶浪智能科技有限责任公司 一种虚拟键盘的展示方法及装置
CN107660039B (zh) * 2017-09-26 2018-10-30 哈尔滨拓博科技有限公司 一种识别动态手势的灯具控制系统
CN107832647B (zh) * 2017-10-20 2020-12-04 南京邮电大学 一种基于无源射频标签的相位式手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809144A (zh) * 2016-03-24 2016-07-27 重庆邮电大学 一种采用动作切分的手势识别系统和方法
CN107016342A (zh) * 2017-03-06 2017-08-04 武汉拓扑图智能科技有限公司 一种动作识别方法及系统
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107688390A (zh) * 2017-08-28 2018-02-13 武汉大学 一种基于体感交互设备的手势识别控制器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Accelerometer-Based Hand Gesture Recognition by Neural Network and Similarity Matching;Renqiang Xie等;《网页在线公开：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7442084》;20160325;第1-9页 *
基于节奏识别触屏解锁方式的研究;吴晓波等;《第21届全国多媒体技术、第8届全国普适计算、第8届全国人机交互联合学术会议》;20140530;第1-7页 *

Also Published As

Publication number Publication date
CN110472396A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
US10653472B2 (en) Touch free operation of ablator workstation by use of depth sensors
JP6306236B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
CN107643828B (zh) 车辆、控制车辆的方法
Fu et al. hMouse: Head tracking driven virtual computer mouse
US20130249786A1 (en) Gesture-based control system
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
KR20120102647A (ko) 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR20140015144A (ko) 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템
KR20120115487A (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
US20130300662A1 (en) Control system with gesture-based input method
CN107273869B (zh) 手势识别控制方法和电子设备
WO2020160165A1 (en) Multi-factor authentication for virtual reality
Wolf et al. Microgesture detection for remote interaction with mobile devices
Czupryna et al. Real-time vision pointer interface
KR101374316B1 (ko) 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
US20230085330A1 (en) Touchless image-based input interface
WO2016106481A1 (en) Quick command entry for wearable devices
Ahn et al. A VR/AR Interface Design based on Unaligned Hand Position and Gaze Direction
Khandar et al. Vision Based Head Movement Tracking for Mouse control.
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备
CN116841397A (zh) 操作执行方法、装置、电子设备及可读存储介质
Evreinova et al. Gesture termination algorithm for continuous input techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant