CN103713741B - 一种基于Kinect手势控制显示墙的方法 - Google Patents
一种基于Kinect手势控制显示墙的方法 Download PDFInfo
- Publication number
- CN103713741B CN103713741B CN201410007648.1A CN201410007648A CN103713741B CN 103713741 B CN103713741 B CN 103713741B CN 201410007648 A CN201410007648 A CN 201410007648A CN 103713741 B CN103713741 B CN 103713741B
- Authority
- CN
- China
- Prior art keywords
- gesture
- kinect
- queue
- display wall
- operation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于Kinect手势控制显示墙的方法，该方法利用与计算机相连的Kinect采集用户双手动作，通过特定的手势识别算法识别出手势，并用识别出的手势对显示墙中的窗口实施控制操作。本发明涉及向左切换、向右切换、选中、取消、移动、放大、缩小共7种手势，基本覆盖了显示墙窗口控制的需求，同时7种手势易学易用、拥有直观交互意图，操作显示墙更加简单方便。
Description
技术领域
本发明涉及一种显示墙控制方法，具体来说是一种基于Kinect手势控制显示墙的方法。
背景技术
随着高分辨率并行显示理论技术的研究和发展，显示墙技术解决方案解决了数据可视化、高分辨显示、可视化协同合作等方面的瓶颈。由于显示墙技术刚刚兴起，许多部分存在不少研究价值，尤其是交互方式。传统的显示墙交互通过鼠标键盘输入消息指令来操作后台，这种方式极大限制了显示墙与生俱来的交互体验。与此同时，人机交互技术的持续发展，手势动作等肢体交互方式备受关注，诸如Wii、PSMove、Kinect等体感设备也相继进入市场。由于手势动作包含各种丰富直观的交互意图，将显示墙窗口操作通过手势控制，将大幅度提升用户的交互体验。
发明内容
本发明要解决的技术问题是提供一种新型的显示墙控制方法，具体来说是基于Kinect手势控制显示墙的方法。
为了解决以上技术问题，本发明采取以下技术方案：一种基于Kinect手势控制显示墙的方法，采用Kinect采集用户双手动作，通过特定的手势识别算法识别出手势，并用识别出的手势对显示墙中的窗口实施控制操作。
本发明采取的手势识别算法包含以下步骤：
步骤1.令Q={F1,F2,…,Fn}为Kinect采集到的各帧中双手空间坐标数据的缓存队列，其中Fi={(xLi,yLi,zLi),(xRi,yRi,zRi),ti}，(xLi,yLi,zLi)为第i帧中左手的空间坐标数据，(xRi,yRi,zRi)为第i帧中右手的空间坐标数据，ti为该帧的采样时刻；
步骤2.每当Kinect采集到新的一帧数据Fn后，将其放入队列Q中并计算tn-t1，若结果大于1秒，则认为队列Q已满，转步骤3；否则继续采集下一帧的数据；
步骤3.根据队列中的元素计算下述结果：队首元素左右手空间坐标的距离D1=SQRT((xLn-xRn)2+(yLn-yRn)2+(zLn-zRn)2)、队尾元素左右手空间坐标的距离D2=SQRT((xL1-xR1)2+(yL1-yR1)2+(zL1-zR1)2)、整个队列中左手的移动距离D3=SQRT((xLn-xL1)2+(yLn-yL1)2+(zLn-zL1)2)、整个队列中右手的移动距离D4=SQRT((xRn-xR1)2+(yRn-yR1)2+(zRn-zR1)2)、整个队列中左手移动的单位方向向量((xLn-xL1)/D3,(yLn-yL1)/D3,(zLn-zL1)/D3)以及整个队列中右手移动的单位方向向量((xRn-xR1)/D4,(yRn-yR1)/D4,(zRn-zR1)/D4)；
步骤4.根据步骤3的计算结果，从手势库中匹配已定义的手势，若匹配成功，则发送相应消息命令至显示墙并清空缓存队列Q，转步骤2继续采集下一个输入手势，若匹配失败，则删除队列Q的队尾元素并转步骤2继续采集下一个输入手势。
本发明中采用的控制操作手势包括了向左切换、向右切换、选中、取消、移动、放大、缩小共7种手势。
所述的向左切换手势用于将操作目标窗口改变为在当前的操作目标窗口左侧且距离最近的窗口，该手势的定义如下：左手自然举起保持在胸前位置，匀速向左移动至自然伸直状态，整个移动过程应在0.5至1.0秒之间完成。
所述的向右切换手势用于将操作目标窗口改变为在当前的操作目标窗口右侧且距离最近的窗口，该手势的定义如下：右手自然举起保持在胸前位置，匀速向右移动至自然伸直状态，整个移动过程应在0.5至1.0秒之间完成。
所述的选中手势用于选中当前操作目标窗口，该手势定义如下：右手自然举起保持在胸前位置，匀速向前推出至自然伸直状态，整个推出过程应在0.5至1.0秒之间完成。
所述的取消手势用于取消当前操作目标窗口的选中状态，该手势操作如下：左手自然举起保持在胸前位置，保持右手不动，左手匀速举高至向上伸直，整个左手举起过程在0.5至1.0秒之间完成。
所述的移动手势用于移动当前选中的操作目标窗口，该手势定义如下：将自然伸直的右手在胸前任意移动，移动速度应保持在0.3米/秒至0.5米/秒之间。
所述的放大手势用于放大显示操作目标窗口，该手势的定义如下：双手自然向胸口方向举起并靠拢在胸前位置，然后同时沿水平方向向两侧匀速移动，整个移动过程应在0.5至3.0秒之间完成。
所述的缩小手势用于缩小显示操作目标窗口，该手势的定义如下：双手自然向两侧举起并保持在水平位置，然后同时沿水平方向向内侧匀速移动，整个移动过程应在0.5至3.0秒之间完成。
与现有传统技术相比，本发明的有益效果是：
（1）、将本发明用于显示墙窗口控制，可以代替后台传统鼠标键盘控制的交互，将人体双手动作传递给显示墙控制系统，操作方式更加直观方便。与目前很多现存的手势控制方法一样，本发明中用户不需要佩戴任何标签。
（2）、同时本发明中设计的7种手势易学易用，拥有直观的交互意图；手势识别算法简单实用，处理响应速度较快，能够实时地控制显示墙窗口布局。
附图说明
附图1为本发明手势识别算法流程示意图。
附图2为本发明7种手势定义示意图。
具体实施方式
为了使本发明的目的、技术方案更加清楚明白，以下将结合附图及实施例对本发明进行详细说明。此处所表述的具体实施例仅用于解释本发明，并不用于限定本发明。
本发明要解决的技术问题是提供一种新型的显示墙控制方法代替传统的鼠标键盘方法，具体来说是基于Kinect的手势控制显示墙方法。
针对以上技术问题，采取以下技术方案：采用Kinect采集用户双手动作，通过特定的手势识别算法识别出手势，并用识别出的手势对显示墙中的窗口实施控制操作。具体来说是，将安装好Kinect驱动的电脑连接上Kinect设备，Kinect摄像头将采集彩色数据、深度数据、骨骼数据传至应用程序，应用程序将处理提取用户双手坐标数据，通过特定的手势识别算法识别7种已定义手势，并将相应的手势消息命令发送至显示墙控制系统并做出反馈。
附图1给出了本发明一种基于Kinect手势控制显示墙方法中手势识别算法的一个实施例。具体手势识别算法包括以下步骤：
步骤1.令Q={F1,F2,…,Fn}为Kinect采集到的各帧中双手空间坐标数据的缓存队列，其中Fi={(xLi,yLi,zLi),(xRi,yRi,zRi),ti}，(xLi,yLi,zLi)为第i帧中左手的空间坐标数据，(xRi,yRi,zRi)为第i帧中右手的空间坐标数据，ti为该帧的采样时刻；
步骤2.每当Kinect采集到新的一帧数据Fn后，将其放入队列Q中并计算tn-t1，若结果大于1秒，则认为队列Q已满，转步骤3；否则继续采集下一帧的数据；
步骤3.根据队列中的元素计算下述结果：队首元素左右手空间坐标的距离D1=SQRT((xLn-xRn)2+(yLn-yRn)2+(zLn-zRn)2)、队尾元素左右手空间坐标的距离D2=SQRT((xL1-xR1)2+(yL1-yR1)2+(zL1-zR1)2)、整个队列中左手的移动距离D3=SQRT((xLn-xL1)2+(yLn-yL1)2+(zLn-zL1)2)、整个队列中右手的移动距离D4=SQRT((xRn-xR1)2+(yRn-yR1)2+(zRn-zR1)2)、整个队列中左手移动的单位方向向量((xLn-xL1)/D3,(yLn-yL1)/D3,(zLn-zL1)/D3)以及整个队列中右手移动的单位方向向量((xRn-xR1)/D4,(yRn-yR1)/D4,(zRn-zR1)/D4)；
步骤4.根据步骤3的计算结果，从手势库中匹配已定义的手势，若匹配成功，则发送相应消息命令至显示墙并清空缓存队列Q，转步骤2继续采集下一个输入手势，若匹配失败，则删除队列Q的队尾元素并转步骤2继续采集下一个输入手势。
附图2给出了本发明一种基于Kinect手势控制显示墙方法中7种不同手势控制显示墙的另一实施例。
Kinect摆放高度与用户肩部齐平，用户面对Kinect站立2至3米为宜，确保Kinect在视角下能够识别人体并捕捉采集用户动作，同时确保Kinect视角下无其他人干扰。
在部署好显示墙窗口显示以及Kinect摆放位置后，用户就可以用手势控制显示墙窗口。
当用户将左手自然举起保持在胸前位置，并匀速向左移动0.5秒到1.0秒至左手自然伸直状态后，完成向左切换手势；与此同时显示墙将操作目标窗口改变为在当前的操作目标窗口左侧且距离最近的窗口，如果左侧无窗口，则忽略此操作。
当用户将右手自然举起保持在胸前位置，并匀速向右移动0.5秒到1.0秒至右手自然伸直状态后，完成向右切换手势；与此同时显示墙将操作目标窗口改变为在当前的操作目标窗口右侧且距离最近的窗口，如果右侧无窗口，则忽略此操作。
当用户将右手自然举起保持在胸前位置，匀速向前推出0.5到1.0秒至自然伸直状态后，完成选中手势；与此同时显示墙将选中当前操作目标窗口，以便进行下一步移动手势。
当用户完成选中手势之后，将自然伸直的右手在胸前以0.3米/秒至0.5米/秒的速度任意移动，则完成移动手势；与此同时显示墙将根据用户右手移动位置实时显示当前操作目标窗口的位置。
当用户完成移动手势之后，保持右手不动，将左手自然举起保持在胸前位置并匀速0.5至1.0秒举起高至向上伸直，则完成取消手势；与此同时显示墙将停止对当前操作目标窗口的移动。
当用户将双手自然向胸口方向举起并靠拢在胸前位置，然后同时沿水平方向向两侧匀速移动0.5至3.0秒，则完成放大手势；与此同时显示墙将以一定比率放大显示当前操作目标窗口。
当用户将双手自然向两侧举起并保持在水平位置，然后同时沿水平方向向内侧匀速移动0.5至3.0秒，则完成缩小手势；与此同时显示墙将以一定比率缩小显示当前操作目标窗口。
在手势控制显示墙交互过程中，将窗口移动至显示墙特定位置需要用户使用选中、移动、取消三种手势配合使用完成。
本发明将Kinect采集的用户动作用于显示墙窗口控制，操作方式更加直观方便，可以代替后台传统鼠标键盘控制的交互；同时本发明设计的7种手势易学易用，拥有直观的交互图，基本覆盖了显示墙窗口布局操作的需求；手势识别算法简单实用，处理响应速度较快，能够满足实时的人机交互体验。如果用户想要加强交互体验，我们推荐用户加入Kinect的麦克风阵列进行语音识别。
Claims (9)
1.一种基于Kinect手势控制显示墙的方法，其特征在于：采用Kinect采集用户双手动作，通过特定的手势识别算法识别出手势，并用识别出的手势对显示墙中的窗口实施控制操作，所述的手势识别算法包含以下步骤：
步骤1.令Q＝{F1,F2,…,Fn}为Kinect采集到的各帧中双手空间坐标数据的缓存队列，其中Fi＝{(xLi,yLi,zLi),(xRi,yRi,zRi),ti}，(xLi,yLi,zLi)为第i帧中左手的空间坐标数据，(xRi,yRi,zRi)为第i帧中右手的空间坐标数据，ti为该帧的采样时刻；
步骤2.每当Kinect采集到新的一帧数据Fn后，将其放入队列Q中并计算tn-t1，若结果大于1秒，则认为队列Q已满，转步骤3；否则继续采集下一帧的数据；
步骤3.根据队列中的元素计算下述结果：队首元素左右手空间坐标的距离D1＝SQRT((xLn-xRn)2+(yLn-yRn)2+(zLn-zRn)2)、队尾元素左右手空间坐标的距离D2＝SQRT((xL1-xR1)2+(yL1-yR1)2+(zL1-zR1)2)、整个队列中左手的移动距离D3＝SQRT((xLn-xL1)2+(yLn-yL1)2+(zLn-zL1)2)、整个队列中右手的移动距离D4＝SQRT((xRn-xR1)2+(yRn-yR1)2+(zRn-zR1)2)、整个队列中左手移动的单位方向向量((xLn-xL1)/D3,(yLn-yL1)/D3,(zLn-zL1)/D3)以及整个队列中右手移动的单位方向向量((xRn-xR1)/D4,(yRn-yR1)/D4,(zRn-zR1)/D4)；
步骤4.根据步骤3的计算结果，从手势库中匹配已定义的手势，若匹配成功，则发送相应消息命令至显示墙并清空缓存队列Q，转步骤2继续采集下一个输入手势，若匹配失败，则删除队列Q的队尾元素并转步骤2继续采集下一个输入手势。
2.根据权利要求1所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的控制操作包括了向左切换、向右切换、选中、取消、移动、放大、缩小共7种手势。
3.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的向左切换手势用于将操作目标窗口改变为在当前的操作目标窗口左侧且距离最近的窗口，该手势的定义如下：左手自然举起保持在胸前位置，匀速向左移动至自然伸直状态，整个移动过程应在0.5至1.0秒之间完成。
4.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的向右切换手势用于将操作目标窗口改变为在当前的操作目标窗口右侧且距离最近的窗口，该手势的定义如下：右手自然举起保持在胸前位置，匀速向右移动至自然伸直状态，整个移动过程应在0.5至1.0秒之间完成。
5.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的选中手势用于选中当前操作目标窗口，该手势定义如下：右手自然举起保持在胸前位置，匀速向前推出至自然伸直状态，整个推出过程应在0.5至1.0秒之间完成。
6.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的取消手势用于取消当前操作目标窗口的选中状态，该手势操作如下：左手自然举起保持在胸前位置，保持右手不动，左手匀速举高至向上伸直，整个左手举起过程在0.5至1.0秒之间完成。
7.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的移动手势用于移动当前选中的操作目标窗口，该手势定义如下：将自然伸直的右手在胸前任意移动，移动速度应保持在0.3米/秒至0.5米/秒之间。
8.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的放大手势用于放大显示操作目标窗口，该手势的定义如下：双手自然向胸口方向举起并靠拢在胸前位置，然后同时沿水平方向向两侧匀速移动，整个移动过程应在0.5至3.0秒之间完成。
9.根据权利要求2所述的一种基于Kinect手势控制显示墙的方法，其特征在于：所述的缩小手势用于缩小显示操作目标窗口，该手势的定义如下：双手自然向两侧举起并保持在水平位置，然后同时沿水平方向向内侧匀速移动，整个移动过程应在0.5至3.0秒之间完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410007648.1A CN103713741B (zh) | 2014-01-08 | 2014-01-08 | 一种基于Kinect手势控制显示墙的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410007648.1A CN103713741B (zh) | 2014-01-08 | 2014-01-08 | 一种基于Kinect手势控制显示墙的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103713741A CN103713741A (zh) | 2014-04-09 |
| CN103713741B true CN103713741B (zh) | 2016-06-29 |
Family
ID=50406780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410007648.1A Active CN103713741B (zh) | 2014-01-08 | 2014-01-08 | 一种基于Kinect手势控制显示墙的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103713741B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105446468A (zh) * | 2014-08-25 | 2016-03-30 | 乐视致新电子科技（天津）有限公司 | 操控模式的切换方法及装置 |
| CN105446469A (zh) * | 2014-08-25 | 2016-03-30 | 乐视致新电子科技（天津）有限公司 | 一种人机交互中的操作识别方法及装置 |
| CN104615984B (zh) * | 2015-01-28 | 2018-02-02 | 广东工业大学 | 基于用户任务的手势识别方法 |
| CN105045398B (zh) * | 2015-09-07 | 2018-04-03 | 哈尔滨市一舍科技有限公司 | 一种基于手势识别的虚拟现实交互设备 |
| CN106856063A (zh) * | 2015-12-09 | 2017-06-16 | 朱森 | 一种新型教学平台 |
| CN106125928A (zh) * | 2016-06-24 | 2016-11-16 | 同济大学 | 基于Kinect的PPT演示辅助系统 |
| CN107256087B (zh) * | 2017-06-13 | 2020-02-21 | 宁波美象信息科技有限公司 | 一种vr瞬移控制方法 |
| CN107193384B (zh) * | 2017-06-29 | 2020-01-10 | 云南大学 | 基于Kinect彩色图像在鼠标和键盘模拟行为的切换方法 |
| CN111078012A (zh) * | 2019-12-13 | 2020-04-28 | 钟林 | 一种利用滑按手势操作智能终端缩放功能的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102520793A (zh) * | 2011-11-30 | 2012-06-27 | 苏州奇可思信息科技有限公司 | 基于手势识别的会议演示交互方法 |
| EP2523069A2 (en) * | 2011-04-08 | 2012-11-14 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9349131B2 (en) * | 2012-02-02 | 2016-05-24 | Kodak Alaris Inc. | Interactive digital advertising system |
-
2014
- 2014-01-08 CN CN201410007648.1A patent/CN103713741B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2523069A2 (en) * | 2011-04-08 | 2012-11-14 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| CN102520793A (zh) * | 2011-11-30 | 2012-06-27 | 苏州奇可思信息科技有限公司 | 基于手势识别的会议演示交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103713741A (zh) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103713741B (zh) | 一种基于Kinect手势控制显示墙的方法 | |
| CN102789327B (zh) | 一种基于手势的移动机器人控制方法 | |
| CN104202643B (zh) | 智能电视的触屏遥控终端屏幕映射方法、触屏遥控终端的控制方法及系统 | |
| CN106023308A (zh) | 一种体感交互快速三维建模辅助系统及其方法 | |
| CN106681354B (zh) | 无人机的飞行控制方法和装置 | |
| CN104407732A (zh) | 同步书写方法和系统 | |
| CN104808788A (zh) | 一种非接触式手势操控用户界面的方法 | |
| CN102769802A (zh) | 一种智能电视机的人机交互系统及其交互方法 | |
| CN102789312A (zh) | 一种用户交互系统和方法 | |
| CN105681747A (zh) | 一种远程呈现交互操作轮椅 | |
| CN102902356B (zh) | 一种手势控制系统及其控制方法 | |
| CN205068294U (zh) | 机器人人机交互装置 | |
| CN104460967A (zh) | 一种人体上肢骨骼手势识别方法 | |
| CN101847057A (zh) | 一种触摸板获取输入信息的方法 | |
| CN103218044A (zh) | 一种基于物理回馈的触摸装置及其触摸处理方法 | |
| CN104881127A (zh) | 虚拟车辆人机交互方法和系统 | |
| CN104793738A (zh) | 基于Leap Motion的非接触式计算机操控方法 | |
| CN102752435A (zh) | 具有光标的手机及其控制光标的方法 | |
| CN103037253B (zh) | 遥控控制系统和遥控控制方法 | |
| CN101916141A (zh) | 一种基于空间定位技术的交互式输入装置和方法 | |
| CN201765582U (zh) | 一种投影式虚拟触控菜单的控制装置 | |
| CN102430244B (zh) | 一种通过手指接触产生视觉上的人机互动的方法 | |
| CN103336587B (zh) | 一种九轴惯性定向输入装置的远端悬浮触控设备和方法 | |
| CN103218124B (zh) | 基于深度摄像头的菜单控制方法及系统 | |
| CN103186264A (zh) | 触控式电子装置及其触控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |