CN109597483A - 一种基于体感交互的会议方案演示装置及方法 - Google Patents

一种基于体感交互的会议方案演示装置及方法 Download PDF

Info

Publication number
CN109597483A
CN109597483A CN201811454177.3A CN201811454177A CN109597483A CN 109597483 A CN109597483 A CN 109597483A CN 201811454177 A CN201811454177 A CN 201811454177A CN 109597483 A CN109597483 A CN 109597483A
Authority
CN
China
Prior art keywords
gesture
control instruction
database
hand
feeling interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811454177.3A
Other languages
English (en)
Inventor
杜子飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Anxin Intelligent Technology Co Ltd
Original Assignee
Hubei Anxin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Anxin Intelligent Technology Co Ltd filed Critical Hubei Anxin Intelligent Technology Co Ltd
Priority to CN201811454177.3A priority Critical patent/CN109597483A/zh
Publication of CN109597483A publication Critical patent/CN109597483A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于体感交互的会议方案演示装置及方法，该装置包括体感信息采集装置、处理装置和投影装置，所述处理装置分别与所述体感信息采集装置和所述投影装置电连接，所述处理装置用于：将演示文稿传输至所述投影装置进行投影显示；接收所述体感信息采集装置获取的用户的手部数据；根据所述手部数据确定所述用户的手势；将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令；根据所述控制指令控制所述演示文稿执行相应的动作。本申请的技术方案摆脱了设备束缚，简单方便，能够满足人们的多样化的操作需求。

Description

一种基于体感交互的会议方案演示装置及方法
技术领域
本发明涉及会议演示设备技术领域，尤其涉及一种基于体感交互的会议方案演示装置及方法。
背景技术
目前，会议中进行方案演示时，常通过投影仪投影演示文稿，例如PPT，来展示方案。为了方便演示，人们常通过鼠标键盘或者激光笔演示器控制演示文稿的翻页等。但是，一方面，采用鼠标键盘与计算机交互时，需要靠近计算机操作，不便于用户讲解方案；另一方面，通过激光笔演示器控制演示文稿的翻页时，由于激光笔演示器功能比较单一，只有向上翻页和向下翻页两个功能，无法满足人们的多样化的操作需求。
发明内容
针对上述现有技术的不足，本发明提供了一种基于体感交互的会议方案演示装置及方法。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供了一种基于体感交互的会议方案演示装置，包括体感信息采集装置、处理装置和投影装置，所述处理装置分别与所述体感信息采集装置和所述投影装置电连接，所述处理装置用于：
将演示文稿传输至所述投影装置进行投影显示。
接收所述体感信息采集装置获取的用户的手部数据。
根据所述手部数据确定所述用户的手势。
将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。
根据所述控制指令控制所述演示文稿执行相应的动作。
第二方面，一种基于体感交互的会议方案演示方法，所述方法包括：
步骤1，将演示文稿传输至投影装置进行投影显示。
步骤2，接收体感信息采集装置获取的用户的手部数据。
步骤3，根据所述手部数据确定所述用户的手势。
步骤4，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。
步骤5，根据所述控制指令控制所述演示文稿执行相应的动作。
本发明的一种基于体感交互的会议方案演示装置及方法的有益效果是：通过投影装置将演示文稿投影显示出来，便于用户进行讲解以及观众观看，通过体感信息采集装置获取用户的手部数据，体感信息采集装置可采用Leap Motion体感控制器，手部数据可包括手所在位置的坐标，处理装置根据手部数据确定用户的手势，例如可根据不同时刻手所处的位置，确定手的移动方向和移动轨迹，以此确定用户的手势。将手势与数据库中预存的多个手势模板进行匹配，用户可根据自身喜好自定义手势模板，通过匹配，可以确定一定条件下与用户的手势匹配的手势模板，由于数据库中还存储有与手势模板一一对应的控制指令，控制指令可包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移，因此处理装置就可以根据与用户手势对应的控制指令控制演示文稿执行对应的动作。本申请中通过手势就可控制演示文稿执行对应的动作，不需通过其它辅助设备进行输入，摆脱了设备束缚，简单方便，并且用户可自定义手势模板，能够通过自己喜欢的手势进行控制，同时控制功能丰富，能够满足人们的多样化的操作需求。
附图说明
图1为本发明实施例的一种基于体感交互的会议方案演示装置的结构示意图；
图2为本发明实施例的一种基于体感交互的会议方案演示方法的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例提供的一种基于体感交互的会议方案演示装置，包括体感信息采集装置、处理装置和投影装置，所述处理装置分别与所述体感信息采集装置和所述投影装置电连接，所述处理装置用于：
将演示文稿传输至所述投影装置进行投影显示。
接收所述体感信息采集装置获取的用户的手部数据。
根据所述手部数据确定所述用户的手势。
将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。
根据所述控制指令控制所述演示文稿执行相应的动作。
本实施例中，通过投影装置将演示文稿投影显示出来，便于用户进行讲解以及观众观看，通过体感信息采集装置获取用户的手部数据，体感信息采集装置可采用LeapMotion体感控制器，手部数据可包括手所在位置的坐标，处理装置根据手部数据确定用户的手势，例如可根据不同时刻手所处的位置，确定手的移动方向和移动轨迹，以此确定用户的手势。将手势与数据库中预存的多个手势模板进行匹配，用户可根据自身喜好自定义手势模板，通过匹配，可以确定一定条件下与用户的手势匹配的手势模板，由于数据库中还存储有与手势模板一一对应的控制指令，控制指令可包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移，因此处理装置就可以根据与用户手势对应的控制指令控制演示文稿执行对应的动作。本申请中通过手势就可控制演示文稿执行对应的动作，不需通过其它辅助设备进行输入，摆脱了设备束缚，简单方便，并且用户可自定义手势模板，能够通过自己喜欢的手势进行控制，同时控制功能丰富，能够满足人们的多样化的操作需求。
优选地，所述体感信息采集装置为Leap Motion体感控制器，所述处理装置具体用于：
接收所述Leap Motion体感控制器实时采集的所述手部数据。
具体地，Leap Motion体感控制器根据内置的两个摄像头从不同角度捕捉的画面，能够重建出手掌在真实世界三维空间的运动信息。Leap Motion体感控制器通过绑定视野范围能的手，手指或者工具来提供实时数据，这些数据多数是通过集合提供，每一帧都包含了一系列的基本绑定数据，比如手，手指或者工具的数据，也能实时识别场景中的手势和自定义数据。
优选地，所述处理装置具体用于：
每隔标定时间提取所述手部数据中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。
具体地，每一帧都包括对应时刻用户手的位置，根据手部坐标的相对位置和方向向量确定手势，例如：获取的手部数据中只有一只手的数据时，后面关键帧中的手部坐标与前面关键帧中的手部坐标相比，只有一个方向轴上的坐标发生改变时，则手做平移运动，如Z轴上的坐标发生改变时，则手做上下平移移动，方向向量为正，则向上平移，方向向量为负，则向下平移。若有两只手的数据时，若后一关键帧中两只手的相对位置相对于前一关键帧中的相对位置更接近时，则两只手靠近，反之，为两只手远离。
优选地，所述数据库中还包括与所述手势模板对应的操作类型，所述处理装置具体用于：
通过支持向量机算法，选用高斯核函数作为内积和函数判断所述手势所属的操作类型。
根据所述操作类型，在所述数据库中查找与所述手势对应的所述手势模板。
具体地，通过支持向量机算法(Support Vector Machine)作为进一步判断手部运动所述类型的分类器，同时选用高斯核函数(Radial Basis Function)作为内积核函数，进行多类模式识别。支持向量机是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。所谓径向基函数(Radial Basis Function简称RBF),就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧式距离的单调函数,其作用往往是局部的,即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数,控制了函数的径向作用范围。通过确定手势所属的操作类型，操作类型可分为平移运动和非平移运动，只需在与该操作类型相对应的手势模板中进行匹配，能够简化计算过程，节省匹配时间。
优选地，所述控制指令包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移中的至少一种。
具体地，用户可根据需要进行编程，自定义控制命令的类型。每个控制指令都有对应的手势，例如：向上翻页可对应单手向上平移，向下翻页可对应单手向下平移，界面缩小可对应双手靠近，界面放大可对应双手远离，界面旋转可对应单手做弧线运动。
如图2所示，本发明实施例提供的一种基于体感交互的会议方案演示方法，所述方法包括：
步骤1，将演示文稿传输至投影装置进行投影显示。
步骤2，接收体感信息采集装置获取的用户的手部数据。
步骤3，根据所述手部数据确定所述用户的手势。
步骤4，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。
步骤5，根据所述控制指令控制所述演示文稿执行相应的动作。
优选地，所述体感信息采集装置为Leap Motion体感控制器，所述步骤2的具体实现为：
接收所述Leap Motion体感控制器实时采集的所述手部数据。
优选地，所述步骤3的具体实现为：
每隔标定时间提取所述手部数据中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。
优选地，所述数据库中还包括与所述手势模板对应的操作类型，所述步骤4具体包括：
步骤4.1，通过支持向量机算法，选用高斯核函数作为内积和函数判断所述手势所属的操作类型；
步骤4.2，根据所述操作类型，在所述数据库中查找与所述手势对应的所述手势模板。
优选地，所述控制指令包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移中的至少一种。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于体感交互的会议方案演示装置，其特征在于，包括体感信息采集装置、处理装置和投影装置，所述处理装置分别与所述体感信息采集装置和所述投影装置电连接，所述处理装置用于：
将演示文稿传输至所述投影装置进行投影显示；
接收所述体感信息采集装置获取的用户的手部数据；
根据所述手部数据确定所述用户的手势；
将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令；
根据所述控制指令控制所述演示文稿执行相应的动作。
2.根据权利要求1所述的基于体感交互的会议方案演示装置，其特征在于，所述体感信息采集装置为Leap Motion体感控制器，所述处理装置具体用于：
接收所述Leap Motion体感控制器实时采集的所述手部数据。
3.根据权利要求2所述的基于体感交互的会议方案演示装置，其特征在于，所述处理装置具体用于：
每隔标定时间提取所述手部数据中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。
4.根据权利要求3所述的基于体感交互的会议方案演示装置，其特征在于，所述数据库中还包括与所述手势模板对应的操作类型，所述处理装置具体用于：
通过支持向量机算法，选用高斯核函数作为内积和函数判断所述手势所属的操作类型；
根据所述操作类型，在所述数据库中查找与所述手势对应的所述手势模板。
5.根据权利要求1至4任一项所述的基于体感交互的会议方案演示装置，其特征在于，所述控制指令包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移中的至少一种。
6.一种基于体感交互的会议方案演示方法，其特征在于，所述方法包括：
步骤1，将演示文稿传输至投影装置进行投影显示；
步骤2，接收体感信息采集装置获取的用户的手部数据；
步骤3，根据所述手部数据确定所述用户的手势；
步骤4，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令；
步骤5，根据所述控制指令控制所述演示文稿执行相应的动作。
7.根据权利要求6所述的基于体感交互的会议方案演示方法，其特征在于，所述体感信息采集装置为Leap Motion体感控制器，所述步骤2的具体实现为：
接收所述Leap Motion体感控制器实时采集的所述手部数据。
8.根据权利要求7所述的基于体感交互的会议方案演示方法，其特征在于，所述步骤3的具体实现为：
每隔标定时间提取所述手部数据中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。
9.根据权利要求8所述的基于体感交互的会议方案演示方法，其特征在于，所述数据库中还包括与所述手势模板对应的操作类型，所述步骤4具体包括：
步骤4.1，通过支持向量机算法，选用高斯核函数作为内积和函数判断所述手势所属的操作类型；
步骤4.2，根据所述操作类型，在所述数据库中查找与所述手势对应的所述手势模板。
10.根据权利要求6至9任一项所述的基于体感交互的会议方案演示方法，其特征在于，所述控制指令包括向上翻页、向下翻页、界面缩放、界面旋转和界面平移中的至少一种。
CN201811454177.3A 2018-11-30 2018-11-30 一种基于体感交互的会议方案演示装置及方法 Pending CN109597483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811454177.3A CN109597483A (zh) 2018-11-30 2018-11-30 一种基于体感交互的会议方案演示装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811454177.3A CN109597483A (zh) 2018-11-30 2018-11-30 一种基于体感交互的会议方案演示装置及方法

Publications (1)

Publication Number Publication Date
CN109597483A true CN109597483A (zh) 2019-04-09

Family

ID=65959407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811454177.3A Pending CN109597483A (zh) 2018-11-30 2018-11-30 一种基于体感交互的会议方案演示装置及方法

Country Status (1)

Country Link
CN (1) CN109597483A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246265A (zh) * 2020-01-21 2020-06-05 深圳精匠云创科技有限公司 混合显示系统
CN112487844A (zh) * 2019-09-11 2021-03-12 华为技术有限公司 手势识别方法、电子设备、计算机可读存储介质和芯片

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104639865A (zh) * 2013-11-07 2015-05-20 中兴通讯股份有限公司 视频会议体感控制方法、终端及系统
KR20170120299A (ko) * 2016-04-21 2017-10-31 주식회사 엘시스 립모션을 이용한 실감형 콘텐츠 서비스 시스템
CN108089714A (zh) * 2018-01-12 2018-05-29 安徽理工大学 一种基于手势识别的ppt控制系统
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108737690A (zh) * 2018-05-30 2018-11-02 湖北安心智能科技有限公司 一种分布式协同交互系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639865A (zh) * 2013-11-07 2015-05-20 中兴通讯股份有限公司 视频会议体感控制方法、终端及系统
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
KR20170120299A (ko) * 2016-04-21 2017-10-31 주식회사 엘시스 립모션을 이용한 실감형 콘텐츠 서비스 시스템
CN108089714A (zh) * 2018-01-12 2018-05-29 安徽理工大学 一种基于手势识别的ppt控制系统
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108737690A (zh) * 2018-05-30 2018-11-02 湖北安心智能科技有限公司 一种分布式协同交互系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487844A (zh) * 2019-09-11 2021-03-12 华为技术有限公司 手势识别方法、电子设备、计算机可读存储介质和芯片
CN111246265A (zh) * 2020-01-21 2020-06-05 深圳精匠云创科技有限公司 混合显示系统

Similar Documents

Publication Publication Date Title
Chuan et al. American sign language recognition using leap motion sensor
Ohn-Bar et al. Hand gesture recognition in real time for automotive interfaces: A multimodal vision-based approach and evaluations
Kjeldsen et al. Toward the use of gesture in traditional user interfaces
Suarez et al. Hand gesture recognition with depth images: A review
JP5147933B2 (ja) 人−機械インターフェース装置システム及び方法
Bleser et al. Cognitive learning, monitoring and assistance of industrial workflows using egocentric sensor networks
CN103150019A (zh) 一种手写输入系统及方法
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN106598227A (zh) 基于Leap Motion和Kinect的手势识别方法
Shin et al. Gesture recognition using Bezier curves for visualization navigation from registered 3-D data
CN109766782B (zh) 基于svm的实时肢体动作识别方法
CN103207709A (zh) 一种多点触摸系统及方法
Muneesawang et al. A machine intelligence approach to virtual ballet training
CN103092437A (zh) 一种基于图像处理技术的便捷式触控交互系统
CN106293099A (zh) 手势识别方法及系统
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
CN109597483A (zh) 一种基于体感交互的会议方案演示装置及方法
Chaves et al. Human body motion and gestures recognition based on checkpoints
Nishino et al. Interactive two-handed gesture interface in 3D virtual environments
CN107608510A (zh) 手势模型库的建立方法、装置及电子设备
Chavan et al. Indian sign language to forecast text using leap motion sensor and RF classifier
CN109979014A (zh) 扩增实境应用产生系统及方法
Escobedo et al. Finger spelling recognition from depth data using direction cosines and histogram of cumulative magnitudes
Haider et al. A Hand Gesture Recognition based Communication System for Mute people
Soroni et al. Hand Gesture Based Virtual Blackboard Using Webcam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication