CN203950270U - 体感识别装置及通过其控制鼠标键盘操作的人机交互系统 - Google Patents

体感识别装置及通过其控制鼠标键盘操作的人机交互系统 Download PDF

Info

Publication number
CN203950270U
CN203950270U CN201420038465.1U CN201420038465U CN203950270U CN 203950270 U CN203950270 U CN 203950270U CN 201420038465 U CN201420038465 U CN 201420038465U CN 203950270 U CN203950270 U CN 203950270U
Authority
CN
China
Prior art keywords
module
recognition device
body sense
main control
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201420038465.1U
Other languages
English (en)
Inventor
高超
祖洋洋
罗长法
杨乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201420038465.1U priority Critical patent/CN203950270U/zh
Application granted granted Critical
Publication of CN203950270U publication Critical patent/CN203950270U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本实用新型公开了一种体感识别装置，包括主控模块、深度成像模块、彩色摄像头、运动跟随模块以及通信模块，所述深度成像模块与主控模块相连，用于采集深度图像数据并将采集得到的深度图像数据交由主控模块处理；所述运动跟随模块与主控模块相连，运动跟随模块调整整个体感识别装置的角度，实现人体跟随功能；所述彩色摄像头与主控模块相连，彩色摄像头用于采集物体色彩数据；所述通信模块与主控模块相连，用于与电脑进行通信。一种通过体感识别装置控制鼠标与键盘操作的人机交互系统，包括体感识别装置、计算机，所述的体感识别装置通过USB数据线与计算机相连。

Description

体感识别装置及通过其控制鼠标键盘操作的人机交互系统
技术领域
     本实用新型涉及计算机领域，特别涉及一种体感识别装置通过该装置控制鼠标与键盘操作的人机交互系统。
背景技术
操作计算机时常用的人机交互模式是计算机用户通过操作键盘与鼠标来与计算机进行互动。这种方式要求计算机用户通过双手进行操作，将用户“绑定”在了计算机前。这种人机交互方式的缺点是当用户不在计算机前时就难以对计算机进行控制，而且用户长期采用相同的姿势操作计算机容易引发颈椎病、腱鞘炎等各种疾病。例如教师在上课时经常使用PowerPoint软件播放演示文稿；为了加强授课效果，教师经常需要离开电脑走到投影幕布前进行指点或在黑板上板书；每当需要切换演示文稿时，教师又不得不回到电脑前进行操作。又例如医生在进行手术时有时需要查看患者的相关病情资料，但是操作电脑又会对已消毒的手套产生污染。
目前已出现了多种不通过鼠标或键盘操作计算机的方式，例如通过语音识别技术对计算机进行控制（实用新型专利申请号201110061361.3）、通过佩戴特定设备对计算机进行控制（实用新型专利申请号201210347942.8）等。这些方式能够采集用户的特定语音或动作信息并转换为操作计算机的对应指令，但是仍然有一定的限制，例如用户不能离开麦克风或需要佩戴专用设备。
实用新型内容
为解决上述问题，本实用新型公开了一种体感识别装置通过该装置控制鼠标与键盘操作的人机交互系统。
为了达到上述目的，本实用新型提供如下技术方案：一种体感识别装置，包括主控模块、深度成像模块、彩色摄像头、运动跟随模块以及通信模块，所述深度成像模块与主控模块相连，用于采集深度图像数据并将采集得到的深度图像数据交由主控模块处理；所述运动跟随模块与主控模块相连，运动跟随模块调整整个体感识别装置的角度，实现人体跟随功能；所述彩色摄像头与主控模块相连，彩色摄像头用于采集物体色彩数据；所述通信模块与主控模块相连，用于与电脑进行通信。
作为本实用新型的一种改进，所述的深度成像模块包括红外发射器和红外摄像头，红外发射器用于发射红外线覆盖体感识别装置的可视范围，所述的主控模块控制红外发射器工作，调整红外发射器光源。
作为本实用新型的一种改进，所述运动跟随模块包括步进电机和步进电机驱动电路。
作为本实用新型的一种改进，所述的通信模块采用USB接口的通信方式。
作为本实用新型的一种改进，所述的步进电机采用24BYJ48，所述的步进电机驱动电路包括大功率复合管ULI2003。
一种通过体感识别装置控制鼠标与键盘操作的人机交互系统，包括体感识别装置、计算机，所述的体感识别装置通过USB数据线与计算机相连。
本实用新型的有益效果：
本实用新型的体感识别装置结构简单，使用方便，准且度以及灵敏度高，同时成本低，具有广泛的应用价值。同时通过本实用新型的体感识别装置控制鼠标与键盘操作的人机交互系统，改善现有的人机交互模式，使得用户能够在不接触计算机的情况下通过自身的手势和动作对计算机进行控制；用户可以自行配置人体动作与鼠标、键盘操作之间的对应关系，从而适应不同软件的操作区别。
附图说明
图1为本实用新型的人机交互系统的结构示意图。
图2为本实用新型的体感识别装置的结构示意图。
图3为本实用新型的人机交互系统的软件模块图。
具体实施方式
以下将结合具体实施例对本实用新型提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本实用新型而不用于限制本实用新型的范围。
如图2所示为本实用新型的体感识别装置的结构示意图包括主控模块、深度成像模块、彩色摄像头、运动跟随模块和通信模块。
所述主控模块采用DSP芯片，选用TI公司的TMS320C6713DSK作为硬件开发平台。该芯片的工作频率可达到225MHZ。该模块分别于深度成像模块、彩色摄像头、运动跟随模块和通信模块相连。
所述深度成像模块与主控模块相连，主控模块向深度成像模块发送控制命令，并通过该模块采集深度图像数据。深度成像模块包括红外发射器和红外摄像头。
红外发射器用于发射红外线覆盖体感识别装置的可视范围了，主控模块控制红外发射器工作，调整红外发射器光源。
本实用新型选用具有CMOS感光器件，800万像素的红外摄像头模块。红外摄像头将采集得到的深度图像数据交由主控模块处理。
所述运动跟随模块与主控模块相连，主控模块向运动跟随模块发送控制命令，运动跟随模块用于调整整个体感识别装置的角度，实现人体跟随功能。该模块包括步进电机和步进电机专门的驱动电路，步进电机采用24BYJ48，由于步进电机的驱动电流较大，采用大功率复合管ULI2003作为步进电机驱动器。
所述彩色摄像头与主控模块相连，彩色摄像头用于采集物体色彩数据，主控模块将色彩图像数据和深度图像数据进行对应，即色彩图像中的每个像素分别与深度图像中的一个像素对应，从而产生像素相互对应的图像。
所述通信模块与主控模块相连，USB使用方便，即插即用，传输速率快。本实用新型采用的是USB与电脑实现通信。
如图1所示为本实用新型的一种通过体感识别装置控制鼠标与键盘操作的人机交互系统的结构示意图，包括上述的体感识别装置2、计算机1，所述的体感识别装置2通过USB数据线与计算机1相连。
电脑1使用一般商用计算机，安装Windows 7操作系统。体感识别装置2与电脑1通过USB数据线相连，安放位置以能采集到用户上半身正面图像为佳。
本实施例中，主控程序为电脑1上安装的基于体感识别装置的人机交互系统，其软件部分采用现有技术中的软件，包括动作采集模块3、动作识别模块4、指令映射模块5、命令发生模块6。
此人机交互系统的使用方式如下：
（1）用户启动人机交互系统软件。
（2）打开动作映射设置页面，设置动作与鼠标、键盘事件之间的对应关系。系统支持多组对应关系设置。此步骤通常可以跳过，只在用户需要修改指令映射关系时执行。系统默认的动作映射有：
用户动作 键盘动作 鼠标动作
左手向上举起 方向键上 无
左手向左伸出 方向键左 无
左手向右伸出 方向键右 无
左手向下放置 方向键下 无
右手握拳 无 鼠标左键点击
右手手腕关节移动 无 鼠标移动
（3）用户面对体感识别装置2做出动作，人机交互系统识别用户动作并转换为对应的鼠标、键盘事件，发送给操作系统，模拟鼠标、键盘动作。
本实施例中人机交互系统的具体工作步骤如下：
（1）体感识别装置2采集用户人体轮廓与深度图像，通过USB数据线传输到电脑1。
（2）动作采集模块3接收用户动作数据，识别出用户主要关节的三维坐标。
（3）动作识别模块4记录用户主要关节在最近一秒内的运动轨迹，使用多线程方式与指令映射模块5中预先定义的多个动作模式进行比对，计算出用户动作与预定义动作模式的相似度，若相似度超过特定阈值则判定用户做出了特定动作。
（4）若用户做出了特定动作，查找指令映射模块5中存储的映射表，将用户动作转变为相应的鼠标与键盘动作，并其作为参数调用命令发生模块6；
（5）命令发生模块6根据接收到的参数发送相应的鼠标与键盘事件给电脑操作系统，达到模拟鼠标与键盘操作的效果。
本实用新型方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (6)

1.一种体感识别装置，其特征在于：包括主控模块、深度成像模块、彩色摄像头、运动跟随模块以及通信模块，所述深度成像模块与主控模块相连，用于采集深度图像数据并将采集得到的深度图像数据交由主控模块处理；所述运动跟随模块与主控模块相连，运动跟随模块调整整个体感识别装置的角度，实现人体跟随功能；所述彩色摄像头与主控模块相连，彩色摄像头用于采集物体色彩数据；所述通信模块与主控模块相连，用于与电脑进行通信。
2.根据权利要求1所述一种体感识别装置，其特征在于：所述的深度成像模块包括红外发射器和红外摄像头，红外发射器用于发射红外线覆盖体感识别装置的可视范围，所述的主控模块控制红外发射器工作，调整红外发射器光源。
3.根据权利要求1所述一种体感识别装置，其特征在于：所述运动跟随模块包括步进电机和步进电机驱动电路。
4.根据权利要求1所述一种体感识别装置，其特征在于：所述的通信模块采用USB接口的通信方式。
5.根据权利要求3所述一种体感识别装置，其特征在于：所述的步进电机采用24BYJ48，所述的步进电机驱动电路包括大功率复合管ULI2003。
6.一种通过体感识别装置控制鼠标与键盘操作的人机交互系统，其特征在于：包括权利要求1所述的体感识别装置、计算机，所述的体感识别装置通过USB数据线与计算机相连。
CN201420038465.1U 2014-01-22 2014-01-22 体感识别装置及通过其控制鼠标键盘操作的人机交互系统 Expired - Fee Related CN203950270U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201420038465.1U CN203950270U (zh) 2014-01-22 2014-01-22 体感识别装置及通过其控制鼠标键盘操作的人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201420038465.1U CN203950270U (zh) 2014-01-22 2014-01-22 体感识别装置及通过其控制鼠标键盘操作的人机交互系统

Publications (1)

Publication Number Publication Date
CN203950270U true CN203950270U (zh) 2014-11-19

Family

ID=51892297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201420038465.1U Expired - Fee Related CN203950270U (zh) 2014-01-22 2014-01-22 体感识别装置及通过其控制鼠标键盘操作的人机交互系统

Country Status (1)

Country Link
CN (1) CN203950270U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881122A (zh) * 2015-05-29 2015-09-02 深圳奥比中光科技有限公司 一种体感交互系统激活方法、体感交互方法及系统
WO2018006481A1 (zh) * 2016-07-04 2018-01-11 中兴通讯股份有限公司 一种移动终端的体感操作方法及装置
CN108334189A (zh) * 2017-09-26 2018-07-27 郑州升达经贸管理学院 一种基于摄像头实现人机交互的方法和装置
CN110115586A (zh) * 2019-05-13 2019-08-13 中山大学附属第一医院 一种实景自动追踪的康复训练体感记录仪和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881122A (zh) * 2015-05-29 2015-09-02 深圳奥比中光科技有限公司 一种体感交互系统激活方法、体感交互方法及系统
WO2018006481A1 (zh) * 2016-07-04 2018-01-11 中兴通讯股份有限公司 一种移动终端的体感操作方法及装置
CN107577334A (zh) * 2016-07-04 2018-01-12 中兴通讯股份有限公司 一种移动终端的体感操作方法及装置
CN108334189A (zh) * 2017-09-26 2018-07-27 郑州升达经贸管理学院 一种基于摄像头实现人机交互的方法和装置
CN110115586A (zh) * 2019-05-13 2019-08-13 中山大学附属第一医院 一种实景自动追踪的康复训练体感记录仪和方法

Similar Documents

Publication Publication Date Title
CN102693047B (zh) 在协同环境中显示数字信息和图像的方法
CN103019466B (zh) 基于红外探测的投影互动系统
CN203950270U (zh) 体感识别装置及通过其控制鼠标键盘操作的人机交互系统
CN103838378A (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
CN105361429A (zh) 基于多通道交互的智能学习平台及其交互方法
CN203012636U (zh) 一种基于激光投影定位的人机交互系统
CN102945091B (zh) 一种基于激光投影定位的人机交互方法与系统
CN106339135A (zh) 一种支持多人独立操作的红外电子白板a/b分屏方法
US20190050132A1 (en) Visual cue system
CN103617642B (zh) 一种数字书画方法及装置
CN109542219B (zh) 一种应用于智能教室的手势交互系统及方法
CN106781841A (zh) 一种ar教画装置及其教画系统
US11397478B1 (en) Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment
CN109492578A (zh) 一种基于深度摄像头的手势遥控方法及装置
CN104156187A (zh) 一种多屏显示设备
CN104793738A (zh) 基于Leap Motion的非接触式计算机操控方法
CN107589628A (zh) 一种基于手势识别的全息投影装置及其工作方法
CN106792057A (zh) 一种保护操作者视力的交互式电视系统及亮度控制方法
CN106775397A (zh) Pcb板和应用pcb板的多点触控方法
CN104598027A (zh) 一种基于用户行为分析的体感控制多媒体培训系统
CN102508561B (zh) 一种操作棒
CN117075726A (zh) 一种视觉手势与肌电传感混合交互的协同控制方法及系统
CN205283745U (zh) 立体交互显示装置
CN201869303U (zh) 一种带触控装置的电视机

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141119

Termination date: 20170122

CF01 Termination of patent right due to non-payment of annual fee