CN102360247A - 一种识别空间动作的手指鼠标 - Google Patents

一种识别空间动作的手指鼠标 Download PDF

Info

Publication number
CN102360247A
CN102360247A CN2011103002819A CN201110300281A CN102360247A CN 102360247 A CN102360247 A CN 102360247A CN 2011103002819 A CN2011103002819 A CN 2011103002819A CN 201110300281 A CN201110300281 A CN 201110300281A CN 102360247 A CN102360247 A CN 102360247A
Authority
CN
China
Prior art keywords
mouse
space
finger
image sensor
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103002819A
Other languages
English (en)
Inventor
刘辉
谢双
周志英
梁亮
朱宗铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University
Original Assignee
Changsha University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University filed Critical Changsha University
Priority to CN2011103002819A priority Critical patent/CN102360247A/zh
Publication of CN102360247A publication Critical patent/CN102360247A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种识别空间动作的手指鼠标实现方法，该手指鼠标包括影像传感器、单片机、红外光发射控制电路和USB传输连接线，利用影像传感器对三维空间手指动作红外成像，单片机完成基于平面的三维空间手指动作任意点空间位置的恢复算法，对空间实行多帧采样，分析出连续点的移动，利用三维空间距离计算得到二维空间点的移动，控制USB上传至PC机，PC机高速运算得出空间连续动作对应的鼠标移动和点击控制。本发明提供一种新型人机操控方式，不使用整个手掌来操作鼠标，只用一根手指就可以在空中灵活自如的操控电脑，适合于3D游戏、三维电视和电影的三维空间全方位控制。

Description

一种识别空间动作的手指鼠标
技术领域
本发明涉及一种手指鼠标，具体涉及一种识别空间动作的手指鼠标实现方法。
背景技术
鼠标的发明，改变人们使用电脑的方式。鼠标发展到现在，大致经历了机械鼠标、光机鼠标、光电鼠标、无线鼠标等几个阶段。在每个阶段中，鼠标的实用性和功能都有大幅度的提升。上述的鼠标都只具有二维平面移动控制功能，随着3D游戏、三维电视和电影的出现，操控方式也将发生改变，直接用手与电脑互动的视觉体验时代正在向我们走来，因此迫切地需要一种能三维空间全方位控制，识别空间动作的鼠标。识别空间动作的手指鼠标，目前国内未见使用，也没有看到相关文献报道。
发明内容
本发明所要解决的技术问题是：解决现有鼠标存在的上述问题，而提供一种不使用整个手掌来操作鼠标，只用一根手指就可以在空中灵活自如操控电脑，识别空间动作的手指鼠标。
本发明采用的技术方案是：这种识别空间动作的手指鼠标，包括影像传感器、单片机、红外光发射控制电路和USB传输连接线，利用COMS影像传感器对三维空间手指动作成像，单片机完成基于平面的三维空间手指动作任意点空间位置的恢复算法，同时对空间实行多帧采样，分析出连续点的移动，利用三维空间距离计算得到二维空间点的移动，控制USB上传至PC机，PC机高速运算得出空间连续动作对应的鼠标动作，最后基于VC对空间连续动作与鼠标动作的对应研究分析，构造出鼠标移动和点击控制。
上述技术方案中，所述的COMS影像传感器采用ET21X130D芯片，所述的单片机选用ET44M210单片机。
上述技术方案中，所述CMOS影像传感器ET21X130D是一款内含160×120的CMOS影像传感阵列、信号处理电路和8位微控制器的集成传感芯片；内部9.76K字节SRAM，视频编码器和I2C接口；具有集成度高、价格低、功耗低和体积小的优点；可广泛应用于各种低分辨率图像信号采集、移动目标侦查和字图辨认等应用系统中。ET21X130D中CMOS传感阵列感光后，每个感光单元中的CMOS晶体管会发生电荷变化，形成一个模拟电压。该模拟电压经过放大以后，由A/D转换模块转换成数字信号。芯片内置的微控制器按照外接引脚电平的选择，确定芯片的参数设置、输出方式、系统复位、图像信号处理、算法处理以及I2C通信协议处理等。
上述技术方案中，所述单片机ET44M210是ETOMS公司设计的一款8位、高速、RISC指令、低功耗、CMOS微控制器芯片，具有42个I/O、10位ADC、SPI、2路16位PWM、USB HUB、和2.4GHz无线HUB。ET44M210仿真模块自带仿真开发系统。可应用于各种嵌入式应用系统，尤其是带有USB接口或无线通信的应用。
上述技术方案中，所述的红外光发射控制电路控制四个红外二极管发射红外光，四个红外二极管呈边长为3cm左右的正方形分布，影像传感器安装在四个红外二极管围成的正方形两对角线的交叉点上，红外二极管发射的红外光照射到手指上面粘贴的反光纸，反光纸反射回来的红外光经过透镜在影像传感器上成像，当手指运动时，在影像传感器上的成像就有所变化，通过单片机控制采集，对比后把数据上传至PC，由PC判断为各种鼠标动作。
上述技术方案中，所述的红外光发射控制电路通过单片机采用PWM调制方式，控制红外二极管发射的红外光强度，保证在有效范围内，无论手指距离影像传感器远还是近，反射到影像传感器上的成像光斑大小基本一致。
本发明的有益效果是：采用影像传感器、单片机、红外光发射控制电路和USB传输连接线，利用影像传感器对三维空间手指动作红外成像，单片机完成基于平面的三维空间手指动作任意点空间位置的恢复算法，同时对空间实行多帧采样分析出连续点的移动，利用三维空间距离计算得到二维空间点的移动，控制USB上传至PC机，PC机高速运算得出空间连续动作对应的鼠标动作，提供了一种新型人机操控方式，不使用整个手掌来操作鼠标，只用一根手指就可以在空中灵活自如的操控电脑，适合于3D游戏、三维电视和电影的三维空间全方位控制。
下面结合附图对本发明的技术方案及工作过程作进一步说明。
附图说明
图1为本发明的总体结构框图；
图2为本发明的模拟光学成像示意图；
图3为本发明的红外光发射控制电路图；
图4为本发明的单片机最小系统电路图；
图5为本发明的COMS影像传感器应用电路图；
图6为本发明的主程序流程图；
图7为本发明的采集图像程序流程图；
图8为本发明的鼠标控制程序流程图。
具体实施方式
参见图1，整个系统由影像传感器、微控制器、红外光发射控制电路和USB传输连接线，利用COMS影像传感器对三维空间手指动作成像，ET44M210单片机对红外成像完成基于平面的三维空间手指动作任意点空间位置的恢复算法，同时对空间实行多帧采样分析出连续点的移动，利用三维空间距离计算得到二维空间点的移动。利用ET44M210单片机控制USB上传至PC机，PC机高速运算得出空间连续动作对应的鼠标动作，最后基于VC对空间连续动作与鼠标动作的对应研究分析，构造出鼠标移动和点击控制，可以控制鼠标在PC机整个屏幕中移动，实现鼠标左键单击、双击和鼠标右键单击等操作。
图2为本发明的模拟光学成像图，此图为实际空间中的平面俯视图。图中B是影像传感器的有效感光区，C是光源，因为光源为多个，而且排放成线性，所以在图中表示成一个区间，根据光学原理可以把多个光源映射为一个D光源。红外灯的有效照射角度为30°，得出虚拟光源D的照射范围A，实际在空间里应该为一个以D点为顶点的椎体。X1、X2、X3为空间中三维有效物体的移动，它们在像传感器中的成像为Y1、Y2、Y3。X1、X2为同一水平线上不同距离的物体，它们的投影在影像传感器中感光区间为Y2＞Y1，这些感光区间的中心点基本不变，因此得出，空间物体只有相对光源距离变化时在影像传感器上表示为感光区间大小的变化；X1、X3为同一距离上的不同位置的物体，它们的投影在影像传感器中的感光区间Y1＝Y3，但这些感光区间的中心点位置有偏差，因此得出，空间物体只有相对光源位置变化时在影像传感器上表示为感光区间中心位置的变化。可以想象，如果物体在同一平面上相对光源在X轴上移动，在影像传感器上表现为感光区间中心位置沿X方向变化；同理在Y轴上移动，在影像传感器上表现为感光区间中心位置沿Y方向变化，归纳得出对应的变化如表1所示，当为多项变化时，结论满足叠加原理。
表1感光区间中心位置变化表
参见图3，红外光发射控制电路采用大功率管8050驱动，Q1工作在开关状态，基极接单片机I/O口线，R40为限流电阻，R41是集电极偏置电阻，当LED口信号为1时，Q2基极为低电平，红外二极管D1、D2、D3、D4不导通；当LED口信号为0时，Q2基极为高电平，红外二极管D1、D2、D3、D4导通。四个红外二极管D1、D2、D3、D4呈边长为3cm左右的正方形分布，影像传感器安装在四个红外二极管围成的正方形两对角线的交叉点上，红外二极管发射的红外光照射到手指上面粘贴的反光纸，反光纸反射回来的红外光经过透镜在影像传感器上成像，当手指运动时，在影像传感器上的成像就有所变化，通过单片机控制采集，对比后把数据上传至PC，由PC判断为各种鼠标动作。
单片机采用PWM调制方式，控制红外二极管发射的红外光强度，保证在有效范围内，无论手指距离影像传感器远还是近，反射到影像传感器上的成像光斑大小基本一致。
参见图4，ET44M210最小系统包括晶体振荡电路、复位开关和电源部分。ET44系列微控制器是属于精简指令集的架构(RISC)，几乎所有的指令都只需要一个时脉周期，外部只要接6MHz的石钟晶体，内部则可倍频到速度48MHz，是执行速度相当快的微控制器。ET44系列微控制器其内部还整合了USB、16位模拟数字转换(Analog to Digital Converter)、串行外围控制接口(SPI)、脉波频宽调变(PWM)以及2.4GHz的无线控制功能。
参见图5，ET21X130D最小系统包括晶体振荡电路、电源和滤波部分。ET21X130D是一款内含160×120的CMOS影像传感阵列、信号处理电路和8位微控制器的集成传感芯片；内部9.76K字节SRAM，视频编码器和I2C接口；具有集成度高、价格低、功耗低和体积小的优点；ET21X130D中CMOS传感阵列感光后，每个感光单元中的CMOS晶体管会发生电荷变化，形成一个模拟电压。该模拟电压经过放大以后，由A/D转换模块转换成数字信号。芯片内置的微控制器按照外接引脚电平的选择，确定芯片的参数设置、输出方式、系统复位、图像信号处理、算法处理以及I2C通信协议处理等工作。
图6是主程序流程图，在程序中先进行传感器的设置，比如增益、平滑方式、曝光像素、有效像素等。设置好后ET21X130D就能正常工作，此时ET44M210只需等待ET21X130D传来的帧信号，随后进行图像采集。当采集成功后ET44M210通过SPI传送给通讯芯片，通讯芯片进行USB上传处理，这样一帧图像采集、判断、计算和输出就完成了。
图7是采集图像程序流程图，程序中引入监测机制，因为ET21X130D配置后能自行工作，并且每一点数据输出的时间已经确定，所以ET44M210采集的时间由ET21X130D决定。监测机制能防止发生下列错误：当ET21X130D出现故障或者配置出错时ET44M210将陷入无限循环，也就是系统出现假死状态，但监测机制检测到时将自动跳出采集，复位ET21X130D；当ET44M210采集某点时间溢出时，监测机制强制使程序采集下一点，而不会因为时间溢出使以后所有点错位。
图8是鼠标控制程序流程图，鼠标控制程序在每1ms接收一次USB传输过来的数据，把它进行译码，计算后分析数据中包含的点数，按表2所示的数据分析表，算出对应到屏幕上鼠标的位置，最后响应鼠标函数。
表2数据分析表
  有效点数   |X|＞0   |X|＜0   |Y|＞0   |Y|＜0   |X|轨迹＝1   |X|轨迹＝2
  1   鼠标右移   鼠标左移   鼠标下移   鼠标上移   -   -
  1   -   -   -   -   单击   双击
表中|X|、|Y|为计算值与当前鼠标所在值的差值，定义屏幕的左上角为原点。|X|轨迹是在出现小幅移动时才会有，表示一点所运动的轨迹。
实用效果
将本发明设计的鼠标通过USB连接线连按PC机，打开调试软件，在手指上面粘贴一片指甲大小的反光纸，将手指置于鼠标影像传感器有效感光区前方，PC机屏幕上出现一个对应的点，当手指移动时对应点也在移动，实现了三维空间点的空间坐标的构造和三维空间点移动时对应到二维空间点的移动，手指动作对应的鼠标操作如表3所示。能实现鼠标左右单击、移动、左键双击等操作；能区分幅度小、速度较快的动作，精确度高、误判率小。
表3手指动作对应的鼠标操作
Figure BSA00000586478000051

Claims (3)

1.一种识别空间动作的手指鼠标，其特征在于：包括影像传感器、单片机、红外光发射控制电路和USB传输连接线，利用COMS影像传感器对三维空间手指动作成像，单片机完成基于平面的三维空间手指动作任意点空间位置的恢复算法，同时对空间实行多帧采样，分析出连续点的移动，利用三维空间距离计算得到二维空间点的移动，控制USB上传至PC机，PC机高速运算得出空间连续动作对应的鼠标动作，最后基于VC对空间连续动作与鼠标动作的对应研究分析，构造出鼠标移动和点击控制。
2.根据权利要求1所述的一种识别空间动作的手指鼠标，其特征在于：所述的COMS影像传感器采用ET21X130D芯片，所述的单片机选用ET44M210单片机。
3.根据权利要求1所述的一种识别空间动作的手指鼠标，其特征在于：所述的红外光发射控制电路控制四个红外二极管发射红外光，四个红外二极管呈边长为3cm左右的正方形分布，影像传感器安装在四个红外二极管围成的正方形两对角线的交叉点上，红外二极管发射的红外光照射到手指上面粘贴的反光纸，反光纸反射回来的红外光经过透镜在影像传感器上成像，当手指运动时，在影像传感器上的成像就有所变化，通过单片机控制采集，对比后把数据上传至PC，由PC判断为各种鼠标动作。
CN2011103002819A 2011-10-09 2011-10-09 一种识别空间动作的手指鼠标 Pending CN102360247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103002819A CN102360247A (zh) 2011-10-09 2011-10-09 一种识别空间动作的手指鼠标

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103002819A CN102360247A (zh) 2011-10-09 2011-10-09 一种识别空间动作的手指鼠标

Publications (1)

Publication Number Publication Date
CN102360247A true CN102360247A (zh) 2012-02-22

Family

ID=45585582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103002819A Pending CN102360247A (zh) 2011-10-09 2011-10-09 一种识别空间动作的手指鼠标

Country Status (1)

Country Link
CN (1) CN102360247A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662471A (zh) * 2012-04-09 2012-09-12 沈阳航空航天大学 计算机视觉鼠标
CN102662462A (zh) * 2012-03-12 2012-09-12 中兴通讯股份有限公司 电子装置、手势识别方法及手势应用方法
CN103049087A (zh) * 2012-12-19 2013-04-17 苏州贝腾特电子科技有限公司 虚拟鼠标点击系统
CN103064517A (zh) * 2012-12-19 2013-04-24 苏州贝腾特电子科技有限公司 一种虚拟鼠标点击系统
CN103294224A (zh) * 2012-03-02 2013-09-11 联想(北京)有限公司 控制方法和电子设备
CN103677247A (zh) * 2012-12-19 2014-03-26 苏州贝腾特电子科技有限公司 虚拟鼠标单击的方法
CN103870802A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 使用指谷操作车辆内的用户界面的系统和方法
CN105892673A (zh) * 2016-04-26 2016-08-24 四川川大智胜软件股份有限公司 影院环境下观众与 3d 立体节目内容实时互动的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4911004A (en) * 1988-08-15 1990-03-27 Liberty Technology Center, Inc. Devices and methods for determining axial loads
CN1477478A (zh) * 2002-08-20 2004-02-25 昆盈企业股份有限公司 指动式指针输入方法及其装置
CN101145091A (zh) * 2007-11-01 2008-03-19 复旦大学 基于红外线摄像的触摸屏及其定位检测方法
CN202257480U (zh) * 2011-10-09 2012-05-30 长沙学院 一种识别空间动作的手指鼠标

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4911004A (en) * 1988-08-15 1990-03-27 Liberty Technology Center, Inc. Devices and methods for determining axial loads
CN1477478A (zh) * 2002-08-20 2004-02-25 昆盈企业股份有限公司 指动式指针输入方法及其装置
CN101145091A (zh) * 2007-11-01 2008-03-19 复旦大学 基于红外线摄像的触摸屏及其定位检测方法
CN202257480U (zh) * 2011-10-09 2012-05-30 长沙学院 一种识别空间动作的手指鼠标

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912146B (zh) * 2012-03-02 2019-02-05 联想(北京)有限公司 控制方法和电子设备
CN105912146A (zh) * 2012-03-02 2016-08-31 联想(北京)有限公司 控制方法和电子设备
CN103294224A (zh) * 2012-03-02 2013-09-11 联想(北京)有限公司 控制方法和电子设备
CN102662462A (zh) * 2012-03-12 2012-09-12 中兴通讯股份有限公司 电子装置、手势识别方法及手势应用方法
CN102662462B (zh) * 2012-03-12 2016-03-30 中兴通讯股份有限公司 电子装置、手势识别方法及手势应用方法
CN102662471B (zh) * 2012-04-09 2015-02-18 沈阳航空航天大学 计算机视觉鼠标
CN102662471A (zh) * 2012-04-09 2012-09-12 沈阳航空航天大学 计算机视觉鼠标
CN103870802A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 使用指谷操作车辆内的用户界面的系统和方法
CN103870802B (zh) * 2012-12-18 2018-09-14 现代自动车株式会社 使用指谷操作车辆内的用户界面的系统和方法
CN103064517B (zh) * 2012-12-19 2016-03-23 曹新民 一种虚拟鼠标点击系统
CN103677247A (zh) * 2012-12-19 2014-03-26 苏州贝腾特电子科技有限公司 虚拟鼠标单击的方法
CN103064517A (zh) * 2012-12-19 2013-04-24 苏州贝腾特电子科技有限公司 一种虚拟鼠标点击系统
CN103049087A (zh) * 2012-12-19 2013-04-17 苏州贝腾特电子科技有限公司 虚拟鼠标点击系统
CN105892673A (zh) * 2016-04-26 2016-08-24 四川川大智胜软件股份有限公司 影院环境下观众与 3d 立体节目内容实时互动的方法

Similar Documents

Publication Publication Date Title
CN102360247A (zh) 一种识别空间动作的手指鼠标
CN102622108B (zh) 一种交互式投影系统及其实现方法
EP3739417A1 (en) Navigation method, navigation system, mobile control system, and mobile robot
US8773512B1 (en) Portable remote control device enabling three-dimensional user interaction with at least one appliance
CN102799318A (zh) 一种基于双目立体视觉的人机交互方法及系统
CN201845345U (zh) 一种基于主动视觉的面部表情识别数据采集系统
CN102216890A (zh) 带有图像传感器和信号处理器的触摸输入
CN101794171A (zh) 基于红外光运动捕捉的无线感应交互系统
CN104835163A (zh) 一种针对运动目标检测的嵌入式实时高速双目视觉系统
CN104820418A (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN108664028A (zh) 便于二次开发的全向视觉智能小车
CN105183163A (zh) 一种基于动作捕捉的屏幕、投影非接触式交互装置
CN202383645U (zh) 一种智能电子白板系统
KR101169583B1 (ko) 가상마우스 구동방법
CN202257480U (zh) 一种识别空间动作的手指鼠标
CN103176606A (zh) 基于双目视觉识别的平面交互系统及方法
CN203386146U (zh) 基于红外视频定位的人机交互装置
CN101071350B (zh) 一种通过识别动态轨迹操作光标、视窗的装置
CN103631470B (zh) 基于红外反射式光电探测点阵的隔空输入系统与输入方法
CN202584030U (zh) 一种交互式投影系统及射击游戏设备
CN208537982U (zh) 一种基于全向视觉的全向移动智能小车
CN102495698A (zh) 一种智能电子白板系统及其光斑位置提取方法
CN203001878U (zh) 一种用于人体交互的运动追踪装置
CN1674042A (zh) 基于图像识别的触摸屏信息输入定位方法
CN110216689A (zh) 一种教育用可编程的人工智能机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120222