CN106933385A - 一种基于三维超声波定位的低功耗空鼠笔的实现方法 - Google Patents

一种基于三维超声波定位的低功耗空鼠笔的实现方法 Download PDF

Info

Publication number
CN106933385A
CN106933385A CN201710139996.8A CN201710139996A CN106933385A CN 106933385 A CN106933385 A CN 106933385A CN 201710139996 A CN201710139996 A CN 201710139996A CN 106933385 A CN106933385 A CN 106933385A
Authority
CN
China
Prior art keywords
sky mouse
mouse pen
sky
pen
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710139996.8A
Other languages
English (en)
Other versions
CN106933385B (zh
Inventor
燕学智
温艳鑫
孙晓颖
陈建
温泉
刘国红
于海洋
王海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710139996.8A priority Critical patent/CN106933385B/zh
Publication of CN106933385A publication Critical patent/CN106933385A/zh
Application granted granted Critical
Publication of CN106933385B publication Critical patent/CN106933385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种基于三维超声波定位的低功耗空鼠笔的实现方法,属于三维人机交互技术领域。触发按键,空鼠笔发射超声波及红外信号;电子白板接收空鼠笔发射的超声波及红外信号,并采用超声波三维高精度无线定位技术获得空鼠笔的位置,一系列的空鼠笔位置形成空鼠笔的运动轨迹;经坐标变换将空鼠笔的运动轨迹转化为平面轨迹,所述电子白板将所述平面轨迹转换为屏幕上的光标轨迹,以依靠所述空鼠笔的运动实现对电子白板屏幕上的光标进行控制;触发不同按键,以不同的红外编码方式发送按键信息,实现空鼠笔的不同按键功能。本发明具有操控范围大、符合人机交互操作习惯、功耗低等优点,适合于书空操控等非精确操控场合。

Description

一种基于三维超声波定位的低功耗空鼠笔的实现方法
技术领域
本发明涉及一种空鼠笔的实现方法,具体涉及一种基于三维超声波定位的低功耗空鼠笔的实现方法,可实现空鼠笔空间轨迹到平面轨迹的映射,符合人机交互操作习惯,可应用于三维笔式人机交互技术领域。
背景技术
鼠标是一种计算机的周边输入设备,传统的鼠标可分为机械式鼠标、光电鼠标和激光鼠标。机械式鼠标一般包括滚球、辊柱和光栅信号传感器,当拖动鼠标时,带动滚球转动,滚球又带动辊柱转动,装在辊柱端部的光栅信号传感器产生的光电脉冲信号反映出鼠标器在垂直和水平方向的位移变化,再通过电脑程序的处理和转换来控制屏幕上的光标移动。光电鼠标是通过检测鼠标器的位移,将位移信号转换为电脉冲信号,再通过程序的处理和转换来控制屏幕上的光标移动。但是这三类鼠标都必须放在平面上操作,而且应用平面也有一定的限制,例如,机械式鼠标需要在有一定摩擦力的平面上使用,而光电鼠标不能在透光率小的平面上使用,比如玻璃平面就不行。随着人机交互技术的发展,大屏幕智能终端在生活和工作中日益普及,其应用场景也变得多样化。如在家庭影院、多媒体教育、媒体会议等场合,人们可能需要以躺着、站着或移动等方式对媒体终端交互,在这种场景下,传统的二维鼠标没有桌面的辅助,会使人机交互变得非常不便,人们迫切希望一种能够在三维空间内对媒体终端进行交互的方式来适应这些新型交互场合,空中鼠标应运而生。
空中鼠标采用的技术大致有红外线技术、光电传感技术、加速度传感器和陀螺仪等。采用红外线技术的空中鼠标,使用有效距离只有1.5m,且需要点对点通信,方向性很强;采用光电传感技术的空中鼠标,使用有效距离更广,没有方向限制,但是不能脱离平面而工作;采用加速度传感器和陀螺仪的空中鼠标难以准确定位,而且操作不直观,不适用于电子白板。
目前已有一些关于空中鼠标的介绍。
中国专利“空中鼠标、空中鼠标控制系统及实现控制的方法”(申请号201110299730.2)提供了一种空中鼠标和含有这种鼠标的控制系统,利用红外摄像定位模块实现对空中鼠标的定位,并基于红外或无线发射将状态信息发送至主机;中国专利“简易空中鼠标的实现方法、视频终端及系统”(申请号201110444085.9)提供了一种简易空中鼠标的实现方法、视频终端及系统,通过摄像装置获取空中鼠标相对初始位置的偏转角度和方向,并以此偏转角度和方向及预设的比例参数确定视频终端上的光标位置;中国专利“一种应用于互交式电子白板的空中鼠标”(申请号201610229694.5)公开了一种多媒体教学设备中应用于互交式电子白板的空中鼠标,利用摄像器检测鼠标坐标,利用无线信号接收机接收信号,并与相应的软件结合实现鼠标的功能。但是此类方法需要特定的摄像装置对空中鼠标进行定位,成本较高,且受环境干扰严重,不适用于三维大空间人机交互。
中国专利“空中鼠标及控制鼠标指针移动的方法与装置”(申请号201110250670.5)提供了一种空中鼠标及控制鼠标指针移动的方法与装置,利用重力加速度传感器确定空中鼠标的空间坐标,将所确定的空间坐标或其变化量相应转换为鼠标指针的坐标或其变化量,以控制鼠标指针的移动;中国专利“空中鼠标系统”(申请号201120259995.5)提供了一种空中鼠标系统,利用重力加速度传感器、陀螺仪、地磁传感器等实现空中鼠标的定位,通过无线接口向计算机传送信息;中国专利“一种空中鼠标遥控器及其控制方法”(申请号201210138313.4)提供了一种空中鼠标遥控器及其控制方法,通过陀螺仪、加速度传感器产生鼠标的控制信息,并由无线传输模块发送至控制设备;中国专利“获取空中鼠标位移的方法、空中鼠标及空中鼠标控制系统”(申请号201210248683.3)提供了一种获取空中鼠标位移的方法,通过陀螺仪和加速度计分别获得空中鼠标当前的角速率和加速度,并分别转换为空中鼠标控制面转过旋转轴的角度和控制面与水平面之间的偏移角度,从而得到空中鼠标的位移;中国专利“一种空中鼠标遥控器”(申请号201210589495.7)公开了一种空中鼠标遥控器,通过加速度传感器采集遥控器的运动情况,然后计算出水平方向上、垂直方向的左右、上下转动位移,然后通过转换得到光标偏移,通过无线传输方式不断地发送给智能终端设备,实现对智能终端设备的控制;中国专利“空中鼠标”(申请号201220113628.9)通过陀螺仪的运动控制光标运动及滚轮控制;中国专利“一种手指式空中鼠标”(申请号201310312502.3)公开了一种手指式空中鼠标,通过惯性传感器进行动作感知,并通过对食指的动作识别区分光标移动、左单击、双击、右单击、滚动、拖动等动作,通过无线发射模块将结果发送给PC端的无线接收模块,从而实现鼠标功能;中国专利“触控式空中鼠标的控制方法”(申请号201310318782.9)通过感测陀螺仪的空间坐标信号及触摸感应单元识别的鼠标左键手势,实时输出显示器件显示的鼠标坐标信号及触控式空中鼠标左键触发信号;中国专利“遥控器空中鼠标操控系统及其实现方法”(申请号201310376317.0)公开了一种遥控器空中鼠标操控系统及其实现方法,通过陀螺仪和加速度传感器实现对空中鼠标的定位,控制射频发送模块向外发射射频信号,通过无线通信连接主机的射频接收模块;中国专利“空中鼠标系统及其操控方法”(申请号201410502213.4)公开了一种空中鼠标系统及其操控方法,利用加速度计及陀螺仪对空中鼠标进行定位。但是此类方法需要利用惯性器件(如陀螺仪传感器、加速度传感器等)实现对空中鼠标的跟踪,然而陀螺仪传感器技术及加速度传感器技术都存在运动物体姿态与运动状态很难完全体现的不足,因此不适用于三维大空间人机交互。
中国专利“带空中鼠标的手机”(申请号201020583117.4)提供了一种带空中鼠标的手机,通过手机上的红外接收感应器与红外发射管形成红外信号的接收和发射过程,实现空中鼠标对光标的定位,但是红外光易受阳光、烛光或灯光的干扰,会对最终控制的屏幕光标有严重影响。中国专利“一种控制空中鼠标的方法,空中鼠标以及机顶盒”(申请号201210479353.5)提供了一种控制空中鼠标的方法,利用接收机顶盒发送的控制模式和空中鼠标在各方向的角速度,确定空中鼠标在各方向的速度,计算空中鼠标在各方向的位移,并将位移发送给机顶盒,以控制屏幕光标进行移动,但是该空中鼠标需要额外添加机顶盒,成本较高。中国专利“一种基于磁定位技术的空中鼠标及方法”(申请号201310473339.9)提供了一种基于磁定位技术的空中鼠标及方法,在电感线圈产生的磁场或者永磁铁产生的磁场中可以实现精准定位,但是该技术对环境要求较高,不适用于人机交互。中国专利“一种低功耗的空中鼠标”(申请号201410213109.3)公开了一种低功耗的空中鼠标,将空中鼠标的空间姿态数据转换为相应的光标位移信息,并通过无线发射单元发射出去,设置阈值控制电源在工作状态与休眠状态之间转换,以此来降低功耗,但是该方法涉及无线发射,成本较高。中国专利“三维空中鼠标以及与其一起使用的显示器”(申请号201510542367.0)描述了一种空中鼠标系统,通过超声发射机发射超声信号,超声接收机接收超声信号,基于超声发射机发射的超声信号到达超声接收机的时间差来计算空中鼠标相对于超声发射机的位置,并且无线地将空中鼠标的运动轨迹发射到主机,但是该方法要利用超声信号的反射时间差来实现定位,并需要无线发射,定位较为复杂,功耗高。
中国专利“一种三维大空间多通道笔式交互系统”(申请号201611157044.0)提出了一种基于超声波无线定位技术的多通道三维笔式交互系统及方法,可实现智能笔的三维实时定位、姿态获取等信号提取,本发明参考该系统提出了一种基于三维超声波定位的低功耗空鼠笔的实现方法,由于本发明的实际功能类似于空中鼠标,外形与笔形相似,故取名空鼠笔。
发明内容
本发明提供一种基于三维超声波定位的低功耗空鼠笔的实现方法,通过坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹,以解决空鼠操控时由三维运动轨迹造成的投影轨迹重叠的问题,可实现任意位置及角度下的空鼠操作,同时引入不同的红外编码方式发送按键信息,大大降低了空鼠笔的功耗。
本发明采用的技术方案是:系统包括电子白板和空鼠笔,电子白板集成超声三维定位模块,空鼠笔集成PVDF压电薄膜、红外发射管、微处理器及按键传感器件,具体的空鼠笔实现方法包括如下步骤:
1)触发按键,空鼠笔发射超声波及红外信号;
2)电子白板接收空鼠笔发射的超声波信号及红外信号,采用超声波三维高精度无线定位技术获得空鼠笔的位置坐标A=(X,Y,Z),一系列的空鼠笔位置形成空鼠笔的三维空间运动轨迹,所述空鼠笔的位置坐标A=(X,Y,Z)是以电子白板的物理坐标系XYZ为参考;
3)经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹,电子白板将平面轨迹转换为屏幕上的光标轨迹,以依靠空鼠笔的运动实现对电子白板屏幕上的光标进行控制;
4)触发不同按键,以不同的红外编码方式发射红外信号,对应于不同的按键操作,实现空鼠笔的不同按键功能。
本发明所述步骤2)中所述电子白板的物理坐标系XYZ是以电子白板所在平面为XY平面,垂直于电子白板指向用户的方向为Z轴方向。
本发明所述步骤2)中空鼠笔的位置坐标A=(X,Y,Z)的计算方法如下:
(X-XB)2+(Y-YB)2+(Z-ZB)2=L1 2
(X-XC)2+(Y-YC)2+(Z-ZC)2=L2 2
(X-XD)2+(Y-YD)2+(Z-ZD)2=L3 2
Z≥0
其中,B=(XB,YB,ZB)、C=(XC,YC,ZC)、D=(XD,YD,ZD)分别为电子白板上三个超声波传感器所在的位置坐标,L1、L2、L3分别为空鼠笔到三个超声波传感器的距离。
本发明所述步骤3)中经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹的步骤如下:
以电子白板的物理坐标系XYZ为参考,获取前后两个采样时刻下空鼠笔的位置坐标A1=(X1,Y1,Z1)和A2=(X2,Y2,Z2),将空鼠笔的三维运动轨迹转化为二维的平面轨迹,计算两个采样时刻间空鼠笔在虚拟平面坐标系xy中的位移变化量:
△y=△Y
其中,△X=X2-X1、△Y=Y2-Y1、△Z=Z2-Z1分别表示两个采样时刻间空鼠笔在XYZ坐标系中三个坐标轴上的变化量,所述虚拟平面坐标系xy是以两个采样时刻间空鼠笔运动轨迹在XZ平面上的投影向量的方向为虚拟平面坐标系的x轴正方向,电子白板物理坐标系XYZ的Y轴正方向为虚拟平面坐标系的y轴正方向。
本发明所述步骤3)中所述将平面轨迹转换为屏幕上的光标轨迹由空鼠笔的移动方向以及空鼠笔的移动速度与屏幕光标的移动速度的转换函数决定,所述空鼠笔的移动速度与屏幕光标的移动速度的转换关系为:
其中,v1是空鼠笔的移动速度,v2是屏幕光标的移动速度,a、b为经验值,可根据实际系统中空鼠笔的最大速度与屏幕光标的最大速度及空鼠笔的最小速度与屏幕光标的最小速度这两对数值代入上式求得,进而可以得到鼠标的移动速度与屏幕光标的移动速度的转换关系,其中,a=0.04,b=0.06,K满足一个半三角的隶属度函数,其表达式为:
K=0;|v1|≤0.12
K=1;|v1|≥12。
本发明所述步骤4)中所述不同按键是空鼠笔的上、下按键及按键之间的不同组合形式,包括单按上键、单按下键、同时按上下键、连按两次上键、长按上键。
本发明所述步骤4)中所述不同的编码方式是空鼠笔的红外发射管在不同按键组合情况下发射不同波形的红外信号,以对应不同的按键操作。
本发明具有以下的优点:
1)空鼠笔系统可以实现笔与电子白板的远距离非接触控制,以更加自然、流畅的方式进行空中鼠标操作;
2)通过坐标变换空鼠笔在不同位置处的任一相同操作均可实现相同效果的控制,解决了空鼠操控时由三维运动轨迹造成的投影轨迹重叠的问题,更加符合人机交互习惯;
3)采用不同的红外编码方式实现不同的按键功能,大大降低了空鼠笔的功耗。
附图说明
图1是发明电子白板组成框图;
图2是发明空鼠笔结构示意图;
图3是发明获得空鼠笔三维轨迹的方法框图;
图4是发明超声定位方法原理图;
图5是发明空鼠笔坐标变换原理图;
图6是发明空鼠笔在虚拟平面坐标系上的位移变化原理图;
图7是发明空鼠笔的移动速度与屏幕光标的移动速度的转换关系示意图;
图8是发明K的隶属度函数示意图;
图9是发明同时按空鼠笔上下键的红外信号编码方式示意图;
图10是发明按空鼠笔上键的红外信号编码方式示意图;
图11是发明按空鼠笔下键的红外信号编码方式示意图;
图12是发明连按空鼠笔上键两次的红外信号编码方式示意图;
图13是发明长按空鼠笔上键的红外信号编码方式示意图。
具体实施方式
系统包括电子白板和空鼠笔,电子白板集成超声三维定位模块,空鼠笔集成PVDF压电薄膜、红外发射管、微处理器及按键传感器件,具体的空鼠笔实现方法包括如下步骤:
1)触发按键,空鼠笔发射超声波及红外信号;
2)电子白板接收空鼠笔发射的超声波信号及红外信号,采用超声波三维高精度无线定位技术获得空鼠笔的位置坐标A=(X,Y,Z),一系列的空鼠笔位置形成空鼠笔的三维空间运动轨迹,所述空鼠笔的位置坐标A=(X,Y,Z)是以电子白板的物理坐标系XYZ为参考;
3)经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹,电子白板将平面轨迹转换为屏幕上的光标轨迹,以依靠空鼠笔的运动实现对电子白板屏幕上的光标进行控制;
4)触发不同按键,以不同的红外编码方式发射红外信号,对应于不同的按键操作,实现空鼠笔的不同按键功能。
本发明所述步骤2)中所述电子白板的物理坐标系XYZ是以电子白板所在平面为XY平面,垂直于电子白板指向用户的方向为Z轴方向。
本发明所述步骤2)中空鼠笔的位置坐标A=(X,Y,Z)的计算方法如下:
(X-XB)2+(Y-YB)2+(Z-ZB)2=L1 2
(X-XC)2+(Y-YC)2+(Z-ZC)2=L2 2
(X-XD)2+(Y-YD)2+(Z-ZD)2=L3 2
Z≥0
其中,B=(XB,YB,ZB)、C=(XC,YC,ZC)、D=(XD,YD,ZD)分别为电子白板上三个超声波传感器所在的位置坐标,L1、L2、L3分别为空鼠笔到三个超声波传感器的距离。
本发明所述步骤3)中经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹的步骤如下:
以电子白板的物理坐标系XYZ为参考,获取前后两个采样时刻下空鼠笔的位置坐标A1=(X1,Y1,Z1)和A2=(X2,Y2,Z2),将空鼠笔的三维运动轨迹转化为二维的平面轨迹,计算两个采样时刻间空鼠笔在虚拟平面坐标系xy中的位移变化量:
△y=△Y
其中,△X=X2-X1、△Y=Y2-Y1、△Z=Z2-Z1分别表示两个采样时刻间空鼠笔在XYZ坐标系中三个坐标轴上的变化量,所述虚拟平面坐标系xy是以两个采样时刻间空鼠笔运动轨迹在XZ平面上的投影向量的方向为虚拟平面坐标系的x轴正方向,电子白板物理坐标系XYZ的Y轴正方向为虚拟平面坐标系的y轴正方向。
本发明所述步骤3)中所述将平面轨迹转换为屏幕上的光标轨迹由空鼠笔的移动方向以及空鼠笔的移动速度与屏幕光标的移动速度的转换函数决定,所述空鼠笔的移动速度与屏幕光标的移动速度的转换关系为:
其中,v1是空鼠笔的移动速度,v2是屏幕光标的移动速度,a、b为经验值,可根据实际系统中空鼠笔的最大速度与屏幕光标的最大速度及空鼠笔的最小速度与屏幕光标的最小速度这两对数值代入上式求得,进而可以得到鼠标的移动速度与屏幕光标的移动速度的转换关系,其中,a=0.04,b=0.06,K满足一个半三角的隶属度函数,其表达式为:
K=0;|v1|≤0.12
K=1;|v1|≥12。
本发明所述步骤4)中所述不同按键是空鼠笔的上、下按键及按键之间的不同组合形式,包括单按上键、单按下键、同时按上下键、连按两次上键、长按上键。
本发明所述步骤4)中所述不同的编码方式是空鼠笔的红外发射管在不同按键组合情况下发射不同波形的红外信号,以对应不同的按键操作。
采用超声波三维高精度无线定位技术获得空鼠笔的位置坐标A=(X,Y,Z)的方法如下:
超声三维定位模块采用三个超声波传感器和两个红外传感器构成无线定位阵列,被固定安装在电子白板周围。电子白板接收空鼠笔发射的超声波信号及红外信号,红外信号为超声波接收器提供时间基准,通过超声信号到达超声接收机的时间来计算空鼠笔相对于电子白板的位置。
空中鼠标与传统鼠标最大的不同在于,传统鼠标的运动轨迹可以直接作为识别器的输入,而空中鼠标的运动轨迹是一条空间曲线,需要先投影成平面轨迹再作识别,如果投影平面选取不当,则得到的轨迹可能跟书写者的意图差距很大。考虑书写者使用空鼠笔操控电子白板上光标的意图,我们将空鼠笔的三维运动轨迹转化为二维的平面轨迹,具体的实现方法是保持空鼠笔的运动轨迹在Y轴上的变化量不变,即空鼠笔在Y轴上的变化量等同于空鼠笔在虚拟平面坐标系xy中y轴上的变化量;然后将空鼠笔的运动轨迹在XZ平面上的投影量映射成空鼠笔在虚拟平面坐标系xy中x轴上的变化量,使空鼠笔的三维空间运动轨迹转化为平面轨迹。
电子白板将平面轨迹转换为屏幕上的光标轨迹,以依靠空鼠笔的运动实现对电子白板屏幕上的光标进行控制时,空鼠笔的移动速度v1(单位:米/秒)与屏幕上光标的移动速度v2(单位:像素/秒)之间存在一个转换关系,此转换关系可保证鼠标的移动速度与屏幕光标的移动速度在保持同比变化的同时控制速度的变化保持在一定的范围内,保证用户的体验感。
以不同的红外编码方式选择按键方式的具体方法如下:基于传统鼠标的单击左键、右键,双击左键和长按左键等按键操作,对应于空鼠笔的不同按键操作时,设置红外信号以不同的波形发射,当红外接收机接收到不同编码方式的红外信号时,电子白板将响应对应的操作命令。
为了使本技术领域的人员更好的理解本发明,下面结合附图和实施方式对本发明作进一步的详细说明。
1、图1和图2为本发明应用的三维大空间人机交互系统的组成示意图,包括电子白板100和空鼠笔200两部分,电子白板100主要由白板101和超声三维定位模块102组成,超声三维定位模块102包括3个不在一条直线上的超声传感器1021构成的三维超声定位阵列及2个红外传感器1022。空鼠笔200主要包括笔尖201、PVDF超声薄膜202、红外发射管203、按键204和微处理器205等。具体的空鼠笔三维轨迹的获得方法可参考图3(300),触发空鼠笔的按键204时,PVDF超声薄膜202及红外发射管203分别发射超声信号及红外信号,通过按键204和笔尖201在三维空间内无需接触板面即可触发超声波和红外信号,以红外信号作为测距同步信号,通过三维超声定位技术对空鼠笔进行三维实时定位301,进而判断是否获得空鼠笔的位置坐标A=(X,Y,Z)302,若没有获得则重复上述过程,若已获得位置坐标A=(X,Y,Z),则进行超声三维笔迹跟踪303,获得空鼠笔的三维运动轨迹304。所述空鼠笔的位置坐标A=(X,Y,Z)是以电子白板的物理坐标系XYZ为参考,其中X、Y、Z分别为空鼠笔在三维坐标系XYZ中X轴、Y轴、Z轴方向的坐标。
2、首先参照图4,图4是超声定位方法原理图400。触发空鼠笔的按键204时,PVDF超声薄膜202及红外发射管203分别发射超声信号及红外信号,红外信号的传播速度远大于超声信号,可以为超声信号提供时间基准,且被发射到不同位置的红外信号的时间差相对于被发射到不同位置的超声波信号的时间差是可以忽略的,可以假定由空鼠笔发射的红外信号同时到达不同的红外传感器1022。具体的空鼠笔的位置坐标A=(X,Y,Z)401的计算方法如下:
计算空鼠笔的三维坐标A=(X,Y,Z)401,需要用到如下参数:三路超声信号各自与红外信号到达电子白板的时间差τB、τC、τD;超声信号的传播速度v;三个超声传感器的物理坐标B(XB,YB,ZB)402、C(XC,YC,ZC)403、D(XD,YD,ZD)404;空鼠笔到三个超声传感器的距离L1(405)、L2(406)、L3(407)。空鼠笔的位置坐标A=(X,Y,Z)(401)的计算步骤如下:
1)计算空鼠笔到三个超声传感器的距离:
L1=v·τB
L2=v·τC
L3=v·τD
2)计算空鼠笔的三维坐标A=(X,Y,Z):
(X-XB)2+(Y-YB)2+(Z-ZB)2=L1 2
(X-XC)2+(Y-YC)2+(Z-ZC)2=L2 2
(X-XD)2+(Y-YD)2+(Z-ZD)2=L3 2
Z≥0
3、空中鼠标与传统鼠标最大的不同在于,传统鼠标的运动轨迹可以直接作为识别器的输入,而空中鼠标的运动轨迹是一条空间曲线,需要先投影成平面轨迹再作识别,如果投影平面选取不当,则得到的轨迹可能跟书写者的意图差距很大,参考传统鼠标的控制模式及书写者的书空习惯可以看出,当保持空鼠笔的运动轨迹在Y轴上的变化量不变,即空鼠笔在Y轴上的变化量等同于空鼠笔在虚拟平面坐标系xy中y轴上的变化量,然后将空鼠笔的运动轨迹在XZ平面上的投影量映射成空鼠笔在虚拟平面坐标系xy中x轴上的变化量,空鼠笔的操控模式与传统鼠标大致相同。
参照图5的坐标变换原理图500,当以电子白板100的物理坐标系XYZ为参考,空鼠笔从位置A1=(X1,Y1,Z1)[501]移到位置A2=(X2,Y2,Z2)(502)时,相对于电子白板,空鼠笔的运动轨迹是三维的,空鼠笔在XYZ坐标系中三个坐标轴上的变化量分别为△X=X2-X1(506)、△Y=Y2-Y1(503)、△Z=Z2-Z1(505),考虑用户的操作意图及光标的操控效果,空鼠笔的操作结果应是控制电子白板的光标实现同向且同比例的位移变换。结合图6空鼠笔在虚拟平面坐标系上的位移变化原理图(600),保持空鼠笔的运动轨迹在Y轴上的变化量△Y(503)不变,将空鼠笔的运动轨迹在XZ平面上的投影量(504)映射成空鼠笔在虚拟平面坐标系xy中x轴上的变化量△x(5072),则空鼠笔在虚拟平面坐标系上的变化量分别为△y=△Y(5071)。
电子白板100将二维平面轨迹的坐标变化转换为屏幕上的光标轨迹508,从而实现依靠空鼠笔的运动对电子白板屏幕上的光标进行控制,在此过程中,空鼠笔的移动速度v1(单位:米/秒)与屏幕上光标的移动速度v2(单位:像素/秒)之间存在一个转换关系,考虑电子白板的尺寸及用户的操作习惯,我们根据系统实际情况给出一个空鼠笔的移动速度与屏幕光标的移动速度的转换函数,具体可参考图7。系统采用的超声波频率为40kHz,红外信号波长为850nm,空鼠笔的工作频率为62.5Hz(即每16ms发射一次超声和红外信号),接收系统的时钟分辨率为10ns,屏幕光标移动的速度范围为(-127,+128]像素/s,“+”表示向坐标轴正方向移动,“-”表示向坐标轴负方向移动,实际当中,我们设定屏幕光标移动的最大速度为±120像素/s,超声波的传播速度为340m/s,则空鼠笔在x轴方向的速度为在y轴方向的速度为实测的空鼠笔最大速度为12m/s(需要说明,对空鼠笔来说这个速度是非常快的,多数情况空鼠笔的速度在1~5m/s之间),对应屏幕光标的移动速度为120像素/秒,空鼠笔的最小速度为0.12m/s,对应屏幕光标的移动速度为3像素/秒,此转换函数可保证鼠标的移动速度与屏幕光标的移动速度在保持同比变化的同时控制速度的变化保持在一定的范围内,保证用户的体验感,同时可以看出,本发明中的空鼠笔比传统鼠标的分辨率要低,适用于书空操控等非精准操控的场合,但也具有传统鼠标不具备的便捷性。具体的转换函数表达式为:
其中,a、b为经验值,可根据实际系统中空鼠笔的最大速度与屏幕光标的最大速度及空鼠笔的最小速度与屏幕光标的最小速度这两对数值代入上式求得,进而可以得到鼠标的移动速度与屏幕光标的移动速度的转换关系,在此实际系统中,a=0.04,b=0.06。K满足一个半三角的隶属度函数,具体可参照图8,其表达式为:
K=0;|v1|≤0.12
K=1;|v1|≥12
4、采用不同的红外编码方式实现不同的按键功能,具体的实现方法为:将空鼠笔的按键204操控方式分为五种,分别为:同时按两个按键、按上键、按下键、连续按上键两次、长按上键,对每种操控方式进行不同的红外编码,电子白板100识别红外传感器1022接收到的红外信息,对应为五种不同的操作:第一,启动超声定位;第二,模拟鼠标单击左键的操作;第三,模拟鼠标单击右键的操作;第四,模拟鼠标双击左键的操作;第五,模拟鼠标长按左键的操作。
图9~图13示意性地给出本发明的一个实施例的红外编码方式。红外编码信息由6个周期的信号组成,每个周期的信号包含一个高电平或一个低电平,为了避免信号脉冲宽度太小,选择每2个周期信号代表一个符号数,即每种按键操作对应3个符号数。如图9所示,当同时按下空鼠笔的上下键204时,红外发射管203以001的编码方式发射红外信号,即发射4个周期的低电平信号和2个周期的高电平信号[900,电子白板上的红外传感器1022接收到以900方式编码的红外信号时,启动超声定位,空鼠笔开始对电子白板上的光标进行操控,即光标开始随着空鼠笔的位置变化而移动;如图10所示,当按下空鼠笔的上键2041时,红外发射管203以010的编码方式发射红外信号,即发射2个周期的低电平信号、2个周期的高电平信号,再发射2个周期的低电平信号1000,电子白板上的红外传感器1022接收到以1000方式编码的红外信号时,进行与传统鼠标单击左键相同的命令操作,即实现光标定位、执行菜单的命令或选中对话框中的按钮和选项等功能;如图11所示,当按下空鼠笔的下键2042时,红外发射管203以011的编码方式发射红外信号,即发射2个周期的低电平信号和4个周期的高电平信号1100,电子白板上的红外传感器1022接收到以1100方式编码的红外信号时,进行与传统鼠标单击右键相同的命令操作,即实现显示快捷菜单等功能;如图12所示,当连按两次空鼠笔的上键2041时,红外发射管203]以100的编码方式发射红外信号,即发射2个周期的高电平信号和4个周期的低电平信号1200,电子白板上的红外传感器1022接收到以1200方式编码的红外信号时,进行与传统鼠标双击左键相同的命令操作,即实现打开文件夹或程序等功能;如图13所示,当长按空鼠笔的上键2041时,红外发射管203以101的编码方式发射红外信号,即发射2个周期的高电平信号、2个周期的低电平信号,再发射2个周期的高电平信号1300,电子白板上的红外传感器1022接收到以1300方式编码的红外信号时,进行与传统鼠标长按左键相同的命令操作,即选中光标划过的内容等功能。
上文的描述针对特定的实施例,在实际的实现过程中,可以对描述的实施例进行其他的变形和修改,以实现更多的按键操作或更方便的控制方式。由此,这些描述应该被理解为仅对各种原理进行说明,而非对本发明进行限制。

Claims (7)

1.一种基于三维超声波定位的低功耗空鼠笔的实现方法,包括电子白板和空鼠笔,电子白板集成超声三维定位模块,空鼠笔集成PVDF压电薄膜、红外发射管、微处理器及按键传感器件,其特征在于,空鼠笔的实现步骤如下:
1)触发按键,空鼠笔发射超声波及红外信号;
2)电子白板接收空鼠笔发射的超声波信号及红外信号,采用超声波三维高精度无线定位技术获得空鼠笔的位置坐标A=(X,Y,Z),一系列的空鼠笔位置形成空鼠笔的三维空间运动轨迹,所述空鼠笔的位置坐标A=(X,Y,Z)是以电子白板的物理坐标系XYZ为参考;
3)经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹,电子白板将平面轨迹转换为屏幕上的光标轨迹,以依靠空鼠笔的运动实现对电子白板屏幕上的光标进行控制;
4)触发不同按键,以不同的红外编码方式发射红外信号,对应于不同的按键操作,实现空鼠笔的不同按键功能。
2.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤2)中所述电子白板的物理坐标系XYZ是以电子白板所在平面为XY平面,垂直于电子白板指向用户的方向为Z轴方向。
3.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤2)中空鼠笔的位置坐标A=(X,Y,Z)的计算方法如下:
(X-XB)2+(Y-YB)2+(Z-ZB)2=L1 2
(X-XC)2+(Y-YC)2+(Z-ZC)2=L2 2
(X-XD)2+(Y-YD)2+(Z-ZD)2=L3 2
Z≥0
其中,B=(XB,YB,ZB)、C=(XC,YC,ZC)、D=(XD,YD,ZD)分别为电子白板上三个超声波传感器所在的位置坐标,L1、L2、L3分别为空鼠笔到三个超声波传感器的距离。
4.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤3)中经坐标变换将空鼠笔的三维空间运动轨迹转化为平面轨迹的步骤如下:
以电子白板的物理坐标系XYZ为参考,获取前后两个采样时刻下空鼠笔的位置坐标A1=(X1,Y1,Z1)和A2=(X2,Y2,Z2),将空鼠笔的三维运动轨迹转化为二维的平面轨迹,计算两个采样时刻间空鼠笔在虚拟平面坐标系xy中的位移变化量:
Δ x = Δ X | Δ X | ΔX 2 + ΔZ 2
△y=△Y
其中,△X=X2-X1、△Y=Y2-Y1、△Z=Z2-Z1分别表示两个采样时刻间空鼠笔在XYZ坐标系中三个坐标轴上的变化量,所述虚拟平面坐标系xy是以两个采样时刻间空鼠笔运动轨迹在XZ平面上的投影向量的方向为虚拟平面坐标系的x轴正方向,电子白板物理坐标系XYZ的Y轴正方向为虚拟平面坐标系的y轴正方向。
5.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤3)中所述将平面轨迹转换为屏幕上的光标轨迹由空鼠笔的移动方向以及空鼠笔的移动速度与屏幕光标的移动速度的转换函数决定,所述空鼠笔的移动速度与屏幕光标的移动速度的转换关系为:
v 2 = v 1 a + b × K
其中,v1是空鼠笔的移动速度,v2是屏幕光标的移动速度,a、b为经验值,可根据实际系统中空鼠笔的最大速度与屏幕光标的最大速度及空鼠笔的最小速度与屏幕光标的最小速度这两对数值代入上式求得,进而可以得到鼠标的移动速度与屏幕光标的移动速度的转换关系,其中,a=0.04,b=0.06,K满足一个半三角的隶属度函数,其表达式为:
K=0;|v1|≤0.12
K = | v 1 | - 0.12 12 - 0.12 ; 0.12 < | v 1 | < 12
K=1;|v1|≥12。
6.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤4)中所述不同按键是空鼠笔的上、下按键及按键之间的不同组合形式,包括单按上键、单按下键、同时按上下键、连按两次上键、长按上键。
7.如权利要求1所述的一种基于三维超声波定位的低功耗空鼠笔的实现方法,其特征在于:步骤4)中所述不同的编码方式是空鼠笔的红外发射管在不同按键组合情况下发射不同波形的红外信号,以对应不同的按键操作。
CN201710139996.8A 2017-03-08 2017-03-08 一种基于三维超声波定位的低功耗空鼠笔的实现方法 Active CN106933385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139996.8A CN106933385B (zh) 2017-03-08 2017-03-08 一种基于三维超声波定位的低功耗空鼠笔的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139996.8A CN106933385B (zh) 2017-03-08 2017-03-08 一种基于三维超声波定位的低功耗空鼠笔的实现方法

Publications (2)

Publication Number Publication Date
CN106933385A true CN106933385A (zh) 2017-07-07
CN106933385B CN106933385B (zh) 2019-05-28

Family

ID=59432002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139996.8A Active CN106933385B (zh) 2017-03-08 2017-03-08 一种基于三维超声波定位的低功耗空鼠笔的实现方法

Country Status (1)

Country Link
CN (1) CN106933385B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861639A (zh) * 2017-11-03 2018-03-30 浙江工业大学 一种基于超声的空间定位系统
CN108205373A (zh) * 2017-12-25 2018-06-26 北京致臻智造科技有限公司 一种交互方法及系统
CN111290583A (zh) * 2020-03-02 2020-06-16 北京萌科科技有限公司 三维立体板书的生成方法、电子设备及教学系统
CN113721777A (zh) * 2021-09-08 2021-11-30 得力集团有限公司 一种鼠标指针的控制方法、装置、电子设备及存储介质
CN113970973A (zh) * 2020-07-22 2022-01-25 福建天泉教育科技有限公司 一种远程控制电子白板的方法及电子白板

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567167A (zh) * 2003-06-20 2005-01-19 刘习杰 超声波定位的多功能笔形鼠标系统
CN2676276Y (zh) * 2003-11-05 2005-02-02 南京方瑞科技有限公司 具有高速信号传输能力的坐标与控制信息输入装置
US20070182741A1 (en) * 2006-01-23 2007-08-09 Sony Corporation Display apparatus, display method, and display program
CN101110007A (zh) * 2007-07-31 2008-01-23 中国科学院软件研究所 一种动态三维光标显示方法
CN101916141A (zh) * 2010-08-27 2010-12-15 林民东 一种基于空间定位技术的交互式输入装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567167A (zh) * 2003-06-20 2005-01-19 刘习杰 超声波定位的多功能笔形鼠标系统
CN2676276Y (zh) * 2003-11-05 2005-02-02 南京方瑞科技有限公司 具有高速信号传输能力的坐标与控制信息输入装置
US20070182741A1 (en) * 2006-01-23 2007-08-09 Sony Corporation Display apparatus, display method, and display program
CN101110007A (zh) * 2007-07-31 2008-01-23 中国科学院软件研究所 一种动态三维光标显示方法
CN101916141A (zh) * 2010-08-27 2010-12-15 林民东 一种基于空间定位技术的交互式输入装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
封家鹏: "双目标三维超声定位笔式人机交互装置", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861639A (zh) * 2017-11-03 2018-03-30 浙江工业大学 一种基于超声的空间定位系统
CN108205373A (zh) * 2017-12-25 2018-06-26 北京致臻智造科技有限公司 一种交互方法及系统
CN111290583A (zh) * 2020-03-02 2020-06-16 北京萌科科技有限公司 三维立体板书的生成方法、电子设备及教学系统
CN113970973A (zh) * 2020-07-22 2022-01-25 福建天泉教育科技有限公司 一种远程控制电子白板的方法及电子白板
CN113970973B (zh) * 2020-07-22 2023-04-28 福建天泉教育科技有限公司 一种远程控制电子白板的方法及电子白板
CN113721777A (zh) * 2021-09-08 2021-11-30 得力集团有限公司 一种鼠标指针的控制方法、装置、电子设备及存储介质
CN113721777B (zh) * 2021-09-08 2024-01-30 得力集团有限公司 一种鼠标指针的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106933385B (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN106933385B (zh) 一种基于三维超声波定位的低功耗空鼠笔的实现方法
CN107102749B (zh) 一种基于超声波和惯性传感器的三维笔式定位方法
US20220374092A1 (en) Multi-function stylus with sensor controller
US10379664B2 (en) Systems and methods for manipulating a virtual environment
US9229540B2 (en) Deriving input from six degrees of freedom interfaces
JP5784003B2 (ja) マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法
CN106598293B (zh) 一种三维大空间多通道笔式交互系统
CN201699853U (zh) 一种带动作识别功能的遥控器
CN101882012A (zh) 基于投影跟踪的笔式交互系统
CN103136986A (zh) 手语识别方法及系统
CN104007846A (zh) 一种三维图形的生成方法和电子白板系统
CN103956036A (zh) 一种应用于家电的非触碰式遥控器
CN109782914B (zh) 基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法
CN103064532A (zh) 一种空中鼠标遥控器
CN101916141A (zh) 一种基于空间定位技术的交互式输入装置和方法
CN102207801A (zh) 一种三维手写输入装置和手写输入方法
CN105353904A (zh) 互动显示系统及其触控互动遥控器和互动触控方法
TWI486815B (zh) 顯示設備及其控制系統和方法
CN105183190A (zh) 一种具有鼠标功能的激光笔
CN101916140B (zh) 一种全方位鼠标
CN116700506A (zh) 智能笔与交互平板的交互方法、装置、设备以及存储介质
KR100601001B1 (ko) 자이로와 초음파를 이용한 컴퓨터 입력장치
CN104407692A (zh) 基于超声波的全息图像交互式显示方法、控制方法及系统
CN107329578A (zh) 一种手势识别装置、远程写字系统及其应用方法
CN102541447A (zh) 一种基于触控终端实现立体绘图的系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant