CN106933390B - 惯性技术和超声波相结合的触控笔位姿检测方法及系统 - Google Patents

惯性技术和超声波相结合的触控笔位姿检测方法及系统 Download PDF

Info

Publication number
CN106933390B
CN106933390B CN201710139997.2A CN201710139997A CN106933390B CN 106933390 B CN106933390 B CN 106933390B CN 201710139997 A CN201710139997 A CN 201710139997A CN 106933390 B CN106933390 B CN 106933390B
Authority
CN
China
Prior art keywords
information
ultrasonic
pen
angle
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710139997.2A
Other languages
English (en)
Other versions
CN106933390A (zh
Inventor
燕学智
王海云
孙晓颖
陈建
温泉
于海洋
温艳鑫
曹德坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710139997.2A priority Critical patent/CN106933390B/zh
Publication of CN106933390A publication Critical patent/CN106933390A/zh
Application granted granted Critical
Publication of CN106933390B publication Critical patent/CN106933390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/30—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

本发明提供一种惯性技术和超声波相结合的触控笔位姿检测方法及系统，属于人机交互领域。采集MEMS六轴加速度计及陀螺仪传感器上的角速度与加速度值，测量超声波从触控笔上超声波发射传感器到接收传感器上的传播时间，计算触控笔的姿态角信息；计算触控笔的坐标信息；由获取的触控笔的三维坐标信息获取航向角，对MEMS六轴加速度计及陀螺仪传感器获取的航向角和超声波获取的航向角进行互补融合，计算出修正后的航向角，确定触控笔当前的位姿。本发明融合惯性技术获取的触控笔姿态信息和超声波定位技术获取的触控笔空间坐标信息共同确定触控笔的位姿，实现触控笔在一定空间内以任意姿态、任意角度、任意距离与界面进行交互。

Description

惯性技术和超声波相结合的触控笔位姿检测方法及系统
技术领域
本发明属于人机交互领域，涉及一种触控笔位姿检测方法及系统，具体涉及一种惯性技术和超声波相结合的触控笔位姿检测方法及系统。
背景技术
近年来，随着人机交互技术的不断发展，人机交互已不再局限于以往单一的二维人机交互，而是逐渐将三维笔式交互技术引入到人机交互中，是一种高效自然的交互方式。
在人机交互的过程中，用户常需要进行打开各种文件、浏览各种网页等操作，然而在教室或会议等场景使用白板时，距离白板较远的用户，由于二维(平面内)受到距离和笔的姿态的限制无法完成的操作。增大用户的操作距离，同时使操控具有指向性是解决该问题的方法之一，这就需要解决笔的远距离位置和姿态检测问题。
目前已有一些关于解决笔的姿态和位置问题的方法。
中国专利“基于六轴传感器的角度测量装置”(申请号201620079085.1)公开了一种基于六轴传感器的角度测量装置，提高了测量角度信息的准确性和稳定性。中国专利“基于MPU6050六轴传感器的悬空鼠标系统”(申请号201620067175.9)公开了一种MPU6050六轴传感器的悬空鼠标系统摆脱桌面鼠标的限制,实现在远距离的三维空间内获得鼠标的操作功能。中国专利“一种基于重力向量和角速度向量的汽车变道识别方法”(申请号201610087916.4)公开了一种基于重力向量和角速度向量的汽车变道识别方法，利用姿态角信息选择可能的变道组合。但这些方法所述的检测出的姿态信息，不能矫正航向角出现的漂移，且不能准确检测出距离信息，一旦涉及三维空间的笔式交互，就会因距离因素及交互方式的改变带来操作角度受限和触控笔姿态识别不清等问题。
中国专利“加速度、陀螺仪和磁场九轴传感器的空间轨迹定位系统”(申请号201310452478.3)公开了一种加速度、陀螺仪和磁场九轴传感器的空间轨迹定位系统，提到利用九轴传感器定出姿态角，其中利用三轴地磁矫正陀螺仪的航向角，实现了姿态角的精确测量，但未考虑到三轴地磁容易受周围物体磁场的影响，从而影响测量精度。中国专利“基于九轴MEMS传感器的农业机械全姿态角更新方法”(申请号201510664990.3)公开了一种基于九轴MEMS传感器的农业机械全姿态角更新方法，提到利用九轴传感器测量出姿态角，利用加速度计测出的数据经过二次积分计算出位置信息，但未考虑加速度计噪声比较大，对运动极为敏感，在短时间内可靠性不高，因此在定出位置信息时误差较大。中国专利“基于九加速度敏感单元的六轴加速度传感器的布局方法”(申请号200810237023.9)公开了一种九加速度敏感单元的六轴加速度传感器的布局方法，提到利用加速度传感器获取角速度信息，但未考虑加速度计噪声比较大，在短期使用时误差较大，可靠性差。
发明内容
本发明提供一种惯性技术和超声波相结合的触控笔位姿检测方法及系统，基于陀螺仪获取姿态信息，利用加速度计获取的加速度值修正陀螺仪获取的姿态信息，通过超声波定位出前一时刻的坐标值和当前时刻的坐标值，利用获得的三维坐标信息修正航向角等方法最终计算出触控笔的姿态和坐标值。
本发明中触控笔的超声波定位精度达到毫米量级，而且解决了触控笔在六轴传感器单独定位的情况下容易在0°和180°出现角度突变的技术问题同时还可以实现修正航向角的功能，达到实现笔以任意姿态、任意角度、任意距离与界面进行交互的目的。
本发明采取的技术方案是，包括如下步骤：
(1)采集MEMS六轴加速度计及陀螺仪传感器获取的角速度与加速度数据，测量超声波从触控笔上超声波发射传感器到接收传感器上的传播时间，并对采集和测量到的信息进行处理，得到输出的数据信息；
(2)由MEMS六轴加速度计及陀螺仪传感器输出的数据信息，用处理器计算触控笔的姿态角信息，所述触控笔的姿态角信息是触控笔在三维坐标系下的俯仰角θ、航向角φ和横滚角
(3)由三路超声波传播的时间信息，计算触控笔的坐标信息，所述触控笔的坐标信息是指触控笔在三维坐标系下的三维坐标(x,y,z)；
(4)由获取的触控笔的位置信息获取航向角φ'，对MEMS六轴加速度计及陀螺仪传感器获取的航向角和超声波获取的航向角进行互补融合，计算出修正后的航向角φ″；
(5)输出坐标信息和修正后的姿态角信息，确定触控笔当前的位姿。
上述方法描述的采集MEMS六轴加速度计及陀螺仪传感器上的角速度和加速度值，其特征在于采集MEMS六轴加速度计及陀螺仪传感中三轴陀螺仪和三轴加速度计测出的触控笔的角速度值及加速度值；
上述方法描述的对信号进行处理包括A/D转换，是为了将模拟信息中的的角速度值和加速度值由A/D转换器转换成数字信息的角速度值(wx,wy,wz)和加速度值a＝(ax,ay,az)；
上述方法描述的对信号进行处理包括增益控制，是为了将接收信息幅值调整至适于定位装置动态范围，以保持信息的稳定性；
上述方法描述的对信息进行处理包括滤波，滤波是为了滤除噪声信号；
上述方法描述的对采集到的加速度值进行归一化处理，是为了将加速度计的三维向量转化为三维单位向量；
上述方法描述的触控笔的姿态角信息计算步骤如下：
1)初始化四元数：q0＝1，q1＝0，q2＝0，q3＝0，四元数表达式：Q(q0,q1,q2,q3)＝q0+q1i+q2j+q3k，所述四元数代表多维实数空间的一个四维空间，同时也可以代表一个复数的二维空间，i、j、k分别代表X轴、Y轴、Z轴上的虚数单位；
2)利用四元数根据欧拉定理计算出姿态矩阵A：
3)利用互补滤波算法，实现用加速度计测得的重力向量和陀螺仪获取的角速度信息推算出的重力向量的叉积来修正陀螺仪获取的角速度值的的零偏误差：
①用陀螺仪获取的角速度信息(wx,wy,wz)推算出陀螺仪三轴的重力向量(即重力单位向量在机体坐标系中的重力加速度)，g＝(vx,vy,vz)＝A*[0,0,1]T；
②测出加速度计的重力向量为a＝(ax,ay,az)T，对加速度值进行规一化处理：
③用向量积来表示加速度计测量出的重力向量和用陀螺仪获取的角速度值(wx,wy,wz)推算出三轴的重力向量之间的误差：e＝(ex,ey,ez)＝a×g，用加速度计测量出的重力向量和用陀螺仪获取的角速度信息推算出三轴的重力向量之间的误差就是陀螺仪测量的姿态和加速度计测量的姿态的误差；
④用上述求出来的叉乘来纠正陀螺零偏，避免累积误差；
4)由修正后的角速度(w'x,w'y,w'z)值，利用一阶龙格库塔算法更新四元数值：
对四元数进行规一化处理，得到更新后的四元数值(q'0,q1',q'2,q'3)；
5)由更新后的四元数值(q'0,q1',q'2,q'3)更新姿态矩阵，得到更新后的姿态矩阵A'：
6)由姿态矩阵A’计算出姿态角：
θ＝-π·sign(A'23)+arctan(A′23/A′33)
式中A′kl表示姿态矩阵A’的第k行第l列的元素；
7)由计算出的姿态角构造方向余弦矩阵G，触控笔按不同的坐标轴顺序旋转，得到不同的方向余弦矩阵，以触控笔绕Z-Y-X为例，则方向余弦矩阵G：
上述方法描述的触控笔的位置计算步骤如下：
1)测量出触控笔上超声传感器发送的信号到主机三个超声波接收器[3021]、[3022]和[3023]的时间分别为△t1、△t2、△t3,主机上三个超声波接收器[3021]、[3022]和[3023]的坐标值分别为：(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)，超声波传播速度为c；
2)计算出触控笔到各个超声波接收器的距离：Li＝△t·c，i＝1,2,3；
3)利用定位原理公式：
解出触控笔的各个时刻的坐标(x,y,z)。
上述方法描述的由三维坐标信息修正姿态角计算步骤如下：
1)利用定位原理确定触控笔运动前一时刻和当前时刻的坐标分别为(x,y,z)和(x1,y1,z1)
2)利用已经修正的俯仰角和航向角，根据欧拉定理：(x1,y1,z1)＝(x,y,z)*G计算出航向角φ'，式中前一时刻和当前时刻的坐标值是给定的，俯仰角和横滚角是给定的，只有一个未知参量航向角，所以由上式可解出航向角φ'。由超声波计算出的航向角是利用触控笔的物理位置不会发生突变的这个条件可以连续平滑的判别上述角度突变是真实的还是测量本身带来的。有效地解决了六轴传感器单独作用的情况下容易出现0°和180°的角度突变问题；
3)利用互补滤波算法，实现对陀螺仪获取的航向角和超声波获取的航向角进行数据融合：
其中需要用到的参数：t为滤波器时间常数，dt为滤波器采样时间；
其中俯仰角θ取值范围在-180°到-90°或90°到180°，航向角φ取值范围在-180°到180°，横滚角的取值范围在-180°到180°；
一种惯性技术和超声波相结合的触控笔位姿检测系统，包括以下部分：
触控笔部分：包括微处理器、MEMS六轴加速度计及陀螺仪传感器、PVDF超声传感器、红外发射管以及蓝牙芯片。
1)微处理器：主要完成超声波信号、红外信号的发射，加速度计和陀螺仪传感器信号的采集以及按键功能的处理；
2)MEMS六轴加速度计及陀螺仪传感器：用于获取陀螺仪和加速度计上的数据信息，通过蓝牙传输给主机；
3)PVDF超声传感器和红外发射管分别发射超声信号及红外信号；
4)蓝牙芯片：用于将触控笔获取的三维姿态信息发送到主机上。
主机部分：包括平板电视屏幕或白板和超声三维定位模块，超声三维定位模块：包括3个在同一个平面但不在一条直线上的超声传感器构成的三维超声定位阵列及2个红外传感器，用于实现对触控笔的三维定位。
本发明中触控笔的超声波定位精度达到毫米量级，利用PVDF超声传感器和MEMS六轴加速度计及陀螺仪传感器共用一个坐标系，坐标原点重合的这一特点解决了触控笔在六轴传感器单独定位的情况下容易在0°和180°出现角度突变的技术问题同时还可以实现修正航向角的功能，达到实现笔以任意姿态、任意角度、任意距离与界面进行交互的目的。
附图说明
图1A是本发明结合触控笔姿态角和坐标信息的一种示意图；
图1B是本发明触控笔姿态角应用示意图；
图2是本发明触控笔结构示意图；
图3是本发明主机组成框图；
图4是本发明触控笔坐标系校准示意图；
图5A是本发明笔式交互实现方法流程图；
图5B是本发明三维坐标计算流程图；
图5C是本发明加速度矫正角速度计算流程图；
图5D是本发明三维坐标修正航向角示意图；
图6是本发明三维超声波定位原理示意图；
图7是本发明触控笔发生角度突变示意图。
具体实施方式
包括如下步骤：
(1)采集MEMS六轴加速度计及陀螺仪传感器获取的角速度与加速度数据，测量超声波从触控笔上超声波发射传感器到接收传感器上的传播时间，并对采集和测量到的信息进行处理，得到输出的数据信息；
(2)由MEMS六轴加速度计及陀螺仪传感器输出的数据信息，用处理器计算触控笔的姿态角信息，所述触控笔的姿态角信息是触控笔在三维坐标系下的俯仰角θ、航向角φ和横滚角
(3)由三路超声波传播的时间信息，计算触控笔的坐标信息，所述触控笔的坐标信息是指触控笔在三维坐标系下的三维坐标(x,y,z)；
(4)由获取的触控笔的位置信息获取航向角φ'，对MEMS六轴加速度计及陀螺仪传感器获取的航向角和超声波获取的航向角进行互补融合，计算出修正后的航向角φ”；
(5)输出坐标信息和修正后的姿态角信息，确定触控笔当前的位姿。
上述方法描述的采集MEMS六轴加速度计及陀螺仪传感器上的角速度和加速度值，其特征在于采集MEMS六轴加速度计及陀螺仪传感中三轴陀螺仪和三轴加速度计测出的触控笔的角速度值及加速度值；
上述方法描述的对信号进行处理包括A/D转换，是为了将模拟信息中的的角速度值和加速度值由A/D转换器转换成数字信息的角速度值(wx,wy,wz)和加速度值a＝(ax,ay,az)；
上述方法描述的对信号进行处理包括增益控制，是为了将接收信息幅值调整至适于定位装置动态范围，以保持信息的稳定性；
上述方法描述的对信息进行处理包括滤波，滤波是为了滤除噪声信号；
上述方法描述的对采集到的加速度值进行归一化处理，是为了将加速度计的三维向量转化为三维单位向量；
上述方法描述的触控笔的姿态角信息计算步骤如下：
1)初始化四元数：q0＝1，q1＝0，q2＝0，q3＝0，四元数表达式：Q(q0,q1,q2,q3)＝q0+q1i+q2j+q3k，所述四元数代表多维实数空间的一个四维空间，同时也可以代表一个复数的二维空间，i、j、k分别代表X轴、Y轴、Z轴上的虚数单位；
2)利用四元数根据欧拉定理计算出姿态矩阵A：
3)利用互补滤波算法，实现用加速度计测得的重力向量和陀螺仪获取的角速度信息推算出的重力向量的叉积来修正陀螺仪获取的角速度值的的零偏误差：
①用陀螺仪获取的角速度信息(wx,wy,wz)推算出陀螺仪三轴的重力向量(即重力单位向量在机体坐标系中的重力加速度)，g＝(vx,vy,vz)＝A*[0,0,1]T；
②测出加速度计的重力向量为a＝(ax,ay,az)T，对加速度值进行规一化处理：
③用向量积来表示加速度计测量出的重力向量和用陀螺仪获取的角速度值(wx,wy,wz)推算出三轴的重力向量之间的误差：e＝(ex,ey,ez)＝a×g，用加速度计测量出的重力向量和用陀螺仪获取的角速度信息推算出三轴的重力向量之间的误差就是陀螺仪测量的姿态和加速度计测量的姿态的误差；
④用上述求出来的叉乘来纠正陀螺零偏，避免累积误差；
4)由修正后的角速度(w'x,w'y,w'z)值，利用一阶龙格库塔算法更新四元数值：
对四元数进行规一化处理，得到更新后的四元数值(q'0,q1',q'2,q'3)；
5)由更新后的四元数值(q'0,q1',q'2,q'3)更新姿态矩阵，得到更新后的姿态矩阵A'：
6)由姿态矩阵A’计算出姿态角：
θ＝-π·sign(A'23)+arctan(A′23/A′33)
式中A′kl表示姿态矩阵A’的第k行第l列的元素；
7)由计算出的姿态角构造方向余弦矩阵G，触控笔按不同的坐标轴顺序旋转，得到不同的方向余弦矩阵，以触控笔绕Z-Y-X为例，则方向余弦矩阵G：
上述方法描述的触控笔的位置计算步骤如下：
1)测量出触控笔上超声传感器发送的信号到主机三个超声波接收器[3021]、[3022]和[3023]的时间分别为△t1、△t2、△t3,主机上三个超声波接收器[3021]、[3022]和[3023]的坐标值分别为：(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)，超声波传播速度为c；
2)计算出触控笔到各个超声波接收器的距离：Li＝△t·c，i＝1,2,3；
3)利用定位原理公式：
解出触控笔的各个时刻的坐标(x,y,z)。
上述方法描述的由三维坐标信息修正姿态角计算步骤如下：
1)利用定位原理确定触控笔运动前一时刻和当前时刻的坐标分别为(x,y,z)和(x1,y1,z1)
2)利用已经修正的俯仰角和航向角，根据欧拉定理：(x1,y1,z1)＝(x,y,z)*G计算出航向角φ'，式中前一时刻和当前时刻的坐标值是给定的，俯仰角和横滚角是给定的，只有一个未知参量航向角，所以由上式可解出航向角φ'。由超声波计算出的航向角是利用触控笔的物理位置不会发生突变的这个条件可以连续平滑的判别上述角度突变是真实的还是测量本身带来的。有效地解决了六轴传感器单独作用的情况下容易出现0°和180°的角度突变问题；
3)利用互补滤波算法，实现对陀螺仪获取的航向角和超声波获取的航向角进行数据融合：
其中需要用到的参数：t为滤波器时间常数，dt为滤波器采样时间；
其中俯仰角θ取值范围在-180°到-90°或90°到180°，航向角φ取值范围在-180°到180°，横滚角的取值范围在-180°到180°；
一种惯性技术和超声波相结合的触控笔位姿检测系统，包括以下部分：
触控笔部分：包括微处理器、MEMS六轴加速度计及陀螺仪传感器、PVDF超声传感器、红外发射管以及蓝牙芯片。
1)微处理器：主要完成超声波信号、红外信号的发射，加速度计和陀螺仪传感器信号的采集以及按键功能的处理；
2)MEMS六轴加速度计及陀螺仪传感器：用于获取陀螺仪和加速度计上的数据信息，通过蓝牙传输给主机；
3)PVDF超声传感器和红外发射管分别发射超声信号及红外信号；
4)蓝牙芯片：用于将触控笔获取的三维姿态信息发送到主机上。
主机部分：包括平板电视屏幕或白板和超声三维定位模块，超声三维定位模块：包括3个在同一个平面但不在一条直线上的超声传感器构成的三维超声定位阵列及2个红外传感器，用于实现对触控笔的三维定位。
为了使本技术领域的人员更好的理解本发明，下面结合附图和实施方式对本发明作进一步的详细说明。
1、姿态角结合坐标值的应用，参照图1A和图1B：
图1A是结合触控笔姿态角和坐标信息的一种示意图，需要用到如下参数：d1,d2分别表示触控笔到主机的距离，且d2>d1，α1,α2，表示触控笔旋转的角度，且α2>α1，参照图1A[100]，启动三维超声定位和六轴传感器三维姿态定位测出触控笔的位置信息和姿态信息，根据获得的触控笔的坐标值，就可以计算出触控笔相对于主机[1001]的距离，当用户[1005]需要调用主机上[1001]的文档时，如图示出：当用户距离主机位置为d1时，用户需要旋转角度α1使位于B点处[1002]的光标移动到需要打开的文档[1004]，按下按键打开文档[1003]，当用户距离主机位置为d2时，用户需要旋转角度α2使位于B点处[1002]的光标移动到需要打开文档[1005]，按下按键打开文档[1003]。
图1B触控笔姿态角应用示意图的说明，需要用到如下参数：β1,β2分别表示触控笔旋转的角度。参照图1B，启动三维超声定位和六轴传感器三维姿态定位测出触控笔的位置信息和姿态信息，当用户[1017]距离主机[1014]位置没有发生变化时，用户需要打开文档E[1012]时，只需旋转角度β1[1016]使位于B’点处[1013]的光标移动到文档E处[1012]，按下按键打开文档；用户需要打开文档D[1011]时，只需旋转角度β2[1015]使位于B’点处[1013]的光标移动到文档D处[1011]，按下按键打开文档。
2、图2为本发明应用的三维大尺度书空模式人机交互系统的触控笔部分组成示意图，触控笔[200]主要包括笔尖[201]、超声传感器[202]，本发明中使用的超声传感器[202]是PVDF超声传感器，MEMS六轴加速度计及陀螺仪传感器[203]、红外发射管[204]、蓝牙通信芯片[205]、按键[206]和处理器[208]，PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]在触控笔[200]中放置重合，确定PVDF超声传感器[202]和电路板[207]上的MEMS六轴加速度计及陀螺仪传感器[203]共用一个坐标系，坐标原点重合，如步骤四中，当PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]在触控笔[200]中放置重合时，可以解决笔容易在0和180出现角度突变问题，。由于触控笔的设计是圆柱形的，在进行笔式交互时，只需用到俯仰角和航向角。
在进行三维坐标定位时，红外发射管[204]和PVDF超声传感器[202]同时发射超声信号和红外信号，超声信号以声速传播，红外信号以光速传播，以红外信号作为测距同步信号，测出超声信号和红外信号分别到达超声波接收器和红外传感器的时间，超声信号和红外信号分别到达超声波接收器和红外传感器的时间差为超声波发送一次信号所用的时间。
3、图3为本发明应用的三维大尺度书空模式人机交互系统的主机部分组成示意图，主机[300]主要由平板电视屏幕或白板[301]和超声三维定位模块[302]组成，超声三维定位模块[302]包括3个在同一个平面但不在一条直线上的超声传感器[3021]、[3022]和[3023]构成的三维超声定位阵列及2个红外传感器[3024]和[3025]，使用2个红外传感器[3024]和[3025]是为了能够接收到不同角度传来的红外信号。
4、具体的笔式交互实现方法可参考图5A[500]，按下按键[206]给触控笔上电[501]，PVDF超声传感器[202]及红外发射管[203]分别发射超声信号及红外信号，通过按键[206]和笔尖[201]在三维空间内无需接触板面即可触发超声波和红外信号，以红外信号作为测距同步信号，通过三维超声定位技术对触控笔进行三维实时定位，计算出超声三维各个时刻的坐标值[502]，启动MEMS六轴加速度计及陀螺仪完成加速度和角速度信号的提取，利用加速度信息修正角速度信息计算出三维姿态[503]，利用各个时刻的三维坐标再次修正三维姿态[504]，获取修正后的姿态信息[505]，输出笔的三维坐标信息和三维姿态信息[506]经由蓝牙芯片[205]发送到主机。
三维坐标计算步骤，参照图5B[502]，启动三维超声定位[5021]，测量超声波到三个接收器的传播时间△ti[5022]，利用Li＝△t×c，i＝1,2,3算出笔到各超声波接收器的距离[5023]，利用超生波定位原理算出各个时刻的坐标值为(x,y,z)[5024]。
其中，超声波定位原理可参照图6进一步说明：触控笔的三维坐标O(x,y,z)[601]，三个超声传感器的物理坐标A(x1,y1,z1)[604]、B(x2,y2,z2)[602]、C(x3,y3,z3)[603]；触控笔到三个超声传感器的距离L1[605]、L2[606]、L3[607]。
利用定位原理公式就可计算出三维坐标值。
加速度矫正角速度计算步骤，参照图5C[503]，启动加速度和角速度三维姿态定位[5030]，利用陀螺仪获取角速度信息[5031]、利用加速度计获取加速度信息[5032]，对加速度信息进行归一化处理[5033]，然后利用互补滤波算法，用加速度值对角速度进行修正[5034]，获得更新后的角速度值，初始化四元数[5035]。获取更新后的角速度值，利用龙格库塔法更新四元数值[5036]，然后对四元数进行归一化处理[5037]，更新姿态矩阵，得到更新后的姿态矩阵A'[5038]，利用姿态矩阵计算出三维姿态角[5039]。
这里需要说明的参数如下：Li为各超声波接收器的距离，c为超声波传播速度，△ti为发送超声波的时刻值。
三维坐标矫正航向角计算步骤，参照图5D[504]，利用图5C获得的三维姿态角[5041]和图5B获得的三维坐标值[5042]，(x,y,z)和(x1,y1,z1)分别为超声波前一时刻和当前时刻的坐标值，根据欧拉定理：(x1,y1,z1)＝(x,y,z)·C，利用前一时刻和当前时刻的坐标值修正航向角[8043]。
参照图7，图7是触控笔发生角度突变示意图[700]，触控笔[701]在有六轴传感器单独作用的情况下，容易在0°、180°发生角度突变问题，图中示出，正常旋转情况下触控笔旋转角度χ到达0°[702]，但在到达0°时出现角度突变问题，触控笔突变到180[703]，造成角度测量错误。
如果，PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]在触控笔[200]中放置不重合：首先要对触控笔进行坐标系校准，参照图4[400]，使得触控笔能够精准的获取三维姿态信息；然后在PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]下建立平行坐标系，然后在PVDF超声传感器[202]建立的坐标系下获取触控笔的三维坐标信息，利用PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]在触控笔中放置的位置距离差及三维姿态角信息经过坐标变换，计算得到MEMS六轴加速度计及陀螺仪传感器[203]下的三维坐标信息。PVDF超声传感器[202]和MEMS六轴加速度计及陀螺仪传感器[203]在触控笔[200]中放置不重合的状态下，仍可以通过前一时刻和当前时刻的三维坐标，解决笔容易在0°和180°出现角度突变问题，但不能通过互补融合实现修正航向角的功能。

Claims (5)

1.一种惯性技术和超声波相结合的触控笔位姿检测方法，其特征在于包括下列步骤：
(1)采集MEMS六轴加速度计及陀螺仪传感器获取的角速度与加速度数据，测量超声波从触控笔上超声波发射传感器到接收传感器上的传播时间，并对采集和测量到的信息进行处理，得到输出的数据信息；
(2)由MEMS六轴加速度计及陀螺仪传感器输出的数据信息，用处理器计算触控笔的姿态角信息，所述触控笔的姿态角信息是触控笔在三维坐标系下的俯仰角θ、航向角φ和横滚角其中触控笔的姿态角信息计算方法如下：
1)初始化四元数：q0＝1，q1＝0，q2＝0，q3＝0，四元数表达式：Q(q0,q1,q2,q3)＝q0+q1i+q2j+q3k，所述四元数代表多维实数空间的一个四维空间，i、j、k分别代表X轴、Y轴、Z轴上的虚数单位；
2)利用四元数根据欧拉定理计算出姿态矩阵A：
3)利用互补滤波算法，实现用加速度计测得的重力向量和陀螺仪获取的角速度值(wx,wy,wz)推算出的重力向量的叉积来修正陀螺仪获取的角速度值的零偏误差，得到修正后的角速度值(w'x,w'y,w'z)；
4)由修正后的角速度值(w'x,w'y,w'z)，利用一阶龙格库塔算法更新四元数值,
并对四元数进行规一化处理，得到更新后的四元数值(q'0,q1',q'2,q'3)；
5)由更新后的四元数值(q'0,q1',q'2,q'3)更新姿态矩阵，得到更新后的姿态矩阵
6)由姿态矩阵A’计算出三维姿态角：
θ＝-π·sign(A'23)+arctan(A'23/A3'3)
式中A’kl表示姿态矩阵A’的第k行第l列的元素；
7)由计算出的三维姿态角构造方向余弦矩阵：
(3)由三路超声波传播的时间信息，计算触控笔的坐标信息，所述触控笔的坐标信息是指触控笔在三维坐标系下的三维坐标(x,y,z)；
(4)由获取的触控笔的坐标信息获取航向角φ'，计算步骤如下：
1)利用超声波定位原理确定触控笔运动前一时刻和当前时刻的坐标分别为(x,y,z)和(x1,y1,z1)；
2)利用已经修正的俯仰角和横滚角，根据欧拉定理：(x1,y1,z1)＝(x,y,z)*G计算出航向角φ'，式中前一时刻和当前时刻的坐标值是给定的，俯仰角和横滚角是给定的，只有一个未知参量航向角，所以由上式可解出航向角φ'；
对MEMS六轴加速度计及陀螺仪传感器获取的航向角和超声波获取的航向角进行互补融合，计算出修正后的航向角φ”；其中对惯性传感器获取的航向角和超声波获取的航向角进行融合，得到修正后的航向角φ”是利用互补滤波算法，实现对陀螺仪获取的航向角和超声波获取的航向角进行数据融合：
其中需要用到的参数：t为滤波器时间常数，dt为滤波器采样时间；
(5)输出坐标信息和修正后的姿态角信息，确定触控笔当前的位姿。
2.根据权利要求1所述的一种惯性技术和超声波相结合的触控笔位姿检测方法，其特征在于：步骤(1)中采集MEMS六轴加速度计及陀螺仪传感器上的角速度和加速度数据，具体是获取MEMS六轴加速度计及陀螺仪传感器中三轴陀螺仪和三轴加速度计测出的触控笔的角速度值及加速度值。
3.根据权利要求1所述的一种惯性技术和超声波相结合的触控笔位姿检测方法，其特征在于：步骤(1)中获取的角速度与加速度数据进行处理，包括：增益控制、滤波和A/D转换器，增益控制是将接收到的超声波信息幅值调整至适于定位装置动态范围，以保持信息的稳定性；滤波是滤除超声波中的噪声信号；A/D转换器，用于将模拟信息的角速度值和加速度值转换成数字信息的角速度值(wx,wy,wz)和加速度值a＝(ax,ay,az)。
4.根据权利要求1所述的一种惯性技术和超声波相结合的触控笔位姿检测方法，其特征在于：步骤(1)中对采集到的信息中加速度值进行归一化处理，是将加速度计的三维向量转化为三维单位向量。
5.根据权利要求1所述的一种惯性技术和超声波相结合的触控笔位姿检测方法，其特征在于：步骤(3)中触控笔的三维坐标计算方法如下：
1)测量出触控笔上超声传感器发送的信号到主机三个超声波接收器的时间分别为Δt1、Δt2、Δt3,主机上三个超声波接收器的坐标值分别为：(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)，超声波传播速度为c；
2)计算出触控笔到各个超声波接收器的距离：Li＝Δti·c，i＝1,2,3；
3)利用定位原理公式：
计算出触控笔的各个时刻的坐标(x,y,z)。
CN201710139997.2A 2017-03-08 2017-03-08 惯性技术和超声波相结合的触控笔位姿检测方法及系统 Active CN106933390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139997.2A CN106933390B (zh) 2017-03-08 2017-03-08 惯性技术和超声波相结合的触控笔位姿检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139997.2A CN106933390B (zh) 2017-03-08 2017-03-08 惯性技术和超声波相结合的触控笔位姿检测方法及系统

Publications (2)

Publication Number Publication Date
CN106933390A CN106933390A (zh) 2017-07-07
CN106933390B true CN106933390B (zh) 2019-12-31

Family

ID=59432786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139997.2A Active CN106933390B (zh) 2017-03-08 2017-03-08 惯性技术和超声波相结合的触控笔位姿检测方法及系统

Country Status (1)

Country Link
CN (1) CN106933390B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI658379B (zh) * 2017-08-24 2019-05-01 宏碁股份有限公司 主動式觸控筆及其偵測方法
CN107728788A (zh) * 2017-10-31 2018-02-23 吉林大学 一种基于红外超声三维定位体感交互装置
WO2019113374A1 (en) * 2017-12-06 2019-06-13 Invensense, Inc. System for fusing acoustic and inertial position determination
CN108387871B (zh) * 2018-01-30 2021-10-29 吉林大学 一种实现六自由度测量的超声三维定位系统和定位方法
CN109032387B (zh) * 2018-07-18 2021-07-06 华讯智控(厦门)电子科技有限公司 一种通过超声波跟电磁定位双传感器检测笔身姿态的方法
EP3640773B1 (de) * 2018-10-16 2022-12-28 Leica Geosystems AG Eingabestift mit distanzmesser
CN111198622A (zh) * 2018-10-31 2020-05-26 比亚迪股份有限公司 电子设备的控制方法、装置和系统
CN110647282A (zh) * 2019-09-18 2020-01-03 中北大学 一种手写轨迹信息获取方法
CN112859139B (zh) * 2019-11-28 2023-09-05 中移物联网有限公司 一种姿态测量方法、装置及电子设备
CN111024122B (zh) * 2019-12-18 2024-01-19 上海聿毫信息科技有限公司 基于蓝牙和九轴陀螺仪的超声波笔倾斜偏差补偿方法
CN113065572B (zh) * 2019-12-31 2023-09-08 北京凌宇智控科技有限公司 多传感器融合的数据处理方法、定位装置及虚拟现实设备
CN111474938A (zh) * 2020-04-30 2020-07-31 内蒙古工业大学 一种惯性导航自动导引小车及其航迹确定方法
TWI765509B (zh) 2020-12-31 2022-05-21 群光電子股份有限公司 指向裝置及其控制方法
CN112433629B (zh) * 2021-01-28 2021-06-08 深圳市瑞立视多媒体科技有限公司 双光球交互笔的刚体姿态确定方法、装置和计算机设备
CN112905146A (zh) * 2021-02-25 2021-06-04 读书郎教育科技有限公司 一种根据方位与距离保护隐私的扫描笔及方法
CN113406646B (zh) * 2021-06-18 2023-03-31 北京师范大学 基于多方向超声测距及imu进行三维定位的方法和设备
CN113350067B (zh) * 2021-07-20 2022-04-12 邢康林 一种基于惯性传感器的智能坐垫及坐姿分类方法
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航系统的三维超声重建系统
CN116626113B (zh) * 2023-07-21 2023-10-13 浙江朗德电子科技有限公司 一种双通道氢气传感器、制备方法及检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2676276Y (zh) * 2003-11-05 2005-02-02 南京方瑞科技有限公司 具有高速信号传输能力的坐标与控制信息输入装置
CN101110007A (zh) * 2007-07-31 2008-01-23 中国科学院软件研究所 一种动态三维光标显示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683290B2 (ja) * 2006-01-23 2011-05-18 ソニー株式会社 表示装置、表示方法、表示プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2676276Y (zh) * 2003-11-05 2005-02-02 南京方瑞科技有限公司 具有高速信号传输能力的坐标与控制信息输入装置
CN101110007A (zh) * 2007-07-31 2008-01-23 中国科学院软件研究所 一种动态三维光标显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双目标三维超声定位笔式人机交互装置;封家鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150915(第9期);第2-5章 *

Also Published As

Publication number Publication date
CN106933390A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106933390B (zh) 惯性技术和超声波相结合的触控笔位姿检测方法及系统
TWI474265B (zh) 移動軌跡校正方法及移動軌跡產生方法
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
CN102411440B (zh) 一种基于加速度计和陀螺仪传感器的无线头控鼠标
KR100501721B1 (ko) 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
CN102375567A (zh) 笔状指示装置、位移信息提供方法及位移信息提供系统
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
US8614671B2 (en) Input apparatus, control apparatus, control system, and control method
JPH09230997A (ja) ペン型入力装置
WO2006060576A1 (en) Precise, no-contact, position sensing using imaging
US11507198B2 (en) Gesture detection using external sensors
JP2009223839A (ja) ペン型入力装置及び手書き入力方法
TWI476733B (zh) 運動軌跡重建方法及其裝置
CN102306054A (zh) 姿态感知设备及其定位、鼠标指针的控制方法和装置
JP3505057B2 (ja) ペン型入力装置
CN110647282A (zh) 一种手写轨迹信息获取方法
US8432360B2 (en) Input apparatus, method and program
WO2013023411A1 (zh) 姿态感知设备的定位方法、鼠标指针的控制方法
KR100940095B1 (ko) 포인터 이동 값 계산 장치, 포인터 이동 값 보정 방법 및자세 각도 변화량 보정 방법, 이를 사용하는 3차원 포인팅디바이스
JP3678386B2 (ja) ペン型入力装置
Toyozumi et al. Trajectory reconstruction algorithm based on sensor fusion between IMU and strain gauge for stand-alone digital pen
KR100512963B1 (ko) 관성항법시스템을 이용한 펜형 공간 입력시스템 및 그궤적 복원 방법
JPH1145150A (ja) ペン型入力装置
JPH10240437A (ja) ペン型入力システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant