CN107688348B - 一种实现指向控制功能的无线人机交互设备和方法 - Google Patents

Abstract

本发明提供了一种实现指向控制功能的无线人机交互设备和方法，利用加速度计和磁强计对姿态角估计值修正，因而传感器误差影响小；利用无线传输模块，与智能设备通过无线信号进行连接，无线控制的特点使本发明方便、灵活、在有限距离内都可使用；利用控制模式的切换键选择2D图形界面或3D图形界面的指向控制工作模式，使无线人机交互设备适合不同图形界面的操作系统；通过控制模式的开关键，当光标移至屏幕边界、无法流畅控制或不需要控制时，强制将光标的位移变换为零，方便使用者调整操作姿势。

Description

一种实现指向控制功能的无线人机交互设备和方法

技术领域

本发明涉及无线人机交互领域，具体涉及一种实现指向控制功能的无线人机交互设备和方法。

背景技术

鼠标作为常用的人机交互设备，扮演着重要角色。虽然现今部分鼠标可以脱离桌面载体使用，但只适用于使用2D图形界面的操作系统下的指向操作，对于使用3D图形界面的操作系统或者VR系统等需要3D指向操作的情况，难以适用。

随着科学技术的发展，陀螺仪和加速度计为测量物体的运动信息(加速度、角速度)提供了微型化、低成本、低功耗的解决方案。

对于2D图形界面，现有的技术提供的空中鼠标位移的解决方案是，国家知识产权局于2009年授权公告的专利号为ZL200820050169.8的发明专利公开了一种无线演示控制器，其设有MEMS三轴加速度传感器，该三轴加速度传感器实时测量演示控制器运动所产生的三维加速度，并由控制器模块处理转换成位移信号，再通过无线发送模块将该位移信号发送给计算机，从而控制光标的移动。

该方案可实现对多媒体演示的遥控操作控制，为使用者提供了极大的方便，但同时也存在着下述问题：(1)由于使用者挥动无线演示控制器运动时所产生的加速度非常小，约为0.05～0.1g(g＝9.gm/s²)，与基于MEMS技术的加速度传感器产生的误差信号约为同一数量级，因此当使用者挥动无线演示控制器的力度较小时，会因三轴加速度传感器输出信号的信噪比太低而无法判断无线演示控制器的移动；(2)因为加速度计测量的不是载体的运动加速度，而是载体相对惯性空间的绝对加速度和引力加速度之和，称作“比力”，因此在计算位移时需要减去引力加速度，但考虑到载体存在旋转运动，因此引力加速度在三轴的分量持续变化，因此在计算载体的运动加速度时会有较大误差；(3)对加速度数据两次积分计算位移，表示指针的位移，会将(1)和(2)中所提的加速度计的误差随着时间增长呈幂次级积累。对于3D图形界面，通过加速度积分测量位移的方法实现指向功能，上述的缺点在三轴出现。

国家知识产权局于2014年授权公告的专利申请号为CN201210479353的发明专利公开了一种控制空中鼠标的方法：根据空中鼠标在各方向的角速度，确定所述空中鼠标在各方向的速度。虽然该方案提供了一种可行的方法，但存在以下问题：(1)目前的消费级陀螺仪精度较低，零偏较大，因此测量的角速度包含随机噪声；(2)该方法是实现2D图形界面的光标控制功能，无法用于3D图形界面的光标操作。

惯性传感器通过测量手持设备的运动信息控制光标的指向，手的运动范围很大，光标运动受屏幕限制。当光标触及屏幕边界时，光标运动受到限制，此时手部的运动无法有效控制光标。

因此，如何提供一种实现指向控制功能的无线人机交互设备和方法，使其能够同时具备传感器误差影响小、无线控制、适合不同图形界面的操作系统且方便使用者调整操作姿势的优点，是该领域技术人员所面临的技术难题。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明提供了一种实现指向控制功能的无线人机交互设备和方法，同时具有传感器误差影响小、无线控制、适合不同图形界面的操作系统且方便使用者调整操作姿势的优点。

(二)技术方案

本发明提供了一种实现指向控制功能的无线人机交互设备，用于控制被控设备的光标和图形界面，包括指向控制模块；所述指向控制模块，包括按键模块、微控制器、无线传输模块，按键模块连接微控制器，微控制器连接无线传输模块；

所述按键模块包括控制模式的切换键，用于在2D图形界面和3D图形界面工作模式之间切换，并产生模式切换信号；

微控制器用于根据模式切换信号得到模式切换指令；无线传输模块用于将模式切换指令传输给被控设备。

在本发明的一些实施例中，所述指向控制模块还包括陀螺仪、加速度计和磁强计，陀螺仪、加速度计和磁强计分别连接微控制器；

陀螺仪用于测量角速度的三轴分量；

加速度计用于测量重力加速度的三轴分量；

磁强计用于测量磁强度的三轴分量；

微控制器用于根据角速度的三轴分量、重力加速度的三轴分量和磁强计的三轴分量得到光标位移变换及3D图形界面的视角旋转指令；

无线传输模块用于将光标位移变换及3D图形界面的视角旋转指令传输给被控设备。

在本发明的一些实施例中，在2D图形界面工作模式下，

微控制器用于根据陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度计算姿态角最优估计值，得到姿态角变换速率中的航向角变换速率和俯仰角变换速率，转换为光标位移信息。

在本发明的一些实施例中，所述按键模块还包括前后键；在3D图形界面工作模式下，

微控制器用于根据陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度计算姿态角最优估计值，得到姿态角变换速率中的航向角变换速率、俯仰角变换速率和横滚角变换速率，其中，航向角的变化速率表示3D图形界面中光标在X轴的位移变换信息；俯仰角的变化速率表达3D图形界面中光标在Y轴的位移变换信息；横滚角的变换速率为3D图形界面中视角的旋转变换信息；前后键控制3D图形界面中光标在Z轴的位移变换指令。

在本发明的一些实施例中，所述按键模块还包括开关键，

当被控设备的光标移至屏幕边界、无法流畅控制或不需要控制时，

所述开关键用于产生归零信号；

微控制器用于根据归零信号得到光标归零指令；

无线传输模块用于将光标归零指令传输给被控设备，强制将光标的位移变换为零。

在本发明的一些实施例中，还包括：

电源模块，用于指向控制模块的供电；

所述按键模块还包括：

左右键，用于图形用户界面下文件的选择与打开；

滚轮，用于滚动区域内滚动条的控制。

本发明提供了一种实现指向控制功能的无线人机交互方法，其利用上述任一项所述的实现指向控制功能的无线人机交互设备，包括：

步骤S1：利用传感器测量当前时刻无线人机交互设备的姿态角最优估计值；

步骤S2：由相邻时刻的姿态角最优估计值，计算姿态角的变换速率；由姿态角的变换速率分解得到姿态角中俯仰角的变换速率、航向角的变换速率、横滚角的变换速率；

步骤S3：微控制器判断控制模式的切换键的输入指令是否为2D图形界面工作模式，当判断结果为是，设备进入2D图形界面工作模式，执行步骤S4；当判定结果为否，设备进入3D图形界面工作模式，执行步骤S′4；

步骤S4：将姿态角的变换速率转换为2D图形界面的光标位移变换信息；

步骤S′4：将姿态角的变换速率、前后键的控制指令转换为3D图形界面的光标位移变换及3D图形界面的视角旋转信息；

步骤S5：光标的位移变换信息、3D图形界面中视角旋转信息、按键模块的控制指令由无线传输模块传输至被控设备。

在本发明的一些实施例中，所述步骤S1包括：

在当前时刻为t，陀螺仪测量无线人机交互设备的角速度在三轴的分量，加速度计测量无线人机交互设备的重力加速度在三轴的分量，磁强计测量无线人机交互设备的磁场强度在三轴的分量；

利用角速度在三轴的分量与t-1时刻的姿态角最优估计值计算获得t时刻的姿态角估计值；

利用重力加速度在三轴的分量和磁场强度在三轴的分量对获得的t时刻的姿态角估计值进行修正，得到t时刻的姿态角最优估计值。

在本发明的一些实施例中，所述步骤S4包括：

姿态角中的航向角的变换速率表示2D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变换速率表示2D图形界面中光标在Y轴的位移变换。

在本发明的一些实施例中，所述步骤S′4包括：

姿态角中的航向角的变化速率表示3D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变化速率表达3D图形界面中光标在Y轴的位移变换；姿态角中的横滚角的变换速率为3D图形界面中视角的旋转变换；前后键控制3D图形界面中光标在Z轴的位移变换。

(三)有益效果

从上述技术方案可以看出，本发明所提供的实现指向控制功能的无线人机交互设备和方法具有以下有益效果至少其中之一：

1、本发明中使用加速度计和磁强计对姿态角估计值修正，因而传感器误差影响小；

2、本发明利用无线传输模块，与智能设备通过无线信号进行连接，无线控制的特点使本发明方便、灵活、在有限距离内都可使用；

3、本发明提出的设备和方法可以通过控制模式的切换键选择2D图形界面或3D图形界面的指向控制工作模式，更适合不同图形界面的操作系统；

4、本发明中，当光标移至屏幕边界、无法流畅控制或不需要控制时可以通过控制模式的开关键强制将光标的位移变换为零，方便使用者调整操作姿势。

附图说明

图1为本发明实施例实现指向控制功能的无线人机交互设备的结构示意图；

图2为本发明实施例实现指向控制功能的无线人机交互方法流程图。

【符号说明】

1-电源按键；2-电源；3-控制模式的切换键；4-控制模式的开关键；5-前后键；6-左右键；7-滚轮；8-陀螺仪；9-加速度计；10-磁强计；11-微控制器；12-无线传输模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的方式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是在可接受的误差容限或设计约束内近似于相应的值。

本发明中的2D图形中，X、Y轴分别指2D图形中的水平方向和2D图形中的垂直方向，以windows系统为例，即显示界面的横向和纵向；3D图形界面中，X、Y、Z三轴是指在2D图形界面的基础上增加垂直于2D图形界面的Z轴。

本发明实施例提供了一种实现指向控制功能的无线人机交互设备。如图1所示，图1为本发明实施例提供的实现指向控制功能的无线人机交互设备的结构示意图，用于对被控设备的光标及图形界面进行控制，该设备包括电源模块和指向控制模块。

电源模块包括：电源按键1、电源2，用于指向控制模块的供电。

指向控制模块包括：按键模块、陀螺仪8、加速度计9、磁强计10、微控制器11、无线传输模块12，用于向被控设备无线传输指向控制指令。按键模块包括：控制模式的切换键3、控制模式的开关键4、前后键5、左右键6、滚轮7，其中，按键模块、陀螺仪、加速度计、磁强计分别连接微控制器，微控制器连接无线传输模块。

本实施例的按键模块如图1所示，包括控制模式的切换键3、控制模式的开关键4、前后键5、左右键6、滚轮7。

控制模式的切换键用于光标在2D图形界面工作模式和3D图形界面工作模式间的切换；控制模式的开关键用于当光标移至屏幕边界、无法流畅控制或不需要控制时，强制将光标的位移变换为零；前后键用于控制3D图形界面下光标在Z轴的位移变换；左右键相当于传统鼠标的左键和右键，用于图形用户界面下文件的选择与打开；滚轮用于滚动区域内滚动条的控制。

陀螺仪用于测量无线人机交互设备的角速度在三轴的分量；加速度计用于测量无线人机交互设备的重力加速度在三轴的分量；磁强计用于测量无线人机交互设备的磁场强度在三轴的分量。

按键模块的按键和滚轮被操作后发出对应的控制指令，控制指令和角速度、重力加速度、磁场强度在三轴的分量输入微控制器，经微控制器处理后，得到光标的位移变换信息及3D图形界面的视角旋转信息。

在2D图形界面工作模式下，陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度，一并发给微控制器，微控制器接收后计算出设备的姿态角，并进一步得到航向角的变换速率和俯仰角的变换速率，转换为光标位移信息。姿态角中的航向角的变换速率表示光标在X轴的位移变换；姿态角中的俯仰角的变换速率表示光标在Y轴的位移变换。当光标移至屏幕边界、无法流畅控制或不需要控制，控制模式的开关键输入指令，强制将光标在X、Y轴方向上的位移变换为零。

在3D图形界面工作模式，陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度，一并发给微控制器，微控制器接收后计算出设备的姿态角，并进一步得到航向角的变换速率、俯仰角的变换速率和横滚角的变换速率，转换为光标位移信息及3D图形界面的视角旋转信息。姿态角中的航向角的变换速率表示光标在X轴的位移变换；姿态角中的俯仰角的变换速率表示光标在Y轴的位移变换；姿态角中的横滚角的变换速率表示视角的旋转变化；前后键控制3D图形界面中光标在Z轴的位移变换。当光标移至屏幕边界、无法流畅控制或不需要控制，控制模式的开关键输入指令，强制将光标在X、Y、Z轴方向上的位移变换为零。

微控制器将光标的位移变换信息、3D图形界面的视角旋转信息和按键模块的控制指令通过无线传输模块传输至被控设备，该被控设备可以是计算机或各种智能设备，被控设备基于接收到的光标位移变换信息和按键模块的控制指令，对光标和图形界面进行控制。

本发明另一实施例的实现指向控制功能的无线人机交互方法，其利用上述无线人机设备，包括：

步骤S1：利用传感器测量当前时刻无线人机交互设备的姿态角最优估计值。

具体来说，设当前时刻为t，当无线人机设备电源模块处于工作状态，陀螺仪测量无线人机交互设备的角速度在三轴的分量；加速度计测量无线人机交互设备的重力加速度在三轴的分量；磁强计测量无线人机交互设备的磁场强度在三轴的分量，微控制器使用适应性互补滤波的方法计算获得姿态角最优估计值。

适应性互补滤波方法即利用无线人机交互设备的角速度在三轴的分量与t-1时刻的姿态角最优估计值计算获得t时刻的姿态角估计值。利用无线人机交互设备的重力加速度在三轴的分量和无线人机交互设备的磁场强度在三轴的分量对获得的t时刻的姿态角估计值进行修正，得到t时刻的姿态角最优估计值。

步骤S2：由相邻时刻的姿态角最优估计值，计算姿态角的变换速率。由姿态角的变换速率分解得到姿态角中俯仰角的变换速率、航向角的变换速率、横滚角的变换速率。

步骤S3：微控制器判断控制模式的切换键的输入指令是否为2D图形界面工作模式，当判断结果为是，设备进入2D图形界面工作模式，执行步骤S4；当判定结果为否，设备进入3D图形界面工作模式，执行步骤S′4。

步骤S4：将姿态角的变换速率转换为2D图形界面的光标位移变换信息。

姿态角中的航向角的变换速率表示2D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变换速率表示2D图形界面中光标在Y轴的位移变换。

步骤S′4：将姿态角的变换速率转换、前后键的控制指令转换为3D图形界面的光标位移变换信息和3D图形界面的视角旋转信息。

姿态角中的航向角的变换速率表示3D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变换速率表达3D图形界面中光标在Y轴的位移变换；姿态角中的横滚角的变换速率为3D图形界面中视角的旋转变换；前后键控制3D图形界面中光标在Z轴的位移变换。

步骤S5：步骤S4、步骤S′4中光标的位移信息、3D图形界面的视角旋转信息、按键模块的控制指令由无线传输模块传输至被控设备。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的一种实现指向控制功能的无线人机交互设备和方法有了清楚的认识。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和步骤的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换，实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围；上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

综上所述，本发明提供一种实现指向控制功能的无线人机交互设备和方法，具有传感器误差影响小、无线控制、适合不同图形界面的操作设备且方便使用者调整操作姿势的优点。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种实现指向控制功能的无线人机交互方法，所述方法基于无线人机交互设备，所述无线人机交互设备用于控制被控设备的光标和图形界面，所述无线人机交互设备包括指向控制模块；

所述指向控制模块，包括按键模块、微控制器、无线传输模块，按键模块连接微控制器，微控制器连接无线传输模块；

所述按键模块包括控制模式的切换键，用于在2D图形界面和3D图形界面工作模式之间切换，并产生模式切换信号；

微控制器用于根据模式切换信号得到模式切换指令；

无线传输模块用于将模式切换指令传输给被控设备；

所述方法包括以下步骤：

步骤S1：利用传感器测量当前时刻无线人机交互设备的姿态角最优估计值；

步骤S2：由相邻时刻的姿态角最优估计值，计算姿态角的变换速率；由姿态角的变换速率分解得到姿态角中俯仰角的变换速率、航向角的变换速率、横滚角的变换速率；

步骤S3：微控制器判断控制模式的切换键的输入指令是否为2D图形界面工作模式，当判断结果为是，设备进入2D图形界面工作模式，执行步骤S4；当判定结果为否，设备进入3D图形界面工作模式，执行步骤S′4；

步骤S4：将姿态角的变换速率转换为2D图形界面的光标位移变换信息；

步骤S′4：将姿态角的变换速率、前后键的控制指令转换为3D图形界面的光标位移变换及3D图形界面的视角旋转信息；

步骤S5：光标的位移变换信息、3D图形界面中视角旋转信息、按键模块的控制指令由无线传输模块传输至被控设备；

其中，所述步骤S1包括：

在当前时刻为t，陀螺仪测量无线人机交互设备的角速度在三轴的分量，加速度计测量无线人机交互设备的重力加速度在三轴的分量，磁强计测量无线人机交互设备的磁场强度在三轴的分量；

利用角速度在三轴的分量与t-1时刻的姿态角最优估计值计算获得t时刻的姿态角估计值；

利用重力加速度在三轴的分量和磁场强度在三轴的分量对获得的t时刻的姿态角估计值进行修正，得到t时刻的姿态角最优估计值。

2.如权利要求1所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述指向控制模块还包括陀螺仪、加速度计和磁强计，陀螺仪、加速度计和磁强计分别连接微控制器；

陀螺仪用于测量角速度的三轴分量；

加速度计用于测量重力加速度的三轴分量；

磁强计用于测量磁强度的三轴分量；

微控制器用于根据角速度的三轴分量、重力加速度的三轴分量和磁强度的三轴分量得到光标位移变换及3D图形界面的视角旋转指令；

无线传输模块用于将光标位移变换及3D图形界面的视角旋转指令传输给被控设备。

3.如权利要求2所述的一种实现指向控制功能的无线人机交互方法，其特征在于，在2D图形界面工作模式下，

微控制器用于根据陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度计算姿态角最优估计值，得到姿态角变换速率中的航向角变换速率和俯仰角变换速率，转换为光标位移信息。

4.如权利要求2所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述按键模块还包括前后键；在3D图形界面工作模式下，

微控制器用于根据陀螺仪测量的角速度、加速度计测量的重力加速度以及磁强计测量的磁场强度计算姿态角最优估计值，得到姿态角变换速率中的航向角变换速率、俯仰角变换速率和横滚角变换速率，其中，航向角的变化速率表示3D图形界面中光标在X轴的位移变换信息；俯仰角的变化速率表达3D图形界面中光标在Y轴的位移变换信息；横滚角的变换速率为3D图形界面中视角的旋转变换信息；前后键控制3D图形界面中光标在Z轴的位移变换指令。

5.如权利要求1所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述按键模块还包括控制模式的开关键，

当被控设备的光标移至屏幕边界、无法流畅控制或不需要控制时，

所述控制模式的开关键用于产生归零信号；

微控制器用于根据归零信号得到光标归零指令；

无线传输模块用于将光标归零指令传输给被控设备，强制将光标的位移变换为零。

6.如权利要求1所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述无线人机交互设备还包括：

电源模块，用于指向控制模块的供电；

所述按键模块还包括：

左右键，用于图形用户界面下文件的选择与打开；

滚轮，用于滚动区域内滚动条的控制。

7.如权利要求1所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述步骤S4包括：

姿态角中的航向角的变换速率表示2D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变换速率表示2D图形界面中光标在Y轴的位移变换。

8.如权利要求1所述的一种实现指向控制功能的无线人机交互方法，其特征在于，所述步骤S′4包括：

姿态角中的航向角的变化速率表示3D图形界面中光标在X轴的位移变换；姿态角中的俯仰角的变化速率表达3D图形界面中光标在Y轴的位移变换；姿态角中的横滚角的变换速率为3D图形界面中视角的旋转变换；前后键控制3D图形界面中光标在Z轴的位移变换。

Images