CN103501473B - 基于mems传感器的多功能耳机及其控制方法 - Google Patents

Abstract

本发明公开一种基于MEMS传感器的多功能耳机及其控制方法，主要由电源、主控模块、喇叭、麦克风、MEMS传感器和通信模块组成；其中电源连接主控模块、MEMS传感器和通信模块；喇叭与主控模块的输出端相连；麦克风与主控模块的输入端相连；MEMS传感器连接在主控模块的输入端上；通信模块经主控模块与外部计算机相连接。耳机上的MEMS传感器感应操作人员的头部运动实现鼠标移动功能，操作人员通过耳机的麦克风输入相应的声音信号在计算机软件端进行识别并实现鼠标控制功能。

Description

基于MEMS传感器的多功能耳机及其控制方法

技术领域

本发明涉及一种耳机，具体涉及一种基于MEMS传感器的多功能耳机及其控制方法。

背景技术

MEMS是微机电系统的缩写。MEMS主要包括微型机构、微型传感器、微型执行器和相应的处理电路等几部分，它是在融合多种微细加工技术，并应用现代信息技术的最新成果的基础上发展起来的高科技前沿学科。MEMS技术的发展开辟了一个全新的技术领域和产业，采用MEMS技术制作的微传感器、微执行器、微型构件、微机械光学器件、真空微电子器件、电力电子器件等在航空、航天、汽车、生物医学、环境监控、军事以及几乎人们所接触到的所有领域中都有着十分广阔的应用前景。MEMS传感器已经广泛应用于手机、平板电脑和游戏手柄等电子产品，MEMS传感器能精准感应人体的动作姿态，通过结合MEMS传感器，手机、平板电脑和游戏手柄的操作方式得到丰富，使用者能更轻松地完成一些操作输入。然而目前的耳机仅作为单一的声音输入输出工具，尚未有结合MEMS传感器的耳机问世。

发明内容

本发明所要解决的技术问题是提供一种基于MEMS传感器的多功能耳机及其控制方法，其耳机上的MEMS传感器感应操作人员的头部运动实现鼠标移动功能，操作人员通过耳机的麦克风输入相应的声音信号在计算机软件端进行识别并实现鼠标控制功能。

为解决上述问题，本发明是通过以下技术方案实现的：

基于MEMS传感器的多功能耳机，主要由电源、主控模块、喇叭、麦克风、MEMS传感器和通信模块组成；其中电源连接主控模块、MEMS传感器和通信模块；喇叭与主控模块的输出端相连；麦克风与主控模块的输入端相连；MEMS传感器连接在主控模块的输入端上；通信模块经主控模块与外部计算机相连接。

上述方案中，所述MEMS传感器为三轴陀螺仪、三轴加速度计、六轴传感器或九轴传感器。

上述方案中，所述通信模块为蓝牙模块、2.4G无线模块或USB模块。

基于上述多功能耳机所实现的基于MEMS传感器的多功能耳机的控制方法，包括如下步骤：

（1）鼠标控制步骤：

（1.1）MEMS传感器将感应到的运动信号传送至主控模块；

（1.2）主控模块首先读出采样周期内的运动信号，并将运动信号转换为k时刻的鼠标Y轴坐标和X轴坐标；

（1.3）主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

（1.4）外部计算机读入鼠标坐标信号并完成鼠标移动；

（2）语音控制输入步骤：

（2.1）麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

（2.2）主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

（2.3）外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的HMM（隐马尔可夫）模型进行匹配，若匹配成功则执行该HMM（隐马尔可夫）模型所对应的鼠标操作；

（3）音频播放输出步骤：

（3.1）外部计算机通过通信模块将音频数字信号发送至主控模块；

（3.2）主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

当MEMS传感器为三轴陀螺仪时，其鼠标控制步骤中的（1.1）和（1.2）具体为：

（1.1）三轴陀螺仪将感应到的三轴转动角度x_gyro、y_gyro、z_gyro传送至主控模块；

（1.2）主控模块首先读出k时刻的三轴转动角度x_gyro、y_gyro、z_gyro，并通过转换公式将x_gyro转换为鼠标Y轴位移□y，z_gyro转换为鼠标X轴位移□x，其中转换公式为：

□y=n₁□x_gyro，其中n₁代表比例系数，

□x=n₂□z_gyro，其中n₂代表比例系数，

然后计算出k时刻的鼠标Y轴坐标和X轴坐标，即

在k时刻鼠标Y轴坐标为：

Y_k=Y_k-1+□y，其中Y_k-1代表k-1时刻鼠标Y轴坐标，

在k时刻鼠标X轴坐标为：

X_k=X_k-1+□x，其中X_k-1代表k-1时刻鼠标X轴坐标。

当MEMS传感器为三轴加速度计时，其鼠标控制步骤中的（1.1）和（1.2）具体为：

（1.1）三轴加速度计将感应到的三轴加速度x_acc、y_acc、z_acc传送至主控模块；

（1.2）主控模块首先读出k时刻的三轴加速度x_acc、y_acc、z_acc，并通过转换公式计算出横滚角φ和俯仰角θ，其中转换公式为：

φ=arctan(x_acc/z_acc)，

$\mathrm{\θ}=\arctan (y_{\mathrm{acc}}/\sqrt{{x_{\mathrm{acc}}}^2+{z_{\mathrm{acc}}}^2}),$

然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限。

当MEMS传感器为六轴传感器时，其鼠标控制步骤中的（1.1）和（1.2）具体为：

（1.1）六轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

（1.2）主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限。

当MEMS传感器为九轴传感器时，其鼠标控制步骤中的（1.1）和（1.2）具体为：

（1.1）九轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

（1.2）主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限。

与现有技术相比，本发明结合MEMS传感器感应操作人员的头部运动，并将感应信息传送至主控模块进行处理转化为鼠标坐标信号，由通信模块传输至计算机完成鼠标移动；计算机软件端预先录入操作人员的声音样本并生成声音模型，每个声音模型对应不同的鼠标按键操作，操作人员只需对麦克风发出相应的语音指令，语音指令由通信模块传输至计算机软件端与声音模型进行匹配即可完成单击、双击和右击功能。一方面，使用耳机的麦克风接收语音指令，再通过语音识别软件将语音指令转化为鼠标的按键操作，从而为MEMS鼠标提供快速的鼠标按键操作，使MEMS鼠标能高效、完整实现鼠标的功能；另一方面，MEMS鼠标与耳机的结合又扩展了耳机的功能，非常实用。由于本发明集合了耳机和鼠标的功能，因此能够方便游戏娱乐操作，即便是手部不便运动的残疾人也能轻松使用该耳机完成鼠标控制和音乐功能。

附图说明

图1为一种基于MEMS传感器的多功能耳机的原理框图。

具体实施方式

参见图1，一种基于MEMS传感器的多功能耳机，主要由电源、主控模块、喇叭、麦克风、MEMS传感器和通信模块组成。其中电源连接主控模块、MEMS传感器和通信模块。喇叭与主控模块的输出端相连。麦克风与主控模块的输入端相连。MEMS传感器连接在主控模块的输入端上。通信模块经主控模块与外部计算机相连接。在本发明中，所选用的MEMS传感器为三轴陀螺仪、三轴加速度计、六轴传感器或九轴传感器中的其中一种。所选用的通信模块为蓝牙模块、2.4G无线模块或USB模块中的其中一种。在本发明优选实施例中，所选用的通信模块为2.4G无线模块；所选用的电源为锂电源；所选用的主控模块的型号为STM32F103RBT6，该主控模块与MEMS传感器的接口为I²C接口，主控模块与通信模块的接口为SPI接口。

实施方式一：当MEMS传感器为三轴陀螺仪时，上述多功能耳机所实现的基于MEMS传感器的多功能耳机的控制方法，其特征是包括如下步骤：

（1）鼠标控制步骤：

（1.1）三轴陀螺仪将感应到的三轴转动角度x_gyro、y_gyro、z_gyro传送至主控模块；

（1.2）主控模块首先读出k时刻的三轴转动角度x_gyro、y_gyro、z_gyro，并通过转换公式将x_gyro转换为鼠标Y轴位移□y，z_gyro转换为鼠标X轴位移□x，其中转换公式为：

□y=n₁□x_gyro，其中n₁代表比例系数，

□x=n₂□z_gyro，其中n₂代表比例系数，

然后计算出k时刻的鼠标Y轴坐标和X轴坐标，即

在k时刻鼠标Y轴坐标为：

Y_k=Y_k-1+□y，其中Y_k-1代表k-1时刻鼠标Y轴坐标，

在k时刻鼠标X轴坐标为：

X_k=X_k-1+□x，其中X_k-1代表k-1时刻鼠标X轴坐标；

（1.3）主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

（1.4）外部计算机读入鼠标坐标信号并完成鼠标移动。

（2）语音控制输入步骤：

（2.1）麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

（2.2）主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

（2.3）外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的HMM（隐马尔可夫）模型进行匹配，若匹配成功则执行该HMM（隐马尔可夫）模型所对应的鼠标操作；

在本发明优选实施例中，计算机软件端通过HTK工具包建立语音识别系统，通过麦克风采集操作人员的3个不同的声音样本，由HTK工具包的HCopy工具提取声音特征并建立HMM（隐马尔可夫）模型。操作人员使用麦克风输入声音指令时，使用HTK工具包的HCopy工具提取声音指令的声音特征，再与已建立的HMM模型在HVit工具下使用Viterbi算法下匹配，匹配成功则执行相应的鼠标操作。3个声音样本匹配成功后分别执行鼠标的单击、双击和右击操作。

（3）音频播放输出步骤：

（3.1）外部计算机通过通信模块将音频数字信号发送至主控模块；

（3.2）主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

实施方式二：当MEMS传感器为三轴加速度计时，上述多功能耳机所实现的基于MEMS传感器的多功能耳机的控制方法，其特征是包括如下步骤：

（1）鼠标控制步骤：

（1.1）三轴加速度计将感应到的三轴加速度x_acc、y_acc、z_acc传送至主控模块；

（1.2）主控模块首先读出k时刻的三轴加速度x_acc、y_acc、z_acc，并通过转换公式计算出横滚角φ和俯仰角θ，其中转换公式为：

φ=arctan(x_acc/z_acc)，

$\mathrm{\θ}=\arctan (y_{\mathrm{acc}}/\sqrt{{x_{\mathrm{acc}}}^2+{z_{\mathrm{acc}}}^2}),$

然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限；

（1.3）主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

（1.4）外部计算机读入鼠标坐标信号并完成鼠标移动。

（2）语音控制输入步骤：

（2.1）麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

（2.2）主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

（2.3）外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的HMM（隐马尔可夫）模型进行匹配，若匹配成功则执行该HMM（隐马尔可夫）模型所对应的鼠标操作；

在本发明优选实施例中，计算机软件端通过HTK工具包建立语音识别系统，通过麦克风采集操作人员的3个不同的声音样本，由HTK工具包的HCopy工具提取声音特征并建立HMM（隐马尔可夫）模型。操作人员使用麦克风输入声音指令时，使用HTK工具包的HCopy工具提取声音指令的声音特征，再与已建立的HMM模型在HVit工具下使用Viterbi算法下匹配，匹配成功则执行相应的鼠标操作。3个声音样本匹配成功后分别执行鼠标的单击、双击和右击操作。

（3.1）外部计算机通过通信模块将音频数字信号发送至主控模块；

（3.2）主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

实施方式三：当MEMS传感器为六轴传感器时（在本发明优选实施例中，所述六轴传感器的型号为MPU6050，其主要由加速度计+电子罗盘组成），上述多功能耳机所实现的基于MEMS传感器的多功能耳机的控制方法，其特征是包括如下步骤：

（1）鼠标控制步骤：

（1.1）六轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

（1.2）主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限；

（1.3）主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

（1.4）外部计算机读入鼠标坐标信号并完成鼠标移动。

（2）语音控制输入步骤：

（2.1）麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

（2.2）主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

（2.3）外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的HMM（隐马尔可夫）模型进行匹配，若匹配成功则执行该HMM（隐马尔可夫）模型所对应的鼠标操作；

在本发明优选实施例中，计算机软件端通过HTK工具包建立语音识别系统，通过麦克风采集操作人员的3个不同的声音样本，由HTK工具包的HCopy工具提取声音特征并建立HMM（隐马尔可夫）模型。操作人员使用麦克风输入声音指令时，使用HTK工具包的HCopy工具提取声音指令的声音特征，再与已建立的HMM模型在HVit工具下使用Viterbi算法下匹配，匹配成功则执行相应的鼠标操作。3个声音样本匹配成功后分别执行鼠标的单击、双击和右击操作。

（3）音频播放输出步骤：

（3.1）外部计算机通过通信模块将音频数字信号发送至主控模块；

（3.2）主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

实施方式四：当MEMS传感器为九轴传感器时（在本发明优选实施例中，所述九轴传感器的型号为MPU9150，其主要由加速度计+陀螺仪+电子罗盘组成），上述多功能耳机所实现的基于MEMS传感器的多功能耳机的控制方法，其特征是包括如下步骤：

（1）鼠标控制步骤：

（1.1）九轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

（1.2）主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X=n′₁·（φ_max-φ），其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y=n′₂·（θ_max-θ），其中n′₂代表比例系数，θ_max代表设定的俯仰角上限；

（1.3）主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

（1.4）外部计算机读入鼠标坐标信号并完成鼠标移动。

（2）语音控制输入步骤：

（2.1）麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

（2.2）主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

（2.3）外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的HMM（隐马尔可夫）模型进行匹配，若匹配成功则执行该HMM（隐马尔可夫）模型所对应的鼠标操作；

在本发明优选实施例中，计算机软件端通过HTK工具包建立语音识别系统，通过麦克风采集操作人员的3个不同的声音样本，由HTK工具包的HCopy工具提取声音特征并建立HMM（隐马尔可夫）模型。操作人员使用麦克风输入声音指令时，使用HTK工具包的HCopy工具提取声音指令的声音特征，再与已建立的HMM模型在HVit工具下使用Viterbi算法下匹配，匹配成功则执行相应的鼠标操作。3个声音样本匹配成功后分别执行鼠标的单击、双击和右击操作。

（3）音频播放输出步骤：

（3.1）外部计算机通过通信模块将音频数字信号发送至主控模块；

（3.2）主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

Claims (4)

1.基于MEMS传感器的多功能耳机的控制方法，其特征是包括如下步骤：

(1)鼠标控制步骤：

(1.1)MEMS传感器将感应到的运动信号传送至主控模块；

(1.2)主控模块首先读出采样周期内的运动信号，并将运动信号转换为k时刻的鼠标Y轴坐标和X轴坐标；

(1.3)主控模块将实时计算出的k时刻的鼠标Y轴和X轴坐标信号通过通信模块发送到外部计算机中；

(1.4)外部计算机读入鼠标坐标信号并完成鼠标移动；

(2)语音控制输入步骤：

(2.1)麦克风将接收到的语音控制模拟信号通过通信模块发送至主控模块；

(2.2)主控模块将语音控制模拟信号模数转换为语音控制数字信号后，通过通信模块发送到外部计算机中；

(2.3)外部计算机将接收到的语音控制数字信号提取声音特征，再与预先存储在计算机内部的声音样本的隐马尔可夫模型进行匹配，若匹配成功则执行该隐马尔可夫模型所对应的鼠标操作；

(3)音频播放输出步骤：

(3.1)外部计算机通过通信模块将音频数字信号发送至主控模块；

(3.2)主控模块将音频数字信号进行数模转换后送至喇叭进行播放。

2.根据权利要求1所述基于MEMS传感器的多功能耳机的控制方法，其特征是，当MEMS传感器为三轴加速度计时，其鼠标控制步骤中的(1.1)和(1.2)具体为：

(1.1)三轴加速度计将感应到的三轴加速度x_acc、y_acc、z_acc传送至主控模块；

(1.2)主控模块首先读出k时刻的三轴加速度x_acc、y_acc、z_acc，并通过转换公式计算出横滚角φ和俯仰角θ，其中转换公式为：

φ＝arctan(x_acc/z_acc)，

$\mathrm{\θ}=arctan(y_{acc}/\sqrt{{x_{acc}}^2+{z_{acc}}^2}),$

然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X＝n′₁·(φ_max-φ)，其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y＝n'₂·(θ_max-θ)，其中n'₂代表比例系数，θ_max代表设定的俯仰角上限。

3.根据权利要求1所述基于MEMS传感器的多功能耳机的控制方法，其特征是，当MEMS传感器为六轴传感器时，其鼠标控制步骤中的(1.1)和(1.2)具体为：

(1.1)六轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

(1.2)主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X＝n′₁·(φ_max-φ)，其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y＝n'₂·(θ_max-θ)，其中n'₂代表比例系数，θ_max代表设定的俯仰角上限。

4.根据权利要求1所述基于MEMS传感器的多功能耳机的控制方法，其特征是，当MEMS传感器为九轴传感器时，其鼠标控制步骤中的(1.1)和(1.2)具体为：

(1.1)九轴传感器将其感应到的融合数据以欧拉角的格式发送至主控模块；

(1.2)主控模块首先从融合数据中读出k时刻的横滚角φ和俯仰角θ，然后将横滚角φ转换为k时刻鼠标X轴坐标，俯仰角θ转换为k时刻鼠标Y轴坐标，即

在k时刻鼠标X轴坐标为：

X＝n′₁·(φ_max-φ)，其中n′₁代表比例系数，φ_max代表设定的横滚角上限，

在k时刻鼠标Y轴坐标为：

Y＝n'₂·(θ_max-θ)，其中n'₂代表比例系数，θ_max代表设定的俯仰角上限。