CN104010089A - 一种基于眨眼肌电信号检测的手机拨号方法及系统 - Google Patents

Abstract

本发明公开了一种基于眨眼肌电信号检测的手机拨号方法及系统，该方法包括以下步骤：步骤1：由蓝牙脑肌电耳机采集人体的肌电信号并将该肌电信号通过蓝牙方式发送给手机；步骤2：在手机中对接收的该肌电信号进行数据处理以识别是否存在眨眼动作；步骤3：基于识别出的眨眼动作进行扫描拨号。该基于眨眼肌电信号检测的手机拨号方法及系统易于实施，实时性强，准确率高，能高效服务于残疾人士、伤病肢残等特殊人群。

Description

一种基于眨眼肌电信号检测的手机拨号方法及系统

技术领域

本发明涉及一种基于眨眼肌电信号检测的手机拨号方法及系统，属于生物特征识别的应用领域，尤其适用于伤病肢残等特殊人群。

背景技术

近些年来，智能手机发展迅猛，其已成为人们生活中不可缺少的工具。目前，主流手机生产厂商所生产的手机主要面向普通人群，而残疾人士、伤病肢残患者等人群使用这类手机却很困难。如何让特殊人群使用更为方便智能的手机，成为了广大科学工作者积极研究的课题。在信息通讯技术发展的今天，手机通讯为人们带来了很多便利，而对于本来生活已有不方便之处的特殊人士能够自如地通过手机与他人交流是很有意义的事情。

关于眨眼检测的技术早已有之，如公开号为102799277A、申请号为201210261379.2，名称为一种基于眨眼动作的人机交互方法及系统的专利，是基于图像处理实现人眼检测，这种技术需要借助复杂的图像获取和图像处理技术，实施成本高。

另一份公开号为“103699228A”，名称为“一种眨眼控制的方法及便携终端(申请号：201310733530.2)”的专利记载了另一种方案，即基于检测人眼眨动的频率并通过红外感应器来检测眨眼动作，但是该专利并没有记载这种方式的应用效果，如准确性如何并不可知。

因此，有必要设计一种基于眨眼肌电信号检测的手机拨号方法及系统。

发明内容

本发明所要解决的技术问题是提供一种基于眨眼肌电信号检测的手机拨号方法及系统，该基于眨眼肌电信号检测的手机拨号方法及系统易于实施，实时性强，准确率高，能高效服务于残疾人士、伤病肢残等特殊人群。

发明的技术解决方案如下：

一种基于眨眼肌电信号检测的手机拨号方法，包括以下步骤：

步骤1：由蓝牙脑肌电耳机采集人体的肌电信号并将该肌电信号通过蓝牙方式发送给手机；

步骤2：在手机中对接收的该肌电信号进行数据处理以识别是否存在眨眼动作；

步骤3：基于识别出的眨眼动作进行扫描拨号。

步骤2中对眨眼肌电信号进行数据处理与识别过程包括以下步骤：

步骤1)：限幅滤波步骤：

滤除幅值大于0的波形，留下幅值小于等于0的波形。

$h_i=\left\{\begin{array}{cc}{u}_i,& u_i\≤0\\ 0,& u_i>0\end{array}\right.$

其中h_i为限幅滤波后单位采集点的幅值，u_i为单位采集点原始幅值；i为第i个采样点，i∈[1，100]且i为整数；该信号幅值u_i代表了所采集肌电信号的能量大小，与肌电信号的实际电压v的关系为v＝[u*(1.8/4096)]/2000；其中，v的单位为μv，2000为放大倍数；

步骤2)：特征提取

按照 $M_{\mathrm{Sn}}=F_n+k\×{\∫}_0^t(h_n\left(t\right)-60)\mathrm{dt}$ 对肌电信号进行特征提取；每一个窗口积分一次，其中，t∈[1，100]，且i为整数；h_n(t)为第n个窗口中t时刻采集点的幅值，当且仅当h_n(t)＜0时执行积分，h_n(t)＝0时停止积分；M_sn为第n个窗口的积分值；k为积分缩小因子，取k＝0.05，60为基础波的幅度；

F_n为第n个窗口的积分中继量， $F_n=\left\{\begin{array}{cc}k\&times;{\&Integral;}_0^t(h_{n-1}\left(t\right)-60)\mathrm{dt},& g_{n-1}<0\\ 0,& g_{n-1}=0\end{array}\right.,$ 其中g_n-1为第n-1个窗口最后一个单位采集点幅值，g_n-1≤0。；其中，积分窗口宽度为195ms，包含100个采样点【又名单位采集点】；

步骤3)：眨眼判断值γ设为：

$\mathrm{\&gamma;}=\left|\frac{M_{\mathrm{Sn}}}{1000}\right|$

其中，M_sn为第n个窗口的积分值；当0.5＜γ＜2.35时，判断为存在眨眼行为。【非特定人眨眼信号具有差异，设计学习模式，通过非特定人的多次眨眼学习，缩小γ阂值判定范围，缩小的范围被包含在[0.5，2.35]之间的范围。0.5＜γ＜2.35为眨眼判定的大范围，相对特定人眨眼的判断值偏宽。为此，通过特定人的多次眨眼学习能避免部分误判，从而能提高眨眼行为判断正确率。】

步骤3中的扫描拨号过程为：

手机中集成扫描拨号模块，该扫描拨号模块包括显示单元和键盘单元；键盘单元设置为键盘扫描样式，即进入拨号模块后，键盘横排循环闪烁，闪烁间隔默认时间为1.5s；当判定有眨眼行为后，键盘单元锁定当前闪烁行；进入循环竖排闪烁，闪烁间隔仍默认为1.5s，当眨眼信号再次输入后，键盘单元锁定当前列，确定数字或命令；完成一次键盘扫描，输出选定数字到显示单元或发送相应命令，若需要进一步输出数字或命令，则进入到新一轮的闪烁循环。

所述的间隔时间的具体值由用户自由设定。

所述的蓝牙脑肌电耳机中集成有MindWave型脑肌电信号采集器。

所述的窗口的宽度为195ms，包含100个采集点。

所述的手机为安卓系统或苹果系统的智能手机。

一种基于眨眼肌电信号检测的手机拨号系统，包括蓝牙脑肌电耳机和集成有蓝牙模块的手机；

采用前述的基于眨眼肌电信号检测的手机拨号方法实现扫描拨号。

所述的手机中集成有扫描拨号模块，该扫描拨号模块包括显示单元和键盘单元组成；键盘单元设置为键盘扫描样式，即进入拨号模块后，键盘横排循环闪烁，闪烁间隔默认时间为1.5s；当判定有眨眼行为后，键盘单元锁定当前闪烁行。进入循环竖排闪烁，闪烁间隔仍默认为1.5s，当眨眼信号再次输入后，键盘单元锁定当前列，确定数字或命令；完成一次键盘扫描，输出选定数字到显示单元或发送相应命令，若需要进一步输出数字或命令，则进入到新一轮的闪烁循环。

所述的间隔时间的具体值由用户自由设定。

有益效果：

本发明的基于眨眼肌电信号检测的手机拨号方法及系统，首先通过蓝牙耳机Mindwave以512HZ频率发送肌电信号给集成蓝牙模块的手机，并对信号进行加窗处理，该窗口宽度设置为195ms，即100个单位采集点。其次，对眨眼肌电信号进行限幅滤波预处理。再次，针对不同的受试者，眨眼信号特征的波峰和波谷位置难以确定，设计一种积分算法提取眨眼肌电信号特征。然而，手机应用过程中，积分易被窗口隔断，发明一种改进的积分中继量方法，使得积分连续，避免积分的中断情况。而后，在Android平台上设计非特定人的学习模式，确定眨眼判断值来检测眨眼行为。最后，利用键盘行列间隔闪烁方式，并配准眨眼信号，锁定当前闪烁行与列，确定数字或命令。实现一种基于眨眼肌电信号检测的手机拨号系统，该系统实时性强，准确率高，能高效服务于残疾人士、伤病肢残等特殊人群。

本发明采用NeyroSky公司的MindWave实时采集使用者眨眼信号，并通过集成蓝牙模块发送给运行了基于MindWave的手机拨号软件并具有蓝牙功能的安卓(苹果)手机。检测信号后，软件将记录学习信号，使系统学习该使用者的肌波信号强度，并计算出特征阂值(又名眨眼判断值)范围，该范围也可人工调节。通过多次学习后，可以进入拨号模式，实时采集并处理使用者发出的眨眼信号，确定拨号数字，完成呼叫任务，通话结束后，完成挂断任务。该系统具有使用方法简单，使用面广泛，实时性强，检测精度高等特点。

附图说明

图1本发明整体框架流程图；

图2本发明积分算法处理波形与原始波形比较图；

图3本发明肌电自动拨号系统中学习模式流程图。

图4本发明肌电自动拨号实现流程图。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步详细说明：

实施例1：

如图1-3，基于蓝牙脑肌电耳机MindWave和安卓(苹果)手机的自动拨号系统，包括：MindWave脑肌电采集器和安卓(苹果)手机，其中蓝牙脑肌电耳机MindWave是由NeuroSky公司生产的一款脑肌电信号采集器，该采集器是一个能在ios和android平台上使用的脑机接口设备，采用蓝牙传输模式。该设备由头箍、耳夹和传感头组成，其中传感头为两处金属传感点，包括额前电极和耳夹电极。一个带有脑肌电传感器的输入电极端放置于使用者前额，另一个输入端耳夹与使用者耳垂相连，作为参考电极。MindWave能实时采集脑肌电信号并输出脑肌电功率谱，通过其自身集成的蓝牙模块实现实时与其它设备通讯。大脑在不同的状态下会产生不同频率和振幅的肌电波，其中人在眨眼时，会产生一个宽度为390ms至585ms的肌电信号，其波峰幅值高于400，波谷幅值低于-300。该幅值反映了所采集肌电信号的能量大小，与肌电信号的实际电压有关，单位为μv。MindWave采集信号后，实时发送给集成蓝牙模块的安卓(苹果)手机。

安卓(苹果)手机：内置有一种基于眨眼肌电信号检测的安卓(苹果)手机拨号系统。具体包括设备通讯与数据采集、信号预处理、眨眼特征提取、眨眼肌电信号检测、自动拨号模块。

1.设备通讯与数据采集

设备通讯是由蓝牙脑肌电耳机MindWave与安卓(苹果)手机的蓝牙模块完成，采用蓝牙传输通讯模式。首先，蓝牙脑肌电耳机MindWave的一个带有脑肌电传感器输入电极端放置于使用者前额，另一个输入端耳夹与使用者耳垂相连，作为参考电极。MindWave将信号以512HZ的频率发送给集成蓝牙模块的安卓(苹果)手机，安卓(苹果)手机上相应的自动拨号系统需对信号进行加窗处理，该窗口宽度为195ms，即100个单位采集点。

本发明是蓝牙脑肌电耳机Mindwave和安卓(苹果)手机开发的自动手机拨号系统。其中蓝牙脑肌电耳机Mindwave通过干态电极传感器采集大脑产生的生物电信号，并将这些采集的信号送入ThinkGear芯片，ThinkGear将混杂在信号中的噪音以及运动产生的扰动进行滤除，并将有用信号进行放大和处理，通过蓝牙(蓝牙3.0)与硬件通讯，有效通讯距离为10米，波特率为115200bps。

智能手机采用安卓系统，并安装有能够处理识别蓝牙脑肌电耳机Mindwave传来信号的手机拨号软件。使用者将蓝牙脑肌电Mindwave耳机戴在头部，干电极贴在左前额，耳箍放在耳朵后面，耳夹夹在耳垂上。使用者通过眨眼来确定要呼叫的号码，蓝牙脑肌电耳机Mindwave实时采集处理信号，通过蓝牙发送到运行着拨号软件的安卓(苹果)手机上，手机实时处理检测与识别信号，完成拨号功能。整体框架流程如图1所示，系统具体实施有以下儿个步骤：

步骤一：打开手机蓝牙，蓝牙脑肌电耳机Mindwave与手机连接状态分为：未连接、正在连接和已连接三种。当连接状态显示“连接成功”时，即可开始采集数据。其通讯信号质量分为良好和不良两种，只有在信号良好的情况下，采集到的数据才准确。该手机拨号软件在断开状态下系统不接受任何数据；连接成功后，系统完成初始化后，开始对数据进行处理。

首先，蓝牙脑肌电耳机MindWave的一个带有脑肌电传感器输入电极端放置于使用者前额，另一个输入端耳夹与使用者耳垂相连，作为参考电极。其次，MindWave将信号以512HZ的频率发送给集成蓝牙模块的安卓(苹果)手机，该信号幅值rawdata与实际电压v的关系为v＝[rawdata*(1.8/4096)]/2000。其中，v的单位为μv，2000为放大倍数。最后，安卓(苹果)手机上相应的自动拨号系统需对信号进行加窗处理，该窗口宽度为195ms，即100个单位采集点。由于经过滤波和积分后，眨眼肌电信号有效宽度在80-120之间。Mindwave采集到的原始数据为512Hz，而正常人的反应速度在100ms至500ms之间，即宽度为50-250。宽度的设置应尽量包含整个有效宽度，且不宜过长，否则将影响整个系统时域响应。为此，本发明将数据窗口宽度设置为100，同时，在安卓应用软件中，将此参数设为可调，范围为0-300。

步骤二，对采集的肌电信号进行预处理，该步骤主要目的是滤除信号噪声与无用波形。采用限幅滤波保存所需要信息，根据所采集肌波信号的对称性，滤除幅值大于0的波形，留下幅值小于等于0的波形。

$h_i=\left\{\begin{array}{cc}{u}_i,& u_i\&le;0\\ 0,& u_i>0\end{array}\right.$

其中h_i为限幅滤波后单位采集点的幅值，u_i为单位采集点原始幅值；i为第i个采样点，i∈[1，100]且i为整数。该信号幅值u_i代表了所采集肌电信号的能量大小，与肌电信号的实际电压v的关系为v＝[u*(1.8/4096)]/2000；其中，v的单位为μv，2000为放大倍数；

步骤三，眨眼肌电信号特征提取，本发明中对数据处理的实时性要求高，针对实时处理的眨眼肌电信号，设计了一种实时积分算法进行特征提取。采用这一种算法主要有以下三方面考虑：

(1)限幅滤波之后，大部分留下来的数据都是有用数据，即归属眨眼电，但不排除仍有一小部分属于干扰。所以不能采用直接顺序检测。

(2)针对不同的受试者，波峰和波谷的位置很难具体确定。如果扩大阂值，将导致系统稳定性与鲁棒性下降，通过波形积分能够将有效数据放大，将无用信息与可用信息之间的区别度拉大，方便设定参数进行分类。

(3)卷积算法也能提供类似的作用，但算法复杂度高，导致系统时域响应性能降低。直接积分，对于数字化之后的数据来说是线性处理，运算速度快。为此，具体积分算法实时过程如下：

$S=k\&times;{\&Integral;}_0^i(u_i-60)\mathrm{dt}$

其中，S为积分之后该位数值，k为积分缩小因子，取k＝0.05，60为基础波的幅度。采用积分算法后，属于眨眼的特征波形被放大，干扰变小，波峰和波谷的位置更易确定。处理之后的波形中完全没有毛刺，整体单调上升或者单调下降。将波形放大后，原始波形与处理后波形对比如图2所示。通过对数据的分析，防止重复检测，采取积分数值小于0的数据，而后进行阂值判断即可判别是否眨眼。

在手机应用实现过程中，常易出现积分被窗口隔断。基于这种情况，在应用开发阶段定义了一个积分中继量，在每次取窗运算之后，保存此窗口的积分值，并将此值附加到下个窗口的积分值上，假使上次窗口最后一个数据为0，则对当前窗口不产生任何影响；如果这个值不为零，恰好是一个波形的中间位置，则当前窗口在此基础上开始新一轮积分，这样就可以将积分连续下去，避免了积分的中断情况。

肌电波形经过积分算法处理后，眨眼波形有效宽度变为156ms至195ms，即80至120个单位采样点。正常人响应键盘扫描闪烁时间为100ms至500ms，为防止积分被窗口隔断，定义一种积分算法的积分中继量，如下式：

$F_n=\left\{\begin{array}{cc}k\&times;{\&Integral;}_0^t(h_{n-1}\left(t\right)-60)\mathrm{dt},& g_{n-1}<0\\ 0,& g_{n-1}=0\end{array}\right.$

g_n-1为第n-1个窗口最后一个单位采集点幅值，g_n-1≤0。；其中，积分窗口宽度为195ms，包含100个采样点。基于积分中继量F的积分算法，如下式：

$M_{\mathrm{Sn}}=F_n+k\&times;{\&Integral;}_0^t(h_n\left(t\right)-60)\mathrm{dt}$

步骤四，眨眼肌电信号检测，本发明中学习模式根据非特定人眨眼信号差异实时调整特征波形阂值。当学习模式开启后，系统提示用户有规律地眨眼，实时计算出针对当前用户的特征的准确阂值。系统检测出眨眼特征信号后，做出眨眼判断。令γ为眨眼判断值，如下式：

$\mathrm{\&gamma;}=\left|\frac{M_{\mathrm{Sn}}}{1000}\right|$

其中，M_s为窗口积分数值，当0.5＜γ＜2.35时，即可判断为眨眼信号，具体实施流程如图3所示。

在手机应用软件中，眨眼阂值的最高值与最低值可设定，最大值的默认值为2500，设定范围为0-3000；最小值默认值为300，设定范围为0-1500。开启学习模式之后，阂值会根据之前采集到的数据进行设置，在此界面动态变化。在学习模式中，系统显示提示信息。指导用户眨眼，并在后台采集数据，进行眨眼阂值参数设定。界面中间动态框打开，实时显示采集的数据。当参数调整完毕，结束学习模式，进入下一界面。

步骤五，设计手机自动拨号方式，本发明中自动拨号模块由显示单元和键盘单元组成，参数设置完毕或学习模式结束后，可进入拨自动号模块。键盘单元中1到9数字顺序排放，每排3个数字，共三排，第四排中“拨出”、“0”、“退格”从左到右顺序排放。其中键盘单元设置为键盘扫描样式，即进入拨号模块后，键盘横排循环闪烁，闪烁间隔默认时间为1.5s，用户能够在拨号界面自行调节闪烁间隔时间。当眨眼信号输入后，键盘单元锁定当前闪烁行，进入循环竖排闪烁，闪烁间隔仍默认为1.5s，用户可自行调节。当眨眼信号再次输入后，键盘单元锁定当前列，确定数字或命令。完成一次键盘扫描，输出选定数字到显示单元或发送相应命令，并进入到新一轮的闪烁循环。整个肌电自动拨号具体实时过程如图4所示。选定“拨出”键，发送拨出命令，使用手机拨号功能，将号码拨出。待挂断之后，恢复到拨号界面。选定“退格”键，发送退格命令，删除前一数字，以此方式防止误判。界面中的闪烁延迟滑块，可以滑动设置滚动的频率，使用者可自行设置自己合适的速度。

Claims (10)

1.一种基于眨眼肌电信号检测的手机拨号方法，其特征在于，包括以下步骤：

步骤1：由蓝牙脑肌电耳机采集人体的肌电信号并将该肌电信号通过蓝牙方式发送给手机；

步骤2：在手机中对接收的该肌电信号进行数据处理以识别是否存在眨眼动作；

步骤3：基于识别出的眨眼动作进行扫描拨号。

2.根据权利要求1所述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，步骤2中对眨眼肌电信号进行数据处理与识别过程包括以下步骤：

步骤1)：限幅滤波步骤：

滤除幅值大于0的波形，留下幅值小于等于0的波形。

$h_i=\left\{\begin{array}{cc}{u}_i,& u_i\&le;0\\ 0,& u_i>0\end{array}\right.$

其中h_i为限幅滤波后单位采集点的幅值，u_i为单位采集点原始幅值；i为第i个采样点，i∈[1，100]且i为整数；该信号幅值u_i代表了所采集肌电信号的能量大小，与肌电信号的实际电压v的关系为v＝[u*(1.8/4096)]/2000；其中，v的单位为μv，2000为放大倍数；

步骤2)：特征提取

按照对肌电信号进行特征提取；每一个窗口积分一次，其中，t∈[1，100]，且i为整数；h_n(t)为第n个窗口中t时刻采集点的幅值，当且仅当h_n(t)＜0时执行积分，h_n(t)＝0时停止积分；M_sn为第n个窗口的积分值；k为积分缩小因子，取k＝0.05，60为基础波的幅度；

F_n为第n个窗口的积分中继量， $F_n=\left\{\begin{array}{cc}k\&times;{\&Integral;}_0^t(h_{n-1}\left(t\right)-60)\mathrm{dt},& g_{n-1}<0\\ 0,& g_{n-1}=0\end{array}\right.,$ 其中g_n-1为第n-1个窗口最后一个单位采集点幅值，g_n-1≤0。；其中，积分窗口宽度为195ms，包含100个采样点；

步骤3)：眨眼判断值γ设为：

$\mathrm{\&gamma;}=\left|\frac{M_{\mathrm{Sn}}}{1000}\right|$

其中，M_sn为第n个窗口的积分值；当0.5＜γ＜2.35时，判断为存在眨眼行为。

3.根据权利要求1所述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，步骤3中的扫描拨号过程为：

手机中集成扫描拨号模块，该扫描拨号模块包括显示单元和键盘单元；键盘单元设置为键盘扫描样式，即进入拨号模块后，键盘横排循环闪烁，闪烁间隔默认时间为1.5s；当判定有眨眼行为后，键盘单元锁定当前闪烁行；进入循环竖排闪烁，闪烁间隔仍默认为1.5s，当眨眼信号再次输入后，键盘单元锁定当前列，确定数字或命令；完成一次键盘扫描，输出选定数字到显示单元或发送相应命令，若需要进一步输出数字或命令，则进入到新一轮的闪烁循环。

4.根据权利要求3述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，所述的间隔时间的具体值由用户自由设定。

5.根据权利要求1所述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，所述的蓝牙脑肌电耳机中集成有MindWave型脑肌电信号采集器。

6.根据权利要求2所述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，所述的窗口的宽度为195ms，包含100个采集点。

7.根据权利要求1所述的基于眨眼肌电信号检测的手机拨号方法，其特征在于，所述的手机为安卓系统或苹果系统的智能手机。

8.一种基于眨眼肌电信号检测的手机拨号系统，其特征在于，包括蓝牙脑肌电耳机和集成有蓝牙模块的手机；

采用权利要求1-7任一项所述的基于眨眼肌电信号检测的手机拨号方法实现扫描拨号。

9.根据权利要求8所述的基于眨眼肌电信号检测的手机拨号系统，其特征在于，所述的手机中集成有扫描拨号模块，该扫描拨号模块包括显示单元和键盘单元组成；键盘单元设置为键盘扫描样式，即进入拨号模块后，键盘横排循环闪烁，闪烁间隔默认时间为1.5s；当判定有眨眼行为后，键盘单元锁定当前闪烁行。进入循环竖排闪烁，闪烁间隔仍默认为1.5s，当眨眼信号再次输入后，键盘单元锁定当前列，确定数字或命令；完成一次键盘扫描，输出选定数字到显示单元或发送相应命令，若需要进一步输出数字或命令，则进入到新一轮的闪烁循环。

10.根据权利要求9所述的基于眨眼肌电信号检测的手机拨号系统，其特征在于，所述的间隔时间的具体值由用户自由设定。