CN114469178A - 一种可应用于智能手机的基于声波信号的眨眼检测方法 - Google Patents

Abstract

本发明属于眨眼检测技术领域，提供了一种可应用于智能手机的基于声波信号的眨眼检测方法，首先采用chirp信号来区分眼睛反射的信号和周围其他物体反射的信号。获得眼睛反射的信号后，还需要处理呼吸和心跳造成的干扰。呼吸和心跳引起的信号变化纯粹是由路径长度的变化引起的。本发明提出了一种新的观测位置方案，该方案充分利用了呼吸和心跳的干扰，最大限度地提高了眨眼引起的微小信号变化。综合实验结果证明了该系统的有效性。我们相信所提出的观测位置方案可以应用于改善其他涉及极小信号变化的感知应用的性能。

Description

一种可应用于智能手机的基于声波信号的眨眼检测方法

技术领域

本发明属于眨眼检测技术领域，涉及到人机交互(HCI)、疲劳驾驶检测、眼部疾病预防等诸多现实应用。本系统可利用移动设备发出的声波信号在以非接触的方式感知微小的眨眼动作，并在研究平台(Bela)和普通智能手机(iPhone 5c)上实现。结果表明，该系统具有良好的鲁棒性，检测准确率为95％，并可以在手持手机、用户佩戴眼镜/太阳镜以及环境中存在其他对象运动干扰的情况下实现高精度的眨眼检测。

背景技术

眨眼检测一直是一个热门的研究课题，受到学术界和产业界的关注。眨眼检测在许多现实生活中的应用中起着至关重要的作用，如运动神经元疾病(MND)患者的人机交互、疲劳驾驶检测和眼部疾病预防。现有的眨眼检测系统主要依赖于不同类型的传感器，可分为三类：EOG传感器、近距离传感器和摄像头。EOG和近距离传感器通常嵌入在可穿戴设备中，如虚拟现实耳机和眼镜。虽然这些系统可以实现高精度的眨眼检测，但基于可穿戴设备的解决方案会影响到用户日常生活，长期佩戴可能会引起不适。另一方面，摄像头通常被放置在远距离，以非接触的方式捕捉图像或记录视频来检测眨眼，虽然有很大前景，但基于摄像头的系统在低光照条件下的性能会下降，并可能会造成隐私问题。

声波感知是无线感知的一个重要组成部分，近年来受到了广泛的关注。与依赖传感器的传统感知不同，无线感知利用目标反射无线信号感知目标信息，其原理是目标的运动会影响信号在空气中的传播。因此，通过仔细分析信号的变化，可以获得运动速度和位移等目标信息。利用Wi-Fi、RFID、超声波、60GHz毫米波和可见光等各种无线信号，已经实现了从粗粒度的活动跟踪到细粒度的呼吸监测等大量的无线感知应用。在这些无线技术中，声波信号因其在空气中固有的低传播速度(340m/s)，在感知粒度上展现出独特的优势。使用声音感知的最大优势是，在我们的日常生活中，越来越多的商品设备内置扬声器和麦克风。基于这一优势，本系统利用听不见的声波信号在普通的智能手机中通过分析反射的信号进行眨眼检测。虽然目前国内外在声波感知方面已经取得了不错的进展，但因为眨眼是一个十分微小的动作，并容易受到不同类型的干扰(如环境干扰、自干扰等)，且眨眼的过程具有稀疏性和非周期性，使用声波信号实现高精度眨眼检测仍然是一项非常具有挑战性的工作。

发明内容

本发明要解决的技术问题主要有以下三个：

(1)眨眼是一种十分微小的动作。与呼吸感应中胸部位移约5毫米相比，眨眼过程中眼皮引起的位移只有0.5毫米左右。因此，在眨眼过程中，位移仅为呼吸引起位移的10％。这种微小的位移引起的信号变化非常小，很容易隐藏在噪声中而不被检测到。此外，感知性能也与反射区域的大小密切相关。与胸部相比，眼睛的反射区域小得多(即1％)，导致反射信号弱得多，因此感知性能较差。

(2)来自周围环境和人类自身的强烈干扰。当我们将声波信号应用于眨眼检测时，除了眼睛反射的反射信号外，周围的物体也会反射回信号，这些信号可能比眼睛反射的还要强，将眼部反射信号从其他干扰反射中分离出来是很重要的。当使用智能手机进行感知时，从扬声器到麦克风的直接路径信号也非常强，这可能会干扰基于反射的感知。但即使我们解决了干扰，并从眼睛获得干净的反射信号，仍然很难检测出眼睛眨眼。这是因为从眼睛反射出来的信号不仅包含与眨眼有关的信息，还包含与呼吸和心跳引起的运动有关的信息。即使目标保持完全静止，由呼吸和心跳引起的微小的不自主头部运动始终存在，其强度足以干扰眨眼检测。

(3)眨眼运动的稀疏性和非周期性要求一种有效的实时算法来检测单个眨眼。与呼吸和心跳不同，眨眼只发生在1.5％到6％的时间里，因此，眨眼在时域是一种稀疏运动。此外，眨眼的间隔从几秒到几十秒不等，这是由我们大脑的认知过程决定的。虽然心跳和呼吸在稳定状态下是周期性的(如睡眠)，但即使时域信息丢失，我们仍然可以将信号转换到频域，从而获得呼吸/心跳率。由于其独特的稀疏性和非周期性，使得频域分析无法用于眨眼检测。

为了解决第一个问题，从而感知非常微小的运动，我们提出了一个新的观测位置方案，基于一个重要的理论：当我们从I-Q矢量空间的不同位置观测运动产生的信号变化时，感知性能会发生显著变化。我们在本文中首次说明了在无线感知中观测位置的重要性。通过选择最佳的观测位置，可以极大地提高感知性能，可以准确地感知到以前无法检测到的细微运动。

为了解决干扰的问题，我们提出了一个解决方案。我们首先采用chirp信号来区分眼睛反射的信号和周围其他物体反射的信号。由于在空气中的传播速度很低，带宽为4kHz的声波信号分辨率能够区分距离差大于4.25cm的两个信号。因此，眼睛反射的信号可以与周围物体反射的信号清晰地区分开来。在我们获得眼睛反射的信号后，我们还需要处理呼吸和心跳造成的干扰。眼睛所反射的信号不仅包括眼睛的眨眼信息，还包括呼吸和心跳信息。先前的研究认为这种干扰是有害的，并总是试图去除它们。在本文中，我们表明，由于眼睛眨眼的独特特性，不需要去除它们。利用提出的新方案，我们可以成功地将普遍认为有害的呼吸和心跳的干扰变为有益的。关键的原理是，呼吸和心跳引起的信号变化纯粹是由路径长度的变化引起的。然而，眨眼产生的信号变化不仅由路径长度的变化(有眼皮和无眼皮状态)引起，也由反射表面的物质变化(眼皮与眼球)引起。这两种表面的反射系数非常不同，导致信号强度变化很大。因此，眨眼引起的信号变化表现出一个独特的性质:信号相位变化小，但信号幅值变化大。这与呼吸和心跳有很大的不同，呼吸和心跳在相位上有很大的信号变化，但在幅度上有很小的信号变化。通过深入理解基本原理并在I-Q向量空间中建模眨眼过程，可以在不去除该干扰的情况下检测眨眼。相反，我们利用这些干扰变化来帮助识别最佳的观测位置，用于眨眼检测。

为了解决信号的稀疏性和非周期性问题，我们不将信号转换到频域，而是在时域处理信号的变化。由于在长期检测过程中，人体目标的轻微身体运动会导致最优观测位置发生变化，我们提出了一种动态更新策略，自适应地更新最优观测位置用于眨眼检测，实现了较高的实时检测精度。

本发明的技术方案：

一种可应用于智能手机的基于声波信号的眨眼检测方法，步骤如下：

步骤一，设计chirp信号

本方法采用chirp信号进行眨眼检测，Chirp信号是一种频率随时间线性增加的连续波；频率为

其中，f₀、B和T分别表示初始频率、带宽和扫频时长；发射信号表示如下：

当环境中仅有一个物体时，发射信号由扬声器发出后，经物体反射被麦克风接收；因此，接收信号是发射信号的延迟版本，表示为：

其中，α为信号衰减因子，τ为信号在空气中的飞行时间(time of flight，ToF)；将接收信号x(t)与发射信号y(t)相乘后，运用三角函数的积化和差公式

并通过低通滤波器去除高频分量cos(P+Q)，得到混频信号：

进一步简化混频信号，将混频信号表示为：

其中，

为差频，

为初始相位；

由于实际环境中存在多个物体且均可对发射信号造成反射(多径效应)，因此，麦克风的接收信号为N个具有不同飞行时间τ的接收信号的线性叠加：

同样的，多径情况下混频得到的混频信号为：

步骤二，从多条反射路径中分离并提取眼部反射的信号

在上述混频信号m(t)中，位于不同距离上的反射体会导致到达麦克风的接收信号具有不同的飞行时间τ，因此会产生不同大小的差频f；因此，通过对多径情况下混频信号m(t)进行快速傅立叶变换，将不同距离上的物体即差频f不同的多个信号分离开来，落入不同的频率区间中，从叠加了多条路径的混频信号中分离出来自不同物体的信号；

由于眼部反射的信号来自动态路径，而从其他物体反射的信号来自静态路径，因此与来自其他路径的信号相比，眼部反射的信号具有最大的二维信号方差；利用这一性质，对所有频率区间的信号进行二维信号方差计算，二维信号方差

计算方法如下：

其中，x_i为每个信号样本的复数值，

为所有信号样本模的平均值，k为频率区间编号，n为样本个数；

因此，通过选择方差最大的频率区间即可分离并提取出眼部反射信号；

步骤三，眨眼信号变化建模

经过分析，当眨眼发生时，有两个主要因素影响上眼部反射混频信号m(t)的变化：

a.眼皮覆盖眼球引起微小的反射路径长度变化；

b.眼皮覆盖眼球导致信号的反射面材质变化；

因素a主要引起眼部反射混频信号m(t)的相位变化，相位变化导致动态矢量相对于静态矢量旋转，信号幅值视为常数；由于混频信号m(t)的相位为

在一般情况下，

所以省略二次项；由于路径长度变化Δd引起相变

通过用

代替τ，其表示为：

眨眼发生过程中，因素a引起的相位

变化为先增大、后减小；

因素b引起信号幅值的变化，即衰减因子α的改变；在闭眼过程中，眼球被眼皮覆盖，信号反射面由眼球的水状材质变为眼皮的皮肤材质；由于皮肤材质对声波的吸收效应比水状材质大，因此经眼皮反射的信号衰减更大，导致衰减因子α变小；睁眼过程与闭眼过程相反；因此，眨眼发生过程中，因素b引起的衰减因子α变化为先减小、后增大；

因此，当观察到相位

和衰减因子α同时发生变化，则判定一次眨眼发生；

步骤四，眨眼信号变化提取：

(1)算法初始化；首先，系统累积数个信号样本以进行算法初始化，利用Pratt方法对累积的信号样本进行二维平面的圆弧拟合，得到弧的圆心，该圆心即为观测点，以用于提取眨眼信号变化；根据信号在二维平面上的变化规律，从观测点处测得的眨眼信号变化最明显；

(2)眨眼信号变化检测；获得观测点后，计算每个二维平面信号样本与观测点之间的距离，获得一串时序数值；利用局部极值检测方法，检测时序数值重局部最大值与最小值之差，并与预设的阈值进行比较，若大于阈值，则判定眨眼发生；阈值的设置根据实际情况调整，设置为无眨眼发生时信号幅值标准差的五倍；

(3)观测点更新；由于用户在系统的使用过程中身体位置会发生轻微变化，从而引起观测点发生偏移；为了保证观测点的实时性和有效性，系统每运行一段时间后，对该时间段内累积的信号样本重新用Pratt方法进行二维平面的圆弧拟合，得到新的观测点，并返回步骤(2)检测眨眼信号变化。

本发明的效果和益处：

我们首次在一个研究用硬件平台和一个商用智能手机上使用声波信号实现了微小的眨眼检测。通过理论分析和实验分析，我们定量模拟了信号变化与眨眼和干扰引起的细微运动之间的关系。我们提出了一种新的观测位置方案，该方案充分利用了呼吸和心跳的干扰，最大限度地提高了眨眼引起的微小信号变化。综合实验结果证明了该系统的有效性。我们相信所提出的观测位置方案可以应用于改善其他涉及极小信号变化的感知应用的性能。

具体实施方式

以下结合技术方案，进一步说明本发明的具体实施方式。

本发明的具体实施方式主要分为以下几个步骤：

1.用户将感知设备摆放在面前并保持适当的距离，扬声器和麦克风应朝向用户的面部。

2.开启并运行本文提出的眨眼检测系统。系统将持续分析由眼部反射的信号，捕捉用户眨眼。

下面将结合真实场景的具体实例对本发明的技术方案进行进一步的说明，我们用一款商品智能手机iPhone 5c进行了不同场景下的实验，以证明该系统的可行性。

(1)模拟残疾人以倚靠的姿势坐在轮椅上进行眨眼检测。感知设备通过手机支架固定在轮椅扶手上，使手机位于用户面前并保持适当的距离。通过实验结果分析，该系统可以实现96％的准确度。

(2)驾驶场景下的眨眼检测。感知设备通过手机支架固定在挡风玻璃的左上角，以使其朝向驾驶员的面部，并确保手机不会遮挡驾驶员的视线。汽车以55公里每小时的速度行驶，实验结果表明系统在该情况下可以实现87％的准确度。驾驶场景与室内场景相比准确度有所降低，原因是汽车在行驶过程中会经历路面颠簸，使感知设备与用户之间的相对距离发生剧烈变化，导致检测准确度下降。

(3)用户手持设备情况下的眨眼检测。用户以正常使用手机的姿势将感知设备持在手中并保持适当的距离，并测试坐、站、躺三种不同姿势下的眨眼检测性能。通过实验结果分析得到，三种姿势下的检测准确度分别为86％、85％和97％。与感知设备放置在固定位置上相比，手持设备情况下的准确度有所下降。原因是当用户手持感知设备时，较小幅度的手部晃动和肌肉震颤会导致感知设备与用户之间产生相对位移，导致准确度有轻微下降。

(4)佩戴眼镜情况下的眨眼检测。感知设备通过手机支架固定在桌面上，使手机位于用户面前并保持适当的距离。分别在用户佩戴近视镜和墨镜的情况下测试眨眼检测性能。通过实验结果分析得到，系统检测的准确度分别为90.9％和85.0％。由于信号穿透镜片会经历一定程度的衰减，因此佩戴眼镜的检测准确度会有所下降。与基于摄像头的技术相比，在用户佩戴墨镜的情况下基于声波的感知技术更有优势。

Claims (1)

1.一种可应用于智能手机的基于声波信号的眨眼检测方法，其特征在于，步骤如下：

步骤一，设计chirp信号

本方法采用chirp信号进行眨眼检测，Chirp信号是一种频率随时间线性增加的连续波；频率为

其中，f₀、B和T分别表示初始频率、带宽和扫频时长；发射信号表示如下：

当环境中仅有一个物体时，发射信号由扬声器发出后，经物体反射被麦克风接收；因此，接收信号是发射信号的延迟版本，表示为：

其中，α为信号衰减因子，τ为信号在空气中的飞行时间；将接收信号x(t)与发射信号y(t)相乘后，运用三角函数的积化和差公式

并通过低通滤波器去除高频分量cos(P+Q)，得到混频信号：

进一步简化混频信号，将混频信号表示为：

其中，

为差频，

为初始相位；

由于实际环境中存在多个物体且均可对发射信号造成反射，因此，麦克风的接收信号为N个具有不同飞行时间τ的接收信号的线性叠加：

同样的，多径情况下混频得到的混频信号为：

步骤二，从多条反射路径中分离并提取眼部反射的信号

在上述混频信号m(t)中，位于不同距离上的反射体会导致到达麦克风的接收信号具有不同的飞行时间τ，因此会产生不同大小的差频f；因此，通过对多径情况下混频信号m(t)进行快速傅立叶变换，将不同距离上的物体即差频f不同的多个信号分离开来，落入不同的频率区间中，从叠加了多条路径的混频信号中分离出来自不同物体的信号；

由于眼部反射的信号来自动态路径，而从其他物体反射的信号来自静态路径，因此与来自其他路径的信号相比，眼部反射的信号具有最大的二维信号方差；利用这一性质，对所有频率区间的信号进行二维信号方差计算，二维信号方差

计算方法如下：

其中，x_i为每个信号样本的复数值，

为所有信号样本模的平均值，k为频率区间编号，n为样本个数；

因此，通过选择方差最大的频率区间即可分离并提取出眼部反射信号；

步骤三，眨眼信号变化建模

经过分析，当眨眼发生时，有两个主要因素影响上眼部反射混频信号m(t)的变化：

a.眼皮覆盖眼球引起微小的反射路径长度变化；

b.眼皮覆盖眼球导致信号的反射面材质变化；

因素a主要引起眼部反射混频信号m(t)的相位变化，相位变化导致动态矢量相对于静态矢量旋转，信号幅值视为常数；由于混频信号m(t)的相位为

在一般情况下，

所以省略二次项；由于路径长度变化Δd引起相变

通过用

代替τ，其表示为：

眨眼发生过程中，因素a引起的相位

变化为先增大、后减小；

因素b引起信号幅值的变化，即衰减因子α的改变；在闭眼过程中，眼球被眼皮覆盖，信号反射面由眼球的水状材质变为眼皮的皮肤材质；由于皮肤材质对声波的吸收效应比水状材质大，因此经眼皮反射的信号衰减更大，导致衰减因子α变小；睁眼过程与闭眼过程相反；因此，眨眼发生过程中，因素b引起的衰减因子α变化为先减小、后增大；

因此，当观察到相位

和衰减因子α同时发生变化，则判定一次眨眼发生；

步骤四，眨眼信号变化提取：

(1)算法初始化；首先，系统累积数个信号样本以进行算法初始化，利用Pratt方法对累积的信号样本进行二维平面的圆弧拟合，得到弧的圆心，该圆心即为观测点，以用于提取眨眼信号变化；根据信号在二维平面上的变化规律，从观测点处测得的眨眼信号变化最明显；

(2)眨眼信号变化检测；获得观测点后，计算每个二维平面信号样本与观测点之间的距离，获得一串时序数值；利用局部极值检测方法，检测时序数值重局部最大值与最小值之差，并与预设的阈值进行比较，若大于阈值，则判定眨眼发生；阈值的设置根据实际情况调整，设置为无眨眼发生时信号幅值标准差的五倍；

(3)观测点更新；由于用户在系统的使用过程中身体位置会发生轻微变化，从而引起观测点发生偏移；为了保证观测点的实时性和有效性，系统每运行一段时间后，对该时间段内累积的信号样本重新用Pratt方法进行二维平面的圆弧拟合，得到新的观测点，并返回步骤(2)检测眨眼信号变化。