CN113069105A - 利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法 - Google Patents

Abstract

本发明涉及一种利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，属于移动计算应用技术领域。通过现有智能手机普遍配备的扬声器和麦克风组成一个简易的主动式声呐系统，手机扬声器发出超声波被不同距离的障碍物反射后，在不同的时间被手机麦克风收到。当驾驶员吸烟时，其手臂和胸腔的运动具有一定的规律性，系统通过检测驾驶员手臂和胸腔的运动来分析是否存在吸烟行为。本发明方法尤其适用于出租车、网约车和公交车等禁止吸烟的驾驶环境。

Description

利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法

技术领域

本发明涉及一种驾驶员吸烟行为检测方法，特别涉及一种利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，用于检测驾驶员是否存在吸烟行为，属于移动计算应用技术领域。

背景技术

随着城市规模不断扩大，人们在日常生活和工作中对汽车的依赖程度也迅速提高，随之而来的是越来越严重道路安全问题。导致交通事故的一个重要原因是驾驶员在车辆驾驶过程中出现分心驾驶行为。研究表明90％的分心驾驶造成的交通事故都与驾驶员吸烟有关。除了道路安全问题，在车内吸烟还会影响车内人员的身体健康。另一份研究表明经常吸烟的汽车里的毒素含量比酒吧高出11倍。吸烟不仅伤害了驾驶员自己，也伤害了其他乘客。因此，开发一个可以检测驾驶员是否吸烟的吸烟行为检测系统是非常有必要的。

目前，对于吸烟行为的检测方法主要依靠额外部署在用户身体上的智能设备，通过收集用户的动作信息，分析是否存在吸烟行为。例如，通过用户佩戴的智能手表或智能手环分析手臂的运动；通过佩戴脑电图设备来区分吸烟者和非吸烟者的脑电波信号。而这些检测设备通常都存在成本高昂、需要强制用户佩戴以及不方便使用等问题。

目前市面上也存在一些利用非接触式设备感知吸烟行为的方法。例如吸烟动作会对Wi-Fi信号产生一定的影响，通过分析Wi-Fi信号的信道状态信息可以检测附近环境中是否存在吸烟行为；通过在喉咙附近放置的麦克风来收集用户的呼吸声音，进而分析是否存在吸烟呼吸；或者使用摄像头来检测用户是否有吸烟行为。但是大部分车内都没有配备Wi-Fi设备和监控设备，而车内的噪声也较大，所以这些方法并不适合部署在车内。

除此之外，还有一些方法使用智能手机上的多种传感器监测驾驶员的驾驶行为。例如，使用手机内置的加速度计和陀螺仪估计车辆行驶速度，同时还可以识别变道、转弯等动态动作；使用手机中的音频传感器检测方向盘旋转的角度。但是，大部分利用智能手机传感器检测驾驶员行为的方法，还没有关注到驾驶员吸烟行为。

综上所述，目前迫切需要一种利用智能手机的驾驶员吸烟行为检测方法。

发明内容

本发明的目的是为了解决现有技术缺少一种低成本且有效的驾驶员吸烟行为检测的不足缺陷，提出一种利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法。

本发明的创新点在于：通过现有智能手机普遍配备的扬声器和麦克风组成一个简易的主动式声呐系统，手机扬声器发出超声波被不同距离的障碍物反射后，在不同的时间被手机麦克风收到。当驾驶员吸烟时，其手臂和胸腔的运动具有一定的规律性，声呐系统通过检测驾驶员手臂和胸腔的运动来分析是否存在吸烟行为。本发明方法尤其适用于出租车、网约车和公交车等禁止吸烟的驾驶环境。

本发明的目的是通过以下技术方案实现的。

利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，包括以下步骤：

步骤1：分析驾驶员吸烟行为包含的动作模式。

具体如下：

通过对大量的驾驶员吸烟行为数据的观察，并参考已有的研究文献，总结出驾驶员在驾驶时吸烟的行为模式。

驾驶员吸烟过程包括以下动作：驾驶员左手或右手持烟，抬手将烟放在嘴上，把烟吸入嘴中，放下烟，驾驶员通过吸气把嘴中的烟吸入肺中，驾驶员通过呼气把烟呼出。

吸烟是一种有规律的行为，将烟放在嘴部到动作呼气吐烟，会反复循环出现，直到驾驶员吸完一支烟。

步骤2：计算驾驶员不同身体部位与手机之间的距离变化序列。

具体如下：

步骤2.1：采集驾驶员在驾驶时的动作数据。

在驾驶员驾驶的车辆内放置智能手机，手机扬声器按固定时间间隔发出超声波信号。优选的，超声波信号的长度设置为1.33ms，时间间隔为8.33ms。

超声波信号经过正在运动的人体反射后，被手机麦克风接收。同时，通过车内放置的录像设备，收集驾驶员真实的动作信息。

步骤2.2：确定步骤2.1接收到的超声波信号的开始位置。

首先，采用带通滤波器过滤掉所需频率之外的信号。

对于滤波后的信号，采用一个滑动窗口方法，比较发出的超声波信号和窗口内接收信号的相似性，然后窗口向后滑动，直到找到相似性最大的时间点，这个时间点定义为开始点。

在理想情况下，如果扬声器和麦克风同步开始工作，则能够直接估计信号从发送到接收的传输时长。但是，由于硬件限制，实际上很难完全同步扬声器和麦克风的启动时间。目前绝大部分智能手机的扬声器和麦克风之间的距离很小，因此，视距信号的传输时长可以忽略不计。所以，将接收到视距信号的时间作为开始点。

首先，用r和r′(n)分别表示发送信号和第n窗口内的接收信号。窗口的大小可以设为1.33ms。利用相位斜率变化

代表发送和接收信号的相似性，其中F[·]代表傅里叶变换，f表示每个傅里叶变换点所代表的频率值，δ表示发送信号和接收信号之间的时间延迟。最后，选择信号相似性最大的时刻作为接收信号的开始点。

步骤2.3：经过步骤2.2找到开始点后，计算反射超声波信号的物体与手机之间的距离。

其中，接收信号包含手机周围各种物体反射的信号。为找到驾驶员的手臂和胸腔反射的信号，需监测不同距离上物体的移动。为监测物体的移动，从接收信号的开始点计算与发射信号的相关性。

具体地，在接收信号上加一个滑动窗口(如1.33ms)，然后通过计算滑动窗口中接收信号和发送信号之间的相对相关系数(RCC)估计相关性。通过连续计算RCC得到RCC谱，RCC谱中的每个波峰代表一个反射音频信号的物体。如果两个时刻的RCC谱中的波峰重叠，说明相应的物体是静态的。反之，该物体是运动的。由于两次计算RCC的时间间隔非常短，因此物体在两个时刻之间的移动距离也非常短。所以，相邻RCC谱中距离最近的峰值视为同一物体。最后，从连续的RCC谱中提取出每个物体到手机的距离随时间的变化序列。

步骤3：在距离变化序列中，识别与驾驶员吸烟相关的胸腔起伏。

通常情况下，人体正常呼吸时胸腔起伏不大于2.4cm，正常呼吸的频率为0.16Hz-0.6Hz，而吸烟呼吸的胸腔起伏一般大于2.4cm，持续时间较长且吸气的时长大于呼气的时长。

为监测驾驶员的呼吸情况，首先要确定哪些序列与胸腔运动有关。在经过步骤2得到每个物体的移动距离变化序列后，选择振幅变化范围小于2.4cm的序列。然后，对选择的序列进行快速傅立叶变换，找出主要频率在0.16Hz-0.6Hz之间的序列。该序列所处的距离即为驾驶员胸腔所处的位置，能够通过智能手机连续对胸腔运动进行检测。

为了区分正常呼吸、深呼吸和吸烟呼吸，必须获得每次呼吸的深度、吸气和呼气的时长。胸腔运动产生的距离变化序列近似为一个周期性的正弦波，其波谷的位置代表呼吸的深度。因此，为区分正常呼吸和吸烟呼吸，首先根据距离变化序列的均值和标准差设置一个阈值，过滤掉大于阈值的波谷。为区分深呼吸和吸烟呼吸，分别计算波谷两侧1s内的距离变化序列的斜率。两个斜率绝对值的差值代表吸气时长和呼气时长的时间差，如果差值大于设定的阈值，则认为当前的一次呼吸是吸烟呼吸。

步骤4：在距离变化序列中，识别与驾驶员吸烟相关的手臂动作。

驾驶员在吸烟时，手臂运动和胸腔运动具有较大的区别。因此，首先从距离变化序列中过滤掉振幅变化范围小于2.4cm的序列和持续时间小于2s的序列。

过滤后距离变化序列是一个二维的矩阵，该矩阵视为二维的黑白图像。为识别图像中是否存在吸烟时的手臂运动，采用深度学习方法对图像进行分类。首先，采用5s的滑动窗口对图像进行分割。然后，根据录像设备收集的真实动作信息，标记出每个图像真实所属的动作类别，包括吸烟时的手臂动作和其他动作，作为该图像的标签。之后，利用吸烟时的手臂动作和其他动作的图像和标签，训练出一个卷积神经网络(CNN)，该神经网络能够识别出驾驶员吸烟时的手臂动作。

优选地，卷积神经网络具体训练方法如下：

CNN包含两个卷积层、一个全连接层和一个Softmax层。每次的输入为一个96*96的图像。利用之前处理好的图像和标签训练网络。卷积层通过卷积操作提取输入图像的深层特征。卷积层的参数由高斯分布初始化，并能够在反向传播过程中自动更新。优选地，激活函数设置为ReLU。在每个卷积层之后还添加一个maxpooling层，以减小特征大小。然后，添加一个128个单元的完全连接层。最后，通过Softmax层生成结果。

对于CNN，输出的结果一共包含2个类别，分别是驾驶员出现吸烟时的手臂动作P¹、驾驶员没有出现吸烟时的手臂动作P²，则类概率向量为P＝{P¹,P²}，表示当前输入的图像分别属于每一类的概率，通过P＝s(W^Th+b)计算得到，其中，s(·)为Softmax函数，W^T为权重矩阵，b为偏置向量，h表示卷积层和全连接层输出的结果。之后，将当前输入的图像分类到P中概率最大的类中。

在训练过程中，网络要使预测值和真实值之间的差异最小，采用交叉熵代价函数来减小误差，最终训练得到CNN。

步骤5：综合分析驾驶员的胸腔起伏和手臂动作。

其他行为(如吃东西、喝水)都与吸烟行为有相似的动作，但是，吸烟行为包含多个特定动作且有周期性，因此，通过分析吸烟行为的全过程，以增加检测准确率。具体而言，当利用步骤4中的算法检测到驾驶员手部存在吸烟动作后，选择这段时间前后的音频信号进行步骤3中的呼吸检测。如果在选定的信号中，检测到吸烟呼吸，则认为驾驶员完成了一次吸烟动作。随后进行周期性分析，以检测在第一次吸烟动作之后是否还有吸烟动作，且连续两次吸烟动作的时间间隔是否相似，最终判断出驾驶员是否存在吸烟行为。

有益效果

1.本发明方法，仅依靠智能手机中的扬声器发出超出人耳听力范围的高频声音，麦克风接收声音信号，就可以实现对驾驶员胸腔和手臂动作的识别，从而实现对驾驶员吸烟动作的检测。因此本发明不依赖于各类专用传感器和穿戴设备，成本低、抗干扰性强、不存在泄露隐私问题、用户体验好，适用于出租车、网约车和公交车等监测环境。

2.本发明采用的高频声音超过了生活中大部分噪音的频率，因此不易受环境噪音的干扰，大大增强了本驾驶员吸烟行为检测方法的环境鲁棒性；本发明主要分析驾驶员吸烟时的手臂动作和呼吸时的胸腔起伏，结合相关性分析和深度学习技术，可在感知能力有限的智能手机上获得准确动作信息，具有很高的准确性。

附图说明

图1为本发明实施例驾驶员吸烟动作检测方法原理图。

图2为本发明实施例的典型的驾驶员吸烟过程。

图3为本发明实施例对于不同驾驶员的吸烟行为检测准确率和误报率。

图4为本发明实施例手机放置于不同位置下的左右手吸烟行为检测准确率。

图5为本发明实施例在不同衣服厚度下的吸烟行为检测准确率和误报率。

具体实施方式

下面结合实施例和附图，对本发明方法做进一步详细说明。

如图1所示，一种利用智能手机扬声器和麦克风的驾驶员吸烟动作检测方法，包括以下步骤：

步骤一、分析研究驾驶员吸烟行为所包含的动作模式。

通过对17名驾驶员吸烟行为的观察，并参考一些已有的研究文献，我们总结了驾驶员在驾驶时吸烟的行为模式，如图2所示。典型的驾驶员吸烟过程主要包括以下几个动作：(a)驾驶员左手或右手持烟；(b)抬手将烟放在嘴上；(c)把烟吸入嘴中；(d)放下烟；(e)驾驶员通过吸气把嘴中的烟吸入肺中；(f)驾驶员通过呼气把烟呼出。抽烟是一种有规律的行为，动作(b)到动作(f)会循环出现，直到驾驶员吸完一支烟。

步骤二、计算驾驶员不同身体部位与手机之间的距离变化序列。

步骤2.1、招募13位驾驶员(10名男性和3名女性)驾驶不同的车辆进行数据收集。在驾驶员驾驶的车辆内放置智能手机，手机扬声器按固定的时间间隔发出超声波信号。优选的，该信号的长度设置为1.33ms，时间间隔为8.33ms。该信号经过正在运动的人体反射后被手机麦克风接收。同时，通过车内放置的录像设备，收集驾驶员真实的动作信息。

利用手机扬声器发出超声波，为了不打扰驾驶员并且减小环境噪音的干扰，声波的频率应尽量高。经过试验，大部分智能手机支持发出的最高频率为22kHz，因此选择的超声波为20kHz-22kHz的频率调制连续波(FMCW)。在一个信号周期内，该信号的发送频率会随时间从20kHz线性增加到22kHz。麦克风的采样率设为48kHz。

步骤2.2、确定步骤2.1接收到的超声波信号的开始位置。发送信号的频率范围是20kHz到22kHz。因此首先采用带通滤波器过滤掉其他频率上的无用信息，仅保留[20kHz，22KHz]内的信息。对于滤波后的信号，采用一个滑动窗口方法，比较发出的超声波信号和窗口内接收信号的相似性，然后窗口向后滑动一定距离，直到找到相似性最大的时间点，这个时间点就定义为开始点。

理想情况下，如果扬声器和麦克风同步开始工作，则可以直接估计信号从发送到接收的传输时长。但是，由于硬件的限制，很难完全同步扬声器和麦克风的启动时间。大部分智能手机的扬声器和麦克风之间的距离很小，视距信号的传输时长可以忽略不计，所以将接收到视距信号的时间作为开始点。首先，用r和r′(n)分别表示发送信号和第n窗口内的接收信号，窗口的大小为1.33ms；利用相位斜率变化

来代表发送和接收信号的相似性，其中F[·]代表傅里叶变换。最后选择信号相似性最大的时刻作为接收信号的开始点。

步骤2.3、经过步骤2.2找到开始点之后，进一步计算反射超声波信号的物体与手机之间的距离。接收信号包含了手机周围各种物体反射的多个信号。为了找到驾驶员的手臂和胸腔反射的信号，需要监测不同距离上物体的移动。为了监测物体的移动，从接收信号的开始点计算与发射信号的相关性。具体来说，在接收信号上加一个1.33ms滑动窗口，然后通过计算滑动窗口中接收信号和发送信号之间的相对相关系数(RCC)来估计相关性。RCC的定义为ρ(r,r′)＝[Cov(r,r′)/σ_rσ_r′]·(r′_a/r_a)，其中r和r′分别代表发送信号和窗口中的接收信号，σ_r和σ_r′分别代表r和r′的标准差，r_a和r′_a分别代表r和r′的振幅的平均值。通过连续计算RCC，可以得到RCC谱。RCC谱中的每个波峰代表一个反射音频信号的物体。如果两个时刻的RCC谱中的波峰重叠，则说明相应的物体是静态的。反之，该物体就是运动的。由于两次计算RCC的时间间隔非常短，因此物体在这两个时刻之间的移动距离也非常短。所以相邻RCC谱中距离最近的峰值可以视为同一物体。最后从连续的RCC谱中提取出每个物体到手机的距离随时间的变化序列。

步骤三、在距离变化序列中识别与驾驶员吸烟相关的胸腔起伏。

相关调查研究发现通常人体呼吸时胸腔起伏不大于2.4cm，正常呼吸的频率为0.16Hz-0.6Hz，而吸烟呼吸的胸腔起伏一般大于2.4cm，持续时间较长且吸气的时长大于呼气的时长。为了监测驾驶员的呼吸情况，首先要确定哪些序列与胸腔运动有关。在经过步骤二得到每个物体的移动距离变化序列后，选择振幅变化范围小于2.4cm的序列。然后对选择的序列进行快速傅立叶变换，找出主要频率在0.16Hz-0.6Hz之间的序列。该序列所处的距离即为是驾驶员胸腔所处的位置，就可以通过智能手机连续对胸腔运动进行检测。

为了区分正常呼吸、深呼吸和吸烟呼吸，必须获得每次呼吸的深度、吸气和呼气的时长。胸腔运动产生的距离变化序列可以近似为一个周期性的正弦波，其波谷的位置可以代表呼吸的深度。为了区分正常呼吸和吸烟呼吸，首先根据距离变化序列的均值和标准差设置一个阈值，过滤掉大于阈值的波谷。为了区分深呼吸和吸烟呼吸，分别计算波谷两侧一段时间内的距离变化序列的斜率，该时间范围设置为1s。两个斜率绝对值的差值可以代表吸气时长和呼气时长的时间差。如果差值大于设定的阈值，就可以认为当前的一次呼吸是吸烟呼吸。

步骤四、在距离变化序列中识别与驾驶员吸烟相关的手臂动作。

驾驶员在吸烟时，手臂运动和胸腔运动具有较大的区别，因此首先从距离变化序列中过滤掉与吸烟时手臂运动差别较大的序列，例如振幅范围小的序列和持续时间短的序列。过滤后距离变化序列是一个二维的矩阵，该矩阵可以视为二维的图像。为了识别图像中是否存在吸烟时的手臂运动产生的距离变化序列，采用深度学习方法对图像进行分类。首先，采用5s的滑动窗口对图像进行分割。然后根据录像设备收集的真实动作信息，标记出每个图像真实所属的动作类别，包括吸烟时的手臂动作和其他动作，作为该图像的标签。之后，利用吸烟时的手臂动作和其他动作的图像和标签，训练出一个卷积神经网络(CNN)，该神经网络能够识别出驾驶员吸烟时的手臂动作。具体训练方法如下：

CNN包含两个卷积层、一个全连接层和一个Softmax层，每次的输入为一个96*96的图像。利用之前处理好的图像和标签训练网络。卷积层通过卷积操作来提取输入图像的深层特征。卷积层的参数由高斯分布初始化，并可以在反向传播过程中自动更新。优选的，激活函数设置为ReLU。在每个卷积层之后还添加一个maxpooling层，以减小特征大小。然后，我们添加一个128个单元的完全连接层。最后，通过Softmax层生成结果。对于CNN，输出的结果一共包含2个类别，则类概率向量为P＝{P¹,P²}，表示当前输入的图像分别属于每一类的概率，通过p＝s(W^Th+b)计算得到，其中s(·)为Softmax函数，W^T为权重矩阵，b为偏置向量。之后，将当前输入的图像分类到p中概率最大的类中。在训练过程中，网络要使预测值和真实值之间的差异最小，采用交叉熵代价函数来减小误差，最终训练得到CNN。

步骤五、综合分析驾驶员的胸腔起伏和手臂动作。

其他行为如吃东西、喝水都与吸烟行为有相似的动作模式，比如吃东西时的手臂动作与吸烟时的手臂动作很相似。但是吸烟行为不仅包含手臂动作，还包含胸腔的动作且有周期性。因此可以通过分析吸烟行为的全过程，以增加检测准确率。具体来说，当利用步骤四中的算法检测到驾驶员手部存在吸烟动作后，选择这段时间前后的音频信号进行步骤三中的呼吸检测。如果在选定的信号中，检测到吸烟呼吸，则可以认为驾驶员完成了一次吸烟动作。随后进行周期性分析，以检测在第一次吸烟动作之后是否还有吸烟动作，且连续两次吸烟动作的时间间隔是否相似，最终判断出驾驶员是否存在抽烟行为。

实施例

为了测试本方法的性能，将本方法编写成一个安卓应用程序部署在不同型号的安卓手机中。并且招募了6位驾驶员(4名男性和2名女性)驾驶不同的车辆进行了为期2个月的实验。在实验过程中，驾驶员完全按照平时的吸烟习惯和驾驶习惯进行实验。

驾驶员的吸烟模式和驾驶习惯各不相同，所以首先测试本方法在各种情况下的总体准确率。6位驾驶员在日常的驾驶过程中按照自己的吸烟习惯进行实验，车内的手机对驾驶员的运动行为进行分析。图3显示了不同驾驶员驾驶时的实验结果。检测的准确率是指对于某种行为，用本方法检测正确的次数和实际上驾驶员表现出该种行为的总次数的比值；检测的误报率是指驾驶员实际没有吸烟却被检测为吸烟的事件占所有被检测为吸烟的事件的比值。由图可以看出，对于该方法对于吸烟行为的平均检测准确率为93.44％；在所有的6位驾驶员中，最低的准确率为91.67％。对于吸烟行为的平均检测误报率为2.79％，充分说明了本方法有着较高的准确性。

然后，测试手机放置在不同位置下的检测能力。不同的驾驶员喜欢把手机放置在车内不同的位置上，这些位置主要包括仪表台左侧、仪表台右侧、车门附近以及换挡杆附近的储物空间。除了手机位置，驾驶员使用哪只手持烟也会影响准确性。图4显示了驾驶员分别使用左手或右手持烟且手机放置在不同位置时的实验结果，由图可以看出在不同的位置时，本方法都具有较高的准确率。当手机放置于仪表台上时，由于此时手机正对驾驶员，所以可以获得较高的准确率；当手机放置于换挡杆附近的储物空间时，由于此时手机远离驾驶员头部并且有较多的干扰物，所以准确率较低。当手机位置不变，驾驶员使用不同的手持烟时，准确率也会略微改变。但是在任意位置上，对于吸烟行为的平均检测准确率都不低于91.19％。

最后，测试本方法在不同衣服厚度下的检测能力。衣服厚度主要影响本方法对于胸腔运动的检测结果。本实验设置了4种衣服厚度，包括“衬衫”、“毛衣”、“衬衫+毛衣”以及“衬衫+毛衣+外套”。图5显示了在不同衣服厚度的实验结果，由图可以看出驾驶员衣服厚度越小，吸烟行为检测的准确率就越高。这是因为外套这样的衣服，会隐藏部分呼吸带来的身体运动。然而，在“衬衫+毛衣+外套”下，本方法的准确率也不低于91.08％。

由于驾驶员吸烟时，其手臂和胸腔的运动具有一定的规律性，而不同的动作会产生不同的距离变化序列，通过分析收集到的距离变化序列，就能获得驾驶员目前所处的运动状态，从而分析出驾驶员是否存在吸烟行为。因此本方法使用手机扬声器和麦克风组成一个简易的主动式声呐系统，收集驾驶员运动产生的多普勒频移，并采取有效的算法保证了本方法较高的稳定性和准确性。

以上所述的具体实例是对本发明的进一步解释说明，并不用于限定本发明的保护范围，凡在本发明原则和精神之内，所做的更改和等同替换都应是本发明的保护范围之内。

Claims (5)

1.利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，包括以下步骤：

步骤1：分析驾驶员吸烟行为包含的动作模式，包括：驾驶员左手或右手持烟，抬手将烟放在嘴上，把烟吸入嘴中，放下烟，驾驶员通过吸气把嘴中的烟吸入肺中，驾驶员通过呼气把烟呼出；

步骤2：计算驾驶员不同身体部位与手机之间的距离变化序列：

步骤2.1：采集驾驶员在驾驶时的动作数据；

在驾驶员驾驶的车辆内放置智能手机，手机扬声器按固定时间间隔发出超声波信号；

超声波信号经过正在运动的人体反射后，被手机麦克风接收；同时，通过车内放置的录像设备，收集驾驶员真实的动作信息；

步骤2.2：确定步骤2.1接收到的超声波信号的开始位置；

步骤2.3：经过步骤2.2找到开始点后，计算反射超声波信号的物体与手机之间的距离；

其中，接收信号包含手机周围各种物体反射的信号；为找到驾驶员的手臂和胸腔反射的信号，需监测不同距离上物体的移动；为监测物体的移动，从接收信号的开始点计算与发射信号的相关性；

步骤3：在距离变化序列中，识别与驾驶员吸烟相关的胸腔起伏；

为监测驾驶员的呼吸情况，首先确定哪些序列与胸腔运动有关，在经过步骤2得到每个物体的移动距离变化序列后，选择振幅变化范围小于2.4cm的序列；然后，对选择的序列进行快速傅立叶变换，找出主要频率在0.16Hz-0.6Hz之间的序列；该序列所处的距离即为驾驶员胸腔所处的位置，能够通过智能手机连续对胸腔运动进行检测；

为区分正常呼吸、深呼吸和吸烟呼吸，必须获得每次呼吸的深度、吸气和呼气的时长；为区分正常呼吸和吸烟呼吸，首先根据距离变化序列的均值和标准差设置一个阈值，过滤掉大于阈值的波谷；为区分深呼吸和吸烟呼吸，分别计算波谷两侧1s内的距离变化序列的斜率；两个斜率绝对值的差值代表吸气时长和呼气时长的时间差，如果差值大于设定的阈值，则认为当前的一次呼吸是吸烟呼吸；

步骤4：在距离变化序列中，识别与驾驶员吸烟相关的手臂动作；

首先从距离变化序列中过滤掉振幅变化范围小于2.4cm的序列和持续时间小于2s的序列；

过滤后距离变化序列是一个二维的矩阵，该矩阵视为二维的黑白图像；为识别图像中是否存在吸烟时的手臂运动，采用深度学习方法对图像进行分类；首先，采用5s的滑动窗口对图像进行分割；然后，根据录像设备收集的真实动作信息，标记出每个图像真实所属的动作类别，包括吸烟时的手臂动作和其他动作，作为该图像的标签。之后，利用吸烟时的手臂动作和其他动作的图像和标签，训练出一个卷积神经网络，该神经网络能够识别出驾驶员吸烟时的手臂动作；

步骤5：综合分析驾驶员的胸腔起伏和手臂动作。

当利用步骤4中的算法检测到驾驶员手部存在吸烟动作后，选择这段时间前后的音频信号进行步骤3中的呼吸检测；如果在选定的信号中，检测到吸烟呼吸，则认为驾驶员完成了一次吸烟动作；随后进行周期性分析，以检测在第一次吸烟动作之后是否还有吸烟动作，且连续两次吸烟动作的时间间隔是否相似，最终判断出驾驶员是否存在吸烟行为。

2.如权利要求1所述的利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，其特征在于，步骤2.1中，超声波信号的长度设置为1.33ms，时间间隔为8.33ms。

3.如权利要求1所述的利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，其特征在于，步骤2.2的实现方法如下：

首先，采用带通滤波器过滤掉所需频率之外的信号；对于滤波后的信号，采用一个滑动窗口方法，比较发出的超声波信号和窗口内接收信号的相似性，然后窗口向后滑动，直到找到相似性最大的时间点，这个时间点定义为开始点。

4.如权利要求1所述的利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，其特征在于，步骤2.3的实现方法如下：

在接收信号上加一个滑动窗口，然后通过计算滑动窗口中接收信号和发送信号之间的相对相关系数估计相关性；

通过连续计算RCC得到RCC谱，RCC谱中的每个波峰代表一个反射音频信号的物体，如果两个时刻的RCC谱中的波峰重叠，说明相应的物体是静态的，反之该物体是运动的；由于两次计算RCC的时间间隔非常短，因此物体在两个时刻之间的移动距离也非常短，所以，相邻RCC谱中距离最近的峰值视为同一物体；

最后，从连续的RCC谱中提取出每个物体到手机的距离随时间的变化序列。

5.如权利要求1所述的利用智能手机扬声器和麦克风的驾驶员吸烟行为检测方法，其特征在于，步骤4中，卷积神经网络具体训练方法如下：

CNN包含两个卷积层、一个全连接层和一个Softmax层；

每次的输入为一个96*96的图像，利用之前处理好的图像和标签训练网络；卷积层通过卷积操作提取输入图像的深层特征，卷积层的参数由高斯分布初始化，并能够在反向传播过程中自动更新；在每个卷积层之后，添加一个maxpooling层，以减小特征大小；然后，添加一个128个单元的完全连接层；最后，通过Softmax层生成结果；

对于CNN，输出的结果一共包含2个类别，分别是驾驶员出现吸烟时的手臂动作P¹、驾驶员没有出现吸烟时的手臂动作P²，则类概率向量为P＝{P¹,P²}，表示当前输入的图像分别属于每一类的概率，通过P＝s(W^Th+b)计算得到，其中，s(·)为Softmax函数，W^T为权重矩阵，b为偏置向量，h表示卷积层和全连接层输出的结果；之后，将当前输入的图像分类到P中概率最大的类中；

在训练过程中，网络要使预测值和真实值之间的差异最小，采用交叉熵代价函数来减小误差，最终训练得到CNN。

Images