CN106156564A - 基于智能手机的驾驶员识别方法 - Google Patents

Abstract

本发明提出了一种基于智能手机的驾驶员识别方法，包括如下步骤：S1，用户携带智能手机后，智能手机数据采集模块进行方位状态判断，根据方向调整方法将智能手机方位进行调整统一；S2，调整统一后的手机定位数据将被放入智能手机数据分析模块的时间窗口内进行特征值提取；S3，SVM分类器通过特征值识别用户初步属性；S4，用户初步属性识别完成之后，进行行为识别判断得到用户最终属性，从而判断该用户为驾驶员或者乘客。本发明有一个好的识别正确率，在成功识别手机用户为驾驶员的基础上，可以为驾驶员这个角色提供很多个性化的服务应用，可以让很多应用更加的便捷智能。

Description

基于智能手机的驾驶员识别方法

技术领域

本发明涉及计算机软件自动识别领域，尤其涉及一种基于智能手机的驾驶员识别方法。

背景技术

近几年，随着经济和科技的快速发展，智能手机以其外观纤细，设计时尚，而且具备和个人电脑相媲美的功能等优势快速地融入人们的生活，成为人们生活中不可或缺的一部分。随着时间的推移，智能手机的功能不断多样化，网络和硬件性能不断提升，除了基本的通信功能以外，还包括其他多个方面，如娱乐，社交，办公，金融，医疗保健等。

伴随智能手机功能和硬件的不断完善，通过智能手机传感器、计算和通信等模块协同工作对人类行为识别的能力也日益突出。如何充分利用智能手机自身的硬件条件使智能手机更好识别人类行为这个问题得到了很多科研人员的关注。

最近几年，有很多研究成果展示了通过智能手机中嵌入的传感器对人们日常行为进行识别。有识别简单的动作，如人们的行走，跑步，上下楼梯等。也有对人类复杂行为的识别，如识别骑车，老年人摔倒，不安全的驾驶行为等。还有通过智能手机的麦克风和摄像头识别用户所处环境，如识别手机用户是否在开会，手机用户是否在热闹的人群中等。这些行为的识别利用智能手机内置的传感器(如加速度传感器，陀螺仪传感器，重力传感器等)采集人们日常的行为信号，再对传感器的原始信号进行相关处理后，结合设计好的行为识别算法对行为进行识别。这些成果让智能手机更加“智能”，也使人们日常生活更加便捷。

针对智能手机导致驾驶员注意力分散的问题，最近几年已经有相关研究人员从安全角度设计一些应用程序阻止驾驶员在驾驶过程使用手机，如在驾驶过程中阻止手机来电和禁止对手机进行相关操作(如发短信)。但是这些方案都存在着一些限制，比如有些要在使用时提前设定手机用户的角色(驾驶员，乘客)，但是提前设定用户角色使得应用交互不是很友好，不够智能简单。有些要借助外界设备，如车载自动诊断系统(On BoardDiagnostics，OBD)，近场通信(Near Field Communication，NFC)，和车载系统等。但是这些外界设备并不是所有汽车都具备，例如只有一些高级车才配备了NFC和车载系统，有些设备则需要用户自己进行安装。因此，导致这些应用程序对于出厂时间较早，或者低端汽车不能提供很好的兼容性。当然，也有人从事通过智能手机传感器识别驾驶员的研究。在这些研究中，虽然不需要借助外界设备的辅助，但是要求汽车内至少存在两个智能手机，而且要求两个智能手机通信，通过智能手机传感器测出一个手机相对于另一个手机的位置；或者要求和云端进行通信。这些都没有完全做到只通过一个智能手机自主的识别驾驶员。这就亟需本领域技术人员解决相应的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于智能手机的驾驶员识别方法。

为了实现本发明的上述目的，本发明提供了一种基于智能手机的驾驶员识别方法，包括如下步骤：

S1，用户携带智能手机后，智能手机数据采集模块进行方位状态判断，根据方向调整方法将智能手机方位进行调整统一，然后执行S2；

S2，调整统一后的手机定位数据将被放入智能手机数据分析模块的时间窗口内进行特征值提取；

S3，SVM分类器通过特征值识别用户初步属性；

S4，用户初步属性识别完成之后，进行行为识别判断得到用户最终属性，从而判断该用户为驾驶员或者乘客。

所述的基于智能手机的驾驶员识别方法，优选的，所述S1的方位状态判断包括：

A，当智能手机屏幕朝向身体外侧时，Y轴的方向和重力加速度的方向相反状态；

B，当智能手机屏幕朝向身体外侧时，Y轴的方向和重力加速度的方向相同状态；

C，当智能手机屏幕朝向身体内侧时，Y轴的方向和重力加速度的方向相反状态；

D，当智能手机屏幕朝向身体内侧时，Y轴的方向和重力加速度的方向相同状态；

E，将采集的方向状态调整为B状态。

所述的基于智能手机的驾驶员识别方法，优选的，所述方向状态调整为B状态的步骤包括：

S1-1，将A状态进行调整，如果智能手机传感器在Y轴上采集输出数据为正则变成负，如果智能手机传感器在Y轴上采集输出数据为负则变成正；

S1-2，将C状态进行调整，如果智能手机传感器在X轴上采集输出数据为正则变成负，如果智能手机传感器在X轴上采集输出数据为负则变成正，如果智能手机传感器在Z轴上采集输出数据为正则变成负，如果智能手机传感器在Z轴上采集输出数据为负则变成正；

S1-3，将D状态进行调整，如果智能手机传感器在X轴上采集输出数据为正则变成负，如果智能手机传感器在X轴上采集输出数据为负则变成正，如果智能手机传感器在Y轴上采集输出数据为正则变成负，如果智能手机传感器在Y轴上采集输出数据为负则变成正，如果智能手机传感器在Z轴上采集输出数据为正则变成负，如果智能手机传感器在Z轴上采集输出数据为负则变成正。

所述的基于智能手机的驾驶员识别方法，优选的，所述S2的时间窗口内进行特征值提取的步骤包括：

S2-1，采集到的数据会被放进固定大小的时间窗口内，保证时间窗口的大小不变性，当有新数据过来时，将会删除较早时间的传感器数据；维持特定大小的时间窗口，同时负责从现有时间窗口数据中提取特征值，从而进行驾驶员或者乘客判断过程。

上述技术方案的有益效果为：通过时间窗口的分割可以依次对特征值进行判断，随着时间的推移，以及在一个特定时间段之内，其行为是相对固定的，从而更加准确的判断特征值从而判断用户是驾驶员或者乘客。

所述的基于智能手机的驾驶员识别方法，优选的，所述S3用户初步属性识别步骤包括：

S3-1，当智能手机放置在用户的上衣口袋时，用户上车后将会向左侧转动上半身拉动安全带，然后再向右侧转动上半身去系安全带，通过身体转动方向特征值判断用户在左侧上车，如果没有S3-1操作，则执行S3-2；

S3-2，当智能手机放置在用户的上衣口袋时，用户上车后将会向右侧转动上半身拉动安全带，然后再向左侧转动上半身去系安全带，通过身体转动方向特征值判断用户在右侧上车，如果没有S3-1和S3-2操作，则执行S3-3；

S3-3，当智能手机放置在用户的右侧腿裤兜时，用户左侧进入汽车先抬右侧腿，然后将右侧腿伸进汽车内，再抬起左侧腿进入汽车，通过右侧腿部特征值判断用户在左侧上车，如果没有S3-3操作，则执行S3-4；

S3-4，当智能手机放置在用户的右侧腿裤兜时，用户右侧进入汽车先抬左侧腿，然后将左侧腿伸进汽车内，再抬起右侧腿进入汽车，通过右侧腿部特征值判断用户在右侧上车，如果没有S3-3和S3-4操作，则执行S3-5；

S3-5，当智能手机放置在用户的左侧腿裤兜时，用户左侧进入汽车先抬右侧腿，然后将右侧腿伸进汽车内，再抬起左侧腿进入汽车，通过左侧腿部特征值判断用户在左侧上车，如果没有S3-5操作，则执行S3-6；

S3-6，当智能手机放置在用户的左侧腿裤兜时，用户右侧进入汽车先抬左侧腿，然后将左侧腿伸进汽车内，再抬起右侧腿进入汽车，通过左侧腿部特征值判断用户在右侧上车，执行S3-7；

S3-7，通过系安全带的身体转动方向特征值和上车抬腿时右侧腿部特征值和左侧腿部特征值的差异，区分用户左侧上车还是右侧上车，完成用户初步属性判断。

上述技术方案的有益效果为：对于智能手机采集的波形数据从中提炼归类出相应的特征值，从而实现对用户初步属性判断，上述步骤的逻辑关系是从整体上进行综合判断分析，从而增加判断的准确性。

所述的基于智能手机的驾驶员识别方法，优选的，所述S4用户最终属性判断步骤包括：

S4-1，当智能手机放在用户放在右腿裤兜时，根据踩刹车特征值判断用户为驾驶员，如果没有采集到S4-1的操作，则执行S4-2；

S4-2，当智能手机放在用户放在右腿裤兜时，根据踩油门特征值判断用户为驾驶员，如果没有采集到S4-2的操作，则执行S4-3；

S4-3，当用户进行转动方向盘的动作，根据转动方向盘特征值判断用户为驾驶员，如果没有采集到S4-3的操作，则执行S4-4；

S4-4，汽车在经过不平路面时，由于前车轮先过不平路面，采集颠簸状态特征值，如果前一时间窗口的颠簸状态特征值大于后一时间窗口的颠簸状态特征值，则判断为驾驶员，如果前一时间窗口的颠簸状态特征值小于后一时间窗口的颠簸状态特征值，则判断为乘客。

上述技术方案的有益效果为：对于智能手机采集的波形数据从中提炼归类出相应的特征值，从而实现对用户最终属性判断，上述步骤的逻辑关系是从整体上进行综合判断分析，从而增加判断的准确性。

所述的基于智能手机的驾驶员识别方法，优选的，所述SVM分类器分类的步骤包括：

上衣口袋训练过程，将智能手机放置在用户上衣口袋时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

上衣口袋分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成上衣口袋行为特征值；

左侧裤兜训练过程，将智能手机放置在用户左侧裤兜时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

左侧裤兜分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成左侧裤兜行为特征值；

右侧裤兜训练过程，将智能手机放置在用户右侧裤兜时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

右侧裤兜分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成右侧裤兜行为特征值。

上述技术方案的有益效果为：通过对SVM分类器进行训练和分离，采集足够多的用户行为样本，将数据放入SVM分类器进行训练和分类，将判断的行为更加准确。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

综合以上情况，本发明提出基于智能手机的驾驶员识别。本发明提出的解决方案旨在仅通过单个智能手机自带的传感器，不借助任何其他外界设备和网络环境，识别汽车中的手机用户是否为驾驶员。在该方案的基础上可以设计很多有用的扩展应用：如当识别出手机用户是驾驶员时，可以记录驾驶员的驾驶时间；若超过安全驾驶时间限制，可以通过智能手机提醒其已处于疲劳驾驶状态。也可以在识别出手机用户是驾驶员的情况下将相关的驾驶数据(驾驶的平均速度，所处位置，驾驶的时长等)上传给交通安全部门，在此基础上可以进行数据分析获得与交通相关的信息。在阻止手机分散驾驶员注意力方面，可以设置阻拦手机来电，禁止对手机的相关操作，阻止一些APP的推送通知等安全策略。以上列举的这些应用在成功识别出驾驶员的基础上将能提供更加有效的功能和更友好的体验。

本发明提出的驾驶员识别方案的主要思想是通过驾驶员和乘客一些特有的微小行为动作来区分驾驶员和乘客。经过观察和分析可知，驾驶员和乘客会各自表现出一些特有的微小动作。这些微小行为将会在智能手机内嵌的传感器输出的数据上有所体现。反过来，可以通过传感器采集到的数据识别出驾驶员和乘客各自的特有动作，从而达到识别出驾驶员的目的。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明总体示意图；

图2是本发明实施例手机放置在身体位置示意图；

图3是本发明手机设备手机坐标系和全球坐标系示意图；

图4是本发明驾驶员系安全带时陀螺仪Y轴上的数据波形图；

图5是本发明行为识别流程图；

图6是本发明实施例示意图；

图7是本发明实施例示意图；

图8是本发明实施例示意图；

图9是本发明实施例示意图；

图10是本发明训练分类器工作方法图；

图11是本发明分类器划分工作方法图；

图12是本发明汽车左侧和右侧系安全带在陀螺仪Y轴上信号对比图；

图13是本发明汽车左侧和右侧内腿抬腿在陀螺仪Y轴上信号对比图；

图14是本发明汽车左侧和右侧外腿抬腿在陀螺仪Y轴上信号对比图；

图15是本发明汽车左侧和右侧外腿抬腿在陀螺仪Z轴上信号对比图；

图16是本发明踩刹车时左腿和右腿在陀螺仪Y轴上的区别图；

图17是本发明转弯时驾驶员和乘客在陀螺仪Y轴上的波形比较图；

图18是本发明过减速带时前侧后后侧的波形差异图；

图19是本发明二维分类的两类样本分类示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明公开一种基于智能手机的驾驶员识别方法，其特征在于，包括如下步骤：

S1，用户携带智能手机后，智能手机数据采集模块进行方位状态判断，根据方向调整方法将智能手机方位进行调整统一，然后执行S2；

S2，调整统一后的手机定位数据将被放入智能手机数据分析模块的时间窗口内进行特征值提取；

S3，SVM分类器通过特征值识别用户初步属性；

S4，用户初步属性识别完成之后，进行行为识别判断得到用户最终属性，从而判断该用户为驾驶员或者乘客。

智能手机进行驾驶员和乘客判断过程中，特殊的微小动作持续的时间很短，系安全带的整个动作时间只有4秒，抬腿上车的整个动作只有3秒。而随着时间的推移，坐在汽车内部的人，手机传感器输出的数据整体是相似的，因为都是坐在汽车中，共同承受着汽车运动带来的影响。所以，基于智能手机的驾驶员识别必需做到在特殊动作发生时实时地捕捉。而不能将数据采集后进行离线分析。如何进行实时地识别持续时间短的行为也是这个方案中的难点。

基于智能手机的驾驶员识别方案将针对以上提出的难点，不依赖于汽车上的硬件以及其他硬件设备的支持，也不需要手机连接汽车内部网络或者两台手机相互连接。仅仅利用一台智能手机，对驾驶员和乘客的特定行为进行识别和分析，最终识别出手机用户是驾驶员还是乘客。

图1为基于智能手机的驾驶员识别的系统原理图。本系统主要有数据采集，数据处理，左右检测，前后检测和识别结果五个部分组成。数据采集部分会采集智能手机加速度传感器和陀螺仪的数据，随后将采集得到的原始数据交给数据处理部分进行处理。数据处理部分通过重力传感器和指南针对原始数据进行方向的调整，在这个部分，将通过数据调整解决手机放置方向的问题。调整后的数据将被放入时间窗口内进行特征值提取。提取后的特征值将被用来检测左右。当通过左右检测后，要是结果为右则为乘客。为左则继续进行前后检测。前后检测的结果为前则为驾驶员。前后检测为后则为乘客。

整个系统的执行过程中只需要智能手机内嵌传感器(重力传感器、加速度传感器、压力传感器、陀螺仪等)的数据，无需任何其他硬件和网络支持。

手机位置的确定

经过对问题的分析，本发明提出的基于智能手机的驾驶员识别系统假设在识别时手机是放在用户身上的。本发明是通过智能手机内嵌传感器采集用户在做动作行为时所产生的传感器数据。在这些数据的基础上，再进行相关算法进行驾驶员识别。当手机不在驾驶员身上时，也就不存在通过手机用户行为识别驾驶员。所以，这个假设是合理的。通过观察发现，当驾驶员或者乘客将手机放在身上时，会经常将手机放在上衣口袋和裤兜里，如图2所示。其中分别放置在上衣口袋，左侧裤兜，右侧裤兜。本系统将基于手机放置在这三个位置上的假设设计和实现。

除了手机在身体上放置的位置外，手机的放置方向也会影响传感器的数据。智能手机有自己的坐标系统，称为设备坐标系。设备坐标系的详细情况，以及设备坐标系和全球坐标系的对应情况如图3所示。手机传感器，如加速度传感器，会将传感得到的加速度数值映射到设备坐标系的三个轴上进行输出。三轴加速度传感器返回三维数据，那么某一时刻t的加速度a(t)表示如下：

$a\left(t\right)=\stackrel{\→}{a_x}+\stackrel{\→}{a_y}+\stackrel{\→}{a_z}$

其中表示X轴方向上的加速度分量；其中表示Y轴方向上的加速度分量；其中表示Z轴方向上的加速度分量。

陀螺仪能够测量不同方向上的角速度变化，陀螺仪测量物体绕三轴转动的角速度，因此某一时刻的的合角速度g(t)表示如下：

$g\left(t\right)=\stackrel{\→}{g_x}+\stackrel{\→}{g_y}+\stackrel{\→}{g_z}$

其中表示X轴方向上的加速度分量；其中表示Y轴方向上的加速度分量；其中表示Z轴方向上的加速度分量。

当手机屏幕朝上放在水平面上，加速度传感器Z轴的输出为-9.8m/s²，当手机屏幕朝下放在水平面上时，加速度传感器Z轴的输出为+9.8m/s²。所以手机方向也会影响智能手机传感器的输出。当手机放置在图2标注的三个位置上时，手机放置的位置有四种情况。这四种情况为，第一种情况为手机屏幕朝向身体外，Y轴的方向和重力加速度的方向相反。第二种情况为手机屏幕朝向身体外，Y轴的方向和重力加速度的方向相同。第三种情况为手机屏幕朝向身体，Y轴的方向和重力加速度的方向相反。第四种情况为手机屏幕朝向身体，Y轴的方向和重力加速度的方向相同。通过对传感器数据的分析，发现可以将四种可能的放置方向调整成第二种放置方向。

详细的调整方向为：(1)对于第一种情况，将手机传感器在Y轴上的输出数据正负置反(正的变成负的，负的变成正的)；

(2)对于第三种的情况，将手机传感器在X，Z轴上的输出数据正负置反；

(3)对于第四种情况，将手机传感器在X，Y，Z轴上的输出数据正负置反。

特殊动作检测

由于人类行为的不确定性导致除了驾驶员和乘客的特殊动作行为外还有其他很多其他的行为，例如：系安全带，开门上车；但是通过组合多个传感器的输出数据，驾驶员和乘客特殊行为的信号依然有很强的特点。图4显示的是驾驶员系安全带时陀螺仪上数据的变化。从图4的波形图中可以看出，当手机放置在用户上衣口袋，手机按图2中第一种情况放置，当驾驶员向左转动身体在陀螺仪的Y轴上将会产生正的波动，拉动安全带后，将向右转动身体系安全带，此时波形图产生了一个负的波动。由此可知，每一个特定动作在传感器的波形上都会有独特的特征。

本发明将通过SVM工具，对每个动作波形进行特征提取训练得到SVM分类器，通过SVM分类器在众多动作中找到特殊行为动作。

本发明采用的模式识别算法是支持向量机(Support Vector Machines，SVM)，是在统计学习理论基础上发展而来的一种新的模式识别方法。SVM克服了传统人工神经网络学习方法中合理结构难以确定和存在局部最优等缺陷，提高了方法的推广能力。由于采用了结构风险最小化原则代替经验风险最小化原则，因此较好的解决了小样本学习的问题，在小样本、非线性及高维模式识别问题中表现出许多特有的优势，得到了广泛的应用。

支持向量机是从线性可分情况下的最优分类面发展而来的，其基本思想是在两类样本之间寻找一个最优分类面，该最优分类面要在保证正确区分两类样本的同时使两者之间的分类间隔最大。以一个二维分类问题为例进行说明，图19所示，其中圆形点和方形点分别代表两类样本，H为分类线，H1、H2与H平行且分别经过两类样本中离H最近的样本，H1、H2之间的距离即为分类间隔(margin)。分类线方程为

w·x+b＝0

(w是分类线的斜率，b是分类线的截距)

可以对其进行归一化，使得对线性可分样本集

(x_i,y_i),i＝1,n,x∈R^d,y∈{+1,1}，满足

y_i[w·x_i+b]-1≥0,i＝1,…,n

满足上式且使||w||最小的分类面就叫做最优分类面，H1、H2上的训练样本就称作支持向量。此时样本的分类间隔为分类线w·x+b＝1与w·x+b＝-1的距离，即

$2\×\frac{|wx-b|}{\left|\right|w\left|\right|}=2\×\frac{1}{\left|\right|w\left|\right|}$

利用Lagrange优化方法可以把上述最优分类面问题转化为相应对偶问题，在约束条件

$\underset{i=1}{\overset{n}{\Σ}}{y}_i{\mathrm{\α}}_i=0,{\mathrm{\α}}_i\≥0,i=1,\mathrm{...},n$

下对α_i求解下列函数的最大值

α_i为每个约束条件对应的Lagrange乘子。在不等式约束下二次函数寻优，存在唯一的解。求解得到的最优分类函数为

$f\left(x\right)=\mathrm{sgn}\{w\·x+b\}=\mathrm{sgn}\{\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i^{*}{y}_i(x_i\·x)+b^{*}\}$

其中的求和部分只对支持向量进行。b是分类阈值，可以用任一支持向量求得，或通过两类中任意一对支持向量取中值求得。以上介绍的是线性可分的情况，而对于非线性分类问题，支持向量机方法的基本思路是：首先通过非线性变换将原始空间变换到某个高维空间，该步骤的目的是将原始空间中的非线性问题转变为高维空间中的线性问题，然后在变换所得空间中求取最优分类面，从而实现分类。

如图4所示，利用时间窗口解决动作行为持续时间短的问题。对于每一个特殊的微小动作行为来说，仅仅从传感器输出数据绘制的波形上能看出哪一段波形对应什么动作。但是，如何实时根据传感器数据识别出特定动作，本发明采取时间窗口的方式对传感器数据进行处理。在处理传感器输出数据时，维持特定窗口大小(一般2秒左右)的传感器数据。然后对窗口中的数据进行特征值提取，利用SVM分类器进行实时分类。这样保证了当某个特定动作出现的时候能立刻识别出来。

经过图4分析，基于智能手机的驾驶员识别系统，将充分利用智能手机传感器(加速度传感器，陀螺仪，GPS等)，通过传感器得到用户行为动作的输出信号，然后对这个信号按照特定时间窗口进行切割，对时间窗口中的数据信号提取指定的特征值交由SVM分类器进行分类从而达到了实时捕捉到特殊动作的目的。本发明提出的方案利用SVM分类器对特殊动作的识别。识别出的结果可以用来为很多应用服务，犹如本发明中所述的应用等。

1)数据采集模块：该模块主要利用智能手机内嵌传感器采集用户做出动作时产生的数据。利用智能手机传感器有加速度传感器，陀螺仪，指南针，GPS等。该模块采集实时的数据交给数据处理模块进行处理。

2)数据处理模块：该模块主要维持着一定大小时间窗口的数据。由数据采集模块采集到的数据会被放进固定大小的时间窗口内，为了保证时间窗口的大小不变性，当有新数据过来时，将会删除较早时间的传感器数据。除了维持特定大小的时间窗口外，该模块也负责从现有时间窗口数据中提取特征值，如平均值方差等。将处理得到的特征值交给行为识别模块。

3)行为识别模块：该模块主要利用前期制作好的SVM分类器对数据处理模块传输过来的特征值进行分类。当识别为特定的动作时，将按照图5的流程进行状态的转移。通过一步步的状态转移将最终判断用户是否为驾驶员。当识别到用户为驾驶员或者是乘客的时将识别结果给其他应用模块。

4)其他应用模块：行为识别模块识别出的结果，也就是用户是乘客还是驾驶员这个信息将能被很多其他的应用所使用，如安全驾驶应用，道路状况监测应用等。本发明提出的方案仅仅解决识别手机用户是否为驾驶员的问题。这个结果将为其他应用提供更深层次的服务。

基于智能手机的驾驶员识别系统主要利用驾驶员和乘客的特殊动作行为进行识别。经过分析得出，利用驾驶员和乘客的上车动作，系安全带动作，可以识别出手机用户是从左边上车还是从右边上车。在右侧上车的一定是乘客。而在左侧上车将要区分左侧乘客和驾驶员。在区分左侧乘客和驾驶员上，驾驶员转动方向盘，踩刹车的行为是驾驶员特有的，同时，在汽车过想减速带等不平的路面时也能区分出驾驶员和乘客。

各个特定动作的介绍如下：

1)系安全带

这个行为动作被用来区分手机用户在汽车左侧还是右侧。行为如图6所示。当手机放置在用户的上衣口袋时，用户上车后将会转动上半身去拉安全带，然后再转动上半身去系安全带。这个转动方向在汽车左侧和右侧正好相反。

2)上车抬腿

这个行为动作用来区分当手机放置在裤兜时用户在汽车的左侧还是右侧。在详细介绍前要说明下内腿和外腿的概念。内腿指的是上车时靠近汽车的那条腿，而外腿指的是远离汽车的那条腿，如当在左侧上车时，人的右腿为内腿而左腿为外腿。通过观察和分析可知，当人在进入汽车时要抬腿进入汽车。当在左侧进入汽车时，人会先抬内侧腿，然后将内侧腿伸进汽车内。然而这个伸腿的方向在右侧刚刚想反。同样的，当手机放在外腿上的时候，也有相同的规律。因此可以通过上车抬腿时方向的差异区分在左侧上车还是右侧上车。

通过系安全带和上车抬腿的动作能区分手机用户在汽车左侧还是右侧。在区分出在汽车左侧的基础上，如图7所示，将通过踩刹车，转动方向盘和过不平路面区分左侧的用户是驾驶员还是乘客。

3)踩刹车

这个行为动作用来区分在左侧的手机用户是驾驶员还是乘客，如图7所示。在通过上车抬腿和系安全带识别出在左侧后，当手机放在用户右腿时，将用这个动作区分手机用户是驾驶员还是乘客。踩刹车或者油门这个行为动作只有驾驶员才有，而坐在左侧的乘客则不会有。

4)转动方向盘

当手机放在上衣口袋时，通过观察和分析发现，当汽车在进行转弯时，由于驾驶员要进行转动方向盘的动作，如图8示。而左侧的乘客则没有类似特征的动作。当手机放在上衣口袋，转弯时驾驶员转动方向盘的动作能被智能手机传感器感知到。而左侧的乘客的手机传感器输出数据则没有这个动作的信号。

5)过不平路面

当手机放在左腿上时，在驾驶过程中，自动挡汽车左腿没有特定的动作。此时，本发明利用汽车经过不平路面时车前侧和后侧颠簸的时间和程度不同来区分用户是在左侧靠前还是在左侧靠后的位置，如图9所示，左侧靠前的就是驾驶员。汽车在经过不平路面时，由于前车轮先过不平路面，所以，坐在前侧的人的颠簸程度比坐在后侧的人大。当后轮经过不平路面的时候，坐在前侧的人的颠簸程度比坐在后侧的人小。这里所提到的不平路面包括：先上坡后下坡、先下坡后上坡、减速隔离带或者颠簸路面等。

至此，基于智能手机的驾驶员识别先通过系安全带和上车抬腿区分手机用户在左侧上车还是右侧上车。当在右侧上车时则为乘客，当在左侧上车时，再通过踩刹车，转方向盘和过不平路面区分左侧的用户是驾驶员还是乘客。

信号处理算法

基于智能手机的驾驶员识别通过智能手机内置传感器对驾驶员和乘客的行为动作进行感知，再利用SVM分类器识别出特殊的行为动作，结合识别出的动作推断手机用户是否为驾驶员。详细的流程如图5所示，处理智能手机传感器采集的数据，对于每个特殊行为动作的信号如何进行特征值地提取，使SVM分类器对每个特定的动作有更好的分类准确率。同时，该用户还能够将行为数据上传至云端服务器，在云端服务器也进行SVM分类器的分类操作，增加行为判断的准确性。

每个特定动作的处理都是以时间窗口为单位。

图10是动作分类器的训练算法。先对特殊动作的传感器信号进行采集。对采集到的信号进行分析，划分成指定的时间窗口。随后对时间窗口中的数据进行特征值提取。如何提起特征值，提取什么特征值将在后文介绍。特征值提取后将用来训练分类器。当分类训练完后将得到特殊动作的分类器。

图11中对特殊动作的分类器特征值进行提取。将通过图10得到的分类器对未知的传感器信号进行分类。对于未知的信号处理方式同训练分类器的方式一致。随后将提取的特征值交给训练好的分类器。要是特殊的动作则输出相应的动作标签。

对于时间窗口中的数据，将采取方差，极差，积分等统计量作为特征值，以下是统计量的计算公式：

方差的计算：

$S^2=\frac{{(x_1,M)}^2+{(x_2,M)}^2+\mathrm{...}+{(x_n,M)}^2}{n}$

公式描述：公式中M为数据的平均数，n为数据的个数，S²为方差。

平均值计算：

$Average=\frac{\left({\Σ}_{i=1}^n{x}_i\right)}{n}$

公式描述：公式中Average为数据的平均数，n为数据的个数，x_i为统计样本中的每个值。

极差计算：

R＝X_max-X_min

公式描述：公式中R为极差，X_max为统计样本中的最大值，X_min为统计样本的最小值。

各个动作的信号分析及特征值提取方法

系安全带信号处理

系安全带的动作被用于识别用户在汽车的左侧还是右侧。利用用户在系安全带时身体的转动方向不同进行区分。智能手机内嵌的陀螺仪正好适合对转动行为的测量。图6显示的是用户系安全带的动作行为在陀螺仪上信号输出。从图6中可以看出，在用户拉安全带时陀螺仪Y轴由于身体的转动产生了比较大的正方向峰值。紧接着将会向相反的方向转动身体系安全带，此时在信号波形上的体现为负值，同时产生了一个波峰。所以从图6可以证明用户的行为在传感器的输出信号上有很好的体现。

图12为在汽车左侧和右侧系安全带时陀螺仪Y轴上信号对比。从图中可以明显看出，在汽车两侧系安全带时陀螺仪Y轴上信号刚好相反，这个和现实中的动作刚好对应，在左侧和右侧系安全带时身体转动方向的方向正好相反。这个信号只有当手机放在用户的上衣口袋才会被采集到，当手机放在用户的裤兜中时则不会产生这样的信号。

在处理这个信号时，将时间窗口设定为4秒。用SVM对系安全带的行为动作进行分类。分类的标签为左侧系安全带，右侧系安全带，无特定动作三种。从时间窗口中的数据中提取特征值有：加速度传感器三轴信号的方差，陀螺仪Z轴和Y轴的方差，陀螺仪Y轴的平均值和时间窗口前1.2秒陀螺仪Y轴的积分。虽然在左侧和右侧系安全带的区别在陀螺仪Y轴上体现的比较明显，但是陀螺仪其他轴和加速度传感器的数据将辅助区分输入的信号是系安全带动作还是无特定动作。

上车抬腿信号处理

上车抬腿这个行为动作只有当手机放在用户下半身时才能被检测到，也就是放在左右腿裤兜中。抬腿进车的方向反应了用户从车的左侧上车还是右侧上车。图15为手机放在内腿从两侧上车时，陀螺仪Y轴的输出信号。

当手机放在内腿时，在车左侧的用户将会抬腿然后将腿从左向右移动放进车内，而车右侧的乘客正好相反。结合图13看，在左侧的用户抬腿后将腿放进车内的动作使陀螺仪Y轴信号产生了负的波峰。而在右侧用户上车时的信号波形正好相反，产生了正的波峰，并且两个波峰的走势是相似的。这个也正好和现实中的情况相似。也就是说传感器信号可以反映从车的左侧进车还是右侧进车。

手机放在内腿和放在外腿在传感器输出的信号有所不同。图14和图15展示的是手机放在外腿时抬腿进入车内的信号波形的差别。波形上信号的正负波峰的差别也正是现实中从汽车左侧和右侧上车时抬腿方向的不同。

在处理这个信号时，由于手机放在不同腿上输出的信号不同，所以，将上车抬腿的动作分为内腿上车和外腿上车。

在处理内腿上车这个信号时，将时间窗口设定为2秒。用SVM分类器对内腿上车动作进行分类。分类的标签为左侧内腿，右侧内腿，无特定动作三种。从时间窗口中的数据中提取的特征值有：加速度传感器三个轴和陀螺仪三个轴的方差，陀螺仪X，Y轴的平均值，陀螺仪X前0.4秒的积分和陀螺仪Y轴后1秒积分。陀螺仪X轴和Y轴积分主要用来区分在左侧上车还是在右侧上车，但是陀螺仪和加速度传感器的数据的方差值等将辅助区分输入的信号是抬腿动作还是无特定动作。

在处理外腿上车这个信号时，将时间窗口设定为2秒。用SVM对外腿上车动作进行分类。分类的标签为左侧外腿，右侧外腿，无特定动作三种。从时间窗口中的数据中提取的特征值有：加速度传感器三个轴和陀螺仪三个轴的方差，陀螺仪三轴的平均值，陀螺仪Y轴前1秒的积分和陀螺仪Z轴后1秒积分。陀螺仪Y轴和Z轴积分主要用来区分在左侧上车还是在右侧上车，但是陀螺仪和加速度传感器的数据的方差等将辅助区分输入的信号是抬腿动作还是无特定动作。

踩刹车信号处理

这个行为动作当手机放在用户右腿上才有可能被检测到。驾驶员在驾驶汽车的过程中会踩刹车和油门。当进行这个动作时，智能手机内嵌传感器能感知到，输出的波形有图16所示。

踩刹车和踩油门是先后发生的。从图16中可以看出，在踩刹车或油门时波形比较平凡，额外的动一下腿也可能会产生类似的波形。所以在处理这个动作时，本方案采取检测先刹车后踩油门(或者选踩油门后踩刹车)的行为动作。整个信号包含先踩刹车，随后会有一段静止的波形，紧接着会出现踩油门信号。这些信号在陀螺仪的Y轴上体现的比较明显。

在处理这个信号时，将时间窗口设定为3秒。用SVM对踩刹车动作进行分类。分类的标签为有采刹车动作，无特定动作两种。从时间窗口中的数据提取的特征值有：陀螺仪三轴前1秒的方差，加速度三轴后1秒的方差，陀螺仪中间1秒的方差。前1秒和后1秒识别踩油门或者刹车的行为。中间的1秒识别中间不动的部分。

转动方向盘信号处理

这个行为动作是当手机被放在用户上衣口袋是才可能被感知到。当汽车在行驶过程中，会有转弯的情况发生。当在转弯开始时，驾驶员要转动方向盘进行控制，转弯过后，要回正方向盘。这个行为在驾驶员后方的乘客则没有，属于驾驶员特有的行为。图17展示在转弯时乘客和驾驶员在传感器信号波形上的差异。

在转弯时，由于驾驶员要转动方向盘进行转向的控制，所以在转弯的起始和结束阶段驾驶员的波形会出现波动，而乘客的波形则是相对比较光滑的，但两者在中间的时间段波形相似。这个也是符合事实的。借此，当通过SVM检测到有出现类似的波形时可以识别出手机用户为驾驶员。

在处理这个信号时，将时间窗口设定为6秒。用SVM对转方向盘动作进行分类。分类的标签为转动方向盘，无特定动作两种。从时间窗口中的数据提取的特征值有：陀螺仪和加速度传感器Y轴Z轴前2秒，中间2秒和后2秒的方差，前1秒和后一秒的方差主要为识别转动方向盘做贡献。中间部分主要用来识别转弯状态。

过不平路面信号处理

这个特定的行为动作当手机被放置在用户左腿上将可能被检测到。由于汽车型号的不同，存在自动挡和手动挡。当驾驶自动挡汽车时，放在左腿时并没有类似于踩刹车的行为。针对这个情况，通过实验发现，当汽车在经过不平的路面上时，在左侧的驾驶员和乘客在传感器信号有差异，如图18所示。

图18展示的是汽车过减速带时在左侧的驾驶员乘客陀螺仪Y轴上的波形差异。当汽车前轮经过减速带，此时驾驶员由于在汽车前侧，所以产生的颠簸程度较大，在波形上体现的是振幅较大，而后侧的乘客振幅则较小。当后轮经过减速带时则相反，乘客的振幅较大而驾驶员的较小。从而当检测到这种先大后小的波动波形时可以判断用户是驾驶员。当然这种类似的波动趋势在加速度传感器上也有所体现。

在处理这个信号时，将时间窗口设定为1.4秒。用SVM对过不平路面进行分类。分类的标签为过不平路面，无特定动作两种。从时间窗口中的数据提取的特征值有：陀螺仪Y轴前0.7秒的极差和后0.7秒的极差的差值，陀螺仪Z轴前0.7秒的极差和后0.7秒的极差的差值，陀螺仪和加速度传感器三轴的方差。极差的差值主要体现了前半段颠簸和后半段颠簸程度的差异。而方差则体现和其他无关信号的差异。

在详细的介绍上面几个特定动作后，结合着图4的驾驶员识别流程图将能有效的识别智能手机用户是否为驾驶员。

当手机放在用户上衣口袋中，将要通过观察分析驾驶员和乘客系安全带的行为。驾驶员在系安全带时将先向左转动上半身拉安全带，然后向右转动上半身扣上安全带。这样的系安全带行为对于乘客来说正好相反。除此之外，在识别驾驶员时，还存在区分前后的问题。坐在驾驶员正后方的乘客上车时的动作，以及上车后系安全带的动作都和驾驶员相似。此时如果手机没有放在用户右腿，很难区分驾驶员和乘客。

智能手机用户是否为驾驶员这个基本信息对于很多应用来说非常重要。比如驾驶行为检测，不安全驾驶行为警告等。本发明提出了一种不依赖于任何外界硬件、基于单个智能手机的驾驶员识别方案。该方案实现了仅通过单个智能手机及其内置传感器识别手机用户是否为驾驶员的目的。基于智能手机的驾驶员识别的基本思想是利用驾驶员所具有的特殊微小动作进行驾驶员特征识别，如系安全带，踩刹车，转动方向盘等。而如何只通过单个智能手机对这些特殊的微小动作进行识别是本发明提出方案的难点。我们首先通过智能手机传感器采集用户行为信号，再结合SVM分类器对特殊的微小动作进行识别，最后检测这些动作先后发生的顺序确定手机用户是否为驾驶员。我们在Android操作系统上实现了本发明提出的方案。实验结果表明，对于每个特殊的微小动作都有至少85％的识别正确率，对驾驶员的识别正确率为90％。

Claims (7)

1.一种基于智能手机的驾驶员识别方法，其特征在于，包括如下步骤：

S1，用户携带智能手机后，智能手机数据采集模块进行方位状态判断，根据方向调整方法将智能手机方位进行调整统一，然后执行S2；

S2，调整统一后的手机定位数据将被放入智能手机数据分析模块的时间窗口内进行特征值提取；

S3，SVM分类器通过特征值识别用户初步属性；

S4，用户初步属性识别完成之后，进行行为识别判断得到用户最终属性，从而判断该用户为驾驶员或者乘客。

2.根据权利要求1所述的基于智能手机的驾驶员识别方法，其特征在于，所述S1的方位状态判断包括：

A，当智能手机屏幕朝向身体外侧时，Y轴的方向和重力加速度的方向相反状态；

B，当智能手机屏幕朝向身体外侧时，Y轴的方向和重力加速度的方向相同状态；

C，当智能手机屏幕朝向身体内侧时，Y轴的方向和重力加速度的方向相反状态；

D，当智能手机屏幕朝向身体内侧时，Y轴的方向和重力加速度的方向相同状态；

E，将采集的方向状态调整为B状态。

3.根据权利要求2所述的基于智能手机的驾驶员识别方法，其特征在于，所述方向状态调整为B状态的步骤包括：

S1-1，将A状态进行调整，如果智能手机传感器在Y轴上采集输出数据为正则变成负，如果智能手机传感器在Y轴上采集输出数据为负则变成正；

S1-2，将C状态进行调整，如果智能手机传感器在X轴上采集输出数据为正则变成负，如果智能手机传感器在X轴上采集输出数据为负则变成正，如果智能手机传感器在Z轴上采集输出数据为正则变成负，如果智能手机传感器在Z轴上采集输出数据为负则变成正；

S1-3，将D状态进行调整，如果智能手机传感器在X轴上采集输出数据为正则变成负，如果智能手机传感器在X轴上采集输出数据为负则变成正，如果智能手机传感器在Y轴上采集输出数据为正则变成负，如果智能手机传感器在Y轴上采集输出数据为负则变成正，如果智能手机传感器在Z轴上采集输出数据为正则变成负，如果智能手机传感器在Z轴上采集输出数据为负则变成正。

4.根据权利要求1所述的基于智能手机的驾驶员识别方法，其特征在于，所述S2的时间窗口内进行特征值提取的步骤包括：

S2-1，采集到的数据会被放进固定大小的时间窗口内，保证时间窗口的大小不变性，当有新数据过来时，将会删除较早时间的传感器数据；维持特定大小的时间窗口，同时负责从现有时间窗口数据中提取特征值，从而进行驾驶员或者乘客判断过程。

5.根据权利要求1所述的基于智能手机的驾驶员识别方法，其特征在于，所述S3用户初步属性识别步骤包括：

S3-1，当智能手机放置在用户的上衣口袋时，用户上车后将会向左侧转动上半身拉动安全带，然后再向右侧转动上半身去系安全带，通过身体转动方向特征值判断用户在左侧上车，如果没有S3-1操作，则执行S3-2；

S3-2，当智能手机放置在用户的上衣口袋时，用户上车后将会向右侧转动上半身拉动安全带，然后再向左侧转动上半身去系安全带，通过身体转动方向特征值判断用户在右侧上车，如果没有S3-1和S3-2操作，则执行S3-3；

S3-3，当智能手机放置在用户的右侧腿裤兜时，用户左侧进入汽车先抬右侧腿，然后将右侧腿伸进汽车内，再抬起左侧腿进入汽车，通过右侧腿部特征值判断用户在左侧上车，如果没有S3-3操作，则执行S3-4；

S3-4，当智能手机放置在用户的右侧腿裤兜时，用户右侧进入汽车先抬左侧腿，然后将左侧腿伸进汽车内，再抬起右侧腿进入汽车，通过右侧腿部特征值判断用户在右侧上车，如果没有S3-3和S3-4操作，则执行S3-5；

S3-5，当智能手机放置在用户的左侧腿裤兜时，用户左侧进入汽车先抬右侧腿，然后将右侧腿伸进汽车内，再抬起左侧腿进入汽车，通过左侧腿部特征值判断用户在左侧上车，如果没有S3-5操作，则执行S3-6；

S3-6，当智能手机放置在用户的左侧腿裤兜时，用户右侧进入汽车先抬左侧腿，然后将左侧腿伸进汽车内，再抬起右侧腿进入汽车，通过左侧腿部特征值判断用户在右侧上车，执行S3-7；

S3-7，通过系安全带的身体转动方向特征值和上车抬腿时右侧腿部特征值和左侧腿部特征值的差异，区分用户左侧上车还是右侧上车，完成用户初步属性判断。

6.根据权利要求5所述的基于智能手机的驾驶员识别方法，其特征在于，所述S4用户最终属性判断步骤包括：

S4-1，当智能手机放在用户放在右腿裤兜时，根据踩刹车特征值判断用户为驾驶员，如果没有采集到S4-1的操作，则执行S4-2；

S4-2，当智能手机放在用户放在右腿裤兜时，根据踩油门特征值判断用户为驾驶员，如果没有采集到S4-2的操作，则执行S4-3；

S4-3，当用户进行转动方向盘的动作，根据转动方向盘特征值判断用户为驾驶员，如果没有采集到S4-3的操作，则执行S4-4；

S4-4，汽车在经过不平路面时，由于前车轮先过不平路面，采集颠簸状态特征值，如果前一时间窗口的颠簸状态特征值大于后一时间窗口的颠簸状态特征值，则判断为驾驶员，如果前一时间窗口的颠簸状态特征值小于后一时间窗口的颠簸状态特征值，则判断为乘客。

7.根据权利要求1所述的基于智能手机的驾驶员识别方法，其特征在于，所述SVM分类器分类的步骤包括：

上衣口袋训练过程，将智能手机放置在用户上衣口袋时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

上衣口袋分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成上衣口袋行为特征值；

左侧裤兜训练过程，将智能手机放置在用户左侧裤兜时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

左侧裤兜分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成左侧裤兜行为特征值；

右侧裤兜训练过程，将智能手机放置在用户右侧裤兜时，根据该用户行为动作的时间窗口，对系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行记录，提取相应时间窗口的行为动作特征值，收集若干该用户的行为动作特征值，通过SVM分类器进行训练；

右侧裤兜分类过程，将训练完成的系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的行为动作进行分类，形成系安全带、左腿上车、右腿上车、踩刹车、踩油门、转动方向盘、经过不平路面的动作标签特征值，从而形成右侧裤兜行为特征值。