CN105677039A - 一种基于手势检测驾驶状态的方法、装置及可穿戴设备 - Google Patents

一种基于手势检测驾驶状态的方法、装置及可穿戴设备 Download PDF

Info

Publication number
CN105677039A
CN105677039A CN201610087223.5A CN201610087223A CN105677039A CN 105677039 A CN105677039 A CN 105677039A CN 201610087223 A CN201610087223 A CN 201610087223A CN 105677039 A CN105677039 A CN 105677039A
Authority
CN
China
Prior art keywords
data
hand
gesture motion
unit
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610087223.5A
Other languages
English (en)
Other versions
CN105677039B (zh
Inventor
谭墍元
郭伟伟
尹凯莉
田鑫
杨彦博
李力
徐大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING BEYOND TRAFFIC TECHNOLOGY Co Ltd
Original Assignee
BEIJING BEYOND TRAFFIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING BEYOND TRAFFIC TECHNOLOGY Co Ltd filed Critical BEIJING BEYOND TRAFFIC TECHNOLOGY Co Ltd
Priority to CN201610087223.5A priority Critical patent/CN105677039B/zh
Publication of CN105677039A publication Critical patent/CN105677039A/zh
Application granted granted Critical
Publication of CN105677039B publication Critical patent/CN105677039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于手势检测驾驶状态的方法、装置及可穿戴设备，所述方法包括：获取手部运动数据；提取所述手部运动数据的特征值；根据所述特征值确定手势动作；根据预设时间内手势动作的变化确定驾驶状态。本发明从驾驶者的手部运动数据中提取特征值可以确定驾驶者的手势动作，即使驾驶者的常规驾驶动作产生了比较明显的运动数据，也不会直接判定驾驶状态正常，而是进一步根据驾驶者在一定时间内的手势动作变化情况，来判定驾驶者的驾驶状态，避免由于驾驶者的常规驾驶动作产生的误判，由此本发明的判断准确率更高、综合性更强。

Description

一种基于手势检测驾驶状态的方法、装置及可穿戴设备
技术领域
本发明涉及驾驶行为检测技术领域，具体涉及一种基于手势检测驾驶状态的方法、装置及可穿戴设备。
背景技术
对驾驶员的驾驶状态进行实时、快速、便捷、准确地检测，对于交通安全具有重要意义。目前，对驾驶状态的检测方式有多种，例如基于对车辆特征、驾驶员面部特征、驾驶操作信息的检测。基于车辆特征检测驾驶状态，大多基于视频，易受环境和车型的影响，检测方法复杂；基于驾驶员面部特征检测驾驶状态，易受光线影响，检测环境受限；基于驾驶操作信息的检测，一般采用电极与驾驶员的身体部位接触，收集驾驶员的生理特征，不但影响驾驶安全，而且车辆总线输出的驾驶操作信号受车型的限制，不适合推广到实际应用中。
专利文件CN201510717106.8公开了一种基于智能手表的驾驶员疲劳驾驶的预警系统及预警方法，该预警方法包括：步骤1，利用三轴加速度计实时获取汽车驾驶员手腕分别在X轴、Y轴和Z轴摆动的加速度，确定汽车驾驶员手腕的动作特征，并根据驾驶状态下汽车驾驶员手腕的动作状态，判定当前时刻汽车驾驶员是否处于驾驶状态；如果当前时刻汽车驾驶员手腕的动作满足驾驶状态下汽车驾驶员手腕的动作状态时，判定当前时刻汽车驾驶员处于驾驶状态，进行步骤2；步骤2，分别确定汽车的速度设定阈值、汽车驾驶员手腕的摆动幅度设定阈值和摆动频率设定阈值；步骤3，利用GPS模块用于实时获取汽车的速度，并发送至CPU处理器；步骤4，CPU处理器实时接收汽车的速度，如果获知当前时刻汽车的速度小于等于汽车的设定速度阈值时，返回步骤3；如果获知当前时刻汽车的速度大于汽车的设定速度阈值时，进行步骤5；步骤5，利用三轴加速度计实时获取汽车驾驶员手腕的摆动幅度和摆动频率，并发送至CPU处理器；步骤6，CPU处理器实时接收汽车驾驶员手腕的摆动幅度和摆动频率，并根据汽车驾驶员手腕的摆动幅度设定阈值和摆动频率设定阈值，判定当前时刻汽车驾驶员是否处于疲劳驾状态。
综上所述，该方案最终是根据驾驶员手腕的摆动幅度和摆动频率确定驾驶状态的。具体而言，该方案认定当驾驶者的手部运动频率较大且每次的运动幅度较小时，驾驶者处于正常驾驶状态。但是，在实际驾驶过程中，如果驾驶者的手部总是重复单一的动作(例如换挡等常规驾驶动作)，也可能处在疲劳驾驶的状态。由此可见，该方案仅凭手部运动的幅度和频率来判定驾驶状态，并未进行驾驶手势的识别，也没有建立驾驶手势与驾驶状态的映射关系，会造成误判，其准确性较低。
发明内容
因此，本发明要解决的是现有技术中驾驶状态检测方案准确性低、所需设备复杂的问题。
有鉴于此，本发明提供一种基于手势检测驾驶状态的方法，该方法包括以下步骤：获取手部运动数据；提取所述手部运动数据的特征值；根据所述特征值确定手势动作；根据预设时间内手势动作的变化确定驾驶状态。
优选的，所述获取手部运动数据，包括：获取连续的手部状态数据；对所述连续的手部状态数据进行低通滤波和平滑滤波处理；从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。
优选的，所述从经过滤波处理后的连续的手部状态数据中截取出手部运动数据，包括：利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
优选的，所述提取所述手部运动数据的特征值，包括：从所述手部运动数据中提取多种特征值；对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。
优选的，所述根据所述特征值确定手势动作，包括：将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；利用所述BP神经网络模型确定手势动作。
优选的，所述根据预设时间内手势动作的变化确定驾驶状态，包括：在预设时间内计算手势动作的变化频率和变化类别；将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；根据比对结果确定驾驶状态。
优选的，所述手部运动数据为三轴加速度以及三轴角速度。
相应地，本发明还提供一种基于手势检测驾驶状态的装置，包括：获取单元，用于获取手部运动数据；提取单元，用于提取所述手部运动数据的特征值；识别单元，用于根据所述特征值确定手势动作；确定单元，用于根据预设时间内手势动作的变化确定驾驶状态。
优选地，所述获取单元包括：初始数据获取单元，用于获取连续的手部状态数据；滤波单元，用于对所述连续的手部状态数据进行低通滤波和平滑滤波处理；截取单元，用于从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。
优选地，所述截取单元包括：差分计算单元，用于利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；起终点确定单元，用于根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
优选地，所述提取单元包括：特征值提取单元，用于从所述手部运动数据中提取多种特征值；归一化单元，用于对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。
优选地，所述识别单元包括：神经网络输入单元，用于将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；神经网络输出单元，用于利用所述BP神经网络模型确定手势动作。
优选地，所述确定单元包括：动作变化统计单元，用于在预设时间内计算手势动作的变化频率和变化类别；比对单元，用于将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；状态确定单元，用于根据比对结果确定驾驶状态。
本发明还提供一种基于手势检测驾驶状态的可穿戴设备，包括：传感单元，用于采集驾驶者的手部状态数据；处理器，与所述传感单元连接，接收所述手部状态数据，并利用上述的方法确定驾驶者的驾驶状态。
优选地，还包括报警器，与所述处理器连接，用于根据所述处理器所确定的驾驶状态进行报警动作。
本发明技术方案，具有如下优点：
本发明从驾驶者的手部运动数据中提取特征值可以确定驾驶者的手势动作，即使驾驶者的常规驾驶动作产生了比较明显的运动数据，也不会直接判定驾驶状态正常，而是进一步根据驾驶者在一定时间内的手势动作变化情况，来判定驾驶者的驾驶状态，避免由于驾驶者的常规驾驶动作产生的误判，由此本发明的判断准确率更高、综合性更强。同时，本方案只需借助运动传感器来收集驾驶者的手部数据，并利用数据处理器来进行后续识别和判定操作，因此本方案可以由智能手环或智能手表等可穿戴设备来实现，收集到的信号更加准确，不需要设置诸如视频采集器、车辆数据采集器等额外的设备，不干扰驾驶者的正常驾驶，也不依赖车内的光照条件等因素，由此可见本发明的便利性较高。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于手势检测驾驶状态的方法的流程图；
图2为对驾驶手势信号的三轴加速度信号进行预处理之后的效果图；
图3为对驾驶手势信号的三轴角速度信号进行预处理之后的效果图；
图4为驾驶手势识别流程图；
图5为一种基于手势检测驾驶状态的装置的结构示意图；
图6为一种基于手势检测驾驶状态的可穿戴设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种基于手势检测驾驶状态的方法，如图1所示，包括：
S1：获取手部运动数据，手部运动数据可以是通过各种传感器收集的驾驶者的手部运动速度、加速度、角速度等多种数据。优选地，本实施例通过集成加速度计和陀螺仪的惯性传感器，采用低频采样模式，采集手部状态数据。根据不同驾驶状态下切换不同的采样频率和信号分析周期，采集驾驶手势信号的三轴加速度以及三轴角速度作为手部运动数据，并得到十六进制的原始数据。
S2：提取所述手部运动数据的特征值，手部运动数据可以用波形图来表示，因此对于每个数据而言均可提取多种特征值，例如包括信号的波峰值、波谷值、信号的持续时间等。
S3：根据所述特征值确定手势动作，手势识别的方法有多种，本领域技术人员可以理解，利用诸如基于模板的识别方法，如动态时间规划法(DTW)，支持向量机法(SVM)；基于概率统计的识别方法，如隐马尔科夫模型法(HMM)；基于数据分类的识别方法，如BP神经网络模型等方法都是可行的。利用上述方法，根据步骤S2提取到的各种特征值，可以确定出多种手势动作。
S4：根据预设时间内手势动作的变化确定驾驶状态，具体地，手势动作的识别是一个持续的过程，因此在一定时间内，根据驾驶者的手部运动可以确定出至少一个手势动作。进一步地，在一定时间内的手势动作，可以统计出手势动作的变化频率和变化类别。例如，根据5分钟内识别的手势动作，可以统计出手势动作在这5分钟内的变化，由手势的时间点可以得出手势动作变化的时间间隔即手势动作的频率，以及手势动作变化的类别量。根据不同的实际驾驶情况下采集的手势信号，确定驾驶员处于非正常驾驶状态(驾驶分心或驾驶疲劳)的预设频率阈值和预设类别量阈值。通过预设时间内手势动作的变化统计，将手势动作的变化频率和变化类别量与预设频率阈值和预设类别量阈值进行比对。根据比对结果，确定驾驶状态。
本方案从驾驶者的手部运动数据中提取特征值可以确定驾驶者的手势动作，即使驾驶者的常规驾驶动作产生了比较明显的运动数据，本发明也不会直接确定驾驶状态，而是进一步根据驾驶者在一定时间内的手势动作变化情况，来判定驾驶者的驾驶状态，避免由于驾驶者的常规驾驶动作产生的误判，由此本发明的判断准确率更高、综合性更强。同时，本方案只需借助运动传感器来收集驾驶者的手部数据，并利用数据处理器来进行后续识别和判定操作，因此本方案可以由智能手环或智能手表等可穿戴设备来实现，收集到的信号更加准确，不需要设置诸如视频采集器、车辆数据采集器等额外的设备，不干扰驾驶者的正常驾驶，也不依赖车内的光照条件等因素，由此可见本发明的便利性较高。
作为一个优选的实施方案，上述步骤S1可以包括如下子步骤：
S11，获取连续的手部状态数据，连续的手部状态数据中可能存在静止状态下的数据和运动状态下的数据；
S12，对所述连续的手部状态数据进行低通滤波和平滑滤波处理。由于完成一个手势的最短时间为0.3s-1s之间，则手势信号的频率在1HZ-4HZ之间，需要提出小于1HZ和大于4HZ的噪声信号。因此，选用低通滤波滤除由于手的抖动和脉搏颤动产生的不应该出现在手部动作中出现的高频信号，并采用五点三次平滑滤波法做平滑处理。平滑处理可以对信号的噪声部分做处理，使信号波形易于识别。与卡尔曼和小波滤波相比，低通滤波和平滑处理在达到滤波效果的基础上，算法更加简单；
S13，从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。因为驾驶手势在大部分时间是处于静止状态，在进行识别时手势信号数据量很大，因此为了降低计算的复杂度和减少识别时间，在对手势进行识别的时候，需要把真正需要识别的手势信号，即不是长时间静止时的手势信号截取出来进行手势的识别。
上述优选方案对连续的手部状态数据进行处理，从中截取运动状态下的数据，后续步骤不再对静止的手部数据进行处理，由此可以提高本方案的效率。
进一步地，上述步骤S13可以包括如下子步骤：
S131，利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；
S132，根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
信号的截取首先要准确检测手势的起点和终点(加速度和角速度的差分识别，两者同时检测到或者时间间隔小于0.1s)，从而截取有效的手势信号段。
对滤波处理后的信号进行截取，就是找到有效信号的起点和终点截取信号，所用方法为差分法，公式为Δa＝|axk-axk-1|+|ayk-ayk-1|+|azk-azk-1|，其中axk、ayk、azk为手势在点k处x、y、z三轴的加速度，axk-1、ayk-1、azk-1为手势在k-1处的x、y、z三轴加速度，Δa为加速度的差分值，Mak为加速度的平均差分值；其中N为求取平均差分值的个数，其大小间接决定起点和终点的位置，经计算本实施例中N取15。
对驾驶手势信号的三轴加速度以及三轴角速度信号进行预处理之后的效果图分别如图2和图3所示。由此可见，该预处理方法简单易实现，并且经预处理后的信号更便于后续驾驶手势的识别。
作为一个优选的实施方式，上述步骤S2可以包括如下子步骤：
S21，从所述手部运动数据中提取多种特征值，本实施例选取的手部运动数据的特征值为Xi,i＝1,...5，分别为加速度波峰波谷的个数，角速度波峰波谷的个数，手势信号的长度，加速度能量最大值，角速度能量最大值；
S22，对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。为消除特征信号之间的量纲影响，对提取的手部运动数据的特征值进行归一化处理，公式为其中X* i为归一化之后的数据。
上述优选方案从手部运动数据中提取多种特征值，并且将提取的手部运动数据的特征值进行归一化处理，后续步骤利用归一化处理后的多种特征值确定手势动作，与单一的检测指标相比，本方案识别的驾驶手势更加准确。
作为一个优选的实施方式，上述步骤S3可以包括如下子步骤：
S31，将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；
S32，利用所述BP神经网络模型确定手势动作。
具体地，BP神经网络的输入层即提取的手部运动数据的特征值。对于一个待识别的手势动作，则输入层为Xi,i＝1,...5，分别为加速度波峰波谷的个数，角速度波峰波谷的个数，手势信号的长度，加速度能量最大值，角速度能量最大值；输出层为Y(Y＝1,2,…,6)，Y为手势动作的编号，例如Y的6个值依次表示抬手、抬手接电话、擦车前玻璃、打方向盘、回方向盘、拉安全带。
在正式识别手势动作之前，应当首先利用采集到的一部分已知手势动作的特征值和其对应的手势动作编号在BP神经网络中进行训练，直到误差在允许范围内，并保存训练好的BP神经网络。BP神经网络的训练是离线完成的。其中，手势动作的编号和手势名称是一一对应的关系，BP神经网络输出手势动作的编号，由事先已知的对应关系输出手势名称。
再利用采集到的另外一部分已知手势动作的特征值和其对应的手势动作编号在已经训练好的BP神经网络中进行测试。由于BP神经网络是一种按误差逆传播算法训练的多层前馈网络，向其输入提取的手部运动数据的特征值，BP神经网络测试误差在设定范围内即可认为手势识别正确，输出识别的手势动作的编号，由事先确定的手势动作编号输出相应的手势名称。
驾驶手势识别流程如图4所示。利用BP神经网络识别手势动作，提高了驾驶行为检测的准确度。
作为一个优选的实施方式，上述步骤S4可以包括如下子步骤：
S41，在预设时间内计算手势动作的变化频率和变化类别；
S42，将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；
S43，根据比对结果确定驾驶状态。
根据不同的实际驾驶情况下采集的驾驶手势信号，确定驾驶员处于非正常驾驶状态(驾驶分心或驾驶疲劳)的预设频率阈值和预设类别量阈值。通过预设时间内驾驶手势动作的变化统计，将手势动作的变化频率和变化类别量与预设频率阈值和预设类别量阈值进行比对。根据比对结果，确定驾驶员处于正常驾驶状态或非正常驾驶状态(驾驶分心或驾驶疲劳)。
具体地，不同的实际驾驶情况包括驾驶员的行车路况，可分为高速公路和城市道路。例如，车辆在高速公路上行驶时，大多是笔直的道路，此时驾驶员微调方向盘，手部动作细微，很可能误判，因此结合行车路况，可避免在此种情况下误判驾驶状态。当在高速公路行驶时，在预设时间内，当实际统计出的驾驶手势动作的变化频率大于预设频率阈值和/或驾驶手势动作的变化类别量大于预设类别量阈值时，判定为非正常驾驶状态(驾驶分心或驾驶疲劳)。当在城市道路行驶时，例如，由于拥堵等原因会遇到很多转弯的情况，此时驾驶员调节方向盘的动作较大，如果实际统计出的驾驶手势动作的变化频率小于预设频率阈值和/或驾驶手势动作的变化类别量小于预设类别量阈值时，驾驶员处于分心或疲劳的可能性越大，判定为非正常驾驶状态。
实施例2
本实施例提供一种基于手势检测驾驶状态的装置，如图5所示，该装置包括：
获取单元51，用于获取手部运动数据，其中所述手部运动数据优选为三轴加速度以及三轴角速度。
提取单元52，用于提取所述手部运动数据的特征值。
识别单元53，用于根据所述特征值确定手势动作。
确定单元54，用于根据预设时间内手势动作的变化确定驾驶状态。
本方案从驾驶者的手部运动数据中提取特征值可以确定驾驶者的手势动作，即使驾驶者的常规驾驶动作产生了比较明显的运动数据，本发明也不会直接确定驾驶状态，而是进一步根据驾驶者在一定时间内的手势动作变化情况，来判定驾驶者的驾驶状态，避免由于驾驶者的常规驾驶动作产生的误判，由此本发明的判断准确率更高、综合性更强。同时，本方案只需借助运动传感器来收集驾驶者的手部数据，并利用数据处理器来进行后续识别和判定操作，因此本方案可以由智能手环或智能手表等可穿戴设备来实现，收集到的信号更加准确，不需要设置诸如视频采集器、车辆数据采集器等额外的设备，不干扰驾驶者的正常驾驶，也不依赖车内的光照条件等因素，由此可见本发明的便利性较高。
优选地，所述获取单元51包括：
初始数据获取单元，用于获取连续的手部状态数据；
滤波单元，用于对所述连续的手部状态数据进行低通滤波和平滑滤波处理；
截取单元，用于从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。
上述优选方案对连续的手部状态数据进行处理，从中截取运动状态下的数据，后续步骤不再对静止的手部数据进行处理，由此可以提高本方案的效率。
优选地，所述截取单元包括：
差分计算单元，用于利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；
起终点确定单元，用于根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
该预处理方法简单易实现，并且经预处理后的信号更便于后续驾驶手势的识别。
优选地，所述提取单元52包括：
特征值提取单元，用于从所述手部运动数据中提取多种特征值；
归一化单元，用于对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。
上述优选方案从手部运动数据中提取多种特征值，并且将提取的手部运动数据的特征值进行归一化处理，后续步骤利用归一化处理后的多种特征值确定手势动作，与单一的检测指标相比，本方案识别的驾驶手势更加准确。
优选地，所述识别单元53包括：
神经网络输入单元，用于将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；
神经网络输出单元，用于利用所述BP神经网络模型确定手势动作。
利用BP神经网络识别手势动作，可提高驾驶行为检测的准确度。
优选地，所述确定单元54包括：
动作变化统计单元，用于在预设时间内计算手势动作的变化频率和变化类别；
比对单元，用于将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；
状态确定单元，用于根据比对结果确定驾驶状态。
实施例3
本实施例提供一种基于手势检测驾驶状态的可穿戴设备，如图6所示，该设备包括：
传感单元61，用于采集驾驶者的手部状态数据。传感单元可以是集成加速度计和陀螺仪的惯性传感器，采集的手部状态数据可以是三轴加速度和/或三轴角速度。
处理器62，与所述传感单元61连接，接收所述手部状态数据，并利用实施例1提供的方法确定驾驶者的驾驶状态。
本方案利用运动传感器来收集驾驶者的手部数据，并利用数据处理器从驾驶者的手部运动数据中提取特征值以确定驾驶者的手势动作，即使驾驶者的常规驾驶动作产生了比较明显的运动数据，本方案也不会直接确定驾驶状态，而是进一步根据驾驶者在一定时间内的手势动作变化情况，来判定驾驶者的驾驶状态，避免由于驾驶者的常规驾驶动作产生的误判，由此本发明的判断准确率更高、综合性更强。并且，本方案不需要设置诸如视频采集器、车辆数据采集器等额外的设备，不干扰驾驶者的正常驾驶，也不依赖车内的光照条件等因素，由此可见本方案收集到的信号更加准确，便利性较高。
作为一个优选的实施方案，该设备还可以包括：
报警器63，与所述处理器62连接，用于根据处理器62所确定的驾驶状态进行报警动作。报警器可以是震动装置，当判定驾驶状态异常时，可进行震动以提示驾驶者调整驾驶状态。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (15)

1.一种基于手势检测驾驶状态的方法，其特征在于，包括以下步骤：
获取手部运动数据；
提取所述手部运动数据的特征值；
根据所述特征值确定手势动作；
根据预设时间内手势动作的变化确定驾驶状态。
2.根据权利要求1所述的方法，其特征在于，所述获取手部运动数据，包括：
获取连续的手部状态数据；
对所述连续的手部状态数据进行低通滤波和平滑滤波处理；
从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。
3.根据权利要求2所述的方法，其特征在于，所述从经过滤波处理后的连续的手部状态数据中截取出手部运动数据，包括：
利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；
根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
4.根据权利要求1所述的方法，其特征在于，所述提取所述手部运动数据的特征值，包括：
从所述手部运动数据中提取多种特征值；
对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征值确定手势动作，包括：
将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；
利用所述BP神经网络模型确定手势动作。
6.根据权利要求1所述的方法，其特征在于，所述根据预设时间内手势动作的变化确定驾驶状态，包括：
在预设时间内计算手势动作的变化频率和变化类别；
将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；
根据比对结果确定驾驶状态。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述手部运动数据为三轴加速度以及三轴角速度。
8.一种基于手势检测驾驶状态的装置，其特征在于，包括：
获取单元，用于获取手部运动数据；
提取单元，用于提取所述手部运动数据的特征值；
识别单元，用于根据所述特征值确定手势动作；
确定单元，用于根据预设时间内手势动作的变化确定驾驶状态。
9.根据权利要求8所述的装置，其特征在于，所述获取单元包括：
初始数据获取单元，用于获取连续的手部状态数据；
滤波单元，用于对所述连续的手部状态数据进行低通滤波和平滑滤波处理；
截取单元，用于从经过滤波处理后的连续的手部状态数据中截取出手部运动数据。
10.根据权利要求9所述的装置，其特征在于，所述截取单元包括：
差分计算单元，用于利用差分法计算经过滤波处理后的连续的手部状态数据的平均差分值；
起终点确定单元，用于根据所述平均差分值从经过滤波处理后的连续的手部状态数据中确定每一段手部运动数据的起点和终点。
11.根据权利要求8所述的装置，其特征在于，所述提取单元包括：
特征值提取单元，用于从所述手部运动数据中提取多种特征值；
归一化单元，用于对所述多种特征值进行归一化处理，使所述多种特征值处于同一数量级。
12.根据权利要求8所述的装置，其特征在于，所述识别单元包括：
神经网络输入单元，用于将所述特征值作为BP神经网络模型的输入数据，所述BP神经网络模型是利用已知的特征值和预设的手势动作进行训练得到的；
神经网络输出单元，用于利用所述BP神经网络模型确定手势动作。
13.根据权利要求8所述的装置，其特征在于，所述确定单元包括：
动作变化统计单元，用于在预设时间内计算手势动作的变化频率和变化类别；
比对单元，用于将所述变化频率和变化类别与预设频率阈值和预设类别量阈值进行比对；
状态确定单元，用于根据比对结果确定驾驶状态。
14.一种基于手势检测驾驶状态的可穿戴设备，其特征在于，包括：
传感单元，用于采集驾驶者的手部状态数据；
处理器，与所述传感单元连接，接收所述手部状态数据，并利用权利要求1-7中任一项所述的方法确定驾驶者的驾驶状态。
15.根据权利要求14所述的设备，其特征在于，还包括：
报警器，与所述处理器连接，用于根据所述处理器所确定的驾驶状态进行报警动作。
CN201610087223.5A 2016-02-16 2016-02-16 一种基于手势检测驾驶状态的方法、装置及可穿戴设备 Active CN105677039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610087223.5A CN105677039B (zh) 2016-02-16 2016-02-16 一种基于手势检测驾驶状态的方法、装置及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610087223.5A CN105677039B (zh) 2016-02-16 2016-02-16 一种基于手势检测驾驶状态的方法、装置及可穿戴设备

Publications (2)

Publication Number Publication Date
CN105677039A true CN105677039A (zh) 2016-06-15
CN105677039B CN105677039B (zh) 2020-06-09

Family

ID=56304517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610087223.5A Active CN105677039B (zh) 2016-02-16 2016-02-16 一种基于手势检测驾驶状态的方法、装置及可穿戴设备

Country Status (1)

Country Link
CN (1) CN105677039B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339088A (zh) * 2016-08-30 2017-01-18 维沃移动通信有限公司 检测设备运动状态的方法、手持式移动终端及穿戴式设备
CN106371587A (zh) * 2016-08-28 2017-02-01 深圳市爱华兴模具有限公司 一种简单有效的手势识别方法
CN106598225A (zh) * 2016-11-14 2017-04-26 广州视源电子科技股份有限公司 可穿戴设备识别人体动作的方法及装置
CN106598232A (zh) * 2016-11-22 2017-04-26 深圳市元征科技股份有限公司 手势识别方法及装置
CN106975218A (zh) * 2017-03-10 2017-07-25 安徽华米信息科技有限公司 基于多个可穿戴设备控制体感游戏的方法及装置
CN108665680A (zh) * 2018-05-10 2018-10-16 武汉理工大学 一种基于智能手环的高速公路驾驶人疲劳监测预警系统
CN109753172A (zh) * 2017-11-03 2019-05-14 矽统科技股份有限公司 触控面板敲击事件的分类方法及系统，及触控面板产品
CN109784768A (zh) * 2019-02-18 2019-05-21 吉林大学 一种驾驶任务识别方法
CN110109599A (zh) * 2018-02-01 2019-08-09 矽统科技股份有限公司 使用者与触控笔的互动方法、分类系统以及触控笔产品
CN110155069A (zh) * 2019-04-12 2019-08-23 深圳壹账通智能科技有限公司 驾驶员精神状态监测方法、装置、存储介质及终端设备
CN110308795A (zh) * 2019-07-05 2019-10-08 济南大学 一种动态手势识别方法及系统
CN110623673A (zh) * 2019-09-29 2019-12-31 华东交通大学 一种用于驾驶员手势识别的全柔性智能腕带
CN110795969A (zh) * 2018-08-02 2020-02-14 上海汽车集团股份有限公司 安全带佩戴识别方法、装置及电子设备
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质
CN111163213A (zh) * 2019-11-20 2020-05-15 华为技术有限公司 终端控制方法、装置及终端设备
CN111401527A (zh) * 2020-03-24 2020-07-10 金陵科技学院 基于ga-bp网络的机器人行为校验识别方法
CN112861657A (zh) * 2021-01-21 2021-05-28 厦门金龙联合汽车工业有限公司 一种无人车经召停靠方法、终端设备及存储介质
US11287903B2 (en) 2018-02-01 2022-03-29 Silicon Integrated Systems Corp. User interaction method based on stylus, system for classifying tap events on stylus, and stylus product

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010030951A1 (en) * 2008-09-12 2010-03-18 Invensense Low inertia frame for detecting coriolis acceleration
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统
CN103543826A (zh) * 2013-07-30 2014-01-29 广东工业大学 一种基于加速度传感器的手势识别方法
CN104699238A (zh) * 2013-12-10 2015-06-10 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的系统和方法
CN104750242A (zh) * 2013-12-31 2015-07-01 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的设备和方法
CN105205990A (zh) * 2015-10-29 2015-12-30 长安大学 基于智能手表的驾驶员疲劳驾驶的预警系统及预警方法
CN105223957A (zh) * 2015-09-24 2016-01-06 北京零零无限科技有限公司 一种手势操控无人机的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010030951A1 (en) * 2008-09-12 2010-03-18 Invensense Low inertia frame for detecting coriolis acceleration
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN103376890A (zh) * 2012-04-16 2013-10-30 富士通株式会社 基于视觉的手势遥控系统
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法
CN103543826A (zh) * 2013-07-30 2014-01-29 广东工业大学 一种基于加速度传感器的手势识别方法
CN104699238A (zh) * 2013-12-10 2015-06-10 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的系统和方法
CN104750242A (zh) * 2013-12-31 2015-07-01 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的设备和方法
CN105223957A (zh) * 2015-09-24 2016-01-06 北京零零无限科技有限公司 一种手势操控无人机的方法和装置
CN105205990A (zh) * 2015-10-29 2015-12-30 长安大学 基于智能手表的驾驶员疲劳驾驶的预警系统及预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王莹: "基于表情及姿态的机车司机疲劳驾驶监测技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371587A (zh) * 2016-08-28 2017-02-01 深圳市爱华兴模具有限公司 一种简单有效的手势识别方法
CN106339088A (zh) * 2016-08-30 2017-01-18 维沃移动通信有限公司 检测设备运动状态的方法、手持式移动终端及穿戴式设备
CN106339088B (zh) * 2016-08-30 2020-03-10 维沃移动通信有限公司 检测设备运动状态的方法、手持式移动终端及穿戴式设备
CN106598225A (zh) * 2016-11-14 2017-04-26 广州视源电子科技股份有限公司 可穿戴设备识别人体动作的方法及装置
CN106598225B (zh) * 2016-11-14 2019-05-07 广州视源电子科技股份有限公司 可穿戴设备识别人体动作的方法及装置
CN106598232A (zh) * 2016-11-22 2017-04-26 深圳市元征科技股份有限公司 手势识别方法及装置
CN106598232B (zh) * 2016-11-22 2020-02-28 深圳市元征科技股份有限公司 手势识别方法及装置
CN106975218A (zh) * 2017-03-10 2017-07-25 安徽华米信息科技有限公司 基于多个可穿戴设备控制体感游戏的方法及装置
CN106975218B (zh) * 2017-03-10 2021-03-23 北京顺源开华科技有限公司 基于多个可穿戴设备控制体感游戏的方法及装置
CN109753172A (zh) * 2017-11-03 2019-05-14 矽统科技股份有限公司 触控面板敲击事件的分类方法及系统，及触控面板产品
CN110109599A (zh) * 2018-02-01 2019-08-09 矽统科技股份有限公司 使用者与触控笔的互动方法、分类系统以及触控笔产品
US11287903B2 (en) 2018-02-01 2022-03-29 Silicon Integrated Systems Corp. User interaction method based on stylus, system for classifying tap events on stylus, and stylus product
CN108665680A (zh) * 2018-05-10 2018-10-16 武汉理工大学 一种基于智能手环的高速公路驾驶人疲劳监测预警系统
CN110795969A (zh) * 2018-08-02 2020-02-14 上海汽车集团股份有限公司 安全带佩戴识别方法、装置及电子设备
CN109784768A (zh) * 2019-02-18 2019-05-21 吉林大学 一种驾驶任务识别方法
CN109784768B (zh) * 2019-02-18 2023-04-18 吉林大学 一种驾驶任务识别方法
CN110155069A (zh) * 2019-04-12 2019-08-23 深圳壹账通智能科技有限公司 驾驶员精神状态监测方法、装置、存储介质及终端设备
CN110308795A (zh) * 2019-07-05 2019-10-08 济南大学 一种动态手势识别方法及系统
CN110308795B (zh) * 2019-07-05 2022-10-11 济南大学 一种动态手势识别方法及系统
CN110623673A (zh) * 2019-09-29 2019-12-31 华东交通大学 一种用于驾驶员手势识别的全柔性智能腕带
CN110623673B (zh) * 2019-09-29 2022-01-28 华东交通大学 一种用于驾驶员手势识别的全柔性智能腕带
CN111163213A (zh) * 2019-11-20 2020-05-15 华为技术有限公司 终端控制方法、装置及终端设备
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质
CN111401527A (zh) * 2020-03-24 2020-07-10 金陵科技学院 基于ga-bp网络的机器人行为校验识别方法
CN111401527B (zh) * 2020-03-24 2022-05-13 金陵科技学院 基于ga-bp网络的机器人行为校验识别方法
CN112861657A (zh) * 2021-01-21 2021-05-28 厦门金龙联合汽车工业有限公司 一种无人车经召停靠方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN105677039B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN105677039A (zh) 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
CN107662613B (zh) 一种基于移动群智感知的极端驾驶行为识别方法及系统
Sun et al. An integrated solution for lane level irregular driving detection on highways
CN105046880A (zh) 一种智能移动终端基于多普勒效应进行危险监测及预警的方法
CN105824420A (zh) 一种基于加速度传感器的手势识别方法
WO2016180653A1 (en) Pedometer and method for analyzing motion data
WO2016180654A1 (en) Pedometer and method for analyzing motion data
CN108248610A (zh) 一种自适应分心驾驶行为的监测及干预装置
CN108466616A (zh) 一种自动识别碰撞事件的方法、存储介质及车载终端
CN103606279A (zh) 一种基于智能手机的道路出行方式判别方法及系统
CN103557862A (zh) 一种移动终端运动轨迹检测方法
CN105786182A (zh) 一种基于手势控制周围设备的方法及装置
CN108955719B (zh) 一种基于手腕式装置的计步检测方法和系统
Ouyang et al. Multiwave: A novel vehicle steering pattern detection method based on smartphones
CN105373712A (zh) 一种基于神经网络的移动终端解锁系统及其解锁方法
CN110766057A (zh) 一种手势识别装置及方法
CN109211327A (zh) 非接触式车辆状态感知设备及其方法
EP3026650B1 (en) Pressure-based parking detection system
CN107284378B (zh) 一种基于移动终端的汽车驾驶状态的监控方法
CN104991245A (zh) 一种无人飞行器预警装置及其预警方法
CN105629953A (zh) 基于车辆辅助驾驶的杆体识别系统
CN205003281U (zh) 一种无人飞行器预警装置
CN113362565A (zh) 一种基于决策算法的疲劳驾驶预警方法及系统
CN113593183A (zh) 一种基于声学的疲劳驾驶和分心驾驶的检测方法、装置、设备及介质
CN112363622A (zh) 字符输入方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant