CN112329555A - 一种针对驾驶人员手部动作姿态的智能混合感知系统 - Google Patents

一种针对驾驶人员手部动作姿态的智能混合感知系统 Download PDF

Info

Publication number
CN112329555A
CN112329555A CN202011127344.0A CN202011127344A CN112329555A CN 112329555 A CN112329555 A CN 112329555A CN 202011127344 A CN202011127344 A CN 202011127344A CN 112329555 A CN112329555 A CN 112329555A
Authority
CN
China
Prior art keywords
steering wheel
module
driver
image
recognition module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011127344.0A
Other languages
English (en)
Inventor
牛小林
马宏
段桂江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yixian Intelligent Technology Co ltd
Original Assignee
Yixian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yixian Intelligent Technology Co ltd filed Critical Yixian Intelligent Technology Co ltd
Priority to CN202011127344.0A priority Critical patent/CN112329555A/zh
Publication of CN112329555A publication Critical patent/CN112329555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统，用于提高对驾驶员违规行为的提示效率和获取视频画面的清晰度，降低误判的可能性。本申请实施例方法包括：双通道视觉感知模块、方向盘自动定位与识别模块和手部动作姿态识别模块；所述双通道视觉感知模块，用于采集目标驾驶人员视觉图像数据；所述方向盘自动定位与识别模块，用于检测图像中的目标方向盘；所述手部动作姿态识别模块，用于识别所述目标驾驶人员手部动作。

Description

一种针对驾驶人员手部动作姿态的智能混合感知系统
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种针对驾驶人员手部动作姿态的智能混合感知系统。
背景技术
近年来，随着我国机动车保有量和驾驶人员的数量迅速增加，道路交通事故已经成为严峻的社会问题。据统计，90％以上的道路交通安全事故与道路交通拥堵均由驾驶人员不良的驾驶行为因素引起。
在现有技术中，当驾驶员被监控摄像头通过违规动作的模型对比抓拍到有违规行为时，将会把违规行为上传到系统，作出相应惩罚处理后，将处理结果发送至相对应的违规驾驶人联系方式，以提醒驾驶员该行为属于违规行为。这种处理方式对驾驶员违规行为的处理方式实时性不高，无法有效在当下直接判断驾驶员的违规动作，且这类摄像头一般距离车内较远，容易因为距离导致画面不清晰从而对驾驶员行为作出错误判断。
发明内容
本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统，用于提高对驾驶员违规行为的提示效率和获取视频画面的清晰度，降低误判的可能性。
本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统,包括：
双通道视觉感知模块、方向盘自动定位与识别模块和手部动作姿态识别模块；
所述双通道视觉感知模块，用于采集目标驾驶人员视觉图像数据；
所述方向盘自动定位与识别模块，用于检测图像中的目标方向盘；
所述手部动作姿态识别模块，用于识别所述目标驾驶人员手部动作。
可选的，所述双通道视觉感知模块还用于获取实时视频感知数据。
可选的，所述双通道视觉感知模块还用于对图像数据进行预处理和增强。
可选的，所述系统还包括：
人脸检测模块，所述人脸检测模块用于识别所述目标驾驶员的人脸位置。
可选的，所述人脸检测模块具体使用Haar级联通过多尺度从图像中提取简单特征进行人脸检测。
可选的，所述手部动作和姿态识别模块主要采用增强型的VGG16Net网络结构进行图像分类。
可选的，所述增强型的VGG16Net网络结构在Pool池化层之后增加了两个卷积计算层和一个最大Pool池化层，以适应细粒度图像分类，所述卷积计算层使用Leaky ReLU作为激活函数。
可选的，所述增强型的VGG16Net网络结构的FC全连接层的参数为7，所述FC全连接层的数量为参与分类的类别数量，用于确定判断手部动作的种类。
可选的，所述方向盘自动定位与识别模块具体用于根据HOG方向梯度直方图特征与SVM支持向量机检测图像中的目标方向盘。
可选的，所述方向盘自动定位与识别模块具体用于提取所述目标方向盘HOG特征，进而识别目标图像中的方向盘区域。
从以上技术方案可以看出，本申请是由双通道视觉感知模块、方向盘自动定位与识别模块、人脸检测模块和手部动作姿态识别模块组成的系统，该系统会通过双通道视觉感知模块实时获取驾驶员的视频图像，并通过方向盘自动定位与识别模块、人脸检测模块和手部动作姿态识别模块共同处理视频图像上的信息。该系统直接应用在车辆上且实时监测驾驶员的动作，提高了对驾驶员违规行为的提示效率，提高了获取视频画面的清晰度，降低了误判的可能性。
附图说明
图1为本申请实施例中针对驾驶人员手部动作姿态的智能混合感知系统一个实施例结构示意图。
具体实施方式
本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统，用于提高对驾驶员违规行为的提示效率和获取视频画面的清晰度，降低误判的可能性。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例的使用场景可以为，汽车驾驶和训练手部模型数据的素材等，需要精确捕获人物状态，尤其需要精确捕获手部动作的场景，此处不做具体限定，本申请实施例将以在车辆驾驶作为实施例的主要描述对象。
本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统,包括：
双通道视觉感知模块101、方向盘自动定位与识别模块102和手部动作姿态识别模块103；
本申请实施例主要由双通道视觉感知模块101将收集到的包含人物驾驶员及标志物方向盘的视频图像数据发送至方向盘定位与识别模块102与手部动作姿态识别模块103，当方向盘定位与识别模块102与手部动作姿态识别模块103接收到该视频图像数据则会开始对该图像进行处理。
所述双通道视觉感知模块101，用于采集目标驾驶人员视觉图像数据，获取实时视频感知数据并对图像数据进行预处理和增强；
双通道视觉模块101能够实现在狭小空间环境下对驾驶人员的手部动作和姿态的精准识别，主要是利用双通道视觉感知设备采集手部和头部的视觉图像数据。通过在车辆上安装视觉感知设备，获取实时视频感知数据，并对视觉图像数据进行适当的预处理并对图像的重点特征进行增强。
在实际情况中，该系统会认为如：双手离开方向盘、单手打方向盘、剪刀手打方向盘等违规方向盘手势姿态、接听电话和抽烟等手部动作为违规行为，此处不做具体限定。
所述方向盘自动定位与识别模块102，用于根据HOG方向梯度直方图特征与SVM支持向量机检图像中的目标方向盘，并提取所述目标方向盘HOG特征，识别目标图像中的方向盘区域；
当方向盘自动定位与识别模块102接收到双通道视觉模块101获取的试试视频感知数据后，采用HOG特征与SVM检测图像中的方向盘目标。
在现实情况中，为实现手部动作姿态的特征性研究，首先需要确定好研究的对象本发明使用有监督的方向盘数据集，通过翻转、旋转、缩放比例、裁剪、移位、高斯噪声等进行数据增强，然后提取方向盘HOG特征，进而识别目标图像中的方向盘区域。与传统的图像滤波、边缘检测以及椭圆轮廓等机器视觉识别方法相比，该算法检测率更高，鲁棒性更强。
所述手部动作姿态识别模块103，用于采用增强型的VGG16Net网络结构进行图像分类，增强型的VGG16Net网络结构在池化层之后增加了两个卷积计算层和一个最大Pool池化层，以适应细粒度图像分类，所述卷积计算层使用Leaky ReLU作为激活函数，同时FC全连接层的参数为7，识别所述目标驾驶人员手部动作。
手部动作姿态识别模块103利用该网络首先对手部动作和姿态数据集进行特征提取和分析，进而实现ROI区域手部动作和姿态的精准识别。该模块通过图像分类的方法对驾驶过程中的几种常见的手部动作姿态进行分类，进而识别出准确的手势动作。在VGG16Net网络结构上，增强型的VGG16Net网络结构在Pool池化层之后增加了两个卷积计算层和一个最大Pool池化层，以适应细粒度图像分类，所述卷积计算层使用Leaky Relu函数作为激活函数，同时将全连接层FC1000改为FC7，FC的全连接层数量为参与分类的类别数量，在本申请实施例中，FC的全连接层数量为手部动作对比的手部动作模型数量，确定用于判断手部动作的模型种类，因为方向盘手势实际使用类别相对较少，改进后，提升了检测双手离开方向盘这一动作的准确率。
人脸检测模块104，所述人脸检测模块用于使用Haar级联通过多尺度从图像中提取简单特征进行人脸检测，识别所述目标驾驶员的人脸位置。
人脸检测模块104主要用于标定人脸，标定出来的人脸作为辅助其他模块获取手部动作的参照物，以提高整个系统对手部动作判定的准确率。
在现实情况中，接听电话或吸烟都是驾驶员的违规动作，此时的驾驶员手已经离开了方向盘，在进行判断的时候会出现误判，该人脸检测模块是以增加标志物面部，并将面部来减少系统对驾驶员手部行为的误判。
以上描述可看出，本申请实施例提供了一种针对驾驶人员手部动作姿态的智能混合感知系统，该系统各个模块间使用电性连接并存在数据交互，其中双通道视觉感知模块101作为唯一一个具有数据输入功能的单元，双通道视觉感知模块101会向各个模块输入获取到的素材，以使得数据处理的相关模块可以对双通道视觉感知模块101获取到的素材进行上述处理，以获得一个驾驶员实时的手部动作与通过深度学习得到的手部动作模板进行对比，从而使得系统可以确定该驾驶员是否在做违规动作。
从以上技术方案可以看出，本申请是由双通道视觉感知模块、方向盘自动定位与识别模块、人脸检测模块和手部动作姿态识别模块组成的系统，该系统会通过双通道视觉感知模块实时获取驾驶员的视频图像，并通过方向盘自动定位与识别模块、人脸检测模块和手部动作姿态识别模块共同处理视频图像上的信息。该系统直接应用在车辆上且实时监测驾驶员的动作，提高了对驾驶员违规行为的提示效率，提高了获取视频画面的清晰度，降低了误判的可能性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种针对驾驶人员手部动作姿态的智能混合感知的系统，其特征在于，包括：
双通道视觉感知模块、方向盘自动定位与识别模块和手部动作姿态识别模块；
所述双通道视觉感知模块，用于采集目标驾驶人员视觉图像数据；
所述方向盘自动定位与识别模块，用于检测图像中的目标方向盘；
所述手部动作姿态识别模块，用于识别所述目标驾驶人员手部动作。
2.根据权利要求1所述的系统，其特征在于，所述双通道视觉感知模块还用于获取实时视频感知数据。
3.根据权利要求2所述的系统，其特征在于，所述双通道视觉感知模块还用于对图像数据进行预处理和增强。
4.根据权利要求1至3中任一项所述的系统，其特征在于，所述系统还包括：
人脸检测模块，所述人脸检测模块用于识别所述目标驾驶员的人脸位置。
5.根据权利要求4所述的系统，其特征在于，所述人脸检测模块具体使用Haar级联通过多尺度从图像中提取简单特征进行人脸检测。
6.根据权利要求1至3中任一项所述的系统，其特征在于，所述手部动作和姿态识别模块主要采用增强型的VGG16Net网络结构进行图像分类。
7.根据权利要求6所述的系统，其特征在于，所述增强型的VGG16Net网络结构在Pool池化层之后增加了两个卷积计算层和一个最大Pool池化层，以适应细粒度图像分类，所述卷积计算层使用Leaky ReLU作为激活函数。
8.根据权利要求6所述的系统，其特征在于，所述增强型的VGG16Net网络结构的FC全连接层的参数为7，所述FC全连接层的数量为参与分类的类别数量，用于确定判断手部动作的种类。
9.根据权利要求1至3中任一项所述的系统，其特征在于，所述方向盘自动定位与识别模块具体用于根据HOG方向梯度直方图特征与SVM支持向量机检测图像中的目标方向盘。
10.根据权利要求9所述的系统，其特征在于，所述方向盘自动定位与识别模块具体用于提取所述目标方向盘HOG特征，进而识别目标图像中的方向盘区域。
CN202011127344.0A 2020-10-20 2020-10-20 一种针对驾驶人员手部动作姿态的智能混合感知系统 Pending CN112329555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011127344.0A CN112329555A (zh) 2020-10-20 2020-10-20 一种针对驾驶人员手部动作姿态的智能混合感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011127344.0A CN112329555A (zh) 2020-10-20 2020-10-20 一种针对驾驶人员手部动作姿态的智能混合感知系统

Publications (1)

Publication Number Publication Date
CN112329555A true CN112329555A (zh) 2021-02-05

Family

ID=74311205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011127344.0A Pending CN112329555A (zh) 2020-10-20 2020-10-20 一种针对驾驶人员手部动作姿态的智能混合感知系统

Country Status (1)

Country Link
CN (1) CN112329555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850198A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN106228754A (zh) * 2016-08-10 2016-12-14 集美大学 一种基于双目视觉的手检测设备
CN110363093A (zh) * 2019-06-19 2019-10-22 深圳大学 一种司机动作识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN106228754A (zh) * 2016-08-10 2016-12-14 集美大学 一种基于双目视觉的手检测设备
CN110363093A (zh) * 2019-06-19 2019-10-22 深圳大学 一种司机动作识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
官巍等: "基于卷积神经网络的手势识别网络", 《西安邮电大学学报》 *
郭克友等: "多特征级联式检测变轮廓运动目标", 《计算机测量与控制》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850198A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备
CN113850198B (zh) * 2021-09-27 2024-06-07 平安科技（深圳）有限公司 基于边缘计算的行为检测方法、装置、介质及计算机设备

Similar Documents

Publication Publication Date Title
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN101587544B (zh) 基于计算机视觉的机动车车载反跟踪装置
CN110298300B (zh) 一种检测车辆违章压线的方法
US20130243343A1 (en) Method and device for people group detection
CN113470080B (zh) 一种违规行为识别方法
CN104751600A (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN107578012A (zh) 一种基于聚类算法选择敏感区域的驾驶辅助系统
CN107563310A (zh) 一种违章变道检测方法
CN111192461B (zh) 一种车牌识别方法、服务器、停车收费方法及系统
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
CN110245544A (zh) 一种确定停车状态的方法及装置
CN112277957B (zh) 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN111931644A (zh) 一种车载人数检测的方法、系统、设备及可读存储介质
CN112580531B (zh) 一种真假车牌的识别检测方法及系统
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
CN112329555A (zh) 一种针对驾驶人员手部动作姿态的智能混合感知系统
Santos et al. Car recognition based on back lights and rear view features
CN103854293A (zh) 一种基于特征点匹配的车辆跟踪方法及装置
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN109165607B (zh) 一种基于深度学习的驾驶员手持电话检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication