CN113094930B - 一种驾驶人行为状态数据采集装置和检测方法 - Google Patents

一种驾驶人行为状态数据采集装置和检测方法 Download PDF

Info

Publication number
CN113094930B
CN113094930B CN202110488196.3A CN202110488196A CN113094930B CN 113094930 B CN113094930 B CN 113094930B CN 202110488196 A CN202110488196 A CN 202110488196A CN 113094930 B CN113094930 B CN 113094930B
Authority
CN
China
Prior art keywords
driver
assembly
hand
personal computer
pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488196.3A
Other languages
English (en)
Other versions
CN113094930A (zh
Inventor
赵健
刘彦辰
朱冰
姜泓屹
刘宇翔
吕恬
陶晓文
孔德成
禚凇瑀
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110488196.3A priority Critical patent/CN113094930B/zh
Publication of CN113094930A publication Critical patent/CN113094930A/zh
Application granted granted Critical
Publication of CN113094930B publication Critical patent/CN113094930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

本发明公开一种驾驶人行为状态数据采集装置和检测方法,数据采集装置包括有台架基座、座椅、电源、工控机、显示器、眼动仪、握力传感手套、踏板总成和转向总成,其中座椅、电源、显示器、工控机、踏板总成和转向总成固定在台架基座上,转向总成装配在踏板总成的上部,显示器设在转向总成的后部并对应座椅设置,其方法为:第一步、搭建两种驾驶场景;第二步、采集三轴加速度、角速度信息;第三步、得到驾驶人眼球的关注方向;第四步、将视觉关注方向投射至显示器平面;第五步、对驾驶人手部姿态进行分类;第六步、识别驾驶人的视觉分心和认知分心状态。有益效果:对目前驾驶人数据采集装置存在的不足,而不要求对方向盘进行改造。

Description

一种驾驶人行为状态数据采集装置和检测方法
技术领域
本发明涉及一种数据采集装置和检测方法,特别涉及一种驾驶人行为状态数据采集装置和检测方法。
背景技术
目前,随着汽车智能技术的发展,自动驾驶技术已经成为主流的研究方向,但目前汽车智能化技术尚难以支撑自动驾驶汽车大规模落地,人机共驾和混合增强智能技术等逐渐受到关注。在实现完全的自动驾驶以前,驾驶人依然是汽车驾驶过程的驾驶主体,会依据驾驶目的或路况做出相应的主动或被动动作,驾驶人出于各种原因可能出现分心驾驶的情况,影响行车安全,大体可以分为视觉分心和认知分心,驾驶人手部握力信号、双眼关注区域及视线集中情况都是表征驾驶员状态的重要依据。现有的驾驶人数据采集和状态检测装置使用的驾驶人握力检测装置主要是对称布置在转向盘上一定角度以内,限制了驾驶人在转向盘上的抓握区域,对被测驾驶人产生一定不便,此外,目前的握力检测方案大多需要针对转向盘进行改造,适应性不强;驾驶人状态检测方法缺乏对驾驶人握力、头动信息的考虑,缺失表达驾驶人状态的重要特征。
发明内容
本发明的目的是为了解决现有的驾驶人数据采集和状态检测装置和检测方法缺乏对驾驶人握力、头动信息的考虑,缺失表达驾驶人状态重要特征的问题而提供的一种驾驶人行为状态数据采集装置和检测方法。
本发明提供的驾驶人行为状态数据采集装置包括有台架基座、座椅、电源、工控机、显示器、眼动仪、握力传感手套、踏板总成和转向总成,其中座椅、电源、显示器、工控机、踏板总成和转向总成固定在台架基座上,转向总成装配在踏板总成的上部,座椅对应转向总成设置,显示器设在转向总成的后部并对应座椅设置,工控机装配在显示器的下部,眼动仪装配在对应座椅及驾驶人员眼部的位置处,握力传感手套装配在转向总成的转向盘上,工控机、显示器、踏板总成和转向总成分别与电源通过导线相连接并由电源提供电力,显示器通过HDMI线与工控机连接,眼动仪通过以太网与工控机连接,握力传感手套、踏板总成和转向总成通过CAN总线与工控机相连。
眼动仪侧边的支架上装配有高精度微型IMU和音频输出设备,眼动仪为非侵入式眼动仪,眼动仪内设置有头部单元与记录单元,头部单元与记录单元通过微型HDMI接口相连接,高精度微型IMU通过RS422接口发送数据到工控机,音频输出设备包括有蓝牙耳机和蓝牙接收模块,蓝牙接收模块与工控机相连接,蓝牙接收模块能够实时接收工控机传输的数据。
踏板总成包括有制动踏板、制动踏板位移传感器、加速踏板和加速踏板位移传感器,制动踏板位移传感器和加速踏板位移传感器均与工控机相连接,制动踏板位移传感器和加速踏板位移传感器能够把采集的数据实时传输给工控机。
转向总成包括有转向盘、转矩传感器、转角传感器和路感电机,转矩传感器、转角传感器和路感电机均与工控机相连接,转矩传感器和转角传感器能够把采集的数据实时传输给工控机,路感电机由工控机控制工作。
握力传感手套内装配有压力传感器和信号采集处理模块,压力传感器与信号采集处理模块相连接,握力传感手套设置有三层,内层和外层的材质为丁腈橡胶,中间层为压力传感器布置层,布置有十八枚压力传感器,压力传感器为柔性薄膜压力传感器,敏感区为圆形,直径6mm;根据手部受力情况,压力传感器分别装配在拇指指腹、食指指腹及第二节和第三节中心、中指指腹及第二节和第三节中心、无名指指腹及第二节和第三节中心、小指第二节和第三节中心、中指根部正下方1cm和无名指根部正下方1cm处各一枚传感器,以及小指短屈肌处的两枚传感器和拇短屈肌处的两枚传感器,根据前述的装配位置,压力传感器的安装区域分别为:第一装配区、第二装配区、第三装配区、第四装配区、第五装配区、第六装配区和第七装配区,压力传感器连接的信号传输线经过手背侧中间层在手套口汇集,压力传感器采集驾驶人握住转向盘时手部各点对转向盘施加的握力数据并输入到信号采集处理模块,信号采集处理模块与电源和工控机相连接,信号采集处理模块把采集接收的数据通过CAN接口将数据传输至工控机。
上述的电源、工控机、显示器、制动踏板位移传感器、加速踏板位移传感器、转矩传感器、转角传感器和路感电机均为现有设备的组装,因此,具体型号和规格没有进行赘述。
本发明提供的驾驶人行为状态数据采集装置的工作原理如下:
本发明提供的驾驶人行为状态数据采集装置内装配的工控机内置仿真软件Prescan和MATLAB/Simulink,Prescan中包含丰富的车辆模型、交通环境模型、车载传感器模型,在其中搭建模拟驾驶场景,通过HDMI线显示在显示器上,利用MATLAB/Simulink编写驾驶人状态检测算法,进行Prescan和MATLAB/Simulink的联合仿真。
驾驶人佩戴好音频传输设备、握力传感手套及眼动仪,在转向总成和踏板总成上模拟真实驾驶情形中的驾驶行为,转向总成中的转角传感器将转向盘的转角信息转化为电压信号传输至工控机,为车辆模型提供来自驾驶人的实际转向信号,转矩传感器采集转向盘力矩信息传输至工控机,工控机根据转角信号和转矩信号控制路感电机产生相应的路感力矩,为驾驶人模拟真实道路场景下的转向路感。
驾驶人佩戴握力传感手套操纵转向盘,置于握力传感手套内部的压力传感器将手部各点的压力信号转化为电压信号,经数据处理模块处理后,将压力数据传输至工控机。
握力传感手套的工作原理为:驾驶人穿戴手套式握力检测装置,手套传感器布置层的压力传感器获取驾驶人手部握在转向盘上时手部各点的压力信号,信号采集处理模块将传感器电阻变化转换为模拟电压变化,进行放大处理,并转换为数字信号,经过预先标定可换算为手部各点压力信号。
手套传感器的标定方法为:驾驶人穿戴手套式握力检测装置,保持驾驶人手部自然弯曲,采集手部各点压力信号,计算5s内的各点压力平均值,在信号采集处理模块对各测力点压力数值进行相应偏移,进行零点对正,消除驾驶人穿戴握力检测装置造成的原始误差;对各个测力点额外施加指定的力,读取传感器经信号采集处理模块输出的模拟电压信号,确定比例系数,完成标定。
踏板总成中的制动踏板位移传感器和加速踏板位移传感器将制动踏板和加速踏板的唯一信号转化为电压信号传输给工控机,为车辆模型提供驾驶人的实际制动和加速意图。
驾驶人佩戴好眼动仪,微型HDMI传输线及微型IMU的信号传输线从驾驶人耳后及背部经过,分别连接至记录单元及工控机,眼动仪采集驾驶人驾驶过程中眼睛注视的方向,固定于眼动仪侧边支架上的高精度微型IMU内置三轴高精度mems陀螺、三轴高精度mems加速度计以及三轴高精度倾角传感器,记录驾驶人驾驶过程中的头动信息。
本发明提供的驾驶人行为状态数据采集和检测方法,其方法包括如下步骤:
第一步、在工控机内置的Prescan中搭建两种不同的驾驶场景:环境单调重复、交通流稀疏的的长路程场景,环境变化、城市交通流密集的场景;招募数名驾驶人,驾驶人开始实验前,会被要求充分休息或进行一定运动,以达到不同的疲劳状态,按照Prescan中搭建的不同场景,驾驶人将被要求完成指定的驾驶任务,利用驾驶人行为状态数据采集装置对驾驶数据进行采集;
第二步、根据眼动仪侧边支架上的高精度微型IMU采集的三轴加速度、角速度信息,解算各时刻IMU各轴向位移及转角,经过坐标系转换,解算驾驶人头部的三轴位移及姿态信息;
第三步、将眼动仪采集的驾驶人眼球在头部坐标系下的关注方向根据解算得到的头部位移及姿态信息进行旋转,得到全局坐标系下驾驶人眼球的关注方向;
第四步、将视觉关注方向投射至显示器平面,获取关注点,选取时间窗长度为2s,采用无监督聚类算法对2s内视线关注区域进行聚类,以各关注点簇的视线关注点到类中心的距离方差表征视觉分散程度;分析关注点聚类中心对应的场景,具体方向为后视镜、中控台和道路前方的部位;
第五步、事先采集驾驶人充分休息后进行直行驾驶时手部各点的平均压力作为参考值,然后计算试验采集的驾驶人手部各点压力信号相对参考值的变化,以手部各点压力变化值作为特征,采用支持向量机对驾驶人手部姿态进行分类,具体分为:正常握姿、紧张握姿、手掌撑姿和分心握姿;
第六步、以第五步所得的视觉分散程度、关注点聚类中心点位置,本步骤所得的手部姿态、当前驾驶场景为特征和构造决策树,识别驾驶人的视觉分心和认知分心状态。
第四步中的聚类算法,为基于密度的DBSCAN聚类算法,作为无监督聚类算法,不要求指定类别数,允许存在形状不规则的簇,其步骤如下:
步骤1、初始化一未遍历的点p,并标记为已遍历,统计以p点为中心、r为半径的圆内注视点的个数;
步骤2、选定一阈值minpoints,判断以p点为中心、r为半径的圆内注视点的个数是否达到minpoints,若达到该阈值,将圆内所有的点添加到簇;
步骤3、对圆内其余各点p’,若以之为中心、r为半径的圆内的点的个数也达到minpoints,将这个新的圆内的点也添加到同一个簇中;
步骤4、重复步骤1-3,直至遍历所有点,对于不属于任何簇的点,标记为噪声点。
第五步中的支持向量机为进行预训练的分类器,具体步骤如下:
将手部压力采集点对应压力传感器的装配区分为七组,采集驾驶人在一段时间内进行规范驾驶时手部各区域压力平均值作为参考值,并采集实际驾驶中驾驶人操作转向盘时可能产生的手部动作,手部动作包括正常握姿、紧张握姿、手掌撑姿和分心握姿,记录相应的手部各区域压力值,以各区域压力相对参考值的偏差为特征参数,为不同手部动作对应的压力偏差数据打上标签,训练SVM,实现手部动作分类。
第六步中的决策树算法,为有监督分类算法,具体步骤为:召集驾驶人对自身驾驶状态进行标记,形成一个有标记的、以视觉分散程度、关注点聚类中心位置和手部姿态为特征参数的数据集,由增熵原理确定父节点和需要分裂的子节点构造决策树,对不同属性,计算其熵值,具体如下:
Entropy=-sum[p(xi)log2p(xi)]
其中p(xi)为xi出现的概率,表示各分类,包括视觉分心、认知分心和专注,选取熵最小的属性作为父节点,依次进行分裂。
本发明的有益效果:
本发明提供的驾驶人行为状态数据采集装置和检测方法针对目前驾驶人数据采集装置存在的不足,提出一种驾驶人行为状态数据采集装置,包括一种使驾驶员手握位置不受传感器布置域限制的握力传感手套,而不要求对方向盘进行改造;进一步地,本发明还包括一种驾驶人状态检测方法,考虑驾驶人头部姿态及眼动信息、驾驶人手握方向盘时手部各点压力信息对驾驶人的分心状态进行识别。
附图说明
图1为本发明所述的数据采集装置整体结构示意图。
图2为本发明所述的数据采集装置原理结构示意图。
图3为本发明所述的数据采集和检测方法流程示意图。
图4为本发明所述的手部姿态辨识流程示意图。
图5为本发明所述的握力传感手套原理结构示意图。
图6为本发明所述的握力传感手套标定流程示意图。
图7为本发明所述的手部受力区域示意图。
图8为本发明所述的握力传感手套传感器布置及分组情况示意图。
上图中的标注如下:
1、台架基座 2、座椅 3、电源 4、工控机 5、显示器 6、眼动仪
7、握力传感手套 8、踏板总成 9、转向总成 10、转向盘
11、高精度微型IMU 12、音频输出设备 13、压力传感器
14、第一装配区 15、第二装配区 16、第三装配区 17、第四装配区
18、第五装配区 19、第六装配区 20、第七装配区。
具体实施方式
请参阅图1至图8所示:
本发明提供的驾驶人行为状态数据采集装置包括有台架基座1、座椅2、电源3、工控机4、显示器5、眼动仪6、握力传感手套7、踏板总成8和转向总成9,其中座椅2、电源3、显示器5、工控机4、踏板总成8和转向总成9固定在台架基座1上,转向总成9装配在踏板总成8的上部,座椅2对应转向总成9设置,显示器5设在转向总成9的后部并对应座椅2设置,工控机4装配在显示器5的下部,眼动仪6装配在对应座椅2及驾驶人员眼部的位置处,握力传感手套7装配在转向总成9的转向盘10上,工控机4、显示器5、踏板总成8和转向总成9分别与电源3通过导线相连接并由电源3提供电力,显示器5通过HDMI线与工控机4连接,眼动仪6通过以太网与工控机4连接,握力传感手套7、踏板总成8和转向总成9通过CAN总线与工控机4相连。
眼动仪6侧边的支架上装配有高精度微型IMU11和音频输出设备12,眼动仪6为非侵入式眼动仪,眼动仪6内设置有头部单元与记录单元,头部单元与记录单元通过微型HDMI接口相连接,高精度微型IMU11通过RS422接口发送数据到工控机4,音频输出设备12包括有蓝牙耳机和蓝牙接收模块,蓝牙接收模块与工控机4相连接,蓝牙接收模块能够实时接收工控机4传输的数据。
踏板总成8包括有制动踏板、制动踏板位移传感器、加速踏板和加速踏板位移传感器,制动踏板位移传感器和加速踏板位移传感器均与工控机4相连接,制动踏板位移传感器和加速踏板位移传感器能够把采集的数据实时传输给工控机4。
转向总成包括有转向盘10、转矩传感器、转角传感器和路感电机,转矩传感器、转角传感器和路感电机均与工控机相连接,转矩传感器和转角传感器能够把采集的数据实时传输给工控机4,路感电机由工控机4控制工作。
握力传感手套7内装配有压力传感器13和信号采集处理模块,压力传感器13与信号采集处理模块相连接,握力传感手套7设置有三层,内层和外层的材质为丁腈橡胶,中间层为压力传感器13布置层,布置有十八枚压力传感器13,压力传感器13为柔性薄膜压力传感器,敏感区为圆形,直径6mm;根据手部受力情况,压力传感器13分别装配在拇指指腹、食指指腹及第二节和第三节中心、中指指腹及第二节和第三节中心、无名指指腹及第二节和第三节中心、小指第二节和第三节中心、中指根部正下方1cm和无名指根部正下方1cm处各一枚传感器,以及小指短屈肌处的两枚传感器和拇短屈肌处的两枚传感器,根据前述的装配位置,压力传感器13的安装区域分别为:第一装配区14、第二装配区15、第三装配区16、第四装配区17、第五装配区18、第六装配区19和第七装配区20,压力传感器13连接的信号传输线经过手背侧中间层在手套口汇集,压力传感器13采集驾驶人握住转向盘10时手部各点对转向盘10施加的握力数据并输入到信号采集处理模块,信号采集处理模块与电源3和工控机4相连接,信号采集处理模块把采集接收的数据通过CAN接口将数据传输至工控机4。
上述的电源3、工控机4、显示器5、制动踏板位移传感器、加速踏板位移传感器、转矩传感器、转角传感器和路感电机均为现有设备的组装,因此,具体型号和规格没有进行赘述。
本发明提供的驾驶人行为状态数据采集装置的工作原理如下:
本发明提供的驾驶人行为状态数据采集装置内装配的工控机4内置仿真软件Prescan和MATLAB/Simulink,Prescan中包含丰富的车辆模型、交通环境模型、车载传感器模型,在其中搭建模拟驾驶场景,通过HDMI线显示在显示器5上,利用MATLAB/Simulink编写驾驶人状态检测算法,进行Prescan和MATLAB/Simulink的联合仿真。
驾驶人佩戴好音频传输设备12、握力传感手套7及眼动仪6,在转向总成9和踏板总成8上模拟真实驾驶情形中的驾驶行为,转向总成9中的转角传感器将转向盘10的转角信息转化为电压信号传输至工控机4,为车辆模型提供来自驾驶人的实际转向信号,转矩传感器采集转向盘10力矩信息传输至工控机4,工控机4根据转角信号和转矩信号控制路感电机产生相应的路感力矩,为驾驶人模拟真实道路场景下的转向路感。
驾驶人佩戴握力传感手套7操纵转向盘10,置于握力传感手套7内部的压力传感器13将手部各点的压力信号转化为电压信号,经数据处理模块处理后,将压力数据传输至工控机4。
握力传感手套7的工作原理为:驾驶人穿戴手套式握力检测装置,手套传感器布置层的压力传感器13获取驾驶人手部握在转向盘10上时手部各点的压力信号,信号采集处理模块将传感器电阻变化转换为模拟电压变化,进行放大处理,并转换为数字信号,经过预先标定可换算为手部各点压力信号。
手套传感器的标定方法为:驾驶人穿戴手套式握力检测装置,保持驾驶人手部自然弯曲,采集手部各点压力信号,计算5s内的各点压力平均值,在信号采集处理模块对各测力点压力数值进行相应偏移,进行零点对正,消除驾驶人穿戴握力检测装置造成的原始误差;对各个测力点额外施加指定的力,读取传感器经信号采集处理模块输出的模拟电压信号,确定比例系数,完成标定。
踏板总成8中的制动踏板位移传感器和加速踏板位移传感器将制动踏板和加速踏板的唯一信号转化为电压信号传输给工控机4,为车辆模型提供驾驶人的实际制动和加速意图。
驾驶人佩戴好眼动仪6,微型HDMI传输线及微型IMU的信号传输线从驾驶人耳后及背部经过,分别连接至记录单元及工控机4,眼动仪6采集驾驶人驾驶过程中眼睛注视的方向,固定于眼动仪6侧边支架上的高精度微型IMU11内置三轴高精度mems陀螺、三轴高精度mems加速度计以及三轴高精度倾角传感器,记录驾驶人驾驶过程中的头动信息。
本发明提供的驾驶人行为状态数据采集和检测方法,其方法包括如下步骤:
第一步、在工控机4内置的Prescan中搭建两种不同的驾驶场景:环境单调重复、交通流稀疏的的长路程场景,环境变化、城市交通流密集的场景;招募数名驾驶人,驾驶人开始实验前,会被要求充分休息或进行一定运动,以达到不同的疲劳状态,按照Prescan中搭建的不同场景,驾驶人将被要求完成指定的驾驶任务,利用驾驶人行为状态数据采集装置对驾驶数据进行采集;
第二步、根据眼动仪6侧边支架上的高精度微型IMU11采集的三轴加速度、角速度信息,解算各时刻IMU各轴向位移及转角,经过坐标系转换,解算驾驶人头部的三轴位移及姿态信息;
第三步、将眼动仪6采集的驾驶人眼球在头部坐标系下的关注方向根据解算得到的头部位移及姿态信息进行旋转,得到全局坐标系下驾驶人眼球的关注方向;
第四步、将视觉关注方向投射至显示器5平面,获取关注点,选取时间窗长度为2s,采用无监督聚类算法对2s内视线关注区域进行聚类,以各关注点簇的视线关注点到类中心的距离方差表征视觉分散程度;分析关注点聚类中心对应的场景,具体方向为后视镜、中控台和道路前方的部位;
第五步、事先采集驾驶人充分休息后进行直行驾驶时手部各点的平均压力作为参考值,然后计算试验采集的驾驶人手部各点压力信号相对参考值的变化,以手部各点压力变化值作为特征,采用支持向量机对驾驶人手部姿态进行分类,具体分为:正常握姿、紧张握姿、手掌撑姿和分心握姿;
第六步、以第五步所得的视觉分散程度和关注点聚类中心点位置,本步骤所得的手部姿态、当前驾驶场景为特征和构造决策树,识别驾驶人的视觉分心和认知分心状态。
第四步中的聚类算法,为基于密度的DBSCAN聚类算法,作为无监督聚类算法,不要求指定类别数,允许存在形状不规则的簇,其步骤如下:
步骤1、初始化一未遍历的点p,并标记为已遍历,统计以p点为中心、r为半径的圆内注视点的个数;
步骤2、选定一阈值minpoints,判断以p点为中心、r为半径的圆内注视点的个数是否达到minpoints,若达到该阈值,将圆内所有的点添加到簇;
步骤3、对圆内其余各点p’,若以之为中心、r为半径的圆内的点的个数也达到minpoints,将这个新的圆内的点也添加到同一个簇中;
步骤4、重复步骤1-3,直至遍历所有点,对于不属于任何簇的点,标记为噪声点。
第五步中的支持向量机为进行预训练的分类器,具体步骤如下:
将手部压力采集点对应压力传感器13的装配区分为七组,采集驾驶人在一段时间内进行规范驾驶时手部各区域压力平均值作为参考值,并采集实际驾驶中驾驶人操作转向盘10时可能产生的手部动作,手部动作包括正常握姿、紧张握姿、手掌撑姿和分心握姿,记录相应的手部各区域压力值,以各区域压力相对参考值的偏差为特征参数,为不同手部动作对应的压力偏差数据打上标签,训练SVM,实现手部动作分类。
第六步中的决策树算法,为有监督分类算法,具体步骤为:召集驾驶人对自身驾驶状态进行标记,形成一个有标记的、以视觉分散程度、关注点聚类中心位置和手部姿态为特征参数的数据集,由增熵原理确定父节点和需要分裂的子节点构造决策树,对不同属性,计算其熵值,具体如下:
Entropy=-sum[p(xi)log2p(xi)]
其中p(xi)为xi出现的概率,表示各分类,包括视觉分心、认知分心和专注,选取熵最小的属性作为父节点,依次进行分裂。

Claims (6)

1.一种驾驶人行为状态数据采集装置,包括有台架基座、座椅、电源、工控机、显示器、眼动仪、握力传感手套、踏板总成和转向总成,其中座椅、电源、显示器、工控机、踏板总成和转向总成固定在台架基座上,转向总成装配在踏板总成的上部,座椅对应转向总成设置,显示器设在转向总成的后部并对应座椅设置,工控机装配在显示器的下部,眼动仪装配在对应座椅及驾驶人员眼部的位置处,握力传感手套装配在转向总成的转向盘上,其特征在于:握力传感手套内装配有压力传感器和信号采集处理模块,压力传感器与信号采集处理模块相连接,握力传感手套设置有三层,内层和外层的材质为丁腈橡胶,中间层为压力传感器布置层,布置有十八枚压力传感器,压力传感器为柔性薄膜压力传感器,敏感区为圆形,直径6mm;根据手部受力情况,压力传感器分别装配在拇指指腹、食指指腹及第二节和第三节中心、中指指腹及第二节和第三节中心、无名指指腹及第二节和第三节中心、小指第二节和第三节中心、中指根部正下方1cm和无名指根部正下方1cm处各一枚传感器,以及小指短屈肌处的两枚传感器和拇短屈肌处的两枚传感器,根据前述的装配位置,压力传感器的安装区域分别为:第一装配区、第二装配区、第三装配区、第四装配区、第五装配区、第六装配区和第七装配区,压力传感器连接的信号传输线经过手背侧中间层在手套口汇集,压力传感器采集驾驶人握住转向盘时手部各点对转向盘施加的握力数据并输入到信号采集处理模块,信号采集处理模块与电源和工控机相连接,信号采集处理模块把采集接收的数据通过CAN接口将数据传输至工控机,工控机、显示器、踏板总成和转向总成分别与电源通过导线相连接并由电源提供电力,显示器通过HDMI线与工控机连接,眼动仪通过以太网与工控机连接,眼动仪侧边的支架上装配有高精度微型IMU和音频输出设备,眼动仪为非侵入式眼动仪,眼动仪内设置有头部单元与记录单元,头部单元与记录单元通过微型HDMI接口相连接,高精度微型IMU通过RS422接口发送数据到工控机,音频输出设备包括有蓝牙耳机和蓝牙接收模块,蓝牙接收模块与工控机相连接,蓝牙接收模块能够实时接收工控机传输的数据,握力传感手套、踏板总成和转向总成通过CAN总线与工控机相连。
2.根据权利要求1所述的一种驾驶人行为状态数据采集装置,其特征在于:所述的踏板总成包括有制动踏板、制动踏板位移传感器、加速踏板和加速踏板位移传感器,制动踏板位移传感器和加速踏板位移传感器均与工控机相连接,制动踏板位移传感器和加速踏板位移传感器能够把采集的数据实时传输给工控机。
3.根据权利要求1所述的一种驾驶人行为状态数据采集装置,其特征在于:所述的转向总成包括有转向盘、转矩传感器、转角传感器和路感电机,转矩传感器、转角传感器和路感电机均与工控机相连接,转矩传感器和转角传感器能够把采集的数据实时传输给工控机,路感电机由工控机控制工作。
4.一种驾驶人行为状态数据采集和检测方法,其特征在于:其方法包括如下步骤:
第一步、在工控机内置的Prescan中搭建两种不同的驾驶场景:环境单调重复、交通流稀疏的的长路程场景,环境变化、城市交通流密集的场景;招募数名驾驶人,驾驶人开始实验前,会被要求充分休息或进行一定运动,以达到不同的疲劳状态,按照Prescan中搭建的不同场景,驾驶人将被要求完成指定的驾驶任务,利用驾驶人行为状态数据采集装置对驾驶数据进行采集;
第二步、根据眼动仪侧边支架上的高精度微型IMU采集的三轴加速度、角速度信息,解算各时刻IMU各轴向位移及转角,经过坐标系转换,解算驾驶人头部的三轴位移及姿态信息;
第三步、将眼动仪采集的驾驶人眼球在头部坐标系下的关注方向根据解算得到的头部位移及姿态信息进行旋转,得到全局坐标系下驾驶人眼球的关注方向;
第四步、将视觉关注方向投射至显示器平面,获取关注点,选取时间窗长度为2s,采用无监督聚类算法对2s内视线关注区域进行聚类,以各关注点簇的视线关注点到类中心的距离方差表征视觉分散程度;分析关注点聚类中心对应的场景,具体方向为后视镜、中控台和道路前方的部位;
第五步、事先采集驾驶人充分休息后进行直行驾驶时手部各点的平均压力作为参考值,然后计算试验采集的驾驶人手部各点压力信号相对参考值的变化,以手部各点压力变化值作为特征,采用支持向量机对驾驶人手部姿态进行分类,具体分为:正常握姿、紧张握姿、手掌撑姿和分心握姿;
支持向量机为进行预训练的分类器,分类器训练过程具体为:将手部压力采集点对应压力传感器的装配区分为七组,采集驾驶人在一段时间内进行规范驾驶时手部各区域压力平均值作为参考值,并采集实际驾驶中驾驶人操作转向盘时可能产生的手部动作,手部动作包括正常握姿、紧张握姿、手掌撑姿和分心握姿,记录相应的手部各区域压力值,以各区域压力相对参考值的偏差为特征参数,为不同手部动作对应的压力偏差数据打上标签,训练SVM分类器,实现驾驶人手部姿态分类;
第六步、以第五步所得的视觉分散程度、关注点聚类中心点位置,本步骤所得的手部姿态、当前驾驶场景为特征和构造决策树,识别驾驶人的视觉分心和认知分心状态。
5.根据权利要求4所述的一种驾驶人行为状态数据采集和检测方法,其特征在于:所述的第四步中的聚类算法,为基于密度的DBSCAN聚类算法,作为无监督聚类算法,不要求指定类别数,允许存在形状不规则的簇,其步骤如下:
步骤1、初始化一未遍历的点p,并标记为已遍历,统计以p点为中心、r为半径的圆内注视点的个数;
步骤2、选定一阈值minpoints,判断以p点为中心、r为半径的圆内注视点的个数是否达到minpoints,若达到该阈值,将圆内所有的点添加到簇;
步骤3、对圆内其余各点p’,若以之为中心、r为半径的圆内的点的个数也达到minpoints,将这个新的圆内的点也添加到同一个簇中;
步骤4、重复步骤1-3,直至遍历所有点,对于不属于任何簇的点,标记为噪声点。
6.根据权利要求4所述的一种驾驶人行为状态数据采集和检测方法,其特征在于:所述的第六步中的决策树算法,为有监督分类算法,具体步骤为:召集驾驶人对自身驾驶状态进行标记,形成一个有标记的、以视觉分散程度、关注点聚类中心位置和手部姿态为特征参数的数据集,由增熵原理确定父节点和需要分裂的子节点构造决策树,对不同属性,计算其熵值,具体如下:
Entropy=-sum[p(xi)log2p(xi)]
其中p(xi)为xi出现的概率,表示各分类,包括视觉分心、认知分心和专注,选取熵最小的属性作为父节点,依次进行分裂。
CN202110488196.3A 2021-05-06 2021-05-06 一种驾驶人行为状态数据采集装置和检测方法 Active CN113094930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488196.3A CN113094930B (zh) 2021-05-06 2021-05-06 一种驾驶人行为状态数据采集装置和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488196.3A CN113094930B (zh) 2021-05-06 2021-05-06 一种驾驶人行为状态数据采集装置和检测方法

Publications (2)

Publication Number Publication Date
CN113094930A CN113094930A (zh) 2021-07-09
CN113094930B true CN113094930B (zh) 2022-05-20

Family

ID=76681371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488196.3A Active CN113094930B (zh) 2021-05-06 2021-05-06 一种驾驶人行为状态数据采集装置和检测方法

Country Status (1)

Country Link
CN (1) CN113094930B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765352A (zh) * 2012-07-27 2012-11-07 浙江吉利汽车研究院有限公司杭州分公司 一种车辆驾驶状态的监控系统
EP3015055A1 (en) * 2014-10-30 2016-05-04 Comftech S.r.L. System for monitoring a driver
CN107526906A (zh) * 2017-10-11 2017-12-29 吉林大学 一种基于数据采集的驾驶风格辨识装置及方法
CN107886798A (zh) * 2017-11-14 2018-04-06 吉林大学 一种基于驾驶模拟系统的驾驶技能辨识装置及方法
CN207965887U (zh) * 2017-10-11 2018-10-12 吉林大学 一种新型的区分工况的驾驶风格辨识装置
CN208232928U (zh) * 2018-05-22 2018-12-14 长安大学 一种用于检测驾驶员分心的数据采集设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1877991A4 (en) * 2005-05-06 2009-11-11 Jerome Arnold Power SLEEP WARNING DEVICE
US11389059B2 (en) * 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US9301563B2 (en) * 2013-02-07 2016-04-05 Nova Diagnostics, Llc Pressure sensing glove
US9501693B2 (en) * 2013-10-09 2016-11-22 Honda Motor Co., Ltd. Real-time multiclass driver action recognition using random forests
JP6237504B2 (ja) * 2014-07-08 2017-11-29 株式会社デンソー 視線入力装置
US10420387B2 (en) * 2017-09-29 2019-09-24 Sharon Ann Zambriski Exercise performance monitoring apparatus
JP2020098414A (ja) * 2018-12-17 2020-06-25 アルパイン株式会社 運転行動分析システム
US11334799B2 (en) * 2018-12-26 2022-05-17 C-B4 Context Based Forecasting Ltd System and method for ordinal classification using a risk-based weighted information gain measure
CN209911926U (zh) * 2019-04-26 2020-01-07 广州供电局有限公司 电缆附件制作指引系统
CN112660141A (zh) * 2020-12-29 2021-04-16 长安大学 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765352A (zh) * 2012-07-27 2012-11-07 浙江吉利汽车研究院有限公司杭州分公司 一种车辆驾驶状态的监控系统
EP3015055A1 (en) * 2014-10-30 2016-05-04 Comftech S.r.L. System for monitoring a driver
CN107526906A (zh) * 2017-10-11 2017-12-29 吉林大学 一种基于数据采集的驾驶风格辨识装置及方法
CN207965887U (zh) * 2017-10-11 2018-10-12 吉林大学 一种新型的区分工况的驾驶风格辨识装置
CN107886798A (zh) * 2017-11-14 2018-04-06 吉林大学 一种基于驾驶模拟系统的驾驶技能辨识装置及方法
CN208232928U (zh) * 2018-05-22 2018-12-14 长安大学 一种用于检测驾驶员分心的数据采集设备

Also Published As

Publication number Publication date
CN113094930A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108682119B (zh) 基于智能手机和智能手表的驾驶员疲劳状态检测方法
CN112924185B (zh) 一种基于数字孪生虚实交互技术的人机共驾测试方法
CN112677983B (zh) 一种识别驾驶员驾驶风格的系统
CN108091205A (zh) 基于虚拟现实的模拟飞行系统
CN105096688B (zh) 基于bim仿真环境的驾驶模拟控制系统
WO2018140022A1 (en) Autonomous vehicle providing driver education
Lu A motion control method of intelligent wheelchair based on hand gesture recognition
CN101751126A (zh) 使用多个传感器空间的免提的基于手势的接口
CN108154745A (zh) 模拟驾驶系统
CN108563891B (zh) 一种基于惯性测量单元智能预防交通事故的方法
Moret Dynamic modeling and control of a car-like robot
CN109145719A (zh) 一种驾驶员疲劳状态识别方法及系统
CN107272908A (zh) 一种手势识别装置、系统及手势识别方法
CN113040459A (zh) 用于监视车辆骑手的认知状态的系统和方法
CN101118652A (zh) 自行车碰撞事故的三维建模及优化再现方法
CN113696890B (zh) 车道保持方法、装置、设备、介质及系统
CN113498392B (zh) 车辆用运算系统
CN113094930B (zh) 一种驾驶人行为状态数据采集装置和检测方法
CN115743137A (zh) 一种基于人机增强感知的驾驶情境理解方法
US20210133447A1 (en) Apparatus and system related to an intelligent helmet
KR102232646B1 (ko) 운전석을 포함한 차량의 실내 장치를 자동으로 조절하기 위한 방법 및 이를 위한 장치
Al-Okby et al. Development and testing of intelligent wheelchair controller for quadriplegic patients
CN111524237B (zh) 一种用于汽车模拟器中的汽车与地形交互仿真方法
CN205808422U (zh) 一种姿态传感装置
CN114926896A (zh) 一种自动驾驶车的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant