CN112698660B - 基于9轴传感器的驾驶行为视觉感知装置及方法 - Google Patents
基于9轴传感器的驾驶行为视觉感知装置及方法 Download PDFInfo
- Publication number
- CN112698660B CN112698660B CN202011625748.2A CN202011625748A CN112698660B CN 112698660 B CN112698660 B CN 112698660B CN 202011625748 A CN202011625748 A CN 202011625748A CN 112698660 B CN112698660 B CN 112698660B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- risk
- data
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000016776 visual perception Effects 0.000 title claims abstract description 11
- 230000006399 behavior Effects 0.000 claims abstract description 53
- 230000001133 acceleration Effects 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 58
- 238000007781 pre-processing Methods 0.000 claims description 34
- 238000013135 deep learning Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012502 risk assessment Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 4
- 238000013145 classification model Methods 0.000 abstract description 3
- 125000004122 cyclic group Chemical group 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012821 model calculation Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开基于9轴传感器的驾驶行为视觉感知装置及方法。本发明基于异源数据融合方法，结合汽车的四个方向安装的摄像头和9轴传感器的数据融合来量化得到驾驶人的驾驶行为。摄像头在车辆行驶过程中实时采集车辆周边环境的视频，9轴传感器实时采集加速度数据和角速度数据。通过自学习、弱监督学习和循环序列算法的融合来感知自身车辆的行驶风险，并给出风险的类型和风险概率。本发明提出一种基于9轴传感器的驾驶行为感知自学习新方法，通过9轴传感器的加速度信号和角速度信号的反馈，持续更新视频图像弱监督分类模型的参数，从而达到较好的驾驶行为的识别感知效果，并判断出驾驶员或无人驾驶系统的驾驶风险。
Description
技术领域
本发明属于无人驾驶技术领域，涉及基于9轴传感器的驾驶行为视觉感知装置及方法。
背景技术
随着国内汽车保有量的不断增加，驾校对于驾驶水平的把控难以面面俱到，这直接导致驾驶员驾驶水平质量不高，不良驾驶行为频繁发生对驾驶员自身以及路人造成人身伤害甚至付出生命的代价。由于驾驶员的不良驾驶习惯和驾驶员在未知环境的情况下按照以往驾驶经验驾驶机动车而容易产生可能会造成交通事故或有造成交通事故潜在危险。随着高级辅助驾驶技术和自动驾驶技术的出现，基于机器视觉的方案越来越多的用于车辆危险驾驶行为的检测和驾驶辅助。
传统的基于单目摄像头和双目摄像头的驾驶行为感知装置只能通过视觉数据来计算和判别不规范、违反交通规则、甚至违法的一系列交通行为，但受限于系统图像处理的运算能力和算法的实时性，单一图像处理的方法受环境影响非常大，鲁棒性低，容易出现判断错误。并且通过视觉图像计算出的速度、加速度和姿态等核心指标参数精度太低，需要融合新的传感器数据来提升驾驶行为的检测精度。
本发明要提出的基于9轴传感器的驾驶行为视觉感知装置及方法基于异源数据融合方法，结合汽车的四个方向安装的摄像头和9轴传感器的数据融合来量化得到驾驶人的驾驶行为。摄像头在车辆行驶过程中实时采集车辆周边环境的视频，9轴传感器实时采集加速度数据和角速度数据。通过自学习、弱监督学习和循环序列算法(即长短期记忆神经网络模型LSTM)的融合来感知自身车辆的行驶风险，并给出风险的类型和风险概率。最后相关的视频数据、加速度数据和风险视频将会使用时间同步的形式融合文件，采用4G/5G/WIFI的方式传输到云端大数据平台进行进一步的分析、运算和保存。也可以通过手机WIFI直连的方式查看调取风险数据。
发明内容
本发明所要解决的技术问题至少是如何结合9轴传感器的加速度、角速度数据和摄像头的视频数据对车辆驾驶行为进行感知的方法，提供一种基于弱监督学习的方式提升驾驶行文的感知能力的驾驶风险评估方法。
本发明方法具体包括以下步骤：
步骤(1)、9轴传感器实时采集行驶过程中车辆的加速度和角速度数据，并对其进行预处理，得到x-y方向的加速度和角速度数据；其中预处理采用卡尔曼滤波和滑动平均滤波串联的方式。
步骤(2)、车身周围摄像头实时采集周边视频，提取图像信息。
步骤(3)、采用弱监督深度学习方式，利用特征提取、聚类和混淆矩阵判别相结合的方式实现9轴传感器的数据和视频数据融合，并对驾驶行为的判别，具体过程如下：
3.1将步骤(2)图像输入到resnet模型获取图像的特征信息；其中resnet模型的输入为步骤(2)图片数据，输出为一维特征向量。
3.2采用4个LSTM(Long Short-Term Memory，长短期记忆神经网络)模型以实现对四种不同驾驶行为的分类；再对LSTM1至LSTM3输出分类结果和步骤(1)预处理后的加速度和角速度进行时序同步，然后利用混淆矩阵计算灵敏度和精度指标，最后判断精度或灵敏度指标是否小于阈值，若是则LSTM1至LSTM3进入自训练流程；反之则触发LSTM1至LSTM3；
LSTM1模型的输入是步骤3.1输出的特征向量，输出是急加速和非急加速的分类。
LSTM2模型的输入是步骤3.1输出的特征向量，输出是急减速和非急减速的分类。
LSTM3模型的输入是步骤3.1输出的特征向量，输出是急转向和非急转向的分类。
LSTM4模型的输入是步骤3.1输出的特征向量，输出是风险变道和正常变道的分类。
作为优选，LSTM1至LSTM3的自训练流程中损失函数采用交叉熵函数E(Nk,yk)，使得交叉熵函数达到最小值：
混淆矩阵中真实值：Nk＝P(xk,Ts)
其中yk为k时刻LSTM1、LSTM2和LSTM3模型预测得到的急加速、急减速和急转向的分类概率值，xk为k时刻测量得到的加速度或角速度信号；Ts表示判断急加、急减或急转向对应的阈值athresh1、athresh2或ωthresh；P为逻辑判断函数，当xk大于Ts取1，反之取0。
本发明采用阈值触发的方式控制LSTM1、LSTM2和LSTM3模型的运算是否执行，当9轴传感器采集到的数据未达到阈值时，不进行LSTM1-LSTM3的运算，可以很好的节省系统的计算资源，减少系统的整体功耗。当9轴传感器采集到的数据达到阈值时，LSTM1、LSTM2和LSTM3模型持续预测急加速、急减速和急转向的概率大小，并能够根据和9轴传感器输出的偏差采用自学习的方式自动学习更新LSTM1-LSTM3中的参数。
3.3使用聚类算法对步骤(3)输出的分类结果进行分类，得到跟车过近和风险变道分类结果；其中聚类算法采用k-means算法实现。
步骤(4)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(1)获得自身车辆的风险结果。
Riski＝xi*yi 公式(1)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2分别表示跟车过近和风险变道两种驾驶行为。
若驾驶行为跟车过近时，
变道风险系数
其中a1为常数，根据经验值设定。
若驾驶行为风险变道时，
变道风险系数
其中a2、a3为常数，根据经验值设定。
车速风险系数
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i驾驶行为车速风险权重系数；v表示自身车辆的当前车速。
步骤(5)、步骤(4)自身车辆风险结果传送至实时决策处理单元，判断自身车辆的风险结果是否大于阈值，若是则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU，同时实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；反之则不向CAN数据总线发送信息，同时实时决策处理单元持续采集车辆CAN数据。
本发明的另一个目的是提供一种基于9轴传感器的驾驶行为视觉感知装置。
基于9轴传感器的驾驶行为视觉感知装置包括摄像头、9轴传感器、第一数据预处理模块、第二数据预处理模块、中央处理模块、实时决策处理单元；
所述摄像头用于采集车辆行驶过程中周围环境的视频信息，然后传输给第一数据预处理模块；
所述9轴传感器用于采集车辆行驶过程中车辆自身的加速度和角速度数据，然后传输给第二数据预处理模块；
所述第一数据预处理模块用于接收摄像头采集数据，并对其进行解码压缩，获得数字图像，然后传送至中央处理模块；
所述第二数据预处理模块用于接收9轴传感器采集数据，并对其进行滤波预处理，然后传送至中央处理模块；
所述中央处理模块包括时序同步模块、深度学习模块、触发判断模块、分类模块、自身车辆风险计算模块；深度学习模块包括resnet模型、LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型；resnet模型接收第一数据预处理模块传送的数字图像进行图像特征提取；LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型分别接收resnet模型输出的特征进行急加、急减、急转向、变道分类，然后发送至触发判断模块；触发判断模块根据深度学习模块传送的分类结果和时序同步模块处理后的9轴传感器的加速度和角速度，利用混淆矩阵计算精度或灵敏度指标，根据阈值判断结果触发LSTM1模型、LSTM2模型、LSTM3模型；分类模块使用聚类算法对深度学习模块输出的分类结果进行分类，得到跟车过近和风险变道分类结果；自身车辆风险计算模块根据分类模块输出的驾驶行为分类结果结合实时决策处理单元传送的车辆状态信息，计算得到自身车辆的风险结果，然后传送至实时决策处理单元和车内中控显示屏；时序同步模块用于第二数据预处理模块传送的9轴传感器的加速度和角速度的值与LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型的输出值做时间采样的同步，保证所有数据在时序上是同步的。
所述实时决策处理单元是用于监控车辆自身信息的单元，从车身CAN数据总线获取车辆的车速、刹车、油门、转向灯、车速、启动与熄灯等车辆状态信息，并通过UART异步收发传输器传输到中央处理模块；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
作为优选，所述实时决策处理单元采用cortex-m3处理器。
所述车内中控显示屏还可以搭载语音播报系统，用以实时提醒驾驶员车辆风险。
本装置还可以包括移动客户端，中央处理模块通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
本发明的有益效果如下：
1、本发明提出一种基于9轴传感器的驾驶行为感知自学习新方法，通过9轴传感器的加速度信号和角速度信号的反馈，持续更新视频图像弱监督分类模型的参数，从而达到较好的驾驶行为的识别感知效果，并判断出驾驶员或无人驾驶系统的驾驶风险。
2、本发明利用自监督学习的模型训练方式可以有效地避免数据标记工作的成本和时间，同时能够根据环境的变化自适应地调整循环序列分类模型参数，提升装置复杂环境下的算法自适应能力。
3、本发明使用同步时序信号同步9轴传感器和视频图像的数据处理过程，通过信号触发数据回溯的方式处理驾驶行为视频图像序列，在保证数据处理实时性的同时利用异源的9轴传感器数据和视频图像数据，实现了驾驶行为的融合判断。
附图说明
图1为本发明装置的模块架构图；
图2为9轴传感器预处理过程，其中(a)为加速度，(b)为角速度；
图3为LSTM1-LSTM4的输入输出示意图；
图4为聚类过程；
图5为LSTM1-LSTM3的自训练触发过程；
图6为整体工作流程图。
具体实施方式
下面结合具体实施例对本发明做进一步的分析。
如图1基于9轴传感器的驾驶行为视觉感知装置包括摄像头、9轴传感器、第一数据预处理模块、第二数据预处理模块、中央处理模块、实时决策处理单元；
所述摄像头用于采集车辆行驶过程中周围环境的视频信息，然后传输给第一数据预处理模块；
所述摄像头至少为4个分别安装在车身的四周，用于采集车辆行驶过程中周围环境的视频信息；四个摄像头的安装位置分别为：挡风玻璃下的前视宽视野摄像头，车辆左右两侧的侧方前视摄像头和车尾的后视摄像头。其中前视宽视野摄像头的视角为120度，左右两侧摄像头的视角为90度，尾部的后视摄像头的视角为120度。视频的采样频率为30帧/秒、20帧/秒或者10帧/秒,根据车辆当前车速选择对应的采样频率。
所述9轴传感器用于采集车辆行驶过程中车辆自身的加速度和角速度数据，然后传输给第二数据预处理模块；
所述第一数据预处理模块用于接收摄像头采集数据，并对其进行解码压缩，获得数字图像，然后传送至中央处理模块；
所述第二数据预处理模块用于接收9轴传感器采集数据，并对其进行滤波预处理，然后传送至中央处理模块；
所述中央处理模块包括时序同步模块、深度学习模块、触发判断模块、分类模块、自身车辆风险计算模块；深度学习模块包括resnet模型、LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型；resnet模型接收第一数据预处理模块传送的数字图像进行图像特征提取；LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型分别接收resnet模型输出的特征进行急加、急减、急转向、变道分类，然后发送至触发判断模块；触发判断模块根据深度学习模块传送的分类结果和时序同步模块处理后的9轴传感器的加速度和角速度，利用混淆矩阵计算精度或灵敏度指标，根据阈值判断结果触发LSTM1模型、LSTM2模型、LSTM3模型；分类模块使用聚类算法对深度学习模块输出的分类结果进行分类，得到跟车过近和风险变道分类结果；自身车辆风险计算模块根据分类模块输出的驾驶行为分类结果结合实时决策处理单元传送的车辆状态信息，计算得到自身车辆的风险结果，然后传送至实时决策处理单元和车内中控显示屏；时序同步模块用于第二数据预处理模块传送的9轴传感器的加速度和角速度的值与LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型的输出值做时间采样的同步，保证所有数据在时序上是同步的。
所述实时决策处理单元是用于监控车辆自身信息的单元，从车身CAN数据总线获取车辆的刹车、油门、转向灯、车速、启动与熄灯等车辆状态信息，并通过UART异步收发传输器传输到中央处理模块；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
作为优选，所述实时决策处理单元采用cortex-m3处理器。
所述车内中控显示屏还可以搭载语音播报系统，用以实时提醒驾驶员车辆风险。
本装置还可以包括移动客户端，中央处理模块通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
本发明基于上述装置的驾驶行为视觉感知方法，如图6具体包括以下步骤：
步骤(1)、9轴传感器实时采集行驶过程中信号数据，并对其进行预处理，得到x-y方向的加速度和角速度数据：
在车辆的行驶过程中，由于震动等原因9轴传感器的测量值中包含了较多的噪声，需要对9轴传感器采集的加速度和角速度数据进行滤波预处理；
所述的预处理采用卡尔曼滤波和滑动平均滤波串联的方式，如图2具体是：
在x-y方向加速度信号
通过以下卡尔曼滤波器获得：
时间节拍更新步骤：
测量更新步骤：
其中
表示k-1时刻系统滤波后的加速度值，
表示经过时间节拍更新后第k时刻的加速度信号；Pk-1表示k-1时刻测量过程加速度的噪声协方差，
表示经过时间节拍更新后第k时刻加速度的噪声协方差，Q表示系统的噪声协方差，一般取Q＝10-5；Kk表示k时刻卡尔曼滤波系统的增益，R表示测量过程中的噪声协方差，一般取R＝0.01；zk表示k时刻加速度测量值。
在α,β,γ三轴方向的角速度信号
通过以下卡尔曼滤波器获得：
时间节拍更新步骤：
测量更新步骤：
其中
表示k-1时刻系统滤波后的角速度值，
表示经过时间节拍更新后第k时刻的角速度信号，Yk为k时刻角速度测量值；Q表示系统的噪声协方差，一般取Q＝10-4；R表示测量过程中的噪声协方差，一般取R＝0.04。
步骤(2)、车身周围四个摄像头实时采集周边视频，对其进行解码得到数字图像信息压缩；每一组数字图像信息序列可以用矩阵的方式表示：
其中fig.n表示视频序列中的第n张图片，sequence描述了fig_num张大小为width×height的图片组成的图片序列。
步骤(3)、采用弱监督深度学习方式，利用特征提取、聚类和混淆矩阵判别相结合的方式实现9轴传感器的数据融合和驾驶行为的判别；以下提到的resnet50模型、4个LSTM模型均为常规模型，故不详解。
具体过程如下：
3.1将步骤(2)图像输入到resnet50模型获取图像的特征信息；其中resnet50模型的输入为步骤(2)图片数据，输出为1*1000一维特征向量。
3.2如图5采用4个LSTM(Long Short-Term Memory，长短期记忆神经网络)模型以实现对四种不同驾驶行为的分类；再对LSTM1至LSTM3输出分类结果和步骤(1)预处理后的加速度和角速度进行时序同步，然后利用混淆矩阵计算灵敏度和精度指标，最后判断精度或灵敏度指标是否小于阈值，若是则LSTM1至LSTM3进入自训练流程；反之则触发LSTM1至LSTM3；
LSTM1模型的输入是步骤3.1输出的特征向量，输出是急加速和非急加速的分类。
LSTM2模型的输入是步骤3.1输出的特征向量，输出是急减速和非急减速的分类。
LSTM3模型的输入是步骤3.1输出的特征向量，输出是急转向和非急转向的分类。
LSTM4模型的输入是步骤3.1输出的特征向量，输出是风险变道和正常变道的分类。
TP表示LSTM模型计算得到分类结果为正值，且9轴传感器测量的结果也为正值的数据样本数量。
FP表示LSTM模型计算得到分类结果为正值，且9轴传感器测量的结果也为负值的数据样本数量。
FN表示LSTM模型计算得到分类结果为负值，且9轴传感器测量的结果也为正值的数据样本数量。
TN表示表示LSTM模型计算得到分类结果为负值，且9轴传感器测量的结果也为负值的数据样本数量。
a)采样单位时间内经过步骤(1)滤波后的加速度和角速度，对加速度信号或角速度信号大于athresh1、athresh2和ωthresh的采样数据点，作为混淆矩阵中的真实值。
真实值：Nk＝P(xk,Ts)
其中Ts表示判断急加、急减或急转向对应的阈值athresh1、athresh2或ωthresh；xk为k时刻测量得到的加速度或角速度信号；P为逻辑判断函数，当xk大于Ts取1，反之取0。
b)采样单位时间内经过步骤3.2中的LSTM1、LSTM2和LSTM3模型的分类输出进行判别急加速、急减速和急转向的分类概率，使用0.5作为阈值对分类概率做二值化处理，处理的结果作为预测值用于计算精度和灵敏度。
预测值：Mk＝P(yk,0.5)
其中yk为k时刻LSTM1、LSTM2和LSTM3模型预测得到的急加速、急减速和急转向的分类概率值。P为逻辑判断函数，当yk大于0.5取1，反之取0。
LSTM1、LSTM2和LSTM3的自训练流程中损失函数采用交叉熵函数E(Nk,yk)，使得交叉熵函数达到最小值：
本发明采用阈值触发的方式控制LSTM1、LSTM2和LSTM3模型的运算是否执行，当9轴传感器采集到的数据未达到阈值时，不进行LSTM1-LSTM3的运算，可以很好的节省系统的计算资源，减少系统的整体功耗。当9轴传感器采集到的数据达到阈值时，LSTM1、LSTM2和LSTM3模型持续预测急加速、急减速和急转向的概率大小，并能够根据和9轴传感器输出的偏差采用自学习的方式自动学习更新LSTM1-LSTM3中的参数。
图3为深度学习模块流程示意图。
3.3使用聚类算法对步骤(3)输出的分类结果(即四个模型的输出值)进行分类，得到跟车过近和风险变道分类结果；其中聚类算法采用k-means算法实现。
3.3.1随机选择两个步骤3.2模型输出值[急加急减急转向风险变道]作为初始聚类中心Ki，i＝2。
3.3.2每个步骤3.2第j个模型输出值Pj到初始聚类中心Ki的距离D(Pj,Ki)，将Pj点分配到距离最小的初始聚类中心Ki所在分类。
3.3.3重新计算两个聚类的聚类中心：
其中xj表示第i个聚类上各坐标值，
为Ki所在聚类的测量值的集合，
为Ki所在聚类测量的次数之和。
3.3.4然后重复3.3.2-3.3.3，直到聚类中心没有变化。
如图4所示，利用步骤(3)采用k-means聚类算法构建驾驶风险分类器，并计算出风险大小。k-means聚类算法通过以下步骤求取出跟车过近和风险变道这两个分类簇的质心。当步骤(2)中更新输出的急加速、急减速、急转向和风险行驶组成的观测值输入k-means模型后，通过计算出当前的感测向量和两个分类簇质心的距离，通过距离的大小来判断当前的驾驶行为属于哪个分类。
步骤(4)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(1)获得自身车辆的风险结果。
Riski＝xi*yi 公式(1)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2分别表示跟车过近和风险变道两种驾驶行为。
若驾驶行为跟车过近时，
变道风险系数
其中a1为常数，根据经验值设定。
若驾驶行为风险变道时，
变道风险系数
其中a2、a3为常数，根据经验值设定。
车速风险系数
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i驾驶行为车速风险权重系数；v表示自身车辆的当前车速。
步骤(5)、步骤(4)自身车辆风险结果传送至实时决策处理单元，判断自身车辆的风险结果是否大于阈值，若是则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU，同时实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；反之则不向CAN数据总线发送信息，同时实时决策处理单元持续采集车辆CAN数据。
Claims (9)
1.基于9轴传感器的驾驶行为视觉感知方法，其特征在于包括以下步骤：
步骤(1)、9轴传感器实时采集行驶过程中车辆的加速度和角速度数据，并对其进行预处理，得到x-y方向的加速度和角速度数据；
步骤(2)、摄像头实时采集行驶过程中车辆周边环境视频，提取图像信息；
步骤(3)、采用弱监督深度学习方式，利用特征提取、聚类和混淆矩阵判别相结合的方式实现9轴传感器的数据和视频数据融合，并对驾驶行为的判别，具体过程如下：
3.1将步骤(2)图像输入到resnet模型获取图像的特征信息；其中resnet模型的输入为步骤(2)图片数据，输出为一维特征向量；
3.2采用4个LSTM模型以实现对四种不同驾驶行为的分类；再对LSTM1至LSTM3输出分类结果和步骤(1)预处理后的加速度和角速度进行时序同步，然后利用混淆矩阵计算灵敏度和精度指标，最后判断精度或灵敏度指标是否小于阈值，若是则LSTM1至LSTM3进入自训练流程，即仅触发LSTM4；反之则触发LSTM1至LSTM3，即触发LSTM1至LSTM4；
LSTM1模型的输入是步骤3.1输出的特征向量，输出是急加速和非急加速的分类；
LSTM2模型的输入是步骤3.1输出的特征向量，输出是急减速和非急减速的分类；
LSTM3模型的输入是步骤3.1输出的特征向量，输出是急转向和非急转向的分类；
LSTM4模型的输入是步骤3.1输出的特征向量，输出是风险变道和正常变道的分类；
3.3使用聚类算法对步骤(3)输出的分类结果进行分类，得到跟车过近和风险变道分类结果；
步骤(4)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(1)获得自身车辆的风险结果；
Riski＝xi*yi 公式(1)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2分别表示跟车过近和风险变道两种驾驶行为；
若驾驶行为跟车过近时，
变道风险系数
其中a1为常数，根据经验值设定；
若驾驶行为风险变道时，
变道风险系数
其中a2、a3为常数，根据经验值设定；
车速风险系数
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i驾驶行为车速风险权重系数；v表示自身车辆的当前车速；
步骤(5)、步骤(4)自身车辆风险结果传送至实时决策处理单元，判断自身车辆的风险结果是否大于阈值，若是则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU，同时实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；反之则不向CAN数据总线发送信息，同时实时决策处理单元持续采集车辆CAN数据。
2.根据权利要求1所述的方法，其特征在于步骤(1)预处理采用卡尔曼滤波和滑动平均滤波串联的方式。
3.根据权利要求1所述的方法，其特征在于LSTM1至LSTM3的自训练流程中损失函数采用交叉熵函数E(Nk,yk)，使得交叉熵函数达到最小值：
混淆矩阵中真实值：Nk＝P(xk,Ts)
其中yk为k时刻LSTM1、LSTM2和LSTM3模型预测得到的急加速、急减速和急转向的分类概率值，xk为k时刻测量得到的加速度或角速度信号；Ts表示判断急加、急减或急转向对应的阈值athresh1、athresh2或ωthresh；P为逻辑判断函数。
4.根据权利要求3所述的方法，其特征在于当xk大于Ts取1，反之取0。
5.根据权利要求1所述的方法，其特征在于步骤(3.3)聚类算法采用k-means算法。
6.一种基于9轴传感器的驾驶行为视觉感知装置，其特征在于包括摄像头、9轴传感器、第一数据预处理模块、第二数据预处理模块、中央处理模块、实时决策处理单元；
所述摄像头用于采集车辆行驶过程中周围环境的视频信息，然后传输给第一数据预处理模块；
所述9轴传感器用于采集车辆行驶过程中车辆自身的加速度和角速度数据，然后传输给第二数据预处理模块；
所述第一数据预处理模块用于接收摄像头采集数据，并对其进行解码压缩，获得数字图像，然后传送至中央处理模块；
所述第二数据预处理模块用于接收9轴传感器采集数据，并对其进行滤波预处理，然后传送至中央处理模块；
所述中央处理模块包括时序同步模块、深度学习模块、触发判断模块、分类模块、自身车辆风险计算模块；深度学习模块包括resnet模型、LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型；resnet模型接收第一数据预处理模块传送的数字图像进行图像特征提取；LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型分别接收resnet模型输出的特征进行急加、急减、急转向、变道分类，然后发送至触发判断模块；触发判断模块根据深度学习模块传送的分类结果和时序同步模块处理后的9轴传感器的加速度和角速度，利用混淆矩阵计算精度或灵敏度指标，根据阈值判断结果触发LSTM1模型、LSTM2模型、LSTM3模型；分类模块使用聚类算法对深度学习模块输出的分类结果进行分类，得到跟车过近和风险变道分类结果；自身车辆风险计算模块根据分类模块输出的驾驶行为分类结果结合实时决策处理单元传送的车辆状态信息，计算得到自身车辆的风险结果，然后传送至实时决策处理单元和车内中控显示屏；时序同步模块用于第二数据预处理模块传送的9轴传感器的加速度和角速度的值与LSTM1模型、LSTM2模型、LSTM3模型、LSTM4模型的输出值做时间采样的同步；
所述实时决策处理单元是用于监控车辆自身信息的单元，从车身CAN数据总线获车辆状态信息，并通过UART异步收发传输器传输到中央处理模块；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给中央处理模块；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU。
7.根据权利要求6所述的装置，其特征在于所述实时决策处理单元采用cortex-m3处理器。
8.根据权利要求6所述的装置，其特征在于所述车内中控显示屏还可以搭载语音播报系统，用以实时提醒驾驶员车辆风险。
9.根据权利要求6所述的装置，其特征在于还可以包括移动客户端，中央处理模块通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011625748.2A CN112698660B (zh) | 2020-12-31 | 2020-12-31 | 基于9轴传感器的驾驶行为视觉感知装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011625748.2A CN112698660B (zh) | 2020-12-31 | 2020-12-31 | 基于9轴传感器的驾驶行为视觉感知装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112698660A CN112698660A (zh) | 2021-04-23 |
| CN112698660B true CN112698660B (zh) | 2022-05-27 |
Family
ID=75513194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011625748.2A Active CN112698660B (zh) | 2020-12-31 | 2020-12-31 | 基于9轴传感器的驾驶行为视觉感知装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112698660B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114266431B (zh) * | 2021-10-13 | 2022-09-16 | 广州智能科技发展有限公司 | 一种基于物联网的工业生产安全感知模型的构建方法 |
| CN113961354A (zh) * | 2021-10-29 | 2022-01-21 | 重庆长安汽车股份有限公司 | 一种基于弱监督学习车机卡顿识别方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256221A (zh) * | 2017-04-26 | 2017-10-17 | 苏州大学 | 基于多特征融合的视频描述方法 |
| JP2018136193A (ja) * | 2017-02-22 | 2018-08-30 | パーク二四株式会社 | 加速度センサオートアライメント装置およびコンピュータプログラム |
| CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
| CN110281949A (zh) * | 2019-06-28 | 2019-09-27 | 清华大学 | 一种自动驾驶统一分层决策方法 |
| CN110930466A (zh) * | 2019-10-22 | 2020-03-27 | 杭州电子科技大学 | 面向任意形状BOIs的高光谱自适应压缩传感方法 |
| CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
| CN111311945A (zh) * | 2020-02-20 | 2020-06-19 | 南京航空航天大学 | 一种融合视觉和传感器信息的驾驶决策系统及方法 |
| CN112052802A (zh) * | 2020-09-09 | 2020-12-08 | 上海工程技术大学 | 一种基于机器视觉的前方车辆行为识别方法 |
| WO2020253965A1 (en) * | 2019-06-20 | 2020-12-24 | Toyota Motor Europe | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time |
-
2020
- 2020-12-31 CN CN202011625748.2A patent/CN112698660B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018136193A (ja) * | 2017-02-22 | 2018-08-30 | パーク二四株式会社 | 加速度センサオートアライメント装置およびコンピュータプログラム |
| CN107256221A (zh) * | 2017-04-26 | 2017-10-17 | 苏州大学 | 基于多特征融合的视频描述方法 |
| CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
| WO2020253965A1 (en) * | 2019-06-20 | 2020-12-24 | Toyota Motor Europe | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time |
| CN110281949A (zh) * | 2019-06-28 | 2019-09-27 | 清华大学 | 一种自动驾驶统一分层决策方法 |
| CN110930466A (zh) * | 2019-10-22 | 2020-03-27 | 杭州电子科技大学 | 面向任意形状BOIs的高光谱自适应压缩传感方法 |
| CN111104969A (zh) * | 2019-12-04 | 2020-05-05 | 东北大学 | 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法 |
| CN111311945A (zh) * | 2020-02-20 | 2020-06-19 | 南京航空航天大学 | 一种融合视觉和传感器信息的驾驶决策系统及方法 |
| CN112052802A (zh) * | 2020-09-09 | 2020-12-08 | 上海工程技术大学 | 一种基于机器视觉的前方车辆行为识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| CNN-LSTM deep learning architecture for computer vision-based modal frequency detection;Ruoyu Yang;《Mechanical Systems and Signal Processing》;20201031;全文 * |
| Deep historical long short-term memory network for action recognition;Jiaxin Cai;《Neurocomputing》;20200924;全文 * |
| LSTM 神经网络在驾驶行为分析中的应用;王捷;《电脑编程技巧与维护》;20200131;全文 * |
| Solar cells performance testing and modeling based on particle swarm algorithm;薛凌云;《2012 International Conference on Computer Science and Information Processing (CSIP)》;20120826;全文 * |
| 基于机器视觉的轮胎胎面检测系统设计与实现;祝磊;《计算机工程与设计》;20180630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112698660A (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
| US9180887B2 (en) | Driver identification based on face data | |
| CN112698660B (zh) | 基于9轴传感器的驾驶行为视觉感知装置及方法 | |
| CN105654753A (zh) | 一种智能车载安全驾驶辅助方法及系统 | |
| WO2018009552A1 (en) | System and method for image analysis | |
| CN110119714B (zh) | 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 | |
| US9842283B2 (en) | Target object detection system and a method for target object detection | |
| CN112382115B (zh) | 基于视觉感知的驾驶风险预警装置及方法 | |
| US11157723B1 (en) | Facial recognition for drivers | |
| CN113581209B (zh) | 驾驶辅助模式切换方法、装置、设备及存储介质 | |
| CN110901385B (zh) | 一种基于驾驶员疲劳状态的主动限速方法 | |
| US20200242379A1 (en) | Sampling training data for in-cabin human detection from raw video | |
| CN110781872A (zh) | 一种双模态特征融合的驾驶员疲劳等级识别系统 | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| CN110781873A (zh) | 一种双模态特征融合的驾驶员疲劳等级识别方法 | |
| CN111434553A (zh) | 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置 | |
| CN112381015A (zh) | 疲劳度识别方法、装置和设备 | |
| CN110992709A (zh) | 一种基于驾驶员疲劳状态的主动限速系统 | |
| CN116331221A (zh) | 辅助驾驶方法、装置、电子设备及存储介质 | |
| US20230005249A1 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| CN116238544B (zh) | 一种自动驾驶车辆的行驶控制方法及控制系统 | |
| EP3382570A1 (en) | Method for characterizing driving events of a vehicle based on an accelerometer sensor | |
| CN107341428B (zh) | 影像辨识系统及自适应学习方法 | |
| CN113362565A (zh) | 一种基于决策算法的疲劳驾驶预警方法及系统 | |
| CN106184206A (zh) | 一种基于单目视觉原理的智能化汽车离道预警系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |