CN109726771A - 异常驾驶检测模型建立方法、装置及存储介质 - Google Patents
异常驾驶检测模型建立方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109726771A CN109726771A CN201910149082.9A CN201910149082A CN109726771A CN 109726771 A CN109726771 A CN 109726771A CN 201910149082 A CN201910149082 A CN 201910149082A CN 109726771 A CN109726771 A CN 109726771A
- Authority
- CN
- China
- Prior art keywords
- data
- detection model
- sample
- abnormal driving
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了一种异常驾驶检测模型建立方法，该方法包括：获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。本发明还公开了一种异常驾驶检测模型建立装置和一种存储介质。本发明能够实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾驶检测模型的检测精度以及鲁棒性。
Description
技术领域
本发明涉及通信技术领域，尤其涉及异常驾驶检测模型建立方法、装置 及存储介质。
背景技术
近年来随着社会经济飞速发展，城市道路大规模建设，汽车数量呈指数 增长，而交通事故也不断增加，除酒后驾车屡禁不止之外，由于生活压力和 身心紧张状态的影响，疲劳驾驶、注意力分散、情绪化驾驶、突发性疾病等 引起的交通事故也逐渐增多。因此，监控驾驶员的驾驶行为并对异常驾驶行 为给予警报，对提高驾驶员的驾驶能力并降低其驾驶负荷，从本质上减少交 通事故状况的发生，具有重要意义。
目前的异常驾驶检测模型建立方法有基于可穿戴传感器的检测方法，基 于视觉信息的检测方法以及基于汽车行驶状态的检测方法，基于可穿戴传感 器的检测方法中可穿戴传感器包括运动传感器和生理传感器，研究者利用运 动传感器采集驾驶员身体姿态变化、肢体运动、操作行为等特征，利用生理 传感器采集驾驶员呼吸频率、心率、心率间期、皮肤电等特征，融合多信息 特征检测多种异常驾驶状态，但是由于多元时序数据存在冗余性和大量噪声， 降低模型的泛化能力，使得该方法的检测精度较差；基于视觉信息的检测方 法通常利用机器视觉技术或传感器技术检测驾驶员的面部特征，如眼睛特征、 瞳孔的直径变化、视线方向变化及嘴部状态等来研究驾驶员的疲劳、注意力 分散、情绪变化等问题，但该方法在实时检测过程很大程度上受环境和摄像 头拍摄角度的影响，比如人脸有遮挡时，光线发生强烈变化时，都会影响检 测结果的有效性、准确性；基于汽车行驶状态的异常驾驶状态检测方法以车 辆现有装置为基础，采集车辆本身的速度、侧向加速度、横向位移量、车道 偏离、车辆行驶轨迹变化等特征，但是受车辆的具体型号、道路的具体状况 和驾驶员的个人驾驶习惯、驾驶经验限制，该检测方法通用性不高。
同种异常驾驶行为在三种检测方法的模态数据中都有变化，但是上述三 种检测模型都是基于单一模态建立而成，不融合各模态数据而采取单一的模 态数据的检测方法，不仅不能避免单一模态其自身的局限性出现的问题，且 对异常驾驶行为的判断和检测的支撑度不高，导致异常驾驶行为检测精度不 高，鲁棒性差，同时对新型异常驾驶行为的检测效果不好。
发明内容
本发明的主要目的在于提出一种异常驾驶检测模型建立方法、装置及存 储介质，旨在实现综合多模态数据建立异常驾驶行为的检测模型，提高异常 驾驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常驾 驶检测模型出现的问题。
为实现上述目的，本发明提供一种异常驾驶检测模型建立方法，所述方 法包括如下步骤：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采 集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出 所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一 异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
优选地，所述使用反向传播算法根据多个第一样本对应的第一预测误差 值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型的 步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个 第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶 时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一 正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二 样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常 驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大 值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾 驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
优选地，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形 成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态 的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度 量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾 驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的 第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度 量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾 驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的 第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算 第三异常驾驶检测模型的测试精度。
优选地，所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和 不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述 正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾 驶时间段的T个时刻的第一模态数据，所述将所述第一样本的第一模态数据 输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值 的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经 网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特 征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶 时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第 一样本对应的第一预测误差值。
优选地，所述将所述T个时刻的历史融合数据输入稀疏注意力机制模型， 输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将 融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对 应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的 原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方 误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第 一预测误差值。
优选地，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检 测模型，输出所述第一样本对应的第一预测误差值的步骤之前，所述方法还 包括：
将第一模态数据分别进行其所属模态相应的预处理。
优选地，所述将所述第一样本的T个时刻的第一模态数据输入到对应模 态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模 态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合， 输出正常驾驶时间段的T个时刻的历史融合数据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感 数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积 神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、 生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音 频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段 的T个时刻的历史融合数据。优选地，所述将第二异常驾驶检测模型与度量 值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检 测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设 驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认 当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
此外，为实现上述目的，本发明还提供一种装置，所述装置包括：存储 器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶检测 模型建立程序，所述异常驾驶检测模型建立程序被所述处理器执行时实现如 上所述的异常驾驶检测模型建立方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上 存储有异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被处理 器执行时实现如上所述的异常驾驶检测模型建立方法的步骤。
本发明获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有 多种采集器采集的同一正常驾驶时间段的第一模态数据；将所述第一样本的 第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第 一预测误差值；使用反向传播算法根据多个第一样本对应的第一预测误差值， 调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；设置 第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。通过上述方式， 本发明能够实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾 驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常驾驶 检测模型出现的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明异常驾驶检测模型建立方法第一实施例的流程示意图；
图3为本发明异常驾驶检测模型建立方法第二实施例的流程示意图；
图4为本发明异常驾驶检测模型建立方法第三实施例的流程示意图；
图5为本发明异常驾驶检测模型建立方法第四实施例的流程示意图；
图6为本发明稀疏注意力机制模型；
图7为本发明异常驾驶检测模型建立方法第五实施例的流程示意图；
图8为本发明异常驾驶检测模型建立方法第六实施例的流程示意图；
图9为本发明异常驾驶检测模型建立方法第七实施例的流程示意图；
图10为本发明异常驾驶检测模型建立方法第七实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。
本发明实施例的主要解决方案是：获取正常驾驶状态的多个第一样本， 每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模 态数据；将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型， 输出所述第一样本对应的第一预测误差值；使用反向传播算法根据多个第一 样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成 第二异常驾驶检测模型；设置第二异常驾驶检测模型判断异常驾驶状态的预 测误差阈值。
现有的检测模型都是基于单一模态建立而成，不融合各模态数据而采取 单一的模态数据的检测方法，不仅不能避免单一模态其自身的局限性出现的 问题，且对异常驾驶行为的判断和检测的支撑度不高，导致异常驾驶行为检 测精度不高，鲁棒性差，同时对新型异常驾驶行为的检测效果不好。
本发明旨在实现综合多模态数据建立异常驾驶行为的检测模型，提高异 常驾驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常 驾驶检测模型出现的问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构 示意图。
本发明实施例装置可以是PC，也可以是智能手机、平板电脑、MP4 (MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频 层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该装置可以包括：处理器1001，例如CPU，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入 单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。
优选地，装置还可以包括摄像头、RF(Radio Frequency，射频)电路， 传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定， 可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布 置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、 网络通信模块、用户接口模块以及异常驾驶检测模型建立程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的异常 驾驶检测模型建立程序，并执行以下操作：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采 集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出 所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一 异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述使用反向传播算法根据多个第一样本对 应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异 常驾驶检测模型的步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个 第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶 时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一 正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二 样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常 驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大 值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾 驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述将第二异常驾驶检测模型与度量值计算 公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型 判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度 量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾 驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的 第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度 量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾 驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的 第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算 第三异常驾驶检测模型的测试精度。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述第一异常驾驶状态检测模型包括有稀疏 注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括 有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据 包括有所述正常驾驶时间段的T个时刻的第一模态数据，所述将所述第一样 本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应 的第一预测误差值的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经 网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特 征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶 时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第 一样本对应的第一预测误差值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述将所述T个时刻的历史融合数据输入稀 疏注意力机制模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将 融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对 应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的 原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方 误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第 一预测误差值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述将所述第一样本的第一模态数据输入第 一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤 之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模 型建立程序，还执行以下操作：所述第一模态数据包括视频图像数据、音频 图像数据、运动传感数据和生理传感数据，所述将所述第一样本的T个时刻 的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经 网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时 刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数 据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感 数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积 神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、 生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音 频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段 的T个时刻的历史融合数据。进一步地，处理器1001可以调用存储器1005 中存储的异常驾驶检测模型建立程序，还执行以下操作：所述将第二异常驾 驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设 置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方 法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设 驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认 当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
基于上述硬件结构，提出本发明方法实施例。
参照图2，图2为本发明方法第一实施例的流程示意图，所述方法包括：
步骤S10，获取正常驾驶状态的多个第一样本，每一个所述第一样本包括 有多种采集器采集的同一正常驾驶时间段的第一模态数据；
在实施例中，本发明应用于异常驾驶检测模型建立装置，获取正常驾驶 状态的多个第一样本，每个第一样本包括有多种采集器采集的同一正常驾驶 时间段的第一模态数据，所述同一正常驾驶时间段包括有T个时刻，所述同 一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻第 一模态数据，采集器包括有视频图像采集器、音频采集器、运动传感器、生 理检测传感器等，可将视频图像采集器、音频采集器、运动传感器、生理检 测传感器集成为多模感知套件置于汽车智能座舱中，多模感知套件可采集驾驶员正常驾驶状态的视频图像数据、音频数据、运动传感数据、生理传感数 据等数据，装置可以获取多模感知套件采集的多个第一样本，每个所述第一 样本包括同一正常驾驶时间段的T个时刻的视频图像数据、音频数据、运动 传感数据、生理传感数据等第一模态数据，基于第一模态数据多维度全面分 析驾驶员的驾驶状态；
驾驶员的驾驶状态分成三个基本维度：驾驶员的认知负荷、外界干扰以 及车辆行驶状态。驾驶员的认知负荷：由于长时间的车辆驾驶，导致人体精 神负荷，常见表现为瞌睡、注意力分散、过度疲劳等；外界干扰：驾驶员在 驾驶车辆的过程中，极易出现被外界干扰的情况，例如与乘客交谈，手机通 话，吃东西等行为，这些行为直接导致驾驶员的注意力分散甚至出现情绪上 的变化；车辆行驶状态：驾驶员的行为状态最直接的表现形式为车体运动状 态变化，左变道、右变道、加速、减速、急刹车、正常行驶等特征是判断驾 驶员是否在正确驾驶的主要依据。通过上述多模感知套件采集驾驶员信息能 够全面地对驾驶行为状态进行多维度监测。
视频图像采集器包括红外摄像头，红外摄像头可以采集视频图像数据， 视频图像数据包括驾驶员面部和部分肢体动作信息，红外摄像头光线辐射强 度、辐射亮度等符合标准；音频采集器包括麦克风、红外摄像头，可以通过 麦克风采集音频数据，也可以通过红外摄像头直接采集音频数据，音频数据 包括驾驶员和乘客的声纹信息等；运动传感器包括加速度计、陀螺仪等，运 动传感器采集运动传感数据，运动传感数据包括驾驶员的肢体运动；生理检 测传感器包括心率检测传感器、皮肤电传感器等，通过生理检测传感器采集 生理传感数据，生理传感数据包括心率数据，皮肤电数据等，包括驾驶员行 车过程中的生理传感数据变化，运动传感器和生理传感器可以保证非干扰的 前提。多模感知套件还可以与车辆CAN总线连接，同时采集车辆行驶状态信 息和行驶环境信息，最终利用多模感知方法进行融合和分析识别。
在实施例中，红外摄像头可以同时记录驾驶员的面部视频和语音信号； 可穿戴传感器，佩戴在驾驶员的手臂和指尖部位，可以记录驾驶员的运动和 生理信息，包括加速度计、陀螺仪、磁力计、心率、皮肤电、肌电等信息。
步骤S20，将所述第一样本的第一模态数据输入第一异常驾驶状态检测模 型，输出所述第一样本对应的第一预测误差值；
将所述第一样本的第一模态数据输入到第一异常驾驶状态检测模型，输 出第一样本对应的第一预测误差值，根据多个样本的第一预测误差值对第一 异常驾驶状态检测模型进行训练，第一异常驾驶状态检测模型包括稀疏注意 力机制模型和各对应模态的卷积神经网络模型，对应模态的卷积神经网络模 型包括对应视频图像的卷积神经网络模型、对应音频的卷积神经网络模型， 对应运动传感的卷积神经网络模型、对应生理传感的卷积神经网络模型等； 将不同采集器采集的所述第一模态数据输入到各对应模态的卷积神经网络模 型中进行特征提取，形成相同行列的对应数据矩阵，并将各相同行列的对应 数据矩阵进行融合，例如：如果第一模态数据的视频图像数据的矩阵200x200, 音频数据的矩阵100x50，运动传感数据矩阵80x6，生理传感数据矩阵50x4， 将上述这些第一模态数据输入对应的卷积神经网络模型进行特征提取，可以 形成50X1视频图像提取数据矩阵、形成50X1音频提取数据矩阵、形成50X1 运动传感提取数据矩阵、形成50X1生理传感提取数据矩阵，对提取后的同一 时刻的第一模态数据进行融合形成50X1X4矩阵，50X1X4矩阵即为同一时刻 的历史融合数据，形成T个时刻的历史融合数据；
在异常驾驶检测模型的训练过程中，在保证检测精度的同时，特征提取 后的数据矩阵越小越好，使数据矩阵在计算机运行可接受范围内，减少模型 的参数，提高模型训练速度，若数据矩阵太大，模型的参数越多，可能会导 致模型崩溃。例如：视频图像数据有200x200x3,3是RGB信息，提取后的视 频图像提取数据矩阵仍为50x1，音频数据包括有左声道、右声道，若左声道 的数据矩阵和右声道的数据矩阵行列不一致，提取后的左声道的数据矩阵和 右声道的数据矩阵行列都可以为50X1,生理传感数据包括心率数据、皮肤电数据，可将心率数据和皮肤电数据进行特征提取，可以形成统一的行列的数据 矩阵，与各模态数据矩阵行列一致，且数据矩阵越小越好。
将T个时刻的历史融合数据输入稀疏注意力机制模型，所述稀疏注意力 机制模型将融合数据结合过去记忆中每个时间步获得前T-1个时刻历史融合 数据分别对应的原始注意力权重，根据所述前T-1个时刻历史融合数据与其分 别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模 型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合 数据的第一预测误差值。
在实施例中，运动传感数据、音频数据、视频图像数据、生理传感数据 等第一模态数据之间存在异构性，不同第一模态数据之间具有潜在的相关性， 基于驾驶应用场景设定流数据的采样周期，并将同一周期内的第一模态数据 作为批量数据，输入到第一异常驾驶状态检测模型中的对应模态的卷积神经 网络模型，按时序对第一模态数据进行提取，提取出对应模态的各时序数据， 将各模态的时序数据根据同一时序进行融合，将融合的各时序数据整合成一 个高维矩阵，形成历史融合数据，能够消除模态间冗余性，提高模型整体的泛化能力。
步骤S30，使用反向传播算法根据多个第一样本对应的第一预测误差值， 调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
根据多个第一样本对应的第一预测误差值评估最终预测误差，在实施例 中，可将多个第一样本对应的第一预测误差值取平均值，平均值作为最终预 测误差，使用反向传播算法根据最终预测误差，调整第一异常驾驶状态检测 模型的参数，所述模型包括稀疏注意力机制模型和各模态对应的卷积神经网 络模型，即运用反向传播算法统一调整稀疏注意力机制模型的参数和各模态 对应的卷积神经网络模型的参数。实现了对稀疏注意力机制模型和各模态对 应的卷积神经网络模型的整体优化，形成第二异常驾驶检测模型。
步骤S40，设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
形成第二异常驾驶检测模型时，设置判断异常驾驶状态的预测误差阈值， 可以使用具有预测误差阈值的第二异常驾驶检测模型检测当前预设驾驶时间 段的驾驶状态是否异常，第二异常驾驶检测模型获取多种采集器采集的当前 预设时间段的第五模态数据，将第五模态数据分别进行其所属模态相应的预 处理，将预处理后第五模态数据输入第二异常检测模型的模态对应的卷积神 经网络模型进行特征提取和融合，特征提取和融合后的第五模态数据输入到 第二异常驾驶检测模型的系数注意力机制模型，输出当前预设时间段的第四 预测误差值，确认第四预测误差值是否大于预测误差值，若第四预测误差值 大于预测误差值时，则确认当前预设时间段的驾驶状态为异常驾驶状态。
进一步地，参照图3，图3为本发明方法第二实施例的流程示意图。基于 上述图2所示的实施例，
步骤S50，获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状 态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟 异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采 集的同一正常驾驶时间段的第三模态数据；
模拟异常驾驶状态，各种采集器采集模拟异常驾驶状态的数据，例如： 驾驶员需要先进行正常驾驶持续30分钟，之后每两分钟模拟一次注意力分散 实例。可针对最易使驾驶员出现注意力分散的情况进行设计场景，(1)回微 信；(2)通话；(3)吃喝；(4)与乘客交谈；(5)整理妆容；(6)看手 机；(7)使用导航；(8)看视频；(9)调整车内音响的音量；(10)看窗 外分神，多模感知套件采集设计场景中的异常驾驶状态的数据，可以获取模 拟车辆异常驾驶状态的多个第二样本，每一个第二样本包括有多种采集器采 集的同一模拟异常驾驶时间段的a个时刻的第二模态数据。同时获取车辆正 常驾驶行为的多个第三样本，每一个第三样本包括多种采集器采集的同一正 常驾驶时间段的c个时刻的第三模态数据。在实施例中，a＝c＝T，或者a≠c ≠T，或者a＝c≠T，在完成第二异常驾驶检测模型的训练后，获取模拟异常 驾驶状态的第二样本和获取正常驾驶状态的第三样本对检测模型，以进行进一步的模型判断和模型精度测试。
步骤S60，将所述第二样本的第二模态数据输入第二异常驾驶检测模型中 输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入 第二异常驾驶检测模型中输出第三样本对应的第三预测误差值。
在实施例中，可以对第二样本的第二模态数据进行第二模态数据所属模 态相应的预处理，例如：第二模态数据为图像视频数据时，进行图像视频相 应的光照校正方法、连通成分快速标记、方向投影等预处理，第二模态数据 为音频数据时，将音频数据预处理形成语谱图，同理，对第三样本的第三模 态数据也可以进行第三模态数据所属模态相应的预处理，在此不再赘述。
将所述第二样本的a个时刻的第二模态数据输入到第二异常驾驶检测模型， 第二异常驾驶检测模型的各相应的卷积神经网络模型对第二模态数据进行特 征提取，并将特征后的同一时刻的第二模态数据进行融合，形成a个时刻的 融合数据将a个时刻的历史融合数据输入到第二异常驾驶检测模型的稀疏注 意力机制模型，获取所述模拟异常驾驶时间段前a-1个时刻的历史融合数据的 原始注意力权重，再根据模拟异常驾驶时间段a-1个时刻的历史融合数据和其 分别对应的原始注意力权重计算第a个时刻的预测值，再通过稀疏注意力机 制模型的均方误差目标函数层计算所述第T个时刻预测值，与第T个时刻历 史融合数据之间的第二预测误差值。
将第三样本的c个时刻的第三模态数据输入到第二异常驾驶检测模型， 输出第三样本对应的第三预测误差，在此不再赘述。
步骤S70，将第二预测误差值和第三预测误差值组成验证集，获取验证集 中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型中输出的多个第二样本对应的第二预测误差值， 和输出的多个第三样本对应的第三预测误差值组成验证集，获取组成的验证 集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式， 所述度量值计算公式如下：
其中e(x)为预测误差值，minxe(x)表示验证集中的最小值，maxxe(x)表示 验证集中最大值，g(x)为度量值。
步骤S80，将第二异常驾驶检测模型与度量值计算公式组合，构建形成第 三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度 量阈值。
第三异常驾驶检测模型在第二异常驾驶检测模型后加入度量值计算层， 第二模型输出预测误差值，直接输入度量值计算层计算度量值，正常驾驶状 态的预测误差值通过度量值计算公式转换成度量值时，度量值g(x)更大，反之， 异常驾驶状态的预测误差值通过度量值计算公式转换成度量值时，度量值g(x) 较小，设置合理的度量阈值作为能够判断获取的驾驶状态属于正常驾驶状态 或异常驾驶状态，异常驾驶状态包括注意力分散状态等，当第三异常驾驶检 测模型获取当前驾驶时间段的模态数据时，获得当前驾驶时间段的度量值， 当当前驾驶时间段的度量值小于度量阈值时，则确认当前驾驶时间段的驾驶 状态为异常驾驶状态，当前驾驶时间段的度量值大于度量阈值时，则确认当 前驾驶时间段的驾驶状态为正常驾驶状态。
进一步地，参照图4，图4为本发明方法第三实施例的流程示意图。基于 上述实施例，步骤S80之后，所述方法还可以包括：
步骤S90，根据所述第二预测误差值和度量值计算公式计算第二样本对应 的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样 本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾 驶状态的第二样本一致数；
将第二预测误差值输入度量值计算层，度量值计算层运用度量值计算公 式计算第二样本对应的度量值，若第二样本对应的度量值小于度量阈值时， 则判断第二样本的驾驶状态为异常驾驶状态，若第二样本对应的度量值大于 度量阈值时，则判断第二样本的驾驶状态为正常驾驶状态，在完成判断后， 确认判断的第二样本的驾驶状态是否与第二样本本身所属的驾驶状态是否一 致，并对一致的第二样本进行计数，形成第二样本一致数。
步骤S100，根据所述第三预测误差值和度量值计算公式计算第三样本对 应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三 样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实 驾驶状态的第三样本一致数；
将第三预测误差值输入度量值计算层，度量值计算层运用度量值计算公 式计算第三样本对应的度量值，若第三样本对应的度量值小于度量阈值时， 则判断第三样本的驾驶状态为异常驾驶状态，若第三样本对应的度量值大于 度量阈值时，则判断第三样本的驾驶状态为正常驾驶状态，在完成判断后， 确认判断的第三样本的驾驶状态是否与第三样本本身所属的驾驶状态是否一 致，并对一致的第三样本进行计数，形成第三样本一致数。
步骤S110，根据第二样本一致数、第三样本一致数与第二样本数、第三 样本数计算第三异常驾驶检测模型的测试精度。
将第二样本的一致数和第三样本一致数之和，除以第二样本数和第三样本之 和，得到第三异常驾驶检测模型的测试精度，例如：第二样本数50，第三样 本数50，第二样本一致数为49，第三样本一致数为48，则计算结果为(49+48) /(50+50)＝97％，即第三异常驾驶检测模型的测试精度为97％，可以通过第 三异常驾驶检测模型的测试精度了解模型测试准确度，若计算的测试精度不 高时，可以获取正常驾驶状态的第四样本对第三异常驾驶检测模型进行重新 训练，直到测试精度达到要求，确认最终的异常驾驶检测模型。
进一步地，参照图5，图5为本发明异常驾驶检测模型建立方法第三实施 例的流程示意图。基于上述的实施例，所述第一异常驾驶状态检测模型包括 有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间 段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模 态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，步骤20可以 包括：
步骤S21，将所述第一样本的T个时刻的第一模态数据输入到对应模态 的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态 数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输 出正常驾驶时间段的T个时刻的历史融合数据；
将第一样本的T个时刻的第一模态数据输入到各对应模态的卷积神经网 络模型中进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合， 输出正常驾驶时间段的T个时刻的历史融合数据；
将所述第一模态数据输入到各对应模态的卷积神经网络模型中进行特征 提取，卷积神经网络将同一时间输入的数据进行逐级的卷积操作，其结构层 包括卷积层、池化层，卷积层描述为以下公式(2)：
hk＝σ(bk+∑l∈Lxl*wk) (2)
其中hk表示当前层的第k个特征映射的表征，σ(·)为线性整流函数(ReLU)， 它是激活函数的一种，公式表达为σ(·)＝max(0,x)，xl表示前一层的L个特 征映射中的第l个特征映射，*为2D卷积运算，wk和bk为当前层的第k个特 征映射的卷积核和偏差值。池化层使用最大池化，将输入数据进行下采样， 每次选取区域中的最大值代替这一个区域的值。
对卷积神经网络模型的参数进行调整适应不同采集器采集的第一模态数 据，形成不同模态的卷积神经网络模型，不同采集器采集的第一模态数据形 成的矩阵行列不一致，经过对应模态的卷积神经网络模型的卷积、池化等处 理后，实现特征提取，在特征提取后形成具有相同行列的第一模态数据，并 将同一时刻的相同行列的第一模态数据进行融合，形成一个矩阵数据，即历 史融合数据，输出T个时刻的历史融合数据。
步骤S22，将所述T个时刻的历史融合数据输入稀疏注意力机制模型， 输出所述第一样本对应的第一预测误差值。
针对多模感知套件采集的第一模态数据普遍具有的时序关联性，本发明 将研究针对数据时序特征的模型训练方法，运用基于记忆的深度学习技术进 行特征数据训练，实现对正常数据的泛化模式的建模。方法引入稀疏注意力 机制模型以实现异常驾驶状态检测模型，对正常感知层信息流的上下文情景 更准确的泛化描述；通过异常度量策略以实现对异常数据的准确识别。
传统的记忆网络有递归神经网络(RNN)、长短期记忆网络 (LSTM)、门限循环单元(GRU)等，RNN网络结构如下：已知前个时刻(不包括第T个时刻)的历史数据{Zt}，t＝1，...，T-1，通 过前T个时刻的历史数据获得第T个时刻的预测值通过第T个 时刻的预测值与历史值得到第一预测误差值，构建的模型如公式(3) 所示：
其中ht表示第t个时刻的隐层输出，σ(·)为隐层上的激活函数，softmax为 输出层的激活函数，即将一个m维向量压缩成另一个m维的实数向量，其中 向量中的每个元素取值都介于(0,1)之间，即公式(4)
其中Z为归一化因子。其中待调整的参数包括权值连接U、W、V，及偏 置b，c。
在驾驶员长时间驾驶车辆的过程中，对于传感器数据，当序列输入到上 述记忆网络模型中时，随着序列的不断增长，原始数据根据时间步的方式表 现的越来越差，这是由于原始数据的这种时间步模型设计结构有缺陷，即所 有的上下文输入信息都被限制到固定长度，整个模型的能力都同样受到限制， 而稀疏注意力机制模型恰好能够解决这个问题，稀疏注意力机制模型既保证 了长时间跨度的记忆，也能够忽略过去的一些无关信息。一般注意力机制模 型的计算公式如下：
Cx＝[ht-m；…；ht-1] (5)
Wx＝softmax(ex)(7)
Zc＝(WxCx)T (8)
其中历史特征为Cx，自动生成包含权重Wx，w表示权重设置个数，rx和Qx分别表示基于注意力权重向量和矩阵，Zc作为基于注意力的上下文输出结果。
稀疏注意力机制模型与之不同的是，其在前馈传播过程中，管理一个内 存单元，并结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别 对应的原始注意力权重，如图6所示，过去时间步为集合{Zt-m,Zt-m+1,…,Zt-2}， 生成隐藏变量{ht-m,ht-m+1,…,ht-2}，将其与Zt-1的临时隐藏状态连接并 通过多层感知机计算原始注意力权重，之后将计算得到的权重按照大小排序， 选择最大的k个原始注意力权重，进行归一化处理，其他的注意力权重值则 设为0，利用非零稀疏化注意力权值进行加权求和，将其添加到临时隐藏状态 中去计算隐藏状态ht-1，最终得到第T个时刻的预测值使用稀疏注意 力机制模型的均方误差目标函数层计算第T个时刻的预测值与第T个时 刻历史融合数据Zt的第一预测误差值。
进一步地，参照图7，图7为本发明异常驾驶检测模型建立方法第五实施 例的流程示意图。基于上述的实施例，步骤S22可以包括：
步骤S221，将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力 机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合 数据分别对应的原始注意力权重，根据所述前T-1个时刻历史融合数据与其分 别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模 型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合 数据的第一预测误差值。
稀疏注意力机制模型与之不同的是，其在前馈传播过程中，管理一个内 存单元，并结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别 对应的原始注意力权重，过去时间步为集合{Zt-m,Zt-m+1,…,Zt-2}，生成隐藏 变量{ht-m,ht-m+1,…,ht-2}，将其与Zt-1的临时隐藏状态连接并通过多层 感知机计算原始注意力权重，之后将计算得到的权重按照大小排序，选择最 大的k个原始注意力权重，进行归一化处理，其他的注意力权重值则设为0， 利用非零稀疏化注意力权值进行加权求和，将其添加到临时隐藏状态中去 计算隐藏状态ht-1，最终得到第T个时刻的预测值使用稀疏注意力机制模 型的均方误差目标函数层计算第T个时刻的预测值与第T个时刻历史融 合数据Zt的第一预测误差值。进一步地，参照图8，图8为本发明异常驾驶检 测模型建立方法第六实施例的流程示意图。基于上述的实施例，步骤S20之 前，所述方法还包括：
步骤S120,将第一模态数据分别进行其所属模态相应的预处理。
对获取的第一模态数据分别根据其所属模态作相应的预处理，对获取的 可穿戴传感器采集的运动传感数据和生理传感数据进行差值、滤波两步操作： 可穿戴传感器采集的数据有不同的采样率，通过最近邻插值法将所有的数据 对齐，便于之后数据的融合；由于传感器数据的高灵敏性，采用Savitzky-Golay 滤波器和三阶一维中值滤波器消除数据的峰值，采用移动平均滤波消除噪声。 其中，Savitzky-Golay滤波器是一种在时域内基于局域多项式最小二乘法拟合 的滤波方法，将移动窗口进行加权平均，但加权系数不是简单的常数窗口， 而是通过在滑动窗口内对给定高阶多项式的最小二乘拟合得出，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原 理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代 替，让周围的像素值接近真实值，从而消除孤立的噪声点，移动平均滤波基 于统计规律，将连续的采样数据看成一个长度固定为N的队列，在新的一次 测量后，上述队列的首数据去掉，其余N-1个数据依次前移，并将新的采样 数据插入，作为新队列的尾；然后对这个队列进行算术运算，并将其结果做 为本次测量的结果。
为了将音频数据以矩阵的形式输入到卷积神经网络中，将音频数据处理 成语谱图，其反映了语音信号的动态频谱特征，把语音的电信号送入一组频 率依次相接的窄带滤波器中，各个窄带滤波器的输出经整流均方后按频率由 低到高的顺序记录。信号的强弱由灰度值来表示，其水平方向是时间轴，垂 直方向是频率轴。
进一步地，参照图9，图9为本发明异常驾驶检测模型建立方法第七实施 例的流程示意图。基于上述的实施例，所述第一模态数据包括视频图像数据、 音频图像数据、运动传感数据和生理传感数据，步骤21可以包括：
步骤S211，将所述第一样本的T个时刻的视频图像数据、音频图像数据、 运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模 态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传 感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像 数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾 驶时间段的T个时刻的历史融合数据。
红外摄像头采集视频图像数据，避免了人脸脸识别中的光照影响，其能 为人脸识别提供不受环境光影响的、高质量的人脸图像。多模感知套件集成 的红外摄像头通过光线辐射强度、辐射亮度等符合标准的主动近红外人脸成 像设备来实时、非侵扰地监测驾驶员状态，有效解决视频图像感知问题。
语音作为人类最为重要的交流工具，简易方便，在人机交互的各种通讯 方式中，语音交互是最好的交流方式，除声纹识别能够进行身份认证外，语 音往往能够表达一定的意义和思想内容，以及表达出一定的语气、情感。随 着智能网联汽车的发展，车载麦克风传感器能够采集驾驶员和乘客的语音信 息以及环境音等，声音是监测驾驶员状态的一个重要因素，语音的声强、频 率、节奏等因素往往能反映出人的状态。因此在面向驾驶行为监测的多模感 知套件中集成音频传感器有助于对驾驶员情绪的判断以及进行身份认证等。
可穿戴运动传感器作为非干扰性的感知设备，内置加速度计，陀螺仪， 磁力计等传感器，可以实时监测驾驶员的驾驶姿态，运动动作和与车辆的交 互行为等，当前可穿戴传感器集成了众多的日常生活行为识别系统，具有较 高便携性和时效性，将可穿戴传感器用于驾驶状态检测中，可获得更多维度 的信息，提升整个系统的感知能力，其加速度和方向传感器数据作为车辆的 运行参数可以检测醉驾等各类驾驶行为，也可用于检测驾驶员是否正确驾驶 车辆，防止车辆碰撞事故。
生理传感器是驾驶员状态监测的重要组成部分。生理状态可通过多种方 式得到，对精神状态的研究可选用心率、心率间期、皮肤电、呼吸频率、脑 电等生理信号；对物理疲劳引发的肌肉紧张可选用肌电信号进行检测。通过 生理参数能够客观、准确地反应人体的状态，生理参数往往与疲劳状态、突 发性疾病等有着直接的映射关系，同时驾驶员的生理状态对其操作行为有着 重要的影响，因此多模感知套件中通过集成生理传感器采集生理传感数据。
上述多模感知套件中获取将视频图像数据、音频图像数据、运动传感数 据和生理传感数据输入到各对应模态的卷积神经网络模型中进行特征提取， 并提取后同一时刻的各数据进行融合，输出各个时刻的历史融合数据。
进一步地，参照图10，图10为本发明异常驾驶检测模型建立方法第八实 施例的流程示意图。基于上述的实施例，步骤S80之后，所述方法还可以包 括：
步骤S130，获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
在完成第三异常驾驶检测模型的度量阈值时，即建立形成了可以检测异 常驾驶的模型，检测模型应用于车载中检测驾驶员的驾驶状态，多种采集器 可以采集当前预设驾驶时间段的第四模态数据，所述当前预设驾驶时间段包 括有D个时刻，所述当前预设驾驶时间段的第四模态数据包括所述当前预设 驾驶时间段的D个时刻的第四模态数据，D可以等于T，也可以不等于T， 采集器包括有视频图像采集器、音频采集器、运动传感器、生理检测传感器 等，可将视频图像采集器、音频采集器、运动传感器、生理检测传感器集成 为多模感知套件置于汽车智能座舱中，多模感知套件可采集驾驶员正常驾驶 状态的视频图像数据、音频数据、运动传感数据、生理传感数据等第四模态 数据，第三异常驾驶检测模型可以获取多种采集器采集的D个时刻的第四模 态数据，基于所述第四模态数据多维度全面分析当前驾驶时间段驾驶员的驾 驶状态是否异常。
步骤S140，将第四模态数据分别进行其所属模态相应的预处理；
在实施例中，可以对第四模态数据进行第四模态数据所属模态相应的预 处理，例如：第四模态数据为图像视频数据时，进行图像视频相应的光照校 正方法、连通成分快速标记、方向投影等预处理，第四模态数据为运动传感 数据和生理传感数据时，对可穿戴传感器采集的运动传感数据和生理传感数 据进行差值、滤波预处理：可穿戴传感器采集的数据有不同的采样率，通过 最近邻插值法将所有的数据对齐，便于之后数据的融合；由于传感器数据的 高灵敏性，采用Savitzky-Golay滤波器和三阶一维中值滤波器消除数据的峰值， 采用移动平均滤波消除噪声。其中，Savitzky-Golay滤波器是一种在时域内基 于局域多项式最小二乘法拟合的滤波方法，将移动窗口进行加权平均，但加 权系数不是简单的常数窗口，而是通过在滑动窗口内对给定高阶多项式的最 小二乘拟合得出，中值滤波是基于排序统计理论的一种能有效抑制噪声的非 线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点 的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤 立的噪声点，移动平均滤波基于统计规律，将连续的采样数据看成一个长度 固定为N的队列，在新的一次测量后，上述队列的首数据去掉，其余N-1个 数据依次前移，并将新的采样数据插入，作为新队列的尾；然后对这个队列 进行算术运算，并将其结果做为本次测量的结果。
第四模态数据为音频数据时，为了将音频数据以矩阵的形式输入到卷积 神经网络中，将音频数据处理成语谱图，其反映了语音信号的动态频谱特征， 把语音的电信号送入一组频率依次相接的窄带滤波器中，各个窄带滤波器的 输出经整流均方后按频率由低到高的顺序记录。信号的强弱由灰度值来表示， 其水平方向是时间轴，垂直方向是频率轴。
步骤S150，将预处理后的第四模态数据输入第三异常驾驶检测模型，输 出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈 值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
将预处理后的D个时刻的第四模态数据输入到第三异常驾驶状态检测模 型，输出当前驾驶时间段的第一预测误差值，第三异常驾驶状态检测模型包 括稀疏注意力机制模型和各对应模态的卷积神经网络模型，对应模态的卷积 神经网络模型包括对应视频图像的卷积神经网络模型、对应音频的卷积神经 网络模型，对应运动传感的卷积神经网络模型、对应生理传感的卷积神经网 络模型等；将预处理后的D个时刻的所述第四模态数据输入到第三异常驾驶 状态检测模型的各对应模态的卷积神经网络模型中进行特征提取，并将特征 提取后同一时刻的第四模态数据进行融合，输出正常驾驶时间段的D个时刻 的历史融合数据，
将D个时刻的历史融合数据输入第三异常驾驶状态检测模型的稀疏注意 力机制模型，所述稀疏注意力机制模型将输入的数据结合过去记忆中每个时 间步，获得前D-1个时刻历史数据分别对应的原始注意力权重，根据所述前 D-1个时刻历史数据与其分别对应的原始注意力权重获得第D个时刻的预测 值，使用稀疏注意力机制模型的均方误差目标函数层计算第D个时刻的预测 值，与第D个时刻历史融合数据的第四预测误差值，将第四预测误差值输入 第三异常驾驶状态检测模型的度量值计算层，将第四预测误差值进行度量值公式运算获得当前预设驾驶时间段的第三度量值，并确认第三度量值是否小 于度量阈值，当第三度量值小于度量阈值时，则确认当前驾驶时间段驾驶员 驾驶状态为异常驾驶状态，发出声音进行报警提示，当第三度量值大于度量 阈值时，则确认当前驾驶时间段驾驶员的驾驶状态为正常驾驶状态。
第三异常驾驶检测模型实现了端对端检测异常驾驶状态，自动提取特征 和融合，并表征多模态信号，减少模态间的冗余性和噪声，且第三异常驾驶 检测模型在训练过程中不需要异常状态下历史数据的参与，使得第三异常驾 驶检测模型对于检测不同种类异常驾驶状态的鲁棒性更强。
本发明还提供一种异常驾驶检测模型建立装置。
本发明异常驾驶检测模型建立装置包括：存储器、处理器及存储在所述 存储器上并可在所述处理器上运行的异常驾驶检测模型建立程序，所述异常 驾驶检测模型建立程序被所述处理器执行时实现如上所述的异常驾驶检测模 型建立方法的步骤。
其中，在所述处理器上运行的异常驾驶检测模型建立程序被执行时所实 现的方法可参照本发明异常驾驶检测模型建立方法各个实施例，此处不再赘 述。
本发明还提供一种存储介质。
本发明存储介质上存储有异常驾驶检测模型建立程序，所述异常驾驶检 测模型建立程序被处理器执行时实现如上所述的异常驾驶检测模型建立方法 的步骤。
其中，在所述处理器上运行的异常驾驶检测模型建立程序被执行时所实 现的方法可参照本发明异常驾驶检测模型建立方法各个实施例，此处不再赘 述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素，术语“第一”、“第二”、“第三”、 “第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种异常驾驶检测模型建立方法，其特征在于，所述方法包括如下步骤：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
2.如权利要求1所述的异常驾驶检测模型建立方法，其特征在于，所述使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型的步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
3.如权利要求2所述的异常驾驶检测模型建立方法，其特征在于，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算第三异常驾驶检测模型的测试精度。
4.如权利要求1-3任一项所述的异常驾驶检测模型建立方法，其特征在于，所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值。
5.如权利要求4所述的异常驾驶检测模型建立方法，其特征在于，所述将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
6.如权利要求5所述的异常驾驶检测模型建立方法，其特征在于，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理。
7.如权利要求6所述的异常驾驶检测模型建立方法，其特征在于，所述第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据。
8.如权利要求7所述的异常驾驶检测模型建立方法，其特征在于，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
9.一种异常驾驶检测模型建立装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被所述处理器执行时实现如权利要求1至8中任一项所述的异常驾驶检测模型建立方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被处理器执行时实现如权利要求1至8中任一项所述异常驾驶检测模型建立方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910149082.9A CN109726771B (zh) | 2019-02-27 | 2019-02-27 | 异常驾驶检测模型建立方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910149082.9A CN109726771B (zh) | 2019-02-27 | 2019-02-27 | 异常驾驶检测模型建立方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109726771A true CN109726771A (zh) | 2019-05-07 |
| CN109726771B CN109726771B (zh) | 2023-05-02 |
Family
ID=66300897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910149082.9A Active CN109726771B (zh) | 2019-02-27 | 2019-02-27 | 异常驾驶检测模型建立方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109726771B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110638473A (zh) * | 2019-09-10 | 2020-01-03 | 中国平安财产保险股份有限公司 | 疲劳驾驶判定的方法、装置、电子设备和存储介质 |
| CN110647354A (zh) * | 2019-09-30 | 2020-01-03 | 东软医疗系统股份有限公司 | 设备运行控制方法、装置及设备 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN111625755A (zh) * | 2020-05-21 | 2020-09-04 | 北京嘀嘀无限科技发展有限公司 | 数据处理方法、装置、服务器、终端和可读存储介质 |
| CN111694917A (zh) * | 2020-06-10 | 2020-09-22 | 北京嘀嘀无限科技发展有限公司 | 一种车辆异常轨迹检测、模型训练方法及装置 |
| CN111739289A (zh) * | 2020-06-02 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 车辆预警信息的处理方法及装置 |
| CN111879534A (zh) * | 2020-07-29 | 2020-11-03 | 上海杰之能软件科技有限公司 | 一种城轨车辆制动系统的性能检测方法、系统以及设备 |
| CN111914887A (zh) * | 2020-06-13 | 2020-11-10 | 宁波大学 | 一种新型多模态化工过程异常状态检测方法 |
| CN112016701A (zh) * | 2020-09-09 | 2020-12-01 | 四川大学 | 一种融合时序和属性行为的异常变化检测方法及系统 |
| CN112016584A (zh) * | 2019-05-31 | 2020-12-01 | 国际商业机器公司 | 基于异常检测的注意力下降检测 |
| CN112061136A (zh) * | 2020-08-26 | 2020-12-11 | 西北工业大学 | 基于长短期记忆网络的司机驾驶行为自动化分析方法 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112783133A (zh) * | 2021-01-25 | 2021-05-11 | 南京航空航天大学 | 一种agv运行状态预测方法 |
| WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
| CN113283286A (zh) * | 2021-03-24 | 2021-08-20 | 上海高德威智能交通系统有限公司 | 一种驾驶员异常行为检测方法和装置 |
| CN113491520A (zh) * | 2020-04-07 | 2021-10-12 | 广州汽车集团股份有限公司 | 一种驾驶疲劳检测方法及装置 |
| CN113743532A (zh) * | 2021-09-16 | 2021-12-03 | 睿云奇智(重庆)科技有限公司 | 异常检测方法、装置、设备及计算机存储介质 |
| CN113807470A (zh) * | 2021-11-17 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种车辆行驶状态确定方法和相关装置 |
| CN113992533A (zh) * | 2021-12-29 | 2022-01-28 | 湖南大学 | 一种车载can总线数据异常检测识别方法 |
| CN115239025A (zh) * | 2022-09-21 | 2022-10-25 | 荣耀终端有限公司 | 一种支付预测方法及电子设备 |
| US11529960B2 (en) * | 2019-09-26 | 2022-12-20 | Penta Security Systems Inc. | Method and apparatus for detecting driver's abnormalities based on machine learning using vehicle can bus signal |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540090A (zh) * | 2009-04-14 | 2009-09-23 | 华南理工大学 | 基于多元信息融合的驾驶员疲劳监测装置及其监测方法 |
| CN101609411A (zh) * | 2009-07-27 | 2009-12-23 | 四川大学 | 一种基于复杂度的嵌入式软件功耗bp神经网络建模方法 |
| US20120134532A1 (en) * | 2010-06-08 | 2012-05-31 | Gorilla Technology Inc. | Abnormal behavior detection system and method using automatic classification of multiple features |
| CN105513362A (zh) * | 2016-02-03 | 2016-04-20 | 东南大学 | 一种公交站台毗邻区公交车运行状态评价验证方法 |
| US20160375768A1 (en) * | 2015-06-24 | 2016-12-29 | Nissan North America, Inc. | Vehicle operation assistance information management for autonomous vehicle control operation |
| CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
| CN106778583A (zh) * | 2016-12-07 | 2017-05-31 | 北京理工大学 | 基于卷积神经网络的车辆属性识别方法与装置 |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
| CN108407816A (zh) * | 2018-01-19 | 2018-08-17 | 杭州砺玛物联网科技有限公司 | 一种汽车驾驶员驾驶评估方法及系统 |
| CN108549862A (zh) * | 2018-04-11 | 2018-09-18 | 北京航空航天大学 | 异常场景检测方法及装置 |
| CN108564204A (zh) * | 2018-03-23 | 2018-09-21 | 西安理工大学 | 基于最大相关熵准则的最小二乘支持向量机电量预测方法 |
| CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
-
2019
- 2019-02-27 CN CN201910149082.9A patent/CN109726771B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540090A (zh) * | 2009-04-14 | 2009-09-23 | 华南理工大学 | 基于多元信息融合的驾驶员疲劳监测装置及其监测方法 |
| CN101609411A (zh) * | 2009-07-27 | 2009-12-23 | 四川大学 | 一种基于复杂度的嵌入式软件功耗bp神经网络建模方法 |
| US20120134532A1 (en) * | 2010-06-08 | 2012-05-31 | Gorilla Technology Inc. | Abnormal behavior detection system and method using automatic classification of multiple features |
| US20160375768A1 (en) * | 2015-06-24 | 2016-12-29 | Nissan North America, Inc. | Vehicle operation assistance information management for autonomous vehicle control operation |
| CN105513362A (zh) * | 2016-02-03 | 2016-04-20 | 东南大学 | 一种公交站台毗邻区公交车运行状态评价验证方法 |
| CN106778583A (zh) * | 2016-12-07 | 2017-05-31 | 北京理工大学 | 基于卷积神经网络的车辆属性识别方法与装置 |
| CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
| CN108171176A (zh) * | 2017-12-29 | 2018-06-15 | 中车工业研究院有限公司 | 一种基于深度学习的地铁司机情绪辨识方法及装置 |
| CN108407816A (zh) * | 2018-01-19 | 2018-08-17 | 杭州砺玛物联网科技有限公司 | 一种汽车驾驶员驾驶评估方法及系统 |
| CN108564204A (zh) * | 2018-03-23 | 2018-09-21 | 西安理工大学 | 基于最大相关熵准则的最小二乘支持向量机电量预测方法 |
| CN108549862A (zh) * | 2018-04-11 | 2018-09-18 | 北京航空航天大学 | 异常场景检测方法及装置 |
| CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016584B (zh) * | 2019-05-31 | 2024-04-26 | 国际商业机器公司 | 基于异常检测的注意力下降检测 |
| CN112016584A (zh) * | 2019-05-31 | 2020-12-01 | 国际商业机器公司 | 基于异常检测的注意力下降检测 |
| CN110638473A (zh) * | 2019-09-10 | 2020-01-03 | 中国平安财产保险股份有限公司 | 疲劳驾驶判定的方法、装置、电子设备和存储介质 |
| US11529960B2 (en) * | 2019-09-26 | 2022-12-20 | Penta Security Systems Inc. | Method and apparatus for detecting driver's abnormalities based on machine learning using vehicle can bus signal |
| CN110647354A (zh) * | 2019-09-30 | 2020-01-03 | 东软医疗系统股份有限公司 | 设备运行控制方法、装置及设备 |
| CN110647354B (zh) * | 2019-09-30 | 2021-11-05 | 东软医疗系统股份有限公司 | 设备运行控制方法、装置及设备 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN113491520A (zh) * | 2020-04-07 | 2021-10-12 | 广州汽车集团股份有限公司 | 一种驾驶疲劳检测方法及装置 |
| CN111625755A (zh) * | 2020-05-21 | 2020-09-04 | 北京嘀嘀无限科技发展有限公司 | 数据处理方法、装置、服务器、终端和可读存储介质 |
| CN111625755B (zh) * | 2020-05-21 | 2023-10-31 | 北京嘀嘀无限科技发展有限公司 | 数据处理方法、装置、服务器、终端和可读存储介质 |
| CN111739289B (zh) * | 2020-06-02 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 车辆预警信息的处理方法及装置 |
| CN111739289A (zh) * | 2020-06-02 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 车辆预警信息的处理方法及装置 |
| CN111694917A (zh) * | 2020-06-10 | 2020-09-22 | 北京嘀嘀无限科技发展有限公司 | 一种车辆异常轨迹检测、模型训练方法及装置 |
| CN111914887A (zh) * | 2020-06-13 | 2020-11-10 | 宁波大学 | 一种新型多模态化工过程异常状态检测方法 |
| CN111914887B (zh) * | 2020-06-13 | 2024-02-09 | 广东越凯新材料有限公司 | 一种新型多模态化工过程异常状态检测方法 |
| CN111879534A (zh) * | 2020-07-29 | 2020-11-03 | 上海杰之能软件科技有限公司 | 一种城轨车辆制动系统的性能检测方法、系统以及设备 |
| CN112061136A (zh) * | 2020-08-26 | 2020-12-11 | 西北工业大学 | 基于长短期记忆网络的司机驾驶行为自动化分析方法 |
| WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技（深圳）有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
| CN112016701A (zh) * | 2020-09-09 | 2020-12-01 | 四川大学 | 一种融合时序和属性行为的异常变化检测方法及系统 |
| CN112016701B (zh) * | 2020-09-09 | 2023-09-15 | 四川大学 | 一种融合时序和属性行为的异常变化检测方法及系统 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112115601B (zh) * | 2020-09-10 | 2022-05-17 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112783133A (zh) * | 2021-01-25 | 2021-05-11 | 南京航空航天大学 | 一种agv运行状态预测方法 |
| CN112783133B (zh) * | 2021-01-25 | 2022-04-22 | 南京航空航天大学 | 一种agv运行状态预测方法 |
| CN113283286B (zh) * | 2021-03-24 | 2023-11-21 | 上海高德威智能交通系统有限公司 | 一种驾驶员异常行为检测方法和装置 |
| CN113283286A (zh) * | 2021-03-24 | 2021-08-20 | 上海高德威智能交通系统有限公司 | 一种驾驶员异常行为检测方法和装置 |
| CN113743532A (zh) * | 2021-09-16 | 2021-12-03 | 睿云奇智(重庆)科技有限公司 | 异常检测方法、装置、设备及计算机存储介质 |
| CN113743532B (zh) * | 2021-09-16 | 2024-03-19 | 睿云奇智(重庆)科技有限公司 | 异常检测方法、装置、设备及计算机存储介质 |
| CN113807470A (zh) * | 2021-11-17 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种车辆行驶状态确定方法和相关装置 |
| CN113807470B (zh) * | 2021-11-17 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 一种车辆行驶状态确定方法和相关装置 |
| CN113992533A (zh) * | 2021-12-29 | 2022-01-28 | 湖南大学 | 一种车载can总线数据异常检测识别方法 |
| CN113992533B (zh) * | 2021-12-29 | 2022-03-22 | 湖南大学 | 一种车载can总线数据异常检测识别方法 |
| CN115239025A (zh) * | 2022-09-21 | 2022-10-25 | 荣耀终端有限公司 | 一种支付预测方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109726771B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726771A (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| Zhang et al. | Deep unsupervised multi-modal fusion network for detecting driver distraction | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN108464839A (zh) | 一种基于机器学习的车载疲劳驾驶监测预警系统 | |
| CN109949438B (zh) | 异常驾驶监测模型建立方法、装置及存储介质 | |
| CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
| CN111166290A (zh) | 一种健康状态检测方法、设备和计算机存储介质 | |
| Du et al. | A multimodal fusion fatigue driving detection method based on heart rate and PERCLOS | |
| CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| Peng et al. | 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue | |
| CN113743471A (zh) | 一种驾驶评估方法及其系统 | |
| CN111680660B (zh) | 基于多源异构数据流的人体行为检测方法 | |
| Zhao et al. | Research on fatigue detection based on visual features | |
| Chen et al. | DetectDUI: an in-car detection system for drink driving and BACs | |
| US20220067519A1 (en) | Neural network synthesis architecture using encoder-decoder models | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 | |
| CN110446996A (zh) | 一种控制方法、终端及系统 | |
| Poon et al. | Driver distracted behavior detection technology with YOLO-based deep learning networks | |
| CN116524380A (zh) | 一种基于脑-机信号融合的目标检测方法 | |
| Utomo et al. | Driver fatigue prediction using different sensor data with deep learning | |
| CN113435234B (zh) | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 | |
| KR102543604B1 (ko) | 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템 | |
| Priyanka et al. | A Review on Drowsiness Prediction System using Deep Learning Approaches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 706, building 3b, hongrongyuan Shangjun phase II, Longping community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Jintu computing technology (Shenzhen) Co.,Ltd. Address before: 518000 area a, 18 / F, building 1, creative park, broadcasting group, No.1 Qingqing Road, Qinghu community, Longhua sub district office, Longhua District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN SEMISKY TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |