CN109949438A - 异常驾驶监测模型建立方法、装置及存储介质 - Google Patents
异常驾驶监测模型建立方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109949438A CN109949438A CN201910216560.3A CN201910216560A CN109949438A CN 109949438 A CN109949438 A CN 109949438A CN 201910216560 A CN201910216560 A CN 201910216560A CN 109949438 A CN109949438 A CN 109949438A
- Authority
- CN
- China
- Prior art keywords
- data
- mode
- model
- abnormal driving
- monitoring model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种异常驾驶监测模型建立方法，该方法包括：获取多个样本，每一个样本包括多种采集器采集的同一驾驶时间段的第一模态数据和第一模态数据的目标结果；将样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合样本的所有第一模态数据的第二融合数据；根据第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；使用反向传播机制和Adam算法根据全局损失函数，对第一异常驾驶监测模型的权重进行更新。本发明还公开了一种异常驾驶监测模型建立装置和一种存储介质。本发明能够对多模态数据进行多层次准确融合，使异常驾驶监测模型能够准确监测多种异常驾驶状态。
Description
技术领域
本发明涉及交通分析技术领域，尤其涉及异常驾驶监测模型建立方法、装置及存储介质。
背景技术
近年来，由于生活压力和身心紧张状态的影响，疲劳驾驶、注意力分散、情绪化驾驶、突发性疾病等异常驾驶状态引起的交通事故也逐渐增多。由于年龄、生理或心理健康状况、情绪等方面的变化，即使优秀驾驶员也不一定能长久地保持其原有的良好驾驶状态，但驾驶员本人却很难意识到这种渐进性的衰减或消退。因此，监控驾驶员的驾驶行为并对异常驾驶行为给予警报，对提高驾驶员的驾驶能力并降低其驾驶负荷，协调好驾驶员与车辆以及交通环境之间的关系，从本质上减少交通事故状况的发生，具有重要意义。
同时，智能驾驶行业在市场的推动下向着更高智能化的方向快速发展。在智能驾驶研究中，有效且准确地识别驾驶状态能够为驾驶员提供智能辅助，防止意外的发生。而目前基于单模态的驾驶状态感知已经无法满足高精度，强实时的要求。传感器技术的多样化导致了多模态数据的大量增加，如视频，RGB+D，可穿戴惯性传感器数据等。
目前已有的异常驾驶监测方法数据来源单一：基本都采用单一的模态建模监测，如司机监控视频或手机内置的运动传感器进行驾驶状态的识别。即使采用多模态监测，但对多模态数据的融合层次简单，效果差，现有的传感器数据融合方法常常只采用早期融合或者决策层融合，无法集成地得到最优的融合策略。且异常状态监测目标单一，现有异常驾驶状态一般分为注意力分散，疲劳等，现有方法也仅能识别单一的异常状态，无法获得多种异常驾驶监测结果。
发明内容
本发明的主要目的在于提出一种异常驾驶监测模型建立方法、装置及存储介质，旨在建立基于多模态数据的异常驾驶监测模型，能够对多模态数据进行多层次准确融合，使异常驾驶监测模型能够准确监测多种异常驾驶状态。
为实现上述目的，本发明提供一种异常驾驶监测模型建立方法，所述方法包括如下步骤：
获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；
将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据；
根据所述第二融合数据、第三融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；
使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。
优选地，所述第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，所述卷积神经网络模型包括特征提取层和连接网络层，所述将所述样本的第一模态数据输入第一异常驾驶监测模型，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据；
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据。
优选地，第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的视频图像数据、音频数据、运动传感数据和生理传感数据，输入对应模态的卷积神经网络模型的提取特征层，对应输出视频图像特征数据、音频特征数据、运动传感特征数据和生理传感特征数据。
优选地，所述将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的各连接网络层的输出数据进行递进融合，输出融合所述样本的所有第一模态数据的第二融合数据。
优选地，所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，通过对应模态的卷积神经网络模型的特征提取层提取第一模态数据的特征部分，使用以0填充方法将所述特征部分整理成第一模态特征数据，所述第一模态特征数据的维度均相同。
优选地，所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理；
所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将预处理后的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据。
优选地，所述使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型的步骤之后，所述方法还包括：
获取多种采集器采集的当前驾驶时间段的第二模态数据；
将所述第二模态数据分别进行其所属模态相应的预处理；
将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
优选地，所述将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态的步骤包括：
将预处理后的第二模态数据，输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的特征提取层，对应输出第二模态特征数据；
将所述第二模态特征数据，输入第二异常驾驶监测模型的对应模态的卷积神经网络模型的连接网络层，通过集成融合网络模型对各对应模态的卷积神经网络模型的各连接网络层的输出数据进行融合，输出融合所有第二模态数据的第三融合数据；
将所述第三融合数据与预设阈值进行对比，获得对比结果，根据所述对比结果确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
此外，为实现上述目的，本发明还提供一种装置，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被所述处理器执行时实现如上所述的异常驾驶监测模型建立方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被处理器执行时实现如上所述的异常驾驶监测模型建立方法的步骤。
本发明获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据，以及融合所有第一模态数据的第二融合数据；根据第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。通过上述方式，本发明能够通过多种采集器采集的同一时间段的第一模态数据，以及所述第一模态数据的目标结果，将第一模态数据输入第一异常驾驶监测模型进行训练，输出第一融合数据和第二融合数据，根据第一融合数据、第二融合数据和目标结果计算模型的全局损失函数，使用反向传播机制和Adam算法根据全局损失函数，更新第一异常驾驶监测模型的权重，在根据第一个样本对第一异常驾驶监测模型的权重进行更新后，使用第二个样本继续对第一异常驾驶监测模型的权重进行更新，以此类推，直至第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型，第二异常驾驶监测模型能够对多模态数据进行多层次准确融合，准确监测多种异常驾驶状态，提高了监测模型的监测精度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明异常驾驶监测模型建立方法第一实施例的流程示意图；
图3为本发明异常驾驶监测模型建立方法第二实施例的流程示意图；
图4为本发明异常驾驶监测模型建立方法第三实施例的流程示意图；
图5为本发明异常驾驶监测模型建立方法第四实施例的流程示意图；
图6为集成融合网络模型示意图；
图7本发明异常驾驶监测模型建立方法第五实施例的流程示意图；
图8本发明异常驾驶监测模型建立方法第六实施例的流程示意图；
图9本发明异常驾驶监测模型建立方法第七实施例的流程示意图；
图10本发明异常驾驶监测模型建立方法第八实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据；根据所述第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。
现有的异常驾驶监测方法数据来源单一：基本都采用单一的模态建模监测，如司机监控视频或手机内置的运动传感器进行驾驶状态的识别。即使采用多模态监测，但对多模态数据的融合层次简单，效果差，现有的传感器数据融合方法常常只采用早期融合或者决策层融合，无法集成地得到最优的融合策略。且异常状态监测目标单一，现有异常驾驶状态一般分为注意力分散，疲劳等，现有方法也仅能识别单一的异常状态，无法获得多种异常驾驶监测结果。
本发明旨在建立基于多模态数据的异常驾驶监测模型，能够对多模态数据进行多层次准确融合，使异常驾驶监测模型能够准确监测多种异常驾驶状态。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可监测各个方向上(一般为三轴)加速度的大小，静止时可监测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异常驾驶监测模型建立程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的异常驾驶监测模型建立程序，并执行以下操作：
获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；
将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据；
根据所述第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；
使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，所述卷积神经网络模型包括特征提取层和连接网络层，所述将所述样本的第一模态数据输入第一异常驾驶监测模型，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据；
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的视频图像数据、音频数据、运动传感数据和生理传感数据，输入对应模态的卷积神经网络模型的提取特征层，对应输出视频图像特征数据、音频特征数据、运动传感特征数据和生理传感特征数据。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述连接网络层包括多层，所述将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的各连接网络层的输出数据进行递进融合，输出融合所述样本的所有第一模态数据的第二融合数据。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，通过对应模态的卷积神经网络模型的特征提取层提取第一模态数据的特征部分，使用以0填充方法将所述特征部分整理成第一模态特征数据，所述第一模态特征数据的维度均相同。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理；
所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将预处理后的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型的步骤之后，所述方法还包括：
获取多种采集器采集的当前驾驶时间段的第二模态数据；
将所述第二模态数据分别进行其所属模态相应的预处理；
将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶监测模型建立程序，还执行以下操作：所述将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态的步骤包括：
将预处理后的第二模态数据，输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的特征提取层，对应输出第二模态特征数据；
将所述第二模态特征数据，输入第二异常驾驶监测模型的对应模态的卷积神经网络模型的连接网络层，通过集成融合网络模型对各对应模态的卷积神经网络模型的连接网络层的输出数据进行递进融合，输出融合所有第二模态数据的第三融合数据；
将所述第三融合数据与预设阈值进行对比，获得对比结果，根据所述对比结果确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
基于上述硬件结构，提出本发明方法实施例。
参照图2，图2为本发明方法第一实施例的流程示意图，所述方法包括：
步骤S10，获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；
本发明应用于异常驾驶监测模型建立装置，获取驾驶状态的多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据，采集器包括有摄像头、音频采集器、生理传感器、运动传感器，可将视频图像采集器、音频采集器、运动传感器、生理监测传感器集成为多模感知套件置于汽车智能座舱中，摄像头采集视频图像数据、音频采集器采集音频数据，生理传感器采集驾驶员的生理传感数据，运动传感器采集驾驶员的运动传感数据等，多模感知套件可采集驾驶员驾驶状态的视频图像数据、音频数据、运动传感数据、生理传感数据等数据，第一模态数据包括视频图像数据、音频图像数据、生理传感数据和运动传感数据等。
第一模态数据的目标结果为各第一模态数据所属驾驶状态的赋值，所属驾驶状态有正常驾驶状态和异常驾驶状态，对正常驾驶状态和异常驾驶状态赋予不同的赋值，例如：正常驾驶状态赋值为0，异常驾驶状态赋值为1，若第一模态数据所属驾驶状态为正常驾驶状态，则第一模态数据的目标结果为0，若第一模态数据所属驾驶状态为异常驾驶状态，则第一模态数据的目标结果为1。
驾驶员驾驶状态驾分成四个基本纬度，驾驶员的认知负荷、身体负荷、外界干扰以及车辆行驶状态。驾驶员的认知的负荷，通过人体的精神负荷，来判断驾驶员瞌睡、分心、过劳等情况。驾驶员身体上的负荷，通过眼镜的注视方向，眼睛眨眼的情况，包括脑电波、心跳、皮肤的传导率、体温、呼吸的分析，来判断驾驶员身体负荷的情况。外界干扰，驾驶员是不是在打手机，或者在开车的时候喝茶以及乘客的干扰等情况。车辆行驶状态通过驾驶的距离，跟车道的实际情况，车速变化跟加速情况。通过多模态的数据来识别驾驶员多种维度的驾驶状态，需要多种采集器来采集驾驶员的信息(多模态的数据)，并对多模态的数据进行融合和分析识别。
步骤S20，将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据；
构建第一异常驾驶监测模型，第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，模型中所有的权重随机赋值，不同模态的卷积神经网络模型包括视频图像的卷积神经网络模型、音频的卷积神经网络模型、生理传感的卷积神经网络模型和运动传感的卷积神经网络模型等，所述卷积神经网络模型包括特征提取层和连接网络层，将样本的第一模态数据输入第一异常监测模型进行训练，第一模态数据输入第一异常监测模型的模态对应的卷积神经网络模型的特征提取层，进行特征提取，输出对应的第一模态特征数据，当所述第一模态数据是视频图像数据时，将第一模态数据输入视频图像模态对应的卷积神经网络模型的特征提起层进行特征提取，对应输出的视频图像特征数据，当第一模态数据是音频图像数据时，将第一模态数据输入音频对应的卷积神经网络模型的特征提取层进行特征提取，对应输出音频图像特征数据，当第一模态数据是生理传感数据时，将第一模态数据输入生理传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出生理传感特征数据，当第一模态数据是运动传感数据时，将第一模态数据输入运动传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出运动传感特征数据，当第一模态数据是其它模态数据时，进行相应的特征提取，在此不再赘述。
样本中包括有在同一时间段的视频图像数据、音频图像数据、生理传感数据、运动传感数据等第一模态数据，进行特征提取后，获得视频图像特征数据、音频特征数据、生理传感特征数据、运动传感特征数据等第一模态特征数据。将第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，连接网络层融合单一第一模态特征数据，连接网络层包括多层，各对应模态的卷积神经网络模型的多层连接网络层递进对第一模态特征数据进行处理，输出数据，各对应模态的卷积神经网络模型的最后一层连接网络层的输出数据为第一融合数据，例如，视频图像模态对应的卷积神经网络模型的最后一层连接网络层输出视频图像的第一融合数据，音频模态对应的卷积神经网络模型的最后一层连接网络层输出音频的第一融合数据；
集成融合网络模型的当前隐层根据当前隐层的上一层隐层的融合数据、所述上一层隐层的融合数据的权重值、各模态卷积神经网络模型的当前连接网络层的输出数据、各模态卷积神经网络模型的当前连接网络层的输出数据的权重值，计算集成融合网络模型的当前隐层的融合数据，集成融合网络模型的最后一层隐层输出的融合数据为第一异常驾驶监测模型输出的第二融合数据。集成融合网络模型的第i层输出融合数据的计算公式(1)如下：
表示为第k个模态的卷积神经网络模型的第i层连接网络层输出数据。表示第k个模态的卷积神经网络模型的第i层连接网络层输出数据的权重值，Ci表示集成融合网络模型的第i层，表示集成融合网络模型的第i-1层的融合数据，为第i-1层的融合数据权重值。对集成融合网络模型的第一隐层，只对各模态卷积神经网络模型的第一连接网络层的输出数据进行加权求和。
步骤S30，根据所述第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；
集成融合网络模型的最后一层隐层输出的第二融合数据，作为第一异常驾驶监测模型对样本的预测结果，使用现有损失函数的公式根据第二融合数据和目标结果，计算集成融合网络模型的损失函数lossC，使用所述现有损失函数的公式根据第一融合数据和目标结果，计算各模态的卷积神经网络模型的损失函数lossM。处理多模态数据的融合时，需要保持每种模态的卷积神经网络模型的性能，根据各模态的卷积神经网络模型的损失函数，以及在集成融合网络模型的损失函数计算全局损失函数loss，全局损失函数loss计算公式如公式(2)所示：
其中，lossC表示集成融合网络模型的损失函数，表示第k个模态的卷积神经网络模型的损失函数。
步骤S40，使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。
第一异常驾驶监测模型的所有权重都是随机赋值，将全局损失函数作为反向传播机制和Adam算法的输入，对模型中的所有权重进行联合优化，在全局损失函数未达到最小值时，使用反向传播机制从第一异常驾驶监测模型的输出层到输入层中各隐藏层逐层的权重进行更新，即反向更新集成融合网络模型的隐层，以及反向更新各模态卷积神经网络模型的各连接网络层，继而反向更新各模态卷积神经网络模型的特征提取层，从而更新第一异常驾驶监测模型，在根据第一个样本的全局损失函数对第一异常驾驶监测模型的权重进行更新后，使用第二个样本的全局损失函数继续对第一异常驾驶监测模型的权重进行更新，以此类推，直至第一异常驾驶监测模型的全局损失函数达到最小值时该第一异常驾驶监测模型作为第二异常驾驶监测模型，反向传播机制可以通过反向传播算法实现，全局损失函数达到最小时，第一异常驾驶监测模型为最优，Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，在对第一异常驾驶监测模型的隐藏层的权重进行更新时，可以使用Adam算法经过多轮迭代最终使得第一异常驾驶监测模型的全局损失函数达到最小值，Adam算法公式为:Wt+1＝Wt-ηΔWt，η是学习率，Wt+1为第t+1层隐藏层的权重，Wt为t层隐藏层的权重，ΔWt为全局损失函数对权重求偏导之后的结果，使用Adam算法逐轮对权重W和损失函数进行更新，最终收敛后得到第二异常驾驶监测模型。
在模型训练完成后，第二异常驾驶监测模型设置有判断异常驾驶状态的预设阈值，预设阈值可根据目标结果获得，驾驶状态包括正常驾驶状态和异常驾驶状态，在模型训练过程中，分别对正常驾驶状态和异常驾驶状态进行赋值，第一模态数据所属驾驶状态为正常驾驶状态时，第一模态数据的目标结果为正常驾驶状态的赋值，若第一模态数据所属驾驶状态为异常驾驶状态时，第一模态数据的目标结果为异常驾驶状态的赋值，则预设阈值为异常驾驶状态赋值和正常驾驶状态的赋值的平均值，或者预设阈值的大小为异常驾驶状态赋值与正常驾驶状态赋值之间；
集成融合网络模型连接各阶段的连接网络层，将来自不同模态的特征投影到同一公共空间。此外，全局损失允许反复传播对每种模态的一些全局约束，协调网络的表示。旨在自动训练制定给定任务的最优融合策略，最小化每种模态损失以及联合空间上定义的全局损失。
通过第一异常驾驶监测模型对每一个样本的第一模态数据进行多层次的融合，输出融合一个样本的所有第一模态数据的第二融合数据，以及融合单一第一模态数据的第一融合数据，根据第一融合数据、第二融合数据和目标结果计算模型的全局损失函数，使用反向传播机制和Adam算法根据所述全局损失函数，更新第一异常驾驶监测模型的权重，直至第第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型，建立形成高监测精度的第二异常驾驶监测模型，形成的第二异常驾驶监测模型能够多模态数据进行多层次准确融合，并通过集成融合网络模型最后输出的第二融合数据判断驾驶状态，提高了监测模型的监测精度，同时可以监测多种异常驾驶状态，改变了原来监测模型只能通过单一模态数据，评价单一的异常驾驶状态、监测不准确的情况。
进一步地，参照图3，图3为本发明方法第二实施例的流程示意图。基于上述图2所示的实施例，所述第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，所述卷积神经网络模型包括特征提取层和连接网络层，步骤S20可以包括：
步骤S21，将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据；
第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，不同模态的卷积神经网络模型包括视频图像的卷积神经网络模型、音频的卷积神经网络模型、生理传感的卷积神经网络模型和运动传感的卷积神经网络模型等，所述卷积神经网络模型包括特征提取层和连接网络层，将样本的第一模态数据输入第一异常监测模型进行训练，第一模态数据输入第一异常监测模型的模态对应的卷积神经网络模型的特征提取层，进行特征提取，输出对应的第一模态特征数据，当所述第一模态数据是视频图像数据时，将第一模态数据输入视频图像模态对应的卷积神经网络模型的特征提起层进行特征提取，对应输出的视频图像特征数据，当第一模态数据是音频图像数据时，将第一模态数据输入音频对应的卷积神经网络模型的特征提取层进行特征提取，对应输出音频图像特征数据，当第一模态数据是生理传感数据时，将第一模态数据输入生理传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出生理传感特征数据，当第一模态数据是运动传感数据时，将第一模态数据输入运动传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出运动传感特征数据，当第一模态数据是其它模态数据时，进行相应的特征提取，各第一模态特征数据矩阵维度相同。
步骤S22，将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据。
将第一模态数据输入对应模态的卷积神经网络模型的连接网络层，连接网络层包括多层，多层连接网络层递进对第一模态特征数据进行处理，集成融合网络模型根据各模态的卷积神经网络模型的同阶段连接网络层，各模态的卷积神经网络模型的最后一层连接网络层输出的数据为融合单一第一模态特征数据的第一融合数据，对各连接网络层的输出数据进行递进融合，具体为，集成融合网络模型的当前隐层根据当前隐层的上一层隐层的融合数据、所述上一层隐层的融合数据的权重值、各模态卷积神经网络模型的当前连接网络层的输出数据、各模态卷积神经网络模型的当前连接网络层的输出数据的权重值，计算集成融合网络模型的当前隐层的融合数据，集成融合网络模型的最后一层隐层输出的融合数据为第一异常驾驶监测模型输出的第二融合数据。
通过第一监测模型中的卷积神经网络模型特征提取层提取第一模态数据的特征数据，获得第一模态特征数据，连接网络层包括多层，卷积神经网络模型的多层连接网络层对第一模态特征数据进行递进融合，集成融合网络模型对各对应模态的卷积神经网络模型的同阶段连接网络层进行进一步地的递进融合；
先提取第一模态特征数据后，再对第一模态特征数据进行多层次递进融合，可缩短模型训练的时间，同时获得准确的融合样本的所有第一模态数据的第二融合数据，提高模型训练完成后的监测精度，以及监测多种异常驾驶状态。
进一步地，参照图4，图4为本发明异常驾驶监测模型建立方法第三实施例的流程示意图。基于上述的实施例，第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，步骤S21可以包括：
步骤S211，将所述样本的视频图像数据、音频数据、运动传感数据和生理传感数据，输入对应模态的卷积神经网络模型的提取特征层，对应输出视频图像特征数据、音频特征数据、运动传感特征数据和生理传感特征数据。
多种采集器采集的同一驾驶时间段的第一模态数据，采集器包括有摄像头、音频采集器、生理传感器、运动传感器，摄像头采集视频图像数据、音频采集器采集音频数据，生理传感器采集驾驶员的生理传感数据，运动传感器采集驾驶员的运动传感数据等，则第一模态数据包括视频图像数据，音频图像数据，生理传感数据，运动传感数据等，
视频图像处理已经广泛应用于人脸识别，行为监控，微表情识别等众多领域。多模感知套件通过光线辐射强度、辐射亮度等符合标准的主动近红外人脸成像设备来实时、非侵扰地获取视频图像数据，近红外人脸成像设备采集面部特征，不受环境光影响、可获得高质量的人脸图像。改变了现有摄像头通过实时采集驾驶员的面部特性，无法避免受光照的影响，获取的数据不准确，无法准确通过驾驶员的面部特性，尤其是眼睛，口腔的状态图像的比对，判断驾驶员是否处于疲劳状态。
语音作为人类最为重要的交流工具，简易方便，在人机交互的各种通讯方式中，语音交互是最好的交流方式。除声纹识别能够进行身份认证外，语音往往能够表达一定的意义和思想内容，以及表达出一定的语气、情感。随着智能网联汽车的发展，车载麦克风传感器能够采集驾驶员和乘客的语音信息以及环境音等。声音是监测驾驶员状态的一个重要因素，语音的声强、频率、节奏等因素往往能反映出状态。因此在面向驾驶监测数据中集成音频传感器获取音频数据，有助于对驾驶员情绪的判断以及进行身份认证等。
对驾驶员生理状态的感知能够更加直观地得到实时生命体征地变化，是驾驶员状态监测重要组成部分。生理传感数据可通过多种方式得到，对精神状态的研究可选用脑电图、心电图等；对机局部肌肉疲劳的研究可选用肌电图；对身体功能的判断可选用血压、心率、心率间期、呼吸频率、皮肤电等。通过生理权重能够客观、准确得反应人体的状态，生理权重往往与突发性疾病等有着直接的映射关系，同时驾驶员的生理状态影响其的操作行为，通过生理传感器获取生理传感数据，能够更准确的判断驾驶员的驾驶状态。
运动传感设备作为非侵扰性的感知设备，内有加速度计，陀螺仪，磁力计等传感器，可以实时监测驾驶员的驾驶姿态，运动动作和与车辆的交互行为等。运动传感设备对运动传感数据的采集具有便携性和有效性，将运动传感数据同步到车辆中，即可获得更多维度的信息，提升整个监测模型的监测能力，运动传感设备和生理传感器可进行穿戴，获得更准确的运动传感数据和生理传感数据。
当所述第一模态数据是视频图像数据时，将第一模态数据输入视频图像模态对应的卷积神经网络模型的特征提起层进行特征提取，对应输出的视频图像特征数据，当第一模态数据是音频图像数据时，将第一模态数据输入音频对应的卷积神经网络模型的特征提取层进行特征提取，对应输出音频图像特征数据，当第一模态数据是生理传感数据时，将第一模态数据输入生理传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出生理传感特征数据，当第一模态数据是运动传感数据时，将第一模态数据输入运动传感对应的卷积神经网络模型的特征提取层进行特征提取，对应输出运动传感特征数据，当第一模态数据是其它模态数据时，进行相应的特征提取，各第一模态特征数据矩阵维度相同。
获取视频图像数据、音频图像数据、生理传感数据、运动传感数据等第一模态数据，通过上述多模态数据可多维度的分析驾驶员的驾驶状态，准确判断驾驶员的驾驶状态，提高模型使用的监测精度，还可以分析驾驶员的多种驾驶状态。提取第一模态数据的特征部分，获得第一模态特征数据再进行融合，缩短了模型训练的时间，同时提高了数据融合的准确度。
进一步地，参照图5，图5为本发明异常驾驶监测模型建立方法第四实施例的流程示意图。基于上述的实施例，所述连接网络层包括多层，步骤S22可以包括：
步骤S221，将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的各连接网络层的输出数据进行递进融合，输出融合所述样本的所有第一模态数据的第二融合数据。
将第一模态数据输入对应模态的卷积神经网络模型的连接网络层，连接网络层包括多层，多层连接网络层递进对第一模态特征数据进行处理，集成融合网络模型根据各模态的卷积神经网络模型的同阶段连接网络层，各模态的卷积神经网络模型的最后一层连接网络层输出的数据为融合单一第一模态特征数据的第一融合数据，对各连接网络层的输出数据进行递进融合，具体为，集成融合网络模型的当前隐层根据当前隐层的上一层隐层的融合数据、所述上一层隐层的融合数据的权重值、各模态卷积神经网络模型的当前连接网络层的输出数据、各模态卷积神经网络模型的当前连接网络层的输出数据的权重值，计算集成融合网络模型的当前隐层的融合数据，集成融合网络模型的最后一层隐层输出的融合数据为第一异常驾驶监测模型输出的第二融合数据。如图6所示，所述连接网络层包括三层，DA表示A模态卷积神经网络模型输出的第一模态特征数据，DB表示B模态卷积神经网络模型输出的第一模态特征数据，多模态融合的目的即通过A模态和B模态的数据信息，得到更好的识别结果DA and B。若异常驾驶监测过程中共有n个模态的数据信息，则可分别表示为M1～Mn。
集成融合模型的第i层输出的计算公式(1)如下：
表示为第k个模态的卷积神经网络模型的第i层连接网络层输出数据。表示第k个模态的卷积神经网络模型的第i层连接网络层输出数据的权重值，Ci表示集成融合网络模型的第i层，表示集成融合网络模型的第i-1层的融合数据，为第i-1层的融合数据权重值。对集成融合网络模型的第一隐层，只对各模态卷积神经网络模型的第一连接网络层进行加权求和。
先提取第一模态特征数据后，再对第一模态特征数据进行多层次递进融合，可缩短模型训练的时间，同时获得准确的融合样本所有第一模态数据的第二融合数据，提高模型训练完成后的监测精度，以及监测多种异常驾驶状态。
进一步地，参照图7，图7为本发明异常驾驶监测模型建立方法第五实施例的流程示意图。基于上述的实施例，步骤S21可以包括：
步骤S212，将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，通过对应模态的卷积神经网络模型的特征提取层提取第一模态数据的特征部分，使用以0填充方法将所述特征部分整理成第一模态特征数据，所述第一模态特征数据的维度均相同。
将第一模态数据输入对应模态的卷积神经网络模型的特征提取层时，对应模态的卷积神经网络模型的特征提取层提取第一模态数据的特征部分，第一模态数据包括视频图像数据、音频数据、生理传感数据、运动传感数据，各第一模态数据提取的特征部分形成的矩阵维度不相同，使用以0填充方法将各第一模态数据的特征部分，整理形成矩阵维度均相同的第一模态特征数据。
使用以0填充方法将所述特征部分整理成第一模态特征数据，第一模态特征数据的维度均相同，获得维度相同第一模态特征数据，便于对第一模态特征数据进行递进融合，获得准确的第一模态数据的第二融合数据。
进一步地，参照图8，图8为本发明异常驾驶监测模型建立方法第六实施例的流程示意图。基于上述的实施例，步骤S20之前，所述方法还可以包括：
步骤S50，将第一模态数据分别进行其所属模态相应的预处理。
对获取到的驾驶员的视频图像数据、音频数据、生理传感数据、运动传感数据等第一模态数据分别进行数据预处理，对视频图像数据进行光照矫正、连通成分快速标记、直方图修正等预处理，对音频数据进行降噪、预加重等预处理，对生理传感数据、运动传感数据进行降噪、误差修正等预处理，对第一模态数据进行预处理，具有修正误差数据、减少数据冗余，增加数据的准确性的作用，增加了模型监测的精度。
步骤S20可以包括：
步骤S23，将预处理后的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据。
将预处理后的第一模态数据输入第一异常驾驶监测模型，第一异常驾驶监测模型对预处理的第一模态数据进行特征提取和递进融合，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据。
进一步地，参照图9，图9为本发明异常驾驶监测模型建立方法第七实施例的流程示意图。基于上述的实施例，步骤S40之后，所述方法还可以包括：
步骤S60，获取多种采集器采集的当前驾驶时间段的第二模态数据；
多模感知套件采集驾驶员当前驾驶时间段的驾驶状态的视频图像数据、音频数据、运动传感数据、生理传感数据等第二模态数据，获取多模感知套件采集的第二模态数据。
步骤S70，将所述第二模态数据分别进行其所属模态相应的预处理；
对获取到的当前驾驶时间段的视频图像数据、音频数据、生理传感数据、运动传感数据等第二模态数据，分别进行数据预处理，对视频图像数据进行光照矫正、连通成分快速标记、直方图修正等预处理，对音频数据进行降噪、预加重等预处理，对生理传感数据、运动传感数据进行降噪、误差修正等预处理，对第一模态数据进行预处理，具有修正误差数据、减少数据冗余，增加数据的准确性的作用，使模型能够根据预处理后的第二模态数据，作出对当前驾驶时间段的驾驶状态的准确判断。
步骤S80，将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
将预处理后第二模态数据输入第二异常驾驶监测模型，通过第二异常驾驶监测模型中的各对应模态的卷积神经网络模型的特征提取层进行特征提取，形成第二模态特征数据，各对应模态的卷积神经网络模型的连接网络层对第二模态特征数据进行递进融合，集成融合网络模型对各连接网络层输出的融合数据进一步进行递进融合，最后形成第二模态数据的第三融合数据，将第二模态数据的第三融合数据与预设阈值进行对比，预设阈值可根据目标结果获得，驾驶状态包括正常驾驶状态和异常驾驶状态，在模型训练过程中，分别对正常驾驶状态和异常驾驶状态进行赋值，第一模态数据所属驾驶状态为正常驾驶状态时，第一模态数据的目标结果为正常驾驶状态的赋值，若第一模态数据所属驾驶状态为异常驾驶状态时，第一模态数据的目标结果为异常驾驶状态的赋值，则预设阈值为异常驾驶状态赋值和正常驾驶状态的赋值的平均值，或者预设阈值的大小为异常驾驶状态赋值与正常驾驶状态赋值之间；
根据第二模态数据的第三融合数据与预设阈值的对比结果，确认当前驾驶时间段的驾驶状态是否为异常驾驶状态，若正常驾驶状态赋值小于异常驾驶状态的赋值，则可根据第三融合数据大于预设阈值的对比结果，确认当前驾驶时间段的驾驶状态为异常驾驶状态；
若正常驾驶状态的赋值大于异常驾驶状态的赋值，则可根据第三融合数据小于预设阈值的对比结果，确认当前驾驶时间段的驾驶状态为异常驾驶状态。
当确认当前时间段的驾驶状态为异常驾驶状态时，并发出报警声音，对驾驶员进行提醒，纠正异常驾驶状态。
在模型训练完成后获得第二异常驾驶监测模型，使用第二异常驾驶监测模型获得当前驾驶时间段的第二模态数据，对第二模态数据进行特征提取后，再进行多层次融合，获得第二模态数据的第三融合数据，通过第二模态数据的第三融合数据可以准确判断当前驾驶时间段的驾驶状态。
进一步地，参照图10，图10为本发明异常驾驶监测模型建立方法第八实施例的流程示意图。基于上述的实施例，步骤S80可以包括：
步骤S81，将预处理后的第二模态数据，输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的特征提取层，对应输出第二模态特征数据；
将预处理后的第二模态数据，输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的特征提取层，提取第二模态数据的特征部分，使用以0填充方法将各第二模态数据的特征部分，整理形成矩阵维度均相同的第二模态特征数据。
步骤S82，将所述第二模态特征数据，输入第二异常驾驶监测模型的对应模态的卷积神经网络模型的连接网络层，通过集成融合网络模型对各对应模态的卷积神经网络模型的连接网络层的输出数据进行递进融合，输出融合所有第二模态数据的第三融合数据；
将第二模态特征数据输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的连接网络层，连接网络层包括多层，各对应模态的卷积神经网络模型多层连接网络层对第二模态特征数据进行递进融合，集成融合网络模型对各对应模态的卷积神经网络模型的连接网络层的输出数据进行进一步地递进融合，集成融合网络模型的最后一层隐层输出的融合数据为当前驾驶时间段的第三融合数据。
步骤S83，将所述第三融合数据与预设阈值进行对比，获得对比结果，根据所述对比结果确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
根据第二模态数据的第三融合数据与预设阈值的对比结果，确认当前驾驶时间段的驾驶状态是否为异常驾驶状态，若正常驾驶状态赋值小于异常驾驶状态的赋值，则可根据第三融合数据大于预设阈值的对比结果，确认当前驾驶时间段的驾驶状态为异常驾驶状态；
若正常驾驶状态的赋值大于异常驾驶状态的赋值，则可根据第三融合数据小于预设阈值的对比结果，确认当前驾驶时间段的驾驶状态为异常驾驶状态。
通过对应模态的卷积神经网络模型的特征提取层提取第二模态数据的特征部分，获得第二模态特征数据，缩短了模型对当前时间段的驾驶状态的判断时间，再通过集成融合网络模型对第二模态特征数据进行多层次融合，获得准确的第二模态数据的第三融合数据，使模型能够基于第三融合数据对当前驾驶时间段的驾驶状态进行准确判断，体现了第二异常驾驶监测模型的精度。
本发明还提供一种异常驾驶监测模型建立装置。
本发明异常驾驶监测模型建立装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被所述处理器执行时实现如上所述的异常驾驶监测模型建立方法的步骤。
其中，在所述处理器上运行的异常驾驶监测模型建立程序被执行时所实现的方法可参照本发明异常驾驶监测模型建立方法各个实施例，此处不再赘述。
本发明还提供一种存储介质。
本发明存储介质上存储有异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被处理器执行时实现如上所述的异常驾驶监测模型建立方法的步骤。
其中，在所述处理器上运行的异常驾驶监测模型建立程序被执行时所实现的方法可参照本发明异常驾驶监测模型建立方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种异常驾驶监测模型建立方法，其特征在于，所述方法包括如下步骤：
获取多个样本，每一个所述样本包括多种采集器采集的同一驾驶时间段的第一模态数据和所述第一模态数据的目标结果；
将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据；
根据所述第一融合数据、第二融合数据和目标结果计算第一异常驾驶监测模型的全局损失函数；
使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型。
2.如权利要求1所述的异常驾驶监测模型建立方法，其特征在于，所述第一异常驾驶监测模型包括集成融合网络模型和不同模态的卷积神经网络模型，所述卷积神经网络模型包括特征提取层和连接网络层，所述将所述样本的第一模态数据输入第一异常驾驶监测模型，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据；
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据。
3.如权利要求2所述的异常驾驶监测模型建立方法，其特征在于，第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的视频图像数据、音频数据、运动传感数据和生理传感数据，输入对应模态的卷积神经网络模型的提取特征层，对应输出视频图像特征数据、音频特征数据、运动传感特征数据和生理传感特征数据。
4.如权利要求3所述的异常驾驶监测模型建立方法，其特征在于，所述连接网络层包括多层，所述将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的连接网络层的输出数据进行融合，输出融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将所述样本的第一模态特征数据输入对应模态的卷积神经网络模型的连接网络层，对应输出融合第一模态特征数据的第一融合数据，并通过集成融合网络模型对各模态的卷积神经网络模型的各连接网络层的输出数据进行递进融合，输出融合所述样本的所有第一模态数据的第二融合数据。
5.如权利要求4所述的异常驾驶监测模型建立方法，其特征在于，所述将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，对应输出第一模态特征数据的步骤包括：
将所述样本的第一模态数据，输入对应模态的卷积神经网络模型的特征提取层，通过对应模态的卷积神经网络模型的特征提取层提取第一模态数据的特征部分，使用以0填充方法将所述特征部分整理成第一模态特征数据，所述第一模态特征数据的维度均相同。
6.如权利要求1至5中任一项所述的异常驾驶监测模型建立方法，其特征在于，所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理；
所述将所述样本的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据的步骤包括：
将预处理后的第一模态数据输入第一异常驾驶监测模型进行训练，输出融合单一第一模态数据的第一融合数据以及融合所述样本的所有第一模态数据的第二融合数据。
7.如权利要求6所述的异常驾驶监测模型建立方法，其特征在于，所述使用反向传播机制和Adam算法根据所述全局损失函数，对所述第一异常驾驶监测模型的权重进行更新，直至所述第一异常驾驶监测模型的全局损失函数达到最小值时得到第二异常驾驶监测模型的步骤之后，所述方法还包括：
获取多种采集器采集的当前驾驶时间段的第二模态数据；
将所述第二模态数据分别进行其所属模态相应的预处理；
将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
8.如权利要求7所述的异常驾驶监测模型建立方法，其特征在于，所述将预处理后第二模态数据输入第二异常驾驶监测模型，输出融合所有第二模态数据的第三融合数据，根据所述第三融合数据确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态的步骤包括：
将预处理后的第二模态数据，输入第二异常驾驶监测模型的各对应模态的卷积神经网络模型的特征提取层，对应输出第二模态特征数据；
将所述第二模态特征数据，输入第二异常驾驶监测模型的对应模态的卷积神经网络模型的连接网络层，通过集成融合网络模型对各对应模态的卷积神经网络模型的连接网络层的输出数据进行递进融合，输出融合所有第二模态数据的第三融合数据；
将所述第三融合数据与预设阈值进行对比，获得对比结果，根据所述对比结果确认所述当前驾驶时间段的驾驶状态是否为异常驾驶状态。
9.一种异常驾驶监测模型建立装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被所述处理器执行时实现如权利要求1至8中任一项所述的异常驾驶监测模型建立方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有异常驾驶监测模型建立程序，所述异常驾驶监测模型建立程序被处理器执行时实现如权利要求1至8中任一项所述的异常驾驶监测模型建立方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910216560.3A CN109949438B (zh) | 2019-03-20 | 2019-03-20 | 异常驾驶监测模型建立方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910216560.3A CN109949438B (zh) | 2019-03-20 | 2019-03-20 | 异常驾驶监测模型建立方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109949438A true CN109949438A (zh) | 2019-06-28 |
| CN109949438B CN109949438B (zh) | 2021-07-13 |
Family
ID=67010486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910216560.3A Active CN109949438B (zh) | 2019-03-20 | 2019-03-20 | 异常驾驶监测模型建立方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949438B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533880A (zh) * | 2019-09-17 | 2019-12-03 | 东南大学 | 一种基于心电信号的异常驾驶状态检测及预警控制方法 |
| CN111881706A (zh) * | 2019-11-27 | 2020-11-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
| CN112232259A (zh) * | 2020-10-27 | 2021-01-15 | 南京领行科技股份有限公司 | 一种网约车驾驶员行为监测的方法和装置及设备 |
| CN112660141A (zh) * | 2020-12-29 | 2021-04-16 | 长安大学 | 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法 |
| WO2023230740A1 (zh) * | 2022-05-28 | 2023-12-07 | 华为技术有限公司 | 一种异常驾驶行为识别的方法、装置和交通工具 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN108920805A (zh) * | 2018-06-25 | 2018-11-30 | 大连大学 | 具有状态特征提取功能的驾驶员行为建模系统 |
| CN109034134A (zh) * | 2018-09-03 | 2018-12-18 | 深圳市尼欧科技有限公司 | 基于多任务深度卷积神经网络的异常驾驶行为检测方法 |
| CN109359603A (zh) * | 2018-10-22 | 2019-02-19 | 东南大学 | 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法 |
| US20190057314A1 (en) * | 2015-10-26 | 2019-02-21 | Netradyne Inc | Joint processing for embedded data inference |
| US20190080222A1 (en) * | 2017-09-12 | 2019-03-14 | Yonatan Glesner | Per kernel kmeans compression for neural networks |
| CN109492666A (zh) * | 2018-09-30 | 2019-03-19 | 北京百卓网络技术有限公司 | 图像识别模型训练方法、装置及存储介质 |
-
2019
- 2019-03-20 CN CN201910216560.3A patent/CN109949438B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190057314A1 (en) * | 2015-10-26 | 2019-02-21 | Netradyne Inc | Joint processing for embedded data inference |
| US20190080222A1 (en) * | 2017-09-12 | 2019-03-14 | Yonatan Glesner | Per kernel kmeans compression for neural networks |
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN108920805A (zh) * | 2018-06-25 | 2018-11-30 | 大连大学 | 具有状态特征提取功能的驾驶员行为建模系统 |
| CN109034134A (zh) * | 2018-09-03 | 2018-12-18 | 深圳市尼欧科技有限公司 | 基于多任务深度卷积神经网络的异常驾驶行为检测方法 |
| CN109492666A (zh) * | 2018-09-30 | 2019-03-19 | 北京百卓网络技术有限公司 | 图像识别模型训练方法、装置及存储介质 |
| CN109359603A (zh) * | 2018-10-22 | 2019-02-19 | 东南大学 | 一种基于级联卷积神经网络的车辆驾驶员人脸检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| BO CHENG，ET AL: "Driver Drowsiness Detection Based on Multisource Information", 《HUMAN FACTORS AND ERGONOMICS IN MANUFACTURING & SERVICE INDUSTRIES》 * |
| SEJOON LIM，ET AL: "Driver state estimation by convolutional neural network using multimodal sensor data", 《ELECTRONICS LETTERS》 * |
| WEI SUN，ET AL: "A Self-Adaptive Dynamic Recognition Model for Fatigue Driving Based on Multi-Source Information and Two Levels of Fusion", 《SENSOR》 * |
| 田卓: "基于多任务协同深度学习的疲劳检测系统研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533880A (zh) * | 2019-09-17 | 2019-12-03 | 东南大学 | 一种基于心电信号的异常驾驶状态检测及预警控制方法 |
| CN110533880B (zh) * | 2019-09-17 | 2021-06-08 | 东南大学 | 一种基于心电信号的异常驾驶状态检测及预警控制方法 |
| CN111881706A (zh) * | 2019-11-27 | 2020-11-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
| CN111881706B (zh) * | 2019-11-27 | 2021-09-03 | 马上消费金融股份有限公司 | 活体检测、图像分类和模型训练方法、装置、设备及介质 |
| CN112232259A (zh) * | 2020-10-27 | 2021-01-15 | 南京领行科技股份有限公司 | 一种网约车驾驶员行为监测的方法和装置及设备 |
| CN112232259B (zh) * | 2020-10-27 | 2022-06-07 | 南京领行科技股份有限公司 | 一种网约车驾驶员行为监测的方法和装置及设备 |
| CN112660141A (zh) * | 2020-12-29 | 2021-04-16 | 长安大学 | 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法 |
| WO2023230740A1 (zh) * | 2022-05-28 | 2023-12-07 | 华为技术有限公司 | 一种异常驾驶行为识别的方法、装置和交通工具 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109949438B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949438A (zh) | 异常驾驶监测模型建立方法、装置及存储介质 | |
| CN109726771A (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| Serpush et al. | Wearable sensor-based human activity recognition in the smart healthcare system | |
| Trabelsi et al. | An unsupervised approach for automatic activity recognition based on hidden Markov model regression | |
| KR102299764B1 (ko) | 전자장치, 서버 및 음성출력 방법 | |
| US9910298B1 (en) | Systems and methods for a computerized temple for use with eyewear | |
| CN109875579A (zh) | 情绪健康管理系统和情绪健康管理方法 | |
| US20210081754A1 (en) | Error correction in convolutional neural networks | |
| CN109858553A (zh) | 驾驶状态的监测模型更新方法、更新装置及存储介质 | |
| KR101697476B1 (ko) | 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| US20220319536A1 (en) | Emotion recognition method and emotion recognition device using same | |
| CN109272994A (zh) | 话音数据处理方法以及支持该话音数据处理方法的电子装置 | |
| Zhang et al. | Exercise fatigue detection algorithm based on video image information extraction | |
| US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| CN110135497A (zh) | 模型训练的方法、面部动作单元强度估计的方法及装置 | |
| CN111276159A (zh) | 一种婴儿发音分析方法及服务器 | |
| CN111753683A (zh) | 一种基于多专家卷积神经网络的人体姿态识别方法 | |
| Borges et al. | Classifying confusion: autodetection of communicative misunderstandings using facial action units | |
| CN111798978A (zh) | 用户健康评估方法、装置、存储介质及电子设备 | |
| CN110516113A (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| US11517500B2 (en) | Massage apparatus | |
| CN110472673A (zh) | 参数调整方法、眼底图像处理方法、装置、介质及设备 | |
| KR102285482B1 (ko) | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 706, building 3b, hongrongyuan Shangjun phase II, Longping community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Jintu computing technology (Shenzhen) Co.,Ltd. Address before: 518000 area a, 18 / F, building 1, creative park, broadcasting group, No.1 Qingqing Road, Qinghu community, Longhua sub district office, Longhua District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN SEMISKY TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000 room 1203, block a, building 7, Shenzhen International Innovation Valley, Dashi Road, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Jintu computing technology (Shenzhen) Co.,Ltd. Address before: 518000 706, building 3b, hongrongyuan Shangjun phase II, Longping community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Patentee before: Jintu computing technology (Shenzhen) Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |