CN109726771B - 异常驾驶检测模型建立方法、装置及存储介质 - Google Patents

异常驾驶检测模型建立方法、装置及存储介质 Download PDF

Info

Publication number
CN109726771B
CN109726771B CN201910149082.9A CN201910149082A CN109726771B CN 109726771 B CN109726771 B CN 109726771B CN 201910149082 A CN201910149082 A CN 201910149082A CN 109726771 B CN109726771 B CN 109726771B
Authority
CN
China
Prior art keywords
data
detection model
abnormal driving
sample
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910149082.9A
Other languages
English (en)
Other versions
CN109726771A (zh
Inventor
曾伟
张宇欣
高晨龙
蒋鑫龙
张辉
张军涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jintu Computing Technology Shenzhen Co ltd
Original Assignee
Jintu Computing Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jintu Computing Technology Shenzhen Co ltd filed Critical Jintu Computing Technology Shenzhen Co ltd
Priority to CN201910149082.9A priority Critical patent/CN109726771B/zh
Publication of CN109726771A publication Critical patent/CN109726771A/zh
Application granted granted Critical
Publication of CN109726771B publication Critical patent/CN109726771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种异常驾驶检测模型建立方法，该方法包括：获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。本发明还公开了一种异常驾驶检测模型建立装置和一种存储介质。本发明能够实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾驶检测模型的检测精度以及鲁棒性。

Description

异常驾驶检测模型建立方法、装置及存储介质
技术领域
本发明涉及通信技术领域，尤其涉及异常驾驶检测模型建立方法、装置及存储介质。
背景技术
近年来随着社会经济飞速发展，城市道路大规模建设，汽车数量呈指数增长，而交通事故也不断增加，除酒后驾车屡禁不止之外，由于生活压力和身心紧张状态的影响，疲劳驾驶、注意力分散、情绪化驾驶、突发性疾病等引起的交通事故也逐渐增多。因此，监控驾驶员的驾驶行为并对异常驾驶行为给予警报，对提高驾驶员的驾驶能力并降低其驾驶负荷，从本质上减少交通事故状况的发生，具有重要意义。
目前的异常驾驶检测模型建立方法有基于可穿戴传感器的检测方法，基于视觉信息的检测方法以及基于汽车行驶状态的检测方法，基于可穿戴传感器的检测方法中可穿戴传感器包括运动传感器和生理传感器，研究者利用运动传感器采集驾驶员身体姿态变化、肢体运动、操作行为等特征，利用生理传感器采集驾驶员呼吸频率、心率、心率间期、皮肤电等特征，融合多信息特征检测多种异常驾驶状态，但是由于多元时序数据存在冗余性和大量噪声，降低模型的泛化能力，使得该方法的检测精度较差；基于视觉信息的检测方法通常利用机器视觉技术或传感器技术检测驾驶员的面部特征，如眼睛特征、瞳孔的直径变化、视线方向变化及嘴部状态等来研究驾驶员的疲劳、注意力分散、情绪变化等问题，但该方法在实时检测过程很大程度上受环境和摄像头拍摄角度的影响，比如人脸有遮挡时，光线发生强烈变化时，都会影响检测结果的有效性、准确性；基于汽车行驶状态的异常驾驶状态检测方法以车辆现有装置为基础，采集车辆本身的速度、侧向加速度、横向位移量、车道偏离、车辆行驶轨迹变化等特征，但是受车辆的具体型号、道路的具体状况和驾驶员的个人驾驶习惯、驾驶经验限制，该检测方法通用性不高。
同种异常驾驶行为在三种检测方法的模态数据中都有变化，但是上述三种检测模型都是基于单一模态建立而成，不融合各模态数据而采取单一的模态数据的检测方法，不仅不能避免单一模态其自身的局限性出现的问题，且对异常驾驶行为的判断和检测的支撑度不高，导致异常驾驶行为检测精度不高，鲁棒性差，同时对新型异常驾驶行为的检测效果不好。
发明内容
本发明的主要目的在于提出一种异常驾驶检测模型建立方法、装置及存储介质，旨在实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常驾驶检测模型出现的问题。
为实现上述目的，本发明提供一种异常驾驶检测模型建立方法，所述方法包括如下步骤：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
优选地，所述使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型的步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
优选地，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算第三异常驾驶检测模型的测试精度。
优选地，所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值。
优选地，所述将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
优选地，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理。
优选地，所述将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据。优选地，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
此外，为实现上述目的，本发明还提供一种装置，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被所述处理器执行时实现如上所述的异常驾驶检测模型建立方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被处理器执行时实现如上所述的异常驾驶检测模型建立方法的步骤。
本发明获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。通过上述方式，本发明能够实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常驾驶检测模型出现的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明异常驾驶检测模型建立方法第一实施例的流程示意图；
图3为本发明异常驾驶检测模型建立方法第二实施例的流程示意图；
图4为本发明异常驾驶检测模型建立方法第三实施例的流程示意图；
图5为本发明异常驾驶检测模型建立方法第四实施例的流程示意图；
图6为本发明稀疏注意力机制模型；
图7为本发明异常驾驶检测模型建立方法第五实施例的流程示意图；
图8为本发明异常驾驶检测模型建立方法第六实施例的流程示意图；
图9为本发明异常驾驶检测模型建立方法第七实施例的流程示意图；
图10为本发明异常驾驶检测模型建立方法第七实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
现有的检测模型都是基于单一模态建立而成，不融合各模态数据而采取单一的模态数据的检测方法，不仅不能避免单一模态其自身的局限性出现的问题，且对异常驾驶行为的判断和检测的支撑度不高，导致异常驾驶行为检测精度不高，鲁棒性差，同时对新型异常驾驶行为的检测效果不好。
本发明旨在实现综合多模态数据建立异常驾驶行为的检测模型，提高异常驾驶检测模型的检测精度以及鲁棒性，同时避免了基于单一模态数据异常驾驶检测模型出现的问题。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例装置可以是PC，也可以是智能手机、平板电脑、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，装置还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异常驾驶检测模型建立程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的异常驾驶检测模型建立程序，并执行以下操作：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型的步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算第三异常驾驶检测模型的测试精度。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理。
进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据。进一步地，处理器1001可以调用存储器1005中存储的异常驾驶检测模型建立程序，还执行以下操作：所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
基于上述硬件结构，提出本发明方法实施例。
参照图2，图2为本发明方法第一实施例的流程示意图，所述方法包括：
步骤S10，获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；
在实施例中，本发明应用于异常驾驶检测模型建立装置，获取正常驾驶状态的多个第一样本，每个第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据，所述同一正常驾驶时间段包括有T个时刻，所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻第一模态数据，采集器包括有视频图像采集器、音频采集器、运动传感器、生理检测传感器等，可将视频图像采集器、音频采集器、运动传感器、生理检测传感器集成为多模感知套件置于汽车智能座舱中，多模感知套件可采集驾驶员正常驾驶状态的视频图像数据、音频数据、运动传感数据、生理传感数据等数据，装置可以获取多模感知套件采集的多个第一样本，每个所述第一样本包括同一正常驾驶时间段的T个时刻的视频图像数据、音频数据、运动传感数据、生理传感数据等第一模态数据，基于第一模态数据多维度全面分析驾驶员的驾驶状态；
驾驶员的驾驶状态分成三个基本维度：驾驶员的认知负荷、外界干扰以及车辆行驶状态。驾驶员的认知负荷：由于长时间的车辆驾驶，导致人体精神负荷，常见表现为瞌睡、注意力分散、过度疲劳等；外界干扰：驾驶员在驾驶车辆的过程中，极易出现被外界干扰的情况，例如与乘客交谈，手机通话，吃东西等行为，这些行为直接导致驾驶员的注意力分散甚至出现情绪上的变化；车辆行驶状态：驾驶员的行为状态最直接的表现形式为车体运动状态变化，左变道、右变道、加速、减速、急刹车、正常行驶等特征是判断驾驶员是否在正确驾驶的主要依据。通过上述多模感知套件采集驾驶员信息能够全面地对驾驶行为状态进行多维度监测。
视频图像采集器包括红外摄像头，红外摄像头可以采集视频图像数据，视频图像数据包括驾驶员面部和部分肢体动作信息，红外摄像头光线辐射强度、辐射亮度等符合标准；音频采集器包括麦克风、红外摄像头，可以通过麦克风采集音频数据，也可以通过红外摄像头直接采集音频数据，音频数据包括驾驶员和乘客的声纹信息等；运动传感器包括加速度计、陀螺仪等，运动传感器采集运动传感数据，运动传感数据包括驾驶员的肢体运动；生理检测传感器包括心率检测传感器、皮肤电传感器等，通过生理检测传感器采集生理传感数据，生理传感数据包括心率数据，皮肤电数据等，包括驾驶员行车过程中的生理传感数据变化，运动传感器和生理传感器可以保证非干扰的前提。多模感知套件还可以与车辆CAN总线连接，同时采集车辆行驶状态信息和行驶环境信息，最终利用多模感知方法进行融合和分析识别。
在实施例中，红外摄像头可以同时记录驾驶员的面部视频和语音信号；可穿戴传感器，佩戴在驾驶员的手臂和指尖部位，可以记录驾驶员的运动和生理信息，包括加速度计、陀螺仪、磁力计、心率、皮肤电、肌电等信息。
步骤S20，将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；
将所述第一样本的第一模态数据输入到第一异常驾驶状态检测模型，输出第一样本对应的第一预测误差值，根据多个样本的第一预测误差值对第一异常驾驶状态检测模型进行训练，第一异常驾驶状态检测模型包括稀疏注意力机制模型和各对应模态的卷积神经网络模型，对应模态的卷积神经网络模型包括对应视频图像的卷积神经网络模型、对应音频的卷积神经网络模型，对应运动传感的卷积神经网络模型、对应生理传感的卷积神经网络模型等；将不同采集器采集的所述第一模态数据输入到各对应模态的卷积神经网络模型中进行特征提取，形成相同行列的对应数据矩阵，并将各相同行列的对应数据矩阵进行融合，例如：如果第一模态数据的视频图像数据的矩阵200x200,音频数据的矩阵100x50，运动传感数据矩阵80x6，生理传感数据矩阵50x4，将上述这些第一模态数据输入对应的卷积神经网络模型进行特征提取，可以形成50X1视频图像提取数据矩阵、形成50X1音频提取数据矩阵、形成50X1运动传感提取数据矩阵、形成50X1生理传感提取数据矩阵，对提取后的同一时刻的第一模态数据进行融合形成50X1X4矩阵，50X1X4矩阵即为同一时刻的历史融合数据，形成T个时刻的历史融合数据；
在异常驾驶检测模型的训练过程中，在保证检测精度的同时，特征提取后的数据矩阵越小越好，使数据矩阵在计算机运行可接受范围内，减少模型的参数，提高模型训练速度，若数据矩阵太大，模型的参数越多，可能会导致模型崩溃。例如：视频图像数据有200x200x3,3是RGB信息，提取后的视频图像提取数据矩阵仍为50x1，音频数据包括有左声道、右声道，若左声道的数据矩阵和右声道的数据矩阵行列不一致，提取后的左声道的数据矩阵和右声道的数据矩阵行列都可以为50X1,生理传感数据包括心率数据、皮肤电数据，可将心率数据和皮肤电数据进行特征提取，可以形成统一的行列的数据矩阵，与各模态数据矩阵行列一致，且数据矩阵越小越好。
将T个时刻的历史融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步获得前T-1个时刻历史融合数据分别对应的原始注意力权重，根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
在实施例中，运动传感数据、音频数据、视频图像数据、生理传感数据等第一模态数据之间存在异构性，不同第一模态数据之间具有潜在的相关性，基于驾驶应用场景设定流数据的采样周期，并将同一周期内的第一模态数据作为批量数据，输入到第一异常驾驶状态检测模型中的对应模态的卷积神经网络模型，按时序对第一模态数据进行提取，提取出对应模态的各时序数据，将各模态的时序数据根据同一时序进行融合，将融合的各时序数据整合成一个高维矩阵，形成历史融合数据，能够消除模态间冗余性，提高模型整体的泛化能力。
步骤S30，使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
根据多个第一样本对应的第一预测误差值评估最终预测误差，在实施例中，可将多个第一样本对应的第一预测误差值取平均值，平均值作为最终预测误差，使用反向传播算法根据最终预测误差，调整第一异常驾驶状态检测模型的参数，所述模型包括稀疏注意力机制模型和各模态对应的卷积神经网络模型，即运用反向传播算法统一调整稀疏注意力机制模型的参数和各模态对应的卷积神经网络模型的参数。实现了对稀疏注意力机制模型和各模态对应的卷积神经网络模型的整体优化，形成第二异常驾驶检测模型。
步骤S40，设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值。
形成第二异常驾驶检测模型时，设置判断异常驾驶状态的预测误差阈值，可以使用具有预测误差阈值的第二异常驾驶检测模型检测当前预设驾驶时间段的驾驶状态是否异常，第二异常驾驶检测模型获取多种采集器采集的当前预设时间段的第五模态数据，将第五模态数据分别进行其所属模态相应的预处理，将预处理后第五模态数据输入第二异常检测模型的模态对应的卷积神经网络模型进行特征提取和融合，特征提取和融合后的第五模态数据输入到第二异常驾驶检测模型的系数注意力机制模型，输出当前预设时间段的第四预测误差值，确认第四预测误差值是否大于预测误差值，若第四预测误差值大于预测误差值时，则确认当前预设时间段的驾驶状态为异常驾驶状态。
进一步地，参照图3，图3为本发明方法第二实施例的流程示意图。基于上述图2所示的实施例，
步骤S50，获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一正常驾驶时间段的第三模态数据；
模拟异常驾驶状态，各种采集器采集模拟异常驾驶状态的数据，例如：驾驶员需要先进行正常驾驶持续30分钟，之后每两分钟模拟一次注意力分散实例。可针对最易使驾驶员出现注意力分散的情况进行设计场景，(1)回微信；(2)通话；(3)吃喝；(4)与乘客交谈；(5)整理妆容；(6)看手机；(7)使用导航；(8)看视频；(9)调整车内音响的音量；(10)看窗外分神，多模感知套件采集设计场景中的异常驾驶状态的数据，可以获取模拟车辆异常驾驶状态的多个第二样本，每一个第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的a个时刻的第二模态数据。同时获取车辆正常驾驶行为的多个第三样本，每一个第三样本包括多种采集器采集的同一正常驾驶时间段的c个时刻的第三模态数据。在实施例中，a＝c＝T，或者a≠c≠T，或者a＝c≠T，在完成第二异常驾驶检测模型的训练后，获取模拟异常驾驶状态的第二样本和获取正常驾驶状态的第三样本对检测模型，以进行进一步的模型判断和模型精度测试。
步骤S60，将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常驾驶检测模型中输出第三样本对应的第三预测误差值。
在实施例中，可以对第二样本的第二模态数据进行第二模态数据所属模态相应的预处理，例如：第二模态数据为图像视频数据时，进行图像视频相应的光照校正方法、连通成分快速标记、方向投影等预处理，第二模态数据为音频数据时，将音频数据预处理形成语谱图，同理，对第三样本的第三模态数据也可以进行第三模态数据所属模态相应的预处理，在此不再赘述。
将所述第二样本的a个时刻的第二模态数据输入到第二异常驾驶检测模型，第二异常驾驶检测模型的各相应的卷积神经网络模型对第二模态数据进行特征提取，并将特征后的同一时刻的第二模态数据进行融合，形成a个时刻的融合数据将a个时刻的历史融合数据输入到第二异常驾驶检测模型的稀疏注意力机制模型，获取所述模拟异常驾驶时间段前a-1个时刻的历史融合数据的原始注意力权重，再根据模拟异常驾驶时间段a-1个时刻的历史融合数据和其分别对应的原始注意力权重计算第a个时刻的预测值，再通过稀疏注意力机制模型的均方误差目标函数层计算所述第T个时刻预测值，与第T个时刻历史融合数据之间的第二预测误差值。
将第三样本的c个时刻的第三模态数据输入到第二异常驾驶检测模型，输出第三样本对应的第三预测误差，在此不再赘述。
步骤S70，将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型中输出的多个第二样本对应的第二预测误差值，和输出的多个第三样本对应的第三预测误差值组成验证集，获取组成的验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式，所述度量值计算公式如下：
Figure BDA0001980007390000151
其中e(x)为预测误差值，minxe(x)表示验证集中的最小值，maxxe(x)表示验证集中最大值，g(x)为度量值。
步骤S80，将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
第三异常驾驶检测模型在第二异常驾驶检测模型后加入度量值计算层，第二模型输出预测误差值，直接输入度量值计算层计算度量值，正常驾驶状态的预测误差值通过度量值计算公式转换成度量值时，度量值g(x)更大，反之，异常驾驶状态的预测误差值通过度量值计算公式转换成度量值时，度量值g(x)较小，设置合理的度量阈值作为能够判断获取的驾驶状态属于正常驾驶状态或异常驾驶状态，异常驾驶状态包括注意力分散状态等，当第三异常驾驶检测模型获取当前驾驶时间段的模态数据时，获得当前驾驶时间段的度量值，当当前驾驶时间段的度量值小于度量阈值时，则确认当前驾驶时间段的驾驶状态为异常驾驶状态，当前驾驶时间段的度量值大于度量阈值时，则确认当前驾驶时间段的驾驶状态为正常驾驶状态。
进一步地，参照图4，图4为本发明方法第三实施例的流程示意图。基于上述实施例，步骤S80之后，所述方法还可以包括：
步骤S90，根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的第二样本一致数；
将第二预测误差值输入度量值计算层，度量值计算层运用度量值计算公式计算第二样本对应的度量值，若第二样本对应的度量值小于度量阈值时，则判断第二样本的驾驶状态为异常驾驶状态，若第二样本对应的度量值大于度量阈值时，则判断第二样本的驾驶状态为正常驾驶状态，在完成判断后，确认判断的第二样本的驾驶状态是否与第二样本本身所属的驾驶状态是否一致，并对一致的第二样本进行计数，形成第二样本一致数。
步骤S100，根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的第三样本一致数；
将第三预测误差值输入度量值计算层，度量值计算层运用度量值计算公式计算第三样本对应的度量值，若第三样本对应的度量值小于度量阈值时，则判断第三样本的驾驶状态为异常驾驶状态，若第三样本对应的度量值大于度量阈值时，则判断第三样本的驾驶状态为正常驾驶状态，在完成判断后，确认判断的第三样本的驾驶状态是否与第三样本本身所属的驾驶状态是否一致，并对一致的第三样本进行计数，形成第三样本一致数。
步骤S110，根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算第三异常驾驶检测模型的测试精度。
将第二样本的一致数和第三样本一致数之和，除以第二样本数和第三样本之和，得到第三异常驾驶检测模型的测试精度，例如：第二样本数50，第三样本数50，第二样本一致数为49，第三样本一致数为48，则计算结果为(49+48)/(50+50)＝97％，即第三异常驾驶检测模型的测试精度为97％，可以通过第三异常驾驶检测模型的测试精度了解模型测试准确度，若计算的测试精度不高时，可以获取正常驾驶状态的第四样本对第三异常驾驶检测模型进行重新训练，直到测试精度达到要求，确认最终的异常驾驶检测模型。
进一步地，参照图5，图5为本发明异常驾驶检测模型建立方法第三实施例的流程示意图。基于上述的实施例，所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，步骤20可以包括：
步骤S21，将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将第一样本的T个时刻的第一模态数据输入到各对应模态的卷积神经网络模型中进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将所述第一模态数据输入到各对应模态的卷积神经网络模型中进行特征提取，卷积神经网络将同一时间输入的数据进行逐级的卷积操作，其结构层包括卷积层、池化层，卷积层描述为以下公式(2)：
hk＝σ(bk+∑l∈Lxl*wk) (2)
其中hk表示当前层的第k个特征映射的表征，σ(·)为线性整流函数(ReLU)，它是激活函数的一种，公式表达为σ(·)＝max(0,x)，xl表示前一层的L个特征映射中的第l个特征映射，*为2D卷积运算，wk和bk为当前层的第k个特征映射的卷积核和偏差值。池化层使用最大池化，将输入数据进行下采样，每次选取区域中的最大值代替这一个区域的值。
对卷积神经网络模型的参数进行调整适应不同采集器采集的第一模态数据，形成不同模态的卷积神经网络模型，不同采集器采集的第一模态数据形成的矩阵行列不一致，经过对应模态的卷积神经网络模型的卷积、池化等处理后，实现特征提取，在特征提取后形成具有相同行列的第一模态数据，并将同一时刻的相同行列的第一模态数据进行融合，形成一个矩阵数据，即历史融合数据，输出T个时刻的历史融合数据。
步骤S22，将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值。
针对多模感知套件采集的第一模态数据普遍具有的时序关联性，本发明将研究针对数据时序特征的模型训练方法，运用基于记忆的深度学习技术进行特征数据训练，实现对正常数据的泛化模式的建模。方法引入稀疏注意力机制模型以实现异常驾驶状态检测模型，对正常感知层信息流的上下文情景更准确的泛化描述；通过异常度量策略以实现对异常数据的准确识别。
传统的记忆网络有递归神经网络(RNN)、长短期记忆网络(LSTM)、门限循环单元(GRU)等，RNN网络结构如下：已知前T个时刻(不包括第T个时刻)的历史数据{Zt},t＝1,…,T-1，通过前T个时刻的历史数据获得第T个时刻的预测值
Figure BDA0001980007390000181
通过第T个时刻的预测值与历史值得到第一预测误差值，构建的模型如公式(3)所示：
Figure BDA0001980007390000182
其中ht表示第t个时刻的隐层输出，σ(·)为隐层上的激活函数，softmax为输出层的激活函数，即将一个m维向量压缩成另一个m维的实数向量，其中向量中的每个元素取值都介于(0,1)之间，即公式(4)
Figure BDA0001980007390000183
其中Z为归一化因子。其中待调整的参数包括权值连接U、W、V，及偏置b，c。
在驾驶员长时间驾驶车辆的过程中，对于传感器数据，当序列输入到上述记忆网络模型中时，随着序列的不断增长，原始数据根据时间步的方式表现的越来越差，这是由于原始数据的这种时间步模型设计结构有缺陷，即所有的上下文输入信息都被限制到固定长度，整个模型的能力都同样受到限制，而稀疏注意力机制模型恰好能够解决这个问题，稀疏注意力机制模型既保证了长时间跨度的记忆，也能够忽略过去的一些无关信息。一般注意力机制模型的计算公式如下：
Cx＝[ht-m；…；ht-1] (5)
Figure BDA0001980007390000184
Wx＝softmax(ex)(7)
Zc＝(WxCx)T (8)
其中历史特征为Cx，自动生成包含权重Wx，w表示权重设置个数，rx和Qx分别表示基于注意力权重向量和矩阵，Zc作为基于注意力的上下文输出结果。
稀疏注意力机制模型与之不同的是，其在前馈传播过程中，管理一个内存单元，并结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，如图6所示，过去时间步为集合{Zt-m,Zt-m+1,…,Zt-2}，生成隐藏变量{ht-m,ht-m+1,…,ht-2}，将其与Zt-1的临时隐藏状态
Figure BDA0001980007390000191
连接并通过多层感知机计算原始注意力权重，之后将计算得到的权重按照大小排序，选择最大的k个原始注意力权重，进行归一化处理，其他的注意力权重值则设为0，利用非零稀疏化注意力权值进行加权求和，将其添加到临时隐藏状态
Figure BDA0001980007390000192
中去计算隐藏状态ht-1，最终得到第T个时刻的预测值
Figure BDA0001980007390000193
使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值
Figure BDA0001980007390000194
与第T个时刻历史融合数据Zt的第一预测误差值。
进一步地，参照图7，图7为本发明异常驾驶检测模型建立方法第五实施例的流程示意图。基于上述的实施例，步骤S22可以包括：
步骤S221，将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
稀疏注意力机制模型与之不同的是，其在前馈传播过程中，管理一个内存单元，并结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，过去时间步为集合{Zt-m,Zt-m+1,…,Zt-2}，生成隐藏变量{ht-m,ht-m+1,…,ht-2}，将其与Zt-1的临时隐藏状态
Figure BDA0001980007390000195
连接并通过多层感知机计算原始注意力权重，之后将计算得到的权重按照大小排序，选择最大的k个原始注意力权重，进行归一化处理，其他的注意力权重值则设为0，利用非零稀疏化注意力权值进行加权求和，将其添加到临时隐藏状态
Figure BDA0001980007390000196
中去计算隐藏状态ht-1，最终得到第T个时刻的预测值
Figure BDA0001980007390000197
使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值
Figure BDA0001980007390000198
与第T个时刻历史融合数据Zt的第一预测误差值。进一步地，参照图8，图8为本发明异常驾驶检测模型建立方法第六实施例的流程示意图。基于上述的实施例，步骤S20之前，所述方法还包括：
步骤S120,将第一模态数据分别进行其所属模态相应的预处理。
对获取的第一模态数据分别根据其所属模态作相应的预处理，对获取的可穿戴传感器采集的运动传感数据和生理传感数据进行差值、滤波两步操作：可穿戴传感器采集的数据有不同的采样率，通过最近邻插值法将所有的数据对齐，便于之后数据的融合；由于传感器数据的高灵敏性，采用Savitzky-Golay滤波器和三阶一维中值滤波器消除数据的峰值，采用移动平均滤波消除噪声。其中，Savitzky-Golay滤波器是一种在时域内基于局域多项式最小二乘法拟合的滤波方法，将移动窗口进行加权平均，但加权系数不是简单的常数窗口，而是通过在滑动窗口内对给定高阶多项式的最小二乘拟合得出，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点，移动平均滤波基于统计规律，将连续的采样数据看成一个长度固定为N的队列，在新的一次测量后，上述队列的首数据去掉，其余N-1个数据依次前移，并将新的采样数据插入，作为新队列的尾；然后对这个队列进行算术运算，并将其结果做为本次测量的结果。
为了将音频数据以矩阵的形式输入到卷积神经网络中，将音频数据处理成语谱图，其反映了语音信号的动态频谱特征，把语音的电信号送入一组频率依次相接的窄带滤波器中，各个窄带滤波器的输出经整流均方后按频率由低到高的顺序记录。信号的强弱由灰度值来表示，其水平方向是时间轴，垂直方向是频率轴。
进一步地，参照图9，图9为本发明异常驾驶检测模型建立方法第七实施例的流程示意图。基于上述的实施例，所述第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，步骤21可以包括：
步骤S211，将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据。
红外摄像头采集视频图像数据，避免了人脸脸识别中的光照影响，其能为人脸识别提供不受环境光影响的、高质量的人脸图像。多模感知套件集成的红外摄像头通过光线辐射强度、辐射亮度等符合标准的主动近红外人脸成像设备来实时、非侵扰地监测驾驶员状态，有效解决视频图像感知问题。
语音作为人类最为重要的交流工具，简易方便，在人机交互的各种通讯方式中，语音交互是最好的交流方式，除声纹识别能够进行身份认证外，语音往往能够表达一定的意义和思想内容，以及表达出一定的语气、情感。随着智能网联汽车的发展，车载麦克风传感器能够采集驾驶员和乘客的语音信息以及环境音等，声音是监测驾驶员状态的一个重要因素，语音的声强、频率、节奏等因素往往能反映出人的状态。因此在面向驾驶行为监测的多模感知套件中集成音频传感器有助于对驾驶员情绪的判断以及进行身份认证等。
可穿戴运动传感器作为非干扰性的感知设备，内置加速度计，陀螺仪，磁力计等传感器，可以实时监测驾驶员的驾驶姿态，运动动作和与车辆的交互行为等，当前可穿戴传感器集成了众多的日常生活行为识别系统，具有较高便携性和时效性，将可穿戴传感器用于驾驶状态检测中，可获得更多维度的信息，提升整个系统的感知能力，其加速度和方向传感器数据作为车辆的运行参数可以检测醉驾等各类驾驶行为，也可用于检测驾驶员是否正确驾驶车辆，防止车辆碰撞事故。
生理传感器是驾驶员状态监测的重要组成部分。生理状态可通过多种方式得到，对精神状态的研究可选用心率、心率间期、皮肤电、呼吸频率、脑电等生理信号；对物理疲劳引发的肌肉紧张可选用肌电信号进行检测。通过生理参数能够客观、准确地反应人体的状态，生理参数往往与疲劳状态、突发性疾病等有着直接的映射关系，同时驾驶员的生理状态对其操作行为有着重要的影响，因此多模感知套件中通过集成生理传感器采集生理传感数据。
上述多模感知套件中获取将视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到各对应模态的卷积神经网络模型中进行特征提取，并提取后同一时刻的各数据进行融合，输出各个时刻的历史融合数据。
进一步地，参照图10，图10为本发明异常驾驶检测模型建立方法第八实施例的流程示意图。基于上述的实施例，步骤S80之后，所述方法还可以包括：
步骤S130，获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
在完成第三异常驾驶检测模型的度量阈值时，即建立形成了可以检测异常驾驶的模型，检测模型应用于车载中检测驾驶员的驾驶状态，多种采集器可以采集当前预设驾驶时间段的第四模态数据，所述当前预设驾驶时间段包括有D个时刻，所述当前预设驾驶时间段的第四模态数据包括所述当前预设驾驶时间段的D个时刻的第四模态数据，D可以等于T，也可以不等于T，采集器包括有视频图像采集器、音频采集器、运动传感器、生理检测传感器等，可将视频图像采集器、音频采集器、运动传感器、生理检测传感器集成为多模感知套件置于汽车智能座舱中，多模感知套件可采集驾驶员正常驾驶状态的视频图像数据、音频数据、运动传感数据、生理传感数据等第四模态数据，第三异常驾驶检测模型可以获取多种采集器采集的D个时刻的第四模态数据，基于所述第四模态数据多维度全面分析当前驾驶时间段驾驶员的驾驶状态是否异常。
步骤S140，将第四模态数据分别进行其所属模态相应的预处理；
在实施例中，可以对第四模态数据进行第四模态数据所属模态相应的预处理，例如：第四模态数据为图像视频数据时，进行图像视频相应的光照校正方法、连通成分快速标记、方向投影等预处理，第四模态数据为运动传感数据和生理传感数据时，对可穿戴传感器采集的运动传感数据和生理传感数据进行差值、滤波预处理：可穿戴传感器采集的数据有不同的采样率，通过最近邻插值法将所有的数据对齐，便于之后数据的融合；由于传感器数据的高灵敏性，采用Savitzky-Golay滤波器和三阶一维中值滤波器消除数据的峰值，采用移动平均滤波消除噪声。其中，Savitzky-Golay滤波器是一种在时域内基于局域多项式最小二乘法拟合的滤波方法，将移动窗口进行加权平均，但加权系数不是简单的常数窗口，而是通过在滑动窗口内对给定高阶多项式的最小二乘拟合得出，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点，移动平均滤波基于统计规律，将连续的采样数据看成一个长度固定为N的队列，在新的一次测量后，上述队列的首数据去掉，其余N-1个数据依次前移，并将新的采样数据插入，作为新队列的尾；然后对这个队列进行算术运算，并将其结果做为本次测量的结果。
第四模态数据为音频数据时，为了将音频数据以矩阵的形式输入到卷积神经网络中，将音频数据处理成语谱图，其反映了语音信号的动态频谱特征，把语音的电信号送入一组频率依次相接的窄带滤波器中，各个窄带滤波器的输出经整流均方后按频率由低到高的顺序记录。信号的强弱由灰度值来表示，其水平方向是时间轴，垂直方向是频率轴。
步骤S150，将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
将预处理后的D个时刻的第四模态数据输入到第三异常驾驶状态检测模型，输出当前驾驶时间段的第一预测误差值，第三异常驾驶状态检测模型包括稀疏注意力机制模型和各对应模态的卷积神经网络模型，对应模态的卷积神经网络模型包括对应视频图像的卷积神经网络模型、对应音频的卷积神经网络模型，对应运动传感的卷积神经网络模型、对应生理传感的卷积神经网络模型等；将预处理后的D个时刻的所述第四模态数据输入到第三异常驾驶状态检测模型的各对应模态的卷积神经网络模型中进行特征提取，并将特征提取后同一时刻的第四模态数据进行融合，输出正常驾驶时间段的D个时刻的历史融合数据，
将D个时刻的历史融合数据输入第三异常驾驶状态检测模型的稀疏注意力机制模型，所述稀疏注意力机制模型将输入的数据结合过去记忆中每个时间步，获得前D-1个时刻历史数据分别对应的原始注意力权重，根据所述前D-1个时刻历史数据与其分别对应的原始注意力权重获得第D个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第D个时刻的预测值，与第D个时刻历史融合数据的第四预测误差值，将第四预测误差值输入第三异常驾驶状态检测模型的度量值计算层，将第四预测误差值进行度量值公式运算获得当前预设驾驶时间段的第三度量值，并确认第三度量值是否小于度量阈值，当第三度量值小于度量阈值时，则确认当前驾驶时间段驾驶员驾驶状态为异常驾驶状态，发出声音进行报警提示，当第三度量值大于度量阈值时，则确认当前驾驶时间段驾驶员的驾驶状态为正常驾驶状态。
第三异常驾驶检测模型实现了端对端检测异常驾驶状态，自动提取特征和融合，并表征多模态信号，减少模态间的冗余性和噪声，且第三异常驾驶检测模型在训练过程中不需要异常状态下历史数据的参与，使得第三异常驾驶检测模型对于检测不同种类异常驾驶状态的鲁棒性更强。
本发明还提供一种异常驾驶检测模型建立装置。
本发明异常驾驶检测模型建立装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被所述处理器执行时实现如上所述的异常驾驶检测模型建立方法的步骤。
其中，在所述处理器上运行的异常驾驶检测模型建立程序被执行时所实现的方法可参照本发明异常驾驶检测模型建立方法各个实施例，此处不再赘述。
本发明还提供一种存储介质。
本发明存储介质上存储有异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被处理器执行时实现如上所述的异常驾驶检测模型建立方法的步骤。
其中，在所述处理器上运行的异常驾驶检测模型建立程序被执行时所实现的方法可参照本发明异常驾驶检测模型建立方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种异常驾驶检测模型建立方法，其特征在于，所述方法包括如下步骤：
获取正常驾驶状态的多个第一样本，每一个所述第一样本包括有多种采集器采集的同一正常驾驶时间段的第一模态数据；
将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值；
使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型；
设置第二异常驾驶检测模型判断异常驾驶状态的预测误差阈值；
所述第一异常驾驶状态检测模型包括有稀疏注意力机制模型和不同模态的卷积神经网络模型，所述正常驾驶时间段包括有T个时刻，所述正常驾驶时间段所述同一正常驾驶时间段的第一模态数据包括有所述正常驾驶时间段的T个时刻的第一模态数据，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据；
将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值。
2.如权利要求1所述的异常驾驶检测模型建立方法，其特征在于，所述使用反向传播算法根据多个第一样本对应的第一预测误差值，调整第一异常驾驶状态检测模型的参数，形成第二异常驾驶检测模型的步骤之后，所述方法包括：
获取车辆正常驾驶状态的多个第三样本和模拟车辆异常驾驶状态的多个第二样本，每一个所述第二样本包括有多种采集器采集的同一模拟异常驾驶时间段的第二模态数据，每一个所述第三样本包括有多种采集器采集的同一正常驾驶时间段的第三模态数据；
将所述第二样本的第二模态数据输入第二异常驾驶检测模型中输出第二样本对应的第二预测误差值，将所述第三样本的第三模态数据输入第二异常驾驶检测模型中输出第三样本对应的第三预测误差值；
将第二预测误差值和第三预测误差值组成验证集，获取验证集中的最大值和最小值，并使用所述最大值和最小值构建度量值计算公式；
将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值。
3.如权利要求2所述的异常驾驶检测模型建立方法，其特征在于，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
根据所述第二预测误差值和度量值计算公式计算第二样本对应的第一度量值，并根据第一度量值与预设度量阈值之间的大小，判断第二样本所属驾驶状态，并确认预测第二样本所属驾驶状态与第二样本所属真实驾驶状态的第二样本一致数；
根据所述第三预测误差值和度量值计算公式计算第三样本对应的第二度量值，并根据第二度量值与预设度量阈值之间的大小，预测第三样本所属驾驶状态，并确认预测第三样本所属驾驶状态与第三样本所属真实驾驶状态的第三样本一致数；
根据第二样本一致数、第三样本一致数与第二样本数、第三样本数计算第三异常驾驶检测模型的测试精度。
4.如权利要求1所述的异常驾驶检测模型建立方法，其特征在于，所述将所述T个时刻的历史融合数据输入稀疏注意力机制模型，输出所述第一样本对应的第一预测误差值的步骤包括：
将所述融合数据输入稀疏注意力机制模型，所述稀疏注意力机制模型将融合数据结合过去记忆中每个时间步，获得前T-1个时刻历史融合数据分别对应的原始注意力权重，并根据所述前T-1个时刻历史融合数据与其分别对应的原始注意力权重获得第T个时刻的预测值，使用稀疏注意力机制模型的均方误差目标函数层计算第T个时刻的预测值，与第T个时刻历史融合数据的第一预测误差值。
5.如权利要求4所述的异常驾驶检测模型建立方法，其特征在于，所述将所述第一样本的第一模态数据输入第一异常驾驶状态检测模型，输出所述第一样本对应的第一预测误差值的步骤之前，所述方法还包括：
将第一模态数据分别进行其所属模态相应的预处理。
6.如权利要求5所述的异常驾驶检测模型建立方法，其特征在于，所述第一模态数据包括视频图像数据、音频图像数据、运动传感数据和生理传感数据，所述将所述第一样本的T个时刻的第一模态数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的第一模态数据进行特征提取，并将特征提取后同一时刻的第一模态数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据的步骤包括：
将所述第一样本的T个时刻的视频图像数据、音频图像数据、运动传感数据和生理传感数据输入到对应模态的卷积神经网络模型，对应模态的卷积神经网络模型对T个时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行特征提取，并将特征提取后同一时刻的视频图像数据、音频图像数据、运动传感数据、生理传感数据进行融合，输出正常驾驶时间段的T个时刻的历史融合数据。
7.如权利要求6所述的异常驾驶检测模型建立方法，其特征在于，所述将第二异常驾驶检测模型与度量值计算公式组合，构建形成第三异常驾驶检测模型，并设置第三异常驾驶检测模型判断异常驾驶状态的度量阈值的步骤之后，所述方法还包括：
获取多种采集器采集的当前预设驾驶时间段的第四模态数据；
将第四模态数据分别进行其所属模态相应的预处理；
将预处理后的第四模态数据输入第三异常驾驶检测模型，输出当前预设驾驶时间段的第三度量值，并在确认第三度量值小于预设度量阈值时，确认当前预设时间段的驾驶状态为异常驾驶状态，发送报警提示。
8.一种异常驾驶检测模型建立装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被所述处理器执行时实现如权利要求1至7中任一项所述的异常驾驶检测模型建立方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有异常驾驶检测模型建立程序，所述异常驾驶检测模型建立程序被处理器执行时实现如权利要求1至7中任一项所述异常驾驶检测模型建立方法的步骤。
CN201910149082.9A 2019-02-27 2019-02-27 异常驾驶检测模型建立方法、装置及存储介质 Active CN109726771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149082.9A CN109726771B (zh) 2019-02-27 2019-02-27 异常驾驶检测模型建立方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149082.9A CN109726771B (zh) 2019-02-27 2019-02-27 异常驾驶检测模型建立方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109726771A CN109726771A (zh) 2019-05-07
CN109726771B true CN109726771B (zh) 2023-05-02

Family

ID=66300897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149082.9A Active CN109726771B (zh) 2019-02-27 2019-02-27 异常驾驶检测模型建立方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109726771B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110638473A (zh) * 2019-09-10 2020-01-03 中国平安财产保险股份有限公司 疲劳驾驶判定的方法、装置、电子设备和存储介质
JP7212607B2 (ja) * 2019-09-26 2023-01-25 ペンタ・セキュリティ・システムズ・インコーポレーテッド 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置
CN110647354B (zh) * 2019-09-30 2021-11-05 东软医疗系统股份有限公司 设备运行控制方法、装置及设备
CN110738190A (zh) * 2019-10-28 2020-01-31 北京经纬恒润科技有限公司 一种疲劳驾驶的判断方法、装置及设备
CN113491520A (zh) * 2020-04-07 2021-10-12 广州汽车集团股份有限公司 一种驾驶疲劳检测方法及装置
CN111625755B (zh) * 2020-05-21 2023-10-31 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、服务器、终端和可读存储介质
CN111739289B (zh) * 2020-06-02 2024-02-20 腾讯科技（深圳）有限公司 车辆预警信息的处理方法及装置
CN111694917B (zh) * 2020-06-10 2021-03-02 北京嘀嘀无限科技发展有限公司 一种车辆异常轨迹检测、模型训练方法及装置
CN111914887B (zh) * 2020-06-13 2024-02-09 广东越凯新材料有限公司 一种新型多模态化工过程异常状态检测方法
CN111879534B (zh) * 2020-07-29 2022-04-15 上海杰之能软件科技有限公司 一种城轨车辆制动系统的性能检测方法、系统以及设备
CN112061136A (zh) * 2020-08-26 2020-12-11 西北工业大学 基于长短期记忆网络的司机驾驶行为自动化分析方法
CN112101169B (zh) * 2020-09-08 2024-04-05 平安科技（深圳）有限公司 基于注意力机制的道路图像目标检测方法及相关设备
CN112016701B (zh) * 2020-09-09 2023-09-15 四川大学 一种融合时序和属性行为的异常变化检测方法及系统
CN112115601B (zh) * 2020-09-10 2022-05-17 西北工业大学 一种可靠的用户注意力监测估计表示模型
CN112783133B (zh) * 2021-01-25 2022-04-22 南京航空航天大学 一种agv运行状态预测方法
CN113283286B (zh) * 2021-03-24 2023-11-21 上海高德威智能交通系统有限公司 一种驾驶员异常行为检测方法和装置
CN113743532B (zh) * 2021-09-16 2024-03-19 睿云奇智(重庆)科技有限公司 异常检测方法、装置、设备及计算机存储介质
CN113807470B (zh) * 2021-11-17 2022-02-25 腾讯科技（深圳）有限公司 一种车辆行驶状态确定方法和相关装置
CN113992533B (zh) * 2021-12-29 2022-03-22 湖南大学 一种车载can总线数据异常检测识别方法
CN115239025B (zh) * 2022-09-21 2023-02-03 荣耀终端有限公司 一种支付预测方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090B (zh) * 2009-04-14 2011-06-15 华南理工大学 基于多元信息融合的驾驶员疲劳监测方法
CN101609411B (zh) * 2009-07-27 2013-01-09 四川大学 一种基于复杂度的嵌入式软件功耗bp神经网络建模方法
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
US10086699B2 (en) * 2015-06-24 2018-10-02 Nissan North America, Inc. Vehicle operation assistance information management for autonomous vehicle control operation
CN105513362B (zh) * 2016-02-03 2017-11-03 东南大学 一种公交站台毗邻区公交车运行状态评价验证方法
CN106778583B (zh) * 2016-12-07 2019-12-17 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106611169B (zh) * 2016-12-31 2018-10-23 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN108171176B (zh) * 2017-12-29 2020-04-24 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置
CN108407816B (zh) * 2018-01-19 2020-07-10 杭州砺玛物联网科技有限公司 一种汽车驾驶员驾驶评估方法及系统
CN108564204B (zh) * 2018-03-23 2022-01-07 西安理工大学 基于最大相关熵准则的最小二乘支持向量机电量预测方法
CN108549862A (zh) * 2018-04-11 2018-09-18 北京航空航天大学 异常场景检测方法及装置
CN109272157A (zh) * 2018-09-12 2019-01-25 中交信息技术国家工程实验室有限公司 一种基于门控神经网络的高速公路交通流参数预测方法及系统

Also Published As

Publication number Publication date
CN109726771A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109726771B (zh) 异常驾驶检测模型建立方法、装置及存储介质
CN106956271B (zh) 预测情感状态的方法和机器人
CN109949438B (zh) 异常驾驶监测模型建立方法、装置及存储介质
EP2111796B1 (en) Awake state judging model making device, awake state judging device, and warning device
CN110151203B (zh) 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
Zhang et al. Deep unsupervised multi-modal fusion network for detecting driver distraction
CN109858553B (zh) 驾驶状态的监测模型更新方法、更新装置及存储介质
CN111753674A (zh) 一种基于深度学习的疲劳驾驶的检测识别方法
CN109875583B (zh) 一种基于ar技术的疲劳驾驶检测系统及方法
CN113743471B (zh) 一种驾驶评估方法及其系统
CN110547807A (zh) 驾驶行为分析方法、装置、设备及计算机可读存储介质
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
Peng et al. 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue
US20200054262A1 (en) Method for real time analyzing stress using deep neural network algorithm
Abbas et al. Hypo-driver: a multiview driver fatigue and distraction level detection system
KR20210116309A (ko) 운전자 모니터링 시스템에서 미디어 유도 정서로부터 운전 정서를 분리하는 기술
US20230339475A1 (en) Facial recognition and monitoring device, system, and method
Dhanraj et al. Efficient smartphone-based human activity recognition using convolutional neural network
Suresh et al. Driver drowsiness detection using deep learning
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN111062300A (zh) 驾驶状态检测方法、装置、设备及计算机可读存储介质
Dehzangi et al. Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors
Wang et al. EEG-based emergency braking intention prediction for brain-controlled driving considering one electrode falling-off
CN114435373A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
KR102543604B1 (ko) 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 706, building 3b, hongrongyuan Shangjun phase II, Longping community, Dalang street, Longhua District, Shenzhen City, Guangdong Province

Applicant after: Jintu computing technology (Shenzhen) Co.,Ltd.

Address before: 518000 area a, 18 / F, building 1, creative park, broadcasting group, No.1 Qingqing Road, Qinghu community, Longhua sub district office, Longhua District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN SEMISKY TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant