CN113642548A - 氢能运输车的异常驾驶行为检测、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种氢能运输车的异常驾驶行为检测方法、装置、计算机设备和存储介质，致力于提供一种可靠的、全面的对司机驾驶行为检测的方法。该氢能运输车的异常驾驶行为检测方法，首先通过可见光和红外图像对司机进行了表情，以及头部动作的分析，同时结合车辆自身数据，将可见光和红外图像与车身信息一起，对司机的驾驶行为进行综合判断，最后结合车辆的点子围栏分析结果，从司机的驾驶行为以及驾驶造成的驾驶事件两个维度对司机的驾驶行为进行检测，保证了检测结果的综合全面性，得到的结果可靠度高。

Description

氢能运输车的异常驾驶行为检测、装置和计算机设备

技术领域

本申请涉及新能源技术领域，特别是涉及一种氢能运输车的异常驾驶行为检测、装置、计算机设备和存储介质。

背景技术

我国正在发展氢能产业，这是我国能源消费结构优化、实现电网和气网互联互通的重要途径。发展氢能产业还能够有效带动新材料、新能源汽车以及氢储存与运输等高端装备制造业发展，对于我国加快产业结构调整、实现高质量发展具有重要意义。新能源汽车和大数据的融合是大势所趋。

驾驶员是承载氢能运输的关键角色，鉴于氢能运输途中存在高危型的特点，因此驾驶员具有良好的驾驶行为和状态是保证氢能顺利运输的关键。因此如何保证驾驶员在运输途中驾驶规范且状态良好是亟需解决的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种氢能运输车的异常驾驶行为检测方法、装置、计算机设备和存储介质。

一种氢能运输车的异常驾驶行为检测方法，所述方法包括：

利用可见光传感器实时获取司机的可见光驾驶图像；

利用红外传感器实时获取司机的红外驾驶图像；

根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；

基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；

将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；

实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；

根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

在其中一个可选的实施例中，根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征，包括：

将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；

将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；

将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，

根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

在其中一个可选的实施例中，根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征，包括：

将所述红外图像和可见光图像进行时空对齐；

对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；

将所述融合图像输入特征提取网络，得到所述司机的头部特征。

在其中一个可选的实施例中，实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果，包括：

将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；

基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

在其中一个可选的实施例中，将所述氢能运输车辆的定位信息投影至高精地图，包括：

获取所述氢能运输车辆的北斗定位信息和GPS定位信息；

将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

在其中一个可选的实施例中，将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息，包括：

获取所述氢能运输车辆的车载传感信息；

将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

在其中一个可选的实施例中，获取所述氢能运输车辆的车载传感信息，包括：

利用车载相机和/或雷达装置获取诉搜狐氢能运输车辆的驾驶舱外的环境信息；

对所述环境信息进行目标检测，得到环境感知结果；

将所述环境感知结果作为所述车载传感信息。

一种动态氢能货运路线规划装置，所述装置包括：

信息获取模块，用于利用可见光传感器实时获取司机的可见光驾驶图像，利用红外传感器实时获取司机的红外驾驶图像；以及实时获取氢能运输车辆的定位信息以及对应的时间；

特征提取模块，用于根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；以及基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；

模型处理模块，用于将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；以及根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；

评价模块，用于根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述的氢能运输车的异常驾驶行为检测方法、装置、计算机设备和存储介质，其中，氢能运输车的异常驾驶行为检测方法首先通过可见光和红外图像对司机进行了表情，以及头部动作的分析，同时结合车辆自身数据，将可见光和红外图像与车身信息一起，对司机的驾驶行为进行综合判断，最后结合车辆的点子围栏分析结果，从司机的驾驶行为以及驾驶造成的驾驶事件两个维度对司机的驾驶行为进行检测，保证了检测结果的综合全面性，得到的结果可靠度高。

附图说明

图1为一个实施例中氢能运输车的异常驾驶行为检测的应用环境图；

图2为一个实施例中氢能运输车的异常驾驶行为检测的流程示意图；

图3为一个实施例中步骤S104的流程示意图；

图4为另一个实施例中步骤S104的流程示意图；

图5为一个实施例中动态氢能货运路线规划装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种氢能运输车的异常驾驶行为检测，可以应用于如图1所示的应用环境中。其中，服务器104与终端102进行通信。其中，终端102为货运车辆与服务器通信的智能终端，其形式可以但不限于是各种车载终端、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，该终端102可以获取车辆的中控和/或传感器的数据，并基于自身获取的或者从车辆其他系统获取的数据与服务器104通信。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种氢能运输车的异常驾驶行为检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S110：利用可见光传感器实时获取司机的可见光驾驶图像，以及利用红外传感器实时获取司机的红外驾驶图像。

其中，可见光传感和红外传感器可以安装在氢能运输车辆的前挡风玻璃处，或者，中控台的合适位置。需保证可见光传感器和红外传感器可以清晰的拍摄到司机的人脸。可见光传感器和红外传感器可以是基于车辆的启动而启动，基于车辆的熄火而关闭。可选地，可见光传感器和红外传感器也可以是基于司机座椅的传感器而触发工作的。

步骤S120：根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征。

终端102获取可见光驾驶图像和所述红外驾驶图像在本地进行特征提取得到司机的头部特征，或者将可见光驾驶图像和所述红外驾驶图像发送至服务器104，由服务器104进行特征提取得到司机的头部特征。

可选地，将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；

将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

可选地，将所述红外图像和可见光图像进行时空对齐；对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；将所述融合图像输入特征提取网络，得到所述司机的头部特征。本实施例可以避免各类图像各自进行特征提取造成的信息损失，本实施例通过将图像进行融合之后进行特征提取，可以起到各个图像信息互相补充的作用。

步骤S130：基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征。

其中，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息。可选地，终端102通过车载的中控以及安装的传感器获取车辆行驶的速度，加速度，转向角以及方向盘握力信息；之后将这些信息输入构建的特征提取网络，得到司机的驾驶行为特征。

步骤S140：将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果。

在执行本步骤前，通常会进行驾驶行为监测模型的构建与训练，具体过程可以为：

a.构建原始驾驶行为监测模型；b.获取多个司机驾驶行为的历史数据，该历史数据包含司机的头部特征以及及时行为特征；c.对获取的历史数据进行驾驶行为标记以构建训练样本集； d.将所述构建训练样本集输入所述原始驾驶行为监测模型，将驾驶行为标记作为参考，进行模型训练，得到所述驾驶行为监测模型。

步骤S150：实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果。

可选地，服务器104将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

步骤S160：根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

上述氢能运输车的异常驾驶行为检测方法中，首先通过可见光和红外图像对司机进行了表情，以及头部动作的分析，同时结合车辆自身数据，将可见光和红外图像与车身信息一起，对司机的驾驶行为进行综合判断，最后结合车辆的点子围栏分析结果，从司机的驾驶行为以及驾驶造成的驾驶事件两个维度对司机的驾驶行为进行检测，保证了检测结果的综合全面性，得到的结果可靠度高。

在一个实施例中，如图3所示，获取氢能运输车辆的定位信息的步骤包括：

步骤S151：获取所述氢能运输车辆的北斗定位信息和GPS定位信息。

步骤S152：将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

北斗定位信息是通过北斗卫星导航系统获取的定位信息。北斗卫星导航系统（以下简称北斗系统）是中国着眼于国家安全和经济社会发展需要，自主建设、独立运行的卫星导航系统，是为全球用户提供全天候、全天时、高精度的定位、导航和授时服务的国家重要空间基础设施。北斗系统具有以下特点：一是北斗系统空间段采用三种轨道卫星组成的混合星座，与其他卫星导航系统相比高轨卫星更多，抗遮挡能力强，尤其低纬度地区性能特点更为明显。二是北斗系统提供多个频点的导航信号，能够通过多频信号组合使用等方式提高服务精度。三是北斗系统创新融合了导航与通信能力，具有实时导航、快速定位、精确授时、位置报告和短报文通信服务五大功能。

GPS定位信息是通过GPS全球定位导航系统获得的定位信息。GPS（GlobalPositioning System）即全球定位系统，是美国研制的卫星导航定位系统，今采用wgs84坐标系统。因地球在天球空间中的位置是不稳定的，故协议用wgs84某一刻的北极点指向位置。

卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。

本实施例的方法通过卡尔曼滤波算法处理了多种位置信息获取源得到的定位信息，得到位置更加准确，进而，由于位置信息是进行多种状态变化信息的计算的基础，在利用该位置信息进行对应的状态变化计算时，得到的结果更加准确，例如：该位置信息用于车辆的行驶状态变化计算和运输信息变化计算时，得到的结果必然是更加准确。本实施例利用卡尔曼滤波算法，将北斗定位信息以及GPS定位信息进行融合，综合两个定位系统的技术优势，保证了车辆的定位精度。而定位精度是车辆状态检测以及电子围栏判断的基础，基于本申请的定位信息获取的技术优势，本申请的技术方案对司机的驾驶行为判断更加准确。

在一个实施例中，如图4所示，步骤S152包括：

步骤S1521：获取所述氢能运输车辆的车载传感信息。

具体的，利用车载相机和/或雷达装置获取所述氢能运输车辆的驾驶舱外的环境信息；对所述环境信息进行目标检测，得到环境感知结果；将所述环境感知结果作为所述车载传感信息。

步骤S1521：将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

本实施例采用无损卡尔曼滤波的信息融合算法定位解算北斗系统和GPS系统，结合车载传感器感知的数据，以相同的时间窗口，进行动态的驾驶行为分析和电子围栏分析，得到的结果更加准确可靠。适用的道路和场景（加氢站点，道路）更加广泛。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种氢能运输车的异常驾驶行为检测装置，包括：

信息获取模块510，用于利用可见光传感器实时获取司机的可见光驾驶图像，利用红外传感器实时获取司机的红外驾驶图像；以及实时获取氢能运输车辆的定位信息以及对应的时间；

特征提取模块520，用于根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；以及基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；

模型处理模块530，用于将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；以及根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；

评价模块540，用于根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

在其中一个可选的实施例中，特征提取模块520具体用于将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

在其中一个可选的实施例中，特征提取模块520具体用于将所述红外图像和可见光图像进行时空对齐；对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；将所述融合图像输入特征提取网络，得到所述司机的头部特征。

在其中一个可选的实施例中，模型处理模块530具体用于将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

在其中一个可选的实施例中，信息获取模块510具体用于获取所述氢能运输车辆的北斗定位信息和GPS定位信息；将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

在其中一个可选的实施例中，信息获取模块510具体用于获取所述氢能运输车辆的车载传感信息；将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

在其中一个可选的实施例中，信息获取模块510具体用于利用车载相机和/或雷达装置获取所述氢能运输车辆的驾驶舱外的环境信息；对所述环境信息进行目标检测，得到环境感知结果；将所述环境感知结果作为所述车载传感信息。

关于氢能运输车的异常驾驶行为检测装置的具体限定可以参见上文中对于氢能运输车的异常驾驶行为检测方法的限定，在此不再赘述。上述氢能运输车的异常驾驶行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储货运车辆相关数据、加氢站相关数据以及中间站点、道路相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种氢能运输车的异常驾驶行为检测。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如下步骤：利用可见光传感器实时获取司机的可见光驾驶图像；利用红外传感器实时获取司机的红外驾驶图像；根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

在一个实施例中，处理器执行计算机程序时实现以下步骤：将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

在一个实施例中，处理器执行计算机程序时实现以下步骤：将所述红外图像和可见光图像进行时空对齐；对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；将所述融合图像输入特征提取网络，得到所述司机的头部特征。

在一个实施例中，处理器执行计算机程序时实现以下步骤：将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

在一个实施例中，处理器执行计算机程序时实现以下步骤：获取所述氢能运输车辆的北斗定位信息和GPS定位信息；将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

在一个实施例中，处理器执行计算机程序时实现以下步骤：获取所述氢能运输车辆的车载传感信息；将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

在一个实施例中，处理器执行计算机程序时实现以下步骤：利用车载相机和/或雷达装置获取所述氢能运输车辆的驾驶舱外的环境信息；对所述环境信息进行目标检测，得到环境感知结果；将所述环境感知结果作为所述车载传感信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：利用可见光传感器实时获取司机的可见光驾驶图像；利用红外传感器实时获取司机的红外驾驶图像；根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：将所述红外图像和可见光图像进行时空对齐；对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；将所述融合图像输入特征提取网络，得到所述司机的头部特征。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取所述氢能运输车辆的北斗定位信息和GPS定位信息；将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取所述氢能运输车辆的车载传感信息；将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：利用车载相机和/或雷达装置获取所述氢能运输车辆的驾驶舱外的环境信息；对所述环境信息进行目标检测，得到环境感知结果；将所述环境感知结果作为所述车载传感信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种氢能运输车的异常驾驶行为检测方法，其特征在于，所述方法包括：

利用可见光传感器实时获取司机的可见光驾驶图像；

利用红外传感器实时获取司机的红外驾驶图像；

根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；

基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；

将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；

实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；

根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

2.根据权利要求1所述的方法，其特征在于，根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征，包括：

将所述可见光驾驶图像输入图像特征提取网络，得到所述司机的眼部特征、第一表情特征以及第一头部偏转特征；

将所述红外图像，输入红外特征提取网络，得到所述司机的第二表情特征以及第二头部偏转特征；

将所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征进行时间和空间的对齐，

根据时间和空间对齐后的所述司机的眼部特征、第一表情特征以及第一头部偏转特征以及所述司机的第二表情特征以及第二头部偏转特征，计算得到所述司机的头部特征。

3.根据权利要求1所述的方法，其特征在于，根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征，包括：

将所述红外图像和可见光图像进行时空对齐；

对时空对齐后的红外图像和可见光图像进行像素加权，得到融合图像；

将所述融合图像输入特征提取网络，得到所述司机的头部特征。

4.根据权利要求1所述的方法，其特征在于，实时获取氢能运输车辆的定位信息以及对应的时间，根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果，包括：

将所述氢能运输车辆的定位信息投影至高精地图；所述高精地图设定了电子围栏区域；

基于所述定位信息的投影结果，以及所述电子围栏的位置和时限信息，确定所述电子围栏分析结果。

5.根据权利要求4所述的方法，其特征在于，将所述氢能运输车辆的定位信息投影至高精地图，包括：

获取所述氢能运输车辆的北斗定位信息和GPS定位信息；

将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息。

6.根据权利要求5所述的方法，其特征在于，将所述北斗定位信息和GPS定位信息输入卡尔曼滤波算法，进行定位信息融合计算，得到所述氢能运输车辆的定位信息，包括：

获取所述氢能运输车辆的车载传感信息；

将所述车载传感信息与所述定位信息进行时间对齐，根据对齐的车载传感信息校准所述定位信息。

7.根据权利要求6所述的方法，其特征在于，获取所述氢能运输车辆的车载传感信息，包括：

利用车载相机和/或雷达装置获取所述氢能运输车辆的驾驶舱外的环境信息；

对所述环境信息进行目标检测，得到环境感知结果；

将所述环境感知结果作为所述车载传感信息。

8.一种动态氢能货运路线规划装置，其特征在于，所述装置包括：

信息获取模块，用于利用可见光传感器实时获取司机的可见光驾驶图像，利用红外传感器实时获取司机的红外驾驶图像；以及实时获取氢能运输车辆的定位信息以及对应的时间；

特征提取模块，用于根据所述可见光驾驶图像和所述红外驾驶图像获取所述司机的头部特征；以及基于所述氢能运输车辆的速度，加速度，转向角以及方向盘握力信息，获取所述司机的驾驶行为特征，所述驾驶行为特征包含捏姿特征，车身速度，方向盘转动幅度，以及车况信息；

模型处理模块，用于将所述头部特征以及所述驾驶行为特征输入预设的驾驶行为监测模型，得到驾驶行为评价结果；以及根据所述氢能运输车辆的定位信息以及对应的时间，对所述氢能车辆进行电子围栏分析，得到电子围栏分析结果；

评价模块，用于根据所述电子围栏分析结果以及所述驾驶行为评价结果，输出司机的异常驾驶行为检测结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images