CN113724500B - 叉车坡道违规行驶预警方法及系统 - Google Patents

Abstract

本发明实施例提供一种叉车坡道违规行驶预警方法及系统，属于车辆操作安全技术领域，实现了对叉车在坡道上违规行驶的监控，可有效防止叉车在坡道载物行驶时出现货物掉落、叉车侧翻等危险情况的发生。所述方法包括：获取坡道监控视频；根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息。本发明实施例适用于叉车坡道行驶的监控过程。

Description

叉车坡道违规行驶预警方法及系统

技术领域

本发明涉及车辆操作安全技术领域，具体地涉及一种叉车坡道违规行驶预警方法及系统。

背景技术

叉车作为典型特种作业设备，广泛用于石化、港口、电力、物流等行业，用来替代人工装卸、搬运作业。随着叉车保有量的增多及对安全工作的日益重视，叉车安全风险管控受到高度关注。

现有的叉车安全控制系统，主要侧重于防碰、安全警示、防倾斜等功能，如：CN201910071035.7公开了一种叉车安全防撞系统，通过设置弧形磁场防撞警示系统，设置双层的立体磁场，当触碰外侧一层立体磁场时，会根据入侵物的动态进行警示，最终触发刹车系统停车刹车或者车速维持系统继续前进；CN201520597655.1公开了一种叉车安全指示装置，通过一字线激光灯的投影来限定叉车间的安全距离，将安全距离可视化，更具有可靠性，提高了安全性。

针对叉车上下坡的行驶操作，企业有明确的制度要求。但目前存在制度要求无法落地的情况，尤其是针对叉车在厂区内坡道行驶的安全问题，其半坡停车、载物时行驶方向不对、跨道行驶或转弯等现象，缺乏针对性的技术管控措施。目前单纯的依靠加强现场安全检查、强化人员教育培训、增设现场警示牌等措施，不能满足叉车在厂区内坡道安全管控的要求，无法从根源解决安全问题。

发明内容

本发明实施例的目的是提供一种叉车坡道违规行驶预警方法及系统，该方法可根据坡道监控视频对叉车坡道违规行驶提示报警信息，以保证叉车在厂区内坡道行驶的安全。

为了实现上述目的，本发明实施例提供一种叉车坡道违规行驶预警方法，所述方法包括：获取坡道监控视频；根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息。

进一步地，所述预设坡道违规行驶情况包括：所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下；所述行驶轨迹的方向偏转超过设定阈值的情况下；或根据所述行驶轨迹确定所述叉车在预设时间内的位移为零的情况下。

进一步地，所述根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置包括：提取所述坡道监控视频中的图像帧；根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；利用所跟踪的所述叉车位置确定所述叉车的行驶轨迹；根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧；根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置。

进一步地，在所述确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置之前，所述方法还包括通过下述方式确定所述预设目标检测模型：将所述图像帧中的指定帧画面作为训练数据和验证数据；通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型；利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率；当所述召回率、精确率、平均正确率均满足对应的条件时，将所述初始预设目标检测模型确定为所述预设目标检测模型；当所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，利用重新获取的指定帧画面作为训练数据重新训练初始预设目标检测模型。

进一步地，在所述确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置之前，所述方法还包括通过下述方式确定所述预设目标质量衡量模型：获取所述叉车图像作为模型训练数据，所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像；通过深度学习，利用所述模型训练数据训练得到所述预设目标质量衡量模型。

进一步地，通过下述方式确定所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况：根据所述叉车的行驶轨迹确定所述叉车的行驶方向；当所述行驶方向与所述坡道的上坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的前方；当所述行驶方向与所述坡道的下坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的后方；当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。

进一步地，在所述提示报警信息之后，所述方法还包括：提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况；根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。

相应地，本发明实施例还提供一种叉车坡道违规行驶预警系统，所述系统包括：数据获取模块，用于获取坡道监控视频；控制器，用于执行以下操作：根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息。

进一步地，所述预设坡道违规行驶情况包括：所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下；所述行驶轨迹的方向偏转超过设定阈值的情况下；或根据所述行驶轨迹确定所述叉车在预设时间内的位移为零的情况下。

进一步地，所述根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置包括：提取所述坡道监控视频中的图像帧；根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；利用所跟踪的所述叉车位置确定所述叉车的行驶轨迹；根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧；根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置。

进一步地，通过下述方式确定所述预设目标检测模型：将所述图像帧中的指定帧画面作为训练数据和验证数据；通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型；利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率；当所述召回率、精确率、平均正确率均满足对应的条件时，将所述初始预设目标检测模型确定为所述预设目标检测模型；当所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，利用重新获取的指定帧画面作为训练数据重新训练初始预设目标检测模型。

进一步地，通过下述方式确定所述预设目标质量衡量模型：获取所述叉车图像作为模型训练数据，所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像；通过深度学习，利用所述模型训练数据训练得到所述预设目标质量衡量模型。

进一步地，通过下述方式确定所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况：根据所述叉车的行驶轨迹确定所述叉车的行驶方向；当所述行驶方向与所述坡道的上坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的前方；当所述行驶方向与所述坡道的下坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的后方；当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。

进一步地，所述控制器在提示所述报警信息之后，还用于：提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况；根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。

相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行如上所述的叉车坡道违规行驶预警方法。

通过上述技术方案，获取坡道监控视频，并根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置，当根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车处于预设坡道违规行驶情况时，提示报警信息。本发明实施例利用企业现有视频监控设备设施，不增加额外硬件或费用投入，实现了对叉车在坡道上违规行驶的监控，可有效防止叉车在坡道载物行驶时出现货物掉落、叉车侧翻等危险情况的发生，以保证叉车在厂区内坡道行驶的安全。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例提供的一种叉车坡道违规行驶预警方法的流程示意图；

图2是本发明实施例提供的载物叉车上坡示意图；

图3是本发明实施例提供的载物叉车下坡示意图；

图4是本发明实施例提供的一种叉车坡道违规行驶预警系统的结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

实施例一

图1是本发明实施例一提供的一种叉车坡道违规行驶预警方法的流程示意图。如图1所示，所述方法包括如下步骤：

步骤101，获取坡道监控视频。

对于坡道监控视频的获取，可以利用厂区内已有的监控摄像，只要获取的坡道监控视频画面清晰、有效即可。另外，视频来源不限于固定或移动视频监控前端，且每个摄像头根据监管需要，可灵活配置不同的分析算法，可以多种算法同时运行，也可针对性选择其中一种。另外，通过摄像头架设位置及采集到的图像，提前预设好坡道的上坡和下坡方向，后续与叉车行驶轨迹跟踪来联合判定叉车的上坡和下坡行驶状态。

其中，对于获取到的坡道监控视频可通过视频传输的RTSP(real time streamingprotocol，实时流传输协议)传送到视频存储服务器，以便后续对坡道监控视频中的叉车的行驶情况进行检测、分析。

步骤102，根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置。

其中，对于所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置的确定，主要包括所述叉车位置、所述叉车上的驾驶员位置与升降台位置的检测、上述位置的跟踪、所述叉车的行驶轨迹的确定以及所述叉车上的驾驶员目标位置与升降台目标位置的确定。

首先，提取所述坡道监控视频中的图像帧，然后根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置。具体地，建立所述预设目标检测模型。其中，将所述图像帧中的指定帧画面作为训练数据和验证数据，并通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型。

①作为训练数据的指定帧画面不低于1万张，包含各种类型的数据，如遵循坡道行驶规章的叉车行驶图像及违规行驶的叉车行驶图像。

②采用Caffe框架的Faster RCNN算法对叉车行驶图像进行训练。在结构上FasterRCNN已经将特征抽取、候选框提取、边界框回归、目标分类整合在了一个网络中，使得综合性能有较大提高，在检测方面尤为明显，适用于对叉车坡道行驶轨迹的检测。检测叉车上的驾驶员和升降台是为了确认叉车行驶方向、驾驶员位置和升降台位置。

③训练过程中使用labellmg标注工具进行标注，主要包括3个类别，分别是叉车forklift，叉车上的驾驶员driver，叉车上的升降台parts。训练过程是将标注好的画面输入到深度学习的框架中，多次迭代，更新模型的普通参数，学习标注类别的特征。在训练过程中，多次修改与训练有关的参数，以得到较好的训练结果。另外，为扩大数据量并防止后续模型训练时可能出现的模型过拟合现象，在训练之前对画面进行反转、缩放、剪裁、平移、添加噪声等数据增强操作，从而创造出更多样本，提升神经网络的泛化能力。通过训练数据最终训练出初始预设目标检测模型。

④验证数据在训练过程中的作用是确定模型和修改超参数，如学习率等，反向递归修改权重，验证初始预设目标检测模型的泛化能力，使得模型在验证数据上达到最优，从而将最优的初始预设目标检测模型确定为预设目标检测模型。本系统中设定训练数据和验证数据的数据量比为3:1。

之后，利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率，从而衡量所述初始预设目标检测模型预测的准确性。

召回率(recall)表示样本中的正样本被正确预测的比例，即高召回率表示被漏检的正样本少，计算公式：

精确率(precision)表示预测为正样本中的样本实际为正样本的比例，高精确率表示误检低，计算公式：

其中，TP(True Positive)为正样本中被正确预测划分为正样本的数量，TN(TrueNegative)为负样本中被正确预测划分为负样本的数量，FP(False Positive)为负样本中被错误预测划分为正样本的数量，FN(False Negative)为正样本中被错误预测划分为负样本的数量。

平均正确率(AP，Average Precision)是AP曲线面积积分，衡量训练出的模型对于每个类别预测的准确性。平均AP值(mAP)是所有AP的平均值，衡量的是训练出的模型对全部类别预测的准确性。

在AP值的计算过程中，需要首先以精确率(Precision)为y轴，以召回率(Recall)为x轴，构建PR曲线。由于每个类别分别存在对应的精确率和召回率，在选取不同的目标置信度的阈值时，会存在对应的精确率和召回率，因此也就得到该阈值下的PR曲线，从而得到了三个类别的PR曲线。每个类别的PR曲线下的面积即为该类别的AP值，三个AP值的均值为所述平均正确率。

在通过验证数据计算得到所述初始预设目标检测模型在预设阈值下的召回率、精确率、平均正确率之后，根据每个标准对应的条件来判断所述模型的准确率是否满足要求。其中，召回率对应的条件为大于90％，精确率对应的条件为大于90％，平均AP对应的条件为大于85％。只有当计算得到的召回率、精确率、平均正确率均满足对应的条件时，才会将所述初始预设目标检测模型确定为所述预设目标检测模型。若是所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，则重新获取坡道监控视频，并从中提取图像帧，将重新获取的图像帧中的指定帧画面作为新的训练数据和验证数据，重新训练初始预设目标检测模型，直到所建立的模型计算得到的召回率、精确率、平均正确率均满足对应的条件。

然后，定位了所述叉车位置以及所述叉车上的驾驶员位置与升降台位置之后，需要对上述位置进行跟踪，即通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置。

①将通过预设目标检测模型检测到的叉车、驾驶员、升降台作为初始化目标，创建跟踪器，并对每个初始化目标标注唯一对应的标识。

②通过卡尔曼滤波器，基于每个初始化目标的运动参数(例如状态预测和协方差预测)预测间隔时间后的预测目标的目标预测框，，然后计算每个标识对应的目标预测框与当前帧的目标检测框的IOU(交并比)，并将IOU最大的目标预测框作为该标识的所匹配到的目标。

其中目标预测框与目标检测框的交并比如下所示：

IOU(previous,current)

＝(previous(x,y,w,h)∩current(x,y,w,h))/(previous(x,y,w,h)∪current(x,y,w,h))

其中，previous表示目标预测框，current表示目标检测框，x表示目标框中心点横坐标，y表示目标框中心点纵坐标，w表示目标框的宽度，y表示目标框的高度。

③用当前帧匹配到的目标预测框更新跟踪器。

通过上述所跟踪的所述叉车位置确定所述叉车的行驶轨迹。然后，根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧。其中，所述预设目标质量衡量模型是基于深度学习框架的分类模型，获取所述叉车图像作为模型训练数据，其中所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像，从而通过深度学习，利用所述模型训练数据训练得到评价叉车图像质量好坏的所述预设目标质量衡量模型。也就是说，利用所述预设目标质量衡量模型，在所述行驶轨迹的连续N帧中确定位置及角度最佳的指定图像帧。

之后，再次根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置，以便于后续评判叉车的行驶情况。

步骤103，根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；

步骤104，当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息。

若确定所述叉车未处于所述预设坡道违规行驶情况时，则继续监视，返回步骤101获取坡道监控视频。

其中，所述预设坡道违规行驶情况包括：

第一种，所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下；

第二种，所述行驶轨迹的方向偏转超过设定阈值的情况下；或

第三种，根据所述行驶轨迹确定所述叉车在预设时间内的位移为零的情况下。

①对于第一种违规驾驶情况，是通过下述方式确定的：

首先，根据所述叉车的行驶轨迹确定所述叉车的行驶方向。而坡道方向已经预先定义，因此当所述行驶方向与所述坡道的上坡方向一致时，表明所述叉车处于上坡状态，需要判断所述驾驶员目标位置是否处于所述升降台目标位置的前方。而当所述行驶方向与所述坡道的下坡方向一致时，表明所述叉车处于下坡状态，需要判断所述驾驶员目标位置是否处于所述升降台目标位置的后方。当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。叉车处于上坡状态时，如图2中的A车所示，驾驶员目标位置处于升降台目标位置的后方，叉车可正常行驶，而如图2中的B车所示，若驾驶员目标位置处于升降台目标位置的前方，则升降台上的货物易掉落，叉车易出现侧翻等危险，因此，需要提示报警信息。叉车处于下坡状态时，叉车应按照规定倒车行驶，如图3中的B车所示，驾驶员目标位置处于升降台目标位置的前方，叉车可正常行驶，而如图3中的A车所示，若驾驶员目标位置处于升降台目标位置的后方，易发生货物掉落，且可能对前方行驶的叉车造成影响，因此，需要提示报警信息。

②对于第二种违规行驶情况

通过所述叉车的行驶轨迹，可得到其对应的曲线的方向偏转，当所述方向偏转超过设定阈值时，说明叉车可能发生跨道行驶或转弯，则需要提示报警信息。其中，所述设定阈值可为设定弧形的偏转角度。

③对于第三种违规行驶情况

根据所述行驶轨迹确定所述叉车在预设时间内的位移为零，则说明叉车处于坡道停车状态，需要提示报警信息。

其中，确定了上述报警信息之后，可以是将上述违规行驶情况对应的图像发送至人机交互界面，以颜色闪烁、页面弹出、短信等方式通知值守人员，值守人员确认后及时通过对讲机、广播等通信方式与现场人员联系处置。

通过本发明实施例提供的叉车坡道违规行驶预警方法，在不增加企业监控设备的条件下，根据深度学习对叉车行驶轨迹进行检测，快速、准确地对叉车可能出现的违规操作进行预警，减少漏报、误报，提高了现场应急处理能力。

实施例二

通过实施例一获取到报警信息之后，可提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况。例如，违规行驶叉车的信息可包括叉车车牌、对应驾驶员、所属单位，违规行驶情况包括可违规时间和违规类型，所述违规类型包括叉车载物时行驶方向不对(应使货物朝上坡道方向)、半坡转弯、坡道长时间停车等。在报警信息积累到一定程度后，就可以对历史报警信息进行数据统计分析。根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。通过对各种类型数据的横向和纵向对比，就可以识别出违规行驶数量最多的二级单位、作业单位以及违规类型，同时也可以得到发展趋势曲线，为安全措施制定提供参考。

实施例三

图4是本发明实施例三提供的一种叉车坡道违规行驶预警系统的结构示意图。如图4所示，所述系统包括：数据获取模块41，用于获取坡道监控视频；控制器42，用于执行以下操作：根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息。

进一步地，所述预设坡道违规行驶情况包括：所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下；所述行驶轨迹的方向偏转超过设定阈值的情况下；或根据所述行驶轨迹确定所述叉车在预设时间内的位移为零的情况下。

进一步地，所述根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置包括：提取所述坡道监控视频中的图像帧；根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；利用所跟踪的所述叉车位置确定所述叉车的行驶轨迹；根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧；根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置。

进一步地，通过下述方式确定所述预设目标检测模型：将所述图像帧中的指定帧画面作为训练数据和验证数据；通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型；利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率；当所述召回率、精确率、平均正确率均满足对应的条件时，将所述初始预设目标检测模型确定为所述预设目标检测模型；当所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，利用重新获取的指定帧画面作为训练数据重新训练初始预设目标检测模型。

进一步地，通过下述方式确定所述预设目标质量衡量模型：获取所述叉车图像作为模型训练数据，所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像；通过深度学习，利用所述模型训练数据训练得到所述预设目标质量衡量模型。

进一步地，通过下述方式确定所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况：根据所述叉车的行驶轨迹确定所述叉车的行驶方向；当所述行驶方向与所述坡道的上坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的前方；当所述行驶方向与所述坡道的下坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的后方；当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。

进一步地，所述控制器在提示所述报警信息之后，还用于：提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况；根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。

需要说明的是，本装置的操作过程，与实施例一和实施例二的方法步骤相一致，故相关实施细节及效果可参考实施例一和实施例二，在此则不再赘述。

实施例四

本发明实施例四提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行如上述实施例一至二所述的叉车坡道违规行驶预警方法。

本申请是参照根据本申请实施例的方法、系统、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(GPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种叉车坡道违规行驶预警方法，其特征在于，所述方法包括：

获取坡道监控视频；

根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；

根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及

当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息；

所述预设坡道违规行驶情况包括：

所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下。

2.根据权利要求1所述的叉车坡道违规行驶预警方法，其特征在于，所述根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置包括：

提取所述坡道监控视频中的图像帧；

根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；

通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；

利用所跟踪的所述叉车位置确定所述叉车的行驶轨迹；

根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧；

根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置。

3.根据权利要求2所述的叉车坡道违规行驶预警方法，其特征在于，在所述确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置之前，所述方法还包括通过下述方式确定所述预设目标检测模型：

将所述图像帧中的指定帧画面作为训练数据和验证数据；

通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型；

利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率；

当所述召回率、精确率、平均正确率均满足对应的条件时，将所述初始预设目标检测模型确定为所述预设目标检测模型；

当所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，利用重新获取的指定帧画面作为训练数据重新训练初始预设目标检测模型。

4.根据权利要求2所述的叉车坡道违规行驶预警方法，其特征在于，在所述确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置之前，所述方法还包括通过下述方式确定所述预设目标质量衡量模型：

获取所述叉车图像作为模型训练数据，所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像；

通过深度学习，利用所述模型训练数据训练得到所述预设目标质量衡量模型。

5.根据权利要求1所述的叉车坡道违规行驶预警方法，其特征在于，通过下述方式确定所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况：

根据所述叉车的行驶轨迹确定所述叉车的行驶方向；

当所述行驶方向与所述坡道的上坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的前方；

当所述行驶方向与所述坡道的下坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的后方；

当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。

6.根据权利要求1所述的叉车坡道违规行驶预警方法，其特征在于，在所述提示报警信息之后，所述方法还包括：

提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况；

根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。

7.一种叉车坡道违规行驶预警系统，其特征在于，所述系统包括：

数据获取模块，用于获取坡道监控视频；

控制器，用于执行以下操作：

根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置；

根据所述叉车的行驶轨迹、所述驾驶员目标位置与所述升降台目标位置，确定所述叉车是否处于预设坡道违规行驶情况；以及

当确定所述叉车处于所述预设坡道违规行驶情况时，提示报警信息；

所述预设坡道违规行驶情况包括：

所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况下。

8.根据权利要求7所述的叉车坡道违规行驶预警系统，其特征在于，所述根据获取到的所述坡道监控视频，确定所述叉车的行驶轨迹以及所述叉车上的驾驶员目标位置与升降台目标位置包括：

提取所述坡道监控视频中的图像帧；

根据预设目标检测模型，在所述图像帧中标注所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；

通过卡尔曼滤波器，跟踪所述叉车位置以及所述叉车上的驾驶员位置与升降台位置；

利用所跟踪的所述叉车位置确定所述叉车的行驶轨迹；

根据预设目标质量衡量模型，在所述叉车的行驶轨迹中对应的图像帧中确定指定图像帧；

根据所述预设目标检测模型，在所述指定图像帧中确定所述叉车上的驾驶员目标位置与升降台目标位置。

9.根据权利要求8所述的叉车坡道违规行驶预警系统，其特征在于，通过下述方式确定所述预设目标检测模型：

将所述图像帧中的指定帧画面作为训练数据和验证数据；

通过深层卷积神经网络算法，利用所述训练数据调参迭代训练出初始预设目标检测模型；

利用所述验证数据计算所述初始预设目标检测模型的召回率、精确率、平均正确率；

当所述召回率、精确率、平均正确率均满足对应的条件时，将所述初始预设目标检测模型确定为所述预设目标检测模型；

当所述召回率、精确率、平均正确率中有任意一者不满足对应的条件时，利用重新获取的指定帧画面作为训练数据重新训练初始预设目标检测模型。

10.根据权利要求8所述的叉车坡道违规行驶预警系统，其特征在于，通过下述方式确定所述预设目标质量衡量模型：

获取所述叉车图像作为模型训练数据，所述叉车图像包括位置及角度完整的叉车图像，以及位置和/或角度不完整的叉车图像；

通过深度学习，利用所述模型训练数据训练得到所述预设目标质量衡量模型。

11.根据权利要求7所述的叉车坡道违规行驶预警系统，其特征在于，通过下述方式确定所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况：

根据所述叉车的行驶轨迹确定所述叉车的行驶方向；

当所述行驶方向与所述坡道的上坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的前方；

当所述行驶方向与所述坡道的下坡方向一致时，判断所述驾驶员目标位置是否处于所述升降台目标位置的后方；

当所述行驶方向与所述坡道的上坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的前方，或者当所述行驶方向与所述坡道的下坡方向一致时，所述驾驶员目标位置处于所述升降台目标位置的后方，确定为所述驾驶员目标位置处于坡道上方，且所述升降台目标位置处于所述坡道下方的情况。

12.根据权利要求7所述的叉车坡道违规行驶预警系统，其特征在于，所述控制器在提示所述报警信息之后，还用于：

提取所述报警信息对应的违规行驶叉车的信息以及违规行驶情况；

根据所述违规行驶叉车的信息以及违规行驶情况，统计违规数据。

13.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述权利要求1-6任一项所述的叉车坡道违规行驶预警方法。

Images