CN113822250A - 一种船舶驾驶异常行为检测方法 - Google Patents

Abstract

本发明公开了一种船舶驾驶异常行为检测方法。为了克服目前缺少针对船舶驾驶异常行为检测的问题；包括以下步骤：S1船舱内人脸检测；S2船舱内人脸朝向预测；S3：船舱内人体检测；S4：船舱内人体追踪；S5船舱内人体骨架预测；S6时序逻辑行为判断。通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。

Description

一种船舶驾驶异常行为检测方法

技术领域

本发明涉及一种行为检测领域，尤其涉及一种船舶驾驶异常行为检测方法。

背景技术

随着计算机视觉领域的发展，自动监控中的异常行为检测受到了极大的关注。异常行为指某个场景下发生概率较低但值得关注的事件，包含室外和室内两类场景。室外场景下的异常行为主要针对行人，通过监控的自动化分析来检测可能危害公共安全的行为与动作；室内场景下的异常行为包括针对办公室、室内场馆、车辆驾驶员的行为分析，以对关注的特定行为进行检测和告警。目前的主流研究以室外场景的人群异常行为检测为主，主要方法包括行为关系分析法、运动轨迹分析法、底层特征分析法等，随着卷积神经网络在异常行为检测领域中的深入，基于深度学习的算法也在室外场景下的异常行为检测中得到广泛研究和应用。

针对船舶驾驶场景下的异常行为检测，目前的相关研究较少。与之相似的任务主要在车辆驾驶员的异常行为检测，包括抽烟、打哈欠、疲劳检测等。但在船舶驾驶中，一方面，船舶驾驶的区域往往涉及多人共同操作，另一方面，船舶驾驶中存在特定的驾驶规范，存在一些需要通过时序信息来判断的异常行为需求。因此，当前对于车辆驾驶员的异常行为检测方法无法直接应用于船舶驾驶，船舶驾驶异常行为检测的方法还有待研究。

例如，一种在中国专利文献上公开的“一种异常驾驶行为检测方法、装置及电子设备”，其公告号CN109508576B，方法包括：获取第一视频帧，并检测所述第一视频帧中驾驶员脸部区域对应的第一位置信息；获取第一视频帧之后与第一视频帧相邻的第二视频帧，并检测第二视频帧中所述驾驶员脸部区域对应的第二位置信息；判断是否满足所述第一视频帧中驾驶员脸部区域位于所述预设区域内，且所述第二视频帧中所述驾驶员脸部区域位于所述预设区域外；如果是，依次获取所述第二视频帧之后的第三视频帧，并检测各所述第三视频帧中所述驾驶员脸部区域对应的第三位置信息；确定所述驾驶员的头部移动轨迹；根据所述头部移动轨迹，确定所述驾驶员存在异常驾驶行为。

该方案中的技术适用于汽车驾驶过程中的疲劳检测，不适用于船舶驾驶，无法适直接移用。

发明内容

本发明主要解决目前缺少针对船舶驾驶异常行为检测的问题；提供一种船舶驾驶异常行为检测方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种船舶驾驶异常行为检测方法，包括以下步骤：

S1：使用船舱内人脸检测网络，从输入视频的每一帧中检测获取存在的人脸区域；

S2：根据人脸区域，使用船舱内人脸朝向预测网络估计人脸朝向坐标，预测人脸朝向；

S3：使用船舱内人体检测网络，从输入视频的每一帧中检测获取存在的所有人体区域；

S4：根据检测到的每个人体区域，使用船舱内人体追踪算法确定时序上人体区域间的对应关系，得到人体的运动轨迹；

S5：针对所述人体区域，使用船舱内人体骨架预测网络估计视频中每一帧图像中的骨架信息；

S6：根据视频中每一帧图像中的骨架信息，结合人脸朝向和人体的运动轨迹，使用时序逻辑检测基本动作，根据检测到的基本动作进一步通过驾驶异常行为触发逻辑检测船舶驾驶异常行为，驾驶异常行为触发逻辑根据船舶驾驶的驾驶规范设置。

本方案通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。

作为优选，所述的步骤S2具体包括以下步骤：

S201：从视频中每一帧图像中裁剪出所述人脸区域；

S202：将裁剪后的人脸区域进行尺寸归一化，输入到船舱内人脸朝向预测网络中，得到估计的人脸朝向坐标；

人脸朝向坐标为欧拉角表示，具体包括：滚动角坐标，俯仰角坐标以及偏航角坐标；

S203：根据估计的人脸朝向坐标，与预设的人脸朝向阈值比较，判断人脸朝向；人脸朝向阈值具体包括：滚动角坐标阈值，俯仰角坐标阈值以及偏航角坐标阈值。

计算人脸朝向，与之后其运动轨迹、基本动作结合，综合判断船舶驾驶时的异常行为。

作为优选，所述的人脸朝向具体包括人脸朝左、人脸朝右、人脸向前、人脸向上以及人脸向下。

作为优选，所述步骤S4具体包括以下步骤：

S401：针对视频中每一帧图像得到的人体区域，记录所述人体区域的位置；

S402：使用特征描述符，计算所述人体区域的特征向量；

S403：按照时序依次比较视频中每一帧图像的人体区域，通过当前人体区域的位置和特征向量与预设的位置阈值和特征向量阈值比较，判断视频中时序关系上每一帧图像中人体区域间的对应关系，得到人体的运动轨迹。

计算人体运动轨迹，与人脸朝向、基本动作结合，综合判断船舶驾驶时的异常行为。

作为优选，所述的骨架信息包括骨架连接点坐标、骨架旋转角度以及骨架长度；

所述骨架连接点坐标具体包括：骨架连接点横坐标以及骨架连接点纵坐标；

所述骨架旋转角度具体包括：骨架旋转滚动角坐标、骨架旋转俯仰角坐标以及骨架旋转偏航角坐标。

作为优选，所述的步骤S6具体包括以下步骤：

S601：构建基本动作队列，存储时序上过去出现过的基本动作；

S602：根据每一帧图像中的骨架信息，设置基本动作触发逻辑，若满足基本动作触发逻辑则在基本动作队列中记录；

S603：在基本动作队列上设置基本动作计数器，记录对应基本动作的触发维持时长，若基本动作的触发维持时长超过该基本动作的触发维持时长阈值，则报告基本动作的产生；

S604：根据基本动作的产生，设置驾驶异常行为触发逻辑，若满足驾驶异常行为触发逻辑则报告驾驶异常行为的产生。

计算基本动作，与人脸朝向、运动轨迹结合，综合判断船舶驾驶时的异常行为。

作为优选，所述的基本动作具体包括：人脸朝向、踱步、趴伏、倚靠、保持不动以及站立不动；

所述驾驶异常行为具体包括：开小差、目视设备后左顾右盼，踱步时左顾右盼、趴伏桌台以及倚靠桌台。

基本动作与驾驶异常行为为船舶驾驶特定的动作与行为，根据船舶驾驶中存在特定的驾驶规范设计，更加具有针对性。

作为优选，所述的基本动作队列具体包括：目视设备队列、目视左方队列、目视右方队列、目视前方队列、趴伏队列、倚靠队列以及踱步队列；

所述的基本动作计数器具体包括：目视设备计数器、目视左方计数器、目视右方计数器、目视前方计数器、趴伏计数器、倚靠计数器以及保持不动计数器。用于触发逻辑的判断。

作为优选，所述的驾驶异常行为触发逻辑具体包括：

若保持不动计数器中的触发维持时长超过保持不动的触发维持时长阈值，报告开小差的驾驶异常动作；

若目视设备的下一时刻紧接目视左方或目视右方的产生，报告目视设备后左顾右盼的驾驶异常动作；

若踱步和目视左方或目视右方同时产生，报告踱步时左顾右盼的驾驶异常动作；

若趴伏计数器中的触发维持时长超过趴伏的触发维持时长阈值，报告趴伏桌台的驾驶异常动作；

若倚靠计数器中的触发维持时长超过倚靠的触发维持时长阈值，报告倚靠桌台的驾驶异常动作。

根据船舶驾驶中存在特定的驾驶规范设计驾驶异常行为触发逻辑，更加具有针对性。

本发明的有益效果是：

通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法和系统，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。

附图说明

图1是本发明的一种船舶驾驶异常行为检测方法流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例的一种船舶驾驶异常行为检测方法，如图1所示，包括以下步骤：

S1：使用船舱内人脸检测网络，从输入视频的每一帧中检测获取存在的人脸区域。

在本实施例中，使用基于多层卷积神经网络的一阶段人脸检测网络进行训练和推理。

在训练阶段，通过船舱内带有人脸包围框的训练数据对船舱内人脸检测网络进行逐层的反向传播与参数更新。

在推理阶段，设置人脸检测阈值，若候选区域的置信度高于人脸检测阈值则输出估计的人脸区域包围框。

S2：根据人脸区域，使用船舱内人脸朝向预测网络估计人脸朝向坐标，预测人脸朝向。

人脸朝向具体包括人脸朝左、人脸朝右、人脸向前、人脸向上以及人脸向下。

S201：从视频中每一帧图像中裁剪出所述人脸区域。

S202：将裁剪后的人脸区域进行尺寸归一化，输入到船舱内人脸朝向预测网络中，得到估计的人脸朝向坐标。

人脸朝向坐标为欧拉角表示，具体包括：滚动角坐标，俯仰角坐标以及偏航角坐标。

在本实施例中，人脸朝向预测网络为包含18个卷积层和1个全连接层，每个卷积层后包含1个批归一化层和1个ReLU激活层，每两个卷积层后包含一个最大值池化层，最后全连接层的输出包含滚动角，俯仰角以及偏航角。

S203：根据估计的人脸朝向坐标，与预设的人脸朝向阈值比较，判断人脸朝向。

人脸朝向阈值具体包括：滚动角坐标阈值，俯仰角坐标阈值以及偏航角坐标阈值。

在本实施例中，对于估计的人脸朝向坐标，分别针对不同人脸朝向设计了船舱环境下特定的判断逻辑。当估计的滚动角坐标、俯仰角坐标以及偏航角坐标均大于或小于滚动角坐标阈值、俯仰角坐标阈值以及偏航角坐标阈值时判断为某一特定的人脸朝向。

具体地，人脸朝向的判断逻辑具体包括：

若估计的滚动角坐标位于-120度到-45度之间，判定为人脸朝左；

若估计的滚动角坐标位于45度到120度之间，判定为人脸朝右；

若估计的滚动角坐标为-45度到45度之间，判定为人脸向前；

若估计的俯仰角坐标为-20度到60度之间，判定为人脸向上；

若估计的俯仰角坐标小于-20度，判定为人脸向下。

S3：使用船舱内人体检测网络，从输入视频的每一帧中检测获取存在的所有人体区域。

在本实施例中，在用户设定的船舱驾驶舱范围内，使用一阶段目标检测网络进行训练和推理。

在训练阶段，通过船舱内带有人体包围框的训练数据对一阶段目标检测网络进行逐层的反向传播与参数更新。

在推理阶段，设置人体检测阈值，在用户设定的船舱驾驶舱范围内，若候选区域的置信度高于人体检测阈值则输出估计的人体区域包围框。

S4：根据检测到的每个人体区域，使用船舱内人体追踪算法确定时序上人体区域间的对应关系，得到人体的运动轨迹。

S401：针对视频中每一帧图像得到的人体区域，记录所述人体区域的位置。

S402：使用特征描述符，计算所述人体区域的特征向量。

在本实施例中，使用传统计算机视觉中的HOG特征描述人体区域的特征，得到一组特征向量。

S403：按照时序依次比较视频中每一帧图像的人体区域，通过当前人体区域的位置和特征向量与预设的位置阈值和特征向量阈值比较，判断视频中时序关系上每一帧图像中人体区域间的对应关系，得到人体的运动轨迹。

在本实施例中，依次计算视频中每一帧图像在用户设定的船舱驾驶舱范围内的人体区域的特征向量和位置坐标，设置特征向量阈值和位置阈值。

具体的，所设置特征向量阈值和位置阈值均为0.8，若人体区域的特征向量与前一帧图像中某一个人体区域的特征向量间的相似度小于特征向量阈值，并且该人体区域的位置坐标与前一帧图像中对应人体区域的位置坐标的偏差小于位置阈值，则判定这两帧图像的人体区域属于同一个人。

S5：针对所述人体区域，使用船舱内人体骨架预测网络估计视频中每一帧图像中的骨架信息。

S501：从视频中每一帧图像中裁剪出所述人体区域。

S502：将裁剪后的人体区域进行尺寸归一化，输入船舱内人体骨架预测网络，得到估计的骨架信息。

骨架信息包括骨架连接点坐标、骨架旋转角度以及骨架长度。

骨架连接点坐标具体包括：骨架连接点横坐标以及骨架连接点纵坐标。

骨架旋转角度具体包括：骨架旋转滚动角坐标、骨架旋转俯仰角坐标以及骨架旋转偏航角坐标。

具体地，在本实施例中，使用基于人体骨架热力图的深度卷积神经网络进行训练和推理。

在训练阶段，由人体骨架标签生成骨架热力图，作为深度卷积神经网络的输出。

在推理阶段，将用户设定的船舱驾驶舱范围内裁剪后的人体区域进行尺寸归一化，输入训练好的深度卷积神经网络，得到预测的骨架连接点坐标，骨架旋转角度以及骨架长度。

S6：根据视频中每一帧图像中的骨架信息，结合人体的运动轨迹，使用时序逻辑检测基本动作，根据检测到的基本动作进一步检测驾驶异常行为。

S601：构建基本动作队列，存储时序上过去出现过的基本动作。

基本动作具体包括：人脸朝向、踱步、趴伏、倚靠、保持不动以及站立不动。

基本动作队列具体包括：目视设备队列、目视左方队列、目视右方队列、目视前方队列、趴伏队列、倚靠队列以及踱步队列。

S602：根据每一帧图像中的骨架信息，设置基本动作触发逻辑，若满足基本动作触发逻辑则在基本动作队列中记录。

在本实施例中，基本动作触发逻辑具体包括：

若人脸朝向为人脸向下，判定基本动作为目视设备，在目视设备队列中记录；

若人脸朝向为人脸朝左，判定基本动作为目视左方，在目视左方队列中记录；

若人脸朝向为人脸朝右，判定基本动作为目视右方，在目视右方队列中记录；

若人脸朝向为人脸向前或人脸向上，判定基本动作为目视前方，在目视前方队列中记录；

若骨架信息中左肩膀和右肩膀的骨架连接点纵坐标中的最小值与左臀部和右臀部的骨架连接点纵坐标中的最大值的差值小于0.35倍的人体区域纵坐标长度，判定基本动作为趴伏，在趴伏队列中记录；

若骨架信息中左膝盖和右膝盖的骨架连接点横坐标中的最小值与左臀部和右臀部的骨架连接点横坐标中的最大值的差值大于0.2倍的人体区域纵坐标长度，判定基本动作为依靠，在依靠队列中记录；

若骨架信息中左膝盖、右膝盖、左臀部、右臀部、左脚、右脚的骨架连接点横坐标与1秒前时刻中对应的骨架连接点横坐标的差值皆大于8，判定基本动作为踱步，在踱步队列中记录。

S603：在基本动作队列上设置基本动作计数器，记录对应基本动作的触发维持时长，若基本动作的触发维持时长超过该基本动作的触发维持时长阈值，则报告基本动作的产生。

基本动作计数器具体包括：目视设备计数器、目视左方计数器、目视右方计数器、目视前方计数器、趴伏计数器、倚靠计数器以及保持不动计数器。

S604：根据基本动作的产生，设置驾驶异常行为触发逻辑，若满足驾驶异常行为触发逻辑则报告驾驶异常行为的产生。

驾驶异常行为具体包括：开小差、目视设备后左顾右盼，踱步时左顾右盼、趴伏桌台以及倚靠桌台。

驾驶异常行为触发逻辑具体包括：

若保持不动计数器中的触发维持时长超过保持不动的触发维持时长阈值，报告开小差的驾驶异常动作；

若目视设备的下一时刻紧接所述目视左方或所述目视右方的产生，报告目视设备后左顾右盼的驾驶异常动作；

若踱步和目视左方或目视右方同时产生，报告踱步时左顾右盼的驾驶异常动作；

若趴伏计数器中的触发维持时长超过趴伏的触发维持时长阈值，报告趴伏桌台的驾驶异常动作；

若倚靠计数器中的触发维持时长超过倚靠的触发维持时长阈值，报告倚靠桌台的驾驶异常动作。

根据船舶驾驶中存在特定的驾驶规范设计驾驶异常行为触发逻辑，更加具有针对性。

本实施例的方案通过对船舶驾驶场景下的视频分析，捕捉多人的人脸、人体位置，估计人脸朝向，追踪人体运动轨迹，检测基本动作，实现了从视频角度出发的一种船舶驾驶异常行为的检测方法，能够在船舶驾驶人员进行异常行为时有效预警和上报，确保船舶驾驶安全。

应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (9)

1.一种船舶驾驶异常行为检测方法，其特征在于，包括以下步骤：

S1：使用船舱内人脸检测网络，从输入视频的每一帧中检测获取存在的人脸区域；

S2：根据人脸区域，使用船舱内人脸朝向预测网络估计人脸朝向坐标，预测人脸朝向；

S3：使用船舱内人体检测网络，从输入视频的每一帧中检测获取存在的所有人体区域；

S4：根据检测到的每个人体区域，使用船舱内人体追踪算法确定时序上人体区域间的对应关系，得到人体的运动轨迹；

S5：针对所述人体区域，使用船舱内人体骨架预测网络估计视频中每一帧图像中的骨架信息；

S6：根据视频中每一帧图像中的骨架信息，结合人脸朝向和人体的运动轨迹，使用时序逻辑检测基本动作，根据检测到的基本动作进一步通过驾驶异常行为触发逻辑检测船舶驾驶异常行为；驾驶异常行为触发逻辑根据船舶驾驶的驾驶规范设置。

2.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的步骤S2具体包括以下步骤：

S201：从视频中每一帧图像中裁剪出所述人脸区域；

S202：将裁剪后的人脸区域进行尺寸归一化，输入到船舱内人脸朝向预测网络中，得到估计的人脸朝向坐标；

人脸朝向坐标为欧拉角表示，具体包括：滚动角坐标，俯仰角坐标以及偏航角坐标；

S203：根据估计的人脸朝向坐标，与预设的人脸朝向阈值比较，判断人脸朝向；人脸朝向阈值具体包括：滚动角坐标阈值，俯仰角坐标阈值以及偏航角坐标阈值。

3.根据权利要求1或2所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的人脸朝向具体包括人脸朝左、人脸朝右、人脸向前、人脸向上以及人脸向下。

4.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述步骤S4具体包括以下步骤：

S401：针对视频中每一帧图像得到的人体区域，记录所述人体区域的位置；

S402：计算所述人体区域的特征向量；

S403：按照时序依次比较视频中每一帧图像的人体区域，通过当前人体区域的位置和特征向量与预设的位置阈值和特征向量阈值比较，判断视频中时序关系上每一帧图像中人体区域间的对应关系，得到人体的运动轨迹。

5.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的骨架信息包括骨架连接点坐标、骨架旋转角度以及骨架长度；

所述骨架连接点坐标具体包括：骨架连接点横坐标以及骨架连接点纵坐标；

所述骨架旋转角度具体包括：骨架旋转滚动角坐标、骨架旋转俯仰角坐标以及骨架旋转偏航角坐标。

6.根据权利要求1所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的步骤S6具体包括以下步骤：

S601：构建基本动作队列，存储时序上过去出现过的基本动作；

S602：根据每一帧图像中的骨架信息，设置基本动作触发逻辑，若满足基本动作触发逻辑则在基本动作队列中记录；

S603：在基本动作队列上设置基本动作计数器，记录对应基本动作的触发维持时长，若基本动作的触发维持时长超过该基本动作的触发维持时长阈值，则报告基本动作的产生；

S604：根据基本动作的产生，设置驾驶异常行为触发逻辑，若满足驾驶异常行为触发逻辑则报告驾驶异常行为的产生。

7.根据权利要求1或6所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的基本动作具体包括：人脸朝向、踱步、趴伏、倚靠、保持不动以及站立不动；

所述驾驶异常行为具体包括：开小差、目视设备后左顾右盼，踱步时左顾右盼、趴伏桌台以及倚靠桌台。

8.根据权利要求7所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的基本动作队列具体包括：目视设备队列、目视左方队列、目视右方队列、目视前方队列、趴伏队列、倚靠队列以及踱步队列；

所述的基本动作计数器具体包括：目视设备计数器、目视左方计数器、目视右方计数器、目视前方计数器、趴伏计数器、倚靠计数器以及保持不动计数器。

9.根据权利要求6或8所述的一种船舶驾驶异常行为检测方法，其特征在于，所述的驾驶异常行为触发逻辑具体包括：

若保持不动计数器中的触发维持时长超过保持不动的触发维持时长阈值，报告开小差的驾驶异常动作；

若目视设备的下一时刻紧接目视左方或目视右方的产生，报告目视设备后左顾右盼的驾驶异常动作；

若踱步和目视左方或目视右方同时产生，报告踱步时左顾右盼的驾驶异常动作；

若趴伏计数器中的触发维持时长超过趴伏的触发维持时长阈值，报告趴伏桌台的驾驶异常动作；

若倚靠计数器中的触发维持时长超过倚靠的触发维持时长阈值，报告倚靠桌台的驾驶异常动作。

Images