CN113657201A

CN113657201A - 船员行为监测分析方法、装置、设备及存储介质

Info

Publication number: CN113657201A
Application number: CN202110858569.1A
Authority: CN
Inventors: 李伟光; 王梦驰; 陈振宇; 许正飞; 钟昊; 王家楠
Original assignee: Nanjing Shenghang Shipping Co ltd
Current assignee: Nanjing Shenghang Shipping Co ltd
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2021-11-16

Abstract

本申请涉及一种船员行为监测分析方法、装置、设备及存储介质，涉及船舶监管技术领域，旨在解决安全监管总是具有滞后性，存在有不能及时发现安全隐患并进行整改的技术问题，方法包括：建立船员行为的图像分类模型；将带有船员行为标记的图像数据输入图像分类模型中进行训练，得到船员行为识别模块；获取目标摄像头的识别场景；获取目标摄像头采集的视频数据，逐帧获取视频数据中的图像数据；将图像数据输入船员行为识别模块中，识别图像数据中的船员行为；当船员行为在识别场景中为异常行为时，将图像数据发送至安全管理端并存储在报警证据库中。本申请具有便于及时对船员的行为进行监测，识别船员的行为并及时报警的效果。

Description

船员行为监测分析方法、装置、设备及存储介质

技术领域

本申请涉及船舶监管的领域，尤其是涉及一种船员行为监测分析方法、装置、设备及存储介质。

背景技术

目前，船舶在航行的过程中，需要针对船员的安全行为进行监管，而目前采用的方式为在船舶的甲板、控制室等区域安装视频监控摄像头采集视频来进行安全监管。

针对安全行为的监管要求，一般采用三种监管方式，一是船长以及船上的安全员通过翻看以往的监控视频进行自查自纠；二是岸基安全监管部门通过远程传输的方式，不定期抽检船舶上安装的视频监控摄像头记录的视频数据，针对一些具有安全隐患的行为进行纠正和整改；三是当安全事故发生后，安全领导小组对视频监控摄像头采集的视频数据进行回看，从而追溯安全责任。

针对上述中的相关技术，上述的安全监管总是具有滞后性，发明人认为存在有不能及时发现安全隐患并进行整改的缺陷。

发明内容

为了便于提高安全隐患排查的及时性，本申请提供一种船员行为监测分析方法、装置、设备及存储介质。

第一方面，本申请提供一种船员行为监测分析方法，采用如下的技术方案：

一种船员行为监测分析方法，包括：

建立船员行为的图像分类模型；

将带有船员行为标记的图像数据输入所述图像分类模型中进行训练，得到船员行为识别模块；

获取所述目标摄像头的识别场景；

获取目标摄像头采集的视频数据，逐帧获取所述视频数据中的图像数据；

将所述图像数据输入所述船员行为识别模块中，识别所述图像数据中的船员行为；

当所述船员行为在所述识别场景中为异常行为时，将所述图像数据发送至安全管理端并存储在报警证据库中。

通过采用上述技术方案，通过预先将带有船员行为标记的图像数据输入所述图像分类模型中进行训练，从而获得船员行为识别模块，然后获取视频数据中的图像数据输入已经建立的船员行为识别模块，船员行为识别模块能够识别出图像数据中的船员行为，通过将船员行为与异常行为特征进行对比能够得出当前识别场景下的异常行为；表明图像数据中的船员存在异常行为，此时迅速报警，将图像数据发送至安全管理端，能够及时提醒船长自查自纠，及时发现安全风险，将安全风险扼杀在摇篮中。

优选的，所述监控摄像头带有检测红外功能以及温度检测功能；所述获取目标摄像头采集的视频数据，逐帧获取所述视频数据中的图像数据之前还包括：

获取所述识别场景的红外信息的波长值；

获取所述识别场景的环境温度，测算环境波长；

当所述识别场景的红外信息的波长值中出现人体波长的预设值且与所述环境波长的波长值不同时，获取目标摄像头采集的视频数据。

通过采用上述技术方案，通过获取监控摄像头检测的红外信息的波长值以及温度传感器测得的环境温度，并通过环境温度测算所得的环境波长值能够获知图像数据中各个物体表面散发的波长值以及环境的波长值，在红外信息的波长值小于人体波长的预设值且与环境波长不同时，证明监控摄像头的镜头中有人存在，此时再获取视频数据并采集图像数据进行识别，能够减少针对无人环境的无用识别，提高了识别的效率。

优选的，所述获取目标摄像头采集的视频数据，逐帧获取所述视频数据中的图像数据之后还包括：

当所述环境场景的红外信息的波长值中人体波长的预设值消失时，停止获取视频数据；

将所述视频数据的图像数据配置为同一识别周期；

识别同一所述识别周期内的图像数据中包含的人体的边界，剔除无法识别边界的图像数据。

通过采用上述技术方案，将图像数据中包含船员图像数据配置为同一识别周期并识别同一识别周期内图像数据的边界，将无法识别边界的图像数据剔除，能够将边界模糊的图像数据预先删除，保留边界清晰的图像数据，一方面减少了图像数据的量，另一方面还提高了图像识别的精准度，从而提高了图像分类识别模型的识别效率。

优选的，所述识别同一所述识别周期内的图像数据中包含的人体的边界，剔除无法识别边界的图像数据之后还包括：

从同一所述识别周期中选取周期均等分点处的图像数据，剔除剩余图像数据。

通过采用上述技术方案，从图像数据中选取均等分点并剔除剩余图像，能够将周期平均采样并减少图像数据的样本量，减小了图像分类识别模型在同一识别周期内的识别工作量，进一步提高了图像分类识别模型的识别效率。

优选的，所述异常行为至少包括抽烟行为，所述当所述船员行为在所述识别场景中为异常行为时，将所述图像数据发送至安全管理端并存储在报警证据库中之后还包括：

获取目标图像数据对应的识别场景的红外信息中的温度最高点的最高温度波长值；

当最高温度波长值短于抽烟温度波长预设范围时，则在图像数据上标记抽烟行为。

通过采用上述技术方案，在复核图像数据中的抽烟行为时，预先获取识别环境对应的红外信息，并获取红外信息中温度最高点的最高温度波长值，当识别环境中存在抽烟行为时，温度最高点的最高温度波长值势必会短于抽烟温度的波长预设值，此时结合图像数据的识别结果，则能够对图像数据中是否存在抽烟行为进行复核，从而提高了抽烟行为检测的准确性。

优选的，所述将所述图像数据输入所述图像识别模型中，识别所述图像数据中的船员行为，包括：

将所述图像数据输入着装模型中，识别所述图像数据的着装行为；

若识别场景为室内，将图像数据输入室内模型，识别图像数据中的室内行为；

若识别场景为室外，将图像数据输入室外模型，识别图像数据中的室外行为。

通过采用上述技术方案，船舶主机将不同场景下的图像数据输入不同的图像分类识别模型中；通过着装模型、室内模型和室外模型协同工作，进一步提高了图像分类识别模型的识别效率。

优选的，所述当所述船员行为在所述识别场景中为异常行为时，将所述图像数据发送至安全管理端并存储在报警证据库中，包括：

若同一所述识别周期内的室内行为均与目标异常行为一致，则在图像数据上标注目标异常行为。

通过采用上述技术方案，由于室内行为中一些异常行为具有连续性，因而在同一识别周期内均识别为目标异常行为时才能判定为异常行为，从而提高了室内行为判定的准确性。

第二方面，本申请提供一种船员行为监测分析装置，采用如下的技术方案：

一种船员行为监测分析装置，包括：

模型建立模块，用于建立船员行为图像分类识别模型；

图像获取模块，用于获取视频数据，逐帧获取所述视频数据中的图像数据；

自动识别模块，用于将所述图像数据输入图像分类识别模型中，识别图像中的行为特征以及将所述行为特征与图像分类识别模型中的标准异常行为特征进行比较并计算相似度；

证据采集模块，用于当所述相似度超过预设值时，将所述图像数据标记对应的异常行为特征并显示以及获取带有所述异常行为特征标记的图像数据的视频数据并报警。

第三方面，本申请提供一种计算机设备，采用如下的技术方案：

一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种船员行为监测分析方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机存储介质，存储有能够被处理器加载并执行如上述任一种船员行为监测分析方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

通过摄像头探测红外信息，能够确定识别场景中是否有人，在有人时获取视频数据中的图像数据，对图像数据进行处理以及剔除，然后输入已经建立的船员行为识别模块，船员行为识别模块能够识别出图像数据中的船员行为，通过将船员行为与异常行为特征进行对比能够得出当前识别场景下的异常行为；此时迅速报警，将所述图像数据发送至安全管理端，能够提高发现安全风险的及时性。

附图说明

图1是本申请实施例中一种船员行为监测分析方法的流程图；

图2是本申请实施例中步骤S0103的子步骤流程图；

图3是本申请实施例中船员行为监测分析装置的结构框图。

附图标记说明：301、模型建立模块；302、图像获取模块；303、自动识别模块；304、证据采集模块。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本申请实施例公开了一种船员行为监测分析方法，上述方法可以应用于远洋货轮的视频监控系统中，执行主体可以是搭载在岸基的服务器，也也可以搭载在船舶主机的服务器上。为实现视频数据分析的实时性，本申请实施例中上述方法搭载在船舶主机的服务器中。船舶上安装的视频监控系统对船舶上的视频图像进行采集，视频监控系统包括多个监控摄像头，监控摄像头上设置有带有红外检测功能的红外检测装置以及带有温度检测功能的温度传感器。船员行为监测分析方法基于采集所得的视频数据，自动进行识别分析，识别出船员目前的异常行为并报警，从而起到及时监测识别预警的功能。红外检测装置用于与监控摄像头同步检测监控摄像头拍摄画面的红外信息，而温度传感器用于检测环境的温度，以便于获知环境温度。

下面将结合具体实施方式，对图1所示的处理流程进行详细的说明，内容可以如下：

步骤101，建立船员行为的图像分类模型；

在实施中，船舶主机在船舶出航前就预先搭载了经过深度学习训练得到的图像分类识别模型，图像分类识别模型经过万次量级的深度学习，能够识别图像数据中人物的行为特征，并将人物行为特征自动进行分类并显示不同的类别，从而实现图像的自动识别。

步骤102，将带有船员行为标记的图像数据输入图像分类模型中进行训练，得到船员行为识别模块；

在实施中，船舶主机将历史视频数据中的各种带有船员行为的图像数据输入图像分类模型中，进行再次训练；在训练的过程中，图像分类模型中的权重会发生变化，并且能够识别出船员行为的特征，例如抽烟、打手机、玩手机、睡岗等，从而得到船员行为识别模型，针对船员行为进行识别。

步骤103，获取目标摄像头的识别场景。

在实施中，船舶主机在获取到图像数据后，再针对图像数据对应的目标摄像头获取目标摄像头对应的识别场景，由于摄像头安装的地点均为固定的，因而通过图像数据回溯对应的摄像头，即能够确定目标摄像头对应的识别场景。

步骤104，获取目标摄像头采集的视频数据，逐帧获取视频数据中的图像数据。

在实施中，船舶主机在航行的过程中，定期获取视频数据；由于获取到的视频数据为连续的图像数据，因而需要逐帧获取视频数据中的图像数据，从而使得视频数据转化为图像数据，以便于船舶主机能够对图像进行处理。

可选的，为减少输入图像分类识别模型中的样本量，使得船员行为识别模型的处理压力减小，可以对摄像头采集的图像数据中是否有人进行检测，相应的，步骤104之前可以存在如下处理：

获取识别场景的红外信息的波长值；

在实施中，船舶主机在采集视频数据之前获取图像数据的红外信息的波长值，图像数据的红外信息的波长值与图像数据中的人或物一一对应。在红外信息中，不同温度的物体以及人体，其表面散发的波长一般不同。

获取识别场景的环境温度，测算环境波长；

在实施中，船舶主机定期获取识别场景的环境温度，通过环境温度与波长的对应关系测算环境波长。由于远洋货轮一般在海上航行，海水的比热容较大，因而海上的温度一般小于人体的温度，故而环境波长值一般与人体波长值不同。

当识别场景的红外信息的波长值中出现人体波长的预设值且与环境波长的波长值不同时，获取目标摄像头采集的视频数据。

在实施中，船舶主机在红外信息的波长值中出现人体波长预设值，且红外信息的波长值与环境波长值不同时，此时表明识别场景中出现船员，则需要对船员的行为进行识别；而如果识别场景中不存在船员，则不存在识别船员行为的必要，因而也就无需进行识别。在识别场景中有船员时，船舶主机获取视频数据，而视频数据中没船员时，船舶主机不获取视频，减少了视频数据的无用获取，同时也减少了船员行为识别模型的无效识别，节约资源。

可选的，为进一步减少图像数据中的冗余图像，提高图像分类识别模型的识别准确度，相应的，步骤104之后包括：

当图像数据的红外信息的波长值中人体波长的预设值消失时，停止获取视频数据；

在实施中，船舶主机在环境场景中出现人体波长预设值时开始获取视频数据以及图像数据，在环境场景中人体波长预设值消失时停止获取视频数据，此时代表船员经过识别场景，因而整个过程的视频数据对应的图像数据即为需要识别的图像数据。

将视频数据的图像数据配置为同一识别周期。

在实施中，船舶主机以时间顺序排列图片，将视频数据的图像数据配置为同一识别周期。由于视频数据中的图像数据近乎类似，因而将视频数据配置为同一识别周期便于进行处理。

识别同一识别周期内的图像数据的边界，剔除无法识别边界的图像数据。

在实施中，船舶主机在将同一场景的图像数据放在同一识别周期内后，识别同一周期内的图像数据的边界，并剔除无法识别边界的图像数据。船舶主机对同一识别周期内的图像数据通过基于深度学习的边界识别算法识别船员身形的轮廓边界。若无法识别边界，则表明人的轮廓模糊，说明图像数据无法进行处理，这样的图像数据输入图像分类识别模型，会导致图像分类识别模型处理周期延长，因而将此类图像数据剔除后能够提高图像分类识别模块的识别分类效率；若能够识别边界，则表明人的轮廓清楚，此时图像分类识别模型能够进行识别，从而减小了图像分类识别模型的工作量。

优选的，为进一步减少识别周期的样本容量，相应的，识别同一识别周期内的图像数据的边界，剔除无法识别边界的图像数据之后还包括：

从同一识别周期中选取周期均等分点处的图像数据，剔除剩余图像数据。

在实施中，船舶主机在剔除无法识别边界的图像数据之后从识别周期的均等分点处选取图像数据，本实施例中优选为五等分点。将剩余的图像数据均删除，此时留下来的图像数据能够代表船员经过监控摄像头而留下的整个周期的图像数据，从而保证了图像能够识别的同时减小了图像分类识别模型的识别压力。

步骤105，将图像数据输入船员行为识别模块中，识别图像数据中的船员行为。

在实施中，船舶主机在确定到识别场景后，将图像数据输入船员行为识别模块模型中，船员行为识别模块能够自动根据预先深度学习确定的特征来识别出图像数据中的船员行为。

步骤106，当船员行为在识别场景中为异常行为时，将图像数据发送至安全管理端并存储在报警证据库中。

在实施中，异常行为包括着装行为、室内行为和室外行为；着装行为至少包括未带安全帽、未穿工服，室内行为至少包括玩手机行为和睡岗行为，室外行为至少包括抽烟行为、打手机行为。船舶主机根据识别场景对应环境下的异常行为进行比对，当船员行为在对应的识别场景下与异常行为一致时，将图像数据发送至安全管理端进行报警并将图像数据存储在报警证据库中。安全管理端一般安装在船长的移动终端上，船舶主机将图像数据发送至安全管理端能够让船长及时发现安全隐患并根据报警证据库中的图像数据进行整改，便于船长及时获知异常行为，自查自纠，将安全风险扼杀在摇篮中。

可选的，为针对不同的识别场景选择不同的识别模型以分担各个模型的压力，缩减识别时间，相应的，步骤105中的处理可以如图2所示，具体流程如下：

船员行为识别模块至少包括着装模型、室内模型以及室外模型。

步骤201，将图像数据输入着装模型中，识别图像数据的着装行为。

在实施中，船舶主机将剔除之后的图像数据预先输入着装模型中，着装模型为经过大量带有着装行为的图像数据训练后得到，能够识别图像数据中的着装行为。

步骤202，若识别场景为室内，将图像数据输入室内模型，识别图像数据中的室内行为；

在实施中，船舶主机在识别场景为室内时，将着装模型识别后的图像数据再输入室内模型中，室内模型在经过大量带有室内行为的图像数据训练后能够识别图像数据中的室内行为。

步骤203，若识别场景为室外，将图像数据输入室外模型，识别图像数据中的室外行为。

在实施中，船舶主机在识别场景为室外时，将图像数据输入室外模型中，识别图像数据中的室外行为。室内模型在经过大量带有室外行为的图像数据训练后能够识别图像数据中的室外行为。

可选的，由于有些异常行为具有动作的连续性，因而需要在连续多张图像数据均为异常行为时才能够判定为异常行为。相应的，步骤106具体为：

若同一识别周期内的室内行为均与目标异常行为一致，则在图像数据上标注目标异常行为。

在实施中，船舶主机在同一识别周期内，通过室内模型识别出的室内行为均与目标异常行为一致，则在图像数据上标注异常行为。例如，在同一识别周期内，室内模型识别出室内行为均为抽烟行为，则在图像数据上标注抽烟行为，玩手机行为亦是如此。

可选的，由于室外行为中的抽烟行为后果比较严重，因而需要对抽烟行为进行复核以提高抽烟行为识别的准确性，在复核后确认是抽烟行为时才在图像数据上标注抽烟行为。

相应的，步骤106之后包括：

获取目标图像数据对应的识别场景的红外信息中的温度最高点的最高温度波长值。

在实施中，船舶主机获取图像数据对应的识别场景，并获取识别场景对应的红外信息。由于抽烟行为中，会存在一个温度很高的点，即烟头的点，此时的红外信息会有一处波长特别短，此时通过对此波长值特别短的点进行检测，即可提高抽烟行为检测的准确性。除此之外，此方法还可以用于检测是否有起火点，同样的，当检测到红外信息的波长值特别短时，以及结合图像数据中火的特征，可判断是否存在起火的可能，此处不再赘述。

在实施中，图像数据中的最高温度波长值短于抽烟温度波长预设值时，船舶主机直接在图像数据上标记抽烟行为。此时，船舶主机结合图像数据识别的结果与最高温度波长值的比较结果，在图像数据上标记抽烟行为，提高了抽烟结果检测的准确性。

基于相同的技术构思，本申请实施例还提供了一种船员行为监测分析装置，如图3所示，上述装置包括：

模型建立模块301，用于建立船员行为图像分类识别模型并用于将带有船员行为标记的图像数据输入图像分类模型中进行训练，得到船员行为识别模块；

图像获取模块302，用于获取目标摄像头的识别场景以及获取目标摄像头采集的视频数据并逐帧获取视频数据中的图像数据；

自动识别模块303，用于将图像数据输入图像识别模型中，识别图像数据中的船员行为；

证据采集模块304，用于当船员行为在识别场景中为异常行为时，将图像数据发送至安全管理端并存储在报警证据库中。

需要说明的是：上述实施例提供的船员行为监测分析装置在基于机器学习进行行为识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于机器学习的养成类游戏角色的培养装置与基于机器学习的养成类游戏角色的培养方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于同一发明构思，本申请实施例还公开了一种计算机设备，具体来说，该计算机设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行上述船员行为监测分析方法的计算机程序。

基于同一发明构思，本申请实施例还公开了一种计算机可读存储介质。

具体来说，该计算机可读存储介质，其存储有能够被处理器加载并执行如上述船员行为监测分析方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器（Read-0nlyMemory，ROM0、随机存取存储器（RandomAccessMemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims

1.一种船员行为监测分析方法，其特征在于，包括：

建立船员行为的图像分类模型；

获取所述目标摄像头的识别场景；

2.根据权利要求1所述的船员行为监测分析方法，其特征在于，所述监控摄像头带有检测红外功能以及温度检测功能；所述获取目标摄像头采集的视频数据，逐帧获取所述视频数据中的图像数据之前还包括：

获取所述识别场景的红外信息的波长值；

获取所述识别场景的环境温度，测算环境波长；

3.根据权利要求2所述的船员行为监测分析方法，其特征在于，所述获取目标摄像头采集的视频数据，逐帧获取所述视频数据中的图像数据之后还包括：

当所述图像数据的红外信息的波长值中人体波长的预设值消失时，停止获取视频数据；

将所述视频数据的图像数据配置为同一识别周期；

4.根据权利要求3所述的船员行为监测分析方法，其特征在于，所述识别同一所述识别周期内的图像数据中包含的人体的边界，剔除无法识别边界的图像数据之后还包括：

5.根据权利要求2所述的船员行为监测分析方法，其特征在于，所述异常行为至少包括抽烟行为，所述当所述船员行为在所述识别场景中为异常行为时，将所述图像数据发送至安全管理端并存储在报警证据库中之后还包括：

获取目标图像数据对应的红外信息中的温度最高点的最高温度波长值；

6.根据权利要求1所述的船员行为监测分析方法，其特征在于，所述将所述图像数据输入所述图像识别模型中，识别所述图像数据中的船员行为，包括：

7.根据权利要求6所述的船员行为监测分析方法，其特征在于，所述若识别场景为室内，将图像数据输入室内模型，识别图像数据中的室内行为，包括：

若同一周期内的船员行为均为玩手机行为，则在图像数据上标注玩手机行为；

若同一周期内的船员行为均为睡岗行为，则在图像数据上标注睡岗行为。

8.一种船员行为监测分析装置，其特征在于，包括：

模型建立模块(301)，用于建立船员行为图像分类识别模型并用于将带有船员行为标记的图像数据输入所述图像分类模型中进行训练，得到船员行为识别模块；

图像获取模块(302)，用于获取所述目标摄像头的识别场景以及获取目标摄像头采集的视频数据并逐帧获取所述视频数据中的图像数据；

自动识别模块(303)，用于将所述图像数据输入所述图像识别模型中，识别所述图像数据中的船员行为；

证据采集模块(304)，用于当所述船员行为在所述识别场景中为异常行为时，将所述图像数据发送至安全管理端并存储在报警证据库中。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1-7任一种方法的计算机程序。

10.一种计算机存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-7任一种方法的计算机程序。