CN116071836B - 基于深度学习的船员异常行为检测与身份识别方法 - Google Patents

基于深度学习的船员异常行为检测与身份识别方法 Download PDF

Info

Publication number
CN116071836B
CN116071836B CN202310218377.3A CN202310218377A CN116071836B CN 116071836 B CN116071836 B CN 116071836B CN 202310218377 A CN202310218377 A CN 202310218377A CN 116071836 B CN116071836 B CN 116071836B
Authority
CN
China
Prior art keywords
crewman
abnormal behavior
data set
face
crew
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310218377.3A
Other languages
English (en)
Other versions
CN116071836A (zh
Inventor
李正宝
高鼎
杜立彬
高洁
马云鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310218377.3A priority Critical patent/CN116071836B/zh
Publication of CN116071836A publication Critical patent/CN116071836A/zh
Application granted granted Critical
Publication of CN116071836B publication Critical patent/CN116071836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的船员异常行为检测与身份识别方法，属于计算机视觉和航运安全技术领域，该方法为：获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集；基于改进后的CenterNet网络模型CA‑CenterNet，设计船员异常行为检测模型；基于人脸姿态评估算法设计船员人脸识别模型；将通过模型检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。本发明可实时、准确检测到船员异常行为并识别其身份信息，减少由船员异常行为带来的生产安全隐患，降低事故发生的可能性，有效保证船上人员的生命财产安全。

Description

基于深度学习的船员异常行为检测与身份识别方法
技术领域
本发明属于计算机视觉和航运安全技术领域，具体涉及基于深度学习的船员异常行为检测与身份识别方法。
背景技术
船员异常行为指在船员工作过程中由于船员的自身疏忽、技能不熟悉、操作违规、培训不到位等原因导致的不正常行为，可能导致事故发生，甚至危及船舶和人身安全。准确检测船员异常行为并识别该船员身份，可以为事故预警、过程分析及船员培训等提供重要数据支撑，对维护航运安全与人身安全有重要意义。
现有的自动化船员异常行为检测与识别方式有：传感器检测与图像检测等。传感器检测准确度较高，触发性能较好，但存在结构复杂、设备昂贵、检测效率低等缺点；图像检测方式分为传统图像检测方法与深度学习检测方法。两者可以通过监控视频获取船员异常行为与身份信息，成本较低，易于部署与扩展，可应用在舰船监控系统中。但传统图像检测方法，存在方法精度不稳定、实时性不佳的问题。目前深度学习技术应用在行为检测与身份识别领域的技术相对成熟，各项识别指标突出，但船上环境复杂多变，存在种种影响图像质量的因素，导致难以做到准确检测与识别。
发明内容
针对现有技术中存在的上述技术问题，本发明提供基于深度学习的船员异常行为检测与身份识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
本发明采用如下技术方案：
基于深度学习的船员异常行为检测与身份识别方法，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断输入视频中是否存在出现异常行为的船员并获取异常行为类别和船员位置信息图像；
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为、获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息，将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。
进一步地，步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集。
进一步地，步骤S2具体包括以下子步骤：
S2.1、所述CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，所述特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；预测网络Heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络；所述中心点预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×80的卷积模块组成，所述边界偏置预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×2的卷积模块组成，所述尺寸预测网络由一个3×3×64的卷积模块、一个1×1×2的卷积模块组成；
S2.2、将S1.3中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中Loss函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型。
进一步地，通过船员异常行为检测模型检测的过程具体为：每帧图像依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到多种模式的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
进一步地，所述特征图Ⅱ在中心点预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×80的卷积模块；特征图Ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×2的卷积模块；特征图Ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块，最后经过1×1×2的卷积模块；
进一步地，步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点
Figure SMS_2
位置与人脸检测框/>
Figure SMS_4
。其中/>
Figure SMS_5
、/>
Figure SMS_6
分别为图像中船员左右眼中心位置，/>
Figure SMS_7
为船员鼻尖位置，/>
Figure SMS_8
、/>
Figure SMS_9
分别为船员左右嘴角位置，/>
Figure SMS_1
和/>
Figure SMS_3
分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
Figure SMS_10
；
Figure SMS_11
；
其中，
Figure SMS_13
为/>
Figure SMS_14
、/>
Figure SMS_16
两点在图像中的距离，/>
Figure SMS_18
和/>
Figure SMS_21
分别为/>
Figure SMS_23
和/>
Figure SMS_24
两点在图像中的X轴坐标；/>
Figure SMS_12
为/>
Figure SMS_15
和/>
Figure SMS_17
两点连线中心，/>
Figure SMS_19
为嘴唇中心/>
Figure SMS_20
到两眼连线/>
Figure SMS_22
的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
Figure SMS_25
；
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。
进一步地，步骤S4具体包括：截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1和I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
与现有技术相比，本发明提供的一种基于深度学习的船员异常行为检测与身份识别方法具有以下有益效果：
构建了船员异常行为和人脸识别的有效数据集，对实现深度学习技术具有关键性作用；采用TransfomerBlock改进CenterNet的特征提取网络，利用自注意力机制可以更有效的抑制舰船环境噪声干扰、提取各种尺寸的船员行为特征，提升了检测精度；在CenterNet的预测网络中引入CBAM结构实现通道-空间注意力机制，从而更好的定位船员所在区域与中心点位置，进一步提升对于船员异常行为的检测精度；在视频人脸识别模型中设计了一种人脸姿态估计算法，可以从视频序列中筛选出高质量人脸图像，有效提升了船员身份识别精度。
附图说明
图1为本发明中基于深度学习的船员异常行为检测与身份识别方法的整体流程图；
图2为本发明中CA-CenterNet结构示意图；
图3为本发明中CA-CenterNet的数据集训练损失函数图；
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
基于深度学习的船员异常行为检测与身份识别方法，如图1所示，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
拍摄船员模拟异常行为时，以舰船前后甲板、各个舱室为平台进行模拟异常行为的监控数据采集，其中所有参与模拟拍摄的人员均为不同职称的在职船员，模拟的水域为青岛附近水域；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换函数Video2Images生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断输入视频中是否存在出现异常行为的船员并获取异常行为类别和船员位置信息图像；
步骤S2具体包括以下子步骤：
S2.1、如图2所示，CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，将原有的卷积模块定义为ResBlock模块，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×64的卷积模块Conv、一个CBAM模块与一个1×1×80的卷积模块Conv组成，边界偏置预测网络由一个3×3×64的卷积模块Conv、一个CBAM模块与一个1×1×2的卷积模块Conv组成，尺寸预测网络由一个3×3×64的卷积模块Conv、一个1×1×2的卷积模块Conv组成；
S2.2、将S1.3中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型；
通过船员异常行为检测模型检测的过程具体为：每帧图像通过自适应缩放方式设置尺寸512×512×3，图像首先依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到1024个不同模式的32×32尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到16×16×2048尺寸的全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出128×128×64尺寸的特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
具体地，特征图Ⅱ在中心点预测网络中首先经过3×3×64的卷积模块Conv，再经过CBAM模块，最后经过1×1×80的卷积模块Conv，得到中心点预测结果；特征图Ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块Conv，再经过CBAM模块，最后经过1×1×2的卷积模块Conv，得到边界偏置预测结果；特征图Ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块Conv，最后经过1×1×2的卷积模块Conv，得到尺寸预测结果；
进行模型性能评价和对比，采用同类型的模型如YoloV5l、YoloV4、原CenterNet模型作为对比模型，选择mAP 0.5:0.95、mAP 0.5、计算耗时作为评价指标，其中mAP为模型检测各类船员异常行为的平均精度均值，mAP 0.5:0.95为在交并比阈值设置为0.5到0.95，步长为0.5时的模型平均精度均值，mAP 0.5为在交并比阈值设置为0.5时的模型平均精度均值，训练参数同S2.2所述，从而得到对比结果如表1，其中CA-CenterNet各损失函数变化如图3所示。
表1 对比结果；
Figure SMS_26
。
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点
Figure SMS_28
位置与人脸检测框/>
Figure SMS_29
。其中/>
Figure SMS_31
、/>
Figure SMS_32
分别为图像中船员左右眼中心位置，/>
Figure SMS_33
为船员鼻尖位置，/>
Figure SMS_34
、/>
Figure SMS_35
分别为船员左右嘴角位置，/>
Figure SMS_27
和/>
Figure SMS_30
分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
Figure SMS_36
；
Figure SMS_37
；
其中，
Figure SMS_41
为/>
Figure SMS_43
、/>
Figure SMS_45
两点在图像中的距离，/>
Figure SMS_47
和/>
Figure SMS_48
分别为/>
Figure SMS_49
和/>
Figure SMS_50
两点在图像中的X轴坐标；/>
Figure SMS_38
为/>
Figure SMS_39
和/>
Figure SMS_40
两点连线中心，/>
Figure SMS_42
为嘴唇中心/>
Figure SMS_44
到两眼连线/>
Figure SMS_46
的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
Figure SMS_51
；
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为、获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息；截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1和I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.基于深度学习的船员异常行为检测与身份识别方法，其特征在于，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断是否存在出现异常行为的船员，并获取异常行为类别和船员位置信息图像；
步骤S2具体包括以下子步骤：
S2.1、所述CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，所述特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1～ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；预测网络Heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络；所述中心点预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×80的卷积模块组成，所述边界偏置预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×2的卷积模块组成，所述尺寸预测网络由一个3×3×64的卷积模块、一个1×1×2的卷积模块组成；
S2.2、将船员异常行为数据集中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中Loss函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型；
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点K(E1,E2,N1,M1,M2)位置与人脸检测框D(F1,F2)，其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
Figure FDA0004250326890000021
Figure FDA0004250326890000022
其中，len(E1,E2)为E1、E2两点在图像中的距离，E1(x)和N1(x)分别为E1和N1两点在图像中的X轴坐标；M为M1和M2两点连线中心，d(E1E2,M)为嘴唇中心M到两眼连线E1E2的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
Figure FDA0004250326890000023
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息；
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为，获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息，将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。
2.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集。
3.根据权利要求2所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，通过船员异常行为检测模型检测的过程具体为：每帧图像依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到多种模式的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
4.根据权利要求3所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，所述特征图Ⅱ在中心点预测网络中首先经过一个3×3×64的卷积模块，再经过一个CBAM模块，最后经过一个1×1×80的卷积模块；特征图Ⅱ在边界偏置预测网络中首先经过一个3×3×64的卷积模块，再经过一个CBAM模块，最后经过一个1×1×2的卷积模块；特征图Ⅱ在尺寸预测网络中首先经过一个3×3×64的卷积模块，最后经过一个1×1×2的卷积模块。
5.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S4具体包括：截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1、I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
CN202310218377.3A 2023-03-09 2023-03-09 基于深度学习的船员异常行为检测与身份识别方法 Active CN116071836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310218377.3A CN116071836B (zh) 2023-03-09 2023-03-09 基于深度学习的船员异常行为检测与身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310218377.3A CN116071836B (zh) 2023-03-09 2023-03-09 基于深度学习的船员异常行为检测与身份识别方法

Publications (2)

Publication Number Publication Date
CN116071836A CN116071836A (zh) 2023-05-05
CN116071836B true CN116071836B (zh) 2023-07-11

Family

ID=86183823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310218377.3A Active CN116071836B (zh) 2023-03-09 2023-03-09 基于深度学习的船员异常行为检测与身份识别方法

Country Status (1)

Country Link
CN (1) CN116071836B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597427B (zh) * 2023-07-18 2023-10-20 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN116740649B (zh) * 2023-08-07 2023-11-03 山东科技大学 一种基于深度学习的船员越界落水行为实时检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486843A (zh) * 2021-07-23 2021-10-08 上海海事大学 一种基于改进YOLOv3的多场景船员不安全行为检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222562B (zh) * 2020-01-02 2022-04-08 南京邮电大学 基于空间自注意力机制的目标检测方法
EP4016376A1 (en) * 2020-12-18 2022-06-22 Toyota Jidosha Kabushiki Kaisha Computer-implemented process monitoring method
CN113963315A (zh) * 2021-11-16 2022-01-21 重庆邮电大学 一种复杂场景下实时视频多人行为识别方法及系统
CN113971833A (zh) * 2021-11-29 2022-01-25 成都新潮传媒集团有限公司 多角度的人脸识别方法、装置、计算机主设备及存储介质
CN115620393A (zh) * 2022-10-14 2023-01-17 长安大学 一种面向自动驾驶的细粒度行人行为识别方法及系统
CN115661766A (zh) * 2022-10-31 2023-01-31 上海海事大学 一种基于深度学习的智能船舶安全监控方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486843A (zh) * 2021-07-23 2021-10-08 上海海事大学 一种基于改进YOLOv3的多场景船员不安全行为检测方法

Also Published As

Publication number Publication date
CN116071836A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN116071836B (zh) 基于深度学习的船员异常行为检测与身份识别方法
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
US10248854B2 (en) Hand motion identification method and apparatus
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN111429484A (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN113158850A (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN112465871A (zh) 一种视觉跟踪算法准确性的评价方法及系统
CN115861981A (zh) 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant