CN116071836A - 基于深度学习的船员异常行为检测与身份识别方法 - Google Patents
基于深度学习的船员异常行为检测与身份识别方法 Download PDFInfo
- Publication number
- CN116071836A CN116071836A CN202310218377.3A CN202310218377A CN116071836A CN 116071836 A CN116071836 A CN 116071836A CN 202310218377 A CN202310218377 A CN 202310218377A CN 116071836 A CN116071836 A CN 116071836A
- Authority
- CN
- China
- Prior art keywords
- crewman
- abnormal behavior
- data set
- face
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 37
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 210000003128 head Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000391 smoking effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习的船员异常行为检测与身份识别方法，属于计算机视觉和航运安全技术领域，该方法为：获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集；基于改进后的CenterNet网络模型CA‑CenterNet，设计船员异常行为检测模型；基于人脸姿态评估算法设计船员人脸识别模型；将通过模型检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。本发明可实时、准确检测到船员异常行为并识别其身份信息，减少由船员异常行为带来的生产安全隐患，降低事故发生的可能性，有效保证船上人员的生命财产安全。
Description
技术领域
本发明属于计算机视觉和航运安全技术领域，具体涉及基于深度学习的船员异常行为检测与身份识别方法。
背景技术
船员异常行为指在船员工作过程中由于船员的自身疏忽、技能不熟悉、操作违规、培训不到位等原因导致的不正常行为，可能导致事故发生，甚至危及船舶和人身安全。准确检测船员异常行为并识别该船员身份，可以为事故预警、过程分析及船员培训等提供重要数据支撑，对维护航运安全与人身安全有重要意义。
现有的自动化船员异常行为检测与识别方式有：传感器检测与图像检测等。传感器检测准确度较高，触发性能较好，但存在结构复杂、设备昂贵、检测效率低等缺点；图像检测方式分为传统图像检测方法与深度学习检测方法。两者可以通过监控视频获取船员异常行为与身份信息，成本较低，易于部署与扩展，可应用在舰船监控系统中。但传统图像检测方法，存在方法精度不稳定、实时性不佳的问题。目前深度学习技术应用在行为检测与身份识别领域的技术相对成熟，各项识别指标突出，但船上环境复杂多变，存在种种影响图像质量的因素，导致难以做到准确检测与识别。
发明内容
针对现有技术中存在的上述技术问题，本发明提供基于深度学习的船员异常行为检测与身份识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
本发明采用如下技术方案：
基于深度学习的船员异常行为检测与身份识别方法，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断输入视频中是否存在出现异常行为的船员并获取异常行为类别和船员位置信息图像；
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为、获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息，将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。
进一步地，步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集。
进一步地，步骤S2具体包括以下子步骤：
S2.1、所述CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，所述特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；预测网络Heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络；所述中心点预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×80的卷积模块组成，所述边界偏置预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×2的卷积模块组成，所述尺寸预测网络由一个3×3×64的卷积模块、一个1×1×2的卷积模块组成；
S2.2、将S1.3中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中Loss函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型。
进一步地，通过船员异常行为检测模型检测的过程具体为：每帧图像依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到多种模式的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
进一步地，所述特征图Ⅱ在中心点预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×80的卷积模块；特征图Ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×2的卷积模块；特征图Ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块，最后经过1×1×2的卷积模块；
进一步地，步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点位置与人脸检测框。其中、分别为图像中船员左右眼中心位置，为船员鼻尖位置，、分别为船员左右嘴角位置，和分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
；
；
其中，为、两点在图像中的距离，和分别为和两点在图像中的X轴坐标；为和两点连线中心，为嘴唇中心到两眼连线的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
；
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。
进一步地，步骤S4具体包括：截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1和I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
与现有技术相比，本发明提供的一种基于深度学习的船员异常行为检测与身份识别方法具有以下有益效果：
构建了船员异常行为和人脸识别的有效数据集，对实现深度学习技术具有关键性作用；采用TransfomerBlock改进CenterNet的特征提取网络，利用自注意力机制可以更有效的抑制舰船环境噪声干扰、提取各种尺寸的船员行为特征，提升了检测精度；在CenterNet的预测网络中引入CBAM结构实现通道-空间注意力机制，从而更好的定位船员所在区域与中心点位置，进一步提升对于船员异常行为的检测精度；在视频人脸识别模型中设计了一种人脸姿态估计算法，可以从视频序列中筛选出高质量人脸图像，有效提升了船员身份识别精度。
附图说明
图1为本发明中基于深度学习的船员异常行为检测与身份识别方法的整体流程图；
图2为本发明中CA-CenterNet结构示意图；
图3为本发明中CA-CenterNet的数据集训练损失函数图；
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
基于深度学习的船员异常行为检测与身份识别方法，如图1所示，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
拍摄船员模拟异常行为时，以舰船前后甲板、各个舱室为平台进行模拟异常行为的监控数据采集，其中所有参与模拟拍摄的人员均为不同职称的在职船员，模拟的水域为青岛附近水域；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换函数Video2Images生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断输入视频中是否存在出现异常行为的船员并获取异常行为类别和船员位置信息图像；
步骤S2具体包括以下子步骤：
S2.1、如图2所示，CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，将原有的卷积模块定义为ResBlock模块，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×64的卷积模块Conv、一个CBAM模块与一个1×1×80的卷积模块Conv组成，边界偏置预测网络由一个3×3×64的卷积模块Conv、一个CBAM模块与一个1×1×2的卷积模块Conv组成，尺寸预测网络由一个3×3×64的卷积模块Conv、一个1×1×2的卷积模块Conv组成；
S2.2、将S1.3中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型；
通过船员异常行为检测模型检测的过程具体为：每帧图像通过自适应缩放方式设置尺寸512×512×3，图像首先依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到1024个不同模式的32×32尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到16×16×2048尺寸的全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出128×128×64尺寸的特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
具体地，特征图Ⅱ在中心点预测网络中首先经过3×3×64的卷积模块Conv，再经过CBAM模块，最后经过1×1×80的卷积模块Conv，得到中心点预测结果；特征图Ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块Conv，再经过CBAM模块，最后经过1×1×2的卷积模块Conv，得到边界偏置预测结果；特征图Ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块Conv，最后经过1×1×2的卷积模块Conv，得到尺寸预测结果；
进行模型性能评价和对比，采用同类型的模型如YoloV5l、YoloV4、原CenterNet模型作为对比模型，选择mAP 0.5:0.95、mAP 0.5、计算耗时作为评价指标，其中mAP为模型检测各类船员异常行为的平均精度均值，mAP 0.5:0.95为在交并比阈值设置为0.5到0.95，步长为0.5时的模型平均精度均值，mAP 0.5为在交并比阈值设置为0.5时的模型平均精度均值，训练参数同S2.2所述，从而得到对比结果如表1，其中CA-CenterNet各损失函数变化如图3所示。
表1 对比结果；
。
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点位置与人脸检测框。其中、分别为图像中船员左右眼中心位置，为船员鼻尖位置，、分别为船员左右嘴角位置，和分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
；
；
其中，为、两点在图像中的距离，和分别为和两点在图像中的X轴坐标；为和两点连线中心，为嘴唇中心到两眼连线的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
；
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为、获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息；截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1和I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (7)
1.基于深度学习的船员异常行为检测与身份识别方法，其特征在于，包括如下步骤：
S1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；
S2、基于改进后的CenterNet网络模型CA-CenterNet，设计船员异常行为检测模型判断是否存在出现异常行为的船员，并获取异常行为类别和船员位置信息图像；
S3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；
S4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为，获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息，将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。
2.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S1具体包括以下子步骤：
S1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；
S1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列；
S1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集。
3.根据权利要求2所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S2具体包括以下子步骤：
S2.1、所述CA-CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，所述特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；预测网络Heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络；所述中心点预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×80的卷积模块组成，所述边界偏置预测网络由一个3×3×64的卷积模块、一个CBAM模块与一个1×1×2的卷积模块组成，所述尺寸预测网络由一个3×3×64的卷积模块、一个1×1×2的卷积模块组成；
S2.2、将S1.3中的训练集输入到CA-CenterNet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中Loss函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型。
4.根据权利要求3所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，通过船员异常行为检测模型检测的过程具体为：每帧图像依次通过ResBlock_1、ResBlock_2和ResBlock_3后输出特征图Ⅰ，将特征图Ⅰ输入TransfomerBlock模块，得到多种模式的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResBlock_4模块，得到全局注意力特征图；将全局注意力特征图输入到上采样网络DeConv进行上采样，输出特征图Ⅱ；将特征图Ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。
5.根据权利要求4所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，所述特征图Ⅱ在中心点预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×80的卷积模块；特征图Ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块，再经过CBAM模块，最后经过1×1×2的卷积模块；特征图Ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块，最后经过1×1×2的卷积模块。
6.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S3包括以下子步骤：
S3.1、对出现异常行为的船员使用DeepSort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到DeepSort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字ID；
S3.2、根据船员数字ID判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到MTCNN模型检测人脸关键点位置与人脸检测框，其中、分别为图像中船员左右眼中心位置，为船员鼻尖位置，、分别为船员左右嘴角位置，和分别为船员人脸左上角、右下角位置；
S3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度Yaw与俯仰角度Pitch，计算公式如下：
；
；
其中，为、两点在图像中的距离，和分别为和两点在图像中的X轴坐标；为和两点连线中心，为嘴唇中心到两眼连线的距离；
S3.4、通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
；
S3.5、将符合条件的人脸图像输入FaceRecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。
7.根据权利要求1所述的基于深度学习的船员异常行为检测与身份识别方法，其特征在于，步骤S4具体包括：截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像I1、I2；记录该船员异常行为种类C、当前时间T和船员身份信息N，将I1、I2、C、T、N写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218377.3A CN116071836B (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的船员异常行为检测与身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218377.3A CN116071836B (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的船员异常行为检测与身份识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071836A true CN116071836A (zh) | 2023-05-05 |
| CN116071836B CN116071836B (zh) | 2023-07-11 |
Family
ID=86183823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310218377.3A Active CN116071836B (zh) | 2023-03-09 | 2023-03-09 | 基于深度学习的船员异常行为检测与身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071836B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597427A (zh) * | 2023-07-18 | 2023-08-15 | 山东科技大学 | 一种基于深度学习的舰船驾驶台身份识别方法 |
| CN116740649A (zh) * | 2023-08-07 | 2023-09-12 | 山东科技大学 | 一种基于深度学习的船员越界落水行为实时检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111222562A (zh) * | 2020-01-02 | 2020-06-02 | 南京邮电大学 | 空间自注意力机制及目标检测方法 |
| CN113486843A (zh) * | 2021-07-23 | 2021-10-08 | 上海海事大学 | 一种基于改进YOLOv3的多场景船员不安全行为检测方法 |
| CN113963315A (zh) * | 2021-11-16 | 2022-01-21 | 重庆邮电大学 | 一种复杂场景下实时视频多人行为识别方法及系统 |
| CN113971833A (zh) * | 2021-11-29 | 2022-01-25 | 成都新潮传媒集团有限公司 | 多角度的人脸识别方法、装置、计算机主设备及存储介质 |
| US20220198802A1 (en) * | 2020-12-18 | 2022-06-23 | Toyota Jidosha Kabushiki Kaisha | Computer-implemental process monitoring method, device, system and recording medium |
| CN115620393A (zh) * | 2022-10-14 | 2023-01-17 | 长安大学 | 一种面向自动驾驶的细粒度行人行为识别方法及系统 |
| CN115661766A (zh) * | 2022-10-31 | 2023-01-31 | 上海海事大学 | 一种基于深度学习的智能船舶安全监控方法及系统 |
-
2023
- 2023-03-09 CN CN202310218377.3A patent/CN116071836B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111222562A (zh) * | 2020-01-02 | 2020-06-02 | 南京邮电大学 | 空间自注意力机制及目标检测方法 |
| US20220198802A1 (en) * | 2020-12-18 | 2022-06-23 | Toyota Jidosha Kabushiki Kaisha | Computer-implemental process monitoring method, device, system and recording medium |
| CN113486843A (zh) * | 2021-07-23 | 2021-10-08 | 上海海事大学 | 一种基于改进YOLOv3的多场景船员不安全行为检测方法 |
| CN113963315A (zh) * | 2021-11-16 | 2022-01-21 | 重庆邮电大学 | 一种复杂场景下实时视频多人行为识别方法及系统 |
| CN113971833A (zh) * | 2021-11-29 | 2022-01-25 | 成都新潮传媒集团有限公司 | 多角度的人脸识别方法、装置、计算机主设备及存储介质 |
| CN115620393A (zh) * | 2022-10-14 | 2023-01-17 | 长安大学 | 一种面向自动驾驶的细粒度行人行为识别方法及系统 |
| CN115661766A (zh) * | 2022-10-31 | 2023-01-31 | 上海海事大学 | 一种基于深度学习的智能船舶安全监控方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| GUOFA LI ET AL.: "Detection of Road Objects Based on Camera Sensors for Autonomous Driving in Various Traffic Situations", IEEE SENSORS JOURNAL, vol. 22, no. 24, pages 24253 - 24263 * |
| 李发光 等: "基于改进CenterNet的航拍绝缘子缺陷实时检测模型", 计算机科学, pages 84 - 91 * |
| 程石: "基于CenterNet的Pathway实体识别和关系判定方法", 中国优秀硕士学位论文全文数据库基础科学辑, vol. 2022, no. 01, pages 006 - 397 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597427A (zh) * | 2023-07-18 | 2023-08-15 | 山东科技大学 | 一种基于深度学习的舰船驾驶台身份识别方法 |
| CN116597427B (zh) * | 2023-07-18 | 2023-10-20 | 山东科技大学 | 一种基于深度学习的舰船驾驶台身份识别方法 |
| CN116740649A (zh) * | 2023-08-07 | 2023-09-12 | 山东科技大学 | 一种基于深度学习的船员越界落水行为实时检测方法 |
| CN116740649B (zh) * | 2023-08-07 | 2023-11-03 | 山东科技大学 | 一种基于深度学习的船员越界落水行为实时检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116071836B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116071836B (zh) | 基于深度学习的船员异常行为检测与身份识别方法 | |
| CN110502965B (zh) | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 | |
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| US10248854B2 (en) | Hand motion identification method and apparatus | |
| CN111680614B (zh) | 一种基于视频监控中的异常行为检测方法 | |
| CN110070074B (zh) | 一种构建行人检测模型的方法 | |
| CN109359526B (zh) | 一种人脸姿态估计方法、装置和设备 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN111079518A (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
| CN112819068A (zh) | 一种基于深度学习的船舶作业违章行为实时侦测方法 | |
| CN110827432B (zh) | 一种基于人脸识别的课堂考勤方法及系统 | |
| CN113158850A (zh) | 基于深度学习的船舶驾驶员疲劳检测方法和系统 | |
| CN112465871A (zh) | 一种视觉跟踪算法准确性的评价方法及系统 | |
| CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
| CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN112232269B (zh) | 一种基于孪生网络的船舶身份智能识别方法及系统 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN113343926A (zh) | 一种基于卷积神经网络的驾驶员疲劳检测方法 | |
| CN112052829A (zh) | 一种基于深度学习的飞行员行为监控方法 | |
| CN111723688A (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN108960181B (zh) | 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法 | |
| CN115346169B (zh) | 一种睡岗行为检测方法及系统 | |
| CN108647679B (zh) | 一种基于车窗粗定位的车标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |