CN113378638B - 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 - Google Patents

基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 Download PDF

Info

Publication number
CN113378638B
CN113378638B CN202110513377.7A CN202110513377A CN113378638B CN 113378638 B CN113378638 B CN 113378638B CN 202110513377 A CN202110513377 A CN 202110513377A CN 113378638 B CN113378638 B CN 113378638B
Authority
CN
China
Prior art keywords
human body
joint point
gru
layer
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110513377.7A
Other languages
English (en)
Other versions
CN113378638A (zh
Inventor
何治斌
王鑫鑫
邹芳坤
李佳伟
朱嘉涵
李治显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110513377.7A priority Critical patent/CN113378638B/zh
Publication of CN113378638A publication Critical patent/CN113378638A/zh
Application granted granted Critical
Publication of CN113378638B publication Critical patent/CN113378638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于人体关节点检测和D‑GRU网络的轮机员异常行为识别方法，设计了基于人体关节点检测结合GRU网络结构的人体检测模型，由于机舱光线较暗，复杂的工作环境，该模型通过关节点检测模型对人体关节点进行检测与追踪，然后将得到的关键点的热图输出坐标，然后将坐标输入到D‑GRU网络结构中进行人体姿态预测，以实现对轮机员异常行为的识别。本发明的技术方案解决了现有技术中当轮机员等工作人员在船楼、机舱、锅炉间等较远场所工作时，不能及时了解及反应轮机员人身安全的问题。

Description

基于人体关节点检测和D-GRU网络的轮机员异常行为识别 方法
技术领域
本发明涉及轮机自动化及智能化技术领域，具体而言，尤其涉及一种基于人体关节点检测和改进D-GRU网络结构的轮机员异常行为识别方法。
背景技术
在现代轮机2009警报和指示器规则第8条：人员报警应能自动在驾驶桥楼或官员住处发出报警，并且如果没有在一个时间段内从机器处所复位，这个时间段通常不超过30分钟。但在向桥楼或者官员住处发出报警前，应先给出预警告信号。这个人员报警在那种情况下运行呢，规则说了当机舱有报警时，当班轮机员去机舱时自动运行，或者有当班轮机员去例行巡查时手动激活。当班轮机员离开机舱时断开这个报警。当系统运行时，当班轮机员如果没有应答报警，报警不能断开。同时人员报警也可以启动轮机员报警。
SOLAS公约第II-1章C部分第38条，轮机员报警：应设有一个从发动机控制室或操纵平台(视具体情况而定)进行操作的轮机员报警装置，且报警信号应能在轮机员居住舱室清晰地听到。C部分可是对所有适用于SOLAS公约船舶的要求。第8.3条说明，除了手动从机舱操作外，当无人机舱的船上，机舱报警没有在预计的时间内从机舱或控制室应答时，轮机员报警应介入，这个时间通常不超过5分钟。如果是非无人机舱的船舶，按照第38条的强制要求必须有轮机员报警，此时轮机员报警有时候在船上也称为轮机员呼叫系统。
轮机员安全报警系统，又称安全报警系统，是指能够及时反映轮机员、技术人员或船员单独或一起在船楼、机舱、锅炉间等较远场所工作时的安全状况，目的在于发现由于上述人员在出现人身安全情况而失去履行其职责能力时及时发出报警，以保障现场工作人员的人身安全。轮机员安全报警提出的针对轮机员人身安全的一种报警系统。
现有的国内外产品中，系统功能相对单一，不能对现场发生人身安全状况的工作人员准确定位以及及时的发现情况。
发明内容
当轮机员等工作人员在船楼、机舱、锅炉间等较远场所工作时，为了及时了解及反应轮机员人身安全，本发明提出一种基于人体关节点检测和改进D-GRU网络的轮机员异常行为识别方法，设计了基于人体关节点检测结合GRU网络结构的人体检测模型，由于机舱光线较暗，复杂的工作环境，该模型通过关节点检测模型对人体关键点进行检测与追踪，然后将得到的关键点的热图输出坐标，然后将坐标输入到D-GRU网络结构中进行人体姿态预测，以实现对轮机员异常行为的识别。
本发明采用的技术手段如下：
本发明提供了一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，包括：
步骤一、对轮机员进行图像摄影采集，获取轮机员值班的行为数据；
步骤二、将所述轮机员值班的行为数据输入至关节点检测模型进行人体关节点检测和追踪，获得关节点热图；所述关节点检测模型以残差网络作为主干网络，在残差网络最后一个卷积阶段添加反卷积层；
步骤三、基于步骤二得到的关节点热图，得到关节点坐标；
步骤四、对步骤三获得的关节点坐标按时序逐帧输出，把输出的关节点坐标输入到搭建的D-GRU网络中确定是否为异常行为；所述D-GRU网络包括将输入分开的两条支路，第一支路依次设置有稠密层、丢弃层和GRU层；第二支路依次设置有稠密层、丢弃层和压平层；最后把第一支路GRU层跟第二支路压平层得到的参数相加，信息综合输入到分类器进行识别归类。
进一步地，在ResNet的最后一个卷积阶段添加的反卷积层为具有批归一化和ReLU激活的三个反卷积层；每层有256个过滤器，4×4个内核，步幅为2；最后加入1×1卷积层，生成所有k个关键点的预测热图，其中k为关键点的预设数量。
进一步地，所述关节点检测模型以平均平方误差作为预测热图和目标热图之间的损失；联合k的目标热图通过应用以k个关节的地面真相位置为中心的二维高斯来生成。
进一步地，关节点追踪，包括：基于光流法对关节点检测出的关节特征进行追踪，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。
进一步地，在追踪时采用第一人体框和第二人体框，第一人体框为行人检测器的人体框，第二人体框为使用光流从以前的帧生成的行人框。
进一步地，使用基于流的位姿相似性度量作为追踪时的相似度度量。
进一步地，还包括：在判断为发生异常行为的情况下，发出告警信号。
本发明还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
与现有技术相比，本发明的优点是：
1、本发明利用神经网络特征提取、目标检测、目标跟踪和行为识别等方法，实现对轮机员异常行为的准确判断，该方法准确度高，检测速度快，易于在实际场景中推广应用。
2、本发明通过改进的ResNet网络对人体的关节点提取特征精确且速度快。
3、本发明采用光流法进行关节点跟踪，能够将物体独立的检测出来，不需要摄像机提供其他信息。即无须了解场景的信息，就可以准确地检测识别运动坐标位置,且在摄像机处于运动的情况下仍然适用。
4、本发明提出改进的GRU网络，前期Dense层对数据进行增强联系的处理，然后把数据输入到有时序特征的改进GRU网络进行训练，该网络这样提高监测的精确度。
综上，本方法在轮机员工作值班时不仅能够及时识别发现轮机员是否工作，而且能够对轮机员的行为进行监控，预防因为一些意外事故对轮机员自身安全造成伤害。不管对轮机员自身安全，还是对船舶业的安全提供了有效的保障具有重大意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法的流程图；
图2为本发明实施例中改进的ResNet网络图；
图3本发明实施例中二维光流场图；
图4为本发明实施例中GRU结构图；
图5为本发明实施例中LSTM结构图；
图6为本发明实施例中改进的GRU网络图；
图7为本发明实施例中效果图；
图8为本发明实施例中训练损失图。
具体实施方式
本发明要解决现有技术存在的不能及时反应轮机员发生异常行为的问题，提供一种基于计算机视觉的轮机员异常行为检测方案。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
参见图1，其示出了本发明实施例中一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，由于使用环境的特殊性，针对轮机员的特定工作环境，本发明实施例在特别提供的、模拟的、路上虚拟机舱实验环境进行过试验，在机舱上进行拍摄照片和视频，使用改进的ResNet网络对拍摄的图片进行关节点训练，然后对关节点进行追踪，对输出的关节点输入到D-GRU网络结构中进行训练并对人体姿态预测。
首先启动设备，对摄像头进行初始化操作；然后依次进行以下步骤：
步骤一、视频、图片数据采集：
视频数据采集地是模拟的路上虚拟机舱，获取轮机员值班的行为数据。
上述步骤一具体包括以下步骤：
1)在虚拟机舱中让轮机员进行日常值班工作，包括异常行为，使用摄像机，如CanonEOS 5D Mark IV(5D4)，对轮机员进行图像摄影采集。
2)然后对采集的图像、影像数据进行分类整理，得到轮机员值班的行为数据。
步骤二、行为检测和目标跟踪：
把获取到的轮机员值班的行为数据(也就是采集到的图像、影像数据)输入到基于卷积神经网络的人体关节点检测模型提取特征，获得关节点特征及其关节点热图。
其中，关节点特征是通过图像训练得到的图像像素，关节点热图是对关节点特征的一种展示方式，从关节点热图中可以看到关节点，顺便可以得到关节点坐标。
CNN(Convolutional Neural Networks，卷积神经网络)，如vgg16、resnet，近几年在推动人工智能的发展上，做出了巨大的贡献，原因就在于CNN可以自动提取对分类/检测/识别任务有帮助的特征，不再需要传统人工设计特征，如SIFT/HOG等。
CNN通常含有很深的网络层，每一层代表对图像的特征提取，被称为feature map，卷积网络对图像特征的提取，是随着网络的层数的加深，而从低层特征描述逐渐抽象为高层特征描述。
以前估计姿态的网络结构，大多只使用最后一层的卷积特征，这样会造成信息的丢失。事实上，对于姿态估计这种关联型任务，全身不同的关节点，并不是在相同的featuremap上具有最好的识别精度。最后加入1×1卷积层，生成所有k(这里k设为18)个关键点的预测热图。
特征提取的具体步骤如下：
采用了一种简洁高效的姿态估计和跟踪baseline方法，姿态估计方面使用ResNet(Residual Neural Network，残差神经网络)+deconvolution(反卷积)。对关键点检测，使用ResNet作为主干网络，ResNet的最后一个卷积阶段添加了一些反卷积层，称为C5。整个网络结构如下图2所示。这种结构可以说是最简单的从深分辨率和低分辨率的特征生成热图，也是在最先进的掩模R-CNN中采用的。使用具有批归一化和ReLU(线性整流函数，RectifiedLinear Unit)激活的三个反卷积层。每层有256个过滤器，4个×4个内核，步幅为2；最后加入1×1卷积层，生成所有k(这里k设为18)个关键点的预测热图。平均平方误差(MSE)被用作预测热图和目标热图之间的损失。联合k的目标热图是通过应用以k个关节的地面真相位置为中心的二维高斯来生成的。把步骤一得到的图像、影像数据输入到ResNet+deconvolution网络中对轮机员的关节点提取特征并训练得到关节点的模型。
对关节特征进行追踪是根据关节图像像素锁定后追踪关节的运动变化，以便观察视频中锁定后的关节图像像素如何变化。
姿态追踪主流方法是贪婪匹配算法，简单来说就是，在视频第一帧中每个检测到的人给一个id，然后之后的每一帧检测到的人都和上一帧检测到的人通过某种度量方式(计算检测框的IoU(Intersection over Union，交并比))算一个相似度，将相似度大的(大于阈值)作为同一个id，并删去。重复以上步骤，直到没有与当前帧相似的实例，此时给剩下的实例分配一个新的id。
本发明实施例中基于光流对姿态进行追踪，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。
步骤三、得到关节点坐标：
基于步骤二得到的关节点热图得到关节点坐标点；
步骤四、改进的神经网络D-GRU(Gated Recurrent Unit，门控循环单元)：
对步骤三获得的轮机员关节点坐标逐帧输出，把输出的关节点坐标输入到搭建的神经网络D-GRU确定是否为异常行为。
传统的GRU网络处理的信息量较少，准确率不高，需要很大的训练数据才能提高准确率，针对这一特点，本发明实施例中，改进了传统GRU网络。把输入的数据分成两支路：
第一支路用Dense(稠密层)-Dropout(丢弃层)-GRU联合，为了提取关节点内部的特征联系，在传统GRU网络前添加Dense层，由于Dense层的计算量庞大，为了防止过拟合添加了Dropout层。这样把处理好的数据添加到GRU网络中能更加准确训练数据。
第二支路为了保证数据的完整性，采用Dense-Dropout-Flatten(压平层)网络。
最后把第一支路的GRU层跟第二支路的Flatten层得到的参数相加，信息综合输入到后面Softmax分类器进行识别归类。
步骤五、告警：
在判断为发生异常行为的情况下，发出告警蜂鸣声等信号。
本发明实施例中，利用神经网络特征提取、目标检测、目标跟踪和行为识别等方法，实现对轮机员异常行为的准确判断，该方法准确度高，检测速度快，易于在实际场景中推广应用。
下面对上述步骤二目标跟踪采用的光流法进行具体说明。
光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量，在空间中，运动可以用运动场描述，而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场如图3。
光流法基本原理：
1.基本假设条件
(1)亮度恒定不变。即同一目标在不同帧间运动时，其亮度不会发生改变。这是基本光流法的假定(所有光流法变种都必须满足)，用于得到光流法基本方程；
(2)时间连续或运动是“小运动”。即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。同样也是光流法不可或缺的假定。
2.基本约束方程
考虑一个像素I(x,y,t)在第一帧的光强度(其中t代表其所在的时间维度)。它移动了(dx,dy)的距离到下一帧，用了dt时间。因为是同一个像素点，依据上文提到的第一个假设，该像素在运动前后的光强度是不变的，即：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
将(1)式右端进行泰勒展开，得：
其中ε代表二阶无穷小项，可忽略不计。再将(2)带入(1)后同除dt，可得：
设u,v分别为光流分别为沿X轴与Y轴的速度矢量，得：
令分别表示图像中像素点的灰度沿x、y、t方向的偏导数。
综上，式(3)可以写为：
Ixu+Iyv+It＝0，Ixu+Iyv＝-It；即：
通过L-K方法计算光流场，假设在(u，v)的一个小的局部领域内，亮度是恒定的，那么：
即光流计算的目的就是使得/>最小，
其中，Ix,Iy,Iy均可由图像数据求得，而(u,v)即为所求光流矢量。
本发明实施例中，在此之上提出了两点改进：
1、采用两种不同的人体框(human boxes)，一种来自行人检测器，另一种是使用光流从以前的帧生成的行人框。
2、改变贪婪匹配算法使用的相似度度量，使用基于流的位姿相似性度量(flow-based pose similarity metric)。
结合这两个修改，得到了增强的基于流的位姿跟踪算法。
本实施例中采用的是光流法跟踪，能够将物体独立的检测出来，不需要摄像机提供其他信息。即无须了解场景的信息，就可以准确地检测识别运动坐标位置,且在摄像机处于运动的情况下仍然适用。
下面对上述步骤四中改进的神经网络D-GRU进行具体说明。
GRU网络模型：
1.GRU前向传播
GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。
在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。
GRU与LSTM的结构图如下图4、图5。
更新门(rt)：
更新门的作用类似于LSTM的遗忘和输入门，它决定要丢弃哪些信息和要添加哪些新信息。
重置门(zt)：
重置门是另一个用来决定要忘记多少过去的信息的门。
rt＝σ(Wr·[ht-1,xt]) (8)
zt＝σ(Wz·[ht-1,xt]) (9)
yt＝σ(Wo·ht) (12)
其中，xt为输入的关节点坐标，[]表示两个向量相连，*表示矩阵的乘积，Wr、Wz、Wo为GRU的网络参数，yt为预测的行为分类类别，ht是xt和yt之间的计算枢纽(一般称为隐藏矩阵)；σ表示sigmoid函数，tanh表示tanh函数。
2.GRU的训练过程
从前向传播过程中的公式可以看出要学习的参数有Wr、Wz、Wo。其中前三个参数都是拼接的(因为后先的向量也是拼接的)，所以在训练的过程中需要将他们分割出来：
Wr＝Wrx+Wrh (13)
Wz＝Wzx+Wzh (14)
输出层的输入：
输出层的输出：
在得到最终的输出后，就可以写出网络传递的损失，单个样本某时刻的损失为：
yd为真实的行为分别类别，为输出的预测行为分类类别；
则单个样本在所有时刻的损失为：
采用后向误差传播算法来学习网络，所以先得求损失函数对各参数的偏导(总共有7个)：
其中各中间参数为：
在算出了对各参数的偏导之后，就可以更新参数，依次迭代知道损失收敛。
概括来说，LSTM和CRU都是通过各种门函数来将重要特征保留下来，这样就保证了在long-term传播的时候也不会丢失。此外GRU相对于LSTM少了一个门函数，因此在参数的数量上也是要少于LSTM的，所以整体上GRU的训练速度要快于LSTM的。
3.Dense层
每一个节点都与上下层的所有节点相连，输入与输出都被延展成一维向量。全连接的核心操作就是矩阵向量乘积。
Dense层的参数量庞大，计算量也大，但是Dense层可以最大限度的保存原始信息的完整。第一支路目的就是保存原始信息的完整性。同时Dense容易发生过拟合的现象，为了解决这一问题，添加了Dropout层来防止过拟合的发生。
4.Dropout层
Dropout层可以解决的问题：在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。
在训练时，每个神经元以概率p保留，即以1-p的概率停止工作，每次前向传播保留下来的神经元都不同。
其好处在于：
(1)、多模型的平均：不同的固定神经网络会有不同的过拟合，多个取平均则有可能让一些相反的拟合抵消掉，而Dropout每次都是不同的神经元失活，可以看做是多个模型的平均，类似于多数投票取胜的策略。
(2)、减少神经元间的依赖：由于两个神经元不一定同时有效，因此减少了特征之间的依赖，迫使网络学习有更为鲁棒的特征，因为神经网络不应该对特定的特征敏感，而应该从众多特征中学习更为共同的规律，这也起到了正则化的效果。
(3)、生物进化：Dropout类似于性别在生物进化中的角色，物种为了适应环境变化，在繁衍时取雄性和雌性的各一半基因进行组合，这样可以适应更复杂的新环境，避免了单一基因的过拟合，当环境发生变化时也不至于灭绝。
5.改进的GRU网络
传统的GRU网络处理的信息量较少，准确率不高，需要很大的训练数据才能提高准确率，针对这一特点，本发明实施例中改进了传统GRU网络，改进后的GRU网络如图6所示，把输入的数据分成两支路。
一分支路用Dense-Dropout-GRU联合，在传统GRU网络前添加Dense层是为了提取关节点内部的特征联系，由于Dense层的计算量庞大，我们为了防止过拟合添加了Dropout层。这样把处理好的数据添加到GRU网络中能更加准确训练数据。
另一支路为了保证数据的完整性，采用Dense-Dropout-Flatten网络。
最后把GRU层跟Flatten层得到的参数相加，信息综合输入到后面Softmax分类器进行识别归类。
本实施例中的异常识别效果图如图7所示，D-GRU网络的训练损失图如图8所示。
本发明实施例中使用改进的GRU网络，前期Dense层对数据进行增强联系的处理，然后把数据输入到有时序特征的改进GRU网络进行训练，该网络这样提高监测的精确度。
对应于上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，本发明实施例中还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
对应于上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，本发明实施例中还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器上述基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，包括：
步骤一、对轮机员进行图像摄影采集，获取轮机员值班的行为数据；
步骤二、将所述轮机员值班的行为数据输入至关节点检测模型进行人体关节点检测和追踪，获得关节点热图；所述关节点检测模型以残差网络作为主干网络，在残差网络最后一个卷积阶段添加反卷积层；
步骤三、基于步骤二得到的关节点热图，得到关节点坐标；
步骤四、对步骤三获得的关节点坐标按时序逐帧输出，把输出的关节点坐标输入到搭建的D-GRU网络中确定是否为异常行为；所述D-GRU网络包括将输入分开的两条支路，第一支路依次设置有稠密层、丢弃层和GRU层；第二支路依次设置有稠密层、丢弃层和压平层；最后把第一支路GRU层跟第二支路压平层得到的参数相加，信息综合输入到分类器进行识别归类。
2.根据权利要求1所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，在残差网络的最后一个卷积阶段添加的反卷积层为具有批归一化和线性整流函数激活的三个反卷积层；每层有256个过滤器，4×4个内核，步幅为2；最后加入1×1卷积层，生成所有k个关键点的预测热图，其中k为关键点的预设数量。
3.根据权利要求2所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，所述关节点检测模型以平均平方误差作为预测热图和目标热图之间的损失；联合k的目标热图通过应用以k个关节的地面真相位置为中心的二维高斯来生成。
4.根据权利要求1所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，关节点追踪，包括：基于光流法对关节点检测出的关节特征进行追踪，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。
5.根据权利要求4所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，在追踪时采用第一人体框和第二人体框，第一人体框为行人检测器的人体框，第二人体框为使用光流从以前的帧生成的行人框。
6.根据权利要求4所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，使用基于流的位姿相似性度量作为追踪时的相似度度量。
7.根据权利要求1所述的一种基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法，其特征在于，还包括：在判断为发生异常行为的情况下，发出告警信号。
8.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至7中任一项权利要求所述的基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
9.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至7中任一项权利要求所述的基于人体关节点检测和D-GRU网络的轮机员异常行为识别方法。
CN202110513377.7A 2021-05-11 2021-05-11 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 Active CN113378638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110513377.7A CN113378638B (zh) 2021-05-11 2021-05-11 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110513377.7A CN113378638B (zh) 2021-05-11 2021-05-11 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法

Publications (2)

Publication Number Publication Date
CN113378638A CN113378638A (zh) 2021-09-10
CN113378638B true CN113378638B (zh) 2023-12-22

Family

ID=77572505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110513377.7A Active CN113378638B (zh) 2021-05-11 2021-05-11 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法

Country Status (1)

Country Link
CN (1) CN113378638B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822250A (zh) * 2021-11-23 2021-12-21 中船（浙江）海洋科技有限公司 一种船舶驾驶异常行为检测方法
CN114359974B (zh) * 2022-03-08 2022-06-07 广东履安实业有限公司 一种人体姿态的检测方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549863B (zh) * 2018-04-11 2019-11-26 腾讯科技（深圳）有限公司 人体姿态预测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置
CN110321833A (zh) * 2019-06-28 2019-10-11 南京邮电大学 基于卷积神经网络和循环神经网络的人体行为识别方法
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像检测的机场人员异常行为分析技术研究;孙宝聪;;数字通信世界(第01期);全文 *

Also Published As

Publication number Publication date
CN113378638A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
Shen et al. Flame detection using deep learning
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
Foedisch et al. Adaptive real-time road detection using neural networks
CN108932479A (zh) 一种人体异常行为检测方法
CN113378638B (zh) 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN109800665A (zh) 一种人体行为识别方法、系统及存储介质
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
CN113870304B (zh) 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN109918995B (zh) 一种基于深度学习的人群异常检测方法
CN112149618B (zh) 适用于巡检车的行人异常行为检测方法与装置
CN101303726A (zh) 基于粒子动态采样模型的红外人体目标跟踪系统
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
CN112036381A (zh) 视觉跟踪方法、视频监控方法及终端设备
Wang et al. Research on automatic target detection and recognition based on deep learning
CN113065431A (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
Kadim et al. Deep-learning based single object tracker for night surveillance.
Santos et al. Dyfusion: dynamic IR/RGB fusion for maritime vessel recognition
Gal Automatic obstacle detection for USV’s navigation using vision sensors
Yussiff et al. Parallel Kalman filter-based multi-human tracking in surveillance video
Buccolieri et al. Human posture recognition using active contours and radial basis function neural network
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
Qi et al. Extraction and Classification of Image Features for Fire Recognition Based on Convolutional Neural Network.
CN115797770A (zh) 考虑目标相对运动的连续图像目标检测方法、系统及终端
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant