CN116597427A - 一种基于深度学习的舰船驾驶台身份识别方法 - Google Patents

一种基于深度学习的舰船驾驶台身份识别方法 Download PDF

Info

Publication number
CN116597427A
CN116597427A CN202310876338.2A CN202310876338A CN116597427A CN 116597427 A CN116597427 A CN 116597427A CN 202310876338 A CN202310876338 A CN 202310876338A CN 116597427 A CN116597427 A CN 116597427A
Authority
CN
China
Prior art keywords
face
module
shipman
crew
iresblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310876338.2A
Other languages
English (en)
Other versions
CN116597427B (zh
Inventor
商堰婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310876338.2A priority Critical patent/CN116597427B/zh
Publication of CN116597427A publication Critical patent/CN116597427A/zh
Application granted granted Critical
Publication of CN116597427B publication Critical patent/CN116597427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的舰船驾驶台身份识别方法，属于计算机视觉和航运安全技术领域，该方法为：采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；构建船员人脸检测模型CenterNet和船员人脸特征提取模型IResNet‑50；通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别。该方法具有识别准确率高、鲁棒性强、兼容性好等优点，可以有效识别船员的身份，防止非法人员进入驾驶台，保障船员和船舶的安全。

Description

一种基于深度学习的舰船驾驶台身份识别方法
技术领域
本发明属于计算机视觉和航运安全技术领域，具体涉及一种基于深度学习的舰船驾驶台 身份识别方法。
背景技术
船舶驾驶台是船舶航行的核心设备，利用视频监控技术对船员驾驶台进行实时监控是保障航运安全的重要手段。据相关报告分析，人为疏忽导致的航行事故约占总数的79%，由于安全责任意识缺乏，船员值班时离守等原因造成事故发生。在海上航行时，船舶的船员驾驶台作为船舶重点区域，需在船员进入驾驶台前进行身份识别，并且每隔一段时间对船员进行身份识别，保证授权人员在船舶航行时正常值班，确保船舶安全航行，避免事故发生。在进行船员驾驶台身份识别时，快速定位船员面部，准确提取船员人脸特征是实现高质量船员驾驶台身份识别的关键技术。
随人工智能和视频监控技术在船舶领域的应用，船员驾驶台身份识别由人工监控方式转变为智能视频监控方式。人工监控方式灵活性较高，监控性能较高，但存在疲劳、误判、成本高等缺点；智能视频监控方式可以通过驾驶台监控视频自动进行船员身份识别，成本较低、可全天候运行，具有良好的精度。
目前，现有的智能视频监控系统，主要采用基于深度学习的人脸识别技术完成，由人脸检测及人脸识别两部分组成，但在船员驾驶台环境中，存在多种影响监控图像质量的干扰因素：一是光线条件不佳，船员驾驶台通常位于船舶内部，光线条件较差，难以进行准确的人脸定位。二是不同船员人脸特征相似性高，船员驾驶台通常是一个固定的小范围，船员之间的面部特征比较相似，导致识别精度下降；三是船员面部姿态多变，难以获取高质量正脸图像。
因此利用深度学习技术的性能优势，解决上述技术问题，构建实时性的船员驾驶台身份识别方法，对保护船员人身安全，保障船舶航运安全具有重要意义。
发明内容
针对现有技术中存在的上述技术问题，本发明提供一种基于深度学习的舰船驾驶台身份识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
本发明采用如下技术方案：
一种基于深度学习的舰船驾驶台身份识别方法，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S2、构建改进后的CenterNet船员人脸检测模型；
S3、构建改进后的IResNet-50船员人脸特征提取模型；
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别。
进一步地，其特征在于，所述S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
进一步地，在所述S2中，改进后的CenterNet船员人脸检测模型包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
进一步地，在所述S3中，改进后的IResNet-50船员人脸特征提取模型包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块和全连接模块；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_ IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成。
进一步地，对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集，将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型。
进一步地，所述船员人脸特征提取模型的损伤函数为：
；
其中，表示样本数量，表示缩放因子，表示边界参数，表示第个样本的特 征向量与第个类别中心点的角度余弦值，表示第个样本的特征向量与第个类别中心 点的角度余弦值。通过缩放因子和边界参数来控制类别之间的间隔。
进一步地，通过船员人脸特征提取模型进行特征提取的过程具体为：每帧图像通过自适应缩放方式设置尺寸为112×112×3，图像首先依次通过CBR模块、ResGroup_1、ResGroup_2和ResGroup_3后输出特征图Ⅰ，将特征图Ⅰ输入SimAM模块，得到512个不同模式的14×14尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II依次输入到全局平均池化模块和全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量。
进一步地，所述S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1。其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变化算法，对同一个船员的多张人脸图像进行对齐，减少由于光照、角度、表情引起的人脸图像差异；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中。
进一步地，在S4.2中，人脸姿态估计算法根据人脸关键点坐标 计算船员人脸的偏航角度Yaw与俯仰角度Pitch，其计算公式为：
；
；
其中，、、分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中 心点，、分别代表船员人脸检测框D的左上角点和右下角点，、分别代表图像中某点 的轴坐标、轴坐标，代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
。
与现有技术相比，本发明提供的一种基于深度学习的舰船驾驶台身份识别方法具有以下有益效果：本发明提供了一种基于深度学习的船员驾驶台身份识别方法，改进人脸特征提取网络IResNet-50，利用空间-通道注意力可以更准确、快速提取出各种光照、尺度的船员人脸特征，提升船员驾驶台身份识别精度；设计了基于几何关系的船员头部姿态估计算法，可有效获取船员正脸图像，提升船员驾驶台身份识别精度，适用于船员驾驶台环境；该方法具有识别准确率高、鲁棒性强、兼容性好等优点，可以有效识别船员的身份，防止非法人员进入驾驶台，保障船员和船舶的安全。
附图说明
图1为本发明中改进后的IResNet-50模型结构示意图。
图2为本发明中采用不同模型的船员人脸识别精度对比图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
S2、构建改进后的CenterNet船员人脸检测模型；
CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络SizeHead；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
S3、构建改进后的IResNet-50船员人脸特征提取模型；
IResNet-50包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块Global Avgpool和全连接模块Full Connect；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_ IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成。
采用同类型的模型如ResNet-50、ResNet-100、IResNet-100与原I ResNet-50作为对比模型，ResNet为残差网络，IResNet为现有技术中对ResNet改进的残差网络，50和100为网络的层数，选择Rank-1识别精度、推理耗时作为评价指标，从而得到对比结果如表1，其中Rank-1至Rank-5的CMC精度如图2所示；
表1 人脸识别方法精度对比实验；
；
改进后的IResNet-50模型具有较好的准确率与较快的计算速度，将提取到的特征进行归一化处理，并进行降维，得到人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)；
对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在可准确捕捉船员面部信息的位置，包括驾驶台前方或侧方，同时为了保护船员隐私，系统只采集船员面部信息，不采集其他身体信息；将采集的视频利用视频帧转换软件生成单帧图像序列，使用人工截图工具截取船员正脸图像制作船员人脸识别数据集，每位船员对应1张正脸图像，数据集内容示例如表2所示：
表2 数据集内容示例；
；
将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型。
船员人脸特征提取模型的损伤函数为：
；
其中，表示样本数量，表示缩放因子，表示边界参数，表示第个样本的特 征向量与第个类别中心点的角度余弦值，表示第个样本的特征向量与第个类别中心 点的角度余弦值。通过缩放因子和边界参数来控制类别之间的间隔。
通过船员人脸特征提取模型进行特征提取的过程具体为：如图1所示，每帧图像通过自适应缩放方式设置尺寸为112×112×3，首先通过CBR模块输出的特征尺寸为112×112×64，然后通过ResGroup_1模块输出的特征尺寸为56×56×128，通过ResGroup_2模块输出的特征尺寸为28×28×256，通过ResGroup_3模块输出特征图Ⅰ，其尺寸为28×28×256；将特征图Ⅰ输入SimAM模块，得到14×14×512尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II先输入到全局平均池化模块中，输出1×1×1024的特征图，然后输入到全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量，用于和数据库中已有人脸特征向量进行对比。
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别；
S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1。其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变换算法，对同一个船员的多张人脸图像进行对齐，以减少由于光照、角度、表情等因素引起的人脸图像差异；
人脸姿态估计算法根据人脸关键点坐标计算船员人脸的偏航 角度Yaw与俯仰角度Pitch，其计算公式为：
；
；
其中，、、分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中 心点，、分别代表船员人脸检测框D的左上角点和右下角点，、分别代表图像中某点 的轴坐标、轴坐标，代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中以供后续分析。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S2、构建改进后的CenterNet船员人脸检测模型；
S3、构建改进后的IResNet-50船员人脸特征提取模型；
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别。
2.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，所述S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
3.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，在所述S2中，改进后的CenterNet船员人脸检测模型包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
4.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，在所述S3中，改进后的IResNet-50船员人脸特征提取模型包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块和全连接模块；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_ IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成。
5.根据权利要求4所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集，将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型。
6.根据权利要求5所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，所述船员人脸特征提取模型的损伤函数为：
；
其中，表示样本数量，/>表示缩放因子，/>表示边界参数，/>表示第/>个样本的特征向量与第/>个类别中心点的角度余弦值，/>表示第/>个样本的特征向量与第/>个类别中心点的角度余弦值，通过缩放因子/>和边界参数/>来控制类别之间的间隔。
7.根据权利要求4所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，通过船员人脸特征提取模型进行特征提取的过程具体为：每帧图像通过自适应缩放方式设置尺寸为112×112×3，图像首先依次通过CBR模块、ResGroup_1、ResGroup_2和ResGroup_3后输出特征图Ⅰ，将特征图Ⅰ输入SimAM模块，得到512个不同模式的14×14尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II依次输入到全局平均池化模块和全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量。
8.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，所述S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1，其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变换算法，对同一个船员的多张人脸图像进行对齐，减少由于光照、角度、表情引起的人脸图像差异；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中。
9.根据权利要求8所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，在S4.2中，人脸姿态估计算法根据人脸关键点坐标计算船员人脸的偏航角度Yaw与俯仰角度Pitch，其计算公式为：
；
；
其中，、/>、/>分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中心点，、/>分别代表船员人脸检测框D的左上角点和右下角点，/>、/>分别代表图像中某点的/>轴坐标、/>轴坐标，/>代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
。
CN202310876338.2A 2023-07-18 2023-07-18 一种基于深度学习的舰船驾驶台身份识别方法 Active CN116597427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310876338.2A CN116597427B (zh) 2023-07-18 2023-07-18 一种基于深度学习的舰船驾驶台身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310876338.2A CN116597427B (zh) 2023-07-18 2023-07-18 一种基于深度学习的舰船驾驶台身份识别方法

Publications (2)

Publication Number Publication Date
CN116597427A true CN116597427A (zh) 2023-08-15
CN116597427B CN116597427B (zh) 2023-10-20

Family

ID=87595976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310876338.2A Active CN116597427B (zh) 2023-07-18 2023-07-18 一种基于深度学习的舰船驾驶台身份识别方法

Country Status (1)

Country Link
CN (1) CN116597427B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306778A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Locality-based scheduling in continuation-based runtimes
CN111160149A (zh) * 2019-12-16 2020-05-15 山东大学 基于运动场景及深度学习的车载人脸识别系统及方法
US20200218883A1 (en) * 2017-12-25 2020-07-09 Beijing Sensetime Technology Development Co., Ltd. Face pose analysis method, electronic device, and storage medium
CN111539351A (zh) * 2020-04-27 2020-08-14 广东电网有限责任公司广州供电局 一种多任务级联的人脸选帧比对方法
US20210042504A1 (en) * 2018-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for outputting data
CN113034852A (zh) * 2021-03-22 2021-06-25 上海海事大学 基于图像处理技术的船员生理记录仪交互式工作系统
US20210374989A1 (en) * 2020-06-02 2021-12-02 Naver Corporation Distillation of part experts for whole-body pose estimation
CN114038059A (zh) * 2021-11-09 2022-02-11 燕山大学 一种基于双帧速率分治行为识别网络的动态手势识别方法
CN114140680A (zh) * 2021-12-02 2022-03-04 罗普特科技集团股份有限公司 一种基于深度学习的海面目标检测与识别方法及系统
KR20220064111A (ko) * 2020-11-11 2022-05-18 인하대학교 산학협력단 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법
US20220245966A1 (en) * 2019-10-22 2022-08-04 Shanghai Sensetime Intelligent Technology Co., Ltd. Image processing in vehicle cabin
CN114973477A (zh) * 2022-04-21 2022-08-30 中国人民解放军海军特色医学中心 一种人机交互的船舶人员管理系统
CN115100724A (zh) * 2022-07-22 2022-09-23 中航电测仪器股份有限公司 一种多相机人员状态识别方法
CN115331205A (zh) * 2022-08-10 2022-11-11 西安电子科技大学芜湖研究院 一种云边协同的驾驶员疲劳检测系统
KR20230006071A (ko) * 2021-07-02 2023-01-10 가천대학교 산학협력단 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법
CN115953820A (zh) * 2022-12-30 2023-04-11 北京龙智数科科技服务有限公司 人脸识别深度学习模型训练方法、装置、设备及存储介质
CN115984937A (zh) * 2023-01-09 2023-04-18 江苏科技大学 一种基于优化ResNet算法的人脸表情识别方法
CN116071836A (zh) * 2023-03-09 2023-05-05 山东科技大学 基于深度学习的船员异常行为检测与身份识别方法
CN116129501A (zh) * 2023-02-01 2023-05-16 北京龙智数科科技服务有限公司 人脸位姿估计方法及装置
WO2023124040A1 (zh) * 2021-12-31 2023-07-06 深圳须弥云图空间科技有限公司 一种人脸识别方法及装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306778A1 (en) * 2009-05-26 2010-12-02 Microsoft Corporation Locality-based scheduling in continuation-based runtimes
US20200218883A1 (en) * 2017-12-25 2020-07-09 Beijing Sensetime Technology Development Co., Ltd. Face pose analysis method, electronic device, and storage medium
US20210042504A1 (en) * 2018-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for outputting data
US20220245966A1 (en) * 2019-10-22 2022-08-04 Shanghai Sensetime Intelligent Technology Co., Ltd. Image processing in vehicle cabin
CN111160149A (zh) * 2019-12-16 2020-05-15 山东大学 基于运动场景及深度学习的车载人脸识别系统及方法
CN111539351A (zh) * 2020-04-27 2020-08-14 广东电网有限责任公司广州供电局 一种多任务级联的人脸选帧比对方法
US20210374989A1 (en) * 2020-06-02 2021-12-02 Naver Corporation Distillation of part experts for whole-body pose estimation
KR20220064111A (ko) * 2020-11-11 2022-05-18 인하대학교 산학협력단 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법
CN113034852A (zh) * 2021-03-22 2021-06-25 上海海事大学 基于图像处理技术的船员生理记录仪交互式工作系统
KR20230006071A (ko) * 2021-07-02 2023-01-10 가천대학교 산학협력단 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법
CN114038059A (zh) * 2021-11-09 2022-02-11 燕山大学 一种基于双帧速率分治行为识别网络的动态手势识别方法
CN114140680A (zh) * 2021-12-02 2022-03-04 罗普特科技集团股份有限公司 一种基于深度学习的海面目标检测与识别方法及系统
WO2023124040A1 (zh) * 2021-12-31 2023-07-06 深圳须弥云图空间科技有限公司 一种人脸识别方法及装置
CN114973477A (zh) * 2022-04-21 2022-08-30 中国人民解放军海军特色医学中心 一种人机交互的船舶人员管理系统
CN115100724A (zh) * 2022-07-22 2022-09-23 中航电测仪器股份有限公司 一种多相机人员状态识别方法
CN115331205A (zh) * 2022-08-10 2022-11-11 西安电子科技大学芜湖研究院 一种云边协同的驾驶员疲劳检测系统
CN115953820A (zh) * 2022-12-30 2023-04-11 北京龙智数科科技服务有限公司 人脸识别深度学习模型训练方法、装置、设备及存储介质
CN115984937A (zh) * 2023-01-09 2023-04-18 江苏科技大学 一种基于优化ResNet算法的人脸表情识别方法
CN116129501A (zh) * 2023-02-01 2023-05-16 北京龙智数科科技服务有限公司 人脸位姿估计方法及装置
CN116071836A (zh) * 2023-03-09 2023-05-05 山东科技大学 基于深度学习的船员异常行为检测与身份识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IONUT COSMIN DUTA等: "inproved residual networks for image and video recogniton", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
黄仝宇;胡斌杰;: "监控场景下基于轻量级卷积神经网络的行人属性识别", 电子测量技术, no. 14 *

Also Published As

Publication number Publication date
CN116597427B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
CN107038422B (zh) 基于空间几何约束深度学习的疲劳状态识别方法
CN116071836B (zh) 基于深度学习的船员异常行为检测与身份识别方法
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN113158850B (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
Wang et al. UAV target detection algorithm based on improved YOLOv8
CN104992140B (zh) 一种基于遥感图像的海面异常漂浮物检测方法
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN112149553A (zh) 一种考试作弊行为识别方法
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
CN115861981A (zh) 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
CN109002774A (zh) 一种基于卷积神经网络的疲劳监测装置及方法
Liu et al. 3DCNN-based real-time driver fatigue behavior detection in urban rail transit
Li et al. Head pose classification based on line portrait
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN117542027A (zh) 基于非接触式传感器的机组失能状态监测方法
CN116597427B (zh) 一种基于深度学习的舰船驾驶台身份识别方法
CN112052829A (zh) 一种基于深度学习的飞行员行为监控方法
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN115661800A (zh) 基于视线方向时间关系学习的危险驾驶行为检测方法
CN113989886B (zh) 基于人脸识别的船员身份验证方法
CN115719368A (zh) 一种多目标船舶跟踪方法及系统
CN115147899A (zh) 基于标签分布和有监督空间变换网络的头部姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant