CN116597427B - 一种基于深度学习的舰船驾驶台身份识别方法 - Google Patents
一种基于深度学习的舰船驾驶台身份识别方法 Download PDFInfo
- Publication number
- CN116597427B CN116597427B CN202310876338.2A CN202310876338A CN116597427B CN 116597427 B CN116597427 B CN 116597427B CN 202310876338 A CN202310876338 A CN 202310876338A CN 116597427 B CN116597427 B CN 116597427B
- Authority
- CN
- China
- Prior art keywords
- face
- module
- shipman
- crewman
- iresblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 20
- 210000003128 head Anatomy 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100040160 Rabankyrin-5 Human genes 0.000 description 1
- 101710086049 Rabankyrin-5 Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习的舰船驾驶台身份识别方法，属于计算机视觉和航运安全技术领域，该方法为：采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；构建船员人脸检测模型CenterNet和船员人脸特征提取模型IResNet‑50；通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别。该方法具有识别准确率高、鲁棒性强、兼容性好等优点，可以有效识别船员的身份，防止非法人员进入驾驶台，保障船员和船舶的安全。
Description
技术领域
本发明属于计算机视觉和航运安全技术领域，具体涉及一种基于深度学习的舰船驾驶台 身份识别方法。
背景技术
船舶驾驶台是船舶航行的核心设备，利用视频监控技术对船员驾驶台进行实时监控是保障航运安全的重要手段。据相关报告分析，人为疏忽导致的航行事故约占总数的79%，由于安全责任意识缺乏，船员值班时离守等原因造成事故发生。在海上航行时，船舶的船员驾驶台作为船舶重点区域，需在船员进入驾驶台前进行身份识别，并且每隔一段时间对船员进行身份识别，保证授权人员在船舶航行时正常值班，确保船舶安全航行，避免事故发生。在进行船员驾驶台身份识别时，快速定位船员面部，准确提取船员人脸特征是实现高质量船员驾驶台身份识别的关键技术。
随人工智能和视频监控技术在船舶领域的应用，船员驾驶台身份识别由人工监控方式转变为智能视频监控方式。人工监控方式灵活性较高，监控性能较高，但存在疲劳、误判、成本高等缺点；智能视频监控方式可以通过驾驶台监控视频自动进行船员身份识别，成本较低、可全天候运行，具有良好的精度。
目前，现有的智能视频监控系统，主要采用基于深度学习的人脸识别技术完成，由人脸检测及人脸识别两部分组成，但在船员驾驶台环境中，存在多种影响监控图像质量的干扰因素：一是光线条件不佳，船员驾驶台通常位于船舶内部，光线条件较差，难以进行准确的人脸定位。二是不同船员人脸特征相似性高，船员驾驶台通常是一个固定的小范围，船员之间的面部特征比较相似，导致识别精度下降；三是船员面部姿态多变，难以获取高质量正脸图像。
因此利用深度学习技术的性能优势，解决上述技术问题，构建实时性的船员驾驶台身份识别方法，对保护船员人身安全，保障船舶航运安全具有重要意义。
发明内容
针对现有技术中存在的上述技术问题，本发明提供一种基于深度学习的舰船驾驶台身份识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
本发明采用如下技术方案：
一种基于深度学习的舰船驾驶台身份识别方法，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S2、构建改进后的CenterNet船员人脸检测模型；
S3、构建改进后的IResNet-50船员人脸特征提取模型；
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别。
进一步地，其特征在于，所述S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
进一步地，在所述S2中，改进后的CenterNet船员人脸检测模型包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
进一步地，在所述S3中，改进后的IResNet-50船员人脸特征提取模型包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块和全连接模块；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_ IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成。
进一步地，对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集，将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型。
进一步地，所述船员人脸特征提取模型的损伤函数为：
；
其中，表示样本数量，表示缩放因子，表示边界参数，表示第个样本的特
征向量与第个类别中心点的角度余弦值，表示第个样本的特征向量与第个类别中心
点的角度余弦值。通过缩放因子和边界参数来控制类别之间的间隔。
进一步地，通过船员人脸特征提取模型进行特征提取的过程具体为：每帧图像通过自适应缩放方式设置尺寸为112×112×3，图像首先依次通过CBR模块、ResGroup_1、ResGroup_2和ResGroup_3后输出特征图Ⅰ，将特征图Ⅰ输入SimAM模块，得到512个不同模式的14×14尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II依次输入到全局平均池化模块和全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量。
进一步地，所述S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1。其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变化算法，对同一个船员的多张人脸图像进行对齐，减少由于光照、角度、表情引起的人脸图像差异；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中。
进一步地，在S4.2中，人脸姿态估计算法根据人脸关键点坐标
计算船员人脸的偏航角度Yaw与俯仰角度Pitch，其计算公式为：
；
；
其中，、、分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中
心点，、分别代表船员人脸检测框D的左上角点和右下角点，、分别代表图像中某点
的轴坐标、轴坐标，代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
。
与现有技术相比，本发明提供的一种基于深度学习的舰船驾驶台身份识别方法具有以下有益效果：本发明提供了一种基于深度学习的船员驾驶台身份识别方法，改进人脸特征提取网络IResNet-50，利用空间-通道注意力可以更准确、快速提取出各种光照、尺度的船员人脸特征，提升船员驾驶台身份识别精度；设计了基于几何关系的船员头部姿态估计算法，可有效获取船员正脸图像，提升船员驾驶台身份识别精度，适用于船员驾驶台环境；该方法具有识别准确率高、鲁棒性强、兼容性好等优点，可以有效识别船员的身份，防止非法人员进入驾驶台，保障船员和船舶的安全。
附图说明
图1为本发明中改进后的IResNet-50模型结构示意图。
图2为本发明中采用不同模型的船员人脸识别精度对比图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
S2、构建改进后的CenterNet船员人脸检测模型；
CenterNet包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1~ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络SizeHead；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
S3、构建改进后的IResNet-50船员人脸特征提取模型；
IResNet-50包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1~ResGroup_4、一个SimAM模块、一个全局平均池化模块Global Avgpool和全连接模块Full Connect；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_ IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成。
采用同类型的模型如ResNet-50、ResNet-100、IResNet-100与原I ResNet-50作为对比模型，ResNet为残差网络，IResNet为现有技术中对ResNet改进的残差网络，50和100为网络的层数，选择Rank-1识别精度、推理耗时作为评价指标，从而得到对比结果如表1，其中Rank-1至Rank-5的CMC精度如图2所示；
表1 人脸识别方法精度对比实验；
；
改进后的IResNet-50模型具有较好的准确率与较快的计算速度，将提取到的特征进行归一化处理，并进行降维，得到人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)；
对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在可准确捕捉船员面部信息的位置，包括驾驶台前方或侧方，同时为了保护船员隐私，系统只采集船员面部信息，不采集其他身体信息；将采集的视频利用视频帧转换软件生成单帧图像序列，使用人工截图工具截取船员正脸图像制作船员人脸识别数据集，每位船员对应1张正脸图像，数据集内容示例如表2所示：
表2 数据集内容示例；
；
将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型。
船员人脸特征提取模型的损伤函数为：
；
其中，表示样本数量，表示缩放因子，表示边界参数，表示第个样本的特
征向量与第个类别中心点的角度余弦值，表示第个样本的特征向量与第个类别中心
点的角度余弦值。通过缩放因子和边界参数来控制类别之间的间隔。
通过船员人脸特征提取模型进行特征提取的过程具体为：如图1所示，每帧图像通过自适应缩放方式设置尺寸为112×112×3，首先通过CBR模块输出的特征尺寸为112×112×64，然后通过ResGroup_1模块输出的特征尺寸为56×56×128，通过ResGroup_2模块输出的特征尺寸为28×28×256，通过ResGroup_3模块输出特征图Ⅰ，其尺寸为28×28×256；将特征图Ⅰ输入SimAM模块，得到14×14×512尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II先输入到全局平均池化模块中，输出1×1×1024的特征图，然后输入到全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量，用于和数据库中已有人脸特征向量进行对比。
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别；
S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1。其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变换算法，对同一个船员的多张人脸图像进行对齐，以减少由于光照、角度、表情等因素引起的人脸图像差异；
人脸姿态估计算法根据人脸关键点坐标计算船员人脸的偏航
角度Yaw与俯仰角度Pitch，其计算公式为：
；
；
其中，、、分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中
心点，、分别代表船员人脸检测框D的左上角点和右下角点，、分别代表图像中某点
的轴坐标、轴坐标，代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中以供后续分析。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (3)
1.一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，包括以下步骤：
S1、采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集；
S2、构建改进后的CenterNet船员人脸检测模型；
S3、构建改进后的IResNet-50船员人脸特征提取模型；
改进后的IResNet-50船员人脸特征提取模型包括一个3×3的CBR模块、四个ResGroup模块ResGroup_1～ResGroup_4、一个SimAM模块、一个全局平均池化模块和全连接模块；
CBR由一个卷积模块、一个批标准化模块、一个ReLu模块组成；ResGroup_1、ResGroup_4由1个Start_IResBlock、1个IResBlock与一个End_IResBlock组成，ResGroup_2由1个Start_IResBlock、2个IResBlock与1个End_IResBlock组成，ResGroup_3由1个Start_IResBlock、4个IResBlock与1个End_IResBlock组成；
Start_IResBlock由一个1×1的CBR模块、一个3×3的CBR模块、一个1×1卷积模块和一个批归一化模块组成；IResBlock由一个1×1的BRC模块、一个3×3的BRC模块组成，BRC为将CBR的卷积模块放置在末尾所形成；End_IResBlock由1×1的BRC模块、一个3×3的BRC模块、一个批归一化模块、一个ReLu模块组成；
对IResNet-50进行训练，首先采集舰船驾驶台中船员的人脸图像，使用船员身份信息标记人脸信息，得到船员人脸识别数据集，将数据集输入到IResNet-50中进行训练，设置迭代次数为20，学习率为1.25e-4，批训练大小为128，训练动量设置为0.9，权重衰减率为0.0005，根据训练中损失函数的变化趋势适当设置不同的学习率和批训练大小，使损失函数最小化，直至达到指定的迭代次数时结束训练，得到最终的船员人脸特征提取模型；
船员人脸特征提取模型的损伤函数为：
其中，N表示样本数量，s表示缩放因子，m表示边界参数，表示第i个样本的特征向量与第yi个类别中心点的角度余弦值，θj表示第i个样本的特征向量与第j个类别中心点的角度余弦值，通过缩放因子s和边界参数m来控制类别之间的间隔；
通过船员人脸特征提取模型进行特征提取的过程具体为：每帧图像通过自适应缩放方式设置尺寸为112×112×3，图像首先依次通过CBR模块、ResGroup_1、ResGroup_2和ResGroup_3后输出特征图Ⅰ，将特征图Ⅰ输入SimAM模块，得到512个不同模式的14×14尺寸的注意力热图，将特征图Ⅰ和注意力热图通过Concat操作进行堆叠，随后输入到ResGroup_4模块，得到7×7×1024尺寸的全局特征图II；将II依次输入到全局平均池化模块和全连接模块进行人脸特征提取，得到输出长度为1×1×512的人脸特征向量；
S4、通过监控相机实时采集驾驶台内的监控视频，当检测到船员到岗或每隔20分钟，采用船员人脸检测模型和船员人脸特征提取模型自动检测人脸位置、采集其人脸信息，并进行人脸识别；S4包括以下子步骤：
S4.1、将驾驶台内视频实时传输到CenterNet模型中，得到驾驶台内的船员人脸检测框D(F1，F2)和人脸关键点K(E1,E2,N1,M1,M2)，并将该船员人脸图像从原图分割生成图像I1；其中E1、E2分别为图像中船员左右眼中心位置，N1为船员鼻尖位置，M1、M2分别为船员左右嘴角位置，F1和F2分别为船员人脸左上角、右下角位置；
S4.2、设计基于几何关系的人脸姿态估计算法，根据人脸关键点坐标筛选船员高质量人脸图像，基于人脸关键点坐标，采用仿射变换算法，对同一个船员的多张人脸图像进行对齐，减少由于光照、角度、表情引起的人脸图像差异；
S4.3、将对齐后的人脸图像输入到IResNet-50模型中，输出人脸特征向量；
S4.4、计算人脸特征向量与人脸数据库中各船员人脸特征的相似度，得到相似矩阵R，其中相似度阈值设置为0.6，若相似度超过0.6，则人脸识别成功，船员能够启动或继续使用驾驶台设备，若相似度没有超过0.6，则人脸识别失败，则驾驶台报警，同时记录下船员人脸图像I1和当前时间T，并录入数据库中；
在S4.2中，人脸姿态估计算法根据人脸关键点坐标K(E1,E2,N1,M1,M2)计算船员人脸的偏航角度Yaw与俯仰角度Pitch，其计算公式为：
其中，E1、E2、N1分别代表船员面部关键点中的左眼中心点、右眼中心点和鼻尖中心点，F1、F2分别代表船员人脸检测框D的左上角点和右下角点，x、y分别代表图像中某点的x轴坐标、y轴坐标，len代表两点之间直线距离的函数；
通过Yaw与Pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，Yaw与Pitch阈值设置如下：
2.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，所述S1包括以下子步骤：
S1.1、在舰船驾驶台上安装两台摄像头，用于采集船员的人脸图像，摄像头安装在能够准确捕捉船员面部信息的位置，包括驾驶台前方或侧方；同时，为了保护船员的隐私，系统只采集船员面部信息，不采集其他身体信息；
S1.2、将采集的视频利用视频帧转换软件生成单帧图像序列；
S1.3、使用人工截图工具截取数据集中出现的船员正脸图像，制作船员人脸识别数据集，每位船员对应1张正脸图像。
3.根据权利要求1所述的一种基于深度学习的舰船驾驶台身份识别方法，其特征在于，在所述S2中，改进后的CenterNet船员人脸检测模型包括改进后的特征提取网络ResNet-50、上采样网络DeConv和改进后的预测网络Heads，特征提取网络ResNet-50包括四个ResBlock模块ResBlock_1～ResBlock_4和一个TransfomerBlock模块，其中TransfomerBlock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；ResBlock_1由一个ConvBNR和三个ConvBlock组成，ResBlock_2由四个ConvBlock组成，ResBlock_3由六个ConvBlock组成，ResBlock_4由六个ConvBlock组成；其中ConvBNR由一个7×7的卷积模块、一个批标准化模块、一个ReLu模块和一个3×3的最大池化模块组成，ConvBlock由一个1×1的卷积模块、一个3×3的卷积模块和一个1×1的卷积模块组成；上采样网络DeConv由三个DeConvBlock组成，每个DeConvBlock由一个3×3的卷积模块和一个4×4的反卷积模块组成；预测网络Heads包括中心点预测网络HeatMap Head、边界偏置预测网络Offerset Head和尺寸预测网络Size Head；中心点预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，边界偏置预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块与一个CBAM模块组成，尺寸预测网络由一个3×3×256的卷积模块、一个1×1×256的卷积模块组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876338.2A CN116597427B (zh) | 2023-07-18 | 2023-07-18 | 一种基于深度学习的舰船驾驶台身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876338.2A CN116597427B (zh) | 2023-07-18 | 2023-07-18 | 一种基于深度学习的舰船驾驶台身份识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597427A CN116597427A (zh) | 2023-08-15 |
| CN116597427B true CN116597427B (zh) | 2023-10-20 |
Family
ID=87595976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310876338.2A Active CN116597427B (zh) | 2023-07-18 | 2023-07-18 | 一种基于深度学习的舰船驾驶台身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597427B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160149A (zh) * | 2019-12-16 | 2020-05-15 | 山东大学 | 基于运动场景及深度学习的车载人脸识别系统及方法 |
| CN111539351A (zh) * | 2020-04-27 | 2020-08-14 | 广东电网有限责任公司广州供电局 | 一种多任务级联的人脸选帧比对方法 |
| CN113034852A (zh) * | 2021-03-22 | 2021-06-25 | 上海海事大学 | 基于图像处理技术的船员生理记录仪交互式工作系统 |
| CN114038059A (zh) * | 2021-11-09 | 2022-02-11 | 燕山大学 | 一种基于双帧速率分治行为识别网络的动态手势识别方法 |
| CN114140680A (zh) * | 2021-12-02 | 2022-03-04 | 罗普特科技集团股份有限公司 | 一种基于深度学习的海面目标检测与识别方法及系统 |
| KR20220064111A (ko) * | 2020-11-11 | 2022-05-18 | 인하대학교 산학협력단 | 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법 |
| CN114973477A (zh) * | 2022-04-21 | 2022-08-30 | 中国人民解放军海军特色医学中心 | 一种人机交互的船舶人员管理系统 |
| CN115100724A (zh) * | 2022-07-22 | 2022-09-23 | 中航电测仪器股份有限公司 | 一种多相机人员状态识别方法 |
| CN115331205A (zh) * | 2022-08-10 | 2022-11-11 | 西安电子科技大学芜湖研究院 | 一种云边协同的驾驶员疲劳检测系统 |
| CN115953820A (zh) * | 2022-12-30 | 2023-04-11 | 北京龙智数科科技服务有限公司 | 人脸识别深度学习模型训练方法、装置、设备及存储介质 |
| CN115984937A (zh) * | 2023-01-09 | 2023-04-18 | 江苏科技大学 | 一种基于优化ResNet算法的人脸表情识别方法 |
| CN116071836A (zh) * | 2023-03-09 | 2023-05-05 | 山东科技大学 | 基于深度学习的船员异常行为检测与身份识别方法 |
| CN116129501A (zh) * | 2023-02-01 | 2023-05-16 | 北京龙智数科科技服务有限公司 | 人脸位姿估计方法及装置 |
| WO2023124040A1 (zh) * | 2021-12-31 | 2023-07-06 | 深圳须弥云图空间科技有限公司 | 一种人脸识别方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8307368B2 (en) * | 2009-05-26 | 2012-11-06 | Microsoft Corporation | Locality-based scheduling in continuation-based runtimes |
| CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| CN109086719A (zh) * | 2018-08-03 | 2018-12-25 | 北京字节跳动网络技术有限公司 | 用于输出数据的方法和装置 |
| CN114821546A (zh) * | 2019-10-22 | 2022-07-29 | 上海商汤智能科技有限公司 | 车舱内图像处理方法及装置 |
| US11494932B2 (en) * | 2020-06-02 | 2022-11-08 | Naver Corporation | Distillation of part experts for whole-body pose estimation |
| KR102538209B1 (ko) * | 2021-07-02 | 2023-05-30 | 가천대학교 산학협력단 | 얼굴 인식을 위한 심층 소프트맥스 협업 표현 분류 장치 및 그 방법 |
-
2023
- 2023-07-18 CN CN202310876338.2A patent/CN116597427B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160149A (zh) * | 2019-12-16 | 2020-05-15 | 山东大学 | 基于运动场景及深度学习的车载人脸识别系统及方法 |
| CN111539351A (zh) * | 2020-04-27 | 2020-08-14 | 广东电网有限责任公司广州供电局 | 一种多任务级联的人脸选帧比对方法 |
| KR20220064111A (ko) * | 2020-11-11 | 2022-05-18 | 인하대학교 산학협력단 | 공간정보 기반의 선박블록 운송 장치 및 그것을 이용한 장애물 검출 방법 |
| CN113034852A (zh) * | 2021-03-22 | 2021-06-25 | 上海海事大学 | 基于图像处理技术的船员生理记录仪交互式工作系统 |
| CN114038059A (zh) * | 2021-11-09 | 2022-02-11 | 燕山大学 | 一种基于双帧速率分治行为识别网络的动态手势识别方法 |
| CN114140680A (zh) * | 2021-12-02 | 2022-03-04 | 罗普特科技集团股份有限公司 | 一种基于深度学习的海面目标检测与识别方法及系统 |
| WO2023124040A1 (zh) * | 2021-12-31 | 2023-07-06 | 深圳须弥云图空间科技有限公司 | 一种人脸识别方法及装置 |
| CN114973477A (zh) * | 2022-04-21 | 2022-08-30 | 中国人民解放军海军特色医学中心 | 一种人机交互的船舶人员管理系统 |
| CN115100724A (zh) * | 2022-07-22 | 2022-09-23 | 中航电测仪器股份有限公司 | 一种多相机人员状态识别方法 |
| CN115331205A (zh) * | 2022-08-10 | 2022-11-11 | 西安电子科技大学芜湖研究院 | 一种云边协同的驾驶员疲劳检测系统 |
| CN115953820A (zh) * | 2022-12-30 | 2023-04-11 | 北京龙智数科科技服务有限公司 | 人脸识别深度学习模型训练方法、装置、设备及存储介质 |
| CN115984937A (zh) * | 2023-01-09 | 2023-04-18 | 江苏科技大学 | 一种基于优化ResNet算法的人脸表情识别方法 |
| CN116129501A (zh) * | 2023-02-01 | 2023-05-16 | 北京龙智数科科技服务有限公司 | 人脸位姿估计方法及装置 |
| CN116071836A (zh) * | 2023-03-09 | 2023-05-05 | 山东科技大学 | 基于深度学习的船员异常行为检测与身份识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| inproved residual networks for image and video recogniton;Ionut Cosmin Duta等;《2020 25th international conference on pattern recognition》;全文 * |
| 监控场景下基于轻量级卷积神经网络的行人属性识别;黄仝宇;胡斌杰;;电子测量技术(第14期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597427A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038422B (zh) | 基于空间几何约束深度学习的疲劳状态识别方法 | |
| CN111680614B (zh) | 一种基于视频监控中的异常行为检测方法 | |
| CN116071836B (zh) | 基于深度学习的船员异常行为检测与身份识别方法 | |
| CN113705521A (zh) | 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法 | |
| CN105574518A (zh) | 人脸活体检测的方法和装置 | |
| CN105550634A (zh) | 基于Gabor特征与字典学习的人脸姿态识别方法 | |
| CN105868690A (zh) | 识别驾驶员打手机行为的方法和装置 | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN113158850A (zh) | 基于深度学习的船舶驾驶员疲劳检测方法和系统 | |
| CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
| CN109002774A (zh) | 一种基于卷积神经网络的疲劳监测装置及方法 | |
| Wang et al. | UAV target detection algorithm based on improved YOLOv8 | |
| CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
| Liu et al. | 3dcnn-based real-time driver fatigue behavior detection in urban rail transit | |
| CN112149553A (zh) | 一种考试作弊行为识别方法 | |
| WO2022042203A1 (zh) | 一种人体关键点的检测方法及装置 | |
| CN116597427B (zh) | 一种基于深度学习的舰船驾驶台身份识别方法 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| Yang et al. | The system of detecting safety helmets based on YOLOv5 | |
| CN112052829A (zh) | 一种基于深度学习的飞行员行为监控方法 | |
| CN115661800A (zh) | 基于视线方向时间关系学习的危险驾驶行为检测方法 | |
| CN108647679B (zh) | 一种基于车窗粗定位的车标识别方法 | |
| Lai et al. | Efficient recognition of facial expression with lightweight octave convolutional neural network | |
| CN113989886B (zh) | 基于人脸识别的船员身份验证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |