CN116188785A - 运用弱标签的PolarMask老人轮廓分割方法 - Google Patents

运用弱标签的PolarMask老人轮廓分割方法 Download PDF

Info

Publication number
CN116188785A
CN116188785A CN202310484788.7A CN202310484788A CN116188785A CN 116188785 A CN116188785 A CN 116188785A CN 202310484788 A CN202310484788 A CN 202310484788A CN 116188785 A CN116188785 A CN 116188785A
Authority
CN
China
Prior art keywords
polar
old man
training
contour
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310484788.7A
Other languages
English (en)
Inventor
温廷羲
童斌斌
侯晴霏
陈雨萍
谢建华
曾焕强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Huanyutong Technology Co ltd
Original Assignee
Fujian Huanyutong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Huanyutong Technology Co ltd filed Critical Fujian Huanyutong Technology Co ltd
Priority to CN202310484788.7A priority Critical patent/CN116188785A/zh
Publication of CN116188785A publication Critical patent/CN116188785A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明运用弱标签的PolarMask老人轮廓分割方法，属于图像识别领域，采用基于PolarMask的极坐标建模方法设计老人的轮廓，并基于PolarMask模型构建老人轮廓分割模型，在老人轮廓分割模型的主干网络中引入注意力机制模块，使用弱标签数据集进行老人轮廓分割模型的预训练，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。本发明不仅可以极大程度地降低成本，同时也能节省训练的时间，加快推理速度。

Description

运用弱标签的PolarMask老人轮廓分割方法
技术领域
本发明属于图像识别领域，尤其涉及运用弱标签的PolarMask老人轮廓分割方法。
背景技术
针对老人行为识别与智能监控存在需求,现有视频图像中对老人行为识别与监控大多数基于目标识别方法，大致识别出老人所在位置以及老人当时的状态，这些状态包括直立或者跌倒。通过目标识别和姿态识别的方法，首先获取老人的目标框，通过人体骨骼节点的坐标识别老人的姿态。虽然目前的方法在一定程度上可以起到识别老人及其状态的效果，但是无法对老人的轮廓进行准确的识别。因此需要一种轮廓识别方法，不仅能够准确识别老人，还能对老人轮廓进行准确分割，为判断老人的姿态提供更多有用的信息，从而提高老人的姿态识别的准确性。
同时其他基于PolarMask的实例分割方法其精确度远远低于其他例如Mask R-CNN等实例分割方法。并且由于是深度学习模型，PolarMask需要大量的数据集进行训练才能达到预想的成果，而对一张图片进行分割类型的标记是十分费时费力的，平均标记一张图片需要1分钟的时间，因此训练模型也需要投入大量的成本。
发明内容
本发明的目的在于提供一种运用弱标签的PolarMask老人轮廓分割方法，实现老人的轮廓分割和姿态识别的目的，该方法不仅可以极大程度地降低成本，同时也能节省训练的时间，加快推理速度。
本发明运用弱标签的PolarMask老人轮廓分割方法，采用基于PolarMask的极坐标建模方法设计老人的轮廓，并基于PolarMask模型构建老人轮廓分割模型，在老人轮廓分割模型的主干网络中引入注意力机制模块，使用弱标签数据集进行老人轮廓分割模型的预训练，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
具体包括如下步骤：
步骤1、基于PolarMask模型构建老人轮廓分割模型
基于Polarmask模型，将60根间隔相同角度的射线的端点连接在一起表示老人的轮廓，从而完成对老人的轮廓的极坐标建模；
所述老人轮廓分割模型以PolarMask为基础，由一个编码器和三个解码器组成，编码器采用ResNet18作为主干网络，使用特征金字塔FPN作为网络的neck，并且在每个残差块中加入了注意力机制模块，提高网络分割的准确率；三个解码器指的是三条分支，分别为Classification分支、Centerness分支和Polar Mask 分支，其中，Classification 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×N的特征图进行老人的N种姿态的预测，实现对分割目标类别的预测，H、W分别代表输入的特征图的长和宽，N代表需要预测的老人姿态的种类；Centerness 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×1的特征图进行极坐标中心点的预测；Polar Mask 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×60的特征图对极坐标的60根射线的距离进行预测；
步骤2、设计损失函数
在预训练时，采用原本PolarMask中所使用的损失函数；在正式训练时对老人轮廓分割模型三条分支中的Polar Mask 分支的损失函数进行了改进，具体改进如下：
对Polar Mask分支的预测结果，保留PolarMask的损失函数Polar IoU loss，IoU是预测框与真实框两者间的交集区域和两者间的并集区域的比值，损失函数Polar IoUloss使用极坐标的60根射线距离的预测结果与真实射线的距离近似地表示出IoU的损失，损失函数Polar IoU loss的表达式如下所示：
Figure SMS_1
（1）
其中，
Figure SMS_2
为预测的n根射线中第i根射线长度，/>
Figure SMS_3
为标签中n根射线中第i根真实射线的长度；
在原PolarMask的损失函数的基础上加入了平滑约束损失函数Smoothingconstraint loss，使得分割出的老人的轮廓更加平滑，其表达式如下所示：
Figure SMS_4
（2）
其中，
Figure SMS_5
为预测的n根射线中的第i根射线长度，/>
Figure SMS_6
为平滑约束系数；
则Polar Mask分支的总损失函数loss表达式如下所示：
Figure SMS_7
（3）；
步骤3、使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
所述迁移学习的训练流程如下所示：
第一部分是使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型：先制作用于预训练的弱标签数据集，将VOC格式的标签转化为COCO格式的标签，得到一个能够提供给模型进行初步分割老人轮廓的标签；预训练模型是在PolarMask中加入了之后要用于正式训练的模型相同的注意力机制模块，即用于预训练的模型要与正式训练的模型都采用了步骤1中的老人轮廓分割模型，只有模型中的Polar Mask分支的损失函数存在不同；
第二部分是使用预训练出的预训练权重的基础上继续进行正式训练，正式训练时，使用老人轮廓分割的非弱标签，该非弱标签为用于连接构成老人轮廓的多个点，在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
所述注意力机制模块，选取属于通道注意力的SENet模型，该SENet 模型包括压缩和激励两个阶段，在压缩阶段对全局空间信息进行压缩，然后在通道维度进行特征学习，从而形成各个通道的注意力权重，最后通过激励阶段将压缩阶段生成的注意力权重作用于相应的通道上。
所述SENet 模型包括的压缩和激励两个阶段，具体为：先进行压缩阶段，使用Global pooling 将H×W×C的输入压缩为1×1×C的输出，随后进行激励阶段，激励阶段包括两个全连接层，第一个全连接层有C/r个神经元，输出为1×1×(C/r)，并使用ReLU激活函数；第二个全连接层有C个神经元，将输出恢复为1×1×C，并使用Sigmoid激活函数，其中r为第一个全连接层的压缩值，在激励阶段，通过学习每个通道的特征信息，并生成每个通道的注意力权重，最后将最终输出的1×1×C的通道注意力权重与原特征图相对应的通道相乘。
一种运用弱标签的PolarMask老人轮廓分割设备，所述设备包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行上述任意一种运用弱标签的PolarMask老人轮廓分割方法。
一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述任意一种运用弱标签的PolarMask老人轮廓分割方法。
一种运行指令的芯片，该芯片用于执行上述任意一种运用弱标签的PolarMask老人轮廓分割方法。
本发明在PolarMask模型的基础上改进了损失函数，加入注意力机制模块，引入了基于弱标签的迁移学习，将该方法运用于老人轮廓实例分割以及姿态识别。采用Box类型的弱标签用于PolarMask模型的预训练，从而在老人轮廓分割模型中引入了迁移学习，与现有技术相比存在如下的技术效果：
本发明基于PolarMask对老人轮廓进行分割，通过计算36根射线的距离和角度等来辅助识别老人的姿态，采用标注简单的box类型的弱标签数据集进行PolarMask模型的预训练，之后对得到的预训练权重进行迁移学习。其他基于PolarMask的方法采用COCO类型的实例分割标签进行模型的训练，数据集的处理是十分的耗费时间的，这就会造成较高的成本。由于本发明采用Box类型的弱标签数据集进行模型预训练，通过Box类型的弱标签其标记的难度和花费的时间与实例分割类型的表现相比要少很多，因此所需的成本也会降低。在使用弱标签数据集进行模型预训练后，只需要使用少量的实例分割标签，进行修正就可以达到较好的效果。相较其他基于PolarMask的方法，本发明能够极大程度地节约成本。
本发明对原PolarMask模型中的损失函数进行了修改，在原PolarMask模型的损失函数的基础上加入了平滑约束损失函数，使得分割出的轮廓更加平滑。由于该损失函数能够学习相邻射线之间的关系，同时对轮廓起到一定的约束作用，因此能够提高模型分割的准确率。
（3）本发明在老人轮廓分割模型的主干网络中引入了注意力机制模块，也能在一定程度上提升网络的分割准确率。
（4）本发明采用了迁移学习，使得使用的预训练权重的值更加接近最优的收敛点，因此在之后的正式训练过程中只需要更短的训练时间就可以到达收敛点，使得网络更容易收敛到最优点，在提高准确度的同时，效率得到了提高，也在一定程度上提高了模型的泛化能力。
附图说明
图1为本发明的极坐标建模示意图；
图2为本发明的流程图；
图3为本发明基于弱标签的迁移训练方法流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
本发明实施例一涉及一种运用弱标签的PolarMask老人轮廓分割方法，采用基于PolarMask的极坐标建模方法设计老人的轮廓，并基于PolarMask模型构建老人轮廓分割模型，在老人轮廓分割模型的主干网络中引入注意力机制模块，使用弱标签数据集进行老人轮廓分割模型的预训练，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型，具体包括如下步骤：
步骤1、基于PolarMask模型构建老人轮廓分割模型
基于Polarmask模型，将60根间隔相同角度的射线的端点连接在一起表示老人的轮廓，从而完成对老人的轮廓的极坐标建模，如图1所示。
如图2所示，老人轮廓分割模型以PolarMask为基础，由一个编码器和三个解码器组成，编码器采用ResNet18作为主干网络，使用特征金字塔FPN作为网络的neck，并且在每个残差块中加入了注意力机制模块，提高网络分割的准确率；三个解码器指的是三条分支，分别为Classification分支、Centerness分支和Polar Mask 分支，其中，Classification分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×N的特征图进行老人的N种姿态的预测，实现对分割目标类别的预测，H、W分别代表输入的特征图的长和宽，N代表需要预测的老人姿态的种类；Centerness 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×1的特征图进行极坐标中心点的预测；Polar Mask 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×60的特征图对极坐标的60根射线的距离进行预测。
所述注意力机制模块，选取属于通道注意力的SENet模型（Squeeze-and-Excitation Networks），SENet 模型包括压缩和激励两个阶段，在压缩阶段对全局空间信息进行压缩，然后在通道维度进行特征学习，从而形成各个通道的注意力权重，最后通过激励阶段将压缩阶段生成的注意力权重作用于相应的通道上，具体为：
先进行压缩阶段，使用Global pooling 将H×W×C的输入压缩为1×1×C的输出，随后进行激励阶段，激励阶段包括两个全连接层，第一个全连接层有C/r个神经元，输出为1×1×(C/r)，并使用ReLU激活函数；第二个全连接层有C个神经元，将输出恢复为1×1×C，并使用Sigmoid激活函数，其中r为第一个全连接层的压缩值，一般取16效果较好。在激励阶段，通过学习每个通道的特征信息，并生成每个通道的注意力权重，最后将最终输出的1×1×C的通道注意力权重与原特征图相对应的通道相乘。
步骤2、设计损失函数
在预训练时，采用了原本PolarMask中所使用的损失函数。在正式训练时对如图2的三条分支中的Polar Mask 分支的损失函数进行了改进，具体改进如下：
对Polar Mask分支的预测结果，保留PolarMask的损失函数Polar IoU loss，IoU是预测框与真实框两者间的交集区域和两者间的并集区域的比值，损失函数Polar IoUloss使用极坐标的60根射线距离的预测结果与真实射线的距离近似地表示出IoU的损失，损失函数Polar IoU loss的表达式如下所示：
Figure SMS_8
（1）
其中，
Figure SMS_9
为预测的n根射线中第i根射线长度，/>
Figure SMS_10
为标签中n根射线中第i根真实射线的长度；
损失函数Polar IoU loss虽然能够有效地表示出极坐标的IoU loss，但是没有考虑相邻极坐标间的关系。在使用极坐标表示老人轮廓时，若相邻两根射线的长度十分相近并且相邻射线长度波动不大时，由其表示的老人轮廓就越平滑，因此，在原PolarMask的损失函数的基础上加入了平滑约束损失函数Smoothing constraint loss，使得分割出的老人的轮廓更加平滑，其表达式如下所示：
Figure SMS_11
（2）
其中，
Figure SMS_12
为预测的n根射线中的第i根射线长度，/>
Figure SMS_13
为平滑约束系数；
因此，Polar Mask分支的总损失函数loss是对原PolarMask中的损失函数进行了修改，在原有的损失函数Polar IoU loss的基础上加入平滑约束损失函数Smoothingconstraint loss，使得老人轮廓分割模型不仅具备学习相邻射线间信息的能力，还能帮助模型快速收敛，最终预测出更加平滑的老人轮廓，Polar Mask分支的总损失函数loss表达式如下所示：
Figure SMS_14
（3）
步骤3、使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型；
由于一些图片中有多个人像，并且会有重叠，如果采用分割的标签进行标注，将消耗大量的人力。本发明使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练。由于Box标签大多是VOC格式的弱标签，因此，先将VOC格式的弱标签转换为COCO格式的标签，得到一个能够提供给模型进行初步分割老人轮廓的标签，具体转换方法是：将由VOC格式中用来表示识别目标的矩形框的两个点，即boxes左上角的点minimum和boxes右下角的点maximum，转化为COCO格式中的“segmentation”的4个。
本发明使用Box类型的弱标签数据集的预训练权重。该数据集数量较多，相对分割类型的掩膜，使用bounding boxes更容易对老人轮廓进行标注。使用该数据集训练出的预训练权重进行迁移学习能够有效地提高模型的分割精度。该预训练权重更加适合用于训练老人轮廓的分割模型。因为该预训练权重已经提前学习了老人轮廓的相关信息，更有利于接下来分割模型收敛到最优点，从而提高了模型的分割的准确率。
使用非弱标签进行正式训练，在预训练模型的基础上加入平滑约束损失函数，从而达到更好的分割精度，以及更快的收敛速度。
具体迁移学习的训练流程如图3所示，可以分为两大部分。
第一部分是使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型：先制作用于预训练的弱标签数据集，将VOC格式的标签转化为COCO格式的标签，得到一个能够提供给模型进行初步分割老人轮廓的标签。该数据集制作简单，同时数量较多，使用成本较低。预训练模型是在PolarMask中加入了之后要用于正式训练的模型相同的注意力机制模块，即用于预训练的模型要与正式训练的模型都采用了步骤1中的老人轮廓分割模型，只有模型中的Polar Mask分支的损失函数存在不同。第二部分是使用预训练出的预训练权重的基础上继续进行正式训练。正式训练时，使用成本较高的老人轮廓分割的非弱标签，该非弱标签为用于连接构成老人轮廓的多个点，为了提高老人轮廓分割的准确性和平滑程度，在老人轮廓分割模型中加入了平滑约束损失函数，这些操作使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
实施例二
本发明实施例二提供一种运用弱标签的PolarMask老人轮廓分割设备，该设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例一方法的终端设备或服务器。
该设备可以包括：处理器(例如CPU)、存储器、数据采集装置；处理器连接并控制数据采集装置。存储器中可以存储各种指令，以用于完成各种处理功能以及实现前述实施例一方法描述的处理步骤。
实施例三
本发明实施例三还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例一方法所描述的处理步骤。
实施例四
本发明实施例四还提供一种运行指令的芯片，该芯片用于执行前述实施例一方法所描述的处理步骤。
专业人员应该还可以进一步意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.运用弱标签的PolarMask老人轮廓分割方法，其特征在于：采用基于PolarMask的极坐标建模方法设计老人的轮廓，并基于PolarMask模型构建老人轮廓分割模型，在老人轮廓分割模型的主干网络中引入注意力机制模块，使用弱标签数据集进行老人轮廓分割模型的预训练，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
2.根据权利要求1所述的运用弱标签的PolarMask老人轮廓分割方法，其特征在于具体包括如下步骤：
步骤1、基于PolarMask模型构建老人轮廓分割模型
基于Polarmask模型，将60根间隔相同角度的射线的端点连接在一起表示老人的轮廓，从而完成对老人的轮廓的极坐标建模；
所述老人轮廓分割模型以PolarMask为基础，由一个编码器和三个解码器组成，编码器采用ResNet18作为主干网络，使用特征金字塔FPN作为网络的neck，并且在每个残差块中加入了注意力机制模块，提高网络分割的准确率；三个解码器指的是三条分支，分别为Classification分支、Centerness分支和Polar Mask 分支，其中，Classification 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×N的特征图进行老人的N种姿态的预测，实现对分割目标类别的预测，H、W分别代表输入的特征图的长和宽，N代表需要预测的老人姿态的种类；Centerness 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×1的特征图进行极坐标中心点的预测；Polar Mask 分支使用4×4的Conv和1×1的Conv进行特征的提取，产生H×W×60的特征图对极坐标的60根射线的距离进行预测；
步骤2、设计损失函数
在预训练时，采用原本PolarMask中所使用的损失函数；在正式训练时对老人轮廓分割模型三条分支中的Polar Mask 分支的损失函数进行了改进，具体改进如下：
对Polar Mask分支的预测结果，保留PolarMask的损失函数Polar IoU loss，IoU是预测框与真实框两者间的交集区域和两者间的并集区域的比值，损失函数Polar IoU loss使用极坐标的60根射线距离的预测结果与真实射线的距离近似地表示出IoU的损失，损失函数Polar IoU loss的表达式如下所示：
Figure QLYQS_1
，
其中，
Figure QLYQS_2
为预测的n根射线中第i根射线长度，/>
Figure QLYQS_3
为标签中n根射线中第i根真实射线的长度；
在原PolarMask的损失函数的基础上加入了平滑约束损失函数Smoothing constraintloss，使得分割出的老人的轮廓更加平滑，其表达式如下所示：
Figure QLYQS_4
，
其中，
Figure QLYQS_5
为预测的n根射线中的第i根射线长度，/>
Figure QLYQS_6
为平滑约束系数；
则Polar Mask分支的总损失函数loss表达式如下所示：
Figure QLYQS_7
；
步骤3、使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型，在正式训练过程中，使用预训练出的预训练权重进行迁移学习，通过在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
3.根据权利要求2所述的运用弱标签的PolarMask老人轮廓分割方法，其特征在于所述迁移学习的训练流程如下所示：
第一部分是使用Box类型的弱标签数据集进行老人轮廓分割模型的预训练，用于训练出一个能够识别出老人信息位置的矩形框和老人的姿态类型的初级老人轮廓分割模型：先制作用于预训练的弱标签数据集，将VOC格式的标签转化为COCO格式的标签，得到一个能够提供给模型进行初步分割老人轮廓的标签；预训练模型是在PolarMask中加入了之后要用于正式训练的模型相同的注意力机制模块，即用于预训练的模型要与正式训练的模型都采用了步骤1中的老人轮廓分割模型，只有模型中的Polar Mask分支的损失函数存在不同；
第二部分是使用预训练出的预训练权重的基础上继续进行正式训练，正式训练时，使用老人轮廓分割的非弱标签，该非弱标签为用于连接构成老人轮廓的多个点，在老人轮廓分割模型中加入平滑约束损失函数，使得对预测出的老人的轮廓不断收敛，最终准确地识别出老人的轮廓和老人的姿态类型。
4.根据权利要求2所述的运用弱标签的PolarMask老人轮廓分割方法，其特征在于：所述注意力机制模块，选取属于通道注意力的SENet模型，该SENet 模型包括压缩和激励两个阶段，在压缩阶段对全局空间信息进行压缩，然后在通道维度进行特征学习，从而形成各个通道的注意力权重，最后通过激励阶段将压缩阶段生成的注意力权重作用于相应的通道上。
5.根据权利要求4所述的运用弱标签的PolarMask老人轮廓分割方法，其特征在于所述SENet 模型包括的压缩和激励两个阶段，具体为：先进行压缩阶段，使用Global pooling将H×W×C的输入压缩为1×1×C的输出，随后进行激励阶段，激励阶段包括两个全连接层，第一个全连接层有C/r个神经元，输出为1×1×(C/r)，并使用ReLU激活函数；第二个全连接层有C个神经元，将输出恢复为1×1×C，并使用Sigmoid激活函数，其中r为第一个全连接层的压缩值，在激励阶段，通过学习每个通道的特征信息，并生成每个通道的注意力权重，最后将最终输出的1×1×C的通道注意力权重与原特征图相对应的通道相乘。
6.一种运用弱标签的PolarMask老人轮廓分割设备，其特征在于：所述设备包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行权利要求1-5任意一种所述运用弱标签的PolarMask老人轮廓分割方法。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-5任意一种所述运用弱标签的PolarMask老人轮廓分割方法。
8.一种运行指令的芯片，其特征在于：该芯片用于执行权利要求1-5任意一种所述运用弱标签的PolarMask老人轮廓分割方法。
CN202310484788.7A 2023-05-04 2023-05-04 运用弱标签的PolarMask老人轮廓分割方法 Withdrawn CN116188785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310484788.7A CN116188785A (zh) 2023-05-04 2023-05-04 运用弱标签的PolarMask老人轮廓分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310484788.7A CN116188785A (zh) 2023-05-04 2023-05-04 运用弱标签的PolarMask老人轮廓分割方法

Publications (1)

Publication Number Publication Date
CN116188785A true CN116188785A (zh) 2023-05-30

Family

ID=86444707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310484788.7A Withdrawn CN116188785A (zh) 2023-05-04 2023-05-04 运用弱标签的PolarMask老人轮廓分割方法

Country Status (1)

Country Link
CN (1) CN116188785A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863509A (zh) * 2023-09-01 2023-10-10 福建环宇通信息科技股份公司 运用改进的PolarMask进行人形轮廓检测和姿态识别的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517042A (zh) * 2013-10-17 2014-01-15 吉林大学 一种养老院老人危险行为监测方法
CN113223027A (zh) * 2021-04-13 2021-08-06 山东师范大学 基于PolarMask的未成熟柿子分割方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517042A (zh) * 2013-10-17 2014-01-15 吉林大学 一种养老院老人危险行为监测方法
CN113223027A (zh) * 2021-04-13 2021-08-06 山东师范大学 基于PolarMask的未成熟柿子分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BINBIN TONG等: "Cell image instance segmentation based on PolarMask using weak labels", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 231, pages 1 - 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863509A (zh) * 2023-09-01 2023-10-10 福建环宇通信息科技股份公司 运用改进的PolarMask进行人形轮廓检测和姿态识别的方法
CN116863509B (zh) * 2023-09-01 2024-02-20 华侨大学 运用改进的PolarMask进行人形轮廓检测和姿态识别的方法

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
US11429818B2 (en) Method, system and device for multi-label object detection based on an object detection network
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN108829677B (zh) 一种基于多模态注意力的图像标题自动生成方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111695457B (zh) 一种基于弱监督机制的人体姿态估计方法
CN110222760B (zh) 一种基于winograd算法的快速图像处理方法
CN111210446B (zh) 一种视频目标分割方法、装置和设备
CN111191526A (zh) 行人属性识别网络训练方法、系统、介质及终端
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN113591978B (zh) 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN111126389A (zh) 文本检测方法、装置、电子设备以及存储介质
CN111738169A (zh) 一种基于端对端网络模型的手写公式识别方法
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN116188785A (zh) 运用弱标签的PolarMask老人轮廓分割方法
Dai Real-time and accurate object detection on edge device with TensorFlow Lite
CN111931813A (zh) 一种基于cnn的宽度学习分类方法
CN116362294B (zh) 一种神经网络搜索方法、装置和可读存储介质
CN112365456B (zh) 基于三维点云数据的变电站设备分类方法
CN115496991A (zh) 基于多尺度跨模态特征融合的指代表达理解方法
CN113610015A (zh) 基于端到端快速阶梯网络的姿态估计方法、装置及介质
CN113469267A (zh) 一种基于深度特征检索的文本图像字符识别方法与系统
CN113420760A (zh) 一种基于分割和形变lstm的手写体蒙古文检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230530

WW01 Invention patent application withdrawn after publication