CN113947784A - 一种轻量级的实时人体姿态估计方法 - Google Patents

一种轻量级的实时人体姿态估计方法 Download PDF

Info

Publication number
CN113947784A
CN113947784A CN202111265907.7A CN202111265907A CN113947784A CN 113947784 A CN113947784 A CN 113947784A CN 202111265907 A CN202111265907 A CN 202111265907A CN 113947784 A CN113947784 A CN 113947784A
Authority
CN
China
Prior art keywords
lightweight
module
human body
regression
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111265907.7A
Other languages
English (en)
Inventor
吴文平
高岚
谢梓溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202111265907.7A priority Critical patent/CN113947784A/zh
Publication of CN113947784A publication Critical patent/CN113947784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种轻量级的实时人体姿态估计方法，加载训练数据COCO或者MPII等数据集，通过数据增强方法生成训练数据Heatmap特征图和关键点；分别训练Heatmap预测模块和回归预测模块；裁剪模型结构，去掉Heatmap预测模块，保留回归预测模块，直接预测人体关键点。本发明针对传统模型结构复杂，难以满足实时处理的问题，采用轻量级网络MobilenetV2重构Hourglass网络模型作为主干网络进行预测，可在嵌入式设备上进行实时推理；增加回归模块预测方法，直接预测人体关键点，有效降低CPU和内存占用，可满足实际应用的需求。

Description

一种轻量级的实时人体姿态估计方法
技术领域
本发明涉及计算机视觉技术领域，具体的说，是一种轻量级的实时人体姿态估计方法。
背景技术
人体姿态估计是计算机视觉领域的重要问题之一，旨在从图像中估计人体的若干关键点。现有技术中人体姿态估计方法存在的问题有：1.模型结构往往比较复杂，模型推理时间长，计算量大，难以满足嵌入式端实时处理的要求，典型如CPM，Hourglass等模型；2.传统方法基本都采用Heatmap进行关键点预测，需要进行CPU后处理计算，其耗时代价和消耗内存都相对太大，难以满足电视端等嵌入式设备CPU占用要求。
发明内容
本发明的目的在于提供一种轻量级的实时人体姿态估计方法，用于解决现有技术中人体姿态估计方法不满足实时处理要求以及占用CPU和内存较大的问题。
本发明通过下述技术方案解决上述问题：
一种轻量级的实时人体姿态估计方法，包括：
步骤S1、加载数据集，并通过数据增强方法生成训练数据；
步骤S2、依照沙漏网络模型Hourglass堆叠网络构建原始的编解码模块，将Hourglass的基本网络单元残差模块替换为轻量级网络MobilenetV2中的反残差模块，形成轻量级编解码模块；轻量级编解码模块包括轻量级编码模块和轻量级解码模块，轻量级编码模块用于在图像上提取人体关键点特征，轻量级解码模块用于为轻量级编码模块提取的人体关键点恢复图像空间位置信息并输出Heatmap特征图；轻量级编码模块的输出层后面连接轻量级回归模块，轻量级回归模块的输入为轻量级编码模块的输出结果，输出为人体关键点预测坐标；
步骤S3、分别训练轻量级编解码模块和轻量级回归模块，具体为：
训练轻量级编解码模块，输入为训练数据中的图像，输出Heatmap特征图，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；
冻结轻量级编解码模块参数，仅训练轻量级回归模块参数，输入为训练数据中的图像，输出为人体关键点预测坐标，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；
步骤S4、裁剪模型，去掉轻量级解码模块，保留轻量级回归模块；
步骤S5、采用轻量级回归模块直接预测人体关键点。
本发明采用轻量级网络重构原始网络，有效提高了模型的推理速度，满足基于嵌入式端如电视的实时人体姿态估计。相比传统Heatmap预测方法需要进行后处理计算CPU和内存占用高的问题，本发明采用裁剪后的轻量级回归模型直接预测人体关键点，实现了人体关键点的直接回归预测，有效降低CPU和内存占用。
轻量级回归模块采用与轻量级编码模块相同的结构，且在最后层新增一个卷积层用于回归预测人体关键点，中间层连接方式与原始的编解码模块相同。
本发明与现有技术相比，具有以下优点及有益效果：
(1)本发明针对传统模型结构复杂，难以满足实时处理的问题，采用轻量级网络MobilenetV2重构Hourglass网络模型作为主干网络进行预测，模型足够轻量，可在嵌入式设备上进行实时推理；其次针对Heatmap预测方法需要进行后处理计算，CPU和内存占用高的问题，提出了增加回归模块预测方法，直接预测人体关键点，有效降低CPU和内存占用，可满足实际应用的需求。
(2)本发明实现了基于电视嵌入式端的实时人体姿态估计方法，采用轻量级网络重构原始网络，有效提高了模型的推理速度，可以满足实际应用的实时推理。
附图说明
图1为沙漏网络模型Hourglass的结构图；
图2为ResNet残差模块替换为MobilenetV2反残差模块的示意图；
图3为本发明的轻量级编解码模块和轻量级回归模块的结构图；
图4为本发明的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例：
结合附图4所示，一种轻量级的实时人体姿态估计方法，包括以下步骤：
步骤1、加载训练数据COCO或者MPII等数据集，输入RGB图片大小为256*192*3。
步骤2、通过数据增强方法生成训练数据：Heatmap特征图大小为64*48*17，人体关键点坐标为(x,y,cls)*17,其中(px,py)为关键点坐标，cls为关键点置信度。
步骤3、模型主干网络借鉴Hourglass堆叠网络如图1所示，构建相同的编解码模块结构。将原始模型的基本网络单元ResNet残差模块，替换为轻量级网络MobilenetV2中的反残差模块，如图2所示，使其网络参数量相比原始网络大幅度下降，形成轻量级编解码模型结构。
步骤4、轻量级编解码模型块包括轻量级编码模块和轻量级解码模块，轻量级编码模块主要在图像上进行人体关键点特征提取，其输入图片大小为256*192*3，输出特征图大小为8*6*256。轻量级解码模块为人体关键点恢复图像空间位置信息，其输入为轻量级编码模块C1-C6各层输出结果，如图3所示，输出为Heatmap特征图大小为64*48*17。
步骤5、轻量级编码模块C1-C4输出层后面，新增加轻量级回归模块用于回归预测人体关键点，如图3所示，其输入为轻量级编码模块C1-C4各层输出结果，输出为人体关键点预测坐标(px,py,pcls)*17，其中(px,py)为关键点预测坐标，cls为关键点预测置信度，其中轻量级回归模块C1d-C4d与轻量级编码模块C1-C4层相同，C4d层新接卷积层C8用于回归预测人体关键点，C1d-C4d分别于C1-C4各层相连接，连接方式与原始编解码网络相同。
步骤6、首先训练轻量级编解码模块，训练时其输入图片大小为256*192*3，输出Heatmap特征图大小为64*48*17，采用MSE均方误差损失函数，待训练loss下降并保持稳定时，停止训练，此时轻量级回归模块不参与训练。
步骤7、训练轻量级编解码模块完成后，冻结轻量级编解码模块参数，只进行轻量级回归模块参数训练，梯度不反向传播，训练时输入图片大小为256*192*3，输出为人体关键点预测坐标(px,py,pcls)*17，采用MSE均方误差损失函数，待训练loss下降并保持稳定时，停止训练。
步骤8、最后部署时裁剪模型结构，去掉轻量级解码模块Heatmap预测，保留轻量级回归模块预测。
步骤9、采用轻量级回归模块直接预测人体关键点。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (2)

1.一种轻量级的实时人体姿态估计方法，其特征在于，包括：
步骤S1、加载数据集，并通过数据增强方法生成训练数据；
步骤S2、依照沙漏网络模型Hourglass堆叠网络构建原始的编解码模块，将Hourglass的基本网络单元残差模块替换为轻量级网络MobilenetV2中的反残差模块，形成轻量级编解码模块；轻量级编解码模块包括轻量级编码模块和轻量级解码模块，轻量级编码模块用于在图像上提取人体关键点特征，轻量级解码模块用于为轻量级编码模块提取的人体关键点恢复图像空间位置信息并输出Heatmap特征图；轻量级编码模块的输出层后面连接轻量级回归模块，轻量级回归模块的输入为轻量级编码模块的输出结果，输出为人体关键点预测坐标；
步骤S3、分别训练轻量级编解码模块和轻量级回归模块，具体为：
训练轻量级编解码模块，输入为训练数据中的图像，输出Heatmap特征图，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；
冻结轻量级编解码模块参数，仅训练轻量级回归模块参数，输入为训练数据中的图像，输出为人体关键点预测坐标，采用均方误差MSE损失函数loss预测，待loss下降并保持稳定时，停止训练；
步骤S4、裁剪模型，去掉轻量级解码模块，保留轻量级回归模块；
步骤S5、采用轻量级回归模块直接预测人体关键点。
2.根据权利要求1所述的一种轻量级的实时人体姿态估计方法，其特征在于，轻量级回归模块采用与轻量级编码模块相同的结构，且在最后层新增一个卷积层用于回归预测人体关键点，中间层连接方式与原始的编解码模块相同。
CN202111265907.7A 2021-10-28 2021-10-28 一种轻量级的实时人体姿态估计方法 Pending CN113947784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111265907.7A CN113947784A (zh) 2021-10-28 2021-10-28 一种轻量级的实时人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111265907.7A CN113947784A (zh) 2021-10-28 2021-10-28 一种轻量级的实时人体姿态估计方法

Publications (1)

Publication Number Publication Date
CN113947784A true CN113947784A (zh) 2022-01-18

Family

ID=79337501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111265907.7A Pending CN113947784A (zh) 2021-10-28 2021-10-28 一种轻量级的实时人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN113947784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291593A (zh) * 2018-12-06 2020-06-16 成都品果科技有限公司 一种检测人体姿态的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291593A (zh) * 2018-12-06 2020-06-16 成都品果科技有限公司 一种检测人体姿态的方法
CN111291593B (zh) * 2018-12-06 2023-04-18 成都品果科技有限公司 一种检测人体姿态的方法

Similar Documents

Publication Publication Date Title
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN111445418B (zh) 图像去雾处理方法、装置及计算机设备
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
JP6684951B2 (ja) 人工知能推論演算装置
CN113570516A (zh) 基于CNN-Transformer混合自编码器的图像盲运动去模糊方法
CN116524121A (zh) 一种单目视频三维人体重建方法、系统、设备及介质
CN112489164A (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN113506224A (zh) 基于多尺度生成对抗网络的图像修复方法
CN113947784A (zh) 一种轻量级的实时人体姿态估计方法
CN113393468A (zh) 图像处理方法、模型训练方法、装置和电子设备
CN111882053B (zh) 一种基于拼接卷积的神经网络模型压缩方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN117078539A (zh) 基于CNN-Transformer的局部全局交互式图像恢复方法
CN116757962A (zh) 一种图像去噪方法、装置
CN111260706A (zh) 一种基于单目相机的稠密深度图计算方法
CN114663307B (zh) 基于不确定性网络的集成图像去噪系统
CN116342420A (zh) 一种对混合降质图像进行增强的方法与系统
CN114821368A (zh) 一种基于强化学习和Transformer的电力缺陷检测方法
CN112637609B (zh) 图像实时传输方法、发送端及接收端
CN114758282A (zh) 基于时序校正卷积的视频预测方法
CN111783979B (zh) 一种基于ssim算法的图像相似度检测硬件加速器vlsi结构
CN114494284A (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN116645268A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114095033A (zh) 基于上下文的图卷积的目标交互关系语义无损压缩系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination