CN111160085A - 一种人体图像关键点姿态估计方法 - Google Patents

一种人体图像关键点姿态估计方法 Download PDF

Info

Publication number
CN111160085A
CN111160085A CN201911135090.4A CN201911135090A CN111160085A CN 111160085 A CN111160085 A CN 111160085A CN 201911135090 A CN201911135090 A CN 201911135090A CN 111160085 A CN111160085 A CN 111160085A
Authority
CN
China
Prior art keywords
human body
image
network
body image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911135090.4A
Other languages
English (en)
Inventor
孙哲南
赫然
侯峦轩
马鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority to CN201911135090.4A priority Critical patent/CN111160085A/zh
Publication of CN111160085A publication Critical patent/CN111160085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种人体图像关键点姿态估计方法，包括以下步骤：首先将图像送入基于空洞卷积的特征金字塔网络DetectionNet进行图像检测，只输出人体用边界框标记的人体图像；然后裁剪成预定格式大小，并进行数据增强处理，形成训练数据；然后利用训练数据，训练融合空洞卷积Dilated conv的神经网络的人体图像关键点姿态估计模型，得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：并用该模型进行人体姿态的估计。本发明可以将含有人体的输入图像进行关键点生成，并且生成估计处理后的图像中生成的人体关键点具有较高精度较好保持了人体的骨架几何信息。

Description

一种人体图像关键点姿态估计方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人体图像关键点姿态估计方法。
背景技术
人体图像关键点姿态估计是指从一张含有人体的图像中对人体骨架上的关键点进行建模估计，人体关键点一般定义为：踝关节，左膝关节，左臀部，右臀部，左膝关节，左踝关节，右踝关节，上颈部，头顶，右手腕，左肘，左肩，右肩，右肘，左手腕，最后通过训练好的姿态估计模型，对输入图像进行姿态估计，输出为含有人体骨架关键点的图像。
由于人体具有相当柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，除此之外，2D人体关键点和3D人体关键点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果(foreshortening)，使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的问题。
现有解决人体图像关键点姿态估计的人体骨骼关键点检测算法基本上是在几何先验的基础上基于模版匹配的思路来进行，核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。
也有人提出了基于深度学习的方法，比如G-RMI,PAF,RMPE,Mask R-CNN。普遍使用卷积神经网络来构建人体关键点姿态估计网络结构，现在通过行人检测网络识别出人体，但是现有的检测网络通常都是基于分类网络演变而来运用现有的分类网络框架进行修改，并且采用在imagenet上预训练好的模型进行fine-tuning，本发明针对检测这一具体任务提出一个专门的行人检测网络结构，随后将含有人体图像输入到该网络结构中，进行一系列非线性处理(用来拟合一个复杂的映射函数)得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实的标注的人体固件关键点图像作为损失函数的输入并计算该损失函数的值，求梯度来最小化这个值，并利用反向传播函数将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。
由于技术的进一步的发明以及高质量高精确度的人体骨架关键点图像对用户的体验和市场的竞争都具有重要的意义。而现有的人体图像关键点姿态估计生成质量不能满足要求，且不确定性比较大。因此，对人体图像关键点姿态估计方法进行一步改进，是很有必要的。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，首先提出一种检测网络DetectionNet进而提供一种融合空洞卷积(Dilated conv)的级联金字塔的深度神经网络的人体图像关键点姿态估计方法，以提高人体图像关键点姿态估计生成质量，降低不确定性。
为实现本发明的目的所采用的技术方案是：
一种人体图像关键点姿态估计方法，包括以下步骤：
S1.图像数据预处理：
首先将原始图像送入训练好的基于空洞卷积的特征金字塔网络DetectionNet检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪成预定格式大小，然后进行数据增强处理；
S2.利用训练输入数据，训练融合空洞卷积Dilated conv的神经网络的人体图像关键点姿态估计模型，得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：
利用步骤S1中已裁剪完的人体图像作为网络的输入，以训练集中的用x、y轴坐标形式标出的json文件作为人体关键点标注信息像作为GroundTruth，训练深度神经网络模型中的全局网络和矫正网络，获得训练好的完成从人体图像到人体关键点图像的姿态估计的深度神经网络模型；
其中，通过全局网络的ResNet101网络对输入人体图像处理，得到不同尺寸的特征图输出，采用自底向上的U-Shape结构，将每一层特征图进行自底向上做采样后进行加和后进行预测操作；其中，用与GroudTruth进行L2损失函数计算以进行损失约束；通过预测操作进行预定卷积步骤处理后，生成不同关键点的热力图，从而得到初始人体关键点；
将全局网络中每一层加和的特征图，通过Dilated Bottleneck后分别进行上采样，然后进行concat操作后通过Bottleneck，并采用基于难检测关键点的L2 *损失约束，随后通过卷积进行热力图生成，修正初始的人体关键点，得到最终的人体关键点；模型迭代多次稳定后，完成模型训练；
S3.使用训练好的深度神经网络模型，对测试数据集中的包含人体的图像进行姿态估计处理。
本发明使用全局网络和矫正网络分别定位关键点和对关键点修正，并采用L2损失函数，提高了生成关键点的进度和减小了不确定性，使用的以Dilated Bottleneck的矫正网络结构可以提高模型的感受野。
本发明全局网络通过使用残差网络ResNet101结构作为骨干网络，提高了模型容量和加快训练速度。
本发明针对性质解决了检测中存在的运算性能和检测性能矛盾的问题，通过保持特征图的空间分辨率和运用空洞卷积来扩大感受野来提升检测性能，并且融合空洞卷积(Dilated conv)的人体图像关键点姿态估计模型，可以生成在感知上效果非常好的人体骨架关键点图像。借助提出的融合空洞卷积(Dilated conv)的深度神经网络的人体图像关键点姿态估计模型，使用残差网络作为构建模型的基础，结合了级联金字塔结构，特别是Dilated Bottleneck，使得模型的感受野更大，效果更好，并且泛化能力更强。
附图说明
图1是本发明在测试数据集中的一张人体图像上的测试结果，左边是输入人体图像，中间是Ground Truth，右边是模型生成的人体骨架关键点图像。
图2是本发明中融合空洞卷积的神经网络的人体图像关键点姿态估计方法流程图。
图3是本发明中专有的一中检测网络DetectionNet方法结构框图。
图4是设计的3中不同类型的bottleneck结构图。
图5是p4，p5，p6之间的运算连接方式的示意图。
图6所示为ResNet50网络的处理过程图。
图7所示为全局网络结构图。
图8所示为检测网络、全局网络中加和操作的局部示意图。
图9为本发明的整体网络结构图。
图10-11所示分别为Dilated Bottleneck与Bottleneck结构图。
图12为本发明的加入矫正网络后的整体结构图。
图13为本发明的空洞卷积(Dilated conv)的卷积示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的人体图像关键点姿态估计方法，包括以下几个步骤：
步骤S1，先对图像训练集数据做特定数据增强，首先定义可以应用于图像的所有可能的数据增强，如下表(参数均对应于TensorFlow相应函数参数)：
Figure BDA0002279380030000051
本发明采用如下特定操作：
Figure BDA0002279380030000052
本发明中，将增强策略定义为一组无序的K子策略(策略一-三)。
训练期间，将随机选择K个子策略中的一个，然后将其应用于当前图像。每个子策略都有2个图像增强操作，其中P为每个操作的概率值(范围0-1之间)，M为参数幅度，并且将每个参数幅度都归一化到0-10区间范围之内。
然后对训练数据集中的图像使用检测网络DetectionNet进行目标检测，并对所有类别框只保留人体类的边界框，进行裁剪操作，生成对应大小为384*288的人体图像，然后使用数据集中的人体姿态关键点标注信息json文件，并调用COCO api作为对应人体的标注信息，以加快I/O读取速度。
其中，目标检测网络采用检测网络DetectionNet，并且目标检测网络训练运用到了COCO数据集的所有80个类别，最后选取了人体类别进行输出(输出图像形式为图像中将人体用边界框进行标记)。具体结构为图3，其中DetectionNet具体设计以及图中模块解释如下：
采用Resnet50为骨干网络进行特征提取，使用标准高斯分布随机初始化ResNet50网络；
根据Resnet50提取的特征，保留stage(阶段)1-4，4个尺度的特征图，并且命名为P2,P3,P4,P5,,并且通过连接卷积核大小为1*1的卷积核,增加stage5,特征图为P6的特征图；
并且在stage4以后保持特征图的空间分辨率不变,也就是
Figure BDA0002279380030000061
Figure BDA0002279380030000062
转换通过步长为2的3*3卷积或池化层完成，其中
Figure BDA0002279380030000063
代表空间分辨率，i为原始图尺寸，其中原始图片尺寸为224*224，x∈[i,2,3,4,5,6]，在P4,P5，P6,之间通过连接卷积核大小为1*1的卷积核，以保持通道数一致(通道数＝256)。
P4,P5，P6,之间的转换如图5，通过AB两种类型的bottleneck实现转化，AB两种类型的bottleneck的设计如图4，AB两种类型的bottleneck分别由1*1的卷积，3*3的空洞系数是2的空洞卷积，还有relu层得到。
最后将stage4-6的特征图按照金字塔架构进行加和，其中侧向连接加和方式如图8，形成FPN特征金字塔，并且采用Fast RCNN的方法进行目标检测，并通过回归损失和分类损失进行约束。多损失融合(分类损失和回归损失融合)即图3中的prediction操作，分类损失采用log loss(即对真实分类的概率取负log，分类输出K+1维)，回归的loss和R-CNN一样(smooth L1loss)。总的损失函数：
Figure BDA0002279380030000071
在检测网络最后的全连接层，接入了两个分支，一个是softmax用于对每个ROI区域做分类，假如有K类待分(加上背景总共K+1类)，输出结果为p＝(p0………pk)，另外一个是boundingbox，用于更精确的ROI的区域,输出为
Figure BDA0002279380030000072
代表k类的boundingbox坐标,(x,y)为boundingbox左上角坐标，(x+w,y+h)为boundingbox右下角坐标。u为每个ROI区域的Ground Truth,v为boundingbox的Ground Truth的回归目标。其中λ为超参数，控制两个任务损失之间的平衡，这里λ＝1。[u≥1]为1当u≥1。
分类损失具体为：
Figure BDA0002279380030000076
为一个log形式的损失函数。
回归损失具体为：
Figure BDA0002279380030000073
其中v＝vx,vy,vw,vh是类别为u的真实框的位置，而
Figure BDA0002279380030000074
为类为u的预测框位置。并且
Figure BDA0002279380030000075
另外，裁剪操作是指对含有人体边界框的图像中的边界框区域，将框进行扩展到固定宽高比，然后进行裁剪，随后进行数据增强等操作，如随机翻转、随机旋转、随机尺度等操作。
进一步的，所有训练步骤中，数据集采用MSCOCO训练数据集(包括57K张图像和150K张含有人体实例图像)，在步骤S1中，通过检测器网络(FPN+ROIAlign)检测后，对于所有检测的边界框，只采用人体边界框(即在所有实验中仅使用所有类的前100个框中的人类类别的边界框)，并对人体边界框扩展到固定宽高比hight:weight＝384:288，对应的将裁剪图像的大小调整为默认高度384像素和宽度288像素，其后对应的数据增强策略，对于裁剪过后的图像采用随机旋转(角度为-45°～+45°)以及随机尺度(0.7～1.35)，并将对应图片的标注信息(json文件包含人体边界框和关键点位置)作为GroundTruth。
其中整体DetectionNet流程框图为图3。
步骤S2，利用所述训练输入数据，训练融合空洞卷积(Dilated conv)的神经网络的人体图像关键点姿态估计模型，以用来完成人体图像的关键点姿态估计任务。
本步骤S2中，主要是利用步骤S1中的裁剪好的含有人体的图像和对应人体骨架关键点的标注信息为网络的输入，含有标注的人体固骨架关键点(形式为json文件，17个关键点分别用xy轴坐标形式标出)作为GroundTruth，训练深度模型中的人体关键点估计网络，完成从人体输入图像到输出人体固件关键点图像的任务。具体地，将检测网络检测到的人体图像裁剪完成后，通过ResNet101作为骨干网提取特征图，并且我们分别将不同conv特征
Figure BDA0002279380030000081
的最后一个残差块表示为C2C3C4C5，再采用U形结构将每一层特征图进行自底向上加和，并对每次加和后生成的不同尺度特征图生成热力图采用L2损失函数计算，得到人体关键点。
其中，在全局网络中利用卷积神经网络结构ResNet101先进行特征提取，并且采用U-Shape结构对特征图进行上采样和加和sum的操作再进行操作来保持生成特征图的大小和上一层残差层形成的特征图尺度一样。
在这一实例中，全局网络中包含4个残差块。残差块具体结构为卷积神经网络，包括归一化层，激活层，卷积层；其中卷积层滤波器大小，步长，填充分别为3*3,1,1。残差层输入与输出之间有前传连接。卷积层的层数和每层卷积层中滤波器的个数及大小可根据实际情况进行选择设置，并且使用卷积层滤波器大小，步长，填充分别为3*3,1,1去从特征图生成对应的热力图。
同理，残差块的个数也可以根据实际情况进行选择设置。在全局网络中，输入为真实人体图像x和GroundTruth真实人体骨架姿态关键点图像y，
Figure BDA0002279380030000091
网络结构为在ImageNet数据集上预训练过的ResNet-101，
Figure BDA0002279380030000092
该步骤中，利用裁剪过后的人体图像(384*288)作为模型输入，输入到ResNet101的骨干网中，通过7*7通道数＝64，padding＝3，stride＝2的卷积核，输出为192*144*64的特征图，后进行MAX pooling，其中池化核大小为3*3padding＝0，stride＝2，输出为96*72*64的特征图。
将生成的96*72*64特征图依次通过4个残差快C2C3C4C5，每个残差块对应输出为96*72*256，48*36*512，24*18*1024，12*9*2014。如图3所示。
下一层残差块
Figure BDA0002279380030000093
做进行1*1卷积操作后上采样后与上一层
Figure BDA0002279380030000094
进行加和操作后，进行predict操作，其中用L2损失约束，流程如下:
Figure BDA0002279380030000095
与真实标注的人体骨架姿态关键点图像的热力图进行L2损失的计算。
本发明中，Predict操作为，每一层叠加之后的特征图进行1*1conv的卷积之后再进行3*3的卷积生成17个feature map(17个关键点的热力图，采用MSCOCO数据集其中人体关键点数量为17)，作为predict参与训练。
其中，L2损失函数为：
L2＝Ex,y～P(X,Y)||Fgenerate(x)-y||2，
其中，x为输入图像，y为GroundTruth对应的热力图，全局网络网络的输出为
Figure BDA0002279380030000101
且
Figure BDA0002279380030000102
其中Fgenerator为全局网络每个残差块对应输出的17个feature map(关键点的热力图))。
接着将全局网络的输出作为矫正网络的输入，即将全局网络的四个残差快产生的C2C3C4C5对应的4个尺度的特征图96*72*256，48*36*512，24*18*1024，12*9*2014,通过不同数量的Dilated Bottleneck和Bottleneck，的Dilated Bottleneck和Bottleneck的结构如图7-8，操作如下：
C5+1*Dilated Bottleneck+1*Bottleneck+1*Dilated Bottleneck+unsample*8
C4+2*Dilated Bottleneck+unsample*4
C3+1*Dilated Bottleneck+unsample*2
上述的矫正网络的处理具体的如图9所示，图9中方框代表矫正网络，立方体代表残差快输出的特征图，圆形代表定义的sum加和操作，bottle代表定义的DilatedBottleneck。而且将全局网络中的每一层加和后的特征图，通过采用的DilatedBottleneck后，分别进行上采样，然后进行concat操作后通过Bottleneck，采用L2 *损失约束，其中L2 *为矫正网络的输出的N个关键点损失(每个关键点均由L2计算出此处N＝17)中最大的M个(设定M＝9)，只保留这M个关键点损失计入矫正网络损失函数(L2 Loss)，随后通过3*3conv的卷积进行热力图生成。
需要说明的是，本发明中，将步骤S2生成的各个尺度特征图，送入矫正网络中，采用各个尺度特征图图加和的方式，加和完成后的热力图，最后采用L_2损失函数计算，即可得到更为精确的人体关键点。
之后，使用训练好的深度神经网络模型，对测试数据集中的含有人体的图像进行人体关键点估计。
需要说明的是，本发明中，在矫正网络中分别采用Dilated Bottleneck和Bottleneck时，对于不同层，采用数量不一的搭配。
其中，Dilated Bottleneck是将普通Bottleneck中的3*3conv卷积替换成了3*3dilated系数为2的空洞卷积(Dilated conv)，如图7-8所示。
下面对空洞卷积(Dilated conv)说明。参见图11所示，其中左侧的图代表普通3*3conv卷积，中间图代表dilated系数为2的空洞卷积(Dilated conv)，右侧图代表dilated系数为4的空洞卷积(Dilated conv)，实际的卷积kernel size还是3x3，但是空洞为1，也就是对于一个7x7的图像patch，只有9个点和3x3的kernel发生卷积操作，其余的点略过。
也可以理解为kernel的size为7x7，但是只有图中的9个点的权重不为0，其余都为0。可以看到虽然kernel size只有3x3，但是这个卷积的感受野已经增大到了7x7(如果考虑到这个2-dilated conv的前一层是一个1-dilated conv的话，那么每个点就是1-dilated的卷积输出，所以感受野为3x3，所以1-dilated和2-dilated合起来就能达到7x7的conv),右侧图是4-dilated conv操作，同理跟在两个1-dilated和2-dilated conv的后面，能达到15x15的感受野。对比传统的conv操作，3层3x3的卷积加起来，stride为1的话，只能达到(kernel-1)*layer+1＝7的感受野，也就是和层数layer成线性关系，而dilated conv的感受野是指数级的增长。
本发明是利用卷积神经网络的高度非线性拟合能力，针对人体图像姿态估计任务，构造以人体图像作为输入的神经网络。特别的，神经网络通过外加的DilatedBottleneck，形成融合空洞卷积的神经网络。这样，通过如图2所示的网络，利用空洞卷积网络可训练一个具有良好感知效果的图人体骨架关键点姿态估计模型。在测试阶段，使用测试集中的图像作为模型的输入，得到生成的效果图，如图1所示。
需要说明的是，本发明中所提出的融合空洞卷积的神经网络的人体图像关键点姿态估计模型包含两个子网，分别是全局网络与矫正网络，整个模型的目标函数为L2。在完成人体图像姿态估计时，整个模型的最终目标函数为L2损失函数，能降低至最低且保持稳定。
为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提出的方法应用于一个公开的数据集中训练。该数据库包含一些自然场景的照片，比如花，树等等。选择该数据集的全部图像作为训练数据集，先对训练数据集中的所有图像使用训练好的特征金字塔网络(FPN)进行目标检测，只输出人体类别边界框，生成对应的裁剪完成的人体图像，并且利用数据集中标注好的人体关键点坐标信息json文件，作为模型的输入，利用梯度反传训练全局网络和矫正网络，直到最后网络收敛，得到人体骨架关键点姿态估计模型。
为了测试该模型的有效性，对输入图像进行处理，可视化结果如图1所示。在实验中，通过与GroundTruth真实图像进行了对比，实验的结果如图1所示。该实施例有效证明了本发明所提出方法对图像超分辨率的有效性。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.人体图像关键点姿态估计方法，其特征在于，包括步骤：
S1.图像数据预处理：
首先将原始图像送入训练好的基于空洞卷积的特征金字塔网络DetectionNet检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪成预定格式大小，然后进行数据增强处理；
S2.利用训练输入数据，训练融合空洞卷积Dilated conv的神经网络的人体图像关键点姿态估计模型，得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：
利用步骤S1中已裁剪完的人体图像作为网络的输入，以训练集中的用x、y轴坐标形式标出的json文件作为人体关键点标注信息像作为GroundTruth，训练深度神经网络模型中的全局网络和矫正网络，获得训练好的完成从人体图像到人体关键点图像的姿态估计的深度神经网络模型；
其中，通过全局网络的ResNet101网络对输入人体图像处理，得到不同尺寸的特征图输出，采用自底向上的U-Shape结构，将每一层特征图进行自底向上做采样后进行加和后进行预测操作；其中，用与GroudTruth进行L2损失函数计算以进行损失约束；通过预测操作进行预定卷积步骤处理后，生成不同关键点的热力图，从而得到初始人体关键点；
将全局网络中每一层加和的特征图，通过Dilated Bottleneck后分别进行上采样，然后进行concat操作后通过Bottleneck，并采用基于难检测关键点的L2 *损失约束，随后通过卷积进行热力图生成，修正初始的人体关键点，得到最终的人体关键点；模型迭代多次稳定后，完成模型训练；
S3.使用训练好的深度神经网络模型，对测试数据集中的包含人体的图像进行姿态估计处理。
2.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述特征金字塔网络采用预定数据增强方法处理图片，并对特征金字塔网络的后两个阶段进行修改以针对于目标检测，并将检测后人体图像裁剪后输入；具体为：
采用Resnet50为骨干网络进行特征提取，使用标准高斯分布随机初始化ResNet50网络；
根据Resnet50提取的特征，保留阶段1-4的4个尺度特征图P2，P3，P4，P5，并通过连接卷积核大小为1*1的卷积核，增加阶段5，特征图为P6的特征图；
阶段4以后保持特征图空间分辨率不变，即
Figure FDA0002279380020000021
Figure FDA0002279380020000022
其中
Figure FDA0002279380020000023
代表空间分辨率，i为原始图尺寸，x∈[i，2，3，4，5，6]，在P4 P5 P6，之间通过连接卷积核大小为1*1的卷积核，以保持通道数一致；
最后将阶段4-6特征图按照金字塔架构加和形成特征金字塔，并采用Fast RCNN方法进行目标检测，并通过回归损失和分类损失约束；分类损失和回归损失融合、分类损失采用log loss，回归的loss和R-CNN一致；总损失函数如下：
Figure FDA0002279380020000024
检测网络最后的全连接层接入两个分支，一个是softmax，用于对每个ROI(ROI，regionof interest)区域分类，用候选区域方法(region proposal method)创建目标检测的感兴趣区域(ROI)。在选择性搜索(selective search，SS)中，我们首先将每个像素作为一组。然后，计算每一组的纹理，并将两个最接近的组结合起来。但是为了避免单个区域吞噬其他区域，我们首先对较小的组进行分组。我们继续合并区域，直到所有区域都结合在一起。下图第一行展示了如何使区域增长，第二行中的蓝色矩形代表合并过程中所有可能的ROI，输出结果p＝(p0………pk)，另一个是boundingbox，用于ROI区域定位，输出
Figure FDA0002279380020000025
代表k类的boundingbox坐标，(x，y)为boundingbox左上角坐标，(x+w，y+h)为boundingbox右下角坐标，u为每个ROI区域的Ground Truth，v为boundingbox的Ground Truth的回归目标，λ为超参数，控制两个任务损失之间平衡，λ＝1；
分类损失为
Figure FDA0002279380020000031
为一个log形式的损失函数；
回归损失为
Figure FDA0002279380020000032
其中，v＝vx，vy，vw，vh是类别为u的真实框的位置，
Figure FDA0002279380020000033
为类为u的预测框位置，且
Figure FDA0002279380020000034
3.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述增强处理包括随机翻转、随机旋转、随机尺度。
4.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述通过全局网络的ResNet50网络对输入的人体图像处理，得到不同尺寸的特征图输出的步骤包括以下步骤：
使用标准高斯分布随机初始化ResNet50网络；
将人体图像输入到包括四个残差块的ResNet50网络中，并且分别将不同conv特征
Figure FDA0002279380020000036
的最后一个残差块表示为C2 C3 C4 C5，
其中，C2通道数为64，C3通道数为128，C4通道数为256，C5通道数为512，并且在每个残差快C2 C3 C4 C5后添加卷积核1*1的卷积，并连接BN层和ReLU，使得特征通道数均为256，得到不同层的残差块定义为
Figure FDA0002279380020000035
i＝2，3，4，5，从而获得不同的尺寸的特征图输出。
5.根据权利要求1所述人体图像关键点姿态估计方法，其特征在于，所述的深度神经网络模型的目标函数采用损失函数L2为：
L2＝Ex，y～P(X，Y)||Fgenerate(x)-y||2
其中，x为输入的真实人体图像，少为GroundTruth对应的热力图，Fgenerator为全局网络每个残差块对应输出的多个关键点的热力图，其中E代表L2范数在P(X，Y)分布下的数学期望，P(X，Y)为概率密度函数，其中L2 *为矫正网络的输出的N个关键点损失中最大的M个，只保留这M个关键点损失计入矫正网络损失函数，N个关键点的每个关键点的损失均由L2计算出。
CN201911135090.4A 2019-11-19 2019-11-19 一种人体图像关键点姿态估计方法 Pending CN111160085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911135090.4A CN111160085A (zh) 2019-11-19 2019-11-19 一种人体图像关键点姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135090.4A CN111160085A (zh) 2019-11-19 2019-11-19 一种人体图像关键点姿态估计方法

Publications (1)

Publication Number Publication Date
CN111160085A true CN111160085A (zh) 2020-05-15

Family

ID=70556011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911135090.4A Pending CN111160085A (zh) 2019-11-19 2019-11-19 一种人体图像关键点姿态估计方法

Country Status (1)

Country Link
CN (1) CN111160085A (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523494A (zh) * 2020-04-27 2020-08-11 天津中科智能识别产业技术研究院有限公司 一种人体图像检测方法
CN111582208A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111724901A (zh) * 2020-06-19 2020-09-29 中山大学 一种基于视觉的结构体参数预测方法、系统、装置及存储介质
CN111860107A (zh) * 2020-05-28 2020-10-30 四川中科凯泽科技有限公司 一种基于深度学习姿态估计的立定跳远评估方法
CN111882492A (zh) * 2020-06-18 2020-11-03 天津中科智能识别产业技术研究院有限公司 一种图像数据自动增强的方法
CN111898642A (zh) * 2020-06-30 2020-11-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111914698A (zh) * 2020-07-16 2020-11-10 北京紫光展锐通信技术有限公司 图像中人体的分割方法、分割系统、电子设备及存储介质
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
CN112001313A (zh) * 2020-08-25 2020-11-27 北京深醒科技有限公司 一种基于属性化关键点的图像识别方法及装置
CN112016494A (zh) * 2020-09-03 2020-12-01 中科人工智能创新技术研究院(青岛)有限公司 基于神经网络结构搜索的三维人体姿态估计方法及系统
CN112036244A (zh) * 2020-07-30 2020-12-04 广东技术师范大学 一种基于神经网络的人体姿态估计方法
CN112053373A (zh) * 2020-08-11 2020-12-08 北京控制工程研究所 一种自带图像尺度变换的空间非合作目标姿态评估方法
CN112084911A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及系统
CN112084981A (zh) * 2020-09-15 2020-12-15 华侨大学 一种基于神经网络定制服装的方法
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
CN112084878A (zh) * 2020-08-14 2020-12-15 浙江工业大学 一种用于判别作业人员姿态规范程度的方法
CN112101176A (zh) * 2020-09-09 2020-12-18 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112149645A (zh) * 2020-11-10 2020-12-29 西北工业大学 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
CN112184734A (zh) * 2020-09-30 2021-01-05 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统
CN112308000A (zh) * 2020-11-06 2021-02-02 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112347861A (zh) * 2020-10-16 2021-02-09 浙江工商大学 一种基于运动特征约束的人体姿态估计方法
CN112364712A (zh) * 2020-10-21 2021-02-12 厦门大学 一种基于人体姿态的坐姿识别方法、系统及计算机可读存储介质
CN112446302A (zh) * 2020-11-05 2021-03-05 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112560665A (zh) * 2020-12-13 2021-03-26 同济大学 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法
CN112580778A (zh) * 2020-11-25 2021-03-30 江苏集萃未来城市应用技术研究所有限公司 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
CN112597896A (zh) * 2020-12-23 2021-04-02 中国科学技术大学 基于无线信号的人体姿势成像方法及装置
CN112668545A (zh) * 2020-11-20 2021-04-16 华侨大学 一种基于人体树状网络和不同激活域值的姿态估计方法
CN112686097A (zh) * 2020-12-10 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN112686282A (zh) * 2020-12-11 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于自学习数据的目标检测方法
CN112800991A (zh) * 2021-02-02 2021-05-14 厦门美图之家科技有限公司 一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备
CN112836597A (zh) * 2021-01-15 2021-05-25 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN112949379A (zh) * 2020-12-30 2021-06-11 南京佑驾科技有限公司 一种基于视觉的安全带检测方法及系统
CN112949498A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于异构卷积神经网络的目标关键点检测方法
CN112966546A (zh) * 2021-01-04 2021-06-15 航天时代飞鸿技术有限公司 一种基于无人机侦察图像的嵌入式姿态估计方法
CN112966574A (zh) * 2021-02-22 2021-06-15 厦门艾地运动科技有限公司 人体三维关键点预测方法、装置及电子设备
CN112989947A (zh) * 2021-02-08 2021-06-18 上海依图网络科技有限公司 一种人体关键点的三维坐标的估计方法及装置
CN113076891A (zh) * 2021-04-09 2021-07-06 华南理工大学 基于改进高分辨率网络的人体姿态预测方法及系统
CN113420604A (zh) * 2021-05-28 2021-09-21 沈春华 多人姿态估计方法、装置和电子设备
CN113591683A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 姿态估计方法、装置、电子设备和存储介质
CN113591967A (zh) * 2021-07-27 2021-11-02 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113643419A (zh) * 2021-06-29 2021-11-12 清华大学 一种基于深度学习的人体反向动力学求解方法、装置
WO2021248814A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种鲁棒的家庭儿童学习状态视觉监督方法及装置
CN113850236A (zh) * 2021-11-29 2021-12-28 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质
CN113870215A (zh) * 2021-09-26 2021-12-31 推想医疗科技股份有限公司 中线提取方法及装置
CN114049250A (zh) * 2022-01-13 2022-02-15 广州卓腾科技有限公司 一种证件照人脸姿态矫正方法、装置及介质
CN114283495A (zh) * 2021-12-16 2022-04-05 北京航空航天大学 一种基于二值化神经网络的人体姿态估计方法
CN114387614A (zh) * 2021-12-06 2022-04-22 西北大学 一种双重关键点生理关联约束的复杂人体姿态估计方法
CN114519666A (zh) * 2022-02-18 2022-05-20 广州方硅信息技术有限公司 直播图像矫正方法、装置、设备及存储介质
CN114648781A (zh) * 2022-03-30 2022-06-21 桂林电子科技大学 一种人体姿态估计方法及存储介质
CN115272992A (zh) * 2022-09-30 2022-11-01 松立控股集团股份有限公司 一种车辆姿态估计方法
US20220358310A1 (en) * 2021-05-06 2022-11-10 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
CN112989947B (zh) * 2021-02-08 2024-05-31 上海依图网络科技有限公司 一种人体关键点的三维坐标的估计方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108694829A (zh) * 2018-03-27 2018-10-23 西安科技大学 基于无人机群移动平台的交通流量识别监测网络和方法
CN109583340A (zh) * 2018-11-15 2019-04-05 中山大学 一种基于深度学习的视频目标检测方法
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110348445A (zh) * 2019-06-06 2019-10-18 华中科技大学 一种融合空洞卷积和边缘信息的实例分割方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108694829A (zh) * 2018-03-27 2018-10-23 西安科技大学 基于无人机群移动平台的交通流量识别监测网络和方法
CN109583340A (zh) * 2018-11-15 2019-04-05 中山大学 一种基于深度学习的视频目标检测方法
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110348445A (zh) * 2019-06-06 2019-10-18 华中科技大学 一种融合空洞卷积和边缘信息的实例分割方法
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523494A (zh) * 2020-04-27 2020-08-11 天津中科智能识别产业技术研究院有限公司 一种人体图像检测方法
CN111582208A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111860107A (zh) * 2020-05-28 2020-10-30 四川中科凯泽科技有限公司 一种基于深度学习姿态估计的立定跳远评估方法
WO2021248814A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种鲁棒的家庭儿童学习状态视觉监督方法及装置
CN111882492A (zh) * 2020-06-18 2020-11-03 天津中科智能识别产业技术研究院有限公司 一种图像数据自动增强的方法
CN111724901A (zh) * 2020-06-19 2020-09-29 中山大学 一种基于视觉的结构体参数预测方法、系统、装置及存储介质
CN111898642A (zh) * 2020-06-30 2020-11-06 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111898642B (zh) * 2020-06-30 2021-08-13 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111914698A (zh) * 2020-07-16 2020-11-10 北京紫光展锐通信技术有限公司 图像中人体的分割方法、分割系统、电子设备及存储介质
CN112036244A (zh) * 2020-07-30 2020-12-04 广东技术师范大学 一种基于神经网络的人体姿态估计方法
CN112053373A (zh) * 2020-08-11 2020-12-08 北京控制工程研究所 一种自带图像尺度变换的空间非合作目标姿态评估方法
CN112084878A (zh) * 2020-08-14 2020-12-15 浙江工业大学 一种用于判别作业人员姿态规范程度的方法
CN112084878B (zh) * 2020-08-14 2024-02-20 浙江工业大学 一种用于判别作业人员姿态规范程度的方法
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
CN112001313A (zh) * 2020-08-25 2020-11-27 北京深醒科技有限公司 一种基于属性化关键点的图像识别方法及装置
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
CN112084911A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及系统
CN112084911B (zh) * 2020-08-28 2023-03-07 安徽清新互联信息科技有限公司 一种基于全局注意力的人脸特征点定位方法及系统
CN112016494A (zh) * 2020-09-03 2020-12-01 中科人工智能创新技术研究院(青岛)有限公司 基于神经网络结构搜索的三维人体姿态估计方法及系统
CN112101176B (zh) * 2020-09-09 2024-04-05 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112101176A (zh) * 2020-09-09 2020-12-18 元神科技(杭州)有限公司 一种结合用户步态信息的用户身份识别方法及系统
CN112084981B (zh) * 2020-09-15 2023-06-02 华侨大学 一种基于神经网络定制服装的方法
CN112084981A (zh) * 2020-09-15 2020-12-15 华侨大学 一种基于神经网络定制服装的方法
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
CN112184734B (zh) * 2020-09-30 2024-06-07 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统
CN112184734A (zh) * 2020-09-30 2021-01-05 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别系统
CN112347861B (zh) * 2020-10-16 2023-12-05 浙江工商大学 一种基于运动特征约束的人体姿态估计方法
CN112347861A (zh) * 2020-10-16 2021-02-09 浙江工商大学 一种基于运动特征约束的人体姿态估计方法
CN112364712A (zh) * 2020-10-21 2021-02-12 厦门大学 一种基于人体姿态的坐姿识别方法、系统及计算机可读存储介质
CN112446302B (zh) * 2020-11-05 2023-09-19 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质
CN112446302A (zh) * 2020-11-05 2021-03-05 杭州易现先进科技有限公司 一种人体姿态检测方法、系统、电子设备和存储介质
CN112308000B (zh) * 2020-11-06 2023-03-07 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112308000A (zh) * 2020-11-06 2021-02-02 安徽清新互联信息科技有限公司 一种基于时空信息的高空抛物检测方法
CN112149645A (zh) * 2020-11-10 2020-12-29 西北工业大学 基于生成对抗学习和图神经网络的人体姿势关键点识别方法
CN112668545B (zh) * 2020-11-20 2023-06-02 华侨大学 一种基于人体树状网络和不同激活域值的姿态估计方法
CN112668545A (zh) * 2020-11-20 2021-04-16 华侨大学 一种基于人体树状网络和不同激活域值的姿态估计方法
CN112580778A (zh) * 2020-11-25 2021-03-30 江苏集萃未来城市应用技术研究所有限公司 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
CN112686097A (zh) * 2020-12-10 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN112686282A (zh) * 2020-12-11 2021-04-20 天津中科智能识别产业技术研究院有限公司 一种基于自学习数据的目标检测方法
CN112560665A (zh) * 2020-12-13 2021-03-26 同济大学 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法
CN112560665B (zh) * 2020-12-13 2022-05-13 同济大学 基于深度迁移学习实现人体姿态检测的专业舞蹈评价方法
CN112597896B (zh) * 2020-12-23 2022-09-09 中国科学技术大学 基于无线信号的人体姿势成像方法及装置
CN112597896A (zh) * 2020-12-23 2021-04-02 中国科学技术大学 基于无线信号的人体姿势成像方法及装置
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112528960B (zh) * 2020-12-29 2023-07-14 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112949379A (zh) * 2020-12-30 2021-06-11 南京佑驾科技有限公司 一种基于视觉的安全带检测方法及系统
CN112966546A (zh) * 2021-01-04 2021-06-15 航天时代飞鸿技术有限公司 一种基于无人机侦察图像的嵌入式姿态估计方法
CN112836597B (zh) * 2021-01-15 2023-10-17 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN112836597A (zh) * 2021-01-15 2021-05-25 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN112800991A (zh) * 2021-02-02 2021-05-14 厦门美图之家科技有限公司 一种具有计算量自适应能力的快速人体姿态估计方法、装置及电子设备
CN112989947A (zh) * 2021-02-08 2021-06-18 上海依图网络科技有限公司 一种人体关键点的三维坐标的估计方法及装置
CN112989947B (zh) * 2021-02-08 2024-05-31 上海依图网络科技有限公司 一种人体关键点的三维坐标的估计方法及装置
CN112966574A (zh) * 2021-02-22 2021-06-15 厦门艾地运动科技有限公司 人体三维关键点预测方法、装置及电子设备
CN112949498B (zh) * 2021-03-04 2023-11-14 北京联合大学 一种基于异构卷积神经网络的目标关键点检测方法
CN112949498A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于异构卷积神经网络的目标关键点检测方法
CN113076891B (zh) * 2021-04-09 2023-08-22 华南理工大学 基于改进高分辨率网络的人体姿态预测方法及系统
CN113076891A (zh) * 2021-04-09 2021-07-06 华南理工大学 基于改进高分辨率网络的人体姿态预测方法及系统
US11823496B2 (en) * 2021-05-06 2023-11-21 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
US20220358310A1 (en) * 2021-05-06 2022-11-10 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
CN113420604B (zh) * 2021-05-28 2023-04-18 沈春华 多人姿态估计方法、装置和电子设备
CN113420604A (zh) * 2021-05-28 2021-09-21 沈春华 多人姿态估计方法、装置和电子设备
CN113643419A (zh) * 2021-06-29 2021-11-12 清华大学 一种基于深度学习的人体反向动力学求解方法、装置
CN113643419B (zh) * 2021-06-29 2024-04-23 清华大学 一种基于深度学习的人体反向动力学求解方法
CN113591967B (zh) * 2021-07-27 2024-06-11 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113591967A (zh) * 2021-07-27 2021-11-02 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113591683A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 姿态估计方法、装置、电子设备和存储介质
CN113870215A (zh) * 2021-09-26 2021-12-31 推想医疗科技股份有限公司 中线提取方法及装置
CN113850236B (zh) * 2021-11-29 2022-04-15 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质
CN113850236A (zh) * 2021-11-29 2021-12-28 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质
CN114387614A (zh) * 2021-12-06 2022-04-22 西北大学 一种双重关键点生理关联约束的复杂人体姿态估计方法
CN114387614B (zh) * 2021-12-06 2023-09-01 西北大学 一种双重关键点生理关联约束的复杂人体姿态估计方法
CN114283495A (zh) * 2021-12-16 2022-04-05 北京航空航天大学 一种基于二值化神经网络的人体姿态估计方法
CN114283495B (zh) * 2021-12-16 2024-05-28 北京航空航天大学 一种基于二值化神经网络的人体姿态估计方法
CN114049250A (zh) * 2022-01-13 2022-02-15 广州卓腾科技有限公司 一种证件照人脸姿态矫正方法、装置及介质
CN114519666B (zh) * 2022-02-18 2023-09-19 广州方硅信息技术有限公司 直播图像矫正方法、装置、设备及存储介质
CN114519666A (zh) * 2022-02-18 2022-05-20 广州方硅信息技术有限公司 直播图像矫正方法、装置、设备及存储介质
CN114648781B (zh) * 2022-03-30 2024-04-05 桂林电子科技大学 一种人体姿态估计方法及存储介质
CN114648781A (zh) * 2022-03-30 2022-06-21 桂林电子科技大学 一种人体姿态估计方法及存储介质
CN115272992A (zh) * 2022-09-30 2022-11-01 松立控股集团股份有限公司 一种车辆姿态估计方法

Similar Documents

Publication Publication Date Title
CN111160085A (zh) 一种人体图像关键点姿态估计方法
CN112686097A (zh) 一种人体图像关键点姿态估计方法
US11556797B2 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN110443842B (zh) 基于视角融合的深度图预测方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
Amirkolaee et al. Height estimation from single aerial images using a deep convolutional encoder-decoder network
CN112149563A (zh) 一种注意力机制人体图像关键点姿态估计方法及系统
CN110443144A (zh) 一种人体图像关键点姿态估计方法
CN109816012B (zh) 一种融合上下文信息的多尺度目标检测方法
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
JP7011146B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
US20230070008A1 (en) Generating three-dimensional object models from two-dimensional images
CN106815808A (zh) 一种利用分块运算的图像拼接方法
US20240177307A1 (en) Teeth segmentation using neural networks
EP3905194A1 (en) Pose estimation method and apparatus
CN111882492A (zh) 一种图像数据自动增强的方法
Governi et al. 3D geometry reconstruction from orthographic views: A method based on 3D image processing and data fitting
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
CN114066831A (zh) 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN114332070A (zh) 一种基于智能学习网络模型压缩的陨坑检测方法
CN111311732A (zh) 3d人体网格获取方法及装置
CN115049764B (zh) Smpl参数预测模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200515