CN111241936A - 一种基于深度和彩色图像特征融合的人体姿态估计方法 - Google Patents

一种基于深度和彩色图像特征融合的人体姿态估计方法 Download PDF

Info

Publication number
CN111241936A
CN111241936A CN201911403496.6A CN201911403496A CN111241936A CN 111241936 A CN111241936 A CN 111241936A CN 201911403496 A CN201911403496 A CN 201911403496A CN 111241936 A CN111241936 A CN 111241936A
Authority
CN
China
Prior art keywords
human body
depth
joint
color image
covariance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911403496.6A
Other languages
English (en)
Inventor
杨旭升
谢长值
贾晓凌
张文安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911403496.6A priority Critical patent/CN111241936A/zh
Publication of CN111241936A publication Critical patent/CN111241936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于深度和彩色图像特征融合的人体姿态估计方法，该方法采用基于提升技术的分布式融合方法，解决了基于深度和彩色图像的人体姿态融合估计问题。通过融合深度和彩色图像信息，有效地减少了对手持物的误识别，同时提高了对光照变化的鲁棒性。本发明提供一种基于深度和彩色图像特征融合的人体姿态估计方法，有效地提高了人体姿态估计的精确度和鲁棒性。

Description

一种基于深度和彩色图像特征融合的人体姿态估计方法
技术领域
本发明属于人体姿态估计领域，尤其是一种基于深度和彩色图像特征融合的人体姿态估计方法。
背景技术
人体姿态估计在人机交互、行为识别、视频监视以及体育游戏等领域中有着重要的应用价值。特别的，随着人工智能、3D视觉等技术的发展，人机姿态估计技术被应用于工业、农业生产等领域，例如，用于保障人机协作过程中人的安全问题，用于记录和分析专业技术人员的技能等。
3D视觉传感器的出现为人体姿态估计提供了重要的解决途径，即利用深度信息可快速进行前景和背景分割，进而应用随机森林方法对人体骨架关节点进行准确提取，以输出3D人体姿态信息。由于该方法具有技术成熟、计算量小等特点，已成功应用于在体育、游戏、娱乐、教育等领域。然而，随着工业、农业生产等领域需求的增加，现有的人体姿态估计技术已不能满足工农业生产的要求。工农业生产的最主要特征为，人将不可避免地使用生产工具，人与机器人将在同一空间进行作业。这样，仅依赖于深度图像很难区别人体与手持工具，将可能导致手持工具误认为是人体的一部分。另一方面，基于彩色图像的人体姿态估计方法主要是使用深度学习的方法，利用深度神经网络计算出人体关节点，具有精度较高，稳定性好等特点。然而，彩色图像容易受光照变化的影响，使得在过度曝光或光照不足的情况下人体关节点识别误差增大甚至无法识别。同时，由于深度学习算法往往计算量很大，基于彩色图像的人体姿态估计相比基于深度图像的要存在更大的延时，输出频率更低。目前，还没有技术能够鲁棒、实时地融合深度和彩色图像特征信息解决复杂作业场景下的人体姿态估计问题。
发明内容
为了克服基于深度图像的人体姿态估计方法对手持工具等鲁棒性差以及基于彩色图像的人体姿态估计方法易受光照变化影响的缺点，本发明提供一种基于深度和彩色图像特征融合的人体姿态估计方法，采用基于提升技术的分布式状态融合，有效地提高了人体姿态估计的精确度和鲁棒性。
本发明解决其技术问题所采用的技术方案是：
一种基于深度和彩色图像特征融合的人体姿态估计方法，所述方法包括以下步骤：
步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差Qi,k、量测噪声协方差
Figure BDA0002348028880000021
和
Figure BDA0002348028880000022
等参数，以及人体关节点的初始状态
Figure BDA0002348028880000023
Figure BDA0002348028880000024
设置深度图像的姿态量测输出频率是彩色图像的2倍；
步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值
Figure BDA0002348028880000025
及其协方差
Figure BDA0002348028880000026
从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值
Figure BDA0002348028880000031
及其协方差
Figure BDA0002348028880000032
步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算彩色图像下的状态估计值
Figure BDA0002348028880000033
及其协方差
Figure BDA0002348028880000034
接着计算其状态预测值
Figure BDA0002348028880000035
及其协方差
Figure BDA0002348028880000036
否则，计算其状态预测值
Figure BDA0002348028880000037
及其协方差
Figure BDA0002348028880000038
步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值
Figure BDA0002348028880000039
及其协方差
Figure BDA00023480288800000310
重复执行步骤2)-4)完成对人体各关节点的状态估计，得出基于深度和彩色图像特征融合的人体姿态估计。
进一步，在所述步骤1)中，所述的i表示人体各关节点的标号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。
在所述步骤1)中，所述的
Figure BDA00023480288800000311
和
Figure BDA00023480288800000312
为基于深度图像的人体姿态估计初始状态，
Figure BDA00023480288800000313
和
Figure BDA00023480288800000314
为基于彩色图像的人体姿态估计初始状态。
在所述步骤1)中，所述的人体各关节点状态为在3D视觉传感器的深度相机坐标系下x，y，z轴坐标信息。
所述步骤2)中，所述的读取到的人体各关节点位置信息，利用随机森林方法实现人体部位识别的基础上，计算得出人体各关节点的位置信息。
所述步骤3)中，所述的基于彩色图像的人体姿态输出，即通过深度神经网络实现2D彩色图像中人体姿态的估计，然后在深度和彩色图像配准的基础上，计算得出深度相机坐标系下人体各关节点的位置信息。
本发明的有益效果主要表现在：提供一种基于深度和彩色图像特征融合的人体姿态估计方法，针对基于彩色图像的人体姿态信息输出具有周期长、延时大的特点，采用基于提升技术的分布式融合方法以得到基于深度和彩色图像的人体姿态融合估计，有效地减少了对手持物的误识别，提高了对光照变化的鲁棒性。
附图说明
图1是用于描述人体姿态的关节点示意图。
图2是基于深度和彩色图像特征融合的人体姿态估计流程图。
图3是基于深度和彩色图像的人体姿态融合估计时序图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1、图2和图3，一种基于深度和彩色图像融合的人体姿态估计方法，所述方法包括以下步骤：
步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差Qi,k、量测噪声协方差
Figure BDA0002348028880000041
和
Figure BDA0002348028880000042
等参数，以及人体关节点的初始状态
Figure BDA0002348028880000043
Figure BDA0002348028880000044
设置深度图像的姿态量测输出频率是彩色图像的2倍；
步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值
Figure BDA0002348028880000045
及其协方差
Figure BDA0002348028880000046
从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值
Figure BDA0002348028880000051
及其协方差
Figure BDA0002348028880000052
步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算基于彩色图像的状态估计值
Figure BDA0002348028880000053
及其协方差
Figure BDA0002348028880000054
接着计算其状态预测值
Figure BDA0002348028880000055
及其协方差
Figure BDA0002348028880000056
否则，计算其状态预测值
Figure BDA0002348028880000057
及其协方差
Figure BDA0002348028880000058
步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值
Figure BDA0002348028880000059
及其协方差
Figure BDA00023480288800000510
重复执行步骤2)-4)完成对人体的各关节点状态进行估计，得出基于深度和彩色图像特征融合的人体姿态估计。
如图1所示，其描述了人体各关节点以及各关节点的序号。由于不同人体姿态估计方法估计的关节点存在差异，因此选取基于深度图像和基于彩色图像两种人体姿态估计方法共同能识别的15个人体关节点，包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节。基于深度和彩色图像特征融合的人体姿态估计流程图如图2所示。首先，建立人体各关节点的运动学模型和量测模型如下：
xi,k＝xi,k-1+wi,k (1)
Figure BDA00023480288800000511
Figure BDA00023480288800000512
其中，k＝1，2，…为离散时间序列，
Figure BDA00023480288800000513
为人体关节点i的状态，i＝1,2,...,n为人体各关节点的序号，n＝15，
Figure BDA00023480288800000514
和
Figure BDA00023480288800000515
分别为关节i在深度相机坐标系下的x，y，z轴坐标值，wi,k为零均值且协方差为Qi,k的高斯白噪声；
Figure BDA0002348028880000061
为深度图像下的人体关节点i量测值，
Figure BDA0002348028880000062
分别为基于深度图像得到的关节i在深度相机坐标系下的x，y，z轴坐标值；
Figure BDA0002348028880000063
为彩色图像下的人体关节点i的量测值，
Figure BDA0002348028880000064
分别为基于彩色图像得到的关节i在深度相机坐标系下的x，y，z轴坐标值，
Figure BDA0002348028880000065
和
Figure BDA0002348028880000066
分别为零均值且协方差
Figure BDA0002348028880000067
和
Figure BDA0002348028880000068
的高斯白噪声；
Figure BDA0002348028880000069
和
Figure BDA00023480288800000610
分别为人体关节点i在深度和彩色图像下的初始状态；如图3所示，设置深度图像的姿态量测输出频率是彩色图像的2倍，且彩色图像的人体姿态量测输出相较于深度图像存在一个采样周期的延时；
其次，根据人体各关节点的运动学模型以及上一时刻的状态估计值
Figure BDA00023480288800000611
和
Figure BDA00023480288800000612
分别计算k时刻深度图像下的关节点i的状态预测值
Figure BDA00023480288800000613
及其协方差
Figure BDA00023480288800000614
Figure BDA00023480288800000615
Figure BDA00023480288800000616
从深度图像中读取人体各关节点位置
Figure BDA00023480288800000617
分别计算人体关节点i的状态估计值
Figure BDA00023480288800000618
及其协方差
Figure BDA00023480288800000619
Figure BDA00023480288800000620
Figure BDA00023480288800000621
其中，
Figure BDA00023480288800000622
再次，判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则读取人体各关节点的量测值
Figure BDA0002348028880000071
并根据上一时刻的状态预测值
Figure BDA0002348028880000072
和
Figure BDA0002348028880000073
分别计算彩色图像下的关节点i状态估计值
Figure BDA0002348028880000074
及其协方差
Figure BDA0002348028880000075
Figure BDA0002348028880000076
Figure BDA0002348028880000077
其中，
Figure BDA0002348028880000078
紧接着，计算k时刻其状态预测值
Figure BDA0002348028880000079
及其协方差
Figure BDA00023480288800000710
Figure BDA00023480288800000711
Figure BDA00023480288800000712
若没有基于彩色图像的人体姿态信息输出，则直接计算其状态预测值
Figure BDA00023480288800000713
及其协方差
Figure BDA00023480288800000714
Figure BDA00023480288800000715
Figure BDA00023480288800000716
最后，采用分布式融合的方法得到人体关节点状态的融合估计。对于k时刻有彩色图像人体姿态信息输出的情况，人体各关节点状态的融合估计
Figure BDA00023480288800000717
及其协方差
Figure BDA00023480288800000718
可计算如下：
Figure BDA00023480288800000719
Figure BDA00023480288800000720
否则，k时刻人体各关节点状态的融合估计值
Figure BDA00023480288800000721
及其协方差
Figure BDA00023480288800000722
计算如下：
Figure BDA0002348028880000081
Figure BDA0002348028880000082
重复执行以上步骤，完成人体所有关节点的状态估计，进而进入k+1时刻人体各关节点的状态估计。

Claims (6)

1.一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于，所述方法包括以下步骤：
步骤1)分别建立人体各关节点运动学模型，以及基于深度图像和彩色图像的量测模型，确定各自的过程噪声协方差Qi,k、量测噪声协方差
Figure FDA0002348028870000011
和
Figure FDA0002348028870000012
等参数，以及人体关节点的初始状态
Figure FDA0002348028870000013
Figure FDA0002348028870000014
设置深度图像的姿态量测输出频率是彩色图像的2倍；
步骤2)根据人体各关节点的运动学模型，分别计算k时刻基于深度图像信息的人体关节点i的状态预测值
Figure FDA0002348028870000015
及其协方差
Figure FDA0002348028870000016
从深度图像中读取人体各关节点位置信息，分别计算人体关节点i的状态估计值
Figure FDA0002348028870000017
及其协方差
Figure FDA0002348028870000018
步骤3)判断是否有基于彩色图像的人体姿态输出，若有人体姿态信息输出，则分别计算彩色图像下的状态估计值
Figure FDA0002348028870000019
及其协方差
Figure FDA00023480288700000110
接着计算其状态预测值
Figure FDA00023480288700000111
及其协方差
Figure FDA00023480288700000112
否则，计算其状态预测值
Figure FDA00023480288700000113
及其协方差
Figure FDA00023480288700000114
步骤4)融合基于深度和彩色图像的人体各节点状态估计结果，计算k时刻人体各关节点的融合状态估计值
Figure FDA00023480288700000115
及其协方差
Figure FDA00023480288700000116
重复执行步骤2)-4)完成对人体的各关节点状态进行估计，得出基于深度和彩色图像特征融合的人体姿态估计。
2.如权利要求1所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤1)中，所述的i表示人体各关节点的序号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。
3.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：在所述步骤1)中，所述的
Figure FDA0002348028870000021
为基于深度图像的人体姿态估计初始状态，
Figure FDA0002348028870000022
为基于彩色图像的人体姿态估计初始状态。
4.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤1)中，所述的人体各关节点状态为在3D视觉传感器的深度相机坐标系下x，y，z轴坐标信息。
5.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤2)中，所述的读取到的人体各关节点位置信息，利用随机森林方法实现人体部位识别的基础上，计算得出人体各关节点的位置信息。
6.如权利要求1或2所述的一种基于深度和彩色图像特征融合的人体姿态估计方法，其特征在于：所述步骤3)中，所述的基于彩色图像的人体姿态输出，即通过深度神经网络实现2D彩色图像中人体姿态估计，然后在深度和彩色图像配准的基础上，计算得出深度相机坐标系下人体各关节点的位置信息。
CN201911403496.6A 2019-12-31 2019-12-31 一种基于深度和彩色图像特征融合的人体姿态估计方法 Pending CN111241936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403496.6A CN111241936A (zh) 2019-12-31 2019-12-31 一种基于深度和彩色图像特征融合的人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403496.6A CN111241936A (zh) 2019-12-31 2019-12-31 一种基于深度和彩色图像特征融合的人体姿态估计方法

Publications (1)

Publication Number Publication Date
CN111241936A true CN111241936A (zh) 2020-06-05

Family

ID=70866623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403496.6A Pending CN111241936A (zh) 2019-12-31 2019-12-31 一种基于深度和彩色图像特征融合的人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN111241936A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法
CN113743341A (zh) * 2021-09-09 2021-12-03 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258172A (zh) * 1998-12-22 2000-06-28 三星电子株式会社 视频信号处理系统中的色度信号处理装置
CN106127119A (zh) * 2016-06-16 2016-11-16 山东大学 基于彩色图像和深度图像多特征的联合数据关联方法
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN110175566A (zh) * 2019-05-27 2019-08-27 大连理工大学 一种基于rgbd融合网络的手部姿态估计系统及方法
CN110530365A (zh) * 2019-08-05 2019-12-03 浙江工业大学 一种基于自适应卡尔曼滤波的人体姿态估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258172A (zh) * 1998-12-22 2000-06-28 三星电子株式会社 视频信号处理系统中的色度信号处理装置
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
CN106127119A (zh) * 2016-06-16 2016-11-16 山东大学 基于彩色图像和深度图像多特征的联合数据关联方法
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN110175566A (zh) * 2019-05-27 2019-08-27 大连理工大学 一种基于rgbd融合网络的手部姿态估计系统及方法
CN110530365A (zh) * 2019-08-05 2019-12-03 浙江工业大学 一种基于自适应卡尔曼滤波的人体姿态估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
唐心宇，宋爱国: "人体姿态估计及在康复训练情景交互中的应用" *
张鋆豪等: "基于可穿戴式惯性传感器的人体运动跟踪方法综述" *
李成龙;钟凡;马昕;秦学英;: "基于卡尔曼滤波和随机回归森林的实时头部姿态估计" *
杨旭升等: "基于多传感器分布式融合的异构机器人协作定位" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法
CN112131928B (zh) * 2020-08-04 2024-06-18 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法
CN113743341A (zh) * 2021-09-09 2021-12-03 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法
CN113743341B (zh) * 2021-09-09 2024-02-02 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法

Similar Documents

Publication Publication Date Title
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN110530365B (zh) 一种基于自适应卡尔曼滤波的人体姿态估计方法
CN110097024A (zh) 一种移乘搬运护理机器人的人体姿态视觉识别方法
CN110686677A (zh) 一种基于几何信息的全局定位方法
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN104751111B (zh) 识别视频中人体行为的方法和系统
CN112131928B (zh) 一种rgb-d图像特征融合的人体姿态实时估计方法
CN109159113A (zh) 一种基于视觉推理的机器人作业方法
CN108549878A (zh) 基于深度信息的手部检测方法及系统
CN111241936A (zh) 一种基于深度和彩色图像特征融合的人体姿态估计方法
CN110286749A (zh) 基于深度数据的手部姿势估计和追踪方法
CN111178170A (zh) 一种手势识别方法和一种电子设备
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
CN109931940B (zh) 一种基于单目视觉的机器人定位置信度评估方法
CN110334609A (zh) 一种智能实时体感捕捉方法
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
CN112347974A (zh) 人体头部姿态估计算法及操作员工作状态识别系统
Weinrich et al. Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots
Fan et al. Pose estimation of human body based on silhouette images
Arowolo et al. Development of a human posture recognition system for surveillance application
CN111222437A (zh) 一种基于多深度图像特征融合的人体姿态估计方法
CN115205750A (zh) 基于深度学习模型的运动实时计数方法和系统
Frigola et al. Visual human machine interface by gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination