CN112131928A - 一种rgb-d图像特征融合的人体姿态实时估计方法 - Google Patents
一种rgb-d图像特征融合的人体姿态实时估计方法 Download PDFInfo
- Publication number
- CN112131928A CN112131928A CN202010771908.8A CN202010771908A CN112131928A CN 112131928 A CN112131928 A CN 112131928A CN 202010771908 A CN202010771908 A CN 202010771908A CN 112131928 A CN112131928 A CN 112131928A
- Authority
- CN
- China
- Prior art keywords
- human body
- joint point
- human
- covariance
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000005259 measurement Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 9
- 210000003423 ankle Anatomy 0.000 claims description 8
- 210000003127 knee Anatomy 0.000 claims description 8
- 210000000707 wrist Anatomy 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
一种RGB‑D图像特征融合的人体姿态实时估计方法,该方法采用基于事件触发的方法以得到深度和彩色图像的人体姿态融合估计。本发明通过融合彩色和深度图像特征,有效地减少了对手持工具的误识别,提高了对光照变化的鲁棒性;同时,针对人体关节点运动建模困难的问题,利用BP神经网络进行人体关节点运动建模,降低了各关节点运动模型的不确定性,有效地提高了人体姿态估计的精确度和鲁棒性。
Description
技术领域
本发明属于人体姿态估计领域,尤其是一种RGB-D图像特征融合的人体姿态实时估计方法。
背景技术
人体姿态估计在人机交互、视频监视、辅助驾驶、医疗运动分析以及游戏体育等领域有着广泛的应用,尤其是在人机交互领域,人体姿态估计作为人体动作行为识别的基础,对机器人能否可以识别人类的行为动作,以及完成动作模仿或做出响应动作发挥至关重要的作用。
近年来,随着深度学习的崛起,基于彩色图像的人体姿态估计技术的研发已经从传统的目标跟踪方法转向基于深度学习的目标跟踪方法。利用卷积神经网络(CNN)方法可有效地从彩色图像中提取出2D人体姿态信息,而不需要事先建立人体运动模型以及特征表征。然而,由于单目相机具有一些固有的缺陷,如易受光照影响、缺少空间立体信息等,使得现有的方法很难从彩色图像中重建出3D人体姿态,且对环境的光照提出了较高的要求。随着深度传感器技术的发展,为人体姿态估计这一领域的发展提供了新的动力。深度传感器与单目视觉传感器之间具有良好的互补性,使用深度信息可便捷地实现背景分离,再利用随机森林等方法将各个关节进行分类,即可有效、快速地估计出3D人体姿态。然而,由于深度图像缺少纹理、色彩等图像特征,导致该方法可能将手持工具误识别为人体的一部分。目前,还没有技术能够鲁棒、实时地融合深度和彩色图像特征信息解决复杂作业场景下的人体姿态估计问题。
发明内容
为了克服基于深度图像的人体姿态估计方法存在的手持工具误识别以及基于彩色图像的人体姿态估计方法易受光照变化影响、鲁棒性差的缺点,本发明提供一种RGB-D图像特征融合的人体姿态实时估计方法;同时,利用BP神经网络进行人体关节点运动建模,降低了各关节点运动模型的不确定性,有效地提高了人体姿态估计的精确度和鲁棒性。
本发明解决其技术问题所采用的技术方案是:
一种RGB-D图像特征融合的人体姿态实时估计方法,所述方法包括以下步骤:
步骤1)获取人体姿态信息样本作为训练集,构建神经网络模型,以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入,t时刻的人体关节点i的位置yi,t作为网络的期望输出,对神经网络进行训练,得到各关节点运动学模型的函数fi(·);
执行步骤1)–6),实现RGB-D图像特征融合的人体姿态实时估计。
进一步,在所述步骤1)中,所述的t=1,2,3,...为采样离散时间序列;所述的i=1,2,3,…,n,表示人体各关节点的序列,包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝,n为人体姿态估计所需关节点的数目,共14个。
在所述步骤1)中,所述的神经网络为BP神经网络,采用反向传播算法的随机梯度下降进行神经网络训练。
在所述步骤6)中,获取基于彩色图像的人体各关节点位置的量测值的采样时间长于深度图像。
本发明的有益效果主要表现在:提供一种RGB-D图像特征融合的人体姿态实时估计方法。针对基于彩色图像的人体姿态估计检测周期长、实时性差、易受光照环境影响的问题,以及针对基于深度图像的人体姿态估计存在的误识别问题,采用基于事件触发的方法以得到深度和彩色图像的人体姿态融合估计,有效地减少了对手持工具的误识别,提高了对光照变化的鲁棒性;同时,针对人体关节点运动建模困难的问题,利用BP神经网络进行人体关节点运动建模,降低了各关节点运动模型的不确定性,有效地提高了人体姿态估计的精确度和鲁棒性。
附图说明
图1是用于描述人体姿态的骨骼关节点示意图,其中,0表示头部,1表示肩部中心,2表示左肩,3表示左肘部,4表示左手腕,5表示右肩,6表示右肘部,7表示右手腕,8表示左髋,9表示左膝,10表示左脚踝,11表示右髋,12表示右膝,13表示右脚踝。
图2是的人体姿态估计流程图。
图3是的人体姿态估计时序图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1、图2和图3,一种RGB-D图像特征融合的人体姿态实时估计方法,所述方法包括以下步骤:
步骤1)获取人体姿态信息样本作为训练集,构建神经网络模型,以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入,t时刻的人体关节点i的位置yi,t作为网络的期望输出,对神经网络进行训练,得到各关节点运动学模型的函数fi(·);
执行步骤1)–6),实现RGB-D图像特征融合的人体姿态实时估计。
如图1的人体骨骼关节点示意图所示,从彩色图像和深度图像获取的人体骨骼的14个关节点,包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝。
人体姿态估计的流程图如图2所示。
以采样t-1时刻的人体关节点位置yi,t-1作为网络的输入ui,t,t时刻的人体关节点位置作为网络的期望输出yi,t,通过对人体各关节点位置的样本进行神经网络训练,获取各关节点运动学模型的函数fi(·):
其中,i=1,2,…,n为人体关节点的序号;t=1,2…为采样的离散时间序列;为采样t-1时刻关节点i的状态信息, 分别表示关节点i在深度传感器坐标系下x,y,z轴上的值,为神经网络的输入;为神经网络输出的关节点i的状态信息,分别表示关节点i在深度传感器坐标系下x,y,z轴上的值;fi(uit,Wi,bi)为训练好的神经网络函数;为第l层的激活函数;Wi (l)和bi (l)为第l层的权重;神经网络共L层。
建立人体关节点的运动学模型和基于彩色图像和深度图像的量测模型如下:
xi,k=fi(xi,k-1)+wi,k-1 (2)
其中,k=1,2,…为离散时间序列;为关节点i的状态信息,分别表示关节点i在深度传感器坐标系下x,y,z轴上的值;fi(·)为关节点i从k-1到k时刻的状态转移函数,为神经网络训练后各关节点运动学模型的函数;wi,k-1是均值为0且协方差为Qi,k的高斯白噪声。为关节点i从彩色图像中获取的量测信息,分别表示关节点i转换到深度传感器坐标系下的x,y,z轴上的值;为关节点i从深度图像中获取的量测信息, 分别表示关节点i在深度传感器坐标系下x,y,z轴上的值;和分别是均值为0且协方差为和的高斯白噪声。
采用融合彩色和深度图像特征的人体姿态实时估计方法。首先,确定人体关节点的初始状态值及其协方差Pi,0|0;其次,根据公式(5)-(7)计算各关节点的fi(·)的雅克比矩阵,状态预测值及其协方差Pi,k|k-1;
Pi,k|k-1=ΦPi,k-1|k-1ΦT+Qi,k (7)
执行上述步骤,实现RGB-D图像特征融合的人体姿态实时估计。
Claims (10)
1.一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:所述方法包括以下步骤:
步骤1)获取人体姿态信息样本作为训练集,构建神经网络模型,以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入,t时刻的人体关节点i的位置yi,t作为网络的期望输出,对神经网络进行训练,得到各关节点运动学模型的函数fi(·);
执行步骤1)–6),实现RGB-D图像特征融合的人体姿态实时估计。
2.如权利要求1所述的一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:在所述步骤1)中,所述的t=1,2,…为采样离散时间序列;所述的i=1,2,…,n,表示人体各关节点的序列,包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝,n为人体姿态估计所需关节点的数目,共14个。
3.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:在所述步骤1)中,所述的神经网络为BP神经网络,采用反向传播算法的随机梯度下降进行神经网络训练。
7.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:在所述步骤6)中,获取基于彩色图像的人体各关节点位置的量测值的采样时间长于深度图像。
8.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:所述步骤1)中,以采样t-1时刻的人体关节点位置yi,t-1作为网络的输入ui,t,t时刻的人体关节点位置作为网络的期望输出yi,t,通过对人体各关节点位置的样本进行神经网络训练,获取各关节点运动学模型的函数fi(·):
9.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法,其特征在于:所述步骤2)中,建立人体关节点的运动学模型和基于彩色图像和深度图像的量测模型如下:
xi,k=fi(xi,k-1)+wi,k-1 (2)
Pi,k|k-1=ΦPi,k-1|k-1ΦT+Qi,k (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010771908.8A CN112131928B (zh) | 2020-08-04 | 2020-08-04 | 一种rgb-d图像特征融合的人体姿态实时估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010771908.8A CN112131928B (zh) | 2020-08-04 | 2020-08-04 | 一种rgb-d图像特征融合的人体姿态实时估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131928A true CN112131928A (zh) | 2020-12-25 |
CN112131928B CN112131928B (zh) | 2024-06-18 |
Family
ID=73851278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010771908.8A Active CN112131928B (zh) | 2020-08-04 | 2020-08-04 | 一种rgb-d图像特征融合的人体姿态实时估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131928B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326835A (zh) * | 2021-08-04 | 2021-08-31 | 中国科学院深圳先进技术研究院 | 一种动作检测方法、装置、终端设备和存储介质 |
CN113633281A (zh) * | 2021-08-25 | 2021-11-12 | 北京航空航天大学 | 一种在装配维修过程中对人体姿态的评估方法与系统 |
CN113743341A (zh) * | 2021-09-09 | 2021-12-03 | 浙江工业大学 | 一种基于自适应模型的人体姿态实时估计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN111222437A (zh) * | 2019-12-31 | 2020-06-02 | 浙江工业大学 | 一种基于多深度图像特征融合的人体姿态估计方法 |
CN111241936A (zh) * | 2019-12-31 | 2020-06-05 | 浙江工业大学 | 一种基于深度和彩色图像特征融合的人体姿态估计方法 |
-
2020
- 2020-08-04 CN CN202010771908.8A patent/CN112131928B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
CN111222437A (zh) * | 2019-12-31 | 2020-06-02 | 浙江工业大学 | 一种基于多深度图像特征融合的人体姿态估计方法 |
CN111241936A (zh) * | 2019-12-31 | 2020-06-05 | 浙江工业大学 | 一种基于深度和彩色图像特征融合的人体姿态估计方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326835A (zh) * | 2021-08-04 | 2021-08-31 | 中国科学院深圳先进技术研究院 | 一种动作检测方法、装置、终端设备和存储介质 |
CN113326835B (zh) * | 2021-08-04 | 2021-10-29 | 中国科学院深圳先进技术研究院 | 一种动作检测方法、装置、终端设备和存储介质 |
WO2023010758A1 (zh) * | 2021-08-04 | 2023-02-09 | 中国科学院深圳先进技术研究院 | 一种动作检测方法、装置、终端设备和存储介质 |
CN113633281A (zh) * | 2021-08-25 | 2021-11-12 | 北京航空航天大学 | 一种在装配维修过程中对人体姿态的评估方法与系统 |
CN113743341A (zh) * | 2021-09-09 | 2021-12-03 | 浙江工业大学 | 一种基于自适应模型的人体姿态实时估计方法 |
CN113743341B (zh) * | 2021-09-09 | 2024-02-02 | 浙江工业大学 | 一种基于自适应模型的人体姿态实时估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112131928B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131928B (zh) | 一种rgb-d图像特征融合的人体姿态实时估计方法 | |
EP1870038B1 (en) | Motion capture apparatus and method, and motion capture program | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
CN111259735B (zh) | 基于多级预测特征增强卷积神经网络的单人姿态估计方法 | |
CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
CN111160162B (zh) | 一种级联的驾驶员人体姿态估计方法 | |
US20200279102A1 (en) | Movement monitoring system | |
JP6166297B2 (ja) | 姿勢推定装置 | |
CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
CN113158459A (zh) | 一种基于视觉和惯性信息融合的人体姿态估计方法 | |
CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
CN112446253B (zh) | 一种骨架行为识别方法及装置 | |
Beth et al. | Characteristics in human motion–from acquisition to analysis | |
CN116152928A (zh) | 基于轻量级人体姿态估计模型的防溺水预警方法和系统 | |
CN111241936A (zh) | 一种基于深度和彩色图像特征融合的人体姿态估计方法 | |
CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
CN113516232A (zh) | 一种基于自注意力机制的神经网络模型的训练方法 | |
JP2002218449A (ja) | 移動物体追跡装置 | |
TWI812053B (zh) | 定位方法、電子設備及電腦可讀儲存媒體 | |
Abd Shattar et al. | Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement | |
CN115050095A (zh) | 一种基于高斯过程回归和渐进滤波的人体姿态预测方法 | |
JP5061808B2 (ja) | 感情判定方法 | |
CN113743341B (zh) | 一种基于自适应模型的人体姿态实时估计方法 | |
CN113255462A (zh) | 步态评分方法、系统、计算机程序产品及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |