CN105869181B - 基于交互多模型的人体关节点分布式信息一致性估计方法 - Google Patents

基于交互多模型的人体关节点分布式信息一致性估计方法 Download PDF

Info

Publication number
CN105869181B
CN105869181B CN201610438132.1A CN201610438132A CN105869181B CN 105869181 B CN105869181 B CN 105869181B CN 201610438132 A CN201610438132 A CN 201610438132A CN 105869181 B CN105869181 B CN 105869181B
Authority
CN
China
Prior art keywords
model
information
human
sensor
joint points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610438132.1A
Other languages
English (en)
Other versions
CN105869181A (zh
Inventor
刘国良
田国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610438132.1A priority Critical patent/CN105869181B/zh
Publication of CN105869181A publication Critical patent/CN105869181A/zh
Application granted granted Critical
Publication of CN105869181B publication Critical patent/CN105869181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于交互多模型的人体关节点分布式信息一致性估计方法，骨架关节点位置初始化；本地传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；传感器之间对目标关节点的信息一致性估计：每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛，通过构建分布式RGBD传感器网络，利用信息一致性算法，实现了对人体关节点的分布式估计，网络中无数据融合中心，提高了系统对节点信息错误和无效的鲁棒性，较容易实现对传感器网络的扩展。

Description

基于交互多模型的人体关节点分布式信息一致性估计方法
技术领域
本发明涉及信息技术领域，具体涉及基于交互多模型的人体关节点分布式信息一致性估计方法。
背景技术
基于多个RGBD相机的人体行为识别受到研究者的广泛关注，被应用于手术室、工厂车间、汽车组装、室内监控等环境下的人体行为检测，有效解决了人体遮挡问题和可能发生的人-机器人碰撞问题，具有重要的应用价值。
目前基于多个RGBD传感器的人体行为感知还处于集中式阶段，需要一个或多个数据融合中心进行三维数据、人体骨架关节点数据的融合，对数据融合中心的计算能力和鲁棒性要求较高，对网络的不稳定性抵抗力较弱，可扩展程度低。
其中，关于交互多模型的人体关节点分布式信息一致性估计的相关技术还没有出现。
随着RGBD传感器技术的发展，其使用数量和覆盖范围会随之增大，集中式的RGBD传感器网络所需要处理和传输的信息流会爆发式增长，其在现实应用中的瓶颈会越发明显。
发明内容
为解决现有技术存在的不足，本发明公开了基于交互多模型的人体关节点分布式信息一致性估计方法，提出通过构建动态分布式RGBD传感器网络，实现对数据的分布式处理和对信息的分布式融合，网络中无集中式信息处理和融合中心，传感器节点只与邻近节点信息交换，通过有限次一致性迭代，实现基于交互多模型的人体关节点分布式信息一致性估计。
为实现上述目的，本发明的具体方案如下：
基于交互多模型的人体关节点分布式信息一致性估计方法，包括以下步骤：
骨架关节点位置初始化；
本地传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；
传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量；
每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。
进一步的，在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。
更进一步的，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。
进一步的，骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。
更进一步的，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。
进一步的，人体关节点运动模型物理约束的相关参数，包括人体肘关节和肩关节之间长度，可依据检测数据自适应升级。
进一步的，在实现对关节点状态的有效估计时是基于贝叶斯滤波器实现的。
进一步的，构建人体关节点的运动模型和观测模型，其中，对线性模型，利用线性信息滤波器估计，而对于非线性模型，利用非线性滤波器进行估计，非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。
进一步的，信息一致性估计时，具体包括的步骤为：
(1)参数初始化，检测得出人体关节点的初始位置，位置的方差依据关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率；
(2)多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差；
(3)信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态和模型概率；
(4)基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性。
另外，各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。
本发明的有益效果：
通过构建分布式RGBD传感器网络，利用信息一致性算法，实现了对人体关节点的分布式估计，网络中无数据融合中心，提高了系统对节点信息错误和无效的鲁棒性，较容易实现对传感器网络的扩展。
传感器节点只与周围邻近连接节点通讯，交换信息向量、信息矩阵和信息贡献，相较于传输原始的RGBD数据，极大的减少了数据量。
一致性算法实现了与网络中传感器节点的有效融合，间接实现了对目标的多角度观测，减少了遮挡或角度对人体关节点估计的影响，扩大了感知范围。
提出了基于交互多模型的人体关节点分布式信息一致性估计方法，以应对人体不同关节点时变的运动模式。
附图说明
图1本发明的基于动态三维RGBD传感器网络的分布式示意图；
图2分布式三维传感器网络对人体关节点的多模型估计流程图。
具体实施方式：
下面结合附图对本发明进行详细说明：
如图1所示，基于交互多模型的人体关节点分布式信息一致性估计方法，通过构建动态分布式RGBD传感器网络，实现对数据的分布式处理和对信息的分布式融合，网络中无集中式信息处理和融合中心，传感器节点只与邻近节点信息交换，通过有限次一致性迭代，实现网络内对感知目标状态的估计一致。
传感器网络通过无线通信实现信息的传输。每个传感器连接到本地处理器，可以是微型电脑或ARM开发板。本地处理器对信息处理后，通过无线与邻近节点进行网络数据交换。动态是指网络由位置静态的传感器和位置可移动的传感器组成。其中，位置移动通过将传感器放置在移动机器人上实现。分布式通过信息的分布式计算和融合来实现。
如图2所示，骨架关节点位置初始化：通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，也可利用现有工具OPENNI NITE或微软SDK直接提取关节点。为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。物理约束模型的相关参数，如人体肘关节和肩关节之间长度，可依据检测数据自适应升级。
其中，关节点深度信息是通过微软Kinect开发包或开源OpenNI驱动软件获取场景的RGB图像和深度图像。
预先学习训练的目的是为了构建关节点特征库，从而实现对待检测图像中的关节点的分类和识别。
RGBD传感器提供场景颜色和深度图像。关节点检测模块从图像中提取人体关节点。
人体关节点运动模型物理约束相关技术内容可参考论文Model-BasedReinforcement of Kinect Depth Data for Human Motion Capture Applications。
本地RGBD传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，基于贝叶斯滤波器，实现对关节点状态(位置、速度和加速度)的有效估计。人体关节点的运动存在静止、匀速、加速交替进行的多模型属性，单一运动模型不足以描述关节点动态特征，因此设计基于交互多模型的贝叶斯估计方法，对人体关节点的时变状态进行有效跟踪估计。对线性模型，可利用线性信息滤波器估计，而对于非线性模型，可利用扩展信息滤波器和基于中心差分信息滤波器等非线性滤波器进行估计。
观测模型是指滤波器系统状态与传感器观测之间的模型关系。在这里，系统状态是指关节点三维位置、速度和加速度，而传感器观测是关节点三维位置。
有效估计的具体算法可参考论文Central Difference Information Filterwith Interacting Multiple Model for Robust Maneuvering Object Tracking。
RGBD传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量，每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。具体步骤如下：
第一步是系统参数初始化，其中人体关节点的初始位置可通过OPENNI直接从RGBD相机的深度图像检测得出，位置的方差可依据OPENNI返回的关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率。
第二步是多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差。
第三步是信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态(信息向量和信息矩阵)和模型概率。
第四步是基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性，如传感器节点i和传感器节点j是相邻通讯节点，两者之间的Metroplis权重为εi,j，则在第r次迭代其信息向量信息矩阵和模型概率可由其所有相邻节点j的相应信息加权和计算得出：
第五步是各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，包括以下步骤：
骨架关节点位置初始化；
本地传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；
传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量；
每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛；
信息一致性估计时，具体包括的步骤为：
(1)参数初始化，检测得出人体关节点的初始位置，位置的方差依据关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率；
(2)多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差；
(3)信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态和模型概率；
(4)基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过信息一致性算法加权迭代实现各传感器估计状态的一致性。
2.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。
3.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。
4.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。
5.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。
6.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，人体关节点运动模型物理约束的相关参数，包括人体肘关节和肩关节之间长度，可依据检测数据自适应升级。
7.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，在实现对关节点状态的有效估计时是基于贝叶斯滤波器实现的。
8.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，构建人体关节点的运动模型和观测模型，其中，对线性模型，利用线性信息滤波器估计，而对于非线性模型，利用非线性滤波器进行估计，非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。
9.如权利要求1所述的基于交互多模型的人体关节点分布式信息一致性估计方法，其特征是，各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。
CN201610438132.1A 2016-06-16 2016-06-16 基于交互多模型的人体关节点分布式信息一致性估计方法 Active CN105869181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610438132.1A CN105869181B (zh) 2016-06-16 2016-06-16 基于交互多模型的人体关节点分布式信息一致性估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610438132.1A CN105869181B (zh) 2016-06-16 2016-06-16 基于交互多模型的人体关节点分布式信息一致性估计方法

Publications (2)

Publication Number Publication Date
CN105869181A CN105869181A (zh) 2016-08-17
CN105869181B true CN105869181B (zh) 2018-09-18

Family

ID=56650974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610438132.1A Active CN105869181B (zh) 2016-06-16 2016-06-16 基于交互多模型的人体关节点分布式信息一致性估计方法

Country Status (1)

Country Link
CN (1) CN105869181B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108594652B (zh) * 2018-03-19 2021-05-25 江苏大学 一种基于观测器信息迭代的车辆状态融合估计方法
CN109782269B (zh) * 2018-12-26 2021-04-20 北京壹氢科技有限公司 一种分布式多平台协同有源目标跟踪方法
CN111539352A (zh) * 2020-04-27 2020-08-14 支付宝(杭州)信息技术有限公司 一种判断人体关节运动方向的方法及系统
CN111667005B (zh) * 2020-06-05 2023-09-12 镇江傲游网络科技有限公司 一种采用rgbd视觉传感的人体交互系统
CN112329544A (zh) * 2020-10-13 2021-02-05 香港光云科技有限公司 基于深度信息的手势识别机器学习方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101795123A (zh) * 2010-02-10 2010-08-04 上海交通大学 分布式非线性滤波方法
CN103313386A (zh) * 2013-06-18 2013-09-18 浙江大学 基于信息一致性权值优化的无线传感网络目标跟踪方法
CN103399638A (zh) * 2013-08-08 2013-11-20 山东大学 一种在智能空间中对人体行为的理解系统及其应用
CN103458051A (zh) * 2013-09-16 2013-12-18 南京大学 体感网及基于体感网的居家行为感知方法
CN105225270A (zh) * 2015-09-28 2016-01-06 联想(北京)有限公司 一种信息处理方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
CN101795123A (zh) * 2010-02-10 2010-08-04 上海交通大学 分布式非线性滤波方法
CN103313386A (zh) * 2013-06-18 2013-09-18 浙江大学 基于信息一致性权值优化的无线传感网络目标跟踪方法
CN103399638A (zh) * 2013-08-08 2013-11-20 山东大学 一种在智能空间中对人体行为的理解系统及其应用
CN103458051A (zh) * 2013-09-16 2013-12-18 南京大学 体感网及基于体感网的居家行为感知方法
CN105225270A (zh) * 2015-09-28 2016-01-06 联想(北京)有限公司 一种信息处理方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于关节点信息的人体行为识别新方法;田国会 等;《机器人》;20140515;第36卷(第3期);全文 *
基于多特征融合的人体动作识别;田国会 等;《山东大学学报（工学版）》;20091015;第39卷(第5期);全文 *

Also Published As

Publication number Publication date
CN105869181A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN105869181B (zh) 基于交互多模型的人体关节点分布式信息一致性估计方法
Durrant-Whyte et al. Toward a fully decentralized architecture for multi-sensor data fusion
CN106127125B (zh) 基于人体行为特征的分布式dtw人体行为识别方法
Mehmood et al. Object detection mechanism based on deep learning algorithm using embedded IoT devices for smart home appliances control in CoT
CN106482736B (zh) 一种基于平方根容积卡尔曼滤波的多机器人协同定位算法
Chwa et al. Range and motion estimation of a monocular camera using static and moving objects
CN109671120A (zh) 一种基于轮式编码器的单目slam初始化方法及系统
CN108986136A (zh) 一种基于语义分割的双目场景流确定方法及系统
CN109144047B (zh) 一种基于多智能体系统的有限时间编队控制方法
CN105589333B (zh) 多智能体系统分组包围控制方法
CN109782600A (zh) 一种通过虚拟环境建立自主移动机器人导航系统的方法
CN106127119B (zh) 基于彩色图像和深度图像多特征的联合数据关联方法
CN101154289A (zh) 基于多目相机的三维人体运动跟踪的方法
CN106951083A (zh) 基于bim的vr展示方法及系统
CN110955241A (zh) 移动机器人避障方法、装置、移动机器人及存储介质
CN110728739A (zh) 一种基于视频流的虚拟人控制与交互方法
CN108805987A (zh) 基于深度学习的混合跟踪方法及装置
CN106507275B (zh) 一种无线传感器网络的鲁棒分布式滤波方法和装置
Li et al. Depth camera based remote three-dimensional reconstruction using incremental point cloud compression
Kim et al. Recursive estimation of motion and a scene model with a two-camera system of divergent view
CN109931940A (zh) 一种基于单目视觉的机器人定位置信度评估方法
CN109409309A (zh) 一种基于人体检测的智能报警系统和方法
KR20220058846A (ko) 로봇 포지셔닝 방법 및 장치, 기기, 저장 매체
CN106096565A (zh) 基于传感网络的移动机器人与静态传感器的任务协作方法
CN109782755B (zh) 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant