CN106127119A - 基于彩色图像和深度图像多特征的联合数据关联方法 - Google Patents

Abstract

本发明公开了基于彩色图像和深度图像多特征的联合数据关联方法，采用联合数据概率关联算法本地传感器节点对跟踪目标和目标观测之间进行第一次数据关联；基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小。本发明能提高JPDA算法估计精度和执行效率。

Description

基于彩色图像和深度图像多特征的联合数据关联方法

技术领域

本发明涉及信息技术领域，具体涉及基于彩色图像和深度图像多特征的联合数据关联方法。

背景技术

基于多个RGBD相机的人体行为识别受到研究者的广泛关注，被应用于手术室、工厂车间、汽车组装、室内监控等环境下的人体行为检测，有效解决了人体遮挡问题和可能发生的人-机器人碰撞问题，具有重要的应用价值。

目前基于多个RGBD传感器的人体行为感知还处于集中式阶段，需要一个或多个数据融合中心进行三维数据、人体骨架关节点数据的融合，对数据融合中心的计算能力和鲁棒性要求较高，对网络的不稳定性抵抗力较弱，可扩展程度低。

当场景中存在多个人体目标时，需要解决多个人体目标和传感器感知到的人体骨架观测信息之间的对应问题，即数据关联问题。

其中，关于基于彩色图像和深度图像多特征的联合数据关联的相关技术还没有出现。

随着RGBD传感器技术的发展，其使用数量和覆盖范围会随之增大，集中式的RGBD传感器网络所需要处理和传输的信息流会爆发式增长，其在现实应用中的瓶颈会越发明显。

发明内容

为解决现有技术存在的不足，本发明公开了基于彩色图像和深度图像多特征的联合数据关联方法，以提高JPDA算法估计精度和执行效率。

为实现上述目的，本发明的具体方案如下：

基于彩色图像和深度图像多特征的联合数据关联方法，包括以下步骤：

采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行第一次数据关联；

基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；

各传感器之间交换关节点估计信息，通过一致性算法加权迭代实现各传感器估计状态的一致性；

其中，在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小。

进一步的，基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果的步骤。

进一步的，分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各传感器数据关联结果的融合。

进一步的，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})<{\mathrm{\&gamma;}}_z,d(h_c,{\hat{h}}_c)<{\mathrm{\&gamma;}}_c,d(h_d,{\hat{h}}_d)<{\mathrm{\&gamma;}}_d,$

其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差，和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。

进一步的，关节点的马氏距离定义如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

(x_i,x_j)和(P_i,P_j)是人体关节点分别在传感器i和传感器j上的估计状态和方差。

进一步的，在实现第一次数据关联之前还包括骨架关节点位置初始化的步骤。

进一步的，在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。

更进一步的，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。

进一步的，骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。

更进一步的，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。

进一步的，人体关节点运动模型物理约束的相关参数，包括人体肘关节和肩关节之间长度，可依据检测数据自适应升级。

进一步的，多模型包括构建人体关节点的运动模型和观测模型，其中，对线性模型，利用线性信息滤波器估计，而对于非线性模型，利用非线性滤波器进行估计，非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。

本发明的有益效果：

本发明提出了基于彩色图像和深度图像多特征的联合数据关联方法，以提高JPDA算法估计精度和执行效率。

本发明通过构建分布式RGBD传感器网络，利用信息一致性算法，实现了对人体关节点的分布式估计，网络中无数据融合中心，提高了系统对节点信息错误和无效的鲁棒性，较容易实现对传感器网络的扩展。

传感器节点只与周围邻近连接节点通讯，交换信息向量、信息矩阵和信息贡献，相较于传输原始的RGBD数据，极大的减少了数据量。

一致性算法实现了与网络中传感器节点的有效融合，间接实现了对目标的多角度观测，减少了遮挡或角度对人体关节点估计的影响，扩大了感知范围。

提出了基于彩色图像和深度图像多特征的联合数据关联方法，以应对人体不同关节点时变的运动模式。

附图说明

图1本发明的基于动态三维RGBD传感器网络的分布式示意图；

图2本发明的分布式三维传感器网络对人体关节点的多模型估计流程图；

图3本发明的分布式多人体目标关节点跟踪算法流程。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图3所示，基于彩色图像和深度图像多特征的联合数据关联方法，该方法针对多目标跟踪，包括：

系统参数初始化；

多模型交互；

基于线性信息滤波器的JPDA及基于中心差分信息滤波器的JPDA；

发送本地信息给临近传感器节点；

接收临近传感器节点信息；

基于马氏距离的数据关联；

分布式信息一致性算法实现多模型结果融合。

分布式信息一致性估计时，具体为：

通过构建动态分布式RGBD传感器网络，实现对数据的分布式处理和对信息的分布式融合，网络中无集中式信息处理和融合中心，传感器节点只与邻近节点信息交换，通过有限次一致性迭代，实现网络内对感知目标状态的估计一致。

传感器网络通过无线通信实现信息的传输。每个传感器连接到本地处理器，可以是微型电脑或ARM开发板。本地处理器对信息处理后，通过无线与邻近节点进行网络数据交换。动态网络是指由位置静态的传感器和位置可移动的传感器组成的网络。其中，位置移动通过将传感器放置在移动机器人上实现。分布式具体是指信息的分布式计算和融合。

分布式三维传感器网络对人体关节点的多模型估计流程图如图2所示，该流程只针对单一目标，具体包括：骨架关节点位置初始化：通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，也可利用现有工具OPENNI NITE或微软SDK直接提取关节点。为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。物理约束模型的相关参数，如人体肘关节和肩关节之间长度，可依据检测数据自适应升级。

其中，关节点深度信息是通过微软Kinect开发包或开源OpenNI驱动软件获取场景的RGB图像和深度图像。

预先学习训练的目的是为了构建关节点特征库，从而实现对待检测图像中的关节点的分类和识别。

RGBD传感器提供场景颜色和深度图像。关节点检测模块从图像中提取人体关节点。

人体关节点运动模型物理约束相关技术内容可参考论文Model-BasedReinforcement of Kinect Depth Data for Human Motion Capture Applications。

本地RGBD传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，基于贝叶斯滤波器，实现对关节点状态(位置、速度和加速度)的有效估计。人体关节点的运动存在静止、匀速、加速交替进行的多模型属性，单一运动模型不足以描述关节点动态特征，因此设计基于交互多模型的贝叶斯估计方法，对人体关节点的时变状态进行有效跟踪估计。对线性模型，可利用线性信息滤波器估计，而对于非线性模型，可利用扩展信息滤波器和基于中心差分信息滤波器等非线性滤波器进行估计。

观测模型是指滤波器系统状态与传感器观测之间的模型关系。在这里，系统状态是指关节点三维位置、速度和加速度，而传感器观测是关节点三维位置。

有效估计的具体算法可参考论文Central Difference Information Filterwith Interacting Multiple Model for Robust Maneuvering Object Tracking。

RGBD传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量，每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。当场景中存在多个人体目标时，需要解决多个人体目标和传感器感知到的人体骨架观测信息之间的对应问题，即数据关联问题。为减少目标所对应的观测集内候选目标数目，利用人体的航迹、三维结构、图像等多特征信息筛选候选目标范围的机制，以提高匹配效率。同时，设计与其相适应的分布式一致性算法，使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各传感器数据关联结果的融合。

本发明中基于彩色图像和深度图像多特征的联合数据关联方法，具体步骤如下：

第一步是系统参数初始化，其中人体关节点的初始位置可通过OPENNI直接从RGBD相机的深度图像检测得出，位置的方差可依据OPENNI返回的关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率。

第二步是多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差。

第三步是信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态(信息向量和信息矩阵)和模型概率。当场景中存在多个目标，需对本地传感器节点对跟踪目标和目标观测之间进行数据关联(track to measurement)。从算法实时性和估计精度两层考虑，联合数据概率关联算法(JPDA)可解决此问题。JPDA会考虑每个目标和所有观测之间的相似度，以概率加权和的形式计算最终的估计结果，因此观测数目是影响JPDA效率和精度的一个关键量。为提高JPDA算法效率，减少冗余无效的观测，本申请提出基于多特征的目标观测候选集调整机制，核心机理是利用关节点位置观测信息z、彩色图像梯度方向直方图(HOG)特征h_c和深度图像梯度方向直方图(HOD)特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})<{\mathrm{\&gamma;}}_z,d(h_c,{\hat{h}}_c)<{\mathrm{\&gamma;}}_c,d(h_d,{\hat{h}}_d)<{\mathrm{\&gamma;}}_d,$

其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差，和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。

第四步是基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性，如传感器节点i和传感器节点j是相邻通讯节点，两者之间的Metroplis权重为ε_i,j，则在第r次迭代其信息向量信息矩阵和模型概率可由其所有相邻节点j的相应信息加权和计算得出：

$y_i^r=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&epsiv;}}_{i,j}{y}_j^r,Y_i^r=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&epsiv;}}_{i,j}{Y}_j^r,{\mathrm{\&mu;}}_i^r=\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&epsiv;}}_{i,j}{\mathrm{\&mu;}}_j^r.$

在多目标情况下，在运用一致性算法之前需解决传感器节点之间对跟踪目标的数据关联(track to track)问题,可以利用基于马氏距离(Mahalanobis distance)的匈牙利算法(Hungarian algorithm)完成此任务，其中关节点的马氏距离定义如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

其中(x_i,x_j)和(P_i,P_j)是人体关节点分别在传感器i和传感器j上的估计状态和方差。

第五步是各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，包括以下步骤：

基于彩色图像和深度图像多特征的联合数据关联方法，包括以下步骤：

采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行第一次数据关联；

基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；

各传感器之间交换关节点估计信息，通过一致性算法加权迭代实现各传感器估计状态的一致性；

其中，在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小。

2.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果的步骤。

3.如权利要求2所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各传感器数据关联结果的融合。

4.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})<{\mathrm{\&gamma;}}_z,d(h_c,{\hat{h}}_c)<{\mathrm{\&gamma;}}_c,d(h_d,{\hat{h}}_d)<{\mathrm{\&gamma;}}_d,$

其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差，和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。

5.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，关节点的马氏距离定义如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

(x_i,x_j)和(P_i,P_j)是人体关节点分别在传感器i和传感器j上的估计状态和方差。

6.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在实现第一次数据关联之前还包括骨架关节点位置初始化的步骤。

7.如权利要求6所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。

8.如权利要求7所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。

9.如权利要求6所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。

10.如权利要求9所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。