CN111242982A - 一种基于渐进卡尔曼滤波的人体目标跟踪方法 - Google Patents
一种基于渐进卡尔曼滤波的人体目标跟踪方法 Download PDFInfo
- Publication number
- CN111242982A CN111242982A CN202010002510.8A CN202010002510A CN111242982A CN 111242982 A CN111242982 A CN 111242982A CN 202010002510 A CN202010002510 A CN 202010002510A CN 111242982 A CN111242982 A CN 111242982A
- Authority
- CN
- China
- Prior art keywords
- human body
- progressive
- body target
- method based
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000750 progressive effect Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 title claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000007637 random forest analysis Methods 0.000 claims description 9
- 210000004247 hand Anatomy 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 210000003423 ankle Anatomy 0.000 claims description 2
- 210000002683 foot Anatomy 0.000 claims description 2
- 210000003127 knee Anatomy 0.000 claims description 2
- 230000002411 adverse Effects 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
一种基于渐进卡尔曼滤波的人体目标跟踪方法，该方法采用深度相机传感器实现对人体目标的跟踪，首先，将人体目标跟踪分解成人体目标各关键点位置的估计；其次，建立有关各关键点的运动学模型和量测模型，最后，基于渐进卡尔曼滤波对传感器得到的相关数据进行滤波，得到人体目标状态的估计。本发明提供一种基于渐进卡尔曼滤波的人体目标跟踪方法，该方法增加了人体目标状态不确定性的描述，提高了对遮挡、识别失败等不利因素的鲁棒性。
Description
技术领域
本发明涉及目标跟踪领域，尤其是一种基于渐进卡尔曼滤波的人体目标跟踪方法。
背景技术
随着视觉传感器和人工智能等技术的发展，使得人体目标跟踪在生产生活中有着越来越多的应用,例如，人员安全监控、运动员比赛分析、智能人机交互等。特别的，3D视觉传感技术与人工智能技术的融合为获取人体运动细节提供了重要的解决途径。
目前，随机森林方法以及随后衍生的包括random tree walk系列方法已将深度图像领域的人体姿态估计任务做到了非常高的水准。值得一提的是，微软的Kinect深度相机自带SDK的骨骼提取算法用的就是随机森林方法，可获取丰富的人体姿态信息。随着深度卷积神经网络方法的兴起，在人体姿态估计领域也取得了巨大的成功。然而，该类方法对存储和计算都有着较高的要求，通常需要图形处理器(GPU)的计算支持。不同于深度卷积神经网络等方法，随机森林方法对处理能力要求较低，可满足良好的实时性要求。然而，人在工作过程中可能需要手握或肩背一些物件，这将使得现有的随机森林方法提取人体局部部件姿态的失败。此外，由于受遮挡或自遮挡等因素的影响，人体局部部件(如手)姿态的可能存在较大的偏差。目前还没有技术能够鲁棒、实时地解决深度图像下的人体姿态估计问题。
发明内容
为了克服已有随机森林方法对遮挡、物件干扰等鲁棒性差，局部运动姿态易丢失的缺点，本发明提供一种基于渐进卡尔曼滤波的人体目标跟踪方法，有效地解决了深度图像下人体目标的鲁棒实时跟踪。
本发明解决其技术问题所采用的技术方案是：
一种基于渐进卡尔曼滤波的人体目标跟踪方法，所述方法包括以下步骤：
步骤1)将人体目标状态分解成25个关键点的位置状态，建立各关键点运动的模型，并确定渐进卡尔曼滤波器参数；
步骤2)根据上一时刻的人体目标关键点位置估计，分别预测下一时刻人体目标关键点位置；
步骤3)读取深度图像传感器的信息，利用随机森林方法识别并计算人体目标关键点位置，读取人体目标关键点位置信息；
步骤4)根据读取到的人体目标关键点位置信息，分别对预测的人体目标关键点位置进行渐进量测更新；
步骤5)判断步骤4)渐进量测更新是否满足稳定性要求，若满足稳定性要求，则重复步骤4)；否则，跳出渐进量测更新；
重复执行步骤2)-步骤5)，完成人体目标的鲁棒实时跟踪。
进一步，所述步骤1)中，所述的关键点为人体头、颈、肩、肘、腕、手、臀、膝、踝和脚等关节点。
再进一步，所述的关键点位置为关键点在直角坐标系下x、y和z轴的坐标。
更进一步，所述步骤1)中，所述的滤波器参数，包括各关键点的初始状态及其协方差、过程噪声协方差和量测噪声协方差等。
所述步骤2)中，所述的预测包括关键点位置及其协方差的预测。
所述步骤4)中,所述的渐进量测更新，即将量测噪声协方差人为地放大N倍的基础上，计算卡尔曼滤波增益。
在步骤5)中，所述的稳定性条件为
其中，j＝1,...,25为人体关键点的序号，k＝1,2,...为离散时间，zj,k为读取到的关键点j在k时刻的位置，i＝1,...,N为渐进量测更新的编号，N为渐进量测更新的最大次数，
为关键点j在k时刻的位置预测值。
本发明的有益效果主要表现在：由于遮挡、手持物等因素的影响，将可能导致识别和跟踪人体目标的失败，尤其是手、腕等关键部位的识别与跟踪。相比现有的人体目标跟踪方法，该方法增加了人体目标跟踪不确定性的描述，利用渐进量测跟踪的形式提高了对遮挡、识别错误等不利因素的鲁棒性。
附图说明
图1是人体目标跟踪系统示意图，其中，(a)表示深度相机，(b)表示人体目标。
图2是人体目标的关键点示意图。
图3是人体目标跟踪流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于渐进卡尔曼滤波的人体目标跟踪方法，所述方法包括以下步骤：
步骤1)将人体目标状态分解成25个关键点的位置状态，建立各关键点运动的模型，并确定渐进卡尔曼滤波器参数；
步骤2)根据上一时刻的人体目标关键点位置估计，分别预测下一时刻人体目标关键点位置；
步骤3)读取深度图像传感器的信息，利用随机森林方法识别并计算人体目标关键点位置，读取人体目标关键点位置信息；
步骤4)根据读取到的人体目标关键点位置信息，分别对预测的人体目标关键点位置进行渐进量测更新；
步骤5)判断步骤4)渐进量测更新是否满足稳定性要求，若满足稳定性要求，则重复步骤4)；否则，跳出渐进量测更新；
重复执行步骤2)-步骤5)，完成人体目标的鲁棒实时跟踪。
如图1所示，将通过深度相机实现人体目标的跟踪。如图2所示，将人体目标跟踪分解成25个关键点的位置跟踪，并建立各关键点运动学模型如下：
其中，
为人体目标关键点j的状态，
和
分别为关键点j在x、y和z轴上的位置，
和
分别为关键点j在x、y和z轴上的加速度。Fj,k为关键点j的状态转移矩阵，
和
分别为零均值且协方差为
和
的高斯白噪声。
如图2所示，首先，确定人体目标各关键点的初始状态
选取渐进量测更新步数的最大值N；其次，基于当前时刻各关键点的状态估计值，利用公式(3)和(4)预测下一时刻关键点j的状态
和
即，利用相应的运动学模型完成所有关键点的状态预测；接着，利用随机森林法实现人体目标的识别，并计算出人体各关键点的位置，读取人体目标各关键点的量测值
下面将利用公式(5)计算关键点j在第i次渐进量测更新的滤波增益
并利用公式(6)和(7)计算关键点j在渐进量测更新后的状态估计值
和
其中，
令
若
且i≤N，则重复执行(5)-(6)进入第i+1次渐进量测更新；否则，跳出渐进量测更新，并令关键点j在k时刻的状态估计值为
重复上述渐进量测更新，完成所有关键点的状态估计，进而进入k+1时刻人体目标各关键点状态估计，从而完成人体目标鲁棒实时的跟踪。
Claims (7)
1.一种基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于，所述方法包括以下步骤：
步骤1)将人体目标状态分解成25个关键点的位置状态，建立各关键点运动的模型，并确定渐进卡尔曼滤波器参数；
步骤2)根据上一时刻的人体目标关键点位置估计，分别预测下一时刻人体目标关键点位置；
步骤3)读取深度图像传感器的信息，利用随机森林方法识别并计算人体目标关键点位置，读取人体目标关键点位置信息；
步骤4)根据读取到的人体目标关键点位置信息，分别对预测的人体目标关键点位置进行渐进量测更新；
步骤5)判断步骤4)渐进量测更新是否满足稳定性要求，若满足稳定性要求，则重复步骤4)；否则，跳出渐进量测更新；
重复执行步骤2)-步骤5)，完成人体目标的鲁棒实时跟踪。
2.如权利要求1所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述步骤1)中，所述的关键点为人体头、颈、肩、肘、腕、手、臀、膝、踝和脚关节点。
3.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述的关键点位置为关键点在直角坐标系下x、y和z轴的坐标。
4.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述步骤1)中，所述的滤波器参数，包括各关键点的初始状态及其协方差、过程噪声协方差和量测噪声协方差。
5.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述步骤2)中，所述的预测包括关键点位置及其协方差的预测。
6.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述步骤4)中，所述的渐进量测更新，即将量测噪声协方差人为地放大N倍的基础上，计算卡尔曼滤波增益。
7.如权利要求1或2所述的基于渐进卡尔曼滤波的人体目标跟踪方法，其特征在于：所述步骤5)中，所述的稳定性条件为
其中，j＝1,...,25为人体关键点的序号，k＝1,2,...为离散时间，zj,k为读取到的关键点j在k时刻的位置，i＝1,...,N为渐进量测更新的编号，N为渐进量测更新的最大次数，
为关键点j在k时刻的位置预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002510.8A CN111242982A (zh) | 2020-01-02 | 2020-01-02 | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002510.8A CN111242982A (zh) | 2020-01-02 | 2020-01-02 | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111242982A true CN111242982A (zh) | 2020-06-05 |
Family
ID=70877686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002510.8A Pending CN111242982A (zh) | 2020-01-02 | 2020-01-02 | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242982A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505735A (zh) * | 2021-05-26 | 2021-10-15 | 电子科技大学 | 一种基于分级滤波的人体关键点稳定方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692284A (zh) * | 2009-07-24 | 2010-04-07 | 西安电子科技大学 | 基于量子免疫克隆算法的三维人体运动跟踪方法 |
| CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
| US20180024641A1 (en) * | 2016-07-20 | 2018-01-25 | Usens, Inc. | Method and system for 3d hand skeleton tracking |
| CN108680162A (zh) * | 2018-04-20 | 2018-10-19 | 浙江工业大学 | 一种基于渐进无迹卡尔曼滤波的人体目标跟踪方法 |
| CN110506296A (zh) * | 2017-02-07 | 2019-11-26 | 迈恩德玛泽控股股份有限公司 | 用于跟踪身体或其部分的系统、方法、和装置 |
| CN110530365A (zh) * | 2019-08-05 | 2019-12-03 | 浙江工业大学 | 一种基于自适应卡尔曼滤波的人体姿态估计方法 |
-
2020
- 2020-01-02 CN CN202010002510.8A patent/CN111242982A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101692284A (zh) * | 2009-07-24 | 2010-04-07 | 西安电子科技大学 | 基于量子免疫克隆算法的三维人体运动跟踪方法 |
| US20180024641A1 (en) * | 2016-07-20 | 2018-01-25 | Usens, Inc. | Method and system for 3d hand skeleton tracking |
| CN110506296A (zh) * | 2017-02-07 | 2019-11-26 | 迈恩德玛泽控股股份有限公司 | 用于跟踪身体或其部分的系统、方法、和装置 |
| CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
| CN108680162A (zh) * | 2018-04-20 | 2018-10-19 | 浙江工业大学 | 一种基于渐进无迹卡尔曼滤波的人体目标跟踪方法 |
| CN110530365A (zh) * | 2019-08-05 | 2019-12-03 | 浙江工业大学 | 一种基于自适应卡尔曼滤波的人体姿态估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| 曹晨，等: "机载远程红外预警雷达系统", 31 December 2017, 国防工业出版社, pages: 150 - 153 * |
| 杨晓宁;叶锦华;: "基于KINECT和全局视觉的机器人避碰研究", no. 05, pages 156 - 160 * |
| 郑婷婷等: "一种高斯渐进滤波框架下的目标跟踪方法", vol. 44, no. 12, pages 2250 - 2258 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505735A (zh) * | 2021-05-26 | 2021-10-15 | 电子科技大学 | 一种基于分级滤波的人体关键点稳定方法 |
| CN113505735B (zh) * | 2021-05-26 | 2023-05-02 | 电子科技大学 | 一种基于分级滤波的人体关键点稳定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | A factorization-based approach for articulated nonrigid shape, motion and kinematic chain recovery from video | |
| CN106384093B (zh) | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 | |
| EP2674913B1 (en) | Three-dimensional object modelling fitting & tracking. | |
| CN110472554A (zh) | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 | |
| CN110530365B (zh) | 一种基于自适应卡尔曼滤波的人体姿态估计方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN111144165B (zh) | 一种步态信息识别方法、系统及存储介质 | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN102682452A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN111753747A (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| CN113420590B (zh) | 弱纹理环境下的机器人定位方法、装置、设备及介质 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
| KR101460313B1 (ko) | 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 | |
| CN112131928B (zh) | 一种rgb-d图像特征融合的人体姿态实时估计方法 | |
| CN102156994B (zh) | 一种单视角无标记人体运动跟踪的关节定位方法 | |
| Yan et al. | Human-object interaction recognition using multitask neural network | |
| CN111241936A (zh) | 一种基于深度和彩色图像特征融合的人体姿态估计方法 | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN111739066A (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
| CN111626109A (zh) | 一种基于双流卷积神经网络的跌倒行为分析检测方法 | |
| CN113963202A (zh) | 一种骨骼点动作识别方法、装置、电子设备及存储介质 | |
| CN111242982A (zh) | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 | |
| CN113516232A (zh) | 一种基于自注意力机制的神经网络模型的训练方法 | |
| CN111144167A (zh) | 一种步态信息识别优化方法、系统及存储介质 | |
| Batool et al. | Fundamental recognition of ADL assessments using machine learning engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |