CN103020984A - 基于稀疏表达的三维人体运动数据补全方法 - Google Patents
基于稀疏表达的三维人体运动数据补全方法 Download PDFInfo
- Publication number
- CN103020984A CN103020984A CN2012103613094A CN201210361309A CN103020984A CN 103020984 A CN103020984 A CN 103020984A CN 2012103613094 A CN2012103613094 A CN 2012103613094A CN 201210361309 A CN201210361309 A CN 201210361309A CN 103020984 A CN103020984 A CN 103020984A
- Authority
- CN
- China
- Prior art keywords
- attitude
- motion data
- dimensional human
- human body
- point set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
技术领域
本发明涉及数据补全,稀疏表达,尤其涉及基于稀疏表达的三维人体运动数据补全方法。
背景技术
三维人体运动数据被广泛应用到影视娱乐,电视广告,计算机游戏等领域,带来巨大的经济效益。然而,即使是目前商用的三维人体运动捕获设备,由于受到表演者人体肢体自遮挡、服饰的遮挡等原因,常常会出现人体部分标记点缺失的现象。为了解决这个问题,近年来各个各样的三维人体运动数据补全算法被提出,这些方法大致可以划分为如下几类:
1)插值法
利用线性或样条插值函数,对三维人体运动数据曲线进行插值。这种方法的特点是简单快速,适合短时间的运动缺失,对超过0.5秒以上的运动缺失无法进行准确的补全。
2)模型驱动法
Herda等人提出通过对人体骨架跟踪的方法,利用时序关系和运动力学来预测缺失的运动数据,Van在此基础上提出了一个全自动的人体骨架跟踪和骨架系统。
3)数据库驱动的方法
这类方法是通过对数据库中现有的三维人体姿态进行检索和内在时刻关系挖掘,来对缺失的数据进行预测或过滤。例如,Chai J.X.和Hodgins J.K.提出在数据库支持的基础上,利用少量人体标记点来估计完整的人体姿态。Liu H.等人提出基于样例的三维人体运动数据去噪,并将其应用到三维人体运动数据的补全。
4)隐变量法
这类方法是利用离散隐状态对人体运行姿态进行建模,学习非线性二值表达。
5)线性动态系统法
这类方法的典型是利用卡尔曼滤波的方法,将人体姿态变迁过程用线性或非线性的动态系统进行建模,利用构建的模型对缺失的数据进行预测。
本文所提出的方法与上面提到的传统方法不同,本方法从数据表达的角度来看待运动数据补全这个问题,将其转换为求解最优稀疏表达系数问题。稀疏表达的核心是基于数据存在稀疏性表达的前提,通过求解l1范数约束的最优化问题,来计算得到该稀疏表达系数。Wright和马毅等人将稀疏表达应用到人脸识别中,取得了令人瞩目的成功。目前,稀疏表达已经被扩展应用到图像识别、标注、检索,图像去噪和压缩,音频数据识别等领域。受这些相关研究的启发,本文将该算法首次应用到三维人体运动数据补全应用中,利用姿态的稀疏表达特征,从而实现对缺失数据的补全。
发明内容
本发明的目的是克服现有技术的不足,提供基于稀疏表达的三维人体运动数据补全方法。基于稀疏表达的三维人体运动数据补全方法于包括如下步骤:
1)利用采集得到的包含各种运动类型的完整的三维人体姿态,以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达,构建一个过完备样本字典Φ=[f1,f2,...,fN]∈R3k×N,N》3k,其中fi∈R3k为第i个完整的三维人体姿态,k为人体姿态中所包含的标记点数目,N为该样本字典中所包含的姿态数目;
2)对不完整的三维人体姿态fi,按照已知标记点集和缺失标记点集划分为已知部分姿态fio和缺失部分姿态fim,同样,对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φo和缺失部分过完备样本字典Φm;
3)计算已知标记点集所对应的已知部分姿态fio在对应的已知部分过完备样本字典Φo下的稀疏表达系数,计算公式如下:
其中,x为稀疏表达系数,λ是稀疏正则化参数,||·||1为矩阵和向量的l1范数;
4)根据得到的稀疏表达系数x*=x,对不完整三维人体运动数据中缺失部分姿态fim进行预测补全,计算公式如下:
fim=Φmx* 2
从而实现对不完整三维人体运动数据的补全。
本发明与现有技术相比具有的有益效果是,算法稳定,运算快速,易于实现,能够快速准确地进行三维人体运动数据补全。
附图说明
图1是人体姿态在由800个三维人体姿态构成的过完备样本字典下的表达系数;
图2是本发明在具有重复性运动人体数据测试下,不同过完备样本字典大小情况下,方法性能对比;
图3是本发明在具有重复性运动人体数据测试下,不同缺失帧长度情况下,方法性能对比;
图4是本发明在具有重复性运动人体数据测试下,不同缺失标记点数目情况下,方法性能对比;
图5是本发明在复杂运动人体数据测试下,不同过完备样本字典大小情况下,方法性能对比;
图6是本发明在复杂运动人体数据测试下,不同不同缺失帧长度情况下,方法性能对比;
图7是本发明在复杂运动人体数据测试下,不同缺失标记点数目情况下,方法性能对比。
具体实施方式
基于稀疏表达的三维人体运动数据补全方法于包括如下步骤:
1)利用采集得到的包含各种运动类型的完整的三维人体姿态,以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达,构建一个过完备样本字典Φ=[f1,f2,...,fN]∈R3k×N,N》3k,其中fi∈R3k为第i个完整的三维人体姿态,k为人体姿态中所包含的标记点数目,N为该样本字典中所包含的姿态数目;
2)对不完整的三维人体姿态fi,按照已知标记点集和缺失标记点集划分为已知部分姿态fio和缺失部分姿态fim,同样,对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φo和缺失部分过完备样本字典Φm;
3)计算已知标记点集所对应的已知部分姿态fio在对应的已知部分过完备样本字典Φo下的稀疏表达系数,计算公式如下:
其中,x为稀疏表达系数,λ是稀疏正则化参数,||·||1为矩阵和向量的l1范数;
4)根据得到的稀疏表达系数x*=x,对不完整三维人体运动数据中缺失部分姿态fim进行预测补全,计算公式如下:
fim=Φmx* 2
从而实现对不完整三维人体运动数据的补全。
实施例1
要对具有重复性运动的三维人体运行数据和不具有重复性运动的复杂的三维人体运动数据进行数据补全。如图1所示为一个三维人体姿态在由800个三维人体姿态构成的过完备样本字典下的稀疏表达系数,图2、图3和图4是本算法在具有重复性运动人体数据测试下,不同大小样本字典、不同缺失帧长度和不同缺失标记点下的性能对比;图5、图6和图7是本算法在复杂运动人体数据测试下,不同大小样本字典、不同缺失帧长度和不同缺失标记点下的性能对比结果。下面结合前面所述的具体技术方案说明该实例实施的步骤,如下:
1)使用CMU大学提供的三维人体运动数据,先进行数据预处理,将所有数据从BVH格式转化为TRC格式,同时对每个姿态进行旋转和平移变换,统一所有姿态的朝向和消除平移旋转因素的影响。
2)将预处理后所得到的三维人体姿态划分为训练集与测试集,对测试集中的三维人体姿态随机生成缺失数据,作为不完整的三维人体姿态输入,而将训练集中数据构成过完备样本字典。
3)采用l1-ls求解器计算求解稀疏表达公式(1),实施实例中,我们设置稀疏正则项参数λ为0.1,不完整姿态中可见部分标记点的稀疏表达系数。如图1所示的是一个人体姿态在由800个三维人体姿态构成的过完备样本字典中的表达系数。从图1可见该表达具有稀疏性,符合算法的假设。
4)利用上面求解得到的稀疏表达系数,利用公式(2)计算缺失标记点信息,从而实现对不完整三维人体姿态的补全。
5)选择具有重复性运动的姿态序列,分别构造长度为300,600,900,1200,1500和1800的不同长度的训练集,设置缺失帧长度从30到300帧不同长度,以及缺失标记点数从5到30个,分别测试算法在这几个因素下的性能变化情况。测试结果如图2、图3和图4所示。
6)同上面步骤(5),选择不具有重复性运行的复杂的姿态序列,按照同样的方式,测试在不同训练数据集大小,不同缺失帧长度和不同缺失标记点数的情况下,算法的性能变化情况。测试结果如图5、图6和图7所示。
Claims (1)
1.一种基于稀疏表达的三维人体运动数据补全方法,其特征在于包括如下步骤:
1)利用采集得到的包含各种运动类型的完整的三维人体姿态,以三维人体姿态所包含的所有标记点的三维空间坐标信息为特征表达,构建一个过完备样本字典Φ=[f1,f2,...,fN]∈R3k×N,N》3k,其中fi∈R3k为第i个完整的三维人体姿态,k为人体姿态中所包含的标记点数目,N为该样本字典中所包含的姿态数目;
2)对不完整的三维人体姿态fi,按照已知标记点集和缺失标记点集划分为已知部分姿态fio和缺失部分姿态fim,同样,对过完备样本字典按照已知标记点集和缺失标记点集划分为已知部分过完备样本字典Φo和缺失部分过完备样本字典Φm;
3)计算已知标记点集所对应的已知部分姿态fio在对应的已知部分过完备样本字典Φo下的稀疏表达系数,计算公式如下:
其中,x为稀疏表达系数,λ是稀疏正则化参数,||·||1为矩阵和向量的l1范数;
4)根据得到的稀疏表达系数x*=x,对不完整三维人体运动数据中缺失部分姿态fim进行预测补全,计算公式如下:
fim=Φmx* 2
从而实现对不完整三维人体运动数据的补全。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210361309.4A CN103020984B (zh) | 2012-09-25 | 2012-09-25 | 基于稀疏表达的三维人体运动数据补全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210361309.4A CN103020984B (zh) | 2012-09-25 | 2012-09-25 | 基于稀疏表达的三维人体运动数据补全方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020984A true CN103020984A (zh) | 2013-04-03 |
CN103020984B CN103020984B (zh) | 2015-08-26 |
Family
ID=47969550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210361309.4A Active CN103020984B (zh) | 2012-09-25 | 2012-09-25 | 基于稀疏表达的三维人体运动数据补全方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020984B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578120A (zh) * | 2013-11-11 | 2014-02-12 | 浙江大学 | 保持时序平稳与低秩结构特性的三维人体运动数据补全方法 |
CN104932863A (zh) * | 2015-06-26 | 2015-09-23 | 厦门大学 | 一种高维指数信号数据补全方法 |
CN111344741A (zh) * | 2019-01-31 | 2020-06-26 | 深圳市瑞立视多媒体科技有限公司 | 一种三维轨迹数据的数据缺失处理方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533526A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于动态模板的光学运动捕捉数据处理方法 |
CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
US20110228976A1 (en) * | 2010-03-19 | 2011-09-22 | Microsoft Corporation | Proxy training data for human body tracking |
-
2012
- 2012-09-25 CN CN201210361309.4A patent/CN103020984B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533526A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于动态模板的光学运动捕捉数据处理方法 |
CN101789125A (zh) * | 2010-01-26 | 2010-07-28 | 北京航空航天大学 | 一种无标记单目视频人体骨架运动跟踪方法 |
US20110228976A1 (en) * | 2010-03-19 | 2011-09-22 | Microsoft Corporation | Proxy training data for human body tracking |
Non-Patent Citations (1)
Title |
---|
高琳: "基于稀疏表达的遮挡目标跟踪算法", 《计算机工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578120A (zh) * | 2013-11-11 | 2014-02-12 | 浙江大学 | 保持时序平稳与低秩结构特性的三维人体运动数据补全方法 |
CN103578120B (zh) * | 2013-11-11 | 2016-03-30 | 浙江大学 | 保持时序平稳与低秩结构特性的三维人体运动数据补全方法 |
CN104932863A (zh) * | 2015-06-26 | 2015-09-23 | 厦门大学 | 一种高维指数信号数据补全方法 |
CN111344741A (zh) * | 2019-01-31 | 2020-06-26 | 深圳市瑞立视多媒体科技有限公司 | 一种三维轨迹数据的数据缺失处理方法及装置 |
WO2020155024A1 (zh) * | 2019-01-31 | 2020-08-06 | 深圳市瑞立视多媒体科技有限公司 | 一种三维轨迹数据的数据缺失处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103020984B (zh) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104459668B (zh) | 基于深度学习网络的雷达目标识别方法 | |
CN103279980B (zh) | 基于点云数据的树叶建模方法 | |
CN104599292B (zh) | 一种基于低秩矩阵分解的抗噪运动目标检测算法 | |
CN108038420A (zh) | 一种基于深度视频的人体行为识别方法 | |
CN104050681B (zh) | 一种基于视频图像的道路消失点检测方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN104123545A (zh) | 一种实时表情特征提取及表情识别方法 | |
CN102509333B (zh) | 基于动作捕获数据驱动的二维卡通表情动画制作方法 | |
CN108665485A (zh) | 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法 | |
CN109934847A (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
CN109299701A (zh) | 基于gan扩充多人种特征协同选择的人脸年龄估计方法 | |
CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
CN104751472A (zh) | 基于b样条小波和深度神经网络的织物疵点检测方法 | |
CN104899896B (zh) | 一种基于子空间特征的多任务学习目标跟踪方法 | |
CN103473790B (zh) | 基于增量Bi-2DPCA学习和稀疏表示的在线目标跟踪方法 | |
CN104240212B (zh) | 基于目标特征的isar图像融合方法 | |
CN105005798B (zh) | 一种基于局部相似结构统计匹配的目标识别方法 | |
CN106097334A (zh) | 基于深度学习的点云配准方法 | |
CN105787428A (zh) | 基于稀疏编码的唇语特征身份认证方法 | |
CN106599810A (zh) | 一种基于栈式自编码的头部姿态估计方法 | |
CN103116903A (zh) | 二维动画角色动作的重定向方法 | |
CN104077742A (zh) | 基于Gabor特征的人脸素描合成方法及系统 | |
CN103020984A (zh) | 基于稀疏表达的三维人体运动数据补全方法 | |
CN102855639B (zh) | 一种运动捕捉数据的关键帧提取方法 | |
CN111259950A (zh) | 一种基于3d模型训练yolo神经网络的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |