CN111627043A - 一种基于标志物和特征筛选器的简易人体曲线获取方法 - Google Patents
一种基于标志物和特征筛选器的简易人体曲线获取方法 Download PDFInfo
- Publication number
- CN111627043A CN111627043A CN202010286393.2A CN202010286393A CN111627043A CN 111627043 A CN111627043 A CN 111627043A CN 202010286393 A CN202010286393 A CN 202010286393A CN 111627043 A CN111627043 A CN 111627043A
- Authority
- CN
- China
- Prior art keywords
- marker
- human body
- coordinate system
- markers
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008859 change Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000007717 exclusion Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 102000020897 Formins Human genes 0.000 claims 1
- 108091022623 Formins Proteins 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 210000000544 articulatio talocruralis Anatomy 0.000 description 5
- 210000000629 knee joint Anatomy 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 239000009891 weiqi Substances 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 101150067055 minC gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种基于标志物和特征筛选器的简易人体曲线获取方法,属于人体部位运动曲线获取方法技术领域。它包括以下步骤:1)将标志物粘贴于关键点位置;2)通过标定板标定,获得相机在固定位置下的参数;3)采集相应视频文件;4)通过特征筛选器确定标志物在像素坐标系下的位置坐标;5)将标志物在像素坐标系下的位置坐标换算为世界坐标系中的位置坐标;6)计算关键点在世界坐标系中的位置坐标随时间的变化,即可获得人体部位运动曲线。本发明基于标志物和特征筛选器对关键点在世界坐标系中的位置进行计算确定,不受人体骨架的模型制约,对待研究的人体部位有较强的针对性;且设计更加符合人体的自然运动习惯,提高了舒适性。
Description
技术领域
本发明属于人体部位运动曲线获取方法技术领域,具体涉及一种基于标志物和特征筛选器的简易人体曲线获取方法。
背景技术
公开号为CN 110738192 A的发明专利申请文献介绍了人体运动功能辅助评估方法、装置、设备、系统及介质;公开了提供了一种人体运动功能辅助评估方法,通过获取待评估的运动视频,所述运动视频是拍摄待评估对象执行指定动作所得的视频;对所述运动视频中每一帧图像进行人体关键点检测得到人体关节坐标,从每一帧图像中的所述人体关节坐标中选取所述指定动作对应的关键点坐标;根据所述运动视频中每一帧图像中的所述关键点坐标,确定每一帧图像的运动特征;根据所述运动视频中每一帧图像的运动特征生成运动曲线,所述运动曲线用于进行人体运动功能辅助评估处理。
上述文献公开的运动曲线获取方法,需要与人体骨架模型匹配的方式来确定关键点,关键点的选择自由程度低;采集的视频文件需要涵盖人体骨架模型的多个可识别关键点,对采集的视频文件及采集视频文件的设备均有一定的要求。
公开号为CN 108564586 A的发明专利申请文献介绍了一种基于深度学习的人体曲线测量方法及系统,通过获取人体分割和骨骼点回归数据库,输入用户人体图像,对输入图像进行检测标定进而计算得到人体曲线测量数据;该发明提出的获取方法通过输入带有参照物的用户人体图片,可以方便地进行非接触式人体曲线测量,提高了测量的精度和便利度。
上述专利提供的人体曲线测量方法,同样需要使用人体骨骼模型,检测获得的运动曲线针对性不强;且只对图片进行测量、计算,不能有效获得人体部位的相关运动学特性。
公开号为CN 103679747 A的发明专利申请文献公开了一种运动捕捉数据关键帧提取方法,其步骤为:(1)特征表示:用人体四肢与躯干的旋转角度以及肢体各关节间的相对距离等运动分量表示人体运动姿势的主要特征;(2)临界点筛选:提取运动分量曲线的极值点和动静转换点作为临界点,并采用临界点消减算法筛选出关键临界点;(3)关键度曲线构造:根据筛选出来的关键临界点划分运动分量曲线,形成运动分量关键度曲线;(4)权值学;(5)关键帧提取:加权拟合目标运动的运动分量关键度曲线,基于拟合曲线提取关键帧。
上述专利使用人体四肢与躯干的旋转角度以及肢体各关节间的相对距离等运动分量表示人体运动姿势的主要特征,需要采集包含整个人体的视频文件,且使用了人体躯干模型,对局部运动的针对性不强。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种简单、高效、舒适性强的人体部位运动曲线获取方法。
本发明提供如下技术方案:一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于包括以下步骤:
1)将若干个标志物粘贴于待获取运动曲线人体部位的预设关键点位置;
2)将用于采集待获取运动曲线的人体部位在运动过程中的相应视频文件的相机位置进行固定,并通过标定板对其进行标定,获得该相机在该固定位置下的相机内、外参数以及畸变参数;
3)在步骤2)中相机位置固定不变的情况下,使用相机采集待获取运动曲线人体部位在运动过程中的相应视频文件;
4)通过特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标;
5)通过步骤2)中获得的相机内、外参数以及畸变参数,将标志物在像素坐标系下的位置坐标换算为世界坐标系中的位置坐标,即为预设关键点在世界坐标系中的位置坐标;
6)计算预设关键点在世界坐标系中的位置坐标随时间的变化,即可获得人体部位运动曲线。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤1)中,所述标志物为与人体颜色有对比度、对拍摄角度的灵敏度低、具有附着能力的物体;所述拍摄角度灵敏度定义为:标志物在相机中投影图像的面积S′与无角度偏差正对拍摄面积S的比值对拍摄角度θ的偏导可反映当拍摄角度产生微小变化时,投影图像面积产生的相对变化量;针对视频分辨率为1080p的情况,理想标志物当拍摄角度变化5°及以内时,标志物投影面积相对变化量S′/S应不大于5%。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述在步骤2)中,标定板为国际象棋棋盘格式黑白相间正方形组成的阵列,每个正方形称为一个单元,每一单元的实际距离为其特征量。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤2)中,所述相机畸变分为径向畸变与切向畸变,采用主点周围的泰勒级数展开进行描述,像素坐标系下发生畸变后的坐标与其在各坐标系下对应点的关系为:
其中(xp,yp),(xI,yI),(xIO,yIO)分别表示像素坐标系,图像坐标系,OI点在Op-XpYp坐标系中的位置;为消除摄像头畸变,计算出畸变参数k1,k2,对像素坐标进行去畸变即可。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,所述特征筛选器是一个在图片中移动的窗口,其本质是一个数据矩阵,特征筛选器的建立,需要根据标志物的图像特征确定。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于在步骤4)中,通过特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标的方法为:
设特征筛选器的数据矩阵为A,维度为m×n,矩阵中元素值为A(i,j),图片中与其匹配对应的子图片记为Bij,子图片中各元素值为Bij(i,j),图片匹配准则为:
即当两个矩阵各个对应位置值差的绝对值的和最小时,则认为匹配成功,确定窗口的中心坐标为标志物中心点。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,当识别一副图中的若干个标志物时,采用特定的算法来实现,其识别算法流程如下:
Step1:设置待识别区域与标志物数量N:设置区域有助于减少识别计算量,同时避免了外界的干扰,可以提高识别的效率与准确率。
Step2:建立相似度矩阵C:所述特征筛选器与图片窗口的距离平方和,其本质是两张图片的相似度,建立与原图大小一致的相似度矩阵,将边缘及非识别区域的相似度距离设置为无穷大即InF,计算各点与特征筛选器的相似度距离;其中,相似度矩阵中任意一点的索引值对应于原图中标志物的中心点坐标。
Step3:识别最相似点并将其相似度值设置为无穷大:建立相似度矩阵后,寻找minCij,即可找到第一个标志物,将其相似度设置为无穷大,即可在下次寻优过程中排除已匹配点。
Step4:识别远离已识别标志物坐标的最相似点并将其相似度值设置为无穷大;Step3中已经将已识别标志物点的相似度值位置为无穷大,因此在后续寻优时它将被排除在外,具体排出方法如下:
设已识别n个标志物,它们的中心坐标集合R为{(xi,yi)|i=1,2,...,n},在搜索过程中,对于第n+1个标志物,满足:
|xn+1-xi|>9or|yn+1-yi|>9i=1,2,...,n
即认为已满足远离条件,将(xn+1,yn+1)加入已识别中心坐标集合,并设置其相似度为无穷大。
Step5:重复Step4N-1次,完成对所有标志物的识别。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,当识别某一时刻的若干标志物时,对视频中第一帧图片的标志物提取,获得各个标志物的中心坐标后,对于下一帧图片,将寻优区域确定在标志物中心坐标决定的小区域内,算法步骤如下:
Step1:设置上一时刻各标志物中心坐标(xt-1,yt-1);
Step2:建立相似度矩阵;
Step3:在上一时刻各标志物中心坐标附近寻优,确定(xt,yt)。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述在步骤5)中,将标志物在像素坐标系下的位置坐标换算为世界坐标系中的位置坐标的方法为:
将步骤2)中获得的相机内、外参数,以及畸变参数,带入下式:
换算为世界坐标系中的位置坐标。
所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述在步骤6)中,计算预设关键点在世界坐标系中的位置坐标随时间的变化,获得人体部位运动曲线的具体方法为:通过上述标志物的识别,获得视频中一段时间内,随视频帧数变化的标志物中心坐标集合,将其中一个标志物中心坐标绘制散点图,获得该标志物确定的关节点的运动曲线,然后对运动曲线的平滑性进行后处理。
通过采用上述技术,与现有技术相比,本发明的有益效果如下:
1)本发明提供的方法可以较为简单、容易地获取人体部位运动曲线:其基于标志物和特征筛选器对关键点在世界坐标系中的位置进行计算确定,不受人体骨架的模型制约,且对待研究的人体部位有较强的针对性,能够依照实际需求选定关键点;
2)本发明参考人体部位运动曲线,可以使设计更加符合人体的自然运动习惯,提高舒适性,对以符合人体工程学和舒适的人机交互为目标的机械的设计过程具有一定的指导作用;此外,通过对人体部位运动曲线的研究可以掌握人体的生物学特性,有助于对人体结构及运动学特性的深入研究。
附图说明
图1为本发明的标定板示意图;
图2为本发明的世界坐标系、相机坐标系转换示意图;
图3为本发明的相机坐标系、图像坐标系转换示意图;
图4为本发明的图像坐标系、像素坐标系转换示意图;
图5a为本发明的径向枕形畸变(5a)示意图;
图5b为本发明的桶形畸变(5b)示意图;
图6为本发明的切向畸变前示意图;
图7为本发明的特征筛选器工作示意图;
图8为本发明的某一时刻多个标志物的识别算法流程图;
图9为本发明的标志物布置说明图;
图10a为本发明的标定板设计示意图;
图10b为本发明的标定板制作示意图;
图11a为本发明的标定参数计算误差示意图;
图11b为本发明的标定板空间位置图;
图12a为本发明的肩关节标志物运动曲线经滑动平均处理前效果图;
图12b为本发明的髋关节标志物运动曲线经滑动平均处理前效果图;
图12c为本发明的肩关节标志物运动曲线经滑动平均处理后效果图;
图12d为本发明的肩髋关节标志物运动曲线经滑动平均处理后效果图;
图13为本发明的膝关节与踝关节之间的转角变化曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合说明书附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
请参阅图1-13,该实例采用本文提出的一种基于标志物和特征筛选器的简易人体部位运动曲线获取方法对人体由坐姿到站立过程的小腿运动作为研究对象,进行人体部位运动曲线获取,具体步骤如下:
1)将多个标志物粘贴于待获取运动曲线人体部位的关键点:包括标志物选取和标志物布置两步:
标志物选取:
关节点标志物选取原则:1、与人体颜色有明显对比度(黑白最佳);2、由于人体起立是一个动态过程,难免会出现拍摄角度偏差,要求标志物形状对拍摄角度的灵敏度较低;围棋棋子是一个理想的标志物,它满足上述两个原则,在人体起立过程中,拍摄角度变化较小,棋子的圆弧形表面使得在微小角度范围内,其图像形状大致保持不变,同时与人体能有较明显的对比度。
标志物布置:
共布置6个标志物,其中2个标志物在在静止物体上竖直布置,其目的是作为计算参考,另外4个标志物分别布置于人体的肩关节、胯关节、膝关节和踝关节;标志物布置说明图如图9所示。
2)将用于采集待获取运动曲线的人体部位在运动过程中的相应视频文件的相机的位置进行固定,并通过标定板对其进行标定,获得该相机在该固定位置下的相机内、外参数,以及畸变参数:
其中,相机畸变包括径向畸变与切向畸变,径向畸变包括桶形畸变与枕形畸变两种,径向枕形畸变与桶形畸变示意图如图5所示,切向畸变示意图如图6所示;
标定板是摄像头标定的基础,我们设计并制造简易标定板如图10所示;标定板每一单元的实际间距为15mm;利用Matlab标定工具箱进行摄像头标定,输入标定板图片后,得到标定参数计算误差及标定板空间位置如图11所示:
摄像头内参及径向畸变系数如下所示:
表1摄像头径向畸变系数及内参矩阵
由于摄像头外参是随着标定板位置不同而变化的,因此此处不给出具体数值。
其中,通过标定板对相机进行标定,获得该相机在该固定位置下的相机内、外参数的方法采用的是“张正友标定法”:世界坐标系与相机坐标系的变化,是由坐标系的平移和旋转形成的,属于刚性变化,设世界坐标系为 Ow-XwYwZw,相机坐标系为Oc-XcYcZc,其转化示意图如图2所示。设世界坐标系上的点为(xw,yw,zw),相机坐标系上点为(xc,yc,zc),其转换关系为:
其中R为3×3的旋转矩阵,T为3×1的平移矩阵,R,T称为相机外参数。
相机坐标系与图像坐标系的变化,其实质是利用针孔成像原理,将相机坐标系通过相似变换,投影至图像平面,其转化示意图如图3所示。设相机坐标系上点为(xc,yc,zc),图像坐标系上的点为(xI,yI),其转换关系为:
其中f为相机有效焦距。
图像坐标系与像素坐标系的变化,图像坐标系与像素坐标系都是二维图像,图像坐标系位于图像中心,单位为毫米(mm)其变化过程实质就是一个比例换算与坐标系平移,设图像坐标系为OI-XIYI,像素坐标系为Op-XpYp,其转化示意图如图4所示。设图像坐标系上的点为(xI,yI),像素坐标系上点为 (xp,yp),其转换关系为:
其中(xIO,yIO)表示OI点在Op-XpYp坐标系中的位置。
综上,利用上述参数矩阵,从世界坐标系至像素坐标系的转换过程可总结为:
其中等式右边的前两项矩阵称为相机内参数。这两项矩阵可进行合并,将上式改写作:
3)相机在保持步骤2)中所述的固定位置不变的情况下,采集待获取运动曲线的人体部位在运动过程中的相应视频文件。
4)通过特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标:
根据需要识别的图像特征,我们建立特征筛选器Am×n为:
前者为识别物浅色,环境深色的特征筛选器,后者反之;其中特征筛选器的最外层为环境色,中间层为过渡色,内层为标志物的颜色;特征筛选器的最小尺寸为3x3,此时矩阵中无中间过渡层;特征筛选器的大小可根据需要识别的图片大小进行相应的扩充,采用邻近值内插法扩充后,仍可达到良好的识别的效果,必要时可以人为调整,使用前述特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标。
其中,特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标的方法为:
设特征筛选器的数据矩阵为A,维度为m×n,矩阵中元素值为A(i,j),图片中与其匹配对应的子图片记为Bij,子图片中各元素值为Bij(i,j),图片匹配准则为:
即当窗口中各元素的值最接近时,则认为匹配成功,确定窗口的中心坐标为标志物中心点,至此可完成对单个标志物的识别;特征筛选器工作示意图如图7所示。
其中,当识别一副图中的多个标志物时,通过特征筛选器识别就具备了一定难度,需要用特定的算法来实现;某一时刻多个标志物的识别算法流程图如图8所示,在人体曲线获取过程中,视频中每一帧相当于某一时刻的静置图片,其中包括了多个标志物,其识别算法流程如下:
Step1:设置待识别区域与标志物数量N:设置区域有助于减少识别计算量,同时避免了外界的干扰,可以提高识别的效率与准确率;
Step2:建立相似度矩阵C:所述特征筛选器与图片窗口的距离平方和,其本质就是两张图片的相似度,建立与原图大小一致的相似度矩阵,将边缘及非识别区域的相似度距离设置为无穷大即InF,计算各点与特征筛选器的相似度距离;其中,相似度矩阵中任意一点的索引值对应于原图中标志物的中心点坐标;
Step3:识别最相似点并将其相似度值设置为无穷大:建立相似度矩阵后,寻找minCij,即可找到第一个标志物,将其相似度设置为无穷大,即可在下次寻优过程中排除已匹配点;
Step4:识别远离已识别标志物坐标的最相似点并将其相似度值设置为无穷大;Step3中已经将已识别标志物点的相似度值位置为无穷大,因此在后续寻优时它将被排除在外,具体排出方法如下:
设已识别n个标志物,它们的中心坐标集合R为{(xi,yi)|i=1,2,...,n},在搜索过程中,对于第n+1个标志物,满足:
|xn+1-xi|>9or|yn+1-yi|>9i=1,2,...,n
即认为已满足远离条件,将(xn+1,yn+1)加入已识别中心坐标集合,并设置其相似度为无穷大;
Step5:重复Step4N-1次,完成对所有标志物的识别。
其中,当某一时刻对多个标志物进行识别时,主要用于对于视频中第一帧图片的标志物提取,获得各个标志物的中心坐标后,对于下一帧图片,可将寻优区域确定在标志物中心坐标决定的小区域内,由于相邻帧数的图片变动很小,因此这种方法是可靠的;这样做的目的,一方面是减少计算量,另一方面实现了对标志物的跟踪,便于后续提取标志物描绘出的人体曲线;算法步骤如下:
Step1:设置上一时刻各标志物中心坐标(xt-1,yt-1);
Step2:建立相似度矩阵;
Step3:在上一时刻各标志物中心坐标附近寻优,确定(xt,yt)。
5)通过前述步骤2)获得的相机内、外参数,以及畸变参数,将标志物在像素坐标系下的位置坐标换算为世界坐标系中的位置坐标,即为关键点在世界坐标系中的位置坐标:通过在步骤2)获得的相机内、外参数,以及畸变参数,带入下式:
换算为世界坐标系中的位置坐标。
6)计算关键点在世界坐标系中的位置坐标随时间的变化,便可获得身体人体部位运动曲线:
通过上述标志物的识别,我们可以获得视频中一段时间内,随视频帧数变化的标志物中心坐标集合;将某一标志物中心坐标绘制散点图,我们可以大致获得该标志物确定的关节点的运动曲线,但是这样获得图片平滑性较差,因此需要进行后处理;
识别算法稳定性较好,在处理计算标志物中心坐标过程中,未出现大偏离,因此分析得到曲线欠平滑的主要原因是:标志物中心区域分布多个像素点,相邻两帧图片标志物几乎处于同一位置,使得识别中心坐标存在一定的波动性;滑动平均滤波法,可以有效地解决波动性引起的欠平滑问题。
i=n-1,n处理方式相同,对于其他位置的序列,处理如下:
曲线经滑动平均处理前后效果图如图12所示。
由此可以提取小腿在人体由坐姿到站立过程中的姿转角,该姿转角由膝关节与踝关节之间的转角表征;计算关节转角的具体过程如下,记2个参考标志物确定的参考向量为记关节标志物确定的向量为则其关节转角即计算向量间的余弦夹角:
提取到膝关节与踝关节之间的转角变化曲线如图13所示,计算得到膝关节与踝关节之间的最大转角约为14°。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于包括以下步骤:
1)将若干个标志物粘贴于待获取运动曲线人体部位的预设关键点位置;
2)将用于采集待获取运动曲线的人体部位在运动过程中的相应视频文件的相机位置进行固定,并通过标定板对其进行标定,获得该相机在该固定位置下的相机内、外参数以及畸变参数;
3)在步骤2)中相机位置固定不变的情况下,使用相机采集待获取运动曲线人体部位在运动过程中的相应视频文件;
4)通过特征筛选器确定视频文件每一帧中标志物在像素坐标系下的位置坐标;
5)通过步骤2)中获得的相机内、外参数以及畸变参数,将标志物在像素坐标系下的位置坐标换算为世界坐标系中的位置坐标,即为预设关键点在世界坐标系中的位置坐标;
6)计算预设关键点在世界坐标系中的位置坐标随时间的变化,即可获得人体部位运动曲线。
3.根据权利要求1所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述在步骤2)中,标定板为国际象棋棋盘格式黑白相间正方形组成的阵列,每个正方形称为一个单元,每一单元的实际距离为其特征量。
5.根据权利要求1所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,所述特征筛选器是一个在图片中移动的窗口,其本质是一个数据矩阵,特征筛选器的建立,需要根据标志物的图像特征确定。
7.根据权利要求1所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,当识别一副图中的若干个标志物时,采用特定的算法来实现,其识别算法流程如下:
Step1:设置待识别区域与标志物数量N:设置区域有助于减少识别计算量,同时避免了外界的干扰,可以提高识别的效率与准确率。
Step2:建立相似度矩阵C:所述特征筛选器与图片窗口的距离平方和,其本质是两张图片的相似度,建立与原图大小一致的相似度矩阵,将边缘及非识别区域的相似度距离设置为无穷大即InF,计算各点与特征筛选器的相似度距离;其中,相似度矩阵中任意一点的索引值对应于原图中标志物的中心点坐标。
Step3:识别最相似点并将其相似度值设置为无穷大:建立相似度矩阵后,寻找min Cij,即可找到第一个标志物,将其相似度设置为无穷大,即可在下次寻优过程中排除已匹配点。
Step4:识别远离已识别标志物坐标的最相似点并将其相似度值设置为无穷大;Step3中已经将已识别标志物点的相似度值位置为无穷大,因此在后续寻优时它将被排除在外,具体排出方法如下:
设已识别n个标志物,它们的中心坐标集合R为{(xi,yi)|i=1,2,...,n},在搜索过程中,对于第n+1个标志物,满足:
|xn+1-xi|>9 or|yn+1-yi|>9i=1,2,...,n
即认为已满足远离条件,将(xn+1,yn+1)加入已识别中心坐标集合,并设置其相似度为无穷大。
Step5:重复Step4 N-1次,完成对所有标志物的识别。
8.根据权利要求1所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述步骤4)中,当识别某一时刻的若干标志物时,对视频中第一帧图片的标志物提取,获得各个标志物的中心坐标后,对于下一帧图片,将寻优区域确定在标志物中心坐标决定的小区域内,算法步骤如下:
Step1:设置上一时刻各标志物中心坐标(xt-1,yt-1);
Step2:建立相似度矩阵;
Step3:在上一时刻各标志物中心坐标附近寻优,确定(xt,yt)。
10.根据权利要求1所述的一种基于标志物和特征筛选器的简易人体曲线获取方法,其特征在于所述在步骤6)中,计算预设关键点在世界坐标系中的位置坐标随时间的变化,获得人体部位运动曲线的具体方法为:通过上述标志物的识别,获得视频中一段时间内,随视频帧数变化的标志物中心坐标集合,将其中一个标志物中心坐标绘制散点图,获得该标志物确定的关节点的运动曲线,然后对运动曲线的平滑性进行后处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286393.2A CN111627043B (zh) | 2020-04-13 | 2020-04-13 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010286393.2A CN111627043B (zh) | 2020-04-13 | 2020-04-13 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111627043A true CN111627043A (zh) | 2020-09-04 |
CN111627043B CN111627043B (zh) | 2023-09-19 |
Family
ID=72258837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010286393.2A Active CN111627043B (zh) | 2020-04-13 | 2020-04-13 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111627043B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991465A (zh) * | 2021-03-26 | 2021-06-18 | 禾多科技(北京)有限公司 | 相机标定方法、装置、电子设备和计算机可读介质 |
CN113688907A (zh) * | 2021-08-25 | 2021-11-23 | 北京百度网讯科技有限公司 | 模型训练、视频处理方法,装置,设备以及存储介质 |
WO2023103884A1 (zh) * | 2021-12-10 | 2023-06-15 | 杭州海康威视数字技术股份有限公司 | 对象模型建立方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258891A (ja) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dモーションキャプチャ方法および装置 |
CN103247048A (zh) * | 2013-05-10 | 2013-08-14 | 东南大学 | 一种基于二次曲线与直线的摄像机混合标定方法 |
CN104036488A (zh) * | 2014-05-04 | 2014-09-10 | 北方工业大学 | 一种基于双目视觉的人体姿态动作研究方法 |
US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
CN105498100A (zh) * | 2015-12-31 | 2016-04-20 | 上海联影医疗科技有限公司 | 一种监测生理运动曲线和体表轮廓的方法及系统 |
CN107065895A (zh) * | 2017-01-05 | 2017-08-18 | 南京航空航天大学 | 一种植保无人机定高技术 |
CN108122013A (zh) * | 2017-12-29 | 2018-06-05 | 重庆锐纳达自动化技术有限公司 | 一种跟随运动中排除非跟随目标的方法 |
CN109635614A (zh) * | 2018-12-18 | 2019-04-16 | 深圳市爱智慧科技有限公司 | 一种非接触式人体数据采集方法 |
WO2019237536A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
-
2020
- 2020-04-13 CN CN202010286393.2A patent/CN111627043B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005258891A (ja) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 3dモーションキャプチャ方法および装置 |
CN103247048A (zh) * | 2013-05-10 | 2013-08-14 | 东南大学 | 一种基于二次曲线与直线的摄像机混合标定方法 |
US20140334668A1 (en) * | 2013-05-10 | 2014-11-13 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
CN104036488A (zh) * | 2014-05-04 | 2014-09-10 | 北方工业大学 | 一种基于双目视觉的人体姿态动作研究方法 |
CN105498100A (zh) * | 2015-12-31 | 2016-04-20 | 上海联影医疗科技有限公司 | 一种监测生理运动曲线和体表轮廓的方法及系统 |
CN107065895A (zh) * | 2017-01-05 | 2017-08-18 | 南京航空航天大学 | 一种植保无人机定高技术 |
CN108122013A (zh) * | 2017-12-29 | 2018-06-05 | 重庆锐纳达自动化技术有限公司 | 一种跟随运动中排除非跟随目标的方法 |
WO2019237536A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109635614A (zh) * | 2018-12-18 | 2019-04-16 | 深圳市爱智慧科技有限公司 | 一种非接触式人体数据采集方法 |
Non-Patent Citations (2)
Title |
---|
SIJIN LI 等: ""Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network"", pages 488 - 495 * |
杜浩东: ""基于立体视觉的运动目标轨迹测量的研究"", vol. 2015, no. 10, pages 138 - 366 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991465A (zh) * | 2021-03-26 | 2021-06-18 | 禾多科技(北京)有限公司 | 相机标定方法、装置、电子设备和计算机可读介质 |
CN113688907A (zh) * | 2021-08-25 | 2021-11-23 | 北京百度网讯科技有限公司 | 模型训练、视频处理方法,装置,设备以及存储介质 |
CN113688907B (zh) * | 2021-08-25 | 2023-07-21 | 北京百度网讯科技有限公司 | 模型训练、视频处理方法,装置,设备以及存储介质 |
WO2023103884A1 (zh) * | 2021-12-10 | 2023-06-15 | 杭州海康威视数字技术股份有限公司 | 对象模型建立方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111627043B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111627043A (zh) | 一种基于标志物和特征筛选器的简易人体曲线获取方法 | |
CN107993258B (zh) | 一种图像配准方法及装置 | |
CN113177977B (zh) | 一种非接触式三维人体尺寸的测量方法 | |
CN108926355A (zh) | 用于站立对象的x射线系统和方法 | |
CN107084680B (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
CN109191416A (zh) | 基于稀疏字典学习和剪切波的图像融合方法 | |
CN109118544A (zh) | 基于透视变换的合成孔径成像方法 | |
CN114119739A (zh) | 一种基于双目视觉的手部关键点空间坐标获取方法 | |
Wang et al. | Automatic fundus images mosaic based on SIFT feature | |
CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
Tajdari et al. | Dynamic 3d mesh reconstruction based on nonrigid iterative closest-farthest points registration | |
CN113674402A (zh) | 植物三维高光谱点云模型生成方法、校正方法及其装置 | |
CN110349206B (zh) | 一种人体对称性检测的方法和相关装置 | |
CN115661862A (zh) | 一种基于压力视觉卷积模型的坐姿样本集自动标注方法 | |
CN105654479A (zh) | 多光谱图像配准方法和装置 | |
CN114677322A (zh) | 基于注意力引导点云特征学习的奶牛体况自动评分方法 | |
CN112215878B (zh) | 一种基于surf特征点的x光图像配准方法 | |
CN101661623A (zh) | 基于线性规划的变形体三维跟踪方法 | |
CN113674395A (zh) | 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建系统 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
Hanaizumi et al. | A Method for Measuring Three-Dimensional Human Joint Movements in Walking | |
CN107492119B (zh) | 基于双竞争性相位相关影像金字塔的掌纹roi匹配方法 | |
CN115937969A (zh) | 仰卧起坐考核中目标人物的确定方法、装置、设备及介质 | |
Liu et al. | New anti-blur and illumination-robust combined invariant for stereo vision in human belly reconstruction | |
Stancic et al. | Computer vision system for human anthropometric parameters estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |