CN105701822B - 基于二维图像的提取人体侧面腿部骨架的方法 - Google Patents
基于二维图像的提取人体侧面腿部骨架的方法 Download PDFInfo
- Publication number
- CN105701822B CN105701822B CN201610024240.4A CN201610024240A CN105701822B CN 105701822 B CN105701822 B CN 105701822B CN 201610024240 A CN201610024240 A CN 201610024240A CN 105701822 B CN105701822 B CN 105701822B
- Authority
- CN
- China
- Prior art keywords
- leg
- human
- human body
- binary map
- skeleton
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于二维图像的提取人体侧面腿部骨架的方法，通过对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度；然后搜索得到脊柱底部坐标，并分割出人体腿部区域二值图；再从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新，并从更新后的大腿区域二值图中提取人体脚踝骨架点，并判断所得腿部骨架为左腿还是右腿；最后依次连接得到的脊柱底部坐标、左右腿的人体膝盖骨架点和人体脚踝骨架点，并判断两个单侧腿部骨架的左右侧，得到完整的人体腿部骨架。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于二维图像的提取人体侧面腿部骨架的方法。
背景技术
人体腿部骨架的提取一直是在计算机视觉领域中非常重要的研究课题。提取人体腿部骨架的信息具有十分重要的意义。其一，人体的腿部骨架本身就是一种人的运动行为，我们可以从中知道人体的腿部姿态和行为，比如：腿部骨架的位置可以用于识别人走路、抬腿、跑步等动作；其二，人体的腿部骨架信息可以作为一种中间信息，帮助理解更复杂的人的运动行为，比如：腿部骨架信息可以用于人的步态分析。
经过对现有技术的文献检索发现，目前正面的腿部骨架提取已经得到较好效果，但是人体侧身时，由于关节间严重遮挡等问题，效果仍然具有较大局限性。比如，Shotton等人在《Communications of the ACM》2013年第56卷第1期上发表的论文“Real-time humanpose recognition in parts from single depth images”提出了使用随机森林的方法实时获得整体人体骨架，腿部骨架可以直接从整体骨架中选取。但是该方法在人体侧身时骨架提取精确度较低，其次该方法需要使用特殊的硬件，即深度摄像头。雷涛等人在《计算机应用研究》2010年第27卷第8期上发表的论文《复杂环境下的运动人体骨架提取算法术》中采用卡尔曼滤波的方法预测人体骨架点的位置。但是该方法需要人工标定前两帧的数据用于卡尔曼滤波的初始值，导致该方法只能用于后期的视频分析。
因此，对上述现有技术的问题分析促使我们去寻找一种更加简单又提取效果好的基于二维图像提取人体侧面时腿部骨架的方法，并希望该方法不使用特殊的硬件即深度摄像头、不需要人工标定预处理，并可以用于实时的检测提取。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于二维图像的提取人体侧面腿部骨架的方法，通过用自定义的腿部模型匹配人体腿部区域，得到最佳匹配时的腿部骨架点位置。
本发明是通过以下技术方案实现的：
本发明包括以下步骤：
步骤一，对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度；
步骤二，以人体高度数值的一半为纵坐标搜索得到脊柱底部坐标，并分割出人体腿部区域二值图；
步骤三，从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新；
步骤四，从更新后的大腿区域二值图中提取人体脚踝骨架点；
步骤五，依次连接得到的脊柱底部坐标、人体膝盖骨架点和人体脚踝骨架点，得到两条单侧腿部骨架；
步骤六，判断所得两条单侧腿部骨架的左、右侧，最终得到完整的人体腿部骨架。
技术效果
与现有技术相比，本发明所述的方法可以在人体侧面场景下精确提取人体腿部骨架点位置。实验表明，Shotton等人在《Communications of the ACM》2013年第56卷第1期上发表的论文“Real-time human pose recognition in parts from single depthimages”的算法在人体侧面时腿部骨架点位置平均提取误差在14.79像素/骨架点，本发明的平均提取误差在5.21像素/骨架点，效果优于上述算法。同时经过测试，本发明所述的方法平均耗时仅15.8ms，可以在实时的系统中使用。
附图说明
图1是人体腿部骨架的示意图；
图2是判断人体侧面的朝向示意图；
图3是本发明方法的流程图。
具体实施方式
本实施例包括以下步骤:
步骤一，对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度，具体为：
1.1采集若干帧场景的彩色背景图，对这些彩色背景图的像素值求平均值，得到平均场景背景图B。
1.2采集人体直立时的彩色图F，使用帧差法得到人体前景二值图I＝F-B，计算前景图中人体的高度l，设置人体腿部骨骼长度为取多帧人体直立时的彩色图，将得到的腿部骨骼长度平均后得到人体腿部骨骼估计长度lbone。
所述的坐标系，x轴为图像长度方向，y轴为图像宽度方向。
步骤二，以人体高度数值的一半为纵坐标搜索得到脊柱底部坐标，并分割出人体腿部区域二值图，具体步骤为：
2.1取前景图中的人体高度数值的一半作为yb；
2.2在高度为yb的人体前景区域行里搜索离人体前景区域边界最远的一点，即脊柱底部的坐标pbase＝(xb,yb)；
2.3分割前景人体区域，区域的下半部分为人体腿部区域二值图Ileg。
步骤三，从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新，具体步骤如下：
3.1两个膝盖的坐标点为： 和分别为人体两条大腿与x轴的夹角，均设置初始值为0。
3.2以为中轴线，划分出宽度为的矩形区域为生成的大腿区域二值图Ithigh；
3.3找到使大腿区域二值图Ithigh和人体腿部区域二值图Ileg的重合面积最大时，即得和从而得到对应的膝盖骨架点位置和根据该膝盖骨架点位置生成的更新后大腿区域二值图为
步骤四，从更新后的大腿区域二值图中提取人体脚踝骨架点，具体步骤如下：
4.1根据更新后大腿区域二值图求得非大腿区域二值图
4.2两个脚踝的坐标点分别为 和为人体两条小腿与x轴的夹角，均设置初始值为0。
4.3以为中轴线，画出宽度为的矩形区域为小腿区域二值图Icalf；
4.4找到使小腿区域二值图Icalf和非大腿区域二值图Ileg’的重合面积最大时，即的和从而得到对应的脚踝骨架点位置和
3.3和4.4中所述的寻找最大重合面积的方法使用Kennedy在2010年所著的由Springer出版的《Encyclopedia of Machine Learning》一书中提到的粒子群优化算法。
步骤五，依次连接得到的脊柱底部坐标、人体膝盖骨架点和人体脚踝骨架点，得到两条单侧腿部骨架；
步骤六，判断所得两条单侧腿部骨架的左、右侧，具体步骤如下：
6.1判断脚踝处人体前景区域里脚掌的朝向，得到人体侧面朝向姿态；
所述的判断方法为：遍历脚踝处的人体前景边缘点，计算每个点到脚踝骨架点之间水平方向上的距离，找到距离最大的点。如果该点在脚踝点的左侧，则人体朝向左侧，人体右侧靠前；否则，人体朝向右侧，人体左侧靠前；
6.2对彩色图中人体腿部区域的纹理进行边缘提取，得到边缘图E。本实施例中，使用Canny在1986年《IEEE Transactions on Pattern Analysis and MachineIntelligence》上发表的论文“A computational approach to edge detection”中提到的方法进行边缘提取；
6.3找出单侧完整骨架中穿越图E中边缘较少的骨架，并进一步判断：当步骤6.1中得到左侧人体靠前，则该骨架为左腿骨架，另一条骨架为右腿骨架；当右侧人体靠前，则该骨架为右腿骨架，另一条骨架为左腿骨架。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (5)
1.一种基于二维图像的提取人体侧面腿部骨架的方法，其特征在于，包括以下步骤：
步骤一，对采集到的场景的彩色图设置坐标系并进行预处理，根据人体直立时的彩色图与平均场景背景图得到人体前景二值图和人体腿部骨骼估计长度；
步骤二，以人体高度数值的一半为纵坐标搜索得到脊柱底部坐标，并分割出人体腿部区域二值图，具体包括以下步骤：
2.1取前景图中的人体高度数值的一半作为yb；
2.2在高度为yb的人体前景区域行里搜索离人体前景区域边界最远的一点，即脊柱底部的坐标pbase＝(xb,yb)；
2.3分割前景人体区域，区域的下半部分为人体腿部区域二值图Ileg；
步骤三，从人体腿部区域二值图中提取出人体膝盖骨架点坐标，并对大腿区域二值图进行更新，具体包括以下步骤：
3.1两个膝盖的坐标点为： 和分别为人体两条大腿与x轴的夹角，lbone为人体腿部骨骼估计长度；
3.2以为中轴线，划分出宽度为的矩形区域为生成的大腿区域二值图Ithigh；
3.3找到使大腿区域二值图Ithigh和人体腿部区域二值图Ileg的重合面积最大时，即的和从而得到对应的膝盖骨架点位置和根据该膝盖骨架点位置生成的更新后大腿区域二值图为
步骤四，从更新后的大腿区域二值图中提取人体脚踝骨架点，并判断所得腿部骨架为左腿还是右腿；
步骤五，依次连接得到的脊柱底部坐标、人体膝盖骨架点和人体脚踝骨架点，得到两条单侧腿部骨架；
步骤六，判断所得两条单侧腿部骨架的左、右侧，最终得到完整的人体腿部骨架。
2.根据权利要求1所述的方法，其特征是，所述的步骤一，具体包括以下步骤：
1.1采集若干帧场景的彩色背景图，对这些彩色背景图的像素值求平均值，得到平均场景背景图B；
1.2采集人体直立时的彩色图F，使用帧差法得到人体前景二值图I＝F-B，计算前景图中人体的高度l，设置人体腿部骨骼长度为取多帧人体直立时的彩色图，将得到的腿部骨骼长度平均后得到人体腿部骨骼估计长度lbone。
3.根据权利要求1所述的方法，其特征是，所述的提取人体脚踝骨架点，具体包括以下步骤：
4.1根据更新后大腿区域二值图求得非大腿区域二值图
4.2两个脚踝的坐标点分别为 和为人体两条小腿与x轴的夹角；
4.3以为中轴线，画出宽度为的矩形区域为小腿区域二值图Icalf；
4.4找到使小腿区域二值图Icalf和非大腿区域二值图Ileg’的重合面积最大时，即的和从而得到对应的脚踝骨架点位置和
4.根据权利要求3所述的方法，其特征是，所述的判断所得两条单侧腿部骨架的左、右侧，具体包括以下步骤：
6.1判断脚踝处人体前景区域里脚掌的朝向，得到人体侧面朝向姿态；
6.2对彩色图中人体腿部区域的纹理进行边缘提取，得到边缘图E；
6.3找出单侧腿部骨架2中穿越图E中边缘较少的骨架，并进一步判断：当步骤6.1中得到左侧人体靠前，则该骨架为左腿骨架，另一条骨架为右腿骨架；当右侧人体靠前，则该骨架为右腿骨架，另一条骨架为左腿骨架。
5.根据权利要求4所述的方法，其特征是，所述的人体侧面朝向姿态，通过以下方式判断得到：遍历脚踝处的人体前景边缘点，计算每个点到脚踝骨架点之间水平方向上的距离，找到距离最大的点：当该点在脚踝点的左侧，则人体朝向左侧，人体右侧靠前；否则，人体朝向右侧，人体左侧靠前。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610024240.4A CN105701822B (zh) | 2016-01-15 | 2016-01-15 | 基于二维图像的提取人体侧面腿部骨架的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610024240.4A CN105701822B (zh) | 2016-01-15 | 2016-01-15 | 基于二维图像的提取人体侧面腿部骨架的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105701822A CN105701822A (zh) | 2016-06-22 |
| CN105701822B true CN105701822B (zh) | 2018-05-08 |
Family
ID=56226137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610024240.4A Active CN105701822B (zh) | 2016-01-15 | 2016-01-15 | 基于二维图像的提取人体侧面腿部骨架的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105701822B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108597578B (zh) * | 2018-04-27 | 2021-11-05 | 广东省智能制造研究所 | 一种基于二维骨架序列的人体运动评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599177A (zh) * | 2009-07-01 | 2009-12-09 | 北京邮电大学 | 一种基于视频的人体肢体运动的跟踪方法 |
| CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
| CN103123689A (zh) * | 2013-01-21 | 2013-05-29 | 信帧电子技术（北京）有限公司 | 一种基于人腿检测的奔跑检测方法和装置 |
| KR20140114741A (ko) * | 2013-03-19 | 2014-09-29 | 삼성전자주식회사 | 인체 포즈 추정 장치 및 방법 |
| CN104834893A (zh) * | 2015-03-13 | 2015-08-12 | 燕山大学 | 一种正面视角的行人步态周期检测方法 |
-
2016
- 2016-01-15 CN CN201610024240.4A patent/CN105701822B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599177A (zh) * | 2009-07-01 | 2009-12-09 | 北京邮电大学 | 一种基于视频的人体肢体运动的跟踪方法 |
| CN102622766A (zh) * | 2012-03-01 | 2012-08-01 | 西安电子科技大学 | 多目标优化的多镜头人体运动跟踪方法 |
| CN103123689A (zh) * | 2013-01-21 | 2013-05-29 | 信帧电子技术（北京）有限公司 | 一种基于人腿检测的奔跑检测方法和装置 |
| KR20140114741A (ko) * | 2013-03-19 | 2014-09-29 | 삼성전자주식회사 | 인체 포즈 추정 장치 및 방법 |
| CN104834893A (zh) * | 2015-03-13 | 2015-08-12 | 燕山大学 | 一种正面视角的行人步态周期检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Real-time human pose recognition in parts from single depth images;A. Blake 等;《Computer Vision and Pattern Recognition》;20110625;第1297-1304页 * |
| 一种基于Hough变换的步态特征提取方法的研究;禹晶 等;《中国图象图形学报》;20051031;第10卷(第10期);第1304-1309页 * |
| 基于凸壳与有向包围盒的骨架提取方法;林佼 等;《计算机辅助设计与图形学学报》;20120630;第24卷(第6期);第793-798页 * |
| 基于空间颜色特征的行人重识别方法;张华;《华中科技大学学报（自然科学版）》;20131231;第41卷;第209-212页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105701822A (zh) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417775B2 (en) | Method for implementing human skeleton tracking system based on depth data | |
| CN102609683B (zh) | 一种基于单目视频的人体关节自动标注方法 | |
| Xia et al. | Human detection using depth information by kinect | |
| CN109934848B (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
| CN102074034B (zh) | 多模型人体运动跟踪方法 | |
| CN110555412B (zh) | 基于rgb和点云相结合的端到端人体姿态识别方法 | |
| Cai et al. | Multi-object detection and tracking by stereo vision | |
| WO2012077286A1 (ja) | 物体検出装置および物体検出方法 | |
| CN105469113A (zh) | 一种二维视频流中的人体骨骼点追踪方法及系统 | |
| WO2005088244A1 (ja) | 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置 | |
| CN102800126A (zh) | 基于多模态融合的实时人体三维姿态恢复的方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN107392086A (zh) | 人体姿态的评估装置、系统及存储装置 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
| CN109919137B (zh) | 一种行人结构化特征表达方法 | |
| CN111582158A (zh) | 一种基于人体姿态估计的摔倒检测方法 | |
| CN112966628A (zh) | 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法 | |
| CN110516639A (zh) | 一种基于视频流自然场景的人物三维位置实时计算方法 | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN105701822B (zh) | 基于二维图像的提取人体侧面腿部骨架的方法 | |
| Chai et al. | Human gait recognition: approaches, datasets and challenges | |
| CN110765925B (zh) | 基于改进的孪生神经网络的携带物检测与步态识别方法 | |
| CN104331705B (zh) | 融合时空信息的步态周期自动检测方法 | |
| Wang et al. | Facial feature extraction and tracking in video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |