CN110032932B - 一种基于视频处理和决策树设定阈值的人体姿态识别方法 - Google Patents
一种基于视频处理和决策树设定阈值的人体姿态识别方法 Download PDFInfo
- Publication number
- CN110032932B CN110032932B CN201910172226.2A CN201910172226A CN110032932B CN 110032932 B CN110032932 B CN 110032932B CN 201910172226 A CN201910172226 A CN 201910172226A CN 110032932 B CN110032932 B CN 110032932B
- Authority
- CN
- China
- Prior art keywords
- human body
- posture
- human
- image
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003066 decision tree Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 230000036544 posture Effects 0.000 claims abstract description 227
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Abstract
一种基于视频处理和决策树设定阈值的人体姿态识别方法，属于人体姿态识别技术，目的是为了解决现有的基于视频处理的人体姿态识别算法在区分不同姿态时会出现很大误差，识别效果较差的问题。本发明所述的方法为：判断工作模式是否为人姿态数据库建立，当判断结果为是时，执行基于决策树的人体姿态特征阈值区间数据库建立步骤；否则，执行基于人体姿态特征阈值区间匹配的姿态识别步骤，通过决策树分类器确定不同人体各个姿态的阈值区间，利用多个人体姿态特征对同一姿态进行判定，克服了传统姿态识别中阈值设置固定的缺点，提高了姿态识别的准确率。
Description
技术领域
本发明属于人体姿态识别技术。
背景技术
人体姿态识别在计算机视觉领域中是一个有着很大发展潜力的研究方向，也是模式识别和人工智能领域中很重要的一个研究方向，其在虚拟现实、人机交互、安防监控、医疗辅助、智能家居、体育训练等领域有着广泛应用。
人体姿态识别根据原始数据的方式主要分为两类：非视觉传感器采集数据方式和视觉传感器采集数据方式。基于非视觉的方式通过可穿戴式传感器或者布设在人体活动区域内的传感器采集其运动信息数据，如人体运动的加速度、角速度等信息，虽然该方案采集到的数据进行简单的筛选和处理就可以用于后期的姿态识别，但是这种方案需要人保证设备穿戴在固定的位置或对活动区域内的环境进行改造，人一般都会对可穿戴的设备有着抵触心理且容易遗忘，用户体验较差，而改造活动环境成本较高。基于视觉的方式通过在人体活动区域安放摄像头，利用摄像头采集人体的运动图像序列，结合图像处理算法实现对人体图像的标记，获得多种人体姿态特征数据，如人体高宽比、人体中心变化率等，该方案获取的特征数据虽然在筛选和分类较为复杂，但该方案系统组成简单，成本低廉。
目前基于视频处理的人体姿态识别算法中，多是将获得的人体姿态特征数据用于姿态识别，各个姿态的识别利用固定单一的姿态特征阈值，而且在设定姿态特征阈值时主要通过经验或者取数据平均值等方法，不仅在区分不同姿态时会出现很大误差，还不适用于身型不同的目标，识别的效果较差。
发明内容
本发明的目的是为了解决现有的基于视频处理的人体姿态识别算法在区分不同姿态时会出现很大误差，识别效果较差的问题，提供一种基于视频处理和决策树设定阈值的人体姿态识别方法。
本发明所述的一种基于视频处理和决策树设定阈值的人体姿态识别方法为：判断工作模式是否为人姿态数据库建立，当判断结果为是时，执行基于决策树的人体姿态特征阈值区间数据库建立步骤；否则，执行基于人体姿态特征阈值区间匹配的姿态识别步骤；
所述基于决策树的人体姿态特征阈值区间数据库建立步骤包括：
第一人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的多帧视频图像，该视频图像为人体彩色图像；
第一图像预处理步骤：对获取到的多帧人体彩色图像进行预处理，然后将人体图像从所述彩色图像中分离；
第一人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线分别对多帧人体图像中的人体目标进行标记；
第一人体姿态特征数据计算步骤：计算多帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态特征阈值设定步骤：通过决策树对获得的多个人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间，然后执行数据库更新判断步骤；
数据库更新判断步骤：判断所述人体姿态特征阈值数据是否满足人体姿态数据库更新条件，如果是，执行数据库更新步骤；否则，返回第一人体视频采集步骤采集下一用户的视频；
数据库更新步骤：将本次采集到的人体姿态特征数据加入到原数据库中，并将该人体姿态特征数据获得的各姿态的人体姿态特征阈值区间端点与原数据库中已经存储的对应姿态的各人体姿态特征阈值区间端点比较，若本次的采集到的各个姿态的人体姿态特征数据阈值全部在原始数据库的阈值区间内，则不进行数据库更新；否则，将该姿态特征数据阈值和对应的原数据库的人体姿态特征数据阈值进行比较之后进行更新，
所述人体姿态特征阈值区间匹配的姿态识别步骤包括：
第二人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的单视频图像，然后执行图像预处理步骤；
第二图像预处理步骤：对获取到的单帧人体的彩色图像进行预处理，然后将人体图像从所述彩色图像中分离，然后执行人体目标标记步骤；
第二人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线对单帧人体图像中的人体目标进行标记，然后执行人体姿态特征数据计算步骤；
第二人体姿态特征数据计算步骤：计算单帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态判定步骤：利用数据库中各姿态的人体姿态特征阈值区间完成对人体姿态的判定。
进一步地，所述第一图像预处理步骤以及第二图像预处理步骤中，对获取到的人体的彩色图像进行预处理包括将采集到的彩色图像进行灰度化、背景减除、二值化和形态学运算。
进一步地，所述第一人体姿态特征数据计算步骤以及第二人体姿态特征数据计算步骤中，采集的人体姿态特征数据包括：通过最小矩形框标记之后计算出的人体的高宽比、人体像素面积占最小矩形框面积的有效面积比、人体中心高度变化和人体倾斜度。
进一步地，所述人体姿态特征阈值设定步骤中，利用决策树对获得的人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间的具体方法为：将每帧图像的人体姿态特征作为分类的属性，通过N种姿态对N×n个姿态图像进行分组，每两个姿态的人体姿态特征数据作为一组送入决策树分类器，经过分类得到每个姿态各个属性的阈值，并组成阈值区间，其中N为偶数。
本发明采用视频式方案结合数字图像处理技术获取多种人体姿态特征数据，自建人体姿态数据库并使用决策树分类方法确定阈值区间实现人体姿态的识别，相比穿戴式姿态识别方法依靠单一的加速度特征有更高的准确率，相比环境布设式识别方法成本更低、实现更容易；在图像处理过程中选择最小亮度值进行灰度化，采用均值法构建背景模型实现背景差分，使用形态学滤波的方案对前景图像进行优化，相比传统的背景差分法能够更好的提取人体目标；在人体标记时采用隔列隔行扫描的方式，提升了标记的速度；在姿态阈值设定时根据自建人体姿态数据库，通过决策树分类器确定不同人体各个姿态的阈值区间，利用多个人体姿态特征对同一姿态进行判定，克服了传统姿态识别中阈值设置固定的缺点，提高了姿态识别的准确率。
附图说明
图1是实施方式所述的一种基于视频处理和决策树设定阈值的人体姿态识别方法的流程图；
图2是实施方式中基于决策树的人体姿态特征阈值区间数据库建立步骤的流程图；
图3是实施方式中人体姿态特征阈值区间匹配的姿态识别步骤的流程图；
图4是实施方式中，基于决策树的人体姿态特征阈值区间数据库建立和人体姿态特征阈值区间匹配的姿态识别过程中，视频采集的流程图；
图5是实施方式中图像预处理步骤的流程图；
图6是实施方式中人体目标标记的原理示意图；
图7是实施方式中决策树阈值设定的流程图；
图8是实施方式中人体姿态识别的流程图。
具体实施方式
结合图1至图8说明本实施方式，本实施方式所述的一种基于视频处理和决策树设定阈值的人体姿态识别方法为：判断工作模式是否为人姿态数据库建立，当判断结果为是时，执行基于决策树的人体姿态特征阈值区间数据库建立步骤；否则，执行基于人体姿态特征阈值区间匹配的姿态识别步骤；如图1所示。
基于决策树的人体姿态特征阈值区间数据库建立步骤如图2所示，包括人体视频采集、图像预处理、人体目标标记、人体姿态特征数据计算、决策树设定人体姿态特征阈值区间、判断是否满足人体姿态数据库、数据库更新。
人体姿态特征阈值区间匹配的姿态识别步骤包括人体视频采集、图像预处理、人体目标标记、人体姿态特征数据计算、人体姿态判定。
其中，基于决策树的人体姿态特征阈值区间数据库建立步骤和人体姿态特征阈值区间匹配的姿态识别步骤中的人体视频采集、图像预处理、人体目标标记和人体姿态特征数据计算的原理相同，只是前者是处理多帧数据，后者是处理单帧数据。
所述基于决策树的人体姿态特征阈值区间数据库建立步骤如图2所示，具体包括：
第一人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的多帧视频图像，该视频图像为人体彩色图像；
第一图像预处理步骤：对获取到的多帧人体彩色图像进行预处理，然后将人体图像从所述彩色图像中分离；
第一人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线分别对多帧人体图像中的人体目标进行标记；
第一人体姿态特征数据计算步骤：计算多帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态特征阈值设定步骤：通过决策树对获得的多个人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间，然后执行数据库更新判断步骤；
数据库更新判断步骤：判断所述人体姿态特征阈值数据是否满足人体姿态数据库更新条件，如果是，执行数据库更新步骤；否则，返回第一人体视频采集步骤采集下一用户的视频；
数据库更新步骤：将本次采集到的人体姿态特征数据加入到原数据库中，并将该人体姿态特征数据获得的各姿态的人体姿态特征阈值区间端点与原数据库中已经存储的对应姿态的各人体姿态特征阈值区间端点比较，若本次的采集到的各个姿态的人体姿态特征数据阈值全部在原始数据库的阈值区间内，则不进行数据库更新；否则，将该姿态特征数据阈值和对应的原数据库的人体姿态特征数据阈值进行比较之后进行更新。
所述人体姿态特征阈值区间匹配的姿态识别步骤如图3所示，具体包括：
第二人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的单视频图像，然后执行图像预处理步骤；
第二图像预处理步骤：对获取到的单帧人体的彩色图像进行预处理，然后将人体图像从所述彩色图像中分离，然后执行人体目标标记步骤；
第二人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线对单帧人体图像中的人体目标进行标记，然后执行人体姿态特征数据计算步骤；
第二人体姿态特征数据计算步骤：计算单帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态判定步骤：利用数据库中各姿态的人体姿态特征阈值区间完成对人体姿态的判定。
所述第一图像预处理步骤以及第二图像预处理步骤中，对获取到的人体的彩色图像进行预处理包括将采集到的彩色图像进行灰度化、背景减除、二值化和形态学运算。
所述第一人体姿态特征数据计算步骤以及第二人体姿态特征数据计算步骤中，采集的人体姿态特征数据包括：通过最小矩形框标记计算出的人体的高宽比、人体像素面积占最小矩形框面积的有效面积比、人体中心高度变化和人体倾斜度。
所述人体姿态特征阈值设定步骤中，利用决策树对获得的人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间的具体方法为：将每帧图像的人体姿态特征作为分类的属性，通过N种姿态对N×n个姿态图像进行分组，每两个姿态的人体姿态特征数据作为一组送入决策树分类器，经过分类得到每个姿态各个属性的阈值，并组成阈值区间，其中N为偶数。
本实施方式所述的人体姿态识别方法使用摄像头对人体活动的区域进行视频数据的采集，对得到的视频图像进行处理，将人体目标图像进行提取和标记，获得标记后的人体姿态特征数据，通过决策树处理特征数据并确定不同姿态的人体姿态特征数据阈值区间。
上述人体姿态识别算法主要包括两个部分：基于决策树的人体姿态特征阈值区间数据库建立和人体姿态特征阈值区间匹配的姿态识别。
基于决策树的人体姿态特征阈值区间数据库建立过程包括：人体视频采集、图像预处理、人体目标标记、人体姿态特征数据计算、利用决策树设定人体姿态特征阈值区间和数据库更新6个步骤。
人体姿态特征阈值区间匹配的姿态识别过程包括：人体视频采集、图像预处理、人体目标标记、人体外姿态征数据计算和人体姿态判定5个步骤。
在进行人体姿态特征阈值区间匹配的姿态识别之前首先要建立人体姿态特征阈值数据库，该人体姿态特征数据库包含设定好的各个姿态的特征阈值区间，未建立数据库时，人体姿态特征数据库为空集。通过对用户人体视频数据的采集，获取人体的彩色图像；图像预处理将采集到的彩色图像进行灰度化、背景减除、二值化和形态学运算，将人体目标从图像中分离出来；人体目标利用最小水平矩形框和其中心点标记；人体姿态特征数据计算包括计算最小水平矩形框和其内部像素点的特征数据实现；人体姿态特征阈值设定通过决策树对获得的人体姿态特征数据进行分析，获得各个姿态的阈值区间(每个姿态对应的人体姿态特征数据的最大值和最小值作为阈值区间的端点)。
在人体姿态识别过程中，人体视频采集、图像预处理和人体目标标记和人体姿态特征阈值设定与人体姿态数据库建立的处理的图像数量是不同的，人体姿态数据库建立是处理一个用户的多帧图像，获得多组人体姿态数据来设定人体姿态特征阈值区间，而人体姿态识别时针对单帧图像，获得一组人体姿态数据去判断该帧图像的人体姿态。通过对被测人员单帧姿态特征数据实时读取，利用得到的姿态阈值区间完成对人体姿态的判定。
下面对各步骤进行详细说明。
1.人体视频采集
人体视频的采集一方面用于数据库建立过程，另一方面用于姿态识别过程。如图4(a)所示，用于数据库建立过程时，首先要采集无用户进入的活动区域背景视频，存储n帧背景图像用于背景的建模(n≥100)，再让用户进入活动区域进行姿态视频采集，如用户需要按照姿态顺序直立行走、弯腰、下蹲和摔倒等动作姿态进行采集，姿态数量有N种且N为偶数，每个动作同样存储n帧，存储完N×n帧图像后，便进行图像预处理以及后续步骤。本方法根据不同场景的需要来设定姿态和顺序，并不限于以上动作姿态及顺序。如图4(b)所示，在姿态识别过程中，背景建模过程与数据库建立过程一致，但使用的背景可以与数据库建立不同，且用户进入活动区域为单帧采集，存储当前姿态的图像用于图像预处理以及后续步骤。图4给出了人体视频采集的一个示例性流程图，实际操作时，用户做出的各个姿态的顺序可以随意调整。
2.图像预处理
图像预处理是将图像中的人体目标进行提取，是后续人体标记的基础。图像预处理流程如图5所示。
第一步将采集到的背景彩色图像和姿态彩色图像进行灰度化，将RGB颜色空间三个通道的数据转化为一个通道的灰度数据以减少数据量，使用RGB颜色空间中亮度最小值的灰度化方法以降低亮度对图像的影响，灰度化如公示(1)所示。
Gray(x,y)＝min(R(x,y),min(G(x,y),B(x,y))) (1)
其中，R(x,y)、G(x,y)、B(x,y)代表RGB颜色空间中的红色、绿色和蓝色各个颜色分量的像素数据值，通过比较得到Gray(x,y)，Gray(x,y)是R(x,y)、G(x,y)、B(x,y)三个通道中像素亮度的最小值。
得到灰度图后，首先将背景图像进行平均，建立背景模型，背景模型建立如公式(2)所示。
其中Background(x,y)表示背景图像的平均值，n表示背景帧图像的数量，要求n≥100，(x,y)为像素位置坐标。
数据库建立过程中，背景建模完成后将姿态1到姿态N的N×n图像分别与平均背景帧进行差分操作，使得人体图像从背景环境中分离，然后覆盖原姿态帧图像；姿态是别过程中背景建模完成后将当前的姿态图像与平均背景帧进行差分操作，使得人体图像从背景环境中分离，然后覆盖原姿态帧图像。背景减除及图像二值化如公式(3)所示。
其中，等式右边的Posei(x,y)是第i帧姿态图像，Foregroundi(x,y)是第i帧姿态图像与背景均值图像差分后的前景图像，T为灰度阈值，背景差分后图像的像素值小于等于T则为背景，并设定其像素值为黑，背景差分后图像的像素值大于T则为前景，并设定其像素值为白色，图像在存储时第i帧前景图像将会对应覆盖第i帧姿态图像。
得到二值前景图像后，由于存在噪点，为了进一步将人体图像完整提取，需要进行形态学滤波操作，首先去除第i帧前景图像中的小目标，然后对图像采用相同的结构元素进行先腐蚀后膨胀运算，即开运算，如公式(4)所示。最后进行孔洞填充，得到完整的人体前景图像。
其中，Foregroundi(x,y)为前景图像，se为圆盘形状结构元素，半径为8。
3.人体目标标记
提取到完整的人体前景目标后对目标进行最小水平矩形框ABCD标记，最小水平矩形框中心坐标用o标记，连接最小矩形框的左下定点B和中心o得到角a，标记方法如图6所示。
最小水平矩形框通过对前景图像隔列隔行扫描的方式实现，扫描起始点为每帧图像的左上角，扫描方向为向左和向下，向左对应列扫描，向下对应行扫描，首先进行隔列扫描确定第i帧矩形框ABCD的横坐标xi,1和xi,2，然后进行隔行扫描确定矩形ABCD的纵坐标yi,1和yi,2，利用A、B、C、D四个点的坐标绘制矩形，得到矩形高度Heighti、宽度Widthi、人体中心点o坐标(xi,yi)。依次如公式(5)、(6)、(7)所示。
Heighti＝|yi,2-yi,1| (5)
Widthi＝|xi,2-xi,1| (6)
4.人体姿态特征数据计算
人体姿态特征数据是阈值设定步骤中用到的数据样本，为了克服人距离摄像头的远近对图像中人体大小的影响，通过最小矩形框标记可以计算出人体的高宽比Rhwi、人体像素面积占最小矩形框面积的有效面积比Rsi、人体中心高度变化Coi+1和人体倾斜度ai共4个不同的人体姿态特征，对这4个人体姿态特征进行数据采集。如公式(8)至(11)所示。
Coi+1＝Heighti+1-Heighti (10)
其中，Rhwi为第i帧的人体高宽比；S人i表示人体图像像素数之和，S矩i表示第i帧人体外接最小水平矩形框内的像素之和，Rsi为第i帧的人体有效面积比。Heighti+1表示第i+1帧的人体中心坐标高度；Coi+1为第i+1帧的人体中心高度变化，Co1＝0；ai为第i帧的人体倾斜角度。
5.人体姿态特征阈值设定
由于不同的用户体型有着差异，如果设定固定的姿态阈值，面对不同用户时往往会造成姿态的误判，因此本方法将人体姿态特征数据库中的不同的人体姿态数据的4种特征作为分类的属性，在得到各个姿态的人体姿态特征数据后，通过N种姿态对N×n个姿态图像进行分组，每两个姿态人体姿态特征数据作为一组送入决策树分类器，经过分类得到每个姿态各个属性的阈值，并组成阈值区间，共有N/2个分类器。具体流程如图7所示，决策树分类器采用的是已有的C4.5决策树方法，采集到的用户不同姿态图像的4种人体姿态数据作为分类属性，姿态作为分类输出。利用采集到的数据样本确定人体姿态特征的阈值。
6.数据库更新
数据库更新前首先要判断本次采集到的各个姿态的人体姿态特征数据阈值的区间端点是否在原始数据库的阈值区间内，若本次采集到的各个姿态的人体姿态特征数据阈值的区间端点都在原始数据库对应的各个姿态的阈值区间内，则返回人体视频采集步骤采集下一用户；若本次的采集到的各个姿态的人体姿态特征数据阈值区间只要有一个姿态的阈值不在原始数据库的阈值区间内，则将该姿态特征数据阈值和对应的原数据库的人体姿态特征数据阈值进行比较之后进行更新，具体更新方式是将本次的人体姿态特征数据阈值替换原始人体姿态特征数据阈值的最大值或最小值，若该阈值比原阈值区间的最大值要大则替换其最大值，若该阈值比原阈值区间的最小值要小则替换其最小值，以此完成阈值数据库的更新，得到更新后的人体姿态数据特征阈值区间。
7.人体姿态识别
获得了不同姿态的人体姿态特征数据阈值区间之后，即可用于姿态识别过程，首先读取当前帧的人体姿态特征数据，再判定用户当前的姿态，按顺序从姿态1开始，若当前帧姿态数据符合姿态1的阈值区间则结束，否则依次判断当前姿态数据是否符合姿态2到姿态N的阈值区间，若当前姿态数据阈值区间都不符合则舍弃该姿态数据，采集下一帧数据进行人体姿态是别过程。姿态识别流程如图8所示。
Claims (4)
1.一种基于视频处理和决策树设定阈值的人体姿态识别方法，其特征在于，判断工作模式是否为人姿态数据库建立，当判断结果为是时，执行基于决策树的人体姿态特征阈值区间数据库建立步骤；否则，执行基于人体姿态特征阈值区间匹配的姿态识别步骤；
所述基于决策树的人体姿态特征阈值区间数据库建立步骤包括：
第一人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的多帧视频图像，该视频图像为人体彩色图像；
第一图像预处理步骤：对获取到的多帧人体彩色图像进行预处理，然后将人体图像从所述彩色图像中分离；
第一人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线分别对多帧人体图像中的人体目标进行标记；
第一人体姿态特征数据计算步骤：计算多帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态特征阈值设定步骤：通过决策树对获得的多个人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间，然后执行数据库更新判断步骤；
数据库更新判断步骤：判断所述人体姿态特征阈值数据是否满足人体姿态数据库更新条件，如果是，执行数据库更新步骤；否则，返回第一人体视频采集步骤采集下一用户的视频；
数据库更新步骤：将本次采集到的人体姿态特征数据加入到原数据库中，并将该人体姿态特征数据获得的各姿态的人体姿态特征阈值区间端点与原数据库中已经存储的对应姿态的各人体姿态特征阈值区间端点比较，若本次的采集到的各个姿态的人体姿态特征数据阈值全部在原始数据库的阈值区间内，则不进行数据库更新；否则，将该姿态特征数据阈值和对应的原数据库的人体姿态特征数据阈值进行比较之后进行更新；
所述人体姿态特征阈值区间匹配的姿态识别步骤包括：
第二人体视频采集步骤：首先采集目标活动区域的背景视频，然后采集用户各个姿态的单视频图像，然后执行图像预处理步骤；
第二图像预处理步骤：对获取到的单帧人体的彩色图像进行预处理，然后将人体图像从所述彩色图像中分离，然后执行人体目标标记步骤；
第二人体目标标记步骤：利用人体外接最小水平矩形框和其中心点与左下角的连线对单帧人体图像中的人体目标进行标记，然后执行人体姿态特征数据计算步骤；
第二人体姿态特征数据计算步骤：计算单帧图像人体外接最小水平矩形框内部像素点的特征数据，以此作为人体姿态特征数据；
人体姿态判定步骤：利用数据库中各姿态的人体姿态特征阈值区间完成对人体姿态的判定。
2.根据权利要求1所述的方法，其特征在于，所述第一图像预处理步骤以及第二图像预处理步骤中，对获取到的人体的彩色图像进行预处理包括将采集到的彩色图像进行灰度化、背景减除、二值化和形态学运算。
3.根据权利要求1所述的方法，其特征在于，所述第一人体姿态特征数据计算步骤以及第二人体姿态特征数据计算步骤中，采集的人体姿态特征数据包括：通过最小矩形框标记之后计算出的人体的高宽比、人体像素面积占最小矩形框面积的有效面积比、人体中心高度变化和人体倾斜度。
4.根据权利要求1、2或3所述的方法，其特征在于，所述人体姿态特征阈值设定步骤中，利用决策树对获得的人体姿态特征数据进行分析，获得各个姿态的人体姿态特征阈值区间的具体方法为：将每帧图像的人体姿态特征作为分类的属性，通过N种姿态对N×n个姿态图像进行分组，每两个姿态的人体姿态特征数据作为一组送入决策树分类器，经过分类得到每个姿态各个属性的阈值，并组成阈值区间，其中N为偶数，n表示背景帧图像的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910172226.2A CN110032932B (zh) | 2019-03-07 | 2019-03-07 | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910172226.2A CN110032932B (zh) | 2019-03-07 | 2019-03-07 | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110032932A CN110032932A (zh) | 2019-07-19 |
| CN110032932B true CN110032932B (zh) | 2021-09-21 |
Family
ID=67235152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910172226.2A Expired - Fee Related CN110032932B (zh) | 2019-03-07 | 2019-03-07 | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032932B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178129B (zh) * | 2019-11-25 | 2023-07-14 | 浙江工商大学 | 一种基于人脸和姿态的多模态人员识别方法 |
| CN112507953B (zh) * | 2020-12-21 | 2022-10-14 | 重庆紫光华山智安科技有限公司 | 一种目标搜索及追踪方法和装置及设备 |
| CN113780072B (zh) * | 2021-08-02 | 2023-11-28 | 五邑大学 | 摔倒检测方法、系统和计算机可读存储介质 |
| CN113589702A (zh) * | 2021-09-28 | 2021-11-02 | 深圳市翱宇晟科技有限公司 | 基于家庭物联网实现智能家具联动数据控制系统 |
| CN116055684B (zh) * | 2023-01-18 | 2023-12-12 | 广州乐体科技有限公司 | 基于画面监控的在线体育教学系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533467A (zh) * | 2009-04-28 | 2009-09-16 | 南京航空航天大学 | 一种基于决策树的多种人体姿态识别方法 |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
| CN106709471A (zh) * | 2017-01-05 | 2017-05-24 | 宇龙计算机通信科技(深圳)有限公司 | 跌倒检测方法及装置 |
| CN108509897A (zh) * | 2018-03-29 | 2018-09-07 | 同济大学 | 一种人体姿态识别方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
| US8593402B2 (en) * | 2010-04-30 | 2013-11-26 | Verizon Patent And Licensing Inc. | Spatial-input-based cursor projection systems and methods |
| US20120016641A1 (en) * | 2010-07-13 | 2012-01-19 | Giuseppe Raffa | Efficient gesture processing |
| US10055961B1 (en) * | 2017-07-10 | 2018-08-21 | Careview Communications, Inc. | Surveillance system and method for predicting patient falls using motion feature patterns |
-
2019
- 2019-03-07 CN CN201910172226.2A patent/CN110032932B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101533467A (zh) * | 2009-04-28 | 2009-09-16 | 南京航空航天大学 | 一种基于决策树的多种人体姿态识别方法 |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| CN104392223A (zh) * | 2014-12-05 | 2015-03-04 | 青岛科技大学 | 二维视频图像中的人体姿态识别方法 |
| CN106709471A (zh) * | 2017-01-05 | 2017-05-24 | 宇龙计算机通信科技(深圳)有限公司 | 跌倒检测方法及装置 |
| CN108509897A (zh) * | 2018-03-29 | 2018-09-07 | 同济大学 | 一种人体姿态识别方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| Using Binary Decision Tree and Multiclass SVM for Human Gesture Recognition;Juhee Oh et al;《2013 International Conference on Information Science and Applications (ICISA)》;20130816;第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110032932A (zh) | 2019-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
| CN108460356B (zh) | 一种基于监控系统的人脸图像自动处理系统 | |
| US7912253B2 (en) | Object recognition method and apparatus therefor | |
| CN108280397B (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN102622584B (zh) | 视频监控中蒙面人脸的检测方法 | |
| KR20160143494A (ko) | 현저성 정보 취득 장치 및 현저성 정보 취득 방법 | |
| CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| CN105335725A (zh) | 一种基于特征融合的步态识别身份认证方法 | |
| Pandey et al. | Hand gesture recognition for sign language recognition: A review | |
| CN112906550B (zh) | 一种基于分水岭变换的静态手势识别方法 | |
| CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN110688965A (zh) | 基于双目视觉的ipt模拟训练手势识别方法 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN112487981A (zh) | 基于双路分割的ma-yolo动态手势快速识别方法 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |