CN106548194B - 二维图像人体关节点定位模型的构建方法及定位方法 - Google Patents
二维图像人体关节点定位模型的构建方法及定位方法 Download PDFInfo
- Publication number
- CN106548194B CN106548194B CN201610865293.9A CN201610865293A CN106548194B CN 106548194 B CN106548194 B CN 106548194B CN 201610865293 A CN201610865293 A CN 201610865293A CN 106548194 B CN106548194 B CN 106548194B
- Authority
- CN
- China
- Prior art keywords
- human
- human part
- image
- model
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010276 construction Methods 0.000 title claims abstract description 21
- 230000004807 localization Effects 0.000 title claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 240000001439 Opuntia Species 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明涉及一种二维图像人体关节点定位模型的构建方法及基于该构建方法的定位方法。其中，该构建方法包括：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；构建深度卷积神经网络，利用所述人体部件局部特征训练样本集来训练所述深度卷积神经网络，得到人体部件局部表观模型；利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型；将所述人体部件局部表观模型和所述遮挡关系图模型确定为二维图像人体关节点定位模型。通过本发明实施例解决了如何对二维图像中人体关节点进行准确和鲁棒地定位的技术问题。
Description
技术领域
本发明涉及图像处理与模式识别技术领域，尤其是涉及一种二维图像人体关节点定位模型的构建方法以及基于该构建方法的定位方法。
背景技术
在视频监控、手语识别、智能家居、人机交互、增强现实、图像检索、机器人等领域中，经常需要从二维图像中估计人体各个关节点的位置坐标。二维图像人体关节点定位在上述应用领域中起着关键的作用，蕴含着巨大的应用价值。在实际应用中，人体关节点定位的困难因素包括大尺度形变、视角变化、遮挡和复杂背景等。
目前，二维图像人体关节点定位方法分为关节点回归和部件检测两大类方法。
对于二维图像人体关节点回归方法，需要首先利用人体检测器来确定人体所在区域的位置和大小，然后在人体检测器确定的区域内提取图像特征，并采用回归的方法来预测人体关节点的坐标。相关内容可参见文献一和文献二。
关节点回归的方法易于实现，但其有以下两方面的缺点：第一，由于关节点回归方法需要用人体检测器得到的矩形框作为输入，当人体有大幅度动作时，会致使人体检测器发生误检，从而使后续的关节点回归失败。第二，由于手腕和脚腕等末端关节点位置变化较大而头部和肩部等关节位置变化较小，对图像区域全局回归的方法会使末端关节点出现欠拟合的情况，从而影响末端关节点的定位精度。文献三为了改进第二个缺点，将人体分为上中下三个区域，对这三个区域的关节点分别进行回归，但忽视了第一个缺点。
对于二维图像人体部件检测方法，其首先利用滑动窗口扫描的方式提取图像局部特征，并进行部件分类，然后利用结构化模型对部件之间的相对位置关系进行约束，从而检测出最优的人体部件构型，并得到各个部件所在的区域及相应关节点的位置坐标。二维图像人体部件检测方法涉及两方面的关键技术，一个是部件的局部特征表达，另一个是人体的结构化建模。
在部件的局部特征表达方面，现有方法主要采用手工设计的特征或者通过学习得到的特征。文献四采用梯度方向直方图来对部件的局部特征进行表达；文献五则是采用了形状上下文特征。手工设计的特征不需要经过训练，简单快速，但缺点是特征表达能力弱，对噪声不鲁棒。文献六提出利用卷积神经网络对部件的局部区域进行特征提取，这样增强了不同姿态下部件局部特征的表达力，还增强了对噪声的鲁棒性。但是，文献六只是考虑了部件没有被遮挡的情况，该方法对被遮挡的关节点定位精度较差。
在人体的结构化建模方面，所采用的模型结构包括树型结构模型和带环图模型。现有的大部分人体结构化建模方法都采用了树型结构模型，参见文献四和文献六。树型结构模型虽然结构简单且便于快速推理，但难以对复杂的遮挡关系尤其是自遮挡关系进行建模。带环图模型相比树型结构模型，其最大的不同是在模型结构中引入了环路。例如：文献七和文献八即为采用的带环图模型。虽然带环图模型增强了模型的表达能力和对遮挡的鲁棒性，但其推理复杂度很高，这限制了它在人体结构建模中的应用。
有鉴于此，特提出本发明。
上述相关文献罗列如下：
文献一：Alexander Toshev and Christian Szegedy.Deeppose:Human poseestimation via deep neural networks.In IEEE Conference on Computer Vision andPattern Recognition,pages 1653–1660,2014；
文献二：US7778446B2，FAST HUMAN POSE ESTIMATION USING APPEARANCE ANDMOTION VIA MULTI-DIMENSIONAL BOOSTING REGRESSION；
文献三：Belagiannis Vasileios,Rupprecht Christian,Carneiro Gustavo,andNavab Nassir.Robust optimization for deep regression.In InternationalConference on Computer Vision,pages 2830–2838,2015；
文献四：Y.Yang and D.Ramanan.Articulated pose estimation with flexiblemixtures-of-parts.In IEEE Conference on Computer Vision and PatternRecognition,pages 1385–1392,2011；
文献五：US7925081B2，SYSTEMS AND METHODS FOR HUMAN BODY POSEESTIMATION；
文献六：Xianjie Chen and Alan L.Yuille.Articulated pose estimation bya graphical model with image dependent pairwise relations.In Advances inNeural Information Processing Systems,pages 1736–1744,2014；
文献七：Mykhaylo Andriluka,Stefan Roth,and BerntSchiele.Discriminative appearance models for pictorialstructures.International Journal of Computer Vision,99(3):259–280,2012；
文献八：Leonid Sigal and Michael J.Black.Measure locally,reasonglobally:Occlusion-sensitive articulated pose estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,pages 2041–2048,2006。
发明内容
为了解决现有技术中的上述问题，即为了解决如何对二维图像中人体关节点进行准确和鲁棒地定位的技术问题而提供一种二维图像人体关节点定位模型的构建方法。此外，还提供一种基于该构建方法的定位方法。
为了实现上述目的，一方面，提供以下技术方案：
一种二维图像人体关节点定位模型的构建方法，所述构建方法包括：
利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；
构建深度卷积神经网络，利用所述人体部件局部特征训练样本集来训练所述深度卷积神经网络，得到人体部件局部表观模型；
利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型；
将所述人体部件局部表观模型和所述遮挡关系图模型确定为二维图像人体关节点定位模型。
较佳地，所述构建人体部件局部特征训练样本集具体可以包括：
计算任一所述人体部件相对于其父结点的相对位置；
对所有所述彩色图像的所述相对位置进行聚类；
利用所述人体部件所在的图像区域与其聚类得到的类别，来构建所述人体部件局部特征训练样本集。
较佳地，所述构建人体部件全局构型样本集具体可以包括：
确定所述人体部件的样本标签；
确定所有所述人体部件对应的图像区域；
利用所述样本标签和所述图像区域来组成所述人体部件全局构型样本集。
较佳地，所述构建深度卷积神经网络具体可以包括：
将所述深度卷积神经网络的基本单元确定为5个卷积层和3个全连接层；
将所述部件所在的图像区域作为所述深度卷积神经网络的输入。
较佳地，所述利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型具体可以包括：
建立所述人体各部件之间带有环路的连接关系；
基于所述人体各部件之间带有环路的连接关系，利用所述人体部件局部表观模型，采用结构化支持向量机，在所述人体部件全局构型样本集上采用对偶坐标下降法，训练得到存在约束关系的任意两个所述人体部件之间相对位置对应的权重以及任一人体部件的表观特征权重系数，从而得到遮挡关系图模型。
为了实现上述目的，另一方面，还提供一种基于上述构建方法的二维图像人体关节点定位方法，所述定位方法包括：
获取待检测图像；
利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征；
基于所述待检测图像的局部表观特征，利用所述遮挡关系图模型，并根据以下公式得到最优人体部件构型：
(xi*,yi*,oi*,ti*)＝argmax(∑γij*Δij+∑ωi*pi)；
其中，所述xi表示部件i的横坐标；所述yi表示所述部件i的纵坐标；所述oi表示所述部件i的遮挡状态；所述ti表示所述部件i的类别；部件j为所述部件i的父结点部件；所述Δij表示所述部件i和j之间的相对位置；所述γij表示所述相对位置Δij对应的权重；所述ωi表示所述部件i的表观特征权重系数；所述pi表示所述部件i的局部表观特征；所述i和所述j取正整数；
将所述最优人体部件构型中所述人体部件区域的中心位置确定为所述人体部件处关节点位置。
较佳地，所述利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征具体可以包括：
将所述待检测图像划分成多个局部图像区域；
将各所述局部图像区域作为所述人体部件局部表观模型的输入，得到所述待检测图像的局部表观特征。
本发明实施例提供一种二维图像人体关节点定位模型的构建方法及基于该构建方法的二维图像人体关节点定位方法。其中，该构建方法可包括：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；构建深度卷积神经网络，利用人体部件局部特征训练样本集来训练深度卷积神经网络，得到人体部件局部表观模型；利用人体部件局部表观模型和人体部件全局构型样本集，得到遮挡关系图模型；将人体部件局部表观模型和遮挡关系图模型确定为二维图像人体关节点定位模型。可见，本发明能同时对自遮挡和它遮挡进行建模，并学习人体部件之间以及部件和背景之间的遮挡关系；通过将深度卷积神经网络特征提取与图模型结构相融合，本发明能够对较大运动姿态以及局部遮挡情况下人体关节点的鲁棒定位。本发明所采用的模型结构不仅能对物理上相连的部件之间的关系进行建模，还可以对不直接相连的左右肢体部件之间的空间上下文关系进行建模，从而增强了对遮挡的鲁棒性。本发明将人体部件局部表观模型和图结构模型的紧密结合，能够有效克服大幅度动作和局部遮挡带来的不利影响，提高了二维图像人体关节点定位的鲁棒性。
附图说明
图1是根据本发明实施例的二维图像人体关节点定位模型的构建方法的流程示意图；
图2是根据本发明实施例的构建人体部件局部特征训练样本集的流程示意图；
图3是根据本发明实施例的构建人体部件全局构型样本集的流程示意图；
图4是根据本发明实施例的所构建的深度卷积神经网络示意图；
图5是根据本发明实施例的遮挡关系图模型的示意图；
图6是根据本发明实施例的二维图像人体关节点定位方法的流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明实施例的基本构思是在部件局部特征表达和人体结构化建模两方面对人体部件遮挡关系进行建模。
在实际应用中，诸如名称为“一种人体姿态估计方法”、申请号为201510792096.4的现有技术公开了一种类似的人体关节点定位算法，其输入是彩色图像和深度图像；并且采用局部特征为梯度方向直方图特征；而且采用的是结构模型为树型结构。然而，该方法不能处理人体部件之间相互遮挡的情况。
为此，本发明实施例提出一种二维图像人体关节点定位模型的构建方法。如图1所示，该构建方法可以通过步骤S100至步骤S130来实现。其中：
S100：利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集。
在一些实施例中，如图2所示，上述构建人体部件局部特征训练样本集的过程可以通过以下优选方式来实现：
S101：计算任一人体部件相对于其父结点的相对位置。
S102：对所有彩色图像的上述相对位置进行聚类。
S103：利用该人体部件所在的图像区域与其聚类得到的类别，来构建人体部件局部特征训练样本集。
下面以一优选实施例来详细说明构建部件局部特征训练样本集的过程。
步骤a：计算第i个部件相对其父结点部件j的相对位置Δij。其中，i和j取正整数。
步骤b：利用k-means对所有图像的相对位置Δij进行聚类。
在实施过程中，类别数可以取为13。
步骤c：用第i个部件所在的图像区域Ii与第i个部件聚类得到的类别ti(ti为部件i的类别)，来构建人体部件局部特征训练样本集。
在一些实施例中，如图3所示，上述构建人体部件全局构型样本集的过程可以通过以下优选方式予以实现：
S105：确定人体部件的样本标签。
S106：确定所有人体部件对应的图像区域。
S107：利用样本标签和图像区域来组成人体部件全局构型样本集。
下面以一优选实施例来详细说明构建人体部件全局构型样本集的过程。
步骤d：确定第i个部件的样本标签为(xi,yi,oi,ti)，其中xi表示部件i的横坐标；yi表示部件i的纵坐标；oi表示部件i的遮挡状态，其取值为0,1和2，其中，0表示可见，1表示被人体其它部件遮挡，2表示被背景遮挡；ti表示部件i的类别。
步骤e：确定所有部件对应的图像区域。
步骤f：利用样本标签和图像区域来组成人体部件全局构型样本集。
S110：构建深度卷积神经网络，利用人体部件局部特征训练样本集来训练深度卷积神经网络，得到人体部件局部表观模型及。
现有技术(例如：Yoshua Bengio,Yann LeCun,Craig R.Nohl,ChristopherJ.C.Burges:LeRec:a NN/HMM hybrid for on-line handwriting recognition.NeuralComputation 7(6):1289-1303(1995))采用了LeNet网络结构来实施训练。其中，LeNet网络结构的输入是灰度图像；基本单元为3个卷积层和2个全连接层。
本发明实施例对上述现有技术进行了改进。在一些实施例中，本步骤中构建深度卷积神经网络可以通过以下优选方式予以实现：将深度卷积神经网络的基本单元确定为5个卷积层和3个全连接层。将部件所在的图像区域(即彩色的局部区域图像)作为深度卷积神经网络的输入。通过上述方式的构建，深度卷积神经网络可以输出为部件类别的概率。其中，部件类别的概率表示图像区域属于部件i的概率。图4示例性地示出了本发明实施例构建的深度卷积神经网络示意图。
在一些实施例中，本步骤中的训练过程可以包括前向传播和反向传播过程。其中，前向传播过程逐层对彩色的部件所在的图像区域进行卷积操作和矩阵乘法运算；反向传播过程将预测误差和样本标签之间的误差用梯度下降法逐层反向进行传递，并修正全连接层和卷积层的参数。
在具体实施时，为了便于处理，可以将彩色的部件局部区域图像缩放到36×36像素，来作为深度卷积神经网络的输入。
本步骤中的人体部件局部表观模型参数可以是深度卷积神经网络中卷积层和全连接层神经元的参数。
由于深度卷积神经网络是一种有监督的学习算法，人体部件局部表观模型是通过训练样本进行有监督的学习而得到的，所以不需要人工干预。
又由于人体部件局部表观模型是利用深度卷积神经网络实现的，这样可以充分利用大量训练样本拟合变化多样的表观特征，还可以使所提取的部件特征更为鲁棒。
将深度卷积神经网络特征提取与图模型结构相融合，能够在较大运动姿态以及局部遮挡情况下实现人体关节点的鲁棒定位。
S120：利用人体部件局部表观模型和人体部件全局构型样本集，得到遮挡关系图模型。
在一些实施例中，本步骤具体可以包括：
S121：建立人体各部件之间带有环路的连接关系。
通过将人体各部件之间的连接关系设置成带有环路的连接关系，能够对人体部件之间的遮挡关系以及人体部件与背景之间的遮挡关系进行建模。
S122：基于人体各部件之间带有环路的连接关系，利用人体部件局部表观模型，采用结构化支持向量机，在上述人体部件全局构型样本集上采用对偶坐标下降法，训练得到存在约束关系的任意两个人体部件之间相对位置对应的权重以及任一人体部件的表观特征权重系数，从而得到遮挡关系图模型。
图5示例性地示出了遮挡关系图模型的示意图。其中，圆圈表示人体的14个关节点部件，各条边表示人体各个部件之间的连接关系。与现有技术(例如：文献四)所述的树型结构模型相比，本发明实施例构建的遮挡关系图模型的连接关系带有环路，也即带环图模型。
下面以一优选实施例的方式来说明得到遮挡关系图模型及其参数的过程。
图结构模型的参数包括存在约束关系的部件i和j之间的相对位置Δij对应的权重γij，以及部件i相应的表观特征权重系数ωi。利用文献九(例如：IoannisTsochantaridis,Thorsten Joachims,Thomas Hofmann and Yasemin Altun(2005),LargeMargin Methods for Structured and Interdependent Output Variables,JMLR,Vol.6,pages 1453-1484)所述的结构化支持向量机，在人体部件全局构型样本集上，采用文献九所述的对偶坐标下降法训练得到结构模型的参数γij和ωi。其中，若部件i的遮挡状态oi取2时，则将ωi置为0，此时部件i被背景遮挡。
本发明实施例构建的遮挡关系图模型既能对遮挡关系进行表达，又具有和树型结构模型相近的推理复杂度。并且，由于深度卷积神经网络是一种有监督的学习算法，遮挡关系图模型是通过训练样本进行有监督的学习而得到的，所以不需要人工干预。
S130：将人体部件局部表观模型和遮挡关系图模型确定为二维图像人体关节点定位模型。
在上述实施例的基础上，本发明实施例还提供一种二维图像人体关节点定位方法。如图6所示，该定位方法可以通过步骤S140至步骤S170来实现。其中：
S140：获取待检测图像。
S150：利用人体部件局部表观模型，提取待检测图像的局部表观特征。
具体地，本步骤可以包括：
S151：将待检测图像划分成局部图像区域。
S152：将各局部图像区域作为人体部件局部表观模型的输入，得到待检测图像的局部表观特征。
下面结合具体实例来说明提取待检测图像的局部表观特征的过程：
将待检测图像划分成局部图像区域，将每个局部图像区域缩放到36×36像素大小，然后将缩放后的图像送入人体部件局部表观模型(即训练得到的深度卷积神经网络)，经过5个卷积层和3个全连接层后得到该局部图像区域像部件i的概率pi。其中，pi越大表示该局部图像区域越像部件i。本实施例得到的概率pi可以作为待检测图像的局部表观特征，以用于后续的处理。
S160：基于待检测图像的局部表观特征，利用遮挡关系图模型，并根据以下公式(1)得到最优人体部件构型：
(xi*,yi*,oi*,ti*)＝argmax(∑γij*Δij+∑ωi*pi) 公式(1)
其中，xi表示部件i的横坐标；yi表示部件i的纵坐标；oi表示部件i的遮挡状态；ti表示部件i的类别；部件j为部件i的父结点部件；Δij表示部件i和j之间的相对位置；γij表示相对位置Δij对应的权重；ωi表示部件i的表观特征权重系数；pi表示部件i的局部表观特征，例如可以为局部图像区域像部件i的概率；i和j取正整数。
通过上述公式(1)可以得到部件i处关节点位置预测值为(xi*,yi*)。(xi*,yi*)即为本实施例定位的部件i处关节点。
S170：将最优人体部件构型中人体部件区域的中心位置确定为人体部件处关节点位置。
尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，或者将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (6)
1.一种二维图像人体关节点定位模型的构建方法，其特征在于，所述构建方法包括：
利用标记完人体关节点位置坐标和遮挡状态的彩色图像，构建人体部件局部特征训练样本集和人体部件全局构型样本集；
构建深度卷积神经网络，利用所述人体部件局部特征训练样本集来训练所述深度卷积神经网络，得到人体部件局部表观模型；
利用所述人体部件局部表观模型和所述人体部件全局构型样本集，得到遮挡关系图模型，具体包括：
建立所述人体各部件之间带有环路的连接关系；
基于所述人体各部件之间带有环路的连接关系，利用所述人体部件局部表观模型，采用结构化支持向量机，在所述人体部件全局构型样本集上采用对偶坐标下降法，训练得到存在约束关系的任意两个所述人体部件之间相对位置对应的权重以及任一人体部件的表观特征权重系数，从而得到遮挡关系图模型。
将所述人体部件局部表观模型和所述遮挡关系图模型确定为二维图像人体关节点定位模型。
2.根据权利要求1所述的构建方法，其特征在于，所述构建人体部件局部特征训练样本集具体包括：
计算任一所述人体部件相对于其父结点的相对位置；
对所有所述彩色图像的所述相对位置进行聚类；
利用所述人体部件所在的图像区域与其聚类得到的类别，来构建所述人体部件局部特征训练样本集。
3.根据权利要求1所述的构建方法，其特征在于，所述构建人体部件全局构型样本集具体包括：
确定所述人体部件的样本标签；
确定所有所述人体部件对应的图像区域；
利用所述样本标签和所述图像区域来组成所述人体部件全局构型样本集。
4.根据权利要求2或3所述的构建方法，其特征在于，所述构建深度卷积神经网络具体包括：
将所述深度卷积神经网络的基本单元确定为5个卷积层和3个全连接层；
将所述部件所在的图像区域作为所述深度卷积神经网络的输入。
5.一种基于上述权利要求1、2、3中任一所述构建方法的二维图像人体关节点定位方法，其特征在于，所述定位方法包括：
获取待检测图像；
利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征；
基于所述待检测图像的局部表观特征，利用所述遮挡关系图模型，并根据以下公式得到最优人体部件构型：
(xi*,yi*,oi*,ti*)＝argmax(∑γij*Δij+∑ωi*pi)；
其中，所述xi表示部件i的横坐标；所述yi表示所述部件i的纵坐标；所述oi表示所述部件i的遮挡状态；所述ti表示所述部件i的类别；部件j为所述部件i的父结点部件；所述Δij表示所述部件i和j之间的相对位置；所述γij表示所述相对位置Δij对应的权重；所述ωi表示所述部件i的表观特征权重系数；所述pi表示所述部件i的局部表观特征；所述i和所述j取正整数；
将所述最优人体部件构型中所述人体部件区域的中心位置确定为所述人体部件处关节点位置。
6.根据权利要求5所述的定位方法，其特征在于，所述利用所述人体部件局部表观模型，提取所述待检测图像的局部表观特征，具体包括：
将所述待检测图像划分成多个局部图像区域；
将各所述局部图像区域作为所述人体部件局部表观模型的输入，得到所述待检测图像的局部表观特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610865293.9A CN106548194B (zh) | 2016-09-29 | 2016-09-29 | 二维图像人体关节点定位模型的构建方法及定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610865293.9A CN106548194B (zh) | 2016-09-29 | 2016-09-29 | 二维图像人体关节点定位模型的构建方法及定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106548194A CN106548194A (zh) | 2017-03-29 |
| CN106548194B true CN106548194B (zh) | 2019-10-15 |
Family
ID=58368421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610865293.9A Active CN106548194B (zh) | 2016-09-29 | 2016-09-29 | 二维图像人体关节点定位模型的构建方法及定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106548194B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875523B (zh) * | 2017-12-28 | 2021-02-26 | 北京旷视科技有限公司 | 人体关节点检测方法、装置、系统和存储介质 |
| CN108647663B (zh) * | 2018-05-17 | 2021-08-06 | 西安电子科技大学 | 基于深度学习和多层次图结构模型的人体姿态估计方法 |
| CN109409209A (zh) * | 2018-09-11 | 2019-03-01 | 广州杰赛科技股份有限公司 | 一种人体行为识别方法与装置 |
| CN111738174B (zh) * | 2020-06-25 | 2022-09-20 | 中国科学院自动化研究所 | 基于深度解耦的人体实例解析方法、系统 |
| CN113012229A (zh) * | 2021-03-26 | 2021-06-22 | 北京华捷艾米科技有限公司 | 人体关节点的定位方法及装置 |
| WO2023206268A1 (zh) * | 2022-04-28 | 2023-11-02 | 西门子股份公司 | 训练数据集的生成方法、装置、电子设备和可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1969748A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 一种基于单目视频的计算机辅助步态分析方法 |
| CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
| CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
| WO2016019715A1 (zh) * | 2014-08-07 | 2016-02-11 | 中兴通讯股份有限公司 | 一种人眼定位的方法和设备、存储介质 |
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
-
2016
- 2016-09-29 CN CN201610865293.9A patent/CN106548194B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1969748A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 一种基于单目视频的计算机辅助步态分析方法 |
| CN103020658A (zh) * | 2012-12-31 | 2013-04-03 | 中国科学院自动化研究所 | 二维图像中的物体识别方法 |
| WO2016019715A1 (zh) * | 2014-08-07 | 2016-02-11 | 中兴通讯股份有限公司 | 一种人眼定位的方法和设备、存储介质 |
| CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106548194A (zh) | 2017-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
| Beddiar et al. | Vision-based human activity recognition: a survey | |
| Nadeem et al. | Human actions tracking and recognition based on body parts detection via Artificial neural network | |
| Dhiman et al. | A review of state-of-the-art techniques for abnormal human activity recognition | |
| Song et al. | An end-to-end spatio-temporal attention model for human action recognition from skeleton data | |
| Jiang et al. | Multi-layered gesture recognition with Kinect. | |
| Presti et al. | 3D skeleton-based human action classification: A survey | |
| CN103268495B (zh) | 计算机系统中基于先验知识聚类的人体行为建模识别方法 | |
| CN110378281A (zh) | 基于伪3d卷积神经网络的组群行为识别方法 | |
| US8311954B2 (en) | Recovery of 3D human pose by jointly learning metrics and mixtures of experts | |
| CN105574510A (zh) | 一种步态识别方法及装置 | |
| Ran et al. | Applications of a simple characterization of human gait in surveillance | |
| Mici et al. | A self-organizing neural network architecture for learning human-object interactions | |
| WO2018058419A1 (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
| Zheng et al. | Static Hand Gesture Recognition Based on Gaussian Mixture Model and Partial Differential Equation. | |
| Fu et al. | ORGM: occlusion relational graphical model for human pose estimation | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN114265498A (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
| Batool et al. | Telemonitoring of daily activities based on multi-sensors data fusion | |
| Ansar et al. | Robust hand gesture tracking and recognition for healthcare via Recurent neural network | |
| Li et al. | Human motion representation and motion pattern recognition based on complex fuzzy theory | |
| CN115798055B (zh) | 一种基于cornersort跟踪算法的暴力行为检测方法 | |
| Batool et al. | Fundamental Recognition of ADL Assessments Using Machine Learning Engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |