CN111310625A - 一种基于openpose的多人姿势检测的方法及系统 - Google Patents
一种基于openpose的多人姿势检测的方法及系统 Download PDFInfo
- Publication number
- CN111310625A CN111310625A CN202010081123.8A CN202010081123A CN111310625A CN 111310625 A CN111310625 A CN 111310625A CN 202010081123 A CN202010081123 A CN 202010081123A CN 111310625 A CN111310625 A CN 111310625A
- Authority
- CN
- China
- Prior art keywords
- key point
- key
- prediction network
- confidence
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 90
- 230000036544 posture Effects 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000036961 partial effect Effects 0.000 claims description 11
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 21
- 208000009144 Pure autonomic failure Diseases 0.000 abstract description 10
- 239000013312 porous aromatic framework Substances 0.000 abstract description 10
- 238000010276 construction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于openpose的多人姿势检测的方法及系统，检测系统包括：关键点生成模块、关键点置信度预测网络模块、关键点亲和度向量场预测网络模块和关键点聚类模块。提取关键点后通过关键点置信度预测网络模块和关键点亲和度向量场预测网络模块运用了部分亲和域PAFs,学习将身体可见部分和个体联系起来，然后在通过关键点聚类模块采用多目标进化算法NSGAII对关键点之间的连接实现全局优化，使得不管图片中有多少人，它都可以实现实时性的同时保持高识别准确度。使用了多目标进化算法NSGAII对身体的每一部分聚类，相比于贪心算法本发明的多目标进化算法构建方式能够实现全局最优。
Description
技术领域
本发明涉及人体骨骼关键点检测技术，具体的说是涉及一种基于openpose的多人姿势检测的方法及系统。
背景技术
随着计算机视觉的不断发展，特别是在动作分类、异常行为检测、自动驾驶等相关领域，人体骨骼关键点检测越来越受到重视。人体骨骼关键点检测是计算机视觉的基础性算法之一，要进行多人姿势检测，将面临一系列前所未有的挑战。首先，每一个的图像可能包含未知数量的人，他们可能出现在图像的任何位置，大小也不一定，其次，例如相互接触、肢体关节、等由人们之间的互动引起的空间交互都使得对部分的关联更加困难，随着图像中人的数量增加，程序的运行时间复杂度也会上升，这使得实时监测的表现成为一个挑战。
目前常用的方法是使用单人检测器，对每个检测进行单人姿态估计，从而检测出多个人的姿势，这些自顶向下的方法受限于单人检测技术：如果单人探测器失败了，就无法恢复了。因此为了避免此类情况的发生，需要一种针对多人姿态检测的有效的方法。openpose是一种多人姿势检测的方法，与传统的单人检测算法相比，准确率高，时间复杂度低，但是它使用贪心算法对关键点进行聚类，做出的为局部最优解，对身体的每一部分进行优化，无法实现全局最优。
发明内容
为了解决目前多人姿势检测时存在的受限于单人检测技术、时间复杂度大等问题，本发明提出一种基于openpose的多人姿势检测的方法及系统，通过关键点位置置信度预测和关键点亲和度向量场预测两个分支，来同时学习部分位置和身体部分之间的关联，使用了多目标进化算法NSGAII对身体的每一部分聚类，实现全局最优。
为了实现上述目的，本发明采用如下技术方案：
本发明一方面提供一种基于openpose的多人姿势检测的方法，包括：
S1：采用第一卷积神经网络构建关键点生成模块的模型并训练；采用第二卷积神经网络构建关键点置信度预测网络模块、关键点亲和度向量场预测网络模块以及关键点聚类模块的模型并训练；
S2：输入或采集包含人体躯干图像的图像数据，将该图像数据的大小调整为适合关键点置信度预测网络模块处理的大小；
S3：关键点生成模块对采集到的人体躯干图像进行骨骼特征关键点位置提取，生成特征图；
S3:通过关键点置信度预测网络模块根据特征图生成关键点位置的置信度图，对检测置信度图进行NMS非最大抑制，得到一组离散的候选位置；
关键点亲和度向量场预测网络模块根据特征图建立特征点之间的关联，生成置信度生成每个肢体的向量场L；
关键点聚类模块对关键点聚类，采用多目标进化算法融合关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合，并进行反复迭代优化；
S4：将属于同一个人的关键点按照关键点亲和度向量场预测网络模块输出的最终关联关系进行连接，获得该人姿势，连接组装获得多人的姿势。
进一步的，所述第一卷积神经网络构采用10层VGG19网络构建并训练获得。
进一步的，所述关键点置信度预测网络模块，在第一卷积神经网络模型训练时，对于一个人肢体给定的关键点j，相对于此人,训练时的置信度为图中每一点到给定的关键点j的高斯距离，对多个人的置信度取最大值。
进一步的，所述关键点亲和度向量场预测网络模块，在第二卷积神经网络模型训练时,对于某一个人k,训练时的每一点的亲和度向量为:如果关键点在肢体上,则为两个关键点连线方向单位向量,否则为零向量；对于多个人，所有人的亲和度向量累加取平均获得向量场。
进一步的，多目标进化算法计算流程如下：所述关键点聚类模块采用多目标进化算法。
进一步的，所述多目标进化算法设置两个目标函数
和
分别表示了关键点置信度预测网络模块输出的关键点置信度误差以及关键点亲和度向量场预测网络模块输出的关键点向量场误差：
J是身体部位的集合，W(p)为偏置系数，C是向量场的集合，
为身体上部位j的置信度，
为身体部位c的向量场，
是图像上身体部位j的分布置信图，
身体部位c的部分亲和向量场。
进一步的，多目标进化算法对关键点可变长编码的方式进行编号，随机产生
个0到1之间的随机数对关键点进行编号，大于0.5即为有效代表关键点的序号，小于0.5就不作为代表关键点，通过目标函数为人体各肢体匹配的总权重，对关键点进行聚类，n为关键点总数。
本发明另一方面提供一种基于openpose的多人姿势检测的系统，包括：
关键点生成模块，提取图像中骨骼特征关键点位置，生成特征图；
关键点置信度预测网络模块，根据所述特征图生成关键点位置的置信度图，进行非极大值抑制，获得一组身体关键点的候选位置；
关键点亲和度向量场预测网络模块，根据所述特征图，建立特征点之间的关联，生成每个肢体的向量场；
关键点聚类模块，将多目标进化算法将关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合，获得有效特征点及有效特征点之间的关系对，连接组装成多人的骨架，获得多人姿势。
进一步的，采用第一卷积神经网络构建关键点生成模块的模型并训练；采用第二卷积神经网络构建关键点置信度预测网络模块、关键点亲和度向量场预测网络模块、关键点聚类模块的模型并训练。优选的，所述第一卷积神经网络构采用10层VGG19网络。优选的，所述第二卷积神经网络采用多目标进化算法。
进一步的，在训练时,对于某一个人k,训练时的每一点的亲和度向量为:如果点在肢体上,则为两个关键点连线方向单位向量,否则为零向量；在测试时，所述关键点亲和度向量场预测网络模块衡量与给定肢体c相关联的两个关键点亲和度为这两个点连线上的点的亲和度向量与两点连线方向的单位向量相乘的路径积分。
本发明的上述技术方案具有如下有益的技术效果：
(1)本发明采用两个分支：关键点置信度预测网络模块和关键点亲和度向量场预测网络模块，运用了部分亲和域即PAFs将身体部分和个体联系起来,通过相同的顺序预测过程的两个分支，来同时学习部分位置和它们的关联。这种自底向上的方法使得不管图片中有多少人，它都可以在实现实时性的同时保持高识别准确度，而且运算时间基本不变，提高了检测效率。
(2)为了引导网络去反复地预测第一个分支中身体部分的置信度和第二个分支中的PAFs，我们在每个阶段的结尾处均应用了两个目标函数，与两个分支分别对应，进行综合优化。使用了多目标进化算法对身体的每一部分聚类，相比于贪心算法本发明的多目标进化算法构建方式能够实现全局最优。
附图说明
图1是本发明实施例中基于openpose的多人姿势检测系统组成是示意图；
图2是本发明实施例中基于openpose的多人姿势检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明一方面提供一种基于openpose的多人姿势检测系统，结合图1，包括四个模块：关键点生成模块、关键点置信度预测网络模块、关键点亲和度向量场预测网络模块和关键点聚类模块。
关键点生成模块：提取图像数据中骨骼特征关键点位置，生成特征图。关键点生产模块采用卷积神经网络实现。
在一个实施例中采用10层VGG19网络采集人体特征图，获得关键点位置。将输入图像数据的大小调整为适合卷积神经网络处理的大小，通过卷积神经网络进行图像采集模型训练；输入图像数据采集设备采集多人人体躯干图像或直接将图片通过VGG19网采用自底向上的方法先检测人体的骨骼特征提取关键点；提取关键点后对关键点进行连接形成多人姿势的展现，在关键点连接的过程中运用了部分亲和域PAFs,用它来学习将身体部分和个体联系起来，结构编译的全局，使得不管图片中有多少人，它都可以实现实时性的同时保持高识别准确度。
关键点置信度预测网络模块：根据特征图生成关键点位置的置信度图，获得关键点的置信度集合S，并通过非极大值对置信度图抑制，获得一组身体关键点的候选位置。每个人对应的可见部分形成一张二维置信度图也可以称之为二维坐标，每个人对应的每个可见部分存在一个峰值，可见部分表示身体骨骼部位关键点，身体骨骼部位关键点可以位于任何给定的像素中。如果一个人出现在图像中，如果此人相应的部分是可见的，那么每个置信度图中应该存在一个单峰；如果图像中有多个人，那么每个人对应的每个可见部分j应该有一个峰值。若图像中有k个人，其中该关键点可见的有m个，比如m个颈部，则应该有m个峰值，集合S包括对于图像属于关键点j的概率。
在训练时，对于一个人肢体给定的关键点j，相对于此人,训练时的置信度为图中每一点到需要计算的关键点(基值关键点)的高斯距离；多个人时,对多个人的置信度取最大值,采用NMS非极大值抑制获取候选区域。关键点置信度预测时，关键点置信度预测网络模块获得关键点位置的置信度,再用NMS非极大值抑制方法获取关键点位置，选取网络输出的置信度中置信度最高的位置作为网络预测的关键点位置。
NMS非极大值抑制方法，假设有N个候选框，(1)将所有框的得分排序，选中最高分对应的框；(2)遍历其余的框，如果和当前最高分框的重叠面积大于一定阈值，就将该框删除；(3)从未处理的框中继续选一个得分最高的，重复上述过程，以此来保留各个待检测的区域，最佳的检测框。
关键点亲和度向量场预测网络模块：根据特征图，建立特征点之间的关联，生成置信度生成每个肢体的向量场L。确定关键点之间的连接不仅只看所有关键点的检测结果，同时基于图像的视觉特征找到一个显性的特征表达方式来找到人体的关键点信息，提出人体关键点亲和场预测关键点之间的关联。测量关联的一种可能采用的方法是检测肢体上每对部件之间的额外中点，并检查候选部件检测之间的关联，部件关联字段(PAFs)解决了两个限制：(1)它只编码每个肢体的位置，而不是方向；(2)将肢体的支撑区域缩小到一个点，而且它们保存了整个肢体支撑区域的位置和方向信息。每个关键点亲和场PAF是每个肢体的二维向量场，对于属于某一特定肢体区域的每个像素，二维向量对肢体的一部分指向另一部分的方向进行编码。每种类型的肢体都有一个相应的PAF连接其两个相关的身体部分。将一组检测到的人体部件组合成未知人数的人体姿态，需要对每对身体部位检测的关联进行置信度度量，即他们属于同一个人。
在训练时,对于某一个人k,训练时的每一点的亲和度向量为:如果点在肢体上,则为两个关键点连线方向单位向量,否则为零向量。对于多个人,对单个人的亲和度向量累加取平均。对于某类给定的肢体c,身体部分j1,j2分别采用xj1，k和xj2，k表示，身体部位c的部分亲和向量场
表示为：
v＝(xj2，k-xj1，k)/||xj2，k-xj1，k||2 (2)
v是肢体c方向上的单位向量，肢体上的点就被定义为在一定距离阈值内的线段，也就是肢体c上的点p满足：
0≤v*(p-xj1，k)≤lc，k并且|v↓*(p-xj1，k)|≤σl (3)
lc，k＝||xj2，k-xj1，k||2 (4)
其中Nc(P)是所有k个人的P点的非零向量数(也就是不同人的肢体在像素点上交错的平均值。
测试时,衡量与给定肢体c相关联的两个关键点亲和度为这两个点连线上的点的亲和度向量与两点连线方向的单位向量相乘的路径积分。
测试时沿着候选点的连接线段，候选区域Dj1和Dj2通过PAF的线性积分来测量候选点之间的关系。
p(u)＝(1-u)dj1+udj2 (7)
E指Lc沿着预测点dj1、dj2两点之间线段计算出来的两点之间的关系的置信度，也就是两点之间线段的权重，p(u)是Dj1和Dj2的中间插入值，u是积分因子，dj1为候选区域Dj1内的预测点，dj2为候选区域Dj2内的预测点。
关键点聚类模块：将关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合，并将融合结果作为多目标进化算法融合关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输入，反复进化，直至满足误差要求。
对检测置信度图进行NMS非最大抑制，得到了一组离散的候选位置，对于每个肢体部分，我们可能有几个候选项，这些候选部分定义了大量可能的分支。使用PAF上的线积分计算对每个候选肢体进行评分，寻找最优解的问题。为了引导网络去反复地预测关键点置信度预测网络模块中身体部分的置信度和关键点亲和度向量场预测网络模块中的部分亲和域PAFs进行融合关键点聚类模块采用多目标进化算法优化对关键点之间的连接进行全局优化。
在一个实施例中，关键点聚类模块采用多目标进化算法NSGAII进行聚类，对关键点之间的连接实现全局优化。在每个阶段的结尾处均应用了两个损失函数，其中每个分支对应一个目标函数。对目标函数进行空间加权来解决某些数据集并没有完全标记所有人。首先使用关键点置信度和关键点亲和度向量场设计两个聚类目标,并使用类代表点代替类中心点；其次使用一组实数设计染色体，该组实数可解码成代表点序号的形式；然后使用NSGAII对两个目标进行优化。在进化算子中，加入差分进化算子对NSGAII算法进行改进，以提高算法的收敛速度。NSGAII的流程包括：初始化种群，进行染色体编码，然后利用进化算子进行交叉变异，识别出非支配个体的个数。
关键点的个数n为每个人含有的关键点数(例如为18)乘以人数，对关键点进行编号，然后采用可变长编码的方式，随机产生sqrt(n)个0到1的随机数，大于0.5即为有效代表点的序号，小于0.5就不作为代表点，目标函数为肢体类型匹配的总权重，对关键点进行聚类。
聚类的两个目标函数
和
分别表示了关键点置信度预测网络模块、关键点亲和度向量场预测网络模块输出图像的误差情况，其公式为：
这里的
为关键点置信度误差，
为关键点亲和度向量场误差，J是身体部位的集合，W(p)为偏置系数，通过优化最终确定，p表示位置，C是向量场的集合，
为身体上部位j的置信度，
为身体部位c的向量场，
是图像上身体部位j的分布置信图，可以选择所有身体部位j的置信度的最大值，
身体部位c的部分亲和向量场，可以通过
所有身体部位c的向量场取均值获得，因为数据的标注可能不完全，有些关键点没有被正确的标注上，就会导致上面公式中的因为数据的标注可能不完全，
和
的值为0，从而导致损失函数的值特别大。这种情况下，令W(p)＝0，从而避免这种情况的出现。
通过以上两个目标函数构建多目标问题，减小两个误差，通过进化算法，获得最优关键点的位置，直至
及
的变化量均小于设定阈值。
检测过程中，关键点聚类模块对于每类肢体关键点，对置信度图应用一个阈值(例如为0.1)剔除置信度低于阈值的关键点，生成二值图，获得人数对应的该类肢体关键点作为有效关键点，找出一个关键点到其他类型全部关键点的连接的关系对，将两个关键点亲和度最小的关系对作为最终的关系对。
遍历关键点亲和度向量场预测网络模块最终输出的关系对，将同一个人的关键点连接，绘制骨架，连接组装成多人的骨架，获得多人的姿势。
关键点置信度预测网络模块、关键点亲和度向量场预测网络模块和关键点聚类模块通过卷积网络构建模型，进行反复优化。模型的优化分为多个阶段，每一个阶段的预测结果作为下一个阶段的输入结果，反复迭代进行优化。
参阅图2，本发明另一方面提供一种基于openpose的多人姿势检测方法，包括如下步骤：
S1：采用卷积神经网络构建关键点生成模块的模型并训练，VGG-19的前十层；采用卷积神经网络构建关键点置信度预测网络模块、关键点亲和度向量场预测网络模块、关键点聚类模块的模型并训练，包括两个卷积神经网络CNN分支；
S2：输入或采集包含人体躯干图像的图像数据，进行图像预处理，将该图像数据的大小调整为适合卷积神经网络的输入大小；
S3：对采集到的人体躯干图像进行骨骼特征关键点位置提取，生成特征图；
S4:通过关键点置信度预测网络模块根据特征图生成关键点位置的置信度图，对检测置信度图进行NMS非最大抑制，得到一组离散的候选位置；
同时关键点亲和度向量场预测网络模块根据特征图建立特征点之间的关联，生成置信度生成每个肢体的向量场L；
关键点聚类模块对关键点聚类，采用多目标进化算法融合关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合并进行反复迭代优化。
S4：将属于同一个人的关键点按照关键点亲和度向量场预测网络模块输出的最终关联关系进行连接，获得该人姿势，连接组装成多人的姿势，完成多人姿势检测。
本发明通过通过卷积网络构建关键点置信度预测网络模块和关键点亲和度向量场预测网络模块两个分支来同时学习部分位置和它们的关联，显著提高了运行时性能和精度。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于openpose的多人姿势检测的方法，其特征在于，包括：
S1：采用第一卷积神经网络构建关键点生成模块的模型并训练；采用第二卷积神经网络构建关键点置信度预测网络模块、关键点亲和度向量场预测网络模块以及关键点聚类模块的模型并训练；
S2：输入或采集包含人体躯干图像的图像数据，将该图像数据的大小调整为适合关键点置信度预测网络模块处理的大小；
S3：关键点生成模块对采集到的人体躯干图像进行骨骼特征关键点位置提取，生成特征图；
S4:通过关键点置信度预测网络模块根据特征图生成关键点位置的置信度图，对检测置信度图进行NMS非最大抑制，得到一组离散的候选位置；
关键点亲和度向量场预测网络模块根据特征图建立特征点之间的关联，生成置信度生成每个肢体的向量场L；
关键点聚类模块对关键点聚类，采用多目标进化算法融合关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合，并进行迭代优化；
S5：将属于同一个人的关键点按照关键点亲和度向量场预测网络模块输出的最终关联关系进行连接，获得该人姿势，连接组装获得多人的姿势。
2.根据权利要求1所述的一种基于openpose的多人姿势检测的方法，其特征在于，所述第一卷积神经网络构采用10层VGG19网络构建并训练获得。
3.根据权利要求1或2所述的一种基于openpose的多人姿势检测的方法，其特征在于，所述关键点置信度预测网络模块，在第一卷积神经网络模型训练时，对于一个人肢体给定的关键点j，相对于此人,训练时的置信度为图中每一点到给定的关键点j的高斯距离，对多个人的置信度取最大值。
4.根据权利要求1或2所述的一种基于openpose的多人姿势检测的方法，其特征在于，所述关键点亲和度向量场预测网络模块，在第二卷积神经网络模型训练时,对于某一个人k,训练时的每一点的亲和度向量为:如果关键点在肢体上,则为两个关键点连线方向单位向量,否则为零向量；对于多个人，所有人的亲和度向量累加取平均获得向量场。
5.根据权利要求4所述的一种基于openpose的多人姿势检测的方法，其特征在于，所述关键点聚类模块采用多目标进化算法。
6.根据权利要求5所述的一种基于openpose的多人姿势检测的方法，其特征在于，所述多目标进化算法设置两个目标函数
和
分别表示了关键点置信度预测网络模块输出的关键点置信度误差以及关键点亲和度向量场预测网络模块输出的关键点向量场误差：
J是身体部位的集合，W(p)为偏置系数，C是向量场的集合，
为身体上部位j的置信度，
为身体部位c的向量场，
是图像上身体部位j的分布置信图，
身体部位c的部分亲和向量场。
7.根据权利要求6所述的一种基于openpose的多人姿势检测的方法，其特征在于，多目标进化算法对关键点可变长编码的方式进行编号，随机产生
个0到1之间的随机数对关键点进行编号，大于0.5即为有效代表关键点的序号，小于0.5就不作为代表关键点，通过目标函数为人体各肢体匹配的总权重，对关键点进行聚类，n为关键点总数。
8.一种基于openpose的多人姿势检测的系统，其特征在于，包括：
关键点生成模块，提取图像中骨骼特征关键点位置，生成特征图；
关键点置信度预测网络模块，根据所述特征图生成关键点位置的置信度图，进行非极大值抑制，获得一组身体关键点的候选位置；
关键点亲和度向量场预测网络模块，根据所述特征图，建立特征点之间的关联，生成每个肢体的向量场；
关键点聚类模块，将多目标进化算法将关键点置信度预测网络模块和关键点亲和度向量场预测网络模块的输出结果进行融合，获得有效特征点及有效特征点之间的关系对，连接组装成多人的骨架，获得多人姿势。
9.根据权利要求8所述的一种基于openpose的多人姿势检测的系统，其特征在于，采用第一卷积神经网络构建关键点生成模块的模型并训练；采用第二卷积神经网络构建关键点置信度预测网络模块、关键点亲和度向量场预测网络模块、关键点聚类模块的模型并训练。优选的，所述第一卷积神经网络构采用10层VGG19网络。优选的，所述第二卷积神经网络采用多目标进化算法。
10.根据权利要求8所述的一种基于openpose的多人姿势检测的系统，其特征在于，在训练时,对于某一个人k,训练时的每一点的亲和度向量为:如果点在肢体上,则为两个关键点连线方向单位向量,否则为零向量；在测试时，所述关键点亲和度向量场预测网络模块衡量与给定肢体c相关联的两个关键点亲和度为这两个点连线上的点的亲和度向量与两点连线方向的单位向量相乘的路径积分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081123.8A CN111310625A (zh) | 2020-02-06 | 2020-02-06 | 一种基于openpose的多人姿势检测的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081123.8A CN111310625A (zh) | 2020-02-06 | 2020-02-06 | 一种基于openpose的多人姿势检测的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111310625A true CN111310625A (zh) | 2020-06-19 |
Family
ID=71145466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010081123.8A Pending CN111310625A (zh) | 2020-02-06 | 2020-02-06 | 一种基于openpose的多人姿势检测的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310625A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860216A (zh) * | 2020-06-30 | 2020-10-30 | 西安工程大学 | 一种结合注意力机制和部分亲和域场的人体姿态估计方法 |
| CN112070815A (zh) * | 2020-09-07 | 2020-12-11 | 哈尔滨工业大学（威海） | 一种基于人体外轮廓变形的自动瘦身方法 |
| CN112085003A (zh) * | 2020-09-24 | 2020-12-15 | 湖北科技学院 | 公共场所异常行为自动识别方法及装置、摄像机设备 |
| CN112381045A (zh) * | 2020-11-30 | 2021-02-19 | 国电南瑞科技股份有限公司 | 一种面向物联网移动端设备的轻量级人体姿态识别方法 |
| CN113147521A (zh) * | 2021-04-16 | 2021-07-23 | 博泰车联网(南京)有限公司 | 座椅调节方法、装置、相关系统以及存储介质 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113326778A (zh) * | 2021-05-31 | 2021-08-31 | 中科计算技术西部研究院 | 基于图像识别的人体姿态检测方法、装置和存储介质 |
| CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身系统及其工作方法 |
| CN113420604A (zh) * | 2021-05-28 | 2021-09-21 | 沈春华 | 多人姿态估计方法、装置和电子设备 |
| CN113822202A (zh) * | 2021-09-24 | 2021-12-21 | 河南理工大学 | 一种基于OpenPose和PyQt的太极拳姿态检测系统 |
| CN114373190A (zh) * | 2021-12-28 | 2022-04-19 | 浙江大学台州研究院 | 一种人体穴位的智能识别和自动定位系统 |
| WO2022230221A1 (ja) * | 2021-04-28 | 2022-11-03 | 株式会社メガチップス | ポーズデータ生成装置、ポーズデータ生成方法、および、プログラム |
| WO2023139757A1 (en) * | 2022-01-21 | 2023-07-27 | Nec Corporation | Pose estimation apparatus, pose estimation method, and non-transitory computer-readable storage medium |
| CN116597426A (zh) * | 2023-05-26 | 2023-08-15 | 北京中科睿途科技有限公司 | 一种司乘人员安全状态的识别方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038575A (zh) * | 2017-12-20 | 2018-05-15 | 广西大学 | 基于改进型nsga ii的停车点位置规划方法 |
| CN110348337A (zh) * | 2019-06-26 | 2019-10-18 | 西安理工大学 | 基于卷积神经网络的舞蹈视频人体骨架检测与提取方法 |
| CN110598554A (zh) * | 2019-08-09 | 2019-12-20 | 中国地质大学（武汉） | 基于对抗学习的多人姿态估计方法 |
-
2020
- 2020-02-06 CN CN202010081123.8A patent/CN111310625A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038575A (zh) * | 2017-12-20 | 2018-05-15 | 广西大学 | 基于改进型nsga ii的停车点位置规划方法 |
| CN110348337A (zh) * | 2019-06-26 | 2019-10-18 | 西安理工大学 | 基于卷积神经网络的舞蹈视频人体骨架检测与提取方法 |
| CN110598554A (zh) * | 2019-08-09 | 2019-12-20 | 中国地质大学（武汉） | 基于对抗学习的多人姿态估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHE CAO ET AL.: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《ARXIV》 * |
| 孙毅: "多目标微分进化算法及其在数据聚类上的应用研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 陈慧岩 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860216A (zh) * | 2020-06-30 | 2020-10-30 | 西安工程大学 | 一种结合注意力机制和部分亲和域场的人体姿态估计方法 |
| CN112070815A (zh) * | 2020-09-07 | 2020-12-11 | 哈尔滨工业大学（威海） | 一种基于人体外轮廓变形的自动瘦身方法 |
| CN112070815B (zh) * | 2020-09-07 | 2024-01-05 | 哈尔滨工业大学（威海） | 一种基于人体外轮廓变形的自动瘦身方法 |
| CN112085003A (zh) * | 2020-09-24 | 2020-12-15 | 湖北科技学院 | 公共场所异常行为自动识别方法及装置、摄像机设备 |
| CN112085003B (zh) * | 2020-09-24 | 2024-04-05 | 湖北科技学院 | 公共场所异常行为自动识别方法及装置、摄像机设备 |
| CN112381045A (zh) * | 2020-11-30 | 2021-02-19 | 国电南瑞科技股份有限公司 | 一种面向物联网移动端设备的轻量级人体姿态识别方法 |
| CN113147521A (zh) * | 2021-04-16 | 2021-07-23 | 博泰车联网(南京)有限公司 | 座椅调节方法、装置、相关系统以及存储介质 |
| WO2022230221A1 (ja) * | 2021-04-28 | 2022-11-03 | 株式会社メガチップス | ポーズデータ生成装置、ポーズデータ生成方法、および、プログラム |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113420604A (zh) * | 2021-05-28 | 2021-09-21 | 沈春华 | 多人姿态估计方法、装置和电子设备 |
| CN113326778B (zh) * | 2021-05-31 | 2022-07-12 | 中科计算技术西部研究院 | 基于图像识别的人体姿态检测方法、装置和存储介质 |
| CN113326778A (zh) * | 2021-05-31 | 2021-08-31 | 中科计算技术西部研究院 | 基于图像识别的人体姿态检测方法、装置和存储介质 |
| CN113368487A (zh) * | 2021-06-10 | 2021-09-10 | 福州大学 | 基于OpenPose的3D私人健身系统及其工作方法 |
| CN113822202A (zh) * | 2021-09-24 | 2021-12-21 | 河南理工大学 | 一种基于OpenPose和PyQt的太极拳姿态检测系统 |
| CN114373190A (zh) * | 2021-12-28 | 2022-04-19 | 浙江大学台州研究院 | 一种人体穴位的智能识别和自动定位系统 |
| CN114373190B (zh) * | 2021-12-28 | 2024-04-19 | 浙江大学台州研究院 | 一种人体穴位的智能识别和自动定位系统 |
| WO2023139757A1 (en) * | 2022-01-21 | 2023-07-27 | Nec Corporation | Pose estimation apparatus, pose estimation method, and non-transitory computer-readable storage medium |
| CN116597426A (zh) * | 2023-05-26 | 2023-08-15 | 北京中科睿途科技有限公司 | 一种司乘人员安全状态的识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310625A (zh) | 一种基于openpose的多人姿势检测的方法及系统 | |
| CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
| CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
| CN111325115B (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和系统 | |
| JP2019091443A (ja) | オープンセット認識方法と装置及びコンピュータ可読記憶媒体 | |
| CN103279768B (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
| CN109151995B (zh) | 一种基于信号强度的深度学习回归融合定位方法 | |
| CN111353487A (zh) | 用于变电站的设备信息提取方法 | |
| CN111611367B (zh) | 一种引入外部知识的视觉问答方法 | |
| CN107203747B (zh) | 基于自适应选择机制的稀疏联合模型目标跟踪方法 | |
| CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
| CN108108716A (zh) | 一种基于深度信念网络的回环检测方法 | |
| CN112926522A (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN111523404A (zh) | 一种基于卷积神经网络和稀疏表示的部分人脸识别方法 | |
| CN114708637A (zh) | 一种基于元学习的人脸动作单元检测方法 | |
| Lu et al. | Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion. | |
| Zhang et al. | Residual memory inference network for regression tracking with weighted gradient harmonized loss | |
| CN112329571B (zh) | 一种基于姿态质量评估的自适应人体姿态优化方法 | |
| CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 | |
| Yao et al. | Dual-attention transformer and discriminative flow for industrial visual anomaly detection | |
| CN115798055B (zh) | 一种基于cornersort跟踪算法的暴力行为检测方法 | |
| CN116704609A (zh) | 基于时序注意力的在线手卫生评估方法及系统 | |
| Özbay et al. | 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks. | |
| Batool et al. | Fundamental Recognition of ADL Assessments Using Machine Learning Engineering | |
| CN115601841A (zh) | 一种联合外观纹理和运动骨架的人体异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |