CN111079695A - 一种人体关键点检测与自学习方法及装置 - Google Patents

Abstract

本发明提供一种人体关键点检测与自学习方法及装置，通过摄像头或视频，提取多个连续帧的图像信息，对于每张图像，检测人体的多个关键点，这些关键点具有坐标信息和置信度信息，对于置信度小于0.6的关键点，使用邻接边曲线拟合算法，完成置信度小于0.6的关键点的坐标预测与置信度计算。本发明针对被遮挡的置信度小于0.6的关键点的坐标进行预测，提升了人体关键点检测的准确性，能更准确地返回人体关键点信息。

Description

一种人体关键点检测与自学习方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种人体关键点检测与自学习方法及装置。

背景技术

近年来，随着计算机视觉技术的发展，人体关键点预测领域取得了大幅进展在图像处理中。关键点本质上是一种特征。它是对一个固定区域或者空间物理关系的抽象描述，描述的是一定邻域范围内的组合或上下文关系。它不仅仅是一个点信息，或代表一个位置，更代表着上下与周围邻域的组合关系。现有的人体关键点检测技术，往往会由于人体关键点的深度预测错误而导致三维人体姿态预测错误。

中国专利申请公开号为CN108830139A，发明名称为“人体关键点的深度前后关系预测方法、装置、介质及设备”，将人体图像提交给神经网络，执行人体关键点的深度前后关系预测，获取人体关键点的深度前后关系，形成至少两个人体关键点的特征值，利用这两个关键点特征值的差值，形成人体关键点的深度前后关系。

该公开利用样本的人体关键点的深度前后关系标注信息对所述人体关键点的深度前后关系进行监督，没有充分考虑不同关键点对某一个关键点影响的差异性，对于部分有遮挡的关键点预测，实现起来具有一定的困难。

中国专利申请公开号为CN108710868A，发明名称为“一种基于复杂场景下的人体关键点检测系统及方法”，采用人体目标检测算法，对特征图的实际置信度与预设置信度进行判别，得到离散化人体目标包围框，对多帧光流图采用光流堆叠来形成二维矢量场，通过提取离散化人体目标包围框中特征，得到特征图，获取部位的关键点和关联程度，利用预测器为人体每个部位生成部位置信图，通过对部位置信图和二维矢量场实现人体关键点的精准预测等。

该公开仅仅考虑了当前帧的前向光流场的帧历史信息，没有考虑当前帧的后面的帧信息，也没有考虑部分遮挡的关键点的数据的生成方法，对于部分有遮挡的关键点的预测，具有一定的难度等。

发明内容

有鉴于此，为了解决现有技术问题，本发明的目的是提供一种人体关键点检测与自学习方法及装置，通过对被部分遮挡的人体关键点的坐标的预测，提升其置信度，尽量准确地返回人体关键点信息，能更准确的检测人体关键点信息。

本发明的目的是通过以下技术方案实现的：

第一方面，本发明提供一种人体关键点检测与自学习方法，包括以下步骤：

步骤S1、通过摄像头或视频的流数据提取每帧图像，并对提取的每帧图像进行预处理；

步骤S2、利用SSD算法完成人体目标检测，生成人体目标框图像；

步骤S3、利用人体姿态检测算法检测人体目标框图像的人体关键点，得到初步的人体关键点位置信息与置信度信息；

步骤S4、生成人体关键点的实际邻接躯干边；

步骤S5、邻接躯干边中生成至少一个中间节点，完成躯干边的拟合更新；

步骤S6、对于置信度在0.6以上的关键点保留其值，对于置信度小于0.6的关键点，使用邻接边曲线拟合算法，完成置信度小于0.6的关键点的坐标预测与置信度计算；

步骤S7、置信度小于0.6的关键点信息更新；

步骤S8、邻接躯干边上中间节点更新；

步骤S9、自学习步骤S6至步骤S8，使用一个缓存队列存储对应的关键点与邻接躯干边信息，基于滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

进一步的，所述的步骤S5中的中间节点为4个。

进一步的，所述的步骤S6中，完成置信度小于0.6的关键点的坐标预测与置信度计算的具体步骤包括：

步骤S601、基于某个置信度小于0.6关键点的至少一个邻接躯干边的中间节点，得到一个以上的短躯干边；

步骤S602、计算每条躯干边和短躯干边的置信度；

步骤S603、对于置信度在0.6以上的躯干边保留其值；对于置信度小于0.6的短躯干边，根据当前关键点及前后各2帧图像，可以得到对应关键点的5组对应的4个短躯干边曲线，分别选择其中置信度大于0.9的短躯干边曲线，利用相似曲线拟合算法，生成基于该关键点的对应的4个短躯干边，再根据置信度的权重拟合得到对应的躯干边；

步骤S604、由步骤S603中拟合生成的躯干边与原来保留的躯干边相交得到对应的关键点，进一步得到置信度小于0.6的关键点的新的坐标信息和置信度信息。

进一步的，所述的步骤S603中置信度的权重为：置信度≥0.9的短躯干边，权重为50％；0.6≤置信度＜0.9的短躯干边，权重为50％；置信度小于0.6的不采用。

进一步的，0.6≤置信度＜0.7的短躯干边，权重为5％；0.7≤置信度＜0.8的短躯干边，权重为15％；0.8≤置信度＜0.9的短躯干边，权重为30％；置信度小于0.6的则不采用。

进一步的，所述的邻接躯干边，是关键点之间的连线；所述的短躯干边，是邻接躯干边的中间点之间的连线。

第二方面，本发明提供一种人体关键点检测与自学习装置：包括获取模块、预处理模块、检测模块、计算模块和学习模块；

获取模块：用于提取摄像头或视频的流数据的每帧图像并将提取的图像发送给预处理模块；

预处理模块：对提取的每帧图像进行预处理，并将预处理后的每帧图像发送给检测模块；

检测模块：用于检测人体目标，生成人体目标图像，并检测人体目标图像的人体关键点。

计算模块：完成对置信度小于0.6的关键点的坐标预测与置信度的计算，并根据计算结果对置信度小于0.6的关键点信息进行更新；

学习模块：对置信度小于0.6的关键点的坐标预测与置信度的计算方法进行学习，基于滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

本发明的有益效果在于：

本发明针对被遮挡的人体关键点的坐标进行预测，提升了人体关键点检测的准确性，能更准确地返回人体关键点信息。

本发明设计一个在线自学习的架构，利用一种缓存队列的存储机制，保存视频流帧图像中的人体关键节点与边的坐标信息与置信度信息，利用低置信度关键点预测算法，完成低置信度关键点的拟合计算与信息更新，包括坐标信息和置信度信息等，形成一个在线自学习的关键点信息自动更新的架构。

附图说明

图1为本发明的人体关键点检测与自学习方法的流程示意图；

图2为本发明的人体关键点检测与自学习装置的结构示意图。

具体实施例

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

实施例一

本发明通过摄像头或视频，提取多个连续帧的图像信息，对于每张图像，利用人体姿态检测算法Openpose检测到人体的多个关键点，这些关键点具有坐标信息和置信度信息，对于置信度偏低的关键点，大部分是由遮挡而导致的。这些低置信度以及置信度为零的关键点对后面的动作识别或行为分析造成困难，因此需要提升被部分遮挡的人体关键点的坐标的预测，提升其置信度，尽量准确地返回人体关键点信息。

对于具有较高置信度(数值大于0.9)的关键点保持原值，对于低置信度的关键点(数值小于0.6)，设计一个低置信度关键点预测算法，利用这些关键点的前后多个帧的对应邻接边进行曲线拟合的方式，充分利用高置信度的关键点信息以及关键点之间的边信息，每一个边信息都由前后多个帧的对应边曲线拟合生成，最后通过多个边拟合曲线的交点来近似对应的关键点，从而得到相对高置信度的关键点信息，对应的置信度也是由对应的多个边的置信度加权平均获得。

一种人体关键点检测与自学习方法，如图1所示，包括以下步骤：

步骤S1、通过摄像头或视频的流数据提取每帧图像，并对提取的每帧图像进行预处理。

借助一个缓存队列，利用前后多帧的图像(此处取5帧，当前帧的前后各2帧)，按照与当前帧越远的帧图像的权重取值越低的原则,即前后多帧与当前帧构成一个树结构，当前帧为根节点，前后帧的权重分别取其与根节点的距离计算并归一化后得到(取5帧时，则当前帧的权重为50％，前一帧与后一帧的权重为15％，前第二帧与后第二帧的权重为10％)，完成基于对应像素点的加权平均的方法，获得当前帧的处理后图像，可以提高部分抖动或模糊的图像质量。

步骤S2、利用SSD(Single Shot MultiBox Detector)算法完成人体目标检测，生成人体目标框图像。

SSD算法具有检测时间快，准确率高的特点，适合多尺度目标检测。利用SSD算法完成每帧图像中人体目标框的发现，并返回当前帧图像中的人的个数以及其所在位置，同时返回人体目标框图像；

步骤S3、利用人体姿态检测算法(OpenPose)完成人体目标框图像的人体关键点的检测，得到初步的关键点位置信息与置信度信息。

有18与25个关键点的两种返回结果，对于检测到的关键点个数不到总数的三分之一的目标要抑制掉(大部分时误检到的椅子之类的)，。

步骤S4、生成关键点的实际邻接躯干边。

对于最邻近的关键点，基于人体骨骼架构，生成实际的对应邻接躯干边，形成的是一个躯干树，不能有自环或回路存在。

步骤S5、邻接躯干边中生成一个以上的中间节点，完成躯干边的拟合更新。

单个关键点预测时会有一定的误差，为了避免单个关键点的计算误差对躯干边的方向影响，取该方向上多个分位节点，即中间节点，本发明取3个四分位点即可，利用目标跟踪的方法，在前后帧图像中进行对应节点的位置跟踪，对应边的曲线将有对应的四个线段边曲线拟合而成，完成躯干边的拟合更新。

步骤S6、对于置信度在0.6以上的关键点保留其值，对于置信度小于0.6的关键点，使用邻接边曲线拟合算法，完成置信度小于0.6的关键点的坐标预测与置信度计算：

置信度在0.6以上的关键点中，大于0.9的节点的信息是拟合低置信度关键点的主要依据。置信度小于0.6的关键点的坐标预测与置信度计算方法为：

步骤S601、基于某个置信度小于0.6关键点的一个以上邻接躯干边的中间节点，得到一个以上的短躯干边。

每张帧图像上，都有基于某个关键帧的多个邻接躯干边(边的置信度记为两个端节点置信度的平均值)，而这个躯干边上面有3个中间节点，可以得到4个短躯干边曲线。

步骤S602、计算每条躯干边(关键点之间的连线)和短躯干边(关键点之间连线上的内部中间点之间的连线)的置信度；

步骤S603、对于置信度在0.6以上的躯干边保留其值；对于置信度低的短躯干边，根据前后各2帧图像，可以得到对应关键点的5组对应的4个短躯干边曲线，分别选择其中置信度大于0.9的短躯干边曲线，利用相似曲线拟合算法，生成基于该关键点的对应的4个短躯干边，然后再根据置信度的权重拟合得到对应的躯干边。

短躯干边拟合采用插值曲线拟合算法，由当前帧的前后对应的多条短躯干边加权拟合而成，这里，每条短躯干边上等距离地选取N个内部节点(这里取100)，每个内部节点的坐标与置信度由前后帧的对应短躯干边上的对应内部节点的坐标与置信度的加权求和得到，最后拟合的短躯干边记为拟合后的内部节点连线而成，内部节点的坐标与置信度的加权方案如下：

在短躯干边拟合过程中，短躯干边上，对于置信度≥0.9的短躯干边，权重为50％，优先使用；0.6≤置信度＜0.9的短躯干边，权重为50％，具体的，0.6≤置信度＜0.7的短躯干边，权重为5％；0.7≤置信度＜0.8的短躯干边，权重为15％；0.8≤置信度＜0.9的短躯干边，权重为30％；置信度小于0.6的则不采用；

步骤S604、根据人体中关键点是多个躯干相邻边的交点性质以及原关键点之间的相邻关系，可以由步骤S603中拟合生成的躯干边与原来保留的躯干边相交得到对应的关键点，得到置信度小于0.6的关键点的新的坐标信息和置信度信息。

步骤S7、置信度小于0.6的关键点信息更新。

置信度大于等于0.6的关键点的坐标与置信度保持不变，由步骤S6中关键点预测算法计算得到置信度小于0.6的关键点的坐标与置信度，完成其信息的更新；

步骤S8、邻接躯干边上中间节点更新。

基于更新后的关键点信息，可以通过该关键点新的坐标与置信度，去自动更新与其相邻接的边上的4个中间关节点的坐标与置信度信息。

步骤S9、自学习步骤S6至步骤S8，使用一个缓存队列存储对应的关键点与邻接躯干边信息，基于一个滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

充分利用了上下帧图像的关键点信息，可以更好地拟合生成对应的低置信度的关键点。关键点置信度得到了提高，对应的邻接边就更加准确，同时，邻接边中4个短躯干边的拟合可以更新这长躯干边的方向。根据置信度的权重，使得关键点与邻接边形成互相学习与更新的机制，完成基于部分遮挡的高置信度的关键点以及人体躯干相邻关系的低置信度关键点的更正确位置的预测与置信度自动更新等。

实施例二

本实施例提供一种人体关键点检测与自学习装置，如图2所示，包括获取模块、预处理模块、检测模块、计算模块和学习模块；

获取模块：用于提取摄像头或视频的流数据的每帧图像并将提取的图像发送给预处理模块；

预处理模块：对提取的每帧图像进行预处理，并将预处理后的每帧图像发送给检测模块。

借助一个缓存队列，利用前后多帧的图像(此处取5帧，当前帧的前后各2帧)，按照与当前帧越远的帧图像的权重取值越低的原则，完成基于对应像素点的加权平均的方法，获得当前帧的处理后图像。

检测模块：用于检测人体目标，生成人体目标图像，并检测人体目标图像的人体关键点。

计算模块：完成对置信度小于0.6的关键点的坐标预测与置信度的计算，并根据计算结果对置信度小于0.6的关键点信息进行更新。

学习模块：对置信度小于0.6的关键点的坐标预测与置信度的计算方法进行学习，基于一个滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种人体关键点检测与自学习方法，其特征在于：包括以下步骤：

步骤S1、通过摄像头或视频的流数据提取每帧图像，并对提取的每帧图像进行预处理；

步骤S2、利用SSD算法完成人体目标检测，生成人体目标框图像；

步骤S3、利用人体姿态检测算法检测人体目标框图像的人体关键点，得到初步的人体关键点位置信息与置信度信息；

步骤S4、生成人体关键点的实际邻接躯干边；

步骤S5、邻接躯干边中生成至少一个中间节点，完成躯干边的拟合更新；

步骤S6、对于置信度在0.6以上的关键点保留其值，对于置信度小于0.6的关键点，使用邻接边曲线拟合算法，完成置信度小于0.6的关键点的坐标预测与置信度计算；

步骤S7、置信度小于0.6的关键点信息更新；

步骤S8、邻接躯干边上中间节点更新；

步骤S9、自学习步骤S6至步骤S8，使用一个缓存队列存储对应的关键点与邻接躯干边信息，基于滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

2.根据权利要求1所述的一种人体关键点检测与自学习方法，其特征在于：所述的步骤S5中的中间节点为4个。

3.根据权利要求2所述的一种人体关键点检测与自学习方法，其特征在于：所述的步骤S6中，完成置信度小于0.6的关键点的坐标预测与置信度计算的具体步骤包括：

步骤S601、基于某个置信度小于0.6关键点的至少一个邻接躯干边的中间节点，得到一个以上的短躯干边；

步骤S602、计算每条躯干边和短躯干边的置信度；

步骤S603、对于置信度在0.6以上的躯干边保留其值；对于置信度小于0.6的短躯干边，根据当前关键点及前后各2帧图像，可以得到对应关键点的5组对应的4个短躯干边曲线，分别选择其中置信度大于0.9的短躯干边曲线，利用相似曲线拟合算法，生成基于该关键点的对应的4个短躯干边，再根据置信度的权重拟合得到对应的躯干边；

步骤S604、由步骤S603中拟合生成的躯干边与原来保留的躯干边相交得到对应的关键点，进一步得到置信度小于0.6的关键点的新的坐标信息和置信度信息。

4.根据权利要求3所述的一种人体关键点检测与自学习方法，其特征在于：所述的步骤S603中置信度的权重为：置信度≥0.9的短躯干边，权重为50％；0.6≤置信度＜0.9的短躯干边，权重为50％；置信度小于0.6的不采用。

5.根据权利要求4所述的一种人体关键点检测与自学习方法，其特征在于：0.6≤置信度＜0.7的短躯干边，权重为5％；0.7≤置信度＜0.8的短躯干边，权重为15％；0.8≤置信度＜0.9的短躯干边，权重为30％；置信度小于0.6的则不采用。

6.根据权利要求3所述的一种人体关键点检测与自学习方法，其特征在于：所述的邻接躯干边，是关键点之间的连线；所述的短躯干边，是邻接躯干边的中间点之间的连线。

7.一种人体关键点检测与自学习装置：包括获取模块、预处理模块、检测模块、计算模块和学习模块；

获取模块：用于提取摄像头或视频的流数据的每帧图像并将提取的图像发送给预处理模块；

预处理模块：对提取的每帧图像进行预处理，并将预处理后的每帧图像发送给检测模块；

检测模块：用于检测人体目标，生成人体目标图像，并检测人体目标图像的人体关键点。

计算模块：完成对置信度小于0.6的关键点的坐标预测与置信度的计算，并根据计算结果对置信度小于0.6的关键点信息进行更新；

学习模块：对置信度小于0.6的关键点的坐标预测与置信度的计算方法进行学习，基于滑动窗口的更新方式，对每个置信度小于0.6的关键点进行拟合计算与更新。

Images