CN109685797A - 骨骼点检测方法、装置、处理设备及存储介质 - Google Patents

Abstract

本发明提供了一种骨骼点检测方法、装置、处理设备及存储介质，涉及骨骼点检测技术领域，该方法包括：获取待检测对象的图像序列，图像序列包括连续多帧图像；根据预设帧间隔从图像序列中确定检测帧，在相邻两个检测帧之间的图像帧为跟踪帧；获取检测帧的骨骼点检测结果；基于骨骼点检测结果，通过光流计算得到各个跟踪帧的骨骼点跟踪结果；根据骨骼点检测结果和骨骼点跟踪结果确定最终的检测结果。本发明实施例采用隔帧检测方式，在降低功耗的同时保证了骨骼点的定位精度，降低了应用骨骼点定位结果时产生的卡顿或延迟感。

Description

骨骼点检测方法、装置、处理设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种骨骼点检测方法、装置、处理设备及存储介质。

背景技术

近年来，骨骼点检测应用场景越来越多，例如体感游戏、VR(Virtual Reality，虚拟现实)人体抠图显示等。最初人体骨骼点检测主要应用在电脑端，例如行人监测系统、Xbox Kinect等，电脑端具有强大的硬件，足以满足骨骼点检测所需的计算能力和实时性要求。随着诸如手机等移动端的迅猛发展，使得骨骼点检测在移动端上的需求也越来越高，与电脑端相比移动端的计算能力弱且功耗要求苛刻，因此移动端的骨骼点检测并不能直接移植电脑端已有方案。

发明内容

有鉴于此，本发明的目的在于提供一种骨骼点检测方法、装置、处理设备及存储介质，可以降低计算量并维持精度水平，减少迟滞感或卡顿感。

第一方面，本发明实施例提供了一种骨骼点检测方法，所述方法包括：获取待检测对象的图像序列，所述图像序列包括连续多帧图像；根据预设帧间隔从所述图像序列中确定检测帧，在相邻两个所述检测帧之间的图像帧为跟踪帧；获取所述检测帧的骨骼点检测结果；基于所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果；根据所述骨骼点检测结果和所述骨骼点跟踪结果确定最终的检测结果。

进一步，所述根据预设帧间隔从所述图像序列中确定检测帧的步骤，包括：在所述图像序列中，按照同一个预设帧间隔确定各个检测帧；或者，在所述图像序列中，按照至少两个不同的预设帧间隔确定各个检测帧。

进一步，所述基于所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果的步骤，包括：根据相邻两个检测帧的所述骨骼点检测结果计算光流向量；根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果。

进一步，所述根据相邻两个检测帧的所述骨骼点检测结果计算光流向量的步骤，包括：在相邻两个检测帧中分别选择相同的骨骼点；基于预设的光流算法，计算所述骨骼点对应的光流向量，所述光流向量为所述骨骼点的速度矢量。

进一步，所述根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果的步骤，包括：确定所述相邻两个检测帧之间的各个跟踪帧与所述相邻两个检测帧中前一帧的时间差；将所述时间差乘以所述光流向量得到所述各个跟踪帧对应的位移量；将所述前一帧的骨骼点跟踪结果加上所述位移量，得到所述各个跟踪帧的骨骼点跟踪结果。

进一步，所述根据相邻两个检测帧的所述骨骼点检测结果计算光流向量的步骤，包括：根据所述骨骼点检测结果中的各个骨骼点，并行计算所述各个骨骼点对应的光流向量。

进一步，所述计算所述骨骼点对应的光流向量的步骤，包括：将所述骨骼点确定为特征点；在所述特征点周围选择预设大小区域作为搜索框；在所述搜索框中计算光流向量。

进一步，所述根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果的步骤之后，所述方法还包括：如果当前的跟踪帧是与所述检测帧相邻的前一帧，将所述检测帧的骨骼点检测结果与所述当前的跟踪帧的骨骼点跟踪结果取均值，并将所述均值作为所述当前的跟踪帧最终的骨骼点跟踪结果。

第二方面，本发明实施例提供了一种骨骼点检测装置，应用于移动终端，所述装置包括：获取模块，用于获取待检测对象的图像序列，所述图像序列包括连续多帧图像；隔帧检测模块，用于根据预设帧间隔从所述图像序列中确定检测帧，在相邻两个所述检测帧之间的图像为跟踪帧；骨骼点检测模块，用于获取所述检测帧的骨骼点检测结果；骨骼点跟踪模块，用于根据所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果；骨骼点结果确定模块，用于根据所述骨骼点检测结果和所述骨骼点跟踪结果确定最终的检测结果。

第三方面，本发明实施例提供了一种骨骼点检测的处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种骨骼点检测方法、装置、处理设备及存储介质，采用隔帧检测方式，通过图像序列中检测帧对应的光流计算得到各个跟踪帧的骨骼点跟踪结果，非检测帧(跟踪帧)使用光流跟踪方法，在降低功耗的同时保证了骨骼点定位结果的精度，降低了应用骨骼点定位结果时产生的卡顿或延迟感。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种处理设备的结构示意图；

图2为本发明实施例提供的图像序列的示意图；

图3为本发明实施例提供的一种骨骼点检测的流程图；

图4为本发明实施例提供的一种骨骼点检测装置的结构框图；

图5为本发明实施例提供的另一种骨骼点检测装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的移动端骨骼点检测方案均采用传统方案或者神经网络算法检测人体骨骼特征点，为了减少计算量及功耗，通常采用如下两种方案：

(1)逐帧检测骨骼点方案。通过降低每帧检测的功耗及运算时间，例如使用体积更小、计算量更低的神经网络，使用int8量化神经网络，在DSP(Digital Signal Processing，数字信号处理芯片)上运行网络等等方法解决功耗问题。上述方案在降低每帧运算功耗时，对精度都会有所影响，例如体积更小计算量更低的网络通常表达能力会低很多，最终会直接影响骨骼特征点检测的精度。目前并非所有移动端处理器都支持8bit整数运算，目前主流移动端处理器都采用ARM架构，该架构已上市处理器都只支持32bit浮点数运算，8bit运算需要将计算数自动转换成32bit，这样反而会比直接使用32bit浮点数更慢。目前极少CPU有DSP模块，总的来说降低每帧检测的功耗及运算时间方案会降低精度，或者不具备通用性，并且提升速度水平与降低功耗水平也并不会很明显，因为现在的多数检测算法，包括骨骼点检测，为了精度达到工业要求，都会选择神经网络方案，而神经网络主要计算量/功耗又集中在网络上，网络的速度/功耗与精度又是相矛盾的，因此单纯降低每帧检测的网络消耗收效不大。

(2)隔帧检测骨骼点方案。与上述方案不同，隔帧检测方案并不是每帧都做检测，而是隔帧做骨骼点检测，间隔帧并不做检测而直接采用检测帧的检测结果，直到下一个检测帧。这种方案可以极大的降低功耗/速度，检测帧间隔越高，则降功耗/速度越明显。例如检测帧间隔为1，即隔一帧做一次检测，则功耗降低为非常接近1/2，帧间隔为N时降低为接近1/(Ν+1)。隔帧方案带来的弊端也是非常明显的，由于间隔帧采用检测帧的结果，也就是说间隔帧数为N时，有N+1帧骨骼点结果完全一致，而大部分时间用户是在连续运动的，因此这种方案会造成用户感到明显的迟滞或卡顿感。

为改善上述问题，本发明实施例提供了一种骨骼点检测方法、装置、处理设备及存储介质，采用隔帧检测，非检测帧使用光流跟踪方法，降低计算量并维持精度水平，避免了逐帧检测方案通过精简网络降低每帧检测功耗/速度带来的精度下降问题，以及对硬件存在依赖和不通用问题，避免了隔帧检测方案会使用户产生延迟/卡顿感问题。以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的处理设备100，该处理设备可以用于运行本发明各实施例的方法。

如图1所示，处理设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及数据采集器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的处理设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述处理设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述处理设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述数据采集器110用于进行数据采集，其中，数据采集器所采集的数据为当前目标的原始数据或目标数据，然后，数据采集器还可以将该原始数据或目标数据存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的骨骼点检测方法的处理设备可以被实现为诸如服务器、智能手机、平板电脑、计算机等智能终端。

实施例二：

本实施例提供的骨骼点检测方法，采用隔帧方案，参见图2所示的图像序列的示意图，其中浅色为检测帧，中间深色的N帧为跟踪帧。通过控制N的取值，可以控制功耗与效果的平衡点，N越大功耗越低。本方案中检测帧的骨骼点检测结果(可以包含9个或11个特征点，包括头部、双手等)通过神经网络获取。

参见图3所示的一种骨骼点检测方法，应用于移动终端，该方法可由前述实施例提供的处理设备执行，该方法具体包括如下步骤：

步骤S302，获取对象的图像序列。该图像序列包括连续多帧图像。

其中，对象可以是人体或者动物体，通过采集装置采集对象的视频或者多帧连续的图像，组成待检测跟踪的图像序列，用于获取对象的骨骼点位置变化情况。

步骤S304，根据预设帧间隔从图像序列中确定检测帧，在相邻两个检测帧之间的图像帧为跟踪帧。

该预设帧间隔可以基于应用场景所需的检测精度和移动终端的能耗共同决定，帧间隔数量越大则检测精度越低、能耗也越低，帧间隔数量越小则检测精度越高、能耗也越高。在此需要说明的是，如图2中所示，图像序列中的首帧图像一般作为检测帧，然后每间隔该预设帧间隔选择一帧作为检测帧，连续两个检测帧之间的图像均为跟踪帧。

步骤S306，获取检测帧的骨骼点检测结果。

检测帧的骨骼点检测结果可以采用现有的提取方式，例如常用神经网络提取方法，移动终端可以获取到各个检测帧的骨骼点检测结果。现有的提取方式主要包括以下算法：

卷积姿态网络(Convolutional Pose Machines)，使用卷积图层表达纹理信息和空间信息，主要网络结构分为多个阶段，其中第一个阶段产生初步的关键点的检测效果，接下来的几个阶段均以前一个阶段的预测输出和从原图提取的特征作为输入，可以提高关键点的检测效果；

级联金字塔网络(Cascaded Pyramid Network)，包括GlobalNet和RefineNet，其中GlobalNet主要负责检测容易检测和较难检测的关键点，对于较难关键点的检测，主要体现在网络的较深层，通过进一步更高层的语义信息来解决较难检测的关键点问题；RefineNet主要解决更难或者不可见关键点的检测；

部分亲和域(Part Affinity Field)，通过对人体的不同肢体结构进行建模，使用向量场来模拟不同肢体结构，解决了单纯使用中间点是否在肢干上造成的错连问题。

嵌入式联接(Associative Embedding)，通过使用高维空间的向量来编码不同人体的不同关键点之间的关系，通过两个关键点在高维空间上的距离来判断两个关键点是否属于同一个人，而达到聚类的目的。

步骤S308，基于检测帧的骨骼点检测结果，通过光流计算得到各个跟踪帧的骨骼点跟踪结果。

在移动终端的应用场景满足光流跟踪假设时，可以基于各个检测帧的骨骼点检测结果，通过光流跟踪法计算各个跟踪帧的骨骼点跟踪结果。其中，移动终端可以先根据检测帧的骨骼点检测结果计算得到光流向量，再根据前一帧的骨骼点检测结果和上述光流向量，确定前一帧对应的跟踪帧(即与前一帧相邻的下一帧图像)的骨骼点跟踪结果。

步骤S310，根据上述骨骼点检测结果和骨骼点跟踪结果确定最终的检测结果。上述骨骼点检测结果和骨骼点跟踪结果包括了图像序列中所有帧图像的骨骼点定位结果，可以进一步在各种骨骼点应用场景中利用。

本发明实施例提供的上述骨骼点检测方法，采用隔帧检测方式，通过图像序列中检测帧对应的光流计算得到各个跟踪帧的骨骼点跟踪结果，非检测帧(跟踪帧)使用光流跟踪方法，在降低功耗的同时保证了骨骼点定位结果的精度，降低了应用骨骼点定位结果时产生的卡顿或延迟感。

如图2中所示的图像序列示意图，其中使用了相同的帧间隔确定跟踪帧，图2中相邻检测帧之间的跟踪帧数量均为3张，在此需要说明的是，在上述图像序列中，可以按照相同的预设帧间隔确定各个检测帧，也可以按照至少两个不同的预设帧间隔确定各个检测帧，即相邻检测帧之间的跟踪帧数量至少取两个不同值。上述按照至少两个不同的预设帧间隔确定各个检测帧，适用于对骨骼点的整体运动过程的各个阶段不同程度的关注，例如关注运动过程的起始和结束阶段，则可以在起始和结束阶段设置较小的预设帧间隔，在中间阶段设置较大的预设帧间隔。

在获取检测帧的骨骼点检测结果后，与现有技术中间隔帧直接采用检测帧的检测结果的方式不同，本实施例中可以根据检测帧的骨骼点检测结果，通过光流计算得到各个跟踪帧(即前述间隔帧)的骨骼点跟踪结果，具体可以按照以下方式执行：

(1)根据相邻两个检测帧的骨骼点检测结果计算光流向量。在计算光流向量时，在相邻两个检测帧中分别选择相同骨骼点，然后基于预设的光流算法，计算上述两个检测帧中该相同骨骼点的光流向量。该光流向量为该骨骼点的速度矢量，该速度矢量包括方向和位移大小。在此需要说明的是，图像中一般存在多个骨骼点且各个骨骼点位置改变多数情况下不一致，为了跟踪各个骨骼点的定位，需要对每个骨骼点进行光流向量的计算，后续对每个骨骼点进行跟踪，确定各个跟踪帧中每个骨骼点的定位。

(2)根据相邻两个检测帧中前一帧的骨骼点检测结果和上述光流向量，确定相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果。

跟踪帧的骨骼点定位可以根据图像序列中在其之前最接近的检测帧(即前述两个检测帧中的前一帧)以及上述光流向量确定。首先，可以确定相邻两个检测帧之间的各个跟踪帧与相邻两个检测帧中前一帧的时间差，将该时间差乘以上述光流向量得到各个跟踪帧对应的位移量，将前一帧的骨骼点跟踪结果加上该位移量，得到各个跟踪帧的骨骼点跟踪结果。

其中，通过时间差与光流向量得到的位移量，其包括位移大小和位移方向，以前一帧的骨骼点跟踪结果加上该位移量，即在骨骼点跟踪结果中骨骼点定位的基础上，按照该位移方向移动该位移大小得到该骨骼点在该跟踪帧中的定位。与前述步骤(1)对应，需要对各个骨骼点分别计算其在各个跟踪帧中的定位，得到各个跟踪帧的骨骼点跟踪结果。

在上述光流跟踪过程中，考虑到计算的实时性，可以根据骨骼点检测结果中的各个骨骼点，并行计算各个骨骼点对应的光流向量。

在骨骼点的搜索框选取上，由于对象的位移不会太大，因此可以在跟踪点周围，以该点为中心扩展m*m个像素，在原图上截取出对应图像区域，最终在截取出的图像区域上计算该点的光流，以达到最低计算量，因此上述根据骨骼点检测结果计算光流向量的步骤，可以按照以下过程执行：将上述骨骼点确定为特征点，并在特征点周围选择预设大小区域作为搜索框，然后在该搜索框中计算光流向量。

为了避免第N个跟踪帧和与其相邻的检测帧之间发生跳变，如果当前的跟踪帧是与检测帧相邻的前一帧，则将检测帧的骨骼点检测结果与当前的跟踪帧的骨骼点跟踪结果取均值，并将均值作为跟踪帧最终的骨骼点跟踪结果。通过将第N个跟踪帧和与其相邻的检测帧之间取空间均值，可以防止因跟踪存在误差而导致的第N个跟踪帧与上述检测帧结果存在较大差异，导致直接使用该检测帧的检测结果而让用户产生跳变感。

本实施例提供的方案可以应用于体感游戏场景。在体感游戏场景下，设备(包括图像采集装置)一般会被固定在一处，即背景不会有明显变化，只有用户的身体存在明显位移，这种情况下光照不会出现明显变换，因此符合光流跟踪的第一假设，即同一点随着时间的变化，其亮度不会发生改变。假设检测帧对应时间为t，第一个跟踪帧对应时间为t+δ_t，如下公式所示的图像约束方程：

I(x，y，z，t)＝I(x+δx，y+δy，z+δz，t+δt)

其中，δ_x、δ_y、δ_z则为跟踪点在跟踪帧上相对于检测帧三个方向的的位移。此处假设用户游戏过程中不会在δ_t内出现特别大的位移，即满足光流跟踪第二假设，时间的变化不会引起位置的剧烈变化。

最后假设用户游戏过程中，身体局部并不会出现剧烈非刚性变化，即满足光流跟踪第三假设，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因此上述应用场景满足所有的光流跟踪假设。

本实施例以光流算法为Lucas–Kanade光流算法为例进行说明，依据该算法有如下公式：

指更高阶，在移动足够小的情况下可以忽略。

根据上述方程，以及上述图像约束方程，我们可以得到：

即：

I_xV_x+I_yV_y+I_zV_z＝-I_t

假设光流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗(该小窗即为当前跟踪点的搜索范围，范围越大运算量越大，跟踪鲁棒性也更高)中是一个常数，那么从1…n,n＝m3中可以得到下列一组方程：

记做：

使用最小二乘法求解上述方程：

最终可得：

左侧即位当前跟踪点的移动方向，本实施例仅针对二维图像上的骨骼点跟踪，因此只需计算V_x,V_y分量即可。将跟踪帧与检测帧之间的时间间隔，乘以上述V_x,V_y分量，可以得到骨骼点的在x方向和y方向的位移，因此在检测帧的骨骼点定位上按照上述方向和位移分别移动，即可获得跟踪帧中各个骨骼点的定位。

本发明实施例提供的上述骨骼点检测方法，采用隔帧检测，非检测帧使用用光流跟踪方法，降低计算量并维持精度水平，当环境满足背景变化不明显，仅目标人体存在明显移动的情况下，在极大地降低功耗的同时，保证了骨骼点的精度，同时几乎不会造成卡顿/延迟感。

实施例三：

对于实施例二中所提供的骨骼点检测方法，本发明实施例提供了一种骨骼点检测装置，应用于移动终端，参见图4所示的一种骨骼点检测装置的结构框图，包括：

获取模块402，用于获取待检测对象的图像序列，图像序列包括连续多帧图像；

隔帧检测模块404，用于根据预设帧间隔从图像序列中确定检测帧，在相邻两个检测帧之间的图像帧为跟踪帧；

骨骼点检测模块406，用于获取检测帧的骨骼点检测结果；

骨骼点跟踪模块408，用于基于骨骼点检测结果，通过光流计算得到各个跟踪帧的骨骼点跟踪结果；

骨骼点结果确定模块410，用于根据骨骼点检测结果和骨骼点跟踪结果确定最终的检测结果。

本发明实施例提供的上述骨骼点检测装置，采用隔帧检测方式，通过图像序列中检测帧对应的光流计算得到各个跟踪帧的骨骼点跟踪结果，非检测帧(跟踪帧)使用光流跟踪方法，在降低功耗的同时保证了骨骼点定位结果的精度，降低了应用骨骼点定位结果时产生的卡顿或延迟感。

在一种实施方式中，上述隔帧检测模块还用于：在图像序列中，按照同一个预设帧间隔确定各个检测帧；或者，在图像序列中，按照至少两个不同的预设帧间隔确定各个检测帧。

在另一种实施方式中，上述骨骼点跟踪模块还用于：根据相邻两个检测帧的骨骼点检测结果计算光流向量；根据相邻两个检测帧中前一帧的骨骼点检测结果和光流向量，确定相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果。

在另一种实施方式中，上述骨骼点跟踪模块还用于：在相邻两个检测帧中分别选择相同的骨骼点；基于预设的光流算法，计算骨骼点对应的光流向量，光流向量为骨骼点的速度矢量。

在另一种实施方式中，上述骨骼点跟踪模块还用于：确定相邻两个检测帧之间的各个跟踪帧与相邻两个检测帧中前一帧的时间差；将时间差乘以光流向量得到各个跟踪帧对应的位移量；将前一帧的骨骼点跟踪结果加上位移量，得到各个跟踪帧的骨骼点跟踪结果。

在另一种实施方式中，上述骨骼点跟踪模块还用于：根据骨骼点检测结果中的各个骨骼点，并行计算各个骨骼点对应的光流向量。

在另一种实施方式中，上述骨骼点跟踪模块还用于：将骨骼点确定为特征点；在特征点周围选择预设大小区域作为搜索框；在搜索框中计算光流向量。

参见图5所示的另一种骨骼点检测装置的结构框图，上述骨骼点跟踪模块还包括均值单元502，该均值单元用于：如果当前的跟踪帧是与检测帧相邻的前一帧，将检测帧的骨骼点检测结果与当前的跟踪帧的骨骼点跟踪结果取均值，并将均值作为当前的跟踪帧最终的骨骼点跟踪结果。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

此外，本实施例提供了一种骨骼点检测的处理设备，该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例二所提供的骨骼点检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

进一步，本实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例二所提供的方法的步骤。

本发明实施例所提供的一种骨骼点检测方法、装置、处理设备及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种骨骼点检测方法，其特征在于，所述方法包括：

获取待检测对象的图像序列，所述图像序列包括连续多帧图像；

根据预设帧间隔从所述图像序列中确定检测帧，在相邻两个所述检测帧之间的图像帧为跟踪帧；

获取所述检测帧的骨骼点检测结果；

基于所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果；

根据所述骨骼点检测结果和所述骨骼点跟踪结果确定最终的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据预设帧间隔从所述图像序列中确定检测帧的步骤，包括：

在所述图像序列中，按照同一个预设帧间隔确定各个检测帧；或者，

在所述图像序列中，按照至少两个不同的预设帧间隔确定各个检测帧。

3.根据权利要求1所述的方法，其特征在于，所述基于所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果的步骤，包括：

根据相邻两个检测帧的所述骨骼点检测结果计算光流向量；

根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果。

4.根据权利要求3所述的方法，其特征在于，所述根据相邻两个检测帧的所述骨骼点检测结果计算光流向量的步骤，包括：

在相邻两个检测帧中分别选择相同的骨骼点；

基于预设的光流算法，计算所述骨骼点对应的光流向量，所述光流向量为所述骨骼点的速度矢量。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果的步骤，包括：

确定所述相邻两个检测帧之间的各个跟踪帧与所述相邻两个检测帧中前一帧的时间差；

将所述时间差乘以所述光流向量得到所述各个跟踪帧对应的位移量；

将所述前一帧的骨骼点跟踪结果加上所述位移量，得到所述各个跟踪帧的骨骼点跟踪结果。

6.根据权利要求3所述的方法，其特征在于，所述根据相邻两个检测帧的所述骨骼点检测结果计算光流向量的步骤，包括：

根据所述骨骼点检测结果中的各个骨骼点，并行计算所述各个骨骼点对应的光流向量。

7.根据权利要求4所述的方法，其特征在于，所述计算所述骨骼点对应的光流向量的步骤，包括：

将所述骨骼点确定为特征点；

在所述特征点周围选择预设大小区域作为搜索框；

在所述搜索框中计算光流向量。

8.根据权利要求3所述的方法，其特征在于，所述根据所述相邻两个检测帧中前一帧的所述骨骼点检测结果和所述光流向量，确定所述相邻两个检测帧之间的各个跟踪帧的骨骼点跟踪结果的步骤之后，所述方法还包括：

如果当前的跟踪帧是与所述检测帧相邻的前一帧，将所述检测帧的骨骼点检测结果与所述当前的跟踪帧的骨骼点跟踪结果取均值，并将所述均值作为所述当前的跟踪帧最终的骨骼点跟踪结果。

9.一种骨骼点检测装置，其特征在于，应用于移动终端，所述装置包括：

获取模块，用于获取待检测对象的图像序列，所述图像序列包括连续多帧图像；

隔帧检测模块，用于根据预设帧间隔从所述图像序列中确定检测帧，在相邻两个所述检测帧之间的图像为跟踪帧；

骨骼点检测模块，用于获取所述检测帧的骨骼点检测结果；

骨骼点跟踪模块，用于根据所述骨骼点检测结果，通过光流计算得到各个所述跟踪帧的骨骼点跟踪结果；

骨骼点结果确定模块，用于根据所述骨骼点检测结果和所述骨骼点跟踪结果确定最终的检测结果。

10.一种骨骼点检测的处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。