CN111539352A - 一种判断人体关节运动方向的方法及系统 - Google Patents

Abstract

本说明书一个或多个实施例涉及一种判断人体关节运动方向的方法，所述方法包括：获取包含至少一个人体同一关节的至少两幅图像；基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

Description

一种判断人体关节运动方向的方法及系统

技术领域

本说明书一个或多个实施例涉及人体姿态估计领域，特别涉及一种判断人体关节运动方向的方法及系统。

背景技术

目前，计算机视觉在人体特征识别、物品的形状识别等方面都有着重要的应用价值。随着传感器、人工智能等技术的不断发展，基于视觉的人体关节姿态估计作为计算机视觉的一个研究重点，已经在人机协作、体育竞技、动画影视制作以及医疗康复等领域发挥了重要的作用。

然而，基于视觉的人体关节姿态估计通常是基于静态图片获取人体关节的坐标信息，无法基于连续的图片或者视频判断人体关节的运动方向。因此，有必要提出一种判断人体关节运动方向的方法及系统。

发明内容

本说明书实施例的一个方面提供一种判断人体关节运动方向的方法，所述方法包括：获取包含至少一个人体同一关节的至少两幅图像；基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

本说明书实施例的另一个方面提供一种判断人体关节运动方向的系统，所述系统包括：图像获取模块，用于获取包含至少一个人体同一关节的至少两幅图像；关节位置坐标提取模块，用于基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；图像排序模块，用于按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；关节确定模块，用于基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；运动方向判定模块，用于基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

本说明书实施例的另一个方面提供一种判断人体关节运动方向的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述判断人体关节运动方向的方法所对应的操作。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的人体关节运动方向判断系统的示例性应用场景图；

图2是根据本说明书的一些实施例所示的判断人体关节运动方向方法的示例性流程图；

图3是根据本说明书的一些实施例所示的基于二分图最优匹配算法确定手部同一关节的示例性示意图；

图4为基于二分图最优匹配算法确定手部同一关节的示例性流程图；以及

图5根据本说明书的一些实施例所示的基于手部关节运动速度判断手部关节运动方向的示例性流程图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“模块”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在一些实施例中，可以通过开源软件和经过训练的模型在人体图片中使用寻找出人体，再细化到关节，最终得到各个关节在图片中的位置。在一些实施例中，所述开源软件通过对图像进行灰度处理、图像增强、特征点捕捉等方式估计各个关节在图片中的位置和坐标。例如，可以使用如OpenPose、Hourglass Network、Mask RCNN等开源软件实现从图片中提取人体关节的位置和坐标。

在一些实施例中，由于获取图片的过程中拍摄背景、拍摄光线、拍摄角度、曝光距离等因素可能对图片质量存在干扰，通过图像处理所获取的人体关节坐标信息通常是包含复杂噪声的。在一些实施例中，所述噪声包括但不限于高斯噪声、非高斯噪声、系统性噪声等一种或几种。例如，拍摄图片时的拍摄背景颜色与人体的颜色非常接近时，通过上述开源软件进行图像处理识别人体关节时，可能受到背景的干扰而无法准确提取人体在图片中的信息，从而导致关节无法识别或者关节坐标存在很大误差。

在一些实施例中，可以采用噪声去除优化的方法提高图像处理过程的精度，从而得到更加准确的人体关节坐标。在一些实施例中，可以采用卡尔曼滤波的方式去除拍摄图片中的噪声。所述卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行去噪的算法。通过卡尔曼滤波，可以去除由图片提取人体关节的过程产生的噪声干扰，得到更加准确的图像信息和关节坐标信息。

在一些实施例中，还可以将视频转化为一帧一帧的图片进而进行人体关节提取。通过这样的方法，可以提取视频中不同时间点的关节信息。在一些实施例中，基于视频中不同时间点的关节信息，可以得到各关节的运动速度，从而实现对视频中人体关节的运动方向的判定。

图1是根据本说明书一些实施例所示的人体关节运动方向判断系统的示例性应用场景图。

在一些实施例中，人体关节运动方向判断系统100可以包括服务器 110和图像获取装置120。

如图1所示，图像获取装置120可以用以获取人体关节图像130。在一些实施例中，所述图像获取装置120可以仅有一个，从一个方向获取人体关节图像130。在一些实施例中，所述图像获取装置120可以有多个，用于从多个角度获取人体关节图像130。所述图像获取装置120可以是任何类型的照相机，包括但不限于静止照相机、摄像机、高速摄像机、3D深度摄像机等。

服务器110可以是带有数据获取、存储和/或发送功能的设备，可以包括处理设备110-1和存储设备110-2。在一些实施例中，服务器110可以包括但不限于移动设备、平板电脑、笔记本电脑、台式电脑等或其任意组合。在一些实施例中，服务器110可以接收来自图像获取装置120的相关数据。例如，服务器110可以接收来自图像获取装置120采集的人体关节图像130。

处理设备110-1可以用于将所述图像获取装置120获得的人体图像 130转化为人体关节图像。所述人体关节图像可示例性地如图1中140所示。其中，人体关节图像140中11、21、31、41等数字代表不同的人体关节。例如，关节点31、41、51分别代表右侧肩关节、右侧肘关节、右侧腕关节。在一些实施例中，所述服务器可以基于如OpenPose、HourglassNetwork、Mask RCNN等软件实现人体关节图像140的提取。

服务器的存储设备110-2可以存储处理设备110-1执行使用的数据和/或指令，处理设备110-1可以通过执行或使用所述数据和/或指令以实现本说明书中的示例性方法。例如，存储设备110-2可以用于存储将人体图像130转化为人体关节图像140操作的相关指令。又例如，存储设备110- 2还可以存储人体图像130以及处理设备110-1处理后的人体关节图像140。在一些实施例中，存储设备可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。

在一些实施例中，服务器110可以是一个单个的服务器或者一个服务器群。服务器群可以是集中式的或分布式的(例如，服务器110可以是一分布式的系统)。在一些实施例中，服务器110可以是本地的或远程的。在一些实施例中，服务器110可以在一个云端平台上实现，或者以虚拟方式提供。仅仅作为示例，云端平台可以包括私有云、公共云、混合云、社区云、分布云、跨云、多云等或上述举例的任意组合。在一些实施例中，服务器110可以在一个计算设备上实现，该计算设备可以包括一个或多个部件。

在一些实施例中，所述图像获取装置120还可以获取人体关节运动的连续影像。在该场景的实施例中，服务器110还可以将获取的连续影像分解为按时间排列的图像。例如，可以将获取的影像分解为一帧一帧图像。

在一些实施例中，所述人体关节运动方向判断系统100还可以包括网络(图中未示出)。网络可以促进信息和/或数据的交换。在一些实施例中，服务器110可以通过网络与图像获取装置120相连，通过网络获取人体关节图像130。网络可以包括但不限于局域网、广域网、公用网络、专用网络、无线局域网、虚拟网络、都市城域网、公用交换电话网络等中的一种或几种的组合。网络可以包括多种网络接入点，如有线或无线接入点、基站或网络交换点，通过以上接入点使数据源连接网络并通过网络发送信息。

在一些实施例中，在以服务器为执行主体的系统中，所述人体关节运动方向判断系统100可以包括图像获取模块、关节位置坐标提取模块、图像排序模块、关节确定模块、关节运动方向判定模块。上述模块均在应用场景所介绍的计算系统中执行，各模块包括各自的指令，指令可存储在存储介质上，指令可在处理器中执行。不同的模块可以位于相同的设备上，也可以位于不同的设备上。它们之间可以通过程序接口、网络等进行数据的传输，可以从安全内存中读取数据或者将数据写入到安全内存中。

图像获取模块，用于获取包含至少一个人体同一关节的至少两幅图像；

关节位置坐标提取模块，用于基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；

图像排序模块，用于按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；

关节确定模块，用于基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；

运动方向判定模块，用于基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

在一些实施例中，所述运动方向判定模块还用于：获取关节预设的运动方向；基于所述同一关节在所述两幅图像中的第一位置坐标，获取人体关节的速度向量；所述速度向量包括速度的方向和速度值；将所述人体关节的速度向量按所述预设的运动方向进行分解，获取人体关节在所述预设的运动方向上的第一速度分量；将所述第一速度分量的速度值与速度预设值进行对比，得到速度值大于速度预设值的第二速度分量；基于第二速度分量及所述预设的关节运动方向，确定人体关节的运动方向。

在一些实施例中，所述关节确定模块还用于：采用二分图最优匹配算法基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节。

在一些实施例中，所述关节确定模块还用于：获取图像A中的各个关节与图像B中的各个关节之间的距离；所述图像A和图像B是任意序号相近的两幅图像；将所述图像A的各个关节与图像B的各个关节进行一一对应地匹配，获得图像A与图像B之间各个关节的关节匹配对；计算每个关节匹配对中关节之间的距离；获得所述图像A与图像B中各个关节匹配对的距离总和；获取所述图像A与图像B之间各个关节的最优关节匹配；所述最优关节匹配使得所述各个关节匹配对的距离总和最小；基于所述最优关节匹配，确定所述图像A与图像B之间的同一关节。

在一些实施例中，所述关节位置坐标提取模块可以对至少两幅图像各个关节的第一位置坐标进行去噪处理，获取所述至少两幅图像各个关节的第二位置坐标；所述第二位置坐标的精度高于所述第一位置坐标；基于序号相近的两幅图像各个关节的第二位置坐标，确定所述序号相近的两幅图像中的同一关节；基于同一关节在所述序号相近的两幅图像中的第二位置坐标，确定所述关节的运动方向。

在一些实施例中，所述关节位置坐标提取模块采用线性卡尔曼滤波处理所述人体关节的第一位置坐标，确定人体关节的第二位置坐标。

在一些实施例中，所述系统用于确定人体手部关节的运动方向。

在一些实施例中，所述系统通过获取人体关节运动方向控制其他设备和终端。

应当理解，本说明书一个或多个实施中的所述系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于处理设备及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。

图2是根据本说明书的一些实施例所示的判断人体关节运动方向方法的示例性示意图。

步骤210，服务器获取多幅人体关节图像。在一些实施例中，步骤 210可以由图像获取模块执行。

在一些实施例中，所述服务器可以理解为具有数据和/或指令接收、处理能力的设备，该设备可以是终端处理设备也可以云端处理设备。在一些实施例中，所述服务器获取的多幅人体关节图像至少包括两幅，所述至少两幅图像可以仅包含一个人体，如图1中130所示。在一些实施例中，所述服务器获取的至少两幅图像也可以包含多个人体。例如，所述至少两幅图像中包含多个人体、多个手臂等。

在一些实施例中，所述服务器获取到的多幅图像至少包括一个同一关节。所述同一关节指的是同一个人体的相同关节。例如，服务器获取的多幅图像均包含人体A相同的某一关节，如右侧肩关节、右侧肘关节、右侧腕关节等。

在一些其他实施例中，所述服务器还可以获取人体关节运动的连续影像。在该场景的实施例中，服务器还可以将获取到的连续影像分解为一帧一帧图像，所述多帧图像至少需包括一个同一关节。

步骤220，提取各幅图像中各个人体关节的位置坐标。在一些实施例中，步骤220可以由关节位置坐标提取模块执行。

在一些实施例中，可以通过开源软件在步骤210获取的多幅图像中获取各个关节在图片中的第一位置坐标。例如，可以通过步骤220获取图1中140所示的各个关节(如关节31、41、51等)的第一位置坐标。在一些实施例中，可以使用如OpenPose、HourglassNetwork、Mask RCNN等开源软件实现从图片中提取人体关节的第一位置坐标。

在一些实施例中，由于获取到的人体关节图像会受到光源、拍摄背景、灯光等因素的干扰，获取到的第一位置坐标常常存在一定的噪声。所述噪声包括但不限于高斯噪声、非高斯噪声、系统性噪声等一种或几种。

在一些实施例中，还可以对所述第一位置坐标进行去噪处理，获取各个关节的第二位置坐标；所述第二位置坐标的精度要高于所述第一位置坐标。具体地，可以采用卡尔曼滤波处理所述人体关节的第一位置坐标，确定人体关节的第二位置坐标。所述卡尔曼滤波是一种利用系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波去噪的过程。在一些实施例中，所述卡尔曼滤波方式包括但不限于线性卡尔曼滤波方法、扩展卡尔曼滤波、渐进扩展卡尔曼滤波、无迹卡尔曼滤波等滤波估计方法中的一种或几种。优选地，在本说明书的一个或多个实施例中，可以采用线性卡尔曼滤波对第一位置坐标进行去噪，获取各个关节的第二位置坐标。所述线性卡尔曼滤波计算简便，运算速度快，可以更快地获得所述第二位置坐标。例如，某一物体在系统中的真实坐标应为 (100,100)；由于噪声的存在，所获得的第一位置坐标为(104,109.5)。在一些实施例中，可以通过线性卡尔曼滤波处理去除噪声。经线性卡尔曼滤波后，可以排除一些噪声数据对位置坐标提取过程中带来的偏差，从而得到位置更加精确的结果。例如，经线性卡尔曼滤波后，系统识别的第二位置坐标为(99.5,101.8)，显然，所述第二位置坐标的精度要高于所述第一位置坐标。

需要说明的是，各关节的第一位置坐标和/或第二位置坐标在系统中的位置信息可以有多种表现形式。例如，所述第一位置坐标和/或第二位置坐标可以是在三维空间中直角坐标系的位置信息，如X＝100,Y＝200,Z＝300。又例如，所述第一位置坐标和/或第二位置坐标可以是用空间极坐标系进行的表征。再例如，所述第一位置坐标和/或第二位置坐标可以是二维的，也可以是三维的，类似这样的变化，仍处于本申请的保护范围之内。

在一些实施例中，可以以像素点为计数单位来表示所述关节的第一位置坐标和/或第二位置坐标。例如，关节坐标X＝100即表示关节在X轴上第100个像素点的位置。在一些其他实施例中，所述关节也可以是以长度计量单位来表示所述关节的第一位置坐标和/或第二位置坐标。所述长度计量单位包括但不限于毫米、厘米、英寸等国际计量单位。

步骤230，对获取到的图像进行排序。在一些实施例中，步骤230可以由图像排序模块执行。

在一些实施例中，图像排序模块可以依照时间顺序对获得的图像进行排序，从而获得每幅图像对应的序号。所述依照时间顺序进行排序，是指按照图像拍摄的先后顺序对图像进行排序。

在一些实施例中，步骤210获取的图像是根据连续影像分解得到的一帧一帧图像。在一些实施例中，一帧一帧图像可以基于一致的时间间隔进行获取。例如，每帧图像之间的时间间隔可以示例性地设置为1/24s(也可称1秒内间隔获得24帧图像)。在一些替代性实施例中，每帧图像之间的时间间隔也可以根据实际需要具体地设置，例如，可以具体地设置为1/25s,1/48s，1/60s等数值。在一些实施例中，可以依据影像中每帧图像的时间序列对所述图像进行排序，从而获得各个图像的序号。例如，通过连续影像所获得的第一帧、第二帧、第三帧图像的序号可以分别为1、2、3。

在本说明书的一个或多个实施例中，所述各个图像的序号可以是由自然数1为开始进行顺序标号的，例如，1、2、3、4…。在一些其他实施例中，所述各个图像标号的设置方法可以进行适应性的调整。例如，按照一定阵列方式设置序号；又例如，序号可以为字母与数字的任意组合。本领域的技术人员可以在理解本说明书的基础上进行变化，但依然在本说明书保护的范围内。

步骤240，确定序号相近的两幅图像中的同一关节。在一些实施例中，步骤240可以由关节确定模块执行。

在一些实施例中，可以基于序号相近的两幅图像中的各关节的第一位置坐标和/或第二位置坐标确定所述两幅图像中的同一关节。所述序号相近的两幅图像可以是指序号之差小于预设阈值的两幅图像。例如，所述预设阈值可以为±3，则序号2和序号4的图像即为序号相邻的图像。优选地，所述序号相近的两幅图像还可以为序号相邻的两幅图像。例如，当所述预设阈值为±2时，所述序号相近的两幅图像是指序号相邻的两幅图像。序号相邻的两幅图像中的各关节运动位移更小，能更加容易地基于两幅图像中的各关节运动位移确定同一关节。

在一些实施例中，序号相近的两幅图像获取的时间间隔短，两幅图像中的同一关节的运动位移小。因此，同一关节在所述两幅图像中的第一位置坐标或第二位置坐标的距离很小。在一些实施例中，可以通过判断序号相近的两幅图像中各个关节的位置坐标之间的距离来确定两幅图像中的同一关节。有关确定同一关节的相关描述，可见图3的相关描述。

步骤250，确定人体关节的运动方向。在一些实施例中，步骤250可以由运动方向判定模块执行。

在一些实施例中，可以通过同一关节在两幅图像之间的位移向量反映该关节的运动方向。所述位移向量，可以通过各关节的第一位置坐标和/ 或第二位置坐标之差获取。例如，如图3中关节a1在图3100中的坐标为 (100,100)，对应在图3200中的坐标为(101,100)，则该关节的位移向量为(1,0)，说明该关节是朝着x轴正方向移动1个单位。在一些实施例中，所述位移向量可以采用像素点作为计数单位。在一些实施例中，所述位移向量还可以采用长度计量作为计数单位，如米、毫米等。在一些实施例中，还可以通过同一关节在两幅图像之间的坐标获得该关节的运动速度，从而获得该关节的运动方向。有关基于运动速度获得关节的运动方向的相应描述可参见图3中的相应描述。

需要说明的是，图2所述的方法可以用于确定人体关节的运动方向，所述人体关节包括但不限于身体、头部、肩部、手部和脚部等。特别地，所述方法可以确定人体手部关节的运动方向。

在一些实施例中，图2所述的方法可以用于通过人体关节运动控制其他设备和终端的各种场景中。例如，可以将人体关节运动的系统与电脑、游戏机、服务器、幻灯片放映机等设备和终端相连。实现诸如挥动手臂实现幻灯片的翻页、远程控制桌面等功能。

图3是根据本说明书的一些实施例所示的基于二分图最优匹配算法确定手部同一关节的示例性示意图；图4为基于二分图最优匹配算法确定手部同一关节的示例性流程图。

为方便说明，将序号相近的两幅图像分别表示为图像A和图像B。图中，图3100表示的是图像A和图像B是基于手臂获得的人体关节图像。其中，节点a1，a2，a3是图像A中的三个节点；节点b1，b2，b3是图像 B中的三个节点。图3200表示的是二分图匹配后获得的关节匹配对的示意图。

下面，以图像A和图像B为例，基于图3和图4示例性地说明基于二分图最优匹配算法同一关节确定的具体过程。

在一些实施例中，采用二分图最优匹配算法确定图像A和图像B中的同一关节可以包含以下步骤：

步骤410，各图像关节进行二分图匹配。

在一些实施例中，将所述图像A的各个关节与图像B的各个关节进行二分图匹配。所述二分图匹配是指将图像A的各个关节与图像B的各个关节进行一一对应地匹配。如图3中图3100所示，所述二分图匹配可以是基于图3100中的关节点坐标得到如图3200所示的关节匹配对。图中，310、 320、330即为图像A与图像B之间各个关节的关节匹配对，且每个匹配对中有且仅有两个关节。

步骤420，计算每个关节匹配对中两个关节之间的距离。

在一些实施例中，基于所述图像A与图像B中各个关节的第一位置坐标和/或第二位置坐标，计算每个关节匹配对中两个关节之间的距离。在一些实施例中，所述图像A与图像B中各个关节的第一位置坐标和/或第二位置坐标可以依照图3中的坐标系进行表示。在一些实施例中，所述图像A与图像B之间各个关节的关节匹配对的形式可以是多样的。如图3100 所示，关节匹配对可以示例性地设置为(a1，b2)、(a2，b1)、(a3，b3)，其中()表示了两个关节匹配为一组。基于各个关节的第一位置坐标和/或第二位置坐标，计算上述每个关节匹配对中关节之间的距离。如图3100中，以s1、s2、s3表示(a1，b2)、(a2，b1)、(a3，b3)这种关节匹配方式下，关节匹配对中关节之间的距离。又例如，如图3200所示，可以用s4、 s5、s6表示(a1，b1)、(a2，b2)、(a3，b3)这种关节匹配方式下，关节匹配对中关节之间的距离。

步骤430，获得所述图像A与图像B中所有关节匹配对的距离总和。

在如图3100所示的示例性实施例中，图像A中的节点a1，a2，a3 与图像B中的节点b1，b2，b3进行一一对应的匹配，共有6种关节匹配对设置的方式。例如，所述关节匹配对还可以设置为(a1，b3)、(a2，b4)、(a3，b1)等。获取所述所有关节匹配对设置下的距离总和。以(a1，b2)、(a2，b1)、(a3，b3)这种关节匹配方式为例，其距离总和即为(s1+s2+s3)。

步骤440，获得使所述距离总和最小的最优关节匹配对。

在一些实施例中，所述最优关节匹配可以使所述图像A与图像B中所有关节匹配对的距离总和最小。此时，每个匹配对中的两个关节即为两幅图像中的同一关节。显然，如图3200所示的关节匹配对的设置方法可以使得所述距离总和最小，此时的关节匹配对的设置为(a1，b1)、(a2，b2)、 (a3，b3)，即可确定a1和b1、a2和b2、a3和b3是两幅图中的同一关节。

在一些替代性实施例中，还可以采用最近邻匹配的方式确定图像A 和图像B中的同一关节。所述最近邻匹配，是指将图像A中的关节与其距离最近的图像B中的关节进行一一匹配，并按照顺序逐个确定两幅图像中的同一关节。如图3所示，确定图像A和图像B中的同一关节可以包含以下步骤：A)将图像A中的a1关节分别计算与图像B中b1,b2,b3三个关节的距离，获取a1与这3个关节的距离最小值，确定a1与b1是同一关节； B)计算a2与图像B中b2,b3两个关节的距离，获取a2与这2个关节的距离最小值，确定a2与b2是同一关节；C)最后确定a3与b3是同一关节。在一些实施例中，按照最近邻匹配的方式确定图像A和图像B中的同一关节运算效率更快，但是可能出现关节错误对应的风险。

图5提供了一个基于手部关节运动速度判断手部关节运动方向的示例性流程图。

步骤510，获取手部关节的速度向量。

在一些实施例中，可以基于两幅图像之间的位移向量以及两幅图像之间时间间隔获得手部关节的速度向量。所述速度向量，既包括速度值的大小，也包括速度的方向。在一些实施例中，所述速度向量可以采用坐标值的方式进行表示。具体地，所述速度向量可以如图3中的坐标系进行表示。例如，两幅图像之间的时间间隔为0.1ms，关节点a1在两幅图像之间的位移向量为(20.3,10.9)，用所述位移向量除以时间间隔即可获得手部关节的速度向量(203,109)。

在一些实施例中，还可以通过曲线拟合的方式获得手部关节的速度向量。具体地，可以将多张图像中同一关节的位置坐标进行曲线拟合，获得同一关节的运动曲线；通过对运动曲线进行求一阶导数，获得手部关节的速度向量。一些实施例中，可以对全部图像中的同一关节的位置坐标进行曲线拟合，获得同一关节的完整运动曲线。在一些替代性实施例中，还可以对部分图像中的同一关节的位置坐标进行拟合，获取同一关节的部分运动曲线。获取同一关节的部分运动曲线可以简化运算过程，减少计算量，但降低了曲线拟合的准确性。

需要说明的是，以上所述的一个或多个实施例中，所述速度向量反映单位时间内位移向量的变化，其具体衡量单位可以有多种表现形式。例如，速度向量的单位可以是单位时间内位移的长度(如毫米/秒)。又例如，速度分量的单位可以是像素点/秒。再例如，基于连续运动的影像获得的一帧帧图像，速度分量的单位还可以是像素点/帧。类似这样的变换，仍处于本申请的保护范围之内。

步骤520，获取第一速度分量。

在一些实施例中，可以将步骤510获取的所述手部关节的速度向量按预设的运动方向进行分解，获取手部关节在所述预设的运动方向上的第一速度分量。所述手部关节预设的运动方向指的是系统预先设定好的关节运动的方向。例如，系统中预设上下两个方向按键，则预设的运动方向即为上和下，通过识别手部关节运动可以判断用户需要使用哪一个方向按键。又例如，系统中还可以设置上、下、左、右四个方向的按键，则预设方向即为上述上、下、左、右四个方向。在一些实施例中，可以基于图3中所示的坐标系，表示所述预设方向。例如，上代表Y轴正方向，下代表Y轴负方向，右代表x轴正方向，左代表x轴负方向。

在一些替代性实施例中，可以根据实际需要设置手部关节预设的运动方向的个数，例如，所述手部关节的运动方向可以为8个。在该场景的实施例中，系统可以设置上、下、左、右、左上、左下、右上、右下八个方向的按键。在一些其他实施例中，所述方向按键的识别角度可以是不同的。例如，所述向上的按键可以在以Y轴正向为基准±15°的扇形范围内，又例如，所述向右的按键可以是在以X轴正向为基准0～37°的扇形范围内。其中，X轴与Y轴的正向可以如图3所示的实施例进行标定。

需要说明的是，本领域技术人员可以在本申请的基础上对本申请技术方案做出各种合理的变换。例如，可以根据实际需要具体地设置手部关节预设的运动方向的个数，如4个、6个、8个等。又例如，可以根据需要具体设置坐标系的方向。例如，X正向代表向上的方向。类似这样的变换，仍处于本申请的保护范围之内。

步骤530，设定速度预设值，获取第二速度分量。

在一些实施例中，可以将获取到的第一速度分量的速度值与速度预设值进行对比，获取速度值大于速度预设值的第二速度分量。设置速度预设值的目的是为了判断手部关节点的主要运动方向，从而排除一些速度值较小的手部关节点的对系统带来的干扰。为方便说明，在本说明书的一个或多个实施例中，以预设的运动方向为上、下、左、右四个方向为例进行说明。其中，所述向上，向下，向右，向左分别对应如图3所示坐标系的Y 轴正向、Y轴负向、X轴正向、X轴负向。

在一些实施例中，可以通过设置速度预设值来去除较小的手部关节点的速度向量，从而获得用户的准确意图。例如，用户往上挥手时，用户的肘关节、腕关节的运动速度很大，其他手部关节(如肩关节，头部等)的运动速度很小；通过合理设置速度预设值，可以在排除这些其他手部关节对系统的影像，防止系统错误识别用户的关节。

在一些实施例中，人体关节的速度向量往往会产生干扰速度分量。所述干扰速度分量是由于人体运动的不精确性导致的速度向量干扰值。以用户向上挥手时用户的肘关节速度向量为例，用户向上挥手时，其肘关节运动方向往往不是沿着Y轴正向垂直向上的。假设肘关节的速度向量为 (3,100)，即“向上”的第一速度分量为100，“向右”的第一速度分量为 3。显然，“向右”的第一速度分量为3远小于“向上”的第一速度分量，“向右”的第一速度分量即为所述干扰速度分量。在一些实施例中，可以通过设置速度预设值来去除所述干扰速度分量。例如，可以将速度预设值设置为5，去除所有不大于速度预设值的速度分量。在本文上一个实施例中，通过速度预设值筛选肘关节的速度向量(3,100)，所得肘关节第二速度分量即为“向上”的速度分量为100，“向右”的速度分量为0。

在一些实施例中，可以进行速度标定，以获取速度预设值的大小。例如，当拍摄人体与距离较远时，人体产生的运动速度较小，可以适应性地减小速度预设值的大小。

需要说明的是，本领域技术人员可以在本申请的基础上对本申请技术方案做出各种合理的变换。例如，所述速度预设值的大小可以根据速度分量的大小及衡量单位适应性地变化。例如，当速度分量的值较大时，所述速度预设值的大小可以适应性地增大，以去除干扰速度分量。

步骤540，基于第二速度分量，确定关节的运动方向。

在一些实施例中，可以通过关节的第二速度分量，获取关节的运动方向角α，从而确定关节的运动方向。具体地，可以通过同一关节多个第二速度分量的比值，确定关节的运动方向角。例如，某一关节的存在两个第二速度分量v1＝(60，0)，v2＝(0，30)，tanα＝v1/v2＝2，所得α约为63.5°，关节的运动方向朝右上方运动且与Y轴正向的夹角为63.5°。又例如，某一关节的存在两个第二速度分量v3＝(40，0)，v4＝(0，0)，tan α＝v3/v4≈∞，所得α为90°，关节的运动方向是朝X正向运动。在一些实施例中，可以根据关节的运动方向角α确定关节是往哪个预设运动方向运动。例如，关节的运动方向朝右上方运动且与Y轴正向的夹角为63.5°时，运动方向与X轴正向的夹角为26.5°，说明运动方向更靠近X轴正向这一预设方向，则系统可判定关节的运动方向“向右”。

需要说明的是，步骤530至步骤540以上、下、左、右四个预设运动方向为例对基于速度获取关节运动方向的实施例进行了说明。在一些其他实施例中，所述预设运动方向也可以有6个、8个等其他数量上设置。以预设运动方向为共有8个方向为例，所述8个方向以45°可以为分度均匀地布置在360°的空间内。所述分度，指的是预设方向之间的夹角度数。以“向右”作为0°，则右上方(45°)，上方(90°)，左上方(135°)，左方(180°)，左下方(225°)，下方(270°)，右下方(315°)。通过求得关节的运动方向与“向右”这一方向的夹角，即可判定关节运动更靠近哪一个预设运动方向。例如，夹角为65.4度，其角度值更靠近右上方(45°)，则可判断关节运动朝着右上方运动。

需要说明的是，本领域技术人员可以在本申请的基础上对本申请技术方案做出各种合理的变换。例如，可以根据实际需要具体设置预设方向的角度；例如，右上方的角度可以是与“向右”这一方向呈15°、35°、 55度等角度设置。又例如，不同方向的分度可以适应性地变化。例如，当所述预设运动方向为8个时，所述8个方向也可以不以同一分度均匀地分布在360°的空间内。例如，右方设置为0°，右上方设置为15°，上方设置为75°，左上方设置为162°，左方设置为171°等。类似这样的变化，依然在本说明书的保护范围之内。

本申请实施例可能带来的有益效果包括但不限于：(1)可以基于连续视频数据获取人体关节的位置坐标；(2)采用二分图匹配的方法，能够更好地确定各幅图像中的同一关节；(3)利用卡尔曼滤波，消除了图片噪声的影响，实现人体关节速度的准确估计。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“模块”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、 Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/ 或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (17)

1.一种判断人体关节运动方向的方法，所述方法包括：

获取包含至少一个人体同一关节的至少两幅图像；

基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；

按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；

基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；

基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

2.根据权利要求1所述的方法，所述基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向包括：

获取关节预设的运动方向；

基于所述同一关节在所述两幅图像中的第一位置坐标，获取人体关节的速度向量；所述速度向量包括速度的方向和速度值；

将所述人体关节的速度向量按所述预设的运动方向进行分解，获取人体关节在所述预设的运动方向上的第一速度分量；

将所述第一速度分量的速度值与速度预设值进行对比，得到速度值大于速度预设值的第二速度分量；

基于第二速度分量及所述预设的关节运动方向，确定人体关节的运动方向。

3.根据权利要求1所述的方法，所述方法包括：

采用二分图最优匹配算法基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节。

4.根据权利要求3所述的方法，所述采用二分图最优匹配算法基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节包括：

将所述图像A的各个关节与图像B的各个关节进行一一对应地匹配，获得图像A与图像B之间各个关节的关节匹配对；所述图像A和图像B是任意序号相近的两幅图像；

计算每个关节匹配对中关节之间的距离；获得所述图像A与图像B中各个关节匹配对的距离总和；

获取所述图像A与图像B之间各个关节的最优关节匹配；所述最优关节匹配使得所述各个关节匹配对的距离总和最小；

基于所述最优关节匹配，确定所述图像A与图像B之间的同一关节。

5.根据权利要求1所述的方法，所述方法还包括：

对所述至少两幅图像各个关节的第一位置坐标进行去噪处理，获取所述至少两幅图像各个关节的第二位置坐标；所述第二位置坐标的精度高于所述第一位置坐标；

基于序号相近的两幅图像各个关节的第二位置坐标，确定所述序号相近的两幅图像中的同一关节；

基于同一关节在所述序号相近的两幅图像中的第二位置坐标，确定所述关节的运动方向。

6.根据权利要求5所述的方法，所述去噪处理包括：

采用线性卡尔曼滤波处理所述人体关节的第一位置坐标，确定人体关节的第二位置坐标。

7.根据权利要求1所述的方法，所述方法用于确定人体手部关节的运动方向。

8.根据权利要求1所述的方法，所述方法还包括：通过获取人体关节运动方向控制其他设备和终端。

9.一种判断人体关节运动方向的系统，所述系统包括：

图像获取模块，用于获取包含至少一个人体同一关节的至少两幅图像；

关节位置坐标提取模块，用于基于所述至少两幅图像提取图像中各个人体关节的第一位置坐标；

图像排序模块，用于按图像获取的时间先后顺序对所述至少两幅图像进行排序，获取每幅图像对应的序号；

关节确定模块，用于基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节；所述序号相近的两幅图像是指序号之差小于预设阈值的两幅图像；

运动方向判定模块，用于基于所述同一关节在序号相近的两幅图像中对应的第一位置坐标，确定所述同一关节的运动方向。

10.根据权利要求9所述的系统，所述运动方向判定模块还用于：

获取关节预设的运动方向；

基于所述同一关节在所述两幅图像中的第一位置坐标，获取人体关节的速度向量；所述速度向量包括速度的方向和速度值；

将所述人体关节的速度向量按所述预设的运动方向进行分解，获取人体关节在所述预设的运动方向上的第一速度分量；

将所述第一速度分量的速度值与速度预设值进行对比，得到速度值大于速度预设值的第二速度分量；

基于第二速度分量及所述预设的关节运动方向，确定人体关节的运动方向。

11.根据权利要求9所述的系统，所述关节确定模块还用于：

采用二分图最优匹配算法基于序号相近的两幅图像中的各关节的第一位置坐标确定所述两幅图像中的同一关节。

12.根据权利要求11所述的系统，所述关节确定模块还用于：

将所述图像A的各个关节与图像B的各个关节进行一一对应地匹配，获得图像A与图像B之间各个关节的关节匹配对；所述图像A和图像B是任意序号相近的两幅图像；

计算每个关节匹配对中关节之间的距离；获得所述图像A与图像B中各个关节匹配对的距离总和；

获取所述图像A与图像B之间各个关节的最优关节匹配；所述最优关节匹配使得所述各个关节匹配对的距离总和最小；

基于所述最优关节匹配，确定所述图像A与图像B之间的同一关节。

13.根据权利要求9所述的系统，所述关节位置坐标提取模块还用于：

对所述至少两幅图像各个关节的第一位置坐标进行去噪处理，获取所述至少两幅图像各个关节的第二位置坐标；所述第二位置坐标的精度高于所述第一位置坐标；

基于序号相近的两幅图像各个关节的第二位置坐标，确定所述序号相近的两幅图像中的同一关节；

基于同一关节在所述序号相近的两幅图像中的第二位置坐标，确定所述关节的运动方向。

14.根据权利要求13所述的系统，所述关节位置坐标提取模块还用于：

采用线性卡尔曼滤波处理所述人体关节的第一位置坐标，确定人体关节的第二位置坐标。

15.根据权利要求9所述的系统，所述系统用于确定人体手部关节的运动方向。

16.根据权利要求9所述的系统，所述系统通过获取人体关节运动方向控制其他设备和终端。

17.一种判断人体关节运动方向的系统，所述系统包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现如权利要求1至8中任一项所述判断人体关节运动方向的方法所对应的操作。

Images