CN111027473A

CN111027473A - 一种基于人体关节运动实时预测的目标识别方法及系统

Info

Publication number: CN111027473A
Application number: CN201911251862.0A
Authority: CN
Inventors: 冯超; 李研强; 于良杰; 王红红; 张钊; 李庆华
Original assignee: Institute of Automation Shandong Academy of Sciences
Current assignee: Institute of Automation Shandong Academy of Sciences
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2020-04-17
Anticipated expiration: 2039-12-09
Also published as: CN111027473B

Abstract

本公开提出了一种基于人体关节运动实时预测的目标识别方法及系统，以从RGB‑D图像中提取到的人体关节坐标信息为基础，基于多项式拟合算法与递推最小二乘算法，对后续人体关节未来一段时间的移动轨迹进行预测，预测人体目标的下一步的动作，计算出与人的运动自然同步的轨迹，根据预测结果提前进行路径规划，减少反应延时，从而实现及时避让，提高人机混合环境中人体的安全性，提高智能体的运行的高效性与安全性。

Description

一种基于人体关节运动实时预测的目标识别方法及系统

技术领域

本公开涉及目标识别相关技术领域，具体的说，是涉及一种基于人体关节运动实时预测的目标识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

伴随着科技水平的不断发展，智能化程度越来越高，出现了智能驾驶、人机协同工作车间等同时存在人以及智能体的场景即人机混合场景，智能体可以是机械臂、机器人、智能驾驶车辆等，人与智能体同时工作或活动，需要智能体准确判断人体目标的位置，从而保证安全性。如景区人类和车辆能够顺利地共享景区空间，景区内的车辆为人们提供更多服务的同时，也能确保行人的安全体验，采用智能驾驶汽车可以提高游客的观赏体验与降低景区的运行成本，需要智能汽车能够准确预测人体目标从而避让，目前的方法智能化较低。

发明人发现，现有的人体目标检测的众多方法需要采集人体运动时的位置数据来构建模型，不适合预测人做出的非常规行为，例如：当人的肢体动作或运动轨迹发生突变时，如果使用传统位置数据构建来模型识别目标，在突变点的预测会有较大误差。并且大多数算法采用单一算法不能适应人体运动的多种运动形式，导致预测失效。

发明内容

本公开为了解决上述问题，提出了一种基于人体关节运动实时预测的目标识别方法及系统，以从RGB-D图像中提取到的人体关节坐标信息为基础，基于多项式拟合算法与递推最小二乘算法，对后续人体关节未来一段时间的移动轨迹进行预测，预测人体目标的下一步的动作，计算出与人的运动自然同步的轨迹，根据预测结果提前进行路径规划，减少反应延时，从而实现及时避让，提高人机混合环境中人体的安全性，提高智能体的运行的高效性与安全性。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种基于人体关节运动实时预测的目标识别方法，包括如下步骤：

获取待识别人体目标的人体关节数据并进行预处理，获得预处理后人体关节数据；

设定滑动窗口的大小，并导入预处理后的人体关节数据；

对滑动窗口内的数据采用多项式曲线拟合算法计算，获得后续预测点的第一预测值；

对滑动窗口内的数据利用递推最小二乘算法实时计算，获得后续预测点的第二预测值；

判断预测误差大小，选择合适预测值：实时比较多项式曲线拟合算法与递推最小二乘算法在当前时间点的预测值与实际值的误差，选择误差小的算法计算的后续预测值作为最终的预测值。

一个或多个实施例提供了一种基于人体关节运动实时预测的目标识别系统，包括：

数据获取模块：用于获取待识别人体目标的人体关节数据并进行预处理，获得预处理后人体关节数据；

设定模块：用于设定滑动窗口的大小，并导入预处理后的人体关节数据；

第一计算模块：用于对滑动窗口内的数据采用多项式曲线拟合算法计算，获得后续预测点的第一预测值；

第二计算模块：用于对滑动窗口内的数据利用递推最小二乘算法实时计算，获得后续预测点的第二预测值；

判断输出模块：用于判断预测误差大小，选择合适预测值：实时比较多项式曲线拟合算法与递推最小二乘算法在当前时间点的预测值与实际值的误差，选择误差小的算法计算的后续预测值作为最终的预测值。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开以从RGB-D图像中提取到的人体关节坐标信息为基础，基于多项式拟合算法与递推最小二乘算法，对后续人体关节未来一段时间的移动轨迹进行预测，预测人体目标的下一步的动作，计算出与人的运动自然同步的轨迹，根据预测结果提前进行路径规划，减少反应延时，从而实现及时避让，提高人机混合环境中人体的安全性，提高智能体的运行的高效性与安全性。

(2)由于人体的移动可能存在突变，本公开通过两种算法分别实时计算后续的预测值，采用不同算法以适应各种形式的人体运动，避免单纯的采用一种算法容易引起预测失效，不能输出预测值，根据当前时间点的预测误差选择后续预测点的预测值，能够提高预测值的准确性，可以对人的骨骼关节运动位置实时预测，并降低关节或行人轨迹突变点的局部误差，无需使用大量数据构建模型，使智能体或者智能驾驶车辆尽可能的提前做出运动规划，提高工作效率及安全性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1的识别方法流程图；

图2是人体骨架及关节点示意图；

图3是本公开实施例2的识别系统框图。

图4(a)是本公开实施例1仿真示例的x坐标一步预测拟合曲线误差示意图；

图4(b)是本公开实施例1仿真示例的y坐标一步预测拟合曲线误差示意图；

图4(c)是本公开实施例1仿真示例的z坐标一步预测拟合曲线误差示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

Agent译为中文“智能体”，指能自主活动的软件或者硬件实体，是人工智能领域中一个的概念，任何独立的能够思想并可以同环境交互的实体都可以抽象为智能体。

在一个或多个实施方式中公开的技术方案中，如图1所示，一种基于人体关节运动实时预测的目标识别方法，以从RGB-D图像中提取到的人体关节坐标信息为基础，基于多项式拟合算法与递推最小二乘算法，对后续人体关节未来一段时间的移动轨迹进行预测，预测人体目标的下一步的动作，实现人体目标的识别，可以包括如下步骤：

步骤1、获取待识别人体目标的人体关节数据并进行预处理，获得预处理后人体关节数据；

步骤2、设定滑动窗口的大小，并导入预处理后的人体关节数据；

步骤3、对滑动窗口内的数据采用多项式曲线拟合算法计算，获得后续预测点的第一预测值；

步骤4、对滑动窗口内的数据利用递推最小二乘算法实时计算，获得后续预测点的第二预测值；

步骤5、判断预测误差大小，选择合适预测值：实时比较多项式曲线拟合算法与递推最小二乘算法在当前时间点的预测值与实际值的误差，选择误差小的算法计算的后续预测值作为最终的预测值。

通过上述的方法可以实现对人体目标下一步的移动方位和距离进行预判，从而可以使得识别系统能够提前反应，如对于执行上述步骤的智能体，可以实时重新规划更新移动路径，或者对于是智能汽车可以及时减速或刹车，由于人体的移动可能存在突变，并不是按照设定的规律移动，不同算法对于各种形式的人体运动的适应性不同，单纯的采用一种算法容易引起预测失效，不能输出预测值，通过两种算法分别实时计算后续的预测值，根据当前时间点的预测误差选择后续预测点的预测值，能够提高预测值的准确性，实现实时预测降低关节或行人轨迹突变点的局部误差，并且无需使用大量数据构建模型，在提高计算效率的同时提高了本方法的适用性和预测值的准确性。

可选的，步骤1中，所述的人体关节数据可以获取人体骨骼的RGB-D图像数据，从图像中提取人体关节数据，可以采用深度相机RGB-D图像，并提取人体关节的空间三维坐标。

人体关节点的相对关系如图2所示，为人体骨骼示意图，一般情况下，受光线强度、遮挡物、传感器精度及人体骨骼提取算法等因素的影响，使用深度相机提取人体关节的空间三维坐标时，提取到的骨骼数据会出现跳变、错位等异常的数据。当人体未正向面对深度相机时，由于肢体相互的遮挡，使得提取的骨骼数据不准确，也就不能正确的表示人体的相应姿态；因此，需要对获取的人体骨骼数据进行处理，以尽可能满足实际环境中的需要。

为了提高预测精度，可选的，可以采用中值滤波算法进行预处理，可以在数据预处理阶段使用滑动中值滤波器对人体骨架数据进行预处理。

作为进一步地技术方案，所述步骤2中，设定滑动窗口的大小的方法，可以根据先验速度信息设定滑动窗口，具体的：

21、提取的人体关节点的移动速度；

22、对应提取的移动速度动态设置不同的滑动窗口长度，随着移动速度的增加减小滑动窗口的大小。

动态设置窗口大小的方法使得滑动窗口的长度与人体关节移动速度相对应，在进行关节运动预测过程中，可以根据实时速度动态调整滑动窗口的长度。

所述步骤3中，由于人体骨骼关节位置是空间位置，建立的空间坐标系是三维空间坐标。数据点(x₁,y₁),(x₂,y₂),...,(x_k,y_k)中，x_k是采样时刻，y_k是该数据点对应空间坐标系中一个坐标轴的数值。采样时刻x₁,x₂,...,x_k与每个坐标轴的数值y₁,y₂,...,y_k构成平面中离散的点，对这些离散点进行多项式曲线拟合，并根据拟合曲线方程，计算未来一段时间的预测值。由于有三个坐标轴，则采样时刻x₁,x₂,...,x_k与三个坐标轴的数值y₁,y₂,...,y_k分别进行曲线拟合，以此获得预测的三维空间坐标。

对滑动窗口内的数据进行多项式曲线拟合，计算获得后续预测点的第一预测值的方法，具体为：

31、构建进行拟合的多项式，可以为：

P(x)＝a₀+a₁x+a₂x² (2)

将多项式P(x)最高阶数m设为2，使它能在x_i点上取值尽量接近y_i(i＝1,2,...,10)

32、根据滑动窗口内的每组数据以及多项式，以多项式曲线上的点尽量接近每个数据点为目标构建多项式曲线拟合矩阵；

n的取值可以是设定的，根据以滑动窗口大小为n＝10为例说明,将滑动窗口内的每组数据代入多项式，得方程组：

其中：

为使σ达到最小值即使得R1+R2+……+R10和最小趋近于零，可以用矩阵XA＝Y的解来表示，其中：

32、求取多项式曲线拟合矩阵的稀疏矩阵A，根据稀疏矩阵A计算获得后续预测点的第一预测值，所述预测值为人体关节坐标值，所述预测值为以时间为自变量的因变量。

其中：X^T为X的转置矩阵，则有X^TXA＝X^TY，则A＝(X^TX)^-1X^TY；

由10个数据进行多项式拟合预测后得到：Z₁₁(时刻为x₁₁时的预测值)，再下一时刻：Z₁₂(时刻为x₁₂时的预测值)，以此类推。

其中,x₁₁＝x₁₀+T,T为采样时间间隔。

步骤4中，将获得的后续预测点利用递推最小二乘算法实时计算，获得后续预测点的第二预测值的方法，具体为：

步骤41、构建时间序列关节轨迹预测模型，可以为：

y(k+1)＝θ(k)^TΦ(k)+v(k) (7)

其中：y(k+1)是k+1时刻测量出的真实值，θ(k)是要估计的时变参数，Φ(k)是测量的历史数据，v(k)是高斯白噪声。

步骤42、定义最小二乘法的代价函数，以通过时变参数计算的估计值与实际值差值最小为目标，采用递推最小二乘法迭代求解模型，获得时变参数的最优解。

定义最小二乘法的代价函数为：

采用递推最小二乘法求解该最小二乘误差的最优解。其解如下：

其中：F(k)∈R^N×N是自适应增益矩阵，ε⁰(k+1)是一步预测误差，λ∈(0,1]是遗忘因子。

以当前时刻k＝11为例说明:

步骤43、根据获得的时变参数的最优解和时间序列关节轨迹预测模型，计算获得后续预测点的第二预测值即为后续预测点的人体关节坐标值。

以当前时刻k＝11为例说明，预测k＝12时刻：

通过迭代计算获得

将其代入时间序列关节轨迹预测模型计算预测值，获得一步预测值，若计算多步预测值，可以继续迭代计算。

y(k+1)＝θ(k)^TΦ(k) (9)

(5)判断预测误差大小，选择合适预测值：实时比较多项式拟合算法与递推最小二乘算法在当前时间点的预测值与实际值的误差，选择误差小的算法计算的后续预测值作为最终的预测值。

为了说明本方法的效果，进行了仿真实验，实验结果如图4(a)-图4(c)所示，图示了利用本算法进行一步预测的效果，以人体右腕关节的运动轨迹预测为例，给出了真实的人体右腕关节运动轨迹与进行一步预测的轨迹，通过对三个空间坐标轴分别进行轨迹预测，可以得到在空间坐标轴下的预测运动轨迹。从图中可以看出，预测轨迹与实际轨迹基本重合，误差率比较低，说明预测算法的有效性，通过对各个关节运动位置进行预测，可以进行整体人体运动的预测。

实施例2

本实施例提供一种基于人体关节运动实时预测的目标识别系统，如图3所示，包括：

实施例3

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例4

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

本公开所提出的电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种基于人体关节运动实时预测的目标识别方法，其特征是，包括如下步骤：

设定滑动窗口的大小，并导入预处理后的人体关节数据；

2.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：所述的人体关节数据通过获取人体骨骼的RGB-D图像数据，从图像中提取人体关节数据即为人体关节的空间三维坐标。

3.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：预处理的方法为中值滤波算法。

4.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：设定滑动窗口的大小的方法，根据人体关节移动的先验速度信息设定滑动窗口，包括如下步骤：

提取的人体关节点的移动速度；

对应提取的移动速度动态设置不同的滑动窗口长度，随着移动速度的增加减小滑动窗口的大小。

5.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：对滑动窗口内的数据采用多项式曲线拟合算法计算，计算获得后续预测点的第一预测值方法具体为：

构建进行拟合的多项式；

根据滑动窗口内的每组数据和多项式，以多项式曲线上的点尽量接近每个数据点为目标构建多项式曲线拟合矩阵；

求取多项式曲线拟合矩阵的稀疏矩阵，根据稀疏矩阵计算预测值，所述预测值为以时间为自变量的因变量。

6.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：对滑动窗口内的数据利用递推最小二乘算法实时计算，获得后续预测点的第二预测值的方法，具体为：

构建时间序列关节轨迹预测模型；

定义最小二乘法的代价函数，以通过时变参数计算的估计值与实际值差值最小为目标，采用递推最小二乘法迭代求解模型，获得时变参数的最优解；

根据获得的时变参数的最优解和时间序列关节轨迹预测模型，计算获得后续预测点的第二预测值即为后续预测点的人体关节坐标值。

7.如权利要求1所述的一种基于人体关节运动实时预测的目标识别方法，其特征是：所述时间序列关节轨迹预测模型为：

y(k+1)＝θ(k)^TΦ(k)+v(k)

其中：y(k+1)是一步预测值，θ(k)是要估计的时变参数，Φ(k)是历史数据即人体关节坐标值，v(k)是高斯白噪声；

最小二乘法的代价函数为：

其中：λ∈(0,1]是遗忘因子。

8.一种基于人体关节运动实时预测的目标识别系统，其特征是，包括：

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。