CN108764107A - 基于人体骨架序列的行为与身份联合识别方法及装置 - Google Patents

Abstract

本发明涉及视觉识别领域，提出一种基于人体骨架序列的行为和身份联合识别方法，旨在解决在人体数据识别中，不能同时对身份信息和行为动作识别问题。该方法包括：获取待识别人体的人体骨架序列；根据人体骨架序列，利用预先构建的识别模型识别人体的身份信息和行为动作；其中，识别模型的训练方法：将训练用人体骨架序列的坐标转换到参考坐标系下，得到参考骨架序列；对参考骨架序列的各参考骨架的各关节节点坐标与预先指定的中心点的坐标比较，得到各参考骨架的各关节节点的相对坐标；对参考骨架序列进行三维坐标变换，对初始的识别模型进行训练，得到优化后的识别模型。本发明可以快速、准确的从人体骨架序列中识别出人体的身份信息和行为动作。

Description

基于人体骨架序列的行为与身份联合识别方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及基于深度学习的视 觉领域，具体涉及一种基于人体骨架序列的行为与身份联合识别方法及 装置。

背景技术

随着计算机图形视觉技的发展以及人机交互技术的发展，及时 的将检测或监控到人物的行为动作、身份信息及时准确的显示出来，变 得越来越重要。行为识别和身份识别在自动驾驶、人机交互、智慧城市、 智能交通及智能监控等领域都有应用。

随着近几年的深度相机(比如，Kinect)和高精度高效率的人 体姿态估计算法的发展，基于人体骨架序列的行为识别越来越受欢迎。 骨架序列直接反映了人体的运动，又具有输入数据小，没有背景干扰等 优点。基于深度神经网络的方法，可以从原始的骨架序列中自动学习特 征并识别行为；但是，忽略了基于人体骨架序列的身份识别。

一个人在时间上的动作序列既可以反映他的行为，也可以反映 他的身份，比如，步态识别研究可以根据一个人走路的状态判断他的身 份。但是，目前对于个人的行为和身份的识别为单独进行识别，无法利 用同一动作序列同时识别行人的动作和行人的身份。

发明内容

为了解决现有技术中的上述问题，即为了解决在人体骨架数据 识别中，不能同时对身份信息和行为动作识别的技术问题。为此目的， 本发明提供了一种基于人体骨架序列的行为与身份联合识别方法及装 置，以解决上述技术问题。

第一方面，本发明提供的基于人体骨架序列的行为与身份联合 识别方法包括如下步骤：获取待识别人体的人体骨架序列；根据上述人 体骨架序列，利用基于预先构建的识别模型，并根据上述人体骨架序列， 预测每个预设的身份类别的概率和每个预设的行为类别的概率；根据所 预测的身份类别的概率，判断上述待识别人体的身份类别；根据所预测 的行为类别的概率，判断上述待识别人体的行为类别；其中，上述识别 模型是基于深度递归神经网络构建的身份类别与行为类别概率预测模 型。

进一步地，本发明提供的一个优选技术方案中，在“基于预先 构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类别 的概率和每个预设的行为类别的概率”的步骤之前，上述方法还包括： 基于预设的参考坐标系，对预设的人体骨架序列训练样本进行坐标转换， 得到第一参考骨架序列；获取预设的人体中心点在上述第一参考骨架序列对应的每个时刻的位置坐标；将上述第一参考骨架序列中每个时刻对 应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考 骨架序列；根据预设的旋转角度，对上述第二参考骨架序列进行三维坐 标变换，得到第三参考骨架序列；根据上述第三参考骨架序列，获取每 个上述关节点的坐标变化特征；对所获取的坐标变化特征进行融合，得到特征序列；基于预设的模型损失函数，并根据上述特征序列对上述识 别模型进行模型训练。

进一步地，本发明提供的一个优选技术方案中，在“将上述第 一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架 坐标均值相减，得到第二参考骨架序列”的步骤之前，上述方法包括： 获取人体骨架的多个预设的中心点的坐标；根据所获取的坐标，计算多 个上述中心点的坐标均值；在此情况下，“将上述第一参考骨架序列中 每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得 到第二参考骨架序列”的步骤是将上述第一参考骨架序列中每个时刻对 应的关节点的位置坐标与相应的中心点的坐标均值相减，得到第二参考 骨架序列。

进一步地，本发明提供的一个优选技术方案中，“根据预设的 旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参考 骨架序列”的步骤包括：利用如下变换公式对各关节节点进行三维坐标 变换：

R＝R_z(γ)R_y(β)R_x(α)

其中，R为三维旋转变换矩阵，R_x(α)，R_y(β)，R_z(γ)为x，y，z 三个坐标轴方向的旋转矩阵，其形式如下：

α，β，γ为x，y，z三个坐标轴方向的旋转角度。

进一步地，本发明提供的一个优选技术方案中，“对所获取的 坐标变化特征进行融合，得到特征序列”的步骤包括：将坐标变换后的 每一时刻的各个上述关节点的坐标连接成一个特征向量，得到特征序列。

进一步地，本发明提供的一个优选技术方案中，上述模型损失 函数如下式所示：

L＝λL⁽¹⁾+(1-λ)L⁽²⁾

其中，λ为预设的加权系数，0≤λ≤1，L⁽¹⁾和L⁽²⁾分别是对行 为识别和身份识别对应的损失函数：

其中，为第n个样本的行为和身份的类别标签，N为 总样本数目；

“基于预设的模型损失函数，并根据上述特征序列对上述识别 模型进行模型训练”的步骤包括：根据上述第三参考骨架序列，并利用 BPTT算法对上述识别模型进行模型训练。

进一步地，本发明提供的一个优选技术方案中，上述中心点包 括左髋节的中心点、右髋节的中心点和髋部的中心点，或者上述中心点 包括左肩节的中心点、右肩节的中心点和胸部的中心点。

进一步地，本发明提供的一个优选技术方案中，上述深度递归 神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向 递归神经网络包括多个长短时记忆网络。

进一步地，本发明提供的一个优选技术方案中，上述识别模型 的网络结构中的全连接层包括第一全连接层和第二全连接层；上述第一 全连接层用于根据上述人体骨架序列，预测每个预设的行为类别的概率； 上述第二全连接层用于根据上述人体骨架序列，预测每个预设的身份类 别的概率。

第二方面，本发明提供的一种存储装置，上述存储装置承载有 一个或者多个程序，上述程序适于由处理器加载并执行，当上述一个或 者多个程序被该装置执行时可以是实现上述技术方案所述的基于人体骨 架序列的行为和身份联合识别方法。

第三方面，本发明提供的一种处理装置包括处理器，适于执行 各条程序；以及存储设备，适于存储多条程序；其中，上述程序适于由 处理器加载并执行以实现上述技术方案所述的基于人体骨架序列的行为 和身份联合识别方法。

与最接近的现有技术相比，上述技术方案至少具有如下有益效 果：

本发明提供的基于人体骨架序列的行为与身份联合识别方法， 通过预先构建的识别模型对待识别的人体骨架序列进行身份类别概率和 行为类别的概率的预测，并根据所预测的身份类别的概括了和行为类别 的概率判断出对应于该人体骨架序列的人体的身份信息各行为动作，实 现对于人体骨架序列的身份与行为的联合识别；多层双向递归神经网络 的使用，提高了身份类别的概率和行为类别的概率的预测精度。

附图说明

图1是本发明实施例中一种基于人体骨架序列的行为与身份 联合识别的主要步骤示意图；

图2是本发明实施例中识别模型神经元的网络结构示意图；

图3是本发明实施例中识别模型的双向递归神经网络的主要 结构示意图；

图4是本发明实施例中利用识别模型识别人体骨架序列对应 人体的行为动作和身份信息的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员 应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨 在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施 例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本 发明。

参阅附图1，图1示例性示出了本实施例中一种基于人体骨架 序列的行为与身份联合识别的主要步骤。该基于人体骨架序列的行为与 身份联合识别方法，包括以下步骤：

步骤1，获取待识别人体的人体骨架序列。

在本实施例中，可以应用基于人体骨架序列的行为和身份联合 识别方法的电子设备或应用平台，获得待进行行为识别和身份验证的人 体骨架序列。可以从与上述电子设备或应用平台连接的终端设备获得人 体骨架序列；具体地，上述终端设备可以通过与其连接的Kinect传感器 获得识别区域内人物的人体骨架的骨架数据。上述人体骨架序列为同一 人按照时间顺序的人体骨架的骨架数据序列。

上述骨架数据可以是Kinect传感器所检测到的人体的图像数 据，上述Kinect传感器所检测到每帧图像数据可以是表述上述人体的躯 干和各关节点的数据；上述骨架数据中包括上述人体骨架的关节点坐标。

步骤2，基于预先构建的识别模型，并根据上述人体骨架序列， 预测每个预设的身份类别的概率和每个预设的行为类别的概率。

本实施例中，基于步骤1中所获取的人体骨架序列，上述电子 设备或应用平台利用预先构建的识别模型对上述人体骨架序列进行识 别，预测每个预设的身份类别的概率和每个预设的行为类别的概率。这 里，上述识别模型可以是基于深度递归神经网络构建的模型身份类别与 行为类别概率的预测模型，例如可以是Siamese网络模型，利用Siamese网络模型完成待检测人体骨架序列的身份验证和行为动作识别。上述识 别模型输入为人体骨架数据的序列，输出为所输入的人体骨架序列所对 应人体的身份类别的概率和行为类别的概率。上述电子设备或应用平台 的存储单元或数据库中预先存储有人体的身份信息、行为动作信息。具 体地，可以为上述识别模型预测上述人体骨架序列对应上述预先存储的 人体的身份信息中各身份类别的概率；上述识别模型预测上述人体骨架 序列对应上述预先存储的人体的行为动作中各个动作的行为类别的概 率。

步骤3，根据所预测的身份类别的概率，判断所述待上述人体 的身份类别；根据所预测的行为类别的概率，判断上述待识别人体的行 为类别。

在本实施例中，根据上述步骤2中所预测的身份类别的概率和 行为类别的概率，可以依据概率的大小判断上述人体骨架序列对应人体 的身份类别，以及判断上述人体骨架序列对应人体的行为类别。上述身 份类别可以是区分人体身份的信息，上述行为类别可以是区分人体行为 动作的信息。

进一步地，本实施例提供的一个优选技术方案中，在“基于预 先构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类 别的概率和每个预设的行为类别的概率”的步骤之前，上述方法还包括： 基于预设的参考坐标系，对预设的人体骨架序列训练样本进行坐标转换， 得到第一参考骨架序列；获取预设的人体中心点在上述第一参考骨架序列对应的每个时刻的位置坐标；将上述第一参考骨架序列中每个时刻对 应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考 骨架序列；根据预设的旋转角度，对上述第二参考骨架序列进行三维坐 标变换，得到第三参考骨架序列；根据上述第三参考骨架序列，获取每 个上述关节点的坐标变化特征；对所获取的坐标变化特征进行融合，得到特征序列；基于预设的模型损失函数，并根据上述特征序列对上述识 别模型进行模型训练。

上述预先构建的识别模型的训练方法包括：将训练用的人体骨 架序列的坐标转换到参考坐标系下，得到参考骨架序列；对上述参考骨 架序列的各参考骨架的各关节节点坐标与预先指定的中心点的坐标比 较，得到各上述参考骨架的各关节节点的相对坐标；对各上述关节节点 的相对坐标进行三维坐标变换，并将经三维坐标变换后的上述参考骨架序列作为训练数据，对初始的识别模型进行训练，得到优化后的识别模 型。

上述对样本数据进行预处理，还包括对人体骨架序列中的各骨 架数据进行坐标绝对处理，即，对一个骨架序列不同时间的所有关键点 的坐标，减去相对应时间的坐标的均值得到各个关节节点坐标。

具体地，上述数据预处理中，如果上述人体骨架序列是基于图 像平面坐标系，且已知相机参数，可以通过计算相机变换矩阵进行坐标 系转化；如果相机参数未知，就对平面二维的坐标增加一个数值为1的 维度，并处理后的三维坐标做尺度变换，使得x，y，z的坐标的数值在预 定范围内；优选地，x，y，z的坐标的数值在[-3,3]的范围内。

上述三维坐标变换可以为利用预设的旋转变换矩阵对上述第 二参考骨架序列进行三维坐标变换，得到第三参考骨架序列。

进一步地，本实施例提供的一个优选技术方案中，在“将上述 第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨 架坐标均值相减，得到第二参考骨架序列”的步骤之前，上述方法包括： 获取人体骨架的多个预设的中心点的坐标；根据所获取的坐标，计算多 个上述中心点的坐标均值；在此情况下，“将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得 到第二参考骨架序列”的步骤是将上述第一参考骨架序列中每个时刻对 应的关节点的位置坐标与相应的中心点的坐标均值相减，得到第二参考 骨架序列。

具体地，上述中心点包括左髋节的中心点、右髋节的中心点和 髋部的中心点，或者上述中心点包括左肩节的中心点、右肩节的中心点 和胸部的中心点。

进一步地，本实施例提供的一个优选技术方案中，“根据预设 的旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参 考骨架序列”的步骤包括：

在本实施例的一些可选的实现方式中，上述“对各上述关节节 点的相对坐标进行三维坐标变换”的步骤包括利用如下变换公式对各关 节节点进行三维坐标变换变换：

R＝R_z(γ)R_y(β)R_x(α) (1)

其中，R_x(α)，R_y(β)，R_z(γ)为x，y，z三个坐标轴方向的旋转 矩阵，其形式如下：

上式中，R为三维旋转变换矩阵，α，β，γ为x，y，z三个坐标 轴方向的旋转角度。上述三维变换为旋转矩阵，用于三维变换的旋转矩 阵R只依赖于三个参数α，β，γ。当上述参数α，β，γ的数值都为0时，上 述旋转矩阵R为单位矩阵，相当于没有做坐标变换。在进行识别模型训练 时，随机生成α，β，γ的数值，随机生成的范围根据任务而定，比如，对 于跨视角的识别中，可以设定α∈[-π/2，π/2]，β∈[-π/2，π/2]，γ＝0。

进一步地，一个优选技术方案中，上述“对所获取的坐标变化 特征进行融合，得到特征序列”的步骤包括：对上述不同关节点的坐标 变化特征进行连接，得到特征序列。

对模型基于坐标变换后的特征序列所学习到的描述动作的特 征在时间维度上做融合，得到描述运动的向量，并作为网络中两个全连 接层的输入。上述坐标变化特征进行融合的方法可以采用最大池化法 (Max Pooling)或平均池化法(Mean Pooling)实现。

进一步地，一个优选技术方案中，上述预设的模型损失函数如 下式所示：

L＝λL⁽¹⁾+(1-λ)L⁽²⁾ (5)

其中，λ为预设的加权系数，0≤λ≤1，L⁽¹⁾和L⁽²⁾分别是对行 为识别和身份识别对应的损失函数，L⁽¹⁾和L⁽²⁾可表示为：

其中，中为第n个样本的行为和身份的类别标签，N为 总样本数目；

“基于预设的模型损失函数，并根据上述特征序列对上述识别 模型进行模型训练”的步骤包括：根据上述第三参考骨架序列，并利用BPTT算法对上述识别模型进行模型训练。上述BPTT算法为基于时序的 反向传播算法，为Back-Propagation Through Time的缩写。

进一步地，在本实施例的一个优选技术方案中，上述深度递归 神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向 递归神经网络包括多个长短时记忆网络。

在本实施例的一些可选的实现方式中，上述识别模型基于深度 递归神经网络构建。上述识别模型可以采用多层双向递归神经网络，其 中，上述递归神经网络可以采用短时记忆网络(Long-Short Term Memory， LSTM)。

参阅附图2，图2示例性示出了本实施例中一种识别模型神经 元的网络结构。如图2所示，在识别模型神经元的网络结构中，给定输 入序列{x_t}，长短时记忆网络的输出序列为{h_t}，长短时记忆网络的迭代 过程如下所示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (7)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (8)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c) (9)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o) (10)

h_t＝o_ttanh(c_t) (11)

其中，i_t，f_t，o_t，c_t分别表示输入控制门(Input gate)、遗 忘门(Forget gate)、输出控制门(Output gate)和记忆单元(Cell)在时 间t的状态，W，b分别表示连接权重和偏置向量。

进一步地，在本实施例的一个优选技术方案中，上述深度递归 神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向 递归神经网络包括多个长短时记忆网络。

参阅附图3，图3示例性示出了本实施例中一种识别模型神经 元的双向递归神经网络的主要结构。如图3所示的双向递归网络的网络 结构中，应用于本识别模型的双向递归网络的网络结构如图3所示，对 于一个输入的人体骨架序列，网络有两个隐含层：前向层和反向层，分 别学习输入序列的在时间上的两个相反方向的变化特性。双向递归神经 网络的输出是把前向层和反向层的在同一个时间上的输出连接起来，形 成一个新的时间序列。

在本实施例的一些可选的实现方式中，上述识别模型的网络结 构中的全连接层包括第一全连接层和第二全连接层，上述第一全连接层 用于根据上述人体骨架序列，预测每个预设的行为类别的概率，从而进 行人体动作行为的识别，上述第二全连接层用于根据上述人体骨架序列， 预测每个预设的身份类别的概率，进而进行人体身份的识别。

这里，进行分类的全连接层包括两个全连接层，需要对深度递 归神经网络学习到的特征在时间维度上做融合，得到这个序列的表示。 融合方法采用最大池化(MaxPooling)或平均池化(Mean Pooling)。记 {o_t}为多层双向递归神经网络的输出，t∈{1，2，...，T}，T表示序列长度，最 大池化的输出为max{o_t}，平均池化的输出为∑o_t/T。

上述第一全连接层的隐含层的节点数为待识别行为的数目，通 过激活函数的如下类属概率的最大值判定输入序列所属行为类别：

其中，a_i为全连接层的输出，行为的类别数为m，p_i为第i种行 为类别的预测概率。

上述第二全连接层的隐含层的节点数为待识别身份的数目，通 过激活函数的如下类属概率的最大值判定输入序列所属身份类别：

其中，b_j为全连接层的输出，身份的类别数为n，q_j为第i种 身份类别的预测概率。

可以理解，上述待识别行为可以预先设置，行为类别的数目可 以由实际任务决定；其中，每个动作对应一个行为类别。上述身份的信 息可以预先设置，身份类别的数目可以由实际任务中待识别的人体的数 目决定；其中，每个人体对应一个身份类别。

作为示例，参阅附图4，图4示例性示出了本实施例中利用识 别模型识别人体骨架序列对应人体的行为动作和身份信息的示意图。如 图4所示，人体骨架序列输入识别模型后，识别出人体的行为和身份。 其中，识别模型经数据预处理、三维坐标变换、深度递归神经网络和分 类预测联合识别出人体的行为动作和身份信息。这里，预先设有60个行 为类别，40个身份类别；根据人体骨架序列，利用上述识别模型，可以 识别出60个行为动作和40个身份不同的人。

本发明还提供了一种存储装置，上述存储装置承载有一个或者 多个程序，上述程序适于由处理器加载并执行，当上述一个或者多个程 序被该装置执行时可以是实现上述实施例中的任一方法。

本发明还提供了一种处理装置，该处理装置包括处理器，适于 执行各条程序；以及存储设备，适于存储多条程序；其中，上述程序适 于由处理器加载并执行以实现上述实施例中的任一方法。

本发明上述实施例所提供的方法通过预先构建的识别模型对 人体骨架序列进行识别，识别出人体的行为动作和身份信息。本发明中， 识别模型的全连接层包括用于身份识别的全连接层以及用于行为识别的 全连接层，识别模型的递归神经网络对学习到的特征在时间维度上作融 合，识别模型可以同时预测人体骨架序列的行为类别的概率和人的身份 类别的概率，根据上述所预存的概率判断出人体的身份类别和行为类别。 因此，应用本发明提供的方法可以快速、准确识别出人体骨架序列对应 人体的身份信息和行为动作。

至此，已经结合附图所示的优选实施方式描述了本发明的技术 方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不 局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技 术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之 后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于人体骨架序列的行为与身份联合识别方法，其特征在于，所述方法包括：

获取待识别人体的人体骨架序列；

根据所述人体骨架序列，利用基于预先构建的识别模型，并根据所述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率；

根据所预测的身份类别的概率，判断所述待识别人体的身份类别；根据所预测的行为类别的概率，判断所述待识别人体的行为类别；

其中，所述识别模型是基于深度递归神经网络构建的身份类别与行为类别概率预测模型。

2.根据权利要求1所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，在“基于预先构建的识别模型，并根据所述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率”的步骤之前，所述方法还包括：

基于预设的参考坐标系，对预设的人体骨架序列训练样本进行坐标转换，得到第一参考骨架序列；

获取预设的人体中心点在所述第一参考骨架序列对应的每个时刻的位置坐标；

将所述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列；

根据预设的旋转角度，对所述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列；

根据所述第三参考骨架序列，获取每个所述关节点的坐标变化特征；

对所获取的坐标变化特征进行融合，得到特征序列；

基于预设的模型损失函数，并根据所述特征序列对所述识别模型进行模型训练。

3.根据权利要求2所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，在“将所述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤之前，所述方法包括：

获取人体骨架的多个预设的中心点的坐标；

根据所获取的坐标，计算多个所述中心点的坐标均值；

在此情况下，“将所述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤是将所述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的中心点的坐标均值相减，得到第二参考骨架序列。

4.根据权利要求2所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，“根据预设的旋转角度，对所述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列”的步骤包括：

利用如下变换公式对各关节节点进行三维坐标变换：

R＝R_z(γ)R_y(β)R_x(α)

其中，R为三维旋转变换矩阵，R_x(α)，R_y(β)，R_z(γ)为x，y，z三个坐标轴方向的旋转矩阵，其形式如下：

α，β，γ为x，y，z三个坐标轴方向的旋转角度。

5.根据权利要求2所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，“对所获取的坐标变化特征进行融合，得到特征序列”的步骤包括：将坐标变换后的每一时刻的各个所述关节点的坐标连接成一个特征向量，，得到特征序列。

6.根据权利要求2-5中任一项所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，所述模型损失函数如下式所示：

L＝λL⁽¹⁾+(1-λ)L⁽²⁾

其中，λ为预设的加权系数，0≤λ≤1，L⁽¹⁾和L⁽²⁾分别是对行为识别和身份识别对应的损失函数：

其中，中为第n个样本的行为和身份的类别标签，N为总样本数目；

“基于预设的模型损失函数，并根据所述特征序列对所述识别模型进行模型训练”的步骤包括：根据所述第三参考骨架序列，并利用BPTT算法对所述识别模型进行模型训练。

7.根据权利要求2-5中任一项所述的基于人体骨架序列的行为与身份联合识别方法，其特征在于，所述中心点包括左髋节的中心点、右髋节的中心点和髋部的中心点，或者所述中心点包括左肩节的中心点、右肩节的中心点和胸部的中心点。

8.根据权利要求1-5中任一项所述的基于人体骨架序列的行为和身份联合识别方法，其特征在于，所述深度递归神经网络是多层双向递归神经网络或单向递归神经网络；所述多层双向递归神经网络包括多个长短时记忆网络。

9.根据权利要求1-5中任一项所述的基于人体骨架序列的行为和身份联合识别方法，其特征在于，所述识别模型的网络结构中的全连接层包括第一全连接层和第二全连接层；

所述第一全连接层用于根据所述人体骨架序列，预测每个预设的行为类别的概率；

所述第二全连接层用于根据所述人体骨架序列，预测每个预设的身份类别的概率。

10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9中任一项所述的基于人体骨架序列的行为和身份联合识别方法。

11.一种处理装置，包括：

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-9任一项中所述的基于人体骨架序列的行为和身份联合识别方法。