CN114821672A - 一种人体卧姿实时检测及识别方法 - Google Patents

Abstract

本发明公开了一种人体卧姿实时检测及识别方法。采用深度相机进行数据采集，在最大限度保护用户隐私的前提下，将深度相机采集到的深度图传输到计算机端，由计算机端实时捕捉识别受试人员，生成与之对应的人体骨骼关键节点，将生成的骨骼点匹配画面实时显示在显示器上，并将画面加密保存在计算机的存储端。此外，本发明还具有特定动作识别功能，能够辅助人员及时发现并处理相应问题。本发明技术具有低成本、无接触、高精度、隐私保护良好等优点，满足多场景下人体卧床姿态检测和实时运动检测的需求。

Description

一种人体卧姿实时检测及识别方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种人体卧姿实时检测及识别方法。

背景技术

随着技术发展，人们发现，约占生命活动三分之一时间的卧床姿势对人体健康有着深远影响。例如，其一，婴儿出生后的前十八个月内易出现的脑性瘫痪，可以通过婴儿仰卧运动状态及时发现和治疗。其二，医生在门诊过程中常将睡眠质量作为一个重要指标辅助医学诊断，并发现评估睡眠质量可以提供更多的见解帮助进入睡眠。其三，患者在麻醉苏醒后的半小时内，发生的躁动过程会对手术效果和术后恢复产生不利影响，通过对患者卧姿动作监控可以及时发现此并进行镇静处理。其四，老年人监护和卧床康复过程中可以通过卧姿检测降低褥疮发生概率。

目前，在卧姿识别和人体姿势检测领域常见的几种方法有：穿戴式传感器法、摄像机监控法、压力矩阵法等。穿戴式传感器虽然数据精准但便利性较差，摄像机监控法会对人员心理造成一定负担，压力矩阵法存在造价过高及可靠性能较差等问题。因此，急需要一套低成本无接触且最大限度保护人员隐私的人体卧姿实时检测系统。

发明内容

本发明的目的是针对目前现有技术的缺点，提供一种人体卧姿实时检测及识别方法。采用深度相机进行数据采集，在最大限度保护用户隐私的前提下，将深度相机采集到的深度图传输到计算机端，由计算机端实时捕捉识别受试人员，生成与之对应的人体骨骼关键节点，将生成的骨骼点匹配画面实时显示在显示器上，并将画面加密保存在计算机的存储端。此外，本发明还具有特定动作识别功能，能够辅助人员及时发现并处理相应问题。本发明技术具有低成本、无接触、高精度、隐私保护良好等优点，满足多场景下人体卧床姿态检测和实时运动检测的需求。

本发明是通过以下技术方案实现的：

一种人体卧姿实时检测及识别方法，包括以下步骤：

S1：布置深度相机，通过深度相机采集卧姿受试者时间序列上的深度图像，将采集的数据传输到计算机进行处理；

S2：对从深度相机获取到的深度图像数据进行处理，对深度图像中背景进行分割，标记出深度图像中人员位置；

S3：识别出人体关键点，构建出基于这些人体关键点的人体姿态模型，将人体姿态模型的画面实时显示在显示器上；

S4：对构造的人体姿态模型中的各人体关键点的位置进行计算，根据人体关键点相对位置变化，识别出受试者的运动状态，包括以下步骤：

S4.1：对各关键点数据进行坐标转化，映射到全局坐标系上；

S4.2：采用数字滤波器原理进行滤波，对连续帧内的人体关键点运动过程中存在重叠、混淆等问题进行处理，并对骨骼节点轨迹进行预处理，减少节点位置跳变幅度；

S4.3：明确人体姿态模型中的各关节部位，每个关节由相邻的三个人体关键点作为关节点所构成，构造各关节所对应的关节点间的结构向量，根据各关节点间的结构向量计算出各关节的角度大小；

S4.4：计算同一帧不同关节点相对位移，同一帧每个关节点表示为x_i，当前帧(c)的姿态特征f_cc，可以表示不同关节点的坐标差值为：

f_cc＝{x_i-x_j|i,j＝1,2,…N；i≠j}

S4.5：计算不同帧同一关节点相对位移，相对前一帧(p)，当前帧在卧姿状态运动中产生的偏移量，可以计算当前帧与上一帧间各关节点的坐标差值以捕获关节运动特征，表示为：

S4.6：相对初始帧(s)，当前帧在运动中产生的偏移量，计算当前帧与初始帧间各关节点的坐标差值作为偏移量特征，表示为f_cs：

S4.7：对姿态特征f_cc、运动特征f_cp、偏移量特征f_cs组合的形式表示，每一帧的各关节位置信息可表示为：f_c＝[f_cc,f_cp,f_cs]，对f_c进行降维并与设定值进行判断，超出设定阈值舍去角度变化信息，属于设定阈值保留角度变化信息；

S4.8：对特定时间窗口内的各关节角度信息，以熵表示信息量的大小，信息熵h(x)表示为：

h(x)＝-∫f(x)logf(x)dx

其中随机变量的熵正比于其方差的对数，故以此衡量每个时间段内关节角度信息，将关节角度信息输入以支持向量机的行为分类器中，识别受试者的当前运动状态；

S5：将识别出的受试者的当前运动状态结果通过显示器进行显示。

在上述技术方案中，步骤S2，包括以下步骤：

S2.1：根据焦距和物距之间的关系利用设置一个基准深度值s₀，作为判别图像属于前景、背景的阈值；

S2.2：对深度相机采集到的深度图像数据进行归一化处理，以便确定背景分割的尺度，归一化处理公式为：

式中，s为图像中各点的原始深度数据，s_max为图像中所含点的最大的原始深度值s_min为图像中所含点的最小的原始深度值；

V表示将图像中各点的原始深度数据归一化到0-255内的深度值；

根据上式，得到V₀，V₀表示s₀经过归一化处理后的聚焦处的深度值；

S2.3：对深度图像进行初步分层，当0≤V≤V₀，划分为背景层；当V₀≤V≤2V₀，划分为过渡层，当2V₀≤V≤255，划分为前景层；

S2.4：对深度图像中的各层深度信息进行尺度标号，将前景层标记为0，过渡层标记为1，背景层标记为2；然后对其进行边缘平滑预处理，保持图像边缘自然过渡。平滑后的图像中的各点尺度标号在0-2之间，根据尺度标号确定图像中各点的虚化处理的模糊尺度，其中各点的模糊半径R(i,j)依据下面公式确定：

R(i,j)＝α(i,j)×k

S2.5：计算出高斯标准差和模糊半径，利用下式对图像中的每个点进行不同尺度的高斯模糊处理，以获得清晰的卧姿受试图：

其中

为卷积运算，f(i,j,σ(i,j))为高斯分布函数。

在上述技术方案中，所述的人体关键点包括：头、鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左手、右手、胸部、腹部、臀部、左腰、右腰、左膝、右膝、左脚踝、右脚踝、左脚和右脚。

在上述技术方案中，步骤3中，采用联合回归网络对步骤S2处理后的深度图像中人体关键点进行识别，具体步骤为：

S3.1：联合回归网络由二维backbone network骨干网络(即ResNet-50)和三个功能分支组成，三个功能分支分别为，平面转移分支、深度估计分支和锚定提案分支；

S3.2：平面偏移分支和深度估计分支用来预测深度图像中的人体关键点三维位置，针对某个关键点，通过聚合锚点的输出进行定位；

S3.3：锚定提案分支通过权重指定的方式寻找特定关键点的信息锚定点，该分支的输出层设置为16个K信道；

S3.4：骨干网络的网络式在ImageNet上预训练的ResNet-50，将第四层中的卷积步幅设置为1，同时将该层卷积运算改为扩张卷积，扩大幅度为2，以扩大感受野；

S3.5：针对深度图像中的关键点j，为了使T_ij和深度目标T_dj具有可比性，将关键点的Ground Truth深度Z_j转换为：

T_j ^d＝μ(Z_j-θ)

其中μ和θ式变换参数，针对卧姿识别需求，μ设置为1，θ设置为0；

S3.6：A2J模型在关键点估计损失和信息锚点损失两个损失函数的联合监督下进行训练，关键点损失的客观损失表述为：

其中α是平衡平滑偏移和深度估计任务的因子通常设置为0.5，τ1和τ2设置为1和3用于平滑深度图中的相对噪声，T_j ⁱ和T_j ^d为关键点j的平面内和深度目标位置，平滑损失函数L_τ的公式为：

环绕信息锚点损失用来提升模型的泛化能力，以便从多角度观察关键点，损失周围的信息锚定点公式为：

于是，端到端学习过程由两个损失函数共同决定，公式为：

loss＝λloss₁+loss₂

λ是损失权重因子，通常设置为3用以平衡损失1和损失2。

在上述技术方案中，步骤3中，本发明考虑到各锚定点对该关键点的贡献不是相同的，因此关键点j的平面位置和深度值可作为锚定点输出的加权平均值，具体公式如下：

式中，S_j表示关键点j的平面位置，D_j表示关键点j的深度的预估值；P_j(a)为锚定点a朝向关键点j穿过所有锚定点的标准化权重值，并使用SoftMax通过以下公式获得：

在上述技术方案中，对深度相机采集的画面以混沌Logistic方式进行加密存储，从而保证对被检测者的隐私；具体步骤见S1-S4:

S1：对待保存的某帧画面计算原始图像的尺寸并以矩阵[M,N]表示；

S2：针对矩阵[M,N]，产生两个Logistic混沌序列，对这两个Logistic序列进行改造，得到两个y序列；

S3：以y₁和y₂两个序列对图像进行值替换加密；

S4：保存y₁、y₂序列和加密像素。

本发明的优点和有益效果为：

本发明可适用于多场景卧姿人体运动过程检测，受试者无需穿戴任何传感器设备就能较准确地捕捉到处于卧姿状态的人体姿态信息，根据人体姿态生成卧姿受试者关键节点部位的骨骼点图，根据受试者特定需求调节受试者动作检测判定机制，并将检测画面和判定结果发送到显示器端以提醒监护人员。

采用深度相机进行画面实时采集，避免采用RGB相机给受试者带来过大的心理压力，在逐帧存储画面过程中进行一定的加密处理，在一定程度上保护受试者隐私。

相较于现存的几种卧姿识别方法，本发明具有低成本、无接触、识别精度较高、隐私性好等优点，具有一定的实用价值。

附图说明

图1是本发明人体卧姿实时检测及识别方法的流程示意图。

图2是本发明中人体关键部位骨骼点的组成结构示意图。

图3是本发明检测生成的人体姿态模型的显示画面。

对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。

实施例一

一种人体卧姿实时检测及识别方法，包括以下步骤：

S1：布置深度相机，通过深度相机采集卧姿受试者时间序列上的深度图像，将采集的数据传输到计算机进行处理。

S2：对从深度相机获取到的深度图像数据进行处理，对深度图像中背景进行分割，标记出深度图像中人员位置。具体的讲，采用高斯深度分层处理的方法对深度图像中背景进行分割，步骤为：

S2.1：根据焦距和物距之间的关系利用设置一个基准深度值s₀，作为判别图像属于前景、背景的阈值。

S2.2：对深度相机采集到的深度图像数据进行归一化处理，以便确定背景分割的尺度，归一化处理公式为：

式中，s为图像中各点的原始深度数据，s_max为图像中所含点的最大的原始深度值，s_min为图像中所含点的最小的原始深度值；

V表示将图像中各点的原始深度数据归一化到0-255内的深度值；

根据上式，得到V₀，V₀表示s₀经过归一化处理后的聚焦处的深度值。

S2.3：对深度图像进行初步分层，当0≤V≤V₀，划分为背景层；当V₀≤V≤2V₀，划分为过渡层，当2V₀≤V≤255，划分为前景层。

S2.4：对深度图像中的各层深度信息进行尺度标号，将前景层标记为0，过渡层标记为1，背景层标记为2；然后对其进行边缘平滑预处理，保持图像边缘自然过渡。平滑后的图像中的各点尺度标号在0-2之间，根据尺度标号确定图像中各点的虚化处理的模糊尺度，其中各点的模糊半径R(i,j)依据下面公式确定：

R(i,j)＝α(i,j)×k

S2.5：计算出高斯标准差和模糊半径，利用下式对图像中的每个点进行不同尺度的高斯模糊处理，以获得清晰的卧姿受试图：

其中

为卷积运算，f(i,j,σ(i,j))为高斯分布函数。

S3：对标记出人员位置的深度图像继续处理，识别出人体关键部位骨骼点(下面简称为关键点)，然后构建出基于这些人体关键部位骨骼点的人体姿态模型，将人体姿态模型的画面实时显示在显示器上(见附图3)；

在本实施例中，所述的人体关键点包括：头、鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左手、右手、胸部、腹部、臀部、左腰、右腰、左膝、右膝、左脚踝、右脚踝、左脚和右脚，参考图2。

具体的讲，采用锚定联合回归网络A2J对步骤S2处理后的深度图像中人体关键点识别，具体步骤为：

S3.1：A2J由二维backbone network骨干网络(即ResNet-50)和三个功能分支组成，三个功能分支分别为，平面转移分支、深度估计分支和锚定提案分支。

S3.2：平面偏移分支和深度估计分支用来预测深度图像中的人体关键点三维位置，针对某个关键点，通过聚合锚点的输出进行定位。本发明考虑到各锚定点对该关键点的贡献不是相同的，因此关键点j的平面位置和深度值可作为锚定点输出的加权平均值，具体公式如下：

式中，S_j表示关键点j的平面位置，D_j表示关键点j的深度的预估值；P_j(a)为锚定点a朝向关键点j穿过所有锚定点的标准化权重值，并使用SoftMax通过以下公式获得：

S3.3：锚定提案分支通过权重指定的方式寻找特定关键点的信息锚定点，该分支的输出层设置为16个K信道。

S3.4：骨干网络的网络式在ImageNet上预训练的ResNet-50，针对卧姿识别需求，将第四层中的卷积步幅设置为1，同时将该层卷积运算改为扩张卷积，扩大幅度为2，以扩大感受野。

S3.5：针对深度图像中的关键点j，为了使T_ij和深度目标T_dj具有可比性，将关键点的Ground Truth深度Z_j转换为：

T_j ^d＝μ(Z_j-θ)

其中μ和θ式变换参数，针对卧姿识别需求，μ设置为1，θ设置为0；

S3.6：A2J模型在关键点估计损失和信息锚点损失两个损失函数的联合监督下进行训练。关键点损失的客观损失表述为：

其中α是平衡平滑偏移和深度估计任务的因子通常设置为0.5，τ1和τ2设置为1和3用于平滑深度图中的相对噪声，T_j ⁱ和T_j ^d为关键点j的平面内和深度目标位置，平滑损失函数L_τ的公式为：

环绕信息锚点损失用来提升模型的泛化能力，以便从多角度观察关键点，损失周围的信息锚定点公式为：

于是，端到端学习过程由两个损失函数共同决定，公式为：

loss＝λloss₁+loss₂

λ是损失权重因子，通常设置为3用以平衡损失1和损失2。

S4：对构造的人体姿态模型中的各关键点的位置进行计算，根据关键点相对位置变化，识别卧姿受试者的运动状态。包括以下步骤：

S4.1：对各关键点数据进行坐标转化，映射到全局坐标系上。

S4.2：采用数字滤波器原理进行滤波，对连续帧内的人体关键点运动过程中存在重叠、混淆等问题进行处理，并对骨骼节点轨迹进行预处理，减少节点位置跳变幅度。

S4.3：明确人体姿态模型中的各关节部位，每个关节是由相邻的三个骨骼关键点作为关节点所构成，构造各关节所对应的关节点间的结构向量，根据各关节间的结构向量可计算出各关节的角度大小。具体的讲，在本实施例中，参见附图2，人体姿态模型中包括14个关节部位，定义出各关节的角度θ_i，其中躯干部分的关节的角度依次为θ₁、θ₂，上肢手臂部分的关节的角度依次为θ₃、θ₄、θ₅、θ₆、θ₇、θ₈、下肢腿部的关节的角度依次为θ₉、θ₁₀、θ₁₁、θ₁₂、θ₁₃、θ₁₄。

每个关节点用三维坐标表示，进而定义出各关节点间的结构向量，例如：附图2中，右肩关节点表示为S(sx,sy,sz)，右肘关节点表示为E(ex,ey,ez)，右腕关节点表示为W(wx,wy,wz)，构造关节间结构向量，右肘到右肩的向量

右肘到右手腕的向量为

右肩到右手腕的向量为

则角度θ₇可由向量

根据反余弦定理求得，其公式为：

同理可求出其他关节角度值。

S4.4：计算同一帧不同关节点相对位移，同一帧每个关节点表示为x_i，当前帧(c)的姿态特征f_cc，可以表示不同关节点的坐标差值为：

f_cc＝{x_i-x_j|i,j＝1,2,…N；i≠j

S4.5：计算不同帧同一关节点相对位移，相对前一帧(p)，当前帧在卧姿状态运动中产生的偏移量，可以计算当前帧与上一帧间各关节点的坐标差值以捕获关节运动特征，表示为f_cp:

S4.6：相对初始帧(s)，当前帧在运动中产生的偏移量，计算当前帧与初始帧间各关节点的坐标差值作为偏移量特征，表示为f_cs：

S4.7：对姿态特征f_cc、运动特征f_cp、偏移量特征f_cs组合的形式表示，每一帧的各关节位置信息可表示为：f_c＝[f_cc,f_cp,f_cs]，对f_c进行降维并与设定值进行判断，超出设定阈值舍去角度变化信息，属于设定阈值保留角度变化信息。

S4.8：对特定时间窗口内的各关节角度信息，以熵表示信息量的大小，信息熵h(x)表示为：

h(x)＝-∫f(x)logf(x)dx

其中随机变量的熵正比于其方差的对数，故以此衡量每个时间段内关节角度信息，将关节角度信息输入以支持向量机(SVM)的行为分类器中，识别卧姿受试者的当前运动状态。

S5：将识别出的卧姿受试者的当前运动状态结果通过显示器进行显示，使医护人员能够得知，以提醒监护人员。

实施例二

进一步说，本发明对卧姿实时检测画面以混沌Logistic方式进行加密存储，从而保证对被检测者的隐私。具体步骤见S1-S4:

S1：对待保存的某帧画面计算原始图像的尺寸并以矩阵[M,N]表示；

S2：针对矩阵[M,N]，产生两个Logistic混沌序列，对这两个Logistic序列进行改造，得到两个y序列；

S3：以y₁和y₂两个序列对图像进行值替换加密；

S4：保存y₁、y₂序列和加密像素。

实施例三

人体卧姿实时运动状态检测效果与深度相机端和受试者空间位置之间的夹角有一定关系，深度相机的观测范围是0.25m-2.88m，测量角度是120°x120°的扇形球体，本例以长度2200mm、宽度900mm、高度500-700mm的标准护理床为例进行说明。

采用单相机时，深度相机悬挂设置在床中轴线上方并距床尾xmm远的房间顶部位置，悬挂倾角为α，工作模式为NFOV时，满足公式：

其中深度相机距离床位竖直距离满足：

2300＜h＜2500

在本例中当深度相机选择悬挂至距床尾245mm时，α最佳角度应当小于6.17°。

采用两台相机时，两台相机分别在床头、床尾对角悬挂，悬挂倾角分别为α、β，工作模式为NFOV时，满足公式：

h(tanα+tanβ)＜2376.9

h*cosα＜2880

h*cosβ＜2880

其中相机距离床位竖直距离满足：

2300＜h＜2500

在本例中，当相机悬挂床头、床尾时，α角选择15°时候，β角应当小于34.33°。

以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (6)

1.一种人体卧姿实时检测及识别方法，其特征在于，包括以下步骤：

S1：布置深度相机，通过深度相机采集卧姿受试者时间序列上的深度图像，将采集的数据传输到计算机进行处理；

S2：对从深度相机获取到的深度图像数据进行处理，对深度图像中背景进行分割，标记出深度图像中人员位置；

S3：识别出人体关键点，构建出基于这些人体关键点的人体姿态模型，将人体姿态模型的画面实时显示在显示器上；

S4：对构造的人体姿态模型中的各人体关键点的位置进行计算，根据人体关键点相对位置变化，识别出受试者的运动状态，包括以下步骤：

S4.1：对各关键点数据进行坐标转化，映射到全局坐标系上；

S4.2：采用数字滤波器原理进行滤波，对连续帧内的人体关键点运动过程中存在重叠、混淆等问题进行处理，并对骨骼节点轨迹进行预处理，减少节点位置跳变幅度；

S4.3：明确人体姿态模型中的各关节部位，每个关节由相邻的三个人体关键点作为关节点所构成，构造各关节所对应的关节点间的结构向量，根据各关节点间的结构向量计算出各关节的角度大小；

S4.4：计算同一帧不同关节点相对位移，同一帧每个关节点表示为x_i，当前帧(c)的姿态特征f_cc，可以表示不同关节点的坐标差值为：

f_cc＝{x_i-x_j|i,j＝1,2,…N；i≠j}

S4.5：计算不同帧同一关节点相对位移，相对前一帧(p)，当前帧在卧姿状态运动中产生的偏移量，可以计算当前帧与上一帧间各关节点的坐标差值以捕获关节运动特征，表示为：

S4.6：相对初始帧(s)，当前帧在运动中产生的偏移量，计算当前帧与初始帧间各关节点的坐标差值作为偏移量特征，表示为f_cs：

S4.7：对姿态特征f_cc、运动特征f_cp、偏移量特征f_cs组合的形式表示，每一帧的各关节位置信息可表示为：f_c＝[f_cc,f_cp,f_cs]，对f_c进行降维并与设定值进行判断，超出设定阈值舍去角度变化信息，属于设定阈值保留角度变化信息；

S4.8：对特定时间窗口内的各关节角度信息，以熵表示信息量的大小，信息熵h(x)表示为：

h(x)＝-∫f(x)logf(x)dx

其中随机变量的熵正比于其方差的对数，以此衡量每个时间段内关节角度信息，将关节角度信息输入以支持向量机的行为分类器中，识别受试者的当前运动状态；

S5：将识别出的受试者的当前运动状态结果通过显示器进行显示。

2.根据权利要求1所述的人体卧姿实时检测及识别方法，其特征在于：步骤S2，包括以下步骤：

S2.1：根据焦距和物距之间的关系利用设置一个基准深度值s₀，作为判别图像属于前景、背景的阈值；

S2.2：对深度相机采集到的深度图像数据进行归一化处理，以便确定背景分割的尺度，归一化处理公式为：

式中，s为图像中各点的原始深度数据，s_max为图像中所含点的最大的原始深度值，s_min为图像中所含点的最小的原始深度值；

V表示将图像中各点的原始深度数据归一化到0-255内的深度值；

根据上式，得到V₀，V₀表示s₀经过归一化处理后的聚焦处的深度值；

S2.3：对深度图像进行初步分层，当0≤V≤V₀，划分为背景层；当V₀≤V≤2V₀，划分为过渡层，当2V₀≤V≤255，划分为前景层；

S2.4：对深度图像中的各层深度信息进行尺度标号，将前景层标记为0，过渡层标记为1，背景层标记为2；然后对其进行边缘平滑预处理，保持图像边缘自然过渡。平滑后的图像中的各点尺度标号在0-2之间，根据尺度标号确定图像中各点的虚化处理的模糊尺度，其中各点的模糊半径R(i,j)依据下面公式确定：

R(i,j)＝α(i,j)×k

S2.5：计算出高斯标准差和模糊半径，利用下式对图像中的每个点进行不同尺度的高斯模糊处理，以获得清晰的卧姿受试图：

其中

为卷积运算，f(i,j,σ(i,j))为高斯分布函数。

3.根据权利要求1所述的人体卧姿实时检测及识别方法，其特征在于：所述的人体关键点包括：头、鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左手、右手、胸部、腹部、臀部、左腰、右腰、左膝、右膝、左脚踝、右脚踝、左脚和右脚。

4.根据权利要求1所述的人体卧姿实时检测及识别方法，其特征在于：步骤3中，采用联合回归网络对步骤S2处理后的深度图像中人体关键点进行识别，具体步骤为：

S3.1：联合回归网络由二维backbone network骨干网络和三个功能分支组成，三个功能分支分别为，平面转移分支、深度估计分支和锚定提案分支；

S3.2：平面偏移分支和深度估计分支用来预测深度图像中的人体关键点三维位置，针对某个关键点，通过聚合锚点的输出进行定位；

S3.3：锚定提案分支通过权重指定的方式寻找特定关键点的信息锚定点，该分支的输出层设置为16个K信道；

S3.4：骨干网络的网络式在ImageNet上预训练的ResNet-50，将第四层中的卷积步幅设置为1，同时将该层卷积运算改为扩张卷积，扩大幅度为2，以扩大感受野；

S3.5：针对深度图像中的关键点j，为了使T_ij和深度目标T_dj具有可比性，将关键点的Ground Truth深度Z_j转换为：

T_j ^d＝μ(Z_j-θ)

其中μ和θ式变换参数，针对卧姿识别需求，μ设置为1，θ设置为0；

S3.6：A2J模型在关键点估计损失和信息锚点损失两个损失函数的联合监督下进行训练，关键点损失的客观损失表述为：

其中α是平衡平缓偏移和深度估计任务的因子通常设置为0.5，τ1和τ2设置为1和3用于平滑深度图中的相对噪声，T_j ⁱ和T_j ^d为关键点j的平面内和深度目标位置，平滑损失函数L_τ的公式为：

环绕信息锚点损失用来提升模型的泛化能力，以便从多角度观察关键点，损失周围的信息锚定点公式为：

于是，端到端学习过程由两个损失函数共同决定，公式为：

loss＝λloss₁+loss₂

λ是损失权重因子，通常设置为3用以平衡损失1和损失2。

5.根据权利要求1所述的人体卧姿实时检测及识别方法，其特征在于：步骤3中，本发明考虑到各锚定点对该关键点的贡献不是相同的，因此关键点j的平面位置和深度值可作为锚定点输出的加权平均值，具体公式如下：

式中，S_j表示关键点j的平面位置，D_j表示关键点j的深度的预估值；P_j(a)为锚定点a朝向关键点j穿过所有锚定点的标准化权重值，并使用SoftMax通过以下公式获得：

6.根据权利要求1所述的人体卧姿实时检测及识别方法，其特征在于：对深度相机采集的画面以混沌Logistic方式进行加密存储，从而保证对被检测者的隐私；具体步骤见S1-S4:

S1：对待保存的某帧画面计算原始图像的尺寸并以矩阵[M,N]表示；

S2：针对矩阵[M,N]，产生两个Logistic混沌序列，对这两个Logistic序列进行改造，得到两个y序列；

S3：以y₁和y₂两个序列对图像进行值替换加密；

S4：保存y₁、y₂序列和加密像素。

Images