CN117315792A - 一种基于卧姿人体测量的实时调控系统 - Google Patents

Abstract

本发明属于目标检测技术领域，本发明公开了一种基于卧姿人体测量的实时调控系统，包括采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；将卧姿人体姿态定位图像进行预处理得到待检测图像；训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到初步控制指令；训练强化学习模型；利用强化学习模型输出执强化控制指令；对执行机构进行控制。

Description

一种基于卧姿人体测量的实时调控系统

技术领域

本发明涉及目标检测技术领域，更具体地说，本发明涉及一种基于卧姿人体测量的实时调控系统。

背景技术

申请公开号为CN110059522A的专利公开了一种人体轮廓关键点检测方法、图像处理方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人体轮廓关键点检测方法包括：获取包括有人体的图像块的图像特征；经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。

申请公开号为CN112989947A的专利公开了一种人体关键点的三维坐标的估计方法及装置，从待识别图像中检测获得各包含有人体关键点的热力图，以及各人体关键点的二维坐标；分别针对所述各人体关键点，将任意一人体关键点的关键点热力图和所述待识别图像输入至已训练的深度检测模型，基于关键点热力图和待识别图像的关键点特征确定该人体关键点的深度信息；根据所述各人体关键点的深度信息和对应的二维坐标，确定所述各人体关键点的三维坐标；根据所述各人体关键点的深度信息和对应的二维坐标，以及预设的人体结构信息，确定各人体关键点的三维坐标，能够提高人体动作识别时对人体关键点的三维坐标检测的准确性。

目前，在医疗系统中使用大型机械设备进行患者检查、治疗时，需要对患者身体的关键点（如头部、肩部等）进行精确定位，以便控制机械设备对准目标位置；但是现有的手工定位方法存在较大的局限性，医生或护士需要用测量工具人工定位患者关键点的空间坐标，这是一个反复试错的过程，不同人员的测量结果可能相差较大，重复定位同一点时也难以保证精确重复，容易引入定位误差；有时医生需要测量数十个点，一个点的定位就要花费较多时间反复调整，整个过程效率低下；即使定位完成，患者有较大动作时也需要重新定位，无法实现对关键点的实时动态监测；另外，手工定位也不利于医疗设备的精确控制，医生无法快速判断设备与患者关键点的相对位置关系，只能根据经验粗略控制设备运动，这可能导致治疗效果不佳或给患者带来二次伤害；

鉴于此，本发明提出一种基于卧姿人体测量的实时调控系统以解决上述问题。

发明内容

为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种基于卧姿人体测量的实时调控系统，包括：

数据采集模块，用于采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

数据预处理模块，将卧姿人体姿态定位图像进行预处理，得到待检测图像；

特征提取模块，用于训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

初步控制指令生成模块，用于在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

强化控制指令生成模块，用于训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

控制模块，根据初步控制指令和强化控制指令对执行机构进行控制。

进一步地，所述采集卧姿人体图像视频的方式包括：

在检测区域的顶部安装双目RGB摄像头，使双目RGB摄像头的视差范围完全覆盖整个检测区域；

让检测对象仰卧的姿势平躺在检测区域内；启动双目RGB摄像头采集立体视觉图像，图像格式为RGB格式，持续采集直至获得固定时间长度的图像序列，将采集到的图像序列组合成视频片段，即获得卧姿人体图像视频。

进一步地，所述提取卧姿人体姿态定位图像的方式包括：

从卧姿人体图像视频中，按照固定时间间隔提取n帧图像，作为关键帧图像；将关键帧图像采用基于遮挡关系的人体解析算法处理得到关键帧图像中的人体区域轮廓，根据关键帧图像中的人体区域轮廓提取出人体边界框；将关键帧图像中提取的人体边界框进行线性标注，即得到卧姿人体姿态定位图像。

进一步地，所述将卧姿人体图像视频进行预处理的方式包括去噪、背景分割和图像增强；

去噪的方式包括：

构建高斯滤波核；

式中，为图像中像素点的横坐标，/>为图像中像素点的纵坐标；/>为高斯分布的标准差；/>为指数函数的底；

将卧姿人体姿态定位图像使用像素标注工具进行像素坐标点标注，得到卧姿人体姿态定位标注图像；将构建好的高斯核/>与卧姿人体姿态定位标注图像/>进行二维卷积，得到去噪卧姿人体姿态定位标注图像；所述二维卷积的计算公式为；

式中，和/>为卷积核上坐标点的坐标索引；将卷积核中心对准卧姿人体姿态定位标注图像中每一个像素坐标点，并进行加权平均。

背景分割的方式包括：

计算去噪卧姿人体姿态定位标注图像在和/>方向上像素点的梯度强度和梯度方向；

其中，梯度方向运算式为；

梯度强度运算式为；

式中，为边缘检测的卷积核；

根据梯度方向确定边缘法线，利用Canny边缘检测沿边缘法线方向扫描去噪卧姿人体姿态定位标注图像，若像素点的梯度强度比相邻像素点的梯度强度大，则保留该像素点；将去噪卧姿人体姿态定位标注图像扫描完成后，获得单像素薄边缘图像；

预设高阈值和低阈值，分别检测单像素薄边缘图像的强边缘和弱边缘；若像素点的梯度强度大于等于高阈值，则标记该像素点为强边缘点；若像素点的梯度强度处于高阈值与低阈值之间，标记该像素点为弱边缘点；若像素点的梯度强度小于低阈值时，该像素点则被抑制；

遍历弱边缘点的8邻域，若存在被标记为强边缘点的像素点，则将该弱边缘点与强边缘点连接；得到背景分割后的去噪卧姿人体姿态定位标注图像；将背景分割后的去噪卧姿人体姿态定位标注图像作为人体姿态初图像；

所述图像增强的方式包括：通过调整人体姿态初图像的对比度、锐化人体姿态初图像边缘和调节人体姿态初图像的亮度的图像增强方法；获得待检测图像。

进一步地，所述训练基于深度学习的人体关键点检测模型的方式包括：

采集n组人体图像；将人体图像中的人体关键点进行手工或计算机标注其坐标；得到标注人体图像；人体关键点包括头部、肩部、肘部、手腕、髋部和膝部；

人体关键点检测模型的框架采用的是神经网络；神经网络包括下采样子网络和上采样子网络；下采样子网络，用于图像特征提取和下采样，记作C；C包括5组串联的卷积层和池化层，即C1、C2、C3、C4和C5；每组包括1个卷积层和1个池化层；池化层的池化层核大小为2×2，用于进行2×2的下采样；

上采样子网络，用于特征图上采样和关键点亚像素定位，包括上部分子网络和下部分子网络；

上部分子网络，记作D，包括5组串联的反卷积层和上采样层，即DC1、DC2、DC3、DC4和DC5；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为2×2，用于进行2×2的上采样；

下部分子网络，记作K，包括3组串联的反卷积层和上采样层，即KC1、KC2和KC3；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为3×3，用于进行3×3的上采样；

神经网络输入的图像大小为224×224，经过下采样子网络C的5次2×2下采样，特征图大小变为7×7；

特征图经过上部分子网络D的5次2×2上采样，恢复为224×224大小的关键点掩膜图像，记作DK图像；

特征图同时经过下部分子网络K的3次3×3上采样，恢复为189×189大小的关键点掩膜图像，记作EK图像；

将EK图像中关键点坐标根据尺寸比例转换为224×224尺寸下的坐标，根据尺寸比例转换的转换公式包括：

；

将DK图像关键点坐标和转换后的EK图像坐标/>进行集成，得到人体关键点亚像素级坐标/>；集成公式包括：/>；

将n组人体图像划分为n×j%的训练集和n×(1-j%）的验证集；例如，80%训练集，20%验证集；将人体关键点检测模型设置学习率Ir，并采用指数衰减调整学习率；作为初始人体关键点检测模型，并利用Adam优化器训练初始人体关键点检测模型，使用反向传播进行梯度下降；直至损失函数收敛；

在验证集上评估模型的关键点检测精确率，选择精确率最高的初始人体关键点检测模型作为人体关键点检测模型。

进一步地，预设参考点包括参考点1和参考点2；

所述获取人体关键点在世界坐标系下的坐标的方式包括：

所述获取人体关键点在世界坐标系下的坐标的方式包括：

获取参考点1的亚像素级坐标、参考点1在世界坐标系中的坐标、参考点2的亚像素级坐标/>、参考点2在世界坐标系中的坐标/>、人体关键点P的亚像素级坐标/>、双目RGB摄像头焦距f和摄像机光心到成像平面距离d；

根据参考点1的图像坐标和世界坐标/>，建立参考点1对应关系，参考点1对应关系包括：

；/>；

根据参考点2的图像坐标和世界坐标/>，建立参考点2对应关系，参考点2对应关系包括：

；/>；

将人体关键点P在待检测图像坐标系中的坐标联立参考点1对应关系和参考点2对应关系；计算得到人体关键点P在世界坐标系中的坐标/>，计算过程包括：

；

；

。

进一步地，所述距离变化量的计算方式包括：

根据人体关键点P在世界坐标系中的坐标和预设的目标位置点D在世界坐标系中的坐标，计算目标向量/>;

其中，；/>；/>；

根据目标向量PD获取距离变化量；

所述根据距离变化量得到执行机构的初步控制指令的方式包括：

预设控制映射表，根据值查询控制映射表，获得初步的控制指令；

预设控制映射表的方式包括：

将每个值区间对应到一个初步控制指令；初步控制指令包括电机转速控制指令和电机转动方向控制指令；

电机转速控制指令为根据值的大小，对应电机的不同转速控制信号，以驱动电机转动；

电机转动方向控制指令为根据值的正负，对应电机的正转或反转控制信号；当/>值为正，电机正转；当/>值为负，电机反转。

进一步地，所述训练强化学习模型的方式包括：

步骤1、搭建初始强化学习模型的神经网络架构；神经网络架构包括输入层、卷积子网络、循环子网络、全连接子网络、拼接层、Actor网络和Critic网络；如图3所示；

其中，输入层用于接收代表当前状态的图像特征张量、文本特征张量和坐标特征张量；卷积子网络用于处理图像特征张量；循环子网络用于处理文本特征张量；全连接子网络用于处理坐标特征张量；拼接层用于输入图像特征张量、文本特征张量和坐标特征张量，输出拼接后的状态特征张量；Actor网络用于输入状态特征张量，输出动作值；Critic网络用于输入状态特征张量，输出状态值函数；

步骤2、收集初始强化学习模型的训练数据，训练数据包括图像数据、文本数据、坐标数据以及奖励信号；

收集过程包括：

使用双目相机采集患者在滑轨上的图像，作为图像数据；记录医生根据当前状态给出调整滑轨的文本指令，作为文本数据；在医生调整滑轨前后测量患者关键点的坐标变化，作为坐标数据；记录医生调整滑轨的距离作为奖励信号，输出奖励值；

步骤3、使用收集的训练数据训练初始强化学习模型，训练过程包括：

将图像数据、文本数据和坐标数据作为待训练集合；将待训练集合分为训练集和测试集；将训练集输入初始强化学习模型；输出为调整滑轨的距离动作值；通过DDPG强化学习算法训练初始强化学习模型；

步骤4、测试和优化强化学习模型；

将测试集输入初始强化学习模型；输出为滑轨的控制信号得到的距离动作值；增加训练数据数量和训练次数优化初始强化学习模型，直到初始强化学习模型在测试集上的性能开始下降时停止训练，即得到强化学习模型。

进一步地，所述根据初步控制指令和强化控制指令对执行机构进行控制包括：

将初步控制指令发送给执行机构，驱动电机转动，带动滑轨移动，完成初步的自动控制过程；将强化控制指令发送给执行机构，完成对初步的自动控制过程的修正。

一种基于卧姿人体测量的实时调控方法，其基于所述的一种基于卧姿人体测量的实时调控系统实现，包括：S1、采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

S2、将卧姿人体姿态定位图像进行预处理，得到待检测图像；

S3、训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

S4、在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

S5、训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

S6、根据初步控制指令和强化控制指令对执行机构进行控制。

本发明一种基于卧姿人体测量的实时调控系统的技术效果和优点：

实现了对卧姿人体关键点的自动化、精确、实时定位；相较于传统的手动定位方法，具有测量误差小、无需人工反复调整、检测效率高；通过使用双目摄像头图像采集、深度学习关键点检测及图像匹配算法等技术方案自动快速获取卧姿人体关键点的三维坐标信息；然后计算出关键点移动到目标位置所需的距离变化量，以生成相应的控制指令，驱动执行机构完成关键点的自动调整；此外，运用强化学习算法可以持续优化调控过程，实现精确定位。

附图说明

图1为本发明的一种基于卧姿人体测量的实时调控系统示意图；

图2为本发明的人体关键点检测模型示意图；

图3为本发明的强化学习模型示意图；

图4为本发明的一种基于卧姿人体测量的实时调控方法示意图；

图5为本发明的电子设备示意图；

图6为本发明的存储介质示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1所示，本实施例所述一种基于卧姿人体测量的实时调控系统，包括：

数据采集模块，用于采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

数据预处理模块，将卧姿人体姿态定位图像进行预处理，得到待检测图像；

特征提取模块，用于训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

初步控制指令生成模块，用于在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

强化控制指令生成模块，用于训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

控制模块，根据初步控制指令和强化控制指令对执行机构进行控制；各个模块之间通过有线和/或无线的方式进行连接，实现模块间的数据传输；

进一步的，所述采集卧姿人体图像视频的方式包括：

在检测区域的顶部安装双目RGB摄像头，使双目RGB摄像头的视差范围完全覆盖整个检测区域；

让检测对象仰卧的姿势平躺在检测区域内；启动双目RGB摄像头采集立体视觉图像，图像格式为RGB格式，持续采集直到获得固定时间长度的图像序列，将采集到的图像序列组合成视频片段，即获得卧姿人体图像视频；

进一步的，提取卧姿人体姿态定位图像的方式包括：

从卧姿人体图像视频中，按照固定时间间隔提取n帧图像，作为关键帧图像；关键帧的提取频率可根据视频帧率和采集时长适当调整，保证获取足够数量的关键帧；

将关键帧图像采用基于遮挡关系的人体解析算法处理得到关键帧图像中的人体区域轮廓，根据关键帧图像中的人体区域轮廓提取出人体边界框；将关键帧图像中提取的人体边界框进行线性标注，即得到卧姿人体姿态定位图像；

需要说明的是，基于遮挡关系的人体解析算法可以使用基于深度学习的人体姿态估计算法，例如，OpenPose算法；这类算法可以估计图片中的人体关键点，并生成人体骨架模型；根据骨架模型可以得到人体的遮挡关系，从而进行人体解析；

人体边界框为根据人体区域的轮廓点拟合出一个最小外接矩形，作为人体的边界框；

将人体边界框的四个顶点坐标标注在图片上，重复该过程；然后将所有关键帧的标注连接起来，形成人体运动的轨迹，实现线性标注；

进一步的，所述将卧姿人体图像视频进行预处理的方式包括：

预处理的方式包括去噪、背景分割和图像增强；

去噪的方式包括：

将卧姿人体姿态定位图像进行均值滤波或高斯滤波；

在一个优选的实施例中，将卧姿人体姿态定位图像进行高斯滤波；

高斯滤波的方式包括：

构建高斯滤波核；

式中，为图像中像素点的横坐标，/>为图像中像素点的纵坐标；/>为高斯分布的标准差；

将卧姿人体姿态定位图像使用像素标注工具进行像素坐标点标注，得到卧姿人体姿态定位标注图像；将构建好的高斯核/>与卧姿人体姿态定位标注图像/>进行二维卷积，得到去噪卧姿人体姿态定位标注图像；所述二维卷积过程可采用分离式算法，先对/>方向一维卷积，再对/>方向卷积，减少计算量；

卷积运算的计算公式为；

式中，和/>为卷积核上坐标点的坐标索引；将核中心对准卧姿人体姿态定位标注图像中每一个像素坐标点，并进行加权平均；

需要说明的是，通过调整值可以控制平滑程度，通常/>值取1-3之间可以保持平滑和边缘细节的平衡；

所述，背景分割的方式包括：

基于Sobel运算符计算去噪卧姿人体姿态定位标注图像在和/>方向上像素点的梯度强度和梯度方向；

其中，梯度方向运算式为；

梯度强度运算式为；其中/>为边缘检测的卷积核；

根据梯度方向确定边缘法线，利用Canny边缘检测沿边缘法线方向扫描去噪卧姿人体姿态定位标注图像，若像素点的梯度强度比相邻像素点的梯度强度大，则保留该像素点，反之，则抑制该像素点；去噪卧姿人体姿态定位标注图像扫描完成后，获得单像素薄边缘图像；

预设高阈值和低阈值，分别检测单像素薄边缘图像的强边缘和弱边缘；若像素点的梯度强度大于等于高阈值，则标记该像素点为强边缘点；若像素点的梯度强度处于高阈值与低阈值之间，标记该像素点为弱边缘点；若像素点的梯度强度小于低阈值时，该像素点则被直接抑制；

这样可以同时保留清晰的强边缘和重要的弱边缘；

遍历弱边缘点的8邻域，若存在被标记为强边缘点的像素点，则将该弱边缘点与强边缘点连接；得到背景分割后的去噪卧姿人体姿态定位标注图像；作为人体姿态初图像；

需要说明的是，根据梯度方向确定边缘法线的方式包括：

边缘法线方向垂直于梯度方向；具体的，

若，则边缘法线方向为/>轴正方向；

若，则边缘法线方向为/>轴正方向；

若，则边缘法线方向为/>轴负方向；

若，则边缘法线方向为/>轴负方向；

依此类推，将360°的方向划分为8个区间，确定边缘法线方向；

需要说明的是，8邻域指的是图像处理中针对每个像素点周围的8个相邻像素点；具体来说，对于图像中的任意一个像素点P(x,y)，它的8邻域包括：

；

也就是以P为中心，上、下、左、右以及四个对角方向相邻的8个像素点；

所述图像增强的方式包括：通过调整人体姿态初图像的对比度、锐化人体姿态初图像边缘和调节人体姿态初图像的亮度的图像增强方法；获得待检测图像；

提高卧姿人体在图像中的辨识度和清晰度；

进一步的，所述训练基于深度学习的人体关键点检测模型的方式包括：

采集n组人体图像；将人体图像中的人体关键点进行手工或计算机标注其坐标；得到标注人体图像；人体关键点包括头部、肩部、肘部、手腕、髋部和膝部；人体关键点包括但不限于头部、肩部、肘部、手腕、髋部和膝部；

人体关键点检测模型的框架采用的是神经网络；神经网络包括下采样子网络和上采样子网络；下采样子网络，用于图像特征提取和下采样，记作C；C包括5组串联的卷积层和池化层，即C1、C2、C3、C4和C5；每组包括1个卷积层和1个池化层；池化层的池化层核大小为2×2，用于进行2×2的下采样；

上采样子网络，用于特征图上采样和关键点亚像素定位，包括上部分子网络和下部分子网络；

上部分子网络，记作D，包括5组串联的反卷积层和上采样层，即DC1、DC2、DC3、DC4和DC5；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为2×2，用于进行2×2的上采样；

下部分子网络，记作K，包括3组串联的反卷积层和上采样层，即KC1、KC2和KC3；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为3×3，用于进行3×3的上采样；

神经网络输入的图像大小为224×224，经过下采样子网络C的5次2×2下采样，特征图大小变为7×7；

特征图经过上部分子网络D的5次2×2上采样，恢复为224×224大小的关键点掩膜图像，记作DK图像；

特征图同时经过下部分子网络K的3次3×3上采样，恢复为189×189大小的关键点掩膜图像，记作EK图像；

将EK图像中关键点坐标根据尺寸比例转换为224×224尺寸下的坐标，根据尺寸比例转换的转换公式包括：

；

将DK图像关键点坐标和转换后的EK图像坐标/>进行集成，得到人体关键点亚像素级坐标/>；集成公式包括：

；

将n组人体图像划分为n×j%的训练集和n×(1-j%）的验证集；例如，80%训练集，20%验证集；将人体关键点检测模型设置学习率Ir，并采用指数衰减调整学习率；作为初始人体关键点检测模型，并利用Adam优化器训练初始人体关键点检测模型，使用反向传播进行梯度下降；直至损失函数收敛；

在验证集上评估模型的关键点检测精确率，选择精确率最高的初始人体关键点检测模型作为人体关键点检测模型；

需要说明的是，指数衰减调整学习率的方式包括：

初始学习率为lr，衰减率为decay_rate（例如0.95)；则每次训练迭代后的学习率lr×decay_rate；

例如，初始学习率为0.01，衰减率为0.95；

第1次迭代后lr=0.01×0.95=0.0095；

第2次迭代后lr=0.0095×0.95=0.009025；

第3次迭代后lr=0.009025×0.95=0.00857375

...；以此类推，学习率按指数衰减

需要说明的是，在一个神经网络中构造两个上采样子网络，右下侧的上采样子网络的池化核大小与左侧下采样子网络的池化核大小不一样且为奇数，使得恢复出图像与原图大小不一样，从而使得关键点坐标具有亚像素信息；另一方面，两个上采样子网的关键点定位结果进行集成，可以得到更好的结果；

预设参考点包括参考点1和参考点2，这些参考点的坐标能够通过图像处理方法被检测到；

所述获取人体关键点在世界坐标系下的坐标的方式包括：

获取参考点1的亚像素级坐标、参考点1在世界坐标系中的坐标/>、参考点2的亚像素级坐标/>、参考点2在世界坐标系中的坐标/>、人体关键点P的亚像素级坐标/>、双目RGB摄像头焦距f和摄像机光心到成像平面距离d；

需要说明的是，参考点1在世界坐标系中的坐标的获取方式包括：

使用测量工具，在实际环境中精确测量参考点1的三维空间坐标，作为参考点1在世界坐标系中的坐标；在检测区域设置坐标系，确定世界坐标系与该坐标系的转换关系，然后在检测区域坐标系中测量参考点1的三维坐标，按照两坐标系之间的转换关系计算出参考点1在世界坐标系中的坐标；使用标定板或其它标定物，通过摄像头标定方法获得摄像头在世界坐标系中的位姿，然后在图像坐标系中识别参考点1的坐标，经过坐标变换计算出其在世界坐标系中的坐标/>；

双目RGB摄像头焦距f，从摄像头规格说明中可以得到；摄像机光心到成像平面距离d是双目摄像头的内参，通过摄像头标定获得；

根据参考点1的亚像素级坐标和在世界坐标系中的坐标/>，建立参考点1对应关系，参考点1对应关系包括：

；/>；

根据参考点2的亚像素级坐标和在世界坐标系中的坐标/>，建立参考点2对应关系，参考点2对应关系包括：

；/>；

将人体关键点P的亚像素级坐标联立参考点1对应关系和参考点2对应关系；计算得到人体关键点P在世界坐标系中的坐标/>，计算过程包括：

；

；

；

所述距离变化量的计算方式包括：

根据人体关键点P在世界坐标系中的坐标和预设的目标位置点D在世界坐标系中的坐标，计算目标向量/>;

其中，；/>；/>；

根据目标向量PD获取距离变化量；

需要说明的是，预设的目标位置点D为

所述根据距离变化量得到执行机构的初步控制指令的方式包括：

预设控制映射表，根据值查询控制映射表，获得初步的控制指令；/>

控制映射表的预设包括：

将每个值区间对应到一个初步控制指令，例如，电机转速和位置等；初步控制指令包括电机转速控制指令和电机转动方向控制指令；

电机转速控制指令为根据值的大小，对应电机的不同转速控制信号，以驱动电机转动；

电机转动方向控制为根据值的正负，对应电机的正转或反转控制信号；当/>值为正，表示目标点D在人体关键点P右侧或上侧，电机正转；当/>值为负，表示目标点D在人体关键点P左侧或下侧，电机反转；

需要说明的是，预设的目标位置点即为关键点需要移动到的位置；

所述训练强化学习模型的方式包括：

步骤1、搭建初始强化学习模型的神经网络架构；神经网络架构包括输入层、卷积子网络、循环子网络、全连接子网络、拼接层、Actor网络和Critic网络；如图3所示；

其中，输入层用于接收代表当前状态的图像特征张量、文本特征张量和坐标特征张量；卷积子网络用于处理图像特征张量；循环子网络用于处理文本特征张量；全连接子网络用于处理坐标特征张量；拼接层用于输入图像特征张量、文本特征张量和坐标特征张量，输出拼接后的状态特征张量；Actor网络用于输入状态特征张量，输出动作值；Critic网络用于输入状态特征张量，输出状态值函数；

步骤2、收集初始强化学习模型的训练数据，训练数据包括图像数据、文本数据、坐标数据以及奖励信号；

收集过程包括：

使用双目相机采集患者在滑轨上的图像，作为图像数据；记录医生根据当前状态给出调整滑轨的文本指令，作为文本数据；在医生调整滑轨前后测量患者关键点的坐标变化，作为坐标数据；记录医生调整滑轨的距离作为奖励信号，输出奖励值；

步骤3、使用收集的训练数据训练初始强化学习模型，训练过程包括：

将图像数据、文本数据和坐标数据作为待训练集合；将待训练集合分为训练集和测试集；将训练集输入初始强化学习模型；输出为调整滑轨的距离动作值；通过DDPG强化学习算法训练初始强化学习模型；

步骤4、测试和优化强化学习模型；

将测试集输入初始强化学习模型；输出为滑轨的控制信号得到的距离动作值；增加训练数据数量和训练次数优化初始强化学习模型，直到初始强化学习模型在测试集上的性能开始下降时停止训练，即得到强化学习模型；

所述输出执行机构的强化控制指令的方式包括：

将待检查身体部位的文本、图像和关键点亚像素级坐标作为强化学习模型的输入，输出实时的距离动作值，根据实时的距离动作值获取强化控制指令；

所述根据初步控制指令和强化控制指令对执行机构进行控制包括：

将初步控制指令发送给执行机构，驱动电机转动，带动滑轨移动，完成初步的自动控制过程；将强化控制指令发送给执行机构，完成对初步的自动控制过程的修正；

本实施例，实现了对卧姿人体关键点的自动化、精确、实时定位；相较于传统的手动定位方法，具有测量误差小、无需人工反复调整、检测效率高；通过使用双目摄像头图像采集、深度学习关键点检测及图像匹配算法等技术方案自动快速获取卧姿人体关键点的三维坐标信息；然后计算出关键点移动到目标位置所需的距离变化量，以生成相应的控制指令，驱动执行机构完成关键点的自动调整；此外，运用强化学习算法可以持续优化调控过程，实现精确定位。

实施例2

请参阅图2所示，本实施例未详细叙述部分见实施例1描述内容，提供一种基于卧姿人体测量的实时调控方法，包括：

S1、采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

S2、将卧姿人体姿态定位图像进行预处理，得到待检测图像；

S3、训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

S4、在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

S5、训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

S6、根据初步控制指令和强化控制指令对执行机构进行控制。

实施例3

请参阅图3所示，根据本申请的又一方面还提供了电子设备500。该电子设备500可包括一个或多个处理器以及一个或多个存储器。其中，存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的一种基于卧姿人体测量的实时调控方法。

根据本申请实施方式的方法或系统也可以借助于图3所示的电子设备的架构来实现。如图3所示，电子设备500可包括总线501、一个或多个CPU502、只读存储器（ROM)503、随机存取存储器（RAM)504、连接到网络的通信端口505、输入/输出组件506、硬盘507等。电子设备500中的存储设备，例如ROM503或硬盘507可存储本申请提供的一种基于卧姿人体测量的实时调控方法。进一步地，电子设备500还可包括用户界面508。当然，图3所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图3示出的电子设备中的一个或多个组件。

实施例4

请参阅图4所示，是根据本申请一个实施方式的计算机可读存储介质600。计算机可读存储介质600上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本申请实施方式的一种基于卧姿人体测量的实时调控方法。存储介质600包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器（RAM）和高速缓冲存储器（cache）等。非易失性存储器例如可包括只读存储器（ROM)、硬盘、闪存等。

另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，一种基于卧姿人体测量的实时调控方法。在该计算机程序被中央处理单元（CPU）执行时，执行本申请的方法中限定的上述功能。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。

本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一 种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卧姿人体测量的实时调控系统，其特征在于，包括：数据采集模块，用于采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

数据预处理模块，将卧姿人体姿态定位图像进行预处理，得到待检测图像；

特征提取模块，用于训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

初步控制指令生成模块，用于在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

强化控制指令生成模块，用于训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

控制模块，根据初步控制指令和强化控制指令对执行机构进行控制。

2.根据权利要求1所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述采集卧姿人体图像视频的方式包括：

在检测区域的顶部安装双目RGB摄像头，使双目RGB摄像头的视差范围完全覆盖整个检测区域；

让检测对象仰卧的姿势平躺在检测区域内；启动双目RGB摄像头采集立体视觉图像，图像格式为RGB格式，持续采集直至获得固定时间长度的图像序列，将采集到的图像序列组合成视频片段，即获得卧姿人体图像视频。

3.根据权利要求2所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述提取卧姿人体姿态定位图像的方式包括：

从卧姿人体图像视频中，按照固定时间间隔提取n帧图像，作为关键帧图像；将关键帧图像采用基于遮挡关系的人体解析算法处理得到关键帧图像中的人体区域轮廓，根据关键帧图像中的人体区域轮廓提取出人体边界框；将关键帧图像中提取的人体边界框进行线性标注，即得到卧姿人体姿态定位图像。

4.根据权利要求3所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述将卧姿人体图像视频进行预处理的方式包括去噪、背景分割和图像增强；

去噪的方式包括：

构建高斯滤波核式中，/>为图像中像素点的横坐标，/>为图像中像素点的纵坐标；/>为高斯分布的标准差；/>为指数函数的底；

将卧姿人体姿态定位图像使用像素标注工具进行像素坐标点标注，得到卧姿人体姿态定位标注图像；将构建好的高斯核/>与卧姿人体姿态定位标注图像/>进行二维卷积，得到去噪卧姿人体姿态定位标注图像；所述二维卷积的计算公式为；

式中，和/>为卷积核上坐标点的坐标索引；将卷积核中心对准卧姿人体姿态定位标注图像中每一个像素坐标点，并进行加权平均；

背景分割的方式包括：

计算去噪卧姿人体姿态定位标注图像在和/>方向上像素点的梯度强度和梯度方向；

其中，梯度方向运算式为；

梯度强度运算式为；

式中，为边缘检测的卷积核；

根据梯度方向确定边缘法线，利用Canny边缘检测沿边缘法线方向扫描去噪卧姿人体姿态定位标注图像，若像素点的梯度强度比相邻像素点的梯度强度大，则保留该像素点；将去噪卧姿人体姿态定位标注图像扫描完成后，获得单像素薄边缘图像；

预设高阈值和低阈值，分别检测单像素薄边缘图像的强边缘和弱边缘；若像素点的梯度强度大于等于高阈值，则标记该像素点为强边缘点；若像素点的梯度强度处于高阈值与低阈值之间，标记该像素点为弱边缘点；若像素点的梯度强度小于低阈值时，该像素点则被抑制；

遍历弱边缘点的8邻域，若存在被标记为强边缘点的像素点，则将该弱边缘点与强边缘点连接；得到背景分割后的去噪卧姿人体姿态定位标注图像；将背景分割后的去噪卧姿人体姿态定位标注图像作为人体姿态初图像；

所述图像增强的方式包括：通过调整人体姿态初图像的对比度、锐化人体姿态初图像边缘和调节人体姿态初图像的亮度的图像增强方法；获得待检测图像。

5.根据权利要求4所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述训练基于深度学习的人体关键点检测模型的方式包括：

采集n组人体图像；将人体图像中的人体关键点进行手工或计算机标注其坐标；得到标注人体图像；人体关键点包括头部、肩部、肘部、手腕、髋部和膝部；

人体关键点检测模型的框架采用的是神经网络；神经网络包括下采样子网络和上采样子网络；下采样子网络，用于图像特征提取和下采样，记作C；C包括5组串联的卷积层和池化层，即C1、C2、C3、C4和C5；每组包括1个卷积层和1个池化层；池化层的池化层核大小为2×2，用于进行2×2的下采样；

上采样子网络，用于特征图上采样和关键点亚像素定位，包括上部分子网络和下部分子网络；

上部分子网络，记作D，包括5组串联的反卷积层和上采样层，即DC1、DC2、DC3、DC4和DC5；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为2×2，用于进行2×2的上采样；

下部分子网络，记作K，包括3组串联的反卷积层和上采样层，即KC1、KC2和KC3；每组包括1个反卷积层和1个上采样层；上采样层的上采样层核大小为3×3，用于进行3×3的上采样；

神经网络输入的图像大小为224×224，经过下采样子网络C的5次2×2下采样，特征图大小变为7×7；

特征图经过上部分子网络D的5次2×2上采样，恢复为224×224大小的关键点掩膜图像，记作DK图像；

特征图同时经过下部分子网络K的3次3×3上采样，恢复为189×189大小的关键点掩膜图像，记作EK图像；

将EK图像中关键点坐标根据尺寸比例转换为224×224尺寸下的坐标，根据尺寸比例转换的转换公式包括：

；

将DK图像关键点坐标和转换后的EK图像坐标/>进行集成，得到人体关键点亚像素级坐标/>；集成公式包括：/>；

将n组人体图像划分为n×j%的训练集和n×(1-j%）的验证集；例如，80%训练集，20%验证集；将人体关键点检测模型设置学习率Ir，并采用指数衰减调整学习率；作为初始人体关键点检测模型，并利用Adam优化器训练初始人体关键点检测模型，使用反向传播进行梯度下降；直至损失函数收敛；

在验证集上评估模型的关键点检测精确率，选择精确率最高的初始人体关键点检测模型作为人体关键点检测模型。

6.根据权利要求5所述的一种基于卧姿人体测量的实时调控系统，其特征在于，预设参考点包括参考点1和参考点2；

所述获取人体关键点在世界坐标系下的坐标的方式包括：

所述获取人体关键点在世界坐标系下的坐标的方式包括：

获取参考点1的亚像素级坐标、参考点1在世界坐标系中的坐标/>、参考点2的亚像素级坐标/>、参考点2在世界坐标系中的坐标/>、人体关键点P的亚像素级坐标/>、双目RGB摄像头焦距f和摄像机光心到成像平面距离d；

根据参考点1的图像坐标和世界坐标/>，建立参考点1对应关系，参考点1对应关系包括：

；/>；

根据参考点2的图像坐标和世界坐标/>，建立参考点2对应关系，参考点2对应关系包括：

；/>；

将人体关键点P在待检测图像坐标系中的坐标联立参考点1对应关系和参考点2对应关系；计算得到人体关键点P在世界坐标系中的坐标/>，计算过程包括：

；

；

。

7.根据权利要求6所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述距离变化量的计算方式包括：

根据人体关键点P在世界坐标系中的坐标和预设的目标位置点D在世界坐标系中的坐标，计算目标向量/>;

其中，；/>；/>；

根据目标向量PD获取距离变化量；

所述根据距离变化量得到执行机构的初步控制指令的方式包括：

预设控制映射表，根据值查询控制映射表，获得初步的控制指令；

预设控制映射表的方式包括：

将每个值区间对应到一个初步控制指令；初步控制指令包括电机转速控制指令和电机转动方向控制指令；

电机转速控制指令为根据值的大小，对应电机的不同转速控制信号，以驱动电机转动；

电机转动方向控制指令为根据值的正负，对应电机的正转或反转控制信号；当/>值为正，电机正转；当/>值为负，电机反转。

8.根据权利要求7所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述训练强化学习模型的方式包括：

步骤1、搭建初始强化学习模型的神经网络架构；神经网络架构包括输入层、卷积子网络、循环子网络、全连接子网络、拼接层、Actor网络和Critic网络；如图3所示；

其中，输入层用于接收代表当前状态的图像特征张量、文本特征张量和坐标特征张量；卷积子网络用于处理图像特征张量；循环子网络用于处理文本特征张量；全连接子网络用于处理坐标特征张量；拼接层用于输入图像特征张量、文本特征张量和坐标特征张量，输出拼接后的状态特征张量；Actor网络用于输入状态特征张量，输出动作值；Critic网络用于输入状态特征张量，输出状态值函数；

步骤2、收集初始强化学习模型的训练数据，训练数据包括图像数据、文本数据、坐标数据以及奖励信号；

收集过程包括：

使用双目相机采集患者在滑轨上的图像，作为图像数据；记录医生根据当前状态给出调整滑轨的文本指令，作为文本数据；在医生调整滑轨前后测量患者关键点的坐标变化，作为坐标数据；记录医生调整滑轨的距离作为奖励信号，输出奖励值；

步骤3、使用收集的训练数据训练初始强化学习模型，训练过程包括：

将图像数据、文本数据和坐标数据作为待训练集合；将待训练集合分为训练集和测试集；将训练集输入初始强化学习模型；输出为调整滑轨的距离动作值；通过DDPG强化学习算法训练初始强化学习模型；

步骤4、测试和优化强化学习模型；

将测试集输入初始强化学习模型；输出为滑轨的控制信号得到的距离动作值；增加训练数据数量和训练次数优化初始强化学习模型，直到初始强化学习模型在测试集上的性能开始下降时停止训练，即得到强化学习模型。

9.根据权利要求8所述的一种基于卧姿人体测量的实时调控系统，其特征在于，所述根据初步控制指令和强化控制指令对执行机构进行控制包括：

将初步控制指令发送给执行机构，驱动电机转动，带动滑轨移动，完成初步的自动控制过程；将强化控制指令发送给执行机构，完成对初步的自动控制过程的修正。

10.一种基于卧姿人体测量的实时调控方法，其基于权利要求1至9中任一项所述的一种基于卧姿人体测量的实时调控系统实现，其特征在于，包括：S1、采集卧姿人体图像视频；从卧姿人体图像视频中提取卧姿人体姿态定位图像；

S2、将卧姿人体姿态定位图像进行预处理，得到待检测图像；

S3、训练基于深度学习的人体关键点检测模型，将待检测图像输入人体关键点检测模型，得到待检测图像中的人体关键点亚像素级坐标；

S4、在待检测图像中预设参考点，将人体关键点亚像素级坐标采用图像匹配方法获取人体关键点在世界坐标系下的坐标；根据人体关键点在世界坐标系下的坐标计算出将人体关键点移动到目标位置点的距离变化量；根据距离变化量得到执行机构的初步控制指令；

S5、训练强化学习模型；利用训练好的强化学习模型输出执行机构的强化控制指令；

S6、根据初步控制指令和强化控制指令对执行机构进行控制。