CN113488163B

CN113488163B - 一种基于机器视觉的肌少症识别方法、装置、设备及介质

Info

Publication number: CN113488163B
Application number: CN202110769151.3A
Authority: CN
Inventors: 刘怡欣
Original assignee: West China Hospital of Sichuan University
Current assignee: West China Hospital of Sichuan University
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2023-05-05
Anticipated expiration: 2041-07-07
Also published as: CN113488163A

Abstract

本发明公开了一种基于机器视觉的肌少症识别方法、装置、设备及介质，涉及医疗图像数据处理的技术领域，包括采集人群正常步行速度的视频流，并获取原始帧图像序列集；基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的人体关键点、步态轮廓图；对人体关键点进行仿射变换，获取不同角度人体关键点；基于每一不同角度人体关键点的坐标，获取相应的步态数据、关节屈曲数据和骨架特征图；建立步态识别网络，将获取得数据输入步态识别网络进行肌少症识别，获取肌少症识别结果以及与其相关的预测值，实现低成本、快速、客观地筛查识别肌少症个体，并实现肌少症潜在个体的预测。

Description

一种基于机器视觉的肌少症识别方法、装置、设备及介质

技术领域

本发明涉及医疗图像数据处理的技术领域，具体涉及一种基于机器视觉的肌少症识别方法、装置、设备及介质。

背景技术

随着我国人口结构正快速进入老龄化阶段，同时老龄人群对生活质量和身体健康方面的需求日益提高，二者的压力与我国经济、社会以及医疗照护资源分布不平衡现实导致了巨大的供需鸿沟。在医学和照护实践中，肌少症逐渐为人重视，欧洲肌少症工作组将其定义为：与增龄相关的进行性、全身肌容量减少和/或肌强度下降或肌肉生理功能减退。肌少症显著增加了70岁以上患者死亡率，生活自理能力下降程度，住院率，摔倒及摔倒后骨折率，因此及时对肌少症人群进行运动和饮食干预，有助于提高生存质量，减少住院率，降低总体死亡率，减轻家庭，照护者和社会负担。

目前实践中测量肌少症的技术主要分为：测量肌肉质量、测量肌肉力量以及通过身体运动表现来评估肌肉含量3类方式，但上述三种测量方式存在有测量精度不高、预测效果有限和/或需要专业人员配合才能较好的完成测量等问题。

据研究表明，步行速度是老年人，特别是肌少症患者生存时间和不良预测时的敏感标志，除此之外，还存在肌少症研究发现，除步行速度之外的步行其他参数与肌少症显著相关。

鉴于目前COVID-19正在全球大流行，疫情防控已为常态。不少基层社区地处偏远，资源相对匮乏，交通不便，老年人居住分散，医疗保障水平有限，且现有的肌少症多为接触式测量。随着手机可穿戴设备等外设日益普及，以及深度学习算法在各领域运用经验的累积，远程医疗和实时健康分析的应用范围正逐渐延伸，目前主要采用使用者携带设备或设置地面式感应外设来采集数据，其成本较高，且不便于采集大量数据分析，因此需要一种客观、易及、自报告且非接触式的实时老年衰弱评估肌少症方法可减轻基层健康管理压力，使得有限的干预资源更为精准的投放，从整体上提升老年群体的生活质量和预期寿命。

发明内容

有鉴于此，为解决现有技术中的上述问题，本发明提供了基于机器视觉的肌少症识别方法、装置、设备及储存介质，以实现相对低成本、快速、客观地筛查识别肌少症个体，并实现肌少症潜在个体的预测。

第一方面，本发明实施例提供一种基于机器视觉的肌少症识别方法，该方法包括步骤：

S10：采集人群正常步行速度的视频流，并获取原始帧图像序列集；

S20：基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始图像帧对应的人体关键点；

S30：根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；

S40：在提取关键点信息和轮廓图的过程中，都需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的人体关键点和轮廓图；

S50：基于人体关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图；

S60：基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行肌少症识别，获取肌少症识别结果以及与其相关的预测值；

S70：将识别结果和预测值发送至与原始帧图像序列集对应的用户。

在本方案中，为了克服现有不能实现多角度对人体图像关键点的识别，通过引入仿射变化来获得不同角度的人体关键点，此外本方案中仅需要通过采集设备采集人群的步行视频通过步态识别网络来讲采集的步行视频数据转换为人群个体对应的肌少症识别结果，其极大程度方便实现客观、易及、自报告且非接触式的实时肌少症风险初筛。

可以理解的是，对于关联步态的体弱、亚健康等病症预测也可构建与步态关联的卷积神经网络模型来实现对其相应症状的预测与评估。

在一个可能的实施方式中，需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的人体关键点，还包括步骤：

S401：基于空间变换网络中的卷积层对输入的所述桢级人体关键点图像信息进行学习，获取特征空间变换的参数；

S402：通过所述特征空间变换的参数构建一个映射输入特征的采样网络；

S403：建立特征空间变换的参数与人体关键点仿射变换前、后坐标的关系式；

S404：设置单人姿态检测器，将人体关键点仿射变换后的坐标输入所述单人姿态检测器模块，基于空间逆变换网络对所述单人姿态检测器模块输出进行处理获取不同角度人体关键点坐标。

在本方案中，映射输入特征，通过空间变换网络可以显式地学习特征不变性，可以校正初始检测时人体姿态识别检测框的误差，通过空间逆变换网络对所述单人姿态检测器模块输出进行处理可以建立不同角度均可实现的，可靠性更高人体关键点提取流程。

在一个可能的实施方式中，所述不同角度人体关键点至少包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖和右足尖；每一个特征点由一个三维向量(x，y，z)表示，如图13所示，其中，x和y表示特征点在所述步态轮廓图中相应的坐标值，z则表示该特征点在所述步态轮廓图中是否可见，其中对于z可设置相应的检测节点，赋值并给予z相应的该关节遮挡、未遮挡、未检测到该关节点来优化步态轮廓图的识别。

在一个可能的实施方式中，在基于每一不同角度人体关键点的坐标，获取相应的经典步态数据、关节屈曲数据和骨架特征图中，还包括步骤：

S501：基于所述单人姿态检测器于采集步行周期和足部起始、结束以及其他步态相位的时间参数；

S502：基于所述单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；

S503：根据上述步态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据所述臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。

在一个可能的实施方式中，基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的人体关键点、步态轮廓图；人体关键点所述步态轮廓图的获取与处理中，还包括步骤：

S310：设置特征提取模块，将标准化后的原始图像与其对应的所述人体关键特征点的坐标一同输入所述特征提取模块，其中，所述特征提取模块对应一个特征金字塔网络模块；

S320：基于姿态模板，通过引入仿射矩阵将所述步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；

S330：基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。

在本方案中，通过引入仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，此外，通过提取关键点置信图和部分亲和场两种骨架特征，关键点置信图获得信图的通道维度，部分亲和场则利用一个二维的矢量场描述两不同关节点之间的相关性。对于人类肢体区域每两个关节点，使用一个2维向量编码一个关节点到另一个关节点的方向，以进行两相关部位的正确连接。

在一个可能的实施方式中，在基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行肌少症识别，获取肌少症识别结果以及与其相关的预测值中，包括步骤：

S601：首先设置帧级特征提取模块(经训练的)，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息；

S602：随后将序列中所有级联的帧级信息(包含轮廓和骨架特征)输入水平金字塔模块，水平金字塔模块输出内容再级联经典步态数据以及关节屈曲数据，称之特征映射(即步态轮廓序列级特征)，将作为分类网络的输入数据；

S603：使用分类模块，计算训练集和测试集(按照肌少症状态标记)中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间(肌少症状态，即健康，肌少症前期及肌少症)差异最小化，不同类序列间差异最大化；

S604:分类模块的训练过程完成后，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的肌少症状态识别。

本方案中，不刻意限制步态轮廓图序列间的顺序，而是将步态序列图像视为一个集合，利用深度网络自身的特性对步态轮廓图的形状进行学习，在提取个体的步态特征的同时学习步态轮廓图序列间的时空域信息。

在一个可能的实施方式中，在将识别结果和预测值发送至与获取原始帧图像序列集对应的个人中，包括步骤：

S701：获得肌少症状态识别结果、经典步态数据、医学建议和时间信息肌少症状态识别结果；

S702：关联肌少症状态识别结果、经典步态数据、医学建议和时间信息与原始图像序列对应的个人信息；

S703：打包个人信息与匹配的肌少症状态识别结果、经典步态数据、医学建议发送给用户；肌少症状态识别结果；

其中，所述个人信息至少包括：性别、年龄和历史疾病数据；

其中，风险预测至少根据时间信息、步态数据和肌少症状态识别结果预测肌少症病症风险；

其中，所述医师建议至少根据时间信息、步态数据和肌少症状态识别结果做调整。

本方案中，对于肌少症的识别具体为通过将采集的图像与个人信息匹配，用户可获取与其匹配的相关信息，其包含了自身的各种信息，系统针对用户的个人信息以及历史症状信息，可预测肌少症症状情况，能更合理的给出指导意见。

第二方面，本发明实施例提供一种基于机器视觉的肌少症识别装置，该装置包括：

数据前端处理模块，用于采集人群正常步行速度的视频流，并获取原始帧图像序列集；并基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的人体关键点、步态轮廓图；在提取关键点信息和轮廓图的过程中，需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的人体关键点和轮廓图人体关键点人体关键点；基于人体关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图人体关键点；

步态识别模块，即输入步态识别网络，将骨架特征图、步态轮廓图、经典步态数据和关节屈曲数据，输出序列步态特征映射的模块；

分类模块：即应用机器学习原理，输入序列步态特征映射，输出肌少症状态识别结果的模块；

识别结果输出终端，用于获取与用户原始帧图像序列集匹配的肌少症状态识别结果；

其中，数据前端处理模块、步态特征提取模块、分类模块和识别结果输出终端通信连接，所述数据前端处理模块输出端连接所述步态特征提取模块输入端，所述步态特征提取模块输出端连接所述分类模块，所述分类模块输出端连接识别结果输出终端。

可以理解的是，数据前端处理模块包括但不限于，网络摄像头，监控摄像头，红外线摄像头，其他有图像采集功能的智能终端或非智能终端等设备。具体出示的预测结果其告知方式(可以是短信，纸张，电子邮件)，或将结果显示与图像采集分离的设备。

第三方面，本发明实施例提供一种电子设备，该设备包括：至少一个处理器和储存器；

处理器用于执行储存器中储存的计算机程序，以实现如第一方面任一实施方式所介绍的基于机器视觉的肌少症识别方法。

第四方面，本发明实施例提供一种计算机储存介质，该计算机储存介质储存有一个或多个程序，一个或者多个程序可被如第三方面介绍的电子设备执行，以实现如第一方面任一实施方式所介绍的肌少症识别方法。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明一种基于机器视觉的肌少症识别方法、装置、设备及介质，克服了现阶段多数老年步态方法数据采集源于携带式或地面式感应外设，而仅通过行走视频数据即可进行肌少症识别，具有较好的便捷性可及性。

2、本发明一种基于机器视觉的肌少症识别方法、装置、设备及介质，可显著改善老年医学评估的可及性与便捷性，扩大老年综合干预有效保障人群，提升医疗服务质量；有助于将有限的医疗干预资源精准使用，提升成本效益。

3、本发明一种基于机器视觉的肌少症识别方法、装置、设备及介质，基于机器视觉的步态分析能以相对低成本，较为快速、客观地筛查存在肌少症风险的老年个体。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例中的基于机器视觉的肌少症识别方法的流程图；

图2为本发明实施例中的步骤S40的一具体流程图；

图3为本发明实施例中的步骤S50的一具体流程图；

图4为本发明实施例中的步骤S30的另一具体流程图；

图5为本发明实施例中的步骤S60的一具体流程图；

图6为本发明实施例中的步骤S70的一具体流程图；

图7为本发明实施例中的基于机器视觉的肌少症识别装置结构框图；

图8为本发明实施例中的用于执行本申请实施例的方法的电子设备的结构框图；

图9为本发明实施例中的用于保存或者携带实现根据本申请实施例的方法的程序代码的储存单元；

图10为本发明实施例中的一种识别结果示例图；

图11为本发明实施例中的机器视觉的肌少症识别装置的内部系统结构示意图；

图12为本发明实施例中的步态关键点信息与原图融合示意图；

图13为本发明实施例中的人体轮廓分割示意图；

图14为本发明实施例中的姿态模板示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

由于我国人口结构正快速进入深度老龄化，肌少症及肌少症前期在老年人群发生率高；医养机构、社保体系及家庭负担沉重；而干预的资源相对有限，肌少症评估需要高频次、大规模的开展。

迫切需要一种低成本，较为快速、客观地筛查肌少症老年个体的方法和装置来改善老年医学评估的可及性和便捷性。

如图1所示，本发明提供了一种基于机器视觉的肌少症识别方法，包括如下步骤：

具体地，原始视频提取后在前端通过封装算法，记录数据包括了1段或多段测试人群的正常速度步行视频。可通过使用普通监控摄像头，手机摄像头或其他视频采集设备实现。

基于卷积神经网络为基础通过人体姿态识别算法优化参数。

根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；

具体地，如图4所示，设置特征提取模块，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；基于姿态模板，通过引入仿射矩阵将步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。

在提取人体关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的人体关键点和人体步态轮廓图；

具体的，如图2所示，在本步骤中，通过如下步骤实现：

基于空间变换网络中的卷积层对输入的桢级人体关键点图像信息进行学习，获取特征空间变换的参数；

具体地，首先由空间变换网络中的卷积层对输入进行学习，得到用于特征空间变换的参数θ，利用该参数可建立一个采样网格，映射输入特征，通过空间变换网络可以显式地学习特征不变性，校正检测框的误差。

通过特征空间变换的参数构建一个映射输入特征的采样网络；；

建立特征空间变换的参数与人体关键点仿射变换前、后坐标的关系式；

仿射变换操作如下所示：

其中，θ₁，θ₂和θ₃均为二维向量，

和

分别为仿射变换前、后的坐标值。

设置单人姿态检测器，将人体关键点仿射变换后的坐标输入单人姿态检测器模块，基于空间逆变换网络对单人姿态检测器模块输出进行处理获取不同角度人体关键点坐标。

具体地，为了得到真实的人体关键点坐标，还需要将单人姿态检测器模块的输出经过空间逆变换网络该操作，可将人体关键点坐标映射至原始空间坐标。根据逆变换因子γ实现坐标映射，γ可以通过变化参数θ求解，具体如下：

[γ₁ γ₂]＝[θ₁ θ₂]^-1

γ₃＝-1×[γ₁ γ₂]θ₃

基于人体关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图；

如图3所示，该步骤具体还包括步骤：

基于单人姿态检测器于采集步行周期和足部起始、结束以及其他步态相位的时间参数；

基于单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；；

根据上述步态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。

针对每一个人体实例共提取19个关键特征点坐标，分别为：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖及右足尖。其中每一个特征点由一个三维向量(x，y，z)表示，x和y表示特征点在步态图像中相应的坐标值，z则表示该特征点在步态图像中是否可见。z＝0时表示网络并没有检测到对应的关节点；z＝1表示网络检测出关节点，但该关节点被遮挡不可见；z＝3表示检测到的关节点未被遮挡，可以看见。

提取步长，步长变异系数和步长对称性等参数。以右足为例，取单人姿态检测器测得在步行周期中右足固定时间开始点为t₁，右足固定结束时间为t₂，右足移动结束(下一周期固定开始)时间为t₃，l^右足为每个周期的右足步幅，i为步行周期。

为步行周期。

其中，l^y为每个周期的右足步幅，

为右足步行周期的步幅数。

具体地，如图4所示，还包括步骤：

如图12所示，设置特征提取模块，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；

通过分割模块进行骨姿态分割人体轮廓，具体地，分割模块以密集连接的方式提取特征，并在密集连接模块的末端添加上采样操作，使其可以将特征的分辨率恢复至原始输入的大小，以完成分割任务。首先将标准化后的图片与其对应的人体实例关键特征点坐标值一起作为特征提取模块的输入，该网络中的特征提取模块为一个特征金字塔网络，在特征提取模块，为了减少整个模型参数的数量，首先需要经过1个卷积核大小为7×7，步长为2的卷积层和1个最大池化操作，将输入特征的分辨率由512×512减小至128×128。然后经过4个残差模块提取多尺度的特征；残差模块是由多个残差单元堆叠而成的。接着对提取到的深层特征进行3×3的卷积操作，为了更好地融合上下文信息，每一个卷积操作的输入均为上一个卷积层的输出以及与其对应的残差模块的输出经过1×1卷积后相加的结果。

基于姿态模板，通过引入仿射矩阵将步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；

具体来说，为了将个特征金字塔网络模块的提取到的特征坐标与原始特征相对应，中提通过一个基于人体关键点的对齐模块，以此来实现仿射对齐。该仿射对齐操作通过一个仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，其中姿态模板包括但不限于半身姿态模板、正面全身姿态模板、左侧姿态模板和右侧姿态模板。

其中，如图14所示，仿射变换时，需对图片是否进行了左右翻转，其具体计算方式为：

H^*＝arg_Hmin||H·P-P_μ||其中，P表示输入样本的姿势，P_μ表示姿势模板，H表示压缩系数。

基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。

基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行肌少症识别，获取肌少症识别结果以及与其相关的预测值；

如图11，具体来说，识别结果(肌少症以及正常)与相应阳性预测值。识别结果打包后发送回移动端或其他客户端，并显示相应结果。

如图5所示，本步骤具体为：

首先设置帧级特征提取模块(经训练的)，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息。

其中，基础网络其不刻意限制步态轮廓图序列间的顺序，而是将步态序列图像视为一个集合，利用深度网络自身的特性对步态轮廓图的形状进行学习，在提取个体的步态特征的同时学习步态轮廓图序列间的时空域信息。因此不需要额外统计图像的时间序列等参数，减少了计算负荷量，。

随后将序列中所有级联的帧级信息(包含轮廓和骨架特征)输入水平金字塔模块，水平金字塔模块输出内容再级联经典步态数据以及关节屈曲数据，称之特征映射(即步态轮廓序列级特征)，将作为分类网络的输入数据。

首先每一帧步态图像都需要经过3个连续的帧级特征提取模块，接着提取每一帧图像中的最大值级联后作为样本的序列级特征，将序列级特征经过水平金字塔模块，将水平金字塔模块模块得到的特征映射作为步态识别网络的输出，通过计算训练集和测试集特征映射之间的距离实现步态识别，通过一个注意力模块优化全局特征，接着提取每一帧的最大值并级联作为样本的序列级特征，最后将提取到的序列级特征经过水平金字塔模块模块得到网络的输出。

在利用注意力机制提取序列级特征中，通过利用输入的全局特征学习每个像素对应的不同权重，然后利用学习到的权重对优化帧级特征，最后提取每一帧图像特征的最大值并将其级联作为Att-GaitSet网络中的序列级特征。具体来说，首先将原始的输入特征分别经过三个不同的统计函数，并将该结果与原始输入级联后经过一个1×1的卷积层得到不同像素对应的权重，将该权重与原始输入特征进行点乘运算后即可得到优化后的帧级特征。最后将优化的帧级特征经过一个统计函数，得到每帧步态图像的最大值，最后将每一个步态序列的最大值级联得到每个样本对应的序列级特征。

具体地，GaiSet网络中的1个帧级特征提取模块由2个卷积操作和1个最大池化操作组成。HPM模块，该模块首先对序列级特征进行s次维度的reshape，s初始值为5。每一个reshape后的特征映射通过全局池化将3维特征投影至1维特征，如下公式所示，还需要对每一个1维特征分别进行全连接操作将所有的特征映射至判别空间，最终每个样本均会得到一个维度为

的2维特征。

f_s，t＝maxpool(z_s，t)+avgpool(z_s，t)

其中，maxpool(·)和avgpool(·)分别表示全局最大池化和全局平均池化。

训练阶段，将HPM模块得到的特征映射作为GaitSet网络的输出，使用TripletLoss作为损失函数优化网络参数。Triplet Loss为一个三元组损失函数，表示为<a，p，n>，其中a表示目标样本，又称为锚点(Anchor)，p和n分别表示与锚点相同类别的正样本(Positive)、与锚点不同类别的负样本(Negative)，Triplet Loss表达式为：

Z＝max{x·H[x，median(x)，mean(x)，max(x)]}

其中a为一个可调节的阈值参数；当[·]大于0时，损失函数为该值，否则损失函数的值为0。

在利用残差连接提取帧级特征时，由于GaitSet中卷积层比较少，所以无法很好地提取深层特征，但如果直接通过叠加卷积操作增加网络深度，可能会导致“梯度消失”问题。He等人提出一种残差网络ResNet，该网络通过堆叠残差单元而形成，基本残差单元通过前馈神经网络和跳跃连接实现，跳跃连接指通过恒等映射(Identity Mapping)将某个卷积层的输入与其输出进行叠加。假设ResNet网络中第个卷积层所得到的特征映射为，则第l+1个卷积层得到的特征映射为：

x_l+1＝F(x_l)+H(x_l)

其中F(x_l)表示非线性残差函数，H(x_l)则表示恒等映射，即H(x_l)＝x_l。

与普通卷积组成的帧级特征提取模块相比，优化后的帧级特征提取模块在不增加隐藏层的情况下加深网络深度，因此可以学习到更深层的特征。并且因为网络层中特征映射个数是逐渐增加的，在一定程度上也可以保证特征的表征能力。

针对基础网络GaitSet中在提取序列级特征时，并未考虑特征全局信息的不足之处，本章提出一个注意力模块优化了基础网络中的序列级特征提取模块，首先利用输入的全局特征学习每个像素对应的不同权重，然后利用学习到的权重对优化帧级特征，最后提取每一帧图像特征的最大值并将其级联作为Att-GaitSet网络中的序列级特征。

具体地，首先将原始的输入特征分别经过三个不同的统计函数median(·)、mean(·)和max(·)，并将该结果与原始输入级联后经过一个1×1的卷积层得到不同像素对应的权重，将该权重与原始输入特征进行点乘运算后即可得到优化后的帧级特征。最后将优化的帧级特征经过一个统计函数，得到每帧步态图像的最大值，最后将每一个步态序列的最大值级联得到每个样本对应的序列级特征，其表达式如下：

Z＝max{x·H[x，median(x)，mean(x)，max(x)]}

其中x表示原始帧级特征，[·]表示级联操作，H表示一个1×1的卷积操作。

基础网络GaitSet中使用Triplet Loss作为损失函数。基本的Triplet Loss中会存在很多Easy Triplet，即在训练时得到的三元组〈a，p，n〉中，锚点a和p正样本的距离很近，但与负样本的距离很远，在这种情况下得到的损失为0，这样的训练没有意义，并且不利于模型的收敛。所以Att-GaitSet模型中通过结合HardTriplet Loss与Softmax Loss两种损失函数作为该模型的损失函数。

Hard Triplet Loss是在Triplet Loss的基础上改进的。具体来说，每次训练时网络会从训练集中随机选取P个不同的样本，并且从每一个样本中随机抽取K个不同视角的步态序列，所以训练时每一个批次(batch)中一共包含P*K个样本。对于每一个锚点，HardTriplet Loss仅选取其相应的最难正样本和最难负样本，组成一个最难三元组(HardTriplet)。其表达式为：

其中，X表示一个训练批次，数据点

表示在一个批次中的第i个样本的第j个步态序列，α则是实验中用于控制正负样本距离所设置的一个阈值，α初始设置为0.2。

虽然使用Hard Triplet Loss可以显式地优化网络，在减少同类样本距离的同时增大不同类样本的距离。但是仅使用Hard Triplet Loss作为损失函数时，网络比较容易过拟合，而且使用Hard Triplet Loss训练时模型的收敛具有很大的随机性。当特征间的距离为0时，就会出现损失函数在阈值附近波动的情况，此时模型便不会优化模型，即不会再减少类

内距离也不会增大类间距离。考虑到步态识别是通过区别不同样本的步态特征进行身份识别，即判断两个步态序列是否属于同一个人体实例，本质上依然属于一种分类任务，所以引入常用于分类任务的损失函数Softmax Loss。Softmax Loss在训练时通过不断缩小预测类别和真实类别之间的距离对网络模型进行优化，其目的是使得每一个类的预测类别都趋近于真实的类别，其表达式为：

其中x_i表示属于第j类的第i个特征，y_i表示样本的真实类别，W和b则分别表示特征维度中最后一层的权重以及偏置项。

Att-GaitSet网络中使用的损失函数为Hard Triplet Loss与Softmax Loss的加权和，通过融合多损失函数的方法可以共同约束所提取的步态特征的有效性。

L＝αL_BH(θ；X)+βL_s

其中α和β分别为两损失函数对应的权值，α和β的初始值设置为0.5。

在GaiSet网络中由帧级特征提取模块由2个卷积操作和1个最大池化操作组成，对特征序列进行s次维度的reshape处理，将处理后通过全局池化将3维特征投影至1维特征每个样本均会得到一个维度为

的2维特征。使用Triplet Loss作为损失函数优化网络参数使得同类样本之间的距离尽可能小，而不同类别样本间的距离尽可能的大，即让训练样本中来自同一个人体实例的特征距离变小，而来自不同人体实例的特征距离变大。

使用分类模块，计算训练集和测试集(按照肌少症状态标记)中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间(肌少症状态，即健康，肌少症前期及肌少症)差异最小化，不同类序列间差异最大化，分类模块的训练过程完成后，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的肌少症状态识别。

将识别结果和预测值发送至与原始帧图像序列集对应的用户。

如图6与图10所示，具体的过程包括：

获得肌少症状态识别结果、经典步态数据、医学建议和时间信息肌少症状态识别结果；

关联肌少症状态识别结果、经典步态数据、医学建议和时间信息与原始图像序列对应的个人信息；

打包个人信息与匹配的肌少症状态识别结果、经典步态数据、医学建议发送给用户；肌少症状态识别结果；

其中，个人信息至少包括：性别、年龄和历史疾病数据；

其中，医师建议至少根据时间信息、步态数据和肌少症状态识别结果做调整。

具体地，如表1所示，为步态肌少症识别算法表现为：

此外，如图7所示，本发明提供一种基于机器视觉的肌少症识别装置，本装置中包括了数据前端处理模块710、步态特征提取模块720、分类模块730和识别结果输出终端740，本装置根据图1的步骤来实现数据前端处理模块710、步态特征提取模块720、分类模块730和识别结果输出终端740之间的信息交互与处理，其中，数据前端处理模块710输出端连接步态特征提取模块720输入端，步态特征提取模块720输出端连接分类模块730，分类模块730输出端连接识别结果输出终端740。

请参阅图8，基于上述实施例提供的基于机器视觉的肌少症识别方法，本申请实施例还提供一种包括可以执行前述方法的处理器802的电子设备800，该电子设备800可以是智能手机、平板电脑、计算机或者便携式计算机等设备。

电子设备800还包括储存器804。其中，该储存器804中存储有可以执行前述实施例中内容的程序，而处理器802可以执行该储存器804中存储的程序。

其中，处理器802可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器802利用各种借口和线路连接整个电子设备内的各个部分，通过运行或执行储存在储存器内的指令、程序、代码集或指令集，以及调用存储在储存器内的数据，执行电子设备的各种功能和处理数据。可选地，处理器802可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编辑逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解码器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解码器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

存储器804可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读储存器(Read-Only Memory)。储存器804可用于储存指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(如，用户获取随机数的指令)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(如，随机数)等。

电子设备800还可以包括网络模块以及屏幕，网络模块用于接受以及发送电磁波，实现电磁波与电信号的互相转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读储存介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任意方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机晨曦产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的方法。

综上，本申请提供的一种基于机器视觉的肌少症识别方法、装置、设备及介质，在方法中，通过在选取Pose2Seg为基础，并对其进行改进，首先引入姿态仿射对齐机制，实现多个角度的图像的准确定位，并将分割模块修改为全卷积式的密集连接后显著改善了原方式边缘较粗糙的缺点。

通过OCHuman外部数据集对其进行训练测试后，得到表2数据。

表2

鉴于测试结果，明显得出本发明的轮廓提取精确度超过其他现有算法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种基于机器视觉的肌少症识别方法，其特征在于，包括：

采集人群正常步行速度的视频流，并获取原始帧图像序列集；

基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的人体关键点；

基于人体关键点的坐标序列，获取相应的步态数据、关节屈曲数据和骨架特征图；

基于特征提取模块和分类网络建立步态识别体系，将步态数据、关节屈曲数据和骨架特征图输入步态识别体系进行肌少症识别，获取肌少症识别结果以及与其相关的预测值；

将识别结果和预测值发送至与原始帧图像序列集对应的用户；

在提取人体关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的人体关键点和人体步态轮廓图，包括：

基于空间变换网络中的卷积层对输入的所述人体关键点进行学习，获取特征空间变换的参数；

通过所述特征空间变换的参数构建一个映射输入特征的采样网络；

设置单人姿态检测器，将人体关键点仿射变换后的坐标输入所述单人姿态检测器，基于空间逆变换网络对所述单人姿态检测器输出进行处理获取不同角度人体关键点坐标；

基于人体关键点的坐标序列，获取相应的步态数据、关节屈曲数据和骨架特征图中，获取所述步态数据和关节屈曲数据包括：

基于所述单人姿态检测器于采集步行周期和足部起始、结束、以及其他步态相位的时间参数；

基于所述单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；

根据上述所述步态相位的时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据所述臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列；

根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图中，所述人体步态轮廓图的获取与处理中，包括：

设置轮廓提取模块，将标准化后的原始帧图像和关键点信息输入所述轮廓提取模块；

基于姿态模板，通过引入仿射矩阵将所述人体步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；

基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场；

基于特征提取模块和分类网络建立步态识别体系，将步态数据、关节屈曲数据和骨架特征图输入步态识别体系进行肌少症识别，获取肌少症识别结果以及与其相关的预测值，包括：

在特征提取模块中，首先设置帧级特征提取模块，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息；

随后将序列中所有级联的帧级信息输入水平金字塔模块，水平金字塔模块输出内容再级联步态数据以及关节屈曲数据，记为特征映射，并其将作为分类网络的输入数据；

使用分类模块，计算训练集和测试集中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间差异最小化，不同类序列间差异最大化；训练过程完成，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的肌少症状态识别。

2.根据权利要求1所述的一种基于机器视觉的肌少症识别方法，其特征在于，不同角度人体关键特征点至少包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖和右足尖；每一个特征点由一个三维向量表示，其中，和表示特征点在所述步态轮廓图中相应的坐标值，则表示该特征点在所述步态轮廓图中是否可见。

3.根据权利要求1所述的一种基于机器视觉的肌少症识别方法，其特征在于，在将识别结果和预测值发送至与获取原始帧图像序列集对应的个人中，包括：

获得肌少症状态识别结果、步态数据、医学建议和时间信息；

打包个人信息与匹配的肌少症状态识别结果、步态数据、医学建议和肌少症状态识别结果发送给用户；

其中，所述医学建议至少根据时间信息、步态数据和肌少症状态识别结果做调整。

4.一种基于机器视觉的肌少症识别装置，其特征在于，实现如权利要求1~3任一所述的识别方法，包括：

数据前端处理模块：用于采集人群正常步行速度的视频流，并获取原始帧图像序列集；并基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的人体关键点、步态轮廓图；在提取关键点信息和轮廓图的过程中，对图像信息进行仿射变换处理，获取不同角度下的人体关键点和轮廓图；基于人体关键点的坐标序列，获取相应的步态数据、关键屈曲数据和骨架特征图；

步态特征提取模块：用于将骨架特征图、步态轮廓图、步态数据和关节屈曲数据输出序列步态特征映射；

分类模块：用于输入序列步态特征映射，输出肌少症状态识别结果；

识别结果输出终端：用于获取与用户原始帧图像序列集匹配的肌少症状态识别结果；

5.一种电子设备，其特征在于，包括：

一个或多个处理器；

储存器；

一个或多个程序，其中所述一个或多个程序被储存在所述储存器中被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-3中任一一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读储存介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-3中任意一项所述的方法。