CN117058756A - 老年人群膝关节动作识别方法 - Google Patents

老年人群膝关节动作识别方法 Download PDF

Info

Publication number
CN117058756A
CN117058756A CN202311023223.5A CN202311023223A CN117058756A CN 117058756 A CN117058756 A CN 117058756A CN 202311023223 A CN202311023223 A CN 202311023223A CN 117058756 A CN117058756 A CN 117058756A
Authority
CN
China
Prior art keywords
model
yolox
knee joint
parameters
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311023223.5A
Other languages
English (en)
Inventor
刘军
李冰
杨涛
赵慧雯
罗文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN HOSPITAL
Original Assignee
TIANJIN HOSPITAL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN HOSPITAL filed Critical TIANJIN HOSPITAL
Priority to CN202311023223.5A priority Critical patent/CN117058756A/zh
Publication of CN117058756A publication Critical patent/CN117058756A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的老年人群膝关节动作识别方法，包括：收集老年人膝关节动作的视频或图像数据并进行标注；选择YOLOX作为目标检测模型并配置YOLOX模型的参数；将数据进行预处理；将数据分为训练集和验证集，训练集输入YOLOX模型进行模型的训练；使用验证集评估训练好的YOLOX模型性能，若YOLOX模型性能满足要求则使用YOLOX模型判断老年人的膝关节动作，并进行相应的分类和识别。本发明可将评估结果进行量化，使检测精度更加准确，在没有人工干预的情况下快速、准确的识别膝关节动作，判断膝关节动作的流畅度，为老年人群膝关节健康监测和运动康复提供了一种高效可行的解决方案。

Description

老年人群膝关节动作识别方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种老年人群膝关节动作识别方法。
背景技术
准确评估老年人群的膝关节动作对于个性化监测相关的身体功能障碍至关重要。膝关节功能特异性问卷，如美国膝关节协会评分(AKSS)和西安大略、麦克马斯特大学骨关节炎指数(WOMAC)已被广泛应用于评价膝关节功能。虽然这些问卷有助于捕捉老年人群重要的临床症状和功能受限因素，但它们在准确表达膝关节整体功能方面存在不足。当问卷询问疼痛水平和任务难度时，这些任务的执行方式没有统一的标准。部分老年人群在日常活动中会尽量避免产生膝关节负重过大的运动行为，如跑步或跳跃，使他们在膝关节功能评价过程中很难可靠地报告与这些活动相关的症状。
计算机视觉是现今科学技术领域重要研究方向之一，其主要的研究内容为让计算机相系统能够像人类视觉系统一样去理解图像或者视频中的语义信息。计算机视觉和深度学习技术在医疗保健领域有广泛的应用，可以帮助医生更快速、更准确地评价老年人群机体功能水平。开发一个基于这些技术的自动化膝关节动作识别系统，可以为医生提供真实的客观指标。YOLOX算法是一种高效的目标检测算法，可以在复杂的环境下实现实时检测，具有较好的性能和准确性。采用这种算法来实现膝关节动作识别，可以提高系统的识别准确性和速度，使其更适用于实际临床应用。关键点检测技术可以帮助医生测量和评估膝关节动作完成度，可以更准确地评估老年人群的膝关节状况。采用这种技术来开发自动化分类系统，可以提高系统的准确性和可靠性。本发明将结合影像分析检测技术，建立膝关节动作识别分类系统。这对于进一步推动计算机视觉和深度学习技术在医学领域的应用和发展具有重要意义。
发明内容
本发明的目的在于提供一种老年人群膝关节动作识别方法，在没有人工干预的情况下可以快速、准确的识别膝关节动作，判断膝关节动作的流畅度。
本发明所采用的技术方案是：老年人群膝关节动作识别方法，包括以下步骤：
步骤1、收集老年人膝关节动作的视频或图像数据并进行标注；
步骤2、选择YOLOX作为目标检测模型并配置YOLOX模型的参数；
步骤3、将步骤1所得数据进行预处理；
步骤4、将步骤3所得数据分为训练集和验证集，训练集输入步骤2所得YOLOX模型进行模型的训练；
步骤5、使用步骤4中的验证集评估训练好的YOLOX模型性能，若YOLOX模型性能满足要求则进入步骤6，反之则返回至步骤2；
步骤6、使用步骤5所得YOLOX模型判断老年人的膝关节动作，并进行相应的分类和识别。
本发明的特点还在于，
步骤1中收集的膝关节动作视频或图像数据涉及不同年龄、体型和动作的老年人，标注时采用矩形框标记法将数据中的膝关节动作标记为直立和平卧两个标签。
步骤2中选择改进的YOLOX-s作为目标检测模型并采用贝叶斯优化方法配置YOLOX-s模型的参数。
改进的YOLOX-s模型中SCP模块的参数表达式为：
式中：P为参数计算量；I为网络的层数；Cl-in为I层中输入通道数量；CI_out为I层中输出通道数量；K为卷积核的大小。
采用贝叶斯优化方法配置YOLOX-s模型参数的具体步骤为：
步骤2.1、定义参数空间，包括YOLOX-s模型的学习率、批次大小、滑动平均衰减三项超参数，每个参数都有一个定义域即取值范围，定义域将是贝叶斯优化的搜索空间；
步骤2.2、选择准确率或者损失函数值作为优化目标；
步骤2.3、构建高斯过程代理模型来近似目标函数；
步骤2.4、选择Expected Improvement作为采样策略；
步骤2.5、根据代理模型和采样策略选择下一个参数组合进行评估，将当前参数组合用于训练YOLOX-s模型，并在验证集上评估YOLOX-s模型性能指标，将评估结果添加到已知的参数-性能数据集中，然后使用参数-性能数据集更新代理模型的参数；
步骤2.6、重复步骤2.5，直到达到预定的优化轮数或满足终止条件；
步骤2.7、将性能最优的参数组合作为YOLOX-s模型的最终配置。
步骤3中的预处理包括图像归一化和数据增强，数据增强包括随机裁剪、随机翻转、随机旋转、随机缩放及随机亮度和对比度调整。
步骤4中将步骤3所得数据分为70％的训练集和30％的验证集。
步骤4中采用CIOU损失函数优化YOLOX模型的权重，采用SGD优化算法优化YOLOX模型的参数，每次迭代时，随机选择一个训练样本(xi,yi)计算损失函数和梯度，然后根据梯度的方向和学习率来更新YOLOX模型参数，在整个训练集上进行多次迭代，直到达到预定的训练轮数或达到收敛条件为止。
步骤5中评估练好的YOLOX模型性能时，用的指标是平均精确度均值，即通过计算不同置信度阈值下的精确度值，并取平均得到。
步骤6包括以下具体步骤：
步骤6.1、将膝关节动作视频输入到YOLOX模型中，通过前向传递得到预测的目标框和类别；
步骤6.2、根据YOLOX模型输出的目标框和类别，判断老年人是平卧还是站立，若老年人是平卧姿态，则进入步骤6.3的平卧抬腿测试阶段；若老年人是站立姿态，则进入步骤6.4的站立行动测试阶段；
步骤6.3、设定抬腿的高度阈值，来判定抬腿的有效性，统计有效抬腿的次数，从而对膝关节运动状况进行评估；
步骤6.4、标定测试区域，当人物进入测试区域后，开始进行计时，通过视频帧率与检测到人物的帧数，计算人物在不平坦道路行走的速度；同时记录下蹲动作的时间以及上下台阶的时间，从而评估膝关节行动能力。
本发明的有益效果是：本发明的老年人群膝关节动作识别方法，可将评估结果进行量化，使检测精度更加准确，在没有人工干预的情况下快速、准确的识别膝关节动作，判断膝关节动作的流畅度，为老年人群膝关节健康监测和运动康复提供了一种高效可行的解决方案。
附图说明
图1是本发明的老年人群膝关节动作识别方法的流程示意图；
图2是本发明的老年人群膝关节动作识别方法中YOLOX-s模型改进SCP模块的结构示意图；
图3是本发明的老年人群膝关节动作识别方法中YOLOX-s模型的平均精确度均值示意图；
图4是本发明的老年人群膝关节动作识别方法应用时的系统界面示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明进行详细说明。
实施例1
本发明提供了一种老年人群膝关节动作识别方法，如图1所示，包括以下步骤：
步骤1、数据集构建：构建数据集的第一步是收集包含老年人膝关节动作的视频或图像数据。这些数据通过实地采集、公开数据集获取。确保数据集具有多样性和代表性，并包含不同年龄、体型和动作的老年人。
接下来，需要对数据进行标注，将数据集中的人物标记为直立和平卧两个标签。标注过程采用矩形框标记法，即在每个包含人物的图像或视频帧中，用一个矩形框将人物包围起来，并为每个矩形框打上相应的标签。
步骤2、模型选择和配置：本发明选择使用YOLOX-s作为目标检测模型，对其对SCP(Spatial Channel-wise Pooling)模块进行了优化改进，以提高系统性能，改进后的SCP模块增强了模型对空间和通道信息的融合能力，更好地捕捉细微的动作特征，从而进一步提高了识别准确率和稳定性。并配置YOLOX模型的参数，如学习率、输入图像大小、批量大小等，以适应数据集和任务要求，为了优化深度学习模型的参数配置，使用贝叶斯优化方法来寻找最优的超参数组合，采用高斯模型和采样策略来高效地搜索参数空间，从而避免了手动调整模型参数的复杂性，节省了大量的人工调试时间。
步骤3、数据预处理：在进行模型训练之前，需要对数据进行预处理，以便更好地适应YOLOX模型的输入要求。预处理步骤包括图像归一化和数据增强操作以减小过拟合的影响，采用数据增强技术对标注好的数据集进行处理，以增加数据样本的多样性，更好地适应不同的动作样本，提高模型的鲁棒性。
步骤4、模型训练：将标注好的数据集分为训练集和验证集。使用训练集数据进行模型的训练。在训练过程中，使用YOLOX的目标检测损失函数来优化模型的权重，CIoU损失函数则提高了目标检测的精度和稳定性，并采用随机梯度下降(SGD)优化算法来提升模型收敛速度。
步骤5、模型验证：使用验证集评估训练好的YOLOX模型的性能。计算目标检测指标平均精确度均值(mAP)，来衡量模型的准确性和性能。
步骤6、模型推理和识别：使用经过训练的YOLOX模型进行推理和识别。将测试视频输入到模型中，通过前向传递得到预测的目标框和类别。根据模型输出的结果，判断老年人的膝关节动作，并进行相应的分类和识别。
实施例2
为了提高目标检测效果，步骤2模型选择中，在模型训练之前，进行YOLOX模型的对比选取。
表1YOLOX模型性能参数对比差异表
由于需要考虑医院的使用场景和具体需求。以下是一些建议的考虑因素：
1.实时性需求：如需要快速、实时的膝关节动作识别，可能需要选择模型大小较小且帧率高的模型，比如YOLOX-s，以确保系统能够在短时间内快速响应。
2.精度要求：如对膝关节动作识别的准确性要求较高，可以考虑选择模型大小较大且具有较高准确性的模型，比如YOLOX-l。
3.设备资源：医院的设备资源也是考虑因素之一。如果医院的设备资源有限，可能需要选择模型大小适中的模型，如YOLOX-m，以平衡性能和资源占用。
4.数据集和预训练模型：考虑模型的训练数据集和预训练模型是否与医院场景的数据相似，以确保模型在实际使用中有较好的泛化能力。
综合目前医院的具体需求和资源情况，且设备资源有限，本发明选择YOLOX-s作为目标检测模型，因为它具有较小的模型大小和较高的帧率，适合快速响应的场景。
再对选择的YOLOX-s改进SCP模块
YOLOX模型中Backbone部分采用了CBS、Focus、SCP和SPP结构，其中CBS由Conv+BN+Swish3部分组成，其中CSP结构借鉴了SCPNet的网络结构，由卷积层和X个残差组件拼接组成。SCP模块虽然增强了CNN的学习能力，但是感受野仍然局限于卷积核的大小，不能兼顾卷积核以外的像素信息。为了提高YOLOX对目标的识别精度，在设计网络时，不仅考虑模型的精度和速度，还考虑模型的有效性。因此本发明对原始SCP模块进行了改进通过减少主干的参数，消除推理阶段冗余的梯度信息，使模型更具有学习能力。
由图2可知，在原SCP模块残差结构的基础上，输出通道中每组3×3卷积前添加一组1×1卷积，使输出通道数减少到输入通道数的一半，输入特征图由3×3卷积块残差结构处理，输出特征图用1×1卷积块处理连接。最终，输出特征图和输入特征图具有相同的维度，改进后的模块可以在新模块的右侧添加三个剩余块，以获得与SCP模块相同的感受野。通过对YOLOX模型中的SCP模块进行了修改，减少了网络的参数量，以提高网络的检测精度和推理速度。
在YOLOX模型中原始SCP模块的参数中，主要进行卷积运算，其表达式为：
本发明改进后的参数计算的表达式为：
式中：P为参数计算量；I为网络的层数；Cl-in为I层中输入通道数量；CI_out为I层中输出通道数量；K为卷积核的大小。
由式(1)和式(2)可知，当感受野相同时，改进结构的计算量比原始CSP模块降低36.2％。
步骤2参数配置中，在深度学习模型参数配置过程中，为了避免手动调整参数并自动地找到最优参数组合，可以使用贝叶斯优化方法。贝叶斯优化是一种基于贝叶斯定理的全局优化技术，用于优化复杂黑盒函数，如深度学习模型的性能指标(如准确率、损失函数等)。下面是详细的步骤：
1.定义参数空间：首先，需要定义深度学习模型的参数空间。这包括模型的架构、超参数(如学习率、批大小、隐藏单元数量等)和其他相关参数。每个参数都有一个定义域(可能的取值范围)，这个定义域将是贝叶斯优化的搜索空间。
2.选择优化目标：在贝叶斯优化中，需要明确定义优化目标。通常，优化目标是深度学习模型在验证集上的性能指标，如准确率或者损失函数值。目标函数将作为一个黑盒函数，由模型训练过程提供。
3.构建代理模型：贝叶斯优化使用代理模型(或称为代理函数)来近似目标函数。本发明使用高斯过程(Gaussian Process)，这个代理模型会根据已经评估过的参数组合和对应的性能指标来拟合目标函数，并用于预测未评估过的参数组合的性能。高斯过程(Gaussian Process)代理模型：
其中，f(x)是目标函数的代理模型，m(x)是均值函数，k(x,x')是协方差函数。
4.设计采样策略：在每一轮优化中，贝叶斯优化会根据代理模型和一定的采样策略来选择下一个参数组合进行评估。采样策略旨在在未知区域探索和已知最优区域之间实现权衡，以尽可能高效地找到全局最优解。本发明使用采样策略为Expected Improvement(EI)：
其中，(x+)是当前已知最优的参数组合，是标准化剩余(即剩余均值和已知最优值之间的差异与剩余方差的比值)，(Φ(Z))和(φ(Z))分别是标准正态分布的累积分布函数和概率密度函数。
5.模型评估和更新：选择了下一个参数组合后，将这个参数组合用于训练深度学习模型，并在验证集上评估性能指标。将评估结果添加到已知的参数-性能数据集中，然后使用这个数据集来更新代理模型的参数，以更准确地预测目标函数。
6.迭代优化：重复进行第4步和第5步，直到达到预定的优化轮数或满足终止条件。在每一轮中，代理模型会逐渐收敛，贝叶斯优化会逐渐收敛于全局最优解。
7.最优参数选择：在贝叶斯优化的过程中，不断记录在验证集上获得最好性能的参数组合。最终，从这些记录的参数组合中选择性能最优的一组参数作为深度学习模型的最终配置。
通过以上步骤，贝叶斯优化可以在有限的迭代次数内寻找到性能最优的参数组合，避免了手动调整参数的困扰。不断优化代理模型，贝叶斯优化逐步探索参数空间，并在未知区域和已知最优区域之间进行权衡，从而高效地找到全局最优解。本发明贝叶斯将优化下列超参数：
①学习率(Learning Rate)是在深度学习中用于控制模型权重更新幅度的一个超参数，通常表示为α或η。学习率的大小会直接影响模型的训练效果。
②批次大小(batch size)是在训练神经网络时，每次迭代时所使用的样本数。
③滑动平均衰减(Exponential Moving Average Decay)是一种在深度学习中常用的优化技术，主要用于平滑模型中权重的变化，并降低权重更新的波动性，从而使得模型更加稳定。滑动平均衰减的公式如下：
θt+1＝βθt+(1-β)θt+1
其中，θt表示第t次迭代前的参数值，θt+1表示第t次迭代后的参数值，β为衰减因子，通常取值范围为0.9到0.999之间。滑动平均衰减可以提高模型的泛化能力，减少过拟合的风险。
表2贝叶斯优化超参数设定区间与结果
步骤3中数据增强是一种通过对原始数据进行变换和扩充来增加数据样本的方法，以提高模型的泛化能力和减小过拟合的影响。对于YOLOX模型的输入要求，下面是数据增强操作：
1.随机裁剪(Random Crop)：随机从图像中裁剪出一部分区域作为训练样本，这有助于模型学习到目标在不同位置的特征。
2.随机翻转(Random Flip)：随机对图像进行水平或垂直翻转，增加数据的多样性，使模型能够适应不同方向的目标。
3.随机旋转(Random Rotation)：随机对图像进行旋转，模拟目标在不同角度出现的情况。
4.随机缩放(Random Scale)：随机对图像进行缩放操作，使得目标在不同尺度下都能被正确检测。
5.随机亮度和对比度调整(Random Brightness and Contrast)：随机调整图像的亮度和对比度，增加图像的变化程度。
以上数据增强有助于增加数据样本的多样性，提高模型的鲁棒性，从而在训练过程中获得更好的检测性能。
步骤4在模型训练过程中，本发明将标注好的数据集划分为训练集和验证集。采用70％的数据作为训练集，剩余30％作为验证集。这样可以保证模型在训练时有足够的样本进行学习，并在验证集上进行验证，以评估模型的泛化能力。
对于YOLOX目标检测模型，本发明使用YOLOX的损失函数来优化模型的权重。YOLOX采用了一种称为CIOU损失函数的改进版YOLO损失函数，以提高检测性能。
CIOU(Complete Intersection over Union)损失函数是YOLOX中采用的改进版YOLO损失函数，旨在解决传统YOLO损失函数的一些缺陷，并提高目标检测的精度和稳定性。CIOU损失函数综合了交并比(IoU)和距离度量，使得模型在检测过程中更加准确。
传统YOLO损失函数的主要问题是当目标之间重叠较多时，IoU的计算会出现问题，导致损失函数不稳定。而CIOU损失函数则通过考虑目标之间的完整交并比，并结合距离度量来解决这个问题。
CIOU损失函数的公式如下：
其中，IoU是传统的交并比(Intersection over Union)，表示预测框和真实框的交集面积除以它们的并集面积。d2是预测框和真实框中心点的欧氏距离的平方。c2是用于惩罚框的尺寸差异的参数。
CIOU损失函数的优点在于它不仅考虑了目标之间的位置匹配，还考虑了目标尺寸之间的匹配，因此在处理重叠目标时具有更好的鲁棒性。它能够更好地指导模型学习到更准确的边界框，从而提高目标检测的精度和稳定性。
为了提升模型的收敛速度，本发明可以采用随机梯度下降(SGD)优化算法。SGD是一种常用的优化算法，它每次更新模型的权重时只使用一个样本的梯度，而不是使用所有样本的平均梯度，这样可以加快模型的收敛速度。
SGD(Stochastic Gradient Descent)是一种常用的优化算法，用于训练神经网络和其他机器学习模型。它属于一阶优化算法，每次更新模型参数时仅使用一个样本的梯度，而不是使用所有样本的平均梯度。这使得SGD的计算成本较低，并且在大规模数据集上也能有效地进行优化。
SGD的公式如下：
其中，θt是模型在第$t$次迭代时的参数。η是学习率(learning rate)，用于控制每次参数更新的步长。它是一个超参数，需要事先设置好。学习率过大可能导致参数更新过于剧烈，而学习率过小可能导致收敛速度过慢。J(θt,xi,yi)是损失函数，表示模型在参数θt下对于训练样本(xi,yi)的预测误差。通过计算损失函数关于参数的梯度SGD的目标是最小化损失函数，从而优化模型的参数。
在SGD中，每次迭代时，本发明随机选择一个训练样本(xi,yi)来计算损失函数和梯度，然后根据梯度的方向和学习率来更新模型参数。这个过程将在整个训练集上进行多次迭代，直到达到预定的训练轮数或达到收敛条件为止。
综上所述，模型训练时的参数分配如下：
-训练集：70％的标注好的数据集
-验证集：30％的标注好的数据集
-损失函数：采用YOLOX的目标检测损失函数(CIOU损失函数)
-优化算法：随机梯度下降(SGD)
步骤5中评估目标检测模型的性能时，用的指标是平均精确度均值(mAP)。mAP是通过计算不同置信度阈值下的精确度值，并取其平均得到的。以下是一些相关的公式：
1.精确度(Precision)：
精确度表示在所有被模型预测为正类的样本中，真实为正类的样本所占比例。
2.召回率(Recall)：
召回率表示在所有真实为正类的样本中，模型成功预测为正类的样本所占比例。
3.F1分数(F1 Score)：
F1分数是精确度和召回率的调和平均，用于综合考虑模型的准确性和全面性。
4.平均精确度均值(mAP)：
mAP是在不同置信度阈值下计算的精确度值的平均。
首先，对模型输出的预测结果按照置信度进行排序。然后，通过不断增加置信度阈值，计算每个阈值下的精确度值，并将其绘制成精确度-召回率曲线。如图3所示为计算曲线下的面积，即mAP。
步骤6中使用经过训练的YOLOX模型进行推理和识别，对老年人的膝关节动作进行分类和识别的流程如下：
1.输入测试视频：将测试视频输入到YOLOX模型中，通过前向传递得到预测的目标框和类别。
2.判别人物姿态：首先根据模型输出的目标框和类别，判断老年人是平卧还是站立。
3.平卧抬腿测试：如果判别人物是平卧姿态，进入平卧抬腿测试阶段。
4.设定高度阈值：根据测试需求，设定抬腿的高度阈值，这个阈值用于判定抬腿的有效性。
5.抬腿次数计算：在平卧抬腿测试阶段，根据模型输出的目标框信息，识别膝关节的动作。通过监测膝关节抬腿的高度，统计有效抬腿的次数。
综合上述步骤，可以利用经过训练的YOLOX模型对老年人的膝关节动作进行实时分类和识别。对于平卧姿态的老年人，可以通过设定高度阈值来判定抬腿的有效性，并计算抬腿次数，从而对膝关节运动状况进行评估。
在站立姿势下进行测试项目时，按照以下步骤进行操作：
1.标定区域：在测试区域内对相关区域进行标定，限定测试范围，确保测试的一致性和可重复性。
2.进行测试：当人物进入测试区域后，开始进行计时。通过视频帧率与检测到人物的帧数，计算人物在不平坦道路行走的速度。同时，记录下蹲动作的时间以及上下台阶的时间。
步行速度计算公式：
步行速度＝所用时间/行走距离
行走距离：测量人物在测试区域内总共行走的距离，也是限定区域的实际距离。
所用时间：通过检测到人物行走的帧数除以视频帧率来得到。
同时，记录下蹲动作的时间以及上下台阶的时间。
蹲下时间计算：记录人物完成一次下蹲所需的时间，直接在测试中进行记录。
上下台阶时间计算：记录人物完成上下台阶动作所需的时间，同样直接在测试中进行记录。
需要注意的是，步行速度通常以距离单位时间(例如：每秒米)来衡量，而下蹲时间和上下台阶时间以秒为单位。可以通过计算人物的步行速度、下蹲时间和上下台阶时间，从而评估人物的行动能力和表现。
3.计算行走速度：通过视频帧率和检测到人物的帧数，可以计算人物在不平坦道路行走的速度。速度可以通过测量人物在区域内行走的总距离除以总时间得出。
4.计算下蹲时间：对于下蹲动作，可以根据人物完成一次下蹲所需的时间来计算。下蹲动作可以按照预设的人物下蹲高度阈值来设定，当人物下蹲高度符合设定阈值时，记录完成时间。
5.计算上下台阶时间：对于上下台阶，统计整个动作的时间，即从开始踏上台阶到完成下台阶的时间。
通过以上步骤，可以对人物在站立姿势下进行不平坦道路行走、下蹲和上下台阶等动作进行测试，并计算相应的速度和完成时间，从而对老年人的行动能力进行评估和分析。
实施例3
本发明的老年人群膝关节动作识别方法应用时，将优化后的YOLOX模型部署到Windows平台，实现老年人群膝关节动作自动识别。在MATLAB中，使用MATLAB app设计和开发一个独立的exe文件，以方便用户在Windows平台上使用系统。下面是大致的步骤：
1.开发MATLAB app：使用MATLAB app Designer来设计和开发用户界面，使其友好且易于使用。
2.集成YOLOX模型：在MATLAB app中集成优化后的YOLOX模型，以便进行膝关节动作识别。
3.编译为独立exe：将开发的MATLAB app编译为独立的可执行文件(exe)，使得用户可以在Windows平台上直接运行该应用程序，而无需安装MATLAB环境。
4.测试和优化：如图4所示在Windows平台上进行系统测试，确保实时性能和准确性满足要求。根据测试结果进行必要的优化和调整。

Claims (10)

1.老年人群膝关节动作识别方法，其特征在于，包括以下步骤：
步骤1、收集老年人膝关节动作的视频或图像数据并进行标注；
步骤2、选择YOLOX作为目标检测模型并配置YOLOX模型的参数；
步骤3、将步骤1所得数据进行预处理；
步骤4、将步骤3所得数据分为训练集和验证集，训练集输入步骤2所得YOLOX模型进行模型的训练；
步骤5、使用步骤4中的验证集评估训练好的YOLOX模型性能，若YOLOX模型性能满足要求则进入步骤6，反之则返回至步骤2；
步骤6、使用步骤5所得YOLOX模型判断老年人的膝关节动作，并进行相应的分类和识别。
2.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤1中收集的膝关节动作视频或图像数据涉及不同年龄、体型和动作的老年人，标注时采用矩形框标记法将数据中的膝关节动作标记为直立和平卧两个标签。
3.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤2中选择改进的YOLOX-s作为目标检测模型并采用贝叶斯优化方法配置YOLOX-s模型的参数。
4.如权利要求3所述的老年人群膝关节动作识别方法，其特征在于，所述改进的YOLOX-s模型中SCP模块的参数表达式为：
式中：P为参数计算量；I为网络的层数；Cl-in为I层中输入通道数量；CI_out为I层中输出通道数量；K为卷积核的大小。
5.如权利要求3所述的老年人群膝关节动作识别方法，其特征在于，所述采用贝叶斯优化方法配置YOLOX-s模型参数的具体步骤为：
步骤2.1、定义参数空间，包括YOLOX-s模型的学习率、批次大小、滑动平均衰减三项超参数，每个参数都有一个定义域即取值范围，定义域将是贝叶斯优化的搜索空间；
步骤2.2、选择准确率或者损失函数值作为优化目标；
步骤2.3、构建高斯过程代理模型来近似目标函数；
步骤2.4、选择Expected Improvement作为采样策略；
步骤2.5、根据代理模型和采样策略选择下一个参数组合进行评估，将当前参数组合用于训练YOLOX-s模型，并在验证集上评估YOLOX-s模型性能指标，将评估结果添加到已知的参数-性能数据集中，然后使用参数-性能数据集更新代理模型的参数；
步骤2.6、重复步骤2.5，直到达到预定的优化轮数或满足终止条件；
步骤2.7、将性能最优的参数组合作为YOLOX-s模型的最终配置。
6.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤3中的预处理包括图像归一化和数据增强，数据增强包括随机裁剪、随机翻转、随机旋转、随机缩放及随机亮度和对比度调整。
7.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤4中将步骤3所得数据分为70％的训练集和30％的验证集。
8.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤4中采用CIOU损失函数优化YOLOX模型的权重，采用SGD优化算法优化YOLOX模型的参数，每次迭代时，随机选择一个训练样本(xi,yi)计算损失函数和梯度，然后根据梯度的方向和学习率来更新YOLOX模型参数，在整个训练集上进行多次迭代，直到达到预定的训练轮数或达到收敛条件为止。
9.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤5中评估练好的YOLOX模型性能时，用的指标是平均精确度均值，即通过计算不同置信度阈值下的精确度值，并取平均得到。
10.如权利要求1所述的老年人群膝关节动作识别方法，其特征在于，所述步骤6包括以下具体步骤：
步骤6.1、将膝关节动作视频输入到YOLOX模型中，通过前向传递得到预测的目标框和类别；
步骤6.2、根据YOLOX模型输出的目标框和类别，判断老年人是平卧还是站立，若老年人是平卧姿态，则进入步骤6.3的平卧抬腿测试阶段；若老年人是站立姿态，则进入步骤6.4的站立行动测试阶段；
步骤6.3、设定抬腿的高度阈值，来判定抬腿的有效性，统计有效抬腿的次数，从而对膝关节运动状况进行评估；
步骤6.4、标定测试区域，当人物进入测试区域后，开始进行计时，通过视频帧率与检测到人物的帧数，计算人物在不平坦道路行走的速度；同时记录下蹲动作的时间以及上下台阶的时间，从而评估膝关节行动能力。
CN202311023223.5A 2023-08-14 2023-08-14 老年人群膝关节动作识别方法 Pending CN117058756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311023223.5A CN117058756A (zh) 2023-08-14 2023-08-14 老年人群膝关节动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311023223.5A CN117058756A (zh) 2023-08-14 2023-08-14 老年人群膝关节动作识别方法

Publications (1)

Publication Number Publication Date
CN117058756A true CN117058756A (zh) 2023-11-14

Family

ID=88660294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311023223.5A Pending CN117058756A (zh) 2023-08-14 2023-08-14 老年人群膝关节动作识别方法

Country Status (1)

Country Link
CN (1) CN117058756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594192A (zh) * 2024-01-15 2024-02-23 广东工业大学 一种与运动处方相结合的户外健身设备服务系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594192A (zh) * 2024-01-15 2024-02-23 广东工业大学 一种与运动处方相结合的户外健身设备服务系统
CN117594192B (zh) * 2024-01-15 2024-04-30 广东工业大学 一种与运动处方相结合的户外健身设备服务系统

Similar Documents

Publication Publication Date Title
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
Zhao et al. Applying incremental Deep Neural Networks-based posture recognition model for ergonomics risk assessment in construction
KR101779800B1 (ko) 기계학습 기반 다면적 성장 평가 방법 및 시스템
CN109471945A (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
US20210406687A1 (en) Method for predicting attribute of target object based on machine learning and related device
CN106874874A (zh) 一种运动状态的识别方法及装置
KR102639558B1 (ko) 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN117058756A (zh) 老年人群膝关节动作识别方法
CN114663426B (zh) 一种基于关键骨区定位的骨龄评估方法
CN112364912B (zh) 信息分类方法、装置、设备及存储介质
CN117133057A (zh) 基于人体姿态识别的体育运动计数和违规动作判别方法
CN111428655A (zh) 一种基于深度学习的头皮检测方法
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN117036834A (zh) 基于人工智能的数据分类方法、装置及电子设备
CN117542121A (zh) 基于计算机视觉的智能化训练考核系统及方法
CN117219127A (zh) 认知状态识别方法以及相关设备
CN114972263B (zh) 一种基于智能图片分割的实时超声图像卵泡测量方法及系统
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN113780166A (zh) 一种基于编解码网络的生猪骨架提取方法及评价方法
Kardawi et al. A Comparative Analysis of Deep Learning Models for Detection of Knee Osteoarthritis Disease through Mobile Apps
KR102619887B1 (ko) 신체활동 챌린지 서비스를 지원하는 시스템 및 방법
KR102725608B1 (ko) 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스
Yang et al. Motion recognition method of college football teaching based on convolution of spatio-temporal graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination