CN115462783A - 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 - Google Patents
一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 Download PDFInfo
- Publication number
- CN115462783A CN115462783A CN202211244913.9A CN202211244913A CN115462783A CN 115462783 A CN115462783 A CN 115462783A CN 202211244913 A CN202211244913 A CN 202211244913A CN 115462783 A CN115462783 A CN 115462783A
- Authority
- CN
- China
- Prior art keywords
- joint
- infant
- module
- crawling
- skeleton key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
Abstract
本发明提供一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，包括相互连接的婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，婴幼儿骨骼关键点坐标检测系统包括依次连接的视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，婴幼儿爬行姿态智能分析与识别系统包括依次连接的数据归一化模块、特征提取模块和爬行姿态识别模块。本系统不需要在被采集对象身体上附着任何数据采集装置，即本发明采用非接触式获取并准确提取其爬行运动信息，增强了婴幼儿对于数据采集环节的依从性，操作简单，省时省力，为解决婴幼儿非接触式爬行运动信息的获取和分析提供了可能，提升了在临床上的应用和推广。
Description
技术领域
本发明涉及儿童早期运动功能发育评估技术领域，具体涉及一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统。
背景技术
爬行是婴幼儿运动发育过程中的重要标志。有研究已经证实：婴幼儿爬行运动频率和爬行时间的增加有助于其运动系统的发育，尤其对于直立行走能力的获得具有非常积极的作用，而婴幼儿阶段缺乏足够的爬行锻炼甚至有可能会导致异常步态模式的出现；除了在运动发育方面的积极作用以外，爬行运动还能够促进婴幼儿空间记忆以及情绪管理等能力的提高。另一方面，对于因大脑损伤导致的运动功能障碍患者而言，爬行常作为其运动康复的重要训练手段，例如，爬行已经被证实能够有效促进运动发育迟缓婴幼儿大脑功能的发育，同时对于小脑运动稳定性的提高也具有积极作用。同时，长期的爬行训练能够对患者的神经肌肉系统产生刺激作用，进而激发其神经肌肉功能的恢复与重建，最终提高运动康复的疗效。在脑瘫儿童康复训练研究中发现：结合爬行训练的治疗组在康复效果上显著优于采用常规康复方案的对照组。与此同时，爬行训练在脑卒中、少儿脊柱损伤等运动损伤疾病的康复中也取得了良好效果。
现有针对人体爬行运动分析普遍采用的表面肌电、三维运动轨迹捕捉等测量技术均需要将标记物或传感器附着在被采集对象的身体上。而本申请的发明人经过研究发现，对于成人及学龄儿童而言，这种采集方式或许可以为受试者所接受，但是对于低龄幼儿或者大脑功能损伤的患儿，其往往伴有情绪异常等并发症，传感器或者标志物的贴敷容易引起患儿的不适，进而降低其对于数据采集环节的依从性，严重情况下甚至会拒绝佩戴，导致数据采集失败，这极大的限制了在临床上的应用和推广。因此，如何在不影响婴幼儿自然爬行状态的前提下(即非接触式)获取并准确提取其爬行运动信息成为关键。
发明内容
针对现有人体爬行运动分析需要将标记物或传感器附着在被采集对象身体上，但是这种采集方式对于低龄幼儿或者大脑功能损伤的患儿容易引起不适，进而降低其对于数据采集环节的依从性，严重情况下甚至会拒绝佩戴，导致数据采集失败，极大限制了在临床上应用和推广的技术问题，本发明提供一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，包括婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，所述婴幼儿骨骼关键点坐标检测系统包括视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，所述视频输入模块用于对输入的单目相机记录下的婴幼儿爬行视频进行帧处理，把每个视频转化成连续的单张图片；所述目标检测模块用于采用YOLOV5网络模型对图片中的婴幼儿目标位置进行有效检测与分割，获得后续关键点检测模块的感兴趣区域，该区域内排除了包括其他物体、背景在内的干扰因素对于婴幼儿爬行姿态关键点的干扰；所述关键点检测模块包括婴幼儿爬行姿态的骨骼关键点模型构建单元和基于ResNet-152残差网络模型的2D姿势识别单元，所述婴幼儿爬行姿态的骨骼关键点模型构建单元用于构建涉及人体单侧头、肩、肘、腕、髋、膝、踝主要关节的七点骨骼关键点模型，该模型仅识别面向相机一侧肢体骨骼关键点，所述基于ResNet-152残差网络模型的2D姿势识别单元用于自动识别输入的爬行图片中婴幼儿七点骨骼关键点的2D坐标(x，y)，其中所述ResNet-152残差网络模型首先利用人工标注的七点骨骼关键点模型进行预训练好；所述数据预处理模块用于对输出的七点骨骼关键点2D坐标(x，y)数据进行预处理，包括先利用三次样条插值的方式对坐标数据存在的缺损值进行补值，再利用中值滤波去除高频干扰；
所述婴幼儿爬行姿态智能分析与识别系统包括数据归一化模块、特征提取模块和爬行姿态识别模块，所述数据归一化模块用于将预处理后的人体七点骨骼关键点2D坐标数据归一化，以将人体姿态缩放到同一个高度，具体归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基；所述特征提取模块用于利用归一化后的各骨骼关键点2D坐标提取各爬行姿态特征，所述爬行姿态特征包括基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离特征以及上下肢骨骼关键点之间的关节夹角特征；所述爬行姿态识别模块用于利用特征提取模块获得的各关键点欧式距离特征以及关节夹角特征对不同爬行姿态进行智能化识别。
进一步，所述ResNet-152残差网络模型包括顺序连接的输入卷积层、第一残差组、第二残差组、第三残差组、第四残差组、反卷积层和输出卷积层，所述第一残差组由三个Bottleneck网络模块组成，所述第二残差组由八个Bottleneck网络模块组成，所述第三残差组由三十六个Bottleneck网络模块组成，所述第四残差组由三个Bottleneck网络模块组成。
进一步，所述第一至第四残差组中，每个Bottleneck网络模块包括顺序连接的第一卷积层、第二卷积层和第三卷积层，以及连接于第一卷积层输入端和第三卷积层输出端之间的跳跃连接层。
进一步，所述ResNet-152残差网络模型中的输入卷积层通道数为64，且卷积层的卷积核大小为7×7，Bottleneck网络模块改进的三个卷积核大小分别为1×1、3×3、1×1，且第一残差组的Bottleneck网络模块通道数分别为64、64、256，第二残差组的Bottleneck网络模块通道数分别为128、128、512，第三残差组的Bottleneck网络模块通道数分别为256、256、1024，第四残差组的Bottleneck网络模块通道数分别为512、512、1024。
进一步，基于Bottlenck网络模块改进，推迟了Bottleneck下采样过程，1×1卷积核步幅stride由2修改为1，把下采样过程移入到3×3卷积核上，使步幅stride由1修改为2；同时对跳跃连接层用平均池化替代1×1卷积核做下采样。
进一步，所述数据归一化模块中的归一化公式定义如下：
其中，Pi是人体第i个关节的输出2D坐标(x，y)，Pi'是Pi经过归一化后的2D坐标(x'，y')，P25是肩关节P2与髋关节P5之间的距离。
进一步，所述欧式距离特征包括婴幼儿头部1与肩关节2、肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D12、D13、D14、D15、D16、D17，肩关节2与肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D23、D24、D25、D26、D27，肘关节3与腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D34、D35、D36、D37，腕关节4与髋关节5、膝关节6、踝关节7之间的距离分别为D45、D46、D47，髋关节5与膝关节6、踝关节7之间的距离分别为D56、D57，膝关节6与踝关节7之间的距离为D67；所述关节夹角特征包括肩关节2与髋关节5所在的射线与肩关节2与肘关节3所在的射线之间的夹角∠A，肘关节3与肩关节2所在的射线与肘关节3与腕关节4所在的射线之间的夹角∠B，髋关节5与肩关节2所在的射线与髋关节5与膝关节6所在的射线之间的夹角∠C，膝关节6与髋关节5所在的射线与膝关节6与踝关节7所在的射线之间的夹角∠D。
与现有技术相比，本发明提供的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，从输入的静态图像中，找到人体所包含的信息，并从这些信息中恢复出人体的躯干、关节的具体位置，形成完整的人体的过程。与传统的三维运动分析、表面肌电等技术相比，该系统不需要在被采集对象身体上附着标记物或传感器等任何数据采集装置，即本发明在不影响婴幼儿自然爬行状态的前提下采用非接触式获取并准确提取其爬行运动信息，增强了婴幼儿对于数据采集环节的依从性，操作简单，省时省力，为解决婴幼儿非接触式爬行运动信息的获取和分析提供了可能，提升了在临床上的应用和推广。
附图说明
图1是本发明提供的基于骨骼关键点检测的婴幼儿爬行姿态分析系统整体框图。
图2是本发明所构建的婴幼儿爬行姿态的骨骼关键点模型示意图。
图3是本发明提供的ResNet-152残差网络模型结构图。
图4是本发明提供的基于Bottleneck改进网络模块结构图。
图5是本发明提供的数据归一化示意图。
图6是本发明提供的特征提取示意图。
图中，1、婴幼儿骨骼关键点坐标检测系统；11、视频输入模块；12、目标检测模块；13、关键点检测模块；14、数据预处理模块；2、婴幼儿爬行姿态智能分析与识别系统；21、数据归一化模块；22、特征提取模块；23、爬行姿态识别模块。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1至图6所示，本发明提供一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，包括婴幼儿骨骼关键点坐标检测系统1和婴幼儿爬行姿态智能分析与识别系统2，所述婴幼儿骨骼关键点坐标检测系统1包括视频输入模块11、目标检测模块12、关键点检测模块13和数据预处理模块14，所述视频输入模块11用于对输入的单目相机记录下的婴幼儿爬行视频进行帧处理，把每个视频转化成连续的单张图片，所述帧处理具体可采用现有基于opencv的帧处理方法对每秒24帧的视频流按照时间顺序依次保存为jpg格式图片来实现；所述目标检测模块12用于采用现有的YOLOV5网络模型对图片中的婴幼儿目标位置进行有效检测与分割，获得后续关键点检测模块的感兴趣区域，该区域内排除了包括其他物体、背景在内的干扰因素对于婴幼儿爬行姿态关键点的干扰，具体因输入视频中存在明显其他个体及背景的干扰，本发明中首先采用YOLOV5网络模型对图片中的婴幼儿目标位置进行有效检测与分割，所使用的YOLOV5网络模型基于整个图片进行预测，一次性给出所有的检测结果，所述YOLOV5网络模型的具体结构和工作原理为本领域技术人员熟知的现有技术，因而在此不再赘述；所述关键点检测模块13包括婴幼儿爬行姿态的骨骼关键点模型构建单元和基于ResNet-152残差网络模型的2D姿势识别单元，所述婴幼儿爬行姿态的骨骼关键点模型构建单元用于构建涉及人体单侧头、肩、肘、腕、髋、膝、踝主要关节的七点骨骼关键点模型，该模型仅识别面向相机一侧肢体骨骼关键点，由此可以有效避免单目视频视野下，婴幼儿爬行姿态易出现自体遮挡的问题，所述基于ResNet-152残差网络模型的2D姿势识别单元用于自动识别输入的爬行图片中婴幼儿七点骨骼关键点的2D坐标(x，y)，其中所述ResNet-152残差网络模型首先利用人工标注的七点骨骼关键点模型进行预训练好；由于所述关键点检测模块13输出的各骨骼关键点2D坐标(x，y)数据可能存在缺损或干扰等情况，因此本发明将对输出的各骨骼关键点2D坐标(x，y)数据通过数据预处理模块14进行预处理，具体所述数据预处理模块14用于对输出的七点骨骼关键点2D坐标(x，y)数据进行预处理，包括先利用三次样条插值的方式对坐标数据存在的缺损值进行补值，再利用中值滤波去除高频干扰，经过预处理后的骨骼关键点2D坐标数据将用于后续2D姿态特征提取与分析；
所述婴幼儿爬行姿态智能分析与识别系统2包括数据归一化模块21、特征提取模块22和爬行姿态识别模块23，所述数据归一化模块21用于将预处理后的人体七点骨骼关键点2D坐标数据归一化，以将人体姿态缩放到同一个高度，具体归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基；所述特征提取模块22用于利用归一化后的各骨骼关键点2D坐标提取各爬行姿态特征，所述爬行姿态特征包括基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离特征以及上下肢骨骼关键点之间的关节夹角特征；所述爬行姿态识别模块23用于利用特征提取模块22获得的各关键点欧式距离特征以及关节夹角特征对不同爬行姿态进行智能化识别。
作为具体实施例，针对前述爬行姿态下七点骨骼关键点模型，本发明构建一套基于ResNet-152网络结构的2D姿势识别模型，以用于从单张RGB图像中提取婴幼儿每个关节点的像素坐标位置。深度卷积神经网络在图像分类等领域已得到广泛使用，但随着网络深度的提升，深度学习网络的训练难度也随之提高，会出现深层网络的性能及训练结果不如浅层网络好的情况。为了解决梯度消失或梯度爆炸问题，本发明提出通过数据的预处理以及在网络中使用BN(Batch Normalization，批标准化)层来解决。同时为了解决深层网络中的退化问题，可以人为的让神经网络某些层跳过下一层神经元的连接，隔层相连，弱化每层之间的强联系，这种神经网络被称为残差网络(ResNets)，ResNet-152残差网络模型结构如图3所示。所述ResNet-152残差网络模型包括顺序连接的输入卷积层、第一残差组、第二残差组、第三残差组、第四残差组、反卷积层和输出卷积层，所述输入卷积层用于输入婴幼儿图片整体信息，所述第一残差组用于提取婴幼儿更小的局部信息如纹理、颜色等，所述第二残差组用于提取婴幼儿高维度的小的局部信息如眼睛、鼻子等，所述第三残差组用于提取婴幼儿高维度的大的局部信息如躯干、上下肢等，所述第四残差组用于提取高维度的信息如婴幼儿整体语义信息，所述反卷积层用于获得高分辨率婴幼儿热力图，所述输出卷积层用于生成所有七个关键点的预测热力图；所述第一残差组由三个Bottleneck(瓶颈)网络模块组成，所述第二残差组由八个Bottleneck网络模块组成，所述第三残差组由三十六个Bottleneck网络模块组成，所述第四残差组由三个Bottleneck网络模块组成。
作为具体实施例，请参考图4所示，所述第一至第四残差组中，每个Bottleneck网络模块包括顺序连接的第一卷积层(Conv)、第二卷积层(Conv)和第三卷积层(Conv)，以及连接于第一卷积层输入端和第三卷积层输出端之间的跳跃连接层，所述第一卷积层和第三卷积层分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取，所述第二卷积层用于常规卷积操作对数据进行特征提取和下采样，所述跳跃连接层用于将解决深度神经网络梯度消失和模型退化问题。
作为具体实施例，所述ResNet-152残差网络模型中的输入卷积层通道数为64，且卷积层的卷积核大小为7×7，Bottleneck网络模块改进的三个卷积核大小分别为1×1、3×3、1×1，且第一残差组的Bottleneck网络模块通道数分别为64、64、256，第二残差组的Bottleneck网络模块通道数分别为128、128、512，第三残差组的Bottleneck网络模块通道数分别为256、256、1024，第四残差组的Bottleneck网络模块通道数分别为512、512、1024。
作为具体实施例，基于Bottlenck网络模块改进，推迟了Bottleneck下采样过程，1×1卷积核步幅stride由2修改为1，把下采样过程移入到3×3卷积核上，使步幅stride由1修改为2；同时对跳跃连接层用平均池化(AvgPool)替代1×1卷积核做下采样。
作为具体实施例，请参考图5所示，在提取2D姿态特征前，要先进行归一化处理，因为当婴幼儿爬行时经过相机摄像头的距离是变化的，当相机摄像头离人比较远的时候，人的2D姿态会比较小，而相机摄像头离人比较近的时候，人的2D姿态会比较大。为了解决这个问题，本发明先将所有人体2D关节点坐标归一化，将人体姿态缩放到同一个高度，因为在人体七个关节点当中，婴幼儿的肩关节和髋关节中心是属于两个相对稳定的关节点，所以本申请在对关节点归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基，这样就可以消除人体和相机摄像头之间的距离变化，归一化公式定义如下：
其中，Pi是人体第i个关节的输出2D坐标(x，y)，Pi是Pi经过归一化后的2D坐标(x'，y')，P25是肩关节P2与髋关节P5之间的距离。
作为具体实施例，利用上述归一化后的各骨骼关键点坐标，本发明提出了一种基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离以及上下肢骨骼关键点之间的关节夹角(角度)特征的智能化爬行姿态分类与识别方法。请参考图6所示，所提取的各爬行姿态特征包括：选取并标记婴幼儿的关节点，1对应于婴幼儿头部，2对应于肩关节，3对应于肘关节，4对应于腕关节，5对应于髋关节，6对应于膝关节，7对应于踝关节。所述欧式距离特征包括婴幼儿头部1与肩关节2、肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D12、D13、D14、D15、D16、D17，肩关节2与肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D23、D24、D25、D26、D27，肘关节3与腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D34、D35、D36、D37，腕关节4与髋关节5、膝关节6、踝关节7之间的距离分别为D45、D46、D47，髋关节5与膝关节6、踝关节7之间的距离分别为D56、D57，膝关节6与踝关节7之间的距离为D67，以此定义和提取关节点与关节点之间的距离。所述关节夹角特征包括肩关节2与髋关节5所在的射线与肩关节2与肘关节3所在的射线之间的夹角∠A，肘关节3与肩关节2所在的射线与肘关节3与腕关节4所在的射线之间的夹角∠B，髋关节5与肩关节2所在的射线与髋关节5与膝关节6所在的射线之间的夹角∠C，膝关节6与髋关节5所在的射线与膝关节6与踝关节7所在的射线之间的夹角∠D。采用本实施例中对应的肢体关键点欧式距离特征和关节夹角特征来区分婴幼儿不同爬行姿态，提高了对婴幼儿爬行姿态智能识别的准确性。
作为具体实施例，所述爬行姿态识别模块23中，构建了基于机器学习的姿态分类模型，即针对上述爬行姿态特征分类的问题选择的一种随机森林分类模型，其中，随机森林中的分类器个数n_estimatorsshe设置为100，评价标准criterion选择基尼系数，建立决策树时选择的最大特征数目max_features设置为auto，限制子树继续划分的条件设为2。在具体测试环节，将获取自110个婴幼儿手膝爬行和腹爬两种不同爬行姿态下共计15000张特征样本数据按7：3的比例划分为训练集(共计10500个训练特征样本数据)和测试集(共计4500个测试特征样本数据)，利用所述爬行姿态识别模块对训练样本进行训练后，对测试样本进行预测，从而对爬行姿态识别模块的准确性进行检验，测试结果显示，上述随机森林分类模型对于手膝爬行和腹爬两种爬行姿态识别的准确率能够达到97％，这说明利用本发明中爬行姿态识别模可以实现对婴幼儿不同爬行姿态的有效分类。
与现有技术相比，本发明提供的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，从输入的静态图像中，找到人体所包含的信息，并从这些信息中恢复出人体的躯干、关节的具体位置，形成完整的人体的过程。与传统的三维运动分析、表面肌电等技术相比，该系统不需要在被采集对象身体上附着标记物或传感器等任何数据采集装置，即本发明在不影响婴幼儿自然爬行状态的前提下采用非接触式获取并准确提取其爬行运动信息，增强了婴幼儿对于数据采集环节的依从性，操作简单，省时省力，为解决婴幼儿非接触式爬行运动信息的获取和分析提供了可能，提升了在临床上的应用和推广。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，包括婴幼儿骨骼关键点坐标检测系统和婴幼儿爬行姿态智能分析与识别系统，所述婴幼儿骨骼关键点坐标检测系统包括视频输入模块、目标检测模块、关键点检测模块和数据预处理模块，所述视频输入模块用于对输入的单目相机记录下的婴幼儿爬行视频进行帧处理，把每个视频转化成连续的单张图片；所述目标检测模块用于采用YOLOV5网络模型对图片中的婴幼儿目标位置进行有效检测与分割，获得后续关键点检测模块的感兴趣区域，该区域内排除了包括其他物体、背景在内的干扰因素对于婴幼儿爬行姿态关键点的干扰；所述关键点检测模块包括婴幼儿爬行姿态的骨骼关键点模型构建单元和基于ResNet-152残差网络模型的2D姿势识别单元，所述婴幼儿爬行姿态的骨骼关键点模型构建单元用于构建涉及人体单侧头、肩、肘、腕、髋、膝、踝主要关节的七点骨骼关键点模型，该模型仅识别面向相机一侧肢体骨骼关键点，所述基于ResNet-152残差网络模型的2D姿势识别单元用于自动识别输入的爬行图片中婴幼儿七点骨骼关键点的2D坐标(x，y)，其中所述ResNet-152残差网络模型首先利用人工标注的七点骨骼关键点模型进行预训练好；所述数据预处理模块用于对输出的七点骨骼关键点2D坐标(x，y)数据进行预处理，包括先利用三次样条插值的方式对坐标数据存在的缺损值进行补值，再利用中值滤波去除高频干扰；
所述婴幼儿爬行姿态智能分析与识别系统包括数据归一化模块、特征提取模块和爬行姿态识别模块，所述数据归一化模块用于将预处理后的人体七点骨骼关键点2D坐标数据归一化，以将人体姿态缩放到同一个高度，具体归一化时将肩关节作为坐标平面的原点，并以肩关节和髋关节中心之间的距离为基；所述特征提取模块用于利用归一化后的各骨骼关键点2D坐标提取各爬行姿态特征，所述爬行姿态特征包括基于婴幼儿爬行过程中各骨骼关键点之间表征肢体距离的欧式距离特征以及上下肢骨骼关键点之间的关节夹角特征；所述爬行姿态识别模块用于利用特征提取模块获得的各关键点欧式距离特征以及关节夹角特征对不同爬行姿态进行智能化识别。
2.根据权利要求1所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述ResNet-152残差网络模型包括顺序连接的输入卷积层、第一残差组、第二残差组、第三残差组、第四残差组、反卷积层和输出卷积层，所述第一残差组由三个Bottleneck网络模块组成，所述第二残差组由八个Bottleneck网络模块组成，所述第三残差组由三十六个Bottleneck网络模块组成，所述第四残差组由三个Bottleneck网络模块组成。
3.根据权利要求2所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述第一至第四残差组中，每个Bottleneck网络模块包括顺序连接的第一卷积层、第二卷积层和第三卷积层，以及连接于第一卷积层输入端和第三卷积层输出端之间的跳跃连接层。
4.根据权利要求3所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述ResNet-152残差网络模型中的输入卷积层通道数为64，且卷积层的卷积核大小为7×7，Bottleneck网络模块改进的三个卷积核大小分别为1×1、3×3、1×1，且第一残差组的Bottleneck网络模块通道数分别为64、64、256，第二残差组的Bottleneck网络模块通道数分别为128、128、512，第三残差组的Bottleneck网络模块通道数分别为256、256、1024，第四残差组的Bottleneck网络模块通道数分别为512、512、1024。
5.根据权利要求1所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述数据归一化模块中的归一化公式定义如下：
其中，Pi是人体第i个关节的输出2D坐标(x，y)，Pi'是Pi经过归一化后的2D坐标(x'，y')，P25是肩关节P2与髋关节P5之间的距离。
6.根据权利要求1所述的基于骨骼关键点检测的婴幼儿爬行姿态分析系统，其特征在于，所述欧式距离特征包括婴幼儿头部1与肩关节2、肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D12、D13、D14、D15、D16、D17，肩关节2与肘关节3、腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D23、D24、D25、D26、D27，肘关节3与腕关节4、髋关节5、膝关节6、踝关节7之间的距离分别为D34、D35、D36、D37，腕关节4与髋关节5、膝关节6、踝关节7之间的距离分别为D45、D46、D47，髋关节5与膝关节6、踝关节7之间的距离分别为D56、D57，膝关节6与踝关节7之间的距离为D67；所述关节夹角特征包括肩关节2与髋关节5所在的射线与肩关节2与肘关节3所在的射线之间的夹角∠A，肘关节3与肩关节2所在的射线与肘关节3与腕关节4所在的射线之间的夹角∠B，髋关节5与肩关节2所在的射线与髋关节5与膝关节6所在的射线之间的夹角∠C，膝关节6与髋关节5所在的射线与膝关节6与踝关节7所在的射线之间的夹角∠D。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244913.9A CN115462783A (zh) | 2022-10-12 | 2022-10-12 | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244913.9A CN115462783A (zh) | 2022-10-12 | 2022-10-12 | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115462783A true CN115462783A (zh) | 2022-12-13 |
Family
ID=84336959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211244913.9A Pending CN115462783A (zh) | 2022-10-12 | 2022-10-12 | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115462783A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116469175A (zh) * | 2023-06-20 | 2023-07-21 | 青岛黄海学院 | 一种幼儿教育可视化互动方法及系统 |
| CN117017339A (zh) * | 2023-08-02 | 2023-11-10 | 齐鲁工业大学(山东省科学院) | 一种机械臂自动听诊方法 |
| CN117357103A (zh) * | 2023-12-07 | 2024-01-09 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
| CN117860242A (zh) * | 2024-03-12 | 2024-04-12 | 首都儿科研究所 | 婴儿扶走动作发育检测方法、设备及装置 |
-
2022
- 2022-10-12 CN CN202211244913.9A patent/CN115462783A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116469175A (zh) * | 2023-06-20 | 2023-07-21 | 青岛黄海学院 | 一种幼儿教育可视化互动方法及系统 |
| CN116469175B (zh) * | 2023-06-20 | 2023-08-29 | 青岛黄海学院 | 一种幼儿教育可视化互动方法及系统 |
| CN117017339A (zh) * | 2023-08-02 | 2023-11-10 | 齐鲁工业大学(山东省科学院) | 一种机械臂自动听诊方法 |
| CN117017339B (zh) * | 2023-08-02 | 2024-04-30 | 齐鲁工业大学(山东省科学院) | 一种机械臂自动听诊方法 |
| CN117357103A (zh) * | 2023-12-07 | 2024-01-09 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
| CN117357103B (zh) * | 2023-12-07 | 2024-03-19 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
| CN117860242A (zh) * | 2024-03-12 | 2024-04-12 | 首都儿科研究所 | 婴儿扶走动作发育检测方法、设备及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115462783A (zh) | 一种基于骨骼关键点检测的婴幼儿爬行姿态分析系统 | |
| Lakany | Extracting a diagnostic gait signature | |
| CN108305283B (zh) | 基于深度相机和基本姿势的人体行为识别方法及装置 | |
| CN110490109B (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN109299659A (zh) | 一种基于rgb相机和深度学习的人体姿态识别方法与系统 | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| Bourbakis | Detecting abnormal patterns in WCE images | |
| Ahmad et al. | Human action recognition using convolutional neural network and depth sensor data | |
| Lee et al. | Video analysis of human gait and posture to determine neurological disorders | |
| CN107862298A (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
| CN114708617A (zh) | 行人重识别方法、装置及电子设备 | |
| CN112396014B (zh) | 基于特征融合的视触融合步态识别方法 | |
| CN113506274A (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| Osokin | Global context for convolutional pose machines | |
| CN110765925A (zh) | 基于改进的孪生神经网络的携带物检测与步态识别方法 | |
| CN111860107A (zh) | 一种基于深度学习姿态估计的立定跳远评估方法 | |
| CN104331705B (zh) | 融合时空信息的步态周期自动检测方法 | |
| US20230040650A1 (en) | Real-time, fine-resolution human intra-gait pattern recognition based on deep learning models | |
| Feliandra et al. | Classification of stroke and Non-Stroke patients from human body movements using smartphone videos and Deep Neural Networks | |
| CN115581435A (zh) | 一种基于多传感器的睡眠监测方法和设备 | |
| CN112613430B (zh) | 一种基于深度迁移学习的步态识别方法 | |
| KR102377767B1 (ko) | 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법 | |
| WO2021054217A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN112233769A (zh) | 一种基于数据采集的患后康复系统 | |
| Arai et al. | Gender classification with human gait based on skeleton model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |