CN115690912A - 一种基于图卷积网络的婴儿脑发育量化评估系统 - Google Patents

Abstract

一种基于图卷积网络的婴儿脑发育量化评估系统，包括姿态估计模块、序列预处理模块、特征提取模块、图卷积分类模块、多维指标分析模块和结果可视化模块；姿态估计模块的输入为婴儿运动视频，姿态估计模块的输出和序列预处理模块的输入连接，序列预处理模块的输出和特征提取模块的输入连接，特征提取模块的输出和图卷积分类模块的输入连接，图卷积分类模块的输出和多维指标分析模块的输入连接，多维指标分析模块的输出和结果可视化模块的输入连接；本发明系统输出结果可实现多异常类别输出，同时包含有可解释的可视化结果，便于辅助医师针对性治疗干预。

Description

一种基于图卷积网络的婴儿脑发育量化评估系统

技术领域

本发明属于婴儿脑发育评估技术领域，具体涉及一种基于图卷积网络的婴儿脑发育量化评估系统。

背景技术

专家可以通过对婴儿床旁观察，通过经验分析婴儿的自发运动质量，进而判断婴儿的脑发育是否正常；但是此类诊断方式比较依赖医师的专业经验，培训医生需要花费大量时间，不利于大规模推广，而经验欠缺的医师误诊、漏诊率较高。

尽管目前也存在一些智能筛查婴儿脑发育的手段，但存在以下不足：首先一些方法([1]K.D.McCay et al.,"A pose-based feature fusion and classificationframework for the early prediction of cerebral palsy in infants,"IEEETransactions on Neural Systems and Rehabilitation Engineering,vol.30,pp.8-19,2021；[2]D.Sakkos,K.D.Mccay,C.Marcroft,N.D.Embleton,S.Chattopadhyay,andE.S.Ho,"Identification of abnormal movements in infants:A deep neural networkfor body part-based prediction of cerebral palsy,"IEEE Access,vol.9,pp.94281-94292,2021；[3]K.D.McCay,E.S.Ho,H.P.Shum,G.Fehringer,C.Marcroft,andN.D.Embleton,"Abnormal infant movements classification with deep learning onpose-based features,"IEEE Access,vol.8,pp.51582-51592,2020.)其技术方案为使用深度学习方法或传统机器学习方法对整段输入视频进行二分类，为分类判断，仅实现了正常异常的二分类，对于婴儿的发育程度不明确；第二，也有些方法([1]Q.Wu et al.,"Automatically measure the quality of infants’spontaneous movement via videosto predict the risk of cerebral palsy,"IEEE Transactions on Instrumentationand Measurement,vol.70,pp.1-11,2021；[2]专利号：ZL202011616536.8、名称为一种基于复杂网络的婴儿三维自发运动智能化评估系统)，其技术方案为使用复杂网络对婴儿三维运动姿态进行单指标量化，可以实现对婴儿的自发运动质量的量化，但是量化指标单一，无法实现精确量化以便于医生针对性干预；第三，以上现有方法仅实现了结果判定，对结果的解释性偏弱。

发明内容

为了克服现有技术缺点，本发明的目的是提供一种基于图卷积网络的婴儿脑发育量化评估系统，可以实现多维度指标的婴儿自发运动量化评估，同时评估结果具有一定的可解释性，可以方便医师进行个性化干预。

为达到以上目的，本发明采用的技术方案为：

一种基于图卷积网络的婴儿脑发育量化评估系统，包括姿态估计模块、序列预处理模块、特征提取模块、图卷积分类模块、多维指标分析模块和结果可视化模块；姿态估计模块的输入为婴儿运动视频，姿态估计模块的输出和序列预处理模块的输入连接，序列预处理模块的输出和特征提取模块的输入连接，特征提取模块的输出和图卷积分类模块的输入连接，图卷积分类模块的输出和多维指标分析模块的输入连接，多维指标分析模块的输出和结果可视化模块的输入连接；

所述的婴儿运动视频为婴儿的仰卧位自发运动视频，包含婴儿的全身肢体；婴儿运动视频采用深度运动视频和彩色运动视频；

所述的姿态估计模块实现婴儿运动视频的姿态识别和提取；

所述的序列预处理模块实现婴儿姿态序列坐标的插值、平滑滤波和归一化等预处理；序列预处理模块包括序列插值模块、中值滤波和均值平滑滤波模块和归一化模块；

所述的特征提取模块实现婴儿姿态序列坐标的数字特征表示，包括序列切分模块和特征计算模块；

所述的图卷积分类模块实现对切分的子序列进行分类；

所述的多维指标分析模块实现婴儿多肢体部分的指标统计和分析，包括多肢体部分指标统计模块和多肢体部分分析模块；

所述的结果可视化模块实现婴儿的运动质量评估结果的可视化以及辅助医师进行判断。

所述的婴儿运动视频为婴儿卧姿的二维姿态或三维姿态。

所述的姿态估计模块将姿态识别的关节点分为4个body part，分别为part1＝{左肩，左肘，左腕}，part2＝{右肩，右肘，右腕}，part3＝{左髋，左膝，左踝}，part4＝{右髋，右膝，右踝}。

所述的序列插值模块对所有的body part的关节点序列{J_i,t(x,y)}进行插值操作,i为对应body part的关节点定义，t为序列中的时间帧，x和y分别为对应关键点的坐标；选取时长和步长的时间窗，采用线性插值对{J_i,t(x,y)}插值；

所述的中值滤波和均值平滑滤波模块对插值后的{J_i,t(x,y)}进行中值滤波，去除野点和姿态识别中的噪声、抖动影响；选取时间窗，对时间窗内的{J_i,t(x,y)}选取中值作为当前t时刻的坐标；进而对中值滤波后的{J_i,t(x,y)}进行平滑滤波处理，选取时长和步长的时间窗，计算时间窗内的坐标的平均值作为当前t时刻的坐标值；

所述的归一化模块首先计算各个关联骨骼之间的角度，并将所有骨骼归一化到单位长度1，按照计算的角度重新关联长度为1的对应骨骼，形成归一化后的骨骼模型。

所述的序列切分模块选取时长和步长的时间窗，分别对4个body part进行切分，得到4个body part的clip子集，定义为{C_b|b＝part1，part2，part3，part4}，专家预先标定了部分{C_b}的标签，分别为A类：无运动，B类：正常运动，C类：异常运动，并构建了训练数据集；

所述的特征计算模块以归一化后的每个clip关节点坐标、速度、加速度运动参数作为特征，坐标、速度、加速度自由组合；

速度计算公式如下：

V_i，t＝J_i,t+1-J_i,t，其中V_i，t为第i个关节点在t时刻的速度，J_i,t+1为第i个关节点在t+1时刻坐标；

加速度计算公式如下：

A_i，t＝J_i,t+1+J_i,t-1 -2*J_i,t，其中A_i，t为第i个关节点在t时刻的加速度，则第i个关节点t时刻的特征X_i，t表示为：

X_i，t＝[J_i,t,V_i，t,A_i，t]

定义clip的窗长为L，那么每个clip的特征序列表示为{X_i，t}＝[X_i，t,X_i，t+1,…,X_i，t+L]。

所述的多肢体部分指标统计模块将图卷积模型对{C_b}的分类结果进行统计，得到每个body part的ABC三类的样本数量，分别为num(A_b)，num(B_b)和num(C_b)；

所述的多肢体部分分析模块分析每个body part的运动质量，并提出婴儿的每个body part的活动度指标M_b和正常运动占比N_b，两个指标通过下式计算得到：

M_b＝(num(B_b)+num(C_b))/(num(A_b)+num(B_b)+num(C_b))

N_b＝num(B_b)/(num(B_b)+num(C_b))

当M_b越大，表明婴儿对应body part运动越活越；M_b越小，婴儿对应body part活动量较小，说明婴儿的运动质量较差；N_b越大，说明婴儿对应body part正常运动占比较多，脑瘫发生风险较小；反之，婴儿患有脑瘫风险较大；将M_b和N_b结合，判断婴儿患有不同类型脑瘫的风险，选定阈值th1、th2，实现最后的结论输出。

所述的结果可视化模块对4个body part进行结果可视化输出，能够定位各个bodypart存在异常的位置。

本发明的有益效果如下：

(1)由于本发明系统采用多指标评价，所以输出结果可实现多异常类别输出；

(2)由于本发明输出结果包含有可解释的可视化结果，所以便于辅助医师针对性治疗干预；

(3)由于本发明系统采用自动化处理视频输入，所以系统效率高，系统模块可实现自动化计算分析。

附图说明

图1为本发明的结构框图。

图2为本发明实施例人体关节点的位置标注示图。

图3为本发明实施例婴儿的某关节x坐标的预处理变化曲线，图(a)为姿态识别原始曲线；图(b)为经过线性插值后的曲线；图(c)为经过中值滤波后的曲线。

图4为图卷积分类模块示意图。

图5为实施例异常婴儿的视频分析结果可视化结果示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

参照图1，一种基于图卷积网络的婴儿脑发育量化评估系统，包括姿态估计模块、序列预处理模块、特征提取模块、图卷积分类模块、多维指标分析模块和结果可视化模块；姿态估计模块的输入为婴儿运动视频，姿态估计模块的输出和序列预处理模块的输入连接，序列预处理模块的输出和特征提取模块的输入连接，特征提取模块的输出和图卷积分类模块的输入连接，图卷积分类模块的输出和多维指标分析模块的输入连接，多维指标分析模块的输出和结果可视化模块的输入连接；婴儿运动视频为婴儿的仰卧位自发运动视频，包含婴儿的全身肢体；婴儿运动视频采用深度运动视频和彩色运动视频。

所述的姿态估计模块实现婴儿运动视频的姿态识别和提取，将姿态识别的关节点分为4个body part，如图2所示，分别为part1＝{左肩，左肘，左腕}，part2＝{右肩，右肘，右腕}，part3＝{左髋，左膝，左踝}，part4＝{右髋，右膝，右踝}；经过姿态估计模块处理后，可以得到图2定义的所有关节点的关节坐标序列。

进一步的，对所得到的序列输入到序列预处理模块，序列预处理模块实现婴儿姿态序列坐标的插值、平滑滤波和归一化等预处理，序列预处理模块包括序列插值模块、中值滤波和均值平滑滤波模块和归一化模块。

如图3中(a)所示，所述的序列插值模块对所有的body part的关节点序列{J_i,t(x,y)}进行插值操作,i为对应body part的关节点定义，t为序列中的时间帧，x和y分别为对应关键点的坐标；选取合适时长和步长的时间窗，采用线性插值对{J_i,t(x,y)}插值。

所述的中值滤波和均值平滑滤波模块对插值后的{J_i,t(x,y)}进行中值滤波，去除野点和姿态识别中的噪声、抖动影响；选取合适的时间窗，对时间窗内的{J_i,t(x,y)}选取中值作为当前t时刻的坐标；进而如图3中(b)所示，对中值滤波后的{J_i,t(x,y)}进行平滑滤波处理，选取合适时长和步长的时间窗，如图3中(c)所示，计算时间窗内的坐标的平均值作为当前t时刻的坐标值。

所述的归一化模块首先计算各个关联骨骼之间的角度，并将所有骨骼归一化到单位长度1，按照计算的角度重新关联长度为1的对应骨骼，形成归一化后的骨骼模型。

接下来对归一化后的所有关节序列，在特征提取模块进行特征提取；所述的特征提取模块主要实现婴儿姿态序列坐标的数字特征表示，包括序列切分模块和特征计算模块。所述的序列切分模块选取一定时长和步长的时间窗，分别对4个body part进行切分，得到4个body part的clip子集，定义为{C_b|b＝part1，part2，part3，part4}，切分后的clip集合如图4中的输入所示；专家预先标定了部分{C_b}的标签，分别为A类：无运动，B类：正常运动，C类：异常运动，并构建了一定规模的训练数据集。

所述的特征计算模块以归一化后的每个clip关节点坐标、速度、加速度运动参数作为特征；

速度计算公式如下：

V_i，t＝J_i,t+1-J_i,t，其中V_i，t为第i个关节点在t时刻的速度，J_i,t+1为第i个关节点在t+1时刻坐标；

加速度计算公式如下：

A_i，t＝J_i,t+1+J_i,t-1 -2*J_i,t，其中A_i，t为第i个关节点在t时刻的加速度。则第i个关节点t时刻的特征X_i，t可以表示为：

X_i，t＝[J_i,t,V_i，t,A_i，t]

定义clip的窗长为L，那么每个clip的特征序列可以表示为{X_i，t}＝[X_i，t,X_i，t+1,…,X_i，t+L]。

所述的图卷积分类模块主要实现对切分的子序列进行分类，计算流程如图4所示，图中输入为各个bodypart的所有clip集合的特征，特征层和激活函数(ReLU)的叠加，最后得到每个clip的分类结果(0：不运动，1：正常运动，2：异常运动)；通过训练每个body part分类，分别得到4个对应的图卷积分类模型，将待分类的特征序列输入对应模型，可以得到待分析对应body part的所有clip分类结果。

接下来利用多维指标分析模块对所有的clip分类结果进行统计分析，所述的多维指标分析模块包括多肢体部分指标统计模块和多肢体部分分析模块；所述的多肢体部分指标统计模块将图卷积模型对{C_b}的分类结果进行统计，可以得到每个body part的ABC三类的样本数量，分别为num(A_b)，num(B_b)和num(C_b)。

所述的多肢体部分分析模块可以分析每个body part的运动质量，并提出婴儿的每个body part的活动度指标M_b和正常运动占比N_b，两个指标通过下式计算得到：

M_b＝(num(B_b)+num(C_b))/(num(A_b)+num(B_b)+num(C_b))

N_b＝num(B_b)/(num(B_b)+num(C_b))

当M_b越大，表明婴儿对应body part运动越活越；M_b越小，婴儿对应body part活动量较小，说明婴儿的运动质量较差，患有脑瘫风险越高，倾向于不安运动缺失型脑瘫；N_b越大，说明婴儿对应body part正常运动占比较多，脑瘫发生风险较小；反之，婴儿患有脑瘫风险较大；将M_b和N_b结合，可以判断婴儿患有不同类型脑瘫的风险，选定合适的阈值th1、th2，当M_b>th1,N_b>th2时，婴儿患有脑瘫风险较低；当M_b<th1,N_b>th2时，婴儿存在一定的脑瘫风险，建议加强观察训练；当M_b>th1,N_b<th2时，婴儿患有脑瘫的风险较高，高度怀疑为痉挛型脑瘫；当M_b<th1,N_b<th2时，婴儿患有脑瘫的风险较高，高度怀疑为不安运动缺乏型脑瘫。

最后可以利用所述的结果可视化模块对分类结果进行可视化，辅助医师进行判断，图5为实施例异常婴儿的视频分析结果可视化示意，从图5中可以看出该婴儿的四肢bodypart均存在明显的异常运动模式，其中左臂、右臂和左腿的异常分布较为均匀，而右腿主要在前半部分出现异常，说明婴儿的左臂、右臂和左腿的异常程度高，需要医师更多的干预手段。

Claims (7)

1.一种基于图卷积网络的婴儿脑发育量化评估系统，其特征在于：包括姿态估计模块、序列预处理模块、特征提取模块、图卷积分类模块、多维指标分析模块和结果可视化模块；姿态估计模块的输入为婴儿运动视频，姿态估计模块的输出和序列预处理模块的输入连接，序列预处理模块的输出和特征提取模块的输入连接，特征提取模块的输出和图卷积分类模块的输入连接，图卷积分类模块的输出和多维指标分析模块的输入连接，多维指标分析模块的输出和结果可视化模块的输入连接；

所述的婴儿运动视频为婴儿的仰卧位自发运动视频，包含婴儿的全身肢体；婴儿运动视频采用深度运动视频和彩色运动视频；

所述的姿态估计模块实现婴儿运动视频的姿态识别和提取；

所述的序列预处理模块实现婴儿姿态序列坐标的插值、平滑滤波和归一化等预处理；序列预处理模块包括序列插值模块、中值滤波和均值平滑滤波模块和归一化模块；

所述的特征提取模块实现婴儿姿态序列坐标的数字特征表示，包括序列切分模块和特征计算模块；

所述的图卷积分类模块实现对切分的子序列进行分类；

所述的多维指标分析模块实现婴儿多肢体部分的指标统计和分析，包括多肢体部分指标统计模块和多肢体部分分析模块；

所述的结果可视化模块实现婴儿的运动质量评估结果的可视化以及辅助医师进行判断。

2.根据权利要求1所述的系统，其特征在于：所述的婴儿运动视频为婴儿卧姿的二维姿态或三维姿态。

3.根据权利要求1所述的系统，其特征在于：所述的姿态估计模块将姿态识别的关节点分为4个body part，分别为part1＝{左肩，左肘，左腕}，part2＝{右肩，右肘，右腕}，part3＝{左髋，左膝，左踝}，part4＝{右髋，右膝，右踝}。

4.根据权利要求3所述的系统，其特征在于：所述的序列插值模块对所有的body part的关节点序列{J_i,t(x,y)}进行插值操作,i为对应body part的关节点定义，t为序列中的时间帧，x和y分别为对应关键点的坐标；选取时长和步长的时间窗，采用线性插值对{J_i,t(x,y)}插值；

所述的中值滤波和均值平滑滤波模块对插值后的{J_i,t(x,y)}进行中值滤波，去除野点和姿态识别中的噪声、抖动影响；选取时间窗，对时间窗内的{J_i,t(x,y)}选取中值作为当前t时刻的坐标；进而对中值滤波后的{J_i,t(x,y)}进行平滑滤波处理，选取时长和步长的时间窗，计算时间窗内的坐标的平均值作为当前t时刻的坐标值；

所述的归一化模块首先计算各个关联骨骼之间的角度，并将所有骨骼归一化到单位长度1，按照计算的角度重新关联长度为1的对应骨骼，形成归一化后的骨骼模型。

5.根据权利要求4所述的系统，其特征在于：所述的序列切分模块选取时长和步长的时间窗，分别对4个body part进行切分，得到4个body part的clip子集，定义为{C_b|b＝part1，part2，part3，part4}，专家预先标定了部分{C_b}的标签，分别为A类：无运动，B类：正常运动，C类：异常运动，并构建了训练数据集；

所述的特征计算模块以归一化后的每个clip关节点坐标、速度、加速度运动参数作为特征，坐标、速度、加速度自由组合；

速度计算公式如下：

V_i，t＝J_i,t+1-J_i,t，其中V_i，t为第i个关节点在t时刻的速度，J_i,t+1为第i个关节点在t+1时刻坐标；

加速度计算公式如下：

A_i，t＝J_i,t+1+J_i,t-1-2*J_i,t，其中A_i，t为第i个关节点在t时刻的加速度，则第i个关节点t时刻的特征X_i，t表示为：

X_i，t＝[J_i,t,V_i，t,A_i，t]

定义clip的窗长为L，那么每个clip的特征序列表示为{X_i，t}＝[X_i，t,X_i，t+1,…,X_i，t+L]。

6.根据权利要求5所述的系统，其特征在于：所述的多肢体部分指标统计模块将图卷积模型对{C_b}的分类结果进行统计，得到每个body part的ABC三类的样本数量，分别为num(A_b)，num(B_b)和num(C_b)；

所述的多肢体部分分析模块分析每个body part的运动质量，并提出婴儿的每个bodypart的活动度指标M_b和正常运动占比N_b，两个指标通过下式计算得到：

M_b＝(num(B_b)+num(C_b))/(num(A_b)+num(B_b)+num(C_b))

N_b＝num(B_b)/(num(B_b)+num(C_b))

当M_b越大，表明婴儿对应body part运动越活越；M_b越小，婴儿对应body part活动量较小，说明婴儿的运动质量较差；N_b越大，说明婴儿对应body part正常运动占比较多，脑瘫发生风险较小；反之，婴儿患有脑瘫风险较大；将M_b和N_b结合，判断婴儿患有不同类型脑瘫的风险，选定阈值th1、th2，实现最后的结论输出。

7.根据权利要求6所述的系统，其特征在于：所述的结果可视化模块对4个body part进行结果可视化输出，能够定位各个body part存在异常的位置。

Images