CN114081447B - 一种基于普通视频输入的婴儿脑发育状态评估系统 - Google Patents

Abstract

一种基于普通视频输入的婴儿脑发育状态评估系统，包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块；其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接，婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接，特征信号分析模块的输出与结论输出模块的输入连接；本发明能够方便准确的反映出婴儿的运动情况，对婴儿的脑发育进行准确的判断，辅助医师进行后续康复治疗，同时可以满足海量的、广泛的智能化脑发育状态筛查需求。

Description

一种基于普通视频输入的婴儿脑发育状态评估系统

技术领域

本发明属于婴儿脑发育评估技术领域，具体涉及一种基于普通视频输入的婴儿脑发育状态评估系统。

背景技术

儿科医师可以通过对婴儿床旁观察，依据经验分析婴儿的自发运动模式，诊断婴儿的脑发育状态，做到婴儿患脑性瘫痪风险的超早期评估。但是此类诊断方式严重依赖医师的专业经验，经验不足的医师容易造成误诊、漏诊，且对医师的培训时间长，不利于快速的大面积推广。为提高婴儿脑发育状态筛查的效率及准确性，可以采用普通摄像头采集特定发育阶段的婴儿运动视频，利用计算机辅助医师完成分析和诊断过程，实现婴儿超早期的脑发育客观量化评估，为脑瘫早期筛查和康复提供有力支持。

目前，随着计算机深度学习的发展，基于彩色图像的人体数字化信息提取成为了一个研究热点。现有的人体数字化信息提取技术主要包括动作识别、异常动作的分类等。在动作识别方面，主要应用于智能人机交互等领域，不适用于婴儿的非自主运动研究；同样，异常动作的分类大部分应用对象为成人的自主动作，也不适用于婴儿这一特殊对象，同时这些技术仅实现了动作的分类，没有对各类动作进行量表或者量化的分析。

利用计算机辅助儿科医师进行大规模的客观脑瘫超早期海量筛查，其核心问题就是将婴儿的运动信息通过彩色视频提取出来，并实现相应的特征提取及评估。但目前面向婴儿脑瘫的超早期评估方法多是基于异常运动模式的二分类，无法做到量化评估，不能全面的从本质上反映婴儿的风险程度，导致医师无法针对性的进行康复治疗。

发明内容

为了克服现有技术缺点，本发明的目的是提供一种基于普通视频输入的婴儿脑发育状态评估系统，能够方便准确的反映出婴儿的运动情况，对婴儿的脑发育进行准确的判断，辅助医师进行后续康复治疗，同时可以满足海量的、广泛的智能化脑发育状态筛查需求。

为达到以上目的，本发明采用的技术方案为：

一种基于普通视频输入的婴儿脑发育状态评估系统，包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块；其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接，婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接，特征信号分析模块的输出与结论输出模块的输入连接；

所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集，在采集过程中，婴儿应处于仰卧位，全部肢体应该都在摄像头的视场内；

所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块；人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标；人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算；

所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析，输出多次重复计算的分析结果；

所述的结论输出模块包括均值分析模块和意见输出模块；均值分析模块计算特征信号分析模块的输出均值，生成最终的综合评估指标；意见输出模块将综合评估指标和参考值对比，按照距离参考值的远近输出诊断结论和风险大小供医师参考。

所述的婴儿运动彩色视频采集模块以普通摄像头采集符合要求的婴儿卧姿运动视频。

所述的人体姿态提取模块利用卷积神经网络逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标。

所述的人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标，对其插值平滑滤波后，构成各肢体向量，进而计算对应各关节角度特征值。

所述的人体运动特征提取模块在提取关节角度特征前需对关节坐标进行剔除异常值、插值和平滑滤波处理，利用平滑滤波后的各关节坐标构建肢体向量；人体运动特征提取模块采用关节角度作为后续运动特征，需进一步的提取各肢体之间的角度变化。

所述的特征信号分析模块首先计算各关节点角度序列[θ_i]_t的关联维数D_i，具体计算如下：对[θ_i]_t构建相空间，得到N个单元向量X_n，n＝1,2,…,N,计算有关联的单位向量在所有的N个向量的N²种配对所占比例，即关联积分C_i，C_i由以下公式计算得到：

式中，H为阶跃函数，其定义为：

r为给定的一个正数，用来限制单元向量之间的关联度；那么对应关节角度特征的关联维数由以下公式计算得到：

同时，选定关节点集，选取对应的角度特征集合{[θ_i]_t}，计算不同关节点角度间的spearman相关矩阵p，则p_i,j为对应关节点角度序列[θ_i]_t和[θ_j]_t之间的关联度；以选定的关节点集为节点，按照人体肢体的关联性初始化连接网络，计算节点之间的群聚系数E₁和平均路径长度L₁；然后以随机概率连接对应节点i和j，当随机概率大于等于p_i,j时，连接两点，直到所有节点计算完全，形成重构网络，计算重构网络的群聚系数E_k和平均路径长度L_k；

群聚系数E_k的计算公式如下：

式中，M为选定的节点数量，a_i为第i个节点在k次重构网络中连接的边数量，b_i为第i个节点在k次重构网络中的相邻节点数量，k＝1时计算得到E₁；

平均路径长度L_k计算公式如下：

式中，M为选定的节点数量，d_i,j,k为第i节点和j节点的最短路径；

一次重构网络后，婴儿的综合运动质量分数R_w由下式得到：

式中，R_w为第w次重建的运动质量分数，M为选定的关节点数目，e为自然指数，D_i为第i个关节点的角度特征序列的关联维数。

所述的均值分析模块调用W次特征信号分析模块得到W个婴儿的综合运动质量分数R_w，通过下式计算得到均值R：

意见输出模块将得到的R与预设定的参考值T进行对比，根据对比结果给出相应的结论供医师参考。

本发明的优点如下：

(1)本发明系统构成成本低廉，可以快速实现广泛的海量筛查；

(2)本发明系统输出客观量化的评估指标，可以对婴儿患脑瘫风险进行量化的风险评估，便于医师进行针对性治疗；

(3)本发明系统效率高，除去婴儿运动彩色视频采集模块，其余模块可实现自动化计算分析。

附图说明

图1为本发明的结构框图。

图2为本发明实施例某婴儿右肩x和y坐标的变化曲线，图(a)为姿态识别原始曲线；图(b)为经过样条插值后的曲线；图(c)为经过高斯平滑滤波后的曲线。

图3为本发明实施例14关节点人体关节点的位置标注示图。

图4为本发明实施例12组婴儿的视频分析结果示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

参照图1，一种基于普通视频输入的婴儿脑发育状态评估系统，包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块；其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接，婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接，特征信号分析模块的输出与结论输出模块的输入连接。

所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集，在采集过程中，婴儿应处于仰卧位，全部肢体应该都在摄像头的视场内。

所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块；人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标；人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算。

人体姿态提取模块可以利用深度学习中的卷积神经网络(例如openpose方法)逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标；人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标，对其插值平滑滤波后，构成各肢体向量，进而计算对应各关节角度特征值。由于人体姿态提取模块对婴儿运动视频逐帧提取骨骼点坐标，导致各关节坐标变化容易受抖动噪声影响，需要对关节坐标进行剔除异常值、插值及平滑滤波处理。人体运动特征提取模块采用3倍标准偏差法对肩关节和髋关节等关键点的序列进行误差剔除处理，将坐标数值在坐标序列均值±3倍标准差之外的序列异常点直接剔除。在婴儿的实际运动过程中，婴儿的动作连续且速度变化均衡，人体运动特征提取模块使用三次样条插值对剔除的误差点和识别困难的关键点进行插值处理，可以保证序列连续的同时保持插值部分光滑。进一步地，人体运动特征提取模块采用高斯滤波器对插值后的关节坐标序列进行平滑滤波，具体计算公式如下：

式中：P'_i(t)为对应序号为i的关节点的某一维(x，y，z)滤波后的t时刻的坐标，m为高斯滤波器G的窗长，k为滤波器G内的序号，以m＝5为例，即高斯滤波器G的窗长为5，此时G＝[0.0545,0.2442,0.4026,0.2442,0.0545]。参照图2，图2为经过插值和滤波后的对应关节点的坐标变化曲线差异，可以看到经过处理后，坐标变化变得平滑，更符合婴儿的实际运动。

进一步地，人体运动特征提取模块利用平滑滤波后的各关节坐标构建肢体向量，以14个骨骼点为例(如图3所示)，可构建如下14个肢体向量：头部至颈向量颈至右肩向量/>右肩至右肘向量/>右肘至右腕向量/>颈至左肩向量/>左肩至左肘向量/>左肘至左腕向量/>颈至右髋向量/>右髋至右膝向量/>右膝至右踝向量/>颈至左髋向量/>左髋至左膝向量/>左膝至左踝向量/>左髋至右髋向量/>以头部至颈向量/>为例，当输入二维骨骼点坐标时，/>计算公式如下：

当输入三维骨骼点坐标时，计算公式如下：

式中：(x_i,y_i)为身体骨骼点的对应二维坐标；(x_i,y_i,z_i)分别身体对应骨骼点的三维坐标，其中序号i表示人体对应关键点，序号1为头部，序号14为颈部。人体运动特征提取模块采用关节角度作为后续运动特征，需进一步的提取各肢体之间的角度变化。以右肩关节角度计算为例，右肩关节角度θ₅可以通过下式计算得到：

式中：θ为对应关节角度，下标5代表右肩关节序号。最后组成的关节角度特征集合可由需求确定。

所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析，输出多次重复计算的分析结果。具体来讲，特征信号分析模块首先计算各关节点角度序列[θ_i]_t的关联维数D_i。具体计算如下：对[θ_i]_t构建相空间，得到N个单元向量X_n，n＝1,2,…,N,计算有关联的单位向量在所有的N个向量的N²种配对所占比例，即关联积分C_i，C_i可由以下公式计算得到：

式中，H为阶跃函数，其定义为：

r为给定的一个正数，用来限制单元向量之间的关联度；那么对应关节角度特征的关联维数可由以下公式计算得到：

同时，选定特定的关节点集，选取对应的角度特征集合{[θ_i]_t}，计算不同关节点角度间的spearman相关矩阵p，则p_i,j为对应关节点角度序列[θ_i]_t和[θ_j]_t之间的关联度。以选定的关节点集为节点，按照人体肢体的关联性初始化连接网络，计算节点之间的群聚系数E₁和平均路径长度L₁；然后以随机概率连接对应节点i和j，当随机概率大于等于p_i,j时，连接两点，直到所有节点计算完全，形成重构网络，计算重构网络的群聚系数E_k和平均路径长度L_k。

群聚系数E_k的计算公式如下：

式中，M为选定的节点数量，a_i为第i个节点在k次重构网络中连接的边数量，b_i为第i个节点在k次重构网络中的相邻节点数量。由于初始网络和重构网络不同，因此k＝1时可计算得到E₁。

平均路径长度L_k计算公式如下：

式中，M为选定的节点数量，d_i,j,k为第i节点和j节点的最短路径。

一次重构网络后，婴儿的综合运动质量分数R_w可由下式得到：

式中，R_w为第w次重建的运动质量分数，M为选定的关节点数目，e为自然指数，D_i为第i个关节点的角度特征序列的关联维数。

所述的结论输出模块包括均值分析模块和意见输出模块；均值分析模块计算特征信号分析模块的输出均值，生成最终的综合评估指标；意见输出模块将综合评估指标和参考值对比，按照距离参考值的远近输出诊断结论和风险大小供医师参考。均值分析模块输出的综合评估指标示例如图4所示。

具体来讲，均值分析模块调用W次特征信号分析模块，可以得到W个婴儿的综合运动质量分数R_w，通过下式计算得到均值R：

之后，在意见输出模块，将得到的R与预设定的参考值T进行对比，当R远小于T时，输出婴儿患脑瘫风险较大的结论；当R在T值一定范围时，输出婴儿患脑瘫风险存在的结论；当R远大于T值时，输出婴儿有极小风险患脑瘫的结论。

Claims (6)

1.一种基于普通视频输入的婴儿脑发育状态评估系统，其特征在于：包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块；其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接，婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接，特征信号分析模块的输出与结论输出模块的输入连接；

所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集，在采集过程中，婴儿应处于仰卧位，全部肢体应该都在摄像头的视场内；

所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块；人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标；人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算；

所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析，输出多次重复计算的分析结果；

所述的结论输出模块包括均值分析模块和意见输出模块；均值分析模块计算特征信号分析模块的输出均值，生成最终的综合评估指标；意见输出模块将综合评估指标和参考值对比，按照距离参考值的远近输出诊断结论和风险大小供医师参考；

所述的特征信号分析模块首先计算各关节点角度序列[θ_i]_t的关联维数D_i，具体计算如下：对[θ_i]_t构建相空间，得到N个单元向量X_n，n＝1,2,…,N,计算有关联的单位向量在所有的N个向量的N²种配对所占比例，即关联积分C_i，C_i由以下公式计算得到：

式中，H为阶跃函数，其定义为：

r为给定的一个正数，用来限制单元向量之间的关联度；那么对应关节角度特征的关联维数由以下公式计算得到：

同时，选定关节点集，选取对应的角度特征集合{[θ_i]_t}，计算不同关节点角度间的spearman相关矩阵p，则p_i,j为对应关节点角度序列[θ_i]_t和[θ_j]_t之间的关联度；以选定的关节点集为节点，按照人体肢体的关联性初始化连接网络，计算节点之间的群聚系数E₁和平均路径长度L₁；然后以随机概率连接对应节点i和j，当随机概率大于等于p_i,j时，连接两点，直到所有节点计算完全，形成重构网络，计算重构网络的群聚系数E_k和平均路径长度L_k；

群聚系数E_k的计算公式如下：

式中，M为选定的节点数量，a_i为第i个节点在k次重构网络中连接的边数量，b_i为第i个节点在k次重构网络中的相邻节点数量，k＝1时计算得到E₁；

平均路径长度L_k计算公式如下：

式中，M为选定的节点数量，d_i,j,k为第i节点和j节点的最短路径；

一次重构网络后，婴儿的综合运动质量分数R_w由下式得到：

式中，R_w为第w次重建的运动质量分数，M为选定的关节点数目，e为自然指数，D_i为第i个关节点的角度特征序列的关联维数。

2.根据权利要求1所述的系统，其特征在于：所述的婴儿运动彩色视频采集模块以普通摄像头采集符合要求的婴儿卧姿运动视频。

3.根据权利要求1所述的系统，其特征在于：所述的人体姿态提取模块利用卷积神经网络逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标。

4.根据权利要求3所述的系统，其特征在于：所述的人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标，对其插值平滑滤波后，构成各肢体向量，进而计算对应各关节角度特征值。

5.根据权利要求4所述的系统，其特征在于：所述的人体运动特征提取模块在提取关节角度特征前需对关节坐标进行剔除异常值、插值和平滑滤波处理，利用平滑滤波后的各关节坐标构建肢体向量；人体运动特征提取模块采用关节角度作为后续运动特征，需进一步的提取各肢体之间的角度变化。

6.根据权利要求1所述的系统，其特征在于：所述的均值分析模块调用W次特征信号分析模块得到W个婴儿的综合运动质量分数R_w，通过下式计算得到均值R：

意见输出模块将得到的R与预设定的参考值T进行对比，根据对比结果给出相应的结论供医师参考。