CN114081447B - 一种基于普通视频输入的婴儿脑发育状态评估系统 - Google Patents
一种基于普通视频输入的婴儿脑发育状态评估系统 Download PDFInfo
- Publication number
- CN114081447B CN114081447B CN202111382774.1A CN202111382774A CN114081447B CN 114081447 B CN114081447 B CN 114081447B CN 202111382774 A CN202111382774 A CN 202111382774A CN 114081447 B CN114081447 B CN 114081447B
- Authority
- CN
- China
- Prior art keywords
- infant
- module
- extraction module
- joint
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004641 brain development Effects 0.000 title claims abstract description 16
- 238000011156 evaluation Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002269 spontaneous effect Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 241000894007 species Species 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 6
- 210000003414 extremity Anatomy 0.000 description 11
- 206010008129 cerebral palsy Diseases 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Neurosurgery (AREA)
- Mathematical Physics (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于普通视频输入的婴儿脑发育状态评估系统,包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块;其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接,婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接,特征信号分析模块的输出与结论输出模块的输入连接;本发明能够方便准确的反映出婴儿的运动情况,对婴儿的脑发育进行准确的判断,辅助医师进行后续康复治疗,同时可以满足海量的、广泛的智能化脑发育状态筛查需求。
Description
技术领域
本发明属于婴儿脑发育评估技术领域,具体涉及一种基于普通视频输入的婴儿脑发育状态评估系统。
背景技术
儿科医师可以通过对婴儿床旁观察,依据经验分析婴儿的自发运动模式,诊断婴儿的脑发育状态,做到婴儿患脑性瘫痪风险的超早期评估。但是此类诊断方式严重依赖医师的专业经验,经验不足的医师容易造成误诊、漏诊,且对医师的培训时间长,不利于快速的大面积推广。为提高婴儿脑发育状态筛查的效率及准确性,可以采用普通摄像头采集特定发育阶段的婴儿运动视频,利用计算机辅助医师完成分析和诊断过程,实现婴儿超早期的脑发育客观量化评估,为脑瘫早期筛查和康复提供有力支持。
目前,随着计算机深度学习的发展,基于彩色图像的人体数字化信息提取成为了一个研究热点。现有的人体数字化信息提取技术主要包括动作识别、异常动作的分类等。在动作识别方面,主要应用于智能人机交互等领域,不适用于婴儿的非自主运动研究;同样,异常动作的分类大部分应用对象为成人的自主动作,也不适用于婴儿这一特殊对象,同时这些技术仅实现了动作的分类,没有对各类动作进行量表或者量化的分析。
利用计算机辅助儿科医师进行大规模的客观脑瘫超早期海量筛查,其核心问题就是将婴儿的运动信息通过彩色视频提取出来,并实现相应的特征提取及评估。但目前面向婴儿脑瘫的超早期评估方法多是基于异常运动模式的二分类,无法做到量化评估,不能全面的从本质上反映婴儿的风险程度,导致医师无法针对性的进行康复治疗。
发明内容
为了克服现有技术缺点,本发明的目的是提供一种基于普通视频输入的婴儿脑发育状态评估系统,能够方便准确的反映出婴儿的运动情况,对婴儿的脑发育进行准确的判断,辅助医师进行后续康复治疗,同时可以满足海量的、广泛的智能化脑发育状态筛查需求。
为达到以上目的,本发明采用的技术方案为:
一种基于普通视频输入的婴儿脑发育状态评估系统,包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块;其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接,婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接,特征信号分析模块的输出与结论输出模块的输入连接;
所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集,在采集过程中,婴儿应处于仰卧位,全部肢体应该都在摄像头的视场内;
所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块;人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标;人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算;
所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析,输出多次重复计算的分析结果;
所述的结论输出模块包括均值分析模块和意见输出模块;均值分析模块计算特征信号分析模块的输出均值,生成最终的综合评估指标;意见输出模块将综合评估指标和参考值对比,按照距离参考值的远近输出诊断结论和风险大小供医师参考。
所述的婴儿运动彩色视频采集模块以普通摄像头采集符合要求的婴儿卧姿运动视频。
所述的人体姿态提取模块利用卷积神经网络逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标。
所述的人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标,对其插值平滑滤波后,构成各肢体向量,进而计算对应各关节角度特征值。
所述的人体运动特征提取模块在提取关节角度特征前需对关节坐标进行剔除异常值、插值和平滑滤波处理,利用平滑滤波后的各关节坐标构建肢体向量;人体运动特征提取模块采用关节角度作为后续运动特征,需进一步的提取各肢体之间的角度变化。
所述的特征信号分析模块首先计算各关节点角度序列[θi]t的关联维数Di,具体计算如下:对[θi]t构建相空间,得到N个单元向量Xn,n=1,2,…,N,计算有关联的单位向量在所有的N个向量的N2种配对所占比例,即关联积分Ci,Ci由以下公式计算得到:
式中,H为阶跃函数,其定义为:
r为给定的一个正数,用来限制单元向量之间的关联度;那么对应关节角度特征的关联维数由以下公式计算得到:
同时,选定关节点集,选取对应的角度特征集合{[θi]t},计算不同关节点角度间的spearman相关矩阵p,则pi,j为对应关节点角度序列[θi]t和[θj]t之间的关联度;以选定的关节点集为节点,按照人体肢体的关联性初始化连接网络,计算节点之间的群聚系数E1和平均路径长度L1;然后以随机概率连接对应节点i和j,当随机概率大于等于pi,j时,连接两点,直到所有节点计算完全,形成重构网络,计算重构网络的群聚系数Ek和平均路径长度Lk;
群聚系数Ek的计算公式如下:
式中,M为选定的节点数量,ai为第i个节点在k次重构网络中连接的边数量,bi为第i个节点在k次重构网络中的相邻节点数量,k=1时计算得到E1;
平均路径长度Lk计算公式如下:
式中,M为选定的节点数量,di,j,k为第i节点和j节点的最短路径;
一次重构网络后,婴儿的综合运动质量分数Rw由下式得到:
式中,Rw为第w次重建的运动质量分数,M为选定的关节点数目,e为自然指数,Di为第i个关节点的角度特征序列的关联维数。
所述的均值分析模块调用W次特征信号分析模块得到W个婴儿的综合运动质量分数Rw,通过下式计算得到均值R:
意见输出模块将得到的R与预设定的参考值T进行对比,根据对比结果给出相应的结论供医师参考。
本发明的优点如下:
(1)本发明系统构成成本低廉,可以快速实现广泛的海量筛查;
(2)本发明系统输出客观量化的评估指标,可以对婴儿患脑瘫风险进行量化的风险评估,便于医师进行针对性治疗;
(3)本发明系统效率高,除去婴儿运动彩色视频采集模块,其余模块可实现自动化计算分析。
附图说明
图1为本发明的结构框图。
图2为本发明实施例某婴儿右肩x和y坐标的变化曲线,图(a)为姿态识别原始曲线;图(b)为经过样条插值后的曲线;图(c)为经过高斯平滑滤波后的曲线。
图3为本发明实施例14关节点人体关节点的位置标注示图。
图4为本发明实施例12组婴儿的视频分析结果示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
参照图1,一种基于普通视频输入的婴儿脑发育状态评估系统,包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块;其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接,婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接,特征信号分析模块的输出与结论输出模块的输入连接。
所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集,在采集过程中,婴儿应处于仰卧位,全部肢体应该都在摄像头的视场内。
所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块;人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标;人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算。
人体姿态提取模块可以利用深度学习中的卷积神经网络(例如openpose方法)逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标;人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标,对其插值平滑滤波后,构成各肢体向量,进而计算对应各关节角度特征值。由于人体姿态提取模块对婴儿运动视频逐帧提取骨骼点坐标,导致各关节坐标变化容易受抖动噪声影响,需要对关节坐标进行剔除异常值、插值及平滑滤波处理。人体运动特征提取模块采用3倍标准偏差法对肩关节和髋关节等关键点的序列进行误差剔除处理,将坐标数值在坐标序列均值±3倍标准差之外的序列异常点直接剔除。在婴儿的实际运动过程中,婴儿的动作连续且速度变化均衡,人体运动特征提取模块使用三次样条插值对剔除的误差点和识别困难的关键点进行插值处理,可以保证序列连续的同时保持插值部分光滑。进一步地,人体运动特征提取模块采用高斯滤波器对插值后的关节坐标序列进行平滑滤波,具体计算公式如下:
式中:P'i(t)为对应序号为i的关节点的某一维(x,y,z)滤波后的t时刻的坐标,m为高斯滤波器G的窗长,k为滤波器G内的序号,以m=5为例,即高斯滤波器G的窗长为5,此时G=[0.0545,0.2442,0.4026,0.2442,0.0545]。参照图2,图2为经过插值和滤波后的对应关节点的坐标变化曲线差异,可以看到经过处理后,坐标变化变得平滑,更符合婴儿的实际运动。
进一步地,人体运动特征提取模块利用平滑滤波后的各关节坐标构建肢体向量,以14个骨骼点为例(如图3所示),可构建如下14个肢体向量:头部至颈向量颈至右肩向量/>右肩至右肘向量/>右肘至右腕向量/>颈至左肩向量/>左肩至左肘向量/>左肘至左腕向量/>颈至右髋向量/>右髋至右膝向量/>右膝至右踝向量/>颈至左髋向量/>左髋至左膝向量/>左膝至左踝向量/>左髋至右髋向量/>以头部至颈向量/>为例,当输入二维骨骼点坐标时,/>计算公式如下:
当输入三维骨骼点坐标时,计算公式如下:
式中:(xi,yi)为身体骨骼点的对应二维坐标;(xi,yi,zi)分别身体对应骨骼点的三维坐标,其中序号i表示人体对应关键点,序号1为头部,序号14为颈部。人体运动特征提取模块采用关节角度作为后续运动特征,需进一步的提取各肢体之间的角度变化。以右肩关节角度计算为例,右肩关节角度θ5可以通过下式计算得到:
式中:θ为对应关节角度,下标5代表右肩关节序号。最后组成的关节角度特征集合可由需求确定。
所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析,输出多次重复计算的分析结果。具体来讲,特征信号分析模块首先计算各关节点角度序列[θi]t的关联维数Di。具体计算如下:对[θi]t构建相空间,得到N个单元向量Xn,n=1,2,…,N,计算有关联的单位向量在所有的N个向量的N2种配对所占比例,即关联积分Ci,Ci可由以下公式计算得到:
式中,H为阶跃函数,其定义为:
r为给定的一个正数,用来限制单元向量之间的关联度;那么对应关节角度特征的关联维数可由以下公式计算得到:
同时,选定特定的关节点集,选取对应的角度特征集合{[θi]t},计算不同关节点角度间的spearman相关矩阵p,则pi,j为对应关节点角度序列[θi]t和[θj]t之间的关联度。以选定的关节点集为节点,按照人体肢体的关联性初始化连接网络,计算节点之间的群聚系数E1和平均路径长度L1;然后以随机概率连接对应节点i和j,当随机概率大于等于pi,j时,连接两点,直到所有节点计算完全,形成重构网络,计算重构网络的群聚系数Ek和平均路径长度Lk。
群聚系数Ek的计算公式如下:
式中,M为选定的节点数量,ai为第i个节点在k次重构网络中连接的边数量,bi为第i个节点在k次重构网络中的相邻节点数量。由于初始网络和重构网络不同,因此k=1时可计算得到E1。
平均路径长度Lk计算公式如下:
式中,M为选定的节点数量,di,j,k为第i节点和j节点的最短路径。
一次重构网络后,婴儿的综合运动质量分数Rw可由下式得到:
式中,Rw为第w次重建的运动质量分数,M为选定的关节点数目,e为自然指数,Di为第i个关节点的角度特征序列的关联维数。
所述的结论输出模块包括均值分析模块和意见输出模块;均值分析模块计算特征信号分析模块的输出均值,生成最终的综合评估指标;意见输出模块将综合评估指标和参考值对比,按照距离参考值的远近输出诊断结论和风险大小供医师参考。均值分析模块输出的综合评估指标示例如图4所示。
具体来讲,均值分析模块调用W次特征信号分析模块,可以得到W个婴儿的综合运动质量分数Rw,通过下式计算得到均值R:
之后,在意见输出模块,将得到的R与预设定的参考值T进行对比,当R远小于T时,输出婴儿患脑瘫风险较大的结论;当R在T值一定范围时,输出婴儿患脑瘫风险存在的结论;当R远大于T值时,输出婴儿有极小风险患脑瘫的结论。
Claims (6)
1.一种基于普通视频输入的婴儿脑发育状态评估系统,其特征在于:包括婴儿运动彩色视频采集模块、婴儿姿态特征提取模块、特征信号分析模块以及结论输出模块;其中婴儿运动彩色视频采集模块的输出与婴儿姿态特征提取模块的输入连接,婴儿姿态特征提取模块的输出与特征信号分析模块的输入连接,特征信号分析模块的输出与结论输出模块的输入连接;
所述的婴儿运动彩色视频采集模块实现婴儿自发运动的视频采集,在采集过程中,婴儿应处于仰卧位,全部肢体应该都在摄像头的视场内;
所述的婴儿姿态特征提取模块包括人体姿态提取模块和人体运动特征提取模块;人体姿态提取模块将普通摄像头采集的彩色运动视频逐帧提取婴儿的各骨骼点坐标;人体运动特征提取模块实现各骨骼关节点坐标之间的平滑滤波处理及角度特征计算;
所述的特征信号分析模块实现婴儿骨骼关节角度序列的综合分析,输出多次重复计算的分析结果;
所述的结论输出模块包括均值分析模块和意见输出模块;均值分析模块计算特征信号分析模块的输出均值,生成最终的综合评估指标;意见输出模块将综合评估指标和参考值对比,按照距离参考值的远近输出诊断结论和风险大小供医师参考;
所述的特征信号分析模块首先计算各关节点角度序列[θi]t的关联维数Di,具体计算如下:对[θi]t构建相空间,得到N个单元向量Xn,n=1,2,…,N,计算有关联的单位向量在所有的N个向量的N2种配对所占比例,即关联积分Ci,Ci由以下公式计算得到:
式中,H为阶跃函数,其定义为:
r为给定的一个正数,用来限制单元向量之间的关联度;那么对应关节角度特征的关联维数由以下公式计算得到:
同时,选定关节点集,选取对应的角度特征集合{[θi]t},计算不同关节点角度间的spearman相关矩阵p,则pi,j为对应关节点角度序列[θi]t和[θj]t之间的关联度;以选定的关节点集为节点,按照人体肢体的关联性初始化连接网络,计算节点之间的群聚系数E1和平均路径长度L1;然后以随机概率连接对应节点i和j,当随机概率大于等于pi,j时,连接两点,直到所有节点计算完全,形成重构网络,计算重构网络的群聚系数Ek和平均路径长度Lk;
群聚系数Ek的计算公式如下:
式中,M为选定的节点数量,ai为第i个节点在k次重构网络中连接的边数量,bi为第i个节点在k次重构网络中的相邻节点数量,k=1时计算得到E1;
平均路径长度Lk计算公式如下:
式中,M为选定的节点数量,di,j,k为第i节点和j节点的最短路径;
一次重构网络后,婴儿的综合运动质量分数Rw由下式得到:
式中,Rw为第w次重建的运动质量分数,M为选定的关节点数目,e为自然指数,Di为第i个关节点的角度特征序列的关联维数。
2.根据权利要求1所述的系统,其特征在于:所述的婴儿运动彩色视频采集模块以普通摄像头采集符合要求的婴儿卧姿运动视频。
3.根据权利要求1所述的系统,其特征在于:所述的人体姿态提取模块利用卷积神经网络逐帧提取婴儿运动视频中的婴儿各骨骼点的二维或者三维坐标。
4.根据权利要求3所述的系统,其特征在于:所述的人体运动特征提取模块根据人体姿态提取模块输出的婴儿各骨骼点坐标,对其插值平滑滤波后,构成各肢体向量,进而计算对应各关节角度特征值。
5.根据权利要求4所述的系统,其特征在于:所述的人体运动特征提取模块在提取关节角度特征前需对关节坐标进行剔除异常值、插值和平滑滤波处理,利用平滑滤波后的各关节坐标构建肢体向量;人体运动特征提取模块采用关节角度作为后续运动特征,需进一步的提取各肢体之间的角度变化。
6.根据权利要求1所述的系统,其特征在于:所述的均值分析模块调用W次特征信号分析模块得到W个婴儿的综合运动质量分数Rw,通过下式计算得到均值R:
意见输出模块将得到的R与预设定的参考值T进行对比,根据对比结果给出相应的结论供医师参考。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111382774.1A CN114081447B (zh) | 2021-11-22 | 2021-11-22 | 一种基于普通视频输入的婴儿脑发育状态评估系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111382774.1A CN114081447B (zh) | 2021-11-22 | 2021-11-22 | 一种基于普通视频输入的婴儿脑发育状态评估系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114081447A CN114081447A (zh) | 2022-02-25 |
CN114081447B true CN114081447B (zh) | 2024-04-02 |
Family
ID=80302357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111382774.1A Active CN114081447B (zh) | 2021-11-22 | 2021-11-22 | 一种基于普通视频输入的婴儿脑发育状态评估系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114081447B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114999648B (zh) * | 2022-05-27 | 2023-03-24 | 浙江大学医学院附属儿童医院 | 基于婴儿动态姿态估计的脑性瘫痪早期筛查系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345853A (zh) * | 2013-07-04 | 2013-10-09 | 昆明医科大学第二附属医院 | 一种脑损伤后注意障碍训练系统及其训练方法 |
CN110269587A (zh) * | 2019-06-28 | 2019-09-24 | 中山大学中山眼科中心 | 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统 |
CN112842261A (zh) * | 2020-12-30 | 2021-05-28 | 西安交通大学 | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 |
DE102020205434A1 (de) * | 2020-04-29 | 2021-11-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Verfahren zur Ermittlung einer Entwicklung oder eines Entwicklungsstands eines Kleinkinds oder Säuglings |
-
2021
- 2021-11-22 CN CN202111382774.1A patent/CN114081447B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345853A (zh) * | 2013-07-04 | 2013-10-09 | 昆明医科大学第二附属医院 | 一种脑损伤后注意障碍训练系统及其训练方法 |
CN110269587A (zh) * | 2019-06-28 | 2019-09-24 | 中山大学中山眼科中心 | 婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统 |
DE102020205434A1 (de) * | 2020-04-29 | 2021-11-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Verfahren zur Ermittlung einer Entwicklung oder eines Entwicklungsstands eines Kleinkinds oder Säuglings |
CN112842261A (zh) * | 2020-12-30 | 2021-05-28 | 西安交通大学 | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 |
Non-Patent Citations (1)
Title |
---|
婴儿神经行为发育的评估方法;范瑾;封志纯;;实用儿科临床杂志(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114081447A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102184541B (zh) | 多目标优化人体运动跟踪方法 | |
CN112257534B (zh) | 一种从视频中估计三维人体姿态的方法 | |
CN112842261B (zh) | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 | |
CN111709289B (zh) | 一种用于提高人体解析效果的多任务深度学习模型 | |
CN111199207B (zh) | 基于深度残差神经网络的二维多人体姿态估计方法 | |
CN112668531A (zh) | 一种基于动作识别的运动姿态矫正方法 | |
CN111714339B (zh) | 人体下肢运动的脑-肌电融合小世界神经网络预测方法 | |
CN114081447B (zh) | 一种基于普通视频输入的婴儿脑发育状态评估系统 | |
Li et al. | Three-dimensional pose estimation of infants lying supine using data from a Kinect sensor with low training cost | |
CN112258555A (zh) | 实时姿态估计运动分析方法、系统、计算机设备及存储介质 | |
CN111914925A (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
Zeng et al. | Cross modality knowledge distillation between A-mode ultrasound and surface electromyography | |
CN116597996A (zh) | 基于自适应近邻传播自聚类模型的婴儿脑发育量化评估系统 | |
Cai et al. | Combining chrominance features and fast ICA for noncontact imaging photoplethysmography | |
Lannan et al. | Human motion enhancement via Tobit Kalman filter-assisted autoencoder | |
CN112085105A (zh) | 一种基于人体形状与姿态估计的动作相似度评价方法 | |
CN115205737B (zh) | 基于Transformer模型的运动实时计数方法和系统 | |
CN116749168A (zh) | 一种基于体势手势示教的康复轨迹获取方法 | |
CN115019388A (zh) | 一种利用单目摄像头拍摄步态视频全自动步态分析方法 | |
CN111507920B (zh) | 基于Kinect的骨骼运动数据增强方法及系统 | |
CN113327267A (zh) | 一种基于单目rgb视频的动作评价方法 | |
Palanimeera et al. | Yoga posture recognition by learning spatial-temporal feature with deep learning techniques | |
Lin et al. | A vision-based compensation detection approach during robotic stroke rehabilitation therapy | |
Benenaula et al. | Classification of Gait Anomalies By Using Space-Time Parameters Obtained With Pose Estimation | |
Patil et al. | Early detection of hemiplegia by analyzing the gait characteristics and walking patterns using convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |