CN116671902A - 一种辅助诊断脑瘫的婴儿运动姿态分析系统 - Google Patents
一种辅助诊断脑瘫的婴儿运动姿态分析系统 Download PDFInfo
- Publication number
- CN116671902A CN116671902A CN202310750526.0A CN202310750526A CN116671902A CN 116671902 A CN116671902 A CN 116671902A CN 202310750526 A CN202310750526 A CN 202310750526A CN 116671902 A CN116671902 A CN 116671902A
- Authority
- CN
- China
- Prior art keywords
- infant
- characteristic
- processing module
- module
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 79
- 238000004458 analytical method Methods 0.000 title claims abstract description 47
- 206010008129 cerebral palsy Diseases 0.000 title claims abstract description 37
- 238000003745 diagnosis Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000011161 development Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 206010058314 Dysplasia Diseases 0.000 claims abstract description 5
- 210000005036 nerve Anatomy 0.000 claims abstract description 5
- 238000010219 correlation analysis Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000003988 neural development Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 7
- 210000003423 ankle Anatomy 0.000 claims description 6
- 230000000739 chaotic effect Effects 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 210000003127 knee Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 230000018109 developmental process Effects 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 230000030363 nerve development Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003759 clinical diagnosis Methods 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000003066 decision tree Methods 0.000 abstract description 4
- 210000004556 brain Anatomy 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 206010012559 Developmental delay Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 208000031361 Hiccup Diseases 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 206010040026 Sensory disturbance Diseases 0.000 description 1
- 208000028752 abnormal posture Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000007472 neurodevelopment Effects 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/04—Babies, e.g. for SIDS detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Dentistry (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种辅助诊断脑瘫的婴儿运动姿态分析系统，属于医学测量技术领域。该系统包括视频处理模块、图像处理模块、数据处理模块、分析模块、判别模块和用户图形界面模块，在婴幼儿内脑发育早期对运动功能进行客观评价，辅助医生做出婴幼儿脑瘫与否的诊断。本发明的优点为：1、可通过婴儿全身运动视频，判断待测婴儿是否患有脑瘫风险，从而实现对高危婴儿的早期治疗与康复；2、分析模块基于统计学原理，获得了可靠性更强的预测分类特征向量，可定量研究婴儿运动特征与神经发育异常的相关性；3、判别模块基于关键点时间窗序列决策阈值策略和对称决策树算法，提高了预测分类的准确性和泛化性。
Description
技术领域
本发明属于医学测量技术领域，具体涉及一种辅助诊断脑瘫的婴儿运动姿态分析系统。
背景技术
脑瘫(cerebralpalsy)，全称脑性瘫痪，是指婴儿出生前到出生后一个月内脑发育早期，由于多种原因导致的非进行性脑损伤综合征。主要表现为中枢性运动障碍以及姿势异常，还可伴有智力低下、癫痫、感知觉障碍、语言障碍及精神行为异常等，是引起小儿机体运动残疾的主要疾病之一。
目前对于婴幼儿脑瘫的早期诊断，主要依靠GMFM粗大运动功能评估表、头颅影像学(如核磁共振、CT或B超的异常)、表面肌电信号sEMG、步态运动特征参数分析等，结合医生经验，得出脑瘫的诊断结果。采用以上方案，一般在幼儿三岁后确诊脑瘫，延误了脑瘫的早期干预治疗。此外，肌电信号检测信噪比低，干扰排除难；GMFM量表判断精确度不够，且依赖人的主观判断；考虑到辐射等因素，头颅影像学不适宜用于婴幼儿检测。
全身运动评估作为鉴别早期婴儿脑性瘫痪等神经发育障碍疾病的重要手段，可以在不接触婴儿对其造成影响的情况下对其健康发展状况提出有一定说服力的诊断结果。但是仅靠观察员来进行评估工作不仅需要长时间的训练模式，还可能因为个别性偏差导致误诊，因此借助视频、电磁跟踪等辅助设备来进全身运动评估具有一定的重要现实意义。
发明内容
有鉴于此，本发明的目的在于提供一种辅助诊断脑瘫的婴儿运动姿态分析系统。在婴幼儿早期的爬行阶段，基于运动姿态，判断待测婴儿是否患有脑瘫风险，从而更方便地实现对高危婴儿的早期治疗与康复。
为达到上述目的，本发明提供了一种辅助诊断脑瘫的婴儿运动姿态分析系统，包括视频处理模块、图像处理模块、数据处理模块、分析模块、判别模块和用户图形界面模块；所述视频处理模块向图像处理模块传送图像，所述图像处理模块向数据处理模块传送数据；所述数据处理模块向分析模块传输数据，所述分析模块向判别模块传送数据，所述数据处理模块、分析模块和判别模块均与用户图形界面模块交互数据；
视频处理模块：将婴儿视频每隔10帧拆分为图像，时间间隔为Δt；
图像处理模块：对视频处理模块拆分的图像进行特征提取，每隔Δt时间提取婴儿各特征关节点的平面坐标，并对拆分的图像进行高斯滤波；
所述婴儿特征关节点包括：鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳18个关节点；
数据处理模块：从时域和频域两个方面对婴儿运动特征信息进行数据处理；
在时域上，计算婴儿上一帧的关节点像素坐标与下一帧的关节点像素坐标的距离变化，从而得到婴儿各特征关节点的速度序列与加速度序列；
在频域上，计算婴儿运动时的能量谱密度；
分析模块：
I.用于特征数据的降维处理：对于婴儿18个特征关节点的特征数据，采用PCA主成分析法进行降维处理，并对降维后的信息保留量进行评估；
II.相关性分析：从运动特征数据的大小和曲线趋势两个方面进行相关性分析，比较标准视频与样本视频的相关性，用相关系数表示样本视频与标准视频的相关程度；
判别模块：设有基于CatBoost建立的婴儿神经发育判别模型和时间窗阈值决策损失函数，用于辅助婴儿脑瘫诊断。
进一步，所述数据处理模块在频域上，计算婴儿运动时的能量谱密度的流程如下：
1).设一个运动信号s(t)的能量为E，运动信号的能量由式(3)决定：
2).运动信号s(t)傅里叶变换，即频谱密度为S(f)，则由巴塞伐尔定理可知：
式中，|S(f)|2为能量谱密度，表示在频率f处宽度为f的频带内的信号能量，或单位频带内的信号能量。
进一步，所述分析模块用于降维处理的流程如下：
S1.假设婴儿的特征关节点共涉及到p个关节，用X1,X2,…,Xp分别表示，每一列表示对应关节每隔12帧运动的速度或加速度；
S2.计算标准化样本的协方差矩阵；
首先对标准化样本进行协方差计算：
得到样本相关系数矩阵为：
S3.计算R的特征值和特征向量，得到婴儿肢体的特征值及特征向量；
特征值：λ1≥λ2≥…≥λp≥0；
特征向量：
将婴儿全身运动特征用p个主成分Y表示，每个主成分都是p个关节的线性组合；
S4.计算各关节部位的主成分Y的贡献率及累计贡献率；
贡献率是特征值的归一化体现，累计贡献率则是对贡献率的叠加，计算公式如下：
进一步，所述相关性分析包括婴儿运动速度和加速度的大小与神经发育的关联分析、灰色关联分析。
进一步，所述婴儿运动速度和加速度与神经发育的关联分析的流程如下：
采用式(12)所示的距离度量来衡量样本与正常婴儿在运动特征数据上存在的差距，d1i距离越小说明样本视频与标准视频的运动数据值相差较小，表明个体间的差异小；
进一步，所述灰色关联分析的流程如下：
首先标定母序列和子序列，定义子序列中各个指标与母序列的相关系数：
式中，a代表|x0(k)-xi(k)|的两极最小差；b表示|x0(k)-xi(k)|的两极最大差；ρ1为分辨系数，取ρ1＝0.5；
计算灰色关联度：
灰色相关度越大，曲线越接近，相应序列之间的关联度就越大，反之就越小。
进一步，所述判别模块辅助诊断脑瘫的流程如下：
①.提取初始层的运动姿态特征，并基于初始层前十个重要关节点进行预测分类，后续骨架特征层则对18个关节点信息进行处理，据此构建5s时间窗序列；
②.根据5s时间窗序列中各帧图像所获取特征与神经发育异常的相关性程度，按阈值进行判断划分：当检测出异常特征占比超过50％时，判别为具有潜在神经异常疾病的对象；当该占比低于50％时，判别为低风险对象；
③.进一步将异常特征占比划分为75％和25％两条标准，结合GMS评估中，对于扭动运动阶段中对观察婴儿中出现的轻度异常所存在的单调性GMS模式和混乱性GMS模型进行补充评估预测；
单调性GMS：存在一定异于正常婴儿的特征，但对临床诊断无参考价值，异常特征占比为25％～50％；
混乱性GMS：在检测时特征不明显，在数周后发展明显异常，异常特征占比为50％～75％。
本发明的有益效果：
1.本发明一种辅助诊断脑瘫的婴儿运动姿态分析系统设有视频处理模块、图像处理模块、数据处理模块、分析模块、判别模块和用户图形界面模块，可通过婴儿全身运动视频，进行辅助诊断，判断待测婴儿是否患有脑瘫风险，从而更方便地实现对高危婴儿的早期治疗与康复。
2.本发明一种辅助诊断脑瘫的婴儿运动姿态分析系统，分析模块基于统计学原理，通过主成分分析、方差分析以及灰色相关度计算，获得了具有一定可靠性的预测分类特征向量，可定量研究婴儿运动特征与神经发育异常的相关性；判别模块基于关键点时间窗序列决策阈值策略和对称决策树算法，解决了典型预测分类算法在脑瘫预测中存在的梯度偏差和预测偏移的问题，提高了预测分类的准确性和泛化性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为系统各部分关系示意图；
图2为系统检测的流程图；
图3为前n个成分所占的方差百分比。
具体实施方式
为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请的保护范围。
如图1所示，本发明提供了一种辅助诊断脑瘫的婴儿运动姿态分析系统，包括视频处理模块、图像处理模块、数据处理模块、分析模块、判别模块和用户图形界面模块；视频处理模块向图像处理模块传送图像，图像处理模块向数据处理模块传送数据；数据处理模块向分析模块传输数据，分析模块向判别模块传送数据，数据处理模块、分析模块和判别模块均与用户图形界面模块交互数据；
视频处理模块：将婴儿视频每隔10帧拆分为图像，时间间隔为Δt＝0.48s；
图像处理模块：对视频处理模块拆分的图像进行特征提取，每隔Δt时间提取婴儿各特征关节点的平面坐标，并对拆分的图像进行高斯滤波；
婴儿特征关节点包括：鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳18个关节点；
数据处理模块：从时域和频域两个方面对婴儿运动特征信息进行数据处理；
a.在时域上，计算婴儿上一帧的关节点像素坐标与下一帧的关节点像素坐标的距离变化，从而得到婴儿各特征关节点的速度序列与加速度序列；
b.在频域上，计算婴儿运动时的能量谱密度；
计算婴儿运动时的能量谱密度的流程如下：
1).设一个运动信号s(t)的能量为E，运动信号的能量由式(3)决定：
2).运动信号s(t)傅里叶变换，即频谱密度为S(f)，则由巴塞伐尔定理可知：
式中，|S(f)|2为能量谱密度，表示在频率f处宽度为f的频带内的信号能量，或单位频带内的信号能量。
分析模块：
I.用于特征数据的降维处理：对于婴儿18个特征关节点的特征数据，采用PCA主成分析法进行降维处理，并对降维后的信息保留量进行评估，并将其纳入到判断婴儿神经发育的分类向量中；
分析模块用于降维处理的流程如下：
S1.假设婴儿的特征关节点共涉及到p个关节，用X1，X2，…，Xp分别表示，每一列表示对应关节每隔12帧运动的速度或加速度；
S2.计算标准化样本的协方差矩阵；
首先对标准化样本进行协方差计算：
得到样本相关系数矩阵为：
S3.计算R的特征值和特征向量，得到婴儿肢体的特征值及特征向量；
特征值：λ1≥λ2≥…≥λp≥0；
特征向量：
将婴儿全身运动特征用p个主成分Y表示，每个主成分都是p个关节的线性组合；
S4.计算各关节部位的主成分Y的贡献率及累计贡献率；
特征值是表征主成分概括性是否全面的一个指标，特征值越大，表明主成分能较好地概括原始指标的数据。贡献率是特征值的归一化体现，累计贡献率则是对贡献率的叠加，计算公式如下：
II.相关性分析：从运动特征数据的大小和曲线趋势两个方面进行相关性分析，比较标准视频与样本视频的相关性，用相关系数表示样本视频与标准视频的相关程度；
相关性分析包括婴儿运动速度和加速度的大小与神经发育的关联分析、灰色关联分析。
婴儿运动速度和加速度与神经发育的关联分析的流程如下：
采用式(12)所示的距离度量来衡量样本与正常婴儿在运动特征数据上存在的差距，d1i距离越小说明样本视频与标准视频的运动数据值相差较小，表明个体间的差异小；
灰色关联分析的流程如下：
式中，a代表|x0(k)-xi(k)|的两极最小差；b表示|x0(k)-xi(k)|的两极最大差；ρ1为分辨系数，取ρ1＝0.5；
计算灰色关联度：
灰色相关度越大，曲线越接近，相应序列之间的关联度就越大，反之就越小。
判别模块：设有基于CatBoost建立的婴儿神经发育判别模型和时间窗阈值决策损失函数，用于辅助婴儿脑瘫诊断。
判别模块辅助诊断脑瘫的流程如下：
①.提取初始层的运动姿态特征，并基于初始层前十个重要关节点进行预测分类，后续骨架特征层则对18个关节点信息进行处理，据此构建5s时间窗序列；
②.根据5s时间窗序列中各帧图像所获取特征与神经发育异常的相关性程度，按阈值进行判断划分：当检测出异常特征占比超过50％时，判别为具有潜在神经异常疾病的对象；当该占比低于50％时，判别为低风险对象；
③.进一步将异常特征占比划分为75％和25％两条标准，结合GMS评估中，对于扭动运动阶段中对观察婴儿中出现的轻度异常所存在的单调性GMS模式和混乱性GMS模型进行补充评估预测；
单调性GMS：存在一定异于正常婴儿的特征，但仍然对临床诊断无参考价值，异常特征占比为25％～50％；
混乱性GMS：在检测时特征不明显，在数周后发展明显异常，异常特征占比为50％～75％。
实施例1
本实施例从医院获取了148条婴儿全身运动视频，每条视频已均有专业医师通过GMA进行了神经发育检测，每条时长在3分钟左右，其中有61条神经发育正常的婴儿运动视频，87条神经发育异常的婴儿运动视频。148条视频中选取一条婴儿神经发育正常的运动视频数据作为标准数据，剩余147条作为样本数据。如图2所示，将上述婴儿全身运动视频导入本发明辅助诊断脑瘫的婴儿运动姿态分析系统，进行检测分析，具体过程如下：
1).进行婴儿自发运动视频的采集及图片预处理。
录像标准：室温维持在26～28℃，光线柔和且保持安静。小婴儿仰卧在单素色床上，身着紧身棉质背心或暴露全身，不用枕头，持拍摄装置在患儿脚侧距离1.2～1.5m高、45°角度拍摄其清醒状态情况；拍摄位置固定，以免相机晃动出现虚影。需要摄录到婴儿全身状态，要避免哭闹、打嗝、吸吮奶嘴等干扰。
图片预处理：将视频导入本发明系统，通过视频处理模块将婴儿视频每隔10帧拆分为图像，时间间隔为Δt＝0.48s。
2).通过图像处理模块对视频处理模块拆分的图像进行特征提取，每隔Δt时间提取婴儿各特征关节点的平面坐标，并对拆分的图像进行高斯滤波。
3).通过数据处理模块，从时域和频域两个方面对婴儿运动特征信息进行数据处理。
在时域上，计算婴儿上一帧的关节点像素坐标与下一帧的关节点像素坐标的距离变化(用欧氏距离表示)，求出婴儿各特征关节点的速度序列与加速度序列。在频域上，设一个运动信号s(t)的能量为E，运动信号s(t)傅里叶变换，得到婴儿运动时的能量谱密度。
4).主成分分析
通过分析模块对提取的18个运动特征进行降维处理，采用PCA算法函数进行计算，通过获取不同的n_components参数，并对比所降维后的信息保留量进行评估。图3为前b个成分所占的方差百分比，从图3中可以看出，前10个主成分的贡献度已经达到了90％多，从第10个点之后所占用的主成分对整体影响较少。因此提取前10个作为新的样本输入，并进行分类。
5).变异系数分析
变异系数可以反映婴儿运动数据的离散程度，离散程度越大，波动性越大，这是影响婴儿神经发育的关键因素，也应该纳入到判断婴儿神经发育的分类向量中。变异系数的定义如下：其中σi为在一定时间内，婴儿第i组主成分序列运动特征数据的标准差，μi为在一定时间内，婴儿第i组主成分序列运动特征数据的平均值。
6).通过分析模块从运动特征数据的大小和曲线趋势两个方面进行相关性分析。
通过比较标准视频与样本视频的相关性，得到的相关系数可表示样本视频与标准视频的相关程度，并将其纳入到判断婴儿神经发育的分类向量中。利用距离度量来衡量样本与正常婴儿在运动特征数据上存在的差距，距离越小说明样本视频与标准视频的运动数据值相差较小，表明个体间的差异小。利用灰色关联分析从几何曲线的相似程度方面推测其关联度。
具体流程如下：
首先确定需要分析的序列，由于该种情况下，不同的实验结果指标所对应的量化值不同，因此我们单一化分析二元之间的关系。其次定义子序列中各个指标与母序列的相关系数。先对母序列和子序列进行预处理，求出每一个序列的均值，再将该序列中的指标除以该均值，去量纲使得缩小变量范围化简计算。最后计算灰色关联度，灰色相关度越大，曲线越接近，相应序列之间的关联度就越大，反之就越小。
7).通过基于CatBoost建立的婴儿神经发育判别模型和时间窗阈值决策损失函数，辅助婴儿脑瘫诊断。
集成学习算法将多个决策树模型(弱学习器)进行层层叠加，将总模型提升为强学习器，采用串行方式运行，多个弱学习器的预测结果相加即为最终模型的预测结果，同时加入时间窗阈值决策损失函数，最终得到结果如表1所示。
表1预测分类指标
从表1可知，本发明提出的基于OpenPose及决策树的全身运动评估系统实现了93.02％的精确率和召回率，同时实现了91.95％的平均检测精度值。综上所述，本发明所提出的辅助诊断脑瘫的婴儿运动姿态分析系统具有可行性与有效性，可通过全身运动辅助诊断相关疾病。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。
Claims (7)
1.一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于：包括视频处理模块、图像处理模块、数据处理模块、分析模块、判别模块和用户图形界面模块；所述视频处理模块向图像处理模块传送图像，所述图像处理模块向数据处理模块传送数据；所述数据处理模块向分析模块传输数据，所述分析模块向判别模块传送数据，所述数据处理模块、分析模块和判别模块均与用户图形界面模块交互数据；
视频处理模块：将婴儿视频每隔10帧拆分为图像，时间间隔为Δt；
图像处理模块：对视频处理模块拆分的图像进行特征提取，每隔Δt时间提取婴儿各特征关节点的平面坐标，并对拆分的图像进行高斯滤波；
所述婴儿特征关节点包括：鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳18个关节点；
数据处理模块：从时域和频域两个方面对婴儿运动特征信息进行数据处理；
在时域上，计算婴儿上一帧的关节点像素坐标与下一帧的关节点像素坐标的距离变化，从而得到婴儿各特征关节点的速度序列与加速度序列；
在频域上，计算婴儿运动时的能量谱密度；
分析模块：
I.用于特征数据的降维处理：对于婴儿18个特征关节点的特征数据，采用PCA主成分析法进行降维处理，并对降维后的信息保留量进行评估；
II.相关性分析：从运动特征数据的大小和曲线趋势两个方面进行相关性分析，比较标准视频与样本视频的相关性，用相关系数表示样本视频与标准视频的相关程度；
判别模块：设有基于CatBoost建立的婴儿神经发育判别模型和时间窗阈值决策损失函数，用于辅助婴儿脑瘫诊断。
2.根据权利要求1所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于，所述数据处理模块在频域上，计算婴儿运动时的能量谱密度的流程如下：
1).设一个运动信号s(t)的能量为E，运动信号的能量由式(3)决定：
2).运动信号s(t)傅里叶变换，即频谱密度为S(f)，则由巴塞伐尔定理可知：
式中，|S(f)|2为能量谱密度，表示在频率f处宽度为f的频带内的信号能量，或单位频带内的信号能量。
3.根据权利要求2所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于，所述分析模块用于降维处理的流程如下：
S1.假设婴儿的特征关节点共涉及到p个关节，用X1,X2,…,Xp分别表示，每一列表示对应关节每隔12帧运动的速度或加速度；
S2.计算标准化样本的协方差矩阵；
首先对标准化样本进行协方差计算：
得到样本相关系数矩阵为：
S3.计算R的特征值和特征向量，得到婴儿肢体的特征值及特征向量；
特征值：λ1≥λ2≥…≥λp≥0；
特征向量：
将婴儿全身运动特征用p个主成分Y表示，每个主成分都是p个关节的线性组合；
S4.计算各关节部位的主成分Y的贡献率及累计贡献率；
贡献率是特征值的归一化体现，累计贡献率则是对贡献率的叠加，计算公式如下：
4.根据权利要求3所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于：所述相关性分析包括婴儿运动速度和加速度的大小与神经发育的关联分析、灰色关联分析。
5.根据权利要求4所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于，所述婴儿运动速度和加速度与神经发育的关联分析的流程如下：
采用式(12)所示的距离度量来衡量样本与正常婴儿在运动特征数据上存在的差距，d1i距离越小说明样本视频与标准视频的运动数据值相差较小，表明个体间的差异小；
6.根据权利要求5所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于，所述灰色关联分析的流程如下：
首先标定母序列和子序列，定义子序列中各个指标与母序列的相关系数：
式中，a代表|x0(k)-xi(k)|的两极最小差，b表示|x0(k)-xi(k)|的两极最大差；ρ1为分辨系数，取ρ1＝0.5；
计算灰色关联度：
灰色相关度越大，曲线越接近，相应序列之间的关联度就越大，反之就越小。
7.根据权利要求6所述的一种辅助诊断脑瘫的婴儿运动姿态分析系统，其特征在于：所述判别模块辅助诊断脑瘫的流程如下：
①.提取初始层的运动姿态特征，并基于初始层前十个重要关节点进行预测分类，后续骨架特征层则对18个关节点信息进行处理，据此构建5s时间窗序列；
②.根据5s时间窗序列中各帧图像所获取特征与神经发育异常的相关性程度，按阈值进行判断划分：当检测出异常特征占比超过50％时，判别为具有潜在神经异常疾病的对象；当该占比低于50％时，判别为低风险对象；
③.进一步将异常特征占比划分为75％和25％两条标准，结合GMS评估中，对于扭动运动阶段中对观察婴儿中出现的轻度异常所存在的单调性GMS模式和混乱性GMS模型进行补充评估预测；
单调性GMS：存在一定异于正常婴儿的特征，但对临床诊断无参考价值，异常特征占比为25％～50％；
混乱性GMS：在检测时特征不明显，在数周后发展明显异常，异常特征占比为50％～75％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310750526.0A CN116671902A (zh) | 2023-06-25 | 2023-06-25 | 一种辅助诊断脑瘫的婴儿运动姿态分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310750526.0A CN116671902A (zh) | 2023-06-25 | 2023-06-25 | 一种辅助诊断脑瘫的婴儿运动姿态分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116671902A true CN116671902A (zh) | 2023-09-01 |
Family
ID=87787205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310750526.0A Pending CN116671902A (zh) | 2023-06-25 | 2023-06-25 | 一种辅助诊断脑瘫的婴儿运动姿态分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116671902A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117238483A (zh) * | 2023-11-10 | 2023-12-15 | 哈尔滨海鸿基业科技发展有限公司 | 一种儿童脑瘫诊断设备 |
-
2023
- 2023-06-25 CN CN202310750526.0A patent/CN116671902A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117238483A (zh) * | 2023-11-10 | 2023-12-15 | 哈尔滨海鸿基业科技发展有限公司 | 一种儿童脑瘫诊断设备 |
| CN117238483B (zh) * | 2023-11-10 | 2024-02-27 | 哈尔滨海鸿基业科技发展有限公司 | 一种儿童脑瘫诊断设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chambers et al. | Computer vision to automatically assess infant neuromotor risk | |
| Sathyanarayana et al. | Vision-based patient monitoring: a comprehensive review of algorithms and technologies | |
| De Melo et al. | A deep multiscale spatiotemporal network for assessing depression from facial dynamics | |
| Zhao et al. | Intelligent recognition of fatigue and sleepiness based on inceptionV3-LSTM via multi-feature fusion | |
| Bijalwan et al. | Heterogeneous computing model for post‐injury walking pattern restoration and postural stability rehabilitation exercise recognition | |
| Procházka et al. | Machine learning in rehabilitation assessment for thermal and heart rate data processing | |
| Datcu et al. | Noncontact automatic heart rate analysis in visible spectrum by specific face regions | |
| CN105559802A (zh) | 一种基于注意和情感信息融合的抑郁症诊断系统及方法 | |
| US11663845B2 (en) | Method and apparatus for privacy protected assessment of movement disorder video recordings | |
| Li et al. | Three-dimensional pose estimation of infants lying supine using data from a Kinect sensor with low training cost | |
| CN109805944B (zh) | 一种儿童共情能力分析系统 | |
| CN114999646B (zh) | 新生儿运动发育评估系统、方法、装置及存储介质 | |
| CN116671902A (zh) | 一种辅助诊断脑瘫的婴儿运动姿态分析系统 | |
| Kelsey et al. | Applications of sparse recovery and dictionary learning to enhance analysis of ambulatory electrodermal activity data | |
| Yang et al. | Graph-based depth video denoising and event detection for sleep monitoring | |
| Joshi et al. | Deep learning based person authentication using hand radiographs: A forensic approach | |
| EP3397146A1 (en) | Cardio-kinetic cross-spectral density for assessment of sleep physiology | |
| Mehrizi et al. | Automatic health problem detection from gait videos using deep neural networks | |
| CN115170870A (zh) | 基于深度学习的婴儿行为特征分类方法和系统 | |
| Calvo-Gallego et al. | Automatic ROI for remote photoplethysmography using PPG and color features | |
| Othman et al. | Contactless camera-based approach for driver respiratory rate estimation in vehicle cabin | |
| CN116453641B (zh) | 一种中医辅助分析信息的数据处理方法及系统 | |
| Navaneeth et al. | A deep-learning approach to find respiratory syndromes in infants using thermal imaging | |
| Houta et al. | Machine learning methods for detection of Epileptic seizures with long-term wearable devices | |
| CN104644173B (zh) | 一种抑郁风险三级预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |