CN113642525A - 一种基于骨骼点的婴儿神经发育评估方法和系统 - Google Patents

Abstract

本发明公开了一种基于骨骼点的婴儿神经发育评估方法和系统。S1：拍摄和采集婴儿的运动视频，结合全身运动评估方法对视频进行标注；S2：完成数据采集后，基于姿态估计的方法提取骨骼点的信息，并且对数据进行清洗、分割等过程；S3：基于骨骼点的动作识别模型，结合迁移学习领域中少样本学习训练方式，完成模型的训练和测试。S4:根据模型的预测结果，判断是否需要进一步地诊断和治疗。本发明提出了基于骨骼点的婴儿神经发育评估方法，并使用了专用的数据采集、划分和训练方式，结合计算机视觉等领域的技术，实现对婴儿全身运动的评估。该方法实施简便，实用性强，具有较高的推广价值。

Description

一种基于骨骼点的婴儿神经发育评估方法和系统

技术领域

本发明属于计算机视觉领域和医学领域交叉，一种婴儿神经发育评估方法和系统。

背景技术

在我国，每年的新生儿数量大约为1600万，而据调查显示，新生儿当中的脑瘫发病率大约为2.48％，每年新增的脑瘫婴儿数量在4万名左右。这对婴儿的脑瘫提前确诊就显得尤为重要。欧洲发育神经学之父Heinz Prechter提出了全身运动评估技术，通过对婴儿的新型神经运动评估，从结果来看，对特定的神经损伤的提示性敏感度为98％，这对于婴儿的早期脑瘫症状诊断起到了至关重要的作用。而目前的主要诊断方式都是通过观察婴儿的运动过程，医生对婴儿进行全身运动评估，对婴儿的不同运动方式进行相应的运动评估分类。从大量的相同运动类型的婴儿视频中发现，相同类型的婴儿动作具有明显的相似性。

近年来，人工智能中的各个领域发展迅猛，并且通过计算机视觉技术和相关医学领域相结合也越来越成熟，这吸引了大量的研究者进行深入的探索研究。而对于婴儿全身运动评估的问题，现有的计算机视觉技术能够完成对婴儿的神经发育评估过程。具体的实现方式如下：对于输入的婴儿运动视频，通过姿态估计的方式，提取婴儿运动过程中的骨骼点动作信息，将婴儿的运动方式转化成对婴儿骨骼点动作的识别。基于计算机视觉领域中骨骼点的动作识别模型，对婴儿的全身运动方式进行评估。而为了得到更好的模型评估结果，使用泛化能力更好的训练方式，即在迁移学习领域当中的少样本学习的训练方式完成该过程。通过结合计算机视觉领域和迁移学习领域的方法，对婴儿的神经发育进行评估。

发明内容

本发明要克服现有技术的缺点，提出了一种基于骨骼点的婴儿神经发育评估方法和系统。目前对婴儿神经发育的评估方式，更多地通过婴儿运动状况去反映。而对婴儿运动结果的评估，仍停留在通过医生进行细致地观察，根据婴儿不同身体部位的行为，推断婴儿可能存在不正常运动的问题，进而去判断婴儿的神经发育是否良好。因此，本发明通过专用的婴儿运动视频采集和处理方法，利用计算机视觉领域和迁移学习领域的方法，实现婴儿运动情况的分类。如果婴儿的运动结果表明婴儿神经发育可能存在问题，则需要对婴儿进行深度地诊断和治疗。

一种基于骨骼点的婴儿神经发育评估方法，包括以下步骤：S1：拍摄和采集婴儿的运动视频，并对视频进行标注；S2：对步骤S1中的婴儿运动视频提取婴儿运动的骨骼点信息，并对数据进行清洗、分割、归一化处理；S3：将S2步骤生成的数据划分成训练数据集和测试数据集；S4:在基于骨骼点的动作识别模型中，结合迁移学习领域中少样本学习训练方式下，对S3中划分的训练数据集进行训练，并且可以选择是否使用在公共数据集上进行预训练的模型；S5：使用S3中划分的测试数据集在训练好的模型上进行测试，得到测试结果来判断是否需要进一步地诊断和治疗方案。

具体所述步骤S1中，采集和标注婴儿运动视频。S11：采集婴儿的运动视频。使用Kinect V2，微软推出的一款RGBD深度相机，结合相应的拍摄视频软件，拍摄并存储婴儿运动的RGB视频，并且提取深度信息。在拍摄过程中，不仅记录婴儿的运动过程，同时保存婴儿的年龄和名字。S12：婴儿运动视频的标注。医生对完整的婴儿运动视频进行分段，结合婴儿的运动方式和年龄，使用全身运动评估方法，对每个婴儿的运动视频进行标注。

具体所述步骤S2中，对婴儿运动视频的处理。具体分成以下几个步骤：婴儿的骨骼点动作提取、数据的清洗、数据分割、数据统一处理。

S21：提取婴儿运动视频的骨骼点动作数据。S21：对每一个贴上标签的婴儿运动视频，通过姿态估计的方式，提取婴儿运动的骨骼点信息。使用开源的openpose进行姿态估计，能够对输入的婴儿动作视频，提取婴儿中的关键骨骼点信息。具体过程如下：openpose对输入的视频，拆分成每一帧的RGB图像信息，识别每一帧中婴儿的关键骨骼点，提取骨骼点的位置信息(x,y)，以及骨骼点位置的置信度。即对每一帧的RGB图像信息，提取婴儿的所有骨骼点的三维信息。再将视频的所有帧的信息拼接起来，得到完整视频的骨骼点关键信息。

S22：清洗提取完成的骨骼点运动信息。S22：在完成婴儿运动的骨骼点信息提取后，由于在拍摄过程中的视频存在噪声，需要对提取骨骼点的结果进行数据清洗。检查每一帧的婴儿骨骼点信息，如果婴儿的四肢信息提取无效，则将该帧的骨骼点信息删去，并且尽量保留连续的有效的骨骼点运动数据。

S23：在数据完成清洗后，对视频数据进行分割。由于拍摄的婴儿运动视频动作在3-5分钟之间，在传统的基于骨骼点的动作识别模型中，对每个视频动作的时间控制在10秒即300帧左右，而通过大量的对比实验，将完整的婴儿运动视频分割成10秒、30秒、50秒。实验结果并没有明显波动，并且10秒的分割方式效果最好。因此，数据分割的步骤如下，S23：将清洗后的骨骼点数据，提取连续有效的300帧骨骼点信息，作为一个新的婴儿骨骼点运动数据。在完成所有骨骼点数据的分割后，对具体的骨骼点位置信息进行归一化处理，将数据的大小限定在[-0.5,0.5]的区间之内。这不仅有利于后续梯度下降过程中模型的收敛，还有可能提升模型的测试精度。

对具体所述步骤S3中，在经过数据的深度提取、清洗、分割后，将数据划分成训练数据集和测试数据集。而与传统的对所有数据直接划分不同的是，本发明的数据划分方式分为两个步骤。S31：将不同类型中的婴儿数量进行统计计数，对各个类型中的婴儿数量，取数量最少的类型作为一个公共值，其他运动类型中抽取该公共值大小的婴儿作为训练数据集和测试数据集。并且划分的数据集合也不是所有的婴儿运动视频，而是以不同的婴儿作为一个新的集合。S32：在获得婴儿数据集合后，将其中婴儿数量的80％，这部分婴儿对应的所有经过分割后的视频作为训练数据集。而剩下婴儿动作视频则作为测试数据集。

在具体所述步骤S4中，将划分好的数据集在动作识别模型中进行实验。具体分为在公共数据集上进行预训练和在S3步骤中划分的训练数据集和测试数据集进行实验。S41：为了使模型在婴儿的骨骼点数据上能够快速拟合收敛，在更大的公开数据集NTU-RGBD上对模型进行预训练。使用的预训练模型为基于骨骼点的动作识别模型，即时空图卷积神经网络(ST_GCN)，将骨骼点的动作序列图作为是时空图进行实验。为了使得模型效果更好，结合了泛化能力更好的训练方式。在迁移学习领域中的少样本学习(元学习)的训练方式，将整个训练过程分成是一个个小任务，模型通过在大量相似的任务上做训练获取元知识，就可以在新任务(测试过程)上快速学习以完成这个新任务。并完成模型的预训练过程。S42：得到预训练模型，将已经划分好的训练数据集和测试数据集在预训练模型上完成实验过程。

模型完成训练后，进行模型测试。在具体所述步骤S5中，结合少样本学习(元学习)的方式，将整个测试过程分成一个个小任务进行快速的测试，得到婴儿运动的预测结果。根据该结果，如果是正常的不安运动，则表明该婴儿的运动方式正常；如果结果是不安运动缺乏，则表明该婴儿可能存在神经发育的问题，需要进一步地诊断和根据医生的指示进行治疗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明基于骨骼点的婴儿神经发育评估方法的总流程图。

图2是本发明中对婴儿运动视频采集和标注过程的流程图。

图3是本发明中对骨骼点数据清洗、数据分割的流程图。

图4是本发明中对数据进行训练集和测试集划分的流程图。

具体实施方式

以下将参照附图，通过实施例方式详细地描述本发明中的婴儿神经发育评估方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

本实例以一组婴儿运动视频进行神经发育评估为例，整体流程图如图1所示，方法包括如下具体步骤：

S1：采集和标注婴儿的运动视频。使用Kinect V2相机拍摄一组婴儿运动视频，医生使用全身运动评估方法，对婴儿的运动进行标注。视频的采集和标注过程如图2所示。

S2：对婴儿的运动视频数据进行预处理。基于姿态估计的方法，使用openpose提取所有婴儿视频中的骨骼点运动信息。对提取的每个婴儿骨骼点动作数据的每一帧进行检查，是否存在某一帧中无法提取婴儿的四肢信息，如果提取信息无效，则删去骨骼点信息无效的帧，否则保留。最后尽量保留完整且连续的婴儿骨骼点运动数据。而经过大量的对比实验发现，对数视频进行分割成每300帧为新的视频。整个数据的清洗和分割过程，流程图如图3所示。最后，对所有分割完成的骨骼点运动数据进行归一化处理，对所有骨骼点的位置大小限定在[-0.5,0.5]之间。

S3：经过数据清洗、分割、归一化处理后，将数据划分训练数据集和测试数据集。与传统的划分方式不同的是：以婴儿的数量作为划分标准，而不是具体的视频数量。并且保证不同类型中的婴儿数量相等，对于婴儿数量多的类型只抽取相应最少婴儿数量的数据。划分训练数据集和测试数据集过程，对婴儿数量划分，80％的婴儿数量对应的婴儿视频作为训练数据集，剩余20％的婴儿数量的视频作为测试数据集。具体的流程图，如图4所示。

S4：为了让婴儿的骨骼点运动数据在模型上收敛的更好，在公共数据集，NTU-RGBD，模型进行预训练过程，在公共数据集上收敛完成的模型用作后续的训练。在完成数据划分和模型预训练后，在基于骨骼点的动作识别模型，即时空图卷积神经网络中，结合少样本学习的训练方式，将整个训练过程分成一个个小任务。对每个小任务进行数据抽取，组成有标签的数据集合和无标签的数据集合。模型学习在小任务中从有标签的数据中预测无标签数据的方式。在重复所有的小任务完成后，进行模型的收敛优化，整个训练过程即结束。

S5：在完成模型训练后。基于同样的训练方式，将测试数据上进行模型的预测过程，得到所有婴儿运动视频的预测结果。根据婴儿运动视频的预试结果，将婴儿运动的类型分类，如果是正常的不安运动，则该婴儿的运动方式属于正常；如果结果是不安运动缺乏，则表明该婴儿需要进一步地诊断以及需要在医生的指示下进行治疗。

Claims (7)

1.一种基于骨骼点的婴儿神经发育评估方法和系统，其特征在于，包括以下步骤：

S1：婴儿运动视频的采集和标注。通过专用的视频采集方式，拍摄婴儿的运动视频。对于婴儿运动视频，医生结合全身运动评估方法，完成视频标注。

S2：婴儿运动视频的处理。对每一个婴儿运动视频，基于姿态估计的方法，提取婴儿运动过程的骨骼点关键信息。根据视频中每一帧的骨骼点信息，对视频数据进行清洗，保留提取完整的骨骼点信息。清洗完数据后，对整个婴儿的骨骼点运动数据进行分割，将连续的N帧作为新的视频。最后，对所有的骨骼点信息进行归一化的处理，使得数据大小限定在范围内。

S3：婴儿运动视频数据的划分。数据完成处理后，将数据划分训练数据集和测试数据集。具体的划分方式与传统的直接进行划分不同，针对不同的婴儿进行划分。

S4：将数据输入模型，完成模型训练。使用基于骨骼点的动作识别模型，结合在迁移学习领域中的少样本学习的训练方式，作为整体的模型框架。并且模型在公共数据集下进行预训练后，再完成训练数据集上的训练。

S5：将测试数据输入模型，对数据结果进行预测。在训练好的模型上，使用测试数据集与训练过程相同的方式进行测试，从分类结果中选出概率最大的类型作为模型最后的输出。判断输出的分类类型是否属于正常，如果属于神经发育不正常的范畴，则推荐去医院进一步诊断。

2.根据权利要求书1中所述的一种基于骨骼点的婴儿神经发育评估方法，其特征在于：所述步骤S1中，数据采集和数据标注具体包括：

S11：婴儿运动视频的采集。使用微软推出的一款RGBD深度相机，Kinect V2。基于该相机多样的配套软件，以从上往下进行拍摄的方式，将婴儿的完整运动信息保存下来。并且在婴儿旁边提供展示板，表明婴儿的名字和年龄，医生根据年龄的不同，对婴儿的运动评估分类方法也不同。因此，使用专门的视频采集方式，更好地让医生完成婴儿运动过程的标注。

S12：婴儿运动视频的标注。医生打开专用的标注视频软件，将婴儿的运动过程分成多段，结合婴儿的实际年龄，其中主要分水岭是婴儿的年龄为9周前后，根据全身运动评估方法，对每一个婴儿的运动结果进行评估，完成标注。

3.根据权利要求书1中所述的一种基于骨骼点的婴儿神经发育评估方法，其特征在于：所述步骤S2所述的数据处理具体包括：

S21：提取婴儿运动视频的骨骼点关键信息。基于姿态估计的方法，使用openpose在婴儿运动视频中的每一帧RGB图像上，提取婴儿的骨骼点关键信息，其中包括骨骼点的位置信息以及位置的置信度。

S22：数据的清洗。经过姿态估计提取的每一帧骨骼点关键信息，如果婴儿骨骼点中的四肢信息无法有效提取，就将这一帧的信息删去，并且保留连续的能够准确提取骨骼点关键信息的视频帧数。

S23：数据分割和归一化。经过S22步骤的数据清洗后，对完整的视频数据进行分割，取N＝300，以每300帧一段，分割成多个小视频。具体地，对每一个骨骼点运动数据信息，进行归一化处理，即将数据大小限定在[-0.5,0.5]的区间之内。

4.根据权利要求书1中所述的一种基于骨骼点的婴儿神经发育评估方法，其特征在于：所述步骤S3中，所述的数据划分具体包括：

S31：在数据划分之前，统计所有不同运动类型中的婴儿数量，将婴儿数量最少的类型作为一个公共值，在其他类型的婴儿视频中，同样只抽取公共值大小的婴儿数量，将其作为所有类型的婴儿运动视频。

S32：在所有的婴儿运动视频中，与传统的划分方式不同的是，根据不同的婴儿数量来进行划分。统计所有的婴儿数量，将其中婴儿数量80％的婴儿，将其对应的分割视频划分为训练集，而剩余数量的婴儿运动视频则作为测试集。

5.根据权利要求书1中所述的一种基于骨骼点的婴儿神经发育评估方法，其特征在于：所述步骤S4中，所述的模型训练具体包括：

S41：在直接进行模型训练之前，为了让婴儿的骨骼点运动数据能够更好的拟合模型。在现有的公共数据集，NTU-RGBD，对模型进行预训练。模型框架是基于骨骼点的动作识别模型，时空图卷积神经网络(ST_GCN)。并且结合泛化能力更好的训练方式，在迁移学习领域中的少样本学习(元学习)的训练方式，将整个训练过程分成是一个个小任务，模型通过在大量相似的任务上做训练获取元知识，就可以在新任务(测试过程)上快速学习以完成这个新任务。使用公共数据集在整个模型框架下进行预训练，得到在公共数据集上最好的模型结果。

S42：在完成预训练后，结合划分好的训练数据集，与预训练过程相同的方式，在数据集进行模型训练的过程，直至模型收敛。

6.根据权利要求书1中所述的一种基于骨骼点的婴儿神经发育评估方法，其特征在于：所述步骤S5中，具体的模型测试的步骤如下：

在模型完成训练，对训练数据集拟合好之后，对测试数据集中的婴儿运动视频进行测试。根据测试结果判断，婴儿是否需要进一步地诊断和深入治疗。

7.实施权利要求1所述的一种基于骨骼点的婴儿神经发育评估方法的系统，其特征在于：包括依次连接的婴儿运动视频的采集和标注模块、婴儿运动视频的处理模块、婴儿运动视频数据的划分模块、数据输入和模型训练模块、预测模块。

Images