CN115170870A - 基于深度学习的婴儿行为特征分类方法和系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的婴儿行为特征分类方法和系统，包括：步骤1：制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；步骤2：制作婴儿关键点数据集；步骤3：对婴儿视频数据集的人体关键点进行预处理；步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；步骤5：根据分类分支的分类概率判断该视频是否存在不安运动，得到视频存在不安运动的时间片段。本发明可检测婴儿是否缺乏不安运动，减轻医生需要长时间观看婴儿运动视频的负担。

Description

基于深度学习的婴儿行为特征分类方法和系统

技术领域

本发明涉及特征分类计数领域，具体地，涉及一种基于深度学习的婴儿行为特征分类方法和系统。

背景技术

婴儿全身运动行为评估，能用于新生儿和小婴儿的神经系统功能评估，对于婴儿脑瘫的检测具有较高的灵敏度和特异度，检测无创，操作简单，临床应用广泛。对脑瘫高危儿进行早期筛查、诊断、干预，是保证患儿潜在能力最大程度发挥的唯一途径。

但婴儿全身运动行为评估需要专门培训的医务人员，医务人员要在大量读片中反复训练和积累经验。每份视频需要医务人员长时间读片，而长时间的读片给医务人员带来视觉疲劳，也影响医务人员诊断的准确度。

如今，深度学习技术广泛应用于计算机视觉领域。可利用深度学习技术在有标记的视频数据上训练模型，从而能自动分析婴儿视频，减轻医务人员长时间观看视频的负担。

专利文献CN113642525A(申请号：CN202111027601.8)公开了一种基于骨骼点的婴儿神经发育评估方法和系统。S1：拍摄和采集婴儿的运动视频，结合全身运动评估方法对视频进行标注；S2：完成数据采集后，基于姿态估计的方法提取骨骼点的信息，并且对数据进行清洗、分割等过程；S3：基于骨骼点的动作识别模型，结合迁移学习领域中少样本学习训练方式，完成模型的训练和测试。S4：根据模型的预测结果，判断是否需要进一步地诊断和治疗。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的婴儿行为特征分类方法和系统。

根据本发明提供的基于深度学习的婴儿行为特征分类方法，包括：

步骤1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；

步骤2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

步骤3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；

步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

步骤5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。

优选的，所述步骤1包括：

步骤1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；

步骤1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；

所述步骤2包括：

步骤2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；

步骤2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；

步骤2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；

步骤2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。

优选的，所述步骤3包括：

步骤3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；

步骤3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；

步骤3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。

优选的，所述步骤4包括：

步骤4.1：搭建婴儿行为分类模型，模型骨干网络使用MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；

步骤4.2：将人体关键点特征输入到婴儿行为分类模型；

步骤4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；

步骤4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1-IOU，对于被判断为缺乏不安运动的视频，定位损失为0。

优选的，所述步骤5包括：

步骤5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；

步骤5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。

根据本发明提供的基于深度学习的婴儿行为特征分类系统，包括：

模块M1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；

模块M2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

模块M3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；

模块M4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

模块M5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。

优选的，所述模块M1包括：

模块M1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；

模块M1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；

所述模块M2包括：

模块M2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；

模块M2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；

模块M2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；

模块M2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。

优选的，所述模块M3包括：

模块M3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；

模块M3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；

模块M3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。

优选的，所述模块M4包括：

模块M4.1：搭建婴儿行为分类模型，模型骨干网络使用MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；

模块M4.2：将人体关键点特征输入到婴儿行为分类模型；

模块M4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；

模块M4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1-IOU，对于被判断为缺乏不安运动的视频，定位损失为0。

优选的，所述模块M5包括：

模块M5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；

模块M5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明利用标注的视频数据训练婴儿关键点检测模型和婴儿行为分类模型，模型可检测婴儿是否缺乏不安运动，减轻医生需要长时间观看婴儿运动视频的负担；

(2)本发明利用成人的关键点检测模型，在婴儿的关键点数据上微调，能提升婴儿关键点检测的性能；

(3)本发明除了输出视频的分类类别外，还能输出不安运动的时间片段信息，增加分类类别的可信度和模型的解释性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为婴儿行为特征分类方法的总流程图；

图2为视频预测的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

本发明提供了一种基于深度学习的婴儿行为特征分类方法，包括如下步骤：

步骤1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并由医生对数据集中的视频进行分类和时间片段的标注；

步骤2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

步骤3：对婴儿视频数据集的人体关键点进行预处理(包括插值、滤波、归一化)，计算人体关键点的4项特征(包括横坐标、纵坐标、移动路程、速度)，对标注的时间片段进行归一化处理；

步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

步骤5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，可根据定位分支的输出，得到视频存在不安运动的时间片段。

所述步骤1包含以下步骤：

步骤1.1：婴儿视频数据集的制作。放置婴儿于床垫上，使婴儿处于仰卧位，方便拍摄到婴儿的面部和运动的四肢。用三脚架支撑RGB摄像机，调整摄像机高度和角度保证摄像机能拍摄到婴儿的全身。每个婴儿的拍摄时间3到5分钟。拍摄期间需要保证婴儿处于清醒、不哭闹状态。拍摄多个婴儿的运动视频构成婴儿视频数据集。

步骤1.2：视频的分类和时间片段的标注。对于数据集中的每个视频，医生需观看完整视频，并标注整段视频是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间。

所述步骤2包含以下步骤：

步骤2.1：收集婴儿图像。一方面从互联网收集公开的婴儿视频和图像，另一方面用摄像机采集婴儿视频，从视频中随机抽样出图像帧。

步骤2.2：制作婴儿关键点数据集。由人员对婴儿图像标注17个人体关键点坐标。所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集。

步骤2.3：训练婴儿关键点检测模型。使用Lightweight OpenPose人体关键点检测模型。Lightweight OpenPose相比原始的OpenPose做了轻量化的改动，推理速度更快。开源的Lightweight OpenPose已在成人的关键点数据集上，进行了预训练。为了使得该模型在婴儿数据上也具有好的性能，把在成人数据上预训练的模型在婴儿关键点数据集上微调。微调后，得到婴儿关键点检测模型。

步骤2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像预测17个人体关键点。

所述步骤3包含以下步骤：

步骤3.1：人体关键点的预处理。人体关键点在视频中每一帧的坐标形成人体关键点序列。婴儿的快速的肢体运动和肢体间的遮挡，可能导致关键点检测模型不能检测到部分关键点，直接丢弃缺失部分关键点的帧影响分类性能。由于人体关键点的坐标在时间和空间上具有连续性，缺失关键点的坐标可由关键点序列插值得到。对关键点序列滤波，可减少关键点坐标的抖动。最后根据视频的分辨率对关键点坐标归一化处理。

步骤3.2：计算人体关键点的特征。视频文件中存储了该视频的每秒的帧数(FPS)，FPS的倒数为两帧图像的时间差。两帧图像间人体关键点的移动路程除以时间差形成关键点的速度。从而对于每个人体关键点，能计算出4个特征，分别是关键点的横坐标、纵坐标、移动路程、速度。对于总帧数为N的视频，该视频的17个人体关键点的特征维度为N×17×4。额外增加的移动路程和速度特征，能直接反映婴儿运动特征，有利于行为特征分类。

步骤3.3：对标注的时间片段进行归一化处理。对每个视频首先获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。

所述步骤4包含以下步骤：

步骤4.1：搭建婴儿行为分类模型。模型骨干网络使用了MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间。输出多个时间片段有利于对多个不安运动进行精细化的定位。

步骤4.2：将人体关键点特征输入到婴儿行为分类模型，输入数据的维度为“批量大小×9000×17×4”。“批量大小”是一次输入到模型的视频数量，9000是视频总帧数。对于总帧数不足9000帧的视频，用0填充关键点特征。对于超过9000帧的视频，只随机抽取连续9000帧的关键点特征。长的帧序列输入有利于模型提取整段视频的特征信息。

步骤4.3：计算模型的分类损失。分类损失是模型输出的分类概率和标注类别的交叉熵损失。根据分类概率判断输入样本的分类类别。若分类概率大于等于设定阈值，该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，该输入样本被模型被判断为存在不安运动。

步骤4.4：计算模型的定位损失。对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度(IOU)，定位损失为1-IOU。对于被判断为缺乏不安运动的视频，定位损失为0。

所述步骤5包含以下步骤：

步骤5.1：待预测的婴儿视频的预测。按照训练过程的数据处理方式，婴儿视频数据由婴儿关键点检测模型提取人体关键点，人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段。

步骤5.2：输出时间片段的合并。对于被模型预测为存在不安运动的视频，模型输出了10个归一化的时间片段，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段。归一化的时间片段乘以视频总时长，可把归一化的时间片段恢复到视频原始的时间尺度上。最终输出经过处理的时间片段。时间片段增加分类类别的可信度和模型的解释性。

根据本发明提供的基于深度学习的婴儿行为特征分类系统，包括：模块M1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；模块M2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；模块M3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；模块M4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；模块M5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。

所述模块M1包括：模块M1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；模块M1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；所述模块M2包括：模块M2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；模块M2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；模块M2.3：使用LightweightOpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；模块M2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。所述模块M3包括：模块M3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；模块M3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；模块M3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。所述模块M4包括：模块M4.1：搭建婴儿行为分类模型，模型骨干网络使用MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；模块M4.2：将人体关键点特征输入到婴儿行为分类模型；模块M4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；模块M4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1-IOU，对于被判断为缺乏不安运动的视频，定位损失为0。所述模块M5包括：模块M5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；模块M5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于深度学习的婴儿行为特征分类方法，其特征在于，包括：

步骤1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；

步骤2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

步骤3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；

步骤4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

步骤5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。

2.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤1包括：

步骤1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；

步骤1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；

所述步骤2包括：

步骤2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；

步骤2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；

步骤2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；

步骤2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。

3.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤3包括：

步骤3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；

步骤3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；

步骤3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。

4.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤4包括：

步骤4.1：搭建婴儿行为分类模型，模型骨干网络使用MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；

步骤4.2：将人体关键点特征输入到婴儿行为分类模型；

步骤4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；

步骤4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1-IOU，对于被判断为缺乏不安运动的视频，定位损失为0。

5.根据权利要求1所述的基于深度学习的婴儿行为特征分类方法，其特征在于，所述步骤5包括：

步骤5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；

步骤5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。

6.一种基于深度学习的婴儿行为特征分类系统，其特征在于，包括：

模块M1：使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；

模块M2：制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

模块M3：对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；

模块M4：使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

模块M5：将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段。

7.根据权利要求6所述的基于深度学习的婴儿行为特征分类系统，其特征在于，所述模块M1包括：

模块M1.1：拍摄婴儿的面部和运动的四肢，每个婴儿的拍摄时间为3到5分钟，拍摄期间保证婴儿处于清醒、不哭闹状态，拍摄多个婴儿的运动视频构成婴儿视频数据集；

模块M1.2：对于数据集中的每个视频标注是否存在不安运动，对于存在不安运动的视频，还需要标注出视频中发生不安运动的开始时间和结束时间；

所述模块M2包括：

模块M2.1：收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；

模块M2.2：对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；

模块M2.3：使用Lightweight OpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；

模块M2.4：使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测。

8.根据权利要求6所述的基于深度学习的婴儿行为特征分类系统，其特征在于，所述模块M3包括：

模块M3.1：人体关键点在视频中每一帧的坐标形成人体关键点序列，对人体关键点进行预处理，包括通过关键点序列插值得到缺失关键点的坐标，对关键点序列进行滤波减少关键点坐标的抖动，根据视频的分辨率对关键点坐标归一化处理；

模块M3.2：计算人体关键点的特征，根据视频每秒的帧数获取两帧图像的时间差，将两帧图像间人体关键点的移动路程除以时间差形成关键点的速度；

模块M3.3：对每个视频获取视频总时长，用标注的时间片段的开始时间和结束数据分别除以视频总时长，从而得到归一化的标注时间片段。

9.根据权利要求6所述的基于深度学习的婴儿行为特征分类系统，其特征在于，所述模块M4包括：

模块M4.1：搭建婴儿行为分类模型，模型骨干网络使用MS-G3D，后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；

模块M4.2：将人体关键点特征输入到婴儿行为分类模型；

模块M4.3：计算模型的分类损失，根据分类概率判断输入样本的分类类别，若分类概率大于等于设定阈值，则该输入样本被模型判断为缺乏不安运动，而预测概率小于设定阈值，则该输入样本被模型被判断为存在不安运动；

模块M4.4：计算模型的定位损失，对于被判断为存在不安运动的视频，计算模型输出的10个时间片段和归一化标注时间片段的重叠度IOU，定位损失为1-IOU，对于被判断为缺乏不安运动的视频，定位损失为0。

10.根据权利要求6所述的基于深度学习的婴儿行为特征分类系统，其特征在于，所述模块M5包括：

模块M5.1：对待预测的婴儿视频进行预测，按照训练过程的数据处理方式，通过婴儿关键点检测模型从婴儿视频数据中提取人体关键点，在人体关键点经过预处理和特征计算后，输入到婴儿行为分类模型，最终输出分类概率和10个时间片段；

模块M5.2：对输出时间片段进行合并，首先合并有时间重叠的片段，然后将时间差小于阈值的片段合并为一个片段，归一化的时间片段乘以视频总时长，把归一化的时间片段恢复到视频原始的时间尺度上，最终输出经过处理的时间片段。

Images