CN117037277A - Aed急救培训学员的考核方法、装置、系统及存储介质 - Google Patents

Abstract

本申请涉及一种AED急救培训学员的考核方法、装置、系统及存储介质，其中，方法包括：获取学员对模拟人进行急救操作的视频序列；将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。本申请可以通过结构动作识别模型来识别视频序列中的动作类别，以及学员的动作规范，不需要人工监考，解决相关技术中依靠人工监考的方式，客观性和公平性较差的问题。

Description

AED急救培训学员的考核方法、装置、系统及存储介质

相关申请的交叉引用

本申请要求2022年8月23日递交的申请号为2022110136089、申请名称为《一种急救培训与考核系统及方法》的中国专利申请，以及2023年3月8日递交的申请号为2023102161261、申请名称为《一种基于急救行为动作识别算法》的中国专利申请的优先权，该专利申请的全部内容通过引用包含于本申请中。

技术领域

本申请涉及急救医疗设备技术领域，特别涉及急救医疗设备的培训学习，具体涉及AED急救培训学员的考核方法、装置、系统及存储介质。

背景技术

心脏骤停若能得到及时救助能大幅度增长存活率，为此，我国政策陆续出台，完善公共场所急救设施设备配备标准，在公共场所开始配置自动体外除颤器(AED)，自动体外除颤器(AED)的普及率逐年提升，而目前我国对于自动体外除颤器(AED)和心肺复苏急救知识普及率仍较低。

目前，国内各大医院、急救机构及红十字会等积极开展AED急救培训，培训的内容、形式大部分以沿用医务人员的培训课程为主。但是，社会公众教育背景不同，掌握程度差异大，导致我国社会公众培训效果良莠不齐，整体偏低。

相关技术中，急救培训学员的考核凭人工监考，主观判断较强，无法保证考核过程的客观性和公平性，而且耗费人力，效率低，考核效果无法得到保证。

因此，有必要对相关技术予以改良，以克服相关技术中的缺陷。

发明内容

本申请提供一种AED急救培训学员的考核方法、装置、系统及存储介质，用以解决相关技术中的AED急救考核过程依赖人工监考，无法保证考核结果的客观性和公平性的问题。

为达到上述目的，本申请提供如下技术方案：

第一方面，提供一种AED急救培训学员的考核方法，包括：

获取学员对模拟人进行急救操作的视频序列；

将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；

其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

可选地，根据本申请第一方面实施例所述的考核方法，所述将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果，包括：

检测所述视频序列中目标对象的位置以及身体关键部位，其中，所述目标对象包括学员和模拟人；

对所述视频序列中所述目标对象的位置以及所述身体关键部位进行持续跟踪，得到模拟人与学员的所述身体关键部位的交互关系；

基于所述交互关系，识别学员的动作类别；

检测所述目标对象的身体关键部位对应的身体关键位置点，以确定学员与模拟人对应的所述身体关键位置点的位置关系；

基于预设的动作逻辑规则，对所述身体关键位置点的位置关系和所述动作类别进行融合分析，输出结构化动作识别结果。

可选地，根据本申请第一方面实施例所述的考核方法，所述结构化动作识别结果至少包括：

不同动作类别的发生时间和持续时间；

学员的动作是否规范。

可选地，根据本申请第一方面实施例所述的考核方法，所述基于所述交互关系，识别学员的动作类别，包括：

若学员跪着弯腰，且学员手部有靠近和远离模拟人身体的位置变化，同时学员头部与模拟人头部距离大于预设值，则确定动作类别为轻拍患者；

若学员的手部与模拟人身体的距离大于预设距离值，且学员的头部在多帧视频图像中有左右移动变化，则确定动作类别为摇头扫视；

若学员跪着弯腰，且学员的手部靠近模拟人身体，则确定动作类别为胸部按压；

若模拟人额头和下巴的连线有倾斜，且学员的手部位于模拟人头部，同时学员的头部靠近模拟人头部，则确定动作类型为人工呼吸。

可选地，根据本申请第一方面实施例所述的考核方法，学员的动作是否规范，可以通过如下方式判定：

轻拍患者时，若检测到学员手部在模拟人双肩附近，则判定拍打位置正确；

胸部按压时，若检测到学员的手部关键位置点位于模拟人的胸部按压区域，则判定按压位置正确；若学员的肩部关键位置点、手肘关键位置点和手腕关键位置点的连接线形成的夹角大于100度，则判定胸部按压时的手臂处于伸直状态。

可选地，根据本申请第一方面实施例所述的考核方法，按照预设考核评分标准，为学员打分，得到考核结果，包括：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准，进行AI智能打分，获得AI智能打分结果；

基于所述AI智能打分结果，得到学员的考核结果。

可选地，根据本申请第一方面实施例所述的考核方法，按照预设考核评分标准，为学员打分，得到考核结果，包括：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准，进行AI智能打分，获得AI智能打分结果；

将所述结构化动作识别结果发送至用户终端，由考核老师打分，获得考核老师的打分结果；

对所述AI智能打分结果以及所述考核老师的打分结果，进行综合评分，得到学员的考核结果。

可选地，根据本申请第一方面实施例所述的考核方法，还包括：

获取心肺复苏过程中的按压深度、按压频率和胸腔回弹数据；

基于所述按压深度、按压频率和胸腔回弹数据，判断学员的心肺复苏按压是否合格，得到第一判断结果；

从所述视频序列中提取音频数据；

对所述音频数据进行语音识别，判断学员的说话内容是否合格，得到第二判断结果；

基于所述第一判断结果、所述第二判断结果以及所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果。

可选地，根据本申请第一方面实施例所述的考核方法，所述得到考核结果之后，还包括：

生成考核分析报告；

将所述考核分析报告和所述考核结果下发至移动终端，以供学员通过所述移动终端的急救考核培训APP或小程序查阅。

可选地，根据本申请第一方面实施例所述的考核方法，所述获取学员对模拟人进行急救操作的视频序列之前，还包括：

响应学员的培训考核请求，验证学员身份；

若身份验证通过，则触发考核流程。

可选地，根据本申请第一方面实施例所述的考核方法，所述响应学员的培训考核请求，触发考核流程之前，还包括：

接收考核老师通过用户终端配置的培训考核信息，以及录入的学员信息；其中，所述培训考核信息包括预设考核评分标准、考核培训动作步骤以及每个步骤的分数权重占比；

对所述培训考核信息和所述学员信息进行存储。

第二方面，提供一种AED急救培训考核系统，包括：

视频获取模块，用于获取学员对模拟人进行急救操作的视频序列；

动作识别模块，用于将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

打分模块，用于基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；

其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

第三方面，提供一种AED急救培训考核系统，包括：

移动终端，用于学员发送考核请求；

服务器主机，用于接收所述考核请求，进入考核流程，执行本申请第一方面任一实施例所述考核方法的步骤；

用户终端，用于考核老师访问所述服务器主机，以配置培训考核信息和录入学员信息。

第四方面，提供一种AED急救培训考核设备，包括：处理器和存储器，所述存储器中存储有程序，所述程序由所述处理器加载并执行，以实现本申请第一方面任一实施例所述的考核方法的步骤。

第五方面，提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序在被处理器执行时，用以实现本申请第一方面任一实施例所述的考核方法的步骤。

本申请的有益效果在于：本申请通过获取学员的急救操作视频序列，将视频序列预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果，根据识别结果，依据预设考核评分标准，为学员各项动作打分，得到考核结果。本申请实施例可以将学员的急救操作的视频序列输入结构化动作识别模型中进行动作识别，相比完全依靠人工监考的方式，考核结果更加客观公正，保证考核效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1为本申请实施例提供的实现考核系统的组成示意图；

图2为本申请一个实施例提供的考核方法的流程图；

图3是本申请另一个实施例提供的考核方法的流程图；

图4是本申请一个实施例提供的结构化动作识别结果的识别流程图；

图5是本申请一个实施例提供的对结构化动作识别模型进行训练的流程图；

图6是本申请一个实施例提供的考核系统的架构图；

图7是本申请一个实施例提供的AED急救培训考核系统的结构框图；

图8是本申请一个实施例提供的AED急救培训考核设备的结构框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

图1是本申请一个实施例提供的考核系统的组成示意图，该考核系统可以实现本申请实施例的考核方法，如图1所示，该考核系统包括：

模拟人2，是一个用于急救培训的人体模型，为学员提供急救培训和考核的操作流程练习。

AED训练机4，用于学员培训学习的工具，AED训练机完全模拟AED真机的操作，在培训考核中，学员可以通过AED训练机4向模拟人2提供除颤操作。

视频采集设备1，用于采集学员对模拟人2进行急救操作的视频序列。视频采集设备1可以是摄像机，摄像机摆放在固定位置，摄像机的拍摄视角能覆盖学员及模拟人2。

摄像机设置至少两台，可以采集不同拍摄角度的视频。示例性地，本实施例设置三台摄像机，分别位于模拟人2的正前方、正上方和侧边位置，摄像机的安装高度不高于学员的高度，以拍摄画面能覆盖学员和模拟人2为准。

移动终端6，配置有急救培训与考核APP和/或小程序，培训学员进入急救培训与考核APP或小程序，提交个人信息，请求进入急救培训流程或进入急救考核流程。

服务器主机7，设置有动作识别模块，该动作识别模块设置有预先训练好的结构化动作分析模型，用于获取摄像机采集的学员的视频序列，并将视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果，然后依据预设考核评分标准，为学员急救操作的各项动作打分，得到考核结果。其中，结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的。

服务器主机7设置有考核分析模块，作为一种实施方式，考核分析模块可以基于结构化动作识别结果进行AI智能评分，得到考核结果。作为另一种实施方式，考核分析模块可以结合考核老师的打分结果和AI智能评分结果进行综合评分，给出考核结果。

用户终端5，与服务器主机7连接，便于考核老师通过用户终端7访问服务器主机7，用户终端5设置有配置模块，用于对系统进行配置，导入学员信息。示例性地，考核老师可以通过用户终端5配置培训考核信息、视频采集装置信息等，其中，培训考核信息包括但不限于预设考核评分标准、考核培训动作步骤以及每个步骤分数权重占比等等，培训考核信息可以作为系统评判打分的依据。

用户终端5还设置有打分模块，用于考核老师对学员进行打分，用户终端5还用于显示结构化动作识别结果以及考核结果。用户终端5可以是笔记本电脑、平板电脑以及台式电脑中的至少一种。

图6给出了本申请一个实施例提供的考核系统的架构图，可以理解地，如图6所示，本实施例的考核系统包括服务层和应用层，应用层设置有用户终端、视频采集设备、AED训练机、模拟人和移动终端。服务层设置有服务器主机，该服务器主机内设置有数据存储模块和数据处理模块，其中数据处理模块中安装有动作识别模块和考核分析模块，其中动作识别模块用于基于获取的视频序列，得到结构化动作识别结果，考核分析模块用于基于结构化动作识别结果，对学员进行打分，得到考核结果。

本申请实施例的考核方法在服务层执行，下面以服务层为执行主体，对本申请实施例的考核方法进行详细说明。

图2是本申请一个实施例提供的的AED急救培训学员的考核方法流程图，参见图2，该考核方法包括：

S202：获取学员对模拟人进行急救操作的视频序列；

S204：将视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

S206：基于结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果。

本申请通过获取学员的急救操作视频序列，将视频序列预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果，根据识别结果，依据预设考核评分标准，为学员各项动作打分，得到考核结果。本申请实施例可以将学员的急救操作的视频序列输入结构化动作识别模型中进行动作识别，相比完全依靠人工监考的方式，考核结果更加客观公正，保证考核效果。

对于步骤S202，具体地，视频序列是时间连续、并按时间先后顺序排列的多帧视频图像。

考核过程中，学员采用AED训练机对模拟人进行模拟急救操作，如图6，视频采集设备(即摄像机)实时采集学员急救操作的视频序列，并发送至服务层的数据存储模块进行存储，然后数据处理模块从数据存储模块中读取视频序列。

对于步骤S204，具体地，本实施例的结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，其中，样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签，标签用于指示当前动作类别。

如图6，数据处理模块在读取到视频序列后，由动作识别模块将视频序列输入到结构化动作识别模型中进行结构化动作的识别分析，本实施例的结构化动作识别模型包括：3个子网络模型，即：

目标检测模型，主要用于检测视频序列对应的每一帧视频图像中的目标对象的位置，以及检测目标对象的身体关键部位，并对目标对象的位置和身体关键部位进行持续跟踪检测。其中，目标对象包括学员和模拟人。

关键点估计模型，用于检测学员和模拟人的身体关键位置点，以确定学员和模拟人身体关键位置点的位置关系。

时序动作分类模型，用于根据学员与所述模拟人身体关键部位的交互关系，确定学员的动作类别。

在得到3个子网络模型的检测结果之后，基于预设的动作逻辑规则，对学员的动作类别和身体关键位置点在每一帧视频图像中的位置，进行融合分析，得到结构化动作识别结果。

下面详细介绍3个子网络模型。

目标检测模型，本实施例将待处理的视频序列输入目标检测模型中，利用目标检测算法，检测目标对象的位置，以及目标对象的身体关键部位，并输出裁剪后的视频图像。具体为：

目标检测模型对视频序列的每一帧视频图像进行目标检测，得到每一帧视频图像画面中学员和模拟人的位置，以及学员和模拟人的身体关键部位。其中，身体关键部位包括学员的全身、头部和手部，模拟人的半身和头部。

本实施例将得到的学员和模拟人的边界框合并成组合框，基于这个组合框，在同一个位置进行裁剪，得到连续多帧子图。

本实施例的目标检测模型可以采用单阶段目标检测模型，例如，YOLO(You OnlyLook Once)神经网络模型、SSD(Single Shot MultiBox Detector)神经网络模型等。或者采用RetinaNet网络模型等，当然，也可以采用两阶段目标检测模型。本实施例对目标检测的具体模型不做限定。

下面以YOLO为例，介绍本申请实施例的目标检测原理。本实施例的YOLO网络模型由卷积层和全连接层组成，初始卷积层从输入的视频图像中提取特征，全连接层用来预测输出概率和坐标。

在进行目标检测时，首先将输入的视频图像划分成S×S个网格，然后对于每个网格，采用卷积神经网络预测该网格内存在的物体的B个边界框，包括每个边界框是目标的置信度以及每个边界框区域在多个类别上的概率，还可以预测边界框中存在目标对象的概率。最后，通过全连接层对每个类的对象采用“非最大抑制(Non Max Suppression)”算法过滤除“置信度”小于阈值的边界框，得到目标检测结果。

目标检测算法是本领域技术人员比较熟知的技术，本实施例只简单介绍检测原理，详细的算法在此不再详细赘述。

关键点估计模型，本实施例对学员的17个身体关键位置点进行定位，对模拟人的7个身体关键位置点进行定位，其中：

学员的17个身体关键位置点包括：鼻子，左眼，右眼，左耳，右耳，左肩，右肩，左肘，右肘，左手腕，右手腕，左膝盖，右膝盖，左脚踝，右脚踝，左小腿，右小腿。

模拟人的7个身体关键位置点包括：左胸、右胸、左肩、右肩、下巴、鼻子和额头。

本实施例对目标检测得到每一帧子图像，进行关键点检测，并确定不同关键点之间的位置关系。

通过检测身体关键位置点，用来对心肺复苏一些检查项进行判断，例如，按压时手臂是否有弯曲等。

关键点估计模型使用自顶向下的估计算法，例如，可以采用掩膜区域卷积神经网络Mask R-CNN来实现关键点标注。当然，也可以采用MoveNet、Blaze、PoseNet等网络模型。

下面以Mask R-CNN网络为例，简单介绍关键点检测原理。Mask R-CNN主要包括三个子网络，即：主干网络backbone、区域建议网络RPN和检测头网络head，其中：

backbone网络采用ResNet+FPN构成，主要用于图像的特征提取，对于输入的视频图像，生成多种尺寸的特征图。

RPN网络主要用于生成推荐区域Proposal，即带有前景、背景、包围框信息的区域。

head网络主要用于计算预测输出结果，具体为：head网络中设置有关键点分支，当检测到Proposal的分类为模拟人或学员时，对每个身体部位的关键点生成一个one-hot掩码，最终得到一个56*56的二值掩码，其中只有一个像素被标记为身体位置关键点，其余像素均为背景。

时序动作分类模型，本实施例将目标检测模型得到的裁剪后的连续多帧子图作为时序动作分类模型的输入，同时根据关键点估计模型得到的连续多帧子图中模拟人和学员的身体位置关键点，识别学员的动作类别。

示例性地，本实施例的时序动作分类模型包括空域卷积神经网络和时域卷积神经网络，将多帧子图的原始特征图像输入至空域卷积神经网络，获得第一分类结果；将多帧子图的光流特征图像输入时域卷积神经网络，得到第二分类结果；将第一分类结果和第二分类结果进行融合处理，得到动作类别。

卷积神经网络属于本领域比较熟知的技术，本实施例此不再详细说明。

本实施例识别的动作类别包括轻拍患者、摇头扫视、胸部按压和摇头扫视，表1为动作类别与关键点检测对照表，给出了本申请实施例每个动作类别对应的身体位置关键点检测范围。

表1动作类别与关键点检测对照表

本实施例的结构化动作识别结果包括：不同动作类别的发生时间和持续时间，学员的动作姿态，以及动作位置是否正确。例如，

00:00:10发生轻拍患者动作，拍打双肩位置正确，持续2秒；00:00:20发生摇头扫视动作，持续5秒；00:00:30发生按压动作，手臂伸直，按压位置正确，持续10秒等等。

对于步骤A206，可以理解地，在一个实施例中，步骤S206，具体可以通过如下方式实现：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准进行AI智能打分，得到考核结果。

具体地，本实施例中，将结构化动作识别模型得到的结构化动作识别结果输入到AI智能打分模块，由AI智能打分模块对学员动作的完整性、顺序性等进行分析，输出AI打分结果。

这样，通过结构化动作识别模型来对学员的动作进行检测和识别，并通过AI智能打分模块对学员的操作进行打分，提高考核的公平性。

可以理解地，在另一个实施例中，步骤S206，具体还可以通过如下方式实现：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准，进行AI智能打分，获得AI智能打分结果；将所述结构化动作识别结果发送至用户终端，由考核老师打分，获得考核老师的打分结果；对所述AI智能打分结果以及所述考核老师的打分结果，进行综合分析，得到学员的考核结果(通过或未通过)。

具体地，服务器主机设置有考核分析模块，将结构化动作识别模型得到的结构化动作识别结果输入到考核分析模块，由考核分析模块的AI智能打分模块对学员动作的完整性、顺序性等进行分析，输出AI打分结果。

同时，将结构化动作识别结果发送至用户终端，由考核老师根据结构化动作识别结果，通过用户终端进行打分，服务器主机的考核分析模块综合AI智能打分结果和考核老师的打分结果，通过综合评分，得到学员最终的考核结果。例如，考核老师打分占比60％，AI智能打分占比40％，还可以对考核老师的打分结果和AI智能打分结果进行加权平均计算，得到综合评分。实际应用中的具体打分规则，可以根据需要设置，本实施例对此不做限定。

在另一个实施例中，AI智能打分模块可以设置于用户终端，考核老师通过用户终端访问服务器主机，读取结构化动作识别结果，输入到AI智能打分模块得到AI智能打分结果，同时，考核老师可以通过用户终端进行打分。

服务器主机的考核分析模块基于考核老师的打分结果和AI智能打分结果，进行综合分析，得到学员的考核结果。

可理解地，得到考核结果之后，还包括：

生成考核分析报告；将考核分析报告和考核结果下发至移动终端，以供学员通过移动终端的急救考核培训APP或小程序查阅。

具体地，学员的移动终端安装有急救考核培训APP，学员可以通过该急救考核培训APP提出考核请求，或者培训请求，也可以通过移动终端的急救考核培训小程序提出考核请求或培训请求。

本实施例在得到考核结果之后，生成考核分析报告，学员可以通过移动终端的急救考核培训APP或者小程序查阅考核结果以及考核分析报告。

考核分析报告中会列出本次考核的所有项目和每一项的考核结果，学员可以根据考核分析报告回述查找问题，发现不足，从而可以有针对性地进行训练，另外，考核报告可分享给好友和朋友圈。

可以理解地，本申请实施例在步骤S202之前还包括：

响应学员的培训考核请求，验证学员身份；

若身份验证通过，则触发考核流程。

服务器主机在接收到学员的培训考核请求，并身份验证通过之后，才启动考核流程，执行步骤S202-S206。

服务器主机内存储有学员信息，学员发发送的培训考核请求中携带有学员身份信息，服务器主机将存储的学员信息与培训考核请求中携带的学员身份信息进行匹配，匹配通过之后，启动考核流程。

可以理解地，本申请实施例在响应学员的培训考核请求，触发考核流程之前，还包括：

接收考核老师通过用户终端配置的培训考核信息，以及录入的学员信息；其中，所述培训考核信息包括预设考核评分标准、考核培训动作步骤以及每个步骤的分数权重占比；

对培训考核信息和学员信息进行存储。

在进行培训考核之前，需要考核老师通过用户终端配置考核信息，并录入学员信息，服务器主机对培训考核信息和学员信息进行存储。

可以理解地，如图3所示，本实施例的考核方法还包括如下步骤：

S301：获取心肺复苏过程中的按压深度、按压频率和胸腔回弹数据；

S302：基于按压深度、按压频率和胸腔回弹数据，判断学员的心肺复苏按压过程是否合格，得到第一判断结果；

例如，标准按压深度：垂直向下至少5cm；标准按压频率：100-120次/分钟。如果学员考核过程中的按压深度和按压频率不在标准按压深度和标准按压频率的范围内，则可以判定按压不合格。

S303：从视频序列中提取音频数据；

S304：对音频数据进行语音识别，判断学员的说话内容是否合格，得到第二判断结果；

S305：基于所述第一判断结果、所述第二判断结果以及结构化动作识别结果，按照预设考核评分标准，对学员进行综合分析，得到考核结果。

关于结构化动作识别结果，可以参考上述实施例的记载，在此不再赘述。

本实施例中，由心肺复苏数据采集器采集心肺复苏数据(按压深度、按压频率和胸腔回弹)，并提取视频序列中的音频数据，将心肺复苏数据和音频数据传输到服务端进行分析，判断按压数据是否符合要求、所说话术是否正确。考核结果在结构化动作识别结果的基础上，综合了学员心肺复苏过程中的按压深度、按压频率、胸腔回弹和所说话术，当动作不到位或话术不正确或按压数据不符合要求时，由服务端给予培训学员提示。

图4给出了本申请一个实施例提供的结构化动作识别结果的识别流程图，可以理解地，如图4所示，步骤S204包括：

S401：检测所述视频序列中目标对象的位置，其中，目标对象包括学员和模拟人。

S402：判断是否识别到目标对象，若是，则执行步骤S403，若否，则结束识别过程。

S403：检测目标对象的身体关键部位，并对视频序列中的学员和模拟人的位置以及身体关键部位进行持续跟踪，得到模拟人与学员的所述身体关键部位的交互关系；

S404：判断学员与模拟人是否有交互，若是，则执行步骤S405，若否，则执行步骤S403。

本实施例学员与模拟人是否有交互，指的是学员是否有靠近或接触模拟人。可以通过检测学员的身体关键部位与模拟人的身体关键部位之间是否有靠近或接触。

S405：基于得到的交互关系，识别学员的动作类别，同时，检测目标对象的身体关键部位对应的身体关键位置点，以确定学员与模拟人对应的身体关键位置点的位置关系。

当检测到目标对象的身体关键部位后，启动身体关键位置点的检测和动作类别的识别，对学员和模拟人身体关键部位对应的身体关键位置点进行检测，并识别学员的动作类别。

S406：基于预设的动作逻辑规则，对身体关键位置点的位置关系和动作类别进行融合分析，输出结构化动作识别结果。

可以理解地，本实施例还包括对结构化动作时识别模型训练的步骤，图5给出了本申请一个实施例提供的对结构化动作识别模型进行训练的流程图，如图5所示，本实施例对结构化动作时识别模型训练的步骤至少包括：

S501：获取样本数据，该样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

标注信息包括学员和模拟人的位置标注，学员和模拟人身体位置关键区域标注，以及学员17个身体关键位置点和模拟人7个身体关键位置点的标注。

标注信息还包括每个动作类别的开始时刻和结束时刻，并为每个动作类别设置类别标签。

本实施例在对采样的训练数据进行标注时，根据不同的动作类别，以动作类别的开始时刻和结束时刻为节点，将视频序列划分为对应的多个动作片段，一个动作片段标注开始帧的包围框和结束帧的包围框。

下面对表1中每个动作类别对应的动作片段的开始时刻和结束时刻进行示例性的说明：

轻拍患者，开始时刻设置为学员双手接触到模拟人双肩的前0.5s，结束时刻设置为学员双手结束拍打双肩，要离开患者双肩的时刻。

摇头扫视，开始时刻设置为摇头开始的前0.5s，结束时刻设置为学员没有摇头的时刻。若学员的头部超出画面(即看到的头部面积小于头部完整面积的1/3)，就不标这个动作。

胸部按压，开始时刻设置为学员双手接触到模拟人胸部中心点的时刻，结束时刻设置为学员手部离开模拟人胸部中心点的时刻。

人工呼吸，开始时刻设置为学员双手接触到模拟人面部，同时学员头部靠近模拟人头部的时刻，结束时刻设置为学员双手离开模拟人面部的时刻。

其他实施例中，可以根据实际需要设置每个动作片段的开始时刻和结束时刻，本实施例只是示例性地说明，并不对此做限定。

S502：对构建的神经网络模型进行初始化，得到初始化的结构化动作识别模型。

本实施例构建的神经网络模型包括3个子网络模型，即：目标检测模型、关键点检测模型和时序动作分类模型，分别对3个子网络模型进行初始化，得到初始化的结构化动作识别模型。

关于3个子网络模型的结构，可以参见上文的描述，在此不再赘述。

S503：将样本数据输入初始化的结构化动作识别模型中，得到结构化动作识别结果的预测值。

S504：确定结构化动作识别结果的预测值与类别标签值的误差。

S505：基于误差，对结构化动作识别模型的模型参数进行迭代训练。

S506：判断误差是否达到预设的偏差范围或迭代次数是否达到预设次数，如果是，则执行步骤S507，如果否，则执行步骤S505。

S507：得到训练好的结构化动作识别模型。

本申请实施例还提供一种AED急救培训考核系统，包括：

移动终端，用于学员发送考核请求；

服务器主机，用于接收所述考核请求，进入考核流程，执行上述考核方法实施例中任一实施例方式的考核方法的步骤；

用户终端，用于考核老师访问所述服务器主机，以配置培训考核信息和录入学员信息。

具体地，移动终端配置有急救培训与考核APP和/或小程序，培训学员进入急救培训与考核APP或小程序，提交个人信息，请求进入急救培训流程或进入急救考核流程。

用户终端与服务器主机连接，便于考核老师通过用户终端访问服务器主机，对系统进行配置，导入学员信息。示例性地，考核老师可以通过用户终端配置培训考核信息、视频采集装置信息等，其中，培训考核信息包括但不限于预设考核评分标准、考核培训动作步骤以及每个步骤分数权重占比等等，培训考核信息可以作为系统评判打分的依据。

数据处理模块在得到结构化动作识别结果之后，输入到数据存储模块中进行存储，用户终端还通过访问服务器，从数据存储模块中读取结构化动作识别结果，便于考核老师对学员进行打分。

用户终端还用于显示结构化动作识别结果以及考核结果。用户终端可以是笔记本电脑、平板电脑以及台式电脑中的至少一种。

图7是本申请一个实施例提供的AED急救培训考核系统的结构框图，如图7所示，本实施例的急救培训考核系统包括：

视频获取模块，用于获取学员对模拟人进行急救操作的视频序列；

动作识别模块，用于将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

打分模块，用于基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；

其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

上述实施例提供的考核系统与考核方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

需要说明的是：上述实施例中提供的考核系统在进行考核时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要将上述功能分配由不同的功能模块完成，即将考核系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

图8是本申请一个实施例提供的AED急救培训考核设备的结构框图，如图8所示，本实施例考核设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备，该计算机设备可以包括，但不限于处理器和存储器。

其中：

处理器可以包括一个或多个处理核心，比如：4核心处理器、6核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。所述处理器是计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。

存储器可以包括高速随机存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、内存器件、或其他易失性固态存储器件。

存储器上存储有计算机程序，计算机程序可在处理器上运行，处理器执行计算机程序时，实现本申请考核方法实施例中的所有或部分实施步骤，和/或文本中描述的其他内容。

本领域技术人员可以理解，图8仅仅是本申请实施例的一种可能的实现方式，其他实施方式中，还可以包括更多或更少的部件，或者组合某些部件，或者不同部件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时用于实现本申请考核方法实施例的步骤。

可选地，本申请还提供有一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以实现本申请考核方法实施例的步骤。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种AED急救培训学员的考核方法，其特征在于，包括：

获取学员对模拟人进行急救操作的视频序列；

将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；

其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

2.根据权利要1所述的考核方法，其特征在于，所述获取学员对模拟人进行急救操作的视频序列之前，还包括：

响应学员的培训考核请求，验证学员身份；

若身份验证通过，则触发考核流程。

3.根据权利要1所述的考核方法，其特征在于，所述响应学员的培训考核请求，触发考核流程之前，还包括：

接收考核老师通过用户终端配置的培训考核信息，以及录入的学员信息；其中，所述培训考核信息包括预设考核评分标准、考核培训动作步骤以及每个步骤的分数权重占比；

对所述培训考核信息和所述学员信息进行存储。

4.根据权利要求1所述的考核方法，其特征在于，所述将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果，包括：

检测所述视频序列中目标对象的位置以及身体关键部位，其中，所述目标对象包括学员和模拟人；

对所述视频序列中所述目标对象的位置以及所述身体关键部位进行持续跟踪，得到模拟人与学员的所述身体关键部位的交互关系；

基于所述交互关系，识别学员的动作类别；

检测所述目标对象的身体关键部位对应的身体关键位置点，以确定学员与模拟人对应的所述身体关键位置点的位置关系；

基于预设的动作逻辑规则，对所述身体关键位置点的位置关系和所述动作类别进行融合分析，输出结构化动作识别结果。

5.根据权利要求4所述的考核方法，其特征在于，所述结构化动作识别结果至少包括：

不同动作类别的发生时间和持续时间；

学员的动作是否规范。

6.根据权利要求5所述的考核方法，其特征在于，所述基于所述交互关系，识别学员的动作类别，包括：

若学员跪着弯腰，且学员手部有靠近和远离模拟人身体的位置变化，同时学员头部与模拟人头部距离大于预设值，则确定动作类别为轻拍患者；

若学员的手部与模拟人身体的距离大于预设距离值，且学员的头部在多帧视频图像中有左右移动变化，则确定动作类别为摇头扫视；

若学员跪着弯腰，且学员的手部靠近模拟人身体，则确定动作类别为胸部按压；

若模拟人额头和下巴的连线有倾斜，且学员的手部位于模拟人头部，同时学员的头部靠近模拟人头部，则确定动作类型为人工呼吸。

7.根据权利要求6所述的考核方法，其特征在于，学员的动作是否规范，可以通过如下方式判定：

轻拍患者时，若检测到学员手部在模拟人双肩附近，则判定拍打位置正确；

胸部按压时，若检测到学员的手部关键位置点位于模拟人的胸部按压区域，则判定按压位置正确；若学员的肩部关键位置点、手肘关键位置点和手腕关键位置点的连接线形成的夹角大于100度，则判定胸部按压时的手臂处于伸直状态。

8.根据权利要求1所述的考核方法，其特征在于，按照预设考核评分标准，为学员打分，得到考核结果，包括：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准，进行AI智能打分，获得AI智能打分结果；

基于所述AI智能打分结果，得到学员的考核结果。

9.根据权利要求1所述的考核方法，其特征在于，所述按照预设考核评分标准，为学员打分，得到考核结果，包括：

将结构化动作识别结果输入AI智能打分模块，由AI智能打分模块按照预设考核评分标准，进行AI智能打分，获得AI智能打分结果；

将所述结构化动作识别结果发送至用户终端，由考核老师打分，获得考核老师的打分结果；

对所述AI智能打分结果和所述考核老师的打分结果，进行综合分析，得到学员的考核结果。

10.根据权利要求1-9任一项所述的考核方法，其特征在于，还包括：

获取心肺复苏过程中的按压深度、按压频率和胸腔回弹数据；

基于所述按压深度、按压频率数据，判断学员的心肺复苏按压是否合格，得到第一判断结果；

从所述视频序列中提取音频数据；

对所述音频数据进行语音识别，判断学员的说话内容是否合格，得到第二判断结果；

基于所述第一判断结果、所述第二判断结果以及所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果。

11.根据权利要1所述的考核方法，其特征在于，所述得到考核结果之后，还包括：

生成考核分析报告；

将所述考核分析报告和所述考核结果下发至移动终端，以供学员通过所述移动终端的急救考核培训APP或小程序查阅。

12.一种AED急救培训考核系统，其特征在于，包括：

视频获取模块，用于获取学员对模拟人进行急救操作的视频序列；

动作识别模块，用于将所述视频序列输入预先训练好的结构化动作识别模型中，得到学员的结构化动作识别结果；

打分模块，用于基于所述结构化动作识别结果，按照预设考核评分标准，为学员打分，得到考核结果；

其中，所述结构化动作识别模型是使用多组样本数据对神经网络模型进行训练得到的，所述样本数据包括视频序列以及视频序列中每一帧视频图像对应的标注信息和类别标签。

13.一种AED急救培训考核系统，其特征在于，包括：

移动终端，用于学员发送考核请求；

服务器主机，用于接收所述考核请求，进入考核流程，执行权利要求1-10任一项所述考核方法的步骤；

用户终端，用于考核老师访问所述服务器主机，以配置培训考核信息和录入学员信息。

14.一种AED急救培训考核设备，其特征在于，包括：处理器和存储器，所述存储器中存储有程序，所述程序由所述处理器加载并执行，以实现如权利要求1-11任一项所述的考核方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序在被处理器执行时，用以实现如权利要求1-11任一项所述的考核方法的步骤。