CN112749684A - 心肺复苏术训练和评估的方法及装置、设备、存储介质 - Google Patents

心肺复苏术训练和评估的方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN112749684A
CN112749684A CN202110114540.2A CN202110114540A CN112749684A CN 112749684 A CN112749684 A CN 112749684A CN 202110114540 A CN202110114540 A CN 202110114540A CN 112749684 A CN112749684 A CN 112749684A
Authority
CN
China
Prior art keywords
cpr
trainee
standard
posture
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110114540.2A
Other languages
English (en)
Inventor
李胜云
李紫薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwei Beijing Biotechnology Co ltd
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202110114540.2A priority Critical patent/CN112749684A/zh
Publication of CN112749684A publication Critical patent/CN112749684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种心肺复苏术训练和评价方法及装置、设备、存储介质。本申请一实施例中，该心肺复苏术评价方法可以包括：获取包含受训者的CPR关键动作的待测图像序列；利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。本申请能够在较低成本下实时、高效且准确地评估受训者的CPR动作，并给予实时反馈。

Description

心肺复苏术训练和评估的方法及装置、设备、存储介质
技术领域
本申请涉及现场急救技术领域，尤其涉及一种心肺复苏术(CPR)训练和评估的方法及装置、设备、存储介质。
背景技术
现阶段心肺复苏术(CPR)的主要培训、训练方式多是采用仿真人结合人为评分方式进行。此外，其他训练方法还包括视频教学、文字教学和真人示范等等。通过仿真人体模型系统进行心肺复苏训练的，多是通过在仿真人体模型固定位置加装传感器，并通过传感器收集数据，再进行数据的汇总、研判、分析和考核评分。
通过仿真人体智能模型进行心肺复苏术训练、教学、考核，虽然降低了人工成本，但是需要通过多个传感器实时采集受训者的动作数据，长期使用存在传感器损耗的问题，不仅会造成使用成本的增加，而且传感器灵敏度降低也会影响检测的准确性。
发明内容
为了部分地或全部地解决上述技术问题，本申请期望提供一种CPR训练和评估的方法及装置、设备、存储介质。
本申请的一个方面，提供了一种心肺复苏术CPR训练和评估的方法，包括：
获取包含受训者的CPR关键动作的待测图像序列；
利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
一些示例中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
一些示例中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
一些示例中，所述轻量化网络采用Ghost-resnet56网络。
一些示例中，所述预定身体部位包括脸部、躯干和手部。
一些示例中，所述受训者的姿态特征数据包括对应各个预定身体部位的多个类，每类姿态特征数据具有三个维度，所述三个维度分别对应坐标、预定义的关键点类别、预定义的动作类别，所述对应坐标的维度中至少包含三维坐标信息。
一些示例中，所述关键点类别和所述动作类别是通过分析CPR中相应身体部位的姿态而预定义的。
一些示例中，所述CPR训练和评估的方法还包括：评价受训者的CPR动作之前，通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在所述受训者的按压位置标准的情况下继续所述相似度的确定步骤。
一些示例中，通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，包括：利用预先构建的Solov2模型识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征并获得用于指示所述受训者的按压位置是否标准的掩码。
一些示例中，所述掩码至少用于指示受训者的如下之一或多项对应的按压位置是否标准：按压胸部位置、开启气道的位置、跪在地面相对施救对象的位置、颈动脉搏动的手指按压位置。
一些示例中，所述Solov2模型包括：顺次连接的Resnet50网络、特征金字塔网络和掩码运算层；其中，特征金字塔网络包括掩码核分支和掩码特征分支。
一些示例中，利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度，包括：
对所述受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；
根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度；
其中，所述关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。
一些示例中，对所述受训者的姿态特征数据进行归一化操作，包括：
利用所述受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；
利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。
一些示例中，所述关键点对的关键点间距为所述关键点对中两个关键点之间的欧式距离。
一些示例中，所述缩放参数集合包括：自然站立状态下，受训者的人体骨骼中各个关键点对的关键点间距与CPR标准动作的执行者相应关键点对的关键点间距之间的比值。
一些示例中，根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以所述标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度，包括：
以所述归一化操作得到的受训者的姿态特征数据估算得到受训者关键CPR动作的关键点对角度信息，并以相应CPR标准动作的姿态特征数据估算得到CPR标准动作的关键点对角度信息；
计算所述受训者关键CPR动作的关键点对角度信息与相应CPR标准动作的关键点对角度信息之间的差值，并以所述差值中的最大值作为所述受训者关键CPR动作与相应CPR标准动作之间的相似度。
一些示例中，基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价，包括：
将所述受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若所述相似度大于所述相似度阈值则判定所述受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定所述受训者的姿态标准。
一些示例中，所述标准姿态特征数据是从包含CPR标准动作的标准图像序列中提取的，且所述标准图像序列与所述待测像序列同步。
一些示例中，所述CPR训练和评估的方法，还包括：同步所述待测图像序列和所述标准图像序列的步骤，该步骤包括：通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步；其中，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。
一些示例中，所述的CPR训练和评估的方法，还包括：控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。
一些示例中，所述的CPR训练和评估的方法，还包括：
在所述受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
本申请的一个方面，提供了一种心肺复苏术CPR训练和评估的装置，包括：
获取单元，配置为获取包含受训者的CPR关键动作的待测图像序列；
姿态识别单元，配置为利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
相似度确定单元，配置为利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
CPR关键动作评价单元，配置为基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
一些示例中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
一些示例中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
一些示例中，所述轻量化网络采用Ghost-resnet56网络。
一些示例中，所述的CPR训练和评估的装置，还包括：按压判定单元，配置为通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在所述受训者的按压位置标准的情况下继续所述相似度的确定步骤。
一些示例中，所述相似度确定单元，包括：
归一化操作模块，配置为对所述受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；
相似度计算模块，配置为根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度；
其中，所述关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。
一些示例中，所述归一化操作模块，是配置为利用所述受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；以及，利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。
一些示例中，所述CPR关键动作评价单元，是配置为将所述受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若所述相似度大于所述相似度阈值则判定所述受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定所述受训者的姿态标准。
一些示例中，所述的CPR训练和评估的装置，还包括：同步单元，配置为同步所述待测图像序列和所述标准图像序列，该同步的步骤包括：通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步；其中，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。
一些示例中，所述的CPR训练和评估的装置，还包括：
播放控制单元，配置为控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。
一些示例中，所述的CPR训练和评估的装置，还包括：
提示单元，配置为在所述受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
本申请的一个方面，还提供了一种计算设备，所述计算设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于读取所述存储器中存储的可执行指令以执行上述的CPR训练和评估的方法。
本申请的一个方面，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述CPR训练和评估的方法。
本申请实施例能够在较低成本下实时、高效且准确地评估受训者的CPR动作。
附图说明
在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
图1为本申请一实施例提供的CPR训练和评估的方法的流程示意图。
图2a为本申请一实施例中身体关键点的示意图。
图2b为本申请一实施例中脸部关键点的示意图。
图2c为本申请一实施例中手部关键点的示意图。
图3为本申请一实施例中姿态识别模型的示例性网络结构图。
图4a为本申请一实施例中Ghost-resnet56的整体网络结构的示例性图。
图4b为本申请一实施例中Ghost-resnet56中卷积块的示例性网络结构图。
图4c为本申请一实施例中Ghost-resnet56中ID块的示例性网络结构图。
图4d为本申请一实施例中Ghost-resnet56中Ghost Module的示例性网络结构图。
图5为本申请一实施例中Solov2模型的示例性网络结构图。
图6为本申请一实施例中Solov2模型中FPN的示例性运算过程示意图。
图7为本申请一实施例提供的CPR训练和评估的装置的结构示意图。
图8为本申请一实施例提供的计算设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本申请实施例中CPR训练和评估的方法所适用系统的示例性结构可以包括：服务侧设备和终端侧设备，服务侧设备与终端侧设备能够无线通信或有线连接。终端侧设备可以包括诸如摄像头、照相机等图像采集装置和显示装置(例如，独立的显示器或者具有显示功能的电子设备等)，图像采集装置负责实时采集下文所述包含受训者CPR动作的待测图像序列或下文所述受训者(例如，CPR的学习者、CPR的考核对象等)的CPR视频并送至服务侧设备，该受训者的CPR视频可以包含受训者CPR执行的完整过程，服务侧设备可负责执行下文所述的CPR训练和评估的方法，并将CPR评估的结果提供给显示装置以实时向相应受训者(例如，考核员、受训者自己、教导员等)显示待测图像序列、受训者的CPR视频、CPR评估的结果、标准图像序列和/或CPR标准视频。
实际应用中，服务端设备可以包括诸如服务器、具有一个或多个高性能CPU的计算设备或其集群。服务端设备可以是但不限于下文所述用于执行CPR训练和评估的方法的计算设备或其集群。该计算设备可包含一个或多个高性能CPU，以运行用于实现下文所述CPR训练和评估的方法的软件，该软件可以包含下文所述的CPR训练和评估的装置，详细技术细节参见下文CPR训练和评估的方法及装置的相关描述。
实际应用中，服务端设备可以通过图像采集装置采集受训者的待测图像序列或受训者的CPR视频，该待测图像序列或受训者的CPR视频通过视频采集卡输入至服务端设备，服务端设备调用上述CPR训练和评估的装置，利用待测图像序列或受训者的CPR视频对受训者的CPR动作进行分析和评估(即下文所述的CPR训练和评估的方法)，并将CPR评估的结果在显示装置上进行显示。
实际应用中，显示装置可以包括但不限于电视机、手机、平板显示器、电脑显示器等。
图1示出了本申请实施例中CPR训练和评估的方法的示例性流程。参见图1所示，本申请实施例中CPR训练和评估的方法的示例性流程可以包括步骤S110～步骤S150，该CPR训练和评估的方法能够在较低成本下实时、高效且准确地评估受训者的CPR动作。
步骤S110，获取包含受训者关键CPR动作的待测图像序列。
实际应用中，可以通过诸如摄像头、相机等图像采集装置采集受训者的CPR视频(本文统称为受训者的CPR视频)，再从该受训者的CPR视频中提取包含受训者关键CPR动作的待测图像序列。
步骤S120，利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据。
这里，受训者的姿态特征数据包括对应各个预定身体部位的多个类，每类姿态特征数据具有三个维度，该三个维度分别对应坐标、预定义的关键点类别(下文简称为关键点)、预定义的动作类别。其中，姿态特征数据中对应坐标的维度中至少包含了关键点的三维坐标信息。此外，该对应坐标的维度中还可以包含关键点的二维坐标信息。这里，姿态特征数据中关键点的二维坐标信息可用于下文的“同步”步骤，而三维坐标信息可以用于本文中“分析对比”等的关键步骤，当然也可用于“同步”的步骤。
关键点类别和动作类别是通过分析CPR中相应身体部位的姿态而预定义的。换言之，预定义的关键点均是与CPR动作直接相关的关键点，动作类别均是指CPR关键动作的动作状态类别。
各个身体部位的动作类别和关键点可以预先配置。本申请实施例中采用了84个脸部关键点、13个躯干关键点和21个手部关键点，两个手部共42个手部关键点，总共139个关键点，以全面系统地评估受训者CPR动作的姿态及脸部状态。具体的关键点定义可以参见图2a～图2c所示，图2a示出了躯干关键点的示意图，图2b示出了脸部关键点的示意图，图2c示出了手部关键点的示意图。
一些示例中，通过拆解分析CPR动作，脸部可以具有如下的5个动作类别(也即动作状态的类别)：
1 平视，受训者自我介绍，呼救时；
2 双手平伸，头部转动左右观察，确认环境安全时；
3 低下头，看施救对象(例如，仿真人)面部，包括双手拍打施救对象肩部，最后检查施救对象瞳孔，判断颈部是否有损伤，清理口鼻等动作；
4 低头斜视施救对象面部，在受训者按压施救对象时；
5 低头吹气，在人工呼吸动作时。
一些示例中，通过拆解分析CPR动作，手部可以具有如下的12个动作类别(也即动作状态的类别)：
1 受训者自我介绍，双手交叉在前(即背景状态)；
2 确定环境安全，双手平伸；
3 拍打施救对象双肩，确认是否清醒；
4 呼救时，一只手平伸；
5 检查颈动脉搏动，一只手2手指置于施救对象颈动脉；
6 按压动作时；
7 判断颈椎是否有损伤，双手检查施救对象颈部；
8 清理口鼻动作；
9 人工呼吸动作；
10 检查施救对象瞳孔；
11 解开和穿上施救对象衣物；
12 清理用物(如垃圾)。
一些示例中，通过拆解分析CPR动作，躯干可以具有如下的11个动作类别(也即动作状态的类别)：
1 站立，双手自然下垂；
2 站立，双手平伸；
3 站立双手交叉于胸前；
4 跪下，双手拍打施救对象双肩；
5 跪下，一只手平伸，用于呼救；
6 跪下，手臂垂直的按压动作；
7 跪下，穿脱衣物动作；
8 跪下，一手拿手电筒，一手打开施救对象瞳孔的观测动作；
9 跪下，吹气动作；
10，跪下，双手自然下垂的动作；
11 跪下，检测施救对象颈部脉搏的动作。
相应地，本申请实施例中脸部的预测模块能够预测到六个动作类别，脸部的回归模块回归到得到脸部关键点的坐标信息，脸部的尺寸为5*84*5，其中，首位的“5”表示坐标，包含脸部各关键点的二维坐标信息和三维坐标信息，“84”分别对应脸部的84个关键点，最后的“5”对应脸部的五种动作类别(去掉了“背景状态”)。
同理，本申请实施例中身体的预测模块预测到11个动作类别，躯干的回归模块回归到得到身体的姿态特征数据，该姿态特征数据的尺寸为5*13*11，同样地，首位的“5”表示坐标，包含躯干各关键点的二维坐标信息和三维坐标信息，“13”分别对应躯干的13个关键点，“11”对应脸部的11种动作类别。
本申请实施例中手部的预测模块预测到13个动作类别，手部的回归模块回归到得到手部的姿态特征数据，该姿态特征数据的尺寸为5*42*13，同样地，首位的“5”表示坐标，包含手部各关键点的二维坐标和三维坐标，“42”分别对应两只手上的42个关键点，“13”对应手部的13种动作类别。
至少一些实施例中，姿态识别模型中可以包含轻量化网络、区域生成网络、感兴趣区域(ROI，Region of Interest)层(例如，RoI Align)以及对应各个预定身体部位的预测模块和回归模块。为更准确全面地评估受训者的CPR动作，本申请实施例中的这些预定身体部位包括了脸部、身体和手部。
至少一些实施例中，步骤S120的示例性过程可以包括：步骤a1，通过Ghost-resnet56网络中的前三个模块提取所述待测图像序列中各幅图像的特征信息；步骤a2，通过区域生成网络从所述待测图像序列的特征信息中提取候选检测框，采用ROI Align从所述候选检测框中提取ROI框；步骤a3，通过Ghost-resnet56网络中的第四个模块提取ROI框中的特征信息；步骤a4，各个预定身体部位对应的预测模块利用ROI框中的特征信息预测待测图像序列中各幅图像相应身体部位的动作类别，各个预定身体部位对应的回归模块利用所述ROI中的特征信息进行回归计算以得到待测图像序列中各幅图像的受训者关键点坐标信息，最终形成各个预定身体部位的姿态特征数据。
至少一些实施例中，姿态识别模型中的轻量化网络可以是但不限于Ghost-resnet56网络或其他类似的轻量级神经网络。这里，采用Ghost-resnet56网络提取受训者的三维姿态特征数据，可以提升网络运算速度，增强整体模型的实时性。
图3示出了本申请实施例中姿态识别模型的示例性网络结构。姿态识别模型中包含轻量化网络、区域生成网络(RPN，RegionProposal Network)、ROI层以及分别对应脸部、身体和手部的三个预测模块和三个回归模块。具体地，参见图3所示，轻量化网络中包含四个模块，轻量化网络的第一个模块、第二个模块和第三个模块顺次连接，区域生成网络和ROI层插接在Ghost-resnet56网络的第三个模块与其第四个模块之间，预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。该示例中，轻量化网络采用Ghost-resnet56网络，采用Ghost-resnet56作为姿态识别模型的主干网络可以提高网络运算速度，增强整体模型的实时性。
以Ghost-resnet56网络为例，图3示出了本申请实施例中姿态识别模型的示例性网络结构，其主干络采用Ghost-resnet56，采取Ghost-resnet56的前三个模块提取待测图像序列中各幅图像的特征信息，然后采用RPN网络提取受训者的脸部、身体和手部的位置信息，生成一系列的候选检测框，这些候选检测框经过RoI层进行对齐后得到ROI检测框，再经过Ghost-resnet56中的第四个模块提取ROI检测框中的特征信息，然后这些ROI检测框中的特征信息分别进入6个分支，即脸部、身体和手部对应的预测模块和回归模块，由预测模块可以分类出待测图像序列中各幅图像中的各身体部位的动作类别，由回归模块回归计算出待测图像序列中各幅图像中的各个身体部位中关键点的坐标信息，该坐标信息至少包括了关键点的三维坐标，除此之外还可以包括关键点的二维坐标，最终形成脸部的姿态特征数据、身体的姿态特征数据和手部的姿态特征数据。
一些示例中，Ghost-resnet56的整体网络结构可以是如图4a所示的网络结构，Ghost-resnet56中卷积块(ConvBlock)的示例性网络结构可以是如图4b所示的网络结构，Ghost-resnet56中ID块(IDBlock)的示例性网络结构可以是如图4c所示的网络结构，Ghost-resnet56中Ghost模块(Ghost Module)的示例性网络结构可以是如图4d所示的网络结构。其中，如图4d所示的Ghost模块(Ghost Module)的处理包括常规卷积、Ghost生成特征图和特征图拼接。即，首先用1x1的卷积得到本征特征图(intrinsic feature maps)Yw*h*m，然后采用3x3的卷积核(即图4d中的φ1、φ2、……、φk)对Yw*h*m进行卷积操作以得到Ghost生成的特征图，然后将这些特征图拼接在一起得到最终的结果。
RPN和RoI Align可以采用常用设计，不再赘述。Ghost-resnet56的第四个模块与其第二模块、第三模块的结构类似，包括一个卷积模块与其之后的5个ID块(ID block)。
实际应用中，上述回归模块块和/或预测模块可以分别通过诸如卷积神经网络(CNN)等深度学习模型来实现。
步骤S130，利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度。
通常，CPR要求受训者事先按压到位再继续施救。因此，为了为更准确全面地进行CPR评估，至少一些实施例中，步骤S130之前还可以包括：步骤S121，通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在受训者的按压位置标准的情况下继续步骤S130中相似度的确定。
具体地，步骤S121可以包括：利用预先构建的Solov2模型识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征并获得用于指示所述受训者的按压位置是否标准的掩码。
这里，施救对象的姿态特征包括施救对象的胸部、肩部、颈部、下巴、耳垂、头顶、眼部等预定身体部位的姿态特征。
这里，掩码至少用于指示受训者的如下之一或多项对应的按压位置是否标准：按压胸部位置、开启气道的位置、跪在地面相对施救对象的位置、颈动脉搏动的手指按压位置。
具体而言，可以依据如下条件来基于受训者的按压特征和施救对象的姿态特征判定受训者的按压位置是否标准：
1)CPR规定按压位置应在：胸骨中下段1/3，两乳头联线中点，或剑突上两横指处。也即，受训者的按压胸部位置是否标准的判断基准为施救对象的胸骨中下段1/3、两乳头联线中点或剑突上两横指处。
2)开启气道时，施救对象的下巴与耳垂的连线应与地面垂直。正确的CPR按压动作，受训者需跪在施救对象(例如，CPR考核时使用的仿真人模型)身侧，一条腿位于施救对象肩部，一条腿位于施救对象胸部。判断颈动脉是否搏动时，手指应在施救对象的甲状软骨正中线旁开1-2厘米胸锁乳突肌前缘触摸颈动脉的搏动。
3)当受训者一只手的手指出现在施救对象的头顶，且受训者头部有向下动作时，认为为开启气道状态，此时检测施救对象下巴及耳垂的区域，其下巴的最高点和耳垂的x方向(即物体距离摄像头焦点的距离方向)最小点的y方向与地面所成角度为气道是否开启成功的判断指标。当角度在80°～100°之间时，认为开启成功，否则不成功。
4)施救对象胸部定位范围为以正确位置为原点、圆形半径3厘米范围内为正确位置，当受训者按压时，其手部姿态节点在此范围内，为正确位置，否则为错误位置。这里，“正确位置”是指假人两乳头连线中点、胸骨中下1/3处。
5)在触摸颈动脉时，受训者两手指所在位置位于施救对象颈部3/4～4/5范围内，认为触摸颈动脉成功，否则认为受训者定位失败。
至少一些实施例中，Solov2模型可以包括顺次连接的Resnet50网络、特征金字塔网络(FPN，eature pyramid networks)和掩码运算层，FPN可以包括可同步执行的掩模特征分支和掩模核分支，掩码运算层可用于利用FPN中掩模核分支得到的掩模卷积核和掩模特征分支得到的掩模特征进行运算以获得用于指示受训者按压位置是否标准的掩码。
具体而言，步骤S121中可以包括：通过Resnet50网络提取所述待测图像序列中各幅图像的特征信息；通过FPN中的掩模特征分支提取所述特征信息的掩模特征，同时通过FPN中的掩模核分支学习对应所述掩模特征的掩模核；针对所述掩模特征和所述掩模核执行掩码运算层的运算，以获得所述掩码。
图5示出了本申请实施例中Solov2模型的示例性网络结构，图6示出了本申请实施例中Solov2模型中FPN的示例性运算过程。参见图5和图6所示，实时获取受训者的待测图像序列之后，并将待测图像序列逐帧传送至Solov2模型的主干网络Resnet50网络，图像经过Resnet50网络处理后送至FPN中，经过掩码运算层输出高分辨率特征图(feature map)，该高分辨率特征图中包含上述的掩码。
参见图5和图6的示例，本申请实施例中Solov2模型中FPN可以采用分割任务，即用两个分支来实现功能。其中，掩码特征(Mask Feature)分支用来预测掩码区域的位置，掩码核(Mask kernel)分支用来学习分类器的权重。FPN可以包括P1～P5层，如图6所示，FPN的P2到P5层依次经过3×3卷积、组归一化处理(group norm)、线性整流函数(ReLU)处理、2个双线性插值处理后，统一到原按压图像的1/4尺寸，然后再将缩小后的图像的对应元素逐个相乘(element-wise summation)，然后再依次经过1×1卷积、组归一化处理(group norm)、线性整流函数(ReLU)处理后，得到Mask Feature分支。掩码核分支用来学习卷积核，即分类器的权重，其输入为H*W*E的特征F(即图5中的mask feature)，E是输入特征的通道数，掩码核分支的输出为卷积核S*S*D，其中S是划分的网格数目，D是卷积核的通道数。这里，对应关系如下：对于1*1*E的卷积核，则D＝E；对于3*3*E的卷积核，则D＝9E。最后，将Mask Feature分支输出的Mask Feature和Mask kernel分支输出的卷积核进行运算，即可获得上述的掩码。
需要说明的是，图5和图6仅作为示例。实际应用中，Solov2模型还可采用其他网络结构。
由于人体高矮胖瘦不同，为了和标准视频的动作进行对比研究，至少一些实施例中，步骤S130中可以包括：步骤b1，对受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；步骤b2，根据以归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度。
其中，关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。由于CPR主要为人体上半身及腰部的动作，以图2a为例，可以建立图2a所示部位的关键点对为：Kp＝[[1,2],[2,3],[3,4],[1,5],[5,6],[6,7],[1,8],[1,9]]。同理，可以针对上述的其他预定身体部位即脸部和手部，也建立类似的关键点对列表以便继续步骤S130的处理。
至少一些实施例中，步骤b1的示例性实现过程可以包括：利用受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。这里，关键点对的关键点间距可以是但不限于关键点对中两个关键点之间的欧式距离。缩放参数集合可以包括：自然站立状态下，受训者的人体骨骼中各个关键点对的关键点间距与CPR标准动作的执行者相应关键点对的关键点间距之间的比值。
至少一些实施例中，步骤b2的示例性实现过程可以包括：以所述归一化操作得到的受训者的姿态特征数据估算得到受训者关键CPR动作的关键点对角度信息，并以相应CPR标准动作的姿态特征数据估算得到CPR标准动作的关键点对角度信息，计算所述受训者关键CPR动作的关键点对角度信息与相应CPR标准动作的关键点对角度信息之间的差值，并以所述差值中的最大值作为所述受训者关键CPR动作与相应CPR标准动作之间的相似度。
具体地，以图2a为例，步骤S130的示例性实现过程可以如下步骤：
1)建立人体关键点的对比关系，即确定上述的缩放参数集合。
由于人体高矮胖瘦不同，为了和标准视频的动作进行对比研究，首先将受训者的关键点缩放到与标准视频的关键点的尺寸一致。在受训者准备做CPR动作前，在自然站立的情况下，与标准视频中的示范人员(例如，CPR教师)的关键点进行比较，建立受训者的缩放参数集合。
具体地，采用下式(1)所示的函数关系来计算受训者的第i个关键点对的关键点间距与CPR标准动作的执行者第i关键点对的关键点间距之间的比值βi：
Figure BDA0002918277860000121
其中，
Figure BDA0002918277860000131
表示自然站立状态下CPR标准视频或者标准图像序列中的示范人员第i个关键点对的欧式距离，
Figure BDA0002918277860000132
表示自然站立状态下受训者第i个关键点对的欧式距离。
其中，关键点间的都是距离可以通过下式(2)计算。
Figure BDA0002918277860000133
其中，
Figure BDA0002918277860000134
表示第i个关键点对第一个关键点的x轴坐标，公式(2)其他符号的含义与此同理。
2)在需要进行动作相似度判定之前，先利用步骤1)所确定的比例关系即受训者的缩放参数集合，将受训者的一个或所有身体部位(例如，图2a所示的身体部位)的关键点对欧式距离转换为CPR标准视频或者标准图像序列中的示范人员相应部位的关键点对欧式距离，并利用转换(即归一化操作)之后获得的受训者的关键点对欧式距离调整受训者相应关键点对中各关键点的坐标。
这里，可以参照如下式(3)来实现本步骤中的转换：
Figure BDA0002918277860000135
其中，
Figure BDA0002918277860000136
表示转换后(即归一化后)的受训者第i关键点对的欧式距离也即CPR标准视频的尺度下受训者第i关键点对的欧式距离，
Figure BDA0002918277860000137
表示转换前(即归一化前)的受训者第i关键点对欧式距离。
3)计算受训者的某个或某些CPR关键动作与相应CPR标准动作之间的相似度；
具体地，在受训者与CPR标准视频中示范人员的姿态尺度统一的情况下，对于CPR关键动作所对应的姿态而言，受训者的各个关键点对的角度信息与该示范人员相应关键点对的角度信息应该一致，如果动作错误，关键点对的角度信息会有明显的不同，本申请实施例利用此作为受训者CPR关键动作的判定标准。
这里，针对某一或多个CPR关键动作(例如，确认环境安全、呼叫患者，呼救，进行颈动脉搏动判定，按压姿势判定，开启气道姿势等对应的CPR动作)，首先计算这些CPR关键动作对应的受训者各个关键点对的角度差，取其最大值作为受训者的这些CPR关键动作与相应的CPR标准动作之间的相似度，即可以参照下式(4)计算相似度：
Figure BDA0002918277860000141
其中，Δθ表示受训者的第i个关键点对角度信息与相应CPR标准动作的示范人员第i个关键点对角度信息之间的差值也即某个或某些CPR关键动作的相似度，
Figure BDA0002918277860000142
表示归一化后受训者的第i个关键点对角度信息，
Figure BDA0002918277860000143
表示相应CPR标准动作的示范人员第i个关键点对角度信息，max之下的i表示“为寻找第i个点，该第i个点使得公式取最大值”，由此，通过式(4)可以表示受训者的CPR关键动作与相应标准动作的差异度，也即相似度。
步骤S140，基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
步骤S140中，可以通过受训者关键点对和标准视频中示范人员的关键点对的角度差判定受训者的CPR动作是否标准。至少一些实施例中，步骤S140中可以包括：将受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若相似度大于相似度阈值则判定受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定受训者的姿态标准。
一些示例中，可以通过如下式(5)判定受训者的姿态是否标准：
Figure BDA0002918277860000144
其中，Δθ表示受训者的某个或某些CPR关键动作与相应CPR标准动作的相似度，f(Δθ)表示受训者姿态是否标准的评分值，在Δθ大于预先设定的相似度阈值“5”时f(Δθ)取1，表示受训者姿态错误；在Δθ小于或等于预先设定的相似度阈值“5”时f(Δθ)取0，表示受训者姿态标准。这里，相似度阈值的具体取值可以根据实际应用的需求自由设定，上述式(5)中的“5”仅作为示例。
本申请实施例中，标准姿态特征数据是从包含CPR标准动作的标准图像序列中提取的，且所述标准图像序列与所述待测图像序列同步。至少一些实施例中，本申请实施例的上述CPR训练和评估的方法还可以包括同步所述待测图像序列和所述标准图像序列的步骤，该同步的步骤可以包括：通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步。这里，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。如此，可以通过将受训者的待测图像序列或CPR视频与CPR标准视频或标准图像序列进行同步，可以为上述步骤S130和步骤S140的判定做准备。
至少一些实施例中，可以采用受训者的姿态特征数据中的二维坐标信息和标准图像序列中提取的标准姿态特征数据中的二维坐标信息进行对比来实现上述同步的步骤。
假设CPR标准视频的每秒传输帧数(FPS)为30。设同步前，已采集受训者的动作tq秒，则检测的时间窗为[tq-3.6,tq]，共108张图片，为提升同步的速度，只考虑图2a所示身体部位的13个节点，分别对标准视频和采集受训者的视频进行如下的操作：
1)采用中值滤波和Savitzky-Golay滤波对待测图像序列或受训者CPR视频中的108张图像进行滤波，每幅图像的13个关键点按时间顺序进行滤波处理，减少身体关键点检测抖动造成的误差。
2)确定动作起始和终止。
首先，通过下式(6)定义临近帧的L2范数：
Figure BDA0002918277860000151
其中，j∈{1…13},t∈{1…60}，其中
Figure BDA0002918277860000152
表示第t帧图像第j个关键点的x轴方向上的坐标，
Figure BDA0002918277860000153
表示第t帧图像第j个关键点的y轴方向上的坐标，x轴和y轴是指图像上二维坐标的坐标轴。
其次，定义运动和停止时间，并检测运动时间的点数和停止时间的点数。
定义运动时间为满足以下2个条件的帧t：
条件1：在t至t-0.3时间段内，大于9个节点的L2范数小于0.008，
条件2：在t至t+0.3时间段内，大于9个节点的L2范数大于0.008为开始时间tm。
定义停止时间为满足以下2个条件的帧t：
条件1：在t至t-0.3时间段内，大于9个节点的L2范数大于0.008；
条件2：在t至t+0.3时间段内，大于9个节点的L2范数小于0.008为停止时间ts。
根据上述定义，分别对CPR标准视频和受训者的CPR视频，在其滤波后的108幅图像中进行搜索，得到一系列的tm和ts，由这些tm和ts组成集合
Figure BDA0002918277860000154
和
Figure BDA0002918277860000155
其中rm∈{1…Nm},其表示检到的运动时间的点数，rs∈{1…Ns}，其表示检测到的停止时间的点数，Nm表示运动的总帧数，Ns表示停止的总帧数。
3)依据下式(7)周期性地计算时间的偏差△t，并通过时间偏差周期性的调整CPR标准视频，使之与受训者的CPR视频同步。
Figure BDA0002918277860000161
这里，H函数表征视频同步的匹配分数，其定义为下式(8)：
Figure BDA0002918277860000162
其中，H函数的输入是Ruser、Rb和时间的偏差△t，j∈{1…13}为每帧图像上受训者姿态关键点的点数，该函数通过寻找合适的j个关键点，使得max括号内的计算式取得最大值。
这里，h函数表示当采用合适的时间差匹配，误差小于阈值时，增加匹配的分数，否则不增加分数，具体的定义如下式(9)：
Figure BDA0002918277860000163
其中，式(9)是针对式(8)中函数
Figure BDA0002918277860000164
的说明，t1和t2为函数的输入，只是表示函数的形式。具体实现时，Δti从0.033秒开始搜索，每次增加0.033秒，计算到3.6秒结束，总共计算108次，根据上述计算过程，得到CPR标准视频和受训者的CPR视频之间的时间偏差△t，从从而调整CPR标准视频，实现CPR标准视频和受训者的CPR视频的同步。
上述示例中，同步不仅可以用于对受训者的姿态进行评价，而且可以用于调整CPR标准视频，进而同步向受训者播放相应的CPR标准动作，达到指导受训者CPR训练的目的。换言之，上述CPR训练和评估的方法还可以包括：控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。具体地，可以每间隔时间T(例如，T＝30s)向CPR标准视频的播放模块发送一次时间偏差△t，由此时间偏差△t确定受训者一CPR动作对应的标准图像的时间戳，由该时间戳确定CPR标准视频的当前播放帧数，从而达到指导受训者完成心肺复苏动作的目的。
为了更好的指导受训者进行CPR训练，上述CPR训练和评估的方法还可以包括：在受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
由上可见，本申请实施例的CPR训练和评估的方法无需布设太多传感器即可针对受训者的CPR动作进行准确、高效和全面的评估，也即可以在较低成本下实时、高效且准确地评估受训者的CPR动作。此外，还可同步显示截图和/或同步播放CPR标准视频，便于受训者纠正自身CPR动作，同时还可指导受训者完成心肺复苏动作。
图7示出了本申请实施例中CPR训练和评估的装置的示例性结构。参见图7所示，本申请实施例中CPR训练和评估的装置的示例性结构可以包括：
获取单元71，配置为获取包含受训者的CPR关键动作的待测图像序列；
姿态识别单元72，配置为利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
相似度确定单元73，配置为利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
CPR关键动作评价单元74，配置为基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
一些示例中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
一些示例中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
一些示例中，所述轻量化网络采用Ghost-resnet56网络。
一些示例中，CPR训练和评估的装置还可以包括：按压判定单元75，配置为通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在所述受训者的按压位置标准的情况下继续所述相似度的确定步骤。
一些示例中，相似度确定单元74可以包括：
归一化操作模块741，配置为对所述受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；
相似度计算模块742，配置为根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度。
其中，所述关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。
一些示例中，归一化操作模块741可以是配置为利用所述受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；以及，利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。
一些示例中，CPR关键动作评价单元74可以是配置为将所述受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若所述相似度大于所述相似度阈值则判定所述受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定所述受训者的姿态标准。
一些示例中，CPR训练和评估的装置还可以包括：同步单元76，配置为同步所述待测图像序列和所述标准图像序列，该同步的步骤包括：通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步；其中，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。
一些示例中，CPR训练和评估的装置还可以包括：播放控制单元77，配置为控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。
一些示例中，CPR训练和评估的装置还可以包括：提示单元78，配置为在所述受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
上述CPR训练和评估的装置可以通过软件、硬件或两者的结合来实现。上述CPR训练和评估的装置的其他技术细节参见上文CPR训练和评估的方法的描述，不再赘述。
图8示出了本申请实施例中计算设备的示例性结构。实际应用中，该计算设备可以是具有高性能处理能力的计算机、服务器或其集群。需要说明的是，图8显示的计算设备仅作为示例，本申请实施例的计算设备的具体结构不限于此。
参见图8所示，计算设备可以包括：一个或者多个处理器或者处理单元801，存储器802，连接不同系统组件(包括存储器802和处理单元801)的总线803，存储器802可用于存储所述处理器可执行指令，一个或多个处理器或处理单元801可用于读取存储器802中存储的可执行指令以执行上CPR训练和评估的方法。
上述计算设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022。计算设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质(图8中未显示，通常称为“硬盘驱动器”)。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。存储器802中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例中CPR训练和评估的方法的步骤。
具有一组(至少一个)程序模块8024的程序/实用工具8025，可以存储在例如存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本申请所描述的实施例中的功能和/或方法。
上述计算设备也可以与一个或多个外部设备804(如图像采集装置、指向设备、显示装置、视频采集卡等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备的其它模块(如处理单元801等)通信。应当理解，尽管图8中未示出，可以结合计算设备使用其它硬件和/或软件模块。
外部设备804可以包括显示装置时，该显示装置(例如，显示屏、触控显示屏等)可以在处理器或处理单元801的控制下向评估对象报警或显示错误的运动姿态所对应的CPR图像帧和/或标准图像帧；和/或，可以在处理器或处理单元801的控制下向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成CPR。
上述外部设备804还可以包括诸如摄像头或照相机等图像采集装置，该图像采集装置可以实时采集评估对象的CPR图像。
上述外部设备804中的视频采集卡可用于将图像采集装置实时采集的CPR图像转换为处理器或处理单元801可识别的数据并传送至处理器或处理单元801或者存储器802中。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述的CPR训练和评估的方法。这里，计算机可读存储介质的例子可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。
由以上内容可以看出，本申请至少公开了以下技术方案：
1.一种心肺复苏术CPR训练和评估方法，包括：
获取包含受训者的CPR关键动作的待测图像序列；
利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
2.根据方案1所述的CPR训练和评估的方法，其中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
3.根据方案1所述的CPR训练和评估的方法，其中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
4.根据方案2或3所述的CPR训练和评估的方法，其中，所述轻量化网络采用Ghost-resnet56网络。
5.根据方案2所述的CPR训练和评估的方法，其中，所述预定身体部位包括脸部、躯干和手部。
6.根据方案1所述的CPR训练和评估的方法，其中，所述受训者的姿态特征数据包括对应各个预定身体部位的多个类，每类姿态特征数据具有三个维度，所述三个维度分别对应坐标、预定义的关键点类别、预定义的动作类别，所述对应坐标的维度中至少包含三维坐标信息。
7.根据方案6所述的CPR训练和评估的方法，其中，所述关键点类别和所述动作类别是通过分析CPR中相应身体部位的姿态而预定义的。
8.根据方案1所述的CPR训练和评估的方法，还包括：
评价受训者的CPR动作之前，通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在所述受训者的按压位置标准的情况下继续所述相似度的确定步骤。
9.根据方案8所述的CPR训练和评估的方法，其中，通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，包括：利用预先构建的Solov2模型识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征并获得用于指示所述受训者的按压位置是否标准的掩码。
10.根据方案9所述的CPR训练和评估的方法，其中，所述掩码至少用于指示受训者的如下之一或多项对应的按压位置是否标准：按压胸部位置、开启气道的位置、跪在地面相对施救对象的位置、颈动脉搏动的手指按压位置。
11.根据方案9所述的CPR训练和评估的方法，其中，所述Solov2模型包括：顺次连接的Resnet50网络、特征金字塔网络和掩码运算层；其中，特征金字塔网络包括掩码核分支和掩码特征分支。
12.根据方案1所述的CPR训练和评估的方法，其中，利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度，包括：
对所述受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；
根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度；
其中，所述关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。
13.根据方案12所述的CPR训练和评估的方法，其中，对所述受训者的姿态特征数据进行归一化操作，包括：
利用所述受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；
利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。
14.根据方案12所述的CPR训练和评估的方法，其中，所述关键点对的关键点间距为所述关键点对中两个关键点之间的欧式距离。
15.根据方案13所述的CPR训练和评估的方法，其中，所述缩放参数集合包括：自然站立状态下，受训者的人体骨骼中各个关键点对的关键点间距与CPR标准动作的执行者相应关键点对的关键点间距之间的比值。
16.根据方案12所述的CPR训练和评估的方法，其中，根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以所述标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度，包括：
以所述归一化操作得到的受训者的姿态特征数据估算得到受训者关键CPR动作的关键点对角度信息，并以相应CPR标准动作的姿态特征数据估算得到CPR标准动作的关键点对角度信息；
计算所述受训者关键CPR动作的关键点对角度信息与相应CPR标准动作的关键点对角度信息之间的差值，并以所述差值中的最大值作为所述受训者关键CPR动作与相应CPR标准动作之间的相似度。
17.根据方案1或16所述的CPR训练和评估的方法，其中，基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价，包括：
将所述受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若所述相似度大于所述相似度阈值则判定所述受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定所述受训者的姿态标准。
18.根据方案1所述的CPR训练和评估的方法，其中，所述标准姿态特征数据是从包含CPR标准动作的标准图像序列中提取的，且所述标准图像序列与所述待测图像序列同步。
19.根据方案18所述的CPR训练和评估的方法，还包括：同步所述待测图像序列和所述标准图像序列的步骤，该步骤包括：
通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步；其中，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。
20.根据方案18或19所述的CPR训练和评估的方法，还包括：控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。
21.根据方案17所述的CPR训练和评估的方法，还包括：
在所述受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
22.一种心肺复苏术CPR训练和评估的装置，包括：
获取单元，配置为获取包含受训者的CPR关键动作的待测图像序列；
姿态识别单元，配置为利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
相似度确定单元，配置为利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
CPR关键动作评价单元，配置为基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
23.根据方案22所述的CPR训练和评估的装置，其中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
24.根据方案1所述的CPR训练和评估的装置，其中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
25.根据方案23或24所述的CPR训练和评估的装置，其中，所述轻量化网络采用Ghost-resnet56网络。
26.根据方案22所述的CPR训练和评估的装置，还包括：
按压判定单元，配置为通过识别所述待测图像序列中各幅图像中受训者的按压特征和施救对象的姿态特征确定所述受训者的按压位置是否标准，以便在所述受训者的按压位置标准的情况下继续所述相似度的确定步骤。
27.根据方案22所述的CPR训练和评估的装置，其中，所述相似度确定单元，包括：
归一化操作模块，配置为对所述受训者的姿态特征数据进行归一化操作，以使得受训者的关键点缩放到CPR标准动作的尺寸；
相似度计算模块，配置为根据以所述归一化操作得到的受训者的姿态特征数据估算得到的受训者关键CPR动作的关键点对角度信息、和以相应CPR标准动作的标准姿态特征数据估算得到的关键点对角度信息，确定所述相似度；
其中，所述关键点对角度信息所对应的关键点对是通过分析CPR动作的人体姿态而预先创建的。
28.根据方案27所述的CPR训练和评估的装置，其中，所述归一化操作模块，是配置为利用所述受训者的姿态特征数据估算受训者各预定身体部位中关键点对的关键点间距；以及，利用预定的缩放参数集合调整受训者各个关键点对的关键点间距以使得所述受训者的姿态特征数据归一化至标准尺度。
29.根据方案22所述的CPR训练和评估的装置，其中，所述CPR关键动作评价单元，是配置为将所述受训者关键CPR动作与相应CPR标准动作之间的相似度与预先设定的相似度阈值进行比较，若所述相似度大于所述相似度阈值则判定所述受训者的姿态错误，若所述相似度小于或等于所述相似度阈值则判定所述受训者的姿态标准。
30.根据方案22所述的CPR训练和评估的装置，还包括：
同步单元，配置为同步所述待测图像序列和所述标准图像序列，该同步的步骤包括：通过估算受训者的CPR视频与CPR标准视频的时间偏差来周期性地调整所述CPR标准视频，以使得所述CPR标准视频与所述受训者的CPR视频同步；其中，所述受训者的CPR视频包含所述待测图像序列，所述CPR标准视频包含所述标准图像序列。
31.根据方案30所述的CPR训练和评估的装置，还包括：
播放控制单元，配置为控制显示装置播放CPR标准视频，以使得受训者在CPR进行过程中能够同时查看相应的CPR标准动作。
32.根据方案29所述的CPR训练和评估的装置，还包括：
提示单元，配置为在所述受训者的姿态错误时，发出提醒信号，截取错误姿态对应的待测图像序列和/或相应CPR标准动作的标准图像序列并控制显示装置进行显示，以便受训者纠正自身动作。
33.一种计算设备，所述计算设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于读取所述存储器中存储的可执行指令以执行上述方案1-21中任一项所述的心肺复苏术CPR训练和评估的方法。
34.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述方案1-21中任一项所述的心肺复苏术CPR训练和评估的方法。

Claims (10)

1.一种心肺复苏术CPR训练和评估方法，包括：
获取包含受训者的CPR关键动作的待测图像序列；
利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
2.根据权利要求1所述的CPR训练和评估的方法，其中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
3.根据权利要求1所述的CPR训练和评估的方法，其中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
4.根据权利要求2或3所述的CPR训练和评估的方法，其中，所述轻量化网络采用Ghost-resnet56网络。
5.一种心肺复苏术CPR训练和评估的装置，包括：
获取单元，配置为获取包含受训者的CPR关键动作的待测图像序列；
姿态识别单元，配置为利用所述待测图像序列通过预先构建的姿态识别模型提取受训者的姿态特征数据；
相似度确定单元，配置为利用预先获取的标准姿态特征数据和所述受训者的姿态特征数据，确定受训者的CPR关键动作与相应CPR标准动作之间的相似度；
CPR关键动作评价单元，配置为基于所述受训者的CPR关键动作与相应CPR标准动作之间的相似度，对受训者的CPR关键动作进行评价。
6.根据权利要求6所述的CPR训练和评估的装置，其中，所述姿态识别模型中包含轻量化网络、区域生成网络、感兴趣区域ROI层以及对应各个预定身体部位的预测模块和回归模块。
7.根据权利要求5所述的CPR训练和评估的装置，其中，所述轻量化网络中包含四个模块，所述区域生成网络和所述ROI层插接在所述轻量化网络的第三个模块与其第四个模块之间，各个预定身体部位的预测模块和回归模块分别接在所述轻量化网络的第四个模块之后。
8.根据权利要求6或7所述的CPR训练和评估的装置，其中，所述轻量化网络采用Ghost-resnet56网络。
9.一种计算设备，所述计算设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于读取所述存储器中存储的可执行指令以执行上述权利要求1-4中任一项所述的心肺复苏术CPR训练和评估的方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述权利要求1-4中任一项所述的心肺复苏术CPR训练和评估的方法。
CN202110114540.2A 2021-01-27 2021-01-27 心肺复苏术训练和评估的方法及装置、设备、存储介质 Pending CN112749684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110114540.2A CN112749684A (zh) 2021-01-27 2021-01-27 心肺复苏术训练和评估的方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110114540.2A CN112749684A (zh) 2021-01-27 2021-01-27 心肺复苏术训练和评估的方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN112749684A true CN112749684A (zh) 2021-05-04

Family

ID=75653246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110114540.2A Pending CN112749684A (zh) 2021-01-27 2021-01-27 心肺复苏术训练和评估的方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN112749684A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115227234A (zh) * 2022-07-07 2022-10-25 电子科技大学 一种基于摄像头的心肺复苏按压动作评估方法与系统
WO2022242104A1 (en) * 2021-05-17 2022-11-24 Zhejiang Dahua Technology Co., Ltd. Training method for action evaluation model, action evaluation method, and electronic device
CN116030385A (zh) * 2022-12-29 2023-04-28 广州市锐星信息科技有限公司 一种心肺复苏ai评价系统
CN116258414A (zh) * 2023-03-16 2023-06-13 天津诚意科技有限公司 一种心肺复苏模拟训练数据分析方法、装置及可读存储介质
CN116307861A (zh) * 2023-02-28 2023-06-23 中国民用航空飞行学院 一种监察员培训测评系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150044653A1 (en) * 2013-08-06 2015-02-12 ArchieMD, Inc. Systems and methods of training and testing medical procedures on mobile devices
CN104539888A (zh) * 2014-12-16 2015-04-22 广西科技大学 心肺复苏急救训练中胸外心脏按摩术的视频监控方法
CN108805068A (zh) * 2018-06-01 2018-11-13 李泽善 一种基于学生运动的运动辅助系统、方法、装置及介质
CN109635644A (zh) * 2018-11-01 2019-04-16 北京健康有益科技有限公司 一种用户动作的评价方法、装置和可读介质
CN109948459A (zh) * 2019-02-25 2019-06-28 广东工业大学 一种基于深度学习的足球动作评估方法与系统
CN109977904A (zh) * 2019-04-04 2019-07-05 成都信息工程大学 一种基于深度学习的轻量型的人体动作识别方法
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
US20200155401A1 (en) * 2018-12-18 2020-05-21 Fanping Wang Intelligent code cart
CN111539245A (zh) * 2020-02-17 2020-08-14 吉林大学 一种基于虚拟环境的cpr技术训练评价方法
CN112233516A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种医师cpr考试训练与考核的评分方法及系统
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150044653A1 (en) * 2013-08-06 2015-02-12 ArchieMD, Inc. Systems and methods of training and testing medical procedures on mobile devices
CN104539888A (zh) * 2014-12-16 2015-04-22 广西科技大学 心肺复苏急救训练中胸外心脏按摩术的视频监控方法
CN108805068A (zh) * 2018-06-01 2018-11-13 李泽善 一种基于学生运动的运动辅助系统、方法、装置及介质
CN109635644A (zh) * 2018-11-01 2019-04-16 北京健康有益科技有限公司 一种用户动作的评价方法、装置和可读介质
US20200155401A1 (en) * 2018-12-18 2020-05-21 Fanping Wang Intelligent code cart
CN109948459A (zh) * 2019-02-25 2019-06-28 广东工业大学 一种基于深度学习的足球动作评估方法与系统
CN109977904A (zh) * 2019-04-04 2019-07-05 成都信息工程大学 一种基于深度学习的轻量型的人体动作识别方法
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
CN111539245A (zh) * 2020-02-17 2020-08-14 吉林大学 一种基于虚拟环境的cpr技术训练评价方法
CN112233516A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种医师cpr考试训练与考核的评分方法及系统
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SATORU OKAMOTO 等: "Evaluation of Skills in Cardiopulmonary Resuscitation (CPR) Using Microsoft Kinect", 《JOURNAL OF MECHANICS ENGINEERING AND AUTOMATION》 *
XINLONGWANG 等: "SOLOv2: Dynamic and Fast Instance Segmentation", 《ARXIV：2003.10152V3》 *
刘鹏坤 等: "轻量型高分辨率人体关键点检测改进研究", 《计算机工程与应用》 *
袁静 等: "基于视练同步的沉浸式教学在住院医师规范化培训心肺复苏教学中的应用与分析", 《创伤与急诊电子杂志》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022242104A1 (en) * 2021-05-17 2022-11-24 Zhejiang Dahua Technology Co., Ltd. Training method for action evaluation model, action evaluation method, and electronic device
CN115227234A (zh) * 2022-07-07 2022-10-25 电子科技大学 一种基于摄像头的心肺复苏按压动作评估方法与系统
CN116030385A (zh) * 2022-12-29 2023-04-28 广州市锐星信息科技有限公司 一种心肺复苏ai评价系统
CN116030385B (zh) * 2022-12-29 2023-09-26 广州市锐星信息科技有限公司 一种心肺复苏ai评价系统
CN116307861A (zh) * 2023-02-28 2023-06-23 中国民用航空飞行学院 一种监察员培训测评系统
CN116258414A (zh) * 2023-03-16 2023-06-13 天津诚意科技有限公司 一种心肺复苏模拟训练数据分析方法、装置及可读存储介质
CN116258414B (zh) * 2023-03-16 2023-08-22 天津诚意科技有限公司 一种心肺复苏模拟训练数据分析方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN108734104B (zh) 基于深度学习图像识别的健身动作纠错方法及系统
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
JP6124308B2 (ja) 動作評価装置及びそのプログラム
CN109074641B (zh) 骨骼估计装置、骨骼估计方法以及骨骼估计程序
US20140220527A1 (en) Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN102622916A (zh) 人体穴位投影演示方法及装置
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
CN111539245B (zh) 一种基于虚拟环境的cpr技术训练评价方法
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN110490173B (zh) 一种基于3d体感模型的智能动作打分系统
CN113856186B (zh) 一种引体向上动作判定与计数的方法、系统及装置
WO2023108842A1 (zh) 基于健身教学训练的动作评价方法及系统
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和系统
Punsara et al. IoT based sign language recognition system
Zestas et al. The Computer Vision Box & Block Test in Rehabilitation Assessment
CN113255623B (zh) 一种智能识别俯卧撑动作姿态完成状况的系统和方法
Hazari et al. Designing a sign language translation system using kinect motion sensor device
CN112818800A (zh) 一种基于人体骨骼点深度图像的体育动作评估方法及系统
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN116152924A (zh) 一种运动姿势评估方法、装置、系统及计算机存储介质
CN115346640A (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
CN114863237B (zh) 一种用于游泳姿态识别的方法和系统
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination