CN115641646A - 一种cpr自动检测质控方法及系统 - Google Patents

Abstract

本发明涉及一种CPR自动检测质控方法及系统，属于人工智能急救训练技术领域，系统至少包括采集端、处理器和终端，采集端至少包括第一光学组件和第二光学组件，第一光学组件和第二光学组件以不同采集角度同时采集CPR动作的CPR动作数据并发送至处理器，处理器基于CPR动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，并且对手臂姿势角度数据和重心匹配角度进行标准判断，终端用于接收由处理器反馈的CPR动作的与动作质量是否合格的相关信息。现有技术通过在按压对象的身体设置板体来实施质控管理，易损伤身体，本发明仅需要在CPR动作实施时设置摄像装置就能够对CPR动作进行质控，避免了板体对按压对象的伤害。

Description

一种CPR自动检测质控方法及系统

技术领域

本发明涉及人工智能急救训练技术领域，尤其涉及一种CPR自动检测质控方法及系统。

背景技术

目前真实世界临床中CPR缺少质量控制的方法，按压质量良莠不齐，按压质量难以评估，直接影响复苏成功率。目前临床应用的CPR质控设备多为加速度传感器，需要放置在患者胸骨处，有一定厚度和硬度，按压过程中可能对患者胸骨造成外伤，患者及家属接受度较低，推广性较低。正确的按压姿势是保证按压质量和避免按压损伤的基础，然而目前针对于临床应用的CPR质控技术的发明只能评估按压深度和频率，对按压姿势缺乏质量控制的方法。

本发明希望能够提供一种不需要在患者身上设置任何装置，仅需要摄像组件就能够对CPR动作的按压质量和按压姿势关键指标进行质控的装置，避免对患者胸骨造成外伤。

例如， 公开号为CN106096314A的中国专利公开一种CPR训练和考核系统，包括：心肺复苏按压模型，能对每次有效按压给出有效按压指示；移动终端，用于获得所述有效按压指示的信息，及得出结果。一种CPR训练方法，包括以下步骤：移动终端发出CPR训练节拍；随着所述训练节拍，受训者对所述心肺复苏按压模型进行按压；所述心肺复苏按压模型对每次有效按压给出有效按压指示；所述移动终端获得所述有效按压指示的信息；所述移动终端得出训练结果；所述移动终端输出训练结果。该发明仅根据按压测量数据来进行CPR质量的反馈或判断，没有对CPR动作操作者的操作姿势进行判断。错误的CPR动作不能够使得心肺复苏操作持久，较短的CPR动作明显影响紧急救助的质量，因此，该发明对CPR动作的考核维度太单一，不全面。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

现有技术中的CPR动作质控装置，基本呈板体，在使用时需要放置在按压对象的胸骨处，通过实时采集按压数据来对CPR动作进行质控。这样的质控装置比较硬，也会对按压对象形成压力。按压对象本身是患者，体质较弱，在按压时质控装置很容易对按压对象表面的皮肤形成压痕或者压伤。针对此缺陷，本发明希望提供一种不用放置在按压对象身上的质控装置或系统，这样就能够避免按压对象的身体受到损伤。

针对现有技术之不足，本发明提供了一种CPR自动检测质控系统，所述系统至少包括采集端、处理器和至少一个终端，所述采集端与处理器以有线或者无线的方式建立通信连接关系，所述处理器与所述终端建立通信连接关系，所述处理器基于CPR自动反馈质控模型执行CPR自动检测质控行为，所述采集端至少包括第一光学组件和第二光学组件，所述第一光学组件和第二光学组件以不同采集角度同时采集CPR动作的CPR动作数据并发送至所述处理器，非同一采集角度的所述第一光学组件和所述第二光学组件的采集角度偏差范围为30~90度，所述处理器基于所述CPR动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，并且对所述手臂姿势角度数据和重心匹配角度进行标准判断，所述终端用于接收由所述处理器反馈的CPR动作的与动作质量是否合格的相关信息。

本发明采用光学组件作为采集端来采集CPR操作者的动作数据，光学组件不需要被设置在按压对象的身上，不会对按压对象的身体形成损伤。本发明的光学组件使用两个普通摄像装置，设备要求低。本发明的光学组件的采集角度不需要设定特定的角度来采集图像，可在一定范围内基于现场环境选取方便设置摄像装置的位置来安放。即光学组件的放置位置比较灵活，两个光学组件能分别采集CPR操作者的正面图像和侧面图像即可。光学组件可以通过无线方式传输数据，不会对现场环境形成线路干扰，也不会由于现场人员的误操作出现采集画面被遮挡的现象。

优选地，所述处理器基于CPR动作的所述手臂姿势角度数据和重心匹配角度与所述心肺复苏按压姿势标准阈值的比较结果向所述终端反馈当前CPR动作的动作缺陷信息和/或CPR动作调整建议信息。

本发明的处理器的反馈信息，通过反馈动作的问题信息来使得CPR操作者始终保持正确的CPR姿势，提高CPR动作的质量，实现较好的急救效果。

不正确的按压姿势会影响按压质量，并且加速疲劳。正确的按压姿势可以延缓疲劳导致的按压质量下降。更重要的是，正确的按压姿势是保证按压准确的基础，有文献研究证实施救者的姿势对胸外按压的深度和频率有重要影响。

优选地，所述心肺复苏按压姿势标准阈值至少包括双臂姿势角度范围和重心匹配角度范围，在双臂姿势角度范围中，左臂姿势角度合理范围为169.24°~180°，右臂姿势角度合理范围为168.49~180°，重心匹配角度合理范围为0~18.46°。

本发明的心肺复苏按压姿势标准阈值是通过骨骼点数据计算的。骨骼点数据不会受到采集图像中的操作者的衣物图像或者胖瘦等身体内特征的硬性，计算得到的数据比较准确。由于通过骨骼点数据计算的双臂姿势角度和重心匹配角度比较准确，只需要获取骨骼点数据即可，因此不需要限制CPR动作的视频的采集角度在某一个角度，只需要设置到能够获取所需骨骼点数据的采集角度范围即可，给予了光学组件设置位置较大的灵活性，不对光学组件的具体采集角度进行限定。

优选地，所述双臂姿势角度数据和所述重心匹配角度数据是基于人的骨骼点连接所形成的线段来分析的；其中，右臂姿势角度是指由右肩、右肘关节和右腕的骨骼点连线形成的角度，左臂姿势角度是指由左肩、左肘关节和左腕的骨骼点连线形成的角度，重心匹配角度是指CPR动作操作者的重心移动方向与平面法向量之间的夹角。

现有技术之所以无法脱离人类导师的指导和判断，是因为对于CPR姿势的指导仅有描述而没有参数参考。本发明通过骨骼点来确定双臂姿势角度和重心匹配角度，提高操作者的姿势的进度。通过关心操作者的重心偏移向量，使得对重心的观测能够有合理参数做参考，脱离了人类导师的经验指导，使得质控装置即使没有人类导师在现场也能够对CPR动作进行质控，甚至提出合理的姿势建议。

优选地，所述心肺复苏按压姿势标准阈值的确定方式至少包括：选取若干CPR动作规范的双臂姿势角度数据和重心匹配角度数据的单侧偏态分布规律来确定双臂姿势角度数据的合理范围和重心匹配角度数据的合理范围；基于双臂姿势角度数据的单侧偏态分布规律选5%百分位数确定双臂姿势角度数据的合理范围，基于重心匹配角度数据的单侧偏态分布规律选取95%百分位数确定重心匹配角度数据的合理范围。

本发明的心肺复苏按压姿势标准阈值的确定方式是科学统计得到的，完全符合CPR指南的指导要求，并且该阈值比较准确。

优选地，所述第一光学组件用于采集CPR动作操作者的躯体正面的第一动作数据，所述第二光学组件用于采集CPR动作操作者的躯体侧面的第二动作数据，其中，所述处理器基于由操作者的第一动作数据提取的骨骼点数据确定双臂姿势角度数据，所述处理器基于由操作者的第二动作数据提取的骨骼点数据确定重心匹配角度数据。

优选地，非同一采集角度的所述第一光学组件和所述第二光学组件的采集角度偏差为45度。

该采集角度偏差为能获取数据的最佳偏差角度。在此种情况下，能够无误地采集到操作者的正面数据和侧面数据，计算得到操作者的双臂姿势角度数据和重心匹配数据。

优选地，在接收由模拟人反馈的CPR动作相关的按压数据且所述按压数据与CPR动作建立时间对齐关系的情况下，所述处理器基于心肺复苏按压姿势标准阈值、由至少一位专业人员对CPR动作标注的标注指标信息和/或按压标准阈值进行CPR动作是否标准的判断，并且将对CPR动作的动作质量相关信息发送至所述终端。

优选地，所述处理器至少包括数据提取模块、预处理模块和质控模块，所述数据提取模块用于基于由第一光学组件采集的CPR动作的第一动作数据和由第二光学组件同时采集的CPR动作的第二动作数据分别提取人体的骨骼点数据，所述预处理模块用于对所述骨骼点数据进行预处理，预处理方式包括数据的缺失值与异常值分析、数据清洗、特征选取和/或数据变换；所述质控模块用于基于CPR自动反馈质控模型对预处理后的骨骼点数据进行计算以获取双臂姿势角度数据和重心匹配角度数据，并且至少基于心肺复苏按压姿势标准阈值判断CPR动作的动作质量是否合格。

本发明还提供一种CPR自动检测质控方法，所述方法至少包括：以不同采集角度同时采集CPR动作的CPR动作数据，基于所述CPR动作数据和CPR自动反馈质控模型计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，并且对所述手臂姿势角度数据和重心匹配角度进行标准判断，生成CPR动作的与动作质量是否合格的相关信息。

优选地，所述方法还包括：其中一个光学组件采集CPR动作操作者的躯体正面的动作数据，非同一采集角度的第一光学组件和第二光学组件的采集角度偏差范围为30~90度。

附图说明

图1是本发明的CPR自动检测质控系统的简化的结构示意图；

图2是本发明的处理器的简化的结构示意图；

图3是本发明的CPR姿势的骨骼点的示意图；

图4是本发明的CPR姿势的重心匹配角度的示意图；

图5是本发明的CPR姿势的双臂姿势角度的示意图；

图6是由AlphaPose识别的人体骨骼点的示例图；

图7是本发明的一种优选实施方式的提取的人体骨骼点的置信度统计表；

图8是本发明的一种优选实施方式的主要按压错误及发生率列表；

图9是本发明的一种优选实施方式的右臂和左臂的姿势角度直方图；

图10是本发明的一种优选实施方式的重心匹配角度直方图；

图11是本发明的一种优选实施方式的按压姿势标准阈值的示意图；

图12是本发明的动作评估模块的优化步骤的逻辑示意图；

图13是本发明的双ZED相机的成像的示例图；

图14是优化分析的左臂姿势角度的直方图和核密度图；

图15是优化分析右臂姿势角度的直方图和核密度图；

图16是优化分析重心匹配角度的直方图和核密度图；

图17是本发明的“不可能”数据的图示示例图；

图18是本发明的优化前后的左肘角度数据分布对比图；

图19是本发明的清除错误数据前后数据分布对比图；

图20是本发明的动作评估模块优化前后的重心匹配角度数据分布对比图；

图21是本发明的动作评估模块优化前后的清除错误数据前后数据分布对比图。

附图标记列表

0：鼻部；1：颈椎；2：右肩；3：右肘关节；4：右腕；5：左肩；6：左肘；7：左腕；8：右髋；9：右膝；10：右脚踝；11：左髋；12：左膝；13：左脚踝；14：右眼；15：左眼；16：右耳；17：左耳；100：采集端；120：模拟人；130：处理器；140：终端；200：数据提取模块；300：预处理模块；400：质控模块；500：动作评估模块；60：骨骼线段；61：骨骼端点；70：实际分布曲线；71：正态分布曲线；80：重心匹配角度；90：右臂姿势角度；91：左臂姿势角度；92：2D姿态评估子单元；93：3D动点子单元；94：联合优化单元。

具体实施方式

下面结合附图进行详细说明。

本发明提供一种CPR自动检测质控方法及系统。本发明的CPR自动检测质控系统，如图1所示，至少包括采集端100、处理器130和至少一个终端140。处理器130基于CPR自动反馈质控模型执行CPR自动检测质控行为。

采集端100包括第一光学组件和第二光学组件。第一光学组件和第二光学组件分别与处理器以有线或无线的方式建立连接关系。终端140与处理器130以有线或无线的方式建立连接关系。

第一光学组件用于以第一坐标采集CPR姿势的第一动作信息。第一坐标作为参考坐标系。第二光学组件用于以第二坐标采集CPR姿势的第二动作信息。第一坐标系与第二坐标系不相同。第一光学组件在第一坐标系下采集CPR动作操作者的第一参考信息。第二光学组件在第二坐标系下采集CPR动作操作者的第二参考信息。

优选地，第一光学组件和第二光学组件从不同的角度同时采集CPR姿势的动态视频图像。优选地，第一光学组件和第二光学组件之间的采集角度偏差为45度。优选地，第一光学组件和第二光学组件之间的采集角度偏差不限定为45度，还可以是30度、60度等等。优选地，第一光学组件和第二光学组件之间的采集角度偏差范围为30~90度。若第一光学组件和第二光学组件之间的采集角度偏差范围为90度，那么对CPR操作者侧面进行采集的采集角度不容易采集到CPR操作者的重心偏移向量。因此第一光学组件和第二光学组件之间的采集角度偏差最好小于90度。

优选地，第一光学组件以CPR动作的正前方为零度的采集角度来采集第一动作数据。第二光学组件以CPR动作的侧方45度角的采集角度来采集第二动作数据。由第一光学组件采集的骨骼点数据来确定双臂姿势角度数据。由第二光学组件采集的骨骼点数据来确定重心匹配角度数据。

优选的，本发明中的第一光学组件不需要设置在操作者的躯体的绝对正面，只需要满足能够采集其躯体正面的视频的条件即可。第二光学组件不需要设置在操作者的躯体的45度的绝对侧面，只需要满足能够采集其躯体侧面的视频的条件即可。第一光学组件和第二光学组件能够基于操作现场的条件灵活摆放。

第一光学组件和第二光学组件例如是ZEDS摄像装置，即双目摄像机。优选地，处理器130可以是CPU处理器、专用集成芯片等。处理器还设置有数据接收端口和数据发送端口，具有数据处理功能和信息处理功能。处理器还能够被设置在服务器、云服务器中以实现本发明的自动检测质控方法。优选地，终端140为设置有信息接收端口的电子设备。终端140用于接收信息。终端140还用于以可见或可听的方式将信息传达至人。例如，终端140将质控的结果显示，或者以语音的方式播报。

相比于必须设置在按压对象的身上才能采集CPR姿势信息的质控设备来说，本发明的采集端与按压对象是无接触设置的，不会对CPR动作形成任何干扰，也不会对按压对象的身体表面形成按压损伤。

优选地，如图2所示，本发明的处理器130至少包括数据提取模块200、预处理模块300和质控模块400。质控模块400内设置有CPR自动反馈质控模型。数据提取模块200可以是逻辑器、计算器、专用集成芯片和处理器中的一种。预处理模块300和质控模块400均可以是专用集成芯片或者CPU处理器的单独硬件模块。当预处理模块300和质控模块400集成在同一个专用集成芯片或者CPU处理器上时，预处理模块300和质控模块400是以处理器为硬件载体的运行程序。

优选地，处理器还包括动作评估模块500。其中，动作评估模块500可以作为处理器中的一部分，也可以作为一个与处理器单独连接的硬件模块。动作评估模块500可以是能够运行动作评估系统的专用集成芯片、处理器等。

如图3所示，当CPR动作的操作者在进行操作时，数据提取模块200能够执行AlphaPose算法。数据提取模块200能够提取操作者的与时间相关的骨骼端点61以及骨骼线段60。

如图5所示，数据提取模块200提取的骨骼点至少包括18个主要部位。骨骼点主要包括鼻部0、颈椎1、右肩2、右肘关节3、右腕4、左肩5、左肘6、左腕7、右髋8、右膝9、右脚踝10、左髋11、左膝12、左脚踝13、右眼14、左眼15、右耳16和左耳17。

数据提取模块200还对骨骼点数据进行置信度统计。如图7所示为第一光学组件和第二光学组件采集的各个人体骨骼点的平均置信度统计数据。如图7中所示，采集的骨骼点的置信度比较高，能够作为可信数据进行采用。

数据提取模块200分别将各自提取的骨骼数据发送至处理器130。处理器还设置有第一数据传输端口和第二数据传输端口。优选地，处理器也可以仅设置一个数据传输端口，该数据传输端口与数据提取模块200和质控模块400并联，用于分别向预处理模块300和质控模块400进行数据的发送和接收。

优选地，预处理模块300还对接收的骨骼点数据进行数据预处理。数据预处理步骤至少包括：

S31：数据的缺失值与异常值分析；

S32：数据清洗；

S33：特征选取；

S34：数据变换。

预处理模块300将经过预处理完成的数据通过传输线路发送至质控模块400。优选地，质控模块400能够运行CPR自动反馈质控模型。CPR自动反馈质控模型能够计算双臂姿势角度数据和重心匹配角度数据。

质控模块400基于由第一光学组件采集的骨骼点数据至少计算CPR动作操作者的双臂姿势的双臂姿势角度数据。具体地，由第一光学组件采集的骨骼点数据至少包括右肩2、右肘关节3、右腕4、左肩5、左肘6和左腕7。如图7所示，右肩2、右肘关节3、右腕4、左肩5、左肘6和左腕7的置信度分别为0.94、0.89、0.93、0.95、0.90、0.87。如图5所示，手臂姿势角度是指手、手肘和肩部之间的角度，即右臂姿势角度90为右肩2、右肘关节3和右腕4之间形成的角度，左臂姿势角度91为左肩5、左肘6和左腕7之间形成的角度。

质控模块400基于由第二光学组件采集的骨骼点数据至少计算CPR动作操作者的 重心匹配角度数据。此处骨骼点数据至少包括右肩2、左肩5、右腕4和左腕7。如图7所示，右 肩2、左肩5、右腕4和左腕7的骨骼点数据的置信度分别为0.91、0.81、0.89、0.88。重心匹配 角度是指CPR实施者重心移动方向与患者垂直的角度。如图4所示，右肩2与左肩5连线的中 点A向右腕4与左腕7连线的中点B运动产生向量

。向量

与面法向量之间的夹角为重心 匹配角度80。

质控模块400基于预设的夹角计算公式来计算骨骼线段形成的夹角，或者计算向量与法向量之间的夹角。

夹角的计算公式为：

。

表示第一条直线的斜率，

表示第二条直线的斜率。

若第一条直线由点

和

定义，则斜率

计算公式为：

。

为

。

现有技术中，多模态系统在CPR中的应用中也提到了对CPR姿势的监测，该系统同时收集Kinect摄像头和穿戴式肌电袖的多通道信号，针对按压时手臂姿势角度和重心变化的监测设计智能算法，但该系统有较明显的局限性。该系统为机器学习得到的黑盒算法，必须保持设备的采集角度与建模时的采集角度尽可能完全一致，否则实验结果无法泛化应用。例如将 Kinect摄像头移动到不同的位置，或者在当前设置中添加或移除某一传感器，该系统得到的算法将不再适用。

与该系统不同的是，本发明首先利用智能算法提取CPR操作者的骨骼点，然后与此系统中得到的阈值进行比较。基于本发明检测的参数是双臂姿势角度和重心匹配角度，并且采用AI加统计的方法，因此摄像头的角度、距离在每次实验及今后应用时并不要求完全一样，只要在一定范围内变化，对结果无明显影响。其次，多模态这一系统中采用单一摄像头收集受试者的按压姿势，未说明摄像头摆放的具体距离和角度，在实施该系统时发明人发现单一摄像头有盲区，需要至少2个角度同时收集才能多角度更准确的收集按压姿势数据。此外，本发明中培训者无需穿戴任何设备，也不受其他设备的影响，其便捷性、泛化性及兼容性更好，以后推广应用的可行性更高。

优选地，质控模块400还能够基于由专业人员标注的指标内容作为其中之一参考标准来对当前CPR姿势进行质控。

指标内容至少包括两项：手臂伸直及其指标、重心匹配角度及其指标。

手臂伸直的指标是指判断心肺复苏过程中手臂姿势是否正确。重心匹配角度的指标是指CPR实施者重心移动方向是否与患者垂直。如图8所示，在CPR操作者的操作过程中，CPR姿势的按压错误主要包括：腕部用力、手指未翘起、重心偏移（包括基础重心歪斜、重心前后移动、重心左右移动）、肘部弯曲等。其中腕部用力、手指未翘起、重心偏移（包括基础重心歪斜、重心前后移动、重心左右移动）、肘部弯曲属于发生率最高的错误。质控模块400能够基于影像样本以及指标内容与当前CPR图像的对比及时指出CPR姿势的动作不规范动作的部位。

本发明中，质控模块400参考的心肺复苏按压姿势标准阈值至少包括：左臂姿势角度的合理范围为169.24-180度，右臂姿势角度的合理范围为168.49-180度。在取95%百分位数的情况下，重心匹配角度的合理范围为0-18.46度。这也是本发明获得的心肺复苏按压姿势标准阈值。

该心肺复苏按压姿势标准阈值时通过科学的技术手段统计得到的。心肺复苏按压姿势标准阈值确定的过程如下所示。

采用ZED双目立体摄像头2台，分别用于记录CPR按压的正面和侧面姿势。Smartman模拟人，标准的CPR培训模拟人。共招募15人参与现场试验，其中经过专业培训的医师、护士、学生等CPR专业人员组 11人，工程师、研究人员等非专业人员组4人。

通过预实验，发现正前方和45度侧面2台摄像头同时记录CPR按压动作，可以多角度捕捉CPR操作者的动作细节。需要满足正面相机和侧面相机录制画面中CPR实施者人物画面高度占画面高度比例的区间范围为[1/2,2/3]；相机1、相机2与CPR实施者连线夹角范围为45度，通过界定此范围可以完整全面的收集受试者按压动作，对于收集视频数据用于后续分析最佳。例如，本研究中以CPR模拟人两乳头中点为中心点，两乳头连线指定正前方，正面相机和侧面相机的水平距离中心点150cm，夹角45度，高度80cm可以满足上述条件。在现场试验中，所有参与人员在Smartman模拟人上进行胸外按压操作，完成连续按压120次为1组数据，共收集专业组按压数据26组，非专业组按压数据8组。此次研究共收集34组按压，每组按压包含120次按压动作（CC），全部用来后续专家标注和动作分析。其中12组按压时因中间多人入镜造成画面干扰，人工智能自动采集骨骼点存在干扰，数据偏差较大，后续构建质控模型时予以排除。

优选地，smartman模拟人反馈的数据至少包括按压深度、频率和停顿时间。将smartman模拟人反馈的数据作为金标准用来标注相对应的由摄像装置采集的CPR动作的按压深度、频率。

step1：将专家标注和smart模拟人反馈数据作为标准值，同时对指标1：手臂伸直和指标2：重心匹配，3：按压深度，4：按压频率4个关键指标进行标注。

Step2：构建算法并评价CPR动作的按压深度（5-6cm）、频率（100-120次/分）、双臂姿势角度（左臂姿势角度169.24°~180°，右臂姿势角度168.49~180°），重心匹配角度（0~18.46°）是否规范。

首先数据提取模块200采用AlphaPose算法对所有数据进行人体骨骼点采集。AlphaPose识别的人体骨骼点及关键点对照表如图7示。然后去除采集的视频数据中出现多人、关键点识别不明显视频。然后，数据提取模块200对提取的人体骨骼点进行置信度统计，正面摄像头和侧面摄像头识别关键点平均置信度如表1所示。最后，将视频数据由3位具备CPR培训资质的专家独立进行标注，同时考虑指标1：手臂伸直和指标；2：重心匹配角度，并需要2位及以上专家认同规范才纳入规范数据，否则视为不规范。其中将采集的专业组规范数据作为心肺复苏标准制定数据集，将非专业组采集的数据作为测试集。专业组规范数据集共28800组人体骨骼点坐标数据，非专业组数据集共7200组人体骨骼点坐标数据。

预处理模块300对采集的骨骼点数据进行预处理。之模块对预处理后的数据进行分析并建立质控模型。

对总体、专业组、业余组CCP中错误动作的发生采用视频帧数（占百分比）进行描述，专业组和业余组两组率的比较采用卡方检验（样本数均大于40，每个单元格期望值均大于5）。关于手臂角度和重心匹配角度分析（图3、图4），计算每一次按压的双臂姿势角度和重心匹配角度，因双臂姿势角度为单侧偏态分布资料，取5%百分位数计算合理范围界值，同样，重心匹配角度范围为单侧偏态分布资料，取95%百分位数计算合理范围界值。就得到了本发明的心肺复苏按压姿势标准阈值。

2015 年CPR指南建议复苏提供者的位置应垂直于受害者胸部上方和双臂伸直，既往指南重点强调手臂角度和重心的正确应用。但回顾指南和既往文献，目前尚无对手臂角度及重心合理范围的具体量化。针对该问题，本发明在此次收集的CPR按压姿势的数据中，选择所有标注双臂姿势角度正确的记录，通过专业组规范数据集共28800组人体骨骼点坐标数据计算手臂角度和重心匹配角度合理范围。其中右臂和左臂姿势角度直方图如图9所示，重心匹配角度直方图如图10所示。粗曲线表示实际分布曲线70。细曲线表示正态分布曲线71。可以看出均符合偏态分布。因此左右胳膊姿势角度取5%分位数作为正常值范围，重心匹配角度取95%分位数作为正常值范围。如图11所示，得到按压姿势规范标准范围：左臂姿势角度169.24°-180°，右臂姿势角度168.49-180°，重心匹配角度合理范围为0-18.46°。

本发明将采集的应用70%的数据集对机器学习模型进行训练，构建质控模型成功后应用30%的数据集进行测试。机器学习模型例如是深度学习模型和神经网络模型。

在此基础上，构建的新的基于双ZED的CPR按压CPR自动反馈质控模型可以较准确的识别出CPR的姿势错误（准确率 91.31%；灵敏度 80.16%；特异度 93.53%）。

在构建质控模型后进行验证，准确率=(TP+TN)/(TP+TN+FP+FN)，灵敏度=TP/(TP+FN)，特异度=TN/(FP+TN)。所有统计分析将在双侧0.05显著水平下进行统计，统计分析使用SPSS 25.0统计软件。

相较于人类导师，CPR动作自动反馈系统能够实现实时自动分析每一次按压姿势，并最终形成总结性报告，对姿势的监测更加客观更加全面。同时，用更具体直观的画面的方式进行反馈，学生更易理解掌握，缩短学习周期，可以节约时间和人力成本。

在由第二光学组件采集的第一动作线段特征及其端点特征与由第一光学组件采集的第二动作线段特征及其端点特征相异的情况下，处理器将相异的第二动作数据标注为异常数据并作为异常学习数据输入至机器学习模型中以用于修正CPR自动反馈质控模型。

优选地，被按压的模拟人120的按压部位内部设置有用于产生反作用力的至少一部分的主动致动器和将控制信号提供给主动致动器的控制器。主动致动器可以是机电致动器、气动致动器和液压致动器。被按压的模拟人120的按压部位内部还设置有产生反作用力的被动机械元件和胸部凹陷传感器。胸部凹陷传感器用于采集按压测量数据。由被按压的模拟人120反馈的按压测量数据至少包括：每次按压的时间点、每次按压深度和CPR动作频率。

处理器将由被按压的模拟人120反馈的按压测量数据、被划分的第二动作数据和实施CPR动作的视频图像三者进行对齐。将按压测量数据、被划分的第二动作数据及其标注信息和实施CPR动作的视频图像三者输入机器学习模型，通过机器学习模型训练得到训练后的包含心肺复苏按压姿势标准阈值的模型。

优选地，在将按压测量数据、被划分的第二动作数据和实施CPR动作的视频图像三者进行对齐的情况下，由至少一位专业人员基于预设指标对CPR动作进行标注。

具体地，数据提取模块200用于接收模拟人120被按压过程中的按压测量数据并发送至预处理模块进行预处理。按压测量数据至少包括与时间相关的按压深度和按压频率。

预处理模块300还用于将同一个完整动作的动作姿势与按压测量数据建立时间上的对齐关系，从而获取一个完整动作的数据集。

优选地，欲处理模块300不需要对每一个完整动作和模拟人按压数据进行对齐。优选地，欲处理模块300基于模拟人120被按压的按压节奏来进行按压数据与完整动作数据的对齐。

具体地，预处理模块300以模拟人120被按压的最低点所采集的按压数据为第一个节拍。此时，按压深度为最大值。

预处理模块300以在趋近于按压结束时模拟人120被按压的最低点所采集的按压数据为最后一个节拍。从第一个节拍到最后一个节拍之间的时间就是预处理模块300需要计算与按压数据对应的动作数据的时间段。

本发明采用对齐时间段，而不是对齐每一个动作的方式来进行动作数据与按压数据的对齐，减少了需要对齐数据的计算量和处理量。

在设置模拟人120的情况下，对质控模块400载有的神经网络模型进行识别顺利的总数据集不仅包括完整动作的数据集，还包括与每一个完整动作对应的按压数据。将含有按压数据、动作的数据集、以及心肺复苏按压标准阈值、按压数据的标准阈值的总数据集的70%发送至神经网络模型进行训练，得到质控模型。

在应用时，在按压深度、按压频率、左臂姿势角度、右臂姿势角度和重心匹配角度均处于合理范围的情况下，质控模块400向终端140输出“合格”的质控结果。否则，质控模块400向终端140输出“不合格”的质控结果。

“合格”和“不合格”的质控结果，能够以文字、图形和/或语音的方式显示。

优选地，质控模块400还向终端140实时反馈当前CPR动作的辅助信息。辅助信息能够以听觉反馈的方式展示。例如是“左臂伸直”、“右臂伸直”、“重心向左偏移”“重心向右偏移”等等。

优选地，辅助信息能够以视觉反馈的方式展示。质控模块400还向终端140实时反馈当前CPR姿势的动作影像与标准的CPR姿势的差异，以辅助CPR动作的操作人员调整自身的CPR姿势。

在CPR临床质控方面，目前临床CPR质控仍然不足，设备多样复杂、推广性较差，评价指标不全面。本发明的CPR自动质控系统无需其他辅助质控辅助设备，仅需摄像头可以完成CPR按压质量和按压姿势关键指标的全面质量控制，普适性强，更有希望推广到临床CPR质控中进行应用。

优选地，本发明中的质控模块400中的质控模型能够由动作评估模块500进行动作评估和校准。动作评估的频率可以是周期性的，也可以是不规律的，按需进行评估。

本发明优选将质控模型周期性地进行动作评估和校准。

由于标记点式光学动作捕捉采集的动点数据十分精确，但是对采样环境要求极高，数据较难获取。利用ZED2相机采集的数据受到环境光线和受试人衣物的影响，精确度会有所下降。本发明将3D动点数据投影到ZED2相机采集数据的视角，利用精确的动点数据辅助提升动作评估模型的准确率，最终模型准确率提升，且可以在不需要动点数据的基础上较精确的评估CPR动作。

首先，首先基于3D动点数据构建高精度的CPR姿势校准模型。

采集端100包括标记点式光学动作捕捉摄像机。标记点式光学动作捕捉摄像机例如是Optitrack设备，其能够基于Motive程序运行。

标记点式光学动作捕捉摄像机的采集对象的CPR操作者为专业人员，其CPR动作的动点数据被采集并且形成高精度且标准的3DCPR姿势动点数据。

动作评估模块500可以是能够运行优化程序步骤的专用集成芯片和/或CPU处理器。动作评估模块500设置有至少一个数据传输端口。优选地，动作评估模块500与动点数据采集组件以有线和/或无线的方式连接。动点数据采集设备优选为标记点式光学动作捕捉组件。

动作评估模块500至少包括2D姿态评估子单元92、3D动点子单元93和联合优化单元94。3D动点子单元93和2D姿态评估子单元92分别与联合优化单元94建立数据传输关系。2D姿态评估子单元92是能够执行2D姿态评估并构建初始CPR自动反馈质控模型的任务的专用集成芯片或处理器。3D动点子单元93是能够执行3D动点模型转化为2D视角姿势并构建校准模型的任务的专用集成芯片或处理器。联合优化单元94是能够执行对质控模型和校准模型进行比较和优化的任务的专用集成芯片或处理器。

3D动点子单元93用于将做记号得到的动点数据转换为与视频采集相同视角的数据来进行深度学习的训练，形成姿势检测校准模型。

2D姿态评估子单元92用于将采集的两个采集角度的视频进行数据清洗后使用Alphapose算法进行人体姿态估计，再进行数据清洗。清洗后的数据进行深度学习训练，形成初始CPR自动反馈质控模型。

优选地，2D姿态评估子单元92还可以直接由质控模块400来替代。即将处理器通过数据传输端口分别动作评估模块500建立数据传输关系，使得质控模块400能够向动作评估模块500分别传输人体姿态评估数据和初始CPR自动反馈质控模型。

联合优化单元94将3D动点子单元93和2D姿态评估子单元92的数据分布和训练结果进行分析，并且基于动点数据来提升初始CPR自动反馈质控模型，形成优化后的CPR自动反馈质控模型。

具体地，如图12所示，2D姿态评估子单元92的处理方式至少包括以下步骤。

S511：接收CPR动作的视频数据。

S512：进行第一次数据清洗。

S513：进行2D人体姿态评估并得到2D人体姿态数据。

S514：对2D人体姿态数据进行第二次数据清洗。

S515：将第二次清洗后的2D人体姿态数据基于机器学习模型进行训练分类。

S516：得到初始CPR自动反馈质控模型。

在2D姿态评估子单元中，先对视频数据进行无用视频帧清洗，利用Alphapose对两个视角的视频数据进行2D人体姿态评估。由于采集的数据背景杂乱，画面中存在多个人体且较难完全清除，评估出的人体关节点数据存在较多的噪声数据，所以再对评估出的关节点数据进行清洗。最终将获取的数据送入深度学习分类模型进行训练。

例如，将相机采集的视频数据去掉开头和结尾的无用帧后送入Alphapose算法进行人体姿态评估，因为背景和光线的影响，评估出的姿态数据依旧存在噪音，再次对姿态数据进行清洗，清洗后得到正面视角27090组数据和侧面视角的53670组数据。

如图12所示，3D动点子单元93的处理方式至少包括以下步骤。

S521：接收或调取3D动点数据，并接收2D人体姿态数据。

S522：基于接收的2D人体姿态数据，将做记号得到的动点数据转换为与视频采集相同视角的2D视角数据。

S523：对2D视角数据进行数据清洗。

S524：将清洗后的2D视角数据基于机器学习模型进行训练分类。

S525：得到姿势检测校准模型。

联合优化单元94执行步骤S517。

S517：将初始CPR自动反馈质控模型和姿势检测校准模型进行比较和分析，基于动点数据来将错误数据剔除。

例如，将接收的动点数据去掉开头和结尾无用动作的数据，剩余83458组3D坐标数据，将其转换为像素坐标系，得到转换为正面视角的83458组数据和转换为侧面视角的83458组数据。

将做记号得到的动点数据转换为与视频采集相同视角的2D视角数据的原理如下所述。

将动点采集的3D数据转换为两个相机采集数据的视角，由于相机摆放时角度并不完全标准，不能直接利用正面和侧面45°两个角度进行计算。如图13所示，本发明将动点采集到的准确的3D坐标点看做是世界坐标系下的3D点，将采集视频评估出来的姿态关键点看做是这些3D点在图像上投影的2D点，因此应该求出这两个坐标系之间的转换矩阵。为了确定空间人体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机的内外参数。

如下所示，从世界坐标系转换到相机坐标系为刚体变换，将动点采集的3D数据视为世界坐标系下的点(X_W, Y_W, Z_W)，首先进行相机标定，得到相应的旋转和平移矩阵，即为相机的外参。本发明可以用矩阵的形式来表示两个坐标系的转换，转换后获得相机坐标系下的点(X_C, Y_C, Z_C)。

将动点数据从世界坐标系转换到相机坐标系后，再转换到2D姿态评估子系统得到数据的像素坐标系，做到坐标系的对齐。从相机坐标系转换到图像物理坐标系是一个透视关系，实际计算过程中利用三角形的相似性来进行计算，将图像物理坐标系转换到像素坐标系是对坐标进行离散化。最终动点数据的整体转换如下所示，能够实现两个子系统的坐标对齐。

选取视频姿态评估中较可靠的数据与动点对应关节坐标进行匹配，求取出相机的内外参数，将世界坐标系中的坐标转换为像素坐标系中的点，最终得到转换后的动点数据与用相机采集的视频姿态估计出的数据视角一致。

本发明的动作评估模块500能够提高心肺复苏标准阈值的准确度。

根据实施例1~2所述，由于相机采集的数据质量不佳，精确度不高，样本数据的分布不均衡，当非标准样本太少时模型对不标准动作的学习不到位，所以增加负样本占比，使深度学习算法能够得到更好的学习。故对于双臂姿势角度阈值，将手臂角度接近标准的180°的80%数据作为标准数据，剩余20%作为不标准数据。对于重心匹配角度阈值，将重心匹配角度接近标准的0°的80%数据作为标准数据，剩余20%数据作为不标准数据。相机采集的数据双臂姿势角度中左臂姿势角度直方图和核密度图如图14所示，左臂姿势角度主要分布范围为150~180°。对应的核密度图也显示左臂姿势角度分布范围主要集中于150~180°。右臂的姿势角度直方图和核密度图如图15所示。右臂姿势角度主要分布范围为150~180°。对应的核密度图也显示右臂姿势角度分布范围主要集中于150~180°。重心匹配角度直方图和核密度图如图16所示。重心匹配角度的主要分布范围为0~18°。对应的核密度图也显示重心匹配角度分布范围主要集中于0~18°。

核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一。核密度曲线类似于概率密度曲线，其曲线下的面积是1，因此其y轴上的单位通常是小于1的核密度分布值。对这个核密度曲线求积分的结果为1，也就是其曲线下的面积为1。实质是一种对直方图的抽象。

优选地，通过动作评估模块500优化后，CPR自动反馈质控模型的准确率、灵敏度、特异度均有所提高。

首先直接将相机采集视频的动作数据放入CPR自动反馈质控模型中进行训练，对于手臂弯曲角度的评估，使用正面数据集进行训练，总数据集共有27090组样本，将总数据集的70%划分为测试集，剩下30%划分为测试集。评估结果如表1所示，测试集准确率等如表2所示。

表1 手臂评估参数统计

表2 测试集准确率、灵敏度、特异度

重心匹配角度的评估，使用侧面数据集进行训练，总数据集共有53670组样本，将总数据集的70%划分为测试集，剩下30%划分为测试集。评估结果如表3所示，测试集准确率等如表4所示。

表3 重心评估参数统计

表4 测试集准确率、灵敏度、特异度

参看表1和表3，能够明显看出，TP数据和TN数据明显提升。

参看表2和表4，针对测试集反馈的准确率、灵敏度、特异度都高于95%。

本发明的动作评估模块500的联合优化单元的优化原理如下所述。

动点数据精确但不容易获取，相机采集的视频数据成本低但是精度又不够，而且相机采集的视频背景嘈杂会造成人体姿态估计算法的错误识别。于是本发明可以利用动点数据来对姿态估计数据训练模型进行一定的辅助提升，而提升后的模型不再需要难以获取的动点数据，可以直接对视频数据使用。

在进行数据分布分析时发现，通过比较动点数据的分布情况和视频数据的分布情况，发现相机数据评估模型准确率低的主要原因还是数据中仍然存在一些“错误数据”。仅仅通过视频采集的数据无法判断这些“错误数据”是姿态估计算法发生了错误还是采样人做CPR动作时肢体动作发生了错误。但通过精确的动点数据分布得知，有些角度是不会出现在正在做CPR的采样人身上的，而视频采集的数据会将一些“不可能”数据放入模型中，对模型的训练产生干扰。如图17所示，灰色圈中的为该帧中存在的背景噪音，在人体姿态估计后的姿态数据清洗过程中已被剔除，但白色方框圈中的被认为是人体姿态而保留。在改进前将其放入模型中，模型不能完全理解，有时将其判定为标准动作。但经过提升后本发明将其认作“不可能”数据，即在动点的数据分布基础上发现此肘部角度不可能出现在正在做CPR的人体身上。

如图18所示，左边为动点数据的左肘角度分布情况，右边为视频估计数据的左肘角度分布情况，灰色线框中的数据即为“不可能”数据。观察左边的核密度图像，精确的动点数据显示做CPR的采样人左肘角度不存在小于140°，但通过人体姿态估计出的数据却存在少量数据在0°—100°之间，之间存在的差值极大，说明存在错误而不是误差，在将视频帧进行人体姿态估计时可能出现了背景影响或者姿态错误识别的情况，应该将此处明显发生错误的数据剔除。

剔除错误数据后的视频估计数据的左肘角度分布情况如图19右侧所示，此时的数据分布即为符合CPR动作角度范围的数据分布，与精确的动点数据角度分布范围大致相同。

“不可能”数据的存在会导致模型学习的混乱，模型将无法彻底学习到真正的不标准动作。将错误数据剔除后，27090组数据剩余25103组，数据分布处于一种合理范围内后放入评估模型训练，模型性能得到提升。使用正面数据对胳膊角度进行评估的训练结果如表5所示，相比于表2利用动点数据改进前的模型，评估模型准确率由96.41%提高到97.03%，改进后的评估模型能够更好的判断CPR动作是否标准。

表5 改进后手臂评估参数统计

表6 改进前后测试集准确率对比

对于侧面数据也是一样的处理方法，如图20所示，通过对比可见，精确的动点数据说明重心匹配角度不存在大于20°的数据，但如灰色线框中标画出来的，估计的视频数据的重心匹配角度在30°以上还存在少数数据分布，这些数据会影响CPR评估模型的质量。

剔除错误数据后的视频估计数据的重心匹配角度分布情况如图21右侧所示，此时的数据分布即为符合CPR动作的标准阈值的数据分布，与精确的动点数据角度分布范围大致相同。

将错误数据剔除后，侧面数据由53670组数据剩余52882组，数据分布处于一种合理范围内后放入评估模型训练，模型性能得到提升。使用侧面数据对重心匹配角度进行评估的训练结果如表7所示，相比于表4利用动点数据改进前的模型，评估模型准确率由98.40%提高到98.77%，改进后的评估模型能够更好的判断CPR动作是否标准。

表7 改进后重心评估参数统计

表8 改进前后测试集准确率对比

由以上的图表结果可知，对于手臂关节姿态的角度和重心姿态的角度，在剔除掉分布不合理的数据后评估模型的测试准确率得到了提升。证明利用动点数据辅助提升相机采集数据的动作评估模型的方法是可行。效果提升后的模型可以直接使用而不再需要采集动点数据进行分析。

动点数据采集成本高，对环境要求极高，故准确的动点数据不容易获取。相机采集的视频数据容易获取但受到背景光线等影响数据精确度不高。针对此缺陷，本发明通过设置动作评估模块，将动点数据经过坐标系转换与相机采集的视频动作数据对齐，利用精确的动点数据的分布情况和CPR动作的常识，可以进一步提高动作视频数据的质量，最终提高动作评估模型的准确率。经过训练后的该模型不再需要动点数据的辅助，可以直接迁移到其他场景下采集的视频数据上，能够做出较精确的动作评估。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种CPR自动检测质控系统，所述系统至少包括采集端、处理器和至少一个终端，所述采集端与处理器以有线或者无线的方式建立通信连接关系，所述处理器与所述终端建立通信连接关系，其特征在于，

所述处理器基于CPR自动反馈质控模型执行CPR自动检测质控行为，

所述采集端至少包括第一光学组件和第二光学组件，所述第一光学组件和所述第二光学组件以不同采集角度同时采集CPR动作的CPR动作数据并发送至所述处理器，非同一采集角度的所述第一光学组件和所述第二光学组件的采集角度偏差范围为30~90度，

所述处理器基于所述CPR动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，并且对所述手臂姿势角度数据和重心匹配角度进行标准判断，

所述终端用于接收由所述处理器反馈的CPR动作的与动作质量是否合格的相关信息。

2.根据权利要求1所述的CPR自动检测质控系统，其特征在于，所述处理器基于CPR动作的所述手臂姿势角度数据和重心匹配角度与心肺复苏按压姿势标准阈值的比较结果向所述终端反馈当前CPR动作的动作缺陷信息和/或CPR动作调整建议信息。

3.根据权利要求2所述的CPR自动检测质控系统，其特征在于，

所述心肺复苏按压姿势标准阈值至少包括双臂姿势角度范围和重心匹配角度范围，

在双臂姿势角度范围中，左臂姿势角度合理范围为169.24°~180°，右臂姿势角度合理范围为168.49~180°，

重心匹配角度合理范围为0~18.46°。

4.根据权利要求3所述的CPR自动检测质控系统，其特征在于，所述双臂姿势角度数据和所述重心匹配角度数据是基于人的骨骼点连接所形成的线段来分析的；其中，

右臂姿势角度是指由右肩、右肘关节和右腕的骨骼点连线形成的角度，

左臂姿势角度是指由左肩、左肘关节和左腕的骨骼点连线形成的角度，

重心匹配角度是指CPR动作操作者的重心移动方向与平面法向量之间的夹角。

5.根据权利要求3所述的CPR自动检测质控系统，其特征在于，所述心肺复苏按压姿势标准阈值的确定方式至少包括：选取若干CPR动作规范的双臂姿势角度数据和重心匹配角度数据的单侧偏态分布规律来确定双臂姿势角度数据的合理范围和重心匹配角度数据的合理范围；

基于双臂姿势角度数据的单侧偏态分布规律选5%百分位数确定双臂姿势角度数据的合理范围，

基于重心匹配角度数据的单侧偏态分布规律选取95%百分位数确定重心匹配角度数据的合理范围。

6.根据权利要求1~5任一项所述的CPR自动检测质控系统，其特征在于，所述第一光学组件用于采集CPR动作操作者的躯体正面的第一动作数据，

所述第二光学组件用于采集CPR动作操作者的躯体侧面的第二动作数据，其中，

所述处理器基于由操作者的第一动作数据提取的骨骼点数据确定双臂姿势角度数据，

所述处理器基于由操作者的第二动作数据提取的骨骼点数据确定重心匹配角度数据。

7.根据权利要求1~5任一项所述的CPR自动检测质控系统，其特征在于，非同一采集角度的所述第一光学组件和所述第二光学组件的采集角度偏差为45度。

8.根据权利要求1~5任一项所述的CPR自动检测质控系统，其特征在于，在接收由模拟人反馈的CPR动作相关的按压数据且所述按压数据与CPR动作建立时间对齐关系的情况下，

所述处理器基于心肺复苏按压姿势标准阈值、由至少一位专业人员对CPR动作标注的标注指标信息和/或按压标准阈值进行CPR动作是否标准的判断，并且将对CPR动作的动作质量相关信息发送至所述终端。

9.一种CPR自动检测质控方法，其特征在于，所述方法至少包括：

以不同采集角度同时采集CPR动作的CPR动作数据，

基于所述CPR动作数据和CPR自动反馈质控模型计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，并且对所述手臂姿势角度数据和重心匹配角度进行标准判断，

生成CPR动作的与动作质量是否合格的相关信息。

10.根据权利要求9所述的CPR自动检测质控方法，其特征在于，所述方法还包括：

其中一个光学组件采集CPR动作操作者的躯体正面的动作数据，

非同一采集角度的第一光学组件和第二光学组件的采集角度偏差范围为30~90度。

Images