CN116012938A - 一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统 - Google Patents
一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统 Download PDFInfo
- Publication number
- CN116012938A CN116012938A CN202211644861.4A CN202211644861A CN116012938A CN 116012938 A CN116012938 A CN 116012938A CN 202211644861 A CN202211644861 A CN 202211644861A CN 116012938 A CN116012938 A CN 116012938A
- Authority
- CN
- China
- Prior art keywords
- cpr
- data
- motion
- automatic feedback
- feedback detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 37
- 238000010276 construction Methods 0.000 title description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 168
- 230000005484 gravity Effects 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims abstract description 63
- 230000009471 action Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000002680 cardiopulmonary resuscitation Methods 0.000 claims description 231
- 238000007906 compression Methods 0.000 claims description 52
- 230000006835 compression Effects 0.000 claims description 52
- 238000005457 optimization Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000004140 cleaning Methods 0.000 claims description 12
- 238000013499 data model Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 208000028752 abnormal posture Diseases 0.000 claims description 6
- 238000013501 data transformation Methods 0.000 claims description 4
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 230000001976 improved effect Effects 0.000 abstract description 20
- 238000003908 quality control method Methods 0.000 abstract description 6
- 230000036544 posture Effects 0.000 description 81
- 238000009826 distribution Methods 0.000 description 32
- 238000003825 pressing Methods 0.000 description 29
- 230000005540 biological transmission Effects 0.000 description 26
- 210000000707 wrist Anatomy 0.000 description 25
- 238000012360 testing method Methods 0.000 description 21
- 210000000988 bone and bone Anatomy 0.000 description 15
- 238000013075 data extraction Methods 0.000 description 12
- 238000013210 evaluation model Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010832 independent-sample T-test Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于AlphaPose算法的CPR自动反馈检测系统及方法，系统至少包括：第一光学组件：以第一采集角度采集CPR动作的第一动作数据；第二光学组件：以不同于第一采集角度的第二采集角度采集CPR动作的第二动作数据；非同一采集角度的第一光学组件和第二光学组件的采集角度偏差范围为30～90度；处理器：基于第一动作数据和第二动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，将通过置信度筛选且由至少两位专业人员批注的规范的CPR动作规范数据输入机器学习模型进行训练，构建CPR自动反馈检测模型。本发明通过手臂姿势角度数据和重心匹配角度及其标准阈值来构建CPR自动反馈检测模型，提高CPR动作检测及其质控的精度。
Description
技术领域
本发明涉及人工智能急救训练技术领域，尤其涉及一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统。
背景技术
正确的按压姿势是达到正确按压目的的基础，既往多项研究探究了按压姿势的重要性。不正确的按压姿势会影响按压质量，并加速疲劳。研究表明一名年轻的健康的医学生连续按压2分钟后按压质量已经开始下降。而在现实世界中，往往需要进行更长时间的按压。因此正确的按压姿势是高质量CPR的基础和重要影响因素。然而，目前关注CPR姿势的研究仍然十分缺乏。
目前对按压姿势的纠正完全依赖导师的个人能力和主观判断，监测质量难以评估。同时，学生对正确姿势的领悟来自导师的示范和口头总结，缺乏直观性，费时费力。最后，导师不可能对每一次的姿势进行实时监测。根据目前存在的现实问题，本发明希望开发新的基于双ZED的CPR自动反馈检测模型拟对现存的问题进行改进。
掌握CPR的要点和正确操作之间还是存在差距的，因此对于CPR指标的质控可以帮助培训人员掌握操作要点。既往关注该问题的研究开发了多种质控方法，例如，压力传感器、加速度计、力传感器、阻抗信号和运动检测，例如目前已经商品化的模拟人内置加速度传感器，以及既往研究中开发的基于Kinect对按压深度和频率的质控，甚至近年可以应用临床的按压传感器。然而既往对CPR姿势的研究较少，其中Karolina等人的研究做出了很好的尝试，该研究利用直接粘贴在皮肤上的多个探头收集信号，评估按压时手臂的角度。虽然该研究关注了手臂角度这一重要指标，但Karolina等人的研究中没有对手臂角度的正确范围做出界定。通过查阅文献和最新指南，虽然经验和指南告诉我们按压的原则是手臂伸直和应用重心，但缺乏具体量化标准。最新研究关于多模态系统在CPR中的应用中也提到了对CPR姿势的监测，该研究同时收集Kinect摄像头和穿戴式肌电袖的多通道信号，针对按压时手臂姿势和重心变化的监测设计智能算法，但该研究有较明显的局限性。该研究为机器学习得到的黑盒算法，必须保持设备尽可能完全一致，否则实验结果无法泛化应用。例如将Kinect摄像头移动到不同的位置，或者在当前设置中添加或移除某一传感器，该研究得到的算法将不再适用。还有部分专利文献也涉及了CPR动作的自动反馈检测。
例如，中国专利CN112233516A公开了一种医师CPR考试训练与考核的评分方法，所述方法包括由考生选择自由操作训练模式和实战操作考核模式；通过摄像头获取考生操作动作视频和音频信息后上传至服务器；将实时操作动作与数据库中标准操作进行比对并输出比对结果；在显示设备上显示比对结果，并在动作错误时通过语音或文字的交互形式提示；服务器将接收的视频和音频信息发送至AI智能评分系统，并进行智能评分；服务器将考试的总的评分结果推送至显示器进行显示。但是，该发明针对CPR动作操作者的姿势的考核的重点在于：“所述第一循环按压包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85～95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；”，明显地，该训练系统没有关注CPR动作操作者的重心偏移情况，因此无法衡量出CPR操作者的双臂施力是否均衡，双臂施力不均衡以及腰背幅度不合理同样会使得CPR动作操作者的持久度下降，容易疲劳，降低心肺复苏的成功率。
因此，如何通过客观的检测参数来训练CPR动作操作者的施力平衡且持久，以提高心肺复苏成功率，是当前现有技术还没解决的技术问题。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明提供了一种基于AlphaPose算法的CPR自动反馈检测系统，所述系统至少包括：第一光学组件：以第一采集角度采集CPR动作的第一动作数据；
第二光学组件：以不同于第一采集角度的第二采集角度采集CPR动作的第二动作数据；所述非同一采集角度的第一光学组件和第二光学组件的采集角度偏差范围为30～90度；
处理器：在所述第一光学组件和所述第二光学组件分别从两个角度采集的CPR动作对齐的条件下，所述处理器基于所述第一动作数据和所述第二动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，将通过置信度筛选且由至少两位专业人员批注的规范的CPR动作规范数据输入机器学习模型进行训练，构建CPR自动反馈检测模型。
本发明可以较准确的识别出目前胸外按压的关键错误：手臂伸直和重心匹配。此外，相较于人类导师，本发明可以实现实时自动分析每一次按压姿势，并最终形成总结性报告，对姿势的监测更加客观更加全面。同时，用更具体直观的画面的方式进行反馈，学生更易理解掌握，缩短学习周期，可以节约时间和人力成本。
优选地，所述CPR动作规范数据至少包括CPR动作的第一动作数据、第二动作数据、心肺复苏按压姿势标准阈值由至少两位专业人员批注的指标内容和/或按压数据及其阈值。
优选地，所述心肺复苏按压姿势标准阈值至少包括双臂姿势角度合理范围和重心匹配角度合理范围，其中，左臂姿势角度合理范围为169.24°～180°，右臂姿势角度合理范围为168.49～180°，重心匹配角度合理范围为0～18.46°。
本发明中的心肺复苏按压姿势标准阈值是通过CPR操作者的骨骼点数据提取的。本发明基于智能的骨骼点算法对CPR操作者的骨骼点数据提取并且与合理范围进行比较。首先，基于本发明检测的参数是手臂姿势角度和重心匹配角度，并且采用AI加统计的方法，因此光学组件例如摄像头的角度、距离在每次实验及今后应用时并不要求完全一样，只要在一定范围内变化，对结果无明显影响
现有技术采用单一摄像头收集受试者的按压姿势，未说明摄像头摆放的具体距离和角度，在实施研究时我们发现单一摄像头有盲区，需要至少2个角度同时收集才能多角度更准确的收集按压姿势数据。本发明中培训者无需穿戴任何设备，也不受其他设备的影响，其便捷性、泛化性及兼容性更好，以后推广应用的可行性更高。
本发明的双臂姿势角度与现有技术的双臂垂直角度的概念不同。本发明的双臂姿势角度处于合理范围时，臂的肩部与腕部构成的两个直线以及双肩之间的直线能够形成趋近于等腰三角形的三角形，也能够进一步规范CPR动作操作者的双臂按压力量趋近于均衡。优选地，在进行置信度统计之前，所述处理器对数据进行预处理，所述预处理步骤至少包括数据的缺失值与异常值分析、数据清洗、特征选取和数据变换。
优选地，所述专业人员的批注指标至少包括手臂是否伸直和重心正确与否。
优选地，所述系统还包括优化模块，所述优化模块基于3D动点数据模型来对所述CPR自动反馈检测模型进行优化。
由标记点式光学动作捕捉采集的动点数据十分精确，但是对采样环境要求极高，数据较难获取。本发明利用ZED2相机采集的数据受到环境光线和受试人衣物的影响，精确度会有所下降。本发明将3D动点数据投影到ZED2相机采集数据的视角，利用精确的动点数据辅助提升动作评估模型的准确率，最终模型准确率提升，并且可以在不需要动点数据的基础上较精确的评估CPR动作。
优选地，所述优化模块至少包括3D动点子单元和2D姿态估计子单元，所述2D姿态估计子单元将至少一个2D CPR动作影像进行人体姿态估计并且将人体姿态估计信息发送至所述3D动点子单元，所述3D动点子单元将3D动点数据模型从3D视角的CPR动作转换为与所述2D CPR动作对应的2D视角的第一CPR动作，将所述第一CPR动作的CPR动作规范数据输入机器学习模型进行训练得到第一CPR自动反馈检测模型；将基于2D CPR动作影像得到的CPR动作规范数据输入机器学习模型进行训练得到CPR自动反馈检测模型作为第二CPR自动反馈检测模型；比较所述第一CPR自动反馈检测模型和所述第二CPR自动反馈检测模型，并且删除异常的姿态数据以优化所述第二CPR自动反馈检测模型。
优选地，优化模块的优化方式还包括：在所述3D动点子单元将3D动点数据模型从3D视角的CPR动作转换为与所述2D CPR动作对应的2D视角的第一CPR动作之后，将第一CPR动作的数据进行清洗以删除异常的姿态数据。
本发明将动点数据经过坐标系转换与相机采集的视频动作数据对齐，利用精确的动点数据的分布情况和CPR动作的常识，可以进一步提高动作视频数据的质量，最终提高动作评估模型的准确率。经过训练后的该模型不再需要动点数据的辅助，可以直接迁移到其他场景下采集的视频数据上，能够做出较精确的动作评估。
本发明还提供一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法，所述方法至少包括：以第一采集角度采集CPR动作的第一动作数据；以不同于第一采集角度的第二采集角度采集CPR动作的第二动作数据；第一采集角度和第二采集角度的采集角度偏差范围为30～90度；在第一光学组件和第二光学组件分别从两个角度采集的CPR动作对齐的条件下，所述处理器基于所述第一动作数据和所述第二动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，将通过置信度筛选且由至少两位专业人员批注的规范的CPR动作规范数据输入机器学习模型进行训练，构建CPR自动反馈检测模型。
优选地，将至少一个2DCPR动作影像进行人体姿态估计，将3D动点数据模型从3D视角的CPR动作转换为与所述2DCPR动作对应的2D视角的第一CPR动作，将所述第一CPR动作的CPR动作规范数据输入机器学习模型进行训练得到第一CPR自动反馈检测模型；将基于2DCPR动作影像得到的CPR动作规范数据输入机器学习模型进行训练得到CPR自动反馈检测模型作为第二CPR自动反馈检测模型；比较所述第一CPR自动反馈检测模型和所述第二CPR自动反馈检测模型，并且删除异常的姿态数据以优化所述第二CPR自动反馈检测模型。
本发明的CPR自动反馈检测模型的构建方法，通过双ZED摄像头收集多角度CPR按压视频流，构建3D模型，减少图像收集盲点，提高数据收集的准确性和精度。本发明补充目前质控技术中对CPR姿势质控的不足，对按压姿势构建客观标准化的评价标准，避免导师主观判断的偏差。本发明能够自动化检测CPR姿势错误，节约培训人力消耗。本发明还对按压姿势的错误进行实时反馈，提高学习效率，缩短培训周期。
附图说明
图1是本发明的一种优选实施方式的CPR动作的按压姿势的重心匹配角度的示意图；
图2是本发明的一种优选实施方式的CPR动作的按压姿势的双臂姿势角度的示意图；
图3是本发明的一种优选实施方式的胸外按压骨骼提取示意图；
图4是本发明的一种优选实施方式的AlphaPose识别的人体关键点示例图；
图5是本发明的一种优选实施方式的提取的人体骨骼点的置信度统计表；
图6是本发明的一种优选实施方式的主要按压错误及发生率列表；
图7是本发明的一种优选实施方式的右臂和左臂姿势角度直方图；
图8是本发明的一种优选实施方式的重心匹配角度直方图；
图9是本发明的一种优选实施方式的按压姿势标准阈值；
图10是本发明的CPR自动反馈检测模型的测试结果；
图11是本发明的CPR自动反馈检测系统的简化的结构示意图；
图12是本发明优化模块的优化步骤的逻辑示意图；
图13是本发明的双ZED相机的成像的示例图；
图14是左臂姿势角度的直方图和核密度图；
图15是右臂姿势角度的直方图和核密度图；
图16是重心匹配角度的直方图和核密度图；
图17是本发明的“不可能”数据的图示示例图；
图18是本发明的左肘角度数据分布对比图；
图19是本发明的清除错误数据前后数据分布对比图；
图20是本发明的优化模块优化前后的重心匹配角度数据分布对比图；
图21是本发明的优化模块优化前后的清除错误数据前后数据分布对比图。
附图标记列表
0：鼻部；1：颈椎；2：右肩；3：右肘关节；4：右腕；5：左肩；6：左肘；7：左腕；8：右髋；9：右膝；10：右脚踝；11：左髋；12：左膝；13：左脚踝；14：右眼；15：左眼；16：右耳；17：左耳；100：采集端；110：ZED摄像装置；120：模拟人；200：数据提取模块；300：预处理模块；400：姿势检测模块；500：优化模块；60：骨骼线段；61：骨骼端点；70：实际分布曲线；71：正态分布曲线；80：重心匹配角度；90：右臂姿势角度；91：左臂姿势角度，92：2D姿态估计子单元；93：3D动点子单元；94：联合优化单元。
具体实施方式
下面结合附图进行详细说明。
本发明提供一种基于AlphaPose算法的双ZED CPR自动反馈检测模型的构建方法及系统，本发明还提供CPR自动反馈检测装置或系统。
本发明中，臂角度是指手臂上臂与前臂弯折的角度。
重心匹配角度是指：CPR动作操作者的重心移动方向与平面法向量之间的夹角。右肩2与左肩5连线的中点A向右腕4与左腕7连线的中点B运动产生向量
向量
与面法向量之间的夹角为重心匹配角度80。
实施例1
本发明的基于AlphaPose算法的CPR自动反馈检测系统，如图11所示，至少包括第一光学组件、第二光学组件和处理器。处理器用于执行本发明的CPR自动反馈检测模型的构建方法。
CPR自动反馈检测模型的构建方法至少包括如下步骤：
S11：进行正前方和45度侧面两台ZED摄像头同时记录操作者按压动作；
S12：用AlphaPose算法对所有数据进行人体骨骼点采集。
S13：对提取的人体骨骼点进行置信度统计。
S14：然后利用AlphaPose对影像数据进行人体骨骼点采集，然后对采集的数据进行预处理，包括数据的缺失值与异常值分析、数据清洗、特征选取、数据变换，
S15：将视频数据由3位专家标注，同时考虑指标1：手臂伸直和指标2：重心匹配，若2位及以上专家认同CPR动作中指标1和指标2均规范即纳入规范数据；若2位及以上专家认同CPR动作中指标1和指标2均不规范即纳入不规范数据。
S16：其中将采集的专业组规范数据作为心肺复苏标准制定数据集，专业组规范数据集共28800组人体骨骼点坐标数据计算手臂角度和重心匹配度的合理范围。
S17：然后对预处理后的数据进行分析建模，最后对姿势识别模型进行评估优化。
本发明的系统中，第一光学组件和第二光学组件属于采集端100。第一光学组件和第二光学组件例如是ZED摄像装置110。
如图1和图11所示，第一光学组件和光学组件分别与处理器建立连接关系，并且分别将采集的影像信息发送至处理器。优选地，处理器内能够运行基于智能算法的精确姿态估计编码，以实现人的精确姿态评估。例如，智能算法为AlphaPose算法。处理器基于智能算法对所有影像数据进行人体骨骼点采集，如图1至图4中标记的骨骼线段及其端点。处理器去除采集的影像数据中出现多人、关键点识别不明显视频，得到清晰的影像。第一光学组件以第一坐标系形成第一动作数据。第二光学组件以第二坐标系形成第二动作数据。
所述第一光学组件和所述第二光学组件同时采集若干CPR动作规范数据并发送至所述处理器。第一光学组件采集CPR动作的正面姿势。第二光学组件采集CPR动作的侧面姿势。动作操作者为专业人员或者学员。CPR动作的操作对象为标准的CPR培训模拟人。
优选地，第一光学组件与第二光学组件同时在实施CPR位置的正前方和45度侧面同时采集CPR动作的影像，能够从不同角度捕捉CPR操作者的动作细节。
优选地，第一光学组件和第二光学组件之间的采集角度偏差不限定为45度，还可以是30度、60度等等。优选地，第一光学组件和第二光学组件之间的采集角度偏差范围为30～90度。若第一光学组件和第二光学组件之间的采集角度偏差范围为90度，那么对CPR操作者侧面进行采集的采集角度不容易采集到CPR操作者的重心偏移向量。因此第一光学组件和第二光学组件之间的采集角度偏差最好小于90度。
优选地，第一光学组件以CPR动作的正前方为零度的采集角度来采集第一动作数据。第二光学组件以CPR动作的侧方45度角的采集角度来采集第二动作数据。由第一光学组件采集的骨骼点数据来确定双臂姿势角度数据。由第二光学组件采集的骨骼点数据来确定重心匹配角度数据。
第一光学组件和第二光学组件的摆放位置能够基于CPR动作的实施场地的特点来灵活摆放，只需要满足具有一定范围的偏差角度，不需要限定具体的采集角度，采集角度与建模时的采集角度不同不会影响采集并计算CPR操作者的重心匹配角度数据和双臂姿势角度数据。
当CPR操作者以CPR培训模拟人为操作对象实施CPR操作时，优选连续按压120次为1组数据，共收集专业组按压数据27组，非专业组按压数据8组。
具体地，处理器从第一光学组件采集的影像中提取2D的第一动作数据。处理器从第二光学组件采集的影像中提取2D的第二动作数据。
如图11所示，处理器包括数据提取模块200、预处理模块400和姿势检测模块400。数据提取模块200、预处理模块400和姿势检测模块400构成数据依次传输的数据传输关系。处理器可以是服务器、远程服务器、专用集成芯片中的一种。处理器用于执行数据处理步骤以及构建模型。优选地，处理器可以是至少两个专用集成芯片或者CPU处理器的组合装置，处理器也可以是能够运行数据预处理模块程序以及姿势检测模块程序的单独的专用集成芯片或者CPU。专用集成芯片或者CPU能够以服务器或者云服务器的方式应用。处理器还设有第一数据传输端口和第二数据传输端口。在数据提取模块200、预处理模块300和姿势检测模块400分别为专用集成芯片或CPU的硬件模块的情况下，数据提取模块200与第一数据传输端口通过数据传输线连接。数据提取模块200、预处理模块300和姿势检测模块400依次通过数据传输线连接。姿势检测模块400和第二数据传输端口通过数据传输线连接。第一数据传输端口和第二数据传输端口可以分别为有线数据传输端口组件，也可以为无线数据传输端口组件，具体为哪种取决于设置的数据传输方式是有线传输还是无线传输。有线数据传输端口组件例如是各个类型的USB传输线端口。无线数据传输端口组件例如是蓝牙数据传输通讯组件、WIFI数据传输通讯组件、ZigBee数据传输通讯组件等等。
数据提取模块200为能够运行AlphaPose算法的计算器，其内部设置有专用集成电路芯片。数据提取模块200通过数据线与摄像组件连接以接收影像数据并进行处理。预处理模块300和姿势检测模块400均可以是专用集成芯片或者CPU处理器的单独硬件模块。当预处理模块300和姿势检测模块400集成在同一个专用集成芯片或者CPU处理器上时，预处理模块300和姿势检测模块400是以处理器为硬件载体的运行程序。
数据提取模块200，用于通过由摄像组件采集的CPR动作影像，基于AlphaPose算法提取人体的骨骼点数据。骨骼点数据包括基于骨骼点形成的骨骼线段60的特征及其骨骼端点61。
如图4所示，数据提取模块200提取的骨骼点至少包括18个主要部位。骨骼点主要包括鼻部0、颈椎1、右肩2、右肘关节3、右腕4、左肩5、左肘6、左腕7、右髋8、右膝9、右脚踝10、左髋11、左膝12、左脚踝13、右眼14、左眼15、右耳16和左耳17。
数据提取模块200还对骨骼点数据进行置信度统计。如图5所示为第一光学组件和第二光学组件采集的各个人体骨骼点的平均置信度统计数据。其中，在进行置信度统计之前，预处理模块300对数据进行预处理，所述预处理步骤至少包括数据的缺失值与异常值分析、数据清洗、特征选取和数据变换。通过预处理的步骤，提前删除无效的数据，从而减少后续数据的处理量，同时避免无效数据的无效分析。
预处理模块300基于第一坐标系形成的第一动作数据选择第一动作线段特征满足执行CPR动作的人的关节点的运动范围条件。预处理模块300基于第二坐标系形成的第二动作数据选择第二动作线段特征满足执行CPR动作的人的关节点的运动范围条件。如此设置，能够进一步删除错误动作的数据，避免错误动作或者错误数据形成的建模误差。
具体地，如图5所示，数据提取模块200对正面采集的第一动作数据统计平均置信度。对45°侧面采集的第二动作数据统计平均置信度。
姿势检测模块400被配置为：
S41：构建CPR自动反馈检测模型。
S42：对CPR自动反馈检测模型进行评估。
由第一光学组件采集的骨骼点数据至少计算CPR动作操作者的双臂姿势的双臂姿势角度数据。具体地，由第一光学组件采集的骨骼点数据至少包括右肩2、右肘关节3、右腕4、左肩5、左肘6和左腕7。如图2所示，右肩2、右肘关节3、右腕4、左肩5、左肘6和左腕7的置信度分别为0.94、0.89、0.93、0.95、0.90、0.87。手臂姿势角度是指手、手肘和肩部之间的角度，即右手臂姿势角度90为右肩2、右肘关节3和右腕4之间形成的角度，左手臂姿势角度91为左肩5、左肘6和左腕7之间形成的角度。
由第二光学组件采集的骨骼点数据至少计算CPR动作操作者的重心匹配角度数据。此处骨骼点数据至少包括右肩2、左肩5、右腕4和左腕7。如图l所示，右肩2、左肩5、右腕4和左腕7的骨骼点数据的置信度分别为0.91、0.81、0.89、0.88。重心匹配角度是指CPR实施者重心移动方向与患者垂直的角度。如图1所示，右肩2与左肩5连线的中点A向右腕4与左腕7连线的中点B运动产生向量
向量
与面法向量之间的夹角为重心匹配角度80。
姿势检测模块400基于预设的夹角计算公式来计算骨骼线段形成的夹角，或者计算向量与法向量之间的夹角。
夹角的计算公式为：
m1表示第一条直线的斜率，m2表示第二条直线的斜率。
若第一条直线由点P1＝[x1，y1]和P2＝[x2，y2]定义，则
斜率m计算公式为：
ε为10-9。
现有技术中，最新研究关于多模态系统在CPR中的应用中也提到了对CPR姿势的监测，该研究同时收集Kinect摄像头和穿戴式肌电袖的多通道信号，针对按压时手臂姿势和重心变化的监测设计智能算法，但该研究有较明显的局限性。该研究为机器学习得到的黑盒算法，必须保持设备尽可能完全一致，否则实验结果无法泛化应用。例如将Kinect摄像头移动到不同的位置，或者在当前设置中添加或移除某一传感器，该研究得到的算法将不再适用。与该研究不同的是，本发明首先利用智能算法提取CPR操作者的骨骼点，然后与此研究中得到的标准范围进行比较。基于本发明检测的参数是手臂角度和重心匹配角度，并且采用AI加统计的方法，因此摄像头的角度、距离在每次实验及今后应用时并不要求完全一样，只要在一定范围内变化，对结果无明显影响。其次，多模态这一研究中采用单一摄像头收集受试者的按压姿势，未说明摄像头摆放的具体距离和角度，在实施研究时发明人发现单一摄像头有盲区，需要至少2个角度同时收集才能多角度更准确的收集按压姿势数据。此外，本研究中培训者无需穿戴任何设备，也不受其他设备的影响，其便捷性、泛化性及兼容性更好，以后推广应用的可行性更高。
姿势检测模块400对筛选出的专业组规范数据进行统计。具体地，采集专业组规范数据集共28800组人体骨骼点坐标数据。采集非专业组数据集共7200组人体骨骼点坐标数据。图7和图8中，粗曲线表示实际分布曲线70。细曲线表示正态分布曲线7l。能够看出，双臂姿势角度数据和重心匹配角度数据均符合偏态分布。对左右胳膊姿势角度数据取5％分位数作为正常值范围，重心匹配角度数据取95％分位数作为正常值范围。
具体地，计量资料采用均数±标准差描述，组间均值比较采用独立样本t检验。因手臂角度为单侧偏态分布资料，取5％～10％百分位数计算合理范围界值，同样，重心匹配角度范围为单侧偏态分布资料，取90％～95％百分位数计算合理范围界值。所有统计分析将在双侧0.05显著水平下进行统计。
如图9所示，在取5％百分位数的情况下，左臂姿势角度的合理范围为169.24-180度，右臂姿势角度的合理范围为168.49-180度。在取95％百分位数的情况下，重心匹配角度的合理范围为0-18.46度。这也是本发明获得的心肺复苏按压姿势标准阈值。
优选地，在确定心肺复苏按压姿势标准阈值后，构建CPR自动反馈检测模型。具体地，将符合心肺复苏按压姿势标准阈值的CPR动作的规范数据以及标准阈值输入机器学习模型进行训练，构建形成CPR自动反馈检测模型。优选地，本发明对CPR自动反馈检测模型进行测试的测试结果如图10所示。评估参数为：TP＝962；FP＝388；FN＝238；TN＝5612。图10中示出了CPR自动反馈检测模型的准确度、灵敏度和特异度的测试结果。如图10所示，准确率计算公式为
灵敏度计算公式为
特异度计算公式为
本发明的CPR自动反馈检测模型得到的准确度为91.31％；灵敏度为80.16％；特异度为93.53％。
双臂姿势角度和重心匹配角度均为CPR姿势的关键问题，本发明对其合理范围进行量化，对姿势的评价补充客观可量化的标准，做到CPR培训时可以客观、便捷、实时的对按压姿势进行监测，以达到CPR培训更加的自动化和标准化的目的。
优选地，本发明还能够将CPR操作者对模拟人120的按压数据及其按压阈值作为CPR自动反馈检测模型的其中一种检测参考数据。
优选地，本发明的系统还包括至少一个终端。处理器与至少一个终端以有线或者无线的方式连接。将CPR操作者的动作影像的视频数据以及计算得到的双臂姿势角度数据、重心匹配角度数据发送至终端。终端用于向至少一位专家显示CPR操作者的动作影像、双臂姿势角度数据和重心匹配角度数据。终端至少包括显示组件、交互组件和信息存储组件。即终端是允许交互的电子设备。终端例如是平板电脑iPad、笔记本电脑、台式电脑、智能手机、智能手表、智能眼镜等电子设备。优选地，在终端的显示画面中，双臂姿势角度数据和重心匹配角度数据以不遮挡CPR操作者的动作的方式显示。终端由对CPR操作标准熟悉的专业人员使用。优选地，一个终端配备给一个专业人员。优选地，基于科学统计的原理，专业人员最好由三名人员组成。CPR操作者的动作影像由三位专业人员分别进行单独地标注。专业人员是基于指定的指标内容进行标注的。指标内容至少包括两项：手臂伸直及其指标、重心匹配角度及其指标。
手臂伸直的指标是指判断心肺复苏过程中手臂姿势是否正确。重心匹配角度的指标是指CPR实施者重心移动方向是否与患者垂直。如图6所示，在CPR操作者的操作过程中，CPR姿势的按压错误主要包括：腕部用力、手指未翘起、重心偏移(包括基础重心歪斜、重心前后移动、重心左右移动)、肘部弯曲等。其中腕部用力、手指未翘起、重心偏移(包括基础重心歪斜、重心前后移动、重心左右移动)、肘部弯曲属于发生率最高的错误。
因此，本发明还通过专业人员查看CPR动作影像来对CPR动作基于标注指标进行专业性标注，排除不规范的数据。标注指标至少包括手臂是否伸直、重心偏移是否正确。
终端将由专业人员标注好的动作影像通过处理器的第二数据传输端口发送至姿势检测模块400。姿势检测模块400接收含有标注信息的动作影像，并且将符合手臂伸直及其指标、重心匹配角度及其指标的CPR姿势的双臂姿势角度数据和重心匹配角度数据作为规范数据。优选地，当采集端采集的动作影像为由专业人员构成的专业组时，符合各个指标的CPR姿势的双臂姿势角度数据和重心匹配角度数据为专业组规范数据。专业组规范数据作为用于心肺复苏标准制定的数据集。姿势检测模块400接收含有标注信息的动作影像，并且将不符合手臂伸直及其指标、重心匹配角度及其指标的CPR姿势的双臂姿势角度数据和重心匹配角度数据作为不规范数据。势检测模块400将筛选出的专业组规范数据用于机器学习模型的训练和分类，构建形成CPR自动反馈检测模型。
由专业技术人员对CPR动作进行标注是很有必要的。通过专家标注现场试验视频，发现如图中描述的主要按压错误，其中腕部用力、手指未翘起、重心偏移(包括基础重心歪斜、重心前后移动、重心左右移动)、肘部弯曲是其中发生率最高的错误。比较专业组和业余组发生错误的概率发现，既往重点强调的重心问题、肘部问题及手部位置等，专业组均表现较好，但其中腕部用力、手指未翘起等细节问题在专业组和非专业组中发生率均非常高。这些错误是CPR自动反馈检测模型不容易识别的。
因此，将专业人员的标注信息作为规范数据的一部分来构建CPR自动反馈检测模型，能够进一步提高CPR自动反馈检测模型的判断精度。
优选地，本发明的处理器还能够以有线或无线的方式与模拟人120简历数据传输关系，用于接收模拟人检测的按压测量数据。
预处理模块300用于接收模拟人被按压过程中的按压测量数据并进行预处理。按压测量数据至少包括与时间相关的按压深度和按压频率。预处理模块300还用于将同一个完整动作的动作姿势与按压测量数据建立时间上的对齐关系，从而获取一个完整动作的数据集。优选地，预处理模块300不需要对每一个完整动作和模拟人按压数据进行对齐。优选地，预处理模块300基于模拟人被按压的按压节奏来进行按压数据与完整动作数据的对齐。
具体地，预处理模块300以模拟人120被按压的最低点所采集的按压数据为第一个节拍。此时，按压深度为最大值。预处理模块300以在趋近于按压结束时模拟人120被按压的最低点所采集的按压数据为最后一个节拍。从第一个节拍到最后一个节拍之间的时间就是预处理模块300需要计算与按压数据对应的动作数据的时间段。本发明采用对齐时间段，而不是对齐每一个动作的方式来进行动作数据与按压数据的对齐，减少了需要对齐数据的计算量和处理量。
在设置模拟人的情况下，对姿势检测模块400载有的神经网络模型进行识别顺利的总数据集不仅包括完整动作的数据集，还包括与每一个完整动作对应的按压数据。将含有按压数据、动作的数据集、以及心肺复苏按压标准阈值、按压数据的标准阈值的总数据集的70％发送至神经网络模型进行训练，得到CPR自动反馈检测模型。
在构建形成CPR自动反馈检测模型后，本发明还对已构建好的CPR动作自动反馈模型进行了测试。其中，本发明将总数据集中的30％作为测试集进行测试，如图10所示，得到CPR动作自动反馈模型的准确率为91.31％；灵敏度为80.16％；特异度为93.53％。
实施例2
本发明的CPR动作自动反馈系统还包括优化模块500。由于标记点式光学动作捕捉采集的动点数据十分精确，但是对采样环境要求极高，数据较难获取。利用ZED2相机采集的数据受到环境光线和受试人衣物的影响，精确度会有所下降。本发明将3D动点数据投影到ZED2相机采集数据的视角，利用精确的动点数据辅助提升动作评估模型的准确率，最终模型准确率提升，且可以在不需要动点数据的基础上较精确的评估CPR动作。
首先，首先基于3D动点数据构建高精度的CPR姿势校准模型。采集端100包括标记点式光学动作捕捉摄像机。标记点式光学动作捕捉摄像机例如是Optitrack设备，其能够基于Motive程序运行。标记点式光学动作捕捉摄像机的采集对象的CPR操作者为专业人员，其CPR动作的动点数据被采集并且形成高精度且标准的3DCPR姿势动点数据。
优化模块500可以是能够运行优化程序步骤的专用集成芯片和/或CPU处理器。优化模块500设置有至少一个数据传输端口。优选地，优化模块500与动点数据采集组件以有线和/或无线的方式连接。动点数据采集设备优选为标记点式光学动作捕捉组件。
优化模块500至少包括2D姿态估计子单元92、3D动点子单元93、和联合优化单元94。3D动点子单元93和2D姿态估计子单元92分别与联合优化单元94建立数据传输关系。3D动点子单元93用于将做记号得到的动点数据转换为与视频采集相同视角的数据来进行深度学习的训练，形成姿势检测校准模型。2D姿态估计子单元92用于将采集的两个采集角度的视频进行数据清洗后使用Alphapose算法进行人体姿态估计，再进行数据清洗。清洗后的数据进行深度学习训练，形成初始CPR自动反馈检测模型。
优选地，2D姿态估计子单元92还可以直接由姿势检测模块400来替代。即将处理器通过数据传输端口分别优化模块500建立数据传输关系，使得姿势检测模块400能够向优化模块500分别传输人体姿态估计数据和初始CPR自动反馈检测模型。
联合优化单元94将3D动点子单元93和2D姿态估计子单元92的数据分布和训练结果进行分析，并且基于动点数据来提升初始CPR自动反馈检测模型，形成优化后的CPR自动反馈检测模型。
具体地，如图12所示，2D姿态估计子单元92的处理方式至少包括以下步骤。
S511：接收CPR动作的视频数据。
S512：进行第一次数据清洗。
S513：进行2D人体姿态估计并得到2D人体姿态数据。
S514：对2D人体姿态数据进行第二次数据清洗。
S515：将第二次清洗后的2D人体姿态数据基于机器学习模型进行训练分类。
S516：得到初始CPR自动反馈检测模型。
在2D姿态估计子单元中，先对视频数据进行无用视频帧清洗，利用Alphapose对两个视角的视频数据进行2D人体姿态估计。由于采集的数据背景杂乱，画面中存在多个人体且较难完全清除，估计出的人体关节点数据存在较多的噪声数据，所以再对估计出的关节点数据进行清洗。最终将获取的数据送入深度学习分类模型进行训练。
例如，将相机采集的视频数据去掉开头和结尾的无用帧后送入Alphapose算法进行人体姿态估计，因为背景和光线的影响，估计出的姿态数据依旧存在噪音，再次对姿态数据进行清洗，清洗后得到正面视角27090组数据和侧面视角的53670组数据。
如图12所示，3D动点子单元93的处理方式至少包括以下步骤。
S521：接收或调取3D动点数据，并接收2D人体姿态数据。
S522：基于接收的2D人体姿态数据，将做记号得到的动点数据转换为与视频采集相同视角的2D视角数据。
S523：对2D视角数据进行数据清洗。
S524：将清洗后的2D视角数据基于机器学习模型进行训练分类。
S525：得到姿势检测校准模型。
联合优化单元94执行步骤S517。
S517：将初始CPR自动反馈检测模型和姿势检测校准模型进行比较和分析，基于动点数据来将错误数据剔除。
例如，将接收的动点数据去掉开头和结尾无用动作的数据，剩余83458组3D坐标数据，将其转换为像素坐标系，得到转换为正面视角的83458组数据和转换为侧面视角的83458组数据。
将做记号得到的动点数据转换为与视频采集相同视角的2D视角数据的原理如下所述。
将动点采集的3D数据转换为两个相机采集数据的视角，由于相机摆放时角度并不完全标准，不能直接利用正面和侧面45°两个角度进行计算。如图13所示，本发明将动点采集到的准确的3D坐标点看做是世界坐标系下的3D点，将采集视频估计出来的姿态关键点看做是这些3D点在图像上投影的2D点，因此应该求出这两个坐标系之间的转换矩阵。为了确定空间人体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机的内外参数。
如下所示，从世界坐标系转换到相机坐标系为刚体变换，将动点采集的3D数据视为世界坐标系下的点(XW,YW,ZW)，首先进行相机标定，得到相应的旋转和平移矩阵，即为相机的外参。本发明可以用矩阵的形式来表示两个坐标系的转换，转换后获得相机坐标系下的点(XC,YC,ZC)。
将动点数据从世界坐标系转换到相机坐标系后，再转换到2D姿态估计子系统得到数据的像素坐标系，做到坐标系的对齐。从相机坐标系转换到图像物理坐标系是一个透视关系，实际计算过程中利用三角形的相似性来进行计算，将图像物理坐标系转换到像素坐标系是对坐标进行离散化。最终动点数据的整体转换如下所示，能够实现两个子系统的坐标对齐。
选取视频姿态估计中较可靠的数据与动点对应关节坐标进行匹配，求取出相机的内外参数，将世界坐标系中的坐标转换为像素坐标系中的点，最终得到转换后的动点数据与用相机采集的视频姿态估计出的数据视角一致。
本发明的优化模块500能够提高心肺复苏标准阈值的准确度。
根据实施例1～2所述，由于相机采集的数据质量不佳，精确度不高，样本数据的分布不均衡，当非标准样本太少时模型对不标准动作的学习不到位，所以增加负样本占比，使深度学习算法能够得到更好的学习。故对于双臂姿势角度阈值，将手臂角度接近标准的180°的80％数据作为标准数据，剩余20％作为不标准数据。对于重心匹配角度阈值，将重心匹配角度接近标准的0°的80％数据作为标准数据，剩余20％数据作为不标准数据。相机采集的数据双臂姿势角度中左臂姿势角度直方图和核密度图如图14所示，右臂的姿势角度直方图和核密度图如图5所示。重心匹配角度直方图和核密度图如图16所示。
优选地，通过优化模块500优化后，CPR自动反馈检测模型的准确率、灵敏度、特异度均有所提高。
首先直接将相机采集视频的动作数据放入CPR自动反馈检测模型中进行训练，对于手臂弯曲角度的评估，使用正面数据集进行训练，总数据集共有27090组样本，将总数据集的70％划分为测试集，剩下30％划分为测试集。评估结果如表1所示，测试集准确率等如表2所示。
表1手臂评估参数统计
表2测试集准确率、灵敏度、特异度
重心匹配角度的评估，使用侧面数据集进行训练，总数据集共有53670组样本，将总数据集的70％划分为测试集，剩下30％划分为测试集。评估结果如表3所示，测试集准确率等如表4所示。
表3重心评估参数统计
表4测试集准确率、灵敏度、特异度
参看表1和表3，能够明显看出，TP数据和TN数据明显提升。
参看表2和表4，针对测试集反馈的准确率、灵敏度、特异度都高于95％。
本发明的优化模块500的联合优化单元的优化原理如下所述。
动点数据精确但不容易获取，相机采集的视频数据成本低但是精度又不够，而且相机采集的视频背景嘈杂会造成人体姿态估计算法的错误识别。于是本发明可以利用动点数据来对姿态估计数据训练模型进行一定的辅助提升，而提升后的模型不再需要难以获取的动点数据，可以直接对视频数据使用。
在进行数据分布分析时发现，通过比较动点数据的分布情况和视频数据的分布情况，发现相机数据评估模型准确率低的主要原因还是数据中仍然存在一些“错误数据”。仅仅通过视频采集的数据无法判断这些“错误数据”是姿态估计算法发生了错误还是采样人做CPR动作时肢体动作发生了错误。但通过精确的动点数据分布得知，有些角度是不会出现在正在做CPR的采样人身上的，而视频采集的数据会将一些“不可能”数据放入模型中，对模型的训练产生干扰。如图17所示，红色圈中的为该帧中存在的背景噪音，在人体姿态估计后的姿态数据清洗过程中已被剔除，但白色方框圈中的被认为是人体姿态而保留。在改进前将其放入模型中，模型不能完全理解，有时将其判定为标准动作。但经过提升后本发明将其认作“不可能”数据，即在动点的数据分布基础上发现此肘部角度不可能出现在正在做CPR的人体身上。
如图18所示，左边为动点数据的左肘角度分布情况，右边为视频估计数据的左肘角度分布情况，蓝框中的数据即为“不可能”数据。观察左边的核密度图像，精确的动点数据显示做CPR的采样人左肘角度不存在小于140°，但通过人体姿态估计出的数据却存在少量数据在0°—100°之间，之间存在的差值极大，说明存在错误而不是误差，在将视频帧进行人体姿态估计时可能出现了背景影响或者姿态错误识别的情况，应该将此处明显发生错误的数据剔除。
剔除错误数据后的视频估计数据的左肘角度分布情况如图19右侧所示，此时的数据分布即为符合CPR动作角度范围的数据分布，与精确的动点数据角度分布范围大致相同。
“不可能”数据的存在会导致模型学习的混乱，模型将无法彻底学习到真正的不标准动作。将错误数据剔除后，27090组数据剩余25103组，数据分布处于一种合理范围内后放入评估模型训练，模型性能得到提升。使用正面数据对胳膊角度进行评估的训练结果如表5所示，相比于表2利用动点数据改进前的模型，评估模型准确率由96.41％提高到97.03％，改进后的评估模型能够更好的判断CPR动作是否标准。
表5改进后手臂评估参数统计
表6改进前后测试集准确率对比
对于侧面数据也是一样的处理方法，如图20，通过对比可见，精确的动点数据说明重心匹配角度不存在大于20°的数据，但如蓝框中标画出来的，估计的视频数据的重心匹配角度在30°以上还存在少数数据分布，这些数据会影响CPR评估模型的质量。
剔除错误数据后的视频估计数据的重心匹配角度分布情况如图21右侧所示，此时的数据分布即为符合CPR动作角度范围的数据分布，与精确的动点数据角度分布范围大致相同。将错误数据剔除后，侧面数据由53670组数据剩余52882组，数据分布处于一种合理范围内后放入评估模型训练，模型性能得到提升。使用侧面数据对重心匹配角度进行评估的训练结果如表7所示，相比于表4利用动点数据改进前的模型，评估模型准确率由98.40％提高到98.77％，改进后的评估模型能够更好的判断CPR动作是否标准。
表7改进后重心评估参数统计
表8改进前后测试集准确率对比
由以上的图表结果可知，对于手臂关节姿态的角度和重心姿态的角度，在剔除掉分布不合理的数据后评估模型的测试准确率得到了提升。证明利用动点数据辅助提升相机采集数据的动作评估模型的方法是可行。效果提升后的模型可以直接使用而不再需要采集动点数据进行分析。
动点数据采集成本高，对环境要求极高，故准确的动点数据不容易获取。相机采集的视频数据容易获取但受到背景光线等影响数据精确度不高。针对此缺陷，本发明通过设置优化模块，将动点数据经过坐标系转换与相机采集的视频动作数据对齐，利用精确的动点数据的分布情况和CPR动作的常识，可以进一步提高动作视频数据的质量，最终提高动作评估模型的准确率。经过训练后的该模型不再需要动点数据的辅助，可以直接迁移到其他场景下采集的视频数据上，能够做出较精确的动作评估。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。
Claims (10)
1.一种基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述系统至少包括：第一光学组件：以第一采集角度采集CPR动作的第一动作数据；
第二光学组件：以不同于第一采集角度的第二采集角度采集CPR动作的第二动作数据；所述非同一采集角度的第一光学组件和第二光学组件的采集角度偏差范围为30～90度；
处理器：在所述第一光学组件和所述第二光学组件分别从两个角度采集的CPR动作对齐的条件下，所述处理器基于所述第一动作数据和所述第二动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，将通过置信度筛选且由至少两位专业人员批注的规范的CPR动作规范数据输入机器学习模型进行训练，构建CPR自动反馈检测模型。
2.根据权利要求1所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述CPR动作规范数据至少包括CPR动作的第一动作数据、第二动作数据、心肺复苏按压姿势标准阈值由至少两位专业人员批注的指标内容和/或按压数据及其阈值。
3.根据权利要求1或2所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述心肺复苏按压姿势标准阈值至少包括双臂姿势角度合理范围和重心匹配角度合理范围，其中，左臂姿势角度合理范围为169.24°～180°，右臂姿势角度合理范围为168.49～180°，重心匹配角度合理范围为0～18.46°。
4.根据权利要求1～3任一项所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，在进行置信度统计之前，所述处理器对数据进行预处理，所述预处理步骤至少包括数据的缺失值与异常值分析、数据清洗、特征选取和数据变换。
5.根据权利要求1～4任一项所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述专业人员的批注指标至少包括手臂是否伸直和重心正确与否。
6.根据权利要求1～5任一项所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述系统还包括优化模块，所述优化模块基于3D动点数据模型来对所述CPR自动反馈检测模型进行优化。
7.根据权利要求1～6任一项所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，所述优化模块至少包括3D动点子单元和2D姿态估计子单元，
所述2D姿态估计子单元将至少一个2DCPR动作影像进行人体姿态估计并且将人体姿态估计信息发送至所述3D动点子单元，
所述3D动点子单元将3D动点数据模型从3D视角的CPR动作转换为与所述2DCPR动作对应的2D视角的第一CPR动作，
将所述第一CPR动作的CPR动作规范数据输入机器学习模型进行训练得到第一CPR自动反馈检测模型；
将基于2DCPR动作影像得到的CPR动作规范数据输入机器学习模型进行训练得到CPR自动反馈检测模型作为第二CPR自动反馈检测模型；
比较所述第一CPR自动反馈检测模型和所述第二CPR自动反馈检测模型，并且删除异常的姿态数据以优化所述第二CPR自动反馈检测模型。
8.根据权利要求1～7任一项所述的基于AlphaPose算法的CPR自动反馈检测系统，其特征在于，优化模块的优化方式还包括：在所述3D动点子单元将3D动点数据模型从3D视角的CPR动作转换为与所述2DCPR动作对应的2D视角的第一CPR动作之后，将第一CPR动作的数据进行清洗以删除异常的姿态数据。
9.一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法，其特征在于，所述方法至少包括：以第一采集角度采集CPR动作的第一动作数据；
以不同于第一采集角度的第二采集角度采集CPR动作的第二动作数据；第一采集角度和第二采集角度的采集角度偏差范围为30～90度；
在所述第一光学组件和所述第二光学组件分别从两个角度采集的CPR动作对齐的条件下，所述处理器基于所述第一动作数据和所述第二动作数据计算由人体骨骼点形成的手臂姿势角度数据和重心匹配角度，将通过置信度筛选且由至少两位专业人员批注的规范的CPR动作规范数据输入机器学习模型进行训练，构建CPR自动反馈检测模型。
10.根据权利要求9所述的基于AlphaPose算法的CPR自动反馈检测模型的构建方法，其特征在于，将至少一个2D CPR动作影像进行人体姿态估计，
将3D动点数据模型从3D视角的CPR动作转换为与所述2DCPR动作对应的2D视角的第一CPR动作，
将所述第一CPR动作的CPR动作规范数据输入机器学习模型进行训练得到第一CPR自动反馈检测模型；
将基于2D CPR动作影像得到的CPR动作规范数据输入机器学习模型进行训练得到CPR自动反馈检测模型作为第二CPR自动反馈检测模型；
比较所述第一CPR自动反馈检测模型和所述第二CPR自动反馈检测模型，并且删除异常的姿态数据以优化所述第二CPR自动反馈检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/159,443 US20230237677A1 (en) | 2022-01-27 | 2023-01-25 | Cpr posture evaluation model and system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022101037949 | 2022-01-27 | ||
| CN202210103794 | 2022-01-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116012938A true CN116012938A (zh) | 2023-04-25 |
| CN116012938B CN116012938B (zh) | 2024-07-09 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050058337A1 (en) * | 2003-06-12 | 2005-03-17 | Kikuo Fujimura | Target orientation estimation using depth sensing |
| US20110301440A1 (en) * | 2010-06-07 | 2011-12-08 | Riley Carl W | Apparatus for supporting and monitoring a person |
| CN102622606A (zh) * | 2010-02-03 | 2012-08-01 | 北京航空航天大学 | 基于测地模型的人体骨骼提取和朝向判定方法 |
| US20150255005A1 (en) * | 2012-09-12 | 2015-09-10 | National Institute Of Advanced Industrial Science And Technology | Movement evaluation device and program therefor |
| CN110990649A (zh) * | 2019-12-05 | 2020-04-10 | 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） | 基于姿势识别技术的心肺复苏术互动培训系统 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050058337A1 (en) * | 2003-06-12 | 2005-03-17 | Kikuo Fujimura | Target orientation estimation using depth sensing |
| CN102622606A (zh) * | 2010-02-03 | 2012-08-01 | 北京航空航天大学 | 基于测地模型的人体骨骼提取和朝向判定方法 |
| US20110301440A1 (en) * | 2010-06-07 | 2011-12-08 | Riley Carl W | Apparatus for supporting and monitoring a person |
| US20150255005A1 (en) * | 2012-09-12 | 2015-09-10 | National Institute Of Advanced Industrial Science And Technology | Movement evaluation device and program therefor |
| CN110990649A (zh) * | 2019-12-05 | 2020-04-10 | 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） | 基于姿势识别技术的心肺复苏术互动培训系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨祖军 等: "救护车行驶中不同姿势胸外按压对心肺复苏术质量的影响", 中国全科医学, 15 December 2016 (2016-12-15), pages 196 - 197 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115910310A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368810B (zh) | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 | |
| CN113496216B (zh) | 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 | |
| EP3376414B1 (en) | Joint movement detection system and method, and dynamic assessment method and system for knee joint | |
| CN103584919B (zh) | 多模态生物信号同步检测系统及方法 | |
| CN104887238A (zh) | 基于动作捕捉的手康复训练评估系统和方法 | |
| CN110200601A (zh) | 一种脉象获取装置及系统 | |
| CN113239797B (zh) | 人体动作识别方法、装置及系统 | |
| CN113139962B (zh) | 用于脊柱侧凸概率评估的系统和方法 | |
| CN111862758A (zh) | 一种基于人工智能的心肺复苏培训与考核系统及方法 | |
| CN114973401A (zh) | 基于动作检测与多模态学习的标准化引体向上评估方法 | |
| CN114998986A (zh) | 基于计算机视觉的引体向上动作规范智能识别方法及系统 | |
| CN113974612A (zh) | 一种卒中患者上肢运动功能自动化评估方法与系统 | |
| US20230237677A1 (en) | Cpr posture evaluation model and system | |
| CN116012938B (zh) | 一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统 | |
| Chang et al. | An automated form of video image analysis applied to classification of movement disorders | |
| CN117333932A (zh) | 基于机器视觉识别肌少症的方法、装备、设备以及介质 | |
| CN113807323B (zh) | 基于图像识别的手功能精准评估系统及方法 | |
| CN116012938A (zh) | 一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统 | |
| CN115568823B (zh) | 一种人体平衡能力评估的方法、系统和装置 | |
| CN110837748B (zh) | 远程步态采集分析系统 | |
| CN115641646B (zh) | 一种cpr自动检测质控方法及系统 | |
| CN116543455A (zh) | 建立帕金森症步态受损评估模型、使用方法、设备及介质 | |
| CN115381436A (zh) | 一种刑侦步态足迹采集装置 | |
| CN115105062A (zh) | 髋膝关节协调性评估方法、装置、系统和存储介质 | |
| US20210267494A1 (en) | Analysis system and method of joint movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |