CN115586834A - 一种智能心肺复苏培训系统 - Google Patents
一种智能心肺复苏培训系统 Download PDFInfo
- Publication number
- CN115586834A CN115586834A CN202211368002.7A CN202211368002A CN115586834A CN 115586834 A CN115586834 A CN 115586834A CN 202211368002 A CN202211368002 A CN 202211368002A CN 115586834 A CN115586834 A CN 115586834A
- Authority
- CN
- China
- Prior art keywords
- host
- student
- assessment
- human
- cardio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 67
- 238000002680 cardiopulmonary resuscitation Methods 0.000 title claims abstract description 59
- 230000009471 action Effects 0.000 claims abstract description 46
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000007792 addition Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种智能心肺复苏培训系统，属于线上培训领域。学员在人机交互设备上选择自主练习或自主考核，并获取对应内容后在仿真人上进行急救操作，仿真人采集学员的急救操作数据，摄像设备拍摄学员进行急救操作的视频图像，主机能够对急救操作评判准确度并打分，评判急救动作的正确性并打分。本发明为线上培训系统，不受场所与时间的限制，学员可以多次练习，并对教学和考核标准进行了统一化和规范化，能够有效提高心肺复苏培训的培训质量。
Description
技术领域
本发明涉及线上培训领域，特别是涉及一种智能心肺复苏培训系统。
背景技术
CPR(Cardio Pulmonary Resuscitation，心肺复苏)培训在当下是医疗技能培训的重中之重。但现有的CPR培训几乎均由人工管理，非常不利于学员真正掌握这门技术。第一，CPR需要集中培训，有时因为场所与时间的限制，学员可能无法全部到场，耽误了这次学习的内容，又无法进行补习，导致最后考核不通过，同时考核的时间与地点也面临着同样的问题；第二，因为教学无法保证统一化和规范化，不同的教学细节都可能不同，不同的考核标准也可能不同，导致学员实际操作良莠不齐；第三，因为线下培训是统一管理的，学员在一次授课中无法多次练习，导致知识半知半解，即使通过了考核，最终也会导致严重的后果；第四，因为培训时间都是固定的，考核只有1-2次机会，导致学员因为失误成绩不合格，还需要等待大量时间继续考核；第五，虽然CPR培训近年来大大增加，但学员学习的通过率、通过后的学员人数、年龄分布和地区分布等数据的统计非常困难，不利于CPR培训的推广和普及。因此，一种统一性和规范性好、准确率高、成本较低和实用性强的智能CPR培训系统的推出非常重要。
发明内容
本发明的目的是提供一种智能心肺复苏培训系统，以提高心肺复苏培训的培训质量。
为实现上述目的，本发明提供了如下方案：
一种智能心肺复苏培训系统，所述系统包括：人机交互设备、主机、摄像设备和仿真人；
人机交互设备与主机连接，所述人机交互设备用于接收学员的自主练习请求或自主考核请求，根据所述请求从主机中获取心肺复苏培训内容或心肺复苏考核内容并显示；
学员根据心肺复苏培训内容或心肺复苏考核内容在仿真人上进行急救操作；所述仿真人用于采集学员的急救操作数据，并将所述急救操作数据传输至主机；所述摄像设备用于拍摄学员进行急救操作的视频图像，并将所述视频图像传输至主机；
所述主机用于在学员进行自主练习时根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在学员进行自主考核时根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数。
可选的，所述主机包括：练习单元、考核单元和处理单元；
所述练习单元用于存储心肺复苏教学视频，并在接收到自主练习请求时将所述心肺复苏教学视频传输至人机交互设备进行显示；
所述处理单元用于根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在评判急救操作出现失误时，在人机交互设备上显示错误操作提示；
所述考核单元用于存储自主考核内容，并在接收到自主考核请求时将所述自主考核内容传输至人机交互设备进行显示；
所述处理单元还用于根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数。
可选的，所述处理单元包括：
骨骼点提取子单元，用于采用OpenPose方法在所述视频图像中提取学员的人体骨骼关键点，并连接人体骨骼关键点构成人体骨架模型；
动作识别子单元，用于根据所述人体骨架模型，利用时空图卷积神经网络进行动作识别；
评判子单元，用于根据预设的动作判断标准识别动作的正确性。
可选的，所述时空图卷积神经网络包括9层依次连接的ST-GCN模块，前三层ST-GCN模块的最后一层输出64维特征，中间3层ST-GCN模块的最后一层输出128维特征，最后3层ST-GCN模块的最后一层输出256维特征，每一层ST-GCN模块的时间核Γ均为9，且每一层ST-GCN模块都设置resnet机制。
可选的，对时空图卷积神经网络进行训练的过程为：
在摄像设备拍摄的历史视频图像中随机抽取片段，并采用OpenPose方法在随机抽取的片段中提取学员的人体骨骼关键点，获得人体骨架模型序列；
对所述人体骨架模型序列进行仿射变换；
确定时空图卷积神经网络的卷积公式为
式中，fout(vti)为卷积输出，fin(vtj)为卷积输入，vtj为vti直接相邻的节点坐标，lti(vtj)为vtj节点所在的特征集合，Zti(vtj)为标准化项，Zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|，vtk为标准化后的节点坐标；
确定时空图卷积神经网络的权重矩阵为
式中，ri、rj分别表示vti节点、vtj节点到骨骼图重心的平均距离；
根据仿射变换后的人体骨架模型序列，基于卷积公式和权重矩阵，对时空图卷积神经网络进行训练。
可选的，所述主机还包括：管理单元；
所述管理单元用于数据统计、人员管理、教学视频管理、急救流程管理、考核记录管理，对数据进行增、删、改、查，并将学员的位置信息标记在地图中；所述统计的数据包括学员信息、年龄段通过率、班次通过率、学员通过率和单个动作错误率。
可选的，所述摄像设备为双目摄像头。
可选的，所述仿真人包括：单片机和多个传感器；
单片机分别与多个传感器和主机连接，所述单片机用于将多个传感器测量的数据进行标准化后传输至主机。
可选的，多个所述传感器包括电阻式压敏传感器、压力传感器、气体流量传感器和光电门传感器。
可选的，所述单片机为STM32单片机；
多个传感器均通过杜邦线连接STM32单片机；
所述STM32单片机用于通过蓝牙或wifi模块将多个传感器测量的数据进行标准化后传输至主机。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种智能心肺复苏培训系统，学员在人机交互设备上选择自主练习或自主考核，并获取对应内容后在仿真人上进行急救操作，仿真人采集学员的急救操作数据，摄像设备拍摄学员进行急救操作的视频图像，主机能够对急救操作评判准确度并打分，评判急救动作的正确性并打分。本发明为线上培训系统，不受场所与时间的限制，学员可以多次练习，并对教学和考核标准进行了统一化和规范化，能够有效提高心肺复苏培训的培训质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的智能心肺复苏培训系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种智能心肺复苏培训系统，以提高心肺复苏培训的培训质量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供了一种智能心肺复苏培训系统，如图1所示，包括：人机交互设备、主机、摄像设备和仿真人。人机交互设备与主机连接，人机交互设备用于接收学员的自主练习请求或自主考核请求，根据请求从主机中获取心肺复苏培训内容或心肺复苏考核内容并显示。学员根据心肺复苏培训内容或心肺复苏考核内容在仿真人上进行急救操作；仿真人用于采集学员的急救操作数据，并将急救操作数据传输至主机；摄像设备用于拍摄学员进行急救操作的视频图像，并将视频图像传输至主机。主机用于在学员进行自主练习时根据急救操作数据评判急救操作的准确度，根据视频信号进行动作识别后评判动作的正确性，并在学员进行自主考核时根据急救操作数据对急救操作进行打分，根据视频信号进行动作识别后对动作打分，最终获得考核分数。
示例性的，主机包括：练习单元、考核单元和处理单元。练习单元用于存储心肺复苏教学视频，并在接收到自主练习请求时将心肺复苏教学视频传输至人机交互设备进行显示。处理单元用于根据急救操作数据评判急救操作的准确度，根据视频信号进行动作识别后评判动作的正确性，并在评判急救操作出现失误时，在人机交互设备上显示错误操作提示。考核单元用于存储自主考核内容，并在接收到自主考核请求时将自主考核内容传输至人机交互设备进行显示。处理单元还用于根据急救操作数据对急救操作进行打分，根据视频信号进行动作识别后对动作打分，最终获得考核分数。
主机用于高速处理数据。首先，用户在前端页面进行操作后，产生的数据信号会在主机进行处理，再传送至前端执行相应的命令；其次，主机也用来接收摄像头单元以及仿真人单元传送的信号，进行数据处理后传送至显示屏(人机交互设备)显示。
处理单元从双目摄像头视频提取每一帧图像在立体三维空间中人体各个关键点之间的相对位置关系，并根据视频中人体关键点空间位置变化进行人体动作识别。具体步骤包括人体关键点提取和动作识别。处理单元具体包括：骨骼点提取子单元，用于采用OpenPose方法在视频图像中提取学员的18个人体骨骼关键点，并连接人体骨骼关键点构成人体骨架模型。动作识别子单元，用于根据人体骨架模型，利用时空图卷积神经网络进行动作识别。评判子单元，用于根据预设的动作判断标准识别动作的正确性。动作识别的判断标准由专业医疗急救人员制定并给出相应打分标准，由主机根据该标准对动作正确性进行判断。
其中OpenPose不同于传统识别算法的是，研究使用了自下而上的人体关键点信息识别，即找出人体的各个部位，再通过部分亲和域(Part Affinity Fields)连接各部分。而对于OpenPose识别输出的人体关键点信息可以被视为一种拓扑结构，于是最终采用时空图卷积神经网络(spatial-temporal graph neural network，STGCN)来提取拓扑图的空间特征，它是将时域卷积神经网络(Temporal convolutional network，TCN)和图神经网络(GraphNeuralNetwork，GCN)结合，处理有时序关系的图结构数据，可在时序和空间两个维度上进行卷积并提取特征，从而得出模型。
动作识别部分具体步骤为：首先，由于在同一层GCN中，不同的节点共享权重矩阵，因此要保持输入数据的规模是一致的，所以在输入数据时先进行一次批规范化Batch-Normalization；其次，ST-GCN由9层ST-GCN模块组成，前三层输出64维特征，中间3层输出128维特征，最后3层输出256维特征，每一层的时间核Γ都为9，并且每一层都有resnet机制；然后为了避免过拟合，每层都加入dropout＝0.5，第4、7层的池化stride＝2；最后将图嵌入转化为n维向量，并送入经典分类器softmax进行图分类。
在训练过程中，会对采样函数和权重函数进行重新定义，运用在卷积过程中，卷积公式如下所示：
其中，vtj为vti直接相邻的节点坐标，lti(vtj)为此节点所在的特征集合，Zti(vtj)为标准化项，标准化项的公式为：
zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|
同时，在训练过程中，采用权重值来衡量不同动作的特征，达到识别动作的目的。具体是按照关节点的向心离心关系定义，r表示节点到骨骼图重心的平均距离，此时对于一个人体关键点的卷积运算，其权重矩阵包括三种权重向量：
将节点的1邻域划分为3个子集，第一个子集连接了空间位置上比根节点更远离整个骨架的邻居节点，第二个子集连接了更靠近中心的邻居节点，第三个子集为根节点本身，分别表示了离心运动、向心运动和静止的运动特征。
最后，为了防止过拟合，在训练数据方面进行了优化：在原始序列中随机抽取片段，采用OpenPose方法在随机抽取的片段中提取学员的人体骨骼关键点，获得人体骨架模型序列，然后对骨架序列进行仿射变换(模拟相机移动)。
在一个示例中，主机还包括：管理单元。管理单元用于数据统计、人员管理、教学视频管理、急救流程管理、考核记录管理，对数据进行增、删、改、查，并将学员的位置信息标记在地图中；统计的数据包括学员信息、年龄段通过率、班次通过率、学员通过率和单个动作错误率。具体的，人员管理，每个学员的个人信息会在人员管理选项卡显示；教学视频管理，可以上传、编辑和删除教学视频，并对教学的文字提示进行修改；急救流程管理，可编辑心肺复苏中的模块信息；考核记录管理，可对每个学员的考核记录进行查看与编辑。个人信息包含个人基本信息、学习进度、练习记录和考核记录。学员的信息都会保存至管理端。
对应的，在人机交互设备上即显示的前端页面，含有三个模块，分别为学员端、考核端和管理端，其中这三个模块的网页搭建均采用B/S架构。学员端可在显示器观看教学视频以及进行自主练习，练习时会显示教学视频、文字版操作提示和操作异常记录，学员可根据提示进行适当的调整；考核端包括自主考核以及成绩发放功能，考核全程均由双目摄像头和仿真人实现监测，考核成绩均由主机进行计算，均采用无人监控、无人管理的模式；考核结束后会将分数公布，满足一定分数则视为考核通过，考核成绩会保存到个人信息中，同时考核过程中的操作错误信息也会进行公布。个人的考核信息也会保存至管理端。管理端用于数据统计，包括统计、人员管理、教学视频管理、急救流程管理、考核记录管理，管理员可对数据进行增、删、改、查，而年龄段通过率、班次通过率、学员通过率和单个动作错误率也会进行可视化的展示，同时，学员的位置信息也会显示在地图当中，便于查看全国学习CPR人员的地理分布。
在一个示例中，摄像设备为双目摄像头，用于学员的自主练习和自主考核。双目摄像头会检测学员以及学员所在的位置，验证学员手部精细动作是否规范，并将双目摄像头获得的视频信号传输至主机进行处理。双目摄像头具体步骤包括相机标定和获取图像。相机标定是用于确定相机的内参和外参，避免环境和相机工艺影响效果；其次获取图像作为检测数据。
仿真人包括：单片机和多个传感器。单片机分别与多个传感器和主机连接，单片机用于将多个传感器测量的数据进行标准化后传输至主机。
仿真人单元也作为关键部分，起到了决定性的作用，它可以弥补双目摄像头只用于“视觉”的检测。它体内含有大量传感器，每个传感器都与STM32单片机进行连接，由单片机对传感器获得的信号进行初步处理后，通过蓝牙或wifi模块将数据传输的系统主机作为整个急救操作综合判断的部分依据，会将学员模拟操作的准确度进行评判，包括检测手部触摸、触碰位置、人工呼吸、按压频率和按压程度是否符合要求，使用的传感器分别为电阻式压敏传感器、压力传感器、气体流量传感器、光电门传感器，产生的数据(传感器返回的经单片机初步处理后的数据)最后通过蓝牙上传至主机，对学员考核进行打分，根据专业医疗急救人员制定的评判及打分标准进行考核。
智能心肺复苏培训系统的整个工作过程例如：用户登录学员端后，先注册账号，再输入账号密码登录主页，点击主页显示的视频封面即可进入视频界面进行学习；在主页右上角点击练习，会开启练习界面，学员只需要在双目摄像头前，在仿真人上进行操作，如果操作上出现失误，那么界面上就会显示操作提示，学员可以根据操作提示重新开始练习，其中，每个模块的练习过程都会记录主机实现数据的分析。在学员进入考核端时，点击开始，即可开始考核。考核全程无人监考，无人提示，全部过程由双目摄像头和仿真人进行监测，其数据信号会传输至主机进行处理。当出现失误时，主机会将本次失误记录在分数中，不会像练习一样跳出提示。当考核结束时，系统会公布本次的分数以及考核过程中的操作失误信息，达到一定分数即可通过考核。另外，管理员也可以登陆管理端查看学员的学习进度，也可以依据统计图来优化系统。
本系统具有的积极效果：
(1)线上培训让学员可以随时进行线上学习与训练，可根据练习的失误提醒规范自己的动作。
(2)培训让学员的学习和操作更具有统一性和规范性，不容易出现质量参差不齐的结果。
(3)多次考核的设定让学员有更多机会锻炼，不至于一次考核失误就需要等待大量时间来验证学习成果。
(4)线上培训会让更多人参与到CPR的学习中来，益于CPR的推广与普及，让更多的心脏骤停的患者得到及时而有效的救助，降低猝死的几率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种智能心肺复苏培训系统，其特征在于，所述系统包括：人机交互设备、主机、摄像设备和仿真人；
人机交互设备与主机连接，所述人机交互设备用于接收学员的自主练习请求或自主考核请求，根据所述请求从主机中获取心肺复苏培训内容或心肺复苏考核内容并显示；
学员根据心肺复苏培训内容或心肺复苏考核内容在仿真人上进行急救操作；所述仿真人用于采集学员的急救操作数据，并将所述急救操作数据传输至主机；所述摄像设备用于拍摄学员进行急救操作的视频图像，并将所述视频图像传输至主机；
所述主机用于在学员进行自主练习时根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在学员进行自主考核时根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数。
2.根据权利要求1所述的智能心肺复苏培训系统，其特征在于，所述主机包括：练习单元、考核单元和处理单元；
所述练习单元用于存储心肺复苏教学视频，并在接收到自主练习请求时将所述心肺复苏教学视频传输至人机交互设备进行显示；
所述处理单元用于根据所述急救操作数据评判急救操作的准确度，根据所述视频信号进行动作识别后评判动作的正确性，并在评判急救操作出现失误时，在人机交互设备上显示错误操作提示；
所述考核单元用于存储自主考核内容，并在接收到自主考核请求时将所述自主考核内容传输至人机交互设备进行显示；
所述处理单元还用于根据所述急救操作数据对急救操作进行打分，根据所述视频信号进行动作识别后对动作打分，最终获得考核分数。
3.根据权利要求2所述的智能心肺复苏培训系统，其特征在于，所述处理单元包括：
骨骼点提取子单元，用于采用OpenPose方法在所述视频图像中提取学员的人体骨骼关键点，并连接人体骨骼关键点构成人体骨架模型；
动作识别子单元，用于根据所述人体骨架模型，利用时空图卷积神经网络进行动作识别；
评判子单元，用于根据预设的动作判断标准识别动作的正确性。
4.根据权利要求3所述的智能心肺复苏培训系统，其特征在于，所述时空图卷积神经网络包括9层依次连接的ST-GCN模块，前三层ST-GCN模块的最后一层输出64维特征，中间3层ST-GCN模块的最后一层输出128维特征，最后3层ST-GCN模块的最后一层输出256维特征，每一层ST-GCN模块的时间核Γ均为9，且每一层ST-GCN模块都设置resnet机制。
5.根据权利要求3或4所述的智能心肺复苏培训系统，其特征在于，对时空图卷积神经网络进行训练的过程为：
在摄像设备拍摄的历史视频图像中随机抽取片段，并采用OpenPose方法在随机抽取的片段中提取学员的人体骨骼关键点，获得人体骨架模型序列；
对所述人体骨架模型序列进行仿射变换；
确定时空图卷积神经网络的卷积公式为
式中，fout(vti)为卷积输出，fin(vtj)为卷积输入，vtj为vti直接相邻的节点坐标，lti(vtj)为vtj节点所在的特征集合，Zti(vtj)为标准化项，Zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|，vtk为标准化后的节点坐标；
确定时空图卷积神经网络的权重矩阵为
式中，ri、rj分别表示vti节点、vtj节点到骨骼图重心的平均距离；
根据仿射变换后的人体骨架模型序列，基于卷积公式和权重矩阵，对时空图卷积神经网络进行训练。
6.根据权利要求2所述的智能心肺复苏培训系统，其特征在于，所述主机还包括：管理单元；
所述管理单元用于数据统计、人员管理、教学视频管理、急救流程管理、考核记录管理，对数据进行增、删、改、查，并将学员的位置信息标记在地图中；所述统计的数据包括学员信息、年龄段通过率、班次通过率、学员通过率和单个动作错误率。
7.根据权利要求1所述的智能心肺复苏培训系统，其特征在于，所述摄像设备为双目摄像头。
8.根据权利要求1所述的智能心肺复苏培训系统，其特征在于，所述仿真人包括：单片机和多个传感器；
单片机分别与多个传感器和主机连接，所述单片机用于将多个传感器测量的数据进行标准化后传输至主机。
9.根据权利要求8所述的智能心肺复苏培训系统，其特征在于，多个所述传感器包括电阻式压敏传感器、压力传感器、气体流量传感器和光电门传感器。
10.根据权利要求8所述的智能心肺复苏培训系统，其特征在于，所述单片机为STM32单片机；
多个传感器均通过杜邦线连接STM32单片机；
所述STM32单片机用于通过蓝牙或wifi模块将多个传感器测量的数据进行标准化后传输至主机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368002.7A CN115586834A (zh) | 2022-11-03 | 2022-11-03 | 一种智能心肺复苏培训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368002.7A CN115586834A (zh) | 2022-11-03 | 2022-11-03 | 一种智能心肺复苏培训系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115586834A true CN115586834A (zh) | 2023-01-10 |
Family
ID=84781464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211368002.7A Pending CN115586834A (zh) | 2022-11-03 | 2022-11-03 | 一种智能心肺复苏培训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115586834A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116456062A (zh) * | 2023-06-16 | 2023-07-18 | 北京紫云智能科技有限公司 | 一种创伤复苏单元中复苏流程的教学实现方法和系统 |
| CN117492605A (zh) * | 2023-11-07 | 2024-02-02 | 中国人民解放军中部战区总医院 | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 |
| CN117726992A (zh) * | 2024-02-07 | 2024-03-19 | 吉林大学 | 护理技能培训辅助系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106830A (zh) * | 2013-02-06 | 2013-05-15 | 中国人民解放军第四军医大学 | 数字化急救技能模拟训练系统及方法 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| CN111862758A (zh) * | 2020-09-02 | 2020-10-30 | 思迈(青岛)防护科技有限公司 | 一种基于人工智能的心肺复苏培训与考核系统及方法 |
| CN113869105A (zh) * | 2021-08-09 | 2021-12-31 | 华北电力大学（保定） | 一种人体行为识别方法 |
| CN114582030A (zh) * | 2022-05-06 | 2022-06-03 | 湖北工业大学 | 一种基于服务机器人的行为识别方法 |
-
2022
- 2022-11-03 CN CN202211368002.7A patent/CN115586834A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106830A (zh) * | 2013-02-06 | 2013-05-15 | 中国人民解放军第四军医大学 | 数字化急救技能模拟训练系统及方法 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
| CN111862758A (zh) * | 2020-09-02 | 2020-10-30 | 思迈(青岛)防护科技有限公司 | 一种基于人工智能的心肺复苏培训与考核系统及方法 |
| CN113869105A (zh) * | 2021-08-09 | 2021-12-31 | 华北电力大学（保定） | 一种人体行为识别方法 |
| CN114582030A (zh) * | 2022-05-06 | 2022-06-03 | 湖北工业大学 | 一种基于服务机器人的行为识别方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116456062A (zh) * | 2023-06-16 | 2023-07-18 | 北京紫云智能科技有限公司 | 一种创伤复苏单元中复苏流程的教学实现方法和系统 |
| CN116456062B (zh) * | 2023-06-16 | 2023-08-25 | 北京紫云智能科技有限公司 | 一种创伤复苏单元中复苏流程的教学实现方法和系统 |
| CN117492605A (zh) * | 2023-11-07 | 2024-02-02 | 中国人民解放军中部战区总医院 | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 |
| CN117726992A (zh) * | 2024-02-07 | 2024-03-19 | 吉林大学 | 护理技能培训辅助系统及方法 |
| CN117726992B (zh) * | 2024-02-07 | 2024-04-16 | 吉林大学 | 护理技能培训辅助系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115586834A (zh) | 一种智能心肺复苏培训系统 | |
| Velloso et al. | Qualitative activity recognition of weight lifting exercises | |
| Thar et al. | A proposal of yoga pose assessment method using pose detection for self-learning | |
| CN108096807A (zh) | 一种运动数据监测方法和系统 | |
| CN110478883B (zh) | 一种健身动作教学及矫正系统及方法 | |
| Hu et al. | Deep neural network-based speaker-aware information logging for augmentative and alternative communication | |
| CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
| CN108683724A (zh) | 一种智能儿童安全及步态健康监护系统 | |
| Ma et al. | Research and Analysis of Sports Training Real‐Time Monitoring System Based on Mobile Artificial Intelligence Terminal | |
| WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
| CN111755120B (zh) | 一种基于边缘智能和多模感知的认知障碍预测方法 | |
| CN114550299A (zh) | 基于视频的老年人日常生活活动能力评估系统和方法 | |
| TW202221621A (zh) | 用於照護教育之虛擬環境訓練系統 | |
| Wang et al. | [Retracted] Student Physical Fitness Test System and Test Data Analysis System Based on Computer Vision | |
| CN110147715A (zh) | 一种视网膜OCT图像Bruch膜开角自动检测方法 | |
| Shi et al. | Design of optical sensors based on computer vision in basketball visual simulation system | |
| CN113517052A (zh) | 商用健身场景下的多感知人机交互系统与方法 | |
| CN114022956A (zh) | 一种多维度智能研判健身动作运动效果的方法 | |
| CN113724853A (zh) | 一种基于深度学习的智慧医疗系统 | |
| CN115271621A (zh) | 一种校园体育健康综合管理平台 | |
| Han | [Retracted] A Table Tennis Motion Correction System Based on Human Motion Feature Recognition | |
| Sun | Aerobics movement decomposition action teaching system based on intelligent vision sensor | |
| KR102619887B1 (ko) | 신체활동 챌린지 서비스를 지원하는 시스템 및 방법 | |
| Chen et al. | Design of Assessment Judging Model for Physical Education Professional Skills Course Based on Convolutional Neural Network and Few‐Shot Learning | |
| Xie et al. | Lightweight Football Motion Recognition and Intensity Analysis Using Low‐Cost Wearable Sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |