CN117726992B - 护理技能培训辅助系统及方法 - Google Patents
护理技能培训辅助系统及方法 Download PDFInfo
- Publication number
- CN117726992B CN117726992B CN202410172379.8A CN202410172379A CN117726992B CN 117726992 B CN117726992 B CN 117726992B CN 202410172379 A CN202410172379 A CN 202410172379A CN 117726992 B CN117726992 B CN 117726992B
- Authority
- CN
- China
- Prior art keywords
- training
- cardiopulmonary resuscitation
- resuscitation training
- feature
- nurse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 798
- 238000000034 method Methods 0.000 title claims abstract description 106
- 230000000474 nursing effect Effects 0.000 title claims abstract description 40
- 238000002680 cardiopulmonary resuscitation Methods 0.000 claims abstract description 557
- 230000008569 process Effects 0.000 claims abstract description 79
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 171
- 238000001514 detection method Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 230000006835 compression Effects 0.000 claims description 24
- 238000007906 compression Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000003825 pressing Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000004069 differentiation Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012098 association analyses Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Landscapes
- Percussion Or Vibration Massage (AREA)
Abstract
本申请公开了一种护理技能培训辅助系统及方法，涉及培训辅助领域，其首先获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，然后利用深度学习技术，对三者进行特征提取和关联分析，最后通过分类器得到分类结果，以生成观察组护士心肺复苏培训评估等级，从而提供全面、个性化的优化意见，进而帮助改进观察组护士的心肺复苏培训过程，提高培训效果和护理质量。
Description
技术领域
本申请涉及培训辅助领域，且更为具体地，涉及一种护理技能培训辅助系统及方法。
背景技术
护理技能培训是为护理人员提供必要知识和技能的专业课程，旨在提高他们在临床实践中的护理水平和专业能力。其中，急救护理技能是培训的重点之一，包括徒手心肺复苏、除颤仪操作和复苏药物使用等关键操作技术。由于这些技能的特殊性和紧急性，很难在真实患者身上进行培训练习，而且任何操作失误都可能给患者带来严重后果甚至危及生命。因此，通过模拟真实情境，让学员熟悉和掌握正确的操作方法变得尤为重要。
目前的培训方式为让学员在培训师的指导下进行护理技能培训，并及时得到纠正和反馈。然而，由于培训师人数有限，无法对每个学员进行个别监督，可能导致一些学员的错误操作未能及时纠正。
因此，期望一种护理技能培训辅助系统及方法。
发明内容
为了解决上述技术问题，提出了本申请。
根据本申请的一个方面，提供了一种护理技能培训辅助系统，其包括：
心肺复苏培训数据获取模块，用于获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；
心肺复苏培训图像特征提取模块，用于对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；
心肺复苏培训图像特征聚合模块，用于对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；
心肺复苏培训文本特征提取模块，用于对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；
心肺复苏培训特征融合模块，用于将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；
心肺复苏培训评估等级生成模块，用于将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；
其中，所述心肺复苏培训图像特征提取模块，包括：将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。
在上述护理技能培训辅助系统中，所述心肺复苏培训图像特征聚合模块，包括：将所述对照组心肺复苏培训增强检测特征图和所述观察组心肺复苏培训增强参考特征图进行差异化计算以得到心肺复苏培训差分特征图；将所述心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到所述心肺复苏培训全局特征向量。
在上述护理技能培训辅助系统中，所述心肺复苏培训文本特征提取模块，包括：心肺复苏培训文本卷积编码单元，用于将所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个心肺复苏培训特征向量；心肺复苏培训文本特征编码单元，用于对所述多个心肺复苏培训特征向量进行特征编码以得到所述心肺复苏培训文本全局特征向量。
在上述护理技能培训辅助系统中，所述心肺复苏培训文本特征编码单元，包括：将所述多个心肺复苏培训特征向量进行二维排列以得到心肺复苏培训文本特征矩阵；将所述心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到所述心肺复苏培训文本全局特征向量。
在上述护理技能培训辅助系统中，还包括用于对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练的训练模块。
在上述护理技能培训辅助系统中，所述训练模块，包括：训练培训数据获取单元，用于获取由摄像头采集的训练对照组护士心肺复苏培训过程监控图像、由摄像头采集的训练观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据，其中，所述训练观察组护士心肺复苏培训文本数据包括训练观察组护士心肺复苏按压压力信息、训练观察组护士心肺复苏按压深度信息和训练观察组护士心肺复苏按压速度信息；训练培训图像卷积编码单元，用于将所述由摄像头采集的训练对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的训练观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到训练对照组心肺复苏培训检测特征图和训练观察组心肺复苏培训参考特征图；训练对照组培训数据注意力编码单元，用于将所述训练对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到训练对照组心肺复苏培训增强检测特征图；训练观察组培训数据注意力编码单元，用于将所述训练观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到训练观察组心肺复苏培训增强参考特征图；训练数据差异化计算单元，用于将所述训练对照组心肺复苏培训增强检测特征图和所述训练观察组心肺复苏培训增强参考特征图进行差异化计算以得到训练心肺复苏培训差分特征图；训练数据全局均值池化单元，用于将所述训练心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到训练心肺复苏培训全局特征向量；训练文本培训数据卷积编码单元，用于将所述由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个训练心肺复苏培训特征向量；训练文本培训二维排列单元，用于将所述多个训练心肺复苏培训特征向量进行二维排列以得到训练心肺复苏培训文本特征矩阵；训练培训文本卷积单元，用于将所述训练心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到训练心肺复苏培训文本全局特征向量；训练特征融合单元，用于将所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量进行融合以得到训练心肺复苏培训评估分类特征向量；补充损失函数值计算单元，用于计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；分类损失函数值计算单元，用于将所述训练心肺复苏培训评估分类特征向量通过分类器以得到分类损失函数值；训练模型单元，用于基于所述补充损失函数值和所述分类损失函数值对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练。
在上述护理技能培训辅助系统中，所述分类损失函数值计算单元，包括：以如下补充损失公式计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；其中，所述补充损失公式为：
；
其中，是所述训练心肺复苏培训全局特征向量，/>是所述训练心肺复苏培训文本全局特征向量，/>是所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的关联矩阵，/>表示矩阵乘法，/>表示转置，/>表示矩阵的二范数，/>是所述高维空间单元流形子维度超凸兼容性度量。
根据本申请的另一方面，提供了一种护理技能培训辅助方法，其包括：
获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；
对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；
对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；
对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；
将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；
将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；
其中，对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图，包括：将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。
与现有技术相比，本申请提供的一种护理技能培训辅助系统及方法，其首先获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，然后利用深度学习技术，对三者进行特征提取和关联分析，最后通过分类器得到分类结果，以生成观察组护士心肺复苏培训评估等级，从而提供全面、个性化的优化意见，进而帮助改进观察组护士的心肺复苏培训过程，提高培训效果和护理质量。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的护理技能培训辅助系统的框图。
图2为根据本申请实施例的护理技能培训辅助系统中心肺复苏培训文本特征提取模块的框图。
图3为根据本申请实施例的护理技能培训辅助方法的流程图。
图4为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
示例性系统
图1为根据本申请实施例的护理技能培训辅助系统的框图。如图1所示，根据本申请实施例的护理技能培训辅助系统100，包括：心肺复苏培训数据获取模块110，用于获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；心肺复苏培训图像特征提取模块120，用于对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；心肺复苏培训图像特征聚合模块130，用于对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；心肺复苏培训文本特征提取模块140，用于对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；心肺复苏培训特征融合模块150，用于将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；心肺复苏培训评估等级生成模块160，用于将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级。
在上述护理技能培训辅助系统100中，所述心肺复苏培训数据获取模块110，用于获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息。应可以理解，摄像头采集的监控图像可以提供对照组和观察组护士心肺复苏培训过程的视觉信息。通过对图像进行分析和特征提取，可以获取有关护士的动作、姿势、位置等信息。这些图像特征可以用于评估护士的执行动作是否准确、是否符合心肺复苏的标准要求，从而提供培训辅助和改进建议。同时，获取培训假人内置传感器采集的观察组护士心肺复苏培训文本数据可以获取护士在按压过程中的定量数据，包括按压压力、按压深度和按压速度等信息。这些数据可以提供关于护士按压质量和效率的量化指标。通过获取这些不同类型的数据，系统可以综合分析护士的视觉表现和按压数据，从而全面评估护士的心肺复苏培训效果。这些数据之间的关联可以通过时间戳或其他方式进行匹配，以确保在分析和评估过程中能够关联护士的图像和文本数据。这样的关联可以帮助系统准确地理解和评估护士的培训过程和技能水平，为培训提供有针对性的反馈和改进建议。
在上述护理技能培训辅助系统100中，所述心肺复苏培训图像特征提取模块120，用于对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图。如前所述，通过对心肺复苏培训过程监控图像进行特征提取，可以提取出一些关键的视觉特征，例如护士的动作、姿势、位置等。这些特征可以用于建立对照组和观察组心肺复苏培训的基准。通过对比观察组的图像特征与对照组的特征，可以检测观察组护士在培训过程中的差异和改进空间，从而实现心肺复苏培训的增强参考功能。
在本申请一个具体的实施例中，所述心肺复苏培训图像特征提取模块120，包括：将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。应可以理解，使用基于孪生网络的特征提取器可以将对照组和观察组的图像输入到同一个网络中进行特征提取。孪生网络是一种双分支结构的网络，每个分支都共享相同的网络结构和参数。通过共享参数，网络可以学习到对图像特征具有辨别力的表示。其中，孪生网络可以由两个共享参数的子网络组成，其中一个子网络用于处理对照组图像，另一个子网络用于处理观察组图像。这样设计的目的是使两个子网络能够学习到共享的特征表示。具体地，使用所述基于孪生网络的护士心肺复苏特征提取器的多层卷积层对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像进行深度卷积编码以由所述多层卷积层的最后一层输出对照组深度检测特征图；将所述对照组深度检测特征图输入所述基于孪生网络的护士心肺复苏特征提取器的对照组空间注意力模块以得到对照组空间注意力图；计算所述对照组深度检测特征图和所述对照组空间注意力图的按位置点乘以得到所述对照组心肺复苏培训检测特征图；使用所述基于孪生网络的护士心肺复苏特征提取器的多层卷积层对所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行深度卷积编码以由所述多层卷积层的最后一层输出观察组深度检测特征图；将所述观察组深度检测特征图输入所述基于孪生网络的护士心肺复苏特征提取器的观察组空间注意力模块以得到观察组空间注意力图；计算所述观察组深度检测特征图和所述观察组空间注意力图的按位置点乘以得到所述观察组心肺复苏培训参考特征图。
进一步地，基于空间注意力模块的特征提取器可以通过学习图像中不同区域的重要性来增强对特定目标的关注。在心肺复苏培训中，关键特征可能包括护士的手部位置、胸部压迫的幅度和频率等。通过应用空间注意力模块，可以使特征提取器更加关注这些重要区域，提取出更具判别性和信息丰富度的特征。其中，对照组心肺复苏培训增强检测特征图的生成可以帮助提高对照组心肺复苏培训过程的监测和分析能力。这些特征图可以用于检测和识别培训过程中的关键动作和行为，并提供有关对照组护士的培训表现的更详细和准确的信息。
更进一步地，在心肺复苏培训中，观察组的参与者通常会面临不同的情境和场景，其心肺复苏操作可能会受到环境、人员、设备等因素的干扰和影响。因此，通过基于空间注意力模块的特征提取器可以对观察组心肺复苏培训参考特征图进行加权处理，将注意力集中在对于心肺复苏操作更为重要和关键的区域或特征上。具体地，基于空间注意力模块的特征提取器可以通过学习一组权重来对输入特征进行加权求和，从而突出重要的特征并抑制不重要的特征。这样可以增强观察组心肺复苏培训参考特征图中与心肺复苏操作相关的特征，使得最终得到的观察组心肺复苏培训增强参考特征图更具有区分性和表达能力。更为具体地，使用所述基于空间注意力模块的观察组心肺复苏培训特征提取器的卷积编码部分对所述观察组心肺复苏培训参考特征图进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述基于空间注意力模块的观察组心肺复苏培训特征提取器的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述观察组心肺复苏培训增强参考特征图。
在上述护理技能培训辅助系统100中，所述心肺复苏培训图像特征聚合模块130，用于对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量。应可以理解，特征聚合是将从不同特征图中提取的特征进行整合和组合的过程。通过特征聚合，可以将局部特征信息融合为全局特征，从而更好地描述整体的心肺复苏培训过程和护士的表现。特征聚合的方法可以有多种，包括特征拼接、特征加权、特征池化等。其中，特征拼接指的是将从不同特征图中提取的特征按照一定的顺序拼接在一起，形成一个更长的特征向量。通过特征聚合，可以将对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图中的局部特征整合为一个全局特征向量，该向量可以用于评估护士的整体培训表现和技能水平。
在本申请一个具体的实施例中，所述心肺复苏培训图像特征聚合模块130，包括：将所述对照组心肺复苏培训增强检测特征图和所述观察组心肺复苏培训增强参考特征图进行差异化计算以得到心肺复苏培训差分特征图；将所述心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到所述心肺复苏培训全局特征向量。应可以理解，在心肺复苏培训研究中，对照组通常是接受传统培训方法或常规操作的参与者，而观察组则是接受新的培训方法或改进操作的参与者。通过计算对照组心肺复苏培训增强检测特征图与观察组心肺复苏培训增强参考特征图之间的差异，可以提取出两组之间的差异性特征。这些差异性特征可能反映了观察组在心肺复苏培训中的改进或不足之处，或者揭示了新的培训方法所带来的优势。具体地，可以使用括差值法、比率法、归一化差异法、像素级差异计算或特征向量差异计算等计算方法确保差分特征图能够准确地反映出两组之间的差异。
进一步地，心肺复苏培训差分特征图是在对照组和观察组之间进行差异化计算后得到的，它可以反映出两组在心肺复苏培训中的差异。然而，差分特征图可能具有较高的维度，其中每个通道代表着不同的特征。为了将这些特征整合为一个全局特征向量，可以使用全局均值池化操作。全局均值池化是一种对特征图进行降维的操作，它将特征图中每个通道的数值取平均，得到一个全局特征向量。
在上述护理技能培训辅助系统100中，所述心肺复苏培训文本特征提取模块140，用于对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量。应可以理解，通过对这些文本数据进行特征提取，可以将其转化为一种表示护士培训表现的全局特征向量。这个全局特征向量可以包含多个特征，如平均压力、平均深度和平均速度等。通过提取这些特征，可以提取出关键的培训表现特征，从而对护士的培训表现进行量化和评估。
图2为根据本申请实施例的护理技能培训辅助系统中心肺复苏培训文本特征提取模块的框图。如图2所示，在本申请一个具体的实施例中，所述心肺复苏培训文本特征提取模块140，包括：心肺复苏培训文本卷积编码单元141，用于将所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个心肺复苏培训特征向量；心肺复苏培训文本特征编码单元142，用于对所述多个心肺复苏培训特征向量进行特征编码以得到所述心肺复苏培训文本全局特征向量。应可以理解，嵌入层可以将文本数据中的离散单词映射到连续的向量空间中，使得模型能够更好地处理文本数据。这可以通过使用预训练的词嵌入模型（如Word2Vec、GloVe或BERT）来实现。双向长短期记忆模型是一种循环神经网络的变种，能够捕捉文本数据中的上下文信息和长期依赖关系。通过将文本数据输入到心肺复苏培训文本语义编码器中，模型可以学习到文本数据的语义表示。由于文本数据可能包含多个关键信息和语义特征，因此通过该编码器可以得到多个特征向量，每个特征向量代表了文本数据中的不同语义信息。具体地，将所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行分词后输入所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器的嵌入层以获得词嵌入向量的序列；以及，将所述词嵌入向量的序列通过所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器的双向长短期记忆模型以获得所述多个心肺复苏培训特征向量。
进一步地，特征编码可以帮助提取心肺复苏培训文本中的关键信息，过滤掉冗余和噪音，保留对任务有用的特征。并且，通过编码多个特征向量得到的全局特征向量可以代表整个心肺复苏培训文本的内容，具有更高层次的语义表示能力。
在本申请一个具体的实施例中，所述心肺复苏培训文本特征编码单元142，包括：将所述多个心肺复苏培训特征向量进行二维排列以得到心肺复苏培训文本特征矩阵；将所述心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到所述心肺复苏培训文本全局特征向量。应可以理解，多个心肺复苏培训特征向量中的每个特征向量代表了一个文本样本，其中每个维度对应一个特征或词汇。将多个特征向量按照一定顺序排列，可以形成一个二维矩阵，其中每行代表一个样本，每列代表一个特征或词汇。通过将特征向量排列成矩阵的形式，可以更方便地进行矩阵运算和特征提取。矩阵提供了一种结构化的方式来组织和表示文本数据，使得可以利用线性代数和矩阵运算的技术来处理文本。
进一步地，卷积神经网络在卷积层中使用共享权重的方式，减少了需要学习的参数数量。对于文本数据，这意味着卷积神经网络可以共享权重来处理不同位置的词或短语，从而提高模型的效率和泛化能力。通过将心肺复苏培训文本特征矩阵输入卷积神经网络，网络可以学习到文本的高级语义特征，并将其编码为全局特征向量。这个全局特征向量可以捕捉到文本的整体信息，具有更丰富的语义表示。具体地，使用所述作为心肺复苏培训文本特征提取器的卷积神经网络的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为心肺复苏培训文本特征提取器的卷积神经网络的最后一层输出所述心肺复苏培训文本全局特征向量，其中，所述作为心肺复苏培训文本特征提取器的卷积神经网络的输入为所述心肺复苏培训文本特征矩阵。
在上述护理技能培训辅助系统100中，所述心肺复苏培训特征融合模块150，用于将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量。应可以理解，通过融合心肺复苏培训全局特征向量和心肺复苏培训文本全局特征向量，可以得到心肺复苏培训评估分类特征向量，其中每个特征矩阵的维度代表了不同的评估指标或特征，这样的融合可以帮助更准确地评估护士的培训表现和技能水平，为培训提供更有针对性的反馈和指导。
在上述护理技能培训辅助系统100中，所述心肺复苏培训评估等级生成模块160，用于将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级。应可以理解，将心肺复苏培训评估分类特征向量通过分类器进行分类可以将护士的培训表现和技能水平进行定量评估，并生成分类结果。具体地，分类器可以根据输入的特征矩阵，学习不同特征与心肺复苏培训评估等级之间的关系，并根据这种关系对新的特征矩阵进行分类。分类结果可以用于生成观察组护士心肺复苏培训评估等级。这些评估等级可以根据护士的表现和技能水平来划分，例如划分为优秀、良好、一般等级。通过评估等级，可以更好地理解护士的培训需求，优化培训计划，提高培训效果。
在本申请一个具体的实施例中，还包括用于对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练的训练模块。
在本申请一个具体的实施例中，所述训练模块，包括：训练培训数据获取单元，用于获取由摄像头采集的训练对照组护士心肺复苏培训过程监控图像、由摄像头采集的训练观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据，其中，所述训练观察组护士心肺复苏培训文本数据包括训练观察组护士心肺复苏按压压力信息、训练观察组护士心肺复苏按压深度信息和训练观察组护士心肺复苏按压速度信息；训练培训图像卷积编码单元，用于将所述由摄像头采集的训练对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的训练观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到训练对照组心肺复苏培训检测特征图和训练观察组心肺复苏培训参考特征图；训练对照组培训数据注意力编码单元，用于将所述训练对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到训练对照组心肺复苏培训增强检测特征图；训练观察组培训数据注意力编码单元，用于将所述训练观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到训练观察组心肺复苏培训增强参考特征图；训练数据差异化计算单元，用于将所述训练对照组心肺复苏培训增强检测特征图和所述训练观察组心肺复苏培训增强参考特征图进行差异化计算以得到训练心肺复苏培训差分特征图；训练数据全局均值池化单元，用于将所述训练心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到训练心肺复苏培训全局特征向量；训练文本培训数据卷积编码单元，用于将所述由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个训练心肺复苏培训特征向量；训练文本培训二维排列单元，用于将所述多个训练心肺复苏培训特征向量进行二维排列以得到训练心肺复苏培训文本特征矩阵；训练培训文本卷积单元，用于将所述训练心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到训练心肺复苏培训文本全局特征向量；训练特征融合单元，用于将所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量进行融合以得到训练心肺复苏培训评估分类特征向量；补充损失函数值计算单元，用于计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；分类损失函数值计算单元，用于将所述训练心肺复苏培训评估分类特征向量通过分类器以得到分类损失函数值；训练模型单元，用于基于所述补充损失函数值和所述分类损失函数值对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练。
特别地，在本申请的技术方案中，考虑到在心肺复苏培训过程中，使用了不同数据源采集的训练心肺复苏培训全局特征向量和训练心肺复苏培训文本全局特征向量。这些特征向量通常存在维度和尺度差异，导致在高维空间单元中的特征流形也存在差异。首先，训练心肺复苏培训全局特征向量是通过图像数据提取的，而训练心肺复苏培训文本全局特征向量是通过文本数据提取的。图像数据通常具有高维度的特征表示，例如每个像素的颜色值或纹理信息，而文本数据通常表示为词向量或嵌入层的形式，具有较低的维度。因此，这两种类型的特征向量在维度上存在差异。其次，训练心肺复苏培训全局特征向量和训练心肺复苏培训文本全局特征向量在尺度上也可能存在差异。例如，在图像数据中，像素值通常在0到255的范围内，而在文本数据中，词向量或嵌入层的值通常在较小的范围内，例如-1到1或0到1之间。这种尺度上的差异也会影响特征向量的表达方式。由于维度和尺度的差异，当融合训练心肺复苏培训全局特征向量和训练心肺复苏培训文本全局特征向量时，可能会出现病态对齐的问题。病态对齐意味着特征向量的对齐方式不一致，导致融合结果的不确定性增加。具体而言，融合后的特征向量可能在某些维度上过于依赖图像数据，而在其他维度上过于依赖文本数据，从而导致特征的整体分布表达不确定性增加。这种病态对齐问题会影响训练心肺复苏培训评估分类特征向量的整体特征分布的表达确定性和鲁棒性。分类特征向量的不确定性会导致评估结果的不稳定性，可能使得评估结果对输入数据的微小变化过于敏感。为了解决这个问题，计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值。
具体地，以如下补充损失公式计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；其中，所述补充损失公式为：
；
其中，是所述训练心肺复苏培训全局特征向量，/>是所述训练心肺复苏培训文本全局特征向量，/>是所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的关联矩阵，/>表示矩阵乘法，/>表示转置，/>表示矩阵的二范数，/>是所述高维空间单元流形子维度超凸兼容性度量。
也就是，考虑到所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量在高维空间单元的特征流形存在维度和尺度差异，导致融合得到的所述训练心肺复苏培训评估分类特征向量容易出现病态对齐的问题，影响所述训练心肺复苏培训评估分类特征向量的整体特征分布的表达确定性和鲁棒性。
在本申请的技术方案中，计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值，其通过构建一个基于特征向量的特征流形的超凸兼容性的补充损失函数，使得特征向量间的每个位置的特征值都能够在其子维度上保持与其关联矩阵的高维特征空间内的仿射单应性子空间的一致性，从而实现特征向量的特征流形的超凸兼容性匹配，通过以其训练模型，可以在所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量的特征提取过程中，实现特征编码表示的符合几何连续性的重投影，以提升所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的特征流形的超凸兼容性匹配。
综上，本申请实施例首先获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，然后利用深度学习技术，对三者进行特征提取和关联分析，最后通过分类器得到分类结果，以生成观察组护士心肺复苏培训评估等级，从而提供全面、个性化的优化意见，进而帮助改进观察组护士的心肺复苏培训过程，提高培训效果和护理质量。
如上所述，根据本申请实施例的所述护理技能培训辅助系统100可以实现在各种终端设备中，例如部署有护理技能培训辅助算法的服务器等。在一个示例中，根据护理技能培训辅助系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该护理技能培训辅助系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该护理技能培训辅助系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该护理技能培训辅助系统100与该终端设备也可以是分立的设备，并且护理技能培训辅助系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3为根据本申请实施例的护理技能培训辅助方法的流程图。如图3所示，根据本申请实施例的护理技能培训辅助方法，其包括：S110，获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；S120，对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；S130，对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；S140，对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；S150，将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；S160，将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级。
这里，本领域技术人员可以理解，上述护理技能培训辅助方法中的各个步骤的具体操作已经在上面参考图1至图2的护理技能培训辅助系统的描述中得到了详细介绍，并因此，将省略其重复描述。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括输入设备11、输入接口12、中央处理器13、存储器14、输出接口15、输出设备16、以及总线17。其中，输入接口12、中央处理器13、存储器14、以及输出接口15通过总线17相互连接，输入设备11和输出设备16分别通过输入接口12和输出接口15与总线17连接，进而与电子设备10的其他组件连接。
具体地，输入设备11接收来自外部的输入信息，并通过输入接口12将输入信息传送到中央处理器13；中央处理器13基于存储器14中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器14中，然后通过输出接口15将输出信息传送到输出设备16；输出设备16将输出信息输出到电子设备10的外部供用户使用。
在一个实施例中，图4所示的电子设备10可以被实现为一种网络设备，该网络设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的任意一种护理技能培训辅助方法。
根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
可以理解的是，以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式，然而本申请并不局限于此。对于本领域内的普通技术人员而言，在不脱离本申请的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本申请的保护范围。
Claims (8)
1.一种护理技能培训辅助系统，其特征在于，包括：
心肺复苏培训数据获取模块，用于获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；
心肺复苏培训图像特征提取模块，用于对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；
心肺复苏培训图像特征聚合模块，用于对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；
心肺复苏培训文本特征提取模块，用于对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；
心肺复苏培训特征融合模块，用于将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；
心肺复苏培训评估等级生成模块，用于将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；
其中，所述心肺复苏培训图像特征提取模块，包括：
将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；
将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；
将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。
2.根据权利要求1所述的护理技能培训辅助系统，其特征在于，所述心肺复苏培训图像特征聚合模块，包括：
将所述对照组心肺复苏培训增强检测特征图和所述观察组心肺复苏培训增强参考特征图进行差异化计算以得到心肺复苏培训差分特征图；
将所述心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到所述心肺复苏培训全局特征向量。
3.根据权利要求2所述的护理技能培训辅助系统，其特征在于，所述心肺复苏培训文本特征提取模块，包括：
心肺复苏培训文本卷积编码单元，用于将所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个心肺复苏培训特征向量；
心肺复苏培训文本特征编码单元，用于对所述多个心肺复苏培训特征向量进行特征编码以得到所述心肺复苏培训文本全局特征向量。
4.根据权利要求3所述的护理技能培训辅助系统，其特征在于，所述心肺复苏培训文本特征编码单元，包括：
将所述多个心肺复苏培训特征向量进行二维排列以得到心肺复苏培训文本特征矩阵；
将所述心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到所述心肺复苏培训文本全局特征向量。
5.根据权利要求4所述的护理技能培训辅助系统，其特征在于，还包括用于对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练的训练模块。
6.根据权利要求5所述的护理技能培训辅助系统，其特征在于，所述训练模块，包括：
训练培训数据获取单元，用于获取由摄像头采集的训练对照组护士心肺复苏培训过程监控图像、由摄像头采集的训练观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据，其中，所述训练观察组护士心肺复苏培训文本数据包括训练观察组护士心肺复苏按压压力信息、训练观察组护士心肺复苏按压深度信息和训练观察组护士心肺复苏按压速度信息；
训练培训图像卷积编码单元，用于将所述由摄像头采集的训练对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的训练观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到训练对照组心肺复苏培训检测特征图和训练观察组心肺复苏培训参考特征图；
训练对照组培训数据注意力编码单元，用于将所述训练对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到训练对照组心肺复苏培训增强检测特征图；
训练观察组培训数据注意力编码单元，用于将所述训练观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到训练观察组心肺复苏培训增强参考特征图；
训练数据差异化计算单元，用于将所述训练对照组心肺复苏培训增强检测特征图和所述训练观察组心肺复苏培训增强参考特征图进行差异化计算以得到训练心肺复苏培训差分特征图；
训练数据全局均值池化单元，用于将所述训练心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到训练心肺复苏培训全局特征向量；
训练文本培训数据卷积编码单元，用于将所述由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个训练心肺复苏培训特征向量；
训练文本培训二维排列单元，用于将所述多个训练心肺复苏培训特征向量进行二维排列以得到训练心肺复苏培训文本特征矩阵；
训练培训文本卷积单元，用于将所述训练心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到训练心肺复苏培训文本全局特征向量；
训练特征融合单元，用于将所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量进行融合以得到训练心肺复苏培训评估分类特征向量；
补充损失函数值计算单元，用于计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；
分类损失函数值计算单元，用于将所述训练心肺复苏培训评估分类特征向量通过分类器以得到分类损失函数值；
训练模型单元，用于基于所述补充损失函数值和所述分类损失函数值对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练。
7.根据权利要求6所述的护理技能培训辅助系统，其特征在于，所述分类损失函数值计算单元，包括：
以如下补充损失公式计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；
其中，所述补充损失公式为：
；
其中，是所述训练心肺复苏培训全局特征向量，/>是所述训练心肺复苏培训文本全局特征向量，/>是所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的关联矩阵，/>表示矩阵乘法，/>表示转置，/>表示矩阵的二范数，是所述高维空间单元流形子维度超凸兼容性度量。
8.一种护理技能培训辅助方法，其特征在于，包括：
获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；
对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；
对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；
对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；
将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；
将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；
其中，对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图，包括：
将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；
将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；
将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172379.8A CN117726992B (zh) | 2024-02-07 | 2024-02-07 | 护理技能培训辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172379.8A CN117726992B (zh) | 2024-02-07 | 2024-02-07 | 护理技能培训辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726992A CN117726992A (zh) | 2024-03-19 |
| CN117726992B true CN117726992B (zh) | 2024-04-16 |
Family
ID=90207282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172379.8A Active CN117726992B (zh) | 2024-02-07 | 2024-02-07 | 护理技能培训辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726992B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862758A (zh) * | 2020-09-02 | 2020-10-30 | 思迈(青岛)防护科技有限公司 | 一种基于人工智能的心肺复苏培训与考核系统及方法 |
| CN112347786A (zh) * | 2020-10-27 | 2021-02-09 | 阳光保险集团股份有限公司 | 人工智能评分训练方法和装置 |
| CN113539038A (zh) * | 2021-07-30 | 2021-10-22 | 向心引力(深圳)科技有限公司 | 一种模拟场景心肺复苏培训方法、系统及存储介质 |
| CN113763332A (zh) * | 2021-08-18 | 2021-12-07 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
| CN115393957A (zh) * | 2022-08-23 | 2022-11-25 | 久心医疗科技（苏州）有限公司 | 一种急救培训与考核系统及方法 |
| CN115586834A (zh) * | 2022-11-03 | 2023-01-10 | 天津大学温州安全(应急)研究院 | 一种智能心肺复苏培训系统 |
| CN116681958A (zh) * | 2023-08-04 | 2023-09-01 | 首都医科大学附属北京妇产医院 | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 |
| CN117198543A (zh) * | 2023-09-18 | 2023-12-08 | 北京紫云智能科技有限公司 | 创伤复苏单元并发症预测模型训练、预测方法和电子设备 |
| CN117409629A (zh) * | 2023-11-21 | 2024-01-16 | 上海众茂医疗科技有限公司 | 心肺复苏训练方法、装置、设备及介质 |
-
2024
- 2024-02-07 CN CN202410172379.8A patent/CN117726992B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862758A (zh) * | 2020-09-02 | 2020-10-30 | 思迈(青岛)防护科技有限公司 | 一种基于人工智能的心肺复苏培训与考核系统及方法 |
| CN112347786A (zh) * | 2020-10-27 | 2021-02-09 | 阳光保险集团股份有限公司 | 人工智能评分训练方法和装置 |
| CN113539038A (zh) * | 2021-07-30 | 2021-10-22 | 向心引力(深圳)科技有限公司 | 一种模拟场景心肺复苏培训方法、系统及存储介质 |
| CN113763332A (zh) * | 2021-08-18 | 2021-12-07 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
| CN115393957A (zh) * | 2022-08-23 | 2022-11-25 | 久心医疗科技（苏州）有限公司 | 一种急救培训与考核系统及方法 |
| CN115586834A (zh) * | 2022-11-03 | 2023-01-10 | 天津大学温州安全(应急)研究院 | 一种智能心肺复苏培训系统 |
| CN116681958A (zh) * | 2023-08-04 | 2023-09-01 | 首都医科大学附属北京妇产医院 | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 |
| CN117198543A (zh) * | 2023-09-18 | 2023-12-08 | 北京紫云智能科技有限公司 | 创伤复苏单元并发症预测模型训练、预测方法和电子设备 |
| CN117409629A (zh) * | 2023-11-21 | 2024-01-16 | 上海众茂医疗科技有限公司 | 心肺复苏训练方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| "微格教学在护理技能比赛训练中的运用研究";刘端海 等;《卫生职业教育》;20141231;第69-70页 * |
| "数字孪生助力交通基础设施"数"实融合";伍朝辉;《Exclusive》;20231231;第44-46页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726992A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Min et al. | Overview of Deep Learning in Gastrointestinal Endoscopy. | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| US20200098284A1 (en) | Classroom teaching cognitive load measurement system | |
| CN110390674B (zh) | 图像处理方法、装置、存储介质、设备以及系统 | |
| CN111528859A (zh) | 基于多模态深度学习技术的儿童adhd筛查评估系统 | |
| CN113239916B (zh) | 一种表情识别及课堂状态评估方法、设备及介质 | |
| CN110731773A (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
| CN113722474A (zh) | 文本分类方法、装置、设备及存储介质 | |
| CN113313188B (zh) | 一种跨模态融合目标跟踪方法 | |
| CN117542121B (zh) | 基于计算机视觉的智能化训练考核系统及方法 | |
| CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| CN109064511B (zh) | 一种人体重心高度测量方法、装置及相关设备 | |
| CN113255572B (zh) | 一种课堂注意力评估方法及系统 | |
| CN116977338B (zh) | 基于视觉语义联合的染色体病例级异常提示系统 | |
| CN113379687A (zh) | 网络训练方法、图像检测方法和介质 | |
| CN117726992B (zh) | 护理技能培训辅助系统及方法 | |
| CN113052236A (zh) | 一种基于NASNet的肺炎图像分类方法 | |
| CN112417974A (zh) | 一种公共卫生监控方法 | |
| CN115659221A (zh) | 一种教学质量的评估方法、装置及计算机可读存储介质 | |
| CN116029968A (zh) | 猴痘感染皮肤图像检测方法和装置、电子设备及存储介质 | |
| Huang et al. | Appearance-independent pose-based posture classification in infants | |
| CN111582404A (zh) | 内容分类方法、装置及可读存储介质 | |
| CN118537941B (zh) | 基于目标检测与人脸识别的考勤智能识别系统及方法 | |
| CN117333799B (zh) | 基于可变形锚框的中小学课堂行为检测方法及装置 | |
| CN113705546A (zh) | 干扰类别识别模型训练方法、识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |