CN112233516A - 一种医师cpr考试训练与考核的评分方法及系统 - Google Patents

一种医师cpr考试训练与考核的评分方法及系统 Download PDF

Info

Publication number
CN112233516A
CN112233516A CN202011086474.4A CN202011086474A CN112233516A CN 112233516 A CN112233516 A CN 112233516A CN 202011086474 A CN202011086474 A CN 202011086474A CN 112233516 A CN112233516 A CN 112233516A
Authority
CN
China
Prior art keywords
pressing
video information
model
adopting
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011086474.4A
Other languages
English (en)
Inventor
赵璇
邰海军
李胜云
蒋伟
曾凡
柯钦瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwei Beijing Biotechnology Co ltd
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202011086474.4A priority Critical patent/CN112233516A/zh
Publication of CN112233516A publication Critical patent/CN112233516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种医师CPR考试训练与考核的评分方法，所述方法包括由考生选择自由操作训练模式和实战操作考核模式；通过摄像头获取考生操作动作视频和音频信息后上传至服务器；将实时操作动作与数据库中标准操作进行比对并输出比对结果；在显示设备上显示比对结果，并在动作错误时通过语音或文字的交互形式提示；服务器将接收的视频和音频信息发送至AI智能评分系统，并进行智能评分；服务器将考试的总的评分结果推送至显示器进行显示。本发明解决了目前需要培训的学生多，练习机会不够的问题，同时提高质量和降低成本，无人值考还需要老师进行评价，本申请加入AI评分，制定一个评分标准，大大提升监考考评的效率。

Description

一种医师CPR考试训练与考核的评分方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种医师CPR考试训练与考核的评分方法及系统。
背景技术
心脏骤停严重威胁人们的生命健康，开展优质的心肺复苏（CPR,cardiopulmonary resuscitation）可显著提升患者存活率，同时也是挽救患者生命的重要手段。美国心脏协会（AHA, American Heart Association）和国际复苏联络委员会（ILCOR,International Liaision Committee on Resuscitation）将高质量的心肺复苏术作为复苏的核心[1]。目前常规的心肺复苏训练、考核方式为应用医学模拟人并由裁判打分评判。这样做存在几个弊端，比如考官评判主观性强，不够客观；在考核评判过程中考生具体的按压深度、频率等均依赖模拟人本身的质量条件，考官很难评判；训练过程中学员需要考官时时监督配合来纠正和提高自身的操作，大量消耗培训和考核的人力成本等等。
发明内容
为解决上述问题，提供一种医师CPR考试训练与考核的评分方法及系统。
本发明的目的是以下述方式实现的：
一种医师CPR考试训练与考核的评分方法，所述方法包括S1：设置考核环节、考核环节的考核要点和考核要点对应的评分标准；所述的考核环节包括操作前准备环节、操作中环节、操作后判断；S2: 由考生选择自由操作训练模式和实战操作考核模式；S3：若选择自由操作训练模式，通过摄像头获取考生操作动作视频和音频信息后上传至服务器；将实时操作动作与数据库中标准操作进行比对并输出比对结果；在显示设备上显示比对结果，并在动作错误时通过语音或文字的交互形式提示；S4：若选择实战操作考核模式采集考生的操作动作视频和音频信息后上传至服务器；服务器将接收的视频和音频信息发送至AI智能评分系统，并根据考核要点对应的评分标准对操作者的动作和音频进行智能评分；S5：服务器将考试的总的评分结果推送至显示器进行显示。
所述的监考人可登录显示终端对考生操作的视频和音频进行主观测评打分，并将打分结果上传至服务器经过综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分推动至显示器显示。
所述的S1中包括设置环节得分值：所述S1中包括设置环节得分值：操作前准备环节包括仪表端庄，服饰整洁得a1分、观察周围后，诉环境安全得a2分、轻拍病人双肩，呼叫患者得a3分、启动应急反应系统，拿除颤仪得a4分、摆放体位得a5分；操作中环节包括检查颈动脉搏动，查看胸廓起伏，判断时间5-10s得b1分、第一次循环按压得b2分、判断颈椎有无损伤得b3分、正确清理口、鼻呼吸道得b4分、第一循环人工呼吸得b5分、第二循环按压得b6分、第二循环呼吸得b7分、第三循环按压得b8分、第三循环呼吸得b9分、第四循环按压得b10分、第四循环呼吸得b11分、第五循环按压得b12分、第五循环呼吸得b13分；操作后判断包括按压时是否观察患者面色得c1分、吹气时是否观察患者胸廓起伏得c2分、判断大动脉搏动是否恢复，呼吸是否恢复、判断时间5-10s得c3分、检查患者瞳孔对光反射得c4分、检查患者口唇、甲床转红润得c5分、口述患者收缩压大于等于60mmHg得c6分、整理患者衣物并转运得c7分、整理医疗用物、垃圾分类放置得c8分、整体操作流畅，顺序正确得c9分。
所述的操作前准备环节、操作中环节和操作后判断三者之间的分值比例为8:77:15。
所述的AI智能评分系统包括人体姿态识别模型、实例分割模型、语音识别系统、智能评分模块；所述的人体姿态识别模型将获取的操作者在CPR各个阶段的图像信息输入，输出操作者在CPR各个阶段的姿态、动作幅值和动作频率信息；所述的实例分割模型用于识别考生按压位置、识别考生在各个动作关键点的手部整体姿态；所述的语音识别系统将考生的语音转换为文字；所述的智能评分模块根据人体姿态识别模型输出的动作幅值，动作频率、实例分割模型判别出的位置，手部姿态类别信息，进行考生动作评分，结合语音识别系统识别考生规定的语音信息，给出综合评分。
所述的S2中采用考生监控终端采集考生的操作动作视频和音频信息，所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列。
所述的服务器还与数据库连接，所述的数据库用于存储每一个考生的基本信息，扣分关键点图片信息，按压频率信息，语音转文字信息；所述的服务器中中包括综合评分模块，综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分。
所述的AI智能评分系统的具体评分方法包括：
S1: 通过操作者正前方和侧方的摄像头识别操作前的准备环节的考核要点，通过摄像头识别的动作图像与系统中预先存储的操作评分标准动作图像进行对比，正确则根据相应要点评分标准加分，不正确或缺少则不进行加分；通过语音识别模型检测操作者的说话，有关键词则进行加分，否则不加分；
S2: 检查颈动脉搏动：所述检查颈动脉搏动采用正前方摄像头采集视频信息，采用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，手指按压位置误差小于5的加分，否则不加分；
S3：所述第一循环按压包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S4：判断颈椎有无损伤：采用正前方摄像头采集视频信息，包括但不限于实例分割识别模拟人颈部及双手状态，有判断则加分，否则不加分；
S5：正确清理口、鼻呼吸道：使用第一视角摄像头采集视频信息，包括但不限于实例分割或人体姿态模型识别手部动作及动作的起始和结束时间，使用实例分割模型识别模拟人的嘴部和鼻子，有判断则加分，否则不加分；
S6：第一循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S7：第二循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S8：第二循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S9：第三循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S10：第三循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S11：第四循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S12：第四循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S13：第五循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S14：第五循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S15：操作后判断：检查瞳孔、检查患者口唇、甲床转红润采用第一视角摄像头采集视频信息，使用人体姿态模型或实例分割模型识别手部状态；操作者口述心肺复苏的有效指证通过语音识别系统转换为文字信息，有关键词则进行加分，否则不加分；通过操作者正前方和侧方的摄像头识别按压时是否观察患者面色、 吹气时是否观察患者胸廓起伏、 断大动脉搏动是否恢复、整理患者衣物并转运、整理医疗用物、垃圾分类放置、整体操作流畅，顺序正确，用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，通过有上述判断的进行相应的加分，否则不加分。
一种医师CPR考试训练与考核的评分系统，包括考生监控终端、AI智能评分系统、服务器、数据库、语音提醒模块和显示终端；所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列采集考生的视频和音频发送至服务器，服务器将视频和音频通过智能评分系统进行评分后推送至显示终端进行显示；所述的服务器还与语音提醒模块连接，在考生动作错误时通过语音进行提示。
相对于现有技术，本发明将人工智能的语音识别功能融合进CPR模拟培训教学的口述识别中，可实时识别操作者的术语正确与否，可有效地将口述质量时时反馈给参训人员，使参训人员能迅速纠正自身不足；将人工智能的人体姿态评估功能融合进CPR模拟培训教学的人员动作识别中，可实时识别参训者的操作正确与否，既能高效地评判出操作者的姿势，又能大幅减少高级培训医师的时间成本；将人工智能的图像语义分割和深度学习算法融合进CPR模拟培训教学的人体多部位同时精准识别和定位中，使参训人员精准认清自身操作的不足，考官可以在人工智能深度学习的帮助下实时识别多个体，大大提升培训及考评的效率，且为考核评判提供专家级支持。如前所述，培训和考核完全依赖专家所产生的现实不足，可通过本发明的人工智能标准化体系逐一克服，使评判更加具备客观性，使操作质量评判更加具备依据性，使整个心肺复苏模拟教学质量更加具有时效性，且可以大大节省专家人力成本，对培训考核标准化体系建设具有重要意义。本发明还解决了目前需要培训的学生多，练习机会不够的问题，同时提高质量和降低成本，无人值考还需要老师进行评价，本申请加入AI评分，制定一个评分标准，大大提升监考考评的效率。
附图说明
图1是本发明医师CPR考试训练与考核的评分方法流程图。
图2是本发明医师CPR考试训练与考核的评分系统的系统框图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
一种医师CPR考试训练与考核的评分方法，所述方法包括S1：设置考核环节、考核环节的考核要点和考核要点对应的评分标准；所述的考核环节包括操作前准备环节、操作中环节、操作后判断；S2: 由考生选择自由操作训练模式和实战操作考核模式；S3：若选择自由操作训练模式，通过摄像头获取考生操作动作视频和音频信息后上传至服务器；将实时操作动作与数据库中标准操作进行比对并输出比对结果；在显示设备上显示比对结果，并在动作错误时通过语音或文字的交互形式提示；S4：若选择实战操作考核模式采集考生的操作动作视频和音频信息后上传至服务器；服务器将接收的视频和音频信息发送至AI智能评分系统，并根据考核要点对应的评分标准对操作者的动作和音频进行智能评分；S5：服务器将考试的总的评分结果推送至显示器进行显示。
所述的监考人可登录显示终端对考生操作的视频和音频进行主观测评打分，并将打分结果上传至服务器经过综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分推动至显示器显示。
所述的S1中包括设置环节得分值：操作前准备环节包括仪表端庄，服饰整洁（衣帽整齐）得a1分、观察周围后，诉环境安全得a2分、轻拍病人双肩，呼叫患者得a3分、启动应急反应系统，拿除颤仪得a4分、摆放体位（将病人去枕，平卧在硬板床或地上，解开其衣领，并松开裤带，暴露患者腹部）得a5分；操作中环节包括检查颈动脉搏动，查看胸廓起伏，判断时间5-10s得b1分、第一次循环按压得b2分、判断颈椎有无损伤得b3分、正确清理口、鼻呼吸道得b4分、第一循环人工呼吸得b5分、第二循环按压得b6分、第二循环呼吸得b7分、第三循环按压得b8分、第三循环呼吸得b9分、第四循环按压得b10分、第四循环呼吸得b11分、第五循环按压得b12分、第五循环呼吸得b13分；操作后判断包括按压时是否观察患者面色得c1分、吹气时是否观察患者胸廓起伏得c2分、判断大动脉搏动是否恢复，呼吸是否恢复、判断时间5-10s得c3分、检查患者瞳孔对光反射得c4分、检查患者口唇、甲床转红润得c5分、口述患者收缩压大于等于60mmHg得c6分、整理患者衣物并转运得c7分、整理医疗用物、垃圾分类放置得c8分、整体操作流畅，顺序正确得c9分。
所述的操作前准备环节、操作中环节和操作后判断三者之间的分值比例为8:77:15。
所述的AI智能评分系统包括人体姿态识别模型、实例分割模型、语音识别系统、智能评分模块；所述的人体姿态识别模型将获取的操作者在CPR各个阶段的图像信息输入，输出操作者在CPR各个阶段的姿态、动作幅值和动作频率信息；所述的实例分割模型用于识别考生按压位置、识别考生在各个动作关键点的手部整体姿态；所述的语音识别系统将考生的语音转换为文字；所述的智能评分模块根据人体姿态识别模型输出的动作幅值，动作频率、实例分割模型判别出的位置，手部姿态类别信息，进行考生动作评分，结合语音识别系统识别考生规定的语音信息，给出综合评分。
所述的S2中采用考生监控终端采集考生的操作动作视频和音频信息，所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列。
所述的服务器还与数据库连接，所述的数据库用于存储每一个考生的基本信息，扣分关键点图片信息，按压频率信息，语音转文字信息；所述的服务器中中包括综合评分模块，综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分。
所述的AI智能评分系统的具体评分方法包括：
S1: 通过操作者正前方和侧方的摄像头识别操作前的准备环节的考核要点，通过摄像头识别的动作图像与系统中预先存储的操作评分标准动作图像进行对比，正确则根据相应要点评分标准加分，不正确或缺少则不进行加分；通过语音识别模型检测操作者的说话，有关键词则进行加分，否则不加分；
S2: 检查颈动脉搏动，查看胸廓起伏，判断时间5-10s：所述检查颈动脉搏动采用正前方摄像头采集视频信息，采用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，手指按压位置误差小于5的加分，否则不加分；
S3：第一循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S4：判断颈椎有无损伤：采用正前方摄像头采集视频信息，包括但不限于实例分割识别模拟人颈部及双手状态，有判断则加分，否则不加分；
S5：正确清理口、鼻呼吸道：使用第一视角摄像头采集视频信息，包括但不限于实例分割或人体姿态模型识别手部动作及动作的起始和结束时间，使用实例分割模型识别模拟人的嘴部和鼻子，有判断则加分，否则不加分；
S6：第一循环人工呼吸均包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S7：第二循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S8：第二循环人工呼吸均包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S9：第三循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S10：第三循环人工呼吸均包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S11：第四循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S12：第四循环人工呼吸均包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S13：第五循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S14：第五循环人工呼吸均包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S15：操作后判断：检查瞳孔、检查患者口唇、甲床转红润采用第一视角摄像头采集视频信息，使用人体姿态模型或实例分割模型识别手部状态；操作者口述心肺复苏的有效指证通过语音识别系统转换为文字信息，有关键词则进行加分，否则不加分；通过操作者正前方和侧方的摄像头识别按压时是否观察患者面色、 吹气时是否观察患者胸廓起伏、 断大动脉搏动是否恢复、整理患者衣物并转运、整理医疗用物、垃圾分类放置、整体操作流畅，顺序正确，用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，通过有上述判断的进行相应的加分，否则不加分。
一种医师CPR考试训练与考核的评分系统，包括考生监控终端、AI智能评分系统、服务器、数据库、语音提醒模块和显示终端；所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列采集考生的视频和音频发送至服务器，服务器将视频和音频通过智能评分系统进行评分后推送至显示终端进行显示；所述的服务器还与语音提醒模块连接，在考生动作错误时通过语音进行提示。
本发明将人工智能的语音识别功能融合进CPR模拟培训教学的口述识别中，可实时识别操作者的术语正确与否，可有效地将口述质量时时反馈给参训人员，使参训人员能迅速纠正自身不足；将人工智能的人体姿态评估功能融合进CPR模拟培训教学的人员动作识别中，可实时识别参训者的操作正确与否，既能高效地评判出操作者的姿势，又能大幅减少高级培训医师的时间成本；将人工智能的图像语义分割和深度学习算法融合进CPR模拟培训教学的人体多部位同时精准识别和定位中，使参训人员精准认清自身操作的不足，考官可以在人工智能深度学习的帮助下实时识别多个体，大大提升培训及考评的效率，且为考核评判提供专家级支持。如前所述，培训和考核完全依赖专家所产生的现实不足，可通过本发明的人工智能标准化体系逐一克服，使评判更加具备客观性，使操作质量评判更加具备依据性，使整个心肺复苏模拟教学质量更加具有时效性，且可以大大节省专家人力成本，对培训考核标准化体系建设具有重要意义。本发明还解决了目前需要培训的学生多，练习机会不够的问题，同时提高质量和降低成本，无人值考还需要老师进行评价，本申请加入AI评分，制定一个评分标准，大大提升监考考评的效率。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本实用新型保护范围的限制，所属领域技术人员应该明白，在本实用新型的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种医师CPR考试训练与考核的评分方法，其特征在于：所述方法包括S1：设置考核环节、考核环节的考核要点和考核要点对应的评分标准；所述的考核环节包括操作前准备环节、操作中环节、操作后判断；S2: 由考生选择自由操作训练模式和实战操作考核模式；S3：若选择自由操作训练模式，通过摄像头获取考生操作动作视频和音频信息后上传至服务器；将实时操作动作与数据库中标准操作进行比对并输出比对结果；在显示设备上显示比对结果，并在动作错误时通过语音或文字的交互形式提示；S4：若选择实战操作考核模式采集考生的操作动作视频和音频信息后上传至服务器；服务器将接收的视频和音频信息发送至AI智能评分系统，并根据考核要点对应的评分标准对操作者的动作和音频进行智能评分；S5：服务器将考试的总的评分结果推送至显示器进行显示。
2.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的监考人可登录显示终端对考生操作的视频和音频进行主观测评打分，并将打分结果上传至服务器经过综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分推动至显示器显示。
3.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的S1中包括设置环节得分值：所述S1中包括设置环节得分值：操作前准备环节包括仪表端庄，服饰整洁得a1分、观察周围后，诉环境安全得a2分、轻拍病人双肩，呼叫患者得a3分、启动应急反应系统，拿除颤仪得a4分、摆放体位得a5分；操作中环节包括检查颈动脉搏动，查看胸廓起伏，判断时间5-10s得b1分、第一次循环按压得b2分、判断颈椎有无损伤得b3分、正确清理口、鼻呼吸道得b4分、第一循环人工呼吸得b5分、第二循环按压得b6分、第二循环呼吸得b7分、第三循环按压得b8分、第三循环呼吸得b9分、第四循环按压得b10分、第四循环呼吸得b11分、第五循环按压得b12分、第五循环呼吸得b13分；操作后判断包括按压时是否观察患者面色得c1分、吹气时是否观察患者胸廓起伏得c2分、判断大动脉搏动是否恢复，呼吸是否恢复、判断时间5-10s得c3分、检查患者瞳孔对光反射得c4分、检查患者口唇、甲床转红润得c5分、口述患者收缩压大于等于60mmHg得c6分、整理患者衣物并转运得c7分、整理医疗用物、垃圾分类放置得c8分、整体操作流畅，顺序正确得c9分。
4.如权利要求3所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的操作前准备环节、操作中环节和操作后判断三者之间的分值比例为8:77:15。
5.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的AI智能评分系统包括人体姿态识别模型、实例分割模型、语音识别系统、智能评分模块；所述的人体姿态识别模型将获取的操作者在CPR各个阶段的图像信息输入，输出操作者在CPR各个阶段的姿态、动作幅值和动作频率信息；所述的实例分割模型用于识别考生按压位置、识别考生在各个动作关键点的手部整体姿态；所述的语音识别系统将考生的语音转换为文字；所述的智能评分模块根据人体姿态识别模型输出的动作幅值，动作频率、实例分割模型判别出的位置，手部姿态类别信息，进行考生动作评分，结合语音识别系统识别考生规定的语音信息，给出综合评分。
6.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的S2中采用考生监控终端采集考生的操作动作视频和音频信息，所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列。
7.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的服务器还与数据库连接，所述的数据库用于存储每一个考生的基本信息，扣分关键点图片信息，按压频率信息，语音转文字信息；所述的服务器中中包括综合评分模块，综合分析模块将智能评分结果与监考人打分结果进行综合分析，得到学生的最终的评分。
8.如权利要求1所述的医师CPR考试训练与考核的评分方法，其特征在于：所述的AI智能评分系统的具体评分方法包括：
S1: 通过操作者正前方和侧方的摄像头识别操作前的准备环节的考核要点，通过摄像头识别的动作图像与系统中预先存储的操作评分标准动作图像进行对比，正确则根据相应要点评分标准加分，不正确或缺少则不进行加分；通过语音识别模型检测操作者的说话，有关键词则进行加分，否则不加分；
S2: 检查颈动脉搏动：所述检查颈动脉搏动采用正前方摄像头采集视频信息，采用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，手指按压位置误差小于5的加分，否则不加分；
S3：所述第一循环按压包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S4：判断颈椎有无损伤：采用正前方摄像头采集视频信息，包括但不限于实例分割识别模拟人颈部及双手状态，有判断则加分，否则不加分；
S5：正确清理口、鼻呼吸道：使用第一视角摄像头采集视频信息，包括但不限于实例分割或人体姿态模型识别手部动作及动作的起始和结束时间，使用实例分割模型识别模拟人的嘴部和鼻子，有判断则加分，否则不加分；
S6：第一循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S7：第二循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S8：第二循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S9：第三循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S10：第三循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S11：第四循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S12：第四循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S13：第五循环按压：包括按压姿势、按压部位、按压次数、按压频率和按压深度；采用正前方摄像头采集视频信息，使用实例分割的方法识别模拟人胸部的按压点，识别误差不大于1cm，的加分，否则不加分；采用侧面摄像头采集视频信息，包括但不限于人体姿态估计模型识别操作者的姿态，包括但不限于识别手臂的垂直度，手部与模拟人胸部的接触情况，腰背是否弯曲，操作者的肩腕同步，手臂垂直度范围为85~95°，在按压时，肩部与腕部的距离在不同时间段内的差值的绝对值不大于1cm，均满足上述的加分，否则不加分；按压频率采用正前方摄像头采集视频信息，用实例分割模型识别手部姿态；识别按压频率采用LSTM模型，每分钟100-120次的加分，否则不加分；按压深度采用正前方摄像头采集视频信息，包括人体姿态模型检查操作的肩腕同步，同时检测手部按压深度幅值，按压深度为5-6厘米的加分，否则不加分；
S14：第五循环人工呼吸：包括采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识别手部姿态，模拟人头部姿态；模拟人头部下颌尖、耳垂连线与地面角度在80°到95°的加分，否则不加分；采用正前方摄像头采集视频信息；包括但不限于采用人体姿态模型或实例分割模型识识别模拟人鼻子，嘴部，操作者手部，嘴部；连续吹气2次，每次吹气时间不少于1秒的加分，否则不加分；
S15：操作后判断：检查瞳孔、检查患者口唇、甲床转红润采用第一视角摄像头采集视频信息，使用人体姿态模型或实例分割模型识别手部状态；操作者口述心肺复苏的有效指证通过语音识别系统转换为文字信息，有关键词则进行加分，否则不加分；通过操作者正前方和侧方的摄像头识别按压时是否观察患者面色、 吹气时是否观察患者胸廓起伏、 断大动脉搏动是否恢复、整理患者衣物并转运、整理医疗用物、垃圾分类放置、整体操作流畅，顺序正确，用目标检测技术识别手部动作和姿态，包括但不限于实例分割模型或人体姿态检测模型，实现精准的手部姿态及位置检测，通过有上述判断的进行相应的加分，否则不加分。
9.一种医师CPR考试训练与考核的评分系统，其特征在于：包括考生监控终端、AI智能评分系统、服务器、数据库、语音提醒模块和显示终端；所述的考生监控终端包括能够清晰拍摄出考生的全身部位及身体各项动作的操作者正前方的摄像头、侧面摄像头、考生自带第一视角摄像头和对考生语音采集的麦克风阵列采集考生的视频和音频发送至服务器，服务器将视频和音频通过智能评分系统进行评分后推送至显示终端进行显示；所述的服务器还与语音提醒模块连接，在考生动作错误时通过语音进行提示。
CN202011086474.4A 2020-10-12 2020-10-12 一种医师cpr考试训练与考核的评分方法及系统 Pending CN112233516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086474.4A CN112233516A (zh) 2020-10-12 2020-10-12 一种医师cpr考试训练与考核的评分方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086474.4A CN112233516A (zh) 2020-10-12 2020-10-12 一种医师cpr考试训练与考核的评分方法及系统

Publications (1)

Publication Number Publication Date
CN112233516A true CN112233516A (zh) 2021-01-15

Family

ID=74112300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086474.4A Pending CN112233516A (zh) 2020-10-12 2020-10-12 一种医师cpr考试训练与考核的评分方法及系统

Country Status (1)

Country Link
CN (1) CN112233516A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785254A (zh) * 2020-07-24 2020-10-16 四川大学华西医院 基于模拟人的自助化bls培训与考核系统
CN112749684A (zh) * 2021-01-27 2021-05-04 萱闱(北京)生物科技有限公司 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN113034989A (zh) * 2021-02-20 2021-06-25 广州颐寿科技有限公司 护理培训方法、系统以及存储装置
CN113538185A (zh) * 2021-07-15 2021-10-22 山西安弘检测技术有限公司 一种放射卫生检测的模拟训练方法及装置
CN114358036A (zh) * 2022-01-06 2022-04-15 胡思洁 基于互联网的智慧医疗物资调配方法及系统
CN114819474A (zh) * 2022-03-07 2022-07-29 新瑞鹏宠物医疗集团有限公司 医师考评方法、装置、电子设备及存储介质
CN115171451A (zh) * 2022-07-12 2022-10-11 北京燕山电子设备厂 一种3d模训管理方法、系统、电子设备及存储介质
CN115641646A (zh) * 2022-12-15 2023-01-24 首都医科大学宣武医院 一种cpr自动检测质控方法及系统
CN116307861A (zh) * 2023-02-28 2023-06-23 中国民用航空飞行学院 一种监察员培训测评系统
CN116664001A (zh) * 2023-06-13 2023-08-29 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096314A (zh) * 2016-06-29 2016-11-09 上海救要救信息科技有限公司 一种cpr训练和考核系统及方法
CN109472472A (zh) * 2018-10-26 2019-03-15 南京米好信息安全有限公司 一种人工智能评分系统
CN110599844A (zh) * 2019-09-19 2019-12-20 南昌佰米哥物联科技有限公司 一种可以收集培训数据的自助化心肺复苏培训考核系统
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
CN111460976A (zh) * 2020-03-30 2020-07-28 上海交通大学 一种数据驱动的基于rgb视频的实时手部动作评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096314A (zh) * 2016-06-29 2016-11-09 上海救要救信息科技有限公司 一种cpr训练和考核系统及方法
CN109472472A (zh) * 2018-10-26 2019-03-15 南京米好信息安全有限公司 一种人工智能评分系统
CN110599844A (zh) * 2019-09-19 2019-12-20 南昌佰米哥物联科技有限公司 一种可以收集培训数据的自助化心肺复苏培训考核系统
CN110990649A (zh) * 2019-12-05 2020-04-10 福州市第二医院（福建省福州中西医结合医院、福州市职业病医院） 基于姿势识别技术的心肺复苏术互动培训系统
CN111460976A (zh) * 2020-03-30 2020-07-28 上海交通大学 一种数据驱动的基于rgb视频的实时手部动作评估方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111785254B (zh) * 2020-07-24 2023-04-07 四川大学华西医院 基于模拟人的自助化bls培训与考核系统
CN111785254A (zh) * 2020-07-24 2020-10-16 四川大学华西医院 基于模拟人的自助化bls培训与考核系统
CN112749684A (zh) * 2021-01-27 2021-05-04 萱闱(北京)生物科技有限公司 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN113034989A (zh) * 2021-02-20 2021-06-25 广州颐寿科技有限公司 护理培训方法、系统以及存储装置
CN113538185A (zh) * 2021-07-15 2021-10-22 山西安弘检测技术有限公司 一种放射卫生检测的模拟训练方法及装置
CN114358036A (zh) * 2022-01-06 2022-04-15 胡思洁 基于互联网的智慧医疗物资调配方法及系统
CN114819474A (zh) * 2022-03-07 2022-07-29 新瑞鹏宠物医疗集团有限公司 医师考评方法、装置、电子设备及存储介质
CN115171451A (zh) * 2022-07-12 2022-10-11 北京燕山电子设备厂 一种3d模训管理方法、系统、电子设备及存储介质
CN115641646A (zh) * 2022-12-15 2023-01-24 首都医科大学宣武医院 一种cpr自动检测质控方法及系统
CN115641646B (zh) * 2022-12-15 2023-05-09 首都医科大学宣武医院 一种cpr自动检测质控方法及系统
CN116307861A (zh) * 2023-02-28 2023-06-23 中国民用航空飞行学院 一种监察员培训测评系统
CN116664001A (zh) * 2023-06-13 2023-08-29 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统
CN116664001B (zh) * 2023-06-13 2024-02-09 国信蓝桥教育科技股份有限公司 一种基于人工智能的学员技能评估方法及系统

Similar Documents

Publication Publication Date Title
CN112233516A (zh) 一种医师cpr考试训练与考核的评分方法及系统
CN112233515A (zh) 一种应用于医生cpr考核的无人值考和智能评分方法
JP3729829B2 (ja) 理学的診療訓練用人体装着具
CN110853753A (zh) 一种认知功能障碍老人居家康复护理系统
CN111803032B (zh) 一种新冠肺炎疑似感染的大面积观测方法及系统
CN111862758A (zh) 一种基于人工智能的心肺复苏培训与考核系统及方法
CN110599844A (zh) 一种可以收集培训数据的自助化心肺复苏培训考核系统
CN110751890A (zh) 一种基于虚拟现实技术的心肺复苏培训和考核系统
CN115393957A (zh) 一种急救培训与考核系统及方法
CN111466878A (zh) 基于表情识别的卧床病人疼痛症状实时监护方法及装置
CN111345823A (zh) 一种远程运动康复方法、装置和计算机可读存储介质
CN110556031A (zh) 造口患者用医疗指导系统
CN113658584A (zh) 智能化发音矫正方法及系统
CN111402642A (zh) 临床思维能力训练及考核系统
CN111540380B (zh) 临床训练系统及方法
CN115457821A (zh) 一种心肺复苏考核培训设备及使用方法
CN111312389A (zh) 脑卒中智能诊断系统
CN111696416A (zh) 一种医学技能训练模拟人
CN116778771A (zh) 急救培训考核系统
KR20180097343A (ko) 심폐 소생술 훈련 시스템
CN214042796U (zh) 一种心肺复苏训练和无人值考系统
CN113539038A (zh) 一种模拟场景心肺复苏培训方法、系统及存储介质
CN111803031A (zh) 一种非接触式吸毒人员复吸监测方法及系统
US20230237677A1 (en) Cpr posture evaluation model and system
Noh et al. Development of airway management training system WKA-4: provide useful feedback of trainee performance to trainee during airway management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication