CN117492605A - 危急场景下伤员救治技能赛道式组训人机交互方法及系统 - Google Patents
危急场景下伤员救治技能赛道式组训人机交互方法及系统 Download PDFInfo
- Publication number
- CN117492605A CN117492605A CN202311483879.5A CN202311483879A CN117492605A CN 117492605 A CN117492605 A CN 117492605A CN 202311483879 A CN202311483879 A CN 202311483879A CN 117492605 A CN117492605 A CN 117492605A
- Authority
- CN
- China
- Prior art keywords
- training
- assessment
- interface
- displaying
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000003993 interaction Effects 0.000 title claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 27
- 230000009471 action Effects 0.000 claims description 143
- 239000012634 fragment Substances 0.000 claims description 58
- 208000027418 Wounds and injury Diseases 0.000 claims description 53
- 208000014674 injury Diseases 0.000 claims description 49
- 230000006378 damage Effects 0.000 claims description 47
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 20
- 230000001427 coherent effect Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 17
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 241001133760 Acoelorraphe Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010050392 Face injury Diseases 0.000 description 1
- 206010061599 Lower limb fracture Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及伤员救治技能训练技术领域，尤其涉及一种危急场景下伤员救治技能赛道式组训人机交互方法及系统，该方法包括：在界面显示区域显示组训模式选择界面，所述组训模式选择界面至少包括第一模式选择区域，第二模式选择区域和第三模式选择区域；响应于第一模式选择区域的选择操作，在显示界面处显示教学界面；响应于第二选择区域的选择操作，在显示界面处显示训练界面，并在训练考核过程中获取各个考核阶段的考核评分信息；响应于第三选择区域的选择操作，在显示界面处显示评分界面。本发明可以对训练效果进行实时精准评价。
Description
技术领域
本发明涉及伤员救治技能训练技术领域，尤其涉及一种危急场景下伤员救治技能赛道式组训人机交互方法及系统。
背景技术
在遇到地震，建筑物倒塌，火灾，危险物品爆炸等危险情况下需要熟练掌握正确的伤员救治和避险技能才可以安全有效地救治伤员。由于在危急情况下对相关人员的救治技能要求较高，因此需要对相关人员在危急场景下伤员救治技能进行大量的培训和考核。但是目前对危急场景下伤员救治技能的培训和考核主要依靠人工进行组织和开展，对救治技能的考核评价采用总体粗略评价的方式，无法实时精准评价伤员救治技能的训练效果。
发明内容
有鉴于此，本发明实施例提供了一种危急场景下伤员救治技能赛道式组训人机交互方法及系统，用以解决目前的伤员救治技能训练方式不能对训练效果进行实时精准评价的技术问题。
第一方面本实施例提供一种危急场景下伤员救治技能赛道式组训人机交互方法，该方法包括以下步骤：
在界面显示区域显示组训模式选择界面，所述组训模式选择界面至少包括第一模式选择区域，第二模式选择区域和第三模式选择区域；
响应于第一模式选择区域的选择操作，在显示界面处显示教学界面；
响应于第二选择区域的选择操作，在显示界面处显示训练界面，并在训练考核过程中获取各个考核阶段的考核评分信息；
响应于第三选择区域的选择操作，在显示界面处显示评分界面，所述显示评分界面至少显示有所述考核评分信息。
优选地，所述响应于第一模式选择区域的选择操作，在显示界面处显示教学界面还包括以下步骤：
在所述教学界面显示教学视频选择按钮；
响应于对教学视频选择按钮的选择操作，显示教学视频显示界面；
获取教学视频数据库中的教学视频数据；
根据教学视频数据生成并在教学视频显示界面中显示若干个教学视频的图标；
响应于对教学视频的图标的选择操作，从教学视频数据库中获取所选择图标对应的教学视频数据，并进入到播放所述教学视频的界面。
优选地，所述响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤:
在训练界面中显示指定伤情及工具按钮、抽取伤情及工具按钮、选择场次按钮、选择单位按钮、选择手环按钮和选择人员按钮；
响应于对抽取伤情及工具按钮的选择操作，在界面显示区域显示伤情抽取子界面，并在伤情抽取子界面中显示点击抽取按钮和确定按钮；
响应于对点击抽取按钮的选择操作，从伤情伤类数据库中随机抽取伤情类型和工具类型作为用于训练的伤情类型和训练中所采用的工具类型；
在显示界面中显示所抽取的伤情类型和工具类型；
响应于对伤情抽取子界面中确定按钮的选择操作，根据用于训练的伤情类型和训练中所采用的工具类型生成考核流程和考核流程中每个考核阶段的考核内容；
根据考核流程和考核流程中每个阶段的考核内容在教练员显示区域显示若干个与每个考核阶段一一对应的考核阶段选择区域，所述若干个考核阶段选择区域按照考核流程的先后顺序排列；
响应于对其中一个考核阶段选择区域的选择操作，从考核科目数据库中获取并在教练员显示区域中显示各个考核科目和各个考核内容；
根据对教练员显示区域中考核科目和考核内容的选择操作更新所选择的考核阶段的考核科目和考核内容，并在教练员显示区域中显示确定按钮；
响应于对教练员显示区域中确定按钮的选择操作，在教练员显示区域显示科目考核页面，进入科目考核阶段，并开始当前科目考核阶段的计时；
在科目考核阶段获取参考人员的实时状态信息，所述参考人员的实时状态信息至少包括参考人员的心率、血压、体温和血氧；
在教练员显示区域中显示所述考人员的实时状态信息。
在科目考核页面显示若干个评定标准，并在每个评定标准的对应位置显示分值、扣分标准和若干个扣分选项，各个所述扣分选项对应不同的分值；
响应于对扣分选项的选择操作，获取扣分选项对应的扣分分值；
根据各个扣分选项对应的扣分分值计算并在教练员显示区域显示当前考核阶段的总分值。
优选地，所述响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据；
对视频图像数据进行预处理得到中间视频图像数据；
按照考核项目将中间视频图像数据划分为若干个与各个考核项目对应的子中间视频数据；
从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核数据；
将子中间视频数据中的连贯动作考核视频数据处理后输入到LSTM模型中进行识别得到第一识别结果；
将子中间视频数据中的关键动作姿态考核视频数据输入到OpenPose模型中进行识别得到第二识别结果；
根据第一识别结果和第二识别结果对考核项目进行评分。
优选地，所述从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核视频数据还包括以下步骤:
获取各个连贯动作的起始标志动作图像数据和结束标志动作图像数据作为第一训练数据：
将第一训练数据输入到DeepPose模型中进行训练得到第一目标模型；
将子中间视频数据输入到第一目标模型中识别出起始标志动作和结束标志动作，并将时序处于起始标志动作和结束标志动作之间的子中间视频数据作为动作连贯考核视频数据；
获取各个关键动作姿态的图像数据作为第二训练数据；
将第二训练数据输入到PoseNet模型中进行训练得到第二目标模型；
将子中间视频数据输入到第二目标模型中识别出关键动作姿态考核视频数据。
优选地，在所述获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
从所述视频图像数据中分别提取出参考人员救治动作数据、工具和参考人员以及伤员的相对位置数据和伤员脸部数据；
将参考人员救治动作数据输入到第一神经网络模型中识别出参考人员救治动作的准确度，将工具和参考人员以及伤员的相对位置数据输入到第二神经网络模型中识别出工具使用的准确度，将伤员的脸部数据输入到第三神经网络模型中识别出伤员的面部表情类型；
根据识别出的参考人员救治动作的准确度获取参考人员救治动作的评分值作为第一分值C1，根据识别出的工具使用的准确度获取参考人员使用工具动作的评分值作为第二分值C2，根据伤员的面部表情类型获取伤员舒适度的评分值作为第三分值C3；
获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3；
根据第一分值C1、第二分值C2、第三分值C3、获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3确定科目考核的总评分值CA，CA＝K1×C1+K2×C2+K3×C3。7.根据权利要求4所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，在所述S371:获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
将包含有参考人员、工具和伤员的视频图像数据输入到第四神经网络模型中识别出参考人员错误救治操作的严重程度，所述严重程度包括轻微错误、一般错误、严重错误和重大严重错误；
当参考人员错误救治操作的严重程度属于轻微错误、一般错误时从而所述视频图像数据中截取参考人员错误救治操作的视频图像片段并存储至对应参考人员的针对性训练数据库；
根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库；
当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
将所截取参考人员错误救治操作的视频图像片段和对应的规范教学视频图像片段在同一显示屏的相邻两个区域对照播放，并在错误救治操作的视频图像片段中标记错误救治操作的位置。
优选地，在所述根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库之后还包括以下步骤：
获取用户的错误救治操作改进训练请求；
根据所述错误救治操作改进训练请求从针对性训练数据库中调取对应的错误救治操作的视频图像片段和规范教学视频图像片段；
在同一显示屏的相邻区域同步播放所述错误救治操作的视频图像片段和规范教学视频图像片段。
优选地，所述响应于第三选择区域的选择操作，在显示界面处显示评分界面还包括以下步骤：
在所述评分界面中显示考核场次输入框、考核时间输入框和考核人员名称输入框；
根据考核场次输入框、考核时间输入框和考核人员名称输入框中的输入信息，在考核成绩数据库中查询与所述输入信息相匹配的成绩数据；
根据所述成绩数据在评分界面中显示输入信息和与输入信息相匹配的成绩；
在评分界面显示考核人员名称的对应位置显示查看选择按钮；
响应于对查看选择按钮的选择操作，显示与查看选择对应的考核人员的历史成绩。
第二方面本发明提供一种危急场景下伤员救治技能赛道式组训人机交互系统，所述系统包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如第一方面所述的方法。
有益效果：本发明的危急场景下伤员救治技能赛道式组训人机交互方法及系统通过人机交互界面组织和开展救治技能训练和考核，通过不同的模式选择区域和对区域选择后所显示的交互界面来引导培训人员和教练员进入相关的培训和考核流行避免了依靠人工组织开展救治技能训练和考核时由于组织人员人为失误导致训练和考核无法流畅进行的情况。并且由于本发明在训练考核过程中就分阶段获取到了各个考核阶段的考核评分信息，因此可以对每个考核阶段都进行较为准确的评价，从而提高整体训练效果评价的精确性。由于本发明在考核过程中就完成了考核评分信息的获取，因此可以保证训练效果评价的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明的危急场景下伤员救治技能赛道式组训人机交互方法的流程示意图；
图2为本发明中的组训模式选择界面的示意图；
图3为本发明的教学模式下人机交互的方法的流程示意图；
图4为本发明教学视频显示界面的示意图；
图5为本发明的抽取伤情和工具的方法的流程示意图；
图6为本发明抽取伤情子界面的示意图；
图7为本发明分阶段考核的方法的流程示意图；
图8为本发明的考核阶段显示界面的示意图；
图9为本发明阶段性考核的方法的流程示意图；
图10为本发明的科目考核页评分面的示意图；
图11为本发明的考核评分的方法的流程示意图；
图12为本发明的进行考核评分的界面的示意图；
图13为本发明的暂停考核计时的方法的流程示意图；
图14为本发明的双人模式下进行考核的方法的流程示意图；
图15为本发明的在评分界面中查看考试成绩的方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
如图1所示，本发明实施例提供一种危急场景下伤员救治技能赛道式组训人机交互方法，该方法包括以下步骤：
S1:在界面显示区域显示组训模式选择界面，所述组训模式选择界面至少包括第一模式选择区域，第二模式选择区域和第三模式选择区域；
具体实施时可以将第一模式区域设置为选择按钮，例如图2中所示的显示的带有文字“教”的选择按钮，可以将第二模式区域设置为选择按钮，例如图2中所示的显示的带有文字“训”的选择按钮，可以将第三模式区域设置为选择按钮，例如图2中所示的显示的带有文字“评”的选择按钮。
当对第一模式选择区域进行选择操作时将进入教学模式，所述选择操作包括但不限于对第一模式选择区域的点击、触摸。
当对第二模式选择区域进行选择操作时将进入训练模式，所述选择操作包括但不限于对第二模式选择区域的点击、触摸。
当对第三模式选择区域进行选择操作时将进入训练模式，所述选择操作包括但不限于对第三模式选择区域的点击、触摸。
S2:响应于第一模式选择区域的选择操作，在显示界面处显示教学界面；
当用户对第一模式选择区域进行点击或者触摸等选择操作后，系统显示出教学界面，教学界面中显示有训练流程按钮和教学视频按钮。用户可以通过点击或者触摸的方式对训练流程按钮和教学视频按钮进行选择操作。当用户选择训练流程时，教学界面中则会显示对救治技能赛道式组训方法的介绍。
如图3所示，作为一种可选但有利的实施方式，在本实施例中，所述S2:响应于第一模式选择区域的选择操作，在显示界面处显示教学界面还包括以下步骤：
S21:在所述教学界面显示教学视频选择按钮；
S22:响应于对教学视频选择按钮的选择操作，显示教学视频显示界面；
其中对教学视频选择按钮的选择操作包括但不限于对教学视频选择按钮点击和触摸操作。当用户完成对教学视频选择按钮的选择操作后，人机交互系统在界面显示区域显示出较少视频显示界面。
S23:获取教学视频数据库中的教学视频数据；
可以事先将教学视频存储在教学视频数据库中，当用户完成对教学视频选择按钮的选择操作后，系统从教学视频数据库中获取教学视频数据。
S24:根据教学视频数据生成并在教学视频显示界面中显示若干个教学视频的图标；
教学视频数据库的视频数据中记录了每个教学视频的名称，如图4所示，本步骤根据每个教学视频的名称为每个教学视频生成一个教学视频的图标，该图标中显示了教学视频的名称，这样用户就可以直观的了解到每个教学视频的大致内容。
S25:响应于对教学视频的图标的选择操作，从教学视频数据库中获取所选择图标对应的教学视频数据，并根据所述教学视频数据播放所述教学视频。
当用户对其中教学视频的图标进行选择操作后，系统从教学视频数据库中提取出与所选择的图标所代表的教学视频，并进入到播放该教学视频的界面。
S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面，并在训练考核过程中获取各个考核阶段的考核评分信息；
当用户对第二模式选择区域进行点击或者触摸等选择操作后，系统进入到训练模式，并显示出训练界面，用户可以通过对训练界面中各个不同的操控按钮的操控来设置训练的场景和参数。
如图5所示，作为一种可选但有利的实施方式，在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤:
S311:在训练界面中显示指定伤情及工具按钮、抽取伤情及工具按钮、选择场次按钮、选择单位按钮、选择手环按钮和选择人员按钮；其中训练界面如图6所示。
本实施例提供了可以让用户灵活选择训练场景和训练内容的方式。用于通过对前述按钮的选择操作，可以根据需要选择最时候的训练场景和训练内容，以使训练具有更强的针对性。
当用户对选择场次按钮进行选择操作时，该按钮位置会出现可以选择的各个场次名称，用户对想要选择的场次的名称进行选择操作就可以选择相应的场次。
当用户对选择单位按钮进行选择操作时，该按钮位置会出现可以选择的各个单位的名称，用户对想要选择的单位的名称进行选择操作就可以选择相应的单位。
当用户对选择人员按钮进行选择操作时，该按钮位置会出现可以选择的各个人员的名称，用户对想要选择的人员的名称进行选择操作就可以选择相应的人员。
S312:响应于对抽取伤情及工具按钮的选择操作，在界面显示区域显示伤情抽取子界面，并在伤情抽取子界面中显示点击抽取按钮和确定按钮；
当用对抽取伤情及工具按钮的进行选择操作后，显示区域将会显示一个让用户抽取伤情和救治工具的子界面。
S313:响应于对点击抽取按钮的选择操作，从伤情类数据库中随机抽取伤情类型和工具类型作为用于训练的伤情类型和训练中所采用的工具类型；
可以事先在伤情伤类数据库中存储各种类型的伤情和伤类的数据以及各种类型的工具数据。
其中伤情伤类包括但不限于胸腹部联合暴震伤、高处坠落致双下肢骨折伤、地震下巨大建筑物砸断左下肢、落石致颌面部伤并休克等。其中工具包括但不限于卷式担架、折叠担架、拖拽袋、无人担架车。
当用户点击子界面中的抽取按钮后，系统在伤情类数据库中以随机抽取的方式选择其中的一种类型的伤情和其中的一种工具。采用本实施例的交互方式为用户提供了一种考核内容随机抽取的方式，提高了考核的公平性。
S314:在显示界面中显示所抽取的伤情类型和工具类型。
当伤情类型和工具类型抽取完成后，显示界面中将会向用户显示所抽取的伤情类型和工具类型。
如图7所示，作为一种可选但有利的实施方式，在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤:
S321:响应于对伤情抽取子界面中确定按钮的选择操作，根据用于训练的伤情类型和训练中所采用的工具类型生成考核流程和考核流程中每个考核阶段的考核内容；
当用户对伤情抽取子界面中确定按钮的选择操作后，进入考试准备阶段。由于不同伤情和不同工具下救治的流程会有所不同，而本实施例会根据抽取的伤情和工具自动生成考核的流程。考核的流程包括了若干个考核阶段，每个考核阶段都有对应的考核内容，考核人员需要依序完成所有考核阶段的考核内容。
S322:根据考核流程和考核流程中每个阶段的考核内容在教练员显示区域显示若干个与每个考核阶段一一对应的考核阶段选择区域，所述若干个考核阶段选择区域按照考核流程的先后顺序排列；
本实施例为每一个考核阶段都提供一个可以进行选择操作的选择区域，如图8所示，这些选择区域按照考核流程的先后顺序依次排列。每个考核选择区域显示有对应的考核阶段的名称。
这样教练员一方面可以掌握本次考核的整体流程，又可以知道流程中各个考核阶段的考核内容。
S323:响应于对其中一个考核阶段选择区域的选择操作，从考核科目数据库中获取并在教练员显示区域中显示各个考核科目和各个考核内容；
当教练员想要更换其中每个考核阶段的考核科目和科目内容时，可以对该考核阶段对应的考核阶段选择区域的进行选择操作。这时本实施例会从预先存储有各种考核科目和科目内容数据的考核科目数据库中获取到可以供教练员选择的考核科目和考核内容。
S324:根据对教练员显示区域中考核科目和考核内容的选择操作更新所选择的考核阶段的考核科目和考核内容，并在教练员显示区域中显示确定按钮。
教练员可以根据考核需要对该考核阶段的考核科目和考核内容进行选择，如果所选择的该考核阶段的考核科目和/或考核内容与之前自动生成的不相同，则本实施例按照重新选择的结果对该阶段的考核科目和考核内容进行更新，教练员可以通过对确定按钮的操作来确定是否更新。
采用前述方式，教练员可以在考核流程框架下灵活更换各个阶段的考核科目和考核内容，这样有利用根据实际情况选择最适合的内容进行训练和考核。
如图9所示，作为一种可选但有利的实施方式，在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
S331:响应于对教练员显示区域中确定按钮的选择操作，在教练员显示区域显示科目考核页面，进入科目考核阶段，并开始当前科目考核阶段的计时；
当教练员认可考核流程中每个阶段的考核科目和考核内容后就可以对显示区域中的确定按钮进行选择操作，使整个考核流程中各个阶段的考核内容确定下来。之后便可以自动进入科目考核阶段，本实施例将按照考核流程中各个考核阶段的顺序依次进行各个阶段的考核。当开始第一阶段的考核时，开始进行该阶段的计时，同时开始本次考核的总计时。当第一阶段的考核完成后，考核阶段的计时清零，下一阶段考核开始时开始新的计时，总的计时则延续上一阶段计时。
S332:在科目考核阶段获取参考人员的实时状态信息，所述参考人员的实时状态信息至少包括参考人员的心率、血压、体温和血氧；
S333:在教练员显示区域中显示所述考人员的实时状态信息。
如图10所示，本实施例可以通过佩戴在参加考试人员手上的手环来实时获取考试人员在考核过程中的心率、血压、体温和血氧等信息。教练员则可以根据这些信息及时地对考试人员的表现进行精确地评判。
如图11所示，作为一种可选但有利的实施方式，在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
S341:在科目考核页面显示若干个评定标准，并在每个评定标准的对应位置显示分值、扣分标准和若干个扣分选项，各个所述扣分选项对应不同的分值；
例如图12中显示了着装整齐和物品齐全两个评定标准。在着装整齐评定标准的右侧则显示了该评定标准的对应的分值为4分，扣分标准为未按要求着装扣4分。在扣分标准的右侧显示了三个扣分选项，分别是一般，较差和未做，如果参考人员完成得很好，不需要扣分则不进行扣分选项的操作，否则根据评判结果选择其中一个选项。
在物品齐全评定标准的右侧显示了该评定标准对应的分值为6分，扣分标准为物品准备不全扣6分。在扣分标准的右侧显示了三个扣分选项，分别是一般，较差和未做，如果参考人员完成得很好，不需要扣分则不进行扣分选项的操作，否则根据评判结果选择其中一个选项。
S342:响应于对扣分选项的选择操作，获取扣分选项对应的扣分分值；
当用户选择了每一给扣分选项后，则对应扣除该选项对应发分值。
S343:根据各个扣分选项对应的扣分分值计算并在教练员显示区域显示当前考核阶段的总分值。
除了前述如果评分的方式外，本实施例还提供了一种由系统自动根据参考人员表现进行智能评分的方法，对此在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
S371:获取在科目考核阶段包含有参考人员，工具和伤员的视频图像数据；
具体实施时可以在考核现场设置摄像头等视频拍摄设备，利用这些视频拍摄设备将参考人员的考试过程拍摄下来从而获取到可以反映参考人员考试表现的视频数据。为了可以更加准确地进行评分，所获取的视频数据中至少包括了参考人员，工具和伤员的视频。
S372:对视频图像数据进行预处理得到中间视频图像数据；
为了确保数据具有相似的尺度和范围便于后续处理本步骤可以先对视频数据进行一些预处理，这些预处理包括但不限于滤波处理，均值处理，归一化处理，标准化处理以及数据清洗。
S373:按照考核项目将中间视频图像数据划分为若干个与各个考核项目对应的子中间视频数据；
本实施例按照考核项目对应考核内容进行评分，对此本实施例与各个考核项目有关的数据划分出来，进行分析，然后根据分析结果对该考核项目进行评分。
S374:从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核数据；
为了更准确地对参考人员的表现进行评价，本实施例将对动作连贯性要求较高的动作和对动作姿态准确性要求较高的动作分别提取出来。例如对于紧急救治中人工呼吸的考核项目中对于操作者应该左手掌根部放在患者两乳头连线的中点，右手重叠压在左手手背上。操作者肩、肘、腕应位于同一轴线，使整个肩膀手肘要垂直于患者身体，以掌根部为着力点，肘关节伸直，不能弯曲的动作就属于对动作姿态准确性要求较高的动作，关于这类动作的子中间视频数据就可以作为本实施例中的关键动作姿态考核数据。
又例如对于紧急救治中每次按压后让胸廓完全回弹，放松时双手不能离开患者胸壁，保持原本按压位置不变。按压频率为100～120次/分；开放气道后，做2次人工呼吸，每次持续吹气时间不少于1秒的动作就属于对动作连贯性要求较高的动作，关于这类动作的子中间视频数据就可以作为本实施例中的动作连贯考核视频数据。
S375:将子中间视频数据中的连贯动作考核视频数据处理后输入到LSTM模型中进行识别得到第一识别结果；
其中Long Short-Term Memory(LSTM)：LSTM是RNN的一种扩展，专门设计用于解决长序列数据中的梯度消失问题。它在人体动作识别中可以捕捉序列中的时序信息。对于连贯性要求较高的连贯动作考核视频数据采用LSTM模型后可以显著提高识别的准确性。具体实施时可以将连贯动作考核视频数据作为视频帧序列输入到LSTM中。识别的结果为各种连贯动作对应的评分分值。
在输入考核视频数据进行识别前还应该对初始建立的LSTM模型进行训练。训练的数据采用事先准备好的连贯动作考核视频样本数据。可以先采集到不同分值对应的考核视频样本数据，并以对应的分值作为这些样本数据的标签。
为了提高连贯动作识别的准确性和速度，可以先对连贯动作考核视频数据进行一定的处理，例如可以先将连贯动作考核视频数据输入到PoseNet模型中返回连贯动作考核视频数据中每一帧图像数据的人体关键点在图像中的位置，然后将由包含了各帧图像的人体关键点位置信息的视频数据输入到LSTM中识别后得到识别的结果。
由于PoseNet是一个轻量级的姿势估计模型，可以图像中快速预测人体关键点。因此通过PoseNet处理后再输入到LSTM模型中，就可以直接利用人体关键点来进行识别，简化了数据输入，并保留了重要的信息，这就使得LSTM模型可以快速准确地识别出各个连贯动作的分值。
S376:将子中间视频数据中的关键动作姿态考核视频数据输入到OpenPose模型中进行识别得到第二识别结果；
本步骤采用OpenPose模型来对关键动作进行识别，识别结果为各种类型的关键动作对应的评分分值。OpenPose能够实时地估计多人的姿势，并且在姿势之间的遮挡情况下也具有一定的鲁棒性。在输入考核视频数据进行识别前还应该对初始建立的OpenPose模型进行训练。训练的数据采用事先准备好的关键动作姿态考核视频数据样本数据。可以先采集到不同分值对应的关键动作姿态考核视频数据样本数据，并以对应的分值作为这些样本数据的标签。
S378:根据第一识别结果和第二识别结果对考核项目进行评分。
本实施例利用LSTM模型和OpenPose模型分别识别出各个连贯动作和关键动作所对应的评分分值。然后根据各个各个连贯动作和关键动作的分值和分值的权重计算出该考核项目的总分值作为评分的分值。
由于本发明采用了将连贯动作考核视频数据和关键动作姿态考核视频数据分别提取后采用不同模型分别识别的方式，因此可以对考核项目中的连贯动作和关键动作姿态进行准确的评分，从而使考核评分的准确性得到了显著地提高。
采用前述方法的关键在于对视频数据中连贯动作考核视频数据和关键动作姿态考核视频数据的准确提取，如果采用人工从子中间视频数据中提取连贯动作考核视频数据和关键动作姿态考核视频数据的方式不仅耗时费力，并且受到操作人员水平的影响，稳定性和准确度都不理想。
对此在本实施例中所述S374:从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核数据还包括以下步骤:
S3741:获取各个连贯动作的起始标志动作图像数据和结束标志动作图像数据作为第一训练数据：
本实施例将各个连贯动作看做是一系列具有特定时序的动作的组合，这组动作中时序最靠前的动作就作为起始标志动作，而时序最靠前的动作就作为结束标志动作。本实施例以此为基础通过识别各个连贯动作的起始标志动作和结束标志动作来提取连贯动作。对此本步骤首先采集训练的样本作为训练数据，即采集各个连贯动作中包含了时序最靠前的动作的图像数据作为起始标志动作图像数据，采集各个连贯动作中包含了时序最靠后的动作的图像数据作为结束标志动作图像数据来训练深度学习模型。
S3742:将第一训练数据输入到DeepPose模型中进行训练得到第一目标模型；
本实施例先建立初步的DeepPose模型然后用第一训练数据对其进行训练。经过训练后的第一目标模型可以准确识别出子中间视频数据中的起始标志动作和结束标志动作。然后可以根据识别出的起始标志动作和结束标志动作找到起始标志动作和结束标志动作的时间点。由于参考人员的动作往往不够规范，因此所采集的样本中也应包含这些不够规范但是也属于考核的连贯动作中标志着连贯动作开始和结束时的动作。
S3743:将子中间视频数据输入到第一目标模型中识别出起始标志动作和结束标志动作，并将时序处于起始标志动作和结束标志动作之间的子中间视频数据作为动作连贯考核视频数据；
由于起始标志动作和结束标志动作是一个连贯动作中时序最靠前和最靠后的动作，因此本步骤将时序处于前述两者之间的间视频数据作为动作连贯考核视频数据。
S3744:获取各个关键动作姿态的图像数据作为第二训练数据；
本步骤中的各个关键动作姿态的图像数据是指集包含了各个关键动作姿态的图像，这些图像作为第二训练数据对深度学习模型进行训练。
S3745:将第二训练数据输入到PoseNet模型中进行训练得到第二目标模型；
本实施例先建立初步的PoseNet模型然后用第二训练数据对其进行训练。经过训练后的第二目标模型可以准确识别出子中间视频数据中的关键动作。由于参考人员的动作往往不够规范，因此所采集的样本中也应包含这些不够规范但是也属于关键动作的视频数据。
S3746:将子中间视频数据输入到第二目标模型中识别出关键动作姿态考核数据。
采用前述方案系统可以自动从子中间视频数据中提取出考核项目中的各个关键动作姿态考核视频数据。
作为一种可选但有利的实施方式，在所述S371:获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
S3711:从所述视频图像数据中分别提取出参考人员救治动作数据、工具和参考人员以及伤员的相对位置数据和伤员脸部数据；
其中参考人员救治动作数据是指参考人员救治动作的视频图像数据，该视频图像数据中可以不包括工具。而工具和参考人员以及伤员的相对位置数据是指反映参考人员所使用的工具与参考人员的相对位置以及工具和伤员的相对位置的视频图像数据。由于参考人员救治操作越规范，工具和参考人员以及伤员的相对位置越接近规范的相对位置，则参考人员使用工具的准确性就越高。因此本步骤从初始获得的视频图像中提取出工具和参考人员以及伤员的相对位置数据以增加评分的准确性。
而伤员脸部数据是指伤员脸部区域的视频图像数据。本步骤通过对初始获得的视频图像数据的处理。
S3712:将参考人员救治动作数据输入到第一神经网络模型中识别出参考人员救治动作的准确度，将工具和参考人员以及伤员的相对位置数据输入到第二神经网络模型中识别出工具使用的准确度，将伤员的脸部数据输入到第三神经网络模型中识别出伤员的面部表情类型；
可以事先准备不同准确度的参考人员救治动作的视频图像数据作为样本输入到初始神经网络模型中进行训练得到第一神经网络模型，然后将提取的参考人员救治动作数据输入到第一神经网络模型中识别出参考人员救治动作的准确度。
可以事先准备不同准确度的工具和参考人员以及伤员的相对位置的视频图像数据作为样本输入到初始神经网络模型中进行训练得到第二神经网络模型，然后将工具和参考人员以及伤员的相对位置数据输入到第二神经网络模型中识别出工具使用的准确度。
S3713:根据识别出的参考人员救治动作的准确度获取参考人员救治动作的评分值作为第一分值C1，根据识别出的工具使用的准确度获取参考人员使用工具动作的评分值作为第二分值C2，根据伤员的面部表情类型获取伤员舒适度的评分值作为第三分值C3；
可以根据经验事先为参考人员救治动作的每一种准确度设置一个对应的评分值，这样就可以通过识别出的参考人员救治动作的准确度找到对应的第一分值。
S3714:获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3；
由于参考人员救治动作、工具位置和伤员舒适度对参考人员救治操作的影响程度不同，因此本步骤根据前述三种因素的影响程度分别设置三个影响因子。
S3715:根据第一分值C1、第二分值C2、第三分值C3、获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3确定科目考核的总评分值CA，CA＝K1×C1+K2×C2+K3×C3。
本步骤从参考人员救治动作准确度、工具位置准确度和伤员舒适度等多个纬度对参考人员的表现进行评价，充分利用了不同特征的数据信息，可以更加准确合理地对参考人员的救治操作水平做出评价。
作为一种可选但有利的实施方式，在所述S371:获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
S37101:将包含有参考人员、工具和伤员的视频图像数据输入到第四神经网络模型中识别出参考人员错误救治操作的严重程度，所述严重程度包括轻微错误、一般错误、严重错误和重大严重错误；
可以事先将标记有前述4中严重程度标签的包含有参考人员、工具和伤员的视频图像数据作为样本输入到初始神经网络模型中进行训练后得到第四神经网络模型。然后将采集的视频图像数据输入到第四神经网络模型中进行识别，得出参考人员错误救治操作的严重程度，然后根据严重程度进行区别处理。
S37102:当参考人员错误救治操作的严重程度属于轻微错误、一般错误时从而所述视频图像数据中截取参考人员错误救治操作的视频图像片段并存储至对应参考人员的针对性训练数据库；
本步骤将在参考人员错误救治操作不太严重时只记录下参考人员错误救治操作的视频图像片段并存储到数据库中备用，而不打断参考人员的进程，让参考人员可以继续训练或者考核，从而提高训练效率。
S37103:根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库；
本步骤对参考人员的错误的救治操作进行分析，并从规范的教学视频图像中找到与错误救治操作对应的正确的救治操作的视频图像，将其和错误救治操作的视频图像片段放在同一个数据库中，并建立参考人员错误救治操作的视频图像片段和对应的规范教学视频图像片的存储位置对应表。
S37104:当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
S37105:当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
S37106:将所截取参考人员错误救治操作的视频图像片段和对应的规范教学视频图像片段在同一显示屏的相邻两个区域对照播放，并在错误救治操作的视频图像片段中标记错误救治操作的位置。
当参考人员错误救治操作的严重程度属于严重错误和重大严重错误这两种较为严重的错误时，系统自动暂停当前的训练或者考核进程，协助参考人员对错误的操作立刻展开校正。通过将参考人员错误救治操作的视频图像片段与对应的规范教学视频图像片段对照播放的方式，可以让参考人员快速准确地找到自身操作与规范操作的差异。此外还可以通过在错误救治操作的视频图像片段中标记错误救治操作的位置的方式对参考人员进行提醒，让参考人员迅速找到自身错误所在，从而进一步提高训练的针对性和训练效率。
作为一种可选但有利的实施方式在所述S37103:根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库之后还包括以下步骤：
获取用户的错误救治操作改进训练请求；
根据所述错误救治操作改进训练请求从针对性训练数据库中调取对应的错误救治操作的视频图像片段和规范教学视频图像片段；
在同一显示屏的相邻区域同步播放所述错误救治操作的视频图像片段和规范教学视频图像片段。
对于不是太严重的错误的救治操作，为了不影响训练的效率可以不中止或者暂停训练，但是为了能够方便参考人员对错误的救治操作进行校正，还可以在用户前期训练结束后为用户提供对训练过程中出现的不严重的错误操作进行校正的途径。对此可以在显示界面上显示错误救治操作改进训练请求的按钮，当用户点击该按钮后，系统调取并显示之前训练过程中出现的错误救治操作的选项列表，用户选取列表中某一项错误救治操作选项后，系统自动从针对性训练数据库中调取对应的错误救治操作的视频图像片段和规范教学视频图像片段进行显示，让用户可以对比自身错误操作和规范操作之间的差异，从而使用户能够更好的对错误的救治操作进行改进。
如图13所示，作为一种可选但有利的实施方式，在本实施例中所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
S351:在科目考核页面显示当前考核阶段用时、训练总用时以及暂停计时选择按钮；
本实施例通过对当前考核阶段用时、训练总用时的实时显示来帮助教练员及时了解参考人员的总体用时和当前阶段的用时，以使教练员可以更好地掌握参考人员的技能水平。
S352:响应于对暂停计时选择按钮的选择操作，暂停当前考核阶段的计时。
当教练员对暂停计时按钮进行选择操作后，当前考核阶段的计时和总计时都会暂停，这样教练员可以在考核过程中根据情况当场进行指导和讲解，从而有针对性地提高救治人员的技能水平。当用户再次点击暂停计时按钮后，又继续当前考核阶段的计时和总计时。
如图14所示，在本实施例中作为一种可选但有利的实施方式，所述S3:响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤:
S361:在训练界面中显示单人模式选择按钮和双人模式选择按钮；
本实施例提供两种考核模式。其中单人模式情况下可以进行1个参考人员的训练和考核。双人模式下可以同时进行2个参考人员的训练和考核。
S362:响应于对单人模式选择按钮的选择操作，在训练界面中显示1组指定伤情及工具按钮、抽取伤情及工具按钮、选择场次按钮、选择单位按钮、选择手环按钮和选择人员按钮；
当用户选择单人模式后，训练界面将提供1个参考人员的训练场景和参数的设置。
S363:响应于对双人模式选择按钮的选择操作，在训练界面中显示2组指定伤情及工具按钮、抽取伤情及工具按钮、选择场次按钮、选择单位按钮、选择手环按钮和选择人员按钮。
当用户选择双人模式后，训练界面将同时提供2个参考人员的训练场景和参数的设置。
双人模式采用是分开计时的方式，一方时间停止不影响另外一方时间变化。当考核结束时，双方都点击结束才进入成绩页面，若任意一方为结束，已经完成考核的一方计时停止，等待对方结束。
S4:响应于第三选择区域的选择操作，在显示界面处显示评分界面，如图15所示，具体包括以下步骤：
S41：在所述评分界面中显示考核场次输入框、考核时间输入框和考核人员名称输入框；
考核结束后相关人员在评分界面查询考核成绩。具体可以通过输入考核场次、考核时间和考核人员名称来查询对应的考核成绩。
S42：根据考核场次输入框、考核时间输入框和考核人员名称输入框中的输入信息，在考核成绩数据库中查询与所述输入信息相匹配的成绩数据；
S43：根据所述成绩数据在评分界面中显示输入信息和与输入信息相匹配的成绩；
S44：在评分界面显示考核人员名称的对应位置显示查看选择按钮；
S45：响应于对查看选择按钮的选择操作，显示与查看选择对应的考核人员的历史成绩。
实施例2
如图5所示，本实施例还提供一种危急场景下伤员救治技能赛道式组训人机交互系统，所述系统包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如实施例1中所述的方法。
具体地，上述处理器可以为中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种交互方法。
在一个示例中本实施例的显示屏还可包括通信接口和总线。其中，控制电路、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将用于显示屏的各个部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
以上就是对本发明的危急场景下伤员救治技能赛道式组训人机交互方法和危急场景下伤员救治技能赛道式组训人机交互系统的详细介绍。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，包括以下步骤：
在界面显示区域显示组训模式选择界面，所述组训模式选择界面至少包括第一模式选择区域，第二模式选择区域和第三模式选择区域；
响应于第一模式选择区域的选择操作，在显示界面处显示教学界面；
响应于第二选择区域的选择操作，在显示界面处显示训练界面，并在训练考核过程中获取各个考核阶段的考核评分信息；
响应于第三选择区域的选择操作，在显示界面处显示评分界面，所述显示评分界面至少显示有所述考核评分信息。
2.根据权利要求1所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，所述响应于第一模式选择区域的选择操作，在显示界面处显示教学界面还包括以下步骤：
在所述教学界面显示教学视频选择按钮；
响应于对教学视频选择按钮的选择操作，显示教学视频显示界面；
获取教学视频数据库中的教学视频数据；
根据教学视频数据生成并在教学视频显示界面中显示若干个教学视频的图标；
响应于对教学视频的图标的选择操作，从教学视频数据库中获取所选择图标对应的教学视频数据，并进入到播放所述教学视频的界面。
3.根据权利要求1所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，所述响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤:
在训练界面中显示指定伤情及工具按钮、抽取伤情及工具按钮、选择场次按钮、选择单位按钮、选择手环按钮和选择人员按钮；
响应于对抽取伤情及工具按钮的选择操作，在界面显示区域显示伤情抽取子界面，并在伤情抽取子界面中显示点击抽取按钮和确定按钮；
响应于对点击抽取按钮的选择操作，从伤情伤类数据库中随机抽取伤情类型和工具类型作为用于训练的伤情类型和训练中所采用的工具类型；
在显示界面中显示所抽取的伤情类型和工具类型；
响应于对伤情抽取子界面中确定按钮的选择操作，根据用于训练的伤情类型和训练中所采用的工具类型生成考核流程和考核流程中每个考核阶段的考核内容；
根据考核流程和考核流程中每个阶段的考核内容在教练员显示区域显示若干个与每个考核阶段一一对应的考核阶段选择区域，所述若干个考核阶段选择区域按照考核流程的先后顺序排列；
响应于对其中一个考核阶段选择区域的选择操作，从考核科目数据库中获取并在教练员显示区域中显示各个考核科目和各个考核内容；
根据对教练员显示区域中考核科目和考核内容的选择操作更新所选择的考核阶段的考核科目和考核内容，并在教练员显示区域中显示确定按钮；
响应于对教练员显示区域中确定按钮的选择操作，在教练员显示区域显示科目考核页面，进入科目考核阶段，并开始当前科目考核阶段的计时；
在科目考核阶段获取参考人员的实时状态信息，所述参考人员的实时状态信息至少包括参考人员的心率、血压、体温和血氧；
在教练员显示区域中显示所述考人员的实时状态信息。
在科目考核页面显示若干个评定标准，并在每个评定标准的对应位置显示分值、扣分标准和若干个扣分选项，各个所述扣分选项对应不同的分值；
响应于对扣分选项的选择操作，获取扣分选项对应的扣分分值；
根据各个扣分选项对应的扣分分值计算并在教练员显示区域显示当前考核阶段的总分值。
4.根据权利要求3所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，所述响应于第二选择区域的选择操作，在显示界面处显示训练界面还包括以下步骤：
获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据；
对视频图像数据进行预处理得到中间视频图像数据；
按照考核项目将中间视频图像数据划分为若干个与各个考核项目对应的子中间视频数据；
从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核数据；
将子中间视频数据中的连贯动作考核视频数据处理后输入到LSTM模型中进行识别得到第一识别结果；
将子中间视频数据中的关键动作姿态考核视频数据输入到OpenPose模型中进行识别得到第二识别结果；
根据第一识别结果和第二识别结果对考核项目进行评分。
5.根据权利要求4所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，所述从子中间视频数据中分别提取出动作连贯考核视频数据和关键动作姿态考核视频数据还包括以下步骤:
获取各个连贯动作的起始标志动作图像数据和结束标志动作图像数据作为第一训练数据：
将第一训练数据输入到DeepPose模型中进行训练得到第一目标模型；
将子中间视频数据输入到第一目标模型中识别出起始标志动作和结束标志动作，并将时序处于起始标志动作和结束标志动作之间的子中间视频数据作为动作连贯考核视频数据；
获取各个关键动作姿态的图像数据作为第二训练数据；
将第二训练数据输入到PoseNet模型中进行训练得到第二目标模型；
将子中间视频数据输入到第二目标模型中识别出关键动作姿态考核视频数据。
6.根据权利要求4所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，在所述获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
从所述视频图像数据中分别提取出参考人员救治动作数据、工具和参考人员以及伤员的相对位置数据和伤员脸部数据；
将参考人员救治动作数据输入到第一神经网络模型中识别出参考人员救治动作的准确度，将工具和参考人员以及伤员的相对位置数据输入到第二神经网络模型中识别出工具使用的准确度，将伤员的脸部数据输入到第三神经网络模型中识别出伤员的面部表情类型；
根据识别出的参考人员救治动作的准确度获取参考人员救治动作的评分值作为第一分值C1，根据识别出的工具使用的准确度获取参考人员使用工具动作的评分值作为第二分值C2，根据伤员的面部表情类型获取伤员舒适度的评分值作为第三分值C3；
获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3；
根据第一分值C1、第二分值C2、第三分值C3、获取参考人员救治动作影响因子K1、工具位置影响因子K2和伤员舒适度影响因子K3确定科目考核的总评分值CA，CA＝K1×C1+K2×C2+K3×C3。
7.根据权利要求4所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，在所述获取在科目考核阶段包含有参考人员、工具和伤员的视频图像数据之后还包括以下步骤：
将包含有参考人员、工具和伤员的视频图像数据输入到第四神经网络模型中识别出参考人员错误救治操作的严重程度，所述严重程度包括轻微错误、一般错误、严重错误和重大严重错误；
当参考人员错误救治操作的严重程度属于轻微错误、一般错误时从而所述视频图像数据中截取参考人员错误救治操作的视频图像片段并存储至对应参考人员的针对性训练数据库；
根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库；
当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
当参考人员错误救治操作的严重程度属于严重错误和重大严重错误时从所述视频图像数据中截取参考人员错误救治操作的视频图像片段，并从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段；
将所截取参考人员错误救治操作的视频图像片段和对应的规范教学视频图像片段在同一显示屏的相邻两个区域对照播放，并在错误救治操作的视频图像片段中标记错误救治操作的位置。
8.根据权利要求7所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，在所述根据参考人员错误救治操作的视频图像片段从教学视频数据库中截取与错误救治操作对应的规范教学视频图像片段存储至对应参考人员的针对性训练数据库之后还包括以下步骤：
获取用户的错误救治操作改进训练请求；
根据所述错误救治操作改进训练请求从针对性训练数据库中调取对应的错误救治操作的视频图像片段和规范教学视频图像片段；
在同一显示屏的相邻区域同步播放所述错误救治操作的视频图像片段和规范教学视频图像片段。
9.根据权利要求1至8中任一项所述的危急场景下伤员救治技能赛道式组训人机交互方法，其特征在于，所述响应于第三选择区域的选择操作，在显示界面处显示评分界面还包括以下步骤：
在所述评分界面中显示考核场次输入框、考核时间输入框和考核人员名称输入框；
根据考核场次输入框、考核时间输入框和考核人员名称输入框中的输入信息，在考核成绩数据库中查询与所述输入信息相匹配的成绩数据；
根据所述成绩数据在评分界面中显示输入信息和与输入信息相匹配的成绩；
在评分界面显示考核人员名称的对应位置显示查看选择按钮；
响应于对查看选择按钮的选择操作，显示与查看选择对应的考核人员的历史成绩。
10.一种危急场景下伤员救治技能赛道式组训人机交互系统，其特征在于，所述系统包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311483879.5A CN117492605A (zh) | 2023-11-07 | 2023-11-07 | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311483879.5A CN117492605A (zh) | 2023-11-07 | 2023-11-07 | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117492605A true CN117492605A (zh) | 2024-02-02 |
Family
ID=89684428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311483879.5A Pending CN117492605A (zh) | 2023-11-07 | 2023-11-07 | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117492605A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418113A (zh) * | 2020-11-26 | 2021-02-26 | 中国人民解放军陆军军医大学第一附属医院 | 一种医学技能考试系统 |
| CN113919980A (zh) * | 2021-09-19 | 2022-01-11 | 北京众绘虚拟现实技术研究院有限公司 | 一种训练考试用虚拟标准化口腔病人系统及方法 |
| CN115273594A (zh) * | 2022-08-15 | 2022-11-01 | 中国人民解放军总医院第四医学中心 | 战场救护训练考核系统、方法、设备及存储介质 |
| CN115586834A (zh) * | 2022-11-03 | 2023-01-10 | 天津大学温州安全(应急)研究院 | 一种智能心肺复苏培训系统 |
| CN116168575A (zh) * | 2022-04-26 | 2023-05-26 | 中国人民解放军海军军医大学 | 一种基于案例的战术战伤救护训练考核评分系统 |
| CN116778771A (zh) * | 2023-06-14 | 2023-09-19 | 武汉博晟安全技术股份有限公司 | 急救培训考核系统 |
-
2023
- 2023-11-07 CN CN202311483879.5A patent/CN117492605A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418113A (zh) * | 2020-11-26 | 2021-02-26 | 中国人民解放军陆军军医大学第一附属医院 | 一种医学技能考试系统 |
| CN113919980A (zh) * | 2021-09-19 | 2022-01-11 | 北京众绘虚拟现实技术研究院有限公司 | 一种训练考试用虚拟标准化口腔病人系统及方法 |
| CN116168575A (zh) * | 2022-04-26 | 2023-05-26 | 中国人民解放军海军军医大学 | 一种基于案例的战术战伤救护训练考核评分系统 |
| CN115273594A (zh) * | 2022-08-15 | 2022-11-01 | 中国人民解放军总医院第四医学中心 | 战场救护训练考核系统、方法、设备及存储介质 |
| CN115586834A (zh) * | 2022-11-03 | 2023-01-10 | 天津大学温州安全(应急)研究院 | 一种智能心肺复苏培训系统 |
| CN116778771A (zh) * | 2023-06-14 | 2023-09-19 | 武汉博晟安全技术股份有限公司 | 急救培训考核系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李力;卢卫华;颜云龙;张戎;: "战(现)场急救技术考核设计与评分探讨", 西北国防医学杂志, no. 06, 30 December 2013 (2013-12-30) * |
| 郭栋等: "战术一线救治模拟训练系统的设计与实现", 《中华灾害救援医学》, vol. 9, no. 1, 31 January 2021 (2021-01-31), pages 724 - 727 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| CN109432753B (zh) | 动作矫正方法、装置、存储介质及电子设备 | |
| CN108056786B (zh) | 一种基于深度学习的骨龄检测方法和装置 | |
| KR101660157B1 (ko) | 시선 추적 기반 재활 시스템 | |
| CN111563487A (zh) | 基于姿态识别模型的舞蹈评分方法及相关设备 | |
| CN108986884A (zh) | 一种平衡康复与认知康复相融合的训练系统和方法 | |
| CN111437583A (zh) | 一种基于Kinect的羽毛球基本动作辅助训练系统 | |
| CN106485055A (zh) | 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统 | |
| CN111539245B (zh) | 一种基于虚拟环境的cpr技术训练评价方法 | |
| CN111462557B (zh) | 一种心血管病临床病例闯关游戏式的教学应用系统 | |
| CN109240786A (zh) | 一种主题更换方法及电子设备 | |
| CN111973201A (zh) | 基于眼动交互的多维虚拟心理沙盘智能分析方法及装置 | |
| CN113703574A (zh) | 一种基于5g的vr医疗学习方法及系统 | |
| CN110490173A (zh) | 一种基于3d体感模型的智能动作打分系统 | |
| CN113694343A (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统及方法 | |
| CN110796064B (zh) | 人体肌肉图像的建立方法、装置、存储介质及电子设备 | |
| CN115040114A (zh) | 一种基于虚拟现实和人机交互的远程康复系统及训练方法 | |
| CN111223549A (zh) | 一种基于姿态矫正的疾病预防的移动端系统及方法 | |
| CN115909839B (zh) | 一种基于vr技术的医学教育培训考核系统及方法 | |
| CN117492605A (zh) | 危急场景下伤员救治技能赛道式组训人机交互方法及系统 | |
| CN110458076A (zh) | 一种基于计算机视觉的教学方法及系统 | |
| CN114167993B (zh) | 信息处理方法及装置 | |
| CN114220522B (zh) | 基于视觉认知注意的心理测评数据采集与干预方法及系统 | |
| CN113877157B (zh) | 结合数据手套和vr技术的手功能康复系统 | |
| CN115530814A (zh) | 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |