CN113703574A - 一种基于5g的vr医疗学习方法及系统 - Google Patents

一种基于5g的vr医疗学习方法及系统 Download PDF

Info

Publication number
CN113703574A
CN113703574A CN202110990268.4A CN202110990268A CN113703574A CN 113703574 A CN113703574 A CN 113703574A CN 202110990268 A CN202110990268 A CN 202110990268A CN 113703574 A CN113703574 A CN 113703574A
Authority
CN
China
Prior art keywords
wearer
doctor
acquiring
error
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110990268.4A
Other languages
English (en)
Inventor
李超
褚富强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Big Data Research Center Of Nanjing University Of Posts And Telecommunications
Original Assignee
Yancheng Big Data Research Center Of Nanjing University Of Posts And Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Big Data Research Center Of Nanjing University Of Posts And Telecommunications filed Critical Yancheng Big Data Research Center Of Nanjing University Of Posts And Telecommunications
Priority to CN202110990268.4A priority Critical patent/CN113703574A/zh
Publication of CN113703574A publication Critical patent/CN113703574A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Computer Hardware Design (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种基于5G的VR医疗学习方法及系统。该基于5G的VR医疗学习方法,包括:步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;步骤3:基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。该基于5G的VR医疗学习方法及系统,使得医疗教学不在局限于有形的教室中,教学活动的空间和时间得到了无形扩展,同时,学生可以在VR终端进行模拟手术,增加实战经验,5G传输更是提升了传输效率,增强了VR真实感。

Description

一种基于5G的VR医疗学习方法及系统
技术领域
本发明涉及医疗教学技术领域,特别涉及一种基于5G的VR医疗学习方法及系统。
背景技术
VR技术是由计算机生成的一种可以创建和体验虚拟世界的计算机系统。它通过视、听、触觉等作用于使用者,使之产生身临其境的交互视景的仿真。使用者借助必要的设备自然地与虚拟环境中的对象进行交互作用、相互影响,产生身临其境的感觉和体验,使人机交互更加自然和谐。
在医学教育中广泛合理地运用实验教学手段,特别是实施VR医疗学习,对学生巩固医学基础理论、掌握基本操作技能、提高独立操作能力及分析问题和解决问题的能力至关重要,因此一种基于5G的VR医疗学习方法及系统尤为重要。
发明内容
本发明提供一种基于5G的VR医疗学习方法及系统,用以解决医疗教学局限于教室以及实操机会少的问题。
本发明提供一种基于5G的VR医疗学习方法,包括:
步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
步骤3:基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
优选的,所述的一种基于5G的VR医疗学习方法,步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端,包括:
步骤1.1:根据手术内容,确定拍摄设备摆放位置,并从多个方向同时进行实时拍摄;
步骤1.2:拍摄过程中对医生的手势进行高频捕捉;
步骤1.3:基于5G技术,将拍摄结果传送至VR终端。
优选的,所述的一种基于5G的VR医疗学习方法,步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景,包括
步骤2.1:VR终端接收拍摄原始影像,并将所述原始影像存储进教学资源库;
步骤2.2:将所述原始影像进行图像和音频处理,得到音频信息以及图像信息;
步骤2.3:根据所述图像信息建立当前手术三维模型,同时,将所述音频信息匹配到所述当前手术三维模型,实现更新,并建立手术三维虚拟场景。
优选的,所述的一种基于5G的VR医疗学习方法,将所述音频信息匹配到所述当前手术三维模型,实现更新的过程中,包括:
获取所述音频信息,并提取手术内容关键词,根据所述关键词,获取主要音频信息,将所述主要音频信息转化为文字信息;
将所述文字信息发送给检测终端,基于所述检测终端,由对应医生对所述文字信息进行修正;
将修正文字信息进行凝练生成模拟手术须知,并在所述佩戴者模拟手术的关键位置进行注意事项提醒。
优选的,所述的一种基于5G的VR医疗学习方法,步骤3:实时展示整个诊治及手术过程,供佩戴者观看学习之后,还包括:
供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟,包括:
步骤a:接收佩戴者在VR终端输入的查询指令,获取当前手术内容,同时,推送相关模拟手术须知供用户阅读,且当所述佩戴者阅读完成之后,进入模拟手术,供所述佩戴者选择是否观看手术操作原始影像,若选择观看手术操作原始影像,根据所述佩戴者对观看视角的选择,进行相应视角影像的播放;
否则,直接进入模拟手术;
步骤b:在所述佩戴者进行模拟手术操作过程中,获取所述佩戴者的第一次操作信息,所述操作信息包括佩戴者持对应手术设备对虚拟患者的目标伤处的操作力度以及切割深度信息;
步骤c:基于医生的标准操作信息,对佩戴者的第一次操作信息进行第一判断,判断所述佩戴者的操作姿势是否正确,如正确,提醒佩戴者进行下一步操作;
否则,获取所述佩戴者的第一错误操作和第二错误操作,将第一错误操作与所述医生的第一标准操作进行对比,获得第一操作误差,同时,将第二错误操作与所述医生的第二标准操作进行对比,获得第二操作误差;
基于所述第一操作误差和所述第二操作误差生成操作失误报告,并根据当前手术关键词,获取第三错误操作;
步骤d:根据标准操作以及所述第三错误操作生成第一语音提示所述佩戴者进行第二次操作,并进行第二判断,判断所述佩戴者的所述第二次操作是否正确,若所述第二次操作正确,提醒所述佩戴者进行下一操作;
否则,获取第二次操作过程,对比第一次操作过程,获得已修正操作,并根据所述已修正操作对第三错误操作进行修正,获得第四错误操作;
步骤e:根据第四错误操作以及标准操作生成所述佩戴者的个人练习片段,并生成第二语音,提示所述佩戴者在所述个人练习片段内进行相应操作。
优选的,所述的一种基于5G的VR医疗学习方法,步骤1.2:拍摄过程中对医生的手势进行高频捕捉,包括:
获取所述医生手势的全部高频捕捉图像,采集医生手势的第一特征以及第二特征,所述第一特征是指所述医生指关节运动轨迹以及手指变形情况,所述第二特征是指所述医生手腕以及肘关节运动轨迹;
对所述第一特征进行力学分析获得所述医生操作力度变化的第一数据包,并建立第一时间轴;
根据第二特征获得所述医生操作的方向变化的第二数据包,并建立第二时间轴;
根据第一时间轴和第二时间轴对第一数据包以及第二数据包进行融合,获取第三数据包,并建立当前手术的初始力度模型;
获取当前手术的第三特征,基于5G互联网,获得与所述第三特征相关的多个历史手术记录,获取所述多个历史手术记录的操作力度信息作为第四数据包;所述第三特征包括当前手术创口位置以及病变情况,还包括手术的切割深度;
根据第四数据包对所述初始力度模型进行修正,获取最终手术力度模型。
优选的,所述的一种基于5G的VR医疗学习方法,当无法基于5G互联网,获得与所述第三特征相关的多个历史手术记录之后,还包括;
获取对应模拟手术的第四特征;
利用VR终端的手部设备采集所述佩戴者模拟手术的操作手势,并获得第四收据包;
将第三特征与第四特征进行对比,获取偏差系数,判断所述偏差系数是否在预设允许范围内,若在预设允许范围内,继续使用所述初始力度模型;
否则,将第三数据包和第四数据包进行对比,获得误差数据,根据所述误差数据,将所述初始力度模型进行修正,获取最终手术力度模型。
优选的,所述的一种基于5G的VR医疗学习方法,包括:供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟时,将音频信息根据佩戴者的练习时间对应更新,包括:
基于所述拍摄原始影像获取视频帧信息,根据所述视频帧信息,确定所述图像信息与所述音频信息的对应关系;
对所述三维虚拟场景进行练习阶段划分,记录所述佩戴者在同个阶段的练习次数以及每次的练习时长,进而获取第一变化函数,根据所述第一变化函数,预估所述佩戴者在当前练习阶段的第一预估练习时长;
获取当前练习阶段对应的原始音频,获取所述原始音频的多个独立音频,并基于所述第一预估练习时长对所述多个独立音频进行第一次重组,得到所述第一有效音频,所述多个独立音频是根据原始音频拆分得到的能完整表达原始音频信息;
当所述佩戴者对当前练习阶段进行下次练习操作时,记录实际操作时长;
若所述实际操作时长小于所述第一有效音频时长,确定所述第一有效音频不能在当前练习阶段完整播放,判定所述佩戴者熟练掌握当前练习阶段内容,并将所述当前练习阶段的语音隐藏;
否则,根据所述实际操作时长更新时间第一变化函数,得到第二变化函数;
根据所述第二变化函数计算当前阶段练习的第二预估练习时长,并对所述多个简单语句进行第二次重组,获得第二有效音频。
优选的,一种基于5G的VR医疗学习方法,其特征在于:建立当前手术的初始力度模型前,对采集的医生的操作手势进行优化,包括:
对医生手势的全部高频捕捉图像进行定位,基于时间轴,确定同一定位位置点的像素点的灰度变化,基于所述灰度变化确定同一定位位置点的视觉能耗曲线;
根据定位的统一定位位置点的变化曲线,确定所述医生的每个位置点的操作轨迹,获得轨迹集合;
对所述医生的操作对象按照操作属性进行对象划分,确定每个划分对象的划分位置点;
根据所述划分位置点,从所述轨迹集合中提取对应划分对应的操纵轨迹,构建对应划分对应的第一目标操作;
同时,根据每个操作轨迹对应的所有视觉能耗曲线,获得每个划分对象对应的第二目标操作;
根据所述第一目标操作以及第二目标操作,得到所述医生的综合操作;
获取所述综合操作对应的每个时间点的操作轮廓,并对所述操作轮廓进行连贯性分析,判断是否存在不连贯轮廓;
若存在,将所述不连贯轮廓进行标定,并判断所述不连贯轮廓的不连贯等级,根据所述不连贯等级,从预设修正数据库中,获取对应等级的连贯调整方案,对标定的不连贯轮廓进行对应连贯修正,进而得到标准操作;
否则,将判定所述综合操作为标准操作;
基于所述标准操作,作为所述初始力度模型的特征采集;
其中,所述划分对象包括:手腕对象、手指对象以及手臂对象、手术中的指定创伤对象。
一种基于5G的VR医疗学习系统,包括:
图像采集模块,用于基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
数据处理模块,用于基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
VR模拟模块,用于基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于5G的VR医疗学习方法的流程图;
图2为本发明实施例中一种基于5G的VR医疗学习方法步骤1的流程图;
图3为本发明实施例中一种基于5G的VR医疗学习方法步骤2的流程图;
图4为本发明实施例中一种基于5G的VR医疗学习系统的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明提供一种基于5G的VR医疗学习方法,如图1所示,包括:
步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
步骤3:基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
上述技术方案的有益效果是:本发明解决了医疗教学局限于教室以及实操机会少的问题,有利于学生巩固医学基础理论、掌握基本操作技能、提高独立操作能力及分析问题和解决问题的能力,同时,5G传输解决了VR使用时卡顿、头晕等不好体验,更是提升了传输效率,增强了VR真实感。
实施例2:
基于实施例1的基础上,所述的一种基于5G的VR医疗学习方法,步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端,如图2所示,包括:
步骤1.1:根据手术内容,确定拍摄设备摆放位置,并从多个方向同时进行实时拍摄;
步骤1.2:拍摄过程中对医生的手势进行高频捕捉;
步骤1.3:基于5G技术,将拍摄结果传送至VR终端。
上述技术方案有益效果:本发明多个方向同时拍摄有助于更加全面的获取手术信息,精准的对医生的手势进行高频捕捉,可以更加详细的向佩戴者展示手术细节,有助于佩戴者进行模拟手术时进行动作模仿,5G传输更是提升了传输速率,增强了VR真实感,使得佩戴者的模拟手术更加接近现实,对佩戴者增加实操经验有一定的帮助。
实施例3:
基于实施例1的基础上,所述的一种基于5G的VR医疗学习方法,步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景,如图3所示,包括
步骤2.1:VR终端接收拍摄原始影像,并将所述原始影像存储进教学资源库;
步骤2.2:将所述原始影像进行图像和音频处理,得到音频信息以及图像信息;
步骤2.3:根据所述图像信息建立当前手术三维模型,同时,将所述音频信息匹配到所述当前手术三维模型,实现更新,并建立手术三维虚拟场景。
本实施例中,原始影像时是指没有经过任何处理的一手视频。
本实施例中,教学资源库是指用来存储不用手术影像以及三维模型的数据库。
上述技术方案的有益效果:本发明原始影像是最能直观反应当时手术真实情况的,对原始影像进行存储有利于佩戴者根据自身练习需求选择是否观看;将原始影像进行图像和音频分离处理,可以建立手术三维虚拟场景的同时建立对应的音频提示,有助于帮助佩戴者进行练习。
实施例4:
基于实施例3的基础上,所述的一种基于5G的VR医疗学习方法,将所述音频信息匹配到所述当前手术三维模型,实现更新的过程中,包括:
获取所述音频信息,并提取手术内容关键词,根据所述关键词,获取主要音频信息,将所述主要音频信息转化为文字信息;
将所述文字信息发送给检测终端,基于所述检测终端,由对应医生对所述文字信息进行修正;
将修正文字信息进行凝练生成模拟手术须知,并在所述佩戴者模拟手术的关键位置进行注意事项提醒。
本实施例中,中主要音频信息是指剔除无关信息(例如,脚步声、呼吸声等)以后的音频。
上述技术方案的有益效果:本发明佩戴者者观看医生进行手术的同时也可以选择进行同步模拟手术,可以更好的对手术内容可进行理解,同时积累实操经验;在佩戴者模拟手术的关键位置进行注意事项提醒,有利于佩戴者更好的完成模拟手术,减少失误。
实施例5:
基于实施例1的基础上,所述的一种基于5G的VR医疗学习方法,还包括:步骤3:实时展示整个诊治及手术过程,供佩戴者观看学习之后,还包括:
供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟,包括:
步骤a:接收佩戴者在VR终端输入的查询指令,获取当前手术内容,同时,推送相关模拟手术须知供用户阅读,且当所述佩戴者阅读完成之后,进入模拟手术,供所述佩戴者选择是否观看手术操作原始影像,若选择观看手术操作原始影像,根据所述佩戴者对观看视角的选择,进行相应视角影像的播放;
否则,直接进入模拟手术;
步骤b:在所述佩戴者进行模拟手术操作过程中,获取所述佩戴者的第一次操作信息,所述操作信息包括佩戴者持对应手术设备对虚拟患者的目标伤处的操作力度以及切割深度信息;
步骤c:基于医生的标准操作信息,对佩戴者的第一次操作信息进行第一判断,判断所述佩戴者的操作姿势是否正确,如正确,提醒佩戴者进行下一步操作;
否则,获取所述佩戴者的第一错误操作和第二错误操作,将第一错误操作与所述医生的第一标准操作进行对比,获得第一操作误差,同时,将第二错误操作与所述医生的第二标准操作进行对比,获得第二操作误差;
基于所述第一操作误差和所述第二操作误差生成操作失误报告,并根据当前手术关键词,获取第三错误操作;
步骤d:根据标准操作以及所述第三错误操作生成第一语音提示所述佩戴者进行第二次操作,并进行第二判断,判断所述佩戴者的所述第二次操作是否正确,若所述第二次操作正确,提醒所述佩戴者进行下一操作;
否则,获取第二次操作过程,对比第一次操作过程,获得已修正操作,并根据所述已修正操作对第三错误操作进行修正,获得第四错误操作;
步骤e:根据第四错误操作以及标准操作生成所述佩戴者的个人练习片段,并生成第二语音,提示所述佩戴者在所述个人练习片段内进行相应操作。
本实施例中,第一错误操作是值佩戴者错误的操作手势;第二错误操作是指佩戴者错误的创口切割深度以及创口大小。
本实施例中,第一标准操是指医生的操作手势;第二标准操是指医生切割的创口切割深度以及创口大小。
本实施例中,第一操作误差是指佩戴者和医生操作手势存在的误差;第二操作误差是指佩戴者和医生操作手势存在的误差割的创口切割深度以及创口大小的不同。
本实施例中,操作失误报告是指包含佩戴者操作手势以及创口切割深度以及创口大小错误的分析报告。
本实施例中,第三错误操作是指剔除无关错误(例如,握刀姿势、握刀位置等)并根据操作失误报告生成的包含操作手势以及创口切割深度以及创口大小的错误操作过程。
本实施例中,手术关键词是指当前进行的模拟手术的疾病对应类型、手术目的、手术进行位置、手术的注意事项、手术规范要求。
本实施例中,第一语音提示针对第三错误操作生成对应的语音提示,在佩戴者练习进行到错误位置时进行语音指导。
本实施例中,已修正操作是指在第三错误操作的基础上已经改正的错误。
本实施例中,第四错误操作是指在第三错误操作的基础上剔除已经改正的错误还存在的错误操作。
本实施例中,第二同步语音提示第一语音提示针对第四错误操作生成对应的语音提示,在佩戴者练习进行到错误位置时进行语音指导。
本实施例中,个人练习片段是指根据佩戴者的错误生成的仅针对佩戴者个人的练习片段。
上述技术方案的有益效果:本发明基于医生的操作信息,对佩戴者的第一次操作进行第一判断,当佩戴者操作错误时,根据佩戴者的失误生成对应的语音提示,帮助佩戴者寻找错误并改正错误操作,更好的完成模拟手术;当佩戴者根据第一语音提示依旧无法完场模拟手术时,生成对应错误阶段的个人练习片段,有效的针对错误位置进行加强练习。
实施例6:
基于实施例2的基础上,所述的一种基于5G的VR医疗学习方法,步骤步骤1.2:拍摄过程中对医生的手势进行高频捕捉,包括:
获取所述医生手势的全部高频捕捉图像,采集医生手势的第一特征以及第二特征,所述第一特征是指所述医生指关节运动轨迹以及手指变形情况,所述第二特征是指所述医生手腕以及肘关节运动轨迹;
对所述第一特征进行力学分析获得所述医生操作力度变化的第一数据包,并建立第一时间轴;
根据第二特征获得所述医生操作的方向变化的第二数据包,并建立第二时间轴;
根据第一时间轴和第二时间轴对第一数据包以及第二数据包进行融合,获取第三数据包,并建立当前手术的初始力度模型;
获取当前手术的第三特征,基于5G互联网,获得与所述第三特征相关的多个历史手术记录,获取所述多个历史手术记录的操作力度信息作为第四数据包;所述第三特征包括当前手术创口位置以及病变情况,还包括手术的切割深度;
根据第四数据包对所述初始力度模型进行修正,获取最终手术力度模型。
本实施例中,第一数据包是指根据医生指关节运动轨迹以及手指变形情况进行力学分析获得所述医生操作力度变化数据;第二数据包是指根据医生手腕以及肘关节运动轨迹获得的医生操作的方向变化数据。
本实施例中,第一时间轴是指根据医生指关节运动轨迹以及手指变形情况生成的对应时间关系;第二时间轴是根据医生手腕以及肘关节运动轨迹生成的对应时间关系;第一时间轴与第二时间轴是相互对应的。
本实施例中,第三数据包是指第一数据包和第二数据包根据时间轴融合得到的数据,包含医生指关节运动轨迹以及手指变形情况和医生手腕以及肘关节运动轨迹。
本实施例中,初始手术力度模型是指根据第一数据包以及第二数据包生成的手术力度模型;最终手术力度模型是指进行修正后的初始手术力度模型。
上述技术方案的有益效果:本发明根据医生的手势高频图像,建立出的力度模型,并利用5G互联网查询相同手术的操作数据,对初始手术力度模型进行修正的带最终力度模型,该力度模型可以根据操作进程得到当前操作手部运动的轨迹以及力量,为佩戴者精准练习手术手势,以及锻炼手术创口切割技术提供更好的辅助。
实施例7:
基于实施例6的基础上,所述的一种基于5G的VR医疗学习方法,当无法基于5G互联网,获得与所述第三特征相关的多个历史手术记录之后,还包括;
获取对应模拟手术的第四特征;
利用VR终端的手部设备采集所述佩戴者模拟手术的操作手势,并获得第四收据包;
将第三特征与第四特征进行对比,获取偏差系数,判断所述偏差系数是否在预设允许范围内,若在预设允许范围内,继续使用所述初始力度模型;
否则,将第三数据包和第四数据包进行对比,获得误差数据,根据所述误差数据,将所述初始力度模型进行修正,获取最终手术力度模型。
本实施例中,第四特征是指包括佩戴者模拟手术创口位置以及病变情况,还包括手术的切割深度。
本实施例中,医学允许范围是指手术切割伤口的深度以及大小的误差是不影响手术结果的。
本实施例中,第四数据包包含佩戴者指关节运动轨迹以及手指变形情况和医生手腕以及肘关节运动轨迹。
上述技术方案的有益效果:本发明根据医生的手势高频图像,建立出的力度模型,当无法查询到历史手术记录时,利用佩戴者的练习数据,于原始视频进行对比,对初始手术力度模型进行修正,有助于佩戴者及时更正错误操作。
实施例8:
基于实施例3的基础上,所述的一种基于5G的VR医疗学习方法,包括:供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟时,将音频信息根据佩戴者的练习时间对应更新,包括:
基于所述拍摄原始影像获取视频帧信息,根据所述视频帧信息,确定所述图像信息与所述音频信息的对应关系;
对所述三维虚拟场景进行练习阶段划分,记录所述佩戴者在同个阶段的练习次数以及每次的练习时长,进而获取第一变化函数,根据所述第一变化函数,预估所述佩戴者在当前练习阶段的第一预估练习时长;
获取当前练习阶段对应的原始音频,获取所述原始音频的多个独立音频,并基于所述第一预估练习时长对所述多个独立音频进行第一次重组,得到所述第一有效音频,所述多个独立音频是根据原始音频拆分得到的能完整表达原始音频信息;
当所述佩戴者对当前练习阶段进行下次练习操作时,记录实际操作时长;
若所述实际操作时长小于所述第一有效音频时长,确定所述第一有效音频不能在当前练习阶段完整播放,判定所述佩戴者熟练掌握当前练习阶段内容,并将所述当前练习阶段的语音隐藏;
否则,根据所述实际操作时长更新时间第一变化函数,得到第二变化函数;
根据所述第二变化函数计算当前阶段练习的第二预估练习时长,并对所述多个简单语句进行第二次重组,获得第二有效音频。
本实施例中,当前阶段历史练习时长是指佩戴者在进行当前练习前的练习当前阶段所用的时间长度。
本实施例中,第一变化函数是指根据当前阶段历史练习时长推测出的时间变化函数。
本实施例中,第一预估练习时长是指根据第一变化函数估计得到佩戴者当前阶段练习所需时长。
本实施例中,第一次重组是指根据第一预估练习时长在对多个简单音频中进行选择使得组形成的音频在第一预估时长内。
本实施例中,第一有效音频是指根据第一预估练习时长对多个简单音频的重组得到的,是可以完整表达原始音频信息的。
本实施例中,实际操作时长是指佩戴者完成当前阶段练习的实际用时长度。
本实施例中,语音隐藏是将提示音频进行隐藏,隐藏后佩戴者也可根据自身需求进行再次添加。
本实施例中,第二变化函数是指根据实际练习时长对第一变化函数进行调整以后的时间变化函数;第二预估练习时长根据第二变化函数估计得到佩戴者当前阶段练习所需时长。
本实施例中,第二次重组是指根据第二预估练习时长在对多个简单音频中进行选择使得组形成的音频在第二预估时长内。
本实施例中,第二有效音频根据第二预估练习时长对多个简单音频的重组得到的,是可以完整表达原始音频信息的。
上述技术方案的有益效果:本发明在佩戴者进行练习时,根据历史练习时长推测出预估练习时长,并对音频进行重组,将音频信息根据佩戴者的练习时长对应更新,既可以通过佩戴者实际练习时长判断佩戴者的手术熟练程度又可以根据佩戴者练习情况匹配对应的音频,辅助佩戴者更好的完成模拟手术;另外,当佩戴者熟练掌握当前练习阶段内容,将佩戴者的当前练习阶段语音隐藏,可以促进佩戴者更好的独立完成模拟手术,增强手术实操手感。
实施例9:
基于实施例3的基础上,一种基于5G的VR医疗学习方法,建立当前手术的初始力度模型前,对采集的医生的操作手势进行优化,包括:
对医生手势的全部高频捕捉图像进行定位,基于时间轴,确定同一定位位置点的像素点的灰度变化,基于所述灰度变化确定同一定位位置点的视觉能耗曲线;
根据定位的统一定位位置点的变化曲线,确定所述医生的每个位置点的操作轨迹,获得轨迹集合;
对所述医生的操作对象按照操作属性进行对象划分,确定每个划分对象的划分位置点;
根据所述划分位置点,从所述轨迹集合中提取对应划分对应的操纵轨迹,构建对应划分对应的第一目标操作;
同时,根据每个操作轨迹对应的所有视觉能耗曲线,获得每个划分对象对应的第二目标操作;
根据所述第一目标操作以及第二目标操作,得到所述医生的综合操作;
获取所述综合操作对应的每个时间点的操作轮廓,并对所述操作轮廓进行连贯性分析,判断是否存在不连贯轮廓;
若存在,将所述不连贯轮廓进行标定,并判断所述不连贯轮廓的不连贯等级,根据所述不连贯等级,从预设修正数据库中,获取对应等级的连贯调整方案,对标定的不连贯轮廓进行对应连贯修正,进而得到标准操作;
否则,将判定所述综合操作为标准操作;
基于所述标准操作,作为所述初始力度模型的特征采集;
其中,所述划分对象包括:手腕对象、手指对象以及手臂对象、手术中的指定创伤对象。
本实施例中,定位位置点是指对医生手势进行定位的点,这些点分布在医生的手腕、手指以及手臂,还有手术中的指定创伤处,且可以是这些手腕、手指以及手臂、指定创伤的每个坐标点。
本实施例中,视觉能耗曲线是指是指同一定位位置点在视觉上的能量损耗,是由同一定位位置的像素灰度值确定的,由于在手术过程中,会不同的手部的姿势,在灯光的照射下,同个位置点会存在灰度值的变化。
本实施例中,操作轨迹是指不同时刻同一位置点的运动位置构成的曲线;轨迹集合是指全部位置点的操作轨道构成的集合。
本实施例中,操作属性是指对手术操作的操作对象,例如医生的手指、手腕、手臂为同一属性,指定创伤是针对于患者的为另一个属性。
本实施例中,划分位置点是指根据不同的操作对象对定位位置点进行划分,得到对应划分对象的定位位置点。
本实施例中,第一目标操作是针对于对应划分对象的定位位置点操作轨迹的;第二目标操作是针对于同一定位位置点在视觉上的能量损耗的;综合操作是指第一操作以及第二操作的融合操作。
本实施例中,操作轮廓是指一个时间点的综合操作。
本实施例中,连贯性分析是指对同一定位位置点的当前时间点的综合操作与上一时间点或下一时间点的综合操作之间的连贯性进行分析,且不连贯轮廓例如,是抖动轮廓,即第一轮廓上的A点与第二轮廓上的B点并未构成一个光滑的移动曲线,而是存在抖动痕迹,此时可以是很细微的抖动,肉眼可以忽略不计的类型,但是需要仪器监测出来。
本实施例中,预设修正数据库是存储有不连贯等级以及其对应等级综合操作调整数据的数据库,比如,对其的抖动进行调整。
上述技术方案的有益效果:本发明在建立当前手术的初始力度模型前,对采集的医生的操作手势进行优化,确保建立力度模型的操作是标准的,保证了佩戴者第一次学习的手术操作姿势的正确性,有利于佩戴者养成良好的操作姿势以及操作习惯。
实施例10:
一种基于5G的VR医疗学习系统,如图4所示,包括:
图像采集模块,用于基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
数据处理模块,用于基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
VR模拟模块,用于基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
上述技术方案的有益效果是:本发明解决了医疗教学局限于教室以及实操机会少的问题,有利于学生巩固医学基础理论、掌握基本操作技能、提高独立操作能力及分析问题和解决问题的能力,同时,5G传输解决了VR使用时卡顿、头晕等不好体验,更是提升了传输效率,增强了VR真实感。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于5G的VR医疗学习方法,其特征在于:
步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
步骤3:基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
2.根据权利要求1所述的一种基于5G的VR医疗学习方法,其特征在于:步骤1:基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端,包括:
步骤1.1:根据手术内容,确定拍摄设备摆放位置,并从多个方向同时进行实时拍摄;
步骤1.2:拍摄过程中对医生的手势进行高频捕捉;
步骤1.3:基于5G技术,将拍摄结果传送至VR终端。
3.根据权利要求1所述的一种基于5G的VR医疗学习方法,其特征在于:步骤2:基于VR终端对拍摄结果进行预处理,得到三维虚拟场景,包括:
步骤2.1:VR终端接收拍摄原始影像,并将所述原始影像存储进教学资源库;
步骤2.2:将所述原始影像进行图像和音频处理,得到音频信息以及图像信息;
步骤2.3:根据所述图像信息建立当前手术三维模型,同时,将所述音频信息匹配到所述当前手术三维模型,实现更新,并建立手术三维虚拟场景。
4.根据权利要求3所述的一种基于5G的VR医疗学习方法,其特征在于:将所述音频信息匹配到所述当前手术三维模型,实现更新的过程中,包括:
获取所述音频信息,并提取手术内容关键词,根据所述关键词,获取主要音频信息,将所述主要音频信息转化为文字信息;
将所述文字信息发送给检测终端,基于所述检测终端,由对应医生对所述文字信息进行修正;
将修正文字信息进行凝练生成模拟手术须知,并在所述佩戴者模拟手术的关键位置进行注意事项提醒。
5.根据权利要求1所述的一种基于5G的VR医疗学习方法,其特征在于:步骤3:实时展示整个诊治及手术过程,供佩戴者观看学习之后,还包括:
供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟,包括:
步骤a:接收佩戴者在VR终端输入的查询指令,获取当前手术内容,同时,推送相关模拟手术须知供用户阅读,且当所述佩戴者阅读完成之后,进入模拟手术,供所述佩戴者选择是否观看手术操作原始影像,若选择观看手术操作原始影像,根据所述佩戴者对观看视角的选择,进行相应视角影像的播放;
否则,直接进入模拟手术;
步骤b:在所述佩戴者进行模拟手术操作过程中,获取所述佩戴者的第一次操作信息,所述操作信息包括佩戴者持对应手术设备对虚拟患者的目标伤处的操作力度以及切割深度信息;
步骤c:基于医生的标准操作信息,对佩戴者的第一次操作信息进行第一判断,判断所述佩戴者的操作姿势是否正确,如正确,提醒佩戴者进行下一步操作;
否则,获取所述佩戴者的第一错误操作和第二错误操作,将第一错误操作与所述医生的第一标准操作进行对比,获得第一操作误差,同时,将第二错误操作与所述医生的第二标准操作进行对比,获得第二操作误差;
基于所述第一操作误差和所述第二操作误差生成操作失误报告,并根据当前手术关键词,获取第三错误操作;
步骤d:根据标准操作以及所述第三错误操作生成第一语音提示所述佩戴者进行第二次操作,并进行第二判断,判断所述佩戴者的所述第二次操作是否正确,若所述第二次操作正确,提醒所述佩戴者进行下一操作;
否则,获取第二次操作过程,对比第一次操作过程,获得已修正操作,并根据所述已修正操作对第三错误操作进行修正,获得第四错误操作;
步骤e:根据第四错误操作以及标准操作生成所述佩戴者的个人练习片段,并生成第二语音,提示所述佩戴者在所述个人练习片段内进行相应操作。
6.根据权利要求2所述的一种基于5G的VR医疗学习方法,其特征在于:步骤1.2:拍摄过程中对医生的手势进行高频捕捉,包括:
获取所述医生手势的全部高频捕捉图像,采集医生手势的第一特征以及第二特征,所述第一特征是指所述医生指关节运动轨迹以及手指变形情况,所述第二特征是指所述医生手腕以及肘关节运动轨迹;
对所述第一特征进行力学分析获得所述医生操作力度变化的第一数据包,并建立第一时间轴;
根据第二特征获得所述医生操作的方向变化的第二数据包,并建立第二时间轴;
根据第一时间轴和第二时间轴对第一数据包以及第二数据包进行融合,获取第三数据包,并建立当前手术的初始力度模型;
获取当前手术的第三特征,基于5G互联网,获得与所述第三特征相关的多个历史手术记录,获取所述多个历史手术记录的操作力度信息作为第四数据包;所述第三特征包括当前手术创口位置以及病变情况,还包括手术的切割深度;
根据第四数据包对所述初始力度模型进行修正,获取最终手术力度模型。
7.根据权利要求6所述的一种基于5G的VR医疗学习方法,其特征在于:当无法基于5G互联网,获得与所述第三特征相关的多个历史手术记录之后,还包括;
获取对应模拟手术的第四特征;
利用VR终端的手部设备采集所述佩戴者模拟手术的操作手势,并获得第四收据包;
将第三特征与第四特征进行对比,获取偏差系数,判断所述偏差系数是否在预设允许范围内,若在预设允许范围内,继续使用所述初始力度模型;
否则,将第三数据包和第四数据包进行对比,获得误差数据,根据所述误差数据,将所述初始力度模型进行修正,获取最终手术力度模型。
8.根据权利要求5所述的一种基于5G的VR医疗学习方法,其特征在于:供所述佩戴者在VR终端查询所述医生对应的手术内容并进行手术模拟时,将音频信息根据佩戴者的练习时间对应更新,包括:
基于所述拍摄原始影像获取视频帧信息,根据所述视频帧信息,确定所述图像信息与所述音频信息的对应关系;
对所述三维虚拟场景进行练习阶段划分,记录所述佩戴者在同个阶段的练习次数以及每次的练习时长,进而获取第一变化函数,根据所述第一变化函数,预估所述佩戴者在当前练习阶段的第一预估练习时长;
获取当前练习阶段对应的原始音频,获取所述原始音频的多个独立音频,并基于所述第一预估练习时长对所述多个独立音频进行第一次重组,得到所述第一有效音频,所述多个独立音频是根据原始音频拆分得到的能完整表达原始音频信息;
当所述佩戴者对当前练习阶段进行下次练习操作时,记录实际操作时长;
若所述实际操作时长小于所述第一有效音频时长,确定所述第一有效音频不能在当前练习阶段完整播放,判定所述佩戴者熟练掌握当前练习阶段内容,并将所述当前练习阶段的语音隐藏;
否则,根据所述实际操作时长更新时间第一变化函数,得到第二变化函数;
根据所述第二变化函数计算当前阶段练习的第二预估练习时长,并对所述多个简单语句进行第二次重组,获得第二有效音频。
9.根据权利要求6所述的一种基于5G的VR医疗学习方法,其特征在于:建立当前手术的初始力度模型前,对采集的医生的操作手势进行优化,包括:
对医生手势的全部高频捕捉图像进行定位,基于时间轴,确定同一定位位置点的像素点的灰度变化,基于所述灰度变化确定同一定位位置点的视觉能耗曲线;
根据定位的统一定位位置点的变化曲线,确定所述医生的每个位置点的操作轨迹,获得轨迹集合;
对所述医生的操作对象按照操作属性进行对象划分,确定每个划分对象的划分位置点;
根据所述划分位置点,从所述轨迹集合中提取对应划分对应的操纵轨迹,构建对应划分对应的第一目标操作;
同时,根据每个操作轨迹对应的所有视觉能耗曲线,获得每个划分对象对应的第二目标操作;
根据所述第一目标操作以及第二目标操作,得到所述医生的综合操作;
获取所述综合操作对应的每个时间点的操作轮廓,并对所述操作轮廓进行连贯性分析,判断是否存在不连贯轮廓;
若存在,将所述不连贯轮廓进行标定,并判断所述不连贯轮廓的不连贯等级,根据所述不连贯等级,从预设修正数据库中,获取对应等级的连贯调整方案,对标定的不连贯轮廓进行对应连贯修正,进而得到标准操作;
否则,将判定所述综合操作为标准操作;
基于所述标准操作,作为所述初始力度模型的特征采集;
其中,所述划分对象包括:手腕对象、手指对象以及手臂对象、手术中的指定创伤对象。
10.一种基于5G的VR医疗学习系统,其特征在于:
图像采集模块,用于基于多个方向位置,对医生的整个诊治及手术过程进行实时拍摄,并通过5G技术将拍摄结果传输至VR终端;
数据处理模块,用于基于VR终端对拍摄结果进行预处理,得到三维虚拟场景;
VR模拟模块,用于基于VR终端以及所述三维虚拟场景,实时展示整个诊治及手术过程,供佩戴者观看学习。
CN202110990268.4A 2021-08-26 2021-08-26 一种基于5g的vr医疗学习方法及系统 Withdrawn CN113703574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110990268.4A CN113703574A (zh) 2021-08-26 2021-08-26 一种基于5g的vr医疗学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110990268.4A CN113703574A (zh) 2021-08-26 2021-08-26 一种基于5g的vr医疗学习方法及系统

Publications (1)

Publication Number Publication Date
CN113703574A true CN113703574A (zh) 2021-11-26

Family

ID=78655395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990268.4A Withdrawn CN113703574A (zh) 2021-08-26 2021-08-26 一种基于5g的vr医疗学习方法及系统

Country Status (1)

Country Link
CN (1) CN113703574A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546118A (zh) * 2022-02-21 2022-05-27 国网河北省电力有限公司保定供电分公司 一种基于vr技术的安全提示方法、装置、介质以及设备
CN114757598A (zh) * 2022-06-15 2022-07-15 潍坊医学院附属医院 基于计算机虚拟仿真的医疗服务平台
CN116312092A (zh) * 2023-03-15 2023-06-23 广东爱唯视医疗科技有限公司 一种基于5g-vr的眼科手术教学平台的示教方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546118A (zh) * 2022-02-21 2022-05-27 国网河北省电力有限公司保定供电分公司 一种基于vr技术的安全提示方法、装置、介质以及设备
CN114757598A (zh) * 2022-06-15 2022-07-15 潍坊医学院附属医院 基于计算机虚拟仿真的医疗服务平台
CN116312092A (zh) * 2023-03-15 2023-06-23 广东爱唯视医疗科技有限公司 一种基于5g-vr的眼科手术教学平台的示教方法

Similar Documents

Publication Publication Date Title
CN107067856B (zh) 一种医学模拟训练系统和方法
CN113703574A (zh) 一种基于5g的vr医疗学习方法及系统
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN108764120B (zh) 一种人体规范动作评价方法
Limbu et al. Using sensors and augmented reality to train apprentices using recorded expert performance: A systematic literature review
Coles et al. Integrating haptics with augmented reality in a femoral palpation and needle insertion training simulation
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
CN107485826B (zh) 基于虚拟现实技术的手部康复训练系统
WO2005084209A2 (en) Interactive virtual characters for training including medical diagnosis training
CN113505662B (zh) 一种健身指导方法、装置及存储介质
CN106156398A (zh) 用于计算机辅助地模拟外科手术的设备和方法
CN116880701B (zh) 基于全息设备的多模态交互方法及系统
CN115035767A (zh) 一种基于ar和拟人化模型的脊柱手术教学培训系统
CN113947809A (zh) 一种基于标准视频的舞蹈动作可视化分析系统
KR20200096155A (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
CN113409651A (zh) 直播健身方法、系统、电子设备、存储介质
US11977679B1 (en) VR rehabilitation training method and system with quantitative evaluation function
CN118380096A (zh) 一种基于算法追踪与虚拟现实的康复训练交互方法及装置
Glushkova et al. Gesture recognition and sensorimotor learning‐by‐doing of motor skills in manual professions: A case study in the wheel‐throwing art of pottery
KR20220057842A (ko) 모션인식 안무학습 장치
CN116747017A (zh) 脑出血手术规划系统及方法
CN110458076A (zh) 一种基于计算机视觉的教学方法及系统
Sung et al. Intelligent haptic virtual simulation for suture surgery
CN111540379B (zh) 临床训练系统及方法
CN115328317A (zh) 一种基于虚拟现实的质控反馈系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211126

WW01 Invention patent application withdrawn after publication