CN116486661A - 基于vr的脑血管病教学展示系统及方法 - Google Patents
基于vr的脑血管病教学展示系统及方法 Download PDFInfo
- Publication number
- CN116486661A CN116486661A CN202310451148.6A CN202310451148A CN116486661A CN 116486661 A CN116486661 A CN 116486661A CN 202310451148 A CN202310451148 A CN 202310451148A CN 116486661 A CN116486661 A CN 116486661A
- Authority
- CN
- China
- Prior art keywords
- video
- demonstration
- module
- user
- note
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000026106 cerebrovascular disease Diseases 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 31
- 208000024172 Cardiovascular disease Diseases 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 208000018997 giddiness Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000030090 Acute Disease Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 208000031169 hemorrhagic disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 208000023589 ischemic disease Diseases 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及虚拟现实技术领域，具体公开了基于VR的脑血管病教学展示系统及方法，系统包括：模型创建模块，用于根据临床案例创建脑血管病变人体模型以及虚拟演示场景；VR交互模块，用于在验证用户身份后，显示放置有脑血管病变人体模型的虚拟演示场景，还用于生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；展示模块，用于在验证用户身份后，在虚拟演示场景中创建虚拟摄像机，还用于接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示。采用本发明的技术方案能够有效提高教学效果。
Description
技术领域
本发明涉及虚拟现实技术领域，特别涉及基于VR的脑血管病教学展示系统及方法。
背景技术
脑血管疾病是发生在脑部血管，因颅内血液循环障碍而造成脑组织损害的一组疾病。“脑血管意外”、“卒中”和“中风”等都属于脑血管疾病。临床上以急性发病居多，多为中、老年患者，表现为半身不遂、言语障碍等。急性脑血管病一般分为缺血性和出血性两类。
目前脑血管疾病的培训和学习主要采用实体模型或者通过视频、图像等进行讲解，学习效果较差。而在临床教学时，要在演示床上模拟临床救治病患。而在老师教学时，多为三五个同学一起围在床边进行观看学习，而在学生较多的状况下，后排的学生多会看不清教师的操作，从而造成教学质量严重下降，影响学生学习。
为此，需要一种能够有效提高教学效果的基于VR的脑血管病教学展示系统及方法。
发明内容
本发明的目的之一在于，提供基于VR的脑血管病教学展示系统，能够有效提高教学效果。
为了解决上述技术问题，本申请提供如下技术方案：
基于VR的脑血管病教学展示系统，包括：
模型创建模块，用于根据临床案例创建脑血管病变人体模型以及虚拟演示场景；
VR交互模块，用于在验证用户身份后，显示放置有脑血管病变人体模型的虚拟演示场景，还用于生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；
展示模块，用于在验证用户身份后，在虚拟演示场景中创建虚拟摄像机，还用于接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示。
基础方案原理及有益效果如下：
本方案中，通过创建脑血管病变人体模型以及虚拟演示场景，可以提供更接近临床的演示环境以及病患，医生可以通过VR交互模块在创建的虚拟演示场景对脑血管病变人体模型进行教学演示，学生可以通过展示模块，以第三人称的视角随意调整观看角度，观看医生的演示，学生的数量不再受限，相比于直接播放医生的第一人称视角，可以避免学生产生眩晕感。根据教学的需要，学生和医生还可以进行设备互换，学生进行操作，医生通过展示模块进行观看，指导。综上，本方案能够有效提高教学效果。
进一步，还包括笔记模块和存储模块；
笔记模块用于在验证用户身份后，显示预设的笔记模板，还用于接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；
VR交互模块还用于在验证用户身份后，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式；
展示模块还用于在演示模式中，从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与用户输入的时间关联；
展示模块还用于演示模式中，接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像；
展示模块还用于从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
存储模块用于对观摩录像和实操录像进行存储，生成对应的地址链接；
笔记模块还用于在确定的输入位置插入观摩录像和演示录像的地址链接。
在医生操作的演示模式中，可以边看医生的演示，边记笔记。学生可以在遇到重点内容时，输入视频录制指令，笔记模块自动将录制的观摩录像和演示录像的地址链接插入的对应笔记的输入位置，减少学生的操作。而且方便学生在后续复习时，即能查看笔记的文字内容，又能查看相应的观摩录像和演示录像。
进一步，所述VR交互模块还用于根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；
VR交互模块还用于在当前模式为实操模式时，接受视频录制指令，将视频录制指令发送至展示模块；
展示模块还用于在实操模式中，根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
存储模块用于对实操录像进行存储，生成对应的地址链接；
展示模块还用于将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；
笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置。
在学生操作时，可以将学生的实操录像地址链接自动插入到对应的对应笔记的输入位置，减少学生的操作。
进一步，所述笔记模块还用于在笔记模板中生成待添加区，将未匹配的实操录像对应的地址链接插入待添加区。
在无法确定实操录像对应的笔记的输入位置时，将未匹配的实操录像对应的地址链接插入待添加区，供学生后续自行编辑。
进一步，所述存储模块还用于计算观摩录像、实操录像和实操录像的存储时间，在任一录像的存储时间达到指定时间后，删除对应的录像。
避免录像长时间占用存储空间。
进一步，所述存储模块还用于记录观摩录像、实操录像和实操录像的调用次数，根据不同的调用次数设置不同的指定时间，其中，调用次数越多，指定时间越长。
避免未被查看的录像长时间占用存储空间。
本发明的目的之二在于，提供基于VR的脑血管病教学展示方法，包括如下内容：
S1、通过模型创建模块根据临床案例创建脑血管病变人体模型以及虚拟演示场景；
S2、通过VR交互模块验证用户身份，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式，显示放置有脑血管病变人体模型的虚拟演示场景，生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；
S3、通过展示模块验证用户身份，在虚拟演示场景中创建虚拟摄像机，接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示；
S4、通过笔记模块验证用户身份，显示预设的笔记模板，接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；
S5、演示模式中，通过展示模块从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与笔记模块中用户输入的时间关联；
S6、演示模式中，通过展示模块接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像；从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
S7、通过存储模块对观摩录像和实操录像进行存储，生成对应的地址链接；
S8、笔记模块在确定的输入位置插入观摩录像和演示录像的地址链接。
进一步，所述步骤S2中，根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；将用户的手部动作同步至虚拟操作者的手部，使虚拟操作者对脑血管病变人体模型进行操作；
还包括：
S9、实操模式中，VR交互模块接受视频录制指令，将视频录制指令发送至展示模块；
S10、实操模式中，展示模块根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
S11、存储模块对实操录像进行存储，生成对应的地址链接；
S12、展示模块将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，执行步骤S13，如果未匹配成功，执行步骤S14；
S13、将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置；
S14、笔记模块在笔记模板中生成待添加区，将未匹配成功的实操录像对应的地址链接插入待添加区。
附图说明
图1为基于VR的脑血管病教学展示系统及方法实施例一的逻辑框图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例一
如图1所示，本实施例的基于VR的脑血管病教学展示系统，包括：模型创建模块、VR交互模块、展示模块、笔记模块和存储模块。
模型创建模块用于根据临床案例创建脑血管病变人体模型以及虚拟演示场景；本实施例中，根据临床案例中患者的脑血管病情况创建脑血管病变人体模型，脑血管病变人体模型包括人体头部的皮肤，头骨，以及头骨内的脑血管及脑组织。虚拟演示场景例如手术室。
VR交互模块用于在验证用户身份后，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式。VR交互模块还用于显示放置有脑血管病变人体模型的虚拟演示场景，还用于生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；具体的，VR交互模块还用于根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；显示数据指在渲染出第一人称视角下对应脑血管病变人体模型需要的参数，包括第一人称视角下的画面范围，以及当前画面范围内脑血管病变人体模型的状态，例如头骨内的脑血管处于露出状态。
例如，对脑血管病变人体模型进行手术操作。本实施例中，VR交互模块采用VR头显设备，通过账号密码的形式验证用户身份。
展示模块用于在验证用户身份后，在虚拟演示场景中创建虚拟摄像机，还用于接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示。本实施例中，展示模块采用台式电脑或笔记本电脑，本实施例中采用台式电脑。
笔记模块用于在验证用户身份后，显示预设的笔记模板，还用于接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；本实施例中，笔记模块采用平板电脑，用户通过手写笔或虚拟键盘输入笔记内容。
展示模块还用于在演示模式中，从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与用户输入的时间关联；本实施例中的时间指所在时区的标准时间，例如北京时间。
展示模块还用于演示模式中，接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像。本实施例中，还向前录制预设时间的画面，具体向前录制5秒。
展示模块还用于从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
存储模块用于对观摩录像和实操录像进行存储，生成对应的地址链接；
笔记模块还用于在确定的输入位置插入观摩录像和演示录像的地址链接。
在教学展示中，由医生佩戴VR头显设备设定演示模式，在虚拟演示场景对脑血管病变人体模型进行手术操作，以及在操作过程中进行教学讲解。学生通过台式电脑控制虚拟摄像机，以第三人称视角观看医生的操作，与直接采用医生的第一称视角相比，可以避免学生产生眩晕感。学生在观看操作，听取讲解的时候，还可以通过平板电脑记笔记。当学生发现某一段操作是重点内容时，可以在台式电脑输入视频录制指令，自动录制当前显示的画面，以及对应医生第一人称视角的演示画面，分别生成观摩录像和演示录像，进行存储并生成对应的地址链接；例如，用户输入xxxx笔记内容的时间为10:38，演示录像中演示画面的开始时间也为10:38，在xxxx笔记内容的输入位置插入观摩录像和演示录像的地址链接。
VR交互模块还用于在当前模式为实操模式时，接受视频录制指令，将视频录制指令发送至展示模块；
展示模块还用于在实操模式中，根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
存储模块用于对实操录像进行存储，生成对应的地址链接；
展示模块还用于将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置。
笔记模块还用于在笔记模板中生成待添加区，将未匹配成功的实操录像对应的地址链接插入待添加区。
在医生晚上教学展示后，学生可以佩戴VR头显设备设定实操模式，进行实操演练。在操作过程中，认为某一段操作是重点内容时，可以直接在VR头显设备输入视频录制指令，台式电脑再根据视频录制指令录制学生的第一人称视角的实操画面，生成实操录像；存储模块对实操录像进行存储，生成对应的地址链接。通过对实操录像对应的显示数据与演示录像对应的显示数据进行匹配，以确定当前实操录像的操作对应演示录像的操作，即学生当前的操作对应之前医生的哪一步演示操作，匹配成功后，可以确定当前实操录像对应的笔记的输入位置。将实操录像的地址链接插入确定的输入位置，可以让笔记的内容与实操录像相关联。由于画面都是由三维模型配合参数渲染出来的，通过显示数据进行匹配，相比于直接通过渲染后的画面进行对比匹配，数据的处理量更小。
存储模块还用于计算观摩录像、实操录像和实操录像的存储时间，在任一录像的存储时间达到指定时间后，删除对应的录像。具体的，存储模块还用于记录观摩录像、实操录像和实操录像的调用次数，根据不同的调用次数设置不同的指定时间，其中，调用次数越多，指定时间越长。例如，指定时间为1年，每增加1次调用次数，指定时间增加6个月。
基于VR的脑血管病教学展示系统，本实施例还提供基于VR的脑血管病教学展示方法，包括如下内容：
S1、通过模型创建模块根据临床案例创建脑血管病变人体模型以及虚拟演示场景；
S2、通过VR交互模块验证用户身份，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式，显示放置有脑血管病变人体模型的虚拟演示场景，生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；具体的，根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；将用户的手部动作同步至虚拟操作者的手部，使虚拟操作者对脑血管病变人体模型进行操作。
S3、通过展示模块验证用户身份，在虚拟演示场景中创建虚拟摄像机，接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示；
S4、通过笔记模块验证用户身份，显示预设的笔记模板，接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；
S5、演示模式中，通过展示模块从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与笔记模块中用户输入的时间关联；
S6、演示模式中，通过展示模块接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像；从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
S7、通过存储模块对观摩录像和实操录像进行存储，生成对应的地址链接；
S8、笔记模块在确定的输入位置插入观摩录像和演示录像的地址链接；
S9、实操模式中，VR交互模块接受视频录制指令，将视频录制指令发送至展示模块；
S10、实操模式中，展示模块根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
S11、存储模块对实操录像进行存储，生成对应的地址链接；
S12、展示模块将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，执行步骤S13，如果未匹配成功，执行步骤S14；
S13、将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置。
S14、笔记模块在笔记模板中生成待添加区，将未匹配成功的实操录像对应的地址链接插入待添加区。
实施例二
本实施例和实施例一的区别在于，本实施例的系统中，展示模块将该用户实操录像对应的显示数据与该用户演示录像对应的显示数据进行匹配，如果未匹配成功，还用于将该用户的实操录像对应的显示数据与其他用户录制的演示录像对应的显示数据进行匹配；
如果未匹配成功，笔记模块将未匹配成功的实操录像对应的地址链接插入待添加区；
如果匹配成功，根据匹配成功的其他用户录制的演示录像，确定演示录像中演示画面的开始时间；笔记模块还用于根据演示画面的开始时间，和用户输入的时间确定该用户的实操录像对应的笔记内容在笔记模板中的输入位置；将实操录像的地址链接插入确定的输入位置。
本实施例中，可以通过其他学生录制的演示录像确定演示画面的开始时间，进一步确定该用户的实操录像对应的笔记内容在笔记模板中的输入位置，使实操录像能够准确的插入笔记模板中对应的输入位置。
实施例三
本实施例与实施例二的区别在于，本实施例的系统中，展示模块还用于将该用户的实操录像对应的显示数据与其他用户录制的演示录像对应的显示数据进行匹配，并匹配成功后；
还用于将两个用户录制的演示录像进行匹配，判断是否有匹配成功的演示录像；
如果没有，不进行处理；
如果有，计算匹配成功的两个演示录像中，相同画面出现的时间与开始录像的时间之间的时间间隔，基于两个时间间隔对确定的演示录像中演示画面的开始时间进行修正，修正的公式为：
T1＝T0+(B-A)
其中，T1为修正后的演示画面的开始时间，T0为演示画面的开始时间，A为该用户的演示录像中相同画面出现的时间与开始录像的时间之间的时间间隔，B为其他用户的演示录像中相同画面出现的时间与开始录像的时间之间的时间间隔。
笔记模块还用于根据修正后的演示画面的开始时间，和用户输入的时间确定该用户的实操录像对应的笔记内容在笔记模板中的输入位置。
例如匹配成功的两个演示录像中，该用户演示画面的开始时间为10:38，相同画面出现的时间为10:39，时间间隔为1分钟；其他用户演示画面的开始时间为10:37，相同画面出现的时间为10:39，时间间隔为2分钟，即其他用户习惯提前录制。确定的演示录像中演示画面的开始时间为11:22，根据公式修正后为11:23。
不同的学生录制演示录像的习惯不一样，有的习惯在医生即将进入重点内容讲解时就开始录制，还有的习惯在医生降到重点内容时进行录制，不同的录制习惯会导致演示画面的开始时间不能准确反应笔记内容在笔记模板中的输入位置，导致插入位置不匹配，本实施例能够对其他用户演示画面的开始时间做前移或者后移的修正，可以有效解决这一问题。
以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (8)
1.基于VR的脑血管病教学展示系统，其特征在于，包括：
模型创建模块，用于根据临床案例创建脑血管病变人体模型以及虚拟演示场景；
VR交互模块，用于在验证用户身份后，显示放置有脑血管病变人体模型的虚拟演示场景，还用于生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；
展示模块，用于在验证用户身份后，在虚拟演示场景中创建虚拟摄像机，还用于接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示。
2.根据权利要求1所述的基于VR的脑血管病教学展示系统，其特征在于：还包括笔记模块和存储模块；
笔记模块用于在验证用户身份后，显示预设的笔记模板，还用于接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；
VR交互模块还用于在验证用户身份后，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式；
展示模块还用于在演示模式中，从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与用户输入的时间关联；
展示模块还用于演示模式中，接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像；
展示模块还用于从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
存储模块用于对观摩录像和实操录像进行存储，生成对应的地址链接；
笔记模块还用于在确定的输入位置插入观摩录像和演示录像的地址链接。
3.根据权利要求2所述的基于VR的脑血管病教学展示系统，其特征在于：所述VR交互模块还用于根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；
VR交互模块还用于在当前模式为实操模式时，接受视频录制指令，将视频录制指令发送至展示模块；
展示模块还用于在实操模式中，根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
存储模块用于对实操录像进行存储，生成对应的地址链接；
展示模块还用于将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；
笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置。
4.根据权利要求3所述的基于VR的脑血管病教学展示系统，其特征在于：所述笔记模块还用于在笔记模板中生成待添加区，将未匹配的实操录像对应的地址链接插入待添加区。
5.根据权利要求4所述的基于VR的脑血管病教学展示系统，其特征在于：所述存储模块还用于计算观摩录像、实操录像和实操录像的存储时间，在任一录像的存储时间达到指定时间后，删除对应的录像。
6.根据权利要求5所述的基于VR的脑血管病教学展示系统，其特征在于：所述存储模块还用于记录观摩录像、实操录像和实操录像的调用次数，根据不同的调用次数设置不同的指定时间，其中，调用次数越多，指定时间越长。
7.基于VR的脑血管病教学展示方法，其特征在于，包括如下内容：
S1、通过模型创建模块根据临床案例创建脑血管病变人体模型以及虚拟演示场景；
S2、通过VR交互模块验证用户身份，根据输入的模式设定信息，设定当前模式，当前模式包括演示模式或实操模式，显示放置有脑血管病变人体模型的虚拟演示场景，生成虚拟操作者，追踪用户的头部动作和手部动作，将用户的头部动作和手部动作同步至虚拟操作者，使虚拟操作者执行与脑血管病变人体模型的交互；
S3、通过展示模块验证用户身份，在虚拟演示场景中创建虚拟摄像机，接收视角控制指令，根据视角控制指令调节虚拟摄像机在虚拟演示场景中的位置，通过虚拟摄像机获取虚拟演示场景的画面并显示；
S4、通过笔记模块验证用户身份，显示预设的笔记模板，接收用户的笔记内容输入，记录用户输入的时间和笔记模板中的输入位置；
S5、演示模式中，通过展示模块从VR交互模块获取虚拟操作者的第一人称视角的演示画面，将第一人称视角的演示画面中各图像帧时间与笔记模块中用户输入的时间关联；
S6、演示模式中，通过展示模块接收视频录制指令，根据视频录制指令录制当前显示的画面，以及对应第一人称视角的演示画面，分别生成观摩录像和演示录像；从笔记模块获取用户输入的时间和笔记模板中的输入位置，根据演示录像中演示画面的开始时间，和用户输入的时间确定观摩录像和演示录像对应的笔记内容在笔记模板中的输入位置；
S7、通过存储模块对观摩录像和实操录像进行存储，生成对应的地址链接；
S8、笔记模块在确定的输入位置插入观摩录像和演示录像的地址链接。
8.根据权利要求7所述的基于VR的脑血管病教学展示方法，其特征在于：所述步骤S2中，根据用户的头部动作控制虚拟操作者的第一人称视角，并记录第一人称视角下脑血管病变人体模型的显示数据；将用户的手部动作同步至虚拟操作者的手部，使虚拟操作者对脑血管病变人体模型进行操作；
还包括：
S9、实操模式中，VR交互模块接受视频录制指令，将视频录制指令发送至展示模块；
S10、实操模式中，展示模块根据视频录制指令录制第一人称视角的实操画面，生成实操录像；
S11、存储模块对实操录像进行存储，生成对应的地址链接；
S12、展示模块将实操录像对应的显示数据与演示录像对应的显示数据进行匹配，判断是否匹配成功，如果匹配成功，执行步骤S13，如果未匹配成功，执行步骤S14；
S13、将匹配成功的实操录像对应的地址链接以及演示录像对应的地址链接发送至笔记模块；笔记模块还用于根据接收的演示录像对应的地址链接以及插入的演示录像对应的地址链接，确定所在笔记模板中的输入位置，将实操录像的地址链接插入确定的输入位置；
S14、笔记模块在笔记模板中生成待添加区，将未匹配成功的实操录像对应的地址链接插入待添加区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310451148.6A CN116486661A (zh) | 2023-04-25 | 2023-04-25 | 基于vr的脑血管病教学展示系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310451148.6A CN116486661A (zh) | 2023-04-25 | 2023-04-25 | 基于vr的脑血管病教学展示系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116486661A true CN116486661A (zh) | 2023-07-25 |
Family
ID=87226425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310451148.6A Pending CN116486661A (zh) | 2023-04-25 | 2023-04-25 | 基于vr的脑血管病教学展示系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486661A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116682304A (zh) * | 2023-08-03 | 2023-09-01 | 江西格如灵科技股份有限公司 | 一种虚拟现实环境下的示教方法、系统、存储介质及设备 |
-
2023
- 2023-04-25 CN CN202310451148.6A patent/CN116486661A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116682304A (zh) * | 2023-08-03 | 2023-09-01 | 江西格如灵科技股份有限公司 | 一种虚拟现实环境下的示教方法、系统、存储介质及设备 |
| CN116682304B (zh) * | 2023-08-03 | 2023-11-07 | 江西格如灵科技股份有限公司 | 一种虚拟现实环境下的示教方法、系统、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Condino et al. | How to build a patient‐specific hybrid simulator for orthopaedic open surgery: benefits and limits of mixed‐reality using the Microsoft HoloLens | |
| Carruthers et al. | Validated assessment scales for the mid face | |
| US8953909B2 (en) | System, method, and computer software code for mimic training | |
| US20030044757A1 (en) | Video instructional system and method for teaching motor skills | |
| US7095388B2 (en) | Method and system for developing consistency of motion | |
| KR101816172B1 (ko) | 의료 훈련 시뮬레이션 시스템 및 방법 | |
| CN116486661A (zh) | 基于vr的脑血管病教学展示系统及方法 | |
| Aguilar et al. | Evaluation of a gaze-controlled vision enhancement system for reading in visually impaired people | |
| Blum et al. | Advanced training methods using an augmented reality ultrasound simulator | |
| Frendø et al. | Cochlear implant surgery: Learning curve in virtual reality simulation training and transfer of skills to a 3D-printed temporal bone–A prospective trial | |
| Hartzler et al. | Real-time feedback on nonverbal clinical communication | |
| Azimi et al. | Can mixed-reality improve the training of medical procedures? | |
| CN115643395A (zh) | 一种基于虚拟现实的视觉训练方法和装置 | |
| CN110021203A (zh) | 一种口腔健康教育体验系统、方法及医疗教育装置 | |
| Nguyen et al. | An experimental training support framework for eye fundus examination skill development | |
| Andersson et al. | Developing an AR application for neurosurgical training: lessons learned for medical specialist education | |
| CN111317665A (zh) | 一种针灸引导方法及装置 | |
| Hampiholi | Real-World Deployments of AR In Medical Training and Surgery | |
| CN114613459A (zh) | 一种临床教学中以第一视角学习临床操作的方法及系统 | |
| Rojas-Murillo et al. | Visual learning curves for American sign language (ASL) alphabet | |
| WO2022070747A1 (ja) | アシストシステム、アシスト方法、およびアシストプログラム | |
| Niederhauser et al. | Video learning of surgical procedures: A randomized comparison of microscopic, 2-and 3-dimensional endoscopic ear surgery techniques | |
| US20230047622A1 (en) | VR-Based Treatment System and Method | |
| Majima et al. | Development of Augmented Reality in Learning for Nursing Skills | |
| Louis et al. | When high fidelity matters: AR and VR improve the learning of a 3D Object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |