CN115547129A - 一种心脏三维可视化的ar实现系统与方法 - Google Patents

一种心脏三维可视化的ar实现系统与方法 Download PDF

Info

Publication number
CN115547129A
CN115547129A CN202211282600.2A CN202211282600A CN115547129A CN 115547129 A CN115547129 A CN 115547129A CN 202211282600 A CN202211282600 A CN 202211282600A CN 115547129 A CN115547129 A CN 115547129A
Authority
CN
China
Prior art keywords
display area
heart
voice
wearable device
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211282600.2A
Other languages
English (en)
Other versions
CN115547129B (zh
Inventor
黄海平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Medical College
Original Assignee
Zhaoqing Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Medical College filed Critical Zhaoqing Medical College
Priority to CN202211282600.2A priority Critical patent/CN115547129B/zh
Publication of CN115547129A publication Critical patent/CN115547129A/zh
Application granted granted Critical
Publication of CN115547129B publication Critical patent/CN115547129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提出一种心脏三维可视化的AR实现系统与方法。系统包括可穿戴设备，可穿戴设备包括AR显示区域和操作区域；AR显示区域包括AR眼镜和语音播放器；操作区域包括可穿戴手套和投影单元。投影单元将生成的心脏三维立体投影显示图像同时发送给AR显示区域的AR眼镜和开放显示区域显示；语音播放器用于播放语音操作指令；语音指令指示可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。方法包括：当可穿戴设备的当前佩戴者通过操作区域的可穿戴手套执行的操作与所述语音指令不匹配时，通过触觉传感器生成触觉反馈信号。本发明可实现操作者与观察者不同交互的心脏三维可视化交互，提高认知和教学效果。

Description

一种心脏三维可视化的AR实现系统与方法
技术领域
本发明属于增强现实教学领域，尤其涉及一种心脏三维可视化的AR实现系统与方法。
背景技术
临床医学是一类实践性极强的学科。学生能力提升依赖于大量系统化、标准化的训练和实践。增强现实(AR)借用虚拟现实的技术，通过光学投射和实时计算的方式将相关信息叠加至使用者的视野中，增强了使用者与外界环境的交互感受，不仅仅能激发学生的学习热情，还能帮忙学生从不同的视角掌握知识。AR技术能够将影像结果、器官3D模型等虚拟场景注册到真实环境中，提供更加可视化、三维、可互动的效果，因此在实践类场景识别类的医学教学内容中应用更广泛。
发明名称为“一种基于虚拟现实的人体解剖交互系统”的中国发明专利申请公开(公开号CN106293082A，分类号G06F3/01)提出一种基于虚拟现实的人体解剖交互系统，该系统由头戴式显示设备、主机系统、追踪系统、控制器设备组成，利用VR的特性建立出全三维的虚拟环境，并在虚拟环境中导入完整的3D数字人体解剖结构后，显示在虚拟场景之中。通过该系统可以辅助用户进行学习和研究，提高教学和研究效率，降低教学和研究中的成本。
然而，发明人发现，现有的VR/AR/MR教学系统，大多仅关注于当前使用VR/AR/MR的用户(即操作者)的感受和视野，而未考虑教学环境下其他观察者的视野和感受；此外，具体用于心脏三维可视化的AR实现系统也较少。
发明内容
为解决上述技术问题，本发明提出一种心脏三维可视化的AR实现系统与方法。本发明可实现操作者与观察者不同交互的心脏三维可视化交互，提高认知和教学效果。
在本发明的第一个方面，提出一种心脏三维可视化的AR实现系统，所述系统包括：
可穿戴设备，所述可穿戴设备包括AR显示区域和操作区域；
所述AR显示区域包括AR眼镜和语音播放器；
所述操作区域包括可穿戴手套和投影单元，所述可穿戴手套包括多个触觉传感器；
所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像；
所述投影单元与所述AR显示区域通信连接，将所述生成的心脏三维立体投影显示图像同时发送给所述AR显示区域的AR眼镜和开放显示区域显示；
所述开放显示区域为不同于所述可穿戴设备当前佩戴者的AR眼镜的AR显示区域的其他显示区域；
所述语音播放器用于播放语音操作指令；
所述语音指令指示所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。
其中，所述多个触觉传感器配置于所述可穿戴设备的不同位置，所述不同位置包括手套的手掌区域、手背区域以及手指区域。
当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述触觉传感器生成触觉反馈信号。
更具体的，当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述可穿戴手套执行的操作对应的第一位置和所述语音指令操作对应的第二位置；
更具体的，在所述语音播放器播放语音操作指令后，将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域。
在本发明的第二个方面，提出一种心脏三维可视化的AR实现方法，所述方法包括如下步骤：
S1：当前用户佩戴可穿戴设备；
S2：所述可穿戴设备生成心脏的三维立体投影显示图像，并将所述三维立体投影显示图像同时在所述可穿戴设备的AR显示区域和开放显示区域显示；
S3：当前用户通过所述可穿戴设备接收语音操作指令；
S4：当前用户通过所述可穿戴设备执行至少一种操作；
S5：若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，则生成触感反馈信号提示所述当前用户；
其中，所述开放显示区域为不同于所述可穿戴设备的AR显示区域的其他显示区域；
所述步骤S5还包括：
若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
所述步骤S3还包括：将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域。
所述可穿戴设备包括AR眼镜和可穿戴手套；
所述可穿戴设备的显示区域为当前用户通过所述AR眼镜观察的区域；
所述当前用户通过所述可穿戴手套执行所述至少一种操作；
所述可穿戴设备包括投影单元；所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像。
所述方法应用于室内教学，所述开放显示区域为教室空间。
不同于现有技术大多仅关注于当前使用VR/AR/MR的用户(即操作者)的感受和视野，而未考虑教学环境下其他观察者的视野和感受的做法，本发明提出的心脏三维可视化的AR实现系统包括可穿戴设备，可穿戴设备包括AR显示区域和操作区域；AR显示区域包括AR眼镜和语音播放器；操作区域包括可穿戴手套和投影单元。投影单元将生成的心脏三维立体投影显示图像同时发送给AR显示区域的AR眼镜和开放显示区域显示；语音播放器用于播放语音操作指令；语音指令指示可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。
若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
本发明可实现操作者与观察者不同交互的心脏三维可视化交互，提高认知和教学效果。
本发明的更多实施例和改进效果将结合附图和具体实施例进一步介绍。
附图说明
图1是本发明一个实施例的一种心脏三维可视化的AR实现系统功能模块示意图；
图2是图1所述一种心脏三维可视化的AR实现系统包括的可穿戴设备的示意图；
图3是图1所述一种心脏三维可视化的AR实现系统的AR显示区域和操作区域示意图；
图4是一种心脏三维可视化的AR实现方法的步骤流程示意图；
图5是本发明的技术方案应用于室内教学的场景示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
图1是本发明一个实施例的一种心脏三维可视化的AR实现系统包括的可穿戴设备的示意图。
图1所述心脏三维可视化的AR实现系统包括可穿戴设备，所述可穿戴设备包括AR显示区域和操作区域。
所述AR显示区域包括AR眼镜和语音播放器；所述操作区域包括可穿戴手套和投影单元，所述可穿戴手套包括多个触觉传感器。
作为具体的实施例，所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像。
在本实施例中，该三维立体投影单元通过光学投射和实时计算的方式将心脏的三维立体投影叠加至当前使用者的视野中,同时还将心脏的三维立体投影在其他观察者的视野中显示。
作为一个具体的实施方式，可通过医学影像，即CT/MRI等得到的二维断层心脏数字影像数据,通过专业的医学影像人员对数据的解析得到心脏3D数字模型的参数/心脏各结构的尺寸等,再结合心脏解剖实物模型和解剖图谱等资料对心脏的形态、结构进行细致观察，最后使用影视行业数字模型处理技术Zbrush软件进行建模、雕刻、渲染步骤制作出理想的心脏模型加载到投影单元中。
因此，在图1的实施例中，所述投影单元与所述AR显示区域通信连接，将所述生成的心脏三维立体投影显示图像同时发送给所述AR显示区域的AR眼镜和开放显示区域显示。
所述开放显示区域为不同于所述可穿戴设备当前佩戴者的AR眼镜的AR显示区域的其他显示区域。
可以理解，当前佩戴者的AR眼镜的AR显示区域为当前佩戴者(当前使用者)的视野，当前使用者由于配戴AR眼镜，因此，只能在AR眼镜的AR显示区域观察；
而对于除当前使用者之外的其他观察者来说，其能看到的显示区域为开放显示区域。
作为实例，当在室内教学时，所述开放显示区域为教室空间，此时，可通过全息投影、三维投影等方式，使得开放显示区域显示的心脏的三维立体投影显示图像与当前佩戴者的AR眼镜的AR显示区域显示的心脏的三维立体投影显示图像同步。
在图1中，所述语音播放器用于播放语音操作指令；所述语音指令指示所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。
可以理解，语音操作指令可由教学者、考核者发出，例如指示当前使用者操作心脏的三维立体结构中的某个部分，以考核使用者是否正确辨识相关结构。
图2是图1所述一种心脏三维可视化的AR实现系统包括的可穿戴设备的示意图。
在图2中，示出所述可穿戴设备包括可穿戴眼镜120、可穿戴手套110；
其中，可穿戴眼镜包括眼镜支架121、123以及眼镜显示镜片122；可穿戴手套110包括固定手环111、触觉传感器112以及灯光指示件113。
虽然未示出，所述触觉传感器112为多个，所述多个触觉传感器配置于所述可穿戴设备的不同位置，所述不同位置包括手套的手掌区域、手背区域以及手指区域。
当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述触觉传感器生成触觉反馈信号，使得当前使用者感觉到所述反馈信号指示；
与此同时，当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述灯光指示件113生成灯光指示信号，使得其他观测者感觉到所述灯光信号指示；
所述多个触觉传感器配置于所述可穿戴设备的不同位置，不同位置的触觉传感器生成不同的触觉反馈信号的同时，对应的灯光指示件113生成灯光指示信号的颜色、闪烁频率不同，以使得其他观测者感觉到所述灯光信号指示的同时意识到不同位置的操作。
图3是图1所述一种心脏三维可视化的AR实现系统的AR显示区域和操作区域示意图。
在图3中，进一步示出所述AR显示区域包括AR眼镜和语音播放器；所述操作区域包括可穿戴手套和投影单元，所述可穿戴手套包括多个触觉传感器；所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像；所述投影单元与所述AR显示区域通信连接，将所述生成的心脏三维立体投影显示图像同时发送给所述AR显示区域的AR眼镜和开放显示区域显示。
结合图1-图3，当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述可穿戴手套执行的操作对应的第一位置和所述语音指令操作对应的第二位置。
显然，第一位置是当前使用者的操作位置(错误操作位置)，第二位置是语音指令指示的操作位置(正确操作位置)，对比显示所述可穿戴手套执行的操作对应的第一位置和所述语音指令操作对应的第二位置，能够使得其他观测者更能够直观的感受到正确与错误的对比，提升视觉效果。
同时，由于其他观测者是在开放显示区域观察，为了从视觉上进一步加深印象，在所述语音播放器播放语音操作指令后，将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域，以便观测者能够清晰的知晓当前语音操作指令。
基于图1-图3的硬件架构和原理，参见图4，实现为一种心脏三维可视化的AR实现方法，所述方法包括步骤S1-S5，各个步骤具体实现如下：
S1：当前用户佩戴可穿戴设备；
S2：所述可穿戴设备生成心脏的三维立体投影显示图像，并将所述三维立体投影显示图像同时在所述可穿戴设备的AR显示区域和开放显示区域显示；
S3：当前用户通过所述可穿戴设备接收语音操作指令；
S4：当前用户通过所述可穿戴设备执行至少一种操作；
S5：若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，则生成触感反馈信号提示所述当前用户；
其中，所述开放显示区域为不同于所述可穿戴设备的AR显示区域的其他显示区域；
所述步骤S5还包括：
若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
所述步骤S3还包括：将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域。
在图4的实施例中，所述可穿戴设备包括AR眼镜和可穿戴手套；
所述可穿戴设备的显示区域为当前用户通过所述AR眼镜观察的区域；
所述当前用户通过所述可穿戴手套执行所述至少一种操作；
所述可穿戴设备包括投影单元；所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像。
作为一个具体的实施例，可穿戴手套包括固定手环、多个触觉传感器以及灯光指示件。
所述多个触觉传感器配置于所述可穿戴设备的不同位置，所述不同位置包括手套的手掌区域、手背区域以及手指区域。
所述步骤S5进一步包括：
当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述触觉传感器生成触觉反馈信号，使得当前使用者感觉到所述反馈信号指示；
与此同时，当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述灯光指示件生成灯光指示信号，使得其他观测者感觉到所述灯光信号指示；
所述多个触觉传感器配置于所述可穿戴设备的不同位置，不同位置的触觉传感器生成不同的触觉反馈信号的同时，对应的灯光指示件生成灯光指示信号的颜色、闪烁频率不同，以使得其他观测者感觉到所述灯光信号指示的同时意识到不同位置的操作。
可以看到，不同于现有技术大多仅关注于当前使用VR/AR/MR的用户(即操作者)的感受和视野，而未考虑教学环境下其他观察者的视野和感受的做法，本发明提出的上述实施例可以通过多角度、多种型号反馈的方式来实现操作者与观察者不同交互的心脏三维可视化交互，提高认知和教学效果。
本发明的技术方案尤其可以适用于室内医学结构教学，例如室内心脏结构教学。
以图4所述方法应用于室内教学，所述开放显示区域为教室空间为例，参见图5，图5是本发明的技术方案应用于室内教学的场景示意图。
在图5中，AR显示区域为当前使用者的可穿戴设备的AR眼镜的显示区域，开放显示区域为教室，例如教室前台的空间，为其他观测者所感知。
图5示出了在教室前台三维立体通过AR技术实现的心脏的三维立体投影显示图像，其中包含心脏及其附属结构的各个子部分，以A-B-C-D(心脏主结构)、a-b-c-d-e-f-g(附属结构)为表征。
可以理解，A-B-C-D(心脏主结构)、a-b-c-d-e-f-g(附属结构)构成的心脏的三维立体投影显示图像同时显示在AR显示区域的AR眼镜和开放显示区域。
当某个使用者或者被考核者用户佩戴可穿戴设备之后，教学人员或者考核人员发出语音指令指示使用者或者被考核者用户执行对应操作，例如用手指标识出某个心脏结构(例如C)或者附属结构(例如f)，当前用户通过所述可穿戴设备接收语音操作指令后执行上述操作。
若当前用户执行的所述操作与所述语音操作指令不匹配，则生成触感反馈信号提示所述当前用户；
具体的，通过至少一个所述触觉传感器生成触觉反馈信号，使得当前使用者感觉到所述反馈信号指示；
与此同时，当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述灯光指示件生成灯光指示信号，使得其他观测者感觉到所述灯光信号指示；
作为进一步的改进，若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
显然，第一位置是当前使用者的操作位置(错误操作位置)，第二位置是语音指令指示的操作位置(正确操作位置)，对比显示所述可穿戴手套执行的操作对应的第一位置和所述语音指令操作对应的第二位置，能够使得其他观测者更能够直观的感受到正确与错误的对比，提升视觉效果。
同时，由于其他观测者是在开放显示区域观察，为了从视觉上进一步加深印象，在所述语音播放器播放语音操作指令后，将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域，以便观测者能够清晰的知晓当前语音操作指令。
本发明提出的心脏三维可视化的AR实现系统包括可穿戴设备，可穿戴设备包括AR显示区域和操作区域；AR显示区域包括AR眼镜和语音播放器；操作区域包括可穿戴手套和投影单元。投影单元将生成的心脏三维立体投影显示图像同时发送给AR显示区域的AR眼镜和开放显示区域显示；语音播放器用于播放语音操作指令；语音指令指示可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。
若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
本发明可实现操作者与观察者不同交互的心脏三维可视化交互，提高认知和教学效果。
本发明的上述实施例可以通过计算机程序指令的形式自动化的实现，并且可根据实际需要显示不同数量的心脏结构子部分和附属子部分。
当采用程序指令实现时，假设初始状态下生成的初始心脏三维立体投影显示图像A1包括N个心脏结构子部分和M个附属结构子部分，M、N均大于1。
以图5为例，其中N＝4，M＝5；
假设当前语音指令指示用户标识出x个心脏结构子部分和y个附属结构子部分,
而用户实际上本次操作流程仅正确标识出z个心脏结构子部分和w个附属结构子部分,
则重新生成的心脏三维立体投影显示图像A2包括N1个心脏结构子部分和M1个附属结构子部分；
其中，x＜N1＜N,y＜M1＜M；
并且初始心脏三维立体投影显示图像A1和重新生成的心脏三维立体投影显示图像A2满足如下条件：
Figure BDA0003898779420000121
其中，Area(A1)为初始心脏三维立体投影显示图像A1的第一投影面积，Area(A2)为重新生成的心脏三维立体投影显示图像A2的第二投影面积。
第一投影面积为当前佩戴者的视线方向的投影面积，第而投影面积为其他观测者的视线方向的投影面积。
需要注意的是，本发明的每个实施例均可以单独解决部分技术问题，其组合可以解决全部技术问题，但是并不要求每一个单独的实施例都解决所有技术问题并达到所有技术效果。
可理解，上述实施例中，结合上下文可知，“当前佩戴者”、“当前使用者”、“被考核用户”等属于同一个概念，“(其他)观察者”、“(其他)观测者”、“观众”等属于同一个概念。由于不同的场景描述需要，采用了不同的表述，但是本领域技术人员结合上下文能够清晰的知悉其含义。
此外，本发明的附图描述仅仅是示意性的组成部分和模块描述，不代表实际设备必然是附图所述的样式、规格或者大小。不同的附图结构之间不存在必然的包含或者被包含关系。不同的附图针对同一个部件可能采用不同的示意框图表示，完全不影响本领域技术人员对技术方案的理解、
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分以及具体实施例部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (10)

1.一种心脏三维可视化的AR实现系统，其特征在于，所述系统包括：
可穿戴设备，所述可穿戴设备包括AR显示区域和操作区域；
所述AR显示区域包括AR眼镜和语音播放器；
所述操作区域包括可穿戴手套和投影单元，所述可穿戴手套包括多个触觉传感器；
所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像；
所述投影单元与所述AR显示区域通信连接，将所述生成的心脏三维立体投影显示图像同时发送给所述AR显示区域的AR眼镜和开放显示区域显示；
所述开放显示区域为不同于所述可穿戴设备当前佩戴者的AR眼镜的AR显示区域的其他显示区域；
所述语音播放器用于播放语音操作指令；
所述语音指令指示所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行相应的操作。
2.如权利要求1所述的一种心脏三维可视化的AR实现系统，其特征在于：
所述多个触觉传感器配置于所述可穿戴设备的不同位置，所述不同位置包括手套的手掌区域、手背区域以及手指区域。
3.如权利要求1所述的一种心脏三维可视化的AR实现系统，其特征在于：
当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，通过至少一个所述触觉传感器生成触觉反馈信号。
4.如权利要求1所述的一种心脏三维可视化的AR实现系统，其特征在于：
当所述可穿戴设备的当前佩戴者通过所述操作区域的所述可穿戴手套执行的操作与所述语音指令不匹配时，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述可穿戴手套执行的操作对应的第一位置和所述语音指令操作对应的第二位置。
5.如权利要求1所述的一种心脏三维可视化的AR实现系统，其特征在于：
在所述语音播放器播放语音操作指令后，将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域。
6.一种心脏三维可视化的AR实现方法，其特征在于，所述方法包括如下步骤：
S1：当前用户佩戴可穿戴设备；
S2：所述可穿戴设备生成心脏的三维立体投影显示图像，并将所述三维立体投影显示图像同时在所述可穿戴设备的AR显示区域和开放显示区域显示；
S3：当前用户通过所述可穿戴设备接收语音操作指令；
S4：当前用户通过所述可穿戴设备执行至少一种操作；
S5：若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，则生成触感反馈信号提示所述当前用户；
其中，所述开放显示区域为不同于所述可穿戴设备的AR显示区域的其他显示区域；
所述步骤S5还包括：
若当前用户执行的所述至少一种操作与所述语音操作指令不匹配，在所述开放显示区域显示的心脏三维立体投影显示图像上生成对比信息，所述对比信息用于对比显示所述当前用户执行的当前操作对应的第一位置和所述语音指令操作对应的第二位置。
7.如权利要求6所述的一种心脏三维可视化的AR实现方法，其特征在于：
所述步骤S3还包括：将所述语音操作指令转换成操作文字序列，显示在所述开放显示区域。
8.如权利要求6所述的一种心脏三维可视化的AR实现方法，其特征在于：所述可穿戴设备包括AR眼镜和可穿戴手套；
所述可穿戴设备的显示区域为当前用户通过所述AR眼镜观察的区域；所述当前用户通过所述可穿戴手套执行所述至少一种操作。
9.如权利要求6所述的一种心脏三维可视化的AR实现方法，其特征在于：
所述可穿戴设备包括投影单元；所述投影单元为三维立体投影单元，用于生成心脏的三维立体投影显示图像。
10.如权利要求6所述的一种心脏三维可视化的AR实现方法，其特征在于：所述方法应用于室内教学，所述开放显示区域为教室空间。
CN202211282600.2A 2022-10-19 2022-10-19 一种心脏三维可视化的ar实现系统与方法 Active CN115547129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211282600.2A CN115547129B (zh) 2022-10-19 2022-10-19 一种心脏三维可视化的ar实现系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211282600.2A CN115547129B (zh) 2022-10-19 2022-10-19 一种心脏三维可视化的ar实现系统与方法

Publications (2)

Publication Number Publication Date
CN115547129A true CN115547129A (zh) 2022-12-30
CN115547129B CN115547129B (zh) 2023-10-03

Family

ID=84735924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211282600.2A Active CN115547129B (zh) 2022-10-19 2022-10-19 一种心脏三维可视化的ar实现系统与方法

Country Status (1)

Country Link
CN (1) CN115547129B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003257905A1 (en) * 2003-03-14 2004-09-30 Ian Schubach Training System and Method
AU2002248993B2 (en) * 2001-04-20 2006-12-07 Careers Fast Track Pty Ltd Interactive learning and career management system
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN205537314U (zh) * 2015-11-27 2016-08-31 朱云海 一种3d虚拟现实实战训练系统
CN205563458U (zh) * 2016-03-25 2016-09-07 深圳青橙视界数字科技有限公司 智能头戴设备及智能穿戴系统
CN205943274U (zh) * 2016-04-13 2017-02-08 肇庆医学高等专科学校 新型颈椎教学训练模型
CN106873775A (zh) * 2017-01-16 2017-06-20 深圳中科呼图电子商务有限公司 一种虚拟现实交互的实现方法、系统及mr手套
CN206532433U (zh) * 2017-01-17 2017-09-29 湖南六新智能科技有限公司 一种vr助产教学互动系统
CN108882854A (zh) * 2016-03-21 2018-11-23 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN109273091A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种基于术中数据的经皮肾镜取石虚拟手术系统
CN210605634U (zh) * 2019-01-06 2020-05-22 瑞意创科股份有限公司 用于虚拟现实的手部动作感知装置及其手套组件
CN212341836U (zh) * 2020-06-23 2021-01-12 广州虚拟动力网络技术有限公司 一种数据手套及虚拟现实系统
CN212661922U (zh) * 2020-07-21 2021-03-09 中国科学技术大学 一种基于头戴式三维增强现实设备的手术训练和导航装置
CN112735242A (zh) * 2020-12-31 2021-04-30 厦门立方幻境科技有限公司 具备交互式反馈的分娩教学方法与计算机辅助装置
CN112738443A (zh) * 2021-01-07 2021-04-30 浙江德维迪亚数字科技有限公司 一种基于ar眼镜的智能化现场记录用交互系统
CN113109943A (zh) * 2021-04-06 2021-07-13 深圳市思麦云科技有限公司 一种基于xr的模拟多人交互系统
CN113223389A (zh) * 2021-05-18 2021-08-06 北京大学 一种基于ar技术的心肺复苏自助培训考核系统
US11138802B1 (en) * 2020-04-06 2021-10-05 Saudi Arabian Oil Company Geo-augmented field excursion for geological sites
CN114550563A (zh) * 2022-02-28 2022-05-27 杭州师范大学 一种基于ar技术的多场景cpr护理教学实验系统
CN217562004U (zh) * 2022-05-31 2022-10-11 北京锋尚互动娱乐科技有限公司 一种vr手套及vr系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002248993B2 (en) * 2001-04-20 2006-12-07 Careers Fast Track Pty Ltd Interactive learning and career management system
AU2003257905A1 (en) * 2003-03-14 2004-09-30 Ian Schubach Training System and Method
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN205537314U (zh) * 2015-11-27 2016-08-31 朱云海 一种3d虚拟现实实战训练系统
CN108882854A (zh) * 2016-03-21 2018-11-23 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN205563458U (zh) * 2016-03-25 2016-09-07 深圳青橙视界数字科技有限公司 智能头戴设备及智能穿戴系统
CN205943274U (zh) * 2016-04-13 2017-02-08 肇庆医学高等专科学校 新型颈椎教学训练模型
CN106873775A (zh) * 2017-01-16 2017-06-20 深圳中科呼图电子商务有限公司 一种虚拟现实交互的实现方法、系统及mr手套
CN206532433U (zh) * 2017-01-17 2017-09-29 湖南六新智能科技有限公司 一种vr助产教学互动系统
CN109273091A (zh) * 2017-07-17 2019-01-25 云南师范大学 一种基于术中数据的经皮肾镜取石虚拟手术系统
CN210605634U (zh) * 2019-01-06 2020-05-22 瑞意创科股份有限公司 用于虚拟现实的手部动作感知装置及其手套组件
US11138802B1 (en) * 2020-04-06 2021-10-05 Saudi Arabian Oil Company Geo-augmented field excursion for geological sites
CN212341836U (zh) * 2020-06-23 2021-01-12 广州虚拟动力网络技术有限公司 一种数据手套及虚拟现实系统
CN212661922U (zh) * 2020-07-21 2021-03-09 中国科学技术大学 一种基于头戴式三维增强现实设备的手术训练和导航装置
CN112735242A (zh) * 2020-12-31 2021-04-30 厦门立方幻境科技有限公司 具备交互式反馈的分娩教学方法与计算机辅助装置
CN112738443A (zh) * 2021-01-07 2021-04-30 浙江德维迪亚数字科技有限公司 一种基于ar眼镜的智能化现场记录用交互系统
CN113109943A (zh) * 2021-04-06 2021-07-13 深圳市思麦云科技有限公司 一种基于xr的模拟多人交互系统
CN113223389A (zh) * 2021-05-18 2021-08-06 北京大学 一种基于ar技术的心肺复苏自助培训考核系统
CN114550563A (zh) * 2022-02-28 2022-05-27 杭州师范大学 一种基于ar技术的多场景cpr护理教学实验系统
CN217562004U (zh) * 2022-05-31 2022-10-11 北京锋尚互动娱乐科技有限公司 一种vr手套及vr系统

Also Published As

Publication number Publication date
CN115547129B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
Bernardo Virtual reality and simulation in neurosurgical training
CN107067856B (zh) 一种医学模拟训练系统和方法
Livingston et al. Resolving multiple occluded layers in augmented reality
Alaraj et al. Virtual reality training in neurosurgery: review of current status and future applications
Sielhorst et al. An augmented reality delivery simulator for medical training
CN111465970A (zh) 用于教导患者护理的增强现实系统
US20100159434A1 (en) Mixed Simulator and Uses Thereof
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
Müller et al. Virtual reality in surgical arthroscopic training
CN111553979B (zh) 基于医学影像三维重建的手术辅助系统及方法
CN110136522A (zh) 颅底手术模拟教学培训系统
CN108961893A (zh) 一种基于vr设备的虚拟现实交互仿真实训系统
Müller et al. The virtual reality arthroscopy training simulator
CN105487653B (zh) 实现虚拟现实场景的方法及系统
CN213483158U (zh) 腹腔镜模拟器
CN115547129B (zh) 一种心脏三维可视化的ar实现系统与方法
Andersen et al. Augmented visual instruction for surgical practice and training
KR20040084243A (ko) 인공고관절 가상 시술 시뮬레이션 시스템
EP3621084A1 (en) A system and a method for generating a virtual reality environment for exercises via a wearable display
Cai et al. Development and application of vr support system for medical students
Nesamalar et al. An introduction to virtual reality techniques and its applications
Henshall et al. Towards a high fidelity simulation of the kidney biopsy procedure
JP2000112334A (ja) 運転操作訓練装置
Faulkner et al. Guidelines for establishing a virtual reality lab [medical applications]
Wieben Virtual and augmented reality in medicine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant