CN108346458A - 医用教学ar用捕捉叠加系统 - Google Patents

医用教学ar用捕捉叠加系统 Download PDF

Info

Publication number
CN108346458A
CN108346458A CN201810025330.4A CN201810025330A CN108346458A CN 108346458 A CN108346458 A CN 108346458A CN 201810025330 A CN201810025330 A CN 201810025330A CN 108346458 A CN108346458 A CN 108346458A
Authority
CN
China
Prior art keywords
image
eyeshades
additive model
mobile
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810025330.4A
Other languages
English (en)
Inventor
王凯
金筱筱
余军辉
柴泽英
周荷玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810025330.4A priority Critical patent/CN108346458A/zh
Publication of CN108346458A publication Critical patent/CN108346458A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

医用教学AR用捕捉叠加系统，包括AR眼罩，AR眼罩上设图像采集识别装置，内设电脑图像生成及合成装置，图像采集识别装置至少两个，分设于AR眼罩的两端；电脑图像生成及合成装置由图像动态模块，图像生成模块及图像合成模块组成；还配有用于贴附在叠加模型表面的至少一个定位标签，一提供移动捕捉的移动定轨标签；两个图像采集识别装置通过对叠加模型的差距形成叠加模型的景深，并将景深数据时时输入电脑图像生成及合成装置内，由图像动态模块结合移动定轨标签的轨迹数据生成图像变动数据并交付予图像合成模块将动态虚拟图在叠加模型表面在AR眼罩显示屏内呈现。本发明操作简单，识别精准，有利于医用教学质量和效果通过AR技术提高。

Description

医用教学AR用捕捉叠加系统
技术领域
本发明涉及一种医用教学AR系统，具体涉及医用教学AR用捕捉叠加系统。
背景技术
AR是一种增强现实技术，就是将计算机生成的虚拟对象与真实世界结合起来，构造出虚实结合的虚拟空间。计算机生成的虚拟物、场景或系统所提示的一些信息通过AR设备叠加到真实场景中，从而让使用者对计算机生成的虚拟信息在现实世界的各种感官得到增强。
AR技术相对来讲，在各行各业都可以得到广泛的应用，它能在投入极少的情况下带来高效的回报，特别是在辅助教学方面，从各种职业技术至大型的航空航天都可以采用AR技术来实现，当然有些教学需要更加精准的模拟，这是目前AR技术所要大力发展的方向，特别是在医学中，一名好的跟手术有关的医生需要积累长久的临床经验，最终才可以走上岗位，但是外科用的“大体老师”资源又十分有限，教学时人员安排也是有规划的，这样就急需要采用AR技术来弥补这一不足，可是，人体的部位以及部位内的各种组织结构和血管终是很复杂的，如果不能做到精准，那么对于培养一名优秀的医生以及提高技能而言，这无疑还是存在弊端的。
发明内容
本发明的目的就是了解决现有AR技术在医用教学中的不足而提供了一种更加精准模拟的医用教学AR用捕捉叠加系统。
本发明所要解决问题的方案如下：
医用教学AR用捕捉叠加系统，包括佩戴于使用者眼部的具有透明显示屏的AR眼罩，所述AR眼罩上设有图像采集识别装置，AR眼罩内设有电脑图像生成及合成装置，其特征在于：
所述图像采集识别装置至少为两个，分别设于AR眼罩的两端；
所述电脑图像生成及合成装置由图像动态模块，图像生成模块及图像合成模块组成；
对应图像采集识别装置还配有用于贴附在叠加模型表面的至少一个定位标签，一提供移动捕捉的移动定轨标签；
两个图像采集识别装置分别以各自安装的位置至叠加模型的角度，通过对叠加模型的差距形成叠加模型的景深，并将景深数据时时输入电脑图像生成及合成装置的图像动态模块内，由图像动态模块结合移动定轨标签的轨迹数据生成图像变动数据并交付予图像合成模块将动态虚拟图像在叠加模型表面在AR眼罩显示屏内呈现。
所述图像采集识别装置可脱离AR眼罩且放置于所要叠加模型的一侧，该侧位置要求是能将定位标签以及移动定轨标签捕捉到。
该系统还包括一个将所要叠加模型形成部分包围的支架，所述支架上可放置能与AR眼罩无线相连的图像采集识别装置。
所述可供移动捕捉的移动定轨标签可贴覆于教学道具上。
本发明的有益效果如下：
通过至少两个图像采集识别装置对叠加模型识别形成景深数据，电脑图像生成及合成装置通过内设模块将虚拟图像叠加到被叠加模型表面，通过移动定轨标签在叠加模型表面移动，使虚拟图像对应发生变形，操作简单，识别精准，有利于医用教学质量和效果通过AR技术提高。
附图说明：
图1是本发明的框架结构示意图；
图2是本发明的原理结构示意图。
参阅图1、图2，医用教学AR用捕捉叠加系统，包括佩戴于使用者眼部的具有透明显示屏的AR眼罩1，所述AR眼罩1上设有图像采集识别装置11，AR眼罩1内设有电脑图像生成及合成装置12，所述图像采集识别装置11至少为两个，分别设于AR眼罩1的两端；所述电脑图像生成及合成装置12由图像动态模块13，图像生成模块14及图像合成模块15组成；对应图像采集识别装置11还配有用于贴附在叠加模型3表面的至少一个定位标签16，一提供移动捕捉的移动定轨标签17。
两个图像采集识别装置分别以各自安装的位置至叠加模型的角度α、β，角度α和角度β可以相同，但对应叠加模型的方向要不同，通过对叠加模型3的差距形成叠加模型3的景深，根据景深可形成3D模型数据，并将景深数据时时输入电脑图像生成及合成装置12的图像动态模块13内，由图像动态模块13结合移动定轨标签17的轨迹数据生成图像变动数据并交付予图像合成模块15将动态虚拟图在叠加模型3表面在AR眼罩显示屏内呈现。
所述图像采集识别装置11可脱离AR眼罩且放置于所要叠加模型3的一侧，该侧位置要求是能将定位标签16以及移动定轨标签17捕捉到。
该系统还包括一个将所要叠加模型3形成部分包围的支架2，所述支架2上可放置能与AR眼罩无线相连的图像采集识别装置18。
所述可供移动捕捉的移动定轨标签17可贴覆于教学道具19上。
在本发明中，教学道具19可由AR眼罩内设的电脑图像生成及合成装置进行选择和预设。
本发明的实现原理如下：
附图2叠加模型采用人体模形，通过至少两个图像采集识别装置11在不同的位置，针对人体模形形成景深，然后依托景深生成3D模型数据，图像生成模块14先将对应该3D模型数据的人体模形表面皮肤进行渲染，形成逼真的人体图像4并先通过AR眼罩1显示屏显示叠加在人体模形上，然后将定位标签16贴于人体模形表面也就是图像采集识别装置11可见的范围内，将贴有移动定轨标签17的形状与手术刀相同的教学道具19对模形进行手术模拟，此时图像采集识别装置11将移动定轨标签17距离定位标签16的轨迹捕捉生成轨迹数据，然后结合图像动态模块13生成图像变动数据交付图像合成模块15，在轨迹过处生成新的动态虚拟图替换掉之前形成逼真的人体图像4对应的位置，并在AR眼罩显示屏内同步呈现。
如使用教学道具19手术刀在轨迹上形成划开的动作，生成新的动态虚拟图为皮肤划开的效果，然后该处效果替换掉之前形成逼真的人体图像4对应的位置，表现出皮肤划开后呈现内部脂肪以及肌肉的效果。再配合其他的教学道具，可再根据电脑图像生成及合成装置12的内部程序设定，进行抽血，清洗等练习操作。这样就不再需要对着人体模形这样不友好的介面进行练习，而且有些手术对人体模形还要预先放置血包，在练习时特意营造流血的效果，对于人体模形还要进行清洗的麻烦也实现了避免。
并且，在后期对电脑图像生成及合成模块进行升级，还可以直接将教学的对像直接投射到其他物体表面，只不过定位标签16与移动定轨标签17还需要继续使用，而且定位标签16还需要位于虚拟图像对应真实物体的表面。

Claims (4)

1.医用教学AR用捕捉叠加系统，包括佩戴于使用者眼部的具有透明显示屏的AR眼罩，所述AR眼罩上设有图像采集识别装置，AR眼罩内设有电脑图像生成及合成装置，其特征在于：
所述图像采集识别装置至少为两个，分别设于AR眼罩的两端；
所述电脑图像生成及合成装置由图像动态模块，图像生成模块及图像合成模块组成；
对应图像采集识别装置还配有用于贴附在叠加模型表面的至少一个定位标签，一提供移动捕捉的移动定轨标签；
两个图像采集识别装置分别以各自安装的位置至叠加模型的角度，通过对叠加模型的差距形成叠加模型的景深，并将景深数据时时输入电脑图像生成及合成装置的图像动态模块内，由图像动态模块结合移动定轨标签的轨迹数据生成图像变动数据并交付予图像合成模块将动态虚拟图像在叠加模型表面在AR眼罩显示屏内呈现。
2.根据权利要求1所述的医用教学AR用捕捉叠加系统，其特征在于：所述图像采集识别装置可脱离AR眼罩且放置于所要叠加模型的一侧，该侧位置要求是能将定位标签以及移动定轨标签捕捉到。
3.根据权利要求1所述的医用教学AR用捕捉叠加系统，其特征在于：该系统还包括一个将所要叠加模型形成部分包围的支架，所述支架上可放置能与AR眼罩无线相连的图像采集识别装置。
4.根据权利要求1所述的医用教学AR用捕捉叠加系统，其特征在于：所述可供移动捕捉的移动定轨标签可贴覆于教学道具上。
CN201810025330.4A 2018-01-11 2018-01-11 医用教学ar用捕捉叠加系统 Pending CN108346458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025330.4A CN108346458A (zh) 2018-01-11 2018-01-11 医用教学ar用捕捉叠加系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025330.4A CN108346458A (zh) 2018-01-11 2018-01-11 医用教学ar用捕捉叠加系统

Publications (1)

Publication Number Publication Date
CN108346458A true CN108346458A (zh) 2018-07-31

Family

ID=62960486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025330.4A Pending CN108346458A (zh) 2018-01-11 2018-01-11 医用教学ar用捕捉叠加系统

Country Status (1)

Country Link
CN (1) CN108346458A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679603A (zh) * 2022-03-31 2022-06-28 新瑞鹏宠物医疗集团有限公司 宠物手术直播系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679603A (zh) * 2022-03-31 2022-06-28 新瑞鹏宠物医疗集团有限公司 宠物手术直播系统及方法

Similar Documents

Publication Publication Date Title
Bernardo Virtual reality and simulation in neurosurgical training
Kockro et al. A collaborative virtual reality environment for neurosurgical planning and training
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
US20170315364A1 (en) Virtual object display device, method, program, and system
Galati et al. Experimental setup employed in the operating room based on virtual and mixed reality: analysis of pros and cons in open abdomen surgery
CN109564471A (zh) 具有主/次交互特征的分布式交互医学可视化系统
Mathew et al. Role of immersive (XR) technologies in improving healthcare competencies: a review
Yu et al. Perspective matters: Design implications for motion guidance in mixed reality
Lin et al. A first-person mentee second-person mentor AR interface for surgical telementoring
Samosky et al. BodyExplorerAR: enhancing a mannequin medical simulator with sensing and projective augmented reality for exploring dynamic anatomy and physiology
Scharver et al. Designing cranial implants in a haptic augmented reality environment
CN104274247A (zh) 医学手术导航方法
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
CN105487653B (zh) 实现虚拟现实场景的方法及系统
Behringer et al. Some usability issues of augmented and mixed reality for e-health applications in the medical domain
CN106774879A (zh) 一种基于ar虚拟现实技术的整形手术体验系统
Ali et al. Medical education, training and treatment using XR in healthcare
CN108346458A (zh) 医用教学ar用捕捉叠加系统
Preim et al. Virtual and augmented reality for educational anatomy
Danciu et al. A survey of augmented reality in health care
Li et al. 3d volume visualization and screen-based interaction with dynamic ray casting on autostereoscopic display
Zhang et al. Deformable torso anatomy education with three-dimensional autostereoscopic visualization and free-hand interaction
Shinde et al. Augmented Reality in Healthcare
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
Oun et al. Mobile Devices or Head-Mounted Displays: A Comparative Review and Analysis of Augmented Reality in Healthcare

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination