CN110459083B - 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 - Google Patents

一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 Download PDF

Info

Publication number
CN110459083B
CN110459083B CN201910777662.2A CN201910777662A CN110459083B CN 110459083 B CN110459083 B CN 110459083B CN 201910777662 A CN201910777662 A CN 201910777662A CN 110459083 B CN110459083 B CN 110459083B
Authority
CN
China
Prior art keywords
oral
virtual
training
model
force feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910777662.2A
Other languages
English (en)
Other versions
CN110459083A (zh
Inventor
郝爱民
丛宇
赵永涛
赵晓含
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Unidraw Virtual Reality Technology Research Institute Co ltd
Original Assignee
Beijing Unidraw Virtual Reality Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Unidraw Virtual Reality Technology Research Institute Co ltd filed Critical Beijing Unidraw Virtual Reality Technology Research Institute Co ltd
Priority to CN201910777662.2A priority Critical patent/CN110459083B/zh
Publication of CN110459083A publication Critical patent/CN110459083A/zh
Application granted granted Critical
Publication of CN110459083B publication Critical patent/CN110459083B/zh
Priority to PCT/CN2020/110381 priority patent/WO2021032178A1/zh
Priority to US17/270,419 priority patent/US11386799B1/en
Priority to JP2021531487A priority patent/JP7174966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种视觉‑触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台；基于力反馈设备的口腔操作训练系统；基于增强现实头盔的观察系统；基于患者口腔CBCT数据和扫描数据生成虚拟口腔模型，构建虚拟口腔环境；基于虚拟口腔模型和仿真头部模型上的特征点，进行虚拟口腔和口腔模型的空间匹配；虚拟口腔手术仿真方法，分别以不低于1000Hz和60Hz的频率输出力觉信息和视觉信息；对网格数据进行简化的视觉信息处理方法；基于操作者头部信息校准输出力方向的力觉‑视觉空间校准方法。本系统解决了口腔传统训练中材料消耗和练习病例单一的问题；与现有的数字化训练方案相比，本系统借助增强现实技术增强了操作沉浸感，更加符合临床操作习惯。

Description

一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
技术领域
本发明涉及口腔手术训练模拟领域，是基于增强现实技术、力觉渲染技术、计算机图形学技术和运动力学等相关学科，模拟口腔手术操作过程，进行相关口腔手术操作的模拟训练。
背景技术
随着人们牙齿保护意识的提高，牙周、种植等口腔治疗的需求愈来愈多，而口腔医生技能培训周期长、成本高的现实情况，极大地限制了人们获取口腔治疗的机会。基于计算机图形学和增强现实等新技术，本发明提出一种视觉-触觉融合的增强现实口腔手术技能训练模拟器的构建方案，为口腔医生培训提供了新途径。
口腔医学是一门实践与理论相结合的学科，传统口腔医生的实践培训主要基于仿真头模进行。仿真头模的外形和病人平躺在牙椅上接受治疗的口腔诊室环境较为接近，用户可以较好地训练操作体位调节和支点使用等技巧，实现训练效果的迁移；但是仿头模练习过程中需要大量材料消耗，并具有训练病例单一、真实感差的缺陷。
针对传统口腔训练方案的不足，Moog Inc.等在专利号为US009383832B1“HAPTICUSER INTERFACE”的专利中提出了一种数字化训练方案，使用力反馈设备产生钻牙过程的虚拟力感，取代传统训练过程中的材料消耗；同时采用双投影的方式展示虚拟环境，并基于镜面反射的方式实现视觉空间和力觉空间的统一，使得用户观察到的虚拟环境和用户触碰的虚拟环境空间位置相同。该方案的主要问题在于采用镜面反射原理构建的训练平台，外形和仿真头模有较大差别，不仅用户需要花费较多的时间熟悉操作环境，同时也缺乏手指支撑，不容易实现训练效果的迁移。此外，为了实现虚拟视觉环境和虚拟力觉环境的空间校准，屏幕产生的图像需要经过反射镜反射后进行观察，所以在操作过程中无法观察到操作手，操作沉浸感较差。
发明内容
本发明技术解决问题：提供一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，外形接近传统的仿真头模口腔训练平台，可以作为操作过程中的手指支撑；构成虚拟环境的口腔模型和口腔工具模型通过CT扫描和测量获得，可以模拟多种病例；使用增强现实眼镜进行观察，将口腔模型和口腔工具等虚拟环境叠加与真实环境进行显示，增强操作过程中的沉浸感；使用力反馈设备产生虚拟力感，避免了训练过程中的材料消耗。
本发明技术解决方案：
一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；
所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；
基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；
所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或以观察口腔训练平台和力反馈设备真实环境，增强训练过程中的沉浸感；
所述训练模拟器实现过程：
a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；
b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和实际训练模型相应点的空间位置相匹配；
c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；
d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；
e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。
所述口腔训练平台的实现过程如下：
(1)口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；
(2)口腔训练平台机箱起到稳固支撑和放置主机的作用；
(3)口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；
(4)口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用。
所述基于力反馈设备的口腔操作训练系统实现过程如下：
(1)移动力反馈设备，使得力反馈设备工作空间的中心位置和口腔训练平台的口腔中心位置重合，并记录力反馈设备的位置；
(2)设计力反馈设备支架，将力反馈设备固定在口腔训练平台上，使得力反馈设备在使用过程中不出现晃动，并能够自由运动。
所述基于增强现实头盔的观察系统实现过程如下：
(1)选择Microsoft HoloLens作为增强现实设备，该设备可以实现无线传输，不受线缆限制；
(2)使用增强现实眼镜扫描口腔训练平台和力反馈设备，定位增强现实眼镜的工作中心，同时将虚拟环境叠加于口腔训练平台和力反馈设备进行显示，实现与周围真实环境中的全息影像互动。
所述步骤a中的虚拟环境构造方法：
(1)获得患者口腔DICOM格式CBCT数据；
(2)获得患者口腔的stl格式的口腔扫描数据；
(3)叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型。
所述步骤b中的模型匹配方法：
(1)获取虚拟口腔模型三角网格的空间位置(P1，P2，……Pn)；
(2)对仿真头部模型上的相应点进行采样，得到(T0，T1，……Tn)；
(3)设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即
Figure BDA0002175585340000031
求出使得R2最小的校准矩阵M。
所述步骤d中的视觉信息处理方法：
(1)对于网格中的所有顶点V，定义对称误差矩阵
Figure BDA0002175585340000041
其中P＝[a b cd]为每个顶点周围所在平面，可以使用方程ax+by+cz+d＝0表示，Kp＝PPT为二次基本误差矩阵；
(2)定义顶点v＝[vx vy vz 1]T的误差矩阵为Δ(v)＝vTQv；
(3)对网格中的边(v1,v2)，化简后合并为顶点为vbar，定义顶点vbar的误差矩阵Qbar＝Q1+Q2；
(4)数值计算顶点vbar位置使得Δ(vbar)最小，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。
所述步骤e中的力觉-视觉空间校准算法：
(1)获得操作者头部的位置信息P＝(x,y,z,α,β,γ)，其中x、y、z为用户头部的位置信息，α、β、γ为用户头部的朝向信息；
(2)计算得到头部的空间矩阵M＝R(α)·R(β)·R(γ)·Trans，对M求逆即得到力觉-视觉空间校准矩阵M-1，其中
Figure BDA0002175585340000042
Figure BDA0002175585340000043
(3)获得计算得到的输出力F＝(f0,f1,f2)，将输出力转换为齐次矩阵
Figure BDA0002175585340000044
将M-1的应用于QF，求得变换后的齐次矩阵
Figure BDA0002175585340000045
将变换后的输出力FT＝(q30,q31,q32)传输至力反馈设备，以大于1000Hz的频率进行输出。
本发明与现有技术相比的优点在于：(1)本发明训练平台的外形接近仿真头部模型训练平台，可以作为用户训练过程中的手指支撑，同时可以用作空间参考；(2)本系统使用增强现实眼镜进行观察，将虚拟环境叠加与真实环境进行显示增强了沉浸感；(3)本系统基于力反馈设备提供虚拟力觉，减少了训练过程中的材料消耗，并且可以模拟多种病例；(4)通过力觉匹配算法，使得用户观察到的虚拟环境和用户感受到的反馈力空间位置统一，有助于训练效果的转移。
附图说明
图1为本发明的系统模块；
图2为系统工作原理示意图；
图3为口腔训练平台的示意图。
具体实施方式
下面结合附图，对本发明的技术方案做进一步的说明。
如图2所示，本发明涉及一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台，作为用户操作过程中的手指支撑和空间参考；基于力反馈设备的口腔操作训练系统，通过力反馈设备的输出力模拟口腔治疗过程中的多种力觉感受；基于口腔患者的CBCT扫描数据和真彩扫描数据建模得到虚拟口腔模型，基于测量得到的口腔手术工具尺寸建模得到虚拟工具模型，构建虚拟口腔训练环境，实现多种口腔病例的模拟；对虚拟口腔模型和虚拟工具模型进行空间匹配，使得虚拟口腔环境和仿真训练平台的空间相匹配；基于增强现实头盔的观察系统，可以实现虚拟环境、训练平台和用户操作手等虚实环境协调显示，增强沉浸感；力反馈设备的空间姿态、增强现实头盔的方位、匹配后的虚拟口腔和工具模型等数据传入口腔手术仿真算法，计算得到输出力信息、视觉网格信息后再分别传向力反馈设备和增强显示头盔进行输出，实现闭环；基于网格化简算法对口腔手术仿真算法传出的视觉信息进行简化，实现大于30Hz的视觉线程刷新频率；基于力觉-视觉空间校准算法对计算机的输出力进行方向校准，使得用户感受到的输出力方向和观察方向一致，然后传递给力反馈设备进行输出。
与使用仿真头部模型的传统口腔技能训练方案相比，本系统借助力反馈设备产生虚拟力感，节省了使用仿真头部模型训练的材料消耗，并解决了训练病例单一的问题；与现有的口腔数字化训练方案相比，本系统实现了虚拟环境、仿真训练平台和用户操作手等虚实环境的同时观测和力感匹配，具有多通道视觉反馈、视觉-触觉融合反馈等显著特点，符合临床操作习惯。
如图3所示，仿真训练平台，包括8底部机箱、9连接部分和10头部等三部分构成，系统构成和工作原理如图2所示，基于力反馈设备的口腔操作训练系统由1力反馈设备支架、2力反馈设备和3力反馈设备操作手柄等三部分构成，基于增项现实头盔的观察系统主要由5增强现实眼镜构成，用户通过增强现实眼镜可以观察到4虚拟口腔工具和7虚拟口腔环境。
如图1所示，本发明具体实现包括以下步骤：
步骤1：仿造传统的口腔训练仿真头部模型，构造本系统的仿真训练平台，主要包括机箱、连接部分和头部等三部分结构，图3为口腔训练平台的示意图所示。
训练平台的实现步骤如下：设计机箱的外形为长方体，既可以放置主机，也能够稳固支撑；测量实际治疗过程中患者头部的高度，选取中间值作为机箱的高度；测量牙科治疗椅的宽度，作为机箱的宽度；机箱的长度保证主机能够放入即可。
训练平台的连接部分实现步骤如下：设计连接部分的外形接近病人的肩部，并测量成年真实病人的肩部尺寸，确定连接部分的尺寸。
训练平台的头部实现步骤如下：参照真实病人的头部尺寸和外形进行设计；删掉鼻腔以下部分，防止和力反馈设备产生干涉；选择真实病人的1.2倍口腔大小，设计不规则弧形的圆环，放置于原口腔位置，用于操作过程中的手指支撑。
步骤2：实现基于力反馈设备的口腔训练系统，将力反馈设备放置于虚拟口腔训练平台，产生虚拟力感，避免材料的消耗，实现步骤如下：
(1)移动力反馈设备，使得力反馈设备工作空间的中心位置和仿真头部模型口腔的中心位置重合，并记录力反馈设备的位置；
(2)在连接部分仿照力反馈设备的底部外形，开辟凹槽，用于固定力反馈设备，并保证设备的自由运动。
步骤3：实现基于增强现实头盔的显示系统：选定增强现实头盔的型号为Microsoft HoloLens头盔，使用头盔扫描仿真训练平台和增强现实眼镜，标定真实环境。
步骤4：构造虚拟口腔模型和虚拟病人模型：(1)使用CBCT设备和真彩扫描设备扫描患者的口腔，获得患者口腔DICOM格式的CBCT数据和stl格式的口腔扫描数据；(2)叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型；(3)测量口腔手术中使用的工具外形和尺寸，建模得到虚拟工具模型；
步骤5：对虚拟口腔模型进行空间校准，具体实现如下：(1)获取虚拟口腔模型三角网格的空间位置(P1,P2,……Pn)；(2)对仿真头部模型上的相应点进行采样，得到(T0,T1,……Tn)；(3)设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即
Figure BDA0002175585340000071
可以求出校准矩阵M；
步骤6：将虚拟口腔模型和虚拟工具模型传输至虚拟口腔手术仿真方法，获得仿真数据用于计算；该步骤离线完成，因此希望模型的网格顶点较多，提高计算精度；
步骤7：虚拟口腔手术仿真方法以大于1000Hz的频率进行力觉线程计算：采集力反馈设备的位姿信息，控制虚拟环境中的工具移动，和虚拟口腔模型进行交互计算；计算完成后输出发送输出力信息，力觉-视觉空间校准后发送给力反馈设备产生反馈力。
步骤8：虚拟口腔手术仿真方法以大于30Hz的频率进行视觉线程计算：采集头盔测量的操作者头部位置信息，经过计算后输出虚拟环境的网格信息；网格信息经过视觉信息处理后发送给增强显示头盔，叠加于真实世界上现实虚拟环境；
步骤9：力觉-视觉空间校准：
(1)获得操作者头部的位置信息P＝(x,y,z,α,β,γ)，其中x、y、z为患者头部的位置信息，α、β、γ为用户头部的朝向信息；
(2)计算得到头部的空间矩阵M＝R(α)·R(β)·R(γ)·Trans，对M求逆即可得到力觉-视觉空间校准矩阵M-1，其中
Figure BDA0002175585340000072
Figure BDA0002175585340000073
(3)获得计算机计算得到的输出力F＝(f0,f1,f2)，将输出力转换为齐次矩阵
Figure BDA0002175585340000074
将M-1的应用于QF，求得变换后的齐次矩阵
Figure BDA0002175585340000075
将变换后的输出力FT＝(q30,q31,q32)传输至力反馈设备；
步骤10：视觉信息处理：
(1)对于网格中的所有顶点V，定义对称误差矩阵
Figure BDA0002175585340000081
其中P＝[a b cd]为每个顶点周围所在平面，可以使用方程ax+by+cz+d＝0表示，Kp＝PPT为二次基本误差矩阵；
(2)定义顶点v＝[vx vy vz 1]T的误差矩阵为Δ(v)＝vTQv；
(3)对网格中的边(v1，v2)，化简后合并为顶点为vbar，定义顶点vbar的误差矩阵Qbar＝Q1+Q2；
(4)数值计算顶点vbar位置使得Δ(vbar)最小，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。

Claims (5)

1.一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；
所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；
所述口腔训练平台的实现过程如下：
（1）口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；
（2）口腔训练平台机箱起到稳固支撑和放置主机的作用；
（3）口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；
（4）口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用；
基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；
所述基于力反馈设备的口腔操作训练系统实现过程如下：
（1）移动力反馈设备，使得力反馈设备工作空间的中心位置和口腔训练平台的口腔中心位置重合，并记录力反馈设备的位置；
（2）设计力反馈设备支架，将力反馈设备固定在口腔训练平台上，使得力反馈设备在使用过程中不出现晃动，并能够自由运动；
所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或观察口腔训练平台和力反馈设备的真实环境，增强训练过程中的沉浸感；
所述基于增强现实头盔的观察系统实现过程如下：
（1）选择Microsoft HoloLens作为增强现实设备，该设备可以实现无线传输，不受线缆限制；
（2）使用增强现实眼镜扫描口腔训练平台和力反馈设备，定位增强现实眼镜的工作中心，同时将虚拟环境叠加于口腔训练平台和力反馈设备进行显示，实现与周围真实环境中的全息影像互动；
所述训练模拟器实现过程：
a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；
b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和训练模型上相应点的空间位置相匹配；
c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；
d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；
e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。
2.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述步骤a中的虚拟环境构造方法：
（1）获得患者口腔DICOM格式CBCT数据；
（2）获得患者口腔的stl格式的口腔扫描数据；
（3）叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型。
3.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述步骤b中的模型匹配方法：
（1）获取虚拟口腔模型三角网格的空间位置(P 1 , P 2 ,……P n )；
（2）对仿真头部模型上的相应点进行采样，得到(T 0 ,T 1 ,……T n )；
（3）设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即
Figure 514004DEST_PATH_IMAGE002
，求出使得
Figure 352516DEST_PATH_IMAGE004
最小的校准矩阵M。
4.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述步骤d中的视觉信息处理方法:
（1）对于网格中的所有顶点V，定义对称误差矩阵
Figure 69936DEST_PATH_IMAGE006
，其中
Figure 885052DEST_PATH_IMAGE008
为每个顶点周围所在平面，可以使用方程ax + by + cz + d = 0表示，
Figure 168266DEST_PATH_IMAGE010
为二次基本误差矩阵；
（2）定义顶点v = [vx vy vz 1]T的误差矩阵为Δ(v) = vTQv；
（3）对网格中的边(v1, v2)，化简后合并为顶点为vbar，定义顶点vbar的误差矩阵Qbar =Q1 + Q2；
（4）数值计算顶点vbar位置使得Δ(vbar)最小，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。
5.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述步骤e中的力觉-视觉空间校准算法：
（1）获得操作者头部的位置信息
Figure 912100DEST_PATH_IMAGE012
，其中x、y、z为用户头部的位置信息，α、β、γ为用户头部的朝向信息；
（2）计算得到头部的空间矩阵
Figure 116816DEST_PATH_IMAGE014
，对M求逆即得到力觉-视觉空间校准矩阵M-1，其中
Figure 4132DEST_PATH_IMAGE016
，
Figure 610694DEST_PATH_IMAGE018
，
Figure 791008DEST_PATH_IMAGE020
，
Figure 217441DEST_PATH_IMAGE022
；
（3）获得计算得到的输出力
Figure 639939DEST_PATH_IMAGE024
，将输出力转换为齐次矩阵
Figure 101007DEST_PATH_IMAGE026
，将M-1的应用于
Figure 452223DEST_PATH_IMAGE028
，求得变换后的齐次矩阵
Figure 490586DEST_PATH_IMAGE030
,将变换后的输出力
Figure 703393DEST_PATH_IMAGE032
传输至力反馈设备，以大于1000Hz的频率进行输出。
CN201910777662.2A 2019-08-22 2019-08-22 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器 Active CN110459083B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910777662.2A CN110459083B (zh) 2019-08-22 2019-08-22 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
PCT/CN2020/110381 WO2021032178A1 (zh) 2019-08-22 2020-08-21 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
US17/270,419 US11386799B1 (en) 2019-08-22 2020-08-21 Vision-haptics fused augmented reality simulator for dental surgical skill training
JP2021531487A JP7174966B2 (ja) 2019-08-22 2020-08-21 歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910777662.2A CN110459083B (zh) 2019-08-22 2019-08-22 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

Publications (2)

Publication Number Publication Date
CN110459083A CN110459083A (zh) 2019-11-15
CN110459083B true CN110459083B (zh) 2020-08-04

Family

ID=68488414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910777662.2A Active CN110459083B (zh) 2019-08-22 2019-08-22 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

Country Status (4)

Country Link
US (1) US11386799B1 (zh)
JP (1) JP7174966B2 (zh)
CN (1) CN110459083B (zh)
WO (1) WO2021032178A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459083B (zh) 2019-08-22 2020-08-04 北京众绘虚拟现实技术研究院有限公司 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
CN112349167A (zh) * 2020-11-05 2021-02-09 北京众绘虚拟现实技术研究院有限公司 一种双手力反馈的口腔实践技能考试设备
CN112587233B (zh) * 2020-12-10 2021-10-08 华中科技大学 一种模拟气管内插管术的方法及系统
CN113270010B (zh) * 2021-06-03 2022-11-15 北京众绘虚拟现实技术研究院有限公司 一种虚拟口腔手术用支点装置
CN113554912B (zh) * 2021-07-09 2022-07-08 中国人民解放军总医院第一医学中心 基于混合现实技术的种植手术培训系统
CN113539036A (zh) * 2021-07-22 2021-10-22 四川省医学科学院·四川省人民医院 一种具有真实触感的沉浸式神经外科手术模拟方法
CN114283665B (zh) * 2021-12-17 2022-07-08 湖南医药学院 一种口腔医学教学用的环保型仿真智能镜像操作训练装置
CN114973820B (zh) * 2022-04-13 2024-06-25 北京众绘虚拟现实技术研究院有限公司 关节镜模拟训练系统
CN114972637A (zh) * 2022-05-16 2022-08-30 华中科技大学同济医学院附属协和医院 一种面向骨科教学的可移动混合现实技术实现方法及系统
CN115019877B (zh) * 2022-08-05 2022-11-04 上海华模科技有限公司 生物组织模型的建模及更新方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106348A (zh) * 2013-03-08 2013-05-15 上海交通大学医学院附属第九人民医院 虚拟外科手术模拟方法及其装置
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统
CN107978195A (zh) * 2017-12-29 2018-05-01 福州大学 一种基于虚拟现实平台的侧脑室穿刺手术训练系统
CN109410680A (zh) * 2018-11-19 2019-03-01 叶哲伟 一种基于混合现实的虚拟手术训练方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US20140106326A1 (en) * 2012-10-11 2014-04-17 Dental Equipment, Llc (D/B/A Pelton & Crane) Dental mannequin simulation device and system
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
FR3032282B1 (fr) 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
DE102015222782A1 (de) 2015-11-18 2017-05-18 Sirona Dental Systems Gmbh Verfahren zur Visualisierung einer Zahnsituation
GB2548149A (en) 2016-03-10 2017-09-13 Moog Bv Model generation for dental simulation
US10540910B2 (en) * 2016-06-06 2020-01-21 New York University Haptic-based dental simulationrpb
US10467815B2 (en) * 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
JP6649912B2 (ja) * 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
US11270601B2 (en) * 2017-06-29 2022-03-08 Verb Surgical Inc. Virtual reality system for simulating a robotic surgical environment
CN108210098A (zh) * 2018-01-16 2018-06-29 浙江工业大学 基于增强现实的人机协作机器人种牙方法及人机协作机器人种牙系统
US20210312834A1 (en) * 2018-08-30 2021-10-07 Tactile Robotics Ltd. Vibrotactile Method, Apparatus and System for Training and Practicing Dental Procedures
CN109700550B (zh) * 2019-01-22 2020-06-26 雅客智慧（北京）科技有限公司 一种用于牙科手术的增强现实方法及装置
CN109785374B (zh) * 2019-01-23 2020-12-04 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN110459083B (zh) * 2019-08-22 2020-08-04 北京众绘虚拟现实技术研究院有限公司 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106348A (zh) * 2013-03-08 2013-05-15 上海交通大学医学院附属第九人民医院 虚拟外科手术模拟方法及其装置
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真系统
CN107978195A (zh) * 2017-12-29 2018-05-01 福州大学 一种基于虚拟现实平台的侧脑室穿刺手术训练系统
CN109410680A (zh) * 2018-11-19 2019-03-01 叶哲伟 一种基于混合现实的虚拟手术训练方法及系统

Also Published As

Publication number Publication date
CN110459083A (zh) 2019-11-15
JP7174966B2 (ja) 2022-11-18
US20220198954A1 (en) 2022-06-23
JP2022532269A (ja) 2022-07-14
US11386799B1 (en) 2022-07-12
WO2021032178A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
CN110459083B (zh) 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
Luciano et al. Haptics-based virtual reality periodontal training simulator
Szekély et al. Virtual reality-based simulation of endoscopic surgery
Tse et al. Design and development of a haptic dental training system-haptel
Rhienmora et al. Augmented reality haptics system for dental surgical skills training
JP2003532144A (ja) 歯科医学のための仮想現実によるトレーニング装置および方法
Scharver et al. Designing cranial implants in a haptic augmented reality environment
Kim et al. Haptic interaction and volume modeling techniques for realistic dental simulation
AU2017229154B2 (en) Model generation for dental simulation
Dyulicheva et al. The virtual reality simulator development for dental students training: a pilot study.
Müller et al. The virtual reality arthroscopy training simulator
CN112587233B (zh) 一种模拟气管内插管术的方法及系统
CN108389488A (zh) 一种互动式口腔模拟系统
Bergonzi et al. An augmented reality approach to visualize biomedical images
Dyulicheva et al. About the features of the virtual simulators development and their usage in dental education
Scharver et al. Pre-surgical cranial implant design using the PARIS/spl trade/prototype
CN115188232A (zh) 一种基于mr-3d打印技术的医学教学综合训练系统及方法
KR102127664B1 (ko) 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법
Saalfeld et al. Learning Hand Anatomy with Sense of Embodiment.
Sutherland et al. Towards an augmented ultrasound guided spinal needle insertion system
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
Suzuki et al. Performing virtual surgery with a force feedback system
US11403963B2 (en) Automated dental articulator and method for training and practicing dental procedures
Juhász et al. Biomechanical equipment development in virtual collaboration arena
Khanna et al. Haptics: The science of touch in periodontics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant