CN114882742A - 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质 - Google Patents

基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质 Download PDF

Info

Publication number
CN114882742A
CN114882742A CN202210441500.3A CN202210441500A CN114882742A CN 114882742 A CN114882742 A CN 114882742A CN 202210441500 A CN202210441500 A CN 202210441500A CN 114882742 A CN114882742 A CN 114882742A
Authority
CN
China
Prior art keywords
virtual
image
display terminal
dimensional image
virtual display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210441500.3A
Other languages
English (en)
Inventor
王茂华
虞幼军
谭玲梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan First Peoples Hospital Foshan Hospital Sun Yat Sen University
Original Assignee
Foshan First Peoples Hospital Foshan Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan First Peoples Hospital Foshan Hospital Sun Yat Sen University filed Critical Foshan First Peoples Hospital Foshan Hospital Sun Yat Sen University
Priority to CN202210441500.3A priority Critical patent/CN114882742A/zh
Publication of CN114882742A publication Critical patent/CN114882742A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及虚拟现实技术领域，公开一种基于VR技术的耳内镜手术模拟教学方法、系统、设备和介质。该方法包括：获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；根据操作手柄的位姿以及全景图像和/或近景图像中特征信息构建虚拟三维图像；根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示；发送虚拟三维图像至第二虚拟显示终端。本发明通过跟踪拍摄模拟手术操作时的操作图像以及图像融合及分割技术，为操作者和指导者分配虚拟三维图像，提升用户的沉浸式体验。

Description

基于VR技术的耳内镜手术模拟教学方法、系统、设备和介质
技术领域
本发明涉及虚拟现实技术领域，尤其是一种基于VR技术的耳内镜手术模拟教学方法、系统、设备和介质。
背景技术
随着医疗技术的不断发展，患者对疾病诊治及医疗服务的要求逐步提高，这对医疗工作者的技术水平提出了要求，尤其是底层的医疗工作者需要不断的学习新的技术知识，包括新的医疗器械的使用和说明、多种疾病的诊断和治疗、对人体多种解剖手术的学习和研究等等。随着微创外科技术的发展，耳内镜在耳科手术中逐渐体现出它的优势，虽然它目前并不能完全取代显微镜，但是已经基本上能够在耳内镜下完成大多数耳科手术。近1年多以来，耳内镜下持续灌流模式下的新型手术方式的出现，给耳内镜下单手操作磨骨及出血的处理提供了方便，但是目前国内仅有少数大型三甲医院有经验开展此类手术。对于下面的医院，尤其是县级、地市级医院仍没有普及，因此，需要开展相应的耳内镜手术解剖教学。然而在现有教学体系中，医护人员大都是通过观看二维影像资料、参观手术来进行学习，而这种学习方式并不能直观的体现某些手术操作的理念，教学过程中学生比较被动，造成理解困难，不利于医疗教学效率的提高。
随着VR技术的发展，工程技术人员和医疗专家越来越多地将VR技术应用至手术室和医疗教学中。例如，在耳内镜手术教学中布置全景摄像头，在手术操作期间，全景摄像头拍摄全景视频，并将拍摄的全景视频发送给远端的VR设备(例如VR眼镜)。远端的用户通过佩戴VR眼镜，可以沉浸式地体验和感受手术过程。一方面，可以用于医学生对手术操作的学习，另一方面，也可以用于专家远程地对手术进行监控和指导。然而现有技术中，在通过VR技术沉浸式感受手术过程时，由于全景镜头的摆放位置相对固定，难以对手术细节进行细致地拍摄，或者难以对整个手术室进行完整拍摄，导致用户的沉浸式体验并不是很理想。
发明内容
本发明的目的是提供一种基于VR技术的耳内镜手术模拟教学方法、系统、设备和介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
第一方面，提供一种基于VR技术的耳内镜手术模拟教学方法，包括：
获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；
根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像；
根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示；
发送虚拟三维图像至第二虚拟显示终端，以使第二虚拟显示终端可显示不同角度的虚拟三维图像。
在其中一个实施例中，所述根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像，具体包括以下步骤：
预处理各全景图像和/或近景图像，使用图像序列的基于设定参考图像修正的前一幅图像的亮度直方图为目标对当前幅图像进行直方图规定化；
对相邻幅建立多分辨率的图像金字塔，利用图像金字塔进行帧间运动场估测，利用运动估测值及可信度进行仿射参数拟合；
计算设定不同参考图像时各幅图像与参考图像的变换关系，确定各幅图像在所要生成的虚拟三维图像中的坐标并进行图像拼接，消除重叠部分后得到虚拟三维图像；
根据操作手柄的位姿以及表征手术对象的特征信息对各生成的虚拟三维图像进行校正，输出校正后的虚拟三维图像。
在其中一个实施例中，所述根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，具体包括以下步骤：
对虚拟三维图像进行特征信息下采样，捕捉不同尺度的全局上下文信息，得到下采样图像；
根据第一虚拟显示终端的位姿筛选符合角度要求的下采样图像；
使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化。
在其中一个实施例中，所述使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化，具体包括以下步骤：
将得到的下采样图像输入至级联预测模型，在级联的第一级之后，使用bilinearly上采样输出的数据取代其中一个输入通道的数据，直至下采样图像输入到级联预测模型的最后一层。
在其中一个实施例中，所述基于VR技术的耳内镜手术模拟教学方法还包括：
接收第一虚拟显示终端或第二虚拟显示终端的交互请求，使第一虚拟终端和第二虚拟终端进行交互。
在其中一个实施例中，所述接收第一虚拟显示终端或第二虚拟显示终端的交互请求，使第一虚拟终端和第二虚拟终端进行交互，具体包括以下步骤：
接收交互请求，连接第一虚拟显示终端和第二虚拟显示终端；
将第二虚拟显示终端的指导信息传输至第一虚拟显示终端，和/或将第一虚拟终端的虚拟三维图像传输至第二虚拟显示终端；所述指导信息包括操作指导图像、指导打分信息和/或其他不同角度的虚拟三维图像。
在其中一个实施例中，所述第一虚拟显示终端和第二虚拟显示终端为桌面式虚拟现实设备、头戴式虚拟现实设备、CAVA式虚拟现实设备、移动端虚拟现实设备或裸眼虚拟现实设备。
第二方面，提供一种基于VR技术的耳内镜手术模拟教学系统，包括：
操作手柄；
布设于模拟手术现场的摄像头；
第一虚拟显示终端和第二虚拟显示终端；
采集模块，用于获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；
图像构建模块，用于根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像；
第一图像处理模块，用于根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示；
第二图像处理模块，用于发送虚拟三维图像至第二虚拟显示终端，以使第二虚拟显示终端可显示不同角度的虚拟三维图像。
第三方面，提供一种计算机设备，包括：
存储器，存储有计算机程序；
处理器，所述处理器执行所述计算机程序时实现第一方面的基于VR技术的耳内镜手术模拟教学方法。
第四方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的基于VR技术的耳内镜手术模拟教学方法。
本发明的有益效果：通过跟踪拍摄模拟手术操作时的操作图像以及图像融合及分割技术，为操作者和指导者分配虚拟三维图像，使操作者可获得自身视觉下操作手柄和手术对象的虚拟三维图像，指导者可获得多种不同角度的虚拟三维图像，让操作者可以在VR虚拟图像环境进行手术操作和操作共享，指导者手术可以在VR虚拟图像环境进行指导，即实现了对整个手术过程进行完整拍摄，提升用户的沉浸式体验。
附图说明
图1是第一个实施例示出的基于VR技术的耳内镜手术模拟教学方法的流程图。
图2是一实施例示出的构建操作手柄和手术对象的虚拟三维图像方法的流程图。
图3是一实施例示出的分割融合后虚拟三维图像方法的流程图。
图4是第二个实施例示出的基于VR技术的耳内镜手术模拟教学方法的流程图。
图5是一实施例示出的基于VR技术的耳内镜手术模拟教学系统的结构框图。
图6是一实施例示出的一种计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清晰，下面将结合实施例和附图，对本发明作进一步的描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
根据本发明的第一方面，提供一种基于VR技术的耳内镜手术模拟教学方法。
本申请基于VR技术的耳内镜手术模拟教学方法所实现的是通过VR技术手段模拟手术操作，操作者使用对应的器具模型进行模拟手术操作，例如对颞骨模型进行耳内镜手术操作，通过多种现场拍摄的实时图像构建虚拟的手术环境，让手术操作者可以在VR虚拟图像环境进行手术操作和操作共享，指导者手术可以在VR虚拟图像环境进行指导，即实现了对整个手术过程进行完整拍摄，提升用户的沉浸式体验。
参阅图1，图1是第一个实施例示出的基于VR技术的耳内镜手术模拟教学方法的流程图。如图1所示，该方法包括步骤S100至步骤S400。
步骤S100.获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像。
具体地，模拟手术现场预先布设若干个摄像头，对手术过程进行拍摄，形成全景图像和近景图像，操作手柄作为模拟手术工具进行使用，例如耳内镜，操作者操作手柄在打印的颞骨模型上进行操作时，实时获取操作手柄的位姿，以及获取操作手柄上摄像头拍摄到的操作图像和模拟手术现场摄像头拍摄的全景图像和近景图像，操作图像、全景图像和近景图像作为构建虚拟三维图像的基础。
可以理解的是，本实施例提供的方法借助操作手柄模拟手术工具进行模拟操作，真实感较高，可使被培训人员可以更加快速地学会操作。
在具体应用中，所述操作手柄的数量为至少一个。
步骤S200.根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像。
VR技术利用计算机对某些真实或虚拟的场景、物体或概念进行描述，并以声音、图像等该使用者以直观的形式与计算机进行交互，而本实施例的步骤S200针对操作手柄和手术对象(例如耳道模型)的特征构建虚拟三维图像，为模拟手术的操作者提供虚拟的手术场景。
具体地，计算机处理器通过对拍摄得到的全景图像和/或近景图像进行特征提取，筛选具有表征手术对象的特征信息的全景图像和/或近景图像，再根据全景图像和/或近景图像中操作手柄的位姿模拟出不同视角下操作手柄和手术对象的虚拟三维图像。
步骤S300.根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示。
在具体应用中，模拟手术的操作者佩戴第一虚拟显示终端执行模拟手术操作，结合步骤S200得到的虚拟三维图像，根据操作手柄的位姿和操作者的位姿(即第一虚拟显示终端的位姿)筛选出操作者视角下操作手柄和手术对象的虚拟三维图像，从步骤S200得到的虚拟三维图像分割出该视角下包含操作手柄和手术对象的虚拟三维图像出来，再将分割出来的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示，使操作者可以同时看到模拟的操作手柄和手术对象的图像以及操作手柄对手术对象局部位置特写的图像。
示例性地，对颞骨模型进行耳内镜手术操作时，操作手柄模拟耳内镜的功能，操作者使用操作手柄进入外耳道进行内窥时，计算机处理器将操作手柄上摄像头拍摄到的操作图像融合在分割出来的操作者视觉下的虚拟三维图像中，使操作图像在虚拟三维图像中的局部区域内进行显示。
步骤S400.发送虚拟三维图像至第二虚拟显示终端，以使第二虚拟显示终端可显示不同角度的虚拟三维图像。
在具体应用中，指导者通过第二虚拟显示终端获取虚拟三维图像，获取到的虚拟三维图像呈多角度展示模拟手术情景，可以是第一虚拟显示终端显示的操作者视角下的虚拟三维图像，也可以是有别于操作者视觉的其他不同角度的虚拟三维图像，以使指导者可以掌握模拟手术的整个过程，对操作者的操作细节进行精准指导和评分。
其中，所述第一虚拟显示终端和第二虚拟显示终端为桌面式虚拟现实设备、头戴式虚拟现实设备、CAVA式虚拟现实设备、移动端虚拟现实设备或裸眼虚拟现实设备。
可以理解的是，第二虚拟显示终端还可以是显示屏，第二虚拟显示终端向多人展示虚拟三维图像，供其他待培训的操作者学习观看或者是多个指导者共同观看指导或对手术操作进行打分。
本申请提供的方法通过跟踪拍摄模拟手术操作时的操作图像以及图像融合及分割技术，为操作者和指导者分配虚拟三维图像，使操作者可获得自身视觉下操作手柄和手术对象的虚拟三维图像，指导者可获得多种不同角度的虚拟三维图像，让操作者可以在VR虚拟图像环境进行手术操作和操作共享，指导者手术可以在VR虚拟图像环境进行指导，即实现了对整个手术过程进行完整拍摄，提升用户的沉浸式体验。
参阅图2，图2是一实施例示出的构建操作手柄和手术对象的虚拟三维图像方法的流程图。如图2所示，该实施例包括步骤S210至步骤S240。
步骤S210.预处理各全景图像和/或近景图像，使用图像序列的基于设定参考图像修正的前一幅图像的亮度直方图为目标对当前幅图像进行直方图规定化。
由于摄像头拍摄时光圈的变化以及环境光照因素影响，可能引起不同角度拍摄的图像有较大的光照变化。因此，对所有全景图像和/或近景图像进行预处理。
预处理的具体过程是将各图像进行排列，对其中一幅图像的亮度进行修正，优选是图像序列的第一幅图像，随后以修正后的图像按照图像序列的顺序对后面的图像顺次进行修正，即基于前一幅图像的亮度直方图为目标对当前幅图像进行直方图规定化。
步骤S220.对相邻幅建立多分辨率的图像金字塔，利用图像金字塔进行帧间运动场估测，利用运动估测值及可信度进行仿射参数拟合。
步骤S230.计算设定不同参考图像时各幅图像与参考图像的变换关系，确定各幅图像在所要生成的虚拟三维图像中的坐标并进行图像拼接，消除重叠部分后得到虚拟三维图像。
实际拼接时，通过比例、旋转、水平平移和垂直平移等变换调整各幅图像的变换关系，计算变换时的坐标变换详细值，取宽度足够的中间窄条，通过平面图像变换生成近似覆盖全角度的虚拟三维图像。
步骤S240.根据操作手柄的位姿以及表征手术对象的特征信息对各生成的虚拟三维图像进行校正，输出校正后的虚拟三维图像。
参阅图3，图3是一实施例示出的分割融合后虚拟三维图像方法的流程图。如图3所示，该实施例包括步骤S310至步骤S330。
步骤S310.对虚拟三维图像进行特征信息下采样，捕捉不同尺度的全局上下文信息，得到下采样图像。
步骤S320.根据第一虚拟显示终端的位姿筛选符合角度要求的下采样图像。
步骤S330.使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化。
使用级联预测模型细化下采样图像的具体过程为：将得到的下采样图像输入至级联预测模型，在级联的第一级之后，使用bilinearly上采样输出的数据取代其中一个输入通道的数据，直至下采样图像输入到级联预测模型的最后一层。
更为具体地，级联预测模型的输入由输入复制以保持输入通道维数不变，在级联的第一级之后，其中一个输入通道将被bilinearly上采样粗输出所取代，这个过程一直重复到最后一层，其中输入包括初始的分段和前一层的所有输出，使网络逐步修正分割错误，同时保持细节呈现在初始分割，通过多层次，可以在粗层次上粗略地勾画出目标并修正较大的误差，在细层次上利用粗层次提供的特征来提升边界精度，级联预测模型取全局步骤最后一层的两个输出，两个输出都被上采样调整到图像的原始大小。
本实施例采用对一张下采样图像及其多个不同尺度的不完美分割掩模来生成细化的分割，多尺度输入使级联预测模型能够捕获不同层次的结构和边界信息，从而使网络能够自适应地融合不同的掩模特征，所有低分辨率的输入分段都被双线性向上采样到相同的大小，并与RGB图像连接，细化任何给定的输入分割，在不进行微调的情况下提高现有分割模型的性能。
参阅图4，图4是第二个实施例示出的基于VR技术的耳内镜手术模拟教学方法的流程图。如图4所示，在图1实施例的基础上，该实施例所述的方法还包括步骤S500。
步骤S500.接收第一虚拟显示终端或第二虚拟显示终端的交互请求，使第一虚拟终端和第二虚拟终端进行交互。
其中，步骤S500具体包括以下步骤：
接收交互请求，连接第一虚拟显示终端和第二虚拟显示终端。
将第二虚拟显示终端的指导信息传输至第一虚拟显示终端，和/或将第一虚拟终端的虚拟三维图像传输至第二虚拟显示终端。
其中，所述指导信息包括操作指导图像、指导打分信息和/或其他不同角度的虚拟三维图像等。
在具体应用中，第一虚拟显示终端和第二虚拟显示终端可以进行交互，实现信息在线互传，例如虚拟三维图像数据、音频信息和/或预设图像数据的相互传输，实现真正意义上的指导教学实践。
交互可以是由操作者通过其佩戴的第一虚拟显示终端发起交互请求建立的，也可以是指导者通过第二虚拟显示终端发起交互请求建立的，建立交互后，操作者和指导者在线进行交流互动，例如指导者将其在第二虚拟显示终端看到的多角度虚拟三维图像发送至第一虚拟显示终端，向操作者展现其他不同角度的模拟手术环境，又例如是建立交互后指导者通过第二虚拟显示终端向操作者的第一虚拟显示终端发送语音信息，对操作者进行声音指导。
可以理解的是，指导者还可以使用第二虚拟现实终端对操作者进行更多不同形式的指导操作，例如对模拟手术操作进行在线打分，又例如是将操作者视觉下的虚拟三维图像分享给其他指导者，实现多人指导。
根据本发明的第二方面，提供一种基于VR技术的耳内镜手术模拟教学系统。
参阅图5，图5是一实施例示出的基于VR技术的耳内镜手术模拟教学系统的结构框图。如图5所示，所述基于VR技术的耳内镜手术模拟教学系统包括：
操作手柄；
布设于模拟手术现场的摄像头；
第一虚拟显示终端510和第二虚拟显示终端520；
采集模块530，用于获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；
图像构建模块540，用于根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像；
第一图像处理模块550，用于根据第一虚拟显示终端510的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端510进行显示；
第二图像处理模块560，用于发送虚拟三维图像至第二虚拟显示终端520，以使第二虚拟显示终端520可显示不同角度的虚拟三维图像。
在其中一个实施例中，所述根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像，具体包括以下步骤：
预处理各全景图像和/或近景图像，使用图像序列的基于设定参考图像修正的前一幅图像的亮度直方图为目标对当前幅图像进行直方图规定化；
对相邻幅建立多分辨率的图像金字塔，利用图像金字塔进行帧间运动场估测，利用运动估测值及可信度进行仿射参数拟合；
计算设定不同参考图像时各幅图像与参考图像的变换关系，确定各幅图像在所要生成的虚拟三维图像中的坐标并进行图像拼接，消除重叠部分后得到虚拟三维图像；
根据操作手柄的位姿以及表征手术对象的特征信息对各生成的虚拟三维图像进行校正，输出校正后的虚拟三维图像。
在其中一个实施例中，所述根据第一虚拟显示终端510的位姿对融合后的虚拟三维图像进行分割，具体包括以下步骤：
对虚拟三维图像进行特征信息下采样，捕捉不同尺度的全局上下文信息，得到下采样图像；
根据第一虚拟显示终端510的位姿筛选符合角度要求的下采样图像；
使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化。
在其中一个实施例中，所述使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化，具体包括以下步骤：
将得到的下采样图像输入至级联预测模型，在级联的第一级之后，使用bilinearly上采样输出的数据取代其中一个输入通道的数据，直至下采样图像输入到级联预测模型的最后一层。
在其中一个实施例中，所述基于VR技术的耳内镜手术模拟教学方法还包括：
接收第一虚拟显示终端510或第二虚拟显示终端520的交互请求，使第一虚拟终端和第二虚拟终端进行交互。
在其中一个实施例中，所述接收第一虚拟显示终端510或第二虚拟显示终端520的交互请求，使第一虚拟终端和第二虚拟终端进行交互，具体包括以下步骤：
接收交互请求，连接第一虚拟显示终端510和第二虚拟显示终端520；
将第二虚拟显示终端520的指导信息传输至第一虚拟显示终端510，和/或将第一虚拟终端的虚拟三维图像传输至第二虚拟显示终端520；所述指导信息包括操作指导图像、指导打分信息和/或其他不同角度的虚拟三维图像。
在其中一个实施例中，所述第一虚拟显示终端510和第二虚拟显示终端520为桌面式虚拟现实设备、头戴式虚拟现实设备、CAVA式虚拟现实设备、移动端虚拟现实设备或裸眼虚拟现实设备。
所述基于VR技术的耳内镜手术模拟教学系统执行上述第一方面的基于VR技术的耳内镜手术模拟教学方法，关于基于VR技术的耳内镜手术模拟教学系统的具体限定可以参见上文中对于基于VR技术的耳内镜手术模拟教学方法的限定，在此不再赘述。
上述基于VR技术的耳内镜手术模拟教学系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
根据本发明的第三方面，提供一种计算机设备。
参阅图6，图6是一实施例示出的一种计算机设备的内部结构图。如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现第一方面所述的基于VR技术的耳内镜手术模拟教学方法。
存储器和处理器各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。处理器包括至少一个可以软件或者是固件(firmware)的形式存储于存储器中或者是固化在服务器的操作系统(operating system，OS)中的软件功能模块。处理器用于执行存储器中存储的可执行模块。
其中，存储器可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序以及语音数据，处理器在接收到执行指令后，执行程序。
处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器将各种输入/输入装置耦合至处理器以及存储器。在一些实施例中，处理器以及存储器可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。
外设接口将各种输入/输入装置耦合至处理器以及存储器。在一些实施例中，外设接口，处理器及存储器可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。
根据本发明的第四方面，还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器、只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、快闪存储器、磁表面存储器、光盘、或只读光盘等；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机程序被处理器执行时实现第一方面所述的基于VR技术的耳内镜手术模拟教学方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于VR技术的耳内镜手术模拟教学方法，其特征在于，包括：
获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；
根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像；
根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示；
发送虚拟三维图像至第二虚拟显示终端，以使第二虚拟显示终端可显示不同角度的虚拟三维图像。
2.根据权利要求1所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，所述根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像，具体包括以下步骤：
预处理各全景图像和/或近景图像，使用图像序列的基于设定参考图像修正的前一幅图像的亮度直方图为目标对当前幅图像进行直方图规定化；
对相邻幅建立多分辨率的图像金字塔，利用图像金字塔进行帧间运动场估测，利用运动估测值及可信度进行仿射参数拟合；
计算设定不同参考图像时各幅图像与参考图像的变换关系，确定各幅图像在所要生成的虚拟三维图像中的坐标并进行图像拼接，消除重叠部分后得到虚拟三维图像；
根据操作手柄的位姿以及表征手术对象的特征信息对各生成的虚拟三维图像进行校正，输出校正后的虚拟三维图像。
3.根据权利要求2所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，所述根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，具体包括以下步骤：
对虚拟三维图像进行特征信息下采样，捕捉不同尺度的全局上下文信息，得到下采样图像；
根据第一虚拟显示终端的位姿筛选符合角度要求的下采样图像；
使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化。
4.根据权利要求3所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，所述使用级联预测模型对筛选出来的下采样图像进行全局细化，使用高分辨率图像中的图像剪裁进行局部细化，具体包括以下步骤：
将得到的下采样图像输入至级联预测模型，在级联的第一级之后，使用bilinearly上采样输出的数据取代其中一个输入通道的数据，直至下采样图像输入到级联预测模型的最后一层。
5.根据权利要求1所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，还包括：
接收第一虚拟显示终端或第二虚拟显示终端的交互请求，使第一虚拟终端和第二虚拟终端进行交互。
6.根据权利要求1所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，所述接收第一虚拟显示终端或第二虚拟显示终端的交互请求，使第一虚拟终端和第二虚拟终端进行交互，具体包括以下步骤：
接收交互请求，连接第一虚拟显示终端和第二虚拟显示终端；
将第二虚拟显示终端的指导信息传输至第一虚拟显示终端，和/或将第一虚拟终端的虚拟三维图像传输至第二虚拟显示终端；所述指导信息包括操作指导图像、指导打分信息和/或其他不同角度的虚拟三维图像。
7.根据权利要求1-6任一项所述的基于VR技术的耳内镜手术模拟教学方法，其特征在于，所述第一虚拟显示终端和第二虚拟显示终端为桌面式虚拟现实设备、头戴式虚拟现实设备、CAVA式虚拟现实设备、移动端虚拟现实设备或裸眼虚拟现实设备。
8.一种基于VR技术的耳内镜手术模拟教学系统，其特征在于，包括：
操作手柄；
布设于模拟手术现场的摄像头；
第一虚拟显示终端和第二虚拟显示终端；
采集模块，用于获取操作手柄的位姿、操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场摄像头拍摄的全景图像和近景图像；
图像构建模块，用于根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄和手术对象的虚拟三维图像；
第一图像处理模块，用于根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割，将分割后的虚拟三维图像与操作手柄上摄像头拍摄到的操作图像融合，发送至第一虚拟显示终端进行显示；
第二图像处理模块，用于发送虚拟三维图像至第二虚拟显示终端，以使第二虚拟显示终端可显示不同角度的虚拟三维图像。
9.一种计算机设备，其特征在于，包括：
存储器，存储有计算机程序；
处理器，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的基于VR技术的耳内镜手术模拟教学方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于VR技术的耳内镜手术模拟教学方法。
CN202210441500.3A 2022-04-25 2022-04-25 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质 Withdrawn CN114882742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441500.3A CN114882742A (zh) 2022-04-25 2022-04-25 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441500.3A CN114882742A (zh) 2022-04-25 2022-04-25 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN114882742A true CN114882742A (zh) 2022-08-09

Family

ID=82671013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441500.3A Withdrawn CN114882742A (zh) 2022-04-25 2022-04-25 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114882742A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454255A (zh) * 2022-10-09 2022-12-09 如你所视(北京)科技有限公司 物品展示的切换方法和装置、电子设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454255A (zh) * 2022-10-09 2022-12-09 如你所视(北京)科技有限公司 物品展示的切换方法和装置、电子设备、存储介质
CN115454255B (zh) * 2022-10-09 2024-02-13 如你所视(北京)科技有限公司 物品展示的切换方法和装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
US20210183165A1 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US10359916B2 (en) Virtual object display device, method, program, and system
US11030746B2 (en) Assisted dental beautification method and apparatus for implementing the same
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN108594999B (zh) 用于全景图像展示系统的控制方法和装置
WO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
CN112087985A (zh) 经由实时增强可视化的模拟正畸处理
CN114173693A (zh) 用于远距监督手术程序的增强现实系统和方法
Andersen et al. Virtual annotations of the surgical field through an augmented reality transparent display
US11842437B2 (en) Marker-less augmented reality system for mammoplasty pre-visualization
US20100110264A1 (en) Image projection system
CN115115810B (zh) 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
CN113253842A (zh) 场景编辑方法和相关装置、设备
CN115035004B (zh) 图像处理方法、装置、设备、可读存储介质及程序产品
CN114882742A (zh) 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN113412479A (zh) 混合现实显示装置和混合现实显示方法
US11543663B2 (en) System and method for alignment between real and virtual objects in a head-mounted optical see-through display
CN110488489B (zh) 用于头戴式壳体的眼睛登记
CN113450448A (zh) 图像的处理方法、装置和系统
US10854005B2 (en) Visualization of ultrasound images in physical space
CN115954096A (zh) 一种基于图像数据处理的腔镜vr成像系统
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220809