CN112542248A - 一种头盔及增强现实投影方法 - Google Patents

一种头盔及增强现实投影方法 Download PDF

Info

Publication number
CN112542248A
CN112542248A CN202011383511.8A CN202011383511A CN112542248A CN 112542248 A CN112542248 A CN 112542248A CN 202011383511 A CN202011383511 A CN 202011383511A CN 112542248 A CN112542248 A CN 112542248A
Authority
CN
China
Prior art keywords
augmented reality
projection
module
information
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011383511.8A
Other languages
English (en)
Other versions
CN112542248B (zh
Inventor
马龙飞
廖洪恩
张欣然
王天予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011383511.8A priority Critical patent/CN112542248B/zh
Publication of CN112542248A publication Critical patent/CN112542248A/zh
Application granted granted Critical
Publication of CN112542248B publication Critical patent/CN112542248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种头盔及增强现实投影方法，包括：头盔本体和增强现实投影装置，所述增强现实投影装置设置于所述头盔本体上，其中，所述增强现实投影装置用于通过增强现实技术将手术导航信息投影到患者表面。将手术导航信息通过增强现实技术投影到患者表面，并结合手术器械的曲面信息，对该增强现实投影进行调整，使其能契合患者表面，使得医生在手术过程中，无需在手术部位和显示器之间切换视线，可以有效提高手术的效率和安全性。

Description

一种头盔及增强现实投影方法
技术领域
本发明涉及增强现实处理技术领域，尤其涉及一种头盔及增强现实投影方法。
背景技术
手术导航系统主要基于患者的术前、术中影像构建术中导航地图，并建立术中导航地图与患者的高精度空间映射。通过跟踪手术器械，在术中导航地图上实时标识手术器械的位置，告知医生手术器械与病患生理结构的相对位置，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。
而现有技术中，导航信息常常显示在远离手术区域的显示器上，医生需要不断在手术部位与显示器之间切换视线，导致手眼不协调和术中手术流程中断，制约手术的效率与安全。
因此，如何更好的提高手术过程中的效率和安全性，已经成为业界亟待解决的问题。
发明内容
本发明提供一种头盔及增强现实投影方法，用以解决现有技术中手术导航应用中的因为医生手眼不协调，而制约手术的效率与安全的问题。
本发明提供一种头盔，包括：
头盔本体和增强现实投影装置，所述增强现实投影装置设置于所述头盔本体上，
其中，所述增强现实投影装置用于通过增强现实技术将手术导航信息投影到患者表面。根据本发明提供的一种头盔，所述增强现实投影装置包括：光学定位模块、可见光投影模块和深度感知模块；所述可见光投影模块分别与所述光学定位模块和所述深度感知模块通信连接；
其中，所述可见光投影模块根据患者表面的曲面信息，将手术导航信息通过增强现实技术投影到患者表面；
其中，所述手术导航信息是所述光学定位模块获取手术器械的空间信息后，根据所述手术器械的空间信息获取的；其中，所述患者表面的曲面信息是通过所述深度感知模块获取的。
根据本发明提供的一种头盔，所述光学定位模块还用于获取目标位置信息，所述深度感知模块还用于获取目标表面的曲面信息；
所述可见光投影模块还用于，根据目标位置信息和目标表面的曲面信息将目标三维结构图投影到目标表面。
根据本发明提供的一种头盔，所述装置还包括：标定校准模块；
所述标定校准模块用于对所述可见光投影模块进行标定，以保障所述可见光投影模块的正常投影。
根据本发明提供的一种头盔，所述光学定位模块具体为：双目RGB相机。
根据本发明提供的一种头盔，所述深度感知模块具体为：双目红外摄像头和红外点阵投影仪。
根据本发明提供的一种头盔，所述可见光投影模块具体为：可见光投影仪。
根据本发明提供的头盔，所述系统还包括：可锁定角度调节轴；
所述增强现实投影装置通过所述可锁定角度调节轴设置于所述头盔本体上。
所述头盔还包括：电源模块，所述电源模块设置在所述头盔本体上，所述电源模块与所述增强现实投影模块电连接；
其中，所述电源模块为所述增强现实投影模块供电。
本发明还提供一种增强现实投影方法，根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；
根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
根据本发明提供的一种增强现实投影方法，所述方法还包括：
获取操作目标的位置信息和操作目标的曲面信息；
根据所述操作目标的位置信息，对所述操作目标的三维投影进行位置校正，得到校正后的三维投影；
根据所述操作目标的曲面信息对所述校正后的三维投影进行变形调整，得到操作目标的优化三维投影。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述增强现实投影方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述增强现实投影方法的步骤。
本发明提供的一种头盔及增强现实投影方法，通过光学定位模块，实时探测手术器械和患者的空间位置，确定医生手术器械与病患生理结构的相对位置，从而给出手术导航信息，并且利用深度感知模块实时获取收取器表面的曲面信息，再结合可见光投影模块，将手术导航信息通过增强现实技术投影到患者表面，并结合患者表面的曲面信息，对该增强现实投影进行调整，使其能契合患者表面，这样使得医生在手术过程中，只需要关注手术部位，即可获取到相应的手术导航信息，无需在手术部位和显示器之间切换视线，可以有效提高手术的效率和安全性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的增强现实投影装置结构示意图；
图2为本发明提供的头戴式增强现实投影系统的结构示意图；
图3为本发明提供的增强现实投影方法流程示意图；
图4为本发明提供的头戴式增强现实投影系统工作流程图；
图5为本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的头盔结构示意图，如图1所示，包括：电源模块1、头盔本体2和增强现实投影装置3；
所述增强现实投影装置3通过可锁定角度调节轴设置于所述头盔本体2上，同时电源模块1也设置在头盔本体2上，用于为增强现实投影装置3供电。
更具体的，本发明中通过将增强现实投影装置3通过头盔本体2，固定在使用者的头部，而人体在移动视线位置时，通常头部也会跟随移动，而此时增强现实投影装置的投影也能随着头部的移动同步移动，这样可以使得投影能够随着用户视线位置的变化而相应变化。
并且其将增强现实投影装置3通过头盔本体2，固定在使用者的头部时，其不会干扰用户的正常视线，且能够同时保证投影的效果。
本发明中的头盔本体2可以采用橡胶材质，外加类肤质涂层，保证实现轻量化的情况下，使得设备具备相应的防滑性能具有一定弹性的情况下，且同时还能控制其重量。
本发明中所描述的电源模块1可以采用可拆卸式的可充电锂电池，或者其它能够正常实现供电的电源，为增强现实投影装置3进行供电。
可选的，所述系统还包括：可锁定角度调节轴；
所述增强现实投影装置通过所述可锁定角度调节轴设置于所述头盔本体上。
具体的，该可锁定角度调节轴可以锁定增强现实投影装置的角度，而在有需要时，也可以通过该可锁定角度调节轴调节增强现实投影装置的角度。
本发明所提供的头戴式增强现实投影系统占据空间小，佩戴轻便，不干扰医生视线，且不影响医生正常操作流程，且投影图像可随医生视点位置不同而相应变化，实现医生视角下的裸眼立体增强现实场景；其通过高取样率实时调整投影图像，保证导航信息手术器械位置的流畅、实时更新。
图2是本发明提供的增强现实投影装置结构示意图，如图2所示，包括：光学定位模块21、可见光投影模块22和深度感知模块23；
所述可见光投影模块22分别与所述光学定位模块21和所述深度感知模块23通信连接；
其中，所述可见光投影模块22根据患者表面的曲面信息，将手术导航信息通过增强现实技术投影到患者表面。
其中，所述手术导航信息是所述光学定位模块21获取手术器械和患者的空间信息后，根据所述手术器械和患者的空间信息获取的；
其中，所述患者表面的曲面信息是通过所述深度感知模块23获取的。
具体的，本发明中通过光学定位模块是为了捕捉到当前手术器械的空间位置，该空间位置具体包括手术器械的位置信息和方向信息，而本发明中之所为要捕获其手术器械的空间信息是为了确定医生手术器械与病患生理结构的相对位置，从而来确定医生下一步应该如何进行操作，即手术导航信息。
并且确定该空间位置后，也能进一步确定可见光投影模块所要投影的具体位置，即患者表面。
本发明中之所以需要通过深度感知模块获取患者表面的曲面信息，是因为患者的表面可能存在很多凹凸不平的地方，若直接在其表面进行增强现实投影，该投影可能会发生形变，对医生读取信息造成较大干扰。
而本发明中通过预先获取患者表面的曲面信息，预先针对于曲面信息，对增强现实投影进行预先调整，最终能够使得在患者表面的增强现实投影与真实目标形状尺寸保持一致，保证该投影具有良好的可读性。
本发明的可见光投影模块之所以通过增强现实技术将手术导航信息投影到患者表面，是因为医生在进行手术的过程中，目光主要是集中在手术部位上，而将手术导航信息投影到患者表面时，在医生视角下可在患者的表面复现出包含手术导航信息的裸眼3D投影，可以保证医生在手术过程中，不需要分心看向别的屏幕，也可能及时地获取到手术导航信息。
并且，手术导航信息与手术器械的原位叠加也交叉验证了增强现实手术导航的准确性。
本发明通过光学定位模块，实时探测手术器械和患者的空间位置，确定医生手术器械与病患生理结构的相对位置，从而给出手术导航信息，并且利用深度感知模块实时获取收取器表面的曲面信息，再结合可见光投影模块，将手术导航信息通过增强现实技术投影到患者表面，并结合患者的曲面信息，对该增强现实投影进行调整，使其能契合患者表面，这样使得医生在手术过程中，只需要关注手术部位，即可获取到相应的手术导航信息，无需在手术部位和显示器之间切换视线，可以有效提高手术的效率和安全性。
可选的，所述可见光投影模块还用于，根据患者的空间信息和患者表面的曲面信息将患者的三维结构图投影到患者表面。
具体的，本发明中所描述的患者通常是指手术的对象，即需要进行手术的病人。
本发明中所描述的目标三维结构图是在术前采集病人手术部位的影像并进行三维建模得到的，以CT为例，通过面绘制等方式提取出三维模型并划分出主要解剖学结构，将三维模型导入到系统中，根据光学定位模块提供的患者定位位置对三维模型进行相应移位调整，以确保该投影的位置契合用户的实际手术部位。
然后根据深度感知模块获取目标表面的曲面信息来对投影进行相应的变形处理，以确保投影的可读性不会影响目标表面的凹凸不平而受到影响，最终，在医生视角下可在空间中复现出和真实解剖学结构一致的裸眼3D投影。
本发明中通过将患者术前采集的病人手术部位的影像投影到患者的手术部位，在医生视角下复现出和真实解剖学结构一致的裸眼3D投影，从而保证医生不需要额外分心去观看其它显示屏的情况下，也能及时把握患者的情况，有效保障手术过程中的效率和安全性。
可选的，所述装置还包括：标定校准模块；
所述标定校准模块用于对所述可见光投影模块进行标定，以保障所述可见光投影模块的正常投影。
具体的，本发明中所描述的可见光投影模块必须要进行校正，是因为采用了增强现实技术的投影，若未结合医生的操作习惯进行校准，可见光投影模块与人眼视线之间可能存在角度偏差，其投影呈现在医生的视野中，可能会存在位置偏差，影响医生通过该投影获取信息。
本发明中的标定校准模块可以是指一组既定的标记物，例如标定板等。
本发明中标定的具体方式可以是指，医生在佩戴增强现实投影装置后，通过注视和可见光投影模块投影同一组既定标记物，从而调整可见光投影模块与人眼视线的角度偏差，保证投影效果。
本发明通过标记校准模块对可见光模块进行标定的过程，通常在使用增强现实投影装置之前。
本发明中通过标定校准模块可以对可见光投影模块进行标定，能够有效保证可见光投影模块的正常投影，保证投影信息的高可读性。
可选的，所述光学定位模块具体为：双目RGB相机。
本发明中通过双目RGB的时差，来获取深度信息，从而实现目标定位。
可选的，深度感知模块具体为：双目红外摄像头和红外点阵投影仪。
红外点阵投影仪向目标发射红外点阵激光，覆盖目标，然后通过双目红外摄像头捕捉目标发射的红外点阵激光，从而实现目标的深度感知。
所述可见光投影模块具体为：可见光投影仪。
图3为本发明提供的增强现实投影方法流程示意图，如图3所示，包括：
步骤S1，根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；
本发明中所描述的操作设备是用户所需操作的设备的位置信息和方向信息，其能够确定该操作设备的位置，而在一些精密度要求较高的操作过程中，辅助信息往往能够对操作有很好的指导效果，而将操作设备辅助信息投影到操作设备表面，使得工作人员可以在专注操作当前操作的情况下，同时获取到操作设备辅助信息。
步骤S2，根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
而本发明中根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，是为了进一步保障操作设备的投影质量。
可选的，所述方法还包括：
获取操作目标的位置信息和操作目标的曲面信息；
根据所述操作目标的位置信息，对所述操作目标的三维投影进行位置校正，得到校正后的三维投影；
根据所述操作目标的曲面信息对所述校正后的三维投影进行变形调整，得到操作目标的优化三维投影。
具体的，本发明中操作目标的三维投影可以是指预先存储的能够反映操作目标相关信息的三维投影，例如产品结构的三维结构投影信息，或者病人的病患处三维投影。
图4为本发明提供的头戴式增强现实投影系统工作流程图，如图4所示，具体为：首先利用既定标记物在术前进行投影模块与医生视线的角度校准，然后将基于术前手术计划得到的三维模型导入到系统中，以及对术中所需手术器械进行标定。随后，在术中使用时，医生可以轻扫目标手术区域，确保投影图像与手术区域纹理等特征标志物完全吻合后根据导航进行常规手术步骤。若遇到大角度手术部位变换可以重新执行投影模块与医生视线的角度校准以确保图像的准确性与有效性。
本发明通过光学定位模块，实时探测手术器械和患者的空间位置，确定医生手术器械与病患生理结构的相对位置，从而给出手术导航信息，并且利用深度感知模块实时获取患者和手术器械表面的曲面信息，再结合可见光投影模块，将手术导航信息通过增强现实技术投影到患者表面，并结合手术器械的曲面信息，对该增强现实投影进行调整，使其能契合患者表面，这样使得医生在手术过程中，只需要关注手术部位，即可获取到相应的手术导航信息，无需在手术部位和显示器之间切换视线，可以有效提高手术的效率和安全性。
图5为本发明提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行增强现实投影方法，该方法包括：根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的增强现实投影方法，该方法包括：根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的增强现实投影方法，该方法包括：根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种头盔，其特征在于，包括：头盔本体和增强现实投影装置，所述增强现实投影装置设置于所述头盔本体上，
其中，所述增强现实投影装置用于通过增强现实技术将手术导航信息投影到患者表面。
2.根据权利要求1所述头盔，其特征在于，所述增强现实投影装置包括：光学定位模块、可见光投影模块和深度感知模块，所述可见光投影模块分别与所述光学定位模块和所述深度感知模块通信连接；
其中，所述可见光投影模块根据患者表面的曲面信息，将手术导航信息通过增强现实技术投影到患者表面；
其中，所述手术导航信息是所述光学定位模块获取患者和手术器械的空间信息后，根据所述患者和手术器械的空间信息获取的；
其中，所述患者表面的曲面信息是通过所述深度感知模块获取的。
3.根据权利要求2所述头盔，其特征在于，
所述可见光投影模块还用于，根据患者的空间信息和患者表面的曲面信息将患者的三维结构图投影到患者表面。
4.根据权利要求2所述头盔，其特征在于，所述装置还包括：标定校准模块；
所述标定校准模块用于对所述可见光投影模块进行标定，以保障所述可见光投影模块的正常投影。
5.根据权利要求2所述头盔，其特征在于，所述光学定位模块具体为：双目RGB相机。
6.根据权利要求2所述头盔，其特征在于，所述深度感知模块具体为：双目红外摄像头和红外点阵投影仪。
7.根据权利要求1所述头盔，其特征在于，所述系统还包括：可锁定角度调节轴；
所述增强现实投影装置通过所述可锁定角度调节轴设置于所述头盔本体上。
8.根据权利要求1所述头盔，其特征在于，所述头盔还包括：电源模块，所述电源模块设置在所述头盔本体上，所述电源模块与所述增强现实投影模块电连接；
其中，所述电源模块为所述增强现实投影模块供电。
9.一种增强现实投影方法，其特征在于，包括：
根据操作目标和操作设备的空间信息，确定操作目标和操作设备辅助信息；
根据操作目标和操作设备表面的曲面信息，对操作设备辅助信息的增强现实投影进行调整，得到调整后的增强现实投影。
10.根据权利要求9所述增强现实投影方法，其特征在于，所述方法还包括：
获取操作目标的位置信息和操作目标的曲面信息；
根据所述操作目标的位置信息，对所述操作目标的三维投影进行位置校正，得到校正后的三维投影；
根据所述操作目标的曲面信息对所述校正后的三维投影进行变形调整，得到操作目标的优化三维投影。
CN202011383511.8A 2020-11-30 2020-11-30 一种头盔及增强现实投影方法 Active CN112542248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011383511.8A CN112542248B (zh) 2020-11-30 2020-11-30 一种头盔及增强现实投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011383511.8A CN112542248B (zh) 2020-11-30 2020-11-30 一种头盔及增强现实投影方法

Publications (2)

Publication Number Publication Date
CN112542248A true CN112542248A (zh) 2021-03-23
CN112542248B CN112542248B (zh) 2022-11-08

Family

ID=75016715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011383511.8A Active CN112542248B (zh) 2020-11-30 2020-11-30 一种头盔及增强现实投影方法

Country Status (1)

Country Link
CN (1) CN112542248B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
CN106909771A (zh) * 2015-12-23 2017-06-30 西门子医疗有限公司 用于输出增强现实信息的方法和系统
CN107884942A (zh) * 2017-12-18 2018-04-06 国网浙江省电力公司培训中心 一种增强现实显示装置
CN110169822A (zh) * 2018-02-19 2019-08-27 格罗伯斯医疗有限公司 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法
CN111083453A (zh) * 2018-10-18 2020-04-28 中兴通讯股份有限公司 一种投影装置、方法及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
CN106909771A (zh) * 2015-12-23 2017-06-30 西门子医疗有限公司 用于输出增强现实信息的方法和系统
CN107884942A (zh) * 2017-12-18 2018-04-06 国网浙江省电力公司培训中心 一种增强现实显示装置
CN110169822A (zh) * 2018-02-19 2019-08-27 格罗伯斯医疗有限公司 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法
CN111083453A (zh) * 2018-10-18 2020-04-28 中兴通讯股份有限公司 一种投影装置、方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN112542248B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
US11740075B2 (en) Dynamic adjustment of structured light for depth sensing systems based on contrast in a local area
US10169925B2 (en) Head mounted display and control method for head mounted display
US10687901B2 (en) Methods and systems for registration of virtual space with real space in an augmented reality system
EP3750004A1 (en) Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
US10448003B2 (en) System and method for triangulation-based depth and surface visualization
JP6889703B2 (ja) 患者の３ｄ表面画像を手術中に観察するための方法及び装置
US20170357397A1 (en) Virtual object display device, method, program, and system
US9759934B2 (en) Method for measuring morpho-geometric parameters of a spectacle wearing individual
US20200201038A1 (en) System with multiple displays and methods of use
US20200129240A1 (en) Systems and methods for intraoperative planning and placement of implants
CN106773080B (zh) 立体显示装置及显示方法
EP2948056A1 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
KR100726028B1 (ko) 환자환부의 증강현실영상 투영시스템 및 그 방법
US10520751B2 (en) Apparatus and method for determining optical parameters
CN109938842B (zh) 面部外科手术定位导航方法及装置
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
CN114846518A (zh) 用于医疗成像的增强现实头戴设备
Moser et al. Evaluation of user-centric optical see-through head-mounted display calibration using a leap motion controller
WO2019037605A1 (zh) Ar眼镜及其追踪系统
CN110638525B (zh) 整合扩增实境的手术导航系统
CN112542248B (zh) 一种头盔及增强现实投影方法
CN113589533A (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
CN109151445A (zh) 一种裸眼3d显示系统及其显示方法和计算机存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant