CN113648056B - 混合现实显示设备及手术导航系统 - Google Patents

混合现实显示设备及手术导航系统 Download PDF

Info

Publication number
CN113648056B
CN113648056B CN202110949725.5A CN202110949725A CN113648056B CN 113648056 B CN113648056 B CN 113648056B CN 202110949725 A CN202110949725 A CN 202110949725A CN 113648056 B CN113648056 B CN 113648056B
Authority
CN
China
Prior art keywords
coordinate data
surgical instrument
target organ
mixed reality
reality display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110949725.5A
Other languages
English (en)
Other versions
CN113648056A (zh
Inventor
徐欣
钱广璞
陈罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN202110949725.5A priority Critical patent/CN113648056B/zh
Publication of CN113648056A publication Critical patent/CN113648056A/zh
Application granted granted Critical
Publication of CN113648056B publication Critical patent/CN113648056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种混合现实显示设备及其手术导航方法、手术导航系统。混合现实显示设备的手术导航方法包括：接收目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据；对在现实空间内的坐标数据进行第一次坐标变换，得到在本地坐标系的坐标数据；对在本地坐标系的坐标数据进行第二次坐标变换，得到在虚拟空间内的坐标数据；根据目标器官、手术器械以及混合现实显示设备在虚拟空间内的坐标数据将目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得目标三维模型和手术器械的三维模型在虚拟空间内的位置分别与目标器官和手术器械在现实空间内的位置对应重合，进而辅助医生更快更准确地找到手术位置，实现手术导航。

Description

混合现实显示设备及手术导航系统
技术领域
本发明涉及混合现实技术领域，特别涉及一种混合现实显示设备及手术导航系统。
背景技术
在胸腰椎骨折、错位等脊柱疾病手术的治疗过程中，需要通过在脊柱内置入椎弓根螺钉进行关节定位。椎弓根置钉手术的关键需要保护好神经、肌肉和血管等重要组织，医生准确无误地将椎弓根螺钉置入脊柱中。
在已有混合现实眼镜定位方案中，大多依赖混合现实眼镜本身的摄像头，并结合AR(Augmented Reality，增强现实)算法中的图像识别对虚拟目标进行定位。但是，这种依靠摄像头和AR算法的空间定位方法存在精度较低、定位延迟较大的缺点，难以应用于椎弓根置钉手术导航中，也会使得医疗隐患增加。
发明内容
本发明要解决的技术问题是为了克服现有技术中混合现实眼镜定位方案存在定位精度低、定位延迟大的缺陷，提供一种混合现实显示设备及手术导航系统。
本发明是通过下述技术方案来解决上述技术问题：
本发明的第一方面提供一种混合现实显示设备的手术导航方法，包括以下步骤：
接收光学定位设备采集的目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据；
分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合；
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
可选地，所述分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在现实空间内的坐标数据分别减去目标坐标数据，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
其中，所述目标坐标数据为所述光学定位设备初始化时采集的所述混合现实显示设备在现实空间内的坐标数据。
可选地，所述根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在本地坐标系的坐标数据分别乘以转换系数，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
其中，所述转换系数为所述混合现实显示设备在虚拟空间内的坐标数据除以所述混合现实显示设备在现实空间内的坐标数据。
可选地，所述手术导航方法还包括以下步骤：根据所述目标三维模型在所述虚拟空间内展示二维剖面图。
可选地，所述手术导航方法还包括以下步骤：采集手势信息，并根据所述手势信息调整所述虚拟空间内展示的三维模型。
可选地，所述目标器官为脊柱，所述手术器械包括椎弓根螺钉。
可选地，所述手术导航方法还包括以下步骤：根据所述虚拟空间内所述椎弓根螺钉与所述手术位置之间的距离输出提示信息。
本发明的第二方面提供一种混合现实显示设备，包括通信模块、显示模块、存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的手术导航方法。
本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的手术导航方法。
本发明的第四方面提供一种手术导航系统，包括通信连接的光学定位设备和混合现实显示设备；
所述光学定位设备用于分别采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，并将采集的所有坐标数据发送至所述混合现实显示设备；
所述混合现实显示设备用于分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合；
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
本发明的积极进步效果在于：基于光学定位设备采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，可以极大地提高手术导航的精准度，借助于混合现实显示设备在虚拟空间内展示的目标三维模型可以引导医生进行视觉盲点位置处的操作，能够辅助医生更快更准确地找到手术位置，辅助术中避免伤害神经血管等重要部位，减轻医生负担和患者痛苦，具有较高的临床应用价值。
附图说明
图1为本发明实施例1提供的一种混合现实显示设备的手术导航方法的流程图。
图2为本发明实施例1提供的一种手术导航方法的应用场景图。
图3为本发明实施例2提供的一种混合现实显示设备的结构示意图。
图4为本发明实施例4提供的一种手术导航系统的结构框图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
图1为本实施例提供的一种混合现实显示设备的手术导航方法的流程图。本实施例提供的混合现实显示设备的手术导航方法可以由混合现实显示设备执行，其中，混合现实显示设备可以为混合现实眼镜，具体可以为头戴式，也可以为耳戴式。
下面结合混合现实显示设备为执行主体对手术导航方法进行说明。如图1所示，本实施例提供的混合现实显示设备的手术导航方法可以包括以下步骤S101～S104：
步骤S101、接收光学定位设备采集的目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据。
在具体实施中，上述目标器官可以为待手术的部位。上述手术器械可以包括待置入目标器官的物体以及将所述物体置入目标器官所需要的器械。
在可选的一种实施方式中，所述目标器官上设有第一定位工具，所述手术器械上设有第二定位工具，所述混合现实显示设备上设有第三定位工具。所述光学定位设备具体用于采集所述第一定位工具的第一坐标数据，并将所述第一坐标数据作为所述目标器官在现实空间内的坐标数据；采集所述第二定位工具的第二坐标数据，并将所述第二坐标数据作为所述手术器械在现实空间内的坐标数据；以及采集所述第三定位工具的第三坐标数据，并将所述第三坐标数据作为所述混合现实显示设备在现实空间内的坐标数据。
需要说明的是，为了保证手术过程中光学定位设备采集的坐标数据不发生偏移，第一定位工具与目标器官之间为刚性连接，第二定位工具与手术器械之间为刚性连接，第三定位工具与混合现实显示设备之间为刚性连接。
在具体实施中，所述第一定位工具、所述第二定位工具以及所述第三定位工具上均安装有至少三个光学定位靶球。在一个具体的例子中，所述第一定位工具、所述第二定位工具以及所述第三定位工具上均安装有四个光学定位靶球。
可以理解地，在手术过程中，手术器械以及混合现实显示设备在现实空间内的位置会随着医生的操作而变化，因此，光学定位设备是实时采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，也即实时采集第一定位工具的第一坐标数据、第二定位工具的第二坐标数据以及第三定位工具的第三坐标数据。
步骤S102、分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据。
步骤S102中，将现实空间坐标系下的坐标数据经过第一次坐标转换，转换为本地坐标系下的坐标数据。其中，现实空间坐标系还可以称为光学定位设备的坐标系，本地坐标系还可以称为混合现实显示设备的坐标系。
在可选的一种实施方式中，步骤S102具体包括：将所述目标器官和所述手术器械在现实空间内的坐标数据分别减去目标坐标数据，得到所述目标器官和所述手术器械在本地坐标系的坐标数据。其中，所述目标坐标数据为所述光学定位设备初始化时采集的所述混合现实显示设备在现实空间内的坐标数据，也即本地坐标系的原点。
本实施方式中，由于现实空间坐标系和本地坐标系的单位均为1mm，因此，这两个坐标系并不存在缩放关系。目标器官在现实空间内的坐标数据为NDIM，手术器械在现实空间内的坐标数据为NDIP，光学定位设备初始化时采集的混合现实显示设备在现实空间内的坐标数据为NDIH1，可以得到目标器官在本地坐标系的坐标数据为NDIM-NDIH1，手术器械在本地坐标系的坐标数据为NDIP-NDIH1。
步骤S103、根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据。
步骤S103中，将本地坐标系下的坐标数据经过第二次坐标转换，转换为虚拟空间坐标系下的坐标数据。
在可选的一种实施方式中，步骤S103具体包括：将所述目标器官和所述手术器械在本地坐标系的坐标数据分别乘以转换系数，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据。其中，所述转换系数为所述混合现实显示设备在虚拟空间内的坐标数据除以所述混合现实显示设备在现实空间内的坐标数据。需要说明的是，所述混合现实显示设备在现实空间内的坐标数据为实时数据，不同于光学定位设备初始化时采集的所述混合现实显示设备在现实空间内的坐标数据。
本实施方式中，混合现实显示设备在虚拟空间内的坐标数据为UnityH1，具体可以通过Unity的API获取。混合现实显示设备在现实空间内的实时坐标数据为NDIH2，转换系数M＝UnityH1/NDIH2。将目标器官在本地坐标系的坐标数据(NDIM-NDIH1)乘以M，可以得到目标器官在虚拟空间内的坐标数据为(NDIM-NDIH1)*UnityH1/NDIH2。将手术器械在本地坐标系的坐标数据(NDIP-NDIH1)乘以M，可以得到手术器械在虚拟空间内的坐标数据为(NDIP-NDIH1)*UnityH1/NDIH2。
步骤S104、根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合。
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
在手术过程中，医生可以佩戴头戴式混合现实眼镜，并通过头戴式混合现实眼镜看到虚拟空间内展示的三维模型。
上述混合现实显示设备中预先存储有目标三维模型和手术器械的三维模型。具体地，可以借助CT(Computed Tomography，电子计算机断层扫描)或MRI(Magnetic ResonanceImaging，磁共振成像)等医疗成像手段获得目标器官的医疗影像。通常医疗影像为DICOM(Digital Imaging and Communications in Medicine，医学数字成像和通信)格式，需要对DICOM格式的医疗影像进行图像处理，得到可以在混合现实眼镜中呈现的目标器官的三维模型。在手术规划阶段，将手术位置通过不同颜色的线条在目标器官的三维模型中标记出来，从而形成目标三维模型。之后将目标三维模型的数据以及手术器械的三维模型的数据输入混合现实显示设备中。
在椎弓根置钉手术的一个例子中，如图2所示，目标器官为脊柱42，手术器械43包括待置入脊柱的椎弓根螺钉，光学定位设备41采集脊柱42、手术器械43以及头戴式混合现实眼镜44的坐标数据，并将采集的坐标数据传输至头戴式混合现实眼镜44中，头戴式混合现实眼镜44在对坐标数据进行坐标变换后在虚拟空间内呈现三维模型。
其中，在上述椎弓根置钉手术的例子中，位于所述目标器官上的手术位置即为将椎弓根螺钉置入脊柱的位置。
本实施方式中，通过光学定位设备实时对目标器官、手术器械以及混合现实显示设备进行光学定位，混合现实显示设备根据光学定位设备提供的实时位置信息在虚拟空间内呈现三维模型，医生通过混合现实显示设备看到的目标三维模型与实际目标器官的位置相重合，以及手术器械的三维模型与实际手术器械的位置相重合，同时可以将术前规划的手术位置显示于实际目标器官上，医生可以根据目标三维模型中的手术位置操作实际的手术器械，从而实现手术导航。
本实施方式提供的手术导航方法中，基于光学定位设备采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，可以极大地提高手术导航的精准度，借助于混合现实显示设备在虚拟空间内展示的目标三维模型可以引导医生进行视觉盲点位置处的操作，能够辅助医生更快更准确地找到手术位置，辅助术中避免伤害神经血管等重要部位，减轻医生负担和患者痛苦，具有较高的临床应用价值。
需要说明的是，在具体实施中，目标器官上第一定位工具的设置位置决定了目标器官在现实空间内的位置能否与目标三维模型在虚拟空间内的位置完全重合，同理，手术器械上第二定位工具的设置位置决定了手术器械在现实空间内的位置能否与手术器械的三维模型在虚拟空间内的位置完全重合。因此，在手术之前通常需要进行手动标定，具体地，对混合现实显示设备在虚拟空间内展示的三维模型进行手动微调，以使得目标器官在现实空间内的位置与目标三维模型在虚拟空间内的位置完全重合，以及手术器械在现实空间内的位置与手术器械的三维模型在虚拟空间内的位置完全重合。
在可选的一种实施方式中，为了进一步帮助医生确定手术位置，上述混合现实显示设备的手术导航方法还包括：根据所述目标三维模型在所述虚拟空间内展示二维剖面图。
在上述椎弓根置钉手术的例子中，混合现实显示设备展示的二维剖面图包含至少两个剖面，其中一个剖面的画面为穿过椎弓根螺钉的钉尖和钉柱所形成的平面，剖切目标三维模型所形成的画面；另一个剖面的画面为穿过椎弓根螺钉的钉尖并垂直于椎弓根螺钉的钉柱所形成的平面，剖切目标三维模型所形成的画面。
在上述椎弓根置钉手术的例子中，上述混合现实显示设备的手术导航方法还包括：根据所述虚拟空间内所述椎弓根螺钉与所述手术位置之间的距离输出提示信息。需要说明的是，通常根据椎弓根螺钉的钉尖与所述手术位置之间的距离输出提示信息，以提示医生椎弓根螺钉的钉尖是否偏离手术位置。其中，上述提示信息可以为声音，例如混合现实显示设备通过扬声器输出声音以提示医生钉尖与手术位置之间的实时距离。上述提示信息还可以为图像，例如混合现实显示设备通过在虚拟空间内展示图像的方式提示医生。
在具体实施中，可以根据椎弓根螺钉的长度、椎弓根螺钉在手术器械上的安装位置以及手术器械在虚拟空间内的坐标数据确定椎弓根螺钉的钉尖在虚拟空间内的坐标数据。根据椎弓根螺钉的钉尖以及手术位置在虚拟空间内的坐标数据可以计算出二者之间的距离。其中，可以根据不同的距离输出不同的提示信息。在一个具体的例子中，若钉尖与手术位置之间的距离大于预设距离，则不输出提示信息；若钉尖与手术位置之间的距离小于等于所述预设距离，则输出提示信息。在另一个具体的例子中，提示信息为声音，随着钉尖与手术位置之间的距离越近，提示声音的音量越大。
在可选的一种实施方式中，上述混合现实显示设备的手术导航方法还包括：采集手势信息，并根据所述手势信息调整所述虚拟空间内展示的三维模型或者二维剖面图。为了使得医生能够更准确地确定手术位置，辅助术中避免伤害神经血管等重要部位，在具体实施中，医生可以通过特定的手势对虚拟空间内展示的目标三维模型、手术器械的三维模型或者二维剖面图进行旋转、移动、放大或者缩小等操作，实现自由地查看不同的视角。
实施例2
图3为本实施例提供的一种混合现实显示设备的结构示意图。所述混合现实显示设备包括用于与其它设备通信的通信模块、显示模块、至少一个处理器以及与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行实施例1中的手术导航方法。图3显示的混合现实显示设备3仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
混合现实显示设备3的组件可以包括但不限于：通信模块、显示模块、上述至少一个处理器4、上述至少一个存储器5、连接不同系统组件(包括存储器5和处理器4)的总线6、通信模块7、显示模块8。
总线6包括数据总线、地址总线和控制总线。
存储器5可以包括易失性存储器，例如随机存取存储器(RAM)51和/或高速缓存存储器52，还可以进一步包括只读存储器(ROM)53。
存储器5还可以包括具有一组(至少一个)程序模块54的程序/实用工具55，这样的程序模块54包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
通信模块7可以包括天线、移动通信单元、无线通信单元、调制解调处理器以及基带处理器等。天线用于发射和接收电磁波信号。移动通信单元可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。在一些实施例中，移动通信单元的至少部分功能模块可以被设置于处理器4中。在一些实施例中，移动通信单元的至少部分功能模块可以与处理器4的至少部分模块被设置在同一个器件中。无线通信单元可以提供应用在电子设备上的包括无线局域网WLAN，如Wi-Fi网络、蓝牙，全球导航卫星系统、调频FM、近距离无线通信技术NFC、红外技术等无线通信的解决方案。如图3所示，通信模块7通过总线与电子设备3的其它模块通信。
处理器4通过运行存储在存储器5中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中的手术导航方法。
混合现实显示设备3也可以与一个或多个外部设备10(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口9进行。应当明白，尽管图3中未示出，还可以结合混合现实显示设备3使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了混合现实显示设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例3
本实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行实施例1中的手术导航方法。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在混合现实显示设备上运行时，所述程序代码用于使所述混合现实显示设备执行实现实施例1中的手术导航方法。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在混合现实显示设备上执行、部分地在混合现实显示设备上执行、作为一个独立的软件包执行、部分在混合现实显示设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
如图4所示，本实施例提供一种手术导航系统100，包括通信连接的光学定位设备20和混合现实显示设备30。其中，光学定位设备20和混合现实显示设备30之间可以通过无线方式进行通信连接，例如Wi-Fi(无线通信技术)，还可以通过有线方式进行通信连接，例如数据线。
光学定位设备20用于分别采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，并将采集的所有坐标数据发送至混合现实显示设备30。
混合现实显示设备30用于分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；以及根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合。
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
在可选的一种实施方式中，上述混合现实显示设备为实施例2提供的混合现实显示设备。
本实施例中，基于光学定位设备采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，可以极大地提高手术导航的精准度，借助于混合现实显示设备在虚拟空间内展示的目标三维模型可以引导医生进行视觉盲点位置处的操作，能够辅助医生更快更准确地找到手术位置，辅助术中避免伤害神经血管等重要部位，减轻医生负担和患者痛苦，具有较高的临床应用价值。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (15)

1.一种混合现实显示设备，包括通信模块、显示模块、存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下的方法：
接收光学定位设备采集的目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据；
分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合；
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
2.如权利要求1所述的混合现实显示设备，其特征在于，所述分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在现实空间内的坐标数据分别减去目标坐标数据，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
其中，所述目标坐标数据为所述光学定位设备初始化时采集的所述混合现实显示设备在现实空间内的坐标数据。
3.如权利要求1所述的混合现实显示设备，其特征在于，所述根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在本地坐标系的坐标数据分别乘以转换系数，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
其中，所述转换系数为所述混合现实显示设备在虚拟空间内的坐标数据除以所述混合现实显示设备在现实空间内的坐标数据。
4.如权利要求1所述的混合现实显示设备，其特征在于，所述方法还包括以下步骤：根据所述目标三维模型在所述虚拟空间内展示二维剖面图。
5.如权利要求1所述的混合现实显示设备，其特征在于，所述方法还包括以下步骤：采集手势信息，并根据所述手势信息调整所述虚拟空间内展示的三维模型。
6.如权利要求1-5中任一项所述的混合现实显示设备，其特征在于，所述目标器官为脊柱，所述手术器械包括椎弓根螺钉。
7.如权利要求6所述的混合现实显示设备，其特征在于，所述方法还包括以下步骤：根据所述虚拟空间内所述椎弓根螺钉与所述手术位置之间的距离输出提示信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下的方法：
接收光学定位设备采集的目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据；
分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合；
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
9.如权利要求8所述的计算机可读存储介质，其特征在于，所述分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在现实空间内的坐标数据分别减去目标坐标数据，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；
其中，所述目标坐标数据为所述光学定位设备初始化时采集的所述混合现实显示设备在现实空间内的坐标数据。
10.如权利要求8所述的计算机可读存储介质，其特征在于，所述根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据的步骤具体包括：
将所述目标器官和所述手术器械在本地坐标系的坐标数据分别乘以转换系数，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；
其中，所述转换系数为所述混合现实显示设备在虚拟空间内的坐标数据除以所述混合现实显示设备在现实空间内的坐标数据。
11.如权利要求8所述的计算机可读存储介质，其特征在于，所述方法还包括以下步骤：根据所述目标三维模型在所述虚拟空间内展示二维剖面图。
12.如权利要求8所述的计算机可读存储介质，其特征在于，所述方法还包括以下步骤：采集手势信息，并根据所述手势信息调整所述虚拟空间内展示的三维模型。
13.如权利要求8-12中任一项所述的计算机可读存储介质，其特征在于，所述目标器官为脊柱，所述手术器械包括椎弓根螺钉。
14.如权利要求13所述的计算机可读存储介质，其特征在于，所述方法还包括以下步骤：根据所述虚拟空间内所述椎弓根螺钉与所述手术位置之间的距离输出提示信息。
15.一种手术导航系统，其特征在于，包括通信连接的光学定位设备和混合现实显示设备；
所述光学定位设备用于分别采集目标器官、手术器械以及混合现实显示设备在现实空间内的坐标数据，并将采集的所有坐标数据发送至所述混合现实显示设备；
所述混合现实显示设备用于分别对所述目标器官和所述手术器械在现实空间内的坐标数据进行第一次坐标变换，得到所述目标器官和所述手术器械在本地坐标系的坐标数据；根据所述混合现实显示设备在现实空间和虚拟空间内的坐标数据分别对所述目标器官和所述手术器械在本地坐标系的坐标数据进行第二次坐标变换，得到所述目标器官和所述手术器械在虚拟空间内的坐标数据；以及根据所述目标器官、所述手术器械以及所述混合现实显示设备在虚拟空间内的坐标数据将预先存储的目标三维模型和所述手术器械的三维模型展示于虚拟空间内，以使得所述目标三维模型在虚拟空间内的位置与所述目标器官在现实空间内的位置对应重合，以及所述手术器械的三维模型在虚拟空间内的位置与所述手术器械在现实空间内的位置对应重合；
其中，所述目标三维模型用于展示所述目标器官的三维结构以及位于所述目标器官上的手术位置。
CN202110949725.5A 2021-08-18 2021-08-18 混合现实显示设备及手术导航系统 Active CN113648056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949725.5A CN113648056B (zh) 2021-08-18 2021-08-18 混合现实显示设备及手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949725.5A CN113648056B (zh) 2021-08-18 2021-08-18 混合现实显示设备及手术导航系统

Publications (2)

Publication Number Publication Date
CN113648056A CN113648056A (zh) 2021-11-16
CN113648056B true CN113648056B (zh) 2022-08-23

Family

ID=78481029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949725.5A Active CN113648056B (zh) 2021-08-18 2021-08-18 混合现实显示设备及手术导航系统

Country Status (1)

Country Link
CN (1) CN113648056B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115054367A (zh) * 2022-06-20 2022-09-16 上海市胸科医院 基于混合现实的病灶定位方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109864820A (zh) * 2019-03-19 2019-06-11 安徽紫薇帝星数字科技有限公司 一种基于ct三维模型映射混合定位导航系统
CN111163837A (zh) * 2017-07-28 2020-05-15 医达科技公司 用于混合现实环境中手术规划的方法和系统
CN112155727A (zh) * 2020-08-31 2021-01-01 上海市第一人民医院 基于三维模型的手术导航系统、方法、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574446B2 (en) * 2019-08-30 2023-02-07 National Central University Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
TWI741359B (zh) * 2019-08-30 2021-10-01 國立中央大學 與手術導航系統整合之混合實境系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163837A (zh) * 2017-07-28 2020-05-15 医达科技公司 用于混合现实环境中手术规划的方法和系统
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109864820A (zh) * 2019-03-19 2019-06-11 安徽紫薇帝星数字科技有限公司 一种基于ct三维模型映射混合定位导航系统
CN112155727A (zh) * 2020-08-31 2021-01-01 上海市第一人民医院 基于三维模型的手术导航系统、方法、设备和介质

Also Published As

Publication number Publication date
CN113648056A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Ma et al. Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement: a pilot study
US20240164839A1 (en) Orthopedic Fixation Control And Manipulation
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
CN202751447U (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
US20140316420A1 (en) Surgical rod measuring system and method
US20100022874A1 (en) Image Guided Navigation System and Method Thereof
CN109984843B (zh) 骨折闭合复位导航系统及方法
Kausch et al. Toward automatic C-arm positioning for standard projections in orthopedic surgery
Lu et al. Applications of mixed reality technology in orthopedics surgery: a pilot study
JP2019519257A (ja) 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法
CN113648057B (zh) 手术导航系统及用于虚拟空间三维模型与现实空间位置对应的方法
CN113893034A (zh) 基于增强现实的一体式手术导航方法、系统和存储介质
CN113648056B (zh) 混合现实显示设备及手术导航系统
KR20170084435A (ko) 초음파 영상 장치 및 그 제어 방법
WO2020165449A1 (en) Automatic setting of imaging parameters
CN110638525B (zh) 整合扩增实境的手术导航系统
US20170312033A1 (en) Surgery navigation system
CN111938819A (zh) 一种脊柱外科微创手术导航系统
Grützner et al. Computer-assisted LISS plate osteosynthesis of proximal tibia fractures: feasibility study and first clinical results
US20200334998A1 (en) Wearable image display device for surgery and surgery information real-time display system
CN116564149A (zh) 一种用于腰椎间孔穿刺的操作训练方法
TW201737872A (zh) 手術導航系統
CN113764093A (zh) 混合现实显示设备及其手术信息处理方法、存储介质
EP3024408B1 (en) Wrong level surgery prevention
EP4041114B1 (en) Patterned incision foil and method for determining a geometry of an anatomical surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant