CN115054367A - 基于混合现实的病灶定位方法、装置和电子设备 - Google Patents

基于混合现实的病灶定位方法、装置和电子设备 Download PDF

Info

Publication number
CN115054367A
CN115054367A CN202210698532.1A CN202210698532A CN115054367A CN 115054367 A CN115054367 A CN 115054367A CN 202210698532 A CN202210698532 A CN 202210698532A CN 115054367 A CN115054367 A CN 115054367A
Authority
CN
China
Prior art keywords
dimensional digital
patient
digital twin
mixed reality
twin model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210698532.1A
Other languages
English (en)
Inventor
成兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chest Hospital
Original Assignee
Shanghai Chest Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chest Hospital filed Critical Shanghai Chest Hospital
Priority to CN202210698532.1A priority Critical patent/CN115054367A/zh
Publication of CN115054367A publication Critical patent/CN115054367A/zh
Priority to PCT/CN2023/099272 priority patent/WO2023246521A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于混合现实的病灶定位方法、装置和电子设备，包括：获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作；基于混合现实平台的TOF深度感受器建立虚拟空间坐标系；基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准；基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。该方式中，可以在混合现实平台中直观地显示患者的病灶的实际位置，指导病灶的定位及切除，从而避免术前穿刺定位的操作，减少手术创伤和手术时间，有利于术后快速康复。

Description

基于混合现实的病灶定位方法、装置和电子设备
技术领域
本发明涉及医疗技术领域，尤其是涉及一种基于混合现实的病灶定位方法、装置和电子设备。
背景技术
随着肿瘤筛查的普及，大量内脏肿瘤如肺癌、胃癌、肝癌及肾癌等被发现在早期阶段。手术切除是实现早期肿瘤根治、延长生命的最主要手段。对于这类手术，微创腔镜下精准切除是主要的手术方式。但是，这同时也带来了新挑战。由于在微创腔镜手术情况下，大多数早期肿瘤既看不见也摸不着，所以如何做到肿瘤的准确定位是进行此类手术的主要技术难点。并且，随着早期肿瘤手术的爆发式增长，定位技术的需求量也越来越大。在实际操作中，外科医生可以在数字影像上看到病灶的位置，例如CT(Computed Tomography，电子计算机断层扫描)、核磁等。
但是，在实际的手术过程中却无法将数字信息转化为真实物理信息用来指导手术，往往需要根据经验，或通过间接的物理定位方法来对该类信息进行转化。
因此，目前的病灶定位方法仍然有限，且均具有不同程度的显著缺陷。以早期肺癌、肺结节的局部切除为例，目前主要采取术前在CT引导下穿刺在肺表面放置标记物的方法，术中则在腔镜下根据可见的标记物估计肺结节位置，指导肺局部切除。但是该方法有诸多缺点，如：患者穿刺中(约15-30分钟)及穿刺后等待手术期间(数十分钟至数小时)均承受巨大痛苦及恐惧；反复CT照射，增加放射线暴露；穿刺定位后需麻醉医生及护士进行看护管理；出现气胸、出血等并发症无法及时处理，风险高；受限于场地、设备和人员，很多医院无法开展该技术，故限制了肺结节精准切除手术的推广。
发明内容
有鉴于此，本发明的目的在于提供一种基于混合现实的病灶定位方法、装置和电子设备，以避免术前穿刺定位的操作，减少手术创伤和手术时间，有利于术后快速康复。
第一方面，本发明实施例提供了一种基于混合现实的病灶定位方法，方法包括：获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作；基于混合现实平台的TOF深度感受器建立虚拟空间坐标系；基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准；基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。
在本申请较佳的实施例中，上述基于薄层CT图像确定患者的三维数字孪生模型的步骤，包括：基于薄层CT图像构建患者的三维数字模型；其中，三维数字模型的内部包括病灶，三维数字模型的表面包括病灶的投影点和多个解剖标记点；渲染三维数字模型，得到患者的三维数字孪生模型。
在本申请较佳的实施例中，上述解剖标记点与实际标记点一一对应；基于胸腔镜和引导器将患者的病灶与三维数字孪生模型拟合和形变校准，得到最终的三维数字孪生模型的步骤，包括：基于胸腔镜和引导器确定多个实际标记点在的虚拟空间坐标系的虚拟空间坐标；基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型。
在本申请较佳的实施例中，上述引导器包括多个视觉识别点；基于胸腔镜和引导器确定多个实际标记点在的虚拟空间坐标系的虚拟空间坐标的步骤，包括：基于胸腔镜和引导器确定多个视觉识别点在的虚拟空间坐标系的虚拟空间坐标；基于多个视觉识别点的虚拟空间坐标和引导器的引导柄长度，确定多个实际标记点的虚拟空间坐标。
在本申请较佳的实施例中，上述基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型的步骤，包括：基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配；基于多个实际标记点之间的距离对患者的病灶与三维数字孪生模型进行形变校准，得到最终的三维数字孪生模型。
在本申请较佳的实施例中，上述基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置的步骤，包括：将混合现实平台的虚拟镜头与胸腔镜的真实镜头匹配；将混合现实平台的虚拟显示屏与胸腔镜的真实显示屏匹配；在虚拟显示屏中显示病灶的实际位置。
在本申请较佳的实施例中，上述在虚拟显示屏中显示病灶的实际位置的步骤，包括：将最终的三维数字孪生模型转换为二维图像；其中，二维图像包括病灶的投影点；在虚拟显示屏中显示二维图像。
在本申请较佳的实施例中，上述方法还包括：通过电灼标记病灶的实际位置。
第二方面，本发明实施例还提供一种基于混合现实的病灶定位装置，装置包括：三维数字孪生模型确定模块，用于获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作；虚拟空间坐标系建立模块，用于基于混合现实平台的TOF深度感受器建立虚拟空间坐标系；模型匹配和形变校准模块，用于基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准；病灶的实际位置显示模块，用于基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。
第三方面，本发明实施例还提供一种电子设备，电子设备包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述的基于混合现实的病灶定位方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种基于混合现实的病灶定位方法、装置和电子设备，基于胸腔镜和引导器将患者的病灶与患者的三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型；基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。该方式中，可以在混合现实平台中直观地显示患者的病灶的实际位置，指导病灶的定位及切除，从而避免术前穿刺定位的操作，减少手术创伤和手术时间，有利于术后快速康复。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种肿瘤病灶定位的方法的示意图；
图2为本发明实施例提供的一种基于混合现实的病灶定位方法的流程图；
图3为本发明实施例提供的另一种基于混合现实的病灶定位方法的流程图；
图4为本发明实施例提供的一种引导器的示意图；
图5为本发明实施例提供的一种胸腔镜和引导器的使用方式的示意图；
图6为本发明实施例提供的一种右肺解剖标记点的示意图；
图7为本发明实施例提供的一种左肺解剖标记点的示意图；
图8为本发明实施例提供的一种虚拟空间坐标系的示意图；
图9为本发明实施例提供的一种双目视觉定位法的示意图；
图10为本发明实施例提供的一种基于混合现实的病灶定位方法的示意图；
图11为本发明实施例提供的一种基于混合现实的病灶定位装置的结构示意图；
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，随着肿瘤筛查的普及，大量内脏肿瘤如肺癌、胃癌、肝癌及肾癌等被发现在早期阶段。手术切除是实现早期肿瘤根治、延长生命的最主要手段。对于这类手术，微创腔镜下精准切除是主要的手术方式。但是，这同时也带来了新挑战。由于在微创腔镜手术情况下，大多数早期肿瘤既看不见也摸不着，所以如何做到肿瘤的准确定位是进行此类手术的主要技术难点。并且，随着早期肿瘤手术的爆发式增长，定位技术的需求量也越来越大。在实际操作中，外科医生可以在数字影像上看到病灶的位置，例如CT、核磁等。在实际的手术过程中却无法将数字信息转化为真实物理信息用来指导手术，往往需要根据经验，或通过间接的物理定位方法来对该类信息进行转化。
但是，目前的病灶定位方法仍然有限，且均具有不同程度的显著缺陷。以早期肺癌、肺结节的局部切除为例，参见图1所示的一种肿瘤病灶定位的方法的示意图，目前主要采取术前在CT引导下穿刺在肺表面放置标记物的方法，术中则在腔镜下根据可见的标记物估计肺结节位置，指导肺局部切除。但是该方法有诸多缺点，如：患者穿刺中(约15-30分钟)及穿刺后等待手术期间(数十分钟至数小时)均承受巨大痛苦及恐惧；反复CT照射，增加放射线暴露；穿刺定位后需麻醉医生及护士进行看护管理；出现气胸、出血等并发症无法及时处理，风险高；受限于场地、设备和人员，很多医院无法开展该技术，故限制了肺结节精准切除手术的推广。因此，目前临床上缺少能实现早期肿瘤结节的有效无创定位方法，而其核心问题是如何实现此类病灶的可视化。
基于此，本发明实施例提供的一种基于混合现实的病灶定位方法、装置和电子设备，具体提供了一种通过混合现实和双目视觉三维定位实现腔镜手术中病灶定位的方法，主要涉及一种基于混合现实平台下双目视觉空间定位技术和三维数字孪生建模技术，实现腔镜手术中病灶定位的方法。通过该方法可以实现腔镜手术中将术前的影像学数字信息转化为术中实时的病灶位置可视化信息，从而实现病灶无创定位，指导微创手术精准切除。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于混合现实的病灶定位方法进行详细介绍。
实施例一：
本发明实施例提供一种基于混合现实的病灶定位方法，本实施例主要涉及以下概念：
混合现实(Mixed Reality，MR):指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动，从而实现真实世界和虚拟物体在同一视觉空间中显示和交互。
与普通的虚拟现实(Virtual reality)或增强现实(Augmented reality)相比，混合现实更加强调数字虚拟对象在物理空间内的位置稳定性及定位的准确性，并真正意义上实现和数字对象在特定的三维空间内进行互动。在混合现实设备领域，目前以眼镜平台技术最为成熟。该眼镜具有光波导显示、深度感知、空间理解、手势识别、眼动跟踪、图像识别、空间音效等功能，从而可以将数字对象精准匹配到真实的三维空间内，并保证操作者和数字对象在该空间内进行实时互动。其中，眼镜中的时间飞行深度感受器(Time of FlightDepth Sensor)提供了直接获得场景深度信息的能力，因此能够高效感知外部环境，并且配合人工智能算法提高了场景表面集合网格的完整性。基于该功能的空间匹配(SpatialMapping)和空间锚(Spatial Anchors)技术可以实现对三维数字对象在特定真实空间内的三维坐标确定及显示，其定位准确性可以达到亚厘米级，从而为混合现实技术的医学应用带来了可能性。
因为虚拟物体和实体物体的配准点在胸腔或腹腔内，其空间位置无法进行直接测量，本实施例还涉及视觉定位技术和Unity摄像机的透视模式成像技术。混合现实的关键空间定位技术包括：空间锚技术和双目视觉定位技术。
基于上述描述，参见图2所示的一种基于混合现实的病灶定位方法的流程图，该基于混合现实的病灶定位方法包括如下步骤：
步骤S202，获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作。
本实施例中一般以肺部的结节定位为例，此后不再赘述。CT是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描的一种技术。其中，薄层指的是单次扫描层面≤5mm的情况，薄层CT扫描每次扫描的间隔较小。
混合现实平台中可以为眼镜平台。数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。
步骤S204，基于混合现实平台的TOF深度感受器建立虚拟空间坐标系。
飞行时间(Time of Flight，TOF)在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量)，从而进一步理解离子或媒介某些性质的技术。
虚拟空间坐标系可以根据手术室的三维图像建立，其中，可以对手术室的真实三维空间进行虚拟的坐标标记，建立虚拟空间坐标系。
步骤S206，基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准。
胸腔镜是指通过胸壁套管或微小切口下完成胸内复杂手术的微创胸外科新技术。引导器可以深入患者体内，通过引导器可以对者的病灶与三维数字孪生模型进行匹配。在通过匹配和形变校准得到最终的三维数字孪生模型之后，可以将最终的三维数字孪生与患者体内的脏器进行配准。
步骤S208，基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。
混合现实平台中包含显示屏，可以在显示屏中显示最终的三维数字孪生模型，其中，由于最终的三维数字孪生模型包括病灶的投影点的位置，因此，在混合现实平台中可以显示病灶的实际位置，以便于医生进行手术。
本发明实施例提供的一种基于混合现实的病灶定位方法，基于胸腔镜和引导器将患者的病灶与患者的三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型；基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。该方式中，可以在混合现实平台中直观地显示患者的病灶的实际位置，指导病灶的定位及切除，从而避免术前穿刺定位的操作，减少手术创伤和手术时间，有利于术后快速康复。
实施例二：
本实施例提供了另一种基于混合现实的病灶定位方法，该方法在上述实施例的基础上实现，本实施例可以将数字孪生对象与空间内不直接可见的脏器进行匹配(在腔镜操作的环境下)；还可以将虚实匹配后的3D数字模型转化为可以用来指导术中病灶定位的2D图像。
参见图3所示的另一种基于混合现实的病灶定位方法的流程图，该基于混合现实的病灶定位方法包括如下步骤：
步骤S302，获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作。
本实施例中以肺部的结节定位为例，具体地，可以基于薄层CT图像构建患者的三维数字模型；其中，三维数字模型的内部包括病灶，三维数字模型的表面包括病灶的投影点和多个解剖标记点；渲染三维数字模型，得到患者的三维数字孪生模型。
本实施例中可以根据患者体检薄层CT图像进行建模。生成三维数字模型。通过欧拉空间最短模值投影算法计算结节在肺表面投影的位置，标记结节在肺表面投射点的位置。将重建的数字模型通过Unity软件进行渲染，使其成为可在眼镜平台中进行操作的三维数字孪生模型的对象。
步骤S304，基于混合现实平台的TOF深度感受器建立虚拟空间坐标系。
在手术当日，可以将装载有数字孪生对象的混合现实眼镜带入手术室。通过眼镜的TOF深度感受器对手术室中的三维图像进行空间扫描，利用空间匹配技术对真实三维空间进行虚拟的坐标标记，建立虚拟空间坐标系XYZ。
步骤S306，基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准。
具体地，可以基于胸腔镜和引导器确定多个实际标记点在的虚拟空间坐标系的虚拟空间坐标；基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型。其中，解剖标记点与实际标记点一一对应，实际标记点可以理解为解剖标记点在患者的实际位置。
通过胸腔镜和虚实匹配引导器实现数字孪生对象和不直接可见的真实肺脏的匹配，其中，引导器包括多个视觉识别点。由于眼镜平台的空间定位技术主要依靠可视光学定位方案，对于在胸腔内不可见的肺脏的空间位置确定需要通过引导器完成，例如：基于胸腔镜和引导器确定多个视觉识别点在的虚拟空间坐标系的虚拟空间坐标；基于多个视觉识别点的虚拟空间坐标和引导器的引导柄长度，确定多个实际标记点的虚拟空间坐标。
参见图4所示的一种引导器的示意图，引导器的视觉识别点1、2、3构成一个平面等边三角形，引导柄经过等边三角形的中点并垂直于三角形平面，引导柄长度已知为d。
参见图5所示的一种胸腔镜和引导器的使用方式的示意图，在手术中通过胸腔镜操作孔将引导器的引导柄部分和配准点伸入胸腔内，在胸腔镜的辅助观察下，将配准点与已知的肺表面解剖标记点重合。
对于双肺内的固定解剖点，其选定标准包括：为所有病例均有的解剖点；胸腔镜手术中易于寻找；其位置受呼吸或心脏搏动影响较小。
参见图6所示的一种右肺解剖标记点的示意图，右肺解剖标记点至少包括以下之一：右上肺尖顶点A、上肺后段与下肺背段交汇处顶点B、右肺水平裂与斜裂交汇点C、水平裂与右上肺内侧缘交汇点D、右上肺第一肋压迹E、右下肺下缘与胸椎压迹交点F、右下肺下缘内侧终点G、右中肺最低点H、右上肺气管压迹最低点I、右下肺静脉压迹点J、右下肺下缘外侧终点K。
参见图7所示的一种左肺解剖标记点的示意图，左肺解剖标记点至少包括以下之一：左上肺尖段顶点A、左侧第一肋骨压迹点B、左上肺后段与左下肺背段交汇处顶点C、左上肺最低点D、左肺上斜裂与下斜裂交点E、左肺下斜裂最低点F、左下肺下缘与主动脉弓压迹交点G、左下肺纵隔面下缘与主动脉弓压迹交点H、左下肺静脉压迹点I、左下肺上缘与主动脉弓压迹交点J。
以右上肺为例，将配准引导器的配准球分别放置在A、B、C、D、E点，通过双目视觉定位技术及空间算法依次求得A、B、C、D、E点在虚拟空间XYZ中的坐标。参见图8所示的一种虚拟空间坐标系的示意图，以A点为例，配准引导器在虚拟空间中的位置如下图所示。配准点与A点重合，其空间坐标为(x,y,z)。
首先通过图像识别功能先后识别视觉识别点1、2、3，通过双目视觉定位法分别测得视觉识别点1、2、3的坐标(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)。参见图9所示的一种双目视觉定位法的示意图，眼镜平台配备两个处于同一平面的摄像机，其中基线距B＝两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(xc，yc，zc)，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为Pleft＝(Xleft，Yleft)，Pright＝(Xright，Yright)。
由于两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Yleft＝Yright＝Y，则由三角几何关系得到：Xleft＝f×xc/zc，Xright＝f×(xc-B)/zc，Y＝f×yc/zc。则视差为：Disparity＝|Xleft-Xright|。由此可计算出特征点P在虚拟空间坐标系下的三维坐标为：xc＝(B·Xright)/Disparity，Yc＝(B·Y)/Disparity，Zc＝(B·f)/Disparity。
在双目定位中，只要知道空间中任意点在左右相机像面上的投射点坐标，就可以确定出该点的三维坐标。通过该方法分别求得视觉识别点1、2、3的空间坐标(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)。等边三角形的中点(x4,y4,z4)，x4＝(x1+x2+x3)/3,y4＝(y1+y2+y3)/3,z4＝(z1+z2+z3)/3。
由此可以求得配准点在虚拟空间中的坐标(x,y,z)：
(x-x1)2+(y-y1)2+(z-z1)2＝d2+(x4-x1)2+(y4-y1)2+(z4-z1)2；
(x-x2)2+(y-y2)2+(z-z2)2＝d2+(x4-x2)2+(y4-y2)2+(z4-z2)2；
(x-x3)2+(y-y3)2+(z-z3)2＝d2+(x4-x3)2+(y4-y3)2+(z4-z3)2。
在分别求得配准点A、B、C、D、E的空间坐标后，可以基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配；基于多个实际标记点之间的距离对患者的病灶与三维数字孪生模型进行形变校准，得到最终的三维数字孪生模型。
将肺数字孪生模型上相应的解剖点通过空间锚技术配准至实际的解剖点上，从而实现在不直接可见情况下，通过胸腔镜和配准引导器辅助将虚拟数字模型与实际肺组织精准匹配。之后再根据匹配后的点之间距离对数字模型进行形变校准，从而实现虚实匹配。
此外，本实施例中对于双目视觉定位的替代方案包括：光学定位追踪，超宽带(Ultra Wide Band，UWB)空间定位，磁导航空间定位，蓝牙空间定位，红外线定位追踪等。
步骤S308，基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。
具体地，可以将混合现实平台的虚拟镜头与胸腔镜的真实镜头匹配；将混合现实平台的虚拟显示屏与胸腔镜的真实显示屏匹配；在虚拟显示屏中显示病灶的实际位置。
Unity 3D中的虚拟胸腔镜头(即虚拟镜头)和真实的胸前镜头(即真实镜头)进行匹配，使移动真实胸腔镜的同时也在移动虚拟腔镜，并保证二者的光学参数一致。
其中，基于将最终的三维数字孪生模型(3D图像)转换为二维图像(2D图像)；其中，二维图像包括病灶的投影点；在虚拟显示屏中显示二维图像。在Unity3D图形渲染中包括相机功能，可以通过透视模式成像，模拟真实光学成像原理，将3D图像转化为2D图像并在虚拟屏幕上呈现。将配准引导器引导柄与真实腔镜镜身重合，使配准点位置与镜头位置重合，求得虚拟镜头的坐标，而虚拟镜身与实际镜身重合，在移动实际镜身的过程中，通过图像追踪功能，实现虚拟腔镜和真实腔镜的同步移动。虚拟屏幕上展现的图片此时即与真实腔镜屏幕上的图片实现同步。
在真实腔镜屏幕的四角上贴上视觉识别点4、5、6、7，通过双目视觉定位方法，测得其在虚拟空间坐标系中的坐标，并利用空间锚技术，将虚拟的腔镜显示屏与真实显示屏实现配准拟合。则此时虚拟腔镜屏幕上数字孪生模型的2D图像与真实腔镜中的肺图像实现配准。数字孪生图像上肺病灶投射点可通过混合现实眼镜显示在真实肺表面，从而实现肺部病灶的无创定位。
步骤S310，通过电灼标记病灶的实际位置。
根据虚拟病灶的位置，可以通过电灼法在实际肺表面上进行标记，并根据该标记位置进行肺病灶精准切除手术。
对于上述基于混合现实的病灶定位方法的整体流程，可以参见图10所示的一种基于混合现实的病灶定位方法的示意图，将三维数字孪生模型载入混合显示平台；手术当日通过空间匹配技术对手术室进行虚拟空间坐标匹配；患者全麻处理，胸腔镜微创进胸；将引导器放入胸腔内，引导器末端的配准球放在真实肺上配准实际标记点；通过双目视觉三维定位法测算引导器上视觉识别点的虚拟空间坐标；推算胸腔内实际标记点的虚拟空间坐标；依次测算3-5个实际标记点的虚拟空间坐标；通过空间锚技术将三维数字孪生模型与真实肺拟合；通过双目视觉定位法和空间锚技术将虚拟胸腔镜头和真实胸腔镜头拟合；将配准后的三维数字孪生模型转换为二维图像；通过双目视觉定位法和空间锚技术将虚拟显示屏与真实显示屏匹配；实现真实肺在真实显示屏的二维影像与虚拟显示屏的影像的匹配；从而实现肺病灶可视化，指导手术切除病灶。
此外，本实施例中的对于定位配准引导器上的视觉识别点的空间定位可以通过光学定位方法实现。本实施例中的对于引导器末端配准球的虚拟空间坐标定位，可以通过蓝牙空间定位、UWB空间定位，磁导航空间定位等方法实现。本实施例中的对于真实腔镜和虚拟腔镜的配准拟合可以通过红外空间定位等方法实现。
以肺部病灶的定位切除为例，传统的肺三维重建导航主要用作肺段切除手术，对于肺结节活检或早早期肺癌等需要精准楔形切除的病例并不适用。目前，为实现肺结节定位主要依靠CT引导下穿刺法，该方法需要术前额外借助CT设备，需要专业人员操作，患者反复接受额外射线照射且常有难以忍受的疼痛感，在穿刺过程中还伴随着气胸、出血等风险，降低了微创手术的安全性。
本发明实施例提供的上述方法，通过配准引导器和双目视觉定位方法实现在腔镜手术中对人体内不直接可见的内脏解剖标记点在混合现实虚拟空间坐标系中定位；通过混合现实虚拟腔镜透视成像法将3D模型转为2D图像，并配准追踪虚拟腔镜镜头和实际腔镜，从而将腔镜手术中显示屏上的真实肺2D图像和虚拟肺的2D图像配准，实现病灶可视化。
本实施例提出一种新的根据肺内解剖点的测量定位的方式，该方法利用肺内特定的解剖标识点作为参考，通过精准测量，完成结节在肺表面投影的定位，达到与CT引导下穿刺定位相同的效果，但是可以完全避免传统CT引导下肺结节穿刺定位方法的缺点，让病人在全麻状态下完成结节定位，具有安全、无创、准确的特点。具体包括：
(1)减少放射线暴露：传统CT引导法，需要在患者完成初始诊断CT后，在术前进行额外的CT扫描，在穿刺过程中需要反复进行CT照射确定定位标记物的位置。本实施例所用方法仅需一次初始诊断CT进行三维建模，大大减少放射性损伤。
(2)减轻疼痛：传统CT辅助定位法过程中患者局部麻醉，常会造成难以忍受的疼痛，穿刺结束后金属标记留在体内，而患者需要再清醒状态下等待手术开始，进一步增加疼痛。本实施例方法定位过程中患者全程全身麻醉状态，不增加额外创伤，无疼痛。
(3)降低风险：传统CT引导穿刺定位法在穿刺过程中可能造成肺、血管等损伤，造成患者气胸、出血等风险，而患者完成穿刺等待手术的时间里，若相关并发症不能得到及时治疗，可能造成休克等风险。本实施例辅助装置在术中完成定位，不涉及穿刺过程，避免了血胸、气胸风险。
(4)防止交叉感染：传统CT法引导法，常出现多个患者在术前定位时共用一台CT完成操作的情况，大大增加了医护及患者在操作过程中出现交叉感染的风险。本发明专利实现个体化定位，不需要共用穿刺设备，避免了定位过程中交叉感染的风险。
(5)减少时间：传统CT定位方法约耗费30分钟作用，本发明辅助设备定位耗时可控制在5-10分钟，大大减少了定位所需要时间。
(6)人力成本：传统CT定位法需要增加额外的放射科医护辅助完成操作，浪费了人力成本，而本方法仅需要外科医生术中完成操作，降低了人力成本。
(7)设备依赖：本操作无需CT等高额固定设备，降低了定位技术对设备的依赖，有利于该项技术推广。
实施例三：
对应于上述方法实施例，本发明实施例提供了一种基于混合现实的病灶定位装置，参见图11所示的一种基于混合现实的病灶定位装置的结构示意图，该基于混合现实的病灶定位装置包括：
三维数字孪生模型确定模块1101，用于获取患者的薄层CT图像，基于薄层CT图像确定患者的三维数字孪生模型；其中，三维数字孪生模型用于在混合现实平台中操作；
虚拟空间坐标系建立模块1102，用于基于混合现实平台的TOF深度感受器建立虚拟空间坐标系；
模型匹配和形变校准模块1103，用于基于胸腔镜和引导器将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将最终的三维数字孪生与患者体内的脏器进行配准；
病灶的实际位置显示模块1104，用于基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。
本发明实施例提供的一种基于混合现实的病灶定位装置，基于胸腔镜和引导器将患者的病灶与患者的三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型；基于最终的三维数字孪生模型在混合现实平台中显示病灶的实际位置。该方式中，可以在混合现实平台中直观地显示患者的病灶的实际位置，指导病灶的定位及切除，从而避免术前穿刺定位的操作，减少手术创伤和手术时间，有利于术后快速康复。
上述三维数字孪生模型确定模块，用于基于薄层CT图像构建患者的三维数字模型；其中，三维数字模型的内部包括病灶，三维数字模型的表面包括病灶的投影点和多个解剖标记点；渲染三维数字模型，得到患者的三维数字孪生模型。
上述解剖标记点与实际标记点一一对应；上述模型匹配和形变校准模块，用于基于胸腔镜和引导器确定多个实际标记点在的虚拟空间坐标系的虚拟空间坐标；基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型。
上述引导器包括多个视觉识别点；上述模型匹配和形变校准模块，用于基于胸腔镜和引导器确定多个视觉识别点在的虚拟空间坐标系的虚拟空间坐标；基于多个视觉识别点的虚拟空间坐标和引导器的引导柄长度，确定多个实际标记点的虚拟空间坐标。
上述模型匹配和形变校准模块，用于基于多个实际标记点的虚拟空间坐标将患者的病灶与三维数字孪生模型进行匹配；基于多个实际标记点之间的距离对患者的病灶与三维数字孪生模型进行形变校准，得到最终的三维数字孪生模型。
上述病灶的实际位置显示模块，用于混合现实平台的虚拟镜头与胸腔镜的真实镜头匹配；将混合现实平台的虚拟显示屏与胸腔镜的真实显示屏匹配；在虚拟显示屏中显示病灶的实际位置。
上述病灶的实际位置显示模块，用于将最终的三维数字孪生模型转换为二维图像；其中，二维图像包括病灶的投影点；在虚拟显示屏中显示二维图像。
上述装置还包括电灼标记模块，用于：通过电灼标记病灶的实际位置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于混合现实的病灶定位装置的具体工作过程，可以参考前述的基于混合现实的病灶定位方法的实施例中的对应过程，在此不再赘述。
实施例四：
本发明实施例还提供了一种电子设备，用于运行上述基于混合现实的病灶定位方法；参见图12所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述基于混合现实的病灶定位方法。
进一步地，图12所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述基于混合现实的病灶定位方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的基于混合现实的病灶定位方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于混合现实的病灶定位方法，其特征在于，所述方法包括：
获取患者的薄层CT图像，基于所述薄层CT图像确定所述患者的三维数字孪生模型；其中，所述三维数字孪生模型用于在混合现实平台中操作；
基于所述混合现实平台的TOF深度感受器建立虚拟空间坐标系；
基于胸腔镜和引导器将所述患者的病灶与所述三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将所述最终的三维数字孪生与所述患者体内的脏器进行配准；
基于最终的三维数字孪生模型在所述混合现实平台中显示所述病灶的实际位置。
2.根据权利要求1所述的方法，其特征在于，基于所述薄层CT图像确定所述患者的三维数字孪生模型的步骤，包括：
基于所述薄层CT图像构建所述患者的三维数字模型；其中，所述三维数字模型的内部包括病灶，所述三维数字模型的表面包括所述病灶的投影点和多个解剖标记点；
渲染所述三维数字模型，得到所述患者的三维数字孪生模型。
3.根据权利要求2所述的方法，其特征在于，所述解剖标记点与实际标记点一一对应；基于胸腔镜和引导器将所述患者的病灶与所述三维数字孪生模型拟合和形变校准，得到最终的三维数字孪生模型的步骤，包括：
基于胸腔镜和引导器确定多个所述实际标记点在所述的虚拟空间坐标系的虚拟空间坐标；
基于多个所述实际标记点的虚拟空间坐标将所述患者的病灶与所述三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型。
4.根据权利要求3所述的方法，其特征在于，所述引导器包括多个视觉识别点；基于胸腔镜和引导器确定多个所述实际标记点在所述的虚拟空间坐标系的虚拟空间坐标的步骤，包括：
基于胸腔镜和引导器确定多个所述视觉识别点在所述的虚拟空间坐标系的虚拟空间坐标；
基于多个所述视觉识别点的虚拟空间坐标和所述引导器的引导柄长度，确定多个所述实际标记点的虚拟空间坐标。
5.根据权利要求3所述的方法，其特征在于，基于多个所述实际标记点的虚拟空间坐标将所述患者的病灶与所述三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型的步骤，包括：
基于多个所述实际标记点的虚拟空间坐标将所述患者的病灶与所述三维数字孪生模型进行匹配；
基于多个所述实际标记点之间的距离对所述患者的病灶与所述三维数字孪生模型进行形变校准，得到最终的三维数字孪生模型。
6.根据权利要求1所述的方法，其特征在于，基于最终的三维数字孪生模型在所述混合现实平台中显示所述病灶的实际位置的步骤，包括：
将所述混合现实平台的虚拟镜头与所述胸腔镜的真实镜头匹配；
将所述混合现实平台的虚拟显示屏与所述胸腔镜的真实显示屏匹配；
所述在所述虚拟显示屏中显示所述病灶的实际位置。
7.根据权利要求6所述的方法，其特征在于，在所述虚拟显示屏中显示所述病灶的实际位置的步骤，包括：
将最终的三维数字孪生模型转换为二维图像；其中，所述二维图像包括所述病灶的投影点；
在所述虚拟显示屏中显示所述二维图像。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过电灼标记所述病灶的实际位置。
9.一种基于混合现实的病灶定位装置，其特征在于，所述装置包括：
三维数字孪生模型确定模块，用于获取患者的薄层CT图像，基于所述薄层CT图像确定所述患者的三维数字孪生模型；其中，所述三维数字孪生模型用于在混合现实平台中操作；
虚拟空间坐标系建立模块，用于基于所述混合现实平台的TOF深度感受器建立虚拟空间坐标系；
模型匹配和形变校准模块，用于基于胸腔镜和引导器将所述患者的病灶与所述三维数字孪生模型进行匹配和形变校准，得到最终的三维数字孪生模型，并将所述最终的三维数字孪生与所述患者体内的脏器进行配准；
病灶的实际位置显示模块，用于基于最终的三维数字孪生模型在所述混合现实平台中显示所述病灶的实际位置。
10.一种电子设备，其特征在于，所述电子设备包括：处理设备和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至8任一项所述的基于混合现实的病灶定位方法。
CN202210698532.1A 2022-06-20 2022-06-20 基于混合现实的病灶定位方法、装置和电子设备 Pending CN115054367A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210698532.1A CN115054367A (zh) 2022-06-20 2022-06-20 基于混合现实的病灶定位方法、装置和电子设备
PCT/CN2023/099272 WO2023246521A1 (zh) 2022-06-20 2023-06-09 基于混合现实的病灶定位方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210698532.1A CN115054367A (zh) 2022-06-20 2022-06-20 基于混合现实的病灶定位方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115054367A true CN115054367A (zh) 2022-09-16

Family

ID=83201428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210698532.1A Pending CN115054367A (zh) 2022-06-20 2022-06-20 基于混合现实的病灶定位方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN115054367A (zh)
WO (1) WO2023246521A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110547870A (zh) * 2019-08-01 2019-12-10 浙江大学 一种精准肝脏手术导航定位装置
CN115662234A (zh) * 2022-11-03 2023-01-31 郑州大学 一种基于虚拟现实的胸腔镜手术示教系统
CN115862821A (zh) * 2023-02-16 2023-03-28 深圳市汇健智慧医疗有限公司 基于数字孪生的智慧手术室的构建方法及相关装置
WO2023246521A1 (zh) * 2022-06-20 2023-12-28 上海市胸科医院 基于混合现实的病灶定位方法、装置和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106821497B (zh) * 2017-03-16 2023-10-31 上海市肺科医院 一种靶位点的精确定位及处置方法和辅助装置
EP3625773A1 (en) * 2017-05-16 2020-03-25 Koninklijke Philips N.V. Virtual augmentation of anatomical models
WO2019021236A1 (en) * 2017-07-28 2019-01-31 Edda Technology, Inc. METHOD AND SYSTEM FOR SURGICAL PLANNING IN A MIXED REALITY ENVIRONMENT
CN109157285A (zh) * 2018-09-30 2019-01-08 上海馨孚科技有限公司 一种增强现实辅助肺结节定位的方法
CN111658142A (zh) * 2019-03-07 2020-09-15 重庆高新技术产业开发区瑞晟医疗科技有限公司 一种基于mr的病灶全息导航方法及系统
CN113648056B (zh) * 2021-08-18 2022-08-23 上海电气集团股份有限公司 混合现实显示设备及手术导航系统
CN115054367A (zh) * 2022-06-20 2022-09-16 上海市胸科医院 基于混合现实的病灶定位方法、装置和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110547870A (zh) * 2019-08-01 2019-12-10 浙江大学 一种精准肝脏手术导航定位装置
CN110547870B (zh) * 2019-08-01 2024-06-11 浙江大学 一种精准肝脏手术导航定位装置
WO2023246521A1 (zh) * 2022-06-20 2023-12-28 上海市胸科医院 基于混合现实的病灶定位方法、装置和电子设备
CN115662234A (zh) * 2022-11-03 2023-01-31 郑州大学 一种基于虚拟现实的胸腔镜手术示教系统
CN115662234B (zh) * 2022-11-03 2023-09-08 郑州大学 一种基于虚拟现实的胸腔镜手术示教系统
CN115862821A (zh) * 2023-02-16 2023-03-28 深圳市汇健智慧医疗有限公司 基于数字孪生的智慧手术室的构建方法及相关装置

Also Published As

Publication number Publication date
WO2023246521A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
US11883118B2 (en) Using augmented reality in surgical navigation
CN115054367A (zh) 基于混合现实的病灶定位方法、装置和电子设备
EP3164075B1 (en) Unified coordinate system for multiple ct scans of patient lungs
RU2707369C1 (ru) Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления
JP6049202B2 (ja) 画像処理装置、方法、及びプログラム
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
CN110432986B (zh) 用于从ct数据构建虚拟径向超声图像的系统和方法
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
CN113100935A (zh) 一种肺部穿刺手术术前穿刺路径规划方法及训练系统
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
Deligianni et al. Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation
CN114931435B (zh) 三维模型处理方法、装置和电子设备
CN115005851A (zh) 基于三角定位的结节定位方法、装置和电子设备
JP2023149127A (ja) 画像処理装置、方法およびプログラム
JP7486976B2 (ja) 体腔のマップ
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
CN113940756B (zh) 一种基于移动dr影像的手术导航系统
US11931111B2 (en) Systems and methods for providing surgical guidance
US20240216078A1 (en) Systems and methods for providing surgical guidance
CN112386332B (zh) 肺部氩氦刀手术路径数据的ar/mr显示方法及系统
KR20190024194A (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
WO2023237075A1 (zh) 基于三角定位的结节定位方法、装置和电子设备
JP2024005113A (ja) 画像処理装置、方法およびプログラム
Diana et al. augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination