CN112515767A - 手术导航装置、设备及计算机可读存储介质 - Google Patents

手术导航装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112515767A
CN112515767A CN202011270615.8A CN202011270615A CN112515767A CN 112515767 A CN112515767 A CN 112515767A CN 202011270615 A CN202011270615 A CN 202011270615A CN 112515767 A CN112515767 A CN 112515767A
Authority
CN
China
Prior art keywords
target
virtual
dimensional image
operated
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011270615.8A
Other languages
English (en)
Other versions
CN112515767B (zh
Inventor
司伟鑫
李若桐
王平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011270615.8A priority Critical patent/CN112515767B/zh
Publication of CN112515767A publication Critical patent/CN112515767A/zh
Application granted granted Critical
Publication of CN112515767B publication Critical patent/CN112515767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请属于手术导航领域，提供了一种手术导航装置、设备及计算机可读存储介质，该装置包括：三维结构信息获取单元，用于获取待手术的目标对应的三维结构信息；虚拟三维图像生成单元，用于根据所述三维结构信息生成所述待手术的目标对应的虚拟三维图像；位置配准单元，用于将所述虚拟三维图像与所述待手术的目标进行位置配准；接触运动补偿单元，用于估计所述目标对应的虚拟三维图像的接触运动补偿，使得虚拟三维图像中的位置信息更为准确，手术操作人员根据配准后的虚拟三维图像进行手术，可以提高手眼协调的便利性，降低手术操作难度，并且通过三维结构信息所生成的虚拟三维图像，能够对手术部位更为精确的定位。

Description

手术导航装置、设备及计算机可读存储介质
技术领域
本申请属于手术导航领域，尤其涉及一种用于射频消融用的手术导航装置、设备及计算机可读存储介质。
背景技术
在手术过程中，医生通常是通过观察手术台上方屏幕所显示的术前规划信息对患者进行手术。比如，射频消融手术是一种广泛应用于肝肿瘤治疗的技术，在射频消融手术时，通常是利用CT影像引导的方式，将消融针经皮穿刺至靶区肿瘤内。
对于一个精确的消融手术，需要保证肿瘤组织始终呈凝固状态，并且在手术期间避免操作到肝脏内部边界结构的完整性。然而，由于CT图像所显示的二维信息，并且不能够实时反映手术过程中的位移形变，不利于对三维的手术部位进行精准定位，并且手术过程中，医生所观察的导航信息的位置与执行手术的位置不同，对医生手眼协调能力提出了更高的要求，增加了手术的难度。
发明内容
有鉴于此，本申请实施例提供了一种手术导航装置、设备及计算机可读存储介质，以解决现有技术中在手术时，不利于对手术部位精确定位，对医生手眼协调能力高，手术难度较大的问题。
本申请实施例的第一方面提供了一种手术导航装置，所述装置包括：
三维结构信息获取单元，用于获取待手术的目标对应的三维结构信息；
虚拟三维图像生成单元，用于根据所述三维结构信息生成所述待手术的目标对应的虚拟三维图像；
位置配准单元，用于将所述虚拟三维图像与所述待手术的目标进行位置配准；
接触运动补偿单元，用于根据预设的与所述目标对应的粒子模型，估计所述目标对应的虚拟三维图像的接触运动补偿。
结合第一方面，在第一方面的第一种可能实现方式中，所述三维结构信息获取单元包括：
二维图像获取子单元，用于获取所述待手术的目标的多个二维图像；
语义分割子单元，用于根据所述二维图像中内容，对所述二维图像进行语义分割；
三维重建子单元，用于根据语义分割后的二维图像进行三维重建，得到所述待手术的目标对应的三维结构信息。
结合第一方面，在第一方面的第二种可能实现方式中，所述位置配准单元包括：
第一特征点确定子单元，用于确定所述待手术的目标的目标特征点，以及在所述虚拟三维图像上与所述目标特征点的位置匹配的虚拟特征点；
坐标确定子单元，用于确定所述目标特征点在目标跟踪系统坐标系中的第一坐标，以及所述虚拟特征点在所述虚拟三维图像坐标系中的第二坐标；
目标配准子单元，用于根据所述第一坐标和所述第二坐标，确定特征点从目标跟踪系统坐标系到虚拟三维图像坐标系的转换矩阵，根据所述转换矩阵对所述虚拟三维图像中的虚拟目标进行配准或跟踪。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述多个特征点为多个非共面的三维特征点。
结合第一方面的第二种可能实现方式，在第一方面的第四种可能实现方式中，所述位置配准单元还包括：
第二特征点确定子单元，用于确定手术用的工具的特征点，以及在虚拟三维图像上与所述工具匹配的虚拟特征点；
工具配准子单元，用于根据所确定的转换矩阵，对所述虚拟三维图像中的虚拟工具进行配准或跟踪。
结合第一方面的第四种可能实现方式，在第一方面的第五种可能实现方式中，所述手术用的工具包括消融针，所述消融针的特征点包括针头和针尾。
结合第一方面，在第一方面的第六种可能实现方式中，所述接触运动补偿单元包括：
粒子模型构建子单元，用于构建待手术的目标所对应的粒子模型；
位移信息确定子单元，用于根据粒子约束条件，结合待手术组织的刚度参数，确定所述粒子模型中的粒子的位移信息，根据所述粒子的位移信息确定所述虚拟三维图像的接触运动补偿。
结合第一方面的第六种可能实现方式，在第一方面的第七种可能实现方式中，所述装置还包括：
参数估计单元，用于对所述待手术的目标执行多次操作，并通过扫描所述待手术的目标中的特征点的位移信息，根据扫描得到的位移信息估计所述待手术的目标对应的刚度参数。
本申请实施例的第二方面提供了一种手术导航设备，所述手术导航设备包括二维图像采集装置、目标跟踪系统、虚拟三维图像显示装置和导航主机，其中：
所述二维图像采集装置用于采集待手术的目标的二维图像；
所述目标跟踪系统用于采集待手术的目标的实时目标图像；
所述导航主机包括第一方面任一项所述的手术导航装置中的功能单元；
所述虚拟三维图像显示单元用于显示所述导航主机所生成或更新的虚拟三维图像。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括第一方面任一项所述的手术导航装置中的功能单元。
本申请实施例与现有技术相比存在的有益效果是：通过三维结构信息获取单元采集待手术的目标对应的三维结构信息，并通过虚拟三维图像生成单元生成所述待手术的目标对应的虚拟三维图像，通过位置配准单元对所述虚拟三维图像和所述待手术的目标进行配准，并通过预设的粒子模型对虚拟三维图像进行接触运动补偿，使得虚拟三维图像中的位置信息更为准确，手术操作人员根据配准后的虚拟三维图像进行手术，可以提高手眼协调的便利性，降低手术操作难度，并且通过三维结构信息所生成的虚拟三维图像，能够对手术部位更为精确的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种手术导航装置示意图；
图2是本申请实施例提供的CT扫描仪获取的CT切片示图；
图3是本申请实施例提供的二维图像的内容分割示意图；
图4是本申请实施例提供的虚拟三维图像示意图；
图5为本申请实施例提供的肝脏软组织的粒子模型示意图；
图6是本申请实施例提供的手术导航设备示意图；
图7是本申请实施例提供的手术导航系统的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在通常的手术过程中，为了提高手术操作的准确性，通常会预先设定术前规划信息。通过显示屏在手术台上方显示所述术前规划信息。比如，利用CT影像引导的射频消融手术中，根据屏幕所显示的术前规划信息，手术操作人员将消融针经皮穿刺至靶区肿瘤内。
由于术前规划信息中的CT影像只能显示二维信息，增加了医生对于靶区三维结构的判断难度，并且不能实时反映手术过程中的位移和形变，不利于提高手术操作的精度。并且，在手术过程中需要抬头观看手术台上方的屏幕中所显示的术前规划信息，对手术操作人员的手眼协调能力要求较高，增加了手术操作的难度。
为了提高手术准确性，通过参考术前CT影像，并结合电磁追踪技术，将一种微小的电磁传感器进行定位和引导，其仍然需要通过屏幕显示导航信息，对手术操作人员的手眼协调能力较高，手术操作难度较大。
基于上述问题，为本申请实施例通过采集待手术的目标的二维图像，并根据所采集的二维图像进行三维重建得到三维结构信息，根据所述三维结构信息生成虚拟三维图像，并将所生成的三维虚拟图像与待手术的目标进行配准，使得虚拟三维图像与待手术的目标重叠，从而便于手术操作人员的手眼可集中于同一位置进行手术操作，降低手术对手眼协调能力的要求，降低手术操作的难度。并且通过构建待手术的目标对应的粒子模型，对虚拟三维图像进行接触运动补偿，使得所显示的手术部位的虚拟三维图像的精度更高，有利于提高手术操作的精确度。
如图1所示，本申请实施例提出了一种手术导航装置的示意图，该装置包括：
三维结构信息获取单元101，用于获取待手术的目标对应的三维结构信息。
虚拟三维图像生成单元102，用于根据所述三维结构信息生成所述待手术的目标对应的虚拟三维图像。
位置配准单元103，用于将所述虚拟三维图像与所述待手术的目标进行位置配准。
接触运动补偿单元104，用于根据预设的与所述目标对应的粒子模型，估计所述目标对应的虚拟三维图像的接触运动补偿。
其中，所述三维结构信息获取单元101，用于通过三维重建的方式获取待手术目标对应的三维结构信息。其中，待手术的目标对应的三维结构信息，可以包括待手术目标的三维结构信息，也可以包括待手术的目标周边部位的三维结构信息。比如，待手术的目标为肝脏时，待进行射频消融手术的目标对应的三维结构信息可以包括皮肤、骨骼、肝脏、血管和肿瘤等部位的三维结构信息。
其中，所述三维结构信息获取单元可以包括：
二维图像获取子单元，用于获取所述待手术的目标的多个二维图像。
语义分割子单元，用于根据所述二维图像中内容，对所述二维图像进行语义分割。
三维重建子单元，用于根据语义分割后的二维图像进行三维重建，得到所述待手术的目标对应的三维结构信息。
二维图像获取子单元中，可以通过超声扫描仪、CT扫描仪、磁共振设备等二维图像采集设备，获取待手术的目标，以及待手术的目标周边的部位的二维图像。比如，图2所示为本申请实施例提供的CT扫描仪获取的CT切片示图，通过CT扫描仪，可以按照预先设定的扫描间隔，得到包括待手术的目标的多个CT图像。
语义分割子单元用于识别所获取的二维图像中的内容，对二维图像进行分割。比如，所采集的二维图像中可能包括皮肤、骨骼、肝脏、血管和肿瘤等部位，根据预先设定的各个部位的特征，与所采集的二维图像中的特征信息进行比对，确定二维图像中的各个像素所对应的内容。如图3所示的二维图像的内容分割示意图，通过语义分割，可以得到二维图像中包括的血管、肝脏、表皮、肿瘤和骨骼等部位。
三维重建子单元用于根据语义分割子单元对二维图像的分割所确定的部位，并根据各个部位在二维图像中的位置信息，对所述待手术的目标进行三维重建，得到待手术的目标以及周边部位的三维结构信息。
所述虚拟三维图像生成单元102可用于生成所述待手术的目标对应的虚拟三维图像。可以通过全息显示设备，比如可以使用虚拟现实头显设备，显示待手术的目标的虚拟三维图像。其中，该虚拟三维图像可以包括待手术的目标的内部结构信息，包括如显示待手术的目标部位中的肿瘤等。通过虚拟三维图像显示待手术的目标的三维结构信息，从而使得手术操作人员可以透视待手术的目标，为手术操作人员提供更为直观的交互方式。比如，图4为本申请实施例提供的虚拟三维图像示意图，通过对三维结构信息进行渲染，可以方便手术操作人员清楚的查看手术部位的器官、肿瘤等信息。
在生成虚拟三维图像后，为了便于降低手术操作人员的手眼协调难度，可以对所述虚拟三维图像进行配准，包括将虚拟三维图像中的虚拟目标图像与待手术的目标进行位置配准，或者还可以将虚拟三维图像中的虚拟工具，与手术用的工具进行位置配准。
其中，位置配准单元可以包括：
第一特征点确定子单元，用于确定所述待手术的目标的目标特征点，以及在所述虚拟三维图像上与所述目标特征点的位置匹配的虚拟特征点。
坐标确定子单元，用于确定所述目标特征点在目标跟踪系统坐标系中的第一坐标，以及所述虚拟特征点在所述虚拟三维图像坐标系中的第二坐标。
目标配准子单元，用于根据所述第一坐标和所述第二坐标，确定特征点从目标跟踪系统坐标系到虚拟三维图像坐标系的转换矩阵，根据所述转换矩阵对所述虚拟三维图像中的虚拟目标进行配准或跟踪。
其中，待手术的目标中所确定的目标特征点，与虚拟三维图像中的虚拟特征点的位置匹配。即当待手术的目标与所述虚拟三维图像重叠时，所述目标特征点与相应的所述虚拟特征点的位置重叠。
为了提高配准的精度，所确定的特征点的个数应当大于三个。另外，为了避免配准误差，所确定的特征点可以选择非共面的三维特征点。
在确定待手术的目标中的目标特征点，以及虚拟三维图像中的虚拟特征点后，可以根据目标特征点所在的目标跟踪系统坐标系，以及虚拟特征点所在的虚拟三维图像坐标系，分别确定目标特征点和虚拟特征点的坐标。其中，目标跟踪系统可以为NDI(加拿大公司名称)跟踪系统。
比如，所确定的目标特征点的坐标为P，虚拟特征点的坐标为Q，目标跟踪系统坐标系到虚拟三维图像坐标系的转换矩阵为T，即P＝TQ。可以采用迭代最近点的自动刚性配准方法，对虚拟三维图像进行调整，使得目标特征点P和虚拟特征点Q匹配，即可将虚拟三维图像叠加至真实的待手术的目标上，从而实现精确的自动配准和和跟踪，以实现准确的混合现实指导。
根据同样的配准原理，本申请还可以对手术过程中的手术工具，比如消融针等物体进行配准。可以确定手术工具的特征点，以及虚拟三维图像中所包括的虚拟工具对应的特征点，结合所确定的转换矩阵，可以实现对虚拟工具进行配准和跟踪。
比如，可以确定消融针上包括的特征点，在所述虚拟三维图像中生成虚拟消融针，并相应的确定该虚拟消融针的特征点，根据待手术的目标所确定的转换矩阵，对所述虚拟消融针进行配准或跟踪，使得虚拟消融针的位置与真实的消融针的位置重叠。
在确定了与待手术的目标和手术工具配准的虚拟三维图像后，为了提高手术操作的精度，可以通过接触运动补偿单元确定手术部位在手术过程中发生的变形或位移信息。
在一种实现方式中，该接触运动补偿单元包括：
粒子模型构建子单元，用于构建待手术的目标所对应的粒子模型；
位移信息确定子单元，用于根据粒子约束条件，结合待手术组织的刚度参数，确定所述粒子模型中的粒子的位移信息，根据所述粒子的位移信息确定所述虚拟三维图像的接触运动补偿。
为了高效准确的模拟非均质目标，比如肝脏的力学行为，本申请提出了一种基于粒子的非均质变形的粒子模型，通过该模型可用于表示肝脏软组织、血管和肿瘤，如图5所示肝脏软组织的粒子模型示意图，在基于位置的动力学中，每种粒子赋予不同的属性。对于任一粒子，会受到周期其它粒子的约束，满足一定的约束条件。当外力作用于粒子时，外力所作用的粒子，以及粒子周期的其它粒子的位置发生变化。受到外力作用的粒子满足新的约束条件。通过新的约束条件，可用于计算粒子的位置变化信息。其中，粒子满足的约束条件可以基于位置的动力学来确定。
对于含有不同种类软组织(肝软组织、血管和肿瘤)的非均匀肝脏，需要考虑各种组织的非均匀性。在可能的实现方式中，本申请可以引入刚度参数来表示不同种类软组织的硬度特性来确定粒子的位置变化信息。比如，可以引入肝脏软组织刚度参数、血管刚度参数和肿瘤刚度参数等。
在本申请中，为了精确的模拟目标，比如肝脏的变形，需要预先确定肝脏软组织、血管和肿瘤的刚度系数。可以使用数据驱动的方法，确定适合的刚度系数。
比如，本申请可以在待手术的目标对应的二维图像中，标记预定数量的标记点，比如标记25个标记点。可以通过使用消融针多次刺入仿体并同时对其进行磁共振成像(MRI)扫描，将扫描的标记点的位置与公式计算的标记点的位置进行比较，计算标志点的位移误差，根据该位移误差进行参数估计。对于用于参数估计的每个数据集，由于变形可以通过基于动力学的位置计算公式计算。比如，以肝脏软组织中的标志点为例，可以根据预先设定的肝脏软组织刚度参数，估算脏脏软组织中的粒子位置的变化，根据计算的变化信息，结合实际扫描测量的位置，修正预先设定的肝脏软组织刚度参数，直至通过修正后的肝脏软组织刚度参数所计算的位置与扫描测量的位置相符。
对血管和肿瘤刚度参数，可以采用同样的的的方式计算得到。
图6所示的手术导航设备示意图中，该手术导航设备包括二维图像采集装置、目标跟踪系统、虚拟三维图像显示装置和导航主机，其中：
所述二维图像采集装置用于采集待手术的目标的二维图像。
所述目标跟踪系统用于采集待手术的目标的实时目标图像。
所述导航主机用于根据所述二维图像生成三维结构信息，并根据所述三维结构信息生成待手术的目标的虚拟三维图像，并将所述虚拟三维图像与所述待手术的目标进行位置配准，并通过粒子模型估计待手术的目标对应的虚拟三维图像的接触运动补偿。
所述虚拟三维图像显示单元用于显示所述导航主机所生成或更新的虚拟三维图像。
图6所示的手术导航设备，其中的导航主机所包括的功能单元，与图1所示的手术导航装置所包括的功能单元相对应。
另外，本申请实施例还提供了一种与图6所示的手术导航装置对应的手术导航方法，该方法包括：
获取待手术的目标对应的三维结构信息。
根据所述三维结构信息生成所述待手术的目标对应的虚拟三维图像。
将所述虚拟三维图像与所述待手术的目标进行位置配准。
根据预设的与所述目标对应的粒子模型，估计所述目标对应的虚拟三维图像的接触运动补偿。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图7是本申请一实施例提供的手术导航系统的示意图。如图7所示，该实施例的手术导航系统7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如手术导航程序。所述处理器70执行所述计算机程序72时实现上述各个手术导航方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述手术导航系统7中的执行过程。
所述手术导航系统7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述手术导航系统可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是手术导航系统7的示例，并不构成对手术导航系统7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述手术导航系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述手术导航系统7的内部存储单元，例如手术导航系统7的硬盘或内存。所述存储器71也可以是所述手术导航系统7的外部存储设备，例如所述手术导航系统7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述手术导航系统7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述手术导航系统所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手术导航装置，其特征在于，所述装置包括：
三维结构信息获取单元，用于获取待手术的目标对应的三维结构信息；
虚拟三维图像生成单元，用于根据所述三维结构信息生成所述待手术的目标对应的虚拟三维图像；
位置配准单元，用于将所述虚拟三维图像与所述待手术的目标进行位置配准；
接触运动补偿单元，用于根据预设的与所述目标对应的粒子模型，估计所述目标对应的虚拟三维图像的接触运动补偿。
2.根据权利要求1所述的装置，其特征在于，所述三维结构信息获取单元包括：
二维图像获取子单元，用于获取所述待手术的目标的多个二维图像；
语义分割子单元，用于根据所述二维图像中内容，对所述二维图像进行语义分割；
三维重建子单元，用于根据语义分割后的二维图像进行三维重建，得到所述待手术的目标对应的三维结构信息。
3.根据权利要求1所述的装置，其特征在于，所述位置配准单元包括：
第一特征点确定子单元，用于确定所述待手术的目标的目标特征点，以及在所述虚拟三维图像上与所述目标特征点的位置匹配的虚拟特征点；
坐标确定子单元，用于确定所述目标特征点在目标跟踪系统坐标系中的第一坐标，以及所述虚拟特征点在所述虚拟三维图像坐标系中的第二坐标；
目标配准子单元，用于根据所述第一坐标和所述第二坐标，确定特征点从目标跟踪系统坐标系到虚拟三维图像坐标系的转换矩阵，根据所述转换矩阵对所述虚拟三维图像中的虚拟目标进行配准或跟踪。
4.根据权利要求3所述的装置，其特征在于，所述多个特征点为多个非共面的三维特征点。
5.根据权利要求3所述的装置，其特征在于，所述位置配准单元还包括：
第二特征点确定子单元，用于确定手术用的工具的特征点，以及在虚拟三维图像上与所述工具匹配的虚拟特征点；
工具配准子单元，用于根据所确定的转换矩阵，对所述虚拟三维图像中的虚拟工具进行配准或跟踪。
6.根据权利要求5所述的装置，其特征在于，所述手术用的工具包括消融针，所述消融针的特征点包括针头和针尾。
7.根据权利要求1所述的装置，其特征在于，所述接触运动补偿单元包括：
粒子模型构建子单元，用于构建待手术的目标所对应的粒子模型；
位移信息确定子单元，用于根据粒子约束条件，结合待手术组织的刚度参数，确定所述粒子模型中的粒子的位移信息，根据所述粒子的位移信息确定所述虚拟三维图像的接触运动补偿。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
参数估计单元，用于对所述待手术的目标执行多次操作，并通过扫描所述待手术的目标中的特征点的位移信息，根据扫描得到的位移信息估计所述待手术的目标对应的刚度参数。
9.一种手术导航设备，其特征在于，所述手术导航设备包括二维图像采集装置、目标跟踪系统、虚拟三维图像显示装置和导航主机，其中：
所述二维图像采集装置用于采集待手术的目标的二维图像；
所述目标跟踪系统用于采集待手术的目标的实时目标图像；
所述导航主机包括权利要求1-8任一项所述的手术导航装置中的功能单元；
所述虚拟三维图像显示单元用于显示所述导航主机所生成或更新的虚拟三维图像。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序包括权利要求1-8任一项所述的手术导航装置中的功能单元。
CN202011270615.8A 2020-11-13 2020-11-13 手术导航装置、设备及计算机可读存储介质 Active CN112515767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011270615.8A CN112515767B (zh) 2020-11-13 2020-11-13 手术导航装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011270615.8A CN112515767B (zh) 2020-11-13 2020-11-13 手术导航装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112515767A true CN112515767A (zh) 2021-03-19
CN112515767B CN112515767B (zh) 2021-11-16

Family

ID=74982510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270615.8A Active CN112515767B (zh) 2020-11-13 2020-11-13 手术导航装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112515767B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012230A (zh) * 2021-03-30 2021-06-22 华南理工大学 一种术中ar辅助引导手术导板安放的方法
CN113796960A (zh) * 2021-09-07 2021-12-17 上海联影医疗科技股份有限公司 导管导航方法、装置、设备和存储介质
CN114220060A (zh) * 2021-12-24 2022-03-22 萱闱(北京)生物科技有限公司 基于人工智能的器具标注方法、装置、介质和计算设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN102044086A (zh) * 2010-11-30 2011-05-04 华北水利水电学院 一种软组织形变仿真方法
US20140228632A1 (en) * 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
CN104055520A (zh) * 2014-06-11 2014-09-24 清华大学 人体器官运动监测方法和人体导航系统
CN104146767A (zh) * 2014-04-24 2014-11-19 薛青 辅助外科手术的术中导航方法和导航系统
US20190254757A1 (en) * 2016-10-31 2019-08-22 Cameron Anthony Piron 3D Navigation System and Methods
JP2020036708A (ja) * 2018-09-03 2020-03-12 株式会社日立製作所 手術支援装置及び手術ナビゲーションシステム
CN111329552A (zh) * 2016-03-12 2020-06-26 P·K·朗 包括机器人的用于引导骨切除的增强现实可视化
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
CN102044086A (zh) * 2010-11-30 2011-05-04 华北水利水电学院 一种软组织形变仿真方法
US20140228632A1 (en) * 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
CN104146767A (zh) * 2014-04-24 2014-11-19 薛青 辅助外科手术的术中导航方法和导航系统
CN104055520A (zh) * 2014-06-11 2014-09-24 清华大学 人体器官运动监测方法和人体导航系统
CN111329552A (zh) * 2016-03-12 2020-06-26 P·K·朗 包括机器人的用于引导骨切除的增强现实可视化
US20190254757A1 (en) * 2016-10-31 2019-08-22 Cameron Anthony Piron 3D Navigation System and Methods
JP2020036708A (ja) * 2018-09-03 2020-03-12 株式会社日立製作所 手術支援装置及び手術ナビゲーションシステム
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭柳 等: "高保真电视胸腔镜肺叶切除术模拟", 《系统仿真学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012230A (zh) * 2021-03-30 2021-06-22 华南理工大学 一种术中ar辅助引导手术导板安放的方法
CN113012230B (zh) * 2021-03-30 2022-09-23 华南理工大学 一种术中ar辅助引导手术导板安放的方法
CN113796960A (zh) * 2021-09-07 2021-12-17 上海联影医疗科技股份有限公司 导管导航方法、装置、设备和存储介质
CN113796960B (zh) * 2021-09-07 2023-11-21 上海联影医疗科技股份有限公司 导管导航装置、设备和存储介质
CN114220060A (zh) * 2021-12-24 2022-03-22 萱闱(北京)生物科技有限公司 基于人工智能的器具标注方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN112515767B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112515767B (zh) 手术导航装置、设备及计算机可读存储介质
CN111093516B (zh) 用于规划消融的超声系统及方法
Zhao et al. Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method
US5765561A (en) Video-based surgical targeting system
US11642096B2 (en) Method for postural independent location of targets in diagnostic images acquired by multimodal acquisitions and system for carrying out the method
EP2951779B1 (en) Three-dimensional image segmentation based on a two-dimensional image information
CA2949264C (en) Method and system of determining probe position in surgical site
US20080186378A1 (en) Method and apparatus for guiding towards targets during motion
EP2950735B1 (en) Registration correction based on shift detection in image data
CN103371870A (zh) 一种基于多模影像的外科手术导航系统
CN113112499B (zh) 肝脏内部组织的位移预测方法、装置、系统及电子设备
CN113693725B (zh) 进针路径规划方法、装置、设备及存储介质
CN112515763B (zh) 目标物的定位显示方法、系统、装置和电子设备
CN115317128A (zh) 消融模拟方法及设备
CN116077152A (zh) 穿刺路径规划方法及相关产品
De Paolis et al. An augmented reality application for minimally invasive surgery
CN114767270A (zh) 一种用于肺部手术穿刺的导航显示系统
CN115272356A (zh) Ct图像的多模态融合方法、装置、设备及可读存储介质
CN114334096A (zh) 基于医学影像的术中辅助显示方法、装置及存储介质
CN114170215A (zh) 一种骨肿瘤危险区域快速生成系统
Lee et al. Toward Robust Partial-Image Based Template Matching Techniques for MRI-Guided Interventions
CN114617614A (zh) 手术机器人及其前列腺穿刺方法、装置及存储介质
CN110368026B (zh) 一种手术辅助装置及系统
Gomes‐Fonseca et al. Surface‐based registration between CT and US for image‐guided percutaneous renal access–A feasibility study
Eulenstein et al. Ultrasound-based navigation system incorporating preoperative planning for liver surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant