CN102908158B - 处理医学影像的方法和装置、及影像引导机器人手术系统 - Google Patents

处理医学影像的方法和装置、及影像引导机器人手术系统 Download PDF

Info

Publication number
CN102908158B
CN102908158B CN201210272789.7A CN201210272789A CN102908158B CN 102908158 B CN102908158 B CN 102908158B CN 201210272789 A CN201210272789 A CN 201210272789A CN 102908158 B CN102908158 B CN 102908158B
Authority
CN
China
Prior art keywords
image
medical image
endoscope apparatus
surface information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210272789.7A
Other languages
English (en)
Other versions
CN102908158A (zh
Inventor
朴东烈
金錬淏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102908158A publication Critical patent/CN102908158A/zh
Application granted granted Critical
Publication of CN102908158B publication Critical patent/CN102908158B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/506—Clinical applications involving diagnosis of nerves

Abstract

通过将使用不同的医学影像捕获装置捕获的医学影像映射到彼此来产生在其中将医学影像对齐的合成影像。该合成影像可以在执行患者的诊断或机器人手术的同时用于影像引导。

Description

处理医学影像的方法和装置、及影像引导机器人手术系统
对相关申请的交叉引用
本申请要求2011年8月2日向韩国特许厅提交的韩国专利申请No.10-2011-0076993的优先权，通过引入将其公开整体合并于此。
技术领域
本公开的一个或多个实施例涉及用于处理医学影像的方法和装置、以及使用影像引导的机器人手术系统。
背景技术
不同于人工完成的腹部手术，机器人手术允许外科医生通过监视器的屏幕显示查看患者身体内部的将要动手术的部位，而不需要直接用肉眼查看将要动手术的部位。当外科医生使用计算机断层扫描（CT）影像、磁共振成像（MRI）影像、和超声影像察看将要动手术的部位以后执行机器人手术的时候，存在的限制是机器人手术非常依赖外科医生的经验。即，因为CT影像、MRI影像、和超声影像在手术之前取得，手术依赖于外科医生的经验。此外，已经施行在通过将腹腔镜插入患者的身体以获取将要动手术的部位的影像来观看身体内的实际影像的同时执行机器人手术的方法。然而，因为利用诸如腹腔镜的内窥镜针对将要动手术的部位获取的影像仅仅是患者的内部器官的表面的影像，所以当将要动手术的部位由于被任何器官遮盖或处在任何器官之中而未被内窥镜看到时，外科医生难以察看将要动手术的部位的正确位置和形状。
发明内容
本公开的一个或多个实施例提供用于处理医学影像的方法和装置、存储用于在计算机或处理器中运行该方法的计算机可读程序的计算机可读记录介质、以及基于处理的医学影像使用影像引导的机器人手术系统。
另外的方面部分地将在接下来的描述中阐明，并且部分地通过描述变得显而易见，或者可以通过给出的实施例的实践习得。
根据一个或多个实施例，一种处理医学影像的方法包括：使用多个多模态医学影像捕获装置针对预定器官获取医学影像；从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息；通过使用提取的表面信息来映射医学影像；以及基于映射结果产生在其中已经将医学影像对齐的合成影像，并输出或显示合成的影像。
根据另一实施例，提供一种存储用于在计算机中运行该医学影像处理方法的计算机可读程序的计算机可读记录介质。
根据一个或多个实施例，一种处理医学影像的装置包括：影像获取单元，用于使用多个多模态医学影像捕获装置针对预定器官获取医学影像；表面信息提取器，用于从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息；影像映射单元，用于通过使用提取的表面信息来映射医学影像；以及合成影像产生器，用于基于映射结果产生在其中已经将医学影像对齐的合成影像。
根据一个或多个实施例，一种用于通过引导将要动手术的部位的影像、由手术机器人执行机器人手术的机器人手术系统包括：内窥镜装置，用于捕获将要检查的身体中的预定器官的影像；非内窥镜装置，包括超声装置、计算机断层扫描（CT）装置、磁共振成像（MRI）装置、和正电子发射断层扫描（PET）装置的至少一个，用于捕获预定器官的医学影像；医学影像处理装置，用于获取使用多个多模态医学影像捕获装置捕获的医学影像、从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息、通过使用提取的表面信息来映射医学影像、以及基于映射结果产生在其中已经将医学影像对齐的合成影像；显示装置，用于显示产生的合成影像；以及手术机器人，用于根据用户输入执行机器人手术。
根据一个或多个实施例，一种处理医学影像的方法包括：使用第一医学影像捕获装置获取活体中的预定器官的第一影像数据，并使用不同于第一医学影像捕获装置的第二医学影像捕获装置获取该预定器官的第二影像数据；从第一影像数据中提取该预定器官的第一表面信息，并从第二影像数据中提取该预定器官的第二表面信息；根据第一医学影像捕获装置和第二医学影像捕获装置的相对位置信息将从第一表面信息获得的第一位置与从第二表面信息获得的第二位置匹配，其中第一位置对应于第二位置；以及基于匹配从第一位置信息和第二位置信息产生合成影像，并输出或显示合成影像。
附图说明
通过下面结合附图对实施例的描述，这些和/或其他方面将会变得清楚和更加容易理解，其中：
图1A是根据本公开的实施例的机器人手术系统的框图；
图1B是根据本公开的另一实施例的机器人手术系统的框图；
图2是根据本公开的实施例的内窥镜装置和超声装置相对于膀胱的相对位置的概念图；
图3是根据本公开的实施例的医学影像处理装置的框图；
图4示出描述根据本公开的实施例的在第一提取器中产生第一表面模型以后提取第一表面信息的过程的影像；
图5示出描述根据本公开的实施例的在第二提取器中产生第二表面模型以后提取第二表面信息的过程的影像；
图6分开地示出图1B的机器人手术系统中的内窥镜装置和超声装置的布置；
图7示出根据本公开的实施例的包括在用于在合成影像产生器中产生合成影像的三维超声影像中的信息；
图8示出根据本公开的实施例的合成影像；
图9是示出根据本公开的实施例的处理医学影像的方法的流程图；
图10是示出图9的医学影像处理方法的详细流程图；
图11是示出根据本公开的实施例的提取第一表面信息的过程的流程图；以及
图12是示出根据本公开的实施例的提取第二表面信息的过程的流程图。
具体实施方式
现在将详细参照实施例，其示例在附图中示出，其中全部附图中相似的引用数字指示相似的元素。在这点上，实施例可以具有不同的形式并且不应当被解读为限于此处阐述的描述。因此，通过参照附图仅如下阐述实施例以阐明本说明的方面。
图1A是示出根据本公开的实施例的机器人手术系统1的框图。参照图1A，机器人手术系统1例如可以包括第一医学影像捕获装置11、第二医学影像捕获装置21、医学影像处理装置30、手术机器人40、和显示装置50。图1A和对应描述中，仅描述与当前实施例关联的硬件组件以避免模糊当前实施例的方面。然而，本领域普通技术人员将理解，硬件组件仅仅被描述作为示例，而且可以在机器人手术系统1中进一步包括其他通用硬件组件。
虽然在图1A中机器人手术系统1被示出和描述为包括第一医学影像捕获装置11和第二医学影像捕获装置21作为医学影像捕获装置，但是当前实施例不限于此，并且可以进一步包括一个或多个其他医学影像捕获装置。
有各种类型的医学影像捕获装置，诸如内窥镜装置、超声装置、计算机断层扫描（CT）装置、磁共振成像（MRI）装置、和正电子发射断层扫描（PET）装置。以下，除用于捕获内窥影像的医学影像捕获装置之外的全部描述的医学影像捕获装置被称作非内窥镜装置。即，超声装置、CT装置、MRI装置、和PET装置被描述为非内窥镜装置。
以下，虽然为了描述方便并且作为示例将机器人手术系统1的第一医学影像捕获装置11描述为诸如腹腔镜装置的内窥镜装置，并且将第二医学影像捕获装置21描述为诸如经直肠超声（TRUS）装置的超声装置，但是当前实施例不限于此。即，第一医学影像捕获装置11和第二医学影像捕获装置21中的每一个可以是包括内窥镜装置、超声装置、CT装置、MRI装置、和PET装置等的医学影像捕获装置中的任何一个。
图1B是根据本公开的另一实施例的机器人手术系统100的框图。参照图1B，如上所述，机器人系统100例如可以包括内窥镜装置10、超声装置20、医学影像处理装置30、手术机器人40、和显示装置50。
在图1B以及图1A中，仅描述与当前实施例关联的硬件组件以避免模糊当前实施例的方面。
机器人手术系统100是通过在患者的身体内做出的小孔插入手术机器人的手臂40并且通过控制手术机器人40的运动以对患者进行手术的系统。保持位于患者的身体外部的外科医生控制手术机器人40的运动。
当前，典型地使用美国IntuitiveSurgical公司的da（达芬奇）手术系统作为手术机器人40。更详细地，da是包括直接插入患者的身体中的部分的机器人，该机器人好像外科医生手工直接对患者做手术一样移动。虽然为了描述方便起见在当前实施例中示出da作为手术机器人40，但是手术机器人40可以对应于用于通过在患者的身体内部的机器人的运动来执行外科手术（以下，称为“手术”或“外科手术”）的其他装置。
当外科医生期望通过使用机器人手术系统100的手术机器人40动手术时，外科医生通过参照显示在显示装置50上的在患者的身体内部捕获的医学影像来执行手术。即，当使用机器人手术系统100时，外科医生在借助将预定的透镜单元插入患者的身体来确保通过肉眼不是总能看到的神经细胞、血管、和器官的影像的视野以后进行手术。
与传统非机器人腹部手术相比，在机器人手术中，外科医生典型地仅通过显示在显示装置50上的屏幕来察看将要动手术的部位而不直接看到患者的身体内部将要动手术的部位。因而，当使用机器人手术系统100时，将要动手术的部位的正确影像是必需的。
具体地，因为典型地执行机器人手术以去除诸如前列腺癌、直肠癌、食道癌、和膀胱癌中的癌变组织，其当在手术期间周围的神经细胞和血管被损害时可能导致严重的副作用和并发症，所以有必要使用显示装置50显示将要动手术的部位的准确和精确的影像。
迄今为止，外科医生典型地需要在手术之前观看将要动手术的部位的CT、MRI、超声、或PET影像，并且在手术期间从存储的诊断影像中回忆将要动手术的部位，或者在手术期间观看手术前捕获的影像。然而，因为这些方法非常依赖外科医生的经验，所以难以正确地施行手术。
此外，在现有的机器人手术的一些情况下，在观看通过将诸如腹腔镜的内窥镜插入身体中显示的患者身体内部的实际影像的同时施行机器人手术。然而，由腹腔镜获取的将要动手术的部位的影像仅仅是器官的外表面的影像。因而，当将要动手术的部位或表面被器官遮盖或处于器官中并且不在器官的外表面上时，难以利用腹腔镜获取将要动手术的部位的实际影像。作为特定示例，涉及前列腺的手术典型地需要接近或查看被器官遮掩或处于器官中并且不在器官的外表面上的部位或表面。
在前列腺手术方面，前列腺具有狭小的将要动手术的部位并且连接到尿道。此外，当前列腺被去除时，因为需要前列腺周围的神经血管束用于维持尿功能和性功能，所以应当保留神经血管束。然而，因为腹腔镜仅提供外部表面组织的影像，所以仅仅利用腹腔镜难以准确地和精确地察看前列腺的位置和形状以避免伤及神经血管束。
虽然已经使用经直肠超声（TRUS）装置来改善这些现有的方法，但是存在的限制是提供的是将要动手术的部位的超声影像而不是其实际影像。
此外，通过在光学或磁场方案中使用标记来实时检测TRUS装置的位置和方向，已经在手术中获取和使用三维（3D）超声影像。然而，当使用磁场方案时，由于标记与诸如手术机器人的金属材料之间的磁场干扰，标记的位置测量可能不正确。当使用光学方案时，因为在测量标记的位置时标记的范围与手术机器人的运动范围重叠，所以手术机器人的运动受限。
还已经使用了通过串联式（tandem）机器人旋转TRUS装置并从TRUS装置获取3D前列腺影像的技术。然而，因为该方法使用额外的串联式机器人，所以手术机器人的运动会受到与串联式机器人的干扰的限制。此外，因为对手术机器人和串联式机器人的位置所需的补偿，所以超声影像可能不能充分地用于实际操作。
即，如上所述，当施行机器人手术时，而且具体地，当施行诸如前列腺机器人手术的期望防止周围的神经细胞和血管受到损害的机器人手术时，很少能获取将要动手术的部位的正确影像。因而，无法保证患者的安全。
然而，在根据一个或多个当前实施例的机器人手术系统100中，在合成影像中将由多个多模态医学影像捕获装置捕获的多模态医学影像实时地对齐。即，将合成影像的捕获的多模态医学影像对齐以使得器官的相同的位置在每个多模态医学影像中对应。于是，即便将要动手术的部位被器官遮盖或位于器官中时，也可以提供将要动手术的部位的正确影像，从而保证机器人手术的性能或患者的安全。
虽然在当前实施例中描述了提供医学影像用于外科医生利用机器人手术系统100施行机器人手术，即，描述了医学影像引导，但是由医学影像处理装置30产生的合成影像不限于在机器人手术系统100中提供的。即，在当前实施例中提供的医学影像可以在其他系统中提供，用于简单地检查或诊断患者以及机器人手术。
以下，详细描述根据一个或多个当前实施例的机器人手术系统100中的处理医学影像的过程。
作为示例，示出前列腺作为将要动手术的部位。当前列腺是将要动手术的部位时，使用例如膀胱或直肠的位于前列腺周围的预定器官来描述根据当前实施例的医学影像处理。即，预定器官可以是与将由手术机器人40动手术的部位对应的器官或在将要动手术的部位周围的其他器官。
此外，本领域普通技术人员将理解，将要动手术的部位可以是患者的其他部位，或者可以使用其他器官施行医学影像处理。
回来参照图1B，机器人手术系统100中的内窥镜装置10获取患者的例如膀胱的器官的内窥影像。从而，内窥影像包括患者的膀胱和膀胱的周边的影像。虽然当前实施例中的内窥镜装置10可以对应于腹腔镜装置，但是内窥镜装置10不限于此。
超声装置20获取患者的膀胱和膀胱的周边的超声影像，诸如在手术期间获得的实时超声影像。因而，内窥超声影像包括患者的膀胱和膀胱内外周边的超声影像。即，不同于内窥影像，超声影像可以包括关于膀胱内部的组织的信息。虽然当前实施例中的超声装置20可以对应于TRUS装置，但是超声装置20不限于此。
图1B中，内窥镜装置10和超声装置20在不同的位置捕获医学影像。即，在机器人手术系统100中，通过单独地控制内窥镜装置10和超声装置20的运动和位置来捕获医学影像。此时，机器人手术系统100连续地将内窥镜装置10和超声装置20的捕获的位置（例如，在机器人手术台上的虚拟坐标）存储在机器人手术系统100的存储单元（未示出）中。
图2是示出根据本公开的实施例的内窥镜装置10和超声装置20相对于膀胱的相对位置的概念图。参照图2，当内窥镜装置10是腹腔镜装置时，内窥镜装置10从位于相对高于膀胱的位置获取内窥影像。此外，当超声装置20是TRUS装置时，超声装置20从位于相对低于膀胱的位置获取超声影像。然而，内窥镜装置10和超声装置20的位置仅仅是说明性的，并且可以根据机器人手术环境而改变。
回来参照图1B，医学影像处理装置30可以通过将分别从内窥镜装置10和超声装置20获取的内窥影像和超声影像对齐和合成来产生合成影像。参照图3详细描述医学影像处理装置30的操作和功能。
图3是根据本公开的实施例的医学影像处理装置30的框图。参照图3，医学影像处理装置30例如可以包括检测器31、影像获取单元32、表面信息提取器33、影像映射单元34、和合成影像产生器35。影像获取单元32例如可以包括内窥影像获取单元321和非内窥影像获取单元322，表面信息提取器33例如可以包括第一提取器331和第二提取器332，而影像映射单元34例如可以包括比较器341和位置匹配单元342。
医学影像处理装置30可以对应于处理器，处理器可以通过逻辑门的阵列或通过通用微处理器和存储可由通用微处理器执行的程序的存储器的组合实现。此外，本领域技术人员将理解，医学影像处理装置30可以由其他类型的硬件实现。
当期望产生合成影像时，检测器31可以检测存储在上面描述的机器人手术系统100的存储单元（未示出）中的医学影像捕获装置的当前位置。
影像获取单元32可以获取使用多个多模态医学影像捕获装置捕获的器官的医学影像，例如，内窥影像和非内窥影像。
表面信息提取器33可以从每个医学影像中提取包括在每个医学影像中的器官的表面信息。具体地，表面信息提取器33可以从每个医学影像中提取指示器官的表面的位置和形状的至少一个的信息作为表面信息。
影像映射单元34可以通过使用提取的表面信息映射医学影像。具体地，影像映射单元34可以通过使用提取的表面信息将医学影像的位置彼此匹配来映射医学影像。
以下，详细描述处理内窥影像的过程，然后详细描述处理诸如超声影像、CT影像、和磁共振（MRI）影像的非内窥影像的过程。
内窥影像获取单元321获取使用内窥镜装置（诸如图1B的10所述）捕获的内窥影像。
第一提取器331可以从由内窥镜装置（图1B的10）捕获的内窥影像中提取指示器官的表面的位置和形状的至少一个的第一表面信息。即，在当前实施例中，第一提取器331提取关于表示为内窥影像的膀胱的第一表面信息。
详细地，第一提取器331可以通过获取膀胱及其周边的外部组织与内窥镜装置10之间的距离信息来产生视差空间影像。根据本公开的实施例，第一提取器331可以通过使用包括两个立体摄像机的内窥镜装置10来产生视差空间影像。根据本公开的另一实施例，第一提取器331可以通过使用更进一步包括用于照射结构光和图案化光的至少一个的射灯（projector）的内窥镜装置10来产生视差空间影像。该情况下，内窥影像获取单元321还可以获取关于从膀胱及其周边的外部组织反射的结构光或图案化光的信息。即，第一提取器331可以通过使用关于结构光或图案化光的信息来计算从内窥镜装置10到膀胱及其周边的外部组织的距离。从而，第一提取器331可以基于计算的距离产生距离影像，诸如视差空间影像。
此后，第一提取器331可以通过使用获取的距离信息，诸如，计算的距离或产生的距离影像，来产生与内窥影像对应的3D第一表面模型。
最后，第一提取器331可以从第一表面模型中提取指示膀胱的表面的位置和形状的至少一个的第一表面信息。
图4示出用于描述根据本公开的实施例的在第一提取器（图3的331）中产生第一表面模型以后提取第一表面信息404的过程的影像401、402、和403。
图4的影像401是由内窥镜装置10获取的内窥影像的示例，即，通过将结构光或图案化光照射在膀胱及其周边上获取的实际影像。
图4的影像402是与通过使用结构光和图案化光的至少一个产生的距离影像对应的视差空间影像。然而，如上所述，第一提取器（图3的331）可以不使用结构光或图案化光提取视差空间影像。
图4的影像403示出通过以上描述的过程由第一提取器（图3的331）产生的第一表面模型。第一提取器（图3的331）从影像403的第一表面模型中提取关于膀胱的表面的形状和位置的第一表面信息404。
回来参照图3，非内窥影像获取单元322可以获取使用诸如超声装置（图1B的20）的非内窥镜装置捕获的非内窥影像。
第二提取器332可以从由非内窥镜装置捕获的非内窥影像中提取指示器官的表面的位置和形状的至少一个的第二表面信息。即，在当前实施例中，第二提取器332可以提取关于表示为非内窥影像的膀胱的第二表面信息。
详细地，首先，第二提取器332从由非内窥镜装置捕获的非内窥影像中获取关于指示膀胱的表面的边界的信息。此时，通过将线检测和边缘检测的至少一个应用于非内窥影像来获取关于边界的信息。
当非内窥影像是超声影像时，利用超声相对于器官的表面组织具有高回声反射性的特性。即，第二提取器332使用器官的表面组织在超声影像中显示为相对明亮的线的事实来获取关于边界的信息。
当非内窥影像是MRI影像时，基于由于组织的分子结构比率之间的差而在MRI影像中出现的影像反差，第二提取器332通过使用线检测或边缘检测来获取关于边界的信息。
同样，当非内窥影像是CT影像时，基于由于组织之间的密度差而在CT影像中出现的影像反差，第二提取器332通过使用线检测或边缘检测来获取关于边界的信息。
此后，第二提取器332通过使用获取的边界信息产生与器官（膀胱）的表面对应的3D第二表面模型。此时，第二提取器332可以通过基于获取的边界信息三维地渲染边界来产生3D第二表面模型。
最后，第二提取器332从第二表面模型中提取指示从由膀胱的表面的位置和形状构成的组中选择的至少一个的第二表面信息。
图5示出用于描述根据本公开的实施例的在第二提取器（图3的332）中产生第二表面模型504以后提取第二表面信息505的过程的影像。
参照图5，示出从超声影像501中提取第二表面信息505的过程、从MRI影像502中提取第二表面信息505过程、以及从CT影像503中提取第二表面信息505的过程。根据在机器人手术系统（图1B的100）的环境中使用何种类型的医学影像捕获装置，第二提取器332可以基于以上描述的过程的对应过程提取第二表面信息505。
当使用超声影像501时，第二提取器332通过使用上面描述的超声影像特性从每个超声影像501中提取与膀胱的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
当使用MRI影像502时，第二提取器332通过使用上面描述的MRI影像特性从每个MRI影像502提取与直肠的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
当使用CT影像503时，第二提取器332通过使用上面描述的CT影像特性从每个CT影像503提取与直肠的表面对应的边界，并且通过三维地渲染每个边界来产生第二表面模型504。
第二提取器332基于第二表面模型504表示的边界信息来提取指示器官的形状和位置的至少一个的第二表面信息505。
即，根据在机器人手术系统（图1B的100）的环境中使用的医学影像捕获装置的类型，第二提取器332可以基于用于超声影像501、MRI影像502、和CT影像503的过程的对应的一个来提取第二表面信息505。
回来参照图3，影像映射单元34可以使用提取的表面信息来映射医学影像。
详细地，影像映射单元34可以使用提取的第一表面信息和提取的第二表面信息将医学影像的位置彼此匹配来映射医学影像。如图1B所示，当使用内窥镜装置10和超声装置20时，使用第一表面信息和第二表面信息匹配从内窥镜装置10和超声装置20获得的器官的位置来映射内窥影像和超声影像。
更详细地描述映射过程。影像映射单元34例如可以包括比较器341和位置匹配单元342，如上所述。
因为第一表面信息和第二表面信息各自提供关于器官（膀胱）的相同部位的表面的信息，所以比较器341可以将第一表面信息与第二表面信息比较。因而，比较器341针对器官的相同部位的表面将第一表面信息与第二表面信息比较。此时，比较器341可以使用诸如迭代最近点（ICP）算法的公知算法来执行比较，或者可以使用其他算法。
位置匹配单元342可以基于比较结果将检测器31检测的医学影像捕获装置的位置彼此匹配。
结果，影像映射单元34基于匹配结果映射医学影像。
图6分开地示出图1B的机器人手术系统100中的内窥镜装置10和超声装置20的示例布置。参照图6，内窥镜装置10对应于腹腔镜装置，而超声装置20对应于TRUS装置。
在机器人手术系统100中，内窥镜装置10的虚拟位置遵循Xcamera坐标系，而超声装置20的虚拟位置遵循XUS坐标系。即，因为使用不同的坐标系表示内窥镜装置10的位置和超声装置20的位置，所以内窥镜装置10和超声装置20的位置彼此独立。
然而，内窥镜装置10的位置和超声装置20的位置可以基于相同的准则而彼此匹配。为此，根据当前实施例，影像映射单元34可以使用第一表面信息和第二表面信息作为该准则。更详细地，第一表面信息和第二表面信息各自包括关于器官（膀胱）的相同部位的表面的信息。因而，Xcamera坐标系和XUS坐标系可以基于从内窥影像提取的第一表面信息和从超声影像提取的第二表面信息而彼此匹配。结果，内窥镜装置10的位置和超声装置20的位置也可以彼此匹配。
回来参照图3，合成影像产生器35可以基于映射结果产生在其中将医学影像对齐的合成影像。即，合成影像产生器35可以产生在其中将医学影像对齐的合成影像以使得器官的相同位置在每个多模态医学影像中对应。产生的合成影像可以是与器官及其周边相关的3D医学影像。更详细地，产生的合成影像是通过三维地表示包括在由内窥镜装置10捕获的影像中的器官及其周边的外部组织的影像、以及包括在由非内窥镜装置20捕获的影像中的器官及其周边的内外组织的影像两者而获取的影像。产生的合成影像可以对应于一种从每个多模态医学影像的合成得到的增强现实影像。
通过将内窥影像和非内窥影像对齐以使得器官的位置在内窥影像和非内窥影像中相同，最终产生由合成影像产生器35产生的合成影像。
内窥影像自身对应于器官及其周边的实际3D影像。然而，难以从内窥影像察看关于器官内外的组织的形状和位置的信息。例如，难以察看关于在器官内部或位于其他组织后面的组织的形状和位置的信息。
通常，非内窥影像可以对应于器官的一组截面影像。然而，诸如超声影像、CT影像、或MRI影像的非内窥影像包括一种针对器官及其周边的内外的组织的荧光透视信息。因而，获取的非内窥影像包括关于器官内外的组织以及隐藏在其他组织后面的组织的形状和位置的信息。因此，当内窥影像和非内窥影像被合成时，外科医生可以正确地察看关于实际器官及其周边内外的组织的信息，使得外科医生施行相对准确和精确的手术。
根据使用的医学影像捕获装置（图1A的11和21）的类型，诸如超声影像、CT影像、或MRI影像的非内窥影像可以是2D影像或3D影像。如果获取的非内窥影像对应于如图5所示的多个2D非内窥影像，则合成影像产生器35可以通过使用诸如立体渲染的多种公知方法的任何一种从2D非内窥影像产生3D非内窥影像以产生合成影像。
图7示出根据本公开的实施例的可以包括在用于在合成影像产生器35中产生合成影像的3D超声影像中的信息。图7示出其中使用TRUS装置的示例。参照图7，如上所述，超声影像包括针对例如膀胱的器官内外的组织的形状和位置的一种荧光透视信息。因而，3D超声影像三维地示出膀胱的外表面701的形状和位置、前列腺702的位置、以及膀胱周围的神经束703的位置。膀胱的外表面701的形状和位置是包括在第二表面信息中的信息。虽然图7实际上不是3D超声影像，但是本领域普通技术人员将理解，3D超声影像典型地包括这些种类的信息（对应于参考数字701、702、和703的信息）。
回来参照图3，合成影像产生器35可以通过将内窥影像和非内窥影像对齐来产生合成影像。
回来参照图1A和图1B，显示装置50可以用于显示由合成影像产生器35产生的合成影像。机器人手术系统1或100通过向施行机器人手术的外科医生提供合成影像使用显示装置50来执行影像引导。显示装置50包括用于显示视觉信息以向用户提供信息的设备，诸如，通用监视器、液晶显示（LCD）显示器、发光二极管（LED）显示器、或标度（scale）显示设备。
回来参照图3，如果位置匹配单元342使用第一表面信息和第二表面信息实时地匹配内窥镜装置（图1B的10）的位置和超声装置（图1B的20）的位置，则由处于不同位置的不同装置获取的相同器官的不同影像可以实时地连续地彼此映射。因而，合成影像产生器35可以通过连续地对齐内窥影像和非内窥影像来连续地产生合成影像，以使得显示装置50实时地显示合成影像而不管内窥镜装置（图1B的10）和超声装置（图1B的20）的运动。
根据本公开的实施例，虽然显示装置50按照原样显示产生的合成影像，但是可以根据机器人手术系统1或100的使用环境来控制显示装置50以仅显示包括在合成影像中的影像信息当中的感兴趣的部分区域。即，当内窥影像和非内窥影像被合成时，在实施例中可以控制显示装置50以仅显示包括在非内窥影像中的感兴趣的部分区域的前列腺801的位置和神经束802的位置。此外，如果关于前列腺801和神经束802的位置的信息被预处理，则显示装置50可以将合成影像连同预定部位与前列腺801和神经束802对应的信息一起显示。
图8示出根据本公开的实施例的合成影像。参照图8，通过将膀胱及其周边的内窥影像与具有关于膀胱内外的诸如前列腺801和神经束802的组织的位置的信息的超声影像进行合成来获取合成影像。
图9是示出根据本公开的实施例的处理医学影像的方法的流程图。参照图9，根据当前实施例的医学影像处理方法可以包括由图1A、图1B、和图3中示出的机器人手术系统1或100的医学影像处理装置30处理的顺序操作。因而，虽然以下进行了省略，但是参照图1A、图1B、和图3描述的内容也适用于根据当前实施例的医学影像处理方法。
在操作901中，影像获取单元32获取使用多个多模态医学影像捕获装置捕获的器官的医学影像。
在操作902中，表面信息提取器33从每个医学影像中提取包括在每个医学影像中的器官的表面信息。
在操作903中，影像映射单元34通过使用提取的表面信息来映射医学影像。
在操作904中，合成影像产生器35基于映射结果产生在其中将医学影像对齐的合成影像。
图10是示出根据本公开的实施例的图9的医学影像处理方法的详细流程图。同样地，虽然以下进行了省略，但是参照图1A、图1B和图3描述的内容也适用于根据当前实施例的医学影像处理方法。
在操作1001中，例如通过内窥影像获取单元321获取使用内窥镜装置10捕获的内窥影像。
在操作1002中，例如通过第一提取器331从由内窥镜装置10捕获的内窥影像中提取指示器官的表面的位置和形状的至少一个的第一表面信息。
在操作1003中，例如通过非内窥影像获取单元322获取使用诸如超声装置20的非内窥镜捕获的非内窥影像。
在操作1004中，例如通过第二提取器332从由非内窥镜装置捕获的非内窥影像提取指示器官的表面的位置和形状的至少一个的第二表面信息。
可以并行地同时执行操作1001和操作1003，或者可以首先执行操作1001和操作1003中的任何一个。即，操作1001和操作1002可以独立于操作1003和操作1004执行而不彼此影响。
在操作1005中，例如通过影像映射单元34使用第一表面信息和第二表面信息来映射医学影像。
在操作1006中，例如通过合成影像产生器35基于映射结果产生在其中将医学影像对齐的合成影像。
图11是示出根据本公开的实施例的提取第一表面信息的过程的流程图。
参照图11，在操作1101中，例如通过第一提取器331获取器官及其周边的外部组织与内窥镜装置10之间的距离信息。
在操作1102中，例如通过第一提取器331使用获取的距离信息产生与内窥影像对应的3D第一表面模型。
在操作1103中，第一提取器331可以接着从产生的第一表面模型中提取第一表面信息。
图12是示出根据本公开的实施例的提取第二表面信息的过程的流程图。
参照图12，在操作1201中，例如通过第二提取器332从由非内窥镜装置20捕获的非内窥影像中获取关于指示器官的表面的边界的信息。
在操作1202中，第二提取器332可以通过使用获取的边界信息产生与器官的表面对应的3D第二表面模型。
在操作1203中，第二提取器332可以从产生的第二表面模型中提取第二表面信息。
如上所述，根据本公开的一个或多个上述实施例，可以通过基于包括在医学影像中的信息而不是使用人工标记来实时对齐医学影像以减少由于在影像对齐中使用人工标记引起的复杂和不便。具体地，可以减少在机器人手术期间由于金属标记与手术机器人之间的干扰造成的影像对齐准确度降低。
此外，通过实时地产生在其中将内窥影像和非内窥影像对齐的合成影像，可以向外科医生提供患者的正确诊断影像，或者可以在机器人手术系统中提供正确的影像引导。因此，通过在机器人手术中提供将要动手术的部位的正确医学影像，可以正确地察看将要动手术的部位和将要被保留的部位，从而改善手术表现。此外，当未来机器人手术自动化时，可以提供用于正确地控制机器人的信息。
本公开的实施例可以被编写为计算机程序或程序指令并且可以在使用非暂时性计算机可读记录介质运行该程序的通用计算机中实现。此外，本公开的实施例中使用的数据结构可以以各种方式记录在计算机可读记录介质里。
所述介质可以包括单独的或与程序指令组合的数据文件、数据结构等。非暂时性计算机可读记录介质的示例包括：诸如硬盘、软盘、和磁带的磁介质；诸如CDROM光盘和DVD的光介质；诸如光磁盘的磁光介质；以及诸如只读存储器（ROM）、随机存取存储器（RAM）、闪速存储器等特别配置用于存储和执行程序指令的硬件设备。
程序指令的示例既包括诸如由编译器产生的机器代码，也包括包含可以由计算机使用解释器执行的高级代码的文件。所述的硬件设备可以被配置用于充当一个或多个软件模块以便执行上述实施例，或者反之。这里描述的任何一个或多个软件模块可以由所述单元特有的专用处理器或由一个或多个模块共用的处理器执行。所述方法可以在通用计算机或处理器上执行，或者可以在诸如这里描述的装置的特定机器上执行。
虽然已经参照其示范性实施例具体地示出和描述本公开，但是本领域普通技术人员将理解，可以在形式和细节上进行各种改变而不脱离由所附权利要求限定的本公开的精神和范围。示范性实施例应当被认为仅是描述性的，而非为了限制的目的。因此，本公开的范围不是由本公开的详细说明限定，而是由所附权利要求限定，而且该范围内的全部差异将被认为包括在本公开中。
虽然已经示出和描述若干实施例，但是本领域技术人员不难理解，可以在这些实施例中作出改变而不背离其范围由所附权利要求及其等价物限定的本公开的原理和精神。

Claims (22)

1.一种处理医学影像的方法，该方法包括：
获取使用多个不同的多模态医学影像捕获装置针对预定器官捕获的医学影像；
从每个医学影像中提取包括在每个医学影像中的预定器官的表面信息；
通过使用提取的表面信息将医学影像捕获装置的位置彼此匹配来映射每个医学影像；以及
基于映射结果产生在其中已经将医学影像对齐的合成影像。
2.如权利要求1所述的方法，其中所述提取表面信息的步骤包括从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息。
3.如权利要求1所述的方法，进一步包括检测医学影像捕获装置的位置，
其中所述映射医学影像的步骤包括：
将提取的表面信息彼此比较；以及
基于比较结果将医学影像捕获装置的位置彼此匹配，而且
所述映射医学影像的步骤包括基于匹配结果映射医学影像捕获装置。
4.如权利要求3所述的方法，其中所述比较提取的表面信息的步骤包括针对预定器官的相同部位的表面将提取的表面信息彼此比较。
5.如权利要求1所述的方法，其中所述多个多模态医学影像捕获装置包括内窥镜装置和非内窥镜装置，非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个。
6.如权利要求5所述的方法，其中所述产生的合成影像是其中同时以三维表示包括在由内窥镜装置捕获的影像中的预定器官外部的组织及预定器官外部的组织的周边的影像、和包括在由非内窥镜装置捕获的影像中的预定器官内外的组织及预定器官内外的组织的周边的影像的影像。
7.如权利要求5所述的方法，其中所述提取表面信息的步骤包括：
从由内窥镜装置捕获的内窥影像中提取指示预定器官的表面的位置和形状的至少一个的第一表面信息；以及
从由非内窥镜装置捕获的非内窥影像提取指示预定器官的表面的位置和形状的至少一个的第二表面信息。
8.如权利要求7所述的方法，其中所述提取第一表面信息的步骤包括：
获取预定器官及其周边的外部组织与内窥镜装置之间的距离信息；
通过使用获取的距离信息产生与内窥影像对应的三维的第一表面模型；以及
从产生的三维的第一表面模型中提取第一表面信息。
9.如权利要求7所述的方法，其中所述提取第二表面信息的步骤包括：
从由非内窥镜装置捕获的影像中获取关于指示预定器官的表面的边界的信息；
通过使用获取的边界信息产生与预定器官的表面对应的三维的第二表面模型；以及
从产生的三维的第二表面模型中提取第二表面信息。
10.如权利要求9所述的方法，其中所述获取关于边界的信息的步骤包括通过将线检测和边缘检测的至少一个应用于由非内窥镜装置捕获的影像来获取边界。
11.如权利要求1所述的方法，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围或附近的器官。
12.一种用于处理医学影像的装置，该装置包括：
影像获取单元，用于获取使用多个不同的多模态医学影像捕获装置针对预定器官捕获的医学影像；
表面信息提取器，用于从每个医学影像中提取包括在每个医学影像中的预定器官的表面信息；
影像映射单元，用于通过使用提取的表面信息将医学影像捕获装置的位置彼此匹配来映射每个医学影像；以及
合成影像产生器，用于基于映射结果产生在其中已经将医学影像对齐的合成影像。
13.如权利要求12所述的装置，其中所述表面信息提取器从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息作为表面信息。
14.如权利要求12所述的装置，进一步包括检测器，用于检测医学影像捕获装置的位置，
其中所述影像映射单元包括：
比较器，用于将提取的表面信息彼此比较；以及
位置匹配单元，用于基于比较结果将医学影像捕获装置的位置彼此匹配。
15.如权利要求12所述的装置，其中所述多个多模态医学影像捕获装置包括内窥镜装置和非内窥镜装置，非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个。
16.如权利要求15所述的装置，其中所述产生的合成影像是其中同时以三维表示包括在由内窥镜装置捕获的影像中的预定器官外部的组织及预定器官外部的组织的周边的影像、和包括在由非内窥镜装置捕获的影像中的预定器官内外的组织及预定器官内外的组织的周边的影像的影像。
17.如权利要求15所述的装置，其中所述表面信息提取器包括：
第一提取器，用于从由内窥镜装置捕获的内窥影像中提取指示预定器官的表面的位置和形状的至少一个的第一表面信息；以及
第二提取器，用于从由非内窥镜装置捕获的非内窥影像中提取指示预定器官的面的位置和形状的至少一个的第二表面信息。
18.如权利要求15所述的装置，其中所述内窥镜装置是腹腔镜装置，并且当所述非内窥镜装置包括超声装置时，该超声装置是经直肠超声(TRUS)装置。
19.如权利要求12所述的装置，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围的器官。
20.一种用于使用将要动手术的部位的引导影像利用手术机器人执行机器人手术的机器人手术系统，该机器人手术系统包括：
内窥镜装置，用于捕获身体中的将要检查的预定器官的医学影像；
非内窥镜装置包括超声装置、计算机断层扫描(CT)装置、磁共振成像(MRI)装置、和正电子发射断层扫描(PET)装置的至少一个，用于捕获预定器官的医学影像；
医学影像处理装置，用于获取使用多个多模态医学影像捕获装置捕获的医学影像、从每个医学影像中提取包含在每个医学影像中的预定器官的表面信息、通过使用提取的表面信息将医学影像捕获机器人手术系统的位置彼此匹配来映射每个医学影像、以及基于映射结果产生在其中已经将医学影像对齐的合成影像；
显示装置，用于显示产生的合成影像；以及
手术机器人，用于执行机器人手术。
21.如权利要求20所述的机器人手术系统，其中所述医学影像处理装置从每个医学影像中提取指示预定器官的表面的位置和形状的至少一个的信息作为表面信息。
22.如权利要求20所述的机器人手术系统，其中所述预定器官对应于将要由手术机器人动手术的部位或将要动手术的部位周围或附近的器官。
CN201210272789.7A 2011-08-02 2012-08-02 处理医学影像的方法和装置、及影像引导机器人手术系统 Expired - Fee Related CN102908158B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0076993 2011-08-02
KR20110076993A KR20130015146A (ko) 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템

Publications (2)

Publication Number Publication Date
CN102908158A CN102908158A (zh) 2013-02-06
CN102908158B true CN102908158B (zh) 2016-06-01

Family

ID=47002530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210272789.7A Expired - Fee Related CN102908158B (zh) 2011-08-02 2012-08-02 处理医学影像的方法和装置、及影像引导机器人手术系统

Country Status (5)

Country Link
US (1) US20130035583A1 (zh)
EP (1) EP2554137A3 (zh)
JP (1) JP6395995B2 (zh)
KR (1) KR20130015146A (zh)
CN (1) CN102908158B (zh)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
KR102094502B1 (ko) * 2013-02-21 2020-03-30 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
EP2967297B1 (en) 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
EP2967350A4 (en) 2013-03-15 2017-03-01 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
KR102098958B1 (ko) * 2013-06-24 2020-04-14 큐렉소 주식회사 인체 장기 3차원 영상 표시 시스템
WO2015010189A1 (en) 2013-07-24 2015-01-29 Centre For Surgical Invention & Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
US9713649B2 (en) 2014-01-24 2017-07-25 The Cleveland Clinic Foundation PSMA-targeting imaging agents
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
CN106456252B (zh) * 2014-03-28 2020-05-08 直观外科手术操作公司 手术场景的定量三维成像
JP2017513662A (ja) * 2014-03-28 2017-06-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Ｑ３ｄ画像の３ｄ画像とのアライメント
KR102405687B1 (ko) 2014-03-28 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술용 임플란트의 정량적 3차원 영상화 및 프린팅
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
JP6854237B2 (ja) 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
WO2016008880A1 (en) 2014-07-14 2016-01-21 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
US9582916B2 (en) 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
KR102278893B1 (ko) * 2014-11-28 2021-07-19 삼성전자주식회사 의료영상처리장치 및 이를 이용한 의료영상정합방법
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9595120B2 (en) 2015-04-27 2017-03-14 Siemens Healthcare Gmbh Method and system for medical image synthesis across image domain or modality using iterative sparse representation propagation
CN107924459B (zh) * 2015-06-24 2021-08-27 埃达技术股份有限公司 用于肾结石去除程序的交互式3d镜放置和测量的方法和系统
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
US10687905B2 (en) 2015-08-31 2020-06-23 KB Medical SA Robotic surgical systems and methods
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105306573B (zh) * 2015-11-03 2019-07-23 浙江格林蓝德信息技术有限公司 医学影像原始数据调度方法和医学影像传输系统
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
KR101767005B1 (ko) 2016-05-26 2017-08-09 성균관대학교산학협력단 표면정합을 이용한 영상정합방법 및 영상정합장치
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
JP7148534B2 (ja) * 2017-10-31 2022-10-05 富士フイルム株式会社 画像処理装置、プログラム、及び内視鏡システム
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
US10898252B2 (en) 2017-11-09 2021-01-26 Globus Medical, Inc. Surgical robotic systems for bending surgical rods, and related methods and devices
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
KR102099563B1 (ko) 2017-12-28 2020-04-09 서울대학교 산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법
US10482600B2 (en) 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치
KR102014385B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US20200015904A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
WO2020113565A1 (zh) * 2018-12-07 2020-06-11 深圳先进技术研究院 一种胰胆管的多模态成像系统
KR102297517B1 (ko) 2019-03-06 2021-09-02 서울대학교 산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
KR102373370B1 (ko) * 2019-12-30 2022-03-11 서울대학교산학협력단 Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
KR102513394B1 (ko) * 2021-05-10 2023-03-23 주식회사 씨앤에이아이 Gan을 이용한 합성 내시경 이미지 생성 장치 및 방법
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
KR102549662B1 (ko) * 2022-09-14 2023-06-30 주식회사 뉴로소나 초음파 뇌 조사를 위한 조사정보 표시방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818974A (zh) * 2006-03-08 2006-08-16 杭州电子科技大学 一种多模态医学体数据三维可视化方法
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
CN1874735A (zh) * 2003-09-01 2006-12-06 西门子公司 对电生理导管的心脏应用提供可视化支持的方法和装置
CN101567051A (zh) * 2009-06-03 2009-10-28 复旦大学 一种基于特征点的图像配准方法
CN101726741A (zh) * 2008-11-03 2010-06-09 三星电子株式会社 提取特征信息的设备和方法及创建特征地图的设备和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP4054104B2 (ja) * 1998-04-10 2008-02-27 オリンパス株式会社 内視鏡画像処理装置
JP2002017729A (ja) * 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
JP4414682B2 (ja) * 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
US20050085717A1 (en) * 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
US7742635B2 (en) * 2005-09-22 2010-06-22 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
JP4745131B2 (ja) * 2006-05-29 2011-08-10 株式会社日立製作所 通信カード
US8358818B2 (en) * 2006-11-16 2013-01-22 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8428690B2 (en) * 2007-05-16 2013-04-23 General Electric Company Intracardiac echocardiography image reconstruction in combination with position tracking system
US8052604B2 (en) * 2007-07-31 2011-11-08 Mirabilis Medica Inc. Methods and apparatus for engagement and coupling of an intracavitory imaging and high intensity focused ultrasound probe
US8320711B2 (en) * 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
JP2010088699A (ja) * 2008-10-09 2010-04-22 National Center For Child Health & Development 医療画像処理システム
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
US20130016185A1 (en) * 2009-11-19 2013-01-17 The John Hopkins University Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors
US8781186B2 (en) * 2010-05-04 2014-07-15 Pathfinder Therapeutics, Inc. System and method for abdominal surface matching using pseudo-features
US20130170726A1 (en) * 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
EP2680778B1 (en) * 2011-03-03 2019-07-31 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
WO2013132402A2 (en) * 2012-03-08 2013-09-12 Koninklijke Philips N.V. Intelligent landmark selection to improve registration accuracy in multimodal image fusion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
CN1874735A (zh) * 2003-09-01 2006-12-06 西门子公司 对电生理导管的心脏应用提供可视化支持的方法和装置
CN1818974A (zh) * 2006-03-08 2006-08-16 杭州电子科技大学 一种多模态医学体数据三维可视化方法
CN101726741A (zh) * 2008-11-03 2010-06-09 三星电子株式会社 提取特征信息的设备和方法及创建特征地图的设备和方法
CN101567051A (zh) * 2009-06-03 2009-10-28 复旦大学 一种基于特征点的图像配准方法

Also Published As

Publication number Publication date
JP2013031660A (ja) 2013-02-14
EP2554137A2 (en) 2013-02-06
JP6395995B2 (ja) 2018-09-26
CN102908158A (zh) 2013-02-06
US20130035583A1 (en) 2013-02-07
KR20130015146A (ko) 2013-02-13
EP2554137A3 (en) 2015-04-29

Similar Documents

Publication Publication Date Title
CN102908158B (zh) 处理医学影像的方法和装置、及影像引导机器人手术系统
EP2429400B1 (en) Quantitative endoscopy
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
CN109073725B (zh) 用于规划和执行重复介入流程的系统和方法
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN103371870B (zh) 一种基于多模影像的外科手术导航系统
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
CN105101895B (zh) 经引导的高剂量率近距离放射治疗中的仪器定位
US20110105895A1 (en) Guided surgery
JP2022523445A (ja) 動的な介入的３次元モデル変形
CN103025227B (zh) 图像处理设备、方法
US20130113802A1 (en) Methods and systems for visualization of 3d parametric data during 2d imaging
US20140073907A1 (en) System and method for image guided medical procedures
WO2012062482A1 (en) Visualization of anatomical data by augmented reality
WO2014031531A1 (en) System and method for image guided medical procedures
CN105407966A (zh) 用于短距离放射治疗的射野成像
Weersink et al. Improving superficial target delineation in radiation therapy with endoscopic tracking and registration
Cool et al. Design and evaluation of a 3D transrectal ultrasound prostate biopsy system
US20130085383A1 (en) Systems, methods and computer readable storage media storing instructions for image-guided therapies
Qiu et al. Displaying 3D radiation dose on endoscopic video for therapeutic assessment and surgical guidance
EP3788981B1 (en) Systems for providing surgical guidance
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site
Li et al. Ultra-TransUNet: ultrasound segmentation framework with spatial-temporal context feature fusion
Ambrosini et al. 3D magnetic seed localization for augmented reality in surgery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160601

Termination date: 20190802