CN112041885A - 用于跟踪程序的系统和方法 - Google Patents

用于跟踪程序的系统和方法 Download PDF

Info

Publication number
CN112041885A
CN112041885A CN201980028441.3A CN201980028441A CN112041885A CN 112041885 A CN112041885 A CN 112041885A CN 201980028441 A CN201980028441 A CN 201980028441A CN 112041885 A CN112041885 A CN 112041885A
Authority
CN
China
Prior art keywords
image
image data
neural network
block
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980028441.3A
Other languages
English (en)
Inventor
S·罗恩
J·肯普
Y·派特尔
R·维格
A·沃德
R·达泰利
N·马亨德拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medtronic Navigation Inc
Original Assignee
Medtronic Navigation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medtronic Navigation Inc filed Critical Medtronic Navigation Inc
Publication of CN112041885A publication Critical patent/CN112041885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种导航系统。所述导航系统可以用于至少辅助程序。所述系统可以辅助界定对象和/或确定图像元素的物理边界。所述系统可以辅助计划和/或程序的工作流程。

Description

用于跟踪程序的系统和方法
相关申请的交叉引用
本申请包含与于2018年4月27日提交的美国专利申请第15/965,374号有关的主题(代理人案卷号：5074A-000190-US)。上述申请的全部公开内容通过引用并入本文中。
技术领域
本公开总体上涉及一种用于确定成员在空间中相对于受试者的定位(包含位置和朝向)以及标识图像中的特征和工作流程效率的系统和方法。
背景技术
此部分提供与本公开有关的、不一定是现有技术的背景信息。
在用于各种程序(如外科手术程序、组装程序等)的导航系统中，可以跟踪器械或对象。可以通过各种操作模式的一个或多个跟踪系统来跟踪器械，如通过测量磁场对传感器线圈的影响和/或使用光学传感器来确定位置。传感器线圈可以包含放置在磁场内的导电材料，在所述磁场中在传感器线圈中感应到电流。所测得的感应电流可以用于标识或确定器械或对象的定位。
可以用多个线圈(如三个正交放置的线圈)来产生电磁场。各种发射器或现场生成系统包含由在科罗拉多州路易斯维尔市(Louisville,Colorado)设有营业地点的美敦力导航有限公司(Medtronic Navigation,Inc.)销售的AxiEMTM电磁导航系统。AxiEMTM电磁导航系统可以包含用于产生由跟踪装置感测到的电磁场的多个线圈，所述多个线圈可以是传感器线圈，以允许使用如
Figure BDA0002742778020000011
外科手术导航系统等导航系统来跟踪和/或展示所跟踪的器械的定位。
跟踪系统还可以或可替代地包含光学跟踪系统。光学跟踪系统包含如
Figure BDA0002742778020000012
跟踪系统等跟踪系统。光学跟踪系统包含一组具有视场的相机，以对器械的定位进行三角测量。
发明内容
此部分提供本公开的概述，并且并不是对其全部范围或其全部特征的全面公开。
公开了一种用于执行程序的系统。程序也可以在如动物、人或其它选定的患者等活体受试者上执行。程序可以包含任何适当类型的程序，如对无生命的对象(例如，封闭的结构、机身、底盘等)执行的程序。然而，可以使用导航系统来执行程序，其中跟踪系统能够跟踪选定的一个或多个项。
导航系统可以用于相对于受试者导航器械以执行程序。在各个实施例中，程序可以包含脊柱上的程序，如脊柱融合，其中两个或更多个椎骨与选定的植入物系统或组合件连接在一起。植入物系统可以包含在选定时间互连的多于一个组件。可以相对于包含椎骨的多骨结构来执行如螺钉等植入系统的一部分的定位。螺钉可以沿着选定轨迹定位到椎骨中，并且沿着轨迹定位到椎骨中的选定深度。除了上述实例之外，还可以相对于和/或在脊柱或其它适当的位置上执行其它适当的程序。
在选定时间，如用于执行程序和/或计划程序，可以获取受试者的图像数据。图像数据可以用于生成在显示装置上显示的图像。图像数据可以包含任何适当的图像数据，如计算的断层扫描图像数据、磁共振图像数据、X射线锥束图像数据(如使用X射线锥束成像器)。进一步地，成像器可以是任何适当的成像器，如
Figure BDA0002742778020000021
成像系统，如本文进一步讨论的。如计算机视觉算法等选定指令集可以用于标识图像数据内的各个部分，如各个椎骨。指令可以包含被编程成确定椎骨的边界的机器学习技术或过程，如神经网络系统。可以在神经网络内基本上或完全自动地分析图像数据，以确定椎骨的边界。
选定的工作流程可以用于高效地且有效地执行程序。工作流程可以包含对图像数据的分析或参考，以确定和/或分割图像中的选定部分或特征，如分割特定的椎骨。工作流程可以用于在执行程序期间以自动的方式来操作导航系统，以向如临床医生或外科医生等用户提供信息。具有标识出的选定特征(例如，椎骨或椎骨部分)的边界的图像数据可以辅助或允许系统自动标识用于执行程序的轨迹、用于相对于特定脊椎动物定位的特定植入物以及程序的其它部分。因此，在执行选定程序的选定部分和/或标准部分时，工作流程可以是自动化的或具有选定的用户交互，如工作流程可以是减少或更快的。
根据本文所提供的具体实施方式，其它应用领域将变得显而易见。本发明内容中的描述和具体实例仅旨在为了说明的目的，而并不旨在限制本公开的范围。
附图说明
本文中所描述的附图仅是为了说明所选实施例而不是所有可能实施方式的目的，并且不旨在限制本公开的范围。
图1是导航系统的环境视图；
图2是分割过程的示意性流程图；
图3是卷积操作者的示意图；
图4是根据各个实施例的CNN的示意图；
图5是根据各个实施例的用于训练CNN的流程图；
图6是根据各个实施例的用于使用先前经过训练的CNN对图像进行分割的流程图；
图7A和图7B是根据各个实施例的外科手术导航系统的工作流程和操作的流程图；
图8是跟踪并显示器械投影的环境视图和显示视图；
图9A是提议或计划的程序和器械投影的显示视图；
图9B是部分完成的计划的程序和器械投影的显示视图；
图9C是完成的计划的程序和反向投影的显示视图；并且
图10是作为平面的反向投影的显示视图和植入物的跟踪视图。
贯穿附图的若干视图，对应的附图标记指示对应的部分。
具体实施方式
现在将参考附图更全面地对示例实施例进行描述。
首先参考图1，展示了导航系统10。导航系统10可以由一个或多个用户(如用户12)用于各种目的或程序。导航系统10可以用于确定或跟踪器械16在体积中的定位。定位可以包含三维X、Y、Z位置和朝向两者。朝向可以包含一个或多个自由度，如三自由度。然而，应理解的是，可以确定和/或将任何适当的自由度定位信息(如小于六自由度定位信息)呈现给用户12。
跟踪器械16的定位可以辅助用户12确定器械16的定位，即使器械16对用户12来说是不能直接看到的。各种程序可能会挡住用户12的视线，如进行维修或组装无生命的系统(如机器人系统)、组装机身或汽车的各个部分等。各种其它程序可以包含在活体受试者上进行的外科手术程序，如执行脊椎程序、神经程序、定位深部脑刺激探针或其它外科手术程序。在各个实施例中，例如，活体受试者可以是人受试者20，并且程序可以在人受试者20上执行。然而，应理解的是，对于任何适当的程序，器械16可以相对于任何受试者来跟踪和/或导航。在人或活体受试者上跟踪或导航用于如外科手术程序等程序的器械仅仅是示例性的。
然而，在各个实施例中，如本文进一步讨论的，外科手术导航系统10可以并入各种部分或系统，如在美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开第2004/0199072号中公开的部分或系统，所有专利通过引用并入本文中。可以与外科手术导航系统10一起使用或用作所述外科手术导航系统的组件的各种组件可以包含可操作以对受试者20成像的成像系统24，如
Figure BDA0002742778020000041
成像系统、磁共振成像(MRI)系统、计算的断层扫描系统等。受试者支撑件26可以用于在成像期间和/或在程序期间支撑或保持受试者20。相同或不同的支撑件可以用于程序的不同部分。
在各个实施例中，成像系统24可以包含源24s。源可以发射和/或生成X射线。X射线可以形成撞击在受试者20上如在锥束中的锥体24c。X射线中的一些X射线穿过，并且一些X射线被受试者20衰减。成像系统24可以进一步包含检测器24d，以检测未被受试者20完全衰减或阻挡的X射线。因此，图像数据可以包含X射线图像数据。进一步地，图像数据可以是二维(2D)图像数据。
图像数据可以在外科手术程序期间如通过上文讨论的成像系统中的一个或多个成像系统来获取，或者在外科手术程序之前获取以在显示装置32上显示图像30。在各个实施例中，即使图像数据是2D图像数据，所获取的图像数据也可以用于形成或重构选定类型的图像数据，如三维体积。可以通过一个或多个跟踪系统以可跟踪的体积或导航体积来跟踪器械16。跟踪系统可以包含以相同的方式或多种和/或不同的方式或模式操作的一个或多个跟踪系统。例如，跟踪系统可以包含电磁(EM)定位器40，如图1所展示的。在各个实施例中，本领域的技术人员应理解的是，可以使用其它适当的跟踪系统，包含光学、雷达、超声等。本文讨论的EM定位器40和跟踪系统仅是可与导航系统10一起操作的示例性跟踪系统。可以在跟踪体积中相对于受试者20跟踪器械16的定位，并且然后使用显示装置32将其展示为图形表示，也被称为图标16i。在各个实施例中，图标16i可以叠加在图像30上和/或与图像30相邻。如本文所讨论的，导航系统10可以并入显示装置30，并且操作以从选定的图像数据渲染图像30，显示图像30，确定器械16的定位，确定图标16i的定位等。
参考图1，EM定位器40可操作以使用并入到定位器40中的发射线圈阵列(TCA)42产生电磁场。TCA 42可以包含一个或多个线圈分组或阵列。在各个实施例中，包含多于一个组，并且所述分组中的每个分组可以包含三个线圈，也被称为三个一组(trios或triplets)。可以通过线圈分组的线圈驱动电流为线圈供电以产生或形成电磁场。当电流被驱动通过线圈时，所产生的电磁场将延伸远离线圈42并形成导航域或体积50，如包围头部20h、脊柱椎骨20v或其它适当的部分的全部或一部分。可以通过TCA控制器和/或电源52为线圈供电。然而，应当理解的是，可以提供EM定位器40中的多于一个EM定位器，并且每个EM定位器可以放置在不同且选定的位置。
导航域或体积50通常限定了导航空间或患者空间。如本领域中通常所理解的，可以使用器械跟踪装置56相对于患者或受试者20在由导航域所限定的导航空间中跟踪如钻子和导线等器械16。例如，器械16可以如由用户12相对于动态参考框架(DRF)或患者参考框架跟踪器60可自由移动，所述患者参考框架跟踪器相对于受试者20是固定的。跟踪装置56、60两者都可以包含使用适当的跟踪系统进行跟踪的跟踪部分，如感测并用于测量磁场强度的感测线圈(例如，形成于或放置在线圈中的导电材料)、光学反射器、超声发射器等。由于跟踪装置56相对于DRF 60与器械16连接或相关联，因此导航系统10可以用于确定器械16相对于DRF 60的定位。
可以将导航体积或患者空间配准到由受试者20的图像30限定的图像空间，并且表示器械16的图标16i可以使用显示装置32在导航的(例如，所确定的)和所跟踪的定位处展示，如叠加在图像30上。可以如本领域中通常已知的那样执行患者空间到图像空间的配准并确定跟踪装置(如跟踪装置56)相对于DRF(如DRF60)的定位，包含如美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开第2004/0199072号中所公开的，所有专利通过引用并入本文中。
导航系统10可以进一步包含导航处理器系统66。导航处理器系统66可以包含显示装置32、TCA 40、TCA控制器52以及其它部分和/或与其的连接。例如，可以在TCA控制器52与导航处理单元70之间提供有线连接。进一步地，导航处理器系统66可以具有一个或多个用户控制输入(如键盘72)，和/或具有另外的输入，如来自与一个或多个存储器系统74的通信，其是集成的或经由通信系统的。根据各个实施例，导航处理器系统66可以包含在美国专利第RE44,305号；第7,697,972号；第8,644,907号；和第8,842,893号；以及美国专利申请公开第2004/0199072号中公开的导航处理器系统，所有专利通过引用并入本文中，或者还可以包含可商购获得的由在科罗拉多州路易斯维尔市设有营业地点的美敦力导航有限公司销售的
Figure BDA0002742778020000071
或FusionTM外科手术导航系统。
可以经由通信系统(如TCA控制器，还可以是跟踪装置控制器52)将跟踪信息(包含与由跟踪装置56、60感测到的磁场相关的信息)传递给包含导航处理器70的导航处理器系统66。因此，所跟踪的器械16的定位可以展示为相对于图像30的图标16i。各种其它存储器和处理系统也可以提供有处理器系统66和/或与所述处理器系统通信，包含与导航处理器70和/或成像处理单元76通信的存储器系统72。
如上文所讨论的，图像处理单元76可以并入到成像系统24中，如
Figure BDA0002742778020000072
成像系统。因此，成像系统24可以包含可在台架78内移动的各个部分，如源和X射线检测器。成像系统24也可以用跟踪装置80来跟踪。然而，应当理解的是，在跟踪包含器械跟踪装置56的跟踪装置时，成像系统24不需要存在。而且，成像系统24可以是包含MRI、CT等的任何适当的成像系统。
在各个实施例中，跟踪系统可以包含光学定位器82。光学定位器82可以包含一个或多个相机，所述相机观察或具有限定或包围导航体积50的视场。光学定位器82可以接收输入的光(例如，红外或紫外光)以确定定位或跟踪跟踪装置，如器械跟踪装置56。应当理解的是，光学定位器82可以与EM定位器40结合和/或可替代地用于跟踪器械16。
来自所有跟踪装置的信息可以被传送到导航处理器70，用于确定所跟踪部分相对于彼此的定位和/或用于相对于图像30定位器械16。成像系统24可以用于获取图像数据以生成或产生受试者20的图像30。然而，应当理解的是，也可以使用其它适当的成像系统。如上文所讨论的，TCA控制器52可以用于操作和为EM定位器40供电。
使用显示装置32显示的图像30可以基于以各种方式从受试者20获取的图像数据。例如，成像系统24可以用于获取用于生成图像30的图像数据。然而，应当理解的是，可以使用其它适当的成像系统来使用利用选定的成像系统获取的图像数据来生成图像30。成像系统可以包含磁共振成像器、计算的断层扫描成像器和其它适当的成像系统。进一步地，所获取的图像数据可以是二维或三维数据，并且可以具有随时间变化的分量，如在心律和/或呼吸周期期间对患者成像。
在各个实施例中，图像数据是利用锥束生成的2D图像数据。用于生成2D图像数据的锥束可以是成像系统(如
Figure BDA0002742778020000081
成像系统)的一部分。然后，可以将2D图像数据用于重构成像受试者(如患者20)的3D图像或模型。可以显示重构的3D图像和/或基于2D图像数据的图像。因此，本领域的技术人员应理解的是，可以使用选定的图像数据来生成图像30。
进一步地，已确定为所跟踪的器械16的定位的图标16i可以相对于图像30显示在显示装置32上。另外，出于各种目的，包含本文中进一步讨论的目的，可以对图像30进行分割。图像30的分割可以用于确定和/或界定图像中的对象或部分。界定可以包含或被制成在显示器上表示的掩模。所述表示可以在显示器上显示，如用掩模的图形覆盖显示，也可以被称为图标。图标可以是分割的掩模，并且可以不以任何方式进行简化。在各个实施例中，界定可以用于标识图像30内的各个部分的边界，如成像的患者的一个或多个结构的边界，如椎骨20v。因此，图像30可以包含椎骨20v的一个或多个椎骨的图像，如第一椎骨20vi和第二椎骨20vii。如本文进一步讨论的，可以在图像中界定如第一椎骨20vi和第二椎骨20vii等椎骨，这可以包含和/或辅助确定如3D和2D图像等图像中的边界。在各个实施例中，可以用图标20vi'或第二图标20vii'来表示界定。边界20vi'、20vii'可以以适当的方式并且出于各种目的而确定，这也在本文中进一步讨论。进一步地，如本文所讨论的，图标可以用于表示选定的项以供显示，包含对象、边界等的界定。
根据各个实施例，可以以基本上自动的方式对图像30进行分割。在各个实施例中，自动分割可以并入到神经网络中，如卷积神经网络(CNN)。根据各个实施例，可以教导或使CNN学会如用概率或预测来确定各种特征。各种特征可以包含对象(例如，椎骨)或对象的部分(parts或portions)(例如，椎弓根)，以及这些对象或部分的分割或边界。选定的分割可以包含标识如第一椎骨20vi和第二椎骨20vii等选定的椎骨的分割。选定的分割可以与选定的图形表示(如分割图标或表示20vi'和20vii')一起显示，以在显示装置32上显示。
这些图标在显示器32上单独显示和/或叠加在图像30上，以供选定的用户(如用户12，可以是外科医生或其它合适的临床医生)观察。此外，一旦被标识，边界或其它适当的部分，无论是否显示为图标，都可以用于各种目的。边界可以标识椎骨的物理尺寸、椎骨在空间中的定位(即，如上文所讨论的，由于图像30向受试者20的配准)、可能的标识的轨迹(例如，用于植入放置)等。因此，图像30可以用于计划和/或执行程序，是显示图标20vi'、20vii'还是仅确定边界的几何形状而不将其显示为图标。
转到参考图2，在流程图100中展示了一种用于标识图像的一部分的过程或方法，也被称为分割图像。流程图100是一般流程图，并且将在本文中进一步地详细地讨论更具体的过程，如CNN。然而，通常，分割过程从图像数据的输入开始。图像数据可以包含任何适当的图像数据，如计算的断层扫描图像数据、磁共振图像数据、X射线锥束图像数据。进一步地，成像器可以是任何适当的成像器，如
Figure BDA0002742778020000091
成像系统，如本文讨论的。
Figure BDA0002742778020000092
成像系统可以被配置成获取受试者周围360度的图像数据，并且包含2D图像数据和/或基于2D图像数据的3D重构。进一步地，
Figure BDA0002742778020000093
成像系统可以利用X射线锥束生成图像。
在框104中，图像数据可以包含2D图像数据或从2D图像数据重构的3D模型。2D图像数据或重构的3D图像数据可以来自如成像系统24等成像系统。如上文所讨论的，成像系统24可以包含
Figure BDA0002742778020000101
成像系统。成像系统24可以生成多个二维图像数据，所述多个二维图像数据可以用于重构包含椎骨20v中的一个或多个椎骨的受试者20的三维模型。输入图像数据也可以在任何适当的时间获取，如在诊断或计划阶段期间，而不是在手术室中，如图1具体地所展示的。然而，可以使用成像系统24获取受试者20的图像数据，并且在框104中可以输入或访问所述图像数据。
使用成像系统24获取的图像数据可以具有选定的图像质量，所述图像质量使得可能难以标识如椎骨20v等图像部分的各个边界。然而，如本文进一步讨论的，神经网络可以用于自动标识成像部分的边界以对图像数据进行分割。
在框106中可以用如神经网络或人工神经网络等选定的系统来处理来自框104的图像数据。人工神经网络(ANN)可以是选定的适当类型的人工神经网络，如卷积神经网络(CNN)。可以教导或使CNN学会分析来自框104的输入图像数据，以对图像数据的选定部分进行分割。例如，如上文所讨论的，框106中的CNN可以用于标识来自框104的图像数据中的椎骨体的边界。如上文所讨论的，椎骨体的边界可以单独地和/或与图像30组合地在显示装置32上显示。因此，在框110中可以输出分割的图像数据或输出分割的数据。可以将输出的分割的数据存储在选定的存储器系统中，如导航存储器74或分割的图像存储器112(参见图1)。出于各种目的，输出的分割的图像数据可以对选定部分进行分割，如上文所讨论的椎骨20v。
因此，流程图100可以在框102中开始，并且然后在框104中访问或输入图像数据以在框110中输出分割的图像数据(和/或分割的掩模)，并在框114中显示或存储分割的图像数据。然后，可以在框118中结束过程和/或允许进行进一步的处理或工作流程，如本文进一步讨论的。然而，应当理解的是，流程图或过程100的选定部分除了上文讨论的步骤之外还可以包含多个另外的步骤。例如，可以开发并且然后教导CNN以允许对从框104访问或输入的图像数据的选定部分进行高效的和/或快速的分割。分割可以是特定的(如标识椎骨)，也可以是一般的(如标识图像数据中的选定边界或变化的对比度)。
转到参考图3，如上文简要讨论的并且在本文中进一步详细讨论的，可以开发和教导在框106中使用的CNN。CNN基于众所周知的卷积神经网络技术，如
Figure BDA0002742778020000111
AhmedAbdulkadir、Soeren S.Lienkamp、Thomas Brox、Olaf Ronneberger,“3D U-Net:从稀疏注释中学习密集的体积分割(3D U-Net:Learning Dense Volumetric Segmentation fromSparse Annotation)”,国际医学图像计算和计算机辅助干预会议,Springer,Cham,第424-432页(2016)(https://arxiv.org/pdf/1606.06650.pdf(2016))，通过引用并入本文中。可以开发CNN，以通过分析图像数据并引起人工神经元的激发来对新输入中的选定学习部分进行判断或计算，从而高效地标识图像的选定部分。因此，在框106中，基于对CNN的教导，可以使用CNN来分析或处理来自框104的输入图像数据，如本文进一步讨论的。
继续参考图3，CNN通常允许教导CNN来标识图像数据中的图像特征，如框104中所访问的图像数据。例如，可以由CNN先前限定和/或学习选定尺寸的内核K或滤波器。然后可以以逐步的方式将内核或滤波器K应用于图像I，如一次将滤波器移动一个像素或一个体素。滤波器K是CNN中的单个组件，所述单个组件可以由成百上千个布置成层的互连滤波器组成。如本文所讨论的，第一层滤波器对图像I进行操作，下一层上的滤波器对先前层的输出进行操作。换言之，如图3所展示的，可以在整个图像中将选定大小的内核K逐步移动选定尺寸，如一个像素或体素。可以使滤波器K进行学习并将其用于标识图像的选定部分或“所关注的”部分。如图3所展示的，将滤波器或内核(K)应用于图像(例如，二维图像)。然后可以将乘积或乘积的总和(如内核K和图像I的部分的点积)作为卷积乘积矩阵I*K保存或存储以供另一层使用。考虑到滤波器的大小和选定的跨步，乘积矩阵的大小将小于输入的大小。以二维方式求和由等式一(等式1)说明或定义：
Figure BDA0002742778020000121
等式1包含选定阵列中的图像数据I(即，包含像素或体素)。K表示内核或滤波器，其中滤波器具有高度和宽度(即，在与二维图像数据有关的二维内核中)，并且卷积矩阵的输出I*K是根据等式1的输入图像I与内核K的图像的求和点积。
如本文进一步讨论的，卷积包含在输入图像上移动内核以生成激活图，其中I*K是一部分。如图3和4所展示的，通过将每个滤波器应用于图像来形成激活图层。可以由CNN学习的多个滤波器然后可以堆叠以产生生成输入图像数据的分割(例如，三维图像数据)的输出体积。因此，CNN可以输出包含图像数据的分割或作为图像数据的分割的三维(3D)输出图像或模型。
可以将各种特征并入到CNN中，包含如本领域中已知的特征和/或另外的特征，以辅助确定和创建选定图像的高效的分割。例如，连接量可以包含与选定的滤波器或内核大小的连接等效的本地连接。应当理解的是，可以基于输入图像的分辨率、选定的处理速度等来选择内核大小。在各个实施例中，可以将内核大小选择为约3×3×3的大小，如像素大小。然而，应当理解的是，可以选择不同的内核大小。
输出的大小也可以取决于选定的来选择输出体积的各种参数。例如，各种参数可以包含深度、跨步和零填充或任何适当的填充。深度包含在一层中卷积的多个不同内核。例如，如图3所展示的，内核包含卷积运算的选定阵列(即，一和零的阵列)。应当理解的是，可以将多个不同的滤波器应用于CNN中的每一层，其中内核包含不同的操作阵列。跨步是指确定滤波器在输入体积内每步移动的量的元素(例如，像素、体素或其它选定的图像元素)的数量。可以进一步在任何特定层中将填充添加到输入图像，以解决由于图像内的内核的跨步而导致输出图像侧减少。如图3所展示的，以等于一个像素的跨步移动内核将使输出矩阵减少两个像素尺寸(例如，输入内核为3×3，跨步为1的7×7将输出5×5矩阵)。填充输入以包含零图像数据或像素可以使输出大小保持等于体积或图像的输入大小。
在CNN中，除了如上文所讨论的包含滤波器的大小和滤波器的特征的卷积，还可能发生另外的操作。例如，在CNN中，可以添加池化层以对输出进行下采样。例如，如最大池化等池化操作可以尝试减少参数的数量并减少或控制过度拟合。最大池化可以标识或选择用于输出的滤波器大小内的仅最大体积(例如，最大像素值或体素值)。例如，最大池化滤波器可以包含沿选定尺寸以两个跨步应用的2×2滤波器，如二维图像的二维图像。最大池化将从滤波器区域到输出仅占用最大值的像素。
另外的操作也可以包含批归一化，如Sergey Ioffe、Christian Szegedy,“批归一化：通过减少内部协变量偏移来加速深度网络训练(Batch Normalization:AcceleratingDeep Network Training by Reducing Internal Covariate Shift)”,ICML,2015(https://arxiv.org/abs/1502.03167(2015))所描述的，其通过引用并入本文中。批归一化可以应用于CNN中选定的点或层，如初始层或在每个卷积层之后。批归一化可以引起或将引起整个CNN的激活，以在训练的选定点(如训练的起点)处实现选定分布，如单位高斯分布。批归一化允许增加网络的深度，加速训练，并增强初始化的鲁棒性。
来自层中的神经元的输出可以包含计算加权总和，并且将偏差添加到激活函数，然后将其应用于输入和偏差以产生输出。可以进一步分析来自神经元或层输出的权重或将其并入到CNN中。以实现选定的输出的来自神经元的输出可以具有加权损失函数，以辅助激活或减少神经元的选定的激活函数的影响。加权损失函数基于某些属性(例如，对象的边界与非边界)赋予不同标记不同的重要性。
来自神经元的输出包含作为修正线性单元函数的激活函数，除了作为softmax激活函数的输出层函数之外。激活函数可以包含如softmax函数或归一化指数函数等函数，如本领域通常已知的那样。修正线性单元函数是通常定义为f(x)＝最大(0，x)的函数。因此，当修正线性单元激活函数大于选定的阈值时，修正线性单元函数可以提供CNN中的神经元的激活。在修正函数中，仅将函数的正分量与阈值进行比较。在输出层中，如果输出概率图高于选定的阈值概率(如35％)，则确定输入图像的选定部分的掩模或界定被标识为选定的对象(也被称为标记，例如，椎骨或其一部分)。在各个实施例中，被标识为选定的对象的输入图像的一部分的掩模或界定是具有与选定阈值或仅与选择的阈值相反的最高概率的标记。
三维图像中的内核可以包含高度、宽度和深度。如上文所描述的，然后可以使内核或滤波器通过图像，以确定神经元是否被激活，并基于存在或不存在神经元激活来生成激活图。然后可以基于选定特征(如边缘或其它标识的部分)来确定或制定滤波器或内核K以进行激活。在当前系统中，黄金标准或学习图像集可以用于向CNN教授滤波器或内核，所述滤波器或内核标识选定的或黄金标准部分，如上文所讨论的椎骨的界定。在使滤波器在图像数据上移动时，已知基于滤波器或内核K对图像数据进行卷积或评估。
除了卷积层和下采样层之外，还可以应用一个或多个去卷积层。去卷积层应用于以原始图像的分辨率上采样最终的分割图。在各个实施例中，去卷积层可以使稀疏激活致密。去卷积层也可以被称为转置卷积，如深度学习的卷积算法指南,V Dumoulin,F Visin-arXiv preprint arXiv:1603.07285,arxiv.org(2016)中所描述的，其通过引用并入本文中。
鉴于以上，并参考图3，图3中示意性地展示了CNN网络架构。CNN示意性架构150被示例性地展示为包含编码器部分(part或portion)，所述编码器部分根据选定的学习滤波器而初始地卷积和分析图像。然后可以使用随后的去卷积来对经卷积的数据进行扩展或解码，以产生全分辨率输出154。如上文所讨论的，图像输入104可以是用于生成CNN和经过训练的模型(即，当输入黄金标准或用户标识的边界时)的输入和/或与尝试对图像数据进行分割以标识所述图像数据中各个部分有关的输入，如本文中进一步讨论的。在图4中，示意性架构展示了包含多个层的深度学习CNN。
继续参考图4，输入数据104最初可以通过3×3×3的滤波器的卷积或一个或多个卷积(例如，两个卷积)来卷入或分析。在卷积之后，可以应用成批归一化(如上文所讨论的)和修正线性单元。这可以最初在过程152中应用，并生成具有32个滤波器的第一分析块160。过程161可以包含与过程152相同的步骤，并生成具有64个滤波器的第二分析块164。通过将跨步为2的2×2×2最大池化应用于第一残差块174来执行最大池化步骤或过程170。然后，第一残差块174可以具有应用于过程176的两个卷积、批归一化和修正线性单元，以生成第三分析块180。然后，第三分析块180可以再次具有在过程182中的两个3×3×3卷积，然后是批归一化和修正线性单元，以输出第四分析块186。第一残差块174的添加过程188是添加到第四分析块186。这可以生成第二残差块192。
对第二残差块192执行最大池化过程或操作190，然后在另外的层中在过程步骤196中通过两个另外的3×3×3卷积对其进行卷积以生成第五块200。再次，对第五块200执行两个3×3×3卷积、批归一化和修正线性单元过程204，以生成第六块204，随后再次在过程208中进行两个3×3×3卷积、批归一化和修正线性单元，以形成第七块212。可以在添加过程216中向第五块200添加第七块212。最大池化过程214应用于第七块212，以输出第三最大化池化块220。
第三最大池化块220可以在过程222中与两个3×3×3卷积进行卷积以形成第八块224。第八块224然后可以具有两个3×3×3卷积、批归一化和修正线性单元过程226，以形成第九块228。第九块228还可以具有应用于过程232的两个3×3×3卷积、批归一化和修正线性单元，以形成第十块240。在添加过程242中，第八块224作为残差被添加到第十块240。
在合成过程中，在去卷积过程246中对第十块240进行去卷积，并且在过程248中将第七块212进行级联，以形成第一合成块250。然后，第一合成块250还可以具有应用于其的两个3×3×3卷积、批归一化的修正线性层过程254以生成第二合成块258。再次，可以执行两个3×3×3卷积、批归一化和修正线性单元过程260以生成第三合成块262，对所述第三合成块应用去卷积过程266以生成第四合成块268，将第四合成块在级联过程272中添加到第四分析块186。
然后第四分析块186和第四合成块268的组合具有两个3×3×3的卷积、批归一化和修正线性单元过程274，以生成第五合成块276。第五合成块276具有两个3×3×3卷积、批归一化和修正线性单元激活过程278，以生成第六合成块282。第六合成块282在去卷积过程284中被去卷积以形成第七合成块288，使用级联过程292将所述第七合成块与第二分析块162级联。然后，对组合块进一步应用两个3×3×3卷积、批归一化和修正线性单元过程296以形成第八合成块300，并且在两个3×3×3卷积、批归一化和修正线性单元过程的过程306之后生成第九合成块304。
最后，将1×1×1卷积过程310应用于第九合成块。卷积过程310可以包含如上文所讨论的softmax激活。过程310生成输出154，其可以是输出分割的图像数据110，如图2所展示的。输出可以包含选定数量的通道，如由于过程310中的softmax激活而可以实现的两个通道。进一步地，输出154可以包含可以被显示以供用户12观察的3D模型或图像。进一步地，如图4所展示的，展示了在每个操作中应用的滤波器的总数，并且可以包含CNN 150的总数，可以是2,400个。然而，应当理解的是，适当选定的滤波器的数量可以不同于2,400个，并且可以包含约100个到约20,000,000个。因此，本文公开了2,400个滤波器，以提供高效的和更快的CNN 150，如用于本文进一步讨论的分割。
然后可以将图4所展示的示意性架构应用于训练和/或测试或分割选定的图像。在各个实施例中，参考图5，展示了训练阶段过程350。训练阶段过程350可以从输入开始，并且可以包含可以是适当的图像数据的图像数据352，如上文在框104中讨论的图像数据。输入可以进一步包含分割掩模，如二进制分割掩模356。分割掩模356可以是标准数据分割或训练数据分割，如黄金标准或用户确定的分割。例如，二进制分割掩模可以包含用户(例如，经过训练的专家，如外科医生)对选定的结构(如包含椎骨20v的椎骨)的分割。
在包含图像数据352和掩模356的输入之后，可以发生包含选定的预处理的选定的步骤。例如，可以发生框360中的任选的调整大小步骤，以将图像数据调整为适当的或选定的大小。在各个实施例中，可以将体素重新采样到特定分辨率，如约1.5mm×1.5mm×1.5mm。在框364中，进一步的预处理可以包含零填充。如上文所讨论的，零填充可以确保在CNN处理之后或期间实现图像大小，并且还可以确保选定增强将所有图像数据维持在图像边界内。
在框368中，选定增强还可以选择性地应用于图像数据。框368中的增强可以是选定增强，如输入数据的增强，其可以是离线或在线两者或仅其中之一。选定的离线增强加可以包含通过选定的比例因子沿着选定的轴随机地缩放图像。比例因子可以包含介于约0.9与约1.1之间，但也可以包含其它适当的比例因子。进一步地，图像可以以选定的量绕选定的轴随机旋转。再次选定的旋转量可以包含如约负10度到约正10度。在线增强可以包含沿不同轴随机翻转图像或转置图像通道。框368中的增强可以通过在输入图像数据352中提供比图像数据集本身所提供的可变性更大的可变性来辅助训练CNN。如上文所讨论的，并且在本领域中是众所周知的，尝试使CNN生成滤波器，所述滤波器允许自动检测图像数据内的选定特征(如分割椎骨的边界)，而无需来自用户的另外的输入。因此，CNN通过包含比初始图像数据提供的数据更加随机或更高度随机的数据可以更好地学习或更有效地学习适当的滤波器。
在框272中，然后可以对图像数据进行归一化。在对图像数据进行归一化时，将变量标准化为具有零均值和单位方差。这是通过减去平均值，并且然后将变量除以所述变量的标准偏差来执行的。
逐批裁剪或修补过程可以在框380中发生。在各个实施例中，为了实现选定的结果，如减少训练时间，减少存储器需求和/或更精细的颗粒细节学习，选定的裁剪可以发生。例如，可以将图像数据裁剪选定大小(如一半)，以减少一次训练的图像量。框356中的分割掩模的对应部分也在框380中被裁剪并提供在图像和掩模中。然后可以将裁剪的部分组合以实现最终输出。框380中的裁剪过程还可以减少用于使用选定的图像数据集进行分析和/或训练的存储器需求。
然后，可以将是否从过程380裁剪的图像数据输入到框384中的CNN。如上文所讨论的，框384中的CNN，例如在图4中，然后可以工作以确定滤波器以实现输出154。如图5所展示的，输出154可以包含概率图388和经过训练的模型390。概率图388是每个体素或其它选定的图像元素属于选定的标记的或界定的部分(例如，输入图像中的椎骨、椎骨的一部分、螺钉或其它选定部分)的概率。本领域的技术人员应当理解的是，输入图像可以包含各种可选择部分，如椎骨、多个椎骨、螺钉等。在各个实施例中，可以选择阈值概率以用于标识或确定选定的图像部分是选定的部分或标记。然而，应当理解的是，不需要阈值，并且概率图可以在用于分割的输出中输出选定的概率。
经过训练的模型390包含限定的滤波器，所述滤波器可以应用作为上文所讨论的内核K，并且可以基于概率图388。如上文所讨论的，在各个层中使用限定的滤波器来标识图像的重要部分或重大部分，以用于各种目的，如图像的分割。因此，可以基于输入图像352和二进制分割掩模356来训练经过训练的模型390。然后可以将经过训练的模型在如包含导航存储器72的存储器系统中存储或保存，以用于进一步访问图像存储器112和/或导航存储器74或在其上实施。训练过程350可以包含各种输入，如填充数量或选定的体素大小，但是通常由执行选定的指令的处理器系统(如导航处理器系统70)执行。例如，对框384中的CNN的训练和经过训练的模型384可以基本上由处理器系统执行。
然而，应当理解的是，也可以在单独的存储器和/或处理系统上提供经过训练的模型，以在选定的时间进行访问和使用。例如，经过训练的模型可以在程序的计划阶段期间和/或在受试者20在手术室中处于植入程序期间的程序期间使用。
另外参考图5并转到参考图6，当在分割阶段400中尝试确定图像(如受试者20的图像)的分割时，可以将来自训练阶段350的经过训练的模型390用作输入。因此，根据各个实施例，受试者的图像数据402可以与经过训练的模型390一起输入。如上文所讨论的，输入图像数据402和经过训练的模型390可以包含通过包含导航处理器系统70的处理器系统中的一个或多个处理器系统访问存储在如上文所讨论的存储器中的选定存储器中的图像数据和经过训练的模型两者。
可以以与在训练阶段350期间预处理图像数据类似的方式对图像数据402进行预处理。例如，以与对训练模型390进行训练相同的方式对图像数据402进行预处理。如上文所讨论的，各种预处理步骤是任选的，并且可以在训练阶段期间对图像数据350执行。在分割阶段400期间，图像数据402可以或以类似的方式被选择性地预处理。因此，在框360'中，可以调整图像数据402的大小，在框364'中，可以添加零填充，在框372'中可以对图像数据进行归一化。应当理解的是，如果在训练阶段350期间执行，则可以选择各种预处理步骤，并且可以在分割阶段400期间选择各种预处理步骤。分割图像数据的类型与训练图像数据的类型相同。
在框360'、364'和372'中执行适当的预处理之后，在框410中，可以对图像数据402进行分割或裁剪。在框410中对图像进行的分割也是任选的，并且可以基于处理时间、存储器可用性或其它适当的特征来选择。然而，可以以如沿着选定的轴等选定的方式对图像402进行分割。一旦已经发生分割，则然后图像数据可以被合并，如在后处理步骤414中。
一旦对图像数据进行了预处理，如所选择的那样，具有学习的权重和/或滤波器的CNN 384可以用于分割图像数据402。由CNN 384对图像数据402进行的分割可以创建输出420，所述输出包含概率图416和选定的掩模，如输出422中的二进制分割掩模。输出420可以是分割部分的选定几何形状的标识，如椎骨20v或其它选定特征。已经教导或学习了选定特征和权重的CNN 384可以对图像数据的各个部分(如椎骨)进行分割。
在输出420中，概率图416是每个体素或其它图像元素或部分属于选定的标记或部分(如脊柱、椎骨、椎骨、螺钉等)的概率。二进制分割422是通过选择概率大于阈值的所有体素或其它图像部分而从概率图416产生的。阈值可以是任何选定的量，如约30％到约99％，包含约35％。然而，进一步理解的是，基于概率图416执行二进制分割422可以不需要阈值。
分割过程400可以包含各种输入，如填充数量或选定的体素大小，但是通常由执行选定的指令的处理器系统(如导航处理器系统70)执行。例如，用框384中的CNN进行的分割和框420中的输出分割可以基本上由处理器系统执行。因此，可以在处理器系统执行选定指令的情况下基本上自动地执行分割过程400或其大部分。
然后可以将输出420存储在选定的存储器中，如成像存储器112和/或导航存储器74。在各个实施例中，分割输出420可以保存在导航存储器74中，以用于各种工作流程，如本文进一步讨论的。此外，输出可以输出为图形表示，如表示分割的椎骨的几何形状的一个或多个图标。如图1所展示的，分割的部分可以单独显示或者叠加在图像30上，如椎骨图标或掩模20vi'和20vii'。应当理解的是，可以发生任何适当数量的分割，并且图1中的两个椎骨的展示仅仅是示例性的。例如，图像数据402可以是受试者20的整个脊柱或全部椎骨。因此，分割掩模可以包含椎骨的每个椎骨的标识。此外，应当理解的是，分割可以是三维分割，使得可以在输出420中确定椎骨的整个三维几何形状和构造，并且可以将其用于各种目的，如在显示器32上进行展示。
如图1所展示的导航系统10可以用于各种目的，如对受试者20执行程序。在各个实施例中，程序可以包含将植入物定位在受试者体内，如将椎弓根螺钉固定在受试者20体内，如固定在椎骨20v的一个或多个椎骨中。在执行程序时，工具16可以是植入物，如螺钉。应当理解的是，执行或放置植入物可能需要各种预备步骤，如使插管穿过受试者20的软组织，钻孔进入到椎骨20v，在椎骨20v中敲击孔或其它适当的程序。进一步应当理解的是，用于执行程序的各个部分的项中的任一项可以是工具16，并且工具16也可以是植入物。部分中的任何一个部分(例如，植入物、工具或器械)都可以通过所关注的跟踪系统来跟踪，如同时或依次地进行，并且可以通过导航系统10进行导航。在导航期间，导航系统10可以将工具16的定位作为图标16i显示在显示器32上。以类似的方式，其它器械可以与器械16同时导航，使得器械16可以包含多个器械，并且根据如来自用户12的指令等指令，所有或一个器械可以单独地或多个地在显示装置32上显示。
因此，导航系统10可以由用户12使用以对受试者20执行程序。进一步地，包含导航处理单元70的导航系统10可以执行存储在如导航存储器74等选定的存储器上的指令，用于执行或辅助用户12对受试者20执行程序。根据各个实施例，如图7A和图7B中所展示的实施例。如图7A和7B所展示的，工作流程图450包含基于用户12的指令或根据先前的步骤，可以由用户或在用户12的指导下和/或通过由包含导航处理器系统70的处理器系统执行指令来基本上自动地执行的各种特征和步骤。
工作流程450可以包含数据获取或访问步骤或部分，包含在框456中操作成像系统24(如
Figure BDA0002742778020000211
成像系统)以在框460中获取受试者的图像扫描或图像数据。然后可以经由连接或通信462访问或接收图像数据。如上文所讨论的，关于图2，在框104中，可以访问图像数据。在框104中访问或输入如图像数据等数据可以类似于或等同于处理器访问数据462。类似地，如本文进一步讨论的，可以使用图6中所展示的如自动分割过程400来对图像数据进行分析和分割。无论如何，图像数据460可以由导航处理器系统70获取或访问，以允许包含工作流程450在内的工作流程发生。工作流程450可以进一步包含自动化或半自动化的工作流程部分470，其包含分析图像数据460和/或执行程序的各个部分。
如上文所讨论的，过程462允许由导航处理器系统70根据选定的导航过程系统470使用来自块460的图像数据。外科手术导航系统470可以包含完全自动的(例如，由根据预定算法执行指令的处理器、执行深度学习的处理器系统或神经网络系统等执行)部分或者手动输入和自动确定的组合的部分。如本文进一步讨论的，除非标识为包含手动部分，否则各种元件或部分可以是基本上自动的。然而，应当理解的是，如本文进一步讨论的，可以不包含手动部分。
在外科手术导航过程470中，在框474中，可以启动或开启导航系统10。在框474中，导航系统的开启可以是基本上手动的，如由用户12打开或开启导航系统10。然而，应当理解的是，导航系统10也可以基本上自动地启动，如当进入如手术室等选定的位置时。在框474中启动或开启导航系统之后，在框476中，可以选择外科医生，并且在框478中，可以选择程序。应当理解的是，在框476中选择外科医生可以是任选的。然而，导航存储器74可以已经选择了保存的外科医生偏好和/或操作，所述偏好和/或操作可以是特定于个别外科医生，如用户12。因此，在框476中选择外科医生可以使导航处理单元70访问存储器74，以基于框476中的外科医生的选择来选择或确定用户12的偏好。特定外科医生可以具有可以增加以下项中的一项或多项的偏好，如要为选定的程序准备的特定的器械、用于选定的解剖结构的植入物的大小等。在各个实施例中，例如，选定的外科医生可以选择包含相对于椎骨的边界具有3mm间隙的植入物，如椎弓根螺钉，而另一位外科医生可以选择包含具有5mm间隙的椎弓根螺钉。因此，具有标识的偏好的选定的外科医生可以由处理器系统在执行过程470中用于在导航期间选择和/或标识选定的器械。
框476中的外科医生的选择和框478中的程序的选择可以基本上是如使用输入72或任何适当的手动输入72来手动输入到导航处理单元70。应当理解的是，用户12可以手动输入框476中外科医生的选择以及框478中程序的选择两者，或者可以指示在框476和478中进行的选择。然而，应当理解的是，框476中外科医生的选择和框478中程序的选择可以基本上是手动的。
导航过程470可以基于框478中选定的程序或框476中选定的外科医生之一或两者来自动建议器械组。在框482中自动建议器械组可以包含选择或建议器械工具、植入物等。例如，关于椎弓根螺钉的放置，导航过程470可以建议器械(例如，探针、锥子、驱动器、钻头和丝锥)和/或植入物类型和/或几何形状和大小(例如，螺钉大小和长度)。框482中的器械和/或植入物组的建议可以基于访问可能程序的数据库并从中标识工具的选定的算法。进一步地，机器学习系统可以用于基于如程序和外科医生的各种输入来标识器械组，因为选定的外科医生可以选择不同的器械和/或外科医生的偏好(例如，椎弓根螺钉大小)可以变化或更改选定的器械组。还可以基于作为输入之一的分割以启发法进行或辅助器械的选择。无论在框482中是否自动建议了器械组，在框484中都可以验证器械。对器械的验证可以确保器械存在于手术室中和/或将其输入到导航系统10中。例如，可以指示或使用导航系统10来标识选定的一组器械或器械类型。
通常使用选定的跟踪系统来跟踪导航程序中的器械。应当理解的是，可以使用适当的跟踪系统，如上文所讨论的光学或EM跟踪系统。因此，在各个实施例中，在框486中，可以标识器械跟踪器。器械跟踪器的标识可以基于由选定的跟踪系统(如光学定位器82)标识的跟踪器而基本上是自动的。例如，光学定位器可以用于标识或“观察”跟踪装置，如器械跟踪装置56。应当理解的是，多个器械可以在器械中的每个器械上具有多个唯一的跟踪器，并且因此可以使用对选定的跟踪器的观察来标识器械的跟踪器。然而，应当理解的是，跟踪器可以是可变的，并且因此可能无法进行自动检测，并且因此可以选择手动标识器械跟踪器。
在框490中，可以自动标识与选定器械相关联的尖端。如上文所讨论的，可以通过用光学定位器82“观察”尖端来使用尖端的自动标识。因此，导航处理器70可以使用如CNN等深度学习系统来标识相对于在框486处标识的器械和/或跟踪器的尖端。通过标识尖端，可以协助程序和用户标识选定特征的过程。特征可以包含在导航期间和在显示装置32上(如与器械图标16i一起)显示的尖端的几何形状。然而，应当理解的是，也可以在选定的程序中手动输入或标识尖端。
在导航程序中，还可以用DRF 60跟踪患者20。在框496中，可以在患者20身上放置或标识DRF 60。应当理解的是，将DRF 60放置在患者身上通常是由用户12执行或在用户12的指令下执行的基本上手动的程序。然而，DRF 60的放置还可以包含在导航过程470中标识或跟踪DRF 60。因此，导航过程470可以包含一旦放置在患者20身上就跟踪DRF。DRF允许在框498中从图像数据460配准到通过过程464输入的图像数据。如上文所讨论的，配准可以根据任何适当的配准过程执行，包含本领域通常已知的配准过程。
配准允许受试者或由受试者20限定的物理空间被配准到图像数据，使得图像数据中的所有点都与物理位置有关。因此，所跟踪的器械的位置可以相对于图像30显示在显示装置32上。进一步地，配准可以允许将图像部分配准到患者，如分割部分。
在框502中，可以对分割的部分(例如，椎骨)进行分割，并且在框504中，可以在显示装置上显示分割。如上文所讨论的，可以根据如上文所讨论的选定系统(如CNN 150)基本上自动地对选定的图像部分(如椎骨)进行分割。然而，除了如上文所讨论的分割之外或可替代地，图像部分的分割也可以是手动的，如由用户12使用图像30上的选定器械(如显示装置上的所跟踪的探针)进行物理跟踪。然而，导航过程470中的自动分割(例如，使用分割过程400)可以允许用户12不使用外科手术时间或计划时间来分割椎骨，并允许更快且更高效的程序。通过节省外科医生与包含其各种软件特征的导航系统10进行手动交互的时间，例如通过基于分割自动选择正确的工具投影，可以实现更快且更高效的程序。
还可以显示分割，如在框504中显示分割，包含显示分割图标20vi'和20vii'。分割图标可以由用户12观察并且验证所述分割图标覆盖了选定的椎骨。除了验证之外或作为验证的一部分，在框508中，还可以标识和/或标记图像部分。对图像部分的标记可以是手动的，如用户12选择并标记图像30中的每个椎骨，包含在其中分割的部分。对椎骨的标记和/或标识也可以是半自动的，如用户12标识图像30中的所有椎骨中的一个椎骨或少于全部的椎骨，并且导航处理器70则相对于其标记所有其它椎骨。最终，在框508中，对椎骨的标识及其标记可以是基本上自动的，其中导航处理器70执行如基于CNN 150的指令以标识图像30中的选定和/或所有椎骨并因此相对于分割的部分(如分割图标20vi'和20vii')显示标记。
在框512中，在程序期间或在计划阶段期间，导航过程系统470还可以自动选择植入物参数，如大小(例如，长度和宽度)。如上文所讨论的，在框502中，可以根据选定的程序对椎骨进行分割。在对椎骨进行分割时，可以知道椎骨的大小，包含三维几何形状，包含大小和形状。这可以基于分割的椎骨大小或确定的椎骨大小来辅助选择植入物的大小。而且，基于选定的外科医生的偏好，基于框476中的选定的外科医生，椎骨相对于植入物的大小也是已知的，并且因此也将辅助自动选择针对特定大小的植入物参数。可以如在显示器32上输出大小，以供用户12选择和/或确认。因此，可以通过过程系统470来选择包含大小或其它几何形状的植入物参数。
然后，可以进行程序470以辅助准备和/或放置选定植入物。为了放置如椎弓根螺钉等植入物，可以相对于椎骨20v确定进入患者20的入口点。继续参考图7A和7B以及另外参考图8，器械16可以包含具有跟踪器56(例如，光学跟踪器)的探针16p。探针16p可以相对于受试者20而移动，如不刺穿受试者20。
在框516中尝试确定入口点时，探针16p可以相对于椎骨20v而移动。可以基于来自探针56(如来自所跟踪的探针的远侧520)的投影来标识已经在框508中标识出和/或经过标记的椎骨20v。探针端520不需要刺穿受试者20的如皮肤等软组织，而是可以如使用显示装置32上的器械图标16i确定和/或显示投影，如图8所展示的。器械图标16i可以基于选定的器械而改变，并且可以基于探针16p相对于椎骨20v的定位而显示为探针的投影或仅轨迹。基于探针的投影，可以标识椎骨，如显示装置32上的图像30中的椎骨20vi。显示装置32可以以各种方式显示图像30，如以中间和轴向视图。
器械的投影16i可以基于椎骨20v的边界，如在框502中基于椎骨的分割。分割可以是手动的、半手动的或基本上自动的(例如，使用分割过程400)。然而，投影图标16i可以限于椎骨20v的边界，并且可以单独显示或者与椎骨图标20vi'组合显示。进一步应当理解的是，投影16i可以基于如钻子等选定的工具的几何形状，使得用户12可以观察钻子相对于图像30和分割的椎骨20vi'的物理范围，以确保钻子钻得足够远以进入到椎骨。
如上文所讨论的，导航过程470可以包含基本上由导航处理器70单独或与用户12所采取的动作组合发生的部分。在各个实施例中，然后查找入口点特征可以用于标识或标记受试者20的皮肤上的点。应当理解的是，不需要标记切口点。然而，如上文所讨论的，在找到入口点之后，可以出现切口以允许其它器械进入受试者20。一旦形成切口，在框526中，就可以导航工具，如通过跟踪工具并在显示装置32上展示工具的定位。例如，在形成初始切口之后，在框516中可以发生将锥子导航到标识出的椎骨。工具也可以被称为器械。
在相对于椎骨导航锥子时，锥子可以穿过皮肤中的切口并接触椎骨。在选定时间，如当锥子距椎骨在选定距离之内(例如，小于约1mm到约6mm，包含约5mm)，可以相对于椎骨展示表示锥子的图标或来自所跟踪的锥子的位置的投影。因此，在框528中，表示工具的图标可以自动显示选定植入物大小，如叠加在显示装置32上的图像30上的图标。
在框502中，自动显示植入物大小或工具大小或定位可以包含基于分割的椎骨的边界确定植入物的大小。导航过程470可以执行基于植入物的分割的图像几何形状(例如，包含大小和形状)的指令，所述植入物可以被自动选择并显示在显示装置上。当锥子相对于椎骨处于选定位置时，显示自动选定的植入物可以允许用户12观察选定的机会或选定的植入物。通过自动选择植入物，用户12无需分别测量椎骨和/或相对于椎骨试验的各种植入物。尽管如此，在框532中用户12可以确认和/或改变植入物大小。如果进行选择，然后则可以相对于椎骨图像20vi和/或分割20vi'显示不同大小的植入物。然后，在框528中，用户12可以观察自动显示的植入物大小和/或在框532中更改或确认大小。
进一步地，用户12可以使所跟踪的锥子相对于椎骨20v移动，以选择植入物相对于椎骨20v的定位。例如，锥子相对于椎骨20v的不同定位可以使系统470确定或计算不同大小的植入物(即，椎骨的前边界更远)。一旦用户12已经选择了适当的或选定的轨迹，就可以保存轨迹。轨迹可以由用户12如使用输入装置72来保存。然而，应当理解的是，输入装置可以是适当的装置，如用于音频输入的口头命令、手势、脚踏开关等。另外，在框476中，可以基于选定的外科医生来保存用户的选择，以供进一步参考或将来参考。
可以保存投影以供将来使用，并且可以选择显示和/或隐藏所述投影以允许引导敲击椎骨20v。继续参考图7并另外参考图9A、9B和9C，当对丝锥进行导航时，在观察显示装置32的同时可以使用丝锥敲击椎骨20v。当由用户12使丝锥相对于椎骨20v移动时，可以对丝锥进行导航。丝锥可以相对于图像30在显示装置32上显示为图标16i。进一步地，在选定时间，如当丝锥靠近椎骨20v或与之接触时，当在框540中将丝锥导航到椎骨20v时，可以相对于包含椎骨20vi的图像30显示敲击的几何形状的投影542并且在敲击的区域或体积的投影542处的显示可以允许用户12基于丝锥到椎骨的投影来确认选定的敲击的体积与来自块536的植入物投影或保存的植入物投影相匹配。
一旦确认丝锥投影542与来自536的保存的植入物投影相匹配，就可以将丝锥驱动到椎骨20v中，如图9B所展示的。在框546中减小或缩小的丝锥投影544可以允许用户12观察敲击相对于投影的或选定的丝锥长度体积的程度。在框546中缩小的丝锥几何形状544可以允许用户12(图9B)了解到目前为止所执行的敲击的程度以及剩余的自动敲击。因此，用户可以在选定时间段放慢丝锥进入到椎骨中的速度，同时允许在初始时间段进行快速且高效的敲击。
应当理解的是，处理系统70可以基本上自动地基于丝锥相对于椎骨20v的导航来缩小敲击的投影，如框546中的缩小的丝锥投影544。丝锥投影初始地基于来自框536的基于植入物(如在框528中自动选定的植入物)的选定植入物投影。因此，导航过程470可以通过允许用户12观察进行中的敲击并确认敲击何时完成来允许对椎骨20v进行高效的敲击。
当敲击完成时，在框552中，可以自动确定并显示反向投影550。反向投影550可以基本上等同于或等于进入到椎骨20v中的敲击深度，并基于由使用者12敲击的量或敲击的深度。进一步地，如图9A所展示的，反向投影550可以基本上等同于初始的敲击投影542。可以维持反向丝锥投影550，以供用户12在显示装置32上相对于椎骨20vi进行观察，以将植入物定位在椎骨20v中。此外，器械图标16i可以是器械部分和现在固定的或永久的敲击的投影542'两者的组合。固定的投影542'可以初始地等同于反向投影550，并且允许用户12观察相对于器械16i的敲击的体积(例如，宽度和/或深度)和椎骨图像20vi两者。
出于各种目的，可以在框560中保存反向投影，如上文所讨论的，以引导或导航植入物。进一步地，保存的反向投影可以等同于敲击的定位，并且还可以被保存在选定的外科医生76的下方，以供进一步参考和/或将来参考。
一旦敲击了椎骨，就可以将植入物放置在椎骨20v中。继续参考图7A和7B并另外参考图10，植入物可以包含定位在椎骨内的螺钉，如椎弓根螺钉。螺钉和驱动器可以相对于图像30和椎骨20vi展示为在显示装置32上的图标16i。在框562中，也可以显示反向投影550以在框566中辅助导航植入物。如图10所展示的，植入物可以展示为图标16i的至少一部分，使得图标16i可以与反向投影550对准，以允许沿着如由反向投影550所展示的敲击的轨迹和体积将螺钉驱动或放置到椎骨20v中。因此，在框566中导航植入物可以允许用户12将植入物定位在椎骨20v中的选定的且敲击的位置。
跟踪进入到椎骨20v中的螺钉还可以允许在框570中保存所跟踪的螺钉的定位，以供来自框476中的选定的外科医生将来使用。因此，可以保存各种特征，如螺钉的敲击的位置和最终位置的定位以及各种其它特征，如螺钉的几何形状和大小，以供选定的外科医生参考以供将来使用。
在框566中通过导航植入物和/或在框570中保存所跟踪的螺钉位置来定位螺钉之后，在框574中可以确定是否需要放置其它螺钉。如果不放置另外的植入物，则可以遵循否路径576以完成框578中的程序。完成程序可以包含使椎骨减压，从受试者20移除器械，闭合切口或其它合适的特征。
如果在框574中确定要植入另外的螺钉，则可以遵循是路径582。应当理解的是，确定是否要放置另外的螺钉可以基于来自框478中选定的程序或者基于来自用户12的用户输入。因此，在框574中确定是否定位另外的植入物可以是基本上自动的或手动的。
不管用于确定是否需要另外的植入物的程序，如果遵循是路径582，则在框590中可以任选地发生自动切换到另外的图像部分。例如，如果将第一螺钉放置在L5椎骨中，则可以将第二螺钉放置在L5椎骨的第二侧中。自动切换到椎骨的单独图像或视图部分可以辅助用户12。进一步地，如果将第二植入物定位在L5椎骨中并且选定的程序是融合L5和L4椎骨，则图像30可以自动切换为显示或更紧密地显示L4椎骨，以用于另外的程序步骤。因此，在框590中自动切换到另一图像部分可以辅助用户12高效地执行程序。
不管是否执行任选的自动切换到另外的图像步骤，确定要放置另外的植入物可以允许导航过程470循环到框512，以自动选择下一个植入物的参数并从那里继续程序。应当理解的是，也可以重复各个其它部分，如标识器械或尖端(例如，块486和490)，但是可以不需要此类应用，特别是如果器械从第一植入物到另外的植入物维持或保持不变。然而，可以通过继续从框512到判定框574的过程将选定数量的植入物定位在受试者12体内，直到确定程序的各个部分不再需要另外的植入物，并且可以遵循否路径576。
因此，鉴于上文，导航过程470可以用于通过允许处理器系统辅助用户12自动执行各种程序和/或选择程序的各个部分(如植入物几何形状和/或定位)来以选定的且高效的方式将植入物(如脊柱植入物)放置在受试者20中。用户12然后可以将选择用作初始起点或确认建议是适当的并继续程序。因此，用户12不需要冷或“空白状态”来执行程序。
提供示例实施例使得本公开全面，并且将范围全面地传达给本领域技术人员。阐述了许多具体细节，如具体组件、装置和方法的实例，以提供对本公开的实施例的透彻理解。对于本领域技术人员来说，显而易见的是，不需要采用具体细节、示例实施例可以被具体化为许多不同形式并且两者均不应解释为限制本公开的范围。在一些示例实施例中，没有详细描述众所周知的过程、众所周知的装置结构和众所周知的技术。
已经出于展示和描述的目的，提供了前述对实施例的描述。其并不旨在是穷尽的或是限制本公开。特定实施例的单独要素或特征通常不限于所述特定实施例，但在可适用的情况下是可互换的，并且可以用于所选实施例中，即使没有具体地示出或描述。可以以许多方式进行改变。这种变化并不被视作是脱离了本公开，并且所有这种修改都旨在包含在本公开的范围内。

Claims (25)

1.一种系统，其被配置成通过对所述系统进行训练来确定图像内选定项的边界，所述系统包括：
存储器系统，所述存储器系统具有存储于其上的机器学习过程；
处理器系统，所述处理器系统被配置成：
访问所述机器学习过程；
访问成像受试者的至少一个图像；
基于所述机器学习过程评估所述至少一个图像；
确定所述至少一个图像内的物理元素的至少一个边缘；以及
显示装置，所述显示装置用于显示所述物理元素的所确定至少一个边缘的表示。
2.根据权利要求1所述的系统，其中所述物理元素的所述所确定至少一个边缘的所述表示包含图标，所述图标显示在所述显示装置上以表示所述物理元素的物理边界。
3.根据权利要求1或2中任一项所述的系统，其中所述至少一个图像是基于至少一个锥束图像的。
4.根据权利要求3所述的系统，其中所述至少一个图像是所述成像受试者的基于所述锥束图像的三维重构。
5.根据权利要求1到4中任一项所述的系统，其中所述机器学习过程是深度卷积神经网络。
6.根据权利要求5所述的系统，其中所述深度卷积神经网络包含用于实现所述至少一个图像的准确分割的加权损失函数。
7.根据权利要求5或6中任一项所述的系统，其中所述深度卷积神经网络进一步包含选定数量的滤波器。
8.根据权利要求5或7中任一项所述的系统，其中所述深度卷积神经网络进一步包含来自上一层的添加到后续层的输出的残差块。
9.根据权利要求6到8中任一项所述的系统，其中所述准确分割包含以下中的至少一个的至少一个图像的分割：(i)至少一个椎骨；(ii)至少一个椎骨的一部分；(iii)多个椎骨；(iv)多个椎骨的部分。
10.根据权利要求6到9中任一项所述的系统，其中所述准确分割包含所述至少一个图像中的所有椎骨的分割。
11.根据权利要求6到10中任一项所述的系统，其中所述准确分割包含界定所述至少一个图像中的所有椎骨的三维图像输出。
12.一种系统，其被配置成通过对所述系统进行训练来确定图像内选定项的边界，所述系统包括：
存储器系统，所述存储器系统具有存储于其上的卷积神经网络；
处理器系统，所述处理器系统被配置成：
访问所述卷积神经网络；
基于重构成三维图像的锥束图像数据访问图像数据；
基于所述卷积神经网络评估所述图像，所述卷积神经网络包含与激活函数有关的加权损失函数；
基于所述用所述卷积神经网络评估所述图像数据来确定在所述图像数据中表示的物理元素的边缘；以及
显示装置，所述显示装置用于显示所述物理元素的所确定边缘的表示；
其中所述所确定边缘包含所述物理元素的三维表示。
13.根据权利要求12所述的系统，其中所述物理元素是脊柱椎骨，并且所述图像数据包含患者的脊柱的图像数据。
14.根据权利要求12或13中任一项所述的系统，其中所述卷积神经网络包含至少两层。
15.根据权利要求14所述的系统，其中来自上一层的残差块被添加到后续层中的块。
16.根据权利要求12到15中任一项所述的系统，其中在所述卷积神经网络中选择多个滤波器。
17.根据权利要求12到16中任一项所述的系统，其中所述卷积神经网络能够操作以基于所述图像的概率图确定分割。
18.一种通过训练系统确定图像内选定项的边界的方法，所述方法包括：
输入包含有限数量的滤波器和加权损失函数中的至少一个的神经网络；
用选定训练数据训练所输入的神经网络；
输出经过训练的模型；
基于用处理器系统重构成三维图像的锥束图像数据来访问图像数据；
用所输入的神经网络和所述经过训练的模型分析所访问的图像数据；
基于所述分析确定在所述图像数据中表示的物理元素的边缘；以及
输出所述物理元素的所确定边缘的表示；
其中所述所确定边缘包含所述物理元素的三维表示。
19.根据权利要求18所述的方法，其进一步包括：
显示所述物理元素的所述所确定边缘的所述表示。
20.根据权利要求18或19中任一项所述的方法，其进一步包括：
覆盖经过重构的三维图像上的所述表示。
21.根据权利要求18到20中任一项所述的方法，其进一步包括：
确定所述物理元素的物理尺寸。
22.根据权利要求18到21中任一项所述的方法，其进一步包括：
创建所述神经网络；以及
保存所创建的神经网络。
23.根据权利要求18到22中任一项所述的系统，其中所述神经网络是卷积神经网络。
24.根据权利要求22或23中任一项所述的方法，其中创建所述神经网络包括选择多个滤波器.加权损失函数以及将来自上一层的残差块添加到后续层的输出块。
25.根据权利要求18到24中任一项所述的方法，其进一步包括：
保存经过训练的模型以用所述所输入的神经网络和所述经过训练的模型分析所访问的图像数据。
CN201980028441.3A 2018-04-27 2019-04-25 用于跟踪程序的系统和方法 Pending CN112041885A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/965,320 US10736699B2 (en) 2018-04-27 2018-04-27 System and method for a tracked procedure
US15/965,320 2018-04-27
PCT/US2019/029147 WO2019210071A1 (en) 2018-04-27 2019-04-25 System and method for a tracked procedure

Publications (1)

Publication Number Publication Date
CN112041885A true CN112041885A (zh) 2020-12-04

Family

ID=67002342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028441.3A Pending CN112041885A (zh) 2018-04-27 2019-04-25 用于跟踪程序的系统和方法

Country Status (4)

Country Link
US (1) US10736699B2 (zh)
EP (1) EP3785224A1 (zh)
CN (1) CN112041885A (zh)
WO (1) WO2019210071A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850763A (zh) * 2021-09-06 2021-12-28 中山大学附属第一医院 一种脊柱Cobb角测量方法、装置、设备及介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10555779B2 (en) 2018-04-27 2020-02-11 Medtronic Navigation, Inc. System and method for a tracked procedure
WO2019241637A1 (en) * 2018-06-14 2019-12-19 Thomas Jefferson University A novel, quantitative framework for the diagnostic, prognostic, and therapeutic evaluation of spinal cord diseases
DE102018215618B3 (de) * 2018-09-13 2019-12-05 Siemens Healthcare Gmbh Verfahren zur Detektion einer Nadel in Magnetresonanzaufnahmen
US10999606B2 (en) * 2019-01-08 2021-05-04 Intel Corporation Method and system of neural network loop filtering for video coding
WO2021093958A1 (en) * 2019-11-14 2021-05-20 Huawei Technologies Co., Ltd. Spatially adaptive image filtering
US11816831B2 (en) 2020-04-29 2023-11-14 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
US11890060B2 (en) 2020-04-29 2024-02-06 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
US11593972B2 (en) 2020-04-29 2023-02-28 Medtronic Navigation, Inc. System and method for viewing a subject
US11628037B2 (en) 2020-04-29 2023-04-18 Medtronic Navigation, Inc. System and method for viewing a subject
US11334967B2 (en) * 2020-07-30 2022-05-17 Novatek Microelectronics Corp. Method and image processing device for generating image filter
US11992274B2 (en) 2021-07-08 2024-05-28 Medtronic Navigation, Inc. Systems and methods for automatic oblique lateral interbody fusion (OLIF) corridor planning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130085344A1 (en) * 2011-10-04 2013-04-04 Medtronic Navigation, Inc. Method and Apparatus for Assisted Trajectory Planning
CN105208958A (zh) * 2013-03-15 2015-12-30 圣纳普医疗(巴巴多斯)公司 用于微创治疗的导航和模拟的系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226548B1 (en) 1997-09-24 2001-05-01 Surgical Navigation Technologies, Inc. Percutaneous registration apparatus and method for use in computer-assisted surgical navigation
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20040199072A1 (en) 2003-04-01 2004-10-07 Stacy Sprouse Integrated electromagnetic navigation and patient positioning device
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US10390886B2 (en) 2015-10-26 2019-08-27 Siemens Healthcare Gmbh Image-based pedicle screw positioning
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
EP3375399B1 (en) 2016-10-05 2022-05-25 NuVasive, Inc. Surgical navigation system
US10251709B2 (en) * 2017-03-05 2019-04-09 Samuel Cho Architecture, system, and method for developing and robotically performing a medical procedure activity
US20190043193A1 (en) * 2017-08-01 2019-02-07 Retina-Ai Llc Systems and Methods Using Weighted-Ensemble Supervised-Learning for Automatic Detection of Retinal Disease from Tomograms
EP3443888A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130085344A1 (en) * 2011-10-04 2013-04-04 Medtronic Navigation, Inc. Method and Apparatus for Assisted Trajectory Planning
CN105208958A (zh) * 2013-03-15 2015-12-30 圣纳普医疗(巴巴多斯)公司 用于微创治疗的导航和模拟的系统和方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
ALEXEY SHVETS 等: "Automatic Instrument Segmentation in Robot-Assisted Surgery Using Deep Learning", 《ARXIV》, 3 March 2018 (2018-03-03), pages 1 - 9 *
DANIIL PAKHOMOV 等: "Deep Residual Learning for Instrument Segmentation in Robotic Surgery", 《ARXIV》, 24 March 2017 (2017-03-24), pages 1 - 9 *
FAUSTO MILLETARI 等: "V-Net:Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation", 《ARXIV》, 15 June 2016 (2016-06-15), pages 1 - 11, XP055293637, DOI: 10.1109/3DV.2016.79 *
GEERT LITJENS 等: "A Survey on Deep Learning in Medical Image Analysis", 《ARXIV》, 4 June 2017 (2017-06-04), pages 1 - 38 *
LUIS C. GARC´IA-PERAZA-HERRERA 等: "ToolNet: Holistically-Nested Real-Time Segmentation of Robotic Surgical Tools", 《ARXIV》, 4 July 2017 (2017-07-04), pages 1 - 6 *
MD ZAHANGIR ALOM 等: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", 《ARXIV》, 20 February 2018 (2018-02-20), pages 1 - 12, XP055524884 *
RENS JANSSENS 等: "Fully Automatic Segmentation Of Lumbar Vertebrae From CT Images Using Cascaded 3D Fully Convolutional Networks", 《ARXIV》, 5 December 2017 (2017-12-05), pages 1 - 5 *
ROBERT KOREZ 等: "Model-Based Segmentation of Vertebral Bodies from MR Images with 3D CNNs", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》, 2 October 2016 (2016-10-02), pages 433 - 441, XP047392529, DOI: 10.1007/978-3-319-46723-8_50 *
李雪琦;马宝秋;张国鹏;朱霆;卢虹冰;: "基于图像的计算机辅助软组织导航技术", 《医疗卫生装备》, vol. 32, no. 02, 15 February 2011 (2011-02-15), pages 125 - 126 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850763A (zh) * 2021-09-06 2021-12-28 中山大学附属第一医院 一种脊柱Cobb角测量方法、装置、设备及介质
CN113850763B (zh) * 2021-09-06 2024-01-23 脊客医疗科技(广州)有限公司 一种基于脊柱医学影像的图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
US10736699B2 (en) 2020-08-11
US20190328460A1 (en) 2019-10-31
WO2019210071A1 (en) 2019-10-31
EP3785224A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
CN112020747B (zh) 用于跟踪程序的系统和方法
US10736699B2 (en) System and method for a tracked procedure
US7496217B2 (en) Method and image processing system for segmentation of section image data
EP4020375A1 (en) System and methods for augmenting x-ray images for training of deep neural networks
JP2005169120A (ja) 検査対象の結果画像の作成方法および画像処理システム
US11995838B2 (en) System and method for imaging
US20240321454A1 (en) System And Method For Imaging
US20240315782A1 (en) System And Method For Performing And Evaluating A Procedure
WO2016059603A1 (en) System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy and method of opeperation thereof
EP3192560A1 (en) Target coverage for deep brain stimulation
CN103919571A (zh) 超声图像分割
CN113994380A (zh) 基于深度学习的消融区域确定方法
EP4160546A1 (en) Methods relating to survey scanning in diagnostic medical imaging
Meinhold et al. A Virtual Reality Guidance System for a Precise MRI Injection Robot
US20240277417A1 (en) System And Method For Navigating And Illustrating A Procedure
KR20240021441A (ko) 임플란트 식립 가이드의 3차원 가이드 모델링 파일 생성 방법
CN115484889A (zh) 用于导航和示出程序的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination