CN117083029A - 使用深度学习在医疗过程期间跟踪医疗工具的方法 - Google Patents
使用深度学习在医疗过程期间跟踪医疗工具的方法 Download PDFInfo
- Publication number
- CN117083029A CN117083029A CN202280021564.6A CN202280021564A CN117083029A CN 117083029 A CN117083029 A CN 117083029A CN 202280021564 A CN202280021564 A CN 202280021564A CN 117083029 A CN117083029 A CN 117083029A
- Authority
- CN
- China
- Prior art keywords
- magnetic element
- magnetic
- orientation
- medical tool
- spatial position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 165
- 238000013135 deep learning Methods 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 71
- 230000008859 change Effects 0.000 claims abstract description 70
- 238000013519 translation Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000001727 in vivo Methods 0.000 claims description 2
- 230000014616 translation Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 208000006735 Periostitis Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000003460 periosteum Anatomy 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/05—Surgical care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0223—Magnetic field sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/04—Arrangements of multiple sensors of the same type
- A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
Abstract
提供了一种用于在医疗过程期间跟踪受试者体内的医疗工具的方法，该方法包括从检测由耦合到医疗工具的磁性元件产生的磁场的变化的磁传感器阵列接收一个或更多个信号，将接收到的一个或更多个信号应用于深度学习算法，以及使用深度学习算法来确定医疗工具相对于传感器阵列和/或在受试者体内的空间位置和/或取向。
Description
发明领域
在本发明的一些实施例中，本发明涉及使用深度学习在手术过程(surgicalprocedure)期间跟踪医疗工具的跟踪方法，并且更具体地但不排他地，涉及包括磁性元件和磁传感器阵列的磁跟踪方法。
背景
在微创手术的某些情况下，手术过程是通过将医疗设备穿过受试者皮肤上的小切口插入体内来执行的。因此，手术的目标区域可能难以接近，并且可能被阻挡在执行手术的医生的视野之外。用于在操作期间跟踪体内医疗工具的系统通常包括一个或更多个传感器，该传感器被配置成测量距医疗工具的距离。因此，由于从传感器接收的信号的分辨率以及计算中使用的数学公式的准确度的限制，用于在操作期间确定医疗工具的位置的技术具有有限的准确度。
因此，在本领域中需要改进的跟踪系统和方法，该改进的跟踪系统和方法能够允许在手术过程期间准确、可靠地检测和跟踪医疗工具。
相关技术的前述示例和与其相关的限制旨在是说明性的而非排他性的。通过阅读说明书和研究附图，相关技术的其他限制对于本领域技术人员来说将变得明显。
概述
描述和示出了关于系统、工具和方法的以下实施例及其各方面，这些实施例和方面旨在是示例性和说明性的，而不是限制范围。
根据一些实施例，提供了一种用于在医疗过程(medical procedure)期间跟踪医疗工具的方法，该方法包括提供跟踪系统，该跟踪系统包括具有磁性元件的医疗工具和磁传感器阵列，其中该阵列被配置为检测由磁性元件在体内的移动产生的磁场的变化，并且利用处理器基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定医疗工具在体内的空间位置和/或取向。
根据一些实施例，提供了一种用于在医疗过程期间跟踪医疗工具的系统，该系统包括：包括磁性元件的医疗工具；磁传感器阵列，该阵列被配置为检测由磁性元件在体内的移动产生的磁场的变化；以及处理器，该处理器被配置为接收检测到的磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定医疗工具的空间位置和/或取向。
有利地，磁传感器阵列可以以无线方式与磁性元件和/或医疗工具相关联，从而使得用户(例如，医疗工具的医生/操作者)能够在没有物理限制的情况下自由地操作，如果磁传感器阵列被机械地耦合到医疗工具，则将会存在物理限制。
有利地，磁传感器阵列可以被配置为检测由磁性元件的移动产生的磁场的变化，从而使得能够在不需要在操作室中施加磁场的情况下检测医疗工具的位置，从而允许用户在医疗过程期间检测医疗工具的位置，而不会对操作室中的其他设备造成干扰。
有利地，该方法可以包括在医疗过程期间使用一个或更多个深度学习算法检测受试者体内的医疗工具的空间位置和/或取向，并且因此不需要将从传感器阵列接收的一个或更多个信号应用于数学公式，从而相对于使用数学公式的跟踪方法而言增加了所确定的空间位置和/或取向的分辨率。
根据一些实施例，提供了一种用于在医疗过程期间跟踪医疗工具的系统，该系统包括：跟踪系统，该跟踪系统包括磁性元件和磁传感器阵列，该磁性元件被配置为放置在远程控件上，其中该阵列被配置为检测由磁性元件的移动产生的磁场的变化；以及处理器，该处理器被配置为接收检测到的磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定医疗工具的空间位置和/或取向。
根据一些实施例，提供了一种用于操作远程医疗工具的系统，该系统包括：磁性元件；磁传感器阵列，其中该阵列被配置为检测由磁性元件的移动产生的磁场的变化；以及处理器，该处理器被配置为：检测磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定磁性元件的空间位置和/或取向，并且至少部分地基于所确定的磁性元件的空间位置和/或取向，将磁性元件的移动转换成用于远程医疗工具的命令。
根据一些实施例，提供了一种用于在医疗过程期间跟踪医疗工具的系统，该系统包括：包括磁性元件的医疗工具；磁传感器阵列，该阵列被配置为检测由磁性元件在体内的移动产生的磁场的变化；以及处理器，该处理器被配置为接收检测到的磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定医疗工具的空间位置和/或取向。根据一些实施例，提供了一种用于在医疗过程期间跟踪医疗工具的方法，该方法包括：提供包括医疗工具和磁传感器阵列的跟踪系统，该医疗工具包括磁性元件，其中该阵列被配置为检测由磁性元件在体内的移动产生的磁场的变化，并且利用处理器基于将磁场的变化与磁性元件的空间位置和/或取向相关联的深度学习算法来确定医疗工具在体内的空间位置和/或取向。
根据一些实施例，提供了一种用于操作远程医疗工具的方法，该方法包括：提供磁性元件和磁传感器阵列，其中该阵列被配置为检测由磁性元件的移动产生的磁场的变化，利用处理器检测磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定磁性元件的空间位置和/或取向，并且至少部分地基于所确定的磁性元件的空间位置和/或取向，将磁性元件的移动转换成用于远程医疗工具的命令。
根据一些实施例，磁性元件是不对称的。
根据一些实施例，医疗工具可在3个自由度至6个自由度上操作。
根据一些实施例，磁性元件沿着医疗工具的中间部分定位。
根据一些实施例，磁性元件被定位在医疗工具的远端部分中。
根据一些实施例，磁性元件被定位在医疗工具的近端部分中。
根据一些实施例，该方法包括多个磁性元件，每个磁性元件独立地定位在医疗工具的远端部分、近端部分或中间部分中。
根据一些实施例，确定医疗工具的空间位置和/或取向包括补偿医疗工具的与磁性元件相对于医疗工具的位置相关的尺寸。
根据一些实施例，传感器阵列被配置在笛卡尔坐标系、径向坐标系或圆柱坐标系中。
根据一些实施例，传感器阵列被配置成以无线方式与磁性元件和/或医疗工具相关联。
根据一些实施例，确定医疗工具的空间位置和/或取向包括补偿与组织类型、过程类型、医疗工具类型和受试者的特征中的一项或更多项相关联的磁场的偏差(variations)。
根据一些实施例，受试者的特征包括受试者的年龄、性别、体重和病史中的一项或更多项。
根据一些实施例，该方法包括将确定的医疗工具在体内的空间位置和/或取向配准到受试者的扫描。
根据一些实施例，所确定的空间位置和/或取向与实际位置和/或取向之间的精度小于1.0毫米。
根据一些实施例，处理器被配置成在训练集上训练深度学习算法，该训练集包括与由于磁性元件的一个或更多个坐标的变化而引起的磁场的变化相关联的数据库。
根据一些实施例，数据库包括通过接收一个或更多个信号获得的数据，该一个或更多个信号与由磁性元件的空间位置和/或取向在多对坐标之间的变化产生的磁场的变化相关联。
根据一些实施例，数据库包括使用磁传感器阵列获得的数据集，并且其中，对于磁性元件的空间位置或取向的每个变化，每个数据集包括来自磁传感器阵列中的每个单独的传感器的三个信号。
根据一些实施例，三个信号包括由磁性元件产生的、在x轴、y轴和z轴上产生的磁场的变化。
根据一些实施例，磁性元件的空间位置和/或取向的变化包括磁性元件在一个或更多个轴上以指定的距离的平移。
根据一些实施例，指定的距离包括1毫米至10毫米。
根据一些实施例，磁性元件的空间位置和/或取向的变化包括磁性元件以指定的旋转度(degree of rotation)的旋转。
根据一些实施例，指定的旋转度包括1度至5度。
根据一些实施例，磁性元件的旋转包括围绕磁性元件的纵向轴、磁性元件的横向轴和磁性元件的垂直轴中的至少一个的旋转。
根据一些实施例，数据库包括100个至800,000,000个数据集。
根据一些实施例，每个数据集是在0.25秒至2秒内获得的。
根据一些实施例，磁性元件被定位在医疗工具上，使得它被配置成插入受试者的体内。
根据一些实施例，磁性元件被定位在医疗工具上，使得它被配置成在医疗过程期间保持在受试者的外部。
根据一些实施例，通过以下方式生成数据库：提供包括磁性元件和磁传感器阵列的跟踪系统，将磁性元件定位在样本坐标集处，接收与磁性元件的样本坐标集中的每个坐标相关联的一个或更多个信号，以及至少部分地基于接收到的与样本坐标集相关联的信号来计算磁性元件的预测坐标集的多个预测信号，其中预测坐标集中的坐标不同于样本坐标集中的坐标。
根据一些实施例，样本坐标集包括磁性元件相对于阵列的多个不同空间位置和/或多个取向。
根据一些实施例，预测坐标集包括磁性元件相对于阵列的多个空间位置和/或多个取向。
根据一些实施例，样本坐标集包括具有相同的x轴值和相同的y轴值的多个坐标，其中样本坐标集中的两个或更多个不同坐标的z轴值是不同的。
根据一些实施例，样本坐标集包括具有相同的x轴值、相同的y轴值、相同的z轴值和相对于阵列的不同取向(或不同旋转度)的多个坐标。
根据一些实施例，样本坐标集包括大约1个至6个坐标。
根据一些实施例，深度学习算法还被配置为确定多个医疗工具在体内的空间位置和/或取向。
根据一些实施例，该算法还被配置成使用保存在数据库内的信号的叠加来确定多个医疗工具在体内的空间位置和/或取向。
根据一些实施例，远程医疗工具包括电机，该电机被配置为从处理器接收命令并操作远程医疗工具。
根据一些实施例，该方法还包括生成医疗操作的模拟，其中远程医疗工具是医疗操作的模拟中的模拟医疗工具，并且其中，将磁性元件的移动转换成命令包括在所模拟的医疗操作中显示模拟医疗工具的移动。
根据一些实施例，将磁性元件的移动转换成命令还包括调节磁性元件的移动与命令之间的比例，使得远程医疗工具的移动可以成比例地小于或大于磁性元件的移动。
除了上述示例性方面和实施例之外，通过参考附图和通过研究以下详细描述，另外的方面和实施例将变得明显。
附图简述
参考附图描述了本公开的方法和系统的一些示例性实施方式。在附图中，相同的附图标记表示相同或基本相似的元件。
图1示出了根据本发明的一些实施例的示例性跟踪系统的示意图；和
图2示出了根据本发明的一些实施例的用于在医疗过程期间跟踪受试者体内的医疗工具的方法中的功能步骤的流程图；
图3示出了根据本发明的一些实施例的用于生成数据库的方法中的功能步骤的流程图；和
图4示出了根据本发明的一些实施例的用于操作远程医疗工具的方法中的功能步骤的流程图。
详细描述
根据本发明的一些实施例的方面，提供了一种用于在医疗过程期间跟踪受试者体内的医疗工具的系统和方法。
根据本发明的一些实施例，提供了一种跟踪系统，该跟踪系统被配置为基于将磁场的变化与耦合到医疗工具的磁性元件的空间位置和/或取向相关联的深度学习算法来识别受试者体内的医疗工具的空间位置和/或取向。根据一些实施例，跟踪系统可以包括磁传感器阵列，该磁传感器被配置为在操作期间定位在受试者附近，并且检测磁性元件的磁场的变化。根据一些实施例，跟踪系统可以包括处理器，该处理器与磁传感器阵列进行通信，并且被配置为将从磁传感器阵列接收的一个或更多个信号应用于一个或更多个深度学习算法。根据一些实施例，深度学习算法可以被配置为至少部分地基于接收到的一个或更多个信号来识别医疗工具的空间位置和/或取向。
根据本发明的一些实施例，提供了一种用于在医疗过程期间跟踪受试者体内的医疗工具的方法。根据一些实施例，该方法可以包括从磁传感器阵列接收一个或更多个信号。根据一些实施例，该方法可以包括将接收到的一个或更多个信号应用于一个或更多个深度学习算法，该一个或更多个深度学习算法被配置为确定医疗工具相对于传感器阵列和/或在受试者体内的空间位置和/或取向。根据一些实施例，该方法可以包括将所确定的医疗工具在体内的空间位置和/或取向实时配准到受试者的扫描。
根据本发明的一些实施例，提供了一种在医疗过程期间使用一个或更多个深度学习算法来跟踪受试者体内的医疗工具的方法。根据一些实施例，一个或更多个深度学习算法可以被配置为从磁传感器阵列中的一个或更多个单独的传感器接收三个信号，其中三个信号中的每一个可以与由磁性元件产生的磁场的变化的、相对于磁传感器阵列的x轴、y轴和z轴中的一个或更多个相关联。根据一些实施例，一个或更多个深度学习算法可以被配置成至少部分地基于接收到的信号来确定医疗工具的空间位置和/或取向。根据一些实施例，该方法可以包括不基于将从传感器阵列接收的一个或更多个信号应用于数学公式来确定医疗工具的空间位置和/或取向。
根据本发明的一些实施例，提供了一种深度学习算法，该深度学习算法被配置为确定医疗工具的空间位置和/或取向，其中深度学习算法可以在包括数据库的训练集上进行训练，该数据库具有多个数据集，这些数据集与由磁性元件相对于磁传感器阵列的空间位置和/或取向的变化导致的磁场变化相关联。根据一些实施例，每个数据集可以包括磁性元件的坐标变化，例如，磁性元件沿着x轴、y轴和/或z轴的平移和/或磁性元件围绕其纵向轴、横向轴和/或垂直轴的旋转。根据一些实施例，每个数据集可以包括与由磁性元件的坐标变化产生的磁场变化相关联的数据。
参考图1，其示出了根据本发明的一些实施例的示例性跟踪系统的示意图。根据一些实施例，跟踪系统100可以包括医疗工具102和磁传感器阵列104。根据一些实施例，跟踪系统100和/或医疗工具102可以包括一个或更多个磁性元件106。根据一些实施例，磁传感器阵列104可以被配置成检测由磁性元件106的移动产生的磁场变化。根据一些实施例，跟踪系统100可以包括与磁传感器阵列104通信的处理器108。根据一些实施例，处理器108可以被配置成输出与医疗工具102的位置和/或取向相关联的数据。根据一些实施例，磁传感器阵列104可以无线耦合到处理器108。根据一些实施例，医疗工具102可以在至少6个自由度上可操纵。根据一些实施例，医疗工具102可以经由处理器(例如处理器108)自动被操纵，或者可以由用户进行操纵。根据一些实施例，处理器108可以与存储器模块118通信。根据一些实施例，存储器模块118可以包括指令，该指令用于执行在医疗过程期间跟踪受试者体内的医疗工具102的方法。
根据一些实施例，磁传感器阵列104可以被配置成以无线方式与磁性元件106和/或医疗工具102相关联，使得经由磁传感器阵列104检测磁性元件106不需要它们之间的机械耦合。有利地，具有以无线方式与磁性元件106和/或医疗工具102相关联的磁传感器阵列104使得医生/医疗工具的操作者能够在没有物理限制的情况下自由操作，如果磁传感器阵列104例如经由电缆耦合到医疗工具102，则将会存在物理限制。
根据一些实施例，医疗工具102可以被配置成支撑磁性元件106。根据一些实施例，医疗工具102可以耦合到磁性元件106，使得磁性元件106的位置可以相对于医疗工具102固定。根据一些实施例，医疗工具102可以耦合到磁性元件106，使得磁性元件106的取向可以相对于医疗工具102的取向固定。根据一些实施例，磁性元件106可以沿着医疗工具102的中间部分110定位。根据一些实施例，磁性元件106可以定位在医疗工具102的远端112和医疗工具102的近端120之间。根据一些实施例，磁性元件106可以包括不对称的形状。根据一些实施例，磁性元件106可以沿着至少一个或更多个对称平面不对称。根据一些实施例，磁性元件106可以包括多个分离的磁性元件。
根据一些实施例，医疗工具102可以包括被配置成插入受试者体内的一个或更多个工具。根据一些实施例，医疗工具102可以包括被配置用于电烙器的工具，该电烙器被配置为凝结血管和汽化软组织。根据一些实施例，医疗工具102可以包括钻头，例如机械钻头或电钻头，例如被配置成钻透骨组织的钻头。根据一些实施例，医疗工具102可以包括刨削器(shaver)，例如机械刨削器或电动刨削器。根据一些实施例，刨削器可以被配置成去除软组织，例如椎间盘材料和韧带。根据一些实施例，医疗工具102可以包括一个或更多个骨膜剥离器，例如，骨膜剥离器被配置用于软组织的钝性分离，并且有助于分离粘连和疤痕。根据一些实施例，医疗工具102可以包括一根或更多根光纤，该光纤被配置成允许直接可视化硬膜外内容物(epidural content)(包括疤痕、神经和减压程度)。根据一些实施例，医疗工具102可以是可互换的。根据一些实施例，医疗工具102可以包括可控的机器人。根据一些实施例，医疗工具102可以使用机器人和/或机械臂进行操纵。根据一些实施例，医疗工具102可以包括加速度计。根据一些实施例，加速度计可以与处理器108通信，并且可以被配置成识别医疗工具102的空间位置和/或取向。
根据一些实施例，磁传感器阵列104可以包括框架114，该框架114被配置成在医疗过程期间定位在受试者附近或邻接(abutting to)受试者。根据一些实施例，磁传感器阵列104可以包括多个传感器116，这些传感器116被配置成检测磁场并定位在框架114上。根据一些实施例，多个传感器116的位置相对于框架114是固定的。
根据一些实施例，在该过程期间，医疗工具102可以被插入受试者的体内，使得医生/操作者看不到磁性元件106。根据一些实施例，磁传感器阵列104可以包括多个传感器116，这些传感器116被配置成例如在医疗操作期间检测由磁性元件106在受试者体内的移动产生的磁场变化，在该医疗操作期间医生/操作者无法从视觉上跟踪医疗工具102、医疗工具102的远端和/或磁性元件106。
有利地，被配置成检测由磁性元件的移动产生的磁场变化的磁传感器阵列使得能够在不需要在操作室中施加磁场的情况下检测医疗工具的位置，从而允许医生/操作者在过程期间检测医疗工具的位置，而不会对操作室中的其他设备造成干扰。
根据一些实施例，磁传感器阵列104和/或多个传感器116可以包括256个传感器。根据一些实施例，磁传感器阵列104可以沿着框架114被定位成矩阵。例如，在一些实施例中，该矩阵可以包括8行。例如，在一些实施例中，一行可以包括32个磁传感器。
根据一些实施例，多个传感器116可以包括被配置成检测磁性元件106的强度、方向和/或通量的变化和/或扰动的磁传感器。根据一些实施例，多个传感器116可以包括被配置成检测由磁性元件106产生的磁矢量的幅度的磁传感器。根据一些实施例，多个传感器116可以包括被配置成检测由磁性元件106产生的磁矢量的幅度的变化的磁传感器。根据一些实施例，多个传感器116可以包括低场磁传感器。根据一些实施例，多个传感器116中的一个或更多个可以被配置为检测强度为-1200μT(Typ)至1200μT(Typ)的磁场。根据一些实施例，多个传感器116中的一个或更多个可以具有至少0.042μT/LSB(Typ)的磁灵敏度。根据一些实施例，多个传感器116中的一个或更多个的磁灵敏度的范围可以是在0.05μT/LSB(Typ)和0.03μT/LSB(Typ)之间。根据一些实施例，磁传感器阵列104可以被配置在笛卡尔坐标系和圆柱坐标系之一中。根据一些实施例，框架114可以包括平板、弯曲板、圆柱形或管状形状等。根据一些实施例，多个传感器116可以沿着框架114定位，以形成笛卡尔坐标系和圆柱坐标系之一。
根据一些实施例，处理器108可以与多个传感器116通信。根据一些实施例，处理器108可以被配置成从多个传感器116接收一个或更多个信号。根据一些实施例，该一个或更多个信号可以与由于磁性元件106的移动而引起的磁场的变化相关联。根据一些实施例，该一个或更多个信号可以包括磁场的强度、方向和/或通量的变化。根据一些实施例，该一个或更多个信号可以包括由多个传感器116中的一个或更多个检测到的磁矢量的幅度。
根据一些实施例，处理器108可以被配置成从多个传感器116中的单独的传感器接收单独的信号。根据一些实施例，处理器108可以被配置为将接收到的一个或更多个信号应用于存储在存储器模块118中的深度学习算法，然后该深度学习算法至少部分地基于接收到的一个或更多个信号来输出医疗工具102和/或磁性元件106的位置。
根据一些实施例，存储器模块118可以经由电缆或以无线方式耦合到处理器108。根据一些实施例，存储器模块118可以包括数据库，该数据库包括与由于磁性元件106的移动而引起的磁场的变化相关联的数据。根据一些实施例，并且如本文别处更详细描述的，数据库可以包括与由于相对于磁传感器阵列104从第一位置移动到第二位置而导致的、磁性元件106的强度、方向和/或通量的变化中的任何一个或更多个相关联的数据。根据一些实施例，并且如本文别处更详细描述的，数据库可以包括与由于相对于磁传感器阵列104从第一位置移动到第二位置而导致的、由磁性元件106产生的磁矢量的幅度的变化相关联的数据。根据一些实施例，存储器模块118可以包括用于从多个传感器116和/或磁传感器阵列104接收一个或更多个信号的指令。根据一些实施例，存储器模块118可以包括用于将接收到的信号应用于存储在存储器模块118上的深度学习算法的指令。
根据一些实施例，处理器108可以被配置成在训练集上训练深度学习算法。根据一些实施例，训练集可以包括数据库。根据一些实施例，数据库可以包括与由于磁性元件的移动而引起的磁场的变化相关联的数据。根据一些实施例，数据库可以包括通过接收与磁场的变化相关联的一个或更多个信号而获得的数据，该磁场的变化是由于磁性元件的多个位置之间的磁性元件的空间位置和/或取向的变化而引起的。根据一些实施例，数据库可以包括使用磁传感器阵列获得的数据集。根据一些实施例，每个数据集可以包括与沿着x轴、y轴和z轴的平移的变化相关联的坐标。
根据一些实施例，对于磁性元件的多个位置之间的磁性元件的空间位置或取向的每个变化，每个数据集包括磁传感器阵列的每个单独的传感器的三个信号。根据一些实施例，这三个信号分别包括在由磁性元件产生的磁场的变化的、在相对于磁传感器阵列的x轴、y轴和z轴中产生的磁场的变化。根据一些实施例，x轴、y轴和z轴中的至少两个可以被定义为垂直平面或非垂直平面的法线。根据一些实施例，x轴、y轴和/或z轴可以相对于框架114和多个传感器116中的至少一个传感器中的任何一个或更多个来定义。
根据一些实施例，磁性元件的多个位置之间的磁性元件的空间位置或取向的变化可以包括当磁性元件从第一位置移动到第二位置时磁性元件的空间位置或取向的变化。例如，数据库可以包括与当磁性元件从第一位置移动到第二位置和/或从第二位置移动到第三位置等时产生的磁场的变化相关联的数据。根据一些实施例，磁性元件的空间位置和/或取向在磁性元件的两个位置之间的变化包括磁性元件在一个或更多个轴(例如，x轴、y轴和z轴中的一个或更多个)上以指定的距离的平移。根据一些实施例，指定的距离包括1毫米至10毫米。根据一些实施例，对于与磁性元件的平移相关联的不同数据集，指定的距离可以是恒定的。根据一些实施例，指定的距离可以在与磁性元件的平移相关联的不同数据集之间变化。根据一些实施例，每个数据集可以包括与沿着x轴、y轴和z轴的平移的变化和/或围绕磁性元件的纵向轴、磁性元件的横向轴和磁性元件的垂直轴的旋转度的变化相关联的坐标。
根据一些实施例，所确定的空间位置和/或取向的准确度与指定的距离之间的比率在1:5到1:15之间。根据一些实施例，所确定的空间位置和/或取向的准确度与指定的距离之间的比率为1:10。例如，对于具有指定的距离为10mm的平移的数据集的数据库，所确定的空间位置和/或取向的准确度为1mm。例如，对于具有指定的距离为6mm的平移的数据集的数据库，所确定的空间位置和/或取向的准确度为0.6mm。
根据一些实施例，磁性元件的两个位置之间的磁性元件的空间位置和/或取向的变化包括磁性元件以指定的旋转度的旋转。根据一些实施例，指定的旋转度可以包括1度至5度。根据一些实施例，磁性元件的旋转可以包括围绕磁性元件的纵向轴、磁性元件的横向轴和磁性元件的垂直轴中的至少一个的旋转。根据一些实施例，每个数据集可以包括与围绕磁性元件的纵向轴、磁性元件的横向轴和磁性元件的垂直轴的旋转度的变化相关联的坐标。
根据一些实施例，对于与磁性元件的旋转相关联的不同数据集，指定的旋转度可以是恒定的。根据一些实施例，对于与磁性元件在同一轴上的旋转相关联的不同数据集，指定的旋转度可以是恒定的。
例如，在一些实施例中，对于与磁性元件的旋转相关联的位置的每个变化，围绕x轴的指定的旋转度可以是相同的。根据一些实施例，指定的旋转度可以在与磁性元件的旋转相关联的不同数据集之间变化。根据一些实施例，指定的旋转度可以在与磁性元件围绕不同轴的旋转相关联的不同数据集之间变化。例如，在一些实施例中，对于围绕x轴的旋转，指定的旋转度可以是恒定的并且不同于围绕z轴的指定的旋转度。
根据一些实施例，可以在0.25秒至2秒内获得数据库的一个或更多个数据集。根据一些实施例，一个或更多个数据集的磁性元件的两个位置之间的移动速度可以是每秒10mm-100mm。根据一些实施例，数据库可以包括100个至800,000,000个的数据集。有利地，数据库可以包括足够数量的数据集，使得深度学习算法可以被训练成通过识别由磁性元件产生的磁场的变化来识别磁性元件的空间位置和/或取向。有利地，数据库可以包括足够数量的数据集，使得深度学习算法可以被训练成识别数据库内的数据没有表示的空间位置和/或取向。例如，深度学习算法可以被配置成识别与数据库的两个数据集的空间位置和/或取向之间的中点相关联的磁性元件的空间位置和/或取向。
根据一些实施例，可以通过至少部分地基于一个或更多个获得的数据集外推一个或更多个数据集来自动生成数据库。根据一些实施例，可以通过提供包括磁性元件和磁传感器阵列的跟踪系统并将磁性元件定位在样本集(或者换句话说，样本坐标集)处来生成数据库。根据一些实施例，样本(坐标)集可以包括一个或更多个获得的数据集。根据一些实施例，可以通过接收与磁性元件的样本集的每个坐标相关联的一个或更多个信号，或者换句话说，通过接收与一个或更多个数据集(该数据集可以如本文别处更详细描述的那样来获得)相关联的信号，来生成数据库。根据一些实施例，可以通过计算磁性元件的预测坐标集的多个预测信号来生成数据库。根据一些实施例，可以通过至少部分地基于接收到的与样本坐标集相关联的信号计算多个预测信号来生成数据库。根据一些实施例，预测坐标集中的坐标可以不同于样本坐标集中的坐标。根据一些实施例，样本集可以包括磁性元件相对于阵列的多个不同空间位置和/或多个取向。根据一些实施例，预测坐标集可以包括磁性元件相对于阵列的多个空间位置和/或多个取向。
例如，根据一些实施例，预测坐标集可以包括样本集(或获得的数据集)不包括的一个或更多个坐标(或空间位置)。例如，根据一些实施例，预测坐标集可以包括样本集不包括的磁性元件的一个或更多个取向。
根据一些实施例，样本集可以包括具有相同的x轴值和相同的y轴值的多个坐标，其中样本集中的两个或更多个不同坐标的z轴值是不同的。根据一些实施例，样本集可以包括具有相同的x轴值、相同的y轴值、相同的z轴值和相对于阵列的不同取向(或不同旋转度)的多个坐标。根据一些实施例，样本集可以包括大约1个至6个坐标。
有利地，外推数据库的一个或更多个数据集使得能够针对先前未获得的空间位置和/或取向确定医疗工具(或定位在医疗工具上的磁性元件，相对于(磁)传感器阵列)的空间位置和/或取向。因此，计算数据库的一个或更多个数据集使得能够生成包括医疗工具的多个空间位置和/或取向的数据库，这些空间位置和/或取向不是预先预测的(或者换句话说，用户在数据库生成期间不需要预见到)。
根据一些实施例，深度学习算法还可以被配置为确定多个医疗工具在体内的空间位置和/或取向。根据一些实施例，该算法还可以被配置为使用保存在数据库内的信号的叠加(superposition)来确定多个医疗工具在体内的空间位置和/或取向。
有利地，生成的数据库可以使用一个磁性元件(或一个医疗工具)来生成，可以用于确定两个或更多个医疗工具的空间位置和/或取向。
根据一些实施例，系统可以被配置用于操作远程医疗工具。根据一些实施例，系统可以包括磁性元件，例如磁性元件106。根据一些实施例，系统可以包括磁传感器阵列，例如磁传感器阵列104。根据一些实施例，磁传感器阵列可以被配置成检测由磁性元件的移动产生的磁场的变化。根据一些实施例，系统可以包括远程医疗工具，该远程医疗工具被配置为在患者体内进行操作期间使用。根据一些实施例，远程医疗工具可以被定位成使得使用磁传感器阵列可能检测不到它的移动。
根据一些实施例，系统可以包括处理器，例如处理器108。根据一些实施例，处理器可以与远程医疗工具进行操作通信。根据一些实施例，处理器可以控制远程医疗工具的坐标、取向和/或空间位置。
根据一些实施例，处理器可以被配置成检测磁场的变化和/或确定磁性元件的空间位置和/或取向。根据一些实施例，基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来检测磁场的变化和/或确定磁性元件的空间位置和/或取向。根据一些实施例，处理器可以被配置成至少部分地基于所确定的磁性元件的空间位置和/或取向，将磁性元件的移动转换成用于远程医疗工具的命令。
参考图2，其示出了根据本发明的一些实施例的用于在医疗过程期间跟踪受试者体内的医疗工具的方法中的功能步骤的流程图。
根据一些实施例，该方法可以包括在步骤202处提供跟踪系统(例如跟踪系统100)，该跟踪系统包括医疗工具(例如医疗工具102)、磁性元件(例如磁性元件106)和磁传感器阵列(例如磁传感器阵列104)。根据一些实施例，该方法可以包括在操作期间将磁传感器阵列104定位在受试者旁边和/或在受试者上。根据一些实施例，该方法可以包括将医疗工具102(例如朝向手术部位)插入受试者体内。
根据一些实施例，该方法可以包括在步骤204处从磁传感器阵列104接收一个或更多个信号。根据一些实施例，该方法可以包括从多个传感器116中的一个或更多个单独的传感器接收一个或更多个信号。根据一些实施例，该方法可以包括从多个传感器116中的每个单独的传感器接收一个或更多个信号。根据一些实施例，该方法可以包括从多个传感器116中的一个或更多个单独的传感器接收三个信号。根据一些实施例，该方法可以包括从多个传感器116中的每个单独的传感器接收三个信号。根据一些实施例，至少一个信号与相对于磁传感器阵列104的x轴上的磁场的变化相关联。根据一些实施例，至少一个信号与相对于磁传感器阵列104的y轴上的磁场的变化相关联。根据一些实施例，至少一个信号与相对于磁传感器阵列104的z轴上的磁场的变化相关联。
根据一些实施例，该方法可以包括在步骤206处将接收到的一个或更多个信号应用于一个或更多个深度学习算法。根据一些实施例，该一个或更多个深度学习算法可以包括卷积神经网络算法、多层感知器算法、XGBoost算法、循环(recurrent)神经网络算法等中的一个或更多个。根据一些实施例，该一个或更多个深度学习算法可以与数据库通信。根据一些实施例，该一个或更多个深度学习算法可以被配置成确定磁性元件106相对于磁传感器阵列104的空间位置和/或取向。根据一些实施例，该一个或更多个深度学习算法和/或处理器108可以被配置成使用所确定的磁性元件106的空间位置和/或取向来确定医疗工具102相对于磁传感器阵列104的空间位置和/或取向。
根据一些实施例，该方法可以包括在步骤208处确定医疗工具102在受试者体内的空间位置和/或取向。根据一些实施例，该方法可以包括至少部分地基于将磁场的变化与磁性元件106的空间位置和/或取向相关联的一个或更多个深度学习算法来确定医疗工具102的空间位置和/或取向。根据一些实施例，该方法可以包括至少部分地基于存储在数据库内的数据来确定医疗工具102的空间位置和/或取向。
有利地，通过对从磁传感器阵列104接收的一个或更多个信号应用深度学习算法来确定医疗工具102的空间位置和/或取向，使得能够在不应用数学计算的情况下跟踪医疗工具102。根据一些实施例，用于在医疗过程期间跟踪受试者体内的医疗工具的方法不需要将从磁传感器阵列104接收的一个或更多个信号应用于数学公式，或者换句话说，该方法不估计医疗工具102的空间位置和/或取向。用于获得医疗工具的空间位置和/或取向的数学公式定量地估计空间位置和/或取向，并且受限于数学公式本身的分辨率，这通常包括对一个或更多个值进行舍入。
有利地，该方法可以包括在医疗过程期间跟踪受试者体内的医疗工具，而无需将从磁传感器阵列104接收的数据应用于数学公式。例如，根据一些实施例，从多个传感器接收的数据被应用于一个或更多个深度学习算法，使得深度学习算法至少部分地基于接收到的磁数据输出医疗工具102的空间位置和/或取向。因此，使用一个或更多个深度学习算法确定的空间位置和/或取向的分辨率大于使用数学公式的跟踪方法的分辨率，使用数学公式的跟踪方法的分辨率受限于数学公式的精度和/或分辨率。
根据一些实施例，深度学习算法的所确定的空间位置和/或取向与实际位置和/或取向之间的精度(或者换句话说，所确定的空间位置和/或取向的准确度)可以小于0.5mm。根据一些实施例，实际位置和/或取向可以是磁性元件106和/或医疗工具102相对于磁传感器阵列104的位置和/或取向。
有利地，通过对从磁传感器阵列104接收的一个或更多个信号应用深度学习算法来确定医疗工具102的空间位置和/或取向，使得能够跟踪医疗工具102，而无需生成手术部位和医疗工具102相对于手术部位的模型(例如2D模型或3D模型)。根据一些实施例，用于在医疗过程期间跟踪受试者体内的医疗工具的方法不需要生成医疗工具102和/或磁性元件106相对于磁传感器阵列104的模型来确定医疗工具102的空间位置和/或取向。
根据一些实施例，确定医疗工具102的空间位置和/或取向包括补偿医疗工具102的与磁性元件106相对于医疗工具102的位置有关的尺寸。根据一些实施例，该方法可以包括接收与该过程中使用的医疗工具的类型相关联的输入。根据一些实施例，该方法可以包括至少部分地基于输入的医疗工具类型来补偿医疗工具102的与磁性元件106的位置有关的尺寸。根据一些实施例，方法可以包括接收与磁性元件106相对于医疗工具102的位置(location)、定位(position)和/或取向相关联的输入。根据一些实施例，该方法可以包括至少部分地基于所输入的磁性元件106相对于医疗工具102的位置、定位和/或取向来补偿医疗工具102的与磁性元件106的位置有关的尺寸。
根据一些实施例，该方法可以包括输出医疗工具的空间位置的坐标。根据一些实施例，该方法可以包括输出医疗工具的取向。根据一些实施例，输出可以被显示在显示器上。根据一些实施例，该方法可以包括例如在受试者的扫描上显示医疗工具相对于手术部位的空间位置和/或取向。根据一些实施例，该方法可以包括将所确定的医疗工具在体内的空间位置和/或取向配准到受试者的扫描。根据一些实施例，该方法可以包括将所确定的医疗工具在体内的空间位置和/或取向实时配准到受试者的扫描。
根据一些实施例，该方法可以包括补偿磁场的变化中与组织类型、过程类型、医疗工具类型和受试者的特征中的一项或更多项相关联的偏差。根据一些实施例，受试者的特征包括受试者的年龄、性别、体重和病史中的一项或更多项。
参考图3，其示出了根据本发明的一些实施例的用于生成数据库的方法中的功能步骤的流程图。根据一些实施例，方法200可以包括方法300的一个或更多个步骤。根据一些实施例，方法300可以包括方法200的一个或更多个步骤。
根据一些实施例，方法300可以在步骤302处包括提供跟踪系统，该跟踪系统可以包括磁性元件(例如磁性元件104)和磁传感器阵列(例如磁传感器阵列106)。根据一些实施例，方法300可以在步骤304处包括将磁性元件定位在样本坐标集处。根据一些实施例，方法300可以在步骤306处包括接收与磁性元件的样本坐标集中的每个坐标相关联的一个或更多个信号。根据一些实施例，方法300可以在步骤308处包括至少部分地基于接收到的与样本坐标集相关联的信号来计算磁性元件的预测坐标集的多个预测信号。
根据一些实施例，并且如本文别处更详细描述的，预测坐标集中的坐标不同于样本坐标集中的坐标。根据一些实施例，术语“样本集”和“样本坐标集”可以互换使用。根据一些实施例，样本坐标集可以包括磁性元件相对于阵列的多个不同空间位置和/或多个取向。根据一些实施例，预测坐标集可以包括磁性元件相对于阵列的多个空间位置和/或多个取向。根据一些实施例，样本坐标集可以包括具有相同的x轴值和相同的y轴值的多个坐标，其中样本坐标集中的两个或更多个不同坐标的z轴值是不同的。根据一些实施例，样本坐标集可以包括具有相同的x轴值、相同的y轴值、相同的z轴值和相对于阵列的不同取向(或不同旋转度)的多个坐标。根据一些实施例，样本坐标集包括大约1个到6个坐标。
有利地，生成数据库使得能够针对先前未获得的空间位置和/或取向来确定医疗工具(或定位在医疗工具上的磁性元件，相对于磁传感器阵列)的空间位置和/或取向。根据一些实施例，生成数据库可以包括确定(或计算)医疗工具的多个空间位置和/或取向，这些空间位置和/或取向不是预先预测的(或者换句话说，用户在数据库生成期间不需要预见到)。
根据一些实施例，深度学习算法可以被配置成确定多个医疗工具在体内的空间位置和/或取向。根据一些实施例，该算法还可以被配置为使用保存在数据库内的信号的叠加计算来确定多个医疗工具在体内的空间位置和/或取向。
有利地，生成的数据库可以使用一个磁性元件(或一个医疗工具)来生成，可以用于确定两个或更多个医疗工具的空间位置和/或取向。
参考图4，其示出了根据本发明的一些实施例的用于操作远程医疗工具的方法中的功能步骤的流程图。根据一些实施例，方法400可以包括方法200/300中的任何一个方法的一个或更多个步骤。根据一些实施例，方法200/300中的任何一个方法可以包括方法400的一个或更多个步骤。
根据一些实施例，方法400可以被配置用于使用如本文公开的跟踪系统来操作(或控制)远程医疗工具。根据
根据一些实施例，方法400可以在步骤402处包括提供磁性元件和磁传感器阵列，其中该阵列被配置成检测由磁性元件的移动生成的磁场的变化。根据一些实施例，方法400可以在步骤404处包括利用处理器检测磁场的变化，并且基于将磁场的变化与磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定磁性元件的空间位置和/或取向。根据一些实施例，方法400可以在步骤406处包括至少部分地基于所确定的磁性元件的空间位置和/或取向，将磁性元件的移动转换成用于远程医疗工具的命令。根据一些实施例，远程医疗工具包括电机，该电机被配置为从处理器接收命令并操作远程医疗工具。
根据一些实施例，将磁性元件的移动转换成命令可以包括调节磁性元件的移动与命令之间的比例，使得远程医疗工具的移动可以成比例地小于或大于磁性元件的移动。例如，磁性元件的移动可以是命令(或远程医疗工具的移动)的5倍大，使得磁性元件的5厘米(cm)前进导致在相同方向和/或取向上的1cm前进。
根据一些实施例，如本文描述的系统可以用于模拟医疗操作。根据一些实施例，该方法可以包括生成医疗操作的模拟。根据一些实施例，远程医疗工具可以是医疗操作的模拟中的模拟医疗工具，并且其中，将磁性元件的移动转换成命令包括显示模拟医疗工具在模拟医疗操作中的移动。
在本申请的说明书和权利要求中，词语“包括”和“具有”及其各种形式不限于可能与这些词语相关联的列表中的成员。
除非另外定义，否则本文所用的所有技术术语和科学术语具有与本公开所属的技术领域的普通技术人员所通常理解的相同的含义。如发生冲突，以专利说明书(包括定义)为主导。如本文所使用的，除非上下文另外明确指出，否则不定冠词“一个(a)”和“一个(an)”意指“至少一个”或“一个或更多个”。
应当理解，为了清楚起见而在单独的实施例的上下文中描述的、本公开的某些特征也可以在单个实施例中以组合方式提供。相反，为了简洁起见而在单个实施例的上下文中描述的、本公开的各种特征也可以分开地提供或以任何合适的子组合提供，或适合于本公开的任何其他所描述的实施例。除非明确地如此指定，否则在实施例的上下文中描述的特征不被认为是该实施例的必要特征，。
尽管可以以特定顺序描述根据一些实施例的方法的阶段，但是本公开的方法可以包括以不同顺序执行的所描述阶段中的一些或全部。本公开的方法可以包括所描述的一些阶段或者所描述的所有阶段。除非明确地如此指定，否则公开的方法中的特定阶段不被认为是该方法的必要阶段。
虽然结合本公开的具体实施例描述了本公开，但是很显然，对于本领域技术人员而言明显的许多替代、修改和变化可以存在。因此，本公开涵盖落入所附权利要求的范围内的所有此类替代、修改和变化。应理解，本公开没有必要将其应用限制于本文中所阐述的部件和/或方法的构造细节和布置。其它实施例可以被实践，并且实施例可以以各种方式被执行。
本文中所采用的措辞和术语是为了描述的目的，而不应该被认为是限制性的。在本申请中对任何参考资料的引用或识别不应被解释为承认此类参考资料可用作本公开的现有技术。本文所使用的章节标题是为了便于理解该说明书，而不应被解释为必要的限制。
给出了以下示例，以更全面地说明本发明的一些实施例。然而，它们绝不应被解释为限制本发明的广泛范围。在不脱离本发明的范围的情况下，本领域技术人员可以容易地设计出本文公开的原理的许多变化和修改。
示例
示例1
深度学习算法包括卷积神经网络。深度学习算法包括三个卷积层。最后一个卷积层包括最大池化层(max pooling layer)，例如maxpooling2d。在最后一个卷积层之后，该算法包括具有256个神经元的线性层和具有40个神经元的附加隐藏层，随后是输出层。激活层(例如修正线性激活函数(ReLU))被放置在上述各层之间。
示例2
深度学习算法包括多层感知器算法。该算法包括一个输入层、四个隐藏层并且随后是输出层。激活层(例如高斯误差线性单元(GELU))被放置在上述各层之间。使用多层感知器算法，所确定的空间位置和/或取向与实际空间位置和/或取向之间的平均偏差为0.6mm。
示例3
深度学习算法包括XGBoost算法。均方误差(MSE)损失函数被用于所应用的XGBoost算法。使用XGBoost算法，所确定的空间位置和/或取向与实际空间位置和/或取向之间的平均偏差约为1mm。
示例4
深度学习算法包括循环神经网络。该算法包括诸如嵌入(embedding)、掩蔽(masking)、长短期记忆(LSTM)、丢弃(dropout)和密集(dense)之类的模型。在上述各层之间应用激活层(例如修正线性激活函数(ReLU))以及均方误差(MSE)损失函数。使用循环神经网络，所确定的空间位置和/或取向与实际空间位置和/或取向之间的平均偏差为1mm。
在本申请中，本发明的各种实施例可以以范围格式陈述。应理解，范围格式的描述仅仅是为了方便和简洁，并且不应解释为对本发明的范围的僵化限制。因此，范围的描述应该被考虑为具有具体公开的所有可能的子范围以及该范围内的各个数值。例如，诸如从1至6的范围的描述应被认为具有具体公开的诸如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等的子范围，以及在该范围内的各个数字，例如1、2、3、4、5和6。无论范围的广度如何，这都适用。无论何时在本文中指出数值范围，都意味着包括在指定范围内的任何引用的数值(分数或整数)。短语“在”第一指示数和第二指示数“之间的范围/范围内变化(ranging)”以及“从”第一指示数“到”第二指示数的“范围/范围内变化”在本文中可互换使用，并且意在包括第一指示数和第二指示数以及它们之间的所有分数和整数。
在本申请的说明书和权利要求书中，“包括(comprise)”、“包含(include)”和“具有”的词语中的每一个及其形式不一定局限于可以与该词语相关联的列表中的成员。此外，当本申请与通过引用并入的任何文献之间存在不一致时，特此意在以本申请为准。
为了说明的目的，已经呈现了本发明的多种实施例的描述，但是不旨在穷举或限于所公开的实施例。在不偏离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域中的普通技术人员来说将是明显的。选择本文使用的术语是为了最好地解释实施例的原理、对市场上发现的技术的实际应用或技术改进，或者为了使本领域中的其他普通技术人员能够理解本文公开的实施例。
Claims (42)
1.一种用于在医疗过程期间跟踪医疗工具的方法，所述方法包括：
提供跟踪系统，所述跟踪系统包括医疗工具和磁传感器阵列，所述医疗工具包括磁性元件；
其中，所述阵列被配置为检测由所述磁性元件在体内的移动产生的磁场的变化；以及
利用处理器基于将所述磁场的变化与所述磁性元件的空间位置和/或取向相关联的深度学习算法来确定所述医疗工具在体内的空间位置和/或取向。
2.根据权利要求1所述的方法，其中，所述磁性元件是不对称的。
3.根据权利要求1-2中任一项所述的方法，其中，所述医疗工具能够在3个至6个自由度上操作。
4.根据权利要求1-3中任一项所述的方法，其中，所述磁性元件沿着所述医疗工具的中间部分定位。
5.根据权利要求1-3中任一项所述的方法，其中，所述磁性元件被定位在所述医疗工具的远端部分中。
6.根据权利要求1-3中任一项所述的方法，其中，所述磁性元件被定位在所述医疗工具的近端部分中。
7.根据权利要求1-3中任一项所述的方法，包括多个磁性元件，每个磁性元件独立地定位在所述医疗工具的远端部分、近端部分或中间部分中。
8.根据权利要求1-7中任一项所述的方法，其中，确定所述医疗工具的所述空间位置和/或取向包括补偿所述医疗工具的与所述磁性元件相对于所述医疗工具的位置有关的尺寸。
9.根据权利要求1-8中任一项所述的方法，其中，所述传感器阵列被配置在笛卡尔坐标系、径向坐标系或圆柱坐标系中。
10.根据权利要求1-9中任一项所述的方法，其中，所述传感器阵列被配置为以无线方式与所述磁性元件和/或所述医疗工具相关联。
11.根据权利要求1-10中任一项所述的方法，其中，确定所述医疗工具的所述空间位置和/或取向包括补偿与组织类型、过程类型、医疗工具类型和受试者的特征中的一项或更多项相关联的所述磁场的偏差。
12.根据权利要求11所述的方法，其中，受试者的所述特征包括受试者的年龄、性别、体重和病史中的一项或更多项。
13.根据权利要求1-12中任一项所述的方法，还包括将所述医疗工具在体内的确定的空间位置和/或取向配准到受试者的扫描。
14.根据权利要求13所述的方法，其中，所述确定的空间位置和/或取向与实际位置和/或取向之间的精度小于1.0mm。
15.根据权利要求1-14中任一项所述的方法，其中，所述处理器被配置为在训练集上训练所述深度学习算法，所述训练集包括数据库，所述数据库与由于所述磁性元件的一个或更多个坐标的变化而引起的所述磁场的变化相关联。
16.根据权利要求15所述的方法，其中，所述数据库包括通过接收一个或更多个信号而获得的数据，所述一个或更多个信号与由所述磁性元件的空间位置和/或取向在多对坐标之间的变化产生的所述磁场的变化相关联。
17.根据权利要求15-16中任一项所述的方法，其中，所述数据库包括使用所述磁传感器阵列获得的数据集，并且其中，对于所述磁性元件的空间位置或取向的每个变化，所述数据集中的每一个包括来自所述磁传感器阵列中的每个单独的传感器的三个信号。
18.根据权利要求17所述的方法，其中，所述三个信号包括由所述磁性元件产生的、在x轴、y轴和z轴上产生的所述磁场的变化。
19.根据权利要求15-18中任一项所述的方法，其中，所述磁性元件的空间位置和/或取向的所述变化包括所述磁性元件在一个或更多个轴上以指定的距离的平移。
20.根据权利要求19所述的方法，其中，所述指定的距离包括1毫米至10毫米。
21.根据权利要求15-20中任一项所述的方法，其中，所述磁性元件的空间位置和/或取向的所述变化包括所述磁性元件以指定的旋转度的旋转。
22.根据权利要求21所述的方法，其中，所述指定的旋转度包括1度至5度。
23.根据权利要求21-22中任一项所述的方法，其中，所述磁性元件的所述旋转包括围绕所述磁性元件的纵向轴、所述磁性元件的横向轴和所述磁性元件的垂直轴中的至少一个的旋转。
24.根据权利要求15-23中任一项所述的方法，其中，所述数据库包括100个至800,000,000个数据集。
25.根据权利要求15-24中任一项所述的方法，其中，每个数据集是在0.25秒至2秒内获得的。
26.根据权利要求1-24中任一项所述的方法，其中，所述磁性元件被定位在所述医疗工具上，使得所述磁性元件被配置为插入受试者的体内。
27.根据权利要求1-24中任一项所述的方法，其中，所述磁性元件被定位在所述医疗工具上，使得所述磁性元件被配置为在所述医疗过程期间保持在受试者的外部。
28.根据权利要求15-27中任一项所述的方法，其中，所述数据库通过以下方式生成：
提供包括所述磁性元件和所述磁传感器阵列的所述跟踪系统；
将所述磁性元件定位在样本坐标集处；
接收与所述磁性元件的所述样本坐标集中的每个坐标相关联的一个或更多个信号；和
至少部分地基于接收到的与所述样本坐标集相关联的信号来计算所述磁性元件的预测坐标集的多个预测信号，其中，所述预测坐标集中的坐标不同于所述样本坐标集中的坐标。
29.根据权利要求28所述的方法，其中，所述样本坐标集包括所述磁性元件相对于所述阵列的多个不同的空间位置和/或多个取向。
30.根据权利要求28-29中任一项所述的方法，其中，所述预测坐标集包括所述磁性元件相对于所述阵列的多个空间位置和/或多个取向。
31.根据权利要求28-30中任一项所述的方法，其中，所述样本坐标集包括具有相同的x轴值和相同的y轴值的多个坐标，其中，所述样本坐标集中的两个或更多个不同坐标的z轴值是不同的。
32.根据权利要求28-31中任一项所述的方法，其中，所述样本坐标集包括具有相同的x轴值、相同的y轴值、相同的z轴值以及相对于所述阵列的不同的取向(或不同的旋转度)的多个坐标。
33.根据权利要求28-32中任一项所述的方法，其中，所述样本坐标集包括大约1个至6个坐标。
34.根据权利要求28-33中任一项所述的方法，其中，所述深度学习算法还被配置为确定多个医疗工具在体内的空间位置和/或取向。
35.根据权利要求34所述的方法，其中，所述算法还被配置为使用保存在所述数据库内的所述信号的叠加来确定多个医疗工具在体内的空间位置和/或取向。
36.一种用于在医疗过程期间跟踪医疗工具的系统，所述系统包括：
跟踪系统，所述跟踪系统包括：
磁性元件，所述磁性元件被配置为放置在远程控件上，以及
磁传感器阵列，其中，所述阵列被配置为检测由所述磁性元件的移动产生的磁场的变化；和
处理器，所述处理器被配置为接收检测到的磁场的变化，并且基于将所述磁场的变化与所述磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定所述医疗工具的空间位置和/或取向。
37.一种用于操作远程医疗工具的方法，所述方法包括：
提供磁性元件和磁传感器阵列，其中，所述阵列被配置为检测由所述磁性元件的移动产生的磁场的变化；
利用处理器检测所述磁场的变化，并且基于将所述磁场的变化与所述磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定所述磁性元件的空间位置和/或取向；和
至少部分地基于所确定的所述磁性元件的空间位置和/或取向，将所述磁性元件的所述移动转换成用于远程医疗工具的命令。
38.根据权利要求37所述的方法，其中，所述远程医疗工具包括电机，所述电机被配置为从所述处理器接收所述命令并操作所述远程医疗工具。
39.根据权利要求37-38中任一项所述的方法，还包括生成医疗操作的模拟，其中，所述远程医疗工具是医疗操作的所述模拟中的模拟医疗工具，并且其中，将所述磁性元件的所述移动转换成命令包括在所模拟的医疗操作中显示所述模拟医疗工具的移动。
40.根据权利要求37-38中任一项所述的方法，其中，将所述磁性元件的所述移动转换成命令还包括调节所述磁性元件的所述移动与所述命令之间的比例，使得所述远程医疗工具的移动能够成比例地小于或大于所述磁性元件的所述移动。
41.一种用于操作远程医疗工具的系统，所述系统包括：
磁性元件；
磁传感器阵列，其中，所述阵列被配置为检测由所述磁性元件的移动产生的磁场的变化；和
处理器，所述处理器被配置为：
检测所述磁场的变化，并且基于将所述磁场的变化与所述磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定所述磁性元件的空间位置和/或取向；和
至少部分地基于所确定的所述磁性元件的空间位置和/或取向，将所述磁性元件的所述移动转换成用于远程医疗工具的命令。
42.一种用于在医疗过程期间跟踪医疗工具的系统，所述系统包括：
医疗工具，所述医疗工具包括磁性元件；
磁传感器阵列，所述阵列被配置为检测由所述磁性元件在体内的移动产生的磁场的变化；和
处理器，所述处理器被配置为接收检测到的磁场的变化，并且基于将所述磁场的变化与所述磁性元件的空间位置和/或取向相关联的一个或更多个深度学习算法来确定所述医疗工具的空间位置和/或取向。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163139955P | 2021-01-21 | 2021-01-21 | |
| US63/139,955 | 2021-01-21 | ||
| PCT/IL2022/050011 WO2022157759A1 (en) | 2021-01-21 | 2022-01-04 | Method for tracking a medical tool during a medical procedure using deep learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117083029A true CN117083029A (zh) | 2023-11-17 |
Family
ID=82548693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280021564.6A Pending CN117083029A (zh) | 2021-01-21 | 2022-01-04 | 使用深度学习在医疗过程期间跟踪医疗工具的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240307125A1 (zh) |
| EP (1) | EP4280996A4 (zh) |
| CN (1) | CN117083029A (zh) |
| IL (1) | IL304619A (zh) |
| WO (1) | WO2022157759A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023156994A1 (en) * | 2022-02-21 | 2023-08-24 | Epidutech Ltd. | Method for tracking a medical tool during a medical procedure using deep learning |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5879297A (en) * | 1997-05-08 | 1999-03-09 | Lucent Medical Systems, Inc. | System and method to determine the location and orientation of an indwelling medical device |
| WO2014141113A2 (en) * | 2013-03-15 | 2014-09-18 | Mediguide Ltd. | Medical device navigation system |
| JP6796085B2 (ja) * | 2016-12-02 | 2020-12-02 | アヴェント インコーポレイテッド | 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 |
| US11122965B2 (en) * | 2017-10-09 | 2021-09-21 | Vanderbilt University | Robotic capsule system with magnetic actuation and localization |
| WO2020181006A1 (en) * | 2019-03-05 | 2020-09-10 | St. Jude Medical, Cardiology Division, Inc. | Methods and system for correcting electrode positions of an elongated medical device |
| US11819288B2 (en) * | 2020-03-19 | 2023-11-21 | Verb Surgical Inc. | Trocar pose estimation using machine learning for docking surgical robotic arm to trocar |
-
2022
- 2022-01-04 WO PCT/IL2022/050011 patent/WO2022157759A1/en active Application Filing
- 2022-01-04 CN CN202280021564.6A patent/CN117083029A/zh active Pending
- 2022-01-04 US US18/273,405 patent/US20240307125A1/en active Pending
- 2022-01-04 EP EP22742366.2A patent/EP4280996A4/en active Pending
-
2023
- 2023-07-20 IL IL304619A patent/IL304619A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022157759A1 (en) | 2022-07-28 |
| EP4280996A4 (en) | 2024-08-07 |
| US20240307125A1 (en) | 2024-09-19 |
| EP4280996A1 (en) | 2023-11-29 |
| IL304619A (en) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11452569B2 (en) | Systems and methods for device-aware flexible tool registration | |
| CN109640860B (zh) | 机器人系统的运动执行 | |
| EP2233070B1 (en) | Relative impedance measurement | |
| US12109042B2 (en) | Neural locating system and method | |
| EP2774536B1 (en) | Sheath exit sensor | |
| EP2233099B1 (en) | Computer-assisted system for guiding a surgical instrument during percutaneous diagnostic or therapeutic operations | |
| CN113543697B (zh) | 用于校正细长医疗装置的电极位置的方法和系统 | |
| EP4233769A2 (en) | Systems and methods for adaptive input mapping | |
| EP1862114A1 (en) | Model-based correction of position measurements | |
| US20210186638A1 (en) | Surgical robot system and surgical instrument thereof | |
| Ha et al. | Shape sensing of flexible robots based on deep learning | |
| US10449002B2 (en) | Method of mapping a nerve | |
| AU2017339255A1 (en) | Neural locating and mapping | |
| CN117083029A (zh) | 使用深度学习在医疗过程期间跟踪医疗工具的方法 | |
| JP6968617B2 (ja) | ディスプレイ上でのプローブ画像とシース画像の位置合わせ | |
| US10376209B2 (en) | Neural locating method | |
| CN118695810A (zh) | 用于使用深度学习在医疗程序期间跟踪医疗工具的方法 | |
| US11413096B2 (en) | System for the reconstruction of symmetrical body parts | |
| US20230310087A1 (en) | Navigation method and navigation system for surgical instrument |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40103858 Country of ref document: HK |