CN112545648A - 用于电磁跟踪系统的可配置传送器阵列 - Google Patents
用于电磁跟踪系统的可配置传送器阵列 Download PDFInfo
- Publication number
- CN112545648A CN112545648A CN202011030170.6A CN202011030170A CN112545648A CN 112545648 A CN112545648 A CN 112545648A CN 202011030170 A CN202011030170 A CN 202011030170A CN 112545648 A CN112545648 A CN 112545648A
- Authority
- CN
- China
- Prior art keywords
- transmitter
- accessory
- accessories
- magnetic
- tracking system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003550 marker Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 22
- 239000000853 adhesive Substances 0.000 claims description 6
- 230000001070 adhesive effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 230000000712 assembly Effects 0.000 description 31
- 238000000429 assembly Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 239000012790 adhesive layer Substances 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000005381 magnetic domain Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/12—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means
- G01D5/14—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means influencing the magnitude of a current or voltage
- G01D5/20—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means influencing the magnitude of a current or voltage by varying inductance, e.g. by a movable armature
- G01D5/204—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means influencing the magnitude of a current or voltage by varying inductance, e.g. by a movable armature by influencing the mutual induction between two or more coils
- G01D5/2073—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means influencing the magnitude of a current or voltage by varying inductance, e.g. by a movable armature by influencing the mutual induction between two or more coils by movement of a single coil with respect to two or more coils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
- Endoscopes (AREA)
- Burglar Alarm Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种磁性跟踪系统被配置为确定该磁性跟踪系统的环境中的被跟踪对象的对象姿态。该跟踪系统包括传送器配件,其包括被配置为生成指示被跟踪对象关于该传送器配件的对象姿态的磁信号的传送线圈和在视觉上标识该传送配件关于相机设备的姿态的标志。该相机设备捕捉该传送器配件的至少一个图像。一种计算设备基于该图像确定该图像中的该传送器配件的姿态。基于该磁信号以及与该传送器配件相关联的姿态,该计算设备确定该被跟踪对象在环境中的对象姿态。
Description
技术领域
本公开涉及跟踪磁场中的一个或多个对象,具体涉及一种用于使用电磁(EM)信号跟踪外科手术器械的系统。
背景技术
电磁跟踪(EMT)系统被用来帮助在医疗过程中对器械和解剖的定位。这样的系统可以基于所测量的传送磁场的场力线来确定接收器的位置。
发明内容
电磁跟踪(EMT)系统(也被称作磁性跟踪系统)可以被用来跟踪用于多种应用的设备,诸如在内窥镜外科手术或其它类型的外科手术期间用于医疗应用。该EMT系统(也称作磁性跟踪系统)包括至少一个传送器和至少一个接收器。该传送器例如发射磁信号,并且该接收器接收磁信号并且测量该磁信号。所测量的磁信号提供了该磁性跟踪系统用来确定传送器关于接收器的相对定位(反之亦然)的信息。如果传送器或接收器被附着于另一个设备(例如,被跟踪设备),则该磁性跟踪系统可以确定被跟踪设备在该磁性跟踪系统的环境中的相对定位。在一些实施方式中,该磁性跟踪系统可以检测由于环境中的金属物体所导致的磁信号的失真。多种用于跟踪对象的额外应用是已知的。
本文所描述的磁性跟踪系统包括多个传送器配件。该磁性跟踪系统被配置为诸如通过检测该多个传送器配件中的一个或多个所发射的磁信号来确定一个或多个对象关于传送器配件的定位。该传送器配件被置于关于该磁性跟踪系统的接收器的不同位置处。该磁性跟踪系统通过一种或多种非磁性技术来确定该传送器配件相对于传送器的定位,诸如通过视觉技术、超声、无线电信号等。一旦传送器配件的定位是已知的,该磁性跟踪系统就可以确定接收器的位置和定向。
每个传送器配件可以被唯一地标记,使得非磁性跟踪系统可以在该多个传送器配件中的每一个传送器配件之间进行区分。该传送器配件可以在该磁性跟踪系统的环境中被重新配置(例如,四处移动)以改善由该磁性跟踪系统对被跟踪对象的位置确定的质量(例如,准确性)。
本文所描述的技术包括以下一个或多个优势。传送器配件可以非常接近于磁性跟踪系统的环境中的感兴趣区域而放置,所述感兴趣区域针对磁性跟踪系统的不同应用而可以有所变化。例如,该传送器配件可以包括在内窥镜外科手术期间被附着至患者的贴片。该贴片在外科手术期间可以被移动/重新布置以保持该贴片紧靠患者的手术区域。这可以被描述为减少或消除传送器配件和感兴趣区域之间的相隔距离。传送器配件紧靠感兴趣区域减少了由环境中的金属物体所导致的失真,该金属物体诸如金属手术台、非手术设备,等等。例如,该传送器配件可以沿患者体内的导管路径放置以便使得该导管的磁性跟踪得到改善。
该传送器配件也可以被重新布置以便针对特定应用而被策略性地放置。例如,如果拍摄患者的X射线图像,则该贴片可以为了该成像过程而被临时去除并且在完成成像之后重新应用,而并不要求进行对该磁性跟踪系统的重新校准以继续使用。
这些方法减少或消除了针对该系统的环境发生变化的每种情况的典型环境中所遇到的失真执行补偿的需求。
在一个方面,磁性跟踪系统包括多个传送器配件。至少一个传送器配件包括:被配置为生成该传送器配件的磁信号的传送线圈,该磁信号指示被跟踪对象关于该传送器配件的对象姿态;基于在视觉上标识该传送配件关于相机设备的姿态的标志。该相机设备被配置为捕捉该多个传送器配件的至少一个图像,所述图像包括传送器配件中的至少一个上的该标志的表示。计算设备被配置为执行操作,包括:基于包括至少一个传送器配件上的该标志的表示的图像来确定该图像中的传送器配件中的该至少一个的姿态;接收来自传送器配件的每个磁信号;基于每个磁信号以及与每个传送器配件相关联的姿态来确定该被跟踪对象在该环境中的对象姿态;并且输出该对象姿态的表示。
在一些实施方式中,该多个传送器配件中的至少一个传送器配件被配置为在该磁性跟踪系统的操作期间从该环境中的第一位置移动至该环境中的第二位置,并且其中该计算设备被配置为更新与该传送器配件相关联的姿态。
在一些实施方式中,该标志包括图标。传送器配件的标志包括该传送器配件的外部形状,该外部形状与该多个传送器配件中的其它传送器配件的其它外部形状不同。在一些实施方式中,该标志包括红外反光镜,并且其中该相机设备包括红外光源。
在一些实施方式中,该多个传送器配件中的至少一个包括:被配置为存储与该传送器配件相关的校准数据的存储器;被配置为控制来自该传送器配件的磁信号的传输的处理设备;用于发送数据以及从该计算设备或该多个传送器配件中的其它传送器配件接收数据的通信接口;和被配置为向该存储器、该处理设备和该通信接口提供电力的电源。该存储器可以被配置为存储与接收器配件相关的校准数据。
在一些实施方式中,该多个传送器配件中的至少一个被配置为与该计算设备无线通信。在一些实施方式中,该多个传送器配件中的至少一个包括被配置为以可移除的方式将该传送器配件附着至该环境中的另一个表面的粘合剂。
在一些实施方式中,该被跟踪对象包括导管、内窥镜或外科手术器械之一。
在一些实施方式中,该计算设备被配置为控制该多个传送器配件以生成磁信号。控制该多个传送器配件可以包括执行对每个传送器配件的时间片段复用,该时间片段复用使得该多个传送器配件中的每一个在不同时间按顺序传送该磁信号。在一些实施方式中,控制该多个传送器配件包括执行对每个传送器配件的频率复用,该频率复用被配置为使得该多个传送器中的每一个以不同频率值传送磁信号。
在一些实施方式中,该多个传送器配件并行连接至该计算设备。在一些实施方式中,该多个传送器配件被依次连接至该计算设备。在一些实施方式中,该多个传送器配件中的至少一个传送器配件是模块化的,其中该计算设备被配置为响应于检测到该模块化传送器配件已经被移除而更新跟踪算法。在一些实施方式中,该磁性跟踪系统包括被配置为测量来自传送器配件中的一个或多个的磁信号的接收器配件,该接收器配件包括在视觉上标识该接收器配件关于该相机设备的姿态的接收器标志。
在一些实施方式中,该计算设备被配置为基于与该接收器配件相关联的第一姿态以及与该多个传送器配件中的一个传送器配件相关联的第二姿态来确定磁信号的失真。
在一个方面,传送线圈被配置为响应于接收到电流而生成磁信号;包括至少一个标志的第一表面,该至少一个标志被配置为标识传送器配件关于相机设备的姿态;被配置为以可移除方式附着至另一个对象的第二表面。
在一些实施方式中,该传送器配件包括被配置为存储与该传送器配件相关的校准数据的存储器;被配置为控制来自该传送器配件的磁信号的传输的处理设备;用于向远程设备发送数据以及接收数据的通信接口;和被配置为向该存储器、该处理设备和该通信接口提供电力的电源。在一些实施方式中,该通信接口被配置为与该远程设备无线通信。
在一些实施方式中,该电源是可充电的。在一些实施方式中,该标志包括ArUco图案、ChArUco图案、红外反光镜、光源、超声源、无线电信号源和该传送器配件的外部形状之一。
在附图和以下描述中给出了本文所描述主题的一个或多个实施例的细节。该主题的其它特征、目标和优势将由于描述、附图以及由于权利要求而清楚明白。
附图说明
图1A-1B示出了包括多个可重新配置的传送器配件磁性跟踪系统的示例的框图。
图2A示出了图1A-1B的多个传送器配件中的示例传送器配件的不同视图。
图2B示出了图1A-1B的磁性跟踪系统的的示例接收器配件的不同视图。
图3A-3B示出了示例传送器配件的框图。
图3C-3D示出了示例接收器配件的框图。
图4示出了具有各种传送器配件的示例传送器阵列的框图。
图5示出了包括不同类型的传送器配件的示例磁性跟踪系统的框图。
图6是用于利用图1A-5的磁性跟踪系统和传送器配件执行磁性跟踪的过程的流程图。
图7是示例计算机系统的框图。
各图中同样的附图标记指示同样的要素。
具体实施方式
电磁跟踪(EMT)系统(也被称作磁性跟踪系统)可以在诸如医疗设施的各种环境中用来跟踪对象(例如,被跟踪对象)。例如,在外科手术设施中,EMT系统可以用来跟踪用于一种或多种目的(例如,内窥镜外科手术)的医疗设备(例如,外科手术工具),由此允许该对象的三维位置(例如,定位)和定向在医疗过程期间被医疗专业人员(例如,外科医生)所知晓。通常,磁性跟踪系统100被配置为跟踪身体内的对象从而辅助医疗专业人员进行该医疗专业人员所执行的操作。
本文所描述的磁性跟踪系统包括多个传送器配件。该磁性跟踪系统被配置为诸如通过检测由多个传送器配件中的一个或多个所发射的磁信号而确定一个或多个对象关于该传送器配件的定位。该传送器配件关于该磁性跟踪系统的接收器以不同位置/定向而布置。该磁性跟踪系统通过一种或多种非磁性手段来确定该传送器配件关于传送器的定位,诸如通过视觉手段、超声、无线电信号等。一旦获知传送器组件的定位,该磁性跟踪系统就可以通过跟踪它们的接收器而确定那些对象的位置和定向。这可以被描述为跟踪该对象(例如,被跟踪对象)。相对于根据较远布置的传送器信号而对对象的位置和定向的确定,当传送器配件106相对接近于被跟踪对象放置时(例如,几英寸远),可以确定对象更加准确的位置和定向(例如,姿态)的确定结果。这部分是因为通过接近于被跟踪对象布置该传送器配件可以减少或消除磁性跟踪系统的环境所引起的失真。
转向图1A,示出了示例的磁性跟踪系统100。磁性跟踪系统100包括计算设备102、用户接口104、放大器112、接收器108、相机设备110,以及一个或多个传送器配件106。
磁性跟踪系统100被配置为跟踪处于该磁性跟踪系统100的环境之中的一个或多个被跟踪对象(未示出)的(多个)位置和(多个)定向。在医疗情境中,被跟踪对象通常包括医疗设备或医疗设备的一部分。例如,磁性跟踪系统100可以用来在诸如外科手术器械、探头、内窥镜、导管等的物体处于人体内部时对它们进行跟踪。被跟踪对象包括感测来自传送器配件106中的一个或多个的信号的接收器。如随后更详细描述的,磁性跟踪系统100可以基于这些信号来确定被跟踪对象的接收器的位置。
磁性跟踪系统100被配置为从多个传送器配件106中的每一个发射磁信号(例如,磁场)。接收器108被配置为测量该磁场并且将所测量的信号发送至计算设备102。在一些实施方式中,放大器112被包括以对由接收器108所测量的信号进行放大。放大器112总体上具有正增益,其被配置为对从接收器108所接收的任何信号进行放大,使得计算设备102能够接收该放大信号作为输入。接收器108可以包括用于测量由传送器配件106中的每个所发射的磁信号的一个或多个元件,诸如磁力计、线圈等。为了执行对被跟踪对象的跟踪,计算设备102使用来自传送器配件106的场的测度来计算接收器108的位置和定向。传送器配件106的位置和定向通过利用相机110或等同物对传送器配件106进行观察而被获知。
传送器配件106每个均被配置为发射磁信号。诸如传送器配件114的传送器配件包括被配置为生成磁信号的传送元件,诸如传送器线圈116。虽然传送器配件106被共同描述,但是传送器配件中的每个可以与多个传送器配件中的一个或多个其它传送器配件稍有不同(或者甚至是唯一的)。例如,传送器配件106中的每个可以被配置为使用不同的调制频率来传送磁信号。在一些实施方式中,每个线圈116具有稍有不同的磁属性。计算设备102可以存储表征传送器配件106中的每个的磁属性的信息。
在磁性跟踪系统100的操作期间,传送器配件106中的每个被配置为发射磁信号,所述磁信号可以被接收器108所测量。来自传送器配件106中的每个的信号可以与多个传送器配件中的其它传送器配件有所区别。如之前所提到的,这可以通过使得每个传送器配件包括唯一的磁属性来实现。在一些实施方式中,传送器配件106中的每个被配置为在计算设备102所知晓的不同时间发射磁信号。在一些实施方式中,传送器配件106中的每个被配置为以计算设备102所知晓的不同频率发射磁信号。后续描述对传送器配件106的控制。
传送器配件106中的每个被配置为能够通过非磁性手段被识别从而确定传送器配件中的每个的位置和定向。该非磁性手段可以包括光学手段、超声手段、无线电手段等的一种或多种。通常,每个传送器配件包括一个或多个光学标记118,诸如基准标志。计算设备102被配置为辨识该标志,将标志与其它标志加以区分,并且根据标志的图像来确定该标志的位置和定向(并且因此确定传送器配件的位置和定向)。
相机110被定位以观察传送器配件106并且将传送器配件的图像提供至计算设备102。计算设备102接收该图像并且根据该图像确定传送器配件106中的每个的位置和定向。相机110被定位以查看传送器配件106,无论它们针对给定应用而被布置在何处。例如,在医疗情境中,相机110被置于患者上方并且传送器106则被置于该患者之上和周围。相机110被配置为捕捉该患者以及该患者之上和周围的传送器配件106的图像,以确定该传送器配件关于接收器108的位置和定向。
在一些实施方式中,相机110可以是立体相机,其包括诸如互相有所移位(displaced)的相机110a和110b的两个相机。相机110a、110b被配置为从关于传送器配件106的不同角度捕捉图像。来自立体相机110a和110b的图像不仅可以用来确定传送器配件106的平面“x,y”位置数据和旋角,而且还确定传送器配件106的深度“z”位置以及传送器配件106中的每个关于相机110a和110b的侧倾和俯仰。
表示传送器配件106的相对位置和定向的数据被计算设备102用来确定如何解译从接收器108所接收的磁信号。该磁信号指示被跟踪设备相对于传送器配件106的位置和定向。为了确定被跟踪设备的绝对位置和定向,关于患者具有已知位置和定向的传送器配件106的位置和定向被确定。
接收器108被配置为测量传送器配件106所传送的磁信号以确定被跟踪对象关于该传送器配件的位置和定向。被跟踪对象的位置可以相对于诸如接收器108的任何全局基准点进行测量。计算设备102被配置为将所测量的磁信号转换为位置和定向数据。在一些实施方式中,位置数据可以被表达为位置坐标(例如,x、y、z坐标)的位置矢量。在该示例中,接收器108使用笛卡尔坐标系(具有x、y和z坐标)来表示空间中的定位;然而,可以采用其它类型的坐标系(例如,圆柱体、球体等)。
被跟踪对象的定向是指被跟踪设备关于全局基准点(例如,接收器108)所面向的方向,并且可以类似地使用坐标系来表达,并且例如被表示为定向坐标(例如,方位(ψ)、高度(θ))和侧倾角度)的矢量。传送器配件106进行操作以作为多达六自由度(6DoF)测量系统,其被配置为允许与向前/向后位置、上/下位置、左/右位置、方位、高度和侧倾相关的位置和定向信息的测量。例如,如果接收器108包括单个接收线圈,则最小为至少五个传送器配件106的集合可以提供五个自由度(例如,没有侧倾)。在一个示例中,如果接收器108包括至少两个接收线圈,则最小为至少六个的传送器配件106可以提供足以用于待确定的六个自由度的数据。可以向多个传送器配件106增加额外的传送器配件以提高跟踪准确度或者允许更大的跟踪体积(volume)。
计算设备102包括一个或多个处理器并且被配置为接收传送器配件106的相机110所测量的位置数据、定向数据和运动数据。计算设备102从接收器108接收磁信号,并且将该磁信号转换为接收器108的位置数据和定向数据。计算设备102可以包括输入端口和输出端口以便发送和接收模拟数据和数字数据两者。计算设备102可以包括用于驱动传送器配件106的波形生成器(未示出)。计算设备102的方面和示例进一步关于图7进行描述。
计算设备102被配置为基于在接收器108从传送器配件106所接收的磁信号以及根据来自相机110的图像数据而确定被跟踪设备的位置和定向之一或二者。诸如针对其中对多于一个的对象进行跟踪的情形,计算设备102可以利用指定被跟踪对象的设备标识符对位置数据和定向数据加以区分。
计算设备102可以包括用于驱动传送器配件106并且控制传送器配件106的操作的电路。例如,计算设备102可以包括被配置为控制传送器配件106中的每个的控制器。传送器配件106可以被配置为在测量周期中以不同时间或频率发射磁信号。例如,计算设备102可以被配置为控制传送器配件106中的每个在测量周期中的特定时间传送磁信号,以特定顺序传送磁信号,等等,以经传送器配件106中的每个进行循环。接收器108测量磁信号中的每个。如果使用时序机制,则计算设备102可以基于计算设备102何时从接收器108接收到磁信号而将所接收到的磁信号与特定传送器配件相关联。该控制器可以使用时间片段复用、频率复用等来控制传送器配件106。
传送器配件106可以被单个校准。在一些实施方式中,每个传送器配件包括与多个传送器配件中的其它传送器配件不同的一种或多种属性。例如,传送器配件106中的每个可以利用建模参数、来自磁信号的磁域映射、球谐函数、闭合形式解等被校准。校准数据可以被计算设备102所存储。用于传送器配件的校准数据可以随该相应的传送器配件在本地存储上被本地存储。在一个方面,该校准数据可以被发送(例如,有线或无线地)至计算设备102以帮助计算设备102确定传送器配件的位置和定向。如之前所提到的,传送器配件106中的每个可以被配置为在彼此不同的频率上操作、在不同时间开启,等等。
传送器配件106每个均被配置为是模块化的。例如,针对不同应用,更多的传送器配件106可以被添加至多个传送器配件106或者从多个传送器配件106被移除。基于确定该多个传送器配件106中包含有多少个传送器配件而针对计算设备102相对应地更新控制算法(例如,自动地)。虽然单个传送器配件可以提供关于被跟踪设备的一些数据,但是磁性跟踪系统100通常包括至少5个传送器配件以确保可以进行五自由度的测量并且包括至少6个传送器配件以确保可以进行六自由度的测量。
计算设备102可以被配置为以各种方式来确定被跟踪对象的位置和定向。例如,可以使用最小二乘解来确定接收器108关于传送器配件106的位置和定向。在另一个示例中,可以使用Kalman滤波器或一种或多种其它数字方法来确定接收器108关于传送器配件106的位置和定向。
如本领域已知的,之前所描述的磁性跟踪系统100的反向配置可以用来跟踪被跟踪对象。在该示例中,具有光学跟踪的多个接收器线圈可以与小型化的传送器配件配对。使用在该多个接收器处所接收的磁信号来跟踪传送器配件。
用户接口104可以包括用于向磁性跟踪系统100的用户报告被跟踪对象的位置和定向的显示器。被报告给用户的位置和定向可用于在一个或多个应用中对用户进行辅助,诸如执行医疗操作。例如,该用户接口可以将该位置和定向作为被跟踪对象关于磁性跟踪系统100的一部分的视觉表示来报告,报告被跟踪对象的坐标,将被跟踪对象叠加在相机110所捕捉的图像中,等等。
用户接口104可以被配置为控制传送器配件106的操作。用户接口104可以包括一个或多个控件(软件控件、硬件控件等)。该控件可以被配置为使得用户能够开启或关闭传送器配件106,改变传送器配件中的一个或多个的操作频率,使得传送器配件上传校准数据,等等。
计算设备102、传送器配件106、相机110、放大器112和用户接口104可以通过有线或无线连接互相通信。例如,传送器配件106可以被连线到计算设备102的端口中。在这样的配置中,计算设备102可以提供功率信号以驱动每个传送器配件106,并且传送器配件每个均可以包括无源电子器件。在另一个示例中,传送器配件106中的每个可以配备有数据收发器,其被配置为以无线方式向计算设备传送数据(例如,校准信息)以及从计算设备102接收数据(例如,控制信号)。
传送器配件106可以在磁性操作系统100的使用期间被重新部署,并且每个传送器配件的新的位置和定向可以由计算设备102使用相机110的信息来确定。例如,在被跟踪对象(例如,导管)在环境(例如,患者体内)中四处移动的同时,传送器配件106在外科手术期间可以被移动以确保传送器配件中的一个或多处于被跟踪对象的数英寸之内。因此,传送器配件106能够在不要求对磁性跟踪系统100的重新校准的情况下被重新配置。
在一些实施方式中,传送器配件106包括粘性贴片,其能够附着至磁性跟踪系统100的环境的一个或多个表面。例如,传送器配件106可以附着至医疗操作的主体(例如,患者)。例如,当内窥镜在患者身体内部导航时,传送器配件106可以从第一位置松脱(unstuck)并且移动至处于内窥镜路径附近(例如,2-3英寸之内)的第二位置。在一些实施方式中,传送器配件106可以在外科手术区域的上方被直接置于在患者皮肤上。如果要求对外科手术区域进行成像,则可以将包括传送器配件106的贴片移除,捕捉图像,并且重新布置贴片,而无需对磁性跟踪系统100的重新校准。
转向图1B,示出了磁性跟踪系统100的示例,其除了可重新配置的传送器配件106之外还包括可重新配置的接收器配件120。接收器配件120被配置为以与用于跟踪被跟踪对象的接收器108相似的方式检测传送器配件106所发射的信号。接收器配件120(或多个接收器配件120)在患者身上或附近的位置可以使得磁性跟踪系统100能够确定传送器配件106所发射的磁场的磁场畸变。在患者身上或附近的一个或多个位置处所测量的(多个)磁场可以与接收器配件120的(多个)光学位置和(多个)定向相比较以估计靠近被跟踪对象的磁场的畸变。发射信号的收发器的位置和定向以及接收器的位置两者都能够从相机110的图像中以光学方式进行测量。作为结果,计算设备102可以针对每个传送器配件计算补偿量度(例如,误差值)。可以针对系统100生成磁场畸变图谱,改善对被跟踪对象的位置估计的准确性。在一些实施方式中,过于靠近接收器配件120(例如,2英寸内、5英寸内、10英寸内等)的传送器配件106所生成的信号可以被忽略或者被过滤以便确定畸变。这是因为这些信号可能使得接收器120饱和。
类似于接收器108,接收器配件120包括接收线圈128。接收器配件120可以包括用于处理所接收的信号的电子器件,诸如放大器124。类似于传送器配件106,接收器配件120包括光学标记126,其包括图标、标记或者能够在相机110所捕捉的图像中另外以光学方式加以区分的其它内容。计算设备102辨识相机110的图像中的接收器配件120。计算设备102被配置为以类似于传送器配件106的方式而基于接收器配件120的标记、形状或其它光学属性来确定接收器配件120的方位和定向。接收器配件120可以是有线或无线的。接收器120可以包括附加电子器件,诸如电池、存储器、数据传送器,等等。
接收器120可以测量每个传送器配件106所发射的磁场信号。虽然在图1B中示出了线圈,但是在一些实施方式中,接收器配件120可以包括一个或多个其它感测设备,诸如集成电路上的磁力计、重力梯度计,等等。在一些实施方式中,每个接收器配件120上可以包括多个线圈128。每个传感器线圈可以具有已知的磁属性,或者系统100可以被校准以减少传感器特有的误差。例如,校准数据可以在存储器处(例如,图3C-3D的存储器308)被本地存储在每个接收器120。在一些实施方式中,所接收的信号可以(例如,由图3C-3D的处理设备304)在本地处理,并且经处理的信号可以被发送至计算设备102。
在一些实施方式中,多个传送器配件106和接收器配件120可以连接在一起以形成更大的配件。例如,可以使用刚性弯曲配件或者互连/菊链配置。例如,传送器配件106和接收器配件120中的每一个可以有线或无线地被连接为磁性跟踪系统100的附加传送器和/或接收器的阵列。在一些实施方式中,传送器和接收器可以共存于单个配件上(例如,单个配件106或120)。在这样的配置中,该配件上的传送器可以在接收器活跃的同时去激励以避免该接收器的饱和。
接收器配件120和传送器配件106的组合可以作为用于该环境的畸变指示器或畸变映射系统。磁性跟踪系统100可以使用所确定的每个配件的光学姿态的光学确定结果与姿态的EM确定结果之间的差异作为环境中出现的畸变的指示。磁性跟踪系统100因此可以执行畸变补偿。例如,由外部接收器配件120所收集的数据——包括磁场测度和姿态、畸变数据、光学数据(真实)和(通过场中随着传感器移动出现的差异所估计的)梯度数据——可以用来针对畸变进行校正。该畸变可以使用物理模型进行建模。这些模型可以包括曲线拟合(例如,针对磁信号且用于姿态求解)、样条曲线、三角计算、径向基函数,以及使用机器学习方法。
接收器配件120在操作期间可以被放在所需要的地方,并且在操作期间轻易地被移动/调节。例如,接收器配件120在操作期间可以被移动而使得X射线的干扰最小化。接收器配件120可以沿导管/导线的路径布置从而在跟踪体积上具有连续的畸变指示和/或补偿。接收器配件接近于工作跟踪体积而被放在患者身体上。类似于传送器配件106,接收器配件120可以是可充电的(有线或无线)和/或一次性的。
接收器配件120的接收器可以与被配置为存储用于接收器的校准数据的存储器相关联,所述校准数据类似于传送器的校准数据。该校准数据基于由于每个接收器的硬件变换等所导致的所确定的环境中的畸变而被更新。
接收器配件120可以被定位于患者身上或附近以用于跟踪被跟踪对象。在一些实施方式中,可以使用包括接收器配件120的多个接收器配件。如上文所描述的,根据在磁性跟踪系统中使用多少个接收器配件和传送器配件,可以针对跟踪系统100实现五或六个自由度(DoF)。后续关于图2B和图3C-3D更详细地描述接收器配件120。
转向图2A,示出了作为磁性跟踪系统100的一部分的传送器配件200(例如,图1A-1B的传送器配件106)的示例。传送器配件200被配置为是简单、低成本且模块化的。传送器配件200包括第一侧面202和第二侧面204。在一些实施方式中,粘性贴片206可以被附着于一个侧面(诸如第一侧面202)以形成叠层212。针对磁性跟踪系统100的不同应用,第一侧面202通常是背向相机110的底侧。第二侧面204通常是能够在相机110所捕捉的图像中观察到的顶侧。
传送器配件200的第一侧面202可以包括该传送器配件的底部表面。传送器配件200的第一侧面202包括发射线圈210(其基本上类似于关于图1A-1B所描述的线圈116)。线圈210可以发射被磁性跟踪系统100的接收器(例如,接收器108)所接收的磁信号。
传送器配件200的第二侧面204可以包括该传送器配件的顶部表面,其暴露于磁性跟踪系统100的相机110。第二表面204通常包括一个或多个标志,诸如图标208a、208b和208c(统称为图标208)。图标208均可以互相不同,使得计算设备102能够在图标之间加以辨别。图标208相对于彼此的位置向计算设备102指示传送器设备200相对于磁性跟踪系统100的相机110、接收器108或其它部分的位置和定向如何。例如,如果图标208b出现在关于图标208c沿y轴的正方向,则计算设备可以确定传送器配件200以特定旋角而旋转(例如,关于相机110的平面旋转)。可替换地,如本领域已知的,可以使用计算机视觉或机器学习方法来跟踪传送器配件200。图标208可以从图标的库中进行选择,其中计算设备102被配置为识别并且向多个传送器配件中的不同传送器配件指定该图库中的图标。例如,计算设备102可以基于哪个图标208处于传送器配件上来识别特定的传送器配件200。计算设备102将所接收到的磁信号与该传送器配件200相关联,以辅助位置和定向计算。换句话说,计算设备102使用图标208来获得哪个传送器配件200与哪个磁信号相关联,即使是在传送器配件106被重新配置之后。计算设备102随后可以确定传送器配件106以及因此被跟踪对象的经更新位置和定向。
相机设备110可以包括向计算设备102提供距离信息的立体相机。计算设备102可以使用(在计算设备110处确定或者在计算设备102处计算的)该距离信息以三维来确定传送器配件200的位置。相机设备110可以包括单个相机,该单个相机可以基于多个图标208的使用以及它们的已知几何结构来确定距离,所述距离诸如图标208a和208b之间的距离D1,以及图标208b和208c之间的距离D2。
传送器配件200包括图标208a、208b和208c以用于确定传送器配件200的姿态。图标208总体上被配置为要被识别以用于计算机视觉识别。图标可以包括任意图像,诸如条形码、QR码、符号等。在传送器配件200的示例中,图标208是像素化符号。虽然该示例中包括三个图标,但是为了确定姿态可以增加附加图标。除了作为图标之外,传送器配件200还可以包括标记传送器配件200的其它手段。例如,标志可以包括被配置用于红外激励的反光镜。
传送器线圈210被配置为产生由接收器108所接收的磁信号。线圈210可以发射特定传送器配件200所独有的信号(例如,磁场)。例如,传送器配件200可以利用特定频率调制磁信号。线圈210可以是单匝或多匝线圈。线圈210可以包括能够在被提供电流时生成磁场的任何几何结构。线圈210可以是传送器配件200的电路的一部分(例如,印刷电路板(PCB),或者该线圈可以单独附接至传送器配件)。
传送器配件200可以包括分层的叠层212,诸如第一侧面202和第二侧面204,它们可以分别形成第一分层和第二分层。传送器配件200可以包括应用于传送器配件200的第一侧面(例如,线圈侧)的粘合层206。该粘合层被配置为将传送器配件200粘合至诸如患者皮肤的另一表面。该表面并不要求是平的或规则的。粘合层206可以包括粘合剂、胶水、吸盘或其它粘性表面。粘合层206通常被配置为是可移除的并且反复地重新应用于表面。粘合层206并不遮挡包括图标208的第二侧面204。
传送器配件200可以不包括有源电路。线圈210可以从远程源被驱动,诸如计算设备102的波形发生器。传送器配件200可以被配置为插入到计算设备102(或另一个设备)中以驱动磁信号。在一些实施方式中,传送器配件200可以被配置为诸如以菊链方式连接至一个或多个其它传送器配件。在另一个示例中,传送器配件200可以与一个或多个其它传送器配件并行连接。
转向图2B,示出了接收器配件220(例如,图1B的接收器配件120)的不同视图。接收器配件220的俯视图示出了该接收器配件的上表面230。类似于图2A的传送器配件200,接收器配件220可以包括光学标记226以便将特定接收器配件与其它接收器配件和/或传送器配件加以区分。接收器配件220可以包括一个或多个接收传感器,诸如线圈L1、L2和L3。更多的线圈可以增加测量的自由度数量。
示出了接收器配件220的透视图,其包括分层224和230。分层224可以是被配置为粘合至诸如手术台或患者的另一个表面的背层。分层230包括标记226和接收器222。在一些实施方式中,接收器配件220不包括有源电路。然而,如后续关于图1B和3C-3D所描述的,接收器配件220可以包括有源电路。
转向图3A-3B,示出了示例传送器配件的框图。该框图示出了可以包括在如关于图1A-2A中所描述的传送器配件106中的电子器件。
在图3A中,示出了传送器配件300的电子配件。该传送器配件的电子器件可以包括有源电子器件。例如,该传送器配件可以包括其自己的处理设备304、波形发生器306、存储器308,以及用于诸如通过连接器314发送和接收数据的接口302。片上系统316可以将波形发生器306、处理设备304、接口302和存储器308组合为可以添加至传送器配件或从中移除的单个模块。如之前所描述的,在一些实施方式中,模块316的电子器件可以被包括在计算设备102中。
处理设备304可以被配置为控制传送器配件300。处理设备304可以控制波形发生器306、接口302和存储器308。处理设备304被配置为与计算设备102和/或其它传送器配件通信。
存储器308被配置为存储传送器配件300本地的数据。例如,存储器308可以存储与传送器配件300相关的校准数据。在一些实施方式中,存储器308可以存储处理设备304的指令。
波形发生器306被配置为驱动传送器配件300的线圈210。磁信号的频率和振幅从处理设备304进行设置。波形发生器306生成被配置为导致来自线圈210的所期望磁信号的电流。波形发生器306通过放大器310发送所生成的信号,所述放大器310放大该信号并且将该电流信号发送至线圈210。线圈210从该线圈生成磁信号(例如,磁场)。波形发生器306可以别配置为生成要生成磁信号所需的任何波形,诸如正弦波、脉冲直流(DC)波、二次波等。
传送器配件300可以包括电源312。该电源将本地功率提供至模块316的设备以及放大器。该电源可以包括诸如纽扣电池的电池或者任何其它这样的电源。电源3123可以是可充电的(有线或无线)。在一些实施方式中,电源312被配置用于在丢弃该电源之前的一次性使用。在一些实施方式中,假设在不受成本限制的情况下,传送器配件300被配置用于丢弃之前的一次性使用。
接口302被配置用于与其它传送器配件106和计算设备102的有线或无线通信。在一些实施方式中,该接口被配置为往来于传送器配件300传送和接收指令。
转向图3B,示出了传送器配件300的变化形式320。传送器配件320包括附加的连接器318。连接器314、318可以将传送器配件320连接至其它传送器配件和计算设备102(或者磁性跟踪系统100的其它部分)。连接器314利用通过式连接而连接至连接器318。这允许将多个传送器配件320以菊链方式连接在一起。在一些实施方式中,块316的电子器件(其可替换地可以不是相同芯片的一部分)可以从传送器配件320中排除,并且可以使用共用电子器件来对每个传送器配件106进行供电、控制并驱动其磁信号。这样的配置在图4中示出。
转向图3C-3D,示出了示例接收器配件330、340的框图。该框图示出了可以被包括在关于图1B和2B所描述的接收器配件120中的电子器件。接口302、处理设备304、存储器308、放大器310和电源312可以全部以与关于图3A-3B的传送器配件300、320所描述的相似方式来工作。接收器配件330、340每个均可以包括模数转换器332,其被配置为将接收器线圈222所测量的模拟磁信号转换为适于由处理设备304所处理的数字信号。与传送器设备300、320相同,该接收器配件可以使用连接器314、318进行连接。在一些实施方式中,多个接收器340可以连接在一起(例如,以菊链配置)。连接器314、318可以允许接收器配件330、340互相通信。此外,连接器314、318允许简单连接和断开连接,使得每个接收器配件与其它接收器和传送器配件以及计算设备102形成模块化。配件330、340可以为了调试、便于连接、使用后丢弃以及其它这样的目的而被连接和断开连接。在一些实施方式中,所连接的配件330、340可以具有用于处理、无线和存储器能力的共用电子单元。
转向图4,示出了具有各种传送器配件404、406、408、410、412和414的示例传送器阵列400的框图。阵列400的传送器配件可以由单个电子器件配件402所控制、供电和驱动。在一些实施方式中,该电子器件配件是关于图1A-1B所描述的计算设备102的一部分。
阵列400包括连接在一起的多个传送器配件106。传送器配件106可以以菊链方式连接在一起,如图4所示,或者被并行连接至电子器件配件402。在一些实施方式中,该阵列可以是刚性的弯曲配件。在一些实施例中,传送器配件106被无线连接至阵列400中。
除了图2A的图标208之外或者作为其替代,传送器配件404、406、408、410、412和414中的每一个可以具有唯一的几何结构(例如,形状)从而将特定的传送器配件与该阵列中的其它传送器加以区分。例如,传送器配件404是正方形,传送器配件406是圆形,传送器配件408是三角形,等等。相机设备110和计算设备102如上文所描述的被配置为以类似方式来确定传送器配件404、406、408、410、412和414中的每一个的姿态。
图5示出了包括不同类型的传送器配件和相机设备110的示例磁性跟踪系统500的框图。磁性跟踪系统500类似于关于图1A-1B所描述的磁性跟踪系统500。在图5的磁性跟踪系统500中,相机110被配置为捕捉诸如传送器配件200、传送器配件506、传送器配件508和传送器配件510的不同类型的传送器配件的图像。
如之前所描述的,相机110被配置为跟踪多个传送器配件106中的全部传送器配件。来自相机设备110的图像可以向计算设备102提供信息以识别哪些传送器配件106是活跃的系统的一部分。计算设备102可以使用相机设备110的图像来跟踪每个传送器配件106的移动并且自动调节跟踪算法。例如,传送器配件106由于该传送器配件被附着于其的患者的呼吸作用所导致的移动可以被顾及到。例如,计算设备102可以确定传送器配件106在以一种模式运动并且校正姿态轨迹而使得传送器配件106被认为是静止的。周期性运动、遵循模式的运动或者小于阈值的移动均可以使用预测和校正算法而被校正。如果检测到过多的移动,则可以向用户接口104发送警告,通知用户传送器配件106的跟踪可能存在错误。
如之前所描述的,每个传送器配件200、506、508和510的标志可以有所变化,只要它们将相应的传送器配件与多个传送器配件中的其它传送器配件区分开来即可。除此之外,传送器配件200、506、508和510通常均传达能够根据传送器配件的图像或其它测量数据确定姿态的充分信息。例如,标志可以包括ArUco或ChArUco图案208a、208b和208c。例如,标志可以包括对来自(多个)相机光圈110a和110b附近的IR源504的红外(IR)激励作出响应的被动反光镜。传送器配件106可以包括传送光信号、射频数据、超声信号或其它姿态信息的有源标志508。如关于图4所描述的,传送器配件106自身可以被用于诸如针对传送器配件506的姿态确定。
转向图6,示出了用于利用图1A-5的磁性跟踪系统和传送器配件执行磁性跟踪的过程600的流程图。过程600表示磁性跟踪系统(例如,图1A-1B的磁性跟踪系统100)如何被配置用于确定该磁性跟踪系统的环境中的被跟踪对象的对象姿态。磁性跟踪系统100包括多个传送器配件。每个传送器配件包括被配置为针对该传送器配件生成磁信号的传送线圈。所接收的磁信号指示被跟踪对象相对于该传送器配件的对象姿态。每个传送器配件包括在视觉上标识该传送器配件相对于相机设备的姿态的标志。该相机设备被配置为捕捉多个传送器配件的至少一个图像,其包括每个传送器配件上的标志的表示。
相机被配置为捕捉(602)多个传送器配件的图像。过程600包括由计算设备(例如,图1A-1B的计算设备102)基于包括每个传送器配件上的标志的表示的图像而确定(604)该图像中的每个传送器配件的姿态。计算设备102被配置为从该接收器接收(606)每个磁信号。计算设备102被配置为基于该磁信号和与每个传送器配件相关联的姿态中的每一个而确定(608)被跟踪对象在该环境中的对象姿态。该计算设备被配置为诸如向用户接口输出该对象姿态的表示。
在一些实施方式中,该多个传送器配件中的至少一个传送器配件被配置为在该磁性跟踪系统的操作期间从该环境中的第一位置移动至该环境中的第二位置,并且其中该计算设备被配置为更新与该传送器配件相关联的姿态。
通常,该标志包括彼此处于预定距离的至少三个图标。该传送器配件的标志可以包括该传送器配件的外部形状,该外部形状与该多个传送器配件中的其它传送器配件的其它外部形状有所不同。该标志包括红外反光镜,并且其中该相机设备包括红外光源。
通常,该多个传送器配件中的至少一个包括被配置为存储与该传送器配件相关的校准数据的存储器,被配置为控制来自该传送器配件的磁信号的传输的处理设备;用于发送数据以及从该计算设备或该多个传送器配件中的其它传送器配件接收数据的通信接口;和被配置为向该存储器、该处理设备和该通信接口提供电力的电源。
在一些实施方式中,该多个传送器配件中的至少一个被配置为与该计算设备无线通信。在一些实施方式中,该多个传送器配件中的至少一个包括被配置为以可移除的方式将该传送器配件附着至该环境中的另一个表面的粘合剂。如之前所描述的,该被跟踪对象包括导管、内窥镜或外科手术器械之一。
在一个方面,该计算设备被配置为控制该多个传送器配件以生成该磁信号。控制该多个传送器配件可以包括执行每个传送器配件的时间片段复用,该时间片段复用使得该多个传送器配件中的每一个在不同时间按顺序传送该磁信号。控制该多个传送器配件可以包括执行每个传送器配件的频率复用,该频率复用被配置为使得该多个传送器中的每一个以不同频率值传送磁信号。
在一个方面,该多个传送器配件并行连接至该计算设备。在一个方面,该多个传送器配件被依次连接至该计算设备。
在一些实施方式中,该多个传送器配件中的至少一个传送器配件是模块化的。该计算设备被配置为响应于检测到该模块化传送器配件已经被移除而更新跟踪算法。
该传送器配件可以包括被配置为响应于接收到电流而生成磁信号的传送线圈;包括至少一个标志的第一表面,该至少一个标志被配置为标识传送器配件关于相机设备的姿态;和被配置为以可移除方式附着至另一个对象的第二表面。在一个方面,该传送器配件包括被配置为存储与该传送器相关的校准数据的存储器;被配置为控制来自该传送器配件的磁信号的传输的处理设备;用于向远程设备发送数据以及接收数据的通信接口;和被配置为向该存储器、该处理设备和该通信设备接口电力的电源。在一些实施方式中,该通信接口被配置为与该远程设备无线通信。在一些实施方式中,该电源是可充电的。
在一些实施方式中,该标志包括ArUco图案、ChArUco图案、红外反光镜、光源、超声源、无线电信号源和传送器配件的外部形状之一。
图7是示例计算机系统700的框图。图1A-1B的计算设备102可以是本文所描述的计算机系统700的示例。系统700可以包括处理器710、存储器720、存储设备730和输入/输出设备740。组件710、720、730和740中的每一个例如可以使用系统总线750进行互连。处理器710能够处理指令以便在系统700内执行。处理器710可以是单线程处理器、多线程处理器或量子计算机。处理器710能够处理存储在存储器720中或存储设备730上的指令。处理器710可以执行诸如使得EMT系统100确定被跟踪设备102的位置和/或定向之类的操作。
存储器720存储系统700内的信息。在一些实施方式中,存储器720是计算机可读介质。存储器720例如可以是易失性存储器单元或非易失性存储器单元。
存储设备730能够为系统700提供海量存储。在一个方面,存储设备730是非瞬态计算机可读介质。存储设备730例如可以包括硬盘设备、光谱设备、固态硬盘、闪存、磁带,或者一些其它的大容量存储设备。存储设备730可替换地可以是云存储设备,例如包括在网络上分布并且使用网络被访问的多个物理存储设备的逻辑存储设备。在一些实施方式中,存储在存储器720上的信息同样或另外地被存储在存储设备730上。
输入/输出设备740为系统700提供输入/输出操作。在一些示例中,输入/输出设备740包括一个或多个网络接口设备(例如,以太网卡)、串行通信设备(例如,RS-232 10端口)和/或无线接口设备(例如,短距离无线通信设备、602.11卡、3G无线调制解调器或4G无线调制解调器)。通常,输入/输出设备740包括被配置为接收输入数据并且向其它输入/输出设备发送输出设备的驱动器设备,所述其它输入/输出设备例如键盘、打印机和显示设备。在一些实施方式中,使用移动计算设备、移动通信设备和其它设备。
系统700可以包括微控制器。微控制器是将计算机系统的多个元件包含在单个电子封装中的设备。例如,该单个电子封装可以包含处理器710、存储器720、存储设备730和输入/输出设备740。
虽然已经在图7中描述了示例计算系统,但是上文所描述的主题和功能操作的实施方式可以以其它类型的数字电子电路来实施,或者以计算机软件、固件或硬件来实施,包括该说明书中所公开的结构或其结构等同形式,或者以它们中的一个或多个的组合来实施。本说明书中所描述主题的实施方式可以被实施为一个或多个计算机程序产品,即在有形计算机载体上编码的计算机程序指令的一个或多个模块,例如计算机可读介质,以便由处理系统所执行或者控制所述处理系统的操作。计算机可读介质可以是机器可读存储设备、机器可读存储底层、存储器设备、影响机器可读传播信号的物质构成,或者它们中一个或多个的组合。
术语“计算机系统”可以包含用于处理数据的所有装置、设备和机器,作为示例而包括可编程处理器、计算机,或者多个处理器或计算机。除了硬件之外,处理系统可以包括为所讨论的计算机程序创建执行环境的代码,例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一个或多个的组合的代码。
计算机程序(也被称作程序、软件、软件应用、脚本、可执行逻辑或代码)可以以任何形式的编程语言来编写,包括编译或解释语言,或者声明或过程语言,并且其可以以任何形式来部署,包括作为独立程序或者作为适于在计算环境中使用的模块、组件、子例程或其它单元。计算机程序并不一定对应于文件系统中的文件。程序可以被存储在保存其它程序或数据的文件的一部分之中(例如,被存储在标记语言文档中的一个或多个脚本),被存储在专用于所讨论程序的单个文件中,或者被存储在多个协同文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上执行或者在位于同一地点或跨多个地点分布并通过通信网络互连的多个计算机上执行。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性或易失性存储器、介质和存储器设备,作为示例包括半导体促成年前和设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘和可移除盘或磁带;磁性光盘;以及CD-ROM和DVD-ROM盘。处理器和存储器可以被补充以专用逻辑电路或者被整合于其中。该系统的组件可以通过例如通信网络的任何形式或介质的数字数据通信进行互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”),例如互联网。
已经描述了多个实施例。然而,将要理解的是,可以作出各种修改而并不背离本文所描述主题的精神和范围。其它这样的实施例处于以下权利要求的范围之内。
Claims (22)
1.一种磁性跟踪系统,其用于确定在所述磁性跟踪系统中的环境中被跟踪对象的对象姿态,所述磁性跟踪系统包括:
多个传送器配件,至少一个传送器配件包括:
传送线圈,其被配置为生成所述传送器配件的磁信号,所述磁信号指示被跟踪对象相对于所述传送器配件的对象姿态;以及
在视觉上标识所述传送配件相对于相机设备的姿态的标志;
其中,所述相机设备被配置为捕捉所述多个传送器配件的至少一个图像,所述至少一个图像包括所述传送器配件中的所述至少一个传送器配件上的标志的表示;以及
计算设备,其被配置为执行包括以下各项的操作:
基于包括所述传送器配件中的每个传送器配件上的所述标志的所述表示的所述图像,确定所述图像中的所述传送器配件中的所述至少一个传送器配件的姿态;
接收来自所述传送器配件中的所述至少一个传送器配件的所述磁信号中的每个磁信号;
基于所述磁信号中的每个磁信号以及与所述传送器配件中的所述至少一个传送器配件相关联的所述姿态,确定在所述环境中所述被跟踪对象的所述对象姿态;并且
输出所述对象姿态的表示。
2.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件中的至少一个传送器配件被配置为在所述磁性跟踪系统的操作期间从所述环境中的第一位置移动至所述环境中的第二位置,并且其中,所述计算设备被配置为更新与所述传送器配件相关联的姿态。
3.根据权利要求1所述的磁性跟踪系统,其中,所述标志包括图标。
4.根据权利要求1所述的磁性跟踪系统,其中,传送器配件的所述标志包括所述传送器配件的外部形状,所述外部形状与所述多个传送器配件中的其它传送器配件的其它外部形状不同。
5.根据权利要求1所述的磁性跟踪系统,其中,所述标志包括红外反光镜,并且其中,所述相机设备包括红外光源。
6.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件中的至少一个传送器配件包括:
存储器,其被配置为存储与所述传送器配件相关的校准数据;
处理设备,其被配置为控制对来自所述传送器配件的所述磁信号的传输;
通信接口,其用于发送数据以及从所述计算设备或所述多个传送器配件中的其它传送器配件接收数据;以及
电源,其被配置为向所述存储器、所述处理设备和所述通信接口提供电力。
7.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件中的至少一个传送器配件被配置为与所述计算设备无线通信。
8.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件中的至少一个传送器配件包括粘合剂,所述粘合剂被配置为以可移除的方式将所述传送器配件附着至所述环境中的另一表面。
9.根据权利要求1所述的磁性跟踪系统,其中,所述被跟踪对象包括导管、内窥镜、或外科手术器械之一。
10.根据权利要求1所述的磁性跟踪系统,其中,所述计算设备被配置为控制所述多个传送器配件以生成所述磁信号。
11.根据权利要求10所述的磁性跟踪系统,其中,控制所述多个传送器配件包括执行对所述传送器配件中的每个传送器配件的时间片段复用,所述时间片段复用使得所述多个传送器配件中的每个传送器配件在不同时间按顺序传送所述磁信号。
12.根据权利要求10所述的磁性跟踪系统,其中,控制所述多个传送器配件包括执行对对所述传送器配件中的每个传送器配件的频率复用,所述频率复用被配置为使得所述多个传送器中的每个传送器配件以不同频率值传送磁信号。
13.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件并行连接至所述计算设备。
14.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件被依次连接至所述计算设备。
15.根据权利要求1所述的磁性跟踪系统,其中,所述多个传送器配件中的至少一个传送器配件是模块化的,其中,所述计算设备被配置为响应于检测到模块化的传送器配件已经被移除而更新跟踪算法。
16.根据权利要求1所述的磁性跟踪系统,进一步包括被配置为测量来自所述传送器配件中的一个或多个传送器配件的所述磁信号的接收器配件,所述接收器配件包括在视觉上标识所述接收器配件相对于所述相机设备的姿态的接收器标志。
17.根据权利要求1所述的磁性跟踪系统,其中,所述计算设备被配置为基于与所述接收器配件相关联的第一姿态以及与所述多个传送器配件中的一个传送器配件相关联的第二姿态确定所述磁信号的失真。
18.一种用于生成磁信号的传送器配件,其包括:
传送线圈,其被配置为响应于接收到电流而生成磁信号;
第一表面,其包括至少一个标志,所述至少一个标志被配置为标识所述传送器配件相对于相机设备的姿态;以及
第二表面,其被配置为以可移除方式附着至另一个对象。
19.根据权利要求16所述的传送器配件,进一步包括:
被配置为存储与所述传送器相关的校准数据;
被配置为控制来自所述传送器配件的所述磁信号的传输;
用于向远程设备发送数据以及接收数据的通信接口;和
被配置为向所述存储器、所述处理设备和所述通信接口提供电力的电源。
20.根据权利要求17所述的传送器配件,其中,所述通信接口被配置为与所述远程设备无线通信。
21.根据权利要求17所述的传送器配件,其中,所述电源是可充电的。
22.根据权利要求16所述的传送器配件,其中,所述标志包括以下各项中的一项:ArUco图案、ChArUco图案、红外反光镜、光源、超声源、无线电信号源、和所述传送器配件的外部形状。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962906532P | 2019-09-26 | 2019-09-26 | |
US62/906,532 | 2019-09-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112545648A true CN112545648A (zh) | 2021-03-26 |
Family
ID=74872683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011030170.6A Pending CN112545648A (zh) | 2019-09-26 | 2020-09-27 | 用于电磁跟踪系统的可配置传送器阵列 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11953349B2 (zh) |
CN (1) | CN112545648A (zh) |
CA (2) | CA3210881A1 (zh) |
DE (1) | DE102020125165A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286065A1 (en) * | 2021-07-15 | 2023-01-19 | Magnisity Ltd. | Coil geometry for an electromagnetic tracking system |
US20230399127A1 (en) * | 2022-06-09 | 2023-12-14 | Honeywell International Inc. | Active landing marker |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1901835A (zh) * | 2003-11-14 | 2007-01-24 | 通用电气公司 | 减少电磁跟踪器中失真的系统和方法 |
CN105222772A (zh) * | 2015-09-17 | 2016-01-06 | 泉州装备制造研究所 | 一种基于多源信息融合的高精度运动轨迹检测系统 |
CN107072740A (zh) * | 2014-11-21 | 2017-08-18 | 思外科有限公司 | 视觉跟踪系统和跟踪识别器间传输数据的可见光通信系统 |
US20190060001A1 (en) * | 2017-08-01 | 2019-02-28 | Inneroptic Technology, Inc. | Selective transparency to assist medical device navigation |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0775627A (ja) * | 1993-06-11 | 1995-03-20 | Hitachi Ltd | 磁気共鳴診断装置における体動追従計測方法 |
US6059718A (en) * | 1993-10-18 | 2000-05-09 | Olympus Optical Co., Ltd. | Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope |
US5729129A (en) | 1995-06-07 | 1998-03-17 | Biosense, Inc. | Magnetic location system with feedback adjustment of magnetic field generator |
DE69733341T2 (de) | 1996-02-27 | 2006-02-02 | Biosense Webster, Inc., Diamond Bar | Ortungsverfahren mit feldbestätigungssequenzen |
US7366562B2 (en) | 2003-10-17 | 2008-04-29 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation |
US6474341B1 (en) | 1999-10-28 | 2002-11-05 | Surgical Navigation Technologies, Inc. | Surgical communication and power system |
US6493573B1 (en) | 1999-10-28 | 2002-12-10 | Winchester Development Associates | Method and system for navigating a catheter probe in the presence of field-influencing objects |
US8239001B2 (en) | 2003-10-17 | 2012-08-07 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation |
US6636757B1 (en) | 2001-06-04 | 2003-10-21 | Surgical Navigation Technologies, Inc. | Method and apparatus for electromagnetic navigation of a surgical probe near a metal object |
US6774624B2 (en) | 2002-03-27 | 2004-08-10 | Ge Medical Systems Global Technology Company, Llc | Magnetic tracking system |
US7248914B2 (en) | 2002-06-28 | 2007-07-24 | Stereotaxis, Inc. | Method of navigating medical devices in the presence of radiopaque material |
US7599730B2 (en) | 2002-11-19 | 2009-10-06 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
US7697972B2 (en) | 2002-11-19 | 2010-04-13 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
US7505809B2 (en) | 2003-01-13 | 2009-03-17 | Mediguide Ltd. | Method and system for registering a first image with a second image relative to the body of a patient |
US7660623B2 (en) | 2003-01-30 | 2010-02-09 | Medtronic Navigation, Inc. | Six degree of freedom alignment display for medical procedures |
US7542791B2 (en) | 2003-01-30 | 2009-06-02 | Medtronic Navigation, Inc. | Method and apparatus for preplanning a surgical procedure |
US7015859B2 (en) | 2003-11-14 | 2006-03-21 | General Electric Company | Electromagnetic tracking system and method using a three-coil wireless transmitter |
CA2586736C (en) * | 2004-10-25 | 2015-12-22 | Eastern Virginia Medical School | System, method and medium for simulating normal and abnormal medical conditions |
US7835785B2 (en) | 2005-10-04 | 2010-11-16 | Ascension Technology Corporation | DC magnetic-based position and orientation monitoring system for tracking medical instruments |
DE102008055918A1 (de) * | 2008-11-05 | 2010-05-06 | Siemens Aktiengesellschaft | Verfahren zum Betreiben eines medizinischen Navigationssystems und medizinisches Navigationssystem |
US20100249571A1 (en) | 2009-03-31 | 2010-09-30 | General Electric Company | Surgical navigation system with wireless magnetoresistance tracking sensors |
US20100305427A1 (en) | 2009-06-01 | 2010-12-02 | General Electric Company | Long-range planar sensor array for use in a surgical navigation system |
US8812079B2 (en) * | 2010-12-22 | 2014-08-19 | Biosense Webster (Israel), Ltd. | Compensation for magnetic disturbance due to fluoroscope |
US9480415B2 (en) | 2013-04-26 | 2016-11-01 | Medtronic Navigation, Inc. | Electromagnetic coil apparatuses for surgical navigation and corresponding methods |
US10064567B2 (en) | 2013-04-30 | 2018-09-04 | Medtronic, Inc. | Systems, methods, and interfaces for identifying optimal electrical vectors |
US9629570B2 (en) | 2013-11-21 | 2017-04-25 | Biosense Webster (Israel) Ltd. | Tracking of catheter from insertion point to heart using impedance measurements |
US20150305823A1 (en) | 2014-04-25 | 2015-10-29 | General Electric Company | System and method for processing navigational sensor data |
US10588541B2 (en) | 2014-07-15 | 2020-03-17 | General Electric Company | Magnetic tracker system and method for use for surgical navigation |
US10441366B2 (en) | 2014-10-22 | 2019-10-15 | Think Surgical, Inc. | Actively controlled optical tracker with a robot |
US11026750B2 (en) | 2015-01-23 | 2021-06-08 | Queen's University At Kingston | Real-time surgical navigation |
RU2017140233A (ru) | 2015-05-12 | 2019-06-13 | Навикс Интернэшнл Лимитед | Оценка качества контакта посредством анализа диэлектрических свойств |
US20160331263A1 (en) | 2015-05-13 | 2016-11-17 | Ep Solutions Sa | Customizable Electrophysiological Mapping Electrode Patch Systems, Devices, Components and Methods |
US20160354009A1 (en) | 2015-06-04 | 2016-12-08 | General Electric Company | Minimally Invasive Patient Reference Systems and Methods for Navigation-Assisted Surgery |
US11006853B2 (en) | 2015-09-04 | 2021-05-18 | Biosense Webster (Israel) Ltd. | Field-based location coordinate correction |
JP6985262B2 (ja) | 2015-10-28 | 2021-12-22 | エンドチョイス インコーポレイテッドEndochoice, Inc. | 患者の体内における内視鏡の位置を追跡するための装置及び方法 |
WO2020206423A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, In C. | Registration of spatial tracking system with augmented reality display |
US11393110B2 (en) * | 2019-04-04 | 2022-07-19 | Centerline Biomedical, Inc. | Spatial registration of tracking system with an image using two-dimensional image projections |
-
2020
- 2020-09-23 CA CA3210881A patent/CA3210881A1/en active Pending
- 2020-09-23 CA CA3093980A patent/CA3093980C/en active Active
- 2020-09-24 US US17/031,350 patent/US11953349B2/en active Active
- 2020-09-25 DE DE102020125165.3A patent/DE102020125165A1/de active Pending
- 2020-09-27 CN CN202011030170.6A patent/CN112545648A/zh active Pending
-
2024
- 2024-03-04 US US18/594,474 patent/US20240247955A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1901835A (zh) * | 2003-11-14 | 2007-01-24 | 通用电气公司 | 减少电磁跟踪器中失真的系统和方法 |
CN107072740A (zh) * | 2014-11-21 | 2017-08-18 | 思外科有限公司 | 视觉跟踪系统和跟踪识别器间传输数据的可见光通信系统 |
CN105222772A (zh) * | 2015-09-17 | 2016-01-06 | 泉州装备制造研究所 | 一种基于多源信息融合的高精度运动轨迹检测系统 |
US20190060001A1 (en) * | 2017-08-01 | 2019-02-28 | Inneroptic Technology, Inc. | Selective transparency to assist medical device navigation |
Also Published As
Publication number | Publication date |
---|---|
US20210096001A1 (en) | 2021-04-01 |
US11953349B2 (en) | 2024-04-09 |
CA3093980A1 (en) | 2021-03-26 |
DE102020125165A1 (de) | 2021-04-01 |
CA3210881A1 (en) | 2021-03-26 |
CA3093980C (en) | 2023-10-31 |
US20240247955A1 (en) | 2024-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3914182B1 (en) | Flexible multi-coil tracking sensor | |
US20240247955A1 (en) | Reconfigurable transmitter array for electromagnetic tracking systems | |
EP3265009B1 (en) | Redundant reciprocal tracking system | |
CN112472297B (zh) | 位姿监测系统、方法、手术机器人系统和存储介质 | |
US11806090B2 (en) | System and method for image based registration and calibration | |
DK2227703T3 (en) | A method for movement detection | |
US11197723B2 (en) | Medical guidance system and method using localized insertion plane | |
US20150223725A1 (en) | Mobile maneuverable device for working on or observing a body | |
US20200129240A1 (en) | Systems and methods for intraoperative planning and placement of implants | |
CN113768527A (zh) | 基于ct与超声影像融合的实时三维重建方法、装置及介质 | |
US20210386485A1 (en) | Distortion Correction for Electromagnetic Fields Using Inside-Out Tracking | |
US11944391B2 (en) | Systems and methods for using surgical robots with navigation arrays | |
CN108472082B (zh) | 用于医学导航的配准系统以及其操作方法 | |
CN116018104A (zh) | 使用单个参考系的多个机器人臂的配准 | |
US20220183766A1 (en) | Systems and methods for defining a work volume | |
CN117440786A (zh) | 用于检测和监测盖布配置的系统和方法 | |
AU2021288205A1 (en) | Navigational and/or robotic tracking methods and systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240304 Address after: Rika University Applicant after: NORTHERN DIGITAL Inc. Country or region after: Canada Address before: Vermont Applicant before: Ascension Technology Corp. Country or region before: U.S.A. |