CN104507394A - 对点的从超声图像到跟踪系统的准确且快速的映射 - Google Patents

对点的从超声图像到跟踪系统的准确且快速的映射 Download PDF

Info

Publication number
CN104507394A
CN104507394A CN201380039876.0A CN201380039876A CN104507394A CN 104507394 A CN104507394 A CN 104507394A CN 201380039876 A CN201380039876 A CN 201380039876A CN 104507394 A CN104507394 A CN 104507394A
Authority
CN
China
Prior art keywords
sensor
tracking
truing tool
space
image space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380039876.0A
Other languages
English (en)
Other versions
CN104507394B (zh
Inventor
V·帕塔萨拉蒂
A·K·贾殷
H·谢
F·G·G·M·维尼翁
C·S·霍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104507394A publication Critical patent/CN104507394A/zh
Application granted granted Critical
Publication of CN104507394B publication Critical patent/CN104507394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/30—Arrangements for calibrating or comparing, e.g. with standard objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4494—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer characterised by the arrangement of the transducer elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8934—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration
    • G01S15/8936—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration using transducers mounted for mechanical movement in three dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/5205—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time

Abstract

一种用于映射图像与跟踪系统之间的坐标的方法包括提供(702)具有固定的几何形状的校准工具。所述校准工具包括与成像模式相关联的第一传感器和与跟踪模式相关联的第二传感器。所述第一传感器和所述第二传感器被分布并且安装在所述固定的几何形状上的已知位置处。所述第一传感器(708)被定位在成像系统的视场中，以确定所述校准工具在图像空间中的位置。跟踪(716)所述第二传感器以确定所述校准工具在跟踪空间中的相同的位置。基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射(722)在公共坐标系中。

Description

对点的从超声图像到跟踪系统的准确且快速的映射
技术领域
本公开涉及医学仪器，并且更具体地涉及用于在医学应用或其他应用中的不同的坐标系之间的快速配准的系统与方法。
背景技术
将超声用于外科手术导航需要在全局坐标系中跟踪换能器。光学或电磁(EM)跟踪传感器通常被附接到换能器，允许跟踪换能器的位置和取向。需要确定超声(US)图像空间与附接的跟踪设备空间之间的固定映射，以用于在空间中跟踪超声探头。然而，许多传统的映射方法需要人机交互来识别控制点的图像坐标。由于对于大量控制点的需要，人工流程而是耗时的。在将超声引导系统商品化和维护超声引导系统时，这可能导致问题。
人类交互或图像处理对于分割超声图像中的控制点的图像坐标是必要的。由于在超声图像中被可视化时工具端部的分辨率差，所以该分割是困难的。人工分割通常导致校准中的操作者误差，并且使校准过程繁琐且耗时。此外，两个坐标系之间的准确映射可能需要大量控制点——这在手动完成过程的情况下特别困难。另外，在人工交互的情况下，通常由于用来采集对应的点匹配所需要的时间量而不执行对校准的流程内质量控制。
发明内容
根据本发明的原理，提供了一种用于映射图像与跟踪系统之间的坐标的系统，所述系统包括具有固定的几何形状的校准工具。所述校准工具包括与成像模式相关联的第一传感器和与跟踪模式相关联的第二传感器。所述第一传感器和所述第二传感器被分布并且安装在所述固定的几何形状上的已知位置处。成像系统被配置为在所述成像系统的视场中定位所述第一传感器，以确定所述校准工具在图像空间中的位置。跟踪系统被配置为跟踪所述第二传感器，以确定所述校准工具在跟踪空间中的相同的位置。传感器模块被配置为基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射在公共坐标系中。
例如，所述传感器模块可以使用所述校准工具的单个姿态来校准所述图像空间与所述跟踪空间之间的配准。然而，可能所述传感器模块使用所述校准工具的多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。也可能所述传感器模块通过将成像探头移动到多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。所述固定的几何形状可以包括立方体，并且所述第一传感器和所述第二传感器可以被分布并且安装在所述立方体的面上。也可能所述固定的几何形状包括针，并且所述第一传感器和所述第二传感器被沿所述针分布并且安装。所述第一传感器可以包括超声接收器，并且所述图像空间可以包括超声体积图像空间。所述第二传感器可以包括电磁(EM)跟踪传感器，并且所述跟踪空间可以包括生成的EM场。也可能所述第二传感器包括光纤形状感测传感器，以确定所述校准工具在跟踪空间中的所述位置。另外，可能所述第一传感器包括被配置为超接收流动造影剂的超声接收器。所述第一传感器可以被配置为使得所述流动造影剂仅在所述第一传感器的头部中可见。再者，可能所述校准工具包括用于体内校准的介入工具。
额外地，根据本发明的原理，提供了一种用于映射图像与跟踪系统之间的坐标的方法，所述方法包括提供具有固定的几何形状的校准工具。所述校准工具包括与成像模式相关联的第一传感器和与跟踪模式相关联的第二传感器。所述第一传感器和所述第二传感器被分布并且安装在所述固定的几何形状上的已知位置处。所述第一传感器被定位在成像系统的视场中，以确定所述校准工具在图像空间中的位置。跟踪所述第二传感器以确定所述校准工具在跟踪空间中的相同的位置。基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射在公共坐标系中。
例如，映射可以包括使用所述校准工具的单个姿态来校准所述图像空间与所述跟踪空间之间的配准。也可能所述映射包括使用所述校准工具的多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。另外，映射可以包括通过将成像探头移动到多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。所述固定的几何形状可以包括立方体，并且所述第一传感器和所述第二传感器可以被分布并且安装在所述立方体的面上。也可能所述固定的几何形状包括针，并且所述第一传感器和所述第二传感器被沿所述针分布并且安装。所述第一传感器可以包括超声接收器，并且所述图像空间可以包括超声体积图像空间。第二传感器可以包括电磁(EM)跟踪传感器，并且所述跟踪空间可以包括生成的EM场。也可能所述第二传感器包括光纤形状感测传感器，并且跟踪所述第二传感器包括使用来自所述光纤形状感测传感器的反馈来确定所述校准工具在跟踪空间中的所述位置。另外，所述第一传感器可以包括被配置为接收流动造影剂的超声接收器，并且所述方法例如可以还包括泵送所述造影剂通过所述超声接收器。
根据本发明的原理，还提供了另一种用于映射图像与跟踪系统之间的坐标的方法，所述方法包括提供具有固定的几何形状的校准工具，所述校准工具包括被配置为出现在超声图像中的超声接收器和与跟踪模式相关联的跟踪传感器，所述超声接收器和所述跟踪传感器被分布并且安装在所述固定的几何形状上的已知位置处；相对于被跟踪的超声探头将所述超声接收器定位在超声成像系统的视场中，以确定所述校准工具在图像空间中的位置；跟踪所述跟踪传感器以确定所述校准工具在跟踪空间中的相同的位置；并且通过在所述图像空间和所述跟踪空间两者中将所述校准工具的坐标系变换到所述被跟踪的超声探头，基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射在公共坐标系中。
例如，映射可以包括使用所述校准工具的单个姿态来校准所述图像空间与所述跟踪空间之间的配准。然而，也可能映射包括使用所述校准工具的多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。另外，也可能映射包括通过将被跟踪的探头移动到多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。所述固定的几何形状可以包括立方体，并且所述超声接收器和所述跟踪传感器可以被分布并且安装在所述立方体的面上。也可能所述固定的几何形状包括针，并且所述超声接收器和所述跟踪传感器被沿所述针分布并且安装。所述跟踪传感器可以包括电磁(EM)跟踪传感器，并且所述跟踪空间可以包括生成的EM场。也可能所述跟踪传感器包括光纤形状感测传感器，并且跟踪所述跟踪传感器包括使用来自所述光纤形状感测传感器的反馈来确定所述校准工具在跟踪空间中的所述位置。另外，所述超声接收器可以被配置为接收流动造影剂，并且所述方法例如还可以包括泵送所述造影剂通过所述超声接收器。
附图说明
结合附图阅读对本公开的说明性实施例的以下详细说明，本公开的这些和其他目的、特征和优点将变得显而易见。
本公开将参考附图详细呈现对优选实施例的以下说明，其中：
图1是示出了根据本发明的原理的、采用校准设备或工具的坐标系映射或配准系统的方框图/流程图；
图2是示出了根据一个实施例的说明性校准设备或工具的透视图；
图3是示出了根据一个实施例的、在校准流程期间成像视场中的说明性校准设备或工具的透视图；
图4是示出了根据一个实施例的、在校准流程期间成像视场中的另一个说明性校准设备或工具的透视图；
图5是示出了根据一个实施例的、被并入到介入设备中的说明性校准设备或工具的侧视图；
图6是示出了根据一个实施例的、使用光纤形状感测作为跟踪模式的说明性校准设备或工具的透视图；
图7是示出了根据一个实施例的、使用超声造影剂作为对校准设备进行成像的方式的说明性校准设备或工具的透视图；并且
图8是示出了根据优选的实施例的、用于使用校准设备或工具来在跟踪坐标系与成像坐标系之间进行映射或配准的方法的流程图。
具体实施方式
根据本发明的原理，提供了用来自动地收集大量控制点以使得能够在医学流程或其他流程中将图像空间快速并且自动地映射到跟踪空间的系统及方法。提供了一种工具，所述工具包括被嵌入其中的一个或多个超声传感器(无源的或有源的)。可以以亚毫米的准确度来定位这些传感器。工具还包括被嵌入其中的空间跟踪传感器，所述空间跟踪传感器可以相对于超声传感器而被工厂校准。这实使得能够对跟踪传感器和超声传感器的进行快速自动共定位(co-localization)，这甚至可以仅利用工具的单个超声快照视图而被执行。
该工具可以在体外或体内用于流程期间的自动系统设置。本发明的原理可以被用来完全去除对于分割工具尖端的需要，并且由此增加易用性。此外，本发明的原理由于减少的操作者误差而增加了共定位的速度和准确度，并且由于在两个坐标系之间的鲁棒映射中快速收集许多控制点的能力而增高了鲁棒性。
应当理解，将关于医学仪器来描述本发明；然而，本发明的教导宽泛得多并且适用于任何成像与跟踪组合仪器或系统。在一些实施例中，本发明的原理被用在跟踪或分析复杂的生物或机械系统中。具体而言，本发明的原理适用于生物系统的内部跟踪流程，诸如肺、胃肠道、排泄器官、血管等的身体的所有区域中的流程。附图中描绘的元件可以被以硬件和软件的各种组合来实施，并且可以提供可以被组合在单个元件或多个元件中的功能。
可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件来提供附图中示出的各个元件的功能。当由处理器来提供功能时，可以由单个专用处理器、由单个共享处理器或由其中一些可以被共享的多个独立处理器来提供功能。此外，对术语“处理器”或“控制器”的明确的使用不应被解释为排他地指代能够执行软件的硬件，并且能够暗含地包括但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器等。
此外，本文中记载原理、方面和本发明的实施例及其具体范例的所有陈述旨在包括其结构等价方案和功能等价方案两者。此外，旨在使这样的等价方案包括目前已知的等价方案以及将来发展出的等价方案(即发展出的执行相同的功能的任何元件，而不论其结构如何)两者。因此，例如，本领域技术人员应当意识到本文提出的方框图表示说明性系统部件的概念性视图和/或实现本发明的原理的电路图。类似地，应当意识到任何流程图表、流程图等表示各个过程，这些过程可以基本在计算机可读存储媒体中表示并且因此由计算机或处理器执行，不论是否明确示出了这样的计算机或处理器。
另外，本发明的原理的实施例可以采取能够从计算机可用或计算机可读存储介质访问的计算机程序产品的形式，所述计算机可用或计算机可读存储介质提供由计算机或任何指令执行系统使用或结合计算机或任何指令执行系统使用的程序代码。出于这种说明的目的，计算机可用或计算机可读存储介质能够是可以包括、存储、传送、传播或输送由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何装置。所述介质可以是电子、磁性、光学、电磁、红外线或半导体系统(或装置或设备)或者传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前的范例包括光盘-只读存储器(CD-ROM)、读/写光盘(CD-R/W)、蓝光盘TM和DVD。
现在参考附图，在附图中，相似的附图标记表示相同或相似的元件，并且首先参考图1，根据一个实施例说明性地示出了用于通过成像系统与跟踪系统之间的配准来校准操作空间的系统100。系统100可以包括工作站或控制台112，从工作站或控制台112监督和/或管理流程。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。传感器模块115可以被存储在存储器116中，或者作为单独的单元而被包括。传感器模块115接收来自智能校准设备或工具130、成像系统134和跟踪系统132的数据，以解释校准设备的位置和取向并且对成像系统134和跟踪系统132的坐标系进行配准。传感器模块115被配置为接收来自至少两个系统的反馈，并且也可以采用额外的系统。传感器模块115可以视情况将一个坐标系变换到另一个，将局部坐标系变换到公共全局坐标系，或采用中间坐标系或其他坐标系。
在一个特别有用的实施例中，两个系统包括跟踪系统132和成像系统134。跟踪系统132可以包括电磁(EM)跟踪系统，以在跟踪坐标空间中跟踪空间位置，所述电磁(EM)跟踪系统包括场生成器142和跟踪传感器(例如线圈)。其他跟踪系统可以包括光学跟踪系统、光学形状感测系统或任何其他合适的跟踪系统。在该实施例中，EM跟踪传感器包括在成像探头146上的传感器144(还预期其他成像模态)和(一个或多个)传感器152。成像系统134可以包括超声成像系统，所述超声成像系统采用探头146以用于对诸如内部器官等的结构进行成像，从而在成像坐标空间中对结构进行成像。
参考图2并且继续参考图1，对于该范例，智能校准设备130包括具有在设备130内的已知几何关系的EM传感器152和超声传感器(接收器)154。智能校准设备或工具130创建或留下图像或跟踪信号伪影，以允许各自的坐标系之间的配准。EM传感器152和接收器154优选地是对通过它们各自的系统对提供给它们的场或能量做出反应的无源设备。设备130优选地包括已知的或独特的形状，以使得可以在不同的坐标系中区分几何结构及其取向。在一个实施例中，设备130包括诸如立方体的固定几何结构的壳体124，壳体124具有被设置在其上或其中的传感器152和/或接收器154。在立方体的情况下，传感器152和/或接收器154被设置在立方体的每个面上或附近。工具130的其他固定的几何形状包括针形、卵形、圆形等。
设备130提供对超声(US)成像坐标系126(例如基于被定义在探头146处的原点)到跟踪空间坐标系128(例如基于被定义在场生成器142处的原点)的快速、准确且鲁棒的映射。可以采用其他原点作为给出的范例的替代或补充。设备130可以包括无源超声接收器154和EM传感器152中的一个或多个的工厂校准的布置。这些接收器154和/或传感器152可以被设置在设备130外部或内部。设备130可以被用于流程前校准(在患者外部)或被用作介入工具以用于对校准的体内质量控制。
可以以高分辨率(例如亚毫米)来识别超声传感器154的位置，并且可以将超声传感器154的位置配准到EM跟踪位置，由此增加校准的准确度。考虑到设备130的易用性，采集大量测量结果的能力在短时间段中是可能的，这通过映射坐标系使校准更鲁棒，以用于术前对US探头的快速校准，或者用于术中快速检查校准的保真度。设备130可以被用于2D图像和3D图像两者。
在设备130的一个实施例中，多个EM(例如五个自由度(DOF))传感器152和无源超声接收器154被嵌入在工具中，以使得可以在制作过程期间将这些传感器152、154的配置彼此校准。在被带入到超声体积148的视场(由探头146或其他源产生的窗口)中时，这些超声接收器154可以以亚mm的准确度被识别。
当设备130被带入到超声体积148的视场中时，即使是设备130的单个图像也足以得到对两个坐标系(例如成像坐标系和跟踪坐标系)的快速映射。这产生提供快速校准的能力。如果需要更准确或鲁棒的共定位，则可以在同时记录以下中的一个或多个的测量结果的同时，将超声探头146与设备130相对于彼此移动：探头的EM跟踪器144、设备130上的EM传感器152和/或超声接收器154在US体积148中的位置。在探头146的每种配置中，超声传感器154都应当保持在US体积148中可见。该连续数据收集产生丰富的数据的集合，以用于对两个集合的点配准，由此产生成像坐标系126与跟踪坐标系128之间的准确并且鲁棒的超声映射。
如所描述的，设备130可以包括单独设计的校准仪器，或者可以被包括在介入医学设备或仪器102中。医学设备102可以包括导管、引导线、探头、内窥镜、机器人、电极、滤波器设备、球囊设备或其他医学部件等。
在一个实施例中，工作站112记录关于设备130在体积148内何处的累积位置数据。工作站112可以包括显示器118以用于查看对象(患者)或体积148的内部图像，并且可以包括US图像作为叠加或也示出设备130及其位置的其他绘制。显示器118还可以允许用户与工作站112及其部件和功能、或系统100内的任何其他元件进行交互。这还可以由接口120来促进，接口120可以包括键盘、鼠标、操纵杆、触觉设备或任何其他外围设备或控制器以允许用户从工作站112反馈并且与工作站112进行交互。
系统100可以被用于成像系统134(例如超声)到跟踪系统132的快速映射。设备130可以被用于一次性校准(比方说在工厂中)以及被用在周期性校准检查中以作为针对探头或其他装置的质量控制服务检查的部分。此外，本实施例可以被用来在仪器在身体里面的同时进行对超声校准的质量控制检查。本发明的原理可以被用于图像引导的外科手术领域，尤其是采用引导和对具有其他坐标系(例如其他图像模态和跟踪系统)的图像的融合的外科手术介入。本发明的原理也可以被用在分析包括解剖模型、训练模型、引擎、其他设备等的机械系统中。
参考图3，示意图示出了使用设备130来对坐标系进行配准的说明性范例。设备130被移动到US视场或体积148中。设备130也在由场生成器142(图1)生成的场内。探头142包括被安装在其上的EM跟踪器144。这样，EM传感器152可以提供相对于探头146上的EM传感器144，以及最终相对于跟踪系统空间(T)的全局坐标参考(L)162的参考位置和取向。类似地，设备130和US接收器154产生US图像中的视觉效果。这允许在图像空间(I)中的探头146与设备130(和/或其传感器154)之间的相对位置。由于设备130的取向是已知的并且在两种方案中是相同的，所以提供了在两个方案之间和/或到全局坐标系162的配准。图3说明性地示出了从图像空间(I)到跟踪空间(T)的变换TFI，以及从跟踪空间(T)到全局参考(L)的变换LFT。
参考图4，设备130的另一个实施例包括针型设备330。在这种情况下，一对或多对EM传感器152和无源超声接收器154被嵌入在设备330中或被安装在设备330上。工作流与以上针对校准和映射跟踪系统和成像系统来描述的工作流相似。需要针设备330的至少三幅图像来执行具有单一对配置的映射。这是由于针设备330的几何结构。针设备330可以被放置在相对于超声探头146的不同位置和取向中，并且可以同时记录EM传感器(152)位置和接收器(154)位置的同时读数。在方框336中，可以使用收集到的数据来对针设备330在图像空间332和跟踪空间334中的(一个或多个)位置进行配准。为了帮助可视化，可以显示叠加图像338，示出US传感器154的位置。
参考图5，在另一个实施例中，可以将一组(constellation)传感器(EM传感器152和无源超声接收器154两者)嵌入在介入工具402中。工作流与所描述的工作流相似。该工具402对于身体内部的成像/跟踪尤其有用。跟踪系统可以包括具有传感器152和/或光学形状感测系统170的EM跟踪系统。所述光学形状感测系统可以与传感器152一起或代替传感器152而被采用。通过绕超声视场(FOV)移动介入工具402，可以获得快速校准，并且接着将所述快速校准与术前获得的基线校准进行比较，以确保所述校准仍保持保真度。
参考图6，在另一个实施例中，与设备130相似，智能校准设备或工具502包括嵌入的超声接收器154和具有光纤或多条光纤504的光学形状感测系统。出于说明性的目的，光学形状感测纤维504被描绘为沿设备502的立方体形壳体506的角延伸。应当理解，形状感测纤维504可以具有其他配置，并且壳体506可以包括其他形状。使用与在其他实施例中描述的相同的技术，该设备502可以被用来将超声图像的坐标系校准到代替EM跟踪坐标系的光学形状感测坐标系510。
再次参考图1并继续参考图6，设备502上的光学形状感测系统包括以图样或一组图样被耦合到设备502的一条或多条光纤504。光纤504通过布线127连接到工作站112。布线127根据需要可以包括光纤、电气连接、其他仪器等。
具有光纤504的形状感测系统可以基于光纤布拉格光栅传感器。光纤布拉格光栅(FBG)是光纤中反射特定波长的光并且透射所有其他光的短段。这是通过添加纤芯中的折射率的周期性变化来实现的，这生成波长特异介质反射镜。光纤布拉格光栅因此可以被用作内联光学滤波器以阻挡特定的波长，或被用作波长特异反射器。
光纤布拉格光栅的操作背后的基本原理是在折射率变化的界面中的每处的菲涅耳反射。对于一些波长，在各个周期的反射光是同相的，以使得对于反射存在相长干涉，并且因此对于透射存在相消干涉。布拉格波长对应变以及对温度敏感。这意味着，布拉格光栅可以被用作光纤传感器中的感测元件。在FBG传感器中，被测变量(例如应变)引起布拉格波长的偏移。
该技术的一个优势是，各个传感器元件可以被沿纤维的长度分布。大量FBG传感器可以被沿纤维的长度定位，并且多个芯可以被一起用在同一护套中(例如3个或更多个纤维感测芯)。根据每个FBG的应变测量结果，可以推断在该位置处的结构的曲率。根据大量测得的位置，确定总体三维形式，以使得设备502的位置和取向将是已知的。
作为光纤布拉格光栅的备选，可以采用常规光纤中的固有反向散射。一种这样的方法是使用标准单模通信纤维中的瑞利(Rayleigh)散射。瑞利散射作为纤芯中折射率的随机波动的结果出现。这些随机波动可以被建模为具有沿光栅长度的幅度和相位的随机变化的布拉格光栅。通过使用在多芯纤维的单个长度内延伸的三个或更多个芯中的这种效应，可以理解感兴趣表面的3D形状和动力学。
参考图7，在另一个实施例中，与设备130相似，智能校准设备602包括嵌入的超声传感器654和EM传感器656。超声传感器654被配置为包括循环造影剂614。每个超声传感器654都包括具有“闭环”冲洗系统606的头部604。冲洗系统606允许超声造影剂614的循环。头部604被连接到柄610或其他支撑件。柄610和头部604包括与使造影剂614循环的泵(未示出)连通的管612。柄610和/或头部604被设计为在超声中是低回声的，以使得只有头部604中的超声造影剂614在超声图像中可见。传感器654的头部604可以由超声透明的材料制成。传感器的头部604的大小取决于超声频率，并且应包括亚毫米尺寸，例如大约0.1-0.2mm。
参考图8，示出了用于映射成像系统与跟踪系统之间的坐标的方法。在方框702中，提供了具有固定的几何形状的校准工具。校准工具包括与成像模式相关联的第一传感器和与跟踪模式相关联的第二传感器。第一传感器和第二传感器被分布并且安装在固定的几何形状上的已知位置处。
在方框704中，固定的几何形状可以包括立方体，并且第一传感器和第二传感器被分布并且安装在立方体的面上。在方框706中，固定的几何形状可以包括针，并且第一传感器和第二传感器被沿所述针分布并且安装。还预期其他的几何形状。
在方框708中，在成像系统的视场中定位第一传感器，以确定校准工具在图像空间中的位置。第一传感器可以包括超声接收器，并且图像空间可以包括超声体积图像空间。在一个实施例中，第一传感器包括被配置为接收流动造影剂的超声接收器。在方框710中，将造影剂泵送通过超声接收器，以将接收器在超声图像中绘制为可见的。
在方框716中，跟踪第二传感器以确定校准工具在跟踪空间中的相同的位置。第二传感器可以包括电磁(EM)跟踪传感器，并且跟踪空间可以包括生成的EM场。第二传感器可以包括光纤形状感测传感器，并且在方框718中，可以使用来自光纤形状感测传感器的馈送来确定校准工具在跟踪空间中的位置。
在方框722中，可以基于校准工具的伪影来将图像空间和跟踪空间映射在公共坐标系中。在方框724中，映射包括使用校准工具的单个姿态来校准图像空间与跟踪空间之间的配准。在方框726中，映射包括使用校准工具的多个姿态来校准图像空间与跟踪空间之间的配准，以增加校准准确度。在方框728中，映射包括通过将成像探头移动到多个姿态来校准图像空间与跟踪空间之间的配准，以增加校准准确度。成像探头可以包括超声探头，并且超声探头也可以被跟踪。
在方框730中，可以执行诸如介入流程的流程。校准工具可以被用于体外或体内校准。校准工具可以包括介入工具，或者可以被包括在介入工具上，并且可以被用于体内重新校准。
在解释权利要求时，应当理解：
a)词语“包括”不排除给定的权利要求中列出的那些之外的其他元件或动作的存在；
b)元件前面的词语“一”或“一个”不排除存在多个这样的元件；
c)权利要求中的任何附图标记均不限制它们的范围；
d)可以由同一项目或硬件或软件实现结构或功能来表示若干“单元”；并且
e)除非明确地指出，否则不特意要求动作的具体顺序。
已经描述了对点的从超声图像到跟踪系统的准确且快速的映射的优选实施例(所述优选实施例旨在是说明性的而不是限制性的)，注意到本领域技术人员鉴于以上教导可以做出修改和变型。因此应当理解，可以在本文中如权利要求书概括的那样公开的实施例的范围内，对所公开的公开内容的特定实施例中做出变化。已经这样描述了专利法所要求的细节和特性，在权利要求书中阐述了由专利证书要求并且期望被保护的内容。

Claims (15)

1.一种用于映射图像与跟踪系统之间的坐标的系统，包括：
校准工具(130)，其具有固定的几何形状，所述校准工具包括与成像模式相关联的第一传感器(154)和与跟踪模式相关联的第二传感器(152)，所述第一传感器和所述第二传感器被分布并且安装在所述固定的几何形状上的已知位置处；
成像系统(134)，其被配置为在所述成像系统的视场中定位所述第一传感器，以确定所述校准工具在图像空间中的位置；
跟踪系统(132)，其被配置为跟踪所述第二传感器，以确定所述校准工具在跟踪空间中的相同的位置；以及
传感器模块(115)，其被配置为基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射在公共坐标系中。
2.如权利要求1所述的系统，其中，所述传感器模块(115)使用所述校准工具的单个姿态来校准所述图像空间与所述跟踪空间之间的配准。
3.如权利要求1所述的系统，其中，所述固定的几何形状包括立方体(124)，并且所述第一传感器和所述第二传感器被分布并且安装在所述立方体的面上。
4.如权利要求1所述的系统，其中，所述第一传感器(154)包括超声接收器，并且所述图像空间包括超声体积图像空间。
5.如权利要求1所述的系统，其中，所述第二传感器(152)包括电磁(EM)跟踪传感器并且所述跟踪空间包括生成的EM场。
6.如权利要求1所述的系统，其中，所述传感器模块(115)使用所述校准工具的多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。
7.如权利要求1所述的系统，其中，所述传感器模块(115)通过将成像探头(146)移动到多个姿态来校准所述图像空间与所述跟踪空间之间的配准，以增加校准准确度。
8.如权利要求1所述的系统，其中，所述第二传感器(152)包括光纤形状感测传感器(504)，以确定所述校准工具在跟踪空间中的所述位置。
9.如权利要求1所述的系统，其中，所述固定的几何形状包括针(330)，并且所述第一传感器和所述第二传感器被沿所述针分布并且安装。
10.如权利要求1所述的系统，其中，所述第一传感器包括被配置为接收流动造影剂(614)的超声接收器。
11.如权利要求10所述的系统，其中，所述第一传感器被配置为使得所述流动造影剂仅在所述第一传感器的头部(604)中可见。
12.如权利要求1所述的系统，其中，所述校准工具包括用于体内校准的介入工具(102)。
13.一种用于映射图像与跟踪系统之间的坐标的方法，包括：
提供(702)具有固定的几何形状的校准工具，所述校准工具包括与成像模式相关联的第一传感器和与跟踪模式相关联的第二传感器，所述第一传感器和所述第二传感器被分布并且安装在所述固定的几何形状上的已知位置处；
在成像系统的视场中定位(708)所述第一传感器，以确定所述校准工具在图像空间中的位置；
跟踪(716)所述第二传感器以确定所述校准工具在跟踪空间中的相同的位置；并且
基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射(722)在公共坐标系中。
14.如权利要求13所述的方法，其中，映射包括使用所述校准工具的单个姿态或所述校准工具的多个姿态来校准(724)所述图像空间与所述跟踪空间之间的配准，并且其中，所述固定的几何形状包括以下中的至少一项：立方体(704)，其中，所述第一传感器和所述第二传感器被分布并且安装在所述立方体的面上；或者针(706)，其中，所述第一传感器和所述第二传感器被沿所述针分布并且安装。
15.一种用于映射图像与跟踪系统之间的坐标的方法，包括：
提供(702)具有固定的几何形状的校准工具，所述校准工具包括被配置为出现在超声图像中的超声接收器和与跟踪模式相关联的跟踪传感器，所述超声接收器和所述跟踪传感器被分布并且安装在所述固定的几何形状上的已知位置处；
相对于被跟踪的超声探头将所述超声接收器定位(708)在超声成像系统的视场中，以确定所述校准工具在图像空间中的位置；
跟踪(716)所述跟踪传感器以确定所述校准工具在跟踪空间中的相同的位置；并且
通过在所述图像空间和所述跟踪空间两者中将所述校准工具的坐标系变换到所述被跟踪的超声探头，基于所述校准工具的伪影来将所述图像空间和所述跟踪空间映射(722)在公共坐标系中。
CN201380039876.0A 2012-07-27 2013-07-17 对点的从超声图像到跟踪系统的准确且快速的映射 Active CN104507394B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261676353P 2012-07-27 2012-07-27
US61/676,353 2012-07-27
PCT/IB2013/055859 WO2014016736A2 (en) 2012-07-27 2013-07-17 Accurate and rapid mapping of points from ultrasound images to tracking systems

Publications (2)

Publication Number Publication Date
CN104507394A true CN104507394A (zh) 2015-04-08
CN104507394B CN104507394B (zh) 2017-10-20

Family

ID=49305033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039876.0A Active CN104507394B (zh) 2012-07-27 2013-07-17 对点的从超声图像到跟踪系统的准确且快速的映射

Country Status (5)

Country Link
US (1) US9607381B2 (zh)
EP (1) EP2877096B1 (zh)
JP (1) JP6242394B2 (zh)
CN (1) CN104507394B (zh)
WO (1) WO2014016736A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038406A (zh) * 2016-01-04 2017-08-11 大众汽车有限公司 用于分析姿态的方法
CN109923432A (zh) * 2016-11-08 2019-06-21 皇家飞利浦有限公司 利用关于跟踪可靠性的反馈跟踪介入仪器的系统和方法
CN110167447A (zh) * 2016-12-21 2019-08-23 皇家飞利浦有限公司 用于快速和自动超声探头校准的系统和方法
WO2020093299A1 (zh) * 2018-11-08 2020-05-14 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法、超声成像设备及存储介质
CN111839741A (zh) * 2020-07-02 2020-10-30 Ndr医疗科技有限公司 操作机器人的控制系统和方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3082612A2 (en) * 2013-12-18 2016-10-26 Koninklijke Philips N.V. Electromagnetic tracker based ultrasound probe calibration
JP7080170B6 (ja) * 2015-12-14 2022-06-23 コーニンクレッカ フィリップス エヌ ヴェ 医用機器追跡システム及び方法
EP3515317B1 (en) 2016-09-20 2020-05-20 Koninklijke Philips N.V. Ultrasound transducer tile registration
WO2018054969A1 (en) 2016-09-20 2018-03-29 Koninklijke Philips N.V. Ultrasound transducer tile registration
US20200037982A1 (en) 2017-03-31 2020-02-06 Koninklijke Philips N.V. Intravascular flow and pressure measurements
US20220225958A1 (en) * 2019-05-30 2022-07-21 Koninklijke Philips N.V. Encoded synchronized medical intervention image signals and sensor signals
EP3771434A1 (en) * 2019-07-31 2021-02-03 Koninklijke Philips N.V. Encoded synchronized medical intervention image signals and sensor signals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775404B1 (en) * 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
CN101861186A (zh) * 2007-11-15 2010-10-13 皇家飞利浦电子股份有限公司 用于治疗性超声换能器的位置跟踪的方法和装置
CN101861526A (zh) * 2007-11-14 2010-10-13 皇家飞利浦电子股份有限公司 用于跟踪超声自动校准的系统和方法
CN101878000A (zh) * 2007-11-28 2010-11-03 皇家飞利浦电子股份有限公司 经皮针、血管内导管和其他介入式设备的超声可视化
WO2011154782A1 (en) * 2010-06-07 2011-12-15 Koninklijke Philips Electronics N.V. Ultrasonic visualization of percutaneous needles, intravascular catheters and other invasive devices
WO2012001548A1 (en) * 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL122839A0 (en) * 1997-12-31 1998-08-16 Ultra Guide Ltd Calibration method and apparatus for calibrating position sensors on scanning transducers
US7085400B1 (en) * 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
JP5295562B2 (ja) * 2004-08-17 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ フレキシブル３次元回転血管造影−コンピュータ断層撮影融合方法
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
JP2006263068A (ja) * 2005-03-23 2006-10-05 Toshiba Corp 超音波診断装置
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US20110184684A1 (en) 2009-07-21 2011-07-28 Eigen, Inc. 3-d self-correcting freehand ultrasound tracking system
EP2566394B1 (en) 2010-05-03 2016-12-14 Koninklijke Philips N.V. Ultrasonic tracking of ultrasound transducer(s) aboard an interventional tool

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775404B1 (en) * 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
CN101861526A (zh) * 2007-11-14 2010-10-13 皇家飞利浦电子股份有限公司 用于跟踪超声自动校准的系统和方法
CN101861186A (zh) * 2007-11-15 2010-10-13 皇家飞利浦电子股份有限公司 用于治疗性超声换能器的位置跟踪的方法和装置
CN101878000A (zh) * 2007-11-28 2010-11-03 皇家飞利浦电子股份有限公司 经皮针、血管内导管和其他介入式设备的超声可视化
WO2011154782A1 (en) * 2010-06-07 2011-12-15 Koninklijke Philips Electronics N.V. Ultrasonic visualization of percutaneous needles, intravascular catheters and other invasive devices
WO2012001548A1 (en) * 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038406A (zh) * 2016-01-04 2017-08-11 大众汽车有限公司 用于分析姿态的方法
CN107038406B (zh) * 2016-01-04 2020-10-16 大众汽车有限公司 用于分析姿态的方法
CN109923432A (zh) * 2016-11-08 2019-06-21 皇家飞利浦有限公司 利用关于跟踪可靠性的反馈跟踪介入仪器的系统和方法
CN110167447A (zh) * 2016-12-21 2019-08-23 皇家飞利浦有限公司 用于快速和自动超声探头校准的系统和方法
WO2020093299A1 (zh) * 2018-11-08 2020-05-14 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法、超声成像设备及存储介质
CN111839741A (zh) * 2020-07-02 2020-10-30 Ndr医疗科技有限公司 操作机器人的控制系统和方法

Also Published As

Publication number Publication date
US20150269728A1 (en) 2015-09-24
EP2877096A2 (en) 2015-06-03
WO2014016736A2 (en) 2014-01-30
EP2877096B1 (en) 2017-09-06
JP2015522389A (ja) 2015-08-06
JP6242394B2 (ja) 2017-12-06
CN104507394B (zh) 2017-10-20
WO2014016736A3 (en) 2014-03-13
US9607381B2 (en) 2017-03-28

Similar Documents

Publication Publication Date Title
CN104507394B (zh) 对点的从超声图像到跟踪系统的准确且快速的映射
CN103747729B (zh) 利用二维成像探头的三维针定位
US9693707B2 (en) Optical shape sensing fiber for tip and shape characterization of medical instruments
CN103347460B (zh) 介入环境内光纤形状感测的集成
CN102573691B (zh) 用于生物物理学参数的快速分布式测量的光学感测使能的介入仪器
CN104271046B (zh) 用于跟踪和引导传感器和仪器的方法和系统
EP2533689B1 (en) Apparatus et system for imaging and treatment using optical position sensing
CN103987337B (zh) 用于em跟踪的补偿、检测和误差校正的畸变指纹分析
CN103179916B (zh) 基于医疗器械的实时形状感测的自适应成像和帧率优化
CN103781418A (zh) 使用光纤形状数据的曲面多平面重建
CN104427927A (zh) 用于血管可视化和监测的由光纤传感器引导的导航
JP6491476B2 (ja) ロボットとイメージとの間の自動オンライン・レジストレーション及びその方法
CN103079478A (zh) 用于医疗流程的标测系统和方法
CN103415255A (zh) 利用血管内装置形状对血管图像进行非刚性体变形
CN107106240B (zh) 显示线性仪器相对于3d医学图像导航后的位置和取向的方法和系统
JP6706576B2 (ja) 最小侵襲性のインターベンションのための形状センスされるロボット超音波
CN104349715A (zh) 用于对生理特征的参考的分布式感测设备
CN107072743A (zh) 被布置为与光学形状感测使能的介入设备协作的处理系统
CN105816202A (zh) 一种颅内血流三维成像采集装置及方法
CN103765159A (zh) 使用概率体素绘图的快速密集点云成像
CN104010587A (zh) 对追踪系统的术中质量监测
CN104519803A (zh) 用于改进的导管识别的量化探头检测
WO2014053934A1 (en) System and method for registering shape sensing with imaging using an optimal plane
US20230121370A1 (en) Fiber Optic Ultrasound Probe
CN108369268A (zh) 用于医学设备跟踪的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant