CN106980853A - 多标记物夹具的识别和对准 - Google Patents

多标记物夹具的识别和对准 Download PDF

Info

Publication number
CN106980853A
CN106980853A CN201610884676.0A CN201610884676A CN106980853A CN 106980853 A CN106980853 A CN 106980853A CN 201610884676 A CN201610884676 A CN 201610884676A CN 106980853 A CN106980853 A CN 106980853A
Authority
CN
China
Prior art keywords
label
alignment
image
tuple
conllinear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610884676.0A
Other languages
English (en)
Other versions
CN106980853B (zh
Inventor
T.德姆里
P.阿布拉莫维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of CN106980853A publication Critical patent/CN106980853A/zh
Application granted granted Critical
Publication of CN106980853B publication Critical patent/CN106980853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/485—Diagnostic techniques involving fluorescence X-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating thereof
    • A61B6/582—Calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58—Testing, adjusting or calibrating thereof
    • A61B6/582—Calibration
    • A61B6/583—Calibration using calibration phantoms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明题为“多标记物夹具的识别和对准”。本发明公开了通过定位具有对于成像模态不透明的至少两个共线标记物四元组的校准夹具来执行在图像上对准坐标系。在夹具的图像上检测共线四元组，并且计算共线四元组的相应的图像交比。通过使具有匹配的交比的至少一个共线标记物四元组和至少一个共线图像四元组相关联来建立候选线。使用成对的候选线，利用图像执行校准夹具的相应对准。选择对准中的一个，其中所选择的对准具有小于预先确定的值的残余。

Description

多标记物夹具的识别和对准
技术领域
本发明涉及通过拓扑标测的图像变换。更特别地，本发明涉及将2维医学图像与3维标测图组合。
背景技术
用于心内膜表面的3维几何标测和重构的方法是本领域中已知的。例如，美国专利号5,738,096(其公开内容以引用方式并入本文)描述了基于使探头与心脏壁上的多个位置接触并且确定在位置中的每个位置处的探头的位置坐标，用于标测心内膜的方法。位置坐标被组合以形成心脏的至少一部分的标测图。
基于检测身体内部探头的位置的商业电生理和物理标测系统目前是可商购获得的。在它们中，可从Biosense Webster,Inc.(3333Diamond Canyon Road,Diamond Bar,CA91765)商购获得的3系统是用于局部电活动与导管位置的自动关联和标测的系统。
在当前的心导管插入术系统中，操作医师常常必须同时观察两个不同的屏幕上的两个不同的图像：胸腔的2维荧光镜图像和心脏的3维标测图。例如，可以使用心脏中的导管末端的磁跟踪来生成此类3维标测图。荧光镜图像和3维标测图两者都可以示出导管，但是是从不同的角度和透视图示出。因为荧光镜的视图和3维视图之间缺乏自动对准和配位，所以需要医师在显示器之间来回切换他的或她的注意力，并且在心理上记住它们包含的不同的信息。
用于对准解剖图像和电解剖标测图与通过不同模态获取的3维图像的一些现有的方法大体依赖于位置数据。标测导管被放置在感兴趣的器官诸如心脏中的多个已知位置处，并且记录位置坐标。在3维图像中标记或以其它方式记录了这些相同的位置。除被采取作为标测过程本身的一部分的动作之外，该技术通常需要系统的操作者花时间找到和标记用于对准的目的的期望的位置。
在专利文献中用于自动对准荧光镜图像与3维标测图的各种方法是已知的。例如，在授予Ben-Haim等人的共同转让的美国专利号6,314,310中，描述了此类方法，该专利的公开内容以引用方式并入本文。
最近，在共同转让的美国专利申请公布号2014/0114173中公开了不同的方法，该专利申请以引用方式并入本文。该文档论述了将胸腔的2维荧光镜图像放置为与心脏的3维标测图功能的电解剖标测图对准。坐标系对准模块包括射线不可透元件，以固定的预先确定的图案布置该射线不可透元件，并且响应于射线不可透元件生成荧光镜图像，该射线不可透元件被配置成将模块的位置限定在荧光镜参考坐标系中。模块还包括一个或多个连接部，该一个或多个连接部被配置成将模块固定地连接到在相对于焊盘预先确定的位置和取向处的磁场传输焊盘，以便表征由磁场传输焊盘限定的磁参考坐标系中的对准模块的位置。
在Pilu等人的美国专利号8,300,941中提出一种图像变换的方法，该专利涉及通过识别用于表面编码的图案的最佳网格假设来校正透视失真。方法包括：从编码的表面图案提取一组直线假设；按取向将直线假设聚类；对于每个聚类，提取一组线束假设；从成对的线束假设生成一组规则网格假设；以及确定最佳规则网格假设。
发明内容
本发明的实施方案提供了用于夹具标记物识别的通用方法，该方法是灵活的以支持夹具取向和位置，其中在图像中没有必要整个夹具是可视的。采用恒定尺寸，而不是使用不同尺寸的标记物。
根据本发明的实施方案提供了用于对准坐标系的方法，通过定位具有对于成像区域中的成像模态不透明的标记物的校准夹具来执行该方法。标记物包括具有具有相应的交比的至少两个共线标记物四元组。还通过利用成像模态产生标记物的图像、检测图像上的标记物、在图像上识别所检测的标记物的共线图像四元组、计算共线图像四元组的相应的图像交比来执行该方法。还通过以下步骤执行该方法：使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；使用成对的候选线，利用图像执行校准夹具的相应对准；确定对准的残余；以及选择对准中的一个，其中该对准的该对候选线与合格的残余相关联，合格的残余小于预先确定的值。
根据该方法的另一方面，候选线的至少一部分具有多个共线图像四元组。
根据该方法的另外的方面，沿着单个轴线设定标记物。
该方法的又一方面包括使用所选择的对准，使标记物重新投影到图像上，以及此后，通过将所重新投影的标记物中的其它标记物定位在图像上来建立新的对准。
根据该方法的另外的方面，定位所重新投影的标记物中的其它标记物包括确定所重新投影的标记物与所检测的标记物之间的接近度。
根据该方法的一个方面，定位所重新投影的标记物中的其它标记物包括根据所重新投影的标记物和所检测的标记物的均方根误差来记下所重新投影的标记物。
根据该方法的另一方面，建立新的对准包括使在六自由度上重新投影标记物的残余误差最小化。
根据该方法的附加的方面，标记物的尺寸是相同的。
根据本发明的实施方案还提供了用于对准坐标系的方法，通过在由荧光镜成像器照射的区域中定位具有射线不可透标记物的校准夹具来执行该方法。标记物包括至少两个共线标记物四元组，该至少两个共线标记物四元组具有相应的标记物交比。还通过以下步骤执行该方法：利用荧光镜产生标记物的荧光镜图像；检测图像上的标记物；在荧光镜图像上识别所检测的标记物的共线图像四元组；计算共线图像四元组的相应的图像交比；通过使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；使用成对的候选线，利用荧光镜图像执行校准夹具的相应对准；确定对准的残余；以及选择对准中的一个，其中该对准的该对候选线与合格的残余相关联，合格的残余小于预先确定的值。
根据本发明的实施方案，还提供了用于对准坐标系的设备，包括具有射线不可透标记物的校准夹具，其中标记物包括具有相应的标记物交比的至少两个共线标记物四元组。设备还包括处理器；处理器可访问的存储器，该存储器在其中存储程序和数据对象，其中程序的执行致使处理器执行方法，该方法包括检测荧光镜图像上的标记物；在图像上识别所检测的标记物的共线图像四元组；计算共线图像四元组的相应的图像交比；通过使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；使用成对的候选线，利用图像执行校准夹具的相应对准；确定对准的残余；以及选择对准中的一个，其中该对准的该对候选线与合格的残余相关联，合格的残余小于预先确定的值。
附图说明
为了更好地理解本发明，以举例的方式引用本发明的详细描述，本发明的详细描述应结合以下附图来阅读，附图中相似的元件被给定相似的参考编号，并且在附图中：
图1为根据本发明的实施方案示出在校准阶段中荧光镜图像和磁性标测集成系统的示意图；
图2为根据本发明的实施方案的在校准阶段中使用的螺旋形校准夹具的示意性透视图；
图3为根据本发明的实施方案所应用的投影几何结构的方面的图示；
图4是根据本发明的实施方案的与2维图像夹具对准的方法的流程图；
图5是根据本发明的实施方案的到2维图像上的夹具的示例性投影；
图6是根据本发明的实施方案的到2维图像上的夹具的示例性投影；
图7是根据本发明的另选实施方案的到2维图像上的具有单条标记物线的夹具的投影；以及
图8是根据本发明的另选实施方案的与2维图像夹具对准的方法的流程图。
具体实施方式
为了提供对本发明的各种原理的全面理解，在以下描述中阐述了许多具体细节。然而，对于本领域的技术人员将显而易见的是，并非所有这些细节都是实践本发明所必需的。在这种情况下，未详细示出熟知的电路、控制逻辑、以及用于常规算法和过程的计算机程序指令的细节，以免不必要地使一般概念模糊不清。
以引用方式并入本专利申请的文献将视为本专利申请的整体部分，不同的是如果在这些并入的文献中定义的任何术语与在本说明书中明确或隐含地给出的定义在某种程度上相冲突，则应只考虑本说明书中的定义。
在以下的描述中，描述了荧光镜图像。这仅以举例的方式而不是限制。本文中所描述的过程同样适用于由很多模态产生的2维图像，例如，磁共振图像、计算机断层扫描图像、光学图像和标准X射线图像。
现在转向附图，初始参考图1，图1为根据本发明的实施方案示出在校准阶段中的荧光镜图像和磁性标测集成系统20的示意图。系统20将由磁跟踪系统22获取的身体器官的3维标测图与由荧光镜24获取的患者的2维荧光镜图像组合，因此，形成组合显示26，组合显示26在屏幕28上呈现给系统20的操作者。在用于图1中所示的系统20的校准阶段中，未呈现患者。在图5中所示的系统20的后续可操作阶段中，假设患者躺在系统20的手术台30上，并且磁跟踪系统22和荧光镜24获取患者的3维标测图和2维图像，如下面更详细描述的。通常，由荧光镜获取的2维图像是患者的胸部的2维图像，并且由磁跟踪系统标测的身体器官包括患者的心脏。
在实践中，虽然系统22和荧光镜24通常可以被配置为具有单独控制单元的单独物理单元，但在本说明书中，为了简单，假设由单个控制单元32操作系统20。
控制单元32包括操作荧光镜的荧光镜控制器34和操作磁跟踪系统的磁系统控制器36，并且该单元在系统处理器38特别是在屏幕28上生成组合显示26的处理器的整体控制下。处理器38通常包括利用合适的软件编程以用于执行下文所述功能的通用或嵌入式计算机处理器。因此，尽管处理器38可以有时被描述为包括多个单独的功能块，但是这些功能块并非必须是单独的物理实体，而是表示处理器可访问的存储器中所存储的不同的计算任务或数据对象。这些任务可在运行于单个处理器上或运行于多个处理器上的软件中执行。软件可在与计算机系统一起使用的多种已知非暂时介质诸如磁盘或硬盘驱动器或CD-ROM中的任一种上实施。代码可以分布在此类介质上，或者可以通过网络从另一个计算机系统(未示出)的存储器或存储装置分布到处理器38。另选地或除此之外，处理器38可包括数字信号处理器或硬连线逻辑。处理器38通常包括用于数据库29的存储装置。
荧光镜24包括X射线源40和检测器42，辐射器和检测器安装在本文中假设为包括圆的圆弧的C形臂44的相对的两端部上。C形臂44通常保持在L形臂46的下端45，L形臂在其上端附接到手术室的天花板，或者在其下端附接到手术室地板。C形臂44可以围绕水平枢轴PA旋转，在该附图中，水平枢轴PA处于纸的平面内。C形臂44还可以围绕C形臂轴CA旋转，C形臂轴CA垂直于纸的平面，并且C形臂轴CA穿过C形臂圆的中心。名义上，两个轴线相交于C形臂旋转中心(也称为等中心)处，并且彼此正交。系统20的操作者能够使用荧光镜控制器34调节围绕轴线PA和轴线CA的荧光镜24的旋转，以及荧光镜的其它几何参数。(如下文所更详细描述，校准阶段提供对荧光镜24的标称特性的调节，标称特性诸如上面所举例说明的特性。)
为了对准坐标系，或荧光镜24的参照系，在系统20的校准阶段中，系统20使用一个或多个对准元件。给定的对准元件具有特性：可以在该两个坐标系中同时确定给定的对准元件的位置和取向。本发明的实施方案使用螺旋形校准夹具60作为对准元件。参考图2更详细地描述了螺旋形校准夹具60(本文中还称为夹具60)。
两个坐标系(一个基于定位垫50且一个基于对准模块62)呈现在系统20中。
现在参考图2，图2为根据本发明的实施方案的夹具60的示意性透视图。如将从以下描述显而易见的，在荧光镜系统中夹具60在可以确定其中夹具60的位置的范围内是“可视的”。夹具60被制成塑料圆筒70，塑料圆筒70可以使用附接的支撑物72被放置在手术台30上，使得圆筒的轴线平行于手术台。圆筒70具有嵌入在圆筒中的相同的金属球体74。金属球体74在检测器42处提供良好的对比度荧光镜图像。只要球体74尺寸是相同的，球体74就可以具有任何适宜的尺寸。相同的球体的使用允许夹具定位的灵活性，因为完全避免了由标记物的尺寸考虑所需要的约束。球体74以螺旋形图案76布置在圆筒内，螺旋形图案被配置成具有变化的周期长度。此外，在每个周期内，存在不同数量的球体。由连接螺旋形的球体74的虚线示出螺旋形图案。而且，有至少两组共线标记物，每组包括四个标记物，被称为四元组。夹具60中的标记物间的距离是已知的，并且可以被编码以使得能够实现唯一识别。
在本发明的所公开的实施方案中，圆筒70具有约120mm的直径，并且螺旋形图案76的总体长度约200mm。在所公开的实施方案中，球体74被布置成限定六个周期，并且下面的表1给出在平行于圆筒70的轴线的方向上的每个周期的示例性长度，以及每个周期内球体74的示例性数量。通常，在每个周期内，球体74均匀分布。
表1
螺旋形周期长度[mm] 周期中球体72的数量
20 7
25 11
30 15
35 19
40 23
45 27
另外的球体74可以被添加到螺旋形图案76中的那些周期。例如，已经添加更多的球体74以形成球体的直线78，线78对应于螺旋形周期的终止端。
不同长度的螺旋形图案周期连同每个周期中的不同数量的球体74使得荧光镜控制器34能够唯一地识别球体74中的每个。如上所述，将另外的球体添加到螺旋形图案还有利于荧光镜控制器34识别球体74。球体74的识别被用于对准2维图像与荧光镜，如下面所描述的。
在一些实施方案中，圆筒70包括后向反射器90，其中可以定位可拆卸球92。通常，在圆筒70中在平行于手术台30的平面中对称地布置后向反射器，并且可以借助激光器使用后向反射器用于跟踪手术台30上夹具60的位置。在另选的实施方案中，大体类似于球体74的其它金属球体可以被添加到夹具60以另外帮助其定位。
对准。
现在参考图3，图3为示出根据本发明的实施方案所应用的投影几何结构的方面的图示。
方法依赖于投影几何结构的两个特性：
(1)空间中的线210被投影到图像中的线212
(2)如果点A、点B、点C、点D是线212中的共线点的四元组，则交比被定义为(A,B；C,D)＝(AC*BD)/(BC*AD)。在投影下，共线点的四元组的交比是不变量。在图3中，点A、点B、点C、点D分别是线210中点A'、点B'、点C'、点D'的投影。因此，交比(A,B；C,D)和(A',B'；C',D')相等。
根据本发明的原理，夹具与2维图像的初始对准需要最少两条线，每条线具有在图像中可视的至少四个共线标记物。现在参考图4，图4为根据本发明的实施方案的与2维图像夹具对准的方法的流程图。为了呈现清楚起见，在本文中的该流程图和其它流程图中的处理步骤以特别的线性序列示出。然而，将很显然，可并行地、异步地或以不同的次序执行这些步骤中的许多。本领域的技术人员还应当理解，另选地，过程可被表示为多个相互联系的状态或事件，例如，在状态图表中。而且，可能不需要所有示出的过程步骤来实施所述方法。
在初始步骤214，确定荧光镜几何参数和荧光镜投影函数之间的关系。可以使用校准的模型(如果可用的话)进行该确定。另选地，可以使用标称、非校准的荧光镜模型。模型提供了足够的近似度，以使得在下面所描述的步骤中能够进行另外的精化。
现在参见图5，图5是根据本发明的实施方案的到2维图像上的夹具60(图2)的示例性投影216。标记物218是夹具60上球体74的投影。
回转到图4，在步骤220，在投影216上检测标记物218(图5)。可以由方法执行该步骤，方法诸如模板匹配、椭圆检测或边缘检测。这些是常规图像处理技术，并且在本文中不再另外论述这些。步骤220结果是一组已检测的标记物。
接下来，在步骤222，在投影216上在步骤220中生成的一组标记物中识别共线标记物。可以通过使用已知的方法诸如随机采样一致性(RANSAC)或霍夫变换的线拟合来执行该步骤。步骤222产生包括是用于共线性的候选者的至少标记物的四元组的一组线假设(即，子组)。每个四元组定义交比。是用于共线性的候选者的所有四元组的列表定义特征。子组包包括其中一个或多个标记物缺失的所有的可能性，并且列表指定缺失的标记物。例如，在5个标记物的线中，有一个5标记物子组和5个4标记物子组。每个子组被存储指定该子组的成员的相应的索引。
接下来，在步骤224，通过使在步骤222中制定的线假设的交比与每条线内的夹具上的已知的标记物间距离的交比匹配，评估在步骤222中制定的线假设。步骤224包括若干过程：
在步骤226中，评估夹具中四个或更多个共线标记物的全部已知的子组，以便覆盖未检测的标记物或在图像外的标记物的情况。每个四元组定义交比。关于模拟其中一个或多个标记物缺失的所有可能的选项，创建标记物的子组。缺失的标记物可以是在各种位置，并且甚至可以是在图6中所示的视场的外部。对于每个子组，存在对所有可能的情况进行说明的“特征”。可以使用有效地实施的穷举法确定特征，通过在每个子组内所有四元组上的迭代，计算所有子组的此类标记物交比，从而创建子组特定的特征。交比特征被保存在参考数据库29(图1)中。例如，可以保存四个连续的标记物的所有组的交比。对于每个夹具设计，仅需要执行一次步骤226。结果可以应用于具有相同的设计的所有后续制造的夹具。
在步骤228中，为与该线假设有关且在步骤222中识别的图像上的每个子组的标记物中的每个四元组计算每个线假设交比。每个四元组定义交比。关于模拟其中共线标记物中的任一个可能是假的内围层(即，其中存在标记物意外地位于图像上的线上但是标记物在夹具机械结构上不是共线的情况)的所有可能的选项，创建标记物的子组。线假设交比是以与在步骤226中获得的参考数据库中的特征相同的格式在图像交比数据库中保存的特征。参考数据库和图像交比数据库两者可以包括在数据库29(图1)中。
在匹配步骤230中，进行在步骤228中获得的交比特征与在步骤226中获得的交比特征之间的匹配的搜索。目的是找到在图像中的共线标记物与在夹具中它们的对应的标记物之间的潜在的匹配。每个匹配是用于标记物的子组中的标记物的识别的选项。通过比较相等尺寸的子组执行匹配。通过欧几里得距离，比较在步骤228中的交比与在步骤226中的交比，以找到两组数的对应。另选地，可以使用距离的其它测量。在任何情况下，当发现图像中的子组和夹具中的子组比预定义的阈值距离更加靠近彼此时，宣告匹配。
在步骤232中，根据标记物的数量，或另选地根据特征匹配的均方根误差(RMSE)，对在步骤230中获得的匹配进行优先排序，创建与两条夹具线匹配的线假设的优先排序的列表。
在步骤238中，执行初始夹具对准过程。评估来自步骤232中挑选的线假设的候选线的穷举成对选择。以根据关联性和相似性的次序评估线对，将较大的子组的匹配放在前面。将被评估的第一对是与夹具中的一条线匹配的图像中的最大子组和与另一条线匹配的图像中的最大子组。如果这不产生符合要求的初始对准，则渐进地测试较小的子组。根据最小RMSE值，每个测试需要初始对准和批准或拒绝。其它考虑包括图像中标记物的位置。根据C形臂取向，可以期望一条线在第二条线的左边(或右边)。交比匹配质量的质量可以是另一个决定性标准。
步骤238将一个或多个图像线候选者给予给夹具线中的每条(仅一条是真的匹配)。然后在以下步骤中考虑和评估与两条夹具线匹配的每对图像线候选者，直到达到有效的对准。对于效率，具有较长的特征(即，较长的子组)的候选者在前面。将被评估的第一对是与夹具中的一条线匹配的图像中的最大子组和与另一条线匹配的图像中的最大子组。除此之外，图像中标记物的位置是另一个考虑。
用于评估算法的终止标准是期望的，例如，迭代的阈值数量。然而，在实践中，几乎总是在几个迭代内达到正确的匹配。使用每个此类对执行与图像的夹具对准，并且通过将标记物重新投影到图像上，并且测量在第一投影上所检测的标记物与在重新投影上所检测的标记物之间的距离来确定残余。
接下来，在决定步骤234，确定初始夹具对准是否是合格的残余，即，残余小于用户配置的标准。如果在决定步骤234处确定是否定的，则控制返回步骤232，其中在步骤232中评估另一个线对。
如果在决定步骤234处确定是肯定的，则控制前进至步骤236。一旦确定有效的初始对准，则在步骤236处，基于初始对准，识别剩余的所检测的标记物。这通过在步骤238中使用线对的初始对准将夹具重新投影到图像上来实现。接近度标准(即，所检测的标记物和重新投影的标记物之间的距离)(例如，RMSE)被用于识别剩余的标记物。如果初始对准足够，则将以最小误差定位所有剩余的标记物。
在最终步骤240，使用在步骤236中识别的所有标记物来执行最终夹具对准。这通过寻找产生标记物(在步骤236中所识别的)的重新投影的最小残余误差的六自由度上的夹具位置和取向的最小化函数来进行。现在参考图6，图6是根据本发明的实施方案的到2维图像上的夹具60(图2)的完全对准的投影242。现在由标记(例如，相邻的数字)唯一识别标记物218。线244、线246是在步骤238、步骤240(图4)中执行的成功的初始对准和后续完全对准中挑选的所使用的候选线组中的最佳对。
另选实施方案。
该实施方案类似于先前的实施方案。然而，步骤238(图4)被修改以执行五自由度而不是六自由度上的初始夹具对准。这使用单个挑选的线假设而不是两条线来进行。该选项对围绕单个轴对称的夹具有用，该夹具诸如在对称轴上具有标记物的杆。该实施方案节省时间和计算机资源，其中仅需要确定图像中所挑选的线的轴线。
现在参考图7，图7是根据本发明的另选实施方案的到2维图像上的具有单条标记物线的夹具的完全对准的投影248。标记物之间的距离有意图地变化，以便使得能够有各种交比。
现在参考图8，图8为根据本发明的另选实施方案的与2维图像夹具对准的方法的流程图。图8中的步骤与在图4的论述中所描述的那些步骤相同，直到步骤250。为简洁起见，此处不再重复细节。
在步骤250中，执行彻底的夹具对准，而不是如在第一实施方案中所描述的初步对准。
接下来，在决定步骤252处，确定在步骤250中执行的对准是否是可接受的。如果确定是否定的，则控制返回到步骤232。
如果在决定步骤252处确定为肯定的，则控制前进到最终步骤254，在最终步骤254处过程终止。如在步骤236和最终步骤240(图4)中所描述的其它标记物的识别和第二对准是不必要的。由于步骤250的对准仅解决五自由度，所以线性夹具围绕其自己的轴线的旋转不会影响投影。
实施例。
在该实施例中，激光跟踪设备被用于验证用于螺旋形夹具的校准和对准的上面所描述的算法的精度和重复性。比较用于相对于荧光镜检查系统的不同的螺旋形夹具位置的校准和对准结果。验证荧光镜检查系统坐标系和激光跟踪器坐标系之间所计算的变换维持恒定。
在不同的螺旋形夹具位置和取向处对螺旋形夹具拍摄各种校准序列和对准图像。还使用激光跟踪器测量每个螺旋形夹具位置。
从利用激光跟踪器获得的螺旋形夹具位置测量，和用于螺旋形夹具坐标系中的该测量的后向反射器的已知的机械位置，可能计算从激光跟踪器坐标系到螺旋形夹具坐标系的变换。为每个螺旋形夹具位置计算Laser2Helix变换。
每个校准和对准算法的结果包括从螺旋形坐标系到荧光镜坐标系的所计算的变换。为每个校准结果且为每个对准图像计算Helix2Fluoro变换。
根据上面的变换，从荧光镜坐标系到激光跟踪器坐标系的变换可以计算如下：
方程1：Fluoro2Laser＝(Laser2Helix)-1*(Helix2Fluoro)-1
因此，为每个校准结果且为每个对准图像计算Fluoro2Laser变换。由于在整个该测试中荧光镜坐标系和激光跟踪器坐标系是恒定的，所以该变换应是相同的，与螺旋形夹具位置或校准/对准图像无关。
从用于每个螺旋形夹具位置的参考Helix2Fluoro变换，使用上面的方程1计算参考Fluoro2Laser。
上面所计算的变换被用于以下比较，以验证执行校准和对准算法的荧光镜检查校准工具的精度和重复性。
校准算法
为不同的校准结果计算的所有Fluoro2Laser变换之间的比较。
使用不同的校准结果，在荧光镜坐标系中的相同的点到在各种C形臂位置处拍摄的相同图像中的投影之间的比较。
对准算法
为相同的螺旋形夹具位置拍摄的不同的对准图像计算的所有Fluoro2Laser变换之间的比较。
越过所有螺旋形夹具位置，为在各种位置处以C形臂拍摄的所有对准图像计算的所有Fluoro2Laser变换之间的比较。
备注：理想的是，上面的比较应该产生接近于零的值；实际值是算法重复性的测量。
测试工具和辅助仪器。
荧光镜检查系统。
具有UNIVU模块的CARTO系统。
激光跟踪器(可从Faro Technologies,Inc(250Technology Park Lake Mary,FL32746,USA)商购获得)和后向反射器。
螺旋形夹具。
软件。
从Microsoft Visual源控制)取得的分析代码。
从Microsoft Visual Studio源控制)取得的FCT Fluoro积分算法。
测试过程。
校准算法测试计划。
螺旋形夹具被放置在荧光镜COR中的患者手术台上，并且采集校准图像序列，即，在以下荧光镜C形臂位置处获取图像：LAO90；LAO60；LAO30；AP；RAO30；RAO60；RAO90；CRA20；CRA40；CAU20和CAU40。
为患者手术台上的若干稍微不同的螺旋形夹具位置重复数据采集，如在下面的结果节中的表2中所详细说明的。
根据在测试概念和方法节中描述的方法，使用在工具和仪器节中指定的分析代码执行数据分析。
对准算法测试计划。
螺旋形夹具被放置在荧光镜COR中的患者手术台上，并且在各种C形臂角度处拍摄对准图像。
为患者手术台上的若干不同的患者手术台/螺旋形夹具位置重复数据采集，如在下面的结果节中的表6中所详细说明的。
根据在上面的测试概念和方法节中描述的方法，使用在上面的工具和仪器节中指定的分析代码执行数据分析。
接受标准。
校准算法：
为不同的校准结果计算的所有Fluoro2Laser变换之间的比较将产生不超过1mm的平均值。
使用不同的校准结果，在荧光镜坐标系中的相同的点到在各种C形臂位置处拍摄的相同图像中的投影之间的比较将产生不超过1mm的平均值。
对准算法。
为相同的螺旋形夹具位置拍摄的不同的对准图像计算的所有Fluoro2Laser变换之间的比较将产生不超过1mm的平均值。
越过所有螺旋形夹具位置，为在AP位置处以C形臂拍摄的不同的对准图像计算的所有Fluoro2Laser变换之间的比较将产生不超过1mm的平均值。
越过所有螺旋形夹具位置，为在LAO90位置处以C形臂拍摄的不同的对准图像计算的所有Fluoro2Laser变换之间的比较将产生不超过1mm的平均值。
为用于不同的螺旋形夹具位置的对准图像计算的参考Fluoro2Laser变换之间的比较将产生不超过1mm的平均值。
校准算法测试结果。
下面的表2详细说明用于所收集的不同校准序列图像的螺旋形夹具位置中的差别。
表2.校准数据集合。
用于所有校准的患者手术台位置是[-54,-865,930]，不同的是第一校准(T124248)，在第一校准(T124248)中用于所有校准的患者手术台位置是[-59,-864,930]。用于所有校准的荧光镜缩放设置是42cm。
下面的表3示出用于不同的校准的所校准的参数值。
表3.用于所执行的校准的所校准的参数值。
表4示出为不同的校准结果计算的所有Fluoro2Laser变换之间的比较。
值表示所比较的Fluoro2Laser变换之间的平移中的差值的范数，即，如下执行计算：
方程2：Fluoro2LaserComparison12＝(Fluoro2Laser1)-1*Fluoro2Laser2
方程3：Δ＝norm(Fluoro2LaserComparison(1:3,4))。
表4中示出Δ的值。
表4用于所有校准的Fluoro2Laser变换的比较。
校准#1 校准#2 校准#3 校准#4
校准#2 0.48mm
校准#3 0.58mm 0.11mm
校准#4 0.47mm 0.08mm 0.12mm
校准#5 0.61mm 0.14mm 0.03mm 0.15mm
上面比较的平均值是0.28mm，其低于1mm的接受标准阈值，从而测试通过。
表5使用不同的校准结果示出在荧光镜坐标系中的相同的点到在各种C形臂位置处拍摄的相同图像中的投影。表5中示出的值表示从像素转换成毫米的投影之间的平均和最大差值。
表5荧光镜与图像投影的比较
对于所有校准
上面比较的平均值是0.18mm，其低于1mm的接受标准阈值。因而，测试通过。
对准算法测试结果。
表6详细说明用于所收集的不同对准图像的螺旋形夹具位置中的区别。
表6对准数据收集
计算用于每个对准图像的Helix2Fluoro对准结果与用于该螺旋形夹具位置的总体参考Helix2Fluoro之间的差值，并且该差值被显示在附图中，附图为每个螺旋形夹具位置示出平移矩阵T元素[TX,TY,TZ]对C形臂角度。
表7示出为相同的螺旋形夹具位置拍摄的不同的对准图像计算的所有Fluoro2Laser变换的比较。
使用上面所示的方程2和方程3计算表7中所示的值，并且表7中所示的值表示为相同的螺旋形夹具位置拍摄的对准图像所计算的Fluoro2Laser变换之间的平均和最大差值，以及CDF95值，即，95％的所估计的较高阈值。
对于图像对准之间的每个比较，仅为垂直于两个图像角度的方向计算Δ。
表7.用于在相同的螺旋形夹具位置处的所有对准图像的Fluoro2Laser变换的比 较
位置 平均Δ[mm] 最大Δ[mm] CDF95
1 0.15 1.11 0.53
2 0.06 0.21 0.18
3 0.18 0.79 0.74
4 0.16 0.43 0.39
5 0.20 0.97 0.70
上面比较的平均值是0.15mm，其低于1mm的接受标准阈值，从而测试通过。
表8示出越过所有螺旋形夹具位置，为在AP位置处和在LAO90位置处以C形臂拍摄的不同的对准图像计算的所有Fluoro2Laser变换之间的比较。
使用上面所示的方程2和方程3计算表8中所示的值，并且表8中所示的值表示为相同的C形臂位置拍摄的对准图像计算的Fluoro2Laser变换之间的平均和最大差值，以及CDF95值，即，95％的所估计的较高阈值。
对于图像对准之间的每个比较，仅为垂直于图像C形臂角度的方向计算Δ(即，z轴Δ不被考虑到AP图像比较中，并且x轴Δ不被考虑到LAO90图像比较中)。
表8.用于在相同的C形臂角度处的对准图像的Fluoro2Laser变换的比较
C形臂角度 平均Δ[mm] 最大Δ[mm] CDF95
AP 0.40 1.07 1.06
LAO90 0.09 0.23 0.18
上面比较的平均值是0.4mm和0.09mm，其都低于1mm的接受标准阈值。因而，测试通过。
表9示出为不同的螺旋形夹具位置的对准图像计算的参考Fluoro2Laser变换之间的比较。
使用上面所示的方程2和方程3计算表9中所示的值。
表9.用于不同的螺旋形夹具位置的参考Fluoro2Laser变换的比较
上面比较的平均值是0.63mm，其低于1mm的接受标准阈值。因而，测试通过。
本领域的技术人员应当理解，本发明并不限于上文中特别示出和描述的内容。相反，本发明的范围包含上文所述各种特征的组合与子组合两者，以及不在现有技术范围内的其变型和修改，所属领域的技术人员在阅读上述描述时应当想到这些变型和修改。

Claims (22)

1.一种用于对准坐标系的方法，包括以下步骤：
定位具有标记物的校准夹具，所述标记物对于成像区域中的成像模态不透明，其中所述标记物包括至少两个共线标记物四元组，所述至少两个共线标记物四元组具有相应的标记物交比；
利用所述成像模态产生所述标记物的图像；
检测所述图像上的所述标记物；
在所述图像上识别所检测的标记物的共线图像四元组；
计算所述共线图像四元组的相应的图像交比；
通过使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；
使用成对的所述候选线，利用所述图像执行所述校准夹具的相应对准；
确定所述对准的残余；以及
选择所述对准中的一个，其中所述对准的所述一对候选线与合格的残余相关联，所述合格的残余小于预先确定的值。
2.根据权利要求1所述的方法，其中所述候选线的至少一部分具有多个共线图像四元组。
3.根据权利要求1所述的方法，还包括以下步骤：
使用所选择的对准，使所述标记物重新投影到所述图像上；以及
然后，通过将所重新投影的标记物中的其它标记物定位在所述图像上来建立新的对准。
4.根据权利要求3所述的方法，其中定位所重新投影的标记物中的其它标记物包括确定所重新投影的标记物与所检测的标记物之间的接近度。
5.根据权利要求3所述的方法，其中定位所重新投影的标记物中的其它标记物包括根据所重新投影的标记物和所检测的标记物的均方根误差来记下所重新投影的标记物。
6.根据权利要求3所述的方法，其中建立新的对准包括使在六自由度上重新投影所述标记物的残余误差最小化。
7.根据权利要求1所述的方法，其中所述标记物的尺寸是相同的。
8.一种用于对准坐标系的方法，包括以下步骤：
定位具有在由荧光镜照射的区域中的射线不可透标记物的校准夹具，其中所述标记物包括至少两个共线标记物四元组，所述至少两个共线标记物四元组具有相应的标记物交比；
利用所述荧光镜产生所述标记物的荧光镜图像；
检测所述图像上的所述标记物；
在所述荧光镜图像上识别所检测的标记物的共线图像四元组；
计算所述共线图像四元组的相应的图像交比；
通过使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；
使用成对的所述候选线，利用所述荧光镜图像执行所述校准夹具的相应对准；
确定所述对准的残余；以及
选择所述对准中的一个，其中所述对准的所述一对候选线与合格的残余相关联，所述合格的残余小于预先确定的值。
9.根据权利要求8所述的方法，其中所述候选线的至少一部分具有多个共线图像四元组。
10.根据权利要求8所述的方法，还包括以下步骤：
使用所选择的对准，使所述标记物重新投影到所述图像上；以及
然后，通过将所重新投影的标记物中的其它标记物定位在所述图像上来建立新的对准。
11.根据权利要求10所述的方法，其中定位所重新投影的标记物中的其它标记物包括确定所重新投影的标记物与所检测的标记物之间的接近度。
12.根据权利要求10所述的方法，其中定位所重新投影的标记物中的其它标记物包括根据所重新投影的标记物和所检测的标记物的均方根误差来记下所重新投影的标记物。
13.根据权利要求10所述的方法，其中建立新的对准包括使在六自由度上重新投影所述标记物的残余误差最小化。
14.根据权利要求8所述的方法，其中所述标记物的尺寸是相同的。
15.一种用于对准坐标系的设备，包括：
具有射线不可透标记物的校准夹具，其中所述标记物包括至少两个共线标记物四元组，所述至少两个共线标记物四元组具有相应的标记物交比；
处理器；
所述处理器能够访问的存储器，所述存储器在其中存储程序和数据对象，其中所述程序的执行致使所述处理器执行以下步骤：
检测荧光镜图像上的所述标记物；
在所述图像上识别所检测的标记物的共线图像四元组；
计算所述共线图像四元组的相应的图像交比；
通过使根据预定义的标准具有匹配的标记物交比和图像交比的至少一个共线标记物四元组与至少一个共线图像四元组相关联来限定候选线；
使用成对的所述候选线，利用所述图像执行所述校准夹具的相应对准；
确定所述对准的残余；以及
选择所述对准中的一个，其中所述对准的所述一对候选线与合格的残余相关联，所述合格的残余小于预先确定的值。
16.根据权利要求15所述的设备，其中所述候选线的至少一部分具有多个共线图像四元组。
17.根据权利要求15所述的设备，其中沿着单个轴线设定所述标记物。
18.根据权利要求15所述的设备，其中所述处理器操作以执行附加步骤：通过将所重新投影的标记物中的其它标记物定位在所述图像上，使用所选择的对准，在到所述图像上的所述标记物的重新投影上建立新的对准。
19.根据权利要求18所述的设备，其中定位所重新投影的标记物中的其它标记物包括确定所重新投影的标记物与所检测的标记物之间的接近度。
20.根据权利要求15所述的设备，其中所述标记物的尺寸是相同的。
21.一种用于对准坐标系的方法，包括以下步骤：
定位具有对称轴和对于成像区域中的成像模态不透明的标记物的校准夹具，其中所述标记物包括具有标记物交比的共线标记物四元组，所述共线标记物四元组在所述对称轴上；
利用所述成像模态产生所述标记物的图像；
检测所述图像上的所述标记物；
在所述图像上识别所检测的标记物的共线图像四元组；
计算所述共线图像四元组的相应的图像交比；
通过使所述共线标记物四元组与至少一个共线图像四元组相关联来限定候选线，其中根据预定义的标准，所述标记物交比和所述图像交比匹配；
使用相应的候选线，利用所述图像执行所述校准夹具的对准；
确定所述对准的残余；以及
选择所述对准中的一个，其中所述对准的所述候选线与合格的残余相关联，所述合格的残余小于预先确定的值。
22.一种用于对准坐标系的设备，包括：
具有射线不可透标记物的校准夹具，其中所述标记物包括共线标记物四元组，所述共线标记物四元组具有标记物交比；
处理器；
所述处理器能够访问的存储器，所述存储器在其中存储程序和数据对象，其中所述程序的执行致使所述处理器执行以下步骤：
检测荧光镜图像上的所述标记物；
在所述图像上识别所检测的标记物的共线图像四元组；
计算所述共线图像四元组的相应的图像交比；
通过使所述共线标记物四元组与至少一个共线图像四元组相关联来限定候选线，其中根据预定义的标准，所述标记物交比和图像交比匹配；
使用相应的候选线，利用所述图像执行所述校准夹具的对准；
确定所述对准的残余；以及
选择所述对准中的一个，其中所述对准的所述候选线与合格的残余相关联，所述合格的残余小于预先确定的值。
CN201610884676.0A 2015-10-08 2016-10-10 多标记物夹具的识别和对准 Active CN106980853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/878063 2015-10-08
US14/878,063 US9672607B2 (en) 2015-10-08 2015-10-08 Identification and registration of multi-marker jig

Publications (2)

Publication Number Publication Date
CN106980853A true CN106980853A (zh) 2017-07-25
CN106980853B CN106980853B (zh) 2021-11-02

Family

ID=57130185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610884676.0A Active CN106980853B (zh) 2015-10-08 2016-10-10 多标记物夹具的识别和对准

Country Status (7)

Country Link
US (1) US9672607B2 (zh)
EP (1) EP3153101B1 (zh)
JP (1) JP6776086B2 (zh)
CN (1) CN106980853B (zh)
AU (1) AU2016222472A1 (zh)
CA (1) CA2943506A1 (zh)
IL (1) IL248135B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200970A (zh) * 2017-08-23 2020-05-26 锐珂牙科技术顶阔有限公司 牙科椅边断层合成系统
CN111437034A (zh) * 2020-04-21 2020-07-24 北京罗森博特科技有限公司 一种定位标尺及标志点定位方法
CN111791588A (zh) * 2020-09-10 2020-10-20 季华实验室 校正装置、喷墨打印机和喷印点坐标确定方法
CN113894799A (zh) * 2021-12-08 2022-01-07 北京云迹科技有限公司 机器人及辅助环境定位的标识物识别方法和装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10492755B2 (en) * 2016-07-13 2019-12-03 Carestream Health, Inc. Calibration phantom comprising a reflectance calibration target and a plurality of radio-opaque markers
CN107049488B (zh) * 2017-05-27 2022-01-07 北京航空航天大学 一种单平面手术定位方法及模型
EP3421086B1 (en) * 2017-06-28 2020-01-15 OptiNav Sp. z o.o. Determination of geometrical information about a medical treatment arrangement comprising a rotatable treatment radiation source unit
KR102385668B1 (ko) * 2017-07-24 2022-04-13 한국전자통신연구원 3차원 영상 검사 장비의 교정 장치 및 교정 방법
US10517612B2 (en) 2017-09-19 2019-12-31 Biosense Webster (Israel) Ltd. Nail hole guiding system
AT520909B1 (de) * 2018-01-22 2022-09-15 Ait Austrian Inst Tech Gmbh Kalibrierträger mit asymmetrischem geometrischem Kalibriermuster
EP3569147B1 (de) * 2018-05-16 2021-07-21 Siemens Healthcare GmbH Verfahren und vorrichtung zum bestimmen einer geometriekalib-rierung für eine bildgebende vorrichtung sowie verfahren zum bestimmen von zuordnungsdaten für die geometriekalibrierung
JP2020066066A (ja) * 2018-10-22 2020-04-30 セイコーエプソン株式会社 ロボットシステム、ロボットの校正治具、ロボットの校正方法
US12108959B2 (en) 2019-05-29 2024-10-08 Wright Medical Technology, Inc. Preparing a tibia for receiving tibial implant component of a replacement ankle
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20220397670A1 (en) * 2021-06-09 2022-12-15 Wright Medical Technology, Inc. Alignment systems and methods
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0018166A1 (en) * 1979-04-13 1980-10-29 Pfizer Inc. Apparatus for use in stereotactic surgery
EP1175592A1 (de) * 1999-05-03 2002-01-30 SYNTHES AG Chur Positionserfassungsvorrichtung mit hilfsmitteln zur ermittlung der richtung des schwerkraftvektors
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合
CN103829949A (zh) * 2012-11-19 2014-06-04 韦伯斯特生物官能(以色列)有限公司 体内探头跟踪系统中的患者运动补偿
CN103892858A (zh) * 2012-12-26 2014-07-02 韦伯斯特生物官能(以色列)有限公司 通过模拟图像而降低的x射线曝光
CN104274245A (zh) * 2013-07-09 2015-01-14 韦伯斯特生物官能(以色列)有限公司 荧光镜的无辐射位置校准
CN104720750A (zh) * 2013-12-24 2015-06-24 韦伯斯特生物官能(以色列)有限公司 用于场补偿应用的自适应荧光镜定位
CN104825130A (zh) * 2014-02-07 2015-08-12 韦伯斯特生物官能(以色列)有限公司 在不同心跳率下获取的心脏图像序列之间的同步
US20150228123A1 (en) * 2014-02-07 2015-08-13 Datangle, Inc. Hybrid Method to Identify AR Target Images in Augmented Reality Applications

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700909B1 (fr) * 1993-01-27 1995-03-17 Gen Electric Cgr Dispositif et procédé automatique de calibration géométrique d'un système d'imagerie par rayons X.
US5738096A (en) 1993-07-20 1998-04-14 Biosense, Inc. Cardiac electromechanics
US6097994A (en) 1996-09-30 2000-08-01 Siemens Corporate Research, Inc. Apparatus and method for determining the correct insertion depth for a biopsy needle
US7245958B1 (en) * 1996-09-30 2007-07-17 Siemens Corporate Research, Inc. Trigonometric depth gauge for biopsy needle
US6314310B1 (en) 1997-02-14 2001-11-06 Biosense, Inc. X-ray guided surgical location system with extended mapping volume
US6731283B1 (en) 1997-12-31 2004-05-04 Siemens Corporate Research, Inc. C-arm calibration method utilizing aplanar transformation for 3D reconstruction in an imaging system
AU1534701A (en) * 1999-11-23 2001-06-04 Canon Kabushiki Kaisha Image processing apparatus
US6600555B2 (en) 2001-10-15 2003-07-29 Hunter Engineering Company Apparatus and method for target identification in a vehicle wheel alignment system
DE10215808B4 (de) * 2002-04-10 2005-02-24 Siemens Ag Verfahren zur Registrierung für navigationsgeführte Eingriffe
US9623208B2 (en) * 2004-01-12 2017-04-18 Varian Medical Systems, Inc. Instruments with location markers and methods for tracking instruments through anatomical passageways
US7394946B2 (en) 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
US8224024B2 (en) * 2005-10-04 2012-07-17 InterSense, LLC Tracking objects with markers
GB2451482B (en) 2007-07-31 2012-03-14 Hewlett Packard Development Co Method and apparatus for reading a surface coded pattern
EP2245986B1 (de) 2008-08-22 2013-10-16 BrainLAB AG Pyramidenförmige Röntgenmarkervorrichtung
US8238631B2 (en) * 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0018166A1 (en) * 1979-04-13 1980-10-29 Pfizer Inc. Apparatus for use in stereotactic surgery
EP1175592A1 (de) * 1999-05-03 2002-01-30 SYNTHES AG Chur Positionserfassungsvorrichtung mit hilfsmitteln zur ermittlung der richtung des schwerkraftvektors
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合
CN103829949A (zh) * 2012-11-19 2014-06-04 韦伯斯特生物官能(以色列)有限公司 体内探头跟踪系统中的患者运动补偿
CN103892858A (zh) * 2012-12-26 2014-07-02 韦伯斯特生物官能(以色列)有限公司 通过模拟图像而降低的x射线曝光
CN104274245A (zh) * 2013-07-09 2015-01-14 韦伯斯特生物官能(以色列)有限公司 荧光镜的无辐射位置校准
CN104720750A (zh) * 2013-12-24 2015-06-24 韦伯斯特生物官能(以色列)有限公司 用于场补偿应用的自适应荧光镜定位
CN104825130A (zh) * 2014-02-07 2015-08-12 韦伯斯特生物官能(以色列)有限公司 在不同心跳率下获取的心脏图像序列之间的同步
US20150228123A1 (en) * 2014-02-07 2015-08-13 Datangle, Inc. Hybrid Method to Identify AR Target Images in Augmented Reality Applications

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200970A (zh) * 2017-08-23 2020-05-26 锐珂牙科技术顶阔有限公司 牙科椅边断层合成系统
CN111200970B (zh) * 2017-08-23 2024-06-07 锐珂牙科技术顶阔有限公司 牙科椅边断层合成系统
CN111437034A (zh) * 2020-04-21 2020-07-24 北京罗森博特科技有限公司 一种定位标尺及标志点定位方法
CN111791588A (zh) * 2020-09-10 2020-10-20 季华实验室 校正装置、喷墨打印机和喷印点坐标确定方法
CN113894799A (zh) * 2021-12-08 2022-01-07 北京云迹科技有限公司 机器人及辅助环境定位的标识物识别方法和装置

Also Published As

Publication number Publication date
US9672607B2 (en) 2017-06-06
JP6776086B2 (ja) 2020-10-28
IL248135B (en) 2019-03-31
CA2943506A1 (en) 2017-04-08
JP2017070749A (ja) 2017-04-13
CN106980853B (zh) 2021-11-02
EP3153101C0 (en) 2024-04-24
IL248135A0 (en) 2017-01-31
EP3153101B1 (en) 2024-04-24
US20170103505A1 (en) 2017-04-13
AU2016222472A1 (en) 2017-04-27
EP3153101A1 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
CN106980853A (zh) 多标记物夹具的识别和对准
CN106688014B (zh) 用于确定放射摄影图像的图像质量的设备和方法
CN105574878B (zh) 使用局部加权拟合的图像配准
US7010080B2 (en) Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record
CN111080706B (zh) 重建图像数据集的方法、装置、计算机程序和数据载体
US20130094742A1 (en) Method and system for determining an imaging direction and calibration of an imaging apparatus
US20100080347A1 (en) Method for Defining an Individual Coordination System for a Breast of a Female Patient
JP2008537691A (ja) 診断用精密検査におけるイメージング・ソフトウエアの領域を拡張する方法
WO2008063494A2 (en) Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
CN108720862A (zh) 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系
US20130266230A1 (en) Image registration apparatus
US20160296292A1 (en) Radiation-free registration of an optical shape sensing system to an imaging system
Dang et al. Robust methods for automatic image‐to‐world registration in cone‐beam CT interventional guidance
CN112654314A (zh) 外部固定装置的放射线图像和三维模型的配准方法和系统
CN106539623A (zh) 向刚性工具添加跟踪传感器
US11847730B2 (en) Orientation detection in fluoroscopic images
Van der Bom et al. Robust initialization of 2D‐3D image registration using the projection‐slice theorem and phase correlation
Kuo et al. An image‐guidance system for dynamic dose calculation in prostate brachytherapy using ultrasound and fluoroscopy
CN110495899A (zh) 确定几何形状校准的方法和设备和确定关联数据的方法
Tomaževič et al. “Gold standard” data for evaluation and comparison of 3D/2D registration methods
JP7463625B2 (ja) ナビゲーションサポート
JP6703470B2 (ja) データ処理装置及びデータ処理方法
CN107106106B (zh) 针对具有减小的角范围的旋转c型臂计算机断层摄影的自适应分割
Seslija et al. Feasibility of 3D tracking of surgical tools using 2D single plane x-ray projections
CN114983488A (zh) 用于识别活检位置坐标的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant