CN107205780A - 基于跟踪的3d模型增强 - Google Patents
基于跟踪的3d模型增强 Download PDFInfo
- Publication number
- CN107205780A CN107205780A CN201680008779.9A CN201680008779A CN107205780A CN 107205780 A CN107205780 A CN 107205780A CN 201680008779 A CN201680008779 A CN 201680008779A CN 107205780 A CN107205780 A CN 107205780A
- Authority
- CN
- China
- Prior art keywords
- rebuild
- static
- trace
- organ
- mps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000003068 static effect Effects 0.000 claims abstract description 31
- 210000000056 organ Anatomy 0.000 claims abstract description 22
- 210000003748 coronary sinus Anatomy 0.000 claims description 21
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 11
- 239000012530 fluid Substances 0.000 claims description 9
- 230000000747 cardiac effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 210000003205 muscle Anatomy 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003387 muscular Effects 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 25
- 210000003484 anatomy Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 238000002594 fluoroscopy Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000241 respiratory effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003218 coronary vasodilator agent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004137 mechanical activation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/063—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using impedance measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
- A61B5/283—Invasive
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
- A61B2017/00238—Type of minimally invasive operation
- A61B2017/00243—Type of minimally invasive operation cardiac
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4225—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using image intensifiers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
- A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Gynecology & Obstetrics (AREA)
- Cardiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种用于增强物体的三维(3D)重建的方法,包括:获得指示布置在跟踪空间中的物体的静态3D重建的信号;将3D重建共配准至3D跟踪空间;采集来自布置在3D跟踪空间中的跟踪工具的增强数据;以及使用增强数据将物体的实时特征添加至静态3D重建。一种用于增强由医疗系统获取的数据的系统,包括:电子控制单元,其被配置为:接收针对器官的静态3D重建的第一信号;将静态3D重建共配准至针对跟踪工具的3D跟踪空间;接收针对由在器官的感兴趣区域内操作的跟踪工具生成的增强数据的第二信号;以及使用增强数据将感兴趣区域的实时特征添加至静态3D重建。
Description
相关申请的交叉引用
本申请要求在2015年2月13日提交的美国临时申请no.62/116,037的权益,其通过引用包含于此,如同在此全面阐述一样。
背景技术
a.技术领域
本公开总地涉及生成内部器官的三维(3D)重建的医疗成像和定位系统。特别地,本公开涉及将功能增强添加至3D重建模型。
b.背景技术
存在用于生成内部器官的三维(3D)重建的多种方法。例如,计算机断层扫描(CT)、X射线、正电子发射断层扫描(PET)或磁共振成像(MRI)可以用于生成可以通过荧光透视投影的3D模态或一些其他二维(2D)图像。在医疗程序期间将由医疗定位系统(MPS)跟踪的诸如导管或导丝的介入医疗装置的实时表示叠加在3D重建上在本领域中也是已知的。
3D重建用作标测图以帮助执行医疗程序的医务人员在经受程序的患者的身体中的感兴趣的体积内导航医疗装置。为了重叠以反映医疗装置在感兴趣的体积内的真实位置,需要将与MPS相关联的坐标系和与3D重建相关联的坐标系配准。
此外,期望医疗专家在在患者内操纵医疗装置和执行治疗的同时在3D重建内实时地观察医疗装置。但是,时常地,不期望或者甚至不可能在在患者内操纵医疗装置的同时捕获解剖结构的图像。例如,与一些身体器官和血管相关联的操作限制可以阻止示出医疗装置的图像和解剖结构的图像的同时捕获,特别是在使用对比剂或特定染料的情况下。
为了示出,医疗成像系统可以用于协助心脏再同步治疗(CRT)植入程序。在这种程序中,用于医疗装置的引线被引入患者的冠状窦口以输送治疗,其中,窦口是冠状窦的孔口。获得冠状窦的表示的一种方式是利用荧光透视成像系统获取解剖结构的静脉造影。对比剂可以被注入冠状窦或其他器官或血管内以便于利用成像系统获取静脉造影。对比剂甚至可以通过将气囊导管定位在冠状窦口内来限制在冠状窦内。对比剂突出了在静脉造影上的冠状窦的解剖结构。然而,气囊导管必须在诸如导丝、导管和LV引线的医疗装置行进通过冠状窦口之前被移除。之后,对比剂可以从冠状窦消散。由此,突出解剖结构的对比剂的有益效果可能在医疗装置被导航通过患者至目标定位之前丢失。医疗专家必须在仅接收冠状窦的部分突出的图像的同时将医疗装置导航通过患者。
尽管现有技术的3D重建已经能够例如使用通过荧光透视的CT或MRI投影组合来自许多不同来源的图像、模型和信息,包括来自跟踪工具(诸如EnsiteTM NavXTM或MediGuideTMgMPSTM(引导医疗定位系统)使能的装置(两者都从圣犹达医疗公司市售))的历史信息,这种3D重建依赖于所存储的图像数据。由此,3D重建不反映组织的当前的实时状况,如可以被患者的呼吸和心脏的活动影响的。
发明内容
在一个实施例中,一种用于增强布置在跟踪空间中的患者的内部器官的三维(3D)重建的方法包括:获得指示布置在跟踪空间中的物体的静态3D重建的信号;将3D重建共配准至3D跟踪空间;采集来自布置在3D跟踪空间中的跟踪工具的增强数据;以及使用增强数据将物体的实时特征添加至静态3D重建。
在另一实施例中,一种用于增强从医疗系统获取的数据的系统,包括:电子控制单元(ECU),其被配置为:接收针对器官的静态3D重建的第一信号;将静态3D重建共配准至针对跟踪工具的3D跟踪空间;接收针对由在器官的感兴趣区域内操作的跟踪工具生成的增强数据的第二信号;以及使用增强数据将感兴趣区域的实时特征添加至静态3D重建。
附图说明
图1是用于在显示屏上生成并显示增强的3D重建的医疗成像系统的示意图。
图2A是根据所公开技术的与3D坐标系相关联的3D预获取图像的示意图。
图2B是从图2A的3D预获取图像提取的管状器官的3D图像模型的示意图。
图3A是根据所公开技术的诸如在图1中使用的医疗装置的迹线的示意图。
图3B是包括图2B的管状器官的2D表示的感兴趣体积的2D图像的示意图。
图3C是从图3A的医疗装置迹线和图3B的2D表示确定的管状器官的估计体积模型的示意图。
图4是根据所公开技术的过程与图2B的所提取3D模型配准的图3C的估计体积模型的示意图。
图5是根据所公开技术的叠加在诸如图3B的2D图像上的诸如图2B的3D重建模型、以及实时的基于跟踪的增强的示意图。
具体实施方式
本公开允许在由操作者对工具的实时操纵期间利用补充数据增强3D重建模型,而不管3D重建模型最初如何被创建。通过该方法,最初在模型中不存在的特征(运动、缺失或局部分支等)变得对于操作者的利益有用。
图1是医疗成像系统10的示意图,其用于确定导管12相对于患者14的器官的3D重建模型的位置,以及用于在显示单元16上生成并显示基于跟踪的增强信息。系统10包括移动成像器18(其包括增强器20和发射器22)和医疗定位系统24(其包括定位传感器26和场发生器28)。属于由医疗成像系统10生成的模型的电生理标测信息和心脏机械激活数据在计算机显示器16上显示以便于患者14的治疗和诊断。本公开描述了用于系统10收集来自患者14的生理信息以增强3D重建模型从而便于诊断和治疗的方式。例如,系统10可以被配置为利用导管12采集心脏运动和呼吸运动数据,并且进一步以视觉形式将该数据与3D模型合并。在另一实施例中,3D重建模型利用在最初获得的3D重建模型中缺少的由导管12获得的解剖特征来增强。
移动成像器18是当患者14躺在手术台32上时获取感兴趣的区域30的图像的装置。增强器20和发射器22安装在C形臂34上,其使用移动机构36定位。在一个实施例中,移动成像器18包括荧光透视或X射线型成像系统,其生成患者14的心脏的二维(2D)图像。
医疗定位系统(MPS)24包括多个磁场发生器28和导管12,定位传感器26安装至导管12的远端附近。MPS 24根据定位传感器26的输出来确定由场发生器28生成的磁坐标系中导管12的远侧部分的位置。在一个实施例中,MPS 24包括MediguideTM gMPSTM磁导医疗定位系统,如由圣犹达医疗公司商业提供的,其生成患者14的心脏的三维(3D)模型。在其他实施例中,MPS 24可以包括基于阻抗的系统,例如从圣犹达医疗公司市售的利用EnSiteTMNavXTM技术的EnSiteTMVelocityTM系统,或一般例如通过参考美国专利No.7,263,397或美国公开No.2007/0060833可见的,两者的全部内容通过引用包含于此,如同在此全面阐述一样。此外,可以使用基于混合磁和阻抗的系统。
C形臂34被定向以使得增强器20位于患者14之上并且发射器22位于手术台32之下。发射器22生成成像场FI,而增强器20接收成像场FI,成像场FI例如辐射场,其在显示器16上生成感兴趣区域30的2D图像。移动成像器18的增强器20和发射器22通过C形壁34连接以沿着成像轴线AI布置在患者14的相对侧,成像轴线AI在所述实施例中关于图1垂直地延伸。移动机构36关于旋转轴线AR旋转C形臂34,旋转轴线AR在所述实施例中关于图1水平地延伸。移动机构36或另外的移动机构可以用于将C形臂34移动至其他定向。例如,C形臂34可以关于延伸进入图1的平面的轴线(未示出)旋转以使得成像轴线AI在图1的平面内可旋转。这样,移动成像器18与具有x轴XI、y轴YI和z轴ZI的3D光学坐标系相关联。
医疗定位系统(MPS)24被定位以允许导管12和场发生器28通过使用合适的有线或无线技术与系统10进行交互。导管12被插入至患者14的血管中以使得定位传感器26位于感兴趣区域30处。在所述实施例中,场发生器28被安装至增强器20以能够在与成像场FI共扩展的感兴趣区域30中生成磁场FM。在其他实施例中,场发生器28可以安装在别处,诸如在手术台32下面。MPS 24能够检测位置传感器26在磁场FM内的存在。在一个实施例中,位置传感器26可以包括三个相互正交的线圈,如在Strommer等人的美国专利No.6,233,476中所述,其全部内容通过引用包含于此以用于全部目的。这样,MPS 24与具有x轴XP、y轴YP和z轴ZP的3D磁坐标系相关联。
3D光学坐标系和3D磁坐标系相互独立,即它们具有不同的标度、原点和方向。C形臂34经由移动机构36的移动允许磁场FI和磁场FM在它们相应坐标系内相对于感兴趣区域30移动。然而,场发生器28位于增强器20上以配准与移动成像器18和MPS 24相关联的坐标系。在场发生器28未安装在增强器20上的实施例中,磁场FM和成像场FI之间的配准使用其他已知的方法来保持。由此,在每个坐标系内生成的图像可以合并至显示单元16上示出的单个图像中。移动成像器18和MPS 24可以一起工作,如在Strommer等人的公开No.US 2008/0183071中所述,其全部内容通过引用包含于此以用于全部目的。
显示单元16与增强器20耦合。发射器22发送穿过患者14的辐射。辐射被增强器20检测作为感兴趣区域30的解剖结构的表示。表示感兴趣区域30的图像在显示单元16上生成,包括导管12的图像。C形臂34可以被移动以获得感兴趣区域30的多个2D图像,每个图像可以在显示单元16上显示为2D图像。
显示单元16耦合至MPS 24。场发生器28发送与3D磁坐标系的轴相对应的相互正交的磁场。位置传感器26检测由场发生器28生成的磁场。根据例如本领域中已知的毕奥萨伐尔定律,所检测到的信号与导管12的远端的位置和方向有关。由此,导管12的远端的精确的位置和定位由MPS24获得并且可以在显示单元16处连同感兴趣区域30的2D图像一起显示。此外,来自位置传感器26的数据可以用于生成感兴趣区域30的3D模型,如在Strommer等人的美国专利No.7,386,339中所述,其全部内容通过引用包含于此以用于全部目的。
在一个实施例中,系统10与基于阻抗的标测和导航系统集成,基于阻抗的标测和导航系统例如从圣犹达医疗公司市售的EnSiteTMNavXTM系统,或一般例如通过参考美国专利No.7,263,397或公开No.US 2007/0060833可见的,两者的全部内容通过引用包含于此以用于全部目的。来自这种基于阻抗的系统的信息可以与来自图1的MPS 24的数据共配准和组合。MPS 24和基于阻抗的系统可以在结构上集成,诸如在Olson的公开No.US 20012/0265054中所述,其全部内容通过引用包含于此以用于全部目的。
由系统10生成的3D模型和数据可以用于促进各种医疗程序。例如,已经发现,机械激活数据,例如心脏壁肌肉的位移,可以与电子标测数据结合使用来优化用于心脏再同步治疗(CRT)程序的引线的放置。Rosenberg等人的美国专利No.8,195,292描述了用于使用电极运动跟踪来优化CRT的示例性方法,该专利的全部内容通过引用包含于此以用于全部目的。
在典型的成像系统中,当3D模型是静态的并且不反映解剖结构的实时运动时,观察、理解和评估来自解剖结构的实时数据可能是困难的。由这些典型的系统生成的3D模型需要操作者或医生脑力地利用静态3D模型协调实时运动。由此,患者的诊断和治疗可能被医生的技术制约。
本公开为系统10提供以下能力:获得和显示3D模型以及利用导管或一些其他跟踪装置在医疗程序期间采集的实时数据点。特别地,实时数据点可以被添加至静态3D模型作为心脏壁运动成像(例如,位移和定时)、呼吸运动和扩展解剖特征。来自数据点的实时特征包括实时位置数据和实时生理数据,如在申请中所述。本发明的技术的系统和方法允许系统10通过提供用于以下的方法和系统来克服现有技术的缺点:将与三维(3D)预获取医疗图像相关联的坐标系(“3D坐标系”)和与MPS相关联的3D坐标系(“MPS坐标系”)以及与2D图像相关联的2D坐标系(“2D坐标系”)进行配准,针对呼吸和心脏运动来补偿3D预获取医疗图像和2D图像,利用实时跟踪数据来增强配准的图像以生成补充解剖信息,以及单独地或彼此组合地实时地同时显示所有图像、模型和数据。注意,MPS坐标系是3D坐标系。
根据所公开技术的系统10预获取感兴趣体积的3D图像(图2A),并从感兴趣体积内的至少一个管状器官(例如,心脏的冠状血管)的3D图像提取3D图像模型(图2B)。系统10进一步获得同一管状器官的估计体积模型(图3C)。系统10使用插入管状器官中的医疗装置的迹线(图3A)(即,表示医疗装置的轨迹的定位的集合)以及该同一器官的至少一个2D图像(图3B)来获得该估计体积模型,。医疗装置安装有MPS传感器以生成迹线。系统10使用这些模型和上述坐标系来实现以较高精确度配准的图像和模型(图4)。这种配准程序在Strommer等人的美国专利No.8,238,625中描述,其全部内容通过引用包含于此以用于全部目的。术语“配准”指的是找到将在一个坐标系中的每个点的坐标关联至另一坐标系中的相同点的坐标的转换。
另外,根据所公开技术的系统10针对心脏和呼吸运动补偿配准的坐标系,如在Cohen的公开No.US 2013/0172730中所述,其全部内容通过引用包含于此以用于全部目的。
此外,利用本文描述的技术,系统10能够使用利用跟踪工具获得的诸如用于生成图3A的迹线的实时信息,以增强配准的图像(图5),无论是一起或单独地显示,诸如图3B的2D图像或图3C的估计体积模型。
图2A是根据所公开技术的与3D坐标系104相关联的3D预获取图像100的示意图。3D预获取图像100可以使用任何合适的系统获取,例如,CT、MRI、PET、3D超声等。图像100是包括管状器官102的感兴趣体积的3D图像。3D预获取图像100用作用于在感兴趣体积中导航最小侵入性医疗装置(诸如图1的导管12)的3D参考路线图。将在MPS坐标系中可操作并安装有MPS传感器的最小侵入性医疗装置叠加在3D预获取图像100上需要将3D坐标系与MPS坐标系配准。
图2B是从3D预获取图像100(图2A)提取的管状器官102的3D图像模型106的示意图。在一个实施例中,管状器官包括具有分支108的冠状窦。所提取的图像模型106也与3D坐标系104相关联。为了实现配准,在医疗程序之前,根据所公开技术的系统10处理(例如,分割)3D预获取图像100并提取管状器官102的3D模型106。管状器官102位于所成像的感兴趣体积内。
图3A是根据所公开技术的医疗装置(例如,图1的导管12)的迹线122的示意图。迹线122由表示安装在医疗装置上的MPS传感器(例如,图1的传感器26)的定位的多个MPS点(诸如MPS点120)构成。在医疗程序(例如,最小侵入性程序)期间,医务人员将安装有MPS传感器的导管(例如,图1的导管12)插入至管状器官102内并沿着管状器官102移动(即,在管状器官内向前推或向后拉)导管以获取点120。MPS(例如,图1的医疗定位系统24)获取多个MPS点(即,在管状器官内和沿着管状器官的MPS传感器的多个定位),并确定管状器官102的形状的3D MPS迹线122。这些MPS点由MPS坐标系118中的坐标表示。术语“迹线”和“中心线”在本文都指表示医疗装置的轨迹的定位的集合。
图3B是感兴趣体积的2D图像112的示意图。2D图像112包括管状器官102的2D表示114,以及在管状器官102内的医疗装置的轨迹116。2D图像112与2D坐标系110相关联。当医务人员将安装有MPS传感器的医疗装置插入至管状器官102中时,系统10单独地获得该器官的2D实时图像,由此一起捕获表示114和轨迹116。2D图像112可以使用任何合适的方法来获得,诸如X射线、2D超声等。当根据所公开技术的系统10使用生成静脉造影照片的X射线成像器,诸如图1的移动成像器,以获得2D图像112时,期望将对比流体(例如,染料)注入管状器官中以增强管状器官在图像112中的2D表示114的外观。
由于MPS坐标系118与2D坐标系110配准,诸如MPS点120的MPS点中的每一个具有2D坐标系110中的相应点。通过使用图像处理技术,诸如分割或边缘检测,系统10针对每个MPS点确定管状器官102的2D表示114的宽度。系统10使用该宽度以及医疗装置的迹线122(即,不必须是管状器官102的中心线)来确定管状器官102的估计体积模型。例如,在每个MPS点处的管状器官102的2D表示114的宽度确定环绕该点的圆圈的直径。
图3C是从迹线122(图3A)和2D表示114(图3B)确定的管状器官102的估计体积模型124的示意图。估计体积模型124与MPS坐标系118和2D坐标系110相关联。MPS坐标系118(例如,通过将MPS发射器/场发生器28机械地耦合至移动成像器18,如以上参考图1所述)与2D坐标系110配准。通过使用3D MPS迹线122和至少一个2D图像,系统10估计管状器官102的体积模型124。在一个实施例中,体积模型124包括使用MediGuideTM技术生成的AngioSurveyTM 3D模型。Angio SurveyTM的特征在于从在不同投影处记录的使用对比剂的两个影像回放重建血管解剖结构的3D模型的能力。重建的模型可以以3D显示并投影在实时且预先记录的荧光透视上。在一个实施例中,MediGuideTM CPS Courier 0.014英寸(~0.3556mm)导丝与Angio Survey模型一起使用。
系统10通过将所提取的图像模型106与估计体积模型124匹配来配准估计体积模型124、MPS坐标系118和3D坐标系104。系统10以高精确度实现该配准(即,由于与在管状器官内的MPS传感器的轨迹的简单迹线相比,体积模型以更高的精确度来表示管状器官)。由于2D坐标系110与MPS坐标系118配准,并且MPS坐标系118与3D坐标系104配准,因此2D坐标系110也与3D坐标系104配准。
图4是根据所公开技术的配准过程的示意图。系统10例如通过将所提取的3D模型106与估计体积模型124匹配来将MPS坐标系118与3D坐标系104配准。在该配准之后,2D坐标系110也与坐标系104配准。由此,在坐标系110、118和104中的每一个中的每个点具有在其他坐标系中的每一个中的相应点。在坐标系110、118和104之间的这种配准实现感兴趣的MPS点在3D图像上的它们的各自的定位处的叠加。例如,3D预获取图像100现在可以例如在医疗程序(例如,治疗结构心脏疾病、经皮瓣膜的部署、消融、标测、药物输送、ICD/CRT引线布置、部署支架和其他PCI程序、手术、活组织检查)期间用作医务人员的路线图。在该3D参考路线图上,系统10将医疗装置的3D迹线122叠加在管状器官102内。该配准还实现包括在3D图像100中的感兴趣点在2D图像112上的它们各自的定位处的叠加。作为另一示例,管状器官102的3D图像模型106可以被投影至2D图像112上。由此,所投影的3D图像可以用作虚拟染料,来代替在获得2D图像112之前将荧光染料注入至管状器官102。
在医疗程序期间,患者14的位置和方向可能改变。因此,感兴趣体积的2D实时表示也可能改变。这些改变可能影响3D坐标系104和2D坐标系110之间的配准。因此,在医疗程序期间放置在患者14上的MPS参考传感器可操作来检测患者位置和方向的这些改变。关于这些改变的信息可以用于触发配准过程或作为用于这种配准过程的输入。本文所述的所有配准过程在Strommer等人的前述'625专利中更详细地说明。
另外,在图像的配准之后,由于诸如患者的呼吸和心脏的跳动的生物力学效应引起的每个图像的移动使用以下总结的Cohen的前述公开No.US 2013/0172730的技术来被补偿。例如,用于运动补偿的一种技术包括使用物理锚,其可以包括MPS传感器,其用作共同的位置和方向标记,通过该标记,系统10关联来自不同坐标系的数据。同样,虚拟锚可以用于执行运动补偿,如在Cohen等人的公开No.US 2011/0054308中所述,其全部内容通过引用包含于此以用于全部目的。另外,内部位置参考传感器可以用于随着患者移动基于内部位置参考传感器的矢量来生成运动补偿函数,如在Cohen等人的公开No.US 2011/0158488中所述,其全部内容通过引用包含于此以用于全部目的。作为另一示例,用于运动补偿的一种技术包括连续地监测在第一和第二时间周期频率期间利用患者的身体定位时的MPS传感器的位置,由此系统10可以得知解剖结构的特定点的频率以使得在获取图像或模型时这些点在各个坐标系内的定位允许系统10确定患者身体的心脏和呼吸相位,如在Shmarak等人的公开No.US 2009/0182224中所述,其全部内容通过引用包含于此以用于全部目的。
最后,关于本公开,配准的、补偿的模型和/或图像可以利用实时跟踪数据来增强,其可以被外推以扩展之前生成的3D重建模型的边界,或者在之前生成的3D重建模型上生成组织运动可视化,如参考图5论述的。
图5是叠加在2D图像128上的3D重建模型126以及本技术的实时的基于跟踪的增强的示意图。2D图像128另外地包括解剖结构的对比流体增强部分以使得冠状窦130和分支132清晰可见。导管134被示出为插入至冠状窦130中以使得尖端136从分支132之一延伸。在所述实施例中,实时的基于跟踪的增强包括迹线138和迹线140。
在一个实施例中,使用X射线生成2D图像128,诸如参考图3B所述。在一个实施例中,使用由导管134的尖端136生成的跟踪信息来生成3D重建模型126,导管134的尖端136可以包括以上参考图1所述的MediGuide使能的尖端。在另一实施例中,3D重建模型126可以使用如参考图3C所讨论的估计体积模型来生成。在其他实施例中,3D重建模型126可以使用成像(血管造影术、CT、MRI、超声等)和3D跟踪数据的组合来生成。
随着导管134穿过冠状窦130,尖端136生成实时位置数据和实时生理数据。位置数据被其在解剖结构内的定位影响。由此,随着尖端136沿着每个分支132移动,每个分支132的位置随着组织在各个坐标系内引导尖端136而被跟踪。然而,由于患者14的呼吸和患者14的心脏跳动,每个分支132在坐标系内的定位不会保持稳定。此外,用于显示冠状窦130的对比流体随时间消耗,使得分支132的可见性难以感知,或者对比流体可以不一直延伸至每个分支132的末端。这样,可能难以知道导管134和尖端136相对于冠状窦130和分支132的实际定位。
本公开的技术通过当尖端136在器官的体积内被操纵时采集尖端136的3D跟踪数据来增强冠状窦130的3D重建模型126。如上所述,3D重建模型126共配准至3D跟踪空间。具体地,3D重建模型126的坐标系与导管134的坐标系共配准,例如,3D坐标系104与MPS坐标系118共配准。这样,跟踪数据可以与3D重建模型126、2D图像128、3D图像模型106、估计体积模型124和2D图像112中的任一个相关联。跟踪数据可以包括定位数据,例如,在坐标系的每一个中的坐标,以及生理数据(例如,心血管数据和/或电数据,诸如阻抗、电阻、电导率等)。
在一个实施例中,导管134采集增强数据,其用于使3D重建模型126的现存部分扩展超过其最初重建时的边界。例如,可以使用多个血管造影片生成的3D重建模型126可以不完全表示冠状窦130,诸如通过不完全在整个分支132内扩展。特别地,用于2D图像128的对比流体可以具有至分支132的一些区域中的低渗透,由此使得难以生成3D重建模型126。由此,一旦诸如导管134的跟踪工具被操纵通过分支132中的一个超出3D重建模型126的边缘,扩展解剖结构的轮廓可以基于尖端136的迹线140被重建。这样,3D重建模型126的形状被扩展超出其最初边界,并且模型进一步被建造。这使得系统10的操作者能够更好地理解导管136相对于解剖结构的方向,特别是在通过荧光透视不可见的区域中。
模型的建造或扩展通过使用系统10在MPS坐标系118内以三维跟踪导管134来开始。当导管134到达例如分支132的重建解剖结构的末端时,系统10将使用所记录的导管134的定位以将一些部分附加至重建模型126。由于对比流体没有到达由所记录的导管134的定位构造的分支132,仅添加分支的“中心线”将被附加至重建模型126而没有管腔轮廓。各个坐标系的图像和模型与导管134之间的共配准和运动补偿将帮助系统10以如下所述将导管134的实际定位与重建模型126匹配以及将例如管状器官102的解剖结构的心脏和呼吸状态与重建模型126匹配的方式附加所添加分支。
在另一实施例中,导管134采集用于将运动成分添加至3D重建模型126的增强数据。运动成分基于诸如导管134的跟踪工具在冠状窦130内时感测到的解剖结构的实际运动。例如,实际运动数据包括在每个坐标系内的组织壁的局部移动。由此,即使患者14可以相对于每个坐标系保持静止,尖端136可以随着心跳或随着肺部呼吸和收缩移动。通过简单地在感兴趣区域内操纵导管134,所采集的实际运动数据可以与用于生成静态3D重建模型126的数据组合以将实时动态添加至3D重建模型126。运动与诸如冠状窦130的解剖结构的运动同步以创建实时移动的“4D模型”。由此,3D重建模型126可以动画绘制有心跳、肌肉收缩、呼吸等。在将3D重建模型126动画绘制有心跳的情况下,心跳运动可以被选通至心脏周期的特定持续时间,诸如舒张末期。4D模型可以被自身渲染,与其他图像或模型组合,在显示器16上显示(图1),在荧光透视上投影等。例如,冠状窦130的4D动态模型对于在期望看见机械心脏壁运动模式的CRT植入程序中使用是有利的。
各个坐标系的图像和模型与导管134之间的共配准和运动补偿填补了导管134的实时运动与通过静态3D重建模型126的成像显示的解剖结构的稳定描述之间的空白。导管134通常在解剖结构内移动时经历不平稳动作,而成像被示出为静止图像。使用本文描述的技术,在重建模型126中的具体定位可以关联至导管134的当前位置。好的示例将是导管134在分支132中分叉点处的放置或停放。由于共配准和运动补偿,尖端136在重建模型126上的位置之后将被固定在该分叉点上,而不管导管134可能在装置的操作期间持续经历的任何明显运动。现在,如果导管134不被操纵或移动,仅有的运动成分将是解剖结构的心脏和呼吸运动。MediGuideTM系统的固有的运动补偿功能将随着尖端136被跟踪来表示该运动。最后,心脏和呼吸运动将被应用至表示在3D重建模型126中的特定分叉点的几何结构,因此,以匹配至解剖结构(即,管状器官102)的实际运动的方式“调动”或“动画绘制”3D重建模型126。解剖结构的多个点可以这样被跟踪来以表示解剖结构的实际运动的运动来增强重建模型126(或其部分)。患者的心脏或呼吸活动中的任何改变将被自动反映在该4D模型中。由此,总的来说,诸如MediGuideTM系统的系统保持跟踪电生理数据、呼吸数据、患者运动数据等,并且由于共配准和运动补偿能力,可以实时地将该数据应用至3D重建模型。
本公开的技术利用精确地补偿呼吸运动和心脏运动的实时跟踪数据,并且在不同坐标系之间精确地共配准以允许在跟踪工具的主动操纵期间采集的增强数据与3D重建模型同时被显示。增强数据显示不能在3D重建模型中生成的特征,其通常包括可能不反映解剖结构的当前状况的解剖结构的静态、历史渲染。由于补偿和配准过程的精确性,诸如利用MediGuideTM gMPSTM技术可获得的那些补偿和配准过程,增强数据可以在医生最可能需要该信息时被实时地精确地定位在3D重建模型上。这样,当医生在程序期间时,如果对比流体增强的X射线静脉造影照片不充分地显示感兴趣区域,则程序可以通过利用跟踪工具简单地收集更多的数据来继续。此外,左心室引线放置可以通过简单地将跟踪工具包括在解剖结构内而向医生提供心脏壁运动的可视化来优化。
各种实施例在本文被描述为各种设备、系统和/或方法。许多具体细节被阐述以提供对说明书中描述并在附图中示出的实施例的整体结构、功能、制造和使用的彻底理解。然而,本领域技术人员可以理解,实施例可以在没有这些具体细节的情况下被实施。在其他实例中,公知的操作、组件和元件没有被详细描述以不使得说明书中描述的实施例难以理解。本领域普通技术人员可以理解,本文描述和示出的实施例是非限制性示例,并且由此可以理解,本文公开的具体结构和功能细节可以是代表性的并且不必然限制实施例的范围。
虽然上面以一定程度的特殊性描述了许多实施例,但本领域技术人员可以在不偏离本发明的精神或范围的情况下对所公开的实施例做出多种改变。例如,所有的连接参考(例如,附接、耦合和连接等)应该被广义地解释并且可以包括元件的连接之间的中间构件和元件之间的相对移动。这样,连接参考并非必然指的是两个元件彼此直接地连接并处于固定关系。目的是上面描述中所包含的或附图中所示出的所有事物应该被解释为仅说明性的而非限制性的。可以在不偏离本发明的精神的情况下做出细节或结构的改变。
被描述为整体或部分地通过引用包含于此的任何专利、公布、或其它公开材料都仅仅以所包含的材料不与本发明所阐述的已有定义、声明、或其它公开材料相冲突的程度包含于此。正是如此,并且以必要的程度,在此明确阐述的本发明取代通过引用包含于此的任何冲突的材料。
本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是非逻辑性的或不能工作。
Claims (28)
1.一种用于增强布置在跟踪空间中的患者的内部器官的三维(3D)重建的方法,所述方法包括:
获得指示布置在3D跟踪空间中的物体的静态3D重建的信号;
将所述3D重建共配准至所述3D跟踪空间;
采集来自布置在所述3D跟踪空间中的跟踪工具的增强数据;以及
使用所述增强数据将所述物体的实时特征添加至所述静态3D重建。
2.根据权利要求1所述的方法,其中,所述3D跟踪空间被布置在医疗定位系统(MPS)坐标系中,以及所述静态3D重建被布置在3D坐标系中。
3.根据权利要求2所述的方法,其中,所述实时特征包括所述物体的运动。
4.根据权利要求3所述的方法,其中,基于与所述物体接合的所述跟踪工具的实时移动来与所述物体的运动同步地动画绘制所述静态3D重建。
5.根据权利要求3所述的方法,其中,所述物体包括心脏并且所述运动包括由所述心脏的跳动引起的心脏壁运动。
6.根据权利要求2所述的方法,其中,所述实时特征包括所述静态3D重建的边界的扩展。
7.根据权利要求6所述的方法,其中,所述静态3D重建的边界的扩展包括来自与所述3D坐标系中的所述静态3D重建共配准的所述MPS坐标系中的所述跟踪工具的迹线。
8.根据权利要求6所述的方法,其中,所述物体包括心脏,以及所述边界的扩展包括冠状窦的分支的扩展。
9.根据权利要求8所述的方法,其中,所述冠状窦的分支使用对比流体在所述静态3D重建中被标测,并且所述边界的扩展超出所述对比流体终止的位置。
10.根据权利要求2所述的方法,其中,所述共配准包括将所述静态3D重建与由所述跟踪工具生成的估计体积模型进行匹配。
11.根据权利要求10所述的方法,其中,所述估计体积模型通过将来自所述跟踪工具的迹线与所述物体的2D表示进行匹配来确定。
12.根据权利要求11所述的方法,其中,所述2D表示包括所述物体的X射线图像。
13.根据权利要求2所述的方法,还包括补偿所述物体的移动。
14.根据权利要求13所述的方法,其中,所述物体的移动包括所述患者的呼吸。
15.根据权利要求14所述的方法,其中,所述补偿包括同步所述3D重建和所述增强数据的周期频率。
16.根据权利要求13所述的方法,其中,所述物体的移动包括所述内部器官的肌肉运动。
17.根据权利要求16所述的方法,其中,所述补偿包括将锚与所述3D坐标系中的所述静态3D重建以及与所述MPS坐标系中的所述3D跟踪空间相关联。
18.一种用于增强从医疗系统获取的数据的系统,所述系统包括以下:
电子控制单元(ECU),其被配置为:
接收针对器官的静态3D重建的第一信号;
将所述静态3D重建共配准至针对跟踪工具的3D跟踪空间;
接收针对由在所述器官的感兴趣区域内操作的所述跟踪工具生成的用于增强数据的第二信号;以及
使用所述增强数据将所述感兴趣区域的实时特征添加至所述静态3D重建。
19.根据权利要求18所述的系统,还包括与所述ECU通信以提供所述第二信号的跟踪工具。
20.根据权利要求19所述的系统,其中,基于所述跟踪工具在所述器官中的实时移动来与所述器官的运动同步地动画绘制所述3D重建。
21.根据权利要求19所述的系统,其中,所述实时特征包括所述静态3D重建的边界的扩展。
22.根据权利要求21所述的系统,其中,所述静态3D重建的边界的扩展包括来自与3D坐标系中的所述3D重建共配准的医疗定位系统(MPS)坐标系中的所述跟踪工具的迹线。
23.根据权利要求18所述的系统,其中,所述共配准包括将所述静态3D重建与由所述跟踪工具生成的估计体积模型进行匹配。
24.根据权利要求23所述的系统,其中,所述估计体积模型通过将来自所述跟踪工具的迹线与所述器官的2D表示进行匹配来确定。
25.根据权利要求18所述的系统,其中,所述ECU进一步被配置为补偿所述器官的患者的呼吸。
26.根据权利要求25所述的系统,其中,所述ECU被配置为通过同步所述3D重建和所述增强数据的周期频率来补偿所述器官的患者的呼吸。
27.根据权利要求18所述的系统,其中,所述ECU进一步被配置为补偿所述器官的肌肉运动。
28.根据权利要求27所述的系统,其中,所述ECU进一步被配置为通过在已知定位将锚与所述3D重建以及与所述3D跟踪空间相关联来补偿所述器官的肌肉运动。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562116037P | 2015-02-13 | 2015-02-13 | |
US62/116037 | 2015-02-13 | ||
PCT/IB2016/000339 WO2016128839A1 (en) | 2015-02-13 | 2016-02-12 | Tracking-based 3d model enhancement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107205780A true CN107205780A (zh) | 2017-09-26 |
CN107205780B CN107205780B (zh) | 2020-09-29 |
Family
ID=55661485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680008779.9A Active CN107205780B (zh) | 2015-02-13 | 2016-02-12 | 基于跟踪的3d模型增强 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10163204B2 (zh) |
EP (1) | EP3236854B1 (zh) |
JP (1) | JP6492188B2 (zh) |
CN (1) | CN107205780B (zh) |
WO (1) | WO2016128839A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110313991A (zh) * | 2018-03-29 | 2019-10-11 | 韦伯斯特生物官能(以色列)有限公司 | 静态虚拟相机定位 |
CN111150490A (zh) * | 2020-01-15 | 2020-05-15 | 陈挺 | 基于ar和ai技术的心脏射频消融手术智能助手系统 |
CN113521499A (zh) * | 2020-04-22 | 2021-10-22 | 西门子医疗有限公司 | 用于产生控制信号的方法 |
CN113855239A (zh) * | 2021-09-24 | 2021-12-31 | 深圳高性能医疗器械国家研究院有限公司 | 一种血管介入手术中导丝导航系统及方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6492188B2 (ja) * | 2015-02-13 | 2019-03-27 | セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. | 追跡ベース3dモデルのエンハンスメント |
WO2017087821A2 (en) * | 2015-11-18 | 2017-05-26 | Lightlab Imaging, Inc. | X-ray image feature detection and registration systems and methods |
WO2018144969A1 (en) * | 2017-02-06 | 2018-08-09 | The Cleveland Clinic Foundation | Characterizing behavior of anatomical structures |
CN106963383A (zh) * | 2017-04-21 | 2017-07-21 | 南京大学 | 一种基于呼吸状态空间重构的体内组织呼吸运动估计方法 |
US10699448B2 (en) * | 2017-06-29 | 2020-06-30 | Covidien Lp | System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data |
KR20200101334A (ko) * | 2017-12-18 | 2020-08-27 | 아우리스 헬스, 인코포레이티드 | 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템 |
US11116420B2 (en) * | 2017-12-26 | 2021-09-14 | Biosense Webster (Israel) Ltd. | Monitoring distance to selected anatomical structures during a procedure |
WO2019176532A1 (ja) * | 2018-03-15 | 2019-09-19 | テルモ株式会社 | 画像処理装置、画像処理方法、計算方法およびプログラム |
JP7195868B2 (ja) * | 2018-10-19 | 2022-12-26 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、x線診断装置及び医用画像処理プログラム |
EP3643238A1 (en) * | 2018-10-25 | 2020-04-29 | Koninklijke Philips N.V. | Image based guiding of an interventional device |
US11478301B2 (en) | 2018-11-15 | 2022-10-25 | Centerline Biomedical, Inc. | Modeling anatomical structures using an anatomical measurement wire |
WO2020102549A1 (en) * | 2018-11-15 | 2020-05-22 | Centerline Biomedical, Inc. | Systems and methods for registration using an anatomical measurement wire |
US20220020219A1 (en) * | 2020-07-15 | 2022-01-20 | Orthosoft Ulc | Augmented reality bone landmark display |
US20230298736A1 (en) * | 2022-03-16 | 2023-09-21 | Siemens Healthcare Gmbh | Multi-view matching across coronary angiogram images |
DE102022203162A1 (de) | 2022-03-31 | 2023-10-05 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisdatensatzes |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131149A1 (en) * | 2001-05-16 | 2004-07-08 | Op De Beek Johannes Catharina Antonius | Method and apparatus for visualizing a 3D data set |
CN1647759A (zh) * | 2004-01-29 | 2005-08-03 | 西门子公司 | 对准和重叠医疗成像的系列拍摄中的图像数据的方法 |
CN1806758A (zh) * | 2005-01-21 | 2006-07-26 | 西门子公司 | 在心脏的三维数据组中自动确定左心室位置和取向的方法 |
US20090216114A1 (en) * | 2008-02-21 | 2009-08-27 | Sebastien Gorges | Method and device for guiding a surgical tool in a body, assisted by a medical imaging device |
CN102470014A (zh) * | 2009-06-29 | 2012-05-23 | 皇家飞利浦电子股份有限公司 | 用于在医疗过程中进行跟踪的方法和装置 |
CN102525527A (zh) * | 2010-10-13 | 2012-07-04 | 株式会社东芝 | Ct成像的投影数据加权方法 |
CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
CN102753097A (zh) * | 2009-11-25 | 2012-10-24 | 登塔尔图像科技公司 | 在存在移动时用于在3d空间中的x射线标志定位的方法 |
US20130184569A1 (en) * | 2007-05-08 | 2013-07-18 | Gera Strommer | Method for producing an electrophysiological map of the heart |
CN103415255A (zh) * | 2011-02-24 | 2013-11-27 | 皇家飞利浦电子股份有限公司 | 利用血管内装置形状对血管图像进行非刚性体变形 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7263397B2 (en) | 1998-06-30 | 2007-08-28 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Method and apparatus for catheter navigation and location and mapping in the heart |
US7778688B2 (en) * | 1999-05-18 | 2010-08-17 | MediGuide, Ltd. | System and method for delivering a stent to a selected position within a lumen |
US9833167B2 (en) | 1999-05-18 | 2017-12-05 | Mediguide Ltd. | Method and system for superimposing virtual anatomical landmarks on an image |
US8442618B2 (en) * | 1999-05-18 | 2013-05-14 | Mediguide Ltd. | Method and system for delivering a medical device to a selected position within a lumen |
US7386339B2 (en) * | 1999-05-18 | 2008-06-10 | Mediguide Ltd. | Medical imaging and navigation system |
US9572519B2 (en) | 1999-05-18 | 2017-02-21 | Mediguide Ltd. | Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors |
US6233476B1 (en) | 1999-05-18 | 2001-05-15 | Mediguide Ltd. | Medical positioning system |
US7343195B2 (en) * | 1999-05-18 | 2008-03-11 | Mediguide Ltd. | Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation |
US7840252B2 (en) * | 1999-05-18 | 2010-11-23 | MediGuide, Ltd. | Method and system for determining a three dimensional representation of a tubular organ |
US6597936B1 (en) * | 2000-11-14 | 2003-07-22 | Koninklijke Philips Electronics, N.V. | Focused point oversampling for temporally and spatially resolving dynamic studies |
US6597938B2 (en) * | 2001-08-16 | 2003-07-22 | Koninklijke Philips Electronics, N.V. | System for assistance of parameter determination and diagnosis in MRI dynamic uptake studies |
US7697972B2 (en) * | 2002-11-19 | 2010-04-13 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
US7505809B2 (en) * | 2003-01-13 | 2009-03-17 | Mediguide Ltd. | Method and system for registering a first image with a second image relative to the body of a patient |
US7026623B2 (en) * | 2004-01-07 | 2006-04-11 | Jacob Oaknin | Efficient single photon emission imaging |
DE102004048209B3 (de) * | 2004-09-30 | 2005-09-01 | Siemens Ag | Verfahren und Vorrichtung zur Erzeugung eines dreidimensionalen Bilddatensatzes eines bewegten Objekts mittels Röntgentomographie |
US8295577B2 (en) * | 2005-03-31 | 2012-10-23 | Michael Zarkh | Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ |
WO2006116134A2 (en) * | 2005-04-21 | 2006-11-02 | William Marsh Rice University | Method and apparatus for compressive imaging device |
US7604601B2 (en) * | 2005-04-26 | 2009-10-20 | Biosense Webster, Inc. | Display of catheter tip with beam direction for ultrasound system |
US20060241445A1 (en) * | 2005-04-26 | 2006-10-26 | Altmann Andres C | Three-dimensional cardial imaging using ultrasound contour reconstruction |
US10143398B2 (en) * | 2005-04-26 | 2018-12-04 | Biosense Webster, Inc. | Registration of ultrasound data with pre-acquired image |
US20060253024A1 (en) * | 2005-04-26 | 2006-11-09 | Altmann Andres C | Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction |
US8870779B2 (en) * | 2005-04-26 | 2014-10-28 | Biosense Webster, Inc. | Display of two-dimensional ultrasound fan |
US7885707B2 (en) | 2005-09-15 | 2011-02-08 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Method of scaling navigation signals to account for impedance drift in tissue |
DE602007013502D1 (de) * | 2006-09-18 | 2011-05-12 | Mediguide Ltd | Verfahren und System zur Navigation durch ein verschlossenes röhrenförmiges Organ |
IL188262A (en) | 2007-01-10 | 2011-10-31 | Mediguide Ltd | System and method for superimposing a representation of the tip of a catheter on an image acquired by a moving imager |
IL188569A (en) * | 2007-01-17 | 2014-05-28 | Mediguide Ltd | Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system |
US8195292B2 (en) | 2007-02-16 | 2012-06-05 | Pacestter, Inc. | Cardiac resynchronization therapy optimization using parameter estimation from realtime electrode motion tracking |
JP5639764B2 (ja) * | 2007-03-08 | 2014-12-10 | シンク−アールエックス,リミティド | 運動する器官と共に使用するイメージング及びツール |
WO2008136008A2 (en) * | 2007-05-08 | 2008-11-13 | Mediguide Ltd. | Method for producing an electrophysiological map of the heart |
US8428690B2 (en) * | 2007-05-16 | 2013-04-23 | General Electric Company | Intracardiac echocardiography image reconstruction in combination with position tracking system |
EP2348982B1 (en) * | 2008-12-03 | 2020-03-25 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System for determining the positioin of the tip of a medical catheter within the body of a patient |
US9445745B2 (en) * | 2009-12-31 | 2016-09-20 | Mediguide Ltd. | Tool shape estimation |
US10069668B2 (en) | 2009-12-31 | 2018-09-04 | Mediguide Ltd. | Compensation of motion in a moving organ using an internal position reference sensor |
US20110160569A1 (en) * | 2009-12-31 | 2011-06-30 | Amit Cohen | system and method for real-time surface and volume mapping of anatomical structures |
US9820695B2 (en) * | 2010-03-29 | 2017-11-21 | St. Jude Medical International Holding S.àr.l. | Method for detecting contact with the wall of a region of interest |
CA2800565C (en) * | 2010-04-27 | 2019-06-04 | National Research Council Of Canada | Anti-icam-1 single domain antibody and uses thereof |
EP2605693B1 (en) * | 2010-08-20 | 2019-11-06 | Veran Medical Technologies, Inc. | Apparatus for four dimensional soft tissue navigation |
US8463363B2 (en) * | 2011-01-11 | 2013-06-11 | General Electric Company | SPECT image reconstruction methods and systems |
US9901303B2 (en) | 2011-04-14 | 2018-02-27 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for registration of multiple navigation systems to a common coordinate frame |
US20130172730A1 (en) | 2011-12-29 | 2013-07-04 | Amit Cohen | Motion-Compensated Image Fusion |
US9351782B2 (en) * | 2012-11-09 | 2016-05-31 | Orthosensor Inc. | Medical device motion and orientation tracking system |
EP3403587A1 (en) * | 2014-05-26 | 2018-11-21 | St. Jude Medical International Holding S.à r.l. | Control of the movement and image acquisition of an x-ray system for a 3d-4d co-registered rendering of a target anatomy |
US10105107B2 (en) * | 2015-01-08 | 2018-10-23 | St. Jude Medical International Holding S.À R.L. | Medical system having combined and synergized data output from multiple independent inputs |
JP6492188B2 (ja) * | 2015-02-13 | 2019-03-27 | セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. | 追跡ベース3dモデルのエンハンスメント |
-
2016
- 2016-02-12 JP JP2017541963A patent/JP6492188B2/ja active Active
- 2016-02-12 EP EP16714522.6A patent/EP3236854B1/en active Active
- 2016-02-12 US US15/042,613 patent/US10163204B2/en active Active
- 2016-02-12 CN CN201680008779.9A patent/CN107205780B/zh active Active
- 2016-02-12 WO PCT/IB2016/000339 patent/WO2016128839A1/en active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131149A1 (en) * | 2001-05-16 | 2004-07-08 | Op De Beek Johannes Catharina Antonius | Method and apparatus for visualizing a 3D data set |
CN1647759A (zh) * | 2004-01-29 | 2005-08-03 | 西门子公司 | 对准和重叠医疗成像的系列拍摄中的图像数据的方法 |
CN1806758A (zh) * | 2005-01-21 | 2006-07-26 | 西门子公司 | 在心脏的三维数据组中自动确定左心室位置和取向的方法 |
US20130184569A1 (en) * | 2007-05-08 | 2013-07-18 | Gera Strommer | Method for producing an electrophysiological map of the heart |
US9757036B2 (en) * | 2007-05-08 | 2017-09-12 | Mediguide Ltd. | Method for producing an electrophysiological map of the heart |
US20090216114A1 (en) * | 2008-02-21 | 2009-08-27 | Sebastien Gorges | Method and device for guiding a surgical tool in a body, assisted by a medical imaging device |
CN102470014A (zh) * | 2009-06-29 | 2012-05-23 | 皇家飞利浦电子股份有限公司 | 用于在医疗过程中进行跟踪的方法和装置 |
CN102753097A (zh) * | 2009-11-25 | 2012-10-24 | 登塔尔图像科技公司 | 在存在移动时用于在3d空间中的x射线标志定位的方法 |
CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
CN102525527A (zh) * | 2010-10-13 | 2012-07-04 | 株式会社东芝 | Ct成像的投影数据加权方法 |
CN103415255A (zh) * | 2011-02-24 | 2013-11-27 | 皇家飞利浦电子股份有限公司 | 利用血管内装置形状对血管图像进行非刚性体变形 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110313991A (zh) * | 2018-03-29 | 2019-10-11 | 韦伯斯特生物官能(以色列)有限公司 | 静态虚拟相机定位 |
CN110313991B (zh) * | 2018-03-29 | 2024-04-16 | 韦伯斯特生物官能(以色列)有限公司 | 静态虚拟相机定位 |
CN111150490A (zh) * | 2020-01-15 | 2020-05-15 | 陈挺 | 基于ar和ai技术的心脏射频消融手术智能助手系统 |
CN111150490B (zh) * | 2020-01-15 | 2021-01-29 | 陈挺 | 基于ar和ai技术的心脏射频消融手术智能助手系统 |
CN113521499A (zh) * | 2020-04-22 | 2021-10-22 | 西门子医疗有限公司 | 用于产生控制信号的方法 |
CN113521499B (zh) * | 2020-04-22 | 2024-02-13 | 西门子医疗有限公司 | 用于产生控制信号的方法 |
CN113855239A (zh) * | 2021-09-24 | 2021-12-31 | 深圳高性能医疗器械国家研究院有限公司 | 一种血管介入手术中导丝导航系统及方法 |
CN113855239B (zh) * | 2021-09-24 | 2023-10-20 | 深圳高性能医疗器械国家研究院有限公司 | 一种血管介入手术中导丝导航系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107205780B (zh) | 2020-09-29 |
EP3236854B1 (en) | 2019-11-06 |
US10163204B2 (en) | 2018-12-25 |
JP6492188B2 (ja) | 2019-03-27 |
EP3236854A1 (en) | 2017-11-01 |
US20160239963A1 (en) | 2016-08-18 |
JP2018508276A (ja) | 2018-03-29 |
WO2016128839A1 (en) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107205780A (zh) | 基于跟踪的3d模型增强 | |
US10762627B2 (en) | Method and a system for registering a 3D pre acquired image coordinates system with a medical positioning system coordinate system and with a 2D image coordinate system | |
CA2614033C (en) | Coloring electroanatomical maps to indicate ultrasound data acquisition | |
US9011340B2 (en) | Enhanced ultrasound image display | |
US20070270689A1 (en) | Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images | |
US20160354158A1 (en) | Methods and systems for virtual venous imaging | |
AU2013251245B2 (en) | Coloring electroanatomical maps to indicate ultrasound data acquisition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |