CN105979899A - 用于设备感知柔性工具配准的系统和方法 - Google Patents

用于设备感知柔性工具配准的系统和方法 Download PDF

Info

Publication number
CN105979899A
CN105979899A CN201480075136.7A CN201480075136A CN105979899A CN 105979899 A CN105979899 A CN 105979899A CN 201480075136 A CN201480075136 A CN 201480075136A CN 105979899 A CN105979899 A CN 105979899A
Authority
CN
China
Prior art keywords
group
shape
instruction
model
conduit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480075136.7A
Other languages
English (en)
Other versions
CN105979899B (zh
Inventor
P·乔普拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN105979899A publication Critical patent/CN105979899A/zh
Application granted granted Critical
Publication of CN105979899B publication Critical patent/CN105979899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14Probes or electrodes therefor
    • A61B18/1492Probes or electrodes therefor having a flexible, catheter-like structure, e.g. for heart ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003Steerable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003Steerable
    • A61B2017/00318Steering mechanisms
    • A61B2017/00323Cables or rods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • A61B2034/306Wrists with multiple vertebrae
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/741Glove like input devices, e.g. "data gloves"
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/742Joysticks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00Catheters; Hollow probes
    • A61M25/01Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本文描述的是一种确定设备在患者解剖结构内的精确定位的方法。在一方面,所述方法包括根据描述患者解剖结构的解剖数据生成至少一个解剖通道的第一模型,确定被安置在患者解剖结构的分支解剖通道内的设备的形状,所述设备包括多个部段,所述多个部段中的每个部段具有不同的物理性质,针对所述设备的所述多个部段中的每个部段计算一组变形力,以及通过基于所确定的所述设备的形状和针对所述设备的所述多个部段中的每个部段的所述组变形力调节第一模型,生成被安置在所述多个分支解剖通道内的所述设备的第二模型。

Description

用于设备感知柔性工具配准的系统和方法
技术领域
本公开涉及用于在医疗程序期间追踪在患者解剖结构内的医疗设备的系统和方法,且更具体地涉及用于使用形状传感器和/或位置传感器来有效地追踪在患者解剖结构内的医疗设备的系统和方法。
背景技术
微创医疗技术意在减少在医疗程序期间受损的组织的量,从而减少患者恢复时间、不适和有害副作用。此类微创技术可以通过在患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。临床医生可以将医疗工具插入通过这些自然孔口或切口从而到达目标组织部位。医疗工具包括器械,诸如治疗器械、诊断器械和手术器械。为了到达目标组织部位,微创医疗工具可以在解剖系统(诸如肺、结肠、肠、肾、心脏、循环系统等等)中的自然通道或手术创建的通道导航(navigate)。
微创手术程序通常依靠某种器械位置监控来确保至目标组织部位的适当的可及性和在目标组织部位处的行为。常规微创手术器械通常由刚性的、细长元件(例如,腹腔镜系统或遥操作系统)形成或由被设计成沿着预定的解剖路径(例如,血管成形术球囊导管)的高度柔性的系统形成。不论哪种情况,位置监控通常涉及器械的独立部件部分(discrete portion)(例如,导管的远侧尖端)的局部追踪。除了在尖端前进的荧光镜(屏)检查可视化期间,偶然感测剩余长度被示出的程度外,剩余的导丝/导管长度不能被主动地监控。
然而,为了安全和有效使用,越来越复杂的微创手术系统会要求增强的器械位置监控。导航辅助系统帮助临床医生为手术器械规定路线(route)且避免对解剖结构的损害。这些系统能够并入形状传感器的使用从而更加精确地描述手术器械在真实空间中或相对于预定程序或同步影像的形状、位姿和部位。在动态解剖系统和/或在密集有很多解剖通道的解剖区域,将微创器械精确地配准(registering)到解剖系统是费时的且处理密集的任务。需要改进的系统和方法用于增加将微创器械配准到解剖系统的系统和方法的精确度和效率。
发明内容
在一方面,本公开描述了一种确定设备在患者解剖结构内的精确定位的方法。所述方法包括根据描述患者解剖结构的解剖数据生成至少一个解剖通道的第一模型。在一方面,方法包括确定被安置在患者解剖结构的分支解剖通道内的设备的形状,所述设备包括多个部段,多个部段中的每个部段具有不同的物理性质,以及针对所述设备的所述多个部段中的每个部段计算一组变形力。在一方面,所述方法包括通过基于所确定的所述设备的形状和针对所述设备的所述多个部段中的每个部段的所述组变形力调节第一模型,生成被安置在所述多个分支解剖通道内的所述设备的第二模型。
在另一方面,本公开描述了一种医疗系统,其包括柔性设备,所述柔性设备包括形状传感器、存储器(memory)和非暂时计算机可读介质。在一方面,存储器能够存储描述患者解剖结构的解剖数据,并且非暂时计算机可读介质能够包含用于将所述柔性设备配准到描述患者解剖结构的解剖数据的计算机可执行指令。在一方面,计算机可执行指令包括:用于根据描述患者解剖结构的所存储的解剖数据来生成多个分支解剖通道的第一模型的指令;用于接收来自形状传感器的信息以确定被安置在所述多个分支解剖结构内的设备的形状的指令,所述设备包括多个部段,所述多个部段中的每个部段具有不同的物理性质;用于针对所述设备的多个不同部段的每个部段计算一组变形力的指令;和/或用于通过基于所确定的所述设备的形状和针对所述设备的所述多个部段中的每个部段的所述组变形力调节第一模型,生成被安置在所述多个分支解剖通道内的所述设备的第二模型的指令。
附图说明
当结合附图阅读时,根据以下具体实施方式能够最好地理解本公开的各个方面。要强调是,根据行业的标准惯例,各种特征没有按比例绘制。实际上,为了清晰的论述,各种特征的尺寸可以任意地增加或减小。另外,本公开可以重复各种示例中的参考数字和/或字母。这种重复是为了简要且清晰的目的,而其本身不是为了指示所论述的各种实施例和/或配置之间的关系。
图1是根据本公开的实施例的遥操作医疗系统。
图2图示说明了利用本公开的各方面的医疗器械系统。
图3A是与明显被安置在解剖通道外部的微创器械的影像配准的人肺的影像。
图3B是与明显被安置在不正确的解剖通道内的微创器械的影像配准的人肺的影像。
图3C是人肺的内部影像,其描绘了从微创器械的视角来看的人肺的区域。
图4A是带有导管的肺的支气管通道的模型的图示。
图4B是基于由导管施加的变形力而调节图4A的模型的图示。
图5A图示说明了支气管通道的未变形模型和导管的检测模型的合成影像。
图5B-5D图示说明了支气管通道的各种变形的模型合成影像,其示出导管推进到不同的通道。
图6是与表示可能包含导管的两种可能通道的两种不同模型相比较,在图5A-5D中示出的导管的感测模型的简图。
图7A图示说明了支气管通道的未变形模型和导管的检测模型的合成影像。
图7B-7D图示说明了随着导管的推进而调节的支气管通道的模型的合成影像。
图8图示说明了支气管通道的变形模型和在图7A-7D中示出的导管的合成影像。
图9是流程图,其图示说明了用于基于导管的形状、由导管的不同部段所施加的可变形力和通道的恢复力来使解剖通道的模型变形的方法。
图10是处于呼气状态和吸气状态的肺的支气管通道的模型的图示。
图11是流程图,其图示说明了使支气管通道的模型变形来用于吸气状态和呼气状态的方法。
图12包括根据本公开的另一实施例的解剖通道的模型的图示。
图13是用于匹配图12的模型的直方图(histogram)。
图14图示说明了用于确定转换的点集。
具体实施方式
为了促进对本公开的原理的理解,现将会参考在附图中图示说明的实施例,且将会用特定的语言描述在附图中图示说明的实施例。不过应当理解不意在限制本公开的范围。在以下的本发明的各方面的详细描述中,阐述很多具体细节是为了提供对所公开实施例的通彻理解。然而,对本领域技术人员将明显的是在没有这些具体细节的情况下,也可以实行本公开的实施例。在其他情况下,没有具体地描述熟知的方法、程序、部件和电路(circuits),以便不会不必要的模糊本发明实施例的各方面。
对本公开的所描述的设备、器械、方法以及原理的任何进一步应用的任何变更和进一步修改完全如本公开所涉及到的本领域技术人员通常所想到的预期那样。具体地,关于本公开的一个实施例所描述的特征、部件和/或步骤可以结合本关于本公开的其他实施例所描述的特征、部件和/或步骤,这是完全能预期到的。此外,本文所提供的尺寸针对具体示例,且可以预期的是,不同的大小、尺寸和/或比例可以用于实施本公开的概念。为了避免不必要的描述性重复,根据一个示例性实施例所描述的一个或多个部件或动作(action)能够适用于其他示例性实施例或从其他示例性实施例中省略。为了简洁起见,将不会单独描述这些组合的很多重复。为了简洁,在一些情况下,全部附图使用相同的参考数字来指相同的或类似的部分。
下面的实施例将会按照各种器械和的各部分器械在三维空间的状态来描述它们。如本文所使用的,术语“位置”指的是物体或物体的一部分在三维空间中的部位(例如,沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的,术语“取向”指的是物体或物体的一部分的旋转位移(三个转动自由度-即,滚动、俯仰和偏转)。如本文所使用的,术语“位姿”指的是物体或物体的一部分在至少一个平移自由度中的位置和该物体或物体的该部分在至少一个转动自由度中的取向(多达共六个自由度)。如本文所使用的,术语“形状”指的是沿物体所测量的一组位姿、位置或取向。
参照附图的图1,通常用参考数字100指示使用在例如包括诊断、治疗或手术程序的医疗程序中的遥操作医疗系统。如将会描述的,本公开的遥操作医疗系统处于外科医生的遥操作控制下。在替代实施例中,遥操作医疗系统可以处于被编程来执行程序或子程序的计算机的部分控制下。在又一些替代实施例中,在被编程来执行程序或子程序的计算机的完全控制下的完全自动的医疗系统可以用于执行程序或子程序。
如图1所示,遥操作系统100通常包括遥操作组件102,遥操作组件102用于在患者P上执行各种程序中操作医疗器械系统104。组件102被安装至手术台O或被安装在手术台O附近,患者P被安置在手术台O上。医疗器械系统104可操作地耦接至遥操作组件102。操作者输入系统106允许外科医生或其他类型的临床医生S观察手术部位的影像或观察表示手术部位的影像且控制医疗器械系统104的操作。
在替代实施例中,遥操作系统可以包括多于一个操纵器组件。操纵器组件的确切数量将取决于手术程序和在手术室内的空间限制等其他因素。操作者输入系统106可以定位在外科医生的控制台C处,控制台C通常定位在和手术台O相同的室内。然而,应当理解,外科医生S能够位于不同的室内或与患者P完全不同的建筑物内。操作者输入系统106通常包括用于控制医疗器械系统104的一个或多个控制设备112。一个或多个控制设备112可以包括任何数量的多个输入设备(诸如,把手、操纵杆、追踪球、数据手套、触发枪、手动控制器、语音识别设备、触摸屏、身体运动或存在传感器等)中的一个或多个。在一些实施例中,一个或多个控制设备112将被提供有和遥操作组件的医疗器械同样的自由度以便提供给外科医生以临场感(telepresence)、一个或多个控制设备与器械集成的感知,从而使得外科医生具有好像置身在手术部位处直接控制器械的强烈感觉。在其他实施例中,一个或多个控制设备112可以具有比相关联的医疗器械更多或更少的自由度并且依然提供外科医生以临场感。在一些实施例中,一个或多个控制设备112是手动输入设备,其以六个自由度移动,并且其也可以包括可致动手柄用致动器械(例如,用于关闭抓紧的钳头(jaws)、施加电势至电极、递送医疗治疗件等)。
遥操作组件102支撑医疗器械系统104并且可以包括一个或多个非伺服控制的链接(例如,可以被手动安置且锁定在合适位置的一个或多个链接,通常指的是设置结构)的运动学结构以及遥操作操纵器。遥操作组件102包括响应于来自控制系统(例如,控制系统116)的命令来驱动在医疗器械系统104上的输入的多个致动器或马达。马达包括驱动系统,当该驱动系统被耦接至医疗器械系统104时,该驱动系统可以将医疗器械推进到自然地或手术地创建的解剖孔口。其他机动的驱动系统可以在多个自由度中移动医疗器械的远侧端,多个自由度可以包括三个线性运动自由度(即,沿X、Y、Z笛卡尔坐标轴的线性运动)和在三个转动运动自由度(即,绕X、Y、Z笛卡尔坐标轴的转动)。此外,马达能够被用来致动用于抓取在活检设备的钳头中的组织等的器械的可铰接的末端执行器。
遥操作医疗系统100也包括带有用于接收关于遥操作组件的器械的信息的一个或多个子系统的传感器系统108。此类子系统可以包括位置传感器系统(例如,电磁(EM)传感器系统);形状传感器系统,其用于确定导管尖端的和/或沿着器械系统104的柔性本体的一个或多个部段的位置、取向、速率、速度、位姿和/或形状;和/或可视化系统110,其用于捕获来自导管系统的远侧端的影像。
可视化系统110可以包括观察范围组件(在下面更加详细的描述的),使得手术部位的同步或实时影像被提供至外科医生控制台C。同步影像可以是,例如由安置在手术部位的内窥镜捕获的二维或三维影像。在这个实施例中,可视化系统100包括内窥镜部件,该内窥镜部件可以被集成至和/或可以被可移除地耦接至医疗器械104。然而,在替代实施例中,附接至分离的操作器组件的分离的内窥镜可以与手术器械一起使用来成像手术部位。该可视化系统110可以被实施作为与一个或多个计算机处理器交互的或由一个或多个计算机处理器以其他方式执行的硬件、固件、软件或其组合,该一个或多个计算机处理器可以包括控制系统116(以下所描述的)的处理器。
遥操作医疗系统100也包括显示系统111,其用于显示由传感器系统108的子系统生成的手术部位和一个或多个医疗器械系统104的影像或表示。显示器111和操作者输入系统106可以被定向,因此操作者能够利用临场感的感知控制医疗器械系统104和操作者输入系统106。
显示系统111也可以显示由可视化系统110捕获的手术部位和手术器械的影像。显示器111和控制设备112可以被取向,使得在范围组件中的成像设备以及手术器械的相对位置类似于外科医生的眼睛和手的相对位置,因此,操作者能够仿佛在基本真实的现场中观察工作空间一样操纵手术器械104和手控制。通过真实现场,即意味着,影像的呈现是模拟物理地操纵器械104的操作者的视角的真实透视影像。
替代地或附加地,显示器111可以呈现使用成像技术(诸如计算机层析术(CT)、核磁共振成像(MRI)、荧光镜透视屏检查、热像图、超声、光学相干断层成像术(OTC)、热成像、阻抗成像、激光成像或纳米管X-射线成像)记录的和/或术前建模的手术部位的影像。所呈现的术前影像可以包括二维、三维或四维影像。所呈现的术前或术中影像可以包括二维、三维或四维(即,基于时间或基于速度的信息)影像和用于再现影像的相关的影像数据集。
在一些实施例中,显示器111可以显示虚拟导航影像,医疗器械104的实际位置在该虚拟导航影像中与术前或同步影像配准(即,动态地参照)来呈现给外科医生S以在器械104的尖端的部位处的内部手术部位的虚拟影像。器械104的尖端的影像或其他图形或字母指示器可以被叠合在虚拟影像上来辅助外科医生控制手术器械。替代地,器械104可以在虚拟影像中不可见。
在其他实施例中,显示器111可以显示虚拟导航影像,手术器械的实际位置在该虚拟导航影像中与术前或同步影像配准来呈献给外科医生S以从外部视角来看在手术部位内的手术器械的虚拟影像。手术器械的一部分的影像或其他图形或字母指示器可以被叠合在虚拟影像上来辅助外科医生控制器械104。
遥操作医疗系统100也包括控制系统112。控制系统112包括至少一个存储器和至少一个处理器(未示出),且通常是多个处理器,其用于实现医疗器械系统104、操作者输入系统106、传感器系统108和显示系统110之间的控制。控制系统112也包括编程的指令(例如,存储指令的计算机可读介质)以根据本文所公开的各方面来实施所描述的方法中的一些或全部。虽然控制系统112在图1的简化视图中被示出为单一的块,但是系统可以包括两个或更多个数据处理电路,其中所述处理的一个部分在遥操作组件102上或邻近遥操作组件可102可选地被执行,所述处理的另一个部分在操作者输入系统106处被执行,等等。可以采用多种集中式或分布式数据处理架构中任一种。类似地,编程的指令可以被实施为若干的单独的程序或子程序,或者他们可以被集成至本文所描述的遥操作系统的若干其他方面。在一个实施例中,控制系统112支持无线通信协议,诸如,蓝牙、红外数据通讯、家庭无线射频、IEEE 802.11、数字增强无绳通讯(DECT)、和无线遥测。
在一些实施例中,控制系统可以包括一个或多个伺服控制器,该一个或多个伺服控制器接收来自医疗器械系统104的力和/或扭矩反馈。响应于所述反馈,伺服控制器将信号传输至操作者输入系统106。一个或多个伺服控制器也可以传输指导遥操作组件102移动一个或多个医疗器械系统104的信号,医疗器械系统104经由在身体中的开口延伸进入到患者体内的内部手术部位处。可以使用任何合适的常规或专用的伺服控制器。伺服控制器可以与遥操作组件102分离或与遥操作组件102集成。在一些实施例中,伺服控制器和遥操作组件被提供作为邻近患者身体安置的遥操作臂推车的一部分。
控制系统还112可以进一步包括虚拟可视化系统以为一个或多个医疗器械系统104提供导航协助。使用虚拟可视化系统的虚拟导航基于参考所获得与解剖通道的三维结构相关的数据集。更具体地,虚拟可视化系统处理使用成像技术(诸如计算机层析术(CT)、核磁共振成像(MRI)、荧光镜透视屏检查、热像图、超声、光学相干断层成像术(OTC)、热成像、阻抗成像、激光成像或纳米管X-射线成像等)成像的手术部位的影像。使用软件将所记录的影像转化成一部分或整个解剖器官或解剖区域的二维或三维复合表象。图案数据集与复合表象相关联。复合表象和影像数据集描述通道的各种位置形状以及它们的连通性。用来生成复合表象的影像可以在临床程序期间在术前或术中被记录下来。在替代实施例中,虚拟可视化系统可以使用标准表象(即,不是具体患者)或标准表象的合成和患者具体数据。复合表象和通过复合表象生成的虚拟影像可以呈现在运动(例如,在肺的吸气/呼气周期之间)的一个或多个阶段期间的可变形解剖区域的静态位姿。
在虚拟导航程序期间,传感器系统108可用于计算器械相对于患者解剖结构的大概位置。该部位能够用于产生患者解剖结构的宏观水平追踪影像和患者解剖结构的虚拟内部影像二者。用于利用术前所记录的手术影像(诸如,来自虚拟可视化系统中的那些)使用光纤传感器来配准且显示医疗实施的各种系统是已知的。例如,美国专利申请No.13/107,562(2011年5月13日提交的)(公开“提供用于影像导引手术的解剖结构的模型的动态配准的医疗系统”)公开了一个这样的系统,其全文通过引用被并入本文。
遥操作医疗系统100还可以包括可选操作和支持系统(未示出),诸如照明系统、操纵控制系统、灌溉系统、和/或抽吸系统。在替代实施例中,遥操作系统可以包括多于一个遥操作组件和/或多于一个操作者输入系统。操纵器组件的具体数量将取决于手术程序和在手术室内的空间限制等其他因素。操作者输入系统可以被放置在一起或它们可以被安置在分开的部位。多操作者输入系统允许多于一个操作者来控制在各种组合中的一个或多个操作组件。
图2图示说明了追踪器械系统118,追踪器械系统118包括医疗器械系统104和它的接口系统。医疗器械系统104包括通过接口122被耦接至遥操作组件102和可视化系统110的柔性器械120。器械120具有柔性本体124、在远侧端128的尖端126和在近侧端130的接口122。本体124容纳在接口122和尖端126之间延伸的电缆、链接或其他操纵控制件(未示出),从而可控制地弯曲或转动尖端,如用于通过弯曲尖端126的虚线版本的示例所示出的那样,且在一些实施例中用于控制可选的末端执行器132。柔性器械可以是可操纵的(包括先前所述的操纵控制件)或可以是不可操纵的,其中没有用于器械弯曲的操作者控制的集成的机构。末端执行器可以是针对医疗功能(例如,用于实现目标组织的预定的治疗)可操纵的工作远侧零件。举例来说,一些末端执行器具有单个工作构件,诸如手术刀、刀片、内窥镜或电极。诸如在图2的实施例中示出的其他末端执行器具有一对或多个工作构件,诸如钳子、抓紧器、剪刀或施夹器,例如。电激活的末端执行器的示例包括电外科电极、换能器、传感器等。末端执行器也可以包括导管,以传送液体、气体或固体来执行例如,抽吸、吹入、冲洗、需要液体递送的治疗、附件引入、活检提取等。在其他实施例中,柔性本体124能够限定一个或多个管腔,手术器械通过所述一个或多个管腔能够被布置在目标手术位置处且能够在目标手术位置处被使用。在各种实施例中,器械120可以包括柔性支气管器械,诸如,用于在肺的检查、诊断、活检或治疗中使用的支气管窥镜或支气管导管。柔性本体也适用于在包括结肠、肠、肾、大脑、心脏、循环系统等的多种解剖系统中的任一种中经由自然地或手术创建的连接通道导航和治疗。
器械120也能够包括影像捕获元件134,影像捕获元件134可以包括被布置在远侧端128处的用于捕获影像的立体或单视场相机,所述影像被传输至可视化系统110且通过可视化系统110处理所述影像以用于通过显示系统111显示。替代地,影像捕获元件134可以是耦接到在器械120的近侧端上的成像和处理系统的相干光导纤维束,诸如纤维镜。影像捕获元件134可以是用于捕获在可见光谱或红外线光谱/紫外线光谱中的影像数据的单或多光谱。
在描绘的实施例中,追踪系统135包括电磁(EM)传感器系统136和形状传感器系统138,形状传感器系统138用于确定远侧端128和沿器械120的一个或多个部段137的位置、取向、速率、位姿和/或形状。虽然在图2中只描绘了一组说明性部段137,但是在远侧端128和近侧端130(且包括尖端126)之间的器械120的整个长度可以被有效地划分为部段。追踪系统135可以被实施为与一个或多个计算机处理器交互的或由一个或多个计算机处理器以其他方式执行的硬件、固件、软件或其组合,该一个或多个计算机处理器可以包括控制系统116(以下所描述的)的处理器。
电磁传感器系统136包括可以受制于外部生成的电磁场的一个或多个导电线圈。那么电磁传感器系统136的每个线圈产生感应的电信号,所述电信号具有取决于线圈相对于外部生成的电磁场的位置和取向的特性。在一个实施例中,电磁传感器系统可以被构造成且被安置成用来测量六个自由度,即,三个位置坐标轴X、Y、Z和指示基点的俯仰、偏转和滚动的三个取向角度。在1999年8月11日提交的美国专利No.6,380,732提供了电磁传感器系统的进一步描述,其公开了“具有在被追踪的物体上的被动式转发器的六自由度追踪系统”,其全文通过引用被并入本文。
传感器系统138包括与柔性本体124对齐的光导纤维140(例如,被提供在内部通道内(未示出)或被安装在外部)。追踪系统135被耦接至光导纤维140的近侧端。在这个实施例中,纤维140具有大约200微米的直径。在其他实施例中,尺寸可以更大或更小。
光导纤维140形成了用于确定器械120的形状的光导纤维弯曲传感器。在一个替代中,包括光纤光栅(FBG)的光导纤维用于提供处于一个或多个维度中的在结构上的应变测量。2005年7月13日提交的公开了“光导纤维位置和形状感测设备及与其相关的方法”的美国专利申请No.11/180,389、2004年7月16日提交的公开了“光导纤维形状和相对位置感测”的美国临时专利申请No.60/588,336和1998年6月17日提交的公开了“光导纤维弯曲传感器”的美国专利No.6389187描述了用于检测光导纤维在三个维度中的形状和相对位置的各种系统和方法,上述申请全文通过引用被并入本文。在另一些实施例中,采用其他应变感测技术(诸如瑞利散射、拉曼散射、布里渊散射和荧光散射)的传感器可以是合适的。
在其他替代实施例中,使用其他技术可以确定器械120的形状。例如,如果器械尖端的位姿的历史被储存达比用于更新显示或用于交替运动(例如,吸气和呼气)的时期要短的时段,那么位姿历史能够用于在该段时段重建设备的形状。作为另一个示例,历史位姿、位置或取向数据可以针对器械沿交替运动(诸如呼吸)的周期的器械的已知点被存储。这个存储的数据可以用于开发关于器械的形状信息。替代地,一系列沿器械安置的位置传感器(诸如电磁传感器)能够用于形状感测。替代地,在程序期间来自在器械上的位置传感器(诸如,电磁传感器)的数据的历史可以用于呈现器械的形状,尤其如果解剖通道是大体静态的。替代地,带有位置或取向通过外部磁场控制的无线设备可以用于形状感测。它的位置的历史可以用于确定用于导航通道的形状。
在该实施例中,光导纤维140可以包括在单个包层(cladding)146内的多个核心。每个核心可以是具有足够的距离的单模并且包层隔开核心,使得在每个核心中的光不与携带在其他核心中的光显著地相互作用。在另一些实施例中,核心的数量可以变化或每个核心可以被包含在隔离的光导纤维中。
在一些实施例中,在每个核心中提供一排FBG。每个FBG包括核心的折射率的一系列调制,以便生成在折射率方面的空间周期性。可以选择间隔,使得来自每个折射率变化的部分反射前后一致地增加波长的窄频带,并且因此当穿过宽得多的频带时仅反射波长的这个窄频带。在FBG的制备期间,调制按已知的距离间隔,因此产生波长的已知频带的反射。然而,当应变在纤维核心上感应时,调制的间隔将根据在核心的应变的量改变。替代地,随着光导纤维的弯曲变化的反向散射或其他光学现象能够用于确定在每个核心内的应变。
因此,为了测量应变,从纤维向下发送光,且测量返回光的特性。例如,光纤光栅产生反射波长,该反射波长是纤维上的应变和其温度的函数。这个光纤光栅技术是可以从很多来源能从市场上买到的,诸如,英国的布拉克尔智能纤维公司。2006年7月20日提交的美国专利No.7,930,065描述了用于遥操作手术的光纤光栅技术在位置传感器中的使用,其公开了“包括使用光纤光栅的位置传感器的遥操作手术系统”,其全文通过引用被并入本文。
当被施加至多核心纤维时,光导纤维的弯曲引起在核心上的应变,能够通过监控在每个核心中的波长偏移来测量所述应变。由于在纤维中具有离轴线布置的两个或更多个核心,纤维的弯曲引起在每个核心上的不同应变。这些应变是纤维的局部弯曲度的函数。例如,包含FBG的核心的区域,如果被定位在纤维被弯曲的点处,那么该区域能够用于确定在那些点处的弯曲的量。结合FBG区域的已知间隔,这些数据能够用于重建纤维的形状。佛吉尼亚州黑堡市(Blacksburg,Va)的卢娜创新公司(Luna Innovations.Inc.)已经描述了此类系统。
如所描述的,光导纤维140用于监测器械120的至少一部分的形状。更具体地,穿过光导纤维140的光由追踪系统135处理来用于探测手术器械120的形状并且用于利用该信息来协助手术程序。追踪系统135可以包括探测系统,其用于生成且探测用于确定器械120的形状的光。该信息转而能够用于确定其他关联的变量,诸如手术器械的各部分的速度和加速度。通过实时获得这些变量中的一个或多个的精确测量值,控制器能够提升遥操作手术系统的精确度且能够补偿在驱动部件部分中引入的误差。感测可以仅限于通过遥操作系统致动的自由度,或可以被施加至被动自由度(例如,在接合点之间的刚性构件的未经激励的弯曲)和主动自由度(例如,器械的致动的运动)二者。
来自追踪系统135的信息可以发送至导航系统142,所述信息在导航系统142处与来自可视化系统110和/或术前取得的影像的信息结合从而在显示系统111上为外科医生或其他操作者提供实时位置信息用于使用在器械120的控制上。控制系统116可以利用位置信息作为反馈用于定位器械120。2011年5月13日提交的美国专利申请No.13/107,562提供了用于配准和显示手术器械与手术影像的各种系统,其公开了“提供用于影像导引手术的解剖结构的模型动态配准的医疗系统”,其全文通过引用被并入本文。
在图2的实施例中,器械104在遥操作手术系统100内被遥操作。在替代实施例中,遥操作组件102可以被直接操作者控制替代。在直接操作替代中,可以包含各种手柄和操作者界面用于器械的手持操作。
图3A描绘了复合影像150,其包括从肺的外部的视角来看与柔性器械(诸如,柔性器械120)的器械影像154配准的人肺152的影像151。可以根据术前记录的影像生成肺152的影像151或可以在手术程序期间同步生成肺152的影像151。可以经由显示系统111显示复合影像150。随着器械120前进通过肺152的支气管通道156,来自追踪系统135和/或可视化系统110的信息用于配准器械影像154与肺影像151。肺152的影像151可以改变,例如,来描述处于吸气状态或呼气状态的肺。器械影像154可以改变来描绘器械120通过支气管通道156的前进或后退。偶尔,复合影像150可能错误地显现器械影像154,使得一部分器械影像154’在支气管通道的外部(如图3A所示)或被安置在错误的支气管通道内(如图3B所示)。下面所描述的系统和方法用于校正器械影像,使得器械被定位在正确的支气管通道内。
图3C是人肺152的内影像160,其描绘了从器械120的视角来看的肺的区域。影像160可以是在手术程序期间由同时定位在肺152所描绘的部分中的器械120所获得的同步影像。更具体地,影像可以由可视化系统110捕获。替代地,影像160可以是基于如通过追踪系统135所确定的器械120尖端的位置所选择的术前记录的影像。
返回至图2,包括电磁传感器系统136和形状传感器系统138的追踪系统135可以计算用于器械尖端126或指示尖端在包含相关器械部分的实际解剖通道外部的器械120的一个或多个部段137(例如,当被完全安置在支气管树外部时或被安置在错误的通道内时)的位置。这很可能指示微小的测量值误差(假设解剖通道的壁还没有被破坏)。此类误差可以由某些解剖结构(诸如,肺或心脏)的动态本质造成。例如,吸气和呼气改变肺的支气管通道的位置和大小。替代地,误差可以由患者动作造成或由手术器械在解剖通道内的存在引起的组织变形造成。在一些情况下,误差可能由流体加速或肿瘤生长引起的组织变形所造成(例如,自获得术前成像后的渐进肿瘤生长)。
为了在器械的影像与患者解剖结构的影像相互配准和显示时校正器械的位置且将器械的一个或多个点精确地定位在正确的通道内,器械的选定的点可以对齐到或图形地配准到在解剖通道的壁上的位置或对齐到或图形地配准到解剖通道的管腔。如将在下面详细描述的,继术前影像的记录之后,多个补偿方法可以用于校正患者解剖结构的模型从而针对在患者解剖结构中的内部和外部变形力、患者运动或其他变化进行调节。在解剖结构的组织上的内部变形力可以由,例如,吸气和呼气的呼吸状态之间的运动、心脏运动、肿瘤生长、流体加速和咳嗽造成。在解剖结构的组织上的外部变形力可以由,例如,器械插入和操纵造成。患者解剖结构的正确模型允许器械相对于解剖通道的更加精确的合成影像的生成。
在患者的解剖通道内侧的虚拟导航的情况下,正确的模型可以是特别有用的。虚拟导航基于参考术前获得的与通道的三维解剖结构相关的数据集。例如,可以通过术前CT扫描获得数据集。软件用于将CT影像转化成描述通道的各种部位和形状以及它们的连通性的三维模型。在虚拟导航程序期间,传感器系统,特别是电磁传感器系统可以用于计算器械关于患者解剖结构的大概部位。通常做一个假设,即患者解剖结构的所有部分是相对于彼此固定的。在这种假设下,能够根据术前CT扫描数据集计算从在患者解剖结构内的器械的尖端的部位来看的虚拟视图,如图3C所示。
如先前所描述的,由于施加到患者解剖结构的各种变形力(例如,内部和外部二者),患者解剖结构保持固定的假设通常是无效的。为了补偿由传感器系统引入的运动或其他误差,可以根据在通道内部的距所感测的器械的尖端的部位最近的点生成虚拟视图,而不是根据所计算的器械的尖端的位置。将所感测的器械的部位的位置调节到在通道内或在通道的壁上的调节的位置的过程被称为对齐(snapping)。当通道被很好地隔开且没有密实填集时,对齐可以特别好地起作用。当变形力大且通道密集(且尤其当通道具有类似的弯曲时)时,单独地对齐可以引起针对特定气道通道的错误选择,其中器械被定位在所述特定气道通道中。
图4A是肺的支气管通道202的未变形模型200的图示。导管204延伸进入支气管通道202。导管204可以大体上类似于器械120。模型200可以显示在显示系统上或可以以不可显示的形式驻留在计算机存储器中。如图所示的,导管204在支气管通道202上施加变形力F。
图4B图示说明了变形力F在模型200上的影响。导管204的力F使支气管通道202从由模型200图示说明的起始位置移动到由变形模型206图示说明的新位置。因此,变形模型206图示说明了导管164的力在支气管通道202的部位和取向上的影响。
图5A图示说明了被叠合在肺的支气管通道256的分支结构的未变形模型254上的导管252的所感测的模型250的复合影像。肺的支气管通道256包括不同的通道257、258、259和260。虽然已知导管252延伸到支气管通道257、258、259和260中的一个(例如,通过由导管252所获得的如图3C所示的内影像),所感测的模型250描绘了如安置在通道257、258、259和260的外部的导管252。通道257、258、259和260可以彼此间隔开仅几毫米,且通道257、258、259和260可以具有非常类似的曲率,如图5A所示。仅仅将所感测的导管252的形状匹配至通道257、258、259和260中的一个模拟的形状可能不足以确定哪个通道已经实际接收了导管252。为了更加精确地确定哪个通道已经接收了导管252,可以使用变形的通道模型,该变形的模型考虑到通过改变导管的刚度的区域施加在通道上的力。该变形通道模型将描绘导管252的改变的力在支气管通道256的部位和取向上的影响,且从而正确地描绘导管252相对于通道256的位置。
如将在下面详细描述的,用于将导管252配准到解剖通道的过程考虑了由导管的主动部分(即,在直接操作者控制下的部分)和导管的可变化的被动部分施加在通道组织上的变形力。用于配准的过程也考虑了与通道组织和周围组织的柔性/刚度相关的恢复力。可以建模一个或多个候选的解剖通道来匹配所感测的导管形状和/或尖端位置。然后可以鉴于变形力和恢复力评估一个或多个候选的解剖通道从而来确定用于配准的最可能的匹配通道。该评估过程包括从变形力和恢复力的组合排除不能实现如所建模的变形的任何候选通道。替代地,候选的解剖通道可以被建模来反映变形力和恢复力,且变形模型可以和导管形状比较来鉴定用于配准的匹配通道。可选地,如通过变形力和恢复力的组合所改变的匹配通道的模型被显示。可选地,在与变形的匹配通道配准中可以图示说明导管的影像。
通常,导管252不包括沿其插入的长度的均匀的物理性质。例如,在描绘的实施例中,导管252包括具有可变物理性质的三个不同的部分。具体地,导管252包括从A延伸至B的第一部段262、从B延伸至C的第二部段264和从C延伸至D的第三部段266。导管252具有沿其长度可变的刚度。例如,第一部段262具有比第二部段264大的刚度,且第三部段266包括具有主动可控刚度的主动部段(例如,在第三部段266的主动操纵后)。在一些实施例中,导管252具有沿其长度从A延伸到D逐渐变小的刚度。假设第三部段266为主动部段,如在描绘的实施例中,第一部段262可以具有要放在通道256的支撑结构上而保持尽可能笔直的倾向,第二部段264可以具有依从第一部段262和周围组织的倾向,且第三部段266可以仅引起局部变形(例如,仅沿第三部段266的长度)。换句话说,由三个单独的部段262、264和266施加的变形力没有必要相同或相等。由第三部段266施加在支气管通道256上的力可以显著地强于由部段262和264施加在支气管256通道上的力。同时,由第三部段266施加的力可以被限制于比由部段262和264施加在支气管通道256上的力更小的区域。为了评估候选匹配通道且为了构造支气管通道256的精确的变形模型,必须确定导管252的单个部段在支气管通道的不同的部分上的影响,其中支气管通道256的精确的变形模型示出导管252在正确的通道内的正确定位。
图5B-5D图示说明了被安置在支气管通道256的变形候选模型的不同通道内的导管252的感测模型250(例如,基于形状传感器数据或累计位置传感器数据)的复合影像。图5B图示说明了示出被安置在支气管通道256的变形模型270的通道257’内的导管252的复合影像。变形模型270假设由导管252的单独部段施加的力致使通道256向下移动使得通道257的下部边界272向下移动距离D1(显示为变形模型270中带有下边界272’的通道257’)。然而,如果由导管252的单独部段施加的力和已知的组织恢复力没有致使通道256向下移动距离D1,那么变形模型270作为候选可以被排除。换句话说,鉴于导管252的物理性质(且尤其是第二部段264和/或第三部段266)和周围组织的物理性质,如果导管252没有施加足够的力以使支气管通道257位移距离D1,那么控制系统116(或系统100的另一部分)能够确定假设的变形模型270是用于与导管的已知形状配准的不太可能的候选。
图5C图示说明了示出被安置在支气管通道256的变形模型280的通道258’内的导管252的复合影像。变形模型280假设由导管252的单独部段施加的力致使通道256向下移动使得通道258的下部边界282向下移动距离D2(显示为变形模型280中带有下边界282’的通道258’)。然而,如果由导管252的单独部段施加的力和已知的组织恢复力没有致使通道256向下移动距离D2,那么变形模型280可以被排除作为候选。换句话说,鉴于导管252的物理性质(且尤其是第二部段264和/或第三部段266)和周围组织的物理性质,如果导管252没有施加足够的力以使支气管通道257位移距离D2,那么控制系统116(或系统100的另一部分)能够确定假设的变形模型280是用于与导管的已知形状配准的不太可能的候选。
图5D图示说明了示出被安置在支气管通道256的变形模型290的通道259’内的导管252的复合影像。变形模型290假设由导管252的单独部段施加的力致使通道259、260向上移动使得通道259的上部边界292向上移动距离D3(显示为变形模型290中带有上边界292’的通道259’)。然而,如果由导管252的单独部段施加的力和已知的组织恢复力没有致使通道259向上移动距离D3,那么变形模型290可以被排除作为候选。换句话说,鉴于导管252的物理性质(且尤其是第二部段264和/或第三部段266)和周围组织的物理性质,如果导管252没有施加足够的力以使支气管通道259向上位移距离D3,那么控制系统116(或系统100的另一部分)能够确定假设的变形模型290是用于与导管的已知形状配准的不太可能的候选。
在不可能的候选模型被排除以后,基于变形力和恢复力,可以评估剩余的候选模型来确定哪一个是匹配所感测的导管最可能的模型。虽然图5B-5D图示说明了候选匹配过程,但是应当理解,该过程可以通过控制系统116来实施,而无需显示候选变形模型中的每一个。当变形模型被最终选定用于与导管配准时,可以显示变形模型和配准的导管。在各种替代实施例中,候选匹配过程可以被图示说明用于显示。
图6图示说明了与表示可能包含导管252的两种可能通道的两种不同候选模型294和295相比较,在图5A-5D中示出的导管252的感测形状或模型293的图示法。如图所示,仅仅比较所感测的导管252的形状可能不足够确定正确的通道,因为两种模型294和295具有大体相似的曲率。特别地,在点296和点297之间延伸的导管252的感测形状293的曲率与在点296和点298之间延伸的模型294的曲率以及在点296和点299之间延伸的模型295的曲率大体上相似。因此,为了确定导管252的正确位置,控制系统116能够将导管252的感测形状293与候选模型294和295相比较(例如,使用控制系统116的一个或多个算法),并且也将导管252的不同部段(例如,部段262、264和266)的物理特性和围绕导管252的不同部段的组织的物理特性计算在内。作为非限制的示例,与变形力相关的导管252的物理特性包括不同部段的刚性的程度、由每个部段施加的力(且尤其是在尖端或部段266处的主动部段)、由每个部段施加的力的方向和导管部段的材料组分和重量。作为非限制的示例,与恢复力相关的组织的物理特性包括组织类型、组织的组分(例如,包括组织的液体或气体含量)、组织的柔度(compliance)和邻近的支撑组织(例如,骨、肌肉和/或血管)。
通过采用此类综合比较,控制系统116能够确定导管252(例如,导管252的远侧部段266)驻留在其中的正确通道。例如,如果基于已知的变形力和恢复力,导管252将不能使模型295的点299向下移动距离D4到点297或者导管252将不能使模型295向侧面移动距离D5到点297,那么控制系统116可以推断候选模型295是不太可能包含导管的通道(以及定位在由模型295表示的通道之上或更加侧向的任何其他通道也一样)。类似地,如果导管252将不能使模型294的点298向下移动距离D6到点297或导管252将不能使模型295侧向地移动距离D7到点297,那么控制系统116可以推断模型294不太可能是包含导管的通道(以及定位在由模型294表示的通道之上或更加侧向的任何其他通道也一样)。在排除候选模型之后,符合已知变形力和恢复力的剩余候选模型可以被选定用于与导管的影像配准。因为所感测的导管252的模型293可能不精确到一定程度,控制系统116可以评估在预定范围的可能性内的传感器值来解释此类不精确。
图7A图示说明了支气管通道的分支结构的未变形模型300和延伸通过通道的导管302的复合影像。对于未变形模型300,导管302被示出延伸在通道的外部且导管302的尖端304在复合影像中显示为被定位在支气管通道L5内。导管302可以与在图5A-5D中示出的导管252相同。例如,在描绘的实施例中,导管302包括在点A和点B之间延伸的第一部段305、在点B和点C之间延伸的第二部段306和在点C和点D之间延伸的第三部段307。
如图7A所示,支气管通道被建模为通过接合点连接的一组刚性链节L1-L10,其能够围绕变形点(诸如围绕连接点C)在俯仰和偏转二个方向上旋转。在一些实施例中,可以适应其他的自由度,诸如伸展和滚动。在另一些实施例中,可以沿链节L1-L10的长度定位接合点或其他类型的变形点来允许用于沿链节的长度弯曲的多个部位。在一些实施例中,变形点可以贯穿建模的链节L1-L10分布,而不考虑连接点的部位。链节与它们的贴近的周围组织的组织类型和组织组分能够显著地变化。因此,单个链节可以具有不同地响应于由导管302施加的力的不同的物理性质。链节L3-L4的弯曲和链节L8-L9的弯曲大体上相似。根据未变形模型300,不清楚导管302的部段306和307延伸进入链节L3-L4还是链节L8-L9。为了确定导管302的部段306和307是否延伸进入链节L3-L4或是链节L8-L9,控制系统116能够使用以上关于图5A-图6所论述的过程根据除与导管相互作用的组织的物理性质之外的不同的导管部段的物理特性方面来评估可能的变形模型。
为了使模型300变形且校正由导管施加的力,确定在支气管通道中的完整导管的形状。形状传感器系统(诸如形状传感器系统138)可以用于确定整个导管的形状,不仅仅是尖端。导管的形状用于确定在未变形模型中的在每个连接点C处的一组变形变量(例如,俯仰和偏转角度)。用于将连接点的建模的俯仰和偏转角度转化成在支气管结构中的链节的位姿的方法是标准运动学方法,该方法被发现在例如Siciliano等人的Springer Handbook ofTeleoperationals(Springer,2008)中。通过由导管的点所致的虚拟力以及由解剖结构自身(例如,支气管通道的链节和它们的周围组织)所致的反向力确定支气管通道的变形的量,其中导管的点被描绘在未变形模型中的通道外部。导管力沿导管的长度不同地作用(例如,不同的力由部段305、306和307施加)且有效地作用使通道在导管的方向上移动。变形的量也是通过反向力或反作用力来确定,诸如支气管通道的刚性和周围的可连接的组织使通道朝向未变形形状和构造偏离。
图7B-7D描绘了分支支气管通道的未变形模型300并且也示出了当导管302被推进通过通道时,分支支气管通道的候选变形模型310。在图7B中,导管302被推进通过链节L1且进入链节L2。变形模型310从未变形模型300稍微地移动来调节导管302的部段307在链节L1、L2上的直接力和在连接的远侧链节L3-L10上的间接力,同时也调节组织在链节L1和L2处的反向力(并且到更小程度、更远侧的链节)。被描绘为在链节L2内的尖端304既在未变形模型300中也在变形模型310中,但是在链节L2内的尖端304的确切部位在两个模型之间不同。
在图7C中,导管302被推进通过链节L2且进入链节L3。候选变形模型310进一步从未变形模型300移动来调节导管302的部段306在链节L1、L2、L3上的直接力、导管302的部段307在链节L3上的直接力和在所连接的远侧链节L4-L10上的间接力,同时也调节组织在链节L1-L3处的反向力(并且到更小程度、更远侧的链节)。尖端304被描绘为在未变形模型300中的链节L3的外部但是在变形模型310中的链节L3内。因此,变形模型310更精确地反映了尖端304在支气管通道内部的现实。
然而,如果链节L3不被放置到尖端304被感测的地方(在传感器不精确度的范围内),那么控制系统116可以推断候选变形模型310可以被排除。例如,基于导管302的部段306和307的物理性质,由那些部段施加的力以及链节L6-L8的组织特性和其反向力、导管302的尖端304延伸进入链节L6和L8的可能性可以转而被评估。在执行此类评估中,控制系统116可以构建另一个候选变形模型用于导管302延伸进入链节L6和L8。在一些实施例中,在基于导管302的形状,察觉到两种模型都是候选后,控制系统116立刻构建两种可能的模型(例如,一个示出位于链节L3和L4内的导管302,另一个示出位于链节L6和L8内的导管302)。在另一些实施例中,控制系统116(例如,基于曲率比较,和/或导管和通道之间最佳拟合的线)最初构建看起来最有可能评估该模型精确度的变形模型,如果确定该模型具有一定程度的误差或在预定的阈值之下的不确定性(例如,低于5%的错误的几率),那么才构建第二模型。
在图7D中,导管302被推进进入链节L4。变形模型310进一步从未变形模型300移动来调节导管302在链节L1、L2、L3、L4上的直接力和在所连接的远侧链节L5-L10上的间接力。尖端304被定位在未变形模型300中的链节L5中并且在变形模型310中的链节L4中。控制系统116能够确定变形模型310是导管302的定位的精确描绘。基于由导管302的每个单个部段在支气管通道的不同链节上的力和由支气管通道的每个链节施加的反向力,可以确定变形模型的精确程度。如果确定变形模型精确且所计算的不精确的几率低于误差的预定阈值,那么控制系统116能够推断变形模型310更加精确地反映了尖端304的实际位置。最终的变形模型310可以被显示为如图8中所描绘的。应当理解,可以通过控制系统116执行候选模型评估过程而不显示,直到确定了匹配的模型。
在图9的流程图400中提供了用于将未变形模型校正为更加精确的变形模型的方法的一个实施例。模型可以自描述患者解剖结构的存储数据生成,例如,来自术前影像、来自描述患者解剖结构的二维或三维数据集、来自标准(例如,不是具体患者模型)或来自以上的任意的混合。最初,变形模型等同于静态的、未变形模型,其中全部变形变量(例如,俯仰/偏转角度,伸展)设置在零。在步骤402处,使用传感器系统的一个或多个传感器获得手术器械的导管或另一类型的感测设备的当前形状。在步骤404处,相对于沿静态模型的取样点的沿成形的导管的取样点被匹配用于最佳拟合。更详细地,在一个示例实施例中,最佳拟合匹配技术可以包括a)找到最接近导管的尖端的N个链节L;b)针对N个链节L中的每一个,计算形成从所述链节到支气管结构的基底的路径的各链节的唯一子集;c)针对N个链节L中的每一个,计算到沿导管形状的每个取样点的在支气管通道上的最近的点;d)根据取样点到支气管通道中的对应最近点的距离,计算N个选择中的每一个的距离得分;且基于最小的组合距离得分从N个选择中选择最佳选择。因此,基于导管的弯曲和不同的通道的弯曲的比较,选择最有可能的候选通道(或解剖链节的组合)。可选地,可以确定多个候选模型。
在步骤406处,针对所选定的一个或多个最佳拟合(例如,所选定的通道)模型计算一组变形力。对于沿导管形状的每个取样点,力被限定为在所述点的位置和支气管通道上的最近的点的位置之间的向量。如上述所提到的,导管通常将会包括具有不同物理性质的不同部段,并且算法基于相对于每个不同的部段在患者解剖结构内的部位的其特定物理特性来评估由每个不同的部段所施加的力。例如,由远侧主动部段(例如,图7C中的部段307)所施加的力相比导管的非主动或更柔性的部段(例如,图7C中的部段306)的力可以更大且在周围组织上变形更大。因此,执行设备感知(device-aware)计算来精确地评估由导管的不同部分所施加的变形力。
在步骤408处,计算一组恢复力,其相当于使支气管通道朝向其原始形状偏离的力。在变形支气管通道链节上的取样点和非变形链节上的对应的点之间限定这些恢复力。这些恢复力可以取决于多种因素,作为非限制的示例,所述多种因素包括组织的类型、组织的液体/空气含量、邻近或支撑组织、组织的质量、组织的弹性和组织的密度。可选地,可以计算被称为是保持力(maintenance force)的恢复力的子集,该力相当于使局部形状朝向未变形局部形状偏离的力。这些保持力能够被限定为,例如,作用在所连接的链节的每对之间的接合点扭矩,其中所述扭矩与在所在连接处的变形角度大小相等且方向相反。作用在支气管通道的分支结构上的全体组的力被计算为各组变形力和恢复力的加权和。
可以由使用者以能产生最切实的行为的方式确定不同的加权或加权因子或由控制系统以能产生最切实的行为的方式预设不同的加权或加权因子,例如,基于导管的不同部段的已知物理性质和所测量的解剖结构的机械性质。也能够在多维诊断影像(例如,三维或四维CT)被预评估的组织的弹性性质可能也涉及用于强度-弹性校准的真实患者影像数据库。由于CT成像设备(imaging modality)捕获相关的组织密度,因此能够预先计算影像强度和组织部位的弹性性质的映射。在运行时间期间,能够计算在已知大小和方向的力下的导管的每个不同部段的组织变形,从而更加物理精确的反映组织行为。
在步骤410处,通过按与在接合点处的全部施加的力和/或扭矩成比例的量调节支气管通道链节之间的每个接合点,创建支气管通道的一个或多个候选变形模型。因此,基于与不同的导管部段的物理性质相关的变形力和与受这些导管部段影响的组织的物理特性相关的恢复力二者而创建变形模型来改进起始的一个或多个最佳拟合通道部段。比较候选变形模型与器械本体的当前形状来确定哪个通道最佳地匹配器械本体的当前形状。替代地,候选通道被建模来匹配导管形状,并且执行评估来确定匹配导管形状的变形模型中的哪一个最有可能基于已知的变形力和恢复力。
在步骤412处,生成变形模型和导管的复合影像从而精确地描绘在支气管通道的分支结构内的导管的位置。附加地,利用与在变形模型中的正确链节配准的导管的尖端,能够从术前存储的影像获得正确的虚拟导航视图。这个过程可以自步骤402被重复,直到导管到达其在支气管结构内的期望目标。
在另一个实施例中,分支的支气管结构的非静态本质能够以相当于支气管结构的吸入状态的支气管结构的吸气模型和相当于支气管结构的呼出状态的呼气模型被示出。参照图9和图10,随着吸气和呼气状态(反之亦然)之间的通道调节,基于传感器系统已经调节的导管的位姿、位置或取向能够被进一步改进或被扭曲到支气管通道的形状。图9描绘了吸气模型450和呼气模型452。导管454起初基于传感器系统被定位,但是随着支气管通道在吸气和呼气状态之间移动,导管454被调节从而保持在支气管通道的影像内。
图10是流程图460,其描述了用于基于吸气和呼气状态调节导管的方法。在步骤462处,获得导管的当前形状。在步骤464处,导管形状被匹配成处于吸气状态的支气管通道的形状。在步骤466处,导管形状被匹配成处于呼气状态的支气管通道的形状。在支气管通道和导管的复合影像中,对于呼气状态和吸气状态中的每个,导管的影像被维持在支气管通道内。这个过程可以被重复,直到导管达到其在支气管结构内的期望的目标。在替代实施例中,所述过程可以用于为位于任何移动解剖结构内的任何器械校正影像,并且尤其是在已知状态之间重复交替的解剖结构(诸如心脏或肺)。例如,运动解剖结构可以是在心搏周期的舒张和收缩阶段之间交替的心脏。
在替代实施例中,可以使用三维形状直方图建模器械或解剖通道来执行相似性搜索。例如,可以研发度量标准来测量两个三维曲线之间的相似性。参照图11,曲线500相当于通过参考解剖结构所测量的设备路径,且曲线502相当于实际的解剖通道。对于这些曲线上的每个点Pi,可以限定以下参数:a)局部梯度,b)局部曲率,c)相对于端点连接器的径向角位移,d)相对于端点连接器的径向位移,e)相对于第三参考轴线504的径向位移/径向角位移。
如图12所示,可以根据以上参数中的每一个创建直方图505。该直方图被直接匹配来创建针对每个曲线相似性的度量标准。
在另一个实施例中,使用度量标准将任意形状的点集对齐到另一个点集以测量匹配的质量。参照图13,提供了两个点集PT和PS。从PS开始,计算相似性测量|SS→T|。相似性测量是建立索引到参考点的距离的一维直方图。在参考点处的切向量的值相对于参考向量被存储。优化器用于使自由度在转换上最优化从而使在PS和PT之间的某一瞬时的相似性测量最大化。
美国专利申请No.(参考No.ISRG04290)和美国专利申请No.(参考No.ISRG03740)中公开了用于将柔性器械的至少一部分的影像配准到解剖系统的影像的替代系统和方法,前者公开了“用于使用减少的搜索空间的医疗设备的配准的系统和方法”,后者公开了“用于使用快速位姿搜索的医疗设备的配准的系统和方法”,两者的全部内容通过引用被并入本文。这些通过引用并入的系统和方法的各方面可以与以上所公开的系统和方法一起使用从而提供将柔性器械的至少一部分的影像精确地配准解剖系统的影像的替代方法。
虽然本文已经相对于遥操作或手动操作的手术系统描述了配准系统和方法,但是这些配准系统和方法将会在多种医疗和非医疗器械中应用,在多种医疗和非医疗器械中精确器械影像配准要不然是太耗时或者是计算机密集处理。
虽然本公开的系统和方法已经被图示说明在肺的连接的支气管通道中使用,但是它们也适合于经由在包括结肠、肠、肾、脑、心脏、循环系统等的多种解剖系统中的任何中的自然的或手术创建的连接通道来用于其他组织的导航和治疗。本公开的方法和实施例也适合于非手术应用。
本发明的实施例中的一个或多个构件可以在软件中实施以在计算机系统(诸如控制系统116)的处理器上执行。当在软件中实施时,本发明的实施例的构件本质上是执行所需要的任务的代码段。程序或代码段能够被存储在处理器可读存储介质或设备中,该程序或代码段可以借助于体现在在传输介质或通信链接上的载波中的计算机数据信号被下载。处理器可读存储设备可以包括能够存储信息的任何介质,该介质包括光学介质、半导体介质和磁介质,处理器可读储存设备示例包括电子电路;半导体设备、半导体存储器设备、只读存储器(ROM)、闪速存储器、可擦除可编程只读存储器(EPROM);软盘、只读光盘(CD-ROM)、光盘、硬盘或其他存储设备。程序段可以经由诸如互联网、内联网等的计算机网络下载。
注意,所呈现的过程和显示可以不是固有地涉及任何特定的计算机或其他装置。各种一般用途的系统可以根据本文的与程序一起使用,或者可以证明构建更具体的装置来执行所描述的操作是便利的。用于多种这些系统所要求的结构将会作为元件出现在权利要求中。此外,没有参考任何特定的编程语言来描述本发明的实施例。应当理解,多种编程语言可以用于实施如本文所描述的本发明的教导。
虽然已经描述且在随附的附图中示出了本发明的某些示例性实施例,但是应当理解,此类实施例仅仅是说明性的并且不限制本发明的范围,并且本发明的实施例不局限于所示出的和所描述的具体构造和布置,因为本领域技术人员可以想到各种其他修改。

Claims (23)

1.一种方法,包括:
确定设备的形状,所述设备至少部分地被安置在解剖通道内;
确定用于所述设备的多个部段的一组变形力;以及
基于所述设备的所述形状、所述组变形力和描述所述解剖通道的解剖数据生成复合模型,所述复合模型指示所述设备相对于所述解剖通道的位置。
2.根据权利要求1所述的方法,其中确定所述设备的所述形状包括接收来自光导纤维形状传感器的信息。
3.根据权利要求1所述的方法,其中确定所述设备的所述形状包括接收来自电磁传感器的信息。
4.根据权利要求1所述的方法,其中描述所述解剖通道的所述解剖数据包括描述所述解剖通道的形状的数据,并且其中生成所述复合模型包括将所述柔性设备的所述形状与所述解剖通道的所述形状进行比较。
5.根据权利要求1所述的方法,其中确定所述组变形力包括确定所述设备的所述多个部段中的每个部段的刚度。
6.根据权利要求1所述的方法,其中确定所述组变形力包括确定所述设备的所述多个部段中的每个部段的可操纵性。
7.根据权利要求1所述的方法,还包括确定一组恢复力,并且其中所述复合模型另外基于所述组恢复力。
8.根据权利要求1所述的方法,还包括确定一组保持力,并且其中所述复合模型另外基于所述组保持力。
9.根据权利要求1所述的方法,还包括:
确定一组恢复力;
确定一组保持力;以及
确定所述组变形力、所述组恢复力和所述组保持力的加权和,
其中所述复合模型另外基于所述加权和。
10.根据权利要求1所述的方法,其中描述所述解剖通道的所述解剖数据包括描绘至少部分所述解剖通道的第一模型,并且其中生成所述复合模型包括使用所述设备的所述形状和所述组变形力调节所述第一模型。
11.根据权利要求10所述的方法,其中生成所述复合模型包括调节将所述解剖通道的两个建模部段结合的所述第一模型的建模连接点。
12.一种医疗系统,包括:
柔性设备,所述柔性设备被构造成至少部分地安置在解剖通道内,所述设备包括多个部段和形状传感器;以及
存储器设备,所述存储器设备包括计算机可执行指令,所述计算机可执行指令包括:
用于确定所述柔性设备的形状的指令;
用于确定用于所述柔性设备的所述多个部段的一组变形力的指令;以及
用于基于所述柔性设备的所述形状、所述组变形力和描述所述解剖通道的解剖数据生成复合模型的指令,其中所述复合模型指示所述柔性设备相对于所述解剖通道的位置。
13.根据权利要求12所述的医疗系统,其中所述形状传感器包括光导纤维形状传感器。
14.根据权利要求12所述的医疗系统,其中所述形状传感器包括电磁传感器。
15.根据权利要求12所述的医疗系统,其中描述所述解剖通道的所述解剖数据包括描述所述解剖通道的形状的数据,并且其中用于生成所述复合模型的所述指令包括用于将所述柔性设备的所述形状与所述解剖通道的所述形状进行比较的指令。
16.根据权利要求12所述的医疗系统,其中用于确定所述组变形力的所述指令包括用于确定所述柔性设备的所述多个部段中的每个部段的刚度的指令。
17.根据权利要求12所述的医疗系统,其中用于确定所述组变形力的所述指令包括用于确定所述柔性设备的所述多个部段中的每个部段的可操纵性的指令。
18.根据权利要求12所述的医疗系统,其中所述计算机可执行指令还包括用于确定一组恢复力的指令,并且其中所述复合模型另外基于所述组恢复力。
19.根据权利要求12所述的医疗系统,其中所述计算机可执行指令还包括用于确定一组保持力的指令,并且其中所述复合模型另外基于所述组保持力。
20.根据权利要求12所述的医疗系统,所述计算机可执行指令还包括:
用于确定一组恢复力的指令;
用于确定一组保持力的指令;以及
用于确定所述组变形力、所述组恢复力和所述组保持力的加权和的指令,
其中所述复合模型另外基于所述加权和。
21.根据权利要求12所述的医疗系统,其中所述计算机可执行指令还包括用于确定所述复合模型的错误的百分比几率的指令。
22.根据权利要求12所述的医疗系统,其中描述所述解剖通道的所述解剖数据包括描绘至少部分所述解剖通道的第一模型,并且其中用于生成所述复合模型的所述指令包括用于使用所述设备的所述形状和所述组变形力调节所述第一模型的指令。
23.根据权利要求22所述的医疗系统,其中用于生成所述复合模型的所述指令包括用于调节将解剖通道的两个建模部段结合的所述第一模型的建模连接点的指令。
CN201480075136.7A 2013-12-09 2014-12-09 用于设备感知柔性工具配准的系统和方法 Active CN105979899B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361913747P 2013-12-09 2013-12-09
US61/913,747 2013-12-09
PCT/US2014/069228 WO2015089013A1 (en) 2013-12-09 2014-12-09 Systems and methods for device-aware flexible tool registration

Publications (2)

Publication Number Publication Date
CN105979899A true CN105979899A (zh) 2016-09-28
CN105979899B CN105979899B (zh) 2019-10-01

Family

ID=53371746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075136.7A Active CN105979899B (zh) 2013-12-09 2014-12-09 用于设备感知柔性工具配准的系统和方法

Country Status (6)

Country Link
US (3) US10610306B2 (zh)
EP (1) EP3079625B1 (zh)
JP (2) JP2017502728A (zh)
KR (1) KR102337440B1 (zh)
CN (1) CN105979899B (zh)
WO (1) WO2015089013A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110313886A (zh) * 2019-08-02 2019-10-11 哈尔滨理工大学 儿童纤维支气管镜术的智能检查及介入治疗装置
CN111475907A (zh) * 2019-01-23 2020-07-31 爱柏威股份有限公司 产生接合线数据的方法及接合线数据产生系统
CN112292076A (zh) * 2018-04-11 2021-01-29 弗劳恩霍夫应用研究促进协会 用于确定物品在管状结构之内的位置的位置确定设备
CN112914723A (zh) * 2021-02-02 2021-06-08 广东工业大学 用于复杂血管的镍钛合金血栓清除器械及制备方法
CN113876424A (zh) * 2020-07-02 2022-01-04 西门子医疗有限公司 借助机器人为导管创建导航计划的方法和系统

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
EP2582868B1 (en) * 2010-06-17 2018-03-28 Washington University Biomedical patches with aligned fibers
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
EP2897561B1 (en) 2012-09-21 2020-11-04 Washington University Biomedical patches with spatially arranged fibers
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
CN105979899B (zh) 2013-12-09 2019-10-01 直观外科手术操作公司 用于设备感知柔性工具配准的系统和方法
WO2015121764A1 (en) * 2014-02-11 2015-08-20 Koninklijke Philips N.V. Spatial visualization of internal mammary artery during minimally invasive bypass surgery
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
WO2016207163A1 (en) * 2015-06-25 2016-12-29 Koninklijke Philips N.V. System and method for registering a structure using fiber-optical realshape data
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11202680B2 (en) * 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
JP6824967B2 (ja) 2015-09-18 2021-02-03 オーリス ヘルス インコーポレイテッド 管状網のナビゲーション
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11172895B2 (en) * 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
US10632228B2 (en) 2016-05-12 2020-04-28 Acera Surgical, Inc. Tissue substitute materials and methods for tissue repair
US10806516B2 (en) * 2016-06-20 2020-10-20 General Electric Company Virtual 4D stent implantation path assessment
KR102401263B1 (ko) * 2016-09-21 2022-05-24 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기구 좌굴 검출을 위한 시스템들 및 방법들
US11222553B2 (en) * 2016-09-27 2022-01-11 Covidien Lp Enhanced approaches to training for bronchoscopy and thoracic procedures
DE102016119579B4 (de) * 2016-10-13 2023-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
CN108990412B (zh) 2017-03-31 2022-03-22 奥瑞斯健康公司 补偿生理噪声的用于腔网络导航的机器人系统
EP3384846B1 (en) * 2017-04-03 2021-03-24 Siemens Healthcare GmbH Method for operating an x-ray device, x-ray device, computer program and electronically readable storage medium.
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
JP7322026B2 (ja) 2017-12-14 2023-08-07 オーリス ヘルス インコーポレイテッド 器具の位置推定のシステムおよび方法
WO2019125964A1 (en) 2017-12-18 2019-06-27 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019145998A1 (ja) * 2018-01-23 2019-08-01 オリンパス株式会社 ジェネレータ及びジェネレータの作動方法
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
CN110831486B (zh) 2018-05-30 2022-04-05 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和方法
EP3801348B1 (en) 2018-05-31 2024-05-01 Auris Health, Inc. Image-based airway analysis and mapping
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
CN114630618A (zh) 2019-09-09 2022-06-14 马格尼司帝有限公司 用于认证三维物体的方法及装置
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
KR102371511B1 (ko) * 2019-11-29 2022-03-08 주식회사 지메디텍 네비게이션 벌룬카테터
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
EP4084720A4 (en) 2019-12-31 2024-01-17 Auris Health Inc ALIGNMENT TECHNIQUES FOR PERCUTANE ACCESS
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US20210287434A1 (en) * 2020-03-16 2021-09-16 Covidien Lp System and methods for updating an anatomical 3d model
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
DE102020212000A1 (de) 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Positionieren eines medizinischen Objekts und Verfahren zum Bereitstellen einer Korrekturvorgabe
EP4248832A4 (en) * 2020-11-17 2024-05-08 Fujifilm Corp PROCESSOR DEVICE, OPERATING METHOD FOR PROCESSOR DEVICE, PROGRAM FOR PROCESSOR DEVICE AND ENDOSCOPE SYSTEM
CN113616333B (zh) * 2021-09-13 2023-02-10 上海微创微航机器人有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101522134A (zh) * 2006-06-05 2009-09-02 泰克尼恩研究和发展基金有限公司 挠性针的受控导向
US20110319910A1 (en) * 2007-08-14 2011-12-29 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
WO2012158324A2 (en) * 2011-05-13 2012-11-22 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013065606A1 (ja) * 2011-10-31 2013-05-10 オリンパス株式会社 管状挿入装置
WO2013173229A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03177682A (ja) * 1989-12-07 1991-08-01 Mitsubishi Cable Ind Ltd チューブ
FR2692789B1 (fr) * 1992-06-26 1999-09-17 Vygon Sonde a embout rapporte.
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
JP2000083889A (ja) * 1998-09-09 2000-03-28 Olympus Optical Co Ltd 内視鏡形状検出システム
AU2002347900B8 (en) 2001-10-11 2006-01-12 Emphasys Medical, Inc. Bronchial flow control devices and methods of use
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
CA2693113C (en) * 2007-06-11 2016-07-19 Snaptron, Inc. Methods and apparatus for determining deformation response
US8136728B2 (en) 2008-04-25 2012-03-20 Warsaw Orthopedic, Inc. Medical device tracking system with tag and method
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP5580637B2 (ja) * 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US10390889B2 (en) 2010-07-26 2019-08-27 St Jude Medical International Holding S.Á R.L. Removable navigation system and method for a medical device
US8827934B2 (en) * 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US20130030389A1 (en) * 2011-07-27 2013-01-31 Teleflex Medical Incorporated Method of insert molding a connection for catheter with varying diameters
CN105979899B (zh) 2013-12-09 2019-10-01 直观外科手术操作公司 用于设备感知柔性工具配准的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101522134A (zh) * 2006-06-05 2009-09-02 泰克尼恩研究和发展基金有限公司 挠性针的受控导向
US20110319910A1 (en) * 2007-08-14 2011-12-29 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
WO2012158324A2 (en) * 2011-05-13 2012-11-22 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013065606A1 (ja) * 2011-10-31 2013-05-10 オリンパス株式会社 管状挿入装置
WO2013173229A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112292076A (zh) * 2018-04-11 2021-01-29 弗劳恩霍夫应用研究促进协会 用于确定物品在管状结构之内的位置的位置确定设备
CN111475907A (zh) * 2019-01-23 2020-07-31 爱柏威股份有限公司 产生接合线数据的方法及接合线数据产生系统
CN111475907B (zh) * 2019-01-23 2023-03-24 爱柏威股份有限公司 产生接合线数据的方法及接合线数据产生系统
CN110313886A (zh) * 2019-08-02 2019-10-11 哈尔滨理工大学 儿童纤维支气管镜术的智能检查及介入治疗装置
CN113876424A (zh) * 2020-07-02 2022-01-04 西门子医疗有限公司 借助机器人为导管创建导航计划的方法和系统
CN112914723A (zh) * 2021-02-02 2021-06-08 广东工业大学 用于复杂血管的镍钛合金血栓清除器械及制备方法
CN112914723B (zh) * 2021-02-02 2023-07-21 广东工业大学 用于复杂血管的镍钛合金血栓清除器械及制备方法

Also Published As

Publication number Publication date
US11452569B2 (en) 2022-09-27
EP3079625B1 (en) 2023-09-13
WO2015089013A1 (en) 2015-06-18
EP3079625A1 (en) 2016-10-19
US20160302869A1 (en) 2016-10-20
CN105979899B (zh) 2019-10-01
KR102337440B1 (ko) 2021-12-10
US10610306B2 (en) 2020-04-07
JP2017502728A (ja) 2017-01-26
JP2020032209A (ja) 2020-03-05
US20200205904A1 (en) 2020-07-02
US20230046239A1 (en) 2023-02-16
EP3079625A4 (en) 2017-08-02
JP6829752B2 (ja) 2021-02-10
KR20160098307A (ko) 2016-08-18

Similar Documents

Publication Publication Date Title
CN105979899A (zh) 用于设备感知柔性工具配准的系统和方法
US11678813B2 (en) Systems and methods for deformation compensation using shape sensing
US11896364B2 (en) Systems and methods for registration of multiple vision systems
US10376178B2 (en) Systems and methods for registration of a medical device using rapid pose search
US10373719B2 (en) Systems and methods for pre-operative modeling
CN104302241B (zh) 用于使用减小的搜索空间的医疗设备的配准系统和方法
KR20170038012A (ko) 수술중 세그먼트화를 위한 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant