CN102470014A - 用于在医疗过程中进行跟踪的方法和装置 - Google Patents

用于在医疗过程中进行跟踪的方法和装置 Download PDF

Info

Publication number
CN102470014A
CN102470014A CN2010800294537A CN201080029453A CN102470014A CN 102470014 A CN102470014 A CN 102470014A CN 2010800294537 A CN2010800294537 A CN 2010800294537A CN 201080029453 A CN201080029453 A CN 201080029453A CN 102470014 A CN102470014 A CN 102470014A
Authority
CN
China
Prior art keywords
orientation
anatomical structure
image
armarium
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800294537A
Other languages
English (en)
Other versions
CN102470014B (zh
Inventor
J·萨巴奇恩斯基
H·舒尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102470014A publication Critical patent/CN102470014A/zh
Application granted granted Critical
Publication of CN102470014B publication Critical patent/CN102470014B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/067Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

用于患者的目标解剖结构的跟踪系统可以包括具有主体(281)的医疗设备,该主体(281)具有远端(290)和在其中形成的至少一个通道(292),其中,该主体适于通过解剖结构(105)插入到达目标区域(430);连接到主体并且接近远端放置的加速度计(185);与主体可操作耦合的成像设备(295);以及与主体可操作耦合的光源(297),其中,加速度计与远程处理器(120)进行通信以便向其发送加速度数据,其中,成像设备与远程处理器进行通信以便向其发送实时图像,并且其中,通过处理器基于加速度数据确定医疗设备相对于解剖结构的取向。

Description

用于在医疗过程中进行跟踪的方法和装置
相关申请的交叉引用
本申请要求2009年6月29日提交的美国临时申请s/n 61/221,138(申请人卷号PH013137US1)的权益,通过参考将其合并于此。相关申请是2009年6月29日提交的s/n 61/221,150“Method and System for PositionDetermination”(申请人卷号PH013333US1)。
技术领域
本申请涉及治疗领域,特别涉及对医疗过程进行跟踪,并且将特别参考其进行描述。
背景技术
已经提出了各种技术和系统以便诸如基于根据3D成像格式的测量来改善器械放置(例如,导管放置)进入身体的精确性。这些成像格式试图对进入设备相对于诸如MRI检测目标组织的治疗目标区域进行定位。这些成像格式产生用于确定设备在处置期间的合适定位的成像数据。
在许多情况下,仅在该成像数据信息的基础上递送医疗设备,并且相对于目标的最终位置的确认甚至可能需要采集第二组图像。在设备中使用摄像机来视觉呈现设备路径的一些情况下,如果不遵循正确的路径,例如设备在移动期间扭动,其就不清楚。
支气管镜检查是对支气管内部进行观察的方法。将柔性光纤设备、支气管镜、一种特殊类型的内窥镜通过患者的口或者鼻孔插入气道系统。允许肺脏学家看见气管、主支气管、以及较大的小支气管的内部。通常,支气管镜具有工作通道,可以通过该工作通道将小型外科器械带到支气管镜尖端。
可以在CT扫描上检测到肺部病变。为了实现可靠诊断,必须经常对组织样本进行研究。虽然可能用针从外面提取组织样本,但是该方法具有某些问题。在支气管镜的帮助下,可能避免这些问题。肺部病变的经支气管内窥镜活检是经支气管窥镜收集肺部组织的外科技术。使用小手术镊或者活检针通过工作通道从支气管壁后面得到肺部组织。
发明内容
提供该概述,以符合美国的37C.F.R.§1.73条款,该条款要求本发明的概述简要指示本发明的本质和实质。提交该概述是基于这样的理解,即,将不使用该概述解释或者限制权利要求的范围或者意义。
根据示例性实施例的一方面,在医疗过程中进行跟踪的方法可以包括从整体连接到医疗设备的加速度计接收加速度数据,其中,在远程处理器处对加速度数据进行接收,并且其中,将医疗设备通过患者的解剖结构朝向目标区域移动;并且基于加速度数据确定医疗设备相对于解剖结构的取向。
根据示例性实施例的另一方面,计算机可读存储介质可以包括存储在其中的计算机可执行代码,其中,配置计算机可执行代码以使得在其中提供有计算机可读存储介质的计算设备:从整体连接到医疗设备的取向传感器接收取向数据,其中,在远程处理器处对取向数据进行接收,并且其中,将医疗设备通过患者的解剖结构朝向目标区域移动;基于取向数据确定医疗设备相对于解剖结构的取向;使用医疗设备采集解剖结构的实时图像;并且将所采集的图像和医疗设备相对于解剖结构的取向呈现在可操作耦合到处理器的显示设备上。
根据示例性实施例的另一方面,提供了内窥镜,其可以包括主体,主体具有远端和在其中形成的至少一个通道,其中,主体适于通过解剖结构插入到达目标区域;连接到主体并且接近远端放置的加速度计;与主体可操作耦合的成像设备;以及与主体可操作耦合的光源,其中,加速度计与远程处理器进行通信,以便向其发送加速度数据,其中,成像设备与远程处理器进行通信,以便向其发送实时图像,并且其中,由处理器基于加速度数据确定医疗设备相对于解剖结构的取向。
这里所描述的示例性实施例可以具有相对于同时代系统和处理器的许多优点,包括外科设备放置的精确性和通过允许更快确定医疗设备的正确路径导致的过程时间减少。另外,可以通过改装现有外科设备利用这里所描述的系统和方法。一旦阅读和理解了下列详细说明,更多优点和益处对于本领域的普通技术人员将变得显而易见。
附图说明
从下列详细说明、附图和所附权利要求中,本领域的技术人员将意识到和理解本公开的上述以及其它特征和优点。
图1是根据一个示例性实施例的在医疗过程中使用的跟踪系统的示意性图示说明;
图2是与图1的跟踪系统一起使用的外科设备的示意性图示说明;
图3是与图1的跟踪系统一起使用的另一个外科设备的示意性图示说明;
图4是具有目标解剖结构的患者的示意性图示说明;并且
图5是使用图2或者图3的外科设备所采集的患者支气管的图像;
图6是图1-3的系统和设备可以使用的、用于在医疗过程期间执行跟踪的方法;并且
图7是在外科设备和工作站之间的信号流的示意性图示说明。
具体实施方式
结合在用于人类的过程期间使用的支气管镜跟踪系统,对本公开的示例性实施例进行描述。本领域的普通技术人员应该理解,可以将本公开的示例性实施例应用到各种类型的医疗或者外科设备(包括其它内窥镜或者医用导管)、各种类型的过程、以及无论人类或者动物的身体各个部分,也可以与这些一起使用。示例性实施例还可以用于跟踪使用结合了摄像机或者代替摄像机的各种类型成像的外科设备,例如,由放置在进入身体的外科设备中的超声设备进行的超声成像。在这里将示例性实施例描述为结合成像使用加速度计跟踪。本公开的示例性实施例的方法和系统的使用可以适于应用到其它类型的目标解剖结构的跟踪中,并且可以使用包括磁力计的其它类型的取向感测传感器。
参考图1,示出了跟踪系统100,其可以具有诸如支气管镜的外科设备180,该外科设备180具有连接到其的加速度计185。可以沿着或者接近外科设备180的尖端或者远端放置加速度计185。虽然示例性实施例示出了单一加速度计185,但是本公开预期使用任何数目的可以在沿着外科设备180的各种构造中的加速度计。可以将外科设备180使用在能够由支撑结构170支撑的患者的目标解剖结构105中。
加速度计185可以是能够检测外科设备180的尖端加速度、从而可以生成关于当前尖端取向的取向信息的测量设备。加速度计185可以为各种类型,包括:压电式、MEMS、热(亚微米CMOS工艺)、体微机械加工的电容式、体微机械加工的压电阻抗式、电容式粒子弹簧基底(capacitive springmass base)、机电伺服、零点平衡、应变仪、谐振、磁感应、光学、表面声波、DC响应、模态调谐冲击(modally tuned impact)、座垫、PIGA等。在一个实施例中,可以利用3轴加速度计,其不仅测量加速度的强度,还测量其方向。
可以将加速度计185可操作连接到处理器120,该处理器120从其接收取向数据。可操作耦合可以是经过诸如线186的硬接线,并且/或者可以是加速度计185和处理器120之间的无线链路。在一个实施例中,取向数据可以是诸如电压变化的原始数据,对其进行测量并且发送到处理器120。在另一个实施例中,加速度计185可以在将取向数据发送到处理器120之前将原始数据转换成方向信息。
系统100描绘了直接提供给处理器120的取向数据。然而,本公开预期加速度计185将取向数据提供给取向采集单元(未示出),其可以对数据进行处理并且随后将数据提供给处理器120。
在一个实施例中,可以与诸如高分辨率成像模态的、包括X射线扫描机155的成像模态150一起使用跟踪系统100,或者跟踪系统100可以包括诸如高分辨率成像模态的、包括X射线扫描机155的成像模态150。例如,可以通过扫描机155生成目标解剖结构105的高分辨率图像,并且将其存储在图像寄存器中。可以将图像寄存器合并入处理器120中,并且/或者图像寄存器可以是单独的存储器和/或处理设备。在图1中为了说明的目的示出了C臂X射线扫描设备155,但是本公开预期使用包括开放式MRI、CT等的各种成像设备。本公开预期单独或者组合使用包括MRI、超声、X射线、CT等的各种成像模态。本公开还预期成像模态150是依靠其来收集图像的独立系统,包括手术前和/或手术中图像。
另外参考图2,外科设备180可以包括一个或多个通道292,该一个或多个通道292形成为通过设备(例如,支气管镜)的主体281,该一个或多个通道292例如为用于给临床医师提供进入目标解剖结构的工作通道和抽吸通道。主体281可以由各种柔性材料制成。设备180可以包括沿着或者接近设备尖端290放置的加速度计185,其包括嵌入在设备壁中或者连接到设备外部的加速度计185。设备180还可以包括摄像机或者成像设备295以及光源297。光源297可以具有自包含的电源并且/或者可以诸如通过使用线186(在图1中)连接到外部电源。在一个实施例中,为了调整所发射光的级别或者在光源上施加的其它控制,可以将光源297可操作连接到处理器120。在另一个实施例中,可以通过光纤从外部光发生设备给外科设备180的尖端提供光。
摄像机295可以可操作连接到处理器120,处理器120从其接收成像数据。可操作耦合可以通过诸如线186的硬连线,并且/或者可以是摄像机295和处理器120之间的无线链路。在一个实施例中,成像数据可以是通过摄像机295获取并且直接发送到处理器120的原始数据。在另一个实施例中,摄像机295可以在将成像传输到处理器120之前将原始数据转化成视频信息。处理器120可以将成像数据实时呈现为视频,使得临床医师可以看见外科设备180途经的路径。
另外参考图4和图5,为了到达肿瘤或者其它目标面积或区域430,外科设备180可以经过气管410并且经过支气管420向下行进。如在图5中所示,支气管的分叉的结构需要临床医师在过程期间移动外科设备180时在不同路径之间做出选择。
当外科设备180不移动时,加速度计185仅测量重力。基于该测量,处理器120可能确定设备180尖端290处的向上方向,并且将其与通过成像模态150所获取的设备图像(例如,CT扫描)相关。由于已知在诸如支气管镜检查的过程期间如何放置患者,所以可能将支气管镜检查图像与CT扫描相关。在给定分叉处,为了到达目标,可能使用加速度数据确定跟随哪个分支。
在一个实施例中,可以借助于处理器120所执行的图像处理对支气管镜检查图像中可见的分叉进行自动检测。还可以进一步检测支气管镜180是移动进入支气管还是移动离开支气管。与来自加速度计185的信息一起,可以使用该组合信息对支气管镜在支气管树中的位置进行检测。来自加速度计185的信息和来自处理器120所执行的图像分析的信息的组合有助于到目标解剖结构的导航。
在另一个实施例中,可以呈现分叉指示符以便指示支气管镜关于目标解剖结构的取向。例如,可以呈现箭头等,其示出关于垂直面哪个方向是向上或者哪个方向是向下。在另一个实施例中,基于CT扫描,可能根据实际支气管镜的位置并且以实际支气管镜的取向描绘计算机产生的视图,这称为“虚拟支气管镜检查”。为了允许用户定向,可以与实际图像并排显示该视图。在另一个实施例中,在通过图像分析确定了视频图像中的分叉之后,可以用诸如十字叉标记所计划的路径。
另外参考图3,示出了另一个外科设备380(例如,支气管镜)。设备380可以包括允许将加速度计385、摄像机395和光源397中的一个或多个放置在设备尖端390处或者附近的额外通道392。可以通过使用硬连线和/或无线链路将这些组件可操作耦合到处理器120。一旦设备380到达其目标,就可以将这些组件中的一个或多个通过通道392移除。例如,在设备380移动期间可以将加速度计385滑动通过通道392并且放置在其中。在一个实施例中,可以与设备180的一个或多个组件一起使用现有支气管镜。例如,可以将加速度计放置在现有工作通道内或者在外侧接附至支气管镜尖端。在另一个实施例中,可以将光学系统和发光组件固定在外科设备180中。一旦到达目标区域,就可以将加速度计385通过通道392滑动返回,使得可以将通道用于诸如抽吸通道或者工作通道的其它目的。在该实施例中,可以因此构成更少通过设备180的通道。
参考图6,示出了对诸如支气管镜的外科设备进行跟踪的方法600。在步骤602中,获得诸如支气管的目标区域的图像(例如,CT图像)。图像可以是手术前图像以及/或者手术中图像。在步骤604中,可以移动支气管镜通过支气管,其中,临床医师从放置于支气管镜中的摄像机获取到的实时视频正在观察在该支气管处。在步骤606中,确定是否已到达目标。在步骤608中,临床医师可能遇到路径中的分叉。在步骤610中,可以使用从加速度计所接收的取向数据确定继续沿其前进的正确路径。在步骤612中,可以重复这些步骤直到到达目标为止。可以诸如通过使用加速度数据对图像进行调整,使得在其中示出支气管镜的位置和/或支气管镜的取向。
系统100允许将来自加速度计185的数据传输到处理器120。在一个实施例中,可以沿着光导束发送该数据,可以使用该光导束用于可操作耦合到支气管镜的光学摄像机。处理器120可以从加速度计接收取向数据,并且从视频处理器接收支气管镜图像用于分析。处理器120可以分析并且跟踪当前被看见的支气管树的分叉。在一个实施例中,为了接收介入前CT扫描和对应的路径规划数据,还可以将处理器120连接到设施网络。可以将处理器120所计算的方向信息传输给视频处理器,在视频处理器处,将其与原始支气管镜图像数据相结合,并且随后呈现在监视器130上。
另外参考图7,描绘了设备180和工作站或基站119之间的信号流。信号流可以包括从加速度计180到处理器120的加速度数据750;从摄像机295到视频处理器721的支气管镜成像(例如,实时视频)725;以及从光源797到光297(连接到支气管镜)的光775。
在一个实施例中,可以对在显示器130上呈现的支气管镜图像进行自动旋转,以便基于来自加速度计的取向数据描绘向上方向。在另一个实施例中,可以使用图像处理方法确定支气管镜是移动进入支气管还是离开支气管。在又一个实施例中,可以利用其它类型的取向传感器获取取向数据。例如,可以使用磁力计基于外部磁场(包括地球磁场和/或人造场)确定与支气管镜尖端关联的方向和分叉的路径。可以使用系统100用于支气管镜导航,特别是经支气管的肺部活检。还可以在诸如结肠镜检查的其它应用中使用系统100。
在一个实施例中,可以在假定患者处于已知位置和取向以开始支气管镜导航的情况下,执行方向校准(所假定患者位置的迭代细化)。这样,手术前CT数据集因此朝向由加速度计所测得的方向。在第一个分叉处,在图像分析的帮助下确定进入两个分叉的支气管的方向。基于加速度计测量将这些方向与期望方向和所假定的患者取向进行比较,并且计算出取向的偏差。通过该偏差对所假定的患者取向进行校正,并且对下一个分叉使用对患者取向的更好的假定。可以在下一个分叉处重复该过程。
可以在支气管镜检查之前获得肺部的手术前CT。可以如下对该CT扫描进行分析:在CT图像中,可以确定诸如肺结节或者肿瘤的感兴趣病变的位置。这通过在正确的切片中点击正确的位置手工完成。可以在合适的图像处理方法的帮助下从CT图像中提取(分割)出支气管树。可以规划从气管进入支气管树到达病变的路径。这可以手工完成,但是自动方法也是可能的。可以对沿着路径的分叉进行检测。如在上述评论中所述,采用该规划步骤,有足够的信息可用于手术中导航。
在支气管并且因此还有支气管镜尖端点直接向下或者直接向上的情况下,可能不存在来自加速度计的可用方向信息。在该情况下,对患者重新定位以使支气管镜尖端指向具有水平分量的方向是有帮助的。可替换地,可以通过对磁场的方向进行测量的磁力计支持加速度计。除了在磁极处之外,这与重力场不是共线的。
可以以硬件、软件或者硬件和软件的组合来实现包括上述方法步骤的本发明。可以在一个计算机系统中以集中方式,或者以分布在若干个互连计算机系统上的不同元件的分布式方式实现本发明。任何类型的计算机系统或者适于执行这里所描述的方法的其它装置是合适的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统,当加载和执行该计算机程序时,其控制计算机系统使得它执行这里所描述的方法。
可以将包括上述方法步骤的本发明嵌入在计算机程序产品中。计算机程序产品可以包括在其中嵌入计算机程序的计算机可读存储介质,该计算机程序包括用于指示计算设备或者基于计算机的系统执行这里所描述的各个过程、流程和方法的计算机可执行代码。本上下文中的计算机程序意味着以任何语言、代码或者符号的指令集形式的任何表达,其旨在使系统具有在紧接着下列操作之一或二者或者在这些操作之一或二者之后执行特定功能的信息处理能力:a)转换到另一种语言、代码或者符号;b)在不同材料形式中再现。
对这里所描述实施例的图示说明旨在提供对各个实施例结构的一般理解,并且它们不旨在作为对可能利用这里所描述的结构的装置和系统的所有要素和特征的完整说明。一旦查看了上述说明,许多其它实施例对于本领域的技术人员将是显而易见的。可以利用并且从其得到其它实施例,使得可以不脱离本公开的范围进行结构和逻辑替换和改变。图也仅仅是代表性的,并且可以不按比例绘制。可以夸大其某些部分,同时可以最小化其它部分。因此,将说明书和附图视为说明性的而不是具有限制意义的。
因此,虽然在这里对特定实施例进行了说明和描述,但是应该意识到,所计算的实现相同目的的任何布置可以代替所示的特定实施例。本公开旨在覆盖各个实施例的任何以及所有改变或者变化。一旦查看了上述说明,上述实施例的组合以及没有在这里专门描述的其它实施例对于本领域的技术人员将是显而易见的。因此,并不旨在将本公开限制于所公开的、作为预期用于实现本发明的最佳模式的特定实施例,而是本发明将包括落入所附权利要求范围内的所述实施例。
提供本公开的摘要以符合美国37C.F.R.§1.72(b)条款,该条款要求摘要以允许读者快速确定技术公开的本质。基于这样的理解提交该摘要,即,将不使用它解释或者限制权利要求的范围或者意义。

Claims (20)

1.一种在医疗过程中进行跟踪的方法,所述方法包括::
从整体连接到医疗设备(180)的加速度计(185)接收加速度数据(750),在远程处理器(120)处对所述加速度数据进行接收,将所述医疗设备通过患者的解剖结构(105)朝向目标区域(430)移动;以及
基于所述加速度数据确定所述医疗设备相对于所述解剖结构的取向。
2.如权利要求1所述的方法,还包括:
获得所述解剖结构的图像;
利用所述图像校准所述取向;
在所述解剖结构的第一分叉处,使用所述图像确定进入分叉的支气管的方向;并且
基于所确定的取向将所确定的方向与预期方向进行比较。
3.如权利要求1所述的方法,还包括使用所述医疗设备(180)获取所述解剖结构的实时图像,并且将所获取的图像显示在与所述处理器(120)可操作耦合的显示设备(130)上。
4.如权利要求3所述的方法,还包括将取向指示符与所述解剖结构(105)的所获取的实时图像叠加,其中,所述取向指示符代表所述医疗设备(180)相对于所述解剖结构的所述取向。
5.如权利要求1所述的方法,还包括:
使用所述医疗设备(180)获取所述解剖结构(105)的实时图像;
将所获取的图像显示在与所述处理器(120)可操作耦合的显示设备(130)上;并且
将所述取向呈现在所述显示设备上,其中,通过在所述显示设备上旋转所获取的图像来呈现所述取向。
6.如权利要求1所述的方法,还包括将所述取向呈现在与所述处理器(120)可操作耦合的显示设备(130)上。
7.如权利要求1所述的方法,还包括使用所述患者的图像检测所述解剖结构中的分叉。
8.如权利要求7所述的方法,其中,使用计算机断层摄影、磁共振成像和超声成像中的至少一种获得所述患者的所述图像。
9.如权利要求7所述的方法,还包括将所述医疗设备(180)的当前位置叠加在所述患者的所述图像上。
10.如权利要求1所述的方法,还包括:
获得所述解剖结构的图像;
通过选择所述图像的对应切片确定所述图像中的目标区域;
使用图像处理对所述图像的一部分进行分割;并且
规划从气管进入支气管树到达所述目标区域的路径。
11.一种计算机可读存储介质,其中存储有计算机可执行代码,所述计算机可执行代码配置用于使在其中提供了所述计算机可读存储介质的计算设备执行下列操作:
从整体连接到医疗设备(180)的取向传感器(185)接收取向数据(750),在远程处理器(120)处对所述取向数据进行接收,将所述医疗设备通过患者的解剖结构(105)朝向目标区域(430)移动;
基于所述位置数据确定所述医疗设备相对于所述解剖结构的取向;
使用所述医疗设备获取所述解剖结构的实时图像;以及
将所获取的图像和所述医疗设备相对于所述解剖结构的所述取向呈现在可操作耦合到所述处理器的显示设备(130)上。
12.如权利要求11所述的计算机可读存储介质,其中,所述取向传感器(185)是加速度计和磁力计之一,并且其中,所述取向数据是加速度数据。
13.如权利要求11所述的计算机可读存储介质,还包括:
用于使所述计算设备将取向指示符与所述解剖结构(105)的所获取的实时图像叠加的计算机可执行代码,其中,所述取向指示符代表所述医疗设备(180)相对于所述解剖结构的所述取向。
14.如权利要求11所述的计算机可读存储介质,还包括:
用于使所述计算设备使用所述患者的图像检测所述解剖结构中的分叉的计算机可执行代码。
15.如权利要求15所述的计算机可读存储介质,还包括:
用于使所述计算设备将所述医疗设备(180)的当前位置叠加在所述患者的所述图像上的计算机可执行代码。
16.一种内窥镜,包括:
主体(281),其具有远端(290)和在所述主体中形成的至少一个通道(292),所述主体适于通过解剖结构(105)插入、到达目标区域(430);
连接到所述主体并且接近所述远端放置的加速度计(185);
与所述主体可操作耦合的成像设备(295);以及
与所述主体可操作耦合的光源(297),
其中,所述加速度计与远程处理器(120)进行通信以便向其发送加速度数据,其中,所述成像设备与所述远程处理器进行通信以便向其发送实时图像,并且其中,通过所述处理器基于所述加速度数据确定所述医疗设备相对于所述解剖结构的取向。
17.如权利要求16所述的内窥镜,其中,将成像设备(295)和所述光源(295)接近所述主体(281)的所述远端(290)放置。
18.如权利要求16所述的内窥镜,其中,所述至少一个通道(292)是第一通道和第二通道,所述第一通道适于提供对所述目标区域的抽吸,所述第二通道适于使外科设备经其而通过。
19.如权利要求16所述的内窥镜,其中,所述加速度计(185)通过无线链路与所述远程处理器(120)进行通信。
20.如权利要求16所述的内窥镜,其中,所述成像设备(295)通过无线链路与所述远程处理器(120)进行通信。
CN201080029453.7A 2009-06-29 2010-05-17 用于在医疗过程中进行跟踪的方法和装置 Expired - Fee Related CN102470014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22113809P 2009-06-29 2009-06-29
US61/221,138 2009-06-29
PCT/IB2010/052176 WO2011001301A1 (en) 2009-06-29 2010-05-17 Method and apparatus for tracking in a medical procedure

Publications (2)

Publication Number Publication Date
CN102470014A true CN102470014A (zh) 2012-05-23
CN102470014B CN102470014B (zh) 2016-07-20

Family

ID=42668331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080029453.7A Expired - Fee Related CN102470014B (zh) 2009-06-29 2010-05-17 用于在医疗过程中进行跟踪的方法和装置

Country Status (6)

Country Link
US (2) US20120089014A1 (zh)
EP (1) EP2448512B1 (zh)
JP (1) JP6200152B2 (zh)
CN (1) CN102470014B (zh)
RU (1) RU2544807C2 (zh)
WO (1) WO2011001301A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105358086A (zh) * 2013-07-01 2016-02-24 先进截骨工具-Aot股份公司 切割人或动物骨组织和设计这种切割
CN105377173A (zh) * 2013-07-01 2016-03-02 先进截骨工具-Aot股份公司 计算机辅助的外科手术设备和切割组织的方法
CN106572827A (zh) * 2014-07-02 2017-04-19 柯惠有限合伙公司 智能显示器
CN106687063A (zh) * 2014-08-13 2017-05-17 株式会社高永科技 跟踪系统及利用其的跟踪方法
CN107205780A (zh) * 2015-02-13 2017-09-26 圣犹达医疗用品国际控股有限公司 基于跟踪的3d模型增强
CN108836335A (zh) * 2017-04-24 2018-11-20 韦伯斯特生物官能(以色列)有限公司 用于确定无线工具的磁性位置的系统和方法
CN108877913A (zh) * 2013-03-15 2018-11-23 柯惠有限合伙公司 路径规划系统和方法
CN110123453A (zh) * 2019-05-31 2019-08-16 东北大学 一种基于无标记增强现实的手术导航系统
CN110537982A (zh) * 2019-09-25 2019-12-06 重庆博仕康科技有限公司 软硬镜手术导航系统
CN111374762A (zh) * 2018-12-31 2020-07-07 通用电气公司 用于通过远程处理进行介入放射治疗的系统和方法
CN111432744A (zh) * 2017-09-21 2020-07-17 德普伊新特斯产品公司 安装显示器系统的外科器械
CN111820955B (zh) * 2020-07-27 2021-09-10 南方科技大学 一种便携式咽拭子采集智能装置
US11200983B2 (en) 2013-03-15 2021-12-14 Covidien Lp Pathway planning system and method
CN115145453A (zh) * 2022-09-02 2022-10-04 北京唯迈医疗设备有限公司 调整医学图像的显示视角的方法、系统及存储介质
CN115414120A (zh) * 2022-11-07 2022-12-02 中南大学 一种内镜导航系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10143373B2 (en) 2011-02-17 2018-12-04 Tyto Care Ltd. System and method for performing an automatic and remote trained personnel guided medical examination
WO2012111013A1 (en) 2011-02-17 2012-08-23 Eon Medical Ltd. System and method for performing an automatic and remote trained personnel guided medical examination
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US20140375784A1 (en) * 2013-06-21 2014-12-25 Omnivision Technologies, Inc. Image Sensor With Integrated Orientation Indicator
WO2016064870A1 (en) * 2014-10-20 2016-04-28 Ohio State Innovation Foundation Intubation with audiovibratory guidance
US10470724B2 (en) * 2015-04-13 2019-11-12 Precisionrad Llc Laser and accelerometer guided medical device
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
US11830274B2 (en) * 2019-01-11 2023-11-28 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
US11684251B2 (en) * 2019-03-01 2023-06-27 Covidien Ag Multifunctional visualization instrument with orientation control
US11980573B2 (en) 2019-12-05 2024-05-14 Johnson & Johnson Surgical Vision, Inc. Eye examination apparatus
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
US20220202286A1 (en) * 2020-12-28 2022-06-30 Johnson & Johnson Surgical Vision, Inc. Highly bendable camera for eye surgery
WO2022159726A1 (en) * 2021-01-25 2022-07-28 Smith & Nephew, Inc. Systems for fusing arthroscopic video data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233820B2 (en) * 2002-04-17 2007-06-19 Superdimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US20070270686A1 (en) * 2006-05-03 2007-11-22 Ritter Rogers C Apparatus and methods for using inertial sensing to navigate a medical device
US20080292046A1 (en) * 2007-05-09 2008-11-27 Estelle Camus Bronchopulmonary medical services system and imaging method
DE102007059599A1 (de) * 2007-12-11 2009-06-18 Siemens Ag Vorrichtung für eine medizinische Intervention, medizinisches Instrument und Betriebsverfahren für eine Vorrichtung für eine medizinische Intervention

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913820A (en) 1992-08-14 1999-06-22 British Telecommunications Public Limited Company Position location system
JP4624575B2 (ja) * 2001-02-16 2011-02-02 オリンパス株式会社 内視鏡システム
JP4776793B2 (ja) * 2001-03-08 2011-09-21 オリンパス株式会社 内視鏡装置
EP1466552B1 (en) * 2002-07-31 2007-01-03 Olympus Corporation Endoscope
WO2005110202A1 (ja) * 2004-05-14 2005-11-24 Olympus Medical Systems Corp. 電子内視鏡
IL170404A (en) * 2004-08-26 2012-03-29 C2Cure Inc Wireless determination of endoscope orientation
JP4695420B2 (ja) * 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP4812418B2 (ja) * 2005-12-06 2011-11-09 オリンパス株式会社 内視鏡装置
JP2007319622A (ja) * 2006-06-05 2007-12-13 Olympus Corp 内視鏡装置
US20080146941A1 (en) * 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking for Intracardiac Catheters
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
JP4922107B2 (ja) * 2007-09-03 2012-04-25 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US20120095330A1 (en) 2009-06-29 2012-04-19 Koninklijke Philips Electronics N.V. Method and system for position determination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233820B2 (en) * 2002-04-17 2007-06-19 Superdimension Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US20070270686A1 (en) * 2006-05-03 2007-11-22 Ritter Rogers C Apparatus and methods for using inertial sensing to navigate a medical device
US20080292046A1 (en) * 2007-05-09 2008-11-27 Estelle Camus Bronchopulmonary medical services system and imaging method
DE102007059599A1 (de) * 2007-12-11 2009-06-18 Siemens Ag Vorrichtung für eine medizinische Intervention, medizinisches Instrument und Betriebsverfahren für eine Vorrichtung für eine medizinische Intervention

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200983B2 (en) 2013-03-15 2021-12-14 Covidien Lp Pathway planning system and method
US11804308B2 (en) 2013-03-15 2023-10-31 Covidien Lp Pathway planning system and method
CN108877913A (zh) * 2013-03-15 2018-11-23 柯惠有限合伙公司 路径规划系统和方法
CN105358086A (zh) * 2013-07-01 2016-02-24 先进截骨工具-Aot股份公司 切割人或动物骨组织和设计这种切割
CN105377173A (zh) * 2013-07-01 2016-03-02 先进截骨工具-Aot股份公司 计算机辅助的外科手术设备和切割组织的方法
CN105377173B (zh) * 2013-07-01 2019-05-28 先进截骨工具 -Aot股份公司 计算机辅助的外科手术设备和切割组织的方法
CN105358086B (zh) * 2013-07-01 2019-11-26 先进截骨工具-Aot股份公司 切割人或动物骨组织和设计这种切割
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
CN106572827A (zh) * 2014-07-02 2017-04-19 柯惠有限合伙公司 智能显示器
US11793389B2 (en) 2014-07-02 2023-10-24 Covidien Lp Intelligent display
US11730547B2 (en) 2014-08-13 2023-08-22 Koh Young Technology Inc. Tracking system and tracking method using same
US10799299B2 (en) 2014-08-13 2020-10-13 Koh Young Technology Inc. Tracking system and tracking method using same
CN106687063A (zh) * 2014-08-13 2017-05-17 株式会社高永科技 跟踪系统及利用其的跟踪方法
CN107205780A (zh) * 2015-02-13 2017-09-26 圣犹达医疗用品国际控股有限公司 基于跟踪的3d模型增强
CN107205780B (zh) * 2015-02-13 2020-09-29 圣犹达医疗用品国际控股有限公司 基于跟踪的3d模型增强
CN108836335B (zh) * 2017-04-24 2022-09-27 韦伯斯特生物官能(以色列)有限公司 用于确定无线工具的磁性位置的系统和方法
CN108836335A (zh) * 2017-04-24 2018-11-20 韦伯斯特生物官能(以色列)有限公司 用于确定无线工具的磁性位置的系统和方法
CN111432744A (zh) * 2017-09-21 2020-07-17 德普伊新特斯产品公司 安装显示器系统的外科器械
CN111374762B (zh) * 2018-12-31 2023-11-21 通用电气公司 用于通过远程处理进行介入放射治疗的系统和方法
CN111374762A (zh) * 2018-12-31 2020-07-07 通用电气公司 用于通过远程处理进行介入放射治疗的系统和方法
CN110123453B (zh) * 2019-05-31 2021-07-23 东北大学 一种基于无标记增强现实的手术导航系统
CN110123453A (zh) * 2019-05-31 2019-08-16 东北大学 一种基于无标记增强现实的手术导航系统
CN110537982A (zh) * 2019-09-25 2019-12-06 重庆博仕康科技有限公司 软硬镜手术导航系统
CN111820955B (zh) * 2020-07-27 2021-09-10 南方科技大学 一种便携式咽拭子采集智能装置
CN115145453A (zh) * 2022-09-02 2022-10-04 北京唯迈医疗设备有限公司 调整医学图像的显示视角的方法、系统及存储介质
CN115145453B (zh) * 2022-09-02 2022-12-16 北京唯迈医疗设备有限公司 调整医学图像的显示视角的方法、系统及存储介质
CN115414120A (zh) * 2022-11-07 2022-12-02 中南大学 一种内镜导航系统

Also Published As

Publication number Publication date
US20120089014A1 (en) 2012-04-12
RU2012103004A (ru) 2013-08-10
US10765308B2 (en) 2020-09-08
EP2448512B1 (en) 2021-10-27
US20170020376A1 (en) 2017-01-26
RU2544807C2 (ru) 2015-03-20
JP6200152B2 (ja) 2017-09-20
JP2012531932A (ja) 2012-12-13
EP2448512A1 (en) 2012-05-09
WO2011001301A1 (en) 2011-01-06
CN102470014B (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN102470014A (zh) 用于在医疗过程中进行跟踪的方法和装置
US20230190244A1 (en) Biopsy apparatus and system
CN204636425U (zh) 用于执行外科手术的系统和活检工具
US6167292A (en) Registering method and apparatus for robotic surgery, and a registering device constituting an application thereof
CN109276249B (zh) 医疗装置、获得位置和/或方向信息的方法及磁化设备
US7585273B2 (en) Wireless determination of endoscope orientation
EP3801189A1 (en) Path-based navigation of tubular networks
EP2430979B1 (en) Biopsy support system
JP4709946B2 (ja) 医療機器システムおよび医療器具のキャリブレーション方法
KR20190132691A (ko) 환자 삽입기(Introducer) 정렬
CN108430373A (zh) 用于在患者体内跟踪内窥镜的位置的装置和方法
US20090082665A1 (en) System and method for tracking medical device
CN110123450A (zh) 用于荧光镜图像中的导管检测和更新导管的显示位置的系统和方法
US10524812B2 (en) Method and apparatus for locating and visualizing a target in relation to a focal point of a treatment system
JP2005522274A (ja) 内視鏡構造と分岐構造内の標的にナビゲートするための技術
CN111803216B (zh) 一种支气管手术机器人及支气管手术系统
JPH11318937A (ja) 患者の頭部に固定された基準ユニットを用いた医学的応用に使用される位置追跡及び画像生成システム
CN114630618A (zh) 用于认证三维物体的方法及装置
US20110098532A1 (en) Method for positioning an endoscopy capsule that can be magnetically navigated using a solenoid system
CN107468336A (zh) 具有偏离光源的荧光镜引导系统及其使用方法
CN105208931A (zh) 用于处理活检样本的系统和方法
US20180014889A1 (en) Medical system, apparatus and method for shape sensing
Duan Magnetic tracking and positioning in endoscopy
CN117679088A (zh) 柔性系统中的器械存在和旋转偏移感测
JP2022505955A (ja) 画像装置のための空間的位置合わせ方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160720

CF01 Termination of patent right due to non-payment of annual fee