CN102264312B - 用于在微创手术中减少组织损伤的路径规划 - Google Patents

用于在微创手术中减少组织损伤的路径规划 Download PDF

Info

Publication number
CN102264312B
CN102264312B CN200980152965.XA CN200980152965A CN102264312B CN 102264312 B CN102264312 B CN 102264312B CN 200980152965 A CN200980152965 A CN 200980152965A CN 102264312 B CN102264312 B CN 102264312B
Authority
CN
China
Prior art keywords
node
configuration
cost
space
assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980152965.XA
Other languages
English (en)
Other versions
CN102264312A (zh
Inventor
K·I·特罗瓦托
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102264312A publication Critical patent/CN102264312A/zh
Application granted granted Critical
Publication of CN102264312B publication Critical patent/CN102264312B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3417—Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421—Cannulas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003—Steerable
    • A61B2017/00318—Steering mechanisms
    • A61B2017/00331—Steering mechanisms with preformed bends
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种用于根据手术应用规划路径的方法，该方法整合了表示解剖区域(100)的离散配置空间的配置空间节点结构的结构损伤评估技术(112)和/或几何扩展技术(113)。所述结构损伤评估技术(112)包括生成结构损伤评估，该结构损伤评估指示对所述解剖区域(100)中的一个或多个关键解剖区的潜在损伤的评估。所述几何扩展技术(113)包括扩增所述配置空间节点结构，所述靶标节点的几何扩展包括与作为替代种子节点的靶标节点几何相邻的一个或多个自由空间配置节点。

Description

用于在微创手术中减少组织损伤的路径规划
技术领域
本发明涉及一种用于计算路径从而使微创装置到达靶标的同时避开关键(critical)结构并使对结构的损伤最小化的系统和方法。这一路径可以用于控制装置(例如，气管镜或斜面针)，或者可以用于构造装置(例如，嵌套插管)。
背景技术
这样的路径规划应用可以使用Karen I.Trovato，A*Planning in DiscreteConfiguration Spaces of Autonomous System，Amsterdam大学，1996提出的架构执行。
具体而言，路径规划应用必须由一组关键参数表征。每个参数具有一个或多个有效参数值范围，该有效参数值被离散化以便于计算机计算。所有可能参数范围的组合被称为配置空间，并且该配置空间的每种状态为这些参数中的每个提供唯一的设置。由于配置空间是离散空间，配置空间中的每种状态都可以视为N-维图表(通常N＝2或3，但有时更高)中的‘节点’。在此‘状态’和‘节点’可以替换使用。
邻域(neighborhood)包含基于系统或装置的核心能力的一组潜在的变换(transitions)，其通常在特定的范围内。从配置空间中的一种状态到另一‘邻域’状态的变换可以由事件或物理运动引起。‘邻域’还可以基于物理或‘游戏规则’确定。因此，邻域可以包括空棋盘上马移动一步内的所有位置。
针对每次变换分配用于在‘源(home)’状态和邻域状态之间转变所强加的代价(cost)。因此，在配置空间中的各状态与其之间的邻域变换的组合可以被设想为这样的图表，该图表以状态作为节点，并且以变换作为经代价加权的定向边缘。
对于许多路径规划应用而言，常常由于机械限制、与障碍的相互作用或强加的规则，存在限定非法状态的约束。因此，在配置空间中存在各节点中可识别的(一处或多处)禁止区域。这能够通过多种方式实现。例如，可以移除进入禁止配置节点的变换，其指示非法移动。备选地，节点可以被标记为非法的，或者进入该节点的变换可能具有无穷大的(infinite)(无法达到的高)代价，由∞表示。每种技术都令路径避开障碍。
非法状态还具有下游效应。例如，汽车运动的邻域可能是向前行进的四分之一转中的弧。如果沿该曲线的状态被拐角(障碍)阻碍，那么不仅禁止进入拐角的变换，而且还禁止超出该拐角的变换。
可以将‘目标’(或靶标)位置映射到离散配置空间中的一个或多个等价‘目标’节点。由于表达系统的参数的公式可能具有多于一个描述该系统‘目标’的解，可能存在多个“目标”节点。例如，你的手臂的左手和右手配置二者都能够到达相同的位置。系统‘开始’简单地转换到特定的开始节点，该开始节点常常是系统或装置的当前状态(即，情形)。
找出从当前系统节点(开始)导向预期的‘目标’的最期望的事件序列类似于找出从当前节点到‘目标’节点的变换的最优路径，该最优路径在避开所有非法节点的同时引起最小的代价。它还告诉我们，可以根据开始到目标或者可以根据从目标到开始计算出所述路径。在这两种情况下，变换的连接形成所得到的路径。路径规划常常具有成功标准，有时称为空间变量度量、代价度量或目标函数(例如，最快、最短、最便宜，等等)。因此可以通过使用配置空间节点、变换的邻域、代价、禁止区域和‘目标’规划路径，以及通过限定或设置‘开始节点’找出期望的事件序列。诸如A*的图表搜索方法提供了有效的机制以确定最优路径。
发明内容
正如本文将进一步解释的，本发明提供了结构损伤量化度量(测量)以及目标节点几何扩展，其扩充了对Trovato提出的主题架构的利用。例如，能够基于针对装置的最优路径计算运动学上可行的一组嵌套插管，该最优路径使在微创手术期间对关键结构的损伤最小化。
本发明的一种形式是结构损伤评估方法。该方法包括在数据存储介质中构造配置空间结构，该配置空间结构表示身体的解剖区域的离散配置空间，其包括自由空间配置节点和禁止配置节点。该方法还包括针对每个自由空间配置节点生成结构损伤评估，该结构损伤评估指示对解剖区域的一个或多个解剖区的潜在损伤的损伤评估，该解剖区域由具有无穷大的结构评估代价的(一个或多个)禁止配置节点表示。
在本发明的第二种形式中，几何扩展技术方法。具体而言，该方法包括扩增如在数据存储介质中构造的配置空间节点结构，并以参数值量化配置空间节点结构中的每个节点，其中，扩增配置空间节点结构包括对靶标节点的几何扩展，该靶标节点包含一个或多个与作为(一个或多个)替代(surrogate)种子节点的靶标节点几何相邻的自由空间配置节点。
附图说明
结合对本发明各种实施例的详细描述和附图，本发明的前述形式和其他的形式以及本发明的各种特征和优点将变得显而易见。详细描述和附图仅用于说明本发明，而非限制由权利要求和其等价物限定的本发明的范围。
图1图示说明了本领域中已知的脑的示范性布罗德曼(Brodmann)区。
图2图示说明了本领域中已知的嵌套插管的示范性非完整邻域。
图3图示说明了根据本发明的关键结构损伤评估技术和靶标节点几何扩展技术的框图。
图4图示说明了根据本发明的表示路径规划方法的流程图。
图5图示说明了本领域中已知的示范性脑血管和脑室。
图6图示说明了根据本发明对脑中关键结构的示范性检测。
图7图示说明了根据本发明的表示加权计算方法的流程图。
图8图示说明了根据本发明的示范性的加权标尺(scale)。
图9图示说明了根据本发明的示范性的障碍图。
图10图示说明了根据本发明的示范性的扩大的障碍图。
图11图示说明了根据本发明的示范性的障碍距离图。
图12图示说明了根据本发明的示范性的经验性加权图。
图13图示说明了根据本发明的示范性的结构损伤评估图。
图14图示说明了根据本发明的表示靶标节点几何扩展的流程图。
图15图示说明了根据本发明的靶标节点的示范性的二维几何扩展。
图16图示说明了根据本发明的表示利用状态参数确定从‘种子’节点到‘目标’的最优路径的A*算法的流程图。
图17图示说明了本领域中已知的用于脑活检的示范性的‘安全’的进入点集。
图18图示说明了根据本发明的系统的框图。
具体实施方式
本发明以三个(3)主要发明原理为前提。
首先，用于涉及微创手术的路径规划应用的离散配置空间可以通过创建‘结构损伤评估’得以加强，‘结构损伤评估’提供代价估计或通过贯穿特定解剖区(例如，解剖区域内的关键解剖结构和进入解剖区域内的脆弱的进入点)产生的损失。这可以存储在配置空间本身中，或者优选被存储在分立的结构中或作为函数存储。结构损伤评估将有利于在解剖区域内的路径规划，所述路径规划使总损伤最小化。
例如，由于涉及到脑手术，不希望沿颅骨(例如，太阳穴)穿过脆弱的进入点，因为这一路径将需要后续的重构手术。此外，对脑关键结构(例如，血管、脑室、脑下垂体、脑桥以及视神经)的任何损伤都可能意味着失去生命或关键的生活机能。即使它们是非常小的区，也可能有相当高的代价。利用结构损伤评估通过最小化，如果不是防止，对关键结构和脆弱的进入点的任何损伤来辅助微创手术规划。正如将进一步解释的，对于A*算法，结构损伤评估值可以与代价度量和启发式(heuristic)参数值结合使用，从而通过避开障碍的离散配置空间进行搜索，并且同时保持与这样的障碍的安全距离。
第二，优选可以高亮显示进入点或区，给出靶标和结构损伤评估，诸如，例如，图1中所示的脑图100的布罗德曼区。在类似针对脑规划的情况下，其中，头颅钻孔可以在诸多位置中的任一处进行，基于靶标识别合适的开始位置至关重要，使得其使总损伤最小化，并且可以利用现有工具实现。
第三，已经针对装置限定了先前的路径规划应用，所述装置包括嵌套插管、可操纵针和气管镜。嵌套插管连续延伸，从最大的到最小的，并在不同方向上弯曲以到达解剖结构深处。配置这些装置的方法在Karen I.Trovato的题为“Active Cannula Configuration for Minimally InvasiveSurgery”的国际公开WO 2008/032230中有所描述。由于嵌套插管沿其长度不具有机械化的关节(joint)，也没有用于控制的“木偶牵线”，所以它们可以做成非常小，这对于脑应用以及许多其他微创手术都是有用的。诸如气管镜和斜面针的其他装置的操纵在Karen I.Trovato等人的题为“3DTool Path Planning,Simulation and Control System”的国际公开WO2007/042986中有所描述。对于一些装置和应用，可能不能够容易地识别或选取靶标的接近取向。
常见的问题是如何在无需繁琐的手动录入的情况下针对靶标，例如肿瘤的中心，创建多个接近取向，同时保持针对6D规划的3D配置空间。在简单的范例中，可以通过从邻近的邻域到种子节点的方向形成所述接近取向。因此，搜索方向被设置为相反的方向(从种子到邻近的邻域)。这一‘几何扩展’在涵盖所有周围方向的同时，提供了简单的、可实现的各种取向。如果这些邻域在可接受的精度内以表示靶标，只要它们不处在禁止的或无穷大代价的位置中，它们都可以用作替代‘种子’，其具有零代价和限定的取向以初始化A*搜索。明显地，可以使用许多形状和尺寸的几何邻域，不仅仅是紧密相邻的那些邻域，然而，它们必须限定可行的最终运动或动作。最后，用于设置替代种子的取向的几何邻域不一定与A*搜索期间使用的邻域匹配。
例如，图2图示说明了各弧的非完整邻域101，其可以用于计算一系列嵌套插管以到达如本领域中已知的身体解剖区域内的靶标位置。邻域101的搜索通常在基于通向单一靶标节点的单一取向的A*算法中扩展。然而，本发明的几何扩展将有利于在基于单一靶标节点周围的多个取向的A*算法中搜索邻域。结果可以是通过解剖区域在靶标节点和最优的准许进入点之间穿行的曲线路径。本领域技术人员应当认识到，这一几何扩展结合上述结构损伤评估实现了针对装置(例如，气管镜或斜面针)生成运动学上可行的路径，以及构造运动学上可行的嵌套插管，其使得在微创手术期间对敏感结构或脆弱的进入点的损伤最小化。
本领域技术人员应当理解，提供图3-18的以下描述的目的是总体以具体但易懂的范例图示说明本发明的上述发明原理，而非限制这样的发明原理的实践。具体而言，可以从本文对发明原理的描述中省略已知功能和操作的不必要细节，以免使本发明变得晦涩。然而，本领域技术人员应当理解如何将本发明的发明原理实践到任何类型的路径规划应用中(即，手术工具路径规划、血管路径规划、经济的系统路径规划，等等)，并且将进一步理解有许多变型落在本发明的精神和权利要求的范围内。
图3图示说明了设置阶段110和路径规划阶段111，其用于任何类型的路径规划应用，尤其是用于在微创手术期间针对患者体内的器械规划手术路径，或者用于规划嵌套插管的构造。一般而言，设置阶段110至少可以包括(1)构造表示离散配置空间的配置空间节点结构，所述离散配置空间包括以一个或多个参数表征的多种状态(节点)，(2)识别包含所有被允许动作的邻域，所述动作引起离散配置空间中各状态(节点)之间的转变或变换，以及(3)度量的公式化，其表示从一种状态到由‘邻域’限定的相邻状态的变换的代价。此外，一般而言，路径规划阶段111至少可以包括(1)识别或限定离散配置空间中的种子节点，以及(2)利用所述种子节点基于度量发起代价波通过配置空间节点结构的传播，以找到开始节点和目标节点之间最期望的事件序列。
本发明介绍了一种结构损伤评估技术112和几何扩展技术113，两者可以独立地或共同地整合到路径规划应用的设置阶段110和路径规划阶段111中。一般而言，配置空间节点结构包括多个节点，其中每个节点处于由(一个或多个)参数表征的离散配置空间中的不同离散方向上，并且技术112实现了使用结构损伤评估值明确量化对身体的解剖区域的解剖结构的潜在损伤的损伤评估，而技术113实现了在通过离散配置空间的自由空间执行搜索期间使用作为替代种子节点的靶标节点的一个或多个几何相邻的自由空间邻域。
现在将描述图4-18中所示的技术112和113的示范性实施例，目的是便于进一步理解本发明的发明原理，从而使本领域技术人员了解本发明的各种益处。
A.整合结构风险评估和几何扩展的路径规划方法
图4图示说明了表示本发明的路径规划方法的流程图120。这一方法的目的是获取路径规划应用的设置阶段110(图3)期间离散配置空间各状态的实际的一组代价值，以有利于在路径规划应用的路径规划阶段111(图3)期间的最优搜索。随后本文在整合本发明的结构损伤评估技术112和几何扩展技术113的内容中描述这一目的。因此，仅根据需要提供了在阶段110和阶段111期间执行的公知的路径规划过程的描述，以便于理解本发明的技术112和113。
参考图4，设置阶段110包括流程图120的步骤S121和步骤122。
步骤121包含对身体解剖区域内的解剖区的检测，这对于最小化或防止对结构的任何损伤至关重要。这些关键区包括，但不限于，进入解剖区域的脆弱的进入点和解剖区域内的脆弱的结构，其易于受到来自区域中微创手术期间所使用的器械的损伤的影响，所述区域诸如是图5中所示的脑血管/脑室130。在步骤S121的一个实施例中，可以根据基于手动或基于图解集(atlas)的解剖区域的图像实现对关键区的检测。例如，基于手动的检测可以包括计算机断层摄影、磁共振等图像，亦即，根据容易勾出轮廓的数量适中的关键结构手动分割的或利用已知的半自动算法进行分割的图像。
相反地，对于无法根据成像检测的关键区，可以使用分割的患者特异性数据与解剖/功能图解集之间的配准。图6图示说明了脑图像切片的示范性分割和配准。具体而言，在脑手术中，MRI通常用于诊断和规划两者。自动算法或手动分割能够检测主要的组织类型，诸如，例如，白质、灰质、硬膜、血管、脑脊液、颅骨以及皮肤。然而，对于微创路径，在MRI中不可见的其他结构，诸如图1所示的布罗德曼区100，可以用于限定引起功能障碍的结构损伤。为此，对人脑的截面MRI图像140内的可见区的手动或(半)自动分割得到分割的图像141，分割的图像141以可变形的方式配准到人脑的已知详细截面图解集143，以产生标记的图像142。一种这样的已知图解集是Talairach图解集(参见：Lancaster JL,Woldorff MG,Parsons LM,Liotti M,Freitas CS,Rainey L,Kochunov PV,Nickerson D,Mikiten SA,FoxPT的“Autonated Talairach Atlas labels for functional brain mapping”。HumanBrain Mapping 10:120-131，2000)，一组1004种不同的神经标记，标记了脑图解集中的每个像素。如果执行了图解集143和分割的图像141之间的配准，则确立了患者的图像141中的每个体素与图解集模型143中的每个体素之间的变换。因此，基于其神经功能标记患者图像141中的每个元素。在分割过程中标记非神经结构(例如，CSF或血管)。
步骤S122包含针对表示每个自由空间配置节点的结构损伤评估，其表示解剖区域中的非关键区是安全的或是危险的。一般而言，表示解剖区域中检测到的关键区(障碍或脆弱的进入点)的每个禁止配置节点的代价对应于具有无穷大风险代价的关键解剖区。相反地，每个安全的自由空间配置节点的风险代价具有结构损伤的零风险，而每个危险的自由空间配置节点具有结构损伤的估计的风险，该风险的范围是从非零、有限的代价到无穷大的代价。总之，禁止配置节点代价为C＝∞，安全的自由空间配置节点代价为C＝0，而危险的自由空间配置节点代价为C≤∞。
在步骤S122的一个实施例中，与每个自由空间配置节点关联的代价，可以由用户设置，根据禁止配置节点或从单独设置代价和禁止配置节点的组合导出，或者可以例如根据自动的分割过程由计算机程序设置。例如，对于神经外科的应用，联合代价可以通过组合(例如加和或平均)以下内容形成：a)针对附近关键点或区(例如距关键解剖区的距离)的代价和b)非禁止的、风险的代价。
图7图示说明了表示本发明的代价计算方法的流程图150，其将被描述为标记的图像(例如，图6中所示的标记的图像142)的简化的2D范例和图8所示的颜色(colored)编码的代价标尺，该标尺的范围从零白色编码的代价到无穷大黑色编码的代价。流程图150的步骤S151包含生成根据标记图像的禁止配置节点导出的基本障碍图，诸如，例如，图9中所示具有与禁止区关联的无穷大黑色节点的障碍图160。流程图150的步骤S152包含生成根据围绕禁止区确立的安全范围(zone)导出的扩大的障碍图。例如，图10中所示具有与禁止区关联的无穷大黑色编码的安全节点的扩大的障碍图161具有围绕原始禁止配置节点的无穷大代价自由空间配置节点的附加缓冲。原始禁止配置节点周围的白色边沿仅用于帮助从原始禁止配置节点可视化地分离出新扩增的无穷大代价自由空间配置节点。流程图150的步骤S153包含生成根据到最接近的无穷大代价区的距离导出的障碍距离图。例如，图11中所示的障碍距离图162具有有限灰色节点，所述灰色节点的值随着自由空间配置节点与任何缓冲的关键范围的距离的增大而递减。
流程图150的步骤S154包含根据标记的图像和经验数据生成经验数据图，所述经验数据指示每个关键解剖区(障碍和脆弱的进入点)对外部刺激(手术器械/工具)的物理敏感性。例如，图12中所示的经验加权图163具有零或有限灰色的节点，其在由用户或自动分割过程凭经验确定时对应于自由空间配置节点中的每个处的物理敏感性。
流程图150的步骤S155包含组合障碍距离图和经验数据图，其基于匹配节点的组合(例如，总和和/或平均)。例如，在图13中，代价图164具有颜色编码区，其值全部以最大程度避开禁止区的方式根据禁止区和经验数据导出，从而如果不能防止，使对与禁止区关联的解剖结构的任何结构损伤最小化。
本领域技术人员应当认识到，所示的流程图150将有利于得到对禁止点和区的非常高的安全性，下文是对流程图150的备选实施例的描述，其可以在实践中实施。
在流程图150的第一备选实施例中，可以省略扩大障碍绘图步骤S152，如从基本障碍绘图步骤S151指向障碍距离绘图步骤S153的虚线箭头所指示的。
在流程图150的第二备选实施例中，可以省略障碍距离绘图步骤S153，如从扩大障碍绘图步骤S152指向绘图组合步骤S155的虚线箭头所指示的。
在流程图150的第三备选实施例中，扩大障碍绘图步骤S152和障碍距离绘图步骤S153两者都可以省略，如从基本障碍绘图步骤S151指向绘图组合步骤S155的虚线箭头所指示的。
在流程图150的第四备选实施例中，可以省略障碍绘图步骤S151-S153，从而专门利用经验加权的绘图步骤S154进行结构损伤评估代价的计算。
在流程图150的第五备选实施例中，经验加权的绘图步骤S154可以单独省略或与障碍绘图步骤S151-S153中的一个或多个一起省略，从而将剩下的(一个或多个)障碍绘图步骤用于结构损伤评估代价的计算。
参考图4，路径规划阶段111包括流程图120的步骤S123-S126。
步骤S123包含用户或计算机识别的靶标点，诸如肿瘤质心，以及用户或计算机识别的用于适当的手术过程的一个或多个可接受的工具插入点/区的集合。例如，针对肺中的手术器械(例如，嵌套插管)的单一插入区可能是在特定CT切片处的管的截面。备选地，可以选择一个或多个插入区用于从颅骨的任意非脆弱区的手术器械的入口。可行的路径仅在可能以可接受的总代价从入口到达目标的情况下存在。权衡风险和益处的医师必须确定‘可接受性’的限度。
步骤S124包含经由A*算法从靶标点到(一个或多个)插入点和/或(一个或多个)插入区的传递。在步骤S124的一个实施例中，执行图14中所示的流程图170和图16中所示的流程图190。
参考图14，流程图170表示本发明的几何扩展方法。流程图170的步骤S171包含对靶标节点的识别，所述靶标节点对应于解剖区域内选定的靶标点，而流程图170的步骤S172包含对靶标节点的几何扩展，以识别几何相邻的自由空间配置节点。这些几何相邻的自由空间配置节点中的一个或多个可以作为替代种子节点，其中在流程图190的执行中由靶标节点和几何相邻的自由空间配置节点间形成的角度设置取向，随后本文将解释流程图190的执行。
图15图示说明了在简化的二维(“2D”)空间中中心靶标节点的标准初始条件180，所述简化的二维空间由点和取向(例如，-50°、0°、0°)限定。备选地，靶标节点可以由一组几何相邻的自由空间配置节点代替，其中每个节点指向外部以设置搜索方向，所述搜索方向被转换为中心靶标节点的扩展初始条件181，该中心靶标节点具有由点、取向、线索(thread)和代价限定的每个几何相邻的自由空间邻域。
参考图16，流程图190表示A*算法，其用于基于图2中所示的邻域101采用含蓄或优选明确的离散参数值确定从每个扩展的‘种子’节点到插入点/区‘目标’的最优路径。对于几何扩展技术，每个‘种子’节点都是与靶标节点几何相邻的自由空间的替代节点，所述靶标节点具有低于无穷大的结构损伤评估代价或小于无穷大的临界损伤阈值。
在执行中，第一扩展的‘种子’节点被放置到堆(heap)中，以便开始代价波传播，或A*。所述堆是平衡二叉树，其在根处保持最低代价值。在流程图190的步骤S191中，从堆中取得的最低代价的节点称为‘源’。在早期的机器人和路径规划应用中，常常使用目标作为种子节点生成路径。在那些应用中，节点(g(n)，稍后描述)的代价称为‘目标代价’。在这一应用中，我们将术语修改为更为通用的‘种子代价’，但应该认为它们是等价的。存在用于管理排序结构(包括堆)的公知的算法。
步骤S191还包含获取‘源’节点的详细配置空间信息，优选获取源节点的明确的离散参数值。这将提供代价波传播所需的进动(precession)，而无需对执行流程图190的系统的速度和存储能力造成任何负面影响。
流程图190的步骤S192包含‘停止标准’的测试。存在许多测试，可以执行这些测试以确定是否可以停止所述过程。“停止标准”可以包括，但不限于，(1)堆是否为空的测试，以及(2)当前(‘源’)节点是否为所识别的插入点之一或是否属于插入区之一的测试。这一停止标准确保插入和靶标之间可行的连接，并且确保针对该位置的值是最小的。这使得能够在填充整个空间之前终止搜索，但其仍然给出‘开始’和‘目标’之间的最优路径。针对本发明定制的第三停止标准包括呈现由用户基于代价先前选择的达到的插入点或插入区的颜色编码的表面，以到达插入点或插入区，从而用户对进入点的选择被认为是对‘开始’和‘目标’之间的最优路径的选择。
如果满足‘停止标准’，那么流程图190终止。否则，如果不满足‘停止标准’，那么流程图190的步骤S193包含生成可以允许变换的邻域。基于‘源’节点的取向计算‘源’节点的邻域，所述‘源’节点的取向由其α(alpha)、θ(theta)和(phi)以及其‘源’x、y、z位置给出。该邻域通过α、θ和旋转名义上(nominal)的邻域，然后相对于‘源’节点的x、y、z位置平移已旋转的邻域而得到。对于本领域技术人员而言，用于点的旋转和平移的方法是公知的。
然后将所得的邻域平移和旋转到当前扩展节点的位置。
一旦计算得到针对当前‘源’节点的邻域，流程图190进行到步骤S194，如果有的话，在步骤S194中选取邻域的下一条线索(T)。如果没有更多的线索，那么流程图190返回到步骤S191。否则，如果有线索(T)，那么流程图190进行到步骤S195以选取沿线索(T)(如果有的话)的下一个邻域(n’)。相对于当前给出的线索的‘源’节点位置和取向计算邻域n’的位置和取向。
如果沿这一线索(T)没有更多邻域，那么流程图190返回步骤S194。如果有另一邻域(n)，那么流程图190进行到步骤196以测试邻域的代价值。如果代价是无穷大的，或者有另一迹象表明所述邻域不可用，那么流程图190返回步骤S194。另一迹象可以是邻域具有的代价值高于某一预定阈值，该预定阈值小于无穷大，但过高而无法通过。例如，这一阈值可以是当前行进距离(在‘源’节点处)的函数。
如果该邻域不具有无穷大的代价并且是可用的，流程图190进行到步骤S197从而针对新的邻域n’计算所提出的新的代价g(n’)。在A*算法中，计算两个代价。第一个称为‘g(n’)’。这是从‘源节点’或‘父节点’到达节点n’的最佳路径(目前为止)的代价，通常以n表示，没有上标(’)。函数g(n’)包括到达源节点的代价，加上从源节点到n’的变换代价，加上可能从源到n’的变换产生的任何结构损伤。当针对嵌套插管规划路径时，路径的长度常常是变换代价。从源行进至n’过程中引起的结构损伤可以计算为每个中间状态的结构损伤代价的总和，计数状态超出n(因为n已经计算在内)，通过和包括n’。这还可以以备选的方式计算，其中总结构损伤考虑管的尺寸，因为管经过(traverses)每个体素(体积元素)，使得由管扫过的完整体积由例如各种结构损伤区域加权。因此，3mm直径的管预期可以生成两倍于1.5mm直径的管的损伤。当支配性(over-riding)的代价是与距离无关的总结构损伤时，可以出现另一备选。在这种情况下，变换代价可以仅是对结构损伤的估计，而距离不引起代价。
A*中计算的第二个值是f(n’)，其以最简单的术语来说是路径的‘最佳案例情况’，路径首先行进通过‘源’(无论哪条路径都来自该种子)，然后行进通过n’(包括损伤)，以及最后使用启发式函数h(n’)最优地(直接地)进行到进入点。本领域技术人员已知，有许多可能的启发式。启发式的最优代价可能为零，例如，然而这一信息不足的启发式不能为搜索提供引导。另一常用的启发式是直线，或‘笔直的’欧几里德距离，或者换言之，‘还要走的距离’。而另一估计可以是当前尺寸的管在剩余距离上的总结构损伤代价。通过选取最优的启发式，那么f(n’)的总代价表示通过n’的路径的净期望能力。总之，
g(n’)＝g(‘源’)+变换(‘源’，n，)+c(‘源’，n，)
f(n’)＝g(n’)+h(n，)
针对g(n’)和f(n’)的代价常常与针对节点n’的其他数据一起存储。
之后流程图190进行到步骤S198以比较新计算的代价F(n’)与n’处预先存在的代价F(n’)。如果新计算的F(n’)大于预先存在的代价F(n’)，那么经由‘源’节点到达n比之前确定的代价更高(即，没有改进)，那么流程图190返回步骤S195。如果计算的代价F(n’)小于预先存在的代价F(n’)，那么这一值在先前的方向上有所改进，从而流程图190继续从步骤S198进行到步骤S199。步骤S199将邻域节点添加到一组可能的节点以打开(扩展)下一组(节点)。这一组例如可以存储在堆中，并且可以经由堆排序进行组排序。如果邻域节点已经在堆上，那么节点的值被更新并且堆被重新排序。具有最低代价f(x)的节点x因此识别最期望的节点以探索(扩展)下一(节点)。
步骤S199还包括为n分配新的种子代价，以及特定位置(例如，x、y、z)和取向(例如，α、θ和)。在6D空间中，利用3D位置(x、y、z)和3个角度表示位置和取向。如果利用离散角位移(例如图2)在邻域结构中获取一组可以允许的运动，则问题被降为5D，因为通过邻域获取了第六维。因此，利用3D位置(x、y、z)和2个角度限定了姿势。经修改的向量将指针分配给‘源’，因为其是引导到‘种子’节点的最佳路径。任选地，但优选地，线索的数目和类型也被排序。这用于确定管的尺寸以避免障碍，以及曲率选项。此外，线索数目直接映射到控制参数，该控制参数用于控制诸如气管镜的装置，或者直接映射到管的选择和其相对于邻近嵌套插管的取向。
返回参考图4，步骤S125包含提供一组进入位置，包括对最优位置的具体识别，使得医生能够选择优选的进入点，诸如，例如，图17所示并由用于脑活检的一组示范性的“安全”进入点指导的进入点240-250。来源：Sekhar,Fessler.Atlas of Neurosurgical Techniques，第33章：StereotacticBiopsy(Schwartz and Sisti)，pp.422-429。例如，可以在靶标和颅骨上的4个等价的最小代价进入点之间提供规划的路径。可能还有10个其他位置与它们各自的较高代价一起被高亮显示。医生可以选择这些点中的一个，这些点必须在合适的停止位置上或服从停止标准。
基于所选择的点，将提取路径，该路径确定一组控制参数，或者装置的配置，或者从所选择的点到靶标的预期路径。任选地，可以在步骤S126期间在解剖区域的3D图像内呈现这一路径。
B、整合结构风险评估和/或几何扩展的路径规划方法
现在参考图18，图示说明了根据本发明用于路径规划应用的系统200。系统200包括数据处理装置210和数据存储介质220。数据处理装置210采用设置单元211和规划单元212作为物理独立或集成的单元，用于实现如本文前面结合图3-17解释的本发明的结构损伤评估技术和/或几何扩展技术。一般而言，设置单元211执行构造适于在任何类型的数据存储介质220(例如，RAM)内规划具体路径应用的配置空间数据结构(“CSDS”)和其他结构/功能必需的所有工作，而规划单元212传播代价波，所述代价波是用代价值填充配置空间节点结构所需要的，所述代价值是根据本发明的结构损伤评估和/或几何扩展特性的参数值函数，本发明的结构损伤评估和/或几何扩展特性是特定的路径规划应用所需要的。其结果是以适合于特殊路径规划应用的形式表示的最优路径230。
该方法或系统用于创建路径。这一路径可以几种方式使用。该路径也能够控制诸如支气管镜或斜面针的装置。备选地，其可用于构造诸如嵌套插管的装置。最后，其可在屏幕上显示，或者叠加在3D图像中以及在3D护目镜内显示。
尽管本发明的实施例已经被图示说明和描述，本领域技术人员会理解本文描述的方法和系统是说明性的，并且在不脱离本发明真实范围的情况下可以做各种改变和修改以及可以用等价物代替方法和系统的元素。另外，在不脱离本发明的中心范围的情况下，可以做许多修改以使本发明的指导适应实体路径规划。因此，意图是本发明不是限制公开的具体实施例为实施本发明的预期的最佳模式，而是本发明包括所有属于附属权利要求范围内的所有实施例。

Claims (15)

1.一种结构损伤评估方法(112)，所述方法包括：
(110)在数据存储介质(220)内构造配置空间节点结构，所述配置空间节点结构包括表示身体的解剖区域(100)的离散配置空间的自由空间配置节点和禁止配置节点；以及
(S122)针对每个自由空间配置节点生成结构损伤评估，所述结构损伤评估指示对由所述禁止配置节点表示的所述解剖区域(100)中的至少一个关键解剖区的潜在损伤的评估，每个禁止配置节点具有无穷大的结构损伤评估代价。
2.根据权利要求1所述的方法，其中，所述自由空间配置节点包括以下中的至少一个：
具有零结构损伤评估代价的安全的自由空间配置节点；
具有有限结构损伤评估代价的危险的自由空间配置节点；以及
具有无穷大的结构损伤评估代价的危险的自由空间配置节点。
3.根据权利要求1所述的方法，其中，所述至少一个关键解剖区包括以下中的至少一个：
所述解剖区域(100)内的关键解剖结构；以及
进入所述解剖区域(100)的脆弱的进入点。
4.根据权利要求1所述的方法，其中，针对每个自由空间配置节点生成结构损伤评估包括：
生成所述解剖区域(100)的标记的图像(142)，所述标记的图像包含所述解剖区域(100)中的至少一个禁止区；以及
针对与所述标记的图像(142)关联的每个自由空间配置节点计算结构损伤评估代价。
5.根据权利要求4所述的方法，其中，生成所述解剖区域(100)的所述标记的图像(142)包括：
将所述解剖区域(100)的至少一幅患者图像与所述解剖区域(100)的解剖图解集或功能图解集(143)配准。
6.根据权利要求4所述的方法，其中，针对与所述标记的图像(142)关联的每个自由空间配置节点计算结构损伤评估代价包括：
生成根据与所述标记的图像(142)关联的所述解剖区域(100)中的每个禁止区导出的基本障碍图(160)，所述基本障碍图(160)中的每个自由空间配置节点具有小于无穷大的结构损伤评估代价。
7.根据权利要求6所述的方法，其中，针对与所述标记的图像(142)关联的每个自由空间配置节点计算结构损伤评估代价还包括：
生成根据围绕所述解剖区域(100)中的每个禁止区确立的至少一个安全范围导出的扩大的基本障碍图(161)，所述至少一个安全范围之一内的所述扩大的基本障碍图(161)中的每个自由空间配置节点具有无穷大的结构损伤评估代价。
8.根据权利要求4所述的方法，其中，针对与所述标记的图像(142)关联的每个自由空间配置节点计算结构损伤评估代价还包括：
生成根据到所述解剖区域(100)的最接近的禁止区的距离导出的障碍距离图(162)。
9.根据权利要求4所述的方法，其中，针对与所述标记的图像(142)关联的每个自由空间配置节点计算结构损伤评估代价还包括：
生成根据与所述标记的图像(142)关联的所述解剖区域(100)中的每个禁止区的经验物理敏感性导出的经验加权图(163)。
10.根据权利要求1所述的方法，其中，所述结构损伤评估方法(112)与一种几何扩展方法(113)一起使用，所述几何扩展方法(113)包括：
利用量化配置空间节点结构中的每个节点的结构损伤评估值扩增在数据存储介质(220)内构造的所述配置空间节点结构，所述配置空间节点结构包括表示身体的解剖区域(100)的离散配置空间的自由空间配置节点和禁止配置节点。
11.根据权利要求10所述的方法，其中，对所述配置空间节点结构的所述扩增包括使用所述配置空间节点结构的各节点之间累计变换的总距离的代价函数进行所述扩增。
12.根据权利要求10所述的方法，其中，对所述配置空间节点结构的所述扩增包括使用与手术应用关联的器械的代价函数进行所述扩增，所述手术应用涉及所述器械的至少一个维度。
13.根据权利要求10所述的方法，其中，对所述配置空间节点结构的所述扩增包括靶标节点的几何扩展，所述靶标节点的几何扩展包括与所述靶标节点几何相邻的至少一个自由空间配置节点作为替代种子节点。
14.一种结构损伤评估装置，所述装置包括：
用于在数据存储介质(220)内构造配置空间节点结构的模块，所述配置空间节点结构包括表示身体的解剖区域(100)的离散配置空间的自由空间配置节点和禁止配置节点，以及
用于针对每个自由空间配置节点生成结构损伤评估的模块，所述结构损伤评估指示对由所述禁止配置节点表示的至少一个关键解剖区的潜在损伤的评估，每个禁止配置节点具有无穷大的结构损伤评估代价。
15.根据权利要求14所述的装置，其中，所述结构损伤评估装置与一种几何扩展装置一起使用，所述几何扩展装置包括：
用于利用量化配置空间节点结构中的每个节点的参数值扩增在数据存储介质(220)内构造的所述配置空间节点结构的模块，所述配置空间节点结构包括表示身体的解剖区域(100)的离散配置空间的自由空间配置节点和禁止配置节点，
其中，对所述配置空间节点结构的所述扩增包括靶标节点的几何扩展，所述靶标节点的几何扩展包括与所述靶标节点几何相邻的至少一个自由空间配置节点作为替代种子节点。
CN200980152965.XA 2008-12-29 2009-11-10 用于在微创手术中减少组织损伤的路径规划 Expired - Fee Related CN102264312B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14107008P 2008-12-29 2008-12-29
US61/141,070 2008-12-29
PCT/IB2009/054993 WO2010076673A1 (en) 2008-12-29 2009-11-10 Path planning for reducing tissue damage in minimally invasive surgery

Publications (2)

Publication Number Publication Date
CN102264312A CN102264312A (zh) 2011-11-30
CN102264312B true CN102264312B (zh) 2016-09-28

Family

ID=41666767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980152965.XA Expired - Fee Related CN102264312B (zh) 2008-12-29 2009-11-10 用于在微创手术中减少组织损伤的路径规划

Country Status (7)

Country Link
US (1) US20110245625A1 (zh)
EP (1) EP2381866B1 (zh)
JP (1) JP2012513789A (zh)
CN (1) CN102264312B (zh)
BR (1) BRPI0918308A2 (zh)
RU (1) RU2596882C2 (zh)
WO (1) WO2010076673A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255723B2 (en) 2013-03-15 2019-04-09 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9387047B2 (en) * 2011-12-03 2016-07-12 Koninklijke Philips N.V. Interstital lung access using nested cannulas
WO2015067299A1 (en) 2013-11-05 2015-05-14 Brainlab Ag Quantification of brain vulnerability
US10244991B2 (en) * 2014-02-17 2019-04-02 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
US9536309B2 (en) * 2014-11-27 2017-01-03 Synaptive Medical (Barbados) Inc. Method, system and apparatus for displaying surgical engagement paths
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10188465B2 (en) 2015-08-26 2019-01-29 Biosense Webster (Israel) Ltd. Automatic ENT surgery preplanning using a backtracking maze problem solution
DE102016209074A1 (de) * 2016-05-25 2017-11-30 Medical Templates Ag Verfahren zur Planung einer intrakorporalen Verortung einer einem Patienten perkutan einzuführenden medizinischen Nadeleinheit
US10631933B2 (en) * 2016-08-31 2020-04-28 Covidien Lp Pathway planning for use with a navigation planning and procedure system
WO2018106182A1 (en) 2016-12-06 2018-06-14 National University Of Singapore Methods of reconstructing skulls
TWI670681B (zh) * 2017-06-04 2019-09-01 鈦隼生物科技股份有限公司 判定手術路徑上一個或多個點之方法和系統
US11123139B2 (en) 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11480068B2 (en) 2019-10-15 2022-10-25 General Electric Company Systems and method of servicing a turbomachine
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US20210401500A1 (en) * 2020-06-29 2021-12-30 Biosense Webster (Israel) Ltd. Efficient automatic finding of minimal ear-nose-throat (ent) path for probe
CN112741688B (zh) * 2020-12-11 2023-09-29 北京信息科技大学 一种用于微创手术软体操作器的路径规划方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611025A (en) * 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
RU2121296C1 (ru) * 1995-04-10 1998-11-10 Александр Сергеевич Иова Способ стереотаксического наведения
JP3557736B2 (ja) * 1995-07-14 2004-08-25 ソニー株式会社 経路探索装置
US6112750A (en) * 1998-03-24 2000-09-05 International Business Machines Corporation Method and system for assessing risks and prognoses of a given course of medical treatment
US7630750B2 (en) * 2001-02-05 2009-12-08 The Research Foundation For The State University Of New York Computer aided treatment planning
US7379062B2 (en) * 2005-08-01 2008-05-27 Barco Nv Method for determining a path along a biological object with a lumen
CN101282693B (zh) * 2005-10-11 2011-07-06 皇家飞利浦电子股份有限公司 3d工具路径规划、模拟和控制系统
DE602006005899D1 (de) * 2006-04-07 2009-05-07 Brainlab Ag Risikobewertung von geplanten Trajektorien
US8060181B2 (en) * 2006-04-07 2011-11-15 Brainlab Ag Risk assessment for planned trajectories
EP2066245B1 (en) * 2006-09-14 2014-04-02 Koninklijke Philips N.V. Active cannula configuration for minimally invasive surgery
CN101675455B (zh) * 2007-04-26 2016-11-09 皇家飞利浦电子股份有限公司 外科流程的风险指示

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255723B2 (en) 2013-03-15 2019-04-09 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy

Also Published As

Publication number Publication date
EP2381866A1 (en) 2011-11-02
BRPI0918308A2 (pt) 2020-08-04
RU2596882C2 (ru) 2016-09-10
RU2011131878A (ru) 2013-02-10
EP2381866B1 (en) 2017-03-22
JP2012513789A (ja) 2012-06-21
WO2010076673A1 (en) 2010-07-08
US20110245625A1 (en) 2011-10-06
CN102264312A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
CN102264312B (zh) 用于在微创手术中减少组织损伤的路径规划
CN106794044B (zh) 术中追踪方法
KR101206340B1 (ko) 영상수술 리허설 제공방법 및 시스템, 그 기록매체
US7277833B2 (en) Modeling of the workspace and active pending behavior of an endscope using filter functions
US8116847B2 (en) System and method for determining an optimal surgical trajectory
Neubauer et al. Advanced virtual endoscopic pituitary surgery
CN106659374A (zh) 在3d导航时提供距离和取向反馈的系统和方法
CN107580716A (zh) 2d/2.5d腹腔镜和内窥镜图像数据与3d立体图像数据配准的方法和系统
CN104780826A (zh) 内窥镜系统
JP2016517288A5 (zh)
US20150297309A1 (en) Methods And Systems For Selecting Surgical Approaches
US10235759B2 (en) Method for cell envelope segmentation and visualisation
EP4175577A1 (en) System for assisting a user in placing a penetrating device in tissue
Neubauer et al. STEPS-an application for simulation of transsphenoidal endonasal pituitary surgery
CN115397366A (zh) 用于规划基于导管的介入的基于计算机的方法
Kukuk A model-based approach to intraoperative guidance of flexible endoscopy
Fried et al. Landmark Based Bronchoscope Localization for Needle Insertion Under Respiratory Deformation
KR101181366B1 (ko) 수술 환부의 실시간 그래픽 표현 방법
KR20150073510A (ko) 의료용 바늘의 삽입 경로의 생성 방법
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
JP7289691B2 (ja) 身体の空洞の開口部の位置の特定
US11832888B2 (en) Systems and methods for volumetric measurement of maximal allowable working volume within a surgical corridor
Maddah 3D visualization and interactive image manipulation for surgical planning in robot-assisted surgery
Eom et al. Did You Do Well? Real-Time Personalized Feedback on Catheter Placement in Augmented Reality-Assisted Neurosurgical Training
Siddiqi et al. 3D Representation of human skull bearing the tumor using image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160928

Termination date: 20181110