CN116392257B - 一种介入手术机器人系统、导丝的塑形方法和存储介质 - Google Patents
一种介入手术机器人系统、导丝的塑形方法和存储介质 Download PDFInfo
- Publication number
- CN116392257B CN116392257B CN202310666127.6A CN202310666127A CN116392257B CN 116392257 B CN116392257 B CN 116392257B CN 202310666127 A CN202310666127 A CN 202310666127A CN 116392257 B CN116392257 B CN 116392257B
- Authority
- CN
- China
- Prior art keywords
- branch
- guide wire
- bending
- branch region
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007493 shaping process Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005452 bending Methods 0.000 claims abstract description 152
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 63
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 26
- 238000013152 interventional procedure Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 210000004351 coronary vessel Anatomy 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000002583 angiography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000002526 effect on cardiovascular system Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010066902 Surgical failure Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M25/00—Catheters; Hollow probes
- A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
- A61M25/09—Guide wires
- A61M25/09041—Mechanisms for insertion of guide wires
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
Abstract
本申请涉及一种介入手术机器人系统、导丝的塑形方法和存储介质。介入手术机器人系统包括处理器，所述处理器被配置为获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置，识别出其中位于初始位置和目标位置之间的各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；在第一代表分支区域内创建虚拟导丝，通过将虚拟导丝按照弯折角度进行弯折，来确定出能够使得虚拟导丝伸入第二代表分支区域内期望距离所对应的导丝的弯折距离。如此，可以给医生提供准确的关于导丝头的塑形数据，能够有效提高手术效率。
Description
技术领域
本申请涉及介入手术机器人控制技术领域，具体涉及一种介入手术机器人系统、导丝的塑形方法和存储介质。
背景技术
心脑血管微创介入疗法是针对心脑血管疾病的主要治疗手段，和传统外科手术相比，有着切口小、术后恢复时间短等明显优势。心脑血管介入手术是由医生手动将导管、导丝以及支架等器械送入病患体内来完成治疗的过程。
介入手术中，很重要的一步就是给导丝头进行塑形。医生需要根据不同的病人的血管特征，根据医生自身的经验，把导丝头部塑造成特定的形状，以便能够更好的到达血管中指定的位置。医生通过人工对导丝头部进行塑形，对于医生自身的经验要求更高，根据经验来进行人为判断，判断过程中缺乏参考依据，容易出现较大的误差，经验不足的医生难以将导丝头部塑造成最佳的形状。每台手术中的病人血管差异较大，导丝头端塑形的差异也较大，可借鉴性不高，对医生的判断力要求较高。没有良好塑形的导丝，很难通过血管中的分叉位置，导致手术失败。将导丝头部塑形成为什么形状更能使得导丝顺利通过，一直时介入手术中的一个难点。尤其对于新手医生，由于经验不足，难以将导丝头部塑造成合适的形状，需要多次进行塑形调整，影响手术效率。
发明内容
提供本申请以解决现有技术中存在的上述问题。需要一种介入手术机器人系统、导丝的塑形方法和存储介质，其能够快速、高效的向医生提供能够顺利通过血管的导丝的准确的塑形数据，准确的给出导丝塑形的操作指导，以避免人工对导丝塑形造成的塑形偏差，从而提高介入手术效率和安全性。
根据本申请的第一方案，提供一种介入手术机器人系统，包括至少一个处理器，所述处理器被配置为获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置；基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置之间的各个分支区域，或者接收各个分支区域的设置；基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，通过将所述虚拟导丝按照所述弯折角度进行弯折，来确定出能够使得所述虚拟导丝伸入所述第二代表分支区域内期望距离所对应的导丝的弯折距离；显示所述弯折角度和弯折距离，和/或发送所述弯折角度和弯折距离。
根据本申请的第二方案，提供一种介入手术的导丝的塑形方法，包括获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置；基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置之间的各个分支区域，或者接收各个分支区域的设置；基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，通过将所述虚拟导丝按照所述弯折角度进行弯折，来确定出能够使得所述虚拟导丝伸入所述第二代表分支区域内期望距离所对应的导丝的弯折距离；显示所述弯折角度和弯折距离，和/或发送所述弯折角度和弯折距离。
根据本申请的第三方案，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请各个实施例所述的介入手术的导丝的塑形方法；其中，所述介入手术的导丝的塑形方法包括获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置；基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置之间的各个分支区域，或者接收各个分支区域的设置；基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，通过将所述虚拟导丝按照所述弯折角度进行弯折，来确定出能够使得所述虚拟导丝伸入所述第二代表分支区域内期望距离所对应的导丝的弯折距离；显示所述弯折角度和弯折距离，和/或发送所述弯折角度和弯折距离。
与现有技术相比，本申请实施例的有益效果在于：
本申请提供的介入手术机器人系统可以根据各个血管的特征，自动计算出能够顺利通过血管的导丝的合适的塑形数据，并提供给医生，以向医生提供客观的操作指导。该介入手术机器人系统基于初始位置和目标位置，识别出两者之间的分支区域并计算出各个分支区域的分支角度，通过考虑各个分支区域的分支角度得到导丝的弯折角度。如此，可以充分考虑到各个分支区域对于弯折角度的贡献，从而提高经过计算得到的导丝的塑形数据的准确性。该介入手术机器人系统通过在第一代表分支区域创建虚拟导丝，并对虚拟导丝的弯折情况进行调整，来确定出能够使得所述虚拟导丝伸入第二代表分支区域内期望距离所对应的导丝的弯折距离，并将所述弯折角度和弯折距离等塑形数据进行显示，以向医生提供关于导丝的塑形数据。 该介入手术机器人系统可以解决现有介入手术中医生对导丝的塑形缺乏参考依据，无法明确导丝塑形后的形状并且需要在导丝塑形中进行多次调整的问题。即使是新手医生基于本实施例所述的介入手术机器人系统，依然可以针对不同血管形态得到准确的导丝塑形数据，极大的提高了医生对于导丝塑形的效率和准确性，进而提高了医生基于塑形后的导丝进行介入手术的安全性。
上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所申请的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
图1（a）示出根据本申请实施例所述的介入手术机器人系统的结构示意图。
图1（b）示出根据本申请实施例所述的介入手术机器人系统的处理器执行的流程图。
图1（c）示出根据本申请实施例所述的心脏血管造影图。
图1（d）示出根据本申请实施例所述的导丝塑形示意图。
图2示出根据本申请实施例所述的导丝塑形又一示意图。
图3示出根据本申请实施例所述的在显示界面显示的导丝的弯折距离、弯折角度和虚拟导丝最终形态的示意图。
图4示出根据本申请实施例所述的介入手术机器人系统与医生之间的交互的流程图。
具体实施方式
为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。
本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分部分的称谓。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。
在本申请中，各个步骤在图中所示的箭头仅仅作为执行顺序的示例，而不是限制，本申请的技术方案并不限于实施例中描述的执行顺序，执行顺序中的各个步骤可以合并执行，可以分解执行，可以调换顺序，只要不影响执行内容的逻辑关系即可。
本申请使用的所有术语（包括技术术语或者科学术语）与本申请所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的方法和系统可能不作详细讨论，但在适当情况下，所述方法和系统应当被视为说明书的一部分。
图1（a）示出根据本申请实施例所述的介入手术机器人系统的结构示意图。其中，所述介入手术机器人系统100至少包括处理器101、显示器102和DSA设备103。所述处理器101被配置为执行图1（b）所述的步骤S104-S109。在步骤S104中，获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置。所述血管可以是各个类型的血管，比如心脏的冠脉血管、颈动脉血管、脑动脉血管等。
以下以应用于心脑血管介入手术的应用场景进行说明，但须知介入手术机器人系统100也可以应用于其他应用场景，其中，需要用户远程操纵让机器人操纵导丝在血管内运动，尤其是血管呈现出相对复杂的形态，例如粗细不一且弯曲扭转较多，而且随着导丝在血管内的运动，所经历的血管段会呈现出宽窄、弯曲等动态的形态变化。
如图1（c）示出的心脏的冠脉血管，在手术中对血管造影得到术中造影图像后，医生发现血管中存在病变位置A，则医生可以标记出导丝进入血管的初始位置（未示出）和目标位置111。或者，由所述处理器101识别出病变位置A，再设置出经由病变位置A的初始位置和目标位置111。也就是说，在一些实施例中，所述初始位置和目标位置111可以由所述处理器101基于所述血管的术中造影图像分析得到，或者由用户在所述血管的术中造影图像上标记出。
在步骤S105，基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置111之间的各个分支区域，或者接收各个分支区域的设置。在一些实施例中，所述术中造影图像各自包括二维图像或者三维图像，图像可以通过数字减影血管造影(DSA，digitalsubtraction angiography)设备等造影图像。具体地，如图1（c）所示，处理器101根据血管的术中造影图像，识别出位于初始位置和目标位置111之间的各个分支区域，各个分支区域包括第一分支区域110、第二分支区域112、第三分支区域113、第四分支区域114和第五分支区域115。处理器101可以自动识别出位于初始位置和目标位置111之间的各个分支区域，例如，可以是通过学习网络对所述术中造影图像进行分析处理，以识别出所述术中造影图像中初始位置和目标位置111之间的各个分支区域。例如，将获取的图像信息进行图像预处理输入到ResUnet深度学习网络进行训练，识别出血管等目标物，获得训练数据，对数据进行shuffle操作，将图像转换为固定尺寸（如：512×512），并进行归一化处理，将像素的强度值转化为0-1之间，其中，训练数据中包括血管的医学图像，对上述训练数据进行图像水平翻转、垂直翻转、随机缩放、随机亮度、随机对比度、随机噪声等图像处理方法进行数据增强，使用增强后的训练数据对分割网络模型进行学习训练，得到图像分割模型。上述的深度学习网络模型可以为ResUnet、attentionUnet等分割网络模型，具体不作限定。所述深度学习网络利用Tensorflow框架进行深度学习的训练即可实现。
或者，将所述血管的术中造影图像呈现在显示器102上，医生根据自身经验对初始位置和目标位置111之间的各个分支区域进行选择和设置。例如，医生将各个分支区域选择出来后点击确认，向处理器101发送分支区域设置的确认指令，处理器101接收到各个分支区域的设置指令后，响应于所述设置指令，配置出各个分支区域。对于所述各个分支区域的获取方式不做具体限定。
其中，所述血管的术中造影图像可能是完整的血管造影图像，然而，病变位置A可能只是血管造影图像中很小的部分关注区域。
在步骤S106，基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度。具体地，可以是基于所述血管的术中造影图像，识别出各个分支区域的血管中心线，然后把血管中心线进行延长，在两个分支区域的血管中心线相交后停止延长，并计算出两条血管中心线相交的角度。选择从上游方向开始下游方向偏离的角度值，该角度值可以是锐角也可以是钝角，作为各个分支区域的分支角度。如图1（c），可以计算出第一分支区域110、第二分支区域112、第三分支区域113、第四分支区域114和第五分支区域115的分支角度分别为J1、J2、J3、J4和J5。
仅以此作为示例，对于分支角度的获取方式不限于此。
在步骤S107，对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度。具体地，可以根据介入手术机器人系统100的默认的对于权重的分配方式或者根据医生配置的权重参考设定值对各个分支区域的权重进行设置。比如，可以根据各个分支区域与初始位置的距离或者根据各个分支区域的复杂程度对权重进行设置，仅以此作为实施例，对于各个分支区域的权重的分配方式不限于此。
如图1（c），可以分别配置第一分支区域110、第二分支区域112、第三分支区域113、第四分支区域114和第五分支区域115的权重为Q1、Q2、Q3、Q4和Q5，然后把各个分支区域的分支角度乘以其对应的权重，累计各个分支区域的计算结果得到导丝的弯折角度，弯折角度= J1×Q1+J2×Q2+J3×Q3+J4×Q4+ J5×Q5。
在步骤S108，在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，通过将所述虚拟导丝按照所述弯折角度进行弯折，来确定出能够使得所述虚拟导丝伸入所述第二代表分支区域内期望距离所对应的导丝的弯折距离。其中，所述第一代表分支区域和第二代表分支区域可以是各个分支区域中的某个分支区域的主血管和分支血管。如图1（d）所示，以第一分支区域110为示例，第一分支区域110的主血管作为第一代表分支区域，从主血管分支出的分支血管作为第二代表分支区域。创建一根虚拟导丝，并将虚拟导丝置于第一代表分支区域内，远离第二代表分支区域且贴近第一代表分支区域的血管壁的位置上。设置虚拟导丝头部按照弯折角度116进行弯折，弯折后沿直线方向延长至使虚拟导丝头部进入第二代表分支区域的期望距离117处，测量虚拟导丝从弯折点到头部的弯折距离118。
具体地，在对虚拟导丝的头部进行弯折时，可以调节所述弯折点，以使得虚拟导丝能够伸入到第二代表分支区域内的期望距离117所在的位置。
在步骤S109，显示所述弯折角度116和弯折距离118，和/或发送所述弯折角度和弯折距离118。具体地，可以将所述弯折角度116和弯折距离118，在显示器102进行显示，以向医生提供对导丝塑形的重要参数和操作指导，用于辅助医生执行导丝的塑形操作，从而提高了医生的工作效率，并提高了对导丝进行塑形的准确度，进而提高了介入手术的安全性。或者，也可以将所述弯折角度116和弯折距离118发送给相关的辅助执行机构，以使得辅助执行机构基于所述弯折角度116和弯折距离118对导丝进行自动塑形。其中，至少一个处理器101可以分布于介入手术机器人系统100的机器人工作站、影像工作站中的至少一处，机器人工作站包括在所述介入手术机器人系统100中或者与所述介入手术机器人系统100通信连接，所述影像工作站与所述介入手术机器人系统100通信连接。所述显示器102可以包括CRT显示器、液晶显示器、LED点阵显示器及OLED显示器。
基于该实施例所述的介入手术机器人系统100，可以针对具体的血管，给出更加准确的塑形参数，避免塑形偏差而造成的反复塑形，可以准确地给出医生进行导丝塑形的操作指导，让医生明确导丝的塑形参数，方便临床中的操作。而且，如果在介入手术过程中，发现已经塑形的导丝依然不合适，存在一定的安全隐患，则可以继续对导丝的塑形参数进行计算，从而对导丝的形状进行调整。
在本申请的一些实施例中，所述显示器102被配置为在术中造影图像上显示所述各个分支区域，并根据来自于所述处理器101的权重相关指令来与各个分支区域相关联地显示、确定或修改对应的权重。具体地，医生可以在显示器102的显示界面上观看到术中造影图像，并且术中造影图像上会显示如图1（c）所示的各个分支区域以及各个分支区域对应的权重。其中，各个分支区域对应的权重根据处理器101的权重相关指令进行相关联地显示。在显示器102的显示界面上可以提供确定或修改各个分支区域的权重的触发机构，所述处理器101进一步配置为响应于用户与权重相关指令的操作，而相应地发出显示、确定或修改对应权重的权重相关指令。医生根据经验可以判断显示器102上显示的各个分支区域的权重是否合适，如果各个分支区域的权重设置是合理的，则医生可以操作触发机构对各个分支区域的权重进行确定，如果认为部分或全部分支区域的权重设置不合理，则医生可以操作触发机构对部分或全部分支区域的权重进行修改。如此，可以提高最终计算得到的弯折角度116和弯折距离118等相关塑形参数的准确性，以提高介入手术的安全性。
在本申请的一些实施例中，确定各个分支区域相较于上游的分支区域的夹角作为分支角度具体包括获取所述各个分支区域的血管的中心线，将所述中心线延长至与上游的分支区域的血管的中心线相交，以得到各个分支区域相较于上游的分支区域的夹角作为分支角度。具体地，提取血管的中心线可以使用基于阈值的方法得到粗略的冠状动脉及初始中心线，已知中心线起点、终点和路径点，在冠状动脉的初始轮廓内，使用Fast Marching算法提取血管分支的中心线，用于更新初始中心线，进而得到新的冠状动脉轮廓，继续使用Fast Marching算法提取中心线，重复以上步骤，直到经过多次迭代的结果基本不变时，迭代终止，将最后一步迭代的结果作为冠状动脉和中心线的最终结果。当然，对于提取血管中心线的方法不限于此，可以经由现有的任一种提取血管中心线的方法得到，对此不做限定。
具体地，在得到各个分支区域的血管的中心线以后，继续对中心线进行延长。上游的分支区域的血管中心线与其下游的分支区域的血管中心线相交，下游的分支区域的血管中心线相对于上游的分支区域的血管中心线的偏离角度即可作为分支角度。
在本申请的一些实施例中，所述DSA设备103用于采集术中造影图像，基于术中造影图像，确定各个分支区域对应的权重具体包括对所述术中造影图像进行分析，确定处于上游的第一分支区域的权重高于处于下游的第二分支区域112的权重。DSA设备103实时拍摄术中造影图像并将术中造影图像发送给处理器101，处理器101对术中造影图像进行分析，确定出各个分支区域。基于不同分支区域所处的上下游位置，来确定不同分支区域的权重。如图1（c），可以以血管的冠脉口为参考位置，各个分支区域的权重按照各个分支区域与参考位置的距离的增加而递减。比如，第一分支区域110的权重高于第二分支区域112的权重，处于上游的第二分支区域112的权重高于处于下游的第三分支区域113的权重，以此类推，第五分支区域115的权重最低。
或着，处理器101可以接收对各个分支区域的权重的设置。具体地，医生根据自身经验，考虑到各个分支区域所处的位置以及各个分支区域的复杂度等相关因素，能够判断出不同的分支区域影响塑形后的导丝通过血管的重要程度。因此，医生可以自行对各个分支区域的权重进行设置。
在本申请的一些实施例中，确定所述导丝的弯折距离118具体包括：将所述虚拟导丝置于所述第一代表分支区域的预定位置附近；将所述虚拟导丝按照所述弯折角度116在预设弯折点进行弯折，并将弯折后的虚拟导丝在所述预定位置附近移动以及对所述虚拟导丝上的预设弯折点进行调整，得到弯折后的虚拟导丝伸入到所述第二代表分支区域内期望距离117时的目标弯折点，将所述虚拟导丝的目标弯折点与所述虚拟导丝的头部之间的距离作为所述弯折距离118。具体地，如图2所示，在第一代表分支区域202内创建虚拟导丝203，将虚拟导丝203置于第一代表分支区域202的预定位置205附近。选取虚拟导丝203的预设弯折点206并按照预先计算得到的弯折角度116进行弯折，同时，虚拟导丝203在预定位置205附近进行来回移动，并调节预设弯折点206的位置。
在调整预设弯折点206以及虚拟导丝203的位置时，虚拟导丝203的导丝头部伸入到第二代表分支区域204内，虚拟导丝203的导丝头部处于第二代表分支区域204内的位置随着预设弯折点206的调整以及虚拟导丝203在预设位置205附近的位置的移动而发生变化，直到弯折后的虚拟导丝203伸入到第二代表分支区域204内的期望距离117。在弯折后的虚拟导丝203伸入到第二代表分支区域204内的期望距离117之后确定的预设弯折点206即为目标弯折点，此时，目标弯折点与虚拟导丝203的导丝头部之间的距离即为弯折距离118。
通过调整虚拟导丝203的导丝头部伸入到第二代表分支区域204的期望距离117，能够保证真实的导丝在塑形之后能够顺利地通过各个分支区域，降低塑形后的导丝戳破血管的风险，进而提高了介入手术的安全性。
在本申请的一些实施例中，所述预定位置205为第一代表分支区域的远离所述第二代表分支区域204的血管壁内侧的邻近区域。如图2所示，第二代表分支区域204从第一代表分支区域202的一侧血管壁201a分支出去，第一代表分支区域202的另一侧血管壁201b即为远离第二代表分支区域204的血管壁。所述预定位置205为血管壁201b内侧的邻近区域，所述邻近区域可以由医生自行设置，也可以是介入手术机器人系统100默认的设定值，对此不做限定。配置第一代表分支区域202内创建的虚拟导丝203处于预定位置205附近移动，可以进一步保证真实的导丝在塑形之后能够顺利地通过各个分支区域，降低塑形后的导丝戳破血管的风险。
在本申请的一些实施例中，所述显示器102进一步配置为：显示所述导丝的目标弯折点、弯折距离118和弯折角度116。介入手术机器人系统100经过一系列的计算得到用于对导丝进行塑形的塑形数据，并将这些塑形数据呈现在显示器102的显示界面上。如图3所示，在显示界面上，向医生显示对导丝进行塑形的目标弯折点B、弯折距离118为13mm和弯折角度116为45︒。例如，可以在导丝的示意结构图上标注示出目标弯折点B、弯折距离118为13mm和弯折角度116为45︒。
此外，还可以在显示界面上进一步显示基于所述目标弯折点B、弯折距离118和弯折角度116确定出的虚拟导丝203的最终形态300。如此，向医生提供直观的效果图，有利于给医生直观的感受。通过向医生提供目标弯折点B、弯折距离118和弯折角度116等塑形数据，可以向医生提供更加明确的对导丝进行塑形的操作指导，以提高医生对导丝继续塑形的效率。
在本申请的一些实施例中，所述处理器101进一步配置为接收用户对目标弯折点、弯折距离118和弯折角度116进行确认或修改的交互操作。如图4所示，在步骤S401，根据弯折角度116和弯折距离118绘制虚拟导丝203的最终形态300，并进行显示。在步骤S402，由医生判断虚拟导丝203是否合理，如果判断结果为是，则执行步骤S403，由医生对显示结果进行确认。所述处理器101在接收到用户的确认操作后，将所确认的目标弯折点、弯折距离118和弯折角度116发送到对导丝执行塑形操作的辅助装置，以使得辅助装置可以基于目标弯折点、弯折距离118和弯折角度116对导丝进行自动塑形，从而实现对导丝的自动化塑形，进一步提高了对导丝进行塑形的效率。
如果判断结果为否，则执行步骤S404，由医生对显示结果进行修改，例如，可以修改目标弯折点、弯折距离118和/或弯折角度116，进而修改虚拟导丝203的最终形态300。处理器101在接收到用户的修改操作后，响应于所述修改操作而修改目标弯折点、弯折距离118和/或弯折角度116，以供所述显示器102显示。如此，进一步提高了指导医生对导丝进行塑形的计算结果的准确性。
在本申请的一些实施例中，提供一种介入手术的导丝的塑形方法，包括：获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置111；基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置111之间的各个分支区域，或者接收各个分支区域的设置；基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度116；在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域204，并在所述第一代表分支区域内创建虚拟导丝203，通过将所述虚拟导丝203按照所述弯折角度116进行弯折，来确定出能够使得所述虚拟导丝203伸入所述第二代表分支区域204内期望距离117所对应的导丝的弯折距离118；显示所述弯折角度116和弯折距离118，和/或发送所述弯折角度116和弯折距离118。
该方法可以解决现有介入手术中医生对导丝的塑形缺乏参考依据，无法明确导丝塑形后的形状并且需要在导丝塑形中进行多次调整的问题。即使是新手医生基于本实施例所述的介入手术机器人系统100，依然可以针对不同血管形态得到准确的导丝塑形数据，极大的提高了医生对于导丝塑形的效率和准确性，进而提高了医生基于塑形后的导丝进行介入手术的安全性。
在本申请的一些实施例中，确定各个分支区域相较于上游的分支区域的夹角作为分支角度具体包括获取所述各个分支区域的血管的中心线，将所述中心线延长至与上游的分支区域的血管的中心线相交，以得到各个分支区域相较于上游的分支区域的夹角作为分支角度。
在本申请的一些实施例中，确定所述导丝的弯折距离118具体包括将所述虚拟导丝203置于所述第一代表分支区域的预定位置205附近；将所述虚拟导丝203按照所述弯折角度116在预设弯折点206进行弯折，并将弯折后的虚拟导丝203在所述预定位置205附近移动以及对所述预设弯折点206进行更新，得到弯折后的虚拟导丝203伸入到所述第二代表分支区域204内期望距离117时的目标弯折点；将所述虚拟导丝203的目标弯折点与所述虚拟导丝203的头部之间的距离作为所述弯折距离118。
通过调整虚拟导丝203的导丝头部伸入到第二代表分支区域204的期望距离117，能够保证真实的导丝在塑形之后能够顺利地通过各个分支区域，降低塑形后的导丝戳破血管的风险，进而提高了介入手术的安全性。
在本申请的一些实施例中，处理器101可以是包括一个或多个通用处理设备（诸如微处理器，中央处理单元（CPU），图形处理单元（GPU）等）的处理设备。更具体地说，处理器101可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器101也可以是一个或多个专用处理设备，例如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、片上系统（SoC）等等。如本领域技术人员将理解的，在一些实施例中，处理器101可以是专用处理器，而不是通用处理器。处理器101可以包括一个或多个已知处理设备，诸如由英特尔公司制造的Pentium TM、Core TM、Xeon TM或Itanium TM系列的微处理器，由AMD公司制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FX™、Phenom™系列的微处理器或太阳微系统（Sun Microsystems）制造的各种处理器的任一种。处理器101还可以包括图形处理单元，诸如来自Nvidia公司制造的GeForce®、Quadro®、Tesla®系列的GPU，由英特尔TM制造的GMA、Iris TM系列的GPU或者由AMD 公司制造的Radeon TM系列GPU。处理器101还可以包括加速的处理单元，诸如AMD公司制造的桌面A-4（6,8）系列，英特尔公司制造的Xeon Phi TM系列。另外，术语“处理器”或“图像处理器”可以包括多于一个处理器，例如，多核设计或多个处理器，所述多个处理器中的每个处理器具有多核设计。处理器101可以执行存储在存储器（未示出）中的计算机程序指令的序列，以执行本文公开的各种操作、过程、方法。
本申请的一些实施例中，结合介入手术机器人系统100描述的在介入手术机器人系统100中提供介入手术的导丝的塑形方法的各个步骤和处理过程，都可以结合于此，在此不赘述。
本申请描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行的源代码或差分代码(“增量”或“补丁”代码)(“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机制，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置等)。
本申请描述的示例性方法可以至少部分地由机器或计算机实现。在一些实施例中，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器101运行时使得所述处理器101执行本申请各个实施例所述的介入手术的导丝的塑形方法。这样的方法的实现可以包括软件代码，例如微代码、汇编语言代码、高级语言代码等。可以使用各种软件编程技术来创建各种程序或程序模块。例如，程序部分或程序模块可以用或借助Java、Python、C、C++、汇编语言或任何已知的编程语言来设计。可以将这样的软件部分或模块中的一个或多个集成到计算机系统和/或计算机可读介质中。这样的软件代码可以包括用于执行各种方法的计算机可读指令。该软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在示例中，软件代码可以有形地存储在一个或多个易失性，非暂时性或非易失性有形计算机可读介质上，例如在执行期间或在其他时间。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如光盘和数字视频盘)、盒式磁带、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。
对本申请的方法和系统可以进行各种变型和更改。鉴于所申请的系统和相关方法的描述和实践，可以由本领域的技术人员衍生出其他实施例。本申请的各个权利要求都可理解为独立实施例，并且它们之间的任意组合也用作本申请的实施例，并且这些实施例被视为都包括在本申请中。
示例仅视为示例性的，真实范围由所附权利要求书及其等效来表示。
Claims (13)
1.一种介入手术机器人系统，其特征在于，包括至少一个处理器，所述处理器被配置为：
获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置；
基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置之间的各个分支区域，或者接收各个分支区域的设置；
基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；
对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；
在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，将所述虚拟导丝置于所述第一代表分支区域的预定位置附近，将所述虚拟导丝按照所述弯折角度在预设弯折点进行弯折，并将弯折后的虚拟导丝在所述预定位置附近移动以及对所述虚拟导丝上的预设弯折点进行调整，得到弯折后的虚拟导丝伸入到所述第二代表分支区域内期望距离时的目标弯折点；
将所述虚拟导丝的目标弯折点与所述虚拟导丝的头部之间的距离作为弯折距离；
显示所述弯折角度和弯折距离，和/或发送所述弯折角度和弯折距离。
2.根据权利要求1所述的介入手术机器人系统，其特征在于，所述初始位置和目标位置由所述处理器基于所述血管的术中造影图像分析得到，或者由用户在所述血管的术中造影图像上标记出。
3.根据权利要求1所述的介入手术机器人系统，其特征在于，所述介入手术机器人系统还包括显示器，所述显示器被配置为：
在术中造影图像上显示所述各个分支区域，并根据来自于所述处理器的权重相关指令来与各个分支区域相关联地显示、确定或修改对应的权重；
所述处理器进一步配置为：响应于用户与权重相关指令的操作，而相应地发出显示、确定或修改对应权重的权重相关指令。
4.根据权利要求1所述的介入手术机器人系统，其特征在于，确定各个分支区域相较于上游的分支区域的夹角作为分支角度具体包括：
获取所述各个分支区域的血管的中心线，将所述中心线延长至与上游的分支区域的血管的中心线相交，以得到各个分支区域相较于上游的分支区域的夹角作为分支角度。
5.根据权利要求1所述的介入手术机器人系统，其特征在于，还包括DSA设备，所述DSA设备用于采集术中造影图像；
基于术中造影图像，确定各个分支区域对应的权重具体包括：
对所述术中造影图像进行分析，确定处于上游的第一分支区域的权重高于处于下游的第二分支区域的权重；
或，接收对各个分支区域的权重的设置。
6.根据权利要求1所述的介入手术机器人系统，其特征在于，所述预定位置为：第一代表分支区域的远离所述第二代表分支区域的血管壁内侧的邻近区域。
7.根据权利要求3所述的介入手术机器人系统，其特征在于，所述显示器进一步配置为：显示所述导丝的目标弯折点、弯折距离和弯折角度。
8.根据权利要求7所述的介入手术机器人系统，其特征在于，所述显示器进一步配置为：显示基于所述目标弯折点、弯折距离和弯折角度确定出的虚拟导丝的最终形态。
9.根据权利要求7所述的介入手术机器人系统，其特征在于，所述处理器进一步配置为：接收用户对目标弯折点、弯折距离和弯折角度进行确认或修改的交互操作，在接收到用户的确认操作后，将所确认的目标弯折点、弯折距离和弯折角度发送到对导丝执行塑形操作的辅助装置；
在接收到用户的修改操作后，响应于所述修改操作而修改目标弯折点、弯折距离和/或弯折角度，以供所述显示器显示。
10.根据权利要求1、2或5所述的介入手术机器人系统，其特征在于，所述术中造影图像各自包括二维图像或者三维图像。
11.一种介入手术的导丝的塑形方法，其特征在于，包括：
获取导丝在血管的术中造影图像中意图的初始位置和到达的目标位置；
基于所述血管的术中造影图像识别出其中位于所述初始位置和目标位置之间的各个分支区域，或者接收各个分支区域的设置；
基于所述血管的术中造影图像及各个分支区域，确定各个分支区域相较于上游的分支区域的夹角作为分支角度；
对各个分支区域的分支角度利用各自对应的权重进行加权求和，得到所述导丝的弯折角度；
在多个分支区域中确定要引入所述导丝的第一代表分支区域及从其分支出的第二代表分支区域，并在所述第一代表分支区域内创建虚拟导丝，将所述虚拟导丝置于所述第一代表分支区域的预定位置附近，将所述虚拟导丝按照所述弯折角度在预设弯折点进行弯折，
并将弯折后的虚拟导丝在所述预定位置附近移动以及对所述虚拟导丝上的预设弯折点进行调整，得到弯折后的虚拟导丝伸入到所述第二代表分支区域内期望距离时的目标弯折点；
将所述虚拟导丝的目标弯折点与所述虚拟导丝的头部之间的距离作为弯折距离；
显示所述弯折角度和弯折距离，和/或发送所述弯折角度和弯折距离。
12.根据权利要求11所述的塑形方法，其特征在于，确定各个分支区域相较于上游的分支区域的夹角作为分支角度具体包括：
获取所述各个分支区域的血管的中心线，将所述中心线延长至与上游的分支区域的血管的中心线相交，以得到各个分支区域相较于上游的分支区域的夹角作为分支角度。
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求11或12所述的介入手术的导丝的塑形方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310666127.6A CN116392257B (zh) | 2023-06-07 | 2023-06-07 | 一种介入手术机器人系统、导丝的塑形方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310666127.6A CN116392257B (zh) | 2023-06-07 | 2023-06-07 | 一种介入手术机器人系统、导丝的塑形方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116392257A CN116392257A (zh) | 2023-07-07 |
| CN116392257B true CN116392257B (zh) | 2023-10-10 |
Family
ID=87016489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310666127.6A Active CN116392257B (zh) | 2023-06-07 | 2023-06-07 | 一种介入手术机器人系统、导丝的塑形方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116392257B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110507415A (zh) * | 2019-08-13 | 2019-11-29 | 广州新脉科技有限公司 | 微导管虚拟介入的路径模拟方法及装置 |
| CN112168361A (zh) * | 2020-10-29 | 2021-01-05 | 上海工程技术大学 | 一种有效缓解时延影响的导管手术机器人位姿预测方法 |
| CN112270740A (zh) * | 2020-10-10 | 2021-01-26 | 孟自力 | 一种介入手术用导丝训练模型及其构建方法 |
| CN112888369A (zh) * | 2018-10-25 | 2021-06-01 | 皇家飞利浦有限公司 | 对介入设备的基于图像的引导 |
| CN113069193A (zh) * | 2021-04-28 | 2021-07-06 | 复旦大学附属中山医院 | 一种经桡动脉入路脑血管介入套管组件 |
| CN115624393A (zh) * | 2022-12-21 | 2023-01-20 | 北京唯迈医疗设备有限公司 | 一种介入手术机器人系统、提供操纵提示的方法 |
| CN115690755A (zh) * | 2022-10-27 | 2023-02-03 | 珠海市人民医院 | 导丝介入形态识别方法、导丝弯曲势能超限判别方法及介入机器人 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102305965B1 (ko) * | 2021-05-25 | 2021-09-29 | 재단법인 아산사회복지재단 | 가이드와이어 검출 방법 및 장치 |
-
2023
- 2023-06-07 CN CN202310666127.6A patent/CN116392257B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112888369A (zh) * | 2018-10-25 | 2021-06-01 | 皇家飞利浦有限公司 | 对介入设备的基于图像的引导 |
| CN110507415A (zh) * | 2019-08-13 | 2019-11-29 | 广州新脉科技有限公司 | 微导管虚拟介入的路径模拟方法及装置 |
| CN112270740A (zh) * | 2020-10-10 | 2021-01-26 | 孟自力 | 一种介入手术用导丝训练模型及其构建方法 |
| CN112168361A (zh) * | 2020-10-29 | 2021-01-05 | 上海工程技术大学 | 一种有效缓解时延影响的导管手术机器人位姿预测方法 |
| CN113069193A (zh) * | 2021-04-28 | 2021-07-06 | 复旦大学附属中山医院 | 一种经桡动脉入路脑血管介入套管组件 |
| CN115690755A (zh) * | 2022-10-27 | 2023-02-03 | 珠海市人民医院 | 导丝介入形态识别方法、导丝弯曲势能超限判别方法及介入机器人 |
| CN115624393A (zh) * | 2022-12-21 | 2023-01-20 | 北京唯迈医疗设备有限公司 | 一种介入手术机器人系统、提供操纵提示的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116392257A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7093801B2 (ja) | 手術中の位置調整および誘導を容易にするシステム | |
| US7650179B2 (en) | Computerized workflow method for stent planning and stenting procedure | |
| US11227427B2 (en) | Treatment procedure planning system and method | |
| US10123841B2 (en) | Method for generating insertion trajectory of surgical needle | |
| JP6453883B2 (ja) | 血管造影画像データにおいて血管をインタラクティブにセグメント化するためのセグメンテーション装置 | |
| JP6797200B2 (ja) | 血管構造内で血管内器具を誘導する助けとなるためのシステム及び同システムの作動方法 | |
| JP2012115635A (ja) | 画像処理方法、画像処理装置、画像システム及びプログラムコード | |
| EP3847956B1 (en) | Method and device for obtaining blood vessel pressure difference | |
| CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
| CN108348170B (zh) | 与侧支有关的支架撑杆检测 | |
| US10828109B2 (en) | Treatment planning for a stenosis in a vascular segment based on virtual hemodynamic analysis | |
| EP3038706B1 (en) | A system and method for visualizing information in a procedure of placing sources | |
| US8811693B2 (en) | Method and system for indicating a feeding vessel of a malformation in a medical image | |
| CN116392257B (zh) | 一种介入手术机器人系统、导丝的塑形方法和存储介质 | |
| CN114708390B (zh) | 一种生理管状结构的图像处理方法、装置及存储介质 | |
| CN115624393A (zh) | 一种介入手术机器人系统、提供操纵提示的方法 | |
| EP3457942B1 (en) | Verifying a position of an interventional device | |
| US8594765B2 (en) | Method for providing an aid for use in the therapeutic treatment of a somatic subject | |
| CN114699166A (zh) | 路径规划方法和可读存储介质 | |
| CN114782443A (zh) | 基于数据增强的动脉瘤风险评估的装置和存储介质 | |
| CN117179894B (zh) | 介入手术支架辅助选型和定位的装置、系统和存储介质 | |
| KR20170000027A (ko) | 중재시술 지원을 위한 복잡한 혈관의 3d 영상 제공 시스템 및 방법 | |
| RU2806087C1 (ru) | Интервенционная хирургическая роботизированная система, способ управления и носитель данных | |
| CN117958965A (zh) | 一种血管介入手术的术前路径规划方法及装置 | |
| KR102606914B1 (ko) | 다수 관심 영역의 레이블링 및 컨투어링의 검증을 지원하는 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |