CN106777658B - 基于放松lra约束算法的缝合模拟方法 - Google Patents
基于放松lra约束算法的缝合模拟方法 Download PDFInfo
- Publication number
- CN106777658B CN106777658B CN201611139003.9A CN201611139003A CN106777658B CN 106777658 B CN106777658 B CN 106777658B CN 201611139003 A CN201611139003 A CN 201611139003A CN 106777658 B CN106777658 B CN 106777658B
- Authority
- CN
- China
- Prior art keywords
- suture
- point
- skin
- new
- stitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 23
- 238000004088 simulation Methods 0.000 title claims abstract description 21
- 239000002245 particle Substances 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 6
- 238000009958 sewing Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000004826 seaming Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000835 fiber Substances 0.000 abstract description 2
- 208000002513 Flank pain Diseases 0.000 description 7
- 210000004872 soft tissue Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了基于放松LRA约束算法的缝合模拟方法,所述方法基于弹簧质点模型重建皮肤,利用FTL方法跟踪缝合线轨迹,使用放松LRA约束算法对皮肤在外力作用下的形变效果进行优化,模拟缝合打结过程,产生左右两个拉力更符合现实情况一针一结的缝合过程。本发明方法外力和外力与皮肤的夹角会实时影响力平衡方程从而影响缝合点的运动方程,运动方程的改变会实时影响皮肤的形变从而影响力平衡方程,两个过程相辅相成从而达成力反馈与皮肤形变的实时更新,实现快速而逼真的力反馈计算,弹簧质点模型使力反馈的求解方便快捷。
Description
技术领域
本发明涉及软组织力触觉建模技术领域,具体涉及基于放松LRA约束算法的缝合模拟方法。
背景技术
在手术过程中,缝合至关重要,通过虚拟手术训练系统可以帮助实习医生快速掌握缝合的诀窍,帮助新手医生学习缝合技术。
常用的物理模型中,弹簧质点模型具有建模简单、计算灵活、速度快的优点,但该模型稳定性差。有限元模型精度高,可保证在大形变下模型不发生失真,但在计算力反馈和形变时比较复杂。因此,具有良好的交互功能和形变效果的柔体模型对于虚拟手术系统来说至关重要。
发明内容
为了克服现有技术中的不足,本发明提供了基于放松LRA约束算法的缝合模拟方法,用以解决在弹簧质点模型中大形变下模型不稳定导致形变失真,以及在有限元模型中计算复杂的问题。
为了解决上述技术问题,本发明所采用的技术方案是:
基于放松LRA约束算法的缝合模拟方法,所述方法基于弹簧质点模型构建皮肤模型,采用FTL算法跟踪缝合线轨迹,采用放松LRA约束算法优化皮肤形变,包括以下步骤:
步骤一,根据医学影像,使用基于弹簧质点模型构建皮肤模型,采用拓扑结构为四边形的弹簧质点模型构建皮肤模型,
步骤二,采用跟踪头结点FTL(Follow The Leader)算法跟踪缝合线轨迹,使用与缝合线段数相同的小圆柱体模拟缝合线,其具体计算过程为:使用FTL方法计算各个缝合线质点的新位置,设点α受外力作用从位置Pα,old运动到新位置Pα,new,则它相邻质点α+1的新位置Pα+1,new就是沿Pα+1,old到Pα,new方向移动一个单位长度P,该过程的数学公式表达如下,
Pα+1,new=Pα,new+P
其中,P为从Pα+1,old到Pα,new方向的一个单位长度,Pα+1,old为与质点α相邻的质点α+1的旧位置,Pα,new为缝合线上质点α的新位置,Pα+1,new为质点α+1的新位置,||·||为范数符号,用于求向量的长度;
步骤三,采用放松长距离依附约束LRA(Long Range Attachment)算法对皮肤形变模拟进行优化,其具体过程为:
设j为缝合点,i为与缝合点相邻的质点,计算原始距离为质点i和j的初始距离,质点i的坐标随缝合点j的坐标变化而变化,若质点i超出了理想距离di,则将它约束至以j为球心,di为半径的轨道上,di数学表达如下,
步骤四,皮肤在缝合线的拉动下发生形变,通过皮肤的形变大小计算皮肤弹簧拉力,其具体过程为:
相邻各质点i对缝合点j产生阻碍形变的弹簧力,其在缝合线方向上的合力计算如下:
其中,F为缝合点受到的皮肤弹簧拉力,projN(·)代表求括号内向量在N方向上的投影,N为以缝合点为起点沿缝合线反方向的单位向量,σ(i)为受形变影响的质点集合,k为弹簧弹性系数;
步骤五,根据上一步得出的弹簧拉力,对缝合点进行打结力模拟,其技术方案为:
设缝合线与皮肤的夹角为θ,皮肤下方的缝合线对缝合点j有一个以缝合点为起点沿皮肤下方缝合线方向的水平拉力Fdown,同时皮肤上方的缝合线对缝合点有一个大小相等的以缝合点为起点沿皮肤上方缝合线方向的拉力Fup,缝合点在这两个拉力的作用下发生形变,Fdown和Fup大小相等方向不同,只考虑皮肤在切向上的形变,考察缝合过程的切向力平衡方程:
Fup·cosθ+Fdown-F=aj·mj
其中Fup和Fdown大小相等为缝合线拉力,θ为缝合线与皮肤的夹角,aj为缝合点j的加速度,mj为缝合点j的质量,
步骤六,更新缝合点的坐标及速度;
根据力的平衡方程计算得到的加速度实时更新缝合点的坐标和速度,运动方程如下,
本发明的有益效果是:
基于放松型LRA约束算法的弹簧质点模型可以在较好控制缝合过程中柔体的形变的前提下实现快速而逼真的力反馈计算,相辅相成的形变更新和力反馈更新让系统具有良好的交互性,本发明的技术效果包括:①基于弹簧质点模型的皮肤重建不但能很好地表现皮肤均匀的质感,而且计算简单;②基于FTL算法的缝合线轨迹跟踪表现了缝合线的真实感和立体感;③基于放松型LRA约束算法防止皮肤在大形变下失真,弥补了弹簧质点模型的不稳定性;④采用一针一结的模拟方式,让缝合模拟更符合医学逻辑;⑤通过力平衡方程实时更新运动方程,通过运动方程实时更新缝合点的坐标及速度,从而更新弹簧力和力平衡方程,实现力反馈与皮肤形变的实时更新。
附图说明
图1是本发明的流程示意图。
图2是左侧皮肤表面在缝合线的拉动下的形变示意图。
图3是形变平面横截面的受力示例图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,本发明的基于放松型LRA约束的缝合打结模拟算法,包括以下步骤:
步骤一,基于弹簧质点模型进行皮肤模型重建。
基于弹簧质点模型进行皮肤模型重建属于现有技术,就是将目标软组织表面用弹簧质点模型表达,由于皮肤的质量分布相对均匀,所以采用如图2所示的弹簧质点模型拓扑结构——质点分布均匀的四边形拓扑结构。使用弹簧质点模型不但可以很好地表现皮肤组织,而且使软组织重建快捷简单、计算方便。
步骤二,采用基于FTL算法对缝合线进行轨迹跟踪。
基于FTL算法对缝合线进行轨迹跟踪属于现有技术,使用与缝合线段数相同的若干个小圆柱体模拟缝合线,其具体计算过程为:使用FTL方法计算各个缝合线质点的新位置,设点α受外力作用从Pα,old运动到Pα,new,则它相邻质点α+1的新位置就是沿Pα+1,old到Pα,new方向移动一个单位长度。该过程的数学公式表达如下,
Pα+1,new=Pα,new+P
其中,P为从Pα+1,old到Pα,new方向的一个单位长度,Pα+1,old为与质点α相邻的质点α+1的旧位置,Pα,new为缝合线上质点α的新位置,Pα+1,new为质点α+1的新位置,||·||为范数符号,用于求向量的长度,基于FTL的缝合线轨迹跟踪使得缝合线更为逼真,表现了缝合线的立体感,还可以调节缝合线的长短、粗细。
步骤三,采用基于放松型LRA约束算法对皮肤形变模拟进行优化。
原始的LRA约束被用来处理不可延展的布料,核心思想是将质点以原始距离约束在缝合点上。在软组织中,离缝合点更远的质点更容易被拉扯,因此需要改良LRA方法使其适用于软组织结构,即放松型LRA约束,其具体计算过程为:
以左侧缝合点jleft为例,右侧缝合点类似,其主要算法描述如下:计算左侧初始距离为左侧质点ileft和jleft的初始距离,ileft的坐标随左侧缝合点jleft坐标的变化而变化,若ileft超出了左侧理想距离di,left,则将它约束至以jleft为球心,以di,left为半径的轨道上,di,left数学表达如下,
其中di,left是左侧质点ileft和左侧缝合点jleft的左侧理想距离,是ileft和jleft的初始距离,β是用户定义的放松参数,β会影响到皮肤的刚度,xj,left为左侧缝合点jleft的坐标,xi,left为左侧质点ileft的坐标。
如图2所示的左侧皮肤在缝合线的拉力下发生形变,基于放松型LRA约束算法的形变模拟防止皮肤在大形变下发生失真,弥补了弹簧质点模型的不稳定性,同时提供了方便的计算和写实的模拟。
步骤四,通过皮肤形变计算皮肤弹簧拉力。
当皮肤发生形变时,如图2所示,左侧质点ileft对左侧缝合点jleft产生阻碍形变的弹簧力,其在左侧缝合线方向上的合力计算如下:
其中Fleft为左侧缝合点受到的左侧皮肤弹簧拉力,代表求括号内向量在Nleft方向上的投影,Nleft为以左侧缝合点jleft为起点沿缝合线反方向的单位向量,σ(i)为受形变影响的质点下标合集,k为弹簧弹性系数,di,left是左侧质点ileft和左侧缝合点jleft的左侧理想距离,是左侧质点ileft和缝合点jleft的左侧初始距离。
步骤五,对左右两个缝合点分别进行打结力模拟。
医学缝合中,缝合线自皮肤下部穿过裂口两侧后,通过打结拉紧伤口并完成缝合,皮肤在打结时才发生形变,因此打结模拟是缝合模拟的关键,采用一针一结的模拟方式;本过程不模拟针和穿刺过程,只模拟打结时的形变过程和这一过程中的力反馈,其具体计算过程为:
在打结过程中,此时缝合线处于绷紧状态,为了方便模拟,近似认为缝合线在伤口上方交叉拉动,如图3力示意图,此时左手缝合线与皮肤的夹角为θ1,右手缝合线与皮肤的夹角为θ2,皮肤下方的缝合线对左缝合点jleft有一个以jleft为起点沿缝合线方向的水平拉力Fleft,down,对右缝合点jright有一个以jright为起点沿缝合线方向的水平拉力Fright,down,同时皮肤上方的缝合线对左右缝合点分别有一个大小相等的斜向上的沿缝合线方向的拉力Fleft,up和Fright,up,两侧缝合点在这两个拉力的作用下分别发生形变。由于在同一根线上的拉力大小处处相等,因此Fleft,down、Fright,down、Fleft,up和Fright,up大小相等,方向不同,以左侧缝合点jleft为考察点考察力的切向和法向力平衡方程,右侧缝合点jright类似,如下:
其中Fleft,down、Fright,down、Fleft,up和Fright,up为左侧缝合线上的拉力,其大小相等,θ2为左侧缝合线与皮肤的夹角,aleft为左侧缝合点的加速度,mj,left为左侧缝合点的质量,Fstick为粘合力,其大小与其他力的法向分量大小之和相等,用来抵消皮肤在法向上受到的力,从而消除皮肤在法向上的形变。
步骤六,更新左右缝合点的坐标及速度。
根据力的平衡方程计算得到的加速度实时更新缝合点的坐标和速度,与缝合点相邻或相近的若干质点通过改良的LRA约束算法更新位置,以左侧缝合点jleft为例,右侧缝合点jright类似,具体计算如下,
力平衡方程与运动方程相互影响,两个过程相辅相成,简单的缝合线角度改变和外力大小改变将会影响整个缝合打结模拟系统,从而实现力反馈与皮肤形变的实时更新。
本发明算法可以在计算简单的同时确保稳定的变形模拟,在交互过程中,操作者可以感受到逼真的触觉信息。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (1)
1.一种基于放松LRA约束算法的缝合模拟方法,所述方法基于弹簧质点模型构建皮肤模型,采用FTL算法跟踪缝合线轨迹,采用放松LRA约束算法优化皮肤形变,其特征在于,包括以下步骤:
步骤一,根据医学影像,使用基于弹簧质点模型构建皮肤模型,采用拓扑结构为四边形的弹簧质点模型构建皮肤模型,
步骤二,采用跟踪头结点FTL算法跟踪缝合线轨迹,使用与缝合线段数相同的小圆柱体模拟缝合线,其具体计算过程为:使用FTL方法计算各个缝合线质点的新位置,设点α受外力作用从位置Pα,old运动到新位置Pα,new,则它相邻质点α+1的新位置Pα+1,new就是沿Pα+1,old到Pα,new方向移动一个单位长度P,该过程的数学公式表达如下,
Pα+1,new=Pα,new+P
其中,P为从Pα+1,old到Pα,new方向的一个单位长度,Pα+1,old为与质点α相邻的质点α+1的旧位置,Pα,new为缝合线上质点α的新位置,Pα+1,new为质点α+1的新位置,||·||为范数符号,用于求向量的长度;所述FTL为英文Follow The Leader的首字母缩写;
步骤三,采用放松长距离依附约束LRA算法对皮肤形变模拟进行优化,其具体过程为:
设j为缝合点,i为与缝合点相邻的质点,计算原始距离为质点i和j的初始距离,质点i的坐标随缝合点j的坐标变化而变化,若质点i超出了理想距离di,则将它约束至以j为球心,di为半径的轨道上,di数学表达如下,
其中di是质点i和缝合点j的理想距离,是质点i和缝合点j的初始距离,β是用户定义的放松参数,xj为缝合点j的坐标,xi为质点i的坐标;所述LRA为英文Long RangeAttachment的首字母缩写;
步骤四,皮肤在缝合线的拉动下发生形变,通过皮肤的形变大小计算皮肤弹簧拉力,其具体过程为:
相邻各质点i对缝合点j产生阻碍形变的弹簧力,其在缝合线方向上的合力计算如下:
其中,F为缝合点受到的皮肤弹簧拉力,projN(·)代表求括号内向量在N方向上的投影,N为以缝合点为起点沿缝合线反方向的单位向量,σ(i)为受形变影响的质点集合,k为弹簧弹性系数;
步骤五,根据上一步得出的弹簧拉力,对缝合点进行打结力模拟,其技术方案为:
设缝合线与皮肤的夹角为θ,皮肤下方的缝合线对缝合点j有一个以缝合点为起点沿皮肤下方缝合线方向的水平拉力Fdown,同时皮肤上方的缝合线对缝合点有一个大小相等的以缝合点为起点沿皮肤上方缝合线方向的拉力Fup,缝合点在这两个拉力的作用下发生形变,Fdown和Fup大小相等方向不同,只考虑皮肤在切向上的形变,考察缝合过程的切向力平衡方程:
Fup·cosθ+Fdown-F=aj·mj
其中Fup和Fdown大小相等为缝合线拉力,θ为缝合线与皮肤的夹角,aj为缝合点j的加速度,mj为缝合点j的质量,
步骤六,更新缝合点的坐标及速度;
根据力的平衡方程计算得到的加速度实时更新缝合点的坐标和速度,运动方程如下,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611139003.9A CN106777658B (zh) | 2016-12-12 | 2016-12-12 | 基于放松lra约束算法的缝合模拟方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611139003.9A CN106777658B (zh) | 2016-12-12 | 2016-12-12 | 基于放松lra约束算法的缝合模拟方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106777658A CN106777658A (zh) | 2017-05-31 |
CN106777658B true CN106777658B (zh) | 2020-02-18 |
Family
ID=58879977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611139003.9A Active CN106777658B (zh) | 2016-12-12 | 2016-12-12 | 基于放松lra约束算法的缝合模拟方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106777658B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996396A (zh) * | 2006-12-21 | 2007-07-11 | 上海交通大学 | 基于受力分析和形变的计算机切割与缝合模拟方法 |
WO2009094621A3 (en) * | 2008-01-25 | 2009-10-29 | University Of Florida Research Foundation, Inc. | Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment |
CN102262699A (zh) * | 2011-07-27 | 2011-11-30 | 华北水利水电学院 | 基于无网格伽辽金与质点弹簧耦合的软组织形变仿真方法 |
CN103400023A (zh) * | 2013-06-28 | 2013-11-20 | 华北水利水电大学 | 软组织形变仿真方法 |
CN106384381A (zh) * | 2016-08-31 | 2017-02-08 | 北京维盛视通科技有限公司 | 二维服装版片的三维展示方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4503312B2 (ja) * | 2004-02-26 | 2010-07-14 | 株式会社島精機製作所 | ニットガーメントの着装シミュレーション方法とその装置、並びにそのプログラム |
-
2016
- 2016-12-12 CN CN201611139003.9A patent/CN106777658B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1996396A (zh) * | 2006-12-21 | 2007-07-11 | 上海交通大学 | 基于受力分析和形变的计算机切割与缝合模拟方法 |
WO2009094621A3 (en) * | 2008-01-25 | 2009-10-29 | University Of Florida Research Foundation, Inc. | Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment |
CN102262699A (zh) * | 2011-07-27 | 2011-11-30 | 华北水利水电学院 | 基于无网格伽辽金与质点弹簧耦合的软组织形变仿真方法 |
CN103400023A (zh) * | 2013-06-28 | 2013-11-20 | 华北水利水电大学 | 软组织形变仿真方法 |
CN106384381A (zh) * | 2016-08-31 | 2017-02-08 | 北京维盛视通科技有限公司 | 二维服装版片的三维展示方法及装置 |
Non-Patent Citations (4)
Title |
---|
《基于位置约束的布料动态模拟研究》;蓝磊;《万方数据库.学位论文库》;20150106;全文 * |
Long Range Attachments-A Method to Simulate Inextensible Clothing in Computer Games;Tae-Yong Kim 等;《Eurographics/ ACM SIGGRAPH Symposium on Computer Animation》;20121231;全文 * |
虚拟手术中缝合仿真的初步研究;贾世宇 等;《系统仿真学报》;20120831;第24卷(第8期);第1618-1623页 * |
虚拟手术中缝合过程的相关技术;吕梦雅 等;《吉林大学学报(工学版)》;20130331;第43卷(第S期);第16-20页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106777658A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dontcheva et al. | Layered acting for character animation | |
CN105654537A (zh) | 一种实现与虚拟角色实时互动的表情克隆方法及装置 | |
CN101533523B (zh) | 一种虚拟人眼部运动控制方法 | |
CN102663197A (zh) | 一种基于运动捕获的虚拟手抓取的仿真方法 | |
CN103760981B (zh) | 一种磁场可视化及交互方法 | |
US11250726B2 (en) | System for simulation of soft bodies | |
CN105205867A (zh) | 一种微创虚拟腹主动脉血管手术中的碰撞检测方法 | |
CN104268920A (zh) | 一种利用布娃娃物理系统模拟人物角色死亡的方法 | |
CN107146288A (zh) | 虚拟手术中支持实时按压形变的软组织模型建模方法 | |
Thiebaux et al. | Real-time expressive gaze animation for virtual humans | |
CN107688720A (zh) | 一种基于位置动力学和生物热传导方程的实时软组织灼烧仿真方法 | |
CN106777658B (zh) | 基于放松lra约束算法的缝合模拟方法 | |
CN110363841A (zh) | 一种虚拟驾驶环境中手部运动跟踪方法 | |
CN117113452A (zh) | 一种肌肉模型及其构建方法和运动模拟方法 | |
CN108687743A (zh) | 基于振动和气动结合的触觉反馈外骨骼装置 | |
CN101540057B (zh) | 虚拟动物驱动方法和装置 | |
CN106650251B (zh) | 一种针灸力反馈形变模型的建模方法 | |
CN102855353B (zh) | 一种埋藏式缝合技术的实时模拟方法 | |
CN115908651A (zh) | 一种三维人体模型与骨架的同步更新方法及电子设备 | |
Çetinaslan | Position manipulation techniques for facial animation | |
Uribe-Quevedo et al. | Customization of a low-end haptic device to add rotational DOF for virtual cardiac auscultation training | |
JP2000047566A (ja) | 物体の毛並接触感シミュレーション装置 | |
Dai | Design and implementation of Unity3D virtual reality-based simulation system for dance studies | |
Zhou et al. | Design and Research of a Physical Aerobics Simulation System Based on Virtual Reality (VR) Technology | |
Ferguson | Lessons from digital puppetry: updating a design framework for a perceptual user interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |