CN107633543A - 考虑局部拓扑结构的线条形状对应方法 - Google Patents
考虑局部拓扑结构的线条形状对应方法 Download PDFInfo
- Publication number
- CN107633543A CN107633543A CN201710720886.0A CN201710720886A CN107633543A CN 107633543 A CN107633543 A CN 107633543A CN 201710720886 A CN201710720886 A CN 201710720886A CN 107633543 A CN107633543 A CN 107633543A
- Authority
- CN
- China
- Prior art keywords
- line
- local
- lines
- shape
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000949477 Toona ciliata Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种考虑局部拓扑结构的线条形状对应方法,给定两个由线条组成的平面形状,自动建立两个形状之间的线条一一对应关系,在对应过程中考虑形状的局部拓扑结构,本发明显著提升了形状之间线条对应的准确性,最终有效解决了线条形状的对应问题。
Description
技术领域
本发明涉及二维角色动画技术以及二维线条形状内插技术领域,尤其是涉及一种实用性好的考虑局部拓扑结构的线条形状对应方法。
背景技术
在政府的大力支持下,国内动漫产业近年来发展迅速,动漫产量亦大幅提升。然而,传统的手绘二维动画需要大量制作时间和高额制作成本。为了辅助二维动画制作,国内外研发了许多二维动画制作商业软件,例如Adobe Flash、Toon Boom Studio等。这些商业软件主要实现了所谓的“无纸卡通”功能,即把传统的动画师纸上绘画转为让动画师通过数位板在计算机上绘画,以方便动画素材的编辑和管理。但是,动画师仍需要一帧一帧地绘制二维动画序列,工作量仍然非常巨大。因此,研发智能化的二维动画技术,以自动生成二维动画序列,从而有效提高二维动画的制作效率并降低其制作成本,具有现实的社会和经济意义。
二维形状内插是计算机动画领域中的一项重要技术,被广泛应用于二维关键帧矢量动画系统中。该技术可以实现相邻关键帧中所包含角色姿态的光滑过渡,从而自动生成关键帧之间的角色动画序列。在实际二维矢量动画中,一个角色姿态对应着一个二维形状,通常由一组线条表示而成,其中的若干条线条对应着角色的一个特征(如图1)。为了实现表示相邻两个角色姿态的两个形状之间的光滑过渡(如图3)。,二维形状内插技术需要解决一个基本问题:如何关联两个角色姿态上的特征,即如何建立两组线条之间的一一对应关系(如图2)。在绘制角色姿态时,动画师可以通过按照一定顺序来绘制角色上每一特征所对应的线条,以自动实现相邻角色姿态之间的线条对应。但是,这将极大地限制动画师的创作自由,最终影响创作效率和质量。一种简单有效的方法是让用户通过手工指定来建立两组线条之间的对应,但是这需要较多的人工交互,从而降低了制作效率。虽然人们提出了一些自动的线条对应方法,但是这些方法常常产生不正确的对应结果,仍需要较多的手工交互来纠正结果。因此,如何降低人工交互量并保证产生正确的线条对应结果是二维形状对应方法亟需解决的问题。
发明内容
本发明的发明目的是为了克服现有技术中的二维形状内插方法人工交互量大的不足,提供了一种实用性好的考虑局部拓扑结构的线条形状对应方法。
为了实现上述目的,本发明采用以下技术方案:
一种考虑局部拓扑结构的线条形状对应方法,包括如下步骤:
(1-1)基于线条相对位置关系的局部拓扑结构
给定两个线条形状,分别称为源形状和目标形状;其中,源形状由一组线条组成,令为目标形状由一组线条组成,令为
(1-1-1)对于源形状中的每一根线条如果源形状中的另一根线条与其距离小于给定阈值,则称线条为线条的邻域线条,称线条的所有邻域线条的集合为线条的局部邻域;根据源形状中的每一根线条及其局部邻域,建立源形状在线条处的局部拓扑结构;
(1-1-2)对于目标形状中的每一根线条如果目标形状中的另一根线条与其距离小于给定阈值,则称线条为线条的邻域线条,称线条的所有邻域线条的集合为线条的局部邻域;根据目标形状中的每一根线条及其局部邻域,建立目标形状在线条处的局部拓扑结构;
(1-2)确定线条之间的相似性度量尺度
在上均匀采样M个点,令为再在上均匀采样M个点,令为
利用最小化目标函数计算得到线条到线条的最优旋转矩阵Ro;
其中,
令和之间的相似性度量尺度为
(1-3)考虑局部拓扑结构的线条对应
针对源形状上的线条集合和目标形状上的线条集合建立和中线条之间的一一对应关系。
本发明给定两个由线条组成的平面形状,自动建立两个形状之间的线条一一对应关系,在对应过程中考虑形状的局部拓扑结构,本发明显著提升了形状之间线条对应的准确性,最终有效解决了线条形状的对应问题,增强了二维形状内插技术的实用性,降低人工交互量,提高工作效率,进而推动智能化二维动画技术的发展。
作为优选,采用如下步骤建立源形状在线条处的局部拓扑结构:
(2-1)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,以主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
(2-2)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标为线条相对线条的局部位置;
(2-3)将局部邻域中所有线条的局部位置的集合构成源形状在线条处的局部拓扑结构。
作为优选,采用如下步骤建立目标形状在线条处的局部拓扑结构:
(3-1)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,以主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
(3-2)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标为线条相对线条的局部位置;
(3-3)局部邻域中所有线条的局部位置的集合构成目标形状在线条处的局部拓扑结构。
作为优选,步骤(1-3)包括如下步骤:
(4-1)根据一对线条之间的相似性度量尺度一一计算中每根线条与中每根线条之间的相似性度量,找到相似性度量值最小的那对线条,把它们作为一对候选匹配线条,并放入到一个初始为空的表H中;
(4-2)依次从表H中取出相似性度量值最小的那对候选匹配线条,直到表H为空;
(4-2-1)令从表H取出的线条对中的源线条为目标线条为建立和之间的对应关系;
(4-2-2)对于局部邻域中的每条线条令相对的局部位置为(x1,y1);对于局部邻域中的每条线条令相对的局部位置为(x2,y2);计算向量(x1,y1)与向量(x2,y2)之间的角度θ,如果θ小于一个给定的阈值,则计算与之间的相似性度量尺度并把线条对与作为一对候选匹配线条,同时放到表H中。
因此,本发明具有如下有益效果:显著提升了形状之间线条对应的准确性,最终有效解决了线条形状的对应问题;增强了二维形状内插技术的实用性,降低人工交互量,提高工作效率。
附图说明
图1是一个二维角色的两个姿态图;
图2是本发明自动建立的两组线条之间的一种对应示例图;
图3是本发明建立的对应源和目标形状之间的一种过渡序列图;
图4是本发明的一种流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图4所示的实施例是一种考虑局部拓扑结构的线条形状对应方法,包括如下步骤:
步骤100,基于线条相对位置关系的局部拓扑结构
如图1所示,给定两个线条形状,分别称为源形状和目标形状。其中,源形状由一组线条组成,令为目标形状由一组线条组成,令为
步骤110,对于源形状中的每一根线条如果源形状中的另一根线条与其距离小于给定阈值,阈值默认值为18,则称线条为线条的邻域线条,另外称线条的所有邻域线条的集合为线条的局部邻域;根据源形状中的每一根线条及其局部邻域,算法通过如下方法来表示源形状在线条处的局部拓扑结构:
a)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
b)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标即为线条相对线条的局部位置;
c)局部邻域中所有线条的局部位置的集合即构成了源形状在线条处的局部拓扑结构。
步骤120,对于目标形状中的每一根线条如果目标形状中的另一根线条与其距离小于给定阈值,则称线条为线条的邻域线条,另外称线条的所有邻域线条的集合为线条的局部邻域;根据目标形状中的每一根线条及其局部邻域,算法通过如下方法来表示目标形状在线条处的局部拓扑结构:
a)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
b)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标即为线条相对线条的局部位置;
c)局部邻域中所有线条的局部位置的集合即构成了目标形状在线条处的局部拓扑结构。
步骤200,线条之间的相似性度量尺度
给定一根源形状上的线条和一根目标形状上的线条算法首先在上均匀采样M个点,令为再在上均匀采样M个点,令为
然后,通过最小化如下的目标函数,计算得到线条到线条的最优旋转矩阵Ro:
其中,
最后,令和之间的相似性度量尺度为其值为:
最小化方程中的目标函数为一个二次方程,因此最小化目标函数对应着一个最小二乘问题
步骤300,考虑局部拓扑结构的线条对应
针对源形状上的线条集合和目标形状上的线条集合算法通过如下步骤建立和中线条之间的一一对应关系(结果如图2所示)。
步骤1:根据一对线条之间的相似性度量尺度一一计算中每根线条与中每根线条之间的相似性度量,找到相似性度量值最小的那对线条,把它们作为一对候选匹配线条,并放入到一个初始为空的表H中;
步骤2:依次从表H中取出相似性度量值最小的那对候选匹配线条,直到表H为空;
步骤2.1:令从表H取出的线条对中的源线条为目标线条为建立和之间的对应关系(注:和中的下标i值不一定相等);
步骤2.2:对于局部邻域中的每条线条令其相对的局部位置为(x1,y1);对于局部邻域中的每条线条令其相对的局部位置为(x2,y2);计算向量(x1,y1)与向量(x2,y2)之间的角度θ,如果θ小于一个给定的阈值,则计算与之间的相似性度量尺度并把线条对与作为一对候选匹配线条,同时放到表H中。
应理解,本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (4)
1.一种考虑局部拓扑结构的线条形状对应方法,其特征是,包括如下步骤:
(1-1)基于线条相对位置关系的局部拓扑结构
给定两个线条形状,分别称为源形状和目标形状;其中,源形状由一组线条组成,令为目标形状由一组线条组成,令为
(1-1-1)对于源形状中的每一根线条如果源形状中的另一根线条与其距离小于给定阈值,则称线条为线条的邻域线条,称线条的所有邻域线条的集合为线条的局部邻域;根据源形状中的每一根线条及其局部邻域,建立源形状在线条处的局部拓扑结构;
(1-1-2)对于目标形状中的每一根线条如果目标形状中的另一根线条与其距离小于给定阈值,则称线条为线条的邻域线条,称线条的所有邻域线条的集合为线条的局部邻域;根据目标形状中的每一根线条及其局部邻域,建立目标形状在线条处的局部拓扑结构;
(1-2)确定线条之间的相似性度量尺度
在上均匀采样M个点,令为在上均匀采样M个点,令为
利用最小化目标函数计算得到线条到线条的最优旋转矩阵Ro;
其中,
令和之间的相似性度量尺度为
<mrow>
<mi>S</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mn>1</mn>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>R</mi>
<mi>o</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>q</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mi>M</mi>
</mfrac>
<mo>;</mo>
</mrow>
(1-3)考虑局部拓扑结构的线条对应
针对源形状上的线条集合和目标形状上的线条集合建立和中线条之间的一一对应关系。
2.根据权利要求1所述的考虑局部拓扑结构的线条形状对应方法,其特征是,采用如下步骤建立源形状在线条处的局部拓扑结构:
(2-1)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,以主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
(2-2)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标为线条相对线条的局部位置;
(2-3)将局部邻域中所有线条的局部位置的集合构成源形状在线条处的局部拓扑结构。
3.根据权利要求1所述的考虑局部拓扑结构的线条形状对应方法,其特征是,采用如下步骤建立目标形状在线条处的局部拓扑结构:
(3-1)使用线条上的顶点,进行PCA主元分析,求出线条的主方向,以主方向为x轴,以主方向的垂直方向为y轴,并以线条的重心为原点,建立一个局部坐标系
(3-2)对局部邻域中的每根线条计算线条的重心在局部坐标系中的局部坐标,称局部坐标为线条相对线条的局部位置;
(3-3)局部邻域中所有线条的局部位置的集合构成目标形状在线条处的局部拓扑结构。
4.根据权利要求1所述的考虑局部拓扑结构的线条形状对应方法,其特征是,步骤(1-3)包括如下步骤:
(4-1)根据一对线条之间的相似性度量尺度一一计算中每根线条与中每根线条之间的相似性度量,找到相似性度量值最小的那对线条,把它们作为一对候选匹配线条,并放入到一个初始为空的表H中;
(4-2)依次从表H中取出相似性度量值最小的那对候选匹配线条,直到表H为空;
(4-2-1)令从表H取出的线条对中的源线条为和目标线条为建立和之间的对应关系;
(4-2-2)对于局部邻域中的每条线条令相对的局部位置为(x1,y1);对于局部邻域中的每条线条令相对的局部位置为(x2,y2);计算向量(x1,y1)与向量(x2,y2)之间的角度θ,如果θ小于一个给定的阈值,则计算与之间的相似性度量尺度并把线条对与作为一对候选匹配线条,同时放到表H中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710720886.0A CN107633543B (zh) | 2017-08-21 | 2017-08-21 | 考虑局部拓扑结构的线条形状对应方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710720886.0A CN107633543B (zh) | 2017-08-21 | 2017-08-21 | 考虑局部拓扑结构的线条形状对应方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107633543A true CN107633543A (zh) | 2018-01-26 |
CN107633543B CN107633543B (zh) | 2020-12-08 |
Family
ID=61100629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710720886.0A Active CN107633543B (zh) | 2017-08-21 | 2017-08-21 | 考虑局部拓扑结构的线条形状对应方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107633543B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116416417A (zh) * | 2023-06-09 | 2023-07-11 | 远洋装饰工程股份有限公司 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208360B1 (en) * | 1997-03-10 | 2001-03-27 | Kabushiki Kaisha Toshiba | Method and apparatus for graffiti animation |
CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
CN102298649A (zh) * | 2011-10-09 | 2011-12-28 | 南京大学 | 一种人体动作数据的空间轨迹检索方法 |
CN103116903A (zh) * | 2013-03-21 | 2013-05-22 | 厦门大学 | 二维动画角色动作的重定向方法 |
CN103473766A (zh) * | 2013-09-03 | 2013-12-25 | 浙江工商大学 | 一种基于视觉感知的二维形状特征点匹配方法 |
CN103489212A (zh) * | 2013-09-16 | 2014-01-01 | 浙江工商大学 | 基于用户启发的二维形状对应方法 |
CN104121902A (zh) * | 2014-06-28 | 2014-10-29 | 福州大学 | 基于Xtion摄像机的室内机器人视觉里程计实现方法 |
CN104424658A (zh) * | 2014-10-22 | 2015-03-18 | 浙江工商大学 | 一种保结构的二维形状内插方法 |
-
2017
- 2017-08-21 CN CN201710720886.0A patent/CN107633543B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208360B1 (en) * | 1997-03-10 | 2001-03-27 | Kabushiki Kaisha Toshiba | Method and apparatus for graffiti animation |
CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
CN102298649A (zh) * | 2011-10-09 | 2011-12-28 | 南京大学 | 一种人体动作数据的空间轨迹检索方法 |
CN103116903A (zh) * | 2013-03-21 | 2013-05-22 | 厦门大学 | 二维动画角色动作的重定向方法 |
CN103473766A (zh) * | 2013-09-03 | 2013-12-25 | 浙江工商大学 | 一种基于视觉感知的二维形状特征点匹配方法 |
CN103489212A (zh) * | 2013-09-16 | 2014-01-01 | 浙江工商大学 | 基于用户启发的二维形状对应方法 |
CN104121902A (zh) * | 2014-06-28 | 2014-10-29 | 福州大学 | 基于Xtion摄像机的室内机器人视觉里程计实现方法 |
CN104424658A (zh) * | 2014-10-22 | 2015-03-18 | 浙江工商大学 | 一种保结构的二维形状内插方法 |
Non-Patent Citations (6)
Title |
---|
GIRUM G.DEMISSE ET AL: "Similarity Metric For Curved Shapes In Euclidean Space", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
M. WEMAN ET AL: "Similarity and affine distance between point sets", 《PROCEEDINGS OF 12TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
WENWU YANG: "Context-Aware Computer Aided Inbetweening", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
宋婷 等: "基于骨架树的线性骨架拓扑相似性度量算法", 《红外与激光工程》 * |
曹卫权: "一种具有RST不变性的2D_3D轨迹相似性度量", 《万方数据库》 * |
杨文武 等: "基于形状插值与移动最小二乘变形的图像渐变", 《计算机辅助设计与图形学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116416417A (zh) * | 2023-06-09 | 2023-07-11 | 远洋装饰工程股份有限公司 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
CN116416417B (zh) * | 2023-06-09 | 2023-09-05 | 远洋装饰工程股份有限公司 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107633543B (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI497450B (zh) | 視訊物件追蹤方法 | |
CN111323037B (zh) | 一种移动机器人新型骨架提取的Voronoi路径规划算法 | |
CN104063898B (zh) | 一种三维点云自动补全方法 | |
CN110246100A (zh) | 一种基于角度感知块匹配的图像修复方法和系统 | |
CN110378906B (zh) | 一种基于弦切线距离的椭圆检测方法 | |
CN104463845A (zh) | 一种水火弯板特征配准点的选取方法及系统 | |
CN111710023B (zh) | 一种三维点云数据特征点提取方法及应用 | |
CN108230452B (zh) | 一种基于纹理合成的模型补洞方法 | |
CN110910433A (zh) | 一种基于深度学习的点云匹配方法 | |
CN106228590B (zh) | 一种图像中的人体姿态编辑方法 | |
CN109272569A (zh) | 一种autocad建筑二维图快速提取并生成楼层轮廓线的方法 | |
CN104778458A (zh) | 一种基于纹理特征的纺织品花纹检索方法 | |
Li et al. | ColorSketch: A drawing assistant for generating color sketches from photos | |
CN111079208B (zh) | 基于粒子群算法的cad模型之间面对应关系识别方法 | |
CN106447662A (zh) | 一种基于组合距离的fcm图像分割算法 | |
CN107633543B (zh) | 考虑局部拓扑结构的线条形状对应方法 | |
CN108010002A (zh) | 一种基于自适应隐式移动最小二乘的结构化点云去噪方法 | |
CN106951166B (zh) | 笔迹绘制方法及装置 | |
CN112687010B (zh) | 一种端框钻模的数字化计量方法 | |
CN114266879A (zh) | 三维数据增强、模型训练检测方法、设备及自动驾驶车辆 | |
CN103489212B (zh) | 基于用户启发的二维形状对应方法 | |
CN108876711B (zh) | 一种基于图像特征点的草图生成方法、服务器及系统 | |
CN116703871A (zh) | 一种基于绝缘子stl模型的爬电距离测量方法及系统 | |
CN103218784A (zh) | 基于空间填充曲线和极值点的快速图像滤波方法 | |
CN108492345B (zh) | 一种基于尺度变换的数据块划分方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |