CN111951407A - 一种具有真实位置关系的增强现实模型叠加方法 - Google Patents
一种具有真实位置关系的增强现实模型叠加方法 Download PDFInfo
- Publication number
- CN111951407A CN111951407A CN202010892153.7A CN202010892153A CN111951407A CN 111951407 A CN111951407 A CN 111951407A CN 202010892153 A CN202010892153 A CN 202010892153A CN 111951407 A CN111951407 A CN 111951407A
- Authority
- CN
- China
- Prior art keywords
- virtual model
- real object
- real
- virtual
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000463 material Substances 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种具有真实位置关系的增强现实模型叠加方法，首先对与真实物体外表面轮廓一致的虚拟模型A添加完全透明但可遮挡住其他虚拟模型的外观材质a；接着对要叠加在所述真实物体内部的虚拟模型B添加无任何特殊效果的外观材质b，并放置在虚拟模型A的内部；最后将外表面虚拟模型A通过AR标记叠加在真实物体上，即可实现使虚拟模型B正确显示在真实物体的内部，并只能通过真实物体外表的开口来看到其内部的虚拟模型B，即真实物体与虚拟模型B具有正确的位置关系和遮挡关系，就好像虚拟模型B是真实存在于物体内部的。该方法不仅有利于提升增强现实的真实感和体验感，而且实现简单，成本低。
Description
技术领域
本发明属于增强现实技术领域，具体涉及一种具有真实位置关系的增强现实模型叠加方法。
背景技术
增强现实，就是将计算机生成的虚拟信息叠加到真实场景（通常是包含真实场景的实时视频）中，增强人们对真实世界的认知。与实时视频的直接显示不同，在AR融合过程中，虚拟信息是依靠单独的图形通道（GPU）进行渲染的，也就是说，虚拟信息和实时视频并不在同一显示层。为实现虚实融合，目前的增强现实算法，都是将虚拟信息渲染层叠加在实时视频层的前面。这就导致无论从什么角度观看增强现实场景，无论将虚拟对象设置在什么位置，都只能看到虚拟对象悬浮在真实物体的上方，不存在任何虚实交互的可能性，这大大降低了增强现实场景的真实性，影响用户的体验，限制其应用推广。
目前能解决增强现实虚实交互问题的方案是基于图像深度信息的虚实交互算法。首先采用深度相机获取真实场景的实时视频，接着在虚实融合过程中，将真实场景的深度信息通过坐标变换算法变到虚拟模型的坐标系下，然后在同一坐标系中，比较虚拟模型与真实物体的深度关系（主要是比较两者相交部分的点的Z坐标），最后把相交部分虚拟模型Z坐标小于真实物体Z坐标的点进行隐藏，即实现了虚实遮挡交互，视觉上的效果就是真实物体遮挡住了部分虚拟模型。这种方式虽然能够实现大范围场景的虚实交互，但是要用到深度相机，坐标变换涉及大量矩阵运算，代码编写困难，成本很高，实用性不强，并不适用于以普通相机为视觉输入渠道的移动终端上。
发明内容
本发明的目的在于提供一种具有真实位置关系的增强现实模型叠加方法，该方法不仅有利于提升增强现实的真实感和体验感，而且实现简单，成本低。
为实现上述目的，本发明采用的技术方案是：一种具有真实位置关系的增强现实模型叠加方法，首先对与真实物体外表面轮廓一致的虚拟模型A添加完全透明但可遮挡住其他虚拟模型的外观材质a；接着对要叠加在所述真实物体内部的虚拟模型B添加无任何特殊效果的外观材质b，并放置在虚拟模型A的内部；最后将外表面虚拟模型A通过AR标记叠加在真实物体上，即可实现使虚拟模型B正确显示在真实物体的内部，并只能通过真实物体外表的观察开口来看到其内部的虚拟模型B。
进一步地，该方法包括如下步骤：
S1）创建外观材质a和外观材质b；
S2）创建与所述真实物体外表面轮廓一致的虚拟模型A，创建要叠加在所述真实物体内部的虚拟模型B；
S3）设置AR标记、虚拟模型A、虚拟模型B的位置关系，并给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b；
S4）导出系统，用摄像头扫描带有AR标记的真实物体，即可看到正确叠加在真实物体内部的虚拟模型B。
进一步地，所述步骤S1具体为：在Unity3d软件中，首先创建一个着色器Shader-A，对Shader-A的属性进行设置，设置为可赋予虚拟模型外表完全透明但可遮挡住其他虚拟模型的效果；再创建两个Material材质，即外观材质a和外观材质b，外观材质a的着色器选项选择所创建的Shader-A，外观材质b的着色器选项使用默认的，系统默认的着色器只能赋予虚拟模型颜色，无其他特殊效果。
进一步地，所述步骤S2具体为：使用3D建模软件为表面有开口的真实物体创建外表面轮廓一致的虚拟模型A，以及创建要叠加在所述真实物体内部的虚拟模型B，将模型A和B导出为FBX格式文件，并导入到Unity3d软件中。
进一步地，所述步骤S3具体为：在真实物体上放置AR标记，根据AR标记与真实物体的相对位置关系，在Unity3d软件中，将虚拟模型A设置ImageTarget对象的子物体，ImageTarget对象代表真实物体上的AR标记，并设置虚拟模型A的大小位置，使虚拟模型A与ImageTarget的相对位置关系跟真实物体与AR标记的相对位置关系一致；将虚拟模型B放置在虚拟模型A的内部，并把虚拟模型B设置为虚拟模型A的子物体；最后，给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b。
进一步地，所述步骤S4具体为：将程序导出，安装到带有摄像头的设备上；用摄像头扫描真实物体上的AR标记，在视频图像中，即可从真实物体外表面上的开口处看到其内部的虚拟模型B，所述虚拟模型B与真实物体具有正确的位置深度关系和轮廓遮挡关系，如同真实存在于物体的内部一样。
相较于现有技术，本发明具有以下有益效果：本发明提出了一种具有真实位置关系的增强现实模型叠加方法，该方法可在真实物体的内部叠加虚拟模型，首先给真实物体的外表叠加一层透明的可遮挡住其他虚拟模型的虚拟轮廓，通过虚拟轮廓与所要叠加显示的虚拟模型的遮挡关系，实现真实物体与所要叠加显示的虚拟模型的正确遮挡关系，从而在视觉上实现把虚拟模型叠加到真实物体的内部。本发明方法操作简单，无需计算真实背景与虚拟模型的位置深度关系，成本低，虚实交互效果真实明显，可有效解决以往的增强现实应用中，因虚拟模型渲染层位于背景图层前方而导致的虚拟模型始终悬浮在真实物体上方，无法交互，不具备真实位置关系的问题。本发明方法可以明显提升增强现实的真实感和体验感，具有广泛的应用前景。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中创建虚拟模型A的示意图。
图3是本发明实施例中创建虚拟模型B的示意图。
图4是本发明实施例中分别给虚拟模型A、B添加外观材质a、b的示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种具有真实位置关系的增强现实模型叠加方法，首先对与真实物体外表面轮廓一致的虚拟模型A添加完全透明但可遮挡住其他虚拟模型的外观材质a；接着对要叠加在所述真实物体内部的虚拟模型B添加无任何特殊效果的外观材质b，并放置在虚拟模型A的内部；最后将外表面虚拟模型A通过AR标记叠加在真实物体上，即可实现使虚拟模型B正确显示在真实物体的内部，并只能通过真实物体外表的观察开口来看到其内部的虚拟模型B，即真实物体与虚拟模型B具有正确的位置关系和遮挡关系，就好像虚拟模型B是真实存在于物体内部的。本发明方法可以解决以往的增强现实系统存在的虚实物体位置关系不正确，无法交互的问题，明显提升增强现实系统的沉浸感和体验感。
如图1所示，本发明方法具体包括如下步骤：
S1）创建外观材质a和外观材质b。
所述步骤S1具体为：在Unity3d软件中，首先创建一个着色器Shader-A，对Shader-A的属性进行设置，设置为可赋予虚拟模型外表完全透明但可遮挡住其他虚拟模型的效果；再创建两个Material材质，即外观材质a和外观材质b，外观材质a的着色器选项选择所创建的Shader-A，外观材质b的着色器选项使用默认的，系统默认的着色器只能赋予虚拟模型颜色，无其他特殊效果。
S2）创建与所述真实物体外表面轮廓一致的虚拟模型A，创建要叠加在所述真实物体内部的虚拟模型B。
所述步骤S2具体为：使用3D建模软件为表面有开口的真实物体创建外表面轮廓一致的虚拟模型A，以及创建要叠加在所述真实物体内部的虚拟模型B，将模型A和B导出为FBX格式文件，并导入到Unity3d软件中。
图2为创建与真实物体外表面轮廓一致的虚拟模型A的示意图。在图2中，左图为真实物体，二维码为AR标记。右图为虚拟模型A，二维码为AR标记的虚拟代理ImageTarget。
图3为创建要叠加显示的虚拟模型B的示意图。图3中的小立方体即为虚拟模型B，将虚拟模型B放置在虚拟模型A的内部。
S3）设置AR标记、虚拟模型A、虚拟模型B的位置关系，并给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b。
所述步骤S3具体为：在真实物体上放置AR标记，根据AR标记与真实物体的相对位置关系，在Unity3d软件中，将虚拟模型A设置ImageTarget对象的子物体（ImageTarget对象代表真实物体上的AR标记），并设置虚拟模型A的大小位置，使虚拟模型A与ImageTarget的相对位置关系跟真实物体与AR标记的相对位置关系一致；将虚拟模型B放置在虚拟模型A的内部，并把虚拟模型B设置为虚拟模型A的子物体；最后，给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b，使虚拟模型A变为透明，但仍可以遮挡住虚拟模型B。图4即为分别给虚拟模型A、B添加外观材质a、b的示意图。
S4）导出系统，用摄像头扫描带有AR标记的真实物体，即可看到正确叠加在真实物体内部的虚拟模型B。
所述步骤S4具体为：将程序导出，安装到带有摄像头的设备上（AR眼镜、智能手机、笔记本电脑等）；用摄像头扫描真实物体上的AR标记，在视频图像中，即可从真实物体外表面上的开口处看到其内部的虚拟模型B，所述虚拟模型B与真实物体具有正确的位置深度关系和轮廓遮挡关系，如同真实存在于物体的内部一样。
本发明基于增强现实的显示原理，提出具有真实位置关系的虚实交互方法。只需通过AR标记给真实物体叠加一层外表一致的虚拟代理模型，由于虚拟代理模型与要显示的虚拟模型都处于图形渲染层，两者可以直接进行交互，包括相互遮挡、碰撞。再将虚拟代理模型的材质模式设置为完全透明但可遮挡住其他虚拟模型，这样，要显示的虚拟模型被外观完全透明的虚拟代理模型挡住，而虚拟代理模型又通过AR标记准确叠加在真实物体上，就从视觉上实现了真实物体遮挡住虚拟模型的效果。本发明方法只需普通摄像头，无需深度相机，无需进行坐标变换，成本很低，运行效率高，可有效解决基于图像深度信息方案的不足。本发明方案非常适用于要显示真实物体内部信息的场合，叠加虚拟信息可被真实物体的外表轮廓所挡住，只能通过外表的开口进行观看，就好像显示的虚拟模型是真实存在于物体内部一样。本发明方法可以正确显示增强现实场景中虚实物体的位置关系，具有一定的应用价值。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (6)
1.一种具有真实位置关系的增强现实模型叠加方法，其特征在于，首先对与真实物体外表面轮廓一致的虚拟模型A添加完全透明但可遮挡住其他虚拟模型的外观材质a；接着对要叠加在所述真实物体内部的虚拟模型B添加无任何特殊效果的外观材质b，并放置在虚拟模型A的内部；最后将外表面虚拟模型A通过AR标记叠加在真实物体上，即可实现使虚拟模型B正确显示在真实物体的内部，并只能通过真实物体外表的观察开口来看到其内部的虚拟模型B。
2.根据权利要求1所述的一种具有真实位置关系的增强现实模型叠加方法，其特征在于，包括如下步骤：
S1）创建外观材质a和外观材质b；
S2）创建与所述真实物体外表面轮廓一致的虚拟模型A，创建要叠加在所述真实物体内部的虚拟模型B；
S3）设置AR标记、虚拟模型A、虚拟模型B的位置关系，并给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b；
S4）导出系统，用摄像头扫描带有AR标记的真实物体，即可看到正确叠加在真实物体内部的虚拟模型B。
3.根据权利要求2所述的一种具有真实位置关系的增强现实模型叠加方法，其特征在于，所述步骤S1具体为：在Unity3d软件中，首先创建一个着色器Shader-A，对Shader-A的属性进行设置，设置为可赋予虚拟模型外表完全透明但可遮挡住其他虚拟模型的效果；再创建两个Material材质，即外观材质a和外观材质b，外观材质a的着色器选项选择所创建的Shader-A，外观材质b的着色器选项使用默认的，系统默认的着色器只能赋予虚拟模型颜色，无其他特殊效果。
4.根据权利要求2所述的一种具有真实位置关系的增强现实模型叠加方法，其特征在于，所述步骤S2具体为：使用3D建模软件为表面有开口的真实物体创建外表面轮廓一致的虚拟模型A，以及创建要叠加在所述真实物体内部的虚拟模型B，将模型A和B导出为FBX格式文件，并导入到Unity3d软件中。
5.根据权利要求2所述的一种具有真实位置关系的增强现实模型叠加方法，其特征在于，所述步骤S3具体为：在真实物体上放置AR标记，根据AR标记与真实物体的相对位置关系，在Unity3d软件中，将虚拟模型A设置为ImageTarget对象的子物体，ImageTarget对象代表真实物体上的AR标记，并设置虚拟模型A的大小位置，使虚拟模型A与ImageTarget的相对位置关系跟真实物体与AR标记的相对位置关系一致；将虚拟模型B放置在虚拟模型A的内部，并把虚拟模型B设置为虚拟模型A的子物体；最后，给虚拟模型A添加外观材质a，给虚拟模型B添加外观材质b。
6.根据权利要求2所述的一种具有真实位置关系的增强现实模型叠加方法，其特征在于，所述步骤S4具体为：将程序导出，安装到带有摄像头的设备上；用摄像头扫描真实物体上的AR标记，在视频图像中，即可从真实物体外表面上的开口处看到其内部的虚拟模型B，所述虚拟模型B与真实物体具有正确的位置深度关系和轮廓遮挡关系，如同真实存在于物体的内部一样。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010892153.7A CN111951407A (zh) | 2020-08-31 | 2020-08-31 | 一种具有真实位置关系的增强现实模型叠加方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010892153.7A CN111951407A (zh) | 2020-08-31 | 2020-08-31 | 一种具有真实位置关系的增强现实模型叠加方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111951407A true CN111951407A (zh) | 2020-11-17 |
Family
ID=73368049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010892153.7A Pending CN111951407A (zh) | 2020-08-31 | 2020-08-31 | 一种具有真实位置关系的增强现实模型叠加方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951407A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560851A (zh) * | 2020-12-11 | 2021-03-26 | 上海影创信息科技有限公司 | 虚拟对象创建定位方法和系统 |
| CN117281484A (zh) * | 2023-11-24 | 2023-12-26 | 深圳启脉科技有限公司 | 一种移动监护设备佩戴位置的标识方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2071510A2 (de) * | 2007-12-11 | 2009-06-17 | KUKA Roboter GmbH | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
| US20130215230A1 (en) * | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
| CN104021590A (zh) * | 2013-02-28 | 2014-09-03 | 北京三星通信技术研究有限公司 | 虚拟试穿试戴系统和虚拟试穿试戴方法 |
| CN106056663A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 增强现实场景中的渲染方法、处理模块和增强现实眼镜 |
| CN108830940A (zh) * | 2018-06-19 | 2018-11-16 | 广东虚拟现实科技有限公司 | 遮挡关系处理方法、装置、终端设备及存储介质 |
| CN109544698A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 图像展示方法、装置及电子设备 |
| CN110568934A (zh) * | 2019-10-18 | 2019-12-13 | 福州大学 | 一种低误差高效率的多标记图增强现实系统 |
-
2020
- 2020-08-31 CN CN202010892153.7A patent/CN111951407A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2071510A2 (de) * | 2007-12-11 | 2009-06-17 | KUKA Roboter GmbH | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
| US20130215230A1 (en) * | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
| CN104021590A (zh) * | 2013-02-28 | 2014-09-03 | 北京三星通信技术研究有限公司 | 虚拟试穿试戴系统和虚拟试穿试戴方法 |
| CN106056663A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 增强现实场景中的渲染方法、处理模块和增强现实眼镜 |
| CN109544698A (zh) * | 2017-09-22 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 图像展示方法、装置及电子设备 |
| CN108830940A (zh) * | 2018-06-19 | 2018-11-16 | 广东虚拟现实科技有限公司 | 遮挡关系处理方法、装置、终端设备及存储介质 |
| CN110568934A (zh) * | 2019-10-18 | 2019-12-13 | 福州大学 | 一种低误差高效率的多标记图增强现实系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560851A (zh) * | 2020-12-11 | 2021-03-26 | 上海影创信息科技有限公司 | 虚拟对象创建定位方法和系统 |
| CN117281484A (zh) * | 2023-11-24 | 2023-12-26 | 深圳启脉科技有限公司 | 一种移动监护设备佩戴位置的标识方法 |
| CN117281484B (zh) * | 2023-11-24 | 2024-03-01 | 深圳启脉科技有限公司 | 一种监护装置的佩戴位置的标识方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI618030B (zh) | 藉由追蹤物件及／或基元識別符的圖形處理增強之方法及系統，圖形處理單元及非暫時性電腦可讀媒體 | |
| CN103946895B (zh) | 基于平铺块的呈现中的镶嵌方法和设备 | |
| US10636200B2 (en) | Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium | |
| US10573075B2 (en) | Rendering method in AR scene, processor and AR glasses | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| CN103337095B (zh) | 一种真实空间三维地理实体的立体虚拟显示方法 | |
| CN111951407A (zh) | 一种具有真实位置关系的增强现实模型叠加方法 | |
| WO1998038591A2 (en) | Method for rendering shadows on a graphical display | |
| WO1998038591A9 (en) | Method for rendering shadows on a graphical display | |
| CN108986232B (zh) | 一种在vr显示设备中呈现ar环境画面的方法 | |
| CN107967054B (zh) | 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘 | |
| CN108804061A (zh) | 虚拟现实系统的虚拟场景显示方法 | |
| CN104680532A (zh) | 一种对象标注方法及装置 | |
| EP1922700B1 (en) | 2d/3d combined rendering | |
| JP2021056679A (ja) | 画像処理装置、方法及びプログラム | |
| US20130332889A1 (en) | Configurable viewcube controller | |
| CN102693065A (zh) | 立体影像视觉效果处理方法 | |
| CN112348841B (zh) | 虚拟对象的处理方法、装置、电子设备及存储介质 | |
| CN101540056B (zh) | 面向ERDAS Virtual GIS的植入式真三维立体渲染方法 | |
| CN101521828B (zh) | 面向esri三维gis模块的植入式真三维立体渲染方法 | |
| CN114581548A (zh) | 基于碰撞检测的场景模型表面纹理叠加方法及装置 | |
| CN113192173B (zh) | 三维场景的图像处理方法、装置及电子设备 | |
| CN114419219A (zh) | 基于三维虚拟场景的渲染装置和方法 | |
| CN101488229A (zh) | 面向pci三维分析模块的植入式真三维立体渲染方法 | |
| CN114693780A (zh) | 图像的处理方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201117 |