CN110415344A - 基于事件相机的运动补偿方法 - Google Patents
基于事件相机的运动补偿方法 Download PDFInfo
- Publication number
- CN110415344A CN110415344A CN201910550418.2A CN201910550418A CN110415344A CN 110415344 A CN110415344 A CN 110415344A CN 201910550418 A CN201910550418 A CN 201910550418A CN 110415344 A CN110415344 A CN 110415344A
- Authority
- CN
- China
- Prior art keywords
- case point
- speed
- point
- camera
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 title claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000013519 translation Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000002123 temporal effect Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于事件相机的运动补偿方法，利用惯性测量单元(Inertial Measurement Unit,IMU)输出的加速度和角速度，通过积分预测两帧图像之间的运动关系，即旋转、平移和速度，先判断速度的大小，线性的减少两帧之间的事件点数量，然后通过剩余事件点的时间信息进行线性插值，得到每一个事件点的运动(旋转和平移)。将两帧之间的事件点的像素坐标通过相机投影模型和深度反投影到三维世界坐标系下，然后根据预测得到的每个点的运动，做相应的变换，再通过相机模型投影到像素坐标，得到补偿以后的事件点。最后将这些事件点合成，即得到了运动补偿以后的图像，消除了运动模糊。
Description
技术领域
本发明涉及图像处理领域，尤其是能解决基于高分辨率事件相机SLAM项目的图像运动补偿，即消除运动模糊。
背景技术
在过去几十年里，随着计算机硬件、传感器性能的快速提升，人们对机器人感知和定位的兴趣日益增加。基于帧的传统相机有着成图质量好，成本低的特点，也因此成为目前计算机视觉的主体传感器。
同时定位与地图构建(Simultaneous Localization,SLAM)是机器人感知领域最重要的里程碑之一，并且在过去30年取得了瞩目的成就，其在大场景应用成为了可能，这一技术被见证了成功地应用于工业领域。SLAM目前有很多实现方法，主要分为基于激光雷达的激光SLAM和基于视觉的VSLAM两个方向。然而现有的基于传统相机的SLAM算法在机器人运动或环境过于复杂(如机器人动力学速度快、动态性强)时容易失效，我们还没有像昆虫或动物，那么敏捷和易于操作的机器人的一个主要原因是标准计算机视觉感知架构的高延迟，持续时间短，也就是传统基于帧的相机的限制条件，比如信息冗余、高速模糊、动态范围低等。
因此为了获得更高的灵敏度，我们需要更快的传感器和更低延迟的处理时间，我们认为事件触发的相机可以完美取代当前的图像传感器。事件相机作为一个有希望的解决方案，有望克服基于传统相机框架中的一些问题，从而引起了越来越多的关注。其通过模仿视网膜来感测和编码世界，并将之作为神经信号来获取视觉信息。事件相机没有曝光和帧率的概念，没有闲置的时间，每一个像素点都能进行独立的运算，在且仅在这个像素点发生光强变化时进行数据的读出。事件相机根据光强变化输出一系列的异步事件流，其中每一事件包含像素坐标，时间以及极性：ek＝(xk，yk，tk，pk)，xk和yk表示坐标，tk表示时间戳，pk＝±1表示极性(+1表示亮度增强，-1表示亮度减小)，如图1所示。
事件相机的无帧率和曝光、低时延、高动态范围的特点使其可以应用于很多传统相机难以作用的场景，比如监视和环境感应，快速机器人，运动分析和粒子追踪等，而且许多由于传统相机的硬件限制而制约的技术也有了根源上的突破。将事件相机应用于SLAM可以解决一些目前困扰SLAM的问题，而高分辨率的相机得到图像的纹理信息更加丰富，更加有利于之后的特征提取和跟踪，以此提高SLAM系统的性能。
事件相机没有帧率的概念，它输出时间和空间上连续的事件，每个事件包含像素点的信息。但在将其应用于传统SLAM技术的过程中，需要先将一段时间或者一定数量的事件点合成图像帧，才能输入到SLAM的前端。在本发明中，需要将相机输出的一段时间的事件点压缩成一张图像，以便于之后特征的提取及可视化。因此，在场景变化较快的情况下，由于过多数量事件点的压缩，导致生成的图像会有一定的模糊，具体表现为图像中物体的边缘较粗，这为之后的特征提取造成困扰，如图2所示。目前的事件相机建帧基本都是固定时间间隔和固件事件点数量，都会产生一定的图像模糊，即使现有的在事件层面来消除运动模糊的技术也都无法做到实时。且由于使用了高分辨率的事件相机，一段时间内产生的事件点数量较大，处理所有事件点需要耗费大量时间，会影响之后SLAM系统的实时性。
发明内容
为了克服高分辨率事件相机在高速运动过程，短时间内产生大量的事件点，使得合成的图像帧有边缘较粗即模糊的现象，并做到实时处理，本发明提供了一种运动补偿的方法来消除图像的运动模糊。
本发明解决其技术问题所采用的技术方案是：利用惯性测量单元(InertialMeasurement Unit,IMU)输出的加速度和角速度，通过积分预测两帧图像之间的运动关系，即旋转、平移和速度，先判断速度的大小，线性的减少两帧之间的事件点数量，然后通过剩余事件点的时间信息进行线性插值，得到每一个事件点的运动(旋转和平移)。将两帧之间的事件点的像素坐标通过相机投影模型和深度反投影到三维世界坐标系下，然后根据预测得到的每个点的运动，做相应的变换，再通过相机模型投影到像素坐标，得到补偿以后的事件点。最后将这些事件点合成，即得到了运动补偿以后的图像，消除了运动模糊。具体实现步骤如下：
步骤1，高分辨率事件相机运动的过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度；
步骤2，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；
步骤3，选取一段时间的事件点，tj为其中一个事件点的时间戳，为前一帧事件点合成的图像，为当前帧图像；然后将这一段时间内的IMU数据积分得到两帧之间的变换关系，即其中，线加速度二次积分得到平移t，角速度积分得到旋转R；
步骤4，将线加速度积分得到速度判断速度大小，速度越大从前往后取越少数量的事件点，速度越小则取越多数量的事件点；
步骤5，根据剩余事件点的时间戳，将进行线性插值，预测得到每一个事件点的运动即
步骤6，每个事件点xj都带x,y坐标信息，将像素坐标通过相机投影模型π和深度Z(xj)反投影到世界坐标系，即Z(xj)π-1(xj)；
步骤7，然后根据步骤5得到的事件点的运动在三维坐标下对事件点进行变换，即
步骤8，再通过相机投影模型π将坐标投影到像素坐标上，得到运动补偿后的事件点
步骤9，将这一段时间内经过运动补偿的事件点累积合成图像帧，即得到消除运动模糊后的图像帧。
进一步的，步骤4的具体实现方式为：将x轴速度Vx和y轴速度Vy平方相加后开方，得到xy平面上的速度v；若速度v>＝0.3，取前35％的事件点；若速度0<＝v<0.3，则事件点按照(1-2.33v)线性减少。
进一步的，步骤6中的相机投影模型通过相机内参标定得到，深度由当前三维点云Ij投影到图像帧得到。
本发明的有益效果是在保证实时性的情况下，利用相机自带IMU输出的数据预测事件运动消除图像模糊，不仅速度快而且补偿效果较好，且使用了高分辨率的事件相机，保证了图像的纹理信息，即图像信息满足SLAM系统之后的特征提取。
附图说明
图1是传统相机和事件相机数据对比图。
图2是图像运动模糊对比图，其中(a)为清晰图像，(b)为运动模糊图像。
图3是本发明实施例运动补偿原理图。
图4是本发明实施例运动补偿流程图。
图5是运动模糊(a)和利用本发明方法去模糊后(b)的效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实例，对本发明进行进一步详细说明。如图3，图4所示，下面分步骤讲述具体实施方案：
(1)高分辨率事件相机运动的过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度。
(2)利用输出数据的时间戳，将事件点和IMU数据在时间上对齐。
(3)选取一段时间的事件点，tj为其中一个事件点的时间戳，为前一帧事件点合成的图像，为当前帧图像。然后将这一段时间内的IMU数据积分得到两帧之间的变换关系，即其中，线加速度二次积分得到平移t，角速度积分得到旋转R。
(4)将线加速度积分得到速度判断速度大小，速度越大从前往后取越少数量的事件点，速度越小则取越多数量的事件点。将x轴速度Vx和y轴速度Vy平方相加后开方，得到xy平面上的速度v；若速度v>＝0.3，取前35％的事件点；若速度0<＝v<0.3，则事件点按照(1-2.33v)线性减少。
(5)根据剩余事件点的时间戳，将进行线性插值，预测得到每一个事件点的运动，即
(6)每个事件点xj都带x,y坐标信息，将像素坐标通过相机投影模型π和深度Z(xj)反投影到世界坐标系，即Z(xj)π-1(xj)，其中相机投影模型通过相机内参标定得到，深度由当前三维点云Ij投影到图像帧得到，这里根据经验设置为100。
(7)然后根据第(5)步得到的事件点的运动在三维坐标下对事件点进行变换，即可以将其理解为通过预测运动变换到前一帧图像坐标系下。
(8)再通过相机投影模型π将坐标投影到像素坐标上，得到运动补偿后的事件点
(9)最后将这一段时间内经过运动补偿的事件点累积合成图像帧，此图像帧消除了运动模糊。
如图5所示为运动模糊和利用本发明方法去模糊后的效果对比图，其中左图由于相机运动速度过快，导致成帧的事件点数量过多，因此合成的图像帧模糊且边缘较粗，右图运用本文提出的运动补偿方法消除了模糊，使得图像边缘清晰且纹理信息丰富，有助于SLAM系统之后的特征提取。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.基于事件相机的运动补偿方法，其特征在于，包括如下步骤：
步骤1，高分辨率事件相机运动的过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度；
步骤2，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；
步骤3，选取一段时间的事件点，tj为其中一个事件点的时间戳，为前一帧事件点合成的图像，为当前帧图像；然后将这一段时间内的IMU数据积分得到两帧之间的变换关系，即其中，线加速度二次积分得到平移t，角速度积分得到旋转R；
步骤4，将线加速度积分得到速度判断速度大小，速度越大从前往后取越少数量的事件点，速度越小则取越多数量的事件点；
步骤5，根据剩余事件点的时间戳，将进行线性插值，预测得到每一个事件点的运动即
步骤6，每个事件点xj都带x,y坐标信息，将像素坐标通过相机投影模型π和深度Z(xj)反投影到世界坐标系，即Z(xj)π-1(xj)；
步骤7，然后根据步骤5得到的事件点的运动在三维坐标下对事件点进行变换，即
步骤8，再通过相机投影模型π将坐标投影到像素坐标上，得到运动补偿后的事件点
步骤9，将这一段时间内经过运动补偿的事件点累积合成图像帧，即得到消除运动模糊后的图像帧。
2.如权利要求1所述的基于事件相机的运动补偿方法，其特征在于：步骤4的具体实现方式为：将x轴速度Vx和y轴速度Vy平方相加后开方，得到xy平面上的速度v；若速度v>＝0.3，取前35％的事件点；若速度0<＝v<0.3，则事件点按照(1-2.33v)线性减少。
3.如权利要求1所述的基于事件相机的运动补偿方法，其特征在于：步骤6中的相机投影模型通过相机内参标定得到，深度由当前三维点云Ij投影到图像帧得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550418.2A CN110415344A (zh) | 2019-06-24 | 2019-06-24 | 基于事件相机的运动补偿方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910550418.2A CN110415344A (zh) | 2019-06-24 | 2019-06-24 | 基于事件相机的运动补偿方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110415344A true CN110415344A (zh) | 2019-11-05 |
Family
ID=68359644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910550418.2A Pending CN110415344A (zh) | 2019-06-24 | 2019-06-24 | 基于事件相机的运动补偿方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415344A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695681A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111899276A (zh) * | 2020-07-07 | 2020-11-06 | 武汉大学 | 一种基于双目事件相机的slam方法及系统 |
| CN113139569A (zh) * | 2021-03-04 | 2021-07-20 | 山东科技大学 | 目标分类检测方法、装置与系统 |
| CN114137247A (zh) * | 2021-11-30 | 2022-03-04 | 上海科技大学 | 基于事件相机的速度感知方法、装置、设备和介质 |
| US11719542B2 (en) * | 2014-06-19 | 2023-08-08 | Regents Of The University Of Minnesota | Efficient vision-aided inertial navigation using a rolling-shutter camera |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
| CN108846857A (zh) * | 2018-06-28 | 2018-11-20 | 清华大学深圳研究生院 | 视觉里程计的测量方法及视觉里程计 |
| WO2018219931A1 (en) * | 2017-05-29 | 2018-12-06 | Universität Zürich | Block-matching optical flow and stereo vision for dynamic vision sensors |
| WO2019043233A1 (en) * | 2017-09-04 | 2019-03-07 | Universität Zürich | VISIBLE INERTIA ODOMETRY WITH EVENT CAMERA |
-
2019
- 2019-06-24 CN CN201910550418.2A patent/CN110415344A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018219931A1 (en) * | 2017-05-29 | 2018-12-06 | Universität Zürich | Block-matching optical flow and stereo vision for dynamic vision sensors |
| WO2019043233A1 (en) * | 2017-09-04 | 2019-03-07 | Universität Zürich | VISIBLE INERTIA ODOMETRY WITH EVENT CAMERA |
| CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
| CN108846857A (zh) * | 2018-06-28 | 2018-11-20 | 清华大学深圳研究生院 | 视觉里程计的测量方法及视觉里程计 |
Non-Patent Citations (2)
| Title |
|---|
| ANTONI ROSINOL VIDAL 等: "Ultimate SLAM? Combining Events, Images, and IMU for Robust Visual SLAM in HDR and High-Speed Scenarios", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 * |
| HENRI REBECQ 等: "Real-time Visual-Inertial Odometry for Event Cameras using Keyframe-based Nonlinear Optimization", 《BRITISH MACHINE VISION CONFERENCE》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11719542B2 (en) * | 2014-06-19 | 2023-08-08 | Regents Of The University Of Minnesota | Efficient vision-aided inertial navigation using a rolling-shutter camera |
| CN111695681A (zh) * | 2020-06-16 | 2020-09-22 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111695681B (zh) * | 2020-06-16 | 2022-10-11 | 清华大学 | 一种高分辨率动态视觉观测方法及装置 |
| CN111899276A (zh) * | 2020-07-07 | 2020-11-06 | 武汉大学 | 一种基于双目事件相机的slam方法及系统 |
| CN113139569A (zh) * | 2021-03-04 | 2021-07-20 | 山东科技大学 | 目标分类检测方法、装置与系统 |
| CN113139569B (zh) * | 2021-03-04 | 2022-04-22 | 山东科技大学 | 目标分类检测方法、装置与系统 |
| CN114137247A (zh) * | 2021-11-30 | 2022-03-04 | 上海科技大学 | 基于事件相机的速度感知方法、装置、设备和介质 |
| CN114137247B (zh) * | 2021-11-30 | 2024-01-19 | 上海科技大学 | 基于事件相机的速度感知方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415344A (zh) | 基于事件相机的运动补偿方法 | |
| CN100527165C (zh) | 一种以动态投影为背景的实时目标识别方法 | |
| CN111614895B (zh) | 一种图像成像抖动补偿方法、系统及设备 | |
| CN111798485B (zh) | 一种利用imu增强的事件相机光流估计方法及系统 | |
| CN112529944B (zh) | 一种基于事件相机的端到端无监督光流估计方法 | |
| CN110428477B (zh) | 一种不受速度影响的事件相机的成图方法 | |
| CN114245007B (zh) | 一种高帧率视频合成方法、装置、设备和存储介质 | |
| CN106875437A (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
| CN109618103A (zh) | 无人机图传视频的防抖方法及无人机 | |
| CN108171728A (zh) | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 | |
| CN111798513B (zh) | 一种基于事件相机的合成孔径成像方法及系统 | |
| CN109801209A (zh) | 参数预测方法、人工智能芯片、设备及系统 | |
| CN109726356A (zh) | 一种动态视觉传感器的地址事件流数据去噪方法 | |
| CN111798370A (zh) | 基于流形约束的事件相机图像重建方法及系统 | |
| CN110414558A (zh) | 基于事件相机的特征点匹配方法 | |
| CN110426560B (zh) | 一种脉冲阵列信号时空上采样器生成方法 | |
| CN112399032A (zh) | 一种基于检测器的脉冲式图像传感器的光流获取方法 | |
| CN105225211A (zh) | 一种基于振动提高视频分辨率的方法 | |
| CN111798484B (zh) | 基于事件相机的连续稠密光流估计方法及系统 | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
| CN115048954A (zh) | 一种仿视网膜的目标检测方法、装置、存储介质及终端 | |
| CN110505395A (zh) | 操作方法、头戴式装置及追踪系统 | |
| WO2022078128A1 (zh) | 图像处理方法和装置 | |
| Schwarz et al. | Time-of-flight sensor fusion with depth measurement reliability weighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |
|
| RJ01 | Rejection of invention patent application after publication |