CN113570515A - 基于并行处理框架的图像增强算法加速方法 - Google Patents
基于并行处理框架的图像增强算法加速方法 Download PDFInfo
- Publication number
- CN113570515A CN113570515A CN202110778210.3A CN202110778210A CN113570515A CN 113570515 A CN113570515 A CN 113570515A CN 202110778210 A CN202110778210 A CN 202110778210A CN 113570515 A CN113570515 A CN 113570515A
- Authority
- CN
- China
- Prior art keywords
- picture
- frame
- processing
- pictures
- buffer area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001133 acceleration Effects 0.000 title claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于并行处理框架的图像增强算法的加速方法,在相邻两帧图片读取的时间间隙内同时处理多帧图片:构造图片的预处理的映射fA;构造图片去雾处理的映射fB,将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片,得到第二帧图片的预处理的映射fA(Oimg2),构造图片增强处理的映射fC来进行交叉处理,将两张输入图片合并增强,获得一张输出图片;将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;在输入缓存区图片无更新或外加中断时算法停止。与现有技术相比,本发明可以运用在低光强和雾天等需要图像增强的环境中,显著降低运算时间。
Description
技术领域
本发明涉及图像增强领域,特别涉及在低光强和雾天等需要图像增强的环境中图像增强算法的设计与加速。
背景技术
图像增强算法技术在交通监控、自动驾驶、医学影像等许多领域都有十分广泛的应用,而在上述领域中,往往都需要实现实时、快速的图像增强。然而,在很多条件下,传统图像算法很难在低性能处理器上实现高效的实时处理。
目前关于图像增强技术的研究主要存在以下缺点:第一,现有的传统图像增强算法难以权衡处理效果和处理的时间,往往依赖于特定的设备或高性能的采集、处理、显示环境。第二,神经网络进行优化学习的算法往往难以避免过拟合的情况使得去雾效果依赖于训练集具体环境的选定,处理步骤冗杂,需要大量的时间成本。第三、现有图像增强算法更多基于静态图片或已有视频流,而图像实时处理的要求往往更高。第四、现有的图像增强方法在应用时往往为了获得更好的效果采用更大的图片和更多的数据储存位数,同时也需要更高的算力进行处理来保证处理进程的高效。
因此,需要一种加速图像增强算法的方法,使得图像增强可以满足更加快速而广阔的需求。
发明内容
为了克服现有图像增强算法在运算速度上的不足,本发明提出了一种基于并行处理框架的图像增强算法的加速方法,图像处理中将算法进行拆分,从而实现多图片并行处理。
本发明的一种基于并行处理框架的图像增强算法的加速方法,包括以下步骤:
.步骤1:利用相机在需要图像增强的环境中采集图像以获取实时视频流,然后将视频流逐帧,保存在输入缓存区内等待调用;
步骤2:在内存中为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片;
步骤3:进行图片预处理中所需参数的估计;
步骤4:在相邻两帧图片读取的时间间隙内同时处理多帧图片:
4.1:从输入缓存区中取出第一帧图片,记为Oimg1;
4.2:将取出的第一帧图片进行预处理之后,结合步骤3中的参数构造一个一对多的映射fA;fA表示图片预处理的映射,所述图片预处理包括将输入图片进行格式转换和卷积去噪;将预处理结果放入内存区[A1、A2、A3...]中;
步骤5、进行图片去雾处理中所需参数的估计;
步骤6、对放入内存[A1、A2、A3...]的图片利用步骤5中的估计参数构造多个一对一的映射fB;fB表示图片去雾的映射,所述图片去雾包括将两张输入图片分别进行去雾处理;处理后的结果放入内存区[B1、B2、B3...]中;
步骤7、将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤4.2中的操作,得到第二帧图片的一个一对多的映射fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3…];
步骤8、将放入内存[B1、B2、B3…]的图片利用步骤3中的估计参数构造一个多对多或多对一或一对一的映射fC来进行交叉处理,fC表示图片增强,将两张输入图片合并增强,获得一张输出图片;将处理后的结果放入内存区[C1、C2、C3...]中,从输入缓存区中取出第三帧图片并记为Oimg3;重复步骤7中的操作,用得到的图片覆盖预处理后的图片存储空间和去雾处理后的图片存储空间;
步骤9、将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤8,从输入缓存区读入新的原始图片Oimgn,同时处理 Oimgn和在内存区[A1、A2、A3...;B1、B2、B3...]的图片,并将处理的结果分别放入区域 [A1、A2、A3...;B1、B2、B3...;C1、C2、C3...];
继续预处理图片、去雾图片和图片增强处理所需参数估计;
步骤10:在输入缓存区图片无更新或外加中断时,算法停止。
与现有技术相比,本发明的一种基于并行处理框架的图像增强算法的加速方法,可以运用在低光强和雾天等需要图像增强的环境中,显著降低运算时间。
附图说明
图1为本发明的基于并行处理框架的图像增强算法加速方法示意图;
图2为本发明的基于并行处理框架的图像增强算法加速方法算法执行实例示意图;
图3为本发明的基于并行处理框架的图像增强算法加速方法处理结果示意图;(a)卷积核内加法树算法处理结果,(b)自累加单元处理结果。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述。
本发明提出的一种基于并行处理框架的图像增强算法的加速方法,该方法具体实现步骤如下:
步骤1:使用照相机在低光强或雾天等需要图像增强的成像环境中采集图片,获得用于处理的视频流;
步骤2:为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片,具体实现过程可参考:将所需算法拆分为图像处理的多个处理如:图像预处理模块、图片去雾模块和图片增强模块;分别对几个模块设定的输入、输出接口,并在储存器中预设内存区域等待图片的读写;在内存区预分配图片保存区域,该区域表示为[A1、A2、A3...;B1、B2、B3...;C1、C2、C3…](经过预处理后图片放入内存区A,在二次处理(如去雾算法)后将图片放入B,在图像增强后将图片放入C);
步骤3:估计图像预处理中所需的相关参数(例如卷积核参数、滤波核参数等),例如图像去雾增强算法中的环境光照度和全局大气光强、图块数量和对比度增强限制等 (又如像素阈值、卷积核大小等),待下一步的调用;
步骤4:从输入缓存区中取出第一帧图片,记为Oimg1;
步骤5:将步骤4中取出的图片进行预处理(滤波、卷积、通道分离等),即利用步骤3中的参数构造一个一对多的映射fA,以第一帧图片为例,有 [A1,img1A2,img1A3,img1...]=fA(Oimg1),并将预处理结果放入内存区[A1、A2、A3...] 中;通常,将采集图像拷贝后放入内存区A1,将不同通道(RGB通道或CMYK通道等) 的值和预处理(例如滤波、卷积等基本处理和针对图像特征的其他处理)的结果放入内存区A2、A3...;
步骤6:在进行步骤5的同时将后续所需参数进行进一步估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);。
步骤7:将步骤5中放入内存[A1、A2、A3...]的图片进行进一步处理(去除水下、雾天环境背景),利用步骤6中的估计参数构造多个一对一的映射fB=[fB1fB2fB3...],有[B1,img1]=fB1(A1,img1)、[B2,img1]=fB2([A2,img1])、[B3,img1]= fB3([A3,img1])...,并将处理后的结果放入内存区[B1、B2、B3...]中;本步骤主要用来将步骤5中多张分开的单帧图片依照给定算法进行并行处理,即进行“放入内存[A1、A2、A3...]的图片进行进一步处理”;
接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤5中的操作,即有[A1,img2A2,img2A3,img2...]=fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3...]; 90-
步骤8:将后续所需参数进行进一步估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);
步骤9:将步骤7中放入内存[B1、B2、B3...]的图片继续处理,利用步骤3中的参数构造一个多对多(或多对一、一对一)的映射fC来进行交叉处理,有 [C1,img1C2,img1C3,img1...]=fC([B1,img1B2,img1B3,img1...]),并将处理后的结果放入内存区[C1、C2、C3...]中;从输入缓存区中取出第三帧图片并记为Oimg3,并重复步骤 8中的操作,即有
[A1,img3A2,img3A3,img3...]=fA(Oimg3)
[B1,img2B2,img2B3,img2...]=[fB1(A1,img2)fB2(A2,img2)fB3(A3,img2)...])
用得到的图片覆盖内存区[A1、A2、A3...]和[B1、B2、B3...]中;
步骤10:将内存区[C1、C2、C3...]进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤9,从输入缓存区读入新的原始图片Oimgn,同时处理 Oimgn和在内存区[A1、A2、A3...;B1、B2、B3...]的图片,并将处理的结果分别放入区域 [A1、A2、A3...;B1、B2、B3...;C1、C2、C3...];继续后续所需参数估计(例如卷积核参数、卷积步长、滤波核参数、图像块大小、灰度阈值等);
步骤11:在输入缓存区图片无更新或外加中断时算法停止。
以三帧去雾为例:
从输入缓存区每读取一帧图片后均有该帧图片处于预处理状态,,但让不同帧图片处于不同处理进度中。其上一帧图片处于去雾状态,再上一帧图片处于图像增强状态。在从输入缓存区获取下一帧之前,三帧图片已经处理完毕,且有一帧图片处于待输出图片(注:最开始读取的两帧图片处于待处理状态,且实时性有两帧的延迟)。
本发明的优点在于:
1)本发明在采集图像数据和进行图像处理时,采用了将图像放入缓存区并提前声明内存区以进行输入和输出的读取的预处理方法,有利于实时处理和与硬件结合;
2)本发明采用并行计算的方法,极大提高了图像增强算法的计算速度。并行的计算方法体现在两个方面,一为图像处理中将算法进行拆分,从而实现多图片并行处理的效果;二为参数计算并行处理,根据处理后的图像引入参数反馈,从而控制输出图像的处理效果和图像处理时间。
3)本发明使用范围不局限于特定环境,可广泛应用于交通监控、自动驾驶、医学影像等场景;不依赖于图片的格式、大小和具体内容,可以对单通道图片和多通道图片进行增强。可以作为一般的快速图像增强处理应用。
利用以下实验平台对本发明的基于并行处理框架的图像增强算法的加速方法进行效果验证:
实验平台、Labview2017(64bit);
上位机配置、CPU:Intel(R)Core(TM)i7-9750H;
RAM、16.0GB(15.9GB可用);
GPU、NVIDIA GeForce GTX 1660Ti;
待处理图片为灰度图片,利用VDM(vision development module)调用摄像头。分别采用常规算法和本专利中提到的算法搭建程序,比较运行时间。
1)实验中采用两个算法分别命名为算法1和算法2,算法2是算法1采用本发明改进后的算法,即基于并行框架的加速算法。
2)在实验过程中将待去雾图片放入图片缓存区来创造视频流,即相当于反复读入同一张图片来测试算法运行时间。
3)fA表示图片预处理,实验中为一个一对二的映射,将输入图片进行格式转换和卷积去噪。fB表示图片去雾,为两个一对一的映射,将两张输入图片分别进行去雾处理得到两张去雾图片。fC表示图片增强,为一个二对一的映射,将两张输入图片合并增强,获得一张输出图片。
4)算法1和算法2分别运行100帧,记录运行时间中位数并进行比较。
基于并行处理框架的图像增强算法的加速方法整体流程示意如下所示。
如图3所示,分别为用算法1和算法2处理前后示意图。可以看出处理效果相同,但速度有了很大地提升,在获得相同处理效的同时节省了处理时间。(a)图片2原图 (左)算法1处理后(右);(b)图片2原图(左)算法1处理后(右)。
Claims (1)
1.一种基于并行处理框架的图像增强算法的加速方法,其特征在于,包括以下步骤:
步骤1:利用相机在需要图像增强的环境中采集图像以获取实时视频流,然后将视频流逐帧保存在输入缓存区内等待调用;
步骤2:在内存中为视频流预设输入缓存区和输出缓存区,当有数据刷新需要时,在缓存区中采用覆盖刷新方式逐帧读入图片;
步骤3:进行图片预处理中所需参数的估计;
步骤4:在相邻两帧图片读取的时间间隙内同时处理多帧图片:
4.1:从输入缓存区中取出第一帧图片,记为Oimg1;
4.2:将取出的第一帧图片进行预处理之后,结合步骤3中的参数构造一个一对多的映射fA;fA表示图片预处理的映射,所述图片预处理包括将输入图片进行格式转换和卷积去噪;将预处理结果放入内存区[A1、A2、A3...]中;
步骤5、进行图片去雾处理中所需参数的估计;
步骤6、对放入内存[A1、A2、A3...]的图片利用步骤5中的估计参数构造多个一对一的映射fB;fB表示图片去雾的映射,所述图片去雾包括将两张输入图片分别进行去雾处理;处理后的结果放入内存区[B1、B2、B3...]中;
步骤7、将预处理之后的多张分开的单帧图片依照给定算法进行并行处理;接着,从输入缓存区中取出第二帧图片并记为Oimg2,并重复步骤4.2中的操作,得到第二帧图片的一个一对多的映射fA(Oimg2),用得到的图片覆盖内存区[A1、A2、A3...];
步骤8、将放入内存[B1、B2、B3…]的图片利用步骤3中的估计参数构造一个多对多或多对一或一对一的映射fC来进行交叉处理,fC表示图片增强,将两张输入图片合并增强,获得一张输出图片;将处理后的结果放入内存区[C1、C2、C3…]中,从输入缓存区中取出第三帧图片并记为Oimg3;重复步骤7中的操作,用得到的图片覆盖预处理后的图片存储空间和去雾处理后的图片存储空间;
步骤9、将储存增强图片的内存区进行R、G、B通道合并处理后放入输出缓存区中等待输出;接着,不断重复步骤8,从输入缓存区读入新的原始图片Oimgn,同时处理Oimgn和在内存区[A1、A2、A3…;B1、B2、B3...]的图片,并将处理的结果分别放入区域[A1、A2、A3...;B1、B2、B3...;C1、C2、C3...];
继续预处理图片、去雾图片和图片增强处理所需参数估计;
步骤10:在输入缓存区图片无更新或外加中断时,算法停止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110778210.3A CN113570515B (zh) | 2021-07-09 | 2021-07-09 | 基于并行处理框架的图像增强算法加速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110778210.3A CN113570515B (zh) | 2021-07-09 | 2021-07-09 | 基于并行处理框架的图像增强算法加速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113570515A true CN113570515A (zh) | 2021-10-29 |
CN113570515B CN113570515B (zh) | 2023-08-29 |
Family
ID=78164271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110778210.3A Active CN113570515B (zh) | 2021-07-09 | 2021-07-09 | 基于并行处理框架的图像增强算法加速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570515B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020012398A1 (en) * | 1999-12-20 | 2002-01-31 | Minhua Zhou | Digital still camera system and method |
GB0709392D0 (en) * | 2007-05-15 | 2007-06-27 | Artusi Alessandro | Selective control mapping |
CN111242872A (zh) * | 2020-01-20 | 2020-06-05 | 中国科学院西安光学精密机械研究所 | 一种基于msr的实时rgb图像增强方法 |
CN112312031A (zh) * | 2019-07-30 | 2021-02-02 | 辉达公司 | 增强的高动态范围成像和色调映射 |
-
2021
- 2021-07-09 CN CN202110778210.3A patent/CN113570515B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020012398A1 (en) * | 1999-12-20 | 2002-01-31 | Minhua Zhou | Digital still camera system and method |
GB0709392D0 (en) * | 2007-05-15 | 2007-06-27 | Artusi Alessandro | Selective control mapping |
CN112312031A (zh) * | 2019-07-30 | 2021-02-02 | 辉达公司 | 增强的高动态范围成像和色调映射 |
CN111242872A (zh) * | 2020-01-20 | 2020-06-05 | 中国科学院西安光学精密机械研究所 | 一种基于msr的实时rgb图像增强方法 |
Non-Patent Citations (2)
Title |
---|
刘欢;陈能成;陈泽强;: "基于Apache Spark的MODIS海表温度反演方法", 计算机系统应用, no. 09 * |
王云新;刘铁根;朱均超;霍晓飞;江俊峰;: "嵌入式人体手背静脉图像采集系统的研制", 仪器仪表学报, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
CN113570515B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Joint transmission map estimation and dehazing using deep networks | |
RU2770748C1 (ru) | Способ и аппарат для обработки изображений, устройство и носитель данных | |
CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
CN111402145B (zh) | 一种基于深度学习的自监督低照度图像增强方法 | |
CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
CN110751649A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
KR20150031241A (ko) | 이미지의 색 조화를 위한 장치 및 방법 | |
CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
CN114882532A (zh) | 一种基于改进yolox网络的跌倒检测方法及系统 | |
CN111046738B (zh) | 针对指静脉分割的轻量化u-net的精度提升方法 | |
US20230177639A1 (en) | Temporal video enhancement | |
CN111882581A (zh) | 一种深度特征关联的多目标跟踪方法 | |
CN111723934B (zh) | 图像处理方法及系统、电子设备及存储介质 | |
CN110555865B (zh) | 一种基于帧图像的动态视觉传感器样本集建模方法 | |
CN117689928A (zh) | 一种改进yolov5的无人机检测方法 | |
CN113239866A (zh) | 一种时空特征融合与样本注意增强的人脸识别方法及系统 | |
CN113570515B (zh) | 基于并行处理框架的图像增强算法加速方法 | |
CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
US20240029472A1 (en) | Depth assisted images refinement | |
WO2019150649A1 (ja) | 画像処理装置および画像処理方法 | |
KR20140138046A (ko) | 픽처를 처리하기 위한 방법 및 디바이스 | |
CN112164078B (zh) | 基于编码器-解码器的rgb-d多尺度语义分割方法 | |
CN112069923B (zh) | 3d人脸点云重建方法及系统 | |
CN111881794B (zh) | 一种视频行为识别方法及系统 | |
CN112183727A (zh) | 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |