CN112765390A - 具备双倍搜索区间的立体匹配方法 - Google Patents
具备双倍搜索区间的立体匹配方法 Download PDFInfo
- Publication number
- CN112765390A CN112765390A CN201911002077.1A CN201911002077A CN112765390A CN 112765390 A CN112765390 A CN 112765390A CN 201911002077 A CN201911002077 A CN 201911002077A CN 112765390 A CN112765390 A CN 112765390A
- Authority
- CN
- China
- Prior art keywords
- cost
- value
- array
- parallax
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明提供一种具备双倍搜索区间的立体匹配方法，主要通过一匹配代价演算法，获得一参考影像的一或多个像素在一视差搜索区间内，对应于一目标影像分别在一搜索视差时的多个代价值(第0～第2n+1‑1代价值)后，再对于第2n‑1～第2n‑1代价值及第2n～第2n+1‑1代价值，依序从两相邻与四相邻的代价值中选择最大值，再依据扫描顺序分别填入一代价阵列的第2n‑1～2n‑1+2n‑2‑1阵列元素及第2n‑1+2n‑2～第2n‑1阵列元素，藉此，本发明可在维持代价阵列的阵列长度不变的前提下，储存在双倍视差搜索区间中，各像素所对应的代价值，而达成不影响记忆体的储存成本的有利功效。
Description
技术领域
本发明涉及立体视觉(Stereo Vision)技术，尤指一种可提供双倍搜索区间(search range)，但不影响记忆体储存匹配代价(matching cost)储存成本的「具备双倍搜索区间的立体匹配方法」。
背景技术
一般而言，立体视觉技术广义来说包括两个阶段。前期阶段利用立体匹配(stereomatching)来估算两张影像之间的视差(视差为两张影像在同一扫描水平线的像素距离)以生成一视差图(disparity map)，再根据三角函数原理，便能演算出一深度图(depth map)；后期阶段则是利用深度图来产生不同视角的影像；于前期阶段中，视差估算主要包括四个步骤：匹配代价估算(matching cost computation)、代价聚合(cost aggregation)、视差选择与最佳化以及视差矫正(refine stage)。
由于影像成像特性的不同，例如不同的相机拍摄、成像比例尺及拍摄场景变化等因素，造成了影像的几何性差异(Geometric differences)及辐射性差异(Radiometricdifferences)，计算匹配代价值的目的为量化两张影像中对应像素间辐射品质(Radiometric quality)相异性(Dissimilarity)的程度，而匹配代价估算是用以找出两张影像(例如左眼与右眼影像)之间的差异(此可称为代价值cost)，而于代价聚合阶段中，则可利用代价聚合方法依据邻近像素的代价值来调整(例如累加)代价值，藉以提高像素之间的关联性(relation)与代价值的可靠度，而在获得经由累加后的代价值之后，即利用上述代价值来执行视差选择与最佳化。
又，进行立体匹配时，若要侦测一近物(close object)，通常需要增加左右眼影像在同一扫描线(scan line或epipolar line)的搜索区间，而在匹配代价估算与代价聚合阶段中，必须于记忆体储存各像素与各视差的匹配代价，但搜索区间的最大值受限于记忆体的大小，换言的，若要增加搜索区间的搜索范围，例如从搜索区间S→搜索区间2S，则必须扩增记忆体以增加储存空间(即必须使储存代价值的阵列长度由S→2S)，依此，如何提出一种可增加搜索区间但不会影响记忆体的储存成本的立体匹配方法，乃有待解决的问题。
发明内容
为达上述目的，本发明提出一种具备双倍搜索区间的立体匹配方法，供一处理器读取一记忆体的多个指令后，可执行以下步骤：
(1)对一参考影像及一目标影像执行一匹配代价演算法，藉以获得参考影像的一或多个像素在一视差搜索区间内，对应于目标影像分别在一搜索视差时的多个代价值，其中，该等代价值分别被定义为第0代价值至第2n+1-1代价值；
(2)对一代价阵列设定为可储存各代价值，且代价阵列的一阵列长度为以整数2为底数及以整数n+1为指数所得出的2的n+1幂次方；
(3)将第0代价值至第2n-1-1代价值，依据扫描顺序储存至代价阵列的第0至第2n-1-1阵列元素；
(4)对于第2n-1至第2n-1代价值，依序从两相邻的两代价值中选择最大值，再令被选择出的最大代价值，依据扫描顺序储存至代价阵列的第2n-1至第2n-1+2n-2-1阵列元素；以及
(5)对于第2n至第2n+1-1代价值，依据扫描顺序从四相邻的该等代价值中选择最大值，再令被选择出的最大代价值，依序储存至代价阵列的第2n-1+2n-2至第2n-1阵列元素。
藉此，本发明据以实施后，相较于常规熟知用于储存两倍视差搜索区间中，各像素所对应的代价值的一原始代价阵列而言，本发明至少可达成让代价阵列的阵列元素数量不变，但得以储存在两倍视差搜索区间中，各像素所对应的代价值，换言的，本发明至少可达成增加搜索区间但不影响记忆体的储存成本的有利功效。
为使贵审查委员得以清楚了解本发明的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。
附图说明
图1为本发明的立体匹配方法流程图。
图2为本发明的匹配代价计算示意图。
图3为本发明的代价阵列与常规熟知代价阵列比较示意图。
具体实施方式
请参阅「图1」，其为本发明的立体匹配方法流程图，并请搭配参阅「图2」～「图3」，本发明提出一种立体匹配方法S，可储存于一电子装置、一电脑可读取记录媒体或一电脑程式产品，供一处理器读取一记忆体的多个指令后，可执行以下步骤：
(1)取得匹配代价值(步骤S10)：对一参考影像R及一目标影像T执行一匹配代价演算法(Stereo matching algorithm)，藉以获得参考影像R的一或多个像素在一视差搜索区间SR内，对应于目标影像T分别在一搜索视差dmax时的多个代价值，即如「图2」所示，以期能找出相对于两张影像(R、T)最匹配的一匹配点，其中，该等代价值分别被定义为第0代价值至第2n+1-1代价值，并且，本步骤S10执行完毕后，可生成描述参考影像R与目标影像T的像素对应关系的一视差空间影像(DSI,disparity space image)；
(2)代价阵列初始化(步骤S20)：请参阅「图3」，处理器可对一代价阵列Array设定为可储存各代价值，且代价阵列Array的一阵列长度为以整数2为底数及以整数n+1为指数所得出的2的n+1幂次方，若以n＝7为例，则此代价阵列Array的阵列长度可被定义为27＝128；
(3)储存部份代价值至阵列(步骤S30)：请继续参阅「图3」，处理器接着可将第0代价值至第2n-1-1代价值，依据扫描顺序储存至代价阵列Array的第0至第2n-1-1阵列元素，即依序储存至Array[0]～Array[2n-1-1]，更具体而言，若以n＝7为例，则可将第0至63笔代价值填入依序填入代价阵列Array的第[0]～[63]阵列元素；
(4)从两相邻搜索视差选择最大代价值(步骤S40)：请继续参阅「图3」，处理器接着对于第2n-1至第2n-1代价值，依序从两相邻的两代价值中选择最大值，再令被选择出的最大代价值，依据扫描顺序储存至代价阵列Array的第2n-1至第2n-1+2n-2-1阵列元素，并以此代价值作为参考影像R与目标影像T在同一点的代价值，更具体而言，若以n＝7为例，则可对于第64～127笔代价值，依序从搜索区间分别为dv与dv+1的两相邻的两代价值中选择最大值，再令被选择出的最大代价值，依序储存至代价阵列Array的[第
]阵列元素，即储存至代价阵列Array的第[64]～[95]阵列元素；
(5)从四相邻搜索视差选择最大代价值(步骤S50)：对于第2n至第2n+1-1代价值，依据扫描顺序从四相邻的该等代价值中选择最大值，再令被选择出的最大代价值，依序储存至代价阵列Array的第2n-1+2n-2至第2n-1阵列元素，并以此代价值作为参考影像R与目标影像T在同一点的代价值，更具体而言，若以n＝7为例，则可对于第28～255笔代价值，依序从搜索区间分别为dv～dv+3的四相邻的四代价值中选择最大值，再令被选择出的最大代价值，依序储存至代价阵列Array的[第
即储存至代价阵列Array的第[96]～[127]阵列元素；
(6)综上可知，由原始代价阵列Array’与本实施例的代价阵列Array的阵列长度可知，由于本发明于步骤S40～步骤S50对该等代价值(即第2n-1至第2n-1、及第2n至第2n+1-1代价值)执行了类同融合(merge)的演算，故相较于常规熟知的原始代价阵列Array’需以双倍阵列长度完整储存在二倍搜索空间SR中，各个搜索视差(d0～d255)所对应的第0～255代价值的常规熟知作法，本发明据以实施后，可达成以相同阵列长度，储存在二倍搜索空间SR中，各个搜索视差(d0～d255)所对应的第0～255代价值的常规熟知作法。
(7)另，本发明在一较佳实施例中，匹配代价演算法可为一灰度差值绝对值(Absolute Difference，AD，或称绝对差)演算法、一灰度差值平方(Square Difference，SD)演算法、一像素异性测量(Pixel Dissimilarity Measure，PDM)演算法、一标准化交叉相关(Normalized Cross Correlation，NCC)演算法、一等级(Rank)演算法或一普查转换(Census Transform)演算法的其中一种，惟本实施例(即图2)是以基于像素点的匹配代价演算法为例，并不以此为限，意即本发明于执行步骤S10时，也得以例如一绝对差值和(Sumof Absolute Difference，SAD)演算法、一截断绝对差值和(Sum of Truncated AbsoluteDifferences，STAD)演算法或一差值平方和(Sum of squared Differences，SSD)演算法等基于区域的匹配代价演算法。
(8)另，本发明在一较佳实施例中，参考影像R可被定为左眼影像、目标影像T为定义为右眼影像，或参考影像R为被定义为右眼影像、目标影像T则被定义为左眼影像。
(9)另，本发明在一较佳实施例中，处理器读取该等指令后，还可执行一代价聚合步骤(图中未绘示)，该处理器对参考影像R中各像素的邻近像素的该等代价值来执行代价值累加，由于邻近像素的代价值可容纳更多资讯，故可提高像素之间的关联性与该等代价值的可靠度。
请继续参阅「图1」～「图3」，承步骤S50，当处理器读取该等指令并在进行一视差精炼(或称视差优化,Disparity Refinement)前，先执行一视差校正步骤S60：令处理器对于各像素在视差搜索区间SR内所选取的搜索视差(此选取视差的阶段可于常规熟知的「视差选择与最佳化」完成)，分为视为一待校正视差值d，判断搜索视差是对应于代价阵列Array的哪一个阵列元素，以演算出一校正后视差值d’，其中，若待校正视差值d小于2n-1，则校正后视差值d’仍等于待校正视差值d；若待校正视差值d≥2n-1，且同时小于2n-1+2n-2，则校正后视差值d’为2n-1+(待校正视差值-2n-1)*2；若待校正视差值d≥2n，且同时小于2n+1，则校正后视差值d’为2n+(待校正视差值-2n)*4；更具体而言，若以n＝7为例，则待校正视差值d与校正后视差值d’的转换关系式可表示如下：
0≤d＜27-1，d’＝d；
27-1≤d＜27-1+27-2，d’＝27-1+(d-27-1)*2；
27≤d＜27+1，d’＝2n+(d-2n-1-2n-2)*4。
承上，本发明在执行前述的视差精炼时，可使用例如内插(Interpolation，也可称左右一致性检测)、投票策略(Voting scheme)、中值滤波(Median filter)等作法进行，但均不以此为限；其中，内插是系指可针对每一个异常像素，搜寻左右两方向的可靠像素(Reliable pixel)，以两者中较小的视差值取代其视差值；而投票策略指可藉由例如结合十字区块匹配演算法(Cross-based Matching Local Stereo Matching)所建立每个像素(包含异常像素)的支撑区域(Support region)，并统计其范围内所有视差值，再取其中出现次数最多的视差值来取代异常像素的视差值；而中值滤波是指可将整张视差影像(视差空间影像，DSI)利用例如4×4大小的遮罩去除影像中的杂讯，并保持所得视差影像的边缘锐度。
以上所述者，仅为本发明的较佳的实施例而已，并非用以限定本发明实施的范围；任何熟习此技艺者，在不脱离本发明的精神与范围下所作的均等变化与修饰，皆应涵盖于本发明的专利范围内。
【符号说明】
S 立体匹配方法
S10 取得匹配代价值
S20 代价阵列初始化
S30 储存部份代价值至阵列
S40 从两相邻搜索视差选择最大代价值
S50 从四相邻搜索视差选择最大代价值
S60 视差校正
R 参考影像
T 目标影像
SR 视差搜索区间
Array 代价阵列
Array’ 原始代价阵列
Claims (9)
1.一种具备双倍搜索区间的立体匹配方法立体匹配方法，其特征在于，供一处理器读取一记忆体的多个指令后，执行以下步骤：
一取得匹配代价值步骤：对一参考影像及一目标影像执行一匹配代价演算法，藉以获得所述参考影像的一或多个像素在一视差搜索区间内，对应于所述目标影像分别在一搜索视差时的多个代价值，其中，所述多个代价值分别被定义为第0代价值至第2n+1-1代价值；
一代价阵列初始化步骤：对一代价阵列设定为可储存各所述代价值，且所述代价阵列的一阵列长度为以整数2为底数及以整数n+1为指数所得出的2的n+1幂次方；
一储存部份代价值至阵列步骤：将第0代价值至第2n-1-1代价值，依据扫描顺序储存至所述代价阵列的第0至第2n-1-1阵列元素；
一从两相邻搜索视差选择最大代价值步骤：对于第2n-1至第2n-1代价值，依序从两相邻的两所述代价值中选择最大值，再令被选择出的最大代价值，依据扫描顺序储存至所述代价阵列的第2n-1至第2n-1+2n-2-1阵列元素；以及
一从四相邻搜索视差选择最大代价值步骤：对于第2n至第2n+1-1代价值，依据扫描顺序从四相邻的所述代价值中选择最大值，再令被选择出的最大代价值，依序储存至所述代价阵列的第2n-1+2n-2至第2n-1阵列元素。
2.如权利要求1所述的立体匹配方法，其特征在于，所述匹配代价演算法为一灰度差值绝对值(AD)演算法、一灰度差值平方(SD)演算法、一像素异性测量(PDM)演算法、一标准化交叉相关(NCC)演算法、一等级(Rank)演算法或一普查转换(Census)演算法的其中一种。
3.如权利要求1所述的立体匹配方法，其特征在于，所述参考影像被定为左眼影像、所述目标影像为定义为右眼影像，或所述参考影像为被定义为右眼影像、所述目标影像被定义为左眼影像。
4.如权利要求1所述的立体匹配方法，其特征在于，所述处理器读取所述指令后，还包括执行一代价聚合步骤，所述处理器对该参考影像中各像素的邻近像素的该等代价值来执行代价值累加，藉以提高像素之间的关联性与该等代价值的可靠度。
5.如权利要求1所述的立体匹配方法，其特征在于，所述取得匹配代价值步骤执行完毕后，生成可描述所述参考影像与所述目标影像的像素对应关系的一视差空间影像。
6.如权利要求1所述的立体匹配方法，其特征在于，所述处理器读取所述指令并在进行一视差精炼前，先执行一视差校正步骤：令所述处理器对于各所述像素在所述视差搜索区间内所选取的所述搜索视差，分为视为一待校正视差值，判断所述搜索视差是对应于该代价阵列的哪一个阵列元素，以演算出一校正后视差值。
7.如权利要求6所述的立体匹配方法，其特征在于，若被选取的所述搜索视差小于2n-1，则所述校正后视差值等于所述待校正视差值。
8.如权利要求6所述的立体匹配方法，其特征在于，若被选取的所述搜索视差≥2n-1，同时小于2n-1+2n-2，则所述校正后视差值为2n-1+(该待校正视差值-2n-1)*2。
9.如权利要求6所述的立体匹配方法，其特征在于，若被选取的所述搜索视差≥2n，同时小于2n+1，则所述校正后视差值为2n+(该待校正视差值-2n)*4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002077.1A CN112765390A (zh) | 2019-10-21 | 2019-10-21 | 具备双倍搜索区间的立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002077.1A CN112765390A (zh) | 2019-10-21 | 2019-10-21 | 具备双倍搜索区间的立体匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112765390A true CN112765390A (zh) | 2021-05-07 |
Family
ID=75691879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911002077.1A Withdrawn CN112765390A (zh) | 2019-10-21 | 2019-10-21 | 具备双倍搜索区间的立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765390A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060063558A (ko) * | 2004-12-06 | 2006-06-12 | 한국전자통신연구원 | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 |
| KR20120125970A (ko) * | 2011-05-09 | 2012-11-19 | 한국전자통신연구원 | 스테레오 매칭 방법 및 그 장치 |
| CN103220545A (zh) * | 2013-04-28 | 2013-07-24 | 上海大学 | 一种立体视频实时深度估计系统硬件实现方法 |
| TW201435802A (zh) * | 2013-03-07 | 2014-09-16 | Acer Inc | 立體影像的視差估算方法 |
| CN104867133A (zh) * | 2015-04-30 | 2015-08-26 | 燕山大学 | 一种快速的分步立体匹配方法 |
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN108257165A (zh) * | 2018-01-03 | 2018-07-06 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法、双目视觉设备 |
| CN109816711A (zh) * | 2019-01-07 | 2019-05-28 | 华南理工大学 | 一种采用自适应结构的立体匹配方法 |
| CN110310320A (zh) * | 2019-07-09 | 2019-10-08 | 南京美基森信息技术有限公司 | 一种双目视觉匹配代价聚合优化方法 |
-
2019
- 2019-10-21 CN CN201911002077.1A patent/CN112765390A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060063558A (ko) * | 2004-12-06 | 2006-06-12 | 한국전자통신연구원 | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 |
| KR20120125970A (ko) * | 2011-05-09 | 2012-11-19 | 한국전자통신연구원 | 스테레오 매칭 방법 및 그 장치 |
| TW201435802A (zh) * | 2013-03-07 | 2014-09-16 | Acer Inc | 立體影像的視差估算方法 |
| CN103220545A (zh) * | 2013-04-28 | 2013-07-24 | 上海大学 | 一种立体视频实时深度估计系统硬件实现方法 |
| CN104867133A (zh) * | 2015-04-30 | 2015-08-26 | 燕山大学 | 一种快速的分步立体匹配方法 |
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN108257165A (zh) * | 2018-01-03 | 2018-07-06 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法、双目视觉设备 |
| CN109816711A (zh) * | 2019-01-07 | 2019-05-28 | 华南理工大学 | 一种采用自适应结构的立体匹配方法 |
| CN110310320A (zh) * | 2019-07-09 | 2019-10-08 | 南京美基森信息技术有限公司 | 一种双目视觉匹配代价聚合优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8818077B2 (en) | Stereo image matching apparatus and method | |
| JP6271609B2 (ja) | 立体カメラのためのオートフォーカス | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| US9300946B2 (en) | System and method for generating a depth map and fusing images from a camera array | |
| US8611641B2 (en) | Method and apparatus for detecting disparity | |
| US20100142828A1 (en) | Image matching apparatus and method | |
| US10298905B2 (en) | Method and apparatus for determining a depth map for an angle | |
| TWI493505B (zh) | 影像處理方法以及影像處理裝置 | |
| US10116917B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20130002827A1 (en) | Apparatus and method for capturing light field geometry using multi-view camera | |
| JP2011203811A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ | |
| US10142613B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| TWI502544B (zh) | 立體影像的視差估算方法 | |
| JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
| EP2536123B1 (en) | Image processing method and image processing apparatus | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| TWI439961B (zh) | Conversion algorithm for voids generated after converting 2D images | |
| TWI571099B (zh) | 深度估測裝置及方法 | |
| TW201605225A (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
| JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| JP5252642B2 (ja) | 奥行推定装置、奥行推定方法および奥行推定プログラム | |
| CN112765390A (zh) | 具备双倍搜索区间的立体匹配方法 | |
| US20230162338A1 (en) | Virtual viewpoint synthesis method, electronic apparatus, and computer readable medium | |
| TWI698836B (zh) | 具備雙倍搜索區間的立體匹配方法 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210507 |