CN111882487A - 一种基于双平面平移变换的大视场光场数据融合方法 - Google Patents

一种基于双平面平移变换的大视场光场数据融合方法 Download PDF

Info

Publication number
CN111882487A
CN111882487A CN202010694170.XA CN202010694170A CN111882487A CN 111882487 A CN111882487 A CN 111882487A CN 202010694170 A CN202010694170 A CN 202010694170A CN 111882487 A CN111882487 A CN 111882487A
Authority
CN
China
Prior art keywords
biplane
light
plane
characteristic
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010694170.XA
Other languages
English (en)
Inventor
刘畅
邱钧
王安东
赵亚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Original Assignee
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yellow River Delta National Nature Reserve Management Committee, Beijing Information Science and Technology University filed Critical Shandong Yellow River Delta National Nature Reserve Management Committee
Priority to CN202010694170.XA priority Critical patent/CN111882487A/zh
Publication of CN111882487A publication Critical patent/CN111882487A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双平面平移变换的大视场光场数据融合方法，该方法包括：步骤1，对世界坐标系下的双平面光场进行参数化描述；步骤2，建立描述两组双平面平移变换关系的平移变换矩阵；步骤3，提取第一组双平面光场的中心视图的特征点，由于每个特征点对应光场的一个特征光线，因此可以通过匹配特征光线，得到特征光线在第二组双平面光场中对应的像点和视点，再根据特征光线在第一组双平面光场和第二组双平面光场中的空间关系，求解两组双平面平移变换关系的平移变换矩阵；步骤4，利用两组双平面的平移变换矩阵，将第一组双平面光场变换到第二组双平面光场，完成大视场光场数据的拼接融合。本发明方法能够实现基于解析变换关系的精确双平面光场拼接方法，解决了光场拼接时两个双平面拼接不一致的问题。

Description

一种基于双平面平移变换的大视场光场数据融合方法
技术领域
本发明涉及光学与数字图像处理技术领域，特别是关于一种基于双平面平移变换的大视场光场数据融合方法。
背景技术
光场数据具备比RGB图像和RGB-D图像更加丰富的场景光线信息，对场景成像的分辨率更高。基于基础光场数据的大视场成像计算是计算成像领域的一个重要研究方向，具有一定理论意义和广阔的应用前景。目前，对光场数据的拼接融合方法大都基于深度图、全聚焦图或者聚焦堆栈，而针对原始光场数据的拼接融合方法较少。
发明内容
本发明的目的在于提供一种基于双平面平移变换的大视场光场数据融合方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于双平面平移变换的大视场光场数据融合方法，该方法包括：
步骤1，对世界坐标系下的双平面光场进行参数化描述：设定所述双平面光场的双平面垂直于所述世界坐标系的第一个坐标轴，则所述双平面光场可通过其双平面中两个平面的间距、所述双平面中一个平面内的点坐标、以及所述双平面光场分别与该平面的两个坐标轴的夹角进行描述；
步骤2，建立描述两组双平面平移变换关系的平移变换矩阵；
步骤3，提取第一组双平面光场的中心视图的特征点，根据每个特征点对应光场的一个特征光线，则通过匹配特征光线，得到特征光线在第二组双平面光场中对应的像点和视点，再根据特征光线在第一组双平面光场和第二组双平面光场中的空间关系，求解两组双平面平移变换关系的平移变换矩阵；
步骤4，利用两组双平面的平移变换矩阵，将第一组双平面光场变换到第二组双平面光场，完成大视场光场数据的拼接融合。
进一步地，所述步骤1中，设定所述世界坐标系为Ow-XwYwZw，一所述双平面包括第一平面P1和第二平面P2：(x，y)，所述第一个坐标轴为Zw轴；
所述双平面光场可参数化描述为：
Figure BDA0002590360520000021
其中，a为第一平面P1和第二平面P2的间距，θ、
Figure BDA0002590360520000022
分别为所述双平面光场与所述第二平面P2的x轴、y轴的夹角。
进一步地，所述步骤2中的所述平移变换矩阵描述为式(7)：
Figure BDA0002590360520000023
式(7)简记为α′＝Tα；
式(7)中，所述两组双平面包括第一组双平面和第二组双平面，所述第一组双平面包括第一平面P1：(u，v)和第二平面P2，另一组双平面包括间距为a的第三平面P′1：(u′，v′)和第二平面P′2：(x′，y′)；Δx为第一平面P1沿Xw轴平移到第三平面P1′的变化量、Δy为第一平面P1沿Yw轴平移到第三平面P1′的变化量、Δz为第一平面P1沿Zw轴平移到第三平面P1′的变化量。
进一步地，提取第一组双平面光场的中心视图的特征点{(xi，yi)，i＝1，2，…I}，共I个特征点，所述中心视图为第一组双平面光场的第一平面P1定义为视点平面的情形下，其中心(u0，v0)所对应的图像；
所述特征光线表示为公式(8)：
L(xi，yi，u0，v0)，i＝1，2，…I (8)
将所述中心视图的特征点对应其所在双平面光场的特征光线与其它视图特征点进行匹配，得到特征光线在第二组双平面光场中对应的像点(x′i，y′i)和视点(u′i，v′i)，有式(11)和式(12)：
xi-u0＝x′i-u′i (11)
yi-v0＝y′i-v′i (12)
根据特征光线在第一组双平面光场L(xi，yi，u0，v0)和第二组双平面光场L′(x′i，y′i，u′i，v′i)中的空间关系，利用最小二乘法，求解平移变换矩阵T中的Δx、Δy、Δz和a。
进一步地，所述步骤4中，利用所述平移变换矩阵T，将向量
Figure BDA0002590360520000024
Figure BDA0002590360520000033
变换成
Figure BDA0002590360520000031
Figure BDA0002590360520000032
融合后的双平面光场为L′(x′，y′，u′，v′)。
由于本发明采用双平面平移变换，在统一坐标系下推导出两组双平面的平移变换矩阵，再通过特征光线的匹配，求解出平移变换矩阵，最后利用平移变换矩阵实现光场数据的拼接融合，本发明方法能够实现基于解析变换关系的精确双平面光场拼接方法，解决了光场拼接时两个双平面拼接不一致的问题。
附图说明
图1和图2a为本发明实施例提供的双平面参数化表示的三维示意图。
图2b为图2a的俯视图。
图2c为图2a的左视图。
图3为本发明实施例提供的平移变换下的双平面参数化表示的三维示意图。
图4为图3的俯视图。
图5为图3的左视图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本实施例提供的基于双平面平移变换的大视场光场数据融合方法包括如下步骤：
步骤1，对世界坐标系下的双平面光场进行参数化描述：设定所述双平面光场的双平面垂直于所述世界坐标系的第一个坐标轴，则所述双平面光场可通过其双平面中两个平面的间距、所述双平面中一个平面内的点坐标、以及所述双平面光场分别与该平面的两个坐标轴的夹角进行描述。
例如：如图1所示，在世界坐标系Ow-XwYwZw下，物点(xw，yw，zw)发出的一条光线与双平面光场的双平面交于(xp1，yp1，zp1)、(xp2，yp2，zp2)两点。设定该双平面分别为第一平面P1(u，v)和第二平面P2(x，y)，a为第一平面P1和第二平面P2的间距。那么，物点(xw，yw，zw)发出的光线可由(x，y，u，v)中的四个参数确定，光线强度由L(x，y，u，v)描述。
如图2a所示，本实施例设定双平面光场的双平面平行于Ow-XwYw平面，法向量为(0，0，-1)。双平面光场L(x，y，u，v)与第一平面P1的交点坐标为(u，v)，与第二平面P2的交点坐标为(x，y)。图2b示出了双平面光场L(x，y，u，v)与第一平面P1的u轴和第二平面P2的x轴的夹角都为θ，图2c示出了双平面光场L(x，y，u，v)与第一平面P1的v轴和第二平面P2的y轴的夹角都为
Figure BDA00025903605200000412
。则有如下式(1)和式(2)表示的关系：
Figure BDA0002590360520000041
Figure BDA0002590360520000042
变形可得到：
Figure BDA0002590360520000043
Figure BDA0002590360520000044
因此，可以将双平面光场L(x，y，u，v)表示为
Figure BDA0002590360520000045
Figure BDA0002590360520000046
或
Figure BDA0002590360520000047
即双平面光场L(x，y，u，v)也可由第二平面P2中的一个点坐标(x，y)和两个夹角:θ，
Figure BDA0002590360520000048
唯一确定。
步骤2，建立描述两组双平面平移变换关系的平移变换矩阵。
如图3所示，第一组双平面光场L(x，y，u，v)的第一双平面包括第一平面P1和第二平面P2。第二组双平面光场L′(x′，y′，u′，v′)的第二双平面包括第三平面P′1和第四平面P′2。
第三平面P′1由第一平面P1平移得到，第一平面P1的视点中心的三维坐标(xp1，yp1，zp1)，第三平面P′1的视点中心坐标为(xp1-Δx，yp1-Δy，zp1-Δz)。
第二平面P′2由第二平面P2平移得到，第二平面P2的视点中心坐标为(xp2，yp2，zp2)，第四平面P2′的视点中心坐标为(xp2-Δx，yp2-Δy，zp2-Δz)。
同一光线经过第一平面P1和第三平面P1′后，坐标由(x，y)变为(x′，y′)，光线的方向不变，由图可知，光线与Xw轴的夹角θ和光线与Yw轴的夹角
Figure BDA0002590360520000049
的大小不变，于是由式(5)表示(x，y)变为(x′，y′)的关系和由式(6)表示的(u′，v′)坐标值与(u，v)的关系：
Figure BDA00025903605200000410
Figure BDA00025903605200000411
式(5)和式(6)中，Δx为第一平面P1沿Xw轴平移到第三平面P1′的变化量、Δy为第一平面P1沿Yw轴平移到第三平面P1′的变化量、Δz为第一平面P1沿Zw轴平移到第三平面P1′的变化量。
整理式(5)和式(6)，可得两组双平面平移变换关系的平移变换矩阵描述为式(7)：
Figure BDA0002590360520000051
与上述式(7)中各部分直接对应地，式(7)简记为α′＝Tα。由此可知：平移变换矩阵为线性变换。
步骤3，提取第一组双平面光场的中心视图的特征点，根据每个特征点对应光场的一个特征光线，则可以通过匹配特征光线，得到特征光线在第二组双平面光场中对应的像点和视点，再根据特征光线在第一组双平面光场和第二组双平面光场中的空间关系，求解两组双平面平移变换关系的平移变换矩阵。
例如：采用SIFT特征提取算法或SURF算法，提取第一组双平面光场的中心视图的特征点{(xi，yi)，i＝1，2，…I}，共I个特征点，其中，中心视图可以理解为：第一组双平面光场的第一平面P1定义为视点平面的情形下，其中心(u0，v0)所对应的图像。
由于第一组双平面光场的中心视图的中心固定，因此，提取每一个特征点对应其所在双平面光场的一个特征光线，该特征光线表示为公式(8)：
L(xi，yi，u0，v0)，i＝1，2，…I (8)
本实施例将中心视图的特征点对应其所在双平面光场的特征光线与其它视图特征点进行匹配，得到特征光线在第二组双平面光场中对应的像点(x′i，y′i)和视点(u′i，v′i)，由图4和图5可知，满足式(9)和式(10)：
x-u＝x′-u′ (9)
y-v＝y′-v (10)
根据式(9)和式(10)，有式(11)和式(12)：
Xi-u0＝x′i-u′i (11)
yi-v0＝y′i-v′i (12)
根据特征光线在第一组双平面光场L(xi，yi，u0，v0)和第二组双平面光场L′(x′i，y′i，u′i，v′i)中的空间关系，利用最小二乘法，求解第一组双平面和第二组双平面的平移变换矩阵T中的Δx、Δy、Δz和a,亦求出了平移变换矩阵T。
步骤4，利用两组双平面的平移变换矩阵，将第一组双平面光场变换到第二组双平面光场，完成大视场光场数据的拼接融合。
利用双平面的平移变换矩阵T，将第一组双平面光场L(x，y，u，v)变换到第二组双平面光场L′(x′，y′，u′，v′)，即将向量
Figure BDA0002590360520000061
变换成
Figure BDA0002590360520000062
Figure BDA0002590360520000063
Figure BDA0002590360520000064
完成大视场光场数据的拼接融合，融合后的双平面光场为L′(x′，y′，u′，v′)。
可以理解的是，上述的第一平面P1(u，v)和第二平面P2(x，y)也可以替换成第一平面P1(u，v)和第二平面P2(x，z)，此时，可以将双平面设定为平行于Ow-XwZw平面。同样地，上述的第一平面P1(u，v)和第二平面P2(x，y)还可以替换成第一平面P1(u，v)和第二平面P2(y，z)，则可以将双平面设定为平行于Ow-YwZw平面。那么，实现大视场光场数据的拼接融合方法的各个步骤中的坐标轴的选取也做适应性调整，但是，具体的步骤与上述实施例中给出的步骤相同，在此不再一一展开描述。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于双平面平移变换的大视场光场数据融合方法，其特征在于，包括：
步骤1，对世界坐标系下的双平面光场进行参数化描述：设定所述双平面光场的双平面垂直于所述世界坐标系的第一个坐标轴，则所述双平面光场可通过其双平面中两个平面的间距、所述双平面中一个平面内的点坐标、以及所述双平面光场分别与该平面的两个坐标轴的夹角进行描述；
步骤2，建立描述两组双平面平移变换关系的平移变换矩阵；
步骤3，提取第一组双平面光场的中心视图的特征点，根据每个特征点对应光场的一个特征光线，则通过匹配特征光线，得到特征光线在第二组双平面光场中对应的像点和视点，再根据特征光线在第一组双平面光场和第二组双平面光场中的空间关系，求解两组双平面平移变换关系的平移变换矩阵；
步骤4，利用两组双平面的平移变换矩阵，将第一组双平面光场变换到第二组双平面光场，完成大视场光场数据的拼接融合。
2.如权利要求1所述的基于双平面平移变换的大视场光场数据融合方法，其特征在于，所述步骤1中，设定所述世界坐标系为Ow-XwYwZw，一组所述双平面包括第一平面P1和第二平面P2：(x，y)，所述第一个坐标轴为Zw轴；
所述双平面光场可参数化描述为：
Figure FDA0002590360510000011
其中，a为第一平面P1和第二平面P2的间距，θ、
Figure FDA0002590360510000012
分别为所述双平面光场与所述第二平面P2的x轴、y轴的夹角。
3.如权利要求2所述的基于双平面平移变换的大视场光场数据融合方法，其特征在于，所述步骤2中的所述平移变换矩阵描述为式(7)：
Figure FDA0002590360510000013
式(7)简记为α′＝Tα；
式(7)中，所述两组双平面包括第一组双平面和第二组双平面，所述第一组双平面包括第一平面P1：(u，v)和第二平面P2，另一组双平面包括间距为a的第三平面P′1：(u′，v′)和第四平面P′2：(x′，y′)；Δx为第一平面P1沿Xw轴平移到第三平面P1′的变化量、Δy为第一平面P1沿Yw轴平移到第三平面P1′的变化量、Δz为第一平面P1沿Zw轴平移到第三平面P1′的变化量。
4.如权利要求3所述的基于双平面平移变换的大视场光场数据融合方法，其特征在于，提取第一组双平面光场的中心视图的特征点{(xi，yi)，i＝1，2，…I}，共I个特征点，所述中心视图为第一组双平面光场的第一平面P1定义为视点平面的情形下，其中心(u0，v0)所对应的图像；
所述特征光线表示为公式(8)：
L(xi，yi，u0，v0)，i＝1，2，…I (8)
将所述中心视图的特征点对应其所在双平面光场的特征光线与其它视图特征点进行匹配，得到特征光线在第二组双平面光场中对应的像点(x′i，y′i)和视点(u′i，v′i)，有式(11)和式(12)：
xi-u0＝x′i-u′i (11)
yi-v0＝y′i-v′i (12)
根据特征光线在第一组双平面光场L(xi，yi，u0，v0)和第二组双平面光场L′(x′i，y′i，u′i，v′i)中的空间关系，利用最小二乘法，求解平移变换矩阵T中的Δx、Δy、Δz和a。
5.如权利要求1所述的基于双平面平移变换的大视场光场数据融合方法，其特征在于，所述步骤4中，利用所述平移变换矩阵T，将向量
Figure FDA0002590360510000021
变换成
Figure FDA0002590360510000022
Figure FDA0002590360510000023
融合后的双平面光场为L′(x′，y′，u′，v′)。
CN202010694170.XA 2020-07-17 2020-07-17 一种基于双平面平移变换的大视场光场数据融合方法 Withdrawn CN111882487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010694170.XA CN111882487A (zh) 2020-07-17 2020-07-17 一种基于双平面平移变换的大视场光场数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010694170.XA CN111882487A (zh) 2020-07-17 2020-07-17 一种基于双平面平移变换的大视场光场数据融合方法

Publications (1)

Publication Number Publication Date
CN111882487A true CN111882487A (zh) 2020-11-03

Family

ID=73155804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010694170.XA Withdrawn CN111882487A (zh) 2020-07-17 2020-07-17 一种基于双平面平移变换的大视场光场数据融合方法

Country Status (1)

Country Link
CN (1) CN111882487A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669355A (zh) * 2021-01-05 2021-04-16 北京信息科技大学 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133469A (zh) * 2017-12-05 2018-06-08 西北工业大学 基于epi的光场拼接装置及方法
CN108921781A (zh) * 2018-05-07 2018-11-30 清华大学深圳研究生院 一种基于深度的光场拼接方法
CN110648302A (zh) * 2019-10-08 2020-01-03 太原科技大学 基于边缘增强引导滤波的光场全聚焦图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133469A (zh) * 2017-12-05 2018-06-08 西北工业大学 基于epi的光场拼接装置及方法
CN108921781A (zh) * 2018-05-07 2018-11-30 清华大学深圳研究生院 一种基于深度的光场拼接方法
WO2019214568A1 (zh) * 2018-05-07 2019-11-14 清华大学深圳研究生院 一种基于深度的光场拼接方法
CN110648302A (zh) * 2019-10-08 2020-01-03 太原科技大学 基于边缘增强引导滤波的光场全聚焦图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN QIU ET AL.: "Light field data fusion with large field of view based on feature point tracking", 《JSAP-OSA JOINT SYMPOSIA 2019 ABSTRACTS，OSA TECHNICAL DIGEST (OPTICA PUBLISHING GROUP, 2019)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669355A (zh) * 2021-01-05 2021-04-16 北京信息科技大学 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统
CN112669355B (zh) * 2021-01-05 2023-07-25 北京信息科技大学 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统

Similar Documents

Publication Publication Date Title
An et al. Geometric calibration for LiDAR-camera system fusing 3D-2D and 3D-3D point correspondences
Ji et al. Deep view morphing
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN113888631B (zh) 一种基于目标裁剪区域的指定物体抓取方法
CN111223053A (zh) 基于深度图像的数据增强方法
CN111476242B (zh) 一种激光点云语义分割方法及装置
CN102074015A (zh) 一种基于二维图像序列的目标对象的三维重建方法
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
Gu et al. Dot-coded structured light for accurate and robust 3D reconstruction
Chen et al. Autosweep: Recovering 3d editable objects from a single photograph
CN114741768A (zh) 智能变电站三维建模方法
CN104796624B (zh) 一种光场编辑传播方法
Jin et al. Efficient camera self-calibration method based on the absolute dual quadric
CN110176041B (zh) 一种基于双目视觉算法的新型列车辅助装配方法
CN109934859B (zh) 一种基于特征增强多维权重描述子的icp配准方法
CN108305281A (zh) 图像的校准方法、装置、存储介质、程序产品和电子设备
CN111882487A (zh) 一种基于双平面平移变换的大视场光场数据融合方法
An et al. LiDAR-camera system extrinsic calibration by establishing virtual point correspondences from pseudo calibration objects
CN115423854B (zh) 一种基于多尺度特征提取的多视角点云配准及点云融合方法
CN111429571A (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN116468731A (zh) 基于跨模态Transformer的点云语义分割方法
KR20230098058A (ko) 3차원 데이터 증강 방법, 모델 트레이닝 검출 방법, 설비 및 자율 주행 차량
US11967131B2 (en) System for processing an image, method for processing the image, method for training a neural network for processing the image, and recording medium for executing the method
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN112927304A (zh) 一种基于卷积神经网络的鱼眼镜头标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201103