CN109282757A - 一种光场度量标定方法及标定系统 - Google Patents

一种光场度量标定方法及标定系统 Download PDF

Info

Publication number
CN109282757A
CN109282757A CN201810844861.6A CN201810844861A CN109282757A CN 109282757 A CN109282757 A CN 109282757A CN 201810844861 A CN201810844861 A CN 201810844861A CN 109282757 A CN109282757 A CN 109282757A
Authority
CN
China
Prior art keywords
light
imaging device
depth
field
field imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810844861.6A
Other languages
English (en)
Other versions
CN109282757B (zh
Inventor
刘晓利
彭翔
蔡泽伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810844861.6A priority Critical patent/CN109282757B/zh
Publication of CN109282757A publication Critical patent/CN109282757A/zh
Application granted granted Critical
Publication of CN109282757B publication Critical patent/CN109282757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用于光学技术领域，提供了一种光场度量标定方法，包括：提供标定物，通过三维测量装置投射结构光的图案到标定物上，通过光场成像装置记录结构光的光场并获得相位编码场；通过三维测量装置重构空间物点的三维坐标，获得光场成像装置的物空间的度量深度；通过相位编码场计算空间物点在光场成像装置像空间的像点的深度剪切值，将深度剪切值与度量深度组成一组测量深度坐标；改变标定物的方位重复上述步骤，获得多组测量深度坐标，用于标定光场成像装置的物空间和像空间深度度量关系。基于该度量关系，可以由像空间的深度精确的确定物空间的深度，使得光场成像不仅具备像空间深度感知的功能，还具备了物空间中的深度测量的功能。

Description

一种光场度量标定方法及标定系统
技术领域
本发明属于光学技术领域，特别涉及一种光场度量标定方法及标定系统。
背景技术
光场成像是一种新颖的成像方法和技术。相比于传统成像只能记录光线的光强而言，光场成像能够同时记录光线的强度和方向信息，使光线记录维度从二维扩展至四维，突破了传统成像性能局限。例如，通过对光场数据进行剪切操作能够实现数字重聚焦；通过子图像选取能够实现多视角成像。这些成像性能蕴含了场景相关的深度线索，使得光场成像具备深度估计的功能。然而这种深度估计仅是像空间中的深度感知而非物空间中的深度测量。物空间的深度测量对光场成像和三维测量技术具有积极意义，有待提供一种用于物空间深度测量的解决方案。
发明内容
本发明的目的在于提供一种光场度量标定方法，旨在解决传统光场成像技术中无法对物空间进行深度测量的技术问题。
本发明是这样实现的，一种光场度量标定方法，所述方法包括以下步骤：
S1：提供标定物，通过三维测量装置投射结构光的图案到所述标定物上，通过光场成像装置记录所述结构光的光场，并获得光场图像的相位编码场；
S2：确定由所述标定物表面反射而被所述光场成像装置记录的光线上的空间物点在所述三维测量装置中的像点，通过所述三维测量装置重构所述像点对应的所述空间物点的三维坐标，获得所述光场成像装置的物空间的度量深度；
S3：通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值，将所述深度剪切值与所述度量深度组成一组测量深度坐标；其中，剪切表示光场成像装置记录光场的重采样，所述深度剪切值表示初始采样和重采样像面的像距比；
S4：改变所述标定物的方位，重复步骤S1至S3，获得多组测量深度坐标，所述测量深度坐标用于标定所述光场成像装置的物空间和像空间之间的深度度量关系。
进一步地，所述结构光为双方向明暗相间条纹结构光，所述结构光投射到所述标定物上的图案为网格。
进一步地，所述光场成像装置记录的光场表示为L(s,u)，L为光线辐射强度，s＝(s,t)T为光线的空间坐标，u＝(u,v)T为光线的角度坐标；所述相位编码场表示为φ1,2(s,u)，下标1，2分别表示双方向平行结构光图案的两种不同的方向。进一步地，所述光场成像装置的物空间的度量深度表示为z(s)，所述光场成像装置记录光场的重采样表示为L(sα,u)，其中，sα＝s+u(1-1/α)，表示剪切量，α表示剪切值。
进一步地，所述步骤S3中，通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值的步骤包括：
剪切所述相位编码场，所述相位编码场的重采样表示为φ1,2(sα,u)；
通过重采样相位编码场φ1,2(s,u)计算所述光场成像装置像空间的深度剪切值，表示为φ1,2(sα,u)＝φ1,2(s,0)，所述光场成像装置像空间的深度剪切值表示为α(s)；
所述测量深度坐标表示为[z(s),α(s)]；所述标定光场成像装置物空间和像空间之间的深度度量关系表示为z(s)＝f(α(s))，其中f表示关联函数。
本发明的另一目的在于提供一种光场度量标定系统，用于实施上述任一项所述的光场度量标定方法，包括标定物、三维测量装置和光场成像装置；
所述三维测量装置用于向所述标定物投射结构光，并用于重构空间物点的三维坐标，以获得所述空间物点在所述光场成像装置的物空间的度量深度，所述空间物点是由所述标定物表面反射而被所述光场成像装置记录的光线上的空间物点；
所述光场成像装置用于记录所述结构光的光场，并获得光场图像的相位编码场，并用于通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值。
进一步地，所述结构光为双方向明暗相间条纹结构光，所述结构光在所述标定物上的图案为网格。
进一步地，所述三维测量装置包括第一测量仪和第二测量仪，所述第一测量仪和第二测量仪分别用于输出一组结构光，所述第一测量仪和第二测量仪的光输出或光输入方向交叉，所述光场成像装置设置于所述标定物对所述结构光的反射光路上。
本发明提供的一种光场度量标定方法及系统具有如下有益效果：上述光场度量标定方法通过标定物、三维测量装置及光场成像装置的结合，按照上述步骤确定了光场成像装置的像空间和物空间深度的度量关系，基于该度量关系，可以由像空间的深度精确的确定物空间的深度，使得光场成像不仅具备像空间深度感知的功能，还具备了物空间中的深度测量的功能，对光场成像和三维测量技术具有重要的意义。并且该标定方法易于实施，精度高，适用于精确的光场成像系统物空间的深度测量。
附图说明
图1是本发明实施例提供的一种光场度量标定方法的流程图；
图2是本发明实施例提供的一种光场度量标定系统的结构图和光路图；
图3是本发明实施例提供的一种光场度量标定方法中光场成像装置的物空间和像空间之间的深度度量关系。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接或者间接位于该另一个部件上。当一个部件被称为“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置为基于附图所示的方位或位置，仅是为了便于描述，不能理解为对本技术方案的限制。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了说明本发明所述的技术方案，以下结合具体附图及实施例进行详细说明。
请参阅图1和图2，本发明实施例提供一种光场度量标定方法，该方法包括以下步骤：
S1：提供标定物10，通过三维测量装置20投射结构光的图案到标定物10上，通过光场成像装置30记录结构光的光场，并获得光场图像的相位编码场；
S2：确定由标定物10表面反射而被光场成像装置30记录的光线上的空间物点在三维测量装置20中的像点，通过三维测量装置20重构像点对应的空间物点的三维坐标，获得光场成像装置30的物空间的度量深度；
S3：通过所述相位编码场计算所述空间物点在所述光场成像装置30像空间的对应像点的深度剪切值，将所述深度剪切值与所述度量深度组成一组测量深度坐标；其中，剪切表示光场成像装置30记录光场的重采样，所述深度剪切值表示初始采样和重采样像面的像距比；
S4：改变标定物10的方位，重复步骤S1至S3，获得多组测量深度坐标，测量深度坐标用于标定光场成像装置30的物空间和像空间之间的深度度量关系。
进一步地，标定物10优选是具有一平面反光面的物体，结构光为双方向明暗相间条纹结构光，结构光投射到标定物10上的图案为网格。具体地，结构光可以包括两组明暗直条纹的结构光，这两组直条纹结构光的条纹延伸方向(方向1和方向2)垂直交叉或者不垂直交叉，优选地，方向1和方向2至少呈30°至150°之间的任意夹角，便于确定对应像点和空间物点以及其坐标。
在上述方法中，步骤S1中光场成像装置30记录的光场表示为L(s,u)，L为光线辐射强度，s＝(s,t)T为光线的空间坐标，u＝(u,v)T为光线的角度坐标，具体可以是像空间任一点的空间坐标和角度坐标；相位编码场表示为φ1,2(s,u)，下标1，2分别表示双方向平行结构光图案的两种不同的方向，即方向1和方向2。上述坐标是光场成像装置记录的光场的像素索引值，该记录光场用四维坐标系进行参数化，其中s,t是空间坐标，u,v是角度坐标。
在步骤S2中，旨在通过三维测量装置20确定一空间物点的三维坐标，该空间物点能够成像于光场成像装置30中，即它是由标定物10表面反射而被光场成像装置30记录的光线上的空间物点，三维测量装置20基于其采集的像点重构该空间物点的三维坐标，进而确定光场成像装置30物空间的度量深度，即该空间物点在光场成像装置30物空间的度量深度。
在步骤S3中，光场成像装置30对光场及相位编码场进行剪切(重采样)，光场成像装置30记录光场的重采样表示为L(sα,u)，其中，sα＝s+u(1-1/α)，表示剪切量，α表示剪切值。剪切量即是光场空间坐标的变化量，剪切值是两个采样像面之间的像距比。相位编码场的重采样表示为φ1,2(sα,u)；然后通过重采样相位编码场φ1,2(s,u)计算光场成像装置像空间的深度剪切值，表示为φ1,2(sα,u)＝φ1,2(s,0)，光场成像装置30像空间的深度剪切值为α(s)。
在本实施例中，将上述光场成像装置30的物空间的度量深度表示为z(s)，该测量深度坐标即为[z(s),α(s)]；标定光场成像装置30物空间和像空间之间的深度度量关系表示为z(s)＝f(α(s))，其中f表示关联函数。参考图3，其示意了光场成像装置30的物空间和像空间之间的深度度量关系。图中明确标定了像空间的深度剪切值和物空间深度的对应关系。
上述光场度量标定方法通过标定物10、三维测量装置20及光场成像装置30的结合，按照上述步骤确定了光场成像装置30的像空间和物空间深度的度量关系，基于该度量关系，可以由像空间的深度精确的确定物空间的深度，使得光场成像不仅具备像空间深度感知的功能，还具备了物空间中的深度测量的功能，对光场成像和三维测量技术具有重要的意义。并且该标定方法易于实施，精度高，适用于精确的光场成像系统物空间的深度测量。
上述光场度量标定方法基于上述标定物10、三维测量装置20和光场成像装置30实现，因此，包括上述标定物10、三维测量装置20和光场成像装置30的系统也在本发明的保护范围内。本发明实施例提供一种光场度量标定系统，包括标定物10、三维测量装置20和光场成像装置30；其中，标定物10用于提供一物面，具体可以是平面反光面，三维测量装置20用于向标定物10投射结构光，结构光在标定物10上的图案为网格。三维测量装置20还用于重构空间物点的三维坐标，以获得空间物点在光场成像装置30的物空间的度量深度，该空间物点是由标定物10表面反射而被光场成像装置30记录的光线上的空间物点。光场成像装置30用于记录结构光的光场，并获得光场图像的相位编码场，并用于通过相位编码场计算空间物点在光场成像装置30像空间的对应像点的深度剪切值。
进一步地，该结构光优选为双方向明暗相间的直条纹结构光，两组直条纹结构光的条纹延伸方向(方向1和方向2)垂直交叉或者不垂直交叉，优选地，方向1和方向2至少呈30°至150°之间的任意夹角，便于确定对应像点和空间物点以及其坐标。
进一步地，三维测量装置20包括第一测量仪201和第二测量仪202，该第一测量仪201和第二测量仪202的光输出或输入方向交叉，第一测量仪201输出方向1的直条纹结构光，第二测量仪202输出方向2的直条纹结构光，方向1的直条纹结构光和方向2的直条纹结构光投射在标定物10表面，形成网格状的图案，便于空间物点和像点的确定。标定物10对方向1的直条纹结构光和方向2的直条纹结构光进行反射，反射光被光场成像装置30收集，并获得上述的光场、相位编码场以及光场和相位编码场的重采样。
进一步地，该光场成像装置30记录光场、相位编码场以及光场和相位编码场的重采样，并根据相应数据计算像空间的深度剪切值的具体方式如前文所述，此处不再重复说明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种光场度量标定方法，其特征在于，所述方法包括以下步骤：
S1：提供标定物，通过三维测量装置投射结构光的图案到所述标定物上，通过光场成像装置记录所述结构光的光场，并获得光场图像的相位编码场；
S2：确定由所述标定物表面反射而被所述光场成像装置记录的光线上的空间物点在所述三维测量装置中的像点，通过所述三维测量装置重构所述像点对应的所述空间物点的三维坐标，获得所述光场成像装置的物空间的度量深度；
S3：通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值，将所述深度剪切值与所述度量深度组成一组测量深度坐标；其中，剪切表示光场成像装置记录光场的重采样，所述深度剪切值表示初始采样和重采样像面的像距比；
S4：改变所述标定物的方位，重复步骤S1至S3，获得多组测量深度坐标，所述测量深度坐标用于标定所述光场成像装置的物空间和像空间之间的深度度量关系。
2.如权利要求1所述的光场度量标定方法，其特征在于，所述结构光为双方向明暗相间条纹结构光，所述结构光投射到所述标定物上的图案为网格。
3.如权利要求2所述的光场度量标定方法，其特征在于，所述光场成像装置记录的光场表示为L(s,u)，L为光线辐射强度，s＝(s,t)T为光线的空间坐标，u＝(u,v)T为光线的角度坐标；所述相位编码场表示为φ1,2(s,u)，下标1，2分别表示双方向平行结构光图案的两种不同的方向。
4.如权利要求3所述的光场度量标定方法，其特征在于，所述光场成像装置的物空间的度量深度表示为z(s)，所述光场成像装置记录光场的重采样表示为L(sα,u)，其中，sα＝s+u(1-1/α)，表示剪切量，α表示剪切值。
5.如权利要求4所述的光场度量标定方法，其特征在于，所述步骤S3中，通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值的步骤包括：
剪切所述相位编码场，所述相位编码场的重采样表示为φ1,2(sα,u)；
通过重采样相位编码场φ1,2(s,u)计算所述光场成像装置像空间的深度剪切值，表示为φ1,2(sα,u)＝φ1,2(s,0)，所述光场成像装置像空间的深度剪切值表示为α(s)；
所述测量深度坐标表示为[z(s),α(s)]；所述标定光场成像装置物空间和像空间之间的深度度量关系表示为z(s)＝f(α(s))，其中f表示关联函数。
6.一种光场度量标定系统，其特征在于，用于实施权利要求1至5任一项所述的光场度量标定方法，包括标定物、三维测量装置和光场成像装置；
所述三维测量装置用于向所述标定物投射结构光，并用于重构空间物点的三维坐标，以获得所述空间物点在所述光场成像装置的物空间的度量深度，所述空间物点是由所述标定物表面反射而被所述光场成像装置记录的光线上的空间物点；
所述光场成像装置用于记录所述结构光的光场，并获得光场图像的相位编码场，并用于通过所述相位编码场计算所述空间物点在所述光场成像装置像空间的对应像点的深度剪切值。
7.如权利要求6所述的光场度量标定系统，其特征在于，所述结构光为双方向明暗相间条纹结构光，所述结构光在所述标定物上的图案为网格。
8.如权利要求6所述的光场度量标定系统，其特征在于，所述三维测量装置包括第一测量仪和第二测量仪，所述第一测量仪和第二测量仪分别用于输出一组结构光，所述第一测量仪和第二测量仪的光输出或光输入方向交叉，所述光场成像装置设置于所述标定物对所述结构光的反射光路上。
CN201810844861.6A 2018-07-27 2018-07-27 一种光场度量标定方法及标定系统 Active CN109282757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810844861.6A CN109282757B (zh) 2018-07-27 2018-07-27 一种光场度量标定方法及标定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810844861.6A CN109282757B (zh) 2018-07-27 2018-07-27 一种光场度量标定方法及标定系统

Publications (2)

Publication Number Publication Date
CN109282757A true CN109282757A (zh) 2019-01-29
CN109282757B CN109282757B (zh) 2020-09-25

Family

ID=65182818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810844861.6A Active CN109282757B (zh) 2018-07-27 2018-07-27 一种光场度量标定方法及标定系统

Country Status (1)

Country Link
CN (1) CN109282757B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110686652A (zh) * 2019-09-16 2020-01-14 武汉科技大学 一种基于深度学习和结构光相结合的深度测量方法
CN110763156A (zh) * 2019-09-27 2020-02-07 深圳大学 一种基于光场的三维成像方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
CN105973166A (zh) * 2016-05-09 2016-09-28 南京理工大学 采用部分相干光场式漫反射屏的面形检测装置及检测方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
CN107860337A (zh) * 2017-10-11 2018-03-30 华天科技（昆山）电子有限公司 基于阵列相机的结构光三维重建方法与装置
US20180139436A1 (en) * 2016-11-11 2018-05-17 Disney Enterprises, Inc. Object reconstruction from dense light fields via depth from gradients
CN108180867A (zh) * 2018-01-09 2018-06-19 深圳大学 一种定量相位测量方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
CN105973166A (zh) * 2016-05-09 2016-09-28 南京理工大学 采用部分相干光场式漫反射屏的面形检测装置及检测方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
US20180139436A1 (en) * 2016-11-11 2018-05-17 Disney Enterprises, Inc. Object reconstruction from dense light fields via depth from gradients
CN107860337A (zh) * 2017-10-11 2018-03-30 华天科技（昆山）电子有限公司 基于阵列相机的结构光三维重建方法与装置
CN108180867A (zh) * 2018-01-09 2018-06-19 深圳大学 一种定量相位测量方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵兴荣: "基于光场相机深度信息获取技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110686652A (zh) * 2019-09-16 2020-01-14 武汉科技大学 一种基于深度学习和结构光相结合的深度测量方法
CN110686652B (zh) * 2019-09-16 2021-07-06 武汉科技大学 一种基于深度学习和结构光相结合的深度测量方法
CN110763156A (zh) * 2019-09-27 2020-02-07 深圳大学 一种基于光场的三维成像方法及系统
CN110763156B (zh) * 2019-09-27 2021-10-01 深圳大学 一种基于光场的三维成像方法及系统

Also Published As

Publication number Publication date
CN109282757B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
Mah et al. 3D laser imaging for joint orientation analysis
CN106908622B (zh) 一种基于光场成像的层析piv测量装置及方法
CN101681519B (zh) 测量装置及测量方法
CN106017342B (zh) 基于三维实景模型的建筑物变化自动检测方法及其系统
Barazzetti et al. 3D scanning and imaging for quick documentation of crime and accident scenes
CN106932780A (zh) 物体定位方法、装置和系统
CN101865690B (zh) 三维地貌观测方法
Sturzenegger et al. Application and limitations of ground-based laser scanning in rock slope characterization
CN102788979B (zh) 一种基于后向投影InSAR成像配准的GPU实现方法
Alho et al. Mobile laser scanning in fluvial geomorphology: Mapping and change detection of point bars
CN106153074A (zh) 一种惯性测量组合动态导航性能的光学标定系统和方法
CN101799271A (zh) 大视场条件下获得摄像机标定点的方法
Viana et al. Algorithms for extraction of structural attitudes from 3D outcrop models
CN105115560A (zh) 一种船舱舱容的非接触测量方法
CN109472865A (zh) 一种基于图像模型绘制的自由可量测全景再现方法
JP2014514543A (ja) 光媒体を通じた３次元的な光検知
CN109282757A (zh) 一种光场度量标定方法及标定系统
Janowski et al. Synchronic digital stereophotography and photogrammetric analyses in monitoring the flow of liquids in open channels
Yakar et al. Comparative evaluation of excavation volume by TLS and total topographic station based methods
Błaszczak-Bąk et al. Measurement methodology for surface defects inventory of building wall using smartphone with light detection and ranging sensor
CN104459209A (zh) 一种采用激光束进行不规则几何体内流场测量的标定方法
JPH0571960A (ja) 斜面すべり等の地表面挙動の計測方法
Incekara et al. Comparative analyses of the point cloud produced by using close-range photogrammetry and terrestrial laser scanning for rock surface
CN208061260U (zh) 一种用于立体视觉测量的线阵相机标定装置
CN205808428U (zh) 惯性测量组合动态导航性能的光学标定系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant