CN106842195B - 基于计算关联成像的多物体同时成像及加密方法 - Google Patents

基于计算关联成像的多物体同时成像及加密方法 Download PDF

Info

Publication number
CN106842195B
CN106842195B CN201611214180.9A CN201611214180A CN106842195B CN 106842195 B CN106842195 B CN 106842195B CN 201611214180 A CN201611214180 A CN 201611214180A CN 106842195 B CN106842195 B CN 106842195B
Authority
CN
China
Prior art keywords
objects
matrix
information
illumination
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611214180.9A
Other languages
English (en)
Other versions
CN106842195A (zh
Inventor
时东锋
王英俭
黄见
苑克娥
胡顺星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201611214180.9A priority Critical patent/CN106842195B/zh
Publication of CN106842195A publication Critical patent/CN106842195A/zh
Application granted granted Critical
Publication of CN106842195B publication Critical patent/CN106842195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于计算关联成像的多物体同时成像及加密方法，不需要对每个物体进行单独测量，只进行一次测量探测就可以实现对多物体的同时成像，并且该方法还具备信息加密的能力；本发明方法可以降低系统采集数据量，提高关联成像系统的成像效率，本方法采用编码矩阵对多个物体信息进行了编码，因此相较于传统关联成像系统采用散斑或/和探测强度作为密钥，本发明提供了第三个密钥‑编码散斑，因此可以提高计算关联成像系统的加密性能。

Description

基于计算关联成像的多物体同时成像及加密方法
技术领域
本发明涉及计算关联成像领域，具体是一种基于单次测量实现多个物体的同时成像方法，并能够对多物体信息进行加密。
背景技术
关联成像又称为“鬼成像”、量子成像等，其广泛应用于遥感、生物医学以及国防等领域，近些年来获得了很多科研学者的关注与研究。计算关联成像与传统关联成像的不同点在于，使用计算机预置随机散斑来替代传统关联成像中的参考臂(即由面阵探测器获取相关光强分布信息)，通过计算机预置的散斑信息与单像素探测器采集的光强信息进行关联运算来获取目标物体的像。传统关联成像系统在对多个物体进行成像时，基本上采用对多物体依次进行照明探测的方式来进行成像。本发明提出了一种基于计算关联成像的多物体同时成像及加密方法，不需要对每个物体进行单独测量，只进行一次测量探测就可以实现对多物体的同时成像，并且该方法还具备信息加密的能力。
发明内容
本发明针对计算关联成像系统，提供一种采用单次测量实现多物体同时成像的方法，以克服目前需要单独对每个物体进行测量成像的不足，提高计算关联成像系统的效率，方法同时具备对多物体信息进行加密的能力。
为了达到上述目的，本发明所采用的技术方案为：
基于计算关联成像的多物体同时成像及加密方法，其特征在于：采用成像系统预制产生多个随机编码矩阵，对多个随机编码矩阵进行稀疏采样产生多物体的照明散斑矩阵，并加载到光调制系统中，利用计算机把产生的照明散斑矩阵加载到光调制系统中，在照明散斑的每个分区内依次摆放物体，利用产生的系列照明散斑经投影透镜后对多物体进行同时照明，并采用单像素探测器探测采集相应的强度信息，结合已知的照明散斑信息进行关联运算或者相关求解算法获取多物体混合信息；利用编码矩阵和获取的多物体混合信息进行点乘运算得多个不同物体的稀疏采样信息，通过稀疏信息复原算法获取多个物体的完整图像信息。
基于计算关联成像的多物体同时成像及加密方法，其主要步骤为：
1)通过预制产生多个随机编码矩阵，表示为具有0,1的矩阵Ai。多个随机编码矩阵具有如下性质：
Figure GDA0002714863630000021
其中，上式中字母下标表示对应不同物体的编码矩阵，I表示全1的矩阵，之后固定多个编码矩阵信息；
2)利用多个编码矩阵进行稀疏采样产生多物体的照明散斑矩阵，并加载到光调制系统中。假设第k个稀疏采样矩阵Bk大小为N×N，利用稀疏采样矩阵分别与编码矩阵进行点乘获得不同物体的照明散斑矩阵，得到多个物体的同时照明散斑矩阵Ck表示为：
Figure GDA0002714863630000022
照明散斑矩阵Ck按照所需成像物体依次按列排列，其大小为N×iN，保证其大小要小于等于光调制器所能允许加载的最大矩阵大小。照明散斑中每N×N区域对应一个物体，因此照明散斑可以实现对i个物体同时进行照明。利用计算机把产生的照明散斑矩阵加载到光调制系统中。在照明散斑的每个分区内依次摆放物体，利用产生的系列照明散斑对多物体进行同时照明。
3)多个物体的反射或透射光的经聚焦透镜，汇聚到单像素探测器上，单像素探测器输出的电信号经数据采集系统进行模拟-数字转换。假设第k次利用照明散斑Ck对多物体进行照明，多个物体的反射或透射信号的采集过程可以用如下数学形式表达：
Sk＝∑(A1BkT1+A2BkT2+...+AiBkTi)＝BkT, (3)
其中，Sk表示在照明散斑Ck作用下探测器探测到的多个物体反射或者透射光强度信息，T1,T2,...Ti表示多个不同的物体信息，上式中忽略了系统常数。其中，T＝A1T1+A2T2+...+AiTi表示多个物体在不同编码矩阵采样下的混合形式，其大小为N×N。利用产生的系列照明散斑对多物体进行照明，并探测采集相应的强度信息，结合已知的照明散斑信息进行关联运算或者相关求解算法获取物体信息T。关联成像系统使用无分辨探测器对多物体信息进行探测，这些信号是混合在一起的，不像利用具有分辨率的面阵探测器能够直接进行多物体成像获取，因此为了获取准确完整的多物体信息，需要对物体信息T进行进一步处理；
4)利用上述步骤获取的物体信息T进行运算得到不同编码矩阵采样下的多物体信息混合形式。利用编码矩阵A1,A2,...Ai对T进行点乘运算可得：
Figure GDA0002714863630000031
对上式进一步进行简化为
Figure GDA0002714863630000032
其中，Y1＝A1T,Y2＝A2T,Yi＝AiT为已知量，A1、A2……Ai为已知量，T1,T2,...Ti为未知的表征多物体的完整准确信息。
5)最后，利用已知量并采用压缩感知稀疏信息复原算法对等式(5)进行求解，就可以获取多个物体的完整信息。本方法只需要对多个物体进行单次测量就完成了对多个物体成像，不同于传统的关联成像系统需要依次对每个物体进行单独测量来获取多个物体信息，可以有效提高关联成像系统的成像效率。
基于计算关联成像的多物体同时成像及加密方法，其特征为：在对多物体进行加密时，对编码矩阵A进行加密传输，而探测强度S和采样矩阵B可以进行无加密传递或加密传递。当窃听者不能准确获取编码矩阵A时，就不能准确获取多物体信息。单像素探测器对多个物体反射或者透射光信息同时进行探测。
本发明与现有技术相比优点如下：
1、效率高：当传统方法对多个物体进行单次成像时，在同等图像分辨率的情况下，散斑数据量将会增大i倍，系统成像速率将会变慢。本方法在不降低图像分辨率的和不增加数据量的情况，只需要进行一次测量即可实现对多物体的成像，成像效率得到显著提升；
2、具备高效加密能力，本方法采用编码矩阵对多个物体信息进行了编码，因此相较于传统关联成像系统采用散斑或/和探测强度作为密钥，本方法提供了第三个密钥-编码散斑，因此可以提高计算关联成像系统的加密性能。
显然，本领域的技术人员可以通过对本发明所涉及的方法进行改动和变型而不脱离本发明的精神和范围。这样，如果这些修改和变动属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些修改和变型在内。
附图说明
图1为本发明的成像系统示意图，其中四个物体A，B，C和D依次并排放置。
图2为本发明成像结果示意图，其中，第一行表示复原的多物体信息混合形式，第二行表示进行公式(4)运算后得到的多物体编码采样信息，第三行表示进行压缩感知复原得到的完整多物体信息。
图3为本发明编码矩阵作为密钥的情况下的成像结果示意图，其中，在窃听者获取百分之五十的编码矩阵信息下的复原结果，从结果中可以看出本方法具有高效的信息加密能力。
具体实施方式
如图1所示，基于计算关联成像的多物体同时成像及加密方法，其系统包括光源LS、扩束镜BE、光调制系统DMD、投影透镜PL、汇聚透镜CL、单像素探测器SP以及数据采集系统DA和计算机系统CP；
光源LS发光，经扩束镜BE后照射到光调制系统DMD上产生照明散斑，经投影透镜PL后对多物体进行照射，多个物体并排放置，多物体反射或透射光经汇聚透镜CL汇聚到单像素探测器SP上，然后经数据采集和计算机系统对数据保存和处理。其方法的主要步骤为：
1)通过预制产生多个随机编码矩阵，表示为具有0,1的矩阵Ai。多个随机编码矩阵具有如下性质：
Figure GDA0002714863630000041
其中，上式中字母下标表示对应不同物体的编码矩阵，I表示全1的矩阵，之后固定多个编码矩阵信息；
2)利用多个编码矩阵进行稀疏采样产生多物体的照明散斑矩阵，并加载到光调制系统中。假设第k个稀疏采样矩阵Bk大小为N×N，利用稀疏采样矩阵分别与编码矩阵进行点乘获得不同物体的照明散斑矩阵，得到多个物体的同时照明散斑矩阵Ck表示为：
Figure GDA0002714863630000051
照明散斑矩阵Ck按照所需成像物体依次按列排列，其大小为N×iN，保证其大小要小于等于光调制器所能允许加载的最大矩阵大小。照明散斑中每N×N区域对应一个物体，因此照明散斑可以实现对i个物体同时进行照明。利用计算机把产生的照明散斑矩阵加载到光调制系统中。在照明散斑的每个分区内依次摆放物体，利用产生的系列照明散斑对多物体进行同时照明。
3)多个物体的反射或透射光的经聚焦透镜，汇聚到单像素探测器上，单像素探测器输出的电信号经数据采集系统进行模拟-数字转换。假设第k次利用照明散斑Ck对多物体进行照明，多个物体的反射或透射信号的采集过程可以用如下数学形式表达：
Sk＝∑(A1BkT1+A2BkT2+...+AiBkTi)＝BkT, (3)
其中，Sk表示在照明散斑Ck作用下探测器探测到的多个物体反射或者透射光强度信息，T1,T2,...Ti表示多个不同的物体信息，上式中忽略了系统常数。其中，T＝A1T1+A2T2+...+AiTi表示多个物体在不同编码矩阵采样下的混合形式，其大小为N×N。利用产生的系列照明散斑对多物体进行照明，并探测采集相应的强度信息，结合已知的照明散斑信息进行关联运算或者相关求解算法获取物体信息T。关联成像系统使用无分辨探测器对多物体信息进行探测，这些信号是混合在一起的，不像利用具有分辨率的面阵探测器能够直接进行多物体成像获取，因此为了获取准确完整的多物体信息，需要对物体信息T进行进一步处理；
4)利用上述步骤获取的物体信息T进行运算得到不同编码矩阵采样下的多物体信息混合形式。利用编码矩阵A1,A2,...Ai对T进行点乘运算可得：
Figure GDA0002714863630000061
对上式进一步进行简化为
Figure GDA0002714863630000062
其中，Y1＝A1T,Y2＝A2T,Yi＝AiT为已知量，A1、A2……Ai为已知量，T1,T2,...Ti为未知的表征多物体的完整准确信息。
5)最后，利用已知量并采用压缩感知稀疏信息复原算法对等式(5)进行求解，就可以获取多个物体的完整信息。本方法只需要对多个物体进行单次测量就完成了对多个物体成像，不同于传统的关联成像系统需要依次对每个物体进行单独测量来获取多个物体信息，可以有效提高关联成像系统的成像效率。
基于计算关联成像的多物体同时成像及加密方法，其特征为：在对多物体进行加密时，对编码矩阵A进行加密传输，而探测强度S和采样矩阵B可以进行无加密传递或加密传递。当窃听者不能准确获取编码矩阵A时，就不能准确获取多物体信息。

Claims (1)

1.基于计算关联成像的多物体同时成像及加密方法，其特征在于：采用成像系统预制产生多个随机编码矩阵，对多个随机编码矩阵进行稀疏采样产生多物体的照明散斑矩阵，并加载到光调制系统中，利用计算机把产生的照明散斑矩阵加载到光调制系统中，在照明散斑的每个分区内依次摆放物体，利用产生的系列照明散斑经投影透镜后对多物体进行同时照明，并采用单像素探测器探测采集相应的强度信息，结合已知的照明散斑信息进行关联运算或者相关求解算法获取多物体混合信息；利用编码矩阵和获取的多物体混合信息进行点乘运算得多个不同物体的稀疏采样信息，通过稀疏信息复原算法获取多个物体的完整图像信息；
所述的基于计算关联成像的多物体同时成像及加密方法，主要步骤为：
1)通过预制产生多个随机编码矩阵，表示为具有0,1的矩阵Ai，多个随机编码矩阵具有如下性质：
Figure FDA0002714863620000011
其中，上式中字母下标表示对应不同物体的编码矩阵，I表示全1的矩阵，之后固定多个编码矩阵信息；
2)利用多个编码矩阵进行稀疏采样产生多物体的照明散斑矩阵，并加载到光调制系统中；假设第k个稀疏采样矩阵Bk大小为N×N，利用稀疏采样矩阵分别与编码矩阵进行点乘获得不同物体的照明散斑矩阵，得到多个物体的同时照明散斑矩阵Ck表示为：
Figure FDA0002714863620000012
照明散斑矩阵Ck按照所需成像物体依次按列排列，其大小为N×iN，保证其大小要小于等于光调制器所能允许加载的最大矩阵大小；照明散斑中每N×N区域对应一个物体，因此照明散斑可以实现对i个物体同时进行照明；利用计算机把产生的照明散斑矩阵加载到光调制系统中，在照明散斑的每个分区内依次摆放物体，利用产生的系列照明散斑对多物体进行同时照明；
3)多个物体的反射或透射光经聚焦透镜，汇聚到单像素探测器上，单像素探测器输出的电信号经数据采集系统进行模拟-数字转换；假设第k次利用照明散斑Ck对多物体进行照明，多个物体的反射或透射信号的采集过程可以用如下数学形式表达：
Sk＝∑(A1BkT1+A2BkT2+...+AiBkTi)＝BkT, (3)
其中，Sk表示在照明散斑Ck作用下探测器探测到的多个物体反射或者透射光强度信息，T1,T2,...Ti表示多个不同的物体信息，上式中忽略了系统常数；其中，T＝A1T1+A2T2+...+AiTi表示多个物体在不同编码矩阵采样下的混合形式，其大小为N×N，利用产生的系列照明散斑对多物体进行照明，并探测采集相应的强度信息，结合已知的照明散斑信息进行关联运算或者相关求解算法获取物体信息T；关联成像系统使用无分辨探测器对多物体信息进行探测，这些信号是混合在一起的，不像利用具有分辨率的面阵探测器能够直接进行多物体成像获取，因此为了获取准确完整的多物体信息，需要对物体信息T进行进一步处理；
4)利用上述步骤获取的物体信息T进行运算得到不同编码矩阵采样下的多物体信息混合形式；利用编码矩阵A1,A2,...Ai对T进行点乘运算可得：
Figure FDA0002714863620000021
对上式进一步进行简化为
Figure FDA0002714863620000022
其中，Y1＝A1T,Y2＝A2T,Yi＝AiT为已知量，A1、A2……Ai为已知量，T1,T2,...Ti为未知的表征多物体的完整准确信息；
5)最后，利用已知量并采用压缩感知稀疏信息复原算法对等式(5)进行求解，就可以获取多个物体的完整图像信息；
在对多物体进行加密时，对编码矩阵A进行加密传输，而探测强度S和采样矩阵B可以进行无加密传递或加密传递；当窃听者不能准确获取编码矩阵A时，就不能准确获取多物体信息；
所述单像素探测器对多个物体反射或者透射光信息同时进行探测。
CN201611214180.9A 2016-12-26 2016-12-26 基于计算关联成像的多物体同时成像及加密方法 Active CN106842195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611214180.9A CN106842195B (zh) 2016-12-26 2016-12-26 基于计算关联成像的多物体同时成像及加密方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611214180.9A CN106842195B (zh) 2016-12-26 2016-12-26 基于计算关联成像的多物体同时成像及加密方法

Publications (2)

Publication Number Publication Date
CN106842195A CN106842195A (zh) 2017-06-13
CN106842195B true CN106842195B (zh) 2020-12-25

Family

ID=59136324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611214180.9A Active CN106842195B (zh) 2016-12-26 2016-12-26 基于计算关联成像的多物体同时成像及加密方法

Country Status (1)

Country Link
CN (1) CN106842195B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059757B (zh) * 2019-04-23 2021-04-09 北京邮电大学 混合信号的分类方法、装置及电子设备
WO2021157721A1 (ja) * 2020-02-06 2021-08-12 株式会社小糸製作所 監視システム
CN113063733A (zh) * 2021-03-26 2021-07-02 山东英信计算机技术有限公司 一种鬼成像采样系统、方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053025A (ja) * 2009-08-31 2011-03-17 Nissan Motor Co Ltd 距離計測装置および距離計測方法
CN102621546A (zh) * 2012-03-28 2012-08-01 浙江大学 基于关联成像的三维信息获取方法
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
CN103428399A (zh) * 2012-06-29 2013-12-04 上海理工大学 基于压缩感知原理的关联成像光学加密方法
CN105748029A (zh) * 2016-02-18 2016-07-13 深圳开立生物医疗科技股份有限公司 一种内窥镜成像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053025A (ja) * 2009-08-31 2011-03-17 Nissan Motor Co Ltd 距離計測装置および距離計測方法
CN102621546A (zh) * 2012-03-28 2012-08-01 浙江大学 基于关联成像的三维信息获取方法
CN103428399A (zh) * 2012-06-29 2013-12-04 上海理工大学 基于压缩感知原理的关联成像光学加密方法
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法
CN105748029A (zh) * 2016-02-18 2016-07-13 深圳开立生物医疗科技股份有限公司 一种内窥镜成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
散斑密度对单像素计算成像系统的影响分析;李靖等;《量子电子学报》;20160331;第33卷(第2期);第149页第2节及图1 *

Also Published As

Publication number Publication date
CN106842195A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN103323396B (zh) 一种基于符合测量的二维压缩鬼成像系统及方法
JP6605580B2 (ja) 線形モード計算センシングレーザーレーダー
CN106842195B (zh) 基于计算关联成像的多物体同时成像及加密方法
CN106405546B (zh) 基于压缩散斑的快速关联成像系统及方法
CN102759408B (zh) 一种单光子计数成像系统及其方法
CN108895985B (zh) 一种基于单像素探测器的物体定位方法
WO2012174940A1 (zh) 一种极弱光多光谱成像方法及其系统
CN106679808B (zh) 基于压缩光谱的关联成像系统及其方法
CN106019307A (zh) 一种基于阵列光源的单像素成像系统及方法
US9970891B2 (en) System and method for phase retrieval in lensless imaging
CN106772310A (zh) 一种基于计算鬼成像的目标鉴定装置及其方法
CN109211790B (zh) 一种基于傅里叶功率谱探测的单像素相位成像方法
CN114721006B (zh) 高精度单像素成像方法及系统
Yu et al. Single-photon compressive imaging with some performance benefits over raster scanning
KR20180114049A (ko) 낮은 정보 컨텐츠 장면의 1차원 디지털 표현을 형성하는 머신 비전 시스템
Yang et al. Quantized Fourier ptychography with binary images from SPAD cameras
CN111123284B (zh) 探测方法及探测设备
CN109151419B (zh) 一种基于拉东变换的单像素成像方法
US10966611B2 (en) Imaging biological tissue or other subjects
CN102298710A (zh) 一种基于压缩感知理论的“猫眼”效应目标识别方法
Tachella et al. Sketched RT3D: How to reconstruct billions of photons per second
CN116609794A (zh) 基于径向切比雪夫光场的单像素成像方法、装置及设备
CN110987182B (zh) 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法
CN112767509A (zh) 用于关联成像系统的图像重构方法
CN116148197B (zh) 一种基于时空调制的非重复光谱高速测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant