CN112750174B - 基于空间编码的目标智能感知及识别系统及方法 - Google Patents

基于空间编码的目标智能感知及识别系统及方法 Download PDF

Info

Publication number
CN112750174B
CN112750174B CN202110008122.5A CN202110008122A CN112750174B CN 112750174 B CN112750174 B CN 112750174B CN 202110008122 A CN202110008122 A CN 202110008122A CN 112750174 B CN112750174 B CN 112750174B
Authority
CN
China
Prior art keywords
coding
space
target
spatial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110008122.5A
Other languages
English (en)
Other versions
CN112750174A (zh
Inventor
陈硕
王东升
张冯頔
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202110008122.5A priority Critical patent/CN112750174B/zh
Publication of CN112750174A publication Critical patent/CN112750174A/zh
Application granted granted Critical
Publication of CN112750174B publication Critical patent/CN112750174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于光学领域,公开了基于空间编码的目标智能感知及识别系统及方法,包括编码模块和成像模块。编码模块将目标识别模型编码为空间中每个像素单元所对应的权重值,并将该权重值输入至成像模块中的空间光调制器;成像模块利用空间光调制器对光信号进行空间编码,并通过单通道光电探测器采集经空间编码后的光信号,利用单通道测量值实现目标的智能识别。该方法通过对所采集的光信号进行空间编码,在光学测量的同时实现了对于图像的后处理,有效地避免了复杂的图像后处理过程,极大地提高目标感知及识别的时间效率。该方法还可以降低图像数据传输及存储等所带来的设备成本。因此,该方法在目标感知及识别领域具有重要的潜在应用价值。

Description

基于空间编码的目标智能感知及识别系统及方法
技术领域
本发明属于光学领域,涉及一种基于空间编码的目标智能感知系统及方法。
背景技术
目标感知与识别是一门综合多学科的应用技术,通过非接触方式探测固定或移动的目标及周围环境的信息(如图像等),并利用信息处理技术对所采集的数据进行分析和后处理,进而准确识别目标,在工业、农业及国防等多个领域具有广泛的应用。近年来,随着目标感知与识别技术的不断发展和完善,采集和提取到的目标特征信息越来越丰富。虽然这些有助于实现对目标更为准确的感知和识别,但也导致需要更大的计算量去完成复杂的数据分析和后处理过程。因此,如果在保证目标识别准确率的前提下实现更为高效乃至实时的数据分析和后处理已成为目标感知和识别领域亟需解决的关键技术瓶颈。
发明内容
针对以上现有技术中存在的不足,本发明提出了一种新型的基于空间编码的目标智能感知及识别系统及方法。该方法通过对所采集的光信号进行空间编码,在光学测量的同时实现了对于图像的后处理,即利用单通道光电探测器直接采集经空间编码后的光信号,并利用所采集的单通道测量值实现对目标的智能感知和识别。
本发明的技术方案为:
基于空间编码的目标智能感知及识别系统包括编码模块和成像模块。其中,编码模块是将目标识别模型编码为空间中每个像素单元所对应的权重值,并将各像素单元的权重值输入至成像模块中的空间光调制器;成像模块包括成像透镜、空间光调制器、汇聚透镜组、单通道光电探测器、数据采集卡和计算机。目标物体经成像透镜后成像于空间光调制器上,基于编码模块中获得的线性模型,即空间中各像素单元的权重值,控制空间光调制器上各像素单元处于“开”状态的时间,进而实现对光信号的空间编码,经空间编码的光信号由汇聚透镜组汇聚后,由单通道光电探测器采集,并通过数据采集卡将单通道测量值传输至计算机,并基于该单通道测量值对目标进行识别,或基于多个不同空间的单通道测量值获得经空间编码后的图像。
进一步地,利用线性模型对目标进行局部空间编码,并通过单通道光电探测器两次以上曝光,采集两组以上不同空间位置的单通道测量值,进而获得目标经空间编码后的图像,即获得等效于经图像后处理后的图像。
具体步骤如下:
步骤一、获取空间编码所需的权重值。用于空间编码的目标识别模型需为线性模型,且该线性模型可通过无监督特征提取或有监督学习的方式获得。其中,无监督特征提取方式可直接将纹理、形状、空间等特征的提取过程编码为线性模型,即空间中各像素单元的权重值;而有监督学习方式需通过训练数据集,即利用已知识别结果的图像建立线性模型,进而获得空间中各像素单元的权重值。
步骤二、控制空间光调制器进行空间编码。根据步骤一中所获得的空间中各像素单元的权重值,控制空间光调制器上对应的微镜单元的处于“开”状态的时间,进而实现对光信号的空间编码,经空间编码的光信号由汇聚透镜组汇聚后,由单通道光电探测器采集,并通过数据采集卡将单通道测量值传输至计算机。
步骤三、获取识别结果或经空间编码后的图像。若需获取识别结果,则直接根据步骤二所获得的单通道测量值对目标进行识别;若需获取经空间编码后的图像,则需重复步骤一和步骤二对目标的不同位置进行局部空间编码并获取多组不同空间位置的单通道测量值,直至遍历整个空间,获得目标经空间编码后的图像,即获得等效于经图像后处理后的图像。
本发明的有益效果为该方法有效地避免了复杂的图像后处理过程,可极大地提高目标感知及识别的时间效率。由于仅需采集少量单通道测量值,该方法还可以降低图像数据传输及存储等所带来的设备成本。此外,该方法可对目标进行局部空间编码,并通过单通道光电探测器多次曝光采集多组不同空间位置的单通道测量值,进而获得等效于经图像后处理后的图像。因此,该方法在目标感知及识别领域具有重要的潜在应用价值。
附图说明
图1是本发明的系统光路图;
图中:1目标物体;2成像透镜;3空间光调制器;4汇聚透镜组;5单通道光电探测器;6数据采集卡;7计算机。
图2是实施例1中所用的卷积神经网络的结构图。
图3是实施例1中用于识别不同数字所需的成像编码矩阵中各像素单元的权重值示意图。
图4是实施例1中利用经空间编码后所获得的单通道测量值识别不同数字的结果图。
图5是实施例2中用于识别线条方向所需的空间光调制器上各像素单元的权重值示意图。
图6是实施例3中利用局部空间编码遍历整个空间进而获得等效于均值滤波后的图像。
具体实施方式
下面结合附图对本发明的具体实施做详细说明,其中实施例1是通过有监督学习方式获取用于空间编码的线形模型,并基于所采集的单通道测量值识别公共数据集MNIST中的手写数字;实施例2是通过无监督特征提取方式获取用于空间编码的线形模型,并基于所采集的单通道测量值识别线段的方向;实施例3是利用局部空间编码遍历整个空间进而获得等效于均值滤波后的图像。
实施例1
实施例1中利用基于空间编码的目标智能感知及识别系统识别公共数据集MNIST中的手写数字。其中,所使用的MNIST手写数字数据集包含60000个带有标签的训练样本和10000个带有验证标签的验证样本,其中每个样本均为由28×28个像素点组成的灰度图且标签为0~9其中一个数;利用一对多法将识别数字任务简化为十个二分类任务,即每一次将一个类作为目标组,其余九类作为背景组。用于二分类的卷积神经网络的具体结构如图2所示,并最终利用5折交叉验证法评估其性能。更为具体地,在将图像数据输入卷积神经网络之前,对每个图像数据都进行归一化处理,并将目标组和背景组的图像数据分别标记为0和1。卷积神经网络在均方误差的指导下,通过适应性矩估计算法将输出值拟合为0或1。卷积神经网络在收敛临界点附近停止迭代,以防止出现过拟合现象。卷积神经网络训练完毕后,可用0.5作为目标与背景区分的阈值,即卷积神经网络输出值大于或等于0.5的像素点被分为目标组,卷积神经网络输出值小于0.5的像素点被分为背景组。
本实施例针对十个二分类任务分别训练了十个二分类模型,用于生成不同空间编码所需的空间中各像素单元的权重值,并进一步控制空间光调制器进行不同的空间编码,最终根据采集到的单通道测量值分别识别不同的数字。具体实施步骤如下:
步骤一、利用卷积神经网络方法训练二分类模型,并根据二分类模型生成空间编码所需的空间中各像素单元的权重值。所使用的卷积神经网络的结构图如图2所示,包括二维卷积层、平均池化层和全连接层,且所有激活函数均为线性激活函数。各类层结构的公式如下所示:
(1)二维卷积层:设Xm为第m个输入特征矩阵,其中,m∈N*,m≤α1,α1为输入特征矩阵的总数;第一个卷积层的输入特征矩阵为目标图片数据;设Ck为第k个卷积核,其中,k∈N*,k≤δ,δ为卷积核的总数;则第k个输出特征矩阵Yk根据公式(1)计算得出,其中“*”为卷积运算符号;
(2)二维平均池化层:设ε×ε为每次进行平均池化的元素数量;设Xm,j,k为第m个输入特征矩阵的第j行第k列的元素,其中,m,j,k∈N*,m≤α2,j≤β1,k≤β2,α2为输入特征矩阵的总数,β1为每个输入特征矩阵的行数,β2为每个输入特征矩阵的列数;则第m个输出特征矩阵的第u行第v个元素ym,u,v可以根据公式(2)计算得出,其中,a和b为求和符号的变数;
(3)全连接层:将经过卷积池化后的数据“抹平”后连接一个全连接层,且设置其输出只有一个值。假设全连接层的输入共有n个元素,xi代表第i个元素,ai代表第xi个元素所对应的权重,b代表偏置项,则全连接层的输出值y根据公式(3)可计算得出;
(4)基于图2中卷积神经网络的具体结构,将上述各层结构对应的公式进行嵌套,经展开及合并同类项后可获得一个线性模型,如公式(4)所示。该线性模型中输入与输出的映射关系等效于利用卷积神经网络对输入图像分析后的结果。
其中,i,j∈N*,i≤n,j≤m,n为目标图像矩阵的行数,m为目标图像矩阵的列数,b为偏置项。由于所获得的模型包含偏置项b,将阈值0.5与偏置项b相减得到新的阈值T,如下公式所示
T=0.5-b#(5)
由于存在部分权重为负数,在实际光学测量过程中,利用空间编码后的光学测量值等同于成像编码后的光学测量值与补偿编码后的光学测量值之差来处理负值。其中,成像编码所用的权重值Wp和补偿编码所用的权重值Wc均为非负的。更为具体地,补偿编码矩阵Wc中的各像素单元的权重数值等于原始空间编码矩阵中最小权重的绝对值成像编码矩阵中的各像素单元的权重值通过原始空间编码矩阵中各像素单元的权重数值与补偿编码矩阵中的各像素单元的权重数值求和获得。其中,补偿编码矩阵可通过各像素单元的权重值均为1的单位时间编码矩阵Wa与/>相乘获得。
其中,为光学测量值;S为输入目标图像;W为含负值的原始权重。
由于需对目标图像数据做均一化预处理,本发明通过将空间编码后的光学测量值与单位时间编码后的光学测量值两者相除,该结果I′等同于将目标图像S均一化后再利用空间编码成像后所获得的结果,如公式(7)所示。
其中Xi,j为输入目标图像在第i行第j列位置上的光强,n为目标图像矩阵行数,m为目标图像矩阵列数。
综上所述,在每个二分类模型中需要获得两种编码模型,即成像编码矩阵Wp和各像素单元权重值均为1的单位时间编码矩阵Wa
步骤二、利用步骤一生成的空间编码所需的各像素单元的权重值控制空间光调制器进行空间编码,即根据成像编码矩阵(如图3所示)和单位时间编码矩阵中各像素单元权重值控制空间光调制器上各微镜单元的“开”、“关”状态和时间,进而获得成像单通道测量值和单位时间单通道测量值。
步骤三、利用步骤二中所采集的单通道测量值识别手写数字。首先,根据公式(6),将成像编码后的光学测量值与补偿编码后的光学测量值相减,获得等效于空间编码后的光学测量值随后,根据公式(7),将空间编码后的光学测量值与单位时间编码后的光学测量值相除,获得等效于将目标图像S均一化后再利用空间编码成像后所获得的结果I′。最后,利用I′与阈值T比较,若I′高于阈值,则该目标属于该模型所对应的分类;若I′低于阈值,则该目标属于其它分类。
步骤四、重复以上步骤,直至完成全部十个二分类任务。
基于上述单通道测量值的最终识别结果如图4所示,平均识别准确率为92.96%。
实施例2
本实施例为利用基于空间编码的目标智能感知及识别系统识别目标线段的方向。具体实施步骤如下:
步骤一、利用线段的形状和方向特征直接生成空间编码所需的空间中各像素单元的权重值。线段的形状特征决定这些权重值呈条带状分布,线段的方向特征决定这些权重值呈不同角度分布,因此最终生成的空间中各像素单元的权重值呈不同角度的条带状分布,如图5所示。
步骤二、利用步骤一生成的呈不同角度的条带状分布的权重值控制空间光调制器进行空间编码,即控制不同方向上的微镜单元逐条处于“开”状态。每改变一次“开”微镜的方向,就由单通道光电探测器采集一次单通道测量值,并通过数据采集卡传输至计算机。
步骤三、利用步骤二中所采集的单通道测量值直接判别目标线段的方向。当“开”微镜方向与目标线段的不一致时,则所采集到的单通道测量值相对较弱,如图表5中左图所示;当“开”微镜方向与目标线段的方向一致时,则所采集到的单通道测量值最强,如图5中右图所示。因此,可通过寻找最强的单通道测量值所对应的“开”微镜方向来判别目标线段的方向。
实施例3
本实施例为利用基于空间编码的目标智能感知及识别系统对目标进行均值滤波,且该均值滤波器的大小为3×3个像素点。具体实施步骤如下:
步骤一、根据均值滤波器的特性直接生成局部空间编码所需的空间中各像素单元的权重值。由于该均值滤波器的大小为3×3个像素点,因此该最终生成局部空间的大小应为3×3个像素点,且局部空间中各像素单元的权重值为1/9。
步骤二、利用步骤一生成的空间中各像素单元的权重值来控制空间光调制器进行空间编码,即控制像素点以及该像素点周围八个像素点所对应位置的微镜单元处于“开”状态,其余微镜单元处于“关”状态,单通道光电探测器的曝光时间为1/9秒,采集单通道测量值后通过数据采集卡传输至计算机。
步骤三、获取等效于经均值滤波器滤波后的图像。重复步骤一和步骤二对目标的不同位置进行局部空间编码,并获取不同空间位置的单通道测量值,直至遍历整个空间获得目标经空间编码后的图像,即获得等效于经均值滤波器滤波后的图像,如图6所示。

Claims (4)

1.基于空间编码的目标智能感知及识别系统,其特征在于,包括编码模块和成像模块;其中,编码模块是将目标识别模型编码为空间中每个像素单元所对应的权重值,并将各像素单元的权重值输入至成像模块中的空间光调制器;成像模块包括成像透镜(2)、空间光调制器(3)、汇聚透镜组(4)、单通道光电探测器(5)、数据采集卡(6)和计算机(7);目标物体(1)经成像透镜(2)后成像于空间光调制器(3)上,基于编码模块中获得的线性模型,即空间中各像素单元的权重值,控制空间光调制器(3)上各像素单元处于“开”状态的时间,实现对光信号的空间编码,经空间编码的光信号由汇聚透镜组(4)汇聚后,由单通道光电探测器(5)采集,并通过数据采集卡(6)将单通道测量值传输至计算机(7),并基于该单通道测量值对目标进行识别,或基于多个不同空间的单通道测量值获得经空间编码后的图像;
所述系统用于实现下述方法,具体步骤如下:
步骤一、获取空间编码所需的权重值;用于空间编码的目标识别模型为线性模型,且该线性模型通过无监督特征提取或有监督学习的方式获得;其中,无监督特征提取方式为直接将纹理、形状、空间特征的提取过程编码为线性模型,即空间中各像素单元的权重值;有监督学习方式通过训练数据集,即利用已知识别结果的图像建立线性模型,获得空间中各像素单元的权重值;
步骤二、控制空间光调制器进行空间编码;根据步骤一中所获得的空间中各像素单元的权重值,控制空间光调制器上对应的微镜单元处于“开”状态的时间,实现对光信号的空间编码,经空间编码的光信号由汇聚透镜组汇聚后,由单通道光电探测器采集,并通过数据采集卡将单通道测量值传输至计算机;
步骤三、获取识别结果或经空间编码后的图像;若获取识别结果,则直接根据步骤二所获得的单通道测量值对目标进行识别;若获取经空间编码后的图像,则重复步骤一和步骤二对目标的不同位置进行局部空间编码并获取不同空间位置的单通道测量值,直至遍历整个空间,获得目标经空间编码后的图像,即获得等效于经图像后处理后的图像。
2.根据权利要求1所述的基于空间编码的目标智能感知及识别系统,其特征在于,所述编码模块中用于空间编码的目标识别模型为线性模型,所述线性模型通过无监督特征提取或有监督学习的方式获得。
3.根据权利要求2所述的基于空间编码的目标智能感知及识别系统,其特征在于,其中,无监督特征提取方式为直接将纹理、形状、空间特征的提取过程编码为线性模型,即空间中各像素单元的权重值;所述有监督学习方式为通过训练数据集,利用已知识别结果的图像建立线性模型,获得空间中各像素单元的权重值。
4.根据权利要求1所述的基于空间编码的目标智能感知及识别系统,其特征在于,利用线性模型对目标进行局部空间编码,并通过单通道光电探测器两次以上曝光,采集两组以上不同空间位置的单通道测量值,进而获得目标经空间编码后的图像,即获得等效于经图像后处理后的图像。
CN202110008122.5A 2021-01-05 2021-01-05 基于空间编码的目标智能感知及识别系统及方法 Active CN112750174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110008122.5A CN112750174B (zh) 2021-01-05 2021-01-05 基于空间编码的目标智能感知及识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110008122.5A CN112750174B (zh) 2021-01-05 2021-01-05 基于空间编码的目标智能感知及识别系统及方法

Publications (2)

Publication Number Publication Date
CN112750174A CN112750174A (zh) 2021-05-04
CN112750174B true CN112750174B (zh) 2023-09-22

Family

ID=75649877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110008122.5A Active CN112750174B (zh) 2021-01-05 2021-01-05 基于空间编码的目标智能感知及识别系统及方法

Country Status (1)

Country Link
CN (1) CN112750174B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490223A (zh) * 2018-11-20 2019-03-19 东北大学 一种基于可编程高光谱成像的目标探测识别系统及方法
CN112132229A (zh) * 2020-09-30 2020-12-25 北京理工大学 一种采用编码智能学习框架的高光谱成像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2239506B1 (es) * 2003-04-10 2006-11-16 Consejo Superior Investigacion Detector de rayos gamma con codificacion de profundidad de interaccion.
CN101189641B (zh) * 2005-05-12 2012-05-02 布雷克成像有限公司 编码数字图像的像素或体素的方法及处理数字图像的方法
GB201701296D0 (en) * 2017-01-26 2017-03-15 Univ College Cork - Nat Univ Of Ireland Smart coded access optical sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109490223A (zh) * 2018-11-20 2019-03-19 东北大学 一种基于可编程高光谱成像的目标探测识别系统及方法
CN112132229A (zh) * 2020-09-30 2020-12-25 北京理工大学 一种采用编码智能学习框架的高光谱成像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MR-Encephalography: Fast multi-channel monitoring of brain physiology with magnetic resonance;Juergen Hennig 等;《NeuroImage》;第34卷(第1期);212-219 *
稀疏编码算法及其应用研究;尚丽;《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》(第4期);I136-16 *
视觉感知模型与编码算法研究;杨文璐;《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》(第12期);I138-62 *

Also Published As

Publication number Publication date
CN112750174A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN109961089B (zh) 基于度量学习和元学习的小样本和零样本图像分类方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN109635744A (zh) 一种基于深度分割网络的车道线检测方法
CN113221641B (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
CN104657717B (zh) 一种基于分层核稀疏表示的行人检测方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN110610210B (zh) 一种多目标检测方法
CN108416270B (zh) 一种基于多属性联合特征的交通标志识别方法
CN107025445B (zh) 基于类信息熵的多源遥感图像组合选择方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
CN116740418A (zh) 一种基于图重构网络的目标检测方法
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
Budak et al. Deep convolutional neural networks for airport detection in remote sensing images
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
Zelenina et al. Convolutional neural networks in the task of image classification
CN112750174B (zh) 基于空间编码的目标智能感知及识别系统及方法
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant