CN111027427A - 一种用于小型无人机竞速比赛的目标门检测方法 - Google Patents

一种用于小型无人机竞速比赛的目标门检测方法 Download PDF

Info

Publication number
CN111027427A
CN111027427A CN201911195639.9A CN201911195639A CN111027427A CN 111027427 A CN111027427 A CN 111027427A CN 201911195639 A CN201911195639 A CN 201911195639A CN 111027427 A CN111027427 A CN 111027427A
Authority
CN
China
Prior art keywords
key point
network
value
convolution
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911195639.9A
Other languages
English (en)
Other versions
CN111027427B (zh
Inventor
庄严
汤仕豪
慕铮
闫飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911195639.9A priority Critical patent/CN111027427B/zh
Publication of CN111027427A publication Critical patent/CN111027427A/zh
Application granted granted Critical
Publication of CN111027427B publication Critical patent/CN111027427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种用于小型无人机竞速比赛的目标门检测方法,属于基于视觉的目标检测技术领域。通过对目标门拐角处关键点的检测,进而定位出目标门的位置。本发明利用了目标门的边缘信息,避免了目标门内部背景信息的影响。此外本发明设计的神经网络具有结构轻量化的特点,能够在小型无人机机载计算机上达到实时检测的效果。

Description

一种用于小型无人机竞速比赛的目标门检测方法
技术领域
本发明属于基于视觉的目标检测技术领域,特别涉及到小型无人机竞速比赛中对目标门的实时检测方法。
背景技术
随着无人机技术的发展,小型无人机竞速比赛也越来越多。通常小型无人机竞速比赛都是按照一定的顺序,通过指定的一系列目标门。在规定时间内,通过的目标门数量越多,得分越高。如果能够利用视觉传感器的感知数据,通过运行在机载计算机上的算法实时完成目标门的检测,并自动调整无人机的飞行姿态,能够大大减少通过目标门的时间,从而获得更好的比赛成绩。
文献(Ren,Shaoqing,He,Kaiming,Girshick,Ross,et al.Faster R-CNN:TowardsReal-Time Object Detection with Region Proposal Networks[J].IEEE Transactionson Pattern Analysis&Machine Intelligence,2015,39(6):1137-1149.)提出的两阶段目标检测算法,检测精度高。但是由于它将检测和识别分为两步,步骤复杂,计算量较大,在小型无人机的有限计算资源下难以满足实时检测的需求。
文献(Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2016:779-788.)提出的单阶段目标检测算法,将图像中物体中心所在的特征用于目标的定位和识别。但是在小型无人机竞速比赛的目标门检测任务中,目标门的中心往往是背景信息,而背景信息对目标门的检测是一种干扰,因此基于上述算法的目标门检测效果不佳。
发明内容
本发明针对上述现有小型无人机竞速比赛目标门检测存在的问题,提出了一种基于关键点的轻量化目标门检测方法。通过对目标门拐角处关键点的检测,进而定位出目标门的位置。本发明利用了目标门的边缘信息,避免了目标门内部背景信息的影响。此外本发明设计的神经网络具有结构轻量化的特点,能够在小型无人机机载计算机上达到实时检测的效果。
本发明通过以下步骤进行目标门的检测:
步骤一、深度学习网络的构建
为了保证在小型无人机上的实时性,设计了一种轻量化深度学习网络模型,在保证精度的前提下,尽可能的优化检测的速度。该网络包括以下两个部分:特征提取模块和关键点预测模块。
特征提取模块包括33个卷积层,分为16个3*3的组卷积和17个卷积。其中,1个组卷积与1个卷积组成1个深度可分离卷积模块。深度学习网络中共有16个深度可分离卷积模块,此外还包括1个单一卷积,用于对输入图像进行滤波。
深度可分离卷积模块如图1所示。模块中第一层使用3*3的组卷积进行空间特征的提取,可大大减小计算开销。第二层使用1*1的卷积将特征图恢复到相应大小。整个特征提取模块输出的特征图大小是输入图像尺寸的1/4。同时,在每组深度可分离卷积结束之后,使用通道混洗的方法,将输出特征图的各个通道重新排列,从而让各个组卷积之间学习到不同通道的特征,提升网络的精度。
关键点预测模块为了保证运行效率,采用1个卷积层对网络提取的特征进行关键点的预测;该卷积层的输入与特征提取模块输出一致,该卷积层的输出的通道数与关键点的数量一致;该模块输出一个多通道的热力图,热力图的不同通道与目标门不同拐角处的关键点一一对应。找到预测图中每个通道最大值的索引,就可以映射出每个关键点在图像中的位置。具体的网络结构图如图2所示。
步骤二、训练数据集的构建
在训练神经网络之前,首先要采集一定量的数据用于网络的训练。先从各个角度采集待检测的目标门数据,数据需要尽量覆盖真实场景中的各种情况。对于采集好的目标门数据,对图像中目标门的拐角处关键点进行标注。
热力图是一种密度图,使用显著的颜色差异用来显示所表达数据的分布不同。热力图可以在二维平面上直观的表示图像中某个像素与图像关键点之间的距离。如果该像素距离关键点区域越近,热力图的响应值越大;距离关键点越远,热力图的响应值越小。通过获取热力图中最大值的索引就可以获得相应的关键点位置。
对于每个关键点,生成一张对应的热力图。热力图的生成使用高斯核函数f(x),具体公式如下:
Figure BDA0002294592700000031
其中dx表示标记中心到圆内某点的x方向的差值,dy表示标记中心到圆内某点的y方向的差值,δ为归一化因子,r表示设置的高斯核半径。从上式可以得到,离标记中心越近响应值越大,超过设置的高斯核半径,响应值为0。对于目标门拐角处的关键点,将构成一幅n通道的真值热力图(n为目标门拐角处关键点的总数),某个通道对应某个关键点,用于监督网络的训练。
步骤三、深度学习网络的训练
对网络的训练包括两部分:训练数据的处理和模型优化。在训练的过程中,对于一张图片随机进行裁剪、旋转、镜像和图片模糊等操作,这些操作能够丰富训练集样本的数量,减小网络过拟合的风险,增加网络的定位能力。同时为了克服关键点的误检问题,随机加入不包含目标门的图片作为负样本训练数据,增加网络对图像背景信息干扰的适应能力,从而抑制网络的误检。
训练过程使用Adam优化器(Adam是一种对随机目标函数执行一阶梯度优化的算法,该算法基于适应性低阶矩估计),通过对梯度的一阶矩和二阶矩进行综合估计,对网络进行优化。优化的目标函数为MSE(Mean Squared Error,均方误差),网络预测的通道图和真值热力图逐像素进行误差的计算,再除以总像素个数,MSE的计算方式具体如下所示:
Figure BDA0002294592700000041
其中xi是网络预测值,yi是真值标签,m为预测的像素总数。使用标准正态分布初始化参数。每一个训练轮次完成之后,在验证集上对模型的进行评估,保留训练过程中验证精度最高的模型。
步骤四、网络的推理预测
需要对网络输出的结果进行后处理。首先使用阈值对网络的预测图进行过滤,即高于阈值的网络输出值进行保留,低于阈值的网络输出值设置为0。然后对于过滤后的预测图,获取每个通道的峰值点的位置作为该通道对应的关键点的具体位置,如果该通道的峰值为0,则认为相应关键点不存在。
定义了一种关键点检测的评估方法。di为每个关键点对应真实值和预测值的欧式距离。
Figure BDA0002294592700000042
其中xi为真值关键点的x坐标,yi为真值关键点的y坐标。其中
Figure BDA0002294592700000043
为预测关键点的x坐标,
Figure BDA0002294592700000044
为预测关键点的y坐标。当距离di小于设定阈值μ,认为预测值正确。
Figure BDA0002294592700000051
通过对关键点的预测正确数量的统计,能够得到模型预测的平均精度。
本发明的有益效果:模型泛化能力强,在光线变化显著、光线照射不均匀等传统视觉方法检测困难的场景,有很好的鲁棒性。同时模型的结构简单,参数量小,在小型无人机机载计算机上能够完成实时目标门检测任务。
附图说明
图1为深度可分离卷积。
图2为网络结构图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
本方案选择大疆M210无人机作为实验平台。无人机使用单目摄像头采集图片。使用Nvidia jx2对采集来的图像进行目标门检测,定位目标门的4个关键点辅助无人机进行目标门的穿越。
步骤一、构建深度学习网络
本发明使用深度学习进行目标门的关键点检测和定位。网络的具体结构如表1所示。其中Conv dw表示3*3的组卷积,卷积的组数和输入保持一致。在构建网络时,要保证输出的特征图的分辨率,尽量减小池化操作。同时为了减小计算负担,将3*3的卷积替换为一个深度可分离卷积模块。实验中为了平衡精度和运行效率使用的输入图像尺度为256*256,如果希望获得更高的精度,可将输入图像适当放大。
表1、网络结构图
Figure BDA0002294592700000052
Figure BDA0002294592700000061
步骤二、构建训练数据集
首先控制飞行器在实验场地进行飞行,对球门进行各种角度的拍摄。对于现场采集拍摄的数据,使用标注工具对数据中球门的左上右下和右上左下4个点进行标注,生成相应的热力图。将数据集中80%的数据用于训练,20%用于模型精度的验证。
步骤三、神经网络的训练
本发明使用Nvidia 1080Ti显卡作为训练平台,使用Pytorch作为训练框架。在Pytorch框架下构建神经学习网络,实现上述网络和训练推理过程。在网络训练时,对于前5个训练轮次,学习率从0.00001逐步增加到0.0001,然后每当训练30个轮次之后,学习率缩小0.5倍。总共训练120个轮次。
步骤四、测试网络
本发明在网络训练完成之后,对结果进行了测试。测试的评价指标如前所述。网络在验证集上,检测精度能够达到98%,完全满足实际需求。在输出图片为256*256的尺度下,在实验用无人机机载计算机上能够达到30帧每秒的目标门检测频率。

Claims (5)

1.一种用于小型无人机竞速比赛的目标门检测方法,其特征在于,步骤如下:
步骤一、深度学习网络的构建
深度学习网络包括特征提取模块和关键点预测模块;特征提取模块包括33个卷积层,分为16个3*3的组卷积和17个卷积;其中,1个组卷积与1个卷积组成1个深度可分离卷积模块;剩余1个单一的卷积用于对输入图像进行滤波;深度可分离卷积模块中第一层使用3*3的组卷积进行空间特征的提取,第二层使用1*1的卷积将特征图恢复到相应大小;整个特征提取模块输出的特征图大小是输入图像尺寸的1/4;同时,在每组深度可分离卷积结束之后,使用通道混洗的方法,将输出特征图的各个通道重新排列,从而让各个组卷积之间学习到不同通道的特征;
关键点预测模块采用1个卷积层对网络提取的特征进行关键点的预测;该卷积层的输入与特征提取模块的输出一致,该卷积层的输出的通道数与关键点的数量一致;关键点预测模块输出一个多通道的热力图,热力图的某个通道与目标门上某个关键点相对应;找到预测图中每个通道最大值的索引,就能映射出每个关键点在图像中的位置;
步骤二、训练数据集的构建
从各个角度采集待检测的目标门数据,数据需要覆盖真实场景中的各种情况;对于采集好的目标门数据,对图像中目标门的拐角处关键点进行标注;
步骤三、深度学习网络的训练
深度学习网络的训练包括训练数据的处理和模型优化;训练数据的处理是对于一张图片随机进行裁剪、旋转、镜像和图片模糊,模型优化是在训练过程中同时随机加入不包含目标门的图片作为负样本训练数据,增加网络对图像背景信息干扰的适应能力,从而抑制网络的误检;
步骤四、网络的推理预测
首先使用阈值对网络的预测图进行过滤,即高于阈值的网络输出值进行保留,低于阈值的网络输出值设置为0;然后对于过滤后的预测图,获取每个通道的峰值点的位置作为该通道对应的关键点的具体位置,当该通道的峰值为0时,则认为相应关键点不存在。
2.根据权利要求1所述的一种用于小型无人机竞速比赛的目标门检测方法,其特征在于,所述步骤二中,对于每个关键点,生成一张对应的热力图;热力图的生成使用高斯核函数f(x),具体公式如下:
Figure FDA0002294592690000021
其中dx表示标记中心到圆内某点的x方向的差值,dy表示标记中心到圆内某点的y方向的差值,δ为归一化因子,r表示设置的高斯核半径;从上式可以得到,离标记中心越近响应值越大,超过设置的高斯核半径,响应值为0;对于目标门拐角处的关键点,将构成一幅n通道的真值热力图,n为目标门拐角处关键点的总数,某个通道对应某个关键点,用于监督网络的训练。
3.根据权利要求1或2所述的一种用于小型无人机竞速比赛的目标门检测方法,其特征在于,所述步骤三中,训练过程使用Adam优化器,通过对梯度的一阶矩和二阶矩进行综合估计,对网络进行优化;优化的目标函数为均方误差MSE,网络预测的通道图和真值热力图逐像素进行误差的计算,再除以总像素个数,MSE的计算方式具体如下所示:
Figure FDA0002294592690000022
其中xi是网络预测值,yi是真值标签,m为预测的像素总数;使用标准正态分布初始化参数;每一个训练轮次完成之后,在验证集上对模型的进行评估,保留训练过程中验证精度最高的模型。
4.根据权利要求1或2所述的一种用于小型无人机竞速比赛的目标门检测方法,其特征在于,所述步骤四中,关键点检测的评估方法:di为每个关键点对应真实值和预测值的欧式距离;
Figure FDA0002294592690000031
其中xi为真值关键点的x坐标,yi为真值关键点的y坐标;其中
Figure FDA0002294592690000032
为预测关键点的x坐标,
Figure FDA0002294592690000033
为预测关键点的y坐标;当距离di小于设定阈值μ,认为预测值正确;
Figure FDA0002294592690000034
通过对关键点的预测正确数量的统计,能够得到模型预测的平均精度。
5.根据权利要求3所述的一种用于小型无人机竞速比赛的目标门检测方法,其特征在于,所述步骤四中,关键点检测的评估方法:di为每个关键点对应真实值和预测值的欧式距离;
Figure FDA0002294592690000035
其中xi为真值关键点的x坐标,yi为真值关键点的y坐标;其中
Figure FDA0002294592690000036
为预测关键点的x坐标,
Figure FDA0002294592690000037
为预测关键点的y坐标;当距离di小于设定阈值μ,认为预测值正确;
Figure FDA0002294592690000038
通过对关键点的预测正确数量的统计,能够得到模型预测的平均精度。
CN201911195639.9A 2019-11-29 2019-11-29 一种用于小型无人机竞速比赛的目标门检测方法 Active CN111027427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911195639.9A CN111027427B (zh) 2019-11-29 2019-11-29 一种用于小型无人机竞速比赛的目标门检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911195639.9A CN111027427B (zh) 2019-11-29 2019-11-29 一种用于小型无人机竞速比赛的目标门检测方法

Publications (2)

Publication Number Publication Date
CN111027427A true CN111027427A (zh) 2020-04-17
CN111027427B CN111027427B (zh) 2023-07-18

Family

ID=70203205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911195639.9A Active CN111027427B (zh) 2019-11-29 2019-11-29 一种用于小型无人机竞速比赛的目标门检测方法

Country Status (1)

Country Link
CN (1) CN111027427B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768485A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 三维图像的关键点标注方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
WO2019199967A1 (en) * 2018-04-10 2019-10-17 Neurala, Inc. Systems and methods for gamification of drone behavior using artificial intelligence
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129865A1 (en) * 2016-11-08 2018-05-10 Nec Laboratories America, Inc. Action recognition system with landmark localization on objects in images using convolutional neural networks
CN108090423A (zh) * 2017-12-01 2018-05-29 上海工程技术大学 一种基于热力图和关键点回归的深度车牌检测方法
WO2019199967A1 (en) * 2018-04-10 2019-10-17 Neurala, Inc. Systems and methods for gamification of drone behavior using artificial intelligence
CN110276316A (zh) * 2019-06-26 2019-09-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖佳伟: "基于卷积神经网络的无人机目标检测算法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768485A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 三维图像的关键点标注方法、装置、电子设备及存储介质
CN111768485B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 三维图像的关键点标注方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111027427B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN107153817B (zh) 行人重识别数据标注方法和装置
CN111259850A (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN109711366B (zh) 一种基于群组信息损失函数的行人重识别方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN102156995A (zh) 一种运动相机下的视频运动前景分割方法
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN110781962A (zh) 基于轻量级卷积神经网络的目标检测方法
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法
CN111191531A (zh) 一种快速行人检测方法及系统
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN114266805A (zh) 一种用于无人机目标跟踪的孪生区域建议网络模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant