CN111931572A - 一种遥感影像的目标检测方法 - Google Patents

一种遥感影像的目标检测方法 Download PDF

Info

Publication number
CN111931572A
CN111931572A CN202010644412.4A CN202010644412A CN111931572A CN 111931572 A CN111931572 A CN 111931572A CN 202010644412 A CN202010644412 A CN 202010644412A CN 111931572 A CN111931572 A CN 111931572A
Authority
CN
China
Prior art keywords
remote sensing
target
sensing image
candidate
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010644412.4A
Other languages
English (en)
Other versions
CN111931572B (zh
Inventor
刘晓东
王卓薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010644412.4A priority Critical patent/CN111931572B/zh
Publication of CN111931572A publication Critical patent/CN111931572A/zh
Application granted granted Critical
Publication of CN111931572B publication Critical patent/CN111931572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种遥感影像的目标检测方法，在获取遥感影像之后通过残差网络对遥感影像进行特征提取；并进一步对残差网络不同阶段的特征图进行融合；在融合得到的特征图的基础上，采用锚框自适应的方法得到建议候选框；对提取出来的候选框进行汇总，然后进行分类，判断每个建议候选框属于哪个类别；对每个建议候选框进行边框回归；将回归后的建议候选框进行非极大值抑制处理，去除大量的重复框，统一在原始影像上输出坐标点。与其他遥感影像的目标检测方法相比，本方法对不同阶段的特征图进行了更高效的融合、采取了锚框自适应的方法对目标进行检测，对目标的召回率和的准确率有了很大提升。

Description

一种遥感影像的目标检测方法
技术领域
本申请涉及图像处理技术领域，特别是涉及一种遥感影像的目标检测方法。
背景技术
在深度神经网络蓬勃发展以前，为了能够有效的在遥感影像中检测出目标，常用的经典检测方法有：1)Harr分类器；2)梯度直方图(HoG)+SVM分类器；3)Discriminativelytrained deformable part models(DPM)。Haar分类器实际上是Boosting算法的一个应用，Haar分类器用到了Boosting算法中的AdaBoost算法，只是把AdaBoost算法训练出的强分类器进行了级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法，但是由于原始的Haar特征太简单，无法有效检测出需求的目标。梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符，它通过计算局部区域的梯度方向直方图来构成特征，使用梯度直方图特征结合SVM分类器对目标进行检测，但是梯度直方图的方法存在，描述子生成过程冗长，导致速度慢，实时性差，很难处理遮挡问题，并且对噪点相当敏感等缺点。DPM方法可以看作是梯度直方图和SVM分类器的升级版，但是DPM相对复杂，检测速度也比较慢，同时对于场景较为复杂的情况还是无法解决。
因为深度神经网络拥有强大的特征提和分类能力，在图像的分类和目标检测领域都取得了巨大的突破。与此同时，许多人将深度神经网络的方法用于遥感影像的目标检测，基于深度神经网络的目标检测方法可以很好的对于复杂的场景实现检测，精度和召回率都可以得到很好的保证，对于特征的提取由深度神经网络自动完成，也提高了目标检测的迁移性。常见的基于深度神经网络的遥感影像目标检测算法有二阶段的Faster RCNN、Cascade RCNN及其变体，单阶段的Yolo、Retinanet及其变体。二阶段的检测方法首先会经过一个RPN网络，挑选出所有可能包含目标物体的区域，在第二阶段中会着重对这些区域进行分类并对目标的位置进一步的修正。单阶段的目标检测方法将目标检测视为一个回归问题，直接对每一块图像区域进行分类和位置预测。二阶段的目标检测方法有着较高的精度，但检测速度较慢。单阶段的目标检测方法可以做到实时检测，但精度较低。
如申请号为201910262519.X和201410733535.X的专利申请文件，这些方法都是采用滑窗机制，通过一组大小尺度、长宽比预设好的锚框遍历整张图片来获取建议候选框。在遥感影像中，受到拍摄高度和拍摄角度的影像，同一对象目标没有固定的大小，常常以不同的比例出现，有时以密集的形式出现，例如车辆和储罐，并且周围环境不同或背景区域复杂。与自然图像相比，遥感影像中存在大量小目标、极端大小和长宽比悬殊的目标。如果采用滑窗机制来产生建议候选框，则对预设锚框的质量要求非常苛刻，预设锚框的大小尺度和长宽比需要根据不同数据集和方法需要单独调整，并且很难找到一组合适的参数设置。并且，遥感影像中存在大量小目标，小目标所含有的信息少，经过一系列的卷积操作之后，信息丢失严重，导致小目标的召回率和准确率下降。遥感影像中存在大量密集的物体，密集物体的预测框在现常用的后处理方法中，常常因为预测框之间大量重叠而被去除，导致准确率下降。
发明内容
本发明针对遥感图像中存在大量极端大小或者长宽比悬殊、小和密集的目标物体等问题，提出了一种遥感影像的目标检测方法，对不同阶段的特征图进行了更高效的融合、采取了锚框自适应的方法对目标进行检测，对目标的召回率和的准确率有了很大提升。
为解决上述技术问题，本发明的技术方案如下：
一种遥感影像的目标检测方法，包括如下步骤：
S1：获取遥感影像后，通过残差网络对遥感影像进行特征提取；
S2：对残差网络不同阶段获得的特征图进行充分特征融合，得到语义信息和位置信息更丰富、平衡的特征图；
S3：在经过融合的特征图的基础上，用锚框自适应的方法得到建议候选框；
S4：对在特征图上获取的建议候选框进行汇总，然后进行分类，判断每一个建议候选框分别属于哪个类别；
S5：对S4中属于前景类别的建议候选框进行边框回归；
S6：对S5中所有建议候选框进行非极大值抑制处理，去除大量重复框，统一在原始影像上输出坐标点，从而得到目标在原始影像中的位置，实现目标检测。
优选地，步骤S1中，所述残差网络选用ResNet或ResNeXt。
优选地，所述残差网络ResNet为ResNet-50或ResNet-101。
优选地，步骤S2中，提取残差网络四个阶段的最后一层特征图，对这四个特征图重新调整为256*256的分辨率大小，然后进行融合。
优选地，对特征图进行融合后，进行Gaussian non-local attention(高斯非局部注意力网络)处理，起到降噪和增强特征的作用。
优选地，步骤S3中，在经过融合的特征图上采用两个分支分别预测建议候选框的位置和形状，然后结合在一起得到位置稀疏而且形状可变的建议候选框。
优选地，位置预测分支的目标将该问题视为一个二分类问题，不同于RPN或者segmentation的分类，这里并不是预测每个点是前景还是背景，而是预测是不是物体的中心，目标是预测那些区域应该作为中心点来生成建议候选框；形状预测分支是将该问题视为一个回归问题，在给定的建议候选框的中心点上，预测最佳的长和宽，在这里不采用传统的均方误差来作为损失函数，而是采用GIoU作为损失函数。
优选地，步骤S4中，将建议候选框输送至全连接层，判断每个建议候选框分别属于哪一个类别。
优选地，步骤S5中，采用GIoU作为损失函数，对属于前景的建议候选框进行边框回归。
优选地，边框回归的公式如下：
Figure BDA0002572606660000031
Figure BDA0002572606660000032
其中，IoU(intersection-over-union)表示交并比，GIoU(GeneralizedIntersection over Union)表示广义上的交并比，A表示为预测的建议候选框，B为正确标注的锚框，C为A和B相交的一个最小的封闭形状。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种遥感影像的目标检测方法，在获取遥感影像之后通过残差网络对遥感影像进行特征提取；并进一步对残差网络不同阶段的特征图进行融合；在融合得到的特征图的基础上，采用锚框自适应的方法得到建议候选框；对提取出来的候选框进行汇总，然后进行分类，判断每个建议候选框属于哪个类别；对每个建议候选框进行边框回归；将回归后的建议候选框进行非极大值抑制处理，去除大量的重复框，统一在原始影像上输出坐标点。与其他现有遥感影像的目标检测方法相比，本方法对不同阶段的特征图进行了更高效的融合、采取了锚框自适应的方法对目标进行检测，对目标的召回率和的准确率有了很大提升。
本方法采用锚框自适应的方法来获取建议候选框，不需要事先设置锚框的大小尺度和长宽大小，而是由数据驱动习得，能更好的在训练中学习目标的特征，并且可以在不同数据集之迁移。此外本方法还对不同阶段的特征图进行了更充分的融合，提高了小目标物体的召回率和准确率。
附图说明
图1为本发明遥感影像的目标检测方法的流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种遥感影像的目标检测方法，包括如下步骤：
S1：获取遥感影像后，通过残差网络对遥感影像进行特征提取；所述残差网络选用ResNet-50、ResNet-101或ResNeXt。
S2：对残差网络不同阶段获得的特征图进行充分特征融合，提取残差网络四个阶段的最后一层特征图，对这四个特征图重新调整为256*256的分辨率大小，然后进行融合，得到语义信息和位置信息更丰富、平衡的特征图；并且，对特征图进行融合后，进行Gaussian non-local attention(高斯非局部注意力网络)处理，起到降噪和增强特征的作用。S3：在经过融合的特征图的基础上，采用两个分支分别预测建议候选框的位置和形状，然后结合在一起得到位置稀疏而且形状可变的建议候选框。
位置预测分支的目标将该问题视为一个二分类问题，不同于RPN或者segmentation的分类，这里并不是预测每个点是前景还是背景，而是预测是不是物体的中心，目标是预测那些区域应该作为中心点来生成建议候选框；形状预测分支是将该问题视为一个回归问题，在给定的建议候选框的中心点上，预测最佳的长和宽，在这里不采用传统的均方误差来作为损失函数，而是采用GIoU作为损失函数。
S4：对在特征图上获取的建议候选框进行汇总，然后进行分类，将建议候选框输送至全连接层，判断每一个建议候选框分别属于哪个类别；
S5：采用GIoU作为损失函数，对步骤S4中得到的属于前景的建议候选框进行边框回归，从而得到目标在原始影像中的位置，实现目标检测。
边框回归的公式如下：
Figure BDA0002572606660000051
Figure BDA0002572606660000052
其中，IoU(intersection-over-union)表示交并比，GIoU(GeneralizedIntersection over Union)表示广义上的交并比，A表示为预测的建议候选框，B为正确标注的锚框，C为A和B相交的一个最小的封闭形状。
S6：对S5中所有建议候选框进行非极大值抑制处理，去除大量重复框，统一在原始影像上输出坐标点，从而得到目标在原始影像中的位置，实现目标检测。
本发明提供一种遥感影像的目标检测方法，在获取遥感影像之后通过残差网络对遥感影像进行特征提取；并进一步对残差网络不同阶段的特征图进行融合；在融合得到的特征图的基础上，采用锚框自适应的方法得到建议候选框；对提取出来的候选框进行汇总，然后进行分类，判断每个建议候选框属于哪个类别；对每个建议候选框进行边框回归；将回归后的建议候选框进行非极大值抑制处理，去除大量的重复框，统一在原始影像上输出坐标点。与其他现有遥感影像的目标检测方法相比，本方法对不同阶段的特征图进行了更高效的融合、采取了锚框自适应的方法对目标进行检测，对目标的召回率和的准确率有了很大提升。
本方法采用锚框自适应的方法来获取建议候选框，不需要事先设置锚框的大小尺度和长宽大小，而是由数据驱动习得，能更好的在训练中学习目标的特征，并且可以在不同数据集之迁移。此外本方法还对不同阶段的特征图进行了更充分的融合，提高了小目标物体的召回率和准确率。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种遥感影像的目标检测方法，其特征在于：包括如下步骤：
S1：获取遥感影像后，通过残差网络对遥感影像进行特征提取；
S2：对残差网络不同阶段获得的特征图进行特征融合，得到语义信息和位置信息更丰富、平衡的特征图；
S3：在经过融合的特征图的基础上，用锚框自适应的方法得到建议候选框；
S4：对在特征图上获取的建议候选框进行汇总，然后进行分类，判断每一个建议候选框分别属于哪个类别；
S5：对S4中属于前景类别的建议候选框进行边框回归；
S6：对S5中所有建议候选框进行非极大值抑制处理，去除重复框，统一在原始影像上输出坐标点，从而得到目标在原始影像中的位置，实现目标检测。
2.根据权利要求1所述的遥感影像的目标检测方法，其特征在于，步骤S1中，所述残差网络选用ResNet或ResNeXt。
3.根据权利要求2所述的遥感影像的目标检测方法，其特征在于，所述残差网络ResNet为ResNet-50或ResNet-101。
4.根据权利要求1所述的遥感影像的目标检测方法，其特征在于，步骤S2中，提取残差网络四个阶段的最后一层特征图，对这四个特征图重新调整为256*256的分辨率大小，然后进行融合。
5.根据权利要求4所述的遥感影像的目标检测方法，其特征在于，对特征图进行融合后，进行高斯非局部注意力网络处理，起到降噪和增强特征的作用。
6.根据权利要求1所述的遥感影像的目标检测方法，其特征在于，步骤S3中，在经过融合的特征图上采用两个分支分别预测建议候选框的位置和形状，然后结合在一起得到位置稀疏而且形状可变的建议候选框。
7.根据权利要求6所述的遥感影像的目标检测方法，其特征在于，位置预测分支的目标将该问题视为一个二分类问题，不同于RPN或者segmentation的分类，这里并不是预测每个点是前景还是背景，而是预测是不是物体的中心，目标是预测那些区域应该作为中心点来生成建议候选框；形状预测分支是将该问题视为一个回归问题，在给定的建议候选框的中心点上，预测最佳的长和宽，在这里不采用传统的均方误差来作为损失函数，而是采用GIoU作为损失函数。
8.根据权利要求1中所述的遥感影像的目标检测方法，其特征在于，步骤S4中，将建议候选框输送至全连接层，判断每个建议候选框分别属于哪一个类别。
9.根据权利要求1中所述的遥感影像的目标检测方法，其特征在于，步骤S5中，采用GIoU作为损失函数，对属于前景的建议候选框进行边框回归。
10.根据权利要求9中所述的遥感影像的目标检测方法，其特征在于，边框回归的公式如下：
Figure FDA0002572606650000021
Figure FDA0002572606650000022
其中，IoU表示交并比，GIoU表示广义上的交并比，A表示为预测的建议候选框，B为正确标注的锚框，C为A和B相交的一个最小的封闭形状。
CN202010644412.4A 2020-07-07 2020-07-07 一种遥感影像的目标检测方法 Active CN111931572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010644412.4A CN111931572B (zh) 2020-07-07 2020-07-07 一种遥感影像的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010644412.4A CN111931572B (zh) 2020-07-07 2020-07-07 一种遥感影像的目标检测方法

Publications (2)

Publication Number Publication Date
CN111931572A true CN111931572A (zh) 2020-11-13
CN111931572B CN111931572B (zh) 2024-01-09

Family

ID=73313518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010644412.4A Active CN111931572B (zh) 2020-07-07 2020-07-07 一种遥感影像的目标检测方法

Country Status (1)

Country Link
CN (1) CN111931572B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420724A (zh) * 2021-07-21 2021-09-21 中国科学院地理科学与资源研究所 一种无人机遥感入河排口识别方法及装置
CN113762248A (zh) * 2021-01-20 2021-12-07 北京京东振世信息技术有限公司 一种目标落地检测方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800755A (zh) * 2018-12-14 2019-05-24 中国科学院深圳先进技术研究院 一种基于多尺度特征的遥感影像小目标检测方法
CN109800637A (zh) * 2018-12-14 2019-05-24 中国科学院深圳先进技术研究院 一种遥感影像小目标检测方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110647802A (zh) * 2019-08-07 2020-01-03 北京建筑大学 基于深度学习的遥感影像舰船目标检测方法
CN111091105A (zh) * 2019-12-23 2020-05-01 郑州轻工业大学 基于新的边框回归损失函数的遥感图像目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN109800755A (zh) * 2018-12-14 2019-05-24 中国科学院深圳先进技术研究院 一种基于多尺度特征的遥感影像小目标检测方法
CN109800637A (zh) * 2018-12-14 2019-05-24 中国科学院深圳先进技术研究院 一种遥感影像小目标检测方法
CN110647802A (zh) * 2019-08-07 2020-01-03 北京建筑大学 基于深度学习的遥感影像舰船目标检测方法
CN111091105A (zh) * 2019-12-23 2020-05-01 郑州轻工业大学 基于新的边框回归损失函数的遥感图像目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H REZATOFIGHI EA AL.: "Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762248A (zh) * 2021-01-20 2021-12-07 北京京东振世信息技术有限公司 一种目标落地检测方法、装置、电子设备和存储介质
CN113762248B (zh) * 2021-01-20 2024-05-24 北京京东振世信息技术有限公司 一种目标落地检测方法、装置、电子设备和存储介质
CN113420724A (zh) * 2021-07-21 2021-09-21 中国科学院地理科学与资源研究所 一种无人机遥感入河排口识别方法及装置

Also Published As

Publication number Publication date
CN111931572B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Kamal et al. Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint
WO2022000426A1 (zh) 基于孪生深度神经网络的动目标分割方法及系统
US11263434B2 (en) Fast side-face interference resistant face detection method
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN107229904B (zh) 一种基于深度学习的目标检测与识别方法
CN107145889B (zh) 基于具有RoI池化的双CNN网络的目标识别方法
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN109635694B (zh) 一种行人检测方法、装置、设备及计算机可读存储介质
Liu et al. Flame detection algorithm based on a saliency detection technique and the uniform local binary pattern in the YCbCr color space
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN111027475A (zh) 一种基于视觉的实时交通信号灯识别方法
CN111914698A (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
KR20200027887A (ko) 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
Joo et al. Real‐Time Depth‐Based Hand Detection and Tracking
CN111931572A (zh) 一种遥感影像的目标检测方法
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
Sandelin Semantic and instance segmentation of room features in floor plans using Mask R-CNN
CN111368845A (zh) 基于深度学习的特征字典构建及图像分割方法
Kapoor et al. Intelligent detection using convolutional neural network (ID-CNN)
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
Huang et al. Nighttime vehicle detection based on direction attention network and bayes corner localization
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
CN114332754A (zh) 基于多度量检测器的Cascade R-CNN行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Zhuowei

Inventor after: Liu Xiaodong

Inventor before: Liu Xiaodong

Inventor before: Wang Zhuowei

CB03 Change of inventor or designer information