CN115222600A - 对比学习的多光谱遥感图像超分辨重建方法 - Google Patents

对比学习的多光谱遥感图像超分辨重建方法 Download PDF

Info

Publication number
CN115222600A
CN115222600A CN202210904585.4A CN202210904585A CN115222600A CN 115222600 A CN115222600 A CN 115222600A CN 202210904585 A CN202210904585 A CN 202210904585A CN 115222600 A CN115222600 A CN 115222600A
Authority
CN
China
Prior art keywords
resolution
image
model
branch
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210904585.4A
Other languages
English (en)
Other versions
CN115222600B (zh
Inventor
赵文达
吕香竹
赵凡
王海鹏
刘兴惠
黄友澎
马晓瑞
孔雨秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Vhengdata Technology Co ltd
Dalian University of Technology
Liaoning Normal University
709th Research Institute of CSSC
Original Assignee
Shandong Vhengdata Technology Co ltd
Dalian University of Technology
Liaoning Normal University
709th Research Institute of CSSC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Vhengdata Technology Co ltd, Dalian University of Technology, Liaoning Normal University, 709th Research Institute of CSSC filed Critical Shandong Vhengdata Technology Co ltd
Priority to CN202210904585.4A priority Critical patent/CN115222600B/zh
Publication of CN115222600A publication Critical patent/CN115222600A/zh
Application granted granted Critical
Publication of CN115222600B publication Critical patent/CN115222600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉的图像处理领域,公开了一种本发明的对比学习多光谱图像超分辨重建方法。该方法的模型分为两个部分:教师模型部分和学生模型部分。教师模型用于输出遥感图像的细节特征,以便给学生模型作为监督,使学生模型能够得到图像的细节信息,从而增加图像的分辨率。此外,在学生模型中增加对比学习模块,将最终输出与真值高分辨图像作为正样本对,将输出与原始输入作为负样本对,使输出更接近高分辨率图像。本发明利用对比学习以及超分辨重建的方法,实现了低分辨率遥感图像转化为高分辨率的清晰遥感图像。同时本方法对于其他图像质量提升有关的视觉任务都具有良好的泛化性,可以作为图像质量提升问题的一种有效的解决方案。

Description

对比学习的多光谱遥感图像超分辨重建方法
技术领域
本发明属于计算机视觉的图像处理领域,特别是涉及对比学习的多光谱遥感图像超分辨重建方法。
背景技术
本发明运用了两种相关方法:一是基于特征表示的对比学习算法,二是图像超分辨重建。
基于特征表示的对比学习是一种自监督学习方法,它旨在学习一个有鉴别力的特征嵌入空间以及好的距离函数来测量图像之间的相似性。它通过对比正对和负对,增强了在不同增强条件下的图像表示的一致性,其共同目标是通过损失函数最小化类内的正样本对距离,最大化类间的负样本对距离。早在2006年,Hadsell等人的《Dimensionalityreduction by learning an invariant mapping》通过对比正样本对和负样本对来学习特征表示;沿着这种思路,Dosovitskiy等人在2014年发表的《Discriminative unsupervisedfeature learning with convolutional neural networks》提出将每个实例视为一个由特征向量表示的类;Wu等人在2018年的《Unsupervised feature learning via non-parametric instance discrimination》中提出使用存储库来存储实例类表示向量,并在最近的几篇论文中采用并进行了扩展。
图像超分辨重建指的是通过模糊的低分辨率图像来预测更加清晰的高分辨率图像的过程,是提高图像质量的有效方法。目前超分辨主要分为三种算法:基于插值、基于重建和基于学习。本发明用的是基于深度学习的超分辨重建算法。2015年,Dong等人在论文《Image super-resolution using deep convolutional networks》中提出了第一个基于深度学习超分辨网络,它将单一图像超分辨任务定义为图像到图像的翻译问题。近来,Liu等人在《Non-local neural networks》中将non-local引入超分辨网络中,旨在获得图像中的大范围信息。为了提高感知质量,wang等人的《Esrgan:Enhanced super-resolutiongenerative adversarial networks》在SR网络中引入感知损失、生成损失和对抗性损失。
现实生活中存在着遥感图像分辨率低导致遥感图像模糊的状况。超分辨技术在提高遥感图像分辨率、增强遥感图像质量上发挥着至关重要的作用。尽管现有超分辨方法在一般场景图像超分辨上取得了良好的性能,但是由于遥感图像与一般场景图像有着较大的区别,这些模型在处理大规模遥感图像超分辨时表现出的能力有限。因此,我们提出了适用于遥感图像领域的超分辨重建方法。该方法的模型分为两个部分:教师模型部分和学生模型部分。教师模型用于输出遥感图像的细节特征,以便给学生模型作为监督,使学生模型能够得到图像的细节信息,从而增加图像的分辨率。此外,在学生模型中增加对比学习模块,将最终输出与真值高分辨图像作为正样本对,将输出与原始输入作为负样本对,使输出更接近高分辨率图像。
发明内容
针对低分辨率遥感图像,提出了一种基于对比学习的超分辨重建方法,并结合师生蒸馏模型完成超分辨重建。此外,通过对比学习使超分辨效果更好。
本发明的技术方案:
一种对比学习的多光谱遥感图像超分辨重建方法,步骤如下:
多光谱遥感图像超分辨重建方法中的训练分为两步,第一步是教师模型的训练,第二步是学生模型的训练;
(1)教师模型的训练阶段
教师模型的网络分为两个分支,第一个分支是细节层分支,用于输出高分辨率遥感图像的细节,以便给学生模型的细节层分支做蒸馏,使学生模型的细节层分支得到高分辨率遥感图像的细节,从而生成高分辨率图像;第二个分支是基础层分支,其通过下采样再上采样的操作使输入的清晰图像变模糊,用于模拟学生模型的输入图像;两个分支的网络结构均用VGG的前三个模块,作为教师模型的网络;
首先,将高分辨全色图像pan输入到教师模型的基础层分支中,使其输出低分辨多光谱图像,作为教师模型的细节层分支的互补,以使细节层分支产生能提高分辨率的图像细节;用低分辨多光谱图像lr_u作为基础层分支的真值,其MAE损失如下:
Figure BDA0003771891570000031
其中,n是batch size数,fbase是教师模型的基础层分支,pani是第i个输入的高分辨全色图像,lr_ui是基础层分支输出的真值低分辨多光谱图像;
接下来,将高分辨全色图像pan输入到教师模型的细节层分支中,得到高分辨全色图像的细节,再将输出的高分辨全色图像的细节与基础层分支输出的低分辨多光谱图像加和得到最终输出;最终输出的真值是输入的高分辨全色图像,其MAE损失如下:
Figure BDA0003771891570000032
其中,fdetail是教师模型的细节层分支;
两个损失之和构成教师模型的总损失:
Lteacher=L1+αL2(3)
其中,α是权衡损失的超参数;
(2)学生模型的训练阶段:
学生模型的训练分为两个分支,第一个是细节层分支,用教师模型的细节层分支对其进行蒸馏,使学生模型的细节层分支输出高分辨遥感图像的细节,得到高分辨遥感图像;学生模型的细节层分支将VGG网络的前三个模块作为网络结构;第二个分支是对比学习分支,对比学习分支作为正则项,通过对比学习的方式进一步优化输出的高分辨遥感图像;学生模型的对比学习分支使用VGG16网络前三个模块作为网络结构;
首先,将低分辨多光谱图像lr_u输入到学生模型的细节层分支中,通过教师模型的细节层分支输出作为监督得到高分辨细节输出,再与原图叠加,得到高分辨率图像;
该过程的损失有两个,第一个损失是教师模型对学生模型细节层分支的蒸馏:
Figure BDA0003771891570000041
其中,
Figure BDA0003771891570000042
是学生模型的细节层分支;
第二个损失是学生模型的高分辨率图像输出
Figure BDA0003771891570000043
与对应的真值高分辨率图像muli的损失:
Figure BDA0003771891570000044
其中,muli是高分辨高光谱图像,是lr_ui的真值;
接下来是对比学习分支,对比学习分支的输入为低分辨多光谱图像lr_u、学生模型最终输出l_output、高分辨高光谱图像mul作为输入,将高分辨高光谱图像特征与学生模型最终输出的特征作为正样本对,低分辨多光谱图像特征与学生模型最终输出的特征作为负样本对,通过减小正样本对距离,增大负样本对距离来实现输出更接近真值;损失如下:
Figure BDA0003771891570000051
其中,D()是MAE损失,G()是VGG网络;
三个损失之和作为学生模型的总损失:
Lstudent=L4+βL3+λL5 (7)
其中,β、λ是损失权重超参数。
本发明的有益效果:本发明的对比学习多光谱图像超分辨重建方法利用对比学习以及超分辨重建的方法,实现了低分辨率遥感图像转化为高分辨率的清晰遥感图像。同时本方法对于其他图像质量提升有关的视觉任务都具有良好的泛化性,可以作为图像质量提升问题的一种有效的解决方案。
附图说明
图1为网络整体训练流程图。
图2为网络整体结构图。
图3为实施案例训练结果图,(a)是输入到教师模型的高分辨率全色遥感图像xpan,(b)xpan经过教师模型细节层输出的高分辨率细节xdetai_ltea,(c)是输入到学生模型的低分辨率多光谱遥感图像xlr_u,(d)是高分辨率细节图像xdetail_stu,(e)最终输出的高分辨率图像xoutput,(f)低分辨率图像xlr_u对应的高分辨率真值图像xmul
图4为实施案例测试结果图,(a)是输入的低分辨率多光谱遥感图像xlr_u,(b)高分辨细节图像xdetail,(c)最终的高分辨率图像xoutput,(d)对应的高分辨率真值图像xmul
具体实施方式
结合附图和技术方案,进一步说明本发明的具体实施方式。
要准备的数据有:用于输入到教师模型的高分辨率图像xpan,用于输入到学生模型的低分辨率图像xlr_u,低分辨率图像对应的高分辨率真值图像xmul
本发明要达到的目标:训练遥感图像超分辨模型,输入低分辨率遥感图像,能够得到清晰的高分辨率遥感图像。
网络整体训练流程图如图1所示,网络整体结构图如图2所示。训练过程分为两步。第一步训练教师模型,将高分辨率全色图像xpan分别输入到基础层和细节层中,从细节层输出的细节图像xdetail_tea中得到高分辨率细节信息。第二步训练学生模型,输入为低分辨率多光谱图像xlr_u,输入到学生模型的细节层中,用教师模型细节层输出作为学生模型细节层的蒸馏,使学生模型细节层输出高分辨率图像细节xdetail_stu,再与原低分辨率图像叠加,得到高分辨率图像xoutput。此外,用对比学习作为正则项,使输出的高分辨率图像更加清晰。
实验训练结果如图3所示,图3(a)是输入到教师模型的高分辨率全色遥感图像xpan,图3(b)是xpan经过教师模型细节层输出的高分辨率细节xdetail_tea可以看见,xdetail_stu清晰地包含了图像的高分辨细节,以便对学生模型的细节层进行蒸馏。图3(c)是输入到学生模型的低分辨率多光谱遥感图像xlr_u,经过学生模型细节层后输出图3(d)的高分辨率细节图像xdetail_stu,可见经过教师模型蒸馏后,学生模型输出了清晰的高分辨率细节图像。细节图与原始低分辨率图像叠加后得到最终输出的高分辨率图像xoutput如图3(e)所示。图3(f)是低分辨率图像xlr_u对应的高分辨率真值图像xmul
网络的测试过程将教师模型移除,教师模型仅用于训练学生模型,对学生模型的细节层进行蒸馏,测试时仅将低分辨率图像输入到学生模型细节层中,输出细节图像xdetail,再与原低分辨率图像叠加,得到高分辨率图像xoutput
实验测试结果如图4所示,图4(a)是输入的低分辨率多光谱遥感图像xlr_u,输入到模型中得到高分辨细节图像xdetail如图4(b)。xdetail与原始低分辨率图像叠加得到最终的高分辨率图像xoutput如图4(c)。图4(d)是对应的高分辨率真值图像xmul。可以看到,xoutput比原来的低分辨率图像清晰了很多。

Claims (1)

1.一种对比学习的多光谱遥感图像超分辨重建方法,其特征在于,步骤如下:
多光谱遥感图像超分辨重建方法中的训练分为两步,第一步是教师模型的训练,第二步是学生模型的训练;
(1)教师模型的训练阶段
教师模型的网络分为两个分支,第一个分支是细节层分支,用于输出高分辨率遥感图像的细节,以便给学生模型的细节层分支做蒸馏,使学生模型的细节层分支得到高分辨率遥感图像的细节,从而生成高分辨率图像;第二个分支是基础层分支,其通过下采样再上采样的操作使输入的清晰图像变模糊,用于模拟学生模型的输入图像;两个分支的网络结构均用VGG的前三个模块,作为教师模型的网络;
首先,将高分辨全色图像pan输入到教师模型的基础层分支中,使其输出低分辨多光谱图像,作为教师模型的细节层分支的互补,以使细节层分支产生能提高分辨率的图像细节;用低分辨多光谱图像lr_u作为基础层分支的真值,其MAE损失如下:
Figure FDA0003771891560000011
其中,n是batch size数,fbase是教师模型的基础层分支,pani是第i个输入的高分辨全色图像,lr_ui是基础层分支输出的真值低分辨多光谱图像;
接下来,将高分辨全色图像pan输入到教师模型的细节层分支中,得到高分辨全色图像的细节,再将输出的高分辨全色图像的细节与基础层分支输出的低分辨多光谱图像加和得到最终输出;最终输出的真值是输入的高分辨全色图像,其MAE损失如下:
Figure FDA0003771891560000012
其中,fdetail是教师模型的细节层分支;
两个损失之和构成教师模型的总损失:
Lteacher=L1+αL2 (3)
其中,α是权衡损失的超参数;
(2)学生模型的训练阶段:
学生模型的训练分为两个分支,第一个是细节层分支,用教师模型的细节层分支对其进行蒸馏,使学生模型的细节层分支输出高分辨遥感图像的细节,得到高分辨遥感图像;学生模型的细节层分支将VGG网络的前三个模块作为网络结构;第二个分支是对比学习分支,对比学习分支作为正则项,通过对比学习的方式进一步优化输出的高分辨遥感图像;学生模型的对比学习分支使用VGG16网络前三个模块作为网络结构;
首先,将低分辨多光谱图像lr_u输入到学生模型的细节层分支中,通过教师模型的细节层分支输出作为监督得到高分辨细节输出,再与原图叠加,得到高分辨率图像;
该过程的损失有两个,第一个损失是教师模型对学生模型细节层分支的蒸馏:
Figure FDA0003771891560000021
其中,
Figure FDA0003771891560000022
是学生模型的细节层分支;
第二个损失是学生模型的高分辨率图像输出
Figure FDA0003771891560000023
与对应的真值高分辨率图像muli的损失:
Figure FDA0003771891560000024
其中,muli是高分辨高光谱图像,是lr_ui的真值;
接下来是对比学习分支,对比学习分支的输入为低分辨多光谱图像lr_u、学生模型最终输出l_output、高分辨高光谱图像mul作为输入,将高分辨高光谱图像特征与学生模型最终输出的特征作为正样本对,低分辨多光谱图像特征与学生模型最终输出的特征作为负样本对,通过减小正样本对距离,增大负样本对距离来实现输出更接近真值;损失如下:
Figure FDA0003771891560000031
其中,D()是MAE损失,G()是VGG网络;
三个损失之和作为学生模型的总损失:
Lstudent=L4+βL3+λL5 (7)
其中,β、λ是损失权重超参数。
CN202210904585.4A 2022-07-29 2022-07-29 对比学习的多光谱遥感图像超分辨重建方法 Active CN115222600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210904585.4A CN115222600B (zh) 2022-07-29 2022-07-29 对比学习的多光谱遥感图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210904585.4A CN115222600B (zh) 2022-07-29 2022-07-29 对比学习的多光谱遥感图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN115222600A true CN115222600A (zh) 2022-10-21
CN115222600B CN115222600B (zh) 2023-04-07

Family

ID=83614322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210904585.4A Active CN115222600B (zh) 2022-07-29 2022-07-29 对比学习的多光谱遥感图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN115222600B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190215549A1 (en) * 2018-01-10 2019-07-11 Korea Advanced Institute Of Science And Technology Server apparatus and method for content delivery based on content-aware neural network
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法
CN113744136A (zh) * 2021-09-30 2021-12-03 华中科技大学 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN113850362A (zh) * 2021-08-20 2021-12-28 华为技术有限公司 一种模型蒸馏方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190215549A1 (en) * 2018-01-10 2019-07-11 Korea Advanced Institute Of Science And Technology Server apparatus and method for content delivery based on content-aware neural network
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN113240580A (zh) * 2021-04-09 2021-08-10 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法
CN113850362A (zh) * 2021-08-20 2021-12-28 华为技术有限公司 一种模型蒸馏方法及相关设备
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及系统
CN113744136A (zh) * 2021-09-30 2021-12-03 华中科技大学 基于通道约束多特征融合的图像超分辨率重建方法和系统

Also Published As

Publication number Publication date
CN115222600B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
Zeng et al. Single image super-resolution using a polymorphic parallel CNN
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
Li et al. Hst: Hierarchical swin transformer for compressed image super-resolution
Luo et al. Lattice network for lightweight image restoration
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Gendy et al. Lightweight image super-resolution based on deep learning: State-of-the-art and future directions
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
Xu et al. AutoSegNet: An automated neural network for image segmentation
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN116797461A (zh) 基于多级强化注意力机制的双目图像超分辨率重建方法
Yang et al. An image super-resolution network based on multi-scale convolution fusion
CN107424119A (zh) 一种单图像的超分辨率方法
Liu et al. LANet: Stereo matching network based on linear-attention mechanism for depth estimation optimization in 3D reconstruction of inter-forest scene
CN115222600B (zh) 对比学习的多光谱遥感图像超分辨重建方法
Liu et al. HEI-Human: a hybrid explicit and implicit method for single-view 3D clothed human reconstruction
CN116597203A (zh) 一种基于知识蒸馏的非对称自编码器的异常检测方法
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法
CN116451179A (zh) 一种基于投影重构的领域适应字典对学习方法
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN115661612A (zh) 一种基于元迁移学习的通用气候数据降尺度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Wenda

Inventor after: Lv Xiangzhu

Inventor after: Zhao Fan

Inventor after: Liu Xinghui

Inventor after: Huang Youpeng

Inventor after: Ma Xiaorui

Inventor after: Kong Yuqiu

Inventor before: Zhao Wenda

Inventor before: Lv Xiangzhu

Inventor before: Zhao Fan

Inventor before: Wang Haipeng

Inventor before: Liu Xinghui

Inventor before: Huang Youpeng

Inventor before: Ma Xiaorui

Inventor before: Kong Yuqiu

GR01 Patent grant
GR01 Patent grant