CN113673539B - 一种基于深度学习模型的逐级交互式轮廓识别方法 - Google Patents

一种基于深度学习模型的逐级交互式轮廓识别方法 Download PDF

Info

Publication number
CN113673539B
CN113673539B CN202110953747.9A CN202110953747A CN113673539B CN 113673539 B CN113673539 B CN 113673539B CN 202110953747 A CN202110953747 A CN 202110953747A CN 113673539 B CN113673539 B CN 113673539B
Authority
CN
China
Prior art keywords
layer
convolution
result
fusion
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110953747.9A
Other languages
English (en)
Other versions
CN113673539A (zh
Inventor
林川
庞晨
谢智星
张贞光
古家虹
陈永亮
乔亚坤
吴海晨
李福章
潘勇才
韦艳霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Science and Technology
Original Assignee
Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Science and Technology filed Critical Guangxi University of Science and Technology
Priority to CN202110953747.9A priority Critical patent/CN113673539B/zh
Publication of CN113673539A publication Critical patent/CN113673539A/zh
Application granted granted Critical
Publication of CN113673539B publication Critical patent/CN113673539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明旨在提供一种基于深度学习模型的逐级交互式轮廓识别方法，包括以下步骤：A、构建深度神经网络结构，结构具体如下：编码网络、解码网络；其中，编码网络为VGG16网络，池化层为分界线分为S1、S2、S3、S4、S5五个阶段；所述的解码网络分为四级，每一级中均分别设有子解码网络M和子解码网络N；B、原始图像输入VGG16网络中，依次经五个阶段卷积处理；C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层和第二卷积层的卷积结果分别输入子解码网络M和N中，经过双解码网络解码之后，最后融合处理得到最终输出轮廓。本发明对纹理的抑制、边缘的保护产生了积极的效果。

Description

一种基于深度学习模型的逐级交互式轮廓识别方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于深度学习模型的逐级交互式轮廓识别方法。
背景技术
初期的轮廓检测模型大多基于局部像素值梯度的变化方向以确定目标边界位置，这是一种普适性方法，可以有效的检测目标/非目标的全部边界信息。后来，模拟生物视觉的数学模型开始被应用于轮廓检测任务，研究者根据生物视觉的工作机制建立模型，通过采用特定的函数来模拟细胞的功能。近几年，深度学习算法开始被应用于各类计算机视觉任务中，研究者发现卷积神经网络(Convolutional Neural Networks，CNNs)在轮廓检测任务上表现出优异的性能。CNNs模型通常分为编码和解码两个部分，编码网络采用多卷积层构建深度模型以获取图像特征，解码网络则对编码中提取的特征信息进行融合、解析来获取所需的任务对象。
发明内容
本发明旨在提供一种基于深度学习模型的逐级交互式轮廓识别方法，该方法采用双解码网络以利用编码中更多的特征信息，逐级交互式解码可以使不同网络中的信息相互交流，对纹理的抑制、边缘的保护产生了积极的效果。
本发明的技术方案如下：
所述的基于深度学习模型的逐级交互式轮廓识别方法，包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络为VGG16网络，池化层为分界线分为S1、S2、S3、S4、S5五个阶段；
所述的解码网络分为四级，每一级中均分别设有子解码网络M和子解码网络N；
第一级的子解码网络M和子解码网络中均设有4个融合模块R，第二级的子解码网络M和子解码网络中均设有3个融合模块R，第三级的子解码网络M和子解码网络中均设有2个融合模块R，第四级的子解码网络M和子解码网络中均设有1个融合模块R；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理；
C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层的卷积结果分别输入子解码网络M中，依次经过四级融合处理，获得融合结果4thI1；
VGG16网络的S1、S2、S3、S4、S5五个阶段中的第二卷积层的卷积结果分别输入子解码网络N中，依次经过四级融合处理，获得融合结果4thI2；
D、将融合结果4thI1和融合结果4thI2通过加法层融合得到最终输出轮廓。
所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。
所述的融合模块R包括1×1卷积层、上采样层、3×3卷积层、加法层；
上层的输入信息经1×1卷积层处理后，获得相应的上层卷积结果；其中1×1卷积层的通道数与上层的输入信息的通道数一致；
下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；其中3×3卷积层的通道数与上层的输入信息的通道数一致；
上层卷积结果与下层卷积结果相加融合后输出。
VGG16网络的五个阶段中的第一卷积层的卷积结果分别输入第一级的子解码网络M中；在第一级的子解码网络M中：
S1阶段的第一卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第一卷积层的卷积结果I2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stI1，输出至第二级的子解码网络M中；
S2阶段的第一卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第一卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ1，输出至第二级的子解码网络N中；
S3阶段的第一卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ1，输出至第二级的子解码网络M中；
S4阶段的第一卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第一卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果S11与下层卷积结果S21相加融合后，得到融合结果1stⅣ1，输出至第二级的子解码网络N中；
VGG16网络的五个阶段中的第二卷积层的卷积结果分别输入第一级的子解码网络N中；在第一级的子解码网络N中：
S1阶段的第二卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第二卷积层的卷积结果输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stI2，输出至第二级的子解码网络N中；
S2阶段的第二卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第二卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ2，输出至第二级的子解码网络M中；
S3阶段的第二卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ2，输出至第二级的子解码网络N中；
S4阶段的第二卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第二卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅣ2，输出至第二级的子解码网络M中。
在第二级的子解码网络M中：
融合结果1stI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2stI1，输出至第三级的子解码网络M中；
融合结果1stⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ1，输出至第二级的子解码网络N中；
融合结果1stⅢ1输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ2输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ1，输出至第二级的子解码网络M中；
在第二级的子解码网络N中：
融合结果1stI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndI2，输出至第二级的子解码网络N中；
融合结果1stⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ2，输出至第二级的子解码网络M中；
融合结果1stⅢ2输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ1输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ2，输出至第二级的子解码网络N中。
在第三级的子解码网络M中：
融合结果2ndI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI1，输出至第三级的子解码网络M中；
融合结果2ndⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ1，输出至第二级的子解码网络N中；
在第三级的子解码网络N中：
融合结果2ndI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI2，输出至第二级的子解码网络N中；
融合结果2ndⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ2，输出至第二级的子解码网络M中。
在第四级的子解码网络M中：
融合结果3rdI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3rdⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI1，输出至第三级的子解码网络M中；
在第三级的子解码网络N中：
融合结果3rdI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3rdⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI2，输出至第二级的子解码网络N中；
融合结果4thI1与融合结果4thI2通过加法层融合得到最终输出轮廓。
本发明的方法提出了一种新颖的解码方法，采用双解码网络以利用编码中更多的特征信息，逐级交互式解码可以使不同网络中的信息相互交流。
本发明通过进行大量消融实验，可以明显看出我们的发明具有以下两个优点：1、双解码网络在运算之前缩小了中卷积层的通道数，节约了计算机内存，在性能与效率之间做了权衡，以至于可以完全利用编码网络中不同卷积层的特征信息，使得“脆弱”轮廓得到更完整的保留；2、逐级交互式解码有效地进行了卷积层之间的特征信息交流，对纹理的抑制、边缘的保护产生了积极的效果。
附图说明
图1为本发明实施例1的编码网络和解码网络的结构示意图；
图2为本发明实施例1的融合模块R的结构示意图；
图3为本发明实施例1与文献1解码结构对比图；
图4为本发明实施例1方案与文献1方案的轮廓检测效果对比图。
具体实施方式
下面结合附图和实施例具体说明本发明。
实施例1
所述的基于深度学习模型的逐级交互式轮廓识别方法，包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络为VGG16网络，池化层为分界线分为S1、S2、S3、S4、S5五个阶段；所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得；
所述的解码网络分为四级，每一级中均分别设有子解码网络M和子解码网络N；
第一级的子解码网络M和子解码网络中均设有4个融合模块R，第二级的子解码网络M和子解码网络中均设有3个融合模块R，第三级的子解码网络M和子解码网络中均设有2个融合模块R，第四级的子解码网络M和子解码网络中均设有1个融合模块R；
所述的融合模块R包括1×1卷积层、上采样层、3×3卷积层、加法层；
上层的输入信息经1×1卷积层处理后，获得相应的上层卷积结果；其中1×1卷积层的通道数与上层的输入信息的通道数一致；
下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；其中3×3卷积层的通道数与上层的输入信息的通道数一致；
上层卷积结果与下层卷积结果相加融合后输出；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理；
C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层的卷积结果分别输入子解码网络M中；
VGG16网络的五个阶段中的第一卷积层的卷积结果分别输入第一级的子解码网络M中；在第一级的子解码网络M中：
S1阶段的第一卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第一卷积层的卷积结果I2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1thI1，输出至第二级的子解码网络M中；
S2阶段的第一卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第一卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ1，输出至第二级的子解码网络N中；
S3阶段的第一卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ1，输出至第二级的子解码网络M中；
S4阶段的第一卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第一卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果S11与下层卷积结果S21相加融合后，得到融合结果1stⅣ1，输出至第二级的子解码网络N中；
VGG16网络的五个阶段中的第二卷积层的卷积结果分别输入第一级的子解码网络N中；在第一级的子解码网络N中：
S1阶段的第二卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第二卷积层的卷积结果输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stI2，输出至第二级的子解码网络N中；
S2阶段的第二卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第二卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ2，输出至第二级的子解码网络M中；
S3阶段的第二卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ2，输出至第二级的子解码网络N中；
S4阶段的第二卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第二卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅣ2，输出至第二级的子解码网络M中。
在第二级的子解码网络M中：
融合结果1stI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndI1，输出至第三级的子解码网络M中；
融合结果1stⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ1，输出至第二级的子解码网络N中；
融合结果1stⅢ1输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ2输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ1，输出至第二级的子解码网络M中；
在第二级的子解码网络N中：
融合结果1stI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndI2，输出至第二级的子解码网络N中；
融合结果1stⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ2，输出至第二级的子解码网络M中；
融合结果1stⅢ2输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ1输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ2，输出至第二级的子解码网络N中。
在第三级的子解码网络M中：
融合结果2ndI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI1，输出至第三级的子解码网络M中；
融合结果2ndⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ1，输出至第二级的子解码网络N中；
在第三级的子解码网络N中：
融合结果2ndI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI2，输出至第二级的子解码网络N中；
融合结果2ndⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ2，输出至第二级的子解码网络M中。
在第四级的子解码网络M中：
融合结果3rdI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3rdⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI1，输出至第三级的子解码网络M中；
在第三级的子解码网络N中：
融合结果3thI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3thⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI2，输出至第二级的子解码网络N中；
D、融合结果4thI1与融合结果4thI2通过加法层融合得到最终输出轮廓。
实施例2
对于最终的轮廓图进行定量的性能评估，我们采用和文献1中一样的性能测量标准，具体评价如公式(1)所示。
Figure BDA0003219490500000101
其中，P表示精确率，R表示召回率。F的值越大，表明性能越好。
文献1：Lin C,Cui L,Li F,et al.Lateral refinement network for contourdetection[J].Neurocomputing,2020,409:361-371。
文献1所用到的参数和其原文一样，都是已经保证是该模型的最优参数。
8.1消融实验
本文设计的对比实验模型结构如图3所示，并在BSDS500数据集中进行了消融研究。首先，在图(a)所示的解码结构中放弃逐级解码方式，仅使用第一级信息进行解码，不同的是在图(a)中并没有利用编码网络中的每一级信息，而是采用每一个阶段的最后一级的卷积层信息进行解码。此外，采用cat()函数将第一级解码之后得到的4组特征信息进行拼接以获取最终的轮廓特征，将该解码网络称为无逐级连接的单解码网络(以ours-n/s代替)。其次，在图(b)所示解码结构中利用了编码网络大部分卷积层组成双解码网络，同图(a)类似，仅使用一级解码，之后将双解码网络的输出传入加法层得到最终的轮廓，该解码网络可以称之为无逐级连接的双解码网络(以ours-n/d代替)。最后，在图(c)所示的解码结构中使用单个解码网络逐级解码(以ours-y/s代替)的方式得到最终的轮廓结果。
表1针对解码网络构造的消融研究
Figure BDA0003219490500000111
此外，如图1中的解码部分，子网络从第2级至第4级均交换部分信息。针对交互式解码，同样进行消融对比，即子网络每一级均使用自身的特征信息而不进行交互。结果如表2中所示，可以看出交互式解码方法使网络的性能指标ODS由0.817提升至0.819。
表2针对交互式方法的消融研究
Figure BDA0003219490500000112
8.2BSDS500数据集实验结果
图4所示为从上到下依次为伯克利分割数据集(BSDS500)随机选取的5幅自然图像、对应的真实轮廓图、文献1方法检测的最优轮廓图、本文方法检测的最优轮廓；具体性能对比数据件下表3。
表3实施例提供的轮廓检测方法与文献1轮廓检测方法性能对比
Figure BDA0003219490500000113

Claims (2)

1.一种基于深度学习模型的逐级交互式轮廓识别方法，其特征在于包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络为VGG16网络，池化层为分界线分为S1、S2、S3、S4、S5五个阶段；
所述的解码网络分为四级，每一级中均分别设有子解码网络M和子解码网络N；
第一级的子解码网络M和子解码网络N中均设有4个融合模块R，第二级的子解码网络M和子解码网络N中均设有3个融合模块R，第三级的子解码网络M和子解码网络N中均设有2个融合模块R，第四级的子解码网络M和子解码网络N中均设有1个融合模块R；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理；
C、VGG16网络的S1、S2、S3、S4、S5五个阶段中的第一卷积层的卷积结果分别输入子解码网络M中，依次经过四级融合处理，获得融合结果4thI1；
VGG16网络的S1、S2、S3、S4、S5五个阶段中的第二卷积层的卷积结果分别输入子解码网络N中，依次经过四级融合处理，获得融合结果4thI2；
D、将融合结果4thI1和融合结果4thI2通过加法层融合得到最终输出轮廓；
所述的融合模块R包括1×1卷积层、上采样层、3×3卷积层、加法层；
上层的输入信息经1×1卷积层处理后，获得相应的上层卷积结果；其中1×1卷积层的通道数与上层的输入信息的通道数一致；
下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；其中3×3卷积层的通道数与上层的输入信息的通道数一致；
上层卷积结果与下层卷积结果相加融合后输出；
VGG16网络的五个阶段中的第一卷积层的卷积结果分别输入第一级的子解码网络M中；在第一级的子解码网络M中：
S1阶段的第一卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第一卷积层的卷积结果I2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stI1，输出至第二级的子解码网络M中；
S2阶段的第一卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第一卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ1，输出至第二级的子解码网络N中；
S3阶段的第一卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ1，输出至第二级的子解码网络M中；
S4阶段的第一卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第一卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果S11与下层卷积结果S21相加融合后，得到融合结果1stⅣ1，输出至第二级的子解码网络N中；
VGG16网络的五个阶段中的第二卷积层的卷积结果分别输入第一级的子解码网络N中；在第一级的子解码网络N中：
S1阶段的第二卷积层的卷积结果输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S2阶段的第二卷积层的卷积结果输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stI2，输出至第二级的子解码网络N中；
S2阶段的第二卷积层的卷积结果输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S3阶段的第二卷积层的卷积结果输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅡ2，输出至第二级的子解码网络M中；
S3阶段的第二卷积层的卷积结果输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S4阶段的第一卷积层的卷积结果输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅢ2，输出至第二级的子解码网络N中；
S4阶段的第二卷积层的卷积结果输入第四个融合模块R中的1×1卷积层处理后，获得上层卷积结果；S5阶段的第二卷积层的卷积结果输入第四个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果1stⅣ2，输出至第二级的子解码网络M中；
在第二级的子解码网络M中：
融合结果1stI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndI1，输出至第三级的子解码网络M中；
融合结果1stⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ1，输出至第二级的子解码网络N中；
融合结果1stⅢ1输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ2输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ1，输出至第二级的子解码网络M中；
在第二级的子解码网络N中：
融合结果1stI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndI2，输出至第二级的子解码网络N中；
融合结果1stⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅡ2，输出至第二级的子解码网络M中；
融合结果1stⅢ2输入第三个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果1stⅣ1输入第三个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果2ndⅢ2，输出至第二级的子解码网络N中；
在第三级的子解码网络M中：
融合结果2ndI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI1，输出至第三级的子解码网络M中；
融合结果2ndⅡ2输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ1输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ1，输出至第二级的子解码网络N中；
在第三级的子解码网络N中：
融合结果2ndI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdI2，输出至第二级的子解码网络N中；
融合结果2ndⅡ1输入第二个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果2ndⅢ2输入第二个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果3rdⅡ2，输出至第二级的子解码网络M中；
在第四级的子解码网络M中：
融合结果3rdI1输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3rdⅡ2输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI1，输出至第三级的子解码网络M中；
在第三级的子解码网络N中：
融合结果3rdI2输入第一个融合模块R中的1×1卷积层处理后，获得上层卷积结果；融合结果3rdⅡ1输入第一个融合模块R中的上采样层，在上采样层中经双线性邻近插值法处理与上层的输入信息尺寸一致后，经3×3卷积层处理，获得相应的下层卷积结果；该上层卷积结果与下层卷积结果相加融合后，得到融合结果4thI2，输出至第二级的子解码网络N中；
融合结果4thI1与融合结果4thI2通过加法层融合得到最终输出轮廓。
2.如权利要求1所述的基于深度学习模型的逐级交互式轮廓识别方法，其特征在于：
所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。
CN202110953747.9A 2021-08-19 2021-08-19 一种基于深度学习模型的逐级交互式轮廓识别方法 Active CN113673539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110953747.9A CN113673539B (zh) 2021-08-19 2021-08-19 一种基于深度学习模型的逐级交互式轮廓识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110953747.9A CN113673539B (zh) 2021-08-19 2021-08-19 一种基于深度学习模型的逐级交互式轮廓识别方法

Publications (2)

Publication Number Publication Date
CN113673539A CN113673539A (zh) 2021-11-19
CN113673539B true CN113673539B (zh) 2023-06-20

Family

ID=78543913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110953747.9A Active CN113673539B (zh) 2021-08-19 2021-08-19 一种基于深度学习模型的逐级交互式轮廓识别方法

Country Status (1)

Country Link
CN (1) CN113673539B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018217828A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for discriminative semantic transfer and physics-inspired optimization of features in deep learning
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN109446970B (zh) * 2018-10-24 2021-04-27 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN109903301B (zh) * 2019-01-28 2021-04-13 杭州电子科技大学 一种基于多级特征信道优化编码的图像轮廓检测方法
CN111127472B (zh) * 2019-10-30 2021-09-14 武汉大学 一种基于权重学习的多尺度图像分割方法
CN111325762B (zh) * 2020-01-21 2021-01-22 广西科技大学 基于密集连接解码网络的轮廓检测方法
CN111680706B (zh) * 2020-06-17 2023-06-23 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112184655A (zh) * 2020-09-24 2021-01-05 东北大学 一种基于卷积神经网络的宽厚板轮廓检测方法
CN112365501B (zh) * 2021-01-13 2021-05-28 南京理工大学 一种基于卷积神经网络的焊件轮廓检测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018217828A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for discriminative semantic transfer and physics-inspired optimization of features in deep learning
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Also Published As

Publication number Publication date
CN113673539A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN110298361B (zh) 一种rgb-d图像的语义分割方法和系统
CN111325751B (zh) 基于注意力卷积神经网络的ct图像分割系统
CN110188768B (zh) 实时图像语义分割方法及系统
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN108154194B (zh) 一种用基于张量的卷积网络提取高维特征的方法
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN111091130A (zh) 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN112329658A (zh) 一种对于yolov3网络的检测算法改进方法
CN111476249A (zh) 多尺度大感受野卷积神经网络的构建方法
CN111898439A (zh) 基于深度学习的交通场景联合目标检测和语义分割方法
CN112085741B (zh) 一种基于深度学习的胃癌病理切片分割算法
CN116129289A (zh) 一种注意力边缘交互的光学遥感图像显著性目标检测方法
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN111627055A (zh) 一种联合语义分割的场景深度补全方法
CN113673539B (zh) 一种基于深度学习模型的逐级交互式轮廓识别方法
CN111914853B (zh) 一种用于立体匹配的特征提取方法
CN109670506A (zh) 基于克罗内克卷积的场景分割方法和系统
CN111612046A (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
CN112529064B (zh) 一种高效的实时语义分割方法
CN113743497A (zh) 基于注意力机制与多尺度特征的细粒度识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant