CN112163994A - 一种基于卷积神经网络的多尺度医学图像融合方法 - Google Patents

一种基于卷积神经网络的多尺度医学图像融合方法 Download PDF

Info

Publication number
CN112163994A
CN112163994A CN202010904222.1A CN202010904222A CN112163994A CN 112163994 A CN112163994 A CN 112163994A CN 202010904222 A CN202010904222 A CN 202010904222A CN 112163994 A CN112163994 A CN 112163994A
Authority
CN
China
Prior art keywords
image
scale
neural network
fusion
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010904222.1A
Other languages
English (en)
Other versions
CN112163994B (zh
Inventor
李伟生
黄渝萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010904222.1A priority Critical patent/CN112163994B/zh
Publication of CN112163994A publication Critical patent/CN112163994A/zh
Application granted granted Critical
Publication of CN112163994B publication Critical patent/CN112163994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种基于卷积神经网络的多尺度医学图像融合方法,包括步骤:S1将配准后的解剖行图像和功能型图像进行局部拉普拉斯滤波处理,分解为细节增强的多尺度近似图像和残差图像;S2将配准后的解剖型图像输入深度卷积神经网络中提取超分辨率解剖型图像;S3将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积,得到一个权重图,结合多尺度近似图像和残差图像融合为多尺度融合图像;S4采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。本发明有效解决了医学图像融合方法在伪彩图像和灰度图像融合时的颜色失真以及信息丢失等问题。

Description

一种基于卷积神经网络的多尺度医学图像融合方法
技术领域
本发明属于图像处理技术领域,特别涉及基于卷积神经网络的多尺度医学图像融合方法。
背景技术
医学图像融合方法属于计算机视觉领域,并在医学影像和临床诊断等方面有着广泛的应用。医学图像融合方法主要分为基于单尺度的融合方法和基于多尺度的融合方法两类。
相比于单尺度像素级医学图像融合方法,像素级多尺度医学图像融合方法在不同尺度子带图像上进行图像像素值的特征提取能有效地提高融合图像的质量。基于传统的多尺度融合方法中,基于高斯金字塔的金字塔变换在卷积和降采样操作中会丢失部分细节信息,无法捕捉到方向信息。采用小波变换和复小波变换进行融合,在分解过程中提供了方向信息。然而,基于小波变换的方法受到融合图像模糊的限制。基于平行六面体变换的轮廓波变换、非下采样剪切波、剪切变换等融合方法被提出。这些融合方法的重点是设计过滤器来提取更详细的信息。因此,这些方法需要更高的计算复杂度来优化参数,降低了它们的效率。
近年来,深度学习在医学图像融合方面取得了优异的成绩。但是仅仅依靠深度学习来进行端到端的图像融合,难以令人满意地同时保留源图像的细节信息、色彩信息和亮度信息。并且容易产生伪影,因此结合传统算法和深度学习,利用两者的优势来完成医学图像融合更能达到令人满意的融合效果,能够获取高质量的融合图像。
虽然融合方法很多,但是在实际场景下仍然存在很多挑战,例如噪声影响,待融合图像本身质量,颜色失真,图像伪影问题等。当前的基于卷积神经网络的融合方法,虽然在保留纹理和颜色信息上有很大的提高,但是由于局部拉普拉斯算法的参与,该融合方法对于实时性仍存在一定问题。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于卷积神经网络的多尺度医学图像融合方法。本发明的技术方案如下:
一种基于卷积神经网络的多尺度医学图像融合方法,其包括以下步骤;
S1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理,分解为细节增强的多尺度近似图像和残差图像;
S2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像;
S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积,得到一个权重图,结合多尺度近似图像和残差图像融合为多尺度融合图像;
S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。
进一步的,所述步骤S1的图像分解以局部拉普拉斯滤波器为工具,并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B),分别为(A1,B1)、(A2,B2)、(A3,B3),尺寸分别为:256×256、128×128、64×64。
进一步的,所述S2的超分辨率图像S直接通过叠加深度卷积神经网络VDSR提取出的特征图F和卷积过程中的残差图像R得到,计算公式为:
S=F+R。
进一步的,所述步骤S3的权重图是将配准后的超分辨率解剖型图像和源功能型图像输入到双分支卷积神经网络中得到,该权重图与源图像大小一致,其像素点在0到1之间,代表选取该点像素值的概率;所述步骤S3的多尺度融合图像是通过将分解后的多尺度图像与高斯分解后的权重图进行权重分配后得到。
进一步的,所述步骤S4采用局部拉普拉斯的逆运算,将多个尺度的融合图像还原为原尺寸的融合图像。
本发明的优点及有益效果如下:
本发明将医学图像利用深度卷积神经网络进行图像增强,并输入到双分支卷积神经网络中生成权重图,使得到的权重图具有更好的鲁棒性,更有利于像素分配,然后使用局部拉普拉斯滤波器来对图像进行多尺度的分解,分解过程中该滤波器会对图像进行增强,此举避免了图像在分解过程中丢失梯度信息和亮度,可以更好的保留源图像中的纹理和边缘信息,利用权重图和分解后的图像来进行融合再使用局部拉普拉斯逆运算进行重构,将多个尺度的子图像完整还原为原尺度,最终我们的方法可以很好的保留源图像中的细节和纹理信息以及颜色信息获得更有利于临床诊断的融合图像。
附图说明
图1是本发明提供优选实施例基于卷积神经网络的多尺度医学图像融合的流程图;
表1是与其他主流方法比较的结果。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图1所示,一种基于卷积神经网络的多尺度医学图像融合方法,其包括以下步骤:
S1、将配准后的解剖行图像和功能型图像进行局部拉普拉斯滤波处理,分解为细节增强的多尺度近似图像和残差图像;
S2、将配准后的解剖型图像输入深度卷积神经网络中提取超分辨率解剖型图像;
S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络(CNN)中进行卷积,得到一个权重图,结合多尺度近似图像和残差图像融合为多尺度融合图像;
S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。
进一步的,所述步骤S1的图像分解以局部拉普拉斯滤波器为工具,并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B),分别为(A1,B1)、(A2,B2)、(A3,B3),尺寸分别为:256×256、128×128、64×64。
进一步的,所述的一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,所述S2的超分辨率图像(S)直接通过叠加深度卷积神经网络(VDSR)提取出的特征图(F)和卷积过程中的残差图像(R)得到,计算公式为:
S=F+R
进一步的,所述S3的权重图是将配准后的超分辨率解剖型图像和源功能型图像输入到双分支卷积神经网络(CNN)中得到;所述步骤三的多尺度融合图像是通过将分解后的多尺度图像与分解后的权重图进行权重分配后得到。
进一步的,所述S4的最终融合结果是采用局部拉普拉斯的逆运算,将多个尺度的融合图像还原为原尺寸的融合图像得到。
进一步的,表1是与其他主流方法比较的结果
表1
Figure BDA0002660819590000041
Figure BDA0002660819590000051
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,包括以下步骤;
S1、将解剖型图像(MRI图像)和功能型图像(PET/SPECT图像)进行局部拉普拉斯滤波处理,分解为细节增强的多尺度近似图像和残差图像;
S2、将解剖型图像输入20层的深度卷积神经网络中提取超分辨率解剖型图像;
S3、将超分辨率解剖型图像和功能型图像输入双分支卷积神经网络中进行卷积,得到一个权重图,结合多尺度近似图像和残差图像融合为多尺度融合图像;
S4、采用局部拉普拉斯的逆运算对多尺度融合图像进行重构。
2.根据权利要求1所述的一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,所述步骤S1的图像分解以局部拉普拉斯滤波器为工具,并且仅输出三个不同尺度的解剖型图像(A)以及功能型图像(B),分别为(A1,B1)、(A2,B2)、(A3,B3),尺寸分别为:256×256、128×128、64×64。
3.根据权利要求1所述的一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,所述S2的超分辨率图像S直接通过叠加深度卷积神经网络提取出的特征图F和卷积过程中的残差图像R得到,计算公式为:
S=F+R。
4.根据权利要求1所述的一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,所述步骤S3的权重图是将配准后的超分辨率解剖型图像和源功能型图像输入到双分支卷积神经网络中得到,该权重图与源图像大小一致,其像素点在0到1之间,代表选取该点像素值的概率;所述步骤S3的多尺度融合图像是通过将分解后的多尺度图像与高斯分解后的权重图进行权重分配后得到。
5.根据权利要求1所述的一种基于卷积神经网络的多尺度医学图像融合方法,其特征在于,所述步骤S4采用局部拉普拉斯的逆运算,将多个尺度的融合图像还原为原尺寸的融合图像。
CN202010904222.1A 2020-09-01 2020-09-01 一种基于卷积神经网络的多尺度医学图像融合方法 Active CN112163994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904222.1A CN112163994B (zh) 2020-09-01 2020-09-01 一种基于卷积神经网络的多尺度医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904222.1A CN112163994B (zh) 2020-09-01 2020-09-01 一种基于卷积神经网络的多尺度医学图像融合方法

Publications (2)

Publication Number Publication Date
CN112163994A true CN112163994A (zh) 2021-01-01
CN112163994B CN112163994B (zh) 2022-07-01

Family

ID=73857371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904222.1A Active CN112163994B (zh) 2020-09-01 2020-09-01 一种基于卷积神经网络的多尺度医学图像融合方法

Country Status (1)

Country Link
CN (1) CN112163994B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN115171882A (zh) * 2022-07-07 2022-10-11 广东工业大学 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
US20090132213A1 (en) * 2007-11-16 2009-05-21 Microsoft Corporation Method for modeling data structures using local contexts
US20120219229A1 (en) * 2011-02-24 2012-08-30 Sony Corporation Image enhancement apparatus and method
CN104318525A (zh) * 2014-10-17 2015-01-28 合肥工业大学 基于空间引导滤波的图像细节增强方法
CN104517264A (zh) * 2013-09-30 2015-04-15 华为终端有限公司 图像处理方法及装置
CN106981059A (zh) * 2017-03-30 2017-07-25 中国矿业大学 结合pcnn和压缩感知的二维经验模态分解图像融合方法
CN110415198A (zh) * 2019-07-16 2019-11-05 南京信息工程大学 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132213A1 (en) * 2007-11-16 2009-05-21 Microsoft Corporation Method for modeling data structures using local contexts
CN101425137A (zh) * 2008-11-10 2009-05-06 北方工业大学 基于拉普拉斯金字塔的人脸图像融合方法
US20120219229A1 (en) * 2011-02-24 2012-08-30 Sony Corporation Image enhancement apparatus and method
CN104517264A (zh) * 2013-09-30 2015-04-15 华为终端有限公司 图像处理方法及装置
CN104318525A (zh) * 2014-10-17 2015-01-28 合肥工业大学 基于空间引导滤波的图像细节增强方法
CN106981059A (zh) * 2017-03-30 2017-07-25 中国矿业大学 结合pcnn和压缩感知的二维经验模态分解图像融合方法
CN110415198A (zh) * 2019-07-16 2019-11-05 南京信息工程大学 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIWON KIM等: "Accurate Image Super-Resolution Using Very Deep Convolutional Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SYLVAIN PARIS等: "Local Laplacian filters edge-aware image processing with a Laplacian pyramid", 《COMMUNICATION OF THE ACM》 *
YU LIU等: "A medical image fusion method based on convolutional neural networks", 《2017 20TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION (FUSION)》 *
ZHI-WEI PAN等: "Multispectral Image Super-Resolution via RGB Image Fusion and Radiometric Calibration", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
张广睿: "基于深度残差学习的图像超分辨率重建研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
梁杰: "基于正交元空间的多模态图像增强技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113128583B (zh) * 2021-04-15 2022-08-23 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN113129244B (zh) * 2021-04-16 2022-10-18 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN115171882A (zh) * 2022-07-07 2022-10-11 广东工业大学 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统
CN115810139A (zh) * 2022-12-16 2023-03-17 西北民族大学 一种spect图像的目标区域识别方法及系统
CN115810139B (zh) * 2022-12-16 2023-09-01 西北民族大学 一种spect图像的目标区域识别方法及系统

Also Published As

Publication number Publication date
CN112163994B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN112163994B (zh) 一种基于卷积神经网络的多尺度医学图像融合方法
Suryanarayana et al. Accurate magnetic resonance image super-resolution using deep networks and Gaussian filtering in the stationary wavelet domain
Song et al. Joint face hallucination and deblurring via structure generation and detail enhancement
CN106408524B (zh) 基于二维图像辅助的深度图像增强方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Pan et al. Dual convolutional neural networks for low-level vision
Yadav et al. A review on image fusion methodologies and applications
CN107146202B (zh) 基于l0正则化和模糊核后处理的图像盲去模糊的方法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
Liu et al. Sparse representation with morphologic regularizations for single image super-resolution
CN116402691A (zh) 基于图像特征快速拼接的图像超分辨率方法和系统
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Gao et al. Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization.
Wang et al. Medical image super-resolution analysis with sparse representation
Lin et al. Multimodal brain image fusion based on improved rolling guidance filter and wiener filter
Fu et al. Deep Decomposition Network for Image Processing: A Case Study for Visible and Infrared Image Fusion
Liu et al. Compressed face hallucination
CN113129244B (zh) 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
Nawaz et al. Image super resolution by sparse linear regression and iterative back projection
CN110599419A (zh) 一种防止图像边缘信息丢失的图像去噪方法
Yi et al. Attention-model guided image enhancement for robotic vision applications
CN110895790A (zh) 基于后验降质信息估计的场景图像超分辨方法
Zhang et al. Low light RAW image enhancement using paired fast Fourier convolution and transformer
Chahi et al. MFGAN: towards a generic multi-kernel filter based adversarial generator for image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant