CN108416802A - 一种基于深度学习的多模医学图像非刚性配准方法及系统 - Google Patents

一种基于深度学习的多模医学图像非刚性配准方法及系统 Download PDF

Info

Publication number
CN108416802A
CN108416802A CN201810177419.2A CN201810177419A CN108416802A CN 108416802 A CN108416802 A CN 108416802A CN 201810177419 A CN201810177419 A CN 201810177419A CN 108416802 A CN108416802 A CN 108416802A
Authority
CN
China
Prior art keywords
image
pcanet
reference picture
floating
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810177419.2A
Other languages
English (en)
Other versions
CN108416802B (zh
Inventor
张旭明
朱星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810177419.2A priority Critical patent/CN108416802B/zh
Publication of CN108416802A publication Critical patent/CN108416802A/zh
Application granted granted Critical
Publication of CN108416802B publication Critical patent/CN108416802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的多模医学图像非刚性配准方法及系统，该配准方法包括：通过大量的医学数据，训练PCANet；将浮动图像和参考图像输入训练好的PCANet中，获得浮动图像和参考图像的结构表征图；最后根据所述参考图像以及浮动图像的结构表征图，获得配准图像。本发明利用PCANet深度学习网络，构建图像的结构表征图，将非刚性多模医学图像的配准问题转化为单模医学图像配准问题，大大提高了非刚性多模医学图像配准的精度与鲁棒性。

Description

一种基于深度学习的多模医学图像非刚性配准方法及系统
技术领域
本发明属于图像处理与分析中的图像配准领域，更具体地，涉及一种非刚性多模医学图像的配准方法及系统。
背景技术
非刚性多模医学图像配准对于医学图像分析和临床研究非常重要。由于各种成像技术的原理不同，在反映人体的信息方面各有其优势。计算机断层扫描(CT)，磁共振成像(MRI)和超声成像可以显示器官的解剖信息。正电子发射断层扫描(positron emissiontomography，PET)作为一种功能成像方式，可以显示代谢信息，但不能清楚地提供器官的解剖信息。多模态图像融合技术可以结合不同模态图像的信息，从而得到更加精准的诊断和更好治疗。
图像配准的目的是为了寻找图像中相应结构之间的正确的空间对应关系，是有效图像融合的前提。目前已经得到广泛的研究。例如，将经直肠超声图像与术前MR图像进行配准，用于引导前列腺穿刺活检手术的进行。在癫痫治疗中，MRI和PET图像配准，以帮助识别脑组织的功能性区域，并指导电极的放置。
传统的解决非刚性多模图像配准问题的方法大体上被分为两类：第一类是基于互信息测度的配准方法，然而这类方法通常都没有考虑图像的局部特征结构，计算耗时，而且容易陷入局部极值导致配准结果不准确。第二类方法通过图像结构表征方法将多模图像配准简化为单模图像配准，如通过熵图、韦伯局部特征描述子(Weber Local Descriptor，WLD)及基于模态独立邻域描述子(Modality Independent Neighborhood Descriptor，MIND)等特征对图像结构进行表征，然后利用表征结果的差值平方和(Sum of SquaredDifference，SSD)作为配准测度来实现图像配准。其中，基于熵图的方法是通过估计图像块的灰度概率密度函数计算得到每个图像块的熵值，由此获得整幅图像的熵图，而基于WLD的方法则是利用图像的拉普拉斯运算来描述其局部结构特征。这两种方法能有效克服多模图像间灰度差异的不利影响，但是基于熵图和WLD的特征都对图像中的噪声敏感，因而在图像中存在噪声的情况下，难以产生精确的配准结果。基于MIND的配准方法通过图像块间的欧式距离来评价图像自相似性，利用不同图像块间的相似性之和来刻画图像局部结构特征，但该方法在评价图像自相似性时仅考虑了图像块之间的平移不变性，忽略了图像块间可能存在的旋转特性，因此在图像块间存在旋转的情况下，该方法难以提供精确的配准结果。
最近，深度学习被用来实现两种模态的图像配准。第一种方法是使用深度学习来提取图像特征，并将特征用传统的配准方法来得到配准图像。这些方法主要是基于CNN和SAE等复杂的网络结构，这些方法的学习速度很慢，并且CNN和SAE中的参数选择不当可能会导致局部最优。第二种方法是利用深度学习，通过直接从输入图像中学习变形场来实现端对端的图像配准。例如，利用标签驱动的弱监督学习来实现多模非刚性图像配准。但是，医学图像中的金标准数据是稀缺的。Hessam等人提出的基于CNN的配准网络(RegNet)可以直接从一对输入图像中估计位移矢量，这些方法多采用有监督的学习方法，但是由于使用传统的配准方法获得的形变场不精确，使用这些形变场进行学习本身就有一定的误差，其结果比传统的B样条配准方法差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的多模医学图像非刚性配准方法及系统，由此解决现有非刚性多模医学图像的配准精确性较低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的多模医学图像非刚性配准方法，包括：
(1)将参考图像输入到已训练的两层PCANet网络中，获得所述参考图像各级的图像特征，并将所述参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到所述已训练的两层PCANet网络中，获得所述浮动图像各级的图像特征，并将所述浮动图像各级的图像特征进行合成得到所述浮动图像的结构表征图；
(2)根据所述参考图像的结构表征图以及所述浮动图像的结构表征图建立目标函数，根据所述目标函数获得变换参数，基于所述变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
优选地，在步骤(1)之前，所述方法还包括：
对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化，并将得到的所有向量进行组合得到目标矩阵，计算所述目标矩阵的特征向量，并将所述目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet的L1个卷积模板；
将各卷积模板分别与输入图像进行卷积得到NL1幅图像，将所述NL1幅图像输入到第二层PCANet中，得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像，其中，k1×k2表示块的大小，L1为第一层PCANet选取的特征个数，L2为第二层PCANet选取的特征个数。
优选地，步骤(1)包括：
(1.1)将所述参考图像输入到所述已训练的两层PCANet网络中，得到所述参考图像的第一级图像特征和第二级图像特征以及，将所述浮动图像输入到所述已训练的两层PCANet网络中，得到所述浮动图像的第一级图像特征和第二级图像特征
(1.2)由得到所述参考图像的结构表征图由得到所述浮动图像的结构表征图其中，与分别表示所述参考图像的第一层特征和第二层特征的衰减系数，与分别表示所述浮动图像的第一层特征和第二层特征的衰减系数。
优选地，步骤(1.1)包括：
(1.1.1)由得到所述参考图像的第一级图像特征，由得到所述浮动图像的第一级图像特征，其中，n＝1,2,...,L1表示参考图像r的PCANet第一层的第n个特征，n＝1,2,...,L1表示浮动图像f的PCANet第一层的第n个特征；
(1.1.2)由以及将L1L2信息合成L1信息，其中，表示参考图像r的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，表示浮动图像f的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，S(·)表示sigmoid函数，|·|表示绝对值；
(1.1.3)由得到所述参考图像的第二级图像特征，由得到所述浮动图像的第二级图像特征。
优选地，步骤(2)包括：
(2.1)由g(Tτ)＝SSD+αR(Tτ)建立目标函数，其中，SSD表示结构表征图以及的相似性测度，α为权重参数，且0<α<1，R(Tτ)表示正则化项，τ表示迭代次数，且τ的初始值为1，对目标函数g(Tτ)迭代求解，获得初始变换参数Tτ；
(2.2)根据初始变换参数Tτ变换所述浮动图像的结构表征图对变换后的结构表征图进行插值处理，并以插值处理后的结构表征图更新原结构表征图，同时迭代次数τ加1，并对更新后的目标函数g(Tτ)迭代求解，获得更新后的变换参数Tτ'；
(2.3)若迭代次数τ大于等于迭代次数阈值，且g(Tτ)≤g(Tτ-1)，则根据最终的变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得所述配准图像，否则返回步骤(2.2)。
优选地，相似性测度SSD为：
其中，P与Q分别表示参考图像和浮动图像的长和宽，表示参考图像的结构表征图在相应像素点的灰度值，表示浮动图像的结构表征图在相应像素点的灰度值。
按照本发明的另一方面，提供了一种基于深度学习的多模医学图像非刚性配准系统，包括：
结构表征图构建模块，用于将参考图像输入到已训练的两层PCANet网络中，获得所述参考图像各级的图像特征，并将所述参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到所述已训练的两层PCANet网络中，获得所述浮动图像各级的图像特征，并将所述浮动图像各级的图像特征进行合成得到所述浮动图像的结构表征图；
配准迭代模块，用于根据所述参考图像的结构表征图以及所述浮动图像的结构表征图建立目标函数，根据所述目标函数获得变换参数，基于所述变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
优选地，所述系统还包括：PCANet训练模块；
所述PCANet训练模块，用于对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化，并将得到的所有向量进行组合得到目标矩阵，计算所述目标矩阵的特征向量，并将所述目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet的L1个卷积模板；将各卷积模板分别与输入图像进行卷积得到NL1幅图像，将所述NL1幅图像输入到第二层PCANet中，得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像，其中，k1×k2表示块的大小，L1为第一层PCANet选取的特征个数，L2为第二层PCANet选取的特征个数。
优选地，所述结构表征图构建模块包括：第一层有效特征构建模块以及第二层有效特征构建模块；
所述第一层有效特征构建模块，用于基于所述已训练的两层PCANet网络中，得到所述参考图像的第一级图像特征，以及，基于所述已训练的两层PCANet网络中，得到所述浮动图像的第一级图像特征；
所述第二层有效特征构建模块，用于基于所述已训练的两层PCANet网络中，得到所述参考图像的第二级图像特征，以及，基于所述已训练的两层PCANet网络中，得到所述浮动图像的第二级图像特征。
优选地，所述配准模块包括求解模块和判定模块；
所述求解模块，用于得到参考图像的结构表征图和浮动图像的结构表征图之间的相似性度量，并加上正则化项构建目标函数，获得变换参数；
所述判定模块，用于判断所述目标函数是否符合迭代停止标准，如果不符合迭代停止标准，则根据变换参数变换浮动图像的结构表征图，对变换后的浮动图像的结构表征图进行插值处理，并更新浮动图像的原始结构表征图，直至满足迭代停止标准，最终将所得空间变换作用于浮动图像，获得配准图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
首先，与传统的配准方法相比，传统的配准方法往往只利用图像的灰度信息和一阶信息，而该方法利用深度学习，从大量的数据中提取图像的多级特征，有效表征复杂医学图像，为多模图像相似性的准确评价提供了有效依据。其次，与现有的用于配准的深度学习方法相比，该方法网络结构简单，易于训练，并且属于无监督学习，不需要标签数据，大大克服了医学图像缺少标签的问题。
附图说明
图1为本发明实施例提供的一种非刚性多模医学图像的配准方法的流程示意图；
图2为本发明实施例提供的另一种非刚性多模医学图像的配准方法的流程示意图；
图3(a)为本发明实施例以及对比例2-5所用的参考图像T1；
图3(b)为本发明实施例以及对比例2-5所用的浮动图像T2；
图3(c)为本发明实施例以及对比例2-5所用的浮动图像PD；
图3(d)为本发明实施例方法获得的配准图像T1-T2；
图3(e)为本发明对比例1方法获得的配准图像T1-T2；
图3(f)为本发明对比例2方法获得的配准图像T1-T2；
图3(g)为本发明对比例3方法获得的配准图像T1-T2；
图3(h)为本发明对比例4方法获得的配准图像T1-T2；
图3(i)为本发明实施例方法获得的配准图像Gad-T2；
图3(j)为本发明对比例1方法获得的配准图像Gad-T2；
图3(k)为本发明对比例2方法获得的配准图像Gad-T2；
图3(l)为本发明对比例3方法获得的配准图像Gad-T2；
图3(m)为本发明对比例4方法获得的配准图像Gad-T2；
图4(a)为本发明实施例以及对比例1-4所用的参考图像PD加权MR；
图4(b)为本发明实施例以及对比例1-4所用的浮动图像CT；
图4(c)为本发明实施例方法获得的配准图像；
图4(d)为本发明对比例1方法获得的配准图像；
图4(e)为本发明对比例2方法获得的配准图像；
图4(f)为本发明对比例3方法获得的配准图像。
图4(g)为本发明对比例4方法获得的配准图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于深度学习的多模医学图像非刚性配准方法及系统，通过大量的医学数据训练PCANet，并将参考图像以及浮动图像输入到训练好的PCANet中，分别获得参考图像以及浮动图像的结构表征图，从而实现非刚性多模医学图像的配准。
如图1所示为本发明实施例提供的一种非刚性多模医学图像的配准方法的流程示意图，包括：
(1)将参考图像输入到已训练的两层PCANet网络中，获得参考图像各级的图像特征，并将参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到已训练的两层PCANet网络中，获得浮动图像各级的图像特征，并将浮动图像各级的图像特征进行合成得到浮动图像的结构表征图；
(2)根据参考图像的结构表征图以及浮动图像的结构表征图建立目标函数，根据目标函数获得变换参数，基于变换参数变换浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
在本发明实施例中，如图2所示，在步骤(1)之前，该方法还包括对两层PCANet网络的训练过程：
对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化以及去均值化，并将得到的所有向量进行组合得到目标矩阵，计算目标矩阵的特征向量，并将目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet网络的L1个卷积模板；
将第一层得到的各卷积模板分别与输入的N幅图像进行卷积得到NL1幅图像，将NL1幅图像输入到第二层PCANet网络中，按照第一层的处理方式，通过对NL1幅图像中的每幅图像取块、向量化、计算特征向量得到第二层PCANet网络的L2个卷积模板，并将第二层得到的各卷积模板分别与输入的NL1幅图像进行卷积得到NL1L2幅图像，其中，k1×k2表示块的大小，一般的，当图像的复杂度较高时，优选取3×3，5×5等较小的值，配准效果会更好。L1为第一层PCANet网络选取的特征个数，L2为第二层PCANet网络选取的特征个数，L1与L2的值可以根据实际需要进行确定，优选地，取L1＝L2＝8。
在本发明实施例中，步骤(1)包括：
(1.1)将参考图像输入到已训练的两层PCANet网络中，得到参考图像的第一级图像特征和第二级图像特征以及，将浮动图像输入到已训练的两层PCANet网络中，得到浮动图像的第一级图像特征和第二级图像特征
其中，步骤(1.1)的具体实现方式为：
(1.1.1)由得到参考图像的第一级图像特征，由得到浮动图像的第一级图像特征，其中，n＝1,2,...,L1表示参考图像r的PCANet网络第一层的第n个特征，n＝1,2,...,L1表示浮动图像f的PCANet网络第一层的第n个特征；
(1.1.2)由以及将L1L2信息合成L1信息，其中，表示参考图像r的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，表示浮动图像f的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，S(·)表示sigmoid函数，|·|表示绝对值；
(1.1.3)由得到参考图像的第二级图像特征，由得到浮动图像的第二级图像特征。
(1.2)根据参考图像以及浮动图像的第一层的有效特征和第二层的有效特征获得参考图像和浮动图像的结构表征图；
具体地，由得到参考图像的结构表征图由得到浮动图像的结构表征图其中，与分别表示参考图像的第一层特征和第二层特征的衰减系数，与分别表示浮动图像的第一层特征和第二层特征的衰减系数。
其中， 其中， mean(·)代表均值运算符，c1和c2为常数，上标r和上标f分别表示参考图像和浮动图像，表示参考图像r的第i像素，表示参考图像r的以像素点i为中心，以M为邻域的图像块内的第l像素点，表示浮动图像f的第i像素，表示浮动图像f的以像素点i为中心，以M为邻域的图像块内的第l像素点。
在本发明实施例中，以变换模型为基于B样条自由形变模型(Free-formDeformation，FFD)构建目标函数为例，说明该配准过程，步骤(2)具体包括：
(2.1)由g(Tτ)＝SSD+αR(Tτ)建立目标函数，g(Tτ)的值越小，则浮动图像与参考图像的相似性越大，当g(Tτ)最小时，完成配准，其中，SSD表示结构表征图以及的相似性测度，α为权重参数，且0<α<1，用于平衡SSD和R(Tτ)，Tτ为与像素点i的坐标(x，y)相关的三阶B样条函数，表示浮动图像变换为配准图像的变换参数，R(Tτ)表示正则化项，τ表示迭代次数，且τ的初始值为1，对目标函数g(Tτ)迭代求解，获得初始变换参数Tτ；
其中，相似性测度SSD为：
其中，P与Q分别表示参考图像和浮动图像的长和宽，表示参考图像的结构表征图在相应像素点的灰度值，表示浮动图像的结构表征图在相应像素点的灰度值。
正则化项表示为：
x和y分别表示像素点i在浮动图像中的横坐标和纵坐标，X和Y分别表示浮动图像的长和宽。
(2.2)根据初始变换参数Tτ变换浮动图像的结构表征图对变换后的结构表征图进行插值处理，并以插值处理后的结构表征图更新原结构表征图，同时迭代次数τ加1，并对更新后的目标函数g(Tτ)迭代求解，获得更新后的变换参数Tτ'；
(2.3)若迭代次数τ大于等于迭代次数阈值，且g(Tτ)≤g(Tτ-1)，则根据最终的变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得所述配准图像，否则返回步骤(2.2)。
其中，迭代次数阈值可以根据实际需要进行确定，在本发明实施例中不做唯一性限定。
在本发明实施例中，迭代求解的方法可以为限域拟牛顿法或梯度下降法，根据变换参数变换浮动图像采用的变换模型可以为基于B样条的自由形变模型，插值处理的方法可以为双线性插值法或B样条插值法，变换参数可以为三阶B样条函数，或者其它可以实现本发明的方法，具体采用何种方式，本发明实施例不做唯一性限定。
以下结合具体实施例对本发明方法进行详细说明。
实施例1
步骤1训练PCANet网络。输入N幅医学图像对于每幅图像的每个像素，无间隔的取k1×k2的块；将得到的块向量化，并进行去均值化。将得到的所有向量组合在在一起，将得到一个矩阵。计算这个矩阵的特征向量，并将特征值按从大到小排序，取前L1个特征值对应的特征向量。将L1个特征向量矩阵化，将会得到第一层的L1个卷积模板。将卷积模板与输入图像进行卷积，将会得到NL1幅图像。将这NL1幅图像输入到第二层PCANet中，按照第一层的处理方法，我们将得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像。
步骤2根据PCANet深度学习网络得到一种基于PCANet的结构表征图(PCANetbased structural representation，简称PSR)。
步骤2-1将参考图像和浮动图像输入到训练好的两层PCANet网络结构中，将得到参考图像和浮动图像的第一级特征信息和第二级特征信息利用这些特征信息来构建参考图像的第一级图像特征和第二级图像特征以及浮动图像的第一级图像特征和第二级图像特征
对于第一层信息：
其中，表示参考图像i的PCANet第一层第n个特征。
对于第二层信息，共分两步处理，第一步，利用sigmoid函数和加权操作将L1L2信息合成L1信息
其中，表示参考图像i的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，S(·)表示sigmoid函数，|·|表示绝对值。
第二步，按照构建第一层有效特征的方式，构建第二层的有效特征：
步骤2-2计算图像i结构表征图PSR，公式如下：
其中，和为衰减系数，其计算公式为
由于在本实施例中，分别为：
其中，mean(·)为均值运算符，c1和c2为调节系数，在本实施例中，c1＝c2＝0.8。为图像i的第p像素，表示图像i以像素p为中心，以M为邻域的像素l。
根据上述公式，可分别获得参考图像的结构表征图以及浮动图像的结构表征图
步骤3-1采用基于B样条自由形变模型(Free-form Deformation,FFD)作为变换模型，建立目标函数g(T)＝SSD+αR(T)。其中，SSD表示结构表征图以及的相似性测度，其中，M,N为图像的尺寸，在本实施例中参考图像和浮动图像的长M和宽N都为256，因此MN＝256×256；α为权重参数，在本例中取α＝0.01。T表示浮动图像变换为配准图像的变换参数；R(T)表示正则化项，其计算公式为：其中，x和y分别表示像素点i在浮动图像中的横坐标和纵坐标，X和Y分别表示浮动图像的长和宽。
步骤3-2以g(T)的值最小为目标，使用限域拟牛顿法(L-BFGS)进行迭代求解，当g(T)获得最小值时迭代停止，获得变换参数T；
步骤3-3通过步骤3-2中获得的变换参数T，对浮动图像变形，并通过双线性插值法进行插值，获得浮动图像对应的配准图像，并最终完成图像配准。
对比例1
按照(Med.Image Anal.16(7)(2012)1423-1435.)里的MIND方法实现配准。具体参数为：图像块大小选择3×3。
对比例2
按照(Med.Image Anal.16(1)(2012)1-17.)里的ESSD方法实现配准。其中，具体参数为：选择7×7的图像块，并利用高斯权重、局部归一化方法和Parzen窗估计来计算图像块对应的熵，由此获得整个图像对应的ESSD。
对比例3
按照(Pattern Recognit.32(1)(1999)71-86.)里的NMI方法实现配准。
对比例4
按照(Sensors 13(6)(2013)7599-7613.)里的WLD方法实现配准。具体参数为：WLD的计算选择半径R＝1和R＝2，构建相似性测度的块大小为7×7，权重项γ＝0.01。
结果分析
为了进一步体现本发明的优点，我们将实施例1与对比例1-4的配准精度进行比较。配准精度采用目标配准误差TRE进行评价，这里TRE定义为：
其中TS表示随机形变，也是评价的金标准，TR表示由配准算法得到的形变，N表示用于图像配准性能评价的像素个数。
采用仿真MR图像进行配准精度测试，实施例1所用的仿真T1、T2和PD加权MR图像均取自BrainWeb数据库，表1列出了各算法所得TRE的标准差和均值。从表1可看出，对不同MR图像进行配准时，实施例1提供的TRE其均值和标准差皆低于其它方法，这说明本发明提出的方法在所有比较的方法中具有最高的配准精度。
表1各方法在T1-T2，PD-T2和T1-PD图像配准时的TRE(mm)对比
为更直观地显示本发明相对于其余方法的优越性，我们提供了实施例与对比例1-4对应配准图像的视觉效果图，如图3所示。图3(a)为参考图像T1，图3(b)为浮动图像T2，图3(c)为浮动图像PD，图3(d)为实施例1方法获得的配准图像T2-T1，图3(e)为对比例1方法获得的配准图像T2-T1，图3(f)为对比例2方法获得的配准图像T2-T1，图3(g)为对比例3方法获得的配准图像T2-T1，图3(h)为对比例4方法获得的配准图像T2-T1，图3(i)为实施例方法获得的配准图像PD-T1，图3(j)为对比例1方法获得的配准图像PD-T1，图3(k)为对比例2方法获得的配准图像PD-T1，图3(l)为对比例3方法获得的配准图像PD-T1，图3(m)为对比例4方法获得的配准图像PD-T1，由配准结果图可以看出，我们的配准结果比其它方法更好。
针对CT与MR图像进行了配准精度的比较，我们对浮动CT图像进行了五种随机的变形处理。图4是实施例以及对比例1-4的方法对真实CT和MR图像进行配准的结果。其中，图4(a)为参考图像PD加权MR，图4(b)为浮动图像CT，图4(c)为实施例1方法获得的配准图像，图4(d)为对比例1方法获得的配准图像，图4(e)为对比例2方法获得的配准图像，图4(f)为对比例3方法获得的配准图像,图4(g)为对比例4方法获得的配准图像。可看出，对比例3-4的方法难以有效更正轮廓的变形，对比例1-2提供的配准图像中最外部轮廓局部出现失真，而实施例1方法可获得良好的配准图像。表3显示了每组真实CT图像与MR图像配准的TRE的平均值，其中，组3图像即为图4中所用的真实CT图像与MR图像。
表2各方法在CT-MR图像配准时的TRE(mm)对比
从表2中我们可以看出，与其它配准方法相比，本发明的方法对组1～组5的CT-MR图像进行配准皆可取得更低的TRE，这说明本发明提出的方法在CT-MR图像配准方面较对比例的算法具有更高的配准精度。
本发明还提供了一种基于深度学习的多模医学图像非刚性配准系统，包括：
结构表征图构建模块，用于将参考图像输入到已训练的两层PCANet网络中，获得参考图像各级的图像特征，并将参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到已训练的两层PCANet网络中，获得浮动图像各级的图像特征，并将浮动图像各级的图像特征进行合成得到浮动图像的结构表征图；
配准迭代模块，用于根据参考图像的结构表征图以及浮动图像的结构表征图建立目标函数，根据目标函数获得变换参数，基于变换参数变换浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
在一个可选的实施方式中，该系统还包括：PCANet训练模块；
PCANet训练模块，用于对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化，并将得到的所有向量进行组合得到目标矩阵，计算目标矩阵的特征向量，并将目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet的L1个卷积模板；将各卷积模板分别与输入图像进行卷积得到NL1幅图像，将所述NL1幅图像输入到第二层PCANet中，得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像，其中，k1×k2表示块的大小，L1为第一层PCANet选取的特征个数，L2为第二层PCANet选取的特征个数。
在一个可选的实施方式中，结构表征图构建模块包括：第一层有效特征构建模块以及第二层有效特征构建模块；
第一层有效特征构建模块，用于基于已训练的两层PCANet网络中，得到参考图像的第一级图像特征，以及，基于已训练的两层PCANet网络中，得到浮动图像的第一级图像特征；
第二层有效特征构建模块，用于基于已训练的两层PCANet网络中，得到参考图像的第二级图像特征，以及，基于已训练的两层PCANet网络中，得到浮动图像的第二级图像特征。
在一个可选的实施方式中，配准模块包括求解模块和判定模块；
求解模块，用于得到参考图像的结构表征图和浮动图像的结构表征图之间的相似性度量，并加上正则化项构建目标函数，获得变换参数；
判定模块，用于判断目标函数是否符合迭代停止标准，如果不符合迭代停止标准，则根据变换参数变换浮动图像的结构表征图，对变换后的浮动图像的结构表征图进行插值处理，并更新浮动图像的原始结构表征图，直至满足迭代停止标准，最终将所得空间变换作用于浮动图像，获得配准图像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的多模医学图像非刚性配准方法，其特征在于，包括：
(1)将参考图像输入到已训练的两层PCANet网络中，获得所述参考图像各级的图像特征，并将所述参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到所述已训练的两层PCANet网络中，获得所述浮动图像各级的图像特征，并将所述浮动图像各级的图像特征进行合成得到所述浮动图像的结构表征图；
(2)根据所述参考图像的结构表征图以及所述浮动图像的结构表征图建立目标函数，根据所述目标函数获得变换参数，基于所述变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
2.根据权利要求1所述的方法，其特征在于，在步骤(1)之前，所述方法还包括：
对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化，并将得到的所有向量进行组合得到目标矩阵，计算所述目标矩阵的特征向量，并将所述目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet的L1个卷积模板；
将各卷积模板分别与输入图像进行卷积得到NL1幅图像，将所述NL1幅图像输入到第二层PCANet中，得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像，其中，k1×k2表示块的大小，L1为第一层PCANet选取的特征个数，L2为第二层PCANet选取的特征个数。
3.根据权利要求2所述的方法，其特征在于，步骤(1)包括：
(1.1)将所述参考图像输入到所述已训练的两层PCANet网络中，得到所述参考图像的第一级图像特征F1 r和第二级图像特征以及，将所述浮动图像输入到所述已训练的两层PCANet网络中，得到所述浮动图像的第一级图像特征F1 f和第二级图像特征
(1.2)由得到所述参考图像的结构表征图由得到所述浮动图像的结构表征图其中，与分别表示所述参考图像的第一层特征和第二层特征的衰减系数，与分别表示所述浮动图像的第一层特征和第二层特征的衰减系数。
4.根据权利要求3所述的方法，其特征在于，步骤(1.1)包括：
(1.1.1)由得到所述参考图像的第一级图像特征，由得到所述浮动图像的第一级图像特征，其中，表示参考图像r的PCANet第一层的第n个特征，表示浮动图像f的PCANet第一层的第n个特征；
(1.1.2)由以及将L1L2信息合成L1信息，其中，表示参考图像r的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，表示浮动图像f的由第一层的第j个特征和第二层的第k个卷积模板卷积得到的特征，S(·)表示sigmoid函数，|·|表示绝对值；
(1.1.3)由得到所述参考图像的第二级图像特征，由得到所述浮动图像的第二级图像特征。
5.根据权利要求4所述的方法，其特征在于，步骤(2)包括：
(2.1)由g(Tτ)＝SSD+αR(Tτ)建立目标函数，其中，SSD表示结构表征图以及的相似性测度，α为权重参数，且0<α<1，R(Tτ)表示正则化项，τ表示迭代次数，且τ的初始值为1，对目标函数g(Tτ)迭代求解，获得初始变换参数Tτ；
(2.2)根据初始变换参数Tτ变换所述浮动图像的结构表征图对变换后的结构表征图进行插值处理，并以插值处理后的结构表征图更新原结构表征图，同时迭代次数τ加1，并对更新后的目标函数g(Tτ)迭代求解，获得更新后的变换参数Tτ'；
(2.3)若迭代次数τ大于等于迭代次数阈值，且g(Tτ)≤g(Tτ-1)，则根据最终的变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得所述配准图像，否则返回步骤(2.2)。
6.根据权利要求5所述的方法，其特征在于，相似性测度SSD为：其中，P与Q分别表示参考图像和浮动图像的长和宽，表示参考图像的结构表征图在相应像素点的灰度值，表示浮动图像的结构表征图在相应像素点的灰度值。
7.一种基于深度学习的多模医学图像非刚性配准系统，其特征在于，包括：
结构表征图构建模块，用于将参考图像输入到已训练的两层PCANet网络中，获得所述参考图像各级的图像特征，并将所述参考图像各级的图像特征进行合成得到参考图像的结构表征图，以及，将浮动图像输入到所述已训练的两层PCANet网络中，获得所述浮动图像各级的图像特征，并将所述浮动图像各级的图像特征进行合成得到所述浮动图像的结构表征图；
配准迭代模块，用于根据所述参考图像的结构表征图以及所述浮动图像的结构表征图建立目标函数，根据所述目标函数获得变换参数，基于所述变换参数变换所述浮动图像，并对变换后的浮动图像进行插值处理，获得配准图像。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：PCANet训练模块；
所述PCANet训练模块，用于对于N幅医学图像中的每幅图像的每个像素，无间隔的取k1×k2的块，将得到的所有块向量化，并将得到的所有向量进行组合得到目标矩阵，计算所述目标矩阵的特征向量，并将所述目标矩阵的特征值按从大到小进行排序，将前L1个特征值对应的特征向量进行矩阵化，得到第一层PCANet的L1个卷积模板；将各卷积模板分别与输入图像进行卷积得到NL1幅图像，将所述NL1幅图像输入到第二层PCANet中，得到第二层PCANet的L2个卷积模板，并得到NL1L2幅图像，其中，k1×k2表示块的大小，L1为第一层PCANet选取的特征个数，L2为第二层PCANet选取的特征个数。
9.根据权利要求7或8所述的系统，其特征在于，所述结构表征图构建模块包括：第一层有效特征构建模块以及第二层有效特征构建模块；
所述第一层有效特征构建模块，用于基于所述已训练的两层PCANet网络中，得到所述参考图像的第一级图像特征，以及，基于所述已训练的两层PCANet网络中，得到所述浮动图像的第一级图像特征；
所述第二层有效特征构建模块，用于基于所述已训练的两层PCANet网络中，得到所述参考图像的第二级图像特征，以及，基于所述已训练的两层PCANet网络中，得到所述浮动图像的第二级图像特征。
10.根据权利要求9所述的系统，其特征在于，所述配准模块包括求解模块和判定模块；
所述求解模块，用于得到参考图像的结构表征图和浮动图像的结构表征图之间的相似性度量，并加上正则化项构建目标函数，获得变换参数；
所述判定模块，用于判断所述目标函数是否符合迭代停止标准，如果不符合迭代停止标准，则根据变换参数变换浮动图像的结构表征图，对变换后的浮动图像的结构表征图进行插值处理，并更新浮动图像的原始结构表征图，直至满足迭代停止标准，最终将所得空间变换作用于浮动图像，获得配准图像。
CN201810177419.2A 2018-03-05 2018-03-05 一种基于深度学习的多模医学图像非刚性配准方法及系统 Active CN108416802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810177419.2A CN108416802B (zh) 2018-03-05 2018-03-05 一种基于深度学习的多模医学图像非刚性配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810177419.2A CN108416802B (zh) 2018-03-05 2018-03-05 一种基于深度学习的多模医学图像非刚性配准方法及系统

Publications (2)

Publication Number Publication Date
CN108416802A true CN108416802A (zh) 2018-08-17
CN108416802B CN108416802B (zh) 2020-09-18

Family

ID=63129924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810177419.2A Active CN108416802B (zh) 2018-03-05 2018-03-05 一种基于深度学习的多模医学图像非刚性配准方法及系统

Country Status (1)

Country Link
CN (1) CN108416802B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109993709A (zh) * 2019-03-18 2019-07-09 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110517299A (zh) * 2019-07-15 2019-11-29 温州医科大学附属眼视光医院 基于局部特征熵的弹性图像配准算法
CN110533641A (zh) * 2019-08-20 2019-12-03 东软医疗系统股份有限公司 一种多模态医学图像配准方法和装置
CN110766730A (zh) * 2019-10-18 2020-02-07 上海联影智能医疗科技有限公司 图像配准及随访评估方法、存储介质及计算机设备
CN111161326A (zh) * 2018-11-08 2020-05-15 通用电气公司 用于可变形图像配准的无监督深度学习的系统和方法
CN112488976A (zh) * 2020-12-11 2021-03-12 华中科技大学 一种基于darts网络的多模态医学图像融合方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN114693755A (zh) * 2022-05-31 2022-07-01 湖南大学 多模图像最大矩与空间一致性的非刚性配准方法及系统
WO2022205500A1 (zh) * 2021-03-31 2022-10-06 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN116309753A (zh) * 2023-03-28 2023-06-23 中山大学中山眼科中心 眼科oct图像的高清快速配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091337A (zh) * 2014-07-11 2014-10-08 北京工业大学 一种基于PCA及微分同胚Demons的变形医学图像配准方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN106204550A (zh) * 2016-06-30 2016-12-07 华中科技大学 一种非刚性多模医学图像的配准方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN104091337A (zh) * 2014-07-11 2014-10-08 北京工业大学 一种基于PCA及微分同胚Demons的变形医学图像配准方法
CN106204550A (zh) * 2016-06-30 2016-12-07 华中科技大学 一种非刚性多模医学图像的配准方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANT H 等: "PCANet: A simple deep learning baseline for image classification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
FENG YANG 等: "Non-rigid multi-modal medical image registration by combining L-BFGS-B with cat swarm optimization", 《INFORMATION SCIENCES》 *
QIEGEN LIU 等: "Tensor-based Descriptor for Image Registration via Unsupervised Network", 《20TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN111161326A (zh) * 2018-11-08 2020-05-15 通用电气公司 用于可变形图像配准的无监督深度学习的系统和方法
CN111161326B (zh) * 2018-11-08 2023-09-08 通用电气公司 用于可变形图像配准的无监督深度学习的系统和方法
CN109598745A (zh) * 2018-12-25 2019-04-09 上海联影智能医疗科技有限公司 图像配准方法、装置和计算机设备
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109993709A (zh) * 2019-03-18 2019-07-09 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN109993709B (zh) * 2019-03-18 2021-01-12 绍兴文理学院 一种基于深度学习的图像配准误差校正方法
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN110517299B (zh) * 2019-07-15 2021-10-26 温州医科大学附属眼视光医院 基于局部特征熵的弹性图像配准算法
CN110517299A (zh) * 2019-07-15 2019-11-29 温州医科大学附属眼视光医院 基于局部特征熵的弹性图像配准算法
CN110533641A (zh) * 2019-08-20 2019-12-03 东软医疗系统股份有限公司 一种多模态医学图像配准方法和装置
CN110766730A (zh) * 2019-10-18 2020-02-07 上海联影智能医疗科技有限公司 图像配准及随访评估方法、存储介质及计算机设备
CN112488976A (zh) * 2020-12-11 2021-03-12 华中科技大学 一种基于darts网络的多模态医学图像融合方法
CN112488976B (zh) * 2020-12-11 2022-05-17 华中科技大学 一种基于darts网络的多模态医学图像融合方法
WO2022205500A1 (zh) * 2021-03-31 2022-10-06 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN114693755A (zh) * 2022-05-31 2022-07-01 湖南大学 多模图像最大矩与空间一致性的非刚性配准方法及系统
CN116309753A (zh) * 2023-03-28 2023-06-23 中山大学中山眼科中心 眼科oct图像的高清快速配准方法

Also Published As

Publication number Publication date
CN108416802B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN108416802A (zh) 一种基于深度学习的多模医学图像非刚性配准方法及系统
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109242844B (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
CN105787439B (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN106204550B (zh) 一种非刚性多模医学图像的配准方法及系统
Barmpoutis et al. Tensor splines for interpolation and approximation of DT-MRI with applications to segmentation of isolated rat hippocampi
Liao et al. Estimation of the volume of the left ventricle from MRI images using deep neural networks
Zhang et al. Review of breast cancer pathologigcal image processing
CN102890823B (zh) 运动对象轮廓提取及左心室图像分割方法和装置
CN109166133A (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
CN111091589A (zh) 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN110599461B (zh) 一种基于子空间特征学习的丘脑功能分区方法
CN113570627B (zh) 深度学习分割网络的训练方法及医学图像分割方法
CN109829449A (zh) 一种基于超像素时空上下文的rgb-d室内场景标注方法
CN109920512B (zh) 一种三维剂量分布网络模型的训练方法及装置
CN109685804B (zh) 一种多通道头部磁共振成像组织分割方法
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
Wang et al. Automatic liver segmentation using multi-plane integrated fully convolutional neural networks
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN110473206B (zh) 一种基于超体素与测度学习的弥散张量图像分割方法
CN117392389A (zh) 基于mt-sass网络的肾癌mri图像分割分类方法
CN117437420A (zh) 一种跨模态医学影像分割方法及系统
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant