CN108154519B - 眼底图像中血管的分割方法、装置及存储介质 - Google Patents
眼底图像中血管的分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108154519B CN108154519B CN201711422567.8A CN201711422567A CN108154519B CN 108154519 B CN108154519 B CN 108154519B CN 201711422567 A CN201711422567 A CN 201711422567A CN 108154519 B CN108154519 B CN 108154519B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image
- multidirectional
- morphological
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 87
- 230000000877 morphologic effect Effects 0.000 claims abstract description 72
- 238000001914 filtration Methods 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000012549 training Methods 0.000 abstract description 7
- 230000002792 vascular Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 210000004088 microvessel Anatomy 0.000 description 10
- 230000036961 partial effect Effects 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
一种眼底图像中血管的分割方法、装置及存储介质，所述方位包括基于Hessian矩阵增强的血管分割，然后阈值分割出血管；采用多方向的线性结构元对G通道开运算处理，并通过形态学重构进一步增强，然后使用多方向开运算操作取最小响应得到不含线性结构的背景，两张图相减得到主血管网络；其次先后进行多方向的高斯平滑滤波和多方向的高斯—拉普拉斯滤波，使用多方向形态学和形态学重构对滤波后的血管网络增强和保留；最后确定自适应阈值分割出血管；综合上面两个阶段的分割结果，合并并做最后的修补得到最终血管二值图像。本发明的血管分割方法能够提高血管识别的灵敏度，在无须提前训练的情况下具有较好的计算效率。
Description
技术领域
本申请涉及图像分析领域，具体的涉及一种对彩色眼底图像中的血管进行精确的分割的方法、装置和存储介质。
背景技术
从眼底图像中获得血管，对血管进行定位和分割是眼底图像测量的最迫切的需求。现有技术中对于血管的分割，常规的方法为利用图像预处理、滤波、拟合和形态学等图像处理方法对血管分割，上述的方法具有一定的效果，但仍然具有一定的缺陷。
例如，多尺度滤波对血管有比较好的增强效果。Kovács(Kovács G,Hajdu A.Aself-calibrating approach for the segmentation of retinal vessels by templatematching and contour reconstruction[J].Medical image analysis,2016,29:24-46)等采用匹配滤波和轮廓重建的方法分割血管，首先使用基于Gabor函数的模板匹配去提取血管的中心线，接着重建训练库中血管轮廓的强度特征。Singh(Singh N P,SrivastavaR.Retinal blood vessels segmentation by using Gumbel probability distributionfunction based matched filter[J].Computer methods and programs inbiomedicine,2016,129:40-50)等先采用主成分分析完成灰度转换，然后使用对比度受限的直方图均衡化增强眼底，作者提出了以Gumbel概率分布函数为核心的新型匹配滤波方法来分割血管，最后使用基于熵的最佳阈值化和长度滤波以获得最终分割的血管，算法提出的滤波优于基于高斯的滤波增强效果。Soares(Soares J V B,Leandro J J G,Cesar R M,et al.Retinal vessel segmentation using the 2-D Gabor wavelet and supervisedclassification[J].IEEE Transactions on medical Imaging,2006,25(9):1214-1222)等借助二维Gabor小波变换完成噪声滤波和血管增强，使用高斯混合描述的概率密度函数构造的贝叶斯分类器区分血管或非血管像素。
形态学运算速度快，选择合适的结构元可以响应对应的目标。基于血管在眼底呈类似于树的结构，Zana(Zana F,Klein J C.Segmentation of vessel-like patternsusing mathematical morphology and curvature evaluation[J].IEEE transactionson image processing,2001,10(7):1010-1019)等对分段线性连接的血管结构采用数学形态学操作，可以显著增强其线性结构，随后根据血管的高斯特征采用正交曲率估计平滑血管。形态学滤波也可以滤去眼底的低频噪声。Khan(Khan K B,Khaliq A A,Shahid M.B-COSFIRE filter and VLM based retinal blood vessels segmentation and denoising[C]//Computing,Electronic and Electrical Engineering(ICE Cube),2016International Conference on.IEEE,2016:132-137)等先使用形态学滤波器滤去噪声，接着使用低通滤波器的差分图像抑制高频噪声，最后使用BCOSFIRE(Combination OfShifted Filter Responses，B指类血管结构)滤波器结合自适应阈值分割血管。
血管跟踪也适用于血管分割，选取位置合理的血管点根据跟踪迭代终止条件完成血管分割过程，但是该方法容易跟踪到非血管像素。Vlachos(Vlachos M,DermatasE.Multi-scale retinal vessel segmentation using line tracking[J].ComputerizedMedical Imaging and Graphics,2010,34(3):213-227)采用多尺度的线性跟踪确定所有血管，跟踪过程从事先根据亮度特征选取的一组像素开始，根据像素的置信度确定其是否属于某根血管，而初始的血管网络根据多尺度的置信度矩阵确定，然后根据血管的定向属性移除错误的跟踪，最后使用形态学重构修复损失的血管像素。Yin(Yin Y,Adel M,Bourennane S.Retinal vessel segmentation using a probabilistic trackingmethod[J].Pattern Recognition,2012,45(4):1235-1244)等使用概率跟踪分割血管，方法利用局部灰度统计和血管连续性属性迭代地检测血管边缘点，首先通过高斯形曲线估计局部血管的截面强度分布，接着使用具有最大后验概率标准的贝叶斯方法来识别局部血管的结构并从候选点中找出边缘点。
但是上述方法准确性不高，部分方案虽然具有较高的准确度，但是计算量过大，处理时间较长。因此，如何提高血管识别的灵敏度、准确性以及计算效率成为现有技术亟需解决的技术问题。
发明内容
本发明的目的在于提出一种眼底图像中血管的分割方法、装置和存储介质，首先采用基于Hessian矩阵的多尺度滤波增强血管网络，使用阈值分割出粗糙血管网络；然后采用多方向形态学操作和多方向图像滤波获得连续性好的血管，采用直方图统计确定自适应阈值分割出血管。最后，综合Hessian矩阵增强得到的较粗的主血管和多方向形态学得到的连续性好的血管这两者优势，合并两个方法结果并去除小面积连通域得到最终血管。因此，能够提高血管识别的灵敏度、准确性以及计算效率。
为达此目的，本发明采用以下技术方案：
一种眼底图像中血管的分割方法，包括如下步骤：
Hessian矩阵增强血管步骤S110：对彩色眼底图像进行灰度化，选取G通道作为处理对象，使用Hessian矩阵眼底灰度图像进行处理，选取尺度范围[σmin,σmax]，将其平均分为N个尺度，并取每一点在其中的最大值作为图像在该点的响应值，得到多尺度增强图；
第一阈值分割步骤S120：对所述多尺度增强图，选取第一阈值以分割出血管，得到第一血管二值图；
多方向形态学增强主血管S130：首先对彩色眼底图像进行灰度化，选取G通道作为处理对象并进行反转得到G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最大值作为该点最终的响应得到多方向形态学增强眼底图像，以所述多方向形态学增强眼底图像为标记图像，以G通道反转图为模板图像，进行膨胀形态学重构，得到形态学重构图像，然后再次利用G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最小值作为该点最终的响应得到背景图，将所述形态学重构图像减去所述背景图得到最终的多方向形态学增强图；
多方向滤波增强微血管步骤S140：首先对所述最终的多方向形态学增强图进行多方向的高斯平滑滤波以降低血管周围的噪声，构造1*9的高斯卷积核并保持角度与形态学操作一致，然后对继续对噪声减除后的图像执行高斯—拉普拉斯滤波处理来增强微血管，其中高斯—拉普拉斯滤波的方向与高斯滤波的方向正交，取多个方向上在某点的响应的最大值作为该点的输出，完成在多个方向上微血管的增强，得到微血管增强图，最后对所述微血管增强图使用多方向的线性结构元的形态学开运算来匹配和增强血管线段，取各点的多方向最大响应作为该点输出，继续对输出图像使用膨胀形态学重构恢复部分损失的血管像素得到多方向滤波最终增强图；
第二阈值分割血管步骤S150：使用直方图统计的方法提取所述多方向滤波最终增强图中的第二阈值亮度的灰度值作为血管分割的自适应阈值，完成血管分割，得到第二血管二值图；
血管最终分割步骤S160：将所述第一血管二值图与所述第二血管二值图合并，获得最终血管二值图。
可选的，在所述Hessian矩阵增强血管步骤S110中，尺度范围是[0.5，6]，迭代步长设置为0.4。
可选的，在所述第一阈值分割步骤S120中，所述第一阈值为3。
可选的，在多方向形态学增强主血管S130中，所述多方向为12个方向上进行开运算，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上匹配多方向走向的血管。
可选的，在多方向滤波增强微血管步骤S140中，所述多方向为12个方向，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上。
可选的，在所述第二阈值分割血管步骤S150中，所述第二阈值为专家分割的样本集的血管二值图结果中血管像素占眼底像素的比例。
可选的，所述第二阈值还受到实际的彩色眼底图像的影响。
可选的，在所述第二阈值分割血管步骤S150中，对阈值分割之后的第二血管二值图，清除小的孤立像素区域，并填充血管内的小孔洞以对第二血管二值图进行改进。
进一步的，本发明还公开了一种眼底图像中血管的分割装置，包括:处理器，
存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行权利要求1-8中的任意一项所述的方法。
进一步的，本发明还公开了一种存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行上述的所述的血管分割方法。
本发明的血管分割方法综合了两个阶段的方法的优点，并合并，因此能够提高血管识别的灵敏度，在无须提前训练的情况下具有较好的计算效率。
附图说明
图1是根据本发明具体实施例的血管定位方法的流程图；
图2(a)-(d)是根据本发明具体实施例的Hessian矩阵的单尺度和多尺度增强结果的示意图，其中(a)σ＝1增强结果，(b)σ＝2增强结果，(c)σ＝4增强结果，(d)多尺度增强结果；
图3是根据本发明具体实施例的第一阈值分割的第一血管二值图；
图4(a)-(d)是根据本发明具体实施例的多个方向开运算增强结果，其中(a)G通道反转图，(b)30度方向开运算结果，(c)60度方向开运算结果，(d)90度方向开运算结果；
图5是根据本发明具体实施例的多方向形态学运算增强结果；
图6是根据本发明具体实施例的形态学重构结果；
图7是根据本发明具体实施例的多方向形态学增强主血管结果，其中(a)提取的血管背景图，(b)最终的增强结果
图8是根据本发明具体实施例的多方向滤波增强结果，其中(a)微血管增强结果，(b)再次多方向形态学增强得到的最终增强结果；
图9是根据本发明具体实施例的多方向形态学和滤波分割结果，其中(a)自适应阈值结果，(b)血管分割结果；
图10是根据本发明具体实施例的血管的最终分割结果对比图；其中(a)原眼底图像，(b)最终血管二值图，(c)专家分割结果；
图11是DRIVE眼底库上血管分割对比示意图，其中(a)原眼底图，(b)基于Hessian矩阵的分割结果，(c)基于多方向形态学和滤波的分割结果，(d)最终分割结果，(e)金标准图；
图12是STARE眼底库上血管分割对比示意图，其中(a)原眼底图，(b)基于Hessian矩阵的分割结果，(c)基于多方向形态学和滤波的分割结果，(d)最终分割结果，(e)金标准图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
本发明将血管的分割分为多个步骤，实际包含三个阶段。
第一阶段：基于Hessian矩阵增强的血管分割，针对血管呈现多段的线性结构且血管各处半径不一的特征，采用基于Hessian矩阵的多尺度滤波可以显著地增强血管网络，然后阈值分割出血管。但此时分割的血管比较完整同时也包含了较多噪声，同时，末尾的微血管断裂较为严重。
第二阶段：基于多方向形态学和滤波的血管分割，首先多方向形态学增强主血管，即采用多方向的线性结构元对G通道开运算处理，取各点最大响应增强血管，并通过形态学重构进一步增强，然后使用多方向开运算操作取最小响应得到不含线性结构的背景，最后两张图相减得到主血管网络；其次多方向滤波增强微血管，基于血管横截面灰度呈高斯模型并且在微血管处响应最大的特征，先后进行多方向的高斯平滑滤波和多方向的高斯—拉普拉斯滤波，从而明显增强微血管，进一步使用多方向形态学和形态学重构对滤波后的血管网络增强和保留；最后使用直方图统计确定自适应阈值分割出血管。此时得到的血管尤其是末尾微血管连续性更好。
第三阶段：血管的最终分割，综合上面两个阶段的分割结果，将两者合并并做最后的修补得到最终血管二值图像。
具体而言，参见图1，示出了根据本发明具体实施例的眼底图像中血管的分割方法的流程图，上述步骤中分别包括了上述的三个阶段。
首先是基于Hessian矩阵增强的血管分割，在该阶段中选取血管对比度更高的G通道作为处理对象，使用Hessian矩阵来突出血管的线性结构，同时高斯函数构造多尺度的卷积滤波可以适应血管的宽度不一的特征，结合两者完成血管的增强；在血管增强后，实验发现除血管外像素值很低且接近零，本文决定设置较低的阈值先分割出血管像素保存较多但是血管网络粗糙的第一血管二值图。后续结合多方向滤波的分割效果的第二血管二值图综合起来得到精细的血管二值图。
Hessian矩阵增强血管步骤S110：对彩色眼底图像进行灰度化，选取G通道作为处理对象，使用Hessian矩阵眼底灰度图像进行处理，选取尺度范围[σmin,σmax]，将其平均分为N个尺度，并取每一点在其中的最大值作为图像在该点的响应值，得到多尺度增强图。
Hessian矩阵的血管增强方法，是现有技术中的血管处理方法，本发明采用该方法首先对灰度图像进行处理，并选取了适当的尺度范围，并分为N个尺度。
具体解释如下，对图像I上一点p对其邻域泰勒展开得到：
其中
表示图像在点p的梯度向量，点p的Hessian矩阵H(p)定义如下：
fxx、fxy、fyx和fyy分别表示图像在点p的二阶偏导数。由于图像像素是离散分布的，于是各二阶偏导数转为差分运算，于是有：
fxx＝f(x-1,y)+f(x+1,y)-2f(x,y)
fxy＝f(x+1,y+1)+f(x,y)-f(x+1,y)-f(x,y+1)
fyy＝f(x,y-1)+f(x,y+1)-2f(x,y)
又由于函数f连续，因此求偏导与顺序无关，即fxy＝fyx。此时Hessian矩阵H是对称矩阵，拥有两个特征值λ1和λ2，假设|λ1|≤|λ2|。在理想情况下，两个特征值应该满足|λ1|＝|λ2|。而且，λ1对应的特征向量代表血管的走向，因此曲率最小；λ2对应的特征向量代表血管横截面的方向，曲率最大。利用这两个特征值及其对应的特征向量来构造二维血管函数(vesselness function)。
为了对尺寸不一的血管建模，引入多尺度的概念，否则单尺度下得不到完整的血管增强结果，借助线性尺度空间理论，将Hessian矩阵的差分运算和高斯函数结合起来，通过改变二维高斯函数标准差，将图像与对应标准差的高斯函数的二阶偏导数作卷积运算，得到多尺度的血管增强结果。以fxx为例，将图像I与标准差为σ(即尺度空间因子)的高斯函数的二阶偏导得到的尺度空间导数Ixx如下：
其中G(x,y；σ)是二维高斯函数，定义如下：
对于fxy、fyx和fyy同理构造。因此，对于线性结构的元素，与血管宽度最匹配的那个尺度的高斯滤波器将获得最大的响应。
于是可以求得Hessian矩阵的特征值λ1和λ2，构造了下面的血管函数，在给定的尺度σ下，对于点p，
其中β为0.5，c取决于图像的灰度范围，一般取作Hessian矩阵最大范数的一半。S为矩阵的范数，D为图像的维数即2。
最后，对于选取的尺度范围[σmin,σmax]，将其平均分为N个尺度，分别求出点p在各个尺度下的V(σ,p)，取其中的最大值作为图像在该点的响应值，公式如下：
尺度空间因子越小，对血管宽度小的血管增强效果越好；反之，对血管宽度大的血管增强效果越好。迭代步长越小，N越大，能够增强的各种宽度的血管越多，整体增强效果越好，但是运行速度也越慢。
参见图2分别示出了Hessian矩阵的单尺度和多尺度增强结果，通过不同的尺度因子能够增强不同尺度的血管，最后综合即得到多尺度增强结果，实现对不同尺度的血管的增强效果。
进一步的，在本发明中，尺度范围是[0.5，6]，迭代步长设置为0.4。
第一阈值分割步骤S120：对所述多尺度增强图，选取第一阈值以分割出血管，得到第一血管二值图。
根据上一步骤S110，血管增强后，可以发现不属于血管的像素灰度值大都是零，因此可以极大地方便阈值的选取，即选取很小的阈值就可以粗提取出血管的二值图像。
因此，可选的，在第一阈值分割步骤S120中第一阈值为3。
参见图3示出了第一阈值分割的第一血管二值图，图中主血管保存完好，微血管也得到最大程度地保存。
接下来进行基于多方向形态学和滤波的血管分割，在该阶段主要包括如下步骤：
多方向形态学增强主血管S130：首先对彩色眼底图像进行灰度化，选取G通道作为处理对象，并进行反转得到G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最大值作为该点最终的响应得到多方向形态学增强眼底图像，以所述多方向形态学增强眼底图像为标记图像，以G通道反转图为模板图像，进行膨胀形态学重构，得到形态学重构图像，然后再次利用G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最小值作为该点最终的响应得到背景图，将所述形态学重构图像减去所述背景图得到最终的多方向形态学增强图。
在本步骤中，对于多方向形态学增强，专家分割的血管二值图显示血管是分段线性的，而且各段血管走向没有明显规律。血管的分割就是要匹配和保留血管的线性结构，形态学运算提供了多个形状的结构元，使用合适的形态学运算可以保留这些特定结构的几何元素。线性元素是能够精准地匹配血管的结构的，为了保留多方向走向的血管结构，需要引入多方向形态学的操作。通过对每个方向上进行形态学操作，可以匹配上各个方向上的血管。
通过对样本数据集的测试，采用开运算来匹配主血管。同时在12个方向上进行开运算，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上匹配多方向走向的血管。图4示出了根据本发明具体实施例的多个方向开运算增强结果，图(b)-(d)分别显示了对G通道反转图在30度、60度和90度方向上执行线性结构元的开运算结果。可以看出，多方向的形态学可以在增强在多方向上的线性血管。
为了综合多方向形态学的结果，取多方向形态学结果在各点的响应输出的最大值作为该点最终的响应，结果如图5的多方向形态学运算增强眼底图像，相比于图4(a)血管对比度有了一定的增强。
而由于多方向形态学的开运算是先腐蚀再膨胀，因此原本亮的部分像素会由于腐蚀的作用而变暗。因此，图5的多方向形态学运算增强眼底图像的亮度有所损失。而使用形态学重构可以恢复开运算损失的血管像素。为了修复开运算的腐蚀，采用膨胀形态学重构对多方向形态学运算增强眼底图像进行处理，得到图6的形态学重构图像。
进一步的，为了去除图6的形态学重构图像中的背景，要进行背景图的提取。针对背景图不含线性结构的特征，获取眼底图像的G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最小值作为该点最终的响应得到背景图，该背景图如图7(a)所示，将图6的形态学重构图像减去所述背景图得到最终的多方向形态学增强图，如图7(b)所示。从该图中可以看到，该图中主血管网络提取完整，但较为粗糙，微血管也被大量保留。
但对于图7(b)，血管周围的噪声比较严重，尤其在微血管周围，下面将进行滤波处理以在整体上增强血管。
多方向滤波增强微血管步骤S140：首先对所述最终的多方向形态学增强图进行多方向的高斯平滑滤波以血管周围的噪声，构造1*9的高斯卷积核并保持角度与形态学操作一致，然后对继续对噪声减除后的图像执行高斯—拉普拉斯滤波处理来增强微血管，其中高斯—拉普拉斯滤波的方向与高斯滤波的方向正交，取多个方向上在某点的响应的最大值作为该点的输出，完成在多个方向上微血管的增强，得到微血管增强图，最后对所述微血管增强图使用多方向的线性结构元的形态学开运算来匹配和增强血管线段，取各点的多方向最大响应作为该点输出，继续对输出图像使用膨胀形态学重构恢复部分损失的血管像素得到多方向滤波最终增强图。
在本步骤中，所述多方向与在多方向形态学增强主血管S130中的方向相同，即为12个方向，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上。
在本步骤中，首先使用高斯滤波降低血管周围的噪声。高斯滤波使用高斯函数作为卷积核作用图像中每个像素。二维的高斯函数定义如下：
由于血管的多方向走向的特征，为了获得更好的线性滤波效果，降低非血管噪声，和前面的多方向形态学操作类似，对多方向形态学增强结果进行多方向的高斯平滑滤波，构造1*9的高斯卷积核并保持角度与形态学操作一致。
接着，继续对噪声减除后的图像执行高斯—拉普拉斯滤波处理来增强微血管。图像I在点(x,y)处的拉普拉斯值L(x,y)定义如下：
二阶导数容易受到噪声和离散点影响，故将拉普拉斯算子作用于高斯函数得到高斯—拉普拉斯(LoG)算子，二维LoG算子计算公式如下：
由于血管横截面灰度呈高斯模型的特征，血管的宽度可以用高斯分布标准差σ近似估计。由于微血管的宽度较小，因而得到的LoG算子的绝对值就很大，从而计算的卷积核响应也将很大，微血管从而得到增强。于是在前面多方向平滑滤波的基础上，在其正交的方向上进行高斯—拉普拉斯滤波，卷积核尺寸保持与高斯滤波一致。最后，取多个方向上在某点的响应的最大值作为该点的输出，完成在多个方向上微血管的增强。
最后，虽然主血管和微血管都得以在邻域范围内增强，但是图像依旧偏暗，为了增强这两类尺度不等的血管，再次使用多方向形态学方法增强。即采用多方向的线性结构元的形态学开运算匹配和增强血管线段，取各点的多方向最大响应作为该点输出，最后使用膨胀形态学重构恢复部分损失的血管像素。图8(a)显示了多方向高斯滤波和高斯—拉普拉斯微血管增强结果，最终得到的多方向滤波最终增强图如图8(b)所示。
第二阈值分割血管步骤S150：使用直方图统计的方法提取所述多方向滤波最终增强图中的第二阈值亮度的灰度值作为血管分割的自适应阈值，完成血管分割，得到第二血管二值图。
进一步的，所述第二阈值为专家分割的样本集的血管二值图结果中血管像素占眼底像素的比例。进一步的，根据样本数据集中专家分割的血管二值图结果，血管像素约占眼底像素的13％，因此，可以设定所述第二阈值为第13％亮，即取图像中第13％亮的灰度值作为血管分割的自适应阈值。当然该值仅仅为示例，第二阈值还受到实际的彩色眼底图像的影响。图9(a)示出了采用自适应阈值分割后的结果示意图。
进一步的，对阈值分割之后的图像即图9(a)的第二血管二值图，清除小的孤立像素区域，并填充血管内的小孔洞以对第二血管二值图进行改进，即如图9(b)。从图9(b)中可以看出，多方向的形态学和多方向的滤波使得血管整体分割良好，血管分支被完整的保留。
血管最终分割步骤S160：将第一血管二值图与第二血管二值图合并，获得最终血管二值图。
由于以上两种方法得到的血管图各有优点也各有不足。与专家分割的血管图对比，基于Hessian矩阵增强后经阈值分割的血管图，整体上与专家分割接近，主血管分割良好，微血管延伸较远但是横截面断裂比较严重，受周围噪声干扰和微血管走向复杂无章的影响，难以选取合适的方法将微血管拼接完整，同时，噪声也不好轻易去除。而多方向形态学和滤波结果明显更加精细，各种走向的血管细节得以保留，在主血管延伸方向几乎没有断裂，血管连续性比较良好，但对比专家分割结果发现分割的主血管普遍较细，而且微血管由于多次的多方向结果叠加可能导致不够平滑。
因此，通过步骤S160综合两个方法的结果，将两个方法结果图合并作为最终的分割图，最终经过孤立像素区域清除的血管图如图10(b)。综合两个方法的结果，并参见图10(c)的专家手工分割结果，可以看出本发明的分割效果有了很大的提升。
实施例1：
针对DRIVE和STARE眼底库中血管分割，在图11和图12中按每列分别示出了(a)原眼底图，(b)基于Hessian矩阵的分割结果，(c)基于多方向形态学和滤波的分割结果，(d)最终分割结果，以及(e)金标准图。从中可以看出本发明过程中的基于Hessian矩阵增强的血管分割方法和基于多方向形态学和滤波的血管分割各有优势和不足，本发明最后的将两个方法的结果合并最终获得较好的分割效果。
血管的分割可以看成是像素标记的过程，即标记像素属于血管点还是背景点的过程，或称之为二分类过程。于是，与金标准血管图(金标准分类)比较，会出现下面四种分类结果：
(1)真阳性TP(true positive)：分类为血管点，实际上也是血管点；
(2)真阴性TN(true negative)：分类为背景点，实际上也是背景点；
(3)伪阳性FP(false positive)：分类为血管点，但实际上是背景点；
(4)伪阴性FN(false negative)：分类为背景点，但实际上是血管点。
因此，真正的血管像素点个数P为真阳性和伪阴性像素点之和，即P＝TP+FN；真正的背景像素点个数N为真阴性和伪阳性像素点之和，即N＝TN+FP。
血管分割的好与坏使用灵敏度Sn、特异性Sp和准确度Acc三个指标衡量，计算公式如下：
灵敏度衡量血管点分割正确的准确率；特异性衡量背景点分割正确的准确率；准确度衡量是两者的折中，综合评估算法对血管分割的正确率。三个指标值都在区间[0，1]内，三个值越大表明分割效果越好。
将该方法与现有技术中的其他方法的结果进行比较。表1和表2分别显示了该方法与其他方法的分割结果对比，本发明的方法在其他指标基本相同的情况下，具有更高的灵敏度，能够促进自动血管分割。Shanmugam提出的基于极端学习机(Extreme LearningMachine)训练的像素分类方法虽然某些参数优于本发明的各项指标值，不过该方法需要依赖特定的训练图像，而训练图需要根据样本提前绘制出来，有一定的适用局限性，而本发明适应性广，无须提前训练。
表1 DRIVE眼底库下多个方法分割结果对比
表2 STARE眼底库下多个方法分割结果对比
| 方法 | 灵敏度Sn | 特异性Sp | 准确度Acc |
| Soares | 0.7197 | 0.9747 | 0.9480 |
| Marín | 0.6944 | 0.9819 | 0.9526 |
| Martinez-Perez | 0.7506 | 0.9569 | 0.9410 |
| Khan | 0.7728 | 0.9649 | 0.9518 |
| Yin | 0.7249 | 0.9666 | 0.9413 |
| Fraz | 0.7548 | 0.9763 | 0.9534 |
| Shanmugam | 0.8274 | 0.9679 | 0.9862 |
| 本发明 | 0.8257 | 0.9517 | 0.9422 |
因此，本发明的血管分割方法综合了两个阶段的方法的优点，并合并，因此能够提高血管识别的灵敏度，在无须提前训练的情况下具有较好的计算效率。
本发明还公开了一种眼底图像中血管的分割装置，包括
处理器，
存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行权利要求1-8中的任意一项所述的方法。
进一步的，本发明还公开了一种存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行上述的血管的方法。
显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。
Claims (10)
1.一种眼底图像中血管的分割方法，包括如下步骤：
Hessian矩阵增强血管步骤S110：对彩色眼底图像进行灰度化，选取G通道作为处理对象，使用Hessian矩阵眼底灰度图像进行处理，选取尺度范围[σmin,σmax]，将其平均分为N个尺度，并取每一点在其中的最大值作为图像在该点的响应值，得到多尺度增强图；
第一阈值分割步骤S120：对所述多尺度增强图，选取第一阈值以分割出血管，得到第一血管二值图；
多方向形态学增强主血管S130：首先对彩色眼底图像进行灰度化，选取G通道作为处理对象并进行反转得到G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最大值作为该点最终的响应得到多方向形态学增强眼底图像，以所述多方向形态学增强眼底图像为标记图像，以G通道反转图为模板图像，进行膨胀形态学重构，得到形态学重构图像，然后再次利用G通道反转图，利用多方向的线性结构元对所述G通道反转图在每个方向进行形态学开运算，取多方向形态学结果在各点的响应输出的最小值作为该点最终的响应得到背景图，将所述形态学重构图像减去所述背景图得到最终的多方向形态学增强图；
多方向滤波增强微血管步骤S140：首先对所述最终的多方向形态学增强图进行多方向的高斯平滑滤波以降低血管周围的噪声，构造1*9的高斯卷积核并保持角度与形态学操作一致，然后对噪声减除后的图像执行高斯—拉普拉斯滤波处理来增强微血管，其中高斯—拉普拉斯滤波的方向与高斯滤波的方向正交，取多个方向上在某点的响应的最大值作为该点的输出，完成在多个方向上微血管的增强，得到微血管增强图，最后对所述微血管增强图使用多方向的线性结构元的形态学开运算来匹配和增强血管线段，取各点的多方向最大响应作为该点输出，继续对输出图像使用膨胀形态学重构恢复部分损失的血管像素得到多方向滤波最终增强图；
第二阈值分割血管步骤S150：使用直方图统计的方法提取所述多方向滤波最终增强图中的第二阈值亮度的灰度值作为血管分割的自适应阈值，完成血管分割，得到第二血管二值图；
血管最终分割步骤S160：将所述第一血管二值图与所述第二血管二值图合并，获得最终血管二值图。
2.根据权利要求1所述的血管的分割方法，其特征在于：
在所述Hessian矩阵增强血管步骤S110中，尺度范围是[0.5，6]，迭代步长设置为0.4。
3.根据权利要求1所述的血管的分割方法，其特征在于：
在所述第一阈值分割步骤S120中，所述第一阈值为3。
4.根据权利要求1所述的血管的分割方法，其特征在于：
在多方向形态学增强主血管S130中，所述多方向为12个方向上进行开运算，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上匹配多方向走向的血管。
5.根据权利要求1所述的血管的分割方法，其特征在于：
在多方向滤波增强微血管步骤S140中，所述多方向为12个方向，将180度分成12等份，即分别在沿水平轴0度、15度、30度、……、150度和165度方向上。
6.根据权利要求1所述的血管的分割方法，其特征在于：
在所述第二阈值分割血管步骤S150中，所述第二阈值为专家分割的样本集的血管二值图结果中血管像素占眼底像素的比例。
7.根据权利要求6所述的血管的分割方法，其特征在于：
所述第二阈值还受到实际的彩色眼底图像的影响。
8.根据权利要求1所述的血管的分割方法，其特征在于：
在所述第二阈值分割血管步骤S150中，对阈值分割之后的第二血管二值图，清除小的孤立像素区域，并填充血管内的小孔洞以对第二血管二值图进行改进。
9.一种眼底图像中血管的分割装置，包括
处理器，
存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行权利要求1-8中的任意一项所述的方法。
10.一种存储介质，用于存储计算机可执行指令，
其中所述计算机可执行指令在被处理器执行时执行权利要求1-8中的任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422567.8A CN108154519B (zh) | 2017-12-25 | 2017-12-25 | 眼底图像中血管的分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711422567.8A CN108154519B (zh) | 2017-12-25 | 2017-12-25 | 眼底图像中血管的分割方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154519A CN108154519A (zh) | 2018-06-12 |
| CN108154519B true CN108154519B (zh) | 2020-04-24 |
Family
ID=62462001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711422567.8A Active CN108154519B (zh) | 2017-12-25 | 2017-12-25 | 眼底图像中血管的分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154519B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961280B (zh) * | 2018-06-29 | 2021-11-02 | 电子科技大学 | 一种基于slic超像素分割的眼底视盘精细分割方法 |
| CN110675325B (zh) * | 2018-07-03 | 2023-04-28 | 柯鑫 | 一种增强眼底图像的方法和装置 |
| CN109447956B (zh) * | 2018-10-12 | 2022-09-27 | 翟启超 | 一种血管相对宽度计算方法和系统 |
| CN109584167A (zh) * | 2018-10-24 | 2019-04-05 | 深圳市旭东数字医学影像技术有限公司 | 基于二阶特征的ct图像肝内血管增强与分割方法及系统 |
| CN109389614A (zh) * | 2018-10-24 | 2019-02-26 | 山东大学 | 一种快速光学成像数据分割方法 |
| CN109559326B (zh) * | 2018-11-05 | 2020-11-13 | 深圳睿心智能医疗科技有限公司 | 一种血流动力学参数计算方法、系统及电子设备 |
| CN109886938B (zh) * | 2019-01-29 | 2023-07-18 | 深圳市科曼医疗设备有限公司 | 一种超声图像血管直径自动测量方法 |
| CN110046646B (zh) * | 2019-03-07 | 2023-06-30 | 深圳先进技术研究院 | 图像处理方法、系统、计算设备及存储介质 |
| CN110473188B (zh) * | 2019-08-08 | 2022-03-11 | 福州大学 | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 |
| CN110610147A (zh) * | 2019-08-30 | 2019-12-24 | 中国科学院深圳先进技术研究院 | 血管图像提取方法、相关装置及存储设备 |
| CN111899213B (zh) * | 2020-06-03 | 2024-03-22 | 浙江工业大学 | 一种基于高角度分辨率扩散成像的脑血管重建方法 |
| CN111968051A (zh) * | 2020-08-10 | 2020-11-20 | 珠海普生医疗科技有限公司 | 一种基于曲率分析的内窥镜血管增强方法 |
| CN112102188A (zh) * | 2020-09-11 | 2020-12-18 | 杭州微引科技有限公司 | 一种基于gpu的分布式计算的多尺度血管增强滤波方法 |
| CN112330553B (zh) * | 2020-10-30 | 2022-07-01 | 武汉理工大学 | 一种裂缝图像去噪方法、设备及存储介质 |
| CN112308846B (zh) * | 2020-11-04 | 2021-07-13 | 赛诺威盛科技(北京)股份有限公司 | 血管分割方法、装置及电子设备 |
| CN113158960A (zh) * | 2021-05-06 | 2021-07-23 | 吴国军 | 一种医学图像识别模型构建和识别方法及装置 |
| CN115409762B (zh) * | 2021-05-28 | 2023-11-24 | 南京博视医疗科技有限公司 | 自动检测规划点与血管的重叠的方法及装置 |
| CN113379649A (zh) * | 2021-07-09 | 2021-09-10 | 浙江大学 | 一种图像增强方法、装置、设备及存储介质 |
| CN113421254B (zh) * | 2021-07-20 | 2024-04-26 | 广州医软智能科技有限公司 | 微循环血管分支长度和直径计算方法及装置和终端设备 |
| CN113822897A (zh) * | 2021-11-22 | 2021-12-21 | 武汉楚精灵医疗科技有限公司 | 血管分割方法、终端及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732499A (zh) * | 2015-04-01 | 2015-06-24 | 武汉工程大学 | 基于多尺度多方向的视网膜图像增强算法 |
| CN105069803A (zh) * | 2015-08-19 | 2015-11-18 | 西安交通大学 | 一种基于彩色图像的糖尿病病变体微血管瘤的分类装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10019796B2 (en) * | 2015-10-16 | 2018-07-10 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
-
2017
- 2017-12-25 CN CN201711422567.8A patent/CN108154519B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732499A (zh) * | 2015-04-01 | 2015-06-24 | 武汉工程大学 | 基于多尺度多方向的视网膜图像增强算法 |
| CN105069803A (zh) * | 2015-08-19 | 2015-11-18 | 西安交通大学 | 一种基于彩色图像的糖尿病病变体微血管瘤的分类装置 |
Non-Patent Citations (3)
| Title |
|---|
| An approach to localize the retinal blood vessels using bit planes and centerline detection;M.M. Fraz 等;《ELSEVIER》;20111231;第1-17页 * |
| Vascular Tree Segmentation in Medical Images Using Hessian-Based Multiscale Filtering and Level Set Method;Jiaoying Jin 等;《Hindawi》;20131231;第1-10页 * |
| 基于Hessian矩阵的多尺度视网膜图像增强方法;游嘉 等;《计算机应用》;20110630;第31卷(第6期);第1560-1562页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154519A (zh) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108154519B (zh) | 眼底图像中血管的分割方法、装置及存储介质 | |
| CN107316031B (zh) | 用于行人重识别的图像特征提取方法 | |
| CN108053417B (zh) | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 | |
| Chen et al. | 3D intracranial artery segmentation using a convolutional autoencoder | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| Jiang et al. | Mathematical-morphology-based edge detectors for detection of thin edges in low-contrast regions | |
| Thalji et al. | Iris Recognition using robust algorithm for eyelid, eyelash and shadow avoiding | |
| Mustafa et al. | Image enhancement technique on contrast variation: a comprehensive review | |
| CN108121946B (zh) | 一种指纹图像预处理方法及装置 | |
| Arcelli et al. | Finding grey-skeletons by iterated pixel removal | |
| Leo | MRI brain image segmentation and detection using K-NN classification | |
| CN116309676A (zh) | 一种冠脉血管图像分割方法、装置、电子设备及存储介质 | |
| CN117496144A (zh) | 一种应用于皮损分割的多注意力编解码器网络和系统 | |
| Kavitha et al. | Blood vessel, optical disk and damage area-based features for diabetic detection from retinal images | |
| Singh et al. | An efficient combined approach for medical brain tumour segmentation | |
| Soni et al. | CT scan based brain tumor recognition and extraction using Prewitt and morphological dilation | |
| Filali et al. | An improved approach for skin lesion analysis based on multiscale decomposition | |
| Nandy et al. | A comparative analysis of application of Niblack and Sauvola binarization to retinal vessel segmentation | |
| Swapnil et al. | Image mining methodology for detection of brain tumor: a review | |
| Sathya et al. | Contourlet transform and morphological reconstruction based retinal blood vessel segmentation | |
| CN109145748B (zh) | 可见光静脉显像图像的静脉线提取算法 | |
| Subashini et al. | Pectoral muscle removal and detection of masses in digital mammogram using CCL | |
| González-Hidalgo et al. | Noisy image edge detection using an uninorm fuzzy morphological gradient | |
| CN111311586A (zh) | 基于非线性健康分析系统数据多指标动态整合算法和系统 | |
| Ooto et al. | Cost reduction of creating likelihood map for automatic polyp detection using image pyramid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |