CN109087703A - 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 - Google Patents
基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 Download PDFInfo
- Publication number
- CN109087703A CN109087703A CN201810972458.1A CN201810972458A CN109087703A CN 109087703 A CN109087703 A CN 109087703A CN 201810972458 A CN201810972458 A CN 201810972458A CN 109087703 A CN109087703 A CN 109087703A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- window
- convolution
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 48
- 210000000683 abdominal cavity Anatomy 0.000 title claims abstract description 41
- 239000003550 marker Substances 0.000 title claims abstract description 11
- 230000001394 metastastic effect Effects 0.000 title claims abstract description 10
- 206010061289 metastatic neoplasm Diseases 0.000 title claims abstract description 10
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 8
- 210000004940 nucleus Anatomy 0.000 claims description 35
- 239000002245 particle Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000002203 pretreatment Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 3
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 210000000299 nuclear matrix Anatomy 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000007873 sieving Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 abstract description 12
- 239000000284 extract Substances 0.000 abstract description 11
- 201000011510 cancer Diseases 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007912 intraperitoneal administration Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其步骤是:1)CT图像预处理;2)采用分水岭法分割预处理后的CT图像,提取候选结节;3)为候选结节构建对应的神经网络输入;4)搭建深度卷积神经网络模型,使用已标记候选结节对应的神经网络输入训练神经网络模型;5)使用神经网络模型预测未标记候选结节为肿瘤结节的概率,最后输出确定标记的所有CT图像,其中阴性标记表示未发生肿瘤腹膜转移,阳性标记表示发生了腹膜转移。本发明方法能够完成大量腹腔CT图像腹膜转移的自动标记,为恶性肿瘤诊疗提供依据;易于理解、实施简易,适用于海量腹腔CT图像的自动标记,具有良好的扩展性、鲁棒性和实用性。
Description
技术领域
本发明属于医学图像处理领域,涉及一种基于深度卷积神经网络的腹腔CT图像肿瘤腹膜转移自动标记方法,运用图像处理技术和深度学习方法,实现大量腹腔CT图像中肿瘤结节的自动标记。
背景技术
腹膜是腹腔内多种恶性肿瘤常见的转移部位,标记腹膜转移是评价恶性肿瘤治愈效果的重要依据。存在腹膜转移的肿瘤患者病情发展快、预后差,临床治疗难度大,需要尽早诊断、及时治疗。标记腹膜转移可通过结节检测来完成,腹腔CT图像是检测肿瘤结节的重要诊断依据。但CT会产生大量的图像,其中包含淋巴、血管等类似于结节的图像颗粒,通过结节检测腹腔转移需要经验丰富的医师来完成,现有的人工阅片方式会消耗大量人力和时间资源,而且受主观因素影响,检测精度低且难以重复。通过人工智能技术处理腹腔CT图像,自动标记腹膜转移以进行恶性肿瘤诊断是计算机辅助医疗的新趋势之一,能够在减少医师工作量的同时提高诊断准确性。
计算机辅助进行结节检测的步骤一般包括1)预处理;2)候选结节检测;3)假正例缩减。预处理通常用于规范化数据、限制结节搜索空间、减少噪声影响等;候选结节检测的目标是检测到尽可能多的肿瘤结节,但通常会检测到大量的假结节,即假正例;假正例缩减阶段的目标是尽可能排除候选结节中的假结节。
发明内容
本发明所要解决的技术问题是提供一种基于深度卷积神经网络的腹腔CT图像腹膜转移自动标记方法,首先对CT图像进行预处理和分割,基于颗粒图像提取候选结节;然后搭建并训练深度卷积神经网络模型,使用训练好的模型预测候选结节为肿瘤结节的概率;最后输出确定标记的CT图像。
为实现上述目的,本发明采用如下的步骤:
1)读取腹腔CT图像,对其进行预处理,包括调窗、中值滤波去噪、直方图均衡化,基于窗位和窗宽获取CT图像集;
2)采用分水岭法分割预处理后的CT图像以获取颗粒图像,筛选、合并颗粒图像以提取候选结节;
3)为候选结节构建对应的神经网络输入;
4)搭建深度卷积神经网络模型,设定损失函数,使用已标记候选结节对应的神经网络输入训练深度卷积神经网络模型;
5)使用深度卷积神经网络模型预测未标记候选结节为肿瘤结节的概率,由此标记腹腔CT图像,最后输出确定标记的所有CT图像。
上述步骤1)中基于窗位和窗宽获取CT图像集的处理过程是:首先对每张原始CT图像进行调窗操作,将图像CT值转换成255个灰度级以突出显示设定范围内的CT值,调窗通过窗宽Hw(范围的大小,单位:HU)和窗位Hc(范围的中心,单位:HU)来设定;对每张原始CT图像进行三次不同窗宽、窗位的调窗操作,分别为:腹窗(窗位:Hc=40HU,窗宽:Hw=250HU),窄窗(窗位:Hc=30HU,窗宽:Hw=150HU),以及宽窗(窗位:Hc=-600HU,窗宽:Hw=700HU);
然后基于窗位Hc和窗宽Hw计算CT值范围的上、下界Hmin、Hmax,公式如下:
基于Hmin、Hmax计算对应的像素灰度值Pmin和Pmax,公式如下:
其中H为图像CT值,H为其对应的灰度值,slope、intercept(斜率、截距)为当前的CT图像参数;基于灰度值范围Pmin和Pmax,对CT图像中的每个像素灰度值x转换得到灰度值g,公式如下:
其中U为转换后灰度值g的上限。
按照上述转换,每张原始CT图像共产生三张不同窗宽和窗位的预处理后CT图像。
上述步骤2)中在CT图像中提取候选结节的处理流程是:对三张预处理后CT图像分别进行分水岭法分割以获取颗粒图像;基于像素个数(颗粒图像中包含的像素个数)设置范围值(5到60),筛选出满足范围条件的颗粒图像;汇聚来自三张CT图像筛选后的颗粒图像,根据颗粒图像在原始CT图像中的位置及占据范围去除完全处于其它颗粒图像范围的小颗粒图像,合并存在交叉的颗粒图像,记录剩余颗粒图像的位置及占据范围,即为从CT图像中提取到的候选结节。
上述步骤3)中基于候选结节构建神经网络输入的处理流程是:基于每张CT图像提取到的候选结节集,对于每一个候选结节,计算其像素平均坐标作为中心坐标(x0,y0),以(x0,y0)为中心分别划取M种尺度(M=3,则有小尺度:20×20,中尺度:40×40,大尺度:60×60)的矩形范围;针对3张不同窗位和窗宽的CT图像,按M种尺度获得3×M张矩阵图像;将各张矩形图像通过线性插值法变换到224×224大小,得到该候选结节对应的神经网络输入。
上述步骤4)中搭建深度卷积神经网络包括卷积层设置和结构设置组成,其中卷积的设置是:卷积层的输入是特征图F,为三维矩阵a×a×c,其中c是通道数,a是每一个通道中特征的边长;卷积层包含n个卷积核K,为二维矩阵k×k,记为K1,K2,...,Kn;在特征图F各通道特征上设定与卷积核对应的滑动窗口S,为二维矩阵k×k,S的位置通过其中心点位置确定,S中心点的初始位置为通道特征的左上角第一点,c个通道的滑动窗口记为S1,S2,...,Sc,S中如果有超出通道特征的点,则对应矩阵数值填充为0;步长s为滑动窗口S中心点一次滑动的距离;参数a,c,n,k,s在不同卷积层有不同的设置。
卷积操作为基于卷积核Km(m是下标,1≤m≤n)计算特征图各通道滑动窗口内矩阵与卷积核矩阵的卷积,计算公式如下:
下标i和j对应第i行和第j列;该值对应于新特征图在通道m上的一点,点的横、纵坐标由当前滑动窗口S的中心点在横、纵方向上与初始位置滑动窗口中心点相隔的中心点个数决定;按步长s不断同步滑动各通道窗口,直至窗口中心点滑出特征图F,即可得到新特征图的第m通道特征,使用n个卷积核得到n个通道的新特征,组成新的特征图F’,作为卷积层的输出。
上述步骤4)中深度卷积神经网络模型的结构设置是:针对候选结节M(M=3)种尺度获得的输入图像,分别构建M个相同的卷积网络分支;将提取的M组特征图按通道拼接,然后通过全局平均池化得到特征向量;将其输入全连接层、由输出层判断该候选结节为肿瘤结节的概率;
其中每个卷积网络分支包含8组卷积层,设置如下:
Conv1卷积层:卷积核大小k=7,卷积核数n=64,步长s=2,输出特征图大小为112×112×64(即长和宽a=112,通道数c=64);
Conv2_x卷积层组:含有7层,输出特征图大小为56×56×64(即a=56,c=64);第1层为最大值池化层,卷积核大小k=3,步长s=2,卷积核数n=64;第2层到第7层为卷积层,卷积核大小k=3,卷积核数n=64,步长s=1;
Conv3_x卷积层组:含有8个卷积层,输出特征图大小为28×28×128(即a=28,c=128);第1层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=2;第2层到第8层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=1;
Conv4_x卷积层组:含有12个卷积层,输出特征图大小为14×14×256(即a=14,c=256);第1层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=2;第2层到第12层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=1;
Conv5_x卷积层组:含有6个卷积层,输出特征图大小为7×7×512(即a=7,c=512);第1层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=2;第2层到第6层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=1;
Conv6卷积层:卷积核大小k=3,卷积核数n=128,步长s=2,输出特征图大小为28×28×128(即a=28,c=128);
Conv7卷积层:卷积核大小k=3,卷积核数n=256,步长s=2,输出特征图大小为14×14×256(即a=14,c=256);
Conv8卷积层:卷积核大小k=3,卷积核数n=512,步长s=2,输出特征图大小为7×7×512(即a=7,c=512);
剩余的三个层次设置是:
Avgpool池化层:全局平均池化层,输出一维向量,长度为3072;
Fc全连接层:全连接层(Full connection),包含512个ResNet全连接神经元节点;
Softmax输出层:包含2个使用softmax损失函数的ResNet输出神经元节点;
上述步骤4)中深度卷积神经网络模型的损失函数设置是:使用softmax损失函数,公式如下:
loss=-(1-cl)×log(1-pl)-cl×log(pl) (5)
其中loss为计算的损失值,cl为神经网络输入对应的候选结节标记,如果该候选结节为肿瘤结节cl=1,否则cl=0;pl为神经网络的输出结果,即预测候选结节是肿瘤结节的概率值。
上述步骤4)中训练深度卷积神经网络模型的处理过程是:对M个卷积网络分支的共享参数,初始参数通过在ImageNet 2012分类数据集(http://image-net.org/challenges/LSVRC/)上训练来设定;后三层(Avgpool池化层,Fc全连接层,以及Softmax输出层)的初始参数随机设定;然后根据已标记的候选结节构建的神经网络输入,通过训练网络模型,对所有网络参数进行微调。
上述步骤5)中基于深度卷积神经网络模型标记腹腔CT图像的处理过程是:首先对于每张未标记腹腔CT图像,基于步骤1)进行预处理,基于步骤2)提取候选结节,为每个候选结节构建神经网络输入;然后使用训练好的深度卷积神经网络模型预测各候选结节是肿瘤结节的概率,若概率大于0.5,则该候选结节预测为肿瘤结节,否则预测为假结节;最后当未标记腹腔CT图像存在预测为肿瘤结节的候选结节时,标记CT图像为阳性,否则标记其为阴性。
本发明方法结合候选结节本身及其周围环境特点,融合不同抽象程度的特征以更准确地排除假结节,完成大量腹腔CT图像的肿瘤腹膜转移自动标记,为恶性肿瘤诊疗提供依据;本发明方法易于理解、实施简易,适用于海量腹腔CT图像的自动标记,具有良好的扩展性、鲁棒性和实用性。
附图说明
图1是本发明方法的总体框架图;
图2、图3是腹腔CT图像的示意图(其中包含结节的标记);
图4是构建神经网络输入的处理流程图;
图5是深度卷积神经网络中卷积层操作的示意图;
图6是深度卷积神经网络模型的架构示意图。
具体实施方式
下面结合附图详细阐述本发明的实现过程:
本发明应用深度卷积神经网络技术排除候选结节中的假结节,深度卷积神经网络直接以图像为输入,可叠加不同卷积层和池化层处理图像信息,提取图像层次化特征表示;模型低层产生关于图像边、角之类的浅层特征表示,高层产生具有类别判别性的抽象特征表示。在卷积神经网络研究中,网络深度是至关重要的因素,很多研究探索使用高深度的模型,但随着网络深度地增加,会出现一种“退化”问题,即模型准确度逐渐达到饱和并迅速下降,此时模型训练误差增大并难以训练。ResNet模型通过引入一种残差学习结构处理这种退化问题,该类模型更易优化,并且分类性能可随网络深度增加而提高。
图1是基于深度卷积神经网络的腹腔CT图像腹膜转移自动标记方法的总体框架,方法的输入是专家标记过的腹腔CT图像集和未标记腹腔CT图像集,输出是确定标记的腹腔CT图像,如果CT图像中包含肿瘤腹膜转移,则标记为阳性,否则标记为阴性。技术框架划分为5个主要步骤:
1)读取腹腔CT图像,对其进行预处理,包括调窗、中值滤波去噪、直方图均衡化,每张原始CT图像基于调窗获取3张预处理CT图像;
2)采用分水岭法分割预处理后的CT图像以获取颗粒图像,筛选、合并颗粒图像以提取候选结节;
3)为候选结节构建对应的神经网络输入;
4)搭建深度卷积神经网络模型,设定损失函数,使用已标记候选结节对应的神经网络输入训练深度卷积神经网络模型;
5)使用深度卷积神经网络模型预测未标记候选结节为肿瘤结节的概率,由此标记腹腔CT图像,最后输出确定标记的所有CT图像。
上述步骤1)中每张原始CT图像基于3种调窗获取3张预处理CT图像的处理流程是:
CT值是测定人体某一局部组织或器官密度大小的一种计量单位,通常称亨氏单位(Hounsfield Unit,简称HU),其与DICOM格式CT图像像素灰度值的对应关系为:
其中P为DICOM图像像素灰度值,H为其对应CT值,slope、intercept(斜率、截距)可通过读取DICOM图像参数信息得到。
首先对每张原始CT图像进行调窗操作,调窗操作是CT检查中用以观察不同密度的正常或病变组织的一种显示技术,它将CT图像转换成255个灰度级以突出显示设定范围内的CT值,该范围通过窗宽Hw(范围的大小,单位:HU)和窗位Hc(范围的中心,单位:HU)来设定,用以计算突出显示的CT值范围上界Hmin(单位:HU)和下界Hmax(单位:HU),计算公式如下:
因腹腔内器官众多,各器官有自身最适合观察的窗位、窗宽,设定每张原始CT图像进行3次不同窗宽、窗位的调窗操作,分别为:腹窗(窗位:Hc=40HU,窗宽:Hw=250HU),可分辨腹部组织或结构;窄窗(窗位:Hc=30HU,窗宽:Hw=150HU)适于分辨密度较接近的组织或结构;宽窗(窗位:Hc=-600HU,窗宽:Hw=700HU)适于分辨密度差别大的组织或结构。
设定以CT值为单位的窗位Hc、窗宽Hw后,对原始DICOM图像进行调窗的流程是:基于公式(2)计算CT值范围的上、下界Hmin、Hmax;基于公式(1)分别计算Hmin、Hmax在DICOM格式图像中对应的像素灰度值,较小的灰度值记为Pmin,较大的灰度值记为Pmax;然后对于DICOM图像中灰度值为x的像素点,转换后的灰度值g为:
其中U为转换后灰度值g的上限,本实施例中,采用255像素作为设定的灰度级,也可按照清晰度需求设定其他灰度级。
对DICOM格式图像中的每个像素灰度值分别基于公式(3)进行转换,得到调窗后的CT图像。
其次对调窗后的CT图像进行中值滤波去噪;进行直方图均衡化以增强图像对比度,便于分割;最后每张原始CT图像产生三张不同窗宽、窗位的预处理后CT图像。
上述步骤2)中提取候选结节的处理流程是:如图4中“提取候选结节”部分所示。为提高候选结节中肿瘤结节的概率,本发明对每张原始CT图像对应的三张预处理后图像分别进行分水岭法分割以获取颗粒图像;基于像素个数(颗粒图像中包含的像素个数)特征设置范围值(5到60),统计每个颗粒图像的像素个数,筛选出满足范围条件的颗粒图像;汇聚来自三张CT图像筛选后的颗粒图像,根据颗粒图像在完整CT图像中的位置及占据范围去除完全处于其它颗粒图像范围的小颗粒图像,合并存在交叉的颗粒图像,记录剩余颗粒图像的位置及占据范围,即为从对应原始腹腔CT图像中提取到的候选结节。
上述步骤3)中构建候选结节对应神经网络输入的处理流程是:如图4中“构建神经网络输入”部分所示。每张原始CT图像经步骤1)、步骤2)提取到候选结节集,对于其中的候选结节,计算其像素平均坐标作为中心坐标(x0,y0),以(x0,y0)为中心分别划取3种尺度(M=3,则有小尺度:20×20,中尺度:40×40,大尺度:60×60)的矩形范围,基于3种尺度矩形的坐标范围在直方图均衡化操作前的3张预处理CT图像上取得3×3张矩形图像,则每种尺度对应3张不同窗宽、窗位的矩形图像,总共3×3=9张,将9张矩形图像通过线性插值法变换到224×224大小,即可得到该候选结节对应的神经网络输入。
上述步骤4)搭建深度卷积神经网络的处理流程是:如图4所示,深度卷积神经网络的关键在于卷积层的操作,记特征图F为上一层产生的特征,是一个三维矩阵a×a×c,其中c是通道数,a是每一个通道中特征的边长;设定卷积核矩阵K的大小为k×k、卷积核数为n,则各卷积核记为K1,K2,...,Kn;在特征图各通道特征上设定同样大小(k×k)的滑动窗口S,S的位置通过其中心点位置确定,并设S中心点的初始位置为通道特征的左上角第一点,各通道特征滑动窗口内的矩阵记为S1,S2,...,Sc,窗口内超出通道特征的点对应的矩阵数值填充为0;设定步长s为滑动窗口中心点一次滑动的距离,上述参数在各个卷积层有不同的设置。
基于卷积核Km(1≤m≤n)分别计算特征图各通道滑动窗口内矩阵与卷积核矩阵的卷积运算结果并求和,计算公式如下:
该值对应于新特征图在通道m上的一点,点的横、纵坐标由当前滑动窗口S的中心点在横、纵方向上与初始位置滑动窗口中心点相隔的中心点个数决定;按步长不断同步滑动各通道窗口并基于公式(4)计算直至窗口中心点滑出特征图F,即可得到新特征图的第m通道特征,使用n个卷积核便可得到n个通道的新特征,组成新的特征图F’,用于下一层计算。
图4是本发明深度卷积神经网络模型的示意图(图中接受M=3组输入,构建M=3个卷积网络分支),其中“Contact”代表按通道拼接不同特征图。
本发明设计深度卷积神经网络模型接受3组输入(M=3,则有输入A、B、C分别对应于候选结节通过小尺度、中尺度、大尺度范围构建的输入图像),则,并且各含3张图像,对应于3种窗宽、窗位的输入图像。则深度卷积神经网络模型设计思路为:使用3个相同的卷积网络分支分别接受3组输入提取其特征图,将提取的3组特征图按通道拼接,然后通过全局平均池化得到特征向量,将其输入全连接层、输出层判断该候选结节为肿瘤结节的概率。
本发明基于ResNet模型搭建卷积网络分支提取输入图像的特征图,则深度卷积神经网络架构包含:
Conv1卷积层:卷积核大小k=7,卷积核数n=64,步长s=2,输出特征图大小为112×112×64(即a=112,c=64);
Conv2_x卷积层组:含有7层,输出特征图大小为56×56×64(即a=56,c=64);第1层为最大值池化层,滑动窗口大小k=3,步长s=2,其滑动窗口初始位置、各通道特征滑动窗口内矩阵的设置与卷积层操作相同;第2层到第7层为卷积层,卷积核大小k=3,卷积核数n=64,步长s=1;
Conv3_x卷积层组:含有8个卷积层,输出特征图大小为28×28×128(即a=28,c=128);第1层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=2;第2层到第8层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=1;
Conv4_x卷积层组:含有12个卷积层,输出特征图大小为14×14×256(即a=14,c=256);第1层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=2;第2层到第12层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=1;
Conv5_x卷积层组:含有6个卷积层,输出特征图大小为7×7×512(即a=7,c=512);第1层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=2;第2层到第6层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=1;
Conv6卷积层:卷积核大小k=3,卷积核数n=128,步长s=2,输出特征图大小为28×28×128(即a=28,c=128);
Conv7卷积层:卷积核大小k=3,卷积核数n=256,步长s=2,输出特征图大小为14×14×256(即a=14,c=256);
Conv8卷积层:卷积核大小k=3,卷积核数n=512,步长s=2,输出特征图大小为7×7×512(即a=7,c=512);
Avgpool池化层:全局平均池化层,输出一维向量,长度为3072;
Fc全连接层:全连接层(Full connection),包含512个ResNet全连接神经元节点;
Softmax输出层:包含2个使用softmax函数的输出神经元节点。
训练网络模型时,设定3个卷积网络分支共享参数,首先设定其初始共享参数通过在ImageNet 2012分类数据集(http://image-net.org/challenges/LSVRC/)上训练来设定,后三层(Avgpool池化层,Fc全连接层,以及Softmax输出层)初始参数随机设定,然后根据已标记候选结节构建的神经网络输入对所有网络参数进行微调。模型使用softmax损失函数训练神经网络,记cl为神经网络输入对应的候选结节的标记,如果该候选结节为肿瘤结节,cl=1,否则,cl=0。则损失函数定义为:
loss=-(1-cl)×log(1-pl)-cl×log(pl) (5)
其中pl为神经网络的输出结果,即预测候选结节是肿瘤结节的概率。
上述步骤5)中标记腹腔CT图像的处理过程是:每张未标记腹腔CT图像基于步骤1)进行预处理,基于步骤2)提取候选结节,为每个候选结节构建神经网络输入,使用训练好的深度卷积神经网络模型预测候选结节是肿瘤结节的概率,若概率大于0.5,则该候选结节预测为肿瘤结节,否则预测为假结节。当未标记腹腔CT图像存在候选结节被预测为肿瘤结节,则标记CT图像为阳性,否则标记其为阴性。
本发明方法充分利用腹腔CT图像特点和肿瘤腹膜转移特征,通过分水岭法分割CT图像以提取候选结节,基于ResNet模型搭建深度卷积神经网络模型,模型通过结合候选结节本身及其周围环境的特点,融合不同抽象程度的特征以更准确地排除假结节,完成大量腹腔CT图像的肿瘤腹膜转移自动标记,为恶性肿瘤诊疗提供依据。本发明方法易于理解、实施简易,适用于海量腹腔CT图像的自动标记,具有良好的扩展性、鲁棒性和实用性。
本发明方法的具体应用途径很多,以上所述仅是本发明的优选实施方式。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进,这些改进也应视为本发明的保护范围。
Claims (7)
1.基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,首先对CT图像进行预处理和分割,基于颗粒图像提取候选结节;然后搭建并训练深度卷积神经网络模型,使用训练的模型预测候选结节为肿瘤结节的概率;最后输出确定标记的CT图像。
2.根据权利要求1所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述方法具体好包括以下步骤:
1)读取腹腔CT图像,对其进行预处理,基于窗位和窗宽获取CT图像集;
2)采用分水岭法分割预处理后的CT图像以获取颗粒图像,筛选、合并颗粒图像以提取候选结节;
3)为候选结节构建对应的神经网络输入;
4)搭建深度卷积神经网络模型,设定损失函数,使用已标记候选结节对应的神经网络输入训练深度卷积神经网络模型;
5)使用深度卷积神经网络模型预测未标记候选结节为肿瘤结节的概率,由此标记腹腔CT图像,最后输出确定标记的所有CT图像。
3.根据权利要求2所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述步骤1)具体为:
首先对每张原始CT图像进行调窗操作,将图像CT值转换成设定的灰度级,调窗通过窗宽Hw和窗位Hc来设定;对每张原始CT图像进行三次不同窗宽、窗位的调窗操作,分别为:腹窗、窄窗以及宽窗;
然后基于窗位Hc和窗宽Hw计算CT值范围的上、下界Hmin、Hmax,公式如下:
基于Hmin、Hmax计算对应的像素灰度值Pmin和Pmax,公式如下:
其中H为图像CT值,H为其对应的灰度值,slope、intercept分别为斜率值、截距,为当前的CT图像参数;
基于灰度值范围Pmin和Pmax,对CT图像中的每个像素灰度值x转换得到灰度值g,公式如下:
其中U为转换后灰度值g的上限;
每张原始CT图像共产生三张不同窗宽和窗位的预处理后CT图像。
4.根据权利要求3所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述步骤2)具体为:
对三张预处理后CT图像分别进行分水岭法分割以获取颗粒图像;基于像素个数设置范围值,筛选出满足范围条件的颗粒图像;
汇聚来自三张CT图像筛选后的颗粒图像,根据颗粒图像在原始CT图像中的位置及占据范围去除完全处于其它颗粒图像范围的小颗粒图像,合并存在交叉的颗粒图像,记录剩余颗粒图像的位置及占据范围,即为从CT图像中提取到的候选结节。
5.根据权利要求4所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述步骤3)具体为:
对于每一个所述候选结节,计算其像素平均坐标作为中心坐标(x0,y0),以(x0,y0)为中心分别划取M种尺度的矩形范围;针对M张不同窗位和窗宽的CT图像,按M种尺度获得3×M张矩阵图像;将各张矩形图像通过线性插值法变换到224×224大小,得到该候选结节对应的神经网络输入。
6.根据权利要求4所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述步骤4)具体为:
步骤4.1,设置搭建深度卷积神经网络模型:
卷积层的输入是特征图F,为三维矩阵a×a×c,其中c是通道数,a是每一个通道中特征的边长;卷积层包含n个卷积核K,为二维矩阵k×k,记为K1,K2,...,Kn;在特征图F各通道特征上设定与卷积核对应的滑动窗口S,为二维矩阵k×k,S的位置通过其中心点位置确定,S中心点的初始位置为通道特征的左上角第一点,c个通道的滑动窗口记为S1,S2,...,Sc,S中如果有超出通道特征的点,则对应矩阵数值填充为0;步长s为滑动窗口S中心点一次滑动的距离;参数a,c,n,k,s在不同卷积层有不同的设置;
卷积操作为基于卷积核Km(m是下标,1≤m≤n)计算特征图各通道滑动窗口内矩阵与卷积核矩阵的卷积,计算公式如下:
下标i和j对应第i行和第j列;该值对应于新特征图在通道m上的一点,点的横、纵坐标由当前滑动窗口S的中心点在横、纵方向上与初始位置滑动窗口中心点相隔的中心点个数决定;按步长s不断同步滑动各通道窗口,直至窗口中心点滑出特征图F,即可得到新特征图的第m通道特征,使用n个卷积核得到n个通道的新特征,组成新的特征图F’,作为卷积层的输出;
所述深度卷积神经网络模型的结构设置是:针对候选结节M种尺度获得的输入图像,分别构建M个相同的卷积网络分支;将提取的M组特征图按通道拼接,然后通过全局平均池化得到特征向量;将其输入全连接层、由输出层判断该候选结节为肿瘤结节的概率;
步骤4.2,其中每个卷积网络分支包含8组卷积层,设置如下:
Conv1卷积层:卷积核大小k=7,卷积核数n=64,步长s=2,输出特征图大小为112×112×64,a=112,c=64;
Conv2_x卷积层组:含有7层,输出特征图大小为56×56×64,a=56,c=64;第1层为最大值池化层,滑动窗口大小k=3,步长s=2,其滑动窗口初始位置、各通道特征滑动窗口内矩阵的设置与卷积层操作相同;第2层到第7层为卷积层,卷积核大小k=3,卷积核数n=64,步长s=1;
Conv3_x卷积层组:含有8个卷积层,输出特征图大小为28×28×128,a=28,c=128;第1层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=2;第2层到第8层为卷积层,卷积核大小k=3,卷积核数n=128,步长s=1;
Conv4_x卷积层组:含有12个卷积层,输出特征图大小为14×14×256,a=14,c=256;第1层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=2;第2层到第12层为卷积层,卷积核大小k=3,卷积核数n=256,步长s=1;
Conv5_x卷积层组:含有6个卷积层,输出特征图大小为7×7×512,a=7,c=512;第1层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=2;第2层到第6层为卷积层,卷积核大小k=3,卷积核数n=512,步长s=1;
Conv6卷积层:卷积核大小k=3,卷积核数n=128,步长s=2,输出特征图大小为28×28×128,a=28,c=128;
Conv7卷积层:卷积核大小k=3,卷积核数n=256,步长s=2,输出特征图大小为14×14×256,a=14,c=256;
Conv8卷积层:卷积核大小k=3,卷积核数n=512,步长s=2,输出特征图大小为7×7×512,a=7,c=512;
Avgpool池化层:全局平均池化层,输出一维向量,长度为3072;
Fc全连接层:全连接层Full connection,包含512个ResNet全连接神经元节点;
Softmax输出层:包含2个使用softmax函数的输出神经元节点;
所述步骤4)中深度卷积神经网络模型的损失函数设置是:使用softmax损失函数,公式如下:
loss=-(1-cl)×log(1-pl)-cl×log(pl) (5)
其中loss为计算的损失值,cl为神经网络输入对应的候选结节标记,如果该候选结节为肿瘤结节cl=1,否则cl=0;pl为神经网络的输出结果,即预测候选结节是肿瘤结节的概率值;
步骤4.3,训练深度卷积神经网络模型的处理过程是:
对M个卷积网络分支的共享参数,初始参数通过在ImageNet 2012分类数据集上训练来设定;后三层的初始参数随机设定;然后根据已标记的候选结节构建的神经网络输入,通过训练网络模型,对所有网络参数进行微调。
7.根据权利要求4所述的基于深度卷积神经网络的腹腔CT图像腹膜转移标记方法,其特征在于,所述步骤5)具体为:
使用训练好的深度卷积神经网络模型预测各候选结节是肿瘤结节的概率,若概率大于0.5,则该候选结节预测为肿瘤结节,否则预测为假结节;最后当未标记腹腔CT图像存在预测为肿瘤结节的候选结节时,标记CT图像为阳性,否则标记其为阴性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810972458.1A CN109087703B (zh) | 2018-08-24 | 2018-08-24 | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810972458.1A CN109087703B (zh) | 2018-08-24 | 2018-08-24 | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109087703A true CN109087703A (zh) | 2018-12-25 |
CN109087703B CN109087703B (zh) | 2022-06-07 |
Family
ID=64794494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810972458.1A Active CN109087703B (zh) | 2018-08-24 | 2018-08-24 | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109087703B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109830300A (zh) * | 2019-02-21 | 2019-05-31 | 暨南大学 | 甲状腺结节分析方法、装置、计算机设备及可读存储介质 |
CN109934796A (zh) * | 2018-12-26 | 2019-06-25 | 苏州雷泰医疗科技有限公司 | 一种基于深度集成学习的器官自动勾画方法 |
CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
CN110427954A (zh) * | 2019-07-26 | 2019-11-08 | 中国科学院自动化研究所 | 基于肿瘤影像的多区域的影像组学特征提取方法 |
CN111368827A (zh) * | 2020-02-27 | 2020-07-03 | 北京推想科技有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
CN111462100A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎ct检测的检测设备及其使用方法 |
CN111488878A (zh) * | 2019-01-29 | 2020-08-04 | 镇江慧影科技发展有限公司 | 一种基于伪彩色ct图像的深度学习分割方法 |
CN111553298A (zh) * | 2020-05-07 | 2020-08-18 | 北京天仪百康科贸有限公司 | 一种基于区块链的火灾识别方法及系统 |
CN112348826A (zh) * | 2020-10-26 | 2021-02-09 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN112365498A (zh) * | 2020-12-10 | 2021-02-12 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112561869A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 |
CN112562855A (zh) * | 2020-12-18 | 2021-03-26 | 深圳大学 | 一种肝细胞癌术后早期复发风险预测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056595A (zh) * | 2015-11-30 | 2016-10-26 | 浙江德尚韵兴图像科技有限公司 | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
-
2018
- 2018-08-24 CN CN201810972458.1A patent/CN109087703B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056595A (zh) * | 2015-11-30 | 2016-10-26 | 浙江德尚韵兴图像科技有限公司 | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
Non-Patent Citations (2)
Title |
---|
李雯: "基于深度卷积神经网络的CT图像肝脏肿瘤分割方法研究", 《CNKI优秀硕士学位论文全文数据库》 * |
王光飞 等: "DICOM医学图像的调窗技术及DIB显示", 《医疗装备》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934796A (zh) * | 2018-12-26 | 2019-06-25 | 苏州雷泰医疗科技有限公司 | 一种基于深度集成学习的器官自动勾画方法 |
CN111488878A (zh) * | 2019-01-29 | 2020-08-04 | 镇江慧影科技发展有限公司 | 一种基于伪彩色ct图像的深度学习分割方法 |
CN109830300A (zh) * | 2019-02-21 | 2019-05-31 | 暨南大学 | 甲状腺结节分析方法、装置、计算机设备及可读存储介质 |
CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
CN110427954A (zh) * | 2019-07-26 | 2019-11-08 | 中国科学院自动化研究所 | 基于肿瘤影像的多区域的影像组学特征提取方法 |
CN111368827B (zh) * | 2020-02-27 | 2023-08-29 | 推想医疗科技股份有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
CN111368827A (zh) * | 2020-02-27 | 2020-07-03 | 北京推想科技有限公司 | 医学图像处理方法、装置、计算机设备及存储介质 |
CN111462100A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎ct检测的检测设备及其使用方法 |
CN111553298A (zh) * | 2020-05-07 | 2020-08-18 | 北京天仪百康科贸有限公司 | 一种基于区块链的火灾识别方法及系统 |
CN112348826A (zh) * | 2020-10-26 | 2021-02-09 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN112348826B (zh) * | 2020-10-26 | 2023-04-07 | 陕西科技大学 | 一种基于测地线距离和V-net的交互式肝脏分割方法 |
CN112561869A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 |
CN112561869B (zh) * | 2020-12-09 | 2021-11-02 | 深圳大学 | 一种胰腺神经内分泌肿瘤术后复发风险预测方法 |
CN112365498A (zh) * | 2020-12-10 | 2021-02-12 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112365498B (zh) * | 2020-12-10 | 2024-01-23 | 南京大学 | 一种针对二维图像序列中多尺度多形态目标的自动检测方法 |
CN112562855A (zh) * | 2020-12-18 | 2021-03-26 | 深圳大学 | 一种肝细胞癌术后早期复发风险预测方法 |
CN112562855B (zh) * | 2020-12-18 | 2021-11-02 | 深圳大学 | 一种肝细胞癌术后早期复发风险预测方法、介质及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109087703B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087703A (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
Mohanakurup et al. | Breast cancer detection on histopathological images using a composite dilated Backbone Network | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
Zhang et al. | Review of breast cancer pathologigcal image processing | |
EP1995690B1 (en) | Generating an anatomical model using a rule-based segmentation and classification process | |
CN108268870A (zh) | 基于对抗学习的多尺度特征融合超声图像语义分割方法 | |
US10997466B2 (en) | Method and system for image segmentation and identification | |
Deng et al. | Classification of breast density categories based on SE-Attention neural networks | |
CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN109447065A (zh) | 一种乳腺影像识别的方法及装置 | |
CN109859184B (zh) | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 | |
CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
CN109363698A (zh) | 一种乳腺影像征象识别的方法及装置 | |
CN109363699A (zh) | 一种乳腺影像病灶识别的方法及装置 | |
CN112699869A (zh) | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 | |
CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
Ouyang et al. | Rethinking U-net from an attention perspective with transformers for osteosarcoma MRI image segmentation | |
CN109363697A (zh) | 一种乳腺影像病灶识别的方法及装置 | |
CN111667491A (zh) | 基于深度对抗网络的带边界标注信息乳腺肿块图生成方法 | |
Liu et al. | Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency | |
JP2024027079A (ja) | 腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法 | |
CN112419396A (zh) | 一种甲状腺超声视频自动分析方法与系统 | |
Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
Sengan et al. | Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |