CN114271763B - 一种基于Mask RCNN的胃癌早期识别方法、系统、装置 - Google Patents
一种基于Mask RCNN的胃癌早期识别方法、系统、装置 Download PDFInfo
- Publication number
- CN114271763B CN114271763B CN202111565446.5A CN202111565446A CN114271763B CN 114271763 B CN114271763 B CN 114271763B CN 202111565446 A CN202111565446 A CN 202111565446A CN 114271763 B CN114271763 B CN 114271763B
- Authority
- CN
- China
- Prior art keywords
- recognition
- network
- model
- inflammation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 75
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 75
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 206010061218 Inflammation Diseases 0.000 claims abstract description 103
- 230000004054 inflammatory process Effects 0.000 claims abstract description 103
- 238000003709 image segmentation Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000002575 gastroscopy Methods 0.000 claims abstract description 10
- 201000011510 cancer Diseases 0.000 claims description 36
- 206010028980 Neoplasm Diseases 0.000 claims description 35
- 230000002757 inflammatory effect Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000007689 inspection Methods 0.000 claims description 15
- 201000011591 microinvasive gastric cancer Diseases 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 3
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 2
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000018556 stomach disease Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域，具体涉及一种基于Mask RCNN的胃癌早期识别方法、系统、装置。该识别方法，包括如下步骤：S1：构建一个胃癌识别网络，包括如下过程：S11：获取Mask RCNN网络模型。S12：将CSP Net网络的架构引入到Mask RCNN网络模型中。S13：采用CIoU Loss函数代替IoU Loss函数作为网络模型的回归损失函数；S14：构建包括两个CSP‑ResNet网络以及一个判别模块的胃癌识别网络。S2：获取多张真实的胃镜检查图像并进行预标记，作为训练数据集。S3：利用训练数据集对网络模型进行训练。S4：将胃镜检查图像输入到胃癌识别网络中，得到相应的病灶区域的图像分割结果。本发明解决了现有的胃镜检查过程使用的图像分析工具的效率差、准确率低，且无法有效区分癌变和炎症特征的问题。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于Mask RCNN的胃癌早期识别方法、系统、装置。
背景技术
胃癌一种高发病率和高死亡率的恶性肿瘤；每年由胃癌导致死亡的患者人数占全部癌症死亡人数的8％以上。胃癌是继肺癌、乳腺癌、结肠直肠癌和前列腺癌之后的第5大癌症；早期发现早期治疗是提高胃癌患者存活率的关键。
胃镜检查在胃部疾病的诊断中起着重要的临床作用，由于胃癌的早期非典型症状及其先进的侵略行为，减少复发和延长生存期越来越依赖于先进的筛查、诊断、治疗和其他新技术。胃镜检查是早期胃癌的检测和诊断的常见解决方案，胃镜可以使医师能够直接观察胃的内部位情况。利用胃镜图像准确诊断早期胃癌是改善患者不良预后的迫切需要。然而最近的研究表明，由于医学影像分析工作量大，经验丰富的内镜医师不可避免地会出现误诊和漏诊。传统内窥镜检查的检测准确性仅在69％至79％之间。
随着人工智能的不断发展，机器学习技术也不断进步，基于胃镜图像的胃癌诊断CAD方法现在已经广泛应用于各类医学图像的机器识别。通过构建相应的机器学习算法，并利用真实的医学图像对算法模型进行训练，这些机器识别方法可以作为传统人工图像分析的补充或辅助，进而提高医学图像分析的准确。但是，现有的各类基于CNN的算法在胃镜图像分析过程中仍然存在准确性和实时性不足等问题，尤其是针对炎症和早期癌变等特征的区分能力不强。
发明内容
为了解决现有的胃镜检查过程使用的图像分析工具的效率差、准确率低，且无法有效区分癌变和炎症特征的问题；本发明提供一种基于Mask RCNN的胃癌早期识别方法、系统、装置。
本发明采用以下技术方案实现：
一种基于Mask RCNN的胃癌早期识别方法，包括如下步骤：
S1：构建一个用于输出癌变或炎症特征区域的胃癌识别网络，胃癌识别网络的输入为胃镜检查图像，胃癌识别网络模型的输出包括检查结论以及癌变特征或炎症特征的图像分割结果。
胃癌识别网络的构建方法包括入如下过程：
S11：获取经典的Mask RCNN网络模型，Mask RCNN的骨干网络为ResNet50网络。
S12：将CSP Net网络的架构引入到Mask RCNN网络模型中，对骨干网络进行改进。
改进后的骨干网络为CSP ResNet，CSP ResNet网络中输出特征图的通道划分为两个部分，一部分使用1×1卷积层进行调整，在网络中传播浅层的图像特征。另一部分分别进行卷积和归一化等操作，提取更加高阶的抽象特征；最后将两部分的处理结果进行拼接。
S13：采用CIoU Loss函数代替IoU Loss函数作为改进后网络模型的回归损失函数；
并采用FocalLoss焦点损失函数作为模型分类的损失函数；进而得到CSP-ResNet网络。
S14：构建包括两个CSP-ResNet网络以及一个判别模块的胃癌识别网络。以其中一个CSP-ResNet网络为癌变识别子模型，用于识别并输出癌变特征的分割结果。另一个
CSP-ResNet网络为炎症识别子模型，用于识别并输出癌变特征的分割结果。判别模块用于获取癌变识别子模型和炎症判别子模型输出的预测结果，进而输出癌变、炎症或正常的检查结论。
S2：获取多张真实的胃镜检查图像，对胃镜检查图像进行预标记，确定各个样本数据的标签向量，根据标签向量将图像分为癌变、炎症、正常三类。癌变或炎症类别的图像的标注向量中还包含病灶的类别信息和边界位置。选择癌变类别和部分正常类别的图像构成第一数据集，选择炎症类别和部分正常类别的图像构成第二数据集。
S3：分别利用第一数据集作为训练集对癌变识别子模型进行训练，利用第二数据集作为训练集对炎症识别子模型进行训练。迭代更新子模型的网络参数直至损失函数收敛；保存完成训练的网络模型作为所需的胃癌识别网络。
S4：获取胃镜检查图像并输入到上步骤的胃癌识别网络中，胃癌识别网络根据图像中提取的特征信息给出癌变、炎症或正常的检查结论，并在检查结论为癌变或炎症的同时输出相应的病灶区域的图像分割结果。
作为本发明进一步地改进，步骤S11中，Mask RCNN网络模型包括特征提取网络、区域建议网络和头网络。特征提取网络用于提取输入图像的特征，得到相应的特征图。区域建议网络用于获得特征图中候选的感兴趣区域。头网络对获得的候选区域的特征图分别进行图像分割、边框回归和区域分类，进而得到过滤后的多个感兴趣区域的结果。最后对头网络的输出结果进行非极大值抑制，选出其中置信度最高的区域作为预测存在相应病灶的目标区域。
作为本发明进一步地改进，步骤S12中，改进后的CSP ResNet网络中，基础层输出的特征图的传递通道分为两路。其中一路经过一个残差模块；残差模块的输出经过一个过渡层后，与另外一路输出特征图在下一个过渡层中完成特征拼接。
作为本发明进一步地改进，步骤S13中，CIoULoss函数的计算公式如下：
CIoULoss＝1-IOU+R(P,G)+aυ
其中，P表示预测框；G表示真实框；IoU为交并比，表示预测框和真实框的交叠率；R(P,G)是为了保证两个框之间的距离足够近而设置的惩罚项；惩罚项R(P,G)满足：
上式中，ρ(P,G)表示预测框中心点与真实框中心点之间的距离；c表示预测框和真实框的最小包围矩形框对角线的长度；
α是一个平衡系数，且满足下式：
其中，υ用于计算两个预测框和真实框的长宽比的距离，计算公式如下：
上式中，wG表示真实框的宽度；hG表示真实框的高度；wP表示真实框的宽度；hP表示真实框的高度。
作为本发明进一步地改进，步骤S14构建的胃癌识别网络中，输入的图像分别送到癌变识别子模型和炎症识别子模型进行特征提取、特征识别和特征分割。癌变识别子模型输出癌变特征的图像分割结果，炎症识别子模型输出炎症特征的图像分割结果。判别模块用于获取癌变识别子模型和炎症判别子模型的输出，进而作出如下判断：
(1)当成功获取癌变识别子模型输出的癌变特征的图像分割结果时，对检查图像作出表征存在“癌变”的检查结论。
(2)当成功获取炎症识别子模型输出的炎症特征的图像分割结果时，对检查图像作出表征存在“炎症”的检查结论。
(2)当癌变识别子模块和炎症识别子模块均未获得相应特征的图像分割结果时，对检查图像作出表征“正常”的检查结论。
作为本发明进一步地改进，步骤S3中，癌变识别子模型或炎症识别子模型的训练过程如下：
(1)对癌变识别子模型和炎症识别子模型进行权值初始化。
(2)分别将训练集中的样本数据输入到各个子模型中，计算得到预测向量。
(3)将每个子模型的样本数据对应的标签向量和预测向量输入到损失函数中，计算损失值。
(4)使用反向传播算法对各个子模型的权值进行更新。
循环(2)-(4)的步骤，反复采用样本数据训练子模型，直至各个子模型的损失值趋于稳定，终止网络模型的训练过程。
作为本发明进一步地改进，网络模型训练过程中，还对癌变识别子模型和炎症识别子模型的模型预测结果进行人工核验，并收集模型预测错误的图像数据构成各个子模型对应的负样本数据集；对负样本数据集中的图像数据进行重新标记，并利用标记后的负样本数据集对训练结束后的癌变识别子模型和炎症识别子模型进行重新训练，进而提高各个子模型的泛化能力。
本发明还包括一种基于Mask RCNN的胃癌早期识别系统，该识别系统采用如前述的基于Mask RCNN的胃癌早期识别方法对胃镜检查图像进行识别，给出表征存在“癌变”、“炎症”或“正常”的检查结论，并给出识别出的癌变特征或炎症特征的图像分割结果。胃癌早期识别系统包括：
图像获取单元用于获取获取胃镜检查视频，并将视频数据分帧为图像数据进行输出；图像数据作为一个胃癌识别网络的输入。
胃癌识别网络包括癌变识别子单元，炎症识别子单元，以及判别单元。图像获取单元的输出图像数据同时输入到癌变识别子单元和炎症识别子单元中。癌变识别子单元和炎症识别子单元均为一个完成训练的CSP-ResNet网络。癌变识别子单元用于识别输入的图像，并输出提取出的癌变特征的分割结果。炎症识别子单元用于识别输入的图像，并输出提取出的炎症特征的分割结果。判别单元用于获取癌变识别子单元和炎症判别子单元的输出，进而作出如下判断：(1)当成功获取癌变识别子单元输出的癌变特征的图像分割结果时，则给出检查图像中存在“癌变”的检查结论。(2)当成功获取炎症识别子单元输出的炎症特征的图像分割结果时，则给出检查图像中存在“炎症”的检查结论。(2)当癌变识别子单元和炎症识别子单元均未获得相应特征的图像分割结果时，则给出检查图像“正常”的检查结论。
目标跟踪单元用于对癌变识别子单元和炎症识别子单元输出的图像分割结果对应的目标区域进行跟踪。当连续多个检查图像中提取出的病灶特征的目标区域为相同区域时，则将相应的图像分割结果进行合并，为每个目标区域中的病灶赋予一个专属特征信息，专属特征信息中包含病灶的类别信息和边界位置。
作为本发明进一步地改进，胃癌早期识别系统还包括或连接有一个图像显示单元。图像显示单元用于：显示图像获取单元输出的图像数据；和/或显示癌变识别子单元输出的癌变特征的图像分割结果；和/或显示炎症识别子单元输出的炎症特征的图像分割结果；和/或显示判别单元输出的针对胃镜图像给出的检查结论；和/或显示目标跟踪单元输出的各个病灶的专属特征信息。
本发明还包括一种基于Mask RCNN的胃癌早期识别装置，该装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如前述的基于Mask RCNN的胃癌早期识别系统方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明基于MaskRCNN神经网络模型，引入CSP Net的思想对模型的骨干网络进行改进，搭建了CSP-ResNet网络，提高模型提取特征的能力。通过在模型中引入CIoU,提高模型检测目标的精度；采用FocalLoss焦点损失函数作为模型分类的损失函数，缓解各类别数据量分布不平衡问题。接着利用构建的CSP-ResNet网络对癌变特征和炎症特征进行独立训练和识别，进而提高网络模型对癌变特征和炎症特征的识别准确度。
本发明提供的基于MaskRCNN神经网络的胃癌识别网络检测平均处理图片时间较临床医师速度快，灵敏度及特异度较高级别内镜医师诊断高，达90％以上；可广泛应用于临床，对初级医师的学习及诊断提供帮助，可有效减轻临床医师压力。有效解决因胃镜工作量大、内镜操作不规范、早癌意识薄弱以及诊断经验欠缺等因素所致的临床难题。
附图说明
图1为本发明实施例1中提供的一种基于Mask RCNN的胃癌早期识别方法的步骤流程图。
图2为本发明实施例1中经典的Mask-RCNN网络的结构框架图。
图3为本发明实施例1中改进后的CSP ResNet与传统的ResNet网络结构的对比图。
图4为本发明实施例1中训练数据集中采用的存在明显癌变特征的胃癌检测图像。
图5为本发明实施例1中对胃镜图像中病灶位置进行标记的结果示意图。
图6为本发明实施例1中胃癌识别网络输出的某个包含病灶分割结果的图像。
图7为本发明实施例1中胃癌识别网络的逻辑示意图。
图8为本发明实施例2中提供一种基于Mask RCNN的胃癌早期识别系统的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种基于Mask RCNN的胃癌早期识别方法，如图1所示，包括如下步骤：
S1：构建一个用于输出癌变或炎症特征区域的胃癌识别网络，胃癌识别网络的输入为胃镜检查图像，胃癌识别网络模型的输出包括检查结论以及癌变特征或炎症特征的图像分割结果。
胃癌识别网络的构建方法包括入如下过程：
S11：获取经典的Mask RCNN网络模型，Mask RCNN的骨干网络为ResNet50网络。
如图2所示，Mask RCNN网络模型包括特征提取网络、区域建议网络和头网络。特征提取网络采用ResNet50网络，该网络用于提取输入图像的特征，得到相应的特征图。区域建议网络为RPN网络，其根据特征提取网络获取的特征图获得特征图中候选的感兴趣区域(RoI)。头网络(Head)中包括分割网络、边框回归和区域分类三个部分；候选区域特征图输入到头网络后，头网络对获得的候选区域的特征图分别进行二值分类(前景或背景)和BBOX回归；过滤掉其中的一些候选的感感兴趣区域；然后对剩下的感兴趣区域进行RoIAlign操作，对剩下的感兴趣区进行N类别分类，BBOX回归和MASK生成，MASK生成过程中在每个RoI里面都进行全卷积操作。最后通过非极大值抑制算法对头网络的输出结果进行非极大值抑制，选出其中置信度最高的区域作为预测存在相应病灶的目标区域，进而得到检测的图像分割结果。
S12：将CSP Net网络的架构引入到Mask RCNN网络模型中，对骨干网络进行改进。改进后的骨干网络中，输出特征图的通道划分为两个部分，一部分使用1×1卷积层进行调整，在网络中传播浅层的图像特征。另一部分分别进行卷积和归一化等操作，提取更加高阶的抽象特征；最后将两部分的处理结果进行拼接，实现跨阶段的信息整合。
如图3所示，图中左侧为传统的ResNet网络结构，右侧为基于CSP Net网络的架构改进后的CSP ResNet。改进后的CSP ResNet网络中，基础层(Bsae Layer)输出的特征图的传递通道分为两路。其中一路经过一个残差模块(Residual Block)；残差模块的输出经过一个过渡层(Transition Layer)，与另外一路输出特征图在下一个过渡层中完成特征拼接。
传统的Mask RCNN网络模型中存在大量重复的梯度信息，这使得模型的计算量增大，降低了模型的响应时间和实时性能。而经过对骨干网络进行改进后，CSP ResNet能够有效地对跨阶段的特征信息进行聚合，从网络阶段的开始和技术集成特征映射，提高网络中梯度的可变性；进而提升网络模型的识别效率。
S13：采用CIoU Loss函数代替IoU Loss函数作为改进后网络模型的回归损失函数；
并采用FocalLoss焦点损失函数作为模型分类的损失函数；进而得到CSP-ResNet网络。
现有的Mask RCNN网络采用IoU函数来计算模型预测框和真实框两者位置的差异，通过计算这两个标注框的交集和并集的比值实现。使用IoU Loss函数作为神经网络模型的回归损失函数，指导模型学习目标的位置信息，计算过程下式所示：
上式中，IoU为交并比，表示预测框和真实框的交叠率；P表示预测框；G表示真实框；
但是，IoU Loss也存在一些问题，如当两个标注框不重叠时无法进行优化，无法反映出两个标注框之间的距离。本实施例采用改进的CIoULoss函数替代传统的IoU Loss
函数作为网络模型的损失函数。同时考虑了两个标注框的重叠面积、中心点的距离和长宽比三种因素，能够更好地描述两个标注框之间的位置差异。
具体地，CIoULoss函数的计算公式如下：
CIoULoss＝1-IOU+R(P,G)+aυ
其中，P表示预测框；G表示真实框；IoU为交并比，表示预测框和真实框的交叠率；R(P,G)是为了保证两个框之间的距离足够近而设置的惩罚项；惩罚项R(P,G)满足：
上式中，ρ(P,G)表示预测框中心点与真实框中心点之间的距离；c表示预测框和真实框的最小包围矩形框对角线的长度；
α是一个平衡系数，且满足下式：
其中，υ用于计算两个预测框和真实框的长宽比的距离，计算公式如下：
上式中，wG表示真实框的宽度；hG表示真实框的高度；wP表示真实框的宽度；hP表示真实框的高度。
S14：构建包括两个CSP-ResNet网络以及一个判别模块的胃癌识别网络。以其中一个CSP-ResNet网络为癌变识别子模型，用于识别并输出癌变特征的分割结果。另一个CSP-ResNet网络为炎症识别子模型，用于识别并输出癌变特征的分割结果。判别模块用于获取癌变识别子模型和炎症判别子模型输出的预测结果，进而输出癌变、炎症或正常的检查结论。
构建的胃癌识别网络中，输入的图像分别送到癌变识别子模型和炎症识别子模型进行特征提取、特征识别和特征分割。癌变识别子模型输出癌变特征的图像分割结果，炎症识别子模型输出炎症特征的图像分割结果。判别模块用于获取癌变识别子模型和炎症判别子模型的输出，进而作出如下判断：
(1)当成功获取癌变识别子模型输出的癌变特征的图像分割结果时，对检查图像作出表征存在“癌变”的检查结论。
(2)当成功获取炎症识别子模型输出的炎症特征的图像分割结果时，对检查图像作出表征存在“炎症”的检查结论。
(2)当癌变识别子模块和炎症识别子模块均未获得相应特征的图像分割结果时，对检查图像作出表征“正常”的检查结论。
其中，炎症和癌变早期的特征类似，主要是色泽、黏膜粗糙度和组织形态方面的变化。本实施例通过对两种特征进行独立训练和独立识别，进而对二者进行区分。
S2：获取多张真实的胃镜检查图像，对胃镜检查图像进行预标记，确定各个样本数据的标签向量，根据标签向量将图像分为癌变、炎症、正常三类。图4显示了部分存在明显癌变特征的胃癌检测图像的示例。癌变或炎症类别的图像的标注向量中还包含病灶的类别信息和边界位置。图5为对胃镜图像中病灶位置进行标记的结果示意图。图像标记过程可以选择现有的图像标记软件完成，标记过程中，应当对标注框的尺寸和位置进行优化，保证标注框恰好框住全部物体，减少可能的噪声信息的渗入。标记后的图像作为所需的样本数据。本实施例中，选择癌变类别和部分正常类别的图像构成第一数据集，选择炎症类别和部分正常类别的图像构成第二数据集。
此外，为了提升网络模型的训练效果，提高训练后的网络模型的识别精度。本实施例中的样本数据还进行预处理，调整图像的大小，并采用双线性插值法解决图像中的灰度不连续的缺点。
S3：分别利用第一数据集作为训练集对癌变识别子模型进行训练，利用第二数据集作为训练集对炎症识别子模型进行训练。迭代更新子模型的网络参数直至损失函数收敛；保存完成训练的网络模型作为所需的胃癌识别网络。
癌变识别子模型或炎症识别子模型的训练过程如下：
(1)对癌变识别子模型和炎症识别子模型进行权值初始化。
(2)分别将训练集中的样本数据输入到各个子模型中，计算得到预测向量。
(3)将每个子模型的样本数据对应的标签向量和预测向量输入到损失函数中，计算损失值。
(4)使用反向传播算法对各个子模型的权值进行更新。
循环(2)-(4)的步骤，反复采用样本数据训练子模型，直至各个子模型的损失值趋于稳定，终止网络模型的训练过程。
此外，在网络模型训练过程中，还对癌变识别子模型和炎症识别子模型的模型预测结果进行人工核验，并收集模型预测错误的图像数据构成各个子模型对应的负样本数据集；对负样本数据集中的图像数据进行重新标记，并利用标记后的负样本数据集对训练结束后的癌变识别子模型和炎症识别子模型进行重新训练，进而提高各个子模型的泛化能力。
S4：获取胃镜检查图像并输入到上步骤的胃癌识别网络中，本实施例中胃镜检查图像可以采用采集卡读取，采集卡将胃镜检查设备获取的实时视频进行分帧处理，进而得到分帧图像；本实施例中的采集卡按照50帧/s的频率采集图像，将采集到的图像输入到完成训练的胃癌识别网络中。
胃癌识别网络根据图像中提取的特征信息给出癌变、炎症或正常的检查结论，并在检查结论为癌变或炎症的同时输出相应的病灶区域的图像分割结果。图6显示了胃癌识别网络输出的某个包含病灶分割结果的图像。该图中框图部位粘膜、色泽较正常组织发红，形态略隆起组织表面。符合早癌判别三大特征色泽改变(发红或发白)、黏膜粗糙、形态改变。这说明模型经过训练后确实掌握了高级语义中包含的特征。具体的，本实施例中的胃癌识别网络中，识别检测过程的逻辑框图如图7所示。
实施例2
本实施例提供一种基于Mask RCNN的胃癌早期识别系统，该识别系统采用如实施例1中的基于Mask RCNN的胃癌早期识别方法对胃镜检查图像进行识别，给出表征存在“癌变”、“炎症”或“正常”的检查结论，并给出识别出的癌变特征或炎症特征的图像分割结果。如图8所示，胃癌早期识别系统包括：
图像获取单元用于获取获取胃镜检查视频，并将视频数据分帧为图像数据进行输出；图像数据作为一个胃癌识别网络的输入。
胃癌识别网络包括癌变识别子单元，炎症识别子单元，以及判别单元。图像获取单元的输出图像数据同时输入到癌变识别子单元和炎症识别子单元中。癌变识别子单元和炎症识别子单元均为一个完成训练的CSP-ResNet网络。癌变识别子单元用于识别输入的图像，并输出提取出的癌变特征的分割结果。炎症识别子单元用于识别输入的图像，并输出提取出的炎症特征的分割结果。判别单元用于获取癌变识别子单元和炎症判别子单元的输出，进而作出如下判断：(1)当成功获取癌变识别子单元输出的癌变特征的图像分割结果时，则给出检查图像中存在“癌变”的检查结论。(2)当成功获取炎症识别子单元输出的炎症特征的图像分割结果时，则给出检查图像中存在“炎症”的检查结论。(2)当癌变识别子单元和炎症识别子单元均未获得相应特征的图像分割结果时，则给出检查图像“正常”的检查结论。
目标跟踪单元用于对癌变识别子单元和炎症识别子单元输出的图像分割结果对应的目标区域进行跟踪。当连续多个检查图像中提取出的病灶特征的目标区域为相同区域时，则将相应的图像分割结果进行合并，为每个目标区域中的病灶赋予一个专属特征信息，专属特征信息中包含病灶的类别信息和边界位置。
本实施例中的目标跟踪单元通过判断输出的不同的矩形框间的重叠面积，来实现区域跟踪。具体的，重叠率的阈值设为40％，当两个矩形框的面积重叠率超过40％，即判断矩形框中识别出的病灶为同一个病灶。
本实施例，胃癌早期识别系统还包括或连接有一个图像显示单元。图像显示单元用于：显示图像获取单元输出的图像数据。和/或显示癌变识别子单元输出的癌变特征的图像分割结果；和/或显示炎症识别子单元输出的炎症特征的图像分割结果；和/或显示判别单元输出的针对胃镜图像给出的检查结论；和/或显示目标跟踪单元输出的各个病灶的专属特征信息。
通过一个显示模块同时显示不同的检查结果信息，可以便于图像分析人员及时了解到分析结果，进而由医疗技术人员结合机器算法给出的初步分析结论，对胃镜检查结果进行仔细分析，给出最终的检查结论。将人工识别和机器识别相结合，可以克服人工识别过程对小目标的低发现率，同时避免机器识别可靠性差的弊端。
本实施例提供的基于Mask RCNN的胃癌早期识别系统利用图像识别技术，通过大量学习医学影像，辅助医生进行病灶区域定位，有效缓解漏诊误诊问题。而且，本发明提供胃癌识别网络经过数据训练后还可以应用在其它病种领域，甚至可以代替医生完成疾病筛查任务，这将大幅提高医疗机构、医生的工作效率，减少不合理的医疗支出。
实施例3
本实施例提供一种基于Mask RCNN的胃癌早期识别装置，该装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如实施例1中的基于Mask RCNN的胃癌早期识别系统方法的步骤。
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现前述实施例1中基于Mask RCNN的胃癌早期识别方法的处理过程，从而根据胃镜检查的医学图像，得出是否存在癌变或炎症的检查结论。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于Mask RCNN的胃癌早期识别方法，其特征在于，所述胃癌早期识别方法包括如下步骤：
S1：构建一个用于输出癌变或炎症特征区域的胃癌识别网络，所述胃癌识别网络的输入为胃镜检查图像，所述胃癌识别网络模型的输出包括检查结论以及癌变特征或炎症特征的图像分割结果；
所述胃癌识别网络的构建方法包括入如下过程：
S11：获取经典的Mask RCNN网络模型，所述Mask RCNN的骨干网络为ResNet50网络；
S12：将CSP Net网络的架构引入到Mask RCNN网络模型中，对骨干网络进行改进；
改进后的骨干网络为CSP ResNet，CSP ResNet网络中输出特征图的通道划分为两个部分，一部分使用1×1卷积层进行调整，在网络中传播浅层的图像特征；另一部分分别进行卷积和归一化操作，提取更加高阶的抽象特征；最后将两部分的处理结果进行拼接；
S13：采用CIoU Loss函数代替IoU Loss函数作为改进后网络模型的回归损失函数；
并采用FocalLoss焦点损失函数作为模型分类的损失函数；进而得到CSP-ResNet网络；
S14：构建包括两个所述CSP-ResNet网络以及一个判别模块的胃癌识别网络；以其中一个CSP-ResNet网络为癌变识别子模型，用于识别并输出癌变特征的分割结果；另一个CSP-ResNet网络为炎症识别子模型，用于识别并输出癌变特征的分割结果；所述判别模块用于获取癌变识别子模型和炎症判别子模型输出的预测结果，进而输出癌变、炎症或正常的检查结论；
S2：获取多张真实的胃镜检查图像，对胃镜检查图像进行预标记，确定各个样本数据的标签向量，根据标签向量将图像分为癌变、炎症、正常三类；癌变或炎症类别的图像的标注向量中还包含病灶的类别信息和边界位置；选择癌变类别和部分正常类别的图像构成第一数据集，选择炎症类别和部分正常类别的图像构成第二数据集；
S3：分别利用第一数据集作为训练集对癌变识别子模型进行训练，利用第二数据集作为训练集对炎症识别子模型进行训练；迭代更新子模型的网络参数直至损失函数收敛；保存完成训练的网络模型作为所需的胃癌识别网络；
S4：获取胃镜检查图像并输入到上步骤的胃癌识别网络中，胃癌识别网络根据图像中提取的特征信息给出癌变、炎症或正常的检查结论，并在检查结论为癌变或炎症的同时输出相应的病灶区域的图像分割结果。
2.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：步骤S11中，所述Mask RCNN网络模型包括特征提取网络、区域建议网络和头网络；所述特征提取网络用于提取输入图像的特征，得到相应的特征图；所述区域建议网络用于获得特征图中候选的感兴趣区域；所述头网络对获得的候选区域的特征图分别进行图像分割、边框回归和区域分类，进而得到过滤后的多个感兴趣区域的结果；最后对头网络的输出结果进行非极大值抑制，选出其中置信度最高的区域作为预测存在相应病灶的目标区域。
3.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：步骤S12中，改进后的CSP ResNet中，基础层输出的特征图的传递通道分为两路；其中一路经过一个残差模块；残差模块的输出经过一个过渡层后，与另外一路输出特征图在下一个过渡层中完成特征拼接。
4.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：步骤S13中，CIoULoss函数的计算公式如下：
CIoULoss＝1-IOU+R(P,G)+aυ
其中，P表示预测框；G表示真实框；IoU为交并比，表示预测框和真实框的交叠率；R(P,G)是为了保证两个框之间的距离足够近而设置的惩罚项；惩罚项R(P,G)满足：
上式中，ρ(P,G)表示预测框中心点与真实框中心点之间的距离；c表示预测框和真实框的最小包围矩形框对角线的长度；
α是一个平衡系数，且满足下式：
上式中，v用于计算两个预测框和真实框的长宽比的距离，计算公式如下：
上式中，wG表示真实框的宽度；hG表示真实框的高度；wP表示真实框的宽度；hP表示真实框的高度。
5.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：步骤S14构建的胃癌识别网络中，输入的图像分别送到癌变识别子模型和炎症识别子模型进行特征提取、特征识别和特征分割；所述癌变识别子模型输出癌变特征的图像分割结果，所述炎症识别子模型输出炎症特征的图像分割结果；所述判别模块用于获取癌变识别子模型和炎症判别子模型的输出，进而作出如下判断：
(1)当成功获取所述癌变识别子模型输出的癌变特征的图像分割结果时，对检查图像作出表征存在“癌变”的检查结论；
(2)当成功获取所述炎症识别子模型输出的炎症特征的图像分割结果时，对检查图像作出表征存在“炎症”的检查结论；
(2)当癌变识别子模块和炎症识别子模块均未获得相应特征的图像分割结果时，对检查图像作出表征“正常”的检查结论。
6.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：步骤S3中，所述癌变识别子模型或炎症识别子模型的训练过程如下：
(1)对癌变识别子模型和炎症识别子模型进行权值初始化；
(2)分别将训练集中的样本数据输入到各个子模型中，计算得到预测向量；
(3)将每个子模型的样本数据对应的标签向量和预测向量输入到损失函数中，计算损失值；
(4)使用反向传播算法对各个子模型的权值进行更新；
循环(2)-(4)的步骤，反复采用样本数据训练子模型，直至各个子模型的损失值趋于稳定，终止网络模型的训练过程。
7.如权利要求1所述的基于Mask RCNN的胃癌早期识别方法，其特征在于：网络模型训练过程中，还对癌变识别子模型和炎症识别子模型的模型预测结果进行人工核验，并收集模型预测错误的图像数据构成各个子模型对应的负样本数据集；对负样本数据集中的图像数据进行重新标记，并利用标记后的负样本数据集对训练结束后的癌变识别子模型和炎症识别子模型进行重新训练，进而提高各个子模型的泛化能力。
8.一种基于Mask RCNN的胃癌早期识别系统，其特征在于，其采用如权利要求1-7任何一项所述的基于Mask RCNN的胃癌早期识别方法对胃镜检查图像进行识别，给出表征存在“癌变”、“炎症”或“正常”的检查结论，并给出识别出的癌变特征或炎症特征的图像分割结果；所述胃癌早期识别系统包括：
图像获取单元，其用于获取胃镜检查视频，并将视频数据分帧为图像数据进行输出；所述图像数据作为一个胃癌识别网络的输入；
胃癌识别网络，其包括癌变识别子单元，炎症识别子单元，以及判别单元；所述图像获取单元的输出图像数据同时输入到癌变识别子单元和炎症识别子单元中；所述癌变识别子单元和炎症识别子单元均为一个完成训练的CSP-ResNet网络；所述癌变识别子单元用于识别输入的图像，并输出提取出的癌变特征的分割结果；所述炎症识别子单元用于识别输入的图像，并输出提取出的炎症特征的分割结果；所述判别单元用于获取癌变识别子单元和炎症判别子单元的输出，进而作出如下判断：(1)当成功获取所述癌变识别子单元输出的癌变特征的图像分割结果时，则给出检查图像中存在“癌变”的检查结论；(2)当成功获取所述炎症识别子单元输出的炎症特征的图像分割结果时，则给出检查图像中存在“炎症”的检查结论；(2)当癌变识别子单元和炎症识别子单元均未获得相应特征的图像分割结果时，则给出检查图像“正常”的检查结论；以及
目标跟踪单元，其用于对所述癌变识别子单元和所述炎症识别子单元输出的图像分割结果对应的目标区域进行跟踪，当连续多个检查图像中提取出的病灶特征的目标区域为相同区域时，则将相应的图像分割结果进行合并，为每个目标区域中的病灶赋予一个专属特征信息，所述专属特征信息中包含病灶的类别信息和边界位置。
9.如权利要求8所述的基于Mask RCNN的胃癌早期识别系统，其特征在于：所述胃癌早期识别系统还包括或连接有一个图像显示单元；所述图像显示单元用于：显示所述图像获取单元输出的图像数据；和/或显示所述癌变识别子单元输出的癌变特征的图像分割结果；和/或显示所述炎症识别子单元输出的炎症特征的图像分割结果；和/或显示所述判别单元输出的针对胃镜图像给出的检查结论；和/或显示所述目标跟踪单元输出的各个病灶的专属特征信息。
10.一种基于Mask RCNN的胃癌早期识别装置，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至7中任意一项所述的基于Mask RCNN的胃癌早期识别系统方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565446.5A CN114271763B (zh) | 2021-12-20 | 2021-12-20 | 一种基于Mask RCNN的胃癌早期识别方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565446.5A CN114271763B (zh) | 2021-12-20 | 2021-12-20 | 一种基于Mask RCNN的胃癌早期识别方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114271763A CN114271763A (zh) | 2022-04-05 |
| CN114271763B true CN114271763B (zh) | 2024-05-28 |
Family
ID=80873283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111565446.5A Active CN114271763B (zh) | 2021-12-20 | 2021-12-20 | 一种基于Mask RCNN的胃癌早期识别方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114271763B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152229B (zh) * | 2023-04-14 | 2023-07-11 | 吉林大学 | 一种糖尿病视网膜病变诊断模型的构建方法及诊断模型 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136908A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN110495847A (zh) * | 2019-08-23 | 2019-11-26 | 重庆天如生物科技有限公司 | 基于深度学习的消化道早癌辅助诊断系统和检查装置 |
| CN112819796A (zh) * | 2021-02-05 | 2021-05-18 | 杭州天宸建筑科技有限公司 | 烟丝异物识别方法及设备 |
| WO2021114630A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210370993A1 (en) * | 2020-05-27 | 2021-12-02 | University Of South Carolina | Computer vision based real-time pixel-level railroad track components detection system |
-
2021
- 2021-12-20 CN CN202111565446.5A patent/CN114271763B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136908A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN110495847A (zh) * | 2019-08-23 | 2019-11-26 | 重庆天如生物科技有限公司 | 基于深度学习的消化道早癌辅助诊断系统和检查装置 |
| WO2021114630A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
| CN112819796A (zh) * | 2021-02-05 | 2021-05-18 | 杭州天宸建筑科技有限公司 | 烟丝异物识别方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| Yongjun Li ; Shasha Li ; Haohao Du ; Lijia Chen ; Dongming Zhang ; Yao Li.YOLO-ACN: Focusing on Small Target and Occluded Object Detection.《IEEE Access 》.2020,全文. * |
| 龙洁花 ; 赵春江 ; 林森 ; 郭文忠 ; 文朝武 ; 张宇.改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法.《农业工程学报》.2021,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114271763A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| Li et al. | Attention-guided convolutional neural network for detecting pneumonia on chest x-rays | |
| WO2019062846A1 (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| Jiang et al. | Application of computer tongue image analysis technology in the diagnosis of NAFLD | |
| CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
| CN116681958B (zh) | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 | |
| CN113222064A (zh) | 一种图像目标对象实时检测方法、系统、终端及存储介质 | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| Wang et al. | An interpretable deep neural network for colorectal polyp diagnosis under colonoscopy | |
| Huang et al. | Extracting keyframes of breast ultrasound video using deep reinforcement learning | |
| CN115115897B (zh) | 多模态预训练的胃部肿瘤分类系统 | |
| Yue et al. | Automatic acetowhite lesion segmentation via specular reflection removal and deep attention network | |
| CN114271763B (zh) | 一种基于Mask RCNN的胃癌早期识别方法、系统、装置 | |
| CN113096109A (zh) | 一种肺部医学图像分析方法、设备及系统 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Qiu et al. | Automatic prostate gleason grading using pyramid semantic parsing network in digital histopathology | |
| Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
| CN110570425A (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| Chen et al. | A novel deep learning model based on multi-scale and multi-view for detection of pulmonary nodules | |
| CN113435469A (zh) | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 | |
| CN117275677A (zh) | 一种有效识别乳腺超声影像肿块良恶性方法 | |
| CN111047582A (zh) | 基于深度学习的小肠镜下克罗恩病辅助诊断系统 | |
| Yang et al. | Leveraging auxiliary information from EMR for weakly supervised pulmonary nodule detection | |
| CN113989269B (zh) | 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |