CN113421274B - 一种基于ct影像的胃癌智能分期方法 - Google Patents
一种基于ct影像的胃癌智能分期方法 Download PDFInfo
- Publication number
- CN113421274B CN113421274B CN202110787777.7A CN202110787777A CN113421274B CN 113421274 B CN113421274 B CN 113421274B CN 202110787777 A CN202110787777 A CN 202110787777A CN 113421274 B CN113421274 B CN 113421274B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- stomach wall
- images
- gastric cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 65
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 65
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000002591 computed tomography Methods 0.000 title description 134
- 210000002784 stomach Anatomy 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000003745 diagnosis Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 201000010099 disease Diseases 0.000 claims abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000001575 pathological effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007170 pathology Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 abstract description 9
- 210000001519 tissue Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于CT影像的胃癌智能分期方法；所述方法包括以下步骤：包括以下步骤：将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像；对所述CT图像进行预处理，获取预处理后的CT图像；从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像；处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线；基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况；本发明实现了在CT图像上对胃壁的分离、提取等功能，能够实现自主分析胃癌相关医学图像，期间不需要医生的过度参与，从而大大减轻了医生的工作负担，提高了医生对于疾病的诊断效率。
Description
技术领域
本发明涉及物理领域，尤其涉及医学影像分析技术，特别是一种基于CT影像的胃癌智能分期方法。
背景技术
胃癌的高发病率以及死亡率已严重的影响全球人类的健康，并一直受到患者、医疗专家以及科研人员们的高度重视。
计算机断层扫描(Computed Tomography，CT)可以帮助确定胃癌的位置及范围，为疾病的诊断、分期提供依据，还可以指导手术方式的选择，然而一例胃癌患者完整的上腹部CT图像数量从几十张到几百张不等，面对海量的数据，医生的精力和体力有限，这使得医生的工作负担大大加重，同时，还会降低医生对于疾病的诊断效率。
因此，面对如此重复繁琐的事情，如何提供一种能够自动分析该CT图像，并获取响应的分析结果，从而使医生根据该分析结果即能够给出准确一致的诊断结果，成为领域内技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于CT影像的胃癌智能分期方法，用于解决现有技术中由于患者CT图像数量庞大，造成医生工作负担重、诊断效率低的问题。
为实现上述目的及其他相关目的，本发明提供一种基于CT影像的胃癌智能分期方法，包括以下步骤：将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像；对所述CT图像进行预处理，获取预处理后的CT图像；从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像；处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线；基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况。
于本发明的一实施例中，将获取的CT医疗文件转化为CT图像包括以下步骤：对所述CT医疗文件进行脱敏处理，以删除所述CT医疗文件中包含的患者隐私信息；提取所述CT医疗文件中的数据矩阵，以将所述CT医疗文件归一化为可视化的所述CT图像。
于本发明的一实施例中，所述服务器包括三维V形网络；从所述预处理后的CT图像中分离出胃壁包括以下步骤：训练所述三维V形网络，获取训练好的三维V形网络；将所述预处理后的CT图像输入至所述训练好的三维V形网络中，以使所述训练好的三维V形网络从所述预处理后的CT图像中分离出所述胃壁。
于本发明的一实施例中，处理所述掩模图像包括以下步骤：对所述掩模图像进行滤波处理；对所述掩模图像进行亚像素定位；去除所述掩模图像的噪声。
于本发明的一实施例中，所述基于CT影像的胃癌智能分期方法还包括以下步骤：基于所述像素值分布情况，创建所述局部组织区域对应的像素值分布直方图；构建病理信息数据库。
本发明提供一种基于CT影像的数据处理系统，应用于服务器，包括：转化模块、图像预处理模块、胃壁分离模块、优化提取模块及胃壁分割模块；所述转化模块用于将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像；所述图像预处理模块用于对所述CT图像进行预处理，获取预处理后的CT图像；所述胃壁分离模块用于从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像；所述优化提取模块用于处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线；所述胃壁分割模块用于基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于CT影像的胃癌智能分期方法。
本发明提供一种服务器，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行上述的基于CT影像的胃癌智能分期方法。
本发明提供一种基于CT影像的数据处理系统，包括：数据采集模块、数据传输模块及上述的服务器；所述数据采集模块与所述数据传输模块连接，用于采集CT医学数据，并将所述CT医学数据以CT医疗文件的格式保存，及用于将所述CT医疗文件上传至所述数据传输模块；所述数据传输模块与所述服务器连接，用于将所述CT医疗文件发送至所述服务器。
于本发明的一实施例中，所述基于CT影像的数据处理系统还包括：胃癌分期模块；所述胃癌分期模块与所述数据传输模块连接，用于接收从所述服务器发送来的像素值分布情况，所述胃癌分期模块包括：多核残差池化层。
如上所述，本发明所述的基于CT影像的胃癌智能分期方法、系统、介质及服务器，具有以下有益效果：
(1)与现有技术相比，本发明提供了一种基于CT影像的胃癌智能分期方法、系统、介质及服务器，实现了在CT图像上对胃壁的分离、提取等功能，能够实现自主分析胃癌相关医学图像，期间不需要医生的过度参与，从而大大减轻了医生的工作负担，提高了医生对于疾病的诊断效率。
(2)本发明通过对医学CT影像的分析，结合深度学习的三维V形网络模型，能够准确分离出胃壁，提高了对胃壁的识别精度，进而提高了诊断结果的可靠性。
附图说明
图1显示为本发明的基于CT影像的胃癌智能分期方法于一实施例中的流程图。
图2显示为本发明的处理掩模图像，提取出胃壁及胃壁的中心线于一实施例中的工作原理图。
图3显示为本发明的基于中心线对胃壁进行分割，获取分割产生的局部组织区域及局部组织区域的像素值分布情况于一实施例中的工作原理图。
图4显示为本发明的残差结构于一实施例中的结构示意图。
图5显示为本发明的基于CT影像的数据处理系统于一实施例中的结构示意图。
图6显示为本发明的服务器于一实施例中的结构示意图。
图7显示为本发明的基于CT影像的数据处理系统于另一实施例中的结构示意图。
图8显示为本发明的胃癌分期模块于一实施例中的结构示意图。
图9显示为本发明的多核残差池化层于一实施例中的结构示意图。
图10显示为本发明的注意力机制于一实施例中的结构示意图。
图11A-C显示为本发明的基于CT影像的胃癌智能分期方法于一实施例中的功能效果图。
标号说明
51-转化模块；52-图像预处理模块；53-胃壁分离模块；54-优化提取模块；55-胃壁分割模块；61-处理器；62-存储器；71-数据采集模块；72-数据传输模块；73-服务器；74-胃癌分期模块。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供了一种基于CT影像的胃癌智能分期方法、系统、介质及服务器，实现了在CT图像上对胃壁的分离、提取等功能，能够实现自主分析胃癌相关医学图像，期间不需要医生的过度参与，从而大大减轻了医生的工作负担，提高了医生对于疾病的诊断效率；本发明通过对医学CT影像的分析，结合深度学习的三维V形网络模型，能够准确分离出胃壁，提高了对胃壁的识别精度，进而提高了诊断结果的可靠性。
于一实施例中，将本发明的基于CT影像的胃癌智能分期方法应用于服务器。
需要说明的是，该服务器用于数据的存储、传输、运算以及供电装置。
于一实施例中，该服务器的硬件配置至少包括但并不限于：英特尔Xeon(至强)E5-2678v3处理器，32GB内存，Nvidia GeForce GTX 1080Ti显卡，此外应配备显示器。
如图1所示，于一实施例中，该基于CT影像的胃癌智能分期方法包括以下步骤：
步骤S1、将获取的CT医疗文件转化为CT图像。
具体地，数据采集模块与一数据传输模块连接，用于采集CT医学数据，并将所述CT医学数据以CT医疗文件的格式保存；同时，将该CT医疗文件上传至该数据传输模块。
需要说明的是，该数据采集模块通常是计算机断层扫描的各种机器，且该CT医疗文件一般是以Dicom格式保存。
进一步地，该数据传输模块与该服务器连接(有线或无线方式)，用于将该CT医疗文件发送至该服务器，以使该服务器获取该CT医疗文件，进而将其转化为CT图像，以达到方便后续数据标注与处理的效果。
需要说明的是，所述CT图像中至少包括胃部CT图像；通常，除了包含该胃部CT图像外，还包含周围组织和器官的图像。
于一实施例中，将获取的CT医疗文件转化为CT图像包括以下步骤：
(11)对所述CT医疗文件进行脱敏处理，以删除所述CT医疗文件中包含的患者隐私信息。
需要说明的是，原始的CT医疗文件中包含患者隐私信息(个人信息等)，通过脱敏处理可将该患者隐私信息去除。
(12)提取所述CT医疗文件中的数据矩阵，以将所述CT医疗文件归一化为可视化的所述CT图像。
具体地，将Dicom格式的CT医疗文件转化为0-255RGB的可视化的CT图像。
进一步地，将该CT图像中的CT值转化为可供深度学习训练的张量。
步骤S2、对所述CT图像进行预处理，获取预处理后的CT图像。
需要说明的是，由于上述的数据采集模块在采集数据过程中，出现噪声、不明粒子的影响，导致扫描出的数据包含有局部噪声。
于本实施例中，通过对该CT图像进行滤波等预处理，实现对该CT图像的降噪。
进一步地，该步骤S2中的预处理，还包括图像增强处理。
需要说明的是，通过对该CT图像进行图像增强处理，实现优化该CT图像。
步骤S3、从所述预处理后的CT图像中分离出胃壁(如图11A所示)，获取对应所述胃壁的掩模图像。
于一实施例中，所述服务器包括改进型的三维V形网络(V-Net)。
于一实施例中，该三维V-Net整个结构的左边是一个逐渐压缩的路径，而右边是一个逐渐解压缩的路径，这样的结构设计能够尽可能地获取上下文信息，实现在CT图像上的胃壁分割。
进一步地，在该三维V-Net中加入全局平均权重模块(Global Average Weight，GAW)，防止神经网络下采样过程中信息丢失，提高了数据的使用效率。
于一实施例中，从所述预处理后的CT图像中分离出胃壁包括以下步骤：
(31)训练所述三维V形网络，获取训练好的三维V形网络。
需要说明的是，在训练该三维V-Net过程中，使用正规化水平集损失函数，不断优化该三维V-Net。
具体地，该损失函数定义为：
其中，Ω表示所述预处理后的CT图像；Gl(x,y)表示手工标注(Ground Truth)的图像的像素值；φ(x,y)表示所述三维V-Net预测出的图像的像素值。其中，
进一步地，在训练该三维V-Net时，首先要获取数据集；具体地，该数据集包括对历史患者对应的CT医疗文件经上述步骤S1和步骤S2后，产生的CT图像；然后，按照一定比例，将该数据集分为训练集和测试集；使用该训练集训练上述的三维V-Net；使用该测试集测试该三维V-Net。
需要说明的是，通过dice(dice similarity coefficient)和IOU(IntersectionOver Union)评估该三维V-Net的性能。
(32)将所述预处理后的CT图像输入至所述训练好的三维V形网络中，以使所述训练好的三维V形网络从所述预处理后的CT图像中分离出所述胃壁。
步骤S4、处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线(如图11B所示)。
于一实施例中，处理所述掩模图像包括以下步骤：
(41)对所述掩模图像进行滤波处理。
需要说明的是，由于胃壁图像往往是一个封闭的区域，内外边缘成近似对称分布，所以采用对称边缘高斯滤波(MF)。
如图2所示，于一实施例中，该步骤(41)的算法如下：
胃壁的轮廓和血管的轮廓较为相似，胃壁的像素点也具有相同的分布特性，胃壁中心线的法线方向的像素点通常是服从高斯分布，为了能够更好的提取胃壁的边缘以及厚度信息MF被定义为：
对f(x,y)求一阶导数：
上述公式中，a为滤波尺度；L是y轴上邻域的像素长度，通常设为5；t是一个常数，实验时设为3，因为高斯曲线下99％以上的面积都在范围内[-3σ，3σ]。
其中，L为假定胃壁具有固定方向的段的长度，这里假设胃壁的方向是沿着y轴对齐的，对于不同方向的胃壁切面，通过对正常和异常胃壁厚度的分析来测定L，上述程序中减少了在非理想环境中出现错误胃壁边缘的可能性，同时，在没有胃壁存在的背景中，由于噪声的影响，该方法还能起到显著的抑制噪声的作用。
其中，参数L等于5个像素，因为正常的胃壁厚度通常在5个像素的宽度，对应约3.3105mm。理想情况下，L的值越大，越可以进一步降低噪声；然而，如果胃壁的边缘具有较大曲率(如肿瘤附近区域)，则生成的模板可能不匹配。L＝5是一个很好的选择，它可以更好地检测到肿瘤区域的高曲率区域边缘。
(42)对所述掩模图像进行亚像素定位。
如图3所示，于一实施例中，使用Steger方法获取胃壁的边缘和法向量。
需要说明的是，Steger算法基于Hessian矩阵，在分离获得的胃壁掩膜基础上，计算出每个点的Hessian矩阵，并借助Hessian矩阵的特征向量获得该像素点所在位置的法向量，以实现对掩膜图像亚像素精度定位；具体地，首先通过Hessian矩阵得到对应点特征向量的法向量，便可以确定出前景图像中像素点的法线方向，然后在法线方向利用泰勒展开得到亚像素级的中心点位置；对于图像中胃壁上的任意一点，其对应的Hessian矩阵可以表示为：
其中，rxx表示该点在图像水平方向的二阶梯度；rxy表示水平和竖直方向各求一次梯度；ryx表示先竖直方向求梯度然后水平方向求梯度；ryy表示竖直方向二阶梯度。
Hessian矩阵是是对称矩阵，所以它的特征值可以通过如下方法求得，对应的特征向量为e1，e2：
其中，K＝(rxx+ryy)/2,
而对应点海森矩阵的特征向量就是该点所在区域的法方向。通过确定t的值，能够获取到中线像素点(px,py)的位置，其中(nx,ny)为该像素点特征向量的法向量。通过循环整个图像而获取整张图像的中心线。
(px,py)＝(tnx,tny)
其中，
获得的图像结果中边缘由于原始图像的拓扑结构非典型的条形图像，导致矩阵中心点的计算结果有偏差，在图像的边缘产生一定量的噪声。
(43)去除所述掩模图像的噪声。
优选地，通过形态学膨胀的方法去除该掩模图像中的噪声。
具体地，膨胀的公式如下所示：
其中，S表示膨胀后的掩模图像，需二值化处理；B表示进行膨胀的结构元素；X表示原掩模图像经过二值化后的图像；(x,y)表示掩模图像中需要处理的像素点在掩模图像中的位置。
步骤S5、基于所述中心线对所述胃壁进行分割(如图11C所示)，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况。
具体地，对该胃壁沿着中心线垂直方向进行逐块分割，获取若干块局部组织区域，而每一块均有对应的位置信息，且都包含着该胃壁的结构：黏膜层、黏膜下层、固有肌层及浆膜层；通过分析每一块局部组织区域的像素值分布情况，实现对该局部组织区域的分类(正常、异常)。
如图3所示，于一实施例中，使用改进型的Y形网络(Y-Net)训练一胃壁分割网络，以获取训练好的胃壁分割网络，从而将经步骤S4获取的胃壁输入至该胃壁分割网络中，获取分割产生的局部组织区域(对应图3中的粗分割结果图)。
需要说明的是，Y-Net具备编码解码器结构，在特征编码部分使用由1*1、3*3和1*1组成的带有注意力机制的反卷积模块来恢复更详细的语义信息，注意力机制的引入可以减少不同尺度的特征要素之间的信息鸿沟并突出显示感兴趣区域；多核残差池化模块则是使用不同大小的池化核对同一特征图进行不同感受野的特征提取；密集连接的空洞卷积模块是针对胃癌在CT影像上的特点而提出的由多个不同空洞率的卷积层组成的模块，该模块利用空洞卷积的特性提取更丰富、更高级的特征。
具体地，上述步骤S5的算法如下：
在传统的Y-Net编码路径和解码路径之间增加了残差结构，在特征编码路径上保留了ResNet前四个残差卷积模块，删除了原始网络中后面的池化层和全连接层，这样的改进增强了网络的泛化能力，避免了梯度的消失，增强了网络的训练能力，残差结构的流程图如图4所示。
图4中长方体表示卷积之后得到的特征图，矩形框内的BN、ReLU、Conv分别表示Batch Normalization批量归一化、ReLU激活函数、Conv3*3的卷积；残差结构就是将输入的特征图与经过卷积、归一化、激活函数处理后的特征图直接相加，然后一同送入下一层网络。于一实施例中，所述基于CT影像的胃癌智能分期方法还包括以下步骤：
步骤S6、基于所述像素值分布情况，创建所述局部组织区域对应的像素值分布直方图。
于一实施例中，所述基于CT影像的胃癌智能分期方法还包括以下步骤：构建病理信息数据库。
具体地，收集历史患者的病理数据，以构建出一病理信息数据库。
需要说明的是，在该历史患者的病理数据中包括对应患者的姓名、身份证号等与病情无关的数据，在创建病理信息数据库时，将这些无关数据删除，而只保留年龄、性别、病史等与病情有关的信息。
需要说明的是，在经上述步骤S6，创建出像素值分布直方图后，医生通过该像素值分布直方图，结合该病理信息数据库，给患者提供准确的医学诊断报告；省去了医生处理CT图像的麻烦，提高了医生的诊断效率；而且，考虑到现有技术中，医生在根据CT图像进行疾病的诊断时，其主观判断也会因为不可控的因素影响诊断的结果，进而导致诊断结果的不一致性；此外，经验知识贮备不同的医生对诊断的结果也不会完全相同，即使是同一医生在不同的工作状态下也有可能做出不同的诊断结果，因此，面对如此重复繁琐的事情，本发明提供的基于CT影像的胃癌智能分期方法能够实现自动分析该CT图像，获取分析结果，从而使医生根据该分析结果给患者一个准确一致的诊断结果，提高了诊断结果的可靠性。
需要说明的是，本发明所述的基于CT影像的胃癌智能分期方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
如图5所示，于一实施例中，本发明的基于CT影像的数据处理系统应用于服务器，包括转化模块51、图像预处理模块52、胃壁分离模块53、优化提取模块54及胃壁分割模块55。
所述转化模块51用于将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像。
所述图像预处理模块52用于对所述CT图像进行预处理，获取预处理后的CT图像。
所述胃壁分离模块53用于从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像。
所述优化提取模块54用于处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线。
所述胃壁分割模块55用于基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况。
需要说明的是，该基于CT影像的数据处理系统的工作原理与上述基于CT影像的胃癌智能分期方法的工作原理相同，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于CT影像的胃癌智能分期方法。所述存储介质包括：只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图6所示，本发明的服务器包括处理器61及存储器62。
所述存储器62用于存储计算机程序；优选地，所述存储器62包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连，用于执行所述存储器62存储的计算机程序，以使所述服务器执行上述的基于CT影像的胃癌智能分期方法。
优选地，所述处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图7所示，于一实施例中，本发明的基于CT影像的数据处理系统包括数据采集模块71、数据传输模块72及上述的服务器73。
具体地，所述数据采集模块71与所述数据传输模块72连接，用于采集CT医学数据，并将所述CT医学数据以CT医疗文件的格式保存，及用于将所述CT医疗文件上传至所述数据传输模块72；所述数据传输模块72与所述服务器73连接，用于将所述CT医疗文件发送至所述服务器73。
如图7所示，于一实施例中，所述基于CT影像的数据处理系统还包括胃癌分期模块74。
具体地，所述胃癌分期模块74与所述数据传输模块72连接，用于接收从所述服务器73发送来的像素值分布情况。
于一实施例中，所述胃癌分期模块74包括多核残差池化层。
如图8所示，该胃癌分期模块74是在上述的胃癌分割模块55的基础上进行，通过多核残差池化层，增大感受野，凸显肿瘤区域；同时，在上采样的过程中通过注意力机制加强对肿瘤区域的关注，最小化其他组织结构和噪声对网络造成的不良效应，最后，使用softmax从全连接层提取的特征来预测胃癌的分期，分类的结果是逐像素对图像进行分析，最终从一个1*5的向量中选取代表五种T分期类型中概率值最大的作为T分期的结果。
具体地，该胃癌分期模块74的具体算法如下：
通过多核残差池化层来突出显示目标区域，该多核残差池化层主要依靠四个不同尺寸的核来检测大小不同的对象(肿瘤)并提取上下文的语义信息。
随着感受野增大，可以提取到的信息就越多，四个不同级别的输出池化层对应四个不同感受野的特征图。其结构如图9所示。在经过四个不同级别(2*2、3*3、5*5、6*6)的池化(spooling)层之后，使用1*1卷积来减少权重的维数和计算的复杂度。然后分别对四个特征图进行上采样(upsample)，恢复至原图大小。最后将四个经过处理的特征图与输入的特征图拼接到一起。
在特征解码的同时引入微调的注意力机制。特征编码模块中每一层的特征图与特征解码模块中对应的每一层的特征图一同送入注意力机制当中。通过融合特征编码中的低级边缘细小特征和特征解码当中高级的深层语义特征，Y-Net既可以保留高级特征中的高分辨率信息又可以保留低级特征图中的边缘信息，从而提高整个网络图像分割的准确性。除此之外，微调的注意力机制还可以补偿卷积和池化操作当中丢失的信息，注意力机制具体结构如图10所示。
从图10中可以看出注意力机制的输入分别由特征编码模块中的特征图g与特征解码中的特征图xl组成，而注意力机制的输出是经过计算得出的注意力系数α与解码中的特征图xl的乘积
其公式如下所示：
其中σ1是超参为0.2的PReLU激活函数，σ2为Sigmoid激活函数，W是卷积核为1*1*1的滤波器，θatt是(1)式中线性变化的综合表示。注意力机制的两个输入分别为编码模块的特征图gi和对应的解码模块的特征图
输出是解码的特征图与注意力系数的积
两个特征图拼接之后经过Prelu、Sigmoid两层激活函数再上采样得到注意力系数
需要说明的是，本发明的基于CT影像的数据处理系统可以实现本发明的基于CT影像的胃癌智能分期方法，但本发明的基于CT影像的胃癌智能分期方法的实现装置包括但不限于本实施例列举的基于CT影像的数据处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明的基于CT影像的胃癌智能分期方法、系统、介质及服务器，与现有技术相比，本发明提供了一种基于CT影像的胃癌智能分期方法、系统、介质及服务器，实现了在CT图像上对胃壁的分离、提取等功能，能够实现自主分析胃癌相关医学图像，期间不需要医生的过度参与，从而大大减轻了医生的工作负担，提高了医生对于疾病的诊断效率；本发明通过对医学CT影像的分析，结合深度学习的三维V形网络模型，能够准确分离出胃壁，提高了对胃壁的识别精度，进而提高了诊断结果的可靠性；所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于CT影像的胃癌智能分期方法，其特征在于，包括以下步骤：
将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像；
对所述CT图像进行预处理，获取预处理后的CT图像；
从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像；
处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线；
基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况；
上述的基于CT影像的胃癌智能分期方法包括一个胃癌分期模块；所述胃癌分期模块与数据传输模块连接，用于接收从服务器发送来的像素值分布情况，所述胃癌分期模块包括多核残差池化层；通过所述的胃癌分期模块来预测胃癌的分期。
2.根据权利要求1所述的基于CT影像的胃癌智能分期方法，其特征在于，将获取的CT医疗文件转化为CT图像包括以下步骤：
对所述CT医疗文件进行脱敏处理，以删除所述CT医疗文件中包含的患者隐私信息；
提取所述CT医疗文件中的数据矩阵，以将所述CT医疗文件归一化为可视化的所述CT图像。
3.根据权利要求1所述的基于CT影像的胃癌智能分期方法，其特征在于，上述的基于CT影像的胃癌智能分期方法应用于服务器，所述服务器包括三维V形网络；从所述预处理后的CT图像中分离出胃壁包括以下步骤：
训练所述三维V形网络，获取训练好的三维V形网络；
将所述预处理后的CT图像输入至所述训练好的三维V形网络中，以使所述训练好的三维V形网络从所述预处理后的CT图像中分离出所述胃壁。
4.根据权利要求1所述的基于CT影像的胃癌智能分期方法，其特征在于，处理所述掩模图像包括以下步骤：
对所述掩模图像进行滤波处理；
对所述掩模图像进行亚像素定位；
去除所述掩模图像的噪声。
5.根据权利要求1所述的基于CT影像的胃癌智能分期方法，其特征在于，所述基于CT影像的胃癌智能分期方法还包括以下步骤：
基于所述像素值分布情况，创建所述局部组织区域对应的像素值分布直方图；
收集历史患者的病理数据以构建出一病理信息数据库，病理信息数据库包括年龄、性别、病史与病情有关的信息；
创建出像素值分布直方图后，通过该像素值分布直方图，结合病理信息数据库给患者提供医学诊断报告。
6.一种基于CT影像的数据处理系统，应用于服务器，其特征在于，包括：转化模块、图像预处理模块、胃壁分离模块、优化提取模块及胃壁分割模块；
所述转化模块用于将获取的CT医疗文件转化为CT图像；所述CT图像中至少包括胃部CT图像；
所述图像预处理模块用于对所述CT图像进行预处理，获取预处理后的CT图像；
所述胃壁分离模块用于从所述预处理后的CT图像中分离出胃壁，获取对应所述胃壁的掩模图像；
所述优化提取模块用于处理所述掩模图像，提取出所述胃壁及所述胃壁的中心线；
所述胃壁分割模块用于基于所述中心线对所述胃壁进行分割，获取分割产生的局部组织区域及所述局部组织区域的像素值分布情况。
7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于CT影像的胃癌智能分期方法。
8.一种服务器，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行权利要求1
至5中任一项所述的基于CT影像的胃癌智能分期方法。
9.一种基于CT影像的数据处理系统，其特征在于，包括：数据采集模块、数据传输模块及权利要求8中所述的服务器；
所述数据采集模块与所述数据传输模块连接，用于采集CT医学数据，并将所述CT医学数据以CT医疗文件的格式保存，及用于将所述CT医疗文件上传至所述数据传输模块；
所述数据传输模块与所述服务器连接，用于将所述CT医疗文件发送至所述服务器。
10.根据权利要求9中所述的基于CT影像的数据处理系统，其特征在于，所述基于CT影像的数据处理系统还包括：胃癌分期模块；
所述胃癌分期模块与所述数据传输模块连接，用于接收从所述服务器发送来的像素值分布情况，所述胃癌分期模块包括：多核残差池化层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787777.7A CN113421274B (zh) | 2021-07-13 | 2021-07-13 | 一种基于ct影像的胃癌智能分期方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787777.7A CN113421274B (zh) | 2021-07-13 | 2021-07-13 | 一种基于ct影像的胃癌智能分期方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421274A CN113421274A (zh) | 2021-09-21 |
| CN113421274B true CN113421274B (zh) | 2022-08-02 |
Family
ID=77720760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110787777.7A Active CN113421274B (zh) | 2021-07-13 | 2021-07-13 | 一种基于ct影像的胃癌智能分期方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421274B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101744633A (zh) * | 2008-12-03 | 2010-06-23 | 株式会社东芝 | 图像显示装置及x射线ct装置 |
| CN110664426A (zh) * | 2019-10-18 | 2020-01-10 | 北京深睿博联科技有限责任公司 | 基于深度密集卷积网络的胃部补水充盈程度判断方法 |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN112085741A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于深度学习的胃癌病理切片分割算法 |
| CN112102276A (zh) * | 2020-09-10 | 2020-12-18 | 西安电子科技大学 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
| CN112750142A (zh) * | 2021-01-26 | 2021-05-04 | 上海工程技术大学 | 基于边窗注意力机制的超声图像分割系统及方法 |
| CN112802036A (zh) * | 2021-03-16 | 2021-05-14 | 上海联影医疗科技股份有限公司 | 一种三维医学图像靶区分割的方法、系统和装置 |
| CN112861994A (zh) * | 2021-03-12 | 2021-05-28 | 中国科学院自动化研究所 | 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统 |
| CN112967232A (zh) * | 2021-02-04 | 2021-06-15 | 复旦大学附属中山医院 | 基于图卷积的胃癌病理图像分割网络结构 |
| CN113034462A (zh) * | 2021-03-22 | 2021-06-25 | 福州大学 | 基于图卷积的胃癌病理切片图像的处理方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785300A (zh) * | 2018-12-27 | 2019-05-21 | 华南理工大学 | 一种癌症医学图像数据处理方法、系统、装置和存储介质 |
| CN112967269A (zh) * | 2021-03-24 | 2021-06-15 | 河海大学 | 一种基于ct图像的肺结节识别方法 |
-
2021
- 2021-07-13 CN CN202110787777.7A patent/CN113421274B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101744633A (zh) * | 2008-12-03 | 2010-06-23 | 株式会社东芝 | 图像显示装置及x射线ct装置 |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN110664426A (zh) * | 2019-10-18 | 2020-01-10 | 北京深睿博联科技有限责任公司 | 基于深度密集卷积网络的胃部补水充盈程度判断方法 |
| CN112085741A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于深度学习的胃癌病理切片分割算法 |
| CN112102276A (zh) * | 2020-09-10 | 2020-12-18 | 西安电子科技大学 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
| CN112750142A (zh) * | 2021-01-26 | 2021-05-04 | 上海工程技术大学 | 基于边窗注意力机制的超声图像分割系统及方法 |
| CN112967232A (zh) * | 2021-02-04 | 2021-06-15 | 复旦大学附属中山医院 | 基于图卷积的胃癌病理图像分割网络结构 |
| CN112861994A (zh) * | 2021-03-12 | 2021-05-28 | 中国科学院自动化研究所 | 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统 |
| CN112802036A (zh) * | 2021-03-16 | 2021-05-14 | 上海联影医疗科技股份有限公司 | 一种三维医学图像靶区分割的方法、系统和装置 |
| CN113034462A (zh) * | 2021-03-22 | 2021-06-25 | 福州大学 | 基于图卷积的胃癌病理切片图像的处理方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 《计算机工程与应用》;周意龙;《计算机工程与应用》;20210409;全文 * |
| 基于CT影像组学和深度学习的进展期胃癌预后预测研究;张文娟;《中国博士学位论文全文数据库 医药卫生科技辑》;20210115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421274A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| Nigri et al. | Explainable deep CNNs for MRI-based diagnosis of Alzheimer’s disease | |
| Marghalani et al. | Automatic classification of brain tumor and Alzheimer’s disease in MRI | |
| Hossain et al. | Vision transformers, ensemble model, and transfer learning leveraging explainable AI for brain tumor detection and classification | |
| Abdelmaguid et al. | Left ventricle segmentation and volume estimation on cardiac mri using deep learning | |
| CN109191422B (zh) | 基于常规ct图像的缺血性脑卒中早期检测系统和方法 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| Nazir et al. | Machine Learning-Based Lung Cancer Detection Using Multiview Image Registration and Fusion | |
| Silva et al. | Assessment of the association of deep features with a polynomial algorithm for automated oral epithelial dysplasia grading | |
| CN113421274B (zh) | 一种基于ct影像的胃癌智能分期方法 | |
| CN115809988A (zh) | 脑肿瘤患者生存分析方法及系统 | |
| Armstrong et al. | Brain tumor image segmentation using Deep learning | |
| Kalaiselvi et al. | Machine learning approach for automatic brain tumour detection using patch-based feature extraction and classification | |
| Wang et al. | A 3D cross-hemisphere neighborhood difference Convnet for chronic stroke lesion segmentation | |
| Inan et al. | Deep integrated pipeline of segmentation leading to classification for automated detection of breast cancer from breast ultrasound images | |
| Zhang et al. | Predicting future cognitive decline with hyperbolic stochastic coding | |
| Chandra et al. | A Novel Framework For Brain Disease Classification Using Quantum Convolutional Neural Network | |
| CN115239688B (zh) | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 | |
| CN114419066B (zh) | 脑白质高信号分割方法、装置、设备及存储介质 | |
| Dai et al. | A Generative Data Augmentation Trained by Low-quality Annotations for Cholangiocarcinoma Hyperspectral Image Segmentation | |
| Lee et al. | Brain tumor segmentation on clinical datasets | |
| Tamrakar et al. | Brain Tumor Detection Based on Watershed Segmentation and Classification Using Deep Learning | |
| Singhal et al. | An Ensembling Approach using DL & Non-DL Techniques for Detecting Brain Tumors using MRI Scans | |
| Buchade et al. | Recent Trends on Brain Tumor Detection Using Hybrid Deep Learning Methods. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |