CN111340128A - 一种肺癌转移性淋巴结病理图像识别系统及方法 - Google Patents
一种肺癌转移性淋巴结病理图像识别系统及方法 Download PDFInfo
- Publication number
- CN111340128A CN111340128A CN202010148819.8A CN202010148819A CN111340128A CN 111340128 A CN111340128 A CN 111340128A CN 202010148819 A CN202010148819 A CN 202010148819A CN 111340128 A CN111340128 A CN 111340128A
- Authority
- CN
- China
- Prior art keywords
- image
- lung cancer
- lymph node
- images
- metastatic lymph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 90
- 206010050017 Lung cancer metastatic Diseases 0.000 title claims abstract description 65
- 230000001575 pathological effect Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000005520 cutting process Methods 0.000 claims abstract description 27
- 208000020816 lung neoplasm Diseases 0.000 claims abstract description 22
- 210000001519 tissue Anatomy 0.000 claims abstract description 22
- 206010058467 Lung neoplasm malignant Diseases 0.000 claims abstract description 19
- 201000005202 lung cancer Diseases 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000001394 metastastic effect Effects 0.000 claims abstract description 16
- 206010061289 metastatic neoplasm Diseases 0.000 claims abstract description 16
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 210000004027 cell Anatomy 0.000 claims description 30
- 230000004614 tumor growth Effects 0.000 claims description 30
- 206010028980 Neoplasm Diseases 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000010354 integration Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 7
- 239000012188 paraffin wax Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 6
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 5
- 206010027476 Metastases Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 208000037841 lung tumor Diseases 0.000 description 3
- 230000009401 metastasis Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012333 histopathological diagnosis Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肺癌转移性淋巴结病理图像识别系统及方法，涉及神经网络。包括：标注模块，获取若干肺癌患者的切片图像，并对转移性淋巴结病灶区域进行标注，得到标注图像；分类模块，将各标注图像按照比例分为训练集和测试集；筛选模块，针对训练集中的各标注图像，分别去除背景区域得到组织图像；切割模块，对各组织图像进行图像切割，得到若干切割图像；训练模块，根据各切割图像训练得到肺癌转移性淋巴结的检测模型；优化模块，根据测试集中的各标注图像对肺癌转移性淋巴结检测模型进行优化；识别模块，用于根据检测模型对待检测切片图像进行病理图像识别。具有以下有益效果：方便医生发现可疑图像并提高切片图像的识别率。
Description
技术领域
本发明涉及神经网络领域，尤其涉及一种肺癌转移性淋巴结病理图像识别系统及方法。
背景技术
肺癌是全球最常见的恶性肿瘤之一，预后5年生存率仅有18％。我国肺癌的发病率、死亡率均高居恶性肿瘤之首，严重威胁着国民的健康。
淋巴结转移是肺瘤转移的最常见形式，是指浸润的肺瘤细胞穿过淋巴管壁，脱落后随着淋巴液被带到汇流区的淋巴结，并以此为中心生长出同样肿瘤的现象，被认为是肺癌重要的预后因素之一。根据第八版美国癌症联合委员会(American Joint Committee onCancer,AJCC),术后病理TNM系统中N分期由区域淋巴结转移情况决定，基于孤立的肿瘤细胞或肿瘤细胞群的直径，淋巴结转移瘤可分为三类：直径＞2mm为MA(宏转移)、直径为0.2mm-2mm为MI(微转移)、直径＜0.2mm为ITCs(孤立肿瘤细胞)。常规病理淋巴结的检测是对患者术前精确的肿瘤分期，以制定科学、规范的术前治疗、手术清扫范围和预后分析的重要依据。国内的大部分医院里，医生对肺癌患者术前淋巴结转移情况的评估多依赖以胸部薄层CT扫描为主的多学科诊断方法，诊断标准是淋巴结肿大，一般以淋巴结直径＞1cm作为阳性标准，这会造成较小的淋巴结转移灶被遗漏，也可能把反应性的增生淋巴结判定为阳性，所以并不具备特异性；术中判断淋巴结转移多是依靠外科医生的临床经验，误差很大。由于淋巴结清扫范围的扩大和疾病发病率的增加，准确完整的诊断必须依靠经验丰富的病理学家阅读大量的载玻片才能得出。
由于近年数字切片扫描仪的更新，扫描图像质量可以达到显微镜的成像效果，全切片扫描技术已经可以实现病理切片数字化并且在过去的十年内逐渐的应用到了科研和临床中，但在日常的病理切片诊断过程中，医生通常需要通过逐片阅读对整张切片中存在的转移性淋巴结进行检测并分类，筛选出最终确定肿瘤转移性淋巴结的图像和位置，因此医生的日常工作量巨大，但是这种做法很多时候取决于医生的经验主观判断，因此会出现诊断一致性偏低。除此之外，各单位评价转移性淋巴结的测量方法、标准等不一都会影响病理诊断结果的准确性。
随着人工智能技术逐渐进入医疗领域，深度学习算法已经开始应用于医学图像处理，可直接提取图像深层特征信息，并自动学习训练模型，从识别肿瘤区域到提取隐藏的肿瘤特征应用都十分广泛，可用于构建数字病理学的决策工作流程，其中最具有代表性的是卷积神经网络(Convolution Neural Network,CNN)。卷积神经网络内部隐藏层多为卷积层(Convolution Layer)，还包括了一部分池化层(Pool Layer)、全连接层(Fully ConnectLayer)和归一化层(Normalize Layer)。目前以CNN为基础构建的神经网络模型有多种，包括VGG、Google-Net、Res-Net等。这些网络的内部结构、参数或许有所差异，但处理思路大致一致。在以往的研究中已经证明CNN对于目标物体的几何形状、颜色分布与构成变化都有一定的敏感度，因此经临床大数据训练后的CNN模型可以摆脱专业背景的束缚，全面而准确的获取病理切片的特征，适用于大数据量的全视野数字切片(Whole Slide Image,WSI)的图像分析，如何通过CNN实现肺癌转移性淋巴结自动识别，是目前亟待解决的问题。
发明内容
本发明为了解决上述问题，现提出一种肺癌转移性淋巴结病理图像识别系统，包括：
标注模块，获取若干肺癌患者的切片图像，并对所述切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
分类模块，连接所述标注模块，用于将各所述标注图像按照预设比例分为训练集和测试集；
筛选模块，连接所述分类模块，用于针对所述训练集中的各所述标注图像，分别去除所述标注图像中不含细胞组织的背景区域，得到组织图像；
切割模块，连接所述筛选模块，用于分别对各所述组织图像进行图像切割，得到若干切割图像；
训练模块，连接所述切割模块，用于根据各所述切割图像训练得到肺癌转移性淋巴结的检测模型；
优化模块，连接所述训练模块，用于根据所述测试集中的各所述标注图像对所述肺癌转移性淋巴结检测模型进行优化，并将优化后的所述检测模型进行保存；
识别模块，连接所述优化模块，用于根据所述检测模型对待检测切片图像进行所述肺癌转移性淋巴结的病理图像识别。
优选的，所述识别模块包括：
分割单元，用于将待检测切片图像进行图像分割，得到若干待检测分割图像；
评分单元，连接所述分割单元，用于分别将各所述待检测分割图像输入所述检测模型中，得到各所述待检测分割图像对应的肿瘤概率评分，并将各所述肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
整合单元，连接所述评分单元，用于根据所述概率评分队列将各肿瘤概率评分对应的所述待检测分割图像进行图像整合，得到所述待检测切片图像的肿瘤生长模式热图；
二值化单元，连接所述整合单元，用于将所述肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
比较单元，连接所述二值化单元，用于计算所述肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将所述阳性点数量与预设的阳性点阈值进行比较，在所述阳性点数量小于所述阳性点阈值时，输出表征所述待检测切片图像为正常切片的病理图像识别结果，以及在所述阳性点数量不小于所述阳性点阈值时，输出表征所述待检测切片图像为带有所述肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
优选的，所述切片图像为冰冻切片图像或石蜡切片图像。
优选的，还包括数据增强模块，分别连接所述切割模块和所述训练模块，用于在训练所述检测模型之前，对所述训练集进行数据增强。
优选的，所述数据增强包括对各所述切割图像进行亮度变换，和/或饱和度变换，和/或对比度变换，和/或角度变换。
优选的，所述切割图像包括带有肺癌转移性淋巴结细胞的阳性小块图像和不带有所述肺癌转移性淋巴结细胞的阴性小块。
优选的，所述待检测分割图像的尺寸为256×256分辨率。
一种肺癌转移性淋巴结病理图像识别方法，应用于肺癌转移性淋巴结病理图像识别系统，肺癌转移性淋巴结病理图像识别方法包括以下步骤：
步骤S1，获取若干肺癌患者的切片图像，并对所述切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
步骤S2，将各所述标注图像按照预设比例分为训练集和测试集；
步骤S3，针对所述训练集中的各所述标注图像，分别去除所述标注图像中不含细胞组织的背景区域，得到组织图像；
步骤S4，分别对各所述组织图像进行图像切割，得到若干切割图像；
步骤S5，根据各所述切割图像训练得到肺癌转移性淋巴结的检测模型；
步骤S6，根据所述测试集中的各所述标注图像对所述肺癌转移性淋巴结检测模型进行优化，并将优化后的所述检测模型进行保存；
步骤S7，根据所述检测模型对待检测切片图像进行所述肺癌转移性淋巴结的病理图像识别。
优选的，步骤S7具体包括：
步骤S71，将待检测切片图像进行图像分割，得到若干待检测分割图像；
步骤S72，分别将各所述待检测分割图像输入所述检测模型中，得到各所述待检测分割图像对应的肿瘤概率评分，并将各所述肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
步骤S73，根据所述概率评分队列将各肿瘤概率评分对应的所述待检测分割图像进行图像整合，得到所述待检测切片图像的肿瘤生长模式热图；
步骤S74，将所述肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
步骤S75，计算所述肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将所述阳性点数量与预设的阳性点阈值进行比较：
若所述阳性点数量小于所述阳性点阈值，则输出表征所述待检测切片图像为正常切片的病理图像识别结果；
若所述阳性点数量不小于所述阳性点阈值，则输出表征所述待检测切片图像为带有所述肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
具有以下有益效果：
本发明通过对切片图像分割并按顺序排列获得肿瘤生长模式热图，方便医生发现可疑图像；还可以通过计算阳性点数量进行精确判断，解决了医生主观判断存在的差异，提高了切片图像的识别率。
附图说明
图1为本发明较佳的实施例中，一种肺癌转移性淋巴结病理图像识别系统结构示意图；
图2为本发明较佳的实施例中，一种肺癌转移性淋巴结病理图像识别方法的流程示意图；
图3为本发明较佳的实施例中，一种肺癌转移性淋巴结病理图像识别方法进行识别的具体流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明为了解决上述问题，现提出一种肺癌转移性淋巴结病理图像识别系统，如图1所示，包括：
标注模块1，获取若干肺癌患者的切片图像，并对切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
分类模块2，连接标注模块1，用于将各标注图像按照预设比例分为训练集和测试集；
筛选模块3，连接分类模块2，用于针对训练集中的各标注图像，分别去除标注图像中不含细胞组织的背景区域，得到组织图像；
切割模块4，连接筛选模块3，用于分别对各组织图像进行图像切割，得到若干切割图像；
训练模块5，连接切割模块4，用于根据各切割图像训练得到肺癌转移性淋巴结的检测模型；
优化模块6，连接训练模块5，用于根据测试集中的各标注图像对肺癌转移性淋巴结检测模型进行优化，并将优化后的检测模型进行保存；
识别模块7，连接优化模块6，用于根据检测模型对待检测切片图像进行肺癌转移性淋巴结的病理图像识别。
具体地，本实施例中，现阶段利用卷积神经网络自动识别肿瘤转移性淋巴结可行性在乳腺癌、结直肠癌领域都有一定的证据支持，并有了一定的辅助作用，但在肺癌领域还未有涉及，主要因为肺部肿瘤异质性高、成分复杂，切片图像中若只是单个肿瘤转移性细胞更是增加了识别的难度。
组织病理学诊断仍然是诊断癌症的金标准，但通过组织病理学手段取得的切片图像可能富含大量繁杂、冗余的干扰信息，往往需要权威的具有多年临床经验的医生判断，但即使再权威的医生也不能保证判断切片信息的准确性，在切片图像中往往存在富含大量繁杂、冗余的干扰信息，会干扰医生对切片图像的误判，导致病人得不到及时和正确就医。为了减轻医生对繁多的切片图像判断的压力和并提高切片图像的识别率，现开发出一种通过学习可以对切片图片准确快速识别且具有很高准确率的卷积神经网络系统，该系统包括：
标注模块1获得患者的切片图像及与切片图像相对应的临床病理诊断报告，其中病理信息包括患者的性别、年龄、吸烟史、手术方法、淋巴结清扫方案、淋巴结采样数、淋巴结阳性组等信息；切片图像可以为冰冻切片图像，也可以为石蜡切片图像，或者其他切片图像；切片图像和临床病理诊断报告选用权威的医生出具的，并有权威医生对切片图像进行标注，以方便作为学习的标准；本发明较佳的实施例中，医生根据切片图像中的转移性淋巴结病灶区域根据病情严重程度进行标注获得标注图像；分类模块2按照预设比例分为训练集和测试集，以供后面进行训练和测试；筛选模块3对切片图像进行处理，去除标注图像中不含细胞组织的背景区域，主要为了去除一些疑似点的干扰，获得组织图像，提高该系统的运行速度；切割模块4对切片图像进行切割方便系统识别，优选为将切片图像切割成600×600分辨率；对变换后的图像分别进行评分并按照评分的高低进行重新排列得到肿瘤生长模式热图；训练模块5对切割图像训练得到肺癌转移性淋巴结的检测模型；优化模块6根据测试集中的各标注图像对肺癌转移性淋巴结检测模型进行优化，并将优化后的检测模型进行保存。识别模块7用于对待检测图像进行肺癌转移性淋巴结的病理图像识别，并获得最终识别结果。
对以上得到的肺癌转移性淋巴结异常细胞检测模型进行测试，取得一待检测切片图像，将该待检测切片图像分割得到若干张待检测分割图像，然后进行二值化处理得到待检测灰度图像；将该图像输入到肺癌转移性淋巴结异常细胞检测模型中检测并与预设的阳性点个数阈值进行比较：若待检测灰度图像中的阳性点个数大于预设的阳性点个数阈值则，得出该患者切片为肺癌转移性淋巴结；若阳性点个数不大于预设的阳性点个数阈值，则得出该患者切片为非肺癌转移性淋巴结。
本发明较佳的实施例中，识别模块7包括：
分割单元71，用于将待检测切片图像进行图像分割，得到若干待检测分割图像；
评分单元72，连接分割单元71，用于分别将各待检测分割图像输入检测模型中，得到各待检测分割图像对应的肿瘤概率评分，并将各肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
整合单元73，连接评分单元72，用于根据概率评分队列将各肿瘤概率评分对应的待检测分割图像进行图像整合，得到待检测切片图像的肿瘤生长模式热图；
二值化单元74，连接整合单元73，用于将肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
比较单元75，连接二值化单元74，用于计算肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将阳性点数量与预设的阳性点阈值进行比较，在阳性点数量小于阳性点阈值时，输出表征待检测切片图像为正常切片的病理图像识别结果，以及在阳性点数量不小于阳性点阈值时，输出表征待检测切片图像为带有肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
具体地，本实施例中，分割单元71将待检测切片图像进行图像分割，将分割后的待检测分割图像输入到检测模型中，评分单元72进行评分得到肿瘤概率评分的结果，并按照评分高低依次排列成概率评分队列，整合单元73将概率评分队列对应的待检测分割图像进行图像整合，并得到待检测切片图像的肿瘤生长模式热图；二值化单元74将肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；从肿瘤生长模式灰度图中可以方便医生清晰的看到病人肿瘤的具体情况；比较单元75用于计算肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将阳性点数量与预设的阳性点阈值进行比较，当阳性点数量小于阳性点阈值时，输出表征待检测切片图像为正常切片的病理图像识别结果；当阳性点数量不小于阳性点阈值时，输出表征待检测切片图像为带有肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
本发明较佳的实施例中，切片图像为冰冻切片图像或石蜡切片图像。
本发明较佳的实施例中，还包括数据增强模块8，分别连接所述切割模块4和所述训练模块5，用于在训练所述检测模型之前，对所述训练集进行数据增强。
本发明较佳的实施例中，所述数据增强包括对各所述切割图像进行亮度变换，和/或饱和度变换，和/或对比度变换，和/或角度变换。
具体地，本实施例中，对标注图像进行亮度、饱和度、对比度和角度变换得到众多变换图像，扩充标注图像数量并提高系统的识别能力。
本发明较佳的实施例中，切割图像包括带有肺癌转移性淋巴结细胞的阳性小块图像和不带有肺癌转移性淋巴结细胞的阴性小块。
本发明较佳的实施例中，待检测分割图像的尺寸为256×256分辨率。
一种肺癌转移性淋巴结病理图像识别方法，应用于肺癌转移性淋巴结病理图像识别系统，如图2所示，包括以下步骤：
步骤S1，获取若干肺癌患者的切片图像，并对切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
步骤S2，将各标注图像按照预设比例分为训练集和测试集；
步骤S3，针对训练集中的各标注图像，分别去除标注图像中不含细胞组织的背景区域，得到组织图像；
步骤S4，分别对各组织图像进行图像切割，得到若干切割图像；
步骤S5，根据各切割图像训练得到肺癌转移性淋巴结的检测模型；
步骤S6，根据测试集中的各标注图像对肺癌转移性淋巴结检测模型进行优化，并将优化后的检测模型进行保存；
步骤S7，根据检测模型对待检测切片图像进行肺癌转移性淋巴结的病理图像识别。
本发明较佳的实施例中，如图3所示，步骤S7具体包括：
步骤S71，将待检测切片图像进行图像分割，得到若干待检测分割图像；
步骤S72，分别将各待检测分割图像输入检测模型中，得到各待检测分割图像对应的肿瘤概率评分，并将各肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
步骤S73，根据概率评分队列将各肿瘤概率评分对应的待检测分割图像进行图像整合，得到待检测切片图像的肿瘤生长模式热图；
步骤S74，将肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
步骤S75，计算肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将阳性点数量与预设的阳性点阈值进行比较：
若阳性点数量小于阳性点阈值，则输出表征待检测切片图像为正常切片的病理图像识别结果；
若阳性点数量不小于阳性点阈值，则输出表征待检测切片图像为带有肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (9)
1.一种肺癌转移性淋巴结病理图像识别系统，其特征在于，包括：
标注模块，获取若干肺癌患者的切片图像，并对所述切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
分类模块，连接所述标注模块，用于将各所述标注图像按照预设比例分为训练集和测试集；
筛选模块，连接所述分类模块，用于针对所述训练集中的各所述标注图像，分别去除所述标注图像中不含细胞组织的背景区域，得到组织图像；
切割模块，连接所述筛选模块，用于分别对各所述组织图像进行图像切割，得到若干切割图像；
训练模块，连接所述切割模块，用于根据各所述切割图像训练得到肺癌转移性淋巴结的检测模型；
优化模块，连接所述训练模块，用于根据所述测试集中的各所述标注图像对所述肺癌转移性淋巴结检测模型进行优化，并将优化后的所述检测模型进行保存；
识别模块，连接所述优化模块，用于根据所述检测模型对待检测切片图像进行所述肺癌转移性淋巴结的病理图像识别。
2.根据权利要求1所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，所述识别模块包括：
分割单元，用于将待检测切片图像进行图像分割，得到若干待检测分割图像；
评分单元，连接所述分割单元，用于分别将各所述待检测分割图像输入所述检测模型中，得到各所述待检测分割图像对应的肿瘤概率评分，并将各所述肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
整合单元，连接所述评分单元，用于根据所述概率评分队列将各肿瘤概率评分对应的所述待检测分割图像进行图像整合，得到所述待检测切片图像的肿瘤生长模式热图；
二值化单元，连接所述整合单元，用于将所述肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
比较单元，连接所述二值化单元，用于计算所述肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将所述阳性点数量与预设的阳性点阈值进行比较，在所述阳性点数量小于所述阳性点阈值时，输出表征所述待检测切片图像为正常切片的病理图像识别结果，以及在所述阳性点数量不小于所述阳性点阈值时，输出表征所述待检测切片图像为带有所述肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
3.根据权利要求1所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，所述切片图像为冰冻切片图像或石蜡切片图像。
4.根据权利要求1所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，还包括数据增强模块，分别连接所述切割模块和所述训练模块，用于在训练所述检测模型之前，对所述训练集进行数据增强。
5.根据权利要求4所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，所述数据增强包括对各所述切割图像进行亮度变换，和/或饱和度变换，和/或对比度变换，和/或角度变换。
6.根据权利要求1所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，所述切割图像包括带有肺癌转移性淋巴结细胞的阳性小块图像和不带有所述肺癌转移性淋巴结细胞的阴性小块。
7.根据权利要求1所述的肺癌转移性淋巴结病理图像识别系统，其特征在于，所述待检测分割图像的尺寸为256×256分辨率。
8.一种肺癌转移性淋巴结病理图像识别方法，其特征在于，应用于如权利要求1至7所述的任意一项肺癌转移性淋巴结病理图像识别系统，所述肺癌转移性淋巴结病理图像识别方法包括以下步骤：
步骤S1，获取若干肺癌患者的切片图像，并对所述切片图像中的转移性淋巴结病灶区域进行标注，得到标注图像；
步骤S2，将各所述标注图像按照预设比例分为训练集和测试集；
步骤S3，针对所述训练集中的各所述标注图像，分别去除所述标注图像中不含细胞组织的背景区域，得到组织图像；
步骤S4，分别对各所述组织图像进行图像切割，得到若干切割图像；
步骤S5，根据各所述切割图像训练得到肺癌转移性淋巴结的检测模型；
步骤S6，根据所述测试集中的各所述标注图像对所述肺癌转移性淋巴结检测模型进行优化，并将优化后的所述检测模型进行保存；
步骤S7，根据所述检测模型对待检测切片图像进行所述肺癌转移性淋巴结的病理图像识别。
9.根据权利要求8所述的肺癌转移性淋巴结病理图像识别方法，其特征在于，步骤S7具体包括：
步骤S71，将待检测切片图像进行图像分割，得到若干待检测分割图像；
步骤S72，分别将各所述待检测分割图像输入所述检测模型中，得到各所述待检测分割图像对应的肿瘤概率评分，并将各所述肿瘤概率评分按照从高到低的顺序依次排列形成概率评分队列；
步骤S73，根据所述概率评分队列将各肿瘤概率评分对应的所述待检测分割图像进行图像整合，得到所述待检测切片图像的肿瘤生长模式热图；
步骤S74，将所述肿瘤生长模式热图进行二值化得到肿瘤生长模式灰度图；
步骤S75，计算所述肿瘤生长模式灰度图中带有肺癌转移性淋巴结细胞的阳性点数量，并将所述阳性点数量与预设的阳性点阈值进行比较：
若所述阳性点数量小于所述阳性点阈值，则输出表征所述待检测切片图像为正常切片的病理图像识别结果；
若所述阳性点数量不小于所述阳性点阈值，则输出表征所述待检测切片图像为带有所述肺癌转移性淋巴结细胞的异常切片的病理图像识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010148819.8A CN111340128A (zh) | 2020-03-05 | 2020-03-05 | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010148819.8A CN111340128A (zh) | 2020-03-05 | 2020-03-05 | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111340128A true CN111340128A (zh) | 2020-06-26 |
Family
ID=71185866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010148819.8A Pending CN111340128A (zh) | 2020-03-05 | 2020-03-05 | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340128A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782529A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
| CN112686897A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法 |
| CN112884724A (zh) * | 2021-02-02 | 2021-06-01 | 广州智睿医疗科技有限公司 | 一种用于肺癌组织病理分型的智能判断方法及系统 |
| CN113222928A (zh) * | 2021-05-07 | 2021-08-06 | 北京大学第一医院 | 一种尿细胞学人工智能尿路上皮癌识别系统 |
| CN113723441A (zh) * | 2021-06-29 | 2021-11-30 | 中山大学孙逸仙纪念医院 | 一种唇腺病理智能分析系统及方法 |
| CN115063403A (zh) * | 2022-07-27 | 2022-09-16 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 三级淋巴结构的识别方法、装置及设备 |
| CN116386902A (zh) * | 2023-04-24 | 2023-07-04 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109493346A (zh) * | 2018-10-31 | 2019-03-19 | 浙江大学 | 一种基于多损失的胃癌病理切片图像分割方法和装置 |
| CN109785310A (zh) * | 2019-01-11 | 2019-05-21 | 南京信息工程大学 | 一种基于乳腺淋巴结全景图像计算的自动分期系统 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
| CN110705565A (zh) * | 2019-09-09 | 2020-01-17 | 西安电子科技大学 | 淋巴结肿瘤区域识别方法与装置 |
-
2020
- 2020-03-05 CN CN202010148819.8A patent/CN111340128A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109493346A (zh) * | 2018-10-31 | 2019-03-19 | 浙江大学 | 一种基于多损失的胃癌病理切片图像分割方法和装置 |
| CN109785310A (zh) * | 2019-01-11 | 2019-05-21 | 南京信息工程大学 | 一种基于乳腺淋巴结全景图像计算的自动分期系统 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
| CN110705565A (zh) * | 2019-09-09 | 2020-01-17 | 西安电子科技大学 | 淋巴结肿瘤区域识别方法与装置 |
Non-Patent Citations (1)
| Title |
|---|
| 陈慧岩，熊光明，龚建伟主编: "《无人驾驶车辆理论与设计》", 31 March 2018, pages: 55 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782529A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
| CN111782529B (zh) * | 2020-06-30 | 2023-08-01 | 深圳平安智慧医健科技有限公司 | 辅助诊断系统的测试方法、装置、计算机设备及存储介质 |
| CN112884724A (zh) * | 2021-02-02 | 2021-06-01 | 广州智睿医疗科技有限公司 | 一种用于肺癌组织病理分型的智能判断方法及系统 |
| CN112884724B (zh) * | 2021-02-02 | 2022-06-03 | 广州智睿医疗科技有限公司 | 一种用于肺癌组织病理分型的智能判断方法及系统 |
| CN112686897A (zh) * | 2021-03-15 | 2021-04-20 | 四川大学 | 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法 |
| CN113222928A (zh) * | 2021-05-07 | 2021-08-06 | 北京大学第一医院 | 一种尿细胞学人工智能尿路上皮癌识别系统 |
| CN113222928B (zh) * | 2021-05-07 | 2023-09-19 | 北京大学第一医院 | 一种尿细胞学人工智能尿路上皮癌识别系统 |
| CN113723441A (zh) * | 2021-06-29 | 2021-11-30 | 中山大学孙逸仙纪念医院 | 一种唇腺病理智能分析系统及方法 |
| CN113723441B (zh) * | 2021-06-29 | 2024-04-19 | 中山大学孙逸仙纪念医院 | 一种唇腺病理智能分析系统及方法 |
| CN115063403A (zh) * | 2022-07-27 | 2022-09-16 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 三级淋巴结构的识别方法、装置及设备 |
| CN116386902A (zh) * | 2023-04-24 | 2023-07-04 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
| CN116386902B (zh) * | 2023-04-24 | 2023-12-19 | 北京透彻未来科技有限公司 | 基于深度学习的大肠癌人工智能辅助病理诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340128A (zh) | 一种肺癌转移性淋巴结病理图像识别系统及方法 | |
| CN107103187B (zh) | 基于深度学习的肺结节检测分级与管理的方法及系统 | |
| US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| US9741112B2 (en) | Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images | |
| US9159129B2 (en) | Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images | |
| CN109087703B (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
| CN110807764A (zh) | 一种基于神经网络的肺癌筛查方法 | |
| CN109785310B (zh) | 一种基于乳腺淋巴结全景图像计算的自动分期系统 | |
| CN111369573A (zh) | 一种肺腺癌亚型的辅助鉴别系统及方法 | |
| CN113261012B (zh) | 处理图像的方法、装置及系统 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| CN109326343A (zh) | 一种获取病变数据的方法、识别病变方法及计算机设备 | |
| CN112215799A (zh) | 一种磨玻璃肺结节自动分类方法及系统 | |
| CN111862090A (zh) | 一种基于人工智能的食管癌术前管理的方法和系统 | |
| CN116978543A (zh) | 人工智能辅助骨髓肿瘤病理诊断装置 | |
| CN112489022A (zh) | 基于放射组学的covid-19快速特征提取系统及快速诊断系统及病程预测系统 | |
| RU2668699C1 (ru) | Интеллектуальный способ диагностики и обнаружения новообразований в легких | |
| CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
| CN114022481B (zh) | 食管癌乏血管区域大小的确定方法和系统 | |
| CN115564750A (zh) | 术中冰冻切片图像识别方法及装置、设备、存储介质 | |
| CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |
|
| RJ01 | Rejection of invention patent application after publication |