CN113095376A - 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统 - Google Patents

一种基于深度学习的口腔上皮异常增生判别与分级设备及系统 Download PDF

Info

Publication number
CN113095376A
CN113095376A CN202110314894.1A CN202110314894A CN113095376A CN 113095376 A CN113095376 A CN 113095376A CN 202110314894 A CN202110314894 A CN 202110314894A CN 113095376 A CN113095376 A CN 113095376A
Authority
CN
China
Prior art keywords
image
model
oral
grading
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110314894.1A
Other languages
English (en)
Inventor
曾昕
陈谦明
徐浩
彭嘉宽
罗小波
王冏珂
但红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Stomatology Hospital of Zhejiang University School of Medicine
Original Assignee
Sichuan University
Stomatology Hospital of Zhejiang University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Stomatology Hospital of Zhejiang University School of Medicine filed Critical Sichuan University
Priority to CN202110314894.1A priority Critical patent/CN113095376A/zh
Publication of CN113095376A publication Critical patent/CN113095376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明属于口腔黏膜疾病诊断技术领域,具体涉及一种基于深度学习的口腔上皮异常增生判别与分级系统。本发明的系统包括计算机设备和用于采集OPMD的组织芯片和/或病理切片图像的装置。所述计算机设备用于口腔上皮异常增生的判别和/或分级,其处理器执行程序时实现以下步骤:(1)对OPMD的组织芯片或病理切片的图像进行预处理;(2)将预处理后的图像输入神经网络模型,经过模型分类后,输出口腔上皮异常增生的判别和/或分级结果。本发明方法对口腔上皮异常增生判别与分级准确度高,且可直观显示目标区域在切片中的位置,能够降低病理医生的工作强度,降低漏诊或误诊的可能性,提高口腔医师的诊疗水平。具有成为OPMD辅助诊断手段的潜力。

Description

一种基于深度学习的口腔上皮异常增生判别与分级设备及 系统
技术领域
本发明属于口腔黏膜疾病诊断技术领域,具体涉及一种基于深度学习的口腔上皮异常增生判别与分级系统。
背景技术
口腔上皮异常增生(oral epithelial dysplasia,OED)是口腔黏膜潜在恶性疾患(oral potentially malignant disorder,OPMD)组织活检的重要参考指标,是OPMD癌变风险预测的关键指标。根据世界卫生组织的定义,OED通常分为轻度上皮异常增生、中度上皮异常增生、重度上皮异常增生三个等级,有OED的组织比单纯增生的口腔黏膜上皮组织有更高的癌变风险,且异常增生程度的提升预示着癌变风险的增加。
目前,OED的判别和分级取决于病理医生对活检组织的人工阅片,工作量大,耗时较长,且结果受主观因素影响较大。OPMD患者中OED的早期诊断和分级变得至关重要,随着对精准医学需求的高涨,亟需更加客观的OED判别与分级方法以辅助诊断。
近年来,随着算法科学的发展和计算力的提高,深度学习在癌症病理切片图像识别上的应用取得了长足的进步(Nature medicine,2018 24(10):1559-1567;PLOSMedicine,2019 16(1):e1002730;The Lancet,2020 395(10221):350-360),其中神经网络算法是最常用,也是表现最突出的方法。
现有的这些癌症病理切片图像识别方法均针对某一种特定的癌症组织的病理切片进行构建。例如,中国发明专利申请“CN201811407164.0基于深度学习的乳腺癌病理切片中癌症区域的检测方法”公开了一种利用卷积神经网络进行的乳腺癌病例切片的分类方法,能够将乳腺癌分为正常组织、良性、原位癌和浸润癌。然而,在人工智能的图像识别技术中,针对特定识别对象的识别准确率通常与算法、图像的大小、图像的放大倍数有很大关系。由于不同病理组织的外观差别很大,基于上述原因,这些针对其他病理切片构建的方法并不能够直接用于OED的判别和分级,即使进行直接应用,其判断结果的准确性很差。因此,有必要针对OED的判别和分级建立一种新的病理切片图像识别方法。
发明内容
针对现有技术中的缺陷,本发明提供一种基于深度学习的口腔上皮异常增生判别与分级系统,其目的在于:对现有的神经网络模型进行改进和优选,使其能够用于对口腔上皮异常增生进行判别和/或分级。
一种计算机设备,用于口腔上皮异常增生的判别和/或分级,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤,包括:
(1)对口腔黏膜潜在恶性疾患的组织芯片或病理切片的图像进行预处理,得到224-512像素、10-20倍放大的图块;
(2)将预处理后的图像输入基于深度学习建立的神经网络模型,经过模型分类后,输出口腔上皮异常增生的判别和/或分级结果。
优选的,步骤(1)中,得到224像素、20倍放大的图块。
优选的,步骤(1)中,所述预处理的过程包括如下步骤:
(1.1)将所述图像切割为所述图块;
(1.2)将步骤(1.1)得到的所有图块中背景多于50%的图块舍弃。
优选的,步骤(1.1)中,所述切割的过程使用Python的Openslide模块实现。
优选的,步骤(2)中,所述神经网络模型为ResNet-50模型、Inception-V4模型、ShuffleNet-V2模型或EfficientNet模型。
优选的,所述神经网络模型为EfficientNet模型。
优选的,步骤(2)得到口腔上皮异常增生的分级结果后,还进行如下步骤:
将包含有判别和/或分级结果的所述图块按其在所述图像中的原有空间位置复原,得到复原图像,然后在所述复原图像中标示被判别为口腔上皮异常增生的区域。
优选的,所述复原的过程使用Python的Openslide模块实现。
优选的,所述区域包括至少一个图块中的一部分和/或至少一个图块。
本发明还提供一种口腔上皮异常增生的判别和/或分级系统,包括:
上述设备;
用于采集口腔黏膜潜在恶性疾患的病理切片和/或组织芯片图像的装置。
一种计算机可读存储介质,其上存储有上述计算机程序。
本发明中,“判别”是指对口腔黏膜潜在恶性疾患的组织芯片或病理切片的图像进行识别,辨认其中是否有口腔上皮异常增生。“分级”是指根据世界卫生组织的定义,将口腔上皮异常增生分为轻度上皮异常增生、中度上皮异常增生和重度上皮异常增生三个等级。
本发明的技术方案解决了现有的神经网络模型不能用于对口腔上皮异常增生的准确判别和预测的问题。基于本发明优选的神经网络模型及优选的图像参数,本发明的模型对训练集的判别和预测的准确率高达95.4%,受试者工作特征曲线下面积达到0.967,是一个很好的分类模型,具有成为OPMD辅助诊断手段的潜力。此外,模型可实现“端到端”输出,可直观显示目标区域在切片中的位置,从而降低病理医生的工作强度,降低漏诊或误诊的可能性,提高口腔医师的诊疗水平。本发明的应用对OPMD恶变率的降低、口腔鳞癌的早期诊断、患者生活质量的改善具有重要意义。
显然,根据本发明的上述内容,按照本领域的普通技术知识和惯用手段,在不脱离本发明上述基本技术思想前提下,还可以做出其它多种形式的修改、替换或变更。
以下通过实施例形式的具体实施方式,对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
图1为实施例1中口腔上皮异常增生在病理切片中的预测概率及目标区域可视化。
图2为实施例1中的模型在独立验证数据集中的受试者工作特征曲线。
具体实施方式
需要特别说明的是,实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法,以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
实施例1
本实施例的系统包括计算机设备和用于采集口腔黏膜潜在恶性疾患的组织芯片和/或病理切片图像的装置。所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤,包括:
(1)对口腔黏膜潜在恶性疾患的组织芯片或病理切片的图像进行预处理,具体包括使用Python的Openslide模块将图像切割为图块,同时排除背景多于50%的图块;其中,所述图块为所述病理切片或组织芯片的224像素、20倍放大的图片;
(2)将预处理后的图像输入基于深度学习建立的神经网络模型,经过模型分类后,输出口腔上皮异常增生的判别和/或分级结果。所述神经网络模型为EfficientNet模型;
(3)使用Python的Openslide模块将图块的预测结果按原有空间位置复原至完整病理切片或组织芯片图像中,并突出显示被模型识别为特定分级的区域。
利用该系统对口腔上皮异常增生进行判别和分级的实例如图1所示。图中左上、右上、左下、右下分别代表单纯增生(即不是上皮异常增生)、轻度上皮异常增生、中度上皮异常增生、重度上皮异常增生。各象限的数字代表整张切片预测概率,此概率为模型预测整张病理切片或组织芯片为特定分级的概率,如特定分级指定为轻度异常增生,此概率则表示整张病理切片或组织芯片(通常包含一块OPMD样本)为轻度异常增生的概率,可供病理医生参考。阴影部分为根据步骤(3)标示的目标病损区域。
采用273张组织芯片图像作为模型的独立验证数据集。发现模型具有很高的准确率(82.1%),受试者工作特征曲线如图2所示,其也表明模型对OED判别效果好。
实验例1 不同神经网络模型的对比
本实验例采用60张OPMD病理切片进行神经网络筛选和模型建立,
采集60张OPMD病理切片的224像素、10倍放大的图片,分别采用ResNet-50模型、Inception-V4模型、ShuffleNet-V2模型或EfficientNet模型进行建模,得到四个模型。建模的具体步骤属于现有技术。
四个模型的性能如表1所示:
表1 四种神经网络判别OED准确性的结果
Figure BDA0002990773910000041
Figure BDA0002990773910000051
从表格中数据可见,EfficientNet模型的测试集准确率及受试者工作特征曲线下面积优于其它模型,能够准确对OED进行判别和分级。
实验例2 图像参数的筛选
本实验例采用60张OPMD病理切片进行图像参数和模型建立,采用273张组织芯片图像作为终模型的独立验证数据集。
采集60张OPMD病理切片的四种规格的图片,这四种规格分别为两种不同分辨率(224/512px)和两种放大倍数(10X/20X)的组合。采用EfficientNet模型进行建模,得到四个模型。建模的具体步骤属于现有技术。
四个模型的性能如表2所示:
表2 四种尺寸参数判别OED准确性的结果
Figure BDA0002990773910000052
从表格中数据可见,当图片规格为224像素、20倍放大时,建立的模型对测试集的准确率及受试者工作特征曲线下面积显著优于其它模型。
通过上述实施例和实验例的结果可见,采用本方法的技术方案对口腔上皮异常增生进行判别和分级具有较高的准确性和更强的客观性,具有成为OPMD辅助诊断手段的潜力。此外,模型可实现“端到端”输出,可直观显示目标区域在切片中的位置,从而降低病理医生的工作强度,降低漏诊或误诊的可能性,提高口腔医师的诊疗水平。

Claims (10)

1.一种计算机设备,用于口腔上皮异常增生的判别和/或分级,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤,包括:
(1)对口腔黏膜潜在恶性疾患的组织芯片或病理切片的图像进行预处理,得到224-512像素、10-20倍放大的图块;
(2)将预处理后的图像输入基于深度学习建立的神经网络模型,经过模型分类后,输出口腔上皮异常增生的判别和/或分级结果。
2.按照权利要求1所述的设备,其特征在于:步骤(1)中,得到224像素、20倍放大的图块。
3.按照权利要求1所述的设备,其特征在于:步骤(1)中,所述预处理的过程包括如下步骤:
(1.1)将所述图像切割为所述图块;
(1.2)将步骤(1.1)得到的所有图块中背景多于50%的图块舍弃。
4.按照权利要求3所述的设备,其特征在于:步骤(1.1)中,所述切割的过程使用Python的Openslide模块实现。
5.按照权利要求1所述的设备,其特征在于:步骤(2)中,所述神经网络模型为ResNet-50模型、Inception-V4模型、ShuffleNet-V2模型或EfficientNet模型;优选的所述神经网络模型为EfficientNet模型。
6.按照权利要求1所述的设备,其特征在于:步骤(2)得到口腔上皮异常增生的分级结果后,还进行如下步骤:
将包含有判别和/或分级结果的所述图块按其在所述图像中的原有空间位置复原,得到复原图像,然后在所述复原图像中标示被判别为口腔上皮异常增生的区域。
7.按照权利要求6所述的设备,其特征在于:所述复原的过程使用Python的Openslide模块实现。
8.按照权利要求6所述的设备,其特征在于:所述区域包括至少一个图块中的一部分和/或至少一个图块。
9.一种口腔上皮异常增生的判别和/或分级系统,其特征在于,包括:
权利要求1-8任一项所述的设备;
用于采集口腔黏膜潜在恶性疾患的病理切片和/或组织芯片图像的装置。
10.一种计算机可读存储介质,其上存储有权利要求1-8任一项所述的计算机程序。
CN202110314894.1A 2021-03-24 2021-03-24 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统 Pending CN113095376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110314894.1A CN113095376A (zh) 2021-03-24 2021-03-24 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110314894.1A CN113095376A (zh) 2021-03-24 2021-03-24 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统

Publications (1)

Publication Number Publication Date
CN113095376A true CN113095376A (zh) 2021-07-09

Family

ID=76669544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110314894.1A Pending CN113095376A (zh) 2021-03-24 2021-03-24 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统

Country Status (1)

Country Link
CN (1) CN113095376A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119494A (zh) * 2021-11-02 2022-03-01 西安工业大学 基于深度学习的计算机辅助诊断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297044B1 (en) * 1999-02-23 2001-10-02 Oralscan Laboratories, Inc. Minimally invasive apparatus for testing lesions of the oral cavity and similar epithelium
CN107368671A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN108064314A (zh) * 2015-01-18 2018-05-22 加利福尼亚大学董事会 判定癌症状态之方法及系统
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN112017743A (zh) * 2020-08-20 2020-12-01 姚香怡 一种疾病风险评测报告自动生成平台及应用
CN112508953A (zh) * 2021-02-05 2021-03-16 四川大学 基于深度神经网络的脑膜瘤快速分割定性方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297044B1 (en) * 1999-02-23 2001-10-02 Oralscan Laboratories, Inc. Minimally invasive apparatus for testing lesions of the oral cavity and similar epithelium
CN108064314A (zh) * 2015-01-18 2018-05-22 加利福尼亚大学董事会 判定癌症状态之方法及系统
CN107368671A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN111627014A (zh) * 2020-05-29 2020-09-04 四川大学 一种基于深度学习的根管检测与评分的方法及系统
CN112017743A (zh) * 2020-08-20 2020-12-01 姚香怡 一种疾病风险评测报告自动生成平台及应用
CN112508953A (zh) * 2021-02-05 2021-03-16 四川大学 基于深度神经网络的脑膜瘤快速分割定性方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RACHIT KUMAR GUPTA. ET AL: "Tissue Level Based Deep Learning Framework for Early Detection of Dysplasia in Oral Squamous Epithelium", 《JOURNAL OF MULTIMEDIA INFORMATION SYSTEM》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119494A (zh) * 2021-11-02 2022-03-01 西安工业大学 基于深度学习的计算机辅助诊断方法
CN114119494B (zh) * 2021-11-02 2024-09-10 西安工业大学 基于深度学习的计算机辅助诊断方法

Similar Documents

Publication Publication Date Title
RU2765619C1 (ru) Компьютерная классификация биологической ткани
CN109191457B (zh) 一种病理图像质量有效性识别方法
CN115087867A (zh) 使用ai的病理诊断辅助方法和辅助装置
US8712142B2 (en) Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading
US20170169276A1 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
Salama et al. An improved approach for computer-aided diagnosis of breast cancer in digital mammography
CN109785310B (zh) 一种基于乳腺淋巴结全景图像计算的自动分期系统
CN107567631B (zh) 组织样品分析技术
US11861881B2 (en) Critical component detection using deep learning and attention
CN110991536A (zh) 原发性肝癌的早期预警模型的训练方法
CN112990214A (zh) 一种医学图像特征识别预测模型
CN114140378A (zh) 扫描图像处理方法、电子设备和可读介质
Ortiz-Rodriguez et al. Breast cancer detection by means of artificial neural networks
CN116363647A (zh) 基于深度语义分割网络的肺癌病理组织分型系统
CN113762395B (zh) 一种胰胆管型壶腹癌分类模型生成方法及图像分类方法
CN115205588A (zh) 基于人工智能的膀胱癌肌层浸润病理辅助诊断方法及装置
CN115206495A (zh) 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置
CN113095376A (zh) 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统
CN109948706B (zh) 结合深度学习与特征多尺度融合的微钙化簇检测方法
Ko et al. A computer-aided grading system of breast carcinoma: scoring of tubule formation
CN113793324A (zh) 一种鼻咽癌诱导化疗疗效预测方法及系统
CN116503672B (zh) 一种肝脏肿瘤分类方法、系统及存储介质
CN116705289B (zh) 基于语义分割网络的宫颈病理诊断装置
Kumar et al. Innovative Breast Cancer Detection Through Mammogram Analysis
CN116580011B (zh) 一种深度学习模型的子宫内膜癌全幻灯片图像检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication