CN109670510B - 一种基于深度学习的胃镜活检病理数据筛查系统 - Google Patents

一种基于深度学习的胃镜活检病理数据筛查系统 Download PDF

Info

Publication number
CN109670510B
CN109670510B CN201811568861.4A CN201811568861A CN109670510B CN 109670510 B CN109670510 B CN 109670510B CN 201811568861 A CN201811568861 A CN 201811568861A CN 109670510 B CN109670510 B CN 109670510B
Authority
CN
China
Prior art keywords
image
gastroscope
data
training
pathology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811568861.4A
Other languages
English (en)
Other versions
CN109670510A (zh
Inventor
张敬谊
丁偕
李光亚
曹学香
王瑜
王晔
佘盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WONDERS INFORMATION CO Ltd
Original Assignee
WONDERS INFORMATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WONDERS INFORMATION CO Ltd filed Critical WONDERS INFORMATION CO Ltd
Priority to CN201811568861.4A priority Critical patent/CN109670510B/zh
Publication of CN109670510A publication Critical patent/CN109670510A/zh
Application granted granted Critical
Publication of CN109670510B publication Critical patent/CN109670510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，包括：图像预处理模块；训练数据集生成模块；由重建网络
Figure DDA0001914977900000011
和鉴别网络
Figure DDA0001914977900000012
组成的条件生成对抗网络CGAN；阈值判断模块，基于条件生成对抗网络CGAN输出的得分值进行胃镜数字病理图像所对应切块样本的阴性、阳性判断，判断时将切块样本的分类信息进行聚类处理，从而完成胃镜数字病理图像的阴性和阳性判断。本发明的另一个技术方案是提供了一种基于深度学习的胃镜活检病理数据筛查方法。本发明的基于深度学习的胃镜病理数据筛查系统和方法能够为病理医生提供病理数据的筛查信息，对于提高胃镜病理数据的筛查效率具有重要意义。

Description

一种基于深度学习的胃镜活检病理数据筛查系统
技术领域
本发明涉及一种基于深度学习的胃镜活检病理数据筛查系统和方法，属于图像处理和医学技术领域。
背景技术
胃癌是临床较为常见的一种消化系统肿瘤，是全球范围内位居消化道肿瘤发病率最高的癌种之一，在我国的发病率和死亡率则居首位。早期胃癌的5年生存率可达90％以上，因此提高早期胃癌的检出率对于改善胃癌患者预后极为重要。临床上对于胃癌的诊断主要依赖于电子内镜和组织的病理活检。其中，病理组织学检测是通过内镜下钳取活检或在手术中切除并制备成病理切片标本，置于光学显微镜下直接观察癌细胞。胃镜下病理活检是胃癌诊断的“金标准”。
目前绝大部分的病理切片组织都是由人工取材和制片，然后由病理医生结合自身长期积累的临床经验来分析和判断。由于原始病理切片的图像尺寸十分庞大，一张40倍放大的电子病理切片通常由超过十亿个像素点组成。病理医生通常花费大量的时间检查细胞病理切片，需要在上亿级像素的病理图片中识别微小的癌细胞，工作强度非常大。由于胃癌组织的病理学分型繁多，并且病理切片形态复杂，使得经验不足的病理医生很容易对早期的胃癌漏诊和误诊。另外，专业病理医生的培养周期长，需要五年临床基础医学学习、五年规范化的培训以及严格的考试，加上工作风险大、劳动报酬低等因素，很多年轻医学生不愿意做病理医生。我国病理医生严重短缺，目前注册的病理医生约为1万，缺口高达9万人，病理医生只能满足10％的医疗需求。
深度学习(Deep learning，DL)是一种机器学习方法，源于人工神经网络的研究，其动机在于建立模拟人脑分析理解数据的神经网络。深度学习近年来在计算机视觉领域得到了广泛的应用，尤其是在图像检测、图像分割和图像分类领域取得了优于传统方法的效果。深度学习在图像领域取得的进展也在医学影像领域得到了应用，深度学习在医学图像的分类与设别、定位与检测、组织器官与病灶的分割等方面取得了很大的进展，为临床医学中各种重大疾病的筛查、诊断、治疗计划、疗效评估和随访提供了科学的方法和先进的技术。
目前基于深度学习的对于胃镜病理的智能诊断大部分只是进行二分类，针对胃镜病理的中具体的病症的分类诊断方法，如专利文件CN107368670A，CN107368671A和CN107369151A分别针对胃癌、良性胃炎和胃肠间质瘤的病理诊断。对于病理检查的二分类问题，需要临床病理专家对于病理图像进行精确的标注，获取等比例的阴性和阳性数据进行模型训练。胃镜病理数据涉及到近四十个类别的分类，精确的分类标注非常的困难，高质量的标注数据的获取成为很多研究的瓶颈。
在临床实践中，胃镜病理活检阳性率较低，数据样本分布极不平衡。大量的阴性数据增加了病理医生的工作量。即使胃镜病理的阴性数据也涉及到不同的病理特征，传统的分析方法无法有效地分类分析，如果能够有效的利用智能的方法进行特征的提取分析，进而实现有效的分类判断，就能够进行快速的组织病理图像的筛查，极大的降低病理医生的工作。
生成对抗网络(Generative adversarial networks，GAN)是一种非常有效的深度学习的算法模型。该网络能够有效的对数据的特征进行统计分析。尤其是条件生成对抗网络(Conditional Generative adversarial networks，CGAN)，能够充分利用原始的数据本身的分布特征进行统计分析。
发明内容
本发明的目的是对胃镜病理的阴性数据进行分析，提取特征，进而实现有效的分类判断。
为了达到上述目的，本发明的技术方案是提供了一种可提高临床胃镜病理阴性病例筛查效率、节省病理医生诊断时间、降低医疗成本的胃镜病理筛查支持系统及方法。通过对条件生成对抗网络CGAN模型的改进，实现只利用胃镜活检病理的阴性数据，不需要病理专家对病理数据作精细标注，就可以完成模型的训练和分类诊断工作，通过该系统及方法可以实现最终的胃镜病理筛查。
具体而言，本发明的一个技术方案是提供了一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，包括：
图像预处理模块，对全尺寸的胃镜数字病理图像进行分块处理，实现对胃镜数字病理图像的取样，从而形成尺寸与条件生成对抗网络CGAN相匹配的样本图像集；
训练数据集生成模块，利用图像预处理模块对分类结果已知的历史胃镜数字病理图像进行处理，获得用于模型训练的训练图像数据集；
由重建网络
Figure SMS_1
和鉴别网络
Figure SMS_2
组成的条件生成对抗网络CGAN，其中，重建网络
Figure SMS_3
于利用输入的原始图像数据集产生重建图像，鉴别网络
Figure SMS_4
用于对重建网络
Figure SMS_5
输出的重建图像进行最终的得分判断，从而得到分类结果；由训练图像数据集对条件生成对抗网络CGAN进行训练后，再将通过图像预处理模块处理的实时的胃镜数字病理图像的样本图像集输入训练好的条件生成对抗网络CGAN，由条件生成对抗网络CGAN输出与当前胃镜数字病理图像相对应的阴性结果的得分值；
阈值判断模块，基于条件生成对抗网络CGAN输出的得分值进行胃镜数字病理图像所对应切块样本的阴性、阳性判断，判断时将切块样本的分类信息进行聚类处理，从而完成胃镜数字病理图像的阴性和阳性判断。
优选地，还包括胃镜数字病理图像库，胃镜数字病理图像库中存储有经过数据清洗的全尺寸的胃镜数字病理图像，通过数据清洗对胃镜数字病理图像中的缺损数据及信息错误数据进行清洗；所述图像预处理模块从胃镜数字病理图像库中获取胃镜数字病理图像进行处理后送入所述训练数据集生成模块。
优选地，还包括数据获取模块，数据获取模块将从不同医院采集到的全尺寸的胃镜数字病理图像转换为统一的计算机易于处理的图像格式后，再对图像进行所述数据清洗，并将清洗后的图像存入所述胃镜数字病理图像库中。
优选地，所述图像预处理模块先对全尺寸的胃镜数字病理图像进行彩色空间的归一化处理，随后对转换后的图像的色相值加入随机噪声，完成图像的染色处理，再利用滑窗取样算法对染色处理的图像进行取样实现胃镜数字病理图像的分块处理，对得到的所有分块图像进行形态学的处理，筛选出有效组织区域，剔除信息量小或者无效的小块，最终得到所述样本图像集。
优选地，将所述训练图像数据集划分为训练集、验证集和测试集，先由训练集对所述条件生成对抗网络CGAN进行训练，再通过验证集选择合适的所述条件生成对抗网络CGAN的超参数，最后通过测试集测试所述条件生成对抗网络CGAN，最终得到所述训练好的条件生成对抗网络CGAN。
优选地，所述重建网络
Figure SMS_6
为由编码器和解码器组成的卷积神经网络，编码器由一系列的卷积层组成，解码器由一系列的去卷积层组成；所述鉴别网络
Figure SMS_7
由一系列的卷积层组成。
本发明的另一个技术方案是提供了一种基于深度学习的胃镜活检病理数据筛查方法，其特征在于，采用上述的系统，所述方法包括对条件生成对抗网络CGAN的训练以及利用训练好的条件生成对抗网络CGAN对实时获取的胃镜数字病理图像进行分类判别，其中：
对条件生成对抗网络CGAN进行训练包括以下步骤：
将阴性病例胃镜数字病理图像输入所述图像预处理模块，从而得到样本图像集，由训练数据集生成模块根据样本图像集得到训练图像数据集，将训练图像数据集输入条件生成对抗网络CGAN，对条件生成对抗网络CGAN进行训练，得到训练好的条件生成对抗网络CGAN；
利用训练好的条件生成对抗网络CGAN对实时获取的胃镜数字病理图像进行分类判别包括以下步骤：
由所述图像预处理模块对实时获得的胃镜数字病理图像进行处理，得到样本图像集，将样本图像集输入训练好的条件生成对抗网络CGAN，由条件生成对抗网络CGAN输出与当前胃镜数字病理图像相对应的阴性结果的得分值，最后由阈值判断模块基于条件生成对抗网络CGAN输出的得分值进行胃镜数字病理图像所对应切块样本的阴性、阳性判断，判断时将切块样本的分类信息进行聚类处理，从而完成胃镜数字病理图像的阴性和阳性判断。
优选地，所述条件生成对抗网络CGAN的目标函数
Figure SMS_8
为：
Figure SMS_9
式中，
Figure SMS_10
表示输入图像X和重建网络
Figure SMS_11
输出图像X′之间的距离，λ为权衡参数，
Figure SMS_12
为损失函数，则有：
Figure SMS_13
式中，
Figure SMS_14
表示所述重建网络的参数函数；
Figure SMS_15
表示所述鉴别网络的参数函数；X表示输入图像；pt表示真实数据分布；
Figure SMS_16
表示高斯分布；
Figure SMS_17
表示加入高斯噪声后的输入图像，
Figure SMS_18
η表示高斯噪声，σ表示标准偏差，I表示单位矩阵，
Figure SMS_19
表示标准偏差为σ高斯函数。
优选地，所述阈值判断模块给出当前胃镜数字病理图像的各个分块的阴性和阳性分类结果后，将各个分块的分类信息重新组合成二维图像，该二维图像对应于整个胃镜数字病理图像分块阴性和阳性分布情况，随后对二维图像采取空间区域聚类处理，给出整个胃镜数字病理图像的阴性和阳性判断。
优选地，所述阈值判断模块采用以下公式对当前胃镜数字病理图像的各个分块的阴性和阳性分类结果进行判断：
Figure SMS_20
式中，X表示当前分块，OOC(X)表示当前分块的分类判断结果，
Figure SMS_21
表示生成网络
Figure SMS_22
的输出结果，τ表示预先设定的阈值。
针对胃镜数字病理图像人工阅片存在的缺点，尤其是大量阴性数据的筛查问题，本发明只利用胃镜活检病理的阴性数据，构建智能化的胃镜组织病理检查中阴性病例的筛查模型，搭建基于深度学习算法的胃镜活检病理筛查人工智能平台系统，实现对于大量胃镜活检病理的筛查工作，辅助临床医生进行病理诊断，提高其工作效率和准确率。
本发明的有益效果是：本发明公开了一种基于深度学习的胃镜活检病理数据筛查的系统和方法，该系统包括如下模块:数据获取模块获取胃镜数字病理图像并对胃镜数字病理图像进行清洗，结合其他患者信息，形成胃镜数字病理图像库；图像预处理模块对全尺寸的胃镜数字病理图像进行图像预处理和切块处理，形成模型训练的数据集；模型训练模块利用迭代方法训练条件生成对抗网络(CGAN)，并利用验证集和测试集选择理想的网络模型；诊断模块利用训练好的CGAN给出病理数据为阴性病例的可能性概率，结合阈值分析给出切块的胃镜数字病理的阴性和阳性的分类信息；对切块的分类信息进行聚类分析给出整张病理图像的诊断结果。通过本发明的基于深度学习的胃镜活检病理数据筛查的系统和方法不需要等比例的阴性和阳性训练数据，也不需要医生进行精细的图像标注，利用大量的阴性病例进行特征提取和分析可实现对于胃镜活检病理数据的阴性数据筛查，辅助临床病理医生的诊断工作，提升其工作效率。
附图说明
图1为本发明基于深度学习的胃镜活检病理数据筛查系统和方法总的结构框架图；
图2为本发明基于深度学习的胃镜活检病理数据筛查系统和方法的图像预处理模块流程图；
图3为本发明基于深度学习的胃镜活检病理数据筛查系统和方法的模型训练模块流程图；
图4为本发明基于深度学习的胃镜活检病理数据筛查系统和方法的条件生成对抗网络结构图；
图5为本发明基于深度学习的胃镜活检病理数据筛查系统和方法的诊断模块流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，为本发明提供的一种基于深度学习的胃镜活检病理数据筛查系统的一种具体实施实例，该实例包括四个处理模块分别为数据获取模块s1、图像预处理模块s2、模型训练模块s3及诊断模块s5。
其中，数据获取模块s1可以包括数据获取设备，所述数据获取设备可以是人机交互设备，例如：键盘鼠标；存储设备，例如：硬盘、光盘或者U盘；或者网络传输设备，例如：有线传输设备或者无线传输设备。
历史的全尺寸的胃镜数字病理图像经过专家标注后被存入胃镜数字病理图像库中。胃镜数字病理图像在存入胃镜数字病理图像库前，先定义有效的统一数据格式，将不同医院采集到的胃镜数字病理图像转换为统一的计算机易于处理的图像格式。随后对转换后的胃镜数字病理图像的缺损数据以及信息错误数据进行清洗，还可以结合患者的其他信息，形成胃镜病理图像数据库。随着临床数据的不断增加，对该胃镜数字病理图像数据库定期进行更新。
图像预处理模块s2用于对胃镜数字病理图像库中的胃镜数字病理图像及实时获取的胃镜数字病理图像进行预处理。胃镜数字病理图像库中的胃镜数字病理图像预处理后用于训练本申请中的预测模型s4。实时获取的胃镜数字病理图像经过预处理后，送入训练后的预测模型s4进行预测判断。
结合图2，本实施例中，图像预处理模块s2具体实现包括：将全尺寸的胃镜数字病理图像进行彩色空间的归一化处理，图像由RGB三原色格式空间图像映射为色相Hue、饱和度Saturation、明度Value表示的HSV颜色空间的图像。对转换后的图像的色相值加入随机噪声，完成图像的染色处理，解决不同医院图像分布差异性问题，同时扩充数据样本。采用滑窗取样算法对预处理后的全尺寸的数字病理图像进行取样，滑窗取样部分可以选择有重叠方式和无重叠方式的滑窗取样，取样的大小与预测模型s4相匹配，可以解决预测模型s4对于图像尺寸大小限制的问题，实现对于全尺寸的胃镜数字病理图像的分类判断。对切出的分块进行形态学的处理，筛选出有效组织区域，剔除信息量小或者无效的小块。胃镜病理图像数据库中的胃镜数字病理图像经过图像预处理模块s2后筛选出的分块统一整理为用于训练预测模型s4的训练数据集。其中，形态学的处理包括腐蚀、膨胀、开运算、闭运算中的一种或多种。
为了利用机器学习方法建立计算机自动诊断模型，在模型验证时除了模型训练时需要的阴性病例，还需要阳性病例数据去评估模型的异常检测效率,所以数据库中需要收集有确切诊断结果的典型的阳性患者数据。预测模型s4由模型训练模块s3迭代优化训练得到，在每一轮的迭代过程中，对图像做平移、旋转、镜像、扭曲和尺度等数据增强处理，增加训练样本数，提高模型的泛化能力。进行模型训练前，将训练数据集按照一定的比例划分为训练集、验证集和测试集三组子数据集，用于后续的模型训练、参数选择和模型测试。利用训练集训练改进的条件生成对抗网络CGAN，利用验证数据集确定模型的超参数和训练停止位置，利用测试数据集检验模型的最终效果。最后还需要从胃镜数字病理图像数据库中获取检测数据集，检测数据集由一定量的阴性和阳性数据组成，并利用检测数据集对模型阴性和阳性的分类效果进行检测。
本发明中的预测模型s4为条件生成对抗网络CGAN，结合图3及图4，条件生成对抗网络CGAN包括重建网络
Figure SMS_23
和鉴别网络
Figure SMS_24
两个网络结构。两个网络通过生成对抗和无监督的方式进行学习。重建网络
Figure SMS_25
由编码器和解码器组成的对称卷积网络结构，用于学习阴性数据样本的分布特征。鉴别网络
Figure SMS_26
为由一系列卷积层组成的网络结构，作为异常情况也即阳性病例探测器。解码器由一系列的去卷积层组成，对于每一层使用批归一化处理。
条件生成对抗网络CGAN的的目标函数
Figure SMS_27
为：
Figure SMS_28
式中，
Figure SMS_29
的引入是为了使得
Figure SMS_30
的输出接近于原始的输入，λ为权衡参数，用于控制两个项的相对重要性，
Figure SMS_31
为损失函数，则有：
Figure SMS_32
式中，
Figure SMS_33
表示所述重建网络的参数函数；
Figure SMS_34
表示所述鉴别网络的参数函数；X表示输入图像；pt表示真实数据分布；
Figure SMS_35
表示高斯分布；
Figure SMS_36
表示加入高斯噪声后的输入图像，
Figure SMS_37
η表示高斯噪声，σ表示标准偏差，I表示单位矩阵，
Figure SMS_38
表示标准偏差为σ的高斯函数
图3为模型训练模块s3中的模型训练过程，利用高性能计算设备对模型进行迭代训练，所述高性能计算设备为高性能的并行计算设备GPU。在模型训练之前先将训练数据集按照一定的比例划分为训练集、验证集和测试集三组子数据集。具体的训练过程为：初始化训练模型参数，利用训练集子数据训练该条件生成对抗网络。利用验证集子数据选择合适的模型超参数。利用测试集子数据对训练结果进行测试验证，判断模型的泛化能力，若测试集子数据上的准确率与验证集子数据上的准确率相差较大，则说明模型过拟合，需要返回最初的模型训练单元，调整模型结构和网络参数，重新训练生成对抗网络模型以获得更好的网络模型。
利用机器学习方法建立胃镜病理计算机自动诊断，希望利用大量的阴性数据训练模型完成胃镜病理的筛查工作，最终的诊断结果需要验证对于阳性数据的探测器能力。
图5为诊断模块s5的具体实施步骤，具体处理过程如下：将新采集到的胃镜数字病理图像传入图像预处理模块进行图像归一化和切块以及有效区域筛选处理。将经过预处理的图像数据送入训练好的条件生成对抗网络CGAN，通过重建网络
Figure SMS_39
和鉴别网络
Figure SMS_40
联合处理得到模型为阴性病例的得分。将条件生成对抗网络CGAN输出的得分值经过阈值判别流程得到图像各个切块数据的阴性和阳性判断。将经过阈值判别得到的切块诊断结果根据其原始的空间位置重新组合成二维空间图像，对该二维图像进行聚类分析，给出整个病理图像的阴性和阳性判断。整个处理过程都将自动完成，从而实现对于胃镜数字病理图像的自动筛查。
通过这四个模块自动的流程化处理完成胃镜活检病理数据的分类诊断，实现临床胃镜病理数据的阴性数据筛查工作，包括以下步骤：
步骤1：采集获取胃镜活检数字病理图像，对采集到数据进行清洗，形成胃镜数字病理图像库；
步骤2：对全尺寸的胃镜数字病理图像做切块处理，并对胃镜数字病理图像进行预处理，形成用于训练模型的训练数据集；
步骤3：利用训练数据集中的阴性数据集对条件生成对抗网络CGAN进行模型训练，需要训练两个网络结构：重建网络
Figure SMS_41
和鉴别网络
Figure SMS_42
两个模型使用联合的损失函数；
步骤4：实时采集胃镜数字病理图像，利用步骤1及步骤2的相同方法对实时采集到的胃镜数字病理图像进行切块处理，随后将各个分块patch输入训练好的条件生成对抗网络CGAN，给出实时采集的胃镜数字病理图像为阴性病例的得分值，并且将得分值送入阈值判断模块进行切块样本的阴性、阳性判断。将切块的分类信息进行聚类处理，并完成胃镜数字病理图像的阴性和阳性判断。将数字病理图像的判断结果反馈给医生，辅助医生进行诊断。
上述步骤1具体包括以下步骤：
步骤11：定义有效的数据格式，将不同医院采集到的已经做好分类标记的胃镜数字病理图像转换为统一的计算机易于处理的图像格式；
步骤12：对步骤11得到的数字病理图像进行清洗，剔除一些数据缺失、图像信息错误等的数据样本；
步骤13：结合患者的其他相关信息，形成胃镜数字病理图像数据库。
上述步骤2具体实现包括：
步骤21：将步骤11格式转换后的全尺寸的胃镜数字病理图像进行彩色空间的归一化处理，图片由RGB三原色格式空间图像映射为色相Hue、饱和度Saturation、明度Value表示的HSV颜色空间的图像；对转换后的图像的色相值加入随机噪声，完成图像的染色处理，解决不同医院图像分布差异性问题，同时扩充数据样本。
步骤22：采用滑窗取样算法对预处理后的全尺寸的数字病理图像进行取样，取样的大小与神经网络模型相匹配，可以解决神经网络端对于图像尺寸大小限制的问题，从而实现亿级像素级别的全尺寸胃镜数字病理图像的判断分类；
步骤23：对切出的区域分块进行形态学的处理，筛选出有效组织区域，剔除信息量小或者无效的小块；
步骤24：将筛选出的分块统一整理为模型训练数据集。
上述步骤3具体实现包括：
步骤31：将训练数据集按照一定的比例划分为训练集、验证集和测试集三组子数据集，用于后续的模型训练、参数选择和模型测试；
步骤32：利用训练集训练条件生成对抗网络CGAN，利用验证数据集确定模型的超参数和训练停止位置，利用测试数据集检验模型的最终效果。若测试集子数据上的准确率与验证集子数据上的准确率相差较大，则说明模型过拟合，需要返回最初的模型训练单元，调整模型结构和网络参数，重新训练卷积神经网络模型以获得更好的网络模型
步骤33：从胃镜数字病理图像数据库中获取检测数据集，并利用检测数据集对模型阴性和阳性的分类效果进行检测。为了验证模型对于异常情况的检测能力，在本实例中即胃镜数字病理图像的阳性病例的检测能力，需要从数据库选择已经确诊的阳性病例和阴性病例组成检测数据集进行模型的最终分类效果检测。
上述步骤4具体实现包括：
步骤41：将需要进行阴阳性判断的胃镜数字病理图像经过步骤2执行图像预处理和切块处理；
步骤42：将经过预处理的切块图像数据送入训练好的条件生成对抗网络CGAN，得到该图像为阴性病例的得分信息；
步骤43：将得到的分数信息送入阈值判断系统进行分类判断，给出切块胃镜数字病理图像的阴性和阳性分类结果。分类判断依据下列公式：
Figure SMS_43
式中，X表示当前分块，OOC(X)表示当前分块的分类判断结果，
Figure SMS_44
表示生成网络
Figure SMS_45
的输出结果，τ表示预先设定的阈值。
步骤44：将步骤43得到的切块的分类信息，重新组合成二维的图像，对应于整个病理图像分块阴性和阳性分布情况。二维空间区域聚类方法采用DBSCAN(Density-BasedSpatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)算法，根据聚类结果(阳性切块的聚类情况)给出最终病理图像的分类诊断结果。DBSCAN方法需要输入合理优化后的描述邻域的样本分布紧密程度的参数(∈，MinPts)，其中∈描述了某一样本的邻域距离阈值，MinPts描述了某一样本的距离为∈的邻域中样本个数的阈值。
步骤45：对步骤44的二维图像采取空间区域聚类处理，给出整个病理图像的阴性和阳性判断。
步骤46：将步骤45的阴性和阳性的判断结果反馈给医生，辅助医生进行诊断。
综上所述，本发明的基于深度学习的胃镜病理数据筛查系统和方法能够为病理医生提供病理数据的筛查信息，对于提高胃镜病理数据的筛查效率具有重要意义。

Claims (6)

1.一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，包括：
图像预处理模块，对全尺寸的胃镜数字病理图像进行分块处理，实现对胃镜数字病理图像的取样，从而形成尺寸与条件生成对抗网络CGAN相匹配的样本图像集；
训练数据集生成模块，利用图像预处理模块对分类结果已知的历史胃镜数字病理图像进行处理，获得用于模型训练的训练图像数据集；
由重建网络
Figure FDA0004145688900000011
和鉴别网络
Figure FDA0004145688900000012
组成的条件生成对抗网络CGAN，其中，重建网络
Figure FDA0004145688900000013
用于利用输入的原始图像数据集产生重建图像，鉴别网络
Figure FDA0004145688900000014
用于对重建网络
Figure FDA0004145688900000015
输出的重建图像进行最终的得分判断，从而得到分类结果；由训练图像数据集对条件生成对抗网络CGAN进行训练后，再将通过图像预处理模块处理的实时的胃镜数字病理图像的样本图像集输入训练好的条件生成对抗网络CGAN，由条件生成对抗网络CGAN输出与当前胃镜数字病理图像相对应的阴性结果的得分值，其中，条件生成对抗网络CGAN的目标函数
Figure FDA0004145688900000016
为：
Figure FDA0004145688900000017
式中，
Figure FDA0004145688900000018
λ为权衡参数，
Figure FDA0004145688900000019
为损失函数，则有：
Figure FDA00041456889000000110
式中，
Figure FDA00041456889000000111
表示所述重建网络的参数函数；
Figure FDA00041456889000000112
表示所述鉴别网络的参数函数；X表示输入图像；pt表示真实数据分布；
Figure FDA00041456889000000113
表示高斯分布；
Figure FDA00041456889000000114
表示加入高斯噪声后的输入图像，
Figure FDA00041456889000000115
η表示高斯噪声，σ表示标准偏差，I表示单位矩阵，
Figure FDA00041456889000000116
表示标准偏差为σ高斯函数；
对条件生成对抗网络CGAN进行训练包括以下步骤：
将阴性病例胃镜数字病理图像输入所述图像预处理模块，从而得到样本图像集，由训练数据集生成模块根据样本图像集得到训练图像数据集，将训练图像数据集输入条件生成对抗网络CGAN，对条件生成对抗网络CGAN进行训练，得到训练好的条件生成对抗网络CGAN；
阈值判断模块，基于条件生成对抗网络CGAN输出的得分值进行胃镜数字病理图像所对应切块样本的阴性、阳性判断，判断时将切块样本的分类信息进行聚类处理，从而完成胃镜数字病理图像的阴性和阳性判断；阈值判断模块给出当前胃镜数字病理图像的各个分块的阴性和阳性分类结果后，将各个分块的分类信息重新组合成二维图像，该二维图像对应于整个胃镜数字病理图像分块阴性和阳性分布情况，随后对二维图像采取空间区域聚类处理，采用以下公式对当前胃镜数字病理图像的各个分块的阴性和阳性分类结果进行判断：
Figure FDA0004145688900000021
式中，X表示当前分块，OOC(X)表示当前分块的分类判断结果，
Figure FDA0004145688900000022
表示生成网络
Figure FDA0004145688900000023
的输出结果，τ表示预先设定的阈值。
2.如权利要求1所述的一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，还包括胃镜数字病理图像库，胃镜数字病理图像库中存储有经过数据清洗的全尺寸的胃镜数字病理图像，通过数据清洗对胃镜数字病理图像中的缺损数据及信息错误数据进行清洗；所述图像预处理模块从胃镜数字病理图像库中获取胃镜数字病理图像进行处理后送入所述训练数据集生成模块。
3.如权利要求2所述的一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，还包括数据获取模块，数据获取模块将从不同医院采集到的全尺寸的胃镜数字病理图像转换为统一的计算机易于处理的图像格式后，再对图像进行所述数据清洗，并将清洗后的图像存入所述胃镜数字病理图像库中。
4.如权利要求1所述的一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，所述图像预处理模块先对全尺寸的胃镜数字病理图像进行彩色空间的归一化处理，随后对转换后的图像的色相值加入随机噪声，完成图像的染色处理，再利用滑窗取样算法对染色处理的图像进行取样实现胃镜数字病理图像的分块处理，对得到的所有分块图像进行形态学的处理，筛选出有效组织区域，剔除信息量小或者无效的小块，最终得到所述样本图像集。
5.如权利要求1所述的一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，将所述训练图像数据集划分为训练集、验证集和测试集，先由训练集对所述条件生成对抗网络CGAN进行训练，再通过验证集验证所述条件生成对抗网络CGAN，最后通过测试集测试所述条件生成对抗网络CGAN，最终得到所述训练好的条件生成对抗网络CGAN。
6.如权利要求1所述的一种基于深度学习的胃镜活检病理数据筛查系统，其特征在于，所述重建网络
Figure FDA0004145688900000024
为由编码器和解码器组成的卷积神经网络，编码器由一系列的卷积层组成，解码器由一系列的去卷积层组成；所述鉴别网络
Figure FDA0004145688900000025
由一系列的卷积层组成。
CN201811568861.4A 2018-12-21 2018-12-21 一种基于深度学习的胃镜活检病理数据筛查系统 Active CN109670510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811568861.4A CN109670510B (zh) 2018-12-21 2018-12-21 一种基于深度学习的胃镜活检病理数据筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811568861.4A CN109670510B (zh) 2018-12-21 2018-12-21 一种基于深度学习的胃镜活检病理数据筛查系统

Publications (2)

Publication Number Publication Date
CN109670510A CN109670510A (zh) 2019-04-23
CN109670510B true CN109670510B (zh) 2023-05-26

Family

ID=66145695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811568861.4A Active CN109670510B (zh) 2018-12-21 2018-12-21 一种基于深度学习的胃镜活检病理数据筛查系统

Country Status (1)

Country Link
CN (1) CN109670510B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197716B (zh) * 2019-05-20 2022-05-20 广东技术师范大学 医学影像的处理方法、装置及计算机可读存储介质
CN110322396B (zh) * 2019-06-19 2022-12-23 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统
CN112132166B (zh) * 2019-06-24 2024-04-19 杭州迪英加科技有限公司 一种数字细胞病理图像智能分析方法、系统及装置
CN110378885B (zh) * 2019-07-19 2023-07-04 王晓骁 一种基于机器学习的wsi病灶区域自动标注方法及系统
CN111275107A (zh) * 2020-01-20 2020-06-12 西安奥卡云数据科技有限公司 一种基于迁移学习的多标签场景图像分类方法及装置
CN111275689B (zh) * 2020-01-20 2024-09-13 平安科技（深圳）有限公司 医学影像识别检测方法、装置及计算机可读存储介质
CN111710394A (zh) * 2020-06-05 2020-09-25 沈阳智朗科技有限公司 人工智能辅助早期胃癌筛查系统
CN111709941B (zh) * 2020-06-24 2023-05-09 上海迪影科技有限公司 一种面向病理图像的轻量级自动化深度学习系统及方法
CN111986749A (zh) * 2020-07-15 2020-11-24 万达信息股份有限公司 一种数字病理图像检索系统
CN111985536B (zh) * 2020-07-17 2024-02-09 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN112155550A (zh) * 2020-09-28 2021-01-01 深圳市万佳安物联科技股份有限公司 一种基于支持向量机的阿尔兹海默症检测装置
CN112309571B (zh) * 2020-10-30 2022-04-15 电子科技大学 数字病理图像的预后量化特征的筛选方法
CN112331349B (zh) * 2020-11-03 2023-04-07 四川大学华西医院 一种脑卒中复发监测系统
CN112508850B (zh) * 2020-11-10 2021-07-20 广州柏视医疗科技有限公司 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN113327241B (zh) * 2021-06-16 2023-02-24 南昌航空大学 一种轴承端面的表面缺陷视觉检测方法及系统
CN113538344A (zh) * 2021-06-28 2021-10-22 河北省中医院 区分萎缩性胃炎和胃癌的图像识别系统、设备及介质
CN113793307A (zh) * 2021-08-23 2021-12-14 上海派影医疗科技有限公司 一种适用于多类型病理图像的自动标注方法及系统
CN114533148B (zh) * 2022-02-15 2023-06-16 佳木斯大学 一种消化内科用于胃癌检测的取样系统
CN115035766B (zh) * 2022-06-24 2023-08-01 首都医科大学附属北京同仁医院 一种眼科教学培训方法、系统及设备
CN115938546B (zh) * 2023-02-21 2023-07-14 四川大学华西医院 一种早期胃癌图像合成方法、系统、设备及存储介质
CN117809841B (zh) * 2024-02-23 2024-04-30 四川大学华西医院 一种基于大模型技术的皮肤专病患者管理方法及系统
CN118522395A (zh) * 2024-07-22 2024-08-20 三科智能(山东)集团有限公司 基于人工智能的数字化手术室医疗信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN108229576A (zh) * 2018-01-23 2018-06-29 北京航空航天大学 一种跨倍率病理图像特征学习方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108229576A (zh) * 2018-01-23 2018-06-29 北京航空航天大学 一种跨倍率病理图像特征学习方法
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Conditional Adversarial Network for Semantic Segmentation of Brain Tumor;Mina Rezaei et al.;《Brainlesion Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries》;20180217;241-252 *
Mina Rezaei et al..A Conditional Adversarial Network for Semantic Segmentation of Brain Tumor.《Brainlesion Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries》.2018, *
基于生成对抗网络的人脸热红外图像生成;王雅欣;《人工智能》;20180831;40-44 *

Also Published As

Publication number Publication date
CN109670510A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
JP6184964B2 (ja) 生物試料をスペクトル画像により分析する方法およびシステム。
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN113516210B (zh) 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置
CN112088394A (zh) 生物组织的计算机分类
CN110991536B (zh) 原发性肝癌的早期预警模型的训练方法
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Li et al. Convolutional neural networks for classifying cervical cancer types using histological images
CN117689949A (zh) 一种基于少样本学习的消化道内镜图像分类算法
Krishna et al. An interpretable decision-support model for breast cancer diagnosis using histopathology images
Deng et al. ResNet-50 based method for cholangiocarcinoma identification from microscopic hyperspectral pathology images
Do et al. Supporting thyroid cancer diagnosis based on cell classification over microscopic images
WO2022190891A1 (ja) 情報処理システム及び情報処理方法
JP6710853B2 (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN116091446A (zh) 食管内窥镜图像的异常检测方法、系统、介质及设备
CN113222061B (zh) 一种基于双路小样本学习的mri图像分类方法
CN112634208B (zh) 基于深度学习的超声影像混合训练方法
Santhosh et al. Deep Learning Based Kidney Stone Detection Using CT Scan Images
Tan et al. Automated Classification Map Generation of Prostate Cancer using Deep Learning
Hasija Artificial Intelligence and Digital Pathology Synergy: For detailed, accurate and predictive analysis of WSIs
Lu et al. AI-Based Computational Pathology and Its Contribution to Precision Medicine
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
Ganapathy Cancer detection using deep neural network differentiation of squamous carcinoma cells in oral pathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant