CN112861994A - 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统 - Google Patents

基于Unet迁移学习的胃印戒细胞癌图像智能分类系统 Download PDF

Info

Publication number
CN112861994A
CN112861994A CN202110270657.XA CN202110270657A CN112861994A CN 112861994 A CN112861994 A CN 112861994A CN 202110270657 A CN202110270657 A CN 202110270657A CN 112861994 A CN112861994 A CN 112861994A
Authority
CN
China
Prior art keywords
intelligent classification
model
image
training
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110270657.XA
Other languages
English (en)
Other versions
CN112861994B (zh
Inventor
田捷
董迪
李聪
胡振华
杨鑫
胡朝恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110270657.XA priority Critical patent/CN112861994B/zh
Publication of CN112861994A publication Critical patent/CN112861994A/zh
Application granted granted Critical
Publication of CN112861994B publication Critical patent/CN112861994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理领域，具体涉及了一种基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，旨在解决现有技术因胃癌病灶形状不规则、特征提取质量低，导致胃印戒细胞癌图像分类结果不准确的问题。本发明包括：感兴趣区域提取模块，对获取的待分类胃部CT进行胃癌病灶感兴趣区域提取；预处理模块，对提取的Rec_ROI进行图像增强；智能分类模块，通过训练好的智能分类模型完成待分类预处理图像的智能分类；筛选融合模块，将智能分类结果与筛选的显著临床因子融合生成待分类胃部CT图像的最终分类结果。本发明速度快、精度高、鲁棒性强，在临床上具有很大的实用价值。

Description

基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
技术领域
本发明属于医学图像处理领域，具体涉及了一种基于Unet迁移学习的胃印戒细胞癌图像智能分类系统。
背景技术
胃癌(GC，Gastric cancer)是我国高发癌种之一，每年我国的胃癌新发及死亡病例占全球的一半左右。印戒细胞癌(SRCC，Signet-ring cell carcinoma)是一种组织学分型，这种分型源于肿瘤的镜下特征而非其生物学行为，镜下显示肿瘤细胞胞质丰富、充满黏液，核被挤压于胞质一侧呈“印戒”样，因而得名，常发生于胃肠道、乳腺、膀胱及前列腺等部位。临床上将病理标本中包含50％以上的胃癌患者诊断为胃印戒细胞癌。胃印戒细胞癌是高度恶性肿瘤之一，约占胃癌的9.9％，具有侵袭力强，病程进展快的特点。已有研究表明胃印戒细胞癌在年轻人群中高发，女性相对男性发病率高，转移风险高，多发于进展期胃癌。此外，早期胃印戒细胞癌与更好的生存和预后相关，但晚期胃印戒细胞癌是不利的组织学亚型，并且是淋巴结和远处转移，化疗耐药性增加和生存不良的独立预后因素。因此，胃印戒细胞癌的精准分类对于患者治疗方案的制定有指导意义。
胃印戒细胞癌的非侵入性诊断方法仍处在起步阶段。计算机断层扫描(CT)是目前临床上常用的非侵入成像方法之一，CT成像的便捷与整体评估肿瘤的能力，非常适合克服胃印戒细胞癌诊断中遇到的挑战。基于患者的CT影像，提取特异性特征，进而实现对患者的快速、无侵入性诊断是该领域的主要研究方向。
在医学图像处理领域，许多工作采用深度学习方法实现疾病的临床诊断，但是胃癌病灶的形状不规则，在病灶的外接矩形框中存在大量的无关组织，引入大量的噪声信息，因此无法学习到肿瘤的特异性特征，造成最终的诊断结果不准确。还有一些工作使用传统影像组学方法实现疾病的诊断，但是该方法需要首先提取人工定义的特征，之后使用的多种特征筛选方法得到与标签相关的特征，最后基于机器学习建立分类模型，完成诊断。这种方法处理过程复杂，不仅无法提取高层次的语义信息，而且无法实现端到端的学习。
发明内容
为了解决现有技术中的上述问题，即现有技术因胃癌病灶形状不规则、特征提取质量低，导致胃印戒细胞癌图像分类结果不准确的问题，本发明提供了一种基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，该系统包括以下模块：
感兴趣区域提取模块，用于对获取的待分类胃部CT进行胃癌病灶感兴趣区域提取，获得待分类胃癌病灶区域图像；
预处理模块，用于对所述待分类胃癌病灶区域图像进行图像增强处理，获得待分类预处理图像；
智能分类模块，用于通过训练好的智能分类模型进行所述待分类预处理图像的智能分类，获得智能分类结果；
筛选融合模块，用于将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果。
在一些优选的实施例中，“对获取的待分类胃部CT图像进行胃癌病灶感兴趣区域提取”，其方法为：
通过层面间对比选择所述待分类胃部CT中病灶面积最大的一层，并标注出胃癌病灶感兴趣区域ROI，获得待分类胃癌病灶区域图像。
在一些优选的实施例中，“对所述待分类胃癌病灶区域图像进行图像增强处理”，其方法为：
Figure BDA0002974232680000031
Figure BDA0002974232680000032
Figure BDA0002974232680000033
其中，Wincenter和Winwidth分别为设定的窗位和窗宽，New_Inten为预处理后的图像像素值，Inten为待分类胃癌病灶区域图像像素值，i和j为像素在图像中的空间位置。
在一些优选的实施例中，所述智能分类模型，其结构为：
以Unet网络的编码块作为智能分类模型的基础架构，在所述Unet网络的编码块的每个尺度的卷积层后分别增加一个残差块，获得调整后的编码块；
在所述调整后的编码块后顺次增加节点数为1024、512、64的三个全连接层，获得智能分类模型。
在一些优选的实施例中，所述智能分类模型，其训练方法为：
步骤B10，将训练好的分割模型的编码块的参数迁移到所述智能分类模型中进行编码块的权重初始化，并通过Xavier方法进行所述智能分类模型全连接层的权重初始化；
步骤B20，获取智能分类模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述智能分类模型训练样本集中每一个训练样本对应的待分类预处理训练样本，并获取每个训练样本的类别标签；
步骤B30，随机选取设定数量的待分类预处理训练样本和对应的类别标签，输入权重初始化后的智能分类模型获得智能分类模型的输出结果；
步骤B40，若所述智能分类模型的输出结果与类别标签的交叉损失值不满足模型训练结束条件，则微调所述智能分类模型的参数并跳转步骤B30进行迭代训练，直至所述交叉损失值满足模型训练结束条件，获得训练好的智能分类模型。
在一些优选的实施例中，所述交叉损失值通过交叉熵损失函数获取，所述交叉熵损失函数为：
Figure BDA0002974232680000041
其中，N为训练中智能分类模型训练样本的数量，K为样本类别标签的种数，yl,k代表训练中第l个训练样本的真实标签为k，pl,k代表训练中第l个训练样本被预测为标签为k的概率。
在一些优选的实施例中，所述分割模型，其结构为：
以Unet网络作为分割模型的基础架构，在所述Unet网络每个尺度的卷积层后分别增加一个残差块，在所有的卷积层后增加一个Batch Normalization层以及Leaky Relu激活函数，获得分割模型。
在一些优选的实施例中，所述分割模型，其训练方法为：
步骤A10，获取分割模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述分割模型训练样本集中每一个训练样本对应的待分割预处理训练样本；
步骤A20，分别将每一个待分割预处理训练样本进行图像二值化，以获得的二值化图作为训练样本对应的样本标签；
步骤A30，随机选取设定数量的待分割预处理训练样本和对应的样本标签，输入所述分割模型获得分割模型的输出结果；
步骤A40，若所述分割模型的输出结果与样本标签的Dice损失值不满足模型训练结束条件，则调整所述分割模型的参数并跳转步骤A30进行迭代训练，直至所述Dice损失值满足模型训练结束条件，获得训练好的分割模型。
在一些优选的实施例中，所述Dice损失值通过Dice损失函数获取，所述Dice损失函数为：
Figure BDA0002974232680000051
其中，X代表训练中分割模型的输出结果，Y代表训练中模型训练样本对应的样本标签，|X∩Y|代表训练中分割模型的输出结果与训练样本对应的样本标签的交集，|·|为计算对象内元素个数的操作。
在一些优选的实施例中，“将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果”，其方法为：
Figure BDA0002974232680000052
其中，hβ(x)∈[0,1]表示待分类胃部CT图像的最终分类结果，β0代表偏置参数，βc代表智能分类模型的输出的智能分类结果的系数，xc代表智能分类模型的输出值，βm代表第m个显著临床因子的系数，xm代表第m个显著临床因子的值。
本发明的有益效果：
(1)本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，基于Unet模型的编码块建立深度学习的智能分类模型，使用训练后的Unet分割模型的编码块的参数进行深度学习的智能分类模型的权重初始化，实现迁移学习，引入肿瘤注意力机制，克服病灶区域无规则的特性，促使网络捕捉到病灶区域的特异性信息，此外迁移学习操作也大大加速模型的收敛速度，模型鲁棒性好、精度高。
(2)本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，将筛选的显著临床因子和智能分类模型输出的智能分类结果进行融合，结合了临床层面信息和影像层面特异性信息，待分类胃部CT图像的最终分类结果更加精准。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统的框架示意图；
图2是本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统一种实施例的CT图像、Rec_ROI图像、二值化图S和Unet分割结果图；
图3是本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统一种实施例的分割模型和智能分类模型的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，该系统包括以下模块：
感兴趣区域提取模块，用于对获取的待分类胃部CT进行胃癌病灶感兴趣区域提取，获得待分类胃癌病灶区域图像；
预处理模块，用于对所述待分类胃癌病灶区域图像进行图像增强处理，获得待分类预处理图像；
智能分类模块，用于通过训练好的智能分类模型进行所述待分类预处理图像的智能分类，获得智能分类结果；
筛选融合模块，用于将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果。
为了更清晰地对本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统进行说明，下面结合图1对本发明实施例中各模块展开详述。
本发明第一实施例的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，各模块详细描述如下：
感兴趣区域提取模块，用于对获取的待分类胃部CT进行胃癌病灶感兴趣区域提取，获得待分类胃癌病灶区域图像。
CT影像采集选用常规设备，设置常规参数进行采集，本发明一个实施例中，优选使用Brilliance CT扫描仪；管电压，120V；管电流，292mA；层厚，5mm；视场，512mm*512mm。在患者进行CT扫描前70-80s，由静脉注射造影剂。
对获取的待分类胃部CT图像进行胃癌病灶感兴趣区域提取，其方法为：
通过层面间对比选择所述待分类胃部CT中病灶面积最大的一层，并标注出胃癌病灶感兴趣区域ROI，获得待分类胃癌病灶区域图像。
为了提高本发明进行胃印戒细胞癌分类的准确性，本发明一个实施例中，选用病人静脉增强期相CT，由专业影像科医师通过层面间对比选择CT数据中病灶面积最大的一层，然后使用ITK-snap软件标注出胃癌病灶感兴趣区域ROI，完成病灶的手动标注。
预处理模块，用于对所述待分类胃癌病灶区域图像进行图像增强处理，获得待分类预处理图像。
为了增强病灶区域的对比度，加速模型的收敛，本发明基于CT读取的先验知识对待分类胃癌病灶区域图像进行增强处理，如式(1)-式(3)所示：
Figure BDA0002974232680000081
Figure BDA0002974232680000082
Figure BDA0002974232680000083
其中，Wincenter和Winwidth分别为设定的窗位和窗宽，New_Inten为预处理后的图像像素值，Inten为待分类胃癌病灶区域图像像素值，i和j为像素在图像中的空间位置。
智能分类模块，用于通过训练好的智能分类模型进行所述待分类预处理图像的智能分类，获得智能分类结果。
智能分类模型，其结构为：
以Unet网络的编码块作为智能分类模型的基础架构，在所述Unet网络的编码块的每个尺度的卷积层后分别增加一个残差块，获得调整后的编码块；
在所述调整后的编码块后顺次增加节点数为1024、512、64的三个全连接层，获得智能分类模型。
智能分类模型通过三个全连接层节点数的减少实现特征降维，最终输出图像属于胃印戒细胞癌的概率。
智能分类模型，其训练方法为：
步骤B10，将训练好的分割模型的编码块的参数迁移到所述智能分类模型中进行编码块的权重初始化，并通过Xavier方法进行所述智能分类模型全连接层的权重初始化。
为了克服图像中病灶形状不规则且包含一定无关组织的影响，本发明通过迁移学习引入病灶注意力机制，在训练深度学习的智能分类模型前，将训练好的分割网络的编码块的参数迁移到智能分类模型进行权重初始化，从而引入大量肿瘤特异性信息，提高深度学习的智能分类模型分类的精确度，此外，迁移学习操作还可以大大加速模型的收敛速度。
对于模型后增加的三个全连接层，本发明采用Xavier方法进行权重初始化。
步骤B20，获取智能分类模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述智能分类模型训练样本集中每一个训练样本对应的待分类预处理训练样本，并获取每个训练样本的类别标签。
本发明一个实施例中，深度学习的智能分类模型基于Pytorch(版本为1.1.0)深度学习框架使用Python3.6语言构建。模型的输入为Rec_ROI，监督信息为胃印戒细胞癌标签(即类别标签)。
步骤B30，随机选取设定数量的待分类预处理训练样本和对应的类别标签，输入权重初始化后的智能分类模型获得智能分类模型的输出结果。
步骤B40，若所述智能分类模型的输出结果与类别标签的交叉损失值不满足模型训练结束条件，则微调所述智能分类模型的参数并跳转步骤B30进行迭代训练，直至所述交叉损失值满足模型训练结束条件，获得训练好的智能分类模型。
交叉损失值通过交叉熵损失函数获取，交叉熵损失函数如式(5)所示：
Figure BDA0002974232680000101
其中，N为训练中智能分类模型训练样本的数量，K为样本类别标签的种数，yl,k代表训练中第l个训练样本的真实标签为k，pl,k代表训练中第l个训练样本被预测为标签为k的概率。
基于以上的设置，训练深度学习的智能分类模型少量几个epoch进行微调。
分割模型，其结构为：
以Unet网络作为分割模型的基础架构，Unet网络为U型堆成结构，由一个编码块和一个解码块构成，编码块包含4个卷积层(Convolutional layer)，解码块包含4个上采样层(Upsampling layer)，同时卷积层得到的特征图级联到相应尺度的上采样层。为了加速分割模型的训练，本发明在所述Unet网络每个尺度的卷积层后分别增加一个残差块，上采样层由反卷积实现，在所有的卷积层后增加一个Batch Normalization层以及Leaky Relu激活函数，Leaky Relu激活函数可以增加模型的非线性，获得分割模型。
分割模型，其训练方法为：
步骤A10，获取分割模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述分割模型训练样本集中每一个训练样本对应的待分割预处理训练样本。
基于影像专家手工标注的ROI区域，本发明一个实施例中使用OpenCV库中Rect函数为ROI区域生成外接矩形框。为后续训练分割模型，所有的图像需要统一大小，本发明对外接矩形框进行重采样变换为112*112大小，作为分割模型的输入Rec_ROI。
步骤A20，分别将每一个待分割预处理训练样本进行图像二值化，以获得的二值化图作为训练样本对应的样本标签。
为获取分割模型训练需要的监督信息(即样本标签)，本发明在Rec_ROI图像基础上将图像二值化，具体操作为将病灶区域作为图像前景，像素值设置为1，其余无关组织作为背景，像素值作为0，从而得到分割模型的监督信息-二值化图S。Rec_ROI和二值化图S作为分割模型的输入样本和样本标签对，用于分割模型的训练。
上述步骤获得的Rec_ROI(病灶的外接矩形框内区域)和二值化图S(监督信息)，可以排除CT影像中大部分的无关组织，提高有用信息占比，进而加速模型的训练。
步骤A30，随机选取设定数量的待分割预处理训练样本和对应的样本标签，输入所述分割模型获得分割模型的输出结果。
分割模型使用Adam优化器进行训练，为了提高模型的鲁棒性，对分割模型的输入和监督信息进行数据增强，其方法包括但不限于：随机水平翻转操作、随机垂直翻转操作、随机旋转操作。
步骤A40，若所述分割模型的输出结果与样本标签的Dice损失值不满足模型训练结束条件，则调整所述分割模型的参数并跳转步骤A30进行迭代训练，直至所述Dice损失值满足模型训练结束条件，获得训练好的分割模型。
Dice损失值通过Dice损失函数获取，Dice损失函数如式(4)所示：
Figure BDA0002974232680000111
其中，X代表训练中分割模型的输出结果，Y代表训练中模型训练样本对应的样本标签，|X∩Y|代表训练中分割模型的输出结果与训练样本对应的样本标签的交集，|·|为计算对象内元素个数的操作。
本发明一个实施例中，分割模型使用Pytorch(版本为1.1.0)深度学习框架开发与训练，使用Python3.6语言编写。模型训练过程中，多个epoch迭代后模型性能没有提升时则结束训练。此时Unet分割模型的编码块中包含大量与肿瘤相关的特异性信息。
如图2所示，为本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统一种实施例的CT图像、Rec_ROI图像、二值化图S和Unet分割结果图，图2左一为待分类胃部CT中病灶面积最大的一层CT图像，图2左二为将CT进行感兴趣区域提取获得的Rec_ROI图像(即待分类胃癌病灶区域图像)，图2右二为将Rec_ROI图像进行图像二值化获得的监督信息-二值化图S，图2右一为通过训练好的分割网络进行Rec_ROI图像分割获得的Unet分割结果。
如图3所示，为本发明基于Unet迁移学习的胃印戒细胞癌图像智能分类系统一种实施例的分割模型和智能分类模型的结构示意图：图3上半部分为分割模型结构示意图，在每一层卷积层后分别增加一个残差块，通过反卷积实现上采样，在所有的卷积层后增加一个Batch Normalization层以及Leaky Relu激活函数；下半部分为智能分类模型结构示意图，其编码块结构与分割模型的编码块部分一样，在编码块后增加了三个全连接层，其节点数依次为1024、512、64。
筛选融合模块，用于将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果。
为进一步提高模型的分类精度，本发明筛选显著临床因子并融合深度学习的智能分类模型的输出结果得到最终智能分类结果。
基于收集到的临床指标(包括年龄、性别、烟龄等信息)，与胃印戒细胞癌标签通过Mann-Whitney U检验确定显著临床因子。本发明一个实施例中，将U检验显著性小于0.05的特征作为显著临床因子，显著临床因子的数量可以有多个，本发明在此不一一详述。
本发明一个实施例中，采用逻辑斯特回归方法将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果，如式(6)所示：
Figure BDA0002974232680000131
其中，hβ(x)∈[0,1]表示待分类胃部CT图像的最终分类结果，β0代表偏置参数，βc代表智能分类模型的输出的智能分类结果的系数，xc代表智能分类模型的输出值，βm代表第m个显著临床因子的系数，xm代表第m个显著临床因子的值。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
需要说明的是，上述实施例提供的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统。
本发明第三实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明第四实施例的一种基于Unet迁移学习的胃印戒细胞癌图像智能设备，该设备包括：
影像采集装置，用于进行待分类胃部CT或分割模型训练样本集或智能分类模型训练样本集的采集；
中央处理装置，用于通过上述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，结合影像装置采集的待分类胃部CT进行胃印戒细胞癌图像智能分类或结合影像装置采集的分割模型训练样本集进行分割模型的训练或结合影像装置采集的智能分类模型训练样本进行智能分类模型的训练；
显示装置，用于处理过程中各阶段图像显示以及最终分类结果的显示。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，该系统包括以下模块：
感兴趣区域提取模块，用于对获取的待分类胃部CT进行胃癌病灶感兴趣区域提取，获得待分类胃癌病灶区域图像；
预处理模块，用于对所述待分类胃癌病灶区域图像进行图像增强处理，获得待分类预处理图像；
智能分类模块，用于通过训练好的智能分类模型进行所述待分类预处理图像的智能分类，获得智能分类结果；
筛选融合模块，用于将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果。
2.根据权利要求1所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，“对获取的待分类胃部CT图像进行胃癌病灶感兴趣区域提取”，其方法为：
通过层面间对比选择所述待分类胃部CT中病灶面积最大的一层，并标注出胃癌病灶感兴趣区域ROI，获得待分类胃癌病灶区域图像。
3.根据权利要求1所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，“对所述待分类胃癌病灶区域图像进行图像增强处理”，其方法为：
Figure FDA0002974232670000011
Figure FDA0002974232670000012
Figure FDA0002974232670000021
其中，Wincenter和Winwidth分别为设定的窗位和窗宽，New_Inten为预处理后的图像像素值，Inten为待分类胃癌病灶区域图像像素值，i和j为像素在图像中的空间位置。
4.根据权利要求1所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述智能分类模型，其结构为：
以Unet网络的编码块作为智能分类模型的基础架构，在所述Unet网络的编码块的每个尺度的卷积层后分别增加一个残差块，获得调整后的编码块；
在所述调整后的编码块后顺次增加节点数为1024、512、64的三个全连接层，获得智能分类模型。
5.根据权利要求4所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述智能分类模型，其训练方法为：
步骤B10，将训练好的分割模型的编码块的参数迁移到所述智能分类模型中进行编码块的权重初始化，并通过Xavier方法进行所述智能分类模型全连接层的权重初始化；
步骤B20，获取智能分类模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述智能分类模型训练样本集中每一个训练样本对应的待分类预处理训练样本，并获取每个训练样本的类别标签；
步骤B30，随机选取设定数量的待分类预处理训练样本和对应的类别标签，输入权重初始化后的智能分类模型获得智能分类模型的输出结果；
步骤B40，若所述智能分类模型的输出结果与类别标签的交叉损失值不满足模型训练结束条件，则微调所述智能分类模型的参数并跳转步骤B30进行迭代训练，直至所述交叉损失值满足模型训练结束条件，获得训练好的智能分类模型。
6.根据权利要求5所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述交叉损失值通过交叉熵损失函数获取，所述交叉熵损失函数为：
Figure FDA0002974232670000031
其中，N为训练中智能分类模型训练样本的数量，K为样本类别标签的种数，yl,k代表训练中第l个训练样本的真实标签为k，pl,k代表训练中第l个训练样本被预测为标签为k的概率。
7.根据权利要求4所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述分割模型，其结构为：
以Unet网络作为分割模型的基础架构，在所述Unet网络每个尺度的卷积层后分别增加一个残差块，在所有的卷积层后增加一个Batch Normalization层以及Leaky Relu激活函数，获得分割模型。
8.根据权利要求7所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述分割模型，其训练方法为：
步骤A10，获取分割模型训练样本集，并通过系统的感兴趣区域提取模块和预处理模块获取所述分割模型训练样本集中每一个训练样本对应的待分割预处理训练样本；
步骤A20，分别将每一个待分割预处理训练样本进行图像二值化，以获得的二值化图作为训练样本对应的样本标签；
步骤A30，随机选取设定数量的待分割预处理训练样本和对应的样本标签，输入所述分割模型获得分割模型的输出结果；
步骤A40，若所述分割模型的输出结果与样本标签的Dice损失值不满足模型训练结束条件，则调整所述分割模型的参数并跳转步骤A30进行迭代训练，直至所述Dice损失值满足模型训练结束条件，获得训练好的分割模型。
9.根据权利要求8所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，所述Dice损失值通过Dice损失函数获取，所述Dice损失函数为：
Figure FDA0002974232670000041
其中，X代表训练中分割模型的输出结果，Y代表训练中模型训练样本对应的样本标签，|X∩Y|代表训练中分割模型的输出结果与训练样本对应的样本标签的交集，|·|为计算对象内元素个数的操作。
10.根据权利要求1所述的基于Unet迁移学习的胃印戒细胞癌图像智能分类系统，其特征在于，“将所述智能分类结果与筛选的显著临床因子融合生成所述待分类胃部CT图像的最终分类结果”，其方法为：
Figure FDA0002974232670000042
其中，hβ(x)∈[0,1]表示待分类胃部CT图像的最终分类结果，β0代表偏置参数，βc代表智能分类模型的输出的智能分类结果的系数，xc代表智能分类模型的输出值，βm代表第m个显著临床因子的系数，xm代表第m个显著临床因子的值。
CN202110270657.XA 2021-03-12 2021-03-12 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统 Active CN112861994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270657.XA CN112861994B (zh) 2021-03-12 2021-03-12 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270657.XA CN112861994B (zh) 2021-03-12 2021-03-12 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统

Publications (2)

Publication Number Publication Date
CN112861994A true CN112861994A (zh) 2021-05-28
CN112861994B CN112861994B (zh) 2023-04-28

Family

ID=75994427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270657.XA Active CN112861994B (zh) 2021-03-12 2021-03-12 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统

Country Status (1)

Country Link
CN (1) CN112861994B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269139A (zh) * 2021-06-18 2021-08-17 中电科大数据研究院有限公司 一种针对复杂场景的自学习大规模警员图像分类模型
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置
CN116824273A (zh) * 2023-08-28 2023-09-29 成都飞机工业（集团）有限责任公司 一种航空制造件任意视角二维投影图像面片属性判断方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992338A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种原发灶转移辅助诊断系统
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
CN110992338A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种原发灶转移辅助诊断系统
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIWEN ZHANG 等: "Joint Multi-Task Learning for Survival Prediction of Gastric Cancer Patients using CT Images", 《2021 IEEE 18TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》 *
SIWEN WANG 等: "Cross-Phase Adversarial Domain Adaptation for Deep Disease-free Survival Prediction with Gastric Cancer CT Images", 《2021 43RD ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY (EMBC)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269139A (zh) * 2021-06-18 2021-08-17 中电科大数据研究院有限公司 一种针对复杂场景的自学习大规模警员图像分类模型
CN113269139B (zh) * 2021-06-18 2023-09-26 中电科大数据研究院有限公司 一种针对复杂场景的自学习大规模警员图像分类模型
CN113421274A (zh) * 2021-07-13 2021-09-21 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113421274B (zh) * 2021-07-13 2022-08-02 上海工程技术大学 一种基于ct影像的胃癌智能分期方法
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置
CN116824273A (zh) * 2023-08-28 2023-09-29 成都飞机工业（集团）有限责任公司 一种航空制造件任意视角二维投影图像面片属性判断方法
CN116824273B (zh) * 2023-08-28 2024-01-12 成都飞机工业（集团）有限责任公司 一种航空制造件任意视角二维投影图像面片属性判断方法

Also Published As

Publication number Publication date
CN112861994B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Abdelrahman et al. Convolutional neural networks for breast cancer detection in mammography: A survey
CN110223281B (zh) 一种数据集中含有不确定数据时的肺结节图像分类方法
CN112861994B (zh) 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
US11049244B2 (en) Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
Zeiser et al. Segmentation of masses on mammograms using data augmentation and deep learning
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Li et al. Reverse active learning based atrous DenseNet for pathological image classification
Xie et al. Computer‐Aided System for the Detection of Multicategory Pulmonary Tuberculosis in Radiographs
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
Sreenivasu et al. [Retracted] Dense Convolutional Neural Network for Detection of Cancer from CT Images
CN109215040B (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
CN110728239A (zh) 一种利用深度学习的胃癌增强ct图像自动识别系统
CN112508884A (zh) 一种癌变区域综合检测装置及方法
Kumar et al. Mammogram image segmentation using SUSAN corner detection
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
Yu et al. Large-scale gastric cancer screening and localization using multi-task deep neural network
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
Han et al. A deep learning quantification algorithm for HER2 scoring of gastric cancer
CN110738649A (zh) 一种用于胃癌增强CT图像自动识别的Faster RCNN网络的训练方法
CN115880245A (zh) 一种基于自监督的乳腺癌疾病分类方法
Balasundaram et al. Automated Detection and Classification of Breast Cancer Nuclei with Deep Convolutional Neural Network.
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images
Zhao Deep learning based medical image segmentation and classification for artificial intelligence healthcare

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant