CN112085113A - 一种重症肿瘤影像识别系统及方法 - Google Patents

一种重症肿瘤影像识别系统及方法 Download PDF

Info

Publication number
CN112085113A
CN112085113A CN202010962134.7A CN202010962134A CN112085113A CN 112085113 A CN112085113 A CN 112085113A CN 202010962134 A CN202010962134 A CN 202010962134A CN 112085113 A CN112085113 A CN 112085113A
Authority
CN
China
Prior art keywords
image
tumor
brain
model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010962134.7A
Other languages
English (en)
Other versions
CN112085113B (zh
Inventor
刘秀
吉克夫格
吴孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010962134.7A priority Critical patent/CN112085113B/zh
Publication of CN112085113A publication Critical patent/CN112085113A/zh
Application granted granted Critical
Publication of CN112085113B publication Critical patent/CN112085113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种重症肿瘤影像识别系统及方法，尤其是一种基于脑肿瘤影像大数据的磁共振图像两阶段多模型自动脑肿瘤诊断系统。本发明所要解决的技术问题是提供一套基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统，通过从历史诊断大数据中进行信息挖掘、特征提取和经验学习，用于高准确度的计算机辅助脑图像数据分析，使诊断准确度独立于医生的经验，同时加快诊断速度。

Description

一种重症肿瘤影像识别系统及方法
技术领域
本申请涉及一种重症肿瘤影像识别系统及方法，尤其是一种基于大数据的脑肿瘤影像磁共振图像两阶段多模型自动脑肿瘤诊断系统。
背景技术
脑肿瘤是一种严重的疾病，它是由于大脑内部组织的异常生长而破坏正常的大脑功能。近三十年来，我国每年因脑肿瘤而死亡的人数呈逐步上升趋势。快速、准确的脑肿瘤诊断技术十分必要。以往由内科医生凭经验和肉眼观察的手工诊断方式，准确度因医生的经验而异，并且非常耗时。
磁共振成像是一种先进的医学成像技术，它能够提供丰富的有关人体软组织解剖的大量数据信息。利用磁共振图像进行自动脑肿瘤检测的目的是通过分析成像数据，对图像中有无脑肿瘤进行分类。因此，可以将诊断问题转换为图像分类挑战。近年来脑肿瘤的高发性导致产生了大量的磁共振图像数据。因此，利用历史诊断大数据，从大数据中进行有效信息挖掘和特征提取，深度探索和学习历史诊断大数据中的经验，开发实现快速检测和准确定位的自动脑肿瘤诊断系统是至关重要的。通过大数据驱动的机器学习和深度学习方法在计算机辅助脑图像分析、分割、配准和肿瘤组织分类中发挥着核心作用。
虽然已有多项研究将深度学习方法应用于脑肿瘤诊断，但尚未有完整基于大数据的肿瘤自动分类、分级和定位系统。此外，在单一诊断系统中集成肿瘤分类分级和定位的精度仍然是一个开放的挑战。在单一系统中，在肿瘤定位之前有脑肿瘤检测阶段会导致正常图像在定位阶段被丢弃。这为自动肿瘤诊断系统的实时部署打开了大门。
发明内容
本发明所要解决的技术问题是提供一套基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统，通过从历史诊断大数据中进行信息挖掘、特征提取和经验学习，用于高准确度的计算机辅助脑图像数据分析，将脑肿瘤的有无、脑肿瘤的类别、脑肿瘤的分级等问题转换图像分类问题，利用卷积神经网络对脑肿瘤图像进行分类的同时进行脑胶质瘤术前智能分级，并精准定位脑肿瘤所在区域的位置，为医生提供快速和精准的辅助诊断，使诊断准确度独立于医生的经验，同时加快诊断速度。
本发明基本思想是将脑肿瘤的诊断转换为磁共振脑成像的分类问题，利用分类卷积神经网络能够通过历史诊断大数据的分析，进而从中提取图像数据的深度特征并进行高准确度分类的优点，将不同类别以及不同级别的脑肿瘤视为不同类别的图像，将历史病例中人工诊断的不同类别的磁共振脑成像数据集进行训练并用于脑肿瘤的分类和胶质肿瘤分级，解决脑肿瘤快速、高准确度的诊断。利用定位卷积神经网络能够对病灶位置进行精准区域定位的优点，对有脑肿瘤的磁共振脑成像进行病灶区域的精准定位，为医生提供快速和准确的诊断辅助。具体包括如下步骤：
步骤一：数据集收集和标注，数据集包括：分类数据集和定位数据集，对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集。采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。按8:2的比例将标注后的图像划分为训练集和测试集。将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同。将其作为第二阶段使用的定位数据集。
步骤二：图像预处理。针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍。其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入。最后，按8:2的比例将数据集划分为训练集和测试集。
步骤三：建立分类模型。分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型。本发明对图像分类网络SE-ResNet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。改进后的网络模型的基本组成结构见图1。
SE-ResNet由一个输入层、4个残差结构组合模块和一个输出层组成。每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构。每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。
本发明的主要改进为，将SE-ResNet的每个残差结构组合模块中第一个带注意力机制的残差结构的捷径层变为两层计算模式，第一层采用步长为1，尺寸为1×1的卷积核进行卷积计算，接着的第二层采用步长为2，尺寸为2×2的核进行平均池化计算，以解决原模型降采样时信息丢失造成分类准确度下降的问题，改进的结构如图1所示。
本发明在改进的基础上，采用101层的网络结构，并将其输出层改为6个神经元输出，对应分类的6种类别。模型各层参数见表1。采用深度学习工具库PyTorch搭建改进后的SE-ResNet网络结构。PyTorch是由Facebook公司开源的深度学习张量库，其采用GPU加速神经网络编程计算。利用PyTorch可以搭建出改进后的SE-ResNet网络结构，并且可以选择和设置训练需要的多种超参数组合即优化器类型。
步骤四：建立定位模型。定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能。本发明采用开源的卷积神经网络YOLO v3进行病灶定位。YOLO v3是开源的全卷积神经网络，该定位网络具有较高的定位准确度。
本发明所采用的YOLO v3模型，其主干网络由52层卷积层用于提取模型特征，并将提取到的特征信息进行三次目标定位，分别定位图像中的较小目标、中等大小目标以及较大目标，并输出定位信息。最后根据卷积神经网络输出的定位矩形框的坐标信息，在输入的有脑肿瘤的磁共振脑成像图像上画出相应的定位矩形框，并输出定位后的图像。此时脑肿瘤病灶部位已被系统用矩形框标记出来，供医生诊断参考。本发明采用的YOLO v3模型主干网络各层参数见表2，模型结构见图2。
步骤五：模型训练与保存。
采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型。保存的两个模型将用于本发明设计的诊断系统中，对输入的磁共振脑成像进行分类，并将检测为含有脑肿瘤的图像进行脑肿瘤区域精准定位。
系统使用过程中将不再训练两个模型，直接使用已训练好并保存的模型进行脑肿瘤快速诊断。随着诊断病例数据的增加，为更好的应用历史病例数据，以从中进行数据分析和特征学习，进一步提高系统的诊断准确度和定位精度，可在病历数据增加至一定数量后，将其磁共振脑成像图像合并入训练数据集，在原有模型基础上继续执行训练步骤，并保存模型。
步骤六：系统测试。
将患者的磁共振脑成像图像输入系统，首先进行图像预处理：将图像缩放为224×224×3像素。将预处理后的图像输入训练好并保存的分类模型进行分类，如果图像被分类为无脑肿瘤，则结束程序；若图像被分类为脑膜瘤或1-4级的脑胶质瘤，则输出脑肿瘤的分级(脑膜瘤标记为0级)，并将该图像输入训练好并保存的定位模型进行脑肿瘤区域定位。最终输出用矩形框标记脑肿瘤位置区域的磁共振脑成像图像，结束程序。
与现有技术相比，本发明的有益效果是：1)有效利用以往病历大数据，采用深度学习的方法对大量脑肿瘤磁共振脑成像历史病例进行数据分析，特征提取和经验学习，为医生提供准确度较高的脑肿瘤诊断辅助，使脑肿瘤诊断准确度独立于医生经验。2)能够对脑肿瘤类别进行智能诊断并对脑胶质瘤进行术前精准分级，对患者下一步的治疗计划制定和术后评估都有积极作用。3)极大的提高了诊断速度，可以使患者早发现早治疗，为患者争取到宝贵的早期治疗时间。4)自动化处理水平较高，自动化分析并智能检测脑肿瘤及定位其病灶区域，可以极大地降低操作人员工作量。
附图说明
图1为本发明改进的SE-ResNet模型基本组成结构图。
图2为本发明采用的YOLO-v3模型结构图。
图3为本发明基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统工作流程图。
表1为本发明采用的SE-ResNet模型各层参数表。
表2为本发明采用的YOLO-v3模型主干网络各层参数表。
具体实施方式
下面结合实施例对本发明作进一步阐述。
步骤一：数据集收集和标注。本发明共用到两个数据集：分类数据集和定位数据集。本发明从历史诊断病例数据中收集了957张不同类别和不同级别的磁共振脑成像图像，根据医生的手工诊断结果，将其分为1)脑膜肿瘤(184张)，2)脑胶质肿瘤1级(112张)，3)脑胶质肿瘤2级(130张)，4)脑胶质肿瘤3级(157张)，5)脑胶质肿瘤4级(149张)，6)无脑肿瘤(225张)，共6种类别，分别将其放在相应的6个文件夹下，作为第一阶段使用的分类数据集。
采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。按8:2的比例将标注后的图像划分为训练集和测试集，其中训练集包含766幅图像，测试集包含191幅图像。将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同。将其作为第二阶段使用的定位数据集。
步骤二：图像预处理。针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍。其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入。最后，按8:2的比例将数据集划分为训练集和测试集，其中训练集包含3828张图像，测试集包含957张图像。
步骤三：建立分类模型。分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型。本发明对图像分类网络SE-ResNet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。改进后的网络模型的基本组成结构见图1。
SE-ResNet由一个输入层、4个残差结构组合模块和一个输出层组成。每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构。每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。
本发明的主要改进为，将SE-ResNet的每个残差结构组合模块中第一个带注意力机制的残差结构的捷径层变为两层计算模式，第一层采用步长为1，尺寸为1×1的卷积核进行卷积计算，接着的第二层采用步长为2，尺寸为2×2的核进行平均池化计算，以解决原模型降采样时信息丢失造成分类准确度下降的问题，改进的结构如图1所示。其算法如下：
设输入为x，其数据经两路计算并提取特征，一路为残差块R(x)，输出y1，其中x，R(x)，y1之间的关系为：
R(x)＝y1-x，
Figure BDA0002680940370000061
其中上标w,h分别表示特征图的宽和高。该式表示网络结构要学习的残差R(x)是输出与输入之差，并且输出空间尺寸减半。另一路经过改进后的捷径层，先通过步长为1，尺寸为1×1的卷积层：
Figure BDA0002680940370000062
其中i,j和m,n表示特征图的长和宽的坐标，θ表示卷积核。
将卷积计算后的输出x1再通过步长为2，尺寸为2×2的平均池化层得到捷径层的输出y2：
Figure BDA0002680940370000063
其中p,q表示滤波器内邻域像素的索引。经过以上两步后有：
Figure BDA0002680940370000064
即输入经过捷径层计算后，空间尺寸也减小为原来的一半，进而可将y1和y2在通道维度相加，在相加前对y1进行注意力校准，其计算如下：
y＝w*y1+y2
其中w为注意力机制学习得到的通道权重，y即为结构的输出。
以上为本发明改进的SE-Resnet基本结构的计算流程。本发明在改进的基础上，采用101层的网络结构，并将其输出层改为6个神经元输出，对应分类的6种类别。模型各层参数见表1。
表1
Figure BDA0002680940370000071
采用深度学习工具库PyTorch搭建改进后的SE-ResNet网络结构。PyTorch是由Facebook公司开源的深度学习张量库，其采用GPU加速神经网络编程计算。利用PyTorch可以搭建出改进后的SE-ResNet网络结构，并且可以选择和设置训练需要的多种超参数组合即优化器类型。
步骤四：建立定位模型。定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能。本发明采用开源的卷积神经网络YOLO v3进行病灶定位。YOLO v3是开源的全卷积神经网络，该定位网络具有较高的定位准确度。
本发明所采用的YOLO v3模型，其主干网络由52层卷积层用于提取模型特征，并将提取到的特征信息进行三次目标定位，分别定位图像中的较小目标、中等大小目标以及较大目标，并输出定位信息。最后根据卷积神经网络输出的定位矩形框的坐标信息，在输入的有脑肿瘤的磁共振脑成像图像上画出相应的定位矩形框，并输出定位后的图像。此时脑肿瘤病灶部位已被系统用矩形框标记出来，供医生诊断参考。本发明采用的YOLO v3模型主干网络各层参数见表2，模型结构见图2。
表2
Figure BDA0002680940370000081
步骤五：模型训练与保存。
采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型。保存的两个模型将用于本发明设计的诊断系统中，对输入的磁共振脑成像进行分类，并将检测为含有脑肿瘤的图像进行脑肿瘤区域精准定位。
系统使用过程中将不再训练两个模型，直接使用已训练好并保存的模型进行脑肿瘤快速诊断。随着诊断病例数据的增加，为更好的应用历史病例数据，以从中进行数据分析和特征学习，进一步提高系统的诊断准确度和定位精度，可在病历数据增加至一定数量后，将其磁共振脑成像图像合并入训练数据集，在原有模型基础上继续执行训练步骤，并保存模型。
本申请虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本申请的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本申请技术方案的保护范围。

Claims (8)

1.一种重症肿瘤影像识别系统，其特征在于：包括大数据收集模块、数据分类模块、数据标注模块、图像预处理模块、分类模型模块、定位模型模块、模型训练与保存模块和系统测试模块，数据分类模块用于对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集；数据标注模块对有肿瘤的图像进行肿瘤区域标注。
2.根据权利要求1所述的一种重症肿瘤影像识别系统，其特征在于：数据标注模块采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息，按8:2的比例将标注后的图像划分为训练集和测试集，将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同，将其作为第二阶段使用的定位数据集。
3.根据权利要求1-2任一项所述的一种重症肿瘤影像识别系统，其特征在于：图像预处理模块将用于第一阶段的定位数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍，其次将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入，最后，按8:2的比例将数据集划分为训练集和测试集。
4.根据权利要求1-3任一项所述的一种重症肿瘤影像识别系统，其特征在于：分类模型模块负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型，对图像分类网络SE-ResNet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。
5.根据权利要求1-4任一项所述的一种重症肿瘤影像识别系统，其特征在于：定位模型模块将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能，采用开源的卷积神经网络YOLO v3进行病灶定位。
6.一种重症肿瘤影像识别方法，其特征在于：步骤一：数据集收集和标注，数据集包括：分类数据集和定位数据集，对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集；步骤二：图像预处理，针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍，其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应神经网络的输入，最后，按8:2的比例将数据集划分为训练集和测试集；步骤三：建立分类模型，分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型；步骤四：建立定位模型，定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来；步骤五：模型训练与保存，采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型；步骤六：系统测试，将患者的磁共振脑成像图像输入系统，首先进行图像预处理：将图像缩放为224×224×3像素。将预处理后的图像输入训练好并保存的分类模型进行分类，如果图像被分类为无脑肿瘤，则结束程序；若图像被分类为脑膜瘤或1-4级的脑胶质瘤，则输出脑肿瘤的分级(脑膜瘤标记为0级)，并将该图像输入训练好并保存的定位模型进行脑肿瘤区域定位。最终输出用矩形框标记脑肿瘤位置区域的磁共振脑成像图像，结束程序。
7.根据权利要求6所述的一种重症肿瘤影像识别方法，其特征在于：采用图像标注工具Labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个XML格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。
8.根据权利要求7所述的一种重症肿瘤影像识别方法，其特征在于：SE-ResNet由一个输入层、4个残差结构组合模块和一个输出层组成，每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构，每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。
CN202010962134.7A 2020-09-14 2020-09-14 一种重症肿瘤影像识别系统及方法 Active CN112085113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962134.7A CN112085113B (zh) 2020-09-14 2020-09-14 一种重症肿瘤影像识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962134.7A CN112085113B (zh) 2020-09-14 2020-09-14 一种重症肿瘤影像识别系统及方法

Publications (2)

Publication Number Publication Date
CN112085113A true CN112085113A (zh) 2020-12-15
CN112085113B CN112085113B (zh) 2021-05-04

Family

ID=73737757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962134.7A Active CN112085113B (zh) 2020-09-14 2020-09-14 一种重症肿瘤影像识别系统及方法

Country Status (1)

Country Link
CN (1) CN112085113B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908450A (zh) * 2021-02-03 2021-06-04 徐俊卿 一种影像科肿瘤复查自动阅片管理方法及系统
CN113517056A (zh) * 2021-06-18 2021-10-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN116072299A (zh) * 2022-12-08 2023-05-05 首都医科大学附属北京友谊医院 一种基于影像的脑膜癌模型建立装置及方法
CN117671284A (zh) * 2023-12-06 2024-03-08 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109140A (zh) * 2017-12-18 2018-06-01 复旦大学 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法
CN109801272A (zh) * 2019-01-07 2019-05-24 华南师范大学 肝脏肿瘤自动分割定位方法、系统及存储介质
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN109903280A (zh) * 2019-02-27 2019-06-18 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
CN109949288A (zh) * 2019-03-15 2019-06-28 上海联影智能医疗科技有限公司 肿瘤类型确定系统、方法及存储介质
CN110136133A (zh) * 2019-03-11 2019-08-16 嘉兴深拓科技有限公司 一种基于卷积神经网络的脑肿瘤分割方法
CN110473186A (zh) * 2019-02-14 2019-11-19 腾讯科技（深圳）有限公司 一种基于医学图像的检测方法、模型训练的方法及装置
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 影像报告生成方法、装置、终端及存储介质
CN110974306A (zh) * 2019-12-17 2020-04-10 山东大学齐鲁医院 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN111047589A (zh) * 2019-12-30 2020-04-21 北京航空航天大学 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN111340767A (zh) * 2020-02-21 2020-06-26 四川大学华西医院 一种脑部肿瘤头皮定位图像处理方法及系统
CN111382677A (zh) * 2020-02-25 2020-07-07 华南理工大学 基于3d注意力残差模型的人体行为识别方法及系统
CN111640121A (zh) * 2020-04-28 2020-09-08 南京理工大学 基于改进U-net的直肠CT图像肿瘤分割方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109140A (zh) * 2017-12-18 2018-06-01 复旦大学 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN109801272A (zh) * 2019-01-07 2019-05-24 华南师范大学 肝脏肿瘤自动分割定位方法、系统及存储介质
CN109767440A (zh) * 2019-01-11 2019-05-17 南京信息工程大学 一种面向深度学习模型训练和学习的影像图像数据扩充方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110473186A (zh) * 2019-02-14 2019-11-19 腾讯科技（深圳）有限公司 一种基于医学图像的检测方法、模型训练的方法及装置
CN109903280A (zh) * 2019-02-27 2019-06-18 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
CN110136133A (zh) * 2019-03-11 2019-08-16 嘉兴深拓科技有限公司 一种基于卷积神经网络的脑肿瘤分割方法
CN109949288A (zh) * 2019-03-15 2019-06-28 上海联影智能医疗科技有限公司 肿瘤类型确定系统、方法及存储介质
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 影像报告生成方法、装置、终端及存储介质
CN110974306A (zh) * 2019-12-17 2020-04-10 山东大学齐鲁医院 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN111047589A (zh) * 2019-12-30 2020-04-21 北京航空航天大学 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN111340767A (zh) * 2020-02-21 2020-06-26 四川大学华西医院 一种脑部肿瘤头皮定位图像处理方法及系统
CN111382677A (zh) * 2020-02-25 2020-07-07 华南理工大学 基于3d注意力残差模型的人体行为识别方法及系统
CN111640121A (zh) * 2020-04-28 2020-09-08 南京理工大学 基于改进U-net的直肠CT图像肿瘤分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HANG ZHANG等: "《ResNeSt Split-Attention Networks》", 《ARXIV:SUBMIT/3129194》 *
JIE HU等: "《Squeeze-and-Excitation Networks》", 《ARXIV:1709.01507V4》 *
JUNGKYU LEE第: "《Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network》", 《ARXIV:2001.06268V2》 *
陈远琴: "《基于卷积神经网络的乳腺肿瘤良恶性分类方法研究》", 《万方数据知识服务平台》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908450A (zh) * 2021-02-03 2021-06-04 徐俊卿 一种影像科肿瘤复查自动阅片管理方法及系统
CN113517056A (zh) * 2021-06-18 2021-10-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN113517056B (zh) * 2021-06-18 2023-09-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN116072299A (zh) * 2022-12-08 2023-05-05 首都医科大学附属北京友谊医院 一种基于影像的脑膜癌模型建立装置及方法
CN116072299B (zh) * 2022-12-08 2023-09-05 首都医科大学附属北京友谊医院 一种基于影像的脑膜癌模型建立装置及方法
CN117671284A (zh) * 2023-12-06 2024-03-08 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统
CN117671284B (zh) * 2023-12-06 2024-04-30 广州科松医疗智能科技有限公司 侵入性胎盘植入影像特征ai智能提取系统

Also Published As

Publication number Publication date
CN112085113B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN112085113B (zh) 一种重症肿瘤影像识别系统及方法
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
JP2023544466A (ja) Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
CN101551854A (zh) 不平衡医学影像处理系统及其处理方法
CN109886346A (zh) 一种心肌mri图像分类系统
JP2022547722A (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
EP4118617A1 (en) Automated detection of tumors based on image processing
CN117094980A (zh) 基于深度学习的超声乳腺结节图像可解释性方法
CN116740426A (zh) 一种功能磁共振影像的分类预测系统
Nayan et al. A deep learning approach for brain tumor detection using magnetic resonance imaging
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
CN114612381A (zh) 一种带有尺度增强和注意力融合的医疗图像病灶检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant