CN109242844A - 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 - Google Patents

基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN109242844A
CN109242844A CN201811026043.1A CN201811026043A CN109242844A CN 109242844 A CN109242844 A CN 109242844A CN 201811026043 A CN201811026043 A CN 201811026043A CN 109242844 A CN109242844 A CN 109242844A
Authority
CN
China
Prior art keywords
network
characteristic pattern
region
fast
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811026043.1A
Other languages
English (en)
Other versions
CN109242844B (zh
Inventor
刘尚龙
卢云
李帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of University of Qingdao
Original Assignee
Affiliated Hospital of University of Qingdao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of University of Qingdao filed Critical Affiliated Hospital of University of Qingdao
Priority to CN201811026043.1A priority Critical patent/CN109242844B/zh
Publication of CN109242844A publication Critical patent/CN109242844A/zh
Application granted granted Critical
Publication of CN109242844B publication Critical patent/CN109242844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的胰腺癌肿瘤自动识别系统,属于图像识别技术领域。该系统包括深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R‑CNN目标检测网络;所述特征提取网络用于对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;所述区域生成网络用于对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;所述Fast R‑CNN目标检测网络用于对卷积特征图以及生成的候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。本发明的系统可以完成病变组织的跟踪识别,减少人工操作,处理速度快,准确度高。

Description

基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储 介质
技术领域
本发明涉及图像识别技术领域,特别涉及基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质。
背景技术
胰腺属于腹膜后器官,解剖位置深,周围结构复杂,诊断难度大。随着近年来影像学技术的不断发展和完善,其在胰腺癌的诊断、分期及预后中起着重要作用,特别是CT具有较高的空间分辨率和密度分辨率,无解剖结构重叠,是胰腺癌最重要的影像学检查手段。
在传统的诊断中,专业医师通过观察影像图像,对比分析病例的一系列图像,依靠经验对胰腺肿物进行提取、标记。这种方法需要专业医生对大量的数据进行繁琐的人工操作,同时这种方法诊断结果的准确性及可靠性严重依赖于医生的经验知识和专业素质,诊断结果的准确性受到限制。
近年来,由于计算机技术的迅速发展及图形图像处理技术的日渐成熟,使得计算机技术逐步渗入到医学领域,开创了数字医疗的新时代。如何通过计算机技术来进行处理CT序列影像,代替医生来完成病变组织的跟踪识别,是目前亟待解决的问题。
发明内容
本发明实施例提供了一种基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
根据本发明实施例的第一方面,提供了一种基于深度学习的胰腺癌肿瘤自动识别系统。
在一些可选实施例中,所述系统包括:深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;所述特征提取网络用于对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;所述区域生成网络用于对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;所述Fast R-CNN目标检测网络用于对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
可选地,所述特征提取网络使用VGG16网络模型对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图。
可选地,所述区域生成网络对卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域。
可选地,所述在每个滑动窗口位置选出多个候选区域的过程具体为:所述滑动窗口的中心为锚点,为了得到所述候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于具有与实际边界框的重叠最高交并比IoU的锚点,或者具有与实际边界框的重叠超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点的IoU比率低于0.3,给该锚点分配一个负标签。
可选地,对于可能为胰腺癌肿瘤的区域,所述区域生成网络利用非极大值抑制方法合并邻近区域。
可选地,所述Fast R-CNN目标检测网络和区域生成网络共享所述卷积特征图,所述Fast R-CNN目标检测网络包括感兴趣区域池化层以及后面的两个子全连接层,由感兴趣区域特征向量对所述卷积特征图以及所述候选区域进行进一步回归与分类,得到预测边界框的坐标与类别的概率分数,最终输出胰腺癌肿瘤区域的位置以及概率。
可选地,所述系统包括:训练与识别两个过程;
所述训练过程包括以下步骤:
步骤1,将一例已标识完成的胰腺癌增强CT序列图像输入所述深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,利用该卷积特征图与转移淋巴结标记信息对区域生成网络进行参数调整,完成一次区域生成网络以及感兴趣区域特征向量的训练;
步骤2,将相同的图像输入深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,卷积特征图输入完成第一次训练的区域生成网络生成特征区域,与卷积特征图一同输入感兴趣区域特征向量获得输出,并通过反向传播对Fast R-CNN目标检测网络进行一次训练;
步骤3,设置Fast R-CNN目标检测网络及其与区域生成网络共享的所有卷积层的学习率为0,对完成第一次训练的Fast R-CNN目标检测网络输入相同的图像,对区域生成网络特有的卷积层进行重新训练;
步骤4,设置区域生成网络及其与Fast R-CNN目标检测网络共享的所有卷积层的学习率为0,输入相同的图像,对Fast R-CNN目标检测网络特有的卷积层进行重新训练。
可选地,将区域生成网络与Fast R-CNN目标检测网络进行两阶段交替训练,在迭代中不断微调参数,再通过bounding box回归校准候选框位置。
根据本发明实施例的第二方面,提供了一种计算机设备。
在一些可选实施例中,所述计算机设备,包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,其特征在于,所述处理器执行所述程序时实现以下步骤:构建深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;
通过所述特征提取网络对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;
通过所述区域生成网络对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;
通过所述Fast R-CNN目标检测网络对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
根据本发明实施例的第三方面,提供了一种存储介质。
在一些可选实施例中,所述存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时实现如下步骤:构建深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;
通过所述特征提取网络对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;
通过所述区域生成网络对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;
通过所述Fast R-CNN目标检测网络对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
本发明实施例提供的技术方案可以包括以下有益效果:
计算机技术来进行处理CT序列影像,代替医生来完成病变组织的跟踪识别,可减少人工操作,处理速度快,有一致的处理结果以及相当的准确度,便于集成和大规模的应用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的基于深度学习的胰腺癌肿瘤自动识别系统的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言,由于其与实施例公开的方法部分相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
图1示出了基于深度学习的胰腺癌肿瘤自动识别系统的一个可选实施结构。
该实施例中,所述系统包括深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络(RPN)和Fast R-CNN目标检测网络。所述特征提取网络用于对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图(Convolutional Feature Map);所述区域生成网络(RPN)用于对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;所述Fast R-CNN目标检测网络用于对卷积特征图以及生成的候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
可选地,所述特征提取网络使用VGG16网络模型,VGG16网络模型是基于ImageNet的图像特征提取及分类深度神经网络模型。
可选地,所述区域生成网络对卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,锚点位于所述滑动窗口的中心,并与一个尺度和长宽比相关,例如,默认情况下,使用3个尺度和3个长宽比,则在每个滑动窗口位置产生9个锚点。为了得到候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标。然后,对于具有与实际边界框的重叠最高交并比(IoU)的锚点,或者具有与实际边界框的重叠超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点的IoU比率低于0.3,给该锚点分配一个负标签。通过上述标记方式,所述区域生成网络(RPN)在卷积特征图上生成可能为胰腺癌肿瘤的区域。可选地,对于可能为胰腺癌肿瘤的区域,所述区域生成网络利用非极大值抑制方法合并邻近区域减少用于训练的候选区域,为之后的目标检测与分类减少大量不必要的重复计算。
所述Fast R-CNN目标检测网络和区域生成网络共享所述卷积特征图,所述FastR-CNN目标检测网络包括感兴趣区域池化层以及后面的两个子全连接层,由感兴趣区域特征向量对所述卷积特征图以及所述候选区域进行进一步回归与分类,即可得到预测边界框的坐标与类别的概率分数,最终输出胰腺癌肿瘤区域的位置以及概率。
假设每个滑动窗口位置可能提议的最大数目表示为k,因此,所述FastR-CNN目标检测网络的回归层具有4k个输出,编码k个边界框的坐标,分类层输出2k个分数,估计每个提议是目标或不是目标的概率。
所述系统包括:训练与识别两个过程。
所述训练过程包括以下步骤:S1,将一例已标识完成的胰腺癌增强CT序列图像(包括动脉期、静脉期、平衡期)输入所述深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,利用该特征图与转移淋巴结标记信息对区域生成网络进行参数调整,完成一次区域生成网络以及感兴趣区域特征向量的训练;S2,将相同的图像输入深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,卷积特征图输入完成第一次训练的区域生成网络生成特征区域,与卷积特征图一同输入感兴趣区域特征向量获得输出,并通过反向传播对Fast R-CNN目标检测网络进行一次训练;S 3,设置Fast R-CNN目标检测网络及其与区域生成网络共享的所有卷积层的学习率为0,对完成第一次训练的Fast R-CNN目标检测网络输入相同的图像,对区域生成网络特有的卷积层进行重新训练;S 4,设置区域生成网络及其与Fast R-CNN目标检测网络共享的所有卷积层的学习率为0,输入相同的图像,对Fast R-CNN目标检测网络特有的卷积层进行重新训练。
下面给出所述系统训练过程的一个具体实施例。
在训练过程中,使用数据库中2649张CT图像作为训练集数据,使用在ImageNet中预训练好的具有13个卷积层和3个全连接层的VGG16用于进行特征提取网络的初始化,区域生成网络以及Fast R-CNN目标检测网络感兴趣区域特征向量中所有权值(weights)被赋予符合偏差值为100的零平均高斯分布(zero-mean Gaussian distribution)的随机数值;训练过程采用两阶段训练,两个阶段分别包括80000次区域生成网络RPN候选区域的训练(前60000次的学习率为0.0001,后20000次的学习率为0.00001)和40000次的基于候选区域的Fast R-CNN目标检测网络特征向量的分类与回归训练(前30000次的学习率为0.0001,后10000次的学习率为0.00001);运动量(momentum)为0.9,加权延迟(weight decay)为0.0005;区域生成网络的锚尺度(scale of anchor)设定为1282,2562,5122,锚比例(aspectratio of anchor)设定为0.5,1,2;在训练过程中利用SGD(Stochastic GradientDescent)法给出端对端反向传播(end to end back-propagation)的数据,调整加权(weight)等深度学习网络参数,降低损失函数值,使网络收敛。
可选地,将区域生成网络与Fast R-CNN目标检测网络进行两阶段交替训练,在迭代中不断微调参数,再通过bounding box回归校准候选框位置,最终得到最优化的结果。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成以下步骤:构建深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络(RPN)和Fast R-CNN目标检测网络;所述特征提取网络用于对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图(ConvolutionalFeature Map);所述区域生成网络(RPN)用于对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;所述Fast R-CNN目标检测网络用于对卷积特征图以及生成的候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
可选地,所述特征提取网络使用VGG16网络模型,VGG16网络模型是基于ImageNet的图像特征提取及分类深度神经网络模型。
可选地,所述区域生成网络对卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,锚点位于所述滑动窗口的中心,并与一个尺度和长宽比相关,例如,默认情况下,使用3个尺度和3个长宽比,则在每个滑动窗口位置产生9个锚点。为了得到候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标。然后,对于具有与实际边界框的重叠最高交并比(IoU)的锚点,或者具有与实际边界框的重叠超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点的IoU比率低于0.3,给该锚点分配一个负标签。通过上述标记方式,所述区域生成网络(RPN)在卷积特征图上生成可能为胰腺癌肿瘤的区域。可选地,对于可能为胰腺癌肿瘤的区域,所述区域生成网络利用非极大值抑制方法合并邻近区域减少用于训练的候选区域,为之后的目标检测与分类减少大量不必要的重复计算。
所述Fast R-CNN目标检测网络和区域生成网络共享所述卷积特征图,所述FastR-CNN目标检测网络包括感兴趣区域池化层以及后面的两个子全连接层,由感兴趣区域特征向量对所述卷积特征图以及所述候选区域进行进一步回归与分类,即可得到预测边界框的坐标与类别的概率分数,最终输出胰腺癌肿瘤区域的位置以及概率。
假设每个滑动窗口位置可能提议的最大数目表示为k,因此,所述FastR-CNN目标检测网络的回归层具有4k个输出,编码k个边界框的坐标,分类层输出2k个分数,估计每个提议是目标或不是目标的概率。
所述深度学习模型包括:训练与识别两个过程。
所述训练过程包括以下步骤:S1,将一例已标识完成的胰腺癌增强CT序列图像(包括动脉期、静脉期、平衡期)输入所述深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,利用该特征图与转移淋巴结标记信息对区域生成网络进行参数调整,完成一次区域生成网络以及感兴趣区域特征向量的训练;S2,将相同的图像输入深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,卷积特征图输入完成第一次训练的区域生成网络生成特征区域,与卷积特征图一同输入感兴趣区域特征向量获得输出,并通过反向传播对Fast R-CNN目标检测网络进行一次训练;S 3,设置Fast R-CNN目标检测网络及其与区域生成网络共享的所有卷积层的学习率为0,对完成第一次训练的Fast R-CNN目标检测网络输入相同的图像,对区域生成网络特有的卷积层进行重新训练;S 4,设置区域生成网络及其与Fast R-CNN目标检测网络共享的所有卷积层的学习率为0,输入相同的图像,对Fast R-CNN目标检测网络特有的卷积层进行重新训练。
上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁带和光存储设备等。
本发明通过计算机技术来进行处理CT序列影像,代替医生来完成病变组织的跟踪识别,可减少人工操作,处理速度快,有一致的处理结果以及相当的准确度,便于集成和大规模的应用。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,应该理解到,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应当理解的是,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于深度学习的胰腺癌肿瘤自动识别系统,其特征在于,包括深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;
所述特征提取网络用于对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;
所述区域生成网络用于对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;
所述Fast R-CNN目标检测网络用于对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
2.如权利要求1所述的系统,其特征在于,所述特征提取网络使用VGG16网络模型对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图。
3.如权利要求1所述的系统,其特征在于,所述区域生成网络对卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域。
4.如权利要求3所述的系统,其特征在于,所述在每个滑动窗口位置选出多个候选区域的过程具体为:所述滑动窗口的中心为锚点,为了得到所述候选区域,为每个锚点分配一个二值类别标签,是目标或不是目标;然后,对于具有与实际边界框的重叠最高交并比IoU的锚点,或者具有与实际边界框的重叠超过0.7IoU的锚点,分配一个正标签;对于所有的真实边界框,如果一个锚点的IoU比率低于0.3,给该锚点分配一个负标签。
5.如权利要求1所述的系统,其特征在于,对于可能为胰腺癌肿瘤的区域,所述区域生成网络利用非极大值抑制方法合并邻近区域。
6.如权利要求1所述的系统,其特征在于,所述Fast R-CNN目标检测网络和区域生成网络共享所述卷积特征图,所述Fast R-CNN目标检测网络包括感兴趣区域池化层以及后面的两个子全连接层,由感兴趣区域特征向量对所述卷积特征图以及所述候选区域进行进一步回归与分类,得到预测边界框的坐标与类别的概率分数,最终输出胰腺癌肿瘤区域的位置以及概率。
7.如权利要求1所述的系统,其特征在于,所述系统包括:训练与识别两个过程;
所述训练过程包括以下步骤:
步骤1,将一例已标识完成的胰腺癌增强CT序列图像输入所述深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,利用该卷积特征图与转移淋巴结标记信息对区域生成网络进行参数调整,完成一次区域生成网络以及感兴趣区域特征向量的训练;
步骤2,将相同的图像输入深度学习模型,图像通过初始的卷积特征提取层输出卷积特征图,卷积特征图输入完成第一次训练的区域生成网络生成特征区域,与卷积特征图一同输入感兴趣区域特征向量获得输出,并通过反向传播对Fast R-CNN目标检测网络进行一次训练;
步骤3,设置Fast R-CNN目标检测网络及其与区域生成网络共享的所有卷积层的学习率为0,对完成第一次训练的Fast R-CNN目标检测网络输入相同的图像,对区域生成网络特有的卷积层进行重新训练;
步骤4,设置区域生成网络及其与Fast R-CNN目标检测网络共享的所有卷积层的学习率为0,输入相同的图像,对Fast R-CNN目标检测网络特有的卷积层进行重新训练。
8.如权利要求7所述的系统,其特征在于,将区域生成网络与FastR-CNN目标检测网络进行两阶段交替训练,在迭代中不断微调参数,再通过bounding box回归校准候选框位置。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序,其特征在于,所述处理器执行所述程序时实现以下步骤:构建深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;
通过所述特征提取网络对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;
通过所述区域生成网络对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;
通过所述Fast R-CNN目标检测网络对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
10.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时实现如下步骤:构建深度学习模型,所述深度学习模型包括:特征提取网络、区域生成网络和Fast R-CNN目标检测网络;
通过所述特征提取网络对胰腺癌肿瘤的图像特征进行抽象,并生成卷积特征图;
通过所述区域生成网络对所述卷积特征图中存在的所有特征进行滑动扫描,在每个滑动窗口位置选出多个候选区域,所述候选区域为可能的胰腺癌肿瘤区域;
通过所述Fast R-CNN目标检测网络对卷积特征图以及所述候选区域进行进一步回归与分类,最终输出胰腺癌肿瘤区域的位置以及概率。
CN201811026043.1A 2018-09-04 2018-09-04 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 Active CN109242844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811026043.1A CN109242844B (zh) 2018-09-04 2018-09-04 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811026043.1A CN109242844B (zh) 2018-09-04 2018-09-04 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN109242844A true CN109242844A (zh) 2019-01-18
CN109242844B CN109242844B (zh) 2021-08-06

Family

ID=65060513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026043.1A Active CN109242844B (zh) 2018-09-04 2018-09-04 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN109242844B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886155A (zh) * 2019-01-30 2019-06-14 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN110009656A (zh) * 2019-03-05 2019-07-12 腾讯科技(深圳)有限公司 目标对象的确定方法、装置、存储介质及电子装置
CN110033042A (zh) * 2019-04-15 2019-07-19 青岛大学 一种基于深度神经网络的直肠癌环周切缘mri图像自动识别方法及系统
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110074804A (zh) * 2019-04-12 2019-08-02 浙江工业大学 基于新型Faster R-CNN的胰腺CT图像中的囊性肿瘤检测方法
US20190252073A1 (en) * 2018-02-12 2019-08-15 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
CN110188788A (zh) * 2019-04-15 2019-08-30 浙江工业大学 基于放射组学特征的胰腺囊性肿瘤ct图像的分类方法
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110728239A (zh) * 2019-10-14 2020-01-24 青岛大学 一种利用深度学习的胃癌增强ct图像自动识别系统
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111292304A (zh) * 2020-01-22 2020-06-16 青岛大学附属医院 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统
CN111462094A (zh) * 2020-04-03 2020-07-28 联觉(深圳)科技有限公司 Pcba元器件检测方法、装置及计算机可读存储介质
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111914831A (zh) * 2019-05-10 2020-11-10 杭州海康威视数字技术股份有限公司 目标检测方法、装置及存储介质
CN112365507A (zh) * 2020-10-30 2021-02-12 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
CN112614108A (zh) * 2020-12-24 2021-04-06 中国人民解放军总医院第一医学中心 基于深度学习检测甲状腺超声图像中结节的方法和装置
CN113240659A (zh) * 2021-05-26 2021-08-10 广州天鹏计算机科技有限公司 基于深度学习的影像特征提取方法
CN113962992A (zh) * 2021-12-21 2022-01-21 青岛大学附属医院 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
WO2022110525A1 (zh) * 2020-11-24 2022-06-02 江苏大学 一种癌变区域综合检测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274451A (zh) * 2017-05-17 2017-10-20 北京工业大学 基于共享卷积神经网络的绝缘子检测方法及装置
US20180158189A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. System and method for a deep learning machine for object detection
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US20180218495A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
CN108460758A (zh) * 2018-02-09 2018-08-28 河南工业大学 肺结节检测模型的构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180158189A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. System and method for a deep learning machine for object detection
US20180218495A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
CN107274451A (zh) * 2017-05-17 2017-10-20 北京工业大学 基于共享卷积神经网络的绝缘子检测方法及装置
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108460758A (zh) * 2018-02-09 2018-08-28 河南工业大学 肺结节检测模型的构建方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
STEVEN WALCZAK等: "An Evaluation of Artificial Neural Networks in Predicting Pancreatic Cancer Survival", 《JOURNAL OF GASTROINTESTINAL SURGERY》 *
塔上的樹: "py-faster-rcnn end2end训练时 batch size只能为1?", 《HTTPS://WWW.CNBLOGS.COM/JZ-SER/ARTICLES/7875007.HTML》 *
曾向阳: "《智能水中目标识别》", 31 March 2016, 国防工业出版社 *
王旭阳: "基于深度学习的食道癌图像检测技术的研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
许恕: "Object Detection(2)Faster RCNN详解", 《HTTPS://BLOG.CSDN.NET/XVSHU/ARTICLE/DETAILS/81301342》 *
陈云: "从编程实现角度学习Faster R-CNN(附极简实现)", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/32404424》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190252073A1 (en) * 2018-02-12 2019-08-15 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
US11011275B2 (en) * 2018-02-12 2021-05-18 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
CN109886155B (zh) * 2019-01-30 2021-08-10 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109886155A (zh) * 2019-01-30 2019-06-14 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN110009656A (zh) * 2019-03-05 2019-07-12 腾讯科技(深圳)有限公司 目标对象的确定方法、装置、存储介质及电子装置
CN110074804A (zh) * 2019-04-12 2019-08-02 浙江工业大学 基于新型Faster R-CNN的胰腺CT图像中的囊性肿瘤检测方法
CN110033042A (zh) * 2019-04-15 2019-07-19 青岛大学 一种基于深度神经网络的直肠癌环周切缘mri图像自动识别方法及系统
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110188788A (zh) * 2019-04-15 2019-08-30 浙江工业大学 基于放射组学特征的胰腺囊性肿瘤ct图像的分类方法
CN111914831A (zh) * 2019-05-10 2020-11-10 杭州海康威视数字技术股份有限公司 目标检测方法、装置及存储介质
CN111914831B (zh) * 2019-05-10 2023-06-02 杭州海康威视数字技术股份有限公司 目标检测方法、装置及存储介质
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110728239A (zh) * 2019-10-14 2020-01-24 青岛大学 一种利用深度学习的胃癌增强ct图像自动识别系统
CN110728239B (zh) * 2019-10-14 2023-10-13 青岛大学 一种利用深度学习的胃癌增强ct图像自动识别系统
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111292304A (zh) * 2020-01-22 2020-06-16 青岛大学附属医院 一种基于深度神经网络的胰腺肿瘤病理自动诊断系统
CN111462094A (zh) * 2020-04-03 2020-07-28 联觉(深圳)科技有限公司 Pcba元器件检测方法、装置及计算机可读存储介质
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN112365507A (zh) * 2020-10-30 2021-02-12 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
CN112365507B (zh) * 2020-10-30 2024-02-02 沈阳东软智能医疗科技研究院有限公司 Ct图像处理方法、装置、存储介质及电子设备
WO2022110525A1 (zh) * 2020-11-24 2022-06-02 江苏大学 一种癌变区域综合检测装置及方法
US11587231B2 (en) 2020-11-24 2023-02-21 Jiangsu University Comprehensive detection device and method for cancerous region
CN112614108A (zh) * 2020-12-24 2021-04-06 中国人民解放军总医院第一医学中心 基于深度学习检测甲状腺超声图像中结节的方法和装置
CN112614108B (zh) * 2020-12-24 2024-04-19 中国人民解放军总医院第一医学中心 基于深度学习检测甲状腺超声图像中结节的方法和装置
CN113240659B (zh) * 2021-05-26 2022-02-25 广州天鹏计算机科技有限公司 一种基于深度学习的心脏核磁共振影像病变结构提取方法
CN113240659A (zh) * 2021-05-26 2021-08-10 广州天鹏计算机科技有限公司 基于深度学习的影像特征提取方法
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN113962992A (zh) * 2021-12-21 2022-01-21 青岛大学附属医院 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法

Also Published As

Publication number Publication date
CN109242844B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN109242844A (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
US10600185B2 (en) Automatic liver segmentation using adversarial image-to-image network
Dewi et al. Yolo V4 for advanced traffic sign recognition with synthetic training data generated by various GAN
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
CN109376756A (zh) 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质
Torbati et al. An efficient neural network based method for medical image segmentation
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
Wang et al. Quantification and segmentation of brain tissues from MR images: A probabilistic neural network approach
EP4345746A2 (en) Method and system for image segmentation and identification
CN102099829B (zh) 测地图像和视频处理
Yu et al. Context-based hierarchical unequal merging for SAR image segmentation
Carmi et al. The Gaussian mixture MCMC particle algorithm for dynamic cluster tracking
CN109241967A (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
US9367924B2 (en) Method and system for segmentation of the liver in magnetic resonance images using multi-channel features
CN112070781B (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
McGuinness et al. Toward automated evaluation of interactive segmentation
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
Rodriguez et al. Optical fish trajectory measurement in fishways through computer vision and artificial neural networks
CN109508787A (zh) 用于超声位移估计的神经网络模型训练方法及系统
CN110197713A (zh) 一种医疗影像的处理方法、装置、设备和介质
CN102737250A (zh) 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统
CN109559295A (zh) 图像分析系统、方法、计算机可读存储介质、及电子终端
CN102958425A (zh) 类似病例检索装置以及类似病例检索方法
US7680335B2 (en) Prior-constrained mean shift analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Sun Pin

Inventor after: Liu Shanglong

Inventor after: Lu Yun

Inventor after: Li Shuai

Inventor before: Liu Shanglong

Inventor before: Lu Yun

Inventor before: Li Shuai

GR01 Patent grant
GR01 Patent grant