CN112233777A - 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 - Google Patents

基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN112233777A
CN112233777A CN202011302775.6A CN202011302775A CN112233777A CN 112233777 A CN112233777 A CN 112233777A CN 202011302775 A CN202011302775 A CN 202011302775A CN 112233777 A CN112233777 A CN 112233777A
Authority
CN
China
Prior art keywords
network
feature
image
target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011302775.6A
Other languages
English (en)
Inventor
宋弢
孟凡
王珣
谢鹏飞
李颖
庞皓月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202011302775.6A priority Critical patent/CN112233777A/zh
Publication of CN112233777A publication Critical patent/CN112233777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的胆结石自动识别及图像自动分割系统，属于图像识别及图像分割技术领域。该系统包括基于目标检测及目标分割模型，所述的目标检测和目标分割模型包括：特征提取网络、以及两个分支网络包括目标检测网络和目标分割网络；首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取，将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。

Description

基于深度学习的胆结石自动识别及分割系统、计算机设备、存 储介质
技术领域
本发明涉及图像识别技术与图像分割技术领域，特别涉及基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质。
背景技术
胆结石是世界范围内的常见病，在传统诊断方法中，医师通过采集的医学图像，按照以往的经验对胆结石进行提取和标记，这种依靠经验的诊断方法带来极大的主观性，同时胆结石的CT影像特征与急性胆囊炎等疾病的特征及其相似，极易造成漏诊和误诊，对于医生的经验及专业素养有极大的依赖，诊断的准确性受到限制。
医疗领域逐步开始借助人工智能技术与计算机视觉的相关技术进行辅助诊断，而且有很多成功的案例，在肺结节人工智能识别以及皮肤病的人工智能识别方面，人工智能技术已经超过人类医师的诊断效果，胆结石作为一种常见且漏诊和误诊率高的疾病，亟需一种人工智能识别手段对医生进行辅助，胆结石的大小和形状对后续的治疗也具有重要影响，现阶段也是通过医师对轮廓进行手动勾画，存在极大的主观性，因此对胆结石的形态进行自动提取也是及其必要的。
发明内容
本发明实施例提供了一种基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面，提供了一种基于深度学习的胆结石自动识别及自动分割系统。
在一些可选实施例中，所述系统包括目标检测与目标分割模型，目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。
可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。
可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图进行筛选，生成胆结石的候选区域的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。
可选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。
可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查 CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。
根据本发明的实施的第二方面，提供一种计算机设备。
在一些可选实施例中，所述计算机设备，包括存储器，显卡，中央处理器，以及存储在所述存储器上的可被所述中央处理器以及显卡并行处理的可执行程序，器特征在于，所述中央处理器所执行所述程序时实现一下步骤：构建目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。
可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。
所选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。
可选的，所述视觉注意力机制，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。
本发明实施例提供的技术方案可以包括以下有益效果：
利用计算机视觉技术及人工智能技术对CT序列进行智能处理，能够避免医生诊断带来的主观影响，自动对胆结石的识别与分割，能够协助医生完成对胆结石更加精确地诊断，并标定胆结石的形态与位置，减少人工操作，处理速度快，有利于集成和大规模的应用。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性示出的一种深度学习的胆结石自动识别及分割系统的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
图1出示了深度学习的胆结石自动识别及分割系统的一个可选实施架构。
该可选实例中，所述系统包括目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。
可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。
可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图(featuremap)进行筛选，生成胆结石的候选区的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。
可选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数(Softmax)后获得最终的输出特征图，即每个像素的分类结果。
可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查 CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。
可选的，所述标检测与目标分割模型还包括训练过程，下边给出标检测与目标分割模型的训练过程的一个具体实施例。
该实施例中,在目标检测与目标分割模型的训练过程中,首先,人工标记出胆结石上腹部增强CT图像数据作为训练数据,训练过程中使用在ImageNet中预训练好的Resnet模型用于对特征提取网络进行初始化:使用批处理归一化(Batch normalization)对输入层重新定心和重新缩放进行归一化，从而使人工神经网络更快、更稳定，然后,对两个网络同时进行训练，初始学习率为1e-3，对两个分支网络分别设置损失函数(loss fuction)，在训练过程中通过计算预测值与真实值之间的误差，利用Adam优化器调节网络参数,然后通过不断迭代，不断降低两个并行的损失函数值，我们使用验证集尽早停止训练，监测平均IoU并使用20的忍耐度(patience)，使两个分支网络最终都能够收敛。
可选地，所述人工标记出胆结石CT图像数据作为训练数据的步骤，具体为:使用由3名专业的影像科医师通过连续回放腹部增强CT全序列图像，交叉进行标注，观察图像的胆囊及胆管，以及重要血管周围等位置，同时加上规范化调窗技术并辅以局部缩放和测量功能，按照最新胆结石腹部增强CT的诊断标准，结合相应的影像学报告，标记出淋胆结石上腹部增强CT图像数据以及标记胆结石的轮廓作为训练数据。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成以下步骤:构建目标检测与目标分割模型，目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。
可选的，所述特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。
可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图(featuremap)进行筛选，生成胆结石的候选区的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。
可选的，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数(Softmax)后获得最终的输出特征图，即每个像素的分类结果。
可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查 CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
可选的，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。
上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAMD、磁带和光存储设备等。
本发明利用计算机视觉技术及人工智能技术对CT序列进行智能处理，能够避免医生诊断带来的主观影响，自动对胆结石的识别与分割，能够协助医生完成对胆结石更加精确地诊断，并标定胆结石的形态与位置，减少人工操作，处理速度快，有利于集成和大规模的应用。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解的是,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于深度学习的胆结石自动识别与分割系统，其特征在于，包括目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。
2.如权利要求1所述的系统，其特征在于，所述的目标检测网络中候选区生成器的对特征提取后的特征图进行筛选，生成胆结石的候选区域的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类(即前景和后景)和限定框回归(BB回归)，过滤掉一部分候选区域，对剩下的候选区域进行ROIAlign操作，即把原图的特征图与像素对应起来。
3.如权利要求1所述的系统，其特征在于，所述的目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。
4.如权利要求3所述的系统，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
5.如权利1所述的系统，其特征在于，对所述的特征提取网络使用ImageNet的预训练模型进行初始化，对所述的目标检测网络使用ImageNet的预训练模型进行初始化。
6.一种计算机设备，包括存储器，显卡，中央处理器，以及存储在所述存储器上的可被所述中央处理器以及显卡并行处理的可执行程序，器特征在于，所述中央处理器所执行所述程序时实现一下步骤：构建目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。
7.如权利要求7所述的计算机设备，其特征在于，特征提取网络使用跳跃金字塔模块对胆结石CT图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。
8.如权利要求7所述的计算机设备，其特征在于，目标分割网络即对腹部CT图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个U形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。
9.如权利要求7所述的计算机设备，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查CT图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。
10.一种存储介质，其存储有计算机程序，其特征在于，所述计算机程序被中央处理器执行时实现一下步骤：构建目标检测与目标分割模型：所述目标检测与目标分割网络包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部CT图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。
CN202011302775.6A 2020-11-19 2020-11-19 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质 Pending CN112233777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011302775.6A CN112233777A (zh) 2020-11-19 2020-11-19 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011302775.6A CN112233777A (zh) 2020-11-19 2020-11-19 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN112233777A true CN112233777A (zh) 2021-01-15

Family

ID=74123888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011302775.6A Pending CN112233777A (zh) 2020-11-19 2020-11-19 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN112233777A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置
CN113706695A (zh) * 2021-09-01 2021-11-26 杭州柳叶刀机器人有限公司 深度学习进行3d股骨头建模的系统及方法、存储介质
CN113962992A (zh) * 2021-12-21 2022-01-21 青岛大学附属医院 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法
KR20220169134A (ko) * 2021-06-18 2022-12-27 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
CN116188786A (zh) * 2023-05-04 2023-05-30 潍坊医学院附属医院 一种肝胆管及胆道结石的图像分割系统
CN116385436A (zh) * 2023-06-02 2023-07-04 胜利油田中心医院 一种基于ct图像的胆结石辅助检测系统
CN117764994A (zh) * 2024-02-22 2024-03-26 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法
CN117764995A (zh) * 2024-02-22 2024-03-26 浙江首鼎视介科技有限公司 基于深度神经网络算法的胆胰成像系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376756A (zh) * 2018-09-04 2019-02-22 青岛大学附属医院 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质
CN109614935A (zh) * 2018-12-12 2019-04-12 泰康保险集团股份有限公司 车辆定损方法及装置、存储介质及电子设备
CN111738174A (zh) * 2020-06-25 2020-10-02 中国科学院自动化研究所 基于深度解耦的人体实例解析方法、系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376756A (zh) * 2018-09-04 2019-02-22 青岛大学附属医院 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质
CN109614935A (zh) * 2018-12-12 2019-04-12 泰康保险集团股份有限公司 车辆定损方法及装置、存储介质及电子设备
CN111738174A (zh) * 2020-06-25 2020-10-02 中国科学院自动化研究所 基于深度解耦的人体实例解析方法、系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘忠利等: "基于深度学习的脊柱CT图像分割", 《计算机应用与软件》 *
赵梓淇 等: "基于深度学习的 CT 影像肺结节检测", 《吉林大学学报(信息科学版)》 *
高强等: "GNNI U-net:基于组归一化与最近邻插值的MRI左心室轮廓精准分割网络", 《计算机科学》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593539B1 (ko) * 2021-06-18 2023-10-23 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
KR20220169134A (ko) * 2021-06-18 2022-12-27 한림대학교 산학협력단 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램
CN113706695A (zh) * 2021-09-01 2021-11-26 杭州柳叶刀机器人有限公司 深度学习进行3d股骨头建模的系统及方法、存储介质
CN113706695B (zh) * 2021-09-01 2023-06-23 杭州柳叶刀机器人有限公司 深度学习进行3d股骨头建模的系统及方法、存储介质
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置
CN113962992A (zh) * 2021-12-21 2022-01-21 青岛大学附属医院 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法
CN116188786A (zh) * 2023-05-04 2023-05-30 潍坊医学院附属医院 一种肝胆管及胆道结石的图像分割系统
CN116385436A (zh) * 2023-06-02 2023-07-04 胜利油田中心医院 一种基于ct图像的胆结石辅助检测系统
CN116385436B (zh) * 2023-06-02 2023-08-15 胜利油田中心医院 一种基于ct图像的胆结石辅助检测系统
CN117764994A (zh) * 2024-02-22 2024-03-26 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法
CN117764995A (zh) * 2024-02-22 2024-03-26 浙江首鼎视介科技有限公司 基于深度神经网络算法的胆胰成像系统及方法
CN117764995B (zh) * 2024-02-22 2024-05-07 浙江首鼎视介科技有限公司 基于深度神经网络算法的胆胰成像系统及方法
CN117764994B (zh) * 2024-02-22 2024-05-10 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法

Similar Documents

Publication Publication Date Title
CN112233777A (zh) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN113689402B (zh) 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
CN108492271A (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN112488234B (zh) 一种基于注意力池化的端到端组织病理图像分类方法
CN110310280B (zh) 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN109376756B (zh) 基于深度学习的上腹部转移淋巴结节自动识别系统、计算机设备、存储介质
CN110555836A (zh) 一种超声图像中胎儿标准切面的自动识别方法和系统
CN113076987B (zh) 骨赘识别方法、装置、电子设备及存储介质
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CN111539480A (zh) 多类别医学图像识别方法及设备
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN113129310B (zh) 一种基于注意力路由的医学图像分割系统
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN108876776A (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN111814832A (zh) 一种目标检测方法、装置及存储介质
CN111462067B (zh) 图像分割方法及装置
CN108985302A (zh) 一种皮肤镜图像处理方法、装置及设备
CN112614092A (zh) 脊柱检测方法和装置
CN114445421B (zh) 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
CN116586924B (zh) 一种针尖五斜面结构的不锈钢针管及其制备工艺

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210115

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210115

WD01 Invention patent application deemed withdrawn after publication