CN109461144B - 一种乳腺影像识别的方法及装置 - Google Patents

一种乳腺影像识别的方法及装置 Download PDF

Info

Publication number
CN109461144B
CN109461144B CN201811202995.4A CN201811202995A CN109461144B CN 109461144 B CN109461144 B CN 109461144B CN 201811202995 A CN201811202995 A CN 201811202995A CN 109461144 B CN109461144 B CN 109461144B
Authority
CN
China
Prior art keywords
image
convolution
characteristic
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811202995.4A
Other languages
English (en)
Other versions
CN109461144A (zh
Inventor
魏子昆
杨忠程
丁泽震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Medical Technology Co ltd
Original Assignee
Hangzhou Yitu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Medical Technology Co ltd filed Critical Hangzhou Yitu Medical Technology Co ltd
Priority to CN201811202995.4A priority Critical patent/CN109461144B/zh
Publication of CN109461144A publication Critical patent/CN109461144A/zh
Application granted granted Critical
Publication of CN109461144B publication Critical patent/CN109461144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种乳腺影像识别的方法及装置，涉及机器学习技术领域，该方法包括：获取乳腺影像，将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括下采样模块；所述下采样模块包括第一卷积块、池化层和第二卷积块；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。

Description

一种乳腺影像识别的方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种乳腺影像识别的方法及装置。
背景技术
目前，乳腺影像可以为利用低剂量的X光检查人类的乳房，它能侦测各种乳房肿瘤、囊肿等病灶，有助于早期发现乳癌，并降低其死亡率。乳腺影像一般包含四份X光摄像，分别为左右乳各两个投照位上共四份图像。对整个乳腺的构成进行乳腺的分型，有助于判断乳腺影像诊断的可靠程度，即确定病灶隐藏在正常乳腺组织中的可能性。
目前，医生一般通过个人经验判断乳腺影像中乳腺的分型情况，该方法效率较低，并且存在较大的主观性。
发明内容
本发明实施例提供一种乳腺影像识别的方法及装置，用于解决现有技术中通过医生经验判断乳腺影像中乳腺的分型的方法效率低的问题。
本发明实施例提供了一种乳腺影像识别的方法，包括：
获取乳腺影像；
将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括卷积模块和下采样模块；所述下采样模块包括第一卷积块、池化层和第二卷积块；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；
将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。
一种可能的实现方式，所述第一卷积块包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。
一种可能的实现方式，所述第一卷积块还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的特征图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的特征图像。
一种可能的实现方式，所述卷积模块与所述第一卷积块的结构相同。
一种可能的实现方式，所述将所述乳腺影像输入至所述特征提取模块，包括：
将同一侧乳房的2种不同投照位的乳腺影像作为2个通道，输入至所述特征提取模块。
一种可能的实现方式，所述将所述乳腺影像输入至特征提取模块中之前，还包括：
将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述特征提取模块的输入；所述特征预处理模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述N个卷积模块中任一卷积模块的卷积核的大小。
一种可能的实现方式，所述将所述乳腺影像输入至特征提取模块之前，还包括：
获取所述乳腺影像的原始文件；
在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；
根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述特征提取模块的乳腺影像。
本发明实施例提供了一种乳腺影像识别的装置，包括：
收发单元，用于获取乳腺影像；
处理单元，用于将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括卷积模块和下采样模块；所述下采样模块包括第一卷积块、池化层和第二卷积块；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。
另一方面，本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。
本发明实施例中，由于提取乳腺影像的特征图像，并识别每一个特征图像中的乳腺，可以快速识别乳腺的分型，提高了乳腺的分型识别的效率。另外，在下采样模块中设置第一卷积块和第二卷积块进行特征图像的处理，将第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像，提高下采样的效果，提高了特征图像的提取的有效性，进而提高了检测乳腺影像中乳腺的分型的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种乳腺影像识别的方法的流程示意图；
图2a为本发明实施例提供的一种乳腺影像的示意图；
图2b为本发明实施例提供的一种乳腺影像的示意图；
图2c为本发明实施例提供的一种乳腺影像的示意图；
图2d为本发明实施例提供的一种乳腺影像的示意图；
图3为本发明实施例提供的一种下采样模块的结构示意图；
图3a为本发明实施例提供的一种特征提取模块的结构示意图；
图3b为本发明实施例提供的一种特征提取模块的结构示意图；
图3c为本发明实施例提供的一种特征提取模块的结构示意图；
图4为本发明实施例提供的一种乳腺影像识别的装置的结构示意图；
图5为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
腺体分型是对整个乳腺构成的简明描述，有助于判断乳腺影像诊断的可靠程度，即病灶隐藏在正常乳腺组织中的可能性。本发明实施例中，以乳腺X射线影像为例，进行示例性的描述，其他影像在此不再赘述。
老标准根据密度将乳腺类型分为1～4级，依次为：脂肪型；少量腺体型；多量腺体型；致密型。脂肪型为腺体占乳房比例25％以内；少量腺体型为腺体占乳房比例25％-50％；多量腺体型为腺体占乳房比例50％-75％；致密型为腺体占乳房比例75％以上。随着乳腺类型级别的提高，腺体比例增加，乳腺组织非常致密，会降低乳腺影像检查的敏感性。
而最新的指南一般根据形态学标准，将腺体构成分为a,b,c,d四类。其中a型腺体又称腺体型，乳腺组织几乎完全被脂肪组织所替代。b型腺体又称散在纤维型，乳腺组织内有散在的纤维腺体。c型腺体又称为不均匀腺体型，乳腺组织呈密度不均匀增高，很有可能遮蔽小肿块。d型腺体又称致密型，乳腺组织非常致密，随着级别的提高，腺体的致密性提高，导致乳腺X线检查的敏感性降低。
现有技术直接根据密度来划分的老标准，给出的准确性较差，不能适用于根据腺体分布情况划定的新标准，可参考度较低，且在国外数据集上进行模型的训练，缺乏在中国女性上的泛化性。
基于上述问题，本发明实施例提供的一种乳腺影像的识别方法的流程，该流程可以由识别乳腺影像的装置执行，如图1所示，该流程的具体步骤包括：
步骤101，获取乳腺影像。
乳腺影像为二维图像，为了更清楚的描述乳腺影像，图2a-2d示例性示出了一名患者的乳腺影像。分别为2侧乳房的2种投照位(头尾位CC，内外侧斜位MLO)。
步骤102，将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；
其中，所述特征提取模块包括卷积模块和下采样模块；如图3所示，所述下采样模块包括第一卷积块、池化层和第二卷积块；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；
将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。
步骤103，将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺影像中乳腺的分型。
本发明实施例采用的特征提取模块和下采样模块，是通过对大量数据进行训练得到的，从而使得通过模型得到的结果较为合理，且具有一定的科学依据。相比于传统的医生诊断的方式而言，能够降低因医生水平差异导致的诊断误差率，从而提高确定乳腺的腺体分型的准确性；进一步地，由于提取乳腺影像的特征图像，并识别每一个特征图像中的乳腺，可以快速识别乳腺的分型，提高了乳腺的分型识别的效率。另外，通过在特征提取模块中，设置第一卷积块和第二卷积块进行特征图像的处理，将第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像，提高下采样的效果，提高了特征图像的提取的有效性，进而提高了检测乳腺影像中乳腺的分型的准确性。
为进一步提高特征提取模块的鲁棒性，一种可能的实现方式，所述第一卷积块包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。特征图像经过下采样模块的步骤可以包括：
步骤一：将所述下采样模块的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；
在一个具体的实施例中，可以将输入特征图像依次通过第一卷积层，输出的特征图像的通道数减少，再从通过一个第二卷积层将特征图像增大回原有特征图的通道数。将第二卷积层输出的特征图像，输入至池化层，通过2*2的平均池化将特征图像的像素尺寸缩小到输入的一半，获得第一特征图像。
步骤二：将所述下采样模块的特征图像输入至第二卷积块，获得第二特征图像；
具体的，所述第二卷积块的卷积步长设为2，第二特征图像的像素尺寸为输入的特征图像的像素尺寸一半；卷积核大小可以与第一卷积层大小相同，也可以不同，在此不做限定。
步骤三：将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像。
通过在第一卷积块中，设置第一卷积层输出的通道数减少，且第二卷积层输出的通道数增加，使得卷积过程中，有效的保留了图像中的有效信息，在减少参数量的同时，提高了特征图像的提取的有效性，进而提高了检测乳腺影像中乳腺的分型的准确性。
特征提取模块的参数可以是通过对多个患者的乳腺图像进行训练得到的。其中，特征提取模块可以为浅层特征提取模块，也可以为深层特征提取模块，即该特征提取神经网络可以包括N个卷积模块和M个下采样模块。本领域技术人员可以根据经验和实际情况来设定N和M的具体数值，此处不做限定。
本发明实施例中，所述卷积模块可以与所述第一卷积块的结构相同，也可以不同在此不做限定。以下以相同为例进行说明。
为了根据更加清楚地描述上文所涉及的特征提取模块，该特征提取模块可以包括三个卷积模块。每个卷积模块可以包括第一卷积层和第二卷积层，第一卷积层包括卷积层，与卷积层连接的归一化(Batch Normalization，BN)层、与BN层连接的激活函数层，如图3a示出的第一卷积块包括第一卷积层和第二卷积层。
为增加特征提取模块的深度，如图3b所示，一种可能的实现方式，特征图像经过卷积模块的步骤可以包括：
步骤一：将所述卷积模块输入的特征图像输入至所述第一卷积层获得第一特征图像；第一卷积层的卷积核可以为N1*m*m*N2；N1为所述卷积模块输入的特征图像的通道数，N2为第一特征图像的通道数；N1>N2；
步骤二：将第一特征图像输入至所述第二卷积层获得第二特征图像；第一卷积层的卷积核可以为N2*m*m*N3；N3为第二特征图像的通道数；N3>N2；
步骤三：将所述卷积模块输入的特征图像和所述第二特征图像合并后，确定为所述卷积模块输出的特征图像。
一种可能的实现方式，N1＝N2。
上文所描述的乳腺影像对应的特征图像的确定方式仅为一种可能的实现方式，在其它可能的实现方式中，也可以通过其它方式确定乳腺影像对应的特征图像，具体不做限定。
需要说明的是：本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit,ReLU)，具体不做限定；
由于本发明实施例中输入的图像为二维图像，因此，本发明实施例中的特征提取模块可以为(2Dimensions，2D)卷积神经网络中的特征提取模块，相应地，第一卷积层的卷积核大小可以为m*m、第二卷积层的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。
进一步的，为优化特征提取模块，一种可能的实现方式，如图3c所示，所述第一卷积块还包括第三卷积层；所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的特征图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的特征图像。
其中，第三卷积层的卷积核大小可以为k*k，k与m，n可以相同，也可以不同，在此不做限定。
一个具体的实施例中，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。
通过上述卷积核的设置方式，可以有效的提高特征提取的感知野，有利于提高腺体分型的准确度。
为提高特征提取的感知野，提高特征提取的性能，一种可能的实现方式，所述特征提取模块之前还包括特征预处理模块；所述特征预处理模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述N个卷积模块中任一卷积模块的卷积核的大小。特征图像经过特征预处理模块的步骤可以包括：将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述特征提取模块的输入。
优选的，所述卷积层的卷积核大小可以为5*5，间隔为2个像素。池化层为2*2的最大值池化。通过特征预处理模块，可以将图像面积迅速缩小，边长变为原有1/4，有效的提高特征图像的感知野。
为提高腺体分型的准确率，一种可能的实现方式，包括：
将同一侧乳房的2种不同投照位的乳腺影像作为2个通道，输入至所述特征提取模块；
将特征提取模块输出的特征图像输入至分类模块中，确定同一侧乳房的分型。
本发明实施例提供的一种分类模块的结构，该卷积神经网络模型包括平均池化层，dropout层，全连接层、和softmax层。待确诊患者对应的特征向量可以依次通过平均池化层，dropout层，全连接层进行计算后，再由softmax层403进行分类后输出分类结果，从而得到患者的乳腺的分型。
具体的，首先通过全局平均池化层，将特征图提取成一个特征向量。再将特征向量通过一层dropout，全连接层和softmax层，获得一个四维的分类置信度向量。每一位表示为此类型的置信度，且所有置信度的和为1。输出置信度最高的位，此位所代表的类型即为算法预测的乳腺的分类。
需要说明的是，本发明实施例提供的分类模块仅为一种可能的结构，在其它示例中，本领域技术人员可以对发明实施例提供分类模块的内容进行修改，比如，分类模块可以包括2个全连接层，具体不做限定。
本发明实施例中，特征提取模块和分类模块可以作为一个卷积神经网络模型进行训练，在训练卷积神经网络模型的过程中，可以将多个患者对应的特征向量输入到初始的卷积神经网络模型中，得到每个乳腺影像对应的预测腺体分型，并根据所述标注后的乳腺影像的腺体分型结果，进行反向训练，生成所述卷积神经网络模型。
在具体实施过程中，可以包括训练数据准备：例如，收集大量乳腺影像，每种腺体类型都有足够的样本。通过多名医生根据影像对乳腺的分类进行判定。取多名医生大数相同的结果作为标签。对训练数据进行数据增强，将数据量增强到之前10倍，从而提升一定的泛化性。可能的方式包括：随机水平镜像；随机旋转任意角度；随机上下左右平移0～30像素；随机缩放0.85～1.15倍；将影像和对应的标签，作为训练集。将准备好的训练数据通过预处理模块预处理，以供后续模块使用。将预处理后的训练集，传入卷积神经网络模型进行训练。
具体的训练过程可以包括：将训练数据影像输入上述的卷积神经网络模型进行计算。传入时，同时将同侧两张影像，以及其不同窗宽窗位共6张影像传入。训练时，将网络输出的置信度和训练样本的标签做交叉熵，确定loss函数。并通过反向传播的方法训练。其中，训练的优化算法可以使用sgd等方式，在此不做限定。
举个例子，将患者1对应的乳腺影像确定的特征向量X1输入特征提取模块和分类模块中，通过前向传播，可以得到一个4维的结果向量Y＝[y1,y2,y3,y4]。其中，y1为a型对应的置信度；y2为b型对应的置信度；y3为c型对应的置信度；y4为d型对应的置信度。根据该卷积神经网络的结果向量Y，得到患者1对应的预测腺体分型；进一步地，若患者1对应的预测腺体分型为a型，而患者1对应的实际分型为b型，这样卷积神经网络模型的预测结果与实际结果之间就存在误差，即损失(loss)函数值。进而，可以使用反向传播算法，根据随机梯度下降(Stochastic gradient descent，SGD)算法沿着损失(loss)函数值下降的方向调整卷积神经网络模型的参数。如此，通过预测分型和实际分型之间的对比，可以准确的调整卷积神经网络模型的参数，提高生成的卷积神经网络模型的准确度。
在算法使用过程中，通过预处理模块，将输入图像预处理，以提高特征提取的效果。
一种可能的实现方式，所述获取乳腺影像，包括：
步骤一、将拍摄的乳腺影像图像，根据高斯滤波，确定所述乳腺影像图像的二值化图像；
步骤二、获取所述二值化图像的连通区域，将连通区域中最大的区域对应于所述乳腺影像图像的区域作为分割出的乳腺图像；
步骤三、将所述分割出的乳腺图像添加至预设的图像模板中，生成预处理后的乳腺图像；并将所述预处理后的乳腺图像作为输入至所述特征提取模块的乳腺影像。
具体的，预处理模块的输入为以Dicom格式形式保存的乳腺影像。预处理可以包括腺体分割和图像归一化；腺体分割的主要目的是将输入的乳腺影像中的乳腺部分提取出，剔除其他无关的干扰的图像；图像归一化是将图像化归为统一格式图像，具体的，包括：
在步骤一中，具体的二值化的阈值可以通过求图像灰度直方图的最大类间距方法获得。
在步骤二中，可以将二值化的结果，通过漫水法(flood fill)获得独立的区域块，并统计每个区域块的面积；将面积最大的区域块对应的图像上的区域，作为分割出来的乳腺图像。
在步骤三中，预设的图像模板可以为黑色底板的正方形图像；具体的，可以将获得的分割出来的乳腺图像，通过加黑边填充的方式扩充为1:1的正方形图像。
另外，输出的乳腺影像可以通过像素缩放，将图像差值缩放到512像素×512像素大小。
针对乳腺，由于乳腺照射剂量以及拍摄的外界因素等原因，可以通过调整乳腺的窗宽窗位，以获得更好的乳腺影像的识别效果。一种可能的实现方式，所述将所述乳腺影像输入至特征提取模块之前，还包括：
获取所述乳腺影像的原始文件；
在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；
根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述特征提取模块的乳腺影像。
在一个具体实施例中，可以通过三组窗宽窗位，将dicom图像转换为png图像，例如，第一组窗宽为4000，窗位2000；第二组窗宽为1000；窗位为2000；第三组窗宽为1500，窗位为1500。
基于相同的发明构思，如图4所示，本发明实施例提供一种乳腺影像识别的装置，包括：
收发单元401，用于获取乳腺影像；
处理单元402，用于将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括N个卷积模块和M个下采样模块；所述N个卷积模块的每个卷积模块中依次包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；N，M为正整数；每个卷积模块输出的特征图像为每个卷积模块第一卷积层输入的特征图像和第二卷积层输出的特征图像合并后的特征图像；将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺影像中乳腺的分型。
一种可能的实现方式，所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的特征图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的特征图像。
一种可能的实现方式，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。
一种可能的实现方式，所述M个下采样模块中的每个下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第四卷积层；将所述卷积模块输出的特征图像依次输入至所述第一卷积层和所述第二卷积层和池化层获得第一特征图像；将所述第一特征图像输入至所述第四卷积层，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像。
一种可能的实现方式，处理单元402，还用于：
将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述特征提取模块的输入；所述特征预处理模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述N个卷积模块中任一卷积模块的卷积核的大小。
一种可能的实现方式，处理单元402，还用于：
获取所述乳腺影像的原始文件；
在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；
根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述特征提取模块的乳腺影像。
一种可能的实现方式，处理单元402，还用于：
所述将所述乳腺影像输入至特征提取模块，包括：
将同一侧乳房的2种不同投照位的乳腺影像作为2个通道，输入至所述特征提取模块。
本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行乳腺影像识别的方法的步骤。如图5所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器802执行所述程序时实现上述实施例中的任一乳腺影像识别的方法的步骤。其中，存储器801可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器802提供存储器801中存储的程序指令和数据。
进一步地，本申请实施例中所述的计算设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图5中以通过总线连接为例。处理器802调用存储器801存储的程序指令并按照获得的程序指令执行上述实施例提供的乳腺影像识别的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行乳腺影像识别的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种乳腺影像识别的方法，其特征在于，包括：
获取乳腺影像；
将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括卷积模块和下采样模块；所述下采样模块包括第一卷积块、池化层和第二卷积块；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；所述第一卷积块包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；
将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。
2.如权利要求1所述的方法，其特征在于，所述第一卷积块还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的特征图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的特征图像。
3.如权利要求1或2所述的方法，其特征在于，所述卷积模块与所述第一卷积块的结构相同。
4.如权利要求1所述的方法，其特征在于，所述将所述乳腺影像输入至所述特征提取模块，包括：
将同一侧乳房的2种不同投照位的乳腺影像作为2个通道，输入至所述特征提取模块。
5.如权利要求1所述的方法，其特征在于，所述将所述乳腺影像输入至特征提取模块中之前，还包括：
将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述特征提取模块的输入；所述特征预处理模块包括一个卷积层，一个归一化BN层，一个线性整流函数Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述特征提取模块中任一卷积模块的卷积核的大小。
6.如权利要求4所述的方法，其特征在于，所述将所述乳腺影像输入至特征提取模块之前，还包括：
获取所述乳腺影像的原始文件；
在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；
根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述特征提取模块的乳腺影像。
7.一种乳腺影像识别的装置，其特征在于，包括：
收发单元，用于获取乳腺影像；
处理单元，用于将所述乳腺影像输入至特征提取模块中，获取所述乳腺影像的特征图像；所述特征提取模块包括卷积模块和下采样模块；所述下采样模块包括第一卷积块、池化层和第二卷积块；所述第一卷积块包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；将所述卷积模块输出的特征图像依次输入至所述第一卷积块和池化层获得第一特征图像；将所述第一特征图像输入至所述第二卷积块，获得第二特征图像；将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像；将所述特征提取模块输出的特征图像输入至分类模块，确定出所述乳腺影像中乳腺的分型。
8.如权利要求7所述的装置，其特征在于，所述第一卷积块还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的特征图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的特征图像。
9.一种计算设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～6任一权利要求所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～6任一所述方法的步骤。
CN201811202995.4A 2018-10-16 2018-10-16 一种乳腺影像识别的方法及装置 Active CN109461144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811202995.4A CN109461144B (zh) 2018-10-16 2018-10-16 一种乳腺影像识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811202995.4A CN109461144B (zh) 2018-10-16 2018-10-16 一种乳腺影像识别的方法及装置

Publications (2)

Publication Number Publication Date
CN109461144A CN109461144A (zh) 2019-03-12
CN109461144B true CN109461144B (zh) 2021-02-23

Family

ID=65607719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811202995.4A Active CN109461144B (zh) 2018-10-16 2018-10-16 一种乳腺影像识别的方法及装置

Country Status (1)

Country Link
CN (1) CN109461144B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919254B (zh) * 2019-03-28 2021-08-17 上海联影智能医疗科技有限公司 乳腺密度分类方法、系统、可读存储介质和计算机设备
CN110287982A (zh) * 2019-05-08 2019-09-27 中国科学技术大学 一种基于卷积神经网络的ct影像分类方法、装置及介质
CN110400302B (zh) * 2019-07-25 2021-11-09 杭州依图医疗技术有限公司 一种确定、显示乳房图像中病灶信息的方法及装置
CN110782444A (zh) * 2019-10-25 2020-02-11 深圳技术大学 全息微波乳房肿块识别方法及识别系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN106485259A (zh) * 2015-08-26 2017-03-08 华东师范大学 一种基于高约束高分散主成分分析网络的图像分类方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107220703A (zh) * 2016-12-29 2017-09-29 恩泊泰（天津）科技有限公司 一种基于多尺度检测的深度神经网络
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107665491A (zh) * 2017-10-10 2018-02-06 清华大学 病理图像的识别方法及系统
US9886948B1 (en) * 2015-01-05 2018-02-06 Amazon Technologies, Inc. Neural network processing of multiple feature streams using max pooling and restricted connectivity
CN108446689A (zh) * 2018-05-30 2018-08-24 南京开为网络科技有限公司 一种人脸识别方法
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法
CN108564044A (zh) * 2018-04-17 2018-09-21 杭州依图医疗技术有限公司 一种确定肺结节密度的方法及装置
CN108629764A (zh) * 2018-04-17 2018-10-09 杭州依图医疗技术有限公司 一种确定肺结节良恶性的方法及装置
CN108648192A (zh) * 2018-05-17 2018-10-12 杭州依图医疗技术有限公司 一种检测结节的方法及装置
CN108648179A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种分析肺结节的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412024B2 (en) * 2013-09-13 2016-08-09 Interra Systems, Inc. Visual descriptors based video quality assessment using outlier model
US9906551B2 (en) * 2016-02-09 2018-02-27 International Business Machines Corporation Forecasting and classifying cyber-attacks using crossover neural embeddings

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
US9886948B1 (en) * 2015-01-05 2018-02-06 Amazon Technologies, Inc. Neural network processing of multiple feature streams using max pooling and restricted connectivity
CN106485259A (zh) * 2015-08-26 2017-03-08 华东师范大学 一种基于高约束高分散主成分分析网络的图像分类方法
CN106097391A (zh) * 2016-06-13 2016-11-09 浙江工商大学 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107220703A (zh) * 2016-12-29 2017-09-29 恩泊泰（天津）科技有限公司 一种基于多尺度检测的深度神经网络
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107665491A (zh) * 2017-10-10 2018-02-06 清华大学 病理图像的识别方法及系统
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法
CN108564044A (zh) * 2018-04-17 2018-09-21 杭州依图医疗技术有限公司 一种确定肺结节密度的方法及装置
CN108629764A (zh) * 2018-04-17 2018-10-09 杭州依图医疗技术有限公司 一种确定肺结节良恶性的方法及装置
CN108648179A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种分析肺结节的方法及装置
CN108648192A (zh) * 2018-05-17 2018-10-12 杭州依图医疗技术有限公司 一种检测结节的方法及装置
CN108446689A (zh) * 2018-05-30 2018-08-24 南京开为网络科技有限公司 一种人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The study of customer classification based on self-organizing feature map neural network;Wang Hu 等;《2010 International Conference on Artificial Intelligence and Education(ICAIE)》;20101118;第490-494页 *
乳腺X线不同分型对乳腺癌诊断的影响;丁书奎 等;《中国实用医药》;20140131;第9卷(第2期);第40-41页 *
基于全卷积神经网络的肝脏CT影像分割研究;郭树旭 等;《计算机工程与应用》;20171231;第53卷(第18期);第126-131页 *

Also Published As

Publication number Publication date
CN109461144A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN109447065B (zh) 一种乳腺影像识别的方法及装置
CN110046627B (zh) 一种乳腺影像识别的方法及装置
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
CN109461144B (zh) 一种乳腺影像识别的方法及装置
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
US11275976B2 (en) Medical image assessment with classification uncertainty
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
US11810293B2 (en) Information processing device, information processing method, and computer program
US11684333B2 (en) Medical image analyzing system and method thereof
WO2012077130A1 (en) Method and system to detect the microcalcifications in x-ray images using nonlinear energy operator.
US11302444B2 (en) System and method for computer aided diagnosis of mammograms using multi-view and multi-scale information fusion
CN113191392A (zh) 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
CN112053325A (zh) 一种乳腺肿块图像处理和分类系统
CN114565557A (zh) 一种基于坐标注意力的对比增强能谱摄影分类方法及装置
Hu et al. A multi-instance networks with multiple views for classification of mammograms
CN117474876A (zh) 基于深度学习的肾癌亚型辅助诊断及不确定性评估方法
Sarosa et al. Breast cancer classification using GLCM and BPNN
Üzen Convmixer-based encoder and classification-based decoder architecture for breast lesion segmentation in ultrasound images
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
CN115082718A (zh) 基于组织病理图像的胶质瘤分级方法、装置、设备及介质
Sharma et al. Lung cancer detection using convolutional neural network
Munasinghe et al. Yuwathi: early detection of breast cancer and classification of mammography images using machine learning
CN111986165B (zh) 一种乳房图像中的钙化检出方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant