CN111311553A - 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质 - Google Patents

基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111311553A
CN111311553A CN202010070184.4A CN202010070184A CN111311553A CN 111311553 A CN111311553 A CN 111311553A CN 202010070184 A CN202010070184 A CN 202010070184A CN 111311553 A CN111311553 A CN 111311553A
Authority
CN
China
Prior art keywords
image
breast
mammary gland
region
breast tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010070184.4A
Other languages
English (en)
Inventor
蒋加伏
李鑫佩
蒋利佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202010070184.4A priority Critical patent/CN111311553A/zh
Publication of CN111311553A publication Critical patent/CN111311553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于感兴趣区域的乳腺肿瘤识别方法，包括：获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像；利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像；利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型。该基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质，能够对乳腺肿瘤的类型进行可视化识别，提高了乳腺肿瘤识别的准确率。

Description

基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质
技术领域
本发明涉及医学领域，具体涉及一种基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质。
背景技术
乳腺疾病是女性的多发病症之一，特别是随着现代都市生活节奏的加快，女性面对的生活压力、工作压力加重，乳腺疾病的发病率在逐年升高，严重的乳腺疾病可能导致乳腺癌。
目前，乳腺影像可以利用低剂量的X光检查人类的乳房，它能侦测各种乳房肿瘤、囊肿等病灶，有助于早期发现乳癌，并降低其死亡率。但是，医生一般通过个人经验判断乳腺影像中的乳腺状况，该方法效率较低，并且存在较大的主观性，容易造成漏诊和误诊的情况发生。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质，能够对乳腺肿瘤的类型进行可视化识别，提高了乳腺肿瘤识别的准确率。
根据本发明的第一方面的实施例的基于感兴趣区域的乳腺肿瘤识别方法，包括：
获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像；
利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像；
利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型。
根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法，至少具有如下有益效果：感兴趣区域有利于对乳腺图像的特征进行提取，加快提取速度；canny算子边缘检测法能够对乳腺感兴趣图像的噪声进行抑制，并能提高边缘检测的准确度；模糊ZFnet网络能够对标准乳腺图像的乳腺肿瘤的类型进行可视化识别，受外界因素影响较小，提高了乳腺肿瘤类型识别的准确率。
根据本发明的一些实施例，所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，包括如下步骤：
获取乳腺图像；所述乳腺图像包括：乳腺肿瘤恶性图像、乳腺肿瘤良性图像和乳腺正常图像；
根据所述乳腺图像提取感兴趣区域，得到乳腺感兴趣区域；
通过对所述乳腺感兴趣区域标记最小的外接矩形，得到乳腺感兴趣图像。
根据本发明的一些实施例，所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，还包括如下步骤：
通过对所述乳腺图像进行分类标注处理，得到标注的乳腺图像；所述分类标注包括：乳腺肿瘤的类型、位置和形状。
根据本发明的一些实施例，所述利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像，包括如下步骤：
利用高斯滤波器对所述乳腺感兴趣图像进行去噪处理，得到乳腺去噪图像；
利用一阶偏导有限差分对所述乳腺去噪图像进行处理，得到乳腺去噪图像的梯度幅值和方向；
通过对所述乳腺去噪图像在所述梯度幅值和方向上进行非极大值抑制处理，得到若干边缘点；
利用双阈值算法对若干所述边缘点进行检测和连接，得到标准乳腺图像。
根据本发明的一些实施例，所述利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像，还包括如下步骤：
通过对所述标准乳腺图像进行预处理，得到归一化的所述标准乳腺图像。
根据本发明的一些实施例，还包括如下步骤：
建立ZFnet网络，利用汉明距离分别对所述ZFnet网络进行处理，得到模糊ZFnet网络；所述模糊ZFnet网络中的每层网络层的偏置与权重的关系为：
Figure BDA0002377089100000031
其中，b为偏置，wl为第l层网络层的权重，xl为第l层网络层的输入，L为网络层的数量。
根据本发明的一些实施例，所述利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型，包括如下步骤：
利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到若干结果特征图和乳腺肿瘤类型；其中，所述模糊ZFnet网络包括：若干卷积层和若干池化层；
通过分别对若干所述结果特征图进行逆运算处理，得到若干可视化特征图；所述逆运算处理包括：对应进行的反池化处理和解卷积处理。
通过对所述乳腺肿瘤类型和若干所述可视化特征图进行结合，得到可视化的乳腺肿瘤类型。
根据本发明的第二方面的实施例的一种基于感兴趣区域的乳腺肿瘤识别装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如以上任一项所述的一种基于感兴趣区域的乳腺肿瘤识别方法。
根据本发明的第三方面的实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如以上任一项所述的一种基于感兴趣区域的乳腺肿瘤识别方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法的流程图。
具体实施方式
下面结合附图，对本发明实施例作进一步阐述。
如图1所示，根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法，包括：
步骤S100：获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像；
步骤S200：利用canny算子边缘检测法对乳腺感兴趣图像进行处理，得到标准乳腺图像；
步骤S300：利用模糊ZFnet网络对标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型。
具体地，在步骤S100中，对乳腺图像提取感兴趣区域，而感兴趣区域是以方框、圆、椭圆、不规则多边形等形式，在乳腺图像中勾勒出需要处理的区域，提高了对乳腺图像特征提取的速度，增加特征提取的准确性。进一步，感兴趣区域的提取方法可以采用八领域搜索，水平集分割，分水岭分割等方式。
在步骤S200中，canny算子边缘检测法能够对乳腺感兴趣图像的噪声进行抑制，准确检测乳腺感兴趣图像的边缘，使得检测到的边缘精确定位在真实边缘的中心，提高了标准乳腺图像提取的准确度。
在步骤S300中，模糊ZFnet网络是模糊理论和ZFnet网络相结合的产物，它汇集了ZFnet网络与模糊理论的优点，集学习、联想、识别、信息处理于一体。而模糊ZFnet网络具有可视化的功能，能够通过一个多层的反卷积网络，反映模糊ZFnet网络中每层单独的可视化特征图；也能够反映模型训练阶段特征的演变过程，且诊断出模型的潜在问题，使得开发人员能够根据潜在问题而更新模型中的参数，提高模型识别的准确率。
而使用模糊ZFnet网络对标准乳腺图像的乳腺肿瘤的类型进行可视化识别，能够识别得到乳腺肿瘤的类型，以及得到识别过程中的可视化特征图，从而使得医生能够根据乳腺肿瘤类型，得知患者的病症，并能根据可视化特征图来复核乳腺肿瘤类型的准确性，从而得到可视化的乳腺肿瘤类型，这种诊断方式受外界因素影响较小，提高了乳腺肿瘤类型识别的准确率。同时，医生能够通过可视化的乳腺肿瘤类型，对患者进行详细病症的解析，减少医患问题。
在本发明的一些具体实施例中，所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，包括如下步骤：
步骤S110：获取乳腺图像；所述乳腺图像包括：乳腺肿瘤恶性图像、乳腺肿瘤良性图像和乳腺正常图像；
步骤S120：根据乳腺图像提取感兴趣区域，得到乳腺感兴趣区域；
步骤S130：通过对乳腺感兴趣区域标记最小的外接矩形，得到乳腺感兴趣图像。
具体地，在步骤S110中，乳腺图像包括：乳腺肿瘤恶性图像、乳腺肿瘤良性图像和乳腺正常图像，且上述图像中包含有各种角度、形状的图像。步骤S120和步骤S130，通过对乳腺图像提取感兴趣区域，即提取出乳腺图像中含有特征的区域；并使用最小的外接矩形对该感兴趣区域进行标记，即划分出含有感兴趣区域的最小的外接矩形的区域，保证了乳腺感兴趣图像形状的相似性，提高了特征提取的准确性和速度。进一步，可以使用labellmg工具对感兴趣区域进行最小的外接矩形的标记。
在本发明的一些具体实施例中，所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，还包括如下步骤：
步骤S140：通过对乳腺图像进行分类标注处理，得到标注的乳腺图像；所述分类标注包括：乳腺肿瘤的类型、位置和形状。
具体地，对乳腺图像进行分类标注处理，即对乳腺肿瘤恶性图像和乳腺肿瘤良性图像，分别按不同的病因进行分类标注，标注出乳腺肿瘤的种类、病灶位置、形状；对乳腺正常图像标注正常。例如，对乳腺肿瘤恶性图像标注乳腺恶性肿瘤，并在乳腺肿瘤恶性图像中标注出肿瘤的位置和形状。进一步，可以使用labelme工具对乳腺图像进行分类标注处理。
进一步，步骤S140是在模型训练中进行操作的，而在模型训练完成后，实际对乳腺图像进行识别的过程中，并不需要操作。在模型训练过程中，通过对乳腺图像进行分类标注处理，且乳腺图像包括有不同病因、不同角度和不同形状的图像，使得模型训练具有多样性，提高了模型对乳腺肿瘤类型识别的准确性。
在本发明的一些具体实施例中，所述利用canny算子边缘检测法对乳腺感兴趣图像进行处理，得到标准乳腺图像，包括如下步骤：
步骤S210：利用高斯滤波器对乳腺感兴趣图像进行去噪处理，得到乳腺去噪图像；
步骤S220：利用一阶偏导有限差分对乳腺去噪图像进行处理，得到乳腺去噪图像的梯度幅值和方向；
步骤S230：通过对乳腺去噪图像在梯度幅值和方向上进行非极大值抑制处理，得到若干边缘点；
步骤S240：利用双阈值算法对若干边缘点进行检测和连接，得到标准乳腺图像。
具体地，步骤S210利用高斯滤波器对乳腺感兴趣图像进行去噪处理，可以使用两个一维高斯核分别两次加权实现，也可以通过一个二维高斯核一次卷积实现。而本实施例中使用离散化的一维高斯函数对乳腺感兴趣图像进行去噪处理，其中高斯核满足以下公式：
Figure BDA0002377089100000081
其中，χ、σ均为参数，参数可以根据实际的需要而设置，则能得到一维核向量。
步骤S220，一阶偏导有限差分的卷积算子为：
Figure BDA0002377089100000082
则一阶偏导有限差分的x向、y向的一阶偏导数矩阵，梯度幅值以及梯度方向的表达式为：
P[i,j]＝f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j]，
Q[i,j]＝f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1]，
Figure BDA0002377089100000091
Figure BDA0002377089100000092
其中，P[i,j]为x向的一阶偏导数矩阵，Q[i,j]为y向的一阶偏导数矩阵，M[i,j]为梯度幅值，θ[i,j]为梯度方向。通过结合卷积算子、x向的一阶偏导数矩阵和y向的一阶偏导数矩阵，则能够得到乳腺去噪图像的梯度幅值和梯度方向。
步骤S230对乳腺去噪图像上的像素点进行划分，得到若干个包含有若干相邻的像素点的区域，利用非极大值抑制对若干个区域进行处理，分别筛选在区域内的梯度幅值和方向上的局部最大值，并将非局部最大值的像素点所对应的灰度值设置为0，实现对局部最大值的像素点的筛选，则得到若干边缘点，实现对乳腺去噪图像的进一步去噪。进一步，乳腺去噪图像中的每一个像素点均具有8邻域，分别为上下左右和斜对角上的点，那么，乳腺去噪图像上像素点的划分规则，可以设定为一个像素点与其8邻域内的像素点，即每个划分区域内包含有一个像素点与其8邻域内的像素点，且8邻域的点依次连线，形成一个封闭区域；以该像素点为中心，该像素点在梯度方向上，与封闭区域形成两个交点，那么，根据8邻域内的像素点、梯度幅值和方向，可以计算得到两个交点的值，再通过比较两个交点和该像素点的值，则得到该区域内的局部最大值。
步骤S240双阈值算法是根据实际的需求，而设定两个阈值，即上限和下限，如果一个边缘点的梯度低于下限阈值，则被抛弃；如果高于上限阈值，则被认为是边缘像素，称为强边缘点。如果介于二者之间，则称为弱边缘点，只有当弱边缘点的8邻域内存在有强边缘点时，才能将该弱边缘点变成强边缘点，以此来实现对强边缘点的补充；否则，弱边缘点的8邻域内不存在有强边缘点时，该弱边缘点则被抛弃。
进一步，上下限阈值比为2：1到3：1之间时，得到的强边缘点的效果更好。具体地，利用双阈值算法对若干边缘点进行检测和连接的步骤为：首先根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，为解决这样一个问题采用另外一个低阈值；在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。
步骤S210-步骤S240在噪声抑制和边缘检测之间取得较好的平衡，能够实现对乳腺感兴趣图像的边缘进行准确的提取，且提取的边缘较细，提取的速度较快，处理得到的标准乳腺图像的边缘特性较强，提高了标准乳腺图像提取的准确度。
在本发明的一些具体实施例中，所述利用canny算子边缘检测法对乳腺感兴趣图像进行处理，得到标准乳腺图像，还包括如下步骤：
步骤S250：通过对标准乳腺图像进行预处理，得到归一化的标准乳腺图像。
具体地，对标准乳腺图像的尺寸进行归一化处理，使得尺寸大于归一化程度的标准乳腺图像进行缩小；而尺寸小于归一化程度的标准乳腺图像进行0填充背景处理，即以标准乳腺图像为中心，向四周进行0填充，直至满足尺寸的归一化程度。通过对标准乳腺图像的预处理，使得标准乳腺图像在保留原有特征的同时，保证了尺寸的统一，便于后续步骤的处理，提高了特征提取的效率和准确性。
在本发明的一些具体实施例中，还包括如下步骤：
步骤S400：建立ZFnet网络，利用汉明距离分别对ZFnet网络进行处理，得到模糊ZFnet网络；所述模糊ZFnet网络中的每层网络层的偏置与权重的关系为：
Figure BDA0002377089100000111
其中，b为偏置，wl为第l层网络层的权重，xl为第l层网络层的输入，L为网络层的数量。
具体地，在模糊逻辑理论中，汉明距离是表示两个(相同长度)字符串对应位不同的数量，以d(x',y')表示两个字符串x'和y'之间的汉明距离。对两个字符串x'和y'进行异或运算，并统计结果为1的个数，那么这个为1的个数就是汉明距离。
定义广义汉明距离为：
Figure BDA0002377089100000112
定义广义汉明距离的元素算术平均值为：
Figure BDA0002377089100000121
若设
Figure BDA0002377089100000122
则两个字符串x'和y'的元素算术平均值为：
Figure BDA0002377089100000123
其中
Figure BDA0002377089100000124
而在ZFnet网络中，不但有正相关还有负相关，ZFnet网络以高度的方式捕捉输入和输出之间的隐藏关系，以达到精确的近似，其中ZFnet网络中权值与偏置的关系为：y＝x*w+b，y为输出，x为输入，w为权重，b为偏置。
广义汉明距离和ZFnet网络中的网络层运算结果具有很高的相似性，因此，使得广义汉明距离加上负区间，则广义汉明距离能够达到ZFnet网络一样的效果。那么在ZFnet网络中，x与w的负关系可以表示为：
Figure BDA0002377089100000125
另设b＝wx，将上式除以
Figure BDA0002377089100000126
可以得到:
Figure BDA0002377089100000127
因此，在深度学习框架中，利用广义汉明距离理论将权值与输入的关系重新定义，将偏置用权值和输入来表示。一方面减少了偏置b的迭代更新，增加了算法效率，另一方面，用模糊逻辑解释权值与输入的关系使深度学习的框架具有部分解释性。
在本发明的一些具体实施例中，利用模糊ZFnet网络对标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型，包括如下步骤：
步骤S310：利用模糊ZFnet网络对标准乳腺图像进行处理，得到若干结果特征图和乳腺肿瘤类型；其中，模糊ZFnet网络包括：若干卷积层和若干池化层；
步骤S320：通过分别对若干结果特征图进行逆运算处理，得到若干可视化特征图；所述逆运算处理包括：对应进行的反池化处理和解卷积处理。
步骤S330：通过对乳腺肿瘤类型和若干可视化特征图进行结合，得到可视化的乳腺肿瘤类型。
具体地，在步骤S310中，模糊ZFnet网络中含有若干卷积层和若干池化层，且组成若干个连接块，连接块的组成可以设置为：若干卷积层-池化层，其中，卷积层的数量可以根据实际的需要而设置，且连接块之间互相连接。进一步，在每个连接块对标准乳腺图像进行处理后，均能得到一个结果特征图；因此，在连接块中的卷积层的后面，可以连接有RULE函数，使得RULE函数对卷积层处理后的图像进行处理，保证结果特征图内的值均为正数，则连接块的组成还可以设置为：若干卷积层-RELU函数层-池化层。
进一步，当完成对连接块的组成设定后，可以在最后一个连接块的后面连接若干个全连接层和分类器，实现对乳腺肿瘤类型的识别。
在步骤S320中，由于结果特征图是由对应的连接块处理后产生的，因此对结果特征图进行逆运算处理，相当于对连接块的处理步骤进行逆运算处理，其中，逆运算包括处理步骤的逆向和步骤中的处理过程的逆向。因此，相邻的两个结果特征图，对后一个结果特征图进行逆运算处理，可以得到前一个结果特征图的可视化特征图。
当结果特征图的组成设置为：若干卷积层-RELU函数层-池化层时，对结果特征图依次进行反池化处理、RELU函数处理和若干个解卷积处理；当结果特征图的组成设置为：若干卷积层-池化层时，对结果特征图依次进行反池化处理和若干个解卷积处理。
其中，反池化处理的过程为：使用一组转换变量switch记录结果特征图中每个池化区域最大值的位置，将最大值返回到其所应该在的位置，其他位置的值用0补充，得到反池化特征图。RELU函数处理的过程为：使用RELU非线性激活函数对反池化特征图进行重建，得到RELU特征图，保证了RELU特征图内的值总是正值。解卷积处理也称为卷积转置，处理过程为：通过对原卷积网中相同的滤波器进行转置，即对滤波器进行水平方向和垂直方向的翻转，再利用转置后的滤波器对RELU特征图进行处理，得到可视化特征图。
在步骤S330中，医生根据乳腺肿瘤类型，得知患者的病症，并能根据可视化特征图来复核乳腺肿瘤类型的准确性；若可视化特征图与乳腺肿瘤类型的特征一致，则准确得到患者的乳腺肿瘤类型，若不一致，则对患者的乳腺图像重新输入到模型中，再进行一次识别。医生根据乳腺肿瘤的类型和可视化特征图，可以明确得到可视化的乳腺肿瘤类型，即患者的病症，这种诊断方式受外界因素影响较小，提高了乳腺肿瘤类型识别的准确率。同时，医生能够通过可视化的乳腺肿瘤类型，对患者进行详细病症的解析，减少医患问题。
根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法的其他构成以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。
下面参考图1以一个具体的实施例详细描述根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。
根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法，包括如下步骤：
步骤S110：获取乳腺图像；所述乳腺图像包括：乳腺肿瘤恶性图像、乳腺肿瘤良性图像和乳腺正常图像；
步骤S120：根据乳腺图像提取感兴趣区域，得到乳腺感兴趣区域；
步骤S130：通过对乳腺感兴趣区域标记最小的外接矩形，得到乳腺感兴趣图像；
步骤S210：利用高斯滤波器对乳腺感兴趣图像进行去噪处理，得到乳腺去噪图像；
步骤S220：利用一阶偏导有限差分对乳腺去噪图像进行处理，得到乳腺去噪图像的梯度幅值和方向；
步骤S230：通过对乳腺去噪图像在梯度幅值和方向上进行非极大值抑制处理，得到若干边缘点；
步骤S240：利用双阈值算法对若干边缘点进行检测和连接，得到标准乳腺图像；
步骤S250：通过对标准乳腺图像进行预处理，得到归一化的标准乳腺图像；
步骤S310：利用模糊ZFnet网络对标准乳腺图像进行处理，得到若干结果特征图和乳腺肿瘤类型；其中，模糊ZFnet网络包括：若干卷积层和若干池化层；
步骤S320：通过分别对若干结果特征图进行逆运算处理，得到若干可视化特征图；所述逆运算处理包括：对应进行的反池化处理和解卷积处理。
步骤S330：通过对乳腺肿瘤类型和若干可视化特征图进行结合，得到可视化的乳腺肿瘤类型。
根据本发明实施例的基于感兴趣区域的乳腺肿瘤识别方法，通过如此设置，可以达成至少如下的一些效果，在步骤S110-步骤S130中，感兴趣区域有利于对乳腺图像的特征进行提取，加快提取速度；在步骤S210-步骤S250中，canny算子边缘检测法能够对乳腺感兴趣图像的噪声进行抑制，并能提高边缘检测的准确度；在步骤S310-步骤S330中，模糊ZFnet网络能够对标准乳腺图像的乳腺肿瘤的类型进行可视化识别，使得医生能够根据乳腺肿瘤类型，得知患者的病症，并能根据可视化特征图来复核乳腺肿瘤类型的准确性，从而得到可视化的乳腺肿瘤类型，这种诊断方式受外界因素影响较小，提高了乳腺肿瘤类型识别的准确率。同时，医生能够通过可视化的乳腺肿瘤类型，对患者进行详细病症的解析，减少医患问题。
以上过程为在实际检测中，医生将患者的乳腺图像输入到乳腺肿瘤识别模型中，对乳腺肿瘤类型进行识别的过程；而乳腺肿瘤识别模型的训练过程，在包含有上述步骤的前提下，还包括以下步骤：
步骤S400：建立ZFnet网络，利用汉明距离分别对ZFnet网络进行处理，得到模糊ZFnet网络；所述模糊ZFnet网络中的每层网络层的偏置与权重的关系为：
Figure BDA0002377089100000171
其中，b为偏置，wl为第l层网络层的权重，xl为第l层网络层的输入，L为网络层的数量；
步骤S140：通过对乳腺图像进行分类标注处理，得到标注的乳腺图像；所述分类标注包括：乳腺肿瘤的类型、位置和形状。
其中，步骤S400设置在步骤S110的前面，步骤S140设置在步骤S110与步骤S120之间。步骤S400通过利用ZFnet网络和汉明距离，建立模糊ZFnet网络，加快模型的运算速度与效率；步骤S140通过对不同角度、不同形状的乳腺图像进行分类标注处理，使得模型训练具有多样性，更好地模拟了实际检测中乳腺图像的类型，提高了模型对乳腺肿瘤类型识别的准确性。
进一步，在模型训练的过程中，模糊ZFnet网络的结构可以设置为如下表1所示：
表1：模糊ZFnet的网路层设置
卷积核 步长
第一层 卷积层 7 2
第二层 池化层 3 2
第三层 卷积层 5 2
第四层 池化层 3 2
第五层 卷积层 3 1
第六层 卷积层 3 1
第七层 卷积层 3 1
第八层 池化层 3 2
同时，在第一层卷积层的后面，以及在第三层卷积层的后面分别连接有RELU函数，在第八层的池化层的后面依次连接两层全连接层和softmax分类器，该模糊ZFnet网络的运算速度较快，且对乳腺肿瘤类型识别的准确率较高。进一步，步骤S250得到的归一化的标准乳腺图像的尺寸可以设定为2000*2000。
此外，本发明的另一个实施例还提供了一种基于感兴趣区域的乳腺肿瘤识别装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上的任一项所述的一种基于感兴趣区域的乳腺肿瘤识别方法。
在本实施例中，识别装置包括：一个或多个控制处理器和存储器，控制处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的识别方法对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行识别装置的各种功能应用以及数据处理，即实现上述方法实施例的识别方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据识别装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的识别方法，例如，执行以上描述识别方法步骤S100至S400、S110至S140、S210至S250、以及S310至S330的功能。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，一个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的识别方法，例如，执行以上描述的方法步骤S100至S400、S110至S140、S210至S250、以及S310至S330的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、或“本实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于，包括：
获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像；
利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像；
利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型。
2.根据权利要求1所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，包括如下步骤：
获取乳腺图像；所述乳腺图像包括：乳腺肿瘤恶性图像、乳腺肿瘤良性图像和乳腺正常图像；
根据所述乳腺图像提取感兴趣区域，得到乳腺感兴趣区域；
通过对所述乳腺感兴趣区域标记最小的外接矩形，得到乳腺感兴趣图像。
3.根据权利要求2所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：所述获取乳腺图像，提取所述乳腺图像的感兴趣区域，得到乳腺感兴趣图像，还包括如下步骤：
通过对所述乳腺图像进行分类标注处理，得到标注的乳腺图像；所述分类标注包括：乳腺肿瘤的类型、位置和形状。
4.根据权利要求1所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：所述利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像，包括如下步骤：
利用高斯滤波器对所述乳腺感兴趣图像进行去噪处理，得到乳腺去噪图像；
利用一阶偏导有限差分对所述乳腺去噪图像进行处理，得到乳腺去噪图像的梯度幅值和方向；
通过对所述乳腺去噪图像在所述梯度幅值和方向上进行非极大值抑制处理，得到若干边缘点；
利用双阈值算法对若干所述边缘点进行检测和连接，得到标准乳腺图像。
5.根据权利要求4所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：所述利用canny算子边缘检测法对所述乳腺感兴趣图像进行处理，得到标准乳腺图像，还包括如下步骤：
通过对所述标准乳腺图像进行预处理，得到归一化的所述标准乳腺图像。
6.根据权利要求1所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：还包括如下步骤：
建立ZFnet网络，利用汉明距离分别对所述ZFnet网络进行处理，得到模糊ZFnet网络；所述模糊ZFnet网络中的每层网络层的偏置与权重的关系为：
Figure FDA0002377089090000021
其中，b为偏置，wl为第l层网络层的权重，xl为第l层网络层的输入，L为网络层的数量。
7.根据权利要求1所述的一种基于感兴趣区域的乳腺肿瘤识别方法，其特征在于：所述利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到可视化的乳腺肿瘤类型，包括如下步骤：
利用模糊ZFnet网络对所述标准乳腺图像进行处理，得到若干结果特征图和乳腺肿瘤类型；其中，所述模糊ZFnet网络包括：若干卷积层和若干池化层；
通过分别对若干所述结果特征图进行逆运算处理，得到若干可视化特征图；所述逆运算处理包括：对应进行的反池化处理和解卷积处理；
通过对所述乳腺肿瘤类型和若干所述可视化特征图进行结合，得到可视化的乳腺肿瘤类型。
8.一种基于感兴趣区域的乳腺肿瘤识别装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1-7任一项所述基于感兴趣区域的乳腺肿瘤识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的基于感兴趣区域的乳腺肿瘤识别方法。
CN202010070184.4A 2020-01-21 2020-01-21 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质 Pending CN111311553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070184.4A CN111311553A (zh) 2020-01-21 2020-01-21 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070184.4A CN111311553A (zh) 2020-01-21 2020-01-21 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111311553A true CN111311553A (zh) 2020-06-19

Family

ID=71148941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070184.4A Pending CN111311553A (zh) 2020-01-21 2020-01-21 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111311553A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744801B (zh) * 2021-09-09 2023-05-26 首都医科大学附属北京天坛医院 肿瘤类别的确定方法、装置、系统、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008386A (zh) * 2014-05-13 2014-08-27 中国科学院深圳先进技术研究院 肿瘤类型识别方法和系统
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
US20190117087A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
CN109740600A (zh) * 2019-01-04 2019-05-10 上海联影医疗科技有限公司 高亮病灶区域的定位方法、装置、计算机设备以及存储介质
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法
JP2019177050A (ja) * 2018-03-30 2019-10-17 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008386A (zh) * 2014-05-13 2014-08-27 中国科学院深圳先进技术研究院 肿瘤类型识别方法和系统
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
US20190117087A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
JP2019177050A (ja) * 2018-03-30 2019-10-17 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109740600A (zh) * 2019-01-04 2019-05-10 上海联影医疗科技有限公司 高亮病灶区域的定位方法、装置、计算机设备以及存储介质
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
L. FAN: "Revisit Fuzzy Neural Network:Demystifying Batch Normalization and ReLU with Generalized Hamming Network", pages 3 *
MD ZEILER &R. FERGUS: "Visualizing and Understanding Convolutional Networks", ECCV, pages 818 - 833 *
蔡利梅: "数字图像处理", 中国矿业大学出版社, pages: 149 - 152 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744801B (zh) * 2021-09-09 2023-05-26 首都医科大学附属北京天坛医院 肿瘤类别的确定方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Khan et al. Lungs nodule detection framework from computed tomography images using support vector machine
Al-masni et al. Detection and classification of the breast abnormalities in digital mammograms via regional convolutional neural network
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
Choi et al. Genetic programming-based feature transform and classification for the automatic detection of pulmonary nodules on computed tomography images
Omonigho et al. Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network
Shanthi et al. Automated detection and classification of cervical cancer using pap smear microscopic images: a comprehensive review and future perspectives
Liu Stbi-yolo: A real-time object detection method for lung nodule recognition
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
WO2020168647A1 (zh) 图像识别方法及相关设备
Khordehchi et al. Automatic lung nodule detection based on statistical region merging and support vector machines
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN110610488A (zh) 分类训练和检测的方法与装置
Jubeen et al. An automatic breast cancer diagnostic system based on mammographic images using convolutional neural network classifier
CN111292299A (zh) 一种乳腺肿瘤识别方法、装置及存储介质
CN112508057A (zh) 一种肺结节分类方法、介质及电子设备
CN111311553A (zh) 基于感兴趣区域的乳腺肿瘤识别方法、装置及存储介质
CN112801992A (zh) 基于3d残差网络的肺结节图像分类方法
CN113902676A (zh) 基于注意力机制的神经网络的肺结节图像检测方法及系统
Tyagi et al. A novel approach of lung tumor segmentation using a 3D deep convolutional neural network
Khouadja et al. Lung Cancer Detection with Machine Learning and Deep Learning: A Narrative Review
Jyothula et al. Lung Cancer Detection in CT Scans Employing Image Processing Techniques and Classification by Decision Tree (DT) and K-Nearest Neighbor (KNN)
Keshtkar Convolutional Neural Networks in Computer-Aided Diagnosis of Colorectal Polyps and Cancer: A Review
Wu et al. Weakly-supervised lesion analysis with a CNN-based framework for COVID-19
CN117392468B (zh) 基于多示例学习的癌症病理图像分类系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination