CN112132808B - 基于常态模型学习的乳腺x线图像病变检测方法和装置 - Google Patents

基于常态模型学习的乳腺x线图像病变检测方法和装置 Download PDF

Info

Publication number
CN112132808B
CN112132808B CN202011010216.8A CN202011010216A CN112132808B CN 112132808 B CN112132808 B CN 112132808B CN 202011010216 A CN202011010216 A CN 202011010216A CN 112132808 B CN112132808 B CN 112132808B
Authority
CN
China
Prior art keywords
image
region
boundary
loss
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011010216.8A
Other languages
English (en)
Other versions
CN112132808A (zh
Inventor
陈智丽
张辉
夏兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Jianzhu University
Original Assignee
Shenyang Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Jianzhu University filed Critical Shenyang Jianzhu University
Priority to CN202011010216.8A priority Critical patent/CN112132808B/zh
Publication of CN112132808A publication Critical patent/CN112132808A/zh
Application granted granted Critical
Publication of CN112132808B publication Critical patent/CN112132808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种基于常态模型学习的乳腺X线图像病变检测方法和装置。所述方法包括从乳腺X线图像中分割出乳腺区域；提取图像块，进行亮度归一化处理；选取一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，得到常态模型；从训练集中选取若干正常区域图像块作为模板，输入到常态模型，得到模板图像的特征向量；将测试集输入到常态模型，得到测试图像的特征向量；将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到测试结果。本发明打破依赖病变特殊影像特征的传统病变检测模式，解决现有技术仅能检测特定类型病变的难题，实现所有类型病变的全方位检测，全面提高病变检出率和准确率。

Description

基于常态模型学习的乳腺X线图像病变检测方法和装置
技术领域
本发明的实施例一般涉及图像处理及深度卷积神经网络领域，并且更具体地，涉及一种基于常态模型学习的乳腺X线图像病变检测方法和装置。
背景技术
乳腺癌是目前危害全球女性健康最常见的恶性肿瘤，近年来中国女性乳腺癌的发病率显著增长，中国许多地区已经陆续启动了“两癌”筛查工作。乳腺X线摄影术(Mammography)是目前国际上公认的乳腺癌筛查及早期诊断的有效医学影像检查手段，在乳腺癌筛查中发挥着非常重要的作用。近年来随着计算机视觉、机器学习等人工智能技术的飞速发展，计算机辅助诊断(Computer-Aided Diagnosis,CAD)技术成为人工智能+医学图像领域的主要研究热点，用于在临床中辅助医生分析和理解医学图像，提高医生的诊断效率和诊断准确率。
现有技术主要集中检测乳腺X线图像中的微钙化(Microcalcification)与肿块(Mass)这两类病变，主要依赖病变区域的特殊影像表现，如利用微钙化点的高亮度特性、肿块与周围组织间的边缘特性，从图像中分割出病变；或人工定义和提取病变的影像特征，采用有监督的方式，建立病变模型以实现病变检测。随着深度学习技术领域的发展，深度学习技术在医学影像中的应用提高了CAD系统的诊断性能，其利用深度神经网络，学习病变的潜在表征，克服了基于人工定义特征的病变检测技术的不足。
尽管现有的乳腺X线图像病变检测技术已取得了不错的检测效果，但这些技术局限于病变的特殊影像模型，仅能够检测特定类型的病变，检测能力单一，对模型描述范围之外的病变缺乏检测能力，针对不同类型的病变，需要采用不同的检测技术。此外，基于深度学习的检测技术面临着缺乏大规模有效训练集这一首要挑战。实际中，病变样本数量非常有限，且种类多样、差异性大，往往缺少标签或注释，这些都严重阻碍了通过有监督学习方式得到有效的病变检测模型，训练的模型因样本的缺失和不均衡极大可能存在过拟合。
综上，现有技术通用性低、泛化能力差，无法同时检测多类病变，且面临缺少有效病变训练集等问题。
发明内容
根据本发明的实施例，提供了一种基于常态模型学习的乳腺X线图像病变检测方案。
在本发明的第一方面，提供了一种基于常态模型学习的乳腺X线图像病变检测方法。该方法包括：
从乳腺X线图像中分割出乳腺区域，得到乳腺图像；
从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对图像块进行亮度归一化处理；
将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型；
从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量；将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量；
将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
进一步地，所述从乳腺X线图像中分割出乳腺区域，包括：
通过灰度直方图的全局阈值化，对目标区域进行预分割，生成最大目标区域的外侧近似边界；
对所述目标区域的外侧近似边界周围进行多尺度边缘检测，得到若干个初步乳腺外侧区域边界点，并拟合成乳腺外侧区域边界；
根据基于区域生长的方法识别胸肌和乳腺组织边界，得到乳腺内侧区域边界；
所述乳腺外侧区域边界和所述乳腺内侧区域边界构成乳腺区域。
进一步地，所述通过灰度直方图的全局阈值化，对目标区域进行预分割，生成目标区域的外侧近似边界，包括：
对灰度直方图进行高斯平滑处理，并根据高斯平滑处理后的灰度直方图选取全局阈值，对乳腺X线图像进行全局阈值化，得到二值图像；其中灰度直方图的两个峰值分别对应于乳腺X线图像的背景和乳腺组织区域，两个峰值之间的谷值为全局阈值；
通过二维高斯滤波器对所述二值图像进行平滑处理，得到最大目标区域，将所述最大目标区域作为乳腺区域的近似掩模，得到所述最大目标区域的外侧近似边界；
所述对所述目标区域的外侧近似边界进行多尺度边缘检测，得到若干个初步乳腺外侧区域边界点，并拟合成乳腺外侧区域边界，包括：
在所述最大目标区域的外侧近似边界上均匀放置若干个点，通过每个点绘制一条正交线；
将每条正交线上的像素点与多尺度高斯核导数进行卷积，每条正交线得到若干个可能的乳腺区域边界点；
将得到的可能的乳腺区域边界点使用活动轮廓模型生成初步乳腺外侧区域边界点；
利用三次多项式拟合，将若干个离散的初步乳腺外侧区域边界点拟合成一个平滑连续的轮廓，作为乳腺外侧区域边界；
所述根据基于区域增长的方法识别胸肌和乳腺组织边界，得到乳腺内侧区域边界，包括：
利用一条斜率为-1的直线，通过多尺度边缘检测方法在该直线上检测边缘点，使用包含边缘强度和边缘位置的量度来选择种子点；所述种子点置于胸肌和乳腺组织的边界附近；
根据平均亮度相似性从所述种子点进行区域生长；所述区域生长从一个亮度差异初始阈值开始，所述亮度差异初始阈值在所述区域生长过程中迭代增加，当生成的区域接近图像边界时，停止区域生长，得到区域生长结果；
利用局部加权回归散点平滑方法对所述区域生长结果进行胸肌边界细化，得到乳腺内侧区域边界。
进一步地，所述正常区域图像块中仅包含乳腺区域，且通过设置冗余阈值，使每两个正常区域图像块之间的冗余度不超过所述冗余阈值；
每个病变区域图像块中只包含一处病变区域，使病变区域处于其所在图像块的中心位置，且使该图像块包含的背景最小。
进一步地，所述双重深度卷积神经网络模型包括并联的两个结构相同的CNN，即参考网络和目标网络；所述参考网络由参考数据集进行训练，所述目标网络由目标数据集进行训练；所述参考数据集为ImageNet数据集，所述目标数据集为正常的乳腺X线图像数据；
每个CNN由特征提取子网和分类子网组成，并通过两个子网联合训练；所述分类子网由一个全连接层和损失层组成；所述特征提取子网由5个卷积层和2个全连接层组成，且每个卷积层和全连接层后设置ReLU激活层，在每个卷积层和其后的ReLU激活层之间以及每个全连接层与其后的ReLU激活层之间设置批标准化层；所述5个卷积层中的第一卷积层、第二卷积层和第五卷积层后的ReLU激活层连接池化层；所述2个全连接层后的ReLU激活层连接丢弃层；
以所述特征提取子网的最后一个全连接层的输出作为训练图像和测试图像的特征表示。
进一步地，在训练阶段，双重深度卷积神经网络模型输出的损失值为组合损失；
所述组合损失为：
l(r,t)＝αlD(r)+βlC(t)
其中，α和β是取值在[0，1]的常数，表示描述性损失和紧密性损失之间的权重；r和t分别代表所述参考数据集和目标数据集；lD为描述性损失；lC为紧密性损失；
所述描述性损失lD，用于评价所学特征描述不同概念的能力，通过参考网络R的损失层的softmax函数相对于参考数据集r计算得到的交叉熵来度量；多类交叉熵可计算为：
其中，yc为样本的真实类别，样本属于该类别，则yc值为1，否则为0；nclass为参考数据集r的样本类数；pc为softmax层第c个单元的输出，表示样本属于第c个类别的概率；通过计算批内n个样本交叉熵的平均值，表示描述性损失lD：
所述紧密性损失lC，用于评价所学特征的类内相似性，通过目标网络T的损失层根据目标数据集t计算得到；X＝{x1,x2,…,xn}为损失函数的输入，其中n是输入的批大小，是给定批次的第i个样本产生的特征向量，k是xiX的维度，xiX与X中其它向量的平方欧氏距离定义为：
di＝‖xi-mi‖2
其中，mi为X中除xiX外的所有向量的平均向量，
di相对于mi的平方欧氏范数的平方欧氏距离定义为：
计算批内所有特征向量的相对平方欧氏距离的平均值，表示所述紧密性损失lC：
进一步地，所述将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果，包括：
计算所述模板图像和测试图像的特征向量之间的距离，得到所述测试图像的特征向量与所有模板图像中特征向量的最短距离；判断所述最短距离是否大于预设的距离阈值，如果是，则所述测试图像为正常乳腺图像；否则，所述测试图像为病变图像。
在本发明的第二方面，提供了一种基于常态模型学习的乳腺X线图像病变检测装置。该装置包括：
分割模块，用于从乳腺X线图像中分割出乳腺区域，得到乳腺图像；
提取模块，用于从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对所述图像块进行亮度归一化处理；
模型训练模块，用于将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型；
特征提取模块，包括第一特征提取模块和第二特征提取模块，其中所述第一特征提取模块，用于从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量；所述第二特征提取模块，用于将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量；
分类决策模块，用于将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
本发明采用深度学习技术，充分发挥医学影像大数据优势，以无监督方式学习医学影像的深层特征，建立健康人群医学影像表现常态模型，仅通过正常图像学习可用于病变检测的乳腺组织影像特征，能够检测多种类乳腺病变，进行多类型病变全方位检测，通用性强；能够全面提高病变检出率和准确率，并且具有很高的灵活性和很强的可扩展性。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本发明的基于常态模型学习的乳腺X线图像病变检测方法的流程图；
图2示出了根据本发明实施例的乳腺区域预分割示意图；
图3示出了根据本发明实施例的初步乳腺外侧区域边界点示意图；
图4示出了根据本发明实施例的基于轮廓生长和多项式拟合的乳腺区域轮廓定位示意图；
图5示出了根据本发明实施例的乳腺内侧区域边界定位示意图；
图6示出了根据本发明实施例的从正常乳腺X线图像中提取出的20个方形图像块示意图；
图7示出了根据本发明实施例的肿块病变图像块提取示意图；
图8示出了根据本发明实施例的图像块亮度归一化示意图；
图9示出了根据本发明实施例的双重深度卷积神经网络模型结构示意图；
图10示出了根据本发明实施例的基于AlexNet的双重卷积神经网络内部细节结构示意图；
图11示出了根据本发明的实施例的基于常态模型学习的乳腺X线图像病变检测装置的方框图；
图12示出了能够实施本发明的实施例的示例性电子设备的方框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明中，采用深度学习技术，充分发挥医学影像大数据优势，以无监督方式学习医学影像的深层特征，建立健康人群医学影像表现常态模型，仅通过正常图像学习可用于病变检测的乳腺组织影像特征，能够检测多种类乳腺病变，通用性强，且具有很高的灵活性和很强的可扩展性。
图1示出了本发明实施例的基于常态模型学习的乳腺X线图像病变检测方法的流程图。
该方法包括：
S100、从乳腺X线图像中分割出乳腺区域，得到乳腺图像。
乳腺X线摄影常规投照体位包括头尾位(The craniocaudal projection,CC)及内外侧斜位(The mediolateral oblique projection,MLO)。CC位乳腺X线图像显示如下：乳房在片子的中央，乳头切线位，可见小部分胸大肌，内侧乳腺组织应全部包括在片中，外侧乳腺组织尽可能包括在片中。MLO位乳腺X线图像显示如下：乳房被推向前上，乳腺实质充分展开，胸大肌可见，较松弛，下缘达到乳头水平，乳头在切线位，部分腹壁包括在片中，但与下部乳腺分开，绝大部分乳腺实质显示在片中。乳腺组织外缘可见乳头的轮廓；乳腺后方的脂肪组织被很好地显示出来，乳房无皱褶。
从CC位图像分割乳腺区域，一般只需确定乳腺区域和背景之间的边界，去除背景；从MLO位图像分割乳腺区域，在去除背景之外，还需确定胸肌和乳腺组织之间的边界，去除胸肌。
而从乳腺X线图像中分割出乳腺区域，包括：
S110、通过灰度直方图的全局阈值化，对目标区域进行预分割，生成最大目标区域的外侧近似边界。
作为本发明的一种实施例，如图2(a)所示为一张原始的乳腺X线图像示意图。首先，采用基于灰度直方图的全局阈值化方法对乳腺区域进行近似分割。近似分割中所用的全局阈值由经高斯平滑后的灰度直方图中的两个峰值之间的谷值确定，如图2(b)中的实心点位置。两个峰值分别对应于乳腺X线图像的背景和乳腺组织区域。随后，使用二维高斯滤波器平滑阈值化后的二值图像得到的最大目标区域，并将该区域作为乳腺区域的近似掩模，如图2(d)、图2(e)所示。乳腺区域预分割后，得到目标区域的外侧近似边界，将其作为后续步骤的基础。
作为本实施例中的一种情形，如果图像背景不均匀，阈值化生成的二值图像会包含多个前景目标，如图2(c)所示，可采用连通区域标记算法去除背景中的标签和注释等小目标。
S120、对所述目标区域的外侧近似边界进行多尺度边缘检测，得到若干个初步乳腺外侧区域边界点，并拟合成乳腺外侧区域边界。
采用基于尺度空间的边缘检测技术改进上述近似分割结果。首先，在掩模边界上平均放置若干个点，例如40个点，如图3(a)所示；通过每个点绘制一条正交线，如图3(b)所示。然后，将正交线上的像素点与多尺度高斯核导数进行卷积，以搜索所有可能的乳腺区域边界点。为增加对低对比度乳腺区域边界的敏感性，使用一组小的尺度(σ＝{1,2,3})。多尺度边缘检测从最大的尺度开始执行以抑制噪声，到最小的尺度结束以提高精度。所得到的可能的乳腺区域边界点可通过检测卷积结果的最小值来获得，如图3(c)所示。
对上述得到的可能的乳腺区域边界点使用活动轮廓模型生成初步的乳腺区域边界。我们选择靠近水平方向的正交线作为起始线，根据边缘强度沿起始线向乳腺区域方向搜索活动轮廓种子点，将边缘强度最强的可能边界点作为种子点，如图4(a)所示。在选择第一个种子点后，根据典型的Snake模型公式，定义一个亮度、边缘强度和角度信息的加权函数，由该函数计算可能边界点的轮廓生长度量，当前种子点相邻正交线上的具有最小轮廓生长度量的可能边界点被选为新的种子点，直至获得40个种子点，轮廓生长结束，该40个种子点构成一个的初步的乳腺区域边界，如图4(b)所示。最终，使用三次多项式拟合，根据40个离散的乳腺区域边界点拟合产生一个平滑连续的轮廓作为乳腺区域边界，如图4(c)所示。
S130、根据基于区域生长的方法识别胸肌和乳腺组织边界，得到乳腺内侧区域边界。
使用基于区域增长的方法来识别胸肌和乳腺组织边界。本发明将种子点置于胸肌和乳腺组织的边界附近，而不是在胸肌内放置种子点。首先画一条斜率等于-1的直线，然后使用与前面描述相同的多尺度边缘检测方法在这条线上检测边缘点，使用包含边缘强度和边缘位置的量度来选择种子点，如图5(a)所示。之后，根据平均亮度相似性从种子点生长一个区域。本发明使用一个新的生长终止条件以避免不均匀胸肌区域造成的欠分割。区域增长从一个严格的亮度差异初始阈值开始，此阈值在区域增长的过程中迭代增加。当生成的区域几乎接近图像的边界时，增长过程停止，如图5(b)所示。最后，使用局部加权回归散点平滑技术来细化乳腺内侧区域边界，由此得到乳腺内侧区域边界，即胸肌边界，如图5(c)所示。
S140、所述乳腺外侧区域边界和所述乳腺内侧区域边界构成乳腺区域。最终的乳腺区域分割结果如图5(d)所示，其中背景和胸肌部分得到移除，剩余部分为所述乳腺外侧区域边界和所述乳腺内侧区域边界内部的区域，即乳腺区域。
S200、从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对图像块进行亮度归一化处理。
S210、正常区域图像块提取。
作为本发明的一种实施例，从每张正常乳腺X线图像的乳腺区域中随机提取300个大小为256×256像素的图像块，即正常图像块，作为训练和测试阶段的负样本。所述正常区域图像块中仅包含乳腺区域，且通过设置冗余阈值，使每两个正常区域图像块之间的冗余度不超过所述冗余阈值；即，此处最好仅选择完全位于乳腺区域内部的图像块，并限制图像块间的重叠程度以减少样本集的冗余度。从300个图像块中提取出20个图像块，如图6所示。
S220、病变区域图像块提取。
作为本发明的一种实施例，根据医学专家手工标注的病变位置，从异常乳腺X线图像中提取包含病变的方形图像块，即病变图像块，作为测试阶段的正样本。注意每个图像块只包含一处病变，图像块的大小由病变边界框的较大维度确定。提取图像块时，尽量将病变定位在图像块的中心，同时使图像块包含的背景最小；但位于乳房或图像边界附近的病变可以不位于提取的图像块的中心，以便最小化包含的背景。四种不同情况下提取肿块病变图像块的示例如图7所示，其中7(a)表示肿块病变边框的宽度大于高度的情况，图7(b)表示肿块病变边框的高度大于宽度的情况，图7(c)表示肿块病变位于乳腺外侧区域边界附近的情况，图7(d)表示肿块病变位于图像边界附近的情况。图中内部和外部边框分别代表原始的肿块病变边框和调整后的用于图像块提取的方形边框。需要注意的是，在此使用调整后的方形边框提取病变图像块而非直接使用病变边框，目的是当调整病变图像块为适合CNN模型的指定大小的方形图像块时，可以保证肿块等病变的原始形状和形态不受改变。
S230、对图像块进行亮度归一化处理。
本发明收集的乳腺X线图像来自于不同采集单位在不同时期采集的图像，因受图像采集外界环境和设备参数设置的影响，数据集中的乳腺X线图像的整体亮度分布存在很大差异，需要对提取出的图像块进行亮度归一化处理，以减少CNN模型对亮度变化的敏感度。本发明采用最大最小归一化方法，将图像的亮度线性转换到[0,1]的范围，亮度的最小值转换为0，亮度的最大值转换为1，亮度的最小值和最大值取自整个训练集而非单张图像块。图6中的20个正常图像块的亮度归一化结果如图8(a)所示。图7中提取的4个肿块病变图像块的亮度归一化结果如图8(b)。
S300、将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型。
如图9所示为双重深度卷积神经网络模型结构示意图。
所述双重深度卷积神经网络模型包括并联的两个结构相同的CNN，即参考网络(R)和目标网络(T)；所述参考网络由参考数据集(r)进行训练，所述目标网络由目标数据集(t)进行训练；所述参考数据集为ImageNet数据集，所述目标数据集为正常的乳腺X线图像数据；每个CNN由特征提取子网(g)和分类子网(hc)组成，并通过两个子网联合训练。参考网络(R)和目标网络(T)可选用AlexNet网络。
本发明的训练过程采用微调策略，特征提取子网(g)被进一步分成一个共享特征网络(gs)和一个学习特征网络(gl)。在加载预训练模型权值后，gs的权值(ws)在训练期间处于冻结状态，而gl和hc的权值(wl和wc)通过反向传播进行训练。
网络最初计算两个损失值，即描述性损失lD和紧密性损失lC，分别由R和T计算输出。lD和lC的定义主要用于评价所学的特征的类间区分度和类内差异。之后，由lD和lC计算组合损失(l)。网络最终根据组合损失进行反向传播并使用梯度下降法更新权值。两个并联网络对应部分的权值在训练过程中相互捆绑，一个更新即联动另一个更新，二者始终保持一致。
如图10所示为基于AlexNet的双重卷积神经网络内部细节结构示意图。所述分类子网由一个全连接层和损失层组成；所述特征提取子网由5个卷积层(conv1-conv5)和2个全连接层(fc6、fc7)组成，且每个卷积层和全连接层后设置ReLU激活层(relu1-relu7)，在每个卷积层和其后的ReLU激活层之间以及每个全连接层与其后的ReLU激活层之间设置批标准化层bn(bn1-bn7)；所述5个卷积层中的第一卷积层(conv1)、第二卷积层(conv2)和第五卷积层(conv5)后的ReLU激活层(relu1、relu2、relu5)连接池化层(pool1、pool2、pool5)；所述2个全连接层(fc6、fc7)后的ReLU激活层(relu6、relu7)连接丢弃层(dropout6、dropout7)；以所述特征提取子网的最后一个全连接层(fc7)的输出作为训练图像和测试图像的特征表示。
在训练阶段，双重深度卷积神经网络模型输出的损失值为组合损失；
所述组合损失为：
l(r,t)＝αlD(r)+βlC(t)
其中，α和β是取值在[0，1]的常数，表示描述性损失和紧密性损失之间的权重；r和t分别代表所述参考数据集和目标数据集；lD为描述性损失；lC为紧密性损失；
所述描述性损失lD，用于评价所学特征描述不同概念的能力，通过参考网络R的损失层的softmax函数相对于参考数据集r计算得到的交叉熵来度量；假设参考数据集r包括nclass类样本，多类交叉熵可计算为：
其中，yc为样本的真实类别，样本属于该类别，则yc值为1，否则为0；pc为softmax层第c个单元的输出，表示样本属于第c个类别的概率；通过计算批内n个样本交叉熵的平均值，表示描述性损失lD：
所述紧密性损失lC，用于评价所学特征的类内相似性，通过目标网络T的损失层根据目标数据集t计算得到；假设X＝{x1,x2,…,xn}为损失函数的输入，其中n是输入的批大小，是给定批次的第i个样本产生的特征向量，k是xi的维度，xi与X中其它向量的平方欧氏距离di定义为：
di＝‖xi-mi‖2
其中，mi为X中除xiX外的所有向量的平均向量，
di相对于mi的平方欧氏范数的平方欧氏距离定义为：
计算批内所有特征向量的相对平方欧氏距离的平均值，表示所述紧密性损失lC：
首先，使用预训练好的CNN模型权值初始化参考网络(R)和目标网络(T)，网络模型为具有批标准化的AlexNet网络，预训练在ImageNet数据库上完成。如上文所述，R和T的结构完全一致，因此，R和T由相同的AlexNet网络的预训练权值进行初始化。
训练期间，对网络进行微调，冻结所有前4个卷积层(conv1-conv4)的权值，仅训练最后一个卷积层(conv5)和后面的3个全连接层(fc6-fc8)。训练采用带动量的随机梯度下降(Stochastic Gradient Descent with Momentum,SGDG)优化算法，旨在最小化描述性损失(lD)和紧密性损失(lC)组成的组合损失(l)。momentum设置为0.9，weight_decay设置为0.0005，初始学习率为5×10-5。学习率遵循逆衰减策略(gamma＝0.0001，power＝0.75)。批处理大小为32。通过对网络的最后4层设置不同的学习率系数，可对R和T使用不同的学习率(R的lr_mult＝1.0，T的lr_mult＝0.01)。总共进行104次反向传播迭代。
本发明建议的双重卷积神经网络可在Caffe深度学习框架实现，使用NVIDIAGeForce GTX 1080或以上GPU进行网络训练和测试。
S400、首先，从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量。将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量。
将训练好的CNN网络的全连接层fc7的输出作为特征使用。为提高网络测试，即病变检测的效率，从训练集中随机选取40张图像作为正常图像的模板，模板图像尽量来自不同的女性。
S500、将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
采用最近邻分类器来执行一类分类。
首先，使用训练好的CNN模型对选取的模板和测试集中待测的图像块进行特征提取。随后，计算测试图像与模板的特征向量之间的距离。本发明使用欧式距离，但也可以使用其它距离度量，如余弦距离、马氏距离等。
对于一类分类，最近邻分类器会输出一个分数用来表示给定图像块属于正常类别的可能性，该分数基于给定图像块和所有模板之间的最短距离来计算。
最后，设置一个分数阈值进行分类决策，大于阈值的，检测结果判断为正常；反之，低于阈值的，判断为异常，即得到病变的检测结果。
根据本发明的实施例，采用深度学习技术，充分发挥医学影像大数据优势，以无监督方式学习医学影像的深层特征，建立健康人群医学影像表现常态模型，仅通过正常图像学习可用于病变检测的乳腺组织影像特征，能够检测多种类乳腺病变，进行多类型病变全方位检测，通用性强；能够全面提高病变检出率和准确率，并且具有很高的灵活性和很强的可扩展性。
综合国内外医学影像计算机辅助诊断领域的最新研究进展、研究热点和亟待解决的关键技术问题，本发明提出了一种建立乳腺组织影像常态模型并利用其进行病变检测的新方法。采用国际前沿的深度学习技术，充分发挥医学影像大数据优势，以无监督方式学习医学影像的深层特征，建立健康人群医学影像表现常态模型，代替传统的集中于病变特征提取、人工设计病变特征库的方法。
本发明第一次尝试利用深度卷积神经网络仅从正常图像学习可用于病变检测的乳腺组织影像特征，有望为医学影像各类疾病的计算机辅助检测和诊断提供一个新的思路，打破现有技术病变检测种类单一、通用性差的局限性。
目前我国乳腺癌筛查工作已在多个地区陆续启动，推广大规模人口乳腺癌普查势在必行的实际国情，本发明将真正帮助更多的医生和患者对乳腺病变做到早发现、早诊断、早治疗，并为大规模随访和回顾性研究提供新的数据分析方案。本项发明成果可开发成医学影像智能诊断系统产品，产业化前景十分广阔，具有很好的经济及社会效益。
此外，本发明提出的病变检测方法具有很高的灵活性和很强的扩展性，也将为分析和理解其他模式医学影像(例如MRI)，检查和诊断其他疾病提供宝贵的借鉴经验。更可推广用于各类工业产品的缺陷检测。所提出的病变检测方法具有检测微小病变的能力，特别适用于高精密产品的细微缺陷检测，提高缺陷检测精度，可应用于装备制造、航空航天、节能环保等各个领域产品的生产，保证产品质量，提高经济效益。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图11所示，装置1100包括：
分割模块1110，用于从乳腺X线图像中分割出乳腺区域，得到乳腺图像；
提取模块1120，用于从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对所述图像块进行亮度归一化处理；
模型训练模块1130，用于将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型；
特征提取模块1140，包括第一特征提取模块1141和第二特征提取模块1142，其中所述第一特征提取模块1141，用于从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量；所述第二特征提取模块1142，用于将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量；
分类决策模块1150，用于将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图12所示，电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。电子设备中还包括GPU，用于执行深度卷积神经网络的训练与测试。CPU、GPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
电子设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理，例如方法S100～S500。例如，在一些实施例中，方法S100～S500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S100～S500的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S100～S500。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (9)

1.一种基于常态模型学习的乳腺X线图像病变检测方法，其特征在于，包括：
从乳腺X线图像中分割出乳腺区域，得到乳腺图像；
从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对图像块进行亮度归一化处理；
将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型，在训练阶段，双重深度卷积神经网络模型输出的损失值为组合损失；
所述组合损失为：
l(r,t)＝αlD(r)+βlC(t)
其中，α和β是取值在[0，1]的常数，表示描述性损失和紧密性损失之间的权重；r和t分别代表参考数据集和目标数据集；lD为描述性损失；lC为紧密性损失；
所述描述性损失lD，用于评价所学特征描述不同概念的能力，通过参考网络R的损失层的softmax函数相对于参考数据集r计算得到的交叉熵来度量；多类交叉熵可计算为：
其中，yc为样本的真实类别，样本属于该类别，则yc值为1，否则为0；nclass为参考数据集r的样本类数；pc为softmax层第c个单元的输出，表示样本属于第c个类别的概率；通过计算批内n个样本交叉熵的平均值，表示描述性损失lD：
所述紧密性损失lC，用于评价所学特征的类内相似性，通过目标网络T的损失层根据目标数据集t计算得到；X＝{x1,x2,…,xn}为损失函数的输入，其中n是输入的批大小，是给定批次的第i个样本产生的特征向量，k是xi的维度，xi与X中其它向量的平方欧氏距离定义为：
di＝||xi-mi||2
其中，mi为X中除xi外的所有向量的平均向量，
di相对于mi的平方欧氏范数的平方欧氏距离定义为：
计算批内所有特征向量的相对平方欧氏距离的平均值，表示所述紧密性损失lC：
从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量；将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量；
将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
2.根据权利要求1所述的方法，其特征在于，所述从乳腺X线图像中分割出乳腺区域，包括：
通过灰度直方图的全局阈值化，对目标区域进行预分割，生成最大目标区域的外侧近似边界；
对所述目标区域的外侧近似边界周围进行多尺度边缘检测，得到若干个初步乳腺外侧区域边界点，并拟合成乳腺外侧区域边界；
根据基于区域生长的方法识别胸肌和乳腺组织边界，得到乳腺内侧区域边界；
所述乳腺外侧区域边界和所述乳腺内侧区域边界构成乳腺区域。
3.根据权利要求2所述的方法，其特征在于，所述通过灰度直方图的全局阈值化，对目标区域进行预分割，生成目标区域的外侧近似边界，包括：
对灰度直方图进行高斯平滑处理，并根据高斯平滑处理后的灰度直方图选取全局阈值，对乳腺X线图像进行全局阈值化，得到二值图像；其中灰度直方图的两个峰值分别对应于乳腺X线图像的背景和乳腺组织区域，两个峰值之间的谷值为全局阈值；
通过二维高斯滤波器对所述二值图像进行平滑处理，得到最大目标区域，将所述最大目标区域作为乳腺区域的近似掩模，得到所述最大目标区域的外侧近似边界；
所述对所述目标区域的外侧近似边界周围进行多尺度边缘检测，得到若干个初步乳腺外侧区域边界点，并拟合成乳腺外侧区域边界，包括：
在所述最大目标区域的外侧近似边界上均匀放置若干个点，通过每个点绘制一条正交线；
将每条正交线上的像素点与多尺度高斯核导数进行卷积，每条正交线得到若干个可能的乳腺区域边界点；
将得到的可能的乳腺区域边界点使用活动轮廓模型生成初步乳腺外侧区域边界点；
利用三次多项式拟合，将若干个离散的初步乳腺外侧区域边界点拟合成一个平滑连续的轮廓，作为乳腺外侧区域边界；
所述根据基于区域增长的方法识别胸肌和乳腺组织边界，得到乳腺内侧区域边界，包括：
利用一条斜率为-1的直线，通过多尺度边缘检测方法在该直线上检测边缘点，使用包含边缘强度和边缘位置的量度来选择种子点；所述种子点置于胸肌和乳腺组织的边界附近；
根据平均亮度相似性从所述种子点进行区域生长；所述区域生长从一个亮度差异初始阈值开始，所述亮度差异初始阈值在所述区域生长过程中迭代增加，当生成的区域接近图像边界时，停止区域生长，得到区域生长结果；
利用局部加权回归散点平滑方法对所述区域生长结果进行胸肌边界细化，得到乳腺内侧区域边界。
4.根据权利要求1所述的方法，其特征在于，所述正常区域图像块中仅包含乳腺区域，且通过设置冗余阈值，使每两个正常区域图像块之间的冗余度不超过所述冗余阈值；
每个病变区域图像块中只包含一处病变区域，使病变区域处于其所在图像块的中心位置，且使该图像块包含的背景最小。
5.根据权利要求1所述的方法，其特征在于，所述双重深度卷积神经网络模型包括并联的两个结构相同的CNN，即参考网络和目标网络；所述参考网络由参考数据集进行训练，所述目标网络由目标数据集进行训练；所述参考数据集为ImageNet数据集，所述目标数据集为正常的乳腺X线图像数据；
每个CNN由特征提取子网和分类子网组成，并通过两个子网联合训练；所述分类子网由一个全连接层和损失层组成；所述特征提取子网由5个卷积层和2个全连接层组成，且每个卷积层和全连接层后设置ReLU激活层，在每个卷积层和其后的ReLU激活层之间以及每个全连接层与其后的ReLU激活层之间设置批标准化层；所述5个卷积层中的第一卷积层、第二卷积层和第五卷积层后的ReLU激活层连接池化层；所述2个全连接层后的ReLU激活层连接丢弃层；
以所述特征提取子网的最后一个全连接层的输出作为训练图像和测试图像的特征表示。
6.根据权利要求1所述的方法，其特征在于，所述将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果，包括：
计算所述模板图像和测试图像的特征向量之间的距离，得到所述测试图像的特征向量与所有模板图像中特征向量的最短距离；判断所述最短距离是否小于预设的距离阈值，如果是，则所述测试图像为正常乳腺图像；否则，所述测试图像为病变图像。
7.一种基于常态模型学习的乳腺X线图像病变检测装置，其特征在于，包括：
分割模块，用于从乳腺X线图像中分割出乳腺区域，得到乳腺图像；
提取模块，用于从所述乳腺图像中的乳腺区域内提取若干个正常区域图像块和病变区域图像块，并对所述图像块进行亮度归一化处理；
模型训练模块，用于将归一化后的一部分正常区域图像块作为训练集，输入到双重深度卷积神经网络模型进行训练，将训练后的双重深度卷积神经网络模型作为常态模型，在训练阶段，双重深度卷积神经网络模型输出的损失值为组合损失；
所述组合损失为：
l(r,t)＝αlD(r)+βlC(t)
其中，α和β是取值在[0，1]的常数，表示描述性损失和紧密性损失之间的权重；r和t分别代表参考数据集和目标数据集；lD为描述性损失；lC为紧密性损失；
所述描述性损失lD，用于评价所学特征描述不同概念的能力，通过参考网络R的损失层的softmax函数相对于参考数据集r计算得到的交叉熵来度量；多类交叉熵可计算为：
其中，yc为样本的真实类别，样本属于该类别，则yc值为1，否则为0；nclass为参考数据集r的样本类数；pc为softmax层第c个单元的输出，表示样本属于第c个类别的概率；通过计算批内n个样本交叉熵的平均值，表示描述性损失lD：
所述紧密性损失lC，用于评价所学特征的类内相似性，通过目标网络T的损失层根据目标数据集t计算得到；X＝{x1,x2,…,xn}为损失函数的输入，其中n是输入的批大小，是给定批次的第i个样本产生的特征向量，k是xi的维度，xi与X中其它向量的平方欧氏距离定义为：
di＝||xi-mi||2
其中，mi为X中除xi外的所有向量的平均向量，
di相对于mi的平方欧氏范数的平方欧氏距离定义为：
计算批内所有特征向量的相对平方欧氏距离的平均值，表示所述紧密性损失lC：
特征提取模块，包括第一特征提取模块和第二特征提取模块，其中所述第一特征提取模块，用于从训练集中选择若干图像块作为模板，输入到所述常态模型进行特征提取，并将提取到的特征向量作为模板图像的特征向量；所述第二特征提取模块，用于将包含病变区域的图像块和未用于模型训练的正常区域图像块作为测试集，输入到所述常态模型进行特征提取，得到测试图像的特征向量；
分类决策模块，用于将模板图像和测试图像的特征向量输入到最近邻分类器执行一类分类，得到所述测试图像的测试结果。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN202011010216.8A 2020-09-23 2020-09-23 基于常态模型学习的乳腺x线图像病变检测方法和装置 Active CN112132808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011010216.8A CN112132808B (zh) 2020-09-23 2020-09-23 基于常态模型学习的乳腺x线图像病变检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011010216.8A CN112132808B (zh) 2020-09-23 2020-09-23 基于常态模型学习的乳腺x线图像病变检测方法和装置

Publications (2)

Publication Number Publication Date
CN112132808A CN112132808A (zh) 2020-12-25
CN112132808B true CN112132808B (zh) 2023-11-07

Family

ID=73841670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011010216.8A Active CN112132808B (zh) 2020-09-23 2020-09-23 基于常态模型学习的乳腺x线图像病变检测方法和装置

Country Status (1)

Country Link
CN (1) CN112132808B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052043B (zh) * 2021-03-17 2024-06-07 深圳荆虹科技有限公司 一种降低误检率的手部检测方法及装置
CN113658146B (zh) * 2021-08-20 2022-08-23 合肥合滨智能机器人有限公司 一种结节分级方法、装置、电子设备及存储介质
EP4152255A1 (en) * 2021-09-15 2023-03-22 Siemens Healthcare GmbH System and method for differentiating a tissue of interest from another part of a medical scanner image
CN113808101B (zh) * 2021-09-16 2023-11-21 什维新智医疗科技(上海)有限公司 一种乳腺结节钙化分析装置
CN114463345A (zh) * 2021-12-20 2022-05-10 中国科学院深圳先进技术研究院 基于动态自适应网络的多参数乳腺磁共振图像分割方法
CN117152106A (zh) * 2023-09-13 2023-12-01 厦门良医真选健康科技有限公司 基于深度学习的生物活性检测方法及装置
CN117725483A (zh) * 2023-09-26 2024-03-19 电子科技大学 一种基于神经网络的有监督的信号分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276461A (zh) * 2008-03-07 2008-10-01 北京航空航天大学 一种利用边缘特征的视频文本增强方法
CN101315631A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种新闻视频故事单元关联方法
CN101576899A (zh) * 2009-06-16 2009-11-11 东软集团股份有限公司 一种对数字化医学图像进行检索的方法和装置
CN101655983A (zh) * 2008-08-18 2010-02-24 索尼（中国）有限公司 主颜色提取装置和方法
CN106326931A (zh) * 2016-08-25 2017-01-11 南京信息工程大学 基于深度学习的乳腺钼靶图像自动分类方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276461A (zh) * 2008-03-07 2008-10-01 北京航空航天大学 一种利用边缘特征的视频文本增强方法
CN101315631A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种新闻视频故事单元关联方法
CN101655983A (zh) * 2008-08-18 2010-02-24 索尼（中国）有限公司 主颜色提取装置和方法
CN101576899A (zh) * 2009-06-16 2009-11-11 东软集团股份有限公司 一种对数字化医学图像进行检索的方法和装置
CN106326931A (zh) * 2016-08-25 2017-01-11 南京信息工程大学 基于深度学习的乳腺钼靶图像自动分类方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109902682A (zh) * 2019-03-06 2019-06-18 太原理工大学 一种基于残差卷积神经网络的乳腺x线图像检测方法

Also Published As

Publication number Publication date
CN112132808A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132808B (zh) 基于常态模型学习的乳腺x线图像病变检测方法和装置
Xian et al. Automatic breast ultrasound image segmentation: A survey
Halder et al. Lung nodule detection from feature engineering to deep learning in thoracic CT images: a comprehensive review
Rouhi et al. Classification of benign and malignant breast tumors based on hybrid level set segmentation
USRE43152E1 (en) Method and apparatus for segmenting small structures in images
Xian et al. A benchmark for breast ultrasound image segmentation (BUSIS)
CN109584209B (zh) 血管壁斑块识别设备、系统、方法及存储介质
Lei et al. Brain tumor segmentation in MR images using a sparse constrained level set algorithm
Liu et al. Automated breast tumor detection and segmentation with a novel computational framework of whole ultrasound images
Jeyavathana et al. A survey: analysis on pre-processing and segmentation techniques for medical images
CN111695644B (zh) 基于光密度变换的肿瘤超声图像分类方法、装置及介质
CN105279759A (zh) 结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法
Yan et al. Automated breast cancer detection in mammography using ensemble classifier and feature weighting algorithms
Moreno et al. Study of medical image processing techniques applied to lung cancer
Jiang et al. Segmentation of prostate ultrasound images: the state of the art and the future directions of segmentation algorithms
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Li et al. What can machine vision do for lymphatic histopathology image analysis: A comprehensive review
Zawish et al. Brain tumor segmentation through region-based, supervised and unsupervised learning methods: A literature survey
CN117392093A (zh) 一种基于全局多尺度残差U-HRNet网络的乳腺超声医学图像分割算法
Hefnawy An improved approach for breast cancer detection in mammogram based on watershed segmentation
Chong et al. Segmenting nodules of lung tomography image with level set algorithm and neural network
Sharma et al. Review paper on brain tumor detection using pattern recognition techniques
Song et al. Liver segmentation based on SKFCM and improved GrowCut for CT images
Kalsoom et al. An efficient liver tumor detection using machine learning
Hong et al. A fast density peak clustering algorithm optimized by uncertain number neighbors for breast MR image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant