CN107133933B - 基于卷积神经网络的乳腺x线图像增强方法 - Google Patents

基于卷积神经网络的乳腺x线图像增强方法 Download PDF

Info

Publication number
CN107133933B
CN107133933B CN201710326990.1A CN201710326990A CN107133933B CN 107133933 B CN107133933 B CN 107133933B CN 201710326990 A CN201710326990 A CN 201710326990A CN 107133933 B CN107133933 B CN 107133933B
Authority
CN
China
Prior art keywords
neural network
mammary
training
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710326990.1A
Other languages
English (en)
Other versions
CN107133933A (zh
Inventor
何基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Haizhao Yinfeng Information Technology Co ltd
Original Assignee
Guangzhou Haizhao Yinfeng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Haizhao Yinfeng Information Technology Co ltd filed Critical Guangzhou Haizhao Yinfeng Information Technology Co ltd
Priority to CN201710326990.1A priority Critical patent/CN107133933B/zh
Publication of CN107133933A publication Critical patent/CN107133933A/zh
Application granted granted Critical
Publication of CN107133933B publication Critical patent/CN107133933B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于卷积神经网络的乳腺X线图像增强方法，该发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。

Description

基于卷积神经网络的乳腺X线图像增强方法
技术领域
本发明涉及X线图像处理技术领域，特别是涉及一种基于卷积神经网络的乳腺X线图像增强方法。
背景技术
乳腺X线摄影作为常规乳腺检查的影像学手段，已被临床医生广泛应用于乳腺癌的筛查和诊断。但直接由探测器生成的图像量子噪声大，对比度低，无法直接用于乳腺癌的筛查与诊断。如何对原始乳腺X线图像进行增强，突出图像中的有用信息，有效改善乳腺图像的视觉效果，为医生提供更为可靠的诊断依据，已经成为医学图像处理领域研究的关键技术。
到目前为止，已有多种增强算法用于提高乳腺X线图像的图像质量，比如基于滤波的方法、基于直方图均衡化的方法、基于小波变换或者基于模糊集的方法。方法可以大致分为两种：空间域方法和变换域方法。
基于空间域处理的滤波或直方图均衡化方法由于缺乏对噪声与对比度的权衡处理能力，导致处理结果通常会引入各种伪影，如拖尾效应或褪色效应从而使得图像整体表现不好，并且由于乳腺图像的超低对比度，此类方法对乳腺图像的增强效果有限。
变换域处理法增强效果与所选用的频域变换法有很大关系，并且变换过程参数多，难以确定一组普适参数，导致对不同图像的增强效果良莠不齐，虽然可以通过调节参数最终改善图像质量，但是还是不能够满足临床中实时交互的要求。
因此，针对现有技术不足，提供一种基于卷积神经网络的乳腺X线图像增强方法以解决现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于卷积神经网络的乳腺X线图像增强方法，该基于卷积神经网络的乳腺X线图像增强方法，本发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。
本发明的上述目的通过如下技术手段实现。
提供基于卷积神经网络的乳腺X线图像增强方法，图像增强方法包括以下步骤：
A1、构建训练数据库；
A2、进行单尺度乳腺图像增强卷积神经网络训练；
A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理；
A4、进行多尺度乳腺图像增强级联卷积神经网络训练；
A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。
具体而言的，步骤A1中构建训练数据库的方法如下：
A11、获取乳腺X线图像数据，包括低对比原始图像数据Ilc和增强图像数据Ihc；
A12、对步骤A11中获取的原始图像数据Ilc和Ihc进行标准化处理，得到
Figure BDA0001291476910000031
和
Figure BDA0001291476910000032
A13、通过步骤A12中处理后得到的
Figure BDA0001291476910000033
和
Figure BDA0001291476910000034
进行训练数据库DataBase的构建。
优选的，其特征在于：标准化的具体操作根据以下公式进行：
Figure BDA0001291476910000035
Figure BDA0001291476910000036
公式(1)中：
Figure BDA0001291476910000037
为Ilc的均值，Mpreset是预先设定的均值；
公式(2)中：
Figure BDA0001291476910000038
为I′lc的标准差值，
Figure BDA0001291476910000039
为Ilc标准化处理后得到的值。
具体而言的，步骤A2的具体操作步骤如下：
A21、在训练数据库DataBase中取出
Figure BDA00012914769100000310
和
Figure BDA00012914769100000311
训练数据；
A22、构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型；
A23、将
Figure BDA00012914769100000312
和
Figure BDA00012914769100000313
作为输入数据放入卷积神经网络模型EhNet中的训练模型。
进一步的，步骤A3的具体操作步骤如下：
A31、获取原始低对比乳腺X线图像Ilc_test；
A32、将步骤A31中的原始低对比乳腺X线图像Ilc_test进行标准化操作，得到
Figure BDA0001291476910000041
A33、将步骤A32中的得到的
Figure BDA0001291476910000042
作为输入数据，在训练好的卷积神经网络模型EhNet中进行处理，得到的输出数据为
Figure BDA0001291476910000043
A34、对步骤A33中的输出数据
Figure BDA0001291476910000044
进行反标准化处理，得到增强图像Ihc_test。
进一步的，所述反标准化处理为标准化处理的逆处理。
优选的，步骤A4的具体操作步骤如下：
A41、对
Figure BDA0001291476910000045
和
Figure BDA0001291476910000046
进行K次降采样操作，获得降采样数据
Figure BDA0001291476910000047
和
Figure BDA0001291476910000048
并将
Figure BDA0001291476910000049
和
Figure BDA00012914769100000410
加入训练数据库DataBase,令
Figure BDA00012914769100000411
为
Figure BDA00012914769100000412
A42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，多尺度乳腺图像增强级联卷积神经网络模型CaEhNet包含K+1个单尺度卷积神经网络模型EhNet0,EhNet1,…,EhNetK；
A43、令k＝K，并从训练数据库DataBase中取出降采样数据
Figure BDA00012914769100000413
Figure BDA00012914769100000414
并输入到EhNetk的训练模型中训练；
A44、将训练数据库DataBase中第k次降采样数据
Figure BDA00012914769100000415
作为输入放进训练好的卷积神经网络模型EhNetk中得到输出
Figure BDA00012914769100000416
A45、将步骤A44中的
Figure BDA0001291476910000051
进行升采样操作得到
Figure BDA0001291476910000052
并加入训练数据库DataBase；
A46、k若等于0，则停止多尺度级联网络训练；若不等于0，则令k减1；此时，若k不等于K，则从训练数据库DataBase中取出数据
Figure BDA0001291476910000053
并返回步骤A43进行下一尺度的卷积神经网络EhNetk-1模型训练。
进一步的，所述降采样操作根据以下公式进行操作：
Figure BDA0001291476910000054
公式(3)中
Figure BDA0001291476910000055
为矩阵M×N的维度。
优选的，所述升采样操作为双线性插值或三次B样条差值。
优选的，步骤A5的具体操作步骤如下：
A51、将步骤A32中的
Figure BDA0001291476910000056
进行K次降采样操作的到降采样数据
Figure BDA0001291476910000057
A52、将A51中的
Figure BDA0001291476910000058
输入至训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中，得到输出数据
Figure BDA0001291476910000059
A53、对A52中的
Figure BDA00012914769100000510
进行反标准化处理，得到增强图像Ihc_test。
本发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明基于卷积神经网络的乳腺X线图像增强方法的系统框图。
图2是图1中单尺度乳腺图像增强卷积神经网络训练的系统流程图。
图3是图2的单尺度乳腺图像增强卷积神经网络构架示意图。
图4是图1中多尺度乳腺图像增强卷积神经网络训练的系统流程图。
图5是图4中多尺度乳腺图像增强卷积神经网络训练的级联网络的示意图。
图6是图5中级联网络的基本单元示意图。
图7是根据本发明图像处理的方法显示的部分特征示意图。
图8为实施例2中输入原始低对比度乳腺X线图像进行增强处理时的输入图像和最终增强处理输出的图像对比图。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1。
如图1-6所示，基于卷积神经网络的乳腺X线图像增强方法，图像增强方法包括以下步骤：
A1、构建训练数据库。
A2、进行单尺度乳腺图像增强卷积神经网络训练。
A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。
A4、进行多尺度乳腺图像增强级联卷积神经网络训练。
A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。
步骤A1中构建训练数据库的方法如下：
A11、获取乳腺X线图像数据，包括低对比原始图像数据Ilc和增强图像数据Ihc。
A12、对步骤A11中获取的原始图像数据Ilc和Ihc进行标准化处理，得到
Figure BDA0001291476910000071
和
Figure BDA0001291476910000072
A13、通过步骤A12中处理后得到的
Figure BDA0001291476910000073
和
Figure BDA0001291476910000074
进行训练数据库DataBase的构建。
标准化的具体操作根据以下公式进行：
Figure BDA0001291476910000075
Figure BDA0001291476910000076
公式(1)中：
Figure BDA0001291476910000081
为Ilc的均值，Mpreset是预先设定的均值。
公式(2)中：
Figure BDA0001291476910000082
为I′lc的标准差值，
Figure BDA0001291476910000083
为Ilc标准化处理后得到的值。所述反标准化处理为标准化处理的逆处理。
步骤A2的具体操作步骤如下：
A21、在训练数据库DataBase中取出
Figure BDA0001291476910000084
和
Figure BDA0001291476910000085
训练数据。
A22、构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型。
A23、将
Figure BDA0001291476910000086
和
Figure BDA0001291476910000087
作为输入数据放入卷积神经网络模型EhNet中的训练模型。
步骤A3的具体操作步骤如下：
A31、获取原始低对比乳腺X线图像Ilc_test。
A32、将步骤A31中的原始低对比乳腺X线图像Ilc_test进行标准化操作，得到
Figure BDA0001291476910000088
A33、将步骤A32中的得到的
Figure BDA0001291476910000089
作为输入数据，在训练好的卷积神经网络模型EhNet中进行处理，得到的输出数据为
Figure BDA00012914769100000810
A34、对步骤A33中的输出数据
Figure BDA00012914769100000811
进行反标准化处理，得到增强图像Ihc_test。
步骤A4的具体操作步骤如下：
A41、对
Figure BDA00012914769100000812
和
Figure BDA00012914769100000813
进行K次降采样操作，获得降采样数据
Figure BDA00012914769100000814
和
Figure BDA00012914769100000815
并将
Figure BDA00012914769100000816
和
Figure BDA00012914769100000817
加入训练数据库DataBase,令
Figure BDA00012914769100000818
为
Figure BDA00012914769100000819
A42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，多尺度乳腺图像增强级联卷积神经网络模型CaEhNet包含K+1个单尺度卷积神经网络模型EhNet0,EhNet1,…,EhNetK。
A43、令k＝K，并从训练数据库DataBase中取出降采样数据
Figure BDA0001291476910000091
Figure BDA0001291476910000092
并输入到EhNetk的训练模型中训练。
A44、将训练数据库DataBase中第k次降采样数据
Figure BDA0001291476910000093
作为输入放进训练好的卷积神经网络模型EhNetk中得到输出
Figure BDA0001291476910000094
A45、将步骤A44中的
Figure BDA0001291476910000095
进行升采样操作得到
Figure BDA0001291476910000096
并加入训练数据库DataBase。
A46、k若等于0，则停止多尺度级联网络训练；若不等于0，则令k减1；此时，若k不等于K，则从训练数据库DataBase中取出数据
Figure BDA0001291476910000097
并返回步骤A43进行下一尺度的卷积神经网络EhNetk-1模型训练。
所述降采样操作根据以下公式进行操作：
Figure BDA0001291476910000098
公式(3)中
Figure BDA0001291476910000099
为矩阵M×N的维度。
所述升采样操作为双线性插值或三次B样条差值。
步骤A5的具体操作步骤如下：
A51、将步骤A32中的
Figure BDA00012914769100000910
进行K次降采样操作的到降采样数据
Figure BDA00012914769100000911
A52、将A51中的
Figure BDA00012914769100000912
输入至训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中，得到输出数据
Figure BDA0001291476910000101
A53、对A52中的
Figure BDA0001291476910000102
进行反标准化处理，得到增强图像Ihc_test。
使用深度卷积神经网络进行乳腺X线图像的增强处理，可以增强图形图像的整体表现性，解决了乳腺图像的超低对比度图像的增强时所受到的限制。并结合多尺度级联方式进行乳腺X线图像的增强处理，能够使乳腺图片在频繁的进行更换和处理过程中，保证不同图像增强效果的稳定，以满足临床中的实时交互的需求。
实施例2。
一种基于卷积神经网络的乳腺X线图像增强方法，其它特征与实施例1相同，不同之处在于：如图7和8所示；
A1、构建训练数据库。
S11、获取乳腺X线摄影装置的原始低对比度图像Ilc以及所对应的增强图像Ihc，获取的数据包括30个病人的左右乳腺CC位图像和MLO位图像共240＝30×4×2张图像，其中原始低对比度图像120张；增强图像120张；低对比度图像与对应的增强图像空间位置与结构信息一致；图像像素尺寸为0.0652mm，图像大小为3328×2560。
S12、对步骤S11中获取的原始低对比度图像Ilc以及所对应的增强图像Ihc进行标准化，得到标准化后的图像
Figure BDA0001291476910000103
和
Figure BDA0001291476910000104
S13、标准化处理后的数据
Figure BDA0001291476910000105
构成训练数据库DataBase。
A2、进行单尺度乳腺图像增强卷积神经网络训练；
S21、从步骤S13中的训练数据库DataBase中取出
Figure BDA0001291476910000111
训练数据。
S22构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型。EhNet卷积神经网络模型输入为原始低对比度图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化(batch normalization)操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化(batch normalization)操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化(batchnormalization)操作；训练模型的目标函数可为预测的增强图像与参考增强图像之间的均方误差。卷积神经网络的训练采用随机梯度下降算法最小化目标函数完成。
S23、将
Figure BDA0001291476910000112
作为输入放进卷积神经网络模型EhNet中的训练模型进行训练。
A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。
S31、获取原始低对比度乳腺X线图像Ilc_test；Ilc_test不存在于训练数据库DataBase中；但是DataBase中的数据格式一致。
S32、对步骤S31中原始低对比度乳腺X线图像Ilc_test进行标准化操作得到
Figure BDA0001291476910000113
S33、将步骤S32中的
Figure BDA0001291476910000114
作为输入放进训练好的卷积神经网络模型EhNet中得到输出
Figure BDA0001291476910000121
S34、对步骤S33中的
Figure BDA0001291476910000122
进行反标准化操作得到最终增强图像Ihc_test。
A4、进行多尺度乳腺图像增强级联卷积神经网络训练。
S41、对
Figure BDA0001291476910000123
进行3次降采样操作得到降采样数据
Figure BDA0001291476910000124
并加入训练数据库DataBase，并改记
Figure BDA0001291476910000125
Figure BDA0001291476910000126
为
Figure BDA0001291476910000127
S42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，其中CaEhNet包含4个单尺度卷积神经网络模型EhNet0,EhNet1,EhNet2,EhNet3；EhNet3卷积神经网络模型输入为原始低对比度图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化操作；EhNet0,EhNet1,EhNet2卷积神经网络模型输入为原始低对比度图像和前级尺度升采样后的增强图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7×2、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化操作；训练模型的目标函数可为预测的增强图像与参考增强图像之间的均方误差。卷积神经网络的训练采用随机梯度下降算法最小化目标函数完成。
S43、从训练数据库DataBase中取出降采样数据
Figure BDA0001291476910000131
并输入到EhNet3的训练模型中训练。
S44、将训练数据库DataBase中第3次降采样数据
Figure BDA0001291476910000132
作为输入放进训练好的卷积神经网络模型EhNet3中得到输出
Figure BDA0001291476910000133
S45、将步骤S44中的
Figure BDA0001291476910000134
进行升采样操作得到
Figure BDA0001291476910000135
并加入训练数据库DataBase；对预测输出图像
Figure BDA0001291476910000136
的升采样因子取值2。
S46、从训练数据库DataBase中取出降采样数据
Figure BDA0001291476910000137
和
Figure BDA0001291476910000138
并输入到下一尺度的卷积神经网络EhNet2模型中进行训练。
S47、将训练数据库DataBase中第2次降采样数据
Figure BDA0001291476910000139
作为输入放进训练好的卷积神经网络模型EhNet2中得到输出
Figure BDA00012914769100001310
S48、将步骤S47中的
Figure BDA00012914769100001311
进行升采样操作得到
Figure BDA00012914769100001312
并加入训练数据库DataBase；对预测输出图像
Figure BDA00012914769100001313
的升采样因子取值2。
S49、从训练数据库DataBase中取出降采样数据
Figure BDA00012914769100001314
和
Figure BDA00012914769100001315
并输入到下一尺度的卷积神经网络EhNet1模型中进行训练
S410、将训练数据库DataBase中第1次降采样数据
Figure BDA00012914769100001316
作为输入放进训练好的卷积神经网络模型EhNet1中得到输出
Figure BDA00012914769100001317
S411、将步骤S410中的
Figure BDA00012914769100001318
进行升采样操作得到
Figure BDA00012914769100001319
并加入训练数据库DataBase；对预测输出图像
Figure BDA00012914769100001320
的升采样因子取值2。
S412、从训练数据库DataBase中取出降采样数据
Figure BDA0001291476910000141
和
Figure BDA0001291476910000142
并输入到下一尺度的卷积神经网络EhNet0模型中进行训练。
S413、训练完成。
A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。
S51、对步骤S32中的
Figure BDA0001291476910000143
进行3次降采样操作得到降采样数据
Figure BDA0001291476910000144
S52、将步骤S47中的数据
Figure BDA0001291476910000145
输入到训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中得到输出
Figure BDA0001291476910000146
S53、对步骤S48中的
Figure BDA0001291476910000147
进行反标准化操作得到最终增强图像Ihc_test。
本发明通过大量乳腺X线图像利用深度卷积神经网络技术学习了低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作，无参数调节的低对比度乳腺X线图像增强处理。通过多尺度级联方式解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求；同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.基于卷积神经网络的乳腺X线图像增强方法，其特征在于：图像增强方法包括以下步骤：
A1、构建训练数据库；
A2、进行单尺度乳腺图像增强卷积神经网络训练；
A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理；
A4、进行多尺度乳腺图像增强级联卷积神经网络训练；
A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理；
步骤A3的具体操作步骤如下：
A31、获取原始低对比乳腺X线图像Ilc_test；
A32、将步骤A31中的原始低对比乳腺X线图像Ilc_test进行标准化操作，得到
Figure FDA0002309955840000011
A33、将步骤A32中的得到的
Figure FDA0002309955840000012
作为输入数据，在训练好的卷积神经网络模型EhNet中进行处理，得到的输出数据为
Figure FDA0002309955840000013
A34、对步骤A33中的输出数据
Figure FDA0002309955840000014
进行反标准化处理，得到增强图像Ihc_test；
步骤A4的具体操作步骤如下：
A41、对
Figure FDA0002309955840000015
和
Figure FDA0002309955840000016
进行K次降采样操作，获得降采样数据
Figure FDA00023099558400000123
和
Figure FDA0002309955840000018
并将
Figure FDA0002309955840000019
和
Figure FDA0002309955840000017
加入训练数据库DataBase,令
Figure FDA00023099558400000122
为
Figure FDA00023099558400000112
A42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，多尺度乳腺图像增强级联卷积神经网络模型CaEhNet包含K+1个单尺度卷积神经网络模型EhNet0,EhNet1,…,EhNetK；
A43、令k＝K，并从训练数据库DataBase中取出降采样数据
Figure FDA00023099558400000121
并输入到EhNetk的训练模型中训练；
A44、将训练数据库DataBase中第k次降采样数据
Figure FDA00023099558400000120
作为输入放进训练好的卷积神经网络模型EhNetk中得到输出
Figure FDA00023099558400000113
A45、将步骤A44中的
Figure FDA00023099558400000114
进行升采样操作得到
Figure FDA00023099558400000115
并加入训练数据库DataBase；
A46、k若等于0，则停止多尺度级联网络训练；若不等于0，则令k减1；此时，若k不等于K，则从训练数据库DataBase中取出数据
Figure FDA00023099558400000116
并返回步骤A43进行下一尺度的卷积神经网络EhNetk-1模型训练
步骤A5的具体操作步骤如下：
A51、将步骤A32中的
Figure FDA00023099558400000117
进行K次降采样操作的到降采样数据
Figure FDA00023099558400000119
A52、将A51中的
Figure FDA00023099558400000118
输入至训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中，得到输出数据
Figure FDA0002309955840000022
A53、对A52中的
Figure FDA0002309955840000023
进行反标准化处理，得到增强图像Ihc_test。
2.根据权利要求1所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：步骤A1中构建训练数据库的方法如下：
A11、获取乳腺X线图像数据，包括低对比原始图像数据Ilc和增强图像数据Ihc；
A12、对步骤A11中获取的原始图像数据Ilc和Ihc进行标准化处理，得到
Figure FDA00023099558400000215
和
Figure FDA00023099558400000216
A13、通过步骤A12中处理后得到的
Figure FDA0002309955840000024
和
Figure FDA0002309955840000025
进行训练数据库DataBase的构建。
3.根据权利要求2所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：标准化的具体操作根据以下公式进行：
Figure FDA0002309955840000026
Figure FDA0002309955840000027
公式(1)中：
Figure FDA0002309955840000028
为Ilc的均值，Mpreset是预先设定的均值；
公式(2)中：
Figure FDA0002309955840000029
为I′lc的标准差值，
Figure FDA00023099558400000210
为Ilc标准化处理后得到的值。
4.根据权利要求3所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：步骤A2的具体操作步骤如下：
A21、在训练数据库DataBase中取出
Figure FDA00023099558400000211
和
Figure FDA00023099558400000212
训练数据；
A22、构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型；
A23、将
Figure FDA00023099558400000213
和
Figure FDA00023099558400000214
作为输入数据放入卷积神经网络模型EhNet中的训练模型。
5.根据权利要求4所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：所述反标准化处理为标准化处理的逆处理。
6.根据权利要求5所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：所述降采样操作根据以下公式进行操作：
Figure FDA0002309955840000021
7.根据权利要求6所述的基于卷积神经网络的乳腺X线图像增强方法，其特征在于：所述升采样操作为双线性插值或三次B样条差值。
CN201710326990.1A 2017-05-10 2017-05-10 基于卷积神经网络的乳腺x线图像增强方法 Expired - Fee Related CN107133933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710326990.1A CN107133933B (zh) 2017-05-10 2017-05-10 基于卷积神经网络的乳腺x线图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710326990.1A CN107133933B (zh) 2017-05-10 2017-05-10 基于卷积神经网络的乳腺x线图像增强方法

Publications (2)

Publication Number Publication Date
CN107133933A CN107133933A (zh) 2017-09-05
CN107133933B true CN107133933B (zh) 2020-04-28

Family

ID=59731386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710326990.1A Expired - Fee Related CN107133933B (zh) 2017-05-10 2017-05-10 基于卷积神经网络的乳腺x线图像增强方法

Country Status (1)

Country Link
CN (1) CN107133933B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402943B2 (en) * 2016-10-20 2019-09-03 Htc Corporation Image enhancement device and method for convolutional network apparatus
CN108492271B (zh) * 2018-03-26 2021-08-24 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
CN109102468B (zh) * 2018-06-27 2021-06-01 广州视源电子科技股份有限公司 图像增强方法、装置、终端设备及存储介质
CN109363697B (zh) * 2018-10-16 2020-10-16 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109345485B (zh) * 2018-10-22 2021-04-16 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质
CN111223058B (zh) * 2019-12-27 2023-07-18 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
US12094080B2 (en) 2022-09-13 2024-09-17 Shanghai United Imaging Intelligence Co., Ltd. System and method for magnifying an image based on trained neural networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Mapping mammary gland architecture using multi-scale in situ analysis;Rodrigo Fernandez-Gonzalez et al.;《NIH Public Access》;20090131;第1-21页 *
Thermal Image Enhancement using Convolutional Neural Network;Yukyung Choi et al.;《IEEE》;20161201;第223-230页 *
基于神经网络的低照度真彩色图像增强;窦易文 等;《计算机工程与设计》;20101231;第31卷(第12期);第2835-2841页 *

Also Published As

Publication number Publication date
CN107133933A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133933B (zh) 基于卷积神经网络的乳腺x线图像增强方法
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US8204292B2 (en) Feature based neural network regression for feature suppression
CN110689525B (zh) 基于神经网络识别淋巴结的方法及装置
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN116630762A (zh) 一种基于深度学习的多模态医学图像融合方法
Ning et al. Multi-scale gradational-order fusion framework for breast lesions classification using ultrasound images
Senthil et al. Enhancement Sushisen algorithms in images analysis technologies to increase computerized tomography images
CN106228198B (zh) 一种医疗ct图像的超分辨率识别方法
Li et al. Multi-scale residual denoising GAN model for producing super-resolution CTA images
Kottath et al. Image preprocessing techniques in skin diseases prediction using deep learning: A review
Nithya et al. An Efficient PM-Multisampling Image Filtering with Enhanced CNN Architecture for Pneumonia Classfication
Rashid et al. Single MR image super-resolution using generative adversarial network
Yang et al. Quasi-supervised learning for super-resolution PET
Kipele et al. Poisson noise reduction with nonlocal-pca hybrid model in medical x-ray images
Fonseca et al. X-ray image enhancement: A technique combination approach
CN104392452A (zh) 一种基于应用的dicom医学图像处理方法
Zheng et al. SR-CycleGAN: super-resolution of clinical CT to micro-CT level with multi-modality super-resolution loss
Won et al. Low-dose CT denoising using octave convolution with high and low frequency bands
Mane et al. CNN-Based Medical Image Restoration Using Customized Adaptive Histogram Equalization
CN112785580A (zh) 确定血管流速的方法及装置
Huang et al. Deep local-to-global feature learning for medical image super-resolution
Poonam et al. Image enhancement with different techniques & aspects
Patibandla et al. CT Image Precise Denoising Model with Edge Based Segmentation with Labeled Pixel Extraction Using CNN Based Feature Extraction for Oral Cancer Detection
Song et al. Super resolution reconstruction of medical image based on adaptive quad-tree decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200428

CF01 Termination of patent right due to non-payment of annual fee