CN107038692A - 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 - Google Patents
基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 Download PDFInfo
- Publication number
- CN107038692A CN107038692A CN201710246611.8A CN201710246611A CN107038692A CN 107038692 A CN107038692 A CN 107038692A CN 201710246611 A CN201710246611 A CN 201710246611A CN 107038692 A CN107038692 A CN 107038692A
- Authority
- CN
- China
- Prior art keywords
- picture
- bone
- convolutional neural
- neural networks
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 141
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 63
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 210000004872 soft tissue Anatomy 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000010606 normalization Methods 0.000 claims abstract description 14
- 230000009977 dual effect Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 210000003109 clavicle Anatomy 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 abstract description 3
- 210000000038 chest Anatomy 0.000 description 31
- 230000006870 function Effects 0.000 description 21
- 210000000614 rib Anatomy 0.000 description 10
- 230000001629 suppression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 210000001562 sternum Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- NTYJJOPFIAHURM-UHFFFAOYSA-N Histamine Chemical compound NCCC1=CN=CN1 NTYJJOPFIAHURM-UHFFFAOYSA-N 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229960001340 histamine Drugs 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010129 solution processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，采用卷积神经网络结构，以胸片图像小波系数为输入，预测其对应的骨像或者软组织像的小波系数图像。已有的骨像或者软组织像人工神经网络预测方法，需要对原胸片图像采用较为复杂的对比度归一化处理方法进行处理，而本发明在小波域处理输入胸片图像，可采用简单的方法进行幅值归一化处理；已有的骨像或者软组织像的人工神经网络预测方法，需要设计图像特征提取方法作为人工神经网络的输入，本发明直接以胸片图像小波分解图像为输入，通过训练卷积神经网络自动学习、优化卷积核，完成图像的特征提取过程，无需设计图像特征提取方法。
Description
技术领域
本发明涉及数字图像处理技术领域，特别是涉及基于小波分解和卷积神经网络的X线胸片骨抑制处理方法。
背景技术
X线胸部平片(简称胸片)是肺部疾病检测的基本影像手段之一。然而，胸片中解剖结构互相重叠，增加了医生读片诊断的难度，特别是肋骨和锁骨的遮挡会使得肺部小结节病灶的诊断难度增加。
现有技术解决上述问题的方法主要有以下两大方向：其一，随着数字X线成像(Digital Radiography,DR)和计算机X线摄影(Computed Radiography,CR)设备和技术的发展，X线双能减影(Dual Energy Subtraction,DES)技术可分离出胸片中呈现出特性组织成分的图像——软组织像(Soft-tissue Image)和骨像(Bone Image)。双能减影设备采集高低两种不同能量X线(如120kV和60kV)下的两幅图像，利用组织在不同能量X线下的衰减系数不同，产生不同的X线胸片，进行加权减影处理，可将不同衰减系数的组织分开，得到软组织像和骨骼图像。X线双能减影设备：X线双能减影设备相对普通X线机的成本要高，而且其X线球管的使用寿命可能相对较短，现临床使用的DR设备一般不具有双能减影功能。双能减影成像需要两次X线曝光，两次曝光之间有一定时间间隔，因此成像质量易受病人呼吸、心脏搏动等人体组织运动影响，从而获取的软组织像和骨像中一般存在运动伪影，两次曝光也会使病人接受的辐射剂量有所增加。
其二，利用图像处理和模式识别技术模拟双能减影设备功能，对DR或CR设备获取的单幅数字常规胸片进行处理，将此单幅图像分解为软组织像和骨像，实现骨骼影像的抑制。现通过图像处理技术，实现胸片骨骼影像抑制的方法又分为两类：1、基于骨骼结构分割和边缘检测的方法。2、基于回归模型预测的方法。第一类方法需要先对X线胸片中肋骨和锁骨进行分割，利用曲线拟合、霍夫变换等方法定位肋骨和锁骨的边缘，然后对肋骨、锁骨的区域灰度或边缘梯度建立模型，通过信号分离或进行梯度域修正重建等技术实现软组织像和骨像的分离。基于骨骼结构分割和边缘检测的骨抑制处理方法：这类方法一般认为骨像灰度在肋骨或锁骨区域内为常数，然而与实际情况不符，与此同时软组织像和骨像的分离效果严重依赖于骨骼结构分割和边缘定位的精度。X线胸片中骨骼结构的精准分割和边缘的精细定位相当困难，因此这类方法得到的骨抑制结果中，肋骨和锁骨边缘会存在明显的条状伪影和骨骼影像抑制不彻底的现象。第二类方法通过双能减影设备获取到的图像数据(包括常规胸片、软组织像和骨像)作为训练样本，通过模式识别中统计的学习方法建立回归预测模型，以常规胸片图像局部特征为输入，预测和重建相应的软组织像或骨像。发明人为：阳维,卢振泰,冯前进,陈武凡,发明名称为：一种抑制X线图像骨骼影像的方法及处理设备,申请号为：201310305019.2的中国发明专利(实审中)就是采用的上述第二类方法。基于回归模型预测的骨抑制方法：采用k近邻回归进行软组织像或骨像的预测，优化得到的滤波器组响应作为局部特征。基于回归模型预测的骨抑制方法需要建立海量的样本数据才能保证预测的精准性，与此同时从数据库中搜索每个像素对应的特征近邻非常耗时，使得该方法存在处理速度慢、骨抑制效果不理想等问题，难以投入实际应用。人工神经网络是最常用的参数化回归预测模型，用于X线胸片骨抑制的工作中，通过提取胸片图像中的局部特征作为人工神经网络的输入，预测单个像素或区域的软组织像或者骨像的强度，速度相对较快，其性能主要依赖于有效的局部特征和模型的预测能力。当前用于胸片骨抑制的回归预测模型具有一定的问题，其需要预先对胸片进行复杂的对比度归一化处理，随后从胸片图像提取有效的特征和优化预测模型的参数，同时需要对预测得到的骨像或者软组织像，进行后处理，以排除预测过程中产生的其它问题，以保证预测精度，但这种后处理在保证一定精度的同时，会造成某种程度的失真。
因此，针对现有技术不足，提供基于小波分解和卷积神经网络的X线胸片骨抑制处理方法以克服现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，从而解决胸片中解剖结构影像重叠的问题，增强胸片影像的可读性。
本发明的上述目的通过如下技术手段实现。
基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，包括以下步骤：
步骤(1)、X线胸片图像空间分辨率的归一化处理；
步骤(2)、求取X线胸片图像小波系数；
步骤(3)、胸片图像小波系数的归一化处理；
步骤(4)、训练样本的增加和伪影区域的删减，及其训练样本采样预处理，根据关注度不同对不同区域赋予不同的权重；
步骤(5)、训练预测骨像或者软组织像小波系数的卷积神经网络；
步骤(6)、通过预测的小波系数图像重建骨像或者软组织像；
步骤(7)、原归一化后的胸片图像中减去重建的骨像或者以重建的软组织像作为骨抑制处理的结果。
进一步，所述步骤(1)具体是对原始X线胸片图像I0进行空间采样，使输入胸片图像的像素尺寸对应的空间尺寸为设值，得到空间分辨率统一的胸片图像I。
进一步，所述步骤(2)具体是对步骤(1)处理得到的图像I进行小波分解操作，得到胸片小波分解的近似系数IA和细节系数IH、IV、ID。
进一步，所述步骤(3)具体是由步骤(2)得到的胸片的小波系数图像IA和IH、IV、ID，计算小波四个通道系数的中值、方差或者设定的分位数作为各个通道的幅值归一化系数，四个通道系数分别除以各自的幅值归一化系数。
进一步，所述IA的归一化处理为：
或者
其中IA为其分解系数图像像素值，
mean(IA)为IA中图像像素灰度值均值，
std(IA)为IA图像像素灰度值标准差，
median(|IA|)为IA图像像素灰度绝对值中值，
IH、IV、ID统一做归一化处理。
进一步，所述步骤(5)是以步骤(3)、步骤(4)得到的幅值归一化的胸片小波系数图像IA和IH、IV、ID作为卷积神经网络的输入，预测骨像或者软组织像的小波系数，然后通过小波逆变换得到骨像或者软组织像。
进一步，所述训练卷积神经网络用的胸片小波系数图像和对应的双能减影骨像或者软组织像小波系数图像采用步骤(3)中方法进行幅值归一化处理，然后根据步骤(4)将训练预测模型用的胸片图像中的运动伪影区域排除掉或将运动伪影区域权重置为0，将胸片中的结节和异常区域标注出，并对这些区域赋予一个权重值，该权重值大于0，继而进行训练，将胸片中的肋骨和锁骨的边缘进行勾画，并对这些区域也赋予一个权重值，该权重值大于0，在训练样本不足的情况下，通过旋转、翻转、缩放等操作进行样本量增加。
进一步，所述训练卷积神经网络预测模型的目标函数为预测值与DES骨像或者软组织像各小波系数之间的均方误差、加权的均方误差或者加权的鲁棒损失函数，以及几项损失函数不同权重的组合，加权所用的权重通过胸片图像的标注结果确定，卷积神经网络的训练采用误差反向传播和随机梯度下降算法、Adagrad、RMSprop、Adam优化算法最小化目标函数来完成。
进一步，所述步骤(6)具体是由步骤(5)通过卷积神经网络预测得到的小波系数图像IA和IH、IV、ID，通过小波逆变换将预测的小波系数图像重建为骨像B或者软组织像S。
进一步，所述如果步骤(6)重建得到的是骨像B，则骨抑制得到的软组织像为I-B；如果步骤(6)重建得到的是软组织像S，则骨抑制的最终结果即为S。
本发明的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，采用卷积神经网络结构，以胸片图像小波系数为输入，预测其对应的骨像或者软组织像的小波系数图像。已有的骨像或者软组织像人工神经网络预测方法，需要对原胸片图像采用较为复杂的对比度归一化处理方法进行处理，而本发明在小波域处理输入胸片图像，可采用简单的方法进行幅值归一化处理；已有的骨像或者软组织像的人工神经网络预测方法，需要设计图像特征提取方法作为人工神经网络的输入，本发明直接以胸片图像小波分解图像为输入，通过训练卷积神经网络自动学习、优化卷积核，完成图像的特征提取过程，无需设计图像特征提取方法。
本发明不需要昂贵的双能减影设备,仅对普通X线设备获取的单幅胸片图像进行处理即可，实现X线胸片中骨骼影像的抑制，避免了两次曝光从而降低了病人的辐射剂量和运动伪影的产生。
本发明不需要图像特征提取方法的特别设计，仅通过卷积神经网络模型的训练从而自动完成图像的特征学习。
本发明中卷积神经网络在图像的小波域进行特征提取和预测，减少骨像或者软组织像预测对于图像对比度归一化处理的依赖，同时充分利用了胸片图像小波系数的稀疏性和可分性，提高了骨像或者软组织像的预测精度。
本发明可通过对X线双能减影图像数据进行修正，对X线胸片图像中不同区域赋予不同权重，并构造有效的加权目标函数用于卷积神经网络的训练，在准确预测骨像或者软组织像的同时保留输入胸片图像中的重要结构。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明进行胸片图像骨抑制处理的基本流程图。
图2是本发明用于预测骨像或者软组织像的卷积神经网络构架示意图。
图3是本发明一种小波多尺度分解级联方式预测骨像流程的示意图。
图4是本发明中骨像预测单元k-1处理流程示意图。
图5是本发明的具体实例对一输入X线胸片图像进行骨抑制处理单元，图中显示了输入图像、中间结果及骨抑制处理输出图像的范例。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1。
基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，包括以下步骤：步骤(1)、X线胸片图像空间分辨率的归一化处理；步骤(2)、求取X线胸片图像小波系数；步骤(3)、胸片图像小波系数的归一化处理；步骤(4)、训练样本的增加和伪影区域的删减，及其训练样本采样预处理；步骤(5)、训练预测骨像或者软组织像小波系数的卷积神经网络；步骤(6)、通过预测的小波系数图像重建骨像或者软组织像；步骤(7)、原归一化后的胸片图像中减去重建的骨像或者以重建的软组织像作为骨抑制处理的结果。如图1所示为本发明进行胸片图像骨抑制处理的基本流程图。
实现步骤如下：
步骤(1)：对原始X线胸片图像I0进行空间采样，使输入胸片图像的像素尺寸对应的空间尺寸为定值，如0.194mm或0.2mm，得到空间分辨率统一的胸片图像I。在具体应用中，对原始胸片图像I0的空间采样可采用双线性插值或者三次B样条插值等方法实现。
步骤(2)：对步骤(1)处理得到的图像I，对图像进行小波分解操作，得到胸片小波分解的近似系数IA和细节系数IH、IV、ID。具体应用中，求取胸片小波分解图像可采用不同的小波基(例如Haar，Meyer，Morlet，Daubechied，Mexican hat等)进行分解操作。
步骤(3)：由步骤(2)得到的胸片的小波系数图像IA和IH、IV、ID，计算小波四个通道系数的中值、方差或者设定的分位数(如90％分位数)作为各个通道的幅值归一化系数，四个通道系数分别除以各自的幅值归一化系数，因为IA的分布与其它三通道IH、IV、ID的幅值分布不同，需要求出IA的均值，IA的归一化处理为：
或者
其中IA为其分解系数图像像素值，
mean(IA)为IA中图像像素灰度值均值，
std(IA)为IA图像像素灰度值标准差，
median(|IA|)为IA图像像素灰度绝对值中值。
由于IH、IV、ID的分布基本一致，可以统一做归一化处理。从而使得不同设备、不同病人的胸片图像小波系数幅值的中值、方差或者设定的分位数相同。
步骤(5)：以步骤(3)得到的幅值归一化的胸片小波系数图像IA和IH、IV、ID作为卷积神经网络的输入，预测的骨像或者软组织像的小波系数，然后通过小波逆变换得到骨像或者软组织像。本发明采用的卷积神经网络构架如图2所示，可具有多个卷积层，卷积神经网络各卷积层的输入和输出都称为特征图(feature map)。特征图除了第一层输入和最后一层输出通常具有多个通道，通道数目取决于输出特征图的卷积层中的卷积核数目。设第l层的卷积层有nl个卷积核，第l层的输出特征图记为Fl，特征图Fl的第i个通道记为Fi l(i＝1,2,3,...,nl)。卷积网络的输入记为F0，F0具有四个通道，分别为：
数学上的表达，卷积神经网络卷积层中的第l层输出Fl与输入Fl-1之间的关系可表述为：
式中，*为二维卷积操作，σ(.)为非线性激活函数，为第l层个卷积层中用于计算输出特征图的第i个通道结果的卷积核，输出特征图为输入特征图中第j个通道与进行卷积的结果，为第l层卷积层中用于计算输出特征图中第i个通道的偏置项，L表示卷积网络中的卷积层数目。非线性激活函数σ(.)可以为Sigmoid函数、双曲线正切函数、ReLU(Rectified Linear Units)函数以及其它激活函数等。第L层卷积层中，输出为预测的骨像或者软组织像的小波系数图像：
如图2所示，为本发明用于预测骨像或者软组织像的卷积神经网络单元构架示意图。
对于卷积神经网络训练用到的双能减影图像样本：卷积神经网络的训练(即卷积神经网络各卷积层中的卷积核和偏置项的优化过程)需要采集大量胸片小波系数图像和对应的双能减影骨像(或者软组织像)的小波系数图像的样本对作为训练集进行训练。训练卷积神经网络用的胸片小波系数图像和对应的双能减影骨像(或者软组织像)小波系数图像采用步骤(3)中方法进行幅值归一化处理。可将训练预测模型用的胸片图像中的运动伪影区域排除掉或将运动伪影区域权重置为0，从而避免通过卷积神经网络预测的骨像(或者软组织像)出现运动伪影。为了提升预测模型在胸片结节和异常区域的预测精度，可将胸片中的结节和异常区域人工标注出，并对这些区域赋予较大的权重值，继而进行训练。可将胸片中的肋骨和锁骨的边缘人工勾画出，并对这些区域也赋予较大的权重值，使得训练预测模型的在肋骨和锁骨边缘的预测精度同时也得到提升。
关于卷积神经网络训练的目标函数和优化算法：训练卷积神经网络预测模型的目标函数可为预测值与DES骨像(或者软组织像)各小波系数之间的均方误差、加权的均方误差或者加权的鲁棒损失函数，以及几项损失函数不同权重的组合，加权所用的权重通过胸片图像的人工标注结果确定。卷积神经网络的训练可采用误差反向传播和随机梯度下降算法、Adagrad、RMSprop、Adam等不同的优化算法最小化目标函数来完成。
步骤(6)：由步骤(5)通过卷积神经网络预测得到的小波系数图像IA和IH、IV、ID，可通过小波逆变换将预测的小波系数图像重建为骨像B(或者软组织像S)。为使得骨抑制输出图像强度值范围与原始输入胸片图像强度值范围一致，可将骨抑制输出图像乘以步骤(3)中相应通道的幅值归一化系数。
步骤(7)：如果步骤(6)重建得到的是骨像B，则骨抑制得到的软组织像为I-B；如果步骤(6)重建得到的是软组织像S，则骨抑制的最终结果即为S。
在具体实现中，步骤(3)中可训练两个卷积神经网络模型分别预测骨像(或者软组织像)近似系数IA和细节系数IH、IV、ID；或者每个通道的系数分别训练一个卷积神经网络模型。
具体实现中，小波变换可以实现多尺度分解，进而方便以级联的方式对本发明进行扩展，从而进一步提升骨抑制效果，多尺度级联方式预测骨像的流程如图3所示。图3中，I表示输入的胸片图像，骨像预测单元k(k＝K,...,2,1)表示不同尺度胸片骨像的预测单元,每个单元包含对应尺度的卷积神经网络预测模型，K为骨像预测单元数目也为小波分解的级数，Bk(k＝K,...,2,1)为骨像预测单元k预测和重建出的骨像。骨像预测单元K的输入为经过K层分解的小波系数图像，骨像预测单元1的输入为经过一层的小波系数图像和上一层预测得到的小波系数经小波逆变换得到的图像。骨像预测单元k(k＝1,2,...,K)预测骨像的过程为上述步骤的(2)～(7)；当k>1时，骨像预测单元k的输入为经k级小波分解后的小波系数图像和经小波逆变换后的前一级处理单元预测输出的小波系数，如图4所示；经小波分解处理后,骨像预测单元k中卷积神经网络的输入有4个通道,如图4所示。
骨像预测单元k对输入图像进行k层小波分解、对预测输出的结果进行小波逆变换得到图像Bk。各骨像预测单元的卷积神经网络预测模型可采用步骤(5)中方式从K级分解到1级分解的层级依次训练得到：首先通过小波分解的DES图像样本对骨像预测单元K中的卷积神经网络训练；然后，小波逆变换骨像预测单元K的预测结果BK，结合经K-1级小波分解的DES图像数据的高频分量IH,K-1、IV,K-1、ID,K-1作为输入样本，和DES骨像的K-1级小波系数图形BA,K-1、BH,K-1、BV,K-1、BD,K-1形成输入输出样本对，训练骨像预测单元K-1中的卷积神经网络；依此类推，依次训练骨像预测单元K-2、......、骨像预测单元1中的卷积神经网络,如图4所示为骨像预测单元k-1层的具体流程示意图。
在其他一些部位扩展应用中，针对胸片图像中不同部位，如左肺、右肺、锁骨、肋骨等区域，可训练不同分区的卷积神经网络预测模型，应用本发明的基本应用单元方式和多尺度级联方式预测骨像或者软组织像，完成胸片图像骨抑制处理。
实施例2。
基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其它结构与实施例1相同，不同之处在于：
卷积神经网络预测的输出为骨像的小波系数图像，输入图像像素尺寸对应的空间尺寸大小归一化为0.194mm；每个预测单元中卷积神经网络包含三个卷积层，第一层卷积层的卷积核大小为16×16、卷积核数目为256，第二层卷积层卷积核大小为1×1、核数为256，第三层卷积层卷积核大小为8×8、核数为256；第一、二层卷积层后的非线性激活函数为ReLU函数。求取胸片图像小波系数采用haar小波进行分解操作；输入图像小波系数的幅值归一化系数分别取每个通道小波系数分量幅值的90％分位数。图5为此具体实例中为最底层处理单元对一输入X线胸片图像进行骨抑制处理的过程，显示了卷积神经网络的输入和输出，以及相应的重建的骨像和骨抑制处理结果。如图5所示，本发明的具体实例对一输入X线胸片图像进行骨抑制处理单元的的输入图像、中间结果及骨抑制处理输出图像。
在此单元中，是现在此尺度上实现骨像预测，通过原图像减影骨像输出软组织像，实现骨抑制的效果。
实施例3。
基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其它结构与实施例1相同，不同之处在于：通过多尺度级联方式进行骨抑制处理，多尺度级联构架中骨像预测单元数目为4，骨像预测单元k对输入图像的小波分解级数为24-k、预测输出分量的小波逆变换Bk的尺度为预测前的2倍。输入胸片图像像素尺寸大小归一化为0.194mm。骨像预测单元k中的卷积神经网络均包含三个卷积层，第一层卷积核大小为16×16、核数为256，第二层卷积核大小为1×1、核数为256，第三层层卷积核大小为8×8、核数为256；第一、二层卷积层后的非线性激活函数为ReLU函数。骨像预测单元k中卷积神经网络预测输出为骨像的小波系数，求取胸片图像小波系数采用Haar小波分解操作。
通过小波分解，把骨像分解为不同尺度IA及其相应尺度的高频信息的细节系数IH、IV、ID，在不同通道上进行相应的预测，从而实现更精细的预测，然后通过小波逆变换得到更精细尺度的预测结果IA，通过这种分解和级联多尺度模式从而使得预测更加精准。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (10)
1.基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于，包括以下步骤：
步骤(1)、X线胸片图像空间分辨率的归一化处理；
步骤(2)、求取X线胸片图像小波系数；
步骤(3)、胸片图像小波系数的归一化处理；
步骤(4)、训练样本的增加和伪影区域的删减，及其训练样本采样预处理，根据关注度不同对不同区域赋予不同的权重；
步骤(5)、训练预测骨像或者软组织像小波系数的卷积神经网络；
步骤(6)、通过预测的小波系数图像重建骨像或者软组织像；
步骤(7)、原归一化后的胸片图像中减去重建的骨像或者以重建的软组织像作为骨抑制处理的结果。
2.根据权利要求1所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述步骤(1)具体是对原始X线胸片图像I0进行空间采样，使输入胸片图像的像素尺寸对应的空间尺寸为设值，得到空间分辨率统一的胸片图像I。
3.根据权利要求2所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述步骤(2)具体是对步骤(1)处理得到的图像I进行小波分解操作，得到胸片小波分解的近似系数IA和细节系数IH、IV、ID。
4.根据权利要求3所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述步骤(3)具体是由步骤(2)得到的胸片的小波系数图像IA和IH、IV、ID，计算小波四个通道系数的中值、方差或者设定的分位数作为各个通道的幅值归一化系数，四个通道系数分别除以各自的幅值归一化系数。
5.根据权利要求4所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述IA的归一化处理为：
或者
其中IA为其分解系数图像像素值，
mean(IA)为IA中图像像素灰度值均值，
std(IA)为IA图像像素灰度值标准差，
median(|IA|)为IA图像像素灰度绝对值中值，
IH、IV、ID统一做归一化处理。
6.根据权利要求4所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述步骤(5)是以步骤(3)、步骤(4)得到的幅值归一化的胸片小波系数图像IA和IH、IV、ID作为卷积神经网络的输入，预测骨像或者软组织像的小波系数，然后通过小波逆变换得到骨像或者软组织像。
7.根据权利要求6所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述训练卷积神经网络用的胸片小波系数图像和对应的双能减影骨像或者软组织像小波系数图像采用步骤(3)中方法进行幅值归一化处理，然后根据步骤(4)将训练预测模型用的胸片图像中的运动伪影区域排除掉或将运动伪影区域权重置为0，将胸片中的结节和异常区域标注出，并对这些区域赋予一个权重值，该权重值大于0，继而进行训练，将胸片中的肋骨和锁骨的边缘进行勾画，并对这些区域也赋予一个权重值，该权重值大于0，在训练样本不足的情况下，通过旋转、翻转、缩放等操作进行样本量增加。
8.根据权利要求6所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述训练卷积神经网络预测模型的目标函数为预测值与DES骨像或者软组织像各小波系数之间的均方误差、加权的均方误差或者加权的鲁棒损失函数，以及几项损失函数不同权重的组合，加权所用的权重通过胸片图像的标注结果确定，卷积神经网络的训练采用误差反向传播和随机梯度下降算法、Adagrad、RMSprop、Adam优化算法最小化目标函数来完成。
9.根据权利要求6所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述步骤(6)具体是由步骤(5)通过卷积神经网络预测得到的小波系数图像IA和IH、IV、ID，通过小波逆变换将预测的小波系数图像重建为骨像B或者软组织像S。
10.根据权利要求9所述的基于小波分解和卷积神经网络的X线胸片骨抑制处理方法，其特征在于：所述如果步骤(6)重建得到的是骨像B，则骨抑制得到的软组织像为I-B；如果步骤(6)重建得到的是软组织像S，则骨抑制的最终结果即为S。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710246611.8A CN107038692A (zh) | 2017-04-16 | 2017-04-16 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710246611.8A CN107038692A (zh) | 2017-04-16 | 2017-04-16 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107038692A true CN107038692A (zh) | 2017-08-11 |
Family
ID=59535472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710246611.8A Pending CN107038692A (zh) | 2017-04-16 | 2017-04-16 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107038692A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及系统 |
| CN107945132A (zh) * | 2017-11-29 | 2018-04-20 | 深圳安科高技术股份有限公司 | 一种基于神经网络的ct图像的伪影校正方法及装置 |
| CN108765320A (zh) * | 2018-05-16 | 2018-11-06 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
| CN108876804A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 抠像模型训练和图像抠像方法、装置和系统及存储介质 |
| CN109767429A (zh) * | 2018-12-28 | 2019-05-17 | 上海联影智能医疗科技有限公司 | 一种图像筛查方法及装置 |
| CN109816599A (zh) * | 2018-12-07 | 2019-05-28 | 西安电子科技大学 | 一种基于小波分解卷积神经网络的图像条带噪声抑制方法 |
| CN110019900A (zh) * | 2017-08-29 | 2019-07-16 | 中国移动通信有限公司研究院 | 一种眼底图像的结构标注方法及设备 |
| CN110133643A (zh) * | 2019-05-22 | 2019-08-16 | 北京林业大学 | 植物根系探测方法及装置 |
| CN110570492A (zh) * | 2019-09-11 | 2019-12-13 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备以及介质 |
| CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
| CN111161268A (zh) * | 2019-12-12 | 2020-05-15 | 科大讯飞股份有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN111401309A (zh) * | 2020-04-08 | 2020-07-10 | 中国人民解放军海军航空大学 | 基于小波变换的cnn训练和遥感图像目标识别方法 |
| CN111968061A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | 脏器组织高辨识成像方法、装置、存储介质及计算机设备 |
| CN112381772A (zh) * | 2020-11-05 | 2021-02-19 | 南方医科大学 | 一种基于深度卷积神经网络的侧位胸片骨抑制方法 |
| CN113313021A (zh) * | 2021-05-27 | 2021-08-27 | 云南电网有限责任公司电力科学研究院 | 一种基于低质量影像识别的深度学习模型构建方法 |
| CN113470789A (zh) * | 2020-03-31 | 2021-10-01 | 西门子医疗有限公司 | 提高关于医学图像的机器学习应用的鲁棒性的图像归一化 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824281A (zh) * | 2014-01-07 | 2014-05-28 | 沈阳航空航天大学 | 一种胸部x光图像中骨骼抑制的方法 |
| CN105447866A (zh) * | 2015-11-22 | 2016-03-30 | 南方医科大学 | 基于卷积神经网络的x线胸片骨抑制处理方法 |
-
2017
- 2017-04-16 CN CN201710246611.8A patent/CN107038692A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824281A (zh) * | 2014-01-07 | 2014-05-28 | 沈阳航空航天大学 | 一种胸部x光图像中骨骼抑制的方法 |
| CN105447866A (zh) * | 2015-11-22 | 2016-03-30 | 南方医科大学 | 基于卷积神经网络的x线胸片骨抑制处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| KENJI SUZUKI ET AL.: "Image-Processing Technique for Suppressing Ribs in Chest Radiographs by Means of Massive Training Artificial Neural Network", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 陈胜 等: "基于小波变换的多神经网络胸片骨骼分离", 《电子科技》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019900B (zh) * | 2017-08-29 | 2021-04-20 | 中国移动通信有限公司研究院 | 一种眼底图像的结构标注方法及设备 |
| CN110019900A (zh) * | 2017-08-29 | 2019-07-16 | 中国移动通信有限公司研究院 | 一种眼底图像的结构标注方法及设备 |
| CN108876804A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 抠像模型训练和图像抠像方法、装置和系统及存储介质 |
| CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及系统 |
| CN107945132A (zh) * | 2017-11-29 | 2018-04-20 | 深圳安科高技术股份有限公司 | 一种基于神经网络的ct图像的伪影校正方法及装置 |
| CN108765320A (zh) * | 2018-05-16 | 2018-11-06 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN108765320B (zh) * | 2018-05-16 | 2021-06-22 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN108764316B (zh) * | 2018-05-18 | 2022-08-26 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
| CN108764316A (zh) * | 2018-05-18 | 2018-11-06 | 河海大学 | 基于深度卷积神经网络和多核学习的遥感图像场景分类方法 |
| CN109816599B (zh) * | 2018-12-07 | 2020-12-29 | 西安电子科技大学 | 一种基于小波分解卷积神经网络的图像条带噪声抑制方法 |
| CN109816599A (zh) * | 2018-12-07 | 2019-05-28 | 西安电子科技大学 | 一种基于小波分解卷积神经网络的图像条带噪声抑制方法 |
| CN109767429A (zh) * | 2018-12-28 | 2019-05-17 | 上海联影智能医疗科技有限公司 | 一种图像筛查方法及装置 |
| CN110133643A (zh) * | 2019-05-22 | 2019-08-16 | 北京林业大学 | 植物根系探测方法及装置 |
| CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
| CN110570492A (zh) * | 2019-09-11 | 2019-12-13 | 清华大学 | 神经网络训练方法和设备、图像处理方法和设备以及介质 |
| CN110570492B (zh) * | 2019-09-11 | 2021-09-03 | 清华大学 | 一种基于神经网络的ct伪影抑制方法、设备以及介质 |
| CN111161268A (zh) * | 2019-12-12 | 2020-05-15 | 科大讯飞股份有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
| CN113470789A (zh) * | 2020-03-31 | 2021-10-01 | 西门子医疗有限公司 | 提高关于医学图像的机器学习应用的鲁棒性的图像归一化 |
| CN111401309A (zh) * | 2020-04-08 | 2020-07-10 | 中国人民解放军海军航空大学 | 基于小波变换的cnn训练和遥感图像目标识别方法 |
| CN111401309B (zh) * | 2020-04-08 | 2022-07-12 | 中国人民解放军海军航空大学 | 基于小波变换的cnn训练和遥感图像目标识别方法 |
| CN111968061A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | 脏器组织高辨识成像方法、装置、存储介质及计算机设备 |
| CN112381772A (zh) * | 2020-11-05 | 2021-02-19 | 南方医科大学 | 一种基于深度卷积神经网络的侧位胸片骨抑制方法 |
| CN113313021A (zh) * | 2021-05-27 | 2021-08-27 | 云南电网有限责任公司电力科学研究院 | 一种基于低质量影像识别的深度学习模型构建方法 |
| CN113313021B (zh) * | 2021-05-27 | 2023-05-30 | 云南电网有限责任公司电力科学研究院 | 一种基于低质量影像识别的深度学习模型构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038692A (zh) | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 | |
| WO2017084222A1 (zh) | 基于卷积神经网络的x线胸片骨抑制处理方法 | |
| Zhang et al. | ME‐Net: multi‐encoder net framework for brain tumor segmentation | |
| Gordienko et al. | Deep learning with lung segmentation and bone shadow exclusion techniques for chest X-ray analysis of lung cancer | |
| CN112017198B (zh) | 基于自注意力机制多尺度特征的右心室分割方法及装置 | |
| Pustokhin et al. | An effective deep residual network based class attention layer with bidirectional LSTM for diagnosis and classification of COVID-19 | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
| CN108171232A (zh) | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 | |
| CN106373109A (zh) | 一种医学图像模态合成的方法 | |
| CN108537784A (zh) | 一种基于深度学习的ct图肺结节检测方法 | |
| CN110348515A (zh) | 图像分类方法、图像分类模型训练方法及装置 | |
| CN106897987A (zh) | 基于平移不变剪切波和栈式自编码的图像融合方法 | |
| CN107133933B (zh) | 基于卷积神经网络的乳腺x线图像增强方法 | |
| Tabrizchi et al. | Rapid covid-19 diagnosis using deep learning of the computerized tomography scans | |
| Liu et al. | Automatic delineation of ribs and clavicles in chest radiographs using fully convolutional DenseNets | |
| Lang et al. | Automatic localization of landmarks in craniomaxillofacial CBCT images using a local attention-based graph convolution network | |
| CN109300136A (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| CN104166994B (zh) | 一种基于训练样本优化的骨骼抑制方法 | |
| Ristea et al. | CyTran: a cycle-consistent transformer with multi-level consistency for non-contrast to contrast CT translation | |
| Dovganich et al. | Automatic out-of-distribution detection methods for improving the deep learning classification of pulmonary X-ray images | |
| Chan et al. | An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction | |
| CN110136217A (zh) | 肝脏ct图像增强处理方法及系统 | |
| CN115239740A (zh) | 基于GT-UNet的全心分割算法 | |
| CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170811 |