CN106844524B - 一种基于深度学习和Radon变换的医学图像检索方法 - Google Patents

Abstract

一种基于深度学习和Radon变换的医学图像检索方法涉及计算机视觉和图像检索领域。在“粗”检索阶段，采用BING目标建议算法检测具有显著对象的区域，通过在深度卷积网络架构中引入部分均值Pooling，可提取出基于区域的显著区分性特征并降低特征维度，再聚合形成一个全局特征表达。在特征向量量化过程中，使用乘积量化算法来解决特征向量间相似性度量计算高复杂度问题。“细”检索阶段，借助Radon变换可将图像在多角度做积分投影，获取图像更多细节信息的特性，将“粗”检索中得到的Top50图像经过Radon变换生成Radon条码，经过相似性度量达到更精确检索。本发明提高医学图像检索的准确率，克服了直接使用卷积神经网络带来的特征区分性不强，特征维度高等医学图像检索问题。

Description

一种基于深度学习和Radon变换的医学图像检索方法

技术领域

本发明涉及计算机视觉和图像检索领域，具体涉及一种基于深度学习和Radon变换的医学图像检索方法。

背景技术

随着图像处理技术在医学领域的应用日益广泛，每天都会产生大量的医学图像，如CT图像、B超图像、MRI图像等，它们是临床诊断治疗和医学图像研究的重要依据。如何对这些医学图像进行有效管理，从中检索中医生需要的信息，是当今医学图像研究方面的重要课题。传统基于内容的医学图像检索(CBMIR)方法是顺序地将查询图像与数据库中图像逐个进行比对，其线性复杂性导致其在现实环境中存在着低效率和低扩展性等缺点，同时提取特征为底层视觉特征，它与高层的语义特征之间存在着语义鸿沟，而且通常具有高维度，计算难度较大等难题。

受深度学习及卷积神经网络在视觉检索任务及在应对像素级信息与人类感知语义信息关联之间问题上的突出性能表现，越来越多的注意力转移到深度网络中。但医学图像具有其特别之处：大部分医学图像都是灰度级且医学图像中大部分有价值的信息都包含在很小的局部区域内，如异常或恶性肿瘤等。不同于生活中的其它图像，医学图像自身的特殊性限制了深度网络的可用性，在涉及医学图像检索方法时，须充分考虑医学图像的全局特性和局部特性。

虽然卷积神经网络可以提取医学图像丰富的语义信息，更好地描述图像，但由于CNN提取图像特征都是高维的且通常是全局特征表达，对医学图像检索任务中具有区分性的特征不能有效地提取，因此需要在此基础上对医学图像做分块处理并对卷积神经网络框架进行必要的改进，同时结合传统方法，进一步提高医学图像检索的精度和准确度。

发明内容

(一)本发明要解决的技术问题

本发明的目的在于针对上述已有的医学图像检索技术缺陷，提出一种基于深度学习和Radon变换的医学图像检索方法。在“粗”检索阶段，采用BING(Binarized NormedGradients)目标建议算法检测具有显著对象的区域，通过在深度卷积网络架构中引入部分均值Pooling，可提取出基于区域的显著区分性特征并降低特征维度，再聚合形成一个全局特征表达。同时，在特征向量量化过程中，使用乘积量化算法来解决特征向量间相似性度量计算高复杂度问题。“细”检索阶段，借助Radon变换可将图像在多角度做积分投影，获取图像更多细节信息的特性，将“粗”检索中得到的Top50图像经过Radon变换生成Radon条码(RBC)，经过相似性度量从而达到更精确检索。“粗”检索与“细”检索相结合的方法，大大提高医学图像检索的准确率，克服了直接使用卷积神经网络带来的特征区分性不强，特征维度高等医学图像检索问题。

(二)本发明的技术方案

一种基于深度学习和Radon变换的医学图像检索方法，其特征在于，包含如下步骤：

步骤一：基于卷积神经网络的“粗”检索

(1)将医学图像数据集中的所有图像采用统一尺寸；

(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；

(3)采用CaffeNet基本网络架构，构建深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、全连接层和输出层；在pool5层生成的每个特征映射中对卷积神经网络pool5层的响应做降序排列；将卷积神经网络架构中引入两阶段部分均值pooling；

(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；

(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像；

步骤二：基于Radon变换的“细”检索

对步骤一中获得的Top50图像，通过Radon变换，生成Radon条码即RBC，计算查询图像RBC和数据库图像RBC之间的汉明距离，选择出与查询图像最相似图像，具体如下：

(1)将查询图像及Top50图像均降采样到固定分辨率；

(2)使用Radon变换获得投影；

(3)通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段；最后，所有代码片段被连接以生成该图像的RBC；

(4)对比查询图像与Top50某一图像之间的RBC汉明距离，如果距离最小，则认为二者最相似，以此得到Top10图像检索结果。

更具体包含如下步骤：

步骤一：基于卷积神经网络的“粗”检索

(1)采用Center-crop方法将医学图像数据集中的所有图像采用统一尺寸，这样可以保证图片不变形的条件下突出医学图像主体；

(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；

(3)采用CaffeNet基本网络架构(共七层网络)，构建本发明所需的深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、输出层等，网络结构如图2；

(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；

(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，即可得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像。

上述的，(5)中由于输入图像存在多尺度、噪声等问题，而训练模型很难处理这些问题。由于BING能够有效地检测目标且具有较高的计算效率，故采用BING目标建议算法对输入数据库图像进行区域建议，实现对图像的分块处理操作，分块处理的好处在于可以提取显著目标区域，同时减少噪声及背景干扰，对后续卷积神经网络提取显著区域高区分性特征，描述显著区域语义信息具有重要贡献。

上述的，(5)中pool5层的每个特征映射是一个6*6的矩阵形式，其中每个矩阵元素编码不同的位置信息，为了获取pool5层的结构信息，可通过连接36个元素响应实现，而位置不变性却得不到满足，因此在每个特征映射中对卷积神经网络模型pool5层的响应做降序排列，降序排列可以收集在不同位置处的有意义目标的更高响应，减小了后续相似性度量计算受目标位置方差的影响。

上述的，(3)中受医学图像自身特殊性限制，即医学图像中大部分有价值信息都包含在很小的局部区域内。针对医学图像这一特性，在对医学图像做分块操作和对特征响应做降序排列的基础上，将卷积神经网络架构中引入两阶段部分均值pooling(见附图2)，对降序排列后的特征进行重新整合，以形成紧凑且具区分性的特征表达。第一阶段pooling主要是从特征映射中获取最具区分性特征，消除特征表示中位置方差的负面影响，同时将特征变换到一个低维表达；第二阶段pooling将第一阶段pooling从不同块中提取出的区分性特征聚合形成全局特征表达。这种两阶段部分均值pooling规避了最大pooling和均值pooling的缺点，并对它们的优点进行了优化。

上述的，(5)中相似性度量过程中，引入乘积量化算法。传统通过比较向量相似度的欧式距离存在两个问题，一是数据库中一般含有的特征向量数目非常多，遍历特征向量会花费更多时间；其次，计算向量之间的欧氏距离也是复杂度和时间消耗很高的过程。而采用乘积量化的思想，则可以减少空间结构的复杂度，经过量化，任何空间中的点都可以用有限的几个code word来表示，这样可以加快量化速率。查询时，采用ADC(AsymmetricDistance Computation)计算方法，可有效提高查询准确率。

步骤二：基于Radon变换的“细”检索

对步骤一中获得的Top50图像，通过Radon变换，生成Radon条码(RBC)，计算查询图像RBC和数据库图像RBC之间的汉明距离，选择出与查询图像最相似图像，具体如下：

(1)将查询图像及Top50图像均降采样到固定分辨率(根据实际需要自行设定)；

(2)使用Radon变换获得投影；

(3)通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段。最后，所有代码片段被连接以生成该图像的RBC；

(4)对比查询图像与Top50某一图像之间的RBC汉明距离，如果距离最小，则认为二者最相似，以此得到Top10图像检索结果。

上述的，(3)中投影角度越多，越多的图片信息将包含在RBC编码里。

上述的，(4)中由于越长的RBC编码越能更精确地表示图像，但这会会造成更多的时间消耗，因此将步骤一中获取的Top50小数据集图像生成长的RBC编码，有助于快速、精确地检索图像。

(三)本发明的有益效果

(1)采用了基于卷积神经网络“粗”检索+Radon变换“细”检索相结合的方法，有效提高检索准确率；

(2)本发明在用深度卷积神经网络提取特征前，结合医学图像自身特点，即有价值信息一般存在于很小的局部区域内，使用BING目标建议算法对输入数据库图像做分块处理，可提取显著目标区域，同时消除噪声及背景干扰的影响，对后续特征提取及检索的准确性产生有益效果；

(3)本发明采用卷积神经网络进行特征提取，这样的特征鲁棒性好，且克服了传统CBMIR方法底层视觉特征与高级主义特征间的语义“鸿沟”，具有较好检索效果；

(4)在卷积神经网络pool5层后引入了两阶段部分均值pooling，对分块后显著性区域提取的特征重新整合，以提取医学图像中最具区分性的局部特征，降低了特征向量维度，使检索的准确性进一步提高。同时将这些特征聚合成一个全局表达，有利于提高计算能力和检索速度；

(5)在相似性度量过程中，相较于传统欧式距离计算，采用乘积量化算法可减少计算复杂度和时间消耗，采用ADC(Asymmetric Distance Computation)计算方法，可有效提高查询准确率；

(6)Radon变换“细”检索过程中，投影角度越多，越多图像信息将包含进Radon条码(RBC)中，越长的RBC可以更好地表示图像，但这会带来更多的时间消耗，因此只对卷积神经网络“粗”检索的Top50图像生成长的RBC，可有效地缩短计算时间，并提高检索精度。

附图说明

图1为本发明一种基于深度学习和Radon变换的医学图像检索方法流程图。

图2为引入部分均值Pooling后的卷积神经网络结构图。

图3为量化误差与参数K*和m的关系图。

图4为RBC生成过程示意图。

图5为医学图像检索效果图。

具体实施方式

为使本发明的目的、技术方案和相关优点更加清晰明了，下面结合附图和具体实施例，对本发明作进一步详细的说明。

本发明提出一种基于深度学习和Radon变换的医学图像检索方法，该方法通过对输入图像使用BING目标建议算法做分块处理后，输入构建的深度卷积网络，同时在网络中引入部分均值Pooling提取具有区分性的特征，在相似性度量过程中，引入乘积量化算法，有效减少计算复杂度，得到“粗”检索结果，在此基础上，使用Radon变换方法对“粗”检索结果进行更精确检索，最终得到与查询图像最相似的Top10图像。以下详细说明本发明方法的关键步骤。

请参阅图1示出的本发明使用一种基于深度学习和Radon变换的医学图像检索方法，所述方法包括以下步骤：

步骤1，将医学图像数据集中的所有图像采用统一尺寸，然后将图像数据集(含标签)中的部分图像作为训练集D，其余图像作为测试集T。

步骤2，利用CaffeNet网络构建深度卷积网络；

请参阅图2所示卷积神经网络结构，包含了一个七层深度卷积神经网络，由于卷积神经网络提取的特征一般为全局特征而医学图像有价值的信息包含在局部区域，为使提取的特征更具有区分性，对pool5层后的特征采取降序排列，以聚集不同位置处有意义目标的高响应。

pool5层后引入了部分均值pooling层，以构建紧凑且具有区分性的全局特征表达。第一阶段pooling主要是从pool5层特征映射中获取具有区分性特征Y，其定义如下Y＝{y_i|i＝1，2...，M}，其中，{.|.}表示集合运算，y_i表示第i个特征映射上的区分性特征，

K₁代表每个特征映射中排名最靠前的响应的数量(此数量根据特征映射不同，由网络设定)，x_i，j经过降序排列形成x′_i，j，x_i，j表示第i个特征映射上的第j个特征。表示pool5输出的M个特征映射，而X_i＝{x_i，j|j＝1，2，...，h*w}表示第i个特征映射，h和w分别为特征映射的高和权重。

第二阶段pooling是将第一阶段pooling获得的特征聚合形成一个全局的特征表达：

表示经过第一阶段pooling后所有块的特征，中每行表示每块中Y的特征，y_i，j表示第i个pooling特征Y中的y_j，N表示提取图像块个数。对于中每一列，y_1，j～y_N，j通过降序排列形成y′_1，j～y′_N，j以用来计算Z＝{z_i|i＝1，2，...，M}，

K₂表示每一列中具有显著目标块的个数(此数量根据输入图像不同及BING算法处理结果不同由网络设定)。

步骤3，将步骤1中的训练集D和测试集T输入到步骤2构建的深度卷积网络中，得到深度卷积神经网络模型。

步骤4，使用BING目标建议算法对所有输入数据库图像做分块操作，依托步骤3生成的深度卷积神经网络模型，将分块操作后的图像输入深度卷积网络中，得到全局特征向量表达。

步骤5，步骤4得到的全局特征向量，经由乘积量化算法处理后，得到与查询图像最相似的Top50图像。过程如下：

(1)将步骤3得到的D＝512维全局特征向量划分为m个子块，则子空间维度D*＝D/m，其中，D为m的整数倍且1<m<512；

(2)对数据子空间聚类操作，得到K*个聚类中心，每个聚类中心为每一个小块里面向量的代表，最后高维向量编码形成m维的聚类索引，其中K*和m是通过MSE函数为指标确定的，MSE函数值越小则量化误差越小，量化效果越好。MSE函数定义如下：

MSE(q_t)＝∫p(n)d(q(n)，n)²dn，x为空间中任一向量，q(n)为量化函数，p(n)为点n的概率，1<t<m。MSE函数值与(K*,m)的函数关系如图3所示。

(3)查询时，采用ADC(Asymmetric Distance Computation)计算方法，得到与查询图像最相近的Top50图像，如图5所示。

步骤6，将步骤5得到的Top50图像通过Radon变换生成Radon条码(RBC)，请参阅图4示出的RBC生成示意图。首先将Top50图像降采样到固定分辨率(根据实际需要自行设定)，然后应用Radon变换R(ρ，θ)获得投影，R(ρ，θ)表示如下：

其中，ρ为(x，y)平面内直到到原点的距离，θ为投影角度，f(x，y)为图像上某一点(x，y)的像素点灰度值，δ(·)为狄拉克函数。通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段。最后，所有代码片段被连接以生成该图像的RBC。

步骤7，由于投影角度越多，生成的Radon条码中包含的图像信息越丰富，而Radon条码则会越长，需花费的时间也越多，故只对步骤5得到的Top50图像生成长的Radon条码，这样可以提高准确率并减少时间消耗。对比查询图像生成Radon条码与Top50图像生成Radon条码之间的汉明距离，当二者之间的汉明距离越小，则表明对应图像间的相似性越大，以此可得到与查询图像最相似Top10图像，即得到图像检索结果，如图5所示。

本发明利用深度卷积神经网络强大的学习能力，提取医学图像深层具有区分性特征，克服了传统方法中利用图像底层特征而带来的特征表达能力不强、检索精度低等问题，采用分块操作有助于提取显著目标区域中的区分性特征，改进后的网络框架优化了医学图像自身局限性对深度网络可用性的限制，并通过“粗”检索与“细”检索相结合的方式，增强了特征的表达能力，大大提高医学图像检索的准确率。

Claims (1)

1.一种基于深度学习和Radon变换的医学图像检索方法，其特征在于，包含如下步骤：

步骤一：基于卷积神经网络的“粗”检索

(1)将医学图像数据集中的所有图像采用统一尺寸；

(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；

(3)采用CaffeNet基本网络架构，构建深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、全连接层和输出层；在第5层pooling层生成的每个特征映射中对卷积神经网络第5层pooling层的响应做降序排列；将卷积神经网络架构中引入两阶段部分均值pooling；

(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；

(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像；

步骤二：基于Radon变换的“细”检索

对步骤一中获得的Top50图像，通过Radon变换，生成Radon条码即RBC，计算查询图像RBC和数据库图像RBC之间的汉明距离，选择出与查询图像最相似图像，具体如下：

(1)将查询图像及Top50图像均降采样到固定分辨率；

(2)使用Radon变换获得投影；

(3)通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段；最后，所有代码片段被连接以生成该图像的RBC；

(4)对比查询图像与Top50某一图像之间的RBC汉明距离，如果距离最小，则认为二者最相似，以此得到Top10图像检索结果。