CN106408001A - 基于深度核哈希的感兴趣区域快速检测方法 - Google Patents

Abstract

本发明公开了一种基于深度核哈希的感兴趣区域快速检测方法，主要解决现有图像中感兴趣区域检测方法检测精度低和效率低的问题。其实现步骤是：在训练过程中，将待训练数据集分为多类，输入到深度哈希监督学习网络框架中，得到相应的哈希编码，最终根据标签信息矩阵微调各网络参数，直至学习效果最佳；在测试过程中，输入的测试图像经过预处理过程，通过上述已训练好的深度核哈希网络框架，得到二进制编码；根据决策函数判断该图像的感兴趣区域位置并加以标记，完成对感兴趣区域的检测和识别。本发明能有效增强图像中感兴趣区域的检测分析性能，提高感兴趣区域的检出率和系统框架的运行效率，可应用于医学乳腺图像肿块的快速检测和识别。

Description

基于深度核哈希的感兴趣区域快速检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种新的快速的图像目标检测方法，可应用于医学乳腺图像肿块的快速检测和识别。

背景技术

乳腺癌作为当今世界最为常见的恶性肿瘤之一，已成为严重威胁全球妇女健康的“头号杀手”。大量调查实验表明，早期诊断和及时治疗是治愈乳腺癌的最佳手段和有效途径。乳腺钼靶X线摄影检查是目前诊断乳腺疾病最直接、最高效的检测手段，乳腺X线图像作为医学图像的重要组成部分，凭借其分辨率高，对比度强等优点，拥有极高的应用价值和研究价值。

乳腺X线图像肿块是早期乳腺癌的主要形式之一，也是用以鉴别可疑乳腺肿块区域的重要手段。由于乳腺X线图像中肿块具有一定的复杂度和模糊性，使有些肿块区域和正常区域极其相似且难以区分，导致医生在临床医疗诊断过程中仍然存在一定的误诊和漏诊现象。因此，许多计算机辅助系统CAD应运而生，肿块的检测通过各种图像特征，如纹理、质量、密度等进行综合地分析加以确诊，大大提高了医生对患者可疑肿块区域和病情预测诊断的准确率。随着医学图像处理技术的蓬勃发展，计算机辅助检测系统也发挥着越来越重要的角色，为了更好地协助医生发现可疑肿块区域，未来的计算机辅助检测系统需要做的就是提高区域检出率，降低区域假阳率。

基于乳腺X线图像的乳腺肿块检测系统框架已成为近年来医学图像的一个热点方向，目前已经形成较为统一的模型和框架，该系统框架一般由预处理模块、训练模块和测试模块等组成。当然，各个模块间的实现方法和达成效果又不尽相同，许多科研工作者为此做了大量的相关工作，如Aziz Makandar等人[Makandar,Aziz,and Bhagirathi Halalli,"Combined segmentation technique for suspicious mass detection inMammography,"2015International Conference on Trends in Automation,Communications and Computing Technology(I-TACT-15),vol.1,pp.1-5,2015.]基于图像边界的水平集分割算法，根据图像梯度进行曲线演变，结合形态学运算和活动轮廓分割技术，实现乳腺可疑肿块的分割和识别。然而在该方法中，医学图像的实际梯度值并不理想，演化曲线也可能穿过边界，故当图像噪音过大时，该框架最终的乳腺图像肿块分割识别结果较为一般，且这种肿块检测方法使得计算量大大增加，降低了计算机辅助系统的图像识别效率。

王颖等人[Liu,L.,J.Li,and Y.Wang,"Breast mass detection withkernelized supervised hashing,"International Conference on BiomedicalEngineering and Informatics IEEE,vol.8,pp.79-84,2015.]提取方向梯度直方图特征HOG，并利用核监督哈希KSH算法将高维度的HOG特征映射到低纬度汉明空间，进行二进制编码，将最终结果与训练集中的标签信息作对比，判断其是否为肿块可疑区域。该方法采用的HOG特征是手工描述特征的一种，虽然对于梯度变化有着较好的灵敏度，但是对于纹理信息或空间信息等有着较差的描述力，致使肿块检测结果中误检率较高，故该方法框架对于医学图像的识别和分类存在表征能力差、过拟合等缺点。

上述方法虽然均可以完成乳腺图像肿块识别，但是由于手工描述特征对图像的表征能力有限，导致误检率或假阳率过高，无法取得最优的肿块检测结果，而且模型的求解速度慢，目标识别和分割效率较低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于深度核哈希的感兴趣区域快速检测方法，以提高图像中感兴趣目标的检测速度，降低误检率。

本发明的技术思路是：基于卷积神经网络CNN模型和多层核哈希算法，搭建深度哈希监督学习框架；将训练图像经过预处理过程后输入学习网络，结合标签信息不断优化各网络参数，直到学习效果最佳，以达到医学图像中感兴趣区域的快速检测。

根据上述思路，本发明技术方案包括如下：

一、训练步骤

(1)输入图像：

1a)在图像训练集中，随机选取两张图像作为一组图像对，将训练集中所有的图像成对组合，构成图像对训练集；

1b)将图像对训练集分为四类，即第一类是标签结果相同且编码结果相似，第二类是标签结果相同但编码结果不相似，第三类是标签结果不同但编码结果相似，第四类是标签结果不同且编码结果不相似；

(2)对训练集中的每幅图像对分别进行中值滤波和显著性增强的预处理，并将预处理后的图像对输入到深度学习网络；

(3)结合卷积神经网络CNN模型，搭建十层深度哈希监督学习网络框架：

第一、三、五层为卷积层，用于分别对上一层的输出结果进行卷积运算，增强数据特征，降低噪声；

第二、四、六层为下采样层，用于根据图像局部相关性的原理，分别对上一层的输出结果进行下采样运算并保留有用信息；

第七层为全连接层，用于对第二、四、六层输出的下采样数组进行串联组合，构成一个4096维度特征向量，输出到编码层；

第八、九、十层为编码层，用于将上一层的高维数据映射成本层的低维数据，实现逐层编码并进行优化，最终得到4维度的二进制编码；

(4)将深度哈希监督学习网络输出的4维度特征向量与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则说明训练网络学习效果最佳；反之，则需要多次微调第八、九、十层的网络参数，以增强训练网络的学习效果。

二、预处理步骤

(5)输入待检测图像，并对其进行中值滤波和形态学滤波，以降低原输入图像的斑点噪声，增强图像质量；

(6)对中值滤波后的图像进行边缘裁剪，标记出感兴趣区域的边缘轮廓并保留，并去除感兴趣区域外的背景区域，以缩短运行时间，提高效率；

(7)对裁剪出来的感兴趣区域进行伽马校正运算，用以增强待检测目标的对比度，得到预处理后的图像。

三、测试步骤

(8)对预处理后的图像进行滑动窗操作，使滑动窗在限定的感兴趣区域内自上而下，由左至右地滑动，将预处理后的图像分为若干100像素×100像素的矩形窗子集，共同组成测试步骤的图像输入集；

(9)从测试步骤的图像输入集中选取一个矩形窗子集，输入到上述训练步骤(3)中已经训练完成的十层深度哈希监督学习网络框架，经过3个卷积层、3个下采样层、1个全连接层和3个二进制编码层的运算，最终得到4维度的二进制编码；

(10)判断步骤(9)中选取的矩形窗子集是否为肿块目标，即将该子集经过训练网络得到4维度的二进制编码与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则判定该子集是肿块目标，执行步骤(11)，反之则不是肿块目标，返回步骤(9)；

(11)对判定为肿块目标的子集进行标记并显示，返回步骤(9)，继续判断下一个所选子集是否为肿块目标，直到所有的矩形窗子集经过步骤(10)，完成对感兴趣区域内目标的检测和识别。

本发明和现有技术相比具有以下优点：

1)本发明基于卷积神经网络CNN模型的深度哈希监督学习网络框架，既克服手工特征的表征能力不足问题，又解决传统哈希算法无法进行非线性投影的问题，大大提高了乳腺图像肿块检测的精度。

2)本发明在基于卷积神经网络CNN模型的深度哈希监督学习网络框架中，对第八、九、十层采用逐层编码，结合最终的判定方法组成的分类方法相对于SVM等传统分类方法，大大减少了计算量，提高乳腺图像肿块检测的效率。

3)本发明着重考虑到多种类别的输入情况，将图像对训练集分为四类，有利于深度哈希监督学习网络框架第八、九、十层编码层输出预测函数的优化过程，使输出结果更为精确，克服了传统哈希算法忽略不同类别的输入情况，以同一套预测函数优化所有输入而导致的优化时间长、精确度低等问题。

附图说明

图1为本发明的实现流程图；

图2为本发明中的预处理子流程图；

图3为用本发明对乳腺图像肿块检测的部分结果图。

以下结合附图对本发明的实施方式及效果作进一步详细描述。

具体实施方式

参照图1，本发明的实现方案包括训练、预处理和测试三部分。

一、训练部分

步骤1，输入图像及标签信息。

在图像训练集中，随机选取两张图像作为一组图像对，将训练集中所有的图像成对组合，构成图像对训练集；

将图像对训练集分为四类，即第一类是标签结果相同且编码结果相似，第二类是标签结果相同但编码结果不相似，第三类是标签结果不同但编码结果相似，第四类是标签结果不同且编码结果不相似。

步骤2，搭建深度哈希监督学习网络框架。

该深度哈希监督学习网络框架分为十层，其中：

第一、三、五层为卷积层，用于分别对上一层的输出结果进行卷积运算，增强数据特征，降低噪声；

第二、四、六层为下采样层，用于根据图像局部相关性的原理，分别对上一层的输出结果进行下采样运算并保留有用信息；

第七层为全连接层，用于对第二、四、六层输出的下采样数组进行串联组合，构成一个4096维度特征向量；

第八、九、十层为编码层，用于将上一层的高维数据映射成本层的低维数据，实现逐层编码并进行优化。

现有的可实现将高维数据映射成低维数据并逐层编码的哈希方法有LSH算法、KLSH算法、ITQ Hashing算法等，本实例采用基于KSH算法实现逐层编码并进行优化，最终得到4维度的二进制编码，具体实施步骤如下：

第一步，设定由N个训练样本构成的数据集χ＝{x₁,x₂,...,x_n,...,x_N}，其中x_n即为训练样本中第n个数据；通过K-means算法从N个训练样本中选定m个数据点，作为第八层的训练锚点；利用该锚点构建m维度核向量，设定κ(x_(j),x)表示数据点x_(j)与数据点x的欧氏距离，构建第八层的核向量(κ(x₍₁₎,x),κ(x₍₂₎,x),…,κ(x_(j),x),…,κ(x_(m),x))，其中κ(x_(j),x)为核向量中第j个核函数，j＝1,2...,m；

第二步，定义第八层的预测函数为f¹(x)，从数据集χ中选取的m个聚类中心数据点x₍₁₎,...,x_(j),...,x_(m)，设定为二进制编码层中第八层预测函数的矩阵系数，b¹为第八层预测函数的偏置系数，根据核函数κ(x_(j),x)，j＝1,2...,m，构建第八层的预测函数f¹(x)，

第三步，设定训练样本χ²＝{x₍₁₎,...,x_(j),...,x_(m)}为编码层中第九层的输入数据，通过K-means算法从数据集χ²中选取的m₂个聚类中心，作为第九层的训练锚点；利用该锚点构建m₂维度的核向量，设定κ²(x_(j),x)表示数据点x_(j)与数据点x的马氏距离，构建第九层的核向量其中κ²(x_(j),x)为第九层核向量中第j个核函数，j＝1,2...,m，设定为编码层中第九层预测函数的矩阵系数，b²为第九层预测函数的偏置系数，构建九层预测函数f²(x)：

第四步，设定训练样本为编码层中第十层的输入数据，通过K-means算法从数据集χ³中选取的m₃个聚类中心，作为第十层的训练锚点；利用该锚点构建m₃维度的核向量，设定κ³(x_(j),x)表示数据点x_(j)与数据点x的曼哈顿距离，构建第十层的核向量其中κ³(x_(j),x)为第十层核向量中第j个核函数，j＝1,2...,m，设定为编码层中第十层预测函数的矩阵系数，b³为第十层预测函数的偏置系数，构建第十层预测函数f³(x)：

第五步，根据第五步中第十层预测函数的矩阵系数计算第十层预测函数的偏置系数b³：

其中，i＝1,2...,n为第十层编码层输出的二进制编码维度，n＝4；

第六步，将第十层预测函数的偏置系数b³带入第四步中第十层预测函数f³(x)，得到最终第十层预测函数的演变函数：

第七步，将第十层预测函数的演变函数进行量化，得到编码层的输出函数：

h(x)＝sgn(f³(x))。

第八步，将深度哈希监督学习网络输出的4维度特征向量与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则说明训练网络学习效果最佳，输出学习到的哈希编码；反之，则需要根据目标函数不断优化第八、九、十层的网络参数，以增强训练网络的学习效果。

二、预处理部分

步骤3，输入测试图像并进行预处理

参照图2，本步骤的具体实现如下：

(3a)输入待检测图像，将输入图像的所有像素点的值相加并求平均值，对其进行中值滤波以降低原输入图像的斑点噪声；

(3b)将中值滤波后图像进行伽马校正运算，用以增强待检测目标的对比度，增强图像质量，即将中值滤波后图像中所有像素点的边缘信息进行提取，再对提取出来的边缘内部区域增加亮度，降低其他区域的亮度；

(3c)将对比度增强后的图像中所有像素点的形状信息进行提取，去掉非感兴趣区域，如胸部和乳头；

(3d)对形态学滤波后的图像进行边缘裁剪，标记出感兴趣区域的边缘轮廓并保留，并去除感兴趣区域外的背景区域，以缩短运行时间，提高效率得到预处理后的图像。

三、测试部分

步骤4，输入测试图像并检测肿块。

(4a)对预处理后的图像进行滑动窗操作，使滑动窗在限定的感兴趣区域内自上而下，由左至右地滑动，将预处理后的图像分为若干100像素×100像素的矩形窗子集，共同组成测试步骤的图像输入集；

(4b)从测试步骤的图像输入集中选取一个矩形窗子集，输入到上述训练步骤中已经训练完成的十层深度哈希监督学习网络框架，经过3个卷积层、3个下采样层、1个全连接层和3个编码层的运算，最终得到4维度的二进制编码；

(4c)判断步骤(4b)中选取的矩形窗子集是否为肿块目标，即将该子集经过训练网络得到4维度的二进制编码与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则判定该子集是肿块目标，执行步骤(4d)，反之则不是肿块目标，返回步骤(4b)；

(4d)对判定为肿块目标的子集进行标记并显示，返回步骤(4b)，继续判断下一个所选子集是否为肿块目标，直到所有的矩形窗子集经过步骤(4c)，完成对感兴趣区域内目标的检测和识别。

本发明的效果可以通过使用以下仿真实验进一步说明

1、仿真条件

本发明是在中央处理器为Intel(R)Core(TM)i5 2.80GHZ、内存4G、WINDOWS 7操作系统上，运用MATLAB软件进行的仿真。

2、仿真内容

仿真1，在Digital Database for Screening Mammography,DDSM数据集中，用本发明在上述硬件平台上进行乳腺图像肿块检测与展示，实验结果如图3，其中：

图3(a)为DDSM数据集中乳腺图像样例，标记部分为医生标注的肿块信息；

图3(b)是用本发明方法对图3(a)的肿块检测输出结果图；

图3(c)为DDSM数据集中乳腺图像样例，标记部分为医生标注的肿块信息；

图3(d)是用本发明方法对图3(c)的肿块检测输出结果图；

图3(e)为DDSM数据集中的乳腺图像样例，标记部分为医生标注的肿块信息；

图3(f)是用本发明方法对图3(e)的肿块检测结果图；

图3(g)为DDSM数据集中乳腺图像样例，标记部分为医生标注的肿块信息；

图3(h)是用本发明方法对图3(g)的肿块检测结果图。

由图3可见，通过本发明方法标记出肿块位置与医生标注的肿块信息一致，说明本发明在DDSM数据集上取得了良好的效果，可以用于医学影像的目标检测与识别。

仿真2，用本发明和现有的基于KSH算法对DDSM数据集进行肿块检测，检测结果如表1，其中，恶性肿块数据集包括：Cancer01、Cancer02、Cancer03、Cancer04、Cancer05、Cancer06、Cancer07、Cancer08和Cancer09。

表1

由表1可见，本发明方法，在恶性肿块测试集中，肿块检测的性能指标上优于后者，即本方法的检出率为0.94，优于KSH方法的检出率0.90，本方法的假阳率为3.6，优于KSH方法的假阳率4.2。

仿真3，用本发明和现有的基于KSH算法对DDSM数据集进行肿块检测，检测结果如表2，其中，良性肿块数据集包括：Benign07、Benign08、Benign09、Benign10、Benign11、Cancer12和Cancer13。

表2

由表2可见，本发明方法，在良性肿块测试集中，肿块检测的性能指标上优于后者，即本方法的检出率为0.92，优于KSH方法的检出率0.84，本方法的假阳率为4.1，优于KSH方法的假阳率5.5。

综上，本发明方法在DDSM数据集上取得了良好的效果，可应用于医学影像的快速目标检测与识别。

Claims (2)

1.一种基于深度核哈希的感兴趣区域快速检测方法，包括：

一、训练步骤

(1)输入图像：

1a)在图像训练集中，随机选取两张图像作为一组图像对，将训练集中所有的图像成对组合，构成图像对训练集；

1b)将图像对训练集分为四类，即第一类是标签结果相同且编码结果相似，第二类是标签结果相同但编码结果不相似，第三类是标签结果不同但编码结果相似，第四类是标签结果不同且编码结果不相似；

(2)对训练集中的每幅图像对分别进行中值滤波和显著性增强的预处理，并将预处理后的图像对输入到深度学习网络；

(3)结合卷积神经网络CNN模型，搭建十层深度哈希监督学习网络框架：

第一、三、五层为卷积层，用于分别对上一层的输出结果进行卷积运算，增强数据特征，降低噪声；

第二、四、六层为下采样层，用于根据图像局部相关性的原理，分别对上一层的输出结果进行下采样运算并保留有用信息；

第七层为全连接层，用于对第二、四、六层输出的下采样数组进行串联组合，构成一个4096维度特征向量，输出到编码层；

第八、九、十层为编码层，用于将上一层的高维数据映射成本层的低维数据，实现逐层编码并进行优化，最终得到4维度的二进制编码；

(4)将深度哈希监督学习网络输出的4维度特征向量与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则说明训练网络学习效果最佳；反之，则需要多次微调第八、九、十层的网络参数，以增强训练网络的学习效果；

二、预处理步骤

(5)输入待检测图像，并对其进行中值滤波和形态学滤波，以降低原输入图像的斑点噪声，增强图像质量；

(6)对中值滤波后的图像进行边缘裁剪，标记出感兴趣区域的边缘轮廓并保留，并去除感兴趣区域外的背景区域，以缩短运行时间，提高效率；

(7)对裁剪出来的感兴趣区域进行伽马校正运算，用以增强待检测目标的对比度，得到预处理后的图像；

三、测试步骤

(8)对预处理后的图像进行滑动窗操作，使滑动窗在限定的感兴趣区域内自上而下，由左至右地滑动，将预处理后的图像分为若干100像素×100像素的矩形窗子集，共同组成测试步骤的图像输入集；

(9)从测试步骤的图像输入集中选取一个矩形窗子集，输入到上述训练步骤(3)中已经训练完成的十层深度哈希监督学习网络框架，经过3个卷积层、3个下采样层、1个全连接层和3个二进制编码层的运算，最终得到4维度的二进制编码；

(10)判断步骤(9)中选取的矩形窗子集是否为肿块目标，即将该子集经过训练网络得到4维度的二进制编码与标签结果信息提供的二进制编码作比较：若两个编码结果的异或计算输出值为0，则判定该子集是肿块目标，执行步骤(11)，反之则不是肿块目标，返回步骤(9)；

(11)对判定为肿块目标的子集进行标记并显示，返回步骤(9)，继续判断下一个所选子集是否为肿块目标，直到所有的矩形窗子集经过步骤(10)，完成对感兴趣区域内目标的检测和识别。

2.根据权利要求1所述的基于卷积神经网络CNN模型的深度哈希监督学习网络框架，其特征在于，步骤(3)中的对第八、九、十层实现逐层编码，按如下步骤进行：

第一步，设定由N个训练样本构成的数据集χ＝{x₁,x₂,...,x_n,...,x_N}，其中x_n即为训练样本中第n个数据；通过K-means算法从N个训练样本中选定m个数据点，作为第八层的训练锚点；利用该锚点构建m维度核向量，设定κ(x_(j),x)表示数据点x_(j)与数据点x的欧氏距离，构建第八层的核向量(κ(x₍₁₎,x),κ(x₍₂₎,x),…,κ(x_(j),x),…,κ(x_(m),x))，其中κ(x_(j),x)为核向量中第j个核函数，j＝1,2...,m；

第二步，定义第八层的预测函数为f¹(x)，从数据集χ中选取的m个聚类中心数据点x₍₁₎,...,x_(j),...,x_(m)，设定为二进制编码层中第八层预测函数的矩阵系数，b¹为第八层预测函数的偏置系数，根据核函数κ(x_(j),x)，j＝1,2...,m，构建第八层的预测函数f¹(x)，

$f^1\left(x\right)=\underset{j=1}{\overset{m}{\Σ}}\mathrm{\κ}(x_{\left(j\right)},x)a_j^1-b^1;$

第三步，设定训练样本χ²＝{x₍₁₎,...,x_(j),...,x_(m)}为编码层中第九层的输入数据，通过K-means算法从数据集χ²中选取的m₂个聚类中心，作为第九层的训练锚点；利用该锚点构建m₂维度的核向量，设定κ²(x_(j),x)表示数据点x_(j)与数据点x的马氏距离，构建第九层的核向量其中κ²(x_(j),x)为第九层核向量中第j个核函数，j＝1,2...,m，设定为编码层中第九层预测函数的矩阵系数，b²为第九层预测函数的偏置系数，构建九层预测函数f²(x)：

$f^2\left(x\right)=\underset{j=1}{\overset{m_2}{\Σ}}{\mathrm{\κ}}^2(x_{\left(j\right)},x)a_j^2-b^2;$

第四步，设定训练样本为编码层中第十层的输入数据，通过K-means算法从数据集χ³中选取的m₃个聚类中心，作为第十层的训练锚点；利用该锚点构建m₃维度的核向量，设定κ³(x_(j),x)表示数据点x_(j)与数据点x的曼哈顿距离，构建第十层的核向量其中κ³(x_(j),x)为第十层核向量中第j个核函数，j＝1,2...,m，设定为编码层中第十层预测函数的矩阵系数，b³为第十层预测函数的偏置系数，构建第十层预测函数f³(x)：

$f^3\left(x\right)=\underset{j=1}{\overset{m_3}{\Σ}}{\mathrm{\κ}}^3(x_{\left(j\right)},x)a_j^3-b^3;$

第五步，根据第五步中第十层预测函数的矩阵系数计算第十层预测函数的偏置系数b³：

$b^3={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^3{\mathrm{\κ}}^3(x_{\left(j\right)},x)a_j^3/n;$

其中，i＝1,2...,n为第十层编码层输出的二进制编码维度，n＝4；

第六步，将第十层预测函数的偏置系数b³带入第四步中第十层预测函数f³(x)，得到最终第十层预测函数的演变函数：

$f^3\left(x\right)=\underset{j=1}{\overset{3}{\Σ}}\left({\mathrm{\κ}}^3\right(x_{\left(j\right)},x)-\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\κ}}^3(x_{\left(j\right)},x\left)\right)\·a_j^3;$

第七步，将第十层预测函数的演变函数进行量化，得到编码层的输出函数：

h(x)＝sgn(f³(x))。