CN109035160A - 医学影像的融合方法及基于融合医学影像学习的图像检测方法 - Google Patents

Abstract

医学影像的融合方法及基于融合医学影像学习的图像检测方法，涉及基于融合医学影像学习的图像检测技术。本发明为了解决医学影像因受噪声污染，信噪比低，不同组织间灰度差异小，影响医学影像的应用，以及单一模态的影像并不能从不同角度提供病变组织更丰富的信息等技术问题。读取两类模态影像并分别对两类模态影像进行预处理，得到去噪图像；采用改进的剪切波变换对图像进行多尺度剖分；根据融合规则，对两类模态影像进行融合，得到融合图像；将所有融合图像组成融合图像数据集；对数据集采用改进的YOLO v2深度学习算法进行训练，生成训练网络；用训练好的网络进行检测。将不同模态的医学影像融合在一起从不同角度提供病变组织更丰富的信息。

Description

医学影像的融合方法及基于融合医学影像学习的图像检测 方法

技术领域

本发明属于深度学习领域，具体地说是涉及基于融合医学影像学习的图像检测技术。

背景技术

医疗数据中有超90％来自医学影像，包括超声、计算机断层摄影(CT)、核磁共振(MRI)、 正电子断层摄影(PET)等，先进的医疗影像检测技术在各种疾病，尤其是肿瘤疾病的检测 诊断中发挥着重要的作用。然而，作为肿瘤早期诊断的筛选程序，当前影像诊断主要依赖 人工完成，需要由一个或多个具有丰富经验的医生来检查是否存在病变的迹象并作出诊 断，在医疗大数据时代，日益增长的图像数据给人工阅片带来了极大的困难，不仅昂贵， 耗时，并且由于工作量大，医生比较疲劳，容易出现漏诊和误诊，对于偏远地区，基层医 院影像科设备和专业医生相对缺乏，故而，基层医院没有足够的专业医生利用医学影像数 据分析为疾病的早期检测和诊断提供帮助。在以深度学习为主的人工智能浪潮下，基于深 度学习的医学影像病灶识别技术在一定程度上可以帮助医生减轻工作量，但是在实际临床 应用中，医学影像受噪声污染，信噪比低，不同组织间灰度差异小，极大影响了在临床诊 疗中的应用，并且单一模态的影像并不能够提供医生所需要的足够充分的信息，例如，超 声图像快捷无辐射，对于致密乳腺疾病的诊断性能优越，但是对于乳腺肿瘤较小，边缘分 辨率差，具有微小钙化的非典型肿瘤的检测不如钼靶X射线敏感，难以诊断。

发明内容

本发明的目的在于提供一种医学影像的融合方法及基于融合医学影像学习的图像检 测方法，以解决医学影像因受噪声污染，信噪比低，不同组织间灰度差异小，影响医学影 像的应用，以及单一模态的影像并不能从不同角度提供病变组织更丰富的信息等技术问 题。

本发明为解决上述技术问题采取的技术方案是：

一种医学影像的融合方法，所述方法的实现过程为：

(1)、读取模态A医学影像I_A，模态B医学影像I_B；

(2)、分别对两类模态医学影像进行预处理，得到去噪图像I_Aq、I_Bq；

(3)、采用改进的剪切波变换对图像进行多尺度剖分；

(4)、根据融合规则，对两类模态影像进行融合，得到融合图像I_F。

进一步地，所述步骤(2)中对两类模态医学影像进行预处理，采用引导滤波，具体过程如下：

引导滤波的输入参数为引导图像I和需要被处理优化的图像p(输入的医学影像)，输 出为优化后的图像q；

引导图像与输入图像可以预先设置为I＝p，均为原始医学影像；引导图像由局部线 性模型引出，首先在局部邻域内，通过最小化代价函数来确定线性系数a_k和b_k的值，即在以k为中心，r为半径的局部窗口w_k中，代价函数函数如公式(1)所示：

其中，q_i代表像素点i的滤波输出，I_i表示引导图像中像素点i的灰度值，p_i表示输入图像中像素点i的灰度值，a_k，b_k为常数，在w_k中固定不变，ε是一个正则化参数， 作用是防止a_k过大，以保持数据稳定性；根据线性回归求出：

其中：u_k和σ_k ²为引导图像I在局部邻域ω_k中的均值和方差；|ω|为邻域内的像素个 数；为邻域内的均值；

最终得到的线性输出模型：

其中q_k即是去噪图像I_q，和分别指在局部邻域内ω_k里a_k和b_k的平均值；去噪图像 I_q是去噪图像I_Aq、I_Bq的概括。

进一步地，所述步骤(3)中采用改进的剪切波变换对图像进行多尺度剖分的具体步 骤是：对于步骤(2)中得到的去噪图像I_q，

(a)确定待处理图像的分解尺度层数n以及随尺度分解层数改变扩散滤波次数增加或 者减少的次数N_t；

(b)对待处理的图像I_q(待处理图像就是所述的去噪图像)进行nN_t次扩散滤波，得到 滤波结果记为残差记为

(c)对进行(n-1)N_t次扩散滤波，得到的滤波结果记为残差记为

(d)以此类推，对进行N_t次扩散滤波得到滤波结果记为残差记为

(e)重构过程为

经过以上的多尺度分解后为最高频的信息，为最低频的信息；到信号 频率递增。

进一步地，所述步骤(4)中对两类模态影像进行融合，得到融合图像I_F，所采用的融合规则是根据医学影像的特点在低频和高频融合规则中选用不同的方法分别融合：

在低频区，根据由于医学图像不同组织间灰度差异小、对比度很低的特点，采用将区 域常方差和区域信息熵两种显著性测度相结合来融合低频部分，按照下面的公式进行融合

I_F＝ω_A*I_LA+ω_B*I_LB (4)

其中ω_A、ω_B为两幅低频图像的加权系数，E_A、E_B为图像的区域信息熵，σ_A、σ_B为 区域常方差；

在高频区，采用改进的拉普拉斯能量融合策略，融合规则如下，首先计算改进的拉普拉斯：

S＝|I^l,k(i,j)-0.5I^l,k(i-1,j-1)-0.5I^l,k(i+1,j+1)| (8)

T＝|I^l,k(i,j)-0.5I^l,k(i+1,j-1)-0.5I^l,k(i-1,j+1)| (9)

式中的I^l,k(i,j)表示l尺度、k方向上，像素点(i,j)处的高频系数；以(i,j)为中心的局部 窗口(2P+1)×(2Q+1)的拉普拉斯能量定义如下：

基于NSML^l,k(i,j)表示l尺度，k方向上，像素点(i,j)处的拉普拉斯能量；w(a,b)为与NML^l,k(i+a,j+b)相对应的窗口函数，根据距离中心像素的距离不同取不同的权 值，则高频部分的融合规则为：

式中A^l,k(i,j)、B^l,k(i,j)、F^l,k(i,j)分别为待融合的两幅高频图像和融合图像的在l尺 度，k方向上，像素点(i,j)处的高频子带系数。

一种基于融合医学影像学习的图像检测方法，所述方法包括如下步骤：

将根据上述医学影像的融合方法获得的所有融合图像组成融合医学影像(融合图像) 数据集S{I_F}；

对数据集采用改进的YOLO v2深度学习算法进行训练，生成训练网络；

对待检测图像，用训练好的网络进行检测，并给出判断决策。

进一步地，所述步骤(6)中采用改进的YOLO v2深度学习算法进行训练，所采用 的改进措施为：

1)在基准神经网络中加入融合层，融合层把浅层的特征图和深层特征图融合；YOLO 的检测器使用经过增加的高低分辨率的特征图，拥有更多的细粒度特征，即是指对物体的 关键部件进行定位和准确的描述的特征，适于对偏小尺度的物体检测；

2)在训练时增加各种乳腺医学影像，将非乳腺肿瘤区域进行标记，作为负样本，以减少正常乳腺组织被归类为乳腺肿瘤的错误分类率；

3)在用非极大值抑制(NMS)进行冗余回归操作时，采用如下改进公式计算置信度分数s_i：

其中iou为交并比，即模型产生的目标窗口与原来标记窗口的交叠率，M是目前置信 分数最高的回归框，b_i是需要处理的回归框，b_i和M的iou更高，b_i的置信得分s_i就减小的更快，σ为高斯参数，设为0.5。

本发明的有益效果是：

本发明提出将不同模态的医学影像融合在一起，互相完善，优势互补，从不同角度提 供病变组织更丰富的信息，以便了解病变的器官或组织的更准确的情况，对提高诊断的准 确度与可信度具有重要意义。基于融合医学影像学习的图像检测方法利用医疗大数据为医 生提供所需要的足够充分的信息，辅助医生工作，解决日益增长的图像数据给人工阅片带 来的困难，能实现医学影像阅片的程序化、准确化，节约时间。

本发明通过对多模态医学影像的融合，丰富了医学影像的综合性信息，弥补了单一模 态影像无法全面表征病灶特征的缺点，采用改进的剪切波变换对图像进行多尺度剖分，保 护医学影像中组织的边缘结构，采用高低频分频融合决策，提高融合图像的质量，采用改 进的YOLO v2网络，在基准神经网络中加入融合层，增加网络训练负样本，改进置信度分数计算公式，通过三种措施提升检测性能，并满足实时决策的要求。

本发明与现有技术相比的优势在于：

1、本发明通过对多模态医学影像的融合，丰富了医学影像的综合性信息，弥补了单 一模态影像无法全面表征病灶特征的缺点；

2、采用引导滤波预处理方法，在去除医学影像噪声的同时保留了更多的细节信息；

3、采用改进的剪切波变换对图像进行多尺度剖分，保护医学影像中组织的边缘结构， 采用高低频分频融合决策，提高融合图像的质量，

4、本发明采用改进的YOLO v2网络，在基准神经网络中加入融合层，增加网络训练负样本，改进置信度分数计算公式，通过三种措施提升了检测性能，并满足实时决策的要求。

附图说明

图1是本发明方法的基于融合医学影像学习的图像检测方法的流程框图。

具体实施方式

具体实施方式一：如图1所示，本实施方式所述的医学影像的融合方法包括

(1)、读取模态A医学影像I_A，模态B医学影像I_B；

(2)、分别对两类模态医学影像进行预处理，得到去噪图像I_q；

(3)、采用改进的剪切波变换对图像进行多尺度剖分；

(4)、根据融合规则，对两类模态影像进行融合，得到融合图像I_F；

步骤(2)中对医学影像预处理采用引导滤波算法，具体过程如下；

引导滤波的输入参数为引导图像I和需要被处理优化的图像p(输入的医学影像)，输 出为优化后的图像q。引导图像与输入图像可以预先设置为I＝p，均为原始医学影像。它由局部线性模型引出，首先在局部邻域内，通过最小化代价函数来确定线性系数a_k和b_k的值，即在以k为中心，r为半径的局部窗口w_k中，代价函数函数如公式(1)所示：

其中，q_i代表像素点i的滤波输出，I_i表示引导图像中像素点i的灰度值，p_i表示输入图像中像素点i的灰度值，a_k，b_k为常数，在w_k中固定不变，ε是一个正则化参数， 作用是防止a_k过大，以保持数据稳定性。根据线性回归求出：

其中：u_k和σ_k2为图像I在局部邻域ω_k中的均值和方差；|ω|为邻域内的像素个数；为邻域内的均值。

最终得到的线性输出模型：

其中q_k即是去噪图像I_q，和分别指在局部邻域内ω_k里a_k和b_k的平均值。从此线性模型可以看出，在引导图像I中有边缘的地方输出的图像q中也会相应地保留边缘。 鉴于医学影像中病变组织或器官通常具有细微结构，采用引导滤波的去燥方法可以在去除噪声的同时尽可能地防止图像细节信息的丢失，为后续病灶检测诊断打下基础。

步骤(3)采用改进的剪切波变换对图像进行多尺度剖分，具体过程如下：

对于步骤(2)中得到的去噪图像I_q

(a)确定待处理图像的分解尺度层数n以及随尺度分解层数改变扩散滤波次数增加或者 减少的次数N_t；

(b)对待处理的图像I_q ⁰进行nN_t次扩散滤波，得到滤波结果记为残差记为

(c)对进行(n-1)N_t次扩散滤波，得到的滤波结果记为残差记为

(d)以此类推，对进行N_t次扩散滤波得到滤波结果记为残差记为

(e)重构过程为

(f)经过以上的多尺度分解后为最高频的信息，为最低频的信息。到信号 频率递增。

步骤(4)根据融合规则，对两类模态影像进行融合，得到融合图像，具体过程是：

本着保证融合图像质量，信息丰富的原则，根据医学影像的特点在低频和高频融合规 则中选用不同的方法分别融合。

在低频区，由于医学图像不同组织间灰度差异小，对比度很低的特点，本发明采用将 区域常方差和区域信息熵两种显著性测度相结合来融合低频部分，按照下面的公式进行融 合

I_F＝ω_A*I_LA+ω_B*I_LB (4)

其中ω_A、ω_B为两幅低频图像的加权系数，E_A、E_B为图像的区域信息熵，σ_A、σ_B为 区域常方差。

在高频区，采用改进的拉普拉斯能量融合策略，融合规则如下，首先计算改进的拉普拉斯：

S＝|I^l,k(i,j)-0.5I^l,k(i-1,j-1)-0.5I^l,k(i+1,j+1)| (8)

T＝|I^l,k(i,j)-0.5I^l,k(i+1,j-1)-0.5I^l,k(i-1,j+1)| (9)

式中的I^l,k(i,j)表示l尺度，k方向上，像素点(i,j)处的高频系数。以(i,j)为中心的局部 窗口(2P+1)×(2Q+1)的拉普拉斯能量定义如下：

基于NSML^l,k(i,j)表示l尺度，k方向上，像素点(i,j)处的拉普拉斯能量。w(a,b)为与NML^l,k(i+a,j+b)相对应的窗口函数，根据距离中心像素的距离不同取不同的权 值，则高频部分的融合规则为：

式中A^l,k(i,j)、B^l,k(i,j)、F^l,k(i,j)分别为待融合的两幅高频图像和融合图像的在l尺度， k方向上，像素点(i,j)处的高频子带系数。

根据低频和高频融合规则，通过逆变换，得到融合图像。

具体实施方式二：如图1所示，本实施方式所述的基于融合医学影像学习的图像检测 方法包括：

(1)、读取模态A医学影像I_A，模态B医学影像I_B；

(2)、分别对两类模态医学影像进行预处理，得到去噪图像I_q；

(3)、采用改进的剪切波变换对图像进行多尺度剖分；

(4)、根据融合规则，对两类模态影像进行融合，得到融合图像I_F；

(5)、将所有融合图像组成融合图像数据集S{I_F}；

(6)、对数据集采用改进的YOLO v2深度学习算法进行训练，生成训练网络；

(7)、对待检测图像，用训练好的网络进行检测，并给出判断决策。

步骤(6)中采用YOLO v2深度学习算法对步骤(5)中得到的融合图像数据集进行训练，针对微小乳腺肿瘤不易检测的难点，采用如下改进措施：

1)借鉴多尺度特征思想，在基准神经网络中加入融合层，融合层把浅层的特征图和 深层特征图融合。YOLO的检测器使用经过增加的高低分辨率的特征图，拥有更多的细粒度特征，即是指对物体的关键部件进行定位和准确的描述的特征，这对偏小尺度的物体检测有帮助，使得模型的性能获得了提升。

2)在训练时增加各种乳腺医学影像，将非乳腺肿瘤区域进行标记，作为负样本，减少了正常乳腺组织被归类为乳腺肿瘤的错误分类率。

3)在用非极大值抑制(NMS)进行冗余回归操作时，采用如下改进公式计算置信度分数s_i：

其中iou为交并比，即模型产生的目标窗口与原来标记窗口的交叠率，M是目前置信 分数最高的回归框，b_i是需要处理的回归框，b_i和M的iou更高，b_i的置信得分s_i就减小的更快，σ为高斯参数，设为0.5。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任 何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发 明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种医学影像的融合方法，其特征在于，所述方法的实现过程为：

(1)、读取模态A医学影像I_A，模态B医学影像I_B；

(2)、分别对两类模态医学影像进行预处理，得到去噪图像I_Aq、I_Bq；

(3)、采用改进的剪切波变换对图像进行多尺度剖分；

(4)、根据融合规则，对两类模态影像进行融合，得到融合图像I_F。

2.根据权利要求1所述的一种医学影像的融合方法，其特征在于：所述步骤(2)中对两类模态医学影像进行预处理，采用引导滤波，具体过程如下：

引导滤波的输入参数为引导图像I和需要被处理优化的图像p，输出为优化后的图像q；

引导图像与输入图像可以预先设置为I＝p，均为原始医学影像；引导图像由局部线性模型引出，首先在局部邻域内，通过最小化代价函数来确定线性系数a_k和b_k的值，即在以k为中心，r为半径的局部窗口w_k中，代价函数函数如公式(1)所示：

其中，q_i代表像素点i的滤波输出，I_i表示引导图像中像素点i的灰度值，p_i表示输入图像中像素点i的灰度值，a_k，b_k为常数，在w_k中固定不变，ε是一个正则化参数，作用是防止a_k过大，以保持数据稳定性；根据线性回归求出：

其中：u_k和σ_k ²为引导图像I在局部邻域ω_k中的均值和方差；|ω|为邻域内的像素个数；为邻域内的均值；

最终得到的线性输出模型：

其中q_k即是去噪图像I_q，和分别指在局部邻域内ω_k里a_k和b_k的平均值；去噪图像I_q是去噪图像I_Aq、I_Bq的概括。

3.根据权利要求1或2所述的一种医学影像的融合方法，其特征在于：所述步骤(3)中采用改进的剪切波变换对图像进行多尺度剖分的具体步骤是：对于步骤(2)中得到的去噪图像I_q，

(a)确定待处理图像的分解尺度层数n以及随尺度分解层数改变扩散滤波次数增加或者减少的次数N_t；

(b)对待处理的图像I_q进行nN_t次扩散滤波，得到滤波结果记为残差记为

(c)对进行(n-1)N_t次扩散滤波，得到的滤波结果记为残差记为

(d)以此类推，对进行N_t次扩散滤波得到滤波结果记为残差记为

(e)重构过程为

经过以上的多尺度分解后为最高频的信息，为最低频的信息；到信号频率递增。

4.根据权利要求3所述的一种医学影像的融合方法，其特征在于：所述步骤(4)中对两类模态影像进行融合，得到融合图像I_F，所采用的融合规则是根据医学影像的特点在低频和高频融合规则中选用不同的方法分别融合：

在低频区，根据由于医学图像不同组织间灰度差异小、对比度很低的特点，采用将区域常方差和区域信息熵两种显著性测度相结合来融合低频部分，按照下面的公式进行融合I_F＝ω_A*I_LA+ω_B*I_LB (4)

其中ω_A、ω_B为两幅低频图像的加权系数，E_A、E_B为图像的区域信息熵，σ_A、σ_B为区域常方差；

在高频区，采用改进的拉普拉斯能量融合策略，融合规则如下，首先计算改进的拉普拉斯：

S＝|I^l,k(i,j)-0.5I^l,k(i-1,j-1)-0.5I^l,k(i+1,j+1)| (8)

T＝|I^l,k(i,j)-0.5I^l,k(i+1,j-1)-0.5I^l,k(i-1,j+1)| (9)

式中的I^l,k(i,j)表示l尺度、k方向上，像素点(i,j)处的高频系数；以(i,j)为中心的局部窗口(2P+1)×(2Q+1)的拉普拉斯能量定义如下：

基于NSML^l,k(i,j)表示l尺度，k方向上，像素点(i,j)处的拉普拉斯能量；w(a,b)为与NML^l,k(i+a,j+b)相对应的窗口函数，根据距离中心像素的距离不同取不同的权值，则高频部分的融合规则为：

式中A^l,k(i,j)、B^l,k(i,j)、F^l,k(i,j)分别为待融合的两幅高频图像和融合图像的在l尺度，k方向上，像素点(i,j)处的高频子带系数。

5.一种基于融合医学影像学习的图像检测方法，其特征在于：所述方法包括如下步骤：

将根据权利要求1所述方法获得的所有融合图像组成融合医学影像数据集S{I_F}；

对数据集采用改进的YOLO v2深度学习算法进行训练，生成训练网络；

对待检测图像，用训练好的网络进行检测，并给出判断决策。

6.根据权利要求5所述的基于融合医学影像学习的图像检测方法，其特征在于：所述步骤(6)中采用改进的YOLO v2深度学习算法进行训练，所采用的改进措施为：

1)在基准神经网络中加入融合层，融合层把浅层的特征图和深层特征图融合；YOLO 的检测器使用经过增加的高低分辨率的特征图，拥有更多的细粒度特征，即是指对物体的关键部件进行定位和准确的描述的特征，适于对偏小尺度的物体检测；

2)在训练时增加各种乳腺医学影像，将非乳腺肿瘤区域进行标记，作为负样本，以减少正常乳腺组织被归类为乳腺肿瘤的错误分类率；

3)在用非极大值抑制进行冗余回归操作时，采用如下改进公式计算置信度分数s_i：

其中iou为交并比，即模型产生的目标窗口与原来标记窗口的交叠率，M是目前置信分数最高的回归框，b_i是需要处理的回归框，b_i和M的iou更高，b_i的置信得分s_i就减小的更快，σ为高斯参数，设为0.5。