CN111462065B - 超声、红外序列图像融合的乳腺癌检测方法及其系统 - Google Patents

Abstract

本申请公开了一种超声、红外序列图像融合的乳腺癌检测方法及其系统，方法包括：分别获取乳腺红外图像和超声图像，基于离散二维小波变换，分别获取序列乳腺红外图像、超声图像的高频信息和低频信息；基于融合规则获取图像的总高频信息和总低频信息；基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像。在本申请实施例中，采用对人体无害的影像学检测方法，融合了序列乳腺红外图像的动态强度信息以及超声图像包含纹理、边缘信息，通过帧差法和伪彩色处理，使得融合后的图像具有的颜色信息，同时纹理、边缘等信息更加明显，便于观察，有利于进行准确的进行乳腺癌的检测。

Description

超声、红外序列图像融合的乳腺癌检测方法及其系统

技术领域

本申请涉及技术领域，尤其涉及一种超声、红外序列图像融合的乳腺癌检测方法及其系统。

背景技术

乳腺癌作为女性最常见的恶性肿瘤之一，发病率占全身各种恶性肿瘤的7-10％，已成为威胁妇女健康的主要病因，因此对于乳腺癌的检测具有非常重要的临床意义。目前现有乳腺癌的影像学检测方法主要是依靠红外，钼靶、超声、MRI图像等，由于单一乳腺图像可提供的信息有限，而且各种乳腺图像所包含的特征不一样，此外，钼靶和MRI对人体都有辐射。

发明内容

为了解决上述技术问题，本申请实施例提供一种超声、红外序列图像融合的乳腺癌检测方法、系统及可存储介质。

本申请实施例第一方面提供了一种超声、红外序列图像融合的乳腺癌检测方法，可包括：

分别获取乳腺红外图像和超声图像，基于离散二维小波变换，分别获取序列乳腺红外图像的高频信息和低频信息、超声图像的高频信息和低频信息；

基于区域方差的融合规则以及区域能量的融合规则获取图像的总高频信息和总低频信息；

基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像。

进一步地，所述分别获取乳腺红外图像和超声图像，基于离散二维小波变换，分别获取序列乳腺红外图像的高频信息和低频信息、超声图像的高频信息和低频信息具体包括：

获取同一患者同一时刻同一部位下的乳腺红外图像和超声图像，并进行线性滤波；

基于离散二维小波变换对滤波之后的两种图像进行变换，分别形成各自的高频信息和低频信息。

进一步地，所述基于区域方差的融合规则以及区域能量的融合规则获取图像的总高频信息和总低频信息具体包括：

基于区域方差的融合规则将所述乳腺红外图像的高频信息和超声图像的高频信息进行融合，获取图像的总高频信息；

基于区域能量的融合规则将所述乳腺红外图像的低频信息和超声图像的低频信息进行融合，获取图像的总低频信息。

进一步地，所述基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像具体包括：

获取总高频信息的图像以及总低频信息的图像，利用离散二维小波逆变换进行图像融合，得到融合图像；

基于所述融合图像，利用帧差法进行处理后再利用伪彩色处理，输出所得到的融合图像。

本申请实施例第二方面提供了一种超声、红外序列图像融合的乳腺癌检测系统，包括：

图像获取单元，用于获取乳腺红外图像和超声图像；

图像分离单元，用于分离图像形成高频信息图像和低频信息图像；

图像融合单元，用于融合乳腺红外图像的高频信息图像和超声图像的高频信息图像获得总高频信息图像，融合乳腺红外图像的低频信息图像和超声图像的低频信息图像获得总低频信息图像，

图像输出单元，基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像并输出。

进一步地，所述图像获取单元中所获取的乳腺红外图像和超声图像为同一患者同一时刻同一部位下所采集获得；

所述图像获取单元对所获取的图像进行线性滤波。

进一步地，所述图像分离单元用于对图像获取单元处理后的图像进行离散二维小波变换，分别获取序列乳腺红外图像的高频信息图像和低频信息图像、超声图像的高频信息图像和低频信息图像。

进一步地，所述图像融合单元具体包括：

高频图像获取单元，用于将所述乳腺红外图像的高频信息图像和超声图像的高频信息图像基于区域方差的融合规则进行融合，获取图像的总高频信息图像；

低频图像获取单元，用于将所述乳腺红外图像的低频信息图像和超声图像的低频信息图像基于区域能量的融合规则进行融合，获取图像的总低频信息图像。

进一步地，所述图像输出单元具体包括：

图像逆变换单元，用于对所获取总高频信息图像和总低频信息图像利用离散二维小波逆变换进行图像融合；

图像输出单元，用于将所述图像逆变换单元所得到的融合图像，利用帧差法进行处理后再利用伪彩色处理，获得所需要输出的融合图像。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面的方法。

在本申请实施例中，采用对人体无害的影像学检测方法，融合了序列乳腺红外图像的动态强度信息以及超声图像包含纹理、边缘信息，通过帧差法和伪彩色处理，使得融合后的图像具有的颜色信息，同时纹理、边缘等信息更加明显，便于观察，有利于进行准确的进行乳腺癌的检测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的方法流程示意图；

图2是本申请实施例提供的系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

本方法采用对人体无害的影像学检测方法，融合了序列乳腺红外图像的动态强度信息以及超声图像包含纹理、边缘信息，通过帧差法和伪彩色处理，使得融合后的图像具有的颜色信息，同时纹理、边缘等信息更加明显，便于观察，有利于进行准确的进行乳腺癌的检测。

具体地包括：

S101：分别获取乳腺红外图像和超声图像，基于离散二维小波变换，分别获取序列乳腺红外图像的高频信息和低频信息、超声图像的高频信息和低频信息。

可以理解的是，作为数据采集的相关内容，本申请中获取同一患者同一时刻同一部位下的乳腺红外图像和超声图像，并进行线性滤波。

将不同时间下的同一患者同一时刻同一部位的乳腺红外图像

和超声图像/>

经过一维线性滤波，其中一维线性滤波器为/>

式中：/>

为一维线性滤波器后图像，/>

表示原始的序列乳腺红外图像/>

或超声图像/>

G为1×3的模板窗口，其数值为[0.25,0.5,0.25],U是乳腺红外图像采集系统得到的人体红外乳腺图像序列的帧数，其值为13或23(本实施例中选择23)。一维线性滤波的目的在于滤除源图像在采集过程中由于外界环境等引起的噪声，而这些噪声通过是以离散的点的形式分布在图像中，因此，采用一维线性滤波器，可以在尽可能保留源图像的同时，去掉异常的噪声点。

由于傅里叶变换是一种全局性的变换，在对信号进行处理分析的过程中，其只能提取信号的频率信息，但是不能精确的定位到具体的时域，而小波可以对信号进行时频分析，能够得到信号多尺度多分辨率的下的高低频信息，其中高频信息主要包含图像的边缘、纹理、形状等细节信息，低频信息主要包含了图像的强度等近似信息。小波变换从数学角度来看，其主要核心为小波基函数，本算法采用的小波基函数为db4，见公式

为连续的小波基函数，为了得到离散二维小波变换，需要对a，b这两个因子离散化的选择。

假设令a₀＞1且b₀＞1，则离散二维小波变换的基函数可以定义为如式：

假设f(x₁,x₂)∈L²(R)表示二维图像，通过对其进行伸缩、平移变换就可以得到二维小波基函数/>

见式/>

其中a、b₁、b₂是进行伸缩，平移过程中所涉及到的比例系数，进一步可表示为

这里的W_f表示/>

通过线性扩展的闭包集合。由于离散二维小波变换可以看作是图像通过低通滤波H(n)加上高通滤波G(n)后分解与合成，/>

式中：H_r和H_c表示高通滤波器；G_r和G_c表示低通滤波器；r表示图像的行、c表示图像的列；i和j分别表示图像任意点的横、纵坐标，其范围为1≤i≤r,1≤j≤c；C_q+1表示图像的低频子带；/>

分别表示图像在x，y，xy方向的边缘细节信息，即高频子带。

S201：基于区域方差的融合规则以及区域能量的融合规则获取图像的总高频信息和总低频信息。

可以理解的是，在分别得到各自的高频信息和低频信息之后，由于高频信息主要包含图像的细节信息，采用区域方差的融合规则可以提高高频信息的对比度；低频信息主要包含是图像的近似信息，采用区域能量的融合规则可以提高整体图像的清晰度，充分保留红外乳腺图像的强度信息。

作为一个具体的实施例，低频子带图像融合规则，用平均区域能量的最大作为图像融合的算法，计算公式采用

表示乳腺红外图像的低频子带，/>

表示超声图像的低频子带，均采用上面的公式计算得到；区域大小设置为3×3，区域能量/>

表示乳腺红外图像的区域能量，/>

表示超声图像的区域能量，I表示大小为M×N的区域。由于区域能量可以直观反映源图像的强度信息，因此为了便于后续进行强度分析，这里采用区域能量融合的方法，可以保留源图像的强度信息。

高频子带图像融合规则用区域方差最大作为图像融合的算法

其中D^q+1代表/>

的高频子带信息，区域大小设置为3×3，区域方差Std(I)，其表达式为/>

式中，/>

表示乳腺红外图像的高频子带，/>

表示超声图像的高频子带，

表示乳腺红外图像的高频子带的区域方差，/>

表示超声图像的高频子带的区域方差，I表示大小为M×N的区域，I(i,j)表示区域I中像素点(i,j)的灰度值，/>

表示区域I的灰度平均值。区域方差可以反映区域信息的含量，能够很好的保留源图像的比如纹理、边缘等细节信息，有效的提高图像的对比度。

S301：基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像。

可以理解的是，在获取了融合图像之后，需要将两种图像进行融合以得到最终所能够针对其内容进行乳腺癌诊断的数据图像，在本申请中利用离散二维小波逆变换就可以得到融合图像，重复这一过程，就可以得到序列图像的融合图像。

为了更好的提高融合图像的对比度和视觉效果，利用帧差法和伪彩处理，得到融合后的伪彩图像，根据纹理、边缘等信息，结合伪彩图像随时间的颜色分布和深浅就可以进行乳腺癌诊断。

作为一个具体的实施例，离散二维小波逆变换根据上述融合后的系数{C^q+1,D^q+1}，采用离散二维小波逆变换，见式，

重复上述过程，就可以得到融合图像I_t，t＝1,2...U，U为所融合的图像的个数，这里所采用的低通滤波H(n)以及高通滤波G(n)均为之前在进行离散二维小波变换时所涉及到的低通滤波和高通滤波。

为了得到融合图像随时间对光强的吸收变化，采用帧差法即以t₁时刻的融合图像I₁(i,j)为基准，后续的每一帧图像都减去该融合图像，见式，F_t(i,j)＝I_t(i,j)-I₁(i,j)，F_t(i,j)表示经过帧差法处理后的融合图像。

针对融合图像的源图像中乳腺红外图像中无氧血红蛋白对光的吸收强度很微弱，其强度变化很小，无法进行直观判断。

为了提高其对比度，便于视觉观察，可以加入伪彩色处理方式：

计算所有融合图像绝对值的最大值

设定颜色阈值thld范围/>

其中k＝1,2,...256，这样就可以得到不同灰度范围下，其对应映射的颜色信息。

将融合图像F_t中各个灰度值转换成对应的r，g，b的值。当F_t(i,j)≥thld(k)且F_t(i,j)≤thld(k+1)时，

其中map(k,1)、map(k,2)、map(k,3)为r、g、b的线性颜色表，这样就可以得到了包含颜色信息的融合图像/>

本申请实施例还提供一种超声、红外序列图像融合的乳腺癌检测系统，该系统用于执行前述任一项上述识别方法。具体地，参见图2，本实施例的系统包括图像获取单元310、图像分离单元320、图像融合单元330和图像输出单元340。

图像获取单元310用于获取乳腺红外图像和超声图像，具体地，获取的乳腺红外图像和超声图像为同一患者同一时刻同一部位下所采集获得，图像获取单元310利用一级线性滤波器对图像进行滤波。

图像分离单元320，用于离散二维小波变换，分别获取序列乳腺红外图像的高频信息图像和低频信息图像、超声图像的高频信息图像和低频信息图像。

具体地，图像分离单元320内部包括高频图像获取单元321和低频图像获取单元322，高频图像获取单元321用于将乳腺红外图像的高频信息图像和超声图像的高频信息图像基于区域方差的融合规则进行融合后获取图像的总高频信息图像，低频图像获取单元322用于将所述乳腺红外图像的低频信息图像和超声图像的低频信息图像基于区域能量的融合规则进行融合后获取图像的总低频信息图像。

图像融合单元330，用于融合乳腺红外图像的高频信息图像和超声图像的高频信息图像获得总高频信息图像，融合乳腺红外图像的低频信息图像和超声图像的低频信息图像获得总低频信息图像。

图像输出单元340，基于总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像并输出。

具体图像输出单元340包括：

图像逆变换单元341，用于对所获取总高频信息图像和总低频信息图像利用离散二维小波逆变换进行图像融合；

图像输出单元342，用于将所述图像逆变换单元所得到的融合图像，利用帧差法进行处理后再利用伪彩色处理，获得所需要输出的融合图像，结合伪彩图像随时间的颜色分布和深浅就可以进行乳腺癌诊断。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims (4)

1.一种超声、红外序列图像融合的乳腺癌检测方法，其特征在于，包括：

S101:分别获取乳腺红外图像和超声图像，基于离散二维小波变换，分别获取序列乳腺红外图像的高频信息和低频信息、超声图像的高频信息和低频信息；

S201:基于区域方差的融合规则以及区域能量的融合规则获取图像的总高频信息和总低频信息；

S301:基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像；

所述S101具体包括：

获取同一患者同一时刻同一部位下的乳腺红外图像和超声图像，并进行线性滤波；

基于离散二维小波变换对滤波之后的两种图像进行变换，分别形成各自的高频信息和低频信息;

所述S201具体包括：

基于区域方差的融合规则将所述乳腺红外图像的高频信息和超声图像的高频信息进行融合，获取图像的总高频信息；

基于区域能量的融合规则将所述乳腺红外图像的低频信息和超声图像的低频信息进行融合，获取图像的总低频信息；

所述S301具体包括：

获取总高频信息的图像以及总低频信息的图像，利用离散二维小波逆变换进行图像融合，得到融合图像；

基于所述融合图像，利用帧差法进行处理后再利用伪彩色处理，输出所得到的融合图像。

2.一种超声、红外序列图像融合的乳腺癌检测系统，其特征在于，包括：

图像获取单元，用于获取乳腺红外图像和超声图像；

图像分离单元，用于分离图像形成高频信息图像和低频信息图像；

图像融合单元，用于融合乳腺红外图像的高频信息图像和超声图像的高频信息图像获得总高频信息图像，融合乳腺红外图像的低频信息图像和超声图像的低频信息图像获得总低频信息图像，

图像输出单元，基于所述总高频信息和总低频信息，在离散二维小波逆变换的作用下进行图像融合，形成作为诊断判断的乳腺图像并输出；

其中，所述图像获取单元中所获取的乳腺红外图像和超声图像为同一患者同一时刻同一部位下所采集获得；

所述图像获取单元对所获取的图像进行线性滤波；

所述图像分离单元用于对图像获取单元处理后的图像进行离散二维小波变换，分别获取序列乳腺红外图像的高频信息图像和低频信息图像、超声图像的高频信息图像和低频信息图像；

所述图像融合单元具体包括：

高频图像获取单元，用于将所述乳腺红外图像的高频信息图像和超声图像的高频信息图像基于区域方差的融合规则进行融合，获取图像的总高频信息图像；

低频图像获取单元，用于将所述乳腺红外图像的低频信息图像和超声图像的低频信息图像基于区域能量的融合规则进行融合，获取图像的总低频信息图像。

3.根据权利要求2所述的超声、红外序列图像融合的乳腺癌检测系统，其特征在于，

所述图像输出单元具体包括：

图像逆变换单元，用于对所获取总高频信息图像和总低频信息图像利用离散二维小波逆变换进行图像融合；

图像输出单元，用于将所述图像逆变换单元所得到的融合图像，利用帧差法进行处理后再利用伪彩色处理，获得所需要输出的融合图像。

4.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1所述的方法。

Images