CN104299216B - 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 - Google Patents
基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 Download PDFInfo
- Publication number
- CN104299216B CN104299216B CN201410570967.3A CN201410570967A CN104299216B CN 104299216 B CN104299216 B CN 104299216B CN 201410570967 A CN201410570967 A CN 201410570967A CN 104299216 B CN104299216 B CN 104299216B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- mtd
- scale
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法。该方法包含以下步骤：1)对输入图像构建图像金字塔，对每层图像进行网格化，构建数据相关的各向异性热核，实现图像的多尺度表示；2)将不同尺度下的图像分组，并对每个分组构建低秩分析，提取其低秩部分，同时有效的滤除噪声，由所提取的显著信息构建多尺度空间；3)在图像金字塔的每一层内，低频信息采用S型函数进行融合，高频信息使用最大选择策略融合，金字塔层间采样权重融合。本发明所提出的多模态医学图像融合方法对噪声图像的融合具有较好的鲁棒性。
Description
技术领域
本发明涉及一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法。
背景技术
在临床医学中，通常单一模态的医学影响无法满足医护人员的边随着医学影像技术的不断发展，出现了许多先进的成像设备来反映人体脏器和病变组织的各种信息，也为临床的医疗诊断提供了多种模态的医学图像，这些图像可分为解剖结构图像(例如：B超、CT、MRI)和功能图像(例如：PET、SPECT)两大类，由于成像原理的差异，不同种类的图像也具有各自的优缺点。例如CT图像具有较高的空间分辨率和几何特性，能够非常清晰地呈现人体骨骼，便于提供良好的病灶定位，但对人体软组织的检测效果较差,而人体组织在MRI图像中成像效果较好，有利于病灶范围的确定，但易受到电磁干扰产生几何失真；SPECT、PET可反映人体组织器官的代谢水平和血流状况，能有效的检测肿瘤病变，但其具有较低的空间分辨率，难以得到精确的解剖结构，不利于分辨组织、器官的边界。由此可知不同的成像原理提供了互补的信息。因此多模态医学图像的融合可以为临床诊断提供更加丰富的病变组织或器官的信息，便于医护人员做出更加准确的诊断和制定更加合适的治疗方案。
常用的方法可分为两种，一种是基于变换策略来实现图像的多尺度表示；另外一种方法是利用几何多尺度分析工具实现图像的多尺度表示，然后利用融合规则将不同尺度下的信息进行融合。变换策略图像融合法通常包括基于IHS(Intensity-Hue-Saturation)和PCA(Principal Component Analysis)的两种方法，但由于采用了随意的融合规则，基于IHS框架的融合算法通常造成图像失真和谱扭曲。基于小波的融合的典型代表有基于Curvelets、Contourlets、NSCT和Shearlets等，其成功的重点在于主要利用了小波良好的高低频分离特性，对不同的子带采用马尔科夫链等方法来计算数据相关的融合权重，实现不同模态的图像融合。该类方法的主要缺点在于所使用的小波核函数与所处理的数据无关，无法有效的提取不同方向的细节信息，因此存在融合图像缺乏细节的缺点。
目前多模态医学图像融合的关键技术在于如何实现结构意识的多尺度图像表示，如何从不同模态的医学图像中分离出互补性的显著信息，如何保证互补性的信息能有效的融合到最终的图像中等。
为了解决上述问题，本发明基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，该方法通过构建数据相关的热核，实现结构保护的图像多尺度分解，并同构图像金字塔和分块策略实现了大尺度和小尺度结构信息的有效保护，同时利用CUDA计算提高了算法的计算速度；基于所获得的多尺度图像，分组构建低秩分析，提取小尺度范围内固有的显著信息，有效的滤除噪声，提高了算法的抗噪性，并构建基于显著信息的多尺度融合空间，利用尺度意识的S型权重函数实现不同尺度下的信息融合，有效解决了互补信息融合问题。
发明内容
本发明要解决的技术问题是：克服了现有滤波器的数据无关性以及结构意识的不足，提供了一种基于热核金字塔的各向异性图像处理多尺度表示方法。并通过使用基于分块策略和CUDA技术，提高了所发明的算法的实际可行性。克服了通常融合算法对小尺度细节信息融合的不足，提出了一种基于低秩分析的显著信息尺度空间构建方法；克服了均值最大值融合策略存在的对比度问题，提出了尺度意识的S型权重融合方法。
本发明采用的技术方案为：一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，包括以下几部分：
步骤(1)、基于热核的多尺度图像表示：将输入的多模态图像转换到IHS颜色空间，对图像的I颜色通道构建图像金字塔，将每一层图像分为重叠的块，并利用Delaunay三角化方法对其网格化，基于所构建的网格，利用cotangent方法建立相对应的拉普拉斯矩阵，所构建的拉普拉斯矩阵固有的潜入了图像的结构信息，通过求解广义特征问题获取最小的N个特征值和所对应的特征向量，构造数据相关的热核，因此热核具有数据相关性、结构意识和各向异性性，通过所够构建的热核与图像进行卷积获得不同尺度下的图像表示。同时为了减少拉普拉斯矩阵构建和多尺度卷积的时间，该步骤采用了CUDA实现技术；
步骤(2)、基于低秩分析的显著信息尺度空间构建：：通过步骤(1)所获得的多尺度表示，将金字塔每层图像的多尺度表示进行分组，每组分别做为低秩分析的初始化输入矩阵，利用GoDec方法进行低秩分析，获取每组的低秩部分，该低秩部分包含了小尺度范围内的显著信息，且有效的滤除输入图像内包含的噪声，将每个分组所提取低秩部分进行二次重组，进而构建为基于显著信息的多尺度表示；
步骤(3)、基于S型函数的尺度相关融合：通过步骤(2)中构建的显著信息多尺度空间，主模态基层权重设置为2，辅助模态基层的融合权重系数由S型函数计算，利用权重平均获得金字塔每层的基层融合效果，而细节层采用最大值选择方法获得细节层融合效果，每层的融合效果通过多个细节层和基层累加获得。而金字塔层间融合通过上采样低分辨率融合效果后与相邻下层融合效果进行权重合并，最终得到和输入图像相同分辨率的灰度层融合效果，利用GIHS方法得到最终的多模态医学图像融合效果图。
进一步的，步骤(1)中所述的多尺度图像表示方法是各向异性的，同时是高效的，而且还内建了数据相关和结构意识的特性。
进一步的，步骤(2)中所述的显著信息多尺度空间构建方法，将局部小范围尺度内的显著信息提取的同时滤除了潜在的噪声，具有良好的抗噪性。
进一步的，步骤(3)中所述的S型函数融合方法，避免了辅助模态影响黑色背景的影响，使得融合图像整体具有良好的对比度。
本发明的原理在于：
(1)本发明所提出的多尺度图像表示方法主要侧重于结构意识和各向异性，该发明基于像素灰度值和空间坐标将图像的结构信息有效的编码到拉普拉斯矩阵中，使得所形成的热核具有各向异性性；同时该方法采用金字塔结构和图像分块策略，使得该方法将全局大尺度结构信息和局部小尺度细节信息相结合，并采用了CUDA技术提高了算法的计算效率。
(2)本发明所提出的基于低秩分析的显著信息多尺度空间构建方法，通过对不同尺度的图像进行分组，每组图像构建低秩分析提取不同模态影像中的显著信息，同时滤去了噪声，最终构建为显著信息的多尺度空间，使得所提出的方法具有抗噪性。
(3)常用的平均最大值融合算法通常造成融合结果缺乏细节和具有较低的对比度，为此本发明提出尺度意识的S型权重融合策略，有效的减少辅助模态图像中黑色背景的影响，增加融合图像内细节信息量，进一步改进了融合图像的视觉对比度。
本发明与现有技术相比的优点在于：
1、本发明提出的基于热核金子塔的多尺度图像表示方法，一方面使得热核的构建是数据相关的，提高了算法结构意识能力，另一方面采用了分块策略和CUDA技术使得所提出的小波具有较低的运行时间。
2、对比已有基于多尺度的算法，本发明提出的基于低秩分析的显著信息尺度空间构造方法，具有更好的信息保护和提取能力，同时具有更强的抗噪性能。
3、本发明提出的尺度意识S型融合策略，避免了辅助模态医学影响内黑色背景的影响，提高了算法的信息融合能力，使得融合图像具有较好的对比度。
附图说明
图1为基于热尺度各向异性分解和低秩分析的多模态医学图像融合方法流程图；
图2为基于热核金子塔的多尺度图像表示方法流程图；
图3为基于低秩分析的显著信息尺度空间构造方法流程图；
图4为基于金子塔的分块策略示意图；其中，(a)：小尺度t平滑效果图；(b)：大尺度t平滑效果图；(c)：金字塔大尺度t平滑效果图；
图5为图像分块策略下基于CUDA的拉普拉斯矩阵计算示意图；
图6为多尺度图像平滑方法计算量及内存需求量对比；其中，(a)：先构建热核再获取多尺度图像平滑效果方法；(b)：本发明采用的改进方法；FLO表示浮点计算量，Memory表示计算过程所需要的存储空间；
图7为无噪多模态医学图像融合效果对比示意图；其中，(a)：MRI和SPECT医学图像融合效果对比图；(b)：MRI和PET医学图像融合效果对比图；(c)：六种算法在五种评定指标下的直方图对比；
图8为高斯噪声扰动下多模态医学图像融合效果对比示意图；其中，(a)：5dB高斯白噪声条件下MRI和SPECT医学图像融合效果对比图；(b)：25dB高斯白噪声条件下MRI和SPECT医学图像融合效果对比图；(c)：六种算法在五种评定指标下的直方图对比；
图9为本发明算法在不同分贝高斯噪声扰动条件下的处理效果；
图10为1dB到40dB白高斯噪声扰动下，六种算法在五种评定指标下平均统计对比图对比示意图；其中，(a)：PSNR；(b)：MI；(c)：MSSIM；(d)：FSIM；(e)：FSIMC；横坐标表示噪声分贝量；
图11为椒盐噪声扰动下多模态医学图像融合效果对比示意图；其中，(a)：6％椒盐噪声条件下医学图像融合效果对比图；(b)：10％椒盐噪声条件下医学图像融合效果对比图；(c)：六种算法在五种评定指标下的直方图对比；
图12为不同百分比椒盐噪声含量下，六种算法在五种评定指标下平均统计对比图对比示意图；其中，(a)：PSNR；(b)：MI；(c)：MSSIM；(d)：FSIM；(e)：FSIMC；横坐标表示椒盐噪声百分比含量；
图13为不同类型噪声扰动下多模态医学图像融合效果对比示意图；其中，(a)：MRI含6％的椒盐噪声，SPECT含30dB的高斯白噪声；(b)：MRI含30dB的高斯白噪声，SPECT含6％的椒盐噪声；(c)：六种算法在五种评定指标下的直方图对比。
图14为本发明使用的S型权重融合算法改进能力示意图；其中，(a)：输入图像；(b)：平均最大值选择融合策略；(c)：本发明所使用的S型区中融合策略；MI给出了不同策略下的互信息值。
具体实施方式
下面结合附图及具体实施方式进一步说明本发明。
图1给出了基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法的总体处理流程。图2和图3分别给出了基于热核金子塔的多尺度图像表示方法和基于低秩分析的显著信息尺度空间构造方法的详细步骤。
本发明提供一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其主要步骤介绍如下：
1、基于热核金子塔的多尺度图像表示
为了有效的提取输入图像的固有结构信息，并将其编码到所使用的热核中去，本发明提出将输入图像进行下采样，构建输入图像金字塔。对于金字塔的每一层，首先将图像有RGB颜色空间转换到IHS颜色空间，并将图像分块重叠块，每个图像块分别利用Delaunay三角化方法对其网格化，网格的每个顶点对应图像中的一个像素，由(x,y,I(x,y))表示，其中(x,y)表示了相关像素i的空间坐标，I(x,y)表示像素i的灰度值，为了能够更好维护图像的潜在结构信息，本发明取代顶点表示的第三维为β*I(x,y)，以此来控制所构建热核的各向异性性和结构敏感性。基于所构建的网格和顶点表示方法，图像块所对应的拉普拉斯矩阵由P＝A-1M定义，其中质量矩阵A为对角阵，其中每一项表示了共享像素i的所有三角形的面积，刚度矩阵M的每一项编码了图像块的局部结构，定义如下：
其中和为共享连接顶点i和j边的对角(见图2.Step5)；获得矩阵M和A后，通过求解广义特征问题MΦ＝ΛAΦ，得到最小的特征值及所对应的特征向量n表示最小的特征值数量。在此拉普拉斯矩阵的谱分解，本发明构建数据相关的热核其中参数t表示了尺度，不同的t表示了不同尺度下图像的平滑效果，随着t的增加，输出结果中包含的细节越少，噪声也越少。因此，通过逐渐的增大t可以获得一个输入图像在不同尺度下的表示。所构建的热核可视为一个低通滤波器，其矩阵表示形式为H(t)＝(Ψ·Φ)Φ'，其中“·”表示主元素相乘，Ψ＝{γ,γ,...,γ}',图像I在尺度t的低通滤波输出为I(t)＝((Ψ·Φ)Φ')I。
在该步骤中使用了图像金字塔和分块策略，主要原因是为了计算整个图像块的热核，需要对维数为|V|×|V|的拉普拉斯矩阵进行谱分解，通常谱分解的复杂度为O(|V|3)，对于高分辨率图像，由于其像素点数量级较大，因此进行此谱分解操作是极其困难的，甚至是不现实的。因此本发明提出使用图像分块策略，将图像分为具有重叠部分的图像子块，对每个图像子块分别构建拉普拉斯矩阵，进行谱分解，从而避免高存储和高时间消耗的全局谱分解，有效的提高了算法的计算速度。另外需要注意的是尽管各图像子块间存在重叠部分，但考虑到对于大的尺度t，其重构效果仍存在块效应(图4.b)，因此采用了金字塔策略，实现不同分辨率图像的层间融合来消除块效应(图4.c)。
在算法实现部分，为了进一步的减少计算量、存储量和运行时间，本发明使用了CUDA计算，拉普拉斯矩阵的计算步骤如图5所示，首先将数据调入GPU，其次为每个顶点调用一个线程，提取顶点i的一环邻域顶点，计算顶点i相关的三角形面积和m(i,j)，最终构建图像块的拉普拉斯矩阵。通过CUDA的实现，对于图像为256×256的例子，运算速度获得了约50倍的提高。同时本发明对热核滤波输出方程进行了修改I(t)＝(Ψ·Φ)(Φ'I)，本发明的计算方法可极大的降低计算量和存储空间，图6给出来直接计算和本发明的计算方法的浮点计算量和所需存储空间的对比，其中FLO表示了浮点计算量，Memory表示了所需内存量，对于256×256的输入图像，一次滤波仅需0.37秒。
2、基于低秩分析的显著信息尺度空间构造方法
为了有效的融合图像间的互补信息，本发明提出了使用基于低秩分析的显著信息提取方法，并构建基于显著信息的多尺度空间以用于图像融合。首先将第一步获得的平滑图像分为k个组，每组包含d幅平滑图像，所对应的尺度参数t具有较小的增加量，将d幅平滑图像和输入图像I分别表示为列向量形式，从而构建为低秩分析输入矩阵B＝[I,I(t1),...,I(td)]，利用GoDec方法将矩阵B分解为低秩部分L、稀疏部分S、噪声部分G，即B＝L+S+G,s.t.rank(L)≤r,card(S)≤c，其中r和c分别为秩约束和候选约束。低秩部分L包含了所有输入图像内的共性部分，L的每一列表示了所对应图像中的最重要即最显著的信息，最应该被保留在最终融合图像内的信息，因此本发明仅保留低秩分析后的低秩部分，稀疏部分和噪声部分被丢弃，因此所提出的显著部分很自然的滤除了噪声。此后且仅提取L的第一列做为该小尺度范围内显著信息的最终表示。通过对k个分组均做低秩分析，得到k个显著信息表示向量，该k个向量构建为一个尺度空间，相邻两个尺度做差，得到层内细节信息Di，最大尺度的显著信息做为层内基层。因此金字塔层内图像的重构通过方程式得到。金字塔层间的重构和层内有所不同，首先层间的细节通过将低分辨率图像上采样与相邻高分辨率图像做差，得到层间细节层Di，层间图像重构为Li＝(1-α)(↑Li+1+Di)+αLi，其中权重参数0.5<α<1，用于平衡细节和噪声。每层的融合效果通过多个细节层和基层累加获得；而金字塔层间融合通过上采样低分辨率融合效果后与相邻下层融合效果进行权重合并，最终得到和输入图像相同分辨率的灰度层融合效果，利用GIHS方法得到最终的多模态医学图像融合效果图
3、尺度意识的S型函数融合方法
通常采用的平均最大值融合策略造成小尺度细节信息丢失，图像对比度较差。为了解决该问题，本发明提出了基层数据融合采用S型权重融合策略，细节层采用最大值选择策略。首先MRI图像呈现高分辨率，显示了病灶的准确位置，本发明中固定权重值为2，而SPECT/PET图像显示了身体组织的活性，本发明中通过所设计的S型函数来计算其融合权重。该S型函数应由开始(0,0)，在(1,1)点结束，且在拐点θ处的权重为0.5，曲线应满足C1连续性约束。S型函数f(x)定义如下，
通过对SPECT/PET图像基层利用S型函数f(x)获得对应像素点的融合权重值，利用公式L＝(2*LMRI+F(LSPECT/PET)*LSPECT/PET)/(2+F(LSPECT/PET))实现MRI与SPECT/PET图像进行基层融合。
4、本发明在MRI和SPECT/PET医学图像处理中的应用
本发明所提出的一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法通过Matlab和CUDA实现，运行在Windows 7 64位系统上。实验使用的硬件配置是Intel i7-3770处理器，8G内存。该小波可以应用于多种具有结构保护要求的图像处理中，图6～图9给出了所发明算法在MRI和SPECT/PET无噪和有噪条件下的融合效果，并对比了近期的多种算法，并给出了统计数据分析图，表1给出了254对无噪图像融合质量评估平均值对比表，显示了所提出方法在五个评定指标均超越了对比方法。
表1：254对无噪图像融合质量评估平均值对比表
| Method | PSNR | MI | MSSIM | FSIM | FSIMC |
| Wavelet | 38.47 | 1.66 | 0.76 | 0.981 | 0.922 |
| LP | 38.48 | 1.70 | 0.74 | 0.984 | 0.921 |
| Contourlet | 41.84 | 1.94 | 0.73 | 0.947 | 0.881 |
| Curvelet | 38.48 | 1.61 | 0.68 | 0.923 | 0.875 |
| NSCT | 41.82 | 2.18 | 0.80 | 0.988 | 0.922 |
| Ours | 45.06 | 2.58 | 0.82 | 0.990 | 0.956 |
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于包括以下步骤：
步骤(1)、基于热核的多尺度图像表示：将输入的多模态图像转换到IHS颜色空间，对图像的I颜色通道构建图像金字塔，将每一层图像分为重叠的块，并利用Delaunay三角化方法对图像网格化，网格的每个顶点对应图像中的一个像素，由(x,y,I(x,y))表示，其中(x,y)表示了相关像素i的空间坐标，I(x,y)表示像素i的灰度值，取代顶点表示的第三维为β*I(x,y)，β为系数，以此来控制所构建热核的各向异性性和结构敏感性；基于所构建的网格和顶点表示方法，图像块所对应的拉普拉斯矩阵由P＝A-1M定义，其中的质量矩阵A为对角阵，其中每一项表示了共享像素i的所有三角形的面积，刚度矩阵M的每一项编码了图像块的局部结构，定义如下：
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>i</mi>
</mrow>
</munder>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mi>a</mi>
<mi>r</mi>
<mi>e</mi>
<mi> </mi>
<mi>a</mi>
<mi>d</mi>
<mi>j</mi>
<mi>a</mi>
<mi>c</mi>
<mi>e</mi>
<mi>n</mi>
<mi>t</mi>
<mo>,</mo>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>cot</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>r</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mo>+</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>cot</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>r</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mo>-</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中和为共享连接顶点i和j边的对角；获得矩阵M和A后，通过求解广义特征问题MΦ＝ΛAΦ，得到最小的特征值及所对应的特征向量n表示最小的特征值数量；在此进行拉普拉斯矩阵的谱分解；构建数据相关的热核其中参数t表示尺度，不同的t表示了不同尺度下图像的平滑效果，随着t的增加，输出结果中包含的细节越少，噪声也越少，通过所够构建的热核与图像进行卷积获得不同尺度下的图像表示；该步骤采用了CUDA并行技术实现；
步骤(2)、基于低秩分析的显著信息多尺度空间构建：通过步骤(1)所获得的多尺度表示，将金字塔每层图像的多尺度表示进行分组，每组分别作为低秩分析的初始化输入矩阵，利用GoDec方法进行低秩分析，获取每组的低秩部分，该低秩部分包含了小尺度范围内的显著信息，且滤除了输入图像内包含的噪声，将每个分组所提取的低秩部分进行二次重组，进而构建为基于显著信息的多尺度表示；
步骤(3)、基于S型函数的尺度相关融合：通过步骤(2)中构建的显著信息多尺度空间，主模态基层权重设置为2，辅助模态基层的融合权重系数由S型函数计算，利用权重平均获得金字塔每层的基层融合效果，而细节层采用最大值选择方法获得细节层融合效果，每层的融合效果通过多个细节层和基层累加获得；而金字塔层间融合通过上采样低分辨率融合效果后与相邻下层融合效果进行权重合并，最终得到和输入图像相同分辨率的灰度层融合效果，利用GIHS方法得到最终的多模态医学图像融合效果图。
2.根据权利要求1所述的一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于：步骤(1)中所述的基于热核的多尺度图像表示是数据相关的、各向异性的，同时整个步骤采用了CUDA技术，为图像块中的每个像素点调用一个线程来实现质量矩阵和刚度矩阵的计算，在此基础上构建拉普拉斯矩阵，并通过特征分解获取最小的n个特征值及特征向量，此后以图像块为基础，为每个尺度参数t调用一个线程来并行的实现图像的多尺度平滑。
3.根据权利要求1所述的一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于：步骤(2)中所述的基于低秩分析的显著信息多尺度空间构建，首先将步骤(1)所构建的多尺度图像进行分组，每个组内包含d个平滑图像和一个输入图像，将每个图像由一个列向量来表示，并构建为低秩分析的输入矩阵，进行低秩分解，得到其低秩部分，并提取第一个列向量作为该组数据的最终显著信息表示部分，滤除噪声，构建一个基于显著信息的多尺度图像融合空间，通过对多个分组分别构建以上的低秩分析和显著信息提取，来构建一个基于显著性信息的多尺度空间。
4.根据权利要求1所述的一种基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法，其特征在于：步骤(3)中所述的基于S型函数的尺度相关融合，辅助模态基层的融合权重系数由S型函数将灰度值映射为权重系数，细节层通过最大值选择方法来获取，层间采用权重融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410570967.3A CN104299216B (zh) | 2014-10-22 | 2014-10-22 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410570967.3A CN104299216B (zh) | 2014-10-22 | 2014-10-22 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104299216A CN104299216A (zh) | 2015-01-21 |
| CN104299216B true CN104299216B (zh) | 2017-09-01 |
Family
ID=52318938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410570967.3A Active CN104299216B (zh) | 2014-10-22 | 2014-10-22 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104299216B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408518B (zh) * | 2015-07-30 | 2019-09-06 | 展讯通信（上海）有限公司 | 图像融合方法、装置及终端设备 |
| CN105631830A (zh) * | 2016-03-08 | 2016-06-01 | 哈尔滨工业大学（威海） | 光声图像去噪方法及装置 |
| CN106709896A (zh) * | 2016-12-08 | 2017-05-24 | 江苏大学 | 一种医学图像融合方法 |
| CN108742627B (zh) * | 2018-06-25 | 2021-11-16 | 南通大学附属医院 | 一种基于脑部医学图像融合分类的检测装置 |
| CN109171670B (zh) * | 2018-06-25 | 2021-02-05 | 天津海仁医疗技术有限公司 | 一种基于逆向主成分分析法的3d血管成像算法 |
| CN109102480B (zh) * | 2018-07-06 | 2022-02-22 | 中科星图股份有限公司 | 一种适用于分布式架构的Gram-Schmidt融合方法 |
| CN109671044B (zh) * | 2018-12-04 | 2019-10-08 | 重庆邮电大学 | 一种基于可变图像分解的多曝光图像融合方法 |
| CN109949256B (zh) * | 2019-01-14 | 2023-04-07 | 昆明理工大学 | 一种基于傅里叶变换的天文图像融合方法 |
| CN109550531B (zh) * | 2019-01-28 | 2021-09-07 | 武汉纺织大学 | 一种磁性尺寸依赖的微流控芯片 |
| CN110047058B (zh) * | 2019-03-25 | 2021-04-30 | 杭州电子科技大学 | 一种基于残差金字塔的图像融合方法 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| CN110246078B (zh) * | 2019-05-31 | 2020-11-03 | 北京航空航天大学 | 一种基于嵌入式gpu和卷积计算的图像处理方法和装置 |
| CN111161369B (zh) * | 2019-12-20 | 2024-04-23 | 上海联影智能医疗科技有限公司 | 图像重建存储方法、装置、计算机设备和存储介质 |
| CN111916162A (zh) * | 2020-07-31 | 2020-11-10 | 温州大学 | 一种基于样本权重和低秩约束的多模态神经影像特征选择方法 |
| CN112329604B (zh) * | 2020-11-03 | 2022-09-20 | 浙江大学 | 一种基于多维度低秩分解的多模态情感分析方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700064A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于热核金字塔的各向异性小波图像处理方法 |
| CN103700091A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 |
| CN103700090A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种基于各向异性热核分析的三维图像多尺度特征提取方法 |
-
2014
- 2014-10-22 CN CN201410570967.3A patent/CN104299216B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700064A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于热核金字塔的各向异性小波图像处理方法 |
| CN103700091A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 |
| CN103700090A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种基于各向异性热核分析的三维图像多尺度特征提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Image fusion through local feature extraction by using multi-scale top-hat by reconstruction operators;Xiangzhi Bai等;《Optik-International Journal for Light and Electron Optics》;20130930;第124卷(第18期);第3198-3203页 * |
| 基于多尺度稀疏字典的多聚焦图像超分辨融合;彭真明等;《光学精密工程》;20140131;第22卷(第1期);第169-176页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104299216A (zh) | 2015-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104299216B (zh) | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 | |
| WO2021077997A1 (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
| Yang et al. | Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain | |
| Singh et al. | Multimodal medical image sensor fusion model using sparse K-SVD dictionary learning in nonsubsampled shearlet domain | |
| CN108257134A (zh) | 基于深度学习的鼻咽癌病灶自动分割方法和系统 | |
| CN100561518C (zh) | 基于感兴趣区域的自适应医学序列图像插值方法 | |
| CN105957063A (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| Qiu et al. | Efficient medical image enhancement based on CNN‐FBB model | |
| Zhao et al. | Combining multi-scale feature fusion with multi-attribute grading, a CNN model for benign and malignant classification of pulmonary nodules | |
| Wu et al. | Semi-supervised segmentation of echocardiography videos via noise-resilient spatiotemporal semantic calibration and fusion | |
| CN102999917B (zh) | 基于t2-mri和dw-mri的宫颈癌图像自动分割方法 | |
| CN106910179B (zh) | 基于小波变换的多模态医学图像融合方法 | |
| CN108416821A (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
| CN110298804A (zh) | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 | |
| CN106097280A (zh) | 基于正态逆高斯模型的医学超声图像去噪方法 | |
| CN110517198A (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
| Heyde et al. | Anatomical image registration using volume conservation to assess cardiac deformation from 3D ultrasound recordings | |
| Zhan et al. | CFNet: A medical image segmentation method using the multi-view attention mechanism and adaptive fusion strategy | |
| CN104751457B (zh) | 一种新的基于变分能量的肝脏分割方法 | |
| Li et al. | Automatic quantification of epicardial adipose tissue volume | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| Luo et al. | An optimized two-stage cascaded deep neural network for adrenal segmentation on CT images | |
| Yang et al. | Multi-modal medical image super-resolution fusion based on detail enhancement and weighted local energy deviation | |
| CN114926487A (zh) | 多模态影像脑胶质瘤靶区分割方法、系统及设备 | |
| CN111105475A (zh) | 一种基于正交角度x光的骨骼三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211103 Address after: 101300 the 7 floor of seat A of Shunyi District Shun Ke mansion, Beijing Patentee after: BEIJING UNIDRAW VR TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |