CN116029956A - 一种基于nsct-scm的图像融合方法及系统 - Google Patents
一种基于nsct-scm的图像融合方法及系统 Download PDFInfo
- Publication number
- CN116029956A CN116029956A CN202310315176.5A CN202310315176A CN116029956A CN 116029956 A CN116029956 A CN 116029956A CN 202310315176 A CN202310315176 A CN 202310315176A CN 116029956 A CN116029956 A CN 116029956A
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- fusion
- images
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 108
- 210000002569 neuron Anatomy 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000011426 transformation method Methods 0.000 claims abstract description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 14
- 238000010304 firing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004817 gas chromatography Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001054 cortical effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000036279 refractory period Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000002856 peripheral neuron Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种基于NSCT‑SCM的图像融合方法及系统，涉及图像处理技术领域。首先获取待融合的三张X射线差分相位衬度图像并进行预处理。然后，利用NSCT变换方法进行分解，得到对应的低频子带图像和高频方向子带图像。并将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图。之后，结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像，并利用三步增强法进行后处理。本发明通过设计两个灵活可调的融合规则，对低频图像和高频图像分别进行融合，以保留高频子带的细节和特征，并使融合后的图像的低频部分更接近交流图像，便于医生分析。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于NSCT-SCM的图像融合方法及系统。
背景技术
自一百多年前发现X射线以来，射线成像和计算机断层成像(CT)等X射线成像技术在医学、安检、无损检测、工业探伤等领域得到了广泛的应用。最近，X射线技术取得了重要突破，Talbot-Lau光栅干涉法被引入到X射线成像中，这项技术可以同时输出三组互不相同但信息互补的信号：(a) AC (Attenuation contrast)， (b) DPC (Differential phasecontrast) 和 (c) DFC (Dark-field contrast)， 这相较于仅基于射线吸收的传统X射线成像技术可以提供更加丰富的信息。
XPCI (X-ray differential phase-contrast imaging，X射线差分相位衬度成像) 在医疗和工业领域已经得到了非常广泛的应用，可帮助辐射成像学家和医生们获取样品或病灶的直观情况。然而，可以同时获取三张不同的图片就带来一个新的问题：如何以一种最简洁、有效的形式来将这些图像中所包含的信息呈现，以避免同时读取三幅图像的繁琐工作。
为了解决这个问题，科研工作者们已经做出了许多研究：Ewald Roessl和ThomasKoehler等人在2012年提出了一种基于几项简单假设的图像融合算法，该算法有望在生物学应用中取得很好的效果，但生物学实验结果很少；Z. Wang和C.A.Clavijo等人在2013年提出了一种基于多分辨率的图像融合方法，该方法成功地将原始图像的细节转换为融合结果，但缺乏客观的度量来评价其性能；Felix Scholkmann和Vincent Revol等人在2014年提出了一项图像去噪、融合以及增项的方案，由于引入了前去噪和后增强，对牙齿和乳房图像取得了令人满意的效果，但其融合方案的融合规则不能同时处理三幅输入图像。
发明内容
本发明的目的在于提供一种基于NSCT-SCM的图像融合方法及系统，其能够对X射线差分相位衬度图像进行灵活的融合，输出具有高对比度和显式细节的图像，为医生的诊断提供更加直观、丰富的信息。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供一种基于NSCT-SCM的图像融合方法，其包括：
获取待融合的三张X射线差分相位衬度图像并进行预处理；
利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像；
将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图；
结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像；
利用三步增强法对融合图像进行后处理。
基于第一方面，在本发明的一些实施例中，上述利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像的步骤包括：
利用NSPFB对预处理后的图像分别进行塔形分解，得到对应的低频子带图像和高频子带图像；
利用NSDFB将高频子带图像进一步分解为方向子带，得到高频方向子带图像，并将低频子带图像继续进行塔形分解；
当分解次数达到预设值时停止分解，得到各张图像对应的一张低频子带图像和多张高频方向子带图像。
基于第一方面，在本发明的一些实施例中，上述结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像的步骤包括：
将三张图像的低频子带图像与对应的神经元点火映射图按照低频融合公式进行融合，得到低频融合图像；
将三张图像同一方向的高频方向子带图像对应的神经元点火映射图中各点的值与预设阈值进行对比，得到并根据对比结果进行高频融合，得到高频融合图像；
将低频融合图像和高频融合图像进行NSCT逆变换，得到最终的融合图像。
基于第一方面，在本发明的一些实施例中，上述低频融合公式为：
其中，是得到的低频融合图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC对应的低频子带图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC的低频子带图像对应的神经元点火映射图中位置的值；a为预设可调参数。
基于第一方面，在本发明的一些实施例中，上述将三张图像同一方向的高频方向子带图像对应的神经元点火映射图中各点的值与预设阈值进行对比，得到并根据对比结果进行高频融合，得到高频融合图像的步骤包括：
对于三张图像同一方向的高频方向子带图像对应的神经元点火映射图中的每个点，若只有一张神经元点火映射图中该点的值大于预设阈值，则将对应的高频方向子带图像中该像素点的值直接作为高频融合图像中该像素点的值；
若有两张神经元点火映射图中该点的值均大于预设阈值，则将对应的两张高频方向子带图像中该像素点的平均值作为高频融合图像中该像素点的值；
若三张神经元点火映射图中该点的值均大于预设阈值，则将三张高频方向子带图像中该像素点的值进行加权求和，并将求和结果作为高频融合图像中该像素点的值。
基于第一方面，在本发明的一些实施例中，上述利用三步增强法对融合图像进行后处理的步骤包括：
利用CLAHE算法对融合图像进行对比度增强处理；
利用AS算法对经CLAHE处理后的图像进行锐化；
利用GC方法，通过一个s型函数对锐化后的图像进行增强。
基于第一方面，在本发明的一些实施例中，上述预处理包括：利用自适应维纳滤波器对待融合的三张X射线差分相位衬度图像进行去噪处理。
第二方面，本申请实施例提供一种基于NSCT-SCM的图像融合系统，其包括：
预处理模块，用于获取待融合的三张X射线差分相位衬度图像并进行预处理；
NSCT分解模块，用于利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像；
SCM点火模块，用于将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图；
图像融合模块，用于结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像；
图像增强模块，用于利用三步增强法对融合图像进行后处理。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当上述一个或多个程序被上述处理器执行时，实现如上述第一方面中任一项上述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项上述的方法。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本申请实施例提供一种基于NSCT-SCM的图像融合方法及系统，首先，获取待融合的三张X射线差分相位衬度图像并进行预处理。然后，利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像。并将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图。之后，结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像。最后，利用三步增强法对融合图像进行后处理。本申请将非下采样Contourlet变换NSCT和SCM网络的优势相结合，通过设计两个灵活可调的融合规则，对低频图像和高频图像分别进行融合，以保留高频子带的细节和特征，并使融合后的图像的低频部分更接近交流图像，为医生的诊断提供更加直观、丰富的信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的一种基于NSCT-SCM的图像融合方法一实施例的流程框图；
图2为本发明提供的一种基于NSCT-SCM的图像融合方法一实施例的流程示意图；
图3为本发明提供的一种基于NSCT-SCM的图像融合方法一实施例中NSCT分解流程示意图；
图4为本发明提供的一种基于NSCT-SCM的图像融合方法一实施例中源图像和融合结果的示意图；
图5为本发明提供的一种基于NSCT-SCM的图像融合方法一实施例中几种融合方法的融合结果对比图；
图6为本发明提供的一种基于NSCT-SCM的图像融合系统一实施例的结构框图；
图7为本发明实施例提供的一种电子设备的结构框图。
图标：1、存储器；2、处理器；3、通信接口；11、预处理模块；12、NSCT分解模块；13、SCM点火模块；14、图像融合模块；15、图像增强模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
请参照图1和图2，本申请实施例提供一种基于NSCT-SCM的图像融合方法，该方法包括以下步骤：
步骤S1：获取待融合的三张X射线差分相位衬度图像并进行预处理。
上述步骤中，为了获得更好的原始图像质量，需要将从X射线差分相位衬度系统中取得的三张图像AC、DPC以及DFC图像，在保留高频信息和边缘特征的同时，去除图像中的噪声。示例性的，可以采用傅里叶变换滤波法、中值滤波法、移动平滑滤波法、小波变换滤波法等。本申请采用自适应维纳滤波器对待融合的三张X射线差分相位衬度图像进行去噪处理。维纳滤波是一种可以在保留图像的高频信息以及边缘特征的情况下去除图像中的噪声的滤波方法，从而可得到具有更好信噪比的三张原图像，使噪声对之后融合过程带来的干扰降到最低。
步骤S2：利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像。
上述步骤中，非下采样Contourlet变换( Non-subsampled contourlettransform，NSCT)源自Contourlet变换，是一种多方向、多尺度的变换，可以捕获图像中的详细信息。它采用了非下采样金字塔滤波器组（NSPFB）和非下采样方向性滤波器组（NSDFB），从而实现了位移不变性。
具体的，请参照图3，先利用NSPFB对预处理后的图像分别进行塔形分解，将输入图像分解为高通和低通子带两部分，得到对应的低频子带图像和高频子带图像。然后，利用NSDFB将高频子带图像进一步分解为方向子带，得到高频方向子带图像，同时将低频子带图像继续进行上述塔形分解。经过多次迭代分解后，当分解次数达到预设值时停止分解，得到各张图像对应的一张低频子带图像和多张高频方向子带图像（具体数目取决于NSDFB和NSPFB的分解层次）。值得注意的是，因为没有采样操作，每个子带图像的大小与原始图像相同。
步骤S3：将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图。
上述步骤中，SCM(Spiking cortical model，脉冲发放皮层模型)是脉冲耦合神经网络的简化模型之一，与传统脉冲耦合神经网络相比，脉冲发放皮层模型具有更轻的运算量。
本申请使用的SCM模型的数学表达式如下：
其中，每个神经元用一个坐标表示，坐标表示位于的中央神经元的一个邻近神经元；是当迭代计数为n时，位于的神经元的膜电位； 表示一个神经元接收到的外部刺激； 为动态阈值；是输出动作电位（尖峰）；W和Y的卷积表示对中心神经元位于坐标上的邻近神经元的调制；W为突触加权矩阵；为连接强度系数；f为反映膜电位衰减常数的聚集速度的衰减常数；g表示阈值的衰减常数，控制相对不应期（即激活外周神经元的难度）；h表示绝对不应期，为阻止刚刚被激活的神经元立即被重新激活。
本申请中，将待融合图像经NSCT分解后的低频子带图像和高频方向子带图像对应的低频系数和高频系数输入到SCM网络中进行点火，每一个输入系数都会通过点火获得一张神经元点火映射图，这张神经元点火映射图也是与原图片维度相同的矩阵。从而通过将SCM与非下采样Contourlet变换NSCT相结合，有机结合SCM网络和NSCT变换的优势，在融合图像中获得更为丰富的细节信息。
步骤S4：结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像。
上述步骤中，由于需要保留高频子带的细节和特征，并使融合后的图像的低频部分更接近AC图像，因此为高频和低频图像各提供了一个独立的融合规则。当融合图像的低频子带接近AC图像时，融合图像的总体观感接近传统基于衰减的X光成像结果，同时包含DPC和DFC通道的互补信息，从而医生或放射科学家更容易进行分析。
具体的，上述步骤包括：
步骤S4-1：将三张图像的低频子带图像与对应的神经元点火映射图按照低频融合公式进行融合，得到低频融合图像。
示例性的，低频融合公式为：
其中，是得到的低频融合图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC对应的低频子带图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC的低频子带图像对应的神经元点火映射图中位置的值；a为预设可调参数，它决定了最终融合图像与AC图像的相似程度。
步骤S4-2：将三张图像同一方向的高频方向子带图像对应的神经元点火映射图中各点的值与预设阈值进行对比，得到并根据对比结果进行高频融合，得到高频融合图像。
上述步骤中，高频融合操作的思路是设定一个阈值Tth来比较AC、DPC和DFC图像的高频方向子带图像对应的神经元点火映射图中像素点的点火矩阵值、 和的大小。以判断某张图像的单个像素点处所包含的信息是否已经远超过其它图像，或是需要对其中两个或三个图像的像素点信息进行加权求和。
具体的，对于三张图像同一方向的高频方向子带图像对应的神经元点火映射图中的每个点，若只有一张神经元点火映射图中该点的值大于预设阈值，则将对应的高频方向子带图像中该像素点的值直接作为高频融合图像中该像素点的值。例如：或者。其中，为得到的高频融合图像的高频系数矩阵位置的值；、和分别为AC、DPC和DFC图像的高频系数矩阵位置的值。
若有两张神经元点火映射图中该点的值均大于预设阈值，则将对应的两张高频方向子带图像中该像素点的平均值作为高频融合图像中该像素点的值。例如：、。
若三张神经元点火映射图中该点的值均大于预设阈值，则将三张高频方向子带图像中该像素点的值进行加权求和，并将求和结果作为高频融合图像中该像素点的值。例如：。其中，b，c和d为高频系数权重因子，它们决定了融合结果中所包含AC、DPC和DFC图像中细节信息的权重，可根据实际情况进行设置，灵活调节图像融合精度，保证融合效果。
步骤S4-3：将低频融合图像和高频融合图像进行NSCT逆变换，得到最终的融合图像。
上述步骤中，通过将低频系数和高频系数进行逆NSCT，得到融合图像。
步骤S5：利用三步增强法对融合图像进行后处理。
上述步骤中，为了使融合图像中的细节以及特征信息更加直观的凸显出来，采用了CLAHE、AS和GC三步加强的方式对上一步中获得的融合图像进行处理。经过处理后的图像对比度更高，细节更清晰，具有较强的实时性。
具体的，该步骤包括：
步骤S5-1：利用CLAHE算法对融合图像进行对比度增强处理。
上述步骤中，先将融合图像由CLAHE处理，将其分成小块，并改变这些块的直方图以增强它们的对比度。此外，对上述处理应用一个剪切限制，以防止图像的过噪声条件。另外在图块上使用双线性插值，以避免图像的不连续，得到处理后的图像。
步骤S5-2：利用AS算法对经CLAHE处理后的图像进行锐化。
上述步骤中，利用AS对经CLAHE处理后的图像进行锐化，该方法的数学公式为：
其中，有：
式中，C是通过计算多个C值的图像熵，得到最大熵时的值，自适应确定的加权因子。最终的C是由计算的，这里是一个常数，以防止图像过度锐化。斯科克曼等人在他们的工作中给出的经验定值。其中H为熵。经过上述处理后，获得了图像。
步骤S5-3：利用GC方法，通过一个s型函数对锐化后的图像进行增强。
上述步骤中，图像通过一个s型函数进行增强，表示为：
其中，和是两个手动可调谐的参数。
上述步骤通过CLAHE、AS和GC三步增强的方式来加强图片的视觉效果，以便人眼能够更直接地观察到图片中的细节信息。
如图4所示，图4为采用本申请的融合方法进行融合得到的源图像和融合结果的示意图。第一排从左往右依次为(a)-（d），第二排从左往右依次为(e)-（h）。其中，(a)(e)来自交流通道的源图像，(b)(f)来自DPC通道的源图像，(c)(g)来自DFC通道的源图像，以及(d)(h)来自NSCT-SCM的融合结果。从图4中可以看出，许多只出现在DPC或DFC通道中的特性都被成功地传输到最终的融合结果中。骨周围的软组织和仅在DPC通道中才能观察到的骨小梁的网状结构，以及仅在DFC通道中才能看到的骨皮质的高信号，成功地转移到融合结果中。这些保存良好的特征证明了所提出的融合方案的有效性。
如图5所示，图5为几种融合方法的融合结果对比图。第一排从左往右依次为(a)-（d），第二排从左往右依次为(e)-（h）。其中，(a)(e)为NSCT的融合结果，(b)(f)为NSCT-PCNN的融合结果，(c)(g)为SIDWT的融合结果，以及(d)(h)为本申请提出的NSCT-SCM的融合结果。如图5的(a)(e)所示，用方块标记区域，称为感兴趣区域（ROI），以减少噪声对评估的影响，并关注最感兴趣的图像部分。可以看出，NSCT-SCM方法比其它方法更能更好地表现出骨周围的软组织，其很好地保存了骨内部的纹理和骨关节连接处的细节。相比之下，其它方法的细节和纹理都不令人满意，图像相对模糊，更不清晰，说明这些方法在信息保存方面做出了妥协。
综上，本申请提出了一种基于多方向和多维度分解的、脉冲发放皮层模型的XPCI图像去噪、融合以及加强方案，可以提供更加直观、丰富的信息，提高了工作效率。构思新颖、设计巧妙，具有广泛的应用前景，可以应用于医疗、安检、无伤检测、工业探伤等众多领域。X射线差分相位衬度成像的图像融合算法的进展可以直接加快X射线差分相位衬度成像技术在上述医疗以及其它众多领域的应用速度，带来显著的社会及经济效益，适合推广使用。
基于同样的发明构思，本发明还提出一种基于NSCT-SCM的图像融合系统，请参照图6，图6为本申请实施例提供的一种基于NSCT-SCM的图像融合系统的结构框图。该系统包括：
预处理模块11，用于获取待融合的三张X射线差分相位衬度图像并进行预处理；
NSCT分解模块12，用于利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像；
SCM点火模块13，用于将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图；
图像融合模块14，用于结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像；
图像增强模块15，用于利用三步增强法对融合图像进行后处理。
请参照图7，图7为本申请实施例提供的一种电子设备的结构框图。该电子设备包括存储器1、处理器2和通信接口3，该存储器1、处理器2和通信接口3相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器1可用于存储软件程序及模块，如本申请实施例所提供的一种基于NSCT-SCM的图像融合系统对应的程序指令/模块，处理器2通过执行存储在存储器1内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口3可用于与其他节点设备进行信令或数据的通信。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于NSCT-SCM的图像融合方法，其特征在于，包括：
获取待融合的三张X射线差分相位衬度图像并进行预处理；
利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像；
将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图；
结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像；
利用三步增强法对融合图像进行后处理。
2.如权利要求1所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像的步骤包括：
利用NSPFB对预处理后的图像分别进行塔形分解，得到对应的低频子带图像和高频子带图像；
利用NSDFB将高频子带图像进一步分解为方向子带，得到高频方向子带图像，并将低频子带图像继续进行塔形分解；
当分解次数达到预设值时停止分解，得到各张图像对应的一张低频子带图像和多张高频方向子带图像。
3.如权利要求1所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像的步骤包括：
将三张图像的低频子带图像与对应的神经元点火映射图按照低频融合公式进行融合，得到低频融合图像；
将三张图像同一方向的高频方向子带图像对应的神经元点火映射图中各点的值与预设阈值进行对比，得到并根据对比结果进行高频融合，得到高频融合图像；
将低频融合图像和高频融合图像进行NSCT逆变换，得到最终的融合图像。
4.如权利要求3所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述低频融合公式为：
其中，是得到的低频融合图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC对应的低频子带图像的低频系数矩阵位置的值；，和分别为三张图像AC、DPC和DFC的低频子带图像对应的神经元点火映射图中位置的值；a为预设可调参数。
5.如权利要求3所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述将三张图像同一方向的高频方向子带图像对应的神经元点火映射图中各点的值与预设阈值进行对比，得到并根据对比结果进行高频融合，得到高频融合图像的步骤包括：
对于三张图像同一方向的高频方向子带图像对应的神经元点火映射图中的每个点，若只有一张神经元点火映射图中该点的值大于预设阈值，则将对应的高频方向子带图像中该像素点的值直接作为高频融合图像中该像素点的值；
若有两张神经元点火映射图中该点的值均大于预设阈值，则将对应的两张高频方向子带图像中该像素点的平均值作为高频融合图像中该像素点的值；
若三张神经元点火映射图中该点的值均大于预设阈值，则将三张高频方向子带图像中该像素点的值进行加权求和，并将求和结果作为高频融合图像中该像素点的值。
6.如权利要求1所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述利用三步增强法对融合图像进行后处理的步骤包括：
利用CLAHE算法对融合图像进行对比度增强处理；
利用AS算法对经CLAHE处理后的图像进行锐化；
利用GC方法，通过一个s型函数对锐化后的图像进行增强。
7.如权利要求1所述的一种基于NSCT-SCM的图像融合方法，其特征在于，所述预处理包括：利用自适应维纳滤波器对待融合的三张X射线差分相位衬度图像进行去噪处理。
8.一种基于NSCT-SCM的图像融合系统，其特征在于，包括：
预处理模块，用于获取待融合的三张X射线差分相位衬度图像并进行预处理；
NSCT分解模块，用于利用NSCT变换方法分别对预处理后的三张图像进行分解，得到对应的低频子带图像和高频方向子带图像；
SCM点火模块，用于将低频子带图像和高频方向子带图像输入SCM模型中进行点火，得到对应的神经元点火映射图；
图像融合模块，用于结合神经元点火映射图，将低频子带图像和高频方向子带图像分别按照对应的预设规则进行融合重构，得到融合图像；
图像增强模块，用于利用三步增强法对融合图像进行后处理。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310315176.5A CN116029956A (zh) | 2023-03-29 | 2023-03-29 | 一种基于nsct-scm的图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310315176.5A CN116029956A (zh) | 2023-03-29 | 2023-03-29 | 一种基于nsct-scm的图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116029956A true CN116029956A (zh) | 2023-04-28 |
Family
ID=86089619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310315176.5A Pending CN116029956A (zh) | 2023-03-29 | 2023-03-29 | 一种基于nsct-scm的图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029956A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843596A (zh) * | 2023-08-28 | 2023-10-03 | 浙江大学杭州国际科创中心 | X射线光栅多模态图像自适应融合方法、系统及装置 |
| CN117252790A (zh) * | 2023-08-23 | 2023-12-19 | 成都理工大学 | 基于nsct-rcnn的多图像融合方法 |
-
2023
- 2023-03-29 CN CN202310315176.5A patent/CN116029956A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| HAORAN LIU等: ""Multimodal Image Fusion for X-ray Grating Interferometry"的补充材料", SENSORS, pages 1 - 3 * |
| HAORAN LIU等: "Multimodal Image Fusion for X-ray Grating Interferometry", SENSORS, vol. 23, no. 6, pages 1 - 15 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252790A (zh) * | 2023-08-23 | 2023-12-19 | 成都理工大学 | 基于nsct-rcnn的多图像融合方法 |
| CN117252790B (zh) * | 2023-08-23 | 2024-06-18 | 成都理工大学 | 基于nsct-rcnn的多图像融合方法 |
| CN116843596A (zh) * | 2023-08-28 | 2023-10-03 | 浙江大学杭州国际科创中心 | X射线光栅多模态图像自适应融合方法、系统及装置 |
| CN116843596B (zh) * | 2023-08-28 | 2023-11-14 | 浙江大学杭州国际科创中心 | X射线光栅多模态图像自适应融合方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mathew et al. | Tumor detection and classification of MRI brain image using wavelet transform and SVM | |
| CN116029956A (zh) | 一种基于nsct-scm的图像融合方法及系统 | |
| Jeevakala | Sharpening enhancement technique for MR images to enhance the segmentation | |
| Padmavathy et al. | Performance analysis of pre-cancerous mammographic image enhancement feature using non-subsampled shearlet transform | |
| Patel et al. | Gray level clustering and contrast enhancement (GLC–CE) of mammographic breast cancer images | |
| Xia et al. | A novel medical image enhancement algorithm based on improvement correction strategy in wavelet transform domain | |
| Koyuncu et al. | Elimination of white Gaussian noise in arterial phase CT images to bring adrenal tumours into the forefront | |
| Liu et al. | Low-dose CT noise reduction based on local total variation and improved wavelet residual CNN | |
| CN111192204A (zh) | 一种图像增强方法、系统和计算机可读存储介质 | |
| Bhateja et al. | Non-linear filters for mammogram enhancement | |
| Naidu et al. | Medical image enhancement based on statistical and image processing techniques | |
| Phadke et al. | Detection and classification of microcalcifications using discrete wavelet transform | |
| Laine et al. | Wavelet processing techniques for digital mammography | |
| Zeng et al. | Contrast enhancement of mammographic images using guided image filtering | |
| Ajwad | Noise reduction of ultrasound image using wiener filtering and haar wavelet transform techniques | |
| Ahmad et al. | An integrated approach for medical image enhancement using wavelet transforms and image filtering | |
| Guo et al. | Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation | |
| Kayal et al. | Spectral data augmentation techniques to quantify lung pathology from CT-Images | |
| Guo | Real-time medical image denoising and information hiding model based on deep wavelet multiscale autonomous unmanned analysis | |
| Datta et al. | Denoising magnetic resonance images with Rician noise based on deep learning | |
| Ghatwary et al. | Liver CT enhancement using fractional differentiation and integration | |
| Liu et al. | A multiscale image enhancement method for calcification detection in screening mammograms | |
| Dabour | Improved wavelet based thresholding for contrast enhancement of digital mammograms | |
| Pfisterer et al. | Comparison of texture based algorithms for the detection of masses in digitised mammograms | |
| Pfisterer et al. | Hexagonal wavelets for the detection of masses in digitized mammograms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230428 |