CN117252790A - 基于nsct-rcnn的多图像融合方法 - Google Patents
基于nsct-rcnn的多图像融合方法 Download PDFInfo
- Publication number
- CN117252790A CN117252790A CN202311066472.2A CN202311066472A CN117252790A CN 117252790 A CN117252790 A CN 117252790A CN 202311066472 A CN202311066472 A CN 202311066472A CN 117252790 A CN117252790 A CN 117252790A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- sub
- band
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 15
- 230000008901 benefit Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002779 inactivation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 210000002856 peripheral neuron Anatomy 0.000 claims description 8
- 239000012528 membrane Substances 0.000 claims description 5
- 230000000946 synaptic effect Effects 0.000 claims description 5
- 230000036279 refractory period Effects 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000010521 absorption reaction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000001185 bone marrow Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 210000001153 interneuron Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于NSCT‑RCNN的多图像融合方法，包括获取多幅待融合的图像并分别对各图像进行去噪操作；采用相同的NSCT方法分解每幅去噪后的图像分别获得其各自的多个子带图像；基于图像信号维度建立RCNN模型；将经过NSCT方法分解生成的各子带图像分别输入RCNN模型并生成相应的点火映射图；基于权重和阈值可调的图像融合方案，分别根据每组子带图像的点火映射图判断确定出该组子带图像的融合结果；对融合结果进行逆NSCT重建生成融合结果图像。本发明能够将待融合图像的相关信息完整的保留在融合结果中，包括图像边缘和部分纹理信息，并且在融合图像中几乎没有伪影的出现，融合结果的信噪比高，衬度强，还显现出了较好的抗噪性。
Description
技术领域
本发明涉及图像融合技术领域，具体地讲，是涉及一种基于非下采样轮廓波变换与随机耦合神经网络（Non-subsampled contourlet transform-random-coupled neuralnetwork,NSCT-RCNN）的多图像融合方法。
背景技术
图像融合技术自发明以来一直被广泛的应用于医学、安检、军事、地质等领域，其目的是融合多个原图像中的冗余信息和互补信息，强化图像中的信息，以利于对图像的进一步分析。图像融合可以在三个层次上来进行：像素级融合、特征级融合和决策级融合。其中像素级融合是三个层次中最基本的融合，得到的结果具有较好的细节信息，如边缘、纹理的提取，这种方法尽可能多的保存原图像中的信息，使得融合后的图片不论是内容还是细节都得以完整保留，这个优点是独一无二的，唯一的缺陷就是计算量大、耗时长。而特征级融合是把原图像中的特征信息提取出来，这些特征包括感兴趣的区域，如边缘、人物、建筑等。然后对这些特征信息进行处理、整合得到融合后的特征图。特征级融合对图像匹配的精度和要求没有第一层那么高，计算速度也比第一层快，但此方法提取图像特征作为融合信息，所以会丢失掉很多细节特征。而决策层融合是最高层次的图像融合方法，抽象等级也是最高的。它是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果，进行进一步融合的过程，最终的决策结果是全局最优决策，但相应的也会失去主观的感兴趣特征，缺乏一定的灵活性。目前研究和应用最多的是像素级图像融合，绝大多数的图像融合算法均属于该层次上的融合。因此结合其缺点来看，计算消耗无疑是阻碍其发展的一个障碍。
在图像融合应用方面，工业以及医学应用有XPCI(X-ray differential phasecontrast imaging, X射线差分相位成像)图像融合，医学上因为其在突出不同密度生物组织方面有着优异的性能，可以帮助辐射成像医学物理师和医生们获取病灶的直观情况，工业方面，其在安检、无损检测、工业探伤等领域得到了广泛的应用。在地理和地质勘探方面，全色、多光谱、高光谱图像融合广泛的应用于遥感图像分析领域，高分辨和低分辨率的高光谱图像融合，可以极大地提升高光谱图像的空间分辨率，更高层次上，SAR（SyntheticAperture Radar，合成孔径雷达）和红外图像的融合也被广泛的应用，SAR图像在边缘点处表现出孤立的不连续性。因为红外图像可以近似反映观察对象的温度梯度和辐射梯度，能够提供比较完整的边缘和纹理信息。将SAR图像与红外图像进行融合，可以将红外图像得到的边缘和纹理信息加入到SAR图像中，融合图像的边缘和纹理将更加融合，同时保持了SAR图像的频率特性，这使得融合图像更具可读性。诸多的应用使得图像融合应用使得原来一些较难解决的观测和目标划分问题得以解决，其结果的综合性也预示着未来在更多的领域上拥有更为广泛和先进的应用。
发明内容
针对上述现有技术中的上述问题，本发明提供一种基于NSCT-RCNN的多图像融合方法，在非下采样轮廓波变换（Non-subsampled contourlet transform, NSCT）基础上引入随机耦合神经网络（random-coupledneural network, RCNN）模型，将一些图像的相关信息，如包含图像边缘和部分纹理的高频信息，完整地保留在融合结果中，以更直观、更丰富地展现图像细节和结构信息，并提高图像融合效率和抗噪性。
为了实现上述目的，本发明采用的技术方案如下：
一种基于NSCT-RCNN的多图像融合方法，包括以下步骤：
S10、获取多幅待融合的图像并分别对各图像进行去噪操作；
S20、采用相同的NSCT方法分解每幅去噪后的图像分别获得其各自的多个子带图像，包括对图像先后进行非下采样金字塔滤波和非下采样方向滤波操作，其中各待融合的图像的相同频带的子带图像构成一组；
S30、基于图像信号维度建立RCNN模型；
S40、将经过NSCT方法分解生成的各子带图像分别输入RCNN模型并生成相应的点火映射图；
S50、基于权重和阈值可调的图像融合方案，分别根据每组子带图像的点火映射图判断确定出该组子带图像的融合结果；
S60、对融合结果进行逆NSCT重建生成融合结果图像，包括对融合结果进行逆向非下采样方向滤波和逆向非下采样金字塔滤波操作。
具体地，所述步骤S10中多幅待融合的图像包括对同一目标含有不同类型细节特征的多幅图像。
具体地，所述步骤S30中RCNN模型表示为：
式中，表示位于子带图像信号于采样点(i,j)处的神经元的膜电位；n为迭代计数；f为/>的衰减系数；/>表示神经元接收到的外部刺激，即子带图像每一个像素位置处的值；/>为突触权重矩阵，控制位于子带图像于采样点(i,j)处的中央神经元与其位于图像邻域空间的周围神经元之间的连接；β为链接强度；Dijkl表示随机失活矩阵，控制邻域神经元的点火状态，失活的概率与和中央神经元的距离成正比，且服从二维高斯分布；Gijkl表示高斯核，元素值服从二维高斯分布；Gijkl与Dijkl的哈达玛积构成了/>；VU为加权常数，用于调节/>的内部活动特征；/>表示子带图像采样点(i,j)处的图像邻域空间中周围神经元的脉冲输出，它是一个与/>大小相同的、由0和1元素构成的矩阵；/>表示位于子带图像信号于采样点(i,j)处的神经元脉冲输出；/>为动态阈值；g和h分别是动态阈值和绝对不应期的衰减常数，它防止刚刚被激活的神经元立即被重新激活。
具体地，所述步骤S50中基于权重和阈值可调的图像融合方案包括：
配置一可调阈值，并分别计算每组子带图像的各点火映射图在该可调阈值加权影响下的点火参考值；
对于低频子带图像，选择该组子带图像中最大的点火参考值对应的子带图像作为融合结果；
对于高频子带图像，选择每组子带图像中具有明显优势的点火参考值对应的子带图像进行加权融合得到该组子带图像的融合结果。
其中，所述图像融合方案中按照每个采样点分别确定融合结果。
具体地，所述选择每组子带图像中具有明显优势的点火参考值对应的子带图像包括：
计算该组子带图像中各点火参考值之间的差值，
当这些差值均小于设定阈值时，表示各点火参考值均具有明显优势，将该组所有子带图像进行加权融合；
当这些差值中存在有不小于设定阈值的情况时，表示有一个或多个点火参考值具有明显优势，其中有一个点火参考值具有明显优势时，选择该点火参考值对应的子带图像作为该组子带图像的融合结果，有多个点火参考值具有明显优势时，将该多个点火参考值对应的子带图像进行加权融合。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于多方向和多维度分解的、随机耦合神经网络模型的多图像融合方法，可以在融合结果中呈现更加直观、丰富的图像细节和结构信息，本发明构思新颖，设计巧妙，具有广泛的应用前景，可以应用于医疗，安检、无伤检测、工业探伤等众多领域等领域，其在众多领域的应用前景的广阔，带来显著的社会及经济效益，适合推广使用。
本发明在图像融合方案上，与传统的高频取绝对值、低频取平均的方案不同，本发明采用了基于权重和阈值可调的融合方案。即基于实际应用时所需的高低频信号以及待融合图像多频道的信号的重要程度不同，可以灵活调节融合规则，得到特异性的融合结果，适用于更广泛的医学图像解析和雷达图片信息解析。
本发明在轮廓变换的基础上进行优化，优化过后的非下采样轮廓波变换实现了平移不变地对图像进行多尺度、多方向分解。这样的分解方法可以更好地保留图像信息，进一步提升了算法的融合效果。
本发明在对子带图像点火时采用最新的三代神经网络：随机耦合神经网络，相比于传统的脉冲耦合神经网络，该模型通过对神经元点火过程的随机失活，使其更加逼近人类大脑神经元工作机制，减少了计算成本，并且该模型了还增加了突触权重矩阵的尺寸，赋予了中央神经元与周围神经元交流的广域性，这也更加符合人类大脑神经元链接广泛的特性，所以，总体来说，本发明提出的模型相较于传统三代神经网络更加接近人类大脑的计算机制，降低计算成本的同时，其神经元模型的广连接性也提升了图像融合效果。
附图说明
图1为本发明-实施例的流程示意图。
图2为本发明-实施例中NSCT方法的原理示意图。
图3为本发明-实施例中随机耦合神经网络模型的示意图。
图4为本发明-实施例中三图像融合过程的示意图。
图5为本发明-实施例中图像融合方案的示意图。
图6为本发明-实施例中三种待融合的X射线图像，涉及青蛙趾骨的两个区域，图6a和6b为X射线吸收图像，图6c和6d为X射线折射图像，图6e和6f为X射线小角度散射图像。
图7为本发明-实施例中四种图像融合方法效果图的对比，图7a和图7b为基于小波变换的融合效果图，图7c和7d为基于NSCT的融合效果图，图7e和7f为基于NSCT-PCNN的融合效果图，图7g和7h为本发明基于NSCT-RCNN的融合效果图。
图8为小波变换原理示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
如图1所示，该基于NSCT-RCNN的多图像融合方法，包括以下步骤：
S10、获取多幅待融合的图像并分别对各图像进行去噪操作，其中该多幅待融合的图像包括对同一目标含有不同类型细节特征的多幅图像；
S20、采用相同的NSCT方法分解每幅去噪后的图像分别获得其各自的多个子带图像，包括对图像先后进行非下采样金字塔滤波和非下采样方向滤波操作，其中各待融合的图像的相同频带的子带图像构成一组；
S30、基于图像信号维度建立RCNN模型；图像信号属于二维信号，因此该RCNN模型基于二维信号数据构建；
该RCNN模型表示为：
式中，表示位于子带图像信号于采样点(i,j)处的神经元的膜电位；n为迭代计数；f为/>的衰减系数；/>表示神经元接收到的外部刺激，即子带图像每一个像素位置处的值；/>为突触权重矩阵，控制位于子带图像于采样点(i,j)处的中央神经元与其位于图像邻域空间的周围神经元之间的连接；β为链接强度；Dijkl表示随机失活矩阵，控制邻域神经元的点火状态，失活的概率与和中央神经元的距离成正比，且服从二维高斯分布；Gijkl表示高斯核，元素值服从二维高斯分布；Gijkl与Dijkl的哈达玛积构成了/>；VU为加权常数，用于调节/>的内部活动特征；/>表示子带图像采样点(i,j)处的图像邻域空间中周围神经元的脉冲输出，它是一个与/>大小相同的、由0和1元素构成的矩阵；/>表示位于子带图像信号于采样点(i,j)处的神经元脉冲输出；/>为动态阈值；g和h分别是动态阈值和绝对不应期的衰减常数，它防止刚刚被激活的神经元立即被重新激活；
S40、将经过NSCT方法分解生成的各子带图像分别输入RCNN模型并生成相应的点火映射图；点火映射图包含每个像素点信息的点火计数；每个子带图像对应一个点火映射图，点火映射图的矩阵维度与输入图像的维度相同，且每个像素点对应RCNN中的一个神经元；
S50、基于权重和阈值可调的图像融合方案，分别根据每组子带图像的点火映射图判断确定出该组子带图像的融合结果；具体是根据点火映射图体现出的不同子带图像中具体像素位置的信息重要程度差异，按照设定的融合方案对不同图像的分解子带图像进行加权融合，得到一套融合子带图像；
S60、对融合结果进行逆NSCT重建生成融合结果图像，包括对融合结果进行逆向非下采样方向滤波和逆向非下采样金字塔滤波操作。
具体地，步骤S10中对图像去噪操作采用自适应维纳滤波，该滤波器能够在图像去噪的同时，很好的保留图像高频信息和边缘特征，原理为：
上式中，ID(i,j)为经过自适应维纳滤波后的图像；I(i,j)为待处理的输入图像；μ为局部均值；σ2为局部方差；X和Y为人工定义参数，定义待处理图像I(i,j)中每个单个像素的X×Y局部邻域；μ2为噪声方差，该方差由所有局部估计方差的平均值计算。
具体地，步骤S20中采用NSCT方法分解图像的过程如图2所示，该NSCT方法是一个多尺度、多方向的图像变换方法，能够很好地捕捉图像中的细节，该方法由NSPFB（非下采样金字塔滤波器组）和NSDFB（非下采样方向滤波器组）构成，因此具有平移不变性。图2中展示了NSCT方法的分解过程，首先应用NSPFB进行多尺度分解，第一层分解得到低通子带图像1和高通子带图像1，第二层对第一层得到的结果低通子带图像1继续分解得到相应的低通子带图像2和高通子带图像2，以此类推。需要了解的是，第一层所得到的结果低通子带图像1和高通子带图像1跟原始图像中的特征结构最为接近，携带的原始特征数据最多。然后利用非下采样方向滤波器将通过 NSPFB多尺度分解所得的高通子带图像进行方向分解。非下采样方向滤波器（NSDFB)是一个双通道的滤波器组，经过分解的高通子带图像的频带会分裂成楔形，此结果图像称为高通方向子带图像。因此，经过NSCT方法分解最终会得到一个低通子带图像和多个高通方向子带图像，高通方向子带图像的个数由分解层数确定。
具体地，步骤S30中RCNN模型如图3所示，随机耦合神经网络中有三个重要部分：膜电位、神经元脉冲输出/>、动态阈值/>，它们都是紧密相连的，在最后一次迭代中，它们各自的变化会影响其他部分。电位和部分由自身的电位决定，除此之外，/>还受/>和外部刺激/>的影响，/>由/>调节，而/>直接取决于膜电位/>与动态阈值之间的大小关系，尤其是在接收到外部刺激时，神经元在点火过程中会发生随机失活，这也是该模型的一大特点，在很大程度上增加了神经元广域链接的可能，同时降低了计算成本。
如图4所示为图像融合的过程，滤波后的图像经过上述NSCT方法进行分解，可以得到多个子带图像，构成图像金字塔系数矩阵，然后将其输入前述构建的RCNN模型中得到相应的点火映射图，构成点火矩阵，对于具体的点火过程来说，神经元接受外部刺激(像素值)，当神经元内部活动大于神经元动态阈值/>时，神经元被点火并输出脉冲序列/>，此时神经元动态阈值/>将迅速增加g，抑制神经元下一次点火，只有神经元继续接受一定强度刺激时，才有可能在下次迭代中被点火。简单来说，/>、、/>是紧密相连的，它们中的任何一个发生变化，都会影响到剩余两个参量。在多轮外部刺激后，/>的增长速度趋于减慢，而/>的增长速度保持不变，这将导致/>最终将超过/>，神经元被重置，这也说明了一个神经元无限制地接收同一强度的刺激被点火的次数不是无限的。将/>>/>的次数记作点火次数，即形成了相应的点火映射图。然后根据图像融合方案进行融合，最后再对融合系数矩阵进行逆NSCT操作重建得到融合图像。
具体地，所述步骤S50中基于权重和阈值可调的图像融合方案包括：
配置一可调阈值，并分别计算每组子带图像的各点火映射图在该可调阈值加权影响下的点火参考值；
对于低频子带图像，选择该组子带图像中最大的点火参考值对应的子带图像作为融合结果；
对于高频子带图像，选择每组子带图像中具有明显优势的点火参考值对应的子带图像进行加权融合得到该组子带图像的融合结果。
其中，所述图像融合方案中按照每个采样点分别确定融合结果。
具体地，所述选择每组子带图像中具有明显优势的点火参考值对应的子带图像包括：
计算该组子带图像中各点火参考值之间的差值，
当这些差值均小于设定阈值时，表示各点火参考值均具有明显优势，将该组所有子带图像进行加权融合；
当这些差值中存在有不小于设定阈值的情况时，表示有一个或多个点火参考值具有明显优势，其中有一个点火参考值具有明显优势时，选择该点火参考值对应的子带图像作为该组子带图像的融合结果，有多个点火参考值具有明显优势时，将该多个点火参考值对应的子带图像进行加权融合。
本实施例中以三图像融合为例具体介绍图像融合方案，二图像或更多图像的融合方案可在此基础上轻易推广。该三图像融合即为本实施例验证中应用的三种X射线图像，包括X射线吸收图像、X射线折射图像和X射线小角度散射图像，如图6所示。X射线吸收图像主要包含传统X射线成像的相关信息，主要是骨骼等原子序数较高的组织，产生原理主要基于X射线在穿过不同物质时衰减系数不同这一定理，也是世界上最早出现的X射线成像。X射线折射图像主要包含与青蛙趾骨的骨小梁部分、外皮肤软组织的相关细节，包括骨小梁中的网状结构，以及清晰可见的低密度皮肤组织和其轮廓，该类X射线图像的产生原理为通过探测X射线穿过物体时引起的相位变化而导致的光强变化以达到成像目的，因此相较于吸收成像，折射成像能够更好的体现出探测物体的细节。X射线小角度散射图像主要包括骨端和骨皮质的一些高密度信息，其成像原理为由于物体内部不均匀性引起的弹性散射相互干涉的效应，导致条纹对比度降低，其散射射线方向朝前，在一个很小的角度范围内分布，该种X射线图像对于超细微且内部密度接近但不均匀的物体结构信息能够很好的体现。
如图5所示为图像融合方案，分为低频和高频两种情况，对于低频情况有：
上式中，是融合图像低频系数矩阵于(i,j)处的值；/>，和/>分别是三种待融合图像的低频系数矩阵于(i,j)处的值；，/>和/>分别是三种待融合图像低频系数的点火映射图于(i,j)处的值；a是可调阈值，取值在0-1之间，在相衬成像的图像融合中一般取0.5以上，它决定了融合结果对某种图像的偏向程度，表示融合结果更偏向于某种图像，且该种图像包含信息最丰富，此处偏向于AC图像；/>，/>，分别表示三种待融合图像低频系数的点火映射图的点火参考值。
对于高频情况，三个点火参考值，/>，之间的关系有七种可能：
三者之间没有显著区别时有一种可能，；
当某一个点火参考值显著大于其余时有三种可能，，，/>；
当某两个点火参考值显著大于剩余时有三种可能，，，；
上式中，是融合图像高频系数矩阵于(i,j)处的值；n对应下采样方法的图像分解等级数；/>，/>和/>分别为三种待融合图像高频系数矩阵于(i,j)处的值；b、c、d为高频系数权重因子，b+c+d=1，它们决定了融合结果中包含三种待融合图像中对应细节信息的权重；上述后三种可能中亦可配置独立的权重因子，此处以0.5为例。
以下通过实验验证本发明的可靠性，实验图像为图6所示的两个区域青蛙趾骨的三种X射线图像。
在实验设计方面，采用四种图像融合方法进行对比，分别为基于小波变换的图像融合方法、基于NSCT的图像融合方法、基于NSCT-PCNN的图像融合方法、本发明基于NSCT-RCNN的图像融合方法。
各参数的取值如下：
维纳滤波器的滤波窗口大小为5×5；小波函数选择为Daubechies1和Daubechies4；高、低频信号的小波分解等级分别为4和5；NSCT的分解等级为[4,4,4,4]；金字塔滤波器选择’9-7’；方向滤波器选择’pkva’；高频带权重因子:b=0.41,c=0.29,d=0.30。
RCNN模型的各参数取值为：β=0.2; f=exp(-0.023); VU=1.0; g=exp(-0.04); h=5.0; n=120; 突触连接矩阵尺寸(Matrixdimension): 9×9; Gijkl服从高斯分布N~(0,0,42, 42,0); Dijkl服从高斯分布 N~(0,0, 52, 52,0)。
PCNN模型的各参数为：=0.22314;/>=0.06940; VF=0.5; VL=0.5; β=1.00;=0.02; Vθ=1.5; n=280;/>。
四种图像融合方法采用的融合方案一致，在处理图像时，小波变换和NSCT的融合方案并没有使用三代神经网络进行点火，而是直接在滤波后的图像上进行图像分解并按照已设定的方案进行融合，并且这两种方案仅在分解图像时的方案不同，小波变换相较于NSCT缺乏平移不变性，不能很好的表示图像边缘的方向信息，其原理如图8所示，L、H分别表示表示小波分解的高低频信息，分解层数由1、2进行表示。在第一分解层上，小波变换将图像分解为LL1、HL1、LH1、HH1四个频带；下一层仅对低频分量LLI进行分解。其中四个频带是原图像与一个小波基函数的内积后再通过行、列方向的2倍间隔采样形成的。而NSCT-PCNN的融合方案与NSCT-RCNN的融合方案在图像分解方案上相同，但所有子带图像点火时所采用的神经网络模型不同，PCNN（脉冲耦合神经网络）的模型表示为:
式中Fij[n]和Lij[n]分别表示位于(i,j)处神经元的反馈输入和链接输入，n表示迭代次数；Uij[n]代表神经元内部活动；和/>分别表示反馈输入和链接输入的衰减时间常数；VF和VL分别代表反馈输入和链接输入的增值系数；Mijkl和Wijkl分别是反馈输入和链接输入的链接矩阵，它们决定着中间神经元收周围神经元电位的影响程度；Sij代表着外部输入；β是决定内部电位中反馈输入和链接输入各自占比的一个系数；θij[n]为动态阈值；Yij[n]是由Uij[n]和θij[n]所共同决定的时间序列函数；Vθ和/>分别表示动态阈值θij[n]的增值系数和衰减时间常数。该神经网络模型相较于RCNN模型，不具有神经元的随即失活特性和更广的神经元连接范围，因此在处理图像方面问题的效果较差于RCNN模型。
为全面综合的评价融合效果，本发明在评价图像融合效果上引入主观评价和客观评价指标，首先主观评价可由图7直接得出：由图7a，7b所示的基于小波变换的融合效果图可以看出该方法不能很好的保留骨小梁的相关细节；由图7c，所示的基于NSCT变换的图像融合效果图可以看出该方法在融合图像时丢失了骨端的高密度信息，并且如图7d所示的相同方法不同区域的图像融合效果图所示，融合图像在骨小梁部分出现了伪影，这在一定程度上会影响医生的诊断；由图7e，7f所示的基于NSCT-PCNN的融合效果图可以看出该方法的融合结果在骨端和骨皮质部分出现了较强的噪声，并且在骨髓和外包皮肤软组织部分出现了扭曲现象；而由图7g，7h所示的本发明基于NSCT-RCNN的融合效果图可以看出该方法成功的将折射图像和小角度散射图像中骨端和骨皮质的高密度信息转移到融合图像中，存在于折射图像中骨小梁的网状结构信息也被完好的保存，骨髓密度的异质性也可以清晰的显示在图像上，仅存在于折射图像中的软组织信息也被完整的保留于融合图像中，该方法在高效提取各图像信息的同时，还显现出了较好的抗噪性。
在客观评价指标方面，本发明引入了多个客观评价指标：边缘强度(ES)、空间频率(SF)、标准差(SD)、熵(H)、特征互信息(FMI)、特征相似指数测度(FSIM)、融合因子(FF)、结构相似指数测度(SSIM)。
边缘强度(ES)表示为从输入图像转移到融合图像中的边缘信息的相对量，其数学表达式为：
上式中ESAC(i,j), ESDPC(i,j)和ESDFC(i,j)分别表示X射线吸收图像、折射图像和小角度散射图像的边缘保留值；wAC(i,j), wDPC(i,j)和wDFC(i,j)分别表示分配给三种图像边缘保留值的权重，边缘强度(ES)越大，图像融合效果越好。
空间频率(SF)度量每个视角在刺激中呈现的细节数量，其数学表达式为：
上式中RF，CF分别表示行频率和列频率，Z(i,j) 表示图像位于(i,j)处的像素强度，融合结果的空间频率(SF)值越高，融合结果就能保留更多的细节，这也意味着融合效果更好。
标准差(SD)被定义为图像方差的平方根，而图像方差又与对比度有关，图像方差越大，对比度越高，该指标的数学表达式为：
上式中μ表示图像像素的平均强度。
熵(H)度量图像中包含多少信息，其数学表达式为：
式中L表示图像的灰度等级，pl表示图像中第LTH灰度级的概率，熵(H)的值越大，图像融合效果越好。
特征互信息(FMI)是指从原始图像(IAC, IDPC和IDFC)成功的向融合图像转移了多少特征信息，其数学表达式为：
上式中FI(IA,IB)表示从A图像传递向B信息的数量，式中的FI可由以下数学公式计算：
上式中表示图像A和图像B的联合分布；(i,j)和(k,l)分别表示图像A和B的像素坐标。当特征互信息(FMI)值较大时，该融合方案成功地融合了三幅图像，保留了每幅图像更多的特征信息。
特征相似指数测度(FSIM)是基于低层特征(具体为相位一致性(PC)和图像梯度幅值(GM))的两幅图像之间的相似性，图像A和B的特征相似指数测度(FSIM)计算公式为：
式中和/>分别表示图像A和B的相位一致性(PC)和图像梯度幅值(GM)的相似性度量；/>都表示已经定义好的经验常数。为度量总体的融合效果，需要分别计算FSIM(IAC,IF), FSIM(IDPC,IF)和FSIM(IDFC,IF)，其中IAC,IDPC和IDFC分别表示经过吸收、折射和小角度散射图像，IF表示融合图像，特征相似指数测度(FSIM)的值越大，图像融合效果越好。
融合因子(FF) 是基于互信息(MI)的一个度量，互信息最初是信息论中的一个概念，它度量了两个随机变量之间的统计相关性，这使得它也能够度量从输入图像到融合图像传递了多少信息，其数学表达式为：
式中MI (IAC,IF), MI (IDPC,IF), MI (IDFC,IF)分别为X射线吸收、折射和小角度散射图像与融合图像的互信息值，融合因子(FF)越大，融合效果越好。
结构相似指数测度(SSIM) 根据人眼对结构信息的敏感度来度量量从一幅图像转移到另一幅图像中的结构信息的多少，其数学表达式为：
式中SSIM(IA,IB)表示图像A和B的结构相似指数测度(SSIM)，W表示来自图像分割的窗口数，表示图像A和B在第j个窗口的结构相似指数测度(SSIM)，其计算公式为：
式中,/>,/>和/>分别表示图像A和B在第j个窗口的局部均值和方差；/>表示图像A和B在第j个窗口的协方差，因此融合的总结构相似指数测度(SSIM)的计算公式为：
同样的，总结构相似指数(SSIM)越大，融合效果越好。
各图像融合方案效果图的客观评价指标如表1和表2所示。
表1图7a，7c，7e，7g的客观评价指标
表2图7b，7d，7f，7h的客观评价指标
如表1和表2所示，从客观评价结果来看，本发明基于NSCT-RCNN的图像融合方法在H、SD和FF方面优于其他方法。该方法的ES、SF和FMI与其它方法非常接近。这六个指标表示最终融合结果中的信息量和细节。在这些指标中的优异结果表明基于NSCT-RCNN的融合算法成功地从输入图像中提取信息，并且所得的融合图像具有低噪声，少伪影的特点。对于后两个指标SSIM和FSIM，基于NSCT-RCNN的融合算法明显落后于其他方法。但是，由于这两个指标度量了融合图像与输入图像之间的相似性，如果将所有三个输入图像的细节都成功地转化为融合图像，则融合图像与所有三个输入的相似度必然会降低，所以出现这种情况也是合理的。
因此，总的来说，本发明基于NSCT-RCNN的图像融合方法表现出了优异的融合效果，不但能有效地从图像中提取信息，同时还能抵抗噪声的负面影响，因此经过该方法得到的融合图像具有细节精细，噪声、伪影少的特点。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。
Claims (6)
1.一种基于NSCT-RCNN的多图像融合方法，其特征在于，包括以下步骤：
S10、获取多幅待融合的图像并分别对各图像进行去噪操作；
S20、采用相同的NSCT方法分解每幅去噪后的图像分别获得其各自的多个子带图像，包括对图像先后进行非下采样金字塔滤波和非下采样方向滤波操作，其中各待融合的图像的相同频带的子带图像构成一组；
S30、基于图像信号维度建立RCNN模型；
S40、将经过NSCT方法分解生成的各子带图像分别输入RCNN模型并生成相应的点火映射图；
S50、基于权重和阈值可调的图像融合方案，分别根据每组子带图像的点火映射图判断确定出该组子带图像的融合结果；
S60、对融合结果进行逆NSCT重建生成融合结果图像，包括对融合结果进行逆向非下采样方向滤波和逆向非下采样金字塔滤波操作。
2.根据权利要求1所述的基于NSCT-RCNN的多图像融合方法，其特征在于，所述步骤S10中多幅待融合的图像包括对同一目标含有不同类型细节特征的多幅图像。
3.根据权利要求1所述的基于NSCT-RCNN的多图像融合方法，其特征在于，所述步骤S30中RCNN模型表示为：
式中，表示位于子带图像信号于采样点(i,j)处的神经元的膜电位；n为迭代计数；f为/>的衰减系数；/>表示神经元接收到的外部刺激，即子带图像每一个像素位置处的值；/>为突触权重矩阵，控制位于子带图像于采样点(i,j)处的中央神经元与其位于图像邻域空间的周围神经元之间的连接；β为链接强度；Dijkl表示随机失活矩阵，控制邻域神经元的点火状态，失活的概率与和中央神经元的距离成正比，且服从二维高斯分布；Gijkl表示高斯核，元素值服从二维高斯分布；Gijkl与Dijkl的哈达玛积构成了/>；VU为加权常数，用于调节/>的内部活动特征；/>表示子带图像采样点(i,j)处的图像邻域空间中周围神经元的脉冲输出，它是一个与/>大小相同的、由0和1元素构成的矩阵；/>表示位于子带图像信号于采样点(i,j)处的神经元脉冲输出；/>为动态阈值；g和h分别是动态阈值和绝对不应期的衰减常数，它防止刚刚被激活的神经元立即被重新激活。
4.根据权利要求1~3任一项所述的基于NSCT-RCNN的多图像融合方法，其特征在于，所述步骤S50中基于权重和阈值可调的图像融合方案包括：
配置一可调阈值，并分别计算每组子带图像的各点火映射图在该可调阈值加权影响下的点火参考值；
对于低频子带图像，选择该组子带图像中最大的点火参考值对应的子带图像作为融合结果；
对于高频子带图像，选择每组子带图像中具有明显优势的点火参考值对应的子带图像进行加权融合得到该组子带图像的融合结果。
5.根据权利要求4所述的基于NSCT-RCNN的多图像融合方法，其特征在于，所述图像融合方案中按照每个采样点分别确定融合结果。
6.根据权利要求4所述的基于NSCT-RCNN的多图像融合方法，其特征在于，所述选择每组子带图像中具有明显优势的点火参考值对应的子带图像包括：
计算该组子带图像中各点火参考值之间的差值，
当这些差值均小于设定阈值时，表示各点火参考值均具有明显优势，将该组所有子带图像进行加权融合；
当这些差值中存在有不小于设定阈值的情况时，表示有一个或多个点火参考值具有明显优势，其中有一个点火参考值具有明显优势时，选择该点火参考值对应的子带图像作为该组子带图像的融合结果，有多个点火参考值具有明显优势时，将该多个点火参考值对应的子带图像进行加权融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311066472.2A CN117252790B (zh) | 2023-08-23 | 2023-08-23 | 基于nsct-rcnn的多图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311066472.2A CN117252790B (zh) | 2023-08-23 | 2023-08-23 | 基于nsct-rcnn的多图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117252790A true CN117252790A (zh) | 2023-12-19 |
| CN117252790B CN117252790B (zh) | 2024-06-18 |
Family
ID=89135913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311066472.2A Active CN117252790B (zh) | 2023-08-23 | 2023-08-23 | 基于nsct-rcnn的多图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252790B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN114429457A (zh) * | 2022-01-19 | 2022-05-03 | 中国电建集团中南勘测设计研究院有限公司 | 一种基于双模态融合的风机叶片缺陷智能检测方法 |
| CN116029956A (zh) * | 2023-03-29 | 2023-04-28 | 成都理工大学工程技术学院 | 一种基于nsct-scm的图像融合方法及系统 |
| CN116524310A (zh) * | 2023-03-07 | 2023-08-01 | 重庆大学 | 一种基于图像融合以及目标识别的变电设备识别诊断方法 |
-
2023
- 2023-08-23 CN CN202311066472.2A patent/CN117252790B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
| CN114429457A (zh) * | 2022-01-19 | 2022-05-03 | 中国电建集团中南勘测设计研究院有限公司 | 一种基于双模态融合的风机叶片缺陷智能检测方法 |
| CN116524310A (zh) * | 2023-03-07 | 2023-08-01 | 重庆大学 | 一种基于图像融合以及目标识别的变电设备识别诊断方法 |
| CN116029956A (zh) * | 2023-03-29 | 2023-04-28 | 成都理工大学工程技术学院 | 一种基于nsct-scm的图像融合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117252790B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| Panigrahy et al. | Fractal dimension based parameter adaptive dual channel PCNN for multi-focus image fusion | |
| Li et al. | Pixel-level image fusion: A survey of the state of the art | |
| Gonzalez | Digital image processing | |
| Boublil et al. | Spatially-adaptive reconstruction in computed tomography using neural networks | |
| Farokhian et al. | Automatic parameters selection of Gabor filters with the imperialism competitive algorithm with application to retinal vessel segmentation | |
| Wu et al. | Spatial-spectral cube matching frame for spectral CT reconstruction | |
| Baohua et al. | A multi-focus image fusion algorithm based on an improved dual-channel PCNN in NSCT domain | |
| Duan et al. | Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features | |
| CN102800070A (zh) | 基于区域和人眼对比敏感特性的异源图像融合方法 | |
| Pandelea et al. | Image processing using artificial neural networks | |
| Cui et al. | Medical image fusion based on wavelet transform and independent component analysis | |
| Wang et al. | A fusion algorithm of remote sensing image based on discrete wavelet packet | |
| CN117252790B (zh) | 基于nsct-rcnn的多图像融合方法 | |
| Li et al. | An effective multimodel fusion method for SAR and optical remote sensing images | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| CN105225214A (zh) | 一种基于直觉模糊处理理论的图像融合方法及其系统 | |
| Woldamanuel | Grayscale Image Enhancement Using Water Cycle Algorithm | |
| Wang et al. | Multifocus image fusion based on nonsubsampled contourlet transform and spiking cortical model | |
| Hassanien | Rough wavelet hybrid image classification scheme | |
| Alenezi et al. | Novel technique for improved texture and information content of fused medical images | |
| Lalotra et al. | Multimodal medical image fusion using Butterworth high pass filter and Cross bilateral filter | |
| Samhitha et al. | Analysis of Brain Tumor Segmentation using Convolutional Neural Network with Magnetic Resonance Imaging | |
| Trifas | Medical image enhancement | |
| Lin et al. | Infrared and visible image fusion algorithm based on Contourlet transform and PCNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |