CN117197014B - 一种可降噪的肺部医学图像融合方法、系统和电子设备 - Google Patents
一种可降噪的肺部医学图像融合方法、系统和电子设备 Download PDFInfo
- Publication number
- CN117197014B CN117197014B CN202311172805.XA CN202311172805A CN117197014B CN 117197014 B CN117197014 B CN 117197014B CN 202311172805 A CN202311172805 A CN 202311172805A CN 117197014 B CN117197014 B CN 117197014B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- noise
- perceived
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 42
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000002685 pulmonary effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000007499 fusion processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医学图像数据处理技术领域，尤其涉及一种可降噪的肺部医学图像融合方法、系统和电子设备，所述方法包括：使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像；将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后，将得到的过渡图像进行相加及颜色变换处理，得到最终融合后的高亮图像。在保留图像细节的同时克服噪声量大的问题，实现去噪效果。
Description
技术领域
本发明涉及医学图像数据处理技术领域，尤其涉及一种可降噪的肺部医学图像融合方法、系统和电子设备。
背景技术
医学图像融合是信息融合的重要分支，也是当前信息融合研究中的热点问题。医学图像融合的目标是最大程度地保留多模态互补信息的同时减少冗余信息，并增强病灶的关键信息。经过融合过程得到的融合图像可以减少多模态图像之间的干扰信息并增加有重要价值的互补信息，从而有利于医疗分析或计算机处理。现有技术中，尚且不存在一种适合所有图像模态的通用融合方法，目前的融合方法尚且存在计算量大，边缘退化，噪声大，颜色失真等显著问题。
基于深度神经网络的医学图像融合方法作为图像融合方法发展的必然趋势，目前主要应用于红外光与可见光、多曝光以及多聚焦图像融合，该方法仍处在探索阶段。当前，在医学图像融合研究领域中，较多研究都在针对解决图像边缘退化及细节增强等问题，很少有方法着眼于解决图像融合中的去噪声问题。
例如在申请公开号为CN114926383A的中国专利中公开了 一种基于细节增强分解模型的医学图像融合方法，该发明通过获取数据集，从公开数据库或者实验等其他途径中获取对应的输入图像并记录下来，将实验对象中的彩色图像融合首先转换成YUV通道，然后使用Y通道与相应的灰度图像进行融合，并提供一种细节增强分解模型对医学图像进行分解，增强了图像的边缘细节，并且对分解后的每一层提出了有针对性的融合规则，有效的解决了现有的医学图像融合算法中存在的对比度降低以及失真等问题。
又如在申请公开号为CN115147694A的中国专利公开的一种三图多模态医学图像融合方法，该发明使用基于滚动引导滤波的方法对图像进行卡通纹理分解；其次，根据纹理成分含有较多细节信息的特点，且针对待融合图像的医学特征，提出用医学纹理图像作为训练字典样本的稀疏表示方法，用于纹理成分融合，同时，根据卡通成分的高能量特点，提出一种自适应绝对值取大和拉普拉斯能量和的方法对卡通成分进行融合；最后通过重构得到最终融合图像，解决了多模态医学图像使用现有图像融合方法得到的融合结果存在明显的亮度信息丢失和边缘模糊的问题。
上述专利中均存在：在医学图像研究领域中，较多研究都在针对解决图像边缘退化及细节增强等问题，且大多方法只能解决医学图像融合中的单一问题，很少有方法着眼于在保留图像细节的同时解决噪声量大的问题。本发明以深度神经网络的原理和功能作为出发点，以解决现有肺部医学图像融合中噪声量大的问题作为目标，提出一种可降噪的肺部医学图像融合方法，在保留图像细节的同时，克服噪声量大的问题，这种方法优点是简单易懂，可操作性好，信息保存量高，降噪效果好。
发明内容
本发明的主要目的在于提供一种可降噪的肺部医学图像融合方法、系统和电子设备，能够有效解决背景技术中的问题：在医学图像融合研究领域中，较多研究都在针对解决图像边缘退化及细节增强等问题，且大多方法只能解决医学图像融合中的单一问题，很少有方法着眼于在保留图像细节的同时解决噪声量大的问题。
本发明所要解决的技术问题是针对现有技术的不足，提供了一种可降噪的肺部医学图像融合方法、系统和电子设备。
本发明的一种可降噪的肺部医学图像融合方法的技术方案如下：
使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；
使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；
使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像；
将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后，将得到的过渡图像进行相加及颜色变换处理，得到最终融合后的高亮图像。
本发明进一步的改进在于，所述滤波策略包括噪声检测子策略和去噪子策略，噪声检测子策略内容如下：
S101、利用图像处理技术读取图像的像素信息，对于图像内任意的像素点，以为中心以/>为半径建立一个检测窗口/>，/>定义为窗口内所有像素点的集合，/>为窗口中心像素点，/>为其附近的一个邻近像素点；
S102、是以/>为圆心，/>为半径的圆形区域，/>是以/>为圆心，/>为半径的圆形区域，给定第一阈值/>，当/>时，/>为/>的邻近像素点，读取像素点/>，/>的通道数分别记为/>，/>，将/>与/>之间差的绝对值记为/>，然后通过将/>给定的阈值相比较来判定噪声点与非噪声点，公式如下：
。
本发明的进一步改进在于，所述S102中对于噪声点的判定步骤如下：
S1021、预设第二阈值，当小于等于第二阈值时，判定/>与/>同为噪声点或同为非噪声点，之后跳转检测下一个像素点/>的通道数，重复操作进行判定；
S1022、当大于等于第二阈值时，若/>大于/>，则/>为噪点，/>为非噪点，之后以/>为基准点跳转检测下一个像素点/>，重复步骤，若/>小于/>，则/>为非噪点，/>为噪点，之后以/>为基准点跳转检测下一个像素点/>，重复操作依次判定。若检测点为边缘像素点时，则/>与给定阈值的差值小于/>，才可判定为非噪声点，否则为噪声点。
去噪子策略内容如下：
S201、输入为原始图像，将原始图像的函数/>作为去噪过程的初始图像，其中，/>为原始图像中某一像素点的像素值，/>为中某一像素点高斯噪声密度，以原始图像的几何中心为原点建立二维直角坐标系，/>和/>是随某一像素点坐标/>变化而改变的变量；
S202、将去噪过程转化为函数对变量/>的连续求偏导过程，并通过迭代求导对连续求偏导过程中的变量/>进行降次，直至消除变量/>；
S203、令为滤波去噪后的输出图像，/>为/>求偏导后的输出函数，其中/>和/>分别为图像像素点的横坐标和纵坐标。
本发明进一步的改进在于，所述感知图像的提取采用VGG16网络，
在得到提取的特征图之后，进行归一化处理，将提取的特征图进行相应倍数的上采样，在相应的上采样操作之后，将所有特征图的均值作为感知图像，归一化处理计算公式如下：
；
为输入图像，/>和/>分别为预训练 VGG16 网络中第/>最大池化层前第卷积层的感知图像和特征图像，/>为特征图的通道数，/>和/>分别是特征图的宽度和高度。
本发明进一步的改进在于，所述组织图像、纹理图像和感知图像的融合策略采用HML法。
本发明进一步的改进在于，在得到融合后的组织融合图像、纹理融合图像和感知融合图像之后，采用加法，将组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后再经过相加及 YCbCr-RGB 颜色变换后得到彩色融合图像。
本发明的一种可降噪的肺部医学图像融合系统的技术方案如下：
图像分解模块、感知图像提取模块和图像融合模块；
所述图像分解模块用于：使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；
所述感知图像提取模块用于：使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；
所述图像融合模块用于：使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像；将得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后，将得到的过渡图像进行相加及颜色变换处理，得到最终融合后的高亮图像。
本发明的一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行一种可降噪的肺部医学图像融合方法。
本发明的技术效果如下：
构建了一种可实现对肺部医学图像融合中高斯噪声问题进行处理的模型系统，在保留图像细节的同时，克服了噪声量大的问题，可实现有效地降低多模态生物医学图像融合过程的高斯噪声并且能够保留更多细节，这种方法优点是简单易懂，可操作性好，信息保存量高，降噪效果好，对于提高医学图像融合质量具有重大现实意义。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例1的一种可降噪的肺部医学图像融合方法的流程示意图；
图2为本发明实施例1的一种可降噪的肺部医学图像融合方法的噪点检测示意图；
图3为本发明实施例1的一种可降噪的肺部医学图像融合方法的详细步骤示意图；
图4为本发明实施例2的一种可降噪的肺部医学图像融合系统的结构示意图。
具体实施方式
实施例1
本实施例提出了一种可降噪的肺部医学图像融合方法，以深度神经网络的原理和功能作为出发点，以解决现有图像融合中噪声量大的问题作为目标，构建了一种可实现对肺部医学图像融合中噪声问题进行处理的模型系统，在保留图像细节的同时，克服图像因为噪声量大的干扰而降质的问题，可实现有效地降低多模态生物医学图像融合过程的噪声并且能够保留更多细节，这种方法优点是简单易懂，可操作性好，信息保存量高，降噪效果好，对于提高肺部医学图像融合质量具有重大现实意义。
一种可降噪的肺部医学图像融合方法，如图1和图3所示，具体包括如下步骤：
S1、使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像：
从滤波器设计原理出发，滤波策略相比较于现有的传统滤波，可实现在去除噪声等小尺度结构和纹理修复的同时保留图像细节，具有减小重建图像灰度波动以及明显提高重建图像质量的效果，具体实现如下：
1）噪声检测
噪声的最大特点是其灰度值与其局部邻域像素点的灰度值差别较大，但是图像中的边缘信息也具有这样的特征。在相邻像素点通道值相差较大的情况下，为了有效区别是正常的边缘像素点还是图像噪声区域，就需要分析噪声与正常图像边缘的差别所在。首先判定图像中的像素点是否有被高斯噪声污染过，图像噪点体现为某个像素点与周围像素点的通道值相差很大，因此可以根据像素点的邻域信息判断是否出现噪点异常。本实施例改进一种判定图像像素点是否为噪声点的检测方法，以此作为依据区分图像噪声点和非噪声点，该方法具体实现如下：
如图2所示，首先利用图像处理技术读取图像的像素信息，对于图像内任意的像素点，以/>为中心以/>为半径建立一个检测窗口/>，/>定义为窗口内所有像素点的集合，/>为窗口中心像素点，/>为其附近的一个邻近像素点，/>是以/>为圆心，/>为半径的圆形区域，/>是以/>为圆心，/>为半径的圆形区域，给定第一阈值/>，当/>时，/>为/>的邻近像素点，读取像素点/>，/>的通道数分别记为/>，/>，将/>与/>之间差的绝对值记为/>，公式如下：
；
预设第二阈值，当小于等于第二阈值时，/>与/>相差不大，判定/>与/>同为噪声点或同为非噪声点，之后跳转检测下一个像素点/>的通道数，重复上述操作进行判定；当/>大于等于第二阈值时，/>与/>相差较大，若/>大于/>，则/>为噪点，/>为非噪点，之后以/>为基准点跳转检测下一个像素点/>，重复上述步骤，若/>小于/>，则/>为非噪点，/>为噪点，之后以/>为基准点跳转检测下一个像素点/>，重复上述步骤后依次判定。特别地，以上方法排除了检测点为边缘像素点的情况，若检测点为边缘像素点时，则/>需与给定阈值的差值小于/>，才可判定为非噪声点，否则为噪声点。
2）去噪
在识别出噪点后，对检测出的噪声点进行滤波，从而去除高斯噪声，为输入的原始图像，将原始含噪图像/>作为去噪过程的初始图像，/>为原始图像像素值，/>为高斯噪声密度，/>和/>是随像素点坐标/>而改变的变量，此时去噪过程转化为函数/>对变量/>的连续求偏导过程，通过迭代求导对函数表达式中的变量/>进行降次，直至消除变量，此时高斯噪声变量被完全消除。令/>为滤波去噪后的输出图像，/>为/>求偏导后的输出函数，其中/>和/>分别为图像像素点的横纵坐标。
S2、使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声：
其中，在卷积过程中，VGG网络利用了堆叠小卷积核而不是大卷积核。它使用两个3×3卷积核代替5×5卷积核，使用三个3×3卷积核代替7×7卷积核，在达到相同感受野的前提下减少了网络参数量。VGG16属于预训练模型，在图像分类识别领域具有出色的性能，因此，本发明使用 VGG16网络提取感知图像用于融合过程，以增强融合图像的边缘和细节信息。
VGG16网络包含13个卷积层，5个最大池化层和3个全连接层。VGG16网络有五个卷积块，每个卷积块都有各自的特征图大小和通道数：在卷积块 1中，特征图大小为224×224，通道数为64；在卷积块2中，特征图大小为112×112，通道数为128；在卷积块3中，特征图大小为56×56，通道数为256；在卷积块4中，特征图大小为28×28，通道数是512；在卷积块5中，特征图大小为14×14，通道数是 512。由于每个卷积块的特征图存在巨大差异，不能直接用于融合过程，因此需要对每个卷积块提取的特征图进行归一化处理，然后对五个卷积块提取的特征图进行相应倍数的上采样。在相应的上采样操作之后，将所有特征图的均值作为感知图像。归一化处理参阅的公式如下：
；
其中，为输入图像，/>和/>分别为预训练 VGG16 网络中第/>最大池化层前第/>卷积层的感知图像和特征图像，/>为特征图的通道数，/>和/>分别是特征图的宽度和高度。
S3、使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像：
组织图像包含了图像内容信息，纹理图像则包含输入图像的高频信息，并在小尺度上反映了图像的细微变化，融合图像的纹理越多，则图像内容越丰富、边缘越清晰，与输入图像相比，感知图像符合人类视觉感知机制，且具有丰富的感知细节信息。
将HML融合策略应用于本实施例，不仅考虑了当前像素与周围像素之间的关系，而且在保持边缘的同时抑制了噪声。改进拉普拉斯算子(ML)，请参阅如下公式：
；其中，ML为改进拉普拉斯算子，/>和/>分别是图像/>的当前像素坐标，/>代表可变步数且通常设为1。HML法请参阅如下公式：
；
其中，HML为改进拉普拉斯能量和，和/>分别是图像/>的像素坐标，/>代表阈值且通常设为0，/>是聚焦窗口的大小。融合策略定义为公式：
；
其中，和/>分别为输入图像1和2的HML值，将融合后的图像记为/>，/>，，其中/>代表组织融合图像，/>代表纹理融合图像，/>是感知融合图像。
S4、将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后进行相加及颜色变换处理，得到最终融合后的高亮图像：
图像合成是图像融合过程的最后步骤，融合规则采用加法，定义为公式：
；
；
；
其中，/>和/>分别是组织融合图像、纹理融合图像和感知融合图像，/>是组织融合图像与感知融合图像相加融合得到的过渡图像，/>是纹理融合图像于感知融合图像相加融合得到的过渡图像。该融合过程结束后，再将过渡图像/>和/>相加融合并经过YCbCr-RGB颜色变换后得到彩色融合图像。
实施例2
基于相同的发明构思，下面通过另外一个实施例，介绍一种可降噪的肺部医学图像融合系统，如图4所示，其特征包括：图像分解模块、感知图像提取模块、图像融合模块；
所述图像分解模块用于：使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；
在本实施例中，滤波策略相比较于现有的传统滤波，可实现在去除噪声等小尺度结构和纹理修复的同时保留图像细节，具有减小重建图像灰度波动以及明显提高重建图像质量的效果。其中具体包含噪声检测和滤波去噪两个步骤，在噪声检测过程中，利用噪声点的灰度值与局部邻域像素点的灰度值差别较大的特点，提出一种噪声点的检测判定方式：首先利用图像处理技术读取图像的像素信息，对于图像内任意的像素点，以/>为中心以/>为半径建立一个检测窗口/>，/>定义为窗口内所有像素点的集合，/>为窗口中心像素点，/>为其附近的一个邻近像素点，/>是以/>为圆心，/>为半径的圆形区域，/>是以/>为圆心，/>为半径的圆形区域，给定第一阈值/>，当/>时，/>为/>的邻近像素点，读取像素点/>，/>的通道数分别记为/>，/>，将/>与/>之间差的绝对值记为/>，公式如下：
；
预设第二阈值，当小于等于第二阈值时，/>与/>相差不大，判定/>与/>同为噪声点或同为非噪声点，之后跳转检测下一个像素点/>的通道数，重复上述操作进行判定；当/>大于等于第二阈值时，/>与/>相差较大，若/>大于/>，则/>为噪点，/>为非噪点，之后以/>为基准点跳转检测下一个像素点/>，重复上述步骤，若/>小于/>，则/>为非噪点，/>为噪点，之后以/>为基准点跳转检测下一个像素点/>，重复上述步骤后依次判定。特别地，以上方法排除了检测点为边缘像素点的情况，若检测点为边缘像素点时，则/>需与给定阈值的差值小于/>，才可判定为非噪声点，否则为噪声点。在识别出噪点后，对检测出的噪声点进行滤波，从而去除高斯噪声，/>为输入的原始图像，将原始含噪图像/>作为去噪过程的初始图像，/>为原始图像像素值，/>为高斯噪声密度，/>和/>是随像素点坐标/>而改变的变量，此时去噪过程转化为函数/>对变量/>的连续求偏导过程，通过迭代求导对函数表达式中的变量/>进行降次，直至消除变量/>，此时高斯噪声变量被完全消除。令/>为滤波去噪后的输出图像，/>为/>求偏导后的输出函数，其中/>和/>分别为图像像素点的横纵坐标。
所述感知图像提取模块用于：使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；
在本实施例中，VGG网络为多个非线性层堆叠，在参数量更少的前提下，可以实现增加网络的深度以增强更复杂的非线性映射能力，利用VGG16预训练模型良好的迁移学习能力，使用其提取感知图像用于融合过程，以增强融合图像的边缘和细节信息。VGG16网络包含13个卷积层，5个最大池化层和3个全连接层。VGG16网络有五个卷积块，每个卷积块都有各自的特征图大小和通道数：在卷积块 1中，特征图大小为224×224，通道数为64；在卷积块2中，特征图大小为112×112，通道数为128；在卷积块3中，特征图大小为56×56，通道数为256；在卷积块4中，特征图大小为28×28，通道数是512；在卷积块5中，特征图大小为14×14，通道数是 512。由于每个卷积块的特征图存在巨大差异，不能直接用于融合过程，因此需要对每个卷积块提取的特征图进行归一化处理，然后对五个卷积块提取的特征图进行相应倍数的上采样。在相应的上采样操作之后，将所有特征图的均值作为感知图像。归一化处理参阅的公式如下：
；
其中，为输入图像，/>和/>分别为预训练 VGG16 网络中第/>最大池化层前第/>卷积层的感知图像和特征图像，/>为特征图的通道数，/>和/>分别是特征图的宽度和高度。
所述图像融合模块用于：使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像，将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后进行相加及颜色变换处理，得到最终融合后的高亮图像。
在本实施例中，组织图像、纹理图像和感知图像的融合均使用HML法，改进拉普拉斯算子(ML)，请参阅如下公式：
；其中，ML为改进拉普拉斯算子，/>代表可变步数且通常设为1，/>和/>分别是图像/>的当前像素坐标。HML法请参阅如下公式：
；
其中，HML为改进拉普拉斯能量和，和/>分别是图像/>的像素坐标，/>代表阈值且通常设为0，/>是聚焦窗口的大小。融合策略定义为公式：
；
其中，和/>分别为输入图像1和2的HML值。
将融合后的图像记为，/>，/>，其中/>代表组织融合图像，/>代表纹理融合图像，/>是感知融合图像。图像合成是图像融合过程的最后步骤，融合规则采用加法，它定义为公式：
；
；
；
是组织融合图像与感知融合图像相加融合得到的过渡图像，/>是纹理融合图像于感知融合图像相加融合得到的过渡图像。该融合过程结束后，再将过渡图像/>和相加融合并经过 YCbCr-RGB颜色变换后得到彩色融合图像。
上述关于本发明的一种可降噪的肺部医学图像融合系统中的各参数和各个单元模块实现相应功能的步骤，可参考上文实施例1中关于一种可降噪的肺部医学图像融合方法的实施例中的各参数和步骤。
实施例3
本发明实施例的一种电子设备，包括处理器和存储介质，处理器执行存储介质中的指令。使得所述设备执行实现上述任一项所述的一种可降噪的肺部医学图像融合方法的操作。其中，计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，使计算机执行上述任一项的一种可降噪的肺部医学图像融合方法。电子设备可以选用电脑、手机等。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程或方框、以及流程图或方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种可降噪的肺部医学图像融合方法，其特征在于，包括以下具体步骤：
使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；
使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；
使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像；
将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后，将得到的过滤图像进行相加及颜色变换处理，得到最终融合后的高亮图像；
所述滤波策略包括噪声检测子策略和去噪子策略，所述噪声检测子策略内容如下：
S101、利用图像处理技术读取图像的像素信息，对于图像内任意的像素点M1，以M1为中心，h为半径建立一个检测窗口H，H定义为窗口内所有像素点的集合，h为检测窗口半径，M1为窗口中心像素点，M2为M1附近的一个邻近像素点；
S102、分别建立以M1为圆心，δ为半径的圆形区域δ1，以M2为圆心，δ为半径的圆形区域δ2，给定第一阈值α，当δ＜α时，M1为M2的邻近像素点，读取像素点M1，M2，令M1和M2的通道数分别记为S1，S2，将S1与S2之间差的绝对值记为γ1，公式如下：
γ1＝|S1-S2|；
所述感知图像的提取采用VGG16网络，在得到提取的特征图之后，进行归一化处理，将提取的特征图进行相应倍数的上采样，在相应的上采样操作之后，将所有特征图的均值作为感知图像；
所述归一化处理计算公式如下：
其中A为输入图像，和φm,n分别为预训练VGG16网络中第m个最大池化层前第n个卷积层的感知图像和特征图像，Dm,n为特征图的通道数，Wm,n和Hm,n分别是特征图的宽度和高度。
2.根据权利要求1所述的一种可降噪的肺部医学图像融合方法，其特征在于，所述S102中对于像素点的判定步骤如下：
S1021、预设第二阈值，当γ1小于等于第二阈值时，判定S1与S2同为噪声点或同为非噪声点，之后跳转检测下一个像素点M3的通道数，重复操作进行判定；
S1022、当γ1大于等于第二阈值时，若S1大于S2，则M1为噪点，M2为非噪点，之后以M2为基准点跳转检测下一个像素点M3，重复操作，若S1小于S2，则M1为非噪点，M2为噪声点，之后以M1为基准点跳转检测下一个像素点M3，重复操作依次判定。
3.根据权利要求2所述的一种可降噪的肺部医学图像融合方法，其特征在于，所述噪声点的判定步骤中，若像素点为边缘像素点时，则γ1与给定阈值的差值小于β，才可判定为非噪声点，否则为噪声点。
4.根据权利要求3所述的一种可降噪的肺部医学图像融合方法，其特征在于，所述去噪子策略内容如下：
S201、输入A为原始图像，将原始图像的函数A(s,t)作为去噪过程的初始图像，其中，s为原始图像中某一像素点的像素值，t为中某一像素点高斯噪声密度，以原始图像的几何中心为原点建立二维直角坐标系，s和t是随某一像素点坐标(x,y)变化而改变的变量；
S202、将去噪过程转化为函数A(s,t)对变量t的连续求偏导过程，并通过迭代求导对连续求偏导过程中的变量t进行降次，直至消除变量t；
S203、令P为滤波去噪后的输出图像，P(x,y)为A(s,t)求偏导后的输出函数，其中x和y分别为图像像素点的横坐标和纵坐标。
5.根据权利要求1所述的一种可降噪的肺部医学图像融合方法，其特征在于，所述组织图像、纹理图像和感知图像的融合策略采用HML法。
6.根据权利要求1所述的一种可降噪的肺部医学图像融合方法，其特征在于，所述颜色变换采用YCbCr-RGB的方法。
7.一种可降噪的肺部医学图像融合系统，其基于权利要求1-6中任一项所述的一种可降噪的肺部医学图像融合方法实现，其特征在于，所述系统包括：图像分解模块、感知图像提取模块、图像融合模块；
所述图像分解模块用于：使用滤波策略分解多模态图像，获取肺部组织图像和肺部纹理图像；
所述感知图像提取模块用于：使用深度卷积神经网络提取感知图像，采用归一化操作去除感知图像的特征差异和噪声；
所述图像融合模块用于：使用HML法融合组织图像、纹理图像和感知图像，得到组织融合图像，纹理融合图像和感知融合图像，将上述得到的组织融合图像，纹理融合图像分别与感知融合图像进行相加融合，分别得到过渡图像后，将得到的过渡图像进行相加及颜色变换处理，得到最终融合后的高亮图像。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-6中任一项所述的一种可降噪的肺部医学图像融合方法。
9.一种电子设备，其特征在于，包括存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现权利要求1-6中任一项所述的一种可降噪的肺部医学图像融合方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311172805.XA CN117197014B (zh) | 2023-09-12 | 2023-09-12 | 一种可降噪的肺部医学图像融合方法、系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311172805.XA CN117197014B (zh) | 2023-09-12 | 2023-09-12 | 一种可降噪的肺部医学图像融合方法、系统和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197014A CN117197014A (zh) | 2023-12-08 |
| CN117197014B true CN117197014B (zh) | 2024-02-20 |
Family
ID=88990190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311172805.XA Active CN117197014B (zh) | 2023-09-12 | 2023-09-12 | 一种可降噪的肺部医学图像融合方法、系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197014B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| EP3579180A1 (en) * | 2018-06-07 | 2019-12-11 | Beijing Kuangshi Technology Co., Ltd. | Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement |
| AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
| WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
| CN114821259A (zh) * | 2022-05-04 | 2022-07-29 | 长春理工大学 | 一种基于孪生卷积神经网络的零学习医学图像融合方法 |
| CN115100093A (zh) * | 2022-07-28 | 2022-09-23 | 西安理工大学 | 一种基于梯度滤波的医学图像融合方法 |
| CN115984157A (zh) * | 2023-02-17 | 2023-04-18 | 安徽理工大学 | 一种基于分频域融合的多模态医学图像融合方法 |
-
2023
- 2023-09-12 CN CN202311172805.XA patent/CN117197014B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3579180A1 (en) * | 2018-06-07 | 2019-12-11 | Beijing Kuangshi Technology Co., Ltd. | Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement |
| CN109035160A (zh) * | 2018-06-29 | 2018-12-18 | 哈尔滨商业大学 | 医学影像的融合方法及基于融合医学影像学习的图像检测方法 |
| AU2020100199A4 (en) * | 2020-02-08 | 2020-03-19 | Cao, Sihua MR | A medical image fusion method based on two-layer decomposition and improved spatial frequency |
| WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
| CN114821259A (zh) * | 2022-05-04 | 2022-07-29 | 长春理工大学 | 一种基于孪生卷积神经网络的零学习医学图像融合方法 |
| CN115100093A (zh) * | 2022-07-28 | 2022-09-23 | 西安理工大学 | 一种基于梯度滤波的医学图像融合方法 |
| CN115984157A (zh) * | 2023-02-17 | 2023-04-18 | 安徽理工大学 | 一种基于分频域融合的多模态医学图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于深度学习的多模态医学图像融合方法研究进展;薛湛琦;王远军;;中国医学物理学杂志(第05期);全文 * |
| 模糊神经网络像素分类的稀疏表示医学CT图像去噪方法;孙云山;张立毅;耿艳香;;信号处理(第10期);全文 * |
| 结合残差学习的尺度感知图像降噪算法;陈欢;陈清江;;激光与光电子学进展(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197014A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805840B (zh) | 图像去噪的方法、装置、终端及计算机可读存储介质 | |
| JP6100744B2 (ja) | 自動修復を用いたカラー文書画像セグメンテーション及び二値化 | |
| CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
| US20090257672A1 (en) | Noise Filter | |
| US9443286B2 (en) | Gray image processing method and apparatus based on wavelet transformation | |
| CN111007566B (zh) | 一种曲率驱动扩散全卷积网络地震数据坏道重建与去噪方法 | |
| Horng et al. | Using sorted switching median filter to remove high-density impulse noises | |
| CN110047055B (zh) | 一种红外图像细节增强及去噪方法 | |
| CN110992295B (zh) | 基于小波-red卷积神经网络的低剂量ct重建方法 | |
| CN113989168A (zh) | 一种针对椒盐噪声的自适应非局部均值滤波方法 | |
| CN110929635A (zh) | 基于信任机制下面部交并比的假脸视频检测方法及系统 | |
| CN110782406A (zh) | 一种基于信息蒸馏网络的图像去噪方法及装置 | |
| CN111091107A (zh) | 一种人脸区域边缘检测方法、装置及存储介质 | |
| WO2022016326A1 (zh) | 图像处理方法、电子设备和计算机可读介质 | |
| CN117197014B (zh) | 一种可降噪的肺部医学图像融合方法、系统和电子设备 | |
| CN112927151B (zh) | 一种基于边缘增强和卷积神经网络的图像去噪方法 | |
| TW202341065A (zh) | 用於在低信號雜訊比成像情況下減少雜訊之方法、系統及非暫時性電腦可讀媒體 | |
| Jia et al. | Fractional‐integral‐operator‐based improved SVM for filtering salt‐and‐pepper noise | |
| CN113139920A (zh) | 一种古籍图像修复方法、终端设备及存储介质 | |
| Maulana | The utilization of Gaussian filter method on voice record frequency noise | |
| CN113469898A (zh) | 基于深度学习的图像去畸变方法及相关设备 | |
| CN112651926A (zh) | 一种基于递归注意力机制的裂纹检测的方法及装置 | |
| CN116029942B (zh) | 一种深度学习图像边缘强化的方法、相关装置及存储介质 | |
| CN115482162B (zh) | 一种基于随机重排和无标签模型的隐式图像盲去噪方法 | |
| CN114677303B (zh) | 一种基于集成边缘数据增强的亚像素边缘检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |