CN116630762A - 一种基于深度学习的多模态医学图像融合方法 - Google Patents

一种基于深度学习的多模态医学图像融合方法 Download PDF

Info

Publication number
CN116630762A
CN116630762A CN202310758369.8A CN202310758369A CN116630762A CN 116630762 A CN116630762 A CN 116630762A CN 202310758369 A CN202310758369 A CN 202310758369A CN 116630762 A CN116630762 A CN 116630762A
Authority
CN
China
Prior art keywords
data
source image
medical source
image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310758369.8A
Other languages
English (en)
Other versions
CN116630762B (zh
Inventor
姜冠群
王宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuoye Medical Technology Co ltd
Original Assignee
Shandong Zhuoye Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuoye Medical Technology Co ltd filed Critical Shandong Zhuoye Medical Technology Co ltd
Priority to CN202310758369.8A priority Critical patent/CN116630762B/zh
Publication of CN116630762A publication Critical patent/CN116630762A/zh
Application granted granted Critical
Publication of CN116630762B publication Critical patent/CN116630762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的多模态医学图像融合方法。该方法包括以下步骤：获取医学源图像数据，并对医学源图像数据进行提取，获取医学源图像基础数据以及医学源图像细节数据；根据医学源图像基础数据进行融合处理，获取医学源图像基础融合数据；对医学源图像细节数据进行数据清洗并脱敏并进行一致性检查，获取医学源图像细节一致性数据；对医学源图像细节一致性数据进行特征提取，获取特征层数据集，并将特征层数据集进行重构融合，获取融合细节图数据；根据医学源图像基础融合数据以及融合细节图数据进行叠加融合，获取多模态图像融合数据。本发明将不同模态医学图像信息融合，得到全面丰富的多模态图像数据。

Description

一种基于深度学习的多模态医学图像融合方法
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的多模态医学图像融合方法。
背景技术
现在医学影像技术得到了广泛地应用，处于临床诊断的需求，常常将同一个病人的同一个位置采用不同的模态成像技术综合分析，也可能将同一病人不同时间的成像结合分析，CT成像技术能够较清晰的观察骨骼组织，而MRI图像能够观察到软组织信息，为了临床中有更加精准的判断，需要将CT与MRI数据，CT与PET数据进行严格的配准，然后融合成一幅图像，从多模态的医学信息中对疾病进行诊断和治疗，也可在融合后的dicom影像中进行tps肿瘤规划。
在图像融合领域中，多尺度变换理论存在广泛应用，基于金字塔、小波变换及多尺度几何变换方法，基于多尺度的几何变换通常采用低频域平均融合，高频域采用系数极大值方式进行融合，但是对于身体结构、组织、器官在同一区域亮度上存在很大的差异，由于图像的绝大部分的能量保存在低频域中，采用平均的方式会导致融合图像细节丢失，影像融合的结果。
发明内容
本发明为解决上述技术问题，提出了一种基于深度学习的多模态医学图像融合方法，以解决至少一个上述技术问题。
本申请提供了一种基于深度学习的多模态医学图像融合方法，包括以下步骤：
步骤S1：获取医学源图像数据，并对医学源图像数据进行提取，从而获取医学源图像基础数据以及医学源图像细节数据；
步骤S2：根据医学源图像基础数据进行融合处理，从而获取医学源图像基础融合数据；
步骤S3：对医学源图像细节数据进行数据清洗并脱敏，从而获取医学源图像细节预处理数据，并对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据；
步骤S4：对医学源图像细节一致性数据进行特征提取，从而获取特征层数据集，并将特征层数据集进行重构融合，从而获取融合细节图数据；
步骤S5：根据医学源图像基础融合数据以及融合细节图数据进行叠加融合，从而获取多模态图像融合数据。
本发明通过对医学源图像数据进行提取，该方法能够从医学源图像中获取基础数据和细节数据。通过融合处理基础数据和重构融合细节图数据，可以将不同模态的医学图像信息进行综合融合，得到更全面、更丰富的多模态图像数据。通过对医学源图像细节数据进行数据清洗、脱敏和一致性检查，可以减少图像中的噪声和干扰，提高图像的质量和清晰度。同时，对医学源图像基础数据进行融合处理，可以增强图像的对比度和细节，使图像更具视觉效果。多模态医学图像融合能够利用不同模态图像的优势，将它们的信息进行互补。例如，结构性图像和功能性图像可以相互补充，提供更全面的疾病诊断和评估信息。通过将基础数据和细节数据进行融合，可以获得更准确、更全面的医学图像信息，有助于医生做出准确的诊断和决策。多模态图像融合能够增强图像的解释性，使医生能够更好地理解和分析图像。融合细节图数据可以突出图像的细节信息，使医生能够更清晰地观察病变区域或重要结构，提高诊断的准确性和可信度。
优选地，医学源图像基础数据包括第一医学源图像基础数据以及第二医学源图像基础数据，步骤S1具体为：
步骤S11：获取医学源图像数据；
步骤S12：对医学源图像数据进行数据标准化处理，从而获取医学源图像标准数据；
步骤S13：对医学源图像标准数据进行平滑滤波处理，从而获取医学源图像滤波数据；
步骤S14：对医学源图像滤波数据进行边缘提取，从而获取第一医学源图像基础数据；
步骤S15：对医学源图像滤波数据进行分割提取，从而获取第二医学源图像基础数据；
步骤S16：对医学源图像滤波数据进行细节数据提取，从而获取医学源图像细节数据。
本发明中通过对医学源图像数据进行标准化处理，可以使不同源图像之间的数据具有一致的尺度和范围。这有助于消除不同图像之间的差异，使它们更具可比性和可融合性。通过对医学源图像标准数据进行平滑滤波处理，可以减少图像中的噪声和细节变化，使图像更加平滑和稳定。这有助于提高图像的质量和清晰度，减少后续处理步骤中的误差和干扰。通过对医学源图像滤波数据进行边缘提取，可以突出图像中的边缘和结构信息。这有助于获取第一医学源图像的基础数据，即突出了图像中的主要结构特征，提供了有关图像整体形状和轮廓的信息。通过对医学源图像滤波数据进行分割提取，可以将图像分割为不同的区域或对象。这有助于获取第二医学源图像的基础数据，即提取了图像中的特定区域或目标的信息。分割提取可以用于突出感兴趣的区域，提供更具针对性的数据处理和分析。通过对医学源图像滤波数据进行细节数据提取，可以获取医学源图像的细节信息。这有助于揭示图像中的微小变化和细节特征，提供更全面和详细的图像描述。细节数据对于疾病诊断和评估非常重要，能够提供更准确的信息和更好的可视化效果。
优选地，步骤S15具体为：
根据医学源图像滤波数据进行二值化处理，从而获取医学源图像二值化数据；
根据医学源图像二值化数据通过预设的阈值进行分割，从而获取第二医学源图像基础数据。
本发明中通过将医学源图像滤波数据进行二值化处理，可以将图像转换为只包含两个值(通常为0和255)的二值图像。这有助于突出图像中的目标区域和轮廓，将图像中的信息简化为明显的前景和背景。根据医学源图像二值化数据通过预设的阈值进行分割，可以将图像分割为不同的区域或对象。这有助于获取第二医学源图像的基础数据，即提取了图像中的特定区域或目标的信息。分割提取可以用于分离感兴趣的结构、组织或病变区域，提供更具针对性的数据分析和处理。通过二值化处理和分割提取，可以将背景和噪声区域与目标区域分离开来。这有助于减少背景干扰对图像分析的影响，使得后续处理步骤更加专注于目标区域的特征提取和分析。同时，去除背景干扰还可以提高图像的对比度和清晰度。分割后的第二医学源图像基础数据主要包含感兴趣的目标区域。这使得目标的定位和特征提取更加准确和可靠。通过基于分割结果的图像处理和分析，可以提取目标区域的形状、大小、纹理的特征，为后续的图像融合、分类、定量分析的任务提供更具信息量的数据。
优选地，步骤S16具体为：
步骤S161：对医学源图像滤波数据进行噪声检测，从而获取医学源图像噪声数据；
步骤S162：确定医学源图像噪声数据为低医学源图像噪声数据时，对医学源图像滤波数据进行第一锐化处理，从而获取第一医学源图像锐化数据；
步骤S163：确定医学源图像噪声数据为高医学源图像噪声数据时，对医学源图像滤波数据进行第二锐化处理，从而获取第二医学源图像锐化数据，其中第一锐化处理与第二锐化处理为不同的锐化处理方式，医学源图像锐化数据为第一医学源图像锐化数据以及第二医学源图像锐化数据中的至少一种；
步骤S164：对医学源图像锐化数据进行细节补偿增强处理，从而获取医学源图像细节增强数据；
步骤S165：对医学源图像细节增强数据进行频域提取，从而获取医学源图像细节数据。
本发明中通过步骤S161对医学源图像滤波数据进行噪声检测，可以获取医学源图像的噪声数据。这有助于了解图像中的噪声情况，为后续处理提供基础信息。根据医学源图像噪声数据的不同情况，在步骤S162和步骤S163中应用不同的锐化处理方式，分别获取第一医学源图像锐化数据和第二医学源图像锐化数据。锐化处理可以增强图像中的边缘和细节信息，使图像更加清晰和鲜明。在步骤S164中对医学源图像锐化数据进行细节补偿增强处理，可以突出图像中的细节部分，使其更加清晰和突出。细节补偿增强方法可以通过增加细节的强度和对比度来提高图像的质量和信息量。通过步骤S165对医学源图像细节增强数据进行频域提取，可以获取医学源图像的细节数据。频域提取方法可以分析图像的频谱信息，进一步突出图像中的细节和纹理信息。
优选地，步骤S164具体为：
步骤S166：对医学源图像锐化数据进行像素对数映射，从而获取医学源图像对数域数据；
步骤S167：对医学源图像对数域数据进行高频滤波，从而获取全局照明成分数据；
步骤S168：根据全局照明成分数据对医学源图像对数域数据进行细节调整，从而获取反射成分图像数据；
步骤S169：根据反射成分图像数据进行像素对数反映射，从而获取医学源图像细节增强数据。
本发明中在步骤S166中，对医学源图像锐化数据进行像素对数映射。这种映射能够调整像素值的动态范围，使得图像中的低对比度细节更加明显，同时抑制过亮或过暗的区域，提高图像的视觉感知质量。通过步骤S167对医学源图像对数域数据进行高频滤波，可以提取图像中的高频细节信息，包括边缘和纹理。这有助于突出图像的细节部分，增加图像的清晰度和细腻度。根据全局照明成分数据，在步骤S168中对医学源图像对数域数据进行细节调整。这个步骤旨在补偿图像中的照明变化，使得细节部分更加均衡和突出。通过细节调整，可以进一步增强图像的质量和可视化效果。在步骤S169中，对经过细节调整的反射成分图像数据进行像素对数反映射。这个操作将还原图像的像素值，并恢复到线性域，得到医学源图像的细节增强数据。细节增强能够突出图像中的细微特征和结构，提高图像的清晰度和信息量。
优选地，噪声检测通过医学源图像噪声检测计算公式，其中医学源图像噪声检测计算公式具体为：
NJ为医学源图像噪声数据，a为积分下限项，b为积分上限项，i为次序项，n为医学源图像数量数据，mi为医学源图像种类权重系数，k为医学源图像常数项，Ii为医学源图像种类项，x为像素数据，为医学源图像误差权重系数，Ei为医学源图像误差数据，/>为医学源图像特征权重系数，Fi为医学源图像特征数据，/>为医学源图像噪声权重系数，δ为医学源图像噪声标准差，Di为医学源图像滤波数据，e为指数项，α为曲线调整项。
本发明构造了一种医学源图像噪声检测计算公式，该计算公式通过数学符号的相互作用和参数之间的组合，实现了对医学源图像噪声的检测和评估。通过调整和优化参数的取值，可以对噪声进行准确的量化，从而帮助识别和处理医学图像中的噪声干扰，提高图像的质量和可靠性。该公式在医学影像领域具有重要的应用意义，有助于医生和研究人员进行噪声分析和图像改进的工作。该计算公式通过对医学源图像数据的处理，计算出医学源图像的噪声数据NJ。噪声数据反映了图像中存在的噪声成分，可以用于评估图像的噪声水平和质量。计算公式中的各个参数相互作用，共同影响噪声检测的结果。这些参数包括医学源图像的种类项Ii、误差数据Ei、特征数据Fi和噪声标准差δ，以及与权重相关的系数mi，它们的取值和组合会影响噪声检测的准确性和敏感性。该计算公式的有益效果是通过综合考虑医学源图像的种类、误差、特征和噪声的因素来评估图像的噪声水平。不同参数的权重系数和数据对最终的噪声计算结果产生影响，可以根据具体的需求和图像特点进行调整。通过该计算公式，可以量化医学源图像的噪声水平，为后续的图像处理和分析提供参考，例如在图像增强、去噪或诊断中的应用。
优选地，步骤S3具体为：
步骤S31：对医学源图像细节数据进行低频降噪处理，从而获取医学源图像细节降噪数据；
步骤S32：对医学源图像细节降噪数据进行移除伪影处理，从而获取医学源图像细节移除伪影数据；
步骤S33：对医学源图像细节移除伪影数据进行纠正畸变，从而获取医学源图像细节纠正数据；
步骤S34：对医学源图像细节纠正数据进行敏感区域检测并区域模糊化处理，从而获取医学源图像细节预处理数据；
步骤S35：对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据。
本发明中通过对医学源图像细节数据进行低频降噪，可以去除图像中的低频噪声成分，从而提高图像的清晰度和细节信息的可见性。伪影是医学图像中常见的干扰因素之一，它可能导致图像出现不真实或失真的细节。通过移除伪影处理，可以消除伪影的影响，使医学源图像细节更加真实和准确。医学图像可能受到各种因素的影响而产生畸变，例如成像设备的非线性响应或物理形变。通过对医学源图像细节进行纠正畸变处理，可以恢复图像中的几何形状和结构，提高图像的准确性和可比性。医学图像中的敏感区域可能包含敏感信息，需要进行保护或模糊处理，以确保隐私和数据安全。通过敏感区域检测和区域模糊化处理，可以识别和保护这些敏感区域，同时保持图像的一致性和完整性。最终的一致性检查可以确保医学源图像细节经过处理后仍然保持一致，没有引入新的不一致性或失真。这有助于确保医学图像处理过程的可靠性和一致性，并提供可靠的基础数据用于后续的分析和应用。
优选地，特征层数据集包括第一特征层数据集以及第二特征层数据集，融合细节图数据包括第一融合细节图数据以及第二融合细节图数据，步骤S4具体为：
步骤S41：使用第一深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第一特征层数据集；
步骤S42：使用第二深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第二特征层数据集，其中第一深度学习框架与第二深度学习框架为不同的深度学习框架；
步骤S43：将第一特征层数据集进行重构融合，从而获取第一融合细节图数据，并将第二融合细节图数据进行重构重合，从而获取第二融合细节图数据。
本发明中通过使用不同的深度学习框架对医学源图像细节一致性数据进行特征提取，可以捕捉到不同框架所擅长的特征表示。这样做的好处是可以从多个角度和多个层次上提取医学图像的特征信息，增强了特征的多样性和丰富性。将第一特征层数据集进行重构融合，得到第一融合细节图数据，并将第二融合细节图数据进行重构重合。通过融合不同的特征层数据集，可以综合各个特征层的信息，得到更全面、更准确的融合细节图数据。这样可以充分利用多模态医学图像的信息，提高医学图像的表达能力和准确性。
优选地，步骤S5具体为：
根据医学源图像基础融合数据以及融合细节图数据进行权重叠加计算融合，从而获取多模态图像融合数据。
本发明中通过将医学源图像基础融合数据和融合细节图数据进行融合，可以综合多个模态的信息，融合出更全面、更丰富的图像数据。不同的模态在医学图像中提供了不同的视角和特征，将它们融合在一起可以增强图像的细节、对比度和信息量，从而提供更全面的图像描述和更准确的诊断依据。通过使用权重叠加计算方法，可以根据不同模态的重要性和贡献度对各个数据进行加权融合。这样可以灵活地调整不同模态数据的权重，使得融合结果更加符合医学专家的需求和判断。权重叠加计算可以根据具体应用的要求进行调整，以获得最佳的融合效果。多模态图像融合能够改善医学图像的质量和可视化效果。通过综合不同模态的信息，可以增强图像的清晰度、对比度和辨识度，减少图像中的噪声和伪影，使医学图像更易于观察和解读。这对于医生进行准确的诊断和治疗规划非常重要。
优选地，权重叠加计算融合通过医学源图像权重叠加计算公式进行计算，其中医学源图像权重叠加计算公式具体为：
W为多模态图像融合数据，exp为指数计算，w为医学源图像种类权重系数，o为常数项，I为医学源图像种类信息，为医学源图像历史误差权重系数，E为医学源图像历史误差项，w1为医学源图像基础融合数据权重系数，D1为医学源图像基础融合数据，w2为融合细节图数据权重系数，D2为融合细节图数据，h为平滑系数，Er为误差项，u为多模态图像融合数据的修正项。
本发明构造了一种医学源图像权重叠加计算公式，该计算公式的权重叠加计算可以综合多个医学源图像的信息，包括医学源图像种类信息I、历史误差项E、基础融合数据D1和融合细节图数据D2。通过对不同来源的图像数据进行加权叠加，可以将不同模态的信息整合在一起，提供更全面和准确的多模态图像融合数据w。信息重要性调整：公式中的权重系数w，w1，w2用于调整不同信息源的重要性。这些权重系数决定了各个参数对融合结果的贡献程度。通过调整权重系数，可以对不同信息源进行加权处理，使得重要的信息具有更大的影响力，从而提高融合结果的准确性和适应性。公式中的平滑系数h用于控制融合结果的平滑程度，可以减少图像中的噪声和伪影。修正项u可以对融合结果进行进一步调整，以满足特定的需求或约束条件。常数项o用于调整指数计算的基数，影响了指数计算中的幅度变化。平滑系数h决定了融合结果的平滑程度，较大的平滑系数会产生更平滑的结果。
本发明的有益效果在于：能够从医学源图像数据中提取基础数据和细节数据，并将它们进行融合。基础数据融合利用了医学源图像的全局信息，能够保留不同模态图像的共性特征。细节数据融合则侧重于提取医学源图像的细节信息，包括纹理、边缘的细微特征。通过将基础数据和细节数据相结合，可以获得更丰富和准确的多模态图像融合数据，提高图像质量和信息量。对医学源图像细节数据进行了数据清洗和脱敏处理。这些步骤有助于去除图像中的噪声、伪影和其他不相关信息，提高图像的质量和准确性。同时，脱敏处理有助于保护患者的隐私和数据安全。利用深度学习框架对医学源图像细节一致性数据进行特征提取，生成特征层数据集。这些特征层数据集包含了医学图像的高级语义特征，能够更好地捕捉图像中的结构和特征信息。通过将特征层数据集进行重构融合，可以有效地将不同特征的信息进行整合和融合，提高图像的准确性和一致性。通过权重叠加计算公式对医学源图像基础融合数据和融合细节图数据进行叠加融合。这个过程中考虑了不同数据源的权重分配，使得不同数据对融合结果的贡献程度可调。同时，公式中的平滑系数和修正项也能够进一步调整和优化融合结果，增强图像的平滑性和适应性。
附图说明
通过阅读参照以下附图所作的对非限制性实施所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了一实施例的基于深度学习的多模态医学图像融合方法的步骤流程图；
图2示出了一实施例的步骤S1的步骤流程图；
图3示出了一实施例的步骤S16的步骤流程图；
图4示出了一实施例的步骤S164的步骤流程图；
图5示出了一实施例的步骤S3的步骤流程图；
图6示出了一实施例的步骤S4的步骤流程图。
具体实施方式
下面结合附图对本发明专利的技术方法进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器方法和/或微控制器方法中实现这些功能实体。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
请参阅图1至图6，本申请提供了一种基于深度学习的多模态医学图像融合方法，包括以下步骤：
步骤S1：获取医学源图像数据，并对医学源图像数据进行提取，从而获取医学源图像基础数据以及医学源图像细节数据；
具体地，例如从医学影像设备(如MRI、CT)中获取原始医学图像数据。然后，使用图像处理技术(如灰度转换、滤波、分割)对图像进行预处理和分析，提取出基础数据(如图像整体特征、强度信息)和细节数据(如纹理、边缘)。
步骤S2：根据医学源图像基础数据进行融合处理，从而获取医学源图像基础融合数据；
具体地，例如对医学源图像的基础数据进行融合处理，可以采用加权平均、模型融合或其他融合算法，将不同模态或来源的图像信息整合在一起，生成医学源图像的基础融合数据。
步骤S3：对医学源图像细节数据进行数据清洗并脱敏，从而获取医学源图像细节预处理数据，并对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据；
具体地，例如对医学源图像细节数据进行去噪、伪影去除、图像增强等数据清洗处理，以提高图像质量。同时，对处理后的细节数据进行脱敏操作，以保护患者隐私。然后，对脱敏的细节数据进行一致性检查，确保数据之间的一致性和准确性，生成医学源图像细节一致性数据。
步骤S4：对医学源图像细节一致性数据进行特征提取，从而获取特征层数据集，并将特征层数据集进行重构融合，从而获取融合细节图数据；
具体地，例如使用深度学习方法或其他特征提取算法，从医学源图像细节一致性数据中提取高级语义特征。这些特征可包括纹理特征、形状特征、边缘特征。然后，将提取的特征层数据集进行重构和融合，可以使用卷积神经网络、自编码器的方法，生成融合细节图数据。
步骤S5：根据医学源图像基础融合数据以及融合细节图数据进行叠加融合，从而获取多模态图像融合数据。
具体地，例如将医学源图像的基础融合数据与融合细节图数据进行叠加融合。这可以通过加权求和、特征融合模型的方法实现。权重的选择可以根据应用需求、图像质量、模态重要性的因素确定。最终生成多模态图像融合数据，综合了基础数据和细节数据的信息。
本发明通过对医学源图像数据进行提取，该方法能够从医学源图像中获取基础数据和细节数据。通过融合处理基础数据和重构融合细节图数据，可以将不同模态的医学图像信息进行综合融合，得到更全面、更丰富的多模态图像数据。通过对医学源图像细节数据进行数据清洗、脱敏和一致性检查，可以减少图像中的噪声和干扰，提高图像的质量和清晰度。同时，对医学源图像基础数据进行融合处理，可以增强图像的对比度和细节，使图像更具视觉效果。多模态医学图像融合能够利用不同模态图像的优势，将它们的信息进行互补。例如，结构性图像和功能性图像可以相互补充，提供更全面的疾病诊断和评估信息。通过将基础数据和细节数据进行融合，可以获得更准确、更全面的医学图像信息，有助于医生做出准确的诊断和决策。多模态图像融合能够增强图像的解释性，使医生能够更好地理解和分析图像。融合细节图数据可以突出图像的细节信息，使医生能够更清晰地观察病变区域或重要结构，提高诊断的准确性和可信度。
优选地，医学源图像基础数据包括第一医学源图像基础数据以及第二医学源图像基础数据，步骤S1具体为：
步骤S11：获取医学源图像数据；
具体地，例如从医学影像设备(如MRI、CT)中获取原始医学图像数据，包括像素值、图像尺寸的信息。
步骤S12：对医学源图像数据进行数据标准化处理，从而获取医学源图像标准数据；
具体地，例如对医学源图像数据进行预处理，例如对图像进行灰度范围调整、对比度增强、去除图像伪影的操作，以使图像的像素值在一定范围内标准化。
步骤S13：对医学源图像标准数据进行平滑滤波处理，从而获取医学源图像滤波数据；
具体地，例如应用平滑滤波器(如高斯滤波器、中值滤波器)对医学源图像标准数据进行滤波处理，以减少图像中的噪声和不规则性。
步骤S14：对医学源图像滤波数据进行边缘提取，从而获取第一医学源图像基础数据；
具体地，例如使用边缘检测算法(如Sobel算子、Canny边缘检测)对医学源图像滤波数据进行处理，以突出图像中的边缘信息，并提取第一医学源图像基础数据。
步骤S15：对医学源图像滤波数据进行分割提取，从而获取第二医学源图像基础数据；
具体地，例如应用图像分割算法(如阈值分割、区域生长)对医学源图像滤波数据进行处理，以将图像分割为不同的区域，并提取第二医学源图像基础数据。
步骤S16：对医学源图像滤波数据进行细节数据提取，从而获取医学源图像细节数据。
具体地，例如通过对滤波后的图像数据与原始图像数据之间的差异计算，提取医学源图像中的细节信息。这可以通过减法操作、高通滤波器的方式实现。
本发明中通过对医学源图像数据进行标准化处理，可以使不同源图像之间的数据具有一致的尺度和范围。这有助于消除不同图像之间的差异，使它们更具可比性和可融合性。通过对医学源图像标准数据进行平滑滤波处理，可以减少图像中的噪声和细节变化，使图像更加平滑和稳定。这有助于提高图像的质量和清晰度，减少后续处理步骤中的误差和干扰。通过对医学源图像滤波数据进行边缘提取，可以突出图像中的边缘和结构信息。这有助于获取第一医学源图像的基础数据，即突出了图像中的主要结构特征，提供了有关图像整体形状和轮廓的信息。通过对医学源图像滤波数据进行分割提取，可以将图像分割为不同的区域或对象。这有助于获取第二医学源图像的基础数据，即提取了图像中的特定区域或目标的信息。分割提取可以用于突出感兴趣的区域，提供更具针对性的数据处理和分析。通过对医学源图像滤波数据进行细节数据提取，可以获取医学源图像的细节信息。这有助于揭示图像中的微小变化和细节特征，提供更全面和详细的图像描述。细节数据对于疾病诊断和评估非常重要，能够提供更准确的信息和更好的可视化效果。
优选地，步骤S15具体为：
根据医学源图像滤波数据进行二值化处理，从而获取医学源图像二值化数据；
具体地，例如对原始医学图像进行高斯平滑滤波或中值滤波的处理，去除噪声和不必要的细节。将滤波后的图像进行灰度转换，将RGB图片转成单通道灰度图像。根据灰度阈值对整个图像进行二值化处理，得到二值化的医学源图像。
根据医学源图像二值化数据通过预设的阈值进行分割，从而获取第二医学源图像基础数据。
具体地，例如根据前一步所得的二值化医学源图像，进行边缘检测，找出图像的轮廓。根据预设的阈值对图像进行分割，也就是将图像中的前景(感兴趣区域)和背景分开。这个阈值可以是根据预先给定的规则或者基于实验上来确定。得到分割后的第二医学源图像基础数据。在医学图像处理中，常用的分割方法包括阈值分割、区域生长、模板匹配的方法。
本发明中通过将医学源图像滤波数据进行二值化处理，可以将图像转换为只包含两个值(通常为0和255)的二值图像。这有助于突出图像中的目标区域和轮廓，将图像中的信息简化为明显的前景和背景。根据医学源图像二值化数据通过预设的阈值进行分割，可以将图像分割为不同的区域或对象。这有助于获取第二医学源图像的基础数据，即提取了图像中的特定区域或目标的信息。分割提取可以用于分离感兴趣的结构、组织或病变区域，提供更具针对性的数据分析和处理。通过二值化处理和分割提取，可以将背景和噪声区域与目标区域分离开来。这有助于减少背景干扰对图像分析的影响，使得后续处理步骤更加专注于目标区域的特征提取和分析。同时，去除背景干扰还可以提高图像的对比度和清晰度。分割后的第二医学源图像基础数据主要包含感兴趣的目标区域。这使得目标的定位和特征提取更加准确和可靠。通过基于分割结果的图像处理和分析，可以提取目标区域的形状、大小、纹理的特征，为后续的图像融合、分类、定量分析的任务提供更具信息量的数据。
优选地，步骤S16具体为：
步骤S161：对医学源图像滤波数据进行噪声检测，从而获取医学源图像噪声数据；
具体地，例如针对不同类型的噪声，选择合适的噪声检测算法，例如针对高斯噪声可以选择方差分析的算法；借助噪声检测算法，对滤波后的医学源图像进行噪声检测，得到医学源图像的噪声数据。
步骤S162：确定医学源图像噪声数据为低医学源图像噪声数据时，对医学源图像滤波数据进行第一锐化处理，从而获取第一医学源图像锐化数据；
具体地，例如选择合适的低通滤波器所去除的频率范围，以保留下更多高频细节信息。对于语义重要或需要增强的区域选择不同尺寸的模板进行卷积计算。对滤波后的图像进行梯度运算、边缘检测的方法进行锐化操作。得到第一医学源图像锐化数据。
步骤S163：确定医学源图像噪声数据为高医学源图像噪声数据时，对医学源图像滤波数据进行第二锐化处理，从而获取第二医学源图像锐化数据，其中第一锐化处理与第二锐化处理为不同的锐化处理方式，医学源图像锐化数据为第一医学源图像锐化数据以及第二医学源图像锐化数据中的至少一种；
具体地，例如选择合适的高通滤波器来增强图像的高频细节信息。进行边缘提取、勾画的方法突出图像，选择锐化滤波器来增强图像的边缘。利用形态学变换方法，如开操作、闭操作对图像进行处理。得到第二医学源图像锐化数据。
步骤S164：对医学源图像锐化数据进行细节补偿增强处理，从而获取医学源图像细节增强数据；
具体地，例如非局部均值(NL-Means)滤波器：该滤波器可以通过对图像进行区域范围内的像素平均值计算来减少噪声，并且一定程度上提高图像的清晰度和细节。均值移除方法(Mean removal method)：该方法将每个像素周围的相邻像素亮度值的加权平均值从原始像素亮度值中减去，从而使图像变得更为富有细节。维纳滤波器：该滤波器可以对图像进行频带滤波，并适当地调整图像的信噪比(SNR)，以达到更好的细节增强效果。
步骤S165：对医学源图像细节增强数据进行频域提取，从而获取医学源图像细节数据。
具体地，例如为了获取医学源图像的细节数据，可以使用基于频域的技术，例如：离散傅里叶变换(DFT)：通过处理图像的频谱信息，可以提取出医学源图像中的细节特征，并进行分析和可视化。带通滤波器：使用合适的带通滤波器可从医学源图像频谱信息中提取出想要的细节部分，并将其放大以进一步强调。对提取的频域细节数据进行逆傅里叶变换，将其转换回空域，得到医学源图像的细节数据。
具体地，例如将细节增强后的图像转换到频域进行处理，可以按照以下步骤进行：对细节增强后的图像应用傅里叶变换(Fourier Transform)或其他频域变换方法，将图像从空域转换到频域。在频域中，可以通过分析图像的频率特征来提取细节信息。常见的方法包括：对频谱图进行滤波操作，突出或增强特定频率范围内的细节信息。通过分析频域的幅度谱和相位谱，提取图像的细节部分。应用频域滤波器，如高通滤波器或带通滤波器，以突出细节。完成频域提取后，将细节数据转换回空域，得到医学源图像的细节数据。
本发明中通过步骤S161对医学源图像滤波数据进行噪声检测，可以获取医学源图像的噪声数据。这有助于了解图像中的噪声情况，为后续处理提供基础信息。根据医学源图像噪声数据的不同情况，在步骤S162和S163中应用不同的锐化处理方式，分别获取第一医学源图像锐化数据和第二医学源图像锐化数据。锐化处理可以增强图像中的边缘和细节信息，使图像更加清晰和鲜明。在步骤S164中对医学源图像锐化数据进行细节补偿增强处理，可以突出图像中的细节部分，使其更加清晰和突出。细节补偿增强方法可以通过增加细节的强度和对比度来提高图像的质量和信息量。通过步骤S165对医学源图像细节增强数据进行频域提取，可以获取医学源图像的细节数据。频域提取方法可以分析图像的频谱信息，进一步突出图像中的细节和纹理信息。
优选地，步骤S164具体为：
步骤S166：对医学源图像锐化数据进行像素对数映射，从而获取医学源图像对数域数据；
具体地，例如将原始的医学图像通过调整图像对比度和亮度来优化其视觉效果。对优化过的医学图像进行锐化处理，以增强其细节信息。对锐化后的图像进行像素对数映射，将灰度值转换为对数域数据。此转换可通过标准公式log(1+x)实现，其中x是输入像素的灰度值。
步骤S167：对医学源图像对数域数据进行高频滤波，从而获取全局照明成分数据；
具体地，例如对医学图像进行傅里叶变换，并在频域中使用高通滤波器。对变换后的数据进行逆傅里叶变换，以获得高频信息并生成全局照明成分数据。此外，也可以使用其他高频滤波器，如Butterworth滤波器。
步骤S168：根据全局照明成分数据对医学源图像对数域数据进行细节调整，从而获取反射成分图像数据；
具体地，例如对于输入的医学源图像，先将其转换到灰度空间。利用现有的全局照明模型(例如基于Retinex算法的模型)，计算出各像素位置上的全局照明成分值。根据所得的全局照明成分值，对输入灰度图像中的每个像素进行对数域细节调整，使得各像素的灰度强度更加平滑和均衡。将对数域调整后的灰度图像与原始灰度图像相减，即可获得反射成分图像数据。
步骤S169：根据反射成分图像数据进行像素对数反映射，从而获取医学源图像细节增强数据。
具体地，例如对于输入的医学源图像，先将其转换到灰度空间。利用现有的全局照明模型(例如基于Retinex算法的模型)，计算出各像素位置上的全局照明成分值。根据所得的全局照明成分值，对输入灰度图像中的每个像素进行对数域细节调整，使得各像素的灰度强度更加平滑和均衡。将对数域调整后的灰度图像与原始灰度图像相减，即可获得反射成分图像数据。
本发明中在步骤S166中，对医学源图像锐化数据进行像素对数映射。这种映射能够调整像素值的动态范围，使得图像中的低对比度细节更加明显，同时抑制过亮或过暗的区域，提高图像的视觉感知质量。通过步骤S167对医学源图像对数域数据进行高频滤波，可以提取图像中的高频细节信息，包括边缘和纹理。这有助于突出图像的细节部分，增加图像的清晰度和细腻度。根据全局照明成分数据，在步骤S168中对医学源图像对数域数据进行细节调整。这个步骤旨在补偿图像中的照明变化，使得细节部分更加均衡和突出。通过细节调整，可以进一步增强图像的质量和可视化效果。在步骤S169中，对经过细节调整的反射成分图像数据进行像素对数反映射。这个操作将还原图像的像素值，并恢复到线性域，得到医学源图像的细节增强数据。细节增强能够突出图像中的细微特征和结构，提高图像的清晰度和信息量。
优选地，噪声检测通过医学源图像噪声检测计算公式，其中医学源图像噪声检测计算公式具体为：
NJ为医学源图像噪声数据，a为积分下限项，b为积分上限项，i为次序项，n为医学源图像数量数据，mi为医学源图像种类权重系数，k为医学源图像常数项，Ii为医学源图像种类项，x为像素数据，为医学源图像误差权重系数，Ei为医学源图像误差数据，/>为医学源图像特征权重系数，Fi为医学源图像特征数据，/>为医学源图像噪声权重系数，δ为医学源图像噪声标准差，Di为医学源图像滤波数据，e为指数项，α为曲线调整项。
本发明构造了一种医学源图像噪声检测计算公式，该计算公式通过数学符号的相互作用和参数之间的组合，实现了对医学源图像噪声的检测和评估。通过调整和优化参数的取值，可以对噪声进行准确的量化，从而帮助识别和处理医学图像中的噪声干扰，提高图像的质量和可靠性。该公式在医学影像领域具有重要的应用意义，有助于医生和研究人员进行噪声分析和图像改进的工作。该计算公式通过对医学源图像数据的处理，计算出医学源图像的噪声数据NJ。噪声数据反映了图像中存在的噪声成分，可以用于评估图像的噪声水平和质量。计算公式中的各个参数相互作用，共同影响噪声检测的结果。这些参数包括医学源图像的种类项Ii、误差数据Ei、特征数据Fi和噪声标准差δ，以及与权重相关的系数mi，它们的取值和组合会影响噪声检测的准确性和敏感性。该计算公式的有益效果是通过综合考虑医学源图像的种类、误差、特征和噪声的因素来评估图像的噪声水平。不同参数的权重系数和数据对最终的噪声计算结果产生影响，可以根据具体的需求和图像特点进行调整。通过该计算公式，可以量化医学源图像的噪声水平，为后续的图像处理和分析提供参考，例如在图像增强、去噪或诊断中的应用。
优选地，步骤S3具体为：
步骤S31：对医学源图像细节数据进行低频降噪处理，从而获取医学源图像细节降噪数据；
具体地，例如使用基于小波变换的去噪方法，例如基于BM3D算法中的筛选和聚合步骤进行低频降噪处理。应用快速傅里叶变换(FFT)对医学源图像进行频域滤波操作以降低图像噪声。
步骤S32：对医学源图像细节降噪数据进行移除伪影处理，从而获取医学源图像细节移除伪影数据；
具体地，例如利用高斯核或者中值滤波器的图像处理方法进行影像伪影去除；分析医学源图像的空间分布特征和干扰因素，采用适当的模型方法进行影像伪影消除。
步骤S33：对医学源图像细节移除伪影数据进行纠正畸变，从而获取医学源图像细节纠正数据；
具体地，例如利用标定水平面法或者现场设置遮挡物摆放法获取畸变系数并校正畸变；通过对参考平面或者应用特定的校正算法来纠正图像畸变。
步骤S34：对医学源图像细节纠正数据进行敏感区域检测并区域模糊化处理，从而获取医学源图像细节预处理数据；
具体地，例如利用掩模蒙版策略来突出敏感区域并进行保护；应用模糊化技术，例如高斯模糊、均值模糊、中值模糊，对非敏感区域降低图像细节以减少鬼影和假阳性。
具体地，例如通过图像识别计算进行预设位置的文字识别，从而判定是否为敏感字眼，确定为敏感字眼时，则对相应的像素区域进行模糊处理。
步骤S35：对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据。
具体地，例如利用基于模型的一致性检验方法，例如局部耦合因子(LCF)测试进行医学图像的一致性分析；采用人类视觉特征来进行一致性检验，包括光滑性、曲率、纹理。
本发明中通过对医学源图像细节数据进行低频降噪，可以去除图像中的低频噪声成分，从而提高图像的清晰度和细节信息的可见性。伪影是医学图像中常见的干扰因素之一，它可能导致图像出现不真实或失真的细节。通过移除伪影处理，可以消除伪影的影响，使医学源图像细节更加真实和准确。医学图像可能受到各种因素的影响而产生畸变，例如成像设备的非线性响应或物理形变。通过对医学源图像细节进行纠正畸变处理，可以恢复图像中的几何形状和结构，提高图像的准确性和可比性。医学图像中的敏感区域可能包含敏感信息，需要进行保护或模糊处理，以确保隐私和数据安全。通过敏感区域检测和区域模糊化处理，可以识别和保护这些敏感区域，同时保持图像的一致性和完整性。最终的一致性检查可以确保医学源图像细节经过处理后仍然保持一致，没有引入新的不一致性或失真。这有助于确保医学图像处理过程的可靠性和一致性，并提供可靠的基础数据用于后续的分析和应用。
优选地，特征层数据集包括第一特征层数据集以及第二特征层数据集，融合细节图数据包括第一融合细节图数据以及第二融合细节图数据，步骤S4具体为：
步骤S41：使用第一深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第一特征层数据集；
具体地，例如使用卷积神经网络(CNN)对医学源图像进行训练，并从中提取出特征。例如，可以使用ResNet架构拟合训练数据集，然后用已训练好的模型来提取特征。该过程得到了第一特征层数据集。
步骤S42：使用第二深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第二特征层数据集，其中第一深度学习框架与第二深度学习框架为不同的深度学习框架；
具体地，例如深度学习框架(如VGG)可以用来进行特征提取。方法与步骤S41类似，但由于使用不同的框架，可以存在某些差异。该过程将生成第二特征层数据集。
步骤S43：将第一特征层数据集进行重构融合，从而获取第一融合细节图数据，并将第二融合细节图数据进行重构重合，从而获取第二融合细节图数据。
具体地，例如运用多种重构融合技术，如基于卷积核的融合、加权平均。通过将两个或更多的特征层堆叠在一起(例如使用级联或并行结构)，可以生成融合细节图数据。
本发明中通过使用不同的深度学习框架对医学源图像细节一致性数据进行特征提取，可以捕捉到不同框架所擅长的特征表示。这样做的好处是可以从多个角度和多个层次上提取医学图像的特征信息，增强了特征的多样性和丰富性。将第一特征层数据集进行重构融合，得到第一融合细节图数据，并将第二融合细节图数据进行重构重合。通过融合不同的特征层数据集，可以综合各个特征层的信息，得到更全面、更准确的融合细节图数据。这样可以充分利用多模态医学图像的信息，提高医学图像的表达能力和准确性。
优选地，步骤S5具体为：
根据医学源图像基础融合数据以及融合细节图数据进行权重叠加计算融合，从而获取多模态图像融合数据。
具体地，例如将两个图像进行融合。使用加权叠加的方法。对于每个像素，按照一定的权重进行加权叠加。其中，基础融合数据的权重会比较高(一般为0.7～0.9)，而融合细节图数据的权重则相对较低(一般为0.1～0.3)。这是因为基础融合数据包含了大量的结构信息，而融合细节图数据则包含了细节信息。在融合过程中，还可以考虑一些约束条件，比如边缘保持和光滑性。这些约束条件可以帮助减少图像中的伪影和噪声，并提高整体质量。对于多模态图像融合数据，还需要进行评估和验证。使用一些定量指标，比如PSNR：信噪比(Peak signal-to-noise ratio)是衡量两幅图像之间差异程度的一种指标，可用于衡量原始图像与融合图像之间的相似程度。值越高表示两幅图像之间的信息差异越小，重构质量越好。
本发明中通过将医学源图像基础融合数据和融合细节图数据进行融合，可以综合多个模态的信息，融合出更全面、更丰富的图像数据。不同的模态在医学图像中提供了不同的视角和特征，将它们融合在一起可以增强图像的细节、对比度和信息量，从而提供更全面的图像描述和更准确的诊断依据。通过使用权重叠加计算方法，可以根据不同模态的重要性和贡献度对各个数据进行加权融合。这样可以灵活地调整不同模态数据的权重，使得融合结果更加符合医学专家的需求和判断。权重叠加计算可以根据具体应用的要求进行调整，以获得最佳的融合效果。多模态图像融合能够改善医学图像的质量和可视化效果。通过综合不同模态的信息，可以增强图像的清晰度、对比度和辨识度，减少图像中的噪声和伪影，使医学图像更易于观察和解读。这对于医生进行准确的诊断和治疗规划非常重要。
优选地，权重叠加计算融合通过医学源图像权重叠加计算公式进行计算，其中医学源图像权重叠加计算公式具体为：
W为多模态图像融合数据，exp为指数计算，w为医学源图像种类权重系数，o为常数项，I为医学源图像种类信息，为医学源图像历史误差权重系数，E为医学源图像历史误差项，w1为医学源图像基础融合数据权重系数，D1为医学源图像基础融合数据，w2为融合细节图数据权重系数，D2为融合细节图数据，h为平滑系数，Er为误差项，u为多模态图像融合数据的修正项。
本发明构造了一种医学源图像权重叠加计算公式，该计算公式的权重叠加计算可以综合多个医学源图像的信息，包括医学源图像种类信息I、历史误差项E、基础融合数据D1和融合细节图数据D2。通过对不同来源的图像数据进行加权叠加，可以将不同模态的信息整合在一起，提供更全面和准确的多模态图像融合数据w。信息重要性调整：公式中的权重系数w，w1，w2用于调整不同信息源的重要性。这些权重系数决定了各个参数对融合结果的贡献程度。通过调整权重系数，可以对不同信息源进行加权处理，使得重要的信息具有更大的影响力，从而提高融合结果的准确性和适应性。公式中的平滑系数h用于控制融合结果的平滑程度，可以减少图像中的噪声和伪影。修正项u可以对融合结果进行进一步调整，以满足特定的需求或约束条件。常数项o用于调整指数计算的基数，影响了指数计算中的幅度变化。平滑系数h决定了融合结果的平滑程度，较大的平滑系数会产生更平滑的结果。
本发明的有益效果在于：能够从医学源图像数据中提取基础数据和细节数据，并将它们进行融合。基础数据融合利用了医学源图像的全局信息，能够保留不同模态图像的共性特征。细节数据融合则侧重于提取医学源图像的细节信息，包括纹理、边缘的细微特征。通过将基础数据和细节数据相结合，可以获得更丰富和准确的多模态图像融合数据，提高图像质量和信息量。对医学源图像细节数据进行了数据清洗和脱敏处理。这些步骤有助于去除图像中的噪声、伪影和其他不相关信息，提高图像的质量和准确性。同时，脱敏处理有助于保护患者的隐私和数据安全。利用深度学习框架对医学源图像细节一致性数据进行特征提取，生成特征层数据集。这些特征层数据集包含了医学图像的高级语义特征，能够更好地捕捉图像中的结构和特征信息。通过将特征层数据集进行重构融合，可以有效地将不同特征的信息进行整合和融合，提高图像的准确性和一致性。通过权重叠加计算公式对医学源图像基础融合数据和融合细节图数据进行叠加融合。这个过程中考虑了不同数据源的权重分配，使得不同数据对融合结果的贡献程度可调。同时，公式中的平滑系数和修正项也能够进一步调整和优化融合结果，增强图像的平滑性和适应性。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附申请文件而不是上述说明限定，因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的多模态医学图像融合方法，其特征在于，包括以下步骤：
步骤S1：获取医学源图像数据，并对医学源图像数据进行提取，从而获取医学源图像基础数据以及医学源图像细节数据；
步骤S2：根据医学源图像基础数据进行融合处理，从而获取医学源图像基础融合数据；
步骤S3：对医学源图像细节数据进行数据清洗并脱敏，从而获取医学源图像细节预处理数据，并对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据；
步骤S4：对医学源图像细节一致性数据进行特征提取，从而获取特征层数据集，并将特征层数据集进行重构融合，从而获取融合细节图数据；
步骤S5：根据医学源图像基础融合数据以及融合细节图数据进行叠加融合，从而获取多模态图像融合数据。
2.根据权利要求1所述的方法，其特征在于，医学源图像基础数据包括第一医学源图像基础数据以及第二医学源图像基础数据，步骤S1具体为：
步骤S11：获取医学源图像数据；
步骤S12：对医学源图像数据进行数据标准化处理，从而获取医学源图像标准数据；
步骤S13：对医学源图像标准数据进行平滑滤波处理，从而获取医学源图像滤波数据；
步骤S14：对医学源图像滤波数据进行边缘提取，从而获取第一医学源图像基础数据；
步骤S15：对医学源图像滤波数据进行分割提取，从而获取第二医学源图像基础数据；
步骤S16：对医学源图像滤波数据进行细节数据提取，从而获取医学源图像细节数据。
3.根据权利要求1所述的方法，其特征在于，步骤S15具体为：
根据医学源图像滤波数据进行二值化处理，从而获取医学源图像二值化数据；
根据医学源图像二值化数据通过预设的阈值进行分割，从而获取第二医学源图像基础数据。
4.根据权利要求1所述的方法，其特征在于，步骤S16具体为：
步骤S161：对医学源图像滤波数据进行噪声检测，从而获取医学源图像噪声数据；
步骤S162：确定医学源图像噪声数据为低医学源图像噪声数据时，对医学源图像滤波数据进行第一锐化处理，从而获取第一医学源图像锐化数据；
步骤S163：确定医学源图像噪声数据为高医学源图像噪声数据时，对医学源图像滤波数据进行第二锐化处理，从而获取第二医学源图像锐化数据，其中第一锐化处理与第二锐化处理为不同的锐化处理方式，医学源图像锐化数据为第一医学源图像锐化数据以及第二医学源图像锐化数据中的至少一种；
步骤S164：对医学源图像锐化数据进行细节补偿增强处理，从而获取医学源图像细节增强数据；
步骤S165：对医学源图像细节增强数据进行频域提取，从而获取医学源图像细节数据。
5.根据权利要求4所述的方法，其特征在于，步骤S164具体为：
步骤S166：对医学源图像锐化数据进行像素对数映射，从而获取医学源图像对数域数据；
步骤S167：对医学源图像对数域数据进行高频滤波，从而获取全局照明成分数据；
步骤S168：根据全局照明成分数据对医学源图像对数域数据进行细节调整，从而获取反射成分图像数据；
步骤S169：根据反射成分图像数据进行像素对数反映射，从而获取医学源图像细节增强数据。
6.根据权利要求5所述的方法，其特征在于，噪声检测通过医学源图像噪声检测计算公式，其中医学源图像噪声检测计算公式具体为：
NJ为医学源图像噪声数据，a为积分下限项，b为积分上限项，i为次序项，n为医学源图像数量数据，mi为医学源图像种类权重系数，k为医学源图像常数项，Ii为医学源图像种类项，x为像素数据，为医学源图像误差权重系数，Ei为医学源图像误差数据，/>为医学源图像特征权重系数，Fi为医学源图像特征数据，/>为医学源图像噪声权重系数，δ为医学源图像噪声标准差，Di为医学源图像滤波数据，e为指数项，α为曲线调整项。
7.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
步骤S31：对医学源图像细节数据进行低频降噪处理，从而获取医学源图像细节降噪数据；
步骤S32：对医学源图像细节降噪数据进行移除伪影处理，从而获取医学源图像细节移除伪影数据；
步骤S33：对医学源图像细节移除伪影数据进行纠正畸变，从而获取医学源图像细节纠正数据；
步骤S34：对医学源图像细节纠正数据进行敏感区域检测并区域模糊化处理，从而获取医学源图像细节预处理数据；
步骤S35：对医学源图像细节预处理数据进行一致性检查，从而获取医学源图像细节一致性数据。
8.根据权利要求1所述的方法，其特征在于，特征层数据集包括第一特征层数据集以及第二特征层数据集，融合细节图数据包括第一融合细节图数据以及第二融合细节图数据，步骤S4具体为：
步骤S41：使用第一深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第一特征层数据集；
步骤S42：使用第二深度学习框架对医学源图像细节一致性数据进行特征提取，从而获取第二特征层数据集，其中第一深度学习框架与第二深度学习框架为不同的深度学习框架；
步骤S43：将第一特征层数据集进行重构融合，从而获取第一融合细节图数据，并将第二融合细节图数据进行重构重合，从而获取第二融合细节图数据。
9.根据权利要求1所述的方法，其特征在于，步骤S5具体为：
根据医学源图像基础融合数据以及融合细节图数据进行权重叠加计算融合，从而获取多模态图像融合数据。
10.根据权利要求1所述的方法，其特征在于，权重叠加计算融合通过医学源图像权重叠加计算公式进行计算，其中医学源图像权重叠加计算公式具体为：
W为多模态图像融合数据，exp为指数计算，w为医学源图像种类权重系数，o为常数项，I为医学源图像种类信息，为医学源图像历史误差权重系数，E为医学源图像历史误差项，w1为医学源图像基础融合数据权重系数，D1为医学源图像基础融合数据，w2为融合细节图数据权重系数，D2为融合细节图数据，h为平滑系数，Er为误差项，u为多模态图像融合数据的修正项。
CN202310758369.8A 2023-06-25 2023-06-25 一种基于深度学习的多模态医学图像融合方法 Active CN116630762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310758369.8A CN116630762B (zh) 2023-06-25 2023-06-25 一种基于深度学习的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310758369.8A CN116630762B (zh) 2023-06-25 2023-06-25 一种基于深度学习的多模态医学图像融合方法

Publications (2)

Publication Number Publication Date
CN116630762A true CN116630762A (zh) 2023-08-22
CN116630762B CN116630762B (zh) 2023-12-22

Family

ID=87613609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310758369.8A Active CN116630762B (zh) 2023-06-25 2023-06-25 一种基于深度学习的多模态医学图像融合方法

Country Status (1)

Country Link
CN (1) CN116630762B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825293A (zh) * 2023-08-25 2023-09-29 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN117408905A (zh) * 2023-12-08 2024-01-16 四川省肿瘤医院 基于多模态特征提取的医学图像融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110493494A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110766676A (zh) * 2019-10-24 2020-02-07 中国科学院长春光学精密机械与物理研究所 基于多源传感器融合的目标检测方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency
CN114612344A (zh) * 2022-03-29 2022-06-10 上海富瀚微电子股份有限公司 图像锐化装置及方法
CN114926383A (zh) * 2022-05-19 2022-08-19 南京邮电大学 基于细节增强分解模型的医学图像融合方法
CN115222637A (zh) * 2022-07-22 2022-10-21 吉林大学 一种基于全局优化模型的多模态医学图像融合方法
CN115457359A (zh) * 2022-09-08 2022-12-09 河南师范大学 基于自适应对抗生成网络的pet-mri图像融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110493494A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110766676A (zh) * 2019-10-24 2020-02-07 中国科学院长春光学精密机械与物理研究所 基于多源传感器融合的目标检测方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency
CN114612344A (zh) * 2022-03-29 2022-06-10 上海富瀚微电子股份有限公司 图像锐化装置及方法
CN114926383A (zh) * 2022-05-19 2022-08-19 南京邮电大学 基于细节增强分解模型的医学图像融合方法
CN115222637A (zh) * 2022-07-22 2022-10-21 吉林大学 一种基于全局优化模型的多模态医学图像融合方法
CN115457359A (zh) * 2022-09-08 2022-12-09 河南师范大学 基于自适应对抗生成网络的pet-mri图像融合方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825293A (zh) * 2023-08-25 2023-09-29 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN116825293B (zh) * 2023-08-25 2023-11-07 青岛市胶州中心医院 一种可视化产科影像检查处理方法
CN117408905A (zh) * 2023-12-08 2024-01-16 四川省肿瘤医院 基于多模态特征提取的医学图像融合方法
CN117408905B (zh) * 2023-12-08 2024-02-13 四川省肿瘤医院 基于多模态特征提取的医学图像融合方法

Also Published As

Publication number Publication date
CN116630762B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US9480439B2 (en) Segmentation and fracture detection in CT images
JP4634418B2 (ja) 医療画像において腫瘤や実質組織変形をコンピュータを用いて検出する自動化した方法と装置
CN116630762B (zh) 一种基于深度学习的多模态医学图像融合方法
US8737703B2 (en) Systems and methods for detecting retinal abnormalities
US8718363B2 (en) Systems and methods for analyzing image data using adaptive neighborhooding
JP4311598B2 (ja) 異常陰影検出方法および装置
Kanwal et al. Region based adaptive contrast enhancement of medical X-ray images
US20120099771A1 (en) Computer aided detection of architectural distortion in mammography
Dash et al. Curvelet Transform Based on Edge Preserving Filter for Retinal Blood Vessel Segmentation.
Sheba et al. Objective quality assessment of image enhancement methods in digital mammography–a comparative study
CN111260641A (zh) 一种基于人工智能的掌上超声成像系统及其方法
Bagaria et al. Bone fractures detection using support vector machine and error backpropagation neural network
JP5740403B2 (ja) 網膜の異常を検出するためのシステムおよび方法
Belkacem-Boussaid et al. Segmentation of follicular regions on H&E slides using a matching filter and active contour model
Klinder et al. Lobar fissure detection using line enhancing filters
Fonseca et al. X-ray image enhancement: A technique combination approach
Dash et al. Analysis of vessel segmentation based on various enhancement techniques for improvement of vessel intensity profile
Kabir A rule based segmentation approaches to extract retinal blood vessels in fundus image
Mouzai et al. Xray-Net: Self-supervised pixel stretching approach to improve low-contrast medical imaging
Chattopadhyay A study on various common denoising methods on chest x-ray images
Radhika et al. An adaptive optimum weighted mean filter and bilateral filter for noise removal in cardiac MRI images
Fahnun et al. Filtering Techniques for Noise Reduction in Liver Ultrasound Images
Ithayan et al. Machine Learning Approach for Brain Tumor Detection
Patibandla et al. CT Image Precise Denoising Model with Edge Based Segmentation with Labeled Pixel Extraction Using CNN Based Feature Extraction for Oral Cancer Detection
Khattar et al. Investigation of Denoising Techniques for Removal of Hair and Noise from Dermoscopic Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant