CN113870137B - 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统 - Google Patents

由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统 Download PDF

Info

Publication number
CN113870137B
CN113870137B CN202111158398.8A CN202111158398A CN113870137B CN 113870137 B CN113870137 B CN 113870137B CN 202111158398 A CN202111158398 A CN 202111158398A CN 113870137 B CN113870137 B CN 113870137B
Authority
CN
China
Prior art keywords
gradient
image
feature
module
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111158398.8A
Other languages
English (en)
Other versions
CN113870137A (zh
Inventor
江雪聪
何中市
王路路
杜井龙
伍星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202111158398.8A priority Critical patent/CN113870137B/zh
Publication of CN113870137A publication Critical patent/CN113870137A/zh
Application granted granted Critical
Publication of CN113870137B publication Critical patent/CN113870137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种由梯度指导、自相似性修正的低剂量CT图像去噪方法、系统。所述由梯度指导、自相似性修正的低剂量CT图像去噪方法，包括以下步骤：S1，根据梯度提取算子获得第一图像的含噪梯度图像，记作第一含噪梯度图像；提取第一图像和第一含噪梯度图像的浅层特征，分别记作第一图像浅层特征和第一梯度浅层特征；S2，进行m次梯度指导和自相似修正；S3，将最后一次梯度指导和自相似修正得到的第三图像特征重建为与第一图像大小一致的第二图像，输出第二图像。

Description

由梯度指导、自相似性修正的低剂量CT图像去噪方法、系统
技术领域
本发明涉及图像处理领域，具体涉及一种由梯度指导、自相似性修正的低剂量CT图像去噪方法、系统。
背景技术
X射线计算机断层成像(Computed Tomography，CT)作为一种非入侵式的人体内部组织结构成像技术，已被广泛应用于临床疾病诊断。然而随着CT扫描使用率的逐年增加，其扫描过程中的X射线辐射问题已引起人们广泛关注。经调查研究发现，过量的CT扫描辐射会诱发多种疾病甚至增加患癌风险，但降低辐射剂量的同时也会降低CT图像信噪比，即CT图像中会出现明显的噪声和伪影，这可能会严重影响医生对疾病的诊断工作。因此，如何在降低CT辐射剂量的情况下为疾病诊断提供高质量影像数据已成为CT领域的研究热点。
提高低剂量CT图像质量的算法可分为三大类：投影域滤波、迭代重建和图像后处理。其中，投影域滤波和迭代重建均存在难以获得投影数据这一问题，且前者容易造成空间分辨率损失，后者存在计算开销大、运算时间长的问题。而低剂量CT图像后处理算法不依赖于投影数据，可直接在图像域对CT图像进行去噪，具备良好的可移植性和扩展性。
图像后处理方法中，基于深度学习的低剂量CT图像去噪算法具备强大的特征表示能力和自适应学习能力，克服了传统去噪算法(例如：字典学习、三维块匹配等)性能不稳定的不足，得到了广泛应用。目前，基于深度学习的低剂量CT图像去噪算法常通过增加网络复杂度和损失函数的方式来提升算法的去噪性能。前者易丢失重要细节信息，生成过于平滑的去噪图像，降低图像视觉感知质量，甚至丢失重要病灶组织信息，造成误诊，且将大幅度增加计算资源消耗；后者易引入新的伪影，例如：生成对抗损失易生成伪组织细节，提供错误疾病信息，降低疾病诊疗准确度。即该类算法依然存在以下难点：1、如何在消除伪影噪声的同时保留纹理组织细节；2、如何避免组织结构失真或引入新的伪影；3、提升图像视觉感知质量的同时如何降低计算资源消耗。
发明内容
本发明的目的在于克服现有技术中所存在的计算资源消耗大、去噪图像纹理细节过于平滑和结构失真的问题，提供一种充分挖掘低剂量CT图像信息，有效地提取图像特征的由梯度指导、自相似性修正的低剂量CT图像去噪方法、系统。
为了实现上述发明目的，本发明提供了以下技术方案：
一种由梯度指导、自相似性修正的低剂量CT图像去噪方法，包括以下步骤：
S1，根据梯度提取算子获得第一图像的含噪梯度图像，记作第一含噪梯度图像；提取第一图像和第一含噪梯度图像的浅层特征，分别记作第一图像浅层特征和第一梯度浅层特征；
S2，进行m次梯度指导和自相似修正；
其中，每一次梯度指导和自相似修正的步骤如下所示：
输入第一图像特征和第一梯度特征；若是第一次进行梯度指导和自相似修正，则第一图像特征为第一图像浅层特征；第一梯度特征为第一梯度浅层特征；若不是第一次进行梯度指导和自相似修正，当前第一图像特征和第一梯度特征分别为上一次梯度指导和自相似修正输出的第三图像特征和第三梯度特征；
第一图像特征通过第一编码模块编码，得到第二图像特征；第一梯度特征通过第一梯度编码模块编码，得到第二梯度特征；
基于梯度指导机制将第二图像特征和第二梯度特征相结合，利用第二图像特征与第二梯度特征的相关性筛选出无关噪声，对其进行抑制处理，并增强第二图像特征的关键结构组织信息，获得第二图像特征过程特征图；基于自相似性修正机制对第二图像特征过程特征图进行修正，得到第二图像特征修正特征图；第二图像特征修正特征图经第一解码模块解码，得到第三图像特征；第二梯度特征通过第一梯度解码模块解码，得到第三梯度特征；
S3，将最后一次梯度指导和自相似修正得到的第三图像特征重建为与第一图像大小一致的第二图像，输出第二图像。
优选的，所述步骤S1和S2中，基于卷积神经网络提取第一图像浅层特征和第一梯度浅层特征，以及实现解码和编码。
优选的，所述m为通过消融实验确定的参数。
优选的，所述步骤S2中梯度指导具体包括以下步骤：
A1，利用内积计算第二图像特征和第二梯度特征的相关性；
A2，根据第二图像特征和第二梯度特征的相关性获得相关性概率图；计算第二图像特征中每一个像素点与第二梯度特征所有像素点相关性概率之和，根据计算结果更新相关性概率图；
A3，根据更新后的相关性概率图抑制异常像素点值，增强关键结构组织信息，获得第二图像特征过程特征图。
优选的，所述步骤S2中自相似修正具体包括以下步骤：
B1，设置步长为t，利用滑动窗口从第二图像特征过程特征图中截取n个固定大小的特征块；
B2，计算这n个特征块两两之间的相关性，获得块对块的相关性概率图；
B3，根据步骤B2中块对块的相关性概率图更新每个特征块，再一次精炼纹理组织细节信息，并修正伪影；
B4，特征块更新完毕后，根据更新后的特征块生成与第二图像特征过程特征图大小一致的第二图像特征修正特征图。
优选的，所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，还包括模型训练步骤S4：将最后一次梯度指导和自相似修正得到的第三梯度特征重建为与第一含噪梯度图像大小一致的第二梯度图像；根据第二图像、第二梯度图像、目标第二图像以及目标第二梯度图像构建联合损失优化函数，优化模型参数，重复步骤S1-S3直至模型参数收敛。
优选的，所述联合损失优化函数包括图像内容损失、图像梯度损失以及视觉感知损失。
一种由梯度指导、自相似性修正的低剂量CT图像去噪系统，包括第一图像浅层特征提取模块、多个第一组件，特征重建模块、梯度提取模块、第一梯度浅层特征提取模块、多个第二组件以及梯度特征重建模块；第一图像分别输入至梯度提取模块和第一图像浅层特征提取模块；梯度提取模块经第一梯度浅层特征提取模块、多个第二组件与梯度特征重建模块连接；所述第二组件包括顺次连接的第一梯度编码模块以及第一梯度解码模块；所述第一图像浅层特征提取模块经多个第一组件与特征重建模块连接；所述第一组件包括顺次连接的第一编码模块、梯度指导模块、自相似性修正模块以及第一解码模块；第一梯度编码模块的输出端还与对应的梯度指导模块的输入端连接。
优选的，所述第一梯度浅层特征提取模块包括卷积层和激活层，第一梯度编码模块包括编码单元和激活层，第一梯度解码模块包括解码单元和激活层；第一图像浅层特征提取模块包括卷积层和激活层，第一编码模块包括编码单元和激活层，第一解码模块包括解码单元和激活层。
优选的，所述由梯度指导、自相似性修正的低剂量CT图像去噪系统，还包括训练模块和图像获取模块，图像获取模块的输出端分别与梯度提取模块和第一图像浅层特征提取模块的输入端连接；梯度特征重建模块和特征重建模块的输出端与训练模块的输入端连接，训练模块的输出端与图像获取模块的输入端连接。
与现有技术相比，本发明的有益效果：
1、本发明是基于深度学习相关技术实施的低剂量CT图像去噪算法，去噪整体过程均可调整优化，算法灵活度高。
2、充分利用低剂量CT图像梯度先验、相似性先验来缓解纹理组织细节模糊丢失、结构失真的问题，同时提升了图像信息的利用率，缓解了模型参数冗余的问题，减少了计算开销和时间消耗，降低了硬件设备要求，进一步增强了算法的可移植性。
3、低剂量CT图像梯度信息易受到噪声干扰，因此直接引入此信息作为梯度先验会降低去噪算法性能。通过设计梯度生成分支为本发明提供梯度信息支撑，不仅可以缓解受噪声污染的梯度信息会阻碍低剂量CT图像去噪过程的问题(例如：错误梯度信息将引导网络学习错误的去噪模式，导致伪影生成，降低去噪图像质量)；而且可以通过调整低剂量CT图像与目标无噪声CT图像之间的梯度信息映射过程来优化低剂量CT图像去噪工作，提升算法鲁棒性。
4、使用基于图像块的非局部自相似性机制分析经梯度信息修正后的图像特征不仅可实现全局性的信息搜索、匹配和更新，进一步提高了信息使用率，而且极大地降低了计算复杂度和资源消耗，加快了运算过程，从而实现简单而精准的计算。
附图说明：
图1为本发明示例性实施例1的由梯度指导、自相似性修正的低剂量CT图像去噪方法的流程图；
图2为本发明示例性实施例2的由梯度指导、自相似性修正的低剂量CT图像去噪模型结构示意图；
图3为本发明示例性实施例2的由梯度指导、自相似性修正的低剂量CT图像去噪方法流程图；
图4为本发明示例性实施例2的梯度提取算子示意图；
图5为本发明示例性实施例2的梯度指导流程示意图；
图6为本发明示例性实施例2的梯度指导相关性示意图；
图7为本发明示例性实施例2的自相似性修正流程示意图；
图8为本发明示例性实施例3的由梯度指导、自相似性修正的低剂量CT图像去噪系统的系统框图；
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1所示，本实施例提供一种由梯度指导、自相似性修正的低剂量CT图像去噪方法，包括以下步骤：
S1，根据梯度提取算子获得第一图像的含噪梯度图像，记作第一含噪梯度图像；提取第一图像和第一含噪梯度图像的浅层特征，分别记作第一图像浅层特征和第一梯度浅层特征；
S2，进行m次梯度指导和自相似修正；
其中，每一次梯度指导和自相似修正的步骤如下所示：
输入第一图像特征和第一梯度特征；若是第一次进行梯度指导和自相似修正，则第一图像特征为第一图像浅层特征；第一梯度特征为第一梯度浅层特征；若不是第一次进行梯度指导和自相似修正，当前第一图像特征和第一梯度特征分别为上一次梯度指导和自相似修正输出的第三图像特征和第三梯度特征；
第一图像特征通过第一编码模块编码，得到第二图像特征；第一梯度特征通过第一梯度编码模块编码，得到第二梯度特征；
基于梯度指导机制将第二图像特征和第二梯度特征相结合，利用第二图像特征与第二梯度特征的相关性筛选出无关噪声，对其进行抑制处理，并增强第二图像特征的关键结构组织信息，获得第二图像特征过程特征图；基于自相似性修正机制对第二图像特征过程特征图进行修正，得到第二图像特征修正特征图；第二图像特征修正特征图经第一解码模块解码，得到第三图像特征；
第二梯度特征通过第一梯度解码模块解码，得到第三梯度特征；
S3，将最后一次梯度指导和自相似修正得到的第三图像特征重建为与第一图像大小一致的第二图像，输出第二图像。
现有基于深度学习的低剂量CT图像去噪算法未能充分分析去噪图像纹理细节模糊平滑、结构失真的原因，对图像信息挖掘不充分，导致低剂量CT图像去噪算法性能有限。因此本发明包含了以下两部分内容：(1)针对低剂量CT图像去噪面临的图像结构平滑模糊、形变失真等问题，从充分挖掘图像信息的角度，分析图像先验信息。鉴于图像的梯度信息能直接反应图像的高频纹理边缘细节和低频背景组织结构，图像的自相似性能够直接反应不同图像结构之间的关联关系，因此将图像的梯度和自相似性引入卷积神经网络，构建了基于梯度和自相似性的去噪框架。(2)基于该去噪框架，设计了具有梯度指导、自相似性修正能力的低剂量CT图像去噪算法，该算法能通过充分挖掘图像信息、提取有效特征，解决现有基于深度学习的低剂量CT图像去噪算法存在的问题，并降低计算资源消耗。
具体来说，鉴于上述梯度信息特性，设计梯度指导机制，通过构建第二图像特征像素点与第二梯度特征像素点之间的相关性来筛选不同结构组织信息，以此达到根据图像结构组织特性自适应地进行去噪的目的，从而避免平滑或移除细节纹理，并有效地抑制异常像素点值。鉴于上述自相似性特性，设计自相似性修正机制，以此借助第二图像特征过程特征图所携带的不同图像结构之间的关联关系来缓解伪影生成问题。二者相结合不仅能够从多角度避免组织结构失真，保护、增强图像细节，而且提升了信息利用率，减少了模型参数。此外，基于块的自相似性修正机制与基于点的自相似性修正机制相比，能够极大地降低计算资源消耗。深度编码解码结构作为著名的图像处理框架也被经过优化，采用紧凑的编码解码模块来缓解信息丢失、精炼图像特征，同时用编码后的特征来执行梯度指导和自相似性修正机制可降低计算量。因此，本发明方法提升了图像视觉感知质量并降低了计算资源消耗。
其中，基于卷积神经网络提取第一图像浅层特征和第一梯度浅层特征，实现解码和编码。基于深度学习相关技术实施的低剂量CT图像去噪方法，去噪整体过程均可调整优化，算法灵活度高。将图像的梯度和自相似性引入卷积神经网络，构建了基于梯度和自相似性的去噪框架，改进基于深度学习的图像去噪算法的性能。
示例性的，梯度指导和自相似修正的次数m为通过消融实验确定的参数。每一次梯度指导和自相似修正的过程类似，但其中使用的模块的参数不一定一致，各模块的参数通过模型的训练得到。
示例性的，步骤S2中梯度指导具体包括以下步骤：
A1，利用内积计算第二图像特征和第二梯度特征的相关性，获得两类特征图之间点对点的相关性概率图；
A2，根据第二图像特征和第二梯度特征的相关性获得相关性概率图；计算第二图像特征中每一个像素点与第二梯度特征所有像素点相关性概率之和，根据计算结果更新相关性概率图；
A3，将第二图像特征和更新后的相关性概率图进行点乘，增强第二特征所携带的关键结构组织信息并抑制异常像素点值，获得第二图像特征过程特征图。
步骤A1-A3构成了本发明中的梯度指导机制，旨在利用第一图像的图像特征与第一含噪梯度图像的梯度特征的相关性筛选出无关噪声，方便对其进行处理，同时加强图像边缘等关键信息，避免信息丢失。
示例性的，步骤S2中自相似修正具体包括以下步骤：
B1，设置步长为t，利用滑动窗口从第二图像特征过程特征图中截取n个固定大小的特征块；
B2，计算这n个特征块两两之间的相关性，获得块对块的相关性概率图；
B3，根据步骤B2中块对块的相关性概率图更新每个特征块，再一次精炼纹理组织细节信息，并修正伪影；
B4，特征块更新完毕后，根据更新后的特征块生成与第二图像特征过程特征图大小一致的第二图像特征修正特征图。
步骤B1-B4构成了本发明中的自相似性修正机制。其利用基于块的非局部模型实现了全局范围内的可学习块匹配和块更新操作，从而达到对信息进行进一步修正的目的。
示例性的，本实施例还包括模型训练步骤，若卷积神经网络模型已训练，且网络模型参数已收敛，则可通过步骤S1至S3，进行低剂量CT图像的去噪处理；若网络模型参数未收敛，则需要采用具有目标去噪结果的第一图像对网络模型进行训练，提高模型的准确度。将第一图像的目标去噪结果称作目标第二图像，第一含噪梯度图像的目标去噪结果称作目标第二梯度图像。模型训练的详细步骤如下所示：
S4，将最后一次梯度指导和自相似修正得到的第三梯度特征重建为与第一含噪梯度图像大小一致的第二梯度图像；根据第二图像、第二梯度图像、目标第二图像以及目标第二梯度图像构建联合损失优化函数，优化模型参数，重复步骤S1-S3直至模型参数收敛。所述联合损失优化函数包括图像内容损失、图像梯度损失以及视觉感知损失。所述图像内容损失即像素点之间的误差。
本实施例所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法可以应用于除低剂量CT图像以外的其他图像去噪处理场景。将图像的梯度和自相似性引入卷积神经网络，构建了基于梯度和自相似性的去噪框架，该去噪框架包括两个分支：梯度分支和图像分支。(1)梯度分支：获取第一含噪梯度图像并提取第一梯度浅层特征，对含噪的梯度图像进行去噪处理并利用得到的第二梯度特征为图像分支提供额外的结构信息支撑，优化第一图像的去噪效果。(2)图像分支：图像分支旨在对第一图像进行处理，为该去噪框架的主分支。该分支主要利用梯度分支提供的梯度信息(梯度指导)和图像的自相似性先验(自相似性修正)进行去噪，两种信息融合互补，在保障图像质量的同时加速去噪进程。
实施例2
本实施例基于低剂量CT图像的应用领域详细描述实施例1所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法。去噪方法的网络结构图如图2所示，其中除最后一层以外的卷积核大小为3×3，最后一层的卷积核大小为1×1，编码模块由大步长卷积层构成，解码模块为反卷积层。去噪方法的流程图如图3所示，具体步骤如下：
具体的，步骤S1中，所述第一图像为低剂量CT图像；低剂量CT图像表示为其中H为图像高度，W为图像宽度。构建如图4所示的梯度提取算子，根据梯度提取算子获取低剂量CT图像/>的含噪梯度图像，记作第一含噪梯度图像/>具体计算步骤如式(1)所示：
其中X＝(x，y)，X为像素点，(x，y)为像素坐标；
本实施例采用的梯度提取算子为梯度提取卷积核。本实施例梯度提取部分依托于神经网络的卷积操作实施，且所述卷积核为预设梯度提取算子，并且所提取到的信息还会进行求平方、加和、开根号处理。卷积核为3×3大小，其参数按照梯度提取算子进行初始化，且该卷积核参数不会在训练过程中参与优化。
利用第一卷积层和第一梯度卷积层/>分别提取低剂量CT图像和第一含噪梯度图像的浅层特征，分别记作第一图像浅层特征/>和第一梯度浅层特征/>其中C为特征通道数。该过程可公式化为式(2)所示的公式：
具体的，步骤S2中进行m次梯度指导和自相似修正；
以第一次进行梯度指导和自相似修正为例简述计算过程；此时第一图像特征为第一图像浅层特征；第一梯度特征为第一梯度浅层特征；
将第一梯度特征输入到第一梯度编码模块/>中提取经初步去噪的第二梯度特征/>其中C′＜C，H′＜H，W′＜W，H′为第二梯度特征的图像高度，W′为第二梯度特征的图像宽度，C′为第二梯度特征的特征通道数。利用第一梯度解码模块/>获取第二梯度特征/>解码后恢复到第一梯度特征大小的第三梯度特征/>该过程可公式化为式(3)所示的公式：
将低剂量CT图像的第一图像特征输入到第一编码模块/>中，获得经过编码后的第二图像特征/>其中C′＜C，H′＜H，W′＜W。将第二图像特征/>与获得的第二梯度特征/>相结合，利用梯度指导机制G(·)、自相似性修正机制S(·)和第一解码模块/>生成特征图形式的第三图像特征/>该过程可公式化为式(4)所示的公式：
将当前次数的梯度指导和自相似修正得到的第三图像特征和第三梯度特征作为输入下一次梯度指导和自相似修正的第一图像特征和第一梯度特征，进行多次的修正。本实施例中，每一次梯度指导和自相似修正的过程类似，但其中使用的模块的参数不一定一致，各模块的参数通过模型的训练得到。
S3，将最后一次梯度指导和自相似修正得到的第三图像特征重建为与第一图像/>大小一致的第二图像/>输出第二图像，所述第二图像即为需输出的去噪后的低剂量CT图像。
上述过程为算法所构建模型经训练完成后的测试过程，此时网络模型参数已收敛。若网络模型参数未收敛，为使经过去噪操作的低剂量CT图像更贴近于目标无噪声CT图像，将对该网络模型进行训练。
S4，将最后一次梯度指导和自相似修正得到的第三梯度特征重建为与第一含噪梯度图像/>大小一致的第二梯度图像/>第二梯度图像/>为用于训练网络模型的去噪后的梯度图像；则实施例1所述的目标第二图像指低剂量CT图像的目标无噪声CT图像/>目标第二梯度图像指第一含噪梯度图像的目标无噪声梯度图像/>
利用步骤S3中去噪后的低剂量CT图像去噪后的梯度图像/>目标无噪声CT图像IND及其所对应的目标无噪声梯度图像Igt构建联合损失优化函数Ltotal，优化网络参数，重复步骤S1-S3直至网络参数收敛。联合损失优化函数包括图像内容损失Lcontent、图像梯度损失Lg以及视觉感知损失Lvgg。
构建联合损失函数的公式如式(5)所示：
其中α，β，λ为权重参数，VGG(·)为预训练VGG网络模型的特征提取函数。
具体的，如图5所示，步骤S2中梯度指导的具体实施步骤如下所示：
A1，变换第二图像特征和第二梯度特征的维度，即将原大小为C′×H′×W′的第二图像特征维度变换为C′×(H′×W′)，原大小为C′×H′×W′的梯度特征维度变换为(H′×W′)×C′，以便进行内积计算；
计算第二图像特征和第二梯度特征的内积；
A2，利用Softmax函数对步骤A1所获两类特征的内积结果进行归一化，即将变换第二图像特征第j个元素和变换第二梯度特征第i个元素之间的相关度映射到[0，1]；
如图6所示，在获取归一化的内积结果，即获取相关性概率图后，统计第二图像特征第j个元素与第二梯度特征所有元素之间的相关度；
根据计算结果更新相关性概率图；
A3，根据更新后的相关性概率图更新变换第二图像特征；
并将更新后的第二图像特征维度还原为原大小，获得第二图像特征过程特征图；即将大小为C′×(H′×W′)的更新后的第二图像特征维度还原为C′×H′×W′；
通过将第二图像特征处理得到第二图像特征过程特征图，可以抑制异常像素点值，增强关键结构组织信息。
具体的，如图7所示步骤S2中自相似修正的具体实施步骤如下所示：
B1，设置步长为t，利用步长为t的滑动窗口从第二图像特征过程特征图中截取n个大小为c×k×l的特征块，其中c＝C′，k＜H，l＜W；即将大小为C′×H′×W′的第二图像特征过程特征图的特征维度变换为n×c×k×l，并将特征维度进一步分别调整为n×(c×k×l)和(c×k×l)×n，以便于执行内积计算；
B2，计算这n个特征块的内积；
B3，利用Softmax函数对步骤B2中特征块对特征块的内积进行归一化，获得相关特征块的权重；利用求得的权重更新每个特征块，再一次精炼纹理组织细节信息、修正伪影；
B4，特征块更新完毕后，合并特征块，其中特征块的重叠区域则采用取平均值的方式进行处理，特征块合并后变换维度，将特征维度由n×c×k×l变换C′×H′×W′，生成与第二图像特征过程特征图大小一致的第二图像特征修正特征图。
实施例3
如图8所示，本实施例提供一种由梯度指导、自相似性修正的低剂量CT图像去噪系统，包括第一图像浅层特征提取模块、多个第一组件，特征重建模块、梯度提取模块、第一梯度浅层特征提取模块、多个第二组件以及梯度特征重建模块；第一图像分别输入至梯度提取模块和第一图像浅层特征提取模块；梯度提取模块经第一梯度浅层特征提取模块、多个第二组件与梯度特征重建模块连接；所述第二组件包括顺次连接的第一梯度编码模块以及第一梯度解码模块；所述第一图像浅层特征提取模块经多个第一组件与特征重建模块连接；所述第一组件包括顺次连接的第一编码模块、梯度指导模块、自相似性修正模块以及第一解码模块；第一梯度编码模块的输出端还与对应的梯度指导模块的输入端连接。所述多个第一组件所采用的模块结构类似，但模块参数不一定一致，各模块的参数通过训练模型进行调整。多个第二组件所采用的模块结构也类似，但模块参数不一定一致。第一组件及第二组件的数量为通过消融实验调整的参数。
本实施例中，所述梯度提取模块用于根据梯度提取算子获得第一图像的含噪梯度图像，记作第一含噪梯度图像；所述第一梯度浅层特征提取模块用于提取第一含噪梯度图像的浅层特征，记作第一梯度浅层特征；第一图像浅层特征提取模块用于提取第一图像的浅层特征，记作第一图像浅层特征；所述第一梯度编码模块用于将第一梯度特征编码，得到第二梯度特征；所述第一梯度解码模块用于第二梯度特征解码，得到第三梯度特征；所述第一编码模块用于第一图像特征编码，得到第二图像特征；所述梯度指导模块用于根据第一梯度编码模块得到的第二梯度特征增强第一编码模块得到的第二图像特征的关键结构组织信息，获得第二图像特征过程特征图；所述自相似性修正模块用于对第二图像特征过程特征图进行修正，得到第二图像特征修正特征图；所述第一解码模块用于对第二图像特征修正特征图解码，得到第三图像特征。若是第一个第一组件或第二组件，则第一图像特征为第一图像浅层特征；第一梯度特征为第一梯度浅层特征；若不是第一个第一组件或第二组件，则输入当前第一组件或第二组件的第一图像特征和第一梯度特征分别为上一个第一组件或第二组件输出的第三图像特征和第三梯度特征；
其中，第一梯度浅层特征提取模块包括卷积层和激活层，第一梯度编码模块包括编码单元和激活层，第一梯度解码模块包括解码单元和激活层；第一图像浅层特征提取模块包括卷积层和激活层，第一编码模块包括编码单元和激活层，第一解码模块包括解码单元和激活层。基于深度学习相关技术构建图像去噪系统，实施图像去噪方法，使得去噪整体过程均可调整优化，算法灵活度高。
其中，基于梯度指导和自相似性修正的图像去噪系统，还包括训练模块和图像获取模块，图像获取模块的输出端分别与梯度提取模块和第一图像浅层特征提取模块的输入端连接；梯度特征重建模块和特征重建模块的输出端与训练模块的输入端连接，训练模块的输出端与图像获取模块的输入端连接。若网络模型参数未收敛，则可通过训练模块需要采用具有目标去噪结果的第一图像对网络模型进行训练，提高模型的准确度。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (8)

1.一种由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，包括以下步骤：
S1，根据梯度提取算子获得第一图像的含噪梯度图像，记作第一含噪梯度图像；提取第一图像和第一含噪梯度图像的浅层特征，分别记作第一图像浅层特征和第一梯度浅层特征；
S2，进行m次梯度指导和自相似修正；
所述梯度指导具体包括以下步骤：
A1，利用内积计算第二图像特征和第二梯度特征的相关性；
A2，根据第二图像特征和第二梯度特征的相关性获得相关性概率图；计算第二图像特征中每一个像素点与第二梯度特征所有像素点相关性概率之和，根据计算结果更新相关性概率图；
A3，根据更新后的相关性概率图抑制异常像素点值，增强关键结构组织信息，获得第二图像特征过程特征图；
所述自相似修正具体包括以下步骤：
B1，设置步长为t，利用滑动窗口从第二图像特征过程特征图中截取n个固定大小的特征块；
B2，计算这n个特征块两两之间的相关性，获得块对块的相关性概率图；
B3，根据步骤B2中块对块的相关性概率图更新每个特征块，再一次精炼纹理组织细节信息，并修正伪影；
B4，特征块更新完毕后，根据更新后的特征块生成与第二图像特征过程特征图大小一致的第二图像特征修正特征图；
其中，每一次梯度指导和自相似修正的步骤如下所示：
输入第一图像特征和第一梯度特征；若是第一次进行梯度指导和自相似修正，则第一图像特征为第一图像浅层特征；第一梯度特征为第一梯度浅层特征；若不是第一次进行梯度指导和自相似修正，当前第一图像特征和第一梯度特征分别为上一次梯度指导和自相似修正输出的第三图像特征和第三梯度特征；
第一图像特征通过第一编码模块编码，得到第二图像特征；第一梯度特征通过第一梯度编码模块编码，得到第二梯度特征；
基于梯度指导机制将第二图像特征和第二梯度特征相结合，利用第二图像特征与第二梯度特征的相关性筛选出无关噪声，对其进行抑制处理，并增强第二图像特征的关键结构组织信息，获得第二图像特征过程特征图；基于自相似性修正机制对第二图像特征过程特征图进行修正，得到第二图像特征修正特征图；第二图像特征修正特征图经第一解码模块解码，得到第三图像特征；第二梯度特征通过第一梯度解码模块解码，得到第三梯度特征；
S3，将最后一次梯度指导和自相似修正得到的第三图像特征重建为与第一图像大小一致的第二图像，输出第二图像。
2.根据权利要求1所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，所述步骤S1和S2中，基于卷积神经网络提取第一图像浅层特征和第一梯度浅层特征，以及实现解码和编码。
3.根据权利要求1所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，所述m为通过消融实验确定的参数。
4.根据权利要求1所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，还包括模型训练步骤S4：将最后一次梯度指导和自相似修正得到的第三梯度特征重建为与第一含噪梯度图像大小一致的第二梯度图像；根据第二图像、第二梯度图像、目标第二图像以及目标第二梯度图像构建联合损失优化函数，优化模型参数，重复步骤S1-S3直至模型参数收敛。
5.根据权利要求4所述的由梯度指导、自相似性修正的低剂量CT图像去噪方法，其特征在于，所述联合损失优化函数包括图像内容损失、图像梯度损失以及视觉感知损失。
6.一种由梯度指导、自相似性修正的低剂量CT图像去噪系统，其特征在于，包括第一图像浅层特征提取模块、多个第一组件，特征重建模块、梯度提取模块、第一梯度浅层特征提取模块、多个第二组件以及梯度特征重建模块；第一图像分别输入至梯度提取模块和第一图像浅层特征提取模块；梯度提取模块经第一梯度浅层特征提取模块、多个第二组件与梯度特征重建模块连接；所述第二组件包括顺次连接的第一梯度编码模块以及第一梯度解码模块；所述第一图像浅层特征提取模块经多个第一组件与特征重建模块连接；所述第一组件包括顺次连接的第一编码模块、梯度指导模块、自相似性修正模块以及第一解码模块；第一梯度编码模块的输出端还与对应的梯度指导模块的输入端连接；第一组件及第二组件的数量为通过消融实验调整的参数。
7.根据权利要求6所述的一种由梯度指导、自相似性修正的低剂量CT图像去噪系统，其特征在于，所述第一梯度浅层特征提取模块包括卷积层和激活层，第一梯度编码模块包括编码单元和激活层，第一梯度解码模块包括解码单元和激活层；第一图像浅层特征提取模块包括卷积层和激活层，第一编码模块包括编码单元和激活层，第一解码模块包括解码单元和激活层。
8.根据权利要求7所述的一种由梯度指导、自相似性修正的低剂量CT图像去噪系统，其特征在于，还包括训练模块和图像获取模块，图像获取模块的输出端分别与梯度提取模块和第一图像浅层特征提取模块的输入端连接；梯度特征重建模块和特征重建模块的输出端与训练模块的输入端连接，训练模块的输出端与图像获取模块的输入端连接。
CN202111158398.8A 2021-09-30 2021-09-30 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统 Active CN113870137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158398.8A CN113870137B (zh) 2021-09-30 2021-09-30 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158398.8A CN113870137B (zh) 2021-09-30 2021-09-30 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统

Publications (2)

Publication Number Publication Date
CN113870137A CN113870137A (zh) 2021-12-31
CN113870137B true CN113870137B (zh) 2024-05-21

Family

ID=79000972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158398.8A Active CN113870137B (zh) 2021-09-30 2021-09-30 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统

Country Status (1)

Country Link
CN (1) CN113870137B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN110223255A (zh) * 2019-06-11 2019-09-10 太原科技大学 一种用于低剂量ct图像去噪的浅层残差编解码递归网络
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN112686276A (zh) * 2021-01-26 2021-04-20 重庆大学 一种基于改进RetinaNet网络的火焰检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697501B1 (ko) * 2015-07-23 2017-01-18 서울대학교산학협력단 Ct 이미지의 잡음 저감 방법 및 장치
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492269A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN110223255A (zh) * 2019-06-11 2019-09-10 太原科技大学 一种用于低剂量ct图像去噪的浅层残差编解码递归网络
CN111311506A (zh) * 2020-01-21 2020-06-19 辽宁师范大学 基于双残差网络的低剂量ct牙齿图像去噪方法
CN112686276A (zh) * 2021-01-26 2021-04-20 重庆大学 一种基于改进RetinaNet网络的火焰检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning a Frequency Separation Network with Hybrid Convolution and Adaptive Aggregation for Low-dose CT Denoising;Xuecong Jiang等;《 2021 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20220114;全文 *
基于改进栈式稀疏去噪自编码器的自适应图像去噪;马红强;马时平;许悦雷;吕超;朱明明;;光学学报;20180511(10);全文 *
基于结构信息指导网络的低剂量CT图像去噪算法研究;江雪聪;《万方数据》;20231101;全文 *
基于边缘信息的工业CT图像分割法;邱钊, 朱庆生, 卢霞, 伍星;计算机工程;20040805(08);全文 *

Also Published As

Publication number Publication date
CN113870137A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN108898642B (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
CN108961237B (zh) 一种基于卷积神经网络的低剂量ct图像分解方法
Luo et al. Adaptive rectification based adversarial network with spectrum constraint for high-quality PET image synthesis
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN110717956B (zh) 一种有限角投影超像素引导的l0范数最优化重建方法
CN112348936B (zh) 一种基于深度学习的低剂量锥束ct图像重建方法
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
Yang et al. High-frequency sensitive generative adversarial network for low-dose CT image denoising
CN111882503A (zh) 一种图像降噪方法及其应用
WO2022246677A1 (zh) 一种增强ct图像的重建方法
CN113516586A (zh) 一种低剂量ct图像超分辨率去噪方法和装置
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN111340903B (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
CN110599530B (zh) 基于双正则约束的mvct图像纹理增强方法
CN115018728A (zh) 基于多尺度变换和卷积稀疏表示的图像融合方法及系统
Jeon et al. Mm-net: Multiframe and multimask-based unsupervised deep denoising for low-dose computed tomography
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
WO2022027216A1 (zh) 一种图像降噪方法及其应用
Zhang et al. Wavelet-inspired multi-channel score-based model for limited-angle CT reconstruction
Thomas Bio-medical Image Denoising using Autoencoders
Zhao et al. Attention-embedded decomposed network with unpaired CT images prior for metal artifact reduction
CN113870137B (zh) 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统
CN116563554A (zh) 基于混合表征学习的低剂量ct图像去噪方法
Jin et al. Low-dose CT image restoration based on noise prior regression network
CN113053496B (zh) 一种用于医学图像低剂量估计的深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant