CN113327196B - 一种面向mr图像超分辨的联合字典训练优化方法 - Google Patents

一种面向mr图像超分辨的联合字典训练优化方法 Download PDF

Info

Publication number
CN113327196B
CN113327196B CN202110488060.2A CN202110488060A CN113327196B CN 113327196 B CN113327196 B CN 113327196B CN 202110488060 A CN202110488060 A CN 202110488060A CN 113327196 B CN113327196 B CN 113327196B
Authority
CN
China
Prior art keywords
dictionary
resolution
image
training
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488060.2A
Other languages
English (en)
Other versions
CN113327196A (zh
Inventor
刘环宇
李君宝
杨�一
邵明媚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110488060.2A priority Critical patent/CN113327196B/zh
Publication of CN113327196A publication Critical patent/CN113327196A/zh
Application granted granted Critical
Publication of CN113327196B publication Critical patent/CN113327196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种面向MR图像超分辨的联合字典训练优化方法，属于MR图像重建领域。步骤一：输入训练图像块对
Figure DDA0003049725780000018
字典大小K，其中，
Figure DDA0003049725780000019
表示空间X的训练样本，
Figure DDA00030497257800000113
是空间Y的训练样本；步骤二：初始化
Figure DDA0003049725780000017
和
Figure DDA0003049725780000016
n＝0，t＝1；步骤三：循环，对于i＝1,2,....,N执行如下优化公式；
Figure DDA0003049725780000011
且
Figure DDA0003049725780000012
步骤四：更新
Figure DDA00030497257800000111
归一下
Figure DDA00030497257800000110
的列向量，结束循环；步骤五：根据下面公式更新
Figure DDA0003049725780000013
Figure DDA00030497257800000112
步骤六：输出字典对
Figure DDA0003049725780000014
和
Figure DDA0003049725780000015
本方法有效减小了重构的误差，提升了图像的重构精度。

Description

一种面向MR图像超分辨的联合字典训练优化方法
技术领域
本发明涉及一种面向MR图像超分辨的联合字典训练优化方法，属于MR图像重建领域。
背景技术
字典学习方法被用于许多领域,包括医学图像分类、数据分类、人脸识别、诊断磁共振图像超分辨率、影像再现、联合稀疏主成分分析、补丁对齐、对象跟踪、医学图像超限分辨光谱学量化、医学图像超限分辨。字典学习是构造稀疏表示模型的关键问题。在基于字典学习的图像重建中，稀疏系数和字典是影响重建性能的重要问题。基于稀疏表示的信号表示是用其他不同信号的线性组合来近似一个信号，其中这些信号称为原子，信号集称为字典。因此，信号的稀疏编码受到信号字典的影响。在信号处理领域，如图像和音频，优化字典学习是可行的，也是值得关注的。
学习字典的流行方法是基于迭代的最小化问题求解。在稀疏编码阶段，在求解稀疏系数时预先固定字典，在字典更新阶段，根据得到的系数生成字典。在稀疏编码阶段，之前的工作中提出了很多字典学习方法。例如，将正交匹配追求(OMP)方法应用于基于MOD的字典学习，将迭代收缩阈值法应用于基于优化方法 (MM)的字典学习。MOD就是用伪逆的表示矩阵生成观测矩阵，最大后验概率(MAP)为基础的字典学习方法应用梯度下降法和字典列的归一化。
但是，所有的方法都没有考虑代价函数的不确定参数，即正则化参数。作为字典学习的另一类，使用了基于机器学习的字典学习方法，如K-Singular值分解(K-SVD)。提取边缘、纹理和结构的特征来生成字典。针对基于SR的图像超分辨率，提出了一种基于约束的字典训练方法。将迭代计算方法应用于基于稀疏域的图像消噪，只训练单一的高分辨率字典。在之前的工作中，我们在基于字典的稀疏表示中提出了稀疏表示的精确字典表示方法。这些字典学习方法直接从字典更新中直接稀疏编码，因此这些方法不能快速、充分地提取字典的潜在表达式信息。
磁共振成像(MR)在疾病诊断中有着广泛的应用。硬件成像受到分辨率的限制，磁的高辐射强度和时间会对人体造成伤害。基于软件的图像超分辨技术是解决这一问题的一种有前景的技术，特别是基于稀疏重构的图像超分辨技术具有良好的性能。字典生成是影响超分辨算法性能的关键问题，因为字典生成过程中没有考虑到可能存在的判别信息。针对这个问题，我们提出了训练目标函数优化字典学习算法用于MR稀疏超分辨率重建。
发明内容
本发明的目的是提出一种面向MR图像超分辨的联合字典训练优化方法，本方法优化了目标函数，考虑了高低分辨率字典个体重构误差，摒弃了传统的级联计算方法，有效减小了重构的误差，提升了图像的重构精度提高，从而解决了字典联合级联训练仅考虑联合图像块对误差而未考虑高低分辨率字典个体重构误差的问题。
一种面向MR图像超分辨的联合字典训练优化方法，所述优化方法包括以下步骤：
步骤一：输入训练图像块对
Figure BDA0003049725760000031
字典大小K，其中，
Figure BDA0003049725760000032
表示空间X的训练样本，
Figure BDA0003049725760000033
是空间Y的训练样本；
步骤二：初始化
Figure BDA0003049725760000034
和
Figure BDA0003049725760000035
步骤三：循环，对于i＝1,2,....,N执行如下优化公式；
Figure BDA0003049725760000036
且
Figure BDA0003049725760000037
步骤四：更新
Figure BDA0003049725760000038
归一下
Figure BDA0003049725760000039
的列向量，结束循环；
步骤五：根据下面公式更新
Figure BDA00030497257600000310
Figure BDA00030497257600000311
步骤六：输出字典对
Figure BDA00030497257600000312
和
Figure BDA00030497257600000313
进一步的，在步骤三中，所述优化公式：
Figure BDA00030497257600000314
的解算过程为：
假设
Figure BDA00030497257600000315
是{zj}j∈Ω对应的Ω中的索引，
Figure BDA00030497257600000316
是Dx和Dy的子集，则：
Figure BDA0003049725760000041
对于导数
Figure BDA0003049725760000042
利用下面的算法求导：
Figure BDA0003049725760000043
令Ω＝{j||zj|＞0+}，因此：
Figure BDA0003049725760000044
等效求得
Figure BDA0003049725760000045
这里
Figure BDA0003049725760000046
是Dy的连续函数，利用隐式求导：
Figure BDA0003049725760000047
则求得：
Figure BDA0003049725760000048
进一步的，在步骤四中，采用更新
Figure BDA0003049725760000049
归一下
Figure BDA00030497257600000410
的列向量，结束循环，需运用以下优化公式：
Figure BDA00030497257600000411
本发明的有以下优点：本发明的一种面向MR图像超分辨的联合字典训练优化方法，针对字典联合级联训练仅考虑联合图像块对误差而未考虑高低分辨率字典个体重构误差的问题，提出了基于高低分辨率字典重构误差独立计算的字典训练方法，优化了目标函数，考虑了高低分辨率字典个体重构误差，摒弃了传统的级联计算方法，有效减小了重构的误差，提升了图像的重构精度。
附图说明
图1是本本发明的一种面向MR图像超分辨的联合字典训练优化方法的流程图；
图2是应用本发明的一种面向MR图像超分辨的联合字典训练优化方法的测试图像；
图3是使用本发明所述方法优化后的训练字典。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，根据联合字典存在的问题，本发明提出了联合字典目标函数优化方法。高低分辨率特征空间的映射关系为yi＝Γ(xi)，且Γ(·)可以使线性的也可以是非线性未知的。对于任何图像块{yi,xi}，理想的字典对{Dy,Dx}满足：
Figure BDA0003049725760000051
Figure BDA0003049725760000052
Figure BDA0003049725760000053
表示空间X的训练样本，
Figure BDA0003049725760000054
是空间Y的训练样本，
Figure BDA0003049725760000055
是稀疏表示系数。对于给定的输入图像y，求取高分辨率图像块x的过程为：(1)根据公式(12)求取稀疏系数zi；(2)估计x＝Dxz，使得重建图像块误差最小，即：
Figure BDA0003049725760000056
则优化的字典对
Figure BDA0003049725760000057
的优化公式为：
Figure BDA0003049725760000058
为保证输入图像块y可以用字典Dy很好的表示，增加重建误差函数：
Figure BDA0003049725760000059
公式(4)是一个非线性且非凸函数，利用迭代优化方法优化该公式。
第一步：固定Dy，优化公式变为：
Figure BDA0003049725760000061
这是一个二次约束的二次规划问题，可以采用共轭梯度下降法求解。
第二步：固定Dx，优化Dy，最小化公式(5)是一个双层优化问题，其上层优化是依据变量zi，是低级的l1最小化问题，利用梯度下降法，寻找一个合适的梯度下降方向，应用微分的链式求导法则。
Figure BDA0003049725760000062
zj是z的第j个元素，Ω是j的索引集合。假设
Figure BDA0003049725760000063
是{zj}j∈Ω对应的Ω中的索引。
Figure BDA0003049725760000064
是 Dx和Dy的子集，则：
Figure BDA0003049725760000065
对于导数
Figure BDA0003049725760000066
利用下面的算法求导：
Figure BDA0003049725760000067
令Ω＝{j||zj|＞0+}，因此：
Figure BDA0003049725760000068
等效求得
Figure BDA0003049725760000069
这里
Figure BDA00030497257600000610
是Dy的连续函数，利用隐式求导：
Figure BDA00030497257600000611
则求得：
Figure BDA00030497257600000612
这里要求公式(1)的解是唯一的且
Figure BDA00030497257600000613
存在，为了求解公式(7)保持梯度元素dz/dDy＝0。
参照图2-图3所示，为了验证本文算法的有效性，采用MR图像训练样本以及T1WI和T2WI测试样本。本文采用图一MR图像超分辨重建算法框架，采用优化后的联合字典损失函数进行训练。在开源的MR数据集中挑选100张图像作为字典训练样本。初始参数设定为：字典大小为512、平衡参数＝0.1、分块大小5×5、重叠块为4、样本块数量150000。在实验中为了对比图像重建效果，将原始的MR图像数据作为高分辨率图像数据，采用双三次方下采样的方式实现对应低分辨率图像的获取。获取两种不同超分尺度的训练数据集和测试数据集，分别是×2、×4。
本文采用峰值信噪比(Peaksignaltonoiseratio，PSNR)对不同MR图像超分辨算法的重建质量进行评价。表1列出了不同超分辨方法的重建效果，包括双三次方插值、最近邻、联合字典学习以及我们的基于联合字典损失函数优化的超分辨方法，其中粗体标出的数值在相应图像质量评价指标下最优。通过表1可以看出，我们提出的联合字典损失函数优化方法在颈部和脚踝重建结果均是最优的。
Figure BDA0003049725760000071
表1几种超分辨重建图像质量的比较
以上所述仅为本发明原理的具体说明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种面向MR图像超分辨的联合字典训练优化方法，其特征在于，
高低分辨率特征空间的映射关系为yi＝Γ(xi)，Γ(·)是线性的或非线性未知的，对于任何图像块{yi,xi}，理想的字典对{Dy,Dx}满足：
Figure FDA0004010514860000011
Figure FDA0004010514860000012
Figure FDA0004010514860000013
表示空间X的训练样本，
Figure FDA0004010514860000014
是空间Y的训练样本，
Figure FDA0004010514860000015
是稀疏表示系数，对于给定的输入图像y，求取高分辨率图像块x的过程为：(1)根据公式(12)求取稀疏系数zi；(2)估计x＝Dxz，使得重建图像块误差最小，即：
Figure FDA0004010514860000016
则优化的字典对
Figure FDA0004010514860000017
的优化公式为：
Figure FDA0004010514860000018
增加重建误差函数：
Figure FDA0004010514860000019
公式(4)是一个非线性且非凸函数，利用迭代优化方法优化该公式，
所述优化方法包括以下步骤：
步骤一：输入训练图像块对
Figure FDA00040105148600000110
字典大小K，其中，
Figure FDA00040105148600000111
表示空间X的训练样本，
Figure FDA00040105148600000112
是空间Y的训练样本；
步骤二：初始化
Figure FDA00040105148600000113
和
Figure FDA00040105148600000114
步骤三：循环，对于i＝1,2,....,N执行如下优化公式；
Figure FDA00040105148600000115
步骤四：更新
Figure FDA00040105148600000116
归一下
Figure FDA00040105148600000117
的列向量，结束循环；
步骤五：根据下面公式更新
Figure FDA00040105148600000118
Figure FDA0004010514860000021
步骤六：输出字典对
Figure FDA0004010514860000022
和
Figure FDA0004010514860000023
2.根据权利要求1所述的一种面向MR图像超分辨的联合字典训练优化方法，其特征在于，在步骤三中，所述优化公式：
Figure FDA0004010514860000024
的解算过程为：
假设
Figure FDA0004010514860000025
是{zj}j∈Ω对应的Ω中的索引，
Figure FDA0004010514860000026
是Dx和Dy的子集，则：
Figure FDA0004010514860000027
对于导数
Figure FDA0004010514860000028
利用下面的算法求导：
Figure FDA0004010514860000029
令Ω＝{j||zj|＞0+}，因此：
Figure FDA00040105148600000210
等效求得
Figure FDA00040105148600000211
这里
Figure FDA00040105148600000212
是Dy的连续函数，利用隐式求导：
Figure FDA00040105148600000213
则求得：
Figure FDA00040105148600000214
3.根据权利要求1所述的一种面向MR图像超分辨的联合字典训练优化方法，其特征在于，在步骤四中，采用更新
Figure FDA00040105148600000215
归一下
Figure FDA00040105148600000216
的列向量，结束循环，需运用以下优化公式：
Figure FDA0004010514860000031
CN202110488060.2A 2021-04-30 2021-04-30 一种面向mr图像超分辨的联合字典训练优化方法 Active CN113327196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488060.2A CN113327196B (zh) 2021-04-30 2021-04-30 一种面向mr图像超分辨的联合字典训练优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488060.2A CN113327196B (zh) 2021-04-30 2021-04-30 一种面向mr图像超分辨的联合字典训练优化方法

Publications (2)

Publication Number Publication Date
CN113327196A CN113327196A (zh) 2021-08-31
CN113327196B true CN113327196B (zh) 2023-04-07

Family

ID=77414210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488060.2A Active CN113327196B (zh) 2021-04-30 2021-04-30 一种面向mr图像超分辨的联合字典训练优化方法

Country Status (1)

Country Link
CN (1) CN113327196B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612691A (zh) * 2020-04-17 2020-09-01 重庆大学 一种基于稀疏表示的图像超分辨率处理改进方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631807B (zh) * 2015-12-21 2018-11-16 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN109741256B (zh) * 2018-12-13 2023-01-06 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109712074A (zh) * 2018-12-20 2019-05-03 黑龙江大学 双参数贝塔过程联合字典的遥感图像超分辨重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612691A (zh) * 2020-04-17 2020-09-01 重庆大学 一种基于稀疏表示的图像超分辨率处理改进方法

Also Published As

Publication number Publication date
CN113327196A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
Feng et al. Multi-contrast MRI super-resolution via a multi-stage integration network
Johnson et al. Conditional generative adversarial network for 3D rigid‐body motion correction in MRI
CN110378980B (zh) 一种基于深度学习的多通道磁共振图像重建方法
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
Song et al. HYDRA: Hybrid deep magnetic resonance fingerprinting
CN111870245B (zh) 一种跨对比度引导的超快速核磁共振成像深度学习方法
Zeng et al. A very deep densely connected network for compressed sensing MRI
Liu et al. A deep framework assembling principled modules for CS-MRI: unrolling perspective, convergence behaviors, and practical modeling
WO2021102644A1 (zh) 图像增强方法、装置及终端设备
CN114049408A (zh) 用于加速多模态mr成像的深度网络模型
CN113327196B (zh) 一种面向mr图像超分辨的联合字典训练优化方法
Tu et al. WKGM: weighted k‐space generative model for parallel imaging reconstruction
CN111047512B (zh) 图像增强方法、装置及终端设备
Guan et al. MRI reconstruction using deep energy-based model
CN111179254B (zh) 一种基于特征函数和对抗学习的域适应医学图像分割方法
Yu et al. Universal generative modeling in dual domains for dynamic MRI
Han et al. Sparse signal reconstruction via expanded subspace pursuit
Sriwastawa et al. Vision transformer and its variants for image classification in digital breast cancer histopathology: a comparative study
Hu et al. Single image super resolution of 3D MRI using local regression and intermodality priors
CN113435243A (zh) 一种高光谱真实下采样模糊核估计方法
Levac et al. Accelerated motion correction with deep generative diffusion models
Liu et al. Converged Deep Framework Assembling Principled Modules for CS-MRI
Liu et al. Sparsity-regularized coded ptychography for robust and efficient lensless microscopy on a chip
Harinadha et al. Leaf Based Tomato Plant Disease Detection Using Generated Images from WGP-ESR GAN
Jiang et al. Multi-scale Synergism Ensemble Progressive and Contrastive Investigation for Image Restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant