CN111476748B - 一种基于mcp约束卷积稀疏表示的mr图像融合方法 - Google Patents
一种基于mcp约束卷积稀疏表示的mr图像融合方法 Download PDFInfo
- Publication number
- CN111476748B CN111476748B CN202010250141.4A CN202010250141A CN111476748B CN 111476748 B CN111476748 B CN 111476748B CN 202010250141 A CN202010250141 A CN 202010250141A CN 111476748 B CN111476748 B CN 111476748B
- Authority
- CN
- China
- Prior art keywords
- information
- image
- mcp
- fusion
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 125000004432 carbon atom Chemical group C* 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000007499 fusion processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于MCP约束卷积稀疏表示的MR图像融合方法,采用MCP非凸函数作为稀疏约束,相比于L1范数,强化了稀疏性且有利于获得偏差更小的估测值,同时采用卷积稀疏表示对MR整幅图像进行融合,相比于基于图像块的稀疏表示融合方法,有效地保留了源图像的底层细节信息并保证了融合过程中图像块的一致性。针对MCP约束MR图像融合模型中卷积稀疏表示问题,在更新细节信息的稀疏系数时,采用DC分解技术将MCP非凸函数转换为两个凸函数问题,并结合简单的近端梯度法更新稀疏系数,在更新细节信息的字典时,直接采用近端梯度法快速地更新出字典,最后将学习出的稀疏系数和字典用于MR图像重构,从而实现高效的MR图像融合。
Description
技术领域
本发明涉及图像处理的技术领域,尤其涉及到一种基于MCP约束卷积稀疏表示的MR图像融合方法。
背景技术
磁共振成像(Magnetic Resonance Image)是一种利用原子核自旋在外加强磁场中共振所触发的信号经计算机处理后的医疗影像技术,被广泛应用于临床医学诊断。为了获得更加全面的、精确的和清晰的病情诊断信息,现代医学往往使用多模态的MR图像融合技术代替单一特征功能的MR图像技术,使得来自同一场景的不同MR源图像信息完整化。
近年来,稀疏表示作为一种流行的信号建模技术,在MR图像融合方面取得了很大的成功。基于稀疏表示的MR图像融合方法,首先对源图像进行“滑窗”分块操作,然后在图像块上利用稀疏编码来估计稀疏系数,并通过字典更新来自适应地学习字典,最后在融合规则下根据稀疏系数和字典准确地重建MR融合图像。基于稀疏表示的MR图像融合是依据信号的稀疏性直接在源图像的数据层进行优化,可以最大程度地保留源图像的数据层信息。但由于每个图像块都是单独合成或重建并且学习的基础元素是彼此的移位版本,MR信号的数据底层细节信息在融合过程中可能会丢失,另一方面,由于相邻的甚至重叠的图像块是独立稀疏的,忽略了图像块之间的一致性,致使MR融合图像重叠失调。
最近提出的卷积稀疏表示,利用卷积操作充分考虑了相邻图像块之间的连续性和相关性。卷积稀疏表示将MR信号看作特征响应与滤波器的卷积和,代替了稀疏表示中稀疏系数与字典的乘积。基于卷积稀疏表示的MR图像融合方法具有平移不变性的特点,能够有效地避免了源图像底层细节信息的丢失,另一方面,其对整幅图像的优化来代替传统对图像块的优化,在很大程度上克服了图像块重叠失调的限制从而保证了融合过程中图像块的一致性。在现有的基于卷积稀疏表示MR图像融合技术中,已有研究将卷积稀疏表示应用到图像融合并使用L1范数来约束稀疏系数,验证了卷积稀疏表示相比于稀疏表示在图像融合上具有明显的优势。另外一些研究在L1范数约束卷积稀疏表示的基础上加入空间掩蔽的边界处理来进行MR图像融合,进一步减小了源图像细节信息的损失并再次证明了基于卷积稀疏表示MR图像融合的优越性能。但是L1范数往往会导致弱稀疏性、过惩罚的缺陷,使得稀疏编码估测偏差较大,从而影响MR源图像细节信息的融合。随着非凸稀疏约束的流行,非凸稀疏约束在获得强稀疏结果的同时可以保证了估测值的无偏性,因此,发明一种基于非凸约束卷积稀疏表示的MR图像融合方法是当前的重要任务。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于MCP约束卷积稀疏表示的MR图像融合方法。
为实现上述目的,本发明所提供的技术方案为:
一种基于MCP约束卷积稀疏表示的MR图像融合方法,包括源图像分解、更新、融合和重构四个阶段,其特征在于,首先根据二尺度规则将源图像分解为基础信息和细节信息两部分,其次采用最小二乘优化方法来更新基础信息以及采用基于MCP约束的卷积稀疏表示优化方法来更新细节信息,然后依照特定的融合规则以及选取合适的多模态融合参数分别对更新出的基础信息和细节信息两部分进行融合,最后根据融合后的基础信息和细节信息来重构源图像以得到最终的MR融合图像;具体过程如下:
进一步地,所述步骤S2中,采用MCP非凸函数构造出基于MCP约束的卷积稀疏表示MR图像融合模型,具体如下:
其中,*表示细节部分的特征响应Zi与滤波器wi的卷积和;MCP函数的表达式如下,
其中,λ表示稀疏正则化参数;
在基于MCP约束的卷积稀疏表示MR图像融合模型中,误差项用于计算出MR图像融合所需要的基础信息和细节信息其中细节信息由特征响应Zi和滤波器wi的卷积和得到,MCP正则项用于对细节信息的特征响应Zi进行稀疏约束,正则项用于对基础信息进行平滑约束;
根据卷积定理中时域卷积等于频域相乘的性质,MR图像融合模型可转换为,
进一步地,所述步骤S2中,采用不同的优化方法分别对基础信息细节信息两部分进行更新,其中基础信息的更新可通过最小二乘优化方法来直接获得,细节信息的更新可通过基于MCP约束的卷积稀疏表示优化方法来获得,具体过程如下:
(1)源图像基础信息更新,
上式中,Gx和Gy是梯度算子的矩阵形式。
(2)源图像细节信息更新,
1)更新稀疏系数,
针对非凸MCP正则项,采用DC分解技术将其拆分为两个凸函数相减的形式,如下,
2)更新字典,
最后,将细节信息的稀疏系数和字典对应地转换为时域中特征响应和滤波器。
为避免重叠失调,最终的活动映象Ak通过基于窗口的平均规则来计算,如下,
与现有技术相比,本方案原理及优点如下:
1.采用卷积稀疏表示对MR整幅图像进行重构,通过特征响应与滤波器的卷积和来代替传统基于图像块方式中稀疏系数与字典的乘积,有效地保留了源图像的底层细节信息并保证了融合过程中图像块的一致性。
2.采用MCP函数作为稀疏正则项对特征响应Zi进行稀疏约束,相比于L1范数,强化了结果的稀疏性且确保了估测值的无偏性,误差项用于更新MR图像融合所需要的基础信息和细节信息其中细节信息由特征响应Zi和滤波器wi的卷积和得到,正则项用于对基础信息进行平滑约束,从而通过上述三项构建出基于MCP约束的卷积稀疏表示MR图像融合模型:
3.针对MCP约束MR图像融合模型中卷积稀疏表示问题,在更新细节信息的稀疏系数时,采用DC分解技术将MCP非凸函数转换为两个凸函数问题,并结合简单的近端梯度法高效地更新出稀疏系数,在更新细节信息的字典时,直接采用近端梯度法快速地更新出字典,最后将学习出的稀疏系数和字典用于MR图像重构,从而实现高效的MR图像融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于MCP约束卷积稀疏表示的MR图像融合方法的流程图;
图2为本发明一种基于MCP约束卷积稀疏表示的MR图像融合方法中卷积稀疏表示的原理流程图;
图3为本发明一种基于MCP约束卷积稀疏表示的MR图像融合方法的实例。
具体实施方式
下面结合具体实施例对本发明作进一步说明:
如图1所示,本实施例所述的一种基于MCP约束卷积稀疏表示的MR图像融合方法,包括源图像分解、更新、融合和重构四个阶段,过程包括如下:
S2、更新阶段,采用MCP非凸函数构造出基于MCP约束的卷积稀疏表示MR图像融合模型,具体如下:
其中,*表示细节部分的特征响应Zi与滤波器wi的卷积和;MCP函数的表达式如下,
其中,λ表示稀疏正则化参数;
在基于MCP约束的卷积稀疏表示MR图像融合模型中,误差项用于计算出MR图像融合所需要的基础信息和细节信息其中细节信息由特征响应Zi和滤波器wi的卷积和得到,MCP正则项用于对细节信息的特征响应Zi进行稀疏约束,正则项用于对基础信息进行平滑约束;
根据卷积定理中时域卷积等于频域相乘的性质,MR图像融合模型可转换为:
(1)源图像基础信息更新,
上式中,Gx和Gy是梯度算子的矩阵形式。
(2)源图像细节信息更新,
本实施例采用基于MCP约束卷积稀疏表示方法来更新MR源图像的细节信息,如图2所示;
1)更新稀疏系数,
针对非凸MCP正则项,采用DC分解技术将其拆分为两个凸函数相减的形式,如下,
2)更新字典,
最后,将细节信息的稀疏系数和字典对应地转换为时域中特征响应和滤波器。
为避免重叠失调,最终的活动映象Ak通过基于窗口的平均规则来计算,如下,
最后,附上本实施例基于MCP约束卷积稀疏表示的MR图像融合方法的实例,采用MR-T1和MR-T2两组图像进行测试,如附图3所示。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于MCP约束卷积稀疏表示的MR图像融合方法,包括源图像分解、更新、融合和重构四个阶段,其特征在于,首先根据二尺度规则将源图像分解为基础信息和细节信息两部分,其次采用最小二乘优化方法来更新基础信息以及采用基于MCP约束的卷积稀疏表示优化方法来更新细节信息,然后依照特定的融合规则以及选取合适的多模态融合参数分别对更新出的基础信息和细节信息两部分进行融合,最后根据融合后的基础信息和细节信息来重构源图像以得到最终的MR融合图像;具体过程如下:
所述步骤S2中,采用非凸MCP函数构造出基于MCP约束的卷积稀疏表示MR图像融合模型,具体如下:
其中,*表示细节部分的特征响应Zi与滤波器wi的卷积和;MCP函数的表达式如下,
其中,λ表示稀疏正则化参数;
在基于MCP约束的卷积稀疏表示MR图像融合模型中,误差项用于计算出MR图像融合所需要的基础信息和细节信息其中细节信息由特征响应Zi和滤波器wi的卷积和得到,MCP正则项用于对细节信息的特征响应Zi进行稀疏约束,正则项用于对基础信息进行平滑约束;
根据卷积定理中时域卷积等于频域相乘的性质,可将滤波器与特征响应卷积形式转换为字典与稀疏系数相乘形式,对应地MR图像融合模型可转换为,
为避免重叠失调,最终的活动映象Ak通过基于窗口的平均规则来计算,如下,
3.根据权利要求1所述的一种基于MCP约束卷积稀疏表示的MR图像融合方法,其特征在于,所述步骤S2中,采用不同的优化方法分别对基础信息细节信息两部分进行更新,其中基础信息的更新可通过最小二乘优化方法来直接获得,细节信息的更新可通过基于MCP约束的卷积稀疏表示优化方法来获得,具体过程如下:
(1)源图像基础信息更新,
上式中,Gx和Gy是梯度算子的矩阵形式;
(2)源图像细节信息更新,
1)更新稀疏系数,
针对非凸MCP正则项,采用DC分解技术将其拆分为两个凸函数相减的形式,如下,
2)更新字典,
最后,将细节信息的稀疏系数和字典对应地转换为时域中特征响应和滤波器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010250141.4A CN111476748B (zh) | 2020-04-01 | 2020-04-01 | 一种基于mcp约束卷积稀疏表示的mr图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010250141.4A CN111476748B (zh) | 2020-04-01 | 2020-04-01 | 一种基于mcp约束卷积稀疏表示的mr图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476748A CN111476748A (zh) | 2020-07-31 |
CN111476748B true CN111476748B (zh) | 2022-03-25 |
Family
ID=71749365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010250141.4A Active CN111476748B (zh) | 2020-04-01 | 2020-04-01 | 一种基于mcp约束卷积稀疏表示的mr图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476748B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899209B (zh) * | 2020-08-11 | 2023-09-26 | 四川警察学院 | 基于卷积匹配追踪字典学习的可见光红外图像融合方法 |
CN111899207A (zh) * | 2020-08-11 | 2020-11-06 | 四川警察学院 | 基于局部处理卷积字典学习的可见光与红外图像融合方法 |
CN114581354B (zh) * | 2022-03-31 | 2023-04-18 | 昆明理工大学 | 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法 |
CN116910450B (zh) * | 2023-07-18 | 2024-10-11 | 南昌大学 | 一种基于卷积稀疏编码的心电信号去噪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543142A (zh) * | 2018-11-28 | 2019-03-29 | 中国人民解放军国防科技大学 | 一种求解稀疏正则化支持向量机的方法 |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
CN109583380A (zh) * | 2018-11-30 | 2019-04-05 | 广东工业大学 | 一种基于注意力约束非负矩阵分解的高光谱分类方法 |
CN109584270A (zh) * | 2018-11-13 | 2019-04-05 | 大连大学 | 基于判别字典学习的视觉跟踪方法 |
CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
-
2020
- 2020-04-01 CN CN202010250141.4A patent/CN111476748B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584270A (zh) * | 2018-11-13 | 2019-04-05 | 大连大学 | 基于判别字典学习的视觉跟踪方法 |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
CN109543142A (zh) * | 2018-11-28 | 2019-03-29 | 中国人民解放军国防科技大学 | 一种求解稀疏正则化支持向量机的方法 |
CN109583380A (zh) * | 2018-11-30 | 2019-04-05 | 广东工业大学 | 一种基于注意力约束非负矩阵分解的高光谱分类方法 |
CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
Non-Patent Citations (4)
Title |
---|
Nonconvex relaxation based matrix regression for face recognition with structural noise and mixed noise;Hengmin Zhang等;《Neurocomputing》;20171220;第269卷;第188-198页 * |
We provide novel theoretical results regarding local optima of regularized M-estimators, allowing for nonconvexity in both loss and penalty functions. Under restricted strong convexity on the loss and suitable regularity conditions on the penalty, we prove;Hui Zhang等;《IEEE Access》;20190107;第9080-9090页 * |
双正则最大间隔规划算法研究;陈炜;《中国优秀硕士学位论文全文数据库信息科技辑》;20161215;I140-47 * |
非凸正则化方法研究;王格华;《中国优秀硕士学位论文全文数据库社会科学Ⅱ辑》;20191215;H123-240 * |
Also Published As
Publication number | Publication date |
---|---|
CN111476748A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476748B (zh) | 一种基于mcp约束卷积稀疏表示的mr图像融合方法 | |
CN109766863B (zh) | 一种基于局部和稀疏非局部正则的人脸图像超分辨率方法 | |
CN112669248B (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
CN112837274A (zh) | 一种基于多模态多站点数据融合的分类识别方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
Zuo et al. | Residual dense network for intensity-guided depth map enhancement | |
CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
CN115456927A (zh) | 一种脑部医学图像合成方法、系统、电子设备及存储介质 | |
CN108492249A (zh) | 基于小卷积递归神经网络的单帧超分辨重建方法 | |
CN111696042B (zh) | 基于样本学习的图像超分辨重建方法 | |
CN118134780A (zh) | 一种基于特征分解的红外图像与可见光图像的融合方法 | |
CN110580509B (zh) | 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法 | |
CN112734645A (zh) | 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法 | |
CN116503668A (zh) | 一种基于小样本元学习的医学影像分类方法 | |
Chen et al. | Medprompt: Cross-modal prompting for multi-task medical image translation | |
CN111161184A (zh) | 一种基于mcp稀疏约束的快速mr图像去噪方法 | |
Liu et al. | Medical image segmentation using deep learning | |
Yang et al. | MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction | |
CN117974468A (zh) | 一种全局与局部特征交互并行的多模态医学图像融合方法 | |
CN114612297A (zh) | 高光谱图像超分辨率重建方法及装置 | |
Li et al. | 3dmambacomplete: Exploring structured state space model for point cloud completion | |
CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
CN116128995A (zh) | 一种融合信号模型与深度学习的磁共振重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |