CN110211080A - 一种解剖与功能医学图像融合方法 - Google Patents

一种解剖与功能医学图像融合方法 Download PDF

Info

Publication number
CN110211080A
CN110211080A CN201910441629.2A CN201910441629A CN110211080A CN 110211080 A CN110211080 A CN 110211080A CN 201910441629 A CN201910441629 A CN 201910441629A CN 110211080 A CN110211080 A CN 110211080A
Authority
CN
China
Prior art keywords
image
channel
anatomic
space
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910441629.2A
Other languages
English (en)
Other versions
CN110211080B (zh
Inventor
鄢慧斌
李忠民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201910441629.2A priority Critical patent/CN110211080B/zh
Publication of CN110211080A publication Critical patent/CN110211080A/zh
Application granted granted Critical
Publication of CN110211080B publication Critical patent/CN110211080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种解剖与功能医学图像融合方法，方法步骤为，首先利用引导滤波器将解剖图像分解成基层和细节层，利用颜色空间变换将功能图像变换到YUV空间，之后利用局部能量最大融合规则对解剖图像的基层和功能图像的Y通道进行融合处理得到初步的融合结果，并且将此融合结果与解剖图像的细节层进一步融合，最后由颜色空间变换重构融合图像。本发明优点：该方法得到的融合图像不仅能同时保留解剖图像中的结构信息及功能图像中的颜色信息，并且其中的解剖图像中的结构信息非常明显。此外，该方法有着非常高的计算效率，能运用于解剖与功能医学图像融合系统。

Description

一种解剖与功能医学图像融合方法
技术领域
本发明涉及图像融合技术领域，特别是涉及一种解剖与功能医学图像融合方法。
背景技术
由于不同的成像机制，具有不同模态的医学图像仅能反映某一方面的信息。解剖图像(计算机断层扫描(CT)和磁共振(MR)成像)具有更高的分辨率，并且可以更清楚地反映组织或器官的结构信息。功能图像(正电子发射断层扫描(PET)和单光子发射CT(SPECT))可以反映有关身体新陈代谢的信息，但分辨率较低。为了使医生能够同时在同一图像中查看不同模态的图像信息，以便更准确地判断患者的病情，多模式医学图像融合技术应运而生。
一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。本专利研究的是像素级图像融合。
当前的解剖与功能医学图像融合方法主要可以分为两大类：变换域融合算法和空间域融合算法。变换域融合算法主要步骤如下：首先将图像变换到特定的图像表示域，然后利用融合规则对图像表示系数进行融合，最后利用逆变换得到融合图像。变换域融合方法在图像融合领域通常能获得较好的效果。在解剖与功能医学图像融合中，以下三点非常重要：同时保留解剖图像中的结构信息及功能图像中的颜色信息；增强解剖图像中的结构信息；高的计算效率。然而，当前的变换域融合算法无法兼顾这三个方面。空间域融合方法不同于变换域融合方法。空间域融合方法在空间域上对源图像进行融合，通常这类方法的计算复杂度较低。本专利针对变换域融合算法的上述问题在空间域融合算法中提出解决方案。
发明内容
为了解决上述技术问题，本发明提供了一种解剖与功能医学图像融合方法。
本发明采用如下技术方案：一种解剖与功能医学图像融合方法，方法步骤如下：
一、图像分解和变换：
利用引导滤波器将解剖图像A分解为基层图像AB和细节层图像AD，在引导滤波过程中，我们以解剖图像A同时作为输入图像和引导图像，利用颜色空间变换(RGB颜色空间到YUV颜色空间)将功能图像B变换到YUV颜色空间，得到功能图像B的Y通道BY，U通道BU和V通道BV；
二、基层与Y通道融合：
利用局部能量最大(LEM)规则对解剖图像A的基层图像AB和功能图像的Y通道BY进行融合得到新的初始Y通道FIY；
三、细节增强融合：
新的Y通道FNY由新的初始Y通道FIY与解剖图像A的细节层图像AD进行细节增强融合得到；
四、图像重建：
利用颜色空间变换(YUV颜色空间到RGB颜色空间)对得到的通道FNY，FU(BU)和FV(BV))进行颜色空间变换重构融合图像F。
与现有技术相比，本发明具有的优点：该方法得到的融合图像不仅能同时保留解剖图像中的结构信息及功能图像中的颜色信息，并且其中的解剖图像中的结构信息非常明显。此外，该方法有着非常高的计算效率，能运用于解剖与功能医学图像融合系统。
附图说明
图1是本发明的解剖与功能医学图像融合方法基本框架图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例
Step 1:图像分解和变换
在引导滤波基本理论中，在以像素k为中心的局部窗口wk中，滤波输出O与引导图像I之间存在线性关系。
其中参数ak和bk定义如下:
其中，μk，δk，|w|和与局部窗口wk有关。具体地说,μk和δk分别代表引导图像I在局部窗口wk内的平均值和方差,|w|为局部窗口wk内的像素总数，为输入图像P在局部窗口wk内的平均值。为方便起见,我们数学上将引导滤波表示为式(4)。
O＝GFr,ε(P,I) (4)
其中GFr,ε代表引导滤波函数，两个子下标r和ε分别代表引导滤波器的大小和模糊程度。
在本专利中，图像分解和变换按以下两步进行：
1、利用引导滤波将解剖图像A分解为基层图像AB和细节层图像AD。在引导滤波过程中，我们以解剖图像A同时作为输入图像和引导图像。该过程可以表示为式(5-6)
AB＝GFr,ε(A,A) (5)
AD＝A-AB (6)
2、利用颜色空间变换(RGB颜色空间到YUV颜色空间)将功能图像B转换到YUV颜色空间，得到功能图像B的Y通道BY，U通道BU和V通道BV。
Step 2:基层与Y通道融合
利用局部能量最大(LEM)规则对解剖图像A的基层图像AB和功能图像的Y通道BY进行融合。在以下式子的表述中，符号*代表卷积，符号×和.×分别代表相乘和点乘。
1、首先，根据下面的公式计算出解剖图像A的基层图像AB和功能图像的Y通道BY的能量图。
EX＝X*W (7)
其中X∈{AB,BY}，EX为图像X的能量图。W为卷积算子，其在本专利中根据式(8)进行设置。
2、权值图M根据式(9)得到
3、新的初始Y通道FIY根据式(10)得到
FIY＝M.×AB+～M.×BY (10)
Step 3:细节增强融合
新的Y通道FNY根据式(11)得到
FNY＝β×AD+FIY (11)
其中β为增强因子，我们一般将其设置为3。
Step 4:图像重建
利用颜色空间变换(YUV颜色空间到RGB颜色空间)对得到的通道FNY，FU(BU)和FV(BV))进行颜色空间变换重构融合图像F。
不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (1)

1.一种解剖与功能医学图像融合方法，其特征在于，方法步骤如下：
一、图像分解和变换：
利用引导滤波器将解剖图像A分解为基层图像AB和细节层图像AD，在引导滤波过程中，我们以解剖图像A同时作为输入图像和引导图像，利用颜色空间变换(RGB颜色空间到YUV颜色空间)将功能图像B变换到YUV颜色空间，得到功能图像B的Y通道BY，U通道BU和V通道BV；
二、基层与Y通道融合：
利用局部能量最大(LEM)规则对解剖图像A的基层图像AB和功能图像的Y通道BY进行融合得到新的初始Y通道FIY；
三、细节增强融合：
新的Y通道FNY由新的初始Y通道FIY与解剖图像A的细节层图像AD进行细节增强融合得到；
四、图像重建：
利用颜色空间变换(YUV颜色空间到RGB颜色空间)对得到的通道FNY，FU(BU)和FV(BV))进行颜色空间变换重构融合图像F。
CN201910441629.2A 2019-05-24 2019-05-24 一种解剖与功能医学图像融合方法 Active CN110211080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910441629.2A CN110211080B (zh) 2019-05-24 2019-05-24 一种解剖与功能医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910441629.2A CN110211080B (zh) 2019-05-24 2019-05-24 一种解剖与功能医学图像融合方法

Publications (2)

Publication Number Publication Date
CN110211080A true CN110211080A (zh) 2019-09-06
CN110211080B CN110211080B (zh) 2023-07-07

Family

ID=67788640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441629.2A Active CN110211080B (zh) 2019-05-24 2019-05-24 一种解剖与功能医学图像融合方法

Country Status (1)

Country Link
CN (1) CN110211080B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488971A (zh) * 2020-11-23 2021-03-12 石家庄铁路职业技术学院 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178742A (ja) * 2013-03-13 2014-09-25 Samsung R&D Institute Japan Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US20160050354A1 (en) * 2014-08-12 2016-02-18 Google Technology Holdings LLC High Dynamic Range Array Camera
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
CN107527332A (zh) * 2017-10-12 2017-12-29 长春理工大学 基于改进Retinex的低照度图像色彩保持增强方法
CN107689038A (zh) * 2017-08-22 2018-02-13 电子科技大学 一种基于稀疏表示和循环引导滤波的图像融合方法
CN109493306A (zh) * 2018-10-11 2019-03-19 南昌航空大学 一种多模医学图像融合方法
CN109492587A (zh) * 2018-11-12 2019-03-19 浙江宇视科技有限公司 图像处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178742A (ja) * 2013-03-13 2014-09-25 Samsung R&D Institute Japan Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US20160050354A1 (en) * 2014-08-12 2016-02-18 Google Technology Holdings LLC High Dynamic Range Array Camera
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
CN107689038A (zh) * 2017-08-22 2018-02-13 电子科技大学 一种基于稀疏表示和循环引导滤波的图像融合方法
CN107527332A (zh) * 2017-10-12 2017-12-29 长春理工大学 基于改进Retinex的低照度图像色彩保持增强方法
CN109493306A (zh) * 2018-10-11 2019-03-19 南昌航空大学 一种多模医学图像融合方法
CN109492587A (zh) * 2018-11-12 2019-03-19 浙江宇视科技有限公司 图像处理方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FANG,HM: "Tone mapping based on fast image decomposition and multi-layer fusion", IE COMPUTER VISION *
张文婷: "基于导向滤波的图像增强算法研究", 中国优秀硕士学位论文全文数据库 *
李莹: "数字图像对比度增强技术研究", 中国优秀硕士学位论文全文数据库 *
杨婷婷: "基于各向异性高斯核的彩色图像边缘检测算法", 中国优秀硕士学位论文全文数据库 *
阙越: ""多尺度分解的像素级图像融合关键技术研究"", 《中国优秀硕士论文全文数据库》 *
阙越: ""多尺度分解的像素级图像融合关键技术研究"", 《中国优秀硕士论文全文数据库》, 31 December 2018 (2018-12-31), pages 3 - 2 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488971A (zh) * 2020-11-23 2021-03-12 石家庄铁路职业技术学院 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN113129244A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法
CN113129244B (zh) * 2021-04-16 2022-10-18 重庆邮电大学 一种基于局部拉普拉斯分解的多尺度医学图像融合方法

Also Published As

Publication number Publication date
CN110211080B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
Qu et al. Synthesized 7T MRI from 3T MRI via deep learning in spatial and wavelet domains
US10129553B2 (en) Dynamic digital image compression based on digital image characteristics
Liu et al. Deep iterative reconstruction estimation (DIRE): approximate iterative reconstruction estimation for low dose CT imaging
US8712151B2 (en) Method and structure for image local contrast enhancement
Zhong et al. Image fusion and super-resolution with convolutional neural network
JP2013531322A (ja) 多重画像の融合
Florkow et al. The impact of MRI-CT registration errors on deep learning-based synthetic CT generation
CN110211080A (zh) 一种解剖与功能医学图像融合方法
Li et al. Synthesizing CT images from MR images with deep learning: model generalization for different datasets through transfer learning
CN106504221B (zh) 基于四元数小波变换上下文结构的医学图像融合方法
Cui et al. Populational and individual information based PET image denoising using conditional unsupervised learning
Bhavana et al. Fusion of MRI and PET images using DWT and adaptive histogram equalization
Han et al. End-to-end deep learning for interior tomography with low-dose x-ray CT
Ghose et al. Substitute CT generation from a single ultra short time echo MRI sequence: preliminary study
CN109903264A (zh) 数字人图像与ct图像的配准方法及系统
CN102426694A (zh) 一种基于Alpha通道位图技术的图像融合方法
Rao et al. Deep learning-based medical image fusion using integrated joint slope analysis with probabilistic parametric steered image filter
Wang et al. Adaptive patch-based POCS approach for super resolution reconstruction of 4D-CT lung data
Fang et al. TENDER: Tensor non-local deconvolution enabled radiation reduction in CT perfusion
Liu et al. Motion compensation combining with local low rank regularization for low dose dynamic CT myocardial perfusion reconstruction
St-Onge et al. Surface tracking from the cortical mesh complements diffusion MRI fiber tracking near the cortex
Al-Azzawi Color medical imaging fusion based on principle component analysis and F-transform
CN110211081B (zh) 一种基于图像属性和引导滤波的多模医学图像融合方法
Szabo et al. Application of analogic CNN algorithms in telemedical neuroradiology
Zhang et al. Prior-image-based CT reconstruction using attenuation-mismatched priors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant