CN110223371B - 剪切波变换和体绘制不透明度加权的三维图像融合方法 - Google Patents

剪切波变换和体绘制不透明度加权的三维图像融合方法 Download PDF

Info

Publication number
CN110223371B
CN110223371B CN201910516783.1A CN201910516783A CN110223371B CN 110223371 B CN110223371 B CN 110223371B CN 201910516783 A CN201910516783 A CN 201910516783A CN 110223371 B CN110223371 B CN 110223371B
Authority
CN
China
Prior art keywords
fusion
volume rendering
dimensional image
shear wave
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910516783.1A
Other languages
English (en)
Other versions
CN110223371A (zh
Inventor
张文耀
王娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910516783.1A priority Critical patent/CN110223371B/zh
Publication of CN110223371A publication Critical patent/CN110223371A/zh
Application granted granted Critical
Publication of CN110223371B publication Critical patent/CN110223371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种基于剪切波变换和体绘制不透明度加权的三维图像融合方法，属于三维图像融合技术领域。该方法把剪切波变换和直接体绘制技术结合起来，将三维图像数据作为一个整体进行融合处理。首先，通过体绘制不透明度传输函数选择感兴趣的内容；接着借助体绘制不透明度设置剪切波变换高频系数的融合权重；然后按照设定的权重在图像的剪切波变换域进行加权融合；最后通过剪切波变换的逆变换得到融合结果。该方法实现了不同三维图像数据之间感兴趣内容的融合，取得了比较好的融合效果。本发明的方法同等对待三维图像数据的各个维度，直接呈现三维空间信息，比较好地实现了不同内容的选取与融合，有利于三维图像细节信息和空间结构特征的分析。

Description

剪切波变换和体绘制不透明度加权的三维图像融合方法
技术领域
本发明涉及一种图像融合方法，特别涉及剪切波变换和体绘制不透明度加权的三维图像融合方法，属于三维图像融合技术领域。
背景技术
随着现代成像技术和影像采集设备的广泛使用，很多应用领域产生了大量不同模态的三维图像数据。由于成像原理和用途的差异，不同模态的数据所侧重的内容也有明显的差异。例如，CT(Computed Tomography)图像能够比较清晰地显示高密度组织结构，但是低密度区域的图像则比较模糊；而MRI(Magnetic Resonance Imaging)图像却能比较好捕获低密度软组织的细节信息。在实际应用中，为了获取被研究对象更加全面的信息，往往需要将不同设备采集的不同模态的图像数据融合起来进行综合分析。
为此，国内外学者提出了很多图像融合技术和方法。根据融合时数据表征层次的不同，可将这些技术和方法分为像素级融合、特征级融合和决策级融合。其中，像素级融合是指在图像严格配准的前提下，按照某种融合规则或策略将原始图像数据融合起来。按照融合时图像数据所处形态，像素级融合又分为基于空间域的融合与基于变换域的融合。基于空间域的融合直接在图像的原始数据空间进行融合。基于变换域的融合先将待融合图像变换到其他域，例如使用小波变换或者是其他变换工具将图像从空域变换到其他域，然后在变换域进行融合处理，最后使用同种变换方法的逆变换，将融合结果变回空间域。与空域融合相比，变换域融合具有良好的时频分析特性，可以获得丰富的细节信息。在目前众多的变换工具中，剪切波变换(Shearlet Transform)是一种能比较好地表示高维信号各向异性特征的变换，在图像融合中取得了比较好的应用效果。
另外，传统的图像融合工作大部分都是在二维图像或者是三维图像的二维切片上进行的。这对于现代成像设备所采集的三维图像数据而言，具有比较明显的局限性。因为在这种情况下，实际研究对象都是三维实体，基于二维图像切片的融合无法利用相邻切片之间的邻域相关性，其结果是损失被研究对象的三维空间结构信息。如果直接对三维图像数据进行融合，则可有效回避这个问题。由此，出现了多种三维图像融合方法，如基于三维离散小波变换的融合方法以及基于三维离散剪切波变换的融合方法。与二维融合方法相比，三维融合方法同等对待各个维度，在保持三维空间结构信息方面更具有优势，可以取得更好的融合效果。但是仔细分析现有技术不难发现：大部分三维图像融合都是基于整个待融合图像来做的，没有考虑实际应用中所关注的往往只是部分感兴趣的内容(例如某种特定的组织结构或区域)。另外，在分析和查看三维融合结果时，往往又回到了二维切片空间。这既与实际应用习惯有关(人们习惯于查看二维切片图像)，也与三维图像数据的可视化难度有关(三维图像数据不能直接显示在二维屏幕上)。
直接体绘制技术(Direct Volume Rendering)是一种直接对三维体数据进行可视化的技术，能够有效地揭示三维体数据内部的结构信息。例如，通过调节体绘制的不透明度传递函数(Opacity Transfer Function)可以将三维CT数据中隐含物体的空间结构呈现出来。因此，可以借助直接体绘制技术对三维图像数据进行可视化分析，直接以三维投影的方式查看感兴趣的内容。其中的关键在于设置和调节体绘制不透明度传输函数，以便将感兴趣的内容以三维投影的方式显示出来。与传统的切片查看方式相比，这种方式可以直接感知三维空间结构信息，不需要根据二维切片图像去想象和重构三维场景。但是这种方式在实际应用中也面临不同三维图像数据之间的信息融合问题。
鉴于上述情况，本发明提出剪切波变换和体绘制不透明度加权的三维图像融合方法。该方法将三维图像数据当作整体而不是切片进行融合处理，在此基础上把剪切波变换和直接体绘制技术结合起来，实现了不同三维图像数据之间感兴趣内容的融合，取得了比较好的融合效果。
发明内容
为了克服目前三维图像融合方法的不足，本发明提出剪切波变换和体绘制不透明度加权的三维图像融合方法。该方法在保持三维空间结构信息的前提下，将剪切波变换和直接体绘制技术的优势结合起来，实现了不同三维图像数据之间感兴趣内容的融合与显示。
本发明的目的是通过以下技术方案实现的。
剪切波变换和体绘制不透明度加权的三维图像融合方法，包括以下步骤：
步骤1、输入两个待融合的三维图像体数据，分别令其为VA和VB；
步骤2、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB；
步骤3、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号；
步骤4、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (4)
其中(i,j,k)为体数据的体素编号；
步骤5、对待融合体数据VA和VB分别进行剪切波变换，得到各自在变换域的低频系数LA和LB，以及高频系数HA和HB；
步骤6、对低频系数LA和LB进行融合，令融合结果为LF，其中可选的融合规则包括但不限于平均融合、最大值融合、最小值融合以及局部能量最大化等融合规则；
步骤7、按照下面的公式(5)，融合高频系数HA和HB，令融合结果为HF：
HF＝HA*WA+HB*WB (5)
步骤8、根据变换域高频系数HF和低频系数LF，进行剪切波变换的逆变换，得到变换结果F；
步骤9、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合结果的体绘制图像IF。
有益效果
本发明所述的剪切波变换和体绘制不透明度加权的三维图像融合方法，可在保持三维空间结构信息的情况下，实现不同三维图像数据之间感兴趣内容的融合与显示。与其他方法相比，本发明的方法具有以下几个方面的优点：
(1)本发明方法将三维图像数据当作一个整体进行融合处理，克服了传统二维切片融合无法利用切片之间邻域相关性的问题。
(2)本发明方法采用直接体绘制技术可视化三维图像数据，可以直接呈现三维空间结构信息，不需要根据二维切片图像去想象和重构三维场景。
(3)本发明方法把直接体绘制技术和剪切波变换技术结合起来了，基于体绘制不透明度传输函数选择感兴趣的内容，借助体绘制不透明度设置剪切波变换高频系数的融合权重，比较好地实现了不同内容的选取与融合，有利于三维图像细节信息和空间结构特征的分析。
附图说明
图1本发明所述的剪切波变换和体绘制不透明度加权的三维图像融合方法的流程图；
图2VA的不透明度传输函数OTFA；
图3VB的不透明度传输函数OTFB；
图4VA中感兴趣内容的体绘制结果IA；
图5VB中感兴趣内容的体绘制结果IB；
图6VA和VB经变换域融合后的体绘制结果IF；
图7采用另外一个不透明度传输函数对融合结果F进行体绘制的结果。
具体实施方式
下面结合附图和实施例对本发明做详细说明。
图1给出了本发明所述的剪切波变换和体绘制不透明度加权的三维图像融合方法的流程图，其主要步骤如下：
步骤一、输入两个待融合的三维图像体数据，分别令其为VA和VB。
本实施例采用两个名称分别为Fuel和CrossedRods的三维图像体数据作为输入，分别令其为VA和VB。这两个数据场的大小都是64x64x64，其中Fuel模拟了燃料注入燃烧室的情况，Crossed Rods刻画了一个方盒内部三个垂直杆的情况。由于是三维体数据，普通的图像显示技术无法直接显示这两个数据场内部的三维场景。
步骤二、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB。
本实施例对输入的VA和VB设置的体绘制不透明度传输函数OTFA和OTFB分别如图2和图3所示。按照所设置的不透明传输函数分别对VA和VB进行直接体绘制，得到的体绘制结果如图4和图5所示。在这个体绘制过程中，颜色传输函数的设置不会影响感兴趣内容的选取。因此可以根据实际需要设定体绘制的颜色传输函数。在本实施例中，所有的体绘制颜色传输函数都固定为灰度线性函数，最小体素值映射为黑色，最大体素值映射为白色，中间值等比例映射为不同强度的灰色。
步骤三、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号。
步骤四、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)) (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)) (4)
其中(i,j,k)为体数据的体素编号。
在本实施例中，由于输入数据场的大小是64x64x64，所以i、j和k的取值范围都是0到64，即0≤i,j,k＜64。
步骤五、对待融合体数据VA和VB分别进行剪切波变换，得到各自在变换域的低频系数LA和LB，以及高频系数HA和HB。
在本实施例中，对VA和VB的剪切波变换是按照文献(Wang L.The DiscreteShearlet Transform:A New Directional Transform and Compactly SupportedShearlet Frames.IEEE Transactions on Image Processing,2010,19(5):1166–1180.)介绍的三维离散变换方法进行的。
步骤六、对低频系数LA和LB进行融合，令融合结果为LF，其中可选的融合规则包括但不限于平均融合、最大值融合、最小值融合以及局部能量最大化等融合规则。
本实施例在此步骤选择的融合规则是最大值融合，即LF＝max(LA,LB)。
步骤七、按照下面的公式(5)，融合高频系数HA和HB，令融合结果为HF：
HF＝HA*WA+HB*WB (5)
步骤八、根据变换域高频系数HF和低频系数LF，进行剪切波变换的逆变换，得到变换结果F；
步骤九、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合后的体绘制结果图像IF。
本实施例在对融合结果F进行体绘制时，采用了融合前的不透明度传输函数OTFA(如图2所示)，得到的体绘制结果图像IF如图6所示。该图不但综合了图4和图5中感兴趣的内容，更突出了图4所示的燃料与图5所示的交叉杆，而将其他背景信息基本都隐藏了。这既与不透明度传输函数的设置有关，也与融合规则有关。本实施例在融合变换域低频系数的时采用了最大值融合规则。这一规则具有弱化背景的效果。另外，所采用的不透明传输函数OTFA最初就是为了抑制VA中的背景以便突出所注入的燃料。如果采用不同的不透明度传输函数对融合结果F进行体绘制，将得到不同的体绘制结果；实际应用时可根据具体需要设置相应的不透明度传输函数。图7就是采用另外一个不透明度传输函数对融合结果F进行体绘制的结果。该图在关注燃料和交叉杆的同时把相关背景信息也呈现出来了。
上述步骤及实施例说明了本发明所述的剪切波变换和体绘制不透明度加权的三维图像融合方法的全部过程。
应该理解的是，本实施方式只是本发明实施的具体实例，不应该是本发明保护范围的限制。在不脱离本发明的精神与范围的情况下，对上述内容进行等效的修改或变更均应包含在本发明所要求保护的范围之内。

Claims (1)

1.剪切波变换和体绘制不透明度加权的三维图像融合方法，其特征在于，包括以下步骤：
步骤1、输入两个待融合的三维图像体数据，分别令其为VA和VB；
步骤2、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB；
步骤3、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号；
步骤4、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (4)
其中(i,j,k)为体数据的体素编号；
步骤5、对待融合体数据VA和VB分别进行剪切波变换，得到各自在变换域的低频系数LA和LB，以及高频系数HA和HB；
步骤6、对低频系数LA和LB进行融合，令融合结果为LF，其中可选的融合规则包括平均融合、最大值融合、最小值融合以及局部能量最大化融合规则；
步骤7、按照下面的公式(5)，融合高频系数HA和HB，令融合结果为HF：
HF＝HA*WA+HB*WB (5)
步骤8、根据变换域高频系数HF和低频系数LF，进行剪切波变换的逆变换，得到变换结果F；
步骤9、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合结果的体绘制图像IF。
CN201910516783.1A 2019-06-14 2019-06-14 剪切波变换和体绘制不透明度加权的三维图像融合方法 Active CN110223371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516783.1A CN110223371B (zh) 2019-06-14 2019-06-14 剪切波变换和体绘制不透明度加权的三维图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516783.1A CN110223371B (zh) 2019-06-14 2019-06-14 剪切波变换和体绘制不透明度加权的三维图像融合方法

Publications (2)

Publication Number Publication Date
CN110223371A CN110223371A (zh) 2019-09-10
CN110223371B true CN110223371B (zh) 2020-12-01

Family

ID=67817351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516783.1A Active CN110223371B (zh) 2019-06-14 2019-06-14 剪切波变换和体绘制不透明度加权的三维图像融合方法

Country Status (1)

Country Link
CN (1) CN110223371B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470152A (zh) * 2021-06-21 2021-10-01 北京理工大学 一种颜色保真的功能影像体绘制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289840A (zh) * 2011-06-18 2011-12-21 浙江大学 面向色盲设计颜色传输函数用于体绘制的方法
CN103617605A (zh) * 2013-09-22 2014-03-05 天津大学 针对三模态医学图像的透明度加权融合方法
CN105809731A (zh) * 2016-03-09 2016-07-27 哈尔滨工业大学深圳研究生院 并行化光线投射方法、系统及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
CN102096939B (zh) * 2011-02-25 2013-06-05 浙江工业大学 面向医学海量数据的多分辨率体绘制方法
CN102903141B (zh) * 2012-08-31 2016-07-06 电子科技大学 基于不透明度加权的多地震属性融合纹理映射体绘制方法
CN103985109B (zh) * 2014-06-05 2017-05-10 电子科技大学 一种基于3d剪切波变换的特征级医学图像融合方法
WO2018214063A1 (zh) * 2017-05-24 2018-11-29 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN107610165B (zh) * 2017-09-12 2020-10-23 江南大学 基于多特征的3-d剪切波域多模态医学序列图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289840A (zh) * 2011-06-18 2011-12-21 浙江大学 面向色盲设计颜色传输函数用于体绘制的方法
CN103617605A (zh) * 2013-09-22 2014-03-05 天津大学 针对三模态医学图像的透明度加权融合方法
CN105809731A (zh) * 2016-03-09 2016-07-27 哈尔滨工业大学深圳研究生院 并行化光线投射方法、系统及装置

Also Published As

Publication number Publication date
CN110223371A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
Du et al. Super-resolution reconstruction of single anisotropic 3D MR images using residual convolutional neural network
Beers et al. High-resolution medical image synthesis using progressively grown generative adversarial networks
Yin et al. Simultaneous image fusion and super-resolution using sparse representation
CN106408524B (zh) 基于二维图像辅助的深度图像增强方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN105046672B (zh) 一种图像超分辨率重建方法
Ma et al. PathSRGAN: multi-supervised super-resolution for cytopathological images using generative adversarial network
Zhang et al. MS-GAN: GAN-based semantic segmentation of multiple sclerosis lesions in brain magnetic resonance imaging
CN108280804A (zh) 一种多帧图像超分辨率重建方法
CN107292316B (zh) 一种基于稀疏表示的提升图像清晰度的方法
Gai et al. Medical image fusion using the PCNN based on IQPSO in NSST domain
Aishwarya et al. A novel multimodal medical image fusion using sparse representation and modified spatial frequency
Ullah et al. Fast local Laplacian filtering based enhanced medical image fusion using parameter-adaptive PCNN and local features-based fuzzy weighted matrices
Yan et al. SMIR: A Transformer-Based Model for MRI super-resolution reconstruction
CN110211216B (zh) 一种基于体绘制不透明度加权的三维图像空域融合方法
Shi et al. Structure-aware deep networks and pixel-level generative adversarial training for single image super-resolution
Wang et al. Image super-resolution reconstruction based on generative adversarial network model with feedback and attention mechanisms
CN110223371B (zh) 剪切波变换和体绘制不透明度加权的三维图像融合方法
An et al. Image super-resolution reconstruction algorithm based on significant network connection-collaborative migration structure
Tawfik et al. Multimodal medical image fusion using stacked auto-encoder in NSCT domain
Meng et al. Multi-modal MRI image fusion of the brain based on joint bilateral filter and non-subsampled shearlet transform
Wang et al. A novel multi-modal medical image fusion method based on shift-invariant shearlet transform
Yang et al. Adaptive zero-learning medical image fusion
Wan et al. Multi-focus color image fusion based on quaternion multi-scale singular value decomposition
Parekh et al. Comparative study and analysis of medical image fusion techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Wenyao

Inventor after: Wang Na

Inventor after: Wang Cheng

Inventor before: Zhang Wenyao

Inventor before: Wang Na