CN110211216A - 一种基于体绘制不透明度加权的三维图像空域融合方法 - Google Patents

一种基于体绘制不透明度加权的三维图像空域融合方法 Download PDF

Info

Publication number
CN110211216A
CN110211216A CN201910516549.9A CN201910516549A CN110211216A CN 110211216 A CN110211216 A CN 110211216A CN 201910516549 A CN201910516549 A CN 201910516549A CN 110211216 A CN110211216 A CN 110211216A
Authority
CN
China
Prior art keywords
image
volume
fusion
opacity
volume drawing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910516549.9A
Other languages
English (en)
Other versions
CN110211216B (zh
Inventor
张文耀
王娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910516549.9A priority Critical patent/CN110211216B/zh
Publication of CN110211216A publication Critical patent/CN110211216A/zh
Application granted granted Critical
Publication of CN110211216B publication Critical patent/CN110211216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种基于体绘制不透明度加权的三维图像空域融合方法，属于三维图像融合技术领域。该方法把直接体绘制技术和像素级图像融合技术结合起来，将三维图像数据作为一个整体进行融合处理。首先，通过体绘制不透明度传输函数选择感兴趣的内容；然后借助体绘制不透明度设置图像融合权重；再按照设定的权重在图像空域进行加权融合。由此实现了不同三维图像数据之间感兴趣内容的融合，取得了比较好的融合效果。本发明的方法同等对待三维图像数据的各个维度，直接呈现三维空间信息，有利于三维图像数据中空间结构和位置形态特征的分析。

Description

一种基于体绘制不透明度加权的三维图像空域融合方法
技术领域
本发明涉及一种图像融合方法，特别涉及一种基于体绘制不透明度加权的三维图像空域融合方法，属于三维图像融合技术领域。
背景技术
随着现代成像技术和影像采集设备的广泛使用，很多应用领域产生了大量不同模态的三维图像数据。由于成像原理和用途的差异，不同模态的数据所侧重的内容也有明显的差异。例如，CT(Computed Tomography)图像能够比较清晰地显示高密度组织结构，但是低密度区域的图像则比较模糊；而MRI(Magnetic Resonance Imaging)图像却能比较好捕获低密度软组织的细节信息。在实际应用中，为了获取被研究对象更加全面的信息，往往需要将不同设备采集的不同模态的图像数据融合起来进行综合分析。
为此，国内外学者提出了很多图像融合技术和方法。根据融合时数据表征层次的不同，可将这些技术和方法分为像素级融合、特征级融合和决策级融合。其中，像素级融合是指在图像严格配准的前提下，按照某种融合规则或策略将原始图像数据融合起来。
传统的图像融合工作大部分都是在二维图像或者是三维图像的二维切片上进行的。这对于现代成像设备所采集的三维图像数据而言，具有比较明显的局限性。因为在这种情况下，实际研究对象都是三维实体，基于二维图像切片的融合无法利用相邻切片之间的邻域相关性，其结果是损失被研究对象的三维空间结构信息。如果直接对三维图像数据进行融合，则可有效回避这个问题。由此，出现了多种三维图像融合方法，如空域加权融合方法、最大最小值融合方法等。与二维融合方法相比，三维融合方法同等对待各个维度，在保持三维空间结构信息方面更具有优势，可以取得更好的融合效果。但是仔细分析现有技术不难发现：大部分三维图像融合都是基于整个待融合图像来做的，没有考虑实际应用中所关注的往往只是部分感兴趣的内容(例如某种特定的组织结构或区域)。另外，在分析和查看三维融合结果时，往往又回到了二维切片空间。这既与实际应用习惯有关(人们习惯于查看二维切片图像)，也与三维图像数据的可视化难度有关(三维图像数据不能直接显示在二维屏幕上)。
直接体绘制技术(Direct Volume Rendering)是一种直接对三维体数据进行可视化的技术，能够有效地揭示三维体数据内部的结构信息。例如，通过调节体绘制的不透明度传递函数(Opacity Transfer Function)可以将三维CT数据中隐含物体的空间结构呈现出来。因此，可以借助直接体绘制技术对三维图像数据进行可视化分析，直接以三维投影的方式查看感兴趣的内容。其中的关键在于设置和调节体绘制不透明度传输函数，以便将感兴趣的内容以三维投影的方式显示出来。与传统的切片查看方式相比，这种方式可以直接感知三维空间结构信息，不需要根据二维切片图像去想象和重构三维场景。但是这种方式在实际应用中也面临不同三维图像数据之间的信息融合问题。
鉴于上述情况，本发明提出一种基于体绘制不透明度加权的三维图像空域融合方法。该方法将三维图像数据当作整体而不是切片进行融合处理，在此基础上结合直接体绘制技术与像素级图像融合技术，实现了不同三维图像数据之间感兴趣内容的融合，取得了比较好的融合效果。
发明内容
本发明的目的是提供一种基于体绘制不透明度加权的三维图像空域融合方法，以便在保持三维空间结构信息的前提下，实现不同三维图像数据之间感兴趣内容的融合与显示。
本发明的目的是通过以下技术方案实现的。
一种基于体绘制不透明度加权的三维图像空域融合方法，包括以下步骤：
步骤1、输入两个待融合的三维图像体数据，分别令其为VA和VB；
步骤2、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB；
步骤3、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号；
步骤4、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (4)
其中(i,j,k)为体数据的体素编号；
步骤5、令体数据VA和VB的融合结果为F，按照下面的公式(5)计算F：
F(i,j,k)＝VA(i,j,k)*WA(i,j,k)+VB(i,j,k)*WB(i,j,k) (5)
其中(i,j,k)为体素编号；
步骤6、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合结果的体绘制图像IF。
有益效果
本发明所述的一种基于体绘制不透明度加权的三维图像空域融合方法，可在保持三维空间结构信息的情况下，实现不同三维图像数据之间感兴趣内容的融合与显示。与其他方法相比，本发明的方法具有以下几个方面的优点：
(1)本发明方法将三维图像数据当作一个整体进行融合处理，克服了传统二维切片融合无法利用切片之间邻域相关性的问题。
(2)本发明方法采用直接体绘制技术可视化三维图像数据，可以直接呈现三维空间结构信息，不需要根据二维切片图像去想象和重构三维场景。
(3)本发明方法把直接体绘制技术和像素级图像融合技术结合起来，基于体绘制不透明度传输函数选择感兴趣的内容，借助体绘制不透明度设置图像融合权重，比较好地实现了不同内容的选取与融合，有利于三维图像数据中空间结构和位置形态特征的分析。
附图说明
图1本发明所述的一种基于体绘制不透明度加权的三维图像空域融合方法的流程图；
图2VA的不透明度传输函数OTFA；
图3VB的不透明度传输函数OTFB；
图4VA中感兴趣内容的体绘制结果IA；
图5VB中感兴趣内容的体绘制结果IB；
图6VA和VB经空域融合后的体绘制结果IF。
具体实施方式
下面结合附图和实施例对本发明做详细说明。
图1给出了本发明所述的一种基于体绘制不透明度加权的三维图像空域融合方法的流程图，其主要步骤如下：
步骤一、输入两个待融合的三维图像体数据，分别令其为VA和VB。
本实施例采用两个名称分别为Fuel和CrossedRods的三维图像体数据作为输入，分别令其为VA和VB。这两个体数据的大小都是64x64x64，其中Fuel模拟了燃料注入燃烧室的情况，Crossed Rods刻画了一个方盒内部三个垂直杆的情况。由于是三维体数据，普通的图像显示技术无法直接显示这两个数据场内部的三维场景。
步骤二、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB。
本实施例对输入的VA和VB设置的体绘制不透明度传输函数OTFA和OTFB分别如图2和图3所示。按照所设置的不透明传输函数分别对VA和VB进行直接体绘制，得到的体绘制结果如图4和图5所示。在这个体绘制过程中，颜色传输函数的设置不会影响感兴趣内容的选取。因此可以根据实际需要设定体绘制的颜色传输函数。在本实施例中，所有的体绘制颜色传输函数都固定为灰度线性函数，最小体素值映射为黑色，最大体素值映射为白色，中间值等比例映射为不同强度的灰色。
步骤三、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号。
在本实施例中，由于输入数据场的大小是64x64x64，所以i、j和k的取值范围都是0到64，即0≤i,j,k<64。
步骤四、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (4)
其中(i,j,k)为体数据的体素编号。
在本实施例中，由于输入数据场的大小是64x64x64，所以i、j和k的取值范围都是0到64，即0≤i,j,k<64。
步骤五、令体数据VA和VB的融合结果为F，按照下面的公式(5)计算F：
F(i,j,k)＝VA(i,j,k)*WA(i,j,k)+VB(i,j,k)*WB(i,j,k) (5)
其中(i,j,k)为体素编号。
步骤六、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合结果的体绘制图像IF。
本实施例在对融合结果F进行体绘制时，采用了融合前的不透明度传输函数OTFB(如图3所示)，得到的体绘制结果图像IF如图6所示。该图不仅综合了图4和图5的内容，而且清晰地展示了图4所示的燃料与图5所示的交叉杆之间的空间位置和结构关系。这些信息仅仅依靠图4和图5是难以准确把握的。在此，需要注意的是：融合结果F的体绘制结果跟所采用的不透明度传输函数密切相关；不同的不透明度传输函数，将得到不同的体绘制结果。具体应用的时候，可根据实际需要调节和设置不透明度传输函数。
上述步骤及实施例说明了本发明所述的一种基于体绘制不透明度加权的三维图像空域融合方法的全部过程。
应该理解的是，本实施方式只是本发明实施的具体实例，不应该是本发明保护范围的限制。在不脱离本发明的精神与范围的情况下，对上述内容进行等效的修改或变更均应包含在本发明所要求保护的范围之内。

Claims (1)

1.一种基于体绘制不透明度加权的三维图像空域融合方法，其特征在于，包括以下步骤：
步骤1、输入两个待融合的三维图像体数据，分别令其为VA和VB；
步骤2、按照直接体绘制技术要求，分别设置VA和VB的不透明传输函数OTFA和OTFB，对VA和VB进行直接体绘制，得到相应的感兴趣内容的体绘制结果IA和IB；
步骤3、根据不透明度传输函数OTFA和OTFB，分别计算体数据VA和VB中每个体素的不透明值，得到相应的不透明度体数据OA和OB；OA和OB的具体计算方法是：
OA(i,j,k)＝OTFA(VA(i,j,k)), (1)
OB(i,j,k)＝OTFB(VB(i,j,k)), (2)
其中(i,j,k)为体数据的体素编号；
步骤4、按照下面的公式(3)和(4)分别计算体数据VA和VB的权重系数WA和WB：
WA(i,j,k)＝OA(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (3)
WB(i,j,k)＝OB(i,j,k)/(OA(i,j,k)+OB(i,j,k)), (4)
其中(i,j,k)为体数据的体素编号；
步骤5、令体数据VA和VB的融合结果为F，按照下面的公式(5)计算F：
F(i,j,k)＝VA(i,j,k)*WA(i,j,k)+VB(i,j,k)*WB(i,j,k) (5)
其中(i,j,k)为体素编号；
步骤6、采用直接体绘制技术对融合后的体数据F进行体绘制，得到融合结果的体绘制图像IF。
CN201910516549.9A 2019-06-14 2019-06-14 一种基于体绘制不透明度加权的三维图像空域融合方法 Active CN110211216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516549.9A CN110211216B (zh) 2019-06-14 2019-06-14 一种基于体绘制不透明度加权的三维图像空域融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516549.9A CN110211216B (zh) 2019-06-14 2019-06-14 一种基于体绘制不透明度加权的三维图像空域融合方法

Publications (2)

Publication Number Publication Date
CN110211216A true CN110211216A (zh) 2019-09-06
CN110211216B CN110211216B (zh) 2020-11-03

Family

ID=67792801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516549.9A Active CN110211216B (zh) 2019-06-14 2019-06-14 一种基于体绘制不透明度加权的三维图像空域融合方法

Country Status (1)

Country Link
CN (1) CN110211216B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421323A (zh) * 2021-06-21 2021-09-21 北京理工大学 一种基于光线投射的双模态体数据感兴趣区域融合方法
CN113436305A (zh) * 2021-06-23 2021-09-24 北京理工大学 一种由直接体绘制引导的高质量几何建模方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008317A1 (en) * 2005-05-25 2007-01-11 Sectra Ab Automated medical image visualization using volume rendering with local histograms
CN102903141A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于不透明度加权的多地震属性融合纹理映射体绘制方法
CN103279976A (zh) * 2007-10-09 2013-09-04 爱克发医疗保健公司 用于对数据集进行体绘制的方法和设备
CN104205172A (zh) * 2012-03-14 2014-12-10 富士胶片株式会社 图像生成装置、方法以及程序
CN106055188A (zh) * 2015-04-03 2016-10-26 登塔尔图像科技公司 用于显示体积图像的系统和方法
CN106226817A (zh) * 2016-09-12 2016-12-14 电子科技大学 基于连续平行坐标的多属性地震数据可视化方法
CN108460835A (zh) * 2018-03-05 2018-08-28 北京理工大学 一种将几何对象融入体绘制结果的方法
WO2018214063A1 (zh) * 2017-05-24 2018-11-29 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN109544688A (zh) * 2018-11-22 2019-03-29 北京理工大学 一种基于不透明度传输函数的体绘制融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070008317A1 (en) * 2005-05-25 2007-01-11 Sectra Ab Automated medical image visualization using volume rendering with local histograms
CN103279976A (zh) * 2007-10-09 2013-09-04 爱克发医疗保健公司 用于对数据集进行体绘制的方法和设备
CN104205172A (zh) * 2012-03-14 2014-12-10 富士胶片株式会社 图像生成装置、方法以及程序
CN102903141A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于不透明度加权的多地震属性融合纹理映射体绘制方法
CN106055188A (zh) * 2015-04-03 2016-10-26 登塔尔图像科技公司 用于显示体积图像的系统和方法
CN106226817A (zh) * 2016-09-12 2016-12-14 电子科技大学 基于连续平行坐标的多属性地震数据可视化方法
WO2018214063A1 (zh) * 2017-05-24 2018-11-29 深圳迈瑞生物医疗电子股份有限公司 超声设备及其三维超声图像显示方法
CN108460835A (zh) * 2018-03-05 2018-08-28 北京理工大学 一种将几何对象融入体绘制结果的方法
CN109544688A (zh) * 2018-11-22 2019-03-29 北京理工大学 一种基于不透明度传输函数的体绘制融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PASCUAL ABELLÁN ET AL: ""Regions-based illustrative visualization of multimodal datasets"", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *
易玮玮 等: ""一种基于CPU的三维超声图像体绘制方法"", 《生命科学仪器》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421323A (zh) * 2021-06-21 2021-09-21 北京理工大学 一种基于光线投射的双模态体数据感兴趣区域融合方法
CN113421323B (zh) * 2021-06-21 2022-07-12 北京理工大学 一种基于光线投射的双模态体数据感兴趣区域融合方法
CN113436305A (zh) * 2021-06-23 2021-09-24 北京理工大学 一种由直接体绘制引导的高质量几何建模方法

Also Published As

Publication number Publication date
CN110211216B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN107194872B (zh) 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN111340944B (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
US20160232703A1 (en) System and method for image processing
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN103077557B (zh) 一种自适应分层次胸部大数据显示的实现方法
CN101692286A (zh) 医学图像三视图获取方法
CN101454806A (zh) 使用深度加权彩色化的体绘制方法和装置
CN109308680A (zh) 一种基于磁共振影像的大脑解剖教学系统
CN110211216A (zh) 一种基于体绘制不透明度加权的三维图像空域融合方法
CN106023214B (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN104008547A (zh) 一种基于骨架角点的可视化人体切片图像序列化分割方法
CN109919885A (zh) 基于b样条和互信息的cvh图像与影像配准融合方法
Huang et al. Light field image quality assessment: An overview
Lu et al. Example-based volume illustrations
CN102631196A (zh) 磁共振弹性成像三维可视化方法及系统
Song et al. Breast tissue 3D segmentation and visualization on MRI
CN102074051B (zh) 一种体绘制平行投影的数据包围体快速定位方法
CN110223371A (zh) 一种基于剪切波变换和体绘制不透明度加权的三维图像融合方法
CN111951241B (zh) 一种水生动物运动过程中肌肉形变的测定与显示方法
Senger Visualizing and segmenting large volumetric data sets
CN106651930A (zh) 一种多层次流形学习医学图像颜色感知方法
CN106652012A (zh) 医学图像体绘制的方法及系统
CN113610863A (zh) 多曝光图像融合质量评估方法
Gai et al. Strategy of statistics-based visualization for segmented 3d cardiac volume data set
Borse et al. Literature survey for 3D reconstruction of brain MRI images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhang Wenyao

Inventor after: Wang Na

Inventor after: Wang Cheng

Inventor before: Zhang Wenyao

Inventor before: Wang Na

CB03 Change of inventor or designer information