CN1271572C - 二维图像序列三维重建方法 - Google Patents
二维图像序列三维重建方法 Download PDFInfo
- Publication number
- CN1271572C CN1271572C CN 200410053489 CN200410053489A CN1271572C CN 1271572 C CN1271572 C CN 1271572C CN 200410053489 CN200410053489 CN 200410053489 CN 200410053489 A CN200410053489 A CN 200410053489A CN 1271572 C CN1271572 C CN 1271572C
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image sequence
- dimensional image
- rendering model
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Generation (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种二维图像序列三维重建方法,用于图像处理技术领域。步骤如下:对二维图像序列进行分割,分割出图像序列中感兴趣的对象,将分割后的图像序列构造成一个三维体数据,并按对象的特征进行分类,构造对象表;根据处理好的图像序列,建立三维显示的全局绘制模型和局部绘制模型;按全局和局部绘制模型对二维图像序列进行三维重建,对建立的三维体数据应用全局绘制模型,然后根据对象表中的各个对象应用局部绘制模型;采用计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上;在三维物体中放置两个切割平面,自由平移和旋转切割平面,实现对三维物体进行任意方向的切割。本发明能充分利用各算法的优点,自二维图像序列中很好的重建出三维物体。
Description
技术领域
本发明涉及的是一种用于图像处理技术领域的图像重建的方法,特别是一种二维图像序列三维重建方法。
背景技术
二维图像序列是指表示物体不同位置截面信息的一系列二维图像,它们的大小、分辨率和颜色信息都相同,而且图像所表现的位置在空间上是相邻的,所以二维图像序列具备物体的部分三维特征,如核磁共振设备采集的人体器官断层扫描图像序列。二维图像序列的三维重建是根据输入的断层图像序列,经分割和提取后,构建出待建组织的三维数据。这可以展现物体的三维结构和形态,从而提供很多用传统手段无法获得的信息。
三维重建的算法已经有很多种,典型的有以下四种:等值面绘制法、直接体绘制法、最大强度投影法和非真实感绘制法。这些方法适用于不同特征的二维图像序列,综合起来使用会得到很好的三维显示效果。经文献检索发现,H.Hauser,L.Mroz,G.I.Bischi,M.E.Groller在IEEE Transactions onVisualization And Computer Graphics(《IEEE可视化及计算机图形学》)7(3):242-252,July-September 2001上发表的“Two-Level Volume Rendering”(《两层体绘制算法》)一文提出了一种两层体绘制算法,该算法综合利用了上述的四种三维重建方法,利用各种算法的特点,在物体中不同的对象上进行实现,最大程度上显示了三维物体。但是该算法存在着下列缺点:(1)不同的物体有不同的数据特征,从而可以对应使用不同的三维重建方法,但该文并没有给出如何根据不同的对象来选择不同的方法,这一点在三维绘制中很重要;(2)该文使用的是单一绘制通道,这在绘制三维物体时的计算量很大,不适宜在普通的个人计算机上使用;(3)该算法绘制出来的三维物体是一个统一的整体,无法直观的观察物体的内部结构。
发明内容
本发明针对背景技术的不足之处,提出一种二维图像序列三维重建方法,利用已分割出对象的二维图像序列,针对各对象的数据特征,采用不同的三维重建算法,使其能够充分利用各算法的优点,并使用多个绘制模型优化绘制效率,从而自二维图像序列中很好的重建出三维物体,并实现对三维物体的切割,显示其内部的信息。
本发明是通过以下技术方案实现的,本发明步骤如下:
步骤一:对二维图像序列进行分割,分割出图像序列中感兴趣的对象,将分割后的图像序列构造成一个三维体数据,并按对象的特征进行分类,构造对象表;
步骤二:根据步骤一处理好的图像序列,建立三维显示的全局绘制模型和局部绘制模型,其中全局绘制模型用于图像序列的整体三维重建,局部绘制模型用于图像数据中具体对象的三维重建;
步骤三:按步骤二建立的全局和局部绘制模型对二维图像序列进行三维重建,对步骤一建立的三维体数据,应用全局绘制模型,然后根据步骤一建立的对象表,对体数据中的各个对象应用局部绘制模型;
步骤四:采用光照、渲染、透视、色彩和不透明度增减这些计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上;
步骤五:在步骤四中绘制出的三维物体中放置两个切割平面,自由平移和旋转切割平面,实现对三维物体进行任意方向的切割,以观察物体的内部信息。
以下对本发明作进一步的说明,具体内容如下:
所述的步骤一,具体为:
(1)采用基于灰度的FuzzyConnectness(模糊连通性)图像分割算法分割二维图像序列,获得图像内的各个对象。
(2)将分割后的二维图像序列构造成一个三维体数据,即三维空间中的一个长方体,上下两层切片中,每八个相邻像素点构成的一个空间立方体(体素)是空间体数据的最小单位。
(3)构造对象表,每一表项代表二维图像序列的一个切片,各表项包括该切片内的所有对象,各对象则包含属于该对象的所有体素的位置、灰度值、不透明度和颜色对照表,各体素拥有同一对象ID。分析各对象的特征,标记适用的三维重建算法。如对象有明显的边界,则用等值面绘制法;如对象的内部信息比较重要,则用直接体绘制法;如对象为血管,则用最大强度投影法;如需表现对象在图像中未显示的隐藏信息,则用非真实感绘制法。
所述的步骤二,具体为:
(1)对二维图像序列建立全局绘制模型,采用光线投射法的思想,即按照视线的方向投射一条光线穿过体数据,在光线上按照一定的步长取采样点,将各采样点按射线的方向进行叠加,即绘制出三维物体;
(2)(1)中所取的采样点不会都位于同一对象之中,根据对象的特征,建立不同的绘制模型。按对象表中所标记的算法,建立各算法的绘制模型。
所述的步骤三,具体为:
(1)将全局绘制模型应用到三维体数据之中,计算各投射光线上的采样点,由采样点所处体素的对象ID来区分对象,将对象作为全局绘制模型中的基本单位;
(2)按照对象表,根据对象表中各对象所适用的算法,将各局部绘制模型分别应用于各对象。
(3)将全局模型中的各条光线进行叠加,计算每条光线叠加后的色彩和不透明度,绘制出最后的三维物体。
本发明方法主要具有以下特点和作用:(1)综合了全局特征和局部特征来绘制三维数据,优化了效率;(2)强调了数据特征,针对不同数据特征的对象和采用与之相适应的各重建算法,完善了绘制效果,增强了数据信息。本发明适用于需要仔细了解图像中各物体特征的场合,所采用的图像中应该有复杂的数据特征,只有通过仔细的分析才能提取出其中的感兴趣区域。
具体实施方式
结合本发明方法的具体内容提供以下实施例:
核磁共振设备采集的人体器官二维图像序列是满足具有多种复杂特征的二维断层扫描图像序列。在实际应用中,医生通过观察该序列中每张图像所表现出来的特征来判断人体各组织器官的位置,重点确定病变组织的位置,从而制定出射线治疗和手术的方案。本发明可以应用在这种场合。
本实例所使用的二维图像序列为某某医院利用马可尼医疗设备公司1.5T核磁共振影像设备(Eclipse 1.5T,Marconi Medical systems,Inc,)采集的17岁男孩的腿部(含骨肉瘤)的二维图像序列。
运行本发明方法的设备为普通个人计算机,其具体配置为P42.0G,256M内存,80G硬盘。软件平台为Windows 2000以及一个自设计的数字影像处理系统。
具体实施情况如下:
步骤一,分割出二维图像序列中的感兴趣区域并构造对象表:
(1)对步骤一得到的图像数据,采用基于灰度的FuzzyConnectness图像分割算法,分割出感兴趣组织,如肌肉、血管、骨头以及骨肉瘤组织,其中肿瘤组织包括肿瘤实质、坏死和肿瘤骨;
(2)将分割后的二维图像序列建成为一个三维空间立方体,每个像素则成为空间中的一个点,每相邻两层间的八个相邻点就构成一个空间立方体,即体素,它是空间数据中的最小单位;
(3)对分割出的对象构造对象表,将每一切片上的所有对象作为一个表项,对象则按链表的方式连接起来,链表项包括对象中所有体素的位置信息、灰度值、不透明度和颜色对照表。分析各个对象的特征,并标记相适应的三维重建算法。对于有明显边界特征的对象,即对象边界像素的灰度值与外相邻像素的灰度值差异很大,则标记为使用等值面绘制算法,实例中采用移动立方体法;对于需要表现内部信息的对象,则标记为使用直接体绘制算法,实例中采用光线投射法;对于灰度值较大的对象,如血管,采用最大强度投影法;对于需要表现图像没有表达出来的隐藏信息的对象,采用非真实感绘制法。
步骤二,建立全局绘制模型和局部绘制模型:
(1)从视线的方向引出光线穿过由二维图像序列构成的三维空间长方体,按一定的步长在光线上采样取点,并按三线性插值算法计算这些采样点的灰度值;
(2)对(1)中所取的各采样点,根据对象表,统计各采样点所处的对象在对象表中标记的算法种类,并建立各算法的绘制模型。对于移动立方体法,在对象中建立等值面,并用三角形拟合等值面;对于光线投射法,则按光线的方向叠加各采样点的色彩和不透明度;对于最大强度投影法,也是按光照模型,只是取光线上最大的灰度的像素点;对于非真实感绘制法,设置色彩和不透明度的转换方程,增强图像的特征信息。
步骤三,对于步骤一中建立的三维数据,应用全局绘制模型和局部绘制模型:
(1)在全局绘制模型中输入步骤一中建立的三维体数据,开始计算各投射线所经过的采样点,以采样点所处体素在对象表中的对象ID来区分所处的对象,将对象看作基本单位;
(2)对于各个对象所对应的局部绘制模型,将对象数据输入,各自计算绘制过程;
(3)在全局模型上,对整条光线上的像素进行叠加,合成像素的色彩和不透明度,合成公式是:
Cacc=(1-Oacc)CnewOnew+Cacc
Oacc=(1-Oacc)Onew+Oacc ①
其中,Cnew和Onew表示沿着叠加顺序最新遇到的体素的色彩与非透明度,等号左边的Cacc和Oacc是叠加后的色彩和不透明度,等号右边的Cacc和Oacc是上次叠加后的色彩和不透明度。
步骤四,利用计算机绘制手段,在计算机屏幕上显示三维物体:
利用OpenGL(一种到图形硬件的软件接口),对绘制结果进行光照、渲染、上色、添加不透明度以及转换视角等计算机绘制操作,在计算机屏幕上显示最终的三维图像。
步骤五,对步骤四得到的三维物体进行任意切割:
(1)在三维物体中放置两个切割平面,初始位置为物体的中心,相互垂直放置;
(2)分别平移或旋转两个平面,计算两平面的相交区域,把三维体数据模型中在该区域中的相应部分去除,得到切割后的三维图像,可以显示三维物体的内部信息。
本发明方法取得了较好的实施效果:最终结果图像显示出了骨肉瘤组织、肌肉、血管、骨头以及皮肤,病变组织在腿部的位置很清楚。并且可以对三维图像进行任意方向和角度的切割,通过切割,内部组织的信息也得到了直观的显示。
Claims (4)
1、一种二维图像序列三维重建方法,其特征在于,步骤如下:
步骤一:使用基于灰度的模糊连接分割方法对二维图像序列进行分割,分割出图像序列中感兴趣的对象,将分割后的图像序列按照空间体素的构造方式构造成一个三维体数据,并将分割出的对象按特征进行分类,构造包含体素的位置、灰度值、不透明度和颜色对照表的对象表;
步骤二:根据步骤一处理好的图像序列,建立三维显示的全局绘制模型和局部绘制模型,全局绘制模型以整个三维图象为目标建立绘制关系,而局部绘制模型以各个对象为目标建立绘制关系,两者的结合是一种全新的绘制方式,不见于一般的三维图像绘制方法;
步骤三:按步骤二建立的全局和局部绘制模型对二维图像序列进行三维重建,对步骤一建立的三维体数据,应用全局绘制模型,按照光线投射法绘制整个三维物体,然后根据步骤一建立的对象表,根据各个对象的特征,应用局部绘制模型,即分别采用体绘制或面绘制的具体方法绘制适合这些方法的对象;
步骤四:采用光照、渲染、透视、色彩和不透明度计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上;
步骤五:在步骤四中绘制出的三维物体中放置两个切割平面,自由平移和旋转切割平面,实现对三维物体进行任意方向的切割,以观察物体的内部信息。
2、根据权利要求1所述的二维图像序列三维重建方法,其特征是,所述的步骤一,具体为:
(1)采用由模糊理论而衍生出来的基于灰度的模糊连接图像分割算法分割二维图像序列,获得图像内的各个对象;
(2)将分割后的二维图像序列构造成一个三维体数据,即三维空间中的一个长方体,上下两层切片中,每八个相邻像素点构成的一个空间立方体是空间体数据的最小单位;
(3)构造对象表,每一表项代表二维图像序列的一个切片,各表项包括该切片内的所有对象,各对象则包含属于该对象的所有体素的位置、灰度值、不透明度和颜色对照表,各体素拥有同一对象ID,分析各对象的特征,标记适用的三维重建算法,如对象有明显的边界,则用等值面绘制法;如对象的内部信息比较重要,则用直接体绘制法;如对象为血管,则用最大强度投影法;如需表现对象在图像中未显示的隐藏信息,则用非真实感绘制法。
3、根据权利要求1所述的二维图像序列三维重建方法,其特征是,所述的步骤二,具体为:
(1)对二维图像序列建立全局绘制模型,按照视线的方向投射一条光线穿过体数据,在光线上按照一定的步长取采样点,将各采样点按射线的方向进行叠加,即绘制出三维物体;
(2)所取的采样点不会都位于同一对象之中,根据对象的特征,建立不同的绘制模型,按对象表中所标记的算法,建立各算法的绘制模型。
4、根据权利要求1所述的二维图像序列三维重建方法,其特征是,所述的步骤三,具体为:
(1)将全局绘制模型应用到三维体数据之中,计算各投射光线上的采样点,由采样点所处体素的对象ID来区分对象,将对象作为全局绘制模型中的基本单位;
(2)按照对象表,根据对象表中各对象所适用的算法,将各局部绘制模型分别应用于各对象;
(3)将全局模型中的各条光线进行叠加,计算每条光线叠加后的色彩和不透明度,绘制出最后的三维物体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200410053489 CN1271572C (zh) | 2004-08-05 | 2004-08-05 | 二维图像序列三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200410053489 CN1271572C (zh) | 2004-08-05 | 2004-08-05 | 二维图像序列三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1588452A CN1588452A (zh) | 2005-03-02 |
CN1271572C true CN1271572C (zh) | 2006-08-23 |
Family
ID=34602881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200410053489 Expired - Fee Related CN1271572C (zh) | 2004-08-05 | 2004-08-05 | 二维图像序列三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1271572C (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100348158C (zh) * | 2005-05-26 | 2007-11-14 | 西安理工大学 | Ct图像的快速渐进式直接体绘制三维重建方法 |
CN100388318C (zh) * | 2005-11-28 | 2008-05-14 | 北京航空航天大学 | 一种基于状态集的Shader三维图形绘制系统和绘制方法 |
US8466916B2 (en) * | 2006-02-21 | 2013-06-18 | Siemens Aktiengesellschaft | System and method for in-context volume visualization using virtual incision |
CN100394448C (zh) * | 2006-05-17 | 2008-06-11 | 浙江大学 | 基于图像传输的三维远程渲染系统及其方法 |
WO2008081961A1 (ja) * | 2007-01-04 | 2008-07-10 | Hajime Narukawa | 情報処理方法 |
CN101551918B (zh) * | 2009-04-28 | 2010-12-08 | 浙江大学 | 一种基于线激光的大型场景获取方法 |
CN102013116B (zh) * | 2010-11-30 | 2012-11-07 | 华润万东医疗装备股份有限公司 | 基于脑血管旋转造影术进行三维重建的方法 |
CN102496184B (zh) * | 2011-12-12 | 2013-07-31 | 南京大学 | 一种基于贝叶斯和面元模型的增量三维重建方法 |
CN102945127B (zh) * | 2012-11-05 | 2016-04-27 | 深圳市旭东数字医学影像技术有限公司 | 体绘制显示的交互方法及其系统 |
CN103234990A (zh) * | 2013-03-28 | 2013-08-07 | 上海交通大学 | 一种焊缝中气孔形态及分布的无损检测新方法 |
CN103268630B (zh) * | 2013-05-22 | 2015-11-18 | 北京工业大学 | 一种基于血管内超声影像的血管三维可视化方法 |
CN104794744B (zh) * | 2014-01-16 | 2019-03-05 | 上海联影医疗科技有限公司 | 一种医学图像的多平面重建成像方法 |
CN104992444B (zh) * | 2015-07-14 | 2018-09-21 | 山东易创电子有限公司 | 一种人体断层数据的切割方法及系统 |
CN105006012B (zh) * | 2015-07-14 | 2018-09-21 | 山东易创电子有限公司 | 一种人体断层数据的体渲染方法及系统 |
KR102207725B1 (ko) * | 2016-04-08 | 2021-01-26 | 샤이닝 쓰리디 테크 컴퍼니., 리미티드. | 다중 측량 모드의 3차원 측량 시스템 및 측량방법 |
CN106204729A (zh) * | 2016-07-14 | 2016-12-07 | 武汉科技大学 | 一种焦炭显微结构图的三维重建方法 |
CN106056668A (zh) * | 2016-07-14 | 2016-10-26 | 武汉科技大学 | 一种烧结矿显微结构图的三维重建方法 |
CN106504313A (zh) * | 2016-11-22 | 2017-03-15 | 山东省科学院海洋仪器仪表研究所 | 一种Volume重建范围的扩展方法及系统 |
CN106846492B (zh) * | 2017-01-05 | 2018-07-03 | 北京触幻科技有限公司 | 一种医学影像在vr环境下的处理方法及系统 |
CN107451406A (zh) * | 2017-07-28 | 2017-12-08 | 海纳医信(北京)软件科技有限责任公司 | 血管分析方法、装置、存储介质和处理器 |
CN109389669A (zh) * | 2017-08-04 | 2019-02-26 | 阿里健康信息技术有限公司 | 虚拟环境中人体三维模型构建方法及系统 |
CN110047101A (zh) * | 2018-01-15 | 2019-07-23 | 北京三星通信技术研究有限公司 | 物体姿态估计方法、获得稠密深度图像的方法、相应装置 |
CN109410313B (zh) * | 2018-02-28 | 2023-03-24 | 南京恩瑞特实业有限公司 | 一种气象三维信息3d模拟反演方法 |
CN108537872B (zh) * | 2018-03-07 | 2022-02-15 | 海信视像科技股份有限公司 | 一种图像渲染方法、移动设备和云端设备 |
CN108389202B (zh) * | 2018-03-16 | 2020-02-14 | 青岛海信医疗设备股份有限公司 | 三维虚拟器官的体积计算方法、装置、存储介质及设备 |
CN111070664B (zh) * | 2019-12-30 | 2022-03-04 | 上海联影医疗科技股份有限公司 | 一种3d打印切片生成方法、装置、设备和存储介质 |
CN112116700B (zh) * | 2020-08-28 | 2022-09-16 | 北京航空航天大学 | 基于单目视图的三维重建方法与装置 |
CN113470152A (zh) * | 2021-06-21 | 2021-10-01 | 北京理工大学 | 一种颜色保真的功能影像体绘制方法 |
CN113256754B (zh) * | 2021-07-16 | 2021-09-28 | 南京信息工程大学 | 一种分割后小面积肿瘤块的堆叠投影重建方法 |
CN114445431B (zh) * | 2022-04-11 | 2022-07-26 | 浙江卡易智慧医疗科技有限公司 | 一种医学三维影像任意切割的方法与装置 |
-
2004
- 2004-08-05 CN CN 200410053489 patent/CN1271572C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1588452A (zh) | 2005-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1271572C (zh) | 二维图像序列三维重建方法 | |
CN101796544B (zh) | 体素数据的可视化方法和系统 | |
CN101178814B (zh) | 一种融合解剖与功能成像信息数据场的半透明体绘制方法 | |
US20160026266A1 (en) | Method and apparatus for three dimensional viewing of images | |
CN102984511A (zh) | 生成多分辨率结构以改进医疗成像工作流的方法和设备 | |
CN103106685B (zh) | 一种基于gpu的腹部脏器三维可视化方法 | |
CN1818974A (zh) | 一种多模态医学体数据三维可视化方法 | |
US10964095B1 (en) | Method and apparatus for tandem volume rendering | |
CN103077557B (zh) | 一种自适应分层次胸部大数据显示的实现方法 | |
CN106570930A (zh) | 一种基于三维超体素描述的数字化生理生物体建模方法 | |
CN110458949A (zh) | 三维模型的二维切平面的重建方法、移动终端及电子设备 | |
CN111415728A (zh) | 基于cnn和gan的ct图像数据自动分类方法及设备 | |
CN103268630A (zh) | 一种基于血管内超声影像的血管三维可视化方法 | |
CN106327479A (zh) | 血管造影中介下先心病术中血管辨识的装置及方法 | |
CN111612792B (zh) | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 | |
CN100541541C (zh) | 基于单层表面跟踪的超大规模医学图像表面重建方法 | |
Huang et al. | 3D reconstruction and visualization from 2D CT images | |
Fu et al. | Multimodal biomedical image fusion method via rolling guidance filter and deep convolutional neural networks | |
Costa et al. | Data augmentation for detection of architectural distortion in digital mammography using deep learning approach | |
CN1692377A (zh) | 形成人体结构的独立显影的方法和设备 | |
CN103218848A (zh) | 基于电场理论的传递函数的直接体绘制方法 | |
US11625891B1 (en) | Method and apparatus for preemptive volume rendering | |
CN112132189B (zh) | 一种面向cbct图像的密度峰值超像素预处理方法 | |
CN1315102C (zh) | 物体的体透明漫游方法及其系统 | |
CN112634470B (zh) | 三维阈值立体图形展开方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20060823 |