CN115937393A - 一种结合光线追踪与体绘制的ct重建方法与系统 - Google Patents

一种结合光线追踪与体绘制的ct重建方法与系统 Download PDF

Info

Publication number
CN115937393A
CN115937393A CN202310112209.6A CN202310112209A CN115937393A CN 115937393 A CN115937393 A CN 115937393A CN 202310112209 A CN202310112209 A CN 202310112209A CN 115937393 A CN115937393 A CN 115937393A
Authority
CN
China
Prior art keywords
pixel color
reconstruction
rendering
ray tracing
lung
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310112209.6A
Other languages
English (en)
Inventor
李静
周杰
沈南燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shangzhi Youzhuo Robot Technology Co ltd
Original Assignee
Shanghai Shangzhi Youzhuo Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shangzhi Youzhuo Robot Technology Co ltd filed Critical Shanghai Shangzhi Youzhuo Robot Technology Co ltd
Priority to CN202310112209.6A priority Critical patent/CN115937393A/zh
Publication of CN115937393A publication Critical patent/CN115937393A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种结合光线追踪与体绘制的CT重建方法与系统，涉及医学图像三维可视化领域。本发明包括以下步骤：获取肺部CT二维图像序列，所述肺部CT二维图像序列构成体数据；采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；使用光线追踪绘制手术器械，并计算第二像素颜色；将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。本发明用于手术导航系统医学影像三维重建领域，提高手术导航医学影像三维重建模型的质量，与光线追踪算法相结合，加强医生对三维解剖模型的深度感知。

Description

一种结合光线追踪与体绘制的CT重建方法与系统
技术领域
本发明涉及医学图像三维可视化领域，更具体的说是涉及一种结合光线追踪与体绘制的CT重建方法与系统。
背景技术
传统医学影像技术能获取人体的二维投影图像，如X射线图像，计算机断层扫描(Computed Tomography，CT)图像或核磁共振图像(Magnetic Resonance Imaging，MRI)。随着医学影像技术的发展，病人单次扫描获取的影像数目越来越多，医生为了诊断病情往往需要查看大量的二维图像，不仅耗时，而且二维影像没有对解剖结构的整体感知，容易造成疾病误判。在此背景下，将三维重建技术应用到二维断层图像序列中，提高器官或病灶在三维空间的立体感知，清晰展现病灶的空间位置、大小、几何形状，可以使医生更加了解病人身体解剖结构，对病灶区域有更清晰的认知，从而准确判断病情。
传统的医学图像三维重建技术分为面绘制和体绘制，面绘制会损失大量原有二维序列图像信息，不利于医生对解剖结构的信息判断。传统体绘制使用光线投射法进行医学图像三维重建，基本原理是从屏幕上每一个像素点出发，沿着视线方向发射出一条光线，沿着穿过光线的体数据等距离采样；使用传递函数对采样点进行分类，赋予不同的颜色和传递函数；然后按照从前向后或从后到前的顺序合成采样点信息，计算出采样点在发射光线的像素上的投影颜色值。相比于面绘制，基于光线投射法的体绘制可以展现重建物体的内部信息，绘制效果较好，是目前最为广泛应用的医学图像三维重建方法，但是也无法达到自然界真实光照的效果。
现有手术导航系统中的医学影像三维重建效果差，无法在手术规划过程中给医生提供清晰的解剖结构，在使用手术导航系统引导时无法给医生提供准确的深度感知，易造成医生误操作。
发明内容
有鉴于此，本发明提供了一种结合光线追踪与体绘制的CT重建方法与系统，是一种高质量的基于蒙特卡洛路径追踪的体绘制方法及系统，用于手术导航系统医学影像三维重建领域，提高手术导航医学影像三维重建模型的质量，与光线追踪算法相结合，加强医生对三维解剖模型的深度感知。
为了实现上述目的，本发明采用如下技术方案：
一方面公开了一种结合光线追踪与体绘制的CT重建方法，包括以下步骤：
获取肺部CT二维图像序列，所述肺部CT二维图像序列构成体数据；
采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
使用光线追踪绘制手术器械，并计算第二像素颜色；
将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
可选的，所述渲染方程如下：
Figure BDA0004077193480000021
其中，
Figure BDA0004077193480000022
表示x位置处沿着
Figure BDA0004077193480000023
方向出射的辐射亮度，
Figure BDA0004077193480000024
是边界项，表示射线末端xd沿
Figure BDA0004077193480000025
反方向的入射辐射亮度，
Figure BDA0004077193480000026
表示位置xt沿着
Figure BDA0004077193480000027
内散射的辐射亮度，s表示光线在介质中的深度，σs(xt)表示xt处的散射系数，
Figure BDA0004077193480000028
表示位置x到xt间的透射系数。
可选的，其中，Tr的值为：
Figure BDA0004077193480000031
其中，σt表示介质的消光系数，为散射系数σs和吸收系数σa的和；在均匀介质中，消光系数σt为常数，此时
Figure BDA0004077193480000032
可选的，体绘制方程应该变为：
Figure BDA0004077193480000033
其中，j是第j个采样点；t表示第j个采样点离光线起点的距离；p(tj)是第j个采样点在某一位置的概率密度函数；xj表示第j个采样点的位置，ωj表示光线在第j个采样点处的传播方向；
Figure BDA0004077193480000034
分别为发生散射和零碰撞的概率。
可选的，使用光线追踪绘制手术器械，具体为：将手术器械导入场景中，从视点向成像平面的像素发射光线，找到与发射光线相交的最近物体的交点，若交点处表面是散射面，则直接计算光源照射交点产生的颜色；如果交点处表面是镜面或折射面，则继续向反射或折射方向跟踪另一条光线，如此递归，直到光线逃逸出场景或达到最大递归深度。
另一方面还公开了一种结合光线追踪与体绘制的CT重建系统，包括：肺部CT二维图像序列获取模块，渲染方程建立模块，第一像素颜色计算模块，第二像素颜色计算模块和CT重建结果模块；
其中，肺部CT二维图像序列获取模块：用于获取肺部CT二维图像序列，所述肺部CT二维图像序列构成体数据；
渲染方程建立模块，用于采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
第一像素颜色计算模块，用于采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
第二像素颜色计算模块，用于使用光线追踪绘制手术器械，并计算第二像素颜色；
CT重建结果模块，用于将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
经由上述的技术方案可知，与现有技术相比，本发明公开了一种结合光线追踪与体绘制的CT重建方法与系统，具有以下有益效果：
1、高质量：通过蒙特卡洛路径追踪的方法，能够提高医学影像三维重建模型的质量，使医生在手术规划过程中能够获得清晰的解剖结构。
2、准确性高：与光线追踪算法相结合，能够进一步提高医生对三维解剖模型的深度感知，提高手术导航系统的准确性。
3、可靠性高：由于该算法能够提高手术导航系统的准确性，因此在手术导航系统中应用该算法，可以提高手术导航系统的可靠性，避免医生误操作的风险。
4、应用广泛：该算法适用于医学影像三维重建领域，可以应用于各种不同类型的医学影像三维重建，具有广泛的应用前景。
基于以上优点，本发明提出的基于蒙特卡洛路径追踪的体绘制与光线追踪结合的算法，具有较高的技术水平和经济价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的流程示意图；
图2为本发明的蒙特卡洛路径追踪示意图；
图3为本发明的光线追踪示意图；
图4为本发明的CT重建结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种结合光线追踪与体绘制的CT重建方法，使用基于蒙特卡洛路径追踪算法对医疗体数据进行三维重建，相对基于光线投射法的体绘制，该方法能模拟光线的反射、折射、漫反射等效果，实现在自然照明效果下的人体解剖结构显示。其基本思想是从视点发出光线，与物体表面相交时，根据表面材质属性随机采样一个方向，反射光线，不断迭代，直到光线打到光源上或者逃逸出场景，使用蒙特卡洛方法计算光线的贡献作为像素的颜色值。蒙特卡洛路径追踪能极大提高医学影像渲染质量，但在手术导航系统中，还需要对实时跟踪的手术器械进行绘制。为此，本发明使用蒙特卡洛路径追踪对医学图像进行三维重建，使用增量跟踪方法对光线采样，与传统的光线步进采样方法只能采样固定步长相比，增量跟踪方法能根据体数据的特性进行不同密度的采样，采样点的分布取决于体数据的消光系数，消光系数大的区域采样点越多。同时，针对手术导航系统的引导需求，使用光线追踪绘制手术器械，并实时跟踪手术器械位置。将蒙特卡洛路径追踪与光线追踪相结合，实现医疗体数据的重建及引导。
如图1所示，具体包括以下步骤：
S1：获取肺部CT二维图像序列，肺部CT二维图像序列构成体数据；
S2：采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
S3：采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
S4：使用光线追踪绘制手术器械，并计算第二像素颜色；
S5：将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
进一步的，在S1中，从医院或开源数据集中获取肺部CT二维图像序列，构成体数据的输入。
进一步的，在S2中，采用蒙特卡洛路径追踪的方法对体数据进行绘制，如图2所示，由于一般不考虑体数据的发射模型。根据体数据的吸收和散射模型，可以得到如下渲染方程：
Figure BDA0004077193480000061
其中，
Figure BDA0004077193480000062
表示x位置处沿着
Figure BDA0004077193480000063
方向出射的辐射亮度，
Figure BDA0004077193480000064
是边界项，表示射线末端xd沿
Figure BDA0004077193480000065
反方向的入射辐射亮度，
Figure BDA0004077193480000066
表示位置xt沿着
Figure BDA0004077193480000067
内散射的辐射亮度，s是光线在介质中的深度。σs(xt)表示xt处的散射系数，
Figure BDA0004077193480000068
表示位置x到xt间的透射系数，描述了光线穿过介质的衰减，其中Tr的值为：
Figure BDA0004077193480000069
其中，σt表示介质的消光系数，为散射系数σs和吸收系数σa的和，即σt＝σs+σa；在均匀介质中，消光系数σt为常数，此时
Figure BDA00040771934800000610
进一步的，在S3中，采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程。
在均匀介质中，渲染方程中的
Figure BDA0004077193480000071
项等于
Figure BDA0004077193480000072
即计算
Figure BDA0004077193480000073
其中，j表示第j个采样点，t表示第j个采样点离光线起点的距离；pdf是采样的概率密度函数。令
Figure BDA0004077193480000074
则
Figure BDA0004077193480000075
其反函数为：
Figure BDA0004077193480000076
其中ζ∈[0,1)，即采样距离t的值为：
Figure BDA0004077193480000077
然而，体数据一般都是非均匀介质。在处理非均匀介质时，可以在介质中插入虚拟粒子，使得插入虚拟粒子之后的非均匀介质变成均匀介质，这样就能利用在均匀介质中的采样距离进行采样。将光线与虚拟粒子的碰撞视为虚拟碰撞，引入零碰撞系数σn(x)，与其他系数物理性质相同。使所有系数之和
Figure BDA0004077193480000078
变为常数，即：
Figure BDA0004077193480000079
由于
Figure BDA00040771934800000710
为常数，就可以使用与均匀介质相同的采样方法进行采样，概率密度函数为：
Figure BDA00040771934800000711
此时，由于有三种碰撞类型，且不考虑发射项，故体绘制方程应该变为：
Figure BDA00040771934800000712
其中，j是第j个采样点；p(tj)是第j个采样点在某一位置的概率密度函数；
Figure BDA0004077193480000081
分别为发生散射和零碰撞的概率。至此，采样算法结束。
进一步的，在S4中，将手术器械导入场景中，从视点向成像平面的像素发射光线，找到与该光线相交的最近物体的交点，若该点处表面是散射面，则直接计算光源照射该点产生的颜色；如果该点处表面是镜面或折射面，则继续向反射或折射方向跟踪另一条光线，如此递归，直到光线逃逸出场景或达到最大递归深度。示意图如图3。
进一步的，在S5中，将基于蒙特卡洛路径追踪的体绘制结果与光线追踪结果相叠加，合成最终图像，如图4所示。
本实施例还公开了一种结合光线追踪与体绘制的CT重建系统，包括：肺部CT二维图像序列获取模块，渲染方程建立模块，第一像素颜色计算模块，第二像素颜色计算模块和CT重建结果模块；
其中，肺部CT二维图像序列获取模块：用于获取肺部CT二维图像序列，肺部CT二维图像序列构成体数据；
渲染方程建立模块，用于采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
第一像素颜色计算模块，用于采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
第二像素颜色计算模块，用于使用光线追踪绘制手术器械，并计算第二像素颜色；
CT重建结果模块，用于将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种结合光线追踪与体绘制的CT重建方法，其特征在于，包括以下步骤：
获取肺部CT二维图像序列，所述肺部CT二维图像序列构成体数据；
采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
使用光线追踪绘制手术器械，并计算第二像素颜色；
将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
2.根据权利要求1所述的一种结合光线追踪与体绘制的CT重建方法，其特征在于，所述渲染方程如下：
Figure FDA0004077193470000011
其中，
Figure FDA0004077193470000012
表示x位置处沿着
Figure FDA0004077193470000013
方向出射的辐射亮度，
Figure FDA0004077193470000014
是边界项，表示射线末端xd沿
Figure FDA0004077193470000015
反方向的入射辐射亮度，
Figure FDA0004077193470000016
表示位置xt沿着
Figure FDA0004077193470000017
内散射的辐射亮度，s表示光线在介质中的深度，σs(xt)表示xt处的散射系数，
Figure FDA0004077193470000018
表示位置x到xt间的透射系数。
3.根据权利要求2所述的一种结合光线追踪与体绘制的CT重建方法，其特征在于，其中，Tr的值为：
Figure FDA0004077193470000019
其中，σt表示介质的消光系数，为散射系数σs和吸收系数σa的和；在均匀介质中，消光系数σt为常数，此时
Figure FDA00040771934700000110
4.根据权利要求1所述的一种结合光线追踪与体绘制的CT重建方法，其特征在于，体绘制方程应该变为：
Figure FDA0004077193470000021
其中，j是第j个采样点；t表示第j个采样点离光线起点的距离；p(tj)是第j个采样点在某一位置的概率密度函数；xj表示第j个采样点的位置，ωj表示光线在第j个采样点处的传播方向；
Figure FDA0004077193470000022
分别为发生散射和零碰撞的概率。
5.根据权利要求1所述的一种结合光线追踪与体绘制的CT重建方法，其特征在于，使用光线追踪绘制手术器械，具体为：将手术器械导入场景中，从视点向成像平面的像素发射光线，找到与发射光线相交的最近物体的交点，若交点处表面是散射面，则直接计算光源照射交点产生的颜色；如果交点处表面是镜面或折射面，则继续向反射或折射方向跟踪另一条光线，如此递归，直到光线逃逸出场景或达到最大递归深度。
6.一种结合光线追踪与体绘制的CT重建系统，其特征在于，包括：肺部CT二维图像序列获取模块，渲染方程建立模块，第一像素颜色计算模块，第二像素颜色计算模块和CT重建结果模块；
其中，肺部CT二维图像序列获取模块：用于获取肺部CT二维图像序列，所述肺部CT二维图像序列构成体数据；
渲染方程建立模块，用于采用蒙特卡洛路径追踪的方法对体数据进行绘制，根据体数据的吸收和散射模型，得到渲染方程；
第一像素颜色计算模块，用于采用增量跟踪方法对光线采样，并使用蒙特卡洛方法求解渲染方程，得到第一像素颜色；
第二像素颜色计算模块，用于使用光线追踪绘制手术器械，并计算第二像素颜色；
CT重建结果模块，用于将第一像素颜色和第二像素颜色进行叠加，得到CT重建结果。
CN202310112209.6A 2023-02-14 2023-02-14 一种结合光线追踪与体绘制的ct重建方法与系统 Pending CN115937393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310112209.6A CN115937393A (zh) 2023-02-14 2023-02-14 一种结合光线追踪与体绘制的ct重建方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310112209.6A CN115937393A (zh) 2023-02-14 2023-02-14 一种结合光线追踪与体绘制的ct重建方法与系统

Publications (1)

Publication Number Publication Date
CN115937393A true CN115937393A (zh) 2023-04-07

Family

ID=86656051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310112209.6A Pending CN115937393A (zh) 2023-02-14 2023-02-14 一种结合光线追踪与体绘制的ct重建方法与系统

Country Status (1)

Country Link
CN (1) CN115937393A (zh)

Similar Documents

Publication Publication Date Title
CN110211215B (zh) 医用图像处理装置以及医用图像处理方法
CN108701370B (zh) 基于机器学习的基于内容的医学成像渲染
Maier-Hein et al. Comparative validation of single-shot optical techniques for laparoscopic 3-D surface reconstruction
US6301498B1 (en) Method of determining carotid artery stenosis using X-ray imagery
CN109584349B (zh) 用于渲染材料属性的方法和设备
US9524552B2 (en) 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
JP6688618B2 (ja) 医用画像処理装置及び医用画像診断装置
US11676706B2 (en) Medical image processing apparatus and medical image processing method which are for medical navigation device
CN111836584B (zh) 超声造影成像方法、超声成像装置和存储介质
CN117529273A (zh) 从超声图像和相机图像重建3d图像的系统和方法
CN111080765B (zh) 一种基于梯度采样的光线跟踪体绘制方法
JP7237623B2 (ja) 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN115937393A (zh) 一种结合光线追踪与体绘制的ct重建方法与系统
US10347032B2 (en) Slice representation of volume data
Zhang et al. Automatic measurement of exophthalmos based orbital CT images using deep learning
KR102007316B1 (ko) 외장 의안의 3차원 영상 생성 장치 및 방법
Kalshetti et al. Antara: An interactive 3D volume rendering and visualization framework
US12002147B2 (en) Method and system for optimizing distance estimation
EP4231246A1 (en) Technique for optical guidance during a surgical procedure
Regef et al. Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations
Ma et al. 3D Saliency from eye tracking with tomography
Li et al. Real-Time Spatiotemporal Denoising Volumetric Rendering in Three-Dimensional Visualization of Puncturing Navigation
Wasza Real-time Respiratory Motion Analysis Using GPU-accelerated Range Imaging
Ajani et al. Volumetric Clipping Surface: Un-occluded visualization of structures preserving depth cues into surrounding organs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination