CN107492138A - 体渲染和面渲染的无缝结合及其碰撞检测方法 - Google Patents

Abstract

本发明公开了一种体渲染和面渲染的无缝结合及其碰撞检测方法，该方法包括：读取CT核磁影像数据；显示基于CT核磁数据的三维模型，同时可以正确显示传统制作的obj模型；可以射线检测体渲染模型的碰撞；可以完成体渲染模型上的曲线距离测量。该项技术能同时显示CT和核磁共振数据的3维模型和传统人工制作的obj模型，并显示其空间层次关系，能让医生在做术前准备方案的时候加入更多的操作，并且衍生出基于体渲染的碰撞检测算法，让测量曲面上的最短曲线距离成为可能。

Description

体渲染和面渲染的无缝结合及其碰撞检测方法

技术领域

本发明涉及医学图像领域，尤其是涉及一种体渲染和面渲染的无缝结合及其碰撞检测方法。

背景技术

电子计算机断层扫描(Computed Tomography,CT)是利用X光的穿透性和荧光作用，将被检查者置于荧光屏(或者影像增强器)与X线管之间，X线穿过人体之后在荧光屏(或者影像增强器)上形成可见影像并进行视读的检查。X线束对人体某部位一定厚度的层面进行扫描，由探测器收集透过该层面的X线信息，转变为可见光，由光电转换器变为电信号，再经模拟/数字转换器转换为数字信息，输入计算机处理，而计算机由得到的数据计算出每个体素(voxel)的X线衰减系数，排列成矩阵，重建图像；再经数字/模拟转换器，每个数字转换为黑白灰阶的小方块成为像素(pixel)，按矩阵排列成CT影像。

CT检查比较方便迅速，也易为患者接受，能提供没有组织重叠的横断面图像，可以更逼真地显示病变的部位图像；用造影剂增强扫描进行辅助检查，不仅进步了病变的发现率，而且有的还能做出定性诊断。CT扫描虽有广泛的适应范围，但它并非万能，由于技术和CT机本身的原因，以及病人身体的移动、脏器的不自主运动和邻近结构的密度差别过大，有时会出现图像的干扰，造成诊断的不正确。

核磁共振成像是一种利用核磁共振原理的最新医学影像新技术，对脑、甲状腺、肝、胆、脾、肾、胰、肾上腺、子宫、卵巢、前列腺等实质器官以及心脏和大血管有绝佳的诊断功能。核磁共振对颅脑、脊髓等疾病是目前最有效的影像诊断方法，不仅可以早期发现肿瘤、脑梗塞、脑出血、脑脓肿、脑囊虫症及先天性脑血管畸形，还能确定脑积水的种类及原因等。而针对危害中国女性生命健康的第一大妇科疾患—乳腺癌，通过核磁共振精准筛查，可以帮助发现乳腺癌早期病灶；而针对“高血压、高血脂、高血糖”等三高人群，可以通过对头部及心脏等部位的核磁检查，在身体健康尚未发出红灯警讯前，早期发现心脏病、脑梗等高风险疾病隐患。此外，核磁共振还可进行腹部及盆腔的检查，如肝脏、胆囊、胰腺、子宫等均可进行检查，腹部大血管及四肢血管成像可以明确诊断真性、假性动脉瘤，夹层动脉瘤及四肢血管的各种病变。核磁共振对各类关节组织病变诊断非常精细，对骨髓、骨的无菌性坏死十分敏感。

结合上述内容，本发明人发现他们存在一系列不足之处，例如：

1、传统医生收取影像数据后可以通过图像观看病例的冠状面、矢状面和横截面，也可以观看通过影像数据重建的3D模型，但医生无法在重建后的3D模型上进行修改或是测量或是任何操作，传统的影像只是让医生能从几个侧面观察病例。但由于人体结构的复杂性，医生，医生无法从2D图像直接得出3D空间中的准确位置以及其曲面距离，传统方法只是粗略估计，以直线代替曲线去测量其距离。当前的医用影像设备没法给予医生一个精确的参考，医生只能通过肉眼和直尺去估算他所需要的一些数据，不便捷且不精确。

2、以神经外科肿瘤案例作为参考，传统的术前准备方案是医生观察2DCT或是MRI图像后，通过自己的经验脑补出肿瘤病例在病人脑部的粗略位置，随后凭借经验合理选择颅窗的具体位置。没有直观而又便捷的可操作工具。

3、医患交流时，病人很难理解2D的CT图像或是核磁共振图像，医生没有办法很好的解释整个手术流程和其所存在的风险，医患沟通容易产生矛盾，因为没有医学背景的病人无法很直观的了解到自己的情况。

发明内容

本发明的目的就是为了解决上述问题，提供一种体渲染和面渲染的无缝结合及其碰撞检测方法，其可以有效解决体渲染和面渲染两者无法结合的问题，传统的体渲染和面渲染由于其渲染方式不同，尤其是渲染过程中最重要的深度图没法准确得出，导致了两者没法完美结合，我们的技术解决了这样的问题，从技术上使之完美融合；再者，本发明还可以有效解决传统体渲染的碰撞检测问题，传统的体渲染由于其成像渲染的特殊性，无法判断其具体碰撞，我们的技术通过独有的算法解决了该项难题。

为解决上述技术问题，本发明提供了一种体渲染和面渲染的无缝结合及其碰撞检测方法，该方法为：通过3D纹理数据各个像素的值来生成体渲染的深度图，随后和面渲染的深度图进行叠加，其中，体渲染的深度图的获取方式为：定义每一个屏幕上的像素，对该像素进行光线投射采用，从起始点开始，每当累加值突破预设的实心区域定义后，记录下该点的深度信息，采用16位灰阶图保存其深度信息，图像数据中0-1数据范围表示，定义深度图中1代表最远距离为离画布10m处；

获取体渲染的深度图后，面渲染与体渲染的融合方式如下：

按照传统方式旋绕面渲染模型，得到面渲染的颜色图和深度图；

按照上述方式渲染体渲染模型，得到体渲染的颜色图和深度图；

把面渲染的深度图按照体渲染的数据范围定义方式进行修改，使其和体渲染的深度信息单位一致；

每一个像素分别检索其体渲染和面渲染的深度信息，当该像素体渲染的深度值小于面渲染的深度值时，代表该点位置体渲染的模型遮挡面渲染的模型，则显示体渲染的颜色信息，反之亦然，如此则可结合体渲染和面渲染，让体渲染和面渲染有其应有的空间信息位置关系；

基于前述体渲染深度图的深度方式，射线检测碰撞的方法如下：

给出空间中任意一点的位置和其法线方向，在该位置创建一个摄像机，把摄像机的画布大小设置成apx×apx，而后利用该相机渲染3d纹理数据的深度图，得到深度图信息后计算该深度信息在像平面的3d坐标，随后经过矩阵旋转得到该点的世界坐标，即得出射线碰撞的具体位置。

与现有技术相比，本发明解决了体渲染和面渲染的混合渲染问题，于是在临床操作的术前方案准备上，我们能做更多操作，比如：在体渲染的头骨上放置面渲染的骨窗，让医生能够很直观的确定骨窗所在的具体位置和其大小；由于解决了碰撞检测的问题，应用在体渲染的曲面距离测量上有着很好的操作性和良好的精确性；可视化的便捷操作让无论也好患者也罢，无论其是否有良好的医学背景，都可以清晰明了便捷的3D全方位浏览其整个术前手术规划方案；

进一步，所述摄像机的画布大小设置成1px×1px，因为只需要一个点的深度图信息，这样节省了大量的渲染资源。

进一步，体渲染利用GPU加速，并通过shader的方式进行渲染。

进一步，体渲染的采样范围为：利用一个同等大小的长方体模型包裹住3D纹理数据，以便于渲染所需要的3d纹理数据范围。

进一步，利用一个同等大小的长方体模型包裹住3D纹理数据后进行渲染的方法为：

首先，渲染长方体的正面，得到光线投射法中的所有起始点；

而后，渲染长方体的背面，得到光线投射法中所有终止点；

利用上述过程获取的两张深度图，确定光线投射法中所有投射光线的位置和长度，以便于随后shader渲染中使用。

进一步，利用立体光线投射法进行模型的渲染步骤之前，利用软件读取CT或者核磁共振的标准dicom数据，并存于一个3D纹理数组中。

利用体渲染和面渲染的无缝结合及其碰撞检测方法进行曲面测量的方法为：给出曲面上的两个点A、B，连接A和B点生成线段AB，随后在AB线段上等长度分割成n+1段生成n个点Xn，取AB线段的中垂线上任意一点C，连接Xn和C并按照向量CXn做延长线，取延长线上任意一点，以该点为射线出发点，XnC方向做射线碰撞，遍历完整个Xn数组即可得出曲线AB的近似长度，n数值越大，分段越多，AB曲线长度越精确，旋转360度即可得出AB两点之间在曲面上的最短曲线。

综上，该发明提供的技术能同时显示CT和核磁共振数据的3维模型和传统人工制作的obj模型，并显示其空间层次关系，能让医生在做术前准备方案的时候加入更多的操作，并且衍生出基于体渲染的碰撞检测算法，让测量曲面上的最短曲线距离成为可能。

附图说明

图1为立体光线投射算法进行模型渲染的效果图；

图2为长方体正面、背面渲染完成的效果图(图中左侧是立方体的前面，右侧是立方体的背面)；

图3为体渲染的深度图；

图4为本发明应用在骨窗大小及位置的精确测量示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。

实施例1：体渲染和面渲染的完美融合算法包括：读取CT核磁影像数据→显示基于CT核磁数据的三维模型，同时可以正确显示传统制作的obj模型→可以射线检测体渲染模型的碰撞→可以完成体渲染模型上的曲线距离测量，该方法能同时显示CT和核磁共振数据的3维模型和传统人工制作的obj模型，并显示其空间层次关系，能让医生在做术前准备方案的时候加入更多的操作，并且衍生出基于体渲染的碰撞检测算法，让测量曲面上的最短曲线距离成为可能。

下面对一种体渲染和面渲染的无缝结合及其碰撞检测方法进行详细说明：

S1，读取标准dicom数据，无论是CT数据或是核磁共振数据，并存于一个3D纹理数组之中，方便之后渲染所用。

S2，使用立体光线投射算法进行模型的渲染，立体光线投射算法将对画布上每个像素进行运算，以其中一个像素为例，选取画布上任意一个像素，随后垂直于画布方向做一条射线，该射线穿过3D纹理数组，每隔一段间距就采样一次颜色，累加所有穿过的像素便是该画布上该点所应该呈现的颜色，如图1所示。由于体渲染普通的算法非常耗时，无法满足我们的实时观看这样的需求，我们为该算法做了优化：

S2.1，常规的体渲染实用CPU渲染，我们使用GPU加速，通过shader的方式让渲染变得更加快，一个正常256*256*128的CT数据我们渲染的时间大约为16ms。

S2.2为了优化采样的范围，我们首先使用一个同等大小的长方体模型包裹住3D纹理数据，以便只渲染所需要的3d纹理数据范围。我们先渲染长方体的正面，得出光线投射算法中的所有起始点(即何时开始采样)，我们再渲染长方体的背面，得出光线投射算法中所有终止点(即何时停止采样)，有了上述两张深度图，我们便可以确定光线投射算法中所有投射光线的位置和长度，以便随后shader渲染中使用，如图2所示。

S3、由于我们需要完美的结合体渲染和面渲染，而传统的体渲染中没有任何深度信息，所以我们必须通过3D纹理数据各个像素的值来生成一张体渲染的深度图，随后和面渲染的深度图进行叠加。体渲染的深度图我们的算法定义每一个屏幕上的像素，对该像素进行光线投射采样，从起始点开始，每当累加值突破我们设置的实心区域定义之后，便记录下该点的深度信息，采用16位灰阶图保存其深度信息，图像数据中按0-1数据范围表示，传统深度图0表示在画布上，1表示离画布无限远，由于体渲染后成像的特殊性(如果渲染的CT图在离摄像机很远的地方，几乎看不见，也就可以基本忽略不计)，所以我们自己定义深度图中1所代表的最远距离为离画布10米处，这样一来便可以让保存的深度图的精度更加高，使之可以为后面所要用到的碰撞检测带来更高的碰撞精度。如图3所示，有了这张体渲染的深度图，我们便可以做到面渲染和体渲染的完美结合，融合方式如下：

S3.1、按照传统方式渲染面渲染模型，可以得到面渲染的颜色图和深度图。

S3.2、按照上述方式渲染体渲染模型，可以得到体渲染的颜色图和深度图。

S3.3、把我们面渲染的深度图按照体渲染的数据范围定义方式进行修改，使其和体渲染的深度信息单位一致。

S3.4、每一个像素分别检索其体渲染和面渲染的深度信息，当该像素体渲染的深度值小于面渲染的深度值时，代表该点位置体渲染的模型遮挡面渲染的模型，所以显示体渲染的颜色信息，反之亦然，这样我们便可以很好的结合体渲染和面渲染，让体渲染和面渲染有其应有的空间信息位置关系。

有了这样的完美融合，我们便可以在术前准备方案上做很多操作，比如说神经外科中，我们可以在头部任意位置放置骨窗，骨窗为一个圆角三维模型，我们单独渲染他的正面和背面，得到一个包围盒，在进行体渲染的时候，判断3d纹理数据中的点是否处于该包围盒中，如果处于，则不渲染，这样便可以展现出开洞的效果。拿骨科作为案例，脊柱外科手术过程中时常放置骨钉，我们可以使用传统面渲染的方式制作骨钉模型，并和该病人的体渲染数据一同渲染，医生在术前便可以在任意位置放置骨钉，并且很直观了解到该骨钉和脊柱的空间位置层次关系。

S4、有了上述体渲染深度图的渲染方式，我们便可以很方便的做出射线检测碰撞。给出空间中任意一点的位置和其法线方向，在该位置创建一个摄像机，并把该摄像机的画布大小设置成1px x 1px(因为只需要一个点的深度图信息，这样节省了大量的渲染资源)，随后我们用该相机渲染3d纹理数据的深度图，得到深度图信息后我们便可以计算出该深度信息在像平面的3d坐标，随后经过矩阵旋转可以得到该点的世界坐标，即得出了射线碰撞的具体位置。通过该射线检测碰撞，我们可以很方便的应用于曲面测量，给定曲面上的两个点A、B，连接A和B点生成线段AB，随后在AB线段上等长度分割成n+1段生成n个点Xn，取AB线段的中垂线上任意一点C，连接Xn和C并按照向量CXn做延长线，取延长线上任意一点，以该点为射线出发点，XnC方向做射线碰撞，遍历完整个Xn数组即可得出曲线AB的近似长度，n数值越大，分段越多，AB曲线长度约精确。旋转360度即可得出AB两点之间在曲面上的最短曲线。该技术可以应用在骨窗大小及位置的精确测量上，如图4所示。

需要说明的是，由于GPU渲染的机制，当前帧的碰撞信息只有在下一帧才能获得，但由于实时渲染可以达到60帧，所以碰撞信息的延迟仅为16ms，肉眼根本感觉不到。

现在采用的是360度的旋转扫描法，采用无限逼近法得出的最短曲线精度会更高。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (7)

1.一种体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，该方法为：

通过3D纹理数据各个像素的值来生成体渲染的深度图，随后和面渲染的深度图进行叠加，其中，体渲染的深度图的获取方式为：

定义每一个屏幕上的像素，对该像素进行光线投射采用，从起始点开始，每当累加值突破预设的实心区域定义后，记录下该点的深度信息，采用16位灰阶图保存其深度信息，图像数据中0-1数据范围表示，定义深度图中1代表最远距离为离画布10m处；

获取体渲染的深度图后，面渲染与体渲染的融合方式如下：

按照传统方式旋绕面渲染模型，得到面渲染的颜色图和深度图；

按照上述方式渲染体渲染模型，得到体渲染的颜色图和深度图；

把面渲染的深度图按照体渲染的数据范围定义方式进行修改，使其和体渲染的深度信息单位一致；

每一个像素分别检索其体渲染和面渲染的深度信息，当该像素体渲染的深度值小于面渲染的深度值时，代表该点位置体渲染的模型遮挡面渲染的模型，则显示体渲染的颜色信息，反之亦然，如此则可结合体渲染和面渲染，让体渲染和面渲染有其应有的空间信息位置关系；

基于前述体渲染深度图的深度方式，射线检测碰撞的方法如下：

给出空间中任意一点的位置和其法线方向，在该位置创建一个摄像机，把摄像机的画布大小设置成apx×apx，而后利用该相机渲染3d纹理数据的深度图，得到深度图信息后计算该深度信息在像平面的3d坐标，随后经过矩阵旋转得到该点的世界坐标，即得出射线碰撞的具体位置。

2.根据权利要求1所述的体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，所述摄像机的画布大小设置成1px×1px。

3.根据权利要求1所述的体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，体渲染利用GPU加速，并通过shader的方式进行渲染。

4.根据权利要求1所述的体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，体渲染的采样范围为：利用一个同等大小的长方体模型包裹住3D纹理数据，以便于渲染所需要的3d纹理数据范围。

5.根据权利要求4所述的体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，利用一个同等大小的长方体模型包裹住3D纹理数据后进行渲染的方法为：

首先，渲染长方体的正面，得到光线投射法中的所有起始点；

而后，渲染长方体的背面，得到光线投射法中所有终止点；

利用上述过程获取的两张深度图，确定光线投射法中所有投射光线的位置和长度，以便于随后shader渲染中使用。

6.根据权利要求5所述的体渲染和面渲染的无缝结合及其碰撞检测方法，其特征在于，利用立体光线投射法进行模型的渲染步骤之前，利用软件读取CT或者核磁共振的标准dicom数据，并存于一个3D纹理数组中。

7.利用如权利要求1-6任一所述的体渲染和面渲染的无缝结合及其碰撞检测方法进行曲面测量的方法，其特征在于，该方法为：给出曲面上的两个点A、B，连接A和B点生成线段AB，随后在AB线段上等长度分割成n+1段生成n个点Xn，取AB线段的中垂线上任意一点C，连接Xn和C并按照向量CXn做延长线，取延长线上任意一点，以该点为射线出发点，XnC方向做射线碰撞，遍历完整个Xn数组即可得出曲线AB的近似长度，n数值越大，分段越多，AB曲线长度越精确，旋转360度即可得出AB两点之间在曲面上的最短曲线。