CN113347407A - 一种基于裸眼3d医学图像显示系统 - Google Patents

Abstract

本发明公开一种基于裸眼3D医学图像显示系统，属于医学图像3D显示领域。包括：转化模块，用于将医学体数据转化为三维模型；立体图像生成模块，用于从最新三维模型获取一系列视差图，依照裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像；裸眼3D显示模块，用于使用柱镜光栅显示立体图像，以供用户裸眼观看。本发明通过从三维模型获取一系列视差图，依照裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像，进而在配有光栅适配器的硬件设备下显示，给观看者提供更加清晰的空间关系，在医学图像领域上开辟一种全新的观看方式，无需佩戴额外器具即可观看3D效果，成像更为细腻、真实，给予更多便捷且具有更好观感。

Description

一种基于裸眼3D医学图像显示系统

技术领域

本发明属于医学图像3D显示领域，更具体地，涉及一种基于裸眼3D医学图像显示系统。

背景技术

裸眼3D显示立体真实感强，观测者舒适性好，是未来图形图像显示的发展趋势。目前，其应用领域仍主要集中在日常生活娱乐及媒体宣传中，在专业领域的应用比较少，其成本较高。

在医学图像应用领域中，3D数据广泛存在和应用，但医生只能接触到投影到2D平面的伪3D模型(基于二维切片的假三维模型)，尽管成像技术得到了快速的发展，但这种可视化程度仍然较低，医生难以准确把握患者器官的空间结构关系位置，容易引发意外发生。尽管有如AR和VR的技术，但是它们的使用十分具有局限性，譬如在体验立体感的时候必须佩戴眼镜，且一副眼镜，只能由少数人对应体验，实际的体验感不佳。

发明内容

针对现有医学图像显示方法多为基于2D平面的假3D模型或者为需要额外器具的3D显示技术，如AR、VR和MR等技术，都给予医生观看的各种不方便，前者为病灶与患者器官空间关系上的判断不易，后者为使用上带来一系列不便的操作，本发明提供了一种基于裸眼3D医学图像显示系统，其目的在于无需佩戴额外器具来进行3D观看，立体感良好，细节细腻不失真，操作方便。

为实现上述目的，按照本发明的一个方面，提供了一种基于裸眼3D医学图像显示系统，所述系统包括：

转化模块，用于将医学体数据转化为三维模型；

立体图像生成模块，用于从最新三维模型获取一系列视差图，并依照柱镜光栅裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像；

裸眼3D显示模块，用于使用柱镜光栅显示立体图像，以供用户裸眼观看。

优选地，所述从三维模型获取一系列视差图时，通过以下方式设定视差角：

当裸眼3D显示模块线数处于20lpi-40lpi之间时，视差角不超过3°；

当裸眼3D显示模块线数处于40lpi至70lpi之间时，视差角不小于3°且不大于5°。

有益效果：本发明根据裸眼3D显示模块的显示参数设定视差角，上述优选设定，由于裸眼3D显示模块硬件限制以及双目成像原理限制需将视差角控制在合适范围内，从而实现无串扰且立体观感良好的3D医学图像。

优选地，所述立体图像生成模块通过以下方式实现规律性子像素抽样：

若系列视差图的获取方式为从右到左，则对系列视差图直接顺序编号，若为从左到右，则对系列视差图逆序编号；

对于待填充的立体图像中的每个子像素，通过以下方式确定其所属视差图编号：

其中，N表示立体图像中当前子像素对应视差图编号，k表示立体图像中当前子像素对应列，l表示立体图像中当前子像素对应行，α表示柱镜光栅倾斜角度，X表示柱镜光栅的栅距在水平方向上所覆盖的显示屏上的RGB子像素个数，LPI表示柱镜光栅的线数，DOT表示显示器的点距；

对于待填充的立体图像中的每个子像素，若所属视差图编号为整数，则从对应视差图的对应位置直接抽取子像素，否则，同时从所属视差图编号左右邻近视差图的对应位置同时抽取子像素。

有益效果：本发明采用上述优选方式对每个视差图进行规律性子像素抽样，形成效果优秀的子像素映射表，降低了由于物理限制导致子像素映射公式出现的误差影响。

优选地，所述立体图像生成模块通过以下方式实现填充生成立体图像：

若当前子像素所属视差图编号为整数，则使用抽取子像素直接填充；

否则，判断子像素所在全像素与周边全像素是否处于边缘同一侧，若是，则对同时抽取到的子像素进行反距离加权填充，否则，对所属视差图编号进行最邻近取整，并用取整后的编号对应视差图对应位置抽取到的子像素直接填充。

有益效果：本发明采用上述优选填充方式，减少了由于分数子像素的存在而带来的映射串扰问题，在3D显示中模型细节更加细腻清晰。

优选地，所述转化模块通过以下方式实现将医学体数据转化为三维模型：

若绘制需求为面绘制，则使用marching cubes算法对整个体数据进行等值面分割和定义，并使用三角形面片拟合表面，然后绘制出三角网格模型；若绘制需求为体绘制，则使用ray casting算法对整个体数据的每一个体素赋予一定的颜色与不透明度并模拟光路投射损益过程，进而按照投射方向对每一个体素进行叠加后形成最终的3D模型。

有益效果：本发明采用体绘制和面绘制算法将医学体数据转换为一个三维模型，将医学体数据实现了可视化，为实现接下来的伪3D观看变为3D观看奠定基础。

优选地，所述系统还包括：

三维模型显示模块，用于显示三维模型，以供用户对其进行旋转操作、平移操作、透明度/亮度调整操作或者缩放操作，并进一步生成最新三维模型。

有益效果：本发明通过三维模型显示模块，方便地对模型进行旋转平移等操作，为患者病灶的方位判断提供便利，并通过对模型相应操作生成对应的立体图像，通过上述裸眼3D显示模块进行显示。

优选地，所述裸眼3D显示模块包括：显示屏、斜纹柱镜光栅板；斜纹柱镜光栅板位于显示屏表面；

显示屏和斜纹柱镜光栅板之间需满足以下限定：

0)斜纹柱镜光栅板每个凸透镜覆盖的显示屏区域的子像素数量大于观看裸眼3D显示所需视点数；

1)斜纹柱镜光栅板每个凸透镜包含整数个显示屏的子像素；

2)斜纹柱镜光栅板每个凸透镜所包含的子像素数量为平方数；

3)斜纹柱镜光栅板与显示屏子像素的垂直方向的夹角不小于actan(1/3)且不大于actan(1/6)。

有益效果：本发明在硬件方面也进行了优化，满足上述限定的裸眼3D显示模块，观看视角更广，尽量避免了分数子像素的存在，并减少了观看裸眼3D的晕眩感。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

本发明通过将医学体数据转化为三维模型，从最新三维模型获取一系列视差图，并依照柱镜光栅裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像，进而在配有光栅适配器的硬件设备下显示。结合双目视觉及斜纹柱镜光栅的分光特性，加以斜纹柱镜光栅倾斜角度及其线数以及显示屏子像素的排列及其长宽的参数特性，软件层面调整了对立体图像子像素的编号设定、填充判断条件，通过从系列视差图抽样以填充立体图像，以实现显示屏子像素所显示的混合信息通过倾斜排列的柱镜光栅分为分别属于左右眼的信息。相对于现有三维医学图像显示系统，给观看者提供更加清晰的空间关系，在医学图像领域上开辟了一种全新的观看方式，无需佩戴额外器具即可观看3D效果，该系统成像更为细腻、真实，给予更多便捷且具有更好的观感。

附图说明

图1是本发明提供的一种基于裸眼3D医学图像显示系统结构示意图；

图2是本发明提供的基于裸眼3D的医学图像显示系统的模型形成效果图；

图3是本发明提供的基于裸眼3D的医学图像显示系统的立体原图效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

首先，对本发明涉及到的专业术语进行解释：

裸眼3D：裸眼3D为无需观察者佩戴观察辅助器具或设备，即可立体视觉效果的技术的统称；

体数据：指在医学影像学中，通过医学成像或者三维重建手段得到的人体某类组织或者器官的三维医学影像数据；

体素：体素是体积元素的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来，是数字数据于三维空间分割上的最小单位；

视差图：视差图为用于合成立体图像的含有视差的系列图像，也即是从不同角度同一时间对某物体拍摄得出的系列照片；

立体图像：立体图像为利用双目视差原理和光栅板的光学折射原理在一个平面内使人们可直接看到一幅三维立体图的图像；

视差角：视差角为本文以旋转所获取的系列视差图的视差大小参数。

如图1所示，本发明提供了一种基于裸眼3D医学图像显示系统，所述系统包括：

转化模块，用于将医学体数据转化为三维模型。

优选地，所述转化模块通过以下方式将医学体数据转化为三维模型：

若绘制需求为面绘制，则使用marching cubes算法(等值面提取算法)对整个体数据进行等值面分割和定义，并使用三角形面片拟合表面，然后绘制出三角网格模型，如图2上半部所示；若绘制需求为体绘制，则使用ray casting算法(光线投射算法)对整个体数据的每一个体素赋予一定的颜色与不透明度并模拟光路投射损益过程，进而按照投射方向对每一个体素进行叠加后形成最终的3D模型，如图2下半部所示。

读取医学体数据后，若为wrl文件数据，则默认为面绘制算法，若为raw文件数据，由使用者根据需求选择体绘制或者面绘制：若对数据的表面信息有更大的需求，则选择面绘制方式，显示某一个等值面表面形状；若对整个体数据包括内部信息和表面信息都有观察需求，则选择体绘制的可视化方法，绘制图像是从某个角度观测的三维体数据的投影图像。raw数据是体数据，但可以从体数据生成面数据。

立体图像生成模块，用于从最新三维模型获取一系列视差图，并依照柱镜光栅裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像。

优选地，所述从三维模型获取一系列视差图时，通过以下方式设定视差角：

当裸眼3D显示模块线数处于20lpi-40lpi之间时，视差角不超过3°；当裸眼3D显示模块线数处于40lpi至70lpi之间时，视差角不小于3°且不大于5°。

优选地，所述立体图像生成模块通过以下方式实现规律性子像素抽样：

若系列视差图的获取方式为从右到左，则对系列视差图直接顺序编号，若为从左到右，则对系列视差图逆序编号。

对于待填充的立体图像中的每个子像素，通过以下方式确定其所属视差图编号：

其中，N表示立体图像中当前子像素对应视差图编号，k表示立体图像中当前子像素对应列，l表示立体图像中当前子像素对应行，α表示柱镜光栅倾斜角度，X表示柱镜光栅的栅距在水平方向上所覆盖的显示屏上的RGB子像素个数，LPI表示柱镜光栅的线数，DOT表示显示器的点距。

对于待填充的立体图像中的每个子像素，若所属视差图编号为整数，则从对应视差图的对应位置直接抽取子像素，否则，同时从所属视差图编号左右邻近视差图的对应位置同时抽取子像素。

若出现视点编号小于0的情况，当该视点编号小于0.5时，将其归于最终视点编号，否则归于第一视点编号；若出现视点编号大于最终视点编号，当该编号与最终视点编号之差大于0.5时，归于第一视点编号，否则归于最终视点编号。

优选地，所述填充生成如图3所示的立体图像，上半部为面绘制所得立体原图展示界面，下半部为体绘制所得立体原图展示界面。包括：

若当前子像素所属视差图编号为整数，则使用抽取子像素直接填充；

否则，判断子像素所在全像素与周边全像素是否处于边缘同一侧，若是，则对同时抽取到的子像素进行反距离加权填充，否则，对所属视差图编号进行最邻近取整，并用取整后的编号对应视差图对应位置抽取到的子像素直接填充。

裸眼3D显示模块，用于使用柱镜光栅显示立体图像，以供用户裸眼观看。

优选地，所述裸眼3D显示模块包括：显示屏、斜纹柱镜光栅板；斜纹柱镜光栅板位于显示屏表面；

显示屏和斜纹柱镜光栅板之间需满足以下限定：

0)斜纹柱镜光栅板每个凸透镜覆盖的显示屏区域的子像素数量大于观看裸眼3D显示所需视点数；

1)斜纹柱镜光栅板每个凸透镜包含整数个显示屏的子像素；

2)斜纹柱镜光栅板每个凸透镜所包含的子像素数量为平方数；

3)斜纹柱镜光栅板与显示屏子像素的垂直方向的夹角不小于actan(1/3)且不大于actan(1/6)。

在人机交互界面对立体原图进行显示，并依照观察者对需求，通过键鼠对立体原图进行操作以满足观看需求。其中“播放”以及“暂停”的控件针对所有视频播放源模型，“上一张”和“下一张”适用于任何来源，“Lpi”、“Angle”和“Inch”为硬件设备参数。

优选地，如图1所示，所述系统还包括：三维模型显示模块，用于显示三维模型，以供用户对其进行旋转操作、平移操作、透明度/亮度调整操作或者缩放操作，并进一步生成最新三维模型。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于裸眼3D医学图像显示系统，其特征在于，所述系统包括：

转化模块，用于将医学体数据转化为三维模型；

立体图像生成模块，用于从最新三维模型获取一系列视差图，并依照柱镜光栅裸眼3D显示特性对每个视差图进行规律性子像素抽样，填充生成立体图像；

裸眼3D显示模块，用于使用柱镜光栅显示立体图像，以供用户裸眼观看。

2.如权利要求1所述的系统，其特征在于，所述从三维模型获取一系列视差图时，通过以下方式设定视差角：

当裸眼3D显示模块线数处于20lpi-40lpi之间时，视差角不超过3°；

当裸眼3D显示模块线数处于40lpi至70lpi之间时，视差角不小于3°且不大于5°。

3.如权利要求1所述的系统，其特征在于，所述立体图像生成模块通过以下方式实现规律性子像素抽样：

若系列视差图的获取方式为从右到左，则对系列视差图直接顺序编号，若为从左到右，则对系列视差图逆序编号；

对于待填充的立体图像中的每个子像素，通过以下方式确定其所属视差图编号：

其中，N表示立体图像中当前子像素对应视差图编号，k表示立体图像中当前子像素对应列，l表示立体图像中当前子像素对应行，α表示柱镜光栅倾斜角度，X表示柱镜光栅的栅距在水平方向上所覆盖的显示屏上的RGB子像素个数，LPI表示柱镜光栅的线数，DOT表示显示器的点距；

对于待填充的立体图像中的每个子像素，若所属视差图编号为整数，则从对应视差图的对应位置直接抽取子像素，否则，同时从所属视差图编号左右邻近视差图的对应位置同时抽取子像素。

4.如权利要求3所述的系统，其特征在于，所述立体图像生成模块通过以下方式实现填充生成立体图像：

若当前子像素所属视差图编号为整数，则使用抽取子像素直接填充；

否则，判断子像素所在全像素与周边全像素是否处于边缘同一侧，若是，则对同时抽取到的子像素进行反距离加权填充，否则，对所属视差图编号进行最邻近取整，并用取整后的编号对应视差图对应位置抽取到的子像素直接填充。

5.如权利要求1所述的系统，其特征在于，所述转化模块通过以下方式实现将医学体数据转化为三维模型：

若绘制需求为面绘制，则使用marching cubes算法对整个体数据进行等值面分割和定义，并使用三角形面片拟合表面，然后绘制出三角网格模型；若绘制需求为体绘制，则使用ray casting算法对整个体数据的每一个体素赋予一定的颜色与不透明度并模拟光路投射损益过程，进而按照投射方向对每一个体素进行叠加后形成最终的3D模型。

6.如权利要求1至5任一项所述的系统，其特征在于，所述系统还包括：

三维模型显示模块，用于显示三维模型，以供用户对其进行旋转操作、平移操作、透明度/亮度调整操作或者缩放操作，并进一步生成最新三维模型。

7.如权利要求1至5任一项所述的系统，其特征在于，所述裸眼3D显示模块包括：显示屏、斜纹柱镜光栅板；斜纹柱镜光栅板位于显示屏表面；

显示屏和斜纹柱镜光栅板之间需满足以下限定：

0)斜纹柱镜光栅板每个凸透镜覆盖的显示屏区域的子像素数量大于观看裸眼3D显示所需视点数；

1)斜纹柱镜光栅板每个凸透镜包含整数个显示屏的子像素；

2)斜纹柱镜光栅板每个凸透镜所包含的子像素数量为平方数；

3)斜纹柱镜光栅板与显示屏子像素的垂直方向的夹角不小于actan(1/3)且不大于actan(1/6)。

Images