CN110458949A - 三维模型的二维切平面的重建方法、移动终端及电子设备 - Google Patents

Abstract

本发明公开了一种三维模型的二维切平面的重建方法、移动终端及电子设备，该方法应用于移动终端包括：基于获取的二维平面断层图像构建三维模型；在三维模型上建立空间坐标系；利用VTK库构建切平面，切平面具有预设的大小、以及切平面与三维模型具有预设的相对位置；切平面与所述三维模型的交集形成三维模型切面；将三维模型切面发送到所述GPU处理器，GPU处理器用于将三维模型切面的像素点纹理映射到二维平面上，得到重建的二维平面图像。本发明实施例提供的三维模型重建方法，能够根据移动终端获取的平面二维平面断层图像构建出三维模型，该三维模型中能够体现人体器官的立体图像,便于观察病变的位置、形状和大小。

Description

三维模型的二维切平面的重建方法、移动终端及电子设备

技术领域

本发明涉及医学领域，尤其是涉及一种三维模型的二维切平面的重建方法、移动终端及电子设备。

背景技术

医学影像的发展首先得益于19世纪末X射线的发现，随后医学成像领域的研究成为众多科学工作者研究的焦点，新的研究成果及发明接踵而至。近年来，新的医疗成像技术不断改良升级，CT、CR、DR、MRI、US、PET、SPECT等多种成像技术被逐渐开发并在医学疾病诊断中获得广泛应用，大大提升了疾病的正确诊断率，也奠定了医学影像学在医学诊断中的不可替代的作用和地位。

国外在医学图像的三维重建领域的研究开始于二十世纪七十年代。这些发达国家在这个领域的研究起步较早且比较深入，在医学图像的三维重建领域已经取得了相当显著的科研成果。他们投入了非常多的人力与物力来进行医学影像三维重建方面的研究，并具有许多优势资源。主要体现在医学图像软件平台系统与虚拟人两个方面。目前，国际上较为流行的医学图像处理系统比较多。例如，VolVis系统、3D Slicer系统，以及性能十分优越的商业可视化系统Volulne Pro与Vitrea2等等。此外，国际上在三维可视化领域还涌现了一些优秀的开发工具包：VTK(visualization Toolkit)开源可视化工具包、ITK(InsightSegmentation and Registration Toolkit)医学图像处理工具包。还有美国在1989年开始启动的人体可视化计划项目。研究人员采用了MRI和CT来做人体的扫描，并利用计算机的重构技术来建造虚拟人体以获取数据集，从而将虚拟现实引进了医学领域的应用范畴。

上个世纪的九十年代左右，国内才开始展开了三维重建技术在医学邻域的应用与研究，相对国外来说起步比较晚。随着国内越来越多的科研学者对医学图像三维重建技术的研究与探讨，就目前来说，我们也取得了一定的研究成果。比如，在田捷带领下的科研小组研发的医学图像处理与分析的开发工具MITK(Medical Imaging Toolkit)以及中科院推出的3DMed可视化系统被认为是我国医学可视化软件层面首个系统化的软件，能够实现图像信息的管控、存储与调阅、三维重建，以及简单的模型分析与交互等一系列操作。随后东软(Neusoft)集团发布了其自行研究的PACS/RIS平台系统，该平台覆盖从分诊叫号到开方取药几乎整个医疗周期的信息传输与管理，其中最为核心的方面便是医学影像信息的管理，虽然该平台无法直接进行三维可视化处理，但其提供了包括三维重建软件在内的多种后处理软件的接口，为国产医学可视化软件的发展起到了一定的推动作用。浙江大学自主研发的Med Vis医学图像三维可视化系统，其重要特点在于具有良好的交互性和绘制的实时性,绘制速度快，但是在高性能图形计算机上进行实现，对硬件要求较高。国内也在2001年时首次提出了数字化虚拟人项目，两年之后，国内的第一个女性虚拟人数据集成功的构成。该人体切片数据的采集同样是在特定医疗设备下完成的，数据集中都是具有高精度的数据，后续使用该数据集的设备应具有较大的图形计算能力。

随着科技的发展，很多医疗设备公司先后制作出很多优秀的医疗图像三维重建软件，如Simpleware 3D图像处理与有限元分析软件、Materialise公司的Mimics医学影像控制系统、3D doctor等。以及很多学者也在尝试开发自己设计的医疗图像三维重建系统。

但是，现有技术存在如下的缺陷：

1、现有的三维立体图像系统只是针对目标物的外观进行立体重现，缺乏对目标物内在解剖结构的立体重建，不适用于医学诊疗需要。

2、成本高。现有的众多医学影像三维重建系统在要求重建精度的时，除了重建算法的准确性和合理性，必然使用较高性能的硬件设备。如Mimics、3DMed等医学影像控制系统都是由公司设计开发并运维，该设备的费用显然不是每个个体所能承担的。

3、缺少普适性。大部分的三维重建系统都开发并适用于电脑端，需要电子材料的支撑才能重建出某一部位的三维模型。首先，很少有人随身携带计算机。其次，现有医院通常仅提供患者图片材料。患者无法拿到电子材料，也将无法使用该系统，这使得患者的需求不能及时满足。

发明内容

(一)发明目的

本发明的目的是提供一种三维模型的二维切面的重建方法、移动终端及电子设备，该三维模型的重建方法应用于移动终端上，能够对含有目标物的三维模型重建，进而获得含有目标物内在解剖结构的二维平面图像，便于医生诊治。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种三维模型的重建方法，应用于移动终端，包括：基于获取的二维平面断层图像构建三维模型；在所述三维模型上建立空间坐标系；利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置；所述切平面与所述三维模型的交集形成所述三维模型切面；将所述三维模型切面发送到所述GPU处理器，所述GPU处理器用于将所述三维模型切面的像素点纹理映射到二维平面上，得到重建的二维平面图像。

进一步地，还包括：采用边缘检测的方法检测所述二维平面图像中的轮廓线，所述轮廓线围成的区域为轮廓区域；对所述轮廓区域栅格化；根据所述轮廓区域内网格的个数及网格的面积计算得到轮廓区域的面积。

进一步地，在对轮廓区域栅格化之前，还包括：通过图像形态学算法，优化所述轮廓线，以增强所述轮廓线。

进一步地，基于获取的二维平面断层图像构建三维模型步骤包括：获取二维平面断层图像序列；提取相邻两张所述二维平面断层图像，形成一层，基于相邻两张所述二维平面断层图像上相对应的四个像素点，构建一个体素，进而将该层划分成多个体素，所述体素具有层号和在该层的位置坐标；将相邻二维平面断层图像的全部所述体素发送至GPU处理器，所述GPU处理器用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点；基于预设渲染信息，对交点进行着色；接收GPU处理器发送的全部边界体素的所述交点，将所述交点之间连线构建多边形面片；基于全部体素得到多个多边形面片；将多边形面片组合得到三维模型。

进一步地，所述GPU处理器判定体素为边界体素的步骤包括：将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，得到所述体素的状态索引值；在预设查找表中查找与所述索引值对应的体素的状态，得到所述体素与预设等值面的相交方式；确定所述体素是否为边界体素，并确定所述交点位于所述边界体素的哪一条棱边上和交点之间的连接方式。

进一步地，所述GPU处理器还用于对所述所述边界体素的棱边与预设等值面的交点进行渲染：基于预设的渲染信息，利用反射率方程，计算出所述边界体素的棱边与预设等值面的交点的辐射率；所述GPU处理器还用于将所述辐射率转化成RGB分量，并基于所述RGB分量，对每个交点着色，得到渲染后的交点；接收所述GPU处理器发送的全部渲染后的所述交点，将同一边界体素中的交点连线，构建与该边界体素对应的渲染后的多边形面片；基于全部相邻的二维平面断层图像得到多个渲染后的多边形面片；将渲染后的多边形面片组合得到渲染后的三维模型。

进一步地，在获取多张二维平面断层图像的步骤之后，还包括对所述二维平面断层图像预处理的步骤：对所述二维平面断层图像进行格式转换，得到预设格式的二维平面断层图像；对所述预设格式的二维平面断层图像增强处理，增强处理包括去噪处理或者分辨率增强处理；对所述增强后的二维平面断层图像进行阈值分割处理，得到预处理后的二维平面断层图像；基于预处理后的二维平面断层图像构建三维模型。

进一步地，对所述预设格式的二维平面断层图像进行增强处理的步骤包括：对所述预设格式的二维平面断层图像进行分割，得到多个图像块；计算当前图像块的局部低秩矩阵；在所有图像块中查找所述当前图像块的相似图像块；基于所述相似图像块，计算得到所述当前图像块的非局部低秩矩阵；基于所述局部低秩矩阵和非局部低秩矩阵，对所述当前图像块进行重建；遍历所有图像块，得到所述增强后的二维平面断层图像。

根据本发明的第二方面，提供了一种移动终端，包括CPU处理器和GPU处理器；所述CPU处理器，基于获取的二维平面断层图像构建三维模型；在所述三维模型上建立空间坐标系；利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置；所述切平面与所述三维模型的交集形成所述三维模型切面；将所述三维模型切面发送到所述GPU处理器；所述GPU处理器，将所述三维模型切面的像素点纹理映射到二维平面上，得到重建的二维平面图像。

根据本发明的第三方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现第一方面提供的所述三维模型重建方法的步骤。

根据本发明的第四方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面提供的所述三维模型重建方法的步骤。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果：

(1)本发明实施例提供的三维模型重建方法，能够根据移动终端获取的平面二维平面断层图像构建出三维模型，该三维模型中能够体现人体器官的任意方向的切平面图像，便于观察病变的位置、形状和大小。

(2)本发明实施例提供的三维模型重建方法，可应用在移动终端这种便携式设备上操作，便于携带，具有较高的普适性。

附图说明

图1是根据本发明第一实施方式的对二维断层图像预处理的方法流程示意图；

图2是根据本发明第二实施方式的三维模型的二维切面的重建方法流程示意图；

图3是根据本发明第二实施方式体素与预设等值面阈值的相交状态示意图；

图4示意性地示出本发明第三实施方式的移动终端结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在对本发明实施例进行详细介绍之前，先进行术语解释，下文中及图中出现的下列术语具体含义如下：

CPU(Centre Processing Unit)：中央处理器；

GPU(Graphic Processing Unit)：图形处理器；

二维平面断层图像序列：是指在不同时间、不同方位对目标依序连续获取的系列二维平面断层图像。

局部低秩矩阵：在图像的局部区域具有低秩特性的矩阵。

由于二维平面断层图像为医学领域的图像，其中图像中的组织用黑色或白色来表示。移动终端对二维平面断层图像进行拍摄或扫描时，有可能会造成图像质量下降的问题，进而使得后续构建三维模型、及对三维模型进行重建造成影响，因此，在一个优选的实施例中，在构建三维模型之前，先对每一张二维平面断层图像进行预处理，以使得二维平面断层图像更清楚。

图1是本发明一实施例提供的对二维平面断层图像预处理方法的流程示意图。

如图1所示，该预处理包括步骤S101～步骤S103。

获取二维平面断层图像，具体可由用户通过手机或平板等移动终端拍摄或通过手机中的软件扫描得到，也可通过扫描设备扫描后发送到手机中。

在一个实施例中，对获取的二维平面断层图像进行角度校正处理，可以采用Hough变换法、Rando变换算法等进行算法对每张二维平面断层图像角度的检测和变换，以避免终端拍摄的图像有倾斜影响后续的建模及模型重建。

步骤S101，对所述二维平面断层图像进行格式转换，得到预设格式的二维平面断层图像。

通常医院仅提供患者非电子版二维平面断层图像，即便是提供电子版材料通常也是以DICOM标准格式存储。因此为了方便后续的操作，在本步骤中，先将每张二维平面断层图像进行格式转换，将其统一的格式。可选的，预设格式为tif、png或jpg中的一种。由于png格式是一种无损压缩的位图片形格式，具有压缩比高，生成文件体积小等优势，因此在本实施例中优选的将其转换成png格式。

进一步具体，在本步骤中，可交互式的读取DICOM格式的CT/MRI/Micro CT/MicroMRI/工业CT图像或序列的非DICOM的普通图像格式BMP/TIFF等。当通过移动终端拍摄的多层图像时，对于输入图像的要求：输入图像序列的断层层厚越薄越好，即层数越多越好。优选的，拍摄角度需尽量垂直于正面拍摄。

步骤S102，对所述预设格式的二维平面断层图像进行增强处理。

在一个具体的实施例中，增强处理可以是去噪处理或者分辨率增强处理，通过求解基于局部低秩矩阵M1和非局部低秩矩阵M2的最小化模型，对图像进行去噪或分辨率增强处理。在一个实施例中，增强处理的步骤包括S1021～S1026：

S1021，对预设格式的二维平面断层图像进行分割，得到多个图像块，通过将图像分割成多个图像块，对每个对图像块进行增强处理。

S1022，在图像局部具有低秩特性的矩阵，反映图像局部像素之间的相关性，因此先计算当前图像块的局部低秩矩阵M1。局部低秩矩阵M1是一个由四个子矩阵构成，局部低秩矩阵按以下方式计算：

其中，是高质量图像(无噪图像或高分辨率图像)局部区域像素构成，是中每个像素的邻接像素(八个方向)组成的行向量形成的矩阵。因为和中有部分像素是未知的(噪点位置的正确像素值或者在用于分辨率增强时，需要插入未知的新的像素值)，这些未知的像素值是我们要求解的地方。同理和是低质量图像(带噪图像或者低分辨率图像)中像素构成的两个矩阵，这两个矩阵共同组成一个局部低秩矩阵。其中，局部与非局部都是指相对于当前处理的图像块或者像素的位置。

S1023，在所有图像块中查找所述当前图像块的相似图像块。

具体地，寻找相似块的方法为：通过计算两个图像块的欧式距离，代表两个图像块的相似程度，距离越小，两个块越相似。将相似程度排序，取前n个图像块。

S1024，基于所述相似图像块，计算得到所述当前图像块的非局部低秩矩阵M2。

在整幅图像(带噪图像或低分辨率图像)中寻找多个与当前图像块最相似的图像块，并由相似块的向量形式排列得到非局部低秩矩阵M2。

S1025，基于所述局部低秩矩阵M1和非局部低秩矩阵M2，对所述当前图像块进行重建，得到去噪增强后的当前图像块。

具体地，结合局部低秩矩阵M1和非局部低秩矩阵M2，建立图像重建优化模型，求解重建模型对图像块进行重建，得到高质量图像矩阵中未知像素的值。

S1026，遍历所有图像块，得到增强后的二维平面断层图像。

可以理解的是，在本申请的一个实施例中，可以预先调整低秩矩阵M1和非局部低秩矩阵M2的最小化模型的参数，将上述方法用于对带噪图像进行去噪处理，然后在调整上述公式中低秩矩阵M1和非局部低秩矩阵M2的最小化模型的参数(本领域的技术人员可以按照经验选取)，使得上述方法能够进行分辨率增强，也就是对去噪后的图像采用调整参数后的方法，进行分辨率增强处理，使得增强后的图像更加清楚。

步骤S103，对所述增强后的二维平面断层图像进行阈值分割处理，得到预处理后的二维平面断层图像。

本发明第一实施实施方式采用上述预处理的过程，能够获得更清楚的二维断层序列，然后在基于预处理后的二维断层图像序列构建三维模型，使得后续构建的三维模型更加准确。

图2为本发明第二实施方式提供的三维模型任意二维切平面的重建方法流程示意图。

如图2所示，该方法应用于移动终端，包括步骤S201～步骤S205。其中，以下步骤由CPU处理执行。

步骤S201,基于获取的二维平面断层图像序列构建三维模型。

在一个具体的实施例中，基于获取的二维平面断层图像构建三维模型步骤包括步骤S2011～S2017。

步骤S2011，获取二维平面断层图像序列，该二维平面断层序列包括多张连续的二维平面断层图像。优选的，利用上述预处理后的二维平面断层图像序列构建三维模型。

步骤S2012，提取相邻两张二维平面断层图像，形成一层。

步骤S2013，基于相邻两张所述二维平面断层图像上相对应的四个像素点，构建一个体素，进而将该层划分成多个体素，所述体素具有层号和在该层的位置坐标，同一张二维平面断层图像中4个像素点相邻且构成正方形。

具体地，基于每层中的两张二维平面断层图像上相对应的4个像素点，构建一个体素是指，基于每层中其中一张二维平面断层图像中相邻且构成正方形的4个像素点与另一张二维平面断层图像中相对应的4个像素点构建一个体素。可选的，该体素为立方体结构。

步骤S2014，将由所有二维平面断层图像得到的全部体素分批发送至GPU处理器，并行处理。用体素所在的层号Z以及在该层的位置(X，Y)标注进程序号。其中，交点坐标与边界体素相对应，且带有边界体素的层号和其在该层的位置坐标信息。

需要说明的是，本申请利用GPU处理器在批处理方面的计算优势和各个体素之间的无关性，实现并行计算，从而极大提高算法的计算性能。

所述GPU处理器用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点的坐标。

具体地，所述GPU处理器判定体素为边界体素的步骤包括：将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，得到所述体素的索引值，该索引值在0-255之间。

在预设查找表中查找与所述索引值对应的体素的状态，得到所述体素的状态包括：所述体素是否为边界体素，所述边界体素与预设等值面的交点位于所述边界体素的哪一条棱边上和交点之间的连接方式。具体地，预设等值面的阈值根据所要构建的三维模型对应的部位的密度值设定，通过将体素的8个顶点的密度值与该预设等值面的阈值比较，能够得出该体素是不是边界体素，如果是边界体素，找出边界体素的棱边上灰度值为该阈值的等值点，这个等值点就是该边界体素与预设等值面的交点。

其中，GPU处理器将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，若8个顶点的密度值都大于或小于预设等值面的阈值，说明该体素与预设等值面无交点，该体素不是边界体素。反之，则说明该体素与预设等值面有交点，且有多种不同相交方式，则确定该体素为边界体素。也就是，若一部分顶点的密度值大于预设等值面的阈值，另一部分顶点的密度值小于预设等值面的阈值，则确定该体素为边界体素。

图3是本发明一实施例提供的预设查找表中体素与预设等值面的相交状态图。

其中，预设查找表可通过如下方法构建；

一个立方体的8个顶点的密度值与预设的等值面阈值的大小关系存在2^8＝256种关系。若将每一种情况都视为一种相交状态(包括没有交点的情况)，则共有256种状态，根据对称性，可以分成15类，如图3所示。

根据这15类，可以构建一个预设查找表，该预设查找表的长度为256，记录了15类下的256种状态中每种状态交点的连接方式、每种状态一一对应一个索引值，每个索引值在0-255之间，也就是第一个状态，索引值为0，第二个状态索引值为1，第256个状态索引值为255。

在判断体素是否为边界体素时，只需要将体素的8个顶点的密度值与预设等值面的阈值进行比较，即可得到一个0-255之间的索引值，根据索引值在预设查找表中进行查找，就可以确定该体素是否为边界体素，还可以得到边界体素的哪条棱边上有等值点(即体素与预设等值面的交点)，以及该等值点的连接方式。

所述GPU处理器通过线性插值方法计算得到所述边界体素的棱边与预设等值面的交点坐标。

步骤S2015，所述边界体素的棱边与预设等值面的交点进行渲染的步骤，进而得到渲染后的三维模型。具体的步骤如下：

GPU处理器基于预设的渲染信息，利用反射率方程，计算出所述边界体素的棱边与预设等值面的交点的辐射率；所述GPU处理器还用于将所述辐射率转化成RGB分量，并基于所述RGB分量，对每个交点着色，得到渲染后的交点。

GPU处理器基于预设的渲染信息，利用反射率方程，模拟真实物理条件，计算出物体表面每个顶点的辐射率，辐射率是指光能的辐射强度，此处每个顶点的辐射率也就是光能的辐射强度。其中，所述渲染信息包括光照信息、观察视点位置信息和三维模型表面的材质信息。其中，光照信息指光源的类型，点光源或者平行光；如果是点光源，包括光源位置坐标；如果是平行光，包括平行光的方向；以及光照强度。观察视点位置信息是指观察视点位置坐标，物体表面材质信息在此指的是渲染不同组织和结构的材质信息，比如骨骼需要骨骼的材质信息。

步骤S2016，接收GPU处理器发送的全部边界体素的所述交点，将所述交点之间连线构建渲染后的多边形面片。

具体地，将交点连线，构造出多边形面片，多边形面片可以是三角形面片或其他多边形面片。

步骤S2017，基于全部相邻的二维平面断层图像得到多个多边形面片。

步骤S2018，基于所有的边界体素的层号信息和其在该层的位置坐标信息，将多边形面片组合得到三维模型。

步骤S202，在三维模型上建立空间坐标系，即含有X轴、Y轴和Z轴。

步骤S203，利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置。

具体地，使用VTK，构建vtkPlaneWidget对象后，再构建切平面。然后，调整切平面的大小，切平面在三维坐标系中的位置以及倾斜角度，能够获取任意角度的切平面。

步骤S204，所述切平面与所述三维模型的交集形成所述三维模型切面。

具体地，切平面与所述三维模型的交集由切平面上连续的点构成，三维模型的切面以交集的方式呈现在预先设定的切平面上。

步骤S205，将所述三维模型切面发送到所述GPU处理器，所述GPU处理器对三维模型切面设置颜色、纹理等信息。

所述GPU处理器用于将所述三维模型切片的像素点纹理映射到二维平面上，得到重建的二维平面图像。该重建的二维平面图像可以是三维模型中任意方向的切面。

在一个实施例中，还包括：采用边缘检测的方法检测所述二维平面图像中的轮廓线，所述轮廓线围成的区域为轮廓区域。该轮廓线可以是大脑的外壳、病变部位的轮廓、器官组织的轮廓。

优选的，通过图像形态学算法，优化所述轮廓线，以增强所述轮廓线。可选的，通过图像形态学算法，分割出独立的图像元素以及在图像中相邻的元素连接，使得轮廓线更清楚。

对所述轮廓区域栅格化。

根据所述轮廓区域内网格的个数及网格的面积计算得到轮廓区域的面积。可选的，可根据需要设置栅格化的精度。一般精度越小，栅格化的网格越小，将越逼近轮廓区域；反之，逼近程度越差。

本发明上述实施方式提供的三维模型重建方法，能够根据移动终端获取的平面二维平面断层图像构建出三维模型，通过移动终端中的CPU与GPU配合，提高了图像处理的准确性和效率，降低了图像处理成本，并且该三维模型任意二维切平面算法能够体现人体器官的任意方向的切平面图像。便于观察病变的位置、形状和大小。可应用在移动终端这种便携式设备上操作，便于携带，具有较高的普适性。

图4是本发明第三实施方式提供的一种移动终端的结构示意图。

如图4所示，该移动终端100包括图像获取模块10、CPU处理器20、GPU处理器30和显示模块40。

其中，图像获取模块10，获取多张二维平面断层图像序列。具体可由用户通过手机或平板等移动终端拍摄或通过手机中的软件扫描得到。

在一个实施例中，先对获取的二维平面断层图像进行角度校正处理，可以采用Hough变换法、Rando变换算法等进行算法对每张二维平面断层图像角度的检测和变换，以避免终端拍摄的图像有倾斜影响后续的建模及模型重建。

图像获取模块10，对二维平面断层图像序列中的每一张图像进行预处理。

其步骤如下：步骤S101，对二维平面断层图像进行格式转换，得到预设格式的二维平面断层图像。

通常医院仅提供患者非电子版二维平面断层图像，即便是提供电子版材料通常也是以DICOM标准格式存储。因此为了方便后续的操作，在本步骤中，先将每张二维平面断层图像进行格式转换，将其统一的格式。可选的，预设格式为tif、png或jpg中的一种。由于png格式是一种无损压缩的位图片形格式，具有压缩比高，生成文件体积小等优势，因此在本实施例中优选的将其转换成png格式。

步骤S102，对所述预设格式的二维平面断层图像进行图像增强处理。

在一个具体的实施例中，增强处理可以是去噪处理或者分辨率增强处理，若输入的二维平面断层图像为有噪图像，则通过调整局部低秩矩阵M1和非局部低秩矩阵M2的最小化模型的参数，进行去噪处理，若输入的二维平面断层图像为低分辨率的图像，则也可通过调整低秩矩阵M1和非局部低秩矩阵M2的最小化模型的参数，进行增强处理。

在一个实施例中，增强处理的步骤包括S1021～S1026：

S1021，对预设格式的二维平面断层图像进行分割，得到多个图像块，通过将图像分割成多个图像块，对每个对图像块进行增强处理。

S1022，在图像局部具有低秩特性的矩阵，反映图像局部像素之间的相关性，因此先计算当前图像块的局部低秩矩阵M1。局部低秩矩阵M1是一个由四个子矩阵构成，局部低秩矩阵按一下方式计算：

其中，是高质量图像(无噪图像或高分辨率图像)局部区域像素构成，是中每个像素的邻接像素(八个方向)组成的行向量形成的矩阵。因为和中有部分像素是未知的(噪点位置的正确像素值或者在用于分辨率增强时，需要插入未知的新的像素值)，这些未知的像素值是我们要求解的地方。同理和是低质量图像(带噪图像或者低分辨率图像)中像素构成的两个矩阵，这两个矩阵共同组成一个局部低秩矩阵。其中，局部与非局部都是指相对于当前处理的图像块或者像素的位置。

S1023，在所有图像块中查找所述当前图像块的相似图像块。

具体地，寻找相似块的方法为：通过计算两个图像块的欧式距离，代表两个图像块的相似程度，距离越小，两个块越相似。将相似程度排序，取前n个图像块。

S1024，基于所述相似图像块，计算得到所述当前图像块的非局部低秩矩阵M2。

在整幅图像(带噪图像或低分辨率图像)中寻找多个与当前图像块最相似的图像块，并由相似块的向量形式排列得到非局部低秩矩阵M2。

S1025，基于所述局部低秩矩阵M1和非局部低秩矩阵M2，对所述当前图像块进行重建，得到增强后的当前图像块。

具体地，结合局部低秩矩阵M1和非局部低秩矩阵M2，建立图像重建优化模型，求解重建模型对图像块进行重建，得到高质量图像矩阵中未知像素的值。

S1026，遍历所有图像块，得到增强后的二维平面断层图像。

步骤S103，对所述增强后的二维平面断层图像进行阈值分割处理，得到预处理后的二维平面断层图像。

本发明第一实施实施方式采用上述预处理的过程，能够获得更清楚的二维断层序列，使得后续构建的三维模型更加准确。

CPU处理器20，基于获取的二维平面断层图像构建三维模型。

其步骤如下：在一个具体的实施例中，基于获取的二维平面断层图像序列构建三维模型步骤包括步骤S2011～S2016。

步骤S2011，获取二维平面断层图像序列。优选的，利用图像获取模块10预处理后的二维平面断层图像序列构建三维模型。

步骤S2012，提取相邻两张二维平面断层图像，形成一层。

步骤S2013，基于相邻两张所述二维平面断层图像上相对应的四个像素点，构建一个体素，进而将该层划分成多个体素，所述体素具有层号和在该层的位置坐标。

具体地，基于每层中的两张二维平面断层图像上相对应的4个像素点，构建一个体素是指，基于每层中其中一张二维平面断层图像中相邻且构成正方形的4个像素点与另一张二维平面断层图像中相对应的4个像素点构建一个体素。可选的，该体素为立方体结构。

步骤S2014，将由所有二维平面断层图像得到的全部体素分批发送至GPU处理器，并行处理。用体素所在的层号Z以及在该层的位置(X，Y)标注进程序号。其中，交点坐标与边界体素相对应，且带有边界体素的层号和其在该层的位置坐标信息。

需要说明的是，本申请利用GPU处理器在批处理方面的计算优势和各个体素之间的无关性，实现并行计算，从而极大提高算法的计算性能。

所述GPU处理器用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点的坐标。

具体地，所述GPU处理器判定体素为边界体素的步骤包括：将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，得到所述体素的索引值，该索引值在0-255之间。在预设查找表中查找与所述索引值对应的体素的状态，得到所述体素的状态包括：所述体素是否为边界体素，所述边界体素与预设等值面的交点位于所述边界体素的哪一条棱边上和交点之间的连接方式。

具体地，预设等值面的阈值根据所要构建的三维模型对应的部位的密度值设定，通过将体素的8个顶点的密度值与该预设等值面的阈值比较，能够得出该体素是不是边界体素，如果是边界体素，找出边界体素的棱边上灰度值为该阈值的等值点，这个等值点就是该边界体素与预设等值面的交点。

其中，GPU处理器将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，若8个顶点的密度值都大于或小于预设等值面的阈值，说明该体素与预设等值面无交点，该体素不是边界体素。反之，则说明该体素与预设等值面有交点，且有多种不同相交方式，则确定该体素为边界体素。也就是，若一部分顶点的密度值大于预设等值面的阈值，另一部分顶点的密度值小于预设等值面的阈值，则确定该体素为边界体素。

其中，预设查找表通过如下方法构建；

一个立方体的8个顶点的密度值与预设的等值面阈值的大小关系存在2^8＝256种关系。若将每一种情况都视为一种相交状态(包括没有交点的情况)，则共有256种状态，根据对称性，可以分成15类，如图3所示。

根据这15类，可以构建一个预设查找表，该预设查找表的长度为256，记录了15类下的256种状态中每种状态交点的连接方式、每种状态一一对应一个索引值，每个索引值在0-255之间，也就是第一个状态，索引值为0，第二个状态索引值为1，第256个状态索引值为255。设置索引值的目的是便于比对，使得查找速度更快。

在判断体素是否为边界体素时，只需要将体素的8个顶点的密度值与预设等值面的阈值进行比较，即可得到一个0-255之间的索引值，根据索引值在预设查找表中进行查找，就可以确定该体素是否为边界体素，还可以得到边界体素的哪条棱边上有等值点(即体素与预设等值面的交点)，以及该等值点的连接方式。

步骤S2015，所述边界体素的棱边与预设等值面的交点进行渲染的步骤，进而得到渲染后的三维模型。具体的步骤如下：

GPU处理器基于预设的渲染信息，利用反射率方程，计算出所述边界体素的棱边与预设等值面的交点的辐射率；所述GPU处理器还用于将所述辐射率转化成RGB分量，并基于所述RGB分量，对每个交点着色，得到渲染后的交点。

GPU处理器基于预设的渲染信息，利用反射率方程，模拟真实物理条件，计算出物体表面每个顶点的辐射率，辐射率是指光能的辐射强度，此处每个顶点的辐射率也就是光能的辐射强度。其中，所述渲染信息包括光照信息、观察视点位置信息和三维模型表面的材质信息。其中，光照信息指光源的类型，点光源或者平行光；如果是点光源，包括光源位置坐标；如果是平行光，包括平行光的方向；以及光照强度。观察视点位置信息是指观察视点位置坐标，物体表面材质信息在此指的是渲染不同组织和结构的材质信息，比如骨骼需要骨骼的材质信息。

步骤S2016，接收GPU处理器发送的全部边界体素的所述交点，将所述交点之间连线构建多边形面片。

具体地，将交点连线，构造出多边形面片，多边形面片可以是三角形面片或其他多边形面片。

步骤S2017，基于全部相邻的二维平面断层图像得到多个多边形面片。

步骤S2018，基于所有的边界体素的层号信息和其在该层的位置坐标信息，将多边形面片组合得到三维模型。

CPU处理器20，还用于对三维模型二维切平面的重建。

其步骤包括：在所述三维模型上建立空间坐标系。利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置。所述切平面与所述三维模型的交集形成所述三维模型切片。将所述三维模型切片发送到所述GPU处理器30。

具体地，使用VTK，构建vtkPlaneWidget对象后，再构建切平面。然后，调整切平面的大小，切平面在三维坐标系中的位置以及倾斜角度，能够获取任意角度的切平面。所述切平面与所述三维模型的交集形成所述三维模型切面。

具体地。切平面与所述三维模型的交集由切平面上连续的点构成，三维模型的切面以交集的方式呈现在预先设定的切平面上。

GPU处理器30，对三维模型切面设置颜色、纹理等信息。并将所述三维模型切片的像素点纹理映射到二维平面上，得到重建的二维平面图像。该重建的二维平面图像可以是三维模型中任意的切面。

显示模块40，用于显示构建的三维模型和/或显示重建的二维平面图像。

在一个实施例中，还包括测量模块，采用边缘检测的方法检测所述二维平面图像中的轮廓线，所述轮廓线围成的区域为轮廓区域。该轮廓线可以是大脑的外壳、病变部位的轮廓或器官组织的轮廓。

优选的，测量模块还通过图像形态学算法，优化所述轮廓线，以增强所述轮廓线。可选的，通过图像形态学算法，分割出独立的图像元素以及在图像中相邻的元素连接，使得轮廓线更清楚。

测量模块，对所述轮廓区域栅格化，根据所述轮廓区域内网格的个数及网格的面积计算得到轮廓区域的面积。可选的，可根据需要设置栅格化的精度。一般精度越小，栅格化的网格越小，将越逼近轮廓区域；反之，逼近程度越差。

本发明第三实施方式提供的移动终端，能够根据获取的平面二维平面断层图像构建出三维模型，该三维模型中能够体现人体器官的立体图像，便于观察病变的位置、形状和大小。另外，移动终端具有成本低，易携带的优点。通过移动终端的CPU与GPU配合，提高了图像处理的准确性和效率，降低了图像处理成本，且通过移动终端构造出的三维图像能够展示出人体器官及病变部位的三维图像，便于用户观察了解组织或病变部位的具体情况，普适性较高。

本发明的第四实施方式还提供了一种存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现第二实施方式提供的三维模型重建方法的步骤。

根据本发明的第五实施方式还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现第二实施方式提供的所述三维模型重建方法的步骤。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种三维模型的二维切平面的重建方法，其特征在于，应用于移动终端，包括：

基于获取的二维平面断层图像序列构建三维模型；

在所述三维模型上建立空间坐标系；

利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置；

所述切平面与所述三维模型的交集形成所述三维模型切面；

将所述三维模型切面发送到所述GPU处理器，所述GPU处理器用于将所述三维模型切面的像素点纹理映射到二维平面上，得到重建的二维平面图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

采用边缘检测的方法检测所述二维平面图像中的轮廓线，所述轮廓线围成的区域为轮廓区域；

对所述轮廓区域栅格化；

根据所述轮廓区域内网格的个数及网格的面积计算得到轮廓区域的面积。

3.根据权利要求2所述的方法，其特征在于，基于获取的二维平面断层图像序列构建三维模型步骤包括：

获取二维平面断层图像序列；

提取相邻两张二维平面断层图像，形成一层；

基于相邻两张所述二维平面断层图像上相对应的四个像素点，构建一个体素，进而将该层划分成多个体素，所述体素具有层号和在该层的位置坐标；

将相邻二维平面断层图像的全部所述体素发送至GPU处理器，所述GPU处理器用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点；

基于预设渲染信息，对交点进行着色；

接收GPU处理器发送的全部边界体素的所述交点，将所述交点之间连线构建多边形面片；

基于全部相邻的二维平面断层图像得到多个多边形面片；

将多边形面片组合得到三维模型。

4.根据权利要求3所述的方法，其特征在于，所述GPU处理器判定体素为边界体素的步骤包括：

将所述体素的8个顶点的密度值与所述预设等值面的阈值分别进行比较，得到所述体素的状态索引值；

在预设查找表中查找与所述索引值对应的体素的状态，得到所述体素的状态包括：所述体素是否为边界体素，所述边界体素与预设等值面的交点位于所述边界体素的哪一条棱边上以及交点之间的连接方式。

5.根据权利要求4所述的方法，其特征在于，所述GPU处理器通过线性插值方法计算得到所述边界体素的棱边与预设等值面的交点坐标。

6.根据权利要求5所述的方法，其特征在于，所述GPU处理器还用于对所述边界体素的棱边与预设等值面的交点进行渲染：

基于预设的渲染信息，利用反射率方程，计算出所述边界体素的棱边与预设等值面的交点的辐射率；所述GPU处理器还用于将所述辐射率转化成RGB分量，并基于所述RGB分量，对每个交点着色，得到渲染后的交点；

接收所述GPU处理器发送的全部渲染后的所述交点，将同一边界体素中的交点连线，构建与该边界体素对应的渲染后的多边形面片；

基于渲染后的多边形面片得到渲染后的三维模型。

7.根据权利要求3所述的方法，其特征在于，在获取多张二维平面断层图像的步骤之后，还包括对所述二维平面断层图像预处理的步骤：

对所述二维平面断层图像进行格式转换，得到预设格式的二维平面断层图像；

对所述预设格式的二维平面断层图像进行图像增强处理；

对所述增强后的二维平面断层图像进行阈值分割处理，得到预处理后的二维平面断层图像；

基于预处理后的二维平面断层图像构建三维模型。

8.根据权利要求7所述的方法，其特征在于，对所述预设格式的二维平面断层图像进行增强的步骤包括：

对所述预设格式的二维平面断层图像进行分割，得到多个图像块；

计算当前图像块的局部低秩矩阵；

在所有图像块中查找所述当前图像块相似的相似图像块；

基于所述相似图像块，计算得到所述当前图像块的非局部低秩矩阵；

基于所述局部低秩矩阵和非局部低秩矩阵，对所述当前图像块进行重建；

遍历所有图像块，得到所述增强后的二维平面断层图像。

9.一种移动终端，其特性在于，包括CPU处理器和GPU处理器；

所述CPU处理器，基于获取的二维平面断层图像构建三维模型；

在所述三维模型上建立空间坐标系；

利用VTK库构建切平面，所述切平面具有预设的大小、以及所述切平面与所述三维模型具有预设的相对位置；

所述切平面与所述三维模型的交集形成所述三维模型切面；

将所述三维模型切面发送到所述GPU处理器；

所述GPU处理器，将所述三维模型切面的像素点纹理映射到二维平面上，得到重建的二维平面图像。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8中任意一项所述三维模型重建方法的步骤。