CN113679417A - 模型引导优化并行的超声影像3d重建方法 - Google Patents

Abstract

本申请提出ACMCR模型引导的3D纹理体绘制方法，并实现基于OpenCL并行计算的超声影像3D纹理体绘制，主要包括：第一，针对包含肿瘤区域的软组织超声影像，在现有技术3D纹理体绘制方法基础上，提出ACMCT模型来引导传递函数变换过程，提出模型引导改进的3D纹理体绘制方法，实现肿瘤与正常组织区域的差别建模；第二，针对重建数据量增大导致重建效率受影响问题，采用GPU并行改进3D纹理体绘制计算方法，对模型引导改进的3D纹理体绘制方法过程进行并行处理，使重建速度显著提高；第三，采用VTK实现模型引导改进的3D纹理体绘制方法，并基于重建模型实现模型任意切片剪切，为后续的超声组织研究与诊疗奠定良好的基础。

Description

模型引导优化并行的超声影像3D重建方法

技术领域

本申请涉及一种并行超声影像3D重建方法，特别涉及一种模型引导优化并行的超声影像3D重建方法，属于超声影像3D重建技术领域。

背景技术

3D超声影像能够很好的解决软组织等物体3D可视化和后期模型分析问题，3D超声影像投影到2D显示屏幕的成像结果，不再局限于某个固定角度，而是可以通过旋转、缩放等操作来进行任意角度观察。同时，在重建的模型基础上，可以通过剪切来提取模型部分数据，从而显示物体的任意切面结果。获取3D超声影像通常有两种途径，一种是通过专用的3D超声探头获取，另一种是通过传统的二维超声探头获取物体在某个固定方向的切面影像序列，再运用3D重建技术生成得到3D影像。尽管可以采用通过专用的3D超声探头来获取3D超声影像的第一种途径，但由于技术、价格等因素的限制，专用的3D超声探头在医疗等应用领域中，并没有大规模应用开来。而第二种途径通过计算机技术对传统二维超声影像序列进行3D重建的方法，成为了3D超声领域的研究和应用热点。

在传统超声影像序列的基础上,采用3D重建技术来生成对象3D模型，并通过可视化技术展现出来，有助于医生及研究人员感知物体的3D结构。在重建模型的基础上，通过人机交互，提取模型的任意切面，可以帮助医生或研究人员更加深入的研究组织局部状态，为疾病诊断及治疗提供依据。

当前，超声成像技术被广泛应用于各个领域，而传统成像技术由于维度等限制，通过计算机技术对传统超声影像序列进行3D重建的方法，成为了3D超声领域的热点，通过计算机技术进行3D重建来实现物体3D可视化方法，主要分为两大类：一类是通过抽取模型表面信息来实现重建面绘制，另一类是充分运用影像每个像素灰度值及空间位置信息来实现重建体绘制。由于面绘制方法在重建过程中丢弃了原始数据的大部分信息，只能提供模型的表面信息。而在一些医学实践应用中，不仅需要模型的表面信息，还需要通过模型内部的细节信息来辅助诊断治疗。体绘制3D可视化方法则恰好满足这一需求，它能够提供模型内部的细节信息。

超声、MRI、CT等医学成像技术产生了大量器官等软组织的切面影像，这些二维医学影像在临床应用及基础研究上，用途都非常受限。通过超声探头来检测人体软组织内的肿瘤情况，得到一系列软组织及肿瘤的切面影像，而在实际诊疗过程中，仅有软组织的这些切面信息是不够的，还需要对肿瘤及软组织的3D整体结构进行感知。这就需要医生通过想象力及丰富的临床经验，在大脑中构建肿瘤或组织的3D结构，由于超声等医学成像技术的限制，采集得到的这些切面影像中，肿瘤区域可能会发生严重的畸变及边界模糊等情况，这又极大的增加了医生的判断难度。

在医学影像基础上运用计算机技术，进行3D可视化，是临床应用及医学基础研究领域的重点。在计算机中可视化后的医学影像，能够方便医生对疾病的诊断和治疗，也有助于研究人员更深层次的生物医学研究。另外，在临床应用及医学研究中，医生或研究人员不仅希望能看到组织模型在某一个固定角度上的切面结构，更希望对其有全面整体的认识，并可以从任意角度观察操作组织模型，以及对其内部结构进行深度研究。3D可视化技术能够提供逼真的显示效果，并支持医生和研究人员对显示的模型进行多层次、多角度的分析。

3D可视化方法分为两类：面绘制方法和体绘制方法。面绘制方法是根据切片影像的分割结果或轮廓线，构造中间几何图元，抽取3D模型的表面信息，再加以适当的光照模型，得到3D物体的表面效果。由于面绘制方法中，抽取的是切片影像的部分数据，所以面绘制方法重建速度较快，但绘制过程中丢失了大量的内部数据信息，仅能够提供物体的表面信息，不能提供模型内部细节特征及体数据场中各个体素之间的相互关系，而且不能保留原有影像数据的一些物理属性。

体绘制方法是将3D标量数据场进行二维显示的过程，体绘制方法不同于面绘制过程中提取物体模型几何表面进行显示，而是将原数据集投影到成像平面上，进而得到显示影像。体绘制方法中切片影像的像素信息得以充分利用，相较面绘制而言，它能够展示更多的内部细节信息，但绘制过程中需要耗费较多的存储单元和计算单元，速度较慢，随着硬件的升级换代及性能提升，该方法已经得到越来越广泛的应用，被应用到不同领域中。3D纹理体绘制方法中，一束平行光线照射入体数据中，根据光照吸收模型或其他光学模型，计算得到每个体素的光学属性值，通过设计传递函数，将体素的光学属性值及其灰度属性映射到纹理的颜色和不透明度属性空间，生成3D纹理。根据观察者的视线方向，对3D数据进行多边形切片，并进行Alpha混合，得到最终的成像。该方法相比于其他几种纯软件绘制方法，由于结合了硬件支持，速度较快，且成像效果满足医学等领域应用需求。因此，在医学影像可视化问题上，可以采用该方法来解决传统二维超声影像的应用局限性。

综上所述，现有技术的超声影像3D重建方法存在不足，本申请的难点和待解决的问题主要集中在以下方面：

第一，在医学疾病诊断及治疗领域，超声通过对组织部位进行超声成像，可以初步判断出组织内的病变情况，并辅助进行进一步治疗。但传统超声成像呈现的结果为组织二维切面影像，由于维度限制，该切面影像难以体现组织的3D结构特征。采用基于影像序列的3D纹理体绘制方法能够重建生成组织3D模型，解决了传统超声影像的维度局限性，但在包含肿瘤病变的软组织超声影像中，肿瘤区域与正常组织相互交织，传统的3D纹理体绘制方法在重建后仍不能有效的区分肿瘤与正常组织部分，为肿瘤形态的认知及后续治疗带来困难，现有技术没有高效的解决办法，缺少一种速度快、效果好的区分肿瘤与正常组织部分方法；

第二，包含肿瘤病变区域的组织超声影像序列，现有技术3D纹理体绘制方法中，3D纹理数据仅通过体数据的灰度信息及体素光学属性生成，超声影像质量普遍较差，且在包含肿瘤病变的组织超声影像中，肿瘤区域与正常组织交织混合，肿瘤边界模糊，不足以在重建后的模型进一步的区分肿瘤与正常组织部分，不利于对肿瘤形状的识别及后期手术治疗过程；

第三，随着超声应用领域对重建速度及生成模型质量要求的提高，用于重建的初始影像数据量急剧增大，这就需要更多的存储单元来储存初始影像信息及绘制过程中的中间计算结果，同时，在重建绘制时需要大量的计算单元来对体数据进行计算处理，仅依靠CPU来完成全部工作，很难实现快速高质量的模型重建，而超声影像序列重建过程中，涉及有大量的数据运算操作，这些数据的运算操作在重建过程中，占用了大量的时间，这些数据的运算操作间具有高度的并行性，现有技术缺少3D重建过程中的数据运算并行加速处理，严重影响整个重建过程的效率。

发明内容

对于包含肿瘤病变区域的软组织超声影像，现有技术的3D纹理体绘制方法不能很好的展示肿瘤与正常组织部分的差别信息。为此，本申请提出ACMCR模型引导的3D纹理体绘制方法，并实现基于OpenCL并行计算的超声影像3D纹理体绘制，主要包括：第一，针对包含肿瘤区域的软组织超声影像，在现有技术3D纹理体绘制方法基础上，提出ACMCT模型来引导传递函数变换过程，提出模型引导改进的3D纹理体绘制方法，实现肿瘤与正常组织区域的差别建模；第二，针对重建数据量增大导致重建效率受影响问题，采用GPU并行改进3D纹理体绘制计算方法，对模型引导改进的3D纹理体绘制方法过程进行并行处理，使重建速度显著提高；第三，采用VTK实现模型引导改进的3D纹理体绘制方法，并基于重建模型实现模型任意切片剪切，为后续的超声组织研究与诊疗奠定良好的基础。

为实现以上技术特征，本申请所采用的技术方案如下：

模型引导优化并行的超声影像3D重建方法，在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，且同时运用GPU并行计算方法进行加速处理，提出基于OpenCL并行计算的超声影像3D纹理体绘制方法，提高重建效率；主要包括：

第一步，ACMCR模型引导的3D纹理体绘制：在包含肿瘤病变的软组织超声影像中，针对肿瘤与正常组织边界交织混合问题，提出模型引导改进的3D纹理体绘制方法，该改进方法在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，通过分割标记来引导模型重建过程，增强重建模型中正常组织与肿瘤区域的认知区分，为靶区手术导航提供依据；

第二步，基于OpenCL并行计算的超声影像3D纹理体绘制：针对3D纹理体绘制重建速度问题，提出基于GPU并行计算的3D纹理体绘制方法，采用基于OpenCL的GPU并行计算方法对ACMCR模型引导的3D纹理体绘制方法过程进行加速处理，提高重建效率；

第三步，超声影像3D模型重建及剪切：将ACMCR模型引导的3D纹理体绘制方法应用于基于VTK的重建过程中，并在基于VTK的3D模型基础上，实现超声影像3D模型的任意切面剪切过程，并构建高质量切面成像。

模型引导优化并行的超声影像3D重建方法，进一步的，模型引导改进的3D纹理体绘制方法：提出ACMCR分割模型来进行超声影像序列模型重建，通过ACMCR模型引导3D纹理体绘制，通过分割标识数据引导传递函数变换过程，实现肿瘤病变区域与正常软组织区域的分离；

在含肿瘤的组织超声影像中，包括有肿瘤区域T_r和正常组织区域T_c，在3D重建后的模型中，将T_r和T_c区域区分开来，分别进行不同效果建模，本申请通过在重建之前进行影像分割生成区域标识，再结合标识数据来引导传递函数变换过程。

模型引导优化并行的超声影像3D重建方法，进一步的，ACMCR模型引导的3D纹理体绘制：提出ACMCR模型，通过在分割过程中引入形状约束限制因子，约束活动轮廓演化过程，获得一个更准确的分割结果，抑制边界泄漏和过度收缩问题，并且ACMCR模型在分割过程中引入多尺度分析方法，提高分割效率，ACMCT模型中定义的能量函数如式1所示：

B_(ACMR)(f)＝B_(ACR)(s_x1，s_x2，f)+m∫_Ωh(f(x))·G_formdx 式1

其中，B_(ACR)(s_x1，s_x2，f)为式2中的能量函数，通过最小化一个能量函数而不断将初始轮廓曲线朝向形状边界演化逼近，采用区域表征架构利用局域信息，对非均匀强度超声图像进行分割，式2为区域表征架构下的能量函数：

E(x，y)定义轮廓线上点x的局域特征函数，s_x1、s_x2分别为轮廓线上点x局域化下的区域内部和外部的均值强度，G_area表示基于面积的作用力，Ω指图像区域，

指梯度算子，||·||指欧式距离，f(x)指水平集函数，h(x)指Dirac函数，J(y)指像素点灰度值，k和m为对应系数，m∫_Ωh(f(x))·G_formdx为为引入的形状约束项。

ACMCR模型引导能够有效的用于HIFU超声影像靶区目标分割过程，在进行HIFU超声影像重建之前，对影像序列肿瘤靶区目标进行分割处理。

模型引导优化并行的超声影像3D重建方法，进一步的，模型引导改进的3D纹理体绘制方法步骤为：

第1步：将图像源经过图像预处理分别得到体数据和ACMCR模型；

第2步：分别提取体数据中的光学属性和灰度属性，通过ACMCR模型得到分割标识；

第3步：将灰度属性和分割标识通过传递函数1得到影像不透明度，将光学属性和分割标识通过传递函数2得到影像颜色信息；

第4步：由影像不透明度和影像颜色信息得到3D纹理数据；

第5步：将3D纹理数据通过观察者视线切片计算得到数据切片；

第6步：将数据切片通过三线性插值得到重采样序列；

第7步：将重采样序列混合得到最终成像。

模型引导优化并行的超声影像3D重建方法，进一步的，基于OpenCL并行计算的超声影像3D纹理体绘制：在本申请模型引导改进的3D纹理体绘制方法中，时间耗费过程主要包括在以下两个处理模块中：第一个模块是根据初始体数据和光照模型，生成3D纹理数据，这个模块记为Creare_Texrure；第二模块是生成3D纹理数据后，根据观察视线方向不同，生成与视线方向垂直的多边形数据切片，这个模块记为Gen_Slice；

在Creare_Texrure模块中，生成3D纹理数据，再经过Gen_Slice模块生成多边形切片，经过这两个主要模块后，就能结合GPU图形硬件支持的Alpha混合将重采样点沿视线方向混合，形成最终的二维影像。

在Creare_Texrure和Gen_Slice两个主要时间耗费模块中，利用GPU对这两部分进行并行加速处理。

模型引导优化并行的超声影像3D重建方法，进一步的，GPU并行改进3D纹理体绘制方法流程为：

(1)CPU端处理：

将图像源经过图像预处理得到体数据，将图像源经过ACMCT模型引导处理得到分割标识；

(2)GPU并行计算：

GPU并行计算一：通过Creare_Texrure模块将CPU端处理得到的体数据和分割标识导入传递函数，传递函数计算处理影像不透明度属性和亮度属性形成影像纹理；

GPU并行计算二：通过Gen_Slice模块计算观察者视线形成影像切片；

(3)GPU硬件支持：

基于GPU硬件支持将GPU并行计算得到的影像纹理和影像切片处理得到3D纹理映射，将3D纹理映射经纹理混合得到最终成像。

模型引导优化并行的超声影像3D重建方法，进一步的，GPU并行计算的3D纹理体绘制：在使用GPU加速计算的超声影像3D重建中，对重建过程模块间数据流动过程进行优化，减少CPU和GPU间的数据传输，超声影像3D重建涉及多个模块，对于二个有依赖关系的模块，后一模块在计算过程中，可能需要使用前一模块的计算结果及前一模块的输入数据，在对两个模块进行GPU并行计算处理时，GPU工作项将前一模块的计算结果写入到全局存储区域进行保存，此时后一模块，直接使用这个区域，而不再需要通过CPU的中介交互，另外，对于各模块间的只读数据部分，通过放置在常量内存区域，实现各工作项的同时访问，避免不必要的同步耗时，通过优化重建过程模块间数据流动过程，减少CPU与GPU间不必要的数据传输，消减CPU与GPU的数据传输瓶颈限制，从而可以更快的完成3D重建过程。

模型引导优化并行的超声影像3D重建方法，进一步的，超声影像3D模型重建及剪切：通过剪切操作提取重建模型数据集的任意切面数据，实现对组织切片的观察，针对模型进行剪切操作需同时满足两个条件：一是生成待剪切的3D组织模型数据集，二是需确定用于裁剪的剪切平面，第二个条件用隐函数实现，隐函数建立各种不同的形状区域，表示形式如下：

G(x，y，z)＝S 式3

其中，(x，y，z)用于表示3D空间中的某个位置点的坐标信息，S为常量值，用x²+y²＝1表示二维空间内圆心在原点的单位圆，用x²+y²+z²＝R²表示3D空间内球心在原点、半径为R的球体，隐函数描述几何区域形状的特性，运用该特性将3D模型分隔开，设点Q(x₁，y₁，z₁)为当前模型上的点，G(x，y，z)＝S为某个隐函数所定义的几何形状，将点Q代入几何形状隐函数G(x，y，z)＝S中，如果G(x₁，y₁，z₁)＞S，表示该坐标点Q在几何区域的外部，G(x₁，y₁，z₁)＜S，表示Q在几何区域的内部，G(x₁，y₁，z₁)＝S，表示Q在该几何区域空间上。

模型引导优化并行的超声影像3D重建方法，进一步的，在实现模型剪切获取任意切面过程中，采用平面剪切方式，3D空间中由平面的点法式方程(即为隐函数)，来确定一个任意平面，假设平面W经过一个固定点N₁(x₁，y₁，z₁)，且垂直于一个非零向量

则得到平面W的点法式方程为：

D(x-x₁)+E(y-y₁)+F(z-z₁)＝0 式4

该方程变换为平面的一般方程为：

Dx+Ey+Fz＝Dx₁+Ey₁+Fz₁.......................式5

指定该平面的源点N₁及其法向量

来确定一个剪切平面，在3D空间中固定重建后的模型位置，通过交互机制设置剪切平面，达到对重建模型任意切面剪切的效果。

与现有技术相比，本申请的创新点和优势在于：

第一，为解决现有技术的方法重建后肿瘤模型难以认知的问题，本申请在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，增强重建模型中正常组织与肿瘤区域的认知区分，为靶区手术导航提供依据，且同时运用GPU并行计算方法进行加速处理，提出基于OpenCL并行计算的超声影像3D纹理体绘制方法，对绘制过程进行加速处理，提高重建效率；基于VTK的重建过程中，实现超声影像3D模型的任意切面剪切过程，并构建高质量切面成像，为后续的超声组织研究与诊疗奠定良好的基础；

第二，为避免HIFU超声影像分割过程中的边界泄漏及过度收缩问题，提出ACMCR模型，通过在分割过程中引入形状约束限制因子，约束活动轮廓演化过程，获得一个更准确的分割结果，从而抑制边界泄漏和过度收缩问题，并且ACMCR模型在分割过程中引入多尺度分析方法，提高分割效率，本申请通过ACMCT模型引导生成3D纹理数据时，在体数据灰度信息及体素光学属性基础上，增加分割标识约束因子，引导肿瘤区域与正常组织区域的不同纹理生成过程，从而在重建后的3D模型中，有效区分不同组织状态，为靶区治疗及手术导航提供依据；

第三，本申请在使用GPU加速计算的超声影像3D重建中，对重建过程模块间数据流动过程进行优化，减少CPU和GPU间的数据传输，超声影像3D重建涉及多个模块，在对两个模块进行GPU并行计算处理时，GPU工作项将前一模块的计算结果写入到全局存储区域进行保存，此时后一模块，直接使用这个区域，而不再需要通过CPU的中介交互，另外，对于各模块间的只读数据部分，通过放置在常量内存区域，实现各工作项的同时访问，避免不必要的同步耗时，通过优化重建过程模块间数据流动过程，减少CPU与GPU间不必要的数据传输，消减了CPU与GPU的数据传输瓶颈限制，从而可以更快的完成3D重建过程。

附图说明

图1是ACMCR模型引导的3D纹理体绘制方法流程图。

图2是传统方法与改进方法超声影像3D重建实验对比效果图。

图3是GPU并行改进3D纹理体绘制方法流程图。

图4是在实验平台一上并行前后单帧时间对比示意图。

图5是本申请三维纹理体绘制模块间数据流示意图。

图6是本申请隐函数几何区域分隔模型示意图。

图7是改进的3D纹理体绘制方法基于VTK重建模型的剪切效果图。

具体实施方法

下面结合附图，对本申请提供的模型引导优化并行的超声影像3D重建方法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。

在医学疾病诊断及治疗领域，超声成像由于具有无损害、低辐射和价格低廉等优势。通过对组织部位进行超声成像，可以初步判断出组织内的病变情况，并辅助进行进一步治疗。但传统超声成像呈现的结果为组织二维切面影像，由于维度限制，该切面影像难以体现组织的3D结构特征。采用基于影像序列的3D纹理体绘制方法能够重建生成组织3D模型，解决了传统超声影像的维度局限性，但在包含肿瘤病变的软组织超声影像中，肿瘤区域与正常组织相互交织，传统的3D纹理体绘制方法在重建后仍不能有效的区分肿瘤与正常组织部分，为肿瘤形态的认知及后续治疗带来困难。

为解决现有技术的方法重建后肿瘤模型难以认知的问题，本申请在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，且同时运用GPU并行计算方法进行加速处理，提出基于OpenCL并行计算的超声影像3D纹理体绘制方法，提高重建效率；主要包括：

第一步，ACMCR模型引导的3D纹理体绘制：在包含肿瘤病变的软组织超声影像中，针对肿瘤与正常组织边界交织混合问题，提出模型引导改进的3D纹理体绘制方法，该改进方法在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，通过分割标记来引导模型重建过程，增强重建模型中正常组织与肿瘤区域的认知区分，为靶区手术导航提供依据；

第二步，基于OpenCL并行计算的超声影像3D纹理体绘制：针对3D纹理体绘制重建速度问题，提出基于GPU并行计算的3D纹理体绘制方法，采用基于OpenCL的GPU并行计算方法对ACMCR模型引导的3D纹理体绘制方法过程进行加速处理，提高重建效率。

第三步，超声影像3D模型重建及剪切：将ACMCR模型引导的3D纹理体绘制方法应用于基于VTK的重建过程中，并在基于VTK的3D模型基础上，实现超声影像3D模型的任意切面剪切过程，并构建高质量切面成像。

一、ACMCR模型引导的3D纹理体绘制

基于3D纹理体绘制的重建可视化方法，可以有效解决传统超声影像的维度局限性。本申请针对传统方法在处理包含肿瘤区域的超声影像上的不足，提出ACMCR分割模型，并提出模型引导改进的3D纹理体绘制方法，并就传统方法与改进方法进行了实验对比，传统方法中正常组织与肿瘤边界不易区分，而在通过传统3D纹理体绘制方法得到的重建结果中，也难以体现肿瘤区域的结构特征，对组织疾病诊断及手术治疗引导性较低。

(一)模型引导改进的3D纹理体绘制方法

针对包含肿瘤病变区域的组织超声影像序列，采用现有技术的3D纹理体绘制方法，肿瘤区域在重建后的模型中不易区分，不利于对肿瘤形状的识别及后期手术治疗过程。

为此，本申请提出一种模型引导改进的3D纹理体绘制方法来进行超声影像序列模型重建，通过ACMCR模型引导3D纹理体绘制，通过分割标识数据引导传递函数变换过程，从而实现肿瘤病变区域与正常软组织区域的分离。

1.ACMCR模型引导

在含肿瘤的组织超声影像中，包括有肿瘤区域(记为T_r)和正常组织区域(记为T_c)，而手术过程中主要针对肿瘤区域T_r进行治疗，而应当避免损伤T_c区域，如果在3D重建后的模型中，将T_r和Tc区域区分开来，分别进行不同效果建模，本申请通过在重建之前进行影像分割生成区域标识，再结合标识数据来引导传递函数变换过程。

由于具有低信噪比、弱边界及灰度不均等问题，针对超声影像进行精确分割是影像分割的一大难题，而在HIFU手术治疗过程中，由于水介质的干扰及角度恒定等因素，HIFU超声影像的弱边界等特性则表现的更为明显。

为避免HIFU超声影像分割过程中的边界泄漏及过度收缩问题，提出ACMCR模型，通过在分割过程中引入形状约束限制因子，约束活动轮廓演化过程，获得一个更准确的分割结果，从而抑制边界泄漏和过度收缩问题，并且ACMCR模型在分割过程中引入多尺度分析方法，提高分割效率，ACMCT模型中定义的能量函数如式1所示：

B_(ACMR)(f)＝B_(ACR)(s_x1，s_x2，f)+m∫_Ωh(f(x))·G_formdx 式1

其中，B_(ACR)(s_x1，_x2，f)为式2中的能量函数，通过最小化一个能量函数而不断将初始轮廓曲线朝向形状边界演化逼近，采用区域表征架构利用局域信息，对非均匀强度超声图像进行分割，式2为区域表征架构下的能量函数：

E(x，y)定义轮廓线上点x的局域特征函数，s_x1、s_x2分别为轮廓线上点x局域化下的区域内部和外部的均值强度，G_area表示基于面积的作用力，Ω指图像区域，

指梯度算子，||·||指欧式距离，f(x)指水平集函数，h(x)指Dirac函数，J(y)指像素点灰度值，k和m为对应系数，m∫_Ωh(f(x))·G_formdx为为引入的形状约束项。

采用ACMCR模型引导能够获得更高的精确度，且平均分割时间缩短为原来的1/6左右。ACMCR模型引导能够有效的用于HIFU超声影像靶区目标分割过程，本申请在进行HIFU超声影像重建之前，对影像序列肿瘤靶区目标进行分割处理，如图1所示。

采用ACMCR模型引导对HIFU治疗系统采集的超声影像进行分割处理，区分开了正常组织区域T_c和肿瘤区域T_r，通过肿瘤靶区目标分割，得到了肿瘤区域T_r和正常组织区域T_c的标识数据。

2.模型引导改进的3D纹理体绘制流程

现有技术基于影像序列的3D纹理体绘制方法，可以解决超声成像的二维局限性问题，提供扫描物体的3D成像结果。但超声影像质量普遍较差，且在包含肿瘤病变的组织超声影像中，肿瘤区域与正常组织交织混合，肿瘤边界模糊。采用现有的方法不足以进一步的区分肿瘤与正常组织部分。为此，针对包含肿瘤病变区域的超声影像重建问题，本申请提出一种模型引导改进的3D纹理体绘制方法，在经传递函数生成3D纹理过程中，结合分割标识，约束肿瘤与正常组织区域的纹理映射过程，从而在重建的模型中区分肿瘤与组织区域。

图1为模型引导改进的3D纹理体绘制流程图。现有技术3D纹理体绘制方法中，3D纹理数据仅通过体数据的灰度信息及体素光学属性生成，对于包含肿瘤病变的组织超声影像，不能很好的呈现肿瘤部分。在改进的方法模型中，通过ACMCT模型引导，得到分割标识，生成3D纹理数据时，在体数据灰度信息及体素光学属性基础上，增加分割标识约束因子，来引导肿瘤区域与正常组织区域的不同纹理生成过程，从而在重建后的3D模型中，有效区分不同组织状态，为靶区治疗及手术导航提供依据。

模型引导改进的3D纹理体绘制方法步骤为：

第1步：将图像源经过图像预处理分别得到体数据和ACMCR模型；

第2步：分别提取体数据中的光学属性和灰度属性，通过ACMCR模型得到分割标识；

第3步：将灰度属性和分割标识通过传递函数1得到影像不透明度，将光学属性和分割标识通过传递函数2得到影像颜色信息；

第4步：由影像不透明度和影像颜色信息得到3D纹理数据；

第5步：将3D纹理数据通过观察者视线切片计算得到数据切片；

第6步：将数据切片通过三线性插值得到重采样序列；

第7步：将重采样序列混合得到最终成像。

(二)实验结果与分析

本小节在VS2019环境下采用C++语言及OpenCV对影像进行预处理，结合OpenGL在模型引导改进的3D纹理体绘制基础上进行了实验，图2为传统方法与改进方法重建实验对比效果。其中，图2(a)是在传统3D纹理体绘制方法基础上进行的重建结果，图2(b)为本申请ACMCT分割模型的改进3D纹理体绘制方法重建结果，图2(a)中由于仅考虑了初始超声影像数据，导致正常组织与肿瘤靶区区域在重建模型中混合在一起，难以区分，不能够从3D重建结果中识别出肿瘤区域形状，对手术治疗的引导意义大大降低。而在图2(b)中可以清晰的分辨出两个区域位置及形状，图中深色区域为重建后的肿瘤部分，肿瘤周边的灰白色区域为正常软组织部分。实验中，为了能够观察组织及肿瘤区域的内部细节特征，分别对正常组织区域和肿瘤区域进行了透明化处理，从而可以观察到组织的内部信息。较传统3D纹理体绘制方法，本申请的改进方法由于ACMCT模型引导，运用了分割标识来引导重建过程，可以更为有效的认知及区分肿瘤与正常组织区域，为手术治疗提供可靠的参考依据。

二、基于OpenCL并行计算的超声影像3D纹理体绘制

随着超声应用领域对重建速度及生成模型质量要求的提高，用于重建的初始影像数据量急剧增大，这就需要更多的存储单元来储存初始影像信息及绘制过程中的中间计算结果，同时，在重建绘制时需要大量的计算单元来对体数据进行计算处理，仅依靠CPU来完成全部工作，很难实现快速高质量的模型重建。随着图形硬件设备的快速发展，当前GPU除了能够完成图形渲染工作外，还提供通用计算支持，借助这些可编程图形处理硬件设备提供的通用计算和纹理映射，能够更快更高效的对3D数据场进行3D纹理直接体绘制，从而弥补体绘制方法对计算需求大的缺陷。

(一)GPU并行改进3D纹理体绘制方法流程

在采用本申请模型引导改进的3D纹理体绘制方法进行二维超声影像序列重建过程中，涉及有大量的数据运算操作，这些数据的运算操作在重建过程中，占用了大量的时间，并且运用该方法进行重建过程中，这些数据的运算操作间具有高度的并行性，利用GPU的通用计算能力，对3D重建过程中的数据运算并行加速处理，可以提升重建的速度，更快的完成整个重建过程。

在本申请模型引导改进的3D纹理体绘制方法中，时间耗费过程主要包括在以下两个处理模块中：第一个模块是根据初始体数据和光照模型，生成3D纹理数据，这个模块记为Creare_Texrure；第二模块是生成3D纹理数据后，根据观察视线方向不同，生成与视线方向垂直的多边形数据切片，这个模块记为Gen_Slice。

在Creare_Texrure模块中，生成3D纹理数据，再经过Gen_Slice模块生成多边形切片，经过这两个主要模块后，就能结合GPU图形硬件支持的Alpha混合将重采样点沿视线方向混合，形成最终的二维影像。

在Creare_Texrure和Gen_Slice两个主要时间耗费模块中，利用GPU对这两部分进行并行加速处理，GPU并行改进3D纹理体绘制方法流程如图3所示。

(1)CPU端处理：

将图像源经过图像预处理得到体数据，将图像源经过ACMCT模型引导处理得到分割标识；

(2)GPU并行计算：

GPU并行计算一：通过Creare_Texrure模块将CPU端处理得到的体数据和分割标识导入传递函数，传递函数计算处理影像不透明度属性和亮度属性形成影像纹理；

GPU并行计算二：通过Gen_Slice模块计算观察者视线形成影像切片；

(3)GPU硬件支持：

基于GPU硬件支持将GPU并行计算得到的影像纹理和影像切片处理得到3D纹理映射，将3D纹理映射经纹理混合得到最终成像。

(二)实验结果与分析

本申请在VS2019环境中，采用C++语言结合OpenCV和OpenGL完成超声影像3D重建过程，再结合OpenCL异构计算语言，运用GPU加速计算设备，在图3模型基础上，对超声影像3D重建过程进行并行加速实验。为验证图3中并行加速模型的实际加速效果，分别采用两组不同的数据集进行重建实验，第一组超声影像序列数据规模为480×340×82，第二组超声影像序列数据规模为536×352×302，另外，为验证加速模型在不同加速设备上的效果，分别在装有不同GPU加速设备的硬件平台上，对GPU并行加速模型加速效果进行验证。图4是在实验平台一上的测试结果，采用GPU来进行加速辅助计算后，超声影像3D重建过程提速了10倍左右。

CPU与GPU(即内存与显存)间的数据传输是GPU并行计算能力提高的瓶颈，在计算过程中，尽量减少内存与显存间的数据交换。因此，本申请在使用GPU加速计算的超声影像3D重建实验中，对重建过程模块间数据流动过程进行优化，减少CPU和GPU间的数据传输。超声影像3D重建涉及多个模块，对于二个有依赖关系的模块，后一模块在计算过程中，可能需要使用前一模块的计算结果及前一模块的输入数据，在对两个模块进行GPU并行计算处理时，GPU工作项将前一模块的计算结果写入到全局存储区域进行保存，此时后一模块，直接使用这个区域，而不再需要通过CPU的中介交互，另外，对于各模块间的只读数据部分，通过放置在常量内存区域，实现各工作项的同时访问，避免不必要的同步耗时。图5为优化后的模块间数据传输关系。通过优化重建过程模块间数据流动过程，减少CPU与GPU间不必要的数据传输，消减了CPU与GPU的数据传输瓶颈限制，从而可以更快的完成3D重建过程。

三、超声影像3D模型重建及剪切

医学领域的组织切片观察是组织学研究的基本方法，针对超声影像重建后的模型，结合任意角度切片成像，辅助进行组织疾病的诊断及治疗。

通过剪切操作提取重建模型数据集的任意切面数据，实现对组织切片的观察，针对模型进行剪切操作需同时满足两个条件：一是生成待剪切的3D组织模型数据集，二是需确定用于裁剪的剪切平面，第二个条件用隐函数实现，隐函数建立各种不同的形状区域，表示形式如下：

G(x，y，z)＝S 式3

其中，(x，y，z)用于表示3D空间中的某个位置点的坐标信息，S为常量值，用x²+y²＝1表示二维空间内圆心在原点的单位圆，用x²+y²+z²＝R²表示3D空间内球心在原点、半径为R的球体，隐函数描述几何区域形状的特性，运用该特性将3D模型分隔开。设点Q(x₁，y₁，z₁)为当前模型上的点，G(x，y，z)＝S为某个隐函数所定义的几何形状，将点Q代入几何形状隐函数G(x，y，z)＝S中，如果G(x₁，y₁，z₁)＞S，表示该坐标点Q在几何区域的外部，G(x₁，y₁，z₁)＜S，表示Q在几何区域的内部，G(x₁，y₁，z₁)＝S，表示Q在该几何区域空间上。

图6(a)表示用一个椭圆面片对二维网格数据进行分隔，图6(b)为分隔出来的椭圆面片上的数据点，即满足G(x₁，y₁，z₁)＝S，通过隐函数所确定的剪切面，将初始数据集中的坐标点，代入到剪切面隐函数中进行计算，将初始数据集中满足隐函数关系的数据点提取出来，获取数据集数据。

本申请在实现模型剪切获取任意切面过程中，采用平面剪切方式，3D空间中由平面的点法式方程(即为隐函数)，来确定一个任意平面，假设平面W经过一个固定点N₁(x₁，y₁，z₁)，且垂直于一个非零向量

则得到平面W的点法式方程为：

D(x-x₁)+E(y-y₁)+F(z-z₁)＝0 式4

该方程变换为平面的一般方程为：

Dx+Ey+Fz＝Dx₁+Ey₁+Fz₁.....................式5

指定该平面的源点N₁及其法向量

来确定一个剪切平面，在3D空间中固定重建后的模型位置，通过交互机制设置剪切平面，达到对重建模型任意切面剪切的效果。

图7为改进的3D纹理体绘制方法基于VTK重建模型的剪切效果，其中，图7(三维重建)场景由3D重建后的模型及剪切部件组成，用户通过移动白色面片内的小球体来改变剪切平面的源点，通过移动面片法向量方向，来修正剪切平面的法向量，用户通过剪切部件设置好剪切平面后，再将重建模型体素位置代入该平面计算，最终得到图7(组织切片)所示的模型的任意切面的剪切结果。

Claims (9)

1.模型引导优化并行的超声影像3D重建方法，其特征在于，在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，且同时运用GPU并行计算方法进行加速处理，提出基于OpenCL并行计算的超声影像3D纹理体绘制方法，提高重建效率；主要包括：

第一步，ACMCR模型引导的3D纹理体绘制：在包含肿瘤病变的软组织超声影像中，针对肿瘤与正常组织边界交织混合问题，提出模型引导改进的3D纹理体绘制方法，该改进方法在传统基于影像序列的3D纹理体绘制方法的基础上，采用ACMCR模型引导，提出模型引导改进的3D纹理体绘制方法方法，通过分割标记来引导模型重建过程，增强重建模型中正常组织与肿瘤区域的认知区分，为靶区手术导航提供依据；

第二步，基于OpenCL并行计算的超声影像3D纹理体绘制：针对3D纹理体绘制重建速度问题，提出基于GPU并行计算的3D纹理体绘制方法，采用基于OpenCL的GPU并行计算方法对ACMCR模型引导的3D纹理体绘制方法过程进行加速处理，提高重建效率；

第三步，超声影像3D模型重建及剪切：将ACMCR模型引导的3D纹理体绘制方法应用于基于VTK的重建过程中，并在基于VTK的3D模型基础上，实现超声影像3D模型的任意切面剪切过程，并构建高质量切面成像。

2.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，模型引导改进的3D纹理体绘制方法：提出ACMCR分割模型来进行超声影像序列模型重建，通过ACMCR模型引导3D纹理体绘制，通过分割标识数据引导传递函数变换过程，实现肿瘤病变区域与正常软组织区域的分离；

在含肿瘤的组织超声影像中，包括有肿瘤区域T_r和正常组织区域T_c，在3D重建后的模型中，将T_r和T_c区域区分开来，分别进行不同效果建模，本申请通过在重建之前进行影像分割生成区域标识，再结合标识数据来引导传递函数变换过程。

3.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，ACMCR模型引导的3D纹理体绘制：提出ACMCR模型，通过在分割过程中引入形状约束限制因子，约束活动轮廓演化过程，获得一个更准确的分割结果，抑制边界泄漏和过度收缩问题，并且ACMCR模型在分割过程中引入多尺度分析方法，提高分割效率，ACMCT模型中定义的能量函数如式1所示：

B_(ACMCR)(f)＝B_(ACR)(s_x1，s_x2，f)+m∫_Ωh(f(x))·G_formdx 式1

其中，B_(ACR)(s_x1，s_x2，f)为式2中的能量函数，通过最小化一个能量函数而不断将初始轮廓曲线朝向形状边界演化逼近，采用区域表征架构利用局域信息，对非均匀强度超声图像进行分割，式2为区域表征架构下的能量函数：

E(x，y)定义轮廓线上点x的局域特征函数，s_x1、s_x2分别为轮廓线上点x局域化下的区域内部和外部的均值强度，G_area表示基于面积的作用力，Ω指图像区域，

指梯度算子，||·||指欧式距离，f(x)指水平集函数，h(x)指Dirac函数，J(y)指像素点灰度值，k和m为对应系数，m∫_Ωh(f(x))G_formdx为为引入的形状约束项；

ACMCR模型引导能够有效的用于HIFU超声影像靶区目标分割过程，在进行HIFU超声影像重建之前，对影像序列肿瘤靶区目标进行分割处理。

4.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，模型引导改进的3D纹理体绘制方法步骤为：

第1步：将图像源经过图像预处理分别得到体数据和ACMCR模型；

第2步：分别提取体数据中的光学属性和灰度属性，通过ACMCR模型得到分割标识；

第3步：将灰度属性和分割标识通过传递函数l得到影像不透明度，将光学属性和分割标识通过传递函数2得到影像颜色信息；

第4步：由影像不透明度和影像颜色信息得到3D纹理数据；

第5步：将3D纹理数据通过观察者视线切片计算得到数据切片；

第6步：将数据切片通过三线性插值得到重采样序列；

第7步：将重采样序列混合得到最终成像。

5.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，基于OpenCL并行计算的超声影像3D纹理体绘制：在本申请模型引导改进的3D纹理体绘制方法中，时间耗费过程主要包括在以下两个处理模块中：第一个模块是根据初始体数据和光照模型，生成3D纹理数据，这个模块记为Creare_Texrure；第二模块是生成3D纹理数据后，根据观察视线方向不同，生成与视线方向垂直的多边形数据切片，这个模块记为Gen_Slice；

在Creare_Texrure模块中，生成3D纹理数据，再经过Gen_Slice模块生成多边形切片，经过这两个主要模块后，就能结合GPU图形硬件支持的Alpha混合将重采样点沿视线方向混合，形成最终的二维影像；

在Creare_Texrure和Gen_Slice两个主要时间耗费模块中，利用GPU对这两部分进行并行加速处理。

6.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，GPU并行改进3D纹理体绘制方法流程为：

(1)CPU端处理：

将图像源经过图像预处理得到体数据，将图像源经过ACMCT模型引导处理得到分割标识；

(2)GPU并行计算：

GPU并行计算一：通过Creare_Texrure模块将CPU端处理得到的体数据和分割标识导入传递函数，传递函数计算处理影像不透明度属性和亮度属性形成影像纹理；

GPU并行计算二：通过Gen_Slice模块计算观察者视线形成影像切片；

(3)GPU硬件支持：

基于GPU硬件支持将GPU并行计算得到的影像纹理和影像切片处理得到3D纹理映射，将3D纹理映射经纹理混合得到最终成像。

7.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，GPU并行计算的3D纹理体绘制：在使用GPU加速计算的超声影像3D重建中，对重建过程模块间数据流动过程进行优化，减少CPU和GPU间的数据传输，超声影像3D重建涉及多个模块，对于二个有依赖关系的模块，后一模块在计算过程中，可能需要使用前一模块的计算结果及前一模块的输入数据，在对两个模块进行GPU并行计算处理时，GPU工作项将前一模块的计算结果写入到全局存储区域进行保存，此时后一模块，直接使用这个区域，而不再需要通过CPU的中介交互，另外，对于各模块间的只读数据部分，通过放置在常量内存区域，实现各工作项的同时访问，避免不必要的同步耗时，通过优化重建过程模块间数据流动过程，减少CPU与GPU间不必要的数据传输，消减CPU与GPU的数据传输瓶颈限制，从而可以更快的完成3D重建过程。

8.根据权利要求1所述的模型引导优化并行的超声影像3D重建方法，其特征在于，超声影像3D模型重建及剪切：通过剪切操作提取重建模型数据集的任意切面数据，实现对组织切片的观察，针对模型进行剪切操作需同时满足两个条件：一是生成待剪切的3D组织模型数据集，二是需确定用于裁剪的剪切平面，第二个条件用隐函数实现，隐函数建立各种不同的形状区域，表示形式如下：

G(x，y，z)＝S 式3

其中，(x，y，z)用于表示3D空间中的某个位置点的坐标信息，S为常量值，用x²+y²＝1表示二维空间内圆心在原点的单位圆，用x²+y²+z²＝R²表示3D空间内球心在原点、半径为R的球体，隐函数描述几何区域形状的特性，运用该特性将3D模型分隔开，设点Q(x₁，y₁，z₁)为当前模型上的点，G(x，y，z)＝S为某个隐函数所定义的几何形状，将点Q代入几何形状隐函数G(x，y，z)＝S中，如果G(x₁，y₁，z₁)＞S，表示该坐标点Q在几何区域的外部，G(x₁，y₁，z₁)＜S，表示Q在几何区域的内部，G(x₁，y₁，z₁)＝S，表示Q在该几何区域空间上。

9.根据权利要求8所述的模型引导优化并行的超声影像3D重建方法，其特征在于，在实现模型剪切获取任意切面过程中，采用平面剪切方式，3D空间中由平面的点法式方程(即为隐函数)，来确定一个任意平面，假设平面W经过一个固定点N₁(x₁，y₁，z₁)，且垂直于一个非零向量

则得到平面W的点法式方程为：

D(x-x₁)+E(y-y₁)+F(z-z₁)＝0 式4

该方程变换为平面的一般方程为：

Dx+Ey+Fz＝Dx₁+Ey₁+Fz₁ 式5

指定该平面的源点N₁及其法向量

来确定一个剪切平面，在3D空间中固定重建后的模型位置，通过交互机制设置剪切平面，达到对重建模型任意切面剪切的效果。

Images