CN113160242B

CN113160242B - 一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置

Info

Publication number: CN113160242B
Application number: CN202110305068.0A
Authority: CN
Inventors: 娄联堂; 胡昌婧; 汪然然
Original assignee: South Central University for Nationalities
Current assignee: South Central Minzu University
Priority date: 2021-03-17
Filing date: 2021-03-17
Publication date: 2023-03-14
Anticipated expiration: 2041-03-17
Also published as: CN113160242A

Abstract

本发明涉及一种基于骨盆结构特征的直肠肿瘤图像预处理方法及装置，其包括步骤：基于骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系；根据所述定位点和定位平面在骨盆区域的位置特征选择标准人样本；基于所述标准人样本获取所述原始坐标系与标准人坐标系之间的变换关系；按照所述变换关系将训练图像集中的掩模区域映射到所述标准人坐标系中获取肿瘤可疑区域，可有效提高肿瘤图像分割精度。

Description

一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置

技术领域

本发明涉及医学图像处理与分析应用领域，特别涉及一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置。

背景技术

目前，由于直肠癌的高发病率和高死亡率，通过早期发现提高直肠癌患者的生存率越来越受到研究者的关注。CT是诊断直肠癌的一种有效技术，可以全面、无创、定量地观察肿瘤的整体形态。医学图像诊断的第一步是感兴趣区域的分割。传统上，分割是通过放射科医师的手工描绘和分割来完成的。然而，这一过程不仅费力，而且具有内部和内部的可变性。此外，放射治疗的质量和随后的分析，可能取决于这些人工分割的准确性。因此，需要计算机辅助的高效的直肠肿瘤自动分割方法，提高肿瘤信息的准确性，减轻医生的负担，增强感兴趣区域的鲁棒性。随着医学图像自动分割技术的快速发展，在自动分割中使用深度学习变得更加普遍。新的基于深度学习的自动分割技术比传统的方法有了显著的改进。

相关技术中，提出了一种基于深度学习的直肠肿瘤自动分割方法。虽然该方法表现出良好的性能，但在二维数据上的实现不符合三维CT图像的体积形式。二维CNN算法对CT数据按切片序列进行分割。虽然基于CNN的二维自动分割方法在分割的精度上有了很大的提高，但在使用体积空间信息时，内核固有的二维形式限制了其发展。此外，基于深度学习的自动分割常用的方法是简单地使用U-net进行神经网络训练，并带有内置的预处理过程，这对于处理直肠肿瘤的ROI过于粗糙。而直肠肿瘤在CT图像中的准确分割至关重要，因此，本发明引入一种结合骨盆结构特征的预处理方法，以提高肿瘤图像分割的计算精度。

发明内容

本发明实施例提供一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置，提高肿瘤图像分割的计算精度。

第一方面，提供了一种基于骨盆结构的直肠癌肿瘤图像预处理方法，其包括步骤：基于骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系；根据所述定位点和定位平面在骨盆区域的位置特征选择标准人样本；基于所述标准人样本获取所述原始坐标系与标准人坐标系之间的变换关系；按照所述变换关系将训练图像集中的掩模区域映射到所述标准人坐标系中获取肿瘤可疑区域。

一些实施例中，所述基于骨盆结构特征确定定位点和定位平面，包括步骤：基于患者CT图像获取骨盆区域重心点并以此为定位点；基于骨盆区域的结构特征以及所述骨盆区域重心点在所述骨盆区域中的相对位置确定第一定位平面；基于所述骨盆区域重心点与所述第一定位平面确定第二定位平面；基于所述骨盆区域重心点、所述第一定位平面和所述第二定位平面确定第三定位平面。

一些实施例中，所述根据所述定位点和定位平面确定样本点的原始坐标系，包括步骤：以所述骨盆区域重心点为所述原始坐标系的原点；分别以所述第一定位平面、第二定位平面和第三定位平面的法向量的方向为坐标轴x,y,z的方向建立原始坐标系。

一些实施例中，所述基于患者CT图像获取骨盆区域重心点，包括步骤：对患者CT图像的三维图像进行二值化处理并获取样本点；在笛卡尔坐标系下将所述样本点在x,y,z三个方向上求均值以确定所述骨盆区域重心点的坐标。

一些实施例中，所述基于骨盆区域的结构特征以及所述骨盆区域重心点在所述骨盆区域中的相对位置确定第一定位平面，包括步骤：

基于第一公式确定所述第一定位平面；

所述第一公式为：

其中，

为所述骨盆区域重心点的坐标，

是所述第一定位平面的法向量，

是骨盆区域重心点到第一定位平面的有向距离。

一些实施例中，所述基于所述骨盆区域重心点与所述第一定位平面确定第二定位平面，包括步骤：

基于骨盆区域内骶椎与所述骨盆区域重心点和所述第一定位平面之间的位置关系确定骶椎切面中心点；

基于第二公式确定所述第二定位平面；

所述第二公式为：

其中，

为所述骨盆区域重心点的坐标，

是所述第一定位平面的法向量，

为所述骶椎切面中心点的坐标。

一些实施例中，所述基于所述骨盆区域重心点、所述第一定位平面和所述第二定位平面确定第三定位平面，包括步骤：

根据第三公式确定所述第三定位平面；

所述第三公式为：

其中，

为所述骨盆区域重心点的坐标，

为所述骶椎切面中心点的坐标，

是所述第一定位平面的法向量。

一些实施例中，所述根据所述定位点和定位平面选择标准人样本，包括步骤：基于所述第一定位平面、第二定位平面以及第三定位平面在骨盆区域划分区域的特性选择测试点；根据所述骨盆区域重心点到所述测试点以及所述骶椎切面中心点的直线距离的平均值确定标准人样本。

一些实施例中，所述基于所述第一定位平面、第二定位平面以及第三定位平面在骨盆区域划分区域的特性选择测试点，包括步骤：

所述第一定位平面、第二定位平面以及第三定位平面将所述骨盆区域划分为多个子区域；

在所述多个子区域中选取连接区域大且与周围组织密度有显著差异的两个子区域；

基于上述两个子区域确定测试点。

另一方面，还提供一种基于骨盆结构的直肠癌肿瘤图像预处理装置，其包括：

定位特征构建模块，其用于根据骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系；

标准人样本获取模块，其用于根据所述定位点和定位平面在骨盆区域的位置特征选择标准人样本；

坐标系变换模块，其用于基于所述标准人样本获取所述原始坐标系与标准人坐标系之间的变换关系；

可疑区域获取模块，其用于按照所述变换关系将训练图像集中的掩模区域映射到所述标准人坐标系中获取肿瘤可疑区域。

本发明实施例提供了一种基于骨盆结构的直肠癌肿瘤图像预处理方法，根据骨盆结构特征利用骨盆区域内的几何信息(定位点与定位平面)对每个直肠癌样本的骨盆CT图像建立三维坐标系，并通过坐标系变换对样本图像与训练图像集中的掩模区域进行归一化处理。因此在构建定位特征体系的基础上，加入先验信息(所述训练图像集，可包括专家知识和典型的解剖特征)进行预识别，降低分类错误的概率，提高肿瘤图像的分割精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于骨盆结构的直肠癌肿瘤图像预处理方法的流程示意图；

图2为本发明实施例提供的一种基于骨盆结构的直肠癌肿瘤图像预处理方法中测试点、定位点及原始坐标轴的位置关系图。

图3为本发明实施例提供的一种基于骨盆结构的直肠癌肿瘤图像预处理方法中坐标系变换示意图；

图4为本发明实施例提供的一种基于骨盆结构的直肠癌肿瘤图像预处理方法中ROI掩模生成示意图；

图5为本发明实施例提供的一种基于骨盆结构的直肠癌肿瘤图像预处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所述，本发明实施例提供了一种基于骨盆结构的直肠癌肿瘤图像预处理方法，其包括步骤：

S100:基于骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系；

S200:根据所述定位点和定位平面在骨盆区域的位置特征选择标准人样本；

S300:基于所述标准人样本获取所述原始坐标系与标准人坐标系之间的变换关系；

S400:按照所述变换关系将训练图像集中的掩模区域映射到所述标准人坐标系中获取肿瘤可疑区域。

需要说明的是，所述骨盆结构特征包括骨盆的形状以及直肠在骨盆区域内的相对位置等，例如男性骨盆由骨盆、骶骨、尾骨和耻骨联合组成；直肠是一个略呈s形的器官，位于尾骨前面；直肠普通在一个区域内被前，左，右骨盆骨和尾骨所包围。本发明是利用这些骨盆区域内的局部信息(定位点与定位平面)来指导对直肠癌可疑区域的分割。所述训练图像集为所有训练图像，它是指含有放射科医师手工标出直肠肿瘤区域的图像。

需要说明的是，所述肿瘤可疑区域为直肠癌的感兴趣区域。目前在对直肠癌的感兴趣区域联合进行分割时，对整个骨盆区域进行扫描的原始CT图像相对于目标区域覆盖了较大的背景。这种不相关背景的信息不仅增加了特征空间的复杂性，而且大大增加了计算代价。

在本实施例中，先通过骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系，相当于使预处理过程成为一个有针对性、有特异性的过程。通过定位点和定位平面所确定的原始坐标系，可从原始CT图像中首先获取直肠肿瘤的候选分割区域，排除一部分不相关信息区域。在此基础之上，利用训练图像集，可结合专家知识和典型的解剖特征来识别直肠肿瘤的ROI(Region Of Interest，即感兴趣区域)。进一步有效地缩小目标区域，可有效地降低分类错误的概率，提高后续对直肠癌肿瘤图像的分割精度。

在一些实施例中，步骤S100中关于如何基于骨盆结构特征确定定位点和定位平面，还包括步骤：

S110：基于患者CT图像获取骨盆区域重心点并以此为定位点；

S120：基于骨盆区域的结构特征以及所述骨盆区域重心点在所述骨盆区域中的相对位置确定第一定位平面；

S130：基于所述骨盆区域重心点与所述第一定位平面确定第二定位平面；

S140：基于所述骨盆区域重心点、所述第一定位平面和所述第二定位平面确定第三定位平面。

需要说明的是，骨盆是一种近似对称的骨骼，连接着脊柱和下肢。由于训练数据由骨盆三维CT数据集组成，每个CT数据集由轴向切片组成，每块切片由医生手动放置以轮廓出所感兴趣的器官，因此盆腔区域的骨结构顺序基本固定。它是一个完整的骨环，连接骶骨、尾骨(脊柱最下面的两块骨头)和左右髋骨形成。因此，步骤S120中所述骨盆区域的结构特征以及所述骨盆区域重心点在所述骨盆区域中的相对位置可以是骨盆区域具有的对称结构特征以及盆腔区域对称平面与骨盆区域重心点的位置关系。

在本实施例中，可基于骨盆结构的具体特征，确定出具有解剖特性的定位点和第一、第二、第三定位平面，并基于上述点位点与定位平面来确定三维坐标系。

在一些实施例中，步骤S100中根据所述定位点和定位平面确定样本点的原始坐标系，包括步骤：以所述骨盆区域重心点为所述原始坐标系的原点；分别以所述第一定位平面、第二定位平面和第三定位平面的法向量的方向为坐标轴x,y,z的方向建立原始坐标系。

在一些实施例中，S110包括步骤：

S111：对患者CT图像的三维图像进行二值化处理并获取样本点；

S112：在笛卡尔坐标系下将所述样本点在x,y,z三个方向上求均值以确定所述骨盆区域重心点的坐标。

需要说明的是，步骤S111中在对CT图像进行二值化处理时，可将目标区域的像素值设置为1，背景的像素值设置为0，

其中，g(x,y,z)∈{0,1}用于判断每个像素(x,y,z)是否属于目标区域f(x,y,z)∈[0,L]，L为CT图像的上限(所述上限为像素的灰度最大值)。

需要说明的是，步骤S112中描述样本点的坐标时，三个分量的单位是不同的。因此为了得到坐标信息，x,y,z分量需要有长度单位(如果没有特别说明，下面每个分量都有单位)。为了在后续仅图像分割处理前，能够将不同CT图像的坐标系统变换为相同的坐标系统。本实施例在笛卡尔坐标系中建立样本点的坐标表达式。可用Ω⁽ⁱ⁾表示第i个样本的点集，Ω⁽ⁱ⁾中的点的g(x,y,z)等于1，即可表示为：Ω⁽ⁱ⁾＝{(x,y,z)|g(x,y,x)＝1}。因此，将二值化后的每个像素点在x,y,z三个方向上求均值，从而得到整个骨盆区域的重心点的坐标G₀。重心的三个分量的坐标可以表示为:

其中，第一个定位点(骨盆区域的重心点)的坐标可以写成G₀＝(g_x,g_y,g_z)＝(x₁,y₁,z₁)，第i个样本中骨盆区域的重心点

的坐标可表示为

在一些实施例中，在步骤S111之前还包括在二维像素灰度值集合的方向上添加坐标，将患者CT图像转化为三维图像。为了便于观察，将图像上各点的Hounsfield unit(HU)转换为对应的像素值表示为:

Pixel＝(HU-Intercept)/Slope，可使用较大的灰度区域进行定位，这些区域由像素值大于骨骼的HU值的像素组成，用T表示。可优选地设置T为1350。

在一些实施例中，步骤S120还包括步骤：基于第一公式确定所述第一定位平面；所述第一公式为：

其中，

为所述骨盆区域重心点的坐标，

是所述第一定位平面的法向量，

是骨盆区域重心点到第一定位平面的有向距离。

可优选地，可设置：

d(unit:mm)相对较小。还可根据人体生理结构的特点，进一步将

限制在较小的范围内，如

利用霍夫变换计算对称平面上的参数

在一些实施例中，S130还包括步骤：

S131：基于骨盆区域内骶椎与所述骨盆区域重心点和所述第一定位平面之间的位置关系确定骶椎切面中心点；

S132：基于第二公式及所述骶椎切面中心点确定所述第二定位平面；

所述第二公式为：

其中，

为所述骨盆区域重心点的坐标，

是所述第一定位平面的法向量，

为所述骶椎切面中心点的坐标,它是所述第一定位平面与骶椎相交部分的重心。

一些实施例中，步骤S131还包括步骤：

S131a：扩充平面第一定位平面使其具有厚度；

S131b：获取扩充后的第一定位平面与二值化样本点的交集并计算该交集的重心点记为A⁽ⁱ⁾；

S131c：确定两个以所述骨盆区域重心点(记为

)为顶点、以第一定位平面为对称平面且以所述

与A⁽ⁱ⁾之间的直线为开口方向的圆锥体，且所述圆锥体半顶角为30°；

S131d：以所述圆锥体在骨盆区域划分成两个子区域，选取点数较多的子区域并求该子区域的重心，以此为所述骶椎切面中心点。

需要说明的是，二值化样本点即为上述S111步骤中二值化处理后获取的样本点集。本实施例中可实现利用骶椎切面中心点与第一定位平面确定三维坐标系的一个轴。

一些实施例中，S140还包括步骤：

根据第三公式确定所述骨盆区域第三定位平面；

所述第三公式为：

其中，

为所述骨盆区域重心点的坐标，

为所述骶椎切面中心点的坐标，

是所述第一定位平面的法向量。

需要说明的是，构造第三定位平面的目的是为了确定样本点的原始坐标系，因此使第三定位平面通过骨盆区域的重心点，并分别与第一定位平面和第二定位平面垂直，即第三个定位平面的法向量应满足两个条件:1)第三定位平面通过骨盆区域的重心点；2)第三定位平面的法向量分别垂直于第一定位平面的法向量和第二定位平面的法向量。

一些实施例中，步骤S200还包括步骤：

S210：基于所述第一定位平面、第二定位平面以及第三定位平面在骨盆区域划分区域的特性选择测试点；

S220：根据所述骨盆区域重心点到所述测试点以及所述骶椎切面中心点的直线距离的平均值确定标准人样本。

需要说明的是，步骤S220中，可选择最接近所述平均值的样本点为标准人样本。

一些实施例中，步骤S210还包括步骤：

S211：所述第一定位平面、第二定位平面以及第三定位平面将所述骨盆区域划分为多个子区域；

S212：在所述多个子区域中选取连接区域大且与周围组织密度有显著差异的两个子区域；

S213：基于上述两个子区域确定测试点。

需要说明的是，在所述步骤S211中，所述第一定位平面、第二定位平面以及第三定位平面将所述骨盆区域划分成了8个独立的子区域；在所述步骤S212中其中，左右髋骨和股骨所处的子区域有较大的连接区域，与周围组织密度有显著差异，因此基于这两个子区域的测试点相对固定。因此，步骤S213中可选择左右髋骨和股骨所处的两个子区域，并以两个子区域对应的区域重心点为测试点，以此来进行标准人样本的选择。可将两个测试点表示为G_L，G_R，即：G_L＝(x_L,y_L,z_L)，G_R＝(x_R,y_R,z_R)，基于该测试点，则骨盆区域重心点G₀、骶椎切面中心点S以及原始坐标轴x、y、z轴的位置如图2所示。

一些实施例中，步骤S300中还包括步骤进行坐标系变换：

S310：在原始坐标系中，以第i个样本所在第一定位平面、第二定位平面以及第三定位平面的法向量分别作为三个轴的方向建立第i个样本的坐标系，可表示为：

S320：将第i个样本坐标系的三个轴线方向与标准人的进行匹配，匹配表达式可为:

其中，j₁j₂j₃表示1到3的全排列，

表示标准人坐标系的三个轴线方向，±表示轴的方向可以旋转180°，可最小化第i个样本和标准人对应轴之间的三个角度。第i个样本的坐标轴方向可正可负，在选择最小角度时，它们可能大于180°。此时，应减去180°，并使

反向。

S330：根据表达式a进行坐标系变换，表达式a为：

其中，

为第i个样本在坐标系

下的坐标，而

表示三个已经匹配的轴方向，

表示标准人在坐标系

下的坐标。

S340：将表达式a用表达式b进行缩放，表达式b为：

其中

是x、y、z轴上的第i个样本与标准人之间的缩放因子。

需要说明的是，如图3所示的坐标系变换示意图中，实线的坐标系为标准人坐标系，其三个坐标轴x、y、z分别用x⁽⁰⁾,y⁽⁰⁾,z⁽⁰⁾表示；虚线的坐标系为第i个样本的坐标系，其三个坐标轴x、y、z分别用x⁽ⁱ⁾,y⁽ⁱ⁾,z⁽ⁱ⁾表示。

可优选地，将缩放因子用表达式c来定义，表达式c为：

则第i个个样本的原始坐标系与标准人坐标系的变换关系为：

，可简写为

其中

一些实施例中，步骤S400还包括步骤：在得到标准人坐标系与原始坐标系的变换关系后，将训练图集中所有直肠癌患者的掩模点集映射到标准人坐标系中。通过求标准人坐标系中这些点集的并集，可以获得直肠癌的感兴趣区域。进一步生成训练图集的ROI掩模(如图4所示)，该直肠癌的感兴趣区域(灰色区域)可表示为：

其中，M⁽ⁱ⁾表示第i个训练样本肿瘤区域包含的点的集合。

可以理解的是，通过适当的坐标选择和变换，将肿瘤区域集合映射到标准坐标。不同样本的肿瘤区域的并集是掩模，灰色区域的结构具有肿瘤生长的风险。ROI是医学专家在同一坐标系下手动分割的所有肿瘤区域的最小并集,它是基于训练集的先验知识得到的直肠肿瘤可能发生的区域,可以认为当训练集的样本数量足够大时，其他样本的直肠肿瘤也发生在ROI。还可以将上一步获取的掩模区域ROI通过坐标系的逆变换到不同的坐标系中以获取任意单个样本图像的ROI。

另一方面，如图5所示，本实施例提供一种基于骨盆结构的直肠癌肿瘤图像预处理装置，其特征在于，其包括：

在本实施例中，定位特征构建模块先通过骨盆结构特征确定定位点和定位平面并根据所述定位点和定位平面确定样本点的原始坐标系，相当于使预处理过程成为一个有针对性、有特异性的过程。通过定位点和定位平面所确定的原始坐标系，可从原始CT图像中首先获取直肠肿瘤的候选分割区域，排除一部分不相关信息区域。在此基础之上，可疑区域获取模块利用训练图像集，可结合专家知识和典型的解剖特征来识别直肠肿瘤的ROI。进一步有效地缩小目标区域，可有效地降低分类错误的概率，提高后续对直肠癌肿瘤图像的分割精度。

本发明提供的一种基于骨盆结构的直肠癌肿瘤图像预处理方法及装置，通过基于骨盆结构特征的定位信息建立直肠区域的物体坐标系对ROI进行限缩定位，并利用专家知识和典型的解剖特征来识别直肠肿瘤的ROI以达到网络训练前的偏差校正；通过进行坐标变换，消除了个体间生理结构的特异性，更好地利用了解剖学特征的具体影像学信息，使获取所有样本直肠肿瘤的感兴趣区域更有助于后期图像分割。

在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在本发明中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。