CN110533113B - 一种数字图像中树状结构的分支点检测方法 - Google Patents

Abstract

本发明公开了一种数字图像中树状结构的分支点检测方法，所述方法是基于两级级联卷积网络的深度分支点检测模型，即候选区域分割网络和误检排除网络。首先从原始图像中提取固定尺寸的样本训练各向异性卷积核的三维U型分割网络，再将包含树状结构的图像输入到训练好的分割网络中进行分割，得到分支点候选区域，以候选区域的每个点作为分支点的候选点；然后利用三个比例提取候选点的三个3D图像块并计算每个3D图像块三视图的最大强度投影以形成对应九个2D视图，同时将2D视图分别输入五个卷积层的堆栈中，最后将该候选点对应2D视图卷积后的特征进行融合，得到最终分支点检测结果，具有计算成本低、误检率低且检测效率高的特点。

Description

一种数字图像中树状结构的分支点检测方法

技术领域

本发明涉及到图像处理技术领域，尤其涉及一种数字图像中树状结构的分支点检测方法。

背景技术

在数字图像研究中，树状结构(如神经元，视网膜血管和支气管)的形态学重建是非常重要的；在神经生物学研究中，大规模体积显微镜图像数据集进行三维神经元重建对于理解大脑神经网络的功能至关重要；在眼科学中，视网膜血管树的形态可以为诊断青光眼，增生性糖尿病视网膜病等疾病提供重要的临床信息。此外，支气管的形态重建在各种肺病的研究中具有重要意义，可以对支气管病变进行定量研究。

到目前为止，许多研究都集中在数字图像中树状结构的数字重建上，而用于自动且准确地检测树状结构的关键点(终端和分支点)的方法对于树状结构的许多数字重建极为重要，因为关键点不仅可以成为许多现有重建方法的初始种子点，而且也反映图像局部特征，有助于确定树状结构重建的拓扑结构。然而，包含树状结构的三维图像通常非常复杂，在大多数基于图论的重建方法中仅使用末梢点来获得树状结构的精确重建是一项具有挑战性的任务。如果可以自动检测分支点，那么重建树状结构的难度将大大减少。此外，分支点的分析在许多应用中具有重要意义，如神经解剖学研究，心血管疾病研究和图像配准中的界标识别。

然而，人类对树状结构中的分支点识别是极为耗时的，因为树状结构通常是复杂的并且分支点的数量巨大。比如通过沿不同方向手动观察支气管结构来确认分支点时，由于来自肺部结构的相互遮挡，很容易在标记过程中产生漏点，同时还可能存在由于结构交叉点导致视觉的错误识别而产生伪点，只有通过多次放缩以及旋转树状结构才能避免产生这种伪点。因此，手动标记树状结构中的分支点是非常困难且耗时的。

对于常规兴趣点检测方法来说，直接检测数字图像中树状结构的3D分支点是一项具有挑战性的任务，并且用于检测神经元分支点或血管分支点的现有方法通常仅适用于一种特定类型的数据集。诸如3D-Sift，3D-Harris，Heat Kernel Signature之类的3D兴趣点检测方法不能直接检测3D分支点。现有技术中发散射线模型使用射线强度分布特征来检测3D末梢点，然而，这种检测方法的性能对参数的选择非常敏感，调整包含树状结构的不同图像的参数并不是一件容易的事。一种方向滤波和特征提取算法结合基于两阶段模糊逻辑的推理系统，提出了检测神经元的2D末梢点和分支点。但是，它尚未扩展到检测3D分支点。也有研究人员提出了一种方向滤波和特征提取算法，该算法结合了基于两阶段模糊逻辑的推理系统来检测神经元的2D末梢点和分支点。但是，它尚未扩展到检测3D分支点。

最近，由于计算科学的高速发展以及训练数据的丰富，特别是图形处理单元(GPU)的并行化能力，卷积神经网络(CNN)在经典计算机视觉应用中得到了长足的发展并取得了很好的效果。实际上，CNN已经在2D图像中取得了巨大成功，例如血管图像中的出血检测，视网膜血管分割和肺病检测。然而，CNN在3D体积数据上的有效应用仍然是一个悬而未决的问题。一种方法是采用2.5D CNN，其使用2.5D贴片的切片作为2D CNN的不同输入通道。但是，缺少的3D结构信息可能会限制其性能。因此，基于多视图CNN的方法在3D图像的一些分析任务中引起了很多关注。在这些方法中，体积图像被投影到固定视图(平面)，随后每个视图由2D CNN处理并最终使用多视图融合来进行特征融合。但是，这些方法仍局限于2D内核，无法充分利用空间信息。为了克服这个缺点，一些研究应用深度3D CNN进行图像数据的检测和分类。例如，DeepVesselNet使用点标签来训练3D CNN，点标签指定单个体素位置，指示血管分叉的存在，但是，3D CNN由于其参数量巨大从而对于存储器和计算速度要求较高，同时由于在重叠切片中的相同体素上重复进行卷积计算，因此使用3D CNN的体素分类将导致检测任务效率低。

鉴于此，研究一种计算成本低、误检率低且检测效率高的数字图像中树状结构的分支点检测方法是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种数字图像中树状结构的分支点检测方法，所述方法首先通过采用候选区域分割网络将图像中包含分支点的候选区域分割出来，然后利用多尺度多视图卷积网络对候选点中的分支点或伪点进行分类，从而实现了对图像中树状结构分支点的检测，具有计算成本低、误检率低且检测效率高的特点。

为解决上述技术问题，本发明提供一种数字图像中树状结构的分支点检测方法，所述方法包括以下步骤：

S1、从原始图像中提取固定尺寸的图像块并输入到分割网络中进行训练，得到训练好的分割网络，所述图像块包括数量相等的正样本和负样本，所述正样本包含至少一个被标记的分支点，负样本不包含分支点；

S2、将包含树状结构的图像输入到所述步骤S1得到的训练好的分割网络中进行分割，得到图像分支点候选区域，然后将图像分支点候选区域中的每个体素作为分支点的候选点；

S3、以所述步骤S2获得的每个候选点为中心提取3D图像块，同时计算所提取3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，然后分别对所获取的多个对应2D视图进行卷积，得到对应2D视图的特征图；

S4、将所述步骤S3中得到的对应特征图进行融合，再将融合后的特征图依次输入到全连接层和Softmax层进行分类，从而得到所述候选点的最终分支点检测结果。

优选地，所述步骤S1中提取固定尺寸图像块的具体实现方式包括：

S11、从原始图像中提取一个至少包含一个分支点的图像块，首先对该图像块中的分支点进行标注，然后以该标注的分支点为中心获取一个固定尺寸的图像块作为正样本；

S12、对所述步骤S11中标注的分支点添加随机小坐标偏移，并提取多个固定尺寸的图像块作为正样本；

S13、从原始图像中随机获取固定尺寸的负样本，所述负样本不包含分支点且数量与正样本相同。

优选地，所述步骤S11中对所提取的图像块中分支点进行标注的具体实现方式为：对指定体素位置的点进行注释并设置局部直径，然后将指定体素位置的点与设置的局部直径相结合生成所需标签。

优选地，所述步骤S1中提取图像块的固定尺寸为64×64×32像素。

优选地，所述步骤S1中的分割网络为具有各向异性卷积核的三维U型分割网络。

优选地，所述步骤S3的具体实现方式包括：

S31、在所述步骤S2获得的候选点处提取3D图像块；

S32、分别计算所述步骤S31中该3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图；

S33、将所述步骤S32中获取的3D图像块所对应的所有2D视图输入到具有共享权重的多个2D卷积神经网络流中进行卷积处理。

优选地，所述步骤S31中在所述步骤S2获得的候选点处提取3D图像块具体实现方式为：通过20×20×20像素、30×30×30像素和40×40×40像素三种比例提取所述候选点处的3D图像块。

优选地，所述步骤S33的具体实现方式为：将获取的2D视图输入到五个卷积层的堆栈中进行卷积处理，得到对应2D视图的特征图。

优选地，所述步骤S4中将所述步骤S3中得到的对应特征图进行融合具体实现方式为：逐个取出第c条通道的所有特征图中对应像素点的最大值进行融合得到F_m,c，进而得到融合后的特征图F_m，可用公式表示：

式(1)和式(2)中，C表示通道，且C的数量由所述卷积网络中最后一层卷积层的卷积核数目决定，F_m,c表示第c条通道的融合特征，r表示2D视图的数量，

表示第r个2D卷积神经网络流中第c条通道产生的特征图，

其中I₁、I₂和I₃分别表示每个2D卷积神经网络产生的特征图的大小。

与现有技术比较，本发明采用两级级联框架对数字图像中树状结构的分支点进行检测，首先从原始图像中提取固定尺寸的样本训练具有各向异性卷积核的三维U型分割网络，然后将包含树状结构图像输入到训练好的三维U型分割网络中进行分割，得到图像的分支点候选区域，同时将图像分支点候选区域中的每个像素作为分支点的候选点，并利用不同比例以所述候选点为中心提取3D图像块，再计算所提取3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，之后分别对所获取的多个对应2D视图进行卷积，最后将该候选点对应的所有2D视图卷积后的特征图进行融合，从而得到该候选点的最终分支点检测结果。本发明通过具有各向异性卷积核的三维U型分割网络将图像中包含分支点的候选区域分割出来，能够产生与输入相同大小的密集输出，进而大大降低了计算成本，然后利用多尺度多视图卷积神经网络将真实分支点与伪点分开，既降低了误检率，又能够适应分支点大小的多样性，从而实现了数字图像中树状结构分支点的检测，具有计算成本低、误检率低且检测效率高的特点。

附图说明

图1是本发明一种数字图像中树状结构的分支点检测方法流程图，

图2是本发明中从原始图像中提取固定尺寸图像块的方法流程图，

图3是本发明中将分支点候选区域中分支点与伪点进行分开的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

如图1所示，一种数字图像中树状结构的分支点检测方法，所述方法包括以下步骤：

S1、从原始图像中提取固定尺寸的图像块并输入到分割网络中进行训练，得到训练好的分割网络，所述图像块包括数量相等的正样本和负样本，所述正样本包含至少一个被标记的分支点，负样本不包含分支点；

S2、将包含树状结构的图像输入到所述步骤S1得到的训练好的分割网络中进行分割，得到图像分支点候选区域，然后将图像分支点候选区域中的每个体素作为分支点的候选点；

S3、以所述步骤S2获得的每个候选点为中心提取3D图像块，同时计算所提取3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，然后分别对所获取的多个对应2D视图进行卷积，得到对应2D视图的特征图；

S4、将所述步骤S3中得到的对应特征图进行融合，再将融合后的特征图依次输入到全连接层和Softmax层进行分类，从而得到所述候选点的最终分支点检测结果。

本实施例中，首先从原始图像中提取固定尺寸的样本训练具有各向异性卷积核的三维U型分割网络，然后将包含树状结构的图像输入到训练好的三维U型分割网络中进行分割，得到图像的分支点候选区域，同时将图像分支点候选区域中的每个体素作为分支点的候选点，并利用不同比例以所述候选点为中心提取3D图像块，再计算所提取3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，之后分别对所获取的多个对应2D视图进行卷积，最后将该候选点对应的所有2D视图卷积后的特征图进行融合，从而得到该候选点的最终分支点检测结果。本发明通过具有各向异性卷积核的三维U型分割网络将数字图像中包含分支点的候选区域分割出来，能够产生与输入相同大小的密集输出，进而大大降低了计算成本，然后利用多尺度多视图卷积神经网络将真实分支点与伪点分开，既降低了误检率，又能够适应分支点大小的多样性，从而实现了数字图像中树状结构分支点的检测，具有计算成本低、误检率低且检测效率高的特点。本实施例中，通过分割网络分割出来的分支点候选区域大小由分割网络决定。

如图2所示，所述步骤S1中提取固定尺寸图像块的具体实现方式包括：

S11、从原始图像中提取一个至少包含一个分支点的图像块，首先对该图像块中的分支点进行标注，然后以该标注的分支点为中心获取一个固定尺寸的图像块作为正样本；

S12、对所述步骤S11中标注的分支点添加随机小坐标偏移，并提取多个固定尺寸的图像块作为正样本；

S13、从原始图像中随机获取固定尺寸的负样本，所述负样本不包含分支点且数量与正样本相同。

本实施例中，从原始图像中获取数量和尺寸相同的正样本和负样本来训练分割网络，其中对正样本中的分支点进行标注，并在标注的分支点处添加随机小坐标偏移量来提取多个正样本，有效增加了正样本的多样性，同时还通过采用缩放和旋转处理进一步增强了用于训练的正样本。本实施例中，从非分支点区域随机采样获取所需的负样本。

如图2所示，所述步骤S11中对所提取的图像块中分支点进行标注的具体实现方式为：对指定体素位置的点进行注释并设置局部直径，然后将指定体素位置的点与设置的局部直径相结合生成所需标签。本实施例中，在三维U型分割网络的训练阶段需要对分支点进行准确的逐像素注释信息，而对包含分支点的初始候选区域进行检测时，只需要对指定体素位置的点(指示存在分支点)进行注释即可，同时将这些注释信息与设置的局部直径相结合以生成所需标签，本实施例中，标记图像与所提取的图像块尺寸大小相同，且在每个标记图像块中，以标记的分支点为中心，半径内的值设置为1，其余的设置为0，局部直径可根据经验进行估计。

通常，在三维U型分割网络的训练阶段需要准确的逐像素注释信息，本实施例中，对包含分支点的初始候选区域进行检测时，只需要对指定体素位置的点(指示存在分支点)进行注释即可，同时将这些注释信息与设置的局部直径相结合以生成所需标签，本实施例中，标记图像与所提取的图像块尺寸大小相同，且在每个标记图像块中，以标记的分支点为中心，半径内的值设置为1，其余的设置为0，局部直径可根据经验进行估计。

如图1所示，所述步骤S1中提取图像块的固定尺寸为64×64×32像素。本实施例中，由于原图像堆栈大小存在很大的差异，例如，小鼠视网膜神经元细胞图像的大小可以高达2048×2048×128像素，而分割的支气管图像的大小仅为123×126×299像素，同时由于图形处理单元(GPU)的资源有限且图像尺寸差异很大，我们无法将整个原始图像用作网络的输入，而且当使用整个图像作为输入时，由于分支点区域(正样本)仅占据图像中的小部分像素，则会导致分割网络输入的正样本和负样本之间存在严重的不平衡。因此，用于训练三维U型分割网络的样本尺寸均设为64×64×32像素。在其他实施例中，也可以根据实际情况将图像块的固定尺寸进行相应调整。

如图1所示，所述步骤S1中的分割网络为具有各向异性卷积核的三维U型分割网络。本实施例中，所述分割网络选择为具有各向异性卷积核的三维U型分割网络，它可以充分利用来自不同网络层的特征信息，并且检测来自不同数据集的多比例分支点。

如图3所示，所述步骤S3的具体实现方式包括：

S31、在所述步骤S2获得的候选点处提取3D图像块；

S32、分别计算所述步骤S31中该3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图；

S33、将所述步骤S32中获取的3D图像块所对应的所有2D视图输入到具有共享权重的多个2D卷积神经网络流中进行卷积处理。

本实施例中，首先考虑到在不同图像中树状结构的分支大小可能不同，通过多尺度采样策略从分支点候选点处提取3D图像块，以确保捕获不同大小分支点及分支点周围信息，然后计算3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，再将该候选点对应的多个2D视图输入到具有共享权重的多个2D卷积神经网络流中进行卷积处理，从而得到对应2D视图的特征图。

如图3所示，所述步骤S31中在所述步骤S2获得的候选点处提取3D图像块具体实现方式为：通过20×20×20像素、30×30×30像素和40×40×40像素三种比例提取所述候选点处的3D图像块。本实施例中，考虑到在不同图像中树状结构的分支大小可能不同，故通过20×20×20像素、30×30×30像素和40×40×40像素三种比例提取候选点处的3D图像块，从而得到该候选点处的三个3D图像块，然后分别计算所提取的三个3D图像块的轴向图、矢状图和冠状图的最大强度投影可形成九个对应2D视图，最后将九个2D视图输入到具有共享权重的2D卷积神经网络流中进行卷积处理，得到九个2D视图对应的特征图，并将九个对应特征图进行融合，再将融合后的特征图依次输入到全连接层和Softmax层进行分类，从而得到分支点的最终检测结果。

如图3所示，所述步骤S33的具体实现方式为：将获取的2D视图输入到五个卷积层的堆栈中进行卷积处理，得到对应2D视图的特征图。本实施例中，五个卷积层的每个堆栈的卷积核数分别为96,128,128,256和128个，每个卷积核的大小分别为5×5,5×5,3×3,3×3和3×3，由于池化层是通过区域进行统计(如平均值或最大值)来替换图像的某个像素值，会导致精细局部细节信息丢失的问题，故移除了所有的池化层，因此每个卷积层之后均是非线性整流线性单元层，有效避免了梯度消失的问题。

如图1所示，所述步骤S4中将所述步骤S3中得到的对应特征图进行融合具体实现方式为：逐个取出第c条通道的所有特征图中对应像素点的最大值进行融合得到F_m,c，进而得到融合后的特征图F_m，可用公式表示：

式(1)和式(2)中，C表示通道，且C的数量由所述卷积网络中最后一层卷积层的卷积核数目决定，F_m,c表示第c条通道的融合特征，r表示2D视图的数量，

表示第r个2D卷积神经网络流中第c条通道产生的特征图，

其中I₁、I₂和I₃分别表示每个2D卷积神经网络产生的特征图的大小，

表示实数域。

本实施例中，所述2D视图的数量r＝9，由此可知所述2D卷积神经网络流由9个相同的卷积网络构成，则每个2D视图经过卷积后输出的特征图尺寸相同，首先逐个取出第c条通道所有特征图(即从每个2D卷积神经网络产生的特征中取出第c条通道产生的特征图)中对应像素的最大值，从而得到第c条通道的融合特征F_m,c，然后将所有通道的融合特征F_m,c进行叠加，得到融合后的特征图F_m，最后将融合后的特征图F_m依次输入到全连接层和softmax层中从而输出一个概率值，通过设定概率阈值实现了分支点与伪点的判别，本实施例中，在将分支点与伪点判别过程中的概率阈值设为0.5，融合后的特征图F_m经过全连接层和softmax层后会输出一个概率值，当最终网络输出概率大于0.5时，则判断该候选点为分支点，若最终网络输出概率小于等于0.5时，则判断该候选点为伪点(即非分支点)。

以上对本发明所提供的一种数字图像中树状结构的分支点检测方法进行了详细介绍。本文中应用了具体实例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种数字图像中树状结构的分支点检测方法，其特征在于，所述方法包括以下步骤：

S1、从原始图像中提取固定尺寸的图像块并输入到分割网络中进行训练，得到训练好的分割网络，所述图像块包括数量相等的正样本和负样本，所述正样本包含至少一个被标记的分支点，负样本不包含分支点；

S2、将包含树状结构的图像输入到所述步骤S1得到的训练好的分割网络中进行分割，得到图像分支点候选区域，然后将图像分支点候选区域中的每个体素作为分支点的候选点；

S3、以所述步骤S2获得的每个候选点为中心提取3D图像块，同时计算所提取3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图，然后分别对所获取的多个对应2D视图进行卷积，得到每个2D视图的特征图；

S4、将所述步骤S3中得到的对应特征图进行融合，再将融合后的特征图依次输入到全连接层和Softmax层进行分类，从而得到所述候选点的最终分支点检测结果。

2.如权利要求1所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S1中提取固定尺寸图像块的具体实现方式包括：

S11、从原始图像中提取一个至少包含一个分支点的图像块，首先对该图像块中的分支点进行标注，然后以该标注的分支点为中心获取一个固定尺寸的图像块作为正样本；

S12、对所述步骤S11中标注的分支点添加随机小坐标偏移，并提取多个固定尺寸的图像块作为正样本；

S13、从原始图像中随机获取固定尺寸的负样本，所述负样本不包含分支点且数量与正样本相同。

3.如权利要求2所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S11中对所提取的图像块中分支点进行标注的具体实现方式为：对指定体素位置的点进行注释并设置局部直径，然后将指定体素位置的点与设置的局部直径相结合生成所需标签。

4.如权利要求3所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S1中提取图像块的固定尺寸为64×64×32像素。

5.如权利要求4所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S1中的分割网络为具有各向异性卷积核的三维U型分割网络。

6.如权利要求5所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S3的具体实现方式包括：

S31、在所述步骤S2获得的候选点处提取3D图像块；

S32、分别计算所述步骤S31中该3D图像块的轴向图、矢状图和冠状图的最大强度投影以形成多个对应2D视图；

S33、将所述步骤S32中获取的3D图像块所对应的所有2D视图输入到具有共享权重的多个2D卷积神经网络流中进行卷积处理。

7.如权利要求6所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S31中在所述步骤S2获得的候选点处提取3D图像块具体实现方式为：通过20×20×20像素、30×30×30像素和40×40×40像素三种比例提取所述候选点处的3D图像块。

8.如权利要求7所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S33的具体实现方式为：将获取的2D视图输入到五个卷积层的堆栈中进行卷积处理，得到对应2D视图的特征图。

9.如权利要求8所述的数字图像中树状结构的分支点检测方法，其特征在于，所述步骤S4中将所述步骤S3中得到的特征图进行融合具体实现方式为：逐个取出第c条通道的所有特征图中对应像素点的最大值进行融合得到F_m,c，进而得到融合后的特征图F_m，可用公式表示：

式(1)和式(2)中，C表示通道，且C的数量由所述卷积网络中最后一层卷积层的卷积核数目决定，F_m,c表示第c条通道的融合特征，r表示2D视图的数量，

表示第r个2D卷积神经网络流中第c条通道产生的特征图，

其中I₁、I₂和I₃分别表示每个2D卷积神经网络产生的特征图的大小。

Images