发明内容
本发明解决的问题是提供一种三维图像中多器官的定位方法,同时使用需定位器官本身的形态信息以及其与其它器官之间的相对位置关系信息,能快速、准确和稳定地定位出图像中的器官的位置。
为了解决上述问题,本发明提供了一种三维图像中多器官的定位方法,包括:
基于器官模板训练的方法,构建任一所述器官的边界点相对于所有所述器官质心位置的偏移量的共存广义霍夫变换查找表;
输入所述三维图像,确定所述三维图像中所有器官的边界点的位置和梯度;
根据所述边界点的位置和梯度以及所述查找表,确定所述三维图像中各个器官的质心位置,即确定所述三维图像中各个器官的位置。
上述所述的三维图像中多器官的定位方法,其中,构建所述查找表的过程如下:
建立所述器官的模板训练集,并确定所述模板的边界点位置其中,所述模板表示第j幅训练图像中器官l的模板,j=1,...,J,J为所有训练图像的数目;l∈L,L={L1,L2,...,Lo}为所述感兴趣的器官的种类的集合, 是所述边界点的总数;
计算所述模板在所述第j幅训练图像上的质心位置;
计算所述模板的边界点位置处的法向量;
根据所述法向量,建立所述查找表。
上述所述的三维图像中多器官的定位方法,其中,计算所述边界点位置处法向量的过程为:
1)对所述模板进行高斯平滑,得到平滑后的模板图像
2)获取所述模板图像的梯度,得到梯度图像,并获取所述梯度图像在边界点位置的值
3)对所述边界点位置的梯度进行正规化,得到所述边界点位置处的法向量
上述所述的三维图像中多器官的定位方法,其中,所述法向量的计算公式为:
其中,为所述梯度的2-范数;n1、n2和n3分别为所述法向量沿三维方向的分量。
上述所述的三维图像中多器官的定位方法,其中,所述n1、n2和n3的取值范围为[-1,1]。
上述所述的三维图像中多器官的定位方法,其中,得到所述查找表的过程为:
1)初始化所述共存查找表C(l,m),其中,l和m∈L,L={L1,L2,...,Lo}为所述感兴趣的器官的种类的集合;
2)获取所述器官l任一边界点位置处的离散化法向量
3)计算所述器官l边界点位置与所述器官m质心位置的偏移量;
4)将所述偏移量的值添加到所述共存查找表C(l,m)的(nx,ny,nz)的位置上。
上述所述的三维图像中多器官的定位方法,其中,所述离散化法向量的公式为:
其中,为所述器官l任一边界点位置处的离散化法向量;floor为最大下界取整函数;(nx,ny,nz)为所述离散化法向量沿三维方向的分量;(n1,n2,n3)为法向量沿三维方向的分量;nD为正整数。
上述所述的三维图像中多器官的定位方法,其中,计算所述偏移量的公式为:
其中,所述dj(i)(l,m)为所述器官l边界点位置到所述器官m质心位置的偏移量。
上述所述的三维图像中多器官的定位方法,其中,在所述共存查找表C(l,m)的(nx,ny,nz)的位置上添加所述偏移量的值的公式为:
其中,为所述共存查找表C(l,m)在(nx,ny,nz)索引位置处的元胞;dj(i)(l,m)为所述器官l边界点位置与所述器官m质心位置的偏移量;为所述器官l任一边界点位置处的离散化法向量;(nx,ny,nz)为所述离散化法向量沿三维方向的分量;是所述模板边界点的总数;J为所有训练图像的数目。
上述所述的三维图像中多器官的定位方法,其中,确定所述三维图像中各个器官位置的过程为:
1)根据所述三维图像中任一器官l边界点位置的梯度,得到所述边界点位置处的法向量;
2)使用所述共存查找表C(l,O)对所述边界点位置进行广义霍夫变换,得到器官O的霍夫空间中的点分布函数HlO(c),其中,l∈L={L1,L2,...,Lo},L1,...L0为所述三维图像中的所有器官,器官O为所述三维图像中的任一器官;
3)对所述霍夫空间中的点分布函数HlO(c)进行组合,得到HO(c),并根据所述HO(c)得到所述器官O的质心位置
上述所述的三维图像中多器官的定位方法,其中,得到所述霍夫空间中的点分布函数HlO(c)的过程为:
1)计算所述边界点位置在所述共存查找表C(l,O)中的索引值;
2)根据所述索引值,读取所述共存查找表C(l,O)的索引位置处的所有偏移量值,并根据所述偏移量值进行投票,所述投票的结果即为所述点分布函数HlO(c)
上述所述的三维图像中多器官的定位方法,其中,所述点分布函数HlO(c)为:
其中,Gσ为高斯平滑算子;为卷积运算符;为进行所述投票的投票结果。
上述所述的三维图像中多器官的定位方法,其中,得到所述HO(c)的方法为:通过公式将得到的所述HlO(c)进行相乘,其中,wl为所述器官l的权重。
上述所述的三维图像中多器官的定位方法,其中,得到所述HO(c)的方法为:通过公式将得到的所述HlO(c)进行相加,其中,wl为所述器官l的权重。
上述所述的三维图像中多器官的定位方法,其中,得到所述HO(c)的方法为:
其中,tl为预定的阈值,∪为并集运算符。
上述所述的三维图像中多器官的定位方法,其中,得到所述质心位置的公式为:
与现有技术相比,本发明通过构建共存广义霍夫变换查找表,表达任一器官的形态相对另一器官质心的位置,从而每一个器官不仅可以用于定位其自身的质心位置,还可以用于定位图像中出现的其它器官的质心位置;
进一步地,在构建共存广义霍夫变换查找表的时候,使用来自不同人体的具有代表性的图像作为训练集,有效地考虑了人体器官的形态和位置变化;
进一步地,直接使用器官的边界点上的法向量作为共存查找表的索引值,不仅降低计算的复杂度,还可以将三维空间中的角度均匀地剖分,从而保证了共存查找表的每个元胞中的元素具有相似的空间指向;
进一步地,在广义霍夫变换中组合使用器官的局部形态和全局位置信息,可以快速、准确和稳定地定位出器官在三维图像中的位置。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施的限制。
其次,本发明利用示意图进行详细描述,在详述本发明实施例时,为便于说明,所述示意图只是实例,其在此不应限制本发明保护的范围。
下面结合附图和实施例对本发明进行详细描述。本发明三维图像中多器官的定位方法如图1所示,首先,执行步骤S1,基于器官模板训练的方法,构建共存广义霍夫变换查找表。其中,所述共存广义霍夫变换查找表中记录的是所述器官中任一所述器官的边界点相对于所有所述器官质心位置的偏移量,所述器官为感兴趣的器官。一般的,广义霍夫变换利用查找表中记录的器官形态信息,寻找任意图像中具有该形态特征的物体位置。通常,医学图像中涉及的人体器官,如心脏、肝脏、脾脏或肾脏,在个体间通常具有很大的形态差异(包括仿射和非线性差异),因此,本发明实施例在构建共存查找表时,直接将这些器官的形态差异记录在共存查找表中。具体地,如图2所示,首先,执行步骤S201,建立所述器官的模板训练集,并确定所述模板的边界点位置其中,所述模板表示第j幅训练图像中器官l的模板,j=1,...,J,J为所有训练图像的数目;l∈L,L={L1,L2,...,Lo}为所述感兴趣的器官的种类的集合; 是所述边界点的总数。具体地,选取具有代表性的J幅图像构建形态训练集,该训练集包含医学图像中可能出现的每种器官的不同形态,并定义所有感兴趣的器官种类的集合为L={L1,L2,...,Lo},感兴趣的器官包括有心脏、肝脏、脾脏以及肾脏等。接着,对每一幅训练图像j,j=1,...,J,由专业人员(比如医生)勾勒出该图像上每种器官l∈L的轮廓,并对该器官做二值化处理(即器官轮廓内部置为数值1,轮廓外部置为数值0),生成该器官在训练图像上的模板过上述处理生成的图像集称作模板训练集,并确定所述的边界点(边界上的地标点)位置,记为其中, 是所述边界点的总数,为一个三维空间中的向量。在本实施例中,所感兴趣的器官为肝脏、脾脏和肾脏(左肾和右肾),选取100幅训练图像,因此,在100幅图像中均勾勒出肝脏、脾脏以及肾脏的轮廓,并通过上述的方法生成每一个器官在相对应的图像中的模板,对于肝脏、脾脏、左肾和右肾均有100个模板。接着,肝脏、肾脏、左肾和右肾的100个模板分别在100幅训练图像上确定各个器官的边界点位置。
接着,执行步骤S202,计算所述模板在所述第j幅训练图像上的质心位置。具体地,对每幅训练图像上的每一个器官通过公式(1)计算其在第j幅训练图像上的质心位置,所述公式(1)为:
其中,为器官l在第j训练训练图像上的质心位置;floor为最大下界取整函数;为模板的边界点位置,是所述模板边界点的总数。在本实施例中,计算肝脏、脾脏和肾脏在100幅训练图像中的质心位置。
器官的形态信息可以通过其表面点的法向量来表征,因此,接着,执行步骤S203,计算所述模板的边界点位置处的法向量。如图3所示,首先,执行步骤S301,对所述模板进行高斯平滑: 为卷积运算符,得到平滑后的模板图像其中,所述模板为二值图像。在本实施例中,高斯平滑算子Gσ沿着三个维度方向的窗口宽度σ为3×3×3像素点。接着,执行步骤S302,获取所述模板图像的梯度,得到梯度图像,并获取所述梯度图像在边界点位置的值 接着,执行步骤S303,对所述边界点位置的梯度进行正规化,得到所述边界点位置处的法向量其中,向量通过公式(2)计算得到,所述公式(2)为:
其中,为所述模板边界点位置处的法向量;为所述模板边界点位置处的梯度;为所述梯度的2-范数。n1、n2和n3分别为所述法向量沿三维方向的分量,所述n1、n2和n3的取值范围为[-1,1]。
在本实施例中,通过上述方法得到100幅训练图像中器官肝脏、脾脏和肾脏的所有边界点位置处的法向量。从而就得到了100幅训练图像中器官肝脏、脾脏和肾脏的质心位置和所有边界点位置和边界点位置处的法向量。
传统的广义霍夫变换利用单个器官的形态模型来定位该器官的质心位置,因此其查找表取决于该器官的形态。在医学图像中,不仅每个器官的形态具有唯一性,该器官与其它器官之间的相对位置也具有唯一性,因此,需要同时考虑器官的形态和各器官间的相对位置的信息。因此,共存广义霍夫变换查找表不仅取决于某个待定器官,还取决于其附近的器官。接着,执行步骤S204,根据所述法向量,得到所述共存广义霍夫变换查找表。
具体地,如图4所示,首先,执行步骤S401,初始化所述共存广义霍夫变换查找表C(l,m),其中,l和m∈L,L={L1,L2,...,Lo}为所述感兴趣的器官的种类的集合。对于选定的器官l和m,共存查找表C(l,m)是一个大小为Nx×Ny×Nz的元胞阵列。需要说明的是,选定的器官l和m为不同的器官,也可以为相同的器官。接着,执行步骤S402,获取所述器官l任一边界点位置处的离散化法向量具体地,器官l任一边界点位置在共存查找表C(l,m)中的对应位置可由该点处的法向量唯一确定,其在共存查找表C(l,m)中的索引值(离散化法向量)通过公式(3)得到,所述公式(3)为:
其中,为所述器官l任一边界点位置处的离散化法向量;floor为最大下界取整函数;(nx,ny,nz)为所述离散化法向量沿三维方向的分量;(n1,n2,n3)为法向量沿三维方向的分量;nD为正整数。
在本实施例中,nD为10,即n1,n2,n3从-1到1之间被量化为21个等级,增量为0.1,因此,共存查找表C(l,m)的大小为21×21×21。此外,对于肝脏来说(器官m为肝脏),其附近器官(器官l)为脾脏、左肾和右肾,还需要建立肝脏自身的共存查找表,因此,需要得到四个共存查找表,即肝脏和肝脏、脾脏和肝脏、左肾和肝脏以及右肾和肝脏。需要说明的是,在步骤S1中得到肝脏自身的质心位置,边界点位置和边界点位置处的法向量,即构建了肝脏和肝脏的共存查找表。通过步骤S402,得到对于肝脏来说的四个共存查找表中所有的索引值。使用同样的方法,得到脾脏、左肾和右肾对应的共存查找表。由于n1 2+n2 2+n3 2=1,共存查找表将是一个稀疏的阵列(即具有大量的空元胞)。通过公式(3)得到的索引值,其实就是离散化了的边界点位置处的法向量。换句话说,索引值为(nx,ny,nz)的元胞,对应于一组具有近似法向量的边界点,它们法向量的任意一个分量的差不超过0.1。在构建共存查找表时,我们直接使用边界点位置处离散化了的法向量作为共存查找表的索引值,并没有如传统广义霍夫变换中那样,使用法向量的方位角和旋转角作为索引值,简化了计算复杂度。
接着,执行步骤S403,计算所述器官l边界点位置与所述器官m质心位置的偏移量,即器官l的边界点位置到器官m的质心点的距离,其通过公式(4)得到,所述公式(4)为:
其中,所述dj(i)(l,m)为所述器官l边界点位置到所述器官m质心位置的偏移量。
在本实施例中,通过公式(4)分别计算肝脏、脾脏、左肾和右肾的所有边界点位置到肝脏质心的偏移量(距离)。
接着,执行步骤S404,通过公式(5)将所述偏移量的值添加到所述共存查找表C(l,m)的(nx,ny,nz)的位置上,即共存查找表C(l,m)中的元胞(nx,ny,nz)。所述公式(5)为:
其中,为共存查找表C(l,m)在(nx,ny,nz)位置处的元胞;dj(i)(l,m)为所述器官l边界点位置与所述器官m质心位置的偏移量;为所述器官l任一边界点位置处的离散化法向量;(nx,ny,nz)为所述离散化法向量沿三维方向的分量;是所述模板边界点的总数;J为所有训练图像的数目。
通过上述方法,共存查找表C(l,m)的每个元胞中包含有在全部训练图像中的器官l所有边界点位置到器官m质心的距离,这些边界点都具有相同的离散法向量,即共同的共存查找表索引值。在本实施例中,通过公式(5)分别得到肝脏和肝脏、脾脏和肝脏、左肾和肝脏以及右肾和肝脏共存查找表中每个元胞中的元素,即得到对应于肝脏的四个共存查找表。同样地,通过上述方法,得到对应于脾脏、左肾和右肾的四个共存查找表。
接着,执行步骤S2,输入所述三维图像,确定所述三维图像中所有器官的边界点的位置和梯度。具体地,在本实施例中,所述三维图像为人体腹腔CT扫描图像,对器官肝脏、脾脏和肾脏分别进行预处理,得到各种器官的边界点的候选点,并通过常用的边缘检测方法(如Sobel滤波器),估计CT扫描图像中器官肝脏、脾脏和肾脏所有候选边界点的位置和梯度。需要说明的是,如果没有任何关于每类器官特征的其他信息,可以将图像中的所有边界点分别当作每类器官的边界点,也就是说对所有的器官,它们的候选边界点都是相同的。
接着,执行步骤S3,根据所述边界点的位置和梯度以及所述共存广义霍夫变换查找表,确定所述三维图像中各个器官的质心位置,即确定所述三维图像中各个器官的位置。
广义霍夫变换通过使用查找表将未知图像中的一个点映射到霍夫空间(也是形态参数空间)的一个点上。在本发明实施例中,霍夫空间中的点就是器官O的质心空间位置。由于对所有上述的候选点,都会映射在霍夫空间中,定义HlO(c)为使用C(l,O)来定位器官O质心的霍夫变换空间中的点分布函数。
具体地,如图5所示,首先,执行步骤S501,根据所述三维图像中任一器官l边界点位置的梯度,得到所述边界点位置(候选边界点位置)的法向量。具体地,通过正规化的方法,将步骤S2中得到的CT图像中任一器官l(肝脏、脾脏、左肾或右肾)的候选边界点位置的梯度转换为法向量,从而得到各个器官的候选边界点的位置和法向量。
接着,执行步骤S502,使用共存查找表C(l,O)对所述边界点位置进行广义霍夫变换,得到器官O的霍夫空间中的点分布函数HlO(c)。其中,l∈L={L1,L2,...,Lo},L1,...L0为所述三维图像中的所有器官,器官O为所述三维图像中的任一器官,为器官l的第i个候选边界点位置。具体地,在本实施例中,器官O为CT扫描图像中的肝脏,集合L中含有四个元素,L1为脾脏、L2为左肾、L3为右肾、L0为肝脏本身。首先,通过公式(6)计算器官肝脏、脾脏、左肾和右肾任一候选边界点在共存查找表C(l,O)中的索引值,所述公式(6)为:
接着,根据所述索引值,读取所述共存查找表C(l,O)的索引位置处的所有距离值,并根据所述距离值进行投票,所述投票的结果即为所述点分布函数HlO(c)。具体地,根据上述得到的索引值确定器官l所有候选边界点在共存查找表C(l,O)中所对应的元胞位置,读取所有C(l,O)的元胞中的元素并通过器官l所有边界点的位置和公式(7)估计器官O的质心位置,所述公式(7)为:
其中,为器官l的第i个边界点在图像中的位置,k为器官l的第i个候选边界点在共存查找表C(l,O)中所对应的元胞中的第k个元素。
接着,对上述得到的估计质心位置通过公式(8)进行投票,得到投票结果。所述公式(8)为:
其中,I为指标函数,当其变量值取数值0时,函数值取1,而对其余变量值,其函数值为0。
对上述的投票结果通过公式(9)计算霍夫空间的点分布函数HlO(c),所述公式(9)为:
其中,Gσ为高斯平滑算子;为卷积运算符;为进行所述投票的投票结果。
在本实施例中,根据肝脏、脾脏、左肾和右肾的任一候选边界点的索引值,分别读取该索引值在肝脏本身共存查找表、脾脏和肝脏、左肾和肝脏以及右肾和肝脏共存查找表中所对应元胞中的元素,并通过该候选边界点位置和元胞中所有的元素估计肝脏质心位置,并根据得到的所有估计质心位置进行投票,得到的投票结果就是肝脏质心点的霍夫空间中的点分布函数,即得到四个肝脏质心点的分布函数,不仅考虑了肝脏自身的形态,还考虑了肝脏与脾脏、左肾以及右肾相对位置的信息。
对于所有器官种类,l∈L={L1,L2,...,Lo},我们都有一个共存查找表来确定器官O的质心位置,即C(l,O)。因此,通过组合使用基于不同器官l的C(l,O)所得到的霍夫空间分布HlO(c),我们可以有效地提高检测的精确度和稳定性。这就是说,同时使用器官本身的形态和其与其它器官相对位置,来确定其质心位置。
接着,执行步骤S503,对所述点分布函数HlO(c)进行组合,得到HO(c),并根据HO(c)得到所述器官O的质心位置cO。具体地,HO(c)可以通过如下方法组合得到:
(1)通过公式将由不同共存查找表C(l,O)得到的HlO(c)进行相乘,其中,wl为所述器官l的权重。
(2)通过公式将由不同共存查找表C(l,O)得到的HlO(c)进行相加,其中,wl为所述器官l的权重。
(3)利用所有的HlO(c),l≠O,来确定对O质心的搜索范围。比如,器官O的质心位置,其可能出现的区域由定义,其中tl为一个阈值,∪为并集运算符。然后,通过公式(10)计算得到,所述公式(10)为:
上述方法(1)和方法(2)中的wl为可调整的权重,可以通过设置不同的wl来调整器官l在被用来确定器官O的质心位置时的重要性。该两种方法在训练样本足够大的情况下,效果会更优。
接着,通过公式确定器官O的质心点位置,即HO(c)最大点的位置。
在本实施例中,将步骤S502中得到的肝脏的四个点分布函数通过上述三种方法中的任意一种方法进行组合,组合后最大点的位置即为肝脏的质心点位置,即在CT扫描图像中对肝脏进行了定位。同样地,脾脏、左肾和右肾也通过上述的方法确定各自的质心点位置,从而实现了再CT扫描图像中定位肝脏、脾脏、左肾和右肾。
需要说明的是,该方法也适应于单器官的定位,通过单器官的形态模型来定位该器官质心位置,即在定位器官O的位置时,广义霍夫变换仅仅使用共存查找表C(O,O)。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。