CN106447675B - 基于先验形状和循环移位的目标分割方法 - Google Patents

Abstract

本发明涉及一种基于先验形状和循环移位的目标分割方法。该方法，首先将形状用概率的方式定义，建立一个先验目标的形状库并运用主成份分析进行降维，利用核密度估计拟合先验形状分布建立先验形状约束项。然后利用先验形状的循环移位，将目标位移和旋转变换，看作循环卷积运算，通过快速傅里叶变换，提高运算速度。将目标形变与底层灰度特征相结合建立数据约束项。接着将数据约束项和先验形状约束项线性组合建立总的能量函数，最后通过能量极小化完成目标的分割。本发明利用高层先验形状的循环移位辅助底层目标分割，解决了现有目标分割方法中对于目标形状发生形变时分割效果不佳的问题。

Description

基于先验形状和循环移位的目标分割方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于先验形状和循环移位的目标分割方法。

背景技术

目标分割是指从图像信息中提取出人们感兴趣的目标，属于是计算机视觉里面一个基础的难题。它在军事制导，机器人技术，医疗诊断和智能监控等领域得到了广泛的应用。早期的目标分割算法主要是依赖底层的图像数据信息(灰度值，纹理和边缘特征等)，出现了一些经典的分割算法，如阈值分割算法，区域分割算法和边缘分割算法。在实际应用中，由于噪声，阻挡，背景混乱等干扰因素下，仅仅依赖底层分割算法并不能得到满意的结果。利用高层先验知识来辅助底层目标分割就变得很重要。随着曲线演化理论和应用的快速发展，基于形状先验的曲线演化方法成为研究的一个热点，并产生了很多成功的算法，如基于形状核密度估计的目标分割算法，基于形状稀疏表示的目标分割算法，基于形状流形学习的目标分割算法等。这些算法都可以表示为一个数据项和形状约束项的线性组合。数据项利用图像底层数据特征驱动演化曲线捕捉目标的局部形变，形状约束项约束演化曲线的全局形状逼近先验形状。由于目标在图像上呈现多种不同的姿态，因而目标的形状与先验形状通常不一致。现有方法大部分都是通过引入先验形状集，里面包含目标的多个形状，同时对先验形状集引入形变参数，让先验形状发生形变向目标形状逼近。现有三种方法求解形变参数：交替迭代法，内部对齐法和分支限界法。交替迭代法就是将所构建的能量函数对形变参数(如位移，旋转等)采用交替迭代法求极值，这种方法对迭代顺序和迭代步长非常敏感，很容易陷入局部极小值。内部对齐法是将目标形状和先验形状通过选择一个参考位置和旋转方向，进行归一化，这类方法对参考位置和主方向很敏感，在干扰情况下，很容易出现不正确的对齐情况。分支限界法其实就是类似穷搜索法，这类方法结果比较精确，但是计算量巨大。

发明内容

本发明的目的在于提供一种克服上述技术不足的基于先验形状和循环移位的目标分割方法。

为实现上述目的，本发明的技术方案是：一种基于先验形状和循环移位的目标分割方法，按以下步骤实现：

步骤S1：用概率的方式定义形状q，q:Ω→[0,1]，其中Ω为图像的定义域，任意x∈Ω，q(x)表示x属于目标形状的概率；引入参数τ∈[0,1]，将概率形状转换为二值形状(q)_τ＝{x|q(x)≥τ}；利用概率定义，将先验形状库中的N个形状，采用概率的方式定义为：q₁,q₂,…,q_N；

步骤S2：利用主成份分析对所有概率定义的形状q₁,q₂,…,q_N进行降维，计算前n≤N个特征值最大的特征向量{ψ₁,ψ₂,…,ψ_n}，得到形状的低维表示方法q_α＝μ+ψα，其中特征向量矩阵ψ＝[ψ₁,ψ₂,…,ψ_n]；任意形状q都用低维形状向量表示α＝ψ^T(q-μ)；

步骤S3：将目标分割看作最大化条件概率P(α|I)，即从给定的测试图像I中估计出最佳的目标形状向量α；利用贝叶斯推理最大化条件概率转换为最小化一个数据项E_d(α)＝-logP(I|α)和一个形状约束项E_s(α)＝-logP(α)的线性组合；

步骤S4：给定一个形状向量α，目标区域定义为q_α，背景区域定义为1-q_α，构建数据项E_d(α)，要求属于目标的每个像素点x属于目标的概率P_in(I(x))比属于背景的概率P_out(I(x))大，同理，属于背景的每个像素点属于背景的概率比属于目标的概率大，得到如下

E_d(α)＝-logP(I|α)＝-∫_Ωq_αlogP_in(I)+(1-q_α)logP_out(I)dx＝-∫_Ωq_αe(I)dx

其中

步骤S5：假设q为先验形状，k_h为位移循环元，循环移位可以用卷积表示，采用来表示目标的形状，解决目标位移对齐问题；

步骤S6：将形状的直角坐标转换为极坐标，坐标变换为Γ，类似步骤S5，k_θ为旋转循环元，在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题；

步骤S7：合并S5和S6，解决目标位移和旋转对齐问题；

步骤S8：构建形状约束项，估计目标的形状可以用先验形状的核密度估计表示σ采用最近邻方法计算，

步骤S9：结合数据项和形状约束项，构建目标分割总的目标函数

步骤S10：对于形变参数k_h,k_θ，采用快速傅里叶变换(FFT)计算，对于形状参数α采用梯度下降法求解，完成对待测图像的目标分割

在本发明一实施例中，在所述S5中，还包括如下步骤：

步骤S51：假设形状q里面包含m个像素点，记为q＝[q₀,q₁,…,q_m-1]；对于一维情况，引入循环移位变换T^l：T^l(q₀,…,q_m-l-1,q_m-l,…,q_m-1)＝(q_m-l,…,q_m-1,q₀,…,q_m-l-1)，其中l是向右移动的元素个数，显然T⁰＝T，T^m+l＝T^l；二维情况同理；

步骤S52：利用底层分割模型S4，可以得到目标形状的一种近似估计先验形状为q，目标形状中的任意一个像素点用先验形状q中的所有像素点加权组合表示，其中κ(·)为权重函数测量形状与循环移位后形状T^jq的相似性，ω_i为归一化常数；为了简化，省去ω_i，将所有像素点的结合起来用向量表示，采用矩阵和向量乘法，得到

以上方程也可以写为

显然，目标形状的估计完全依赖于核矩阵K；注意到K是m×m矩阵，矩阵乘法计算量非常大；然而，如果权重函数κ为高斯核函数，而且K_i,j仅依赖于(j-i)modm，那么矩阵K就是一个循环矩阵；另外高斯核函数仅有一个方差参数，相对于其它核函数，调整起来比较简单；基于循环矩阵原理，K含有m个不同元素，记为K＝C(k)＝C(k₀,k₁,…,k_m-1)，k_h是K的第一列向量，且矩阵乘法可以写成循环卷积形式，而且可以采用快速傅里叶变换计算

其中，⊙是点乘，F和F^-1分别表示快速傅里叶变换及其逆变换；

步骤S53：由于采用循环移位，k_h也可以通过快速傅里叶变换进行快速计算；假设q为先验形状，未知的目标形状用概率的方式估计，表示为定义测量形状和Tⁱq之间的相似性；对于高斯核函数，根据循环移位的性质，可以得到

其中上标°表示复数共轭；当k_hi→1，隐含着Tⁱq非常相似于特别当k_hi＝1时，为了保持移位后形状不变，令其中S_max(·)表示最大的元素为1，其余元素为0。

在本发明一实施例中，在所述S6中，还包括如下步骤：

将形状的直角坐标转换为极坐标，在极坐标下，用循环移位后的先验形状来表示目标形状，解决目标旋转对齐问题；

步骤S61：将形状q的直角坐标(x,y)转换为极坐标(ρ,θ),取形状的中心为坐标原点，坐标变换表示为ρ²＝x²+y²，tanθ＝y/x(x≠0)；将形状q从直角坐标转换为极坐标，记为Γ(q)，从极坐标返回至直角坐标记为Γ^-1，显然有q＝Γ^-1(Γ(q))；

步骤S62：在极坐标下，对旋转θ循环移位，与步骤S5类似，可以得到关于旋转的循环元

步骤S63：假设先验形状为q，通过坐标变换，可以用极坐标下循环移位来表示目标形状

相较于现有技术，本发明具有以下有益效果：

1)通过引入先验形状的循环移位来解决目标分割中位移和旋转不变性问题，把位置参数和旋转参数的搜索问题，转换为循环卷积，从而可以运用快速傅里叶变换解决计算问题；这种方法在配准精度上是最优的(类似穷搜索)，同时引入快速傅里叶变换提高了运算速度，在目标受到在噪声，阻挡，背景混乱等干扰情况下，解决形变问题更加鲁棒；

2)建立一个总的优化模型；结合图像的底层数据约束，高层的先验形状约束，和形变不变性，提出了目标分割的总的目标函数。

附图说明

图1为本发明中基于先验形状和循环移位的目标分割方法的流程图。

图2为本发明实施例中先验手的形状库，总共有300个，这里仅列出40个形状。

图3为本发明实施例中待测图像手目标分割的效果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1-3所示，本发明的一种基于先验形状和循环移位的目标分割方法，按以下步骤实现：

步骤S1：用概率的方式定义形状q，q:Ω→[0,1]，其中Ω为图像的定义域，任意x∈Ω，q(x)表示x属于形状的概率；引入参数τ∈[0,1]，将概率形状转换为二值形状(q)_τ＝{x|q(x)≥τ}；利用概率定义，将先验形状库中的N个形状，采用概率的方式定义为：q₁,q₂,…,q_N；

步骤S2：利用主成份分析对所有概率定义的形状q₁,q₂,…,q_N进行降维，计算前n≤N个特征值最大的特征向量{ψ₁,ψ₂,…,ψ_n}，得到形状的低维表示方法q_α＝μ+ψα，其中特征向量矩阵ψ＝[ψ₁,ψ₂,…,ψ_n]；任意形状q都用低维形状向量表示α＝ψ^T(q-μ)；

步骤S3：将目标分割看作最大化条件概率P(α|I)，即从给定的测试图像I中估计出最佳的目标形状向量α；利用贝叶斯推理最大化条件概率转换为最小化一个数据项E_d(α)＝-logP(I|α)和一个形状约束项E_s(α)＝-logP(α)的线性组合；

步骤S4：给定一个形状向量α，目标区域定义为q_α，背景区域定义为1-q_α，构建数据项E_d(α)，要求属于目标的每个像素点x属于目标的概率P_in(I(x))比属于背景的概率P_out(I(x))大，同理，属于背景的每个像素点属于背景的概率比属于目标的概率大，得到如下

E_d(α)＝-logP(I|α)＝-∫_Ωq_αlogP_in(I)+(1-q_α)logP_out(I)dx＝-∫_Ωq_αe(I)dx

其中

步骤S5：假设q为先验形状，k_h为位移循环元，循环移位可以用卷积表示，采用来表示目标的形状，解决目标位移对齐问题；

步骤S6：将形状的直角坐标转换为极坐标，坐标变换为Γ，类似步骤S5，k_θ为旋转循环元，在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题；

步骤S7：合并S5和S6，解决目标位移和旋转对齐问题；

步骤S8：构建形状约束项，估计目标的形状可以用先验形状的核密度估计表示σ采用最近邻方法计算，

步骤S9：结合数据项和形状约束项，构建目标分割总的目标函数

步骤S10：对于形变参数k_h,k_θ，采用快速傅里叶变换(FFT)计算，对于形状参数α采用梯度下降法求解，完成对待测图像的目标分割

在本发明一实施例中，在所述S5中，还包括如下步骤：

步骤S51：假设形状q里面包含m个像素点，记为q＝[q₀,q₁,…,q_m-1]；对于一维情况，引入循环移位变换T^l：T^l(q₀,…,q_m-l-1,q_m-l,…,q_m-1)＝(q_m-l,…,q_m-1,q₀,…,q_m-l-1)，其中l是向右移动的元素个数，显然T⁰＝T，T^m+l＝T^l；二维情况同理；

步骤S52：利用底层分割模型S4，可以得到目标形状的一种近似估计先验形状为q，目标形状中的任意一个像素点用先验形状q中的所有像素点加权组合表示，其中κ(·)为权重函数测量形状与循环移位后形状T^jq的相似性，ω_i为归一化常数；为了简化，省去ω_i，将所有像素点的结合起来用向量表示，采用矩阵和向量乘法，得到

以上方程也可以写为

显然，目标形状的估计完全依赖于核矩阵K；注意到K是m×m矩阵，矩阵乘法计算量非常大；然而，如果权重函数κ为高斯核函数，而且K_i,j仅依赖于(j-i)modm，那么矩阵K就是一个循环矩阵；另外高斯核函数仅有一个方差参数，相对于其它核函数，调整起来比较简单；基于循环矩阵原理，K含有m个不同元素，记为K＝C(k)＝C(k₀,k₁,…,k_m-1)，k_h是K的第一列向量，且矩阵乘法可以写成循环卷积形式，而且可以采用快速傅里叶变换计算

其中，⊙是点乘，F和F^-1分别表示快速傅里叶变换及其逆变换；

步骤S53：由于采用循环移位，k_h也可以通过快速傅里叶变换进行快速计算；假设q为先验形状，未知的目标形状用概率的方式估计，表示为定义测量形状和Tⁱq之间的相似性；对于高斯核函数，根据循环移位的性质，可以得到

其中上标°表示复数共轭；当k_hi→1，隐含着Tⁱq非常相似于特别当k_hi＝1时，为了保持移位后形状不变，令其中S_max(·)表示最大的元素为1，其余元素为0。

在本发明一实施例中，在所述S6中，还包括如下步骤：

将形状的直角坐标转换为极坐标，在极坐标下，用循环移位后的先验形状来表示目标形状，解决目标旋转对齐问题；

步骤S61：将形状q的直角坐标(x,y)转换为极坐标(ρ,θ),取形状的中心为坐标原点，坐标变换表示为ρ²＝x²+y²，tanθ＝y/x(x≠0)；将形状q从直角坐标转换为极坐标，记为Γ(q)，从极坐标返回至直角坐标记为Γ^-1，显然有q＝Γ^-1(Γ(q))；

步骤S62：在极坐标下，对旋转θ循环移位，与步骤S5类似，可以得到关于旋转的循环元

步骤S63：假设先验形状为q，通过坐标变换，可以用极坐标下循环移位来表示目标形状

以下为本发明的具体实施过程。

本发明提出的算法对分割手目标的应用具体步骤如下：

1、建立一个先验手的形状库q₁,q₂,…,q_N，运用PCA进行降维，得到参数μ和ψ，以及低维向量α₁,α₂,…,α_N；

2、计算核密度估计中σ参数，

3、输入待分割图像I，初始化α为零向量，α＝0，选择迭代步长Δt；

4、将低维的α转换为形状q＝μ+ψα，得到图像的目标区域q与背景区域1-q；

5、图像上每个像素点计算P_in(I)和P_out(I)；

6、估计未知目标的大致形状：

7、由q和用快速傅里叶变换计算k_h，然后求循环移位后的形状可以表示为

8、将和q_h转换为极坐标，用快速傅里叶变换计算k_θ，然后计算并计算旋转后的形状，通过坐标变换可以表示为

9、根据迭代步长Δt，计算α。

10、重复步骤4)-9)直至满足迭代次数要求。

11、所得到的即为目标的形状，为目标边界轮廓线。

图3是上述图像目标分割实例的效果图，实验图像的分辨率为120×120，图3第1行为原始图像序列，显然原始图像由于背景混乱、噪声、目标形变等因素影响，手目标的特征并不明显，而且有明显的位移和旋转偏移。第二行为该算法得到的结果，形状轮廓线为红色部分。从图3可以看到，本实施例中算法得到的目标轮廓与真实图像的吻合程度较高，结合高层先验形状和底层灰度特征，并利用循环移位捕捉手的位置，从而提高了目标分割的精度确。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于先验形状和循环移位的目标分割方法，其特征在于：按以下步骤实现：

步骤S1：用概率的方式定义形状q，q:Ω→[0,1]，其中Ω为图像的定义域，对于任意x∈Ω，q(x)表示x属于目标形状的概率；引入参数τ∈[0,1]，将概率形状转换为二值形状(q)_τ＝{x|q(x)≥τ}；利用概率定义，将先验形状库中的N个形状，采用概率的方式定义为：q₁,q₂,…,q_N；

步骤S2：利用主成份分析对所有概率定义的形状q₁,q₂,…,q_N进行降维，计算前n个特征值最大的特征向量{ψ₁,ψ₂,…,ψ_n}，其中n≤N，得到形状的低维表示方法q_α＝μ+ψα，其中特征向量矩阵ψ＝[ψ₁,ψ₂,…,ψ_n]；任意形状q都用低维形状向量表示α＝ψ^T(q-μ)；

步骤S3：将目标分割看作最大化条件概率Ρ(α|I)，即从给定的测试图像I中估计出最佳的目标形状向量α；利用贝叶斯推理最大化条件概率转换为最小化一个数据项E_d(α)＝-logΡ(I|α)和一个形状约束项E_s(α)＝-logP(α)的线性组合；

步骤S4：给定一个低维形状向量α，目标区域定义为q_α，背景区域定义为1-q_α，构建数据项E_d(α)，要求属于目标的每个像素点x属于目标的概率P_in(I(x))比属于背景的概率P_out(I(x))大，同理，属于背景的每个像素点属于背景的概率比属于目标的概率大，得到如下

E_d(α)＝-logP(I|α)＝-∫_Ωq_αlogP_in(I)+(1-q_α)logP_out(I)dx＝-∫_Ωq_αe(I)dx

其中

步骤S5：假设q为先验形状，k_h为位移循环元，循环移位用卷积表示，采用来表示目标的形状，解决目标位移对齐问题；

步骤S6：将形状的直角坐标转换为极坐标，坐标变换为Γ，类似步骤S5，k_θ为旋转循环元，在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题；

步骤S7：合并S5和S6，解决目标位移和旋转对齐问题；

步骤S8：构建形状约束项，估计目标的形状用先验形状的核密度估计表示σ采用最近邻方法计算，

步骤S9：结合数据项和形状约束项，构建目标分割总的目标函数

步骤S10：对于形变参数k_h,k_θ，采用快速傅里叶变换计算，对于形状参数α采用梯度下降法求解，完成待测图像的目标分割

2.根据权利要求1所述的基于先验形状和循环移位的目标分割方法，其特征在于：在所述S5中，还包括如下步骤：

步骤S51：假设形状q里面包含m个像素点，记为q＝[q₀,q₁,…,q_m-1]；对于一维情况，引入循环移位变换 其中是向右移动的元素个数，显然T⁰＝T，二维情况同理；

步骤S52：利用底层分割模型，得到目标形状的一种近似估计先验形状为q，目标形状中的任意一个像素点用先验形状q中的所有像素点加权组合表示，其中κ(·)为权重函数测量形状与循环移位后形状T^jq的相似性，ω_i为归一化常数；为了简化，省去ω_i，将所有像素点结合起来用向量表示，采用矩阵和向量乘法，得到

以上方程也写为

显然，目标形状的估计完全依赖于核矩阵K；注意到K是m×m矩阵，矩阵乘法计算量非常大；然而，如果权重函数κ为高斯核函数，而且K_i,j仅依赖于(j-i)modm，那么矩阵K就是一个循环矩阵；另外高斯核函数仅有一个方差参数，相对于其它核函数，调整起来比较简单；基于循环矩阵原理，K含有m个不同元素，记为K＝C(k_h)＝C(k₀,k₁,…,k_m-1)，k_h是K的第一列向量，且矩阵乘法写成循环卷积形式，而且采用快速傅里叶变换计算

其中，⊙是点乘，F和F^-1分别表示快速傅里叶变换及其逆变换；

步骤S53：由于采用循环移位，k_h也通过快速傅里叶变换进行快速计算；假设q为先验形状，未知的目标形状用概率的方式估计，表示为定义测量形状和Tⁱq之间的相似性；对于高斯核函数，根据循环移位的性质，得到

其中上标°表示复数共轭；当k_hi→1，隐含着Tⁱq非常相似于特别当k_hi＝1时，为了保持移位后形状不变，令其中S_max(·)表示最大的元素为1，其余元素为0。

3.根据权利要求1所述的基于先验形状和循环移位的目标分割方法，其特征在于：在所述S6中，还包括如下步骤：

将形状的直角坐标转换为极坐标，在极坐标下，用循环移位后的先验形状来表示目标形状，解决目标旋转对齐问题；

步骤S61：将形状q的直角坐标(x,y)转换为极坐标(ρ,θ),取形状的中心为坐标原点，坐标变换表示为ρ²＝x²+y²，tanθ＝y/x(x≠0)；将形状q从直角坐标转换为极坐标，记为Γ(q)，从极坐标返回至直角坐标记为Γ-¹，显然有q＝Γ^-1(Γ(q))；

步骤S62：在极坐标下，对旋转角度θ循环移位，与步骤S5类似，得到关于旋转的循环元的最优解

步骤S63：假设先验形状为q，通过坐标变换，用极坐标下循环移位来表示目标形状