CN103544683B - 一种基于视觉皮层的夜视图像凸显轮廓提取方法 - Google Patents

Abstract

本发明方法提出一种基于视觉皮层的夜视图像凸显轮廓提取方法。该方法在传统非负稀疏编码的基础上结合夜视图像的显著边缘信息，加权提取图像的显著边缘轮廓；在传统的贝叶斯概率推理估计切线段连接的基础上，考虑到视觉感知对低曲率的偏好特性，采用梯度下降法对曲线连接中出现边角连接和中断连接进行细分，统一归为曲率连接，用贝叶斯概率模型进行再次概率推理，使之成为连续的过程，实现边缘轮廓的连接，减少了轮廓之间的间断。本发明方法降低了噪声的干扰，并在一定程度上保护了轮廓的完整性。

Description

一种基于视觉皮层的夜视图像凸显轮廓提取方法

技术领域

本发明属于夜视图像理解领域，具体涉及一种基于视觉皮层的夜视图像凸显轮廓提取方法。

背景技术

凸显轮廓提取在夜视图像(包括微光、红外图像)理解分析方面发挥着重要作用,在机器视觉应用中起着重要的作用，同时凸显轮廓也在夜视图像特征提取过程中发挥重要的作用。文献一（桑农,唐奇伶,张天序.基于初级视皮层抑制的轮廓检测方法[J].红外与毫米波学报,2007,(1)）等人采用蝶形抑制模型，有效地避免轮廓上的相互抑制，但是对夜视图像并没有有效地抑制，周边噪声依然存在，轮廓淹没在噪声中、不显著。文献二（杜晓凤,李翠华,李晶.基于复合感受野的轮廓检测算法[J].电子与信息学报,2009,(7)）采用复合的感受野模型，可以有效地抑制纹理边缘，减少轮廓的破坏，但是针对夜视图像的复杂场景，依然存在噪声的影响，凸显轮廓并没有完整地被提取出来。文献三（TangQ,SangN,ZhangT.Extractionofsalientcontoursfromclutteredscenes[J].Patternrecognition,2007,40(11):3100-3109）对非经典感受野进行改进，并结合格式塔心理原则，可以有效地从复杂场景中检测出显著的边缘轮廓，提高了检测的性能，但针对微光图像噪声严重的情况，轮廓局部不突出、不完整，背景纹理无法抑制，红外图像轮廓模糊，局部对比度不显著。

发明内容

本发明提出一种基于视觉皮层的夜视图像凸显轮廓提取方法，该方法解决了噪声抑制过程中轮廓细节丢失及轮廓不突出、不完整的问题。

为了解决上述技术问题，本发明提出一种基于视觉皮层的夜视图像凸显轮廓提取方法，其特征在于，包括以下步骤：

步骤一：随机选取T幅夜视图像，用大小为m*m的滑动子图像窗口随机采样每一幅图像W次组成一个L维训练数据集，对L维训练数据集进行中心化和白化处理获得预处理图像I，其中，T≥8，m∈[3,9]，W∈[1000，20000]，L=m²*W；

步骤二：对预处理图像I采用非负稀疏编码算法得到系数矩阵，并将系数矩阵分成Y个子块Δ_Y，从每一个子块Δ_Y中提取图像的特征向量并进行最大化池化处理，使用图像的显著边缘轮廓算法检测得到加权后的轮廓图像F，其中，Δ_Y∈[3*3,9*9]，Y∈[2000,10000]；

步骤三：对预处理图像I采用贝叶斯概率推理模型估计切线段连接，采用梯度下降法将切线段连接中的中断连接和边角连接统一划分为曲率连接从而得到边缘连接概率，采用拉普拉斯函数模拟每个边缘连接概率的连接假设似然获得稀疏图，采用迪科斯彻算法搜索稀疏图闭合路径，对未连接的路径进行填补得到增强后的闭合显著轮廓图像N；

步骤四：将加权后的轮廓图像F和增强后的闭合显著轮廓图像N合成，采用Canny算法中的非极大值抑制和滞后门限的方法对合成的图像进行阈值处理并去除短小的噪声边缘，获得凸显轮廓图像E。

本发明与现有技术相比，其显著优点在于，本发明方法在非负稀疏编码的基础上结合显著的边缘轮廓信息检测，降低了噪声的干扰；同时本发明方法将感兴趣区域视为贝叶斯概率模型的推理问题，对切线段进行细分，将切线段连接归为低视觉偏好的曲率连接，可以有效地估计切线段连接的概率，从而计算具有很强的封闭边界轮廓，从而有效地增强夜视图像的显著轮廓，从一定程度上保护了轮廓的完整性。

附图说明

图1是本发明方法的流程图。

图2是使用本发明方法实验时，所述步骤二获得的加权后的轮廓图像，其中，图2（a0）、图2(b0)、图2（c0）和图2（d0）为实验用原始图像，图2（a1）、图2（b1）、图2（c1）和图2（d1）分别为图2（a0）、图2(b0)、图2（c0）和图2（d0）对应的加权后的轮廓图像。

图3是梯度下降法示意图。

图4是边角连接细分为曲率连接图。

图5是中断连接细分为曲率连接图。

图6是使用本发明方法实验时，所述步骤三获得的增强后的闭合显著轮廓图像，其中，图6（a2）、图6（b2）、图6（c2）和图6（d2）为实验用原始图像，图6（a3）、图6（b3）、图6（c3）和图6（d3）分别为图6（a2）、图6（b2）、图6（c2）和图6（d2）对应的闭合显著轮廓图像。

图7是使用本发明方法提取的凸显轮廓图像，其中，图7（a4）、图7（b4）、图7（c4）和图7（d4）为实验用原始图像，图7（a5）、图7（b5）、图7（c5）和图7（d5）分别为图7（a4）、图7（b4）、图7（c4）和图7（d4）对应的凸显轮廓图像；图7（a6）、图7（b6）、图7（c6）和图7（d6）为实验用原始图像，图7（a7）图7（b7）图7（c7）和图7（d7）分别为图7（a6）、图7（b6）、图7（c6）和图7（d6）对应的凸显轮廓图像。

具体实施方式

一种基于视觉皮层的夜视图像凸显轮廓提取方法，如图1所示，包括以下步骤：

步骤一：随机选取T幅夜视图像，用大小为m*m的滑动子图像窗口随机采样每一幅图像W次组成一个L维训练数据集，对L维训练数据集进行中心化和白化处理获得预处理图像I，其中，T≥8，m∈[3,9]，W∈[1000，20000]，L=m²*W。

步骤二：对预处理图像I采用非负稀疏编码算法得到系数矩阵S，并将系数矩阵S分成Y个子块Δ_Y，其中Y∈[2000,10000]，子块Δ_Y的大小范围为Δ_Y∈[3*3,9*9]，从每一个子块Δ_Y中提取图像的特征向量并进行最大化池化处理，由于图像数据的特性，本发明使用PP表示最大化池化函数(maxpooling)，如公式（1）所示，

$\mathrm{PP}\left(s_{\mathrm{\Δ}}\right)=\max (s_{{\mathrm{\Δ}}_1},s_{{\mathrm{\Δ}}_2},...,s_{\mathrm{\Δi}}),i=\mathrm{1,2},...,Y---\left(1\right)$

式（1）中，sΔ_i表示系数矩阵S中第i个小块的特征向量。

本发明方法针对在夜视图像特征提取过程中带来的一些噪声干扰，提出结合夜视图像的显著轮廓信息计算加权的显著边缘特征，显著加权后的提取函数如公式（2）所示，

$\mathrm{PP}\left(s_{\mathrm{\Δ}}\right)=\max (s_{{\mathrm{\Δ}}_i}\·w_{{\mathrm{\Δ}}_i}),i=\mathrm{1,2},...,Y---\left(2\right)$

式（2）中，表示PB边缘检测算法得到图像中第i个小块的向量。其中w为PB边缘检测算法，可以有效地区别图像的显著轮廓和背景，

如公式（3）所示，提取每个区域的特征向量，用来重建整个图像区域的特征，从而可以得到显著的轮廓图像F，

F＝PP(s_Δ)（3）

步骤三：对预处理图像I采用贝叶斯概率推理模型估计切线段连接，采用梯度下降法将切线段连接中的中断连接和边角连接统一划分为曲率连接从而得到边缘连接概率，采用拉普拉斯函数模拟每个边缘连接概率的连接假设似然获得稀疏图H。

考虑到视觉感知对低曲率的偏好特性，本发明方法在贝叶斯模型估计切线段连接的基础上，只考虑曲率连接，针对切线段连接过程中出现的中断连接和边角连接这两种情况，将产生中断和边角的连接点再次细分，细分的方法是利用梯度下降法的方法寻找最优的下降方向，从而确定两点之间的连接位置。如图3所示，在出现中断或者边角连接时对应的连接点设定为连接函数曲线f(x)的初始点P₀，为了使连接函数曲线f(x)减少的最快，根据式（4）搜索f(P₀)负方向上的点，在曲线上找到下一个P点使得f(P)获得极小值。如图4所示，P1点表示边角连接的起点，P2点表示边角连接的终点，两点之间产生边角连接，同时搜索到负梯度方向上的P3点即极值点，使得f(P)获得极小值。同理，如图5所示，P1点表示中断连接的起点，P2点表示中断连接的终点，两点之间出现中断连接，同时搜索到P3点即极值点，使得f(P)获得极小值，

$f^{,}=\underset{x\→x_0}{\lim }\frac{f\left(x\right)-f\left(x_0\right)}{x-x_0}---\left(4\right)$

其中，x为起点，x₀为极值点，f,为梯度。

由于拉普拉斯分布是单峰和对称的,在各方向的连接程度相同，同样能达到半高斯函数连接变量的效果，因此本发明方法采用拉普拉斯函数模拟每个变量的连接假设似然即稀疏图H，如式（5）所示，

$H\left(o_i\right|t_1\→t_2)=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{o_i}}{e}^{-\frac{\left|o_i\right|}{2{\mathrm{\σ}}_{o_i}^2}}---\left(5\right)$

式（5）中，t₁，t₂表示连接的起始点，取经验值5，o_i表示切线段连接模型中两个参数，其中i取值1或2，当i=1时，o_i表示扩展切线段的长度，当i=2时，o_i表示连接线的长度。

对稀疏图H采用迪科斯彻算法搜索闭合路径，对未连接的路径进行填补得到增强后的闭合显著轮廓图像N；

步骤四：将加权后的轮廓图像F和增强后的闭合显著轮廓图像N合成，采用Canny算法中的非极大值抑制和滞后门限的方法对合成的图像进行阈值处理并去除短小的噪声边缘，获得凸显轮廓图像E。

进一步，所述步骤一中，T=10，m=8，W=10000。

进一步，所述步骤二中，Δ_Y大小为8*8，X=2048。

本方明方法的效果可以通过以下仿真结果进一步说明：

如图2所示，使用本发明方法所述步骤二获得的加权轮廓图像F，在传统的非负稀疏编码的基础上结合了图像的边缘信息，保持了轮廓边缘的完整性，减少了非负稀疏编码在特征提取过程中显著边缘信息的丢失。

如图6所示，使用本发明方法所述步骤三获得的增强后的闭合显著轮廓图像N，用贝叶斯概率推理模型估计切线段之间的连接，将切线段之间的连接进行细分，对连接过程中出现的边角连接和中断连接细分为视觉感知偏好的曲率连接，使得显著轮廓边缘连接完整，减少出现切线断裂的情况。

如图7所示，采用Canny算法中的非极大值抑制与滞后门限的方法，对合成图像进行阈值处理并去除短小的噪声边缘，得到最终的凸现轮廓边缘，这样可以得到一个明确的二值化结果。

Claims (3)

1.一种基于视觉皮层的夜视图像凸显轮廓提取方法，其特征在于，包括以下步骤：

步骤一：随机选取T幅夜视图像，用大小为m*m的滑动子图像窗口随机采样每一幅图像W次组成一个L维训练数据集，对L维训练数据集进行中心化和白化处理获得预处理图像I，其中，T≥8，m∈[3,9]，W∈[1000，20000]，L=m²*W；

步骤二：对预处理图像I采用非负稀疏编码算法得到系数矩阵，并将系数矩阵分成Y个子块Δ_Y，从每一个子块Δ_Y中提取图像的特征向量并进行最大化池化处理，使用图像的显著边缘轮廓算法检测得到加权后的轮廓图像F，其中，Δ_Y∈[3*3,9*9]，Y∈[2000,10000]；

步骤三：对预处理图像I采用贝叶斯概率推理模型估计切线段连接，采用梯度下降法将切线段连接中的中断连接和边角连接统一划分为曲率连接从而得到边缘连接概率，采用拉普拉斯函数模拟每个边缘连接概率的连接假设似然获得稀疏图，采用迪科斯彻算法搜索稀疏图闭合路径，对未连接的路径进行填补得到增强后的闭合显著轮廓图像N；

步骤四：将加权后的轮廓图像F和增强后的闭合显著轮廓图像N合成，采用Canny算法中的非极大值抑制和滞后门限的方法对合成的图像进行阈值处理并去除短小的噪声边缘，获得凸显轮廓图像E。

2.如权利要求1所述的基于视觉皮层的夜视图像凸显轮廓提取方法，其特征在于，所述步骤一中，T=10，m=8，W=10000。

3.如权利要求1所述的基于视觉皮层的夜视图像凸显轮廓提取方法，其特征在于，所述步骤二中，Δ_Y大小为8*8，X=2048。