CN103093462B - 基于视觉注意机制下的铜带表面缺陷快速检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意机制下的铜带表面缺陷快速检测方法，包括以下步骤，1）输入铜带表面图像，提取铜带表面图像自顶向下的注意信息；2）提取铜带表面图像自底向上的注意信息；3）引入场景中目标和背景干扰的统计先验信息；4）根据自底向上和自顶向下注意信息，协同工作，建立双向协同的视觉注意模型；5）通过建立的视觉注意模型，进行铜带表面缺陷在线检测，输出检测结果。本发明能够解决复杂、恶劣的工况环境下的缺陷检测难点问题，且具有很高的实时性、可靠性和鲁棒性，思路清晰，方法独特，具有良好的应用前景。

Description

基于视觉注意机制下的铜带表面缺陷快速检测方法

技术领域

本发明涉及一种面向金属板带材表面缺陷的基于视觉注意机制下的在线快速检测方法，属于视觉检测和图像分析技术领域。

背景技术

由于铜带生产工艺现场环境复杂多变，光线变化、噪声干扰严重等因素均易导致图像质量下降，图像的信噪比低，加之大多数表面缺陷目标尺度较小、对比度较低，属于弱小目标，因此针对铜带表面缺陷检测和识别的可靠性、实时性以及稳健性等方面存在较大的挑战，传统的铜带表面缺陷检测方法，首先是做图像去噪、图像增强等图像预处理来消除噪音的影响、增强和突出目标特征，使其更容易从背景中分离出来，这种传统的图像处理方法虽然在一定程度上减少噪声的视觉影响，但对于干扰较强的噪声作用不大，而且过度的去噪等处理不仅会损失待检测缺陷目标本身的图像特征，而且也会影响检测的实时性，因此需要一种理想的解决办法是检测模型本身具有较强的抗噪能力，具备较强的鲁棒性。

发明内容

为了解决现有技术中传统的铜带表面缺陷检测方法，会损失待检测缺陷目标本身的图像特征，且实时性、鲁棒性差的问题。本发明提供的基于视觉注意机制下的铜带表面缺陷快速检测方法，能够解决复杂、恶劣的工况环境下的缺陷检测难点问题，且具有很高的实时性、可靠性和鲁棒性，思路清晰，方法独特，具有良好的应用前景。

为了到达上述目的，本发明所采取的技术方案是：

一种基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：包括以下步骤，

步骤（1）输入铜带表面图像，提取铜带表面图像自顶向下的注意信息；

步骤（2）提取铜带表面图像自底向上的注意信息；

步骤（3）引入场景中目标和背景干扰的统计先验信息；

步骤（4）根据自底向上和自顶向下注意信息，协同工作，建立双向协同的视觉注意模型；

步骤（5）通过建立的视觉注意模型，进行铜带表面缺陷在线检测，输出检测结果。

前述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：步骤（1）提取铜带表面图像自顶向下的注意信息包括目标出现概率p(T_n|V)和干扰出现概率p(D_m|V)。

前述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：目标出现概率p(T_n|V)的计算方法，包括以下步骤，

（1）根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算目标T出现概率的似然函数值，

$p\left(T\right|V)=\frac{p\left(V\right|T)p\left(T\right)}{p\left(V\right)}---\left(1\right)$

p(V)为一组铜带表面图像的图像度量的铜带表面图像出现的概率，p(T)为目标出现的概率，p(T|V)为给定一组铜带表面图像的图像度量V时，目标T为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述目标T为目标的属性，包括目标种类、目标所处位置和大小；

（2）假设目标T的检测任务中包含N个目标，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k，…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述目标T_n,n＝1,2,…N时，公式(1)写成公式(2)，

$p\left(T_n\right|V_k)=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_k\right|T_n)p\left(T_n\right)}---\left(2\right)$

其中p(T_n)为目标T_n出现的先验概率；p(T_n|V_k)为当给定图像特征V_k时，目标T_n出现的概率；p(V_k|T_n)为目标T_n的概率密度函数；

（3）使用K个特征向量来描述目标T_n时，得到公式（3）

（4）假设图像特征V_k间相互独立，根据公式（3）得到公式（4）如下，

$p\left(T_n\right|V)=\frac{p\left(V_1\right|T_n)p\left(V_2\right|T_n)\·\·\·p\left(V_K\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_1\right|T_n)p\left(V_2\right|T_n)\·\·\·p\left(V_K\right|T_n)p\left(T_n\right)}$

$=\frac{\underset{K}{\mathrm{\Π}}p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}\underset{K}{\mathrm{\Π}}p\left(V_k\right|T_n)p\left(T_n\right)}---\left(4\right)$

前述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：干扰出现概率p(D_m|V)的计算方法，干扰为传送带金属边框以及大理石地板，包括以下步骤，

（1）根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算干扰D出现概率的似然函数值，

$p\left(D\right|V)=\frac{p\left(V\right|D)p\left(D\right)}{p\left(V\right)}---\left(5\right)$

p(V)为一组铜带表面图像的图像度量的铜带表面图像出现的概率，p(D)为干扰出现的概率，p(D|V)为给定一组铜带表面图像的图像度量V时，干扰D为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述干扰D为干扰的属性，包括干扰种类、干扰所处位置和大小；

（2）假设干扰D的检测任务中包含N个干扰，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k，…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述干扰D_m,n＝1,2,…N时，公式(1)写成公式(6)，

$p\left(D_m\right|V_k)=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_k\right|D_m)p\left(D_m\right)}---\left(6\right)$

其中p(D_m)为干扰D_m出现的先验概率；p(D_m|V_k)为当给定图像特征V_k时，干扰D_m出现的概率；p(V_k|D_m)为干扰D_m的概率密度函数；

（3）使用K个特征向量来描述干扰D_m时，得到公式（7）

（4）假设图像特征V_k间相互独立，根据公式（7）得到公式（8）如下，

$p\left(D_m\right|V)=\frac{p\left(V_1\right|D_m)p\left(V_2\right|D_m)\·\·\·p\left(V_K\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_1\right|D_m)p\left(V_2\right|D_m)\·\·\·p\left(V_K\right|D_m)p\left(D_m\right)}$ $\left(8\right)$

$=\frac{\underset{K}{\mathrm{\Π}}p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}\underset{K}{\mathrm{\Π}}p\left(V_k\right|D_m)p\left(D_m\right)}$

前述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：步骤（2）提取铜带表面图像自底向上的注意信息，根据图像数据计算得到图像中的显著区域，并由特征显著性计算得到，所述特征显著性计算包括初级视觉特征计算、纹理频谱特征计算以及小波统计特征计算三个步骤。

前述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：步骤（4）协同工作，协同工作，建立双向协同的视觉注意模型的方法，包括以下步骤，

（1）设特征显著性为SS_ij(sc,l)，SS_ij(sc,l)是以点图像l＝(x,y)为中心，以尺度sc为半径的图像区域的显著值，根据公式（9），第j维空间的显著图S_j通过自底向上显著值SS_ij(sc,l)和自顶向下增益g_ij乘积的加权和得到；根据公式（10），最终显著图S通过S_j和自顶向下增益因子g_j乘积的加权和得到，

$S_j(\mathrm{sc},l)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ij}}(\mathrm{sc},l)---\left(9\right)$

$S(\mathrm{sc},l)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_j(\mathrm{sc},l)---\left(10\right)$

（2）假设图像中包含一个目标T和若干干扰D_i,i＝1,…,N，给定特征向量V时，图像中包含目标和干扰的概率密度函数分别为P(T|V)和P(D|V)，则目标的显著性期望为公式（11）：

$E\left[S_T(\mathrm{sc},l)\right]=E_{T|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_{\mathrm{jT}}(\mathrm{sc},l)\right]$

$=E_{T|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]$

$=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{T|V}\left[{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]---\left(11\right)$

其中，S_T(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中目标图像区域的显著值，SS_ijT表示自底向上显著值；S_jT表示目标的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

背景干扰的显著性期望为公式（12）：

$E\left[S_D(\mathrm{sc},l)\right]=E_{D|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_{\mathrm{jD}}(\mathrm{sc},l)\right]$

$=E_{D|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]$

$=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{D|V}\left[{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]---\left(12\right)$

S_D(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中干扰标图像区域的显著值，SS_ijD表示自底向上显著值；S_jT表示干扰的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

（3）定义信噪比为目标期望显著性和干扰期望显著性期望的比例，根据公式(11)和公式(12)，得到信噪比SNR为公式(13)，

$\mathrm{SNR}=\frac{E\left[S_T\left(A\right)\right]}{E\left[S_D\left(A\right)\right]}=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{T|V}\left[{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{D|V}\left[{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]}---\left(13\right)$

信噪比SNR取值越大，越容易检测出目标；

（4）由于信噪比SNR取值越大，越容易检测出目标，最大化信噪比SNR来获得最优的增益。

本发明的有益效果是：本发明提供的基于视觉注意机制下的铜带表面缺陷快速检测方法，以获得场景中目标与背景干扰的先验知识，兼顾目标和背景在尺度空间和特征空间的显著性，计算目标与干扰的显著性差异信噪比，以获取自底向上增益因子来调制自底向上注意信息的提取，使得目标和背景的显著性对比度最大，能够通过对自底向上注意信息模型、基于自底向上注意信息的背景已知模型、基于自底向上注意信息的目标已知模型和基于自底向上注意信息的目标和背景已知模型进行了比较验证实验，结果表明，本发明对缺陷目标检测具有有效的指导作用，能够解决复杂、恶劣的工况环境下的缺陷检测难点问题，且具有很高的实时性、可靠性和鲁棒性，思路清晰，方法独特，具有良好的应用前景。

附图说明

图1是本发明的基于视觉注意机制下的铜带表面缺陷快速检测方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的描述。

如图1所示，本发明的基于视觉注意机制下的铜带表面缺陷快速检测方法，以获得场景中目标与背景干扰的先验知识，兼顾目标和背景在尺度空间和特征空间的显著性，计算目标与干扰的显著性差异信噪比，以获取自底向上增益因子来调制自底向上注意信息的提取，使得目标和背景的显著性对比度最大，能够通过对自底向上注意信息模型、基于自底向上注意信息的背景已知模型、基于自底向上注意信息的目标已知模型和基于自底向上注意信息的目标和背景已知模型进行了比较验证实验，结果表明，包括以下步骤，

第一步，输入铜带表面图像，提取铜带表面图像自顶向下的注意信息，注意信息包括目标出现概率p(T_n|V)和干扰出现概率p(D_m|V)，其中目标出现概率p(T_n|V)的计算方法，包括毛边、缺口、油污、起皮，穿孔、凹坑、划痕七种类型，包括以下步骤，

1）根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算目标T出现概率的似然函数值，

$p\left(T\right|V)=\frac{p\left(V\right|T)p\left(T\right)}{p\left(V\right)}---\left(1\right)$

p(V)为一组图像度量的铜带表面图像出现的概率，p(T)为目标出现的概率，p(T|V)为给定一组铜带表面图像的图像度量V时，目标T为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述目标T为目标的属性，包括目标种类、目标所处位置和大小；

2）假设目标T的检测任务中包含N个目标，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k，…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述目标T_n,n＝1,2,…N时，公式(1)写成公式(2)，

$p\left(T_n\right|V_k)=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_k\right|T_n)p\left(T_n\right)}---\left(2\right)$

其中p(T_n)为目标T_n出现的先验概率；p(T_n|V_k)为当给定图像特征V_k时，目标T_n出现的概率；p(V_k|T_n)为目标T_n的概率密度函数；

3）使用K个特征向量来描述目标T_n时，得到公式（3）

4）假设图像特征V_k间相互独立，根据公式（3）得到公式（4）如下，

$p\left(T_n\right|V)=\frac{p\left(V_1\right|T_n)p\left(V_2\right|T_n)\·\·\·p\left(V_K\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_1\right|T_n)p\left(V_2\right|T_n)\·\·\·p\left(V_K\right|T_n)p\left(T_n\right)}$

$=\frac{\underset{K}{\mathrm{\Π}}p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\mathrm{\Σ}}\underset{K}{\mathrm{\Π}}p\left(V_k\right|T_n)p\left(T_n\right)}---\left(4\right)$

干扰出现概率p(D_m|V)的计算方法，干扰为传送带金属边框以及大理石地板，包括以下步骤，

1）根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算干扰T出现概率的似然函数值，

$p\left(D\right|V)=\frac{p\left(V\right|D)p\left(D\right)}{p\left(V\right)}---\left(5\right)$

p(V)为一组图像度量的铜带表面图像出现的概率，p(D)为干扰出现的概率，p(D|V)为给定一组铜带表面图像的图像度量V时，干扰D为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述干扰D为干扰的属性，包括干扰种类、干扰所处位置和大小；

2）假设干扰D的检测任务中包含N个干扰，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k，…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述干扰D_m,n＝1,2,…N时，公式(1)写成公式(6)，

$p\left(D_m\right|V_k)=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_k\right|D_m)p\left(D_m\right)}---\left(6\right)$

其中p(D_m)为干扰D_m出现的先验概率；p(D_m|V_k)为当给定图像特征V_k时，干扰D_m出现的概率；p(V_k|D_m)为干扰D_m的概率密度函数；

3）使用K个特征向量来描述干扰D_m时，得到公式（7）

4）假设图像特征V_k间相互独立，根据公式（7）得到公式（8）如下，

$p\left(D_m\right|V)=\frac{p\left(V_1\right|D_m)p\left(V_2\right|D_m)\·\·\·p\left(V_K\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}p\left(V_1\right|D_m)p\left(V_2\right|D_m)\·\·\·p\left(V_K\right|D_m)p\left(D_m\right)}$

$=\frac{\underset{K}{\mathrm{\Π}}p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\mathrm{\Σ}}\underset{K}{\mathrm{\Π}}p\left(V_k\right|D_m)p\left(D_m\right)}---\left(8\right)$

第二步，提取铜带表面图像自底向上的注意信息，根据图像数据计算得到图像中的显著区域，并由特征显著性计算得到，所述特征显著性计算包括初级视觉特征计算、纹理频谱特征计算以及小波统计特征计算三个步骤，

1）计算初级视觉特征显著性

通过高斯金字塔和Gabor金字塔不同尺度分解，得到显著区域的9个亮度特征，36个颜色特征和36个朝向特征，得到的81个特征；

根据得到的81个特征，通过计算显著区域的中央精细尺度c和周边粗糙尺度s间的中央周边差，得到42个特征图，包括6个亮度特征图，12个颜色特征图和24个朝向特征图；

对42个特征图分别使用局部迭代策略，得到I′，C′和O′特征关注图，I′，C′和O′分别表示缺陷区域的亮度特征图，36个颜色特征图和36个朝向特征图；

2)计算频域纹理特征显著性

计算图像的特征显著性S(θ)，采用亮度直方图进行估计，S(θ)的局部概率密度函数p(a,sc,l)，局部概率密度函数p(a,sc,l)在图像中纹理特性值S(θ)为a的概率，根据下式计算纹理特性显著性度量ST(sc,l)，

ST(sc,l)＝-∑p(a,sc,l)log₂p(a,sc,l)

3)计算统计显著性

使用多尺度统计法计算图像的统计特性，若满足条件T²＞UCL的区域，计算统计不相似性度量SM(sc,l)：

$\mathrm{SM}(\mathrm{sc},l)=\frac{{\mathrm{sc}}^2}{\mathrm{sc}-1}(T^2(\mathrm{sc},l)-T^2(\mathrm{sc}-1,l))$

第三步，引入场景中目标和背景干扰的统计先验信息；

第四步，根据自底向上和自顶向下注意信息，协同工作，建立双向协同的视觉注意模型，协同工作，建立双向协同的视觉注意模型的方法，包括以下步骤，

（1）设特征显著性为SS_ij(sc,l)，SS_ij(sc,l)是以点图像l＝(x,y)为中心，以尺度sc为半径的图像区域的显著值，根据公式（9），第j维空间的显著图S_j通过自底向上显著值SS_ij(sc,l)和自顶向下增益g_ij乘积的加权和得到；根据公式（10），最终显著图S通过S_j和自顶向下增益因子g_j乘积的加权和得到，

$S_j(\mathrm{sc},l)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ij}}(\mathrm{sc},l)---\left(9\right)$

$S(\mathrm{sc},l)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_j(\mathrm{sc},l)---\left(10\right)$

（2）假设图像中包含一个目标T和若干干扰D_i,i＝1,…,N，给定特征向量V时，图像中包含目标和干扰的概率密度函数分别为P(T|V)和P(D|V)，则目标的显著性期望为公式（11）：

$E\left[S_T(\mathrm{sc},l)\right]=E_{T|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_{\mathrm{jT}}(\mathrm{sc},l)\right]$

$=E_{T|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]$

$=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{T|V}\left[{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]---\left(11\right)$

其中，S_T(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中目标图像区域的显著值，SS_ijT表示自底向上显著值；S_jT表示目标的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

背景干扰的显著性期望为公式（12）：

$E\left[S_D(\mathrm{sc},l)\right]=E_{D|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j{S}_{\mathrm{jD}}(\mathrm{sc},l)\right]$

$=E_{D|V}\left[\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]$

$=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{D|V}\left[{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]---\left(12\right)$

S_D(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中干扰标图像区域的显著值，SS_ijD表示自底向上显著值；S_jT表示干扰的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

3）定义信噪比为目标期望显著性和干扰期望显著性期望的比例，根据公式(11)和公式(12)，得到信噪比SNR为公式(13)，

$\mathrm{SNR}=\frac{E\left[S_T\left(A\right)\right]}{E\left[S_D\left(A\right)\right]}=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{T|V}\left[{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_j\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}{E}_{D|V}\left[{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]}---\left(13\right)$

信噪比SNR取值越大，越容易检测出目标；

4）由于信噪比SNR取值越大，越容易检测出目标，最大化信噪比SNR来获得最优的增益，这里为了最大化SNR来获得最优的增益，对g_ij和g_j进行差分运算，得到下面的方程，

$\frac{\∂}{{\∂g}_{\mathrm{ij}}}\mathrm{SNR}=\frac{\frac{{\mathrm{SNR}}_{\mathrm{ij}}}{\mathrm{SNR}}-1}{{\mathrm{\α}}_{\mathrm{ij}}}---\left(14\right)$

$\frac{\∂}{{\∂g}_j}\mathrm{SNR}=\frac{\frac{{\mathrm{SNR}}_j}{\mathrm{SNR}}-1}{{\mathrm{\α}}_j}---\left(15\right)$

其中α_ij和α_j是大于零的归一化参数，并且有：

${\mathrm{SNR}}_{\mathrm{ij}}=\frac{E_{T|V}\left[{\mathrm{SS}}_{\mathrm{ijT}}(\mathrm{sc},l)\right]}{E_{D|V}\left[{\mathrm{SS}}_{\mathrm{ijD}}(\mathrm{sc},l)\right]}---\left(16\right)$

${\mathrm{SNR}}_j=\frac{E_{T|V}\left[S_{\mathrm{jT}}(\mathrm{sc},l)\right]}{E_{D|V}\left[S_{\mathrm{jD}}(\mathrm{sc},l)\right]}---\left(17\right)$

差分的值决定g_ij的值是增加、减少或者保持基准值（g_ij＝1），为了最大化SNR，必须满足下列条件：

$\frac{{\mathrm{SNR}}_{\mathrm{ij}}}{\mathrm{SNR}}<1\&DoubleRightArrow;{\left(\frac{\&PartialD;}{{\&PartialD;g}_{\mathrm{ij}}}\mathrm{SNR}\right)}_{g_{\mathrm{ij}}=1}<0\&DoubleRightArrow;g_{\mathrm{ij}}<1$

$=1\&DoubleRightArrow;{\left(\frac{\&PartialD;}{{\&PartialD;g}_{\mathrm{ij}}}\mathrm{SNR}\right)}_{g_{\mathrm{ij}}=1}=0\&DoubleRightArrow;g_{\mathrm{ij}}=1$

$>1\&DoubleRightArrow;{\left(\frac{\&PartialD;}{{\&PartialD;g}_{\mathrm{ij}}}\mathrm{SNR}\right)}_{g_{\mathrm{ij}}=1}>0\&DoubleRightArrow;g_{\mathrm{ij}}>1---\left(18\right)$

因此，当g_ij增加时，也增加，给增益因子的取值添加一个约束条件：不能无限制增加，其和加起来必须为一个常数，即那么：

$g_{\mathrm{ij}}=\frac{{\mathrm{SNR}}_{\mathrm{ij}}}{\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{SNR}}_{\mathrm{kj}}}---\left(19\right)$

$g_j=\frac{{\mathrm{SNR}}_j}{\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{SNR}}_k}---\left(20\right)$

这样，自顶向下注意机制权值的选取依赖于其信噪比SNR_ij，同样地，自底向上增益也仅取决于信噪比值SNR_j，换句话说，如果一个特征对于目标的显著性描述优于对背景的描述，则其获得较高的权值；反之，获得较低的权值。

第五步，通过建立的视觉注意模型，进行铜带表面缺陷在线检测，输出检测结果。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：包括以下步骤，

步骤(1)输入铜带表面图像，提取铜带表面图像自顶向下的注意信息；

步骤(2)提取铜带表面图像自底向上的注意信息；

步骤(3)引入场景中目标和背景干扰的统计先验信息；

步骤(4)根据自底向上和自顶向下注意信息，协同工作，建立双向协同的视觉注意模型；

步骤(5)通过建立的视觉注意模型，进行铜带表面缺陷在线检测，输出检测结果；

步骤(1)提取铜带表面图像自顶向下的注意信息包括目标出现概率p(T_n|V)和干扰出现概率p(D_m|V)；

目标出现概率p(T_n|V)的计算方法，包括以下步骤，

(1)根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算目标T出现概率的似然函数值，

$p\left(T\right|V)=\frac{p\left(V\right|T)p\left(T\right)}{p\left(V\right)}---\left(1\right)$

p(V)为一组铜带表面图像的图像度量的铜带表面图像出现的概率，p(T)为目标出现的概率，p(T|V)为给定一组铜带表面图像的图像度量V时，目标T为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述目标T为目标的属性，包括目标种类、目标所处位置和大小；

(2)假设目标T的检测任务中包含N个目标，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k,…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述目标T_n,n＝1,2,…N时，公式(1)写成公式(2)，

$p\left(T_n\right|V_k)=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\&Sigma;}p\left(V_k\right|T_n)p\left(T_n\right)}---\left(2\right)$

其中p(T_n)为目标T_n出现的先验概率；p(T_n|V_k)为当给定图像特征V_k时，目标T_n出现的概率；p(V_k|T_n)为目标T_n的概率密度函数；

(3)使用K个特征向量来描述目标T_n时，得到公式(3)

(4)假设图像特征V_k间相互独立，根据公式(3)得到公式(4)如下，

$\begin{array}{c}p\left(T_n\right|V)=\frac{p\left(V_1\right|T_n)p\left(V_2\right|T_n)\mathrm{...}p\left(V_K\right|T_n)p\left(T_n\right)}{\underset{N}{\&Sigma;}p\left(V_1\right|T_n)p\left(V_2\right|T_n)\mathrm{...}p\left(V_K\right|T_n)p\left(T_n\right)}\\ =\frac{\underset{K}{\&Pi;}p\left(V_k\right|T_n)p\left(T_n\right)}{\underset{N}{\&Sigma;}\underset{K}{\&Pi;}p\left(V_k\right|T_n)p\left(T_n\right)}\end{array}---\left(4\right);$

干扰出现概率p(D_m|V)的计算方法，干扰为传送带金属边框以及大理石地板，包括以下步骤，

(1)根据贝叶斯理论，根据一组铜带表面图像的图像度量V，计算干扰D出现概率的似然函数值，

$p\left(D\right|V)=\frac{p\left(V\right|D)p\left(D\right)}{p\left(V\right)}---\left(5\right)$

p(V)为一组铜带表面图像的图像度量的铜带表面图像出现的概率，p(D)为干扰出现的概率，p(D|V)为给定一组铜带表面图像的图像度量V时，干扰D为出现的条件概率；所述图像度量V为灰度值、纹理特征或几何形状特征，所述干扰D为干扰的属性，包括干扰种类、干扰所处位置和大小；

(2)假设干扰D的检测任务中包含N个干扰，通过K个特征向量来描述图像度量V为V＝[V₁,V₂,…,V_k,…,V_K],k＝1,2,…,K，当使用特征向量V_k，描述干扰D_m,n＝1,2,…N时，公式(1)写成公式(6)，

$p\left(D_m\right|V_k)=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{p\left(V_k\right)}=\frac{p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\&Sigma;}p\left(V_k\right|D_m)p\left(D_m\right)}---\left(6\right)$

其中p(D_m)为干扰D_m出现的先验概率；p(D_m|V_k)为当给定图像特征V_k时，干扰D_m出现的概率；p(V_k|D_m)为干扰D_m的概率密度函数；

(3)使用K个特征向量来描述干扰D_m时，得到公式(7)

(4)假设图像特征V_k间相互独立，根据公式(7)得到公式(8)如下，

$\begin{array}{c}p\left(D_m\right|V)=\frac{p\left(V_1\right|D_m)p\left(V_2\right|D_m)\mathrm{...}p\left(V_K\right|D_m)p\left(D_m\right)}{\underset{N}{\&Sigma;}p\left(V_1\right|D_m)p\left(V_2\right|D_m)\mathrm{...}p\left(V_K\right|D_m)p\left(D_m\right)}\\ =\frac{\underset{K}{\&Pi;}p\left(V_k\right|D_m)p\left(D_m\right)}{\underset{N}{\&Sigma;}\underset{K}{\&Pi;}p\left(V_k\right|D_m)p\left(D_m\right)}\end{array}---\left(8\right).$

2.根据权利要求1所述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：步骤(2)提取铜带表面图像自底向上的注意信息，根据图像数据计算得到图像中的显著区域，并由特征显著性计算得到，所述特征显著性计算包括初级视觉特征计算、纹理频谱特征计算以及小波统计特征计算三个步骤。

3.根据权利要求1所述的基于视觉注意机制下的铜带表面缺陷快速检测方法，其特征在于：步骤(4)协同工作，协同工作，建立双向协同的视觉注意模型的方法，包括以下步骤，

(1)设SS_ij(sc,l)，SS_ij(sc,l)是以点图像l＝(x,y)为中心，以尺度sc为半径的图像区域的显著值，根据公式(9)，第j维空间的显著图S_j通过自底向上显著值SS_ij(sc,l)和自顶向下增益g_ij乘积的加权和得到；根据公式(10)，最终显著图S通过S_j和自顶向下增益因子g_j乘积的加权和得到，

$S_j(sc,l)=\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{\mathrm{SS}}_{ij}(sc,l)---\left(9\right)$

$S(sc,l)=\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j{S}_j(sc,l)---\left(10\right)$

(2)假设图像中包含一个目标T和若干干扰D_i,i＝1,…,N，给定特征向量V时，图像中包含目标和干扰的概率密度函数分别为P(T|V)和P(D|V)，则目标的显著性期望为公式(11)：

$\begin{array}{c}E\&lsqb;S_T(sc,l)\&rsqb;=E_{T|V}\&lsqb;\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j{S}_{j_T}(sc,l)\&rsqb;\\ =E_{T|V}\&lsqb;\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{\mathrm{SS}}_{{\mathrm{ij}}_T}(sc,l)\&rsqb;\\ =\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{E}_{T|V}\&lsqb;{\mathrm{SS}}_{{\mathrm{ij}}_T}(sc,l)\&rsqb;\end{array}---\left(11\right)$

其中，S_T(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中目标图像区域的显著值，SS_ijT表示自底向上显著值；表示目标的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

背景干扰的显著性期望为公式(12)：

$\begin{array}{c}E\&lsqb;S_D(sc,l)\&rsqb;=E_{D|V}\&lsqb;\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j{S}_{j_D}(sc,l)\&rsqb;\\ =E_{D|V}\&lsqb;\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{\mathrm{SS}}_{{\mathrm{ij}}_D}(sc,l)\&rsqb;\\ =\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{E}_{D|V}\&lsqb;{\mathrm{SS}}_{ijD}(sc,l)\&rsqb;\end{array}---\left(12\right)$

S_D(sc,l)表示SS_ij(sc,l)是以点l＝(x,y)为中心，以尺度sc为半径的场景中干扰标图像区域的显著值，表示自底向上显著值；S_jD表示干扰的第j维空间的显著值；g_j表示自顶向下增益因子；g_ij表示第j维空间的各i维特征空间的自顶向下增益；

(3)定义信噪比为目标期望显著性和干扰期望显著性期望的比例，根据公式(11)和公式(12)，得到信噪比SNR为公式(13)，

$SNR=\frac{E\&lsqb;S_T\left(A\right)\&rsqb;}{E\&lsqb;S_D\left(A\right)\&rsqb;}=\frac{\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{i_j}{E}_{T|V}\&lsqb;{\mathrm{SS}}_{ijT}(sc,l)\&rsqb;}{\underset{j=1}{\overset{N}{\&Sigma;}}{g}_j\underset{i=1}{\overset{n}{\&Sigma;}}{g}_{ij}{E}_{D|V}\&lsqb;{\mathrm{SS}}_{ijD}(sc,l)\&rsqb;}---\left(13\right)$

信噪比SNR取值越大，越容易检测出目标；

(4)由于信噪比SNR取值越大，越容易检测出目标，最大化信噪比SNR来获得最优的增益。