CN103268586A - 一种基于热扩散理论的窗融合方法 - Google Patents

Abstract

本发明提供一种基于热扩散理论的窗融合方法，包括以下步骤：将每个初始检测窗口对应热力学系统中的一个位置；计算热力学系统中任意两个初始检测窗口对应位置之间的热传导系数；利用任意两个位置的热传导系数，建立稳定状态下离散形式的线性各向异性热扩散方程；在热扩散条件下，系统选取K个位置作为热源使整个系统的温度之和最大；K个热源的位置确定后，所对应的K个检测窗仍然可能存在重复检测，所以通过非极大值抑制法来消除重复的初始检测窗口。本发明利用线性各向异性热扩散条件下系统温度之和最大化问题来模拟初始检测窗的客观规律，从而显著地提高目标检测的精度。

Description

一种基于热扩散理论的窗融合方法

技术领域

本发明属于图像处理与计算机视觉领域，主要涉及滑动窗目标检测中的窗口融合技术。

背景技术

目标检测是计算机视觉研究领域中的一个核心问题，它判断数字图片或视频中某一类感兴趣目标是否出现以及出现的具体位置和尺度。目标检测方法多种多样，其中，滑动窗方法因其较好的检测性能而备受大家的关注。一般的滑动窗方法主要包括三个步骤：（1）训练目标分类器；（2）选取不同大小和尺度的窗口遍历整个图像，并利用目标分类器的目标检测子判断每个窗口属于目标还是背景，某一窗口目标检测子输出的响应分数越大则该窗口属于目标的概率也越大；利用分类器进行全图多尺度搜索后，获得属于目标的窗口，即初始检测窗口；（3）同一个目标会存在多个初始检测窗口重复检测的情况，融合初始检测窗口，获得最终目标检测结果。窗融合的主要工作是删除重复检测。好的窗融合方法能够在不损失召回率的情况下拒绝误检以及防止相邻目标干扰，一定程度上弥补目标检测子的不足。

大量的研究工作都集中在前两个步骤，包括目标特征提取，目标建模和快速搜索等等。一般认为窗融合的作用仅仅是删除重复检测，所以把它当作检测系统的一个补充，没有做比较详细的研究。仅有的一些融合方法也是凭直觉的简单处理，没有去寻找初始检测窗背后存在的规律，更没有建立规范的数学模型来描述这种规律。比较常用的窗融合方法包括：

1）启发式窗融合方法。统计每个位置一定邻域范围内初始检测窗口的数量，删除那些窗数量较少的位置。每个位置邻域范围内窗口的平均中心即检测位置。该方法过于简单，融合效果不理想。比如删除窗数量较少的位置虽然一定程度上可以降低误检率，但是同样会降低目标的召回率。详见文献：ROWLEY H A,BALUJA S,KANADE T.Neural networks based facedetection[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1990,20(1):22–38。

2）非极大值抑制方法。初始检测窗按检测分数从大到小排列，贪婪地选择更大检测分数的窗并删除与已经选择窗口重合大于50%的窗。该方法基本没有拒绝误检的能力，并且无法抑制相邻目标之间的干扰。详见文献：FELZENSZWALB P F,GIRSHICK R B,MCALLESTERD,et al.Object detection with discriminatively trained part based models[J].IEEE Trans on PatternAnalysis and Machine Intelligence,2010,32(9):1627–1645。

3）mean-shift方法。把初始检测窗映射到3维位置(x,y)和尺度s空间中。其次利用mean-shift算法找到空间中响应极大值点，极大值点即为最终融合结果。该方法的缺点是得到的目标尺度信息并不准。详见文献：Dalal N.Finding People in Images and Videos[D].INSTITUT NATIONAL POLYTECHNIQUE DE GRENOBLE,2006。

发明内容

本发明所要解决的技术问题是，提供一种能够有效的删除重复检测，还能排除误检以及防止相邻目标干扰的窗融合方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于热扩散理论的窗融合方法，包括以下步骤：

步骤1、将每个初始检测窗口对应热力学系统中的一个位置，所有初始检测窗口对应位置的集合为V；

步骤2、计算热力学系统中任意两个初始检测窗口对应位置x,y之间的热传导系数b_xy；

b_xy=ol(x,y)×mean(sc(x),sc(y))

$\mathrm{ol}(x,y)=\frac{\mathrm{area}\left(x\right)\∩\mathrm{area}\left(y\right)}{\mathrm{area}\left(x\right)\∪\mathrm{area}\left(y\right)}$

其中，sc(x),sc(y)分别表示窗口x,y对应的响应分数，mean(·)表示计算均值，ol(·)表示两个窗口的相对重叠面积，area(·)表示窗口面积，∪表示并集，∩表示交集；

步骤3、利用任意两个位置的热传导系数，建立稳定状态下离散形式的线性各向异性热扩散方程：

$T\left(x\right)=\frac{1}{q_x}\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}T\left(y\right)$

$q_x=\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}+z_x$

公式中T(x),T(y)分别表示稳定状态下任意两个位置x,y处的温度值，q_x表示热扩散系数，z_x代表位置x处的损失热传导系数的经验值；

步骤4、在热扩散条件下，系统选取K个位置作为热源使整个系统的温度之和最大

其中，M表示热源位置s_i的集合，s_i∈M,i∈{1,2,…，K}，被选为热源的位置处温度值为该位置对应初始检测窗口的响应分数T(x=s_i)=sc(x)，V表示初始检测窗口对应位置的集合；

步骤5、K个热源的位置确定后，所对应的K个检测窗仍然可能存在重复检测，所以通过非极大值抑制法来消除重复的初始检测窗口。

通过对大量数据观察和分析，归纳得出的初始检测窗规律包括：1）目标检测子的响应分数越高，检测窗包含目标的概率越大。2）图像中目标邻域内窗口出现的频率很高，且沿着远离目标的方向，窗口出现的频率会递减。3）误检一般是突然发生，而不太可能连续出现在某一个图像区域中。4）在真实目标邻域内会出现大于目标尺寸、小于目标尺寸、等于目标尺度3种初始检测窗口，且一般等于目标尺寸的窗口最多。5）两个距离很近的目标会产生干扰窗口，但是一般这种干扰窗口的数量少且检测分数较低。以上得到的初始检测窗规律是本发明的基础。本发明利用线性各向异性热扩散条件下系统温度之和最大化问题来模拟初始检测窗的客观规律，从而显著地提高目标检测的精度。

本发明的有益效果是，不仅能删除重复检测，还可以排除误检以及防止相邻目标干扰，这是已有的窗融合方法所不具备的能力，可以应用于任意基于滑动窗的目标检测框架。

附图说明

图1是本发明框架示意图。

具体实施方式

为了方便地描述本发明内容，首先对一些术语进行解释。

热力学系统：在热力学中，用作研究对象所选取特定的空间范围。本发明假设所有的初始检测窗口构成一个热力学系统，每个窗口之间，以及窗口与环境之间存在热传递。

热传导系数：衡量物体传导能量的速度。

本发明提供一种基于热扩散理论的窗口融合方法，包含下述步骤：

步骤1、定义每个初始检测窗口对应热力学系统中的一个位置，且所有位置的集合为V。

步骤2、定义系统中任意两个位置x,y之间的热传导系数b_xy：

b_xy=ol(x,y)×mean(sc(x),sc(y))

$\mathrm{ol}(x,y)=\frac{\mathrm{area}\left(x\right)\∩\mathrm{area}\left(y\right)}{\mathrm{area}\left(x\right)\∪\mathrm{area}\left(y\right)}$

其中，sc(x),sc(y)分别表示窗口x,y对应的响应分数，mean(·)表示计算均值，ol(·)表示两个窗口的相对重叠面积，area(·)表示窗口面积，∪表示并集，∩表示交集；算法表明两个窗口的响应分数越大，相对的重叠面积越大，则热传导系数也越大。

步骤3、利用步骤2定义的任意两个位置的热传导系数，建立稳定状态下离散形式的线性各向异性热扩散方程：

$T\left(x\right)=\frac{1}{q_x}(\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}T\left(y\right)+z_{x}T\left(g\right))$

$q_x=\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}+z_x$

公式中T(x),T(y)表示稳定状态下x,y位置处的温度值，q_x表示热扩散系数，空间的变量且不随温度发生变化，所以扩散方程满足线性各向异性扩散。z_x代表位置x处的损失热传导系数（即系统在x处与外部环境的热传导系数），z_x设置为一个定值，可根据实验与经验设定与调整。z_x越大，x处的热损耗也越大。T(g)为环境温度，设置为0，因此，将线性各向异性热扩散方程写为：

$T\left(x\right)=\frac{1}{q_x}\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}T\left(y\right)$

$q_x=\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}+z_x$

步骤4、构建优化问题。热扩散条件下，在系统中选取K个位置作为热源使整个系统的温度之和最大：

K为热源数，M表示热源位置s_i的集合，s_i∈M,i∈{1,2,…，K}，被选为热源的位置处温度值为该位置对应初始检测窗口的响应分数T(x=s_i)=sc(x)，V表示初始检测窗口对应位置的集合。为使步骤4构建的优化函数最大化，热源的位置需要与其他位置有较高的热传导系数，同时热源应尽量覆盖整个系统，因此选择的热源既要满足集中性又要满足多样性，这与窗融合工作是相同的。窗口融合也要满足集中性（利用一个窗来代表对同一目标的多次检测）和多样性（每个目标都有会有相对应的检测窗）的原则。

线性各向异性扩散条件下，全局温度之和最大化属于子模优化问题，可以利用贪婪算法获得近似最优解，具体步骤如下：

4-1、创建一个空集

且当系统中没有热源时温度之和为0，即

初始化i=1；

4-2、利用贪婪算法找到使整个系统升温最多的热源位置即

其中arg max表示求当T_new-T_old最大时s_i的值，

分别表示集合M为热源时系统的温度总和以及在集合M基础上增加s_i处为热源时系统的温度总和；

4-3、更新集合M，M=s_i∪M，更新i=i+1；

4-4、判断当前i是否等于K，如否，则返回步骤4-2，如是，则停止循环，进入步骤5；

步骤5、集合M包含了K个热源的位置，对应了K个检测窗口。为了不漏掉目标，往往选择K大于图像中实际目标的数量，所以仍然可能出现重复检测的情况。按照添加到集合M的顺序选择先进入集合M的初始检测窗口，并删除与已选择的窗口重合度大于50%的检测窗口，最后保留的检测窗口即为最终检测结果。

对于使整个系统的温度之和最大的K个热源位置的选取，本领域技术人员也可以通过现有其他的方式得到，确定了K个热源位置后，再通过非极大值抑制法来消除重复的初始检测窗口即可。

通过上述步骤，就能把目标检测子获得的初始检测窗融合为最终检测结果。

如图1所示，通过实施例方法对测试图片中的初始检测窗口进行基于热扩散理论的窗口融合，把初始检测窗当作系统中的一个位置，并建立线性各向异性热扩散条件下全局温度目标函数。最后利用贪婪算法获得温度目标函数的近似最优解，即窗融合结果。相比传统启发式融合方法，发明的方法全面考虑了初始检测窗的特性，且在不损失召回率的情况下能够显著提升系统的检测精度。

Claims (4)

1.一种基于热扩散理论的窗融合方法，其特征在于，包括以下步骤：

步骤1、将每个初始检测窗口对应热力学系统中的一个位置，所有初始检测窗口对应位置的集合为V；

步骤2、计算热力学系统中任意两个初始检测窗口对应位置x,y之间的热传导系数b_xy；

b_xy=ol(x,y)×mean(sc(x),sc(y))

$\mathrm{ol}(x,y)=\frac{\mathrm{area}\left(x\right)\∩\mathrm{area}\left(y\right)}{\mathrm{area}\left(x\right)\∪\mathrm{area}\left(y\right)}$

其中，sc(x),sc(y)分别表示窗口x,y对应的响应分数，mean(·)表示计算均值，ol(·)表示两个窗口的相对重叠面积，area(·)表示窗口面积，∪表示并集，∩表示交集；

步骤3、利用任意两个位置的热传导系数，建立稳定状态下离散形式的线性各向异性热扩散方程：

$T\left(x\right)=\frac{1}{q_x}\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}T\left(y\right)$

$q_x=\underset{y,x\≠y}{\mathrm{\Σ}}{b}_{\mathrm{xy}}+z_x$

其中T(x),T(y)分别表示稳定状态下任意两个位置x,y处的温度值，q_x表示热扩散系数，z_x代表位置x处的损失热传导系数的经验值；

步骤4、在热扩散条件下，在系统中选取K个位置作为热源使整个系统的温度之和最大

其中，M表示热源位置s_i的集合，s_i∈M,i∈{1,2,…，K}，被选为热源的位置处温度值为该位置对应初始检测窗口的响应分数T(x=s_i)=sc(x)，V表示初始检测窗口对应位置的集合；

步骤5、K个热源的位置确定后，对应的K个初始检测窗口确定，再通过非极大值抑制法来消除重复的初始检测窗口。

2.如权利要求1所述一种基于热扩散理论的窗融合方法，其特征在于，步骤4包括以下子步骤：

4-1、创建一个空集

且当系统中没有热源时温度之和为0，即

初始化i=1；

4-2、利用贪婪算法找到使整个系统升温最多的热源位置即

其中arg max表示求当T_new-T_old最大时s_i的值，

分别表示集合M为热源时系统的温度总和以及在集合M基础上增加s_i处为热源时系统的温度总和；

4-3、更新集合M，M=s_i∪M，更新i=i+1；

4-4、判断当前i是否等于K，如否，则返回步骤4-2，如是，则停止循环，进入步骤5。

3.如权利要求2所述一种基于热扩散理论的窗融合方法，其特征在于，步骤5具体为：按照添加到集合M的顺序选择先进入集合M的初始检测窗口，并删除与已选择的窗口重合度大于阈值的检测窗口，最后保留的检测窗口即为最终检测结果。

4.如权利要求3所述一种基于热扩散理论的窗融合方法，其特征在于，所述阈值为50%。

Images