CN101807300B - 一种目标碎片区域融合的方法及装置 - Google Patents

Abstract

本发明提供了一种目标碎片区域融合的方法，该方法包括：根据前一帧图像中的目标预测当前帧图像中的目标，将预测的目标的中心作为搜索框中心，并将预测的目标的矩形框向四周扩展以获得搜索框；根据所述搜索框，选择碎片候选区域；对所述碎片候选区域进行融合处理并获得融合区域，并计算融合区域的融合信息；通过分别计算融合区域与目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与目标的匹配系数C_i(i＝1，K，N)，进行融合区域可靠性判断，如果C_merge＞C_i(i＝1，K，N)，则认为融合区域可靠，进入步骤105，否则结束本流程；和对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。该方法可以有效地减少目标跟踪中的丢失。

Description

一种目标碎片区域融合的方法及装置

技术领域

本发明涉及目标跟踪中的目标碎片区域融合的方法及装置，属于图像处理、视频监控领域。

背景技术

在目标的跟踪过程中，当场景中存在目标中部分像素点的灰度值与背景相近或者场景中存在较快的光影变化时，常会检测到不完整的前景区域，即表现为1个真实目标的检测区域碎裂成2块或者多块碎片区域。对于基于块匹配的跟踪方法/装置，这种碎裂常会造成跟踪的无法延续，进而在使用预测信息来跟踪目标时，会产生“目标跟踪丢失”的现象。

综上所述，目前迫切需要提出一种能简单、有效地进行目标碎片区域融合的方法及装置。

发明内容

本发明的主要目的在于解决目标跟踪中的目标的碎裂问题，实现目标碎片区域的融合。

为达到上述目的，按照本发明的第一个方面，提供了一种目标碎片区域融合的方法，所述方法包括：

步骤101：根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框；

步骤102：根据所述搜索框，选择碎片候选区域；

步骤103：对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息；

步骤104：通过分别计算融合区域与当前帧目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与当前帧目标的匹配系数C_i(i＝1，…，N)，进行融合区域可靠性判断；如果C_merge＞C_i(i＝1，…，N)，则认为融合区域可靠，进入步骤105，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数；和

步骤105：对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。

其中，所述搜索框根据目标的大小、不同场景的需求，按照下述公式将当前帧目标的矩形框向四周扩展而获得：

$\left\{\begin{array}{c}{W}_{\mathrm{search}}=W_{t\arg \mathrm{et}}*(1+2*a)\\ H_{\mathrm{search}}=H_{t\arg \mathrm{et}}*(1+2*a)\end{array}\right.$

其中，W_target、H_target分别表示当前帧目标的矩形框的宽度和高度，W_search、H_search分别表示搜索框的宽度和高度，a为缩放因子，-0.25≤a≤0.5。

优选地，所述步骤102中选择碎片候选区域的步骤包括：

步骤1021：根据搜索框，从图像中选择满足一定的面积条件的前景区域为该搜索框中的候选区域；

步骤1022：计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域；

步骤1023：统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与目标的面积的差值，计算该差值与目标的面积的比值，若该比值在设定的范围内，则进入步骤1024，否则结束本流程，其中该设定的范围为[-T4，T4]，0.4≤T4≤0.6；和

步骤1024：统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域，其中，T5为3、4或5。

优选地，步骤1021中满足一定的面积条件的前景区域是指同时满足以下条件的前景区域：(1)前景区域与搜索框的交叠部分的面积与该前景区域的面积的比值大于第一阈值T1；(2)前景区域内前景面积与搜索框对应的目标面积的比值不小于第二阈值T2且小于1；其中0.75≤T1≤0.85，0.05≤T2≤0.2。

优选地，步骤1022中不符合一定的距离条件的候选区域是指最近距离大于第三阈值T3的候选区域，其中T3为8-12个像素。

优选地，所述步骤103包括以下步骤：

步骤1031：搜索所述碎片候选区域的最左端和最右端的x坐标值、以及最上端和最下端的y坐标值，以最左端和最右端的x坐标值为纵线，以最上端和最下端的y坐标值为横线，得到一个矩形框，该矩形框所围成的区域为融合区域；

步骤1032：计算并获得所述融合区域的融合信息，所述融合信息包括融合区域的宽度、高度、目标面积、直方图及质心坐标，其中：

融合区域的宽度的计算公式为：|X_right-X_left|，X_left、X_right分别表示融合区域的矩形框的最左端和最右端的x坐标值；

融合区域的高度的计算公式为：|Y_down-Y_up|，Y_up、Y_down分别表示融合区域的矩形框的最上端和最下端的y坐标值；

通过统计融合区域内前景点的个数得到融合区域的目标面积；

分别计算融合区域内所有前景点的x坐标、y坐标的平均值

得到融合区域的质心坐标

优选地，在所述步骤104中，所述匹配系数C_merge和匹配系数C_i(i＝1，…，N)分别通过如下公式得到：

C＝α·C_dist+β·C_hist+γ·C_area

其中，C_dist为距离匹配系数，C_hist为直方图匹配系数，C_area为面积匹配系数，α、β、γ分别为距离匹配权值、直方图匹配权值、面积匹配权值，α、β、γ按照实际场景需求进行设定，且0＜α＜1，0＜β＜1，0＜γ＜1，α+β+γ＝1。

其中，所述距离匹配系数C_dist的计算公式如下：

$C_{\mathrm{dist}}=1-\frac{\mathrm{dist}}{\max \_\mathrm{dist}}$

$\mathrm{dist}=\sqrt{{(x_{\mathrm{region}}-x_{t\arg \mathrm{et}})}^2+{(y_{\mathrm{region}}-y_{t\arg \mathrm{et}})}^2}$

$\max \_\mathrm{dist}=\frac{\min (\mathrm{width},\mathrm{height})}{1-\mathrm{coef}}$

其中，x_target、y_target分别为预测的目标的中心的横坐标和纵坐标，x_region、y_region分别为融合区域或者各碎片候选区域的中心的横坐标和纵坐标，width、height分别为目标的宽度和高度，coef是最小匹配系数。

其中，所述直方图匹配系数C_hist的计算公式如下：

$C_{\mathrm{hist}}=\frac{\underset{k}{\mathrm{\Σ}}\sqrt{R.\mathrm{hist}\left(k\right)*T.\mathrm{hist}\left(k\right)}}{\sqrt{(\underset{k}{\mathrm{\Σ}}R.\mathrm{hist}\left(k\right))*(\underset{k}{\mathrm{\Σ}}T.\mathrm{hist}\left(k\right))}}$

其中，R.hist、T.hist分别表示融合区域或者各碎片候选区域的直方图和目标的直方图。

其中，所述面积匹配系数C_area的计算公式如下：

$C_{\mathrm{area}}=\frac{\mathrm{Min}(R.\mathrm{area},T.\mathrm{area})}{\mathrm{Max}(R.\mathrm{area},T.\mathrm{area})}$

其中，R.area、T.area分别表示区域(融合区域或者各碎片候选区域)的面积和目标的面积，Max(·，·)、Min(·，·)分别表示取最大值、最小值函数。

此外，本发明还提供了一种目标碎片区域融合的装置，所述装置包括如下：

搜索框建立单元，用于根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框；

碎片候选区域获取单元，用于根据所述搜索框，选择碎片候选区域；

融合区域获取单元，用于对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息；

融合区域可靠性判断单元，用于分别计算融合区域与当前帧目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与当前帧目标的匹配系数C_i(i＝1，…，N)，进行融合区域可靠性判断；如果C_merge＞C_i(i＝1，…，N)，则认为融合区域可靠，转入融合信息更新单元，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数；和

融合信息更新单元，用于对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。

优选地，所述碎片候选区域获取单元包括：

候选区域选取模块，用于根据搜索框，从图像中选择满足一定的面积条件的前景区域为该搜索框中的候选区域；

候选区域过滤模块，用于计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域；

候选区域判断模块，用于统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与目标的面积的差值，计算该差值与目标的面积的比值，若该比值在设定的范围内，则转入碎片候选区域选取模块，否则结束本流程，其中，该设定的范围为[-T4，T4]，0.4≤T4≤0.6；和

碎片候选区域选取模块，用于统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域，其中，T5为3、4或5。

与现有技术相比，本发明所提供的目标碎片区域融合的方法有效地解决了目标跟踪中出现的同一目标被碎裂成多个碎片区域的问题，实现了属于同一目标的碎片区域的融合，从而可以有效地减少目标跟踪中的丢失。

附图说明

图1示出了按照本发明的目标碎片区域融合的方法的流程图；

图2示出了按照本发明的建立搜索框的示意图；

图3示出了按照本发明的步骤102的流程图；

图4示出了按照本发明的碎片候选区域选择的示意图；

图5示出了按照本发明的目标碎片区域融合的装置的框架图；

图6示出了按照本发明的碎片候选区域获取单元的框架图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

本发明主要解决目标跟踪中出现的同一目标被碎裂成多个碎片区域的问题，实现了属于同一目标的碎片区域的融合，可用于各种智能视频监控中，如人群检测、动目标检测等。

在本发明中，所述“目标”是连续多帧匹配形成的检测序列，例如通过跟踪器连续多帧匹配形成的。所述“区域”是指前景区域，即检测器检测出的前景所在的外接矩形区域。所述“前景”是指检测到的当前帧的前景团块，例如通过检测器检测到的。本发明是基于目标检测的基础上，主要是对检测的目标、前景进行进一步的后期处理，因此目标检测不是本发明的发明点，这里不再描述，具体可以参考现有技术。

如图1所示，图1示出了按照本发明的目标碎片区域融合的方法的流程图。由图1可以看出，本发明的目标碎片区域融合的方法包括步骤101、步骤102、步骤103、步骤104、步骤105。

步骤101：根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框。

步骤102：根据搜索框，选择碎片候选区域。

步骤103：对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息。

步骤104：通过分别计算融合区域与当前帧目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与当前帧目标的匹配系数C_i(i＝1，…，N)，进行融合区域可靠性判断；如果C_merge＞C_i(i＝1，…，N)，则认为融合区域可靠，进入步骤105，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数。

步骤105：对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。该碎片候选区域的信息即该碎片候选区域对应的位置信息，包括质心坐标、宽度和高度。

其中，步骤101可以通过以下方法实现：在将目标的矩形框向四周扩展时，由于扩展的大小根据目标的大小、不同场景的需求而有所变化，因此，在发明中以缩放因子a来控制矩形框的扩展量。即，搜索框根据目标的大小、不同场景的需求，按照下述公式将目标的矩形框向四周扩展而获得：

$\left\{\begin{array}{c}{W}_{\mathrm{search}}=W_{t\arg \mathrm{et}}*(1+2*a)\\ H_{\mathrm{search}}=H_{t\arg \mathrm{et}}*(1+2*a)\end{array}\right.$

其中，W_target、H_target分别表示目标的矩形框的宽度和高度，W_search、H_search分别表示搜索框的宽度和高度，a的取值范围为[-0.25，0.5]，即-0.25≤a≤0.5。

如图2所示，图2示出了按照本发明的建立搜索框的示意图。由图2可以看出，图2中有两个实线的矩形框，其中左边的一个实线矩形框为当前帧图像中目标的矩形框，左边实线矩形框中白色团块即为前一帧图像中的目标。右边的一个实线矩形框为预测的目标在当前帧图像中的矩形框，右边实线矩形框中白色圆点为预测的目标的中心，以预测的目标的中心为搜索框中心，将右边实线矩形框向四周扩展，可以获得搜索框，即图2中虚线矩形框。

如图3所示，图3示出了按照本发明的步骤102的流程图。由图3可以看出，按照本发明的步骤102可以包括以下步骤：步骤1021、步骤1022、步骤1023、和步骤1024。

步骤1021，根据搜索框，从图像中选择满足一定的面积条件的前景区域(即前景的外接矩形)为该搜索框中的候选区域。其中，满足一定的面积条件的前景区域是指同时满足以下条件的区域：(1)前景区域与搜索框的交叠部分的面积与该前景区域的面积的比值大于第一阈值T1；(2)前景区域内前景面积与搜索框对应的目标面积的比值不小于第二阈值T2且小于1。其中，0.75≤T1≤0.85，优选地T1＝0.8；0.05≤T2≤0.2，优选地T2＝0.1。前景面积为前景团块的面积，可以通过统计前景点的像素个数而获得的，例如前景区域内有30个前景点，则认为该前景区域的目标面积为30。

步骤1022，计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域。其中，不符合一定的距离条件的候选区域是指最近距离大于第三阈值T3的候选区域。T3为8-12个像素，优选为10个像素。

步骤1023，统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与目标的面积的差值，计算该差值与目标的面积的比值，若该比值在设定的范围内，则进入步骤1024，否则结束本流程。其中，设定的范围为[-T4，T4]，0.4≤T4≤0.6，优选地T4＝0.5。

步骤1024，统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域。其中，T5为3、4或者5，优选为4。

如图4所示，图4示出了按照本发明的碎片候选区域选择的示意图。由图4可以看出，虚线矩形框为搜索框，由于前景c所在区域不能满足步骤1021中的条件(2)，前景d所在区域不能满足步骤1022中的距离条件，因此前景c和d所在区域不能选为碎片候选区域，而剩下前景a和b所在区域被选为碎片候选区域。

本发明的步骤103可以包括以下步骤：步骤1031和步骤1032。

步骤1031：对步骤1024选择的碎片候选区域进行融合处理，以获取融合区域。具体的说，搜索所有的碎片候选区域的最左端和最右端的x坐标值、以及最上端和最下端的y坐标值，以最左端和最右端的x坐标值为纵线，以最上端和最下端的y坐标值为横线，可以得到一个矩形框，该矩形框所围成的区域即为融合区域。

步骤1032：计算并获得所述融合区域的融合信息，所述融合信息包括融合区域的宽度、高度、目标面积、直方图及质心坐标。其中，融合区域的宽度的计算公式为：|X_right-X_left|，X_left、X_right分别表示融合区域的矩形框的最左端和最右端的x坐标值；融合区域的高度的计算公式为：|Y_down-Y_up|，Y_up、Y_down分别表示融合区域的矩形框的最上端和最下端的y坐标值。通过统计融合区域内前景点的个数可以得到融合区域的目标面积，即融合区域的目标面积是根据前景点的个数来统计的，例如融合区域内有30个前景点，则认为该融合区域的目标面积为30。简言之，前景点就是属于前景的点，前景是通过运动目标检测器获得的，因为目标检测不是本发明的发明点，所以在此不再具体阐述。融合区域的直方图的计算属于现有技术，通常是统计直方图。对某一物理量(区域或者目标)在相同条件下做n次重复测量，得到一系列测量值，找出它的最大值和最小值，然后确定一个区间，使其包含全部测量数据，将该区间分成若干小区间，统计测量结果出现在各小区间的频数M，以测量数据为横坐标，以频数M为纵坐标，划出各小区间及其对应的频数高度，则可得到一个矩形图，即统计直方图。分别计算融合区域内所有前景点的x坐标、y坐标的平均值

可以得到融合区域的质心坐标

步骤104可以通过以下方法实现：计算融合区域与目标的匹配系数C_merge和组成融合区域的各碎片候选区域与目标的匹配系数C_i(i＝1，…，N)(其中i表示第i个碎片候选区域，N表示碎片候选区域的个数)，如果C_merge＞C_i(i＝1，…，N)，则认为融合区域可靠，进入步骤105，否则认为融合区域不可靠，结束本流程。

匹配系数C(即融合区域与目标的匹配系数C_merge或者碎片候选区域与目标的匹配系数C_i(i＝1，…，N))的计算公式如下：

C＝α·C_dist+β·C_hist+γ·C_area

其中，C_dist为距离匹配系数，C_hist为直方图匹配系数，C_area为面积匹配系数。α、β、γ分别为距离匹配权值、直方图匹配权值、面积匹配权值。在本发明中，α、β、γ可以按照实际场景需求进行设定，这三者的值都在0～1之间，且满足三者的值的和为1，即0＜α＜1，0＜β＜1，0＜γ＜1，α+β+γ＝1。例如当场景为仓库时，α、β、γ可以分别设定为0.5、0.2和0.3。

距离匹配系数C_dist的计算公式如下：

$C_{\mathrm{dist}}=1-\frac{\mathrm{dist}}{\max \_\mathrm{dist}}\∈\left[\mathrm{0,1}\right]$

$\mathrm{dist}=\sqrt{{(x_{\mathrm{region}}-x_{t\arg \mathrm{et}})}^2+{(y_{\mathrm{region}}-y_{t\arg \mathrm{et}})}^2}$

$\max \_\mathrm{dist}=\frac{\min (\mathrm{width},\mathrm{height})}{1-\mathrm{coef}}$

其中，x_target、y_target分别为预测的目标的中心(即搜索框中心)的横坐标和纵坐标；x_region、y_region分别为区域(融合区域或者各碎片候选区域)的中心的横坐标和纵坐标；width、height分别为目标的宽度和高度，目标的宽度width的计算公式为：X’_right-X’_left，X’_right、X’_left分别表示目标的矩形框的最左端和最右端的x坐标值；目标的高度height的计算公式为：Y’_up-Y’_down，Y’_up、Y’_down分别表示目标的矩形框的最上端和最下端的y坐标值。coef是最小匹配系数，在本发明中，coef可以按照实际场景需求进行设定，例如当场景为仓库时，coef可以设定为0.6。

直方图匹配系数C_hist的计算公式如下：

$C_{\mathrm{hist}}=\frac{\underset{k}{\mathrm{\Σ}}\sqrt{R.\mathrm{hist}\left(k\right)*T.\mathrm{hist}\left(k\right)}}{\sqrt{(\underset{k}{\mathrm{\Σ}}R.\mathrm{hist}\left(k\right))*(\underset{k}{\mathrm{\Σ}}T.\mathrm{hist}\left(k\right))}}\∈\left[\mathrm{0,1}\right]$

其中，R.hist、T.hist分别表示区域(融合区域或者各碎片候选区域)的直方图和目标的直方图。其中，直方图的计算属于现有技术，例如可以采用在步骤1032中描述的方法(统计直方图)。

面积匹配系数C_area的计算公式如下：

$C_{\mathrm{area}}=\frac{\mathrm{Min}(R.\mathrm{area},T.\mathrm{area})}{\mathrm{Max}(R.\mathrm{area},T.\mathrm{area})}\∈\left[\mathrm{0,1}\right]$

其中，R.area、T.area分别表示区域(融合区域或者各碎片候选区域)的面积和目标的面积。其中，区域(融合区域或者各碎片候选区域)的面积是前景的外接矩形的面积，即前景的外接矩形的宽度×前景的外接矩形的高度。目标的面积是通过统计融合区域内前景点的个数获得的，例如融合区域内有30个前景点，则认为该目标的面积为30。Max(·，·)、Min(·，·)分别表示取最大值、最小值函数。

在步骤105中，对可靠的融合区域进行数据更新，输入融合信息，同时删除组成该融合区域的碎片信息。

对应于本发明的目标碎片区域融合的方法，本发明还提供了目标碎片区域融合的装置。如图5所示，图5示出了按照本发明的目标碎片区域融合的装置的框架图。由图5可以看出，按照本发明的目标碎片区域融合的装置包括搜索框建立单元1、碎片候选区域获取单元2、融合区域获取单元3、融合区域可靠性判断单元4、和融合信息更新单元5。

搜索框建立单元1，用于根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框。

碎片候选区域获取单元2，用于根据搜索框，选择碎片候选区域。

融合区域获取单元3，用于对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息。

融合区域可靠性判断单元4，用于分别计算融合区域与当前帧目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与当前帧目标的匹配系数C_i(i＝1，…，N)，进行融合区域可靠性判断；如果C_merge＞C_i(i＝1，…，N)，则认为融合区域可靠，转入融合信息更新单元5，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数。

融合信息更新单元5，用于对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。

如图6所示，图6示出了按照本发明的碎片候选区域获取单元的框架图。由图6可以看出，按照本发明的碎片候选区域获取单元2包括候选区域选取模块21、候选区域过滤模块22、候选区域判断模块23、和碎片候选区域选取模块24。

候选区域选取模块21，用于根据搜索框，从图像中选择满足一定的面积条件的前景区域为该搜索框中的候选区域。

候选区域过滤模块22，用于计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域。

候选区域判断模块23，用于统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与当前帧目标的面积的差值，计算该差值与当前帧目标的面积的比值，若该比值在设定的范围内，则转入碎片候选区域选取模块24，否则结束本流程，其中，该设定的范围为[-T4，T4]，0.4≤T4≤0.6。

碎片候选区域选取模块24，用于统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域，其中，T5可以选为3、4或5。

在本发明的一个实施例中以仓库为场景，其中，第一阈值T1＝0.8，第二阈值T2＝0.1，第三阈值T3＝10个像素，第四阈值T4＝0.5，第五阈值T5＝4，a＝0.1，α＝0.5、β＝0.2、γ＝0.3，coef＝0.6。

与现有技术相比，本发明所提供的目标碎片区域融合的方法有效地解决了目标跟踪中出现的同一目标被碎裂成多个碎片区域的问题，实现了属于同一目标的碎片区域的融合，从而可以有效地减少目标跟踪中的丢失。

需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换、或改进。本发明的保护范围以所附权利要求书为准。

Claims (11)

1.一种目标碎片区域融合的方法，其特征在于，所述方法包括以下步骤：

步骤101：根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框；

步骤102：根据所述搜索框，选择碎片候选区域；

步骤103：对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息；

步骤104：通过分别计算融合区域与当前帧目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与当前帧目标的匹配系数G_i，i∈[1，N]，进行融合区域可靠性判断；如果C_merge＞C_i，i∈[1，N]，则认为融合区域可靠，进入步骤105，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数；和

步骤105：对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。

2.根据权利要求1所述的方法，其特征在于，所述搜索框根据目标的大小、不同场景的需求，按照下述公式将当前帧目标的矩形框向四周扩展而获得：

$\left\{\begin{array}{c}{W}_{\mathrm{search}}=W_{t\arg \mathrm{et}}*(1+2*a)\\ H_{\mathrm{search}}=H_{t\arg \mathrm{et}}*(1+2*a)\end{array}\right.$

其中，W_target、H_target分别表示当前帧目标的矩形框的宽度和高度，W_search、H_search分别表示搜索框的宽度和高度，a为缩放因子，-0.25≤a≤0.5。

3.根据权利要求1所述的方法，其中所述步骤102中选择碎片候选区域的步骤包括：

步骤1021：根据搜索框，从图像中选择满足一定的面积条件的前景区域为该搜索框中的候选区域；

步骤1022：计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域；

步骤1023：统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与当前帧目标的面积的差值，计算该差值与当前帧目标的面积的比值，若该比值在设定的范围内，则进入步骤1024，否则结束本流程，其中，该设定的范围为[-T4，T4]，0.4≤T4≤0.6；

步骤1024：统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域，其中，T5为3、4或5。

4.根据权利要求3所述的方法，其特征在于，步骤1021中满足一定的面积条件的前景区域是指同时满足以下条件的前景区域：

(1)前景区域与搜索框的交叠部分的面积与该前景区域的面积的比值大于第一阈值T1；

(2)前景区域内前景面积与搜索框对应的目标面积的比值不小于第二阈值T2且小于1；

其中0.75≤T1≤0.85，0.05≤T2≤0.2。

5.根据权利要求3所述的方法，其特征在于，步骤1022中不符合一定的距离条件的候选区域是指最近距离大于第三阈值T3的候选区域，其中T3为8-12个像素。

6.根据权利要求1所述的方法，其特征在于，所述步骤103包括以下步骤：

步骤1031：搜索所述碎片候选区域的最左端和最右端的x坐标值、以及最上端和最下端的y坐标值，以最左端和最右端的x坐标值为纵线，以最上端和最下端的y坐标值为横线，得到一个矩形框，该矩形框所围成的区域为融合区域；

步骤1032：计算并获得所述融合区域的融合信息，所述融合信息包括融合区域的宽度、高度、目标面积、直方图及质心坐标，其中：

融合区域的宽度的计算公式为：|X_right-X_left|，X_left、X_right分别表示融合区域的矩形框的最左端和最右端的x坐标值；

融合区域的高度的计算公式为：|Y_down-Y_up|，Y_up、Y_down分别表示融合区域的矩形框的最上端和最下端的y坐标值；

通过统计融合区域内前景点的个数得到融合区域的目标面积；

融合区域的直方图通过计算融合区域的直方图得到；

分别计算融合区域内所有前景点的x坐标、y坐标的平均值

得到融合区域的质心坐标

7.根据权利要求1所述的方法，其特征在于，在所述步骤104中，所述匹配系数C_merge和匹配系数C_i，i∈[1，N]，分别通过如下公式得到：

C＝α·C_dist+β·X_hist+γ·C_area

其中，C_dist为距离匹配系数，C_hist为直方图匹配系数，C_area为面积匹配系数，α、β、γ分别为距离匹配权值、直方图匹配权值、面积匹配权值，α、β、γ按照实际场景需求进行设定，且0＜α＜1，0＜β＜1，0＜γ＜1，α+β+γ＝1。

8.根据权利要求7所述的方法，其特征在于，所述距离匹配系数C_dist的计算公式如下：

$C_{\mathrm{dist}}=1-\frac{\mathrm{dist}}{\max \_\mathrm{dist}}$

$\mathrm{dist}=\sqrt{{(x_{\mathrm{region}}-x_{t\arg \mathrm{et}})}^2+{(y_{\mathrm{region}}-y_{t\arg \mathrm{et}})}^2}$

$\max \_\mathrm{dist}=\frac{\min (\mathrm{width},\mathrm{height})}{1-\mathrm{coef}}$

其中，x_target、y_target分别为预测的目标的中心的横坐标和纵坐标，x_region、y_region分别为融合区域或者各碎片候选区域的中心的横坐标和纵坐标，width、height分别为目标的宽度和高度，coef是最小匹配系数。

9.根据权利要求7所述的方法，其特征在于，所述面积匹配系数C_area的计算公式如下：

$C_{\mathrm{area}}=\frac{\mathrm{Min}(R.\mathrm{area},T.\mathrm{area})}{\mathrm{Max}(R.\mathrm{area},T.\mathrm{area})}$

其中，R.area、T.area分别表示区域的面积和目标的面积，区域是指融合区域或者各碎片候选区域，Max(·，·)、Min(·，·)分别表示取最大值、最小值函数。

10.一种目标碎片区域融合的装置，所述装置包括：

搜索框建立单元，用于根据前一帧图像中的目标预测当前帧图像中的当前帧目标，将所述当前帧目标的中心作为搜索框中心，并将所述当前帧目标的矩形框向四周扩展以获得搜索框；

碎片候选区域获取单元，用于根据所述搜索框，选择碎片候选区域；

融合区域获取单元，用于对所述碎片候选区域进行融合处理并获得融合区域，计算并获得融合区域的融合信息；

融合区域可靠性判断单元，用于分别计算融合区域与目标的匹配系数C_merge、以及组成融合区域的各碎片候选区域与目标的匹配系数C_i，i∈[1，N]，进行融合区域可靠性判断；如果C_merge＞C_i，i∈[1，N]，则认为融合区域可靠，转入融合信息更新单元，否则认为融合区域不可靠，结束本流程，其中，i表示第i个碎片候选区域，N表示碎片候选区域的个数；和

融合信息更新单元，用于对可靠的融合区域进行数据更新，输入融合区域的融合信息，同时删除组成该融合区域的碎片候选区域的信息。

11.根据权利要求10所述的装置，其特征在于，所述碎片候选区域获取单元包括：

候选区域选取模块，用于根据搜索框，从图像中选择满足一定的面积条件的前景区域为该搜索框中的候选区域；

候选区域过滤模块，用于计算每个所述候选区域的矩形框边缘与其他候选区域的矩形框边缘的最近距离，根据最近距离去除不符合一定的距离条件的候选区域；

候选区域判断模块，用于统计符合一定的距离条件的候选区域内前景面积之和面积，计算该前景面积之和面积和与当前帧目标的面积的差值，计算该差值与当前帧目标的面积的比值，若该比值在设定的范围内，则转入碎片候选区域选取模块，否则结束本流程，其中，该设定的范围为[-T4，T4]，0.4≤T4≤0.6；和

碎片候选区域选取模块，用于统计符合一定的距离条件的候选区域的个数，若该个数大于第五阈值T5，则对候选区域的前景面积按由大到小排序，选择前景面积最大的前T5个候选区域作为碎片候选区域，否则将所有的候选区域作为碎片候选区域，其中，T5为3、4或5。

Images