CN106846373B - 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法 - Google Patents

Abstract

一种融合目标外观模型和博弈论的视频目标互遮挡处理方法，包括以下步骤：1)遮挡区域预测；2)遮挡区域确定；3)构建目标外观模型；4)基于博弈论的遮挡目标跟踪：4.1)构建遮挡区域目标函数；4.2)构建多人非合作博弈；4.3)求取纳什均衡。本发明提出一种更加鲁棒的目标外观模型，此模型同时考虑目标外观的空间约束以及抗干扰因素，并结合博弈论方法来解决遮挡区域所有目标的最优搜索匹配问题，从而提高视频目标跟踪的准确度和精度。

Description

一种融合目标外观模型和博弈论的视频目标互遮挡处理方法

技术领域

本发明属于视频目标跟踪技术领域，尤其是涉及到多视频目标跟踪方法和遮挡处理方法。

背景技术

多运动目标视频跟踪是智能视频监控系统的关键技术之一。针对视频序列中的每一帧，系统应能自动准确地获取各个运动目标在图像中的位置、速度和尺寸。当前，已有研究者提出了众多有效的多目标视频跟踪方法。然而，如何有效解决目标与测量值间的数据关联问题以及目标之间的相互遮挡问题仍然是当前研究的重点和难点。

与传统的目标跟踪方法相比，基于GM-PHD滤波器的方法可有效地避免复杂的数据关联过程。然而，现有基于GM-PHD滤波器的方法不能有效解决目标间的相互遮挡问题，从而导致遮挡区域目标跟踪失败。现有目标遮挡处理方法大体可分为三类：基于蒙特卡罗的概率方法、基于多相机融合的方法以及基于目标外观模型的确定性方法。相比于前面两类方法，基于目标外观模型的确定性方法通用性好、计算复杂度低、信息量大。现有目标外观模型可分为基于模板、基于核密度以及基于颜色直方图三种。然而，现有目标外观模型并不适用于当遮挡目标具有相似颜色分布的情况，且并未考虑遮挡目标间的相互干扰问题，从而影响遮挡区域的跟踪精度。此外，现有基于目标外观模型的遮挡处理方法无法有效解决遮挡区域所有目标的最优匹配搜索问题，从而导致个别遮挡目标准确跟踪而其他目标跟踪失败或跟踪精度低。

发明内容

为了克服现有基于目标外观模型的互遮挡处理方法无法解决相似目标遮挡以及其他遮挡目标的干扰问题的不足，为确保遮挡区域的目标全部都能准确跟踪，本发明提出一种更加鲁棒的目标外观模型，此模型同时考虑目标外观的空间约束以及抗干扰因素，并结合博弈论方法来解决遮挡区域所有目标的最优搜索匹配问题，从而提高视频目标跟踪的准确度和精度。

本发明解决其技术问题所采用的技术方案是：

一种融合目标外观模型和博弈论的视频目标互遮挡处理方法，所述方法包括以下步骤：

1)遮挡区域预测，过程如下：

以t-1时刻目标预测位置或为圆心，构建目标边界框的外接圆C_i或C_j，其半径为或其中，或和或分别为预测目标状态或的位置和尺寸，||·||为欧几里德范数，当且仅当i≠j时，如式(1)所示，则目标i和j所在区域被预测为候选遮挡区域，反之，则认为无遮挡发生：

2)遮挡区域确定，过程如下：

假设t时刻候选遮挡区域中存在一测量值(n＝1,…,N_m,t)满足式(2)，则此测量值即被确定为遮挡区域：

式中，ε为尺度因子，由于目标的运动，相邻两帧间目标的尺寸可能会有轻微变化，虽然此变化相对于遮挡前后目标尺寸的变化会小很多，但为了更加准确地确定出目标遮挡区域，利用尺度因子ε(ε＝1.2)来减小由于目标自身尺寸变化引起的误判；

3)构建目标外观模型，过程如下：

利用高斯混合模型来表征目标i的颜色分布(外观模型)，其中，表示混合模型中第k个高斯元素的权值、均值和协方差，k＝1,…,K，K为混合模型中高斯元素的数量，遮挡发生后候选目标外观模型pⁱ与遮挡发生前目标外观模型qⁱ之间的相似度P_s(pⁱ,qⁱ)定义为：

式中，Ψ₁＝Ω_i-Ω_i∩Ω_j，Ψ₂＝Ω_i∩Ω_j，表示pⁱ中目标支持域Ω_i中处于lⁱ位置的像素的颜色值， N_i为Ω_i中前景像素的数量；

4)基于博弈论的遮挡目标跟踪，过程如下：

4.1)构建遮挡区域目标函数，过程如下：

当遮挡发生时，可得遮挡区域的目标测量值遮挡区域内的目标数量及其身份，给定目标融合后的前景以及目标预测状态值通过最大化测量值与前景间的相似概率来获取最优解

由贝叶斯理论得：

式中

4.2)构建多人非合作博弈，过程如下：

非合作博弈是指局中人各自进行自主的决策，最终使得每个局中人的策略是对其他局中人策略的最优反应，此策略组合就称作纳什均衡(或非合作博弈均衡)；当遮挡发生时，遮挡区域里的各个目标测量值作为局中人相互博弈以最大化各自与前景间的相似概率；假设目标在遮挡过程中尺寸保持不变，则测量值的最优估计简化为其位置的最优估计，构建多人非合作博弈如下：

局中人：遮挡区域中目标的测量值

策略：局中人的运动，即局中人的位置

收益：其中

由上知，式(5)的最优解即为求取所构建博弈的纳什均衡；

4.3)求取纳什均衡，过程如下：

给定其他局中人的最优策略当前局中人i的最优策略为：

式中，表示给定其他目标最优测量值的条件下，当前目标i的测量值与前景间的相似概率，此相似概率等同于遮挡前后目标外观模型的相似度；

其中：

令关于的导数为零，则有：

式中，N_i'为支持域Ψ₁中前景像素的数量。由式(9)可求得的解，此解即为局中人i的最优策略

局中人i的初始策略(初始状态位置)选为相应目标的预测状态位置并作为博弈开始的最优策略；给定其他局中人的初始策略局中人i的最优策略由式(10)求得，不断迭代更新直至博弈达到式(11)所示平衡终止条件：

max(Δl)＜T_NE (11)

式中，表示相邻两迭代周期最优策略集的差，为初始策略集，T_NE为给定阈值，T_NE值越小，所需迭代时间越多，同时所得结果也越精确，为权衡效率和精度，本发明选取T_NE＝1像素。

本发明的有益效果主要表现在：针对多目标视频跟踪中的目标相互遮挡问题，提出了一种基于目标外观模型和博弈论的方法。针对遮挡区域目标外观模型，加入了空间位置约束和抗干扰模型，可更加准确地区别出相似目标，并有效降低遮挡区域其他目标的干扰；通过构建零和非合作博弈来搜索遮挡区域中与遮挡前目标外观模型相似度最大的目标测量值，并以纳什均衡的测量值作为遮挡区域中各个目标的最佳测量值，此举可准确有效地确定出遮挡区域所有目标的状态值，从而提高互遮挡目标跟踪的准确度和精度。

附图说明

图1是遮挡区域预测和确定示意图，其中，(a)表示遮挡预测，(b)表示无遮挡发生，(c)表示有遮挡发生及遮挡区域确定。

图2是目标前景像素分布及其支持阈示意图。

图3是目标遮挡处理分析示意图。

图4是本发明所提方法的一种互遮挡跟踪结果图，其中，(a)表示目标检测结果，(b)表示基于GM-PHD滤波器的方法跟踪结果，(c)表示本发明跟踪结果。

图5是本发明所提方法的另一种互遮挡跟踪结果图，其中，(a)表示目标检测结果，(b)表示基于GM-PHD滤波器的方法跟踪结果，(c)表示本发明跟踪结果。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种融合目标外观模型和博弈论的视频目标互遮挡处理方法，包括以下步骤：

1)遮挡区域预测，过程如下：

如图1(a)所示，以t-1时刻目标预测位置(或)为圆心，构建目标边界框的外接圆C_i(或C_j)，其半径为(或其中，(或)和(或分别为预测目标状态(或)的位置和尺寸，||·||为欧几里德范数(下文相同)。当且仅当时，如式(1)所示，则目标i和j所在区域被预测为候选遮挡区域，反之，则认为无遮挡发生：

2)遮挡区域确定，过程如下：

在候选遮挡区域中，目标之间可以无遮挡发生(如图1(b)所示)或有遮挡发生(如图1(c)所示)；若有遮挡发生，目标融合后的面积必定大于遮挡发生前的任一目标面积；因此，可依此来进一步确定遮挡区域，假设t时刻候选遮挡区域中存在一测量值(n＝1,…,N_m,t)满足式(2)，则此测量值即被确定为遮挡区域：

式中，ε为尺度因子。由于目标的运动，相邻两帧间目标的尺寸可能会有轻微变化，虽然此变化相对于遮挡前后目标尺寸的变化会小很多，但为了更加准确地确定出目标遮挡区域，本发明利用尺度因子ε(ε＝1.2)来减小由于目标自身尺寸变化引起的误判；

3)构建目标外观模型，过程如下：

如图2所示，利用高斯混合模型来表征目标i的颜色分布(外观模型)，其中表示混合模型中第k个高斯元素的权值、均值和协方差，k＝1,…,K，K为混合模型中高斯元素的数量，遮挡发生后候选目标外观模型pⁱ与遮挡发生前目标外观模型qⁱ之间的相似度P_s(pⁱ,qⁱ)定义为：

式中，Ψ₁＝Ω_i-Ω_i∩Ω_j，Ψ₂＝Ω_i∩Ω_j。表示pⁱ中目标支持域Ω_i中处于lⁱ位置的像素的颜色值(如图2所示)， N_i为Ω_i中前景像素的数量；

4)基于博弈论的遮挡目标跟踪，过程如下：

4.1)构建遮挡区域目标函数，过程如下：

当遮挡发生时，得遮挡区域的目标测量值遮挡区域内的目标数量及其身份，如图3所示，给定目标融合后的前景以及目标预测状态值通过最大化测量值与前景间的相似概率来获取最优解

由贝叶斯理论得：

式中

4.2)构建多人非合作博弈，过程如下：

非合作博弈是指局中人各自进行自主的决策，最终使得每个局中人的策略是对其他局中人策略的最优反应，此策略组合就称作纳什均衡(或非合作博弈均衡)。当遮挡发生时，遮挡区域里的各个目标测量值作为局中人相互博弈以最大化各自与前景间的相似概率；假设目标在遮挡过程中尺寸保持不变，则测量值的最优估计可简化为其位置的最优估计，构建多人非合作博弈如下：

局中人：遮挡区域中目标的测量值

策略：局中人的运动，即局中人的位置

收益：其中

由上知，式(5)的最优解即为求取所构建博弈的纳什均衡；

4.3)求取纳什均衡，过程如下：

给定其他局中人的最优策略当前局中人i的最优策略为：

式中，表示给定其他目标最优测量值的条件下，当前目标i的测量值与前景间的相似概率，此相似概率等同于遮挡前后目标外观模型的相似度；

其中：

令关于的导数为零，则有：

式中，N_i'为支持域Ψ₁中前景像素的数量，由式(9)求得的解，此解即为局中人i的最优策略

局中人i的初始策略(初始状态位置)可选为相应目标的预测状态位置并作为博弈开始的最优策略，给定其他局中人的初始策略局中人i的最优策略由式(10)求得，不断迭代更新直至博弈达到式(11)所示平衡终止条件：

max(Δl)＜T_NE (11)

式中，表示相邻两迭代周期最优策略集的差，为初始策略集，T_NE为给定阈值，T_NE值越小，所需迭代时间越多，同时所得结果也越精确，为权衡效率和精度，本发明选取T_NE＝1像素。

Claims (1)

1.一种融合目标外观模型和博弈论的视频目标互遮挡处理方法，其特征在于：所述方法包括以下步骤：

1)遮挡区域预测，过程如下：

以t-1时刻目标预测位置和为圆心，构建目标边界框的外接圆C_i和C_j，其半径为和其中，和为预测目标状态的位置和尺寸，和为预测目标状态的位置和尺寸，||·||为欧几里德范数，当且仅当时，如式(1)所示，则目标i和j所在区域被预测为候选遮挡区域，反之，则认为无遮挡发生：

2)遮挡区域确定，过程如下：

假设t时刻候选遮挡区域中存在一测量值满足式(2)，n＝1,…,N_m,t，则此测量值即被确定为遮挡区域：

式中，ε为尺度因子；

3)构建目标外观模型，过程如下：

利用高斯混合模型来表征目标i的颜色分布，其中，表示混合模型中第k个高斯元素的权值、均值和协方差，k＝1,…,K，K为混合模型中高斯元素的数量，遮挡发生后候选目标外观模型pⁱ与遮挡发生前目标外观模型qⁱ之间的相似度P_s(pⁱ,qⁱ)定义为：

式中，Ψ₁＝Ω_i-Ω_i∩Ω_j，Ψ₂＝Ω_i∩Ω_j，表示pⁱ中目标支持域Ω_i中处于lⁱ位置的像素的颜色值， N_i为Ω_i中前景像素的数量；

4)基于博弈论的遮挡目标跟踪，过程如下：

4.1)构建遮挡区域目标函数，过程如下：

当遮挡发生时，可得遮挡区域的目标测量值遮挡区域内的目标数量及其身份，给定目标融合后的前景以及目标预测状态值通过最大化测量值与前景间的相似概率来获取最优解

由贝叶斯理论得：

式中

4.2)构建多人非合作博弈，过程如下：

假设目标在遮挡过程中尺寸保持不变，则测量值的最优估计简化为其位置的最优估计，构建多人非合作博弈如下：

局中人：遮挡区域中目标的测量值

策略：局中人的运动，即局中人的位置

收益：其中

由上知，式(5)的最优解即为求取所构建博弈的纳什均衡；

4.3)求取纳什均衡，过程如下：

给定其他局中人的最优策略当前局中人i的最优策略为：

式中，表示给定其他目标最优测量值的条件下，当前目标i的测量值与前景间的相似概率，此相似概率等同于遮挡前后目标外观模型的相似度；

其中：

令关于的导数为零，则有：

式中，N′_i为支持域Ψ₁中前景像素的数量，由式(9)求得的解，此解即为局中人i的最优策略

局中人i的初始策略选为相应目标的预测状态位置并作为博弈开始的最优策略；给定其他局中人的初始策略局中人i的最优策略由式(10)求得，不断迭代更新直至博弈达到式(11)所示平衡终止条件：

max(Δl)＜T_NE (11)

式中，表示相邻两迭代周期最优策略集的差，为初始策略集，T_NE为给定阈值。