CN104094279A - 大范围优先的跨摄像机视觉目标再识别方法 - Google Patents

Abstract

本发明涉及一种大范围优先的跨摄像机视觉目标再识别方法，所述方法包括：步骤S1.获得单场景目标的初始轨迹；步骤S2.计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达；步骤S3.利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式，从而得到任意两条轨迹间匹配度；步骤S4.对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结果。本发明目标再试别方法，识别正确率高。

Description

大范围优先的跨摄像机视觉目标再识别方法

技术领域

本发明涉及视频监控与模式识别领域，尤其涉及一种大范围优先的跨摄像机视觉目标再识别方法。 

背景技术

随着社会现代化建设的快速发展，人们对社会安全的关注也越来越高，特别是对于一些公共场所，如学校，医院和政府机关等的监控。如今数以千计的摄像机被用于公共场所的日常监控，这些摄像机每天产生着大量的视频数据。但是，作为传统的视频监控系统由于需要人为的监视，因而存在着很多难以克服的问题。 

首先，现有的视频监控都需要有人在视频前实时监视，没法实现自动监控报警，很容易长时间监视而造成人员的过度疲劳。同时，由于监控范围的原因，通常需要监控人员同时进行多路监控，往往会应接不暇。这就需要智能化视频监控。 

而智能视频监控的核心技术，大范围监控场景下的视觉目标再识别技术也一直是计算机视觉领域的研究热点之一，基于多场景目标跟踪的视觉目标再识别也是吸引了很多学者的研究。多场景下的目标跟踪不仅能实现对公共场所行人的监控跟踪，同时，也为进一步的高级处理(如行为识别)提供了更有用的价值信息。传统的多场景目标跟踪算法主要分两步：第一步是先完成单场景下多目标的跟踪，得到每个单场景下各个目标的完整轨迹；第二步跨场景目标接力，通过场景间的时空信息实现场景间的轨迹连接，完成目标接力。从这两步可以看出，跨场景目标接力是以单场景的目标跟踪为基础的，其输入来源于单场景跟踪的结果。也就是说，当单场景跟踪结果达不到一定 标准时，跨场景接力效果直接会受到很大的影响。而现今的单场景目标跟踪算法在实际应用中都会长生大量的断裂的零碎轨迹和错误的干扰轨迹，都还没有达到可以用于跨场景接力的标准。这就使得跨场景接力算法的效果无法得到保证，最终导致实际场景中的多场景的目标跟踪难以实现。传统的跨场景接力算法都是假设单场景跟踪效果已经足够理想，以此作为算法输入，因而其在实际应用中接力效果相对较差。那么如何在单场景目标跟踪效果不好的情况下，提高跨场景接力准确率，从而完成基本的多场景目标跟踪以实现目标的再识别成为了一个急需解决的问题。 

发明内容

本发明的目的是针对现有技术的缺陷，提供一种大范围优先的跨摄像机视觉目标再识别方法，解决大范围监控场景下的目标再识别问题，识别正确率高。 

为实现上述目的，本发明提供了一种大范围优先的跨摄像机视觉目标再识别方法，所述方法包括： 

步骤S1，获得单场景目标的初始轨迹； 

步骤S2，计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达； 

步骤S3，利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式，从而得到任意两条轨迹间匹配度； 

步骤S4，对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结果。 

进一步的，所述步骤S1中，对每一轨迹，所有帧的置信度的平均值被用来表示该轨迹的轨迹准确度： 

$c=\underset{j=t_s}{\overset{t_e}{\mathrm{\Σ}}}{\mathrm{\α}}_j/(t_e-t_s)---\left(1\right)$

其中，置信度α表示对于每一帧的跟踪结果，α<0.2表示跟踪目标丢失， t_s和t_e分别为该轨迹的起始帧和结束帧； 

最后形成的所有目标轨迹的集合为L＝{l₁,l₂,...,l_N}，N为轨迹综述，每一条轨迹l_i＝[x_i,c_i,s_i,t_i,a_i]，分别表示轨迹的位置，准确度，所属场景，时间和表观特征。 

进一步的，所述步骤S2具体包括： 

计算每帧中目标的颜色直方图，然后根据其H和S值，将颜色分为16*2个颜色，从中选取前n个颜色值作为该目标该帧的特征： 

h＝{C₁,C₂,..,C_n}                  (2) 

其中，C_i为前n种像素数之和占总像素数比例的90％以上的颜色，每一条轨迹的总特征为： 

$H={\mathrm{\&Sigma;}}_{i=1}^{m_k}{h}_i---\left(3\right)$

其中，m_k为轨迹k的长度； 

对总特征H中的所有特征hi，利用计算相互间的相似度Λ＝Sim(h_i,h_j)，通过其轨迹中每帧间的相似度信息找到运动周期，利用周期对原来轨迹特征H进行重新分段，通过下式得到总特征H中可能存在的周期性信息p： 

$p=\arg \underset{t}{\max }\frac{1}{m_k-t}\underset{j=1}{\overset{m_t-t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_{j,j+t}---\left(4\right)$

利用周期性信息p对将轨迹重新进行均匀分段，至此得到轨迹的分段主颜色谱直方图特征： 

H＝{H₁,H₂,...,H_d}                 (5) 

其中，表示轨迹分段的段数。 

进一步的，所述步骤S3具体包括： 

计算两条轨迹间相似度指导轨迹间的匹配，在最大化相似度的同时最小化不确定度，由此使得得到的相似度匹配值能反映两轨迹间的真实相似关系，匹配公式为： 

$\mathrm{Dis}(H^A,H^B)=1-\frac{\max \mathrm{Sim}(H_i^A,H_j^B)-\min \mathrm{Sim}(H_u^A,H_v^B)}{\max \mathrm{Sim}(H_i^A,H_j^B)+\min \mathrm{Sim}(H_u^A,H_v^B)}---\left(6\right)$

其中，H^A和H^B为两段不同轨迹的分段主颜色谱直方图特征，和分别为其中的某一段，i＝{1,2,...,d_A},j＝{1,2,...,d_B}。 

进一步的，所述步骤S4具体包括： 

步骤S4-1，每一条全局融合后的轨迹为那么总的融合后的轨迹集合为T＝{T₁,T₂,...,T_m}，m为融合后的轨迹数目；在给定轨迹集合L和融合后轨迹间无重叠的条件下，集合T的最大后验概率为： 

$T^{*}\arg \underset{T}{\max }\underset{i}{\mathrm{\&Pi;}}P\left(l_i\right|T)\underset{T_k\&Element;T}{\mathrm{\&Pi;}}P\left(T_k\right)---\left(7\right)$

$T_i\&cap;T_j=\mathrm{\&phi;},\&ForAll;i\&NotEqual;j$

其中，P(l_i|T)为轨迹l_i的相似度，P(T_k)为可能的融合后的轨迹的先验概率，它可以表示为一条包含转移概率的马尔科夫链； 

步骤S4-2，建立图结构，其中每个节点表示一个轨迹片段l_i，其值为c_i，每条边表示先验概率P(l_i→l_j)，从整个图中最小的代价函数流得到使得T^*最大的集合，对于每条流的代价能量e_ij用负对数函数表示： 

e_ij＝-logP(L|l_i→l_j)P(l_i→l_j)            (8) 

＝-log(P_m*P_t*P_a) 

其中，P_m和P_t分别表示轨迹间的运动信息和时间信息的匹配概率，P_a表示轨迹表观特征间的匹配概率，匹配相似度公式为： 

$P_a=\left\{\begin{array}{cc}\mathrm{Dis}(H^A,H^B)& \mathrm{if}{s}_i=s_j\\ \mathrm{\&lambda;Dis}(H^A,H^B)& \mathrm{if}{s}_i\&NotEqual;s_j\end{array}\right.---\left(9\right)$

得到每条流的代价能量，遍历最终得到使后验概率最大的集合T即为多场景目标跟踪和再识别的结果。 

本发明跨摄像机的视觉目标再试别方法，识别正确率高。 

附图说明

图1为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图。 

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 

跨场景的目标接力效果很大程度上依赖于单场景跟踪结果的好坏，本发明为一种基于全局轨迹融合的目标跟踪再识别方法，该方法能在单场景跟踪轨迹不是很好的情况下得到相对较好的跨场景接力结果。同时，本方法提出一个新的轨迹特征表达，使其能在非重叠场景下完成多场景的目标跟踪和再识别。 

本发明优先解决大范围监控场景下的目标再识别问题。该方法依靠对多摄像机所有轨迹的全局优化实现多场景下的视觉目标再识别，并形成完整的目标轨迹。采用具有周期性的分段主颜色谱直方图特征作为轨迹特征表达，利用最小化不确定度的方法实现轨迹的匹配，进一步提高目标再识别的准确率。 

图1为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图，如图所示，本发明具体包括如下步骤： 

步骤101，获得单场景目标的初始轨迹； 

具体的，通过行人检测和单目标的行人跟踪，得到每个场景下每个行人的初始轨迹片段。行人检测方法采用基于行人头肩检测，单目标跟踪算法则利用自适应多特征融合的方法。用置信度α表示对于每一帧的跟踪结果，α<0.2表示跟踪目标丢失。对每一轨迹，其所有帧的α的平均值被用来表示该轨迹的轨迹准确度： 

$c=\underset{j=t_s}{\overset{t_e}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_j/(t_e-t_s)---\left(1\right)$

其中，t_s和t_e分别为该轨迹的起始帧和结束帧。 

则最后形成的所有目标轨迹的集合为L＝{l₁,l₂,...,l_N}，N为轨迹综述。每 一条轨迹l_i＝[x_i,c_i,s_i,t_i,a_i]，分别表示轨迹的位置，准确度，所属场景，时间和表观特征。 

步骤102，计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达； 

对MCSHR特征，首先计算每帧中目标的HSV颜色直方图，然后根据其H和S值，将颜色分为16*2个颜色，从中选取前n个颜色值作为该目标该帧的MCSHR特征表达： 

h＝{C₁,C₂,..,C_n}                    (2) 

其中，C_i为前n种像素数之和占总像素数比例的90％以上的颜色，这样，针对每条轨迹，得到所需的总得MCSHR特征： 

$H={\mathrm{\&Sigma;}}_{i=1}^{m_k}{h}_i---\left(3\right)$

其中，m_k为轨迹k的长度。对H中的所有h_i，利用其论文中的方法计算相互间的相似度Λ＝Sim(h_i,h_j)。由于行人在运动过程中其步伐存在着明显的周期性，这里的想法是通过其轨迹中每帧间的相似度信息找到这种运动的周期。利用周期对原来轨迹特征H进行重新分段。即通过如下公式找到H中可能存在的周期性信息p： 

$p=\arg \underset{t}{\max }\frac{1}{m_k-t}\underset{j=1}{\overset{m_t-t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_{j,j+t}---\left(4\right)$

利用p对将轨迹重新进行均匀分段，至此得到轨迹的分段主颜色谱直方图特征： 

H＝{H₁,H₂,...,H_d}               (5) 

其中，表示轨迹分段的段数。 

步骤103，利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式，从而得到任意两条轨迹间匹配度； 

在轨迹匹配的过程中，两轨迹间相似度的不确定性在一定程度上也是很重要的；通过计算两轨迹间相似度的这种不确定性来指导轨迹间的匹配， 即在最大化相似度的同时最小化不确定度，这样使得得到的相似度匹配值更能反映两轨迹间的真实相似关系。具体的匹配公式为： 

$\mathrm{Dis}(H^A,H^B)=1-\frac{\max \mathrm{Sim}(H_i^A,H_j^B)-\min \mathrm{Sim}(H_u^A,H_v^B)}{\max \mathrm{Sim}(H_i^A,H_j^B)+\min \mathrm{Sim}(H_u^A,H_v^B)}---\left(6\right)$

其中，H^A和H^B为两段不同轨迹的分段主颜色谱直方图特征。和分别为其中的某一段，i＝{1,2,...,d_A},j＝{1,2,...,d_B}。 

步骤104，对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结果。 

在得到所有轨迹的集合L＝{l₁,l₂,...,l_N}以及其中每条轨迹的各项属性l_i＝[x_i,c_i,s_i,t_i,a_i]之后。利用最大后验概率的方法来对所有的轨迹数据进行全局优化。 

首先，可以将每一条全局融合后的轨迹表示为那么总的融合后的轨迹集合为T＝{T₁,T₂,...,T_m}，m为融合后的轨迹数目。目标就是在给定轨迹集合L和融合后轨迹间无重叠的条件下，求集合T的最大后验概率： 

$T^{*}\arg \underset{T}{\max }\underset{i}{\mathrm{\&Pi;}}P\left(l_i\right|T)\underset{T_k\&Element;T}{\mathrm{\&Pi;}}P\left(T_k\right)---\left(7\right)$

$T_i\&cap;T_j=\mathrm{\&phi;},\&ForAll;i\&NotEqual;j$

这里P(l_i|T)为轨迹l_i的相似度，即之前的准确度c_i；P(T_k)为可能的融合后的轨迹的先验概率，它可以表示为一条包含转移概率的马尔科夫链。 

建立一个图结构，其中每个节点表示一个轨迹片段l_i，其值为c_i，每条边表示先验概率P(l_i→l_j)。那么，通过求整个图中最小的代价函数流可以得到使得T^*最大的集合，因此将(7)式转化为一个求最小代价函数的问题。对于每条流的代价能量e_ij，用负对数函数表示： 

其中，P_m和P_t分别表示轨迹间的运动信息和时间信息的匹配概率，具体计算过程可参考最小流方法(J.Liu,P.Carr,R.T.Collins,and Y.Liu,“Tracking sports players with context-conditioned motion models,”CVPR2013)。P_a表示轨迹表观特征间的匹配概率，利用之前求得的分段主颜色谱直方图特征作为轨迹的表观特征表达。同时，为了区分来自于不同场景的轨迹片段，引入了一个调整因子λ，这里取2.5。则具体的匹配相似度公式为： 

$P_a=\left\{\begin{array}{cc}\mathrm{Dis}(H^A,H^B)& \mathrm{if}{s}_i=s_j\\ \mathrm{\&lambda;Dis}(H^A,H^B)& \mathrm{if}{s}_i\&NotEqual;s_j\end{array}\right.---\left(9\right)$

Dis(H^A,H^B)的计算方法如(6)式所示。则将(9)式代入到(8)式中，即可求得每条流的代价能量。通过遍历最终得到使后验概率最大的集合T即为所求的多场景目标跟踪和再识别的结果。 

本发明延用单场景轨迹数据融合的思想，将其扩展到多场景全局的轨迹数据融合，区分对待来自于同一场景或者不同场景的轨迹匹配。简化了传统的两步的多目标跟踪方法，将其统一在一个统一的数据融合过程中。采用分段的主颜色谱直方图特征，并利用最小化不确定度的方法提高了目标再识别的准确率。 

本发明跨摄像机的视觉目标再识别方法在单场景算法效果不理想的情况下，也能得到较好的接力效果，实现多场景下视觉目标再识别。适用于非重叠场景。利用新的特征表达及相似度计算方法进一步提高再识别的准确率。 

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。 

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。 

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (5)

1.一种大范围优先的跨摄像机视觉目标再识别方法，其特征在于，所述方法包括：

步骤S1，获得单场景目标的初始轨迹；

步骤S2，计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达；

步骤S3，利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式，从而得到任意两条轨迹间匹配度；

步骤S4，对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，对每一轨迹，所有帧的置信度的平均值被用来表示该轨迹的轨迹准确度：

$c=\underset{j=t_s}{\overset{t_e}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_j/(t_e-t_s)---\left(1\right)$

其中，置信度α表示对于每一帧的跟踪结果，α<0.2表示跟踪目标丢失，t_s和t_e分别为该轨迹的起始帧和结束帧；

最后形成的所有目标轨迹的集合为L＝{l₁,l₂,...,l_N}，N为轨迹综述，每一条轨迹l_i＝[x_i,c_i,s_i,t_i,a_i]，分别表示轨迹的位置，准确度，所属场景，时间和表观特征。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2具体包括：

计算每帧中目标的颜色直方图，然后根据其H和S值，将颜色分为16*2个颜色，从中选取前n个颜色值作为该目标该帧的特征：

h＝{C₁,C₂,..,C_n}                     (2)

其中，C_i为前n种像素数之和占总像素数比例的90％以上的颜色，每一条轨迹的总特征为：

$H={\mathrm{\&Sigma;}}_{i=1}^{m_k}{h}_i---\left(3\right)$

其中，m_k为轨迹k的长度；

对总特征H中的所有特征h_i，利用计算相互间的相似度Λ＝Sim(h_i,h_j)，通过其轨迹中每帧间的相似度信息找到运动周期，利用周期对原来轨迹特征H进行重新分段，通过下式得到总特征H中可能存在的周期性信息p：

$p=\arg \underset{t}{\max }\frac{1}{m_k-t}\underset{j=1}{\overset{m_t-t}{\mathrm{\&Sigma;}}}{\mathrm{\&Lambda;}}_{j,j+t}---\left(4\right)$

利用周期性信息p对将轨迹重新进行均匀分段，至此得到轨迹的分段主颜色谱直方图特征：

H＝{H₁,H₂,...,H_d}                (5)

其中，表示轨迹分段的段数。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3具体包括：

计算两条轨迹间相似度指导轨迹间的匹配，在最大化相似度的同时最小化不确定度，由此使得得到的相似度匹配值能反映两轨迹间的真实相似关系，匹配公式为：

$\mathrm{Dis}(H^A,H^B)=1-\frac{\max \mathrm{Sim}(H_i^A,H_j^B)-\min \mathrm{Sim}(H_u^A,H_v^B)}{\max \mathrm{Sim}(H_i^A,H_j^B)+\min \mathrm{Sim}(H_u^A,H_v^B)}---\left(6\right)$

其中，H^A和H^B为两段不同轨迹的分段主颜色谱直方图特征，和分别为其中的某一段，i＝{1,2,...,d_A},j＝{1,2,...,d_B}。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4具体包括：

步骤S4-1，每一条全局融合后的轨迹为那么总的融合后的轨迹集合为T＝{T₁,T₂,...,T_m}，m为融合后的轨迹数目；在给定轨迹集合L和融合后轨迹间无重叠的条件下，集合T的最大后验概率为：

$T^{*}\arg \underset{T}{\max }\underset{i}{\mathrm{\&Pi;}}P\left(l_i\right|T)\underset{T_k\&Element;T}{\mathrm{\&Pi;}}P\left(T_k\right)---\left(7\right)$

$T_i\&cap;T_j=\mathrm{\&phi;},\&ForAll;i\&NotEqual;j$

其中，P(l_i|T)为轨迹l_i的相似度，P(T_k)为可能的融合后的轨迹的先验概率，它可以表示为一条包含转移概率的马尔科夫链；

步骤S4-2，建立图结构，其中每个节点表示一个轨迹片段l_i，其值为c_i，每条边表示先验概率P(l_i→l_j)，从整个图中最小的代价函数流得到使得T^*最大的集合，对于每条流的代价能量e_ij用负对数函数表示：

e_ij＝-logP(L|l_i→l_j)P(l_i→l_j)           (8)

＝-log(P_m*P_t*P_a)

其中，P_m和P_t分别表示轨迹间的运动信息和时间信息的匹配概率，P_a表示轨迹表观特征间的匹配概率，匹配相似度公式为：

$P_a=\left\{\begin{array}{cc}\mathrm{Dis}(H^A,H^B)& \mathrm{if}{s}_i=s_j\\ \mathrm{\&lambda;Dis}(H^A,H^B)& \mathrm{if}{s}_i\&NotEqual;s_j\end{array}\right.---\left(9\right)$

得到每条流的代价能量，遍历最终得到使后验概率最大的集合T即为多场景目标跟踪和再识别的结果。