CN113688776B - 一种用于跨视场目标重识别的时空约束模型构建方法 - Google Patents

Abstract

本发明提供了一种用于跨视场目标重识别的时空约束模型构建方法，属于监控场景目标重识别技术领域。本发明包括：提出了有向时空概率模型，消除方向相反的路径迁移时间不同对模型准确度的影响；提出了有效路径和高阶摄像机对，进而提出有效路径概率模型；提出了时空和路径融合模型，通过路径信息提升时空预测模型的准确性。本发明模型通过统计图像中有方向的时空信息得到目标在各视场中的迁移规律，从而计算目标的时空、路径概率；针对高阶摄像机对时空概率的高斯性并不明显的问题，建立时空和路径融合模型，通过路径概率改进高阶摄像机对的时空模型，最终形成用于跨视场目标重识别的时空约束模型；本发明方法有效提升了目标重识别模型的准确率。

Description

一种用于跨视场目标重识别的时空约束模型构建方法

技术领域

本发明属于监控场景目标重识别技术领域，具体涉及一种用于跨视场目标重识别的时空 约束模型的构建。

背景技术

对监控图像中的目标进行跨视场的重识别，即在不同摄像机拍摄的图像中匹配同一目标， 是计算机视觉中重要的任务之一。目标重识别任务，对准确率的要求很高，而现有的目标重 识别算法大多只计算图像的视觉相似度，并将视觉相似度作为重识别的唯一依据，这种方法 具有一定局限性，特别是在复杂场景下，如遮挡、小目标、尺度和光线变化大时，仅凭视觉 相似度进行目标的重识别，准确率往往不能达到要求。

事实上，除了视觉信息之外，图像中还包括时间、空间、路径等多项信息，充分利用图 像的时空信息，能够显著提升重识别任务的准确率，降低复杂成像环境和高度相似目标对重 识别任务的干扰。

目标重识别模型的输入为两张图像，通过计算两张图像中目标的相似度来判断是否属于 同一目标，这两张图像所对应的摄像机编号代表了视场信息，因此可将这两个摄像机组成摄 像机对，基于摄像机对来建立时空模型，进而计算两张图像的时空相似度。

现有的时空信息模型主要分为两种：即时空预测模型和路径预测模型。时空预测模型直 接根据时间差和地理距离来判断是否为同一目标，但由于两地之间可能存在多条路径，模型 的可信度不高；而路径预测模型对目标的运动路径进行预测，再根据时间差和路径的匹配程 度来判断，由于路径具有多样性和随机性，若只根据目标的运动路径进行判断，非常容易出 现误判。目前尚未有将二者融合到一起的研究。此外，现有的时空模型对时空信息的统计非 常粗糙，导致统计得到的时空信息出现较大误差，影响到模型的效果。因此，现有的时空信 息模型在目标重识别任务上仍有待改进的空间。

发明内容

针对目前时空预测模型和路径预测模型分别具有可信度不高和容易误判的缺点，以及跨 视场目标重识别模型中时空信息利用不充分的情况，本发明提出一种用于跨视场目标重识别 的时空约束模型构建方法，将路径信息引入时空预测模型，充分利用时空、路径信息，以提 升目标重识别模型的准确率。

本发明提供的一种用于跨视场目标重识别的时空约束模型构建方法，包括如下步骤：

第一步，统计训练集中包含的时空信息，建立有向时空概率模型。

所述训练集中每张图片都标记有拍摄的摄像机编号和时间戳，对训练集中每个目标的图 片按照时间戳进行排序，根据预先设置的阈值A进行图片所属时间段的划分，当相邻图片拍 摄的时间间隔超过阈值A时，两图片划分为不同时间段，否则属于同一时间段；对同一时间 段的目标统计各摄像机间的迁移时间，并统计对应的摄像机对，摄像机对具有方向性，根据 图片时间戳的前后顺序判断目标离开和进入的摄像机；预先划定迁移时间的时间区间，统计 所有目标在指定摄像机对的迁移时间，计算迁移时间落在各时间区间的概率，得到指定摄像 机对的时空概率。

第二步，统计训练集中包含的路径信息，建立有效路径概率模型。

对于给定的摄像机对(N_e,N_l)，将N_e和N_l分别作为路径的起点和终点，由训练集统计两 摄像机间的所有路径，设共有j条可能的运动路径，计算各路径的出现概率，将出现概率大 于1/2j的运动路径定为有效路径，并通过归一化，使所有有效路径的出现概率总和为1；统 计训练集中所有摄像机对的有效路径出现概率，将有效路径大于2条的摄像机对定义为高阶 摄像机对。

第三步，建立时空与路径融合模型。利用建立的时空与路径融合模型来计算两摄像机拍 摄的图片中目标为同一个目标的概率。

设(N_e,N_l)为一高阶摄像机对，目标在高阶摄像机对(N_e,N_l)间的迁移时间为τ，高阶摄 像机对(N_e,N_l)间的有效路径数量为D，则根据有效路径的数量计算N_e,N_l拍摄的两张图片属 于同一目标的时空概率，如下：

其中，当D≥2时，针对高阶摄像机对的每条有效路径分别计算目标的时空概率，最终的 时空概率为每条有效路径的时空概率的加权相加；表示两张图片属于 同一目标的时空概率，/>代表对数正态分布，/>为正态分布中的参数； p(d|N_e,N_l)代表第d条有效路径的出现概率；/>是高阶摄像机对(N_e,N_l)的第d 条有效路径对应的正态分布中的参数。

相对于现有技术，本发明具有如下的优点和积极效果：

(1)本发明方法构建的用于跨视场目标重识别的时空约束模型，在复杂成像环境下的目 标重识别任务中，能够显著提升识别效果；通过提取图像中的时间戳和摄像机编号来建立时 空概率模型，具有效率较高的优势；相较于普通的时空约束方法，采用路径信息改进了高阶 摄像机对的时空概率模型，具有准确率更高的优势。

(2)本发明方法通过统计图像中有方向的时空信息得到目标在各视场中的迁移规律，从 而计算目标的时空、路径概率，针对高阶摄像机对时空概率的高斯性并不明显的问题，建立 时空和路径融合模型，通过路径概率改进高阶摄像机对的时空模型，最终形成用于跨视场目 标重识别的时空约束模型，有效提升目标重识别模型的准确率。

(3)针对现有的时空模型并未考虑路径的方向性，本发明利用有向的时空概率模型消除 在相反方向上迁移时间不同对模型准确率带来的影响；本发明建立有效路径概率模型，利于 分路径统计和计算时空概率，针对多条路径导致时空预测模型可信度不高的问题，利用路径 信息提升高阶摄像机对的时空概率模型，针对高阶摄像机对的每条路径分别计算目标的时空 概率，再加权求和得到最终的时空概率，提升了时空概率模型可信度，解决了时空预测模型 准确率不高的问题，同时也增强了路径判断的容错性。

附图说明

图1是本发明一种用于跨视场目标重识别的时空约束模型的构建流程图；

图2是本发明的时空概率模型在相反运动方向上的对比示意图；

图3是本发明时空概率模型在几个摄像机对间的时空概率示意图；

图4是改进前的本发明时空概率模型在高阶摄像机对的时空概率示意图；

图5是改进后的本发明时空概率模型在高阶摄像机对的时空概率示意图。

具体实施方式

下面结合附图，对本发明的具体实施方法作进一步的详细说明。

本发明提出的一种用于跨视场目标重识别的时空约束模型构建方法，针对多条路径导致 时空预测模型可信度不高的问题，提出高阶摄像机对的概念，按路径统计时空信息，解决了 时空预测模型准确率不高的问题，同时也增强了路径判断的容错性。同时注意到目标在两地 运动时具有方向相反的两条路径，由于方向相反的路径的迁移时间也可能不同，因此对现有 的时空预测模型进行改进，加入了摄像机对的方向性。

具体地，本发明所构建的时空约束模型具有三个创新点，分别为：一、提出有向时空概 率模型，消除方向相反的路径迁移时间不同对模型准确度的影响；二、提出有效路径和高阶 摄像机对的概念，进而提出有效路径概率模型；三、提出时空和路径融合模型，通过路径信 息提升时空预测模型的准确性。模型通过统计图像中有方向的时空信息得到目标在各视场中 的迁移规律，从而计算目标的时空、路径概率。同时提出高阶摄像机对的概念，针对高阶摄 像机对时空概率的高斯性并不明显的问题，建立时空和路径融合模型，通过路径概率改进高 阶摄像机对的时空模型，最终形成用于跨视场目标重识别的时空约束模型，有效提升目标重 识别模型的准确率。

如图1所示，本发明提供的一种用于跨视场目标重识别的时空约束模型构建方法主要包 括三个步骤，下面分别说明各步骤的具体实现。

第一步，统计训练集中包含的时空信息，建立有向时空概率模型。

本发明对现有的时空预测模型进行改进，加入了摄像机对的方向性，建立有向的时空概 率模型。由于目标在两地运动时具有方向相反的两条路径，方向相反的路径的迁移时间可能 不同，而现有的时空模型并未考虑路径的方向性，有向的时空概率模型可以消除在相反方向 上迁移时间不同对模型准确率带来的影响。

训练集是包含多个目标ID的图片集合，针对每个目标都对应有一组沿时间变化的图片集， 图片由不同摄像机拍摄获得，每张图片上都标记有拍摄的摄像机编号和时间戳。

时空信息是指：目标图片对应的摄像机编号和时间戳。

时空概率模型是指：统计训练集中目标在各摄像机间的迁移时间，并统计对应的摄像机 对，如，对训练集中每个目标拍摄的图片，若某摄像机只拍摄了一张图片，则该图片的时间 戳为目标的到达时间，若某摄像机拍摄了多张图片，根据多张图片的时间戳计算中间时间作 为到达时间，将目标在两摄像机的到达时间间隔，作为目标在两摄像机间的迁移时间。预先 划定时间区间，统计所有目标在指定摄像机对的迁移时间τ，据此计算迁移时间落在各时间 区间的概率，即对指定摄像机对，统计由训练集计算获得的迁移时间样本落在不同时间区间 的数量比例，设p(τ|N_e,N_l)代表对于摄像机对(N_e,N_l)，迁移时间τ落在对应时间区间的概率。

有向时空概率模型是指：目标的路径信息具有方向性，即目标在两地运动时具有方向相 反的两条路径，由于方向相反的路径的迁移时间也可能不同。因此相反方向路径的时空信息 分开考虑，时空模型中的摄像机对是有方向的。设置摄像机对中两摄像机的先后顺序对应目 标的运动路径的方向。图2可视化了DukeMTMC-reID数据集中训练集行人从摄像机1到摄 像机5和从摄像机5到摄像机1的时空概率，方向相反的路径的时空概率差异较大，证明了 有向时空概率模型的有效性。图2～图5中，横坐标为迁移时间，纵坐标为时空概率，本发明 实施例中迁移时间每间隔500划分1个区间，迁移时间的单位是帧长。

在统计时空信息时，由于同一个目标行人ID可能会在不同的时间段经过同一个摄像机， 若将同一个目标ID在特定摄像机的所有时间戳的平均值作为该目标的唯一时间戳，有可能误 判该目标的路径信息，且对计算目标在摄像机对的迁移时间造成误差。因此统计时空信息时， 分时间段统计目标的时空信息，避免出现上述误差。

因此，本发明实施例中，预先设置了用于划分时间段的时间间隔阈值A，对训练集中每 个目标的图片按照时间戳进行排序，对由同一摄像机拍摄的相邻图片的时间间隔根据阈值A 进行判断，若超过了阈值A，则代表两张图片属于不同时间段，以此对每个目标的图片进行 时间段的划分，然后再针对每个时间段，根据时空概率模型的计算方式，统计每对摄像机的 时空概率。阈值A可根据实际应用场景设置和调整。

以目标在摄像机对的迁移时间为X轴，目标在指定摄像机对运动时，迁移时间落在各区 间的概率为Y轴，为每个摄像机对建立有向时空概率模型。图3可视化了DukeMTMC-reID 数据集中训练集行人在几个摄像机对间的时空概率。

由于摄像机之间的距离是固定的，因此目标出现在给定两个摄像机的时间间隔具有统计 规律，通过对比两张图像的时间间隔和空间距离，可以计算两张图像间的时空相似概率，这 种时空概率信息可以帮助模型更好地判断两张图像中目标是否为同一目标。同时考虑到目标 在两地间具有相反的两个运动方向，目标在不同方向上的迁移时间也可能存在差异，因此建 立有向时空概率模型，通过对比两张照片时间戳的大小得到目标的运动方向，进而得到更准 确的时空概率。

在实际场景中，时空概率曲线具有类高斯和长尾的特性，因此采用对数正态分布的方法 对随机变量进行建模。设定N_l和N_e作为目标离开和进入场景的摄像机编号，目标出现在N_e和 N_l摄像机的时间间隔τ的条件概率p(τ|N_e,N_l)可以估计为对数正态分布，如下：

其中，和/>是每个摄像机对(N_e,N_l)中正态分布中要估计的参数，/>代表正态 分布，/>代表对数正态分布。

模型的参数可以通过最大化以下的对数似然函数来估计：

其中，L(.)为对数似然函数，τ_k∈u(k＝1,2,3,...,K)是在训练集中采样的摄像机对(N_e,N_l) 的迁移时间样本，u包含训练集中的两摄像机N_e,N_l间的所有迁移时间样本，K为迁移时间样 本数量。

获得参数和/>后，在计算时空相似度的过程中，两摄像机间的迁移时间可以计 算为/> 和/>分别是目标在摄像机N_l,N_e的出现时间，即摄像机N_l,N_e分别拍摄 目标的时刻。两张图片属于同一目标ID的时空概率可以按下式计算：

第二步，统计训练集中包含的路径信息，建立有效路径概率模型。

本发明提出了有效路径和高阶摄像机对的概念，进而建立有效路径概率模型。由于两地 之间往往存在多条路径，分别对应着差异较大的迁移时间，因此统计两地间的多条路径及其 概率信息，利于分路径统计和计算时空概率信息，提升时空概率模型可信度。

路径信息是指：对于给定的摄像机对(N_e,N_l)，将N_e和N_l作为路径的起点和终点。用M 代表运动路径中除起点和终点之外的摄像机的数目，则目标的运动路径可表示为目标在每个摄像机对中所有出现过的运动路径称为路径信息。

路径概率模型是指：统计训练集中每个摄像机对的所有路径信息，并计算目标各路径出 现的概率p(d|N_e,N_l)，其中d代表指定摄像机对的第d条路径。路径出现概率p(d|N_e,N_l)是 统计经过第d条路径的目标数量比例来获得。

有效路径概率模型是指：目标的运动路径具有随机性和多样性，并不是所有的路径信息 都是有用的，因此提出有效路径的概念，有效路径概率模型只统计有效路径信息。

根据摄像机的常见分布规律可知，若以两个不相邻摄像机作为路径起点和终点，目标会 有多种运动路径，途中可能会经过不同的摄像机。由于路径的不同，对应的迁移时间也会出 现统计上的差异。若给定摄像机对有多条路径与之对应，由于路径和对应迁移时间的多样性， 目标的时空概率应该有多个山峰状分布，整体来看目标时空概率的高斯性并不明显。图4可 视化了DukeMTMC-reID数据集中训练集行人从摄像机2到摄像机5的时空概率。

针对特定摄像机对，目标的运动路径 包含摄像机对 (N_e,N_l)在训练集中所有可能的运动路径。假设对于某摄像机对，所有可能的运动路径有j条， 将出现概率大于1/2j的运动路径定为有效路径，并通过归一化，使所有有效路径的概率总和 为1。将有效路径大于2条的摄像机对定义为高阶摄像机对。

针对高阶摄像机对时空概率高斯性不明显的问题，统计有效路径概率模型，用有效路径 概率和时空信息的结合来表示高阶摄像机对的时空概率。

第三步，建立时空与路径融合模型。

本发明建立时空与路径融合模型，利用路径信息提升高阶摄像机对的时空概率模型。针 对多条路径导致时空预测模型可信度不高的问题，判断高阶摄像机对，并按路径统计高阶摄 像机对的时空信息，解决了时空预测模型准确率不高的问题，同时也增强了路径判断的容错 性。

由于路径的多样性，高阶摄像机对时空概率的高斯性并不明显，但若将高阶摄像机对的 时空信息按路径归类，每条路径的时空概率仍具有较强的高斯性。因此本发明通过路径概率 改进高阶摄像机对的时空概率模型。图5展示了DukeMTMC-reID数据集中训练集行人从摄 像机2到摄像机5的改进时空概率图，按照路径分类后每条曲线具有明显的高斯性，通过与 图4的对比说明了按路径归类后的时空概率模型解决了现有时空模型可信度不高的问题。

通过有效路径概率改进高阶摄像机对的时空概率模型。针对高阶摄像机对的每条有效路 径分别计算目标的时空概率，最终的时空概率为每条有效路径时空概率的加权相加。在计算 高阶摄像机对时空相似度的过程中，两摄像机间的迁移时间 和分别是目标 在两个摄像机之间的出现时间。两张图片属于同一ID的时空概率可以按下式计算：

其中，和/>是每个高阶摄像机对(N_e,N_l)的有效路径对应的正态分布中要估计 的参数，可按照步骤1中所记载方式进行估计；D代表高阶摄像机对(N_e,N_l)间的有效路径数 量，p(d|N_e,N_l)代表第d条有效路径出现的概率。

改进后的时空概率模型如下：

利用本发明改进后的时空概率模型，可在目标重识别时计算目标的时空概率，进一步用 于提升目标重识别的准确率。

本发明针对复杂成像环境下目标重识别任务准确率不高的特点，设计一种用于跨视场目 标重识别的时空约束模型构建方法，充分利用了图像的时空信息，提升了目标重识别任务的 准确率。

Claims (6)

1.一种用于跨视场目标重识别的时空约束模型构建方法，其特征在于，包括：

步骤一、统计训练集中包含的时空信息，建立有向时空概率模型，具体是：

所述训练集中每张图片都标记有拍摄的摄像机编号和时间戳，对训练集中每个目标的图片按照时间戳进行排序，根据预先设置的阈值A进行图片所属时间段的划分，当相邻图片拍摄的时间间隔超过阈值A时，两图片划分为不同时间段，否则属于同一时间段；对同一时间段的目标统计各摄像机间的迁移时间，并统计对应的摄像机对，摄像机对具有方向性，根据图片时间戳得到目标离开和进入的摄像机编号；预先划定迁移时间的时间区间，统计所有目标在指定摄像机对的迁移时间，计算迁移时间落在各时间区间的概率，得到指定摄像机对的时空概率；

所述的步骤一中，摄像机对具有方向性，是指对应目标的运动路径具有方向性，目标在两地运动时具有方向相反的两条路径，考虑方向相反的路径的迁移时间不同，设置摄像机对中两摄像机的先后顺序对应目标的运动路径的方向；

步骤二、统计训练集中包含的路径信息，建立有效路径概率模型，具体是：

对于给定的摄像机对(N_e,N_l)，将N_e和N_l分别作为路径的起点和终点，由训练集统计两摄像机间的所有路径，设共有j条可能的运动路径，计算各路径的出现概率，将出现概率大于1/2j的运动路径定为有效路径，并通过归一化，使所有有效路径的出现概率总和为1；统计训练集中所有摄像机对的有效路径出现概率，将有效路径大于2条的摄像机对定义为高阶摄像机对；

步骤三、建立时空与路径融合模型，具体是：

设(N_e,N_l)为一高阶摄像机对，目标在高阶摄像机对(N_e,N_l)间的迁移时间为τ，高阶摄像机对(N_e,N_l)间的有效路径数量为D，则根据有效路径的数量计算N_e,N_l拍摄的两张图片属于同一目标的时空概率，如下：

其中，当D≥2时，针对高阶摄像机对的每条有效路径分别计算目标的时空概率，最终的时空概率为每条有效路径的时空概率的加权相加；表示两张图片属于同一目标的时空概率，/>代表对数正态分布，/>为正态分布中的参数；p(d|N_e,N_l)代表第d条有效路径的出现概率；/>是高阶摄像机对(N_e,N_l)的第d条有效路径对应的正态分布中的参数。

2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，设N_e和N_l分别为目标进入和离开场景的摄像机编号，目标出现在摄像机N_e和N_l的时间间隔为τ的时空概率为p(τ|N_e,N_l)，时空概率p(τ|N_e,N_l)估计为对数正态分布，对正态分布中的参数通过最大化下面的对数似然函数来获得；

其中，L(.)为对数似然函数，τ_k∈u(k＝1,2,...,K)是在训练集中采样的摄像机对(N_e,N_l)的迁移时间样本，u包含训练集中的从摄像机N_e到N_l的所有迁移时间样本，K为迁移时间样本数量。

3.根据权利要求1所述的方法，其特征在于，所述的步骤一中，对同一时间段的目标统计各摄像机间的迁移时间，包括：当摄像机只拍摄了一张图片，则该图片的时间戳为拍摄时间，若摄像机拍摄了多张图片，根据多张图片的时间戳计算中间时间作为拍摄时间，将目标在两摄像机的拍摄时间间隔，作为目标在两摄像机间的迁移时间。

4.根据权利要求1或3所述的方法，其特征在于，所述的步骤一中，计算指定摄像机对的时空概率，包括：统计训练集中所有目标在指定摄像机对的迁移时间样本，计算迁移时间样本落在不同时间区间的数量比例，获得指定摄像机对的时空概率。

5.根据权利要求1所述的方法，其特征在于，所述的步骤二中，摄像机N_e,N_l间的第d条路径的出现概率p(d|N_e,N_l)，是统计训练集中经过第d条路径的目标数量比例来获得；其中设摄像机N_e,N_l间的运动路径表示为M为运动路径中除起点和终点之外的摄像机的数目。

6.根据权利要求1所述的方法，其特征在于，所述的步骤二中，有效路径概率模型只统计摄像机对的有效路径及其出现概率。