CN111310728A - 基于监控相机和无线定位的行人重识别系统 - Google Patents

基于监控相机和无线定位的行人重识别系统 Download PDF

Info

Publication number
CN111310728A
CN111310728A CN202010180502.2A CN202010180502A CN111310728A CN 111310728 A CN111310728 A CN 111310728A CN 202010180502 A CN202010180502 A CN 202010180502A CN 111310728 A CN111310728 A CN 111310728A
Authority
CN
China
Prior art keywords
pedestrian
track
video sequence
video
affinity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010180502.2A
Other languages
English (en)
Other versions
CN111310728B (zh
Inventor
李厚强
周文罡
刘一衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010180502.2A priority Critical patent/CN111310728B/zh
Publication of CN111310728A publication Critical patent/CN111310728A/zh
Application granted granted Critical
Publication of CN111310728B publication Critical patent/CN111310728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于监控相机和无线定位的行人重识别系统，通过对相机拍摄的场景进行经纬度标注，将无线定位与行人重识别结合起来，构成新的行人重识别系统，系统中利用循环亲和度传播单元，视觉信息与无线定位信息不断传播融合，互相提升，系统不仅能提升传统行人重识别的准确率，同时能匹配行人的无线信号以进一步得到其具体的身份信息；此外，在得到行人的无线信息身份后，便可直接在其无线信号路径上进行搜索，极大地降低了搜索的复杂度。

Description

基于监控相机和无线定位的行人重识别系统
技术领域
本发明涉及行人重识别技术领域，尤其涉及一种基于监控相机和无线定位的行人重识别系统。
背景技术
行人重识别旨在匹配不同相机下的行人。随着经济的发展，监控摄像机的覆盖范围越来越大，行人重识别的应用价值也越来越突出。借助行人重识别，我们可以寻找丢失的儿童，追踪嫌犯，安防布控等等。受此影响，近些年中，行人重识别也受到了越来越多研究者的关注。
因为摄像机架设的位置不同，相机的拍摄视角是不同的，即使拍到的是同一个人，但是其背景，光照，行人的姿势和角度都会有很大的差异。这些问题都给行人重识别算法带来了很多的困难。根据识别对象的来源分类，现有的行人重识别算法主要有两大类，一类是基于图像的，另一类是基于视频的。基于图像的行人重识别是给定一张行人的图片，算法需要在其他相机拍摄到的图片中找到相应的行人的图像。基于视频的行人重识别则是给定一个行人的视频序列，算法需找出其他相机下该行人的视频序列。单张图片所含有的信息量是有限的，容易受到遮挡、模糊和姿态变化的影响，而视频序列中，帧之间的信息是相互补充的，某一帧缺失的信息可以借助相邻帧中的信息恢复。所以相较于基于图片的行人重识别，基于视频的行人重识别有更多的信息可以利用，更有优势。
行人重识别算法主要包含两部分，一部分是特征的提取，另一部分是相似性的度量。不同行人之间可能会有相似的姿势甚至衣着，而相同的行人因视角不同可能会有很大的姿势差距，有区分性的、鲁棒的特征对解决这些问题至关重要。给定两张图片或者两个视频的特征表达之后，用有效的方法度量特征之间的相似性也是一个重要的研究内容。好的相似性度量方法能更充分地利用特征的区分性，提升匹配的准确率。
基于图片的行人重识别常用卷积神经网络(Convolutional Neural Network)来提取特征，而基于视频的行人重识别，在提取到视频帧的特征之后，还需要对帧特征进行融合以得到视频序列的特征表达。现有的融合视频帧特征的方法主要有循环神经网络(Recurrent Neural Network)，估计帧质量并用质量值加权求和，利用3D卷积神经网络同时整合时空信息，利用局部显著性值加权融合等等。
现有的行人重识别方案主要存在如下缺陷：1)现有的行人重识别算法容易受到遮挡、模糊和姿态变化的影响。当行人被一些物体遮挡住部分身体，或者监控相机分辨率较低以至于无法看清细节，或者因姿势变化而导致类内差异增大时，都会干扰算法的匹配精度。2)现有的行人重识别算法只能给定一个行人的图像或者视频，寻找其在其他相机下的数据，但是很多情况下，因相机分辨率较低以及角度问题，无法识别面部，故不能有效的知道行人的具体身份。3)现有的行人重识别算法的计算复杂度较高，而现在的城市监控网络中，监控视频数据量十分庞大，在这么多视频数据中直接搜寻行人需要大量的计算资源。
发明内容
本发明的目的是提供一种基于监控相机和无线定位的行人重识别系统，不仅能提升传统行人重识别的准确率，同时能匹配行人的无线信号以进一步得到其具体的身份信息。
本发明的目的是通过以下技术方案实现的：
一种基于监控相机和无线定位的行人重识别系统，包括：
定位标注单元，用于对监控区域内的场景进行经纬度标注；
行人视频序列与视觉轨迹提取单元，用于从摄像机拍摄的监控区域内的视频中提取出行人视频序列，并根据视频序列中标注的经纬度，提取相应的视觉轨迹；
无线定位轨迹获取单元，用于记录监控区域内移动终端的运动轨迹，获得对应的无线定位轨迹；
视频特征提取器，用于从行人视频序列中提取出视频特征；
循环亲和度传播单元，用于利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，以及利用待查询的行人视频序列对应的视觉轨迹与每一无线定位轨迹的距离计算对应的轨迹亲和度，并通过融合两种亲和度实现两种亲和度的循环更新；
行人重识别单元，利用最终更新得到的视觉亲和度与轨迹亲和度进行行人重识别。
由上述本发明提供的技术方案可以看出，通过对相机拍摄的场景进行经纬度标注，将无线定位与行人重识别结合起来，构成新的行人重识别系统，系统中利用循环亲和度传播单元，视觉信息与无线定位信息不断传播融合，互相提升，系统不仅能提升传统行人重识别的准确率，同时能匹配行人的无线信号以进一步得到其具体的身份信息；此外，在得到行人的无线信息身份后，便可直接在其无线信号路径上进行搜索，极大地降低了搜索的复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于监控相机和无线定位的行人重识别系统的示意图；
图2为本发明实施例提供的监控区域内摄像机架设位置示意图；
图3为本发明实施例提供的6个摄像机实际拍摄范围的示意图；
图4为本发明实施例提供的视觉轨迹与无线定位轨迹图；
图5为本发明实施例提供的视频特征提取器的模型框图；
图6为本发明实施例提供的视觉亲和度更新单元中的信息传播图；
图7为本发明实施例提供的轨迹亲和度更新单元中的信息传播图；
图8为本发明实施例提供的循环亲和度更新单元的结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于监控相机和无线定位的行人重识别系统，在寻找行人时，将多模态的信息相互融合，利用无线定位信息纠正一些因为遮挡、模糊和姿态变化引起的误匹配，同时又能获取行人的具体身份。在得到行人的无线信息身份后，便可直接在其无线信号路径上进行搜索，极大地降低了搜索的复杂度。
如图1所示为基于监控相机和无线定位的行人重识别系统的示意图，其主要包括：
1、定位标注单元，用于对监控区域内的场景进行经纬度标注。
本发明实施例中，所述定位标注单元，利用GPS定位仪器监控区域内的场景进行网格定位，从而获得每一视频帧中网格点对应像素的经纬度坐标，再通过近邻差值计算出每个像素点的经纬度，完成经纬度标注。
如图2所示，为监控区域内摄像机架设位置示意图，图中数字为摄像机编号，对应的区域为相应摄像机的拍摄范围。
如图3所示，为每个摄像机实际拍摄范围的示意图，图中的黑点即为经纬度标记的网格点，基于这些网格点可以差值得到整个图每个像素点的经纬度坐标。
2、行人视频序列与视觉轨迹提取单元，用于从摄像机拍摄的监控区域内的视频中提取出行人视频序列，并根据视频序列中标注的经纬度，提取相应的视觉轨迹。
本发明实施例中，所述行人视频序列与视觉轨迹提取单元，利用跟踪算法(可通过现有算法实现)从摄像机拍摄的监控区域内的视频中提取出行人视频序列V；对于一个视频帧中的行人边界框，通过边界框底部中心位置所对应的像素点的经纬度来得到行人在物理世界中的位置，这样，对于一个行人视频序列V，能够得到相应的经纬度轨迹，再经过卡尔曼滤波降低噪声的影响，得到最终的视觉轨迹Tv。，每一个视觉轨迹是由一系列经纬度坐标点构成的集合，记录了行人的位置随时间的变化。
后文所涉及的待查询的行人视频序列、以及数据库中每一行人视频序列都采用上述方式获得，同时，也会提取对应的视觉轨迹。
3、无线定位轨迹获取单元，用于记录监控区域内移动终端的运动轨迹，获得对应的无线定位轨迹。
本发明实施例中，所述无线定位轨迹获取单元，通过基站定位、GPS定位、或者wifi定位方式记录每一个移动终端的运动轨迹；得到M个基于无线定位的经纬度轨迹
Figure BDA0002412363930000041
其中
Figure BDA0002412363930000042
是第m个行人的无线定位轨迹。
图4为视觉轨迹与无线定位轨迹图。视觉轨迹为较短的虚线线段，无线定位轨迹为较长的实线线段。
4、视频特征提取器，用于从行人视频序列中提取出视频特征。
通常情况下，提取出行人视频序列下，可以从中随机选择T个连续视频帧组成一个视频短序列，对于一个批次的数据，会随机选择P个行人，每个行人挑选K个视频短序列。
如图5所示，为视频特征提取器的模型框图，其输入为一系列的视频帧。对于第p个行人的第k个视频中的第t帧图片Vr,k,t，将其送入2维卷积神经网络(CNN)，再经过一个全局平均池化(Pooling)后得到特征表达xr,k,t。对于行人视频序列，其帧特征的平均特征作为视频的特征表达：
Figure BDA0002412363930000051
其中，xp,k,t表示第p个行人的第k个视频中的第t帧图片Vr,k,t的特征表达，T表示行人视频序列中视频帧数目。
所述视频特征提取器需要预先训练，训练数据集包含了P个行人的视频序列集，每一个行人的视频序列集包含了K个视频序列。
训练阶段，对于第p个行人，将第k个视频中的第t帧图片Vr,k,t的特征表达xp,k,t，以及视频的特征表达fp,k经过同一个批归一化(Batch Normalization,BN)、不同的全连接层(Fully Connected Layer,FC)后得到
Figure BDA0002412363930000052
和
Figure BDA0002412363930000053
Figure BDA0002412363930000054
其中，FCx为处理视频帧特征表达xp,k,t时用到的全连接层，FCf为处理视频的特征表达fp,k时用到的全连接层，BN为共享的批归一化层；
视频特征提取器整体的优化目标是：
L＝Lx+Lf×(1-λ)+λ×Lkl+Lt
其中，λ为设定的比例参数，Lx、Lf对应为
Figure BDA0002412363930000055
的交叉熵损失函数，Lt为视频的特征表达fp,k的三元组损失函数；损失函数Lkl为：
Figure BDA0002412363930000056
其中，τ为退火参数，KL(.)为KL散度函数。
5、循环亲和度传播单元，用于利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，以及利用待查询的行人视频序列对应的视觉轨迹与每一无线定位轨迹的距离计算对应的轨迹亲和度，并通过融合两种亲和度实现两种亲和度的循环更新。
所述循环亲和度传播单元主要包括：1)视觉亲和度更新单元，利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，并利用待查询的行人视频序列的视觉轨迹与无线定位轨迹之间的距离，来更新相应视频序列之间的视觉亲和度。2)轨迹亲和度更新单元，用于根据待查询的行人视频序列的视觉轨迹与无线定位轨迹之间距离计算轨迹亲和度，并根据待查询的行人视频序列与其他行人视频序列的视觉亲和度，来更新待查询的行人视频序列的视觉轨迹与无线定位轨迹之间距离，进而更新轨迹亲和度。
两种亲和度的计算方式如下：
1)计算视觉亲和度。
假设数据集中共有N个视频(与前文训练数据集的形式相同，包含了多个行人的视频序列集，每一个行人的视频序列集包含了多个视频序列)，会分别得到其视频特征表达，并计算待查询的行人视频序列与数据库中每一行人视频序列的视频特征表达之间的余弦相似度作为其亲和度，得到亲和度矩阵S。亲和度矩阵S中的元素Si,j表示待查询的行人视频序列Vi与数据库中行人视频序列Vj的视觉亲和度，计算公式为：
Si,j＝Cos(fi,fj)
其中，Cos(.)为余弦相似度函数；fi、fj对应的表示待查询的行人视频序列Vi、数据库中行人视频序列Vj的视觉特征。
2)计算轨迹亲和度。
首先，计算待查询的行人视频序列Vi对应的视觉轨迹
Figure BDA0002412363930000061
与无线定位轨迹的距离，得到距离矩阵D，其中的元素Di,m是指行人视频序列Vi对应的视觉轨迹
Figure BDA0002412363930000062
与第m个行人的无线定位轨迹
Figure BDA0002412363930000063
的距离，计算公式为：
Figure BDA0002412363930000064
其中，d(.)为欧氏距离函数。
对于两个轨迹，计算时间戳相同的点之间的欧氏距离，以这些点的欧氏距离的均值作为两个轨迹之间的距离；当两个轨迹没有时间戳相同的点时，距离定义为无穷大；
然后，根据轨迹距离计算两个轨迹的亲和度为：
Figure BDA0002412363930000065
亲和度越高，表示两个轨迹越匹配。
两种亲和度的更新方式如下：
1)更新视觉亲和度。
计算待查询的行人视频序列Vi的视觉轨迹
Figure BDA0002412363930000066
与M个无线定位轨迹
Figure BDA0002412363930000067
的距离Di＝Di,1,…,Di,M，数据库中行人视频序列Vj的视觉轨迹
Figure BDA0002412363930000071
与M个无线定位轨迹
Figure BDA0002412363930000072
的距离Dj＝Dj,1,…,Dj,M；
如果
Figure BDA0002412363930000073
小于更新阈值σ，则将行人视频序列对(Vi,Vj)加入视觉亲和度可更新组Ψ中；其中，[·]min指求矩阵的最小值，l-1表示第l-1次更新得到的相应数据；
借由轨迹距离更新两个行人视频序列的视觉亲和度：
Figure BDA0002412363930000074
其中，
Figure BDA0002412363930000075
为第l次更新之后得到的视觉亲和度，
Figure BDA0002412363930000076
表示初始时刻计算得到的两个行人视频序列的视觉亲和度。
如图6所示，为视觉亲和度更新单元中的信息传播图，原始的视觉亲和度会借助轨迹信息进行更新。
2)更新轨迹亲和度。
对于待查询的行人视频序列Vi对应的视觉轨迹
Figure BDA0002412363930000077
与第m个行人的无线定位轨迹
Figure BDA0002412363930000078
之间的距离Di,m，采用如下方式进行更新：
Figure BDA0002412363930000079
其中，
Figure BDA00024123639300000710
表示初始时刻计算得到的待查询的行人视频序列Vi对应的视觉轨迹
Figure BDA00024123639300000711
与第m个行人的无线定位轨迹
Figure BDA00024123639300000722
之间的距离，
Figure BDA00024123639300000713
为第l次更新后的距离；Φi为与待查询的行人视频序列Vi视觉亲和度最高的前R个行人视频序列，但若这R个视频序列中有与无线轨迹
Figure BDA00024123639300000714
距离为无穷大的，则其会被移除，此情况下
Figure BDA00024123639300000715
Figure BDA00024123639300000716
表示初始时刻计算得到的行人视频序列Vk对应的视觉轨迹
Figure BDA00024123639300000717
与第m个行人的无线定位轨迹
Figure BDA00024123639300000718
之间的距离，
Figure BDA00024123639300000719
表示第l次更新之后得到行人视频序列Vk与Vi的视觉亲和度；
根据更新得到的
Figure BDA00024123639300000720
得到更新后的轨迹亲和度：
Figure BDA00024123639300000721
如图7所示，为轨迹亲和度更新单元中的信息传播图。原始的轨迹亲和度会借助视觉信息进行更新。
如图8所示，为循环亲和度更新单元的结构图。图6～图8中，符号“/”表示倒数运算，符号“×”表示乘法运算，符号“+”表示加法运算，S与Q之间曲线箭头指向横线箭头表示信息融合。
6、行人重识别单元，利用最终更新得到的视觉亲和度与轨迹亲和度进行行人重识别。
给定一个待查询的行人视频序列Vi，经过循环亲和度更新单元更新L次后(L的具体数值可根据情况自行设定)，获得更新结果
Figure BDA0002412363930000081
和
Figure BDA0002412363930000082
Figure BDA0002412363930000083
Figure BDA0002412363930000084
N为数据库中行人视频序列数目，M为行人数目；这样
Figure BDA0002412363930000085
便度量了待查询的行人视频序列Vi与数据库中各个行人视频序列的相似性，会对其
Figure BDA0002412363930000086
进行降序排序，排名第一对应的行人视频序列与待查询的行人视频序列Vi属于同一个行人的概率最高；同理，对
Figure BDA0002412363930000087
进行降序排序，并设定参数μ(具体数值可根据情况自行设定)，如果排名第一的轨迹亲密度小于μ，则认为待查询的行人视频序列Vi没有对应的无线定位轨迹，否则，排名第一对应的无线定位轨迹即为待查询的行人视频序列Vi对应的轨迹。
至此，给定一个待查询的行人视频序列Vi后，便能在数据库中的找到对应的视频序列和其对应的无线定位轨迹。根据无线定位轨迹对应的身份信息，我们便可以了解到此人的身份。在后续的跟踪检索时，我们便可以直接由此无线定位轨迹附近的摄像机拍摄的视频构建数据库并通过我们的算法检索视频。这种策略会更加节省计算开销，避免了搜索整个城市范围的监控数据。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于监控相机和无线定位的行人重识别系统，其特征在于，包括：
定位标注单元，用于对监控区域内的场景进行经纬度标注；
行人视频序列与视觉轨迹提取单元，用于从摄像机拍摄的监控区域内的视频中提取出行人视频序列，并根据视频序列中标注的经纬度，提取相应的视觉轨迹；
无线定位轨迹获取单元，用于记录监控区域内移动终端的运动轨迹，获得对应的无线定位轨迹；
视频特征提取器，用于从行人视频序列中提取出视频特征；
循环亲和度传播单元，用于利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，以及利用待查询的行人视频序列对应的视觉轨迹与每一无线定位轨迹的距离计算对应的轨迹亲和度，并通过融合两种亲和度实现两种亲和度的循环更新；
行人重识别单元，利用最终更新得到的视觉亲和度与轨迹亲和度进行行人重识别。
2.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述定位标注单元，利用GPS定位仪器监控区域内的场景进行网格定位，从而获得每一视频帧中网格点对应像素的经纬度坐标，再通过近邻差值计算出每个像素点的经纬度，完成经纬度标注；
所述无线定位轨迹获取单元，通过基站定位、GPS定位、或者wifi定位方式记录每一个移动终端的运动轨迹；得到M个基于无线定位的经纬度轨迹
Figure FDA0002412363920000011
其中
Figure FDA0002412363920000012
是第m个行人的无线定位轨迹。
3.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述行人视频序列与视觉轨迹提取单元，利用跟踪算法从摄像机拍摄的监控区域内的视频中提取出行人视频序列V；对于一个视频帧中的行人边界框，通过边界框底部中心位置所对应的像素点的经纬度来得到行人在物理世界中的位置，这样，对于一个行人视频序列V，能够得到相应的经纬度轨迹，再经过卡尔曼滤波降低噪声的影响，得到最终的视觉轨迹Tv。
4.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，从行人视频序列中提取出视频特征包括：
将每一行人视频序列中的视频帧依次输入至2维卷积神经网络，再经过一个全局平均池化后得到每一视频帧的特征表达；对于行人视频序列，其帧特征的平均特征作为视频的特征表达：
Figure FDA0002412363920000021
其中，xp，k，t表示第p个行人的第k个视频中的第t帧图片Vr，k，t的特征表达，T表示行人视频序列中视频帧数目。
5.根据权利要求4所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述视频特征提取器需要预先训练，训练数据集包含了P个行人的视频序列集，每一个行人的视频序列集包含了K个视频序列；
训练阶段，对于第p个行人，将第k个视频中的第t帧图片Vr，k，t的特征表达xp，k，t，以及视频的特征表达fp，k同一个批归一化、不同的全连接层后得到
Figure FDA0002412363920000022
和
Figure FDA0002412363920000023
Figure FDA0002412363920000024
其中，FCx为处理视频帧特征表达xp，k，t时用到的全连接层，FCf为处理视频的特征表达fp，k时用到的全连接层，BN为共享的批归一化层；
视频特征提取器整体的优化目标是：
L＝Lx+Lf×(1-λ)+λ×Lkl+Lt
其中，λ为设定的比例参数，Lx、Lf对应为
Figure FDA0002412363920000025
的交叉熵损失函数，Lt为视频的特征表达fp，k的三元组损失函数；损失函数Lkl为：
Figure FDA0002412363920000026
其中，τ为退火参数，KL(·)为KL散度函数。
6.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，所述循环亲和度传播单元包括：
视觉亲和度更新单元，利用视频特征计算待查询的行人视频序列与数据库中每一行人视频序列之间的视觉亲和度，并利用待查询的行人视频序列的视觉轨迹与无线定位轨迹之间的距离，来更新相应视频序列之间的视觉亲和度；
轨迹亲和度更新单元，用于根据待查询的行人视频序列的视觉轨迹与无线定位轨迹之间距离计算轨迹亲和度，并根据待查询的行人视频序列与其他行人视频序列的视觉亲和度，来更新待查询的行人视频序列的视觉轨迹与无线定位轨迹之间距离，进而更新轨迹亲和度。
7.根据权利要求1或6所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，
视觉亲和度的计算公式为：
Si，j＝Cos(fi，fj)
其中，Si，j表示待查询的行人视频序列Vi与数据库中行人视频序列Vj的视觉亲和度；Cos(·)为余弦相似度函数；fi、fj对应的表示待查询的行人视频序列Vi、数据库中行人视频序列Vj的视觉特征；
轨迹亲和度的计算方式为：
首先，计算待查询的行人视频序列对应的视觉轨迹与无线定位轨迹的距离：
Figure FDA0002412363920000031
其中，d(·)为欧氏距离函数，
Figure FDA0002412363920000032
分别为行人视频序列Vi对应的视觉轨迹、第m个行人的无线定位轨迹；
对于两个轨迹，计算时间戳相同的点之间的欧氏距离，以这些点的欧氏距离的均值作为两个轨迹之间的距离；当两个轨迹没有时间戳相同的点时，距离定义为无穷大；
然后，根据轨迹距离计算两个轨迹的亲和度为：
Figure FDA0002412363920000033
8.根据权利要求1或6所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，更新的视觉亲和度的方式包括：
计算待查询的行人视频序列Vi的视觉轨迹
Figure FDA0002412363920000034
与M个无线定位轨迹
Figure FDA0002412363920000035
的距离Di＝Di，1，…，Di，M，数据库中行人视频序列Vj的视觉轨迹
Figure FDA0002412363920000036
与M个无线定位轨迹
Figure FDA0002412363920000037
的距离Dj＝Dj，1，...，Dj，M；
如果
Figure FDA0002412363920000038
小于更新阈值σ，则将行人视频序列对(Vi，Vj)加入视觉亲和度可更新组Ψ中；其中，[·]min指求矩阵的最小值，l-1表示第l-1次更新得到的相应数据；
借由轨迹距离更新两个行人视频序列的视觉亲和度：
Figure FDA0002412363920000039
其中，
Figure FDA00024123639200000310
为第l次更新之后得到的视觉亲和度，
Figure FDA00024123639200000311
表示初始时刻计算得到的两个行人视频序列的视觉亲和度。
9.根据权利要求6所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，
对于待查询的行人视频序列Vi对应的视觉轨迹
Figure FDA0002412363920000041
与第m个行人的无线定位轨迹
Figure FDA0002412363920000042
之间的距离Di，m，采用如下方式进行更新：
Figure FDA0002412363920000043
其中，
Figure FDA0002412363920000044
表示初始时刻计算得到的待查询的行人视频序列Vi对应的视觉轨迹
Figure FDA0002412363920000045
与第m个行人的无线定位轨迹
Figure FDA0002412363920000046
之间的距离，
Figure FDA0002412363920000047
为第l次更新后的距离；Φi为与待查询的行人视频序列Vi视觉亲和度最高的前R个行人视频序列，但若这R个视频序列中有与无线轨迹
Figure FDA0002412363920000048
距离为无穷大的，则其会被移除，此情况下
Figure FDA0002412363920000049
Figure FDA00024123639200000410
表示初始时刻计算得到的行人视频序列Vk对应的视觉轨迹
Figure FDA00024123639200000411
与第m个行人的无线定位轨迹
Figure FDA00024123639200000412
之间的距离，
Figure FDA00024123639200000413
表示第l次更新之后得到行人视频序列Vk与Vi的视觉亲和度；
根据更新得到的
Figure FDA00024123639200000414
得到更新后的轨迹亲和度：
Figure FDA00024123639200000415
10.根据权利要求1所述的一种基于监控相机和无线定位的行人重识别系统，其特征在于，最终更新的到的视觉亲和度与轨迹亲和度进行行人重识别包括：
对于待查询的行人视频序列Vi，经过循环亲和度更新单元更新L次后，获得视觉亲和度与轨迹亲和度更新结果
Figure FDA00024123639200000416
和
Figure FDA00024123639200000417
N为数据库中行人视频序列数目，M为行人数目；对
Figure FDA00024123639200000418
进行降序排序，排名第一对应的行人视频序列与待查询的行人视频序列Vi属于同一个行人的概率最高；对
Figure FDA00024123639200000419
进行降序排序，并设定参数μ，如果排名第一的轨迹亲密度小于μ，则认为待查询的行人视频序列Vi没有对应的无线定位轨迹，否则，排名第一对应的无线定位轨迹即为待查询的行人视频序列Vi对应的轨迹；
之后，还能够通过查找到的无线定位轨迹，确定行人的身份信息；同时，直接根据无线定位轨迹调用相应摄像机拍摄的视频，进行后续跟踪。
CN202010180502.2A 2020-03-16 2020-03-16 基于监控相机和无线定位的行人重识别系统 Active CN111310728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010180502.2A CN111310728B (zh) 2020-03-16 2020-03-16 基于监控相机和无线定位的行人重识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180502.2A CN111310728B (zh) 2020-03-16 2020-03-16 基于监控相机和无线定位的行人重识别系统

Publications (2)

Publication Number Publication Date
CN111310728A true CN111310728A (zh) 2020-06-19
CN111310728B CN111310728B (zh) 2022-07-15

Family

ID=71158708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180502.2A Active CN111310728B (zh) 2020-03-16 2020-03-16 基于监控相机和无线定位的行人重识别系统

Country Status (1)

Country Link
CN (1) CN111310728B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112818787A (zh) * 2021-01-23 2021-05-18 福州视驰科技有限公司 融合卷积神经网络和特征相似度学习的多目标跟踪方法
CN113361392A (zh) * 2021-06-04 2021-09-07 中国科学技术大学 无监督的基于相机和无线定位的多模态行人重识别方法
JP2022082493A (ja) * 2020-11-23 2022-06-02 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
WO2022252519A1 (zh) * 2021-05-31 2022-12-08 深圳市商汤科技有限公司 图像处理方法、装置、终端、介质和程序
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170078626A1 (en) * 2015-09-16 2017-03-16 Microsoft Technology Licensing, Llc Bandwidth efficient video surveillance system
CN109697391A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 封闭场所内人物再识别的方法、系统及终端设备
CN110110601A (zh) * 2019-04-04 2019-08-09 深圳久凌软件技术有限公司 基于多时空注意力模型的视频行人重识别算法及装置
CN110232330A (zh) * 2019-05-23 2019-09-13 复钧智能科技(苏州)有限公司 一种基于视频检测的行人重识别方法
CN110796040A (zh) * 2019-10-15 2020-02-14 武汉大学 一种基于多元空间轨迹关联的行人身份识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170078626A1 (en) * 2015-09-16 2017-03-16 Microsoft Technology Licensing, Llc Bandwidth efficient video surveillance system
CN109697391A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 封闭场所内人物再识别的方法、系统及终端设备
CN110110601A (zh) * 2019-04-04 2019-08-09 深圳久凌软件技术有限公司 基于多时空注意力模型的视频行人重识别算法及装置
CN110232330A (zh) * 2019-05-23 2019-09-13 复钧智能科技(苏州)有限公司 一种基于视频检测的行人重识别方法
CN110796040A (zh) * 2019-10-15 2020-02-14 武汉大学 一种基于多元空间轨迹关联的行人身份识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
THUNWA SATTRUPAI等: "Deep Trajectory Based Gait Recognition for Human Re-identification", 《TENCON 2018 - 2018 IEEE REGION 10 CONFERENCE》 *
彭志勇: "智能视频监控系统中的行人重识别方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022082493A (ja) * 2020-11-23 2022-06-02 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
JP7136500B2 (ja) 2020-11-23 2022-09-13 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112818787A (zh) * 2021-01-23 2021-05-18 福州视驰科技有限公司 融合卷积神经网络和特征相似度学习的多目标跟踪方法
CN112818787B (zh) * 2021-01-23 2024-01-19 福州视驰科技有限公司 融合卷积神经网络和特征相似度学习的多目标跟踪方法
WO2022252519A1 (zh) * 2021-05-31 2022-12-08 深圳市商汤科技有限公司 图像处理方法、装置、终端、介质和程序
CN113361392A (zh) * 2021-06-04 2021-09-07 中国科学技术大学 无监督的基于相机和无线定位的多模态行人重识别方法
CN113361392B (zh) * 2021-06-04 2022-07-15 中国科学技术大学 无监督的基于相机和无线定位的多模态行人重识别方法

Also Published As

Publication number Publication date
CN111310728B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN111598067B (zh) 视频中重识别训练方法、重识别方法及存储装置
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
Vishal et al. Accurate localization by fusing images and GPS signals
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN112445929B (zh) 视觉定位方法及相关装置
Choe et al. Traffic analysis with low frame rate camera networks
CN110636248B (zh) 目标跟踪方法与装置
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质
CN112949539A (zh) 一种基于摄像头位置的行人重识别交互检索方法及系统
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
Bui et al. D2S: Representing local descriptors and global scene coordinates for camera relocalization
Liu et al. Vision meets wireless positioning: Effective person re-identification with recurrent context propagation
CN115131705A (zh) 目标检测方法、装置、电子设备及存储介质
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN113627497B (zh) 一种基于时空约束的跨摄像头行人轨迹匹配方法
CN110738167A (zh) 一种基于多域空间属性关联分析的行人辨识方法
Zhang et al. Multi-Moving Camera Pedestrian Tracking with a New Dataset and Global Link Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant