CN117576146A - 建筑内多路摄像机跨视域行人轨迹还原方法和系统 - Google Patents

建筑内多路摄像机跨视域行人轨迹还原方法和系统 Download PDF

Info

Publication number
CN117576146A
CN117576146A CN202311482276.3A CN202311482276A CN117576146A CN 117576146 A CN117576146 A CN 117576146A CN 202311482276 A CN202311482276 A CN 202311482276A CN 117576146 A CN117576146 A CN 117576146A
Authority
CN
China
Prior art keywords
pedestrian
camera
tracking
picture
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311482276.3A
Other languages
English (en)
Other versions
CN117576146B (zh
Inventor
陶振翔
胡培峰
刘潇瀚
李滢
张平
杨锐
吴建松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202311482276.3A priority Critical patent/CN117576146B/zh
Publication of CN117576146A publication Critical patent/CN117576146A/zh
Application granted granted Critical
Publication of CN117576146B publication Critical patent/CN117576146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种建筑内多路摄像机跨视域行人轨迹还原方法和系统。该方法包括：确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；建立基于动态规划的广度优先搜索算法，确定待关联行人图片；根据多路摄像机跟踪任务的移交方式，以及跨视域时空约束条件，将待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合。籍以，实现了对行人在建筑内跨视域多个摄像机节点下的运动轨迹进行还原，重建出行人在建筑内的运动轨迹，明确建筑内行人的运动模式，有助于建筑安防、设备节能、人员轨迹溯源、接触聚集分析等。

Description

建筑内多路摄像机跨视域行人轨迹还原方法和系统
技术领域
本申请涉及建筑图像处理技术领域，特别涉及一种建筑内多路摄像机跨视域行人轨迹还原方法和系统。
背景技术
跨视域多路摄像机场景下的行人轨迹还原主要应用于户外开放场景，缺少对于建筑室内场景下的泛化应用。相较于户外开放场景，建筑楼宇内部的光照亮度普遍较弱
而现有的行人轨迹还原方法在单路摄像机场景下较为成熟，然而，受制于摄像机的安装和室内人员的隐私保护要求，建筑楼宇内部难以实现监控摄像机的大面积覆盖，已有安防摄像机主要部署于走廊、电梯间等开放公共区域，由此导致了不同摄像机的监控视域之间存在着大量的监控盲区，并造成了行人轨迹信息的不完整；同时，建筑楼宇内部楼层高度的限制和摄像机的实际安装，现有安防摄像机的监控画面中也时常出现不同行人之间的遮挡问题，造成行人持续性跟踪的困难。
因而，亟需提供一种针对上述现有技术不足的技术方案。
发明内容
本申请的目的在于提供一种建筑内多路摄像机跨视域行人轨迹还原方法和系统，以解决或缓解上述现有技术中存在的问题。
为了实现上述目的，本申请提供如下技术方案：
本申请实施例提供一种建筑内多路摄像机跨视域行人轨迹还原方法，包括：步骤S101、确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；步骤S102、建立基于动态规划的广度优先搜索算法，确定待关联行人图片；步骤S103、根据多路所述摄像机跟踪任务的移交方式，以及所述跨视域时空约束条件，将所述待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合；其中，
；
；
表示第/>号行人，/> 表示多路所述摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；/>表示行人/>在第/>路所述摄像机/>下的单路跟踪轨迹；/>表示所述摄像机的数量，/>均为正整数。
优选的，在步骤S101中，所述确定跨视域行人轨迹还原时摄像机跟踪任务的移交方式包括：基于预先建立的行人运动状态机模型，确定行人在建筑内多路所述摄像机下跨视域的连续运动状态，以及行人在不同监控区域之间迁移时的状态变化。
优选的，在步骤S101中，行人在建筑内不同视域之间的跨视域时空约束条件包括：
；
其中，表示行人/>在建筑内行走过程中，被首次检测得到时的摄像机的编号；/>表示行人/>被首次检测得到时的所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机检测得到的行人图片；/>表示行人/>由第/>路所述摄像机/>运动到第/>路所述摄像机/>时的跨视域迁移概率；
表示行人/>离开建筑前，最后一次被检测得到时的摄像机的编号；表示行人/>从所述摄像机/>行走到所述摄像机/>的完整用时；/>表示行人/>在第/>路所述摄像机/>下的停留时间；/>表示行人/>由第/>路所述摄像机/>至相邻的第/>路所述摄像机/>的迁移时间；
表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示预设排序间隔阈值；/>表示/>与/>的相似性排序；表示/>与/>的相似性排序；/>表示/>与/>的相似性排序。
优选的，在步骤S102中，所述建立基于动态规划的广度优先搜索算法，确定待关联行人图片，包括：对多路所述摄像机的连续多帧行人跟踪图片进行聚类操作，并对所述连续多帧行人跟踪图片的特征点和聚类中心进行排序后，得到待匹配行人图片数据库；基于动态规划的广度优先搜索算法对所述待匹配行人图片数据库进行遍历，确定所述待关联行人图片。
优选的，在步骤S102中，所述基于动态规划的广度优先搜索算法对所述待匹配行人图片数据库进行遍历，确定所述待关联行人图片，包括：
按照公式：
；
确定行人在第/>路所述摄像机/>下的待关联行人图片/>；其中，/>表示/>时刻行人/>在第/>路所述摄像机/>下的连续多帧行人跟踪图片/>与不同行人的已有跟踪轨迹集合/>中的图片之间的相似性，/>表示行人/>的连续多帧行人跟踪图片/>中除待关联行人图片/>之外的其它图片的图片特征向量；/>表示所述已有跟踪轨迹集合/>中的图片特征向量；/>表示所述待关联图片/>的图片特征向量。
优选的，步骤S103中，所述将所述待关联行人图片指派给已有跟踪轨迹，包括：
按照公式：
；
确定待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>；其中，所述待关联行人图片/>为行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示所述待关联图片/>的图片特征向量；/>表示所述已有跟踪轨迹集合/>中的图片特征向量；
根据所述待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>，将所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹进行匹配；其中，
；
式中，表示第/>号行人，/>为正整数，且；/>行人/>的已有运动轨迹。
优选的，步骤S103中，所述进行跨视域行人轨迹关联，包括：响应于所述待关联行人图片与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于等于预设最大相似性阈值/>则所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹相匹配，在所述已有跟踪轨迹集合/>中对相对应的已有跟踪轨迹与行人/>在第/>路所述摄像机/>下单路跟踪轨迹/>进行拼接；响应于所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>小于等于预设最小相似性阈值/>则所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹均无法匹配，在所述已有跟踪轨迹集合/>中添加行人/>在第/>路所述摄像机/>下单路跟踪轨迹/>；响应于所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于所述最小相似性阈值/>小于所述最大相似性阈值/>，则将所述待关联行人图片/>由所述待匹配行人图片数据库中丢弃。
本申请实施例还提供一种建筑内多路摄像机跨视域行人轨迹还原系统，包括：任务约束及移交单元，配置为确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；待匹配图片确定单元，配置为建立基于动态规划的广度优先搜索算法，确定待关联行人图片；轨迹匹配单元，配置为根据多路所述摄像机跟踪任务的移交方式，以及所述跨视域时空约束条件，将所述待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合；其中，
；
；
表示第/>号行人，/>表示多路所述摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；/>表示行人/>在第/>路所述摄像机/>下的单路跟踪轨迹；/>表示所述摄像机的数量，/>均为正整数。
有益效果：
本申请实施例提供的建筑内多路摄像机跨视域行人轨迹还原方法，首先，确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；然后，建立基于动态规划的广度优先搜索算法，确定待匹配的行人图片；最后，根据多路摄像机跟踪任务的移交方式，以及跨视域时空约束条件，将待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动根轨迹集合。籍以，在摄像机获取的局部信息的基础上，基于非完整的监测信息，融合行人运动过程中的时空约束，实现不同摄像机下的行人轨迹拼接，利用非完整行人轨迹，进行跨视域多路摄像机行人轨迹片段的融合，构建最优的轨迹集合，修正错误匹配，对行人在建筑内跨视域多个摄像机节点下的运动轨迹进行还原，重建出行人在建筑内的运动轨迹，明确建筑内行人的运动模式，有助于建筑安防、设备节能、人员轨迹溯源、接触聚集分析等。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
图1为根据本申请的一些实施例提供的一种建筑内多路摄像机跨视域行人轨迹还原方法的流程示意图；
图2为根据本申请的一些实施例提供的一种建筑内多路摄像机跨视域行人轨迹还原方法的逻辑示意图；
图3为根据本申请的一些实施例提供的一建筑内多路摄像机跨视域行人轨迹还原示意图；
图4为图3所示实施例中一处监控区域的行人运动轨迹还原的示意图；
图5为图3所示实施例中另一处监控区域的行人运动轨迹还原的示意图；
图6为图3所示实施例中又一处监控区域的行人运动轨迹还原的示意图；
图7为图3所示实施例中再一处监控区域的行人运动轨迹还原的示意图；
图8为根据本申请的一些实施例提供的一种建筑内多路摄像机跨视域行人轨迹还原系统的结构示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
建筑内的人员运动轨迹，是指行人从进入建筑场景至最终离开建筑这一完整运动过程中所产生的行走轨迹，然而，在跨视域多摄像机场景下人员轨迹重建存在这突出问题，主要表现在：（1）由于监控盲区的存在，安防监控系统监测得到的人员信息发生丢失，难以获取行人运动轨迹的全貌，不同监控视野下仅获取了行人完整轨迹的一部分；（2）不同行人轨迹的起点和终点位置是不同的，行人运动过程中经过的摄像机数量和监控视野也不尽相同，并且不同摄像机视频下的行人外观与朝向也发生了较大的变化，增加了行人轨迹重建的不确定性；（3）行人在摄像机网络场景下的不同摄像机节点间反复穿行，当局部摄像机之间的行人轨迹发生丢失或误匹配，会造成后续多条行人轨迹重建的错误。
本申请中，跨视域人员轨迹重建是指从不同摄像机的监控视频中对行人个体进行持续性跟踪，摄像机的监控覆盖范围之间彼此无重叠。即在建筑跨视域场景下，每一路摄像机仅获取行人完整运动轨迹的一部分，通过对多路摄像机下获得的非完整的行人跟踪轨迹，进行联合分析与数据融合，弥补由于监控盲区造成的行人跟踪信息的不连续。
在跨视域人员轨迹重建中，从不同摄像机下对特定行人进行持续性检索与跟踪，明确行人在不同摄像机下的出现的先后顺序；基于已有的人员检测结果与跨视域人员匹配结果，对行人在连续多个摄像机节点间的迁移运动过程进行分析，实现多路摄像机场景下人员轨迹数据的有效融合，明确行人在多个不同摄像机之间迁移的时序信息，从而实现行人非完整运动轨迹的重建。
基于此，本申请提出了一种建筑内多路摄像机跨视域行人轨迹还原方法，在摄像机获取的局部信息的基础上，基于非完整的监测信息，融合行人运动过程中的时空约束，实现不同摄像机下的行人轨迹拼接，利用非完整行人轨迹，进行跨视域多路摄像机行人轨迹片段的融合，构建最优的轨迹集合，修正错误匹配，对行人在建筑内跨视域多个摄像机节点下的运动轨迹进行还原，重建出行人在建筑内的运动轨迹。
如图1至图7所示，该建筑内多路摄像机跨视域行人轨迹还原方法包括：
步骤S101、确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式。
行人在建筑内的完整运动轨迹，由多路摄像机下的跟踪结果共同构成，单一摄像机无法完成全部的跟踪任务。多路无重叠摄像机的相互协作，共同完成行人在建筑内的运动轨迹的重建；而行人在不同监控视域之间的行走过程，涉及到摄像机之间跟踪任务的移交。本申请中，在确定跨视域行人轨迹还原时摄像机跟踪任务的移交方式时，基于预先建立的行人运动状态机机模型，确定行人在建筑内多路摄像机下跨视域的连续运动状态，以及行人在不同监控区域之间迁移时的状态变化。
具体的，将单个行人所处的监测状态及状态之间的转移，通过有限状态机模型进行表示，具体包括三个状态：跟踪状态、暂态、消失状态。当建筑监控场景首次检测到行人（/>表示多路摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数）时，行人/>的状态处于跟踪状态。在离开特定监控视域之前，行人/>的状态保持为跟踪状态不变。随着运动过程的持续进行，行人/>离开监控视域后，摄像机无法再次检测到行人/>，此时行人/>处于暂态。
随着时间的推移，摄像机之间的任务协作包括三种情形：（1）行人走出盲区，返回上一监控场景；此时行人行人/>的状态由暂态切换为跟踪状态，上一监控场景下的摄像机继续进行跟踪任务。同时，检测得到的图片将被添加到行人/>的已有跟踪轨迹的末尾，跟踪任务持续进行。（2）行人行人/>走出盲区，进入相邻摄像机的监控视域，此时行人/>的状态由暂态切换为跟踪状态，跟踪任务移交给相邻摄像机。同时，检测得到的图片将被添加到行人/>的已有跟踪轨迹的末尾，跟踪任务持续进行。（3）行人/>处于暂态的延时时间超出时间阈值设定，即认定该行人离开建筑，此时跟踪任务结束，与之对应的行人/>的跟踪轨迹停止更新。
随着建筑场景内摄像机数量的不断增多，多样化的监控场景造成了行人检索难度的上升，行人在多个监控视域之间运动时，监控盲区带来的行人监测信息的不完整，造成了跨视域行人轨迹还原的不确定性，与此同时，行人在建筑内的连续运动过程受到多方面的约束：从建筑结构和行人运动过程看，行人在建筑内不同区域之间存在迁移选择的限制；从多路摄像机跟踪结构看，行人在多个摄像机下的跟踪结构满足循环一致性约束。本申请中，通过上述约束有效消除跨视域行人误匹配及由此造成的轨迹还原的不确定性。
具体的，行人在建筑内不同视域之间的跨视域时空约束条件包括：
；
其中，表示行人/>在建筑内行走过程中，被首次检测得到时的摄像机的编号；/>表示行人/>被首次检测得到时的摄像机/>检测得到的行人图片；/>表示行人/>被第/>路摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路摄像机/>检测得到的行人图片；/>表示行人/>由第/>路摄像机/>运动到第/>路摄像机/>时的跨视域迁移概率。
表示行人/>离开建筑前，最后一次被检测得到时的摄像机的编号；表示行人/>从摄像机/>行走到摄像机/>的完整用时；/>表示行人/>在第/>路摄像机/>下的停留时间；/>表示行人/>由第/>路摄像机/>至相邻的第/>路摄像机/>的迁移时间。
表示行人/>被第/>路摄像机/>检测得到的行人图片；/>表示行人/>被第/>路摄像机/>检测得到的行人图片；/>表示行人/>被第/>路摄像机/>检测得到的行人图片；/>表示预设排序间隔阈值；/>表示/>与/>的相似性排序；/>表示/>与/>的相似性排序；/>表示/>与/>的相似性排序。
在此，定义行人下一时刻的跟踪结果只与当前摄像机有关，而与上一摄像机的跟踪结构是条件独立的，通过融合行人在不同摄像机之间的跨视域迁移选择概率，有效提升了跨视域行人再辨识的准确性。跨视域行人匹配是从其余摄像机的检测结果中，检索出当前摄像机下的相同行人个体，行人从摄像机/>行走至摄像机/>为行人/>的完整运动过程，所花费的时间为行人/>的完整运动过程的完整用时，其主要由单个摄像机下的停留时间/>与相邻摄像机下的迁移时间/>共同组成。即：
；
行人在多个不同监控视域之间的运动该过程，不同摄像机下行人/>的检测结果满足跨视域排序一致性约束。即满足：
；
通过不同摄像机节点之间的检测排序结果的一致性约束，进一步消除了单纯依靠行人外观特征带来的不确定性，有效提升检测匹配的准确性。
步骤S102、建立基于动态规划的广度优选搜索算法，确定待关联行人图片。
具体的，跨视域的行人跟踪轨迹由不同摄像机下的连续多帧行人跟踪给图片及对应的时空信息构成，多帧行人跟踪图片中的离群点和异常值，容易误匹配至已有跟踪轨迹，并造成后续多条行人轨迹出错。为了消除行人跟踪轨迹上连续多帧行人跟踪图片的冗余及噪声，通过多帧行人跟踪图片特征聚类操作，并对特征点和聚类中心进行排序，消除离群点及异常值，消除离群点及异常值后的行人跟踪图片组成待匹配行人图片数据库。
在进行离群点及异常值消除后，基于动态规划的广度优先搜索算法，对待匹配行人图片数据库中的行人跟踪图片进行遍历，选择最新时刻的行人跟踪图片作为候选行人跟踪结果，即待关联行人图片。在此，需要说明的是，待关联行人图片包括最新时刻的全部行人跟踪图片。
本申请中，用集合表示行人/>在第/>路摄像机/>下的连续多帧行人跟踪图片；用/>表示不同行人的已有跟踪轨迹的已有跟踪轨迹集合。其中，
；
式中，表示第/>号行人，/> 为正整数，且；/>行人/>的已有运动轨迹。将所有待关联行人图片分别与不同行人的已有跟踪轨迹集合/>的图片进行相似性比较，以将待关联行人图片与已有跟踪轨迹进行关联。
通过集合连续多帧行人跟踪图片的图片特征，以及已有跟踪轨迹集合/>中图片的图片特征，通过余弦距离对集合/>与已有跟踪轨迹集合/>的相似性进行度量，进而确定行人/>在第/>路摄像机/>下的待关联行人图片/>。具体的，按照公式：
；
确定行人在第/>路摄像机/>下的待关联行人图片/>。式中，/>表示/>时刻行人在第/>路摄像机/>下的连续多帧行人跟踪图片/>与不同行人的已有跟踪轨迹集合/>中的图片之间的相似性，/>表示行人/>的连续多帧行人跟踪图片/>中除待关联行人图片/>之外的其它图片的图片特征向量；/>表示已有跟踪轨迹集合/>中的图片特征向量；/>表示待关联图片/>的图片特征向量。
步骤S103、根据多路摄像机跟踪任务的移交方法，以及跨视域时空约束条件，将待关联行人图片指派给已有跟踪根轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合。
其中，行人的运动轨迹集合用表示，
；
；
表示第/>号行人，/>表示多路摄像机的行人检测结果的集合中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；/>表示行人/>在第/>路摄像机/>下的单路跟踪轨迹；/>表示摄像机的数量，/>均为正整数。
本申请中，在将待关联行人图片指派给已有跟踪根轨迹时，通过待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>，判断待关联行人图片/>与已有跟踪轨迹之间是否匹配。具体的，按照公式：
；
确定待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>；其中，待关联行人图片/>为行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>的连续多帧行人跟踪图片/>中除待关联行人图片/>之外的其它图片的图片特征向量；/>表示所述待关联图片/>的图片特征向量；/>表示所述已有跟踪轨迹集合/>中的图片特征向量。
然后，根据待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>，将待关联行人图片/>与已有跟踪轨迹集合/>中的已有跟踪轨迹进行匹配，进行跨视域行人轨迹关联。在建筑跨视域监控场景下，每一路摄像机均只获得了行人完整运动轨迹的一部分（即单路跟踪轨迹），基于动态规划的广度优先搜索算法，获取最新时刻的行人检测结果，并遍历已有的行人轨迹，将最新时刻的行人跟踪图片逐步添加到匹配轨迹的末尾，实现跨视域行人轨迹片段的融合，并现有的行人轨迹进行更新。
具体的，当待关联行人图片与已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于等于预设最大相似性阈值/>则待关联行人图片/>与已有跟踪轨迹集合/>中的已有跟踪轨迹相匹配，在已有跟踪轨迹集合/>中对相对应的已有跟踪轨迹与行人/>在第/>路摄像机/>下单路跟踪轨迹/>进行拼接。
当待关联行人图片与已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>小于等于预设最小相似性阈值/>则待关联行人图片/>与已有跟踪轨迹集合中的已有跟踪轨迹均无法匹配，在已有跟踪轨迹集合/>中添加行人/>在第/>路所述摄像机/>下单路跟踪轨迹/>。
当待关联行人图片与已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于最小相似性阈值/>且小于最大相似性阈值/>，即（），则将待关联行人图片/>由待匹配行人图片数据库中丢弃。
本申请中，在摄像机获取的局部信息的基础上，通过对多路摄像机获得的非完整行人监测信息的联合分析，基于非完整的监测信息，融合行人运动过程中的时空约束，实现多路摄像机场景下的行人轨迹片段拼接，利用非完整行人轨迹，进行跨视域多路摄像机行人轨迹片段的融合，构建最优的轨迹集合，修正错误匹配，对行人在建筑内跨视域多个摄像机节点下的运动轨迹进行还原，重建出行人在建筑内的运动轨迹，定量化描述了非完整轨迹数据融合结果，很好的实现了非完整轨迹数据的重建。
而且，在此过程中，利用的是无重叠摄像机网络，不要求摄像机之间的覆盖范围有重叠，能够更好地适应建筑内已有摄像机的安装部署，有助于建筑安防，明确建筑内行人的运动模式，实现建筑机电设备的节能、人员轨迹溯源、人员的接触聚集分析等。
如图8所示，本申请实施例还提供一种建筑内多路摄像机跨视域行人轨迹还原系统，该系统包括：任务约束及移交单元801、待匹配图片确定单元802和轨迹匹配单元803。
任务约束及移交单元801，配置为确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式。待匹配图片确定单元802，配置为建立基于动态规划的广度优先搜索算法，确定待关联行人图片；轨迹匹配单元803，配置为根据多路摄像机跟踪赶任务的移交方式，以及跨视域时空约束条件，将待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合。
其中，
；
；
表示第/>号行人，/> 表示多路所述摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；/>表示行人/>在第/>路所述摄像机/>下的单路跟踪轨迹；/>表示所述摄像机的数量，/>均为正整数。
本申请实施例提供的建筑内多路摄像机跨视域行人轨迹还原系统，能够实现上述任一建筑内多路摄像机跨视域行人轨迹还原方法实施例的步骤、流程，并达到相同的技术效果，在此不再一一赘述。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，包括：
步骤S101、确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；
步骤S102、建立基于动态规划的广度优先搜索算法，确定待关联行人图片；
步骤S103、根据多路所述摄像机跟踪任务的移交方式，以及所述跨视域时空约束条件，将所述待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合；
其中，
；
；
表示第/>号行人，/>表示多路所述摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；
表示行人/>在第/>路所述摄像机/>下的单路跟踪轨迹；/>表示所述摄像机的数量，/>均为正整数。
2.根据权利要求1所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，在步骤S101中，所述确定跨视域行人轨迹还原时摄像机跟踪任务的移交方式包括：
基于预先建立的行人运动状态机模型，确定行人在建筑内多路所述摄像机下跨视域的连续运动状态，以及行人在不同监控区域之间迁移时的状态变化。
3.根据权利要求1所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，在步骤S101中，行人在建筑内不同视域之间的跨视域时空约束条件包括：
；
其中，表示行人/>在建筑内行走过程中，被首次检测得到时的摄像机的编号；/>表示行人/>被首次检测得到时的所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机检测得到的行人图片；/>表示行人/>由第/>路所述摄像机/>运动到第/>路所述摄像机/>时的跨视域迁移概率；
表示行人/>离开建筑前，最后一次被检测得到时的摄像机的编号；/>表示行人/>从所述摄像机/>行走到所述摄像机/>的完整用时；/>表示行人/>在第/>路所述摄像机/>下的停留时间；/>表示行人/>由第/>路所述摄像机/>至相邻的第路所述摄像机/>的迁移时间；
表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示预设排序间隔阈值；/>表示/>与/>的相似性排序；表示/>与/>的相似性排序；/>表示/>与/>的相似性排序。
4.根据权利要求3所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，在步骤S102中，所述建立基于动态规划的广度优先搜索算法，确定待关联行人图片，包括：
对多路所述摄像机的连续多帧行人跟踪图片进行聚类操作，并对所述连续多帧行人跟踪图片的特征点和聚类中心进行排序后，得到待匹配行人图片数据库；
基于动态规划的广度优先搜索算法对所述待匹配行人图片数据库进行遍历，确定所述待关联行人图片。
5.根据权利要求4所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，在步骤S102中，所述基于动态规划的广度优先搜索算法对所述待匹配行人图片数据库进行遍历，确定所述待关联行人图片，包括：
按照公式：
；
确定行人在第/>路所述摄像机/>下的待关联行人图片/>；
表示/>时刻行人/>在第/>路所述摄像机/>下的连续多帧行人跟踪图片/>与不同行人的已有跟踪轨迹集合/>中的图片之间的相似性，/>表示行人/>的连续多帧行人跟踪图片/>中除待关联行人图片/>之外的其它图片的图片特征向量；/>表示所述已有跟踪轨迹集合/>中的图片特征向量；/>表示所述待关联图片/>的图片特征向量。
6.根据权利要求4所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，步骤S103中，所述将所述待关联行人图片指派给已有跟踪轨迹，包括：
按照公式：
；
确定待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>；其中，所述待关联行人图片/>为行人/>被第/>路所述摄像机/>检测得到的行人图片；/>表示所述待关联图片/>的图片特征向量；/>表示所述已有跟踪轨迹集合/>中的图片特征向量；
根据所述待关联行人图片与不同行人的已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>，将所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹进行匹配；
其中，
；
式中，表示第/>号行人，/>为正整数，且/>；/>行人/>的已有运动轨迹。
7.根据权利要求6所述的建筑内多路摄像机跨视域行人轨迹还原方法，其特征在于，步骤S103中，所述进行跨视域行人轨迹关联，包括：
响应于所述待关联行人图片与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于等于预设最大相似性阈值/>则所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹相匹配，在所述已有跟踪轨迹集合/>中对相对应的已有跟踪轨迹与行人/>在第/>路所述摄像机/>下单路跟踪轨迹/>进行拼接；
响应于所述待关联行人图片与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>小于等于预设最小相似性阈值/>则所述待关联行人图片/>与所述已有跟踪轨迹集合/>中的已有跟踪轨迹均无法匹配，在所述已有跟踪轨迹集合/>中添加行人/>在第/>路所述摄像机/>下单路跟踪轨迹/>；
响应于所述待关联行人图片与所述已有跟踪轨迹集合/>中的已有跟踪轨迹之间的特征相似性/>大于所述最小相似性阈值/>小于所述最大相似性阈值/>，则将所述待关联行人图片/>由所述待匹配行人图片数据库中丢弃。
8.一种建筑内多路摄像机跨视域行人轨迹还原系统，其特征在于，包括：
任务约束及移交单元，配置为确定行人在建筑内不同视域之间的跨视域时空约束条件，以及跨视域行人轨迹还原时摄像机跟踪任务的移交方式；
待匹配图片确定单元，配置为建立基于动态规划的广度优先搜索算法，确定待关联行人图片；
轨迹匹配单元，配置为根据多路所述摄像机跟踪任务的移交方式，以及所述跨视域时空约束条件，将所述待关联行人图片指派给已有跟踪轨迹，以进行跨视域行人轨迹关联，构建行人的运动轨迹集合；
其中，
；
；
表示第/>号行人，/>表示多路所述摄像机的行人检测结果的集合/>中的行人总数，/>均为正整数；/>表示行人/>的运动轨迹；
表示行人/>在第/>路所述摄像机/>下的单路跟踪轨迹；/>表示所述摄像机的数量，/>均为正整数。
CN202311482276.3A 2023-11-09 2023-11-09 建筑内多路摄像机跨视域行人轨迹还原方法和系统 Active CN117576146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311482276.3A CN117576146B (zh) 2023-11-09 2023-11-09 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311482276.3A CN117576146B (zh) 2023-11-09 2023-11-09 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Publications (2)

Publication Number Publication Date
CN117576146A true CN117576146A (zh) 2024-02-20
CN117576146B CN117576146B (zh) 2024-05-10

Family

ID=89892720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311482276.3A Active CN117576146B (zh) 2023-11-09 2023-11-09 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Country Status (1)

Country Link
CN (1) CN117576146B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN111353448A (zh) * 2020-03-05 2020-06-30 南京理工大学 基于相关性聚类和时空约束的行人多目标跟踪方法
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统
CN114581954A (zh) * 2022-03-15 2022-06-03 沈阳航空航天大学 基于行人特征的跨域检索和跟踪目标的方法
CN115272967A (zh) * 2022-07-27 2022-11-01 泉州装备制造研究所 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN116363694A (zh) * 2023-03-03 2023-06-30 中国电子科技集团公司第二十八研究所 一种多元信息匹配的无人系统跨摄像头多目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN111353448A (zh) * 2020-03-05 2020-06-30 南京理工大学 基于相关性聚类和时空约束的行人多目标跟踪方法
CN111460985A (zh) * 2020-03-30 2020-07-28 华中科技大学 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统
CN114581954A (zh) * 2022-03-15 2022-06-03 沈阳航空航天大学 基于行人特征的跨域检索和跟踪目标的方法
CN115272967A (zh) * 2022-07-27 2022-11-01 泉州装备制造研究所 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN116363694A (zh) * 2023-03-03 2023-06-30 中国电子科技集团公司第二十八研究所 一种多元信息匹配的无人系统跨摄像头多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NADA ALI HAKAMI等: "An Intelligent Tracking System for Moving Objects in Dynamic Environments", 《ACTUATORS》, 25 September 2022 (2022-09-25) *
高骏涛: "基于行人重识别和姿态估计的跨摄像头多目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》, 15 February 2023 (2023-02-15) *

Also Published As

Publication number Publication date
CN117576146B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
Ellis et al. Learning a multi-camera topology
Foresti et al. Active video-based surveillance system: the low-level image and video processing techniques needed for implementation
Wang Intelligent multi-camera video surveillance: A review
US7965866B2 (en) System and process for detecting, tracking and counting human objects of interest
US7242423B2 (en) Linking zones for object tracking and camera handoff
Kettnaker et al. Counting people from multiple cameras
CN102833464B (zh) 智能视频监控用结构化背景重建方法
US11263446B2 (en) Method for person re-identification in closed place, system, and terminal device
Atsushi et al. Tracking multiple people using distributed vision systems
JP2004072628A (ja) 複数カメラを用いた移動体追跡システム及びその方法
TWI705383B (zh) 人物追蹤系統及人物追蹤方法
Jegham et al. Pedestrian detection in poor weather conditions using moving camera
Chen et al. Multi-camera Vehicle Tracking and Re-identification on AI City Challenge 2019.
Styles et al. Multi-camera trajectory forecasting: Pedestrian trajectory prediction in a network of cameras
CN117576146B (zh) 建筑内多路摄像机跨视域行人轨迹还原方法和系统
Ellis Multi-camera video surveillance
Liu et al. Vision meets wireless positioning: Effective person re-identification with recurrent context propagation
Vora et al. Bringing generalization to deep multi-view pedestrian detection
Peng et al. Accurate visual-inertial slam by feature re-identification
CN113627497A (zh) 一种基于时空约束的跨摄像头行人轨迹匹配方法
JP2001012946A (ja) 動画像処理装置及び方法
CN107705327A (zh) 多相机网络时空模型的候选目标提取方法
Liu et al. Introducing scene understanding to person re-identification using a spatio-temporal multi-camera model
Chia et al. Multiple objects tracking with multiple hypotheses graph representation
CN110400329A (zh) 人流计数方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant