CN111860352A - 一种多镜头车辆轨迹全跟踪系统及方法 - Google Patents

一种多镜头车辆轨迹全跟踪系统及方法 Download PDF

Info

Publication number
CN111860352A
CN111860352A CN202010717162.2A CN202010717162A CN111860352A CN 111860352 A CN111860352 A CN 111860352A CN 202010717162 A CN202010717162 A CN 202010717162A CN 111860352 A CN111860352 A CN 111860352A
Authority
CN
China
Prior art keywords
vehicle
lens
track
tracking
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010717162.2A
Other languages
English (en)
Other versions
CN111860352B (zh
Inventor
邵汉阳
黄惠南
樊治国
李明星
尤威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaozhong Information Technology Co ltd
Original Assignee
Shanghai Gaozhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaozhong Information Technology Co ltd filed Critical Shanghai Gaozhong Information Technology Co ltd
Priority to CN202010717162.2A priority Critical patent/CN111860352B/zh
Publication of CN111860352A publication Critical patent/CN111860352A/zh
Application granted granted Critical
Publication of CN111860352B publication Critical patent/CN111860352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多镜头车辆轨迹全跟踪系统，涉及视频监控技术领域，包括车牌检测和识别模块、车辆检测和车牌挂载模块、单镜头多车辆跟踪模块、跨境头轨迹匹配模块、车辆轨迹全景展示模块，上述模块依次通信连接。本发明还公开了一种多镜头车辆轨迹全跟踪方法，包括S100、车牌检测和识别，S200、车辆检测和车牌挂载，S300、单镜头多车辆跟踪，S400、跨境头轨迹匹配，S500、车辆轨迹全景展示。本发明运用车牌识别、单镜头多车辆跟踪、跨镜头车辆跟踪等技术，利用车牌识别和挂牌技术不断对车辆对跟踪轨迹进行动态调整，取得了很高的跟踪精度。

Description

一种多镜头车辆轨迹全跟踪系统及方法
技术领域
本发明涉及视频监控技术领域，尤其涉及一种多镜头车辆轨迹全跟踪系统及方法。
背景技术
多目标跟踪技术是指在给定的视频序列中持续不断的自动识别和定位多个目标，同时记录下每个目标在视频序列中每一帧的运动轨迹。该技术是视频车辆安全监控领域的核心技术，可以完成车辆或者行人的定位、识别和活动轨迹等重要应用。
然而，针对于复杂场景下多目标的跟踪问题，需要利用多摄像机机监控系统。在多个摄像设备重合的监控区域，借助多个摄像机机信息来较为准确的获取物体的位置。随着传感器和处理器价格的下降，在多场景下多摄像机机配合使用也变得越来越普遍。多摄像机实时跟踪问题主要有两个部分：单摄像机内部的跟踪和多摄像机的跟踪。
基于单摄像机内部的多目标追踪方法为TBD(Tracking By Detection)方法，也就是基于目标检测的跟踪方法。基本思想是利用当前帧的检测数据，在前面帧的历史检测数据中寻找关联关系，主要是计算多个目标的空间距离和语义特征距离，再利用匈牙利二分图匹配算法完成目标之间的关联。
基于多摄像机的方法，目前主要关注如何进行多摄像机的数据融合，主要有基于摄像设备标定的方法和特征匹配的方法。基于摄像设备标定的方法主要是利用摄像设备投影矩阵，将不同的摄像设备画面投影到同一个画面上；对于基于特征匹配的方法，主要是通过寻找高效的表观特征和时空信息来提高匹配结果。
多摄像机跟踪相对于单摄像机跟踪更为复杂，不仅需要处理单目标跟踪中出现的复杂的背景环境，如遮挡、光照变化、目标姿态变化等因素，还要面对目标数量动态变化以及多目标之间的相互遮挡等问题。这些难题的存在导致当前主流的多摄像机目标跟踪方法并不鲁棒。
在很多大型室外停车场、海关、码头等监控区域，由于场景复杂，区域面积大，需要设置多个摄像机区域。如何实现多摄像机实时跟踪车辆，获取车辆进入监控区域后的全轨迹比较困难。
因此，本领域的技术人员致力于开发一种多镜头车辆轨迹全跟踪系统及方法，不断对车辆对跟踪轨迹进行动态调整，以取得很高的跟踪精度。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是不断对车辆对跟踪轨迹进行动态调整，以取得很高的跟踪精度。
为实现上述目的，发明人结合多种技术，如车牌识别，单镜头内车辆跟踪，多镜头车辆跟踪等技术，主要跟踪方案采取时空信息和表观特征相结合的方式，并根据场景动态调整配比参数，利用车牌识别和挂牌技术不断对车辆对跟踪轨迹进行动态调整。因而，在本发明的一个实施例中，提供了一种多镜头车辆轨迹全跟踪系统，包括：
车牌检测和识别模块：包括车牌检测摄像机和车牌检测识别器，所述车牌检测摄像机设置在车辆入口处，拍摄车辆的视频图像输入到所述车牌检测识别器，所述车牌检测识别器检测和识别车辆上的车牌；
车辆检测和车牌挂载模块：包括车辆检测摄像机和车牌挂载器，所述车辆检测摄像机设置在车辆入口外围处，收集完视频图像输入到所述车牌挂载器中，所述车牌挂载器对车牌和车辆进行匹配；
单镜头多车辆跟踪模块：包括上述车辆检测摄像机和多车辆跟踪器，所述车辆检测摄像机中采集车辆视频图像，输入到所述多车辆跟踪器，所述多车辆跟踪器对车辆进行跟踪，更新车辆的轨迹信息；
跨境头轨迹匹配模块：在车辆跨镜头行驶过程中，所述跨境头轨迹匹配模块对相同车辆所跨镜头下的轨迹进行匹配；
车辆轨迹全景展示模块：综合所述单镜头多车辆跟踪模块和所述跨境头轨迹匹配模块的轨迹信息，在监控全景区域内展示车辆的车牌信息和轨迹；
所述车牌检测和识别模块、所述车辆检测和车牌挂载模块、所述单镜头多车辆跟踪模块、所述跨境头轨迹匹配模块和所述车辆轨迹全景展示模块依次通信连接。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪系统中，根据监控区域的大小，可能存在若干个单镜头多车辆跟踪模块。
进一步地，在上述实施例中的多镜头车辆轨迹全跟踪系统中，单镜头多车辆跟踪模块的数量和监控区域的大小为正相关关系，监控区域越大，设置单镜头多车辆跟踪模块的数量越多。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪系统中，每两个互相关联的单镜头多车辆跟踪模块搭配一个跨境头轨迹匹配模块。
本发明提供了一种使用上述任一实施例中的多镜头车辆轨迹全跟踪系统的多镜头车辆轨迹全跟踪方法，包括如下步骤：
S100、车牌检测和识别，车牌检测和识别模块对车辆上车牌进行检测和识别；
S200、车辆检测和车牌挂载，车辆检测和车牌挂载对车牌和车辆进行匹配；
S300、单镜头多车辆跟踪，单镜头多车辆跟踪模块对多台车辆进行跟踪；
S400、跨境头轨迹匹配，跨境头轨迹匹配模块对相同车辆的所跨镜头下的轨迹进行匹配；
S500、车辆轨迹全景展示，车辆轨迹全景展示模块对车辆的车牌信息和轨迹进行展示。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，步骤S100还包括：
S110、收集数据，所述车牌检测摄像机设置在车辆入口处，设置位置需确保车牌区域能够辨识，所述车牌检测摄像机拍摄车辆相关监控视频，将该视频以至少5fps保存为图片，作为车牌检测数据源；
S120、车牌检测，利用深度目标检测算法对每一帧待检测图像进行车牌检测，并从检测出的车牌区域中提取出单独的车牌图像；
S130、车牌识别，输入所述单独的车牌图像，利用车牌文字识别算法对车牌上的文字进行识别，获取车牌信息。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，步骤S120中所述深度目标检测算法至少包括Faster-RCNN、SSD、YOLO中的一种。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，步骤S120中所述车牌文字识别算法包括但不限于专门进行车牌检测的卷积循环神经网络(CRNN)算法。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，步骤S200还包括：
S210、收集数据，在车辆入口外围处设置车辆检测摄像机，确保能够看见车辆的全身，拍摄车辆相关监控视频，以至少5fps保存为图片，作为车牌挂载的数据源；
S220、车辆检测，利用深度目标检测算法对每一帧待检测图像进行车辆检测，提取出单独的车辆图像；
S230、车牌挂载，根据上述车辆检测摄像机拍摄画面范围，划分车辆检测区域。在车辆检测区域如果检测到有车辆，并且出现时间和上述车牌检测和识别模块的车牌检测时间一致，即误差时间不大于10s，则将识别的车牌挂载到目标车辆上。
可选地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，步骤S220中，所述深度目标检测算法至少包括Faster-RCNN、SSD、YOLO中的一种。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S300还包括：
S310、所述车辆检测摄像机拍摄下车辆相关监控视频，以至少5fps保存为图片，作为输入数据源；
S320、输入视频中的当前帧图像到所述多车辆跟踪器，检测出车辆后，记录检测框位置信息；
S330、在所述当前帧图像中根据车辆检测框位置信息中裁剪出单独车辆的图像，输入到车辆重识别算法中，提取车辆的深度特征；
S340、构建匹配矩阵；
S350、通过匈牙利二分图匹配算法计算匹配过程，对轨迹信息和当前帧检测数据进行匹配；
S360、对车辆轨迹的分配和管理，把历史轨迹按照跟踪状态分为跟踪中的轨迹和跟丢的轨迹；
S370、所述跟踪中的轨迹和当前检测数据进行第一次匈牙利匹配，完成匹配后会得到三种数据：第一次匹配成功的检测目标、第一次匹配失败的检测目标和第一次匹配失败的轨迹；所述第一次匹配成功的检测目标加入到跟踪中轨迹列表当中；对所述第一次匹配失败的轨迹先在跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入跟丢轨迹列表；
S380、对于所述第一次匹配失败的检测目标和所述跟丢轨迹列表中的轨迹再进行第二次匈牙利匹配，完成匹配后会得到三种数据：第二次匹配成功的检测目标，第二次匹配失败的检测目标和第二次匹配失败的轨迹；所述第二次匹配成功的检测目标加入到所述跟踪轨迹列表中；对所述第二次匹配失败的轨迹先在跟踪轨迹列表中删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入所述跟丢轨迹列表；所述第二次匹配失败的检测目标初始化为新的轨迹，分配新的跟踪目标id，加入到所述跟踪轨迹列表当中；
S390、完成单镜头多车辆追踪，得到多辆车辆的轨迹。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S330中所述车辆重识别算法包括车辆重识别算法ReID，输出车辆特征的维度为128维；
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S340中所述匹配矩阵如下：
Ci，j＝wd(1)(i，j)+(1-w)d(2)(i，j) (1)
其中，w是一个超参数，用来根据场景动态调整配比参数，优选默认设置为0.3；i代表的是第i个跟踪轨迹，包含了历史帧的目标检测数据和特征数据；j代表的是当前时刻的检测数据。d(1)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的空间距离矩阵，为了减少遮挡情况，空间距离采用车辆目标的中心点的欧式距离，并设置最大距离值进行最大值归一化，最大距离值可以根据实际场景进行动态设置；d(2)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的特征距离矩阵，其公式如下所示：
Figure BDA0002598630210000051
其中，
Figure BDA0002598630210000052
是余弦相似度，
Figure BDA0002598630210000053
是余弦距离，可以表示车辆高级语义特征之间的差距；
优选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S370中所述第一次匈牙利匹配的阈值默认设置为0.5。
优选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S380中所述第二次匈牙利匹配的阈值默认设置为0.5。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S400还包括：
S410、摄像机标定，所述所跨镜头为镜头A和镜头B，把所述镜头A和所述镜头B的坐标点输入标定公式进行标定；
S420、收集数据，获取所述镜头A和所述镜头B在同一时刻的单镜头多车辆追踪后输出的轨迹作为输入数据，需要确保所述镜头A和所述镜头B的数据为同一时刻；
S430、跨境头匹配，对所述镜头A和所述镜头B之间的车辆轨迹进行匹配；
S440、轨迹校正，对于在跨镜头匹配当中，由于遮挡出现错连的情况，在车辆路径设置镜头，如果和检测得到的车牌不一致，则重新返回到上一个跨镜匹配点，去掉错误的轨迹数据，重新进行跨镜头匹配。
进一步地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S440根据轨迹跟踪的精度要求，本步骤可执行多次，精度要求越高，执行的次数越多。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S410还包括：
S411、确保镜头A和镜头B有重叠的空间区域，区域大小容纳至少2辆车辆，而且位于车辆经过的路线上；
S412、标定空间映射关系，在重叠区域放置标识物，包括二维码或者网格状的物体；
S413、在镜头A的画面中对标识物打点，记录点在画面中的x和y坐标位置，记为xa和ya；
S414、在镜头B中按照相同的顺序对同一标识物打点，记录点的x和y坐标位置，记为xb和yb；将A和B中的坐标位置输入标定公式进行求解运算；
进一步地，在上述实施例中的多镜头车辆轨迹全跟踪方法中，所述标定公式如下；
Figure BDA0002598630210000061
其中H为3*3的变换矩阵。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，所述摄像机标定只需要在第一次安装时标定，作为默认参数写入程序中，程序运行时无需标定。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S430还包括：
S431、对镜头A和镜头B的轨迹进行判断；
S432、如果当前时刻的车辆中心点位于镜头A和镜头B的重叠区域内，则进行匹配，按照所述匹配矩阵计算；
S433、在计算空间距离矩阵时，先将镜头A的目标的中心点输入到所述标定公式中，计算得到映射到镜头B的中心点，用映射到镜头B的中心点再与镜头B中的重叠区域的目标中心点计算欧式距离，并设置最大距离值进行最大值归一化；
S434、提取各自轨迹信息存储的特征值，进行特征距离计算，构建特征距离矩阵；
S435、综合空间距离和特征距离得到的总的匹配矩阵，通过匈牙利二分图匹配算法计算匹配过程，从而实现镜头A和镜头B之间的车辆轨迹之间的匹配；
S436、匹配完成后，车牌重新挂载到镜头B当中。
可选地，在上述任一实施例中的多镜头车辆轨迹全跟踪方法中，步骤S500还包括：
S510、建立监控区域的全景二维地图，并完成所有监控镜头和二维地图的空间映射位置字典；
S520、利用所述标定公式或者手动打点标定的方式，将每个镜头实时获得的车辆轨迹和坐标输入，得到实时的目标轨迹位置和相应的车牌信息；
S530、在全景图上展示，实现实时地对监控区域的车辆轨迹进行追踪。
本发明结合多种技术，运用车牌识别、单镜头多车辆跟踪、跨镜头车辆跟踪等技术，跟踪方案采取时空信息和表观特征相结合的方式，并根据场景动态调整配比参数，利用车牌识别和挂牌技术不断对车辆对跟踪轨迹进行动态调整，取得了很高的跟踪精度。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是图示根据示例性实施例的多镜头车辆轨迹全跟踪系统组成示意图；
图2是图示根据示例性实施例的多镜头车辆轨迹全跟踪方法流程图；
图3是图示根据示例性实施例的车牌检测和识别流程图；
图4是图示根据示例性实施例的车辆检测和车牌挂载流程图；
图5是图示根据示例性实施例的单镜头多车辆追踪流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。
发明人设计了一种多镜头车辆轨迹全跟踪系统，如图1所示，包括:
车牌检测和识别模块，具体包括车辆入口车牌检测摄像机和车牌检测识别器，在车辆入口处设置车辆入口车牌检测摄像机，拍摄车辆的视频图像，通过车牌检测识别器，检测和识别车辆上车牌；
车辆检测和车牌挂载模块，具体包括车辆入口车辆检测摄像机和车牌挂载器，在车辆入口外围处设置车辆检测摄像机，收集完视频图像输入到车牌挂载器中，车牌挂载器对车牌和车辆进行匹配；
单镜头多车辆跟踪模块，具体包括车辆检测摄像机和多车辆跟踪器，车辆检测摄像机中采集车辆视频图像，输入到多车辆跟踪器，多车辆跟踪器对车辆进行跟踪，更新车辆的轨迹信息；根据监控区域的大小，可设置多个单镜头多车辆跟踪模块；，单镜头多车辆跟踪模块的数量和监控区域的大小有正相关关系，监控区域越大，设置单镜头多车辆跟踪模块的数量越多；
跨境头轨迹匹配模块，在车辆跨镜头行驶过程中，对相同车辆在所跨镜头下的轨迹进行匹配，比如车辆由镜头A行驶至镜头B的过程中，跨境头轨迹匹配模块对相同车辆在镜头A和镜头B下的轨迹进行匹配；每两个互相关联的单镜头多车辆跟踪模块搭配一个跨境头轨迹匹配模块；
车辆轨迹全景展示模块，综合单镜头多车辆跟踪模块和跨境头轨迹匹配模块的轨迹信息，在监控全景区域内，对车辆的车牌信息和轨迹进行展示；
车牌检测和识别模块、车辆检测和车牌挂载模块、单镜头多车辆跟踪模块、跨境头轨迹匹配模块和车辆轨迹全景展示模块依次通信连接。
发明人使用上述多镜头车辆轨迹全跟踪系统设计了多镜头车辆轨迹全跟踪方法，如图2所示，包括如下步骤：
S100、车牌检测和识别，车牌检测和识别模块对车辆上车牌进行检测和识别；如图3所示，具体包括：
S110、收集数据，在车辆入口处设置车牌检测摄像机，使车辆正面处于主体位置，确保车牌区域能够辨识，拍摄车辆相关监控视频，将该视频以至少5fps保存为图片，作为车牌检测数据源；
S120、车牌检测，利用深度目标检测算法对每一帧待检测图像进行车牌检测，并从检测出的车牌区域中提取出单独的车牌图像；深度目标检测算法至少包括但不限于Faster-RCNN、SSD、YOLO中的一种；本实施例使用Faster-RCNN算法；
S130、车牌识别，输入步骤S120中的单独的车牌图像，利用车牌文字识别算法对车牌上的文字进行识别，获取车牌信息；车牌文字识别算法包括但不限于专门进行车牌检测的卷积循环神经网络(CRNN)算法，本实施例使用卷积循环神经网络(CRNN)算法。
S200、车辆检测和车牌挂载，车辆检测和车牌挂载模块对车牌和车辆进行匹配；如图4所示，具体包括：
S210、收集数据，在车辆入口外围处设置车辆检测摄像机，确保能够看见车辆的全身，拍摄车辆相关监控视频，将该视频以至少5fps保存为图片，作为车牌挂载的数据源；
S220、车辆检测，利用深度目标检测算法对每一帧待检测图像进行车辆检测，提取出单独的车辆图像；深度目标检测算法至少包括Faster-RCNN、SSD、YOLO中的一种；本实施例使用Faster-RCNN算法；
S230、车牌挂载，根据车辆入口处所处的车辆检测摄像机拍摄画面范围，划分车辆检测区域，在车辆检测区域如果检测到有车辆，并检查出现时间和上述车牌检测和识别模块的车牌检测时间一致，即误差时间不大于10s，则将识别的车牌挂载到目标车辆上。
S300、单镜头多车辆跟踪，单镜头多车辆跟踪模块对多台车辆进行跟踪；如图5所示，具体包括：
S310、车辆检测摄像机拍摄下车辆相关监控视频，以至少5fps保存为图片，作为输入数据源；
S320、输入视频中的当前帧图像到多车辆跟踪器，进行车辆目标检测，检测出车辆后，记录检测框位置信息；
S330、在当前帧图像中根据车辆检测框位置信息中裁剪出单独车辆的图像，输入到车辆重识别算法中，完成车辆的深度特征提取；车辆重识别算法包括车辆重识别算法ReID，输出车辆特征的维度为128维；
S340、构建匹配矩阵，如下：
Ci，j＝wd(1)(i，j)+(1-w)d(2)(i，j) (1)
其中，w是一个超参数，用来根据场景动态调整配比参数，优选默认设置为0.3；i代表的是第i个跟踪轨迹，包含了历史帧的目标检测数据和特征数据；j代表的是当前时刻的检测数据。d(1)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的空间距离矩阵，为了减少遮挡情况，空间距离采用车辆目标的中心点的欧式距离，并设置最大距离值进行最大值归一化，最大距离值可以根据实际场景进行动态设置；d(2)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的特征距离矩阵，其公式如下所示：
Figure BDA0002598630210000101
其中，
Figure BDA0002598630210000102
是余弦相似度，
Figure BDA0002598630210000103
是余弦距离，可以表示车辆高级语义特征之间的差距；
S350、通过匈牙利二分图匹配算法计算匹配过程，对轨迹信息和当前帧检测数据进行匹配；
S360、对车辆轨迹进行分配和管理，把历史轨迹按照跟踪状态分为跟踪中的轨迹和跟丢的轨迹，跟踪中的轨迹指得是一直匹配上当前检测目标的轨迹，跟丢的轨迹指的是没有匹配上当前检测目标的轨迹，找不到跟踪的目标；
S370、所述跟踪中的轨迹和当前检测数据进行第一次匈牙利匹配，优选匹配阈值默认设置为0.5，完成匹配后会得到三种数据：第一次匹配成功的检测目标、第一次匹配失败的检测目标和第一次匹配失败的轨迹；所述第一次匹配成功的检测目标加入到跟踪轨迹列表当中；对所述第一次匹配失败的轨迹先在跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入跟丢轨迹列表；
S380、对于第一次匹配失败的检测目标和跟丢的轨迹再进行第二次匈牙利匹配，优选匹配阈值默认设置为0.5，完成匹配后会得到三种数据：第二次匹配成功的检测目标，第二次匹配失败的检测目标和第二次匹配失败的轨迹；所述第二次匹配成功的检测目标加入到跟踪中轨迹列表当中；对所述第二次匹配失败的轨迹先在跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入跟丢轨迹列表；所述第二次匹配失败的检测目标初始化为新的轨迹，分配新的跟踪目标id，加入到跟踪轨迹列表当中；
S390、完成单镜头多车辆追踪，得到多辆车辆的轨迹。
S400、跨境头轨迹匹配，跨境头轨迹匹配模块对相同车辆的在两个镜头下的轨迹进行匹配；具体包括：
S410、摄像机标定，所述所跨镜头为镜头A和镜头B，把所述镜头A和所述镜头B的坐标点输入标定公式进行标定；具体包括：
S411、确保镜头A和镜头B有重叠的空间区域，区域大小容纳至少2辆车辆，而且位于车辆经过的路线上；
S412、标定空间映射关系，在重叠区域放置标识物，包括二维码或者网格状的物体；
S413、在镜头A的画面中对标识物打点，记录点在画面中的x和y坐标位置，记为xa和ya；
S414、在镜头B中按照相同的顺序对同一标识物打点，记录点的x和y坐标位置，记为xb和yb；将镜头A和镜头B的坐标位置输入标定公式进行求解运算，得到一个3*3的变换矩阵H，标定公式如下；
Figure BDA0002598630210000111
摄像机标定只需要在第一次安装时标定，作为默认参数写入程序中，程序运行时无需标定；
S420、收集数据，获取所述镜头A和所述镜头B在同一时刻的单镜头多车辆追踪后输出的轨迹作为输入数据，需要确保所述镜头A和所述镜头B的数据为同一时刻；
S430、跨境头匹配，对所述镜头A和所述镜头B之间的车辆轨迹进行匹配；具体包括：
S431、对镜头A和镜头B的轨迹进行判断；
S432、如果当前时刻的车辆中心点位于镜头A和镜头B的重叠区域内，则进行匹配，按照所述匹配矩阵计算；
S433、在计算空间距离矩阵时，先将镜头A的目标的中心点输入到所述标定公式中，计算得到映射到镜头B的中心点，用映射到镜头B的中心点再与镜头B中的重叠区域的目标中心点计算欧式距离，并设置最大距离值进行最大值归一化；
S434、提取各自轨迹信息存储的特征值，进行特征距离计算，构建特征距离矩阵；
S435、综合空间距离和特征距离得到的总的匹配矩阵，通过匈牙利二分图匹配算法计算匹配过程，从而实现镜头A和镜头B之间的车辆轨迹之间的匹配；
S436、匹配完成后，车牌重新挂载到镜头B当中。
S440、轨迹校正，对于在跨镜头匹配当中，由于遮挡出现错连的情况，在车辆路径设置镜头，如果和检测得到的车牌不一致，则重新返回到上一个跨镜匹配点，去掉错误的轨迹数据，重新进行跨镜头匹配；根据轨迹跟踪的精度要求，本步骤可执行多次。
S500、车辆轨迹全景展示，车辆轨迹全景展示模块对车辆的车牌信息和轨迹进行展示；具体包括：
S510、建立监控区域的全景二维地图，并完成所有监控镜头和二维地图的空间映射位置字典；
S520、利用公式(3)完成或者手动打点标定的方式，将每个镜头实时获得的车辆轨迹和坐标输入，得到实时的目标轨迹位置和相应的车牌信息；
S530、在全景图上展示，实现实时地对监控区域的车辆轨迹进行追踪。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种多镜头车辆轨迹全跟踪系统，其特征在于，包括：
车牌检测和识别模块：包括车牌检测摄像机和车牌检测识别器，所述车牌检测摄像机设置在车辆入口处，拍摄车辆的视频图像输入到所述车牌检测识别器，所述车牌检测识别器检测和识别车辆上的车牌；
车辆检测和车牌挂载模块：包括车辆检测摄像机和车牌挂载器，所述车辆检测摄像机设置在车辆入口外围处，收集完视频图像输入到所述车牌挂载器中，所述车牌挂载器对车牌和车辆进行匹配；
单镜头多车辆跟踪模块：包括所述车辆检测摄像机和多车辆跟踪器，所述车辆检测摄像机中采集车辆视频图像，输入到所述多车辆跟踪器，所述多车辆跟踪器对车辆进行跟踪，更新车辆的轨迹信息；
跨境头轨迹匹配模块：在车辆跨镜头行驶过程中，所述跨境头轨迹匹配模块对相同车辆在所跨镜头下的轨迹进行匹配；
车辆轨迹全景展示模块：综合所述单镜头多车辆跟踪模块和所述跨境头轨迹匹配模块的轨迹信息，在监控全景区域内展示车辆的车牌信息和轨迹；
所述车牌检测和识别模块、所述车辆检测和车牌挂载模块、所述单镜头多车辆跟踪模块、所述跨境头轨迹匹配模块和所述车辆轨迹全景展示模块依次通信连接。
2.如权利要求1所述的多镜头车辆轨迹全跟踪系统，其特征在于，根据监控区域的大小，设置一个或者多个所述单镜头多车辆跟踪模块。
3.如权利要求2所述的多镜头车辆轨迹全跟踪系统，其特征在于，所述单镜头多车辆跟踪模块的数量和所述监控区域的大小为正相关关系，所述监控区域越大，设置所述单镜头多车辆跟踪模块的数量越多。
4.一种使用如权利要求1-3任一所述的多镜头车辆轨迹全跟踪系统的多镜头车辆轨迹全跟踪方法，其特征在于，包括如下步骤：
S100、车牌检测和识别，所述车牌检测和识别模块对车辆上车牌进行检测和识别；
S200、车辆检测和车牌挂载，所述车辆检测和车牌挂载模块对车牌和车辆进行匹配；
S300、单镜头多车辆跟踪，所述单镜头多车辆跟踪模块对多台车辆进行跟踪；
S400、跨境头轨迹匹配，所述跨境头轨迹匹配模块对相同车辆的所跨镜头下的轨迹进行匹配；
S500、车辆轨迹全景展示，车辆轨迹全景展示模块对车辆的车牌信息和轨迹进行展示。
5.如权利要求4所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S100还包括：
S110、收集数据，所述车牌检测摄像机设置在车辆入口处，设置位置需确保车牌区域能够辨识，所述车牌检测摄像机拍摄车辆相关监控视频，以至少5fps保存为图片，作为车牌检测数据源；
S120、车牌检测，利用深度目标检测算法对每一帧待检测图像进行车牌检测，并从检测出的车牌区域中提取出单独的车牌图像；
S130、车牌识别，输入所述单独的车牌图像，利用车牌文字识别算法对车牌上的文字进行识别，获取车牌信息。
6.如权利要求4或5所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S200包括：
S210、收集数据，在车辆入口外围处设置所述车辆检测摄像机，确保能够看见车辆的全身，拍摄车辆相关监控视频，以至少5fps保存为图片，作为车牌挂载的数据源；
S220、车辆检测，利用深度目标检测算法对每一帧待检测图像进行车辆检测，提取出单独的车辆图像；
S230、车牌挂载，根据所述车辆检测摄像机拍摄画面范围，划分车辆检测区域，在所述车辆检测区域如果检测到有车辆，并且出现时间和所述车牌检测和识别模块的车牌检测时间一致，则将识别的车牌挂载到目标车辆上。
7.如权利要求6所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S300还包括：
S310、所述车辆检测摄像机拍摄下车辆相关监控视频，以至少5fps保存为图片，作为输入数据源；
S320、输入视频中的当前帧图像到所述多车辆跟踪器，检测出车辆后，记录检测框位置信息；
S330、在所述当前帧图像中根据车辆检测框位置信息中裁剪出单独车辆的图像，输入到车辆重识别算法中，提取车辆的深度特征；
S340、构建匹配矩阵；
S350、通过匈牙利二分图匹配算法计算匹配过程，对轨迹信息和当前帧检测数据进行匹配；
S360、对车辆轨迹的分配和管理，把历史轨迹按照跟踪状态分为跟踪中的轨迹和跟丢的轨迹；
S370、所述跟踪中的轨迹和当前检测数据进行第第一次匈牙利匹配，完成匹配后会得到三种数据：第一次匹配成功的检测目标、第一次匹配失败的检测目标和第一次匹配失败的轨迹；所述第一次匹配成功的检测目标加入到跟踪中轨迹列表当中；对所述第一次匹配失败的轨迹先在跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入跟丢轨迹列表；
S380、对于所述第一次匹配失败的检测目标和所述跟丢轨迹列表中的轨迹再进行第二次匈牙利匹配，完成匹配后会得到三种数据：第二次匹配成功的检测目标，第二次匹配失败的检测目标和第二次匹配失败的轨迹；所述第二次匹配成功的检测目标加入到跟踪中轨迹列表中；对所述第二次匹配失败的轨迹先在跟踪轨迹列表中删除，再进行跟丢次数判断，如果超过最大跟丢次数则删除，否则加入跟丢轨迹列表；所述第二次匹配失败的检测目标初始化为新的轨迹，分配新的跟踪目标id，加入到跟踪中的轨迹列表当中；
S390、完成单镜头多车辆追踪，得到多辆车辆的轨迹。
8.如权利要求7所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S400还包括：
S410、摄像机标定，所述所跨镜头为镜头A和镜头B，把所述镜头A和所述镜头B的坐标点输入标定公式进行标定；
S420、收集数据，获取所述镜头A和所述镜头B在同一时刻的单镜头多车辆追踪后输出的轨迹作为输入数据，需要确保所述镜头A和所述镜头B的数据为同一时刻；
S430、跨境头匹配，对所述镜头A和所述镜头B之间的车辆轨迹进行匹配；
S440、轨迹校正，对于在跨镜头匹配当中，由于遮挡出现错连的情况，在车辆路径设置镜头，如果和检测得到的车牌不一致，则重新返回到上一个跨镜匹配点，去掉错误的轨迹数据，重新进行跨镜头匹配。
9.如权利要求8所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S410还包括：
S411、确保所述镜头A和所述镜头B有重叠的空间区域，区域大小容纳至少2辆车辆，而且位于车辆经过的路线上；
S412、标定空间映射关系，在重叠区域放置标识物，包括二维码或者网格状的物体；
S413、在所述镜头A的画面中对标识物打点，记录点在画面中的x和y坐标位置，记为xa和ya；
S414、在所述镜头B中按照相同的顺序对同一标识物打点，记录点的x和y坐标位置，记为xb和yb；将所述镜头A和所述镜头B中的坐标位置输入所述标定公式进行求解运算。
10.如权利要求8或9所述的多镜头车辆轨迹全跟踪方法，其特征在于，所述S500还包括：
S510、建立监控区域的全景二维地图，并完成所有监控镜头和二维地图的空间映射位置字典；
S520、利用所述标定公式或者手动打点标定的方式，将每个镜头实时获得的车辆轨迹和坐标输入，得到实时的目标轨迹位置和相应的车牌信息；
S530、在全景图上展示，实现实时地对监控区域的车辆轨迹进行追踪。
CN202010717162.2A 2020-07-23 2020-07-23 一种多镜头车辆轨迹全跟踪系统及方法 Active CN111860352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010717162.2A CN111860352B (zh) 2020-07-23 2020-07-23 一种多镜头车辆轨迹全跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010717162.2A CN111860352B (zh) 2020-07-23 2020-07-23 一种多镜头车辆轨迹全跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN111860352A true CN111860352A (zh) 2020-10-30
CN111860352B CN111860352B (zh) 2024-03-01

Family

ID=72950738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010717162.2A Active CN111860352B (zh) 2020-07-23 2020-07-23 一种多镜头车辆轨迹全跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN111860352B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487934A (zh) * 2020-11-26 2021-03-12 电子科技大学 基于ReID特征的强数据关联一体化实时多目标跟踪方法
CN112633282A (zh) * 2021-01-07 2021-04-09 清华大学深圳国际研究生院 一种车辆实时跟踪方法及计算机可读存储介质
CN113194281A (zh) * 2021-01-27 2021-07-30 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN114155273A (zh) * 2021-10-20 2022-03-08 浙江大立科技股份有限公司 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN115601738A (zh) * 2022-09-23 2023-01-13 北京精英路通科技有限公司（Cn） 停车信息获取方法、装置、设备、存储介质及程序产品
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN117455957A (zh) * 2023-12-25 2024-01-26 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统
CN114155273B (zh) * 2021-10-20 2024-06-04 浙江大立科技股份有限公司 一种结合历史轨迹信息的视频图像单目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
WO2018049514A1 (en) * 2016-09-13 2018-03-22 Genetec Inc. Auto-calibration of tracking systems
CN111354022A (zh) * 2020-02-20 2020-06-30 中科星图股份有限公司 基于核相关滤波的目标跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
WO2018049514A1 (en) * 2016-09-13 2018-03-22 Genetec Inc. Auto-calibration of tracking systems
CN111354022A (zh) * 2020-02-20 2020-06-30 中科星图股份有限公司 基于核相关滤波的目标跟踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
乔虹;冯全;张芮;刘阗宇;: "基于时序图像跟踪的葡萄叶片病害动态监测", 农业工程学报, no. 17 *
邓颖娜;朱虹;李刚;黎璐;钱慧芳;: "基于场景模型的多摄像机目标跟踪算法", 计算机工程与应用, no. 05 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487934A (zh) * 2020-11-26 2021-03-12 电子科技大学 基于ReID特征的强数据关联一体化实时多目标跟踪方法
CN112633282A (zh) * 2021-01-07 2021-04-09 清华大学深圳国际研究生院 一种车辆实时跟踪方法及计算机可读存储介质
CN112633282B (zh) * 2021-01-07 2023-06-20 清华大学深圳国际研究生院 一种车辆实时跟踪方法及计算机可读存储介质
CN113194281A (zh) * 2021-01-27 2021-07-30 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN113194281B (zh) * 2021-01-27 2024-04-26 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN114155273A (zh) * 2021-10-20 2022-03-08 浙江大立科技股份有限公司 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN114155273B (zh) * 2021-10-20 2024-06-04 浙江大立科技股份有限公司 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN115601738A (zh) * 2022-09-23 2023-01-13 北京精英路通科技有限公司（Cn） 停车信息获取方法、装置、设备、存储介质及程序产品
CN115601738B (zh) * 2022-09-23 2023-08-04 北京精英路通科技有限公司 停车信息获取方法、装置、设备、存储介质及程序产品
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN117455957A (zh) * 2023-12-25 2024-01-26 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统
CN117455957B (zh) * 2023-12-25 2024-04-02 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) 一种基于深度学习的车辆轨迹定位追踪方法及系统

Also Published As

Publication number Publication date
CN111860352B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111860352A (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN112069969B (zh) 一种高速公路监控视频跨镜车辆跟踪方法及系统
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN113129339B (zh) 一种目标跟踪方法、装置、电子设备及存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN110634306A (zh) 车辆位置的确定方法及装置、存储介质、计算设备
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
TWI798815B (zh) 目標重識別方法、裝置及電腦可讀存儲介質
CN107038714A (zh) 多型视觉传感协同目标跟踪方法
CN113256683B (zh) 目标跟踪方法及相关设备
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Huang et al. Image registration among UAV image sequence and Google satellite image under quality mismatch
CN115407355B (zh) 库位地图的验证方法、装置及终端设备
CN115601738B (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
Wu et al. Vehicle re-id for surround-view camera system
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN115412668A (zh) 跟踪拍摄方法、装置及计算机可读存储介质
KR20150137698A (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
Kim et al. Robust multi-object tracking to acquire object oriented videos in indoor sports
CN111860050A (zh) 一种基于图像帧的回环检测方法及装置、车载终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Building A, Daguhe Resort Management Committee, No.1 Hong Kong Road, Jiaozhou City, Qingdao City, Shandong Province, 266318

Applicant after: Qingdao Gaozhong Information Technology Co.,Ltd.

Address before: 200333 room 1208, building 20, 958 Zhenbei Road, Putuo District, Shanghai

Applicant before: SHANGHAI GAOZHONG INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China

GR01 Patent grant
GR01 Patent grant