CN110766720A - 一种基于深度学习的多摄像头车辆跟踪系统 - Google Patents

一种基于深度学习的多摄像头车辆跟踪系统 Download PDF

Info

Publication number
CN110766720A
CN110766720A CN201910901586.1A CN201910901586A CN110766720A CN 110766720 A CN110766720 A CN 110766720A CN 201910901586 A CN201910901586 A CN 201910901586A CN 110766720 A CN110766720 A CN 110766720A
Authority
CN
China
Prior art keywords
vehicle
tracking
camera
deep learning
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910901586.1A
Other languages
English (en)
Inventor
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Jiyan Intelligent Technology Co.,Ltd.
Original Assignee
Yancheng Jida Intelligent Terminal Industry Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Jida Intelligent Terminal Industry Research Institute Co Ltd filed Critical Yancheng Jida Intelligent Terminal Industry Research Institute Co Ltd
Priority to CN201910901586.1A priority Critical patent/CN110766720A/zh
Publication of CN110766720A publication Critical patent/CN110766720A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的多摄像头车辆跟踪的系统，创建多个拍摄摄像头，并对获取的视频中的车辆机型检测；利用深度学习的Caffe框架训练车辆样本图片，生成车辆检测模型；提取车辆特征，分别为全局特征的颜色特征提取和局部特征的SURF算法特征进行提取；利用全卷积孪生网络跟踪算法中的特征向量相似度与多特征合作进行匹配；将跟踪信息存放到专有数据库中，以方便用户查阅跟踪的详细信息，并可通过播放视频内容再次判断目标车辆信息；对不同的摄像头轨迹进行分块处理，绘制车辆的轨迹，创建全局路径。本发明基于深度学习的多摄像头协同分析下的车辆跟踪，得到更精确的多方位识别跟踪技术，对社会治安及交通管制有重要的意义。

Description

一种基于深度学习的多摄像头车辆跟踪系统
技术领域
本发明涉及车辆跟踪领域，是基于深度学习的多摄像头协同对车辆进行多方位识别及追踪的方法和系统，该方法可以应用于智能交通监控、嫌疑车监管、车流量检测以及路况分析多个场景。
背景技术
多摄像头车辆识别与跟踪是智能交通系统中研究的重点内容，但多摄像头的切换可能导致目标车辆的外形发生变化，监控视频背景复杂、目标车辆遮挡等问题也对识别跟踪的准确度及误检率提出了巨大的挑战。比如说，在交通事故发生后，对目标车辆进行锁定并跟踪其运动轨迹，辅助交警对交通事故进行事后处理。
目前，关于单摄像头车辆识别与跟踪在国内外已有了大量的研究成果，但是单摄像头的监控场景单一且固定，目标车辆跟踪的视野范围有限，不能对其进行持续跟踪。单摄像头在固定场景进行目标车辆的识别与跟踪通常使用以下几种算法：模板匹配跟踪算法、mean shift跟踪算法以及cam shift跟踪算法等等，但是在多摄像头协同分析下的车辆跟踪中并不适用。
发明内容
本发明要解决的技术问题是在于克服已有单摄像头下识别与跟踪技术的不足，提出基于深度学习的多摄像头协同分析下的车辆跟踪，通过优化各种算法模型，得到更精确的多方位识别跟踪技术，对社会治安及交通管制有重要的意义。
为了解决上述技术问题，本发明提供了一种基于深度学习的多摄像头车辆跟踪的系统，包括以下步骤：
a、创建多个拍摄摄像头，并对获取的视频中的车辆机型检测；
b、利用深度学习的Caffe框架训练车辆样本图片，生成车辆检测模型；
c、提取车辆特征，分别为全局特征的颜色特征提取和局部特征的SURF算法特征进行提取；
d、利用全卷积孪生网络跟踪算法中的特征向量相似度与多特征合作进行匹配；
e、将跟踪信息存放到专有数据库中，以方便用户查阅跟踪的详细信息，并可通过播放视频内容再次判断目标车辆信息；
f、对不同的摄像头轨迹进行匹配并对背景进行分块处理，绘制跟踪车辆的轨迹，创建全局路径。
进一步步骤b包括以下步骤：
b1、收集车辆样本图片并筛选，排除无车样本后进行高斯噪音、翻转以及高亮数据增广，得到检测样本；
b2、对检测样本图像进行标签化处理；
b3、通过SSD网络训练车辆检测模型，用样本图片和标签文件组成需要训练的数据集，最后利用Caffe框架进行训练得到检测模型；
b4、在线检测模型：初始化检测模型，加载网络配置文件和检测模型，设置初始置信度阈值；调用检测函数进行车辆检测，判断置信度，当大于阈值区域中的物体则保存为车辆，当小于阈值区的区域，则过滤判断为矩形框边界。
进一步，步骤c中：所述全局特征提取为：提取车辆颜色特征，首先将RGB颜色通道进行分量映射，然后做颜色直方图计算，通过该方法将多摄像头下的相同车辆进行颜色特征提取；
进一步，步骤c中所述SURF算法特征提取包括：
c1、构建黑塞矩阵：通过矩阵的行列式的局部最大值判断特征点的尺度和位置，如果行列式的值大于零，则该像素为极值点，反之则为非极值点；
c2、构建图像的尺度空间：在不同尺度寻找相同位置的特征点，利用SURF算法，采用尺寸不同的方格滤波器处理初始车辆图片，获取图片尺度空间；
c3、特征点的定位：将像素点的特征点与该像素点三维空间中周围的点进行对比，如果该像素点的值比周围的值都要大，则该像素点被定义为特征点；
进一步，步骤d包括如下具体步骤：
d1、调用跟踪模型进行匹配器的实例化，分别对目标车辆图片和视频车辆图片进行特征向量的提取并计算；
d2、计算提取出的颜色直方图相似度，将R、G、B三个分量按照区间进行量化，最终得到一个颜色直方图向量；
d3、根据特征提取模块的SURF特征，利用筛选得出的最优匹配点进行匹配值计算；
d4、通过SURF匹配值初步定位目标车辆位置，再通过对特征向量相似度、SURF匹配值以及颜色相似度进行阈值对比，当所有条件都满足后，则确定目标为跟踪车辆。
进一步，所述步骤a中，对监控图片采取离线训练操作并生成SSD车辆检测模型，再运用该模型在监控视频中对每帧图片进行检测，检测出每帧图像中的所有车辆，并通过定位车辆获取车辆位置信息。
进一步，RGB颜色特征提取，主要分为两步：
RGB颜色通道分量映射：将图片进行R、G、B的3种通道的划分，每种设置为8个值，分别为Qr＝8、Qg＝8和Qb＝8，对每个通道的颜色分量值val进行量化处理，val∈[0,255]，处理公式如下所示：
Figure BDA0002211993650000041
颜色直方图计算：把R、G、B量化后的分量进行组合，构建RGB直方图向量得到RGB特征，其构建公式如下：C＝BQgQr+GQr+R＝64B+8G+R。
根据权利要求4所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，所述黑塞矩阵，将其设为H，该矩阵行列式的局部最大值能够决定特征点的尺度以及位置，H由函数f(x,y)偏导数构成，其表达式为：
Figure BDA0002211993650000042
进一步，其中对特征点进行一个方向的选定，该方向是以该点作为中心，以多倍的尺度为半径，计算该圆形区域内像素点在X，Y方向上的Haar小波响应值，然后通过距离特征点的远近为Haar小波响应值设置不同的权重值，利用一定角度的扇形为范围，计算其中加权的响应值的总和得到一个新的矢量，并用该扇形区域对圆形区域进行扫描，把最长的那个向量的方向作为该特征点的方向。
本发明的技术效果在于：(1)本发明多摄像头车辆跟踪系统采用深度学习里的SSD网络，对监控图片采取离线训练操作并生成SSD车辆检测模型，再运用该模型在监控视频中对每帧图片进行检测，检测出每帧图像中的所有车辆，并通过定位车辆获取车辆位置信息用于后续多摄像头的车辆跟踪工作。该过程可以将视频图像背景中的其余物体排除，解决背景复杂的情况，同时缩小特征提取的范围，提升特征提取的速度的同时又提升了准确度。
(2)本发明多摄像头车辆跟踪系统通过SURF匹配值初步定位目标车辆位置，再通过对特征向量相似度、SURF匹配值以及颜色相似度进行阈值对比，当所有条件都满足后，则确定目标为跟踪车辆。在SURF匹配时实现快速高效的匹配，同时对初次提取的粗匹配点进行筛选，排除错误的匹配点并获取了最优的匹配结果，有效减少了错误检查的情况并提升了准确度。
(3)本发明多摄像头车辆跟踪系统在多特征选取方面充分考虑全局和局部两种类型，选择稳定的SURF作为局部特征，有效解决多摄像头切换时产生的角度旋转变化、车辆尺寸大小变化以及光照变化等问题，并充分考虑SURF特征忽略了颜色信息的缺点，在全局特征中选取RGB颜色特征进行弥补。利用特征组合进行车辆的描述，解决单一特征在匹配不够准确，容易出现错误或者遗漏的问题。
(4)本发明多摄像头车辆跟踪系统包括高层控制中心和若干监控子网两层结构；高层监控中心通过以太网连接各个监控子网，具有协同控制、通讯调配和追溯查询等功能；监控子网通过多通道实时采集监控画面，提供24小时无损高质量信号，具有单目跟踪、跨场景追踪的功能。因此多摄像头的协同分析扩大了监控的范围，在视频监控，智能交通和城市计算方面具有普遍应用，可以在大型监控视频中快速发现、定位和跟踪目标车辆。
附图说明
图1为本发明多摄像头车辆跟踪系统的车辆检测模块交互流程图；
图2为本发明多摄像头车辆跟踪系统的SSD网络架构模型图；
图3为本发明多摄像头车辆跟踪系统的多特征提取模块流程图；
图4为本发明多摄像头车辆跟踪系统定位特征点过程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明公开了一种基于深度学习的多摄像头车辆跟踪系统，采用深度学习里的SSD网络，对监控图片采取离线训练操作并生成SSD车辆检测模型，再运用该模型在监控视频中对每帧图片进行检测，检测出每帧图像中的所有车辆，并通过定位车辆获取车辆位置信息用于后续多摄像头的车辆跟踪工作。该过程可以将视频图像背景中的其余物体排除，解决背景复杂的情况，同时缩小特征提取的范围，提升特征提取的速度的同时又提升了准确度。
车辆检测的实现采用深度学习的Caffe框架训练车辆样本图片，并利用训练的SSD车辆检测模型对监控视频的车辆进行在线检测，如图1所示。检测模块会对视频中的每一帧机型检测，将大于阈值的检测目标定为车辆，作为后续多摄像头车辆跟踪模块的输入。SSD车辆检测算法的主要处理流程分成两个步骤，离线训练和在线检测：
离线训练的具体过程：采集视频车辆的样本图片，将系统内所有摄像头点位的白昼场景的监控视频进行帧图像提取，筛选之后，排除不包含车辆的图片。
对获取的样本图片进行标签化，使用图片标注工具为每张样本图片中的车辆进行标记，最终得到一个标签文件，文件中包含车辆的位置信息。
对SSD车辆检测模型进行训练，本发明使用样本图片和标签文件组成需要训练的数据集，并利用Caffe框架进行训练最后得到检测模型，SSD网络架构模型图如图2所示，将大小不同的图像作为输入，在基础网络结构后面增加一些卷积层，大小逐级递减，用来提取特征值，能够再不同的特征图选取默认框，计算置信度与偏移量，最终以非极大值抑制目标所在位置。
在线检测模型，初始化检测模型，加载网络配置文件和检测模型，设置初始置信度阈值。调用检测函数进行车辆检测，判断置信度，保存大于阈值区域中的物体为车辆，过滤小于阈值的区域，判断矩形框边界。在线检测的具体过程：
1)初始实例化检测器，加载SSD网络配置文件和SSD检测模型，并设置置信度阈值。
2)调用车辆检测函数对进行车辆检测：读取视频帧图像，进行预处理后网络前向传播计算，将每个区域的置信度、最小x坐标、最小y坐标，最大x坐标和最大y坐标返回到一个向量中保存。
3)置信度判断：取出每个区域的置信度与设置的阈值进行比较，若大于阈值则判定该目标区域中的物体为车辆，并保存，若小于阈值则将该区域过滤。
4)矩形框边界判断：在确定检测物体为车辆后，对保存车辆信息的矩形框边界进行判断，若边界框超出了视频图像范围，则重置越界的边框。
提取车辆特征，分为全局特征提取和局部特征提取，其特征步骤如下：多特征提取部分主要针对全局特征中的RGB和局部特征中的SURF展开提取工作，采用全局特征中RGB颜色特征和局部特征中运算速度快且具有不变性的SURF特征进行特征提取，这样可以弥补对方的不足，为后续特征组合做准备，提升跟踪的准确度，多特征提取模块流程图如图3所示。
RGB颜色特征提取，主要分为两步：
(1)、RGB颜色通道分量映射：将图片进行R、G、B的3种通道的划分，每种设置为8个值，分别为Qr＝8、Qg＝8和Qb＝8，对每个通道的颜色分量值val进行量化处理，val∈[0,255]，本文的处理公式如下所示。
Figure BDA0002211993650000071
(2)、颜色直方图计算。把R、G、B量化后的分量进行组合，构建RGB直方图向量，得到RGB特征，其构建公式如下：C＝BQgQr+GQr+R＝64B+8G+R。通过该方法，将不同摄像头下的同一车辆图像进行颜色特征提取。
提取SURF特征，主要分为四步：
(1)、构建黑塞矩阵,获取SURF特征的关键就在于黑塞矩阵，将其设为H，该矩阵行列式的局部最大值能够决定特征点的尺度以及位置，H由函数f(x,y)偏导数构成，其表达式为：
(2)、构建尺度空间，图片的尺度空间是图片在不同的尺度下的表示，以便能在不同尺度下寻找到同一相对位置的特征点，在SIFT算法里构建尺度空间需要对图片的尺寸进行改变，而在SURF算法里，并不改变图片的大小，而是采用不同大小的方格滤波器处理原始图片，获取图片的尺度空间，为了在不同尺度下定位特征点，在不同图像层上利用黑塞矩阵进行处理，检测极值点，图4所示的是一个3×3的滤波器例子，将像素点的特征值与其三维领域中的26个点进行比较操作，如果该点的特征值比周围的26个值都大，那么该点被定义为特征点，即图中x若大于它周围的所有点，那么x为该区域的特征点。
为了让特征描述子拥有转动不变的性质，对特征点进行一个方向的选定，该方向是以该点作为中心，以6倍的尺度为半径，计算该圆形区域内像素点在X，Y方向上的Haar小波响应值，然后通过距离特征点的远近为Haar小波响应值设置不同的权重值，利用一个角度为60°的扇形为范围，计算其中加权的响应值的总和得到一个新的矢量，并用该扇形区域对圆形区域进行扫描，把最长的那个向量的方向作为该点的方向。
RGB颜色特征能弥补SURF特征不区分颜色信息的缺点，SURF特征具备良好的光线照射、角度转动以及尺寸大小不变性，相比SIFT速度更加快且稳定。由于单一特征在多摄像头切换时容易导致跟踪错误，以至于跟踪失败，因此分别从全局特征和局部特征中各选一个特征，将其特征组合起来，可以提高匹配的正确性。
最后，将跟踪信息存放到专有数据库中，以方便用户查阅跟踪的详细信息，并可通过播放视频内容再次判断目标车辆信息；对不同的摄像头轨迹进行匹配并对背景进行分块处理，绘制跟踪车辆的轨迹，创建全局路径。
本发明基于多摄像头协同作用的跟踪算法在存在与目标车辆相似的车辆时误检较高，因此利用全卷积孪生网络跟踪算法中的图像特征向量相似度与多特征融合进行改进，能够有效改善错误检测的情况，从而提升准确度。
本发明基于深度学习的多摄像头车辆跟踪系统包括高层控制中心和若干监控子网两层结构，高层监控中心通过以太网连接各个监控子网，具有协同控制、通讯调配和追溯查询等功能。监控子网通过多通道实时采集监控画面，提供24小时无损高质量信号，具有单目跟踪、跨场景追踪的功能。
本发明多摄像头车辆跟踪系统的实现过程为：目标检测，用Mog2这一背景减除算法进行帧的目标检测；提取目标，首先对其重置大小，去均值，然后将其送入CNN模型，当判断其为车辆时，与跟踪列表中的对象进行对比，当目标与列表中所有的目标的重叠度都很小时，将其加入跟踪列表；目标跟踪，采用全局特征中的RGB颜色特征和局部特征中的SURF算法，实现多特征车辆跟踪；物体分类，用CNN模型，每个卷积单元由卷积层、BN层、LeakyRelus与池化层组成。本发明在于获取更广范围的监控以及增强监控系统主动跟踪的能力，在视频监控，智能交通和城市计算方面具有普遍应用，可以在大型监控视频中快速发现、定位和跟踪目标车辆。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种基于深度学习的多摄像头车辆跟踪的系统，其特征在于，包括以下步骤：
a、创建多个拍摄摄像头，并对获取的视频中的车辆机型检测；
b、利用深度学习的Caffe框架训练车辆样本图片，生成车辆检测模型；
c、提取车辆特征，分别为全局特征的颜色特征提取和局部特征的SURF算法特征进行提取；
d、利用全卷积孪生网络跟踪算法中的特征向量相似度与多特征合作进行匹配；
e、将跟踪信息存放到专有数据库中，以方便用户查阅跟踪的详细信息，并可通过播放视频内容再次判断目标车辆信息；
f、对不同的摄像头轨迹进行匹配并对背景进行分块处理，绘制跟踪车辆的轨迹，创建全局路径。
2.根据权利要求1所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，步骤b包括以下步骤：
b1、收集车辆样本图片并筛选，排除无车样本后进行高斯噪音、翻转以及高亮数据增广，得到检测样本；
b2、对检测样本图像进行标签化处理；
b3、通过SSD网络训练车辆检测模型，用样本图片和标签文件组成需要训练的数据集，最后利用Caffe框架进行训练得到检测模型；
b4、在线检测模型：初始化检测模型，加载网络配置文件和检测模型，设置初始置信度阈值；调用检测函数进行车辆检测，判断置信度，当大于阈值区域中的物体则保存为车辆，当小于阈值区的区域，则过滤判断为矩形框边界。
3.根据权利要求1所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，步骤c中：所述全局特征提取为：提取车辆颜色特征，首先将RGB颜色通道进行分量映射，然后做颜色直方图计算，通过该方法将多摄像头下的相同车辆进行颜色特征提取。
4.根据权利要求1或3所述的任一基于深度学习的多摄像头车辆跟踪的系统，其特征在于，步骤c中所述SURF算法特征提取包括：
c1、构建黑塞矩阵：通过矩阵的行列式的局部最大值判断特征点的尺度和位置，如果行列式的值大于零，则该像素为极值点，反之则为非极值点；
c2、构建图像的尺度空间：在不同尺度寻找相同位置的特征点，利用SURF算法，采用尺寸不同的方格滤波器处理初始车辆图片，获取图片尺度空间；
c3、特征点的定位：将像素点的特征点与该像素点三维空间中周围的点进行对比，如果该像素点的值比周围的值都要大，则该像素点被定义为特征点。
5.根据权利要求1所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，步骤d包括如下具体步骤：
d1、调用跟踪模型进行匹配器的实例化，分别对目标车辆图片和视频车辆图片进行特征向量的提取并计算；
d2、计算提取出的颜色直方图相似度，将R、G、B三个分量按照区间进行量化，最终得到一个颜色直方图向量；
d3、根据特征提取模块的SURF特征，利用筛选得出的最优匹配点进行匹配值计算；
d4、通过SURF匹配值初步定位目标车辆位置，再通过对特征向量相似度、SURF匹配值以及颜色相似度进行阈值对比，当所有条件都满足后，则确定目标为跟踪车辆。
6.根据权利要求1所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，所述步骤a中，对监控图片采取离线训练操作并生成SSD车辆检测模型，再运用该模型在监控视频中对每帧图片进行检测，检测出每帧图像中的所有车辆，并通过定位车辆获取车辆位置信息。
7.根据权利要求5所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，RGB颜色特征提取，主要分为两步：
RGB颜色通道分量映射：将图片进行R、G、B的3种通道的划分，每种设置为8个值，分别为Qr＝8、Qg＝8和Qb＝8，对每个通道的颜色分量值val进行量化处理，val∈[0,255]，处理公式如下所示：
Figure FDA0002211993640000031
颜色直方图计算：把R、G、B量化后的分量进行组合，构建RGB直方图向量得到RGB特征，其构建公式如下：C＝BQgQr+GQr+R＝64B+8G+R。
8.根据权利要求4所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，所述黑塞矩阵，将其设为H，该矩阵行列式的局部最大值能够决定特征点的尺度以及位置，H由函数f(x,y)偏导数构成，其表达式为：
Figure FDA0002211993640000032
9.根据权利要求4所述的基于深度学习的多摄像头车辆跟踪的系统，其特征在于，其中对特征点进行一个方向的选定，该方向是以该点作为中心，以多倍的尺度为半径，计算该圆形区域内像素点在X，Y方向上的Haar小波响应值，然后通过距离特征点的远近为Haar小波响应值设置不同的权重值，利用一定角度的扇形为范围，计算其中加权的响应值的总和得到一个新的矢量，并用该扇形区域对圆形区域进行扫描，把最长的那个向量的方向作为该特征点的方向。
CN201910901586.1A 2019-09-23 2019-09-23 一种基于深度学习的多摄像头车辆跟踪系统 Pending CN110766720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910901586.1A CN110766720A (zh) 2019-09-23 2019-09-23 一种基于深度学习的多摄像头车辆跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910901586.1A CN110766720A (zh) 2019-09-23 2019-09-23 一种基于深度学习的多摄像头车辆跟踪系统

Publications (1)

Publication Number Publication Date
CN110766720A true CN110766720A (zh) 2020-02-07

Family

ID=69330639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910901586.1A Pending CN110766720A (zh) 2019-09-23 2019-09-23 一种基于深度学习的多摄像头车辆跟踪系统

Country Status (1)

Country Link
CN (1) CN110766720A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法
CN111595337A (zh) * 2020-04-13 2020-08-28 宁波深寻信息科技有限公司 一种基于视觉建模的惯性定位的自校正方法
CN111860320A (zh) * 2020-07-20 2020-10-30 华录智达科技有限公司 一种多监控点联动的车辆状态持续分析方法
CN112037249A (zh) * 2020-07-21 2020-12-04 贵州宽凳智云科技有限公司北京分公司 一种对摄像装置影像中物体进行跟踪的方法及装置
CN113139986A (zh) * 2021-04-30 2021-07-20 东风越野车有限公司 一种集成式环境感知与多目标跟踪系统
CN113205546A (zh) * 2021-04-30 2021-08-03 四川云从天府人工智能科技有限公司 获得目标车辆运动轨迹的方法、系统、介质及设备
CN113657378A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 车辆跟踪方法、车辆跟踪系统和计算设备
CN114092523A (zh) * 2021-12-20 2022-02-25 常州星宇车灯股份有限公司 一种灯光追踪人手的矩阵阅读灯及其控制方法
CN114863692A (zh) * 2022-04-18 2022-08-05 广州天长信息技术有限公司 一种基于局部特征对齐的车纹识别逃费稽查方法
US11568578B2 (en) 2020-12-28 2023-01-31 Industrial Technology Research Institute Method for generating goods modeling data and goods modeling data generation device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
US20170011528A1 (en) * 2015-07-08 2017-01-12 Thomson Licensing Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
WO2018086607A1 (zh) * 2016-11-11 2018-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备、存储介质
CN109591698A (zh) * 2017-09-30 2019-04-09 上海欧菲智能车联科技有限公司 盲区检测系统、盲区检测方法和车辆
CN109598684A (zh) * 2018-11-21 2019-04-09 华南理工大学 结合孪生网络的相关滤波跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
US20170011528A1 (en) * 2015-07-08 2017-01-12 Thomson Licensing Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
WO2018086607A1 (zh) * 2016-11-11 2018-05-17 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备、存储介质
CN109591698A (zh) * 2017-09-30 2019-04-09 上海欧菲智能车联科技有限公司 盲区检测系统、盲区检测方法和车辆
CN109598684A (zh) * 2018-11-21 2019-04-09 华南理工大学 结合孪生网络的相关滤波跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏驰: "基于多摄像头的车辆跟踪系统设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法
CN111377065B (zh) * 2020-03-09 2021-11-16 西北工业大学 一种多航天器协同识别目标姿态参数的方法
CN111595337A (zh) * 2020-04-13 2020-08-28 宁波深寻信息科技有限公司 一种基于视觉建模的惯性定位的自校正方法
CN111595337B (zh) * 2020-04-13 2023-09-26 浙江深寻科技有限公司 一种基于视觉建模的惯性定位的自校正方法
CN111860320A (zh) * 2020-07-20 2020-10-30 华录智达科技有限公司 一种多监控点联动的车辆状态持续分析方法
CN112037249A (zh) * 2020-07-21 2020-12-04 贵州宽凳智云科技有限公司北京分公司 一种对摄像装置影像中物体进行跟踪的方法及装置
US11568578B2 (en) 2020-12-28 2023-01-31 Industrial Technology Research Institute Method for generating goods modeling data and goods modeling data generation device
CN113139986A (zh) * 2021-04-30 2021-07-20 东风越野车有限公司 一种集成式环境感知与多目标跟踪系统
CN113205546A (zh) * 2021-04-30 2021-08-03 四川云从天府人工智能科技有限公司 获得目标车辆运动轨迹的方法、系统、介质及设备
CN113657378A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 车辆跟踪方法、车辆跟踪系统和计算设备
CN113657378B (zh) * 2021-07-28 2024-04-26 讯飞智元信息科技有限公司 车辆跟踪方法、车辆跟踪系统和计算设备
CN114092523A (zh) * 2021-12-20 2022-02-25 常州星宇车灯股份有限公司 一种灯光追踪人手的矩阵阅读灯及其控制方法
CN114863692A (zh) * 2022-04-18 2022-08-05 广州天长信息技术有限公司 一种基于局部特征对齐的车纹识别逃费稽查方法
CN114863692B (zh) * 2022-04-18 2023-10-27 广州天长信息技术有限公司 一种基于局部特征对齐的车纹识别逃费稽查方法

Similar Documents

Publication Publication Date Title
CN110766720A (zh) 一种基于深度学习的多摄像头车辆跟踪系统
US10719940B2 (en) Target tracking method and device oriented to airborne-based monitoring scenarios
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
Tang et al. Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
Peng et al. Drone-based vacant parking space detection
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN110210428B (zh) 一种基于mser的远距离复杂环境下的烟雾根节点检测方法
Xiao et al. Vehicle and person tracking in aerial videos
CN110070578A (zh) 一种回环检测方法
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN112560852A (zh) 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法
Funde et al. Object detection and tracking approaches for video surveillance over camera network
CN112364805A (zh) 一种旋转手掌图像检测方法
Wang et al. Video background/foreground separation model based on non-convex rank approximation RPCA and superpixel motion detection
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
Yang et al. Vehicle detection from low quality aerial LIDAR data
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210615

Address after: 224000 Building 1, intelligent terminal industry pioneer park, high tech Zone, Yandu District, Yancheng City, Jiangsu Province (d)

Applicant after: Yancheng Jiyan Intelligent Technology Co.,Ltd.

Address before: 224000 Building 1, intelligent terminal industry pioneer park, high tech Zone, Yandu District, Yancheng City, Jiangsu Province

Applicant before: Co., Ltd of intelligent terminal industrial research institute of Yancheng Jinlin University

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207