CN111062971B - 一种基于深度学习多模态的跨摄像头泥头车追踪方法 - Google Patents
一种基于深度学习多模态的跨摄像头泥头车追踪方法 Download PDFInfo
- Publication number
- CN111062971B CN111062971B CN201911278891.6A CN201911278891A CN111062971B CN 111062971 B CN111062971 B CN 111062971B CN 201911278891 A CN201911278891 A CN 201911278891A CN 111062971 B CN111062971 B CN 111062971B
- Authority
- CN
- China
- Prior art keywords
- mud
- head vehicle
- camera
- target
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012614 Monte-Carlo sampling Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于深度学习多模态的跨摄像头泥头车追踪方法，包括进行泥头车的检测，从初始摄像头中选取选定目标泥头车的特征；将目标泥头车的特征输入到仿射空间中进行仿射变换；进行多模态深度特征提取；将提取到的多模态深度特征输入到相关滤波跟踪模型中，进行单摄像头目标追踪；进行单摄像头目标追踪同时，根据追踪结果对目标泥头车进行定位；更新S4中的相关滤波跟踪模型，进行跨摄像头特征模型传递；搜索到目标泥头车时，进行车牌对比和多模态特征对比，确认目标泥头车；以及重复上述步骤，直到不再有合适的目标泥头车。该方法利用在交通道路上部署的多个摄像头对泥头车进行有效跟踪，并利用摄像头的参数信息对泥头车所在空间位置进行定位。
Description
技术领域
本发明涉及到多摄像头的视频目标追踪技术，具体涉及到一种基于深度学习多模态的跨摄像头泥头车追踪方法。
背景技术
泥头车监控是城市治理的难点，泥头车无视规则往往是引发城市交通事故重要原因，是交通和城市管理的重要监管对象，对泥头车进行实时智能监控，追踪是加强泥头车治理的重要技术手段。目前，单摄像头的短时间追踪已经有很多的技术方案，例如卡尔曼滤波的追踪方案、粒子滤波追踪、压缩感知的追踪方案，这些在单摄像头的短时间追踪各有特长，也取得了不错的追踪效果。但在实际中，一个摄像头的视角往往是有限的，能够在一个摄像头下追踪目标的距离也是有限的。在城市交通治理越来越智能化的今天，研究跨摄像头和多摄像头对泥头车进行追踪和分析，显得尤为重要。
泥头车的多摄像头以及跨摄像头追踪的基础是视频的目标追踪技术，视频的目标追踪技术是计算机视觉研究的基础技术，广泛应用在各种智能场景中，例如智慧交通、无人驾驶、无人机的追踪等等。一般目标追踪的流程是这样的：首先，我们要在目标的第一帧或前几帧确立要跟踪的目标，可采用自动的目标检测和手动的标记进行目标的确认。然后，利用跟踪算法在后续帧中继续预测目标在后续帧中所存在的位置。这是目标跟踪技术的最基本形式，目标跟踪当前存在的挑战主要集中在：光照的变化、运动产生的模糊、低分辨率以及旋转运动所发生的变化。
近年来，深度学习技术在计算机视觉领域取得了很大的成功，尤其在利用视觉技术对目标进行检测分割识别这些方面，发挥了重要的作用，但在追踪领域，早期引入的深度学习技术并没有发挥很大作用，因为深度学习依赖大量的数据进行训练，而追踪只有初始帧的数据可以利用，后来有关学者将在目标检测和识别中训练好的深度神经网络迁移过来进行特征提取，使得追踪过程中能利用到深度学习提供的特征，提高了目标追踪的准确率，超越了传统方法。
发明内容
本发明提供一种基于深度学习多模态的跨摄像头泥头车追踪方法，利用在交通道路上部署的多个摄像头对泥头车进行有效的跟踪，并利用摄像头的参数信息对泥头车所在空间位置进行定位。
本发明提供的技术方案如下:
一种基于深度学习多模态的跨摄像头泥头车追踪方法，包括以下步骤：S1:进行泥头车的检测，从初始摄像头中选取选定目标泥头车的特征并进行预处理；S2：将目标泥头车的特征输入到仿射空间中进行仿射变换；S3：对经过仿射变换的目标泥头车的特征进行车头、车尾及车身侧的多模态深度特征提取；S4：将提取到的多模态深度特征输入到相关滤波跟踪模型中，进行单摄像头目标追踪；S5：在S4进行单摄像头目标追踪的同时，根据S4中追踪的结果对目标泥头车进行定位，并且输出目标泥头车的实时坐标；S6：按照特征传递策略更新S4中的相关滤波跟踪模型，进行跨摄像头特征模型传递；S7：在S6中搜索到目标泥头车的时候，进行车牌对比和多模态特征对比，确认目标泥头车；以及S8：确认目标泥头车后，重复S2-S7，直到不再有合适的目标泥头车。
在上述跨摄像头泥头车追踪方法中，在步骤S1中，从需要追踪的多个摄像头中定义一个初始摄像头，从初始摄像头中选取需要追踪的泥头车清晰的图片作为初始帧，在初始帧中利用手工或者自动检测的方式框出泥头车在图片中的位置，预处理阶段要提取目标泥头车的车牌号和对图像进行基本的滤波去噪处理。
在上述跨摄像头泥头车追踪方法中，在步骤S1中，对泥头车进行检测所使用的泥头车检测模型，以YOLO_V3识别网络为基础，将YOLO_V3的识别检测改进为泥头车的车头、车尾、车身侧的识别和训练；对于传统的YOLO_V3网络的前20层的卷积层，针对每一层在其后面增加池化层，以防止训练时过拟合，并用标注好的数据对泥头车识别的网络进行训练。
在上述跨摄像头泥头车追踪方法中，在步骤S5中，泥头车的定位是利用标定好的单摄像头进行定位，单摄像头在追踪到目标泥头车后，通过利用摄像头详细的标定信息，根据相似三角比例计算出泥头车的实际坐标，泥头车的详细位置信息就是将摄像头所在的地理位置信息和泥头车的实际坐标相结合。
在上述跨摄像头泥头车追踪方法中，在步骤S6中，需要利用下一个摄像头检索泥头车，利用多摄像头检索策略来确认寻找泥头车优先使用的摄像头，确认具体摄像头后，再利用泥头车检测模型从该摄像头中搜索目标泥头车，进行泥头车检测。
在上述跨摄像头泥头车追踪方法中，多摄像头检索策略，采用动态的蒙特卡罗采样方法检索摄像头，先以初始化摄像头为中心由近到远的随机方向中选择需要检索的摄像头，检测泥头车并对检测出目标泥头车的摄像头做上标记，然后在概率高的方向加大选择的权重，这样算法会沿着泥头车行进的方向不断推进，在运行完泥头车的检测算法后，可以从车头和车尾提取车牌号信息。
在上述跨摄像头泥头车追踪方法中，在步骤S7中，首先检测是否有清晰的车牌，如有则可以直接定位目标泥头车；如没有，则在S6中更新的滤波追踪模型中进行精细的车头、车尾及车身侧的多模态特征对比，进行对目标泥头车的确认。
在上述跨摄像头泥头车追踪方法中，相关滤波跟踪模型的更新方程是：
Ht＝(1-λ)Ht-1+λH(t) (1)
其中，Ht是更新完成的模板，λ是更新经验系数，t表示当前帧，具体方式是将原来单摄像头逐帧更新的方式，变为选取与目标相似程度最高的五个帧，五个帧是上一个摄像头中目标最清晰的五帧，然后利用这五个帧对公式(1)中的H进行更新，更新方式是将这五帧生成的新模板和旧模板依次叠加后，组合成新的模板传递给下一个摄像头。
本发明的有益效果：
1.本发明提供的跨摄像头泥头车追踪方法，能够不间断的在城市道路上长时间追踪泥头车的轨迹，较以前只能单摄像头短时间的追踪，更加符合实际场景需求，评估泥头车造成的各种影响，为城市治理带来方便。
2.本发明的从多角度对泥头车特征进行提取建模的方式，摆脱以往单一进行一个角度的特征提取，增强了特征的鲁棒性，提高了在不同角度下追踪目标的准确性。
3.本发明采用的渐进式跨摄像头传递特征的方案即模型更新策略，既保留了泥头车的原始特征，又能根据不同场景的转换而增加特征的变化，使得抗干扰能力不断增强，提高了目标长时间跟踪的可持续性。
4.本发明的特定的多摄像头检索策略，针对多摄像头的检索顺序，采用了动态的蒙特卡罗采样方法来检索摄像头，运用重要性重采样这一原理，合理的预测到泥头车的前进方向，提高了检索效率的同时也节约了算力。
5.本发明有效地利用摄像头位置信息和摄像头参数信息能够有效的定位到泥头车的空间位置信息，较以往追踪方法提供了更多功能。
附图说明
为了更清楚地说明本发明具体实施方式，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明方法的基于深度学习多模态的跨摄像头泥头车追踪方法的流程图。
具体实施方式
本发明在利用多摄像头对道路中的泥头车进行了跟踪的过程中，采用了多模态特征融合的方式进行特征提取，有效地结合了车头、车尾和车侧身特征进行跟踪，在跨摄像头的特征传递中，利用了进阶的权重更新的办法来进行特征的实时更新权重信息。在追踪到泥头车后，本发明利用摄像头的位置信息和摄像头的参数信息来计算泥头车的位置信息。为后续的对泥头车的分析提供了良好的基础。
本发明的原理是：1、利用深度神经网络学习泥头车的多个特征进行融合，充分考虑到车头、车尾和车身侧，使得特征的稳健性得到很大的提升；2、采用渐进式跨摄像头传递特征，充分考虑到不同摄像头之间存在的环境差异，传递特征的时候能同时兼顾环境对目标带来的改变，使得追踪的稳定性得到保证；3、采用蒙特卡洛的检索策略从多个摄像动态的选择需要检索的摄像机；4、利用摄像机的位置信息和摄像机的内参外参信息，对追踪到的目标泥头车进行空间上的定位。
本发明主要解决跨摄像头泥头车追踪的以下几个问题：1、视角多变，不同于单摄像头的目标追踪，跨摄像头的目标往往是存在多个角度，而从这些不同的角度拍摄的泥头车的位置也不相同，因此存在着相同泥头车之间的特征差异，给追踪带来了困难。2.跨摄像头的特征传递，当利用多个摄像头对泥头车进行跟踪，需要将特征模型从一个摄像头传递到另一个摄像头，而在追踪的过程中需要对这些特征模型进行不断的学习跟新，如何有效地传递这些特征模型使得既能保障模型特性又能适应环境的变化。3.泥头车的类内差异较小，由于泥头车车型大致相同，款式相对单一，要想区分车辆的唯一性存在着一定的困难。
本发明的一种基于深度学习多模态的跨摄像头泥头车追踪方法的技术方案如下：
1)进行泥头车的检测，从初始摄像头中选取选定目标泥头车的特征。具体地，对于泥头车的跨摄像头追踪来说，首先要检索到某个摄像的视野范围内存在泥头车。本发明方法通过对现实中泥头车图像数据的大量采集，采集数据量为20万张图片，泥头车的数据采集主要利用摄像机在泥头车经过的地方对泥头车进行各个角度的拍摄，然后将采集到图片数据进行筛选标注，这些标注的数据主要包含泥头车的车头、车尾和车身侧的图片信息，然后设计了泥头车检测模型，是一个用于识别泥头车的深度学习网络，该网络以YOLO_V3(一种国际上常用的识别网络模型)识别网络为基础进行改进，将YOLO_V3的识别检测改进为泥头车的车头、车尾、车身侧的识别和训练，传统的YOLO_V3网络包含53层卷积层，针对前二十层的卷积层，针对每一层在其后面增加池化层，以防止训练时过拟合，并用标注好的数据对泥头车识别的网络进行训练。利用检测算法和目标追踪相结合，可以有效的实现长时间长序列的追踪，克服了目标追踪过程中目标易发生丢失、运动模糊等弊端。对应后面的步骤S1、步骤S6。
2).将选定好的目标泥头车的特征输入到仿射空间上进行仿射变换(即特征对比)，可以有效地利用仿射空间的特性，可以减少目标泥头车的特征受到目标拍摄的角度大小所影响，有效的提高特征对比的可靠性。对应后面的步骤S2。
3).泥头车的追踪，确定初始化摄像头后，首先要进行泥头车在多个摄像头的检索，本发明根据蒙特卡洛算法启发，提出一种新的多摄像头检索策略，采用了动态的蒙特卡罗采样方法来检索摄像头，采用重要性重采样原理，先以初始化摄像头为中心由近到远的随机方向中选择需要检索的摄像头，利用1)中训练好的泥头车检测模型检测泥头车，并对检测出目标泥头车的摄像头做上标记，然后在概率高的方向加大选择的权重，这样算法会沿着泥头车行进的方向不断推进，在运行完泥头车的检测算法后，车头和车尾可以提取车牌号信息，由于泥头车车尾按规定都会在车尾部标记上大码的车牌号信息，这有助于本发明算法中确认泥头车身份信息，合理的预测到泥头车的前进方向，提高了检索效率的同时也节约了算力。如果无法通过车牌信息，会通过与初始帧进行特征相似度的比对。由于是通过车头、车尾，车身侧共同组成的多模态的特征对比来确认车辆的身份，特征要求的精细程度很高。本发明特征提取的网络主要基于Resnet(残差深度神经网络)来进行训练；同样，特征的对比也是三个方面的：车头、车尾和车身侧的特征相似度对比，并且设置一定的相似度阈值，通过该阈值的可以判断为同一辆车。定位到目标车辆后，进行单摄像头目标追踪。本发明采用相关滤波的追踪模型对目标进行追踪。采用多模态的特征，比之单模态的特征能够有效的进行特征互补。对应后面的步骤S6、S7。
4).特征传递策略，特征传递策略是一种追踪的模型更新策略，一般来说追踪的模型会在追踪的过程中不断的更新，更新主要目的是使得模型能够目标在运动过程中适应目标的变化达到长时间追踪的效果，在本发明采用的相关滤波跟踪模型的更新方程是：
Ht＝(1-λ)Ht-1+λH(t) (1)
其中，Ht是更新完成的模板，λ是更新经验系数，t表示当前帧。这是在本发明中在同一个摄像头下的模型更新方式。
不同于一个摄像头下的目标追踪方式，对于跨摄像头来讲，这种方式则需要改进，本发明提出一种新的模型更新策略的改进方案，改进的具体方式是将原来单摄像头逐帧更新的方式，变为选取与目标相似程度最高的五个帧，即这五个帧是上一个摄像头中目标最清晰的五帧，然后利用这五个帧对公式(1)中的H进行更新，更新方式也是将这五帧生成的新模板和旧模板按一定比例依次叠加后，组合成新的模板传递给下一个摄像头。这种方式即避免了模型在长期追踪更新中受到污染使得追踪无法正常进行，又能将环境变化进行传递使得模型能适应不同场景的变化，从而达到一种相对平衡的状态。对应后面的步骤S3、S4、S6。
5.泥头车的定位，泥头车的定位方式是利用标定好的单摄像头进行定位，单摄像头在追踪到目标泥头车后，通过利用摄像头详细的标定信息，根据相似三角比例计算出泥头车的实际坐标，泥头车的详细位置信息就是将摄像头所在的地理位置信息和泥头车的实际坐标相结合；对应后面的步骤S5。
本发明的基于深度学习多模态的跨摄像头泥头车追踪方法，具体包括如下步骤，如图1所示：
S1.进行泥头车的检测，从初始摄像头中选取选定目标泥头车的特征并进行预处理。从需要追踪的多个摄像头中定义一个初始摄像头，从初始摄像头中选取需要追踪的泥头车清晰的图片作为初始帧，在初始帧中利用手工或者自动检测的方式框出泥头车在图片中的位置，预处理阶段要提取目标泥头车的车牌号和对图像进行基本的滤波去噪处理。
S2.将选定好的目标泥头车的特征输入到仿射空间中进行仿射变换。
S3.对经过仿射变换的目标泥头车的特征进行精细的车头、车尾及车身侧的多模态深度特征提取。
S4.将提取到的多模态深度特征输入到相关滤波跟踪模型中，进行单摄像头目标追踪，即，在一个摄像头中完成对目标泥头车的跟踪。
S5.在S4进行目标追踪的同时，根据S4中每一帧追踪的结果对目标泥头车进行定位，确认目标位置坐标，并且输出目标泥头车的实时坐标。
S6.在利用S4和S5对一个摄像头的泥头车完成追踪和定位后，按照特征传递策略更新S4中的相关滤波跟踪模型，来进行跨摄像头特征模型传递。需要利用下一个摄像头检索泥头车，利用多摄像头检索策略来确认寻找泥头车优先使用的摄像头，确认具体摄像头后，再利用泥头车检测模型从该摄像头中搜索目标泥头车，即进行多摄像头检索，进行泥头车检测。
S7.在S6中搜索到目标泥头车的时候，进行车牌对比和多模态特征对比，确认目标泥头车。具体地，首先检测是否有清晰的车牌，如有则可以直接定位目标泥头车，如没有，则在S6中更新的滤波追踪模型中进行精细的车头、车尾及车身侧的多模态特征对比，进行对目标泥头车的确认。
S8.确认目标泥头车后，重复S2-S7，直到不再有合适的目标泥头车。
表1为本发明中针对改进前的YOLO_V3模型和改进后的YOLO_V3模型对比结果,可以看出改进前模型的过拟合程度相对比较高，即训练集的结果和测试集的结果相差较大，而改进后过拟合问题的得到明显的改善准确度也相对有所提高，可用性大大增强。除此之外，本发明在其他方面的改进，明显提升泥头车的检测和追踪效果，将以前分散不可实地应用的技术结合后，达到一种系统可实用的效果。
表1针对改进前的YOLO_V3模型和改进后的YOLO_V3模型的对比结果
| YOLO_V3模型 | 改进后YOLO_V3模型 | |
| 车头训练集准确度 | 95.8％ | 97.8％ |
| 车头测试集准确度 | 85.6％ | 95.6％ |
| 车尾训练集准确度 | 97.9％ | 98.3％ |
| 车尾测试集准确度 | 89.5％ | 93.7％ |
| 车身侧训练集准确度 | 92.5％ | 96.7％ |
| 车身侧测试集准确度 | 83.4％ | 94.5％ |
以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (5)
1.一种基于深度学习多模态的跨摄像头泥头车追踪方法，其特征在于，包括以下步骤：
S1:进行泥头车的检测，从初始摄像头中选取选定目标泥头车的特征并进行预处理，具体地：从需要追踪的多个摄像头中定义一个初始摄像头，从初始摄像头中选取需要追踪的泥头车清晰的图片作为初始帧，在初始帧中利用手工或者自动检测的方式框出泥头车在图片中的位置，预处理阶段要提取目标泥头车的车牌号和对图像进行基本的滤波去噪处理；
S2：将所述目标泥头车的特征输入到仿射空间中进行仿射变换；
S3：对经过仿射变换的所述目标泥头车的特征进行车头、车尾及车身侧的多模态深度特征提取；
S4：将提取到的所述多模态深度特征输入到相关滤波跟踪模型中，进行单摄像头目标追踪；
S5：在S4进行所述单摄像头目标追踪的同时，根据S4中追踪的结果对目标泥头车进行定位，并且输出目标泥头车的实时坐标；
S6：按照特征传递策略更新S4中的相关滤波跟踪模型，进行跨摄像头特征模型传递，具体地：需要利用下一个摄像头检索泥头车，利用多摄像头检索策略来确认寻找泥头车优先使用的摄像头，确认具体摄像头后，再利用泥头车检测模型从该摄像头中搜索目标泥头车，进行泥头车检测，
所述多摄像头检索策略，采用动态的蒙特卡罗采样方法检索摄像头，先以初始化摄像头为中心由近到远的随机方向中选择需要检索的摄像头，检测泥头车并对检测出目标泥头车的摄像头做上标记，然后在概率高的方向加大选择的权重，这样算法会沿着泥头车行进的方向不断推进，在运行完泥头车的检测算法后，可以从车头和车尾提取车牌号信息；
S7：在S6中搜索到目标泥头车的时候，进行车牌对比和多模态特征对比，确认目标泥头车；以及
S8：确认目标泥头车后，重复S2-S7，直到不再有合适的目标泥头车。
2.根据权利要求1所述的跨摄像头泥头车追踪方法，其特征在于，在步骤S1中，对泥头车进行检测所使用的泥头车检测模型，以YOLO_V3识别网络为基础，将YOLO_V3的识别检测改进为泥头车的车头、车尾、车身侧的识别和训练；对于传统的YOLO_V3网络的前20层的卷积层，针对每一层在其后面增加池化层，以防止训练时过拟合，并用标注好的数据对泥头车识别的网络进行训练。
3.根据权利要求1所述的跨摄像头泥头车追踪方法，其特征在于，在步骤S5中，泥头车的定位是利用标定好的单摄像头进行定位，单摄像头在追踪到目标泥头车后，通过利用摄像头详细的标定信息，根据相似三角比例计算出泥头车的实际坐标，泥头车的详细位置信息就是将摄像头所在的地理位置信息和泥头车的实际坐标相结合。
4.根据权利要求1所述的跨摄像头泥头车追踪方法，其特征在于，在步骤S7中，首先检测是否有清晰的车牌，如有则可以直接定位目标泥头车；如没有，则在S6中更新的滤波追踪模型中进行精细的车头、车尾及车身侧的多模态特征对比，进行对目标泥头车的确认。
5.根据权利要求1所述的跨摄像头泥头车追踪方法，其特征在于，所述相关滤波跟踪模型的更新方程是：
Ht＝(1-λ)Ht-1+λH(t) (1)
其中，Ht是更新完成的模板，λ是更新经验系数，t表示当前帧，具体方式是将原来单摄像头逐帧更新的方式，变为选取与目标相似程度最高的五个帧，所述五个帧是上一个摄像头中目标最清晰的五帧，然后利用这五个帧对公式(1)中的H进行更新，更新方式是将这五帧生成的新模板和旧模板依次叠加后，组合成新的模板传递给下一个摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911278891.6A CN111062971B (zh) | 2019-12-13 | 2019-12-13 | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911278891.6A CN111062971B (zh) | 2019-12-13 | 2019-12-13 | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062971A CN111062971A (zh) | 2020-04-24 |
| CN111062971B true CN111062971B (zh) | 2023-09-19 |
Family
ID=70300909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911278891.6A Active CN111062971B (zh) | 2019-12-13 | 2019-12-13 | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062971B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738228A (zh) * | 2020-08-04 | 2020-10-02 | 杭州智诚惠通科技有限公司 | 一种面向治超证据链校验的多视角车辆特征匹配方法 |
| CN112616023A (zh) * | 2020-12-22 | 2021-04-06 | 荆门汇易佳信息科技有限公司 | 复杂环境下的多摄像机视频目标追踪方法 |
| CN113191305A (zh) * | 2021-05-17 | 2021-07-30 | 武汉中科通达高新技术股份有限公司 | 一种基于Flink框架的数据管理方法及装置 |
| TWI793953B (zh) * | 2022-01-03 | 2023-02-21 | 逢甲大學 | 智能小黑蚊監測管理系統 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
| CN104166841A (zh) * | 2014-07-24 | 2014-11-26 | 浙江大学 | 一种视频监控网络中指定行人或车辆的快速检测识别方法 |
| CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
| CN107256561A (zh) * | 2017-04-28 | 2017-10-17 | 纳恩博（北京）科技有限公司 | 目标跟踪方法和装置 |
| CN107705327A (zh) * | 2017-08-29 | 2018-02-16 | 电子科技大学 | 多相机网络时空模型的候选目标提取方法 |
| CN108417047A (zh) * | 2018-05-10 | 2018-08-17 | 杭州盈蝶科技有限公司 | 一种车辆定位追踪方法及其系统 |
| CN109636770A (zh) * | 2017-10-06 | 2019-04-16 | 福特全球技术公司 | 用于对象检测和轨迹预测的运动和外观特征的融合 |
| CN109902590A (zh) * | 2019-01-30 | 2019-06-18 | 西安理工大学 | 深度多视图特征距离学习的行人重识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017127841A1 (en) * | 2016-01-21 | 2017-07-27 | Wizr Llc | Video processing |
| US10546197B2 (en) * | 2017-09-26 | 2020-01-28 | Ambient AI, Inc. | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
-
2019
- 2019-12-13 CN CN201911278891.6A patent/CN111062971B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
| CN104166841A (zh) * | 2014-07-24 | 2014-11-26 | 浙江大学 | 一种视频监控网络中指定行人或车辆的快速检测识别方法 |
| CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
| CN107256561A (zh) * | 2017-04-28 | 2017-10-17 | 纳恩博（北京）科技有限公司 | 目标跟踪方法和装置 |
| CN107705327A (zh) * | 2017-08-29 | 2018-02-16 | 电子科技大学 | 多相机网络时空模型的候选目标提取方法 |
| CN109636770A (zh) * | 2017-10-06 | 2019-04-16 | 福特全球技术公司 | 用于对象检测和轨迹预测的运动和外观特征的融合 |
| CN108417047A (zh) * | 2018-05-10 | 2018-08-17 | 杭州盈蝶科技有限公司 | 一种车辆定位追踪方法及其系统 |
| CN109902590A (zh) * | 2019-01-30 | 2019-06-18 | 西安理工大学 | 深度多视图特征距离学习的行人重识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 中国优秀硕士学位论文全文数据库 工程科技II辑.中国优秀硕士学位论文全文数据库 工程科技II辑/中国优秀硕士学位论文全文数据库 工程科技II辑.2019,第60-66页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062971A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062971B (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
| CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
| Hausler et al. | Multi-process fusion: Visual place recognition using multiple image processing methods | |
| CN102902955B (zh) | 一种车辆行为的智能分析方法及系统 | |
| JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
| CN109815300B (zh) | 一种车辆定位方法 | |
| CN111179162B (zh) | 一种特殊环境下的定位初始化方法及车载终端 | |
| CN108460968A (zh) | 一种基于车联网获取交通路况信息的方法及装置 | |
| CN114049382B (zh) | 一种智能网联环境下目标融合跟踪方法、系统和介质 | |
| CN105760846A (zh) | 基于深度数据的目标检测与定位方法及系统 | |
| Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
| CN111754388B (zh) | 一种建图方法及车载终端 | |
| CN115131420A (zh) | 基于关键帧优化的视觉slam方法及装置 | |
| CN106092123A (zh) | 一种视频导航方法及装置 | |
| Labbé et al. | Multi-session visual SLAM for illumination-invariant re-localization in indoor environments | |
| CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
| CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
| Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
| Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
| CN113627497B (zh) | 一种基于时空约束的跨摄像头行人轨迹匹配方法 | |
| Zhao et al. | An ISVD and SFFSD-based vehicle ego-positioning method and its application on indoor parking guidance | |
| CN104318760A (zh) | 一种基于似物性模型的路口违章行为智能检测方法及系统 | |
| CN110472508A (zh) | 基于深度学习和双目视觉的车道线测距方法 | |
| WO2021138372A1 (en) | Feature coverage analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |