CN115995063A - 作业车辆检测与跟踪方法和系统 - Google Patents

作业车辆检测与跟踪方法和系统 Download PDF

Info

Publication number
CN115995063A
CN115995063A CN202111208735.XA CN202111208735A CN115995063A CN 115995063 A CN115995063 A CN 115995063A CN 202111208735 A CN202111208735 A CN 202111208735A CN 115995063 A CN115995063 A CN 115995063A
Authority
CN
China
Prior art keywords
tracking
track
work vehicle
matching
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111208735.XA
Other languages
English (en)
Inventor
刘世望
袁希文
林军
康高强
游俊
王泉东
丁驰
袁浩
徐阳翰
岳伟
熊群芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Zhuzhou Institute Co Ltd
Original Assignee
CRRC Zhuzhou Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Zhuzhou Institute Co Ltd filed Critical CRRC Zhuzhou Institute Co Ltd
Priority to CN202111208735.XA priority Critical patent/CN115995063A/zh
Priority to PCT/CN2021/127840 priority patent/WO2023065395A1/zh
Publication of CN115995063A publication Critical patent/CN115995063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了提供了一种作业车辆检测与跟踪方法和系统，使用图像增强方法对复杂矿山环境的图像进行增强处理，通过基于深度学习目标检测框架的作业车辆检测模型获取多类型的作业车辆检测结果，所述作业车辆跟踪模型使用基于运动信息与外观特征级联匹配的作业车辆跟踪方法，根据作业车辆检测结果进行多类型目标跟踪。

Description

作业车辆检测与跟踪方法和系统
技术领域
本发明涉及视觉检测与跟踪技术领域，具体涉及一种作业车辆检测与跟踪 方法和系统。
背景技术
2020年，国家发改委、工信部等八部委发布了《关于加快煤矿智能化发展 的指导意见》，明确指出发展露天矿卡无人驾驶系统，争取在2035年实现“智 能感知，智能决策，自动执行”。在矿用卡车无人驾驶系统的智能感知环节中， 要求路测感知模块具备交通流量统计，车辆入侵、停车、逆行、减速、换道检 测功能。同时，在车载感知模块中，雷达无法获取环境颜色，纹理等视觉信息， 产生了对目标类型判断能力不足等问题。基于视觉的多目标实时检测与跟踪技 术能够应用于路测交通流量统计，车辆入侵、停车、逆行检测等场景，也能弥 补车载雷达感知能力的不足。其凭借成本较低，感知信息丰富，拥有比拟驾驶 员视觉能力等优势成为了矿卡无人驾驶系统中的重要组成部分，也是系统智能 感知不可或缺的关键核心技术。
长期以来，多目标实时检测与跟踪技术都是自动驾驶，工业检测等领域的 热点研究内容，科研人员对其进行了大量的研究。以2012年卷积神经网络的 提出为分水岭，多目标实时检测与跟踪技术可以分为传统视觉分析和视觉深度 学习两个主要方向。
在传统视觉分析方向中，通过人工选取或设计图像特征，结合机器学习等 方法来进行多目标检测与跟踪。主要方法有：1)基于目标模型建模：对外观 模型进行建模，然后在后续帧中寻找目标。例如，区域匹配、特征点跟踪、主 动轮廓、光流法等算法。其中，最常用的方法是特征匹配法，首先提取目标特 征，然后在后续帧中找到最相似的特征进行目标定位，常用的特征有：SIFT、 SURF、Harris-corner等。2)基于搜索的方法：研究者发现基于目标模型建模 的方法需要处理整个画面，导致实时性差。于是，加入预测算法，搜索接近预测值的目标，缩小搜索范围，提升了跟踪实时性，常用的预测算法有卡尔曼滤 波和粒子滤波。而另一种缩小搜索范围的方法是内核法：它利用最速下降原理， 在目标模板上按梯度下降方向逐步迭代，直到最优位置，例如meanshift和 camshift算法。然而，人工选取或设计图像特征的鲁棒性较差，而机器学习方 法自身也存在固有缺陷。传统视觉分析技术更容易受到图像质量、异物遮挡、 目标旋转等诸多因素影响而实用性较差，特别是在复杂矿山环境下，车辆目标 与图像背景相似度高，传统视觉分析技术无法有效区分车辆与背景。
而在视觉深度学习方向中，一般采用卷积神经网络提取图像特征，能够很 好地克服人工选取特征的不足。通过反向传播算法优化网络参数，学习海量图 像数据来训练深度网络模型，能有效降低图像质量、异物遮挡、目标旋转等的 影响。研究人员为克服异物遮挡、目标旋转和相机抖动带来的不良影响，提出 了一种基于多级卷积滤波特征的跟踪方法。该算法利用分层学习得到的主成分 分析特征向量，然后使用巴氏距离来评估特征之间的相似性，最后结合粒子滤 波算法实现目标跟踪。但由于其缺乏实时目标检测信息，跟踪误差得到不到及 时校正而逐渐扩大，导致跟踪稳定性和持续性较差。为此，基于深度学习的“先 检测，再跟踪”的目标跟踪框架逐渐成为主流，首先使用检测模型获取目标边 界框，然后根据前后帧的关系进行轨迹预测与跟踪。这类跟踪框架的经典代表 是deepsort，它采用基于候选区域的检测框架进行目标检测，然后在sort的 IOU快速匹配基础上加入深度学习特征，通过计算检测特征和跟踪特征的余弦 距离获取相似度度量进行目标跟踪。其所采用的检测网络结构复杂，层数较深， 所以实时性较差。为了提升目标跟踪的实时性，研究人员基于端到端的检测框 架YOLO提出了一种融入外观特征的车辆多目标检测与跟踪方法，采用卡尔曼 滤波实现单目标运动状态跟踪，通过计算目标位置和特征损失来完成了目标的 关联匹配。该方法在一定程度上提升了跟踪速度，但实时性仍然不能满足要求。 同时，目前基于深度学习的目标跟踪方法主要为单一种类的多个目标跟踪，或 是不区分类别的多个目标跟踪，而矿卡无人驾驶系统要求对多类别的作业车辆 同时跟踪，这对跟踪器提出了更高的要求。
目前尚未有成熟应用于复杂矿山环境下的作业车辆检测与跟踪方法，由于 矿区场景复杂，存在非结构化道路路面复杂，车辆尺寸多变种类多样，目标与 图形背景差异较小等客观问题。因此，传统视觉分析方法难以处理复杂矿山环 境下的作业车辆检测与跟踪任务。同时，现有的基于深度学习的多目标检测跟 踪方法网络结构复杂，实时性较低。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概 述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性 或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化 形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种作业车辆检测与跟踪方法和 系统(以下有时简称作业车辆检测与跟踪方法和系统)，针对非结构化道路路 面复杂、目标与图像背景差异较小、车辆尺寸多变种类多样问题，通过伽马图 像增强、多尺度融合预测、多源信息级联匹配等手段，实现了作业车辆的实时 检测与跟踪，并获取了车辆类别、尺寸、位置、数量、轨迹等信息。
本发明的技术方案为：本发明提供一种作业车辆检测与跟踪方法，获取图 像，采用图像增强方法对所述图像进行图像增强处理；将图像增强处理后的所 述图像输入到事先训练好的作业车辆检测模型进行目标检测，获取目标检测结 果。其中，所述作业车辆检测模型采用深度学习目标检测框架，通过卷积神经 网络提取作业车辆图像特征，获取多类型的作业车辆检测结果并输入到作业车 辆检测模型；所述作业车辆跟踪模型通过基于运动信息与外观特征级联匹配的 作业车辆跟踪方法获取跟踪目标和跟踪轨迹，实现多类型作业车辆跟踪。
根据本发明，在对复杂矿山环境的图像进行分析时，采用图像增强方法对 图像中作业车辆与矿山的图像背景相似的图像进行增强，有效解决了由于复杂 矿山环境下图像中目标与背景相似度大、灰度对比不明显而导致图像识别准确 率较低的问题，提高了作业车辆检测识别效率和作业车辆跟踪实时性。在对作 业车辆进行检测时，作业车辆检测模型利用卷积神经网络从图像中提取作业车 辆图像特征，不仅很好地克服了人工选取图像特征所带来的误差，同时，卷积 神经网络还可以通过海量的图像特征学习来进行作业车辆检测模型的训练，使 得训练后的车辆检测模型更加符合作业车辆的图像特征，提高作业车辆检测效 率和准确性。在对作业车辆进行目标跟踪的过程中，本发明中作业车辆跟踪模 型可以根据不同类型的作业车辆检测结果，对多类型作业车辆进行运动信息与 外观特征级联匹配，从而实现了多类型目标跟踪，最终使得本发明可以在复杂 矿山环境下对多种不同尺寸和类型的作业车辆进行跟踪。
根据本发明的作业车辆检测与跟踪方法的一实施例，所述作业车辆检测模 型使用YOLO框架作为深度学习目标检测框架，采用遗传算法优化网格超参数， 输出多层预测模块；其中，所述作业车辆检测模型采用DIOU构建回归损失函 数，通过K-means聚类算法获取所述作业车辆的检测框。借助于此，作业车辆 检测模型通过端到端的YOLO的深度学习目标检测框架，可以直接输出检测目 标的位置信息和类型信息，从而提高了目标检测速度，进而提高作业车辆跟踪 实时性。在分析复杂矿山环境的图像时，利于DIOU构建回归损失函数，可以 进行稳定的作业车辆的真实框回归，从而避免作业车辆检测模型训练发散。作 业车辆检测将获取到符合条件的预测框作为样本数据，利用K-means聚类算法 对样本数据进行聚类分析，从而得到符合作业车辆图像特征分布的检测框尺寸 大小，提高作业车辆检测准确性。此外，本发明采用遗传算法优化网格超参数， 针对作业车辆的不同尺寸输出多层预测模块，不仅可以满足不同尺寸的作业车 辆的检测要求，提高了检测效率，而且利用遗传算法优化网格超参数，将梯度 变化整合到作业车辆特征图，从而降低权重，使得作业车辆图像特征识别准确 率大大提高。
根据本发明的作业车辆检测与跟踪方法的一实施例，所述作业车辆跟踪模 型采用卡尔曼滤波预测并更新所述作业车辆的跟踪轨迹，所述运动信息与外观 特征级联匹配基于IOU匹配进行作业车辆运动信息关联和作业车辆特征信息关 联；所述作业车辆运动信息关联采用马氏距离评测运动状态关联度，所述作业 车辆特征信息关联采用余弦距离评测外观特征关联度，所述马氏距离与所述余 弦距离通过综合度量计算公式计算得到级联匹配综合度量评测级联匹配关联 度。借助于此，在对作业车辆进行跟踪时，通过卡尔曼滤波预测并更新作业车 辆的跟踪轨迹，通过IOU匹配将跟踪动轨迹与作业车辆进行匹配。在利用马氏 距离评测监测框中作业车辆的运动状态和检测框中作业车辆的运动轨迹的关联度时，引入作业车辆外观特征向量进行匹配，只有同时满足马氏距离和余弦 距离的相似度度量的标准时，才认定作业车辆与对应的跟踪轨迹正确关联，从 而降低了由于作业车辆在复杂矿山环境下可能长期遮挡而导致跟踪轨迹错误 地与遮挡物进行匹配所所带来的影响，大大提高了本发明的检测目标与对应的 跟踪轨迹关联匹配的准确性。此外，使用IOU匹配可以解决跟踪过程中作业车 辆的短时被遮挡问题，当作业车辆跟踪模型在预定义的最大帧数阈值内未成功 匹配到作业车辆的预测轨迹，将终止对该作业车辆的跟踪并删除该已丢失的作 业车辆，提高了作业车辆跟踪效率。
根据本发明的作业车辆检测与跟踪方法的一实施例，所述作业车辆跟踪模 型将数据关联成功的所述作业车辆特征图存储到对应的作业车辆特征图像库， 并通过作业车辆特征网络从关联成功的所述作业车辆特征图中提取作业车辆 特征向量；其中，所述作业车辆特征图像库设有固定存储阈值，根据数据关联 时间更新所述作业车辆特征图。借助于此，使用与跟踪轨迹匹配成功的作业车 辆特征向量来计算余弦距离，可以提高跟踪轨迹与作业车辆的匹配速度，进而 提高作业车辆跟踪的实时性。
根据本发明的作业车辆检测与跟踪方法的一实施例，所述基于运动信息与 外观特征级联匹配的作业车辆跟踪方法进一步包括：
获取目标检测结果，使用卡尔曼滤波预测轨迹；
结合运动信息和外观特征进行级联匹配；
判断级联匹配是否成功，若所述轨迹匹配成功，则使用卡尔曼滤波更新跟 踪所述轨迹；若所述轨迹匹配失败或者目标匹配失败，则执行IOU匹配；
判断IOU匹配是否成功，若所述轨迹匹配成功或者所述目标匹配失败，则 使用卡尔曼滤波更新跟踪轨迹；若所述轨迹匹配失败，则判断是否删除所述轨 迹；
判断所述轨迹是否处于确认状态，若否，则删除所述轨迹；若是，则判断 所述轨迹是否超过最大帧数阈值，若否，则删除所述轨迹；若是，则使用卡尔 曼滤波更新跟踪所述轨迹；
判断卡尔曼滤波更新后的轨迹是否处于确认状态，若否，则执行IOU匹配； 若是，则结合运动信息和外观特征进行级联匹配或输出所述目标与所述轨迹。
根据本发明的作业车辆检测与跟踪方法的一实施例，所述图像增强方法是 伽马变换或直方图均衡化。借助于此,使用伽马变换来增强图像，将窄范围内 的低灰度值映射到宽范围的高灰度值，使得增强后的图像灰度分布更加均衡， 暗部细节更加丰富，改善了复杂矿山环境下图像目标与背景相似度大、灰度对 比不明显问题，提高了图像特征提取识别率。
本发明还提供一种作业车辆检测与跟踪系统，包括用于获取作业车辆检测 结果的作业车辆检测模块和用于跟踪多类型作业车辆的作业车辆跟踪模块；所 述作业车辆检测模块包括图像处理单元、图像特征提取单元和作业车辆检测单 元，所述车辆跟踪模块包括轨迹跟踪单元、数据关联单元和特征图像存储单元； 其中，所述图像处理单元使用图像增强方法对输入的图像进行图像增强处理， 并将增强处理后的图像传输到所述图像特征提取单元；所述图像特征提取单元 通过卷积神经网络从所述图像中提取作业车辆图像特征，并将所述作业车辆图 像特征传输到所述作业车辆检测单元；所述作业车辆检测单元通过所述作业车 辆图像特征进行目标检测，并将获取的作业车辆检测结果传输到所述轨迹跟踪 单元；所述轨迹跟踪单元根据所述作业车辆检测结果预测并更新对应作业车辆 的跟踪轨迹，并将所述轨迹传输到所述数据关联单元进行级联匹配；所述数据 关联单元基于运动信息和外观特征级联匹配的作业车辆跟踪方法进行级联匹 配，所述轨迹跟踪单元根据级联匹配结果进行目标跟踪；所述特征图像存储单 元用于存储级联匹配成功的作业车辆特征图。
根据本发明的作业车辆检测与跟踪系统的一实施例，所述特征图像存储单 元具有不同作业车辆类型的作业车辆特征图像库，所述作业车辆特征图像库设 有固定存储阈值，根据数据关联时间更新所述作业车辆特征图。
根据本发明的作业车辆检测与跟踪系统的一实施例，所述车辆跟踪模块还 包括作业车辆特征向量提取单元，所述作业车辆特征向量提取单元通过作业车 辆特征网络从存储于所述特征图像存储单元的作业车辆特征图中提取作业车 辆特征向量。
根据本发明的作业车辆检测与跟踪系统的一实施例，所述基于运动信息与 外观特征级联匹配的作业车辆跟踪方法进一步包括：获取目标检测结果，使用 卡尔曼滤波预测轨迹；
结合运动信息和外观特征进行级联匹配；
判断级联匹配是否成功，若所述轨迹匹配成功，则使用卡尔曼滤波更新跟 踪所述轨迹；若所述轨迹匹配失败或者目标匹配失败，则执行IOU匹配；
判断IOU匹配是否成功，若所述轨迹匹配成功或者所述目标匹配失败，则 使用卡尔曼滤波更新跟踪轨迹；若所述轨迹匹配失败，则判断是否删除所述轨 迹；
判断所述轨迹是否处于确认状态，若否，则删除所述轨迹；若是，则判断 所述轨迹是否超过最大帧数阈值，若否，则删除所述轨迹；若是，则使用卡尔 曼滤波更新跟踪所述轨迹；
判断卡尔曼滤波更新后的轨迹是否处于确认状态，若否，则执行IOU匹配； 若是，则结合运动信息和外观特征进行级联匹配或输出所述目标与所述轨迹。
本发明对比现有技术有如下的有益效果：提供将基于深度学习的作业车辆 检测模型与基于运动信息与外观特征级联匹配的作业车辆跟踪模型相结合的 作业车辆检测与跟踪方法和系统，针对复杂矿山环境下作业车辆与背景相似度 大，灰度对比不明显问题，采用图像增强方法对复杂矿山环境下的图像进行图 像增强处理，提高图像的清晰度和分辨率，进而提高作业车辆检测的准确性和 实时性。其中，作业车辆检测模型使用改进后的端到端的YOLO作为深度学习 目标检测框架，采用DIOU构建车辆框损失函数，通过K-means聚类作业车辆 的预测框，从而获取符合作业车辆图像特征的检测框，并通过遗传算法优化网 络超参数等方式提升了作业车辆的实时检测性能。此外，本申请中的作业车辆 跟踪模型结合作业车辆的运动信息与多层深度的外观特征进行作业车辆级联 匹配，采用卡尔曼滤波和基于IOU匹配的匈牙利算法进行对作业车辆和跟踪轨 迹进行数据关联，从而实现了多种类型作业车辆的实时跟踪。本方法所提的方 法能够适应图像场景，并有效地完成复杂矿山环境下多类型作业车辆实时检测 与跟踪任务。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本 发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类 似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1是示出本发明的作业车辆检测与跟踪系统的一实施例的系统结构图。
图2是示出本发明的作业车辆检测与跟踪方法的一实施例的流程图。
图3是示出伽马变换增强图像的效果对比图。
图4是示出作业车辆检测模型的网络结构图。
图5是示出作业车辆跟踪方法的流程图。
图6是示出作业车辆特征网络的网络参数表。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和 具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围 进行任何限制。
近年来，卷积神经网络作为大多数场景中目标检测模型的基本结构，其效 果已经可以与人类视觉相媲美。目前主流的检测算法分为直接检测和间接检 测，直接法的代表是YOLO(You only look once，即只需要瞥一眼图像，立即 知道图像中的物体，是一种一步式目标检测算法)，而间接法的代表是Faster RCNN。Faster RCNN采用两步结构提取物体候选区域进行定位和识别，而YOLO 直接输出位置和类别信息，无需候选区域。研究表明，间接法更耗时，而直接 法更实时，更符合工程实际需要，因此本申请选择端到端的、一步式的直接检 测作为检测算法，从而提高系统检测速度。
在此公开一种作业车辆检测与跟踪系统的一实施例，如图1所示，包括作 业车辆检测模块和作业车辆跟踪模块。其中，作业车辆检测模块包括图像处理 单元、图像特征提取单元和作业车辆检测单元，用于获取作业车辆检测结果； 作业车辆检测模块包括轨迹跟踪单元、数据关联单元和特征图像存储单元，用 于对检测到的作业车辆进行跟踪。作业车辆检测模块与作业车辆跟踪模块互相 配合，从而实现在复杂的矿山环境下对作业车辆进行检测与跟踪。图2是示出 本发明的作业车辆检测与跟踪方法的一实施例的流程图，下面结合图1和图2， 进一步详述本实施形态。
本实施形态中，作业车辆检测与跟踪系统获取图像后，图像处理单元使用 伽马变换对复杂矿山环境下的图像增强，将窄范围内的低灰度值映射到宽范围 的高灰度值。图3是伽马变换增强图像的效果对比图，对比图3中伽马变换前 后图像的灰度分布和像素分布，可以明显地看出通过伽马变换后，图像的灰度 分布更加均衡，像素分布更加密集，暗部细节更加丰富，从而降低了作业车辆 与背景图像的相似度，提高了作业车辆检测的准确性。
图像处理单元完成图像增强处理后，将增强处理后的矿区图像既可以存储 在车载端，也同时存储在地面服务器，用于提取图像特征和模型训练。图像特 征提取单元利用卷积神经网络从增强后的图像中提取作业车辆图像特征，然后 作业车辆检测单元根据所提取的作业车辆图像特征进行目标检测，从而获取作 业车辆检测结果并输出到作业车辆跟踪模型。其中，图像特征提取单元在模型 训练与实际运行过程都有，通过训练图像特征提取模块，从而完成作业车辆特 征及其学习，然后用训练好的图像特征提取模块去实际运行，图4示出了作业 车辆检测模型的网络结构示意图，下面结合图4，进一步说明本实施形态。
具体地，如图4所示，作业车辆检测模型包括骨干网(Backbone)和颈部(Neckpart)。将514*640*3的图像输入到作业车辆检测模型后，将图像的尺 寸变化为为608*608*3的尺寸后，通过Focus结构对调整后的图像进行集中切 片为304×304×12的尺寸大小的特征图。为了实现不同尺寸类型的作业车辆 检测，对特征图进行进一步切片处理，得到三种不同尺寸大小的特征图，作业 车辆检测模型的颈部对这些特征图执行卷积和串联操作，来提取作业车辆图像 特征。此外，本实施形态中，作业车辆检测模型的骨干网和颈部之间传输特征 图进行图像提取时候，采用跨级局部网络来缓解大量计算问题，提高了图像识 别的实时性，并将梯度变化整合到特征图中，从而降低了深度学习权重并保持 准确率。作业车辆检测模型的颈部采用FPN和PAN的结构，针对大、中、小三 种尺寸的作业车辆，将三种不同尺寸大小的特征图执行卷积和串联，从而得到 76*76*33\38*38*33和19*19*33三种尺寸的模型，实现了不同类型的作业车辆 的检测。
进一步地，本实施形态中，为了进行稳定的作业车辆的真实框回归，避免 作业车辆检测模型训练发散，采用DIOU构建作业车辆的回归损失函数。同时， 为了加快卷积神经网络训练过程，提升卷积神经网络检测准确度，通过K-means 聚类算法聚类预测框尺寸，获取符合作业车辆特征的检测框。其中，真实框是 人为在图像上标注的框，预测框为网络模型预测的框。
具体地，本实施形态中，使用DIOU构建作业车辆的真实框的回归损失函 数。DIOU(Distance-IoU loss)考虑了作业车辆的真实框与预测框之间的距 离、重叠率和比例因子，与GIOU类似，DIOU在不与真实框重叠的情况下仍然 可以为预测框提供移动方向。DIOUloss可以直接最小化两个车辆框之间的距 离，所以它比GIOU loss收敛得更快。最后使用非极大值抑制算法对预测框进 行过滤，得到最终的作业车辆的位置和类别。DIOU的公式如下：
Figure BDA0003307996220000101
其中，b,bgt分别表示预测框和真实框的中心点,ρ表示两个中心点之间的 欧式距离，表示可以同时包含预测框和真实框的最小闭合区域的对角线距离， C表示可以同时包含预测框和真实框的最小闭合区域的对角线距离。计算得到 DIOU的值后，将其代入作业车辆检测模型的回归损失函数进行计算，从而评价 作业检测模型对于在复杂矿山环境下检测作业车辆的准确性。
具体地，作业车辆检测模型的回归损失函数由第一行为预测框损失，第二、 第三行为目标置信度损失和第四行为分类损失组成，具体公式如下：
Figure BDA0003307996220000102
其中，具有logits损失的二元交叉熵用于置信损失和分类损失部分，预 测模块的大小为S×S×B，S×S表示预测网格数，B表示模块深度。
作业车辆检测模型在实际运行过程中，利用DIOU回归损失函数度量预测 框和真实框之间误差大小，过滤掉不符合作业车辆图像特征的预测框。具体地， 设置一个阈值，计算预测框与真实框误差值，若预测框大于设定阈值则过滤掉 该预测框；若预测框小于阈值则保留该预测框。而在模型训练过程中，若模型 训练在满足预期标准，则完成训练，若模型损失函数低于预期标准(例如1)， 则结束训练。阈值根据实际情况、个人经验等选择。将符合条件的预测框作为 样本数据即预测框进行机器学习，从而获取符合该作业车辆特征的检测框，并 将检测框作为目标检测结果输出。其中，目标检测结果包括检测框中作业车辆的中心坐标、宽高、类别等信息。具体地，本实施形态中，使用预设好的车辆 类别编号来标识作业车辆类别，例如输出数字1表示卡车，数字2表示指挥车 等，通过输出的车辆类别编号来识别出检测框中作业车辆的类型。
在传统目标检测方法中，一般是通过多尺度遍历滑窗或选择性搜索获取预 测框然后进行定位，或者是人工设定预测框大小进行位置回归，但这些方法往 往效率低、效果差。本实施形态中，采用K-means聚类算法对矿区的作业车辆 图像进行分析，将作业车辆的真实框的IOU(Intersection over Union，两个 区域重叠的部分除以两个区域的集合部分得出的结果，即真实框与候选框的交 并比)作为“距离”进行聚类，从而得到符合矿区作业车辆图像特征分布的预 测框大小，K-means聚类步骤如下：
步骤1：将样本真实框的高和宽作为一个样本点(wn,hn),n∈{1,2,…,N}， 样本真实框的中心点为(xn,yn),n∈{1,2,…,N}，然后将所有样本点组成数据集 合。
步骤2：随机在数据集合中选择K个样本点作为聚类中心。
步骤3：分别计算数据集合中所有的样本点到K个聚类中心的距离的值d， 并将样本点分配到d值最小的聚类中心，以获得K个聚类点簇，即将所有真实 框进行分类，分为K个类别，其中，d的计算公式如下：
d＝1-IOU[(xn,yn,wn,hn),(xn,yn,Wm,Hm)]
步骤4：重新计算K个聚类点簇的K个聚类中心，Nm表示第m个聚类点簇
Figure BDA0003307996220000111
中的样本点个数，即真实框个数，计算公式如下：
最后，重复步骤3和步骤4，直到K聚类中心停止移动，得到K个聚类中 心，将其作为作业车辆的预测框的宽度和高度，从而得到作业车辆的预测框。
本实施形态中，作业车辆检测与跟踪系统通过作业车辆检测模块对输入的 矿山视频图像进行检测，获取到作业车辆检测结果后，将其输入到作业车辆跟 踪模块，根据作业车辆的运动信息和外观特征对检测到的作业车辆进行跟踪。
具体地，作业车辆检测模块获取到作业车辆检测结果后，轨迹跟踪单元根 据作业车辆此刻的运动状态，通过卡尔曼滤波预测该作业车辆的接下来的运动 轨迹。本实施形态中，使用八个参数(u,v,r,h,x’,y’,r’,h’)来描 述运动轨迹在某一时刻的运动状态，u,v,r,h分别表示作业车辆检测框的中心 点位置。其中(u,v)表示检测框的中心坐标，r是目标纵坐标与横坐标的比值， h是高度,x’,y’,r’,h’则分别表示作业车辆在图像坐标中对应的速度信 息。随着作业车辆的不断运动，运动状态的参数也不断变化，卡尔曼滤波根据 某一时刻作业车辆运动状态的参数信息，将u,v,r,h这四个参数作为变量，采 用匀速模型或线性观测模型对检测到的作业车辆进行观测，并预测下一帧图像 中作业车辆的运动轨迹。
本实施形状中，作业车辆检测模块跟踪作业车辆时，将跟踪的作业车辆作 为检测目标，跟踪轨迹定义为轨迹k,使用参数ak来统计每条轨迹k与检测目 标进行匹配的图像帧数，并最大帧数阈值Amax作为该条轨迹的最大生命周期。 使用卡尔曼滤波实时跟踪作业车辆时，将所有的轨迹k保存到轨迹集合中，且 ak随着对应的轨迹k与检测目标的匹配次数而递增。若轨迹k与检测目标匹配 成功，则将轨迹k设为确定状态；当该条轨迹k与检测目标再次匹配时,将ak重置为0。若轨迹k与检测目标匹配失败，则将轨迹k设未确认状态；当该条轨迹k的ak超过预定义的最大帧数阈值Amax，则将该条轨迹k从轨迹集合中删 除，并使用卡尔曼滤波重新预测作业车辆的运动轨迹。将新预测的运动轨迹将 在前三帧图像中的归类为暂定轨迹，若在三帧图像内未成功匹配到检测目标， 则将这些暂定轨迹删除，并终止对该作业车辆的跟踪。
进一步地，本实施形态中，为了更稳定地进行目标跟踪，数据关联单元在 匹配运动轨迹和检测目标过程中，引入车辆深度特征度量，结合作业车辆运动 信息和作业车辆外观特征进行级联匹配，并将所有已确认的完成匹配的作业车 辆特征向量存储到特征图像存储单元。在进行级联匹配时，计算检测目标与对 应的作业车辆特征向量的余弦距离作为外观特征关联度量。由于检测目标被遮 挡一段时间后，卡尔曼滤波预测的不确定性将大大增加，状态空间上的可观察 性变得很低，而马氏距离更倾向于不确定性更大的轨迹，因此，运动状态与外 观特征级联匹配中，使用IOU匹配分配已确认的轨迹时，给予最近匹配上的轨 迹更高的优先权，降低连续多帧特征图都未匹配上检测目标的轨迹的优先权。
图5是作业车辆跟踪方法的流程图，作业车辆跟踪方法基于运动状态和外 观特征级联匹配，并串联IOU匹配和卡尔曼滤波，对作业车辆进行跟踪。其中 运动信息与外观特征级联匹配包括作业车辆运动信息关联和作业车辆外观特 征关联，数据关联单元只有在同时满足余弦度量和马氏度量时，才能认定检测 目标与预测轨迹正确关联。若轨迹k与检测目标匹配成功，作业车辆跟踪模型 将轨迹k作为确认的轨迹，输出跟踪的作业车辆和对应的轨迹k，然后更新轨 迹k的参数。且当该条轨迹k与检测目标再次匹配时,将该条轨迹的最大生命 周期ak重置为0。若轨迹k与检测目标匹配失败，作业车辆跟踪模型将轨迹k 设未确认状态，重新进行运动状态与外观特征级联匹配，对未确认的轨迹k、 未匹配的轨迹和未匹配的检测目标进行IOU匹配，并再次使用匈牙利算法进行 分配确认的跟踪轨迹。
具体地，作业车辆运动信息关联通过卡尔曼滤波计算预测运动状态与当前 时刻所观测的作业车辆的检测运动状态之间的马氏距离，公式如下：
Figure BDA0003307996220000131
其中，m表示马氏距离，T表示矩阵转置，i表示第i个轨迹，St是当前时 刻卡尔曼滤波的观测空间的协方差矩阵，yt是当前时刻的预测器，dj是j次检 测的作业车辆的运动状态(u,v,γ,h)。马氏距离通过测量远离平均轨道的 位置的标准差来表示状态估计的不确定性,采用逆卡方分布的0.95分位数 (即正太分布概率0.95的分位数)用作阈值来过滤较弱的关联，其中，过滤 函数如下：
Figure BDA0003307996220000132
具体地，平均轨道为卡尔曼滤波的每个轨迹的平均值，将轨迹的平均值与 实际检测到的车辆框进行马氏距离计算，判断车辆框与轨迹是否重合，重合表 示匹配上了，离得越远表示不匹配，标准差越大表示状态估计不确定性越大。
在进行检测目标和运动轨迹进行数据关联时，若检测目标的运动不确定性 较低，马氏距离是一个很好的关联度量。但在实际中，由于作业车辆运动过程 中相机运动会使马氏距离测量方法失效，因此本实施形态中，在使用马氏距离 进行作业车辆运动信息关联时，引入作业车辆外观特征，采用余弦距离的相似 度度量来表示作业车辆外观特征的关联度，共同衡量检测目标与跟踪轨迹的关 联度量。
其中，马氏距离通过测量平均轨道的位置的标准差来表示作业车辆检测框 与跟踪框中运动状态关联度，余弦距离通过计算预测轨迹和检测结果对应的两 个外观特征向量的余弦值并提取最小余弦值作为外观关联度。具体地，特征图 像存储单元为每个跟踪的作业车辆构建了一个作业车辆外观特征库，来存储与 每个作业车辆成功关联的时间最近的125帧作业车辆特征向量rk i。其中k表 示帧数，最大值为125，利用所存储的作业车辆特征向量来计算当前帧的第i 个预测轨迹和第j个检测结果的外观关联度，其中，检测结果是指检测目标的 外观特征向量，外观关联度函数和对应的过滤函数的公式如下：
Figure BDA0003307996220000142
具体地，余弦距离是指第i个预测轨迹和第j个检测结果对应的两个外观 特征向量的余弦值，使用外观关联度函数来提取最小余弦值作为外观关联度。 外观关联度函数对应的过滤函数中，f表示外观特征向量，l表示外观特征向 量f的距离,使用该过滤函数将达不到外观关联度阈值的轨迹过滤掉。
进一步地，本实施形态中，使用作业车辆特征网络提取作业车辆特征向量， 图6是作业车辆特征网络的网络参数表。如图6所示，作业车辆特征网络采用 残差网络，包含了一个卷积层、一个最大池化层与六个残差模块，最终将维度 为128的全局特征图在密集层中计算，通过正则化将特征投影为车辆特征向量。
本实施形态中，数据关联单元获取到关联运动信息的马氏度量和关联外观 特征的余弦度量后，综合马氏距离和余弦距离得到级联匹配度量Ii，j，级联匹 配度量函数和对应的过滤函数的公式如下：
Ii，j＝λlm(i，j)+(1-λ)lf(i，j)
Figure BDA0003307996220000151
其中，λ为权重系数，过滤函数中的g表示马氏度量m和余弦度量f，过 滤函数的阈值通过实际场景、个人经验设置，并非固定值。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并 领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作 可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本 领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种 解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、 或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、 框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功 能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。 技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的 实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用 通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程 门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件 组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器 可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制 器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP 与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由 处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM 存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、 可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存 储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在 替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC 中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立 组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其 任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一 条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读 介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另 一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为 示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或 其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数 据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被 正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双 绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术 从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双 绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质 的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、 激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以 磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也 应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使 用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且 本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范 围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授 予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (11)

1.一种作业车辆检测与跟踪方法，其特征在于，所述方法包括：
获取图像，采用图像增强方法对所述图像进行图像增强处理；
将图像增强处理后的所述图像输入到作业车辆检测模型进行目标检测，获取目标检测结果；其中，所述作业车辆检测模型采用深度学习目标检测框架，通过卷积神经网络提取作业车辆图像特征，并将获取到的多类型的作业车辆检测结果输入到作业车辆跟踪模型进行目标跟踪；
所述作业车辆跟踪模型通过基于运动信息与外观特征级联匹配的作业车辆跟踪方法获取跟踪目标和跟踪轨迹，输出跟踪目标和目标运动轨迹。
2.根据权利要求1所述的作业车辆检测与跟踪方法，其特征在于，所述作业车辆检测模型使用YOLO作为所述深度学习目标检测框架，采用遗传算法优化网格超参数，输出多层预测模块；其中，所述作业车辆检测模型采用DIOU构建回归损失函数，通过K-means聚类算法获取所述作业车辆的检测框。
3.根据权利要求1所述的作业车辆检测与跟踪方法，其特征在于，所述作业车辆跟踪模型采用卡尔曼滤波预测并更新所述作业车辆的跟踪轨迹，所述运动信息与外观特征级联匹配基于IOU匹配进行作业车辆运动信息关联和作业车辆特征信息关联。
4.根据权利要求3所述的作业车辆检测与跟踪方法，其特征在于，所述作业车辆运动信息关联采用马氏距离评测运动状态关联度，所述作业车辆特征信息关联采用余弦距离评测外观特征关联度，所述马氏距离与所述余弦距离综合度量计算公式计算得到级联匹配综合度量评测级联匹配关联度。
5.根据权利要求4所述的作业车辆检测与跟踪方法，其特征在于，所述作业车辆跟踪模型将数据关联成功的作业车辆特征图存储到对应的作业车辆特征图像库，并通过作业车辆特征网络从所述作业车辆特征图中提取作业车辆特征向量；其中，所述作业车辆特征图像库设有固定存储阈值和作业车辆类型，根据数据关联时间和作业车辆类型更新所述作业车辆特征图。
6.根据权利要求1所述的作业车辆检测与跟踪方法，其特征在于，所述基于运动信息与外观特征级联匹配的作业车辆跟踪方法进一步包括：
获取目标检测结果，使用卡尔曼滤波预测轨迹；
结合运动信息和外观特征进行级联匹配；
判断级联匹配是否成功，若所述轨迹匹配成功，则使用卡尔曼滤波更新跟踪所述轨迹；若所述轨迹匹配失败或者目标匹配失败，则执行IOU匹配；
判断IOU匹配是否成功，若所述轨迹匹配成功或者所述目标匹配失败，则使用卡尔曼滤波更新跟踪轨迹；若所述轨迹匹配失败，则判断是否删除所述轨迹；
判断所述轨迹是否处于确认状态，若否，则删除所述轨迹；若是，则判断所述轨迹是否超过最大帧数阈值，若否，则删除所述轨迹；若是，则使用卡尔曼滤波更新跟踪所述轨迹；
判断卡尔曼滤波更新后的轨迹是否处于确认状态，若否，则执行IOU匹配；若是，则结合运动信息和外观特征进行级联匹配或输出所述目标与所述轨迹。
7.根据权利要求1-6中任一项所述的作业车辆检测与跟踪方法，其特征在于，所述图像增强方法是伽马变换或直方图均衡化。
8.一种作业车辆检测与跟踪系统，其特征在于，包括用于获取作业车辆检测结果的作业车辆检测模块和用于跟踪多类型作业车辆的作业车辆跟踪模块；
所述作业车辆检测模块包括图像处理单元、图像特征提取单元和作业车辆检测单元；
所述车辆跟踪模块包括轨迹跟踪单元、数据关联单元和特征图像存储单元；其中，
所述图像处理单元使用图像增强方法对输入的图像进行图像增强处理，并将增强处理后的图像传输到所述图像特征提取单元；
所述图像特征提取单元通过卷积神经网络从所述图像中提取作业车辆图像特征，并将所述作业车辆图像特征传输到所述作业车辆检测单元；
所述作业车辆检测单元通过所述作业车辆图像特征进行目标检测，并将获取的作业车辆检测结果传输到所述轨迹跟踪单元；
所述轨迹跟踪单元根据所述作业车辆检测结果预测并更新作业车辆的轨迹，并将所述轨迹传输到所述数据关联单元进行级联匹配；
所述数据关联单元通过基于运动信息和外观特征级联匹配的作业车辆跟踪方法进行级联匹配，所述轨迹跟踪单元根据级联匹配结果进行目标跟踪；
所述特征图像存储单元用于存储级联匹配成功的作业车辆特征图。
9.根据权利要求8所述的作业车辆检测与跟踪系统，其特征在于，所述特征图像存储单元具有不同作业车辆类型的作业车辆特征图像库，所述作业车辆特征图像库设有固定存储阈值，根据数据关联时间更新所述作业车辆特征图。
10.根据权利要求9所述的作业车辆检测与跟踪系统，其特征在于，所述车辆跟踪模块还包括作业车辆特征向量提取单元，所述作业车辆特征向量提取单元通过作业车辆特征网络从存储于所述特征图像存储单元的作业车辆特征图中提取作业车辆特征向量。
11.一种基于运动信息和外观特征级联匹配的作业车辆跟踪方法，包括以下步骤：
获取目标检测结果，使用卡尔曼滤波预测轨迹；
结合运动信息和外观特征进行级联匹配；
判断级联匹配是否成功，若所述轨迹匹配成功，则使用卡尔曼滤波更新跟踪所述轨迹；若所述轨迹匹配失败或者目标匹配失败，则执行IOU匹配；
判断IOU匹配是否成功，若所述轨迹匹配成功或者所述目标匹配失败，则使用卡尔曼滤波更新跟踪轨迹；若所述轨迹匹配失败，则判断是否删除所述轨迹；
判断所述轨迹是否处于确认状态，若否，则删除所述轨迹；若是，则判断所述轨迹是否超过最大帧数阈值，若否，则删除所述轨迹；若是，则使用卡尔曼滤波更新跟踪所述轨迹；
判断卡尔曼滤波更新后的轨迹是否处于确认状态，若否，则执行IOU匹配；若是，则结合运动信息和外观特征进行级联匹配或输出所述目标与所述轨迹。
CN202111208735.XA 2021-10-18 2021-10-18 作业车辆检测与跟踪方法和系统 Pending CN115995063A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111208735.XA CN115995063A (zh) 2021-10-18 2021-10-18 作业车辆检测与跟踪方法和系统
PCT/CN2021/127840 WO2023065395A1 (zh) 2021-10-18 2021-11-01 作业车辆检测与跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111208735.XA CN115995063A (zh) 2021-10-18 2021-10-18 作业车辆检测与跟踪方法和系统

Publications (1)

Publication Number Publication Date
CN115995063A true CN115995063A (zh) 2023-04-21

Family

ID=85990657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111208735.XA Pending CN115995063A (zh) 2021-10-18 2021-10-18 作业车辆检测与跟踪方法和系统

Country Status (2)

Country Link
CN (1) CN115995063A (zh)
WO (1) WO2023065395A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612642A (zh) * 2023-07-19 2023-08-18 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备
CN116993776A (zh) * 2023-06-30 2023-11-03 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703983B (zh) * 2023-06-14 2023-12-19 石家庄铁道大学 联合遮挡目标检测及目标跟踪方法
CN116469059A (zh) * 2023-06-20 2023-07-21 松立控股集团股份有限公司 一种基于detr的停车场出入口车辆积压检测方法
CN116828398B (zh) * 2023-08-29 2023-11-28 中国信息通信研究院 一种跟踪行为识别方法、装置、电子设备和存储介质
CN117218580A (zh) * 2023-09-13 2023-12-12 杭州像素元科技有限公司 一种结合多模型的高速公路跨摄像多车辆跟踪方法及系统
CN117437261B (zh) * 2023-10-08 2024-05-31 南京威翔科技有限公司 一种适用于边缘端远距离目标的跟踪方法
CN117456407B (zh) * 2023-10-11 2024-04-19 中国人民解放军军事科学院系统工程研究院 一种多目标图像跟踪方法及装置
CN117523379B (zh) * 2023-11-20 2024-04-30 广东海洋大学 基于ai的水下摄影目标定位方法及系统
CN117830399B (zh) * 2023-12-14 2024-07-16 华中科技大学 水下航行器自主对接过程中的定位方法及装置
CN117934872B (zh) * 2024-01-29 2024-09-13 湘潭大学 一种基于DeepSORT的受扰动莲蓬目标连续跟踪方法
CN117689907B (zh) * 2024-02-04 2024-04-30 福瑞泰克智能系统有限公司 车辆跟踪方法、装置、计算机设备和存储介质
CN117746304B (zh) * 2024-02-21 2024-05-14 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统
CN118053260A (zh) * 2024-04-02 2024-05-17 惠州市新益鸿科技有限公司 基于物联网的生产车间施工作业安全预警系统及方法
CN118171894A (zh) * 2024-05-14 2024-06-11 国网山东省电力公司滨州市沾化区供电公司 电力作业车辆管理方法、系统、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339389B2 (en) * 2014-09-03 2019-07-02 Sharp Laboratories Of America, Inc. Methods and systems for vision-based motion estimation
CN111768430B (zh) * 2020-06-23 2023-08-11 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112686923A (zh) * 2020-12-31 2021-04-20 浙江航天恒嘉数据科技有限公司 一种基于双阶段卷积神经网络的目标跟踪方法及系统
CN113160274A (zh) * 2021-04-19 2021-07-23 桂林电子科技大学 一种基于YOLOv4的改进DeepSort目标检测跟踪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993776A (zh) * 2023-06-30 2023-11-03 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法
CN116993776B (zh) * 2023-06-30 2024-02-13 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法
CN116612642A (zh) * 2023-07-19 2023-08-18 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备
CN116612642B (zh) * 2023-07-19 2023-10-17 长沙海信智能系统研究院有限公司 一种车辆连续变道检测方法及电子设备

Also Published As

Publication number Publication date
WO2023065395A1 (zh) 2023-04-27

Similar Documents

Publication Publication Date Title
CN115995063A (zh) 作业车辆检测与跟踪方法和系统
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN103295242B (zh) 一种多特征联合稀疏表示的目标跟踪方法
CN110084831A (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
EP2164041B1 (en) Tracking method and device adopting a series of observation models with different lifespans
CN112651995B (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
CN113674328A (zh) 一种多目标车辆跟踪方法
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
Yaghoobi Ershadi et al. Robust vehicle detection in different weather conditions: Using MIPM
CN110033473A (zh) 基于模板匹配和深度分类网络的运动目标跟踪方法
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN112738470B (zh) 一种高速公路隧道内停车检测的方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN102346854A (zh) 前景物体检测方法和设备
Xing et al. Traffic sign recognition using guided image filtering
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
CN109636834A (zh) 基于tld改进算法的视频车辆目标跟踪算法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN111862147B (zh) 视频中多车辆和多行人目标的跟踪方法
CN113657414A (zh) 一种物体识别方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN114398950A (zh) 垃圾识别分类方法、计算机可读存储介质和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination