CN112037249A - 一种对摄像装置影像中物体进行跟踪的方法及装置 - Google Patents

一种对摄像装置影像中物体进行跟踪的方法及装置 Download PDF

Info

Publication number
CN112037249A
CN112037249A CN202010707097.5A CN202010707097A CN112037249A CN 112037249 A CN112037249 A CN 112037249A CN 202010707097 A CN202010707097 A CN 202010707097A CN 112037249 A CN112037249 A CN 112037249A
Authority
CN
China
Prior art keywords
tracking
camera device
image
precision map
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010707097.5A
Other languages
English (en)
Inventor
刘骏
高三元
卢奕采
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Branch Of Guizhou Kuandeng Zhiyun Technology Co ltd
Original Assignee
Beijing Branch Of Guizhou Kuandeng Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Branch Of Guizhou Kuandeng Zhiyun Technology Co ltd filed Critical Beijing Branch Of Guizhou Kuandeng Zhiyun Technology Co ltd
Priority to CN202010707097.5A priority Critical patent/CN112037249A/zh
Publication of CN112037249A publication Critical patent/CN112037249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对摄像装置影像中物体进行跟踪的方法和装置，其中，所述方法包括：根据高精度地图对目标区域内预设的摄像装置进行标定；利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；基于所述摄像装置的位姿和所述高精度地图，对物体进行定位，计算出物体的高精度的位置数据；基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪。采用本申请所述的对摄像装置影像中物体进行跟踪的方法，能够通过引入高精度地图来反向标定摄像装置，提高了针对特定物体的空间位置标注的精确度，从而实现有效监控物体的精准空间轨迹。

Description

一种对摄像装置影像中物体进行跟踪的方法及装置
技术领域
本发明实施例涉及人工智能技术领域，具体涉及一种对摄像装置影像中物体进行跟踪的方法及装置，另外还涉及一种电子设备及计算机可读存储介质。
背景技术
近年来，随着科学技术的快速发展，与人工智能密切相关的图像/视频的识别与跟踪不断完善和成熟，其已经广泛的应用于工业、交通、商场、园区等领域，逐渐成为了现代智能化管理与监控不可获取的手段，也极大的提升了公共区域的管理水平与智能化程度。通过图像视频与视频跟踪技术能够实现对监控范围内的人或物进行自动识别并跟踪，甚至可以制定某些规则或策略，程序通过实施检测的结果来根据预定的策略或规则进行判断，可以进一步实现特定的执行动作，比如报警等。
然而，目前基于深度学习实现的图像/视频的物体跟踪技术通常需要较大的算力，消耗大量资源，并且不能够对监控范围内的物体进行高精度定位，尤其是针对特定区域内行驶的车辆等活动物体，无法实现量化车道级轨迹跟踪，导致跟踪结果对精细化的管理场景不适应。
发明内容
为此，本发明实施例提供一种对摄像装置影像中物体进行跟踪的方法，以解决现有技术中存在的无法对监控范围内的物体进行高精度定位，导致跟踪结果对精细化的管理场景不适应的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供一种对摄像装置影像中物体进行跟踪的方法，包括：针对目标区域生成对应的高精度地图；根据所述高精度地图对所述目标区域内预设的摄像装置进行标定；利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据；基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
进一步的，根据所述高精度地图对所述目标区域内预设的摄像装置进行标定，具体包括：根据所述高精度地图对所述目标区域内预设的摄像装置分别进行内部参数标定和外部参数标定。
进一步的，所述的对摄像装置影像中物体进行跟踪的方法，还包括：当车辆的轨迹确定后，利用预设的人工智能重识别技术识别所述车辆的车牌号来进行车辆的重识别，对所述车辆进行车道级的轨迹跟踪。
进一步的，所述空间位置跟踪方式包括：单相机的物体跟踪和/或多相机的物体跟踪；所述基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪，具体包括：利用所述单相机的物体跟踪和/或所述多相机的物体跟踪方式对物体进行跟踪，将所述人工智能算法应用到所述单相机的物体跟踪和/或所述多相机的物体跟踪过程中，基于预设的深度学习网络算法，计算出所述物体的特征向量；根据不同视频帧物体特征向量的相似性跟踪所述物体；所述根据不同视频帧物体特征向量的相似性跟踪所述物体，具体包括：将所述物体在前一视频帧的位置作为初始位置，基于深度学习网络算法拟合出所述物体在当前视频帧的位置；将拟合的位置与当前视频帧检测出的物体实际位置进行相似度计算，确定物体的跟踪关系。
进一步的，所述的对摄像装置影像中物体进行跟踪的方法，还包括：
基于所述高精度地图对所述摄像装置进行反向标定，并构建映射关系；
将所述摄像装置的位置及所述摄像装置的视场空间均映射到所述高精地图对应的空间，合并到统一的空间坐标体系中。
第二方面，本发明实施例还提供一种对摄像装置影像中物体进行跟踪的装置，包括：
高精度地图生成单元，用于针对目标区域生成对应的高精度地图；
摄像装置标定单元，用于根据所述高精度地图对所述目标区域内预设的摄像装置进行标定；
物体检测单元，利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；
物体定位单元，用于基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据；
物体跟踪单元，用于基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
进一步的，所述摄像装置标定单元具体用于，根据所述高精度地图对所述目标区域内预设的摄像装置分别进行内部参数标定和外部参数标定。
进一步的，所述的对摄像装置影像中物体进行跟踪的装置，还包括：重识别单元，用于当车辆的轨迹确定后，利用预设的人工智能重识别技术识别所述车辆的车牌号来进行车辆的重识别，对所述车辆进行车道级的轨迹跟踪。
进一步的，所述物体定位单元，具体用于：基于预设的目标跟踪算法，对摄像装置连续影像内的物体的位置进行持续的定位与跟踪运算，获得所述物体在三维空间中的精准运动轨迹。
进一步的，所述摄像装置标定单元，具体用于：
基于所述高精度地图对所述摄像装置进行反向标定，并构建映射关系；
将所述摄像装置的位置及所述摄像装置的视场空间均映射到所述高精地图对应的空间，合并到统一的空间坐标体系中。
第三方面，本发明实施例还提供一种电子设备，包括：处理器以及存储器；所述存储器，用于存储对摄像装置影像中物体进行跟踪的方法的程序，该电子设备通电并通过所述处理器运行该对摄像装置影像中物体进行跟踪的方法的程序后，执行上述任意一项所述的对摄像装置影像中物体进行跟踪的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行上述任一项所述的对摄像装置影像中物体进行跟踪的方法。
采用本申请所述的对摄像装置影像中物体进行跟踪的方法，能够通过引入高精度地图来反向标定摄像装置，提高了针对特定物体的空间位置标注的精确度，从而实现有效监控物体的精准空间轨迹，极大提升了用户的使用体验。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法的流程图；
图2为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图；
图4为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中RetinaNet网络结构的示意图；
图5为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中RetinaMask模型结构的示意图；
图6为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中分割子网络结构的示意图；
图7为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中单目摄像装置的测量原理的示意图；
图8为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中单目摄像装置物体跟踪的示意图；
图9为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中轨迹段重叠的示意图；
图10为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中物体的跟踪示意图；
图11为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法中使用Triplet Loss的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的一种对摄像装置影像中物体进行跟踪的方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的方法的流程图，具体实现过程包括以下步骤：
步骤S101：针对目标区域生成对应的高精度地图。
在具体实施过程中，本发明方案需要预先针对特定目标区域生成对应的高精地地图，所述高精度地图中包含车道线、车道、道路边缘、道路中心线、barrier、curb、灯杆、路牌、栅栏等具体地图要素。在该目标区域内，将所述摄像装置预先安装对应的位置，形成了利用多摄像头对所有道路的全方位覆盖，比如安装在路边的灯杆上、龙门架上等。
步骤S102：根据所述高精度地图对所述目标区域内预设的摄像装置进行标定。
在本发明实施过程中，需要对安装的固定摄像头预先进行标定才能进行后续测量，具体可基于所述高精度地图对所述摄像装置进行反向标定，并构建映射关系；将所述摄像装置的位置及所述摄像装置的视场空间均映射到所述高精地图对应的空间，合并到统一的空间坐标体系中。根据所述高精度地图对所述目标区域内预设的摄像装置进行参数标定的内容包括进行内部参数标定和外部参数标定。所述内部参数标定包括摄像装置的焦距、光心<fx，fy，cx，cy>以及畸变参数等。所述外部参数标定包括摄像装置的旋转矩阵R以及摄像装置的平移矩阵T等。在实际外参标定过程中，可采用控制点进行标定，一对控制点，包括其在世界坐标系的坐标<Xw，Yw，Zw>以及在图像坐标系的坐标<u，v>。
在实际实施过程中，可通过所述高精度地图获取相应的控制点：在安装摄像装置覆盖的区域内，首先通过采集的图像，提取特征角点p1；然后基于高精度地图计算出该特征点的世界坐标P；进一步计算特征点在安装摄像装置采集的图像中的对应的特征点p2，形成一对控制点<p2，P>。在具体实施过程中，通常需要获取10组以上的控制点，在计算出控制点的基础上，通过预设的pnp算法求解出摄像装置的外参。
步骤S103：利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测。
在本发明实施例中，物体检测是指检测出图像中的物体，该物体主要指车辆。检测的内容对应了实例分割的内容，具体包括物体的bounding box以及物体的像素分割内容，同时也包括物体的列表，如车、人、摩托车等。在深度学习领域，目标物体检测可分为一阶段检测模型和二阶段检测模型。Faster RCNN模型具有目标召回率高，抗噪声能力强的优点，并发展到具备实例分割能力的Mask RCNN。在具体实施过程中，也存在算法运行过程资源消耗大，单张图像处理耗时长等问题。为了平衡精度与资源消耗的问题，逐渐发展出单阶段检测算法，如RetinaNet，YOLO等等，利用这些算法能够直接对先验框进行预测，不依赖于中间环节，显著提高了模型运行效率。经近几年的发展，通过更加强大的基础特征提取网络(EfficientNet，ResNeSt等)/特征融合技术/模型训练策略以及数据增强方法，单阶段模型的检测精度有了大幅度提升，泛化能力得到增强，其已成为本发明实施过程中优先采用的方案。本发明使用RetinaMask模型进行物体检测，能够兼顾物体的boudning box和物体的像素分割。
如图4所示，RetinaNet是一种单阶段检测模型，具有召回率高，推理速度快的优势。为了提升多尺度目标的检测性能，在特征提取网络的基础上，可进一步引入了FPN(Feature Pyramid Networks)结构，实现深层特征与浅层特征的融合，有效提升了浅层预测层的语义信息，极大提升了小目标的召回能力。此外，为了缓解样本申请具体实施过程中训练不平衡的问题，可利用FocalLoss损失函数促进网络朝向更合理的方向进行优化。为了提升目标物体的召回能力，RetinaNet在特征图上密集布置先验框，该种方式能够覆盖各种尺度和各种形状的目标物体，有效提升了目标物体的预测能力。实际训练过程中，大部分样本为简单样本，为了避免简单样本主导优化方向，可进一步引入了自适应权重调节方法FocalLoss损失函数，通过对每一个样本添加自适应权重的方法，有效降低了简单样本的比重，计算公式如下:
FL(pt)＝-(1-pt)γlog(pt)
其中，pt为样本的概率。
如图5所示，RetinaMask是在RetinaNet检测模型基础上添加分割子网络的模型，实现每个预测框目标掩码的生成。具体而言，采用ROI Align将检测网络的预测结果映射到特定特征图上生成固定尺度的特征图，然后将特征图送入到分割子网络中，最终输出每一个框的掩码。如图6所示，Mask子网络类似于Mask RCNN模型中的分割子网络，检测模块依据预测框的置信度输出topK个检测框(K＝100)，然后采用ROI Align将为一个预测框映射到特征图上，ROI尺度为14x14，最后所有的特征图输入到分割子网络中，最终得到的mask尺度为56x56。
需要说明的是，本发明实施例中对目标物体的检测不限于使用RetinaMask模型和RetinaNet模型，在具体实施过程中可根据实际需要使用任意一种类型的基于深度学习的实例检测与分割模型，在此不再一一赘述。步骤S104：基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据。
在本发明实施例中，可基于预设的目标跟踪算法实现对摄像装置连续影像内的物体的位置进行持续的定位与跟踪运算，获得所述物体在三维空间中的精准运动轨迹。
具体的，对于每个物体检测的结果，需要测量出每一个物体的空间位置(X，Y，Z)，从而完成对物体的定位。本申请结合摄像装置的位姿和高精度地图，对每一个物体进行精准定位。在实际实施过程中，由于检测出的物体轮廓是一个面状物体，通常对应多个空间点，因此，本发明首先对轮廓上的每个点进行测量，得到物体的轮廓位置。总体而言，物体的空间位置测量，基于摄像装置完成。基于摄像装置的测量，是由摄像装置的测量原理决定的。
如图7所示，单目摄像装置的测量原理示意图，建立了图像像素和像素空间位置之间的联系。结合摄像装置内参、外参，就可以通过像素坐标计算出物体的空间坐标。需要说明的是，由于单目摄像装置的尺度不确定性，需要给定具体的高程，才能唯一确定物体空间坐标。
在具体实施过程中，本发明使用不同的方法检测物体，并进一步计算出物体轮廓上点的坐标。首先，基于深度学习的方法，对物体的深度进行估计；根据估计的深度，结合摄像装置模型和标定参数，计算出物体轮廓上点的空间坐标。该方案，依赖深度估计模型。然后，基于free space的方法。free space指围绕着物体的自由区域，这里指地面。结合摄像装置模型和高精度地图的地面模型，计算出围绕着物体的轮廓。在计算出物体的轮廓后，根据具体场景需要，进一步用一个点描述物体的定位，比如中心点。
步骤S105：基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
在本发明实施例中，物体跟踪包括单摄像装置不同时刻拍摄到的物体跟踪，以及多个摄像装置件的物体跟踪。物体跟踪的方法，包括基于空间位置的方法和基于人工智能的方法。
在单摄像装置的物体跟踪中，单摄像装置的物体跟踪是指在一个摄像装置的拍摄范围内，对物体进行跟踪。由于摄像装置的采集频率较高，能够达到30+fps，所以对于一个物体而言，在相邻帧的时间间隔内移动的距离较小，这是单摄像装置进行物体跟踪的基础，具体如图8所示。具体的，记t时刻，摄像装置c看到了n个物体，其位置分别是：
Figure BDA0002595217290000091
t+1时刻，摄像装置c看到了m个物体，其位置分别是：
Figure BDA0002595217290000092
则进行跟踪的步骤如下：设相邻帧的时间间隔内，物体的最大移动距离为δ；
Figure BDA0002595217290000093
计算：
Figure BDA0002595217290000094
基于ransac方法，求出物体移动的平均距离
Figure BDA0002595217290000095
和方差σ计算物体跟踪：
Figure BDA0002595217290000096
如果
Figure BDA0002595217290000097
则认为物体从
Figure BDA0002595217290000098
位置移动到了
Figure BDA0002595217290000099
在多摄像装置的物体跟踪中，由于一个摄像头的覆盖范围有限，实现一个物体的长距离连续跟踪，需要利用多个摄像头覆盖范围的重叠协同处理。具体做法是：基于时间、空间上的同步，进行重叠部分，步骤如下：对于一个物体i，假设在摄像装置1的轨迹track1是
Figure BDA00025952172900000910
在摄像装置2的轨迹track2是
Figure BDA00025952172900000911
根据时间相似性和空间相似性，判定轨迹重叠部分：对于track1的tx时刻的轨迹点，在track2中，寻找时间最近时刻t′y的轨迹点；当满足如下条件时，认为两个轨迹点匹配：
Figure BDA00025952172900000912
当匹配的轨迹点的数量大于等于最小匹配数量时，则判定两个轨迹track1，track2有稳定的重叠部分，最小匹配数量设置为5。轨迹段重叠示意图如图9所示。
在具体实施过程中，基于人工智能的方法是基于空间位置的方法的有效补充。基于人工智能的方法，既可用于单摄像装置的物体跟踪，也可用于多摄像装置的物体跟踪；其实现物体跟踪的基本方法包括：a、基于深度学习网络，计算出物体的特征向量；根据不同帧物体特征向量的相似性，跟踪物体；b、根据相邻帧物体移动变化不大的性质，首先将物体在前一帧的位置作为初始位置，然后基于深度学习拟合出物体在当前帧的位置；最后将拟合的位置与当前帧检测出的物体位置进行相似度计算，确定物体的跟踪关系。具体如图10所示。
在车辆重识别技术中具体分为两步：第一步，找到图像中车辆所在位置，并使用预设的卷积神经网络提取其图像特征，采用Faster R-CNN或YOLO模型，输出车辆所在位置矩形的坐标，同时输出图像的特征层作为后续使用。第二步，在训练时，使用基于深度学习的Triplet Loss(如图11所示)，在训练数据集上采样两张图像，一张与当前训练图像为相同车辆，另一张与当前训练图像不是相同车辆。在实际实施过程中，相同车辆的图像对产生的损失值应该尽量小，不同车辆的图片对产生的损失值尽量大。通过计算Triplet Loss损失函数，对模型进行反向传播优化模型。在推断时，用模型得到图像的特征与已有的分类进行比对(如图11所示)，其与相同分类中的图像距离近，与不同分类中的图片距离远，从而得到可能性最大的分类。
另外，当车辆的轨迹确定后，利用预设的人工智能重识别技术识别所述车辆的车牌号来进行车辆的重识别。在本发明实施例中，车辆重识别可采用车牌检测的方法。通过识别车牌上的车牌号，一方面可以为车辆进行唯一标示，同时可以在不同图像中匹配车牌号得出是否为同一车辆，进一步校正轨迹的准确性。具体方法可分为三步：第一步，检测车辆所在位置。根据实际速度要求和准确度要求使用Yolo-v3，SDD，Mask_RCNN模型，在已有车辆标注数据集上训练后，在未知数据上进行推断得到车辆所在位置。第二步找到车牌所在位置。由于图像中的车牌并不一定是横平竖直的，所以需要对图像中的车牌进行拉伸变形为矩形以便后续识别文字。这里可使用WPOD-NET模型来完成检测和拉伸变形的工作。该模型首先提取图像的特征得到特征图，然后在特征图上进一步得到每一个特征图像素的车牌概率，同时得到6自由度的仿射变换参数用来对车牌图像进行拉伸修正，最终得到矩形的车牌图像。第三步识别车牌文字，以仿射变换拉伸后的车牌图像内容作为输入，识别其中的文字。使用CRNN模型，在训练时用CTC-Loss对模型输出和真实值进行字符对齐，反向传播更新模型。在推断时，忽略空字符从而得到车牌号的结果。CRNN把特征图分为横向等间隔的小图，对于每一个小图的特征，从左到右顺序输入到RNN中，输出每个小图对应的字符结果。需要说明的是，在具体实施过程中，识别车牌上的车牌号来进行车辆的重识别对图像中的车辆要求较高，要求车辆号牌不被遮挡，且号牌在图像中清晰可见。为了突破这些限制，本申请优先采用了人工智能重识别技术Re-Id(Re-identification)突破车牌识别的限制，对车辆进行唯一标示。
在实际实施过程中，已知每个轨迹的轨迹点，结合高精地图的车道模型，就可以确定每个轨迹点所在的车道，从而实现车道级轨迹跟踪。
采用本发明所述的对摄像装置影像中物体进行跟踪的方法，能够通过引入高精度地图来反向标定摄像装置，提高了针对特定物体的空间位置标注的精确度，从而实现有效监控物体的精准空间轨迹，极大提升了用户的使用体验。
与上述提供的一种对摄像装置影像中物体进行跟踪的方法相对应，本发明还提供一种对摄像装置影像中物体进行跟踪的装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的对摄像装置影像中物体进行跟踪的装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的一种对摄像装置影像中物体进行跟踪的装置的示意图。
本发明所述的一种对摄像装置影像中物体进行跟踪的装置包括如下部分：
高精度地图生成单元201，用于针对目标区域生成对应的高精度地图；
摄像装置标定单元202，用于根据所述高精度地图对所述目标区域内预设的摄像装置进行标定；
物体检测单元203，利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；
物体定位单元204，用于基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据；
物体跟踪单元205，用于基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；
当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
采用本发明所述的对摄像装置影像中物体进行跟踪的装置，能够通过引入高精度地图来反向标定摄像装置，提高了针对特定物体的空间位置标注的精确度，从而实现有效监控物体的精准空间轨迹，极大提升了用户的使用体验。
与上述提供的对摄像装置影像中物体进行跟踪的方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明实施例提供的一种电子设备的示意图。该电子设备具体包括：处理器301和存储器302；其中，存储器302用于运行一个或多个程序指令，用于存储对摄像装置影像中物体进行跟踪的方法的程序，该电子设备通电并通过所述处理器301运行该对摄像装置影像中物体进行跟踪的方法的程序后，执行上述任意一项所述的对摄像装置影像中物体进行跟踪的方法。
与上述提供的一种对摄像装置影像中物体进行跟踪的方法相对应，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行上述任一项所述的对摄像装置影像中物体进行跟踪的方法。由于该计算机可读存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，该部分描述的计算机可读存储介质仅是示意性的。
综上所述，需要说明的是，在本发明实施例中，处理器或处理器模块可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Ram bus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种对摄像装置影像中物体进行跟踪的方法，其特征在于，包括：
针对目标区域生成对应的高精度地图；
根据所述高精度地图对所述目标区域内预设的摄像装置进行标定；
利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；
基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据；
基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；
当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
2.根据权利要求1所述的对摄像装置影像中物体进行跟踪的方法，其特征在于，根据所述高精度地图对所述目标区域内预设的摄像装置进行标定，具体包括：根据所述高精度地图对所述目标区域内预设的摄像装置分别进行内部参数标定和外部参数标定。
3.根据权利要求1所述的对摄像装置影像中物体进行跟踪的方法，其特征在于，还包括：当车辆的轨迹确定后，利用预设的人工智能重识别技术识别所述车辆的车牌号来进行车辆的重识别，对所述车辆进行车道级的轨迹跟踪。
4.根据权利要求1所述的对摄像装置影像中物体进行跟踪的方法，其特征在于，所述空间位置跟踪方式包括：单相机的物体跟踪和/或多相机的物体跟踪；
所述基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪，具体包括：利用所述单相机的物体跟踪和/或所述多相机的物体跟踪方式对物体进行跟踪，将所述人工智能算法应用到所述单相机的物体跟踪和/或所述多相机的物体跟踪过程中，基于预设的深度学习网络算法，计算出所述物体的特征向量；根据不同视频帧物体特征向量的相似性跟踪所述物体；
所述根据不同视频帧物体特征向量的相似性跟踪所述物体，具体包括：
将所述物体在前一视频帧的位置作为初始位置，基于深度学习网络算法拟合出所述物体在当前视频帧的位置；将拟合的位置与当前视频帧检测出的物体实际位置进行相似度计算，确定物体的跟踪关系。
5.根据权利要求1所述的对摄像装置影像中物体进行跟踪的方法，其特征在于，所述根据所述高精度地图对所述目标区域内预设的摄像装置进行标定，具体包括：
基于所述高精度地图对所述摄像装置进行反向标定，并构建映射关系；
将所述摄像装置的位置及所述摄像装置的视场空间均映射到所述高精地图对应的空间，合并到统一的空间坐标体系中。
6.一种对摄像装置影像中物体进行跟踪的装置，其特征在于，包括：
高精度地图生成单元，用于针对目标区域生成对应的高精度地图；
摄像装置标定单元，用于根据所述高精度地图对所述目标区域内预设的摄像装置进行标定；
物体检测单元，利用预设的基于深度学习的实例检测与分割模型对摄像装置影像中的物体进行检测；
物体定位单元，用于基于所述摄像装置的位姿和所述高精度地图，对摄像装置影像中的物体进行精准定位，计算出物体的高精度的位置数据；
物体跟踪单元，用于基于预设的空间位置跟踪方式和人工智能算法对物体进行跟踪；
当将物体的轨迹置于高精度地图的车道时，对摄像装置影像中的物体构成车道级轨迹跟踪；其中，所述物体为车辆。
7.根据权利要求6所述的对摄像装置影像中物体进行跟踪的装置，其特征在于，所述摄像装置标定单元具体用于，根据所述高精度地图对所述目标区域内预设的摄像装置分别进行内部参数标定和外部参数标定。
8.根据权利要求6所述的对摄像装置影像中物体进行跟踪的装置，其特征在于，还包括：重识别单元，用于当车辆的轨迹确定后，利用预设的人工智能重识别技术识别所述车辆的车牌号来进行车辆的重识别，对所述车辆进行车道级的轨迹跟踪。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储对摄像装置影像中物体进行跟踪的方法的程序，该电子设备通电并通过所述处理器运行该对摄像装置影像中物体进行跟踪的方法的程序后，执行上述权利要求1-5任意一项所述的对摄像装置影像中物体进行跟踪的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行如权利要求1-5任一项所述的对摄像装置影像中物体进行跟踪的方法。
CN202010707097.5A 2020-07-21 2020-07-21 一种对摄像装置影像中物体进行跟踪的方法及装置 Pending CN112037249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010707097.5A CN112037249A (zh) 2020-07-21 2020-07-21 一种对摄像装置影像中物体进行跟踪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010707097.5A CN112037249A (zh) 2020-07-21 2020-07-21 一种对摄像装置影像中物体进行跟踪的方法及装置

Publications (1)

Publication Number Publication Date
CN112037249A true CN112037249A (zh) 2020-12-04

Family

ID=73579350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010707097.5A Pending CN112037249A (zh) 2020-07-21 2020-07-21 一种对摄像装置影像中物体进行跟踪的方法及装置

Country Status (1)

Country Link
CN (1) CN112037249A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965498A (zh) * 2021-02-23 2021-06-15 上海电机学院 一种智能扫路车运行轨迹跟踪控制方法
CN113092807A (zh) * 2021-04-21 2021-07-09 上海浦江桥隧运营管理有限公司 基于多目标跟踪算法的城市高架道路车辆测速方法
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113486886A (zh) * 2021-06-21 2021-10-08 华侨大学 一种自然场景下的车牌识别方法和装置
CN113724296A (zh) * 2021-11-02 2021-11-30 杭州轻象科技有限公司 一种运动背景下的物料跟踪方法、装置、存储介质及终端
JP2022085910A (ja) * 2021-04-26 2022-06-08 阿波▲羅▼智▲聯▼（北京）科技有限公司 カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法
CN106652445A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种公路交通事故判别方法及装置
CN110232379A (zh) * 2019-06-03 2019-09-13 上海眼控科技股份有限公司 一种车辆姿态检测方法及系统
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统
KR20200072590A (ko) * 2018-11-30 2020-06-23 충북대학교 산학협력단 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法
CN106652445A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种公路交通事故判别方法及装置
KR20200072590A (ko) * 2018-11-30 2020-06-23 충북대학교 산학협력단 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치
CN110232379A (zh) * 2019-06-03 2019-09-13 上海眼控科技股份有限公司 一种车辆姿态检测方法及系统
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965498A (zh) * 2021-02-23 2021-06-15 上海电机学院 一种智能扫路车运行轨迹跟踪控制方法
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113158768B (zh) * 2021-03-03 2023-02-24 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113092807A (zh) * 2021-04-21 2021-07-09 上海浦江桥隧运营管理有限公司 基于多目标跟踪算法的城市高架道路车辆测速方法
CN113092807B (zh) * 2021-04-21 2024-05-14 上海浦江桥隧运营管理有限公司 基于多目标跟踪算法的城市高架道路车辆测速方法
JP2022085910A (ja) * 2021-04-26 2022-06-08 阿波▲羅▼智▲聯▼（北京）科技有限公司 カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置
CN113486886A (zh) * 2021-06-21 2021-10-08 华侨大学 一种自然场景下的车牌识别方法和装置
CN113486886B (zh) * 2021-06-21 2023-06-23 华侨大学 一种自然场景下的车牌识别方法和装置
CN113724296A (zh) * 2021-11-02 2021-11-30 杭州轻象科技有限公司 一种运动背景下的物料跟踪方法、装置、存储介质及终端
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统
CN117367425B (zh) * 2023-09-18 2024-05-28 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统

Similar Documents

Publication Publication Date Title
CN112037249A (zh) 一种对摄像装置影像中物体进行跟踪的方法及装置
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
Berrio et al. Camera-LIDAR integration: Probabilistic sensor fusion for semantic mapping
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN105335955A (zh) 对象检测方法和对象检测装置
US20210350705A1 (en) Deep-learning-based driving assistance system and method thereof
JP7509040B2 (ja) 道路監視ビデオのオブジェクト追跡装置及び方法
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN111507327A (zh) 一种目标检测方法及装置
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN116385994A (zh) 一种三维道路线提取方法及相关设备
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN115170679A (zh) 路侧相机的标定方法、装置及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination