CN117274310A - 多目标跟踪方法、装置、设备及计算机可读存储介质 - Google Patents

多目标跟踪方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117274310A
CN117274310A CN202311262886.2A CN202311262886A CN117274310A CN 117274310 A CN117274310 A CN 117274310A CN 202311262886 A CN202311262886 A CN 202311262886A CN 117274310 A CN117274310 A CN 117274310A
Authority
CN
China
Prior art keywords
road image
looking road
target
detected area
looking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311262886.2A
Other languages
English (en)
Inventor
吴鹏
陈猛
吴洁
毛竹君
刘杏
申运波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Commercial Vehicle Co Ltd
Original Assignee
Dongfeng Commercial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Commercial Vehicle Co Ltd filed Critical Dongfeng Commercial Vehicle Co Ltd
Priority to CN202311262886.2A priority Critical patent/CN117274310A/zh
Publication of CN117274310A publication Critical patent/CN117274310A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

一种多目标跟踪方法、装置、设备及计算机可读存储介质。该方法包括：首先，通过梯度差分法提取特征点，然后基于特征点确定t‑1时刻和t时刻的前视道路图像的待检测区域，通过卷积神经网络分别对t‑1时刻和t时刻的前视道路图像的待检测区域中的特征进行提取，得到第一特征信息和第二特征信息；计算t‑1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息，使得在使用卷积神经网络对图像中的特征进行提取时，不用对整个俯视图进行特征提取即可完成对目标的跟踪，大大降低了卷积神经网络的计算量，解决了相关技术中对目标进行跟踪时，计算量较大，导致车辆的制造成本较高的技术问题。

Description

多目标跟踪方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种多目标跟踪方法、装置、设备及计算机可读存储介质。
背景技术
目前，多目标跟踪作为智能驾驶领域中感知必不可少的技术，对目标物的状态属性维护、目标时序信息保持与监测都起着重要作用。
相关技术中，对目标进行跟踪时，为了获得更精确的跟踪效果，往往一直依赖神经网络模型对整个图像进行卷积运算，而这些神经网络模型通常涉及到大量且复杂的数学计算，所以需要算力较高的芯片，而芯片算力越高，价格也会越高，导致车辆的制造成本也随之升高。因此，对目标进行跟踪时，如何降低神经网络的计算量，从而降低车辆的制造成本是目前亟待解决的技术问题。
发明内容
本申请提供一种多目标跟踪方法、装置、设备及计算机可读存储介质，可以解决现有技术中存在的对目标进行跟踪时，计算量较大，导致车辆的制造成本较高的技术问题。
第一方面，本申请实施例提供多目标跟踪方法，所述多目标跟踪方法包括：
在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
结合第一方面，在一种实施方式中，所述基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域的步骤，包括：
将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
以映射后的特征点的坐标所在的网格作为目标网格；
确定所述目标网格所在的区域为前视道路图像中的待检测区域。
结合第一方面，在一种实施方式中，所述确定特征点映射后在所述俯视图上的坐标的步骤，包括：
获取特征点在前视道路图像中的坐标(u，v)；
将特征点在前视道路图像中的坐标(u，v)代入预设公式，计算得到映射后的特征点的坐标，预设公式如下：
其中，用于表示特征点在前视道路图像中的坐标，/>用于表示特征点映射后在所述俯视图上的坐标，Zcam用于表示摄像头距离地面的高度，P用于表示相机内参矩阵乘以相机外参矩阵的乘积，Res用于表示俯视图在物理空间下的分辨率。
结合第一方面，在一种实施方式中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和t时刻前视道路图像的待检测区域中均只有一个特征点的坐标，所述基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息的步骤，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物是同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
结合第一方面，在一种实施方式中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和/或t时刻前视道路图像的待检测区域中存在至少两个特征点的坐标，所述基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息的步骤，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量小于或等于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t-1时刻前视道路图像的待检测区域中所有特征点都被选取过，得到t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
结合第一方面，在一种实施方式中，在所述当所述第一欧式距离小于第一预设值时之后，包括：
若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t时刻前视道路图像的待检测区域中的特征点的坐标数量为零；
基于t-1时刻前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行预测，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
第二方面，本申请实施例提供了一种多目标跟踪装置，所述多目标跟踪装置包括：
第一确定模块，用于在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
第二确定模块，用于基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
特征提取模块，用于通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
循环模块，用于在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
信息跟踪模块，用于基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
结合第二方面，在一种实施方式中，所述第二确定模块，用于：
将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
以映射后的特征点的坐标所在的网格作为目标网格；
确定所述目标网格所在的区域为前视道路图像中的待检测区域。
第三方面，本申请实施例提供了一种多目标跟踪设备，所述多目标跟踪设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的多目标跟踪程序，其中所述多目标跟踪程序被所述处理器执行时，实现如上所述的多目标跟踪方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有多目标跟踪程序，其中所述多目标跟踪程序被处理器执行时，实现如上所述的多目标跟踪方法的步骤。
本申请实施例提供的技术方案带来的有益效果包括：
通过在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息，使得在使用卷积神经网络对图像中的特征进行提取时，不用对整个俯视图进行特征提取即可完成对目标的跟踪，大大降低了卷积神经网络的计算量，从而也就不需要算计较高的芯片，降低了车辆的制造成本，解决了相关技术中对目标进行跟踪时，计算量较大，导致车辆的制造成本较高的技术问题。
附图说明
图1为本申请多目标跟踪方法一实施例的流程示意图；
图2为本申请图1中步骤S20的细化流程示意图；
图3为本申请多目标跟踪方法确定待检测区域的流程示意图；
图4为本申请多目标跟踪方法的特征点分布示意图；
图5为本申请多目标跟踪装置一实施例的功能模块示意图；
图6为本申请实施例方案中涉及的多目标跟踪设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。术语“第一”、“第二”和“第三”等描述，是用于区分不同的对象等，其不代表先后顺序，也不限定“第一”、“第二”和“第三”是不同的类型。
在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
在本申请实施例描述的一些流程中，包含了按照特定顺序出现的多个操作或步骤，但是应该理解，这些操作或步骤可以不按照其在本申请实施例中出现的顺序来执行或并行执行，操作的序号仅用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作或步骤可以按顺序执行或并行执行，并且这些操作或步骤可以进行组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作详细描述。
第一方面，本申请实施例提供一种多目标跟踪方法。
一实施例中，参照图1，图1为本申请多目标跟踪方法一实施例的流程示意图。如图1所示，多目标跟踪方法包括：
步骤S10，在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
本实施例中，通过车辆前视摄像头获取一帧前视道路图像，其中，该前视道路图像对应的时刻为t-1时刻。通过梯度差分法来计算前视道路图像中特征点，主要通过判断该点周围邻域之间像素点差值。例如：梯度差分法中使用FAST角点检测算法，通过判断中心点周围邻域像素点之间的差值，若连续邻域N个像素点与中心点的像素差值绝对值大于或小于阈值t，则该中心点为特征点。
步骤S20，基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
本实施例中，将前视道路图像转化为俯视图，确定特征点在俯视图中所处的区域，确定特征点在俯视图中所处的区域为待检测区域。
步骤S30，通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
本实施例中，确定前视道路图像中的待检测区域之后，通过卷积神经网络只对待检测区域中的特征进行提取，得到第一特征信息。由于前视道路图像中的待检测区域即为前视道路图像转换为俯视图后，特征点在俯视图中所处的区域，因此，通过确定前视道路图像中的待检测区域，使得卷积神经网络不用对整个俯视图进行特征提取，大大降低了卷积神经网络的计算量。
步骤S40，在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
本实施例中，在获取下一帧前视道路图像时，即t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，即得到下一帧前视道路图像转化的俯视图中的待检测区域中的特征。其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻。
步骤S50，基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
本实施例中，对相邻两帧图像中特征点对应的目标物的信息进行跟踪，即基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息进行计算，得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
本实施例中，通过在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息，使得在使用卷积神经网络对图像中的特征进行提取时，不用对整个俯视图进行特征提取即可完成对目标的跟踪，大大降低了卷积神经网络的计算量，从而也就不需要算计较高的芯片，降低了车辆的制造成本，解决了相关技术中对目标进行跟踪时，计算量较大，导致车辆的制造成本较高的技术问题。
进一步地，一实施例中，参照图2，图2为本申请图1中步骤S20的细化流程示意图。如图2所示，步骤S20，包括：
步骤S201，将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
步骤S202，将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
步骤S203，以映射后的特征点的坐标所在的网格作为目标网格；
步骤S204，确定所述目标网格所在的区域为前视道路图像中的待检测区域。
本实施例中，参照图3，图3为本申请多目标跟踪方法确定待检测区域的流程示意图。如图3所示，获取前视道路图像，然后基于摄像头内参矩阵以及外参矩阵对前视道路图像中的每个像素点坐标进行变换，得到俯视图。对俯视图进行划分，将俯视图划分为多个网格。需要说明的是，每个网格的大小可进行调参获取最佳参数。
对前视道路图像中特征点的坐标也进行变换，将前视道路图像中的特征点映射到俯视图上，并确定映射后的特征点在俯视图中的坐标。
以映射后的特征点的坐标所在的网格作为目标网格，确定目标网格所在的区域为前视道路图像中的待检测区域。具体地，假设一个网格左上角点为A(xtop，ytop)，右下角点为D(xdown，ydown)。映射后特征点C的坐标为C(xc，yc)。如果xtop＜xc＜xdown且ytop＜yc＜ydown，那么特征点C属于该网格内，则确定该网格待检测区域，则将该网格的标志位设置为True，否则特征点C不属于该网格，则将该网格的标志位设置为False。通过检测多个网格中的标志位，即可确定前视道路图像中的待检测区域，即，标志位为True的网格所在的区域即为前视道路图像中的待检测区域。
进一步地，一实施例中，所述确定特征点映射后在所述俯视图上的坐标的步骤，包括：
获取特征点在前视道路图像中的坐标(u，v)；
将特征点在前视道路图像中的坐标(u，v)代入预设公式，计算得到映射后的特征点的坐标，预设公式如下：
其中，用于表示特征点在前视道路图像中的坐标，/>用于表示特征点映射后在所述俯视图上的坐标，Zcam用于表示摄像头距离地面的高度，P用于表示相机内参矩阵乘以相机外参矩阵的乘积，Res用于表示俯视图在物理空间下的分辨率。
本实施例中，获取相机内参矩阵Kcam和相机外参矩阵获取特征点在前视道路图像中的坐标(u，v)。将特征点在前视道路图像中的坐标(u，v)代入预设公式，计算得到映射后的特征点的坐标，预设公式如下：
其中，用于表示特征点在前视道路图像中的坐标，/>用于表示特征点映射后在所述俯视图上的坐标，Zcam用于表示摄像头距离地面的高度，P用于表示相机内参矩阵乘以相机外参矩阵的乘积，Res用于表示俯视图在物理空间下的分辨率。/>
进一步地，一实施例中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和t时刻前视道路图像的待检测区域中均只有一个特征点的坐标，步骤S50，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物是同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
本实施例中，第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标。其中，特征描述符为通过图像上特征点邻域区域进行高区分度信息提取，并且丢弃无关信息来简化图像的表示。参照图4，图4为本申请多目标跟踪方法的特征点分布示意图。如图4所示，图4的网格1中，t-1时刻前视道路图像的待检测区域和t时刻前视道路图像的待检测区域中均只有一个特征点的坐标，计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离。当t-1时刻的网格1中的特征点与t时刻的网格1中的特征点之间的第一欧式距离小于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物是同一目标物。
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法α＝α′+Kβ对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。其中，α表示t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息，α′用于表示通过卷积神经网络提取到的t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的检测信息，K表示卡尔曼增益，β表示基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法得到的t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的预测信息。
进一步地，当t-1时刻的网格1中的特征点与t时刻的网格1中的特征点之间的第一欧式距离大于或等于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物不是同一目标物。
进一步地，一实施例中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和/或t时刻前视道路图像的待检测区域中存在至少两个特征点的坐标，所述步骤S50，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量小于或等于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t-1时刻前视道路图像的待检测区域中所有特征点都被选取过，得到t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
本实施例中，第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标。计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离。
当第一欧式距离大于或等于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的两个特征点对应的目标物都不是同一目标物。
第一欧式距离小于第一预设值时，继续参照图4，图4的网格2中，t-1时刻前视道路图像的待检测区域(网格2)中有2个特征点，t时刻前视道路图像的待检测区域(网格2)中有3个特征点。从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点，计算第一目标特征点与t时刻前视道路图像的待检测区域(网格2)中各个特征点之间的第二欧式距离。即可得到3个第二欧式距离，从3个第二欧式距离中选取最小的第二欧式距离，以最小的第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点。确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物。
然后基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，即可得到第一目标特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t-1时刻前视道路图像的待检测区域中所有特征点都被选取过，得到t-1时刻的前视道路图像的待检测区域中的每个特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。现有技术中需要在t时刻对应的整个图像中查找与t-1时刻的网格2中的特征点距离最近的特征点，查找范围较大，导致效率较慢，本实施例中，只需要在t时刻前视道路图像的待检测区域中进行查找即可，大大减小了查找范围，提高了目标跟踪的效率。
进一步地，一实施例中，在所述第一欧式距离小于第一预设值时之后，包括：
若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t时刻前视道路图像的待检测区域中的特征点的坐标数量为零；
基于t-1时刻前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行预测，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
本实施例中，若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，继续参照图4，图4的网格3中，t-1时刻前视道路图像的待检测区域(网格3)中有3个特征点，t时刻前视道路图像的待检测区域(网格3)中有2个特征点。
从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点，计算第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离。即可得到2个第二欧式距离，从2个第二欧式距离中选取最小的第二欧式距离，以最小的第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点。确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物。
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到第一目标特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t时刻前视道路图像的待检测区域中的特征点的坐标数量为零。
由于t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，即t-1时刻前视道路图像的待检测区域中的特征点比t时刻前视道路图像的待检测区域中的特征点多，因此当t时刻前视道路图像的待检测区域中的特征点的坐标数量为零时，t-1时刻前视道路图像的待检测区域中还有未被选取的特征点，则基于t-1时刻前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行预测，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。从t-1时刻对应的该帧前视道路图像开始，若往后预测三帧之后，未被选取的特征点仍没有被选取，则将该特征点删除。需要说明的是，往后预测的帧数在本实施例中仅供参考，还可以是往后预测两帧、四帧或五帧，以实际场景应用选择为主，在此不做限制。
第二方面，本申请实施例还提供一种多目标跟踪装置。
一实施例中，参照图5，图5为本申请多目标跟踪装置一实施例的功能模块示意图。如图5所示，多目标跟踪装置包括：
第一确定模块10，用于在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
第二确定模块20，用于基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
特征提取模块30，用于通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
循环模块40，用于在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
信息跟踪模块50，用于基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
进一步地，一实施例中，第二确定模块20，用于：
将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
以映射后的特征点的坐标所在的网格作为目标网格；
确定所述目标网格所在的区域为前视道路图像中的待检测区域。
进一步地，一实施例中，第二确定模块20，还用于：
获取特征点在前视道路图像中的坐标(u，v)；
将特征点在前视道路图像中的坐标(u，v)代入预设公式，计算得到映射后的特征点的坐标，预设公式如下：
其中，用于表示特征点在前视道路图像中的坐标，/>用于表示特征点映射后在所述俯视图上的坐标，Zcam用于表示摄像头距离地面的高度，P用于表示相机内参矩阵乘以相机外参矩阵的乘积，Res用于表示俯视图在物理空间下的分辨率。
进一步地，一实施例中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和t时刻前视道路图像的待检测区域中均只有一个特征点的坐标，信息跟踪模块50，用于：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物是同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
进一步地，一实施例中，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和/或t时刻前视道路图像的待检测区域中存在至少两个特征点的坐标，信息跟踪模块50，还用于：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量小于或等于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t-1时刻前视道路图像的待检测区域中所有特征点都被选取过，得到t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
进一步地，一实施例中，信息跟踪模块50，还用于：
若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t时刻前视道路图像的待检测区域中的特征点的坐标数量为零；
基于t-1时刻前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行预测，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
其中，上述多目标跟踪装置中各个模块的功能实现与上述多目标跟踪方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第三方面，本申请实施例提供一种多目标跟踪设备。
参照图6，图6为本申请实施例方案中涉及的多目标跟踪设备的硬件结构示意图。本申请实施例中，多目标跟踪设备可以包括处理器、存储器、通信接口以及通信总线。
其中，通信总线可以是任何类型的，用于实现处理器、存储器以及通信接口互连。
通信接口包括输入/输出(input/output，I/O)接口、物理接口和逻辑接口等用于实现AAAA设备内部的器件互连的接口，以及用于实现AAAA设备与其他设备(例如其他计算设备或用户设备)互连的接口。物理接口可以是以太网接口、光纤接口、ATM接口等；用户设备可以是显示屏(Display)、键盘(Keyboard)等。
存储器可以是各种类型的存储介质，例如随机存取存储器(randomaccessmemory，RAM)、只读存储器(read-only memory，ROM)、非易失性RAM(non-volatileRAM，NVRAM)、闪存、光存储器、硬盘、可编程ROM(programmable ROM，PROM)、可擦除PROM(erasable PROM，EPROM)、电可擦除PROM(electrically erasable PROM，EEPROM)等。
处理器可以是通用处理器，通用处理器可以调用存储器中存储的多目标跟踪程序，并执行本申请实施例提供的多目标跟踪方法。例如，通用处理器可以是中央处理器(central processing unit，CPU)。其中，多目标跟踪程序被调用时所执行的方法可参照本申请多目标跟踪方法的各个实施例，此处不再赘述。
本领域技术人员可以理解，图6中示出的硬件结构并不构成对本申请的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
第四方面，本申请实施例还提供一种可读存储介质。
本申请可读存储介质上存储有多目标跟踪程序，其中所述多目标跟踪程序被处理器执行时，实现如上述的多目标跟踪方法的步骤。
其中，多目标跟踪程序被执行时所实现的方法可参照本申请多目标跟踪方法的各个实施例，此处不再赘述。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：
在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
2.如权利要求1所述的多目标跟踪方法，其特征在于，所述基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域的步骤，包括：
将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
以映射后的特征点的坐标所在的网格作为目标网格；
确定所述目标网格所在的区域为前视道路图像中的待检测区域。
3.如权利要求2所述的多目标跟踪方法，其特征在于，所述确定特征点映射后在所述俯视图上的坐标的步骤，包括：
获取特征点在前视道路图像中的坐标(u，v)；
将特征点在前视道路图像中的坐标(u，v)代入预设公式，计算得到映射后的特征点的坐标，预设公式如下：
其中，用于表示特征点在前视道路图像中的坐标，/>用于表示特征点映射后在所述俯视图上的坐标，Zcam用于表示摄像头距离地面的高度，P用于表示相机内参矩阵乘以相机外参矩阵的乘积，Res用于表示俯视图在物理空间下的分辨率。
4.如权利要求1所述的多目标跟踪方法，其特征在于，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和t时刻前视道路图像的待检测区域中均只有一个特征点的坐标，所述基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息的步骤，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，确定t-1时刻的前视道路图像中的特征点对应的目标物与t时刻的前视道路图像中的特征点对应的目标物是同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
5.如权利要求1所述的多目标跟踪方法，其特征在于，所述第一特征信息包括t-1时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，所述第二特征信息包括t时刻前视道路图像的待检测区域中的特征描述符和特征点的坐标，当t-1时刻前视道路图像的待检测区域和/或t时刻前视道路图像的待检测区域中存在至少两个特征点的坐标，所述基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息的步骤，包括：
计算t-1时刻前视道路图像的待检测区域中的特征描述符与t时刻前视道路图像的待检测区域中的特征描述符之间的第一欧式距离；
当所述第一欧式距离小于第一预设值时，若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量小于或等于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t-1时刻前视道路图像的待检测区域中所有特征点都被选取过，得到t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
6.如权利要求5所述的多目标跟踪方法，其特征在于，在所述当所述第一欧式距离小于第一预设值时之后，包括：
若t-1时刻前视道路图像的待检测区域中的特征点的坐标数量大于t时刻前视道路图像的待检测区域中的特征点的坐标数量，则从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点；
计算所述第一目标特征点与t时刻前视道路图像的待检测区域中各个特征点之间的第二欧式距离；
以最小第二欧式距离对应的t时刻前视道路图像的待检测区域中的特征点作为第二目标特征点；
确定第一目标特征点对应的目标物和第二目标特征点对应的目标物为同一目标物；
基于t-1时刻的前视道路图像的待检测区域中的第一目标特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行修正，得到该目标物在t时刻的前视道路图像的待检测区域中的信息；
将第一目标特征点从t-1时刻前视道路图像的待检测区域中删除，将第二目标特征点从t时刻前视道路图像的待检测区域中删除，返回执行从t-1时刻前视道路图像的待检测区域中选取任一特征点作为第一目标特征点的步骤，直至t时刻前视道路图像的待检测区域中的特征点的坐标数量为零；
基于t-1时刻前视道路图像的待检测区域中的特征点对应的目标物的信息，通过卡尔曼滤波算法对该目标物在t时刻的前视道路图像的待检测区域中的信息进行预测，得到该目标物在t时刻的前视道路图像的待检测区域中的信息。
7.一种多目标跟踪装置，其特征在于，所述多目标跟踪装置包括：
第一确定模块，用于在t-1时刻，通过梯度差分法确定前视道路图像中的特征点；
第二确定模块，用于基于所述前视道路图像和所述特征点确定前视道路图像中的待检测区域；
特征提取模块，用于通过卷积神经网络对所述待检测区域中的特征进行提取，得到第一特征信息；
循环模块，用于在t时刻，返回执行通过梯度差分法确定前视道路图像中的特征点的步骤，得到第二特征信息，其中，t-1时刻和t时刻为获取相邻两帧前视道路图像的相邻时刻；
信息跟踪模块，用于基于t-1时刻的前视道路图像的待检测区域中的特征点对应的目标物的信息、第一特征信息和第二特征信息得到t-1时刻的前视道路图像中的特征点对应的目标物在t时刻的前视道路图像的待检测区域中的信息。
8.如权利要求7所述的多目标跟踪装置，其特征在于，所述第二确定模块，用于：
将前视道路图像转化为俯视图，并对所述俯视图进行网格划分；
将特征点映射到所述俯视图上，并确定特征点映射后在所述俯视图上的坐标；
以映射后的特征点的坐标所在的网格作为目标网格；
确定所述目标网格所在的区域为前视道路图像中的待检测区域。
9.一种多目标跟踪设备，其特征在于，所述多目标跟踪设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的多目标跟踪程序，其中所述多目标跟踪程序被所述处理器执行时，实现如权利要求1至6中任一项所述的多目标跟踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多目标跟踪程序，其中所述多目标跟踪程序被处理器执行时，实现如权利要求1至6中任一项所述的多目标跟踪方法的步骤。
CN202311262886.2A 2023-09-27 2023-09-27 多目标跟踪方法、装置、设备及计算机可读存储介质 Pending CN117274310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311262886.2A CN117274310A (zh) 2023-09-27 2023-09-27 多目标跟踪方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311262886.2A CN117274310A (zh) 2023-09-27 2023-09-27 多目标跟踪方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117274310A true CN117274310A (zh) 2023-12-22

Family

ID=89210114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311262886.2A Pending CN117274310A (zh) 2023-09-27 2023-09-27 多目标跟踪方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117274310A (zh)

Similar Documents

Publication Publication Date Title
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
US11157737B2 (en) Cultivated land recognition method in satellite image and computing device
CN113610895A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
CN113095418B (zh) 一种目标检测方法及系统
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN113658192A (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN111680704A (zh) 海洋红线新增人类活动斑块自动化快速提取方法和装置
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN112435274B (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
CN106663317B (zh) 数字图像的形态学处理方法和数字图像处理装置
CN112837384A (zh) 车辆标记方法、装置和电子设备
CN111680183A (zh) 对象检索方法及装置、存储介质及电子设备
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN117274310A (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN114494441B (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN114511862B (zh) 表格识别方法、装置及电子设备
CN113298755B (zh) 基于时序影像的生态环境变化斑块快速检测方法和装置
CN113011415A (zh) 基于Grid R-CNN模型改进的目标检测方法及系统
CN113947730A (zh) 遥感数据识别方法、装置、电子设备及可读存储介质
CN109242894B (zh) 一种基于移动最小二乘法的图像对齐方法及系统
CN114299037B (zh) 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination