CN112800864B - 目标跟踪方法及装置、电子设备和存储介质 - Google Patents

目标跟踪方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112800864B
CN112800864B CN202110037146.3A CN202110037146A CN112800864B CN 112800864 B CN112800864 B CN 112800864B CN 202110037146 A CN202110037146 A CN 202110037146A CN 112800864 B CN112800864 B CN 112800864B
Authority
CN
China
Prior art keywords
target
predicted
image frame
speed
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110037146.3A
Other languages
English (en)
Other versions
CN112800864A (zh
Inventor
郑保山
齐连军
兰洪祥
黄建筑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202110037146.3A priority Critical patent/CN112800864B/zh
Publication of CN112800864A publication Critical patent/CN112800864A/zh
Application granted granted Critical
Publication of CN112800864B publication Critical patent/CN112800864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种目标跟踪方法及装置、电子设备和存储介质。本公开的一实施例中，目标跟踪方法可以包括：检测当前图像帧中包含的对象及其位置；根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联；利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度。本公开能够快速且准确地估计目标的实时距离和相对速度，从而实现更准确、快速的目标跟踪。

Description

目标跟踪方法及装置、电子设备和存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种目标跟踪方法及装置、电子设备和存储介质。
背景技术
目标跟踪是诸如辅助驾驶系统、自动驾驶系统等人工智能应用的核心。相关技术中，一般由车载摄像头识别出诸如车辆等交通工具的前方目标的类别和角度。然而，车载摄像头只能输出目标的实时距离，无法直接测量出目标的实时相对速度，而且对较远或较小目标的测距误差也比较大，测距效果不佳。
发明内容
针对目前车载摄像头等设备测距效果不佳且不具备实时测速功能的技术问题，本公开实施例期望提供一种目标跟踪方法及装置、电子设备和存储介质，能够快速且准确地估计目标的实时距离和相对速度，从而实现更准确、快速的目标跟踪。
根据本申请的一个方面，提供了一种目标跟踪方法，包括：
检测当前图像帧中包含的对象及其位置；
根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；
根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联；
利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度。
根据本申请的一个方面，提供了一种目标跟踪装置，包括：
检测模块，配置为检测当前图像帧中包含的对象及其位置；
预测模块，配置为根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；
关联模块，配置为根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联；
确定模块，配置为利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度。
根据本申请的一个方面，提供了一种电子设备，包括：一个或多个处理器；以及，存储器，存储有计算机程序，所述计算机程序在被所述处理器运行时使所述处理器执行上述的目标跟踪方法。
根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行上述的目标跟踪方法。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的目标跟踪方法的流程示意图。
图2是本申请一示例性实施例提供的依据目标关联情况切换目标跟踪状态的示意图。
图3是本申请另一示例性实施例提供的目标状态管理的示例性流程的示意图。
图4是本申请一示例性实施例提供的目标跟踪的示例性流程的示意图。
图5是本申请另一示例性实施例提供的目标跟踪装置的结构示意图。
图6是本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如前文所述，目标跟踪是诸如辅助驾驶系统、自动驾驶系统等人工智能应用的核心。相关技术中，一般由车载摄像头识别出诸如车辆等交通工具的前方目标的类别和角度。然而，车载摄像头只能输出目标的实时距离，无法直接测量出目标的实时相对速度，而且对较远或较小目标的测距误差也比较大，测距效果不佳。
针对目前车载摄像头等设备测距效果不佳且不具备实时测速功能的技术问题，本公开实施例的基本构思是提供一种目标跟踪方法及装置、电子设备和存储介质，通过先前图像帧获得的目标的位置和速度确定目标的预测位置和预测速度，再将从当前图像帧中检测到的对象与目标关联，最后利用与目标关联成功的对象的位置和该目标的预测位置和预测速度来确定该目标的当前位置和当前速度。由此可见，本公开实施例通过将当前图像帧中包含的对象与目标关联来利用当前图像帧中对象的位置和该目标的预测速度和预测位置确定目标的当前位置和当前速度，能够依据图像中检测到的位置来估计、跟踪目标的实时位置和实时速度，这不仅实现了基于车载摄像头的多目标跟踪，而且可以实现针对多目标的位置和速度的快速、有效地跟踪，同时，可有效提升目标跟踪的准确性、稳定性和可靠性。
本公开实施例可适用于各种场景中。例如，本公开实施例可适用于装载有诸如摄像头、照相机等成像器件的各类交通工具的目标跟踪场景中。再例如，本公开实施例可应用于诸如自动驾驶、辅助驾驶等需要实时检测前方物体的位置和速度的具体应用中。
示例性方法
图1是本公开一实施例中目标跟踪方法的示例性流程。如图1所示，本公开一实施例中，目标跟踪的示例性方法可以包括：
步骤S101，检测当前图像帧中包含的对象及其位置；
步骤S102，根据由先前图像帧获得的目标的位置和速度，确定目标的预测位置和预测速度；
步骤S103，根据当前图像帧中包含的对象的位置和目标的预测位置，将当前图像帧中包含的对象与目标关联；
步骤S104，利用与目标关联成功的对象的位置与目标的预测位置和预测速度，确定目标的当前位置和当前速度。
本公开实施例中，步骤S101～步骤S104中的目标和对象可以是一个或多个，目标和对象例如可以是行人、建筑物、树木、车辆、轮船、潜艇、飞行器。由此，本公开实施例通过将当前图像帧中包含的对象与目标关联来利用当前图像帧中对象的位置和该目标的预测速度和预测位置确定目标的当前位置和当前速度，能够依据图像中检测到的位置来估计、跟踪目标的实时位置和实时速度，这不仅实现了基于车载摄像头的多目标跟踪，而且可以实现针对多目标的位置和速度的快速、有效地跟踪，同时，可有效提升目标跟踪的准确性、稳定性和可靠性。
本公开实施例中，对象的位置可以是采用各种可能的手段通过对当前图像帧进行检测而获得的对象相对于当前物体的距离。类似地，目标的位置、预测位置等可以是目标相对于当前物体的距离。作为对象的位置及目标的位置、预测位置的基准的上述当前物体例如可以是装载有车载摄像头的本车，在水中或空中的环境下，例如也可以是装载有摄像头的本轮船、本潜艇、或本飞行器。上述距离可以包括目标或对象相对于当前物体的横向距离和目标或对象相对于当前物体的纵向距离。其他实施例中，对象的位置还可以是采用各种可能的手段通过对当前图像帧进行检测而获得的对象在当前物体空间坐标系(例如，装载有车载摄像头的本车的车体坐标系)中的坐标。类似地，目标的位置、预测位置等可以是目标在当前物体空间坐标系的坐标。上述坐标可以包括横向坐标和纵向坐标，该横向坐标可以表示目标或对象相对于当前物体的横向距离，该纵向坐标可以表示目标或对象相对于当前物体的纵向距离。除此之外，对象的位置、目标的位置、目标的预测位置还可以通过其他任何形式来表示，对此，本公开实施例不予限制。
本公开实施例中，步骤S101中可以采用诸如图像分类、语义分割等多种可适用的手段来对当前图像帧进行识别或检测，从而获得图像中包含的各类对象、以及各个对象的位置。对此，本公开实施例不予限制。
本公开实施例中，步骤S102中可以通过各种方式来确定目标的预测位置和预测速度。例如，如果先前图像帧(当前图像帧的前N帧图像中，N为不小于1的整数)中存在当前目标，可以使用由先前图像帧获得的目标的位置和速度，计算该目标的当前位置和当前速度。再例如，如果先前图像帧中不存在当前目标，可以直接将预先配置的初始位置和初始速度作为该目标的预测位置和预测速度。
本公开的至少一些实施例中，步骤S102中可以包括：使用由先前图像帧获得的目标的位置和速度作为先前状态量通过预先配置的卡尔曼滤波模型确定目标的预测状态量，该预测状态量可以包括目标的预测位置和预测速度。该目标的位置和速度例如可以通过卡尔曼滤波模型由先前图像帧(例如前一帧图像中)预测获得。该实施例中，步骤S104中可以包括：利用目标关联成功的对象的位置与目标的预测位置和预测速度，通过上述卡尔曼滤波模型确定目标的更新状态量，该更新状态量包括目标的当前位置和当前速度。步骤S104中的卡尔曼滤波模型例如可以与步骤S102中的卡尔曼滤波模型是同一个模型,包含卡尔曼预测和卡尔曼更新分别用于步骤S102和步骤S104。如此，本公开实施例可以通过卡尔曼滤波模型来确定目标的预测状态量和更新状态量，结合目标与当前图像帧中对象的关联，可以快速并准确地依据图像中检测到的位置来估计、跟踪目标的实时位置和实时速度，可以实现针对多目标的位置和速度的快速、有效地跟踪，同时还可以有效提升目标跟踪的准确性、稳定性和可靠性。
需要说明的是，如果当前目标不是新建目标，那么上述先前状态量可以是利用上述卡尔曼滤波模型对当前图像帧的前一图像帧进行处理得到的，如果当前目标是新建目标，那么其先前状态量可以取默认的初始值。
一些示例中，本公开实施例的卡尔曼滤波模型的输入量包括目标的实时位置(即步骤S103中与目标成功关联的对象的位置)，输出为目标的实时位置和实时速度(即目标的当前位置和当前速度)。该卡尔曼滤波模型以目标的速度作为实时噪声来实现对目标相对速度的实时准确估计。该卡尔曼滤波模型包含卡尔曼预测和卡尔曼更新，其中，卡尔曼预测用于执行步骤S102，卡尔曼更新用于执行步骤S104，卡尔曼预测如下式(1)～(2)所示，卡尔曼更新如下是(3)～(7)所示。
xp(k)＝F*x(k-1)+B*u(k-1) (1)
Pp(k)＝F*P(k-1)*FT+Q(k-1) (2)
y(k)＝z(k)-H*xp(k) (3)
C(k)＝H*Pp(k)*HT+R(k) (4)
K(k)＝Pp(k)*HT*C-1(k) (5)
x(k)＝xp(k)+K(k)*y(k) (6)
P(k)＝Pp(k)-K(k)*H*Pp(k) (7)
其中，观测量z、状态量x、测量矩阵H和传递矩阵F的定义如下式(8)～(12)所示。
z＝[Px Py]T (8)
x＝[Px Py Vx Vy]T (9)
其中，上述卡尔曼滤波模型的系统状态方程如下式(12)所示。
上述卡尔曼滤波模型中，目标的相对速度需要符合高斯白噪声模型，相应的系统噪声Q通过如下式(13)来确定：
上述式(1)～(13)中，Px、Py分别表示目标在当前车体坐标系下的x和y方向的坐标(即目标相对于本车的横向距离和纵向距离)。T表示周期，T由帧率决定。C(k)表示第k个周期的协方差，K(k)表示第k个周期的卡尔曼增益，x(k)表示第k个周期的状态量。R(k)表示测量噪声，取经验值，依据图像传感器的特性来确定。y(k)表示目标的实时位置和目标的预测位置之间的差值。Pp(k)是预测出来的过程噪声，P(k)是更新后的过程噪声。P、Q分别为过程噪声和系统噪声。B为控制矩阵，u为控制向量，B*U表示本车运动状态变化而做的状态向量的补偿。具体应用中，B和U这两个量可以通过本车的车速和本车的横摆角速度等来确定。σ表示系统噪声方差，其初始状态下可以取默认的初始值，并可以根据目标的航迹生存时间来动态调整，具体调整方式将在下文说明。
至少一些实施例中，步骤S103中，可以根据目标的预测位置和对象的位置，确定与目标的间距满足预定条件的对象，并将与目标的间距满足预定条件的对象与目标关联。如此，通过间距可以确定目标与当前图像帧中对象之间的对应关系，从而快速并准确地将特定目标与其在当前图像帧中检测到的对象相关联，以便通过该关联关系来准确地确定目标的实时位置和实时速度，有利于提升目标跟踪的准确性、稳定性和可靠性。
上述实施例中的预定条件可以根据具体应用场景(例如，陆地跟踪、空中追踪、水中跟踪)、目标的类型(例如，行人、车辆、轮船、潜艇、飞行器)等各种不同情况来自由设定。
一些示例中，该预定条件可以是：不超出预定的距离阈值。具体地，对象的位置和目标的预测位置之间的间距是否大于该预定的距离阈值，如果对象的位置和目标的预测位置之间的间距大于该预定的距离阈值则说明不满足预定条件，如果对象的位置和目标的预测位置之间的间距小于或等于该预定的距离阈值则说明满足预定条件。该预定的距离阈值可以是预先设定的固定值、也可以动态调整。
一些示例中，该预定条件可以采用矩形跟踪门。具体地，目标的预测距离可以包括目标相对于当前物体的横向预测距离和纵向预测距离，可以根据目标的横向预测距离和纵向预测距离确定一矩形区域(即，跟踪门)，根据当前图像帧中每个对象的位置(即对象相对于当前物体的横向距离和纵向距离)确定是否有对象落入该矩形区域，如果有一个或多个对象落入该矩形区域，可以从这一个或多个对象中选择一个对象来与目标关联，如果没有任何对象落入该矩形区域，就可以认为该目标关联失败，由此可以对该目标进行管理。本示例中，可以采用任何可适用的矩形跟踪门算法来确定目标的上述矩形区域以及是否有对象落入目标的上述矩形区域。对于具体的矩形跟踪门算法，本公开实施例不予限制。
一些示例中，还可以在确定与目标的间距满足预定条件的对象之后、之前或同时判断对象的类型与目标类型是否一致，并且仅在与目标的间距满足预定条件的对象与目标属于同一类型时将两者关联。例如，车辆和车辆目标进行关联，行人和行人目标进行关联等等。这样，一方面可避免不同类型的目标关联到一起，另一方面，也可以有效避免摄像头感知距离跳变而引发的关联失败这一问题的发生。这里，目标的类型可以通过目标的标识信息来确定，二对象的类型则可以通过识别当前图像帧来确定。
一些示例中，若与目标的间距满足预定条件的对象仅有一个或者某个对象仅与一个目标的间距满足预定条件，则可以直接将对象与目标进行关联。一些示例中，若与目标的间距满足预定条件的对象有至少两个，可以确定与目标的间距满足预定条件的每个对象与目标之间的马氏距离，将马氏距离中的最小马氏距离对应的对象与目标关联。其他示例中，若同一对象与至少两个目标的间距满足预定条件，确定与同一对象的间距满足所述预定条件的至少两个目标中的每个目标与对象之间的马氏距离，将马氏距离中的最小马氏距离对应的目标与该对象关联。这些示例中，使用马氏距离做出目标与对象之间的关联决定，可以快速并准确地获知特定目标是当前图像帧中的哪个对象或者当前图像帧中的哪个对象是某个或某些特定目标，从而可以快速并准确地关联特定目标与其在当前图像帧中的对象。
一些示例中，将当前图像帧中包含的对象与所述目标关联，可以包括：将与目标关联的对象的位置写入目标的跟踪数据中，且该目标的跟踪数据与该目标的标识信息关联，从而可以方便地在步骤S104中使用与该目标关联的对象的位置作为目标的位置来快速确定该目标的当前位置和当前速度。
一些示例中，目标的标识信息可以是自定义的ID或者可以是表征目标类型的信息，以便在目标关联时可以方便地通过目标的标识信息来关联到与目标类型相同的对象。
一些示例中，在步骤S103之后，可以针对当前图像帧中没有关联到已有目标的对象，创建相对应的新目标。这里，创建新目标的过程可以包括：创建新目标的标识信息并生成与该标识信息相关联的跟踪数据。初始创建时，新目标的跟踪数据中各个信息可以预先配置为默认的初始值，这些初始值可以是0或其他值。
一些示例中，目标的跟踪数据可以采用预定义的数据结构。
本公开实施例中，在步骤S102之前，可以为目标创建标识信息，并生成目标的跟踪数据，该跟踪数据与该目标的标识信息相关联，且跟踪数据可以包括如下信息中之一或任何多项：由先前图像帧获得的目标的位置和速度、航迹生存时间、生存计数值、航迹状态。
本公开实施例中，还可以根据步骤S103中的关联情况来对当前正在跟踪的目标进行管理。
至少一些实施例中，在步骤S103之后，还可以根据目标的关联情况来管理目标。具体地，根据目标的关联情况来管理目标的过程可以包括：步骤a1，响应于当前图像帧中包含的对象与目标关联成功与否，更新目标的生存计数值；步骤a2，根据更新后的生存计数值，更新目标的航迹生存时间；步骤a3，根据更新后的目标的航迹生存时间，删除目标及其跟踪数据。本公开的该实施例通过关联结果、生存计数值和航迹生存时间来决定是否删除某个或某些目标，可以实现“谨慎删除目标”的目的，针对某些目标在当前图像帧中消失又在后续图像帧中出现等情况可以有效避免目标被跟丢，也可以避免某个或某些目标的跟踪无法连续等问题，从而有效提高目标跟踪的稳定性和鲁棒性。
一些示例中，步骤a3可以包括：判断更新后目标的航迹生存时间是否大于预先设置的阈值；响应于目标的航迹生存时间小于或等于该阈值时，删除目标及其跟踪数据。由此，可以通过配置合适的阈值并结合目标航迹生存时间来对正在跟踪的目标进行有效管理，删除已经消失且不再出现的某个或某些目标，而对于那些暂时消失但可能会再次出现的目标则不会立刻删除，实现了“谨慎删除跟踪目标”的技术目的，从而有效提高目标跟踪的稳定性和鲁棒性。
上述示例中，决定是否删除目标的上述阈值可以配置为固定值(例如，经验值)，也可以在目标跟踪过程中动态调整。实际应用中，该阈值可以根据具体应用场景的不同、所跟踪目标的类型不同等诸多方面来设定。
一些示例中，步骤a1可以包括：步骤a11，响应于当前图像帧中包含的对象与所述目标关联成功与否，更新所述目标的航迹状态；步骤a12，响应于当前图像帧中包含的对象与所述目标关联成功与否、以及更新后所述目标的航迹状态，更新所述目标的生存计数值。该示例中，可以通过关联结果、航迹状态、生存计数值和航迹生存时间这四个因素来共同决定是否删除某个或某些目标，可以达到“删除已经消失且不再出现的某个或某些目标，而对于那些暂时消失但可能会再次出现的目标则不会立刻删除”的目的，即可以更加有效地谨慎删除目标，从而更加有效地提高目标跟踪的稳定性和鲁棒性。
图2和图3示出了目标管理的具体示例。
本公开实施例中目标管理的目的就是实现对目标存在状态的判定，及时新建有效目标，删除无效目标。图2示出了依据目标关联情况切换目标跟踪状态的示意图。图2的示例中，目标的跟踪状态包括四种：初始化状态、第一预设状态、第二预设状态和第三预设状态，其中，初始化状态表示目标尚未创建(即尚未开始跟踪该目标)，第一预设状态表示目标处于新建状态(即当前图像帧才检测到目标并开始跟踪)，第二预设状态表示目标处于连续被跟踪状态(即从先前图像帧到当前图像帧该目标处于连续被跟踪的状态)，第三预设状态表示目标暂时处于丢失状态(即该目标在先前帧图像中存在，而当前图像帧中却未检测到该目标)。
如图2所示，目标的跟踪状态可以依据当前图像帧该目标的关联情况来判定。图2的示例中，目标管理主要分为目标航迹状态判定和目标航迹生存状态判定。在目标建立的起始阶段，通过目标航迹状态判定，可快速建立该目标；目标航迹生存状态判定，依据目标航迹状态判定结果和当前图像帧的关联情况，更新目标的生存计数值，从而决定该目标是否被删除。图2的示例中，步骤a11可以包括：目标与当前图像帧中包含的任一对象关联成功且更新前所述目标的航迹状态不存在，设置目标的航迹状态为第一预设状态；目标与当前图像帧中包含的任一对象关联成功且更新前目标的航迹状态存在，重置目标的航迹状态为第二预设状态；目标与当前图像帧中包含的所有对象均关联失败且更新前所述目标的航迹状态存在，重置目标的航迹状态为第三预设状态。
下表1示出了步骤a12具体如何调整生存计数值的示例。该示例中，生存计数值的约定取值范围是0～18，其最大值是18，最小值是0。
表1
具体地，图2的示例中步骤a12可以包括如下之一或其任意组合：：
1)更新后目标的航迹状态是第一预设状态且所述目标与当前图像帧中包含的任一对象关联成功，设置目标的生存计数值为预先设定的默认值(例如，下表1中的8)；
2)更新后目标的航迹状态是第二预设状态且目标与当前图像帧中包含的任一对象关联成功，调大更新前的所述目标的生存计数值以得到更新后的生存计数值(例如，表1中的“+4”)；
3)更新后目标的航迹状态是第二预设状态且目标与当前图像帧中包含的所有对象均关联失败，调小更新前的目标的生存计数值以得到更新后的生存计数值(例如，表1中的“-2”)；
4)更新后目标的航迹状态是第三预设状态且目标与当前图像帧中包含的任一对象关联成功，调大更新前的目标的生存计数值以得到更新后的生存计数值(例如，表1中的“+2”)；
5)更新后目标的航迹状态是第三预设状态且目标与当前图像帧中包含的所有对象均关联失败，调小更新前的目标的生存计数值以得到更新后的生存计数值(例如，表1中的“-4”)。
本公开的上述示例中，先依据目标的航迹生存状态和目标在当前图像帧中的关联结果更新该目标的生存计数值，并对该目标的航迹生存时间进行累加。当航迹生存时间满足了预定条件(例如，航迹生存时间超出阈值)时，则可删除该目标。
图3示出了目标管理的示例性流程。如图3所示，目标管理的示例性流程可以包括：步骤S301，判断目标的生存计数值是否大于0，如果大于0，则继续步骤S305，直接将目标的航迹生存时间加1，得到更新后的航迹生存时间；如果小于或等于0，则继续步骤S302，继续判断目标的航迹生存时间是否大于预设的阈值，如果目标的航迹生存时间大于预设的阈值，则继续步骤304，将目标的生存计数值加1，同时将目标的航迹生存时间加1，以更新生存计数值和航迹生存时间；如果目标的航迹生存时间小于或等于阈值，则确定该目标需要删除，将该目标的航迹生存状态设置为“丢弃”，以便删除该目标及其跟踪数据；在步骤S305和步骤S304之后，确定目标需要删除，并将该目标的航迹生存状态设置为“不丢弃”，以继续跟踪该目标。这里的，目标的航迹生存时间可以是表示目标从创建到当前周期的的总周期数。
本公开的至少一些实施例中，还可以根据更新后目标的航迹生存时间来动态调整上述卡尔曼滤波模型的参数。一些示例中，本公开实施例的上述方法还可以包括：根据更新后的目标的航迹生存时间，调整上述卡尔曼滤波模型的系统噪声方差(即上文的σ)。该实施例中，通过目标的航迹生存时间动态调整卡尔曼滤波模型的系统噪声方差，有利于提高卡尔曼滤波模型对目标速度进行估计的准确性和稳定性。
一些示例中，根据更新后的目标的航迹生存时间，调整卡尔曼滤波模型的系统噪声方差(即上文的σ)的过程可以包括：目标在当前周期的航迹生存时间为最小值时，设置系统噪声方差为第一值；随着目标在当前周期的航迹生存时间的递增，将系统噪声方差在第一值的基础上递减；或者，随着目标在当前周期的航迹生存时间的递增，直接将系统噪声方差设置为第二值，并且第二值小于第一值。这样，当目标新建立时，生存计数值和航迹生存时间都较小，可以设置系统噪声方差σ为一个较大的值，可通过卡尔曼滤波模型快速确定该目标的速度和位置，从而提高卡尔曼滤波模型对新目标的位置和速度进行估计的响应速度和准确性。当目标被跟踪一段时间之后，可以设置系统噪声方差σ为一个较小的值，使得卡尔曼滤波模型的滤波效果更加稳定，从而提高卡尔曼滤波模型对目标的位置和速度进行实时估计的稳定性和鲁棒性。
实际应用中，上述第一值可以是预设的固定值(例如，经验值)，例如1或者接近1的数值。第二值也可以是预先设定的固定值(例如，经验值)，例如小于1的数值。
图4示出了本公开实施例目标跟踪的示例性流程。
假设当前正在跟踪的目标包括目标A和目标B，目标A属于车辆，目标B属于行人。从当前图像帧中检测到对象a、对象b、对象c、对象d和对象e及其位置，对象a和对象b是车辆，对象c是行人，对象d是建筑物，对象e是树木。
步骤S401，卡尔曼(KF)预测：利用卡尔曼滤波模型进行卡尔曼预测，即对目标A和目标B在上一周期(即前一帧图像中)的位置和速度执行上述式(1)～(2)的计算，得到目标A和目标B的预测状态量，预测状态量可以包括预测位置和预测速度，将目标A的预测状态量分别写入其跟踪数据中，将目标B的预测状态量分别写入其跟踪数据中；
步骤S402，关联：利用当前图像帧中检测到的对象及其位置以及目标A和目标B的预测状态量，进行关联操作；
本步骤中，因对象a、对象b和目标A均属于车辆，对象c和目标B均属于行人，则针对对象a、对象b和目标A执行关联操作、同时针对对象c和目标B也执行关联操作。
假设对象a的位置与目标A的预测位置之间的间距、对象b的位置与目标A的预测位置均满足预定条件，并且对象a的马氏距离小于对象b的马氏距离，则认为对象a和目标A属于同一跟踪目标，将对象a与目标A进行关联，即将对象a的位置作为目标A的测量位置写入目标A的跟踪数据中。
假设对象c的位置与目标B的预测位置的间距不满足预定条件，对象c和目标B关联失败。
步骤S403，新建目标：针对当前图像帧中未成功关联的潜在跟踪目标(对象b和对象c)，新建对应的目标C、目标D，生成目标C的跟踪数据和目标D的跟踪数据，该跟踪数据中先前帧的位置和速度均取初始值，对象b的位置作为目标C的测量位置写入其跟踪数据，对象c的位置作为目标D的测量位置写入其跟踪数据。
步骤S404，KF更新：利用上述卡尔曼滤波模型进行卡尔曼更新，即使用目标A、目标C和目标D的跟踪数据中执行上述式(3)～(7)的计算，得到目标A、目标C和目标D的更新状态量，更新状态量可以包括当前位置和当前速度；
本步骤中，目标C和目标D均是新建目标，在计算其更新状态量时使用的预测状态量均取默认的初始值。
本步骤中，目标B关联失败，说明目标B很可能在当前图像帧中不存在、当前周期很可能已经消失，故本步骤无需计算目标B的更新状态量。
步骤S405，目标管理：更新目标A、目标B、目标C和目标D的生存状态。
本步骤中，假设按照上文图3的示例更新各个目标的跟踪状态之后，目标B因当前周期中关联失败，其航迹生存状态被设置为“丢弃”，则删除目标B及其跟踪数据。目标A、目标C和目标D的航迹生存状态设置为“不丢弃”，则继续保留目标A、目标C和目标D及其跟踪数据，并进入下一图像帧的处理。
在本步骤中，还可以同时根据各个目标的航迹生存时间来更新卡尔曼滤波模型中对应这些目标的系统噪声方差，以便在下一图像帧中利用这些目标对应的更新后的系统噪声方差对这些目标进行KF预测。
示例性装置
图5是本公开一实施例中目标跟踪装置的示例性结构。如图5所示，本公开一实施例中，目标跟踪装置可以包括：
检测模块51，配置为检测当前图像帧中包含的对象及其位置；
确定模块52，配置为根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；以及，配置为利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度；
关联模块53，配置为根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联。
一些示例中，关联模块53可以具体配置为根据所述目标的预测位置和所述对象的位置，确定与所述目标的间距满足预定条件的对象，并将与所述目标的间距满足预定条件的对象与所述目标关联。
一些示例中，关联模块53配置为将与所述目标的间距满足预定条件的对象与所述目标关联，包括：若与所述目标的间距满足预定条件的对象有至少两个，确定与所述目标的间距满足预定条件的每个对象与所述目标之间的马氏距离，将所述马氏距离中的最小马氏距离对应的所述对象与所述目标关联；或者，若同一对象与至少两个目标的间距满足所述预定条件，确定与所述同一对象的间距满足所述预定条件的至少两个目标中的每个目标与所述对象之间的马氏距离，将所述马氏距离中的最小马氏距离对应的所述目标与所述对象关联。
一些示例中，确定模块52可以包括卡尔曼预测模块，卡尔曼预测模块可配置为使用由先前图像帧获得的所述目标的位置和速度作为先前状态量通过预先配置的卡尔曼滤波模型确定所述目标的预测状态量，所述预测状态量包括所述目标的预测位置和预测速度。
一些示例中，确定模块52可以包括卡尔曼更新模块，卡尔曼更新模块可配置为利用所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，通过所述卡尔曼滤波模型确定所述目标的更新状态量，所述更新状态量包括所述目标的当前位置和当前速度。
一些示例中，上述目标跟踪装置还可以包括目标管理模块54，该目标管理模块54可以包括新建子模块，该新建子模块可以配置为为所述目标创建标识信息，并生成所述目标的跟踪数据，所述跟踪数据与所述目标的标识信息相关联，且所述跟踪数据至少包括如下信息中之一：由先前图像帧获得的目标的位置和速度、航迹生存时间、生存计数值、航迹状态。
一些示例中，上述目标管理模块54还可以包括状态更新子模块，可以排至为：响应于当前图像帧中包含的对象与所述目标关联成功与否，更新目标的生存计数值；根据更新后的所述生存计数值，更新所述目标的航迹生存时间；以及，根据更新后的目标的航迹生存时间，删除所述目标及其跟踪数据。
一些示例中，上述状态更新子模块可以配置为根据更新后的目标的航迹生存时间，删除所述目标及其跟踪数据，包括：判断更新后所述目标的航迹生存时间是否大于预先设置的阈值；响应于所述目标的航迹生存时间小于或等于所述阈值时，删除所述目标及其跟踪数据。
一些示例中，上述状态更新子模块可以配置为响应于当前图像帧中包含的对象与所述目标关联成功与否，更新所述目标的生存计数值，包括：响应于当前图像帧中包含的对象与所述目标关联成功与否，更新所述目标的航迹状态；响应于当前图像帧中包含的对象与所述目标关联成功与否、以及更新后所述目标的航迹状态，更新所述目标的生存计数值。
一些示例中，上述状态更新子模块可以配置为响应于当前图像帧中包含的对象与所述目标关联成功与否，更新所述目标的航迹状态，包括：所述目标与当前图像帧中包含的任一对象关联成功且更新前所述目标的航迹状态不存在，设置所述目标的航迹状态为第一预设状态；所述目标与当前图像帧中包含的任一对象关联成功且更新前所述目标的航迹状态存在，重置所述目标的航迹状态为第二预设状态；所述目标与当前图像帧中包含的所有对象均关联失败且更新前所述目标的航迹状态存在，重置所述目标的航迹状态为第三预设状态。
一些示例中，上述状态更新子模块可以配置为响应于当前图像帧中包含的对象与所述目标关联成功与否、以及更新后所述目标的航迹状态，更新所述目标的生存计数值，包括如下之一或其任意组合：
1)更新后所述目标的航迹状态是第一预设状态且所述目标与当前图像帧中包含的任一对象关联成功，设置所述目标的生存计数值为预先设定的默认值；
2)更新后所述目标的航迹状态是第二预设状态且所述目标与当前图像帧中包含的任一对象关联成功，调大更新前的所述目标的生存计数值以得到更新后的生存计数值；
3)更新后所述目标的航迹状态是第二预设状态且所述目标与当前图像帧中包含的所有对象均关联失败，调小更新前的所述目标的生存计数值以得到更新后的生存计数值；
4)更新后所述目标的航迹状态是第三预设状态且所述目标与当前图像帧中包含的任一对象关联成功，调大更新前的所述目标的生存计数值以得到更新后的生存计数值；
5)更新后所述目标的航迹状态是第三预设状态且所述目标与当前图像帧中包含的所有对象均关联失败，调小更新前的所述目标的生存计数值以得到更新后的生存计数值。
一些示例中，上述目标管理模块还可以包括参数更新子模块，可以配置为根据状态更新子模块更新后的目标的航迹生存时间，调整上述卡尔曼滤波模型的系统噪声方差。
示例性电子设备
图6图示了根据本申请实施例的电子设备60的框图。
如图6所示，电子设备60可以包括一个或多个处理器61和存储器62。
处理器61可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器62可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器61可以运行所述程序指令，以实现上文所述的本申请的各个实施例的目标跟踪方法以及/或者其他期望的功能。
在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置133可以是图像收集器件，例如摄像装置、照相机、图像传感器等。此外，该输入设备63还可以包括例如键盘、鼠标等等。该输出装置64可以向外部输出各种信息。该输出设备64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备60中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。
实际应用中，上述电子设备60可以是但不限于：车载摄像头或其他任何可以安装于车辆等交通工具上并且具有图像采集功能的电子设备。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标跟踪方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标跟踪方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种目标跟踪方法，包括：
检测当前图像帧中包含的对象及其位置；
根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；
根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联；
利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度，
其中，根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联，包括：
根据所述目标的预测位置和所述对象的位置，确定与所述目标的间距满足预定条件的对象；
将与所述目标的间距满足预定条件的对象与所述目标关联，
其中，将与所述目标的间距满足预定条件的对象与所述目标关联，包括：
若与所述目标的间距满足预定条件的对象有至少两个，确定与所述目标的间距满足预定条件的每个对象与所述目标之间的马氏距离，将所述马氏距离中的最小马氏距离对应的所述对象与所述目标关联。
2.如权利要求1所述的方法，其中，根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度，包括：
使用由先前图像帧获得的所述目标的位置和速度作为先前状态量通过预先配置的卡尔曼滤波模型确定所述目标的预测状态量，所述预测状态量包括所述目标的预测位置和预测速度。
3.如权利要求1所述的方法，其中，利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度，包括：
利用所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，通过卡尔曼滤波模型确定所述目标的更新状态量，所述更新状态量包括所述目标的当前位置和当前速度。
4.如权利要求1所述的方法，确定所述目标的预测位置和预测速度之前，还包括：
为所述目标创建标识信息；以及
生成所述目标的跟踪数据，所述跟踪数据与所述目标的标识信息相关联，且所述跟踪数据至少包括如下信息中之一：由先前图像帧获得的目标的位置和速度、航迹生存时间、生存计数值、航迹状态。
5.如权利要求4所述的方法，还包括：
响应于当前图像帧中包含的对象与所述目标关联成功与否，更新所述目标的生存计数值；
根据更新后的所述生存计数值，更新所述目标的航迹生存时间；以及
根据更新后的目标的航迹生存时间，删除所述目标及其跟踪数据。
6.一种目标跟踪装置，包括：
检测模块，配置为检测当前图像帧中包含的对象及其位置；
确定模块，配置为根据由先前图像帧获得的目标的位置和速度，确定所述目标的预测位置和预测速度；
关联模块，配置为根据当前图像帧中包含的对象的位置和所述目标的预测位置，将当前图像帧中包含的对象与所述目标关联；
所述确定模块还配置为利用与所述目标关联成功的所述对象的位置与所述目标的预测位置和预测速度，确定所述目标的当前位置和当前速度，
其中，所述关联模块根据所述目标的预测位置和所述对象的位置，确定与所述目标的间距满足预定条件的对象，以及将与所述目标的间距满足预定条件的对象与所述目标关联，
并且其中，若与所述目标的间距满足预定条件的对象有至少两个，所述关联模块确定与所述目标的间距满足预定条件的每个对象与所述目标之间的马氏距离，将所述马氏距离中的最小马氏距离对应的所述对象与所述目标关联。
7.一种电子设备，包括：
一个或多个处理器；以及
存储器，存储有计算机程序，所述计算机程序在被所述处理器运行时使所述处理器执行根据权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1至5中任一项所述的方法。
CN202110037146.3A 2021-01-12 2021-01-12 目标跟踪方法及装置、电子设备和存储介质 Active CN112800864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037146.3A CN112800864B (zh) 2021-01-12 2021-01-12 目标跟踪方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037146.3A CN112800864B (zh) 2021-01-12 2021-01-12 目标跟踪方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112800864A CN112800864A (zh) 2021-05-14
CN112800864B true CN112800864B (zh) 2024-05-07

Family

ID=75810174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037146.3A Active CN112800864B (zh) 2021-01-12 2021-01-12 目标跟踪方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112800864B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516686A (zh) * 2021-07-09 2021-10-19 东软睿驰汽车技术（沈阳）有限公司 目标跟踪方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764373A (zh) * 2018-06-08 2018-11-06 北京领骏科技有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法
CN109564283A (zh) * 2016-08-10 2019-04-02 株式会社电装 物标检测装置
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN111292352A (zh) * 2020-01-20 2020-06-16 杭州电子科技大学 多目标跟踪方法、装置、设备及存储介质
CN111640140A (zh) * 2020-05-22 2020-09-08 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564283A (zh) * 2016-08-10 2019-04-02 株式会社电装 物标检测装置
CN108764373A (zh) * 2018-06-08 2018-11-06 北京领骏科技有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法
CN110110649A (zh) * 2019-05-02 2019-08-09 西安电子科技大学 基于速度方向的可选择性人脸检测方法
CN111292352A (zh) * 2020-01-20 2020-06-16 杭州电子科技大学 多目标跟踪方法、装置、设备及存储介质
CN111640140A (zh) * 2020-05-22 2020-09-08 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112800864A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
CN110546459B (zh) 具有数据融合的机器人跟踪导航
CN111164529B (zh) 环境信息更新装置、环境信息更新方法以及程序
CN111666891B (zh) 用于估计障碍物运动状态的方法和装置
CN110555362B (zh) 物体识别装置
US20200057160A1 (en) Multi-object tracking based on lidar point cloud
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
JP2020052585A (ja) 区画線認識装置
CN112800864B (zh) 目标跟踪方法及装置、电子设备和存储介质
CN113269811A (zh) 数据融合方法、装置及电子设备
KR20200135351A (ko) 비디오 객체 검출
CN113743228A (zh) 基于多数据融合结果的障碍物存在性检测方法和装置
US11080562B1 (en) Key point recognition with uncertainty measurement
CN110426714A (zh) 一种障碍物识别方法
US20210339750A1 (en) Methods and Systems for Tracking an Object
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备
CN116520338A (zh) 目标车辆距离的确定方法、装置、电子设备和存储介质
CN115979288A (zh) 一种航向角确定方法、电子设备和存储介质
KR101483549B1 (ko) 입자 생성 및 선별을 통한 카메라 위치 추정 방법 및 이동 시스템
CN115965654A (zh) 一种高空抛物跟踪方法、装置、设备及介质
KR102075831B1 (ko) V2v 통신과 레이다 센서 객체 번호 일치 방법 및 장치
US11555913B2 (en) Object recognition device and object recognition method
JP7355227B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant