CN111462176B - 一种目标追踪方法、目标追踪装置及终端设备 - Google Patents
一种目标追踪方法、目标追踪装置及终端设备 Download PDFInfo
- Publication number
- CN111462176B CN111462176B CN202010174552.XA CN202010174552A CN111462176B CN 111462176 B CN111462176 B CN 111462176B CN 202010174552 A CN202010174552 A CN 202010174552A CN 111462176 B CN111462176 B CN 111462176B
- Authority
- CN
- China
- Prior art keywords
- target
- visual
- position information
- point cloud
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims abstract description 220
- 239000011159 matrix material Substances 0.000 claims abstract description 180
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241001391944 Commicarpus scandens Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本申请适用于检测技术领域，提供了一种目标追踪方法、目标追踪装置及终端设备，包括：获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹。通过上述方法，能够有效避免目标追踪得到的目标轨迹发生断裂的情况。
Description
技术领域
本申请属于检测技术领域，尤其涉及一种目标追踪方法、目标追踪装置及终端设备。
背景技术
目标追踪是车辆辅助驾驶系统中一个重要功能，该功能可以为驾驶员提供可靠的目标位置信息，以提高驾驶的安全性。目标追踪也可以应用于车辆自动驾驶系统中，将追踪到的目标位置信息提供给车辆自动驾驶系统，以提高自动驾驶的稳定性。
现有的目标追踪方法通常是基于视觉图像处理的，即获取环境的视频图像、并对视频图像中的各帧图像进行目标检测及目标关联处理、进而确定目标轨迹的过程。当环境条件恶劣(如雨雪等能见度较低的天气)或目标被遮挡时，利用现有的目标追踪方法得到的目标轨迹容易发生断裂，目标追踪效果较差。
发明内容
本申请实施例提供了一种目标追踪方法、目标追踪装置及终端设备，可以解决现有的目标追踪方法得到的目标轨迹容易断裂、目标追踪效果较差问题。
第一方面，本申请实施例提供了一种目标追踪方法，包括：
获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；
获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；
根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；
根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹。
在第一方面的一种可能的实现方式中，所述计算所述目标视觉位置信息之间的视觉关联矩阵，包括：
将所述相邻的两个追踪时刻中的后一个时刻对应的目标视觉位置信息记为实际视觉位置信息；
根据所述相邻的两个追踪时刻中的前一个时刻对应的目标视觉位置信息，对所述相邻的两个追踪时刻中的后一个时刻的目标视觉位置进行预测，得到预测视觉位置信息；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵。
在第一方面的一种可能的实现方式中，所述计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵，包括：
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉距离矩阵；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉特征差值矩阵；
将所述视觉距离矩阵和所述视觉特征差值矩阵生成所述视觉关联矩阵。
在第一方面的一种可能的实现方式中，所述计算所述目标点云位置信息之间的点云关联矩阵，包括：
将所述相邻的两个追踪时刻中的后一个时刻对应的目标点云位置信息记为实际点云位置信息；
根据所述相邻的两个追踪时刻中的前一个时刻对应的目标点云位置信息，对所述相邻的两个追踪时刻中的后一个时刻的点云目标位置进行预测，得到预测点云位置信息；
计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵。
在第一方面的一种可能的实现方式中，所述计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵，包括：
计算所述实际点云位置信息和所述预测点云位置信息之间的点云距离矩阵，将所述点云距离矩阵记为所述点云关联矩阵。
在第一方面的一种可能的实现方式中，所述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，包括：
基于匈牙利算法对所述目标关联矩阵进行矩阵处理；
根据所述矩阵处理的结果，确定所述相邻的两个追踪时刻各自对应的目标之间的关联关系。
在第一方面的一种可能的实现方式中，在述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理之后，所述方法还包括：
若所述相邻的两个追踪时刻各自对应的目标中存在未确定关联关系的孤立目标，则继续将漏检时刻之后的N个追踪时刻分别与所述漏检时刻进行目标关联处理，得到N个目标关联结果，其中，所述N为正整数，所述漏检时刻为所述孤立目标对应的追踪时刻；
根据所述N个目标关联结果确定所述孤立目标的目标轨迹。
第二方面，本申请实施例提供了一种目标追踪装置，包括：
视觉信息获取单元，用于获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；
点云信息获取单元，用于获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；
关联矩阵获取单元，用于根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；
目标追踪单元，用于根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的目标追踪方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的目标追踪方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的目标追踪方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例中获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；然后根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；这样计算出的目标关联矩阵中既包含了相邻两个追踪时刻之间的视觉图像信息的关联关系，又包含了相邻两个追踪时刻之间的点云图像信息的关联关系；最后根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹，这样在进行目标关联处理时既用到了视觉图像信息，又用到了点云图像信息，避免了由于某种图像信息不清楚而造成了目标轨迹的断裂。通过上述方法，可以得到较准确、较完整的目标轨迹，使得目标追踪效果得到优化。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的目标追踪系统的示意图；
图2是本申请一实施例提供的目标追踪方法的流程示意图；
图3是本申请一实施例提供的目标追踪装置的结构示意图；
图4是本申请一实施例提供终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
参见图1，为本申请实施例提供的目标追踪系统的示意图。如图1所示，目标追踪系统可以包括视觉传感器101、雷达102和终端设备103。其中，视觉传感器可以是摄像机、行车记录仪等具有拍摄功能的装置。雷达可以是激光雷达或毫米波雷达等。终端设备可以是电脑、手机、处理器或服务器等具有数据处理功能的设备。终端设备可以通过有线或无线的方式分别与视觉传感器和雷达通信连接。
在应用过程中，视觉传感器对目标进行拍摄得到视觉图像序列，其中，视觉图像序列中包括多帧视觉图像。雷达对目标进行检测得到点云图像序列，其中，点云图像序列中包括多帧点云图像。可以通过设置硬件参数的方式，使视觉传感器和雷达能够同步获取数据，换句话说，视觉传感器和雷达采集数据的时间点相同。这样，视觉图像序列中的各帧视觉图像分别与点云图像序列中的各帧点云图像一一对应，换句话说，在每个采样时间点都对应着一张视觉图像和一张点云图像。
在一个应用场景中，终端设备从视觉传感器中获取目标的视觉图像序列，并从雷达获取目标的点云图像序列。在进行目标追踪之前，终端设备可以先分别对视觉图像序列中的每帧视觉图像进行目标检测，得到每帧视觉图像中的目标视觉位置信息；并分别对点云图像序列中的每帧点云图像进行目标检测，得到每帧点云图像中的目标点云位置信息。然后终端设备再利用本申请实施例中的目标追踪方法进行目标追踪。
在另一个应用场景中，也可以由第三方数据处理设备对视觉图像序列和点云图像序列进行目标检测。终端设备可以从第三方数据处理设备中获取检测出的目标视觉位置信息和目标点云位置信息，然后再利用本申请实施例中的目标追踪方法进行目标追踪。
图2示出了本申请一实施例提供的目标追踪方法的流程示意图，作为示例而非限定，所述方法可以包括以下步骤：
S201，获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵。
其中，可以将每个采样时间点作为一个追踪时刻，也可以每隔几个采样时间点设置一个追踪时刻。
在实际应用中，当在视觉图像中检测出目标时，通常会在视觉图像中将目标标记出来。例如，用一个位置框表示目标的位置。所以，目标视觉位置信息可以包括位置框的中心坐标、位置框的长宽比和位置框的高度等信息。
因为目标追踪的目的是，需要掌握目标的移动轨迹，换句话说，目标的位置和在图像中的形态、大小可能是变化的。所以目标视觉位置信息中还可以包括位置框的中心坐标的速度量、位置框的长宽比的速度量和位置框的高度的速度量等速度信息。
在一个实施例中，计算所述目标视觉位置信息之间的视觉关联矩阵，可以包括以下步骤：
S11，计算目标视觉位置信息之间的视觉距离矩阵。
这里，可以计算目标视觉位置信息之间的马氏距离，得到视觉距离矩阵。
示例性的，可以通过以下公式计算：
其中，d1(i,j)表示视觉关联矩阵，表示第i帧视觉图像中的目标视觉位置信息，表示第j帧是视觉图像中的目标视觉位置信息，Sc表示预设的协方差矩阵，第i帧视觉图像和第j帧视觉图像为相邻的两帧视觉图像。
当然，实际应用中，还可以计算实际视觉位置信息和预测视觉位置信息之间的欧式距离等等。
S12，计算目标视觉位置信息之间的视觉特征差值矩阵。
这里，可以计算目标视觉位置信息之间的余弦距离，得到视觉特征差值矩阵。
示例性的，可以通过以下公式计算：
其中，d2(i,j)为视觉特征差值矩阵，表示第i帧视觉图像中的目标特征值，表示第j帧视觉图像中的目标特征值。
在对视觉图像进行目标检测时，即可获得每帧视觉图像中的目标特征值。
S13，将视觉距离矩阵和视觉特征差值矩阵生成视觉关联矩阵。
可以将视觉距离矩阵和视觉特征差值矩阵进行加权求和，得到视觉关联矩阵。
为了得到更准确的视觉关联矩阵，在一个实施例中，计算所述目标视觉位置信息之间的视觉关联矩阵的步骤，还可以包括：
S21，将所述相邻的两个追踪时刻中的后一个时刻对应的目标视觉位置信息记为实际视觉位置信息。
S22，根据所述相邻的两个追踪时刻中的前一个时刻对应的目标视觉位置信息，对所述相邻的两个追踪时刻中的后一个时刻的目标视觉位置进行预测，得到预测视觉位置信息。
在进行预测时，可以采用卡尔曼滤波器进行预测。
S23，计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵。
通过S21－S23中的方法，利用预测的方式，将前后两个时刻的目标视觉位置信息映射到同一时刻，然后再计算同一时刻对应的实际视觉位置信息和预测视觉位置信息之间的视觉关联矩阵，这样得到的视觉关联矩阵能够更准确地反映目标视觉位置信息之间的关联关系。
相应的，S23，计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵，可以包括以下步骤：
S231，计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉距离矩阵。
这一步的计算方法可参见S11中的示例，在S231中，可以将Sc对应的设置为卡尔曼滤波器的观测空间的协方差矩阵。
S232，计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉特征差值矩阵。
S233，将所述视觉距离矩阵和所述视觉特征差值矩阵生成所述视觉关联矩阵。
步骤S232－S233可参见步骤S12-S13中的描述，在此不再赘述。
S202，获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵。
在雷达点云图像中检测出目标时，也可以用位置框将目标标记出来。因此，目标点云位置信息也可以包括位置框的中心坐标、位置框的长宽比和位置框的高度等信息，以及位置框的中心坐标的速度量、位置框的长宽比的速度量和位置框的高度的速度量等速度信息。
在一个实施例中，计算目标点云位置信息之间的点云关联矩阵，可以包括以下步骤：
S31，计算目标点云位置信息之间的点云距离矩阵，将点云距离矩阵记为所述点云关联矩阵。
可以计算目标点云位置信息之间的马氏距离，得到点云距离矩阵。示例性的，可以通过以下公式计算：
其中，d3(i,j)为点云距离矩阵，表示第i帧雷达点云图像中的目标点云位置信息，/>示第j帧雷达点云图像中的目标点云位置信息，Sl表示预设的协方差矩阵。
为了为了得到更准确的点云关联矩阵，在一个实施例中，计算目标点云位置信息之间的点云关联矩阵，还可以包括以下步骤：
S41，将所述相邻的两个追踪时刻中的后一个时刻对应的目标点云位置信息记为实际点云位置信息。
S42，根据所述相邻的两个追踪时刻中的前一个时刻对应的目标点云位置信息，对所述相邻的两个追踪时刻中的后一个时刻的点云目标位置进行预测，得到预测点云位置信息。
在进行预测时，可以采用卡尔曼滤波器进行预测。
S43，计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵。
通过S41－S43中的方法，利用预测的方式，将前后两个时刻的目标点云位置信息映射到同一时刻，然后再计算同一时刻对应的实际点云位置信息和预测点云位置信息之间的点云关联矩阵，这样得到的点云关联矩阵能够更准确地反映目标点云位置信息之间的关联关系。
相应的，S33，计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵，包括：
S431，计算所述实际点云位置信息和所述预测点云位置信息之间的点云距离矩阵，将所述点云距离矩阵记为所述点云关联矩阵。
计算方法可参见步骤S31中的描述，在此不再赘述。
S203，根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵。
可以将视觉关联矩阵和点云关联矩阵进行加权求和。
实际应用中，视觉关联矩阵由视觉距离矩阵和视觉特征差值矩阵构成，在计算目标关联矩阵时，可以将视觉距离矩阵、视觉特征差值矩阵和点云关联矩阵三者进行加权求和。优选的，可以对三者的权重进行限定。例如，限定三者的权重之和为预设常数。
S204，根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹。
示例性的，假设前一个追踪时刻中的第i个目标和后一个追踪时刻中的第j个目标相关联，那么这两个追踪时刻之间的目标轨迹为，第i个目标的位置框的中心坐标与第j个目标的位置框的中心坐标之间的线段。
可选的，根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，可以包括：
S51，基于匈牙利算法对所述目标关联矩阵进行矩阵处理。
利用匈牙利算法进行矩阵处理的步骤可以包括：
1)对于目标关联矩阵的每一行，将这一行中的每个元素分别减去该行中的最小元素值，得到第一中间矩阵。
2)对于第一中间矩阵的每一列，将这一列中的每个元素分别减去该列中的最小元素值，得到第二中间矩阵。
3)用最少的水平线和/垂直线连接第二中间矩阵中的所有零值元素。
4)如果得到的水平线和垂直线的总条数等于预设值，则处理完成。
5)如果得到的水平线和垂直线的总条数不等于预设值，则找到第二中间矩阵中的最小值，并将水平线和/垂直线没有经过的元素减去这个最小值，将水平线和/垂直线经过两次的元素加上这个最小值，然后重复第3)步，直到处理完成。
在实际应用中，步骤4)、5)中的预设值，可以为相邻的两个追踪时刻各自对应的目标数中的最大值。
S52，根据所述矩阵处理的结果，确定所述相邻的两个追踪时刻各自对应的目标之间的关联关系。
示例性的，得到的矩阵处理的结果为
其中，第1行第1列中的元素为0，表示第一个追踪时刻对应的第1个目标和第二个追踪时刻对应的第1个目标相关联；第2行第3列中的元素0，表示第一个追踪时刻对应的第2个目标和第二个追踪时刻对应的第3个目标相关联；第3行第2列中的元素0，表示第一个追踪时刻对应的第3个目标和第二个追踪时刻对应的第2个目标相关联。
实际应用中，可能出现相邻的两个追踪时刻各自对应的目标个数不相等的情况。例如，前一个追踪时刻对应的目标个数为3，后一个追踪时刻对应的目标个数为2。出现这种情况的原因，可能是在后一个追踪时刻某个目标离开了传感器的感知范围，也可能是在后一个追踪时刻某个目标被遮挡。那么，在上述相邻两个追踪时刻各自对应的目标个数不相等的情况下，会存在某个目标未能与其他目标建立关联关系。
为了解决上述问题，在一个实施例中，在述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理之后，所述方法还包括：
S61，若所述相邻的两个追踪时刻各自对应的目标中存在未确定关联关系的孤立目标，则继续将漏检时刻之后的N个追踪时刻分别与所述漏检时刻进行目标关联处理，得到N个目标关联结果，其中，所述N为正整数，所述漏检时刻为所述孤立目标对应的追踪时刻。
S62，根据所述N个目标关联结果确定所述孤立目标的目标轨迹。
通过上述方法，相当于连续追踪了N个追踪时刻，这样，就算某个追踪时刻出现异常状况，也可以通过其他的追踪时刻确定目标轨迹，避免了目标跟踪丢失和目标轨迹的断裂。
本申请实施例中获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；然后根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；这样计算出的目标关联矩阵中既包含了相邻两个追踪时刻之间的视觉图像信息的关联关系，又包含了相邻两个追踪时刻之间的点云图像信息的关联关系；最后根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹，这样在进行目标关联处理时既用到了视觉图像信息，又用到了点云图像信息，避免了由于某种图像信息不清楚而造成了目标轨迹的断裂。通过上述方法，可以得到较准确、较完整的目标轨迹，使得目标追踪效果得到优化。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法，图3示出了本申请实施例提供的目标追踪装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图3，该装置包括：
视觉信息获取单元31，用于获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；
点云信息获取单元32，用于获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；
关联矩阵获取单元33，用于根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；
目标追踪单元34，用于根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹。
可选的，视觉信息获取单元31包括：
实际视觉信息获取模块，用于将所述相邻的两个追踪时刻中的后一个时刻对应的目标视觉位置信息记为实际视觉位置信息。
预测视觉信息获取模块，用于根据所述相邻的两个追踪时刻中的前一个时刻对应的目标视觉位置信息，对所述相邻的两个追踪时刻中的后一个时刻的目标视觉位置进行预测，得到预测视觉位置信息。
第一计算模块，用于计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵。
可选的，第一计算模块还用于：
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉距离矩阵；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉特征差值矩阵；
将所述视觉距离矩阵和所述视觉特征差值矩阵生成所述视觉关联矩阵。
可选的，点云信息获取单元32包括：
实际点云信息获取模块，用于将所述相邻的两个追踪时刻中的后一个时刻对应的目标点云位置信息记为实际点云位置信息。
预测点云信息获取模块，用于根据所述相邻的两个追踪时刻中的前一个时刻对应的目标点云位置信息，对所述相邻的两个追踪时刻中的后一个时刻的点云目标位置进行预测，得到预测点云位置信息。
第二计算模块，用于计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵。
可选的，第二计算模块，还用于计算所述实际点云位置信息和所述预测点云位置信息之间的点云距离矩阵，将所述点云距离矩阵记为所述点云关联矩阵。
可选的，目标追踪单元34包括：
矩阵处理模块，用于基于匈牙利算法对所述目标关联矩阵进行矩阵处理。
确定模块，用于根据所述矩阵处理的结果，确定所述相邻的两个追踪时刻各自对应的目标之间的关联关系。
可选的，装置3还包括：
目标关联处理单元，用于在述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理之后，若所述相邻的两个追踪时刻各自对应的目标中存在未确定关联关系的孤立目标，则继续将漏检时刻之后的N个追踪时刻分别与所述漏检时刻进行目标关联处理，得到N个目标关联结果，其中，所述N为正整数，所述漏检时刻为所述孤立目标对应的追踪时刻。
目标轨迹确定单元，用于根据所述N个目标关联结果确定所述孤立目标的目标轨迹。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图3所示的装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4为本申请一实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个目标追踪方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到目标追踪装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种目标追踪方法，其特征在于，包括：
获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；
获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；
根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；
根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹；
所述计算所述目标视觉位置信息之间的视觉关联矩阵，包括：
将所述相邻的两个追踪时刻中的后一个时刻对应的目标视觉位置信息记为实际视觉位置信息；
根据所述相邻的两个追踪时刻中的前一个时刻对应的目标视觉位置信息，对所述相邻的两个追踪时刻中的后一个时刻的目标视觉位置进行预测，得到预测视觉位置信息；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵；
所述计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵，包括：
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉距离矩阵；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉特征差值矩阵；
将所述视觉距离矩阵和所述视觉特征差值矩阵生成所述视觉关联矩阵。
2.如权利要求1所述的目标追踪方法，其特征在于，所述计算所述目标点云位置信息之间的点云关联矩阵，包括：
将所述相邻的两个追踪时刻中的后一个时刻对应的目标点云位置信息记为实际点云位置信息；
根据所述相邻的两个追踪时刻中的前一个时刻对应的目标点云位置信息，对所述相邻的两个追踪时刻中的后一个时刻的点云目标位置进行预测，得到预测点云位置信息；
计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵。
3.如权利要求2所述的目标追踪方法，其特征在于，所述计算所述实际点云位置信息和所述预测点云位置信息之间的点云关联矩阵，包括：
计算所述实际点云位置信息和所述预测点云位置信息之间的点云距离矩阵，将所述点云距离矩阵记为所述点云关联矩阵。
4.如权利要求1所述的目标追踪方法，其特征在于，所述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，包括：
基于匈牙利算法对所述目标关联矩阵进行矩阵处理；
根据所述矩阵处理的结果，确定所述相邻的两个追踪时刻各自对应的目标之间的关联关系。
5.如权利要求4所述的目标追踪方法，其特征在于，在述根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理之后，所述方法还包括：
若所述相邻的两个追踪时刻各自对应的目标中存在未确定关联关系的孤立目标，则继续将漏检时刻之后的N个追踪时刻分别与所述漏检时刻进行目标关联处理，得到N个目标关联结果，其中，所述N为正整数，所述漏检时刻为所述孤立目标对应的追踪时刻；
根据所述N个目标关联结果确定所述孤立目标的目标轨迹。
6.一种目标追踪装置，其特征在于，包括：
视觉信息获取单元，用于获取相邻的两个追踪时刻各自对应的视觉图像中的目标视觉位置信息，并计算所述目标视觉位置信息之间的视觉关联矩阵；
点云信息获取单元，用于获取所述相邻的两个追踪时刻各自对应的雷达点云图像中的目标点云位置信息，并计算所述目标点云位置信息之间的点云关联矩阵；
关联矩阵获取单元，用于根据所述视觉关联矩阵和所述点云关联矩阵计算所述相邻的两个追踪时刻之间的目标关联矩阵；
目标追踪单元，用于根据所述目标关联矩阵对所述相邻的两个追踪时刻进行目标关联处理，并根据所述目标关联处理的结果确定所述两个相邻的追踪时刻之间的目标轨迹；
所述视觉信息获取单元还用于：
将所述相邻的两个追踪时刻中的后一个时刻对应的目标视觉位置信息记为实际视觉位置信息；
根据所述相邻的两个追踪时刻中的前一个时刻对应的目标视觉位置信息，对所述相邻的两个追踪时刻中的后一个时刻的目标视觉位置进行预测，得到预测视觉位置信息；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉关联矩阵；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉距离矩阵；
计算所述实际视觉位置信息和所述预测视觉位置信息之间的视觉特征差值矩阵；
将所述视觉距离矩阵和所述视觉特征差值矩阵生成所述视觉关联矩阵。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174552.XA CN111462176B (zh) | 2020-03-13 | 2020-03-13 | 一种目标追踪方法、目标追踪装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174552.XA CN111462176B (zh) | 2020-03-13 | 2020-03-13 | 一种目标追踪方法、目标追踪装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111462176A CN111462176A (zh) | 2020-07-28 |
| CN111462176B true CN111462176B (zh) | 2024-04-05 |
Family
ID=71680791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010174552.XA Active CN111462176B (zh) | 2020-03-13 | 2020-03-13 | 一种目标追踪方法、目标追踪装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462176B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230334838A1 (en) * | 2022-04-19 | 2023-10-19 | Mediatek Inc. | Method and electronic device for motion prediction |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109633664A (zh) * | 2018-12-29 | 2019-04-16 | 南京理工大学工程技术研究院有限公司 | 基于rgb-d与激光里程计的联合定位方法 |
| CN110517284A (zh) * | 2019-08-13 | 2019-11-29 | 中山大学 | 一种基于激光雷达和ptz摄像机的目标追踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230379B (zh) * | 2017-12-29 | 2020-12-04 | 百度在线网络技术（北京）有限公司 | 用于融合点云数据的方法和装置 |
-
2020
- 2020-03-13 CN CN202010174552.XA patent/CN111462176B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109633664A (zh) * | 2018-12-29 | 2019-04-16 | 南京理工大学工程技术研究院有限公司 | 基于rgb-d与激光里程计的联合定位方法 |
| CN110517284A (zh) * | 2019-08-13 | 2019-11-29 | 中山大学 | 一种基于激光雷达和ptz摄像机的目标追踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| Multiple-object Tracking based on Monocular Camera and 3-D Lidar Fusion for Autonomous Vehicles;Hao Chen等;《Proceedings of the IEEE International Conference on Robotics and Biomimetics, 2019.》;20191231;正文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111462176A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612841B (zh) | 目标定位方法及装置、移动机器人及可读存储介质 | |
| CN111080526A (zh) | 航拍图像的农田面积的测算方法、装置、设备及介质 | |
| CN112634316B (zh) | 目标跟踪方法、装置、设备和存储介质 | |
| CN112926218A (zh) | 净空距离的获取方法、装置、设备和存储介质 | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN111667504A (zh) | 一种人脸追踪方法、装置及设备 | |
| CN115546705A (zh) | 目标识别方法、终端设备及存储介质 | |
| CN111462176B (zh) | 一种目标追踪方法、目标追踪装置及终端设备 | |
| CN114170303A (zh) | 雷达和摄像头的联合标定方法、装置、系统、设备及介质 | |
| CN114463372A (zh) | 车辆识别方法、装置、终端设备及计算机可读存储介质 | |
| CN110033425B (zh) | 干扰区域检测装置及方法、电子设备 | |
| CN111862208B (zh) | 一种基于屏幕光通信的车辆定位方法、装置及服务器 | |
| CN111553223B (zh) | 舰船目标识别方法、装置、设备及可读存储介质 | |
| CN112884801A (zh) | 高空抛物检测方法、装置、设备和存储介质 | |
| CN115690747B (zh) | 车辆盲区检测模型测试方法、装置、电子设备及存储介质 | |
| CN116246308A (zh) | 基于视觉识别的多目标跟踪预警方法、装置及终端设备 | |
| US11954875B2 (en) | Method for determining height of plant, electronic device, and storage medium | |
| CN113721240B (zh) | 一种目标关联方法、装置、电子设备及存储介质 | |
| CN112416128B (zh) | 一种手势识别方法及终端设备 | |
| CN116091600B (zh) | 一种图像目标的定位方法、装置、终端设备和存储介质 | |
| CN112686246B (zh) | 一种车牌字符分割方法、装置、存储介质及终端设备 | |
| CN110647890B (zh) | 高性能的图像特征提取及匹配方法、系统和存储介质 | |
| CN111369587B (zh) | 一种跟踪方法及装置 | |
| CN116168325A (zh) | 车辆变道检测方法、装置、电子设备以及可读存储介质 | |
| CN111209837B (zh) | 一种目标追踪方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |