CN116580051A - 对象追踪方法、装置、终端设备及存储介质 - Google Patents
对象追踪方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN116580051A CN116580051A CN202310477945.1A CN202310477945A CN116580051A CN 116580051 A CN116580051 A CN 116580051A CN 202310477945 A CN202310477945 A CN 202310477945A CN 116580051 A CN116580051 A CN 116580051A
- Authority
- CN
- China
- Prior art keywords
- boundary detection
- traffic signal
- target
- tracking
- signal object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 294
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 abstract description 29
- 230000002159 abnormal effect Effects 0.000 abstract description 14
- 238000002156 mixing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种对象追踪方法、装置、终端设备及存储介质，其对象追踪方法包括：获取目标交通信号对象在目标画面中的预测边界检测框；基于目标画面的当前边界检测框和预测边界检测框，对目标交通信号对象进行追踪。基于本申请方案，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，并且能够适应对目标交通信号对象的追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种对象追踪方法、装置、终端设备及存储介质。
背景技术
在自动驾驶中，交通信号对象的追踪至关重要，交通信号对象是指交通信号灯、交通标志、交通标线等用于传达交通信号的对象，准确地对交通信号对象进行追踪有利于提高自动驾驶控制效果。
目前，关于交通信号对象的追踪过程一般通过检测交通信号对象对应的边界检测框(BBox，Bounding Box)，再根据前后帧之间的边界检测框的交并比(IOU，IntersectionOver Union)大小对交通信号对象进行追踪。但是在实际的应用中，可能出现前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况，目前的交通信号对象的追踪方式在这些异常情况下容易追踪失败或者产生误关联。换言之，目前的交通信号对象的追踪方式的鲁棒性差。
发明内容
本申请的主要目的在于提供一种对象追踪方法、装置、终端设备及存储介质，旨在解决目前的交通信号对象的追踪方式的鲁棒性差的问题。
为实现上述目的，本申请提供一种对象追踪方法，所述对象追踪方法包括：
获取目标交通信号对象在目标画面中的预测边界检测框；
基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
可选地，所述获取目标交通信号对象在目标画面中的预测边界检测框的步骤包括：
获取所述目标交通信号对象在目标画面中的历史追踪信息；
基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
可选地，所述获取所述目标交通信号对象在目标画面中的历史追踪信息的步骤包括：
获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻；
所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括：
根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息，计算得到所述相机的相对运动信息；
根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息，计算得到所述目标交通信号对象的深度信息；
根据所述目标交通信号对象的深度信息，计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
可选地，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪的步骤包括：
基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件；
若是，则确定所述目标画面的当前边界检测框属于所述目标交通信号对象；
若否，则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
可选地，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件的步骤包括：
对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算，得到交并比计算结果；
根据所述交并比计算结果判断是否满足预设的第一追踪条件，得到对应的第一判断结果。
可选地，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件的步骤包括：
获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系，以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系；
根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件，得到对应的第二判断结果。
可选地，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪的步骤包括：
基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配，得到对应的匹配结果；
根据所述匹配结果对所述目标交通信号对象进行追踪。
本申请实施例还提出一种对象追踪装置，所述对象追踪装置包括：
获取模块，用于获取目标交通信号对象在目标画面中的预测边界检测框；
追踪模块，用于基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序，所述对象追踪程序被所述处理器执行时实现如上所述的对象追踪方法的步骤。
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有对象追踪程序，所述对象追踪程序被处理器执行时实现如上所述的对象追踪方法的步骤。
本申请实施例提出的对象追踪方法、装置、终端设备及存储介质，通过获取目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。基于本申请方案，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
附图说明
图1为本申请对象追踪装置所属终端设备的功能模块示意图；
图2为本申请对象追踪方法第一示例性实施例流程示意图；
图3为本申请对象追踪方法第二示例性实施例流程示意图；
图4为本申请对象追踪方法第三示例性实施例流程示意图；
图5为本申请对象追踪方法第四示例性实施例流程示意图；
图6为本申请对象追踪方法第五示例性实施例流程示意图；
图7为本申请对象追踪方法第六示例性实施例流程示意图；
图8为本申请对象追踪方法第七示例性实施例流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：获取目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。基于本申请方案，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
具体地，参照图1，图1为本申请对象追踪装置所属终端设备的功能模块示意图。该对象追踪装置可以为独立于终端设备的、能够进行对象追踪的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该对象追踪装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及对象追踪程序，对象追踪装置可以将获取的目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪的追踪结果等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的对象追踪程序被处理器执行时实现以下步骤：
获取目标交通信号对象在目标画面中的预测边界检测框；
基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
获取所述目标交通信号对象在目标画面中的历史追踪信息；
基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻；
所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括：
根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息，计算得到所述相机的相对运动信息；
根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息，计算得到所述目标交通信号对象的深度信息；
根据所述目标交通信号对象的深度信息，计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件；
若是，则确定所述目标画面的当前边界检测框属于所述目标交通信号对象；
若否，则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算，得到交并比计算结果；
根据所述交并比计算结果判断是否满足预设的第一追踪条件，得到对应的第一判断结果。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系，以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系；
根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件，得到对应的第二判断结果。
进一步地，存储器130中的对象追踪程序被处理器执行时还实现以下步骤：
基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配，得到对应的匹配结果；
根据所述匹配结果对所述目标交通信号对象进行追踪。
本实施例通过上述方案，具体通过获取目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。本实施例中，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
参照图2，本申请对象追踪方法第一实施例提供一种流程示意图，所述对象追踪方法包括：
步骤S10，获取目标交通信号对象在目标画面中的预测边界检测框。
具体地，本实施例涉及的交通信号对象是指用于传达交通信号的交通信号灯、交通标志、交通标线等对象。例如，在自动驾驶场景中常见的红绿灯就属于交通信号对象的一种。
目标车辆基于车载的目标相机获取道路的画面，也就是目标画面，目标画面之中可能存在有若干个交通信号对象，目标车辆基于预设的检测算法检测出目标画面之中的若干个交通信号对象对应的边界检测框，其中包括目标交通信号对象的边界检测框。
通常，目标车辆处于持续运动的状态，目标交通信号对象可能会出现在目标画面的连续帧(即连续的多个图像帧)，目标交通信号对象在连续帧的位置也会随时变化，将目标交通信号对象与连续帧的边界检测框进行关联，可以实现对目标交通信号对象的追踪。
但是在实际的应用中，可能出现前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况，利用目前的交通信号对象的追踪方式无法实现对目标交通信号对象的稳定追踪，追踪过程鲁棒性差。
为此，本实施例提出了基于预测边界检测框的交通信号对象追踪方式。更为具体地，需要获取目标交通信号对象在历史帧(即当前帧之前的任意帧)中的历史边界检测框和目标车辆/目标相机的相对运动信息，基于目标交通信号对象的历史边界检测框和目标车辆/目标相机的运动信息计算出目标交通信号对象的预测边界检测框。
步骤S20，基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
具体地，目标画面的当前帧存在若干个交通信号对象对应的边界检测框，即当前边界检测框。目标画面中的当前边界检测框有可能属于目标交通信号对象，也有可能不属于目标交通信号对象。为了验证上述当前边界检测框的归属并对目标交通信号对象进行追踪，可以将预测边界检测框作为参照，基于预测边界检测框和当前边界检测框判断是否符合预设的追踪条件。如果判断结果表明符合预设的追踪条件，那么可以确定当前边界检测框属于目标交通信号对象，可以将当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中；如果判断结果表明不符合预设的追踪条件，那么可以确定当前边界检测框不属于目标交通信号对象。
预测边界检测框是一种虚拟的边界检测框，本实施例涉及的当前边界检测框并不直接与历史边界检测框进行比对，也即不涉及前后帧的实际边界检测框的比对，可以有效克服前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况，并且能够有效提高交通信号对象的追踪结果的准确性。
本实施例通过上述方案，具体通过获取目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。本实施例中，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
进一步地，参照图3，本申请对象追踪方法第二实施例提供一种流程示意图，基于上述图2所示的实施例，步骤S10，获取目标交通信号对象在目标画面中的预测边界检测框进一步细化，包括：
步骤S101，获取所述目标交通信号对象在目标画面中的历史追踪信息。
具体地，本实施例涉及的预测边界检测框需要基于目标交通信号对象在目标画面中的历史追踪信息构建，因此，需要获取目标交通信号对象在目标画面中的历史追踪信息。其中，历史追踪信息包括目标交通信号对象在历史帧(即当前帧之前的任意帧)中的历史边界检测框、历史边界检测框对应的检测时刻等信息。
步骤S102，基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
具体地，在得到目标交通信号对象在目标画面中的历史追踪信息之后，可以结合目标车辆/目标相机的运动信息计算出目标交通信号对象在目标画面中的预测边界检测框。
可以理解的是，预测边界检测框是指目标交通信号对象在目标车辆/目标相机在运动信息对应的运动状态下，预测出来的位于当前帧的边界检测框，可用于表示目标交通信号对象在目标画面中的应然状态。另外，目标画面的当前帧也存在若干个交通信号对象对应的边界检测框，即当前边界检测框，当前边界检测框可用于表示交通信号对象在目标画面中的实然状态。
本实施例通过上述方案，具体通过获取所述目标交通信号对象在目标画面中的历史追踪信息；基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。本实施例中，利用目标交通信号对象在目标画面中的历史追踪信息可以得到准确的预测边界检测框，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
进一步地，参照图4，本申请对象追踪方法第三实施例提供一种流程示意图，基于上述图3所示的实施例，步骤S101，获取所述目标交通信号对象在目标画面中的历史追踪信息进一步细化，包括：
步骤S1011，获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻。
具体地，为了准确计算出目标交通信号对象在目标画面中的预测边界检测框，需要知道目标车辆在过去一段时间的运动状态。首先，需要获取目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻，第一检测时刻也可以是历史帧的生成时刻。
步骤S102，基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框进一步细化，包括：
步骤S1021，根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息，计算得到所述相机的相对运动信息。
具体地，确定当前边界检测框对应的第二检测时刻，第一检测时刻也可以是当前帧的生成时刻，当前帧是指最新的一帧。根据第一检测时刻和第二检测时刻调取目标画面对应的相机(即目标相机)的位置信息，也即分别得到目标相机的第一位置信息和第二位置信息。然后，根据第一位置信息和第二位置信息计算出目标相机在第一检测时刻和第二检测时刻之间的相对运动信息，相对运动信息可以表示一段位移。
步骤S1022，根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息，计算得到所述目标交通信号对象的深度信息。
具体地，预设规格参数用于表示目标交通信号对象实际的规格，交通信号对象实际的规格一般由道路法律法规、国家标准、地方标准、行业标准等进行限定。因此，可以从记载道路法律法规、国家标准、地方标准、行业标准的相关文件之中提取得到目标交通信号对象的预设规格参数。例如，可以从相关文件提取红绿灯的高度或者宽度等参数。
在得到目标相机的相对运动信息之后，可以根据目标交通信号对象的预设规格参数和目标相机的相对运动信息恢复出目标交通信号对象的深度信息。深度信息可以是目标相机视觉中的目标交通信号对象的深度值。
步骤S1023，根据所述目标交通信号对象的深度信息，计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
具体地，在得到目标交通信号对象的深度信息之后，可以根据目标交通信号对象的深度信息计算得到目标交通信号对象在目标画面中的预测位置，并基于目标交通信号对象在目标画面中的预测位置还原出预测边界检测框。
本实施例通过上述方案，具体通过获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻；根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息，计算得到所述相机的相对运动信息；根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息，计算得到所述目标交通信号对象的深度信息；根据所述目标交通信号对象的深度信息，计算得到所述目标交通信号对象在目标画面中的预测边界检测框。本实施例中，基于第一检测时刻和第二检测时刻计算目标相机的相对运动信息，并根据目标相机的相对运动信息、目标交通信号对象的预设规格参数计算目标交通信号对象的深度信息，进而基于深度信息恢复出预测边界检测框，预测边界检测框能够有效反映目标交通信号对象在当前帧的预测位置，进而提高交通信号对象的追踪结果的准确性。
进一步地，参照图5，本申请对象追踪方法第四实施例提供一种流程示意图，基于上述图2所示的实施例，步骤S20，基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪进一步细化，包括：
步骤S201，基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件。
具体地，目标画面的当前帧存在若干个交通信号对象对应的边界检测框，即当前边界检测框。目标画面中的当前边界检测框有可能属于目标交通信号对象，也有可能不属于目标交通信号对象。为了验证上述当前边界检测框的归属并对目标交通信号对象进行追踪，可以将预测边界检测框作为参照，基于预测边界检测框和当前边界检测框判断是否符合预设的至少一个追踪条件。例如，设置追踪条件A，基于预测边界检测框和当前边界检测框判断是否符合追踪条件A，得到对应的判断结果；或者，设置追踪条件B和追踪条件C，基于预测边界检测框和当前边界检测框判断是否同时符合追踪条件B和追踪条件C，得到对应的判断结果。
步骤S202，若是，则确定所述目标画面的当前边界检测框属于所述目标交通信号对象。
具体地，如果前述结果表明符合预设的至少一个追踪条件，那么可以确定目标画面的当前边界检测框属于目标交通信号对象，可以将当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中，对目标交通信号对象进行追踪。
步骤S203，若否，则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
具体地，如果前述结果表明不符合预设的至少一个追踪条件，那么可以确定目标画面的当前边界检测框不属于目标交通信号对象。
本实施例通过上述方案，具体通过基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件；若是，则确定所述目标画面的当前边界检测框属于所述目标交通信号对象；若否，则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。本实施例在得到当前边界检测框和预测边界检测框的条件下，通过至少一个追踪条件的判断，确定当前边界检测框是否属于目标交通信号对象。本实施例能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
进一步地，参照图6，本申请对象追踪方法第五实施例提供一种流程示意图，基于上述图5所示的实施例，步骤S201，基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件进一步细化，包括：
步骤S2011，对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算，得到交并比计算结果。
具体地，在获取到预测边界检测框之后，可以进一步基于目标画面的当前边界检测框和预测边界检测框进行交并比计算(IOU，Intersection over Union)，即计算当前边界检测框和预测边界检测框的交叠率，得到当前边界检测框和预测边界检测框的交集和并集的比值。最理想情况是当前边界检测框和预测边界检测框完全重叠，即比值为1。
步骤S2012，根据所述交并比计算结果判断是否满足预设的第一追踪条件，得到对应的第一判断结果。
具体地，可以基于预设的交并比阈值设置第一追踪条件。如果前述交并比计算过程得到的当前边界检测框和预测边界检测框的交并比值大于交并比阈值，那么可以认为满足预设的第一追踪条件；如果前述交并比计算过程得到的当前边界检测框和预测边界检测框的交并比值小于交并比阈值，那么可以认为不满足预设的第一追踪条件。
本实施例通过上述方案，具体通过对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算，得到交并比计算结果；根据所述交并比计算结果判断是否满足预设的第一追踪条件，得到对应的第一判断结果。本实施例采用交并比计算的方法，判断当前边界检测框和预测边界检测框的交并比是否满足预设的第一追踪条件，并根据判断结果确定当前边界检测框是否属于目标交通信号对象，能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
进一步地，参照图7，本申请对象追踪方法第六实施例提供一种流程示意图，基于上述图5所示的实施例，步骤S201，基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件进一步细化，包括：
步骤S2013，获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系，以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系。
具体地，预测边界检测框与目标交通信号对象在目标画面中的历史边界检测框会形成一定的夹角关系，即第一夹角关系；当前边界检测框与目标交通信号对象在目标画面中的历史边界检测框同样会形成一定的夹角关系，即第二夹角关系。本实施例通过角度信息的比较确定当前边界检测框是否属于目标交通信号对象，需要先获取第一夹角关系和第二夹角关系。
步骤S2014，根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件，得到对应的第二判断结果。
具体地，可以基于预设的角度差阈值设置第二追踪条件。在理想的情况下第一夹角关系和第二夹角关系是接近或者相等的，即当前边界检测框与预测边界检测框接近或者重叠。如果基于第一夹角关系和第二夹角关系计算得到的角度差小于角度差阈值，那么可以认为满足预设的第二追踪条件；如果基于第一夹角关系和第二夹角关系计算得到的角度差大于角度差阈值，那么可以认为不满足预设的第二追踪条件。
本实施例通过上述方案，具体通过获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系，以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系；根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件，得到对应的第二判断结果。本实施例利用了角度信息判断当前边界检测框是否属于目标交通信号对象，有效提高了交通信号对象的追踪结果的准确性。本实施例尤其可以克服障碍物遮挡的异常情况，提高了交通信号对象的追踪过程的鲁棒性。
进一步地，参照图8，本申请对象追踪方法第七实施例提供一种流程示意图，基于上述图2所示的实施例，步骤S20，基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪进一步细化，包括：
步骤S204，基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配，得到对应的匹配结果。
具体地，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。应用到本实施例中，基于预设的匈牙利算法对目标画面的至少一个当前边界检测框和预测边界检测框进行匹配，得到的匹配结果为最优当前边界检测框。可以理解的是，最优当前边界检测框是最接近预测边界检测框的边界检测框。
步骤S205，根据所述匹配结果对所述目标交通信号对象进行追踪。
具体地，可以确定最优当前边界检测框属于目标交通信号对象，可以将最优当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中，对目标交通信号对象进行追踪。
本实施例通过上述方案，具体通过基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配，得到对应的匹配结果；根据所述匹配结果对所述目标交通信号对象进行追踪。本实施例中，采用匈牙利算法可以匹配出最优当前边界检测框作为目标交通信号对象在当前帧的实际边界检测框，能够有效提高对目标交通信号对象的追踪过程的准确性和鲁棒性。
此外，本申请实施例还提出一种对象追踪装置，所述对象追踪装置包括：
获取模块，用于获取目标交通信号对象在目标画面中的预测边界检测框；
追踪模块，用于基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
本实施例实现对象追踪的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序，所述对象追踪程序被所述处理器执行时实现如上所述的对象追踪方法的步骤。
由于本对象追踪程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有对象追踪程序，所述对象追踪程序被处理器执行时实现如上所述的对象追踪方法的步骤。
由于本对象追踪程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本申请实施例提出的对象追踪方法、装置、终端设备及存储介质，通过获取目标交通信号对象在目标画面中的预测边界检测框；基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。基于本申请方案，通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置，基于目标画面的当前边界检测框和预测边界检测框，可以对目标交通信号对象进行追踪，并且能够适应追踪过程的多种异常情况，提高了对目标交通信号对象的追踪过程的鲁棒性。
需要说明的是，在本文中，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种对象追踪方法，其特征在于，所述对象追踪方法包括：
获取目标交通信号对象在目标画面中的预测边界检测框；
基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
2.如权利要求1所述的对象追踪方法，其特征在于，所述获取目标交通信号对象在目标画面中的预测边界检测框的步骤包括：
获取所述目标交通信号对象在目标画面中的历史追踪信息；
基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
3.如权利要求2所述的对象追踪方法，其特征在于，所述获取所述目标交通信号对象在目标画面中的历史追踪信息的步骤包括：
获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻；
所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括：
根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息，计算得到所述相机的相对运动信息；
根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息，计算得到所述目标交通信号对象的深度信息；
根据所述目标交通信号对象的深度信息，计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
4.如权利要求1所述的对象追踪方法，其特征在于，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪的步骤包括：
基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件；
若是，则确定所述目标画面的当前边界检测框属于所述目标交通信号对象；
若否，则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
5.如权利要求4所述的对象追踪方法，其特征在于，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件的步骤包括：
对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算，得到交并比计算结果；
根据所述交并比计算结果判断是否满足预设的第一追踪条件，得到对应的第一判断结果。
6.如权利要求4所述的对象追踪方法，其特征在于，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，判断是否符合预设的至少一个追踪条件的步骤包括：
获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系，以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系；
根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件，得到对应的第二判断结果。
7.如权利要求1所述的对象追踪方法，其特征在于，所述基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪的步骤包括：
基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配，得到对应的匹配结果；
根据所述匹配结果对所述目标交通信号对象进行追踪。
8.一种对象追踪装置，其特征在于，所述对象追踪装置包括：
获取模块，用于获取目标交通信号对象在目标画面中的预测边界检测框；
追踪模块，用于基于所述目标画面的当前边界检测框和所述预测边界检测框，对所述目标交通信号对象进行追踪。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序，所述对象追踪程序被所述处理器执行时实现如权利要求1-7中任一项所述的对象追踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有对象追踪程序，所述对象追踪程序被处理器执行时实现如权利要求1-7中任一项所述的对象追踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477945.1A CN116580051A (zh) | 2023-04-27 | 2023-04-27 | 对象追踪方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477945.1A CN116580051A (zh) | 2023-04-27 | 2023-04-27 | 对象追踪方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116580051A true CN116580051A (zh) | 2023-08-11 |
Family
ID=87544580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310477945.1A Pending CN116580051A (zh) | 2023-04-27 | 2023-04-27 | 对象追踪方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580051A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705478A (zh) * | 2019-09-30 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 人脸跟踪方法、装置、设备及存储介质 |
| CN114529883A (zh) * | 2022-02-17 | 2022-05-24 | 中国第一汽车股份有限公司 | 检测交通灯的方法和电子设备 |
| CN114782924A (zh) * | 2022-05-10 | 2022-07-22 | 智道网联科技(北京)有限公司 | 用于自动驾驶的交通灯检测方法、装置及电子设备 |
| CN115223107A (zh) * | 2021-04-20 | 2022-10-21 | 南京大学 | 一种贴合运动目标检测框的检测方法 |
-
2023
- 2023-04-27 CN CN202310477945.1A patent/CN116580051A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705478A (zh) * | 2019-09-30 | 2020-01-17 | 腾讯科技（深圳）有限公司 | 人脸跟踪方法、装置、设备及存储介质 |
| CN115223107A (zh) * | 2021-04-20 | 2022-10-21 | 南京大学 | 一种贴合运动目标检测框的检测方法 |
| CN114529883A (zh) * | 2022-02-17 | 2022-05-24 | 中国第一汽车股份有限公司 | 检测交通灯的方法和电子设备 |
| CN114782924A (zh) * | 2022-05-10 | 2022-07-22 | 智道网联科技(北京)有限公司 | 用于自动驾驶的交通灯检测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106991389B (zh) | 确定道路边沿的装置和方法 | |
| CN109829351B (zh) | 车道信息的检测方法、装置及计算机可读存储介质 | |
| CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
| US8175334B2 (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
| EP2400315A1 (en) | Travel distance detection device and travel distance detection method | |
| US20220373353A1 (en) | Map Updating Method and Apparatus, and Device | |
| CN109753841B (zh) | 车道线识别方法和装置 | |
| CN111937002A (zh) | 障碍物检测装置、利用了障碍物检测装置的自动制动装置、障碍物检测方法以及利用了障碍物检测方法的自动制动方法 | |
| CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
| CN107977654B (zh) | 一种道路区域检测方法、装置及终端 | |
| CN108197590B (zh) | 一种路面检测方法、装置、终端及存储介质 | |
| US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
| CN110341621B (zh) | 一种障碍物检测方法及装置 | |
| CN112528807B (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
| CN107458308B (zh) | 一种辅助驾驶方法及系统 | |
| GB2599939A (en) | Method of updating the existance probability of a track in fusion based on sensor perceived areas | |
| CN114475593A (zh) | 行驶轨迹预测方法、车辆及计算机可读存储介质 | |
| CN115223131A (zh) | 一种自适应巡航的跟随目标车辆检测方法、装置及汽车 | |
| CN112417976B (zh) | 一种路面检测识别方法、装置、智能终端及存储介质 | |
| US11508164B2 (en) | Method for determining a degree of overlap of an object with a lane | |
| CN116580051A (zh) | 对象追踪方法、装置、终端设备及存储介质 | |
| CN115123291B (zh) | 一种基于障碍物识别的行为预测方法及装置 | |
| EP3288260A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means | |
| CN108416305B (zh) | 连续型道路分割物的位姿估计方法、装置及终端 | |
| US20200026934A1 (en) | Image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |