CN116994179A - 一种目标跟踪方法、装置和电子设备 - Google Patents
一种目标跟踪方法、装置和电子设备 Download PDFInfo
- Publication number
- CN116994179A CN116994179A CN202310961249.8A CN202310961249A CN116994179A CN 116994179 A CN116994179 A CN 116994179A CN 202310961249 A CN202310961249 A CN 202310961249A CN 116994179 A CN116994179 A CN 116994179A
- Authority
- CN
- China
- Prior art keywords
- target
- current frame
- road side
- point
- tracking position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标跟踪方法、装置和电子设备。本申请的方法包括:获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。本申请的技术方案能够提高目标的整体跟踪精度。
Description
技术领域
本申请涉及智慧交通技术领域,尤其涉及一种目标跟踪方法、装置和电子设备。
背景技术
随着智慧交通行业及车联网技术的快速发展,对路侧感知系统的要求不断提高。路侧感知系统基于相机、激光雷达、毫米波雷达等传感器设备的观测数据,通过边缘计算模块的分析,获得实时交通信息,并将这些信息传达至周围的车辆,从而实现车路协同。而如何提高路侧感知系统的目标感知准确性与目标定位精度成为行业的重大挑战。
监控相机是目前路侧感知系统中所用的主流传感器之一,通过在路侧布设监控相机,完成对交通参与者的识别分类、定位跟踪等功能。如通过路侧相机采集路侧的图像数据,使用深度学习方法对图像数据进行检测获得目标的矩形检测框,通过将目标的矩形检测框的底边中心点映射到世界坐标系下,可以获得目标的位置点,如此通过对目标的位置点进行跟踪能够得到目标的运动轨迹、运动速度等跟踪信息,实现对交通参与者的监控。
研究发现,在现有技术的跟踪过程中,由于相机的标定误差、矩形检测框的抖动、遮挡或车辆的一部分驶出相机视野等因素,会导致目标的跟踪位置出现较大的偏差,影响目标的整体跟踪精度。
发明内容
针对现有技术中存在的上述问题,本申请实施例提供了一种目标跟踪方法、装置和电子设备,通过对卡尔曼滤波器输出的参考跟踪位置进行过滤控制,提高目标的整体跟踪精度。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种目标跟踪方法,所述方法包括:
获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
第二方面,本申请实施例还提供一种目标跟踪装置,所述装置包括:
图像处理单元,用于获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
坐标转换单元,用于根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
跟踪计算单元,用于通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
过滤控制单元,用于根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
第三方面,本申请实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行目标跟踪方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行目标跟踪方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
本申请实施例先根据相机采集的路侧图像获取感兴趣区域及感兴趣区域内的目标,接着根据相机的标定参数得到世界坐标系下目标对应的目标投影点,然后利用卡尔曼滤波器对目标投影点进行跟踪,获得目标投影点在当前帧的参考跟踪位置,并根据标定参数获得参考跟踪位置在当前帧路侧图像中的反投影像素点,最后根据反投影像素点与感兴趣区域的位置关系对目标投影点的参考跟踪位置进行过滤控制,进而可以根据过滤控制结果获得目标投影点在当前帧的最终跟踪位置。
可知,本申请实施例是将目标投影点的卡尔曼滤波器的输出作为该目标投影点的参考跟踪位置,根据感兴趣区域对参考跟踪位置进行过滤控制,如此可以过滤掉精度较低的参考跟踪位置,将精度较高的参考跟踪位置作为目标投影点的最终跟踪位置,提高目标在世界坐标系下的整体跟踪精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中示出的一种目标跟踪方法流程图;
图2为本申请实施例中示出的一种路侧图像示意图;
图3为图2中道路区域效果图;
图4为图2对应的路侧mask图像示意图;
图5为本申请实施例中示出的一种目标跟踪装置的结构示意图;
图6为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供的目标跟踪方法的执行主体可以是路侧设备(例如路侧相机或路侧计算设备)、路侧服务器或者云控平台;其中本申请实施例的可行驶区域检测方法的执行主体也可以是软件或硬件。
请参考图1,图1以执行主体为路侧设备为例,对本申请实施例提供的一种目标跟踪方法进行介绍。如图1所示,本申请实施例提供的一种目标跟踪方法可以包括以下步骤S110~步骤S140:
步骤S110,获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标,所述目标例如包括行人、车辆等交通参与者。
当路侧设备对交通参与者进行目标跟踪时,先通过相机采集路侧视频数据,路侧视频数据包括多帧路侧图像,本申请实施例以路侧设备对当前帧路侧图像进行目标检测与目标跟踪为例进行说明,对其他帧路侧图像的处理过程可以参考对当前帧路侧图像的处理过程。
与现有技术不同的是,本申请实施例在获得当前帧路侧图像时,除对当前帧路侧图像进行目标检测之外,还检测路侧图像中的感兴趣区域,本申请的感兴趣区域是指目标可行驶(或可行走)的区域,感兴趣区域与目标类型相关,例如对于车辆目标来说,其感兴趣区域例如包括车辆可行驶的道路区域(例如机动车道区域);而对于行人目标来说,其感兴趣区域例如包括行人可行走的道路区域(例如包括非机动车道、斑马线区域等)。
在实际的交通场景中,目标通常是处于其对应的感兴趣区域内的。基于此,本申请实施例在对目标进行跟踪时,是利用目标对应的感兴趣区域来校验卡尔曼滤波器输出的参考跟踪位置是否准确(或可靠),避免将不准确的参考跟踪位置作为目标的最终跟踪位置。
步骤S120,根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点。
相机的标定参数用于指示图像坐标系与世界坐标系之间的转换关系,一般情况下,相机的标定参数包括内部参数和外部参数,内部参数简称为内参K,包括焦距、像主点坐标和畸变参数;外部参数简称为外参Tcw,包括旋转矩阵和平移向量。其中基于内参K可以得到图像坐标系和相机坐标系之间的转换关系,基于外参Tcw可以得到相机坐标系和世界坐标系之间的转换关系。
本申请实施例可以获取相机的标定文件,标定文件中包括路侧图像上每个像素点对应的经纬度信息,通过标定文件获得目标特征点的像素坐标对应的目标投影点的经纬度信息,目标特征点可以理解为目标与地面接触的特征点,例如可以为目标的矩形检测框的底边中心点。
步骤S130,通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点。
本申请实施例为每个目标的目标投影点生成卡尔曼滤波器,利用卡尔曼滤波器对目标投影点进行跟踪,例如将目标投影点的位置信息输入到卡尔曼滤波器中,如此可以通过卡尔曼滤波器的输出获取目标投影点在当前帧的参考跟踪位置。在获得目标投影点对应的参考跟踪位置之后,可以根据相机的标定参数,将该目标投影点在当前帧的参考跟踪位置反投影至当前帧路侧图像,进而可以获得该目标投影点在当前帧路侧图像中的反投影像素点。
步骤S140,根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
如前所述,现有技术在世界坐标系下对目标进行跟踪时,是直接将卡尔曼滤波器的输出作为该目标的最终跟踪位置,当目标存在遮挡和/或目标的一部分驶出相机视野时,目标在经过检测、投影和滤波等一系列处理后,卡尔曼滤波器输出的跟踪位置与其实际位置可能存在较大偏差,例如跟踪位置已位于感兴趣区域之外,此时卡尔曼滤波器输出的跟踪位置无法反映该目标的实际位置,若将这样具有较大偏差的跟踪位置作为该目标的最终跟踪位置,可能会对下游应用服务产生不良影响。
与现有技术不同的是,本申请实施例是将卡尔曼滤波器的输出作为该目标投影点的参考跟踪位置,将该目标对应的感兴趣区域作为评判该参考跟踪位置精度的约束条件,如此可以过滤掉精度较差的参考跟踪位置,将精度较高的参考跟踪位置作为目标投影点的最终跟踪位置,提高目标在世界坐标系下的整体跟踪精度。
在本申请的一些实施例中,上述步骤S110获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,具体包括:
对所述当前帧路侧图像进行目标检测,得到目标检测结果,所述目标检测结果包括目标的矩形检测框;
对所述当前帧路侧图像进行感兴趣区域检测,得到每个感兴趣区域对应的路侧mask图像;
根据所述目标的矩形检测框的底边中心点确定所述目标对应的路侧mask图像,可以理解的是,在本申请的其他实施例中,也可以根据目标的矩形检测框的其他特征点确定目标对应的路侧mask图像。
在本实施例的一些可能实现方案中,感兴趣区域为目标可行驶的道路区域,此时可以通过预设道路检测模型对当前帧路侧图像进行道路区域检测,得到每个道路区域对应的路侧mask图像。
例如,从相机采集的历史路侧图像数据中获取训练图像,对训练图像中的道路区域进行标注;然后构建深度神经网络,利用训练图像及其标注训练深度神经网络,得到道路检测模型。利用道路检测侧模型对图2所示的路侧图像进行检测,得到如图3和图4所示的路侧mask图像,图3中黑色线条内的区域为道路区域,这里图4所示的路侧mask图像与图2所示的路侧图像的尺寸相同。
当然,本领域技术人员也可以采用其他方法构建道路检测模型,本实施例对此不予限定。
在本实施例的另外一些可能实现方案中,感兴趣区域还可以为可行驶的车道区域,此时可以通过预设车道线检测模型对所述当前帧路侧图像进行车道线检测,得到具有相同行驶方向的车道对应的路侧mask图像,假设当前道路为具有四车道的双向车道,那么此时可以获得两个路侧mask图像,其中一个路侧mask图像对应为来向车道,另一个路侧mask图像对应为去向车道。
需要说明的是,车辆在实际行驶过程中存在变道的情况,因此本申请实施例在确定感兴趣区域时,是以车道方向进行划分,而不是以单个车道进行划分。
通过本实施例的方法对当前帧路侧图像进行检测,可能获得多个路侧mask图像,例如若当前帧路侧图像包括多条可行驶道路,则每个可行驶道路分别对应一个路侧mask图像。此时,可以通过下述步骤确定目标对应的路侧mask图像:
获取所述目标的矩形检测框的底边中心点在每个路侧mask图像中的像素值;
若第一路侧mask图像中所述目标的矩形检测框的底边中心点的像素值为预设像素值,则确定所述目标处于所述第一路侧mask图像对应的感兴趣区域内。
依上述假设,路侧图像中包括3条可行驶道路,其中第一道路、第二道路和第三道路对应的路侧mask图像分别为路侧mask图像Image1、Image2、Image3,在这三个路侧mask图像中,像素值为255的区域为可行驶道路区域,其他区域为背景区域,三个路侧mask图像中的可行驶道路区域不存在重叠区域。此时,在该三个路侧mask图像中,分别获取每个目标的矩形检测框的底边中心点的像素坐标对应的像素值,若该目标行驶在第一道路内,则Image1中的像素值为255,Image2和Image3中的像素值都为0,由此可以确定该目标对应的路侧mask图像为Image1。
此外,在所述目标检测结果还可以包括目标尺寸、目标航向角、目标类型等信息,相应的,在本申请的一些实施例中,图1中的方法还包括:
获取所述目标的航向角和目标类型,根据所述目标的航向角和目标类型确定所述目标投影点的位置补偿信息。
以图2中的车辆为例,车辆在行驶过程中,以相机位置为基准,车辆的航向角时刻发生变化,因此,车辆的矩形检测框的底边中心点的位置也会随着航向角发生变化。由此在本申请的一些实施例中,还可以根据目标的航向角和目标尺寸计算出位置补偿信息。
其中,本实施例可以采用多目标追踪算法对目标的矩形检测框进行跟踪,得到矩形检测框的速度,基于速度可以计算出矩形检测框的航向角。根据目标类型确定出目标的物理尺寸,根据目标的航向角和目标的物理尺寸即可计算出位置补偿信息,具体的计算过程,本领域技术人员可以参考相关的现有技术,本申请实施例再次不予详细描述。
相应的,上述步骤S130中通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点,具体包括:
利用所述目标投影点的位置补偿信息对所述目标投影点在当前帧的参考跟踪位置进行位置补偿,获得所述目标投影点在当前帧的补偿跟踪位置;
根据所述标定参数获取所述目标投影点在当前帧的补偿跟踪位置在所述当前帧路侧图像中的反投影像素点。
如此,本实施例先对目标投影点进行跟踪,再对参考跟踪位置进行位置补偿,能够有效避免航向角对参考跟踪精度的影响,如此可以获得具有更高精度的参考跟踪位置,进而可以使得后续步骤获得的反投影像素点与感兴趣区域的位置关系更加准确。
在本申请的一些实施例中,上述步骤S140中根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,具体包括:
确定所述反投影像素点是否位于所述感兴趣区域内;
若所述反投影像素点位于所述感兴趣区域之外,则对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第一过滤控制结果;
否则,则不对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第二过滤控制结果。
本实施例可以判断反投影像素点在其路侧mask图像中的像素值,若像素值为255,则确定反投影像素点位于感兴趣区域内,否则,若像素值为0,则确定反投影像素点位于感兴趣区域之外。
在获得过滤控制结果之后,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置,具体包括:
若所述过滤控制结果为所述第一过滤控制结果,可以确定卡尔曼滤波器输出的参考跟踪位置的精度较低,此时则不输出所述目标投影点在当前帧的最终跟踪位置,例如将目标投影点在当前帧的参考跟踪位置标记为“无效”或“不可靠”;
若所述过滤控制结果为所述第二过滤控制结果,则将所述目标投影点在当前帧的参考跟踪位置作为所述目标投影点在当前帧的最终跟踪位置。
在一些应用场景中,当所述过滤控制结果为所述第一过滤控制结果时,所述方法还包括:
获取所述目标投影点连续N帧对应的过滤控制结果,N为大于1的自然数,其中“连续N帧”包括当前帧以及当前帧之前的连续N-1帧,N可以根据需求进行设置,例如设置为N=10或其他数值;
若所述目标投影点连续N帧对应的过滤控制结果均为所述第一过滤控制结果,说明该目标投影点已在一段时间内无法获得精度较高的跟踪位置,此时则可以删除所述目标投影点的卡尔曼滤波器。
本申请实施例还提供了一种目标跟踪装置500,如图5所示,提供了本申请实施例中一种目标跟踪装置的结构示意图,所述装置500应用于路侧设备,包括:图像处理单元510、坐标转换单元520、跟踪计算单元530和过滤控制单元540,其中:
图像处理单元510,用于获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
坐标转换单元520,用于根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
跟踪计算单元530,用于通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
过滤控制单元540,用于根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
在本申请的一个实施例中,过滤控制单元540,具体用于确定所述反投影像素点是否位于所述感兴趣区域内;若所述反投影像素点位于所述感兴趣区域之外,则对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第一过滤控制结果;否则,则不对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第二过滤控制结果。
在本申请的一个实施例中,过滤控制单元540,具体用于若所述过滤控制结果为所述第一过滤控制结果,则不输出所述目标投影点在当前帧的最终跟踪位置;若所述过滤控制结果为所述第二过滤控制结果,则将所述目标投影点在当前帧的参考跟踪位置作为所述目标投影点在当前帧的最终跟踪位置。
在本申请的一个实施例中,过滤控制单元540,具体用于当所述过滤控制结果为所述第一过滤控制结果时,获取所述目标投影点连续N帧对应的过滤控制结果,N为大于1的自然数;若所述目标投影点连续N帧对应的过滤控制结果均为所述第一过滤控制结果,则删除所述目标投影点的卡尔曼滤波器。
在本申请的一个实施例中,图像处理单元510,具体用于对所述当前帧路侧图像进行目标检测,得到目标检测结果,所述目标检测结果包括目标的矩形检测框;对所述当前帧路侧图像进行感兴趣区域检测,得到每个感兴趣区域对应的路侧mask图像;根据所述目标的矩形检测框的底边中心点确定所述目标对应的路侧mask图像。
在本申请的一个实施例中,所述路侧mask图像与所述路侧图像的尺寸相同,图像处理单元510,具体用于获取所述目标的矩形检测框的底边中心点在每个路侧mask图像中的像素值;若第一路侧mask图像中所述目标的矩形检测框的底边中心点的像素值为预设像素值,则确定所述目标处于所述第一路侧mask图像对应的感兴趣区域内。
在本申请的一个实施例中,图像处理单元510,还用于获取所述目标的航向角和目标类型;根据所述目标的航向角和目标类型确定所述目标投影点的位置补偿信息。
在本申请的一个实施例中,跟踪计算单元530,具体用于利用所述目标投影点的位置补偿信息对所述目标投影点在当前帧的参考跟踪位置进行位置补偿,获得所述目标投影点在当前帧的补偿跟踪位置;根据所述标定参数获取所述目标投影点在当前帧的补偿跟踪位置在所述当前帧路侧图像中的反投影像素点。
能够理解,上述目标跟踪装置,能够实现前述实施例中提供的目标跟踪方法的各个步骤,关于目标跟踪方法的相关阐释均适用于目标跟踪装置,此处不再赘述。
图6是本申请的一个实施例电子设备的结构示意图。请参考图6,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成目标跟踪装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
上述如本申请图1所示实施例揭示的目标跟踪装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述目标跟踪方法的步骤。
该电子设备还可执行图1中目标跟踪装置执行的方法,并实现目标跟踪装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中目标跟踪装置执行的方法,并具体用于执行以下操作:
获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
2.如权利要求1所述的目标跟踪方法,其特征在于,所述根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,包括:
确定所述反投影像素点是否位于所述感兴趣区域内;
若所述反投影像素点位于所述感兴趣区域之外,则对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第一过滤控制结果;
否则,则不对所述目标投影点在当前帧的参考跟踪位置进行过滤,获得第二过滤控制结果。
3.如权利要求2所述的目标跟踪方法,其特征在于,所述根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置,包括:
若所述过滤控制结果为所述第一过滤控制结果,则不输出所述目标投影点在当前帧的最终跟踪位置;
若所述过滤控制结果为所述第二过滤控制结果,则将所述目标投影点在当前帧的参考跟踪位置作为所述目标投影点在当前帧的最终跟踪位置。
4.如权利要求3所述的目标跟踪方法,其特征在于,当所述过滤控制结果为所述第一过滤控制结果时,所述方法还包括:
获取所述目标投影点连续N帧对应的过滤控制结果,N为大于1的自然数;
若所述目标投影点连续N帧对应的过滤控制结果均为所述第一过滤控制结果,则删除所述目标投影点的卡尔曼滤波器。
5.如权利要求1所述的目标跟踪方法,其特征在于,所述获取相机采集的当前帧路侧图像以及所述当前帧路侧图像的检测信息,包括:
对所述当前帧路侧图像进行目标检测,得到目标检测结果,所述目标检测结果包括目标的矩形检测框;
对所述当前帧路侧图像进行感兴趣区域检测,得到每个感兴趣区域对应的路侧mask图像;
根据所述目标的矩形检测框的底边中心点确定所述目标对应的路侧mask图像。
6.如权利要求5所述的目标跟踪方法,其特征在于,所述路侧mask图像与所述当前帧路侧图像的尺寸相同,所述根据所述目标的矩形检测框的底边中心点确定所述目标对应的路侧mask图像,包括:
获取所述目标的矩形检测框的底边中心点在每个路侧mask图像中的像素值;
若第一路侧mask图像中所述目标的矩形检测框的底边中心点的像素值为预设像素值,则确定所述目标处于所述第一路侧mask图像对应的感兴趣区域内。
7.如权利要求1所述的目标跟踪方法,其特征在于,所述方法还包括:
获取所述目标的航向角和目标类型;
根据所述目标的航向角和目标类型确定所述目标投影点的位置补偿信息。
8.如权利要求7所述的目标跟踪方法,其特征在于,所述通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点,包括:
利用所述目标投影点的位置补偿信息对所述目标投影点在当前帧的参考跟踪位置进行位置补偿,获得所述目标投影点在当前帧的补偿跟踪位置;
根据所述标定参数获取所述目标投影点在当前帧的补偿跟踪位置在所述当前帧路侧图像中的反投影像素点。
9.一种目标跟踪装置,其特征在于,所述装置包括:
图像处理单元,用于获取相机采集的当前帧路侧图像以及所述当前帧路侧图像对应的检测信息,所述检测信息包括感兴趣区域以及所述感兴趣区域内的目标;
坐标转换单元,用于根据所述相机的标定参数获取所述目标在世界坐标系下的目标投影点;
跟踪计算单元,用于通过卡尔曼滤波器获取所述目标投影点在当前帧的参考跟踪位置,并根据所述标定参数获取所述参考跟踪位置在当前帧路侧图像中的反投影像素点;
过滤控制单元,用于根据所述反投影像素点与所述感兴趣区域的位置关系,对所述目标投影点在当前帧的参考跟踪位置进行过滤控制,根据过滤控制结果获得所述目标投影点在当前帧的最终跟踪位置。
10.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1~8任一项所述的目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310961249.8A CN116994179A (zh) | 2023-08-01 | 2023-08-01 | 一种目标跟踪方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310961249.8A CN116994179A (zh) | 2023-08-01 | 2023-08-01 | 一种目标跟踪方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116994179A true CN116994179A (zh) | 2023-11-03 |
Family
ID=88520959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310961249.8A Pending CN116994179A (zh) | 2023-08-01 | 2023-08-01 | 一种目标跟踪方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116994179A (zh) |
-
2023
- 2023-08-01 CN CN202310961249.8A patent/CN116994179A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
CN111178215A (zh) | 一种传感器数据融合处理的方法和装置 | |
CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN115143952A (zh) | 基于视觉辅助的自动驾驶车辆定位方法、装置 | |
CN114973198A (zh) | 目标车辆的航向角预测方法、装置及电子设备、存储介质 | |
CN111323038B (zh) | 隧道内无人驾驶车辆的定位方法、系统和电子设备 | |
CN114279453A (zh) | 基于车路协同的自动驾驶车辆定位方法、装置及电子设备 | |
CN114754778A (zh) | 一种车辆定位方法以及装置、电子设备、存储介质 | |
CN114754761A (zh) | 高精地图车道线的优化方法、装置及电子设备、存储介质 | |
CN115950441B (zh) | 自动驾驶车辆的融合定位方法、装置及电子设备 | |
CN116990776A (zh) | 激光雷达点云补偿方法、装置及电子设备、存储介质 | |
CN116164763A (zh) | 目标航向角确定方法、装置及电子设备、存储介质 | |
CN115031755A (zh) | 自动驾驶车辆定位方法、装置及电子设备、存储介质 | |
CN116994179A (zh) | 一种目标跟踪方法、装置和电子设备 | |
CN115546130A (zh) | 用于数字孪生的身高测量方法、装置及电子设备 | |
CN114755663A (zh) | 车辆传感器的外参校准方法、装置及计算机可读存储介质 | |
CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 | |
CN116228820B (zh) | 一种障碍物检测方法、装置和电子设备、存储介质 | |
CN116625384B (zh) | 一种数据关联方法、装置及电子设备 | |
CN116597376A (zh) | 路侧设备感知范围确定方法、装置及路侧设备 | |
CN115731523A (zh) | 车辆定位方法及装置、电子设备、存储介质 | |
CN114842452A (zh) | 用于自动驾驶的交通信号灯识别方法、装置及设备 | |
CN114723819A (zh) | 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质 | |
CN117037094A (zh) | 车道划分方法、装置、电子设备 | |
CN116168087A (zh) | 路侧相机标定结果的验证方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |