CN112183528A - 目标车辆跟踪的方法及其装置、系统和计算机存储介质 - Google Patents

Abstract

本发明公开了一种目标车辆跟踪的方法、装置、系统和计算机存储介质，以提升目标车辆车身的识别精度。目标车辆跟踪的方法包括对路段上的视频或图片集合进行解析获得若干第一车牌图像以及第一车身图像；并根据第一车牌图像获得车牌号；将车牌号与预设的跟踪车牌号进行匹配，以获得第二车牌图像以及第一目标图片；并将第二车牌图像与第一目标图片中所有第一车身图像进行重叠率处理以及方位夹角处理，从而获取第三车身图像；并根据第三车身图像以及第一目标图片进行跟踪。目标车辆跟踪的装置、系统和计算机存储介质应用上述方法。

Description

目标车辆跟踪的方法及其装置、系统和计算机存储介质

技术领域

本发明涉及图像识别领域，特别是涉及一种目标车辆跟踪的方法及其装置、系统和计算机存储介质。

背景技术

随着国民生活的提高，汽车数目有所上升，给人们带来方便的同时，也频繁引发交通事故并发生肇事逃逸的情况。虽然现有城市大多数路段都配备了电子眼，可以根据电子眼采集的视频进行解析，根据车牌号信息判断出是否有目标车辆，同时获取目标车辆的图像信息从而可以检测目标车辆的情况。但是在车流量较大时，存在多个车身重叠的情况，导致目标车辆车身图像识别错误，从而无法进行有效的跟踪。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，第一方面，本发明提供目标车辆跟踪的方法，可以提升目标车辆的车身识别的精度；第二方面，本发明提供一种目标车辆跟踪的装置；第三方面，本发明提供一种目标车辆跟踪的系统；第四方面，本发明提供一种计算机存储介质。

根据本发明第一方面的一些实施例，所述目标车辆跟踪的方法包括如下步骤：

获取路段上的视频或图片集合，并从所述视频或所述图片集合获取待检测的每一张图片；

对所述待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合；

对所述待检测的每一张图片中的所述第一车牌图像集合中各元素进行图像识别，获得车牌号集合；

将所述车牌号集合中各元素分别与预设的跟踪车牌号进行匹配，以从所述第一车身图像集合中获得与所述跟踪车牌号对应的第二车牌图像，其中，所述第二车牌图像所在的图片为第一目标图片；

将所述第二车牌图像分别与所述第一目标图片中第一车身图像集合中各元素进行重叠率处理，并从所述第一车身图像集合获得若干待匹配的第二车身图像；

分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像；

根据所述第三车身图像以及所述第一目标图片对目标车辆进行跟踪。

根据本发明的上述实施例，至少具有如下有益效果：根据车牌必然被车牌对应的车辆的图像覆盖，且车辆与车牌的位置存在确定关系的原则；通过重叠率计算获得的第二车身图像。并根据方位夹角的值，获取第三车身图像，从而可以在车流量大的情况下，更加精确的获取目标车辆的车身图像，从而提升目标车辆车身的识别的精度，从而进行有效的跟踪。

根据本发明第一方面的一些实施例，所述分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像，包括如下步骤：

分别获取所述第二车牌图像的第二中心坐标以及获取所有第二车身图像的第一中心坐标；

获取第三坐标，所述第三坐标为所述第一中心坐标的y坐标延长线与所述第二中心坐标的x坐标延长线的交点，所述第三坐标与所述第一中心坐标一一对应；

分别获取所述第三坐标和所述第一中心坐标的第一连线以及所述第二中心坐标和所述第一中心坐标的第二连线；并将所述第一连线与所述第二连线的夹角设置为方位夹角，所述方位夹角与所述第一中心坐标一一对应；

获取所有方位夹角中值最小的最小方位夹角，并根据所述最小方位夹角获取第三车身图像，所述第三车身图像为所述最小方位夹角对应的第二车身图像。

由于目标车辆对应的第二车身图像的第一中心坐标相对于其他车辆的第二车身图像的第一中心坐标更加接近第二中心坐标。因此，通过将若干个第二车身图像与第二车牌图像的方位夹角进行比较，获得最小方位夹角，可以获得若干第二车身图像中与第二车牌图像最匹配的第三车身图像。

根据本发明第一方面的一些实施例，所述对所述待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合，包括如下步骤：

提取所述待检测的每一张图片的第一车牌图像；

提取所述待检测的每一张图片的第一车身图像。

通过对车牌号进行单独识别，可以提升目标车辆识别的精度。

根据本发明第一方面的一些实施例，所述目标车辆跟踪的方法还包括如下步骤：

获取当前时刻的第二目标图片；

将前一时刻的第三车身图像以及所述第二目标图片基于卡尔曼滤波算法进行处理，以获得当前时刻的所述目标车辆的车身图像的预测图像；

根据匈牙利算法对所述第二目标图片的预测图像进行匹配处理，以获得当前时刻的所述目标车辆的第三车身图像；

根据所述第三车身图像以及所述第二目标图片对所述目标车辆进行跟踪。

因此，可以在第一次获得第三车身图像后，根据上述步骤依次获取当前时刻的第三车身图像位置的预测值，从而快速锁定第三车身图像在第二目标图片在预测图像附近，并在第二图片中对预测图像及其周围区域进行匹配处理，以得到最接近目标车辆的第三车身图像的信息，从而可以减少对视频或图片集合的处理的计数量；从而提升跟踪的效率。

根据本发明第一方面的一些实施例，所述根据所述第三车身图像以及所述第二目标图片对目标车辆进行跟踪，包括如下步骤：获取所述第三车身图像的中心坐标向第三目标图片的中心坐标移动的移动轨迹，所述第三目标图片为与所述第三车身图像所在的图片。通过移动轨迹将目标车辆始终锁定在第三目标图片的中心区域附近，可以更好的跟踪目标车辆。

根据本发明第一方面的一些实施例，所述根据所述第三车身图像以及所述第二目标图片对目标车辆进行跟踪，还包括如下步骤：根据所述第三车身图像的中心坐标与所述第三目标图片的大小，获取移动的加速度。通过设置移动的加速度，使得目标车辆在加速或减速时，依然可以通过加速度调整移动轨迹，从而使得目标车辆始终在跟踪范围内。

根据本发明第一方面的一些实施例，所述根据所述第三车身图像的中心坐标与所述第三目标图片的大小，获取移动的加速度，包括如下步骤：

获取所述第三车身图像的中心坐标到所述第三目标图片的中心坐标的第一距离；

获取第二距离，其中所述第二距离为所述第三目标图片的对角线长度的一半；

根据所述第一距离以及所述第二距离获得加速度阈值，并将所述加速度阈值与预设的加速值进行匹配，获得实际加速度。

通过加速度阈值与预设的加速度值进行匹配，可以保证目标车辆始终在第三目标图片的中心区域。

根据本发明第二方面的一些实施例，所述目标车辆跟踪的装置包括：

数据采集模块，所述数据采集模块处理采集的视频数据或图片集合；存储模块，所述存储模块存储所述视频数据或所述图片集合；车牌检测模块，所述车牌检测模块获取所述视频数据或所述图片集合；并根据所述视频数据或所述图片集合输出车牌匹配结果；车辆监测模块，所述车辆监测模块根据所述匹配结果以及所述视频数据或所述图片集合输出第三车身图像以及目标图片，并对目标车辆进行跟踪。

由于本发明实施例的一种目标车辆跟踪的装置的封装体内的各模块执行如本发明第一方面中任一项所述的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

根据本发明第三方面的一些实施例，所述目标车辆跟踪的系统，包括：

数据采集装置，所述数据采集装置用于获取路段上的视频或图像数据；飞行机体以及设置在所述飞行机体上的目标车辆跟踪装置，所述目标车辆跟踪装置包括控制模块、处理模块，所述控制模块控制所述飞行机体移动；所述处理模块执行如第一方面实施例的任一所述的目标车辆跟踪方法，以获取移动轨迹；所述飞行机体根据所述移动轨迹进行目标车辆跟踪；远程监控中心，所述远程监控中心接收所述车辆检测结果以及目标车辆的视频或图片；所述远程监控中心发送指令给所述目标车辆跟踪装置。

由于本发明实施例的一种目标车辆跟踪的系统执行如本发明第一方面中任一项所述的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

根据本发明第四方面的一些实施例，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一所述的目标车辆跟踪的方法。

由于本发明实施例的计算机存储介质执行如本发明第一方面中任一项所述的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的目标车辆跟踪的方法的步骤图；

图2为本发明实施例的目标车辆跟踪的方法的跟踪步骤图；

图3为本发明实施例的目标车辆跟踪的方法的方位夹角的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

需说明的是，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上；实现了图像处理和计算机视觉方面的很多通用算法；且广泛应用于图像分割、人脸识别、汽车安全驾驶等领域。yolov4-tiny模型主要用于目标跟踪。

下面参考图1至图3描述根据本发明实施例的目标车辆跟踪的方法、装置、系统及计算机存储介质。

根据本发明第一方面的一些实施例，如图1所示，目标车辆跟踪的方法包括如下步骤：

步骤S100、获取路段上的视频或图片集合，并从视频或图片集合获取待检测的每一张图片。

应理解的是，视频数据可以解析成不同时刻点的图片集合。在一些实施例中，视频或图片集合的获取来源于马路上监控设备，如电子眼，此时，采集的数据为图片集合或视频数据。在另一些实施例中，视频或图片集合的获取来源于飞行装置如无人机上的摄像头等数据。在一些实施例中，通过opencv将视频解析成若干图片。

步骤S200、对待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合。

应理解的是，在一些实施例中，将待检测的每一张图片输送给已训练好的yolov4-tiny模型，可以识别出第一车牌图像和第一车身图像。需说明的是，在第一车牌图像、第一车身图像为矩形区域，车牌或者车辆的轮廓被框选在矩形区域内。应理解的是，由于车牌和车辆的尺寸基本为标准尺寸，因此在yolov4-tiny模型进行识别时，可以设置矩形区域的阈值，从而判断出识别的区域为第一车牌图像或第一车身图像。由于yolov4-tiny模型和opencv为现有技术，因此不一一详述。

步骤S300、对待检测的每一张图片中的第一车牌图像集合中各元素进行图像识别，获得车牌号集合。

在一些实施例中，图像识别包括如下步骤：

将第一车牌图像进行车牌与背景分割，从而生成黑白图。

将黑白图中的字符进行提取，并与标准字符进行匹配，从而获得车牌号。

步骤S400、将车牌号集合中各元素分别与预设的跟踪车牌号进行匹配，以从第一车身图像集合中获得与跟踪车牌号对应的第二车牌图像，其中，第二车牌图像所在的图片为第一目标图片。

应理解的是，在另一些实施例中，可以直接提取第一车牌图像的字符信息，并与跟踪车牌号进行匹配。

步骤S500、将第二车牌图像分别与第一目标图片中第一车身图像集合中各元素进行重叠率处理，并从第一车身图像集合获得若干待匹配的第二车身图像。

应理解的是，根据S200进行图像识别，可以获取第二车身图像、第二车牌图像在第一目标图片中的坐标集合或者中心坐标以及区域的长和宽。因此可以根据坐标计算获得重叠率。

需说明的是，重叠率为第一车身图像与第二车牌图像的交集面积与并集面积的比值。

在一些实施例中，通过opencv方式获取第二车牌图像以及第一车身图像时，可以获得第二车牌图像以及第一车身图像的中心坐标以及区域的长和宽。假设第二车牌图像的中心坐标为(x,y)，第二车牌图像的长和宽分别为h,w。第二车牌图像四个顶点在x方向的值分别为x₁，x₂；y方向的值分别为y₁，y₂；第一车身图像的中心坐标为(x',y')，第一车身图像的长和宽分别为h',w'；第一车身图像四个顶点在x方向的值分别为x₁'，x₂'；y方向的值分别为y₁'，y₂'，则x₁，x₂,y₁'，y₂'表示如下：

x₁＝x-w/2，x₂＝x+w/2

y₁＝y-h/2，y₂＝y+h/2

x₁'＝x'-w'/2，x₂'＝x'+w'/2

y₁'＝y'-h'/2，y₂'＝y'+h'/2

此时，第一车身图像与第二车牌图像的交集区域为x_A＝max(x₁,x₁'),x_B＝min(x₂,x₂'),y_A＝max(y₁,y₁'),y_b＝min(y₂,y₂')所形成的区域。

此时交集面积interArea以及union_area分别如下：

interArea＝(x_B-x_A)*(y_B-y_A)

union_area＝(x₂-x₁)*(y₂-y₁)+(x₂'-x₁')*(y₂'-y₁')-interArea

因此，重叠率IOU＝interArea/union_area。

步骤S600、分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像。

需说明的是，方位夹角表示第二车身图像与第二车牌图像的位置关系。

需说明的是，当车流量较大时，会存在第二车牌图像被多个第二车身图像覆盖的情况。而目标车辆和目标车牌的位置关系与其他车辆与目标车牌的位置关系具有规律性；因此可以根据方位夹角的大小获得与目标车辆区域最为匹配的第三车辆区域。

步骤S700、根据第三车身图像以及第一目标图片对目标车辆进行跟踪。

因此，根据车牌必然被车牌对应的车辆的图像覆盖，且车辆与车牌的位置存在确定关系的原则；通过重叠率计算获得的第二车身图像。并根据方位夹角的值，获取第三车身图像，从而可以在车流量大的情况下，更加精确的获取目标车辆的车身图像，从而提升目标车辆车身的识别的精度，从而进行有效的跟踪。

在本发明第一方面的一些实施例中，S600、分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像，包括如下步骤：

步骤S610、获取第二车牌图像的第二中心坐标以及获取所有第二车身图像的第一中心坐标。

应理解的是，第一中心坐标和第二中心坐标可以通过对第一目标图片建立二位坐标系获取。假设第二中心坐标为(x_j,y_j)；第一中心坐标为(x_n,y_n)。其中n表示为第二车身图像的索引。

步骤S620、获取第三坐标，第三坐标为第一中心坐标的y坐标延长线与第二中心坐标的x坐标延长线的交点，第三坐标与第一中心坐标一一对应。

步骤S630、分别获取第三坐标和第一中心坐标的第一连线以及第二中心坐标和第一中心坐标的第二连线；并将第一连线与第二连线的夹角设置为方位夹角，方位夹角与第一中心坐标一一对应。

应理解的是，根据常识可知，车身的中心点必然高于车牌的中心点。因此第一中心坐标必然在第二中心坐标的y轴方向。因此，y坐标值小于第二中心坐标的第一中心坐标对应的第二车身图像不满足条件。而第一中心坐标、第二中心坐标、第三坐标的值均可确定，因此，可以获得若干个与第二车身图像匹配的方向夹角：

步骤S640、获取所有方位夹角中值最小的最小方位夹角，并根据最小方位夹角获取第三车身图像，第三车身图像为最小方位夹角对应的第二车身图像。

应理解的是，当方位夹角越小时，所获取的第二车身图像为与目标车身图像最为接近。

此时，第三车身图像与第二车牌图像的方向夹角为min(β₁,β₂,β₃.......β_n)。此时，第三车身图像为min(β₁,β₂,β₃.......β_n)对应的第二车身图像。

由于目标车辆对应的第二车身图像的第一中心坐标相对于其他车辆的第二车身图像的第一中心坐标更加接近第二中心坐标。因此，通过将若干个第二车身图像与第二车牌图像的方位夹角进行比较，获得最小方位夹角，可以获得若干第二车身图像中与第二车牌图像最匹配的第三车身图像。

在本发明第一方面的一些实施例中，步骤S100对待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合，包括如下步骤：

提取待检测的每一张图片的第一车牌图像。

提取待检测的每一张图片的第一车身图像。

通过单独提取车牌和车辆的图像信息，可以提升对目标车辆识别的精度。

应理解的是，当在第一车身图像内提取第一车牌图像，需要保证在进行第一车身图像提取时，能够包括第一车牌图像。而一些现有的技术中，如yolov4-tiny，存在精度不足的问题，导致yolov4-tiny的识别框不能完整的框住车辆，第一车身图像无法包含完整的第一车牌图像。从而导致车牌信息无法提取的问题。

因此通过对车牌号进行单独识别，可以提升目标车辆识别的精度。

需说明的是，在一些实施例中，由于第三车身图像可以看到目标车辆的车辆情况，可以提供图像信息制定跟踪方案。在另一些实施例中，为实现实时跟踪，还需要根据第三车身图像以及第一目标图片进行处理保证目标车辆在跟踪的范围内。

因此，在本发明第一方面的另一些实施例中，目标车辆跟踪的方法还包括如下步骤：

获取当前时刻的第二目标图片。

应理解的是，视频数据或者图片集合均需要实时获取，以判断获取某一时刻的目标车辆情况。当第一次第三车身图像确定后，第二目标图片为视频数据或图片集合中当前时刻的采集设备在同一方位获取到的图片。

将前一时刻的第三车身图像以及第二目标图片基于卡尔曼滤波算法进行处理，以获得当前时刻的目标车辆的车身图像的预测图像。

应理解的是，对于实时跟踪目标车辆的检测装置，对于不同时刻的第二目标图片，目标车辆在对应时刻的第二目标图片的位置具有可预见性。因此，可以通过卡曼尔滤波算法获得预测图像，根据预测图像可以大致确定目标车辆在第二目标图片中的车身的图像位置。需说明的是，由于卡曼尔滤波算法为现有的目标检测跟踪的算法，因此此处不做一一详述。

根据匈牙利算法对第二目标图片的预测图像进行匹配处理，以获得当前时刻的目标车辆的第三车身图像。

应理解的是，需说明的是，由于在相邻较近的时刻，其当前时刻所在的位置与前一刻所在的位置相近，因此从第二坐标集合附近进行目标车辆的图像匹配，可以提升跟踪的效率。

根据第三车身图像以及第二目标图片对目标车辆进行跟踪。

因此，可以在第一次获得第三车身图像后，根据上述步骤依次获取当前时刻的第三车身图像位置的预测值，从而快速锁定第三车身图像在第二目标图片在预测图像附近，并在第二图片中对预测图像及其周围区域进行匹配处理，以得到最接近目标车辆的第三车身图像的信息，从而可以减少对视频或图片集合的处理的计数量；从而提升跟踪的效率。

在本发明第一方面的一些实施例中根据第三车身图像以及第二目标图片对目标车辆进行跟踪，包括如下步骤：获取第三车身图像的中心坐标向第三目标图片的中心坐标移动的移动轨迹，第三目标图片为与第三车身图像所在的图片。通过移动轨迹将目标车辆始终锁定在第三目标图片的中心区域附近，可以更好的跟踪目标车辆。

应理解的是，根据第三车身图像以及第二目标图片对目标车辆进行跟踪时，第三目标图片为第二目标图片。在另一些实施例中，根据第三车身图像以及第一目标图片对目标车辆进行跟踪时，包括获取第三车身图像的中心坐标向第三目标图片的中心坐标移动的移动轨迹。此时，第三目标图片为第一目标图片。

应理解的是，在进行实时跟踪时，将目标车辆锁定在第三目标图片的中心区域，可以使得目标车辆的信息更加完整的暴露在第三目标图片中，因此可以更好的跟踪目标车辆。在一些实施例中，采用无人机等飞行装置进行实时跟踪，并根据移动轨迹在x方向的距离控制飞行装置进行水平方向的移动。

假设第三目标图片中心坐标为(x_center,y_center)和第三车身图像的中心坐标为(x_target,y_target)，则x方向的距离如下：

x_m＝x_target-x_center

其中x_m为x方向的距离，当x_m大于0时控制飞行装置向左运动，小于0时控制飞行装置向右运动，直到飞行装置等于0。

在本发明第一方面的一些实施例中，第二目标图片对目标车辆进行跟踪还包括如下步骤：根据第三车身图像的中心坐标与第三目标图片的大小，获取移动的加速度。通过设置移动的加速度，使得目标车辆在加速或减速时，依然可以通过加速度调整移动轨迹，从而使得目标车辆始终在跟踪范围内。

此时，根据y方向的距离进行加速度控制。y方向的距离如下：

y_m＝y_target-y_center

其中y_m为y方向的距离，当y_m大于0时控制飞行装置加速运动，小于0时控制飞行装置减速运动，直到y_m等于0。

在本发明第一方面的一些实施例中，根据第三车身图像的中心坐标与第三目标图片的大小，获取移动的加速度包括如下步骤：

获取第三车身图像的中心坐标到第三目标图片的中心坐标的第一距离。

此时，第一距离

获取第二距离，其中第二距离为第三目标图片的对角线长度的一半。

此时，第二距离为

其中w_m为第三目标图片的宽，即x方向的宽度；h_m为第三目标图片的高，即y方向的宽度。

根据第一距离以及第二距离获得加速度阈值，并将所述加速度阈值与预设的加速值进行匹配，获得实际加速度。

应理解的是将第二距离和第一距离作为加速度阈值可以控制移动的路径在中心位置区域，从而更好的监测目标车辆。而进行加速度阈值，可以避免由于速度过快或者过慢，使得目标车辆偏移，从而需要重新进行第三车身图像的获取。

此时，假设加速值为0.8；则当Distance_m大于0.8时，表示目标车辆所在的位置离中心位置较远，飞行装置进行加速。否则，飞行装置进行减速。当第三车身图像的中心坐标在第三目标图片的中心坐标附近，停止加速和减速。

在另一些实施例中，加速值设置有两个，分别表示需要加速或者需要减速时的门限值，以避免加速后由于速度过快超出飞行装置的跟踪范围，需要重新进行第三车身图像的识别。

因此，通过加速度阈值与预设的加速度值进行匹配，可以保证目标车辆始终在第三目标图片的中心区域。

根据本发明第二方面的一些实施例，目标车辆跟踪的装置包括：

数据采集模块，数据采集模块处理采集的视频数据或图片集合；存储模块，存储模块存储视频数据或图片集合；车牌检测模块，车牌检测模块获取视频数据或图片集合；并根据视频数据或图片集合输出车牌匹配结果；车辆监测模块，车辆监测模块根据匹配结果以及视频数据或图片集合输出第三车身图像以及目标图片，并对目标车辆进行跟踪。

应理解的是，在一些实施例中，目标车辆跟踪的装置为实时跟踪的飞行装置，数据采集模块为设置在飞行装置上的摄像头或者红外雷达等采集数据的设备。在另一些实施例中，数据采集模块接收从电子眼等公共监测设备传送的监测数据。车牌检测模块、车辆监测模块均包括图像处理单元，如GPU。

由于本发明实施例的一种目标车辆跟踪的装置的封装体内的各模块执行如本发明第一方面中任一项的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

根据本发明第三方面的一些实施例，目标车辆跟踪的系统，包括：

数据采集装置，数据采集装置用于获取路段上的视频或图像数据；飞行机体以及设置在飞行机体上的目标车辆跟踪装置，目标车辆跟踪装置包括控制模块、处理模块，控制模块控制飞行机体移动；处理模块执行如第一方面实施例的任一项的目标车辆跟踪方法，以获取移动轨迹；飞行机体根据移动轨迹进行目标车辆跟踪；远程监控中心，远程监控中心接收车辆检测结果以及目标车辆的视频或图片；远程监控中心发送指令给目标车辆跟踪装置。

应理解的是，飞行机体可以是无人机或者任意可以在空中飞行进行视频或图片采集的装置。

由于本发明实施例的一种目标车辆跟踪的系统执行如本发明第一方面中任一项的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

根据本发明第四方面的一些实施例，计算机存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面任一项的目标车辆跟踪的方法。

由于本发明实施例的计算机存储介质执行如本发明第一方面中任一项的目标车辆跟踪的方法，因此具有本发明第一方面的所有有益效果。

下面参考图1至图3对本发明实施例中通过目标车辆跟踪的装置执行目标车辆跟踪的方法进行跟踪进行详细说明，值得理解的是，下述描述仅是示例性说明，而不是对发明的具体限制。

假设在无人机上设置有目标车辆跟踪的装置以及获取视频数据的摄像头；其中，目标车辆跟踪的装置执行目标车辆跟踪的方法。数据采集模块为摄像头；摄像头安装在无人机上。

如图1所示，步骤S100、获取路段上的视频或图片集合，并从视频或图片集合获取待检测的每一张图片。

具体的，数据采集模块采集路段上的视频并发送给车牌检测模块。车牌检测模块通过opencv将视频的每一帧解析后获取若干图片，并从若干图片中选取一张图片作为待检图片。

步骤S200、对待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合。

具体的，将待检测的每一张图片输送给已训练好的yolov4-tiny模型，从而获取待检测的每一张图片上的第一车牌图像集合和第一车身图像集合。

具体的，获取第一车牌图像和第一车身图像包括如下步骤：

提取待检测的每一张图片第一车牌图像。

提取待检测的每一张图片第一车身图像。

进一步，步骤S300、对待检测的每一张图片的第一车牌图像集合中各元素进行图像识别，获得车牌号集合。

具体的，车牌检测模块进行图像识别，执行如下步骤：

将第一车牌图像进行车牌与背景分割，从而生产黑白图。

将黑白图中的字符进行提取，并与标准字符进行匹配，从而获得车牌号。

进一步，步骤S400、将车牌号集合中各元素分别与预设的跟踪车牌号进行匹配，以从第一车身图像集合中获得与跟踪车牌号对应的第二车牌图像，其中，第二车牌图像所在的图片第一目标图片。

具体的，无人机接收远程监控中心的跟踪车牌号信息，并将该跟踪车牌号发送给车牌检测模块。车牌检测模块根据车牌号与跟踪车牌号进行对比。当完全一致时，表示需要进行跟踪，并输出获取该第二车牌图像以及第二车牌图像所在的图片。其中第二车牌图像所在的图片为第一目标图片。

此时，车辆监测模块进行如下处理：

如图1所示，步骤S500、将第二车牌图像分别与第一目标图片中第一车身图像集合中各元素进行重叠率处理，并从第一车身图像集合获得若干待匹配的第二车身图像。

具体的，在第一目标图片建立二维坐标，假设第二车牌图像的中心坐标为(x,y)，车牌的长和宽分别为h,w。第二车牌图像四个顶点在x方向的值分别为x₁，x₂；y方向的值分别为y₁，y₂；第一车身图像的中心坐标为(x',y')，车辆的长和宽分别为h',w'；第一车身图像四个顶点在x方向的值分别为x₁'，x₂'；y方向的值分别为y₁'，y₂'，则x₁，x₂,y₁'，y₂'表示如下：

x₁＝x-w/2，x₂＝x+w/2

y₁＝y-h/2，y₂＝y+h/2

x₁'＝x'-w'/2，x₂'＝x'+w'/2

y₁'＝y'-h'/2，y₂'＝y'+h'/2

此时，第一车身图像与第二车牌图像的交集区域为x_A＝max(x₁,x₁'),x_B＝min(x₂,x₂'),y_A＝max(y₁,y₁'),y_b＝min(y₂,y₂')所形成的区域。

此时交集面积interArea以及union_area分别如下：

interArea＝(x_B-x_A)*(y_B-y_A)

union_area＝(x₂-x₁)*(y₂-y₁)+(x₂'-x₁')*(y₂'-y₁')-interArea

因此，重叠率IOU＝interArea/union_area。

进一步，步骤S600、分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像。

具体的，如图2和图3所示，获取所有第二车身图像与所述第二车牌图像的若干方位夹角；对所有方位夹角进行处理以获取第三车身图像还包括：

S610、获取第二车牌图像的第二中心坐标以及获取所有第二车身图像的第一中心坐标。

具体的，假设第二中心坐标为(x_j,y_j)；第一中心坐标为(x_n,y_n)。其中n表示为第二车身图像的索引。

进一步，步骤S620、获取第三坐标，第三坐标为第一中心坐标的y坐标延长线与第二中心坐标的x坐标延长线的交点，第三坐标与第一中心坐标一一对应；

S630、分别获取第三坐标和第一中心坐标的第一连线以及第二中心坐标和第一中心坐标的第二连线；并将第一连线与第二连线的夹角设置为方位夹角，方位夹角与第一中心坐标一一对应。

具体的，如图3所示，可以获得若干个与第二车身图像匹配的方向夹角：

进一步，步骤S640、获取所有方位夹角中值最小的最小方位夹角，并根据最小方位夹角获取第三车身图像，第三车身图像为最小方位夹角对应的第二车身图像。

具体的，第三车身图像与第二车牌图像的方向夹角为min(β₁,β₂,β₃.......β_n)。此时，第三车身图像为min(β₁,β₂,β₃.......β_n)对应的第二车身图像。

进一步，步骤S700、根据第三车身图像以及第一目标图片对目标车辆进行跟踪。

此时，第三目标图片为第一目标图片。

具体的，获取第三车身图像的中心坐标向第三目标图片的中心坐标移动的移动轨迹。

假设第三目标图片中心坐标为(x_center,y_center)和第三车身图像的中心坐标为(x_target,y_target)，则x方向的距离如下：

x_m＝x_target-x_center

其中x_m为x方向的距离，当x_m大于0时控制飞行装置向左运动，小于0时控制飞行装置向右运动，直到飞行装置等于0。则移动轨迹为x方向的距离。

进一步，根据第三车身图像的中心坐标与第三目标图片的大小，获取移动的加速度。

具体的，车辆监测模块根据y方向的距离进行加速度发送控制指令给飞行装置进行加速或减速的指令。具体的，假设y方向的距离y_m如下：

y_m＝y_target-y_center

当y_m大于0时发送加速的控制指令，小于0时发送减速的控制指令，直到y_m等于0。

进一步，车辆监测模块发送的加速或者减速的具体速度值的过程如下：

获取第三车身图像的中心坐标到第三目标图片的中心坐标的第一距离。

此时，第一距离

进一步，获取第二距离，第二距离为第三目标图片的对角线长度的一半。

此时，第二距离为

其中w_m为第三目标图片的宽，即x方向的宽度；h_m为第三目标图片的高，即y方向的宽度。

进一步，根据第一距离以及第二距离获得加速度阈值，并将所述加速度阈值与预设的加速值进行匹配，获得加速度。

具体的，加速值为0.8；则当Distance_m大于0.8时，表示目标车辆所在的位置离中心位置较远，飞行装置进行加速。否则，飞行装置进行减速。当第三车身图像的中心坐标在第三目标图片的中心坐标附近，停止加速和减速。

当完成当前时刻的目标车辆跟踪后，继续获取视频以及对当前时刻的目标车辆跟踪如下：

获取当前时刻的第二目标图片。

进一步，将前一时刻的第三车身图像以及第二目标图片基于卡尔曼滤波算法进行处理，以获得当前时刻的目标车辆的车身图像的预测图像。

进一步，在第二目标图片中，基于匈牙利算法对预测图像进行匹配处理，以获得当前时刻的目标车辆的第三车身图像。

此时，根据第三车身图像以及第二目标图片对目标车辆进行跟踪。

具体的，跟踪参照步骤S700中具体的飞行轨迹以及加速度控制。此时，第三目标图片为第二目标图片。然后在下一时刻重新进行第二目标图片的获取以及处理，直到不需要对目标车辆进行跟踪，或者目标车辆不在第二目标图片中。当目标车辆不在第二目标图片中时，需要重复步骤S100～S600的步骤，直至获取到第三车身图像。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种目标车辆跟踪的方法，其特征在于，包括如下步骤：

获取路段上的视频或图片集合，并从所述视频或所述图片集合获取待检测的每一张图片；

对所述待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合；

对所述待检测的每一张图片中的所述第一车牌图像集合中各元素进行图像识别，获得车牌号集合；

将所述车牌号集合中各元素分别与预设的跟踪车牌号进行匹配，以从所述第一车身图像集合中获得与所述跟踪车牌号对应的第二车牌图像，其中，所述第二车牌图像所在的图片为第一目标图片；

将所述第二车牌图像分别与所述第一目标图片中第一车身图像集合中各元素进行重叠率处理，并从所述第一车身图像集合获得若干待匹配的第二车身图像；

分别获取每一第二车身图像与对应的第二车牌图像的方位夹角；对每一方位夹角进行处理以获取第三车身图像；

根据所述第三车身图像以及所述第一目标图片对目标车辆进行跟踪。

2.根据权利要求1所述的目标车辆跟踪的方法，其特征在于，

分别获取每一第二车身图像与对应的第二车牌图像方位夹角；对每一方位夹角进行处理以获取第三车身图像包括如下步骤：

获取所述第二车牌图像的第二中心坐标以及获取所有第二车身图像的第一中心坐标；

获取第三坐标，所述第三坐标为所述第一中心坐标的y坐标延长线与所述第二中心坐标的x坐标延长线的交点，所述第三坐标与所述第一中心坐标一一对应；

分别获取所述第三坐标和所述第一中心坐标的第一连线以及所述第二中心坐标和所述第一中心坐标的第二连线；并将所述第一连线与所述第二连线的夹角设置为方位夹角，所述方位夹角与所述第一中心坐标一一对应；

获取所有方位夹角中值最小的最小方位夹角，并根据所述最小方位夹角获取第三车身图像，所述第三车身图像为所述最小方位夹角对应的第二车身图像。

3.根据权利要求1或2所述的目标车辆跟踪的方法，其特征在于，

对所述待检测的每一张图片进行图像解析，以获得第一车牌图像集合以及第一车身图像集合，包括如下步骤：

提取所述待检测的每一张图片的第一车牌图像；

提取所述待检测的每一张图片的第一车身图像。

4.根据权利要求1所述的目标车辆跟踪的方法，其特征在于，还包括如下步骤：

获取当前时刻的第二目标图片；

将前一时刻的第三车身图像以及所述第二目标图片基于卡尔曼滤波算法进行处理，以获得当前时刻的所述目标车辆的车身图像的预测图像；

根据匈牙利算法对所述第二目标图片的预测图像进行匹配处理，以获得当前时刻的所述目标车辆的第三车身图像；

根据所述第三车身图像以及所述第二目标图片对所述目标车辆进行跟踪。

5.根据权利要求4所述的目标车辆跟踪的方法，其特征在于，

所述根据所述第三车身图像以及所述第二目标图片对目标车辆进行跟踪，包括如下步骤：

获取所述第三车身图像的中心坐标向第三目标图片的中心坐标移动的移动轨迹，所述第三目标图片为与所述第三车身图像所在的图片。

6.根据权利要求5所述的目标车辆跟踪的方法，其特征在于，

所述根据所述第三车身图像以及所述第二目标图片对目标车辆进行跟踪，还包括如下步骤：

根据所述第三车身图像的中心坐标与所述第三目标图片的大小，获取移动的加速度。

7.根据权利要求6所述的目标车辆跟踪的方法，其特征在于，

所述根据所述第三车身图像的中心坐标与所述第三目标图片的大小，获取移动的加速度，包括如下步骤：

获取所述第三车身图像的中心坐标到所述第三目标图片的中心坐标的第一距离；

获取第二距离，其中所述第二距离为所述第三目标图片的对角线长度的一半；

根据所述第一距离以及所述第二距离获得加速度阈值，并将所述加速度阈值与预设的加速值进行匹配，获得实际加速度。

8.一种目标车辆跟踪的装置，其特征在于，包括：

数据采集模块，所述数据采集模块处理采集的视频数据或图片集合；

存储模块，所述存储模块存储所述视频数据或所述图片集合；

车牌检测模块，所述车牌检测模块获取所述视频数据或所述图片集合；并根据所述视频数据或所述图片集合输出车牌匹配结果；

车辆监测模块，所述车辆监测模块根据所述匹配结果以及所述视频数据或所述图片集合输出第三车身图像以及目标图片，并对目标车辆进行跟踪。

9.一种目标车辆跟踪的系统，其特征在于，包括：

数据采集装置，所述数据采集装置用于获取路段上的视频或图像数据；

飞行机体以及设置在所述飞行机体上的目标车辆跟踪装置，所述目标车辆跟踪装置包括控制模块、处理模块；所述处理模块执行如权利要求1至7任一所述的目标车辆跟踪方法，获取车辆检测结果以及移动轨迹；所述控制模块根据所述移动轨迹控制所述飞行机体移动；

远程监控中心，所述远程监控中心接收所述车辆检测结果；所述远程监控中心发送指令给所述目标车辆跟踪装置。

10.一种计算机存储介质，其特征在于，

所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一所述的目标车辆跟踪的方法。

Images