CN117011792A - 基于半封闭场景的车辆跟踪方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了基于半封闭场景的车辆跟踪方法、系统、设备及存储介质，该方法包括以下步骤：通过设置于半封闭场景中高机位的若干传感器采集俯视视频；基于场景的高精地图与俯视视频的视频帧进行匹配，获得俯视视频对应的局部地图；对俯视视频的视频帧进行图像识别，获得的俯视视频中的至少一车辆图像区域和对应的车辆信息；根据车辆图像区域在视频帧图像中的位置获得车辆在局部地图内的位置；基于目标车辆在一传感器对应局部地图中的轨迹预测到达下一个传感器的轨迹，以建立车辆信息与车辆在半封闭场景的高精地图中的运动轨迹的映射关系。本发明能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了硬件成本和算力需求。

Description

基于半封闭场景的车辆跟踪方法、系统、设备及存储介质

技术领域

本发明涉及车辆区域监控领域，具体地说，涉及基于半封闭场景的车辆跟踪系统、方法、设备及存储介质。

背景技术

在半封闭园区或港口等场景，出于安全生产的考虑，往往需要对外来车辆进行识别和监管。传统的方式往往是在园区出入口，或者关键的位置，安装低位摄像头对车辆车牌进行抓拍用来识别过往的车辆。对于较大型的园区或港口，这样的识别方式只能杯水车薪，无法有效的覆盖整个需要监管的区域。而且，因为出入口尺寸较宽，或者容易受其他并行车辆遮挡等原因，还会出现漏拍，误拍的情况，识别监管的成效堪忧。半封闭场景的特点是占地范围大、行车的路径多样化，但内部车辆的种类相对集中，车辆种类的数量不大，即便将现有的监控系统迁移到半封闭场景中，不是无法实现识别精度，就是所需算力过大，成本极高，无法准确地实施。

有鉴于此，本发明提供了一种基于半封闭场景的车辆跟踪方法、系统、设备及存储介质。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于半封闭场景的车辆跟踪方法、系统、设备及存储介质，克服了现有技术的困难，能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

本发明的实施例提供一种基于半封闭场景的车辆跟踪方法，包括以下步骤：

通过设置于半封闭场景中高机位的若干传感器采集俯视视频；

基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图；

对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息；

根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置；以及

基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系。

优选地，所述通过设置于半封闭场景中高机位的若干传感器采集俯视视频，包括：

所述传感器为固定视角，在所述半封闭场景中的若干个高机位设置所述传感器，所述高机位的离地高达大于所述半封闭场景中允许行驶车辆的最大高度；以及

通过所述传感器采集俯视视角下的俯视视频。

优选地，所述通过设置于半封闭场景中高机位的若干传感器采集俯视视频，包括：

所述传感器为可转动视角，当每一次转动后，基于所述俯视视频的视频帧与所述高精地图的各个局部进行图像相似度计算；

将图像相似度最高的所述局部地图作为所述俯视视频对应的监控范围；以及

建立所述视频帧的图像中代表地面的像素点与所述高精地图中定位信息的映射关系。

优选地，所述基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图，包括：

基于所述俯视视频的视频帧与所述高精地图的各个局部进行图像相似度计算；

将图像相似度最高的所述局部地图作为所述俯视视频对应的监控范围；以及

建立所述视频帧的图像中代表地面的像素点与所述高精地图中定位信息的映射关系。

优选地，所述对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息，包括：

通过经过训练的第一神经网络对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域；以及

通过经过训练的第二神经网络对所述车辆图像区域进行识别，获得车辆信息，所述车辆信息至少包括车牌信息。

优选地，所述通过经过训练的第二神经网络对所述车辆图像区域进行识别，获得车辆信息，所述车辆信息至少包括车牌信息中，所述车辆信息还包括属性信息，所述属性信息包括车身颜色、车型类别、车头形状、车尾形状、车身标志物，车载作业臂种类中的至少一种。

优选地，所述根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置，包括：

获得所述车辆图像区域的中心位置在所述视频帧的图像中的坐标；以及

基于所述中心位置的坐标获得对应的所述高精地图中的定位信息。

优选地，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到一个车辆，且所述车辆的到达时间与所述预测时间的时间差小于预设阈值，则合并两个所述传感器下的运动轨迹作为所述目标车辆的运动轨迹，并基于所述目标车辆的不同传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

优选地，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的局部图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到若干车辆，则比较所述车辆的轨迹与所述行驶轨迹的图形差异，将图形差异最小的一个车辆作为目标车辆，合并所述目标车辆的运动轨迹，并基于所述目标车辆的不同传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

优选地，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到若干车辆，将每个所述车辆的车牌信息和/或各属性信息的相似度加权求和获得相似度参考值，将所述相似度参考值最大的一个车辆作为目标车辆，合并所述目标车辆的运动轨迹，并基于所述目标车辆的不同传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

本发明的实施例还提供一种基于半封闭场景的车辆跟踪系统，用于实现上述的基于半封闭场景的车辆跟踪方法，基于半封闭场景的车辆跟踪系统包括：

视频采集模块，通过设置于半封闭场景中高机位的若干传感器采集俯视视频；

监控分区模块，基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图；

图像识别模块，对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息；

地图定位模块，根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置；

运动轨迹模块，基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系。

本发明的实施例还提供一种基于半封闭场景的车辆跟踪设备，包括：

处理器；

存储器，其中存储有处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行上述基于半封闭场景的车辆跟踪方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于半封闭场景的车辆跟踪方法的步骤。

本发明的基于半封闭场景的车辆跟踪方法、系统、设备及存储介质，能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的基于半封闭场景的车辆跟踪方法的流程图。

图2至6是实施本发明的基于半封闭场景的车辆跟踪方法的过程示意图。

图7是本发明的基于半封闭场景的车辆跟踪系统的结构示意图。

图8是本发明的基于半封闭场景的车辆跟踪设备的结构示意图。以及

图9是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本申请所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本申请中的各项细节也可以根据不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。

在本申请的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了明确说明本申请，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

当说某器件在另一器件“之上”时，这可以是直接在另一器件之上，但也可以在其之间伴随着其它器件。当对照地说某器件“直接”在另一器件“之上”时，其之间不伴随其它器件。

虽然在一些实例中术语第一、第二等在本发明中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本发明中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。

虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

图1是本发明的基于半封闭场景的车辆跟踪方法的流程图。如图1所示，本发明的实施例提供一种基于半封闭场景的车辆跟踪方法，包括以下步骤：

S110、通过设置于半封闭场景中高机位的若干传感器采集俯视视频。

S120、基于半封闭场景的高精地图与俯视视频的视频帧进行匹配，获得俯视视频对应的局部地图。

S130、对俯视视频的视频帧进行图像识别，获得的俯视视频中的至少一车辆图像区域和对应的车辆信息。

S140、根据车辆图像区域在视频帧图像中的位置获得车辆在局部地图内的位置。

S150、基于目标车辆在一传感器对应局部地图中的轨迹预测到达下一个传感器的轨迹，以建立车辆信息与车辆在半封闭场景的高精地图中的运动轨迹的映射关系。

本发明中的半封闭场景是指例如：无人码头、集装箱堆场、无人工厂等场景，不同于常见的路网场景或是封闭式的小范围场景，半封闭场景的特点是占地范围大、行车的路径多样化，但内部车辆的种类相对集中，车辆种类的数量不大，即便将现有的监控系统迁移到半封闭场景中，不是无法实现识别精度，就是所需算力过大，成本极高，无法准确地实施。本发明使用摄像头以及图像识别算法，可以有效识别定位场地内多种类别的目标，并持续跟踪不同的目标，赋予每个目标唯一编号，方便追踪和管理。本发明可以复用场地内已有的摄像头，降低成本，并且还可以直接使用高精度定位技术的全局坐标信息，减少摄像头交接区域所需拓扑参数的测算和使用。

本发明与现有技术中设置于匝道或路口的监控相机的方案的不同在于：监控相机只能基于自身所在的位置，基于普通机位(1米或1.5米的高度)逐次采集单一车辆信息，来判断通过一个匝道或路口的车辆的信息，监控的范围非常小，并且无法实现车辆在预设范围的轨迹跟踪。而本发明通过采集完全不同的数据源，设置于10米或是20米高度的监视器来采集视频流，能够覆盖更大的地面范围，并且从高位机获得的图像中，通过每一帧进行定位和车辆信息识别，并建立两者的映射关系，从而根据视频内容生成具体车辆的运动轨迹信息，实现车辆的跟踪，由于只需要若干个高位机的监视器，不需要大量监控探头，所以大大节约了硬件成本。

在一个优选实施例中，步骤S110包括：

S111、在半封闭场景中的若干个高机位设置视频传感器(例如：拍摄并传输视频流的监控探头)，高机位的离地高达大于半封闭场景中车辆的最大高度。以及

S112、通过视频传感器采集俯视视角下的俯视视频，其中，本发明的高机位是指离地高度大于10米，可以是设置在20米高空、30米高空、40米高空、50米高空等，设置的越高，监控范围越大，但准确识别车辆信息的难度会增加，但不以此为限。

在一个优选实施例中，步骤S120包括：

S121、传感器为固定视角，基于俯视视频的视频帧与高精地图的各个局部进行图像相似度计算。

S122、将图像相似度最高的局部地图作为俯视视频对应的监控范围。

以及

S123、建立视频帧的图像中代表地面的像素点与高精地图中定位信息的映射关系，视频传感器可以是固定视角的，则只需要通过一次预设的图像对比算法，获得定位就能进行后续的跟踪。本发明中采用现有技术的图像对比算法，将俯视视频的视频帧与高精地图的各个局部进行图像相似度计算，从而找到与视频帧相似度最高的局部地图，作为俯视视频的视角区域，但不以此为限。

在一个优选实施例中，步骤S120包括：

S125、传感器为可转动视角，当每一次转动后，基于俯视视频的视频帧与高精地图的各个局部进行图像相似度计算。

S126、将图像相似度最高的局部地图作为俯视视频对应的监控范围。

以及

S127、建立视频帧的图像中代表地面的像素点与高精地图中定位信息的映射关系。视频传感器可以是可变视角(视频传感器可以水平转动)的，则需要每一次转动都要重新进行图像对比算法，获得当下视角下的定位就能进行后续的跟踪，该方案能够扩大单个视频传感器的的监控范围，但会牺牲定位准确性，增加部分算力需求，不以此为限。

在一个优选实施例中，步骤S130包括：

S131、通过经过训练的第一神经网络对俯视视频的视频帧进行图像识别，获得的俯视视频中的至少一车辆图像区域。

S132、通过经过训练的第二神经网络对车辆图像区域进行识别，获得车辆信息，车辆信息至少包括车牌信息。车辆信息还包括属性信息，属性信息包括车身颜色、车型类别、车头形状、车尾形状、车身标志物，车载作业臂种类中的至少一种进行标记，例如：车型类别可以是小轿车，面包车，皮卡车，集卡车，叉车，堆高车，正面吊等，将这些属性与每一辆识别到的车辆进行绑定，并未每一辆不同的车辆分配不同的识别id，但不以此为限。本发明中可以采用现有的经过训练的车辆识别神经网络对俯视视频的视频帧进行图像识别，从而获得的视频帧中的至少一车辆图像区域，并采用其他用于车型分类、颜色识别、数字分类的神经网络在车辆图像区的范围内进行精细识别，获得更多的车辆信息，从而加快处理速度，并减少算力需求。

在一个优选实施例中，步骤S140包括：

S141、获得车辆图像区域的中心位置在视频帧的图像中的坐标。

S142、基于中心位置的坐标获得对应的高精地图中的定位信息，不以此为限。在其他变形例子中，也可以将车头区域的中心坐标作为车辆的坐标等，不以此为限。

本发明的整个系统可以由识别服务器和遍布园区的高位摄像头组成，摄像头与识别服务器之间通过网络连接，摄像头通过网络协议读取每个摄像头的实时画面，并对每一帧画面进行算法处理和分析。通过高空俯视角度，视野开阔，不受低位相机容易被遮挡等缺陷。高位俯视视角，通过画面拼接，可以百分百覆盖整个园区视野。所有摄像头连接中心识别服务器，集中识别分析，摄像头之间算力共享。可识别所有已知车辆，不受车辆大小，形状限制。可识别跨摄像头的车辆，并根据识别特征比对是否是同一辆车，实现跨摄像头ReID功能。可将车辆车牌与车辆id绑定，实现园区内车辆车牌的检索查询。可通过车牌信息搜索到外来车辆在园区内的整个轨迹。通过园区已有的摄像头进行识别，无需新增其他车辆识别或定位硬件。外来车辆无感知的识别，无需司机安装或绑定任何设备信息。

为了减少监控探头的数量，并监控更大范围，并不需要所有的区域都被监控探头所覆盖，而是可以建议一些范围设置监控探头，监控探头之间的盲区，通过算法弥补。

在一个优选实施例中，步骤S150包括：

S151、当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。例如，可以通过车辆的在局部地图内的基于时序的行驶轨迹，通过卡尔曼滤波预测轨迹位置，使用卡尔曼滤波对目标轨迹队列进行预测，生成轨迹预测。并且，由于每个传感器各自对应的局部地图的位置关系是已知的，则可以预测出车辆根据轨迹会从哪一个传感器的图像的哪一侧进行画面(例如：画面左侧区域、画面右侧区域、画面上侧区域、画面下侧区域等)。后续可以只对其中一个局部进行图像识别(卷积算法等)，从而减小计算量。

S152、基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到一个车辆，且车辆的到达时间与预测时间的时间差小于预设阈值，则合并两个传感器下的运动轨迹作为目标车辆的运动轨迹，最后，根据车辆在上一个传感器对应局部地图中的行驶轨迹，以及当前传感器对应局部地图中的行驶轨迹来弥补两者之间缺失区域的运动轨迹，共同组成完成的运动轨迹，不以此为限。

个别情况下会发生预设到达的时间同时有两个车辆进入画面，则需要额外的判断算法，确认哪一个是目标车辆。在一个优选实施例中，步骤S150包括：

S153、当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。

S154、基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到若干车辆，则通过现有的图像算法比较车辆的轨迹与行驶轨迹的图形差异，将图形差异最小的一个车辆作为目标车辆，合并目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹，但不以此为限。

在一个优选实施例中，步骤S150包括：

S155、当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。

S156、基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到若干车辆，将每个车辆的车牌信息和/或各属性信息的相似度加权求和(可以是现有的加权算法，但不以此为限)获得相似度参考值，将相似度参考值最大的一个车辆作为目标车辆，合并目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹，但不以此为限。

所以，本发明能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

图2至6是实施本发明的基于半封闭场景的车辆跟踪方法的过程示意图。如图2、3所示，首先，在半封闭场景中的若干个拍摄并传输视频流的监控探头11、12等，监控探头11、12都是高度底面40米的高机位固定视角设置，通过监控探头11、12采集俯视视角下的俯视视频，从而能够同时拍摄到车辆特征以及周边的环境特征。监控探头11、12的局部地图互不重叠，将监控探头11、12基于俯视视频间隔抽取出视频帧与高精地图(图中未示出)的各个局部进行图像相似度计算，将图像相似度最高的局部地图作为俯视视频对应的监控范围，本实施例中，监控探头11对应的局部地图是路口12A的区域，监控探头12对应的局部地图是路口12A的区域从而建立视频帧的图像中代表地面的像素点与高精地图中定位信息的映射关系，其中通过现有技术进行图像对比的算法此处不再赘述。

此时，集卡21刚好开进路口12A的区域，小车22快要进入路口12A的区域。通过经过训练的第一神经网络对监控探头11采集的俯视视频的视频帧进行图像识别，获得的俯视视频中的一车辆图像区域(对应集卡21)。通过经过训练的第二神经网络对车辆图像区域(对应集卡21)进行识别，获得车辆信息，车辆信息至少包括车牌信息A123456。车辆信息还包括属性信息，属性信息包括车身颜色、车型类别，集卡的车身颜色是橙色，车型类别是集卡。获得车辆图像区域(对应集卡21)的中心位置在视频帧的图像中的坐标，基于中心位置的坐标获得对应的高精地图中的定位信息。通过监控探头11每个视频帧获得的集卡21的定位，以及视频帧之间的时序连续性，建立集卡21在路口12A范围的轨迹21A。同样地，小车驶入路口12A的区域后，则可以从监控探头11采集的俯视视频中同时跟踪两个对象，建立小车22在路口12A范围的轨迹22A，并且，小车的车牌信息B654321，车身颜色是白色，车型类别是轿车。监控探头11和监控探头12各自对应的监控范围，基于传感器对应局部地图的位置关系、目标车辆在监控探头11对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达监控探头12的局部地图的预测轨迹。其中，基于集卡21的轨迹21A采用现有的轨迹预测算法，获得集卡21的基于时序的预测轨迹21C。同样地，基于小车22的轨迹22A采用现有的轨迹预测算法(例如：卡尔曼滤波的预测算法)，获得小车22的基于时序的预测轨迹22C。(例如，可以通过车辆的在局部地图内的基于时序的行驶轨迹，通过卡尔曼滤波预测轨迹位置，使用卡尔曼滤波对目标轨迹队列进行预测，生成轨迹预测。)

如图4所示，由于每个传感器各自对应的局部地图的位置关系是已知的，则可以预测出车辆根据轨迹会从哪一个传感器的图像的哪一侧进行画面(例如：画面左侧区域、画面右侧区域、画面上侧区域、画面下侧区域等)。基于预测轨迹21C和预测轨迹22C可以分别获得集卡21和小车22达到监控探头12对应局部地图的预测时间和优先进入监控探头12的传感器的视频帧的图像的预测区域(图像的上部)。后续可以只对其中一个局部进行图像识别(卷积算法等)，从而减小计算量。基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到若干车辆，监控探头12继续跟踪车辆的轨迹，获得轨迹21B和轨迹22B。并通过现有的图像算法预测轨迹21C分别与轨迹21B和轨迹22B的图形差异，将图形差异最小作为集卡21的轨迹，合并集卡21的轨迹21A和轨迹21B，并根据轨迹21A和轨迹21B来补全轨迹21A和轨迹21B之间空缺区域的基于时序的轨迹21D，则集卡21经过监控探头11、12对应的区域的完整轨迹为轨迹21A+轨迹21D+轨迹21B(如果为了节约算力，也可以采用完整轨迹也可以是轨迹21A+轨迹21C+轨迹21B，不必再计算轨迹21D)。同样地，通过现有的图像算法预测轨迹22C分别与轨迹21B和轨迹22B的图形差异，将图形差异最小作为小车22的轨迹，合并小车22的轨迹22A和轨迹22B，并根据轨迹22A和轨迹22B来补全轨迹22A和轨迹22B之间空缺的轨迹22D，则小车22经过监控探头11、12对应的区域的完整轨迹为轨迹22A+轨迹22D+轨迹22B，此处不再赘述。

在一个变形例中，当在预测区域只识别到若干车辆，将每个车辆的车牌信息和/或各属性信息(包括车身颜色、车型类别)的相似度加权求和(可以是现有的加权算法，但不以此为限)获得相似度参考值，将相似度参考值最大的一个车辆作为目标车辆，合并目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹。

所以，本发明能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，即便是摄像头的监控范围互不重叠，可以通过轨迹预测以及车身信息的比对算法来合并轨迹，实现全场景的轨迹跟踪，并大大减小了所需的硬件成本和算力需求。

图7是本发明的基于半封闭场景的车辆跟踪系统的结构示意图。如图7所示，本发明的基于半封闭场景的车辆跟踪系统5，包括：

视频采集模块51，通过设置于半封闭场景中高机位的若干传感器采集俯视视频。

监控分区模块52，基于半封闭场景的高精地图与俯视视频的视频帧进行匹配，获得俯视视频对应的局部地图。

图像识别模块53，对俯视视频的视频帧进行图像识别，获得的俯视视频中的至少一车辆图像区域和对应的车辆信息。

地图定位模块54，根据车辆图像区域在视频帧图像中的位置获得车辆在局部地图内的位置。

运动轨迹模块55，基于目标车辆在一传感器对应局部地图中的轨迹预测到达下一个传感器的轨迹，以建立车辆信息与车辆在半封闭场景的高精地图中的运动轨迹的映射关系。

在一个优选实施例中，视频采集模块51被配置为在半封闭场景中的若干个高机位设置传感器，高机位的离地高达大于半封闭场景中车辆的最大高度，通过传感器采集俯视视角下的俯视视频。

在一个优选实施例中，监控分区模块52被配置为基于俯视视频的视频帧与高精地图的各个局部进行图像相似度计算，将图像相似度最高的局部地图作为俯视视频对应的监控范围，建立视频帧的图像中代表地面的像素点与高精地图中定位信息的映射关系。

在一个优选实施例中，图像识别模块53被配置为通过经过训练的第一神经网络对俯视视频的视频帧进行图像识别，获得的俯视视频中的至少一车辆图像区域。通过经过训练的第二神经网络对车辆图像区域进行识别，获得车辆信息，车辆信息至少包括车牌信息。

在一个优选实施例中，车辆信息还包括属性信息，属性信息包括车身颜色、车型类别、车头形状、车尾形状、车身标志物，车载作业臂种类中的至少一种。

在一个优选实施例中，地图定位模块54被配置为获得车辆图像区域的中心位置在视频帧的图像中的坐标，基于中心位置的坐标获得对应的高精地图中的定位信息。

在一个优选实施例中，运动轨迹模块55被配置为当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到一个车辆，且车辆的到达时间与预测时间的时间差小于预设阈值，则合并两个传感器下的运动轨迹作为目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹。

在一个优选实施例中，运动轨迹模块55被配置为当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到若干车辆，则比较车辆的轨迹与行驶轨迹的图形差异，将图形差异最小的一个车辆作为目标车辆，合并目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹。

在一个优选实施例中，运动轨迹模块55被配置为当传感器的局部地图互不重叠时，基于传感器对应局部地图的位置关系、目标车辆在一传感器对应局部地图中的行驶轨迹以及行驶速度，沿行驶轨迹方向预测到达下一个相邻的传感器的局部地图的预测时间和优先进入该相邻的传感器的视频帧的图像的预测区域。基于预测时间在视频帧的图像的预测区域进行识别，当在预测区域只识别到若干车辆，将每个车辆的车牌信息和/或各属性信息的相似度加权求和获得相似度参考值，将相似度参考值最大的一个车辆作为目标车辆，合并目标车辆的运动轨迹，并补充运动轨迹之间缺失区域的运动轨迹。

本发明的基于半封闭场景的车辆跟踪系统，能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

本发明实施例还提供一种基于半封闭场景的车辆跟踪设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于半封闭场景的车辆跟踪方法的步骤。

如上，本发明的基于半封闭场景的车辆跟踪设备能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图8是本发明的基于半封闭场景的车辆跟踪设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于半封闭场景的车辆跟踪方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明的基于半封闭场景的车辆跟踪方法、系统、设备及存储介质，能够通过少量摄像头准确在半封闭场景下持续跟踪多个车辆轨迹，并大大减小了所需的硬件成本和算力需求。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种基于半封闭场景的车辆跟踪方法，其特征在于，包括如下步骤：

通过设置于半封闭场景中高机位的若干传感器采集俯视视频；

基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图；

对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息；

根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置；以及

基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系。

2.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述通过设置于半封闭场景中高机位的若干传感器采集俯视视频，包括：

在所述半封闭场景中的若干个高机位设置所述传感器，所述高机位的离地高达大于所述半封闭场景中允许行驶车辆的最大高度；以及

通过所述传感器采集俯视视角下的俯视视频。

3.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图，包括：

所述传感器为固定视角，基于所述俯视视频的视频帧与所述高精地图的各个局部进行图像相似度计算；

将图像相似度最高的所述局部地图作为所述俯视视频对应的监控范围；以及

建立所述视频帧的图像中代表地面的像素点与所述高精地图中定位信息的映射关系。

4.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图，包括：

所述传感器为可转动视角，当每一次转动后，基于所述俯视视频的视频帧与所述高精地图的各个局部进行图像相似度计算；

将图像相似度最高的所述局部地图作为所述俯视视频对应的监控范围；以及

建立所述视频帧的图像中代表地面的像素点与所述高精地图中定位信息的映射关系。

5.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息，包括：

通过经过训练的第一神经网络对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域；以及

通过经过训练的第二神经网络对所述车辆图像区域进行识别，获得车辆信息，所述车辆信息至少包括车牌信息。

6.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置，包括：

获得所述车辆图像区域的中心位置在所述视频帧的图像中的坐标；以及

基于所述中心位置的坐标获得对应的所述高精地图中的定位信息。

7.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到一个车辆，且所述车辆的到达时间与所述预测时间的时间差小于预设阈值，则合并两个所述传感器下的运动轨迹作为所述目标车辆的运动轨迹，并基于所述目标车辆的不同所述传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

8.根据权利要求1所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的局部图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到若干车辆，则比较所述车辆的轨迹与所述行驶轨迹的图形差异，将图形差异最小的一个车辆作为目标车辆，合并所述目标车辆的运动轨迹，并基于所述目标车辆的不同所述传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

9.根据权利要求5所述的基于半封闭场景的车辆跟踪方法，其特征在于，所述基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系，包括：

当所述传感器的局部地图互不重叠时，基于所述传感器对应所述局部地图的位置关系、目标车辆在一所述传感器对应所述局部地图中的行驶轨迹以及行驶速度，沿所述行驶轨迹方向预测到达下一个相邻的所述传感器的局部地图的预测时间和优先进入该相邻的所述传感器的视频帧的图像的预测区域；以及

基于所述预测时间在所述视频帧的图像的预测区域进行识别，当在所述预测区域只识别到若干车辆，将每个所述车辆的车牌信息和/或各属性信息的相似度加权求和获得相似度参考值，将所述相似度参考值最大的一个车辆作为目标车辆，合并所述目标车辆的运动轨迹，并基于所述目标车辆的不同所述传感器下的运动轨迹补充所述运动轨迹之间缺失区域的运动轨迹。

10.一种基于半封闭场景的车辆跟踪系统，其特征在于，所述系统包括：

视频采集模块，通过设置于半封闭场景中高机位的若干传感器采集俯视视频；

监控分区模块，基于所述半封闭场景的高精地图与所述俯视视频的视频帧进行匹配，获得所述俯视视频对应的局部地图；

图像识别模块，对所述俯视视频的视频帧进行图像识别，获得的所述俯视视频中的至少一车辆图像区域和对应的车辆信息；

地图定位模块，根据所述车辆图像区域在所述视频帧图像中的位置获得所述车辆在所述局部地图内的位置；以及

运动轨迹模块，基于目标车辆在一所述传感器对应所述局部地图中的轨迹预测到达下一个所述传感器的轨迹，以建立所述车辆信息与所述车辆在所述半封闭场景的高精地图中的运动轨迹的映射关系。

11.一种基于半封闭场景的车辆跟踪设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的基于半封闭场景的车辆跟踪方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9中任一项所述的基于半封闭场景的车辆跟踪方法的步骤。