CN108154146A - 一种基于图像识别的车辆追踪方法 - Google Patents

Abstract

本发明涉及一种基于图像识别的车辆追踪方法，提出一种全新思路的识别与追踪方法，细分了图像识别的具体实现手段，特别适用于车辆的定位与追踪，通过车辆型号和外观特征识别被追踪车辆。并且，基于车辆型号对应的车型参数确定车辆的朝向与前进方向，在预测的位置等待车辆进入，主动等待与捕捉车辆。则本发明以合理的判定逻辑实现识别与追踪，不需要在各个监控位置进行一次完整的识别运算，大大提高执行效率。并且不需要获取整车的图像，在摄像头连续覆盖的条件下，车辆哪怕只露出无任何特征的一小部分，都能够被精确识别和定位。

Description

一种基于图像识别的车辆追踪方法

技术领域

本发明涉及图像识别与追踪技术，更具体地说，涉及一种基于图像识别的车辆追踪方法。

背景技术

对于车辆的定位与追踪，常见的技术为卫星定位，而卫星定位的明显不足在于只能在开阔的室外使用。

对于在室内对车辆进行定位，中国发明专利申请201710458671.6公开了一种车辆定位追踪系统，包括车辆位置的定位和追踪两个步骤。其中，车辆位置定位步骤如下：T-BOX系统监控车辆运行状态；T-BOX系统监控到汽车泊车的ACC OFF信号后向车载定位系统请求停车位置定位信息；车载定位系统定位；T-BOX系统获取的停车位置定位信息并发送到手机终端。车辆位置追踪步骤如下：手机终端获取当前位置信息和所述停车位置定位信息；手机终端通过手机地图规划当前位置到停车位置的路径；手机导航系统导航到停车位置。

上述发明主要用于车辆停在车库等复杂的环境时的车辆位置导航。然而，上述发明通过T-BOX系统、车载定位系统与手机终端的数据交互进行实现，实际上也只适用于寻找车辆，无法实现在室内、桥梁下车辆行驶过程中的精确位置追踪。并且上述发明在追踪过程中需安装车载定位系统，并不容易推广。

跨越至其他领域，对于物体的位置追踪，主要可通过IoT与射频技术、或者图像识别进行实现。

通过IoT与射频技术进行定位与追踪，主要适用于工业生产中，通过上位机进行监控。但通常在系统实现的初期即对全部追踪的物体进行定制，而且IoT与射频技术必须在车辆上放置对应的感应芯片，因此该技术未不适用于车辆的定位与追踪。

通过图像识别进行定位与追踪的现有技术中，主要通过逐个位置的图像识别进行定位，将各个定位点连接成轨迹，统计出追踪路线。而这种方式存在滞后性，且不是真正意义上的追踪，而只是一种位置统计结果的输出。并且这种方式主要以车牌作为识别目标，在车牌不可见的情况下会失去目标。

发明内容

本发明的目的在于克服现有技术的不足，提供一种不需要车辆添置设备，全新思路的主动搜索式的基于图像识别的车辆追踪方法。

本发明的技术方案如下：

一种基于图像识别的车辆追踪方法，基于图像识别提取车辆的特征信息，并在预设的位置进行图像识别、特征信息比较，进而追踪车辆的动态位置。

作为优选，各个监控设备对应于各个路段，通过识别出车辆的监控设备确定车辆所在的路段。

作为优选，监控设备通过图像识别获得的车辆与道路背景，根据图像中车辆与道路背景的位置关系，获得车辆在当前路段的实时位置。

作为优选，在初始识别位置采集车辆图像，基于图像识别，提取车辆图像中的车辆的特征信息。

作为优选，车辆的特征信息为车辆型号、颜色、改装物，基于图像识别确认车辆型号，从预设的车型数据库中获取该车辆型号的车型参数。

作为优选，基于对多张监控图像的图像识别，累积识别该车辆的特征信息和车型参数。

作为优选，标定监控设备的监控图像内的路面各点的坐标，识别出车辆的同一侧两车轮与地面的接触点的坐标F(x₁，y₁)、B(x₂，y₂)，根据坐标F(x₁，y₁)、B(x₂，y₂)结合车型参数，确定车辆的具体位置。

作为优选，进一步地，在同一个监控设备连续进行多次监控图像采集，判定车辆的位移方向，确定车辆的前进方向。

作为优选，根据车辆的前进方向，筛选得到车辆在后可能进入的路段集合，在所述的路段集合对应的所有图像识别区域中，如果监控图像中，车辆被不完全遮挡，则先进行车型识别，如果车辆型号与被追踪车辆一致，则判定为被追踪车辆，并通过车型参数确定车头朝向，以及在路面的具体位置。

作为优选，根据车辆位移的连续性，当通过监控图像识别出车辆被完全遮挡，则统计被完全遮挡的车辆从被完全遮挡前的监控图像至解除被完全遮挡后的监控图像之间的时间和路线，在识别解除被完全遮挡状态而露出的部分图像的车辆时，优先比对在时间和路线上可能出现的车辆特征。

作为优选，如果导航系统规划有导航路线，则结合导航路线，路段集合中位于导航路线上的下一个路段具有最高优先级，与最高优先级的路段相邻的路段具有次高优先级；根据路段的优先级从高到低，依次在对应的监控图像中识别车辆。

作为优选，如果不同优先级的路段中均识别出与被追踪车辆同型号的车辆，则判定最高优先级路段的车辆为被追踪车辆。

作为优选，判定最高优先级路段的车辆为被追踪车辆后，进行下一步操作的同时，识别车辆身份，如果车辆身份匹配被追踪车辆，则忽略，否则判定次高优先级的车辆为被追踪车辆，进行下一步操作的同时，识别车辆身份，以此类推，直至找出被追踪车辆。

作为优选，对于已识别出车辆型号的车辆，根据监控图像上该车辆能够被识别的部件的画面尺寸，结合该监控设备的安装位置、角度，以几何透视方法计算该车辆在路面的具体位置。

作为优选，在连续的监控图像中，根据像素移动规律性判断属于同一辆车的色块，如果在若干连续的监控图像中，有任一帧监控图像可以准确识别出该车辆，则将所有画面中属于该车辆的色块均标记为对应于该车辆。

作为优选，连续两个监控设备存在重叠的监控图像，则根据前一个监控设备对色块的追踪，在监控图像的重叠区将该色块的车辆身份延续给下一个监控设备的同一色块。

本发明的有益效果如下：

本发明所述的基于图像识别的车辆追踪方法，提出一种全新思路的识别与追踪方法，细分了图像识别的具体实现手段，特别适用于车辆的定位与追踪，通过车辆型号和外观特征识别被追踪车辆。并且，基于车辆型号对应的车型参数确定车辆的朝向与前进方向，在预测的位置等待车辆进入，主动等待与捕捉车辆。则本发明以合理的判定逻辑实现识别与追踪，不需要在各个监控位置进行一次完整的识别运算，大大提高执行效率。并且不需要获取整车的图像，在摄像头连续覆盖的条件下，车辆哪怕只露出无任何特征的一小部分，都能够被精确识别和定位。

具体实施方式

以下结合实施例对本发明进行进一步的详细说明。

本发明为了解决现有技术存在的无法有效实现车辆在室内场所的定位与追踪等不足，提供一种基于图像识别的车辆追踪方法，对于车辆在停车场内的位置追踪，即在设定的位置对识别车辆，作为另一种位置追踪技术，本发明提供的方式为：以车辆的特征信息为标识，即先得到确定身份的车辆的特征信息作为识别样本，然后在下一个位置采集车辆的特征信息，与识别样本进行对比，识别车辆身份，进行车辆位置的定位与追踪。本发明中，采用图像识别技术，基于图像识别提取车辆的特征信息，并在预设的位置进行图像识别、特征信息比较，进而追踪车辆的动态位置。

本发明中，识别样本的获取为：先在初始识别位置采集车辆图像，基于图像识别，提取车辆图像中的车辆的特征信息。具体实施时，可在收费卡口、停车场入口、红绿灯路口等车辆缓行位置进行图像采集时进行车辆身份识别与确定的同时，提取车辆的特征信息，然后将车辆身份与特征信息进行关联。如在停车场入口识别车牌、进场时间的同时，提取车辆的特征信息。而且，将初始识别位置设置在这些位置，由于车辆通常在这些位置车速较慢，或者静止几秒钟，能够更好地进行图像采集、识别与特征信息提取。

本发明通过监控设备采集监控图像，并基于图像识别，则需要在多个位置设置监控设备，且各个监控设备对应于各个路段，即可通过识别出车辆的监控设备确定车辆所在的路段。

由于每个监控设备采集的监控图像由于角度、方向、高度等不同，监控图像中显示的路段的长度也不同，往往可以包含多个路口，有的甚至可以包含整条路段。为了能够更精确地识别出车辆的具体位置，如在当前路段内的具体位置，本发明中，监控设备通过图像识别获得的车辆与道路背景，根据图像中车辆与道路背景的位置关系，获得车辆在当前路段的实时位置。其中，道路背景可包括路面、墙面或者公共设施，进而位置关系可以是车辆与路面、墙面或者公共设施的位置关系。

本实施例中，车辆的特征信息为车辆型号、颜色、改装物的一种或多种，基于图像识别确认车辆型号，从预设的车型数据库中获取该车辆型号的车型参数。根据监控设备通过图像识别获得的车辆与道路背景的位置关系，进而追踪车辆的动态位置。对于指定的位置，只要车辆出现在该位置的监控区域内，即可判断出车辆所在的区域。通过图像识别的方法进行监控，识别范围小，即精度高，能够较精确地追踪车辆的位置。

由于车辆的改款与升级，或者改装，在一定程度上会改变原车辆的外观与车型参数，或者室内环境的光线不均，墙体遮挡等等因素，造成某些角度较难准确地识别出车辆型号，则为了保证车型参数的获得，本发明中，基于对多张监控图像的图像识别，从每张监控图像中识别并累积部分车型参数，多个监控设备同时获取多张不同角度的监控图像，逐步累积该车辆的车型参数和特征信息，即累积识别该车辆的车型参数和特征信息。

通常情况下，以路面作为参照面更直观，且监控设备对准的方向通常包括更多的路面信息，则本实施例中，以路面作为主要道路背景，标定监控设备的监控图像内的路面各点的坐标，识别出车辆的同一侧两车轮与地面的接触点的坐标F(x₁，y₁)、B(x₂，y₂)，根据坐标F(x₁，y₁)、B(x₂，y₂)结合车型参数，确定车头朝向，确定车辆在路面的具体位置。即根据车轮和地面的接触点，两个车轮和地面接触点的连线的角度和方向以及车轮在路面上的落点位置(路面的每个点都可以和实际物理坐标对应)，结合车型参数，就能够计算该车辆的物理位置。可以将车头的朝向作为车辆前进的方向。进一步地，为了再次确认车辆的前进方向，可在同一个监控设备连续进行多次监控图像采集，判定车辆的位移方向，确定车辆的前进方向。

追踪车辆需要连续进行，为了提高运算效率，本发明中不在每个位置都进行一次完整的识别与计算，而是依照连续性原则，在已识别车辆的特征信息的基础上，基于全局数据，可以快速统计出所有可能进入的图像识别区域，根据车辆的前进方向，筛选得到车辆在后可能进入的路段集合，即车辆可能进入的下一个图像识别区域。而对于极可能出现的车辆被遮挡的情况，在所述的路段集合对应的所有图像识别区域中，如果监控图像中，车辆被不完全遮挡，则先进行车型识别，如果车辆型号与被追踪车辆一致，且该区域不存在其它同型号车辆时，则判定为被追踪车辆，并通过车型参数确定车头朝向，以及在路面的具体位置。例如，当车轮被挡住时，依照之前车轮露出时的监控位置，结合当前露出的部位和角度，推算当前车辆所在位置。如前一个图像识别区域中采集到完整车辆图像，后面一个画面有车遮挡了部分车辆图像，由于物理位移是移动的，所以该车辆未被遮挡的部分通过车型参数仍然能够判断出准确位置。

对于可能出现的情况，即车辆在连续的几处监控设备的监控图像中，均被完全遮挡，为了保证该情况下能够第一时间重新获得追踪。本发明中，根据车辆位移的连续性(即车辆将连续出现在有序排列的监控设备的监控图像中，进而只预测车辆下一个出现的地方所对应的监控设备)，当通过监控图像识别出车辆被完全遮挡，则统计被完全遮挡的车辆从被完全遮挡前的监控图像至解除被完全遮挡状态后的监控图像之间的时间和路线，在识别解除被完全遮挡状态后而露出的部分图像的车辆时，优先比对在时间和路线上所有可能出现的的车辆特征。而未被连续完全遮挡的车辆则允许被降低识别优先级，如果在前一监控设备由于处理不及时而错过，可在下一监控设备中进行识别，即可认为被完全遮挡，以提高追踪的有效性。

如果导航系统规划有导航路线，则结合导航路线，能够预测最有可能进入的图像识别区域，并可进行优先级排列，本实施例中，路段集合中位于导航路线上的下一个路段具有最高优先级，与最高优先级的路段相邻的路段具有次高优先级；根据路段的优先级从高到低，依次在对应的监控图像中识别车辆。

作为冲突容错手段，如果不同优先级的路段中均识别出与被追踪车辆同型号的车辆，则判定最高优先级路段的车辆为被追踪车辆。作为合理的逻辑，在导航路线的指导下，车辆更有可能依照导航路线前进，则优先判定最高优先级路段的车辆为被追踪车辆。

同时，本发明也提供纠错手段，即判定最高优先级路段的车辆为被追踪车辆后，进行下一步操作的同时，识别车辆身份，如果车辆身份匹配被追踪车辆，则忽略，否则判定次高优先级的车辆为被追踪车辆，进行下一步操作的同时，识别车辆身份，以此类推，直至找出被追踪车辆。由于识别车辆身份作为一次完整的识别运算，需要消耗更多的运算资源，则本发明尽量避免在每个路段进行完整的识别运算，而只在小概率的同时出现相同车型时，才进行身份识别，而且身份识别的同时不影响其他操作的进行，保证车辆追踪的连续性。

本发明还提供另一种车辆识别、定位与追踪的技术思路，即对于已识别出车辆型号的车辆，根据监控图像上该车辆能够被识别的部件的画面尺寸，结合该监控设备的安装位置、角度，以几何透视方法计算该车辆在路面的具体位置。例如识别出车辆的天窗，从天窗被拍摄到的监控图像上，长宽像素数量及方向，与监控设备的位置角度构成一个三角椎体，椎体顶端是监控设备，椎体底面是被识别的部件(即天窗)，由监控设备的位置、角度结合该天窗在监控图像上的像素大小和边缘方向，即可计算出天窗的实际三维物理位置，再由车型参数，依据天窗的实际三维物理位置可推算出整车的实际三维物理位置。再例如，当知道车辆的实际尺寸(从车型参数获知)，也知道监控设备的安装位置和角度，根据监控图像上车辆某一面上沿的长度和方向，以及边缘或者下沿的长度和方向，(由于三维物体在被摄像头拍摄时因为几何透视原理，在画面上的尺寸会因角度和距离发生变化)，就能推算出该车辆的实际空间位置。

对于车辆的追踪，则以色块作为标识，通过色块的连续性进行识与追踪。即在连续的监控图像中，根据像素移动规律性(色块在不同监控设备的监控图像中，像素与颜色具有一定规律性，这规律性可证明这些像素和颜色构成的色块是同一物理物体)判断属于同一辆车的色块，如果在若干连续的监控图像中，有任一帧监控图像可以准确识别出该车辆，则将所有画面中属于该车辆的色块均标记为对应于该车辆，是一种逆向反推与统计的技术思路。对于在前发生的未能够被识别的数据进行保留，当识别成功时，以色块为标识，反推在前发生的未能够被识别的数据，进行逆向识别。该部分也可以用机器学习的方式实现，如通过对大量车辆的轮廓标定，实现基于画面判断哪些色块属于同一辆车，与色块追踪的原理相同。从效果上看，只要某个监控图像中哪怕只露出一小部分，也知道这部分实际是哪辆车。

为了实现追踪的连续性与高效过渡，连续两个监控设备存在重叠的监控图像，则根据前一个监控设备对色块的追踪，在监控图像的重叠区将该色块的车辆身份延续给下一个监控设备的同一色块。跨监控设备对监控图像上哪些色块是同一车辆也可以用机器学习方式实现，通过对两个监控设备重叠区域同一辆车的大量标定，用机器学习训练出可以识别色块属于同一辆车的模型。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (16)

1.一种基于图像识别的车辆追踪方法，其特征在于，基于图像识别提取车辆的特征信息，并在预设的位置进行图像识别、特征信息比较，进而追踪车辆的动态位置。

2.根据权利要求1所述的基于图像识别的车辆追踪方法，其特征在于，各个监控设备对应于各个路段，通过识别出车辆的监控设备确定车辆所在的路段。

3.根据权利要求2所述的基于图像识别的车辆追踪方法，其特征在于，监控设备通过图像识别获得的车辆与道路背景，根据图像中车辆与道路背景的位置关系，获得车辆在当前路段的实时位置。

4.根据权利要求1所述的基于图像识别的车辆追踪方法，其特征在于，在初始识别位置采集车辆图像，基于图像识别，提取车辆图像中的车辆的特征信息。

5.根据权利要求3或4所述的基于图像识别的车辆追踪方法，其特征在于，车辆的特征信息为车辆型号、颜色、改装物，基于图像识别确认车辆型号，从预设的车型数据库中获取该车辆型号的车型参数。

6.根据权利要求5所述的基于图像识别的车辆追踪方法，其特征在于，基于对多张监控图像的图像识别，累积识别该车辆的特征信息和车型参数。

7.根据权利要求5所述的基于图像识别的车辆追踪方法，其特征在于，标定监控设备的监控图像内的路面各点的坐标，识别出车辆的两车轮与地面的接触点的坐标F(x₁，y₁)、B(x₂，y₂)，根据坐标F(x₁，y₁)、B(x₂，y₂)结合车型参数，确定车辆在路面的具体位置。

8.根据权利要求7所述的基于图像识别的车辆追踪方法，其特征在于，在同一个监控设备连续进行多次监控图像采集，判定车辆的位移方向，确定车辆的前进方向。

9.根据权利要求8所述的基于图像识别的车辆追踪方法，其特征在于，根据车辆的前进方向，筛选得到车辆在后可能进入的路段集合，在所述的路段集合对应的所有图像识别区域中，如果监控图像中，车辆被不完全遮挡，则先进行车型识别，如果车辆型号与被追踪车辆一致，则判定为被追踪车辆，并通过车型参数确定车头朝向，以及在路面的具体位置。

10.根据权利要求9所述的基于图像识别的车辆追踪方法，其特征在于，根据车辆位移的连续性，当通过监控图像识别出车辆被完全遮挡，则统计被完全遮挡的车辆从被完全遮挡前的监控图像至解除被完全遮挡后的监控图像之间的时间和路线，在识别解除被完全遮挡状态而露出的部分图像的车辆时，优先比对在时间和路线上可能出现的车辆特征。

11.根据权利要求9或10所述的基于图像识别的车辆追踪方法，其特征在于，如果导航系统规划有导航路线，则结合导航路线，路段集合中位于导航路线上的下一个路段具有最高优先级，与最高优先级的路段相邻的路段具有次高优先级；根据路段的优先级从高到低，依次在对应的监控图像中识别车辆。

12.根据权利要求11所述的基于图像识别的车辆追踪方法，其特征在于，如果不同优先级的路段中均识别出与被追踪车辆同型号的车辆，则判定最高优先级路段的车辆为被追踪车辆。

13.根据权利要求12所述的基于图像识别的车辆追踪方法，其特征在于，判定最高优先级路段的车辆为被追踪车辆后，进行下一步操作的同时，识别车辆身份，如果车辆身份匹配被追踪车辆，则忽略，否则判定次高优先级的车辆为被追踪车辆，进行下一步操作的同时，识别车辆身份，以此类推，直至找出被追踪车辆。

14.根据权利要求5所述的基于图像识别的车辆追踪方法，其特征在于，对于已识别出车辆型号的车辆，根据监控图像上该车辆能够被识别的部件的画面尺寸，结合该监控设备的安装位置、角度，以几何透视方法计算该车辆在路面的具体位置。

15.根据权利要求14所述的基于图像识别的车辆追踪方法，其特征在于，在连续的监控图像中，根据像素移动规律性判断属于同一辆车的色块，如果在若干连续的监控图像中，有任一帧监控图像可以准确识别出该车辆，则将所有画面中属于该车辆的色块均标记为对应于该车辆。

16.根据权利要求15所述的基于图像识别的车辆追踪方法，其特征在于，连续两个监控设备存在重叠的监控图像，则根据前一个监控设备对色块的追踪，在监控图像的重叠区将该色块的车辆身份延续给下一个监控设备的同一色块。