CN112037265A - 一种库位跟踪方法及装置 - Google Patents

Abstract

本发明提供一种库位跟踪方法及装置，方法包括：获取车辆在不同时间下的全景鸟瞰图；针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域；基于光流跟踪法在第一全景鸟瞰图的目标图像区域内跟踪库位角点得到库位角点的视觉跟踪结果，目标图像区域为面积最小的、能够在第一全景鸟瞰图的相应区域内检测到库位角点的一层图像区域；获取库位角点的轮速跟踪结果，并通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。本发明采用视觉检测的方法对自动泊车过程中已经锁定好的库位进行实时定位，从而修正轮速跟踪所带来的累计误差问题，大幅度提高一次泊车入位、以及居中停靠的概率，提高用户体验。

Description

一种库位跟踪方法及装置

技术领域

本发明涉及智能驾驶技术领域，更具体地说，涉及一种库位跟踪方法及装置。

背景技术

目前市面上很多智能车辆所带的泊车辅助系统都具有自动泊车功能，其主要工作过程为探测库位、锁定库位、跟踪库位并自动泊车、完成泊车这四个步骤。

其中，跟踪库位并自动泊车是一个容易受到各种场景因素影响的动态过程。这一过程行车速度低、并伴随着大量的方向盘转动、启动停止、换挡等步骤，一旦地面存在坡度或路况不好，轮速计的跟踪工作就会发生偏差并不断积累，很容易泊车入位发生偏移甚至是出现撞车的情况。

发明内容

有鉴于此，为解决上述问题，本发明提供一种库位跟踪方法及装置，技术方案如下：

一种库位跟踪方法，所述方法包括：

获取车辆在不同时间下的全景鸟瞰图；

针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，所述跟踪区域由多层以所述库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积；

基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，所述目标图像区域为面积最小的、能够在所述第一全景鸟瞰图的相应区域内检测到所述库位角点的一层图像区域；

获取所述库位角点的轮速跟踪结果，并通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

优选的，所述目标图像区域的确定过程，包括：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；

分别将所述第一全景鸟瞰图的所述候选图像区域、以及所述第二全景鸟瞰图的所述候选图像区域划分为多个子区域；

分别统计所述第一全景鸟瞰图的各子区域、所述第二全景鸟瞰图的各子区域的灰度值概率直方分布；

针对所述第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与所述第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；

统计各区域对的移动趋势，所述移动趋势包括移动方向和移动距离；

判断统计结果中是否存在主体移动趋势，所述主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；

若是，则将所述候选图像区域作为目标图像区域；

若否，则执行所述按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

优选的，所述基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，包括：

确定各区域对中移动趋势属于所述主体移动趋势的目标区域对；

将所述目标区域对的移动方向作为所述库位角点的移动方向，将所述目标区域对的移动距离的均值作为所述库位角点的移动距离；

基于所述库位角点的移动方向和移动距离确定所述库位角点的移动轨迹。

优选的，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪失败，则将所述库位角点的轮速跟踪结果作为实际跟踪结果。

优选的，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、且所述车辆所在路面的坡度大于预设坡度阈值，则将所述库位角点的视觉跟踪结果作为实际跟踪结果；

或者

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、所述车辆所在路面的坡度小于等于所述预设坡度阈值、且所述库位与所述车辆的后轴中心的距离小于等于预设距离阈值，则将所述库位角点的视觉跟踪结果作为实际跟踪结果。

优选的，所述方法还包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、且所述车辆所在路面的坡度大于所述预设坡度阈值，使用所述库位角点的视觉跟踪结果修正所述库位角点的轮速跟踪结果。

优选的，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

所述库位角点的视觉跟踪结果表征库位跟踪成功、所述车辆所在路面的坡度小于等于预设坡度阈值、且所述库位与所述车辆的后轴中心的距离大于预设距离阈值，对所述库位角点的视觉跟踪结果和轮速跟踪结果进行双校验得到实际跟踪结果。

一种库位跟踪装置，所述装置包括：

图像获取模块，用于获取车辆在不同时间下的全景鸟瞰图；

跟踪区域确定模块，用于针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，所述跟踪区域由多层以所述库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积；

库位跟踪模块，用于基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，所述目标图像区域为面积最小的、能够在所述第一全景鸟瞰图的相应区域内检测到所述库位角点的一层图像区域；获取所述库位角点的轮速跟踪结果，并通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

优选的，所述库位跟踪模块确定目标图像区域的过程，包括：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；分别将所述第一全景鸟瞰图的所述候选图像区域、以及所述第二全景鸟瞰图的所述候选图像区域划分为多个子区域；分别统计所述第一全景鸟瞰图的各子区域、所述第二全景鸟瞰图的各子区域的灰度值概率直方分布；针对所述第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与所述第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；统计各区域对的移动趋势，所述移动趋势包括移动方向和移动距离；判断统计结果中是否存在主体移动趋势，所述主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；若是，则将所述候选图像区域作为目标图像区域；若否，则执行所述按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

优选的，所述库位跟踪模块基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，包括：

确定各区域对中移动趋势属于所述主体移动趋势的目标区域对；将所述目标区域对的移动方向作为所述库位角点的移动方向，将所述目标区域对的移动距离的均值作为所述库位角点的移动距离；基于所述库位角点的移动方向和移动距离确定所述库位角点的移动轨迹。

本发明提供一种库位跟踪方法及装置，采用视觉检测的方法对自动泊车过程中已经锁定好的库位进行实时定位，从而修正轮速跟踪所带来的累计误差问题，大幅度提高一次泊车入位、以及居中停靠的概率，提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的库位跟踪方法的方法流程图；

图2为本发明实施例提供的全景鸟瞰图示例；

图3为本发明实施例提供的光流跟踪示意图；

图4为本发明实施例提供的子区域对匹配示意图；

图5为本发明实施例提供的泊车场景示意图；

图6为本发明实施例提供的库位跟踪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

现阶段，自动泊车功能开启，一旦库位被锁定，路径规划完成，车辆就开始了自动泊车过程，车辆中配置有精确的轮速计来计算车辆行驶的速度、加速度，然后计算单位时间下行驶的距离，并以此来定位运动中的车辆与库位的相对距离。但是轮速计的工作是不依赖其他信息的，在地面存在坡度或路况不好等恶劣场景下就会发生偏差，使得泊车入位发生偏移甚至是撞车的危险。

最常见的解决方法是泊车进入到车位一定位置后，再次重新探测停车位并锁定新车位，再进行重新规划，虽然最终成功几率很大，但是通常需要重新规划并调整车辆姿态3次以上才能够泊正车辆，这不仅浪费大量时间，而且当路况复杂时，会带来了极大的不方便，甚至路况都没有重新规划调整车辆姿态的空间。

为解决以上问题，本发明采用视觉定位跟踪库位的方案修正轮速计的轮速跟踪结果，参见图1所示的方法流程图，本发明实施例提供一种库位跟踪方法，该方法包括如下步骤：

S10，获取车辆在不同时间下的全景鸟瞰图。

本发明实施例中，车辆中配置有车载360度全景摄像头，基于该车载360度全景摄像头能够获得车辆所在环境的影像，进而对该影像进行场景识别，获得车辆所在环境的信息，包括路况、障碍物、以及地面标识。

进一步，本发明在获得可以通过车辆坐标系到全景鸟瞰图的图像坐标系的转换，将车辆所在环境的影像映射到全景鸟瞰图的图像坐标系中，获得车辆在不同时间下的全景鸟瞰图。

参见图2所示的全景鸟瞰图示例。图像坐标系原点（0,0）在左上，车辆中心坐标为（500,325），其他距离信息如图，单位为像素。假设，这里每个像素代表实际的距离为2厘米，所以400像素就代表车辆左侧有800cm的距离范围。同理，当我们在图像上检测到库位后，就可以通过1像素=2厘米的比例进行转换，以实现将库位位置从车辆坐标系转换到全景鸟瞰图的图像坐标系中。

S20，针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，跟踪区域由多层以库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积。

本发明实施例中，可以预先设置一个库位跟踪的单位区间，对每个单位区间内的第一帧全景鸟瞰图进行库位检测，以判定其画幅中是否存在库位，对第二帧以及后续的其他帧全景鸟瞰图，则以光流跟踪法进行库位角点的跟踪。当然，该单位区间可以以全景鸟瞰图的帧数为维度（比如每8帧全景鸟瞰图为一个单位区间）、还可以以全景鸟瞰图的时长为维度（比如每30S内的全景鸟瞰图为一个单位区间）进行设置，本发明实施例对此不做限定。

而在一个单位区间，某一帧全景鸟瞰图是以其前一帧全景鸟瞰图作为库位跟踪的基准的。

参见图3所示的光流跟踪示意图。每个库位都拥有四个角点，跟踪库位的本质就是对其四个库位角点的跟踪，因此本发明实施例选取前一帧全景鸟瞰图，即第二全景鸟瞰图中已经检测出来的四个库位角点的位置，然后直接使用。

将第二全景鸟瞰图中库位的四个角点作为跟踪起始点集，以每个库位角点为中心，采用金字塔的方式形成多层图像区域，将其作为该库位角点的跟踪区域。以三层图像区域为例，如图3中三层虚线框所示，以其中的库位角点为中心，按照不同像素距离取正方形范围，这样就可以得到多个不同面积的图像区域，从大到小就形成了图像金字塔，多个图像区域就形成了多层区域。

此外，对于跟踪区域，本发明实施例还可以进行自适应调节，具体可以以车速作为调节依据，例如：

当车速≤20km/h时，跟踪区域的多层图像区域采用采用默认设定值，即共计三层，每一层大小为30*30，45*45，60*60（单位为厘米）；当车速＞20km/h（根据要求自动泊车功能开启车速不超过35km/h），以20作为基准，每一层图像区域的宽和高均乘以相应的车速放大系数。假设，车速为30 km/h时，车速放大系数为30/20=1.5，此时跟踪区域的三层图像区域分别为45*45,68*68, 90*90。

S30，基于光流跟踪法在第一全景鸟瞰图的目标图像区域内跟踪库位角点得到库位角点的视觉跟踪结果，目标图像区域为面积最小的、能够在第一全景鸟瞰图的相应区域内检测到库位角点的一层图像区域。

本发明实施例中，当自动泊车运行后，新的一帧全景鸟瞰图使用前一帧全景鸟瞰图的跟踪区域，将跟踪区域内的库位角点作为特征点进行光流跟踪，形成新的跟踪点集，获得该库位角点的移动轨迹，包含移动方向和移动距离。将跟踪点集所有点的轨迹进行融合处理，可以得到泊车过程中被锁定的库位相对于车辆的位置与方向变化。

其中，新的跟踪点集是指完成一次库位角点跟踪后，原来4个库位角点的位置就会发生了变化，所以新的位置就替换了原来的位置，形成了新的跟踪点集。因此，更新的是库位角点的位置，点集里依然是4个点。

需要说明的是，光流跟踪是指跟踪前后两帧图像在平移过程中目标发生的微小图像变化，并以此确定目标在后一帧上的位置。而在本发明实施例中，基于光流跟踪法跟踪库位角点的具体实现原理是，使用库位角点的跟踪区域，针对各层图像区域，确定前后两帧全景鸟瞰图在该区域中灰度差最小、且高度相似的位置作为候选位置，进一步从所有候选位置中选取灰度差最小的位置作为目标位置，该位置即为库位角点在后一帧全景鸟瞰图的位置。

具体实现过程中，目标图像区域的确定过程，包括如下步骤：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；分别将第一全景鸟瞰图的候选图像区域、以及第二全景鸟瞰图的候选图像区域划分为多个子区域；分别统计第一全景鸟瞰图的各子区域、第二全景鸟瞰图的各子区域的灰度值概率直方分布；针对第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；统计各区域对的移动趋势，移动趋势包括移动方向和移动距离；判断统计结果中是否存在主体移动趋势，主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；若是，则将候选图像区域作为目标图像区域；若否，则执行按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

参见图4所示的子区域对匹配示意图。以第二全景鸟瞰图在库位角点周围所选取的一层图像区域作为候选图像区域为例，在第一全景鸟瞰图上也存在一个大小和位置相同的区域。将第二全景鸟瞰图的候选图像区域记为A、第一全景鸟瞰图的候选图像区域记为A’，则在A区域和A’区域分别划分出多个大小相同的子区域。

首先对第一全景鸟瞰图和第二全景鸟瞰图进行图像灰度化处理，然后分别统计A’区域的各子区域和A区域的各子区域的灰度值直方分布，该灰度值直方分布可以以分布直方图的形式体现，即横坐标为0，1 … 255的灰度值、纵坐标为灰度值出现的概率。进而，将A’区域的各子区域的灰度值直方分布和A区域的各子区域的灰度值直方分布转换为1*256位特征向量。

针对A区域中的每一个子区域，计算其与A’区域的各子区域的相似度，具体的，使用两个特征向量进行余弦距离的计算，距离越趋于0表示两个子区域的相似度越高、越趋于1表示相似度很低。通过设置相似度阈值，选择A’区域的相似度大于相似度阈值、且相似度最大的一个子区域与该A区域的子区域构成子区域对。如图4中箭头所指示的一对子区域，即为一个子区域对。

进一步，对于在某一层图像区域所获得的子区域对，可以统计各子区域对的移动趋势，即移动方向和移动距离，并从中寻找主体移动趋势，其中主体移动趋势可以是至少占比三分之二的子区域对移动趋势都相同，即移动方向相同、移动距离均属于某一范围内。

当然，如果某一层图像区域没有获得子区域对/没有找到主体移动趋势则表示A’区域中不存在库位角点，此时再选择面积较大的一层图像区域作为候选图像区域，并再次执行上述步骤，直到遍历完跟踪区域全部层的图像区域为止，如果在面积最大的一层图像区域也没有获得子区域对/没有找到主体移动趋势，则表示视觉跟踪失败。

在此基础上，步骤S30中“基于光流跟踪法在第一全景鸟瞰图的目标图像区域内跟踪库位角点得到库位角点的视觉跟踪结果”可以采用如下步骤：

确定各区域对中移动趋势属于主体移动趋势的目标区域对；将目标区域对的移动方向作为库位角点的移动方向，将目标区域对的移动距离的均值作为库位角点的移动距离；基于库位角点的移动方向和移动距离确定库位角点的移动轨迹。

本发明实施例中，可以删除移动趋势不属于主体移动趋势的区域对，删除完成后，所有保留的目标区域对进行移动距离的均值计算，所得结果即为库位角点的移动距离。此外，目标区域对的移动方向即为库位角点的移动方向。由此，即可获得库位在连续全景鸟瞰图中的位置变化，从而得到最新位置。

S40，获取库位角点的轮速跟踪结果，并通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

本发明实施例中，轮速跟踪是在泊车过程中一直进行的工作，因此在进行库位跟踪时可以同时获得库位角点的轮速跟踪结果和视觉跟踪结果。

对于轮速跟踪，由于轮速计都存在相应的误差，运动一定距离会便会造成误差累计，而轮速计不会自动修正；对于视觉跟踪，其有可能受到库位超出画面或者被遮挡的影响，造成结果不准确。

对此，本发明实施例可以结合视觉跟踪结果和泊车场景切换轮速跟踪和视觉跟踪，保证泊车连续性。此外，还可以使用双校验的方式保证跟踪的精确性。具体的：

1）如果库位角点的视觉跟踪结果表征库位跟踪失败，则将库位角点的轮速跟踪结果作为实际跟踪结果。

视觉跟踪可能会受到超出画面或被遮挡的影响，在库位超出画幅、视觉检测无法检测到库位，或者库位未超出画幅、但被遮挡导致至少2个库位角点没有被跟踪到，或者由于其他环境原因视觉跟踪无输出，此时考虑到泊车连续性，采用轮速跟踪结果作为实际跟踪结果。

2）如果库位角点的视觉跟踪结果表征库位跟踪成功、且车辆所在路面的坡度大于预设坡度阈值，则将库位角点的视觉跟踪结果作为实际跟踪结果。

视觉跟踪成功输出至少三个库位角点的移动轨迹、且路面坡度大于3°，则由于此时轮速跟踪的误差非常大，因此采用视觉跟踪结果作为实际跟踪结果。

进一步，使用库位角点的视觉跟踪结果修正库位角点的轮速跟踪结果。通过对比轮速跟踪结果和视觉跟踪结果，如果检测到轮速跟踪连续多帧的误差都超过某一阈值（大量测试后的统计学结果），则此时即可确定轮速跟踪出现问题，因此采用视觉跟踪结果对轮速跟踪结果进行位置修正，以消除轮速跟踪累计的误差，使得泊车过程中可以随时调整位姿，保证行车轨迹能够得到实时修正，从而提高一次泊车完成的成功率和准确率。

3）如果库位角点的视觉跟踪结果表征库位跟踪成功、车辆所在路面的坡度小于等于预设坡度阈值、且库位与车辆的后轴中心的距离小于等于预设距离阈值，则将库位角点的视觉跟踪结果作为实际跟踪结果。

视觉跟踪成功输出至少三个库位角点的移动轨迹、且路面坡度小于等于3°、库位与车辆后轴中心的距离小于等于3米，此时视觉效果最好，因此采用视觉跟踪结果作为实际跟踪结果。

需要说明的是，库位距离车辆后轴中心的距离即为库位距离车辆近端的线段中点到车辆后轴中心的直线距离。

4）库位角点的视觉跟踪结果表征库位跟踪成功、车辆所在路面的坡度小于等于预设坡度阈值、且库位与车辆的后轴中心的距离大于预设距离阈值，对库位角点的视觉跟踪结果和轮速跟踪结果进行双校验得到实际跟踪结果。

视觉跟踪成功输出至少三个库位角点的移动轨迹、且路面坡度小于等于3°、库位与车辆后轴中心的距离大于3米，此时采用双校验结果，即确定视觉跟踪结果的可靠度比例系数α、以及轮速跟踪结果的可靠度比例系数1-α。α计算方法如下：

参见图5所示的泊车场景示意图。当前时间下的第一全景鸟瞰图中，库位与车辆后轴中心的距离即库位距离车近端的线段中点A到后轴中心O直线距离，长度为D1，此时D1＞3米，取其差值D1’ = (D1 - 3)；沿OA向做远离车辆方向的延长线，交第一全景鸟瞰图画幅边缘的交点为P，读取AP的长度为D2，则α=1.0 – D1’ / D2。

因此，采用双校验结果时，实际跟踪结果=视觉跟踪结果*α+轮速跟踪结果*(1-α)。

本发明的视觉跟踪仅针对被锁定库位周围一定范围内进行处理，并且采取特征点跟踪方式，可以有效进行旋转、颠簸、形变等各种工况下的跟踪，稳定且高效。从而可以对自动泊车中被锁定的库位进行实时跟踪，并可以对轮速跟踪的累积误差进行修正，从而实现自动精确泊车入位。

由于在整个泊车过程中，库位可能会超出图像画面或被遮挡，当跟踪点集的跟踪置信度降低时，跟踪方式将切换到轮速跟踪。当库位重新回到画面中或者距离车越来越近，跟踪方式从轮速切换到视觉跟踪，并进行双校验，从而实现无缝衔接。

此外，由于视觉跟踪是包含图像信息的，所以一段时间内对轮速跟踪进行一次轨迹修正，从而保持修正后的轮速信息误差最小，不会因为误差累积而导致出现轨迹偏离。

综上，本发明是一种可以在自动泊车过程中实时跟踪并修正泊车路线的方法。能够有效提高泊车精度及成功率。本发明结构清晰、方法简洁、实时性好、鲁棒性强。

基于以上实施例提供的库位跟踪方法，本发明实施例则提供一种执行上述库位跟踪方法的装置，该装置的结构示意图如图6所示，包括：

图像获取模块10，用于获取车辆在不同时间下的全景鸟瞰图；

跟踪区域确定模块20，用于针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，跟踪区域由多层以库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积；

库位跟踪模块30，用于基于光流跟踪法在第一全景鸟瞰图的目标图像区域内跟踪库位角点得到库位角点的视觉跟踪结果，目标图像区域为面积最小的、能够在第一全景鸟瞰图的相应区域内检测到库位角点的一层图像区域；获取库位角点的轮速跟踪结果，并通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

可选的，库位跟踪模块30确定目标图像区域的过程，包括：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；分别将第一全景鸟瞰图的候选图像区域、以及第二全景鸟瞰图的候选图像区域划分为多个子区域；分别统计第一全景鸟瞰图的各子区域、第二全景鸟瞰图的各子区域的灰度值概率直方分布；针对第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；统计各区域对的移动趋势，移动趋势包括移动方向和移动距离；判断统计结果中是否存在主体移动趋势，主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；若是，则将候选图像区域作为目标图像区域；若否，则执行按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

可选的，库位跟踪模块30基于光流跟踪法在第一全景鸟瞰图的目标图像区域内跟踪库位角点得到库位角点的视觉跟踪结果，包括：

确定各区域对中移动趋势属于主体移动趋势的目标区域对；将目标区域对的移动方向作为库位角点的移动方向，将目标区域对的移动距离的均值作为库位角点的移动距离；基于库位角点的移动方向和移动距离确定库位角点的移动轨迹。

可选的，库位跟踪模块30通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果库位角点的视觉跟踪结果表征库位跟踪失败，则将库位角点的轮速跟踪结果作为实际跟踪结果。

可选的，库位跟踪模块30通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果库位角点的视觉跟踪结果表征库位跟踪成功、且车辆所在路面的坡度大于预设坡度阈值，则将库位角点的视觉跟踪结果作为实际跟踪结果；

或者

如果库位角点的视觉跟踪结果表征库位跟踪成功、车辆所在路面的坡度小于等于预设坡度阈值、且库位与车辆的后轴中心的距离小于等于预设距离阈值，则将库位角点的视觉跟踪结果作为实际跟踪结果。

可选的，库位跟踪模块30还用于：

如果库位角点的视觉跟踪结果表征库位跟踪成功、且车辆所在路面的坡度大于预设坡度阈值，使用库位角点的视觉跟踪结果修正库位角点的轮速跟踪结果。

可选的，库位跟踪模块30通过处理库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

库位角点的视觉跟踪结果表征库位跟踪成功、车辆所在路面的坡度小于等于预设坡度阈值、且库位与车辆的后轴中心的距离大于预设距离阈值，对库位角点的视觉跟踪结果和轮速跟踪结果进行双校验得到实际跟踪结果。

本发明实施例提供的库位跟踪装置，采用视觉检测的方法对自动泊车过程中已经锁定好的库位进行实时定位，从而修正轮速跟踪所带来的累计误差问题，大幅度提高一次泊车入位、以及居中停靠的概率，提高用户体验。

以上对本发明所提供的一种库位跟踪方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种库位跟踪方法，其特征在于，所述方法包括：

获取车辆在不同时间下的全景鸟瞰图；

针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，所述跟踪区域由多层以所述库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积；

基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，所述目标图像区域为面积最小的、能够在所述第一全景鸟瞰图的相应区域内检测到所述库位角点的一层图像区域；

获取所述库位角点的轮速跟踪结果，并通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述目标图像区域的确定过程，包括：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；

分别将所述第一全景鸟瞰图的所述候选图像区域、以及所述第二全景鸟瞰图的所述候选图像区域划分为多个子区域；

分别统计所述第一全景鸟瞰图的各子区域、所述第二全景鸟瞰图的各子区域的灰度值概率直方分布；

针对所述第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与所述第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；

统计各区域对的移动趋势，所述移动趋势包括移动方向和移动距离；

判断统计结果中是否存在主体移动趋势，所述主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；

若是，则将所述候选图像区域作为目标图像区域；

若否，则执行所述按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

3.根据权利要求2所述的方法，其特征在于，所述基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，包括：

确定各区域对中移动趋势属于所述主体移动趋势的目标区域对；

将所述目标区域对的移动方向作为所述库位角点的移动方向，将所述目标区域对的移动距离的均值作为所述库位角点的移动距离；

基于所述库位角点的移动方向和移动距离确定所述库位角点的移动轨迹。

4.根据权利要求1所述的方法，其特征在于，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪失败，则将所述库位角点的轮速跟踪结果作为实际跟踪结果。

5.根据权利要求1所述的方法，其特征在于，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、且所述车辆所在路面的坡度大于预设坡度阈值，则将所述库位角点的视觉跟踪结果作为实际跟踪结果；

或者

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、所述车辆所在路面的坡度小于等于所述预设坡度阈值、且所述库位与所述车辆的后轴中心的距离小于等于预设距离阈值，则将所述库位角点的视觉跟踪结果作为实际跟踪结果。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

如果所述库位角点的视觉跟踪结果表征库位跟踪成功、且所述车辆所在路面的坡度大于所述预设坡度阈值，使用所述库位角点的视觉跟踪结果修正所述库位角点的轮速跟踪结果。

7.根据权利要求1所述的方法，其特征在于，所述通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果，包括：

所述库位角点的视觉跟踪结果表征库位跟踪成功、所述车辆所在路面的坡度小于等于预设坡度阈值、且所述库位与所述车辆的后轴中心的距离大于预设距离阈值，对所述库位角点的视觉跟踪结果和轮速跟踪结果进行双校验得到实际跟踪结果。

8.一种库位跟踪装置，其特征在于，所述装置包括：

图像获取模块，用于获取车辆在不同时间下的全景鸟瞰图；

跟踪区域确定模块，用于针对当前时间下的第一全景鸟瞰图，确定距离当前时间最近的第二全景鸟瞰图中库位角点的跟踪区域，所述跟踪区域由多层以所述库位角点为中心的图像区域构成、且相邻两层图像区域中上层图像区域的面积小于下层图像区域的面积；

库位跟踪模块，用于基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，所述目标图像区域为面积最小的、能够在所述第一全景鸟瞰图的相应区域内检测到所述库位角点的一层图像区域；获取所述库位角点的轮速跟踪结果，并通过处理所述库位角点的视觉跟踪结果和轮速跟踪结果得到实际跟踪结果。

9.根据权利要求8所述的装置，其特征在于，所述库位跟踪模块确定目标图像区域的过程，包括：

按照上层到下层的次序依次将各层图像区域作为候选图像区域；分别将所述第一全景鸟瞰图的所述候选图像区域、以及所述第二全景鸟瞰图的所述候选图像区域划分为多个子区域；分别统计所述第一全景鸟瞰图的各子区域、所述第二全景鸟瞰图的各子区域的灰度值概率直方分布；针对所述第二全景鸟瞰图的每个子区域，基于灰度值概率直方分布计算其与所述第一全景鸟瞰图的各子区域间相似度，并选取相似度符合预设匹配条件的一个子区域构成区域对；统计各区域对的移动趋势，所述移动趋势包括移动方向和移动距离；判断统计结果中是否存在主体移动趋势，所述主体移动趋势为移动方向相同、移动距离属于同一范围的占比大于预设阈值的移动趋势；若是，则将所述候选图像区域作为目标图像区域；若否，则执行所述按照上层到下层的次序依次将各层图像区域作为候选图像区域，直到遍历完所有图像区域时结束。

10.根据权利要求9所述的装置，其特征在于，所述库位跟踪模块基于光流跟踪法在所述第一全景鸟瞰图的目标图像区域内跟踪所述库位角点得到所述库位角点的视觉跟踪结果，包括：

确定各区域对中移动趋势属于所述主体移动趋势的目标区域对；将所述目标区域对的移动方向作为所述库位角点的移动方向，将所述目标区域对的移动距离的均值作为所述库位角点的移动距离；基于所述库位角点的移动方向和移动距离确定所述库位角点的移动轨迹。

Images