CN111340710B - 一种基于图像拼接获取车辆信息的方法及系统 - Google Patents

Abstract

本发明实施例提供了一种基于图像拼接获取车辆信息的方法及系统，该方法包括：获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。通过本发明，能够精确地获取停泊于相机盲区车辆的信息。

Description

一种基于图像拼接获取车辆信息的方法及系统

技术领域

本发明涉及智能停车管理技术领域，尤其涉及一种基于图像拼接获取车辆信息的方法及系统。

背景技术

在经济快速发展的今天，人民生活水平和收入不断提高，城市机动车保有量也急速增长，但随之而来，城市停车位缺口也不断扩大，远远无法满足巨大的停车需求，停车位与停车需求间的矛盾也日益尖锐。尤其在城市道路两侧，由于路侧停车位的稀缺以及机动车驾驶人的交通安全意识淡薄，城市路侧停车和路侧违法停车成为城市管理的痼疾之一，由此带来交通拥堵等问题严重制约着城市绿色、快速发展，严重影响市容市貌、居民生活环境，对于城市路侧停车和路侧违法停车的治理，已到刻不容缓的程度。

随着高位视频技术的成熟，实时自动化监管路侧停车场已成为现实。但由于受到现场施工建设、环境等因素的限制，会出现部分相机视野盲区无法监管，也时常出现目标车辆被其他大型车辆遮挡的情况，另外，由于监控相机拍摄角度的问题，还会出现当车辆停入泊位时，无法清晰捕捉车辆车牌号码的情况。而且在处理违法停车等交通违章时，往往需要提供全景证据图，单一相机难以提供清晰且全景的图片。

如何获取处于相机视野盲区的车辆信息，同时能为处理交通违章提供清晰的全景图像，成为亟待解决的难题。

发明内容

本发明实施例提供一种基于图像拼接获取车辆信息的方法及系统，能够精确地获取盲区车辆的信息。

一方面，本发明实施例提供了一种基于图像拼接获取车辆信息的方法，包括：

获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；

将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；

在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；

根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；

基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

另一方面，本发明实施例提供了一种基于图像拼接获取车辆信息的系统，所述系统包括一个摄像机组、主控器和至少一个安装杆或者安装位；

所述至少一个安装杆或者安装位，配置在路侧停车位的对侧道路上；

所述摄像机组中的每两个相邻的摄像机的拍摄区域存在重合区域，所述拍摄区域包括与每一个安装杆或者安装位垂直的正前方的车辆信息拍摄盲区，其中，各个安装杆或安装位上的多个摄像机呈扇形展开分布；

所述主控器配置在至少一个安装杆或者安装位上，所述主控器用于获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

上述技术方案具有如下有益效果：通过本发明，对监控图像进行拼接，能够及时获取监控区域的全景监控图像，能够高效、精确地发现车辆，并基于车辆所在的监控图像的拍摄时间进行回溯，精确地获取车辆的信息，解决了采用视频监控手段管理路侧泊位的停车问题时，监控摄像机拍摄的图像存在拍摄盲区，无法拍摄车辆信息的问题，同时，解决了现有技术对于发生在监控相机盲区内，无法识别车辆信息的停车行为或者违停行为的问题，实现了通过多张拼接图像的回溯，能够精确地获取车辆的信息，同时能够完整地展现车辆停车的全过程，从而提高了路侧停车的自动化管理效率和识别准确率，也能为在处理交通违章时提供清晰的全景证据图像，从而提高了路侧停车的管理效率；进一步地，降低了摄像机安装、装配的难度，易于摄像机后期调整、维护，极大地降低了路侧停车管理的成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于图像拼接获取车辆信息的方法流程图；

图2为本发明一实施例中一种基于图像拼接获取车辆信息的系统的应用场景示意图；

图3为本发明一优选实施例中获取车辆信息的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例中一种基于图像拼接获取车辆信息的方法流程图，包括：

101、获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；

102、将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；

103、在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；

104、根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；

105、基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

进一步地，在所述获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像之前，包括：

通过多个摄像机以预定频率拍摄预定监控区域的图像。

进一步地，所述将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，具体包括：

确定所述各个相同时刻拍摄的监控图像的拼接顺序；

针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，其中，基于所述拼接顺序，第一待拼接图像和第二待拼接图像顺次相邻；

步骤a、将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像；

确定第二待拼接图像在所述拼接顺序中是否存在后一相邻待拼接图像，若存在，重新将所述部分拼接图像作为第一待拼接图像，并将在所述拼接顺序中第二待拼接图像的后一相邻图像重新确定为第二待拼接图像，并跳转至步骤a；若不存在，确定所述部分拼接图像为当前时刻的第一拼接图像。

进一步地，所述确定所述各个相同时刻拍摄的监控图像的拼接顺序，包括：

针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，所述起始摄像机拍摄的图像确定为起始拼接图像；

所述拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接；

其中，当摄像机的数量为偶数时，将位于水平方向中间位置的两摄像机中的任一摄像机确定为起始摄像机。

进一步地，所述起始摄像机为双目摄像机；

其中，所述起始摄像机拍摄的图像确定为起始拼接图像，包括：

将所述双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像。

进一步地，所述将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像，包括：

将第一待拼接图像和第二待拼接图像进行特征点提取，并将第一待拼接图像和第二待拼接图像已提取的特征点进行匹配，得到第一待拼接图像和第二待拼接图像匹配后的特征点对集合；

过滤所述特征点对集合，得到过滤后的特征点对集合；

基于过滤后的特征点对集合，建立第一待拼接图像和第二待拼接图像特征点对的映射关系，得到当前时刻的部分拼接图像。

进一步地，所述基于所述至少一张第二拼接图像，确定所述车辆的车辆信息，包括：

通过目标识别算法，在所述至少一张第二拼接图像中识别是否存在所述车辆；

若存在，识别所述车辆的车辆信息。

如图2所示，为一种基于图像拼接获取车辆信息的系统的应用场景示意图，所述系统包括一个摄像机组、主控器和至少一个安装杆或者安装位；

所述至少一个安装杆或者安装位，配置在路侧停车位的对侧道路上；

所述摄像机组中的每两个相邻的摄像机的拍摄区域存在重合区域，所述拍摄区域包括与每一个安装杆或者安装位垂直的正前方的车辆信息拍摄盲区，其中，各个安装杆或安装位上的多个摄像机呈扇形展开分布；

所述主控器配置在至少一个安装杆或者安装位上，所述主控器用于获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

进一步地，所述主控器还用于通过多个摄像机以预定频率拍摄预定监控区域的图像。

进一步地，所述主控器监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，具体用于

确定所述各个相同时刻拍摄的监控图像的拼接顺序；

针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，其中，基于所述拼接顺序，第一待拼接图像和第二待拼接图像顺次相邻；

步骤a、将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像；

确定第二待拼接图像在所述拼接顺序中是否存在后一相邻待拼接图像，若存在，重新将所述部分拼接图像作为第一待拼接图像，并将在所述拼接顺序中第二待拼接图像的后一相邻图像重新确定为第二待拼接图像，并跳转至步骤a；若不存在，确定所述部分拼接图像为当前时刻的第一拼接图像。

进一步地，所述主控器确定所述各个相同时刻拍摄的监控图像的拼接顺序，具体用于

针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，所述起始摄像机拍摄的图像确定为起始拼接图像；

所述拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接；

其中，当摄像机的数量为偶数时，将位于水平方向中间位置的两摄像机中的任一摄像机确定为起始摄像机。

进一步地，所述起始摄像机为双目摄像机；

其中，所述起始摄像机拍摄的图像确定为起始拼接图像，包括：

将所述双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像。

进一步地，所述主控器将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像，具体用于

将第一待拼接图像和第二待拼接图像进行特征点提取，并将第一待拼接图像和第二待拼接图像已提取的特征点进行匹配，得到第一待拼接图像和第二待拼接图像匹配后的特征点对集合；

过滤所述特征点对集合，得到过滤后的特征点对集合；

基于过滤后的特征点对集合，建立第一待拼接图像和第二待拼接图像特征点对的映射关系，得到当前时刻的部分拼接图像。

进一步地，所述主控器基于所述至少一张第二拼接图像，确定所述车辆的车辆信息，具体用于

通过目标识别算法，在所述至少一张第二拼接图像中识别是否存在所述车辆；

若存在，识别所述车辆的车辆信息。

本发明实施例上述技术方案具有如下有益效果：通过本发明，对监控图像进行拼接，能够及时获取监控区域的全景监控图像，能够高效、精确地发现车辆，并基于车辆所在的监控图像的拍摄时间进行回溯，精确地获取车辆的信息，解决了采用视频监控手段管理路侧泊位的停车问题时，监控摄像机拍摄的图像存在拍摄盲区，无法拍摄车辆信息的问题，同时，解决了现有技术对于发生在监控相机盲区内，无法识别车辆信息的停车行为或者违停行为的问题，实现了通过多张拼接图像的回溯，能够精确地获取车辆的信息，同时能够完整地展现车辆停车的全过程，从而提高了路侧停车的自动化管理效率和识别准确率，也能为在处理交通违章时提供清晰的全景证据图像，从而提高了路侧停车的管理效率；进一步地，降低了摄像机安装、装配的难度，易于摄像机后期调整、维护，极大地降低了路侧停车管理的成本。

以下结合应用实例对本发明实施例上述技术方案进行详细说明：

本发明应用实例旨在采用视频监控手段管理路侧泊位的停车问题时，能够精确地获取盲区车辆的信息。

如图1所示，例如，在路侧停车管理系统中，通过多个摄像机拍摄预定监控区域的监控图像；首先，获取多个摄像机拍摄基于各个相同时刻拍摄的监控图像，如获取多个摄像机拍摄在2019-5-5的15:00:00时刻、15:00:05和15:00:10时刻拍摄的监控图像，将各个监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对该多张第一拼接图像进行排序；在该多张第一拼接图像中确定无法采集到车辆信息的车辆以及该车辆所在的第一拼接图像的拍摄时间，如2019-5-5 15:00:10时刻的第一拼接图像中确定存在无法采集到车辆信息的车辆，可确定该第一拼接图像的拍摄时间为“2019-5-5 15:00:10”；根据拍摄时间“2019-5-5 15:00:10”，在排序后的所述多张第一拼接图像中进行回溯，确定拍摄时间“2019-5-5 15:00:10”之前的两张第二拼接图像，为在2019-5-5的15:00:00和15:00:05拍摄的监控图像拼接后的第一拼接图像；基于该两张第二拼接图像，确定该车辆的车辆信息。

需要说明的是，本发明实施例的路侧停车管理系统中，在泊位或行车道对侧的安装杆上，安装多个摄像机，通过该多个摄像机以预定频率拍摄预定监控区域的图像，该多个摄像机呈扇形展开分布，每两个相邻摄像机的拍摄视野存在重合区域，该多个摄像机负责采集预定监控区域的图像或视频，优选地，相邻两摄像机间水平夹角为10°-60°，相邻两摄像机拍摄图像的重合部分占该两相邻摄像机中任一拍摄图像的20％-50％，如摄像机1和摄像机2相邻，摄像机2和摄像机3相邻，摄像机1拍摄图像与摄像机2拍摄图像的重合部分占摄像机1拍摄图像或摄像机2拍摄图像的20％-50％，摄像机2拍摄图像与摄像机3拍摄图像的重合部分占摄像机2拍摄图像或摄像机3拍摄图像的20％-50％。其中，多个摄像机呈扇形展开分布的方式，多个摄像机可以在同一水平方向呈扇形展开分布，也可以在同一垂直方向呈扇形展开分布，本发明中的实施例虽会以特定方式为例说明，但在此不做限定。

在一种可能的实现方式中，步骤102将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，具体包括：确定所述各个相同时刻拍摄的监控图像的拼接顺序；针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，其中，基于所述拼接顺序，第一待拼接图像和第二待拼接图像顺次相邻；步骤a、将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像；确定第二待拼接图像在所述拼接顺序中是否存在后一相邻待拼接图像，若存在，重新将所述部分拼接图像作为第一待拼接图像，并将在所述拼接顺序中第二待拼接图像的后一相邻图像重新确定为第二待拼接图像，并跳转至步骤a；若不存在，确定所述部分拼接图像为当前时刻的第一拼接图像。

其中，所述将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像，包括：将第一待拼接图像和第二待拼接图像进行特征点提取，并将第一待拼接图像和第二待拼接图像已提取的特征点进行匹配，得到第一待拼接图像和第二待拼接图像匹配后的特征点对集合；过滤所述特征点对集合，得到过滤后的特征点对集合；基于过滤后的特征点对集合，建立第一待拼接图像和第二待拼接图像特征点对的映射关系，得到当前时刻的部分拼接图像。

其中，在得到当前时刻的部分拼接图像的步骤之后，还包括：在当前时刻的部分拼接图像中，对第一待拼接图像和第二待拼接图像的接缝处进行平滑处理。

例如，在路侧停车管理系统中，获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像，如获取多个摄像机拍摄在2019-5-5的15:00:00时刻、15:00:05和15:00:10时刻拍摄的监控图像；随后，确定各个相同时刻拍摄的监控图像的拼接顺序，如在2019-5-5的15:00:00时刻的监控图像包括P1、P2、P3、P4和P5，拼接顺序依次为P3、P4、P2、P5和P1；针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，如当前时刻为“2019-5-5 15:00:00”的第一待拼接图像和第二待拼接图像分别为P3和P4；随后执行步骤a，将第一待拼接图像P3和第二待拼接图像P4进行特征点提取，采用基于SURF(Speeded Up Robust Features,，加速稳健特征)的特征点检测算法，得到P3和P4的SURF特征点，并将第一待拼接图像和第二待拼接图像已提取的特征点通过FLANN(FastLibrary for Approximate Nearest Neighbors，快速近似最近邻匹配)算法特征点匹配算法进行匹配，获得P3和P4图像配对后的SURF特征点对集合，采用RANSAC(Random SampleConsensus，随机采样一致性)算法对SURF特征点对集合进行过滤，剔除部分错误特征点对，得到过滤后的SURF特征点对集合；基于过滤后的特征点对集合，将P3和P4图像配准，建立P3和P4图像特征点对的映射关系，以P3图像为基准，计算两幅图的投影变换矩阵，通过homography(单应性变换)，将P4图像中的像素点投影在P3图像坐标系中的对应位置上，得到P3图像和P4图像简单拼接后的“2019-5-5 15:00:00”时刻的部分拼接图像；随后，基于多频带融合算法在该部分拼接图像中，对P3和P4图像的接缝处进行平滑处理，使得图像颜色过渡更加均匀，得到处理后的“2019-5-5 15:00:00”时刻的部分拼接图像；确定第二待拼接图像P4在拼接顺序中存在后一相邻待拼接图像，重新将得到的部分拼接图像作为第一待拼接图像，并将在已确定的拼接顺序“P3、P4、P2、P5和P1”中第二待拼接图像P4的后一相邻图像，即P2，重新确定为第二待拼接图像，并跳转至步骤a，直至确定重新确定的第二待拼接图像P5在拼接顺序中不存在后一相邻待拼接图像，则确定最后一次拼接得到的部分拼接图像为当前时刻“2019-5-5 15:00:00”的第一拼接图像。确定“2019-5-5 15:00:05”时刻和“2019-5-5 15:00:10”时刻的第一拼接图像的过程与确定“2019-5-5 15:00:00”时刻的第一拼接图像的过程相同，在此不再赘述。

通过本实施例，能够快速、精确地对各个时刻拍摄的多张图片进行拼接，得到各个时刻的拼接图像，为后续实现获取车辆的车辆信息提供了必要的前提条件，进一步地，也为后续提供更完整清晰的车辆的证据信息提供了必要的前提条件。

在一种可能的实现方式中，所述确定所述各个相同时刻拍摄的监控图像的拼接顺序，包括：针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，所述起始摄像机拍摄的图像确定为起始拼接图像；所述拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接。

其中，当摄像机的数量为偶数时，将位于水平方向中间位置的两摄像机中的任一摄像机确定为起始摄像机；所述起始摄像机为双目摄像机。

其中，所述起始摄像机拍摄的图像确定为起始拼接图像，包括：将所述双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像。

例如，在路侧停车管理系统中，获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像，如获取多个摄像机拍摄在2019-5-5的15:00:00时刻、15:00:05和15:00:10时刻拍摄的监控图像；随后，针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，如路侧停车管理系统中各摄像机呈扇形展开分布，从东至西方向依次为摄像机1、摄像机2、摄像机3、摄像机4和摄像机5，并将位于水平方向中间位置的摄像机确定为起始摄像机，即摄像机3为起始摄像机，且摄像机3为双目摄像机，则将该双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像；则各个相同时刻拍摄的监控图像的拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接，如各摄像机在任一时刻拍摄的监控图像分别为P1、P2、P3、P4和P5，摄像机3为起始摄像机拍摄的监控图像为P3，在起始摄像机的左右两侧各一次地查找与起始摄像机相邻的待拼接摄像机，若先查找起始摄像机，摄像机3左侧与起始摄像机相邻的待拼接摄像机，则为摄像机2，随后与待拼接摄像机，摄像机2拍摄的监控图像进行拼接，再查找起始摄像机，摄像机3右侧与起始摄像机相邻的待拼接摄像机，则为摄像机4，随后与待拼接摄像机，摄像机4拍摄的监控图像进行拼接；重复在起始摄像机的左右两侧各一次地查找与已完成图像拼接的摄像机相邻的待拼接摄像机，若先查找起始摄像机，摄像机3左侧与已完成图像拼接的摄像机，此时为摄像机2，相邻的待拼接摄像机，即为摄像机1，随后与待拼接摄像机，摄像机1拍摄的监控图像进行拼接，再查找起始摄像机，摄像机3右侧与已完成图像拼接的摄像机，此时为摄像机4，相邻的待拼接摄像机，即为摄像机5，随后与待拼接摄像机，摄像机5拍摄的监控图像进行拼接，因此，可确定在路侧停车管理系统中，各个相同时刻拍摄的监控图像的拼接顺序为P3、P2、P4、P1和P5。

需要说明的是，每重复一次在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机的左右查找的先后顺序不做限定，当前在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机的查找顺序为先左后右，随后重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机的查找顺序可为先左后右，也可为先右后左。具体地，如上例子中各个相同时刻拍摄的监控图像的拼接顺序依次为P3、P2、P4、P1和P5，也可依次为P3、P2、P4、P5和P1，也可依次为P3、P4、P2、P5和P1，也可依次为P3、P4、P2、P1和P5。

通过本实施例，为后续实现监控图像的拼接提供了重要的前提保障，同时，实现了基于该方式确定的各个相同时刻拍摄的监控图像的拼接顺序，能够使得后续能够得到精确、清晰的拼接处理后的各个相同时刻的多张第一拼接图像，从而为后续实现获取车辆的车辆信息提供了重要的前提保障，另一方面，使用双目摄像机，可以通过视差变化，更准确的判断目标区域是否有车辆进出，提高对停车事件判断的准确性。

在一种可能的实现方式中，步骤105基于所述至少一张第二拼接图像，确定所述车辆的车辆信息，包括：通过目标识别算法，在所述至少一张第二拼接图像中识别是否存在所述车辆；若存在，识别所述车辆的车辆信息。

例如，在路侧停车管理系统中，若2019-5-5 15:00:10时刻的第一拼接图像中确定存在无法采集到车辆信息的车辆，可确定该第一拼接图像的拍摄时间为“2019-5-5 15:00:10”，若在排序后的多张第一拼接图像中进行回溯，确定拍摄时间“2019-5-5 15:00:10”之前的两张第二拼接图像，为在2019-5-5的15:00:00和15:00:05拍摄的监控图像拼接后的第一拼接图像；通过目标识别算法，例如SSD(Single Shot MultiBox Detector，单次多框预测)和Faster RCNN(Faster Region-Convolutional Neural Networks，更快的区域卷积神经网络)，在该两张第二拼接图像中识别是否存在该车辆；若存在，识别该车辆的车辆信息。

在一具体应用场景中，如在路侧停车管理系统中，安装杆配置在路侧停车泊位对侧，摄像机组配置在安装杆上，摄像机组中的各个摄像机呈扇形展开分布；通过摄像机组拍摄路侧停车泊位的预定监控区域的监控图像；获取多个摄像机拍摄基于各个相同时刻拍摄的监控图像，将各个监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对该多张第一拼接图像进行排序；若车辆Car进入车辆信息拍摄盲区并停靠，可在该多张第一拼接图像中确定无法采集到车辆信息的车辆Car以及车辆Car所在的第一拼接图像的拍摄时间；根据拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定拍摄时间之前的多张第二拼接图像，基于该多张第二拼接图像，确定该多张第二拼接图像中车辆信息，如车牌号码清晰的图像，并识别车辆Car的车牌信息。获取车辆信息的流程示意图如图3所示。

本发明实施例提供了一种基于图像拼接获取车辆信息的系统，如图2所示，所述系统包括一个摄像机组、主控器和至少一个安装杆或者安装位；所述至少一个安装杆或者安装位，配置在路侧停车位的对侧道路上，通过该多个摄像机以预定频率拍摄预定监控区域的图像；所述摄像机组中的每两个相邻的摄像机的拍摄区域存在重合区域，所述拍摄区域包括与每一个安装杆或者安装位垂直的正前方的车辆信息拍摄盲区，其中，各个安装杆或安装位上的多个摄像机呈扇形展开分布；优选地，相邻两摄像机间水平夹角为10°-60°，相邻两摄像机拍摄图像的重合部分占该两相邻摄像机中任一拍摄图像的20％-50％，如图2中摄像机1和摄像机2相邻，摄像机2和摄像机3相邻，摄像机1拍摄图像与摄像机2拍摄图像的重合部分占摄像机1拍摄图像或摄像机2拍摄图像的20％-50％，摄像机2拍摄图像与摄像机3拍摄图像的重合部分占摄像机2拍摄图像或摄像机3拍摄图像的20％-50％；所述主控器配置在至少一个安装杆或者安装位上，该多个摄像机与主控器有线相连或无线相连，所述主控器用于获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；将所述监控图像根据各个相同时刻分别进行拼接处理，得到拼接处理后的各个相同时刻的多张第一拼接图像，并基于各监控图像的拍摄时序对多张第一拼接图像进行排序；在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定该车辆所在的第一拼接图像的拍摄时间；根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；基于所述至少一张第二拼接图像，确定该车辆的车辆信息。

其中，主控器可以用于实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于图像拼接获取车辆信息的方法，其特征在于，包括：

获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；

确定所述各个相同时刻拍摄的监控图像的拼接顺序；

针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，其中，基于所述拼接顺序，第一待拼接图像和第二待拼接图像顺次相邻；

步骤a、将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像；

确定第二待拼接图像在所述拼接顺序中是否存在后一相邻待拼接图像，若存在，重新将所述部分拼接图像作为第一待拼接图像，并将在所述拼接顺序中第二待拼接图像的后一相邻图像重新确定为第二待拼接图像，并跳转至步骤a；若不存在，确定所述部分拼接图像为当前时刻的第一拼接图像，根据所述当前时刻的第一拼接图像，逐个获得拼接处理后的各个相同时刻的多张第一拼接图像；

基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；

在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；

根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；

基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

2.根据权利要求1所述的方法，其特征在于，在所述获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像之前，包括：

通过多个摄像机以预定频率、预定分辨率拍摄预定监控区域的图像。

3.根据权利要求1所述的方法，其特征在于，所述确定所述各个相同时刻拍摄的监控图像的拼接顺序，包括：

针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，所述起始摄像机拍摄的图像确定为起始拼接图像；

所述拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接；

其中，当摄像机的数量为偶数时，将位于水平方向中间位置的两摄像机中的任一摄像机确定为起始摄像机。

4.根据权利要求3所述的方法，其特征在于，所述起始摄像机为双目摄像机；

其中，所述起始摄像机拍摄的图像确定为起始拼接图像，包括：

将所述双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像。

5.根据权利要求3任一项所述的方法，其特征在于，所述将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像，包括：

将第一待拼接图像和第二待拼接图像进行特征点提取，并将第一待拼接图像和第二待拼接图像已提取的特征点进行匹配，得到第一待拼接图像和第二待拼接图像匹配后的特征点对集合；

过滤所述特征点对集合，得到过滤后的特征点对集合；

基于过滤后的特征点对集合，建立第一待拼接图像和第二待拼接图像特征点对的映射关系，根据映射关系，将第二待拼接图像映射至第一待拼接图像上，得到当前时刻的部分拼接图像。

6.根据权利要求4所述的方法，其特征在于，所述基于所述至少一张第二拼接图像，确定所述车辆的车辆信息，包括：

通过目标识别算法，在所述至少一张第二拼接图像中识别是否存在所述车辆；

若存在，识别所述车辆的车辆信息。

7.一种基于图像拼接获取车辆信息的系统，其特征在于，所述系统包括一个摄像机组、主控器和至少一个安装杆或者安装位；

所述至少一个安装杆或者安装位，配置在路侧停车位的对侧道路上；

所述摄像机组中的每两个相邻的摄像机的拍摄区域存在重合区域，所述拍摄区域包括与每一个安装杆或者安装位垂直的正前方的车辆信息拍摄盲区，其中，各个安装杆或安装位上的多个摄像机呈扇形展开分布；

所述主控器配置在至少一个安装杆或者安装位上；

所述主控器用于获取预定监控区域多个摄像机基于各个相同时刻拍摄的监控图像；

确定所述各个相同时刻拍摄的监控图像的拼接顺序；

针对各个相同时刻已确定的拼接顺序，确定当前时刻的第一待拼接图像和第二待拼接图像，其中，基于所述拼接顺序，第一待拼接图像和第二待拼接图像顺次相邻；

步骤a、将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像；

确定第二待拼接图像在所述拼接顺序中是否存在后一相邻待拼接图像，若存在，重新将所述部分拼接图像作为第一待拼接图像，并将在所述拼接顺序中第二待拼接图像的后一相邻图像重新确定为第二待拼接图像，并跳转至步骤a；若不存在，确定所述部分拼接图像为当前时刻的第一拼接图像，根据所述当前时刻的第一拼接图像，逐个获得拼接处理后的各个相同时刻的多张第一拼接图像；

基于各监控图像的拍摄时序对所述多张第一拼接图像进行排序；在所述多张第一拼接图像中确定无法采集到车辆信息的车辆以及确定所述车辆所在的第一拼接图像的拍摄时间；根据所述拍摄时间，在排序后的所述多张第一拼接图像中进行回溯，确定所述拍摄时间之前的至少一张第二拼接图像；基于所述至少一张第二拼接图像，确定所述车辆的车辆信息。

8.根据权利要求7所述的系统，其特征在于，所述主控器还用于通过多个摄像机以预定频率、预定分辨率拍摄预定监控区域的图像。

9.根据权利要求7所述的系统，其特征在于，所述主控器确定所述各个相同时刻拍摄的监控图像的拼接顺序，具体用于

针对各个相同时刻，依据各个摄像机的安装位置，将位于水平方向中间位置的摄像机确定为起始摄像机，所述起始摄像机拍摄的图像确定为起始拼接图像；

所述拼接顺序从起始拼接图像起，以起始摄像机为中心，重复在起始摄像机的左右两侧各一次地查找与起始摄像机/已完成图像拼接的摄像机相邻的待拼接摄像机，并与待拼接摄像机拍摄的监控图像进行拼接；

其中，当摄像机的数量为偶数时，将位于水平方向中间位置的两摄像机中的任一摄像机确定为起始摄像机。

10.根据权利要求9所述的系统，其特征在于，所述起始摄像机为双目摄像机；

其中，所述起始摄像机拍摄的图像确定为起始拼接图像，包括：

将所述双目摄像机拍摄的图像进行图像拼接处理，并将图像拼接处理后的图像确定为起始拼接图像。

11.根据权利要求9任一项所述的系统，其特征在于，所述主控器将第一待拼接图像和第二待拼接图像进行图像拼接，得到当前时刻的部分拼接图像，具体用于

将第一待拼接图像和第二待拼接图像进行特征点提取，并将第一待拼接图像和第二待拼接图像已提取的特征点进行匹配，得到第一待拼接图像和第二待拼接图像匹配后的特征点对集合；

过滤所述特征点对集合，得到过滤后的特征点对集合；

基于过滤后的特征点对集合，建立第一待拼接图像和第二待拼接图像特征点对的映射关系，根据映射关系，将第二待拼接图像映射至第一待拼接图像上，得到当前时刻的部分拼接图像。

12.根据权利要求10所述的系统，其特征在于，所述主控器基于所述至少一张第二拼接图像，确定所述车辆的车辆信息，具体用于

通过目标识别算法，在所述至少一张第二拼接图像中识别是否存在所述车辆；

若存在，识别所述车辆的车辆信息。