CN113191329A - 一种基于单目视觉图片的车辆泊位匹配方法及系统 - Google Patents

Abstract

本发明公开一种基于单目视觉图片的车辆泊位匹配方法及系统，涉及智能停车管理领域，包括：针对相机获取的车辆图片，利用已估算的相机参数，结合车辆检测和类型识别结果，通过迭代计算方法针对不同条件下筛选的实测和估计车辆目标检测框关键点进行匹配，获取车辆目标在相对世界坐标系下、相机坐标系、图片坐标系下的八个关键点坐标信息，实现在同一三维坐标系下泊位和车辆关键点的估计，获取更为准确的车辆车位相对位置关系。除此之外在车辆目标基本平行泊位延长线方向时，可以获取近似的车辆目标3D检测结果，从而实现了在无需大量复杂标注的条件下，结合已有的基于深度学习的车辆检测识别算法，快速稳定的进行车辆泊位匹配计算。

Description

一种基于单目视觉图片的车辆泊位匹配方法及系统

技术领域

本发明涉及智能停车管理领域，特别涉及一种基于单目视觉图片的车辆泊位匹配方法及系统。

背景技术

在静态交通场景下，车辆作为重要的监测对象，车辆与地面泊位的相关性通常为重要的检测目标，如对是否在泊位线外或禁区内停车、是否跨线停车等情况进行实时监控。在仅采用普通固定高位摄像头作对停车场进行监控的条件下，如果仅通过相机的单张RGB图片即可以获取车辆泊位相关性信息，不失为一种低成本的有效技术策略。

然而目前在进行车辆泊位匹配时，通常是通过采集的车辆图像识别获取车辆的车轮位置，然后根据车辆的车轮位置与泊位线之间的位置关系判断车辆与泊位的隶属度关系，但是由于停车场车位周围环境较为复杂，泊位周围车辆、行人较多，车辆底边往往会被临近车辆和行人遮挡，并且由于二维图片会丢失目标深度信息，因此根据采集的图像识别获取的车轮信息的误差较大，进而导致通过地面泊位线和车轮的位置关系来评估车辆和泊位的匹配关系的准确率较低，误差较大。

发明内容

为解决上述技术问题，本发明提供一种基于单目视觉图片的车辆泊位匹配方法及系统，可以解决现有车辆泊位匹配受环境因素影响较大导致的车辆泊位匹配的准确度不高的问题。

为实现上述目的，一方面，本发明一种基于单目视觉图片的车辆泊位匹配方法，所述方法包括：

获取图片中待定位车辆的检测识别结果信息，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息；

根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和 park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号pa_id_car；

根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0；

根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点；

根据所述车辆目标在各个坐标系下的特征点坐标、所述park_c2d、 park_c2d_top、以及所述park_w获取相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

进一步地，所述根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息 park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点的步骤之前，所述方法还包括：

根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；

在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息park_w进行网格剖分得到世界坐标系下网格坐标；

通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；

将所述三维坐标p3d的z轴方向数值和所述二维投影坐标p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

进一步地，所述获取所述车辆目标底面中心点的世界坐标系下的坐标 cbm_est以及相应各个坐标系下的特征点的步骤包括：

根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

进一步地，所述获取图片中待定位车辆的检测识别结果信息的步骤之前，所述方法还包括：

获取每一个相机对应的泊位待标注最优图片；

获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；

根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影park_c2d和park_c2d_top。

进一步地，所述方法还包括：

若未获取到匹配的泊位编号pa_id_car，则根据公式 pa_id_car＝npa//2获取所述泊位编号，所述npa为待估计泊位个数。

进一步地，所述获取相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位的步骤之后，所述方法还包括：

生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。

另一方面，本发明提供一种基于单目视觉图片的车辆泊位匹配系统，所述系统包括：获取模块、确定模块；

获取模块，用于获取图片中待定位车辆的检测识别结果信息，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息；

所述获取模块，还用于根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号pa_id_car；

所述获取模块，还用于根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0；

所述获取模块，还用于根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est 以及相应各个坐标系下的特征点；

确定模块，用于根据所述车辆目标在各个坐标系下的特征点坐标、所述park_c2d、park_c2d_top、以及所述park_w确定相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

进一步地，所述获取模块，还用于根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息 park_w进行网格剖分得到世界坐标系下网格坐标；通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；将所述三维坐标p3d的z轴方向数值和所述二维投影坐标p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

进一步地，所述获取模块，还用于根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数 f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

进一步地，所述获取模块，还用于获取每一个相机对应的泊位待标注最优图片；获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影park_c2d和park_c2d_top。

进一步地所说获取模块，还用于若未获取到匹配的泊位编号 pa_id_car，则根据公式pa_id_car＝npa//2获取所述泊位编号，所述npa 为待估计泊位个数。

进一步地，所述系统还包括：生成显示模块；

所述生成显示模块，用于生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。

本发明提供的一种基于单目视觉图片的车辆泊位匹配方法及系统，仅需要预先获取泊位尺寸和泊位在图片中顶点坐标的条件下，便可以通过获取多个相邻泊位的顶点坐标信息和相对的相机参数信息，然后结合车辆目标检测和车辆类型分类信息，通过车辆目标检测框关键点匹配迭代算法，重建车辆在与泊位一致的世界坐标系下的八个外接长方体关键点坐标，可在消除二维图片射影形变的条件下更为准确的评估车辆和泊位的相对位置关系，提升车辆泊位匹配的准确性，减少人工标注成本。

附图说明

图1是本发明提供的一种基于单目视觉图片的车辆泊位匹配方法的流程图一；

图2是本发明提供的一种基于单目视觉图片的车辆泊位匹配系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明实施例提供的一种基于单目视觉图片的车辆泊位匹配方法，包括如下步骤：

101、获取图片中待定位车辆的检测识别结果信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息。

其中，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息。所述车辆类型可以为轿车、suv、卡车、快递车、自行车、人等；根据车辆类型获取不同类型车辆的平均尺寸信息carsize，即长宽高。

对于本发明实施例，步骤101具体可以包括：根据车辆检测框位于图片中的位置，设定匹配基准点类型信息base_id＝[bt_id,lr_id]，根据匹配基准点类型信息对应的检测框匹配基准点坐标，具体如下表1和表2所示：

表1

表2

对于本发明实施例，步骤101之前还包括：获取每一个相机对应的泊位待标注最优图片；获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影 park_c2d和park_c2d_top。

对于本发明实施例，上述获取相机的相机参数和获取park_c2d和 park_c2d_top的具体步骤可以如下所述：(1)根据车辆检测结果，针对每一个相机获取合适的泊位待标注图片：根据上传数据库中该相机图片的车辆检测结果，如果图片中下半50％区域没有返回车辆检测框结果或检测结果少于2，则返回给数据标注人员进行查看，如果近相机端泊位四个顶点肉眼清晰可辨，则进行保存用于泊位标注；同理，如果图片中上半50％区域没有返回车辆检测框结果或检测结果少于2，则同样返回给数据标注人员进行查看确定是否可以用于泊位顶点标注。如果整幅图片主要泊位点肉眼可辨，则两幅图片可以合并为一张待标注图片。(2)针对上述筛选图片，标注人员选取最靠近摄像头并清晰可辨泊位线四个顶点的泊位区域进行标注，获取该泊位四个顶点的图片坐标信息。(3)将标注的泊位顶点坐标以及预先测量的泊位长宽尺寸信息输入到自定义相机参数估计算法，获取二维视觉等价的相机位姿参数和尺度参数，并利用该参数获取相邻连续多个泊位的顶点坐标信息。(4)上述获取泊位的二维投影park_c2d和park_c2d_top 在标注图片上进行可视化显示，如果if_success＝0,则需要标注人员修改标注点返回步骤(3)重新进行计算，如果if_success＝1,则需要标注人员审核延拓的泊位标注是否与图片上的泊位顶点有明显偏差，如果没有明显偏差则保存计算结果，如果有明显偏差则需要根据实际情况进行判断，并更新计算结果：其中，情况1：标注泊位连续,且尺寸一致：修正顶点标注后返回步骤(3)重新进行计算；情况2：标注泊位不连续,且尺寸一致：针对估计准确泊位顶点，选取相应泊位编号保存；针对因不连续错位的标注框重新标注一组泊位顶点，然后利用已经估计的相机参数，估算不连续区域长度，并重新计算相应泊位2D投影，更新park_c2d和park_c2d_top，以及相应的park_w；情况3：标注泊位尺寸不一致：针对估计准确泊位顶点，选取相应泊位编号保存；针对因长度变化错位的标注框重新标注一组泊位顶点，然后利用已经估计的相机参数和记录的另一种泊位尺寸信息，重新计算相应泊位2D投影，并更新park_c2d和park_c2d_top，以及相应的park_w。

对于本发明实施例，上述步骤(3)具体可以包括：步骤(3-1)：根据待标注的图片中泊位信息，定义如下参数：待估计泊位个数npa，已标注泊位在待标注区域内泊位编号pa_id_ann，最靠近相机端为起点pa_id＝1；步骤(3-2)：根据输入泊位长宽尺寸信息以及待估计泊位个数npa，生成地面泊位矩形框顶点在世界坐标系下的相对坐标信息：以泊位编号pa_id＝1 的左下角顶点定义为原点坐标O＝(0,0,0)，其他顶点坐标根据尺寸信息类推，获取泊位坐标矩阵park_w；同理，生成高度上延为h的泊位矩形框顶点在世界坐标系下的相对坐标信息，其中上延拓的泊位编号pa_id＝1的左下角顶点定义为P＝(0,0,h)，其他上延拓顶点同样z＝h，获取泊位上延拓坐标矩阵park_w_top；步骤(3-3)：根据已标注泊位的编号pa_id_ann，在泊位坐标矩阵park_w中选取对应的世界坐标下的三维坐标park_w_ann，设定有限长度的尺度值向量scale_list，iou_max＝0,并进行如下迭代循环计算，获取最优相机参数：步骤(3-4)：利用估算的相机参数以及泊位坐标矩阵 park_w和park_w_top，获取相应的图片上整个延拓泊位的二维投影 park_c2d和park_c2d_top，如果park_c2d_top的y轴坐标值均小于park_c2d 的y轴坐标值，则记录估算成功指标为if_success＝1，否则为if_success＝0；返回相机参数、泊位的二维投影park_c2d和park_c2d_top以及估算成功指标if_success。

对于本发明实施例，上述步骤(3-3)具体可以包括：步骤(3-3-1)：选取一个尺度值scale，设定相机内参焦距f＝scale，平移向量为(0,0)，利用泊位标注的四个顶点二维坐标和其对应的世界坐标系三维坐标 park_w_ann，通过PnP算法如SQPnP算法等算法估计相机的旋转向量rvec和平移向量tvec；步骤(3-3-2)：利用估算的旋转向量rvec和平移向量tvec，以及选取的尺度参数scale，计算park_w_ann在照片上的2D投影，得到泊位估计四边形顶点，并计算标注顶点构成的四边形与泊位估计四边形的iou；步骤步骤(3-3-3)：如果iou>iou_max,更新保存最优相机参数：旋转向量rvec、平移向量tvec、尺度参数scale，更新iou_max＝iou；最终当iou 大于预设最大阈值或是完成整个循环步后，则获取记录的最优相机参数。

需要说明的是，在进行车辆泊位匹配之前，还需要进行脖围尺寸信息的记录，具体为在停车场初次现场配置阶段，记录泊位线的长宽信息；如果有尺寸偏差较大的不同泊位尺寸信息需要分别记录，跟随停车场编号信息进行保存。

102、根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号pa_id_car。

对于本发明实施例，步骤102具体可以包括：根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行ioa相关性匹配，获取ioa值最大的泊位编号pa_id_car。

进一步地，若未获取到匹配的泊位编号pa_id_car，则根据公式 pa_id_car＝npa//2获取所述泊位编号，所述npa为待估计泊位个数。

103、根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0。

104、根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

对于本发明实施例，步骤104之前还可以包括：根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息park_w进行网格剖分得到世界坐标系下网格坐标；通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；将所述三维坐标p3d的z轴方向数值和所述二维投影坐标 p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

此时，所述步骤104具体可以包括：根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

其中，所述迭代计算的具体过程包括：根据匹配基准点类型base_id 以及真实检测框坐标，计算匹配基准点坐标值p；然后利用拟合的深度估计函数得到匹配基准点的深度值f_depth(p)＝p_z，进一步获取其相机坐标系下的三维坐标p_c＝(p_x*p_z,p_y*p_z,p_z)，并根据相机位姿参数反投影到世界坐标系内p_w；再设置迭代最大步数，开始迭代计算，获取最优的目标底面中点坐标值：根据基准点相对误差值与设定最小阈值的关系，判断计算是否成功，设定计算成功指标ifsuccess，并返回目标在各个坐标系下的特征点坐标信息obj_w、obj_i。

其中，所述获取最优的目标底面中点坐标值的过程包括：根据估计的目标底面中心点坐标cbm_est0，利用目标的尺寸信息和相机参数，估计其外接长方体8个顶点在世界坐标系下坐标值obj_w、相机坐标系下obj_c、成像坐标系下投影值obj_i，并且根据投影值可计算其外接矩形检测框 obj_det；根据匹配基准点类型base_id以及估计的检测框坐标obj_det，计算其对应的匹配基准点坐标q，以及f_depth(q)＝q_z；再计算实际和估计的匹配基准点坐标相对偏差err＝norm(p-q)/norm(p)，如果该值小于前几步计算中的最小值，则更新目标底面中心点坐标估计值cbm_est＝cbm_est0以及相应目标特征点数据；如果该值小于阈值，则跳出迭代步完成计算，否则进入下一步；最后通过估计基准点坐标q，获取其相机坐标系下的三维坐标 q_c＝(q_x*q_z,p_y*q_z,q_z),并根据相机位姿参数反投影到世界坐标系内q_w，计算底面中心点偏移向量v1＝p_w-q_w，并对底面中心点坐标进行更新cbm_est0＝cbm_est0+v1(x,y)。

105、根据所述车辆目标在各个坐标系下的特征点坐标、所述 park_c2d、park_c2d_top、以及所述park_w获取相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

对于本发明实施例，步骤105具体可以包括：据返回的目标在各个坐标系下的特征点坐标obj_w、obj_i与泊位估计坐标park_c2d和 park_c2d_top，park_w，计算ioa相关性，返回最大值区域对应泊位编号为其隶属泊位区域。

进一步地，生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。对于本发明实施例，通过直观化展示隶属度细节，可以进一步辅助进行后续的停车管理。

本发明提供的一种基于单目视觉图片的车辆泊位匹配方法，仅需要预先获取泊位尺寸和泊位在图片中顶点坐标的条件下，便可以通过获取多个相邻泊位的顶点坐标信息和相对的相机参数信息，然后结合车辆目标检测和车辆类型分类信息，通过车辆目标检测框关键点匹配迭代算法，重建车辆在同泊位一致的世界坐标系下的八个外接长方体关键点坐标，可在消除2D 图片射影形变的条件下更为准确的评估车辆和泊位的相对位置关系，提升车辆泊位匹配的准确性。

为实现本发明实施例提供的方法，本发明实施例提供一种基于单目视觉图片的车辆泊位匹配系统，如图2所示，该系统包括：获取模块21、确定模块22、生成显示模块23。

获取模块21，用于获取图片中待定位车辆的检测识别结果信息，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息；

所述获取模块21，还用于根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号 pa_id_car；

所述获取模块21，还用于根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0；

所述获取模块21，还用于根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标 cbm_est以及相应各个坐标系下的特征点；

确定模块22，用于根据所述车辆目标在各个坐标系下的特征点坐标、所述park_c2d、park_c2d_top、以及所述park_w确定相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

进一步地，所述获取模块21，还用于根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息park_w进行网格剖分得到世界坐标系下网格坐标；通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；将所述三维坐标p3d的z轴方向数值和所述二维投影坐标p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

进一步地，所述获取模块21，还用于根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数 f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

进一步地，所述获取模块21，还用于获取每一个相机对应的泊位待标注最优图片；获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影 park_c2d和park_c2d_top。

进一步地所说获取模块21，还用于若未获取到匹配的泊位编号 pa_id_car，则根据公式pa_id_car＝npa//2获取所述泊位编号，所述npa 为待估计泊位个数。

进一步地，所述系统还包括：生成显示模块23；

所述生成显示模块23，用于生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。

本发明提供的一种基于单目视觉图片的车辆泊位匹配系统，仅需要预先获取泊位尺寸和泊位在图片中顶点坐标的条件下，便可以通过获取多个相邻泊位的顶点坐标信息和相对的相机参数信息，然后结合车辆目标检测和车辆类型分类信息，通过车辆目标检测框关键点匹配迭代算法，重建车辆在同泊位一致的世界坐标系下的八个外接长方体关键点坐标，可在消除2D 图片射影形变的条件下更为准确的评估车辆和泊位的相对位置关系，提升车辆泊位匹配的准确性。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc) 包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述方法包括：

获取图片中待定位车辆的检测识别结果信息，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息；

根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号pa_id_car；

根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0；

根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点；

根据所述车辆目标在各个坐标系下的特征点坐标、所述park_c2d、park_c2d_top、以及所述park_w获取相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

2.根据权利要求1所述的一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点的步骤之前，所述方法还包括：

根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；

在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息park_w进行网格剖分得到世界坐标系下网格坐标；

通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；

将所述三维坐标p3d的z轴方向数值和所述二维投影坐标p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

3.根据权利要求2所述的一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点的步骤包括：

根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

4.根据权利要求1所述的一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述获取图片中待定位车辆的检测识别结果信息的步骤之前，所述方法还包括：

获取每一个相机对应的泊位待标注最优图片；

获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；

根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影park_c2d和park_c2d_top。

5.根据权利要求1所述的一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述方法还包括：

若未获取到匹配的泊位编号pa_id_car，则根据公式pa_id_car＝npa//2获取所述泊位编号，所述npa为待估计泊位个数。

6.根据权利要求1所述的一种基于单目视觉图片的车辆泊位匹配方法，其特征在于，所述获取相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位的步骤之后，所述方法还包括：

生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。

7.一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，所述系统包括：

获取模块，用于获取图片中待定位车辆的检测识别结果信息，所述检测识别结果信息包括车辆目标检测框和所述车辆类型的平均尺寸信息，并根据所述车辆目标检测框在所述图片中的位置获取所述车辆目标的匹配基准点类型信息；

所述获取模块，还用于根据所述图片对应相机的延拓泊位顶点投影坐标park_c2d和park_c2d_top，获取各个与相机对应的各个泊位立体投影区域的外接矩形框，并将所述车辆目标检测框与所述各个泊位立体投影区域的外接矩形框进行相关性匹配，获取相关性最大的泊位编号pa_id_car；

所述获取模块，还用于根据所述pa_id_car的中心点坐标获取所述车辆目标底面中心点的初始估计值cbm_est0；

所述获取模块，还用于根据所述cbm_est0、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述pa_id_car的中心点坐标、所述相机的相机参数、以及所述相机对应的延拓泊位在世界坐标系下的相对坐标信息park_w获取所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点；

确定模块，用于根据所述车辆目标在各个坐标系下的特征点坐标、所述park_c2d、park_c2d_top、以及所述park_w确定相关性最大值区域对应的泊位编号为所述车辆目标匹配的泊位。

8.根据权利要求7所述的一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，

所述获取模块，还用于根据所述匹配基准点类型信息和所述车辆类型的平均尺寸信息获取对应基准点类型的高度h；在基准点类型的高度h的泊位编号pa_id_car邻域内对世界坐标系下的相对坐标信息park_w进行网格剖分得到世界坐标系下网格坐标；通过所述相机参数将所述世界坐标系下网格坐标投影到所述相机坐标系下得到三维坐标p3d以及所述图片的二维投影坐标p2d，所述相机坐标系是根据所述相机参数得到的；将所述三维坐标p3d的z轴方向数值和所述二维投影坐标p2d进行分片插值后得到在高度h平面的二维投影坐标到相应相机坐标系下深度估计函数f_depth(p2d)＝p3d。

9.根据权利要求8所述的一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，

所述获取模块，还用于根据所述车辆目标检测框、所述匹配基准点类型信息、所述车辆类型的平均尺寸信息、所述相机的相机参数、所述车辆目标底面中心点的初始估计值cbm_est0、以及所述函数f_depth(p2d)＝p3d_z进行迭代计算，得到所述车辆目标底面中心点的世界坐标系下的坐标cbm_est以及相应各个坐标系下的特征点。

10.根据权利要求7所述的一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，

所述获取模块，还用于获取每一个相机对应的泊位待标注最优图片；获取所述泊位待标注最优图片中泊位的泊位顶点坐标，并根据泊位顶点坐标和泊位长宽尺寸信息获取相机的相机参数；根据所述相机参数以及泊位坐标矩阵，获取相应的图片上整个延拓泊位的二维投影park_c2d和park_c2d_top。

11.根据权利要求7所述的一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，

所说获取模块，还用于若未获取到匹配的泊位编号pa_id_car，则根据公式pa_id_car＝npa//2获取所述泊位编号，所述npa为待估计泊位个数。

12.根据权利要求1所述的一种基于单目视觉图片的车辆泊位匹配系统，其特征在于，所述系统还包括：生成显示模块；

所述生成显示模块，用于生成并显示在所述世界坐标系下所述泊位和所述车辆目标检测框的俯视投影图。

Images