CN111652937A - 车载相机标定方法和装置 - Google Patents

Abstract

本申请涉及一种车载相机标定方法和装置。该方法包括：在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。该方法可以使得车辆在不同场景下可以利用合适的相机外参获取具有较高精确度的拼接图，提高相机标定的适用场景。

Description

车载相机标定方法和装置

技术领域

本申请涉及机器视觉和图像测量技术领域，特别是涉及一种车载相机标定方法和装置。

背景技术

鱼眼相机是一种短焦距、超广角的镜头，可以拍摄出全景或者半球状的图片，在视频监控、医疗、军事、全景系统等领域得到广泛应用。由于鱼眼相机自身的成像特点，其拍摄得到的图像存在明显的畸变现象，不适于人眼直接观看。因此，在实际应用中，鱼眼相机拍摄的图像并不会被直接使用，而需要进行一定的矫正处理以适于人眼直接观看后再被使用，上述对鱼眼相机拍摄的图像进行畸变矫正的过程就是鱼眼相机的标定过程。

传统技术中，一般采用出厂下线标定的方式，通过空载车辆上的相机拍摄标定模板如棋盘格，经过标定算法的计算以求解相机的内外参数，从而完成相机标过程定。

但是，传统的出厂下线标定方式获得的相机外参是固定不变的，导致适用场景较为单一。

发明内容

基于此，有必要针对传统的出厂下线标定方式获得的相机外参是固定不变的，导致适用场景较为单一的问题，提供一种车载相机标定方法和装置。

第一方面，本申请实施例提供一种车载相机标定方法，所述法包括：

在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路交通标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

第二方面，本申请实施例提供一种车载相机标定装置，该装置包括：

初始图像矫正模块,用于在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

第一目标长宽比确定模块，用于根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

目标相机外参确定模块，用于根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

本实施例提供的车载相机标定方法和装置，可以在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；并根据在实际道路交通标线上预设的第一实际目标点、相机对应的GPS信息和预设的地图信息，确定在线矫正图像上的第一标定框对应的第一目标长宽比；进而根据第一目标长宽比和第一矫正目标点，确定目标相机外参。当车辆行驶的路况发生变化或相机安装位置发生变化等条件下，如果还利用下线标定过程中获取的相机外参，则最终获得的拼接图的精确度会大大降低，而本实施例中，电子设备可以在满足调整相机外参的条件时，根据对所述相机进行下线标定过程中获取的相机内参和相机对应的GPS信息和预设的地图信息等确定新的目标相机外参，以使得车辆在不同场景下可以利用合适的相机外参获取具有较高精确度的拼接图，提高相机标定的适用场景。

附图说明

图1为一个实施例提供的相机标定系统的结构示意图；

图2为一个实施例提供的车载相机标定方法流程示意图；

图3为一个实施例提供的可跨越对向车行道分界线示意图；

图4为另一个实施例提供的车载相机标定方法流程示意图；

图5为另一个实施例提供的可跨越对向车行道分界线示意图；

图6为又一个实施例提供的车载相机标定方法流程示意图；

图7为一个实施例提供的棋盘格模板示意图；

图8为另一个实施例提供的棋盘格模板示意图；

图9为又一个实施例提供的车载相机标定方法流程示意图；

图10为一个实施例提供的车载相机标定装置结构示意图；

图11为另一个实施例提供的车载相机标定装置结构示意图；

图12为又一个实施例提供的车载相机标定装置结构示意图；

图13为一个实施例提供的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本实施例提供的车载相机标定方法，可以应用于如图1所示的相机标定系统。该相机标定系统可以应用于交通工具，该交通工具可以是任意包含离合器的四驱系统的车辆、还可以是其它包含离合器的四驱系统的交通工具。以车辆为例，车辆可以为单一的油路车辆、还可以是单一的汽路车辆、还可以是油汽结合的车辆、还可以是助力的电动车辆，本申请实施例对车辆的类型并不做限定。下述实施例均以交通工具是车辆为例来进行说明。可选的，上述相机标定系统可以包括电子设备、相机和显示装置，其中，相机用于通过拍摄得到初始图像和初始模板图像，并将得到的初始图像和初始模板图像发送给所述电子设备；显示装置用于显示电子设备发送的第一拼接图和第二拼接图；电子设备用于实现本申请实施例的车载相机标定方法。

需要说明的是，本申请实施例提供的车载相机标定方法，其执行主体可以是车载相机标定装置，该车载相机标定装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部。下述方法实施例中，均以执行主体是电子设备为例来进行说明。

图2为一个实施例提供的车载相机标定方法流程示意图。本实施例涉及的是电子设备根据下线标定过程获得的相机内参，基于对车辆在行驶过程中获得的包括道路交通标线信息的图像，获得新的目标相机外参的过程。如图2所示，该方法可以包括：

S202，在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息。

具体的，上述相机可以为鱼眼相机，也可以为普通相机如单反相机或微单相机等。相机的个数和安装位置可以根据需要设定，可选的，车辆前、后、左和右四个方向上可以分别安装有一个相机。相机拍摄得到的初始图像可以发送给电子设备以便电子设备进行相应的处理。其中，初始图像中包括道路交通标线信息，该道路交通标线信息可以包括车道线、斑马线和停车位标线等。可选的，相机可以拍摄多张图像并发送给电子设备，若图像中不包括完整的道路交通标线信息，可以重新拍摄，电子设备在处理时，也可以剔除不包括完整的道路交通标线信息的图像，以使得最终确定的目标相机外参更加准确。

相机外参调整条件可以为车辆承载的人或物的负荷不位于预设的负荷阈值范围，也可以为车辆当前时刻行驶的道路路况与上一时刻行驶的道路路况不同(如当前时刻行驶的道路为平坦道路，上一时刻行驶的道路为斜坡道路，则车辆当前时刻行驶的道路路况与上一时刻行驶的道路路况不同)，相机外参调整条件还可以为相机的安装位置发生变化，本实施例对相机外参调整条件并不做限定。

以相机外参调整条件为车辆承载的人或物的负荷不位于预设的负荷阈值范围为例，车辆承载的人或物的负荷可以由车辆上安装的传感器获得，比如可以在座位下面安装压力传感器，压力传感器可以将采集得到的压力信息发送给电子设备。电子设备根据接收的压力信息确定车辆的负荷，并将确定的车辆的负荷信息与预设的负荷范围比较，当确定相机所处车辆的负荷不在预设的负荷范围内时，车辆上安装的相机开始进行拍摄并获得初始图像。例如，车辆由空载的静止状态到驾驶员开始行驶车辆时，车辆的负载是会发生变化的，此时，相机外参也易会发生变化，如果电子设备还利用静止状态时存储的相机外参，则易造成获得的拼接图像不精确，此时，相机需要重要重新拍摄图像并依据新的图像获得新的相机外参。当然，若车辆的负载没有发生变化，则电子设备并不需要重新获得新的相机外参，以减小电子设备的计算量，减少车辆的能耗。

需要说明的是，电子设备可以先确定是否满足相机外参调整条件时，再获取相机拍摄的初始图像；也可以先获取相机拍摄的初始图像，再确定是否满足相机外参调整条件，本实施例对此不做限定。

电子设备可以获取在车辆下线标定过程中根据标定过程获得的相机内参，并根据该相机内参和预设的畸变模型对上述初始图像进行矫正，以获得矫正后的在线矫正图像。相机通常获得的初始图像是有畸变的，比如径向畸变或切身畸变等，而人眼需求的图像是没有畸变的正常图像，因此，需要对有畸变的初始图像进行矫正，以便获得正常图像。

可选的，畸变矫正模型可以用泰勒级数展开式x′＝x*(1+k₁*r²+k₂*r⁴+k₃*r⁶)和y′＝y*(1+k₁*r²+k₂*r⁴+k₃*r⁶)，其中，(x′,y′)为是畸变点在像素平面的原始位置，(x,y)是畸变较正后的位置，k₁、k₂和k₃为畸变系数。可选的，畸变矫正模型也可以为Brown-Conrady畸变模型，本实施例对畸变矫正模型的类型并不做限定。

可选的，为了更容易检测出在线矫正图像中的道路交通标线信息对应的图像，电子设备可以先对在线矫正图像进行预处理，得到预处理后的梯度图像，其中，预处理操作可以包括图像增强和边缘检测。然后利用预设的多个方向角大小不同的滤波器如Gabor滤波器对获得的梯度图像进行多角度滤波处理，通过求取不同边缘响应图像车道线区域像素的平均灰度值，选择最大值所对应的滤波器方向角作为最佳梯度方向区间，该区间也是可以使得在线矫正图像中的道路交通标线的边缘清晰度最高的区间。对于处于最佳梯度方向区间的边缘点还需进行非极大值抑制，即寻找最佳梯度方向区间内的图像像素点的局部最大值，并将非极大值点所对应的灰度值置为0，从而剔除一大部分非边缘的点并细化边缘。经非极大值抑制后提取到的边缘明显得到了优化，但是仍然有部分噪点，电子设备可以利用Canny算子中的双阈值法对边缘点进行连接，去除孤立边缘点，以使得在线矫正图像中的道路交通标线信息的快速检测。

S204，根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路交通标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框。

具体的，上述第一实际目标点可以为实际道路交通标线上的预设的点，也可以为道路交通标线上的多个顶点，如图3所示的可跨越对向车行道分界线，可以选取可跨越对向车行道分界线上的四个顶点作为第一实际目标点。其中，上述实际道路交通标线为道路交通标线信息对应的实际场景中的道路交通标线。相机的GPS信息为相机所处的位置，也即安装相机的车辆所处的位置，预设的地图信息可以包括道路交通标线的地图信息。

可选的，在线矫正图像上的上述第一实际目标点对应的各个点构成的二维框可以为矩形。电子设备可以根据上述第一实际目标点、相机对应的GPS信息和预设的地图信息，确定在线矫正图像上述二维框的第一目标长宽比。

S206，根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

具体的，电子设备可以根据上述第一目标长宽比确定第一实际目标点在世界坐标系中的坐标位置，并根据第一矫正目标点在像素坐标系下的像素坐标位置，确定目标相机外参。可选的，电子设备可以按照如下步骤确定目标相机外参：

S2062，根据所述第一目标长宽比，确定所述第一矫正目标点在世界坐标系中的X轴方向的第一X坐标值和Y轴方向的第一Y坐标值。

本步骤中，电子设备可以根据上述第一目标长宽比和预设的坐标确定规则确定第一矫正目标点在世界坐标系中的X轴方向的第一X坐标值和Y轴方向的第一Y坐标值。其中，预设的坐标确定规则可以为第一目标长宽比的倍数，例如，第一目标长宽比为3：2，若预设的第一目标长宽比的位数为2，则第一X坐标值和第一Y坐标值可以分别为6和4，计算机设备也可以直接将3和2分别作为第一矫正目标点在世界坐标系中的第一X坐标值和第一Y坐标值。

S2064，根据所述第一X坐标值、所述第一Y坐标值和预设的第一Z坐标值，确定所述第一矫正目标点在所述世界坐标系中的第一世界坐标位置。

本步骤中，Z轴方向上的第一Z坐标值可以为1，也可以为预设的其它非负值。第一X坐标值、第一Y坐标值和第一Z坐标值确定后，则电子设备可以将第一矫正目标点在世界坐标系中的第一X坐标值、第一Y坐标值和第一Z坐标值作为第一矫正目标点在世界坐标系中的第一世界坐标位置。

S2066，获取所述第一矫正目标点的第一像素坐标位置，并根据所述第一像素坐标位置和所述第一世界坐标位置，确定第一逆透视变换参数，并从所述第一逆透视变换参数中确定所述目标相机外参。

本步骤中，第一矫正目标点的第一像素坐标位置为第一矫正目标点在像素坐标系中的像素坐标位置。根据第一像素坐标位置和第一世界坐标位置在四个坐标系下的转换关系，可以确定出第一逆透视变换参数，逆透视变换参数中包括有相机外参。上述四个坐标系包括世界坐标系、相机坐标系、相机平面坐标系和像素坐标系。世界坐标系根据情况而定，可以表示任何物体，此时是由于相机而引入的；相机坐标系以摄像机光心为原点(在针孔模型中也就是针孔为光心)，Z_c轴与光轴重合，也就是Z_c轴指向相机的前方(也就是与成像平面垂直)，X_c轴与Y_c轴的正方向与相机平面坐标系平行。相机平面坐标系以毫米为单位，用物理单位表示图像像素位置，原点定义在相机与图像平面交点。像素坐标系以像素为单位，是以图像的左上方为原点的图像坐标系。

例如，第一矫正目标点在世界坐标系下表示为(X,Y,Z)_w，在相机坐标系下表示为(X,Y,Z)_c，在这两个坐标系之间的变换可以表示如(1)式所示：

其中，R为世界坐标系和相机坐标系之间的旋转矩阵，t为平移矩阵。

坐标位置(X,Y,Z)_c从相机坐标系到相机平面坐标系(x,y,1)之间转换关系为公式(2)：

坐标位置(x,y,1)从相机平面坐标系到像素坐标系(u,v,1)之间转换关系为公式(3)：

其中，像素坐标系和相机平面坐标系之间有如下关系：

dx和dy表示每毫米有多少像素点。

综合上述公式(1)、(2)和(3)，可以得到公式(4)：

公式(4)可以进一步简化成如下公式(5)：

其中，

将公式(5)进一步变形为公式(6)：

上述求解M^-1的过程即为求解逆透视变换参数的过程，逆透视变换参数中的旋转矩阵R和平移矩阵t为相机外参。可选的，电子设备可以根据相机发送的多张初始图像确定多个旋转矩阵R和多个平移矩阵t，并根据各个旋转矩阵R、平移矩阵t和预设的权重，确定目标相机外参，以降低根据单次拍摄的初始图像获取目标相机外参带来的不准确性，提高目标相机外参确定的准确度。可选的，各个旋转矩阵R和平移矩阵t预设的权重可以相等，也可以为不同的权重。

本实施例提供的车载相机标定方法中，电子设备可以在满足相机外参调整条件时，根据对所述相机进行下线标定过程中获取的相机的相机内参对相机拍摄得到的初始图像进行矫正，得到初始图像对应的在线矫正图像；并根据在实际道路交通标线上预设的第一实际目标点、相机对应的GPS信息和预设的地图信息，确定在线矫正图像上的第一标定框对应的第一目标长宽比；进而根据第一目标长宽比和第一矫正目标点，确定目标相机外参。当车辆行驶的路况发生变化或相机安装位置发生变化等条件下，如果还利用下线标定过程中获取的相机外参，则最终获得的拼接图的精确度会大大降低，而本实施例中，电子设备可以在满足调整相机外参的条件时，根据对所述相机进行下线标定过程中获取的相机内参和相机对应的GPS信息和预设的地图信息等确定新的目标相机外参，以使得车辆在不同场景下可以利用合适的相机外参获取具有较高精确度的拼接图，提高相机标定的适用场景。

图4为另一个实施例提供的车载相机标定方法流程示意图。本实施例涉及的电子设备根据相机对应的GPS信息和预设的地图信息，确定实际道路交通标线的第一目标长宽比的过程。在上述实施例的基础上，可选的，上述S206可以包括：

S402，根据所述GPS信息和所述地图信息，确定所述实际道路交通标线的类型。

具体的，电子设备可以根据相机对应的GPS信息和预设的地图信息，确定当前GPS信息对应的地图上包括的道路交通标线的类型。可选的，电子设备可以根据如下步骤确定道路交通标线的类型：根据GPS信息，确定相机所处的位置信息；根据位置信息和地图信息，确定位置信息对应的目标地图信息；根据目标地图信息，确定实际道路交通标线的类型。

电子设备可以根据车辆上安装的GPS定位器发送的当前车辆的GPS信息确定相机当前时刻所处的位置信息。电子设备可以根据确定出的位置信息确定该位置信息对应的目标地图信息，该目标地图信息中包括道路交通标线图以及道路交通标线的类型。例如，当前车辆位于A省B市C路的路段上，电子设备可以根据该位置信息确定该位置所应对应的包括C路和周围商铺和/或公司的目标地图信息，并从该目标地图信息中获取其中的C路的道路交通标线类型。

S404，根据所述实际道路交通标线的类型、以及预设的实际道路交通标线的长和宽，确定所述实际道路交通标线的第一初始长宽比。

具体的，预设的实际道路交通标线的长和宽，可以为根据国家标准和/或行业标准等确定的，每一类实际道路交通标线均有对应的长和宽。如图5所示的可跨越对向车行道分界线对应的实际道路交通标线，其预设的长h为400cm，宽w为15cm，对应的实际道路交通标线的第一初始长宽比即为400：15。

S406，将所述第一初始长宽比作为所述第一目标长宽比。

本实施例中，由于在线矫正图像中的第一标定框对应的道路交通标线与实际道路交通标线上是等比例缩放的，因此，电子设备可以直接将实际道路交通标线的第一初始长宽比作为在线矫正图像上的第一标定框对应的第一目标长宽比。

本实施例提供的车载相机标定方法中，电子设备可以根据GPS信息和地图信息确定实际道路交通标线的类型；并根据实际道路交通标线的类型、以及预设的实际道路交通标线的长和宽，确定实际道路交通标线的第一初始长宽比；进而将第一初始长宽比作为第一目标长宽比。车辆在行驶过程中，相机可以拍摄得到不同类型的道路交通标线信息，电子设备可以根据该实际道路交通标线信息，确定在线矫正图像中的第一标定框的第一目标长宽比，不受限于车辆所处的场地，因此，第一目标长宽比的确定方式较为灵活。

图6为又一个实施例提供的车载相机标定方法流程示意图。本实施例涉及的是电子设备根据标定模板上的第二实际目标点，和对通过升降方式对标定模板拍摄的多个初始模板图像进行矫正得到的下线矫正图像上的第二标定框对应的第二目标长宽比，确定初始相机外参的过程。在上述实施例的基础上，可选的，上述方法还可以包括：

S602，获取所述相机通过升降方式对标定模板拍摄的多个初始模板图像。

具体的，安装有待标定相机的车辆可以位于标定模板上放置的升降台上，以使得相机可以通过升降的方式获取不同角度的初始模板图像，提高相机标定过程中获取的相机内外参的准确度。可选的，标定模板可以为棋盘格模板，也可以为等间距实心圆阵列图案模板，还可以为其它带有固定间距图案阵列的平板。以标定模板为棋盘格模板为例，车辆可以位于如图7所示的棋盘格模板上，车辆下面固定有升降台，车辆位于不同高度时，拍摄周围的棋盘格图的角度也不同，以使得电子设备根据不同角度下的初始模板图像确定相机内外参，提高获取的相机内外参的准确度。可选的，初始模板图像中应该包括完整的棋盘格图像，以提高相机的内外参数的准确度。

S604，根据所述初始模板图像和预设的角点检测模型，确定所述初始模板图像对应的下线矫正图像。

具体的，电子设备可以利用预设的角点检测模型对初始模板图像进行角点检测，以利用获得的角点确定相机内参，并根据获得的相机内参确定下线矫正图像。其中，角点可以为棋盘格模板上的黑白棋盘格的交点。可选的，电子设备可以根据如下步骤确定初始模板图像对应的下线矫正图像：

S6042，根据所述角点检测模型对所述初始模板图像进行角点检测，得到所述初始模板图像上的候选角点。

具体的，角点检测模型可以为Harris角点检测算法模型或Susan算法模型，利用Harris角点检测算法模型或Susan算法模型对初始模板图像进行角点检测，以获得初始模板图像上的多个候选角点的坐标位置，可选的，候选角点为初始模板图像中所有黑白格的交点。

S6044，根据所述候选角点，确定相机内参。

本实施例中，电子设备确定出候选角点后，可以根据候选角点和预设的畸变参数模型，通过迭代的方式确定相机内参。

S6046，根据所述相机内参对所述初始模板图像进行矫正，得到所述初始模板图像对应的下线矫正图像。

具体的，电子设备可以根据相机内参和预设的畸变模型对初始模板图像进行矫正，以获得矫正后的下线矫正图像，该过程与图2所示实施例中确定在线矫正图像的方式类似，本实施例在此不再赘述。

S606，根据预设的所述标定模板上的第二实际目标点，确定所述下线矫正图像上的第二标定框对应的第二目标长宽比；所述第二标定框为所述下线矫正图上的所述第二实际目标点对应的第二矫正目标点构成的二维框。

具体的，第二实际目标点可以根据预设的选取规则确定，如图8所示，电子设备可以根据预设的选取规则从候选角点中选取棋盘格中最外围的四个棋盘格点作为目标点80作为第二实际目标点。电子设备可以根据预设的棋盘格的尺寸信息和任意两个第二实际目标点之间的棋盘格的数目，确定第二实际目标点对应的矩形模式的长宽比，如图8所示，假设每个棋盘格的尺寸为1m，则根据第二实际目标点进行连线确定出的矩形框中，长的方向占了5个棋盘格，宽的方向上占了3个棋盘格，因此，第二实际目标点进行连线确定出的矩形框的长宽比应该为5：3，根据图像的等比例缩放原则，电子设备可以将二实际目标点进行连线确定出的矩形框的长宽比应该为5：3，作为下线矫正图像上的第二标定框对应的第二目标长宽比。

S608，根据所述第二目标长宽比和所述第二矫正目标点，确定第二逆透视变换参数；所述第二逆透视变换参数包括初始相机外参。

本实施例中，根据第二目标长宽比和第二矫正目标点，确定第二逆透视变换参数的实现过程，与根据实根据第一目标长宽比和第一矫正目标点确定目标相机外参的实现过程类似，本实施例对此不再赘述。

可选的，电子设备可以根据的权重，将根据获取的多个初始模板图像确定的相机内参和初始相机外参进行加权平均的方式，确定最终的相机内参和初始相机外参，以提高相机内参和初始相机外参的确定准确度。

在确定出第二逆透视变换参数后，电子设备可以按如下根据该第二逆透视变换参数确定各个初始模板图像对应的第二拼接图：根据第二逆透视变换参数对下线矫正图像进行逆透视变换，得到下线矫正图像对应的第二俯视图；根据预设的感兴趣区域和预设的模板匹配模型，确定拼接分割线参数；根据拼接分割线参数对第二俯视图进行拼接，确定第二拼接图。

本实施例中，电子设备可以根据包括初始相机外参的第二逆透视变换参数确定出的逆透视变换矩阵，对下线矫正图像进行逆透视变换，确定下线矫正图像对应的第二俯视图。上述预设的感兴趣可以为如图7所示的棋盘格标定模板的最外围的四个棋盘格70作为感兴趣区域，并结合预设的模板匹配模型，确定将车辆上安装的四个相机获取的图像进行拼接的拼接分割线参数。电子设备可以利用获取的拼接分割线参数对上述第二俯视图进行拼接，从而确定出下线标定过程中各个相机拍摄的初始模板图像对应的第二拼接图。

本实施例提供的车载相机标定方法中，电子设备可以获取相机通过升降方式对标定模板拍摄的多个初始模板图像；并根据初始模板图像和预设的角点检测模型确定初始模板图像对应的下线矫正图像；并根据预设的标定模板上的第二实际目标点，确定下线矫正图像上的第二标定框对应的第二目标长宽比；进而根据第二目标长宽比和第二矫正目标点，确定包括初始相机外参的第二逆透视变换参数。本实施例中，电子设备可以根据利用升降方式获取不同角度的初始模板图像，提高了相机内参和初始相机外参确定的准确度；另外，电子设备可以根据棋盘格上的第二实际目标点确定的矩形框的长宽比，确定下线矫正图像上的第二实际目标点对应的第二矫正目标点对应的第二标定框的第二目标长宽比，从而根据第二目标长宽比和第二矫正目标点，快速确定初始相机外参，初始相机外参的确定方式较为简单。

图9为又一个实施例提供的车载相机标定方法流程示意图。本实施例涉及的是电子设备根据用户对在线矫正图对应的第一拼接图和下线矫正图对应的第二拼接图进行比较后输入的选择指令，确定是否将目标相机外参作为新的初始相机外参的过程。在上述实施例的基础上，可选的，上述方法还可以包括：

S902，获取根据所述目标相机外参确定的所述在线矫正图像对应的第一拼接图。

具体的，电子设备需要将目标相机外参代替初始相机外参，并根据目标相机外参对应的逆透视变换参数，利用与第二拼接图的确定方式类似的方式确定在线矫正图像对应的第一拼接图，本实施例在此不再赘述。

S904，接收用户根据所述第一拼接图和所述第二拼接图输入的选择指令，并基于所述选择指令，将所述目标相机外参作为新的初始相机外参。

具体的，电子设备可以将确定出的根据目标相机外参确定的第一拼接图和根据初始相机外参确定的第二拼接图发送给车辆上的显示装置，供显示装置将第一拼接图和第二拼接图显示给用户，并向用户显示是否将目标相机外参作为新的初始相机外参的界面，若用户判断根据目标相机外参确定的第一拼接图的拼接效果优于根据初始相机外参确定的第二拼接图，则可以基于该界面输入确定的选择指令，以确定将目标相机外参作为新的初始相机外参，从而完成相机外参的标定过程，并保存新的初始相机外参以使得电子设备可以利用新的初始相机外参确定新的拼接图。可选的，电子设备可以在驾驶员驻车的时长内，向显示装置发送第一拼接图和第二拼接图供驾驶员确定是否将确定出的目标相机外参作为新的初始相机外参，从而保证驾驶员的安全。

本实施例提供的车载相机标定方法中，电子设备可以将获取的在线矫正图对应的第一拼接图和下线矫正图对应的第二拼接图发送给显示装置，供用户确认是否将计算出的目标相机外参作为新的初始相机外参，以方便用户灵活地选取所需的相机外参，提高了确定相机外参的灵活性。

应该理解的是，虽然图2至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图10为一个实施例提供的车载相机标定装置结构示意图。如图10所示，该装置可以包括初始图像矫正模块1002、第一目标长宽比确定模块1004和目标相机外参确定模块1006。

初始图像矫正模块1002,用于在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

第一目标长宽比确定模块1004，用于根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

目标相机外参确定模块1006，用于根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在另一个实施例提供的车载相机标定装置中，在上述图10所示实施例的基础上，可选的，上述第一目标长宽比确定模块1004可以包括实际道路交通标线类型确定单元、第一初始长宽比确定单元和第一目标长宽比确定单元。

具体的，实际道路交通标线类型确定单元，用于根据所述GPS信息和所述地图信息，确定所述实际道路交通标线的类型；

第一初始长宽比确定单元，用于根据所述实际道路交通标线的类型、以及预设的实际道路交通标线的长和宽，确定所述实际道路交通标线的第一初始长宽比；

第一目标长宽比确定单元，用于将所述第一初始长宽比作为所述第一目标长宽比。

可选的，实际道路交通标线类型确定单元，具体用于根据所述GPS信息，确定所述相机所处的位置信息；根据所述位置信息和所述地图信息，确定所述位置信息对应的目标地图信息；根据所述目标地图信息，确定所述实际道路交通标线的类型。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在又一个实施例提供的车载相机标定装置中，在上述实施例的基础上，可选的，上述目标相机外参确定模块1006可以包括

具体的，第一X坐标值和第一Y坐标值确定单元，用于根据所述第一目标长宽比，确定所述第一矫正目标点在世界坐标系中的X轴方向的第一X坐标值和Y轴方向的第一Y坐标值；

第一Z坐标值确定单元，用于根据所述第一X坐标值、所述第一Y坐标值和预设的第一Z坐标值，确定所述第一矫正目标点在所述世界坐标系中的第一世界坐标位置；

目标相机外参确定单元，用于获取所述第一矫正目标点的第一像素坐标位置，并根据所述第一像素坐标位置和所述第一世界坐标位置，确定第一逆透视变换参数，并从所述第一逆透视变换参数中确定所述目标相机外参。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图11为又一个实施例提供的车载相机标定装置结构示意图，在上述实施例的基础上，可选的，上述装置还可以包括初始模板图像获取模块1008、下线矫正图像确定模块1010、第二目标长宽比确定模块1012和初始相机外参确定模块1014。

具体的，初始模板图像获取模块1008，用于获取所述相机通过升降方式对标定模板拍摄的多个初始模板图像；

下线矫正图像确定模块1010，用于根据所述初始模板图像和预设的角点检测模型，确定所述初始模板图像对应的下线矫正图像；

第二目标长宽比确定模块1012，用于根据预设的所述标定模板上的第二实际目标点，确定所述下线矫正图像上的第二标定框对应的第二目标长宽比；所述第二标定框为所述下线矫正图上的所述第二实际目标点对应的第二矫正目标点构成的二维框；

初始相机外参确定模块1014，用于根据所述第二目标长宽比和所述第二矫正目标点，确定第二逆透视变换参数；所述第二逆透视变换参数包括初始相机外参。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在又一个实施例提供的车载相机标定装置中，在上述实施例的基础上，可选的，上述下线矫正图像确定模块1010可以包括候选角点确定单元、相机内参确定单元和下线矫正图像确定单元。

具体的，候选角点确定单元，用于根据所述角点检测模型对所述初始模板图像进行角点检测，得到所述初始模板图像上的候选角点；

相机内参确定单元，用于根据所述候选角点，确定相机内参；

下线矫正图像确定单元，用于根据所述相机内参对所述初始模板图像进行矫正，得到所述初始模板图像对应的下线矫正图像。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图12为又一个实施例提供的车载相机标定装置结构示意图，在上述实施例的基础上，可选的，上述装置还包括第二俯视图确定模块1016、拼接分割线参数确定模块1018和第二拼接图确定模块1020。

具体的，第二俯视图确定模块1016，用于根据所述第二逆透视变换参数对所述下线矫正图像进行逆透视变换，得到所述下线矫正图像对应的第二俯视图；

拼接分割线参数确定模块1018，用于根据预设的感兴趣区域和预设的模板匹配模型，确定拼接分割线参数；

第二拼接图确定模块1020，用于根据所述拼接分割线参数对所述第二俯视图进行拼接，确定第二拼接图。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在又一个实施例提供的车载相机标定装置中，在上述实施例的基础上，可选的，上述装置还包括第一拼接图确定模块和处理模块。

具体的，第一拼接图确定模块，用于获取根据所述目标相机外参确定的所述在线矫正图像对应的第一拼接图；

处理模块，用于接收用户根据所述第一拼接图和所述第二拼接图输入的选择指令，并基于所述选择指令，将所述目标相机外参作为新的初始相机外参。

本实施例提供的车载相机标定装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车载相机标定方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路交通标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

上述实施例提供的电子设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种相机标定系统，所述系统包括相机、显示装置和如上述实例所述的电子设备；

所述相机，用于通过拍摄得到初始图像和初始模板图像，并将所述初始图像和所述初始模板图像发送给所述电子设备；

所述显示装置，用于显示所述电子设备发送的第一拼接图和第二拼接图。

在一个实施例中，提供了一种交通工具，包括上述实施例所述的相机标定系统。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路交通标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车载相机标定方法，其特征在于，所述方法包括：

在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路交通标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

2.根据权利要求1所述的方法，其特征在于，所述根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框的第一目标长宽比，包括：

根据所述GPS信息和所述地图信息，确定所述实际道路交通标线的类型；

根据所述实际道路交通标线的类型、以及预设的实际道路交通标线的长和宽，确定所述实际道路交通标线的第一初始长宽比；

将所述第一初始长宽比作为所述第一目标长宽比。

3.根据权利要求2所述的方法，其特征在于，所述根据所述GPS信息和所述地图信息，确定所述实际道路交通标线的类型，包括：

根据所述GPS信息，确定所述相机所处的位置信息；

根据所述位置信息和所述地图信息，确定所述位置信息对应的目标地图信息；

根据所述目标地图信息，确定所述实际道路交通标线的类型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参，包括：

根据所述第一目标长宽比，确定所述第一矫正目标点在世界坐标系中的X轴方向的第一X坐标值和Y轴方向的第一Y坐标值；

根据所述第一X坐标值、所述第一Y坐标值和预设的第一Z坐标值，确定所述第一矫正目标点在所述世界坐标系中的第一世界坐标位置；

获取所述第一矫正目标点的第一像素坐标位置，并根据所述第一像素坐标位置和所述第一世界坐标位置，确定第一逆透视变换参数，并从所述第一逆透视变换参数中确定所述目标相机外参。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述相机通过升降方式对标定模板拍摄的多个初始模板图像；

根据所述初始模板图像和预设的角点检测模型，确定所述初始模板图像对应的下线矫正图像；

根据预设的所述标定模板上的第二实际目标点，确定所述下线矫正图像上的第二标定框对应的第二目标长宽比；所述第二标定框为所述下线矫正图上的所述第二实际目标点对应的第二矫正目标点构成的二维框；

根据所述第二目标长宽比和所述第二矫正目标点，确定第二逆透视变换参数；所述第二逆透视变换参数包括初始相机外参。

6.根据权利要求5所述的方法，其特征在于，所述根据所述初始模板图像和预设的角点检测模型，确定所述初始模板图像对应的下线矫正图像，包括：

根据所述角点检测模型对所述初始模板图像进行角点检测，得到所述初始模板图像上的候选角点；

根据所述候选角点，确定相机内参；

根据所述相机内参对所述初始模板图像进行矫正，得到所述初始模板图像对应的下线矫正图像。

7.根据权利要求5所述的方法，其特征在于，在根据所述第二目标长宽比和所述第二矫正目标点，确定第二逆透视变换参数之后，所述方法还包括：

根据所述第二逆透视变换参数对所述下线矫正图像进行逆透视变换，得到所述下线矫正图像对应的第二俯视图；

根据预设的感兴趣区域和预设的模板匹配模型，确定拼接分割线参数；

根据所述拼接分割线参数对所述第二俯视图进行拼接，确定第二拼接图。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取根据所述目标相机外参确定的所述在线矫正图像对应的第一拼接图；

接收用户根据所述第一拼接图和所述第二拼接图输入的选择指令，并基于所述选择指令，将所述目标相机外参作为新的初始相机外参。

9.一种车载相机标定装置，其特征在于，所述装置包括：

初始图像矫正模块,用于在满足相机外参调整条件时，获取所述相机拍摄得到的初始图像对应的在线矫正图像；所述初始图像中包括道路交通标线信息；

第一目标长宽比确定模块，用于根据在实际道路交通标线上预设的第一实际目标点、所述相机对应的GPS信息和预设的地图信息，确定所述在线矫正图像上的第一标定框对应的第一目标长宽比；所述实际道路交通标线为所述道路交通标线信息对应的实际场景中的道路标线，所述第一标定框为所述在线矫正图像上的所述第一实际目标点对应的第一矫正目标点构成的二维框；

目标相机外参确定模块，用于根据所述第一目标长宽比和所述第一矫正目标点，确定目标相机外参。

10.根据权利要求9所述的装置，其特征在于，所述第一目标长宽比确定模块包括：

实际道路交通标线类型确定单元，用于根据所述GPS信息和所述地图信息，确定所述实际道路交通标线的类型；

第一初始长宽比确定单元，用于根据所述实际道路交通标线的类型、以及预设的实际道路交通标线的长和宽，确定所述实际道路交通标线的第一初始长宽比；

第一目标长宽比确定单元，用于将所述第一初始长宽比作为所述第一目标长宽比。

Images