CN116740192A

CN116740192A - 一种车载环视系统的标定方法、标定系统及智能汽车

Info

Publication number: CN116740192A
Application number: CN202310714165.4A
Authority: CN
Inventors: 付戬; 李文学; 秦超
Original assignee: Zebred Network Technology Co Ltd
Current assignee: Zebred Network Technology Co Ltd
Priority date: 2023-06-15
Filing date: 2023-06-15
Publication date: 2023-09-12

Abstract

本说明书公开了一种车载环视系统的标定方法、标定系统及智能汽车，所述方法包括：将智能汽车所在设定停车区域作为标定参考，控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像；检测所述设定停车区域在所述初始鸟瞰图像中的特征信息；所述特征信息包括所述设定停车区域在初始鸟瞰图像呈现的停车线和/或拐角角点；基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理；基于联合优化后的外参合并所述初始鸟瞰图像，得到环视全景图像。

Description

一种车载环视系统的标定方法、标定系统及智能汽车

技术领域

本说明书涉及车载环视系统标定技术领域，尤其涉及一种车载环视系统的标定方法、标定系统及智能汽车。

背景技术

车载环视系统，在汽车周围架设能覆盖车辆周边所有视场范围多个环视相机，例如4个-8个环视相机，通过控制多个环视相机对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的全景图，并显示在中控台的屏幕供驾驶员查看，从而提高驾驶安全性。

由于车载环视系统设置有多个相机，且多个相机的标定精度直接影响车载环视系统的图像拼接效果。因此，除在出厂之前对汽车进行出厂标定之外，为了弥补在车辆长期行驶过程中，因为振动、碰撞、轮胎漏气等一系列原因，环视相机相对于全局坐标系的位姿发生偏移并导致全景图像出现错位的现象，还需要进行售后标定。

目前售后标定主要包含4s标定和在线标定。4s标定是指在4s店中铺设带有标定图案的标定布，利用标定布进行整个车载环视系统的标定；在线标定是指车辆在道路上行驶的过程中，利用地面上的车道线、斑马线等路面标记完成车载环视系统的标定。申请人在研究中发现，4s标定需要借助额外的辅助工具，例如需要额外准备场地和铺设标定布才能完成标定，标定动作相对繁琐；在线标定极度依赖路面标记，而路面标记随时处于变化中，因此标定成功的随机性较大。

因此，目前亟需一种操作简便且标定效果更好的标定方式，来克服上述标定方法的缺陷。

发明内容

为解决现有技术存在的缺陷，公开了本说明书提供了一种车载环视系统的标定方法、标定系统及智能汽车，操作简便且标定效果更好，并且通过对所有拍摄组件进行联合优化，能够得到整体错位误差最小的环视全景图像。

本说明书的第一方面，公开了一种车载环视系统的标定方法，所述方法包括：

将智能汽车所在设定停车区域作为标定参考，控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像；

检测所述设定停车区域在所述初始鸟瞰图像中的特征信息；所述特征信息包括所述设定停车区域在初始鸟瞰图像呈现的停车线和/或拐角角点；

基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理；

基于联合优化后的外参得到各目标鸟瞰图像；

合并所述各目标鸟瞰图像得到环视全景图像。

优选的，所述控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像，具体包括：

控制所述多个拍摄组件分别获取关于所述设定停车区域的原始鱼眼图像；

基于所述原始鱼眼图像计算对应拍摄组件的姿态角初值；

基于所述多个拍摄组件各自的姿态角初值和位置的出厂标定值，获得对应的初始鸟瞰图像。

优选的，所述基于所述原始鱼眼图像计算对应拍摄组件的姿态角初值，具体包括：

针对单个拍摄组件，对所述原始鱼眼图像进行去畸变校正，得到去畸变图像；

检测所述去畸变图像中的目标直线；所述目标直线为在真实世界中彼此平行且在所述去畸变图像中相交于消失点的直线；

参考所述目标直线，计算所述消失点在所述去畸变图像中的图像像素坐标；

基于所述消失点的像素坐标计算所述姿态角初值中的俯仰角初值和偏航角初值；

基于所述目标直线在真实物理世界中的约束关系，计算所述姿态角初值中的翻滚角初值。

优选的，所述基于所述目标直线在真实物理世界中的约束关系，计算所述姿态角初值中的翻滚角初值，具体包括：

将所述目标直线从所述去畸变图像的像素坐标系变换到世界坐标系；

基于所述目标直线在所述世界坐标系中呈现的距离约束关系，以所述翻滚角为待优化变量构建目标函数；其中，所述目标直线间的距离会随着所述翻滚角的变化而变化；

以翻滚角理论值作为非线性迭代优化的迭代初始值对所述翻滚角的目标函数进行非线性迭代优化，直至所述翻滚角的目标函数达到设定阈值或者迭代次数达到上限为止，得到所述翻滚角初值。

若所述多个拍摄组件均能拍摄到各自方位的设定停车区域，控制每个拍摄组件分别获取各自方位的所述初始鸟瞰图像；其中，一个拍摄组件采集一张初始鸟瞰图像；或者

若所述多个拍摄组件中有任一拍摄组件不能拍摄到对应方位的设定停车区域，控制所述多个拍摄组件至少获取两次所述初始鸟瞰图像；其中，同一个拍摄组件在所述智能汽车处于所述设定停车区域的不同位置时分别采集一次初始鸟瞰图像。

优选的，所述基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理，具体包括：

基于所述停车线和所述拐角角点在所有初始鸟瞰图像中的相互约束关系，以所有拍摄组件的外参作为待优化变量，建立用于对所有拍摄组件的外参进行联合优化的联合优化目标函数；所述相互约束关系包括下述一种或多种：所述停车线在单个鸟瞰图像或者两个不同鸟瞰图像的公共区域中的等同约束关系，所述拐角角点在两个不同鸟瞰图像的公共区域中的重合约束关系；所述等同约束关系包括下述一种或多种：平行约束、垂直约束、重合约束、等长约束；所述联合优化目标函数包括下述一种或多种：单个鸟瞰图像对应的第一目标函数、由不同鸟瞰图像联合确定的第二目标函数；

将所述姿态角初值作为非线性迭代优化的初始值，对所述联合优化目标函数进行非线性迭代优化，直至所述联合优化目标函数达到设定阈值或者迭代次数达到上限为止。

优选的，在非线性迭代优化的过程中，利用当前次迭代优化后的外参对当前次迭代对应的鸟瞰图像中的特征信息进行变换，得到下一次迭代优化的特征信息。

本说明书的第二方面，公开了一种车载环视标定系统，包括：

控制模块，用于将智能汽车所在设定停车区域作为标定参考，控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像；

检测模块，用于检测所述设定停车区域在所述初始鸟瞰图像中的特征信息；所述特征信息包括所述设定停车区域在初始鸟瞰图像呈现的停车线和/或拐角角点；

联合优化模块，用于基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理；

获得模块，用于基于联合优化后的外参得到各目标鸟瞰图像；

合并模块，用于合并所述各目标鸟瞰图像得到环视全景图像。

优选的，所述控制模块，具体包括：

控制子模块，用于控制所述多个拍摄组件分别获取关于所述设定停车区域的原始鱼眼图像；

计算模块，用于基于所述原始鱼眼图像计算对应拍摄组件的姿态角初值；

构建模块，用于基于所述多个拍摄组件各自的姿态角初值和位置的出厂标定值，获得对应的初始鸟瞰图像。

优选的，所述计算模块，具体用于：

优选的，所述计算模块，在用于基于所述目标直线在真实物理世界中的约束关系，计算所述姿态角初值中的翻滚角初值时，进一步用于：

优选的，所述控制模块，具体用于：

优选的，所述联合优化模块，具体用于：

本说明书的第三方面，公开了一种智能汽车，包括存储器、车载处理器及存储在存储器上并可在车载处理器上运行的车载程序，所述车载处理器执行所述程序时实现上述方法的步骤。

通过本说明书的一个或者多个实施例，本说明书具有以下有益效果或者优点：

本说明书针对性的提出了一种车载环视系统的标定方法、标定系统及智能汽车，将智能汽车所在设定停车区域作为标定参考，无需专门搭建售后标定场地，能够降低售后标定的时间和成本，且操作更为简单方便；通过利用停车场景进行售后标定，规避了在汽车行驶过程中因路面标记变化造成的标定失败的风险，能够提高标定成功率。此外，考虑到对单个环视相机的局部最优不能够保证环视全景图像的整体错位误差最小，本说明书中的标定方式通过对所有拍摄组件的外参进行联合优化，能够使环视全景图像取得整体错位误差最小，从而得到整体效果更好的全景图像。

上述说明仅是本说明书技术方案的概述，为了能够更清楚了解本说明书的技术手段，而可依照说明书的内容予以实施，并且为了让本说明书的上述和其它目的、特征和优点能够更明显易懂，以下特举本说明书的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本说明书一个实施例的车载环视系统标定方法的流程示意图；

图2示出了根据本说明书一个实施例的是智能汽车正向位于停车位的示意图；

图3示出了根据本说明书一个实施例的确定姿态角初值的流程示意图；

图4示出了根据本说明书一个实施例的车头相机拍摄的停车位示意图；

图5示出了根据本说明书一个实施例的设定停车区域中呈现的特征信息的示意图；

图6A示出了根据本说明书一个实施例的智能汽车反向位于设定停车区域的示意图；

图6B示出了根据本说明书一个实施例的智能汽车正向位于设定停车区域的示意图；

图6C示出了根据本说明书一个实施例的智能汽车正向位于设定停车区域且能拍摄到车头停车区域的示意图；

图7示出了根据本说明书一个实施例的车载环视标定系统的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

名词解释。

消失点：真实世界中相互平行的两条直线在成像后并不平行，而是相交于一点，该点称为相交点，也可以称之为消失点。

姿态角：指智能汽车中的环视相机姿态状态与地球水平面之间的角度关系。姿态角有三个维度：包括俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)。俯仰角指环视相机前后倾斜的角度，翻滚角指环视相机左右倾斜的角度，偏航角指环视相机绕垂直轴旋转的角度。

外参标定：通过测量和计算获得环视相机在世界坐标系下的位置和姿态的过程。

IPM：inverse projection mapping，利用标定得到的相机外参、内参产生的鸟瞰图像。

非线性迭代优化：给定非线性目标函数，求解目标函数内的参数以使得目标函数有极小值的过程。

为了给驾驶者提供智能汽车四周环境的图像，通常会在智能汽车周围安装多个拍摄组件。例如在智能汽车前、右、后、左各安装一个环视相机，并通过标定获得每个环视相机的内外参数。其中，相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等，通常由相机生产厂商提供；相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等，通过测量和计算得到。在拼接环视全景图像的过程中，先利用相机外参数，将地面上的点从真实物理世界的世界坐标系变换到相机坐标系；再利用相机内参数，将点从相机坐标系变换到物理成像平面，并将成像点的物理坐标转换为像素坐标，从而产生前、右、后、左4个方向的IPM图，再对4幅IPM图应用拼接算法进行拼接，得到环视全景图像。但是，车辆长期行驶过程中，由于振动、碰撞、轮胎漏气等一系列原因，环视相机相对于世界坐标系的位姿会发生偏移并导致环视全景图像出现错位的现象，因此需要对环视相机进行售后标定。售后标定的主要目的在于修正环视相机在世界坐标系中的位姿，以修正环视全景图像中的错位现象。

由于现有售后标定方式存在诸如标定动作繁琐、标定成功的随机性较大的缺陷，本说明书针对性的提出了一种操作更为简便且标定效果更好的售后标定方式，利用日常生活中常见的设定停车区域(例如停车位)进行售后标定，无需专门搭建售后标定场地，能够降低售后标定的时间和成本，且操作更为简单方便；通过利用停车场景进行售后标定，规避了在汽车行驶过程中因路面标记变化造成的标定失败的风险，能够提高标定成功率。此外，考虑到对单个环视相机的局部最优不能够保证环视全景图像的整体错位误差最小，本说明书中的标定方式不仅考虑了各个视角的错位误差，而且将相邻相机公共区域的错位误差也纳入其中，对所有拍摄组件的外参进行联合优化，能够使环视全景图像取得整体错位误差最小，从而得到整体效果更好的全景图像。

为了进一步的说明和解释本说明书提出的车载环视系统标定方法，参看图1，该方法包括：

步骤101，将智能汽车所在设定停车区域作为标定参考，控制车载环视系统中的多个拍摄组件分别获取关于设定停车区域的初始鸟瞰图像。

在本实施例中，设定停车区域指供智能汽车停靠的区域，依照交通法规、房建规定等划定。例如露天停车位，室内停车位，街边划定的停车位等等。本方案利用停车场景执行售后标定，当智能汽车停靠在停车位时即可利用停车位替代4S标定中的标定场地或在线标定中随时变化的路面标记，控制拍摄组件采集关于停车位的鸟瞰图像执行售后标定。由于停车位在日常生活中随处可见且固定不变，因此没有标定成本且标定的成功率更高。本实施例的拍摄组件指具有拍摄功能的封装体，例如车载相机、车载摄像头等等。

在本实施例中，智能汽车位于设定停车区域时，若智能汽车的头部停在停车位头部，表示智能汽车正向位于停车位；若智能汽车的头部停在停车位尾部，表示智能汽车反向位于停车位。

考虑到智能汽车车型、尺寸，停车位尺寸以及驾驶员停车习惯等差异，会分情况获取初始鸟瞰图像。1、若多个拍摄组件均能拍摄到各自方位的设定停车区域，控制每个拍摄组件分别获取各自方位的初始鸟瞰图像。其中，一个拍摄组件采集一张初始鸟瞰图像，分别为：第一后视鸟瞰图像ipm1'、第一左视鸟瞰图像ipm2'、第一右视鸟瞰图像ipm3'、第一前视鸟瞰图像ipm4'。参看图2，是智能汽车正向位于停车位的示意图，前后左右的环视相机均能拍摄到停车位的停车线和/或拐角角点(图2中示出前环视相机、右环视相机)，则控制4个环视相机在各自方位采集包含停车线和/或拐角角点的初始鸟瞰图像。每个环视相机拍摄一张各自的初始鸟瞰图像。2，若多个拍摄组件中有任一拍摄组件不能拍摄到对应方位的设定停车区域，控制多个拍摄组件至少获取两次初始鸟瞰图像；其中，同一个拍摄组件在智能汽车处于设定停车区域的不同位置时分别采集一次初始鸟瞰图像，一次采集一张初始鸟瞰图像。例如，智能汽车正向位于停车位时，若停车位头部的停车线因智能汽车阻挡作用无法被前端相机拍摄到，控制智能汽车正向位于停车位一次，以及反向位于停车位一次，并分别拍摄对应的初始鸟瞰图像。具体的，当智能汽车反向位于停车位，因停车位头部的停车线拍摄不到，则舍弃车尾拍摄的后视鸟瞰图像，保留的初始鸟瞰图像如下：第二前视鸟瞰图像ipm1、第二左视鸟瞰图像ipm2、第二右视鸟瞰图像ipm3。当智能汽车正向位于停车位，因停车位头部的停车线拍摄不到，则舍弃车头拍摄的前视鸟瞰图像，保留的初始鸟瞰图像如下：第二后视鸟瞰图像ipm4、第三左视鸟瞰图像ipm5、第三右视鸟瞰图像ipm6。以上拍摄总共生成6幅初始鸟瞰图像。

以上是拍摄组件采集初始鸟瞰图像的场景描述，本实施例通过使用日常生活中常见的设定停车区域(例如停车位)进行售后标定，即便智能汽车车型、尺寸，停车位尺寸以及驾驶员停车习惯具有差异也能够实现售后标定，因此本方案不会受到停车位、智能汽车车型、停车习惯等限制，可适用于不同尺寸的停车位、不同车型的售后标定。

在一些可选的实施方式中，初始鸟瞰图像和拍摄组件的姿态角初值(也即拍摄组件的初始位姿)息息相关。故需控制多个拍摄组件分别获取关于设定停车区域的原始鱼眼图像，并利用基于原始鱼眼图像计算姿态角初值，再基于多个拍摄组件各自的姿态角初值和位置的出厂标定值，获得对应的初始鸟瞰图像。由于各拍摄组件的姿态角初值的计算方式相同，本实施例以单个拍摄组件的原始鱼眼图像计算姿态角初值为例进行说明，其他拍摄组件的姿态角初值计算参照执行即可。参看图3，姿态角初值按照下述步骤得到：

步骤301，对原始鱼眼图像进行去畸变校正，得到去畸变图像。

通常来说，由于拍摄组件本身构造的原因，例如为了采用了透镜。光线投影成像时会产生畸变，真实世界的直线在鱼眼图像中会变成曲线，故在计算姿态角初值时需要根据环视相机的内参对原始鱼眼图像进行去畸变校正，从而得到去畸变图像。

在去畸变校正的过程中，确定去畸变图像的像素点到原始鱼眼图像的像素点的坐标映射关系；基于该映射关系，将原始鱼眼图像的各像素点的像素值赋值到去畸变图像的对应像素点中，即可得到去畸变图像。

具体来说，假设原始鱼眼图像为src，去畸变图像为dst。遍历去畸变图像dst中的每个像素点，记作a点，a点的图像像素坐标为(u_a,v_a)。在确定坐标映射关系的过程中，首先根据拍摄组件的内参数，将a点在去畸变图像dst中的图像像素坐标(u_a,v_a)转换为图像物理坐标(x_a',y_a')。然后，根据相机畸变模型，计算a点存在畸变时的图像物理坐标(x_a”,y_a”)。最后，再根据拍摄组件的内参数，将a点存在畸变时的图像物理坐标(x_a”,y_a”)转换为a点在原始鱼眼图像src中的图像像素坐标(u_a',v_a')。根据上述理论可推导出去畸变图像dst的像素点和原始鱼眼图像src的像素点的坐标映射关系：(u_a,v_a)→(x_a',y_a')→相机畸变模型→(x_a”,y_a”)→(u_a',v_a')。在坐标映射关系中，去畸变图像dst中图像像素坐标为(u_a,v_a)的像素点和原始鱼眼图像src中图像像素坐标为(u_a',v_a')的像素点具有相同的像素值。原始鱼眼图像各像素点的像素值根据该坐标映射关系将赋值到去畸变图像的赋值对应像素点中，即可实现原始鱼眼图像src的去畸变处理，得到去畸变图像dst。值得注意的是，由于原始鱼眼图像src中的图像像素坐标(u_a',v_a')不一定是整数，需要通过最近邻插值或双线性插值等插值方法计算原始鱼眼图像src中图像像素坐标为(u_a',v_a')的像素点的像素值，然后将该值赋给去畸变图像dst中图像像素坐标为(u_a,v_a)的像素点。

步骤302，检测去畸变图像中的目标直线。

其中，目标直线为在真实世界中彼此平行且在去畸变图像中相交于消失点的直线。在本实施例中，检测目标直线的相关算法可采用LSD直线检测算法、霍夫直线检测算法，当然也可以采用其他。任何直线检测算法均适用于检测本实施例中的目标直线，在此不再赘述。

步骤303，参考目标直线，计算消失点在去畸变图像中的图像像素坐标。

在本实施例中，若在去畸变图像中检测到N条目标直线，N≥4且为正整数。由于每2条直线可以确定1个交点，则N条直线可以确定个交点。原本这些交点应当重合于一点，但由于直线检测存在误差，可能会存在不完全重合的现象。因此，为了提高消失点的计算精度，本实施例采用最小二乘法计算消失点坐标，当然也可以为其他。下面以最小二乘法计算消失点坐标为例，构建直线方程a_iX+b_iY+c_i＝0；其中，(a_i，b_i，c_i)表示目标直线中的系数，i表示目标直线，i＝1，2，…，N。消失点p的图像像素坐标为[u，v，1]^T。根据消失点在N条目标直线上可得下述方程组关系式：/>(a₁，b₁，c₁)表示第1条目标直线的系数，(a_N，b_N，c_N)表示第N条目标直线的系数。通过最小二乘法求解即可得到消失点p的图像像素坐标。

步骤304，基于消失点的像素坐标计算姿态角初值中的俯仰角初值和偏航角初值。

首先，获得消失点p的世界坐标和相机坐标的矩阵变换关系。具体的，矩阵变换关系为：

其中，点在相机坐标系中沿Z轴方向的坐标为Z_c，内参矩阵为K(已知)，旋转矩阵为R，平移向量为t，消失点p的世界坐标为[X_w,Y_w,Z_w]^T，消失点p的图像像素坐标为[u,v,1]^T。消失点p的世界坐标[X_w,Y_w,Z_w]^T可通过旋转矩阵R和平移向量t映射到图像像素坐标为[u,v,1]^T中。

其次，以智能汽车的车身与目标直线近似平行为前提，在矩阵变换关系中对消失点p的世界坐标进行归一化处理。具体的，在利用车位做售后标定的过程中，由于汽车的车身不一定能做到完全和目标直线平行，则计算出来的姿态角初始值有误差，但是此误差对后续计算影响较小，故本实施例在停放车辆时，仅要求车身和目标直线近似平行即可。

具体的，若智能汽车的车身与目标直线平行，由于消失点p在无穷远处，则X_w、Y_w为常数，而Z_w趋向于无穷大。在进行归一化处理后，矩阵变换关系变换为：

其中，r₃为旋转矩阵R的第3列，

进一步的，简化为s表示，消失点p的图像像素坐标简化为p表示，矩阵变换关系可转化为：sp＝Kr₃。

由于旋转矩阵R的量始终为长度为1向量(单位向量)，因此r₃的模等于1，也即||r₃||＝1，由此可得到：并进一步求出旋转矩阵R的第3列/>

值得注意的是，虽然r₃只是旋转矩阵R的其中1列，但其包含足够的信息来确定旋转的俯仰角(pitch)、偏航角(yaw)，将翻滚角(roll)固定，例如为0或者理论值，即可由此推断出整个旋转矩阵R。

再次，获得旋转矩阵R和俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)的转换关系。

具体的，参考俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)将世界坐标系{W}旋转到相机坐标系{C}，获得旋转矩阵利用俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)进行表达的转换关系式：

其中，c_r、s_r分别为翻滚角(roll)的余弦和正弦，c_y、s_y分别为偏航角(yaw)的余弦和正弦，c_p、s_p分别为俯仰角(pitch)的余弦和正弦。

最后，根据上述转换关系和归一化结果，计算俯仰角(pitch)、偏航角(yaw)的值。

具体的，上述转换关系中可得到旋转矩阵R的第3列，从而可得r₃与俯仰角(pitch)、偏航角(yaw)的数学关系式，如下：

结合上述数学关系式和归一化处理后得到的旋转矩阵R的第3列以及/>可求得俯仰角(pitch)、偏航角(yaw)的值：

pitch＝sin^-1(r₂₃)

以上是本实施例计算俯仰角初值和偏航角初值的实施过程，分别从消失点p的世界坐标和相机坐标的矩阵变换关系，以及旋转矩阵R和俯仰角(pitch)、翻滚角(roll)、偏航角(yaw)的转换关系入手，通过等价替换旋转矩阵R的第3列，从而计算出俯仰角(pitch)、偏航角(yaw)的值。

步骤305，基于目标直线在真实物理世界中的约束关系计算姿态角初值中的翻滚角初值。

在本实施例中，目标直线在真实物理世界中的约束关系和翻滚角(roll)密切相关。在俯仰角(pitch)、偏航角(yaw)固定不变的情况下，若翻滚角(roll)发生变化，则去畸变图像中的目标直线在世界坐标系中的约束关系，例如直线平行关系、直线间距相等关系也会发生相应的改变。本实施例求得的翻滚角(roll)应当使得：将目标直线从去畸变图像的像素坐标系变换到世界坐标系后，满足直线平行关系、直线间距相等关系。

基于上述原理，将目标直线从去畸变图像的像素坐标系变换到世界坐标系；基于目标直线在世界坐标系中呈现的距离约束关系，以翻滚角(roll)为待优化变量构建目标函数。其中，每条目标直线可采用2个不同的点等价表示，N条目标直线对应2N个点，此外，利用不同目标直线的两点之间的距离表示目标直线间的直线平行关系、直线间距相等关系，进而构建目标函数。将翻滚角(roll)的理论值作为作为非线性迭代优化的迭代初始值，使用非线性迭代优化算法对翻滚角的目标函数进行非线性迭代优化，直至目标函数值小于设定阈值或迭代次数达到上限为止。在实际应用中，一般只能利用消失点求得俯仰角(pitch)、偏航角(yaw)，并且将翻滚角(roll)固定为0或者理论值。因此现有技术中无法求取翻滚角(roll)的真实值。而本方案提供的方法能够使得到的翻滚角(roll)更接近真实翻滚角(roll)，从而使得到的初始鸟瞰图像更加准确。

具体来说，基于翻滚角(roll)的理论值确定世界坐标系到相机坐标系的旋转矩阵R，再利用前述公开的消失点p的矩阵变换关系，将N条目标直线的坐标从像素坐标变换到世界坐标。在世界坐标中，利用N条目标直线的直线平行关系、直线间距相等关系与翻滚角(roll)密切相关，故据此建立对应的目标函数，构建的目标函数为：其中，N表示目标直线总数，i表示目标直线，d_i表示目标直线间的距离，与翻滚角(roll)的变化密切相关。avg表示目标直线的平均距离，/>本实施例根据拍摄组件的理论安装姿态进行设定迭代初始值，由于拍摄组件的实际安装姿态和理论安装姿态较为接近，因此本实施例设置的迭代初始值能够保障算法的收敛。此外，在非线性迭代优化的过程中，可采用Levenberg-Marquardt算法进行求解，当然也可以为其他，直至目标函数值小于设定的阈值或迭代次数达到上限为止。

为了进一步说明和解释上述实施例，参看图4，是车头相机拍摄的停车位示意图。检测到的目标直线分别为直线0～7，在世界坐标系中，直线1上两点到直线0的距离，分别记作d₀、d₁；计算直线3上两点到直线2的距离，分别记作d₂、d₃；计算直线5上两点到直线4的距离，分别记作d4、d5；计算直线7上两点到直线6的距离，分别记作d₆、d₇。计算上述所有距离的平均值avg，并给出目标函数的表达式为：将翻滚角(roll)的理论值作为作为非线性迭代优化的迭代初始值，使用Levenberg-Marquardt算法对上述目标函数进行非线性迭代优化，直至目标函数值小于设定阈值或迭代次数达到上限为止。值得注意的是，上述采用7条直线的实施例仅作为一种示例，在实际情况中，利用停车位的4条直线，例如l₀、l₁、l₂、l₃也可以根据上述方案求出翻滚角初值，其对应的目标函数根据直线数量适应性调整即可。

以上是计算拍摄组件的姿态角初值的具体实施过程。在得到姿态角初值后，即可结合位置的出厂标定值得到关于设定停车区域的初始鸟瞰图像。

本实施例的初始鸟瞰图像是在原始鱼眼图像的基础上，结合多个拍摄组件拍摄组件的内参、外参以及智能汽车在出厂标定时的位置的出厂标定值变换得到。在具体的实施过程中，先确定初始鸟瞰图像的区域范围及其规格尺寸。具体的，在世界坐标系的Z_w＝0平面定义希望生成初始鸟瞰图像的区域范围，同时指定初始鸟瞰图像的宽度和高度，从而建立初始鸟瞰图像的像素坐标系到世界坐标系的变换关系，遍历初始鸟瞰图像中的每个像素点，将像素坐标转换为世界坐标。进一步的，结合拍摄组件的姿态角初值和智能汽车出厂标定时的位置的产线标定值，计算世界坐标系到相机坐标系的变换矩阵；基于变换矩阵将世界坐标系转换为相机坐标系；然后，利用相机内参数将相机坐标系转换为原始鱼眼图像中的像素坐标系；通过双线性插值计算原始鱼眼图像中像素点的值，并赋值给初始鸟瞰图像中对应像素点，即可计算出初始鸟瞰图像的各像素值。

步骤102，检测设定停车区域在初始鸟瞰图像中的特征信息。

在本实施例中，特征信息包括设定停车区域在初始鸟瞰图像呈现的停车线和/或拐角角点。参看图5，是设定停车区域中呈现的特征信息的示意图。一般来说，设定停车区域具有4个拐角角点，分别为：P₀、P₁、P₂、P₃。具有至少6条停车线，分别为：l₀、l₁、l₂、l₃、l₄、l₅。

在一些可选的实施方式中，利用检测算法检测特征信息；其中，停车线采用直线检测算法检测，例如LSD直线检测算法、霍夫直线检测算法，当然也可以采用其他。拐角角点采用角点检测算法检测，例如于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测，当然也可以采用其他。

在一些可选的实施方式中，由于车载设备算力有限，可能无法承载特征信息的计算需求。因此，为了替换检测算法检测带来的计算耗时，本说明书还提供一种特征信息的检测方式：基于前一次联合优化的外参对设定停车区域在前一次采集的初始鸟瞰图像中呈现的历史特征信息进行变换，得到设定停车区域在当前次采集的初始鸟瞰图像中呈现出的特征信息，从而无需再调用检测算法检测当前次采集的鸟瞰图像的特征信息，能够降低计算耗时，并且提高了图像处理的鲁棒性。具体的变换方式在后续会进行详细说明，在此不再赘述。

步骤103，基于特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理。

在本实施例中，特征信息相互约束关系包括下述一种或多种：停车线在单个鸟瞰图像或者两个不同鸟瞰图像的公共区域(重合区域)中的等同约束关系，拐角角点在两个不同鸟瞰图像的公共区域中的重合约束关系。其中，等同约束关系包括下述一种或多种：平行约束、垂直约束、重合约束、等长约束。

在联合优化的过程中，基于停车线和拐角角点在所有初始鸟瞰图像中的相互约束关系，以所有拍摄组件的外参作为待优化变量，建立用于对所有拍摄组件的外参进行联合优化的联合优化目标函数；例如，基于特征信息在每个鸟瞰图像中的相互约束关系，建立每个鸟瞰图像对应的第一目标函数；基于特征信息在两个不同鸟瞰图像的公共区域的相互约束关系，建立由不同鸟瞰图像联合确定的第二目标函数。将姿态角初值和位置的出厂标定值作为非线性迭代优化的初始值，对联合优化目标函数进行非线性迭代优化，直至联合优化目标函数达到设定阈值或者迭代次数达到上限为止。

其中，联合优化的目标函数包括下述一种或多种：以特征信息在单个鸟瞰图像内的相互约束关系建立的第一目标函数；以特征信息在两个不同鸟瞰图像的公共区域中内的相互约束关系建立的第二目标函数。第一目标函数考虑了各个视角的错位误差，第二目标函数考虑了相邻公共区域的错位误差，基于此对拍摄组件的外参进行联合优化，能够使得环视全景图像取得整体错位误差最小。

在本实施例中，由于智能汽车车型、尺寸，停车位尺寸以及驾驶员停车习惯等差异，会分情况获取初始鸟瞰图像。而不同情况下得到的初始鸟瞰图像，对应构建的联合优化的目标函数不同。为了详细说明和解释本实施例，下面以划线最简单的停车位为例，分两种情况进行说明。

第一种情况。

智能汽车的拍摄组件在智能汽车处于不同位置时分别拍摄一次设定停车区域。具体的，参看图6A，是智能汽车反向位于设定停车区域的示意图，生成的初始鸟瞰图像如下：第二前视鸟瞰图像ipm1、第二左视鸟瞰图像ipm2、第二右视鸟瞰图像ipm3。参看图6B，是智能汽车正向位于设定停车区域的示意图。生成的初始鸟瞰图像如下：第二后视鸟瞰图像ipm4、第三左视鸟瞰图像ipm5、第三右视鸟瞰图像ipm6。将4个拍摄组件的外参作为待优化变量，利用特征信息在各个初始鸟瞰图像中的约束关系，建立对所有拍摄组件的外参进行联合优化的目标函数f(x)，x表示4个拍摄组件的外参。

x∈(x₀,x₁,x₂,x₃)

x₀＝[yaw_cam0,pitch_cam0,roll_cam0,x_cam0,y_cam0,z_cam0]

x₁＝[yaw_cam1,pitch_cam1,roll_cam1,x_cam1,y_cam1,z_cam1]

x₂＝[yaw_cam2,pitch_cam2,roll_cam2,x_cam2,y_cam2,z_cam2]

x₃＝[yaw_cam3,pitch_cam3,roll_cam3,x_cam3,y_cam3,z_cam3]

其中，x₀表示智能汽车的前端拍摄组件cam0的外参，(yaw_cam0,pitch_cam0,roll_cam0)表示前端拍摄组件cam0的姿态角初值，(x_cam0,y_cam0,z_cam0)表示前端拍摄组件cam0在世界坐标系的坐标。x₁表示智能汽车的右侧拍摄组件cam1的外参，(yaw_cam1,pitch_cam1,roll_cam1)表示右侧拍摄组件cam1的姿态角初值，(x_cam1,y_cam1,z_cam1)表示右侧拍摄组件cam1在世界坐标系的坐标。x₂表示智能汽车的后端拍摄组件cam2的外参，(yaw_cam2,pitch_cam2,roll_cam2)表示后端拍摄组件cam2的姿态角初值，(x_cam2,y_cam2,z_cam2)表示后端拍摄组件cam2在世界坐标系的坐标。x₃表示智能汽车的左侧拍摄组件cam3的外参，(yaw_cam3,pitch_cam3,roll_cam3)表示左侧拍摄组件cam3的姿态角初值，(x_cam3,y_cam3,z_cam3)表示左侧拍摄组件cam3在世界坐标系的坐标。

当x₀,x₁,x₂,x₃任一外参发生改变时，相应单个初始鸟瞰图像中的直线平行度、直线垂直度、相邻鸟瞰图像中的公共区域对应直线的重合度、对应角点的重合度、线段等长关系等约束关系将会发生改变，第一目标函数和第二目标函数也会发生改变，若目标函数的值最小，则所得全景拼接图像的错位误差最小。

下面参看图6A-图6B，分别介绍各鸟瞰图像的目标函数，通过所有初始鸟瞰图像的目标函数求和，得到联合优化的目标函数。

第二前视鸟瞰图像ipm1的目标函数f_ipm1(x₀)。

在真实的世界坐标系中：竖直方向的直线：l₀、l₁、l₂、l₃两两相互平行，水平方向上的直线l₄、l₅相互平行；其中，两条直线相互平行等价于其中一条直线上两个不同的点到另一条直线的距离相等；竖直方向的任一直线和水平方向的任一直线相互垂直等价于：角点P₀和角点P₁连线的长度等于l₁、l₂之间的距离。

在第二前视鸟瞰图像ipm1中，可提取出停车线：l₀、l₁、l₂、l₃、l₄、l₅和角点P₀、角点P₁，按照上述约束关系构建目标函数f_ipm1(x₀)，表达式如下：

其中，表示第二前视鸟瞰图像ipm1中，直线l_j上的点T0到直线l_j+1的距离；/>表示第二前视鸟瞰图像ipm1中，直线l_j上的点T1到直线l_j+1的距离；表示第二前视鸟瞰图像ipm1中，直线l₁上的点T0到直线l₂的距离；表示第二前视鸟瞰图像ipm1中，直线l₁上的点T1到直线l₂的距离；表示第二前视鸟瞰图像ipm1中，角点P₀和角点P₁连线的长度。

由于第二后视鸟瞰图像ipm4的目标函数f_ipm4(x₂)与第二前视鸟瞰图像ipm1的目标函数f_ipm1(x₀)的约束关系相同，同理可得第二后视鸟瞰图像ipm4的目标函数f_ipm4(x₂)，表达式如下：

其中，表示第二后视鸟瞰图像ipm4中，直线l_j上的点T0到直线l_j+1的距离；/>表示第二后视鸟瞰图像ipm4中，直线l_j上的点T1到直线l_j+1的距离；表示第二后视鸟瞰图像ipm4中，直线l₁上的点T0到直线l₂的距离；表示第二后视鸟瞰图像ipm4中，直线l₁上的点T1到直线l₂的距离；表示第二后视鸟瞰图像ipm4中，角点P₀和角点P₁连线的长度。

第二左视鸟瞰图像ipm2的目标函数f_ipm2(x₃)。

第二左视鸟瞰图像ipm2中呈现出的约束关系为：直线l₀、直线l₁相互平行，由此构建第二左视鸟瞰图像ipm2的目标函数f_ipm2(x₃)，表达式如下：

其中，表示第二左视鸟瞰图像ipm2中，直线l₀上的点T0到直线l₁的距离；/>表示第二左视鸟瞰图像ipm2中，直线l₀上的点T1到直线l₁的距离。

同理，可得到第三右视鸟瞰图像ipm6对应的目标函数f_ipm6(x₁)，表达式如下：

其中，表示第三右视鸟瞰图像ipm6中，直线l₀上的点T0到直线l₁的距离；/>表示第三右视鸟瞰图像ipm6中，直线l₀上的点T1到直线l₁的距离。

第二右视鸟瞰图像ipm3的目标函数f_ipm3(x₁)。

第二右视鸟瞰图像ipm3中呈现出的约束关系为：直线l₂、直线l₃相互平行，由此构建第二右视鸟瞰图像ipm3的目标函数f_ipm3(x₁)，表达式如下：

其中，表示第二右视鸟瞰图像ipm3中，直线l₂上的点T0到直线l₃的距离；/>表示第二右视鸟瞰图像ipm3中，直线l₂上的点T1到直线l₃的距离。

同理，可得到第三左视鸟瞰图像ipm5对应的目标函数f_ipm5(x₃)，表达式如下：

其中，表示第三左视鸟瞰图像ipm5中，直线l₂上的点T0到直线l₃的距离；/>表示第三左视鸟瞰图像ipm5中，直线l₂上的点T1到直线l₃的距离。

以上是根据特征信息在单个鸟瞰图像中的约束关系建立的有关于各自鸟瞰图像的目标函数。

由于第二左视鸟瞰图像ipm2中的角点P₀、P₂及第二右视鸟瞰图像ipm3中的角点P₁、P₃依次首尾相连，形成一个平行四边形，由于平行四边形的2组对边相等，将其转换成点到点的距离，由此得到第二左视鸟瞰图像ipm2和第二右视鸟瞰图像ipm3联合对应的目标函数f_ipm23(x₁,x₃)，表达式如下：

其中，表示第二左视鸟瞰图像ipm2中，角点P₀和角点P₂连线的长度；表示第二右视鸟瞰图像ipm3中，角点P₃和角点P₁连线的长度；d(p₀ ^ipm2,p₁ ^ipm3)表示第二左视鸟瞰图像ipm2中的角点P₀和第二右视鸟瞰图像ipm3中的角点P₁连线的长度；d(p₂ ^ipm2,p₃ ^ipm3)表示第二左视鸟瞰图像ipm2中的角点P₂和第二右视鸟瞰图像ipm3中的角点P₃连线的长度。

同理，可得到第三左视鸟瞰图像ipm5和第三右视鸟瞰图像ipm6联合对应的目标函数f_ipm56(x₁,x₃)，表达式如下：

其中，表示第三右视鸟瞰图像ipm6中，角点P₀和角点P₂连线的长度；表示第三左视鸟瞰图像ipm5中，角点P₃和角点P₁连线的长度；d(p₀ ^ipm6,p₁ ^ipm5)表示第三右视鸟瞰图像ipm6中的角点P₀和第三左视鸟瞰图像ipm5中的角点P₁连线的长度；d(p₂ ^ipm6,p₃ ^ipm5)表示第三右视鸟瞰图像ipm6中的角点P₂和第三左视鸟瞰图像ipm5中的角点P₃连线的长度。

对于特征信息在第二前视鸟瞰图像ipm1、第二左视鸟瞰图像ipm2的公共区域中的约束关系表达如下：在世界坐标系中，第二前视鸟瞰图像ipm1中的直线l₀、直线l₁、角点P₀与第二左视鸟瞰图像ipm2中的直线l₀、直线l₁、角点P₀依次对应重合。据此可得由第二前视鸟瞰图像ipm1、第二左视鸟瞰图像ipm2联合确定的目标函数f_ipm12(x₀,x₃)，表达式如下：

其中，表示第二前视鸟瞰图像ipm1中的直线l₀的点T0到第二左视鸟瞰图像ipm2中的直线l₀的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₀的点T1到第二左视鸟瞰图像imp2中的直线l₀的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₁的点T0到第二左视鸟瞰图像imp2中的直线l₁的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₁的点T1到第二左视鸟瞰图像imp2中的直线l₁的距离；d(P₀ ^ipm1,P₀ ^ipm2)表示第二前视鸟瞰图像ipm1中的角点P₀到第二左视鸟瞰图像imp2中的角点P₀的距离。

同理，可得由第二后视鸟瞰图像ipm4、第三右视鸟瞰图像ipm6的目标函数f_ipm46(x₂,x₁)，表达式如下：

其中，表示第二后视鸟瞰图像ipm4中的直线l₀的点T0到第三右视鸟瞰图像ipm6中的直线l₀的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₀的点T1到第三右视鸟瞰图像ipm6中的直线l₀的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₁的点T0到第三右视鸟瞰图像ipm6中的直线l₁的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₁的点T1到第三右视鸟瞰图像ipm6中的直线l₁的距离；d(P₀ ^ipm4,P₀ ^ipm6)表示第二后视鸟瞰图像ipm4中的角点P₀到第三右视鸟瞰图像ipm6中的角点P₀的距离。

对于特征信息在第二前视鸟瞰图像ipm1、第二右视鸟瞰图像ipm3的公共区域的约束关系表达如下：在世界坐标系中，第二前视鸟瞰图像ipm1中的直线l₂、直线l₃、角点P₁与第二右视鸟瞰图像ipm3中的直线l₂、直线l₃、角点P₁依次对应重合。据此可得由第二前视鸟瞰图像ipm1、第二右视鸟瞰图像ipm3联合确定的目标函数f_ipm13(x₀,x₁)，表达式如下：

其中，表示第二前视鸟瞰图像ipm1中的直线l₂的点T0到第二右视鸟瞰图像ipm3中的直线l₂的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₂的点T1到第二右视鸟瞰图像ipm3中的直线l₂的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₃的点T0到第二右视鸟瞰图像ipm3中的直线l₃的距离；/>表示第二前视鸟瞰图像ipm1中的直线l₃的点T1到第二右视鸟瞰图像ipm3中的直线l₃的距离；d(P₁ ^ipm1,P₁ ^ipm3)表示第二前视鸟瞰图像ipm1中的角点P₁到第二右视鸟瞰图像ipm3中的角点P₁的距离。

同理，可得由第二后视鸟瞰图像ipm4、第三左视鸟瞰图像ipm5的目标函数f_ipm45(x₂,x₃)，表达式如下：

其中，表示第二后视鸟瞰图像ipm4中的直线l₂的点T0到第三左视鸟瞰图像ipm5中的直线l₂的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₂的点T1到第三左视鸟瞰图像ipm5中的直线l₂的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₃的点T0到第三左视鸟瞰图像ipm5中的直线l₃的距离；/>表示第二后视鸟瞰图像ipm4中的直线l₃的点T1到第三左视鸟瞰图像ipm5中的直线l₃的距离；d(P₁ ^ipm4,P₁ ^ipm5)表示第二后视鸟瞰图像ipm4中的角点P₁到第三左视鸟瞰图像ipm5中的角点P₁的距离。

根据上述确定的各类目标函数，得到联合优化的目标函数：

f(x₀,x₁,x₂,x₃)＝f_ipm1(x₀)+f_ipm2(x₃)+f_ipm3(x₁)+f_ipm4(x₂)+f_ipm5(x₃)+f_ipm6(x₁)+f_ipm12(x₀,x₃)+f_ipm13(x₀,x₁)+f_ipm23(x₁,x₃)+f_ipm45(x₂,x₃)+f_ipm46(x₂,x₁)+f_ipm56(x₁,x₃)

通过对联合优化的目标函数进行非线性迭代优化，得到使目标函数值满足要求的外参。

第二种情况。

若智能汽车的前后左右总共4个拍摄组件能够分别拍摄到关于设定停车区域的鸟瞰图像。参看图6C，是智能汽车正向位于设定停车区域且能拍摄到车头停车区域的示意图。拍摄得到的鸟瞰图像分别为：第一后视鸟瞰图像ipm1'、第一左视鸟瞰图像ipm2'、第一右视鸟瞰图像ipm3'、第一前视鸟瞰图像ipm4'，将4个拍摄组件的外参作为待优化变量，利用特征信息在各个视角视图中的约束关系，建立对所有拍摄组件的外参进行联合优化的目标函数f(x)，x表示4个拍摄组件的外参。x的定义和范围在前述示例已经说明，在此不再赘述。

下面分别介绍各初始鸟瞰图像的目标函数，通过所有初始鸟瞰图像的目标函数求和得到联合优化的目标函数。其中，

第一后视鸟瞰图像ipm1'的目标函数f_ipm1'(x₂)等同于f_ipm1(x₀)，表达式如下：

其中，表示第一后视鸟瞰图像ipm1'中，直线l_j上的点T0到直线l_j+1的距离；/>表示第一后视鸟瞰图像ipm1'中，直线l_j上的点T1到直线l_j+1的距离；/>表示第一后视鸟瞰图像ipm1'中，直线l₁上的点T0到直线l₂的距离；表示第一后视鸟瞰图像ipm1'中，直线l₁上的点T1到直线l₂的距离；表示第一后视鸟瞰图像ipm1'中，角点P₀和角点P₁连线的长度。

第一左视鸟瞰图像ipm2'的目标函数f_ipm2'(x₃)等同于f_ipm3(x₁)，表达式如下：

其中，表示第一左视鸟瞰图像ipm2'中，直线l₂上的点T0到直线l₃的距离；/>表示第一左视鸟瞰图像ipm2'中，直线l₂上的点T1到直线l₃的距离。

第一右视鸟瞰图像ipm3'的目标函数f_ipm3'(x₁)等同于f_ipm2(x₃)，表达式如下：

其中，表示第一右视鸟瞰图像ipm3'中，直线l₀上的点T0到直线l₁的距离；/>表示第一右视鸟瞰图像ipm3'中，直线l₀上的点T1到直线l₁的距离。

第一前视鸟瞰图像ipm4'的目标函数f_ipm4'(x)₀的表达式如下：

其中，表示第一前视鸟瞰图像ipm4'中，直线l_j上的点T0到直线l_j+1的距离；/>表示第一前视鸟瞰图像ipm4'中，直线l_j上的点T1到直线l_j+1的距离；表示第一前视鸟瞰图像ipm4'中，直线l₁上的点T0到直线l₂的距离；表示第一前视鸟瞰图像ipm4'中，直线l₁上的点T1到直线l₂的距离；表示第一前视鸟瞰图像ipm4'中，角点P₂和角点P₃连线的长度。

第一左视鸟瞰图像ipm2'和第一右视鸟瞰图像ipm3'联合确定的目标函数等同于f_ipm23(x₁,x₃)，表达式如下：

其中，表示第一左视鸟瞰图像ipm2'中，角点P₀和角点P₂连线的长度；表示第一右视鸟瞰图像ipm3'中，角点P₃和角点P₁连线的长度；d(p₀ ^ipm2',p₁ ^ipm3')表示第一左视鸟瞰图像ipm2'中的角点P₀和第一右视鸟瞰图像ipm3'中的角点P₁连线的长度；d(p₂ ^ipm2',p₃ ^ipm3')表示第一左视鸟瞰图像ipm2'中的角点P₂和第一右视鸟瞰图像ipm3'中的角点P₃连线的长度。

第一后视鸟瞰图像ipm1'和第一左视鸟瞰图像ipm2'联合确定的目标函数f_ipm1'2'(x₂,x₃)等同于f_ipm13(x₀,x₁)，表达式如下：

其中，表示第一后视鸟瞰图像ipm1'中的直线l₂的点T0到第一左视鸟瞰图像ipm2'中的直线l₂的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₂的点T1到第一左视鸟瞰图像ipm2'中的直线l₂的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₃的点T0到第一左视鸟瞰图像ipm2'中的直线l₃的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₃的点T1到第一左视鸟瞰图像ipm2'中的直线l₃的距离；d(P₁ ^ipm1',P₁ ^ipm2')表示第一后视鸟瞰图像ipm1'中的角点P₁到第一左视鸟瞰图像ipm2'中的角点P₁的距离。

第一后视鸟瞰图像ipm1'和第一右视鸟瞰图像ipm3'联合确定的目标函数f_ipm1'3'(x₁,x₂)等同于f_ipm12(x₀,x₃)，表达式如下：

其中，表示第一后视鸟瞰图像ipm1'中的直线l₀的点T0到第一右视鸟瞰图像ipm3'中的直线l₀的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₀的点T1到第一右视鸟瞰图像ipm3'中的直线l₀的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₁的点T0到第一右视鸟瞰图像ipm3'中的直线l₁的距离；/>表示第一后视鸟瞰图像ipm1'中的直线l₁的点T1到第一右视鸟瞰图像ipm3'中的直线l₁的距离；d(P₀ ^ipm1',P₀ ^ipm3')表示第一后视鸟瞰图像ipm1'中的角点P₀到第一右视鸟瞰图像ipm3'中的角点P₀的距离。

第一前视鸟瞰图像ipm4'和第一左视鸟瞰图像ipm2'联合确定的目标函数f_ipm2'4'(x₀,x₃)，表达式如下：

其中，表示第一前视鸟瞰图像ipm4'中的直线l₂的点T0到第一左视鸟瞰图像ipm2'中的直线l₂的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₂的点T1到第一左视鸟瞰图像ipm2'中的直线l₂的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₃的点T0到第一左视鸟瞰图像ipm2'中的直线l₃的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₃的点T1到第一左视鸟瞰图像ipm2'中的直线l₃的距离；d(P₁ ^ipm4',P₁ ^ipm2')表示第一前视鸟瞰图像ipm4'中的角点P₁到第一左视鸟瞰图像ipm2'中的角点P₁的距离。

第一前视鸟瞰图像ipm4'和第一右视鸟瞰图像ipm3'联合确定的目标函数f_ipm3'4'(x₀,x₁)，表达式如下：

其中，表示第一前视鸟瞰图像ipm4'中的直线l₀的点T0到第一右视鸟瞰图像ipm3'中的直线l₀的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₀的点T1到第一右视鸟瞰图像ipm3'中的直线l₀的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₁的点T0到第一右视鸟瞰图像ipm3'中的直线l₁的距离；/>表示第一前视鸟瞰图像ipm4'中的直线l₁的点T1到第一右视鸟瞰图像ipm3'中的直线l₁的距离；d(P₀ ^ipm4',P₀ ^ipm3')表示第一前视鸟瞰图像ipm4'中的角点P₀到第一右视鸟瞰图像ipm3'中的角点P₀的距离。

由此，得到联合优化的目标函数：

f(x₀,x₁,x₂,x₃)＝f_ipm1'(x₂)+f_ipm2'(x₃)+f_ipm3'(x₁)+f_ipm4'(x₀)+f_ipm2'3'(x₁,x₃)+f_ipm1'2'(x₂,x₃)+f_ipm1'3'(x₁,x₂)+f_ipm2'4'(x₀,x₃)+f_ipm3'4'(x₀,x₁)

在本方案中，以全景图像的整体错位误差为目标函数，对所有拍摄组件的外参进行联合优化，因此能够得到整体效果更好的全景图像。

值得注意的是，在构建出目标函数进行非线性迭代优化的过程中，当拍摄组件的外参改变时，其对应的鸟瞰图像、鸟瞰图像中特征信息会发生改变，例如特征信息中的停车线的位置会发生改变，故每次迭代后需要重新检测鸟瞰图像中的特征信息。由于车载设备的算力有限，若利用现有直线检测算法会增加车载设备的计算压力。故而在本实施例中，利用当前次迭代优化后的外参对当前次迭代对应的鸟瞰图像中的特征信息进行变换，得到下一次迭代优化的特征信息。例如得到下一次迭代优化的停车线的位置。如此，在外参改变时，无需要重新计算鸟瞰图，也无需重新调用直线检测算法去检测停车线直线，只需要利用初始鸟瞰图像中的停车线即可变换出下次迭代所需的停车线，能够降低算法耗时，提高算法鲁棒性。

在具体的实施过程中，假设当前次迭代对应的鸟瞰图像中的像素点P₁'在下一次迭代对应的鸟瞰图像中的对应像素点为P₂'，则P₁'、P₂'对应原始鱼眼图像的同一点。将当前次迭代对应的鸟瞰图像中的像素点P₁'从像素坐标系变换(缩放、平移)到世界坐标系，变换为P₁'.w；根据联合优化前的外参初始值x_initial确定世界坐标系到联合优化前的相机坐标系的变换矩阵Tc1.w，并利用变换矩阵Tc1.w将P₁'.w从世界坐标系变换至联合优化前的相机坐标系P₁'.c1，计算联合优化前的相机坐标系原点和P₁'.c1所确定的直线Lc1。

根据联合优化后的外参x_optimal，可得联合优化后的相机坐标系到世界坐标系的变换矩阵Tw.c2，将直线Lc2(Lc2与Lc1的直线方程相同)从联合优化后的相机坐标系变换到世界坐标系L_w，计算出L_w与Z_w＝0平面的交点，即得到P₂'.w，最后将P₂'.w从世界坐标系变换到像素坐标系从而得到下一次迭代对应的鸟瞰图像中P₂'的像素坐标。

对于当前次迭代对应的鸟瞰图像中检测到的每条目标直线，任取不同的两点，根据上述方法变换到下一次迭代对应的鸟瞰图像中，从而得到下一次迭代对应的鸟瞰图像中的停车线的直线方程。通过直线方程计算出目标停车线上的两点，即可检测出停车线。当然，特征信息中的停车角点也可以根据上述变换关系进行变换，从而得到下一次迭代优化时使用的停车角点。

步骤104，基于联合优化后的外参得到各目标鸟瞰图像。

在本实施例中，当各拍摄组件联合优化后得到各自的外参，即可进一步获得各目标鸟瞰图像。具体的，可在各初始鸟瞰图像的基础上，根据前述迭代优化时采用的矩阵变换关系变换出各目标鸟瞰图像。由于前述已经介绍鸟瞰图像中的像素点的变换过程，故在此不再赘述。

步骤105，合并各目标鸟瞰图像得到环视全景图像。

在本实施例中，利用拼接算法将各目标鸟瞰图像进行拼接，即可得到整体效果更好的环视全景图像。

以上是本说明书的具体实施方案，本说明书中的方案具有下述有益效果：

1，本方案使用日常生活中常见的停车位进行售后标定，无需额外搭建售后标定场地，降低了售后标定的时间和成本。

2，本方案能够适用于不同尺寸的停车位、不同车型的售后标定。

3，本方案以全景图像的整体错位误差为目标函数，对所有拍摄组件的外参进行联合优化，从而能够得到整体效果更好的环视全景图像。

4，在迭代优化的过程中，利用当前次迭代优化后的外参对当前次迭代对应的鸟瞰图像中的特征信息进行变换，得到下一次迭代优化的特征信息，无需再调用算法计算，不仅降低了算法的耗时，而且提高了算法的鲁棒性。

基于与前述实施例中同样的发明构思，本说明书实施例还提供一种车载环视标定系统，参看图7，包括：

控制模块701，用于将智能汽车所在设定停车区域作为标定参考，控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像；

检测模块702，用于检测所述设定停车区域在所述初始鸟瞰图像中的特征信息；所述特征信息包括所述设定停车区域在初始鸟瞰图像呈现的停车线和/或拐角角点；

联合优化模块703，用于基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理；

获得模块704，用于基于联合优化后的外参得到各目标鸟瞰图像。

合并模块705，用于合并所述各目标鸟瞰图像得到环视全景图像。

优选的，所述控制模块701，具体包括：

优选的，所述计算模块，具体用于：

优选的，所述控制模块701，具体用于：

优选的，所述联合优化模块703，具体用于：

基于与前述实施例中同样的发明构思，本说明书的实施例还提供一种智能汽车，包括存储器、车载处理器及存储在存储器上并可在车载处理器上运行的车载程序，所述车载处理器执行所述程序时实现上述方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本说明书也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本说明书的内容，并且上面对特定语言所做的描述是为了披露本说明书的实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本说明书的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本说明书的示例性实施例的描述中，本说明书的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本说明书要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本说明书的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本说明书的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本说明书的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本说明书实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本说明书还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本说明书的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本说明书进行说明而不是对本说明书进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本说明书可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种车载环视系统的标定方法，所述方法包括：

基于联合优化后的外参得到各目标鸟瞰图像；

合并所述各目标鸟瞰图像得到环视全景图像。

2.如权利要求1所述的方法，所述控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像，具体包括：

基于所述原始鱼眼图像计算对应拍摄组件的姿态角初值；

3.如权利要求2所述的方法，所述基于所述原始鱼眼图像计算对应拍摄组件的姿态角初值，具体包括：

4.如权利要求2所述的方法，所述基于所述目标直线在真实物理世界中的约束关系，计算所述姿态角初值中的翻滚角初值，具体包括：

5.如权利要求1-4任一权项所述的方法，所述控制车载环视系统中的多个拍摄组件分别获取关于所述设定停车区域的初始鸟瞰图像，具体包括：

6.如权利要求1所述的方法，所述基于所述特征信息在所有初始鸟瞰图像中的相互约束关系，对所有拍摄组件的外参进行联合优化处理，具体包括：

7.如权利要求6所述的方法，在非线性迭代优化的过程中，利用当前次迭代优化后的外参对当前次迭代对应的鸟瞰图像中的特征信息进行变换，得到下一次迭代优化的特征信息。

8.一种车载环视标定系统，包括：

9.一种智能汽车，包括存储器、车载处理器及存储在存储器上并可在车载处理器上运行的车载程序，所述车载处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。