CN116664683A - 一种鱼眼镜头外参的标定方法 - Google Patents

Abstract

本申请涉及机器视觉领域，提出一种鱼眼镜头外参的标定方法，用于标定安装于车体上的多个鱼眼镜头的外参，所述多个鱼眼镜头分别设置于车体的前、后、左、右部位，所述方法包括：根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系；所述多个棋盘格标定板平放于车体的左前、左后、右前、右后四个方向的地面上；根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参；所述第一、第二车轮靶标分别紧贴所述车体的左、右后轮两侧平放。

Description

一种鱼眼镜头外参的标定方法

技术领域

本申请涉及机器视觉领域，尤其涉及一种鱼眼镜头外参的标定方法。

背景技术

智能车辆在使用辅助驾驶或自动驾驶时，需要通过车载感知传感器如相机、超声、鱼眼镜头等对周围环境进行观测，以此来确保后续辅助驾驶功能可以精准的完成。较差的感知结果会导致智能车辆对周围环境评估不准确，严重的甚至会导致事故的发生。因此需要对于车载的感知传感器进行合理的标定以获得对周围环境准确的感知结果。

标定是指利用标准器具对传感器进行标度的过程。传感器在经过一段时间使用后，需要对其进行复测，以检测传感器的基本性能是否发生变化，判断它是否可以继续使用。如果传感器的某些指标发生了变化，应对其进行修正或重新标定。

车载鱼眼镜头是安装在车体上的广角镜头。每辆车出厂时都需要针对鱼眼镜头的外参进行单独的标定，标定结果的精度和准确性直接影响后续智能辅助驾驶或自动驾驶的效果。如何对鱼眼镜头外参进行标定，能够满足方便且不依赖复杂环境的需求是亟需解决的问题。

发明内容

为了解决上述的问题，本申请的实施例提供了一种鱼眼镜头外参的标定方法，用于标定安装于车体上的多个鱼眼镜头的外参，所述多个鱼眼镜头分别设置于车体的前、后、左、右部位，所述方法包括：根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系；所述多个棋盘格标定板平放于车体的左前、左后、右前、右后四个角点的地面上；根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参；所述第一、第二车轮靶标分别紧贴所述车体的左、右后轮两侧平放。以此，只需使用标定板和车轮靶标就可以进行外参标定，抛弃常见方法中固定使用的车轮固定器等固定车辆位置的方法解决鱼眼镜头由于安装的问题出现与初始位置发生偏移时的外参标定问题，标定空间容易获得，能够满足智能车辆在后续使用中随时周期性标定鱼眼镜头的要求，利于标定的推广赋能同时降低成本，满足随时随地快速进行车辆的鱼眼镜头外参标定的需求。

在一个可以实现的实施方式中，所述多个鱼眼镜头中的第一鱼眼镜头设置于车体的前、后、左、右部位之一，第二鱼眼镜头设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：获得所述第一鱼眼镜头拍摄的第一图像，根据所述第一图像上的第一棋盘格标定板确定第一鱼眼镜头坐标系；所述第一棋盘格标定板为所述多个棋盘格标定板之一；获得所述第二鱼眼镜头拍摄的第二图像，根据所述第二图像上的第一棋盘格标定板确定所述第二鱼眼镜头坐标系；根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，所述第一转换关系为所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的转换关系。以此，利用同一个棋盘格标定板确定两个相邻鱼眼镜头坐标系之间的转换关系，实现双目标定，标定空间设置简单便捷，利于推广、标定成本低。

在一个可以实现的实施方式中，所述根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，包括：根据所述第一图像的棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，计算所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的旋转矩阵和平移变换矩阵，确定第一转换关系。以此，可以实现双目标定，得到相邻的第一与第二鱼眼镜头坐标系之间的位置关系。

在一个可以实现的实施方式中，所述多个鱼眼镜头中的第三鱼眼镜头，设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，与所述第二鱼眼镜头相对，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：获得所述第一鱼眼镜头拍摄的第三图像，所述第三图像为包括第三棋盘格标定板的图像；所述第三棋盘格标定板为所述多个棋盘格标定板之一；获得所述第三鱼眼镜头拍摄的第四图像，根据所述第四图像上的所述第三棋盘格标定板确定所述第三鱼眼镜头坐标系；根据所述第三图像和第四图像中所述第三棋盘格标定板上多对相同位置点的坐标，确定第二转换关系，所述第二转换关系为所述第三鱼眼镜头坐标系与所述第一鱼眼镜头坐标系之间的转换关系；根据所述第二转换关系和所述第一转换关系确定第三转换关系，所述第三转换关系为所述第三鱼眼镜头坐标系和所述第二鱼眼镜头坐标系之间的转换关系。以此，可以根据两个相邻鱼眼镜头坐标系之间的转换关系和两个相邻鱼眼镜头各自图像上的同一个棋盘格标定板的相同位置点的坐标，通过双目标定的方法确定拍摄的视图区域不重合的两个鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，所述第五转换关系为所述多个鱼眼镜头坐标系中每一个鱼眼镜头坐标系和对应的棋盘格标定板坐标系之间的转换关系；所述棋盘格标定板坐标系为由所述棋盘格标定板确定的坐标系；根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，所述第六转换关系为车体平面坐标系与多个所述棋盘格标定板坐标系之间的转换关系；所述车体平面坐标系为以车体的左、右后轮中心点为圆心，所述第二车轮靶标到第一车轮靶标方向为Y轴正方向，车前方向为X轴正方向的坐标系；根据所述第五转换关系和所述第六转换关系，确定第七转换关系，所述第七转换关系为所述每一个鱼眼镜头坐标系与所述车体平面坐标系之间的转换关系；根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参。以此，在获得的鱼眼镜头坐标系两两之间转换关系后，可以使用车轮靶标确定车后轮位置在鱼眼镜头坐标系中的坐标，从而确定车体平面坐标系和鱼眼镜头镜坐标系之间的转换关系，得到鱼眼镜头的外参。

在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，包括：获得所述多个鱼眼镜头中每一个鱼眼镜头拍摄的第五图像，所述第五图像为包括所述多个棋盘格标定板中的一个棋盘格标定板的图像；根据所述第五图像和对应的所述一个棋盘格标定板上多对相同位置点的坐标获得第五转换关系，所述第五转换关系包括所述每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的倍率矩阵、旋转矩阵和平移变换矩阵。以此，可以得到所述每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，包括：获得所述多个鱼眼镜头中第二、三鱼眼镜头拍摄的第六、七图像；所述第六图像为所述第二鱼眼镜头拍摄的包括所述第一车轮靶标的图像，所述第七图像为所述第三鱼眼镜头拍摄的包括所述第二车轮靶标的图像；根据所述第六、七图像和所述多个鱼眼镜头坐标系之间的转换关系中第二、三鱼眼镜头坐标系之间的转换关系，确定所述第一、二车轮靶标之间的中点在第一棋盘格标定板坐标系或第三棋盘格标定板坐标系中的坐标；根据所述第一、二车轮靶标之间的中点在所述第一或第三棋盘格标定板坐标系中的坐标、第一、第二车轮靶标在所述第二或三棋盘格标定板坐标系中的坐标，以及所述第二车轮靶标指向第一车轮靶标的方向确定第六转换关系。以此可以获得车体平面坐标系与所述多个棋盘格标定板坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述第二鱼眼镜头坐标系与对应的第一棋盘格标定板坐标系之间的第五转换关系，和所述第一棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第二鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第二鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第三鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第三鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述多个鱼眼镜头坐标系之间的转换关系中所述第一、三鱼眼镜头坐标系之间的转换关系、所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第一鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第一鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，所述根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：所述第七转换关系包括每一个鱼眼镜头坐标系和车体平面坐标系之间的旋转矩阵和平移变换矩阵；根据多个鱼眼镜头中所述第一、二、三、四鱼眼镜头坐标系与所述车体平面坐标系之间的旋转矩阵和平移变换矩阵，确定所述第一、二、三、四鱼眼镜头坐标系的外参。以此可以标定每一个鱼眼镜头坐标系的初步外参。

在一个可以实现的实施方式中，在车体底盘设置有惯性测量单元，所述惯性测量单元用于确定所述车体的横滚角、俯仰角和航向角的值；所述方法还包括：获得所述惯性测量单元输出的横滚角、俯仰角和航向角的值；根据所述横滚角、俯仰角和航向角的值确定IMU坐标系；所述横滚角、俯仰角和航向角的值指示所述IMU坐标系与车体平面坐标系上的Y轴、X轴和Z轴三个轴的偏转角度；确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系；根据所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系调整所述多个鱼眼镜头的外参。以此，通过IMU信息处理后得到的车体标定时位姿，与初步鱼眼镜头外参结合，可以修正标定时车体的姿态对鱼眼镜头外参的影响，使得车身对于地面的相对抖动和倾斜会被修正，得到标准位姿时鱼眼镜头外参。

在一个可以实现的实施方式中，所述确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系，包括：根据所述俯仰角、横滚角、航向角的值获得IMU坐标系与所述车体平面坐标系的旋转矩阵；根据所述IMU坐标系与车体平面坐标系之间的旋转矩阵、所述车体平面坐标系与所述鱼眼镜头坐标系之间的转换关系确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系。以此，可以得到多个鱼眼镜头坐标系与所述IMU坐标系的转换关系。

在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系调整所述多个鱼眼镜头的外参，包括：在车辆行驶过程中，根据所述惯性测量单元实时采集的IMU信息动态调整所述多个鱼眼镜头的外参，所述IMU信息包括所述车体的横滚角、俯仰角和航向角的值。以此，可以实时修正车体相对地面之间的姿态对鱼眼镜头拍摄角度的影响，即使车身在抖动，根据时刻变化的镜头参数，获得的感知图像不会发生变化。

本申请的实施例提供的鱼眼镜头外参的标定方法，基于视觉和IMU的联合对车载鱼眼镜头的外参进行标定，能够满足车厂的实际流水线对于鱼眼镜头外参标定快速标定的需求，对于新车的鱼眼镜头外参标定能够在数十秒内完成。在确保高效率完成标定的同时，本申请的实施例提供的鱼眼镜头外参的标定方法能够排除车况因素的影响，实时确保鱼眼镜头外参标定的高精度。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

下面对实施例或现有技术描述中所需使用的附图作简单地介绍。

图1为本申请实施例提供的鱼眼镜头外参的标定方法的标定空间场景图；

图2为本申请实施例提供的鱼眼镜头外参的标定方法的原理图；

图3为本申请实施例提供的鱼眼镜头外参的标定方法中使用IMU传感器进行调整鱼眼镜头外参参数的原理图；

图4为本申请实施例提供的鱼眼镜头外参的标定方法中IMU信息与车身姿态角信息示意图；

图5为本申请实施例提供的鱼眼镜头外参的标定方法的系统架构图；

图6为本申请实施例提供的鱼眼镜头外参的标定方法的流程图；

图7为本申请实施例1提供的鱼眼镜头外参的标定方法流程图；

图8为本申请实施例1提供的鱼眼镜头外参的标定方法的标定场景示意图；

图9为本申请实施例2提供的鱼眼镜头外参的标定方法流程图。

具体实施方式

在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个终端是指两个或两个以上的终端。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在本申请实施例的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在本申请实施例的描述中，所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在本申请实施例的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。

在本申请实施例的描述中，惯性测量单元(inertial measurement unit，IMU)是测量车体三轴姿态角或角速率以及加速度的装置，三轴姿态角包括横滚角、俯仰角和航向角。

棋盘格标定板，在棋盘格标定板上设定X轴、Y轴和原点，X轴、Y轴垂直，交点为棋盘格原点；沿X轴的方向设置以单位长度间隔排列的M条栅格；沿Y轴的方向设置以单位长度间隔排列的N条栅格；棋盘格标定板被分为M*N个单元格，M和N为自然数；单位长度可以定义为0.1米、0.2米、0.5米或1米，不做具体限定。

棋盘格标定板坐标系，由棋盘格标定板上的X轴、Y轴、原点和单位长度确定的坐标系为棋盘格标定板坐标系。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

下面将介绍与对本申请实施例相关的技术方案进行描述。

第一方案提供了一种对齐和配准车载相机的方法，包括雷达系统和光学传感器，具体方法如下：设置一个标定空间，使用车轮夹固定车辆并放置车辆在确定位置，在车的周围放置标志物用来对车辆镜头进行标定准备，在标定空间中设置相机，拍摄车辆位置和结构光在车轮子上的投影，确定车辆与空间标定标志物的关系，完成车与地面位置的确定，最终获得车载相机的标定参数。该方案对标定空间有特殊设备要求，成本高，需要在标定空间中放置固定车位夹，相机，结构光投影装置，不易于车辆后续周期性标定。

第二方案提供了一个标定设施，使用标定标志物对对智能车辆的车载激光和光学相机进行标定。具体方法如下：车辆停放在车载平台上固定位置，并按照要求移动车辆到可以标定范围内；将标定标志物设置于车辆可检测范围内，通过调整车载平台来确定标定标志物相对于车辆的位置和距离，进行标定。同时该方案还提出一种远程进行标定的方法，通过车场飞出带有标定标志物的无人机和其他方式将标定板放置在车辆的可检测范围，当确定标定标志物与车辆的关系后就可以进行标定。该方案需要使用固定车载平台的方式移动车辆到实际需要的标定位置，标定空间受限，且车辆每次移动到固定位置后确定的标定位置存在误差。

第一方案和第二方案为了得到车、地相对关系而设置复杂的标定空间，不利于推广赋能，提高了标定成本；而且标定时车体位姿角会影响鱼眼镜头外参的标定效果，稳定性不够，容易造成定位误差。

针对上述方案存在的问题，本申请实施例提供一种车载鱼眼镜头外参的标定方法，基于鱼眼镜头的视觉和IMU传感器感知进行联合标定，确定车载鱼眼镜头外参。

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。

首先介绍本申请实施例提供的鱼眼镜头外参的标定方法的构思。

为了说明车辆观测到的物体的位置、运动的快慢、方向等，必须选取参照系。在参照系中，为确定空间一点的位置，按规定方法选取的有次序的一组数据为"坐标"。

当物体在某一平面内运动时，为了定量描述物体的位置变化，可以在同一个平面上互相垂直且有公共原点的两条数轴构成平面直角坐标系。两条数轴分别置于水平位置与垂直位置，在平面直角坐标系上规定原点、正方向和单位长度。例如，取向左与向前的方向分别为两条数轴的正方向。向前的数轴叫做x轴(x-axis)或横轴，垂直于x轴的数轴叫做y轴(y-axis)或纵轴，x轴、y轴统称为坐标轴，它们的公共原点O称为平面直角坐标系的原点(origin)。单位长度可以定义为0.1米、0.2米、0.5米或1米，不做具体限定。可以定义x-y所在平面的法线方向为z轴，向上为正。

在实际中，车体平面坐标系通常定义为以两个车后轮的中心点为坐标圆心O_V，以右边车轮到左边车轮的方向为Y轴正方向，以车前进方向为X轴正方向的坐标系，定义车体平面的法线方向为Z轴。

鱼眼镜头坐标系，用于确定鱼眼镜头拍摄到的物体在图像中的坐标，单位为像素。

车辆通过鱼眼镜头的内、外参可以将车体平面坐标系中的物体坐标p_V转换到鱼眼镜头坐标系中得到该物体的鱼眼坐标p_cam，转换关系如下：

p_cam＝(KD)(RT)p_V (1)

式(1)中，K为相机的内参参数，D为相机的畸变参数，K、D的取值与相机本身的性质有关,K、D为相机内参，表示相机的光学特性，默认相机出厂后固定不变，为已知参数，在本申请中可以不予考虑；其中R表示旋转矩阵，T表示平移变换矩阵，R、T为本申请中标定所需要的结果。

令车载鱼眼镜头的外参E＝RT，E用于指示鱼眼镜头坐标系与车体平面坐标系的旋转关系和平移变换关系，由旋转矩阵R和平移变换矩阵T相乘确定。平移变换矩阵T指示鱼眼镜头坐标系与车体平面坐标系的位置变换关系，旋转矩阵R指示鱼眼镜头坐标系与车体平面坐标系的旋转关系。

为了对周围环境360°无死角进行观测，通常在车体的前、后、左、右部位设置四路鱼眼镜头，每辆车出厂时都需要针对每一辆车进行鱼眼镜头外参E标定，以确定鱼眼镜头相对车体中心点的位置和拍摄角度，从而使车辆能够准确感知周围环境。

根据车厂的实际流水线产能的要求，鱼眼镜头外参E的标定需要快速且准确，新车的鱼眼镜头外参标定往往需要在20秒内完成。在确保高效率完成标定的同时，还需要确保标定的精度，精度的好坏直接影响了后续智能驾驶模块的效果。

另外，由于在使用车辆的过程中，鱼眼镜头会由于安装的问题出现与初始位置发生偏移的问题。因此，智能车辆在后续使用中存在需要周期性标定鱼眼镜头的情况。对于鱼眼镜头的标定方法，需要满足方便且不依赖复杂环境的需求。

基于上述情况，为了利于标定的推广赋能同时降低成本，需要设置一个简单便捷的标定空间以满足随时随地快速进行车辆的鱼眼镜头外参E标定的需求。

图1为本申请实施例提供的鱼眼镜头外参的标定方法的标定空间场景图。如图1所示，在本申请实施提供的鱼眼镜头外参的标定方法中，一个简单的标定空间可以是一个空旷且地面水平区域。标定时可以将车停放在一个空旷且地面水平区域。

本申请实施提供的鱼眼镜头外参的标定方法采用棋盘格标定板和车轮靶标作为参照物。在车体的左后，左前，右后，右前四个角点位置设置四个相同棋盘格标定板U1、U2、U3和U4作为标准参照物，同时在车两个后轮位置设置车轮靶标，其车轮靶标位置P1和P2代表两个车后轮的位置。需要标定的四路鱼眼镜头分别为cam1、cam2、cam3和cam4，可以记为第一、第二、第三、第四鱼眼镜头；四路鱼眼镜头分别设置于车体的后、左、右、前四个位置，可以记为第一、第二、第三、第四位置。四个相同棋盘格标定板U1、U2、U3和U4分别记为第一、第二、第三、第四棋盘格标定板。

其中，四个相同的棋盘格标定板U1、U2、U3和U4水平放置于车体的左后，左前，右后，右前四个角点位置，在这四个角点位置上每一个棋盘格标定板的能同时被四路鱼眼镜头中的两路相邻的鱼眼镜头拍摄到。示例性地，如图1所示，棋盘格标定板U1设置于车体的左后部，鱼眼镜头cam1、cam2能同时拍摄到棋盘格标定板U1；棋盘格标定板U2设置于车体的左前部，鱼眼镜头cam2、cam4能同时拍摄到棋盘格标定板U2；棋盘格标定板U3设置于车体的右后部，鱼眼镜头cam1、cam3能同时拍摄到棋盘格标定板U3；棋盘格标定板U4设置于车体的右前部，鱼眼镜头cam3、cam4能同时拍摄到棋盘格标定板U4。

两个车轮靶标水平对称地放置于在车体的两个后轮位置P1和P2处。示例性地，可以将车轮靶标上的靶点设置为车轮大小，使得两个靶点中心点与两个后轮的中心点在地面的投影尽可能重合。

在一个可以实现的实施方式中，可以使用车轮夹代替两个车轮靶标，两个车轮夹中心点与两个后轮的中心点在地面的投影重合。

由于鱼眼镜头坐标系相对车体平面坐标系之间的转换关系不能直接测量得到，接下来需要通过多个参照物在不同鱼眼镜头图像中的坐标进行坐标转换计算获得鱼眼镜头坐标系相对车体平面坐标系之间的旋转矩阵R和平移变换矩阵T，从而确定鱼眼镜头坐标系相对车体平面坐标系之间的转换关系。

图2为本申请实施例提供的鱼眼镜头外参的标定方法的原理图。本申请实施提供的鱼眼镜头外参的标定方法通过对车体的四路鱼眼镜头cam1、cam2、cam3和cam4分别对棋盘格标定板进行检测和对车轮靶标进行检测，获得图像上该棋盘格标定板的原点位置的鱼眼坐标。

棋盘格标定板检测是指鱼眼镜头对地面上的棋盘格标定板进行拍摄，获得图像上该棋盘格标定板多个位置点的鱼眼坐标。车辆根据两个相邻鱼眼镜头各自图像上的同一个棋盘格标定板上多个相同位置点的坐标确定相邻两个鱼眼镜头之间的相对位置和拍摄角度，这一过程记为双目标定。

双目标定的原理是根据两个鱼眼镜头各自图像上的同一个棋盘格标定板的多个相同位置点的像素坐标，计算两个鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，两个鱼眼镜头拍摄同一棋盘格标定板获得两个图像，根据两个图像中多对相同位置点的不同像素坐标计算两个鱼眼镜头坐标系之间的转换关系R和T，其中R表示两个坐标系的旋转矩阵，T表示平移变换矩阵。

如图2所示，鱼眼镜头cam1和cam2同时对棋盘格标定板U1进行拍摄，通过鱼眼镜头cam1的图像1得到棋盘格标定板U1上的一位置点在图像1中的像素坐标为p_cam1(x_1,U1,y_1,U1)，通过鱼眼镜头cam2的图像2得到棋盘格标定板U1的相同位置点在图像2中像素坐标为p_cam2(x_2,U1,y_2,U1)，在不考虑cam1和cam2的内参或内参设置相同的条件下，由于U1上的同一位置点在图像1和图像2上的像素坐标存在拍摄角度的旋转关系和平移关系，则U1上的一位置点在图像1中的像素坐标和在图像2中的像素坐标转换为：

p_cam2(x_2,U1,y_2,U1)＝R_cam1→cam2(U1)p_cam1(x_1,U1,y_1,U1)+T_cam1→cam2(ΔX₁,ΔY₁) (2)

(ΔX₁,ΔY₁)＝(x_2,U1-x_1,U1,y_2,U1-y_1,U1) (3)

其中，R_cam1→cam2(U1)为U1上的同一位置点在图像1和图像2上的像素坐标之间的旋转角度，T_cam1→cam2(ΔX₁,ΔY₁)表示鱼眼镜头cam1和cam2坐标系之间平移变换量。

在一个可以实现的实施方式中，根据图像1和图像2中多对相同位置点的不同像素坐标计算，获得两个鱼眼镜头坐标系之间的旋转矩阵R_cam1→cam2和平移变换矩阵T_cam1→cam2，则鱼眼镜头cam2坐标系和鱼眼镜头cam1的坐标系之间的转换关系为：

p_cam2＝R_cam1→cam2p_cam1+T_cam1→cam2 (4)

令E_cam1→cam2＝R_cam1→cam2T_cam1→cam2，则鱼眼镜头cam2坐标系和鱼眼镜头cam1的坐标系之间的转换关系为：

p_cam2＝E_cam1→cam2p_cam1 (5)

其中p_cam2为鱼眼镜头cam2坐标系，p_cam1为鱼眼镜头cam1坐标系。

同理，鱼眼镜头cam1和cam3同时对棋盘格标定板U3进行拍摄，通过鱼眼镜头cam1的图像3得到棋盘格标定板U3的上的一位置点在图像3中的像素坐标为p_cam1(x_1,U3,y_1,U3)，通过鱼眼镜头cam3的图像4得到棋盘格标定板U3的相同位置点在的图像4中像素坐标为p_cam3(x_3,U3,y_3,U3)。

在一个可以实现的实施方式中，根据图像3和图像4中多对相同位置点的不同像素坐标计算，获得两个鱼眼镜头坐标系之间的旋转矩阵R_cam1→cam3和平移变换矩阵T_cam1→cam3，则鱼眼镜头cam3坐标系和鱼眼镜头cam1的坐标系之间的转换关系为：

p_cam3＝R_cam1→cam3p_cam1+T_cam1→cam3 (6)

其中p_cam3为鱼眼镜头cam3坐标系。

令E_cam1→cam3＝R_cam1→cam3T_cam1→cam3，则鱼眼镜头cam3坐标系和鱼眼镜头cam1的坐标系之间的转换关系为：

p_cam3＝E_cam1→cam3p_cam1 (7)

同理，鱼眼镜头cam2和cam4同时对棋盘格标定板U2进行拍摄，通过鱼眼镜头cam2的图像5得到棋盘格标定板U2上的一位置点的像素坐标为p_cam2(x_2,U2,y_2,U2)，通过鱼眼镜头cam4的图像6得到棋盘格标定板U2上的同一位置点的像素坐标为p_cam4(x_4,U2,y_4,U2)。

在一个可以实现的实施方式中，根据图像5和图像6中多对相同位置点的不同像素坐标计算，获得两个鱼眼镜头坐标系之间的旋转矩阵R_cam2→cam4和平移变换矩阵T_cam2→cam4，则鱼眼镜头cam2坐标系和鱼眼镜头cam4的坐标系之间的转换关系为：

p_cam4＝R_cam2→cam4p_cam2+T_cam2→cam4 (8)

其中p_cam4为鱼眼镜头cam4坐标系。

令E_cam2→cam4＝R_cam2→cam4T_cam2→cam4，则鱼眼镜头cam4坐标系和鱼眼镜头cam2的坐标系之间的转换关系为：

p_cam4＝E_cam2→cam4p_cam2 (9)

可以理解的是，鱼眼镜头cam1和cam4是相对位置的两个鱼眼镜头，拍摄的视图区域完全不重合，通过鱼眼镜头cam1和cam2、cam2和cam4坐标系之间的转换关系，联立式(5)和式(9)求解，可以获得鱼眼镜头cam1坐标系和鱼眼镜头cam4的坐标系之间的转换关系为

p_cam4＝E_cam1→cam2E_cam2→cam4p_cam1

＝E_cam1→cam4p_cam1 (10)

同理，鱼眼镜头cam2和cam3是相对位置的两个鱼眼镜头，拍摄的视图区域完全不重合，通过鱼眼镜头cam1和cam2、cam1和cam3坐标系之间的转换关系，联立式(5)和式(7)求解，可以获得鱼眼镜头cam2坐标系和鱼眼镜头cam3的坐标系之间的转换关系为：

p_cam3＝E_cam1→cam3E_cam1→cam2p_cam2

＝E_cam2→cam3p_cam2 (11)

在实际驾驶过程中，为了在对周围环境进行360°观测时减少误差，提高定位精度，还会使鱼眼镜头cam3和cam4同时对棋盘格标定板U4进行拍摄，通过鱼眼镜头cam3的图像7得到棋盘格标定板U4的上的一位置点的像素坐标为p_cam3(x_3,U4,y_3,U4)，通过鱼眼镜头cam4的图像8得到棋盘格标定板U4的同一位置点的像素坐标为p_cam4(x_4,U4,y_4,U4)，在一个可以实现的实施方式中，根据图像7和图像8中多对相同位置点的不同像素坐标计算，获得两个鱼眼镜头坐标系之间的旋转矩阵R_cam3→cam4和平移变换矩阵T_cam3→cam4，则鱼眼镜头cam3坐标系和鱼眼镜头cam4的坐标系之间的转换关系为：

p_cam4＝R_cam3→cam4p_cam3+T_cam3→cam4 (12)

令E_cam3→cam4＝R_cam3→cam4T_cam3→cam4，则鱼眼镜头cam4坐标系和鱼眼镜头cam3的坐标系之间的转换关系为：

p_cam4＝E_cam3→cam4p_cam3 (13)

这样，根据四个鱼眼镜头分别对四个棋盘格标定板的指定位置点检测获得的数据，对两两相邻的鱼眼镜头进行双目标定，能够确定两两鱼眼镜头坐标系之间的转换关系，进一步可以获得四个鱼眼镜头坐标系之间的转换关系。

靶点检测是使用车轮靶标确定车后轮中心位置在鱼眼镜头坐标系中的坐标，从而确定车体平面坐标系和鱼眼镜头镜坐标系之间的转换关系。继续参考图2，两车轮靶标位置P1和P2分别代表左、右后轮的位置，在位于地面且以车后轮中心点O_V为圆心，右靶标P2到左靶标P1方向为Y轴正方向，车前方向为X轴正方向的车体平面坐标系中，此时可以令z＝0，左靶点的位置坐标P_1,v(0,y_v)，右靶点的位置坐标P_2,v(0,-y_v)，2倍的y_v即为两靶点的实际距离，单位为米。示例性地，y_v＝0.7米，则左靶点的位置为距离车后轮中心点O_V左侧0.7米处，右靶点的位置为距离车后轮中心点右侧0.7米处，两靶点的实际距离为1.4米。

靶点检测包括以下步骤：

S21，通过鱼眼镜头cam2拍摄左车轮处的车轮靶标获得图像9，图像9上左靶点位置P1的坐标为：p_cam2(x_2,P1,y_2,P1)，鱼眼镜头cam3拍摄右车轮处车轮靶标获得图像10，图像10上右靶点位置P2的坐标为p_cam3(x_3,P2,y_3,P2)。

S22，计算多个鱼眼镜头坐标系和车体平面坐标系之间的转换关系确定鱼眼镜头坐标系的外参。

在一个可以实现的实施方式中，步骤22包括以下步骤S221-S224。

S221，计算鱼眼镜头cam3坐标系和车体坐标系之间的转换关系确定鱼眼镜头cam3坐标系与车体平面坐标系的外参，包括以下步骤S2211-S2217。

S2211，鱼眼镜头cam3拍摄棋盘格标定板U3获得图像11，根据图像11中与棋盘格标定板U3坐标系上多对相同位置点的坐标获得鱼眼镜头cam3坐标系与棋盘格标定板U3坐标系的转换关系为：

p_U3＝M_cam3→U3E_cam3→U3p_cam3 (14)

其中M_cam3→U2为倍率矩阵，其中的倍率元素通过计算棋盘格标定板U3上单元格的长度值和单元格在图像上的像素长度值的比值获得，E_cam3→U3为鱼眼镜头cam3与棋盘格标定板U3坐标系的外参，包括旋转矩阵R_cam3→U3和平移变换矩阵T_cam3→U3。

可以理解的是图像11中单元格的长度值单位为像素，棋盘格标定板U3坐标系中单元格的长度值单位为米。

S2212，根据左视鱼眼镜头cam2和右视鱼眼镜头cam3的坐标系之间的转换关系和式(11)，获得鱼眼镜头cam3坐标系下左靶点的位置P1坐标为：

p_cam3(x_3,P1,y_3,P1)＝E_cam2→cam3p_cam2(x_2,P1,y_2,P1) (15)

S2213，根据鱼眼镜头cam3坐标系与棋盘格标定板U3坐标系的转换关系，联立式(14)和(15)求解，获得左靶标点位置P1在棋盘格标定板U3的坐标系下的坐标p_U3(x_U3,P1,y_U3,P1)：

p_U3(x_U3,P1,y_U3,P1)＝M_cam3→U3E_cam3→U3p_cam3(x_3,P1,y_3,P1)

＝M_cam3→U3E_cam3→U3E_cam2→cam3p_cam2(x_2,P1,y_2,P1) (16)

令E_cam2→U3＝M_cam3→U3E_cam3→U3E_cam2→cam3则左靶标点位置P1在棋盘格标定板U3坐标系的坐标为：

p_U3(x_U3,P1,y_U3,P1)＝E_cam2→U3p_cam2(x_2,P1,y_2,P1) (17)

S2214，根据鱼眼镜头cam3坐标系与棋盘格标定板U3坐标系的转换关系获得右靶标点位置P2在棋盘格标定板U3的坐标系下的坐标为：

p_U3(x_U3,P2,y_U3,P2)＝M_cam3→U3E_cam3→U3p_cam3(x_3,P2,y_3,P2) (18)

S2215，根据左、右靶标在棋盘格标定板U3坐标系的坐标中点确定车体平面坐标系的中心O_V在棋盘格U3坐标系的坐标为：

S2216，根据车体平面坐标系的中心点O_V、左靶标点位置P1、右靶标点位置P2在棋盘格标定板U3的坐标系下的坐标，以及车体平面坐标系的y轴正方向(右靶标指向左靶标的方向)，确定棋盘格U3标定板坐标系和车体平面坐标系在平面内的旋转矩阵R_U3→V和平移变换矩阵T_U3→V，因为两坐标系属于同一平面(地面)，从而得到车体平面坐标系与棋盘格标定板U3的坐标系的转换关系为：

p_V＝R_U3→Vp_U3+T_U3→V (20)

其中，p_V为车体平面坐标系，令E_U3→V＝R_U3→VT_U3→V，则车体平面坐标系与棋盘格U3坐标系的转换关系为：

p_V＝E_U3→Vp_U3 (21)

S2217，根据车体平面坐标系与棋盘格U3坐标系的转换关系、鱼眼镜头cam3和棋盘格U3的坐标系的转换关系，联立式(14)和式(21)求解，确定鱼眼镜头cam3与车体平面坐标的关系为：

p_V＝E_U3-VM_cam3→U3E_cam3→U3p_cam3 (22)

令E_cam3-V＝E_U3-VM_cam3→U3E_cam3→U3，则鱼眼镜头cam3坐标系与车体平面坐标的关系为：

p_V＝E_cam3-Vp_cam3 (23)

这样就完成了鱼眼镜头cam3与车体平面坐标的外参E_cam3-V标定。

S222，计算鱼眼镜头cam2坐标系和车体坐标系之间的转换关系确定鱼眼镜头cam2坐标系与车体平面坐标系的外参。

参考上述步骤S2211-S2217得到鱼眼镜头cam2与车体平面坐标的外参E_cam2-V。

需要说明的是鱼眼镜头cam2拍摄棋盘格标定板U1获得图像12，根据图像12中与棋盘格标定板U1坐标系上多对相同位置点的坐标获得鱼眼镜头cam2坐标系与棋盘格标定板U1坐标系的转换关系(M_cam2→U1 E_cam2→U1)；将左、右靶标点的像素坐标p_cam2(x_2,P1,y_2,P1)和p_cam3(x_3,P2,y_3,P2)转到棋盘格标定板U1坐标系，以确定车体平面坐标系中心O_v在棋盘格标定板U1坐标系的坐标以及对应的车体平面坐标系的y轴正方向(右靶标指向左靶标方向)，从而确定车体平面坐标系与棋盘格标定板U1坐标系在平面内的旋转矩阵R_U1→V和平移变换矩阵T_U1→V，因为两坐标属于同一平面(地面)，从而得到车体平面坐标系与棋盘格U1坐标系的转换关系E_U1→V，根据车体平面坐标系与棋盘格U1坐标系的转换关系E_U1→V、鱼眼镜头cam2和棋盘格U1的坐标系的转换关系E_cam2→U1，确定鱼眼镜头cam2与车体平面坐标系的关系为：

p_V＝E_U1-VM_cam2→U1E_cam2→U1p_cam2 (24)

其中，E_U1→V＝R_U1→VT_U1→V令E_cam2-V＝E_U1-VM_cam2→U1E_cam2→U1，则鱼眼镜头cam2坐标系与车体平面坐标的关系为：

p_V＝E_cam2-Vp_cam2 (25)

这样就标定完成了鱼眼镜头cam2坐标系与车体平面坐标系的外参E_cam2-V。

S223，计算鱼眼镜头cam1坐标系和车体坐标系之间的转换关系确定鱼眼镜头cam1坐标系与车体平面坐标系的外参。

在一个可以实现的实施方式中，可以根据鱼眼镜头cam2坐标系和鱼眼镜头cam1坐标系之间的转换关系E_cam1→cam2、鱼眼镜头cam2坐标系与车体平面坐标系的转换关系E_cam2-V，联立式(5)和式(25)求解，确定鱼眼镜头cam1坐标系和车体坐标系之间的转换关系为：

p_V＝E_cam2-VE_cam1→cam2p_cam1 (26)

令E_cam1-V＝E_cam2-VE_cam1→cam2，则鱼眼镜头cam1坐标系与车体平面坐标的关系为：

p_V＝E_cam1-Vp_cam1 (27)

在一个可以实现的实施方式中，可以根据鱼眼镜头cam3坐标系和鱼眼镜头cam1的坐标系之间的转换关系E_cam1→cam3、鱼眼镜头cam3与车体平面坐标的关系E_cam3-V，联立式(7)和式(23)求解，确定鱼眼镜头cam1坐标系和车体坐标系之间的转换关系为：

p_V＝E_cam3-VE_cam1→cam3p_cam1 (28)

令E_cam1-V＝E_cam3-VE_cam1→cam3，则鱼眼镜头cam1与车体平面坐标的关系为：

p_V＝E_cam1-Vp_cam1 (29)

这样就完成了鱼眼镜头cam1与车体平面坐标的外参E_cam1-V标定。

S224，计算鱼眼镜头cam4坐标系和车体坐标系之间的转换关系确定鱼眼镜头cam4坐标系与车体平面坐标系的外参。

同步骤S223类似，在一个可以实现的实施方式中，可以根据鱼眼镜头cam2坐标系和鱼眼镜头cam4坐标系之间的转换关系E_cam2→cam4、鱼眼镜头cam2坐标系与车体平面坐标系的转换关系E_cam2-V，联立式(9)和式(25)求解，确定鱼眼镜头cam4坐标系和车体坐标系之间的转换关系为：p_cam4＝E_cam2→cam4p_cam2

p_V(x_V,y_V)＝E_cam2-VE_cam4→cam2p_cam4(x₄,y₄) (30)

其中，E_cam4→cam2E_cam2→cam4＝1，令E_cam4-V＝E_cam2-VE_cam4→cam2，则鱼眼镜头cam4坐标系与车体平面坐标系的转换关系为：

p_V＝E_cam4-Vp_cam4 (31)

在一个可以实现的实施方式中，可以根据鱼眼镜头cam3坐标系和鱼眼镜头cam4的坐标系之间的转换关系E_cam3→cam4、鱼眼镜头cam3与车体平面坐标系的关系E_cam3-V，联立式(13)和式(23)求解，确定鱼眼镜头cam4坐标系和车体坐标系之间的转换关系为：

p_V＝E_cam3-VE_cam4→cam3p_cam4 (32)

其中，E_cam4→cam3E_cam3→cam4＝1，令E_cam4-V＝E_cam3-VE_cam4→cam3，则鱼眼镜头cam4与车体平面坐标系之间的关系为：

p_V＝E_cam4-Vp_cam4 (33)

这样就标定完成了鱼眼镜头cam4坐标系与车体平面坐标系之间的外参E_cam4-V。

根据上述本申请实施例提供的鱼眼镜头外参的标定方法，因为两坐标系属于同一平面(地面)，车体平面坐标系与棋盘格标定板坐标系的转换关系只需使用四个棋盘格标定板和两个车轮靶标(后文简称靶标)，在任何一个空旷且地面水平区域就可以完成鱼眼镜头外参的标定。

此外，鱼眼镜头外参标定准确与否的影响因素还包括车体位姿对鱼眼镜头的影响。具体来说在鱼眼镜头外参标定时，车体本身的情况会对于鱼眼镜头外参造成影响，如标定时坐人的数量，车胎情况都会影响车体在标定时发生倾斜，使得鱼眼镜头的位置和拍摄角度发生倾斜，间接导致标定时的外参与车体实际行驶的情况不符，此时z≠0，影响智能车体对周围环境评估结果，所以鱼眼镜头外参的标定也需要排除这些车体位姿因素的影响。

本申请实施例提供的鱼眼镜头外参的标定方法结合IMU信息获得车体当前状态与地面准确的相对位置关系，对于获得的初步鱼眼外参进行微调，以去除车体姿态对应外参的影响。

图3为本申请实施例提供的鱼眼镜头外参的标定方法中使用IMU传感器进行调整鱼眼镜头外参参数的原理图。IMU传感器可以安装在汽车底盘上车体中心点的位置，以实时的监测到车体姿态的变化，识别一些比较复杂的路况信息。如图3所示，车体在实际行驶过程中由于车体与底盘之间的相对位移，车体的中心点没有投影到与地面平行的车体平面坐标系的原点o_z上，而是投影到基于IMU信息变化的另一个坐标系上的原点o'_z上，可以将原点o'_z所在的坐标系记为IMU坐标系。则车体平面坐标系与IMU坐标系的转换关系为：

p_imu＝E_imu→Vp_V (34)

其中，p_imu为当前的IMU信息下IMU坐标系，E_imu→V＝R_imu→VT_ium→V，R_imu→V为当前的IMU信息下的IMU坐标系和车体平面坐标系的旋转矩阵，T_ium→V为当前的IMU信息下的IMU坐标系和车体平面坐标系的平移变换矩阵。

图4为本申请实施例提供的鱼眼镜头外参的标定方法中IMU信息与车身姿态角信息示意图。如图4所示，IMU坐标系包括俯仰轴(pich axis)、横滚轴(roll axis)和航向轴(yaw axis)和原点o'。IMU信息为IMU传感器输出的车体的角加速度信息，根据角加速度信息可以得到当前车体相对于地面的倾斜角度，即车体标定时的位姿，从车体IMU信息中可以读取到IMU坐标系与车体平面坐标系上的Y轴、X轴和Z轴三个轴的偏转角度，即：横滚角(roll)、航向角(heading)和俯仰角(pich)的值，根据俯仰角，横滚角，航向角的值获得IMU坐标系和车体平面坐标系的旋转矩阵R_imu→V，结合鱼眼镜头与车体平面坐标系的关系如式(23)、式(25)、式(27)或式(31)，则鱼眼镜头的坐标系相对于车体平面坐标系的转换关系也投影到基于IMU信息变化的IMU坐标系上，通过下式转换为鱼眼镜头坐标系与IMU坐标系之间转换关系：

p_imu＝E_imu→VE_cam→Vp_cam (35)

令E_imu→cam＝E_imu→VE_cam→V则：

p_imu＝E_imu→camp_cam (36)

E_imu→cam为在车体当前的位姿角度r_imu(pich,roll,headin)g影响下IMU坐标系与鱼眼镜头坐标系之间的转换矩阵。

在车辆行驶过程中，根据实时惯性测量单元IMU实时采集的车体相对地面之间的姿态值动态调整当前的IMU信息下的IMU坐标系和车体平面坐标系的旋转矩阵R_imu→V和当前的IMU信息下的IMU坐标系和车体平面坐标系的平移变换矩阵T_ium→V，动态的去除当前姿态对鱼眼镜头坐标系的影响，确保每一时刻不同车体姿态值下鱼眼镜头外参的准确性。

根据上述原理，本申请的实施例提供了鱼眼镜头外参的标定方法，用于标定安装于车辆上的多个鱼眼镜头的外参，多个鱼眼镜头分别设置于车体的前、后、左、右部位，该方法包括：根据多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系；多个棋盘格标定板平放于车辆的左后，左前，右后，右前四个角点的地面上；根据多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在多个鱼眼镜头中的图像确定多个鱼眼镜头中每一个鱼眼镜头的外参；其中，第一、第二车轮靶标分别紧贴棋盘格标定板车辆的左、右后轮两侧平放。

本申请的实施例提供的鱼眼镜头外参的标定方法应用在整车厂以及后续提供服务的车辆标定场地和当车辆需要进行鱼眼镜头外参标定的场景，基于多参照物的视觉信息和IMU信息联合标定鱼眼镜头的外参。

图5为本申请实施例提供的鱼眼镜头外参的标定方法的系统架构图。如图5所示，包括空间布置模块51，测量计算模块52和动态参数获得模块53。

空间布置模块51，用于确定标定空间。

在一个可以实现的实施方式中，确定一个空旷且地面水平区域作为标定空间，在该标定空间的多个位置布置多个参照物。

示例性地，标定时可以选择将车停放在一个空旷且地面水平区域，在车的左后，左前，右后，右前四个角点位置设置四个相同棋盘格标定板U1、U2、U3和U4作为标准参照物，同时在车两个后轮位置放置车轮靶标，其靶点的位置P1和P2代表两个车后轮的位置。

在一个可以实现的实施方式中，可以将待标定的四路鱼眼镜头cam1、cam2、cam3和cam4分别设置于车体的后、左、右、前四个位置。

测量计算模块12，用于采集cam1、cam2、cam3和cam4四路鱼眼镜头的图像，根据图像分别对棋盘格标定板进行检测和车轮靶标进行检测，通过计算四个鱼眼镜头坐标系之间的转换关系、以及四个鱼眼镜头坐标系分别与车体平面坐标系、车体平面坐标系与棋盘格标定板坐标系之间的转换关系，初步确定四路鱼眼镜头的外参。

在一个可以实现的实施方式中，可以采集并同步记录四个鱼眼镜头的图像和当前IMU传感器的数据，并进行棋盘格标定板检测和靶点检测。

动态参数获得模块13，用于采集当前IMU传感器输出的角加速度数据，其中角加速度数据包括俯仰角(pich)，横滚角(roll)，航向角(heading)的值；根据角加速度数据获得车体当前姿态与地面准确的相对位置关系，从而得到当前的IMU信息下的IMU坐标系和车体平面坐标系的转换关系，对于初步确定的四路鱼眼镜头的外参微调，以去除车体姿态对应外参的影响。

在车体正常行驶时，根据实时IMU信息动态更新调整外参参数，可以保证高精度和稳定性。

图6为本申请实施例提供的鱼眼镜头外参的标定方法的流程图。如图6所示，本申请的实施例基于视觉和IMU信息联合标定鱼眼镜头的外参，包括：

S61，确定标定空间，设置多个棋盘格标定板和两个车轮靶标。

在一个可以实现的实施方式中，确定标定空间可以包括以下步骤：

S611，将车辆停放的空旷且地面水平区域。

S612，多个棋盘格标定板平放于车体的左前、左后、右前、右后四个角点的地面上。

示例性地，在该车辆的左后，左前，右后，右前方向的四个角点的地面上设置四个相同棋盘格标定板U1、U2、U3和U4作为标准参照物。

S613，在车两个后轮位置放置车轮靶标，其靶点的位置P1和P2代表两个车后轮的位置。

根据车轮靶标确定车体平面坐标系，其中车体平面坐标系以车辆的左、右后轮中心点为圆心，以第二车轮靶标到第一车轮靶标方向为Y轴正方向，车前方向为X轴正方向。

在一个可以实现的实施方式中，需要标定的多个鱼眼镜头分别设置于车体的前、后、左、右部位。示例性地，需要标定的四路鱼眼镜头为cam1、cam2、cam3和cam4四路鱼眼镜头分别设置于车体的后、左、右、前四个部位。

在一个可以实现的实施方式中，将IMU传感器设置于车体底盘中心位置。

S62，采集图像，同步获取四路鱼眼镜头为cam1、cam2、cam3和cam4的图像，获得棋盘格标定板多个位置点在鱼眼镜头坐标系下的坐标。

在一个可以实现的实施方式中，鱼眼镜头cam1和cam2同时对棋盘格标定板U1进行拍摄，鱼眼镜头cam2和cam4同时对棋盘格标定板U2进行拍摄，鱼眼镜头cam1和cam3同时对棋盘格标定板U3进行拍摄，鱼眼镜头cam3和cam4同时对棋盘格标定板U4进行拍摄，车辆获取四个鱼眼镜头的图像数据。

S63，通过四路鱼眼镜头cam1、cam2、cam3和cam4分别对棋盘格标定板进行角点检测，获得相同位置点在不同鱼眼镜头坐标系下的坐标。

示例性地，相同位置点可以是棋盘格标定板的原点、单元格的角点等。则步骤S63通过以下步骤实现：

S631，通过鱼眼镜头cam1的图像1得到棋盘格标定板U1的位置点在图像1中的坐标为p_cam1(x_1,U1,y_1,U1)，通过鱼眼镜头cam2的图像2得到棋盘格标定板U1的同一位置点在图像2中坐标为p_cam2(x_2,U1,y_2,U1)。

S632，鱼眼镜头cam1和cam3同时对棋盘格标定板U3进行拍摄，通过鱼眼镜头cam1的图像3得到棋盘格标定板U3的位置点在图像3中的坐标为p_cam1(x_1,U3,y_1,U3)，通过鱼眼镜头cam3的图像4得到棋盘格标定板U3的同一位置点在图像4中坐标为p_cam3(x_3,U3,y_3,U3)。

S633，通过鱼眼镜头cam2的图像5得到棋盘格标定板U2的位置点的坐标为p_cam2(x_2,U2,y_2,U2)，通过鱼眼镜头cam4的图像6得到棋盘格标定板U2的同一位置点在图像6中坐标为p_cam4(x_4,U2,y_4,U2)。

S634，鱼眼镜头cam3和cam4同时对棋盘格标定板U4进行拍摄，通过鱼眼镜头cam3的图像7得到棋盘格标定板U4的位置点在图像7中的坐标为p_cam3(x_3,U4,y_3,U4)，通过鱼眼镜头cam4的图像8得到棋盘格标定板U4的同一位置点在图像8中坐标为p_cam4(x_4,U4,y_4,U4)。

S64，根据多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，可以根据两个鱼眼镜头各自图像上的同一个棋盘格标定板的多对相同位置点的坐标，计算两个鱼眼镜头坐标系之间的转换关系；根据两两镜头的双目标定结果确定四个鱼眼镜头坐标系之间的转换关系。

在一个可以实现的实施方式中，可以将多个鱼眼镜头中的第一鱼眼镜头设置于车辆的前、后、左、右部位之一，第二鱼眼镜头设置于车辆的前、后、左、右部位之一，与第一鱼眼镜头相邻；则步骤S64通过获得第一鱼眼镜头拍摄的第一图像，根据第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一鱼眼镜头坐标系与第二鱼眼镜头坐标系之间的转换关系实现，将第一鱼眼镜头坐标系与第二鱼眼镜头坐标系之间的转换关系记为第一转换关系。示例性地，可以将鱼眼镜头cam1作为第一鱼眼镜头，鱼眼镜头cam2作为第二鱼眼镜头，棋盘格标定板U1作为第一棋盘格标定板，则步骤S64可以通过如下步骤S641实现。

S641，根据棋盘格标定板U1的多个位置点在图像1和图像2中的多个坐标对获得鱼眼镜头cam2坐标系和鱼眼镜头cam1的坐标系之间的转换关系如式(5)：

p_cam2＝E_cam1→cam2p_cam1。

此时，可以将鱼眼镜头cam1坐标系与第二鱼眼镜头cam2坐标系之间的转换关系作为第一转换关系。

在一个可以实现的实施方式中，还可以根据棋盘格标定板U1的单元格的缩放矩阵、旋转和平移确定鱼眼镜头cam2坐标系和鱼眼镜头cam1的坐标系之间的转换关系。

示例性地，可以获得棋盘格标定板U1的单元格在图像1上第一长度值、第一角点坐标；获得棋盘格标定板U1的单元格在图像2上的第二长度值和第二角点坐标；根据第一、第二长度值、第一、二角点坐标获得鱼眼镜头cam1坐标系鱼眼镜头cam2坐标系之间的转换关系：

p_cam2＝M_cam1→cam2E_cam1→cam2p_cam1 (37)

其中，M_cam1→cam2为鱼眼镜头cam1坐标系鱼眼镜头cam2坐标系之间的缩放矩阵。

根据上一示例，还可以根据棋盘格标定板U1的单位长度值、第一长度值、第二长度值确定鱼眼镜头cam1的坐标系、鱼眼镜头cam2的坐标系和棋盘格标定板U1坐标系的转换关系，如式：

p_U1＝M_cam1→U1E_cam1→U1p_cam1 (38)

p_U2＝M_cam2→U1E_cam2→U1p_cam2 (39)

在一个可以实现的实施方式中，将多个鱼眼镜头中的第三鱼眼镜头设置于车辆的前、后、左、右位置之一，与第一鱼眼镜头相邻，与第二鱼眼镜头相对，则步骤S64可以获得第一鱼眼镜头拍摄的第三图像，第三图像为包括第三棋盘格标定板的图像；第三棋盘格标定板为多个棋盘格标定板之一；获得第三鱼眼镜头拍摄的第四图像，根据第四图像上的第三棋盘格标定板确定第三鱼眼镜头坐标系；根据第三图像和第四图像中第三棋盘格标定板上多对相同位置点的坐标，确定第二转换关系，第二转换关系为第三鱼眼镜头坐标系与第一鱼眼镜头坐标系之间的转换关系；根据第二转换关系和第一转换关系确定第三转换关系，第三转换关系为第三鱼眼镜头坐标系和第二鱼眼镜头坐标系之间的转换关系。

示例性地，可以将鱼眼镜头cam3作为第三鱼眼镜头，鱼眼镜头cam1、cam2作为第一、二鱼眼镜头，棋盘格标定板U3作为第三棋盘格标定板，则步骤S64可以继续通过如下步骤S642-643实现。

S642，根据棋盘格标定板U3的多个位置点在图像3和图像4中的坐标对获得鱼眼镜头cam3坐标系和鱼眼镜头cam1坐标系之间的转换关系如式(7)：

p_cam3＝E_cam1→cam3p_cam1。

此时，可以将鱼眼镜头cam3坐标系与第一鱼眼镜头cam1坐标系之间的转换关系作为第二转换关系。

S643，根据第二转换关系和第一转换关系确定鱼眼镜头cam3坐标系和鱼眼镜头cam2坐标系之间的转换关系，将第三鱼眼镜头坐标系和第二鱼眼镜头坐标系之间的转换关系记为第三转换关系。

示例性地，为了在对周围环境进行360°观测时减少误差，提高定位精度，进一步获得四个鱼眼镜头坐标系之间的转换关系，步骤S64还可以通过以下步骤S644-S645获得鱼眼镜头cam4坐标系和鱼眼镜头cam2坐标系之间的转换关系和鱼眼镜头cam4坐标系和鱼眼镜头cam3的坐标系之间的转换关系。

S644，根据棋盘格标定板U2的多个位置点在图像5和图像6中的坐标对获得鱼眼镜头cam4坐标系和鱼眼镜头cam2坐标系之间的转换关系如式(9)：

p_cam4＝E_cam2→cam4p_cam2

S645，根据棋盘格标定板U4的多个位置点在图像7和图像8中的坐标对获得鱼眼镜头cam4坐标系和鱼眼镜头cam3的坐标系之间的转换关系如式(13)：

p_cam4＝E_cam3→cam4p_cam3

在上述实施方式中，还可以根据第一图像的棋盘格标定板和第二图像的棋盘格标定板中多对相同位置点的坐标，计算第一鱼眼镜头坐标系与第二鱼眼镜头坐标系之间旋转矩阵R和平移变换矩阵T，确定第一转换关系。

示例性地，可以根据图像1的棋盘格标定板U1和图像2的棋盘格标定板U1中多对相同位置点的坐标，计算鱼眼镜头cam1坐标系与鱼眼镜头cam2坐标系之间旋转矩阵R_cam2→cam1和平移变换矩阵T_cam2→cam1，确定鱼眼镜头cam1坐标系与鱼眼镜头cam2坐标系之间转换关系。

S65，根据坐标系之间转换关系进行靶点检测获得眼镜头外参。

在一个可以实现的实施方式中，可以根据多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在多个鱼眼镜头中的图像确定多个鱼眼镜头中每一个鱼眼镜头的外参。

示例性地，将左、右后车轮处的车轮靶标作为第一、第二车轮靶标。可以针对左、右后车轮处的车轮靶标进行靶点检测，获得两个车轮靶标在多个鱼眼镜头中的图像，根据四个鱼眼镜头坐标系之间的转换关系和图像中左、右后车轮处的车轮靶标对应的靶点的位置坐标确定车体平面坐标系相对于该鱼眼镜头坐标系的转换关系，从而获得多个鱼眼镜头的外参。在一个可以实现的实施方式中，步骤S65包括以下步骤S651-S654。

S651，根据多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，第五转换关系为多个鱼眼镜头坐标系中每一个鱼眼镜头坐标系和对应的棋盘格标定板坐标系之间的转换关系。

在一个可以实现的实施方式中，步骤S651通过以下步骤实现。

S6511，获得多个鱼眼镜头中每一个鱼眼镜头拍摄的第五图像，第五图像为包括多个棋盘格标定板中的一个棋盘格标定板的图像。

S6512，根据第五图像和对应的一个棋盘格标定板上多对相同位置点的坐标获得第五转换关系，第五转换关系包括每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的倍率矩阵、旋转矩阵和平移变换矩阵；其中棋盘格标定板坐标系为由棋盘格标定板上的X轴、Y轴、原点和单位长度确定的坐标系。

具体实现方式和示例可以参考步骤S2211的全部内容，此处不再赘述。

S652，根据多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在多个鱼眼镜头中的图像确定第六转换关系，第六转换关系为车体平面坐标系与多个棋盘格标定板坐标系之间的转换关系。

在一个可以实现的实施方式中，步骤S652通过以下步骤实现。

S6521，获得多个鱼眼镜头中第二、三鱼眼镜头拍摄的第六、七图像；第六图像为第二鱼眼镜头拍摄的包括第一车轮靶标的图像，第七图像为第三鱼眼镜头拍摄的包括第二车轮靶标的图像。

示例性地，可以通过鱼眼镜头cam2拍摄左车轮处的车轮靶标获得图像9，图像9上左靶点位置P1的坐标为：p_cam2(x_2,P1,y_2,P1)；通过鱼眼镜头cam3拍摄右车轮处车轮靶标获得图像10，图像10上右靶点位置P2的坐标为p_cam3(x_3,P2,y_3,P2)。此处可以将图像9作为第六图像，图像10作为第七图像，鱼眼镜头cam2为第二鱼眼镜头，鱼眼镜头cam3为第三鱼眼镜头。

S6522，根据第六、七图像和多个鱼眼镜头坐标系之间的转换关系中第二、三鱼眼镜头坐标系之间的转换关系，确定第一、二车轮靶标之间的中点在第一或第三棋盘格标定板坐标系中的坐标。

示例性地，具体实现方式可以参考步骤S2212-S22125的全部或部分内容，此处不再赘述。

S6523，根据第一、二车轮靶标之间中点在第一或第三棋盘格标定板坐标系中的坐标、第一、第二车轮靶标在第二或三棋盘格标定板坐标系下的坐标，以及第二车轮靶标指向第一车轮靶标的方向确定第六转换关系。

示例性地，具体实现方式可以参考步骤S2216的全部或部分内容，此处不再赘述。

S653，根据第五转换关系和第六转换关系，确定第七转换关系，第七转换关系为每一个鱼眼镜头坐标系与车体平面坐标系之间的转换关系。

S654，根据第七转换关系确定多个鱼眼镜头中每一个鱼眼镜头的外参。

在一个可以实现的实施方式中，可以根据第二鱼眼镜头坐标系与对应的第一棋盘格标定板坐标系之间的转换关系，和第一棋盘格标定板坐标系与车体平面坐标系之间的第六转换关系，确定第二鱼眼镜头坐标系与车体平面坐标系之间的转换关系。

具体实现方式可以参考步骤S222的全部或部分内容，此处不再赘述。

在一个可以实现的实施方式中，可以根据第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的转换关系，和第三棋盘格标定板坐标系与车体平面坐标系之间的第六转换关系，确定第三鱼眼镜头坐标系与车体平面坐标系之间的转换关系。

具体实现方式可以参考步骤S2217的全部或部分内容，此处不再赘述。

在一个可以实现的实施方式中，根据多个鱼眼镜头坐标系之间的转换关系中第一、三鱼眼镜头坐标系之间的转换关系、第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的转换关系，和第三棋盘格标定板坐标系与车体平面坐标系之间的第六转换关系，确定第一鱼眼镜头坐标系与车体平面坐标系之间的转换关系。具体实现方式可以参考步骤S223的全部或部分内容，此处不再赘述。

同理可以确定第四鱼眼镜头坐标系与车体平面坐标系之间的转换关系。具体实现方式可以参考步骤S224的全部或部分内容，此处不再赘述。

在一个可以实现的实施方式中，第七转换关系包括每一个鱼眼镜头坐标系和车体平面坐标系之间的旋转矩阵和平移变换矩阵；根据多个鱼眼镜头中第一、二、三、四鱼眼镜头坐标系与车体平面坐标系之间的旋转矩阵和平移变换矩阵，确定第一、二、三、四鱼眼镜头坐标系的初步外参。

S66，使用IMU信息调整鱼眼镜头外参。

在一个可以实现的实施方式中，可以在车体底盘设置惯性测量单元IMU，惯性测量单元IMU用于确定车体的横滚角、俯仰角和航向角的值；车辆获得惯性测量单元输出的横滚角、俯仰角和航向角的值；根据横滚角、俯仰角和航向角的值确定IMU坐标系；其中，横滚角、俯仰角和航向角的值指示IMU坐标系与车体平面坐标系上的Y轴、X轴和Z轴三个轴的角度偏转；确定多个鱼眼镜头坐标系与IMU坐标系的转换关系；根据多个鱼眼镜头坐标系与IMU坐标系的转换关系调整多个鱼眼镜头的外参。

在一个可以实现的实施方式中，可以根据俯仰角、横滚角、航向角的值获得IMU坐标系与车体平面坐标系的旋转矩阵；根据IMU坐标系与车体平面坐标系的旋转矩阵、车体平面坐标系与鱼眼镜头坐标系之间的转换关系确定多个鱼眼镜头坐标系与IMU坐标系的转换关系如式(33)：

p_imu＝E_imu→VE_cam→Vp_cam

式中，E_imu→V为将车体当前的位姿角度r_imu(p,r,h)转换到鱼眼镜头坐标系的外参，其中p为俯仰角(pich)的值，r为横滚角(roll)的值，h为航向角(heading)的值。E_imu→V为将车体当前的位姿角度r_imu(p,r,h)转换到每个鱼眼镜头坐标系相对应发生的角度变化参数和位置变化，即旋转矩阵R_ium→V和平移变换矩阵T_ium→V。

根据车体当前的位姿角度r_imu(p,r,h)对鱼眼镜头坐标系初步外参微调，可以得到标准位姿的鱼眼镜头外参，则鱼眼镜头cam1坐标系与IMU坐标系之间的转换关系为：

p_imu＝E_imu→VE_cam1→Vp_cam1。

鱼眼镜头cam2坐标系与IMU坐标系坐标之间的转换关系为：

p_imu＝E_imu→VE_cam2→Vp_cam2。

鱼眼镜头cam3坐标系与车体坐标系之间的转换关系为：

p_imu＝E_imu→VE_cam3→Vp_cam3。

鱼眼镜头cam4坐标系与IMU坐标系坐标之间的转换关系为：

p_imu＝E_imu→VE_cam4→Vp_cam4。

据此，就可以得到去除当前标定位姿后的四路鱼眼镜头的外参E＝E_imu→VE_cam4→V，即车辆处于标准位姿时四路鱼眼镜头外参。

在一个可以实现的实施方式中，在车辆行驶过程中，可以根据惯性测量单元实时采集的IMU信息动态调整多个鱼眼镜头的外参，IMU信息包括所述车体的横滚角、俯仰角和航向角的值，保证高精度和稳定性。

本申请的实施例提供的鱼眼镜头外参的标定方法采集IMU传感器输出的IMU信息，结合IMU信息获得车体当前状态与地面准确的相对位置关系，对于获得的初步鱼眼外参进行微调，去除车体姿态对应外参的影响。

实施例1

图7为本申请实施例1提供的鱼眼镜头外参的标定方法流程图。该实施例使用靶点确定车地关系，如图7所示，包括：

S71，新车在车场时进入标定空间，车厂通过图像或激光的方式确定车的停放位置。

S72，通过投影的方式将4个棋盘格标定板和2个靶点投影在地面上。如图8所示，其中两黑点为车厂投影的圆形后轮的靶标，在该车体的左后，左前，右后，右前方向的四个位置设置四个相同棋盘格标定板U1、U2、U3和U4作为标准参照物。

S73，待标定车体获取四路鱼眼镜头拍摄图像，通过四路鱼眼镜头cam1、cam2、cam3和cam4分别对棋盘格标定板进行定点检测，获得指定位置点在鱼眼镜头坐标系下的坐标。具体参考步骤S63，此处不再赘述。

S74，待标定车体同时获取当前IMU传感器输出的信息。

S75，根据步骤S73获得的棋盘格标定板指定位置点在鱼眼镜头坐标系下的坐标，确定两两相邻镜头的位置关系，继而得到四个鱼眼镜头坐标系之间的转换关系。具体参考步骤S64，此处不再赘述。

S76，对地面上车轮靶标的投影进行靶点检测确定鱼眼镜头坐标系与车体平面坐标系之间的转换关系。具体参考步骤S65，此处不再赘述。

S77，根据鱼眼镜头坐标系与车体平面坐标系之间的转换关系初步确定四路鱼眼镜头的外参。

S78，根据当前IMU信息计算车体姿态，对IMU信息处理后得到车体标定时位姿。

S79，将初步确定的鱼眼镜头外参与车体标定时位姿结合，得到标准位姿时鱼眼镜头外参，具体参考步骤S66，此处不再赘述。

车辆驶出车厂完成外参标定，车辆根据IMU信息实时更新外参参数，下一辆需要标定车辆驶入车厂标定空间进行流水线外参镜头标定。

使用上述实施方法标定鱼眼镜头外参后，就可以根据鱼眼镜头的外参进行智能车辆后续的辅助驾驶和智能驾驶。

与传统方法中使用全站仪确定空间3d点的位置坐标，并结合鱼眼图像中的2d点坐标进行鱼眼镜头外参标定不同，本申请的实施例1方法中采用纯视觉方法，减少了3d打点所需要的时间，同时减少了误差来源，提高了精度。和现有技术相比，本申请的实施例1方法不需要使用车载平台来移动车辆到所需要的指定位置，可以根据车辆当前所在位置简易的进行标定环境布置，成本低，放置快，且根据环境不同可以进行相应调整，如车场中环境较为成熟可以通过投影等方式放置车轮靶点已经标定指示物，简易空间如洗车房等处由于可以使用卡轮器固定车辆位置也可以使用该方法确定车轮与地面位置，或者在用户自行布置的空间中使用打印等方法人工放置也可以进行外参的标定。

实施例2

图9为本申请实施例2提供的鱼眼镜头外参的标定方法流程图。该实施例使用IMU传感器进行动态鱼眼镜头外参参数标定，在用户发现需要重新矫正车辆鱼眼镜头外参时进行标定，如图9所示，包括：

S91，将车驶入就近的简易标定空间，例如洗车处。

S92，使用卡轮器固定车后轮位置。

S93，在车辆的左后，左前，右后，右前方向的四个位置设置四个相同棋盘格标定板U1、U2、U3和U4作为标准参照物。

S94，获取4路鱼眼镜头拍摄的图像，通过四路鱼眼镜头cam1、cam2、cam3和cam4分别对棋盘格标定板进行定点检测，获得指定位置点在鱼眼镜头坐标系下的坐标。具体参考步骤S63，此处不再赘述。

S95，根据步骤S94获得的棋盘格标定板指定位置点在鱼眼镜头坐标系下的坐标，确定两两相邻镜头的位置关系，继而得到四个鱼眼镜头坐标系之间的转换关系。具体参考步骤S64，此处不再赘述。

S96，待标定车辆同时获取当前IMU传感器输出的信息。

S97，根据卡轮器位置确定左、右车后轮靶点的位置，和鱼眼镜头拍摄图像中的左、右靶点坐标，确定鱼眼镜头坐标系与车体平面坐标系之间的转换关系，获得初步外参参数。具体参考步骤S65，此处不再赘述。

S98，根据当前IMU信息计算车体姿态，IMU信息处理后得到车体标定时的位姿。

在一个可以实现的实施方式中，IMU信息为角加速度信息，通过角加速度信息可以得到当前车体相对于地面的倾斜角度，即车体标定时的位姿，将车体当前的位姿转换到每个鱼眼镜头相对应发生的角度变化，与初步鱼眼镜头外参结合，就可以得到去除当前标定位姿后的鱼眼镜头外参，即标准位姿时鱼眼镜头外参。

本申请的实施例2提供的方法与实施例1相比的不同在于车轮靶点的确定，标定空间的简易程度不同，以及使用不同形式的靶点，都可以使用本申请提出的方法进行车地位置关系确定，摆脱了标定对于空间环境的依赖。

本申请的实施例提供的方法只需使用标定板和车轮靶标通过坐标转换的方法获得车地关系就可以进行外参标定，改进现有技术中使用的车轮固定器等固定车辆位置的方法，本申请的实施例提供的方法通过IMU信息估算当前车辆位姿，使用当前车辆位姿信息对鱼眼镜头外参进行实施调整获得动态参数，保证高精度和稳定性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (14)

1.一种鱼眼镜头外参的标定方法，用于标定安装于车体上的多个鱼眼镜头的外参，所述多个鱼眼镜头分别设置于车体的前、后、左、右部位，其特征在于，所述方法包括：

根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系；所述多个棋盘格标定板平放于车体的左后，左前，右后，右前四个角点的地面上；根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参；所述第一、第二车轮靶标分别紧贴所述车体的左、右后轮两侧平放。

2.根据权利要求1所述的方法，其特征在于，所述多个鱼眼镜头中的第一鱼眼镜头设置于车体的前、后、左、右部位之一，第二鱼眼镜头设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：

获得所述第一鱼眼镜头拍摄的第一图像，根据所述第一图像上的第一棋盘格标定板确定第一鱼眼镜头坐标系；所述第一棋盘格标定板为所述多个棋盘格标定板之一；

获得所述第二鱼眼镜头拍摄的第二图像，根据所述第二图像上的第一棋盘格标定板确定所述第二鱼眼镜头坐标系；

根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，所述第一转换关系为所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的转换关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，包括：

根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，计算所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的旋转矩阵和平移变换矩阵，确定第一转换关系。

4.根据权利要求1-3之一所述的方法，其特征在于，所述多个鱼眼镜头中的第三鱼眼镜头，设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，与所述第二鱼眼镜头相对，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：

获得所述第一鱼眼镜头拍摄的第三图像，所述第三图像为包括第三棋盘格标定板的图像；所述第三棋盘格标定板为所述多个棋盘格标定板之一；

获得所述第三鱼眼镜头拍摄的第四图像，根据所述第四图像上的所述第三棋盘格标定板确定所述第三鱼眼镜头坐标系；

根据所述第三图像和第四图像中所述第三棋盘格标定板上多对相同位置点的坐标，确定第二转换关系，所述第二转换关系为所述第三鱼眼镜头坐标系与所述第一鱼眼镜头坐标系之间的转换关系；

根据所述第二转换关系和所述第一转换关系确定第三转换关系，所述第三转换关系为所述第三鱼眼镜头坐标系和所述第二鱼眼镜头坐标系之间的转换关系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：

根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，所述第五转换关系为所述多个鱼眼镜头坐标系中每一个鱼眼镜头坐标系和对应的棋盘格标定板坐标系之间的转换关系；所述棋盘格标定板坐标系为由所述棋盘格标定板确定的坐标系；

根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，所述第六转换关系为车体平面坐标系与所述多个棋盘格标定板坐标系之间的转换关系；所述车体平面坐标系为以车体的左、右后轮中心点为圆心，所述第二车轮靶标到第一车轮靶标方向为Y轴正方向，车前方向为X轴正方向的坐标系；

根据所述第五转换关系和所述第六转换关系，确定第七转换关系，所述第七转换关系为所述每一个鱼眼镜头坐标系与所述车体平面坐标系之间的转换关系；

根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参。

6.根据权利要求5所述的方法，其特征在于，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，包括：

获得所述多个鱼眼镜头中每一个鱼眼镜头拍摄的第五图像，所述第五图像为包括所述多个棋盘格标定板中的一个棋盘格标定板的图像；

根据所述第五图像和对应的所述一个棋盘格标定板上多对相同位置点的坐标获得第五转换关系，所述第五转换关系包括所述每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的倍率矩阵、旋转矩阵和平移变换矩阵。

7.根据权利要求5或6所述的方法，其特征在于，所述根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，包括：

获得所述多个鱼眼镜头中第二、三鱼眼镜头拍摄的第六、七图像；所述第六图像为所述第二鱼眼镜头拍摄的包括所述第一车轮靶标的图像，所述第七图像为所述第三鱼眼镜头拍摄的包括所述第二车轮靶标的图像；

根据所述第六、七图像和所述多个鱼眼镜头坐标系之间的转换关系中第二、三鱼眼镜头坐标系之间的转换关系，确定所述第一、二车轮靶标之间的中点在第一棋盘格标定板坐标系或第三棋盘格标定板坐标系中的坐标；

根据所述第一、二车轮靶标之间的中点在所述第一或第三棋盘格标定板坐标系中的坐标、第一、第二车轮靶标在所述第二或三棋盘格标定板坐标系中的坐标，以及所述第二车轮靶标指向第一车轮靶标的方向确定第六转换关系。

8.根据权利要求5所述的方法，其特征在于，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述第二鱼眼镜头坐标系与对应的第一棋盘格标定板坐标系之间的第五转换关系，和所述第一棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第二鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。

9.根据权利要求5所述的方法，其特征在于，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：

根据所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第三鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。

10.根据权利要求5所述的方法，其特征在于，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：

根据所述多个鱼眼镜头坐标系之间的转换关系中所述第一、三鱼眼镜头坐标系之间的转换关系、所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第一鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。

11.根据权利要求5-10之一所述的方法，其特征在于，所述根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：

所述第七转换关系包括每一个鱼眼镜头坐标系和车体平面坐标系之间的旋转矩阵和平移变换矩阵；

根据多个鱼眼镜头中所述第一、二、三、四鱼眼镜头坐标系与所述车体平面坐标系之间的旋转矩阵和平移变换矩阵，确定所述第一、二、三、四鱼眼镜头坐标系的外参。

12.根据权利要求1-11所述的方法，其特征在于，在车体底盘设置有惯性测量单元，所述惯性测量单元用于确定所述车体的横滚角、俯仰角和航向角的值；所述方法还包括：

获得所述惯性测量单元输出的横滚角、俯仰角和航向角的值；

根据所述横滚角、俯仰角和航向角的值确定IMU坐标系；所述横滚角、俯仰角和航向角的值指示所述IMU坐标系与所述车体平面坐标系上的Y轴、X轴和Z轴三个轴的偏转角度；

确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系；

根据所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系调整所述多个鱼眼镜头的外参。

13.根据权利要求12所述的方法，其特征在于，所述确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系，包括：

根据所述俯仰角、横滚角、航向角的值获得IMU坐标系与所述车体平面坐标系的旋转矩阵；

根据所述IMU坐标系与车体平面坐标系的旋转矩阵、所述车体平面坐标系与所述鱼眼镜头坐标系之间的转换关系确定所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系。

14.根据权利要求12所述的方法，其特征在于，所述根据所述多个鱼眼镜头坐标系与所述IMU坐标系的转换关系调整所述多个鱼眼镜头的外参，包括：在车辆行驶过程中，根据所述惯性测量单元实时采集的IMU信息动态调整所述多个鱼眼镜头的外参，所述IMU信息包括所述车体的横滚角、俯仰角和航向角的值。