CN110211176A

CN110211176A - 一种相机外参数校正系统与方法

Info

Publication number: CN110211176A
Application number: CN201910469033.3A
Authority: CN
Inventors: 苏向阳; 王宇航; 潘争
Original assignee: Uisee Technologies Beijing Co Ltd
Current assignee: Uisee Technologies Beijing Co Ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2019-09-06

Abstract

本申请披露了一种相机外参数的校正系统与方法，根据真实空间中某两个已知位置关系的物体在相机成像上的区域，进行图像转换后判断相机的当前外参数状态，并根据当前外参数的状态不断修正外参数，直到满足要求。上述系统和方法可以应用在自动驾驶领域，对于自动驾驶车辆来说，其搭载的相机由于车辆颠簸，位姿不断发生变化，因此根据本申请提出的系统和方法可以迅速并高频率地对相机外参数进行校正，保证自动驾驶车辆在行驶过程中相机外参数的准确性始终保持在较高水平。此外，由于自动驾驶车辆使用环境的特殊性，其行驶的车道上的车道线天然的平行关系可以作为所述相机外参数校正系统和方法中稳定的参照物，使得对相机外参数的高频地精准地校正成为可能。

Description

一种相机外参数校正系统与方法

技术领域

本申请涉及相机调校领域，具体而言，涉及一种相机外参数校正系统与方法。

背景技术

随着相机技术以及计算机技术的发展，利用相机图像还原真实空间中物体的位置信息成为可能。这一技术可以被广泛利用在例如自动驾驶，地图建设等领域。以自动驾驶领域为例，装在在自动驾驶车辆上的相机拍摄周围场景的图像后，可以由搭载的车载电子设备还原出周围环境中的物体在空间中的绝对位置，从而可以构建出可供自动驾驶车辆使用的地图。

然而，由于自动驾驶车辆在行驶过程中，车辆的加减速，道路的起伏以及车辆负载的变化都可能会引起其搭载的相机产生位姿变化。这种位姿变化会改变所述相机坐标系与世界坐标系之间的映射关系，即所述外参数。因此，需要一种能够实时调整所述相机外参数的系统和方法，以解决在自动驾驶车辆的使用环境下，相机外参数不断变化的问题。

发明内容

本申请披露了一种相机外参数的校正系统与方法。根据本申请的一个方面，所述方法包括：获取所述相机拍摄的图像，所述图像中包括至少两个标识物，所述至少两个标识物的真实位置关系为已知；将所述图像转化为俯视图像；决定所述至少两个标识物在所述俯视图像中的位置关系与真实位置关系的位置差异；以及根据所述位置差异调整所述外参数。

在一些实施例中，所述至少两个标识物在真实空间中分别沿着至少两条平行线延展，所述至少两条平行线分别为所述至少两个标识物的特征线。

在一些实施例中，所述至少两个标识物包括两条平行的车道线。

在一些实施例中，进一步包括，对每个标识物：从所述图像中提取多个标识点，所述多个标识点沿着所述标识物的特征线分布；以及从所述多个标识点集合中剔除异常点，剩下的标识点构成特征点集合。

在一些实施例中，所述将所述图像转化为俯视图像包括：根据所述相机的内参数以及当前外参数，对所述特征点集合中的每个特征点进行逆透视变换，以获取转换特征点集合；以及用两条曲线拟合所述转换特征点集合中的转换特征点，以获取所述转换图像。

在一些实施例中，所述根据所述位置差异调整所述外参数包括：根据所述位置差异判断所述外参数是否正确；如果所述外参数正确，输出所述外参数；以及如果所述外参数不正确，逐次调整所述外参数的至少一部分，并根据每次调整后的外参数生成调整后转换图像并决定调整后位置差异。其中，所述车载电子设备以所述调整后位置差异最小为收敛方向进行每次的所述外参数的调整。

在一些实施例中，所述外参数的至少一部分包括相机俯仰角和相机高度中的至少一个。

在一些实施例中，所述根据位置差异调整所述外参数至少包括以下任意一种：通过单向搜索法确定所述外参数的至少一部分精确值；通过二分搜索法确定所述外参数的至少一部分精确值；以及通过单向搜索法确定所述外参数的至少一部分的边界值，通过二分搜索法确定所述外参数的至少一部分的精确值。

在一些实施例中，所述通过单向搜索法确定所述外参数的至少一部分的边界值包括：根据所述位置差异确定所述当前外参数为所述边界值中的其中一个边界值；以所述其中的一个边界值为起点逐次调整所述当前外参数的至少一部分，并根据每次调整后的外参数生成调整后转换图像并决定调整后位置差异，直到所述调整后位置差异满足预设条件；以及将此时的当前外参数确定为所述边界值中的另一个边界值。

在一些实施例中，所述通过二分搜索法确定所述外参数的至少一部分的精确值包括：步骤1：将所述左右边界值的中间值作为所述当前外参数，并生成对应的调整后转换图像，以及决定调整后位置差异；步骤2：根据所述调整后位置差异将所述中间值更新为所述左右边界值中的其中一个边界值，从而确定更新后的左右边界值；以及重复执行步骤1和步骤2，直到所述调整后位置差异满足预设条件。

本申请的另一个方面披露了一种车载电子设备。所述车载电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述方法以及实施例中披露的相机的外参数校正方法的步骤。

附图说明

以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例，附图仅用于说明和描述的目的，并不旨在限制本申请的范围，其他方式的实施例也可能同样的完成本申请中的发明意图。其中：

图1是本申请中所述相机的成像原理示意图；

图2是本申请中的相机外参数校正方法的一个实施例的场景示意图；

图3是根据本申请的一些实施例的具有自主驾驶能力的示例性车辆的框图；

图4是信息处理单元400的示例性硬件和软件组件的示意图；

图5是本申请中的一种相机外参数校正方法的示例性流程图；

图6所示为两条车道线在转换图像中的位置关系及其预设位置关系的示意图；

图7是本申请中的获取标识物特征点的一个实施例的示例性流程图；

图8是本申请中的基于RANSAC算法筛选所述特征点的一个实施例的示例性流程图；

图9是本申请中的生成转换图像的一个实施例的示例性流程图；

图10是本申请中的根据所述位置差异调整所述外参数的一个实施例的示例性流程图；

图11是本申请中的相机外参数单向搜索的一个实施例的示例性流程图；

图12是本申请中的相机外参数二分搜索的一个实施例的示例性流程图；以及

图13是本申请中的一种相机外参数校正装置的示意图。

具体实施方式

应当理解的是，本申请所述的校正是将对应于相机位姿的外参数进行软件层面的校正，而不是对相机的位姿进行物理性的校正。比如在第一时刻相机在第一姿态，车载电子设备中存储的所述相机的外参数对应所述第一姿态。在第二时刻，所述相机由于颠簸等原因变为第二姿态，而此时车载电子设备中存储的所述相机的外参数仍然对应所述第一姿态。此时需要将车载电子设备中存储的所述相机的外参数调整为对应所述第二姿态。

为了给本领域普通技术人员提供相关披露的透彻理解，在以下详细描述中通过示例阐述了本发明的具体细节。然而本申请披露的内容应该理解为与权利要求的保护范围一致，而不限于该具体发明细节。比如，对于本领域普通技术人员来说，对本申请中披露的实施例进行各种修改是显而易见的；并且在不脱离本申请的精神和范围的情况下，本领域的普通技术人员可以将这里定义的一般原理应用于其他实施例和应用。再比如，这些细节如果没有以下披露，对本领域普通技术人员来说也可以在不知道这些细节的情况下实践本申请。另一方面，为了避免不必要地模糊本申请的内容，本申请对公知的方法，过程，系统，组件和/或电路做了一般性概括而没有详细描述。因此，本申请披露的内容不限于所示的实施例，而是与权利要求的范围一致。

本申请中使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如除非上下文另有明确说明，本申请中如果对某要件使用了单数形式的描述(比如，“一”、“一个”和/或等同性的说明)也可以包括多个该要件。在本申请中使用的术语“包括”和/或“包含”是指开放性的概念。比如A包括/包含B仅仅表示A中有B特征的存在，但并不排除其他要件(比如C)在A中存在或添加的可能性。

应当理解的是，本申请中使用的术语，比如“系统”，“单元”，“模块”和/或“块”，是用于区分不同级别的不同组件，元件，部件，部分或组件的一种方法。但是，如果其他术语可以达到同样的目的，本申请中也可能使用该其他术语来替代上述术语。

本申请中描述的模块(或单元，块，单元)可以实现为软件和/或硬件模块。除非上下文另有明确说明，当某单元或模块被描述为“接通”、“连接到”或“耦合到”另一个单元或模块时，该表达可能是指该单元或模块直接接通、链接或耦合到该另一个单元或模块上，也可能是指该单元或模块间接的以某种形式接通、连接或耦合到该另一个单元或模块上。在本申请中，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。

在本申请中，术语“自动驾驶车辆”可以指能够感知其环境并且在没有人(例如，驾驶员，飞行员等)输入和/或干预的情况下对外界环境自动进行感知、判断并进而做出决策的车辆。术语“自动驾驶车辆”和“车辆”可以互换使用。术语“自动驾驶”可以指没有人(例如，驾驶员，飞行员等)输入的对周边环境进行智能判断并进行导航的能力。

考虑到以下描述，本申请的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本申请的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本申请的范围。应理解，附图未按比例绘制。

本申请中使用的流程图示出了根据本申请中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

此外，尽管本申请中的系统和方法主要描述了关于自动驾驶车辆搭载的相机外参数校正系统与方法，但是应该理解，这仅是示例性实施例。本申请的系统或方法可以应用于任何其他类型的相机系统。例如，本申请的系统或方法可以应用于地图构建领域，图像采集车辆中搭载的相机也可以应用本申请所述的外参数校正方法。

图1是本申请中所述相机的成像原理示意图。所述相机的成像原理包括小孔成像的原理，真实空间中的实物(图1所示的树木)中的点发射(或反射)的光线经过镜头(小孔)投射到成像平面上，形成一个倒立的缩小的像。理想情况下，镜头的光轴(就是通过镜头中心垂直于成像平面的直线)应该是穿过图像的正中间的，但是，实际情况下由于安装精度，元器件本身的尺寸误差的问题，总是存在误差，这种误差需要用内参数来描述。也就是说，内参数用来表示图中相机坐标系O_c到像平面坐标系O_i的映射关系。所述相机外参数表示所述图中相机坐标系O_c到图中世界坐标系O_w的映射关系。比如，所述外参数可以包括：相机的位置，旋转方向，所述相机相对于地面的高度，所述相机相对于地面的俯仰角等中的至少一个。所述内参数和外参数共同表示真实空间中的点到像平面上对应点的映射关系。在给定内参数和外参数的情况下，也可以根据像平面上的点确定出该点在真实空间中的位置。

由于在一些工况下，所述相机的位姿可能会发生变化，则所述相机坐标系O_c的也会随着发生变化，所述相机坐标系O_c与所述世界坐标系O_w之间的映射关系，也就是所述外参数也会随之发生变化。如果不对此时的外参数进行校正，根据此时的外参数将像平面上的点反推出的真实空间中的点的位置可能会产生误差。因此，需要对相机位姿改变后的外参数进行校正。

图2是本申请中的相机外参数校正方法的一个实施例的场景示意图。如图1所示，车辆130可以在道路120上的车道线121内行驶。所述车辆130上可以搭载车载电子设备150以及相机140。所述车辆130可以是自动驾驶车辆，所述相机140可以作为视觉传感器采集周围图像并传输给所述车载电子设备150进行处理。所述车辆130也可以是搭载相机的一些功能性车辆，比如用来拍照并构建地图的车辆。

所述车辆130为自动驾驶车辆时，所述相机140拍摄的图像可以由所述车载电子设备150处理后作为所述自动驾驶车辆进行行驶策略决策的依据。比如所述自动驾驶车辆在进行SLAM(即时定位于地图构建)时，所述车载电子设备150根据所述相机140拍摄到的图像构建周围环境的视觉定位地图，并基于所述视觉定位地图生成控制车辆行进的指令。在所述车辆130的行驶过程中，由于车辆颠簸造成的所述相机140的位姿变化可能会改变所述相机140的外参数，如果不能及时调整所述相机140的外参数，则可能对自动驾驶车辆的行驶安全造成影响。在一些实施例中，所述相机140的外参数可以包括所述相机140相对于地面的高度、所述相机140相对于地面的俯仰角等参数中的至少一种。

在一些实施例中，所述车载电子设备150可以根据所述相机140拍摄到的图像中的一些具有特定位置关系的标识物对所述外参数进行校正。比如，图1中所示的车道线可以认为始终是保持平行的。如果所述车载电子设备150基于所述相机140当前的内参数和外参数，将图像中的车道线转化为可以反映车道线平行关系的转换图像后，转换图像中的车道线不是平行的，则可以识别当前的外参数为不准确地，并进行校正。由于车辆130在行驶过程中的颠簸，所述车载电子设备150可能需要不断地对所述相机140的外参数进行校正，所述校正的频率可以是20Hz、30Hz、50Hz等。由于车辆130通常在车道线内行驶，所以具有平行关系的车道线可以作为稳定的标识物用于对所述外参数进行校正。但应当认识到，用车道线对相机外参数进行校正只是本申请中的一个具体实施例，任何具有相对固定的位置关系的至少两个物体都可以作为所述标识物。比如，有轨电车、火车、地铁的轨道线，车道线与和其相交的停车线，树立的电线杆等。

图2中，所述相机140的视野范围141可以朝向任何方向，比如朝向车辆的侧面，此时所述相机140也可以拍摄其他车道的车道线，所述车载电子设备150也可以根据所述其他车道的车道线对所述相机140的外参数进行校正。

图3是根据本申请的一些实施例的具有自主驾驶能力的示例性车辆的框图。所述车辆300可以是图2所示的车辆130。例如，具有自动驾驶能力的车辆300可包括控制模块、多个传感器、存储器、指令模块、和控制器区域网络(CAN)以及执行机构。

所述执行机构可以包括，但不限于，油门、引擎、制动系统和转向系统(包括轮胎的转向和/或转向灯的操作)的驱动执行。

所述多个传感器可以包括向车辆300提供数据的各种内部和外部传感器。比如图3中所示，所述多个传感器可以包括车辆部件传感器和环境传感器。车辆部件传感器连接着车辆300的执行机构，可以检测到所述执行机构各个部件的运行状态和参数。

所述环境传感器允许车辆理解并潜在地响应其环境，以便帮助自动驾驶车辆300进行导航、路径规划以及保障乘客以及周围环境中的人或财产的安全。所述环境传感器还可用于识别，跟踪和预测物体的运动，例如行人和其他车辆。所述环境传感器可以包括位置传感器和外部对象传感器。

所述位置传感器可以包括GPS接收器、加速度计和/或陀螺仪，接收器。所述位置传感器可以感知和/或确定自动驾驶车辆300多地理位置和方位。例如，确定车辆的纬度，经度和高度。

所述外部对象传感器可以检测车辆外部的物体，例如其他车辆，道路中的障碍物，交通信号，标志，树木等。外部对象传感器可以包括激光传感器、雷达、照相机、声纳和/或其他检测装置。

激光传感器可以通过在其轴上旋转并改变其间距来测量车辆和面向车辆的物体表面之间的距离。激光传感器还可用于识别表面纹理或反射率的变化。因此，激光传感器可以被配置为通过区分由涂漆的车道线相对于未涂漆的暗路面反射的光量来检测车道线。

雷达传感器可以位于汽车的前部和后部以及前保险杠的任一侧。除了使用雷达来确定外部物体的相对位置之外，其他类型的雷达也可以用于其他目的，例如传统的速度检测器。短波雷达可用于确定道路上的积雪深度并确定路面的位置和状况。

相机可以捕获车辆300周围的视觉图像并从中提取内容。例如，相机可以拍摄道路两边的路牌标识，并通过控制模块识别这些标识的意义。比如利用相机来判断道路的速限。车辆300还可以通过多个相机拍摄的不同图像的视差计算周围物体离车辆300的距离。

声纳可以探测车辆300同周围障碍物到距离。例如，所述声纳可以是超声波测距仪。所述超声波测距仪安装在车辆的两侧和后面，在泊车的时候开启来探测泊车位周围的障碍物以及车辆300同所述障碍物的距离。

所述控制模块接收所述多个传感器感知的信息后，可以处理与车辆驾驶(例如，自动驾驶)有关的信息和/或数据，以执行本公开中描述的一个或多个功能。在一些实施例中，控制模块可以配置成自主地驱动车辆。例如，控制模块可以输出多个控制信号。多个控制信号可以被配置为由一个或者多个电子控制模块(electronic control units，ECU)接收，以控制车辆的驱动。在一些实施例中，控制模块可基于车辆的环境信息确定参考路径和一个或多个候选路径。

在一些实施例中，控制模块可以包括一个或多个中央处理器(例如，单核处理器或多核处理器)。仅作为示例，控制模块可以包括中央处理单元(central processing unit，CPU)，专用集成电路(application-specific integrated circuit，ASIC)，专用指令集处理器(application-specific instruction-set processor，ASIP)，图形处理单元(graphics processing unit，GPU)，物理处理单元(physics processing unit，PPU)，数字信号处理器(digital signal processor，DSP)，场可编程门阵列(field programmablegate array，FPGA)，可编程逻辑器件(programmable logic device，PLD)，控制器，微控制器单元，精简指令集计算机(reduced instruction-set computer，RISC)，微处理器(microprocessor)等，或其任何组合。

存储器可以存储数据和/或指令。在一些实施例中，存储器可以存储从自动驾驶车辆传感器获得的数据。在一些实施例中，存储器可以存储控制模块可以执行或使用的数据和/或指令，以执行本公开中描述的示例性方法。在一些实施例中，存储器可以包括大容量存储器，可移动存储器，易失性读写存储器(volatile read-and-write memory)，只读存储器(ROM)等，或其任何组合。作为示例，比如大容量存储器可以包括磁盘，光盘，固态驱动器等；比如可移动存储器可以包括闪存驱动器，软盘，光盘，存储卡，拉链盘，磁带；比如易失性读写存储器可以包括随机存取存储器(RAM)；比如RAM可以包括动态RAM(DRAM)，双倍数据速率同步动态RAM(DDR SDRAM)，静态RAM(SRAM)，可控硅RAM(T-RAM)和零电容器RAM(Z-RAM)；比如ROM可以包括掩模ROM(MROM)，可编程ROM(PROM)，可擦除可编程ROM(EPROM)，电可擦除可编程ROM(EEPROM)，光盘ROM(CD-ROM)，以及数字通用磁盘ROM等。在一些实施例中，存储可以在云平台上实现。仅作为示例，云平台可以包括私有云，公共云，混合云，社区云，分布式云，云间云，多云等，或其任何组合。

在一些实施例中，存储器可以为本地存储器，即存储器可以是自动驾驶车辆300的一部分。在一些实施例中，存储器也可以是远程存储器。所述中央处理器可以通过网络200连接所述远程存储器以与自动驾驶车辆300的一个或多个组件(例如，控制模块，传感器模块)通信。自动驾驶车辆200中的一个或多个组件可以经由网络200访问远程存储在远程存储器中的数据或指令。在一些实施例中，存储器可以直接连接到自动驾驶车辆300中的一个或多个组件或与其通信(例如，控制模块，传感器)。

指令模块接收控制模块传来的信息，并将之转换成驱动执行机构的指令传给控制器区域网络(Controller Area Network)CAN总线。比如，控制模块向指令模块发送自动驾驶车辆200的行驶策略(加速、减速、转弯等等)，指令模块接收所述行驶策略，并将之转换成对执行机构的驱动指令(对油门、制动机构、转向机构的驱动指令)。同时，指令模块再将所述指令通过CAN总线下发到所述执行机构去。执行机构对所述指令的执行情况再由车辆部件传感器检测并反馈到控制模块，从而完成对自动驾驶车辆300到闭环控制和驱动。

联系图1-3，图4是信息处理单元400的示例性硬件和软件组件的示意图。所述信息处理单元400上可以承载实施所述相机外参数校正方法。例如，如图2中所述的车载电子设备150可以包括至少一个所述信息处理单元400，所述信息处理单元400可以进行接收所述相机140拍摄的图像并对其外参数进行校正。

所述信息处理单元400可以是专门设计用于校正所述相机140的外参数的专用计算机设备。

例如，所述信息处理单元400可以包括连接到与其连接的网络的COM端口450，以便于数据通信。所述信息处理单元400还可以包括处理器420，处理器420以一个或多个处理器的形式，用于执行计算机指令。计算机指令可以包括例如执行本文描述的特定功能的例程，程序，对象，组件，数据结构，过程，模块和功能。

在一些实施例中，所述处理器420可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令-集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。

所述信息处理单元400可以包括内部通信总线410，程序存储和不同形式的数据存储设备(例如，磁盘470，只读存储器(ROM)430，或随机存取存储器(RAM)440)用于由计算机处理和/或发送的各种数据文件。所述相机140拍摄的图像可以存储在所述存储器设备中。所述信息处理单元400还可以包括存储在ROM 430，RAM 440和/或将由处理器420执行的其他类型的非暂时性存储介质中的程序指令。本申请的方法和/或过程可以作为程序指令实现。所述信息处理单元400还包括I/O组件460，支持计算机和其他组件(例如，用户界面元件)之间的输入/输出。所述信息处理单元400还可以通过网络通信接收编程和数据。

仅仅为了说明问题，在本申请中所述信息处理单元400中仅描述了一个处理器。然而，应当注意，本申请中的所述信息处理单元400还可以包括多个处理器，因此，本申请中披露的操作和/或方法步骤可以如本申请所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本申请中信息处理单元400的处理器420执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由信息处理中的两个不同处理器联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

图5是本申请中的一种相机外参数校正方法的示例性流程图。该方法主要包括电子设备根据所述相机拍摄的图像中的标识物的位置状态与该标识物的预设位置状态进行比对，根据比对结果调整所述相机的外参数。所述相机可以包括自动驾驶车辆上的相机，所述电子设备可以是车载电子设备，比如车载电子设备150。由于行驶过程中，所述相机的位姿可能由于车辆颠簸实时变化，所以所述车载电子设备150可以实时对所述相机的外参数进行校正，比如每隔大约0.05秒进行一次所述校正。以下描述中可能以车辆(或自动驾驶车辆)搭载的相机为例，举例说明所述的相机外参数校正方法，应当认识到本申请所述的系统或方法也可以应用到其他类似的相机外参数校正中。

在510中，电子设备可以获取所述相机拍摄的图像，所述图像中包括至少两个标识物。在图1所示的场景中，处于工作状态的所述相机140可能实时拍摄周围环境的图像并传输给所述车载电子设备150。所述相机140的拍摄的图像可以包括其视野141范围内的景物。所述图像可以存储在存储设备中，所述车载电子设备150可以从所述存储设备中调取所述图像。比如，所述相机140的拍摄帧率为24FPS，每秒有24个图像存入所述存储设备。如果所述车载电子设备150对所述相机140的外参数校正的频率为12Hz，则所述车载电子设备150可以每1/12秒从所述存储设备中获取最晚拍摄的图像。

所述至少两个标识物可以包括任何已知位置关系的至少两个标识物。比如，所述至少两个标识物分别为行车道路上的车道线、火车铁轨、车辆上方的电线等等平行线，或者任何已知未知关系的标识物。所述已知位置关系可以作为预设值存储在所述车载电子设备150中。所述已知位置关系可以是基于所述至少两个标识物自身性质确定的。比如马路上的车道线可以认为是已知的平行关系，车道线与停车线可以认为是垂直的相交关系。在一些实施例中，所述已知位置关系也可以是基于第三方数据确定的。比如，所述平行车道线之间的距离可以从第三方地图中获取。所述车载电子设备150可以实时获取车辆130的地理位置，并根据所述地理位置从所述第三方地图中获取所述平行车道线之间的距离。

所述至少两个标识物也可以是一个物体的至少两个部分。比如对于单条车道线来说，其两个边界线也可以成稳定的平行关系。同时，如果车道线的宽度为已知数，则可以一并作为所述预设值存储在所述车载电子设备150中。

由于所述车载电子设备150需要实时地对所述相机140的外参数进行校正，所以车道线作为相对稳定且容易拍摄到标识物对于车辆上相机的外参数校正具有较好的效果。但应当认识到，本申请以车道线作为举例并不构成对保护范围的限制，在其他领域，具有相对稳定位置关系的标识物都可以应用在本申请所述的相机外参数校正中。

在520中，所述电子设备可以根据所述图像生成转化图像。在一些实施例中，所述转换图像可以是所述图像的俯视图像。在一些实施例中，车载电子设备150可以根据所述相机的内参数和当前外参数生成转换图像。在车载电子设备150内外参数已知且准确的情况下，所述两个标识物在所述转换图像中的位置关系可以反映其在真实空间中的位置关系。比如，所述转换图像可以为所述至少两个标识物的俯视图，则在该俯视图中所述至少两个标识物之间的关系便反映其真实的空间关系。也就是说，如果内所述车载电子设备150的外参数是准确的，对于平行的两条车道线来说，所述转换图像中的两条车道线也是平行的。如果两条车道线不平行，而所述车载电子设备150的内参准确，则说明所述车载电子设备150的外参数一定是有误差的。

基于相机的平面成像原理，所述车载电子设备150拍摄到的图像中较远的物体比较近的物体小，以此来在二维空间中反映三维空间中物体的远近大小关系。所以在图1所示的实施例中，所述相机140拍摄到的车道线也应当是自下而上由宽变窄的车道线。此时图像中的车道线是无法用来判断是否平行的。因此，需要对所述相机140拍摄到的图像进行变换，使得图像中的至少两个标识物在经过变换后可以反映其在真实空间中的位置关系。比如两条车道线在所述转换图像中可以反映其平行关系以及之间的距离。根据图1所示的相机成像原理，所述车载电子设备150可以基于所述图像以及图像坐标系到相机坐标系的映射关系-内参数，以及相机坐标系到世界坐标系的映射关系-外参数，将所述图像中的景物(如车道线)映射到世界坐标系中，进而获取可以反映所述至少两个标识物真实位置关系的所述转换图像。在一些实施例中，所述车载电子设备150可以对所述图像进行逆透视(IPM)变换以获取所述转换图像。关于IPM变换的详细内容请见图9及其相关描述。

在530中，所述电子设备可以决定所述至少两个标识物在所述转换图像中的位置关系与预设位置关系的位置差异。根据510中的描述，所述预设位置关系可以是提前预设的(如车道线的平行关系)，也可以是实时获取的(如实时从云端或本地存储设备中获取当前位置车道线的宽度数据)。比如，车载电子设备150可以根据所述位置差异判断当前外参数是否是真实值，如果所述当前外参数是真实值，则输出当前外参数为所述相机的外参数，如果所述当前外参数不是真实值，则对其进行所述当前外参数进行校正。在一些实施例中，所述车载电子设备150也可以判断所述相机140的位姿与当前外参数是否匹配，如果不匹配则表示所述相机140的位姿发生了变化，需要对其外参数进行校正。

图6所示为两条车道线在转换图像中的位置关系及其预设位置关系的示意图。图A0～A1中，图A0表示两条车道线的预设位置关系为平行关系。图A1为某一状态下的转换图像，其中两条车道线并不是平行关系，表示与预设位置关系存在位置差异，且这种位置差异表示当前相机140的外参数对应的相机俯仰角大于相机140的真实俯仰角。同理，图A2表示当前相机140的外参数对应相机俯仰角小于相机140的真实俯仰角。相应的，所述车载电子设备150后续可以通过调整外参数中对应俯仰角的部分来使得所述位置差异逐渐减小。

在一些实施例中，所述位置差异可以用所述两条车道线在所述转换图像中的斜率差来衡量。比如左右两条车道线分别可以用F1和F2表示。所述车载电子设备150可以分别对车道线方程F1和F2求导，并计算自变量值为1下的导数，分别记为g₁和g₂。若|g₁-g₂|<＝0.01,则认为转换图像中的车道线平行，所述位置差异在阈值(0.01)范围内，所述相机140的外参数不需要校正。若|g₁-g₂|>0.01且g₁<g₂，则可以认为所述相机140的当前外参数对应的相机俯仰角大于真实俯仰角(图A0)。若|g₁-g₂|>0.01且g₁>g₂,则可以认为所述相机140的当前外参数对应的相机俯仰角小于真实俯仰角(图A1)。

图B0～B1中，图B0表示两条车道线的预设位置关系为预设距离w。图B1为某一状态下的转换图像，其中两条车道线的距离大于预设距离w，表示相机140的当前外参数对应的相机高度大于相机140的真实高度。同理，图B2表示相机140的当前外参数对应的相机高度小于相机140的真实高度。相应的，所述车载电子设备150后续可以通过调整外参数中对应相机高度的部分来使得这种位置差异逐渐减小。

在一些实施例中，所述宽度差异可以用所述两条车道线在所述转换图像中的截距差与预设距离w的差值来衡量。比如左右两条车道线分别使用F₁和F₂表示，车道线方程F₁和F₂的截距分别为I₁，I₂。若|I₁-I₂-w|<＝0.02,则可以认为转换图像中的车道线宽度和预设距离相同，即相机140的当前外参数对应的高度为所述相机140的真实高度。若|I₁-I₂|>w，则可以认为转换图像中车道线宽度大于预设距离，即相机140的当前外参数对应的高度大于所述相机140的真实高度(B1)。若|I₁-I₂|<w，则可以认为转换图像中车道线宽度小于预设距离，即相机140的当前外参数对应的高度小于所述相机140的真实高度(B2)。

图C0～C1中，图C0表示车道线与停车线的预设位置关系为垂直相交。图C1为某一状态下的转换图像，其中车道线与停车线的位置关系并不是垂直相交，表示与预设位置关系存在位置差异，且这种位置差异表示当前相机140的外参数对应的相机俯仰角大于相机140的真实俯仰角。同理，图C2表示当前相机140的外参数对应相机俯仰角小于相机140的真实俯仰角。相应的，所述车载电子设备150后续可以通过调整外参数中对应俯仰角的部分来使得所述位置差异逐渐减小。所述垂直相交的位置关系不限于车道线和停车线之间，其他可能有类似关系的物体都可以作为所述标识物。比如道路两旁矩形的指示牌的两个垂直相交的边界线等。

在540中，所述车载电子设备150可以根据所述位置差异调整所述外参数。所述调整的目标可以是尽量地消除所述的位置差异，比如对于图A1，可以通过调整所述外参数的方式，使得外参数对应的俯仰角变小。在用调整后的外参数重新生成所述转换图像后，可以使得转换图像中的两条车道线成图A0中的平行关系。在一些实施例中，所述调整所述外参数的过程可以是使得图A1中对应的俯仰角逐渐逼近图A0对应俯仰角的收敛过程，相关内容请见图10及其相关描述。如果在530中决定的所述位置差异在预设阈值以下，则表示所述相机140的当前外参数与其当前姿态是匹配的，则所述调整所述外参数的步骤可以不执行。

在550中，所述车载电子设备150可以将所述外参数赋值给所述当前外参数。在540中调整过的所述外参数可以认为与所述相机140当前的位姿是匹配的，所述车载电子设备150可以将该调整过的外参数赋值给所述当前外参数用来表示所述相机140当前位姿下，相机坐标系与世界坐标系的映射关系。

图7是本申请中的获取标识物特征点的一个实施例的示例性流程图。该流程主要包括所述车载电子设备150从相机140拍摄的图像中识别代表标识物的标识点，并剔除掉标识点中的部分异常点以获取可以作为该标识物特征的特征点。

在710中，对于所述相机140拍摄的图像中的每个标识物，所述车载电子设备150可以从所述图像中提取多个标识点。所述多个标识点中的每个点沿着所述标识物的特征线分布。所述标识物的特征线可以是指能够表示该标识物延展方向的线。例如车道线的特征线可以是沿着车道线延伸方向的位于车道线中间的线。所述车载电子设备150可以将所述图像输入到一个训练好的车道线识别模型，该车道线识别模型的输出结果可以是所述多个标识点。该车道线识别模型可以提前用大量的包含车道线的图像作为训练样本进行训练。

在720中，所述车载电子设备150可以从所述多个标识点集合中剔除异常点，剩下的标识点构成特征点集合。在710中获取的标识点中，可能有部分标识点与所述特征线偏离较大，这部分特征点可以是所述异常点，需要进行剔除。在一些实施例中，所述筛选特征点的流程可以基于RANSAC算法实现，详见图8及其相关描述。

图8是本申请中的基于RANSAC算法筛选所述特征点的一个实施例的示例性流程图。其中，标识点集用P表示，S表示最小抽样集，n表示集合S的基数，即|S|＝n。ite表示迭代次数、err_thresh表示误差阈值、ratio或R表示一致性集比率、err_sum表示误差和、i表示当前迭代的次数。(默认参数：ite＝100,err_thresh＝10,ratio＝0.95,err_sum＝0x7fffffff,i＝1(i∈[1,ite]且i是整数))。图8中所示为第i次迭代的算法流程。

在810中，所述车载电子设备150可以根据所述默认参数初始化相关参数。初始状态下，标识点集P包括所有标识点。

在820中，所述车载电子设备150可以从标识点集P中随机选取n个点，组成抽样集S。

在830中，所述车载电子设备150可以用曲线拟合算法拟合抽样集S中的点的曲线方程F。所述曲线拟合算法可以包括通用的库，如eigen,ceres,g2o等函数库。

在840中，所述车载电子设备150可以使用曲线方程F计算标识点集合P中所有点的预测值，并计算预测值和真实值的误差和，记为err_sum_i。其中，对于标识点集合P中的每个点，可以将该点的横轴坐标(或纵轴坐标)带入到所述曲线方程F中获取该点的预测值，进而可以计算该预测值与该点的纵轴坐标(或横轴坐标)的差值作为改点的误差。对所述标识点集合P中每个点都执行此求误差的操作并求和即可得到所述误差和。应当理解的是，对于每一次的迭代，都可以获得该迭代次数下的误差和。

在850中，所述车载电子设备150可以计算第i次迭代中的一致集con_set_i，所述一致集表示在该次迭代中可以被认为是特征点的集合。在840中，所述车载电子设备150可以对标识点集合P中的每个点计算该点与所述曲线方程F的误差，如果该误差小于误差阈值，所述车载电子设备150可以将该点分入所述第i次迭代中的一致集con_set_i中。所述车载电子设备150可以进一步计算第i次迭代的一致集比率r＝|con_set_i|/|P|，表示第i次迭代中的一致集中的点的数量与标识点集中点的数量的比值。

在860中，所述车载电子设备150可以判断第i次迭代的误差和err_sum_i与当前误差和err_sum的大小，以及第i次迭代的一致性比率r与一致性比率R的大小，如果第i次迭代的误差和err_sum_i小于当前误差和err_sum且第i次迭代的一致性比率r大于一致性比率R，则执行步骤870，否则执行步骤880。其中，第i次迭代的误差和err_sum_i小于当前误差和err_sum可以视为第i次迭代中拟合的曲线F较为接近车道线的真实延伸轨迹，第i次迭代的一致性比率r大于一致性比率R可以视为第i次迭代筛选出的特征点数量满足数量上的要求。

在870中，所述车载电子设备150可以将第i次迭代的误差和err_sum_i赋值给所述当前误差和err_sum，表示当前的第i次迭代误差和最小，之后的迭代中，只有误差和比本次迭代的误差和更小时，才有可能进一步对当前误差和进行更新，这样可以保证最终的结果中对应的误差和是所有迭代次数中最小的。所述车载电子设备150可以将所述第i次迭代中的一致集con_set_i赋值给当前一致集con_set，所述当前一致集con_set用于保存在当前以及之前的迭代次数中，满足860所述约束时，误差和最小的迭代次数对应的一致集。

在880中，所述车载电子设备150可以判断当前迭代次数是否达到初始化时设定的迭代次数，如果满足条件则执行步骤890，如果不满足条件，则将迭代次数加1后回到820中继续执行。

在890中，所述车载电子设备150可以将所述当前一致集con_set赋值给所述标识点集P。此时点集P即表示所述特征点集，筛选特征点的步骤完成。

图9是本申请中的生成转换图像的一个实施例的示例性流程图。该流程主要包括通过对特征点集合中的每个点进行逆透视变换后用曲线拟合转换后的点以获取所述转换图像。

在910中，所述车载电子设备150可以根据所述相机的内参数以及当前外参数，对所述特征点集合中的每个特征点进行逆透视变换，以获取转换特征点集合。所述转换特征点为所述特征点经过所述逆透视变换(IPM变换)后的点。以下对所述IPM变换的原理作简单介绍：

设相机坐标系下一点P(X,Y,Z)，其在图像坐标系上的投影点是p(u,v)。则根据小孔成像原理可得：

其中表示相机内参数矩阵K。将公式(1)两边同时除以常数Z可得：

其中整理公式(2)可得：

设P点是由世界坐标系点P_w通过相机位姿变换到相机坐标系所得。相机位姿由旋转矩阵R和转移矩阵t表示。则有

其中表示旋转矩阵R，表示转移矩阵t，所述旋转矩阵R和所述转移矩阵t共同表示所述相机的外参数。

IPM算法假设Z_w＝0(表示世界坐标系中的地平面)，整理公式(4)可得：

将公式(5)中可得：

化简公式(6)(7)可得：

将(3)式代入公式(8)(9)可得：

由于公式(10)(11)的右边都是已知量，因此所述车载电子设备150可以根据图像上的一点p的坐标(u,v)，以及相机的内参数以及外参数，计算出该点在世界坐标系中的坐标(X_w，Y_w，0)，从而实现IPM变换。所述车载电子设备可以对特征点集合中的每个点执行所述IPM变换，从而获取在Z_w＝0的平面向的转换特征点集合，相当于从高空的俯视图。

在920中，所述车载电子设备150可以用两条曲线拟合所述转换特征点集合中的转换特征点，以获取所述转换图像。所述曲线拟合算法可以包括通用的库，如eigen,ceres,g2o等函数库。所述标识物为车道线时，所述两条曲线也可以为两条直线，拟合后的直线可以参考图6中的图A1、A2、B1、B2、C1和C2。此时拟合后的直线可以与预设的位置关系A0、B0和C0进行比较。

图10是本申请中的根据所述位置差异调整所述外参数的一个实施例的示例性流程图。该流程主要包括逐步调整外参数，使得转换图像中的标识物位置关系逐渐向预设的位置关系靠拢的收敛过程。

在1010中，所述车载电子设备150可以调整所述相机140外参数中的至少一部分。在一些实施例中，所述外参数中的一部分可以对应所述相机140的某一种位姿类型，如俯仰角和相机高度。所述俯仰角α可以用欧拉角表示，所述旋转矩阵R中表示绕X轴旋转的部分即对应所述俯仰角，调整俯仰角的大小也就可以调整所述转移矩阵R中对应俯仰角的部分。所述相机高度可以用所述转移矩阵t中的t_z表示，t_z越大则表示相机高度越高。所述对相机外参数的校正可以包括对相机俯仰角和/或相机高度的校正。对相机俯仰角进行校正时，所述车载电子设备150可以仅调整所述相机外参数中对应俯仰角的部分；对所述相机高度进行校正时，所述车载电子设备150可以仅调整所述相机外参数中的t_z。所述欧拉角与旋转矩阵R的转换关系如下：

设绕X、Y、Z轴的旋转角分别为α，β，γ。α为俯仰角。则欧拉角与旋转矩阵R的转化关系如下：

R＝R_x(α)*R_y(β)*R_z(γ) (15)

其中R_x(α)、R_y(β)、R_z(γ)分别表示绕X、Y、Z轴的旋转矩阵，R表示绕X、Y、Z三个轴的旋转矩阵。公式12～15共同建立俯仰角与旋转矩阵R的对应关系。

所述调整所述外参数的至少一部分可以是以所述调整后位置差异最小为收敛方向进行所述调整。比如在图6中，图A1的俯仰角为大于真实俯仰角，则调整的目标是使得外参数对应的俯仰角变小，换言之，可以调小俯仰角并根据公式12～15获取调整后的旋转矩阵。但是所述调整可以是逐渐逼近真实值的过程，具体流程可以参考图11以及图12中描述的单向搜索算法以及二分搜索算法。图10所述的流程可以通过图11和图12所述的具体算法实施例共同实现。

在1020中，所述车载电子设备150可以根据调整后的外参数生成调整后转换图像并决定调整后位置差异。对于步骤1010中每次的外参数调整，所述车载电子设备150可以重新执行一次图9中所述的逆透视变换及曲线拟合，以方便和预设的位置关系做对比，从而判断出本次外参数调整的效果。

在1030中，所述车载电子设备150可以对调整后位置差异进行判断，如果满足要求则可以停止校正，如果不满足则需要返回1010中做进一步调整。所述调整后位置差异是否满足要求的判断标准可以参考图6中描述的判断标准。

图11是本申请中的相机外参数单向搜索的一个实施例的示例性流程图。该流程主要包括将相机的外参数逐步向真实值的方向调整，确定相机外参数的两个边界值。进而可以通过其他算法在所述两个边界值构成的区间中确定相对接近真实值的外参数。所述相机外参数的边界值可以是所述相机外参数中的一部分的边界值，比如俯仰角和相机高度。

在1101和1102中，所述车载电子设备150可以根据所述特征点集、相机140的内参数和外参数进行IPM变换以获取转换图像。

在1103中，所述车载电子设备150可以基于1102中获得的转换图像判断所述外参数(或称为外参)是否为真实值。所述判断可以参考图6中的描述。如果所述外参数为真实值，则直接跳转到1117将所述外参数作为相机140的当前外参数输出。如果所述外参数不是真实值则跳转到1104进行进一步判断。

在1104中，所述车载电子设备150可以基于所述转换图像中的标识物的位置关系与预设位置关系的位置差异判断所述外参大于真实值或小于真实值。应当理解的是，这里的外参大于或小于真实值可以是指所述外参数中的某一部分大于或小于真实值。比如，俯仰角可以大于或小于真实值，相机高度可以大于或小于真实值。判断的标准可以参考图6中的描述，比如图A1所示的相机俯仰角大于图A0表示的真实值，图A2所示的相机俯仰角小于图A0表示的真实值。当所述外参大于真实值时，所述流程跳转到步骤1105，否则跳转到1111。

步骤1105～1110和步骤1111～1116为镜像流程，以下对步骤1105～1110进行说明，步骤1111～1116同理。

在1105中，所述车载电子设备150可以定义所述外参数为右边界R。以相机俯仰角为例，1101中输入的相机俯仰角可以为6°，则此时的右边界R可以为6°。

在1106中，所述车载电子设备150可以减小所述相机外参数。在一些实施例中，所述减小的幅度可以为固定值。比如当减小幅度为2°时，减小后的俯仰角变为4°。

在1107中，所述车载电子设备150可以基于减小后的相机外参数再次进行IPM变换。例如，所述车载电子设备150可以基于俯仰角调整为4°后的外参数执行所述IPM变换，以获取调整后的转换图像。

在1108中，所述车载电子设备150可以对调整后的转换图像中的标识物的位置关系与预设值进一步比较，判断调整后的外参数是否为真实值。具体的判断方法可以与1103相同。如果调整后的外参数为真实值，则跳转到1117中将所述调整后的外参数作为所述相机140的当前外参数输出，否者跳转到步骤1109做进一步判断。例如，真实俯仰角为3°时，调整后的俯仰角为4°，需要跳转到步骤1109。

在1109中，所述车载电子设备150可以进一步判断所述调整后的外参数是否大于真实值。判断的方法可以与1104中相同。如果所述调整后外参数大于真实值，则表示步骤1106中减小的幅度不足，需要跳转到步骤1106进一步减小所述外参数。例如，调整后的俯仰角为4°，仍然大于真实俯仰角3°，则需要跳转到步骤1106中再次减小为2°。如果所述调整后外参数小于真实值，则表示对外参数的减小已经超过真实值(例如再次减小后变为2°的俯仰角小于真实俯仰角3°)，需要及时停止，所述流程跳转到步骤1110。

在1110中，所述车载电子设备150可以定义调整后的外参数为左边界值L，例如，经过两次减小后的俯仰角2°可以为所述左边界值。此时，左边界值L和有边界值R构成区间[L,R](例如[2°，6°])。所述外参数的真实值位于所述区间[L,R]中。

在1117中，所述车载电子设备150可以获取所述边界值L和右边界值R构成的区间[L,R]或在之前步骤中确定的当前外参数。

图12是本申请中的相机外参数二分搜索的一个实施例的示例性流程图。该流程所示的算法主要包括通过不断将区间中值替换区间边界值的方法，不断缩小区间范围，最终在较小的区间范围下确定准确值。

在1210中，所述车载电子设备150可以获取所述特征点集、所述相机140的内参数和外参数以及图11所述流程中确定的区间[L,R](如[2°,6°])。

在1220中，所述车载电子设备150可以获取所述区间[L,R]的中间值作为调整后外参数(如4°)。

在1230中，所述车载电子设备150可以基于所述调整后外参数重新执行所述逆透视变换以获取调整后转换图像，例如，基于俯仰角为4°的外参数进行逆透视变换。

在1240中，所述车载电子设备150可以判断所述调整后外参数是否为真实值，判断的方法可以与步骤1103相同。当所述调整后外参数为真实值时，所述流程跳转到步骤1280，否则跳转到1250做进一步判断。

在1250中，所述车载电子设备150可以进一步判断所述外参数的真实值是否小于所述调整后外参数，判断的方法可以与步骤1104中相同。如果所述外参数的真实值小于所述调整后的外参数，则该流程跳转到步骤1270，将所述调整后外参数作为所述区间的右边界R，再返回到步骤1220。否则，该流程跳转到步骤1260，将所述调整后外参数作为所述区间的左边界，再返回到步骤1220。比如，之前取中值获取的相机俯仰角为4°，而相机俯仰角的真实值为3°，则该流程跳转到步骤1270，所述区间的右边界变为4°，所述区间变为[2°，4°]。

在1280中，所述车载电子设备可以获取最后一次对所述区间取中值后的调整后外参数，作为所述相机140的当前外参数。

图13是本申请中的一种相机外参数校正装置1300的示意图。所述相机外参数校正装置1300可以包括图像获取单元1310、图像转换单元1320、位置差异决定单元1330、外参数调整单元1340和赋值单元1350。

所述图像获取单元1310可以用于获取所述相机拍摄的图像。所述图像中包括至少两个标识物。

所述图像转换单元1320可以用于根据所述图像以及所述相机的内参数和当前外参数生成转换图像。所述两个标识物在所述转换图像中的位置关系可以反映其在真实空间中的位置关系。

所述位置差异决定单元1330可以用于决定所述至少两个标识物在所述转换图像中的位置关系与预设位置关系的位置差异。

所述外参数调整单元1340可以用于根据所述位置差异调整所述外参数。

所述赋值单元1350可以用于将所述外参数赋值给所述当前外参数。

本申请还提出了一种车载电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时可以实现如前文所述的相机外参数校正方法的步骤。

本申请还提出了一种计算机可读存储介质，其上存储有计算机程序。所述计算机程序被处理器执行时可以实现如前文所述的相机外参数校正的步骤。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本申请意图囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本申请提出，并且在本申请的示例性实施例的精神和范围内。

此外，本申请中的某些术语已被用于描述本申请的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本申请的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本申请的一个或多个实施例中适当地组合。

应当理解，在本申请的实施例的前述描述中，为了帮助理解一个特征，出于简化本申请的目的，本申请有时将各种特征组合在单个实施例、附图或其描述中。或者，本申请又是将各种特征分散在多个本发明的实施例中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本申请的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说，本申请中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

在一些实施方案中，表达用于描述和要求保护本申请的某些实施方案的数量或性质的数字应理解为在某些情况下通过术语“约”，“近似”或“基本上”修饰。例如，除非另有说明，否则“约”，“近似”或“基本上”可表示其描述的值的±20％变化。因此，在一些实施方案中，书面描述和所附权利要求书中列出的数值参数是近似值，其可以根据特定实施方案试图获得的所需性质而变化。在一些实施方案中，数值参数应根据报告的有效数字的数量并通过应用普通的舍入技术来解释。尽管阐述本申请的一些实施方案列出了广泛范围的数值范围和参数是近似值，但具体实施例中都列出了尽可能精确的数值。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本申请的实施方案的原理的说明。其他修改后的实施例也在本申请的范围内。因此，本申请披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本申请中的实施例采取替代配置来实现本申请中的发明。因此，本申请的实施例不限于申请中被精确地描述过的哪些实施例。

Claims

1.一种相机的外参数校正方法，其特征在于，包括：

获取所述相机拍摄的图像，所述图像中包括至少两个标识物，所述至少两个标识物的真实位置关系为已知；

将所述图像转化为俯视图像；

决定所述至少两个标识物在所述俯视图像中的位置关系与真实位置关系的位置差异；以及

根据所述位置差异调整所述外参数。

2.根据权利要求1所述的方法，其特征在于，所述至少两个标识物在真实空间中分别沿着至少两条平行线延展，所述至少两条平行线分别为所述至少两个标识物的特征线。

3.根据权利要求2所述的方法，其特征在于，所述至少两个标识物包括两条平行的车道线。

4.根据权利要求2所述的方法，其特征在于，进一步包括，对每个标识物：

从所述图像中提取多个标识点，所述多个标识点沿着所述标识物的特征线分布；以及

从所述多个标识点集合中剔除异常点，剩下的标识点构成特征点集合。

5.根据权利要求1所述的方法，其特征在于，所述将所述图像转化为俯视图像包括：

根据所述相机的内参数以及当前外参数，对所述特征点集合中的每个特征点进行逆透视变换，以获取转换特征点集合；以及

用两条曲线拟合所述转换特征点集合中的转换特征点，以获取所述转换图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述位置差异调整所述外参数包括：

根据所述位置差异判断所述外参数是否正确；

如果所述外参数正确，输出所述外参数；以及

如果所述外参数不正确，逐次调整所述外参数的至少一部分，并根据每次调整后的外参数生成调整后转换图像并决定调整后位置差异，

其中，所述电子设备以所述调整后位置差异最小为收敛方向进行每次的所述外参数的调整。

7.根据权利要求6所述的方法，其特征在于，所述外参数的至少一部分包括相机俯仰角和相机高度中的至少一个。

8.根据权利要求6所述的方法，其特征在于，所述根据位置差异调整所述外参数至少包括以下任意一种：

通过单向搜索法确定所述外参数的至少一部分精确值；

通过二分搜索法确定所述外参数的至少一部分精确值；以及

通过单向搜索法确定所述外参数的至少一部分的边界值，通过二分搜索法确定所述外参数的至少一部分的精确值。

9.根据权利要求8所述的方法，其特征在于，所述通过单向搜索法确定所述外参数的至少一部分的边界值包括：

根据所述位置差异确定所述当前外参数为所述边界值中的其中一个边界值；

以所述其中的一个边界值为起点逐次调整所述当前外参数的至少一部分，并根据每次调整后的外参数生成调整后转换图像并决定调整后位置差异，直到所述调整后位置差异满足预设条件；以及

将此时的当前外参数确定为所述边界值中的另一个边界值。

10.根据权利要求9所述的方法，其特征在于，所述通过二分搜索法确定所述外参数的至少一部分的精确值包括：

步骤1：将所述左右边界值的中间值作为所述当前外参数，并生成对应的调整后转换图像，以及决定调整后位置差异；

步骤2：根据所述调整后位置差异将所述中间值更新为所述左右边界值中的其中一个边界值，从而确定更新后的左右边界值；以及

重复执行步骤1和步骤2，直到所述调整后位置差异满足预设条件。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的相机的外参数校正方法的步骤。