CN112399172B - 校准多个摄像机的方法及装置 - Google Patents

Abstract

在本发明中，为了校准多个摄像机，获取拍摄车辆的周围的多个图像；在多个图像中分别设置感兴趣区域以包括多边形图案；检测第一感兴趣区域的第一图案及第二感兴趣区域的第二图案；匹配第一图案的角点及第二图案的角点；计算第一角点的第一鸟瞰坐标及第二角点的第二鸟瞰坐标；基于第一鸟瞰坐标及第二鸟瞰坐标来计算参考鸟瞰坐标；基于参考鸟瞰坐标来校准多个摄像机。

Description

校准多个摄像机的方法及装置

技术领域

以下实施例涉及一种用于校准车辆的摄像机的技术，尤其，涉及一种使用多边形图案来校准摄像机的技术。

背景技术

随着图像拍摄及处理技术的发展，最近生产的车辆配备有摄像机，并向用户或车辆提供助于车辆行驶的俯视(top view)系统。俯视系统可以通过使用由多个摄像机拍摄的图像来生成俯视图像或鸟瞰(bird eye view)图像。鸟瞰图像可以为驾驶员提供如从上方观看车辆的俯视图，有助于完全消除车辆的前方、后方、左侧及右侧的盲点。

发明内容

要解决的技术问题

根据一实施例，可以提供一种校准多个摄像机的方法及装置。

根据另一实施例，可以提供一种使用多边形图案来校准多个摄像机的方法及装置。

解决问题的技术方法

根据一侧面的由安装在车辆的处理器执行的摄像机校准方法包括以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像，所述图像分别包括对应于至少一个多边形图案的图案；在所述多个图像中分别设置感兴趣区域(ROI，Region ofInterest)以包括所述多边形图案，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；检测包括在所述第一感兴趣区域的第一多边形图案及包括在所述第二感兴趣区域的第二多边形图案；匹配所述第一多边形图案的第一角点(corner point)及所述第二多边形图案的第二角点；计算所述第一角点的第一鸟瞰坐标及所述第二角点的第二鸟瞰坐标；基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考(reference)鸟瞰坐标；以及通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标。

所述多个摄像机可以包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。

所述摄像机的外部参数可以包括所述摄像机的旋转信息及位置信息。

在所述多个图像中分别设置感兴趣区域(ROI)以包括所述多边形图案步骤可以包括以下步骤：当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。

所述摄像机校准方法还包括以下步骤：通过剪切(crop)所述设置的感兴趣区域来生成部分图像；检测所述第一多边形图案及所述第二多边形图案步骤可以包括以下步骤：基于所述生成的部分图像来检测所述第一多边形图案及所述第二多边形图案。

所述参考鸟瞰坐标可以是所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标。

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤可以包括以下步骤：计算所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标；基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案中的至少一个长度来确定缩放比；以及基于所述确定的缩放比及所述中心坐标计算所述参考鸟瞰坐标。

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤可以包括以下步骤：基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案来计算第一中心线；确定旋转角度，使得所述第一中心线成为生成的鸟瞰图像的垂直线；以及基于所述旋转角度来旋转所述鸟瞰图像，所述参考鸟瞰坐标可以是所述旋转的鸟瞰图像中的坐标。

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标步骤可以包括以下步骤：计算所述第一鸟瞰坐标与所述参考鸟瞰坐标之间的距离；以及当所述计算的距离小于预设阈值时，终止所述多个摄像机的校准。

根据另一侧面的安装在用于校准多个摄像机的车辆的电子装置包括：记录校准多个摄像机的程序的存储器；以及用于执行所述程序的处理器；所述程序执行以下步骤：获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像，所述图像分别包括对应于至少一个多边形图案的图案；在所述多个图像中分别设置感兴趣区域(ROI，Region ofInterest)以包括所述多边形图案，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；检测包括在所述第一感兴趣区域的第一多边形图案及包括在所述第二感兴趣区域的第二多边形图案；匹配所述第一多边形图案的第一角点(corner point)及所述第二多边形图案的第二角点；计算所述第一角点的第一鸟瞰坐标及所述第二角点的第二鸟瞰坐标；基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考(reference)鸟瞰坐标；以及通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标。

所述多个摄像机可以包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。

所述摄像机的外部参数可以包括所述摄像机的旋转信息及位置信息。

在所述多个图像中分别设置感兴趣区域(ROI)以包括所述多边形图案步骤可以包括以下步骤：当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。

所述程序还执行以下步骤：通过剪切(crop)所述设置的感兴趣区域来生成部分图像；检测所述第一多边形图案及所述第二多边形图案步骤可以包括以下步骤：基于所述生成的部分图像来检测所述第一多边形图案及所述第二多边形图案。

所述参考鸟瞰坐标可以是所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标。

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤可以包括以下步骤：计算所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标；基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案中的至少一个长度来确定缩放比；以及基于所述确定的缩放比及所述中心坐标计算所述参考鸟瞰坐标。

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤可以包括以下步骤：基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案来计算第一中心线；确定旋转角度，使得所述第一中心线成为生成的鸟瞰图像的垂直线；以及基于所述旋转角度来旋转所述鸟瞰图像，所述参考鸟瞰坐标可以是所述旋转的鸟瞰图像中的坐标。

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标步骤可以包括以下步骤：计算所述第一鸟瞰坐标与所述参考鸟瞰坐标之间的距离；以及当所述计算的距离小于预设阈值时，终止所述多个摄像机的校准。

发明的效果

可以提供一种校准多个摄像机的方法及装置。

可以提供一种使用多边形图案来校准多个摄像机的方法及装置。

附图说明

图1为显示根据一示例的车辆的鸟瞰图像的附图。

图2及图3为显示根据一示例的摄像机的外部参数的旋转信息及位置信息的附图。

图4为显示根据一实施例的用于校准多个摄像机的电子装置的配置图。

图5为显示根据一实施例的校准多个摄像机的方法的流程图。

图6为显示根据一示例的感兴趣区域(ROI)的附图。

图7为显示根据一示例的提取多边形图案及匹配角点的方法的附图。

图8为显示根据一示例的匹配后的角点的鸟瞰坐标及中心坐标的附图。

图9为显示根据一示例的使用未校准的多个摄像机来生成的鸟瞰图像的附图。

图10为显示根据一示例的基于旋转的鸟瞰图像来计算参考鸟瞰坐标的方法的流程图。

图11为显示根据一示例的未旋转的鸟瞰图像及旋转的鸟瞰图像的附图。

图12为显示根据一示例的旋转鸟瞰图像的方法的附图。

图13为显示根据一示例的基于缩放的鸟瞰图像来计算参考鸟瞰坐标的方法的流程图。

图14为显示根据一示例的未缩放的鸟瞰图像及缩放的鸟瞰图像的附图。

图15为显示根据一示例的基于反复调整后的外部参数来生成的鸟瞰图像的附图。

图16为显示根据一示例的终止多个摄像机的校准的方法的流程图。

主要组件符号说明

400：电子装置

410：通信部

420：处理器

430：存储器

440：摄像机

具体实施方式

以下，将参照附图对实施例进行详细说明。然而，能够对实施例进行多种变更，本发明的权利范围并非受到实施例的限制或限定。对于实施例的全部变形、等同物或替代物均包括在权利范围内。

实施例中使用的术语仅用于说明特定实施例，并非用于限定实施例。在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或以上的其他特征、数字、步骤、操作、构成要素、配件或其组合，或者附加功能。

在没有其他定义的情况下，包括技术或者科学术语在内的在此使用的全部术语，都具有本领域普通技术人员所理解的通常的含义。通常使用的与词典定义相同的术语，应理解为与相关技术的通常的内容相一致的含义，在本申请中没有明确言及的情况下，不能过度理想化或解释为形式上的含义。

并且，在参照附图进行说明的过程中，与附图标记无关，相同的构成要素赋予相同的附图标记，并省略对此的重复的说明。在说明实施例的过程中，当判断对于相关公知技术的具体说明会不必要地混淆实施例时，省略对其详细说明。

图1为显示根据一示例的车辆的鸟瞰图像的附图。

为了生成鸟瞰图像，需要合并由多个摄像机拍摄的多个图像。为了合并多个图像，需要匹配图像的坐标系。即，通过将多个图像变换为预先为车辆设置的公共坐标系来生成部分鸟瞰图像，并通过合并部分鸟瞰图像来生成最终鸟瞰图像。例如，可以通过扭曲(warping)图像来生成部分鸟瞰图像。最终鸟瞰图像可以用于全景式监控影像系统(AroundView Monitor，AVM)。

例如，生成的鸟瞰图像100可以对应于从鸟瞰视角拍摄的车辆110的图像。例如，鸟瞰图像100内可以不包括车辆110的图像。又例如，鸟瞰图像100可以包括预先设置的车辆图像110，而不是实际拍摄的车辆的图像。并且，鸟瞰图像100内可以包括车道内的左侧车道线120、右侧车道线130、第一标记140及第二标记150。并且，鸟瞰图像100内还可以包括与车道接触的护栏。

然而，由于在车辆安装摄像机时会发生误差，因此实际上无法将多个摄像机的摄像机坐标轴完全匹配到车辆的公共坐标系。虽然在生产车辆的工厂可以精确地校准摄像机安装误差，但车辆一旦出厂，由于摄像机的安装位置因行驶过程中的冲击和扭曲等物理力而改变，导致摄像机安装误差继续发生。因此，为了生成准确的鸟瞰图像，多个摄像机需要定期或每次发生冲击时进行校准。

为了合并多个图像，首先需要执行摄像机校准以校正摄像机的安装误差，对于摄像机校准，需要摄像机安装的高度及角度等信息。为了获得用于摄像机校准的此类信息，目前都使用了以下方法：在地面上设置棋盘格(checker board)等特定参考图案，并通过车辆的摄像机来拍摄棋盘格，再通过已拍摄的图案图像来获得摄像机信息。

使用棋盘格的方法由于可以预先准确地获得特定标记(如，图案)的相对位置，因此可以获取精确的摄像机信息，然而，为了执行该方法，需要设置棋盘格以使图案的位置与预设位置相对应，难免会造成不便。

以下，将参考图2至图16来详细描述相对简单地校准多个摄像机的方法。

图2及图3为显示根据一示例的摄像机的外部参数的旋转信息及位置信息的附图。

为了校准摄像机，需要校正摄像机的外部参数。外部参数包括摄像机的旋转信息及位置信息。

图2的上端图210示出摄像机的俯仰角(pitch)Rx、中间图220示出摄像机的滚转角(roll)Rz、下端图230示出摄像机的偏航角(yaw)Ry。

图3的上端图310及下端图320示出摄像机的位置信息Tx、Ty、Tz。位置信息可以基于车辆的特定位置来设置。例如，可以预先设置车辆的特定位置作为基准点的世界坐标系，并且可以使用世界坐标系来表示摄像机的位置信息。

图4为显示根据一实施例的用于校准多个摄像机的电子装置的配置图。

电子装置400包括通信部410、处理器420、存储器430及摄像机440。电子装置400可以包括在车辆内。例如，电子装置400可以是电子控制单元(electronic control unit，ECU)等装置。又例如，电子装置400可以是连接到电子控制单元(ECU)的独立装置。

通信部410连接到处理器420、存储器430及摄像机440以发送和接收数据。通信部410可以连接到外部的另一装置以向其发送和接收数据。以下，发送和接收“A”可以表示为发送和接收表示“A”的信息(information)或数据。

通信部410可以实现为电子装置400内的电路(circuitry)。例如，通信部410可以包括内部总线(internal bus)及外部总线(external bus)。又例如，通信部410可以是连接电子装置400和外部装置的元件。通信部410可以是接口(interface)。通信部410可以从外部的装置接收数据，并将该数据发送到处理器420及存储器430。

处理器420处理由通信部410接收的数据及存储在存储器430的数据。“处理器”可以是由具有物理结构的电路以执行所需的操作(desired operations)的硬件实现的数据处理装置。例如，所需的操作可以包括包含在程序的代码(code)或指令(instructions)。例如，由硬件实现的数据处理装置可以包括微处理器(microprocessor)、中央处理装置(central processing unit，CPU)、处理器核心(processor core)、多核处理器(multi-core processor)、多处理器(multiprocessor)、专用集成电路(Application-SpecificIntegrated Circuit，ASIC)及现场可编程门阵列(Field Programmable Gate Array，FPGA)。

处理器420执行由存储在存储器(例如，存储器430)的计算机可读代码(例如，软件)及处理器420导出的指令。

存储器430存储由通信部410接收的数据及由处理器420处理的数据。例如，存储器430可以存储程序(或应用程序、软件)。存储的程序可以是一组语法(syntax)，其被编码以通过调整摄像机的外部参数来校准摄像机并由处理器420执行。

根据一侧面，存储器430可以包括一个以上的易失性存储器、非易失性存储器及随机存取存储器(Random Access Memory，RAM)、闪存、硬盘驱动器及光盘驱动器。

存储器430存储操作电子装置400的指令集(例如，软件)。操作电子装置400的指令集由处理器420执行。

摄像机440通过拍摄场景来生成图像。摄像机440可以包括多个摄像机。例如，多个摄像机可以安装在车辆的前方、后方、左侧及右侧。

以下，将参考图5至图16来详细描述通信部410、处理器420、存储器430及摄像机440。

图5为显示根据一实施例的校准多个摄像机的方法的流程图。

下面的步骤(步骤510至步骤570)由参照图4描述的电子装置400执行。

在步骤510中，电子装置400获取拍摄车辆周围的多个图像。例如，可以获取使用摄像机440来拍摄的多个图像。优选地，为了检测在同一时间及同一位置上存在的多边形图案，在同一拍摄时间拍摄多个图像。然而，当车辆在静止状态时，也可以使用具有不同拍摄时间的多个图像。

摄像机440可以包括具有比一般镜头更大视角的广角镜头，或具有视角超过180°的超广角镜头的鱼眼镜头。当使用具有大视角的镜头来生成图像时，可以拍摄车辆周围的所有图像。

当摄像机440包括分别拍摄前方、后方、左侧及右侧的四个摄像机，并基于由4个摄像机拍摄的图像来进行摄像机之间的校准时，可以估计每个摄像机的外部参数。例如，可以估计俯仰角Rx、偏航角Ry及滚转角Rz作为摄像机的旋转信息。又例如，可以估计平移信息Tx、Ty及高度信息Tz作为摄像机的位置信息。

当摄像机440包括分别拍摄前方、后方、左侧及右侧的四个摄像机时，可以为每个摄像机定义4个信道。

当存在由至少两个摄像机同时拍摄的对变形图案时，上述多边形图案需要表示出变换为鸟瞰视点的图像中的相同位置。当4个摄像机中每个摄像机的外部参数为准确时，图案在鸟瞰图像中表示为单个；当外部参数不准确时，表示为多个图案或不完全重叠的图案。

根据一侧面，待拍摄的多边形图案可以是相对简单的图案。例如，可以使用正方形或矩形等多边形图案。可以在车辆周围设置多边形图案。例如，多边形图案不需要精确地定位在预设位置，可以任意地被配置在两个摄影机可同时拍摄的区域中。所述区域可以被定义为感兴趣区域(ROI，Region Of Interest)。当摄影机440使用鱼眼镜头来生成图像时，由于鱼眼镜头的扭曲，拍摄的多边形图案可以显示为与图像中的多边形图案相对应的被扭曲的图案。

在步骤520中，电子装置400分别在多个图像设置感兴趣区域(Region ofInterest，ROI)以包括多边形图案。感兴趣区域可以是在图像的一部分中与另一图像重叠的部分。即，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域可以包括公共区域。例如，当第一图像为前方图像、第二图像为左侧图像时，第一图像的第一感兴趣区域及第二图像的第二感兴趣区域可以是表示车辆的左侧上端的位置。以下，将参考图6及图7来详细描述感兴趣区域。

在步骤530中，电子装置400检测感兴趣区域的对变形图案。例如，可以检测到包括在第一感兴趣区域的第一多边形图案及包括在第二感兴趣区域的第二多边形图案。第一多边形图案及第二多边形图案是由不同的摄影机拍摄的实质上相同的多边形图案。

当检测到多边形图案时，通过多边形图案的结构来确定多边形图案的角点(corner point)。例如，当多边形图案为四边形时，可以对多边形图案确定四个角点。当检测到多边形图案时，可以容易地检测(或确定)该多边形图案的角点。由于计算量小于检测图像中特征点的计算量，因此可以快速执行角点的检测。

在步骤540中，电子装置400匹配第一感兴趣区域的第一多边形图案的第一角点及第二感兴趣区域的第二多边形图案的第二角点。例如，前方图像的感兴趣区域的多边形图案的角点可以与左侧图像的感兴趣区域的多边形图案的角点进行匹配；前方图像的感兴趣区域的多边形图案的角点可以与右侧图像的感兴趣区域的多边形图案的角点进行匹配；后方图像的感兴趣区域的多边形图案的角点可以与左侧图像的感兴趣区域的多边形图案的角点进行匹配；后方图像的感兴趣区域的多边形图案的角点可以与右侧图像的感兴趣区域的多边形图案的角点进行匹配。

在步骤550中，电子装置400计算第一角点的第一鸟瞰坐标及第二角点的第二鸟瞰坐标。例如，当第一角点为前方图像中多边形图案的角点、第二角点为左侧图像中多边形图案的角点时，可以基于前方摄像机的外部参数来计算第一角点的第一鸟瞰坐标，并基于左侧摄像机的外部参数来计算第二角点的第二鸟瞰坐标。鸟瞰坐标可以是待生成的鸟瞰图像的坐标系中的坐标。例如，鸟瞰图像的坐标系可以是上述的世界坐标系。

在步骤560中，电子装置400基于第一鸟瞰坐标及第二鸟瞰坐标来计算参考(reference)鸟瞰坐标。例如，参考鸟瞰坐标可以是第一鸟瞰坐标及第二鸟瞰坐标的中间坐标。又例如，当图像被旋转或被缩放时，可以基于中间坐标来计算参考鸟瞰坐标。以下，将参考图8及图14来详细参考鸟瞰坐标。

在步骤570中，电子装置400通过调整多个摄像机中每个摄像机的外部参数来校准多个摄像机，使得第一鸟瞰坐标及第二鸟瞰坐标分部移动到参考鸟瞰坐标。

当对摄像机之间并未执行准确的校准时，在摄像机之间可以生成不同的世界坐标系。由此，作为替代准确的世界坐标系的方法，可以使用与目标摄像机相邻的摄像机的位置。可以通过将相邻的摄像机的位置变换为目标摄像机的位置，并将变换后的位置设置为世界坐标系的基准点来执行校准。使用上述方法，即使不知道准确的世界坐标系的基准点，也可以执行摄像机的校准，由此可以调整外部参数。

然而，当将相邻的摄像机的位置通过变换来设定世界坐标系的基准点时，若相邻的摄像机的外部参数不准确，所设定的世界坐标系的基准点也变得不准确。因此，可以考虑以下方法，其通过重复执行多个摄像机的每个校准而不是一次执行一个摄像机的校准，从而逐渐减小外部参数的误差。通过改变目标摄像机的同时，设置每个目标摄像机的世界坐标系的基准点，并使用所设定的世界坐标系的基准点来重复执行校准，从而可以同时校准多个摄像机。即，可以重复执行步骤550至步骤570，直到满足一定条件为止。

下面，将参照图16来详细地描述校准多个摄像机的方法。

图6为显示根据一示例的感兴趣区域(ROI)的附图。

例如，第一图像611可以是由前方摄像机610生成的前方图像，或基于前方图像来生成的第一部分鸟瞰图像；第二图像621可以是由左侧摄像机620生成的左侧图像，或基于左侧图像来生成的第二部分鸟瞰图像；第三图像631可以是由后方摄像机630生成的后方图像，或基于后方图像来生成的第三部分鸟瞰图像；第四图像641可以是由右侧摄像机640生成的右侧图像，或基于右侧图像来生成的第四部分鸟瞰图像。

上述图像611、621、631、641作为描述以车辆600为中心的感兴趣区域的概念，因此，关于图像611、621、631、641是否为由摄像机生成的图像还是经过变换的部分鸟瞰图像，并不限于所记载的实施例。

可以设置第一感兴趣区域，使得其包括第一图像611及第二图像621的第一公共区域651的至少一部分。例如，第一感兴趣区域可以包括前方图像的最左侧，第二感兴趣区域可以包括左侧图像的最右侧。可以设置第一感兴趣区域，使得第一多边形图案661被包括在第一感兴趣区域内。类似地，可以设置第二感兴趣区域，使得其包括第二图像621及第三图像631的第二公共区域652的至少一部分。可以设置第二感兴趣区域，使得第二多边形图案662被包括在第二感兴趣区域内。设置第三感兴趣区域，使得其包括第三图像631及第四图像641的第三公共区域653的至少一部分。可以设置第三感兴趣区域，使得第三多边形图案663被包括在第三感兴趣区域内。可以设置第四感兴趣区域，使得其包括第四图像641及第一图像611的第四公共区域654的至少一部分。可以设置第四感兴趣区域，使得第四多边形图案664被包括在第四感兴趣区域内。

图7为显示根据一示例的提取多边形图案及匹配角点的方法的附图。

例如，第一感兴趣区域712可以设置在前方图像710上、第二感兴趣区域722可以设置在左侧图像720上。电子装置400可以通过剪切(crop)所设置的感兴趣区域712、722来生成部分图像。

基于所设置的感兴趣区域712、722或生成的部分图像，可以检测感兴趣区域712、722内的多边形图案713、723，并可以确定多边形图案713、723的角点714、724。

电子装置400可以匹配所确定的角点714、724。例如，第一感兴趣区域712内的多边形图案713的角点714可以与第二感兴趣区域722内的多边形图案723的角点724进行匹配。

图8为显示根据一示例的匹配后的角点的鸟瞰坐标及中心坐标的附图。

在参照图7的实施例中，当角点714与角点724彼此匹配时，可以计算出对于角点714的第一鸟瞰坐标810、对于角点724的第二鸟瞰坐标820。

当摄像机的外部参数为准确时，第一鸟瞰坐标810及第二鸟瞰坐标820可以在世界坐标系中具有相同的坐标。然而，当摄像机的外部参数为不准确时，第一鸟瞰坐标810及第二鸟瞰坐标820在世界坐标系中具有不同的坐标。

摄像机的外部参数的准确度越低，第一鸟瞰坐标810及第二鸟瞰坐标820之间的误差可能会增大。为此，稍后可以校准摄像机，以减小第一鸟瞰坐标810与第二鸟瞰坐标820之间的误差。作为校准摄像机的参考，可以计算参考鸟瞰坐标830。

根据一侧面，参考鸟瞰坐标830可以是第一鸟瞰坐标810及第二鸟瞰坐标820的中心坐标。

在计算参考鸟瞰坐标830之后，可以调整多个摄像机中每个摄像机的外部参数，使得第一鸟瞰坐标810和第二鸟瞰坐标820分别移动到参考鸟瞰坐标830。虽然参考鸟瞰坐标830可能并未显示出确切位置，但它可以适用于校准摄像机的参考。在随后的校准中的参考鸟瞰坐标可以不同于参考鸟瞰坐标830。

图9为显示根据一示例的使用未校准的多个摄像机来生成的鸟瞰图像的附图。

使用具有未经适当调整的外部参数的摄像机来生成的鸟瞰图像900与实际场景不同。例如，位于车辆周围的多边形图案的形状在鸟瞰图像900中可能不精确。

根据一侧面，对于多边形图案的相同角点，可以分别计算第一鸟瞰坐标910和第二鸟瞰坐标920。由于第一鸟瞰坐标910与第二鸟瞰坐标920不匹配，因此可以另外执行摄像机校准。为了摄像机校准，可以计算参考鸟瞰坐标930。参考鸟瞰坐标930可以是第一鸟瞰坐标910及第二鸟瞰坐标920的中心坐标。

虽然参照图9来仅详细描述了一对匹配的鸟瞰坐标910、920，但上述描述可以同样适用于其他匹配角点的一对。即，对于匹配的多个角点的一对执行摄像机校准。

图10为显示根据一示例的基于旋转的鸟瞰图像来计算参考鸟瞰坐标的方法的流程图。

当仅使用参考鸟瞰坐标来调整摄像机的外部参数时，由于两个鸟瞰坐标的目的仅为移动到参考鸟瞰坐标，因此调整后的摄像机的外部参数可能会出现误差。作为生成的误差，可能会发生生成的鸟瞰图像被旋转到一侧的现象。因此，可以旋转鸟瞰图像，并基于旋转的鸟瞰图像来计算参考鸟瞰坐标。

根据一侧面，参照图5来描述的步骤560可以包括以下步骤1010、1020、1030。

在步骤1010中，电子装置400基于与第一多边形图案相对应的第一鸟瞰图案及与第二多边形图案相对应的第二鸟瞰图案来确定第一中心线。

例如，当第一多边形图案及第二多边形图案是左侧图像(或右侧图像)中的不同图案时，可以计算连接第一多边形图案及第二多边形图案的第一直线，并且，所述第一直线或与第一直线平行的第二直线可以确定为第一中心线。

又例如，当第一多边形图案及第二多边形图案是前方图像(或后方图像)中的不同图案时，可以计算连接第一多边形图案及第二多边形图案的第一直线，并且，与所述第一直线正交的第二直线可以确定为第一中心线。

在步骤1020中，电子装置400确定旋转角度，使得第一中心线成为鸟瞰图像的垂直线。

在步骤1030中，电子装置400基于旋转角度来旋转鸟瞰图像。随着鸟瞰图像的旋转，第一鸟瞰坐标、第二鸟瞰坐标及中心坐标也会发生变化。所旋转的中心坐标可以确定为参考鸟瞰坐标。

图11为显示根据一示例的未旋转的鸟瞰图像及旋转的鸟瞰图像的附图。

第一鸟瞰图像1110可以是角度被扭曲的鸟瞰图像(即，未旋转的鸟瞰图像)，第二鸟瞰图像1120可以是旋转第一鸟瞰图像1110的图像。

第二鸟瞰图像1120可以应用于全景式监控影像系统(AVM)。

图12为显示根据一示例的旋转鸟瞰图像的方法的附图。

例如，当第一多边形图案1210及第二多边形图案1220是位于前方的图案时，可以计算连接第一多边形图案1210及第二多边形图案1210的第一直线(例如，连接第一点1211及第二点1221的直线)，并且，与所述第一直线正交的第二直线可以确定为第一中心线1240。

确定旋转角度，使得第一中心线1240成为鸟瞰图像1200的垂直线，并且，基于旋转角度来旋转鸟瞰图像1200。

又例如，当第一多边形图案及第二多边形图案是位于左侧的图案时，可以计算连接第一多边形图案及第二多边形图案的第一直线。并且，当第三多边形图案及第四多边形图案是位于左侧的图案时，可以计算连接第三多边形图案及第四多边形图案的第二直线。并且，可以计算具有第一直线的斜率与第二直线的斜率的平均值的第一中心线1240。

图13为显示根据一示例的基于缩放的鸟瞰图像来计算参考鸟瞰坐标的方法的流程图。

当仅使用参考鸟瞰坐标来调整摄像机的外部参数时，由于两个鸟瞰坐标的目的仅为移动到参考鸟瞰坐标，因此调整后的摄像机的外部参数可能会出现误差。作为生成的误差，可能会发生生成的鸟瞰图像的大小比原来的大小减小的现象。因此，可以缩放鸟瞰图像，并基于缩放的鸟瞰图像来计算参考鸟瞰坐标。

根据一侧面，参照图5来描述的步骤560可以包括以下步骤1310、1320、1330。

在步骤1310中，电子装置400计算第一鸟瞰坐标及第二鸟瞰坐标之间的中心坐标。

在步骤1320中，电子装置400基于与第一多边形图案相对应的第一鸟瞰图案及与第二多边形图案相对应的第二鸟瞰图案中的至少一个长度来确定缩放比。例如，可以基于第一鸟瞰图案的预设长度与计算出的第一鸟瞰图案的长度之间的比率来确定缩放比。

在步骤1330中，电子装置400基于确定的缩放比及中心坐标来计算参考鸟瞰坐标。

参照图10描述的步骤1010、1020、1030的第一实施例和步骤1320、1330的第一实施例并未互斥，并且，可以在执行第一实施例之后连续执行第二实施例，或者可以在执行第二实施例之后继续执行第一实施例。当缩小鸟瞰图像的尺寸的同时旋转鸟瞰图像时，可以应用上述实施例。

图14为显示根据一示例的未缩放的鸟瞰图像及缩放的鸟瞰图像的附图。

与实际大小相比，生成的鸟瞰图像1410的大小可以是被缩小的图像。基于鸟瞰图像1410中的图案的长度来确定缩放比，并可以基于缩放比来生成缩放的鸟瞰图像1420。

图15为显示根据一示例的基于反复调整后的外部参数来生成的鸟瞰图像的附图。

通过参照图5至图14重复执行上述步骤550、560、570来调整摄像机的外部参数。随着重复次数的增加，外部参数的调整可以更加精确。

鸟瞰图像1510、1520、1530是在实际执行过程中生成的图像，第一鸟瞰图像1510是经过20次的反复过程生成的图像；第二鸟瞰图像1520是经过50次的反复过程生成的图像；第三鸟瞰图像1530是经过70次的反复过程生成的图像。

可以看出，随着反复过程的累积，摄像机的外部参数被精准地调整，从而生成精确的鸟瞰图像。

图16为显示根据一示例的终止多个摄像机的校准的方法的流程图。

根据一侧面，参照图5来描述的步骤570可以包括以下步骤1610、1620、1630。

在步骤1610中，电子装置400计算第一鸟瞰坐标与参考鸟瞰坐标之间的距离。其距离可以是误差。

当摄像机的外部参数被准确地调整时，第一鸟瞰坐标及第二鸟瞰坐标可以表示为相同，因此所计算的距离可以是0或接近0的值。

第一鸟瞰坐标及第二鸟瞰坐标与一对匹配的角点有关，当存在多对匹配的角点时，可以为每一对分别计算其距离。

在步骤1620中，当计算的距离小于预设阈值时，电子装置400终止多个摄像机的校准。当计算的距离大于预设阈值时，通过重新调整摄像机的外部参数来校准多个摄像机(即，再执行步骤550至步骤570)。

然而，当就算一个距离满足上述条件，但其他多对匹配的角点的距离未满足上述条件时，可以继续执行校准。

当计算的距离大于预设阈值时，电子装置400调整多个摄像机中的至少一个摄像机的外部参数，使得其距离最小化。例如，可以调整摄像机的旋转信息及位置信息中的至少一个。

根据一侧面，可以基于多个距离来确定多个距离所发生的原因(例如，左侧摄像机的不准确的旋转信息)，为了解决上述原因，可以调整摄像机的旋转信息及位置信息中的至少一个(例如，调整左侧摄像机的旋转信息)。可以使用各种方法来确定上述原因，且并不限于某一种方法。

例如，可以使用列文伯格-马夸尔特(Levenberg Marquardt)算法、梯度下降(Gradient Descent)算法以校准多个摄像机。

根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。

软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使处理装置按照所期待的方式操作，或者，单独或共同(collectively)命令处理装置。为通过处理装置进行解释或者向处理装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机系统上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。

综上，通过有限的附图对实施例进行了说明，本领域普通技术人员能够基于所述记载进行多种更改与变形。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等构成要素按照与说明的方法不同的形态进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。

由此，其他体现，其他实施例以及权利要求范围的等同物，均属于本发明的权利要求范围。

Claims (15)

1.一种由安装在车辆的处理器执行的摄像机校准方法，其特征在于，

包括以下步骤：

获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像，所述图像分别包括对应于至少一个多边形图案的图案；

在所述多个图像中分别设置感兴趣区域以包括所述多边形图案，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；

检测包括在所述第一感兴趣区域的第一多边形图案及包括在所述第二感兴趣区域的第二多边形图案；

匹配所述第一多边形图案的第一角点及所述第二多边形图案的第二角点；

计算所述第一角点的第一鸟瞰坐标及所述第二角点的第二鸟瞰坐标；

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标；以及

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标；

其中，基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤，包括以下步骤：

基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案来计算第一中心线；

确定旋转角度，使得所述第一中心线成为生成的鸟瞰图像的垂直线；以及

基于所述旋转角度来旋转所述鸟瞰图像，

所述参考鸟瞰坐标是所述旋转的鸟瞰图像中的坐标；

其中，所述参考鸟瞰坐标是所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标。

2.根据权利要求1所述的摄像机校准方法，其特征在于，

所述多个摄像机包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。

3.根据权利要求1所述的摄像机校准方法，其特征在于，

所述摄像机的外部参数包括所述摄像机的旋转信息及位置信息。

4.根据权利要求1所述的摄像机校准方法，其特征在于，

在所述多个图像中分别设置感兴趣区域以包括所述多边形图案步骤，包括以下步骤：

当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。

5.根据权利要求1所述的摄像机校准方法，其特征在于，

还包括以下步骤：

通过剪切所述设置的感兴趣区域来生成部分图像，

检测所述第一多边形图案及所述第二多边形图案步骤，包括以下步骤：

基于所述生成的部分图像来检测所述第一多边形图案及所述第二多边形图案。

6.根据权利要求1所述的摄像机校准方法，其特征在于，

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤，包括以下步骤：

计算所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标；

基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案中的至少一个长度来确定缩放比；以及

基于所述确定的缩放比及所述中心坐标计算所述参考鸟瞰坐标。

7.根据权利要求1所述的摄像机校准方法，其特征在于，

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标步骤，包括以下步骤：

计算所述第一鸟瞰坐标与所述参考鸟瞰坐标之间的距离；以及

当所述计算的距离小于预设阈值时，终止所述多个摄像机的校准。

8.一种计算机可读存储介质，用于存储执行权利要求1所述的方法的程序。

9.一种安装在用于校准多个摄像机的车辆的电子装置，其特征在于，

包括：

记录校准多个摄像机的程序的存储器；以及

用于执行所述程序的处理器，

所述程序执行以下步骤：

获取由所述车辆的多个摄像机拍摄的所述车辆的周围的多个图像，所述图像分别包括对应于至少一个多边形图案的图案；

在所述多个图像中分别设置感兴趣区域以包括所述多边形图案，其中，多个图像中的第一图像的第一感兴趣区域及第二图像的第二感兴趣区域包括公共区域；

检测包括在所述第一感兴趣区域的第一多边形图案及包括在所述第二感兴趣区域的第二多边形图案；

匹配所述第一多边形图案的第一角点及所述第二多边形图案的第二角点；

计算所述第一角点的第一鸟瞰坐标及所述第二角点的第二鸟瞰坐标；

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标；以及

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标；

其中，基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤，包括以下步骤：

基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案来计算第一中心线；

确定旋转角度，使得所述第一中心线成为生成的鸟瞰图像的垂直线；以及

基于所述旋转角度来旋转所述鸟瞰图像，

所述参考鸟瞰坐标是所述旋转的鸟瞰图像中的坐标；

其中，所述参考鸟瞰坐标是所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标。

10.根据权利要求9所述的电子装置，其特征在于，

所述多个摄像机包括拍摄所述车辆的左侧的左侧摄像机、拍摄所述车辆的右侧的右侧摄像机、拍摄所述车辆的前方的前方摄像机及拍摄所述车辆的后方的后方摄像机中的至少两个。

11.根据权利要求9所述的电子装置，其特征在于，

所述摄像机的外部参数包括所述摄像机的旋转信息及位置信息。

12.根据权利要求9所述的电子装置，其特征在于，

在所述多个图像中分别设置感兴趣区域以包括所述多边形图案步骤，包括以下步骤：

当所述第一图像为前方图像、所述第二图像为左侧图像时，在所述多个图像中分别设置感兴趣区域，使得所述第一感兴趣区域包括所述前方图像的最左侧及所述第二感兴趣区域包括所述左侧图像的最右侧。

13.根据权利要求9所述的电子装置，其特征在于，

所述程序还执行以下步骤：

通过剪切所述设置的感兴趣区域来生成部分图像，

检测所述第一多边形图案及所述第二多边形图案步骤，包括以下步骤：

基于所述生成的部分图像来检测所述第一多边形图案及所述第二多边形图案。

14.根据权利要求9所述的电子装置，其特征在于，

基于所述第一鸟瞰坐标及所述第二鸟瞰坐标来计算参考鸟瞰坐标步骤，包括以下步骤：

计算所述第一鸟瞰坐标与所述第二鸟瞰坐标之间的中心坐标；

基于与所述第一多边形图案相对应的第一鸟瞰图案及与所述第二多边形图案相对应的第二鸟瞰图案中的至少一个长度来确定缩放比；以及

基于所述确定的缩放比及所述中心坐标计算所述参考鸟瞰坐标。

15.根据权利要求9所述的电子装置，其特征在于，

通过调整所述多个摄像机中每个摄像机的外部参数来校准所述多个摄像机，使得所述第一鸟瞰坐标及所述第二鸟瞰坐标分别移动到所述参考鸟瞰坐标步骤，包括以下步骤：

计算所述第一鸟瞰坐标与所述参考鸟瞰坐标之间的距离；以及

当所述计算的距离小于预设阈值时，终止所述多个摄像机的校准。