CN109872370B - 使用激光雷达数据对摄像机系统进行检测和重新校准 - Google Patents

Abstract

提供了用于校准自主车辆的摄像机系统的系统及方法。在一个实施例中，方法包括：在自主车辆正在操作的同时通过处理器从由自主车辆的传感器所生成的传感器数据中识别平面对象；通过处理器识别平面对象的图案；通过处理器从平面对象的图案中选择平面点；以及在自主车辆正在操作的同时通过处理器基于平面点校准摄像机系统。

Description

使用激光雷达数据对摄像机系统进行检测和重新校准

引言

本公开总体上涉及自主车辆，并且更具体地涉及用于检测并校正自主车辆的摄像机系统中的故障的系统及方法。

自主车辆是一种能够在很少或者没有用户输入的情况下感测其环境并进行导航的车辆。自主车辆使用感测设备(诸如，雷达、激光雷达、诸如摄像机的图像传感器等)来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术的信息、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驱动系统来导航车辆。

虽然近年来自主车辆系统取得了显著进步，但这种系统仍可能在许多方面得到改进。例如，图像传感器通常在被安装至车辆时进行校准，并在此后在维护事件期间周期性地进行校准。在这两种情况下，当执行校准时，使自主车辆脱机或不处于操作状态中。

因此，期望的是提供实时检测摄像机何时被失当校准的系统及方法。还期望的是提供用于实时地重新校准摄像机系统的系统及方法。另外，从随后结合附图以及上述技术领域部分和背景技术的详细描述和所附权利要求书，本公开的其他期望的特征和特性将变得显而易见。

发明内容

提供了用于校准自主车辆的摄像机系统的系统及方法。在一个实施例中，方法包括：在自主车辆正在操作的同时通过处理器从由自主车辆的传感器所生成的传感器数据中识别平面对象；通过处理器识别平面对象的图案；通过处理器从平面对象的图案中选择平面点；以及在自主车辆正在操作的同时通过处理器基于该平面点校准摄像机系统。

在一个实施例中，方法包括：第一非瞬态模块，其在自主车辆正在操作的同时通过处理器从由自主车辆的传感器所生成的传感器数据中识别平面对象；第二非瞬态模块，其通过处理器识别平面对象的图案，并且从平面对象的图案中选择平面点；以及第三非瞬态模块，其在自主车辆正在操作的同时通过处理器基于该平面点校准摄像机系统。

附图说明

下文将结合附图描述示例性实施例，其中相同的附图标号表示相同的元件，并且其中：

图1是示出根据各种实施例的具有图像传感器校准系统的自主车辆的功能框图；

图2是示出根据各种实施例的具有图1的一个或多个自主车辆的运输系统的功能框图；

图3和4是示出根据各种实施例的包括自主车辆的图像传感器校准系统的自主驾驶系统的数据流图；和

图5A和5B是根据各种实施例的平面对象上的图案的图示；和

图6是示出根据各种实施例的用于检测和重新校准图像传感器并基于该图像传感器控制自主车辆的控制方法的流程图。

具体实施方式

以下详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。另外，不旨在受前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示理论的约束。如本文所使用的，术语模块单独地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适部件。

本文可以就功能和/或逻辑块部件以及各种处理步骤方面来描述本公开的实施例。应当理解的是，这种块部件可以通过被配置为执行特定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下实行各种功能。此外，本领域技术人员将理解的是，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。

为简洁起见，与系统的信号处理、数据传输、信令通知、控制和其他功能方面(以及系统的单独操作部件)相关的常规技术本文不详细描述。另外，本文所包含的各图中示出的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多可替代的或附加的功能关系或物理连接。

参照图1，根据各种实施例总体上以100示出的校准系统与车辆10相关联。如下面将更详细讨论的，校准系统100检测车辆10上的摄像机系统102的未对准，并根据该未对准校准摄像机系统102。在各种实施例中，校准系统100随着车辆10的操作实时检测并重新校准摄像机系统102。在各种实施例中，校准系统100基于来自车辆10上的激光雷达系统104的激光雷达数据实时检测并重新校准摄像机系统102。

如图1中所描绘的，车辆10总体上包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上，并且基本上包围车辆10的部件。车身14和底盘12可以共同形成框架。轮16-18各自在车身14的相应拐角附近被旋转地联接到底盘12。

在各种实施例中，车辆10是自主车辆，并且校准系统100被结合到自主车辆10(下文称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运载到另一位置的车辆。车辆10在示出的实施例中被描述为乘用车，但是应当理解的是，也可以使用任何其他车辆，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、舰船、飞机等。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，指的是自动驾驶系统对动态驾驶任务所有方面的驾驶模式特定性能，即使人类驾驶员没有对干预请求适当响应。五级系统表示“完全自动化”，指的是自动驾驶系统在所有道路和环境条件下对可以由人类驾驶员管理的动态驾驶任务的所有方面的全时性能。

如所示的那样，自主车辆10总体上包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电动机的电机和/或燃料电池推进系统。变速器系统22被配置为根据可选择的速比将动力从推进系统20传输到车轮16-18。根据各种实施例，变速器系统22可以包括多级变速比自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16-18提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动、诸如电机的再生制动系统和/或其他合适的制动系统。转向系统24影响车轮16-18的位置。尽管出于说明的目的被描述为包括转向盘，但是在本公开范围内预期的一些实施例中，转向系统24可以不包括转向盘。

传感器系统28包括一个或多个感测自主车辆10的外部环境和/或内部环境的可观察条件的感测设备40a-40n。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学摄像机、热感摄像机、超声波传感器、惯性测量单元和/或其他传感器。在各种实施例中，感测设备包括摄像机系统102和激光雷达系统104。

致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可进一步包括内部和/或外部车辆特征，诸如但不限于门、行李箱和舱室特征(诸如空气、音乐、照明等)(未编号)。

通信系统36被配置为将信息无线通信到其他实体48并从其无线通信信息，诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)通信的无线通信系统。然而，在本公开的范围内也考虑诸如专用短程通信(DSRC)信道的附加或替代的通信方法。DSRC信道指的是专门为汽车使用设计的单向或双向短程至中程无线通信信道以及一组相对应的协议和标准。

数据存储设备32存储用于在自动控制自动车辆10中使用的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义的地图可以由远程系统预定义并从远程系统获得(关于图2更详细地描述)。例如，定义的地图可以由远程系统组装并被通信到自主车辆10(无线地和/或以有线的方式)并被存储在数据存储设备32中。可以理解的是，数据存储设备32可以是控制器34的从控制器34分离的部分，或者是控制器34的部分和分离系统的部分。

控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、其任何组合、或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是永久性或非易失性存储器，当处理器44断电时，其可以被用于存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知存储器设备中的任何一个来实施，诸如PROM(可编程只读存储器)、EPROM(电可擦除PROM)、EEPROMs(电可擦除PROM)、闪存或能够存储由控制器34在控制自主车辆10中使用的数据(其中一些表示可执行指令)的任何其他电、磁、光或组合存储器设备。

指令可以包括一个或多个分离的程序，该一个或多个分开的程序中的每一个包括用于实施逻辑功能的可执行指令的有序列表。当这些指令由处理器44执行时，这些指令接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并基于逻辑、计算、方法和/或算法生成到致动器系统30的控制信号以自动控制自主车辆10的部件。尽管在图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，这些控制器通过任何合适的通信介质或通信介质的组合进行通信，并且协作处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制自主车辆10的特征。

在各种实施例中，控制器34的一个或多个指令体现在校准系统100中，并且当由处理器44执行时处理来自摄像机系统102和激光雷达系统104的数据，以便随着自主车辆10的操作实时检测和重新校准摄像机系统102。

现在参照图2，在各种实施例中，关于图1描述的自主车辆10可以适用于某些地理区域(例如，城市、学校或商业园区、购物中心、游乐园、事件中心等)中的出租车或穿梭系统的环境中使用，或者可以简单地由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，该操作环境包括与如关于图1所述的一个或多个自主车辆10a-10n相关联的基于自主车辆的远程运输系统52。在各种实施例中，操作环境50还包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户设备54。

通信网络56根据需要支持操作环境50支持的设备、系统和部件之间的通信(例如，经由有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波系统60，诸如包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需的任何其他网络部件的蜂窝电话系统。每个蜂窝塔包括发送和接收天线以及基站，来自不同蜂窝塔的基站直接或经由诸如基站控制器的中间设备连接到MSC。无线载波系统60可以实现任何合适的通信技术，包括例如数字技术，诸如CDMA(例如CDMA 2000)、LTE(例如4G LTE或5G LTE)、GSM/GPRS或其他当前或新兴无线技术。其它蜂窝塔/基站/MSC布置是可能的，并且可以与无线载波系统60一起使用。例如，基站和蜂窝塔可以共同位于相同地点，或者它们可以彼此远离，每个基站可以负责单个蜂窝塔，或者单个基站可以服务各种蜂窝塔，或者各种基站可以被联接到单个MSC，仅举几个可能的布置。

除了包括无线载波系统60之外，可以包括卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)被发射站接收、打包用以上传，然后被传送到卫星，卫星将节目广播给订户。双向通信可以包括例如使用卫星中继车辆10和站之间的电话通信的卫星电话服务。除了无线载波系统60之外或者替代无线载波系统60，可以使用卫星电话。

还可以包括陆地通信系统62，其是连接到一个或多个陆线电话的传统陆基电信网络，并将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括公共交换电话网络(PSTN)诸如被用于提供硬连线电话、分组交换数据通信和互联网基础设施的公共交换电话网络。陆地通信系统62的一个或多个段可以通过使用标准有线网络、光纤或其他光网络、电缆网络、电力线、其他无线网络(诸如无线局域网(WLAN))、或提供宽带无线接入(BWA)的网络、或其任意组合来实施。此外，远程运输系统52不需要经由陆地通信系统62连接，而是可以包括无线电话设备，使得它可以直接与无线网络(诸如无线载波系统60)通信。

尽管在图2中仅示出了一个用户设备54，但是操作环境50的实施例可以支持任何数量的用户设备54，包括由一个人拥有、操作或以其他方式使用的多个用户设备54。操作环境50支持的每个用户设备54可以使用任何合适的硬件平台来实施。在这点上，用户设备54可以以任何常见的形式因素实现，包括但不限于：台式计算机；移动计算机(例如平板计算机、膝上型计算机或上网本计算机)；智能手机；视频游戏设备；数字媒体播放器；一件家庭娱乐设备；数字摄像机或视频摄像机；可穿戴的计算设备(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户设备54被实现为计算机实施的或基于计算机的设备，其具有实行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如，用户设备54包括可编程设备形式的微处理器，该微处理器包括被存储在内部存储器结构中并且被用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户设备54包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施例中，用户设备54包括蜂窝通信功能，使得该设备使用一个或多个蜂窝通信协议在通信网络56上实行语音和/或数据通信，如本文所讨论的那样。在各种实施例中，用户设备54包括视觉显示器，诸如触摸屏幕图形显示器或其他显示器。

远程运输系统52包括一个或多个后端服务器系统，其可以是基于云的、基于网络的，或者驻留在由远程运输系统52服务的特定园区或地理位置。远程运输系统52可以由真人顾问或自动顾问或两者的组合来操纵。远程运输系统52可以与用户设备54和自主车辆10a-10n通信，以调度乘坐、分派自主车辆10a-10n等。在各种实施例中，远程运输系统52存储账户信息，诸如订户认证信息、车辆标识符、简档记录、行为模式和其他相关的订户信息。

根据典型的用例工作流，远程运输系统52的注册用户可以经由用户设备54创建乘坐请求。乘坐请求通常将指示乘客的期望的拾取位置(或当前GPS位置)、期望的目的地位置(其可以识别预定的车辆站台和/或用户特定的乘客目的地)和拾取时间。远程运输系统52接收乘坐请求、处理该请求并分派自主车辆10a-10n中的选择的一个(当且如果一个可用的话)，以在指定的拾取位置和适当的时间拾取乘客。远程运输系统52还可以生成并向用户设备54传送适当配置的确认消息或通知，以让乘客知道车辆正在路上。

可以理解的是，本文公开的主题为可以被认为是标准或基线自主车辆10和/或基于自主车辆的远程运输系统52的东西提供了某些增强的特征和功能。为此，可以修改、增强或以其他方式补充自主车辆和基于自主车辆的远程运输系统，以提供下面更详细描述的附加特征。

根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ADS)70。也就是说，控制器34的合适的软件和/或硬件部件(例如，处理器44和计算机可读存储设备46)被用来提供与车辆10结合使用的自主驾驶系统70。

在各种实施例中，自主驱动系统70的指令可以按功能、模块或系统来组织。例如，如图3所示，自主驾驶系统70可以包括计算机视觉系统74、定位系统76、导引系统78和车辆控制系统80。可以理解的是，在各种实施例中，指令可以被组织成任何数量的系统(例如，组合、进一步分割等)因为本公开不限于本实施例。

在各种实施例中，计算机视觉系统74合成并处理传感器数据，并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可以结合来自传感器系统28中的多个传感器的信息，包括但不限于摄像机、激光雷达、雷达和/或任何数量的其他类型的传感器。

定位系统76处理传感器数据以及其他数据以确定车辆相对于环境的位置(例如，相对于地图的本地位置、相对于道路的车道的精确位置、车辆航向、速度等)。导引系统78处理传感器数据以及其他数据，以确定车辆10要遵循的路径。车辆控制系统80根据所确定的路径生成用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术来辅助控制器34的功能，诸如特征检测/分类、减缓堵塞、路线遍历、映射、传感器集成、地面实况确定等。

如上简要提到的，图1的校准系统100的部分被包括在ADS 70中，例如，作为计算机视觉系统74的部分或者作为分离的系统82(如所示的那样)。例如，如关于图4更详细地示出的那样，并继续参照图1-3，校准系统100包括检测模块84、构造模块86和校准模块88。可以理解的是，根据本公开的校准系统100的各种实施例可以包括任何数量的子模块。如可以理解的那样，图4中示出的子模块可以被组合和/或进一步分割，以类似地检测未校准的摄像机系统102并校准摄像机系统102。

在各种实施例中，检测模块84处理传感器数据以检测照摄像机系统102何时未对准或校准。在各种实施例中，检测模块84处理由摄像机系统102提供的图像数据90和由激光雷达系统104提供的激光雷达数据92。例如，检测模块84处理图像数据90以确定图像帧中深度不连续性的位置；并且处理激光雷达数据92以确定激光雷达回波中强度不连续性的位置。检测模块84然后将图像帧中深度不连续性的位置映射到激光雷达帧中的强度不连续性。当被映射的深度不连续性和强度不连续性之间的偏差大于阈值(例如1cm或其他数字)时，然后检测模块84确定摄像机系统102未校准，并且例如基于此设置校准状态94。如可以理解的那样，在各种实施例中，该检测过程可以在预定时间、连续地和/或基于其他条件对一系列帧上的每个帧执行。

构造模块86处理传感器数据95以确定校准中使用的实时对象。实时对象是具有垂直特征或呈现网状图案的平面对象，诸如但不限于砖墙、承载线的电话杆、三维激光雷达板片、车道边界或标记，或者环境中存在或放置的其他永久性结构。

在各种实施例中，由构造模块86处理的传感器数据包括由激光雷达系统104提供的激光雷达数据954和由摄像机系统102提供的图像数据96。例如，构造模块86累积从N次扫描(例如，其中10、11、12、13、14、15或其他整数值)接收的激光雷达数据95，并创建三维(3D)的数据网格。构造模块86处理3D网格以识别平面对象。例如，在各种实施例中，激光雷达系统104在整个环境中发射激光脉冲并测量回波脉冲。测量被组装成信息点云，包括但不限于与距离和/或强度相关联的值。点云被设置到具有多个像素的自顶向下视图网状图像。在各种实施例中，图像中的像素然后被评估和分组(例如通过计算在每个像素处的最小Z值和最大Z值之间的差；当存在小差时去除离群像素；并分组邻域像素)。进一步评估分组中的数据以识别对象(诸如道路周围的建筑物、车辆和标志)，以及识别地面本身，并识别分组的方向。在各种实施例中，如果可用的话，可以针对预映射的三维激光雷达板片来清洁平面对象。

例如，分组中的一个或多个被选择为平面对象。使用例如霍夫变换来识别分组中的线特征。以预定的方式旋转与组中的线特征相关的点的俯仰(pitch)和侧滚(roll)，并且将旋转的点设置到具有多个像素的新的自顶向下视图网状图像。将像素数量与预设的最小值进行比较。如果像素的数量还没有达到最小值，则以预定的方式再次旋转与组中的线特征相关的点的俯仰和滚动，并且将旋转的点设置到具有多个像素的新的自顶向下视图网状图像。将像素的数量再次与最小值进行比较。一旦像素的数量达到最小值，该组的全局外观将被选择为平面对象。如可以理解的那样，在各种实施例中，可以采用各种方法来解释点云数据、将回波点分组为对象并识别平面对象。出于示例性目的，本文提供了单一方法。

然后，构造模块86为了一致的强度变化(例如，强度值的图案)处理平面对象。例如，构造模块86从左到右或从右到左前进通过识别的平面对象的数据，并计算每个点的梯度。然后针对一致的变化或如图5A-5B中所示的那些的变化图案来评估梯度，其中C1-C3和C13-C15之间的连接线示出了X方向上的基线变化。

然后，构造模块86填充被识别为具有图案的平面对象的任何孔。例如，构造模块86通过反走样技术和/或任何其他数据增强技术，通过将平面对象的数据与预先定义的三维世界地图的数据(例如，下载到车辆10并被存储在数据存储设备中)进行比较来填充孔。

构造模块86同样地从左到右或从右到左(即，与用于平面对象的方向相同)前进通过图像数据96，并计算每个像素的梯度。然后，构造模块86将所确定的平面对象映射到图像帧，并比较所计算的梯度。例如，如果图像帧中像素的的梯度与来自激光雷达帧的强度梯度匹配，则从平面对象中选择平面点97用于校准中使用。

校准模块88接收定义平面对象的平面点97，并基于平面点97生成用于校准摄像机系统102的校准98。例如，校准模块88被配置为使用平面对象的平面点97来实施用于计算摄像机参数(诸如主点、焦点和镜头失真)的、张的方法。如可以理解的那样，校准摄像机系统102的其他方法可以在各种实施例中实施。

现在参照图6，并继续参图1-4，流程图示出了可以由根据本公开的图1和4的摄像机校准系统100执行的控制方法400。如根据本公开的内容可以理解的那样，该方法内的操作顺序不限于如图6中所示的顺序执行，而是可以根据适用并根据本公开以一个或多个变化的顺序来执行。在各种实施例中，方法400可被调度为基于一个或多个预定的事件运行，和/或在自主车辆10的操作期间连续地运行。

在一个示例中，该方法可以在405处开始。在410处，例如，如上所讨论的那样，接收图像数据90并为了不连续性对其进行处理。在420处，例如，如上所讨论的那样，接收激光雷达数据92并对其进行处理以获得不连续性。在430处，例如，如上所讨论的那样，将图像不连续性和激光雷达不连续性进行映射，并将值进行比较以获得偏差。如果在440处映射的不连续性之间的偏差不大于阈值，则在450处将校准状态94设置为已校准。然而，如果在440处映射的不连续性之间的偏差大于阈值，则在460处将校准状态94设置为未校准，并且该方法继续在470-540处实时构建平面图像，并且在550处基于构建的平面图像校准摄像机系统102。

例如，在470处，举例而言，如上所讨论的那样，根据激光雷达数据95构建三维(3D)平面状网格。在480处，针对3D平面状网格计算梯度值。然后在490处，例如，如上所讨论的那样，梯度值被用于识别具有一致变化或图案的平面对象。然后，在500处，例如，如上所讨论的那样，使用一种或多种数据增强技术来更新所识别的图案化平面对象。

在510处，根据图像数据计算梯度值。然后在520处，确定的平面对象被映射到图像帧。然后对平面对象和图像帧的计算梯度进行比较以获得匹配。当匹配存在时，则在540处从图像帧和平面对象中选择平面点97用于校准中使用。

然后在550处，使用平面点97作为例如张的校准方法中的棋盘来校准摄像机系统102。此后，该方法可以在560处结束。

虽然在前面的详细描述中已经出现了至少一个示例性实施例，但是应当理解的是存在大量的变化。还应当理解的是，一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解的是，在不脱离所附权利要求及其法律等同物中所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (8)

1.一种校准自主车辆摄像机系统的计算机执行的方法，包括：

在自主车辆正在操作的同时通过处理器从由所述自主车辆的传感器生成的传感器数据中识别平面对象；

通过所述处理器基于从所述传感器数据计算的梯度值来识别由所述平面对象呈现的三维网状图案；

通过所述处理器从所述平面对象的所述图案中选择平面点；以及

在自主车辆正在操作的同时通过所述处理器基于所述平面点校准所述摄像机系统；

其中所述传感器数据包括激光雷达数据，其中识别所述图案是基于从所述激光雷达数据的点计算的梯度值。

2.如权利要求1所述的方法，其中所述传感器数据包括图像数据。

3.如权利要求2所述的方法，还包括：

计算所述图像数据中的像素的梯度值；以及

基于所述图像数据中的梯度值来选择所述平面点。

4.如权利要求1所述的方法，其中识别所述图案是基于从激光雷达数据和图像数据的点计算的梯度值。

5.如权利要求1所述的方法，还包括基于至少一种数据增强技术填充所述图案的孔。

6.如权利要求5所述的方法，其中所述数据增强技术包括反走样。

7.如权利要求5所述的方法，其中所述数据增强技术基于预定义的三维地图。

8.一种校准自主车辆摄像机系统的计算机执行的系统，包括：

第一非瞬态模块，其在自主车辆正在操作的同时通过处理器从由自主车辆的传感器所生成的传感器数据中识别平面对象；

第二非瞬态模块，其通过处理器基于从所述传感器数据计算的梯度值来识别由所述平面对象呈现的三维网状图案，并且从所述平面对象的所述图案中选择平面点；和

第三非瞬态模块，其在自主车辆正在操作的同时通过所述处理器基于所述平面点校准所述摄像机系统；

其中所述传感器数据包括激光雷达数据，其中识别所述图案是基于从所述激光雷达数据的点计算的梯度值。