CN111532257B - 用于补偿交通工具校准误差的方法和系统 - Google Patents

Abstract

本申请公开了一种用于补偿交通工具系统误差的方法和系统。将虚拟相机添加到交通工具传感器配置和坐标变换过程，该过程尝试将与地标相关联的多个3D点与检测到的地标进行匹配。虚拟相机与检测到的地标相关联。可以将3D世界坐标点变换到真实的3D相机坐标系，并且然后变换到虚拟的3D相机坐标系。真实和虚拟相机坐标系中的3D点分别投影到对应的2D图像像素坐标上。在坐标变换过程中包括虚拟相机会呈现3D到2D点对应的问题，可以使用相机姿态估计算法来解决该问题。可以确定偏移补偿变换矩阵，该矩阵解释由误校准的交通工具传感器或系统造成的误差，并在交通工具控制系统使用之前将其应用于所有数据。

Description

用于补偿交通工具校准误差的方法和系统

技术领域

本公开涉及自动交通工具(vehicle)。更具体地，本公开涉及用于校正或补偿例如由交通工具传感器校准(calibration)、定位和高/中精度(HD/MD)地图标签引起的交通工具校准误差的方法。

背景技术

交通工具可以使用各种传感器，诸如但不限于高/中精度(HD/MD)地图、3D光检测和测距(LiDAR)、相机、全球定位系统(GPS)、惯性测量单元(IMU)、雷达等等，以用于各种各样的功能，诸如但不限于地标检测、碰撞避免、停车、导航和制导。对于自动交通工具尤其如此，在自动交通工具中，精确的交通工具传感器外部参数校准对于实现自动驾驶至关重要。

例如，诸如但不限于交通信号灯、车道标记、停车标志、人行横道等等的地标通常由HD/MD地图中的唯一标识符(ID)和多个3D点(例如，四个3D点定义了交通信号灯的边界)来表示，每一个地图都是相对于世界参照系(frame)或世界坐标系进行描述的。可以通过查询带有交通工具位置的HD/MD地图来获得3D世界参照系参考点。然后，将3D世界参照系参考点相应地投影到2D图像像素坐标或图像空间。在理想情况下，2D图像中的投影方位应与检测到的实际地标边界对齐。然而，受交通工具传感器校准、定位和HD/MD地图标签影响的投影方位并不完全可靠。因此，投影方位可能相对于实际地标方位具有较大的偏移量。

发明内容

本文公开了补偿交通工具校准误差以增强对象检测准确度的方法和系统。补偿交通工具系统误差的方法和系统。将虚拟相机添加到交通工具传感器配置和坐标变换过程，该过程尝试将与地标相关联的多个3D点与实际或检测到的地标进行匹配。虚拟相机与检测到的地标相关联。3D世界坐标点可以被变换到真实的3D相机坐标系，并且可以从真实的3D相机坐标系变换到虚拟的3D相机坐标系。然后，将真实相机和虚拟相机坐标系中的3D点分别投影到对应的2D图像像素坐标或图像空间上。在坐标变换过程中包括虚拟相机会呈现3D到2D点对应的问题，可以使用相机姿态估计算法来解决该问题。然后可以确定偏移补偿变换矩阵，该矩阵解释由误校准的交通工具传感器或系统造成的误差。然后可以在交通工具控制系统使用之前将偏移补偿变换矩阵应用于所有数据。

附图说明

当结合附图阅读时，根据下面的详细描述来最好地理解本公开。要强调的是，根据惯例，附图的各个特征未按比例绘制。相反地，为了清楚起见，各种特征的尺寸被任意扩大或缩小。

图1是根据本公开的实施例的交通工具的示例的示图。

图2是图1所示的控制系统的示例的示图。

图3是根据本公开的实施例的交通工具控制系统的示例的示图。

图4是根据本公开的实施例的包括交通工具控制系统的交通工具的侧视图的示例的示图。

图5是根据本公开的实施例的交通工具控制系统的示例的示图。

图6是用于在没有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。

图7是根据本公开的实施例的用于在具有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。

图8是根据本公开的实施例的用于在具有补偿的情况下投影对象坐标的一般框架和系统的示例的示图。

图9是根据本公开的实施例的用于交通工具校准补偿的示例方法的流程图。

图10是根据本公开的实施例的用于交通工具校准补偿的示例方法的流程图。

图11是根据本公开的实施例的旋转矩阵的示例的曲线图。

图12是根据本公开的实施例的平移矩阵的示例的曲线图。

图13是根据本公开的实施例的使用交通工具校准补偿方法的示例地标匹配的照片。

图14是示例地标失配的照片。

图15是示例地标匹配的照片。

具体实施方式

现在将更详细地参照其示例在附图中图示的本发明的优选实施例。在可能的任何地方，遍及附图和描述，将使用相同的附图标记来指代相同或相似的部分。

如本文中使用的，术语“计算机”或“计算设备”包括能够实行本文中公开的任何方法或其任何一个或多个部分的任何单元或单元的组合。

如本文中使用的，术语“处理器”指示一个或多个处理器，诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个专用标准产品、一个或多个现场可编程门阵列、集成电路的任何其他类型或组合、一个或多个状态机或它们的任何组合。

如本文中使用的，术语“存储器”指示可以有形地包含、存储、传送或传输可以被任何处理器使用或与任何处理器结合使用的任何信号或信息的任何计算机可用或计算机可读介质或设备。例如，存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓冲存储器、一个或多个半导体存储器件、一种或多种磁性介质、一种或多种光学介质、一种或多种磁光学介质或它们的任何组合。

如本文中使用的，术语“指令”可以包括用于实行本文中公开的任何方法、或其任何一个或多个部分的指导或表达，并且可以以硬件、软件或其任何组合的形式来实现。例如，指令可以被实现为存储在存储器中的诸如计算机程序之类的信息，该信息可以由处理器执行以实行如本文所述的任何相应的方法、算法、方面或其组合。指令或其一部分可以被实现为专用处理器或电路，其可以包括用于执行如本文中所述的方法、算法、方面或其组合中的任何一个的专用硬件。在一些实现方式中，指令的部分可以分布在单个设备上、多个设备上的多个处理器之间，该多个设备可以直接通信或跨诸如局域网、广域网、互联网或其组合的网络进行通信。

如本文中使用的，术语“确定”和“识别”或其任何变体包括使用在本文中示出和描述的一种或多种设备和方法以任何方式来选择、查明、计算、查找、接收、确定、建立、获得或以其他方式识别或确定。

如本文中使用的，术语“示例”、“实施例”、“实现方式”、“方面”、“特征”或“元素”指示用作示例、实例或说明。除非明确指出，否则任何示例、实施例、实现方式、方面、特征或元素独立于每个其他示例、实施例、实现方式、方面、特征或元素，并且可以与任何其他示例、实施例、实现方式、方面、特征或元素相组合地使用。

如本文中使用的，术语“或”意图表示包括性的“或”而不是排他性的“或”。即，除非另行规定，或者根据上下文是清楚的，“X包括A或B”意图指示任何自然的包括性排列。即，如果X包括A；X包括B；或X包括A和B两者，则在任何前述情况下均满足“X包括A或B”。此外，如在本申请和所附权利要求中使用的冠词“一”和“一个”可以一般地被解释为意指“一个或多个”，除非另行规定，或者根据上下文清楚地指向单数形式。

此外，为了简化解释，尽管本文中的附图和描述可以包括步骤或阶段的序列或系列，但是本文中公开的方法的要素可以以各种次序或同时发生。附加地，本文中公开的方法的元素可以与本文中未明确呈现和描述的其他元素一起出现。此外，并不需要本文中所述的方法的所有元素来实现根据本公开的方法。尽管在本文中以特殊组合的形式描述了方面、特征和元素，但是可以在具有或不具有其他方面、特征和元素的情况下单独地或以各种组合的形式使用每个方法、特征或元素。

精确的交通工具传感器外部参数校准对于在城市环境等中实现自动驾驶至关重要。可能经受校正或校准的交通工具传感器和系统可以包括高/中精度(HD/MD)地图、3D光检测和测距(LiDAR)、相机、全球定位系统(GPS)、惯性测量单元(IMU)、雷达等等。在示例中，图14示出了具有校准系统的示例地标匹配的照片。示例地标被示为交通信号灯14000。相对于世界坐标系来描述3D点，并通过向HD/MD地图查询交通工具的位置来获得3D点。然后将3D点投影到2D图像像素坐标系，并示为投影的交通信号灯14100。在校准的系统中，投影的交通信号灯14100与同一图像像素坐标系中的检测到的交通信号灯14200的边界对准。

在另一示例中，图15示出了与误校准的系统(不准确的系统)失配的示例地标的照片。如上面讨论的，可以从HD/MD地图中查询交通信号灯15000，然后将其投影到2D图像像素坐标系中。这被示为投影的交通信号灯15100。在误校准的系统中，投影的交通信号灯15100在相同图像像素坐标系或图像空间中未与检测到的交通信号灯15200的边界对准。发生这种情况是因为交通工具传感器的校准、定位和HD/MD地图标签并不可靠。因此，投影的交通信号灯15100相对于检测到的交通信号灯15200具有较大的偏移。

本文中描述了一种补偿可能由各种交通工具传感器和系统(诸如但不限于交通工具传感器校准、定位和HD/MD地图)引起的交通工具校准误差的方法。即，可以通过使用本文中所述的方法来补偿受校准误差影响的投影方位。本文中所述的技术补偿了交通工具传感器的校准、定位、HD地图标签以及其他交通工具系统和传感器的误差，使得投影的地标(例如，图14和15中的交通信号灯)方位和实际检测到的地标方位与彼此具有更好或接近的对准。

在实现方式中，虚拟相机被添加到交通工具传感器配置和坐标变换过程。虚拟相机与实际或检测到的静态地标或动态对象相关联。例如，可以从HD/MD地图中查询地标的3D点。这些3D点可以在世界坐标系中。可以将3D世界坐标点变换到(并最终投影到)IMU参照系，从IMU参照系变换到LiDAR参照系、从LiDAR参照系变换到真实的3D相机坐标系，并且从真实的3D相机坐标系变换到虚拟的3D相机坐标系，其中后一种变换是偏移或误差补偿变换，该偏移或误差补偿变换解释由于误校准的交通工具传感器或系统造成的误差。然后，将真实相机和虚拟相机坐标系中的3D点分别投影到对应的2D图像像素坐标或图像空间上。可以将在坐标变换过程中包括虚拟相机呈现为或视为可以使用相机姿态估计算法解决的3D至2D点对应问题。然后，在交通工具系统使用之前，可以将偏移补偿变换应用于所有数据。在实现方式中，可以基于投影检测到的误差差异(基于阈值的)或其组合来一次地、周期性地计算误差补偿变换。在实现方式中，确定误差补偿变换的次数可以取决于误差的来源或对象的投影与实际或检测到的地标之间的偏移的原因。

图1是根据本公开的实施例的交通工具1000的示例的示图。交通工具1000可以是自动交通工具(AV)或半自动交通工具。如图1中所示，交通工具1000包括控制系统1010。控制系统1010可以被称为控制器。控制系统1010包括处理器1020。处理器1020被编程为命令施加最高的预确定的转向扭矩值和最高的预确定的净非对称制动力值中的一个。选择每个预确定的力来实现预确定的交通工具偏航扭矩，该交通工具偏航扭矩至多是由致动转向系统1030产生的第一最大偏航扭矩和由致动制动系统产生的第二最大偏航扭矩中的较小者。

转向系统1030可以包括：转向致动器1040，其是电力辅助转向致动器。制动系统可以包括耦合到交通工具1000的相应车轮1060的一个或多个制动器1050。附加地，处理器1020可以被编程为通过每个制动器1050施加与其他制动器1050不同的制动力来命令制动系统施加净不对称制动力。

处理器1020可以被进一步编程为响应于转向系统1030的故障而命令制动系统施加制动力，例如，净非对称制动力。附加地或替换地，处理器1020可以被编程为响应于转向系统1030的故障而向乘员提供警告。转向系统1030可以是动力转向控制模块。控制系统1010可以包括转向系统1030。附加地，控制系统1010可以包括制动系统。

转向系统1030可以包括：转向致动器1040，其是电力辅助转向致动器。制动系统可以包括：两个制动器1050，其耦合到交通工具1000的相反侧上的相应的车轮1060。附加地，该方法可以包括通过每个制动器1050施加不同的制动力来命令制动系统施加净不对称制动力。

如果在交通工具1000正在执行转弯时转向系统1030和制动系统中的一个发生故障，则控制系统1010允许转向系统1030和制动系统中的另一个接替转向系统1030和制动系统中发生故障的那一个。转向系统1030和制动系统中的任何一个保持可操作，然后能够向交通工具1000施加足够的偏航扭矩以继续转弯。因此，交通工具1000不太可能撞击诸如另一交通工具或道路屏障之类的对象，并且交通工具1000的任何乘员都不太可能受伤。

交通工具1000可以以自动交通工具操作的级别中的一个或多个来操作。出于本公开的目的，自动模式被定义为其中由处理器1020来控制交通工具1000的推进(例如，经由包括电动机和/或内燃机的动力总成)、制动和转向中的每一个的模式；在半自动模式下，处理器1020控制交通工具1000的推进、制动和转向中的一个或两个。因此，在一个示例中，非自动操作模式可以指代SAE级别0-1，部分自动或半自动操作模式可以指代SAE级别2-3，并且完全自动操作模式可以指代SAE级别4-5。

参考图2，控制系统1010包括处理器1020。处理器1020包括在交通工具1000中，以用于执行各种操作，包括如本文中所述的操作。处理器1020是通常包括处理器和存储器的计算设备，该存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行以实行各种操作(包括如本文中公开的操作)的指令。处理器1020的存储器通常还存储经由各种通信机制接收的远程数据；例如，处理器1020通常被配置成用于在交通工具1000内的通信网络上进行通信。处理器1020还可以具有到板载诊断连接器(OBD—II)的连接。尽管为了易于说明在图2中示出了一个处理器1020，要理解到，处理器1020可以包括本文中所述的各种操作，并且本文中所述的各种操作可以由一个或多个计算设备执行。处理器1020可以是控制模块(例如动力转向控制模块)，或者可以包括其他计算设备当中的控制模块。

控制系统1010可以通过通信网络发送信号，该通信网络可以是控制器局域网(CAN)总线、以太网、本地互连网络(LIN)、蓝牙，和/或通过任何其他有线或无线通信网络。处理器1020可以与动力系统2010、转向系统1030、制动系统2020、传感器2030和/或用户接口2040以及其他组件进行通信。

继续参照图2，交通工具1000的动力系统2010生成能量，并将能量转换成交通工具1000的运动。动力系统2010可以是已知的交通工具动力子系统，例如，常规的动力总成，其包括内燃机，该内燃机耦合到将旋转运动传递到车轮1060的变速器；包括电池、电动机和将旋转运动传递到车轮1060的变速器的电力动力总成；混合动力总成，其包括常规动力总成和电动动力总成的要素；或任何其他类型的推进力。动力系统2010与处理器1020和人类驾驶员通信并从其接收输入。人类驾驶员可以经由例如加速踏板和/或变速杆(未示出)来控制动力系统2010。

参照图1和图2，转向系统1030通常是已知的交通工具转向子系统，并且控制车轮1060的转动。转向系统1030与方向盘1070和处理器1020通信并从其接收输入。转向系统1030可以是具有经由转向致动器1040、线控转向系统(二者在本领域中都是已知的)或任何其他合适的系统的电力辅助转向的齿条齿轮(rack-and-pinion)系统。转向系统1030可以包括方向盘1070，该方向盘1070固定至耦合到转向齿条(steering rack)1090的转向柱1080。

参照图1，转向齿条1090例如以四杆连杆机构可旋转地耦合到车轮1060。转向齿条1090的平移运动导致车轮1060转变方向。转向柱1080可以经由齿条齿轮(即，在小齿轮和齿条传动之间的齿轮啮合(未示出))而耦合到转向齿条1090。

转向柱1080将方向盘1070的旋转传递为转向齿条1090的移动。转向柱1080可以是例如将方向盘1070连接到转向齿条1090的杆。转向柱1080可以容纳扭转传感器和离合器(未示出)。

方向盘1070通过将方向盘1070的旋转传输为转向齿条1090的移动而允许操作者操纵交通工具1000。方向盘1070可以是例如固定地附接到转向柱1080的刚性环，诸如是已知的。

继续参照图1，转向致动器1040耦合到转向系统1030，例如转向柱1080，以便引起车轮1060的转动。例如，转向致动器1040可以是可旋转地耦合到转向柱1080的电动机，即，被耦合以便能够将转向扭矩施加至转向柱1080。转向致动器1040可以与处理器1020通信。

转向致动器1040可以向转向系统1030提供动力辅助。换句话说，转向致动器1040可以在人类驾驶员使方向盘1070旋转的方向上提供扭矩，从而允许该驾驶员以较小的努力来转动方向盘1070。转向致动器1040可以是电动辅助转向致动器。

参照图1和图2，制动系统2020通常是已知的交通工具制动子系统，并且抵抗交通工具1000的运动，从而使交通工具1000减慢和/或停止。制动系统2020包括耦合到车轮1060的制动器1050。制动器1050可以是摩擦制动器，诸如盘式制动器、鼓式制动器、带式制动器等等；再生制动器；任何其他合适类型的制动器；或组合。制动器1050可以耦合到例如交通工具1000的相反侧上的相应车轮1060。制动系统2020与处理器1020和人类驾驶员通信并从其接收输入。人类驾驶员可以经由例如制动踏板(未示出)来控制制动。

参照图2，交通工具1000可以包括传感器2030。传感器2030可以检测交通工具1000的内部状态，例如，车轮速度、车轮取向以及发动机和变速器变量。传感器2030可以检测交通工具1000的方位或取向，例如，全球定位系统(GPS)传感器；加速度计，诸如压电或微机电系统(MEMS)；陀螺仪，诸如速率、环形激光器或光纤陀螺仪；惯性测量单元(IMU)；以及磁力计。传感器2030可以检测外部世界，例如是雷达传感器、扫描激光测距仪、光检测和测距(LIDAR)设备以及诸如相机之类的图像处理传感器。传感器2030可以包括通信设备，例如，交通工具对基础设施(V2I)设备、交通工具对交通工具(V2V)设备或交通工具对一切(V2E)设备。

用户接口2040向交通工具1000的乘员呈现信息，并且从其接收信息。用户接口2040可以位于例如交通工具1000的乘客室(未示出)中的仪表板上，或者可以被乘员容易看到的任何地方。用户接口2040可以包括用于输出(即，向乘员提供信息)的拨号盘、数字读数器、屏幕、扬声器等等，例如，包括诸如是已知的元件的人机接口(HMI)。用户接口2040可以包括按钮、旋钮、小键盘、触摸屏、传声器等等，以用于接收来自乘员的输入，即信息、指令等。

图3是根据本公开的实施例的交通工具控制系统3000的示例的示图。交通工具控制系统3000可以取决于特定实现方式的要求而包括各种组件。在一些实施例中，交通工具控制系统3000可以包括处理单元3010、图像获取单元3020、方位传感器3030、一个或多个存储单元3040、3050、地图数据库3060、用户接口3070和无线收发器3072。处理单元3010可以包括一个或多个处理设备。在一些实施例中，处理单元3010可以包括应用处理器3080、图像处理器3090或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像获取单元3020可以包括任何数量的图像获取设备和组件。在一些实施例中，图像获取单元3020可以包括一个或多个图像捕获设备(例如，相机、CCD或任何其他类型的图像传感器)，诸如图像捕获设备3022、图像捕获设备3024、图像捕获设备3026。系统3000还可包括将处理单元3010通信地连接到图像获取单元3020的数据接口3028。例如，数据接口3028可以包括用于将由图像获取单元3020获取的图像数据传输到处理单元3010的任何一个或多个有线和/或无线链路。

无线收发器3072可以包括一个或多个设备，该设备被配置成通过使用射频、红外频率、磁场或电场通过空中接口交换至一个或多个网络(例如，蜂窝、互联网等)的传输。无线收发器3072可以使用任何已知的标准来发送和/或接收数据(例如，Wi-Fi、

蓝牙智能、802.15.4、ZigBee等)。这样的传输可以包括从主交通工具到一个或多个远程服务器的通信。这样的传输还可以包括在主交通工具的环境中的主交通工具与一个或多个目标交通工具之间的通信(单向或双向)(例如，便于在主交通工具的环境中鉴于或与目标交通工具一起的主交通工具的导航协调)，或甚至是到传输交通工具附近的未指定接收者的广播传输。

应用处理器3080和图像处理器3090两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器3080和图像处理器3090中的一个或两个都可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或适用于运行应用程序以及用于图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等等。

在一些实施例中，应用处理器3080和/或图像处理器3090可以包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，处理器可使用以332Mhz操作的90nm微米技术。

本文中公开的任何处理设备可以被配置成实行某些功能。配置诸如所描述的处理器、其他控制器或微处理器中的任何一个的处理设备以实行某些功能可以包括：对计算机可执行指令编程，并使那些指令可用于处理设备以供处理设备的操作期间执行。在一些实施例中，配置处理设备可以包括：直接用架构指令对处理设备进行编程。在其他实施例中，配置处理设备可以包括：在操作期间将可执行指令存储在处理设备可访问的存储器上。例如，处理设备可以在操作期间访问存储器以获得并执行所存储的指令。在任一情况下，被配置成实行本文中公开的感知、图像分析和/或导航功能的处理设备表示控制主交通工具的多个基于硬件的组件中的基于专用硬件的系统。

虽然图3描绘了处理单元3010中所包括的两个单独的处理设备，但是可以使用更多或更少个处理设备。例如，在一些实施例中，单个处理设备可以被用来完成应用处理器3080和图像处理器3090的任务。在其他实施例中，可以由多于两个处理设备实行这些任务。此外，在一些实施例中，交通工具控制系统3000可以包括处理单元3010中的一个或多个，而不包括诸如图像获取单元3020之类的其他组件。

处理单元3010可以包括各种类型的设备。例如，处理单元3010可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括：视频处理器，以用于捕获、数字化和处理来自图像传感器的图像。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是本领域通常公知的任何数量的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光学存储器、磁带存储器、可移动存储装置和其他类型的存储装置。在一个实例中，存储器可以与处理单元3010分离。在另一实例中，存储器可以被集成到处理单元3010中。

每个存储器3040、3050可以包括软件指令，该软件指令在由处理器(例如，应用处理器3080和/或图像处理器3090)执行时，可以控制交通工具控制系统3000的各个方面的操作。这些存储单元可以包括各种数据库和图像处理软件，以及经训练的系统，诸如例如神经网络或深度神经网络。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光学存储装置、磁带存储装置、可移动存储装置和/或任何其他类型的存储装置。在一些实施例中，存储单元3040、3050可以与应用处理器3080和/或图像处理器3090分离。在其他实施例中，这些存储器单元可以被集成到应用处理器3080和/或图像处理器3090中。

方位传感器3030可以包括适合于确定与交通工具控制系统3000的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，方位传感器3030可以包括GPS接收器。这样的接收器可以通过处理由全球定位系统卫星广播的信号来确定用户方位和速度。可以使得来自方位传感器3030的方位信息可用于应用处理器3080和/或图像处理器3090。

在一些实施例中，交通工具控制系统3000可以包括诸如用于测量交通工具1000的速度的速度传感器(例如，速度计)之类的组件。交通工具控制系统3000还可以包括一个或多个加速度计(单轴或多轴的)，以用于测量交通工具1000沿一个或多个轴线的加速度。

存储单元3040、3050可以包括数据库或以任何其他形式组织的数据，其指示已知地标的位置。可以将环境的感官信息(诸如图像、雷达信号、来自LIDAR的深度信息或两个或更多个图像的立体处理)与方位信息(诸如GPS坐标、交通工具的自我运动等)一起处理，以确定交通工具相对于已知地标的当前位置，并完善交通工具位置。

用户接口3070可以包括适合于向交通工具控制系统3000的一个或多个用户提供信息或从其接收输入的任何设备。在一些实施例中，用户接口3070可以包括：用户输入设备，其包括例如，触摸屏、传声器、键盘、指针设备、轨道轮、相机、旋钮、按钮等等。利用这样的输入设备，用户可以能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪功能在屏幕上选择菜单选项，或通过用于将信息传送给交通工具控制系统3000的任何其他合适技术来向交通工具控制系统3000提供信息输入或命令。

用户接口3070可以配备有一个或多个处理设备，该处理设备被配置成向用户提供信息或从用户接收信息，并处理该信息以供例如应用处理器3080使用。在一些实施例中，这样的处理设备可以执行用于识别和跟踪眼睛运动、接收和解释语音命令、识别和解释在触摸屏上做出的触摸和/或手势、响应于键盘输入或菜单选择等的指令。在一些实施例中，用户接口3070可以包括显示器、扬声器、触觉设备和/或用于向用户提供输出信息的任何其他设备。

地图数据库3060可以包括用于存储对交通工具控制系统3000有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库3060可以包括与各种项目在参考坐标系中的方位有关的数据，这些项目包括道路、水文特征、地理特征、商业、感兴趣点、饭店、加油站等。地图数据库3060可以不仅存储这些项目的位置，而且可以存储与那些项目有关的描述符，例如包括与任何存储的特征相关联的名称。在一些实施例中，地图数据库3060可以利用交通工具控制系统3000的其他组件物理地定位。替换地或附加地，地图数据库3060或其一部分可以相对于交通工具控制系统3000的其他组件(例如，处理单元3010)位于远处。在这样的实施例中，来自地图数据库3060的信息可以通过有线或无线数据连接下载到网络(例如，通过蜂窝网络和/或互联网等)。在一些情况下，地图数据库3060可以存储稀疏数据模型，该稀疏数据模型包括用于主交通工具的某些道路特征(例如，车道标记)或目标轨迹的多项式表示。地图数据库3060还可以包括所存储的各种识别出的地标的表示，其可以被用来确定或更新主交通工具相对于目标轨迹的已知方位。地标表示可以包括数据字段，诸如地标类型、地标位置以及其他潜在的标识符。

图像捕获设备3022、3024和3026可以均包括适合于从环境捕获至少一个图像的任何类型的设备。此外，任何数量的图像捕获设备可以被用来获取图像以输入到图像处理器。一些实施例可以仅包括单个图像捕获设备，而其他实施例可以包括两个、三个或甚至四个或更多个图像捕获设备。下文将参照图4进一步描述图像捕获设备3022、3024和3026。

一个或多个相机(例如，图像捕获设备3022、3024和3026)可以是交通工具上包括的感知模块的一部分。感知模块中可以包括各种其他传感器，并且可以依赖任何或所有传感器来形成感知到的交通工具的导航状态。除了相机(向前的、侧面的、向后的等)外，其他传感器(诸如RADAR、LIDAR和声学传感器)也可以包含在感知模块中。附加地，感知模块可以包括一个或多个组件，该一个或多个组件被配置成传送和发送/接收与交通工具的环境有关的信息。例如，这样的组件可以包括：无线收发器(RF等)，其可以相对于基于主交通工具传感器的信息或与主交通工具的环境有关的任何其他类型的信息从远程定位的源接收。这样的信息可以包括传感器输出信息或从除主交通工具以外的交通工具系统接收的相关信息。在一些实施例中，这样的信息可以包括从远程计算设备、集中式服务器等接收的信息。此外，相机可以采取许多不同的配置：单个相机单元、多个相机、相机集群、长FOV、短FOV、广角、鱼眼等等。

图4是根据本公开的实施例的包括交通工具控制系统3000的交通工具1000的侧视图的示例的示图。例如，交通工具1000可以配备有处理单元3010和交通工具控制系统3000的任何其他组件，如以上相对于图3所描述的。尽管在一些实施例中，交通工具1000可以仅配备有单个图像捕获设备(例如，相机)，但是在其他实施例中，可以使用多个图像捕获设备。例如，如图4所示，交通工具1000的图像捕获设备3022和3024中的任一个都可以是自动驾驶系统成像装置的一部分。

作为图像获取单元3020的一部分的包括在交通工具1000上的图像捕获设备可以被定位在任何合适的位置处。在一些实施例中，图像捕获设备3022可以位于后视镜附近。该方位可以提供与交通工具1000的驾驶员的视线相似的视线，这可以有助于确定驾驶员可见和不可见的内容。图像捕获设备3022可以定位在后视镜附近的任何位置，但是将图像捕获设备3022放置在后视镜的驾驶员侧可以进一步有助于获得代表驾驶员的视野和/或视线的图像。

也可以使用图像获取单元3020的图像捕获设备的其他位置。例如，图像捕获设备3024可以位于交通工具1000的保险杠之上或之中。这样的位置可能尤其适合于具有宽视野的图像捕获设备。位于保险杠的图像捕获设备的视线可能与驾驶员的视线不同，并且因此，保险杠图像捕获设备和驾驶员可能并不总是看到相同的对象。图像捕获设备(例如，图像捕获设备3022、3024和3026)也可以位于其他位置。例如，图像捕获设备可以位于交通工具1000的侧镜的一个或两个之上或之中、在交通工具1000的车顶上、在交通工具1000的发动机盖上、在交通工具1000的后备箱上、在交通工具1000的侧面上、被安装在交通工具1000的任何窗户上、或被定位在其后面或被定位在其前面，以及安装在交通工具1000的前面和/或后面的灯固定架中或在其附近。

除图像捕获设备外，交通工具1000还可以包括交通工具控制系统3000的各种其他组件。例如，处理单元3010可以包括在交通工具1000上，与交通工具的发动机控制单元(ECU)集成在一起或与其分离。交通工具1000还可以配备有方位传感器3030(诸如GPS接收器)，并且还可以包括地图数据库3060以及存储器单元3040和3050。

如之前讨论的，无线收发器3072可以和/或通过一个或多个网络(例如，蜂窝网络、互联网等)接收数据。例如，无线收发器3072可以将由交通工具控制系统3000收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器3072，交通工具控制系统3000可以例如接收对存储在地图数据库3060、存储器3040和/或存储器3050中的数据的定期或按需更新。类似地，无线收发器3072可以从交通工具控制系统3000上传任何数据(例如，图像获取单元3020捕获的图像，方位传感器3030或其他传感器、交通工具控制系统等接收的数据)和/或将处理单元3010处理的任何数据上传到一个或多个服务器。

交通工具控制系统3000可以基于隐私级别设置将数据上传到服务器(例如，上传到云)。例如，交通工具控制系统3000可以实现隐私级别设置，以调节或限制被发送到服务器的数据的类型(包括元数据)，该数据可以唯一地标识交通工具和/或交通工具的驾驶员/所有者。这样的设置可以由用户经由例如无线收发器3072设置，通过出厂默认设置或通过无线收发器3072接收到的数据进行初始化。

图5是根据本公开的实施例的交通工具系统架构5000的示例的示图。在5010中，交通工具系统架构5000可以被实现为主交通工具的一部分。

交通工具系统架构5000包括：导航设备5090、决策单元5130、对象检测器5200、V2X通信5160和交通工具控制器5020。决策单元5130可以使用导航设备5090来确定主交通工具5010到目的地的行驶路径。该行驶路径例如可以包括行驶路线或导航路径。导航设备5090、决策单元5130和交通工具控制器5020可以被共同地用来确定在沿道路操纵主交通工具5010的位置，使得主交通工具5010相对于例如车道标记、路缘、交通标志、行人、其他交通工具等适当地位于道路上，基于指导主交通工具5010来跟随以到达目的地的数字地图5120来确定路线，或这两者。

为了确定主交通工具5010在数字地图5120上的位置，导航设备5090可以包括定位设备5140，诸如GPS/GNSS接收器5142、惯性测量单元(IMU)5146、车轮5148和零速度更新(ZUPT)5150。相机5170、雷达单元5190、声纳单元5210、LIDAR单元5180或其任何组合可以被用来检测在主交通工具5010附近的在数字地图5120上指示的相对永久的对象(例如交通信号、建筑物等)，并且确定相对于那些对象的相对位置，以便确定主交通工具5010在数字地图5120上的位置。可以将此过程称为地图定位。导航设备5090的功能、由导航设备5090提供的信息，或二者可以全部或部分地通过V2I通信、V2V通信、交通工具到行人(V2P)通信或其组合(通常可以将其标记为V2X通信5160)来提供。导航设备5090、定位设备5140或两者可以包括(一个或多个)处理器，诸如微处理器或其他控制电路，诸如模拟电路、数字电路或两者，包括用于处理数据的专用集成电路(ASIC)。导航设备5090、定位设备5140或两者可以包括存储器，其包括非易失性存储器，诸如用于存储一个或多个例程、阈值、捕获的数据或其组合的电可擦除可编程只读存储器(EEPROM)。

导航设备5090可以实现虚拟相机5300以补偿由于例如交通工具传感器校准、定位、HD地图标签和其他交通工具系统和传感器误差所致的误差。在实行如本文中所述的坐标变换过程时，虚拟相机5300可以与实际的或检测到的地标或对象相关联，该地标或对象然后被包括在交通工具传感器配置中。

在一些实现方式中，对象检测器5200可以包括声纳单元5210、相机5170、LIDAR单元5180和雷达单元5190。对象检测器5200可以被用来检测另一实体的相对位置，并且确定另一实体将与主交通工具5010的行驶路径相交的交点。为了确定交点和主交通工具5010和另一实体何时将到达该交点的相对定时，交通工具系统架构5000可以使用对象检测器5200来确定例如相对速度、另一实体与主交通工具5010的分隔距离，或两者。对象检测器5200的功能、对象检测器5200提供的信息或两者，可以全部或部分地通过V2I通信、V2V通信、V2P通信或它们的组合(其通常可以被标记为V2X通信5160)来进行。因此，交通工具系统架构5000可以包括收发器以实现这样的通信。

交通工具系统架构5000包括：与对象检测器5200和导航设备5090通信的决策单元5130。该通信可以通过但不限于有线、无线通信或光纤的方式。决策单元5130可以包括(一个或多个)处理器(诸如微处理器)，或其他控制电路(诸如模拟电路、数字电路，或两者)，包括用于处理数据的专用集成电路(ASIC)。决策单元5130可以包括存储器，该存储器包括非易失性存储器，诸如用于存储一个或多个例程、阈值、捕获的数据或其组合的电可擦除可编程只读存储器(EEPROM)。决策单元5130可以确定或控制主交通工具5010的路线或路径计划、本地驾驶行为和轨迹计划。

交通工具系统架构5000包括与决策单元5130通信的交通工具控制器或轨迹跟踪器5020。交通工具控制器5020可以通过将适当的交通工具命令(例如转向、节气、制动等等运动)应用于沿着几何路径引导交通工具的物理控制机构(诸如转向、加速器、制动器等等)来执行定义的几何路径。交通工具控制器5020可以包括诸如微处理器之类的(一个或多个)处理器或诸如模拟电路、数字电路或两者的其他控制电路，包括用于处理数据的专用集成电路(ASIC)。交通工具控制器5020可以包括存储器，该存储器包括非易失性存储器，诸如用于存储一个或多个例程、阈值、捕获的数据或其组合的电可擦除可编程只读存储器(EEPROM)。

主交通工具5010可以在不需要人类操作员来操作交通工具5010的自动模式下操作。在自动模式下，交通工具控制系统5000(例如使用交通工具控制器5020、决策单元5130、导航设备5090、对象检测器5200以及其他所述传感器和设备)自动地控制交通工具5010。替换地，主交通工具可以在手动模式下操作，其中自动的程度或级别可能仅仅是向操作员提供转向建议。例如，在手动模式下，交通工具系统架构5000可以根据需要协助操作员到达所选目的地，避免与另一实体的干扰或碰撞，或者两者，其中另一实体可以是另一交通工具、行人、建筑物、树、动物或交通工具5010可能遇到的任何其他对象。

图6是用于在不补偿由交通工具传感器校准、定位和HD/MD地图等等导致的误差的情况下用于投影对象坐标的框架、过程和系统6000的示例的示图。对于该说明性示例，交通信号灯6100被用作地标或对象(统称为地标)，而不限制或影响说明书和权利要求的范围。可以使用停车标志、信息标志、电话杆、通讯塔、移动的交通工具等等。地标或对象可以是静态的、静止的、动态的或移动的。

从诸如图5中的数字地图5120之类的地图获得一组3D点。例如，4个3D点6150限定了交通信号灯6100的边界。这些3D点位于世界坐标系或世界参照系中。框架6000使用等式(1)将3D点从世界坐标系变换到相机(诸如，图5中的相机5170)参照系或图像坐标系或图像空间：

其中

和

分别是从相机参照系到lidar参照系6200、从lidar参照系到imu参照系6300，以及从imu参照系到世界参照系6400的变换矩阵。此外，

和

分别表示世界和相机参照系中的第i个3D坐标。相机参照系中的标准化坐标可以表达为：

并且将归一化坐标投影到对应的图像像素坐标可以表达为：

其中

和

是相机固有校准矩阵，其可以通过对相机进行预校准而获得或从制造商说明书中找到。例如，

(图像像素坐标系或图像空间中的投影坐标)是投影点6500。然而，在2D图像空间中的交通信号灯6100的实际或检测到的四个拐角方位

是检测点6600。投影点6500与检测点6600之间的这种偏移是由传感器校准、数字地图、定位等等中的误差产生的。

通过建立与检测点6600相关联的虚拟相机，可以最小化或克服该偏移。例如，导航设备5090可以实现虚拟相机5300。虚拟相机可以与真实相机共享相同的物理属性(即，固有参数)，并且可以被用来定义真实相机与虚拟相机之间的变换，即

在本文中，该变换也可以被称为补偿变换或偏移补偿变换。

图7是根据本公开的实施例的用于投影对象坐标的、包括偏移补偿的一般框架、过程和系统7000的示例的示图，其可以利用图5的导航设备5090、定位设备5140、地图5120和V2X 5160部分地实现。图7使用来自图6的编号和相关联的描述来简化该描述。

将虚拟相机包括在图6的传感器配置和框架中将诸如4个3D点6150的多个3D点投影成图像像素坐标，以使得该4个3D点6500与检测点6600重叠。框架7000使用等式(4)将3D点从世界坐标系变换到虚拟相机参照系或虚拟相机坐标参照系：

其中

是真实相机与虚拟相机6700之间的偏移补偿变换矩阵。虚拟相机参照系中的归一化3D坐标然后可以表达为：

并且将归一化的坐标投影到对应的图像像素坐标可以表达为：

简单来说，目标是要现在利用对应的特征点来确定偏移补偿变换矩阵

如图8所示，虚拟相机和真实相机都可以观察到这些特征点。这是真实相机与虚拟相机8100之间的偏移补偿变换矩阵。可以将偏移补偿变换矩阵的求解视为3D-2D点对应的问题，这是由于在相机坐标系中，交通信号灯的边界上的四个3D点(例如，图6或7中的点6150)是已知的，并且可以通过使用拐角检测或对象检测算法(例如，图6或7中的点6600)在图像空间中获得实际或检测到的四个2D点。然后可以通过应用相机姿态估计算法或诸如透视n点(PnP)技术等来解决3D-2D点对应问题。然后可以在交通工具系统使用之前将偏移补偿变换应用于数据。

在实现方式中，例如，如果误差是由于交通工具传感器校准所致，则可以进行一次偏移补偿变换的确定。在实现方式中，可以周期性地完成偏移补偿变换的确定。在实现方式中，可以在满足或超过与投影点和检测点之间的差异有关的定义阈值时，完成偏移补偿变换矩阵的确定。在实现方式中，可以通过在多个连续位置或时间参照系中收集多个3D点和对应的2D点，并且然后运行随机样本共识(RANSAC)来去除异常值和失配，来提高偏移补偿变换的鲁棒性。例如，与仅使用一对点相比，多对点可以将噪声平均化。如前所述，然后可以应用相机方位估计算法以获得偏移补偿变换矩阵。

图9是根据本公开的实施例的用于对交通工具系统中的误差进行偏移补偿的技术或方法9000的示例的示图。方法9000包括：从交通工具系统获得9100地标的多个3D点；将多个3D点变换9200到相机参照系；获得9300地标的实际多个2D点；建立9400虚拟相机，其与地标的实际多个2D点相对应；通过使用相机参照系中的多个3D点和虚拟相机参照系中的实际多个2D点来应用相机姿态算法，以确定9500偏移补偿矩阵；以及在交通工具控制系统使用之前，将偏移补偿矩阵应用9600到数据点。例如，技术9000可以在适用且适当的情况下由以下各项实现：图5中所示的定位设备5140、图5中所示的导航设备5090、V2X5160、地图5120、图1中所示的控制系统1010、图1或图2中所示的处理器1020、或者图3或图4中所示的处理单元3010。

方法9000包括：从交通工具系统获得9100地标的多个3D点。在实现方式中，多个3D点位于世界坐标系或世界参照系中。在实现方式中，可以从数字地图获得多个3D点。在实现方式中，可以从交通工具传感器系统获得多个3D点。在实现方式中，可以在定位之后获得多个3D点。

方法9000包括：将多个3D点变换9200到相机参照系中。在实现方式中，多个3D点经历多步变换。在实现方式中，多个3D点经历从世界参照系到IMU参照系、从IMU参照系到LiDAR参照系，以及从LiDAR参照系到真实相机2D参照系的变换。

方法9000包括：获得9300地标的实际多个2D点。在实现方式中，图像检测技术可以被用来确定实际多个2D点。在实现方式中，可以使用对象检测技术来确定实际多个2D点。在实现方式中，拐角检测技术可以被用来确定实际多个2D点。

方法9000包括：建立9400与地标的实际多个2D点相对应的虚拟相机。在实现方式中，虚拟相机可以共享与真实相机相同的物理属性。在实现方式中，虚拟相机可以共享与真实相机相同的固有参数。在实现方式中，虚拟相机可以被用来定义真实相机与虚拟相机之间的变换空间。

方法9000包括：通过使用相机参照系中的多个3D点和虚拟相机参照系中的实际多个2D点来应用相机姿态算法，以确定9500偏移补偿矩阵。偏移补偿矩阵是真实相机与虚拟相机之间的变换。在实现方式中，相机姿态算法可以是视角n点(PnP)技术或算法。在实现方式中，偏移补偿矩阵可以包括平移矩阵和旋转矩阵。在实现方式中，偏移补偿矩阵可以包括偏航(yaw)、俯仰(pitch)和滚动(row)矩阵。在实现方式中，偏移补偿矩阵可以包括x、y和z矩阵。

方法9000包括：在交通工具控制系统使用之前将偏移补偿矩阵应用9600到数据点。偏移补偿矩阵可以在被决策单元、控制器、交通工具控制器或其他类似系统用于交通工具的引导、控制等之前，被应用于来自交通工具传感器系统、定位、数字地图等等的数据点。

图10是根据本公开的实施例的用于交通工具校准补偿的示例方法或技术10000的流程图。方法10000包括：实时计算10100实际2D点与投影2D点之间的误差；确定10200误差是否大于定义的阈值；当误差等于或大于定义的阈值时，运行10300补偿算法；并且当误差小于定义的阈值时，维持10400当前的交通工具传感器校准。例如，技术10000可以在适用且适当的情况下由以下各项实现：图5中所示的定位设备5140、图5中所示的导航设备5090、V2X5160、地图5120、图1中所示的控制系统1010、图1或图2中所示的处理器1020、或者图3或图4中所示的处理单元3010。

方法10000包括：实时计算10100实际2D点与投影2D点之间的误差。在实现方式中，该误差可以是两组点之间的均方根误差。在实现方式中，该误差可以是两组点之间的绝对误差。

方法10000包括：确定10200误差是否大于定义的阈值。

方法10000包括：当误差等于或大于定义的阈值时，运行10300补偿算法。在实现方式中，方法9000可以被执行以确定偏移补偿矩阵。

方法10000包括：当误差小于定义的阈值时，维持10400当前的交通工具传感器校准。在实现方式中，当前的交通工具传感器校准良好并且可以维持现状。

进行实验以评估所述技术的性能。在相机参照系中的交通信号灯边界上的3D点被收集，并且使用例如BuildApollo同时收集了对应的实际2D交通信号灯坐标。出于实验目的，使用不准确的传感器校准矩阵通过imu、lidar和相机参照系变换了世界参照系中的3D点。考虑到相机参照系中的3D点和虚拟相机图像空间中的对应2D坐标，偏移补偿变换矩阵

(例如，旋转和平移矩阵)可以通过应用PnP算法获得。真实相机与虚拟相机之间的估计偏移补偿变换矩阵在图11和12中示出。图11是根据本公开的实施例的旋转矩阵的示例的曲线图，并且图12是根据本公开的实施例的平移矩阵的曲线图。然后可以按顺序使用等式4-6利用偏移补偿变换矩阵将世界参照系中的3D点投影到虚拟相机参照系。如图13(其是使用根据本公开的实施例的交通工具校准补偿方法的示例地标匹配的照片)中所示，投影的边界框13000和实际的边界框13100重叠。重叠程度可能会变化。出于比较的目的，示出了未补偿的边界框13200。

一般而言，用于补偿自动交通工具(AV)系统误差的方法包括：获得对象的多个3D点。该多个3D点被变换到相机参照系。获得对象的实际2D点，并且建立对应于实际2D点的虚拟相机。在与相机参照系相关联的相机与虚拟相机之间确定偏移补偿矩阵。在交通工具控制系统使用之前，将偏移补偿矩阵应用于数据点，并且利用偏移补偿的数据点来控制AV的操作。在实现方式中，使用相机参照系中的多个3D点和与虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定偏移补偿矩阵。在实现方式中，偏移补偿矩阵包括平移矩阵和旋转矩阵。在实现方式中，多个3D点在世界坐标系中。在实现方式中，世界坐标系中的多个3D点被变换到惯性测量单元(IMU)参照系、从IMU参照系变换到光检测和测距(LiDAR)参照系，并且从LiDAR参照系变换到相机参照系。在实现方式中，使用图像检测、对象检测和拐角检测中的至少一种来确定实际2D点。在实现方式中，虚拟相机和该相机的物理属性是相同的。在实现方式中，虚拟相机和该相机的固有参数是相同的。在实现方式中，偏移补偿矩阵包括偏航、俯仰和滚动矩阵。

一般而言，交通工具系统包括：处理器，该处理器被配置成获得对象的多个3D点，将多个3D点变换到相机参照系，获得对象的实际2D点，建立与实际2D点相对应的虚拟相机，确定与相机参照系相关联的相机与虚拟相机之间的偏移补偿矩阵，以及在交通工具控制系统使用之前将偏移补偿矩阵应用于数据点；以及控制器，该控制器被配置成利用偏移补偿的数据点来控制自动驾驶车辆(AV)的操作。在实现方式中，处理器还被配置成使用相机参照系中的多个3D点和与虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定偏移补偿矩阵。在实现方式中，偏移补偿矩阵包括平移矩阵和旋转矩阵。在实现方式中，多个3D点在世界坐标系中。在实现方式中，世界坐标系中的多个3D点被变换到惯性测量单元(IMU)参照系、从IMU参照系变换到光检测和测距(LiDAR)参照系，以及从LiDAR参照系变换到相机参照系。在实现方式中，使用图像检测、对象检测和拐角检测中的至少一种来确定实际2D点。在实现方式中，虚拟相机和该相机的物理属性和固有参数是相同的。在实现方式中，偏移补偿矩阵包括偏航、俯仰和滚动矩阵。

一般而言，用于补偿自动交通工具(AV)系统误差的方法包括：从对象的多个3D点获得投影的2D点以及获得该对象的实际2D点。计算出投影的2D点与实际2D点之间的误差。当计算出的误差等于或大于定义的阈值时，执行补偿算法。该补偿算法包括：将多个3D点变换到相机帧，建立与实际2D点相对应的虚拟相机，确定与相机参照系相关联的相机与虚拟相机之间的偏移补偿矩阵，以及在交通工具控制系统使用之前将偏移补偿矩阵应用于数据点，并且利用偏移补偿的数据点来控制自动驾驶车辆(AV)的操作。在实现方式中，确定偏移补偿矩阵还包括：使用相机参照系中的多个3D点和与虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定偏移补偿矩阵。在实现方式中，偏移补偿矩阵包括平移矩阵和旋转矩阵。

尽管本文中的一些实施例涉及方法，但是本领域技术人员将领会到，它们也可以被体现为系统或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件方面和硬件方面的实施例的形式，这些软件方面和硬件方面在本文中一般都可以被称为“处理器”、“设备”或“系统”。此外，本发明的各方面可以采用被体现在具有被体现在其上的计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。可以利用一个或多个计算机可读介质的任何组合。该计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以例如但不限于是电子的、磁性的、光学的、电磁的、红外的或者半导体的系统、装置或者设备，或者是前述各项的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)包括以下各项：具有一条或多条线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪速存储器)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或者前述项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置、或设备使用或与其结合使用的程序的任何有形介质。

计算机可读信号介质可以包括：例如在基带中或者作为载波的部分的具有被体现在其中的计算机可读程序代码的被传播的数据信号。这样的传播信号可以采取多种形式中的任何形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是并非是计算机可读存储介质的任何计算机可读介质，并且可以传送、传播或传输程序以供指令执行系统、装置或设备使用或与其结合地使用。

可以使用任何适当的介质发送被体现在计算机可读介质上的程序代码，这样的介质包括但不限于CD、DVD、无线、有线、光纤线缆、RF等，或者前述项的任何合适的组合。

用于实施本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，该一种或多种编程语言包括诸如Java(TM)、Smalltalk、C++等等的面向对象编程语言，以及诸如“C”编程语言或类似编程语言的常规过程编程语言。程序代码可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分地在用户的计算机上并部分地在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以(例如，使用互联网服务提供商通过互联网)与外部计算机进行连接。

以下参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图对本发明的各方面进行描述。将理解的是，流程图图示和/或框图中的每个框以及流程图图示和/或框图中的各框的组合可以由计算机程序指令来实现。

可以向通用计算机、专用计算机或其它可编程数据处理装置的处理器提供这些计算机程序指令以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的部件。这些计算机程序指令还可以存储在可以指导计算机、其它可编程数据处理装置或其它设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载到计算机、其它可编程数据处理装置或其它设备上，以引起在计算机、其它可编程装置或其它设备上实行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。

附图中的流程图和框图例示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令的模块、段或代码部分。还将注意到的是，在一些替代的实现方式中，框中提到的功能可以在附图中提到的次序的情况之外发生。

尽管已经结合某些实施例描述了本公开，但是要理解的是，本公开不限于所公开的实施例，而是相反，本公开意图覆盖包括在所附权利要求书的范围内的各种修改、组合和等效布置，该范围要被赋予最宽泛的解释，以便涵盖法律允许的所有此类修改和等同结构。

Claims (20)

1.一种用于补偿自动交通工具(AV)系统误差的方法，所述方法包括：

获得对象的多个3D点；

将所述多个3D点变换到相机参照系；

获得所述对象的实际2D点；

建立与所述实际2D点相对应的虚拟相机；

确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；

在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及

利用偏移补偿的数据点来控制自动驾驶车辆的操作。

2.根据权利要求1所述的方法，其中，确定偏移补偿矩阵进一步包括：

使用所述相机参照系中的多个3D点和与所述虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定所述偏移补偿矩阵。

3.根据权利要求1所述的方法，其中，所述偏移补偿矩阵包括平移矩阵和旋转矩阵。

4.根据权利要求1所述的方法，其中，所述多个3D点在世界坐标系中。

5.根据权利要求4所述的方法，其中，将所述世界坐标系中的多个3D点变换到惯性测量单元(IMU)参照系，从所述惯性测量单元(IMU)参照系变换到光检测和测距(LiDAR)参照系，并且从所述光检测和测距(LiDAR)参照系变换到所述相机参照系。

6.根据权利要求1所述的方法，其中，使用图像检测、对象检测和拐角检测中的至少一种来确定所述实际2D点。

7.根据权利要求1所述的方法，其中，所述虚拟相机和所述相机的物理属性是相同的。

8.根据权利要求7所述的方法，其中，所述虚拟相机和所述相机的固有参数是相同的。

9.根据权利要求1所述的方法，其中，所述偏移补偿矩阵包括偏航、俯仰和滚动矩阵。

10.一种交通工具系统，其包括：

处理器，其被配置成：

获得对象的多个3D点；

将所述多个3D点变换到相机参照系；

获得所述对象的实际2D点；

建立与所述实际2D点相对应的虚拟相机；

确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；以及

在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及

控制器，其被配置成利用偏移补偿的数据点来控制自动驾驶车辆的操作。

11.根据权利要求10所述的交通工具系统，其中，所述处理器进一步被配置成：

使用所述相机参照系中的多个3D点和与所述虚拟相机相关联的虚拟相机参照系中的实际多个2D点，执行相机姿态算法，以确定所述偏移补偿矩阵。

12.根据权利要求10所述的交通工具系统，其中，所述偏移补偿矩阵包括平移矩阵和旋转矩阵。

13.根据权利要求10所述的交通工具系统，其中，所述多个3D点在世界坐标系中。

14.根据权利要求13所述的交通工具系统，其中，所述世界坐标系中的多个3D点被变换到惯性测量单元(IMU)参照系，从所述惯性测量单元(IMU)参照系变换到光检测和测距(LiDAR)参照系，并且从所述光检测和测距(LiDAR)参照系变换到所述相机参照系。

15.根据权利要求10所述的交通工具系统，其中，使用图像检测、对象检测和拐角检测中的至少一种来确定所述实际2D点。

16.根据权利要求10所述的交通工具系统，其中，所述虚拟相机和所述相机的物理属性和固有参数是相同的。

17.根据权利要求10所述的交通工具系统，其中，所述偏移补偿矩阵包括偏航、俯仰和滚动矩阵。

18.一种用于补偿自动交通工具(AV)系统误差的方法，所述方法包括：

从对象的多个3D点获得投影的2D点；

获得所述对象的实际2D点；

计算所述投影的2D点与所述实际2D点之间的误差；

当计算出的误差等于或大于定义的阈值时，执行补偿算法，其中，所述补偿算法包括：

将所述多个3D点变换到相机参照系；

建立与所述实际2D点相对应的虚拟相机；

确定与所述相机参照系相关联的相机与所述虚拟相机之间的偏移补偿矩阵；以及

在交通工具控制系统使用之前，将所述偏移补偿矩阵应用于数据点；以及

利用偏移补偿的数据点来控制自动驾驶车辆的操作。

19.根据权利要求18所述的方法，其中，确定偏移补偿矩阵进一步包括：

使用所述相机参照系中的多个3D点和与所述虚拟相机相关联的虚拟相机参照系中的实际多个2D点来执行相机姿态算法，以确定所述偏移补偿矩阵。

20.根据权利要求19所述的方法，其中，所述偏移补偿矩阵包括平移矩阵和旋转矩阵。

Images