CN111337906A - 传感器校准方法和传感器校准设备 - Google Patents

Abstract

提供了传感器校准方法和传感器校准设备，用于对安装至车辆(A)的传感器(10，12)进行校准。所述传感器校准设备包括：投影指示单元(51)，其使得安装至车辆并且投射光的投影装置(20，12)将表示校准标记的光学图像投影到传感器的检测范围上；光学图像信息获取单元(53)，其获取由传感器检测到的光学图像信息；以及计算单元(54)，其基于光学图像信息来计算传感器的校准值。

Description

传感器校准方法和传感器校准设备

技术领域

本公开内容涉及用于对安装至车辆的传感器进行校准的传感器校准方法和传感器校准设备。

背景技术

专利文献1(US2017/0343654A)公开了对安装至车辆的摄像机或激光雷达进行校准的校准系统。在该校准系统中，用于由摄像机或激光雷达检测的校准标记被安装在使车辆旋转的转盘(turntable)的周围。该校准系统基于校准标记的检测信息来计算摄像机或激光雷达的校准值。

发明内容

在专利文献1中公开的校准系统需要其中具有已安装的校准标记的设施(facility)。在将校准标记安装为非暂态有形物理实体时，需要安装空间和安装工作等，这会增加准备用于校准摄像机或激光雷达的环境的成本。

本公开内容的一个目的是提供传感器校准方法和传感器校准设备，其可以在不使用非暂态有形校准标记的情况下校准传感器。

在本公开内容的一个方面中，提供由计算机实现的用于对安装至车辆的传感器进行校准的传感器校准方法。该传感器校准方法由至少一个处理器执行并且包括：使用安装至车辆并且投射光的投影装置将表示校准标记的光学图像投影到传感器的检测范围上；获得由传感器检测到的光学图像信息；以及基于该光学图像信息来计算传感器的校准值。

在本公开内容的另一个方面中，提供用于对安装至车辆的传感器进行校准的传感器校准设备。该传感器校准设备包括：投影指示单元，其使得安装至车辆并且投射光的投影装置将表示校准标记的光学图像投影到传感器的检测范围上；光学图像信息获取单元，其获取由传感器检测到的光学图像信息；以及计算单元，其基于光学图像信息来计算传感器的校准值。

在上面的方法和设备中，从投影装置将用于传感器的校准值的计算的校准标记投影为光学图像。从而，不需要其中安装了用作校准标记的非暂态有形物理实体的设施。因此，能够提供无需使用非暂态有形校准标记就可以对传感器进行校准的传感器校准方法和传感器校准设备。

附图说明

根据以下参照附图进行的详细描述，本公开内容的上述及其他目的、特征和优点将变得更加明显。在附图中：

图1是示出了与第一实施方式的传感器校准方法有关的配置的示意图；

图2是示出了图1的配置的顶视图的图；

图3是车载ECU(电子控制单元)的框图；

图4是示出了校准标记的投影形态的图；

图5是示出了由车载ECU执行的处理的示例的流程图；

图6是示出了图5中的校准处理的细节的流程图；

图7是第二实施方式的车载ECU的框图；以及

图8是示出了根据另一实施方式的校准标记的投影形态的图。

具体实施方式

(第一实施方式)

将参照图1至图6来描述根据第一实施方式的传感器校准设备。在第一实施方式中，在车载ECU(电子控制单元)100中实现传感器校准设备的功能。车载ECU 100可以是安装至车辆A的电子控制单元之一，并且是使得能够实现车辆A的自动驾驶的车载计算机。安装有车载ECU 100的车辆A可以是无人驾驶车辆，其提供诸如人员和行李的自动化运输、汽车共享和乘车共享的移动性服务。车载ECU 100直接或间接地电连接至车载网络45的总线和两个或更多个车载传感器。安装有车载ECU 100的车辆A也可以被称为本车(hostvehicle)。

许多车载装置直接或间接电连接至车载网络45的通信总线。车载网络45可以向车载ECU 100提供各种车辆信息，所述各种车辆信息被输出至通信总线。例如，车载网络45向车载ECU 100提供指示车辆A的行驶速度的车速信息和指示车辆A的当前位置的车辆位置信息等，作为如下所述的校准处理所需的信息。

车载传感器被安装至车辆A，并获取自动驾驶或高级驾驶辅助所需的各种信息。车载传感器包括摄像机10、光学传感器12(例如激光雷达)、毫米波雷达13和声纳14。车载传感器可以以彼此不同的姿势安装在彼此不同的位置。

摄像机10、激光雷达12、毫米波雷达13和声纳14是识别车辆A的周围环境的自主传感器。这些自主传感器检测可移动对象诸如行人和其他车辆以及静止对象诸如交通信号、道路标志和道路标记(例如车道标记和人行横道)。每个自主传感器将测量信息连续输出至车载ECU 100，该测量信息可以包括对可移动对象和静止对象的检测结果。各个自主传感器可以包括两个或更多个传感器。一些自主传感器可以被省略。

摄像机10是以可见光范围内的波长对车辆A的周围进行成像并生成图像的成像装置。摄像机10包括诸如CMOS传感器的图像传感器和对图像传感器的检测信息执行图像处理的控制电路。在摄像机10中，控制电路根据检测信息生成图像数据，并将图像数据连续输出至车载ECU 100。替选地，摄像机10可以通过图像分析处理，从检测信息中提取特定信息，并将所提取的信息输出至车载ECU 100。例如，两个或更多个摄像机10可以被安装至车辆，并且可以具有围绕车辆A的不同区域作为其成像范围(检测范围)。

激光雷达12向车辆A的行驶方向或右前方向和/或左前方向照射激光，并接收在照射方向上存在的运动对象或静止对象处反射的激光。另外，通过接收除激光之外的干扰光，激光雷达12可以检测由除激光之外的光源投影的光所引起的亮度(明和暗)。激光雷达12将这些检测结果输出至车载ECU 100作为点群信息(point group information)。激光雷达12可以是诸如旋转镜类型、MEMS(微机电系统)类型以及相控阵类型的扫描类型，或者可以是诸如闪光类型的非扫描类型。

毫米波雷达13向例如车辆A的行驶方向照射毫米波并通过处理来获取检测结果，该处理包括接收在行驶方向上存在的运动对象或静止对象处反射的毫米波。声纳14向车辆A的周边照射超声波并通过处理来获取检测结果，该处理包括接收在照射方向上存在的运动对象或静止对象处反射的超声波。

照明装置20包括光源，并且被提供给车辆A。照明装置20通过照明灯的照射来照亮车辆A的周围。照明装置20包括例如向车辆A的前方照射照明光的前灯和向车辆A的后方照射照明光的尾灯。

照明装置20被配置成能够将下面描述的由车载ECU 100输出的投影数据项投影为光学图像。照明装置20包括例如激光源、MEMS镜以及控制电路。照明装置20通过利用MEMS镜对激光进行扫描控制，从而在投影面上生成基于投影数据项的光学图像。照明装置20还可以通过控制MEMS镜将光学图像投影到车辆A的左侧和/或右侧。照明装置20是投影装置的示例。

车载ECU 100包括将车辆位置信息和从每个车载传感器获取的测量信息结合并识别行驶环境的处理装置。车载ECU 100连续地重复各种处理，包括指定本车的位置的处理和计算到本车周围的对象的相对距离的处理。车载ECU 100包括控制电路作为其主部件。该控制电路包括处理器61、RAM 62、存储装置63以及输入/输出(I/F)接口64等。

处理器61是用于与RAM 62合作以执行处理的硬件，并且可以执行各种程序。存储装置63包括非易失性存储介质，并且存储由处理器61执行的各种程序。存储装置63至少存储与摄像机10的校准相关的摄像机校准程序。

车载ECU 100将每个车载传感器的外部参数存储在数据库55中。外部参数包括被设置在两个车载传感器之间并且将由两个车载传感器中的一个获取的测量信息与由两个车载传感器中的另一个获取的测量信息在几何上关联的一组数值。具体地，外部参数包括以与各个车载传感器的安装位置和安装姿势(定向)对应的6个轴(x、y、z、倾斜、俯仰、偏航)的形式定义的参数。在本实施方式中，车载传感器之一担当用作设置外部参数的参考的主传感器。对于除主传感器之外的每个车载传感器，数据库55存储相对于主传感器的外部参数。通过将外部参数应用于车载传感器的测量信息的处理，可以将检测对象在车载传感器的坐标系中的位置坐标转换为主传感器的坐标系中的位置坐标。

车载ECU 100对摄像机10的外部参数进行校准。特别地，第一实施方式的车载ECU100执行用于对设置在摄像机10与激光雷达12之间的外部参数进行校准的校准处理。车载ECU 100使用经校准的外部参数执行摄像机10与激光雷达12的传感器融合，并且将指示相同几何点的坐标关联以提高光学传感器的检测精度。

如图3所示，车载ECU 100包括传感器信息比较单元41和校准启动确定单元42，作为与摄像机10的校准启动确定处理有关的功能块。车载ECU 100包括投影指示单元51、点群信息获取单元52、标记图像获取单元53和计算单元54，作为与摄像机10的校准处理有关的功能块。

传感器信息比较单元41将由摄像机10成像的预定检测对象的检测结果与由除摄像机10之外的其他车载传感器检测的检测对象的检测结果进行比较。基于该比较结果，传感器信息比较单元41确定是否需要校准摄像机10。除摄像机10之外的车载传感器可以是激光雷达12、毫米波雷达(millimeter wave(MMW)radar)13、声纳14等。例如，通过将摄像机10的检测结果与激光雷达12的检测结果进行比较，传感器信息比较单元41可以更可靠地确定是否需要对设置在摄像机10与激光雷达12之间的外部参数进行校准。当摄像机10的检测结果与比较方(comparison counterpart)的检测结果偏离时，传感器信息比较单元41确定需要进行校准处理，并且传感器信息比较单元41将指示需要校准摄像机10的标志设置为需要校准标志。

例如，传感器信息比较单元41使用图像数据和使用点群信息来执行检测对象(例如，另一车辆、道路设施等)的跟踪，并且确定根据图像数据计算的检测对象的坐标与根据点群信息计算的检测对象的坐标是否基本上彼此匹配。当检测对象的坐标基本上彼此匹配时，传感器信息比较单元41确定无需校准摄像机10。另一方面，当检测对象的坐标并非基本上彼此匹配时，传感器信息比较单元41确定需要校准摄像机10。例如，为了执行预定驾驶辅助处理而获取的图像数据和点群信息被用于传感器信息比较单元41，以执行上述比较。

当设置了需要校准标志时，校准启动确定单元42确定是否可以启动校准处理。当下面描述的校准标记可投影时，校准启动确定单元42确定可以启动校准处理。具体地，校准启动确定单元42确定是否满足到达条件和车辆停止条件。到达条件是如下条件：车辆A已经到达可以投影校准标记的地点。车辆停止条件是车辆A处于停止状态的条件。当到达条件和停止条件均满足时，校准启动确定单元42确定可以启动校准处理。

例如，当基于本车的位置信息确定车辆A已经到达预设设施的预定地点时，可以确定满足到达条件。该设施具有相对平坦的壁、地板等，其使得能够基本上不变形地投影校准标记。该设施是例如服务提供者的车库或停车场。该设施的预定地点是预定地点的示例。距离投影平面的距离可以在制造、工厂出货等时候预先设定。在这种情况下，向服务提供者提供关于车辆A的适合于校准的环境的信息，并且基于该信息，设置要停放车辆A的设施的预定地点。例如，当基于车辆速度信息确定车辆A的车速变为零时，确定满足车辆停车条件。替选地，可以在车辆A的行驶驱动源停止时，确定满足停止条件。

基于校准启动确定单元42确定可以启动校准处理，投影指示单元51输出投影数据项和用于指示照明装置20投影校准标记的信号。投影指示单元51连续读取在存储装置63等中预先存储的两个或更多个校准标记的投影数据项，并且将投影数据项输出至照明装置20以对具有不同投影形态的两个或更多个校准标记的光学图像进行投影。在图1中示出的示例中，投影指示单元51使得照明装置20将校准标记投影至车辆A前方的墙面。在图2中示出的示例中，投影指示单元51使得照明装置20将校准标记投影到车辆A的侧墙面上和侧地板面上。

校准标记设置有具有通过图像分析处理提取的多个特征点的标记图案。校准标记被表示为几何图案，其中预定形状的几何形态被规则地布置，并且展示出规则地布置的特征点。作为示例，如图4所示，校准标记可以是格状几何图案，其中白色矩形和黑色矩形二维地交替布置。这样的图案被称为棋盘图案或棋盘格图案。在这样的校准标记的情况下，提取矩形的交叉点作为特征点。在图4的图案中，白色矩形部分代表被光照射的部分，并且黑色矩形部分代表未被光照射的部分。

例如，将要投影的校准标记的信息存储为具有不同形状和尺寸的两个或更多个投影数据项。例如，当从正面观看的校准标记的矩形棋盘图案形状被称为基本形状时，所存储的投影数据项的不同形状包括基本形状和透视形状(perspective shape)，该透视形状是基本形状被斜着观看时的形状。即，除基本形状之外，还存储有在相对于投影平面的倾斜度方面与基本形状不同的形状。换句话说，透视形状是通过仿射变换(affinetransformation)使基本形状变形而获得的形状。例如，透视形状包括相对于正视图从上、下、左、右四个方向斜着观看基本形状而获得的至少四个形状。此外，针对基本形状和透视形状中的每一个存储具有不同尺寸的两个或更多个投影数据项。例如，存储投影数据项的约20个图案。

投影指示单元51从上面描述的两个或更多个投影数据项中连续选择投影数据项，并将选中的投影数据项连续输出至照明装置20以投影校准标记。此外，投影指示单元51指定照明装置20的投影方向以使得校准标记作为整体处于被校准的目标摄像机10的成像范围中。例如，基于相应摄像机10的成像范围预设指定的投影方向。替选地，投影指示单元51可以根据需要，基于实际投影时的图像数据来调整投影方向。

点群信息获取单元52从激光雷达12获取校准标记的点群信息，并将其连续输出至计算单元54。标记图像获取单元53获取由摄像机10捕获的校准标记图像数据(标记图像数据)作为光学图像信息。标记图像获取单元53将所获取的图像数据连续输出至计算单元54。标记图像获取单元53是光学图像信息获取单元的示例。

计算单元54基于标记图像数据和点群信息来生成摄像机10相对于激光雷达12的外部参数。例如，计算单元54将从点群信息中提取的校准标记的特征点的位置坐标视为基本真实值。然后，计算单元54生成外部参数，该外部参数使得从标记图像数据提取的校准标记的特征点的位置坐标接近真实值。

计算单元54针对具有不同投影形态的校准标记中的每一个生成外部参数。通过执行诸如对所生成的外部参数进行平均的处理，计算单元54计算最终应用于摄像机10的校准的校准值。计算单元54将校准值计算为相对于当前外部参数的偏移值。替选地，计算单元54可以将外部参数本身计算为校准值。计算单元54将所计算的校准值存储在数据库55中。所存储的校准值被用于校正从摄像机10输出的图像数据。替选地，可以将校准值输出至摄像机10的控制电路，并将其用于在摄像机10生成图像数据时执行的校正处理。

接下来，将参照图5和图6的流程图描述根据第一实施方式的由车载ECU 100执行的处理的示例。首先，将描述图5中示出的用于启动校准的确定处理。车载ECU 100在车辆A行驶期间启动图5中示出的处理。

首先，在S10，车载ECU 100获取由摄像机10检测的车辆A周围的检测对象的图像数据。在S20，车载ECU 100获取由除了摄像机10之外的车载传感器检测的对象的感测数据(例如，激光雷达12的点群信息)。接下来，在S30，车载ECU 100执行图像数据与感测数据的匹配，以便对图像数据和感测数据的检测结果进行比较。在S40，基于S30中的比较结果，车载ECU 100确定从图像数据中检测到的检测对象的位置坐标是否与从感测数据中检测到的检测对象的位置坐标基本匹配。当在S40中确定检测结果彼此匹配时，因为不需要对摄像机10进行校准，所以图5中示出的流程图的处理结束。

当在S40中确定检测结果彼此不匹配时，处理进行至S50。在S50，车载ECU 100确定车辆A是否已经到达设施中的预定地点。当确定车辆A尚未到达预定地点时，重复在S50处的确定，直至车辆A到达预定地点。当车辆A已经到达预定地点时，处理进行至S55。在S55，车载ECU 100确定车辆A是否已经停止。当车辆尚未停止时，重复在S55处的确定，直至车辆停止。当确定车辆已经停止时，处理进行至S60。在S60，车载ECU 100执行对摄相机10的校准处理，并且在执行校准处理之后，车载ECU 100结束图5的流程图的处理。

接下来，将参照图6的流程图描述在S60处的校准处理的细节。首先，在S61，车载ECU 100从各个投影数据项中选择投影数据项，并将选中的投影数据项输出至照明装置20，并且指示照明装置20对该投影数据项进行投影。

在S62，车载ECU 100从摄相机10获取标记图像数据。接下来，在S63，车载ECU 100从激光雷达12获取校准标记的点群信息。接下来，在S64，车载ECU 100从所获取的标记图像数据中提取校准标记的特征点，并从所获取的点群信息中提取校准标记的特征点。接下来，在S65，车载ECU 100基于所提取的特征点的位置坐标来生成外部参数。所生成的外部参数被临时存储在RAM 62中。

接下来，在S66，车载ECU 100确定是否已投影了所有校准标记的投影数据项。当确定并非所有投影数据项已被投影时，处理进行至S67。在S67，车载ECU 100将设置的投影数据项改变成未被投影的投影数据项，并且处理返回至S62。

当在S66中确定已经投影了投影数据项的所有校准标记时，处理进行至S68。在S68，车载ECU 100根据两个或更多个生成的外部参数计算校准值。在S69，车载ECU 100将所计算的校准值存储在数据库55中，并且结束校准处理。

接下来，将描述根据第一实施方式的车载ECU 100的配置和技术效果。

车载ECU 100包括投影指示单元51。投影指示单元51使得安装至车辆A并投射光的照明装置20将表示校准标记的光学图像投影到摄像机10的成像范围上。车载ECU 100包括标记图像获取单元53和计算单元54。标记图像获取单元53获取由摄像机10成像的校准标记的标记图像数据。计算单元54基于标记图像数据计算摄像机10的校准值。

在此配置下，将用于计算摄像机10的校准值的校准标记从照明装置20投影为光学图像。因此，不需要其中将校准标记安装为非暂态有形物理实体的设施。因此，能够提供无需使用非暂态有形校准标记就可以对传感器进行校准的传感器校准方法和车载ECU 100。

此外，上述车载ECU 100使得能够抑制用于以下的时间和工作：服务提供者负责人准备和维护用于校准的设施和/或将车辆A移动至外部设施，特别是在装运车辆A之后将车辆A移动至外部设施。因此，能够以低成本执行在车辆A装运之后的摄像机10的持续校准。

投影指示单元51使对车辆A的周围进行照明的照明装置20投影校准标记。这可以消除用于投影校准标记的附加光源。此外，由于照明装置20通常以其相对于车身的光轴被调整的状态安装至车辆，因此，可以在相对于车辆坐标系的轴向偏移被相对抑制的状态下执行摄像机10的校准。

当投影表示校准标记的光学图像时，车载ECU 100使得对具有不同投影形态的两个或更多个光学图像进行投影。这使得车载ECU 100能够使用具有不同投影形态(projection form)的两个或更多个标记图像数据项来计算校准值。因此，车载ECU 100可以进一步提高所计算的校准值的精度。

车载ECU 100使得对具有不同投影尺寸的两个或更多个校准标记进行投影。因此，车载ECU 100可以获取到两个或更多个校准标记的标记图像数据，如同车载ECU 100在非暂态有形校准标记与车辆A之间的距离改变的同时两次或更多次获取非暂态有形校准标记的标记图像数据一样。因此，与使用非暂态有形校准标记的情况相比，车载ECU 100可以进一步抑制校准空间。

车载ECU 100使得对包括基本形状和与被斜着观看的基本图像对应的透视形状的两个或更多个校准标记进行投影。因此，车载ECU可以获取到两个或更多个校准标记的标记图像数据，如同车载ECU 100在非暂态有形校准标记相对于车辆A的倾斜角改变的同时两次或更多次获取非暂态有形校准标记的标记图像数据一样。因此，与使用非暂态有形校准标记的情况相比，车载ECU 100可以进一步抑制校准空间。

车载ECU 100还包括校准启动确定单元42。校准启动确定单元42确定车辆A是否已经停止。当确定车辆A已经停止时，车载ECU 100启动校准标记的投影。据此，因为车载ECU100在车辆A处于停止状态时启动校准标记的投影，所以，可以抑制在校准标记成像期间由于投影面的状态的暂时改变所导致的校准值精度的下降。

校准启动确定单元42确定车辆A是否已经到达预设设施中的预定地点。当确定车辆A已经到达预设设施中的预定地点时，投影指示单元51使得校准标记的投影启动。在此配置下，由于车载ECU 100可以在预设地点中投影校准标记，因此能够避免将校准标记投影在不适于投影的投影面。因此，车载ECU 100可以抑制校准值的精度的下降。

车载ECU 100包括传感器信息比较单元41。传感器信息比较单元41获取通过摄像机10对检测对象进行成像而获得的图像数据和通过除摄像机10之外的车载传感器对检测对象进行检测而获得的检测信息。基于利用摄像机10获得的图像数据与利用除摄像机10之外的车载传感器获得的检测信息之间的比较，传感器信息比较单元41确定是否需要校准摄像机10。当确定需要校准摄像机10时，车载ECU 100启动校准标记的投影。在此配置下，车载ECU 100可以根据摄像机10的检测结果和另一车载传感器的检测结果来确定校准摄像机10的必要性，并且可以在需要校准时执行校准处理。因此，车载ECU 100可以在摄像机10的检测精度变低时，执行校准处理，并且可以避免摄像机10的检测精度变低的持续状态。在上文中，摄像机10是第一传感器的示例。除摄像机10之外的车载传感器是第二传感器的示例。

(第二实施方式)

下面描述的第二实施方式是第一实施方式的传感器校准方法的修改示例。在第一实施方式与第二实施方式之间，相似的附图标记用于指代相似的部分，以避免重复描述。

第二实施方式的投影指示单元51使得激光雷达12对校准标记进行投影。在第二实施方式中，激光雷达12被配置成能够通过照射激光在车辆A周围投影具有预定形状的光学图像。例如，在扫描类型的情况下，激光雷达12可以通过获取投影数据项并基于所获取的投影数据项执行照射激光的扫描控制来对光学图像进行投影。在这种情况下，摄像机10包括波长滤波器以便能够检测来自激光雷达12的激光的反射光。第二实施方式的激光雷达12是投影装置的示例。

车载ECU 100包括参考估计单元252作为其功能块。参考估计单元252估计校准标记的参考特征点的位置坐标。参考特征点是被投影在激光雷达12的坐标系中的投影平面上的校准标记的特征点的位置坐标。具体地，参考特征点的位置坐标充当用作以下所描述的由摄像机10检测的特征点的参考的信息。参考估计单元252基于投影平面的状态来估计参考特征点的位置坐标。投影平面的状态包括例如投影平面的形状、距车辆A的距离、相对于车辆A的角度等。例如，激光雷达12在投影紧之前或投影紧之后检测投影平面的状态。

替选地，参考估计单元252可以读出并获取预先存储在存储装置63中的参考特征点的位置坐标。在这种情况下，参考特征点的位置坐标是通过在上面描述的设施的预定地点处预先对校准标记进行投影并成像并预先从成像的数据中获取参考特征点的位置坐标而获得的初始值。

替选地，参考特征点的位置坐标可以是在制造、工厂装运等时候预设的值。在这种情况下，向服务提供者提供关于车辆A的适合于校准的环境的信息，并且基于该信息，在要停放车辆A的设施中设置预定地点。

计算单元54基于由参考估计单元252和标记图像获取单元53提供的信息，生成摄相机10相对于激光雷达12的外部参数。计算单元54将由参考估计单元25提供的参考特征点的位置坐标视为基本真实值。计算单元54从标记图像数据中检测特征点的位置作为检测到的特征点，并生成使检测到的特征点的位置坐标接近真实值的外部参数。

车载ECU 100以与第一实施方式的图5中示出的方式类似的方式执行校准处理的启动确定。另外，车载ECU 100以与第一实施方式的图6中示出的方式类似的方式执行校准处理。然而，在这方面，在第二实施方式中，在S61，车载ECU 100指示激光雷达12代替照明装置20投影校准标记。在S64，车载ECU 100从标记图像数据中提取特征点，并根据所获取的点群信息来估计参考特征点。

根据第二实施方式的车载ECU 100使得激光雷达12对校准标记进行投影。这可以消除用于投影校准标记的附加光源。此外，由于车载ECU 100使用激光雷达12检测投影平面的状态，因此可以抑制在其中对校准标记进行投影的地点的限制。特别地，与使用另一光源对校准标记进行投影的情况相比，通过使用激光雷达12检测投影平面的状态并且使用激光雷达12对校准标记进行投影，可以抑制参考特征点的位置坐标的误差。

(第三实施方式)

下面描述的第三实施方式是第一实施方式的光学传感器校准方法的修改示例。在第一实施方式中，车载ECU 100使用由照明装置20投影的校准标记来校准在摄像机10与激光雷达12之间关联的外部参数。替选地或附加地，车载ECU 100可以校准在摄像机10与车辆A之间关联的外部参数。

在这种情况下，车载ECU 100对由照明装置20投影的校准标记的参考特征点的位置坐标进行估计。然后，车载ECU 100基于所估计的参考特征点和从标记图像数据中提取的检测到的特征点生成外部参数。参考特征点是预先从设施中的预定地点捕获的标记图像数据中检测到的初始值。替选地，可以基于通过激光雷达12检测到的投影平面的点群信息来计算参考特征点。

照明装置20通常被安装至车辆A，其中，照明装置的相对于车体的光轴被调整。因此，通过基于由照明装置20投影的校准标记对摄像机10的外部参数进行校准，可以校准在摄像机10与车辆A之间关联的外部参数。

(其他实施方式)

本公开内容不限于以上所示出的实施方式。本公开内容覆盖了所示出的实施方式和本领域的技术人员基于所示出的实施方式可实现的修改。例如，本公开内容不限于所示出的实施方式中所示的部件和/元件的组合。部件和/或元件的各种组合被实现为本公开内容的实施方式。一些实施方式或修改可以包括可增加至所示出的实施方式的附加部件。本公开内容覆盖其中省略了所示出的实施方式中的部件和/或元件的实施方式或修改。本公开内容覆盖一个实施方式与另一个实施方式之间的部件和/或元件的替换或组合。所公开的技术范围不限于所示出的实施方式的描述。所公开的技术范围同样由权利要求书指示。

在上述实施方式中，安装有车载ECU 100的车辆A的一个示例是提供移动性服务的无人驾驶车辆。车辆A可以是用户私人拥有的车辆。车辆A可以是向车辆驾驶员提供高级驾驶辅助的车辆。

在上述实施方式中，照明装置20或激光雷达12对校准标记进行投影。校准标记投影装置不限于这些示例。例如，可以在车辆A中另外提供用于投影校准标记的光源。

在上述实施方式中，以投影棋盘图案的校准标记为示例。然而，只要特征点是可提取的，校准标记的设计不受限制。例如，如图8所示，校准标记可以具有将圆点布置成矩阵的设计。在这样的设计的情况下，特征点可以被提取为点的重心点。

在上述实施方式中，当传感器信息比较单元41中摄像机10的检测信息和另一传感器的检测信息不匹配时，车载ECU 100确定需要进行校准处理。替选地，车载ECU 100可以被配置成自上一校准处理开始经过特定时间段时确定需要进行校准处理。在这种情况下，可以基于摄像机10在车辆A提供的服务内容中定义的所需检测精度，适当地设置用于执行校准处理的间隔。

在上述实施方式中，车载ECU 100在车辆A处于停止状态时启动校准标记的投影。然而，只要投影面的状态基本不改变，车载ECU 100在行驶期间也可以投影校准标记。例如，当车辆A平行于设施中的墙面行使时，车载ECU 100可以启动校准标记的投影。在这种情况下，可以通过将校准标记投影到墙面上来对在车辆A的右侧和/或左侧具有成像范围的摄像机10进行校准。替选地，车载ECU 100可以通过在基本平坦的路面行使期间将校准标记投影到路面上来执行校准处理。在这种情况下，车载ECU 100可以基于从车载传感器的检测结果、高精度地图数据等获取到的信息来确定路面是否基本平坦。

在上述实施方式中，车载ECU 100计算摄像机10相对于参考的外部参数。替选地，车载ECU 100不仅可以计算摄像机10的外部参数，还可以计算摄像机10的内部参数的校准值。在一些实施方式中，车载ECU 100可以计算在具有至少部分交叠的成像范围的摄像机10(例如，立体摄像机)之间关联的外部参数。在一些实施方式中，车载ECU 100可以计算激光雷达12相对于参考的外部参数。

上述实施方式的处理器是包括一个或更多个CPU(中央处理单元)的处理单元。这样的处理器可以是除CPU之外还包括图形处理单元(GPU)和数据流处理器(DFP)的处理单元。此外，处理器可以是包括FPGA(现场可编程门阵列)和专门用于诸如AI(人工智能)学习和推理的特定处理的IP核的处理单元。这样的处理器的各个处理电路部分可以被单独地安装至印刷电路板，或者可以被实现为ASIC(专用集成电路)、FPGA等。

各种非暂态有形存储介质诸如闪存和硬盘被用作用于存储传感器校准程序等的存储装置。这样的存储介质的形式可以根据需要而改变。例如，存储介质可以为存储卡等形式，并且可以被配置成插入在车载ECU中提供的槽中，并且可以电连接至控制电路。

可以由通过对存储器和被编程为执行嵌入在计算机程序中的一个或多个特定功能的处理器进行配置而创建的专用计算机来实现本公开内容中所描述的控制单元和方法。替选地，可以由通过对由一个或更多个专用硬件逻辑电路提供的处理器进行配置而创建的专用计算机来实现本公开内容中描述的控制单元和方法。替选地，可以由通过对存储器、被编程为执行一个或更多个特定功能的处理器以及由一个或更多个硬件逻辑电路提供的处理器的组合进行配置而创建的一个或更多个专用计算机来实现本公开内容中所描述的控制单元和方法。作为由计算机执行的指令，计算机程序还可以被存储在计算机可读非暂态有形非暂态计算机可读存储介质上。

Claims (10)

1.一种由计算机(100)实现的用于对安装至车辆(A)的传感器(10，12)进行校准的传感器校准方法，所述方法由至少一个处理器(61)执行并且包括：

使用安装至所述车辆并且投射光的投影装置(20，12)将表示校准标记的光学图像投影到所述传感器的检测范围上；

获得由所述传感器检测到的光学图像信息；以及

基于所述光学图像信息来计算所述传感器的校准值。

2.根据权利要求1所述的传感器校准方法，其中：

所述投影装置包括用于照亮所述车辆的周围的照明装置(20)；以及

投影所述光学图像包括通过所述照明装置的照射光将所述校准标记投影到所述检测范围上。

3.根据权利要求1所述的传感器校准方法，其中：

所述投影装置包括激光雷达装置(12)，所述激光雷达装置发射激光束并且基于所述激光束的反射光来检测所述车辆周围的对象；以及

投影所述光学图像包括通过所述激光雷达装置的激光束将所述校准标记投影到所述检测范围上。

4.根据权利要求1所述的传感器校准方法，其中：

投影所述光学图像包括投影具有不同投影形态的多个光学图像。

5.根据权利要求4所述的传感器校准方法，其中：

投影所述光学图像包括投影具有不同投影尺寸的多个光学图像。

6.根据权利要求4所述的传感器校准方法，其中：

投影所述光学图像包括投影多个如下光学图像：所述多个光学图像包括具有基本形状的第一光学图像和具有与被斜着观看的所述基本形状对应的透视形状的第二光学图像。

7.根据权利要求1所述的传感器校准方法，还包括：

确定所述车辆是否已经停止；以及

在确定所述车辆已经停止的情况下，启动所述光学图像的投影。

8.根据权利要求1所述的传感器校准方法，还包括：

确定所述车辆是否已经到达预定地点，所述预定地点是预设的地点；以及

在确定所述车辆已经到达所述预定地点的情况下，启动所述光学图像的投影。

9.根据权利要求1至8中任一项所述的传感器校准方法，其中：

所述传感器是第一传感器，

所述传感器校准方法还包括：

获得由所述第一传感器检测到的对象的检测信息；

获得由第二传感器检测到的所述对象的检测信息，所述第二传感器是除所述第一传感器之外的车载传感器(12)；

基于所述第一传感器的检测信息与所述第二传感器的检测信息之间的比较，确定是否需要校准所述第一传感器；以及

在确定需要校准所述第一传感器的情况下，启动所述光学图像的投影。

10.一种用于对安装至车辆(A)的传感器(10，12)进行校准的传感器校准设备，包括：

投影指示单元(51)，其使得安装至所述车辆并且投射光的投影装置(20，12)将表示校准标记的光学图像投影到所述传感器的检测范围上；

光学图像信息获取单元(53)，其获取由所述传感器检测到的光学图像信息；以及

计算单元(54)，其基于所述光学图像信息来计算所述传感器的校准值。

Images