CN116668669A - 用于校准车载摄像头的方法和系统以及计算机程序产品 - Google Patents

Abstract

本发明涉及一种用于校准车载摄像头的方法，其包括以下步骤：借助车辆(1)的大灯(11)向车辆的前方发送具有第一脉冲频率(f1)的第一脉冲光(P1)，通过第一脉冲光(P1)在车辆的前方产生投影的测试图案(S1)；引入测试图案作为校准因素，对车辆的车载摄像头(12)进行校准(S2)。本发明还涉及一种用于校准车载摄像头的系统和一种计算机程序产品。根据本发明，在车辆行驶过程中通过车辆大灯产生专门用于校准车载摄像头的测试图案，而不干扰驾驶员和其他道路使用者的视线，从而不受场景限制地、精确且技术开销低地完成车载摄像头的校准过程，为自动驾驶功能和/或辅助驾驶功能提供更可靠的功能支持，进而提高车辆的驾驶安全性。

Description

用于校准车载摄像头的方法和系统以及计算机程序产品

技术领域

本发明涉及车载摄像头领域，尤其是涉及一种用于校准车载摄像头的方法，一种用于校准车载摄像头的系统，以及一种计算机程序产品，其用于至少辅助地实现根据本发明的方法的步骤。

背景技术

对于具备自动驾驶功能和/或高级别的驾驶辅助功能的车辆，可准确探测车辆周围环境的车载摄像头是极其重要的。因此，车载摄像头在投入使用前必须被精确校准，且在车辆的使用过程中也需要对车载摄像头定期地进行精确校准。然而，目前的车载摄像头的校准方法不仅精度较低，而且繁琐复杂，需要消耗车载控制器的大量算力才能够完成校准过程。

因此，如何高精度且低计算开销地校准车载摄像头成为目前需要解决的技术难题。

发明内容

本发明的目的在于提供一种用于校准车载摄像头的方法，一种用于校准车载摄像头的系统，以及一种计算机程序产品，以至少部分地解决现有技术中的问题。

根据本发明的第一方面，提供了一种用于校准车载摄像头的方法，所述方法包括以下步骤：

借助车辆的大灯向所述车辆的前方发送具有第一脉冲频率的第一脉冲光，通过所述第一脉冲光在所述车辆的前方产生投影的测试图案；并且

引入所述测试图案作为校准因素，对所述车辆的车载摄像头进行校准。

本发明的核心构思在于：在车辆行驶过程中，通过车辆大灯产生专门用于校准车载摄像头的测试图案，而不干扰驾驶员和其他道路使用者的视线。根据本发明，可以不受场景限制地、精确且技术开销低地完成车载摄像头的校准过程，为自动驾驶功能和/或辅助驾驶功能提供更可靠的功能支持，进而提高车辆的驾驶安全性。

根据本发明的一个可选实施例，可以控制所述第一脉冲光的第一脉冲频率，使得通过所述第一脉冲光产生的投影的测试图案是对于人眼不可见的且能够被所述车辆的车载摄像头检测到。可选地，可以通过所述第一脉冲光以适用于所述车载摄像头的校准的投影距离在所述车辆的前方产生投影的测试图案。可选地，所述测试图案可以是具有可辨识的几何特征的二维测试图案。示例性地，所述所述测试图案例如包括黑白棋盘图案。

根据本发明的另一可选实施例，所述方法还可以包括以下步骤：

借助所述车辆的大灯向所述车辆的前方发送具有第二脉冲频率的第二脉冲光，用以在所述车辆的前方产生照明区域，其中，所述第一脉冲光和所述第二脉冲光在时间上彼此错位地发送。可选地，所述第一脉冲频率与所述第二脉冲频率相等或彼此成整数的倍数关系。

通过这种方式，在光线较弱的行车场景中可以使用车辆大灯同时实现照明功能和车载摄像头的校准功能。

根据本发明的另一可选实施例，可以通过所述车载摄像头获取所述车辆前方的行驶环境图像，并引入所述行驶环境图像中的测试图案的具有不同灰度的图像像素作为校准因素，对所述车辆的车载摄像头进行校准。在所述车载摄像头的校准过程中，可以确定所述车载摄像头的相机常数和/或图像畸变。

根据本发明的另一可选实施例，可以基于所述行驶环境图像中的测试图案的具有不同灰度的图像像素计算所述测试图案的平均边界线，所述测试图案的平均边界线被配置用作所述车载摄像头的校准因素。

根据本发明的另一可选实施例，可以以预设的时间间隔实施所述车载摄像头的校准。

根据本发明的第二方面，提供了一种用于校准车载摄像头的系统，其中，所述系统可以包括以下构件：

-大灯，所述大灯被配置用于向车辆的前方发送具有第一脉冲频率的第一脉冲光，通过所述第一脉冲光在所述车辆的前方产生投影的测试图案；

-车载摄像头，所述车载摄像头被配置用于获取车辆前方的行驶环境图像，其中，所述行驶环境图像包括所述测试图案；和

-车载控制单元，所述车载控制单元被配置用于执行根据本发明的方法。

根据本发明的第三方面，提供了一种计算机程序产品、例如计算机可读的程序载体，包含或存储有计算机程序指令，所述计算机程序指令被处理器执行时至少辅助地实现根据本发明的方法的步骤。

附图说明

下面通过参照附图更详细地描述本发明可以更好地理解本发明的原理、特点和优点。附图示出：

图1示出根据本发明的一个示例性实施例的用于校准车载摄像头的方法的工作流程图；

图2示出根据本发明的一个示例性实施例的驾驶场景图；

图3示出根据本发明的一个示例性实施例的车载摄像头的成像原理图；

图4示出根据本发明的一个示例性实施例的投影的测试图案的边界线区段的图像像素的放大图；

图5示出根据本发明的另一示例性实施例的用于校准车载摄像头的方法的工作流程图；

图6示出根据本发明的一个示例性实施例的脉冲光时序图；和

图7示出根据本发明的一个示例性实施例的用于校准车载摄像头的系统的框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。

图1示出了根据本发明的一个示例性实施例的用于校准车载摄像头的方法的工作流程图。以下示例性的实施例更详细地描述根据本发明的方法。

所述方法可以包括步骤S1和S2。在步骤S1中，借助车辆1的大灯11向所述车辆1的前方发送具有第一脉冲频率f1的第一脉冲光P1，通过所述第一脉冲光P1在所述车辆1的前方产生投影的测试图案。在本发明的当前实施例中，通过车辆1的大灯控制单元控制所述第一脉冲光P1的第一脉冲频率f1，使得通过所述第一脉冲光P1产生的投影的测试图案是对于人眼不可见的，即第一脉冲频率f1超出了人眼可辨识光的频率范围，由此避免在行车过程中对其他道路使用者(其例如包括道路上的其他车辆的驾驶员、骑行者和/或行人等)造成视线干扰，并使所发送的脉冲光符合相关的法律或法规关于车辆灯光的规定，同时所述测试图案能够被所述车辆1的车载摄像头12检测到。

在此，通过所述第一脉冲光P1产生的投影的测试图案例如可以是具有可辨识的几何特征的二维测试图案，例如黑白棋盘图案。图2示出了根据本发明的一个示例性实施例的驾驶场景图，借助车辆1的大灯11在车辆1的前方产生三个投影区域，其中，第一投影区域B1由左大灯发送的第一脉冲光P1生成，第三投影区域B3由右大灯发送的第一脉冲光P1生成，第二投影区域B2由左大灯和右大灯各自发送的第一脉冲光P1叠加地生成。示例性地，通过所述第一脉冲光P1产生黑白棋盘图案在车辆前方的投影距离D1处开始延伸，其中，每个棋盘格均具有边长Ds。

需要说明的是，所述投影距离D1可以设置为适用于车载摄像头12的校准，尤其是适配于车载摄像头12的类别和/或摄像头参数等。考虑到车辆搭载的车载摄像头数量不止一个且类别可能不同，例如单目摄像头、双目摄像头、多目摄像头和/或立体摄像头等，因此投影距离D1连同相应的测试图案可以分别与适配的、待校准的车载摄像头12相关联地存储在车载控制单元13中，以供在车辆1的运行过程中随时调用以执行各个车载摄像头12的校准过程。

在步骤S2中，引入所述测试图案作为校准因素，对车辆1的车载摄像头12进行校准。在此，可以通过车载摄像头12获取车辆1前方的行驶环境图像，通过图像处理方法可以提取所述行驶环境图像中的测试图案的具有不同灰度的图像像素。引入测试图案的具有不同灰度的图像像素作为校准因素，可以对所述车辆1的车载摄像头12进行校准。

在车载摄像头12的校准过程中，可以确定所述车载摄像头12的相机常数Kc。如图3示出的车载摄像头的成像示意图，周围环境中的原始图像M1可以通过镜头Lc在车载摄像头12的成像平面Bc上形成成像图像M1’，所述相机常数Kc被定义为镜头Lc的光学轴线至成像图像M1’之间的距离Kc。所述相机常数Kc可以用于校准环境坐标系、相机坐标系、图像坐标系与传感器坐标系之间的坐标系转换。

在车载摄像头12的校准过程中，还可以确定所述车载摄像头12的图像畸变。可以理解的是，车载摄像头的部件的制造公差和安装误差等会导致车载摄像头12采集到的图像产生各种畸变：例如镜头未垂直于被测对象地布置而导致的透视畸变，即离镜头越近的部分在车载摄像头12的成像平面上形成的成像图像越大，反之越小；例如由于镜头的制造公差(例如)导致的径向畸变；由于摄像头中的图像传感器与成像平面未平行布置导致的切向畸变等。在本发明的当前实施例中，所述校准过程尤其聚焦在由于镜头存在渐晕和/或图像传感器存在杂质而导致的成像图像M1’的灰度非均匀分布。在此，可以基于测试图案的具有不同灰度的图像像素对车载摄像头12的实际成像图像的灰度进行校准，使得经校准后成像图像M1’的灰度分布更接近原始图像M1的真实状况，从而消除镜头渐晕和/或图像传感器中的杂质产生的影响。

在所述校准过程中，需要确定测试图案的各个成像块的边界线，并进而确定各个成像块(例如黑白棋牌图案的各个棋盘格)的尺寸、距离等。然而，在车辆大灯的实际投影过程中各个成像块的边界线或多或少是不清楚的，尤其是在通过车辆1的左大灯和右大灯各自的第一脉冲光P1叠加生成的投影区域B2中可能产生具有模糊边界线的成像块。在此，可以基于所述行驶环境图像中的测试图案的具有不同灰度的图像像素计算所述测试图案的平均边界线La，所述测试图案的平均边界线La被配置用作所述车载摄像头12的校准因素。图4中示例性地示出了投影区域B2的某个选定区域Z中成像块的图像像素的放大图，在所述成像块的边界上彼此错位地布置有具有不同灰度的图像像素，其中，所述图像像素可以根据成像图像的实际光线状况划分不同的灰度等级，在此仅示例性地示出灰度值为100％的暗像素和灰度值为0％的亮像素。在此，可以基于所述成像块的不同灰度的图像像素例如借助预给定的优化算法计算成像块的平均边界线La，所述优化计算例如包括最小均方计算法。通过所述平均边界线La可以更精确地确定该成像块的尺寸和至车载摄像头12的距离。

考虑到车载摄像头12的检测精度对于具备自动驾驶功能和/或高级别的驾驶辅助功能的车辆是极其重要的，而在车载摄像头12的使用过程中又极容易产生成像误差，因此可以以预设的时间间隔定期地实施上述的步骤S1和S2，以执行所述车载摄像头12的校准过程。

根据本发明，在车辆行驶过程中通过车辆大灯在不干扰驾驶员和其他道路使用者的视线的情况下产生专门用于校准车载摄像头的测试图案，从而可以不受场景限制地、精确且技术开销低地完成车载摄像头12的校准过程，为自动驾驶功能和/或辅助驾驶功能提供更可靠的功能支持，进而提高车辆的驾驶安全性。

图5示出了根据本发明的另一示例性实施例的工作流程图。以下仅阐述与图1中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。

所述方法还可以包括步骤S11。尤其是在光线较弱(例如黑夜或雨天)的情况下可以发起步骤S11，在步骤S11中借助所述车辆1的大灯11向所述车辆1的前方发送具有第二脉冲频率f2的第二脉冲光P2，用以在所述车辆1的前方产生照明区域，其中，所述第一脉冲光P1和所述第二脉冲光P2在时间上彼此错位地发送。如图6所示的脉冲光时序图，以第一脉冲频率f1发送具有第一脉冲高度H1的第一脉冲光P1用于产生投影的测试图案，并以第二脉冲频率f2发送具有第二脉冲高度H2的第二脉冲光P2用于产生照明区域，所述第一脉冲光P1和所述第二脉冲光P2在时间上彼此错位地发送。如图6示例性地示出的那样，在第二脉冲光P2的一个脉冲的结束时间t1与第二脉冲光P2的另一脉冲的开始时间t2之间的时间段内可以发送所述第一脉冲光P1的一个脉冲。可选地，所述第一脉冲频率f1与所述第二脉冲频率f2可以相等，也可以彼此成整数的倍数关系，只要确保第一脉冲光P1的各个脉冲与第二脉冲光P2的各个脉冲在时间上彼此错位地发送。所述第一脉冲光P1的第一脉冲高度H1和/或所述第二脉冲光P2的第二脉冲高度H2可以根据所需求的照明亮度进行调节，其可以彼此相等，也可以彼此不同。

根据本发明的可选实施例，在光线较弱的行车场景中可以使用车辆大灯同时实现照明功能和车载摄像头的校准功能。

另外，应注意到，在此描述的步骤序号并不必然代表先后顺序，而仅仅是一种附图标记，根据具体情况，顺序可以更改，只要能够实现本发明的技术目的即可。

图7示出了根据本发明的一个示例性实施例的用于校准车载摄像头的系统的框图。

如图7所示的那样，系统10可以包括以下构件：

-大灯11，所述大灯11被配置用于向车辆1的前方发送具有第一脉冲频率f1的第一脉冲光P1，通过所述第一脉冲光P1在所述车辆1的前方产生投影的测试图案；

-车载摄像头12，所述车载摄像头12被配置用于获取车辆1前方的行驶环境图像，其中，所述行驶环境图像包括所述测试图案；和

-车载控制单元13，所述车载控制单元13被配置用于执行根据本发明的方法。

可选地，所述大灯11还可以被配置用于向所述车辆1的前方发送具有第二脉冲频率f2的第二脉冲光P2，用以在所述车辆1的前方产生照明区域，其中，所述第一脉冲光P1和所述第二脉冲光P2在时间上彼此错位地发送，且所述第一脉冲频率f1与所述第二脉冲频率f2相等或彼此成整数的倍数关系。

尽管在此详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不偏离本发明的核心和范围的前提下，可以提出各种替换方案和修改方案。

Claims (12)

1.一种用于校准车载摄像头(12)的方法，所述方法包括以下步骤：

借助车辆(1)的大灯(11)向所述车辆(1)的前方发送具有第一脉冲频率(f1)的第一脉冲光(P1)，通过所述第一脉冲光(P1)在所述车辆(1)的前方产生投影的测试图案；并且

引入所述测试图案作为校准因素，对所述车辆(1)的车载摄像头(12)进行校准。

2.根据权利要求1所述的方法，其中，控制所述第一脉冲光的第一脉冲频率(f1)，使得通过所述第一脉冲光(P1)产生的投影的测试图案是对于人眼不可见的且能够被所述车辆(1)的车载摄像头(12)检测到。

3.根据以上权利要求中任一项所述的方法，其中，所述方法还包括以下步骤：

借助所述车辆(1)的大灯(11)向所述车辆(1)的前方发送具有第二脉冲频率(f2)的第二脉冲光(P2)，用以在所述车辆(1)的前方产生照明区域，其中，所述第一脉冲光(P1)和所述第二脉冲光(P2)在时间上彼此错位地发送。

4.根据以上权利要求中任一项所述的方法，其中，所述测试图案是具有可辨识的几何特征的二维测试图案，其中，所述所述测试图案包括黑白棋盘图案。

5.根据以上权利要求中任一项所述的方法，其中，通过所述第一脉冲光(P1)以适用于所述车载摄像头(12)的校准的投影距离(D1)在所述车辆(1)的前方产生投影的测试图案。

6.根据以上权利要求中任一项所述的方法，其中，所述第一脉冲频率(f1)与所述第二脉冲频率(f2)相等或彼此成整数的倍数关系。

7.根据以上权利要求中任一项所述的方法，其中，通过所述车载摄像头(12)获取所述车辆(1)前方的行驶环境图像，并引入所述行驶环境图像中的测试图案的具有不同灰度的图像像素作为校准因素，对所述车辆(1)的车载摄像头(12)进行校准。

8.根据以上权利要求中任一项所述的方法，其中，基于所述行驶环境图像中的测试图案的具有不同灰度的图像像素计算所述测试图案的平均边界线，所述测试图案的平均边界线被配置用作所述车载摄像头(12)的校准因素。

9.根据以上权利要求中任一项所述的方法，其中，在所述车载摄像头(12)的校准过程中，确定所述车载摄像头(12)的相机常数和/或图像畸变。

10.根据以上权利要求中任一项所述的方法，其中，以预设的时间间隔实施所述车载摄像头(12)的校准。

11.一种用于校准车载摄像头(12)的系统(10)，其中，所述系统(10)包括以下构件：

大灯(11)，所述大灯(11)被配置用于向车辆(1)的前方发送具有第一脉冲频率(f1)的第一脉冲光(P1)，通过所述第一脉冲光(P1)在所述车辆(1)的前方产生投影的测试图案；

车载摄像头(12)，所述车载摄像头(12)被配置用于获取车辆(1)前方的行驶环境图像，其中，所述行驶环境图像包括所述测试图案；和

车载控制单元(13)，所述车载控制单元(13)被配置用于执行根据以上权利要求中任一项所述的方法。

12.一种计算机程序产品、例如计算机可读的程序载体，包含或存储有计算机程序指令，所述计算机程序指令被处理器执行时至少辅助地实现根据权利要求1至10中任一项所述的方法的步骤。