CN116194965A - 确定相机系统的图像数据的正确性 - Google Patents

Abstract

提供了一种用于确定图像数据的正确性的方法，图像数据由安装在车辆处的相机系统的至少两个相机捕获。方法包括：检测由至少两个相机中的第一相机捕获的图像数据中的至少一个特征；确定是否能够在由至少两个相机中的第二相机捕获的图像数据中检测到至少一个特征；以及如果能够在由至少两个相机中的第二相机捕获的图像数据中检测到至少一个特征，则确定图像数据的正确性。

Description

确定相机系统的图像数据的正确性

本发明涉及一种用于确定图像数据的正确性的方法，图像数据由安装在车辆处的相机系统的至少两个相机捕获，控制单元被配置为执行方法，包括控制单元和相机系统的控制系统，以及包括控制系统的车辆。

在现代车辆(例如汽车)中，可以提供像环绕视图相机系统(例如360°相机系统)的相机系统，可选地与另一个相机或甚至另一个其他相机系统一起。

环绕视图相机系统最初被设计为给予车辆的驾驶员新的和先前无法获得的车辆的视点。这些视点使驾驶员在多种情况下受益，例如当在高速公路上改变车道时检查盲点。

环绕视图相机系统包括多达四个相机，其中一个相机被设置在车辆的前部处，一个相机被设置在车辆的后部处，一个相机被设置在车辆的左侧处，以及一个相机被设置在车辆的右侧处。

在汽车的前、后和外侧后视镜上包括四个相机，相机系统可以监视车辆周围的区域，即车辆的整个环境。

另一相机系统可以由多达八个相机组成，其中三个相机被设置在车辆的前方处，一个相机被设置在车辆的后方处，两个相机被设置在车辆的左侧处并且两个以上相机被设置在车辆的右侧处，以便提取车辆周围的更多信息。

由相机捕获的图像数据由控制单元(例如ECU(电子控制单元))融合，使得产生车辆环境的三维(3D)表示，即环境模型。

驾驶员辅助系统尤其可以使用环境模型作为数据基础来识别物体、障碍物、车道或行人，警告驾驶员或甚至在危急情况下停止车辆。

理论上，基于由这种相机系统捕获的图像数据生成的环境模型可以被用于自动车辆，例如SAE 3级或4级或更高级的汽车(其中SAE J3016标准描述了具有自动驾驶系统的道路车辆的术语的分类和定义)，作为自动驾驶的基础，例如用于检测和保持车辆在车道中。

然而，已知的相机系统，并且更具体地，基于捕获的图像数据生成的环境模型不满足高度自动化驾驶所需的安全标准。

例如，根据QM(其中QM指“质量管理”，水平QM意味着与危险事件相关的风险不是不合理的，并且因此需要根据ISO 26262的安全措施)开发已知的环绕视图相机系统，并且不符合任何安全完整性水平，因此不能用于高度自动化的车辆，尤其是用于驾驶功能。

换言之，针对高度自动化的车辆，没有可用的合格解决方案能够将由环绕视图相机系统捕获的图像数据作为QM输入并提供具有ASIL(汽车安全完整性等级)B的安全完整性的功能。

根据现有技术，本发明的目的是提供一种用于将由具有低安全级别的相机系统捕获的图像数据限定到较高安全级别的方法，即，将捕获的图像数据减轻到较高安全级别。

该目的通过独立权利要求的特征来解决。从属权利要求包含本发明的优选的进一步发展。

更具体地，通过用于确定图像数据的正确性的方法来解决该目的。图像数据由安装在车辆处的相机系统的至少两个相机捕获。相机系统可以是环绕视图相机系统和/或另一相机系统。可能的是，至少两个相机中的一个形成环绕视图相机系统的一部分，并且至少两个相机中的另一个形成另一个相机系统的一部分。

该方法包括检测由至少两个相机中的第一相机捕获的图像数据中的至少一个特征的步骤。

该方法还包括确定是否可以在由至少两个相机中的第二相机捕获的图像数据中检测到至少一个特征的步骤。

该方法还包括如果在由至少两个相机中的第二相机捕获的图像数据中能够检测到所述至少一个特征，则确定图像数据的正确性的步骤。

总之，根据该方法，利用由第二相机捕获的图像数据来验证由第一相机捕获的图像数据，即验证由第二相机捕获的图像数据，并且反之亦然。因此，可以检查相机系统的每个相机的图像数据的正确性，并因此提高相机的捕获图像数据的安全完整性等级，使得它们的数据输出，即相应的捕获的图像数据，可以被用作自动驾驶功能的数据基础。这些自动驾驶功能可以包括基于这些功能的车辆的纵向引导件和/或横向引导件。

然而，该方法不限于包括两个相机的相机系统，而是相机系统还可以包括三个、四个或更多个相机，其中分别使用上述方法来确定由相机捕获的图像数据的正确性。

至少两个相机的捕获的图像数据，即传感器数据，可以被用于创建车辆周围的环境的抽象的、统一的表示，例如汽车或车道。这种表示称为环境模型。如上所述，环境模型的准确性是重要的以便确保车辆以及车辆的乘客的安全，因为环境模型可以被用作规划车辆轨迹的数据基础。

换言之，如果确定了图像数据的正确性，则该方法可以包括基于由至少两个相机捕获的图像数据生成环境模型的另一步骤。

该方法还可以包括基于所生成的环境模型来规划车辆的轨迹的步骤。

附加地或备选地，如果确定了该图像数据的正确性，则该方法可以包括基于由至少两个相机捕获的图像数据来控制车辆的纵向引导件和/或横向引导件。可选地，该方法可以包括基于车辆的规划轨迹控制车辆的纵向引导件和/或横向引导件的步骤。因此，车辆可以是自动或自主车辆，例如具有SAE等级3或更高的自动系统的车辆。在SAE级别3(即，“眼睛关闭”)处，驾驶员可以安全地将他们的注意力从驾驶任务转向，例如，驾驶员可以发短信或观看电影。车辆将处理要求立即响应的情况，例如紧急制动。当车辆要求这样做时，驾驶员仍然必须准备在制造商规定的一些有限时间内进行干预。自动系统类似于副驾驶，当驾驶员转向驾驶时，该副驾驶将以有序的方式提醒驾驶员。一个示例是交通阻塞干扰器。在SAE4级(即“放松注意力”)处，不需要驾驶员注意安全，例如驾驶员可以安全地入睡或离开驾驶员的座位。仅在有限的空间区域(例如地理围栏)中或在诸如极端天气条件(即暴雨、雪或风暴)的特殊情况下支持自驾驶。在这些区域或环境之外，如果驾驶员不重新进行控制，则车辆必须能够安全地中止行程，例如停放汽车。一个示例是机器人出租车或机器人递送服务仅覆盖特定区域中的选定位置。在SAE5级(即“方向盘可选”)处，根本不需要人工干预。一个示例是在世界各地全年无休，在所有天气条件下在所有道路上工作的机器人出租车。

图像数据可以由至少两个相机中的第一相机和第二相机同时捕获。可选地，控制单元被配置为融合由至少两个相机中的第一相机和第二相机捕获的图像数据，并且进一步可选地，控制单元被配置为针对至少一个特征融合由至少两个相机中的第一相机和第二相机捕获的图像数据，使得至少一个特征达到比融合前更高的安全完整性等级。

因此，该方法可以包括使至少两个相机中的第一相机的时钟与至少两个相机中的第二相机的时钟同步的另一步骤，使得在另一步骤中，可以从至少两个相机中的第一相机和第二相机的捕获的图像数据中提取由至少两个相机中的第一相机和第二相机同时捕获的图像数据。

可能的是，至少两个相机中的每一个相机包括所谓的从时钟，其被用于向由至少两个相机中的相应的相机捕获的图像数据提供时间戳。如果两个相机的从时钟彼此同步，例如使用车辆中或车辆处提供的主时钟(例如使用精确时间协议PTP，如果相机经由通信总线即以太网、Flexray、CAN等被连接)，则由两个相机都提供给图像数据的时间戳可以被用于确定相机是否同时捕获图像数据。因此，可以从至少两个相机中的第一相机和第二相机的所有捕获图像数据中提取这些图像数据，并使用它们来确定捕获的图像数据的正确性。

附加地或备选地，至少两个相机可以包括至少部分重叠的视场。仅由至少两个相机中的第一相机捕获的图像数据的部分可以被用于检测对应于至少两个相机中的第一相机的视场与至少两个相机中的第二相机的视场重叠的区域的至少一个特征。

这尤其提供了以下优点，即不是必须使用相机的整个图像数据来确定其正确性，而是仅使用其相关部分，从而使确定图像数据的正确性所需的计算能力最小化。

至少两个相机的上述视场(FOV)，即水平FOV和/或垂直FOV，可以是取决于各个相机的硬件和/或软件限制的值。视场可以指相机(例如胶片或记录传感器)的视角(AOV)中的区域，在该区域内环境中的事件和/或变化可以被感知和记录。视角可以描述由相应的相机成像的给定场景的角度范围。

如上所述，至少两个相机中的第一相机的视场和至少两个相机中的第二相机的视场彼此重叠。也就是说，在车辆环境的某个区域(即空间)中，事件和/或变化可以被两个相机都感知和记录。

在由至少两个相机中的第一相机捕获的图像数据中要检测的至少一个特征可以是车道边界和/或物体。

物体可以包括车辆环境中的静止和/或移动物体。使用车道边界作为待检测的特征提供了这样的有点，即多个驾驶辅助功能，例如车道保持辅助，已经被配置为检测车道边界。因此，这两个相机本身被配置为检测要被检测的特征是可能的，例如包括车道边界检测或物体检测，这可以用在上述方法中。

利用上述方法，可以确定捕获的图像数据的正确性，并因此将该数据限定到更高的安全完整性等级。

例如，可以有四个相机传感器被安装在车辆的前部处、车辆的后部处、车辆的左侧处和车辆的右侧处。相机系统可以被开发为QM，并且不具有用于停车或驾驶功能的任何安全完整性。根据ASIL分类，QM是最低安全完整性等级。更具体地，ASIL(汽车安全完整性等级)是由ISO 26262－道路车辆的功能安全定义的风险分类方案。ASIL分类包括五个安全级别，从具有最低安全要求的QM到具有最高安全要求的ASIL D。根据上述方法，前相机的视场可以与左侧相机和/或右侧相机的视场平等化。在诸如车道边界检测和/或物体检测的功能和特征的合理化期间，即在确定前相机的捕获的图像数据的正确性期间，将来自前相机的图像与左侧相机和/或右侧相机的车道边界检测和/或物体检测进行比较。如果类似的车道边界和对象检测特征被检测到并且被伪装，则这些特征可以从QM提升到ASIL B和/或ASILD。因此，可以在需要ASIL B、ASIL C和/或ASIL D的(高度)自动驾驶中使用被开发为QM的系统。

此外，控制单元被提供。控制单元被配置为接收图像数据，图像数据由安装在车辆处的相机系统的至少两个相机捕获；检测由至少两个相机中的第一相机捕获的图像数据中的至少一个特征；确定在由至少两个相机中的第二相机捕获的图像数据中是否能够检测到至少一个特征；以及如果在由至少两个相机中的第二相机捕获的图像数据中能够检测到至少一个特征，则确定图像数据的正确性。可选地，控制单元被配置为输出具有ASIL B或更高的安全完整性等级的相机数据。

图像数据可以由至少两个相机中的第一相机和第二相机同时捕获。可选地，控制单元被配置为融合由至少两个相机中的第一相机和第二相机捕获的图像数据，并且进一步可选地，控制单元被配置为关于至少一个特征融合由至少两个相机中的第一相机和第二相机捕获的图像数据，使得至少一个特征达到比融合前更高的安全完整性等级。

至少两个相机可以包括至少部分重叠的视场。控制单元可以被配置为仅使用由该至少两个相机中的第一相机捕获的图像数据的部分来检测至少一个特征，该至少一个特征对应于至少两个相机中的第一相机的视场与至少两个相机中的第二相机的视场重叠的区域。

在由至少两个相机中的第一相机捕获的图像数据中要检测的至少一个特征可以是车道边界和/或对象。

控制单元可以被配置为执行上述方法。以上关于该方法给出的解释也适用于控制单元，并且反之亦然。

此外，提供了一种控制系统。该控制系统包括用于车辆的相机系统，该相机系统包括至少两个相机，以及如上所述的控制单元。

以上关于方法和控制单元给出的说明也适用于控制系统，并且反之亦然。

此外，提供了一种包括上述控制系统的车辆。如果确定图像数据的正确性，则控制系统的控制单元被配置为基于图像数据控制车辆的纵向引导和/或横向引导。

以上关于方法，控制单元和控制系统给出的说明也适用于控制系统，反之亦然。

在下文中，参考图1和2给出本发明的实施例的描述。

图1示意性地示出了包括控制系统的车辆。

图2描述了用于确定图像数据的正确性的方法的流程图。

在图1中示出了车辆1。该车辆是被配置为自动地执行驾驶功能(诸如该车辆的纵向引导件和/或横向引导件)的轿车。

因此，车辆1包括控制系统2。控制系统2包括都被安装在车辆1处的相机系统3和控制单元4。相机系统3可以是环绕视图相机系统。另外地或备选地，相机系统可以包括另一相机系统。

相机系统3包括四个(或更多个)相机31、32、33、34。更具体地，相机系统3包括安装在车辆1前侧处的前相机31，安装在车辆1右侧处的右侧相机32，安装在车辆1后侧处的后侧相机33，以及安装在车辆1左侧处的左侧相机34。

如果提供另一相机系统，则另一相机系统3可以包括四个、六个、八个或十个相机。另一相机系统可以包括安装在车辆1前侧处的三个相机，安装在车辆1右侧处的两个相机，安装在车辆1后侧处的一个相机，以及安装在车辆1左侧处的两个相机。

在以下描述中，假设仅提供包括四个相机31、32、33、34的环绕视图相机系统。然而，下面的描述比照适用于备选地或附加地提供给环绕视图相机系统的其它相机系统。

四个相机31、32、33、34中的每一个相机都是具有限定视场的传感器，并且被配置为捕获与车辆的环境相对应的图像数据(例如图片或视频数据)，其中车辆的环境是相应的相机31、32、33、34的视场。此外，四个相机31、32、33、34中的每一个相机被配置为将捕获的图像数据(可选地加上时间戳)输出到控制单元4。

控制单元4包括输入接口、输出接口、处理单元和存储单元，其中输入接口被连接到处理单元，并且处理单元被连接到存储单元以及输出单元。

控制单元4的输入接口被提供用于从四个相机31、32、33、34中的每一个相机接收捕获的图像数据。输入接口被配置为将接收到的图像数据输入到处理单元。

处理单元被配置为加载存储在存储单元中的计算机程序，使用接收的图像数据作为程序的输入，执行计算机程序，并且经由输出单元将通过执行计算机程序接收的结果输出到车辆1。

该计算机程序包括用于确定图像数据的正确性的方法的步骤。将参考图2详细描述该方法。总之，控制单元4被配置为执行用于确定图像数据的正确性的方法。图像数据由安装在车辆1处的上述相机系统3的至少两个相机31、32、33、34捕获。

该方法基本上包括三个步骤S1－S3，并且可选地包括第四步骤S4。

在该方法的第一步骤S1中，由控制单元4检测由至少两个相机31、32、33、34中的第一相机捕获的图像数据中的至少一个特征。例如，由前相机31捕获的图像数据被用于检测，即提取和确定至少一个特征。

在由至少两个相机中的第一相机捕获的图像数据中要检测的至少一个特征可以是车道边界和/或物体。

在该方法的第二步骤S2中，控制单元4确定在由至少两个相机31、32、33、34中的第二相机捕获的图像数据中是否也可以检测到至少一个特征。例如，由右侧相机32捕获的图像数据用于确定在第一步骤S1中检测到的至少一个特征是否也存在于右侧相机32的图像数据中。

在该方法的第三步骤S3中，控制单元4确定由至少两个相机31、32、33、34中的两个相机都捕获的图像数据的正确性，在此由正面相机31和右侧相机32捕获。如果在由至少两个相机中的第二相机捕获的图像数据中，在此也在右侧相机32的图像数据中，可以检测到至少一个特征，则确定图像数据是正确的。

优选地，用于确定相机31、32、33、34的捕获图像数据的正确性的图像数据被在同时捕获。可选地，控制单元4被配置为融合由至少两个相机31、32、33、34中的第一相机和第二相机捕获的图像数据，并且进一步可选地，控制单元4被配置为关于至少一个特征融合由至少两个相机31、32、33、34中的第一相机和第二相机捕获的图像数据，使得至少一个特征达到比融合前更高的安全完整性等级。

还有可能的是，至少两个相机(在以上示例中为前侧相机31和右侧相机32)包括至少部分重叠的视场。然后，控制单元4可以仅使用由至少两个相机31、32、33、34中的第一相机捕获的图像数据的部分来检测对应于至少两个相机中的第一相机的视场与至少两个相机31、32、33、34中的第二相机的视场重叠的区域的至少一个特征。

还可以使用多于一个的相机来验证四个相机31、32、33、34中的另一个相机的图像数据的正确性。此外，车辆1的任何两个给定的相机，即侧相机和后相机、前相机和侧或后相机，可以至少提取具有ASIL的一个或多个特征。

此外，该方法可以包括第四步骤S4。在第四步骤S4中，如果在第三步骤S3中确定图像数据的正确性，则控制单元4基于图像数据控制车辆1的纵向引导和/或横向引导。

附图标记列表

1 车辆

2 控制系统

3 相机系统，例如环绕视图相机系统和/或其他相机系统

31－34 相机系统的相机

4 控制单元

S1－S4 方法步骤

Claims (10)

1.一种用于确定图像数据的正确性的方法，所述图像数据由安装在车辆(1)处的相机系统(3)的至少两个相机(31、32、33、34)捕获，其中所述方法包括：

－检测(S1)由所述至少两个相机(31、32、33、34)中的第一相机捕获的所述图像数据中的至少一个特征；

－确定(S2)所述至少一个特征是否能够在由所述至少两个相机(31、32、33、34)中的第二相机捕获的所述图像数据中检测到；以及

－如果所述至少一个特征能够在由所述至少两个相机(31、32、33、34)中的所述第二个相机捕获的所述图像数据中被检测到，则确定(S3)所述图像数据的所述正确性。

2.根据权利要求1所述的方法，

－其中所述图像数据由所述至少两个相机(31、32、33、34)中的所述第一相机和所述第二相机同时捕获。

3.根据权利要求1或2所述的方法，

－其中所述至少两个相机(31、32、33、34)包括至少部分重叠的视场；以及

－其中仅由所述至少两个相机(31、32、33、34)中的所述第一相机捕获的所述图像数据的部分被用于检测所述至少一个特征，所述至少一个特征对应于所述至少两个相机(31、32、33、34)中的所述第一相机的视场与所述至少两个相机(31、32、33、34)中的所述第二相机的视场重叠的区域。

4.根据前述权利要求中任一项所述的方法，

－其中在由所述至少两个相机(31、32、33、34)中的所述第一相机捕获的所述图像数据中待检测的所述至少一个特征是车道和/或车道边界和/或物体和/或障碍物。

5.一种控制单元(4)，其中所述控制单元(4)被配置为：

－接收图像数据，所述图像数据由安装在车辆(1)处的相机系统(3)的至少两个相机(31、32、33、34)捕获；

－检测由所述至少两个相机(31、32、33、34)中的第一相机捕获的所述图像数据中的至少一个特征；

－确定所述至少一个特征是否能够在由所述至少两个相机(31、32、33、34)中的第二相机捕获的所述图像数据中被检测到；以及

－如果所述至少一个特征能够在由所述至少两个相机(31、32、33、34)中的所述第二相机捕获的所述图像数据中被检测到，则确定所述图像数据的所述正确性；以及

－可选地，所述控制单元(4)被配置为输出具有ASIL B或更高的安全完整性等级的所述相机数据。

6.根据权利要求5所述的控制单元(4)，

－其中所述图像数据由所述至少两个相机(31、32、33、34)中的所述第一相机和所述第二相机同时捕获；

－可选地，所述控制单元(4)被配置为融合由所述至少两个相机(31、32、33、34)中的所述第一相机和所述第二相机捕获的所述图像数据；以及

－进一步可选地，所述控制单元(4)被配置为相对于所述至少一个特征融合由所述至少两个相机(31、32、33、34)中的所述第一相机和所述第二相机捕获的所述图像数据，使得所述至少一个特征达到比融合前更高的安全完整性等级。

7.根据权利要求5或6所述的控制单元(4)，

－其中所述至少两个相机(31、32、33、34)包括至少部分重叠的视场，以及

－其中所述控制单元(4)被配置为仅使用由所述至少两个相机(31、32、33、34)中的所述第一相机捕获的所述图像数据的部分来检测所述至少一个特征，所述至少一个特征对应于所述至少两个相机(31、32、33、34)中的所述第一相机的视场与所述至少两个相机(31、32、33、34)中的所述第二相机的视场重叠的区域。

8.根据权利要求5至7中任一项所述的控制单元(4)，

－其中在由所述至少两个相机(31、32、33、34)中的所述第一相机捕获的所述图像数据中待检测的所述至少一个特征是车道和/或车道边界和/或物体和/或障碍物。

9.一种控制系统(2)，包括：

－用于车辆(1)的相机系统(3)，所述相机系统(3)包括至少两个相机(31、32、33、34)；以及

－根据权利要求5至8中任一项所述的控制单元(4)。

10.一种车辆(1)，包括根据权利要求9所述的控制系统(2)，

－其中所述控制单元(4)被配置为如果所述图像数据的正确性被确定，则基于所述图像数据来控制所述车辆(1)的纵向引导件和/或横向引导件。

Images