CN110809780B - 生成合并的视角观察图像的方法、相机系统以及机动车辆 - Google Patents

Abstract

本发明涉及一种用于生成至少一个合并的视角观察图像的方法，该图像从动态虚拟相机的动态可变的视角示出机动车辆及其环境区域并且其是基于至少两个相机的原始图像以及基于机动车辆的视角模型而被确定的，该方法包括以下步骤：a)确定合并的视角观察图像是否包括至少一个受干扰信号影响的图像区域，如果是，则识别至少一个受干扰信号影响的图像区域；b)(S63)确定至少一个受干扰信号影响的图像区域内的干扰信号的严重性；c)(S61)根据虚拟相机的视角，确定干扰信号的重要性；d)根据虚拟相机的视角，通过机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度；e)仅在严重性超过预定严重性阈值且重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才减少干扰信号。此外，本发明还涉及一种相机系统以及一种机动车辆。

Description

生成合并的视角观察图像的方法、相机系统以及机动车辆

技术领域

本发明涉及一种用于生成至少一个合并的视角观察图像的方法，该图像从动态虚拟相机的动态可变的视角示出了机动车辆及机动车辆的环境区域并且其是基于至少两个车辆侧相机的原始图像以及基于虚拟相机的视角的机动车辆的视角模型而被确定的。此外，本发明涉及一种相机系统以及一种机动车辆。

背景技术

从现有技术中已经知道，借助于机动车辆的相机系统例如环视相机系统的相机来监视机动车辆的环境区域。为此，相机可以捕获来自环境区域的原始图像或原始图像数据，它们可以在机动车辆的显示设备例如屏幕上显示给机动车辆的驾驶员。从所谓的第三人称视角的环境区域的三维表示也越来越多地显示在显示设备上。这种第三人称视角从车辆外部观察者(所谓的虚拟相机)的视角示出了机动车辆的环境区域以及机动车辆本身。

可以通过合并由相机系统的相机检测到的原始图像来生成从第三人称视角的环境区域的此类视角图像，由此合并并因此得到的视角图像视图取决于虚拟相机的视角。合并的视角观察图像给人的印象是在虚拟相机的姿势下由真实相机捕获。这种合并的视角观察图像例如可以是观察者从上方竖直向下看向机动车辆的俯视图。因此，虚拟相机沿着机动车辆竖直轴线布置在机动车辆上方并且朝向机动车辆定向。该顶视图图像可以显示在显示设备上，并且示出了具有车顶的机动车辆的上侧以及机动车辆周围的环境区域，特别是路面。

在这种情况下，合并的视角观察图像可能具有干扰信号，这也被称为混叠效果混叠。这些干扰信号例如可以是在显示设备上显示的图像中的人为闪烁效果。这些闪烁效果通常出现在合并的视角观察图像的图像区域中，其示出了机动车辆附近的环境区域的底部区域，特别是在机动车辆移动时。显示在显示设备上的这些闪烁效果使显示给驾驶员的合并的视角观察图像的图像质量劣化，并且可能会干扰驾驶员。从现有技术中已知用于减轻干扰信号的抗混叠方法。然而，这些可能包括高计算成本，特别是当环境区域的图像应实时显示给驾驶员时。

发明内容

本发明的目的是提供一种关于如何能够快速且不花费大量计算精力来生成机动车辆及机动车辆的环境区域的高质量的合并的视角观察图像的解决方案。

根据本发明，该目的通过具有根据各个独立权利要求的特征的方法、相机系统以及机动车辆来解决。本发明的有利实施例是从属权利要求、说明书及附图的主题。

根据方法的一个实施例，生成至少一个合并的视角观察图像，其从动态虚拟相机的动态可变的视角示出机动车辆及机动车辆的环境区域，其中合并的视角观察图像是基于至少两个车辆侧相机的原始图像以及基于取决于虚拟相机的视角的视角模型而被确定的。在步骤a)中，特别确定合并的视角观察图像是否包括至少一个受干扰信号影响的图像区域，如果是，则识别合并的视角观察图像中的至少一个受干扰信号影响的图像区域。在步骤b)中，可以确定至少一个受干扰信号影响的图像区域中的干扰信号的严重性，并且在步骤c)中，可以根据虚拟相机的视角，确定干扰信号的重要性，其中具有虚拟相机的视角的图像区域的至少一个几何参数的特征在于该重要性。特别地，在步骤d)中，根据虚拟相机的视角，通过要插入到合并的视角观察图像中的机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度。特别地，在步骤e)中，仅在干扰信号的严重性超过预定严重性阈值且干扰信号的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像减少干扰信号。

根据方法的特别优选的实施例，生成至少一个合并的视角图像，其从动态虚拟相机的动态可变的视角示出机动车辆及机动车辆的环境区域，其中合并的视角观察图像是基于至少两个车辆侧相机的原始图像以及基于取决于虚拟相机的视角的机动车辆的视角模型而被确定的。在步骤a)中，确定合并的视角图像是否包括在合并的视角观察图像内的至少一个受干扰信号影响的图像。在步骤b)中，确定至少一个受干扰信号影响的图像区域内的干扰信号的严重性，并且在步骤c)中，根据虚拟相机的视角，确定干扰信号的重要性，其中具有虚拟相机的视角的图像区域的至少一个几何参数的特征在于该重要性。此外，在步骤d)中，根据虚拟相机的视角，通过要插入到合并的视角观察图像中的机动车辆的模型，确定受干扰信号影响的图像区域的覆盖度。在步骤e)中，仅在干扰信号的严重性超过预定严重性阈值且干扰信号的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像减少干扰信号。

通过该方法可以生成高质量的视角观察图像，其从虚拟相机的视角示出机动车辆及机动车辆周围的环境区域。视角图像可以视频序列特别是实时视频的形式显示给机动车辆的驾驶员。视角图像由原始图像生成，原始图像由至少两个车辆侧相机捕获。为了生成或渲染视角图像，原始图像例如通过车辆侧图像处理设备而被合并。在此，以与虚拟相机捕获视角观察图像的相同方式使用将原始图像合并成视角观察图像。

特别地，原始图像由机动车辆的具有高分辨率的广角多相机系统捕获。例如，多相机系统可以配置为具有安装在机动车辆上的四个相机的环视相机系统。环视相机系统可以包括：前相机，用于捕获来自机动车辆前方的环境区域的原始图像；后相机或倒车相机，用于捕获来自机动车辆后方的环境区域的原始图像；以及两个侧相机，用于捕获来自机动车辆旁边的环境区域的原始图像。为了扩大相机的检测范围，相机可以包括广角镜头，例如鱼眼镜头。原始图像以及合并的视角观察图像可以显示在机动车辆的显示设备上，使得驾驶员可以捕获在显示设备上看见的环境区域。因此，例如在停车时，可以帮助驾驶员操纵机动车辆。环视相机系统和显示设备形成相机监视系统(CMS)，其例如也可以替代机动车辆的侧镜。

作为合并的视角观察图像，在此生成图像，其从动态虚拟相机的动态可变的视角示出环境区域。这意味着虚拟相机的位置以及虚拟相机相对于机动车辆的定向即动态虚拟相机的姿态可以改变。在这种情况下，例如，可以从相机的原始图像生成来自多个合并的视角观察图像的序列，其从各个视角示出环境区域，因此给人的印象就像是虚拟相机在捕获视角观察图像期间在机动车辆上方以及围绕机动车辆飞行一样。例如，可以预先确定虚拟相机的运动路径或飞行路径。由于机动车辆本身不能被相机捕获，因此机动车辆的模型被插入到合并的图像中。被建模的机动车辆的模型也取决于虚拟相机的当前视角。因此，机动车辆的模型可以随着虚拟相机的视角而改变。

优选地，为了生成合并的视角观察图像，将原始图像投影到预定的弯曲表面上，其中将机动车辆的模型定位在该表面的预定位置中，并且基于具有投影的原始图像的表面和机动车辆的模型以及基于动态虚拟相机的视角来确定合并的视角观察图像。因此，特别地，生成所谓的碗状视图作为合并的视角观察图像。弯曲表面例如可以通过四次多项式确定或指示。机动车辆的模型例如可以位于弯曲表面的中间。

合并的视角观察图像可以包括干扰信号或混叠，其可以通过抗混叠方法来抑制或减轻。这些干扰信号尤其不存在于原始图像中，而是在生成合并的视角观察图像期间被插入，特别是在机动车辆和/或虚拟相机移动的情况下。为了在生成合并的视角观察图像期间节省计算资源，确定合并的视角观察图像是否将完全包括干扰信号。干扰信号是否出现尤其取决于机动车辆的环境区域中的特定相机系统和/或环境条件。在合并的视角观察图像包括具有干扰信号的图像区域的情况下，例如通过确定图像区域在合并的视角观察图像中的位置来识别它们。然后，确定在受干扰信号影响的图像区域内的干扰信号的严重性。严重性描述了图像区域中的干扰信号是否足够强到在合并的视角观察图像中完全可见。在这种情况下，假设图像区域中的干扰信号足够强或严重，因此当严重性超过预定严重性阈值时可见。干扰信号的严重性尤其取决于相机系统的真实相机。

此外，确定干扰信号的重要性。重要性尤其是取决于虚拟相机的测量。重要性描述了以虚拟相机的参考视角(例如用于生成顶视图的视角)相对于不同于参考视角的视角(例如用于生成机动车辆的后视图)的图像区域的至少一个几何参数的变化。因此，重要性特别描述了受干扰信号影响的图像区域如何根据虚拟相机的视角变化而变化。然后，即使严重性超过严重性阈值，确定干扰信号在根据虚拟相机的当前视角的合并的视角观察图像的图像区域中是否完全可见。如果重要性超过预定重要性阈值，则假定在受干扰信号影响的图像区域内的干扰信号足够重要且因此可见。

特别地，根据动态虚拟相机的视角，确定在以动态虚拟相机的视角的合并的视角图像内的至少一个受干扰信号影响的图像区域的大小和/或形状和/或位置作为重要性。例如，如果由于虚拟相机的当前视角在视角图像中的受干扰信号影响的图像区域的大小如此之小以至于干扰信号不可见或几乎不可见，则达不到重要性阈值。还可能的是，图像区域的位置和/或形状由于虚拟相机的视角而改变，使得干扰信号衰减或甚至消除。例如，可能由于图像区域因虚拟相机的预定视角而不在虚拟相机的检测范围内，所以图像区域以及因此的干扰信号根本不可见。

此外，受干扰信号影响的图像区域的覆盖度受机动车辆的模型影响。在合并的视角观察图像(其特别从虚拟相机的随机可变的视角示出环境区域)中，可能会发生图像区域的干扰信号不是可见的，即使它们特别严重且足够重要，因为图像区域至少部分地被机动车辆的视角模型覆盖。覆盖度尤其由模型的透明度以及模型的取决于视角的形状确定。因此，例如可能存在的情况是，受干扰信号影响的图像区域至少部分地由模型的取决于视角的形状覆盖，而且模型示出为透明的，因此干扰信号仍然可见。确定该覆盖度，特别是构成的覆盖度，并将其与预定覆盖度阈值进行比较。如果覆盖度保持在预定覆盖度阈值以下，则例如在机动车辆模型太透明或模型的视角图没有突入到受干扰信号影响的图像区域中的情况下，假设干扰信号在合并的图像中是可见的。

通过确定严重性、重要性以及覆盖度，可以因此确定减少干扰信号的必要性。因此，如果检测到或确认干扰信号在合并的图像中是可见的，则减少干扰信号或执行抗混叠。如果严重性保持在严重性阈值以下或重要性保持在重要性阈值以下或覆盖度超过覆盖度阈值，则避免干扰信号的减少。因此，在确定合并的视角观察图像时可以有利地节省计算资源。由此，可以实现用于机动车辆的特别低成本的相机系统，因为仅在认识到减少干扰信号的必要性的情况下才减少干扰信号。

优选地，减少原始图像和/或合并的视角观察图像中的干扰信号，其中，在至少在原始图像中减少干扰信号的情况下，在生成合并的视角观察图像之前，基于原始图像预测地执行步骤a)至d)。原始图像中的干扰图像的减少对应于预滤波，而合并的视角观察图像中的干扰信号的减少对应于后处理。为了能够减少原始图像中已经存在的干扰图像，预测合并后的视角观察图像是否将包括至少一个受干扰信号影响的图像区域。此外，通过机动车辆的模型，预测干扰信号的严重性、干扰信号的重要性以及受干扰信号影响的图像区域的覆盖度。因此，可以已经在从原始图像生成视角观察图像的过程中即在通过虚拟相机捕获视角观察图像的过程中减少干扰信号。因此，特别快地呈现高质量的视角观察图像，以在显示设备上显示。例如，这对于实时应用是特别有利的。

在本发明的进一步发展中，在步骤a)中，确定至少一种环境条件，尤其是机动车辆的路面的纹理和/或一天中的时间和/或天气条件，并且基于至少一种环境条件，预测合并的视角观察图像是否包括至少一个受干扰信号影响的图像区域。该实施例基于这样的见解，即混叠效果的发生取决于机动车辆的环境区域中的环境条件。如果例如路面被水膜覆盖，则由于由路面上的水膜引起的反射的对比度降低，干扰信号非常低。另外，水膜可以覆盖相机的镜头，从而相机捕捉模糊的原始图像。基于模糊的原始图像确定的合并的视角观察图像尤其包括减少的干扰图像。可以特别小或特别大的道路砾石的形式形成路面的纹理，其减少在合并的视角观察图像中的人为闪烁形式的干扰信号。此外，在低光照水平的情况下，例如在夜间骑行期间或在机动车辆的阴影下，几乎看不到视角图像中的干扰信号。在这些情况下，可以避免干扰信号的减少。

在本发明的有利实施例中，在步骤a)中，确定干扰信号指示符，并且基于该干扰信号指示符，确定至少一个受干扰信号影响的图像区域的存在以及图像区域在合并的视角观察图像内的位置，其中在步骤b)中，基于干扰信号指示符，确定干扰信号的严重性。干扰信号指示符尤其用于区分没有干扰信号的图像区域和受干扰信号影响的图像区域。通过干扰信号指示符，可以指示在特定的相机中是否完全发生干扰信号或混叠。因此，干扰信号指示符取决于真实的相机，然而特别是不由虚拟相机。干扰信号指示符可以基于原始图像和/或基于合并的图像来确定。基于该干扰信号指示符，可以在至少一个合并的视角观察图像中识别出受干扰信号影响的图像区域，例如受干扰信号影响的图像区域的位置。此外，可以基于干扰信号指示符来确定特别是预测干扰信号的严重性。

可以规定，根据相机的至少一个相机参数，确定像素密度图作为干扰信号指示符，该像素密度图描述了依赖于原始图像的有助于创建合并的视角观察图像的像素数量分布的图像区域，其中将像素密度图内的最大像素密度值确定为干扰信号的严重性。像素密度图对应于像素密度的空间分布，其描述了原始图像中有助于在合并的视角观察图像中生成图像区域的像素数量。图像区域对环境区域的特定环境子区域或感兴趣区域(ROI)进行成像。感兴趣区域例如是路面的环境子区域。例如，可以通过将环境区域例如路面细分为环境子区域来确定分布。对于每个环境子区域，可以确定用于在合并的视角观察图像中表示各个环境子区域的原始图像的像素数量与合并的视角观察图像的像素数量之间的比率。换句话说，将环境区域细分，在该环境区域内选择某个环境子区域，并确定该特定环境子区域在原始图像和合并的视角观察图像中占据多少像素。因此，像素密度是用于测量原始图像相对于合并的视角观察图像的像素比的测量。

像素比取决于相机的外部和固有相机参数，从而根据相机参数生成像素密度图。例如，可以为每个相机确定像素密度图，或者可以为整个相机系统确定像素密度图。外部相机参数描述了相机在世界坐标系中的空间位置，即位置以及定向，并建立了世界坐标系与相机坐标系之间的关系。固有相机参数在相机坐标系与原始图像和合并的视角观察图像的图像坐标系之间建立关系。作为固有相机参数，例如，可以指示相机的焦距、图像中心的坐标以及两个图像坐标方向上的像素缩放。

因此，基于像素密度图，可以在受干扰信号影响的图像区域中确定受干扰信号影响的图像区域的位置和干扰信号的严重性。像素密度图可以划分为像素密度范围，每个像素密度范围对应于视角观察图像内的图像区域。像素密度范围的像素密度越高，则在与该像素密度范围相对应的视角图像的图像区域中的干扰信号越严重或越强烈。因此，根据像素密度图，该图像区域可被识别为具有最高像素密度的受干扰信号影响的图像区域。该最大像素密度可以同时被识别为干扰信号的严重性，并且可以与预定严重性阈值进行比较。例如，代表相机附近的目标区域的图像区域中的像素密度大于代表远离相机的目标区域的图像区域中的像素密度。因此，受干扰信号影响的区域特别对靠近真实相机的环境区域的环境子区域进行成像。

可替代地或另外，作为干扰信号指示符，根据像素在原始图像和/或合并的视角观察图像中的位置来确定描述像素值的统计离散度的至少一个测量，其中基于至少一个测量的相对值来确定干扰信号的严重性。因此，根据该实施例，基于像素值特别是亮度值的变化或离散度来确定干扰信号指示符。该实施例基于以下认识：受干扰信号影响的图像区域中的像素值比没有干扰信号的图像区域中的像素值具有明显更高的离散度。表征统计离散度的统计测量或统计指标可以是例如数据范围、标准偏差、距离处的距离标准偏差、平均绝对偏差、变异系数、相对平均差等。统计指标越高，像素值的离散度越大。混叠的严重性可以通过统计指标的相对值来评估。

当不能基于像素密度图准确或可靠地确定干扰信号指示符时，使用统计指标来确定干扰信号指示符是特别有利的。特别地，由于像素密度是基于相机针孔模型和基于线性光线跟踪计算确定的比率，因此不考虑各种其他条件，比如环境区域中是否存在物体、物体的形状、物体的尺寸、感兴趣区域的亮度和颜色、不同的相机镜头特性等。

可替代地或另外，可以规定，通过对原始图像和/或合并的视角观察图像的像素值进行频率分析来确定干扰信号指示符。由于混叠效果是指在信号处理过程中出现的误差，该误差在具有高频分量的信号采样期间发生，尤其是高于采样频率的一半，因此干扰信号指示符也可以通过分析原始图像和/或在频域中的视角观察图像确定。可以考虑单个原始图像内和/或单个视角观察图像内的空间频率，以及可以考虑在图像的时间序列内时域中的频率。

在本发明的进一步发展中，根据用于显示合并的视角观察图像的车辆侧屏幕，作为干扰信号指示符，确定与该环境区域中的某个环境子区域相对应的各个屏幕区域。该屏幕区域的大小被确定为干扰信号的严重性，其被与在屏幕上显示期间受干扰信号影响的图像区域相对应的环境子区域所占据。因此，干扰信号指示器还可以取决于在其上显示视角观察图像的特定显示设备。在这种情况下，检查在显示在屏幕上时，合并的视角观察图像是否具有干扰信号。例如，这意味着合并的视角观察图像当然具有干扰信号，该干扰信号既足够严重又足够重要且未被覆盖，但是在具有特定屏幕参数的特定屏幕上看不到干扰信号。如果干扰信号在特定屏幕上不可见，尽管它们确实存在，但是可以避免干扰信号的减少。因此，在确定合并的视角观察图像时，可以经济地节省计算性能以及计算时间。

证明有利的是，在至少一个测试周期中确定测试干扰信号指示符，其中确定环境区域中预定环境子区域的位置与测试干扰指示符的值之间的关系，并且基于该关系来确定严重性阈值。特别地，在所谓的预生产阶段执行测试周期，在该阶段中，尚未将特定相机系统交付给最终客户。通过测试周期，可以有利地检查在特定相机系统中是否完全需要抗混叠方法。另外，可以发现在特定相机系统中何时要减少干扰信号，即在原始图像内还是仅在视角观察图像内。因此可以确定预滤波或后处理是否达到期望的结果，即确定高质量的视角观察图像。为此，可以在测试周期中捕获原始图像，并可以使用虚拟相机的设定(例如虚拟相机的姿势)确定视角观察图像。如果在以测试周期确定的视角观察图像中出现干扰信号，则可以基于原始图像和/或基于视角观察图像来确定测试干扰信号指示符。基于测试干扰信号指示符，然后可以确定此特定相机系统的特定严重性阈值。因此，抗混叠可以专门地适于各个相机系统，从而可以为终端用户提供可以生成定性特别高质量的视角观察图像的相机系统。

在特别有利的实施例中，为了减少合并的视角观察图像中的干扰信号，在步骤f)中，在配备有集成增强功能的相机的情况下，抑制或减轻所捕获的原始图像的对比度增强和/或边缘增强，并且基于没有对比度增强和/或边缘增强的原始图像来确定合并的视角观察图像。作为步骤f)的替代或补充，在步骤g)中，在所捕获的原始图像内生成聚焦误差，并且基于具有聚焦误差的原始图像来确定合并的视角观察图像。作为步骤f)和/或步骤g)的替代或补充，在步骤h)中，对与合并的视角观察图像和/或原始图像的受干扰信号影响的图像区域相对应的像素应用滤波。

因此，如果已经通过步骤a)至e)检测到对于合并的视角观察图像需要减少干扰信号，则执行步骤f)至h)中的至少一个。在步骤f)中，关闭或减少相机的集成增强功能或增强特征。大多数相机或相机系统包括具有内置对比度增强和/或边缘增强的集成图像处理单元。即使集成增强功能未生成干扰信号，这些增强功能也会加剧干扰信号的严重性。相机的图像处理单元例如可以由车辆侧图像处理设备控制，因此增强功能不应用于原始图像。以此方式，用于产生合并的视角观察图像的未处理的原始图像被提供给图像处理设备。通过抑制或至少减轻相机的这些增强功能并基于未处理的原始图像确定合并的视角观察图像，可以容易地避免或减少将干扰信号引入合并的视角观察图像中。

可替代地或另外，可以执行涉及光学方法的步骤g)。在步骤g)中，故意在原始图像内生成聚焦误差或聚焦偏移。聚焦误差以相机的模糊图像的形式可见，光学模糊减少了高频信号，因此在基于模糊原始图像确定的合并的视角观察图像中出现了混叠。原始图像中的聚焦误差可以例如通过提供相机镜头的未对准来生成。因此，原始图像由具有未对准镜头的相机检测到。为此，可以将镜头例如鱼眼镜头从其标称位置稍微移位，以实现聚焦偏移并因此实现未对准镜头。在相机的制造过程中或在将相机安装在机动车辆上期间，镜头可能未对准。因此，相机包括内置镜头未对准并可以捕获模糊的原始图像。在这些模糊的原始图像内，像素亮度的高频被平滑，因此在视角观察图像内干扰信号减少了。

步骤f)和g)在生成合并的视角观察图像之前执行，因此可以看作是避免将干扰信号引入合并的视角观察图像的预防措施。

可替代地或另外，可以执行涉及图像处理方法的步骤h)。在该步骤h)内，对合并的视角观察图像中的至少一个受干扰信号影响的图像区域进行滤波。特别地，图像元素或像素在合并的视角观察图像的该图像区域内和/或原始图像的对相关图像区域有贡献的图像元素内被滤波。可以在通过将滤波应用于原始图像来生成合并的视角观察图像之前和/或在通过将滤波应用于合并的视角观察图像而生成合并的视角观察图像之后执行步骤h)。可以规定，像素密度图用于引导滤波。可以根据像素密度图来确定加权因子，以对原始图像和/或合并的视角观察图像的像素进行加权。因此，像素密度图用作用于引导滤波的所谓的引导图像，借助该图像可以局部限制滤波的图像处理操作。因此，可以有利地确保在受干扰信号影响的图像区域与没有干扰信号的图像区域之间的平滑过渡。

当已经从步骤a)至e)确定减少干扰信号的必要性时，通过执行步骤f)至h)中的至少一个，尤其是所有步骤f)至h)，可以改善显示给驾驶员的合并的视角观察图像的图像质量。因此，可以提高驾驶员的视觉质量。

优选地，确定干扰信号是否是由于机动车辆的运动和/或虚拟相机的运动而引起的，并且在干扰信号仅由虚拟相机的运动引起的情况下，通过对合并的视角观察图像中的相邻像素进行平均来减少干扰信号。根据该实施例，检测干扰信号的源。如果干扰信号不是由于机动车辆的运动而是仅由虚拟相机的运动引起的，则可以执行简化的干扰信号减少或简化的抗混叠。因此，不执行步骤f)至h)中的任何一个，而仅在合并的视角观察图像中执行相邻像素的平均。例如，在记录原始图像时可以检测出机动车辆是否是静态或静止的。在这种情况下，机动车辆不移动。虚拟相机特别是在生成合并的视角观察图像的视频序列时移动，其中在捕获视角观察图像期间虚拟相机在机动车辆上飞过。通过检测干扰信号的来源，可以有利地选择用于减少干扰信号的适当可选简化的变型，因此可以节省计算时间。

本发明还涉及一种用于机动车辆的相机系统，该相机系统包括至少两个用于检测来自机动车辆的环境区域的原始图像的相机以及设计成用于执行根据本发明或其有利实施例的方法的图像处理设备。相机系统可以另外包括显示设备，例如屏幕，用于显示具有通过图像处理设备产生的减少的干扰信号的合并的视角观察图像。特别地，该相机系统设计为环视相机系统，并且包括至少四个相机，用于定位在机动车辆上并且用于检测来自机动车辆周围环境区域的原始图像。相机尤其具有广角镜头，例如鱼眼镜头。

根据本发明的机动车辆包括根据本发明的相机系统。机动车辆特别设计为乘用车。

参照根据本发明的方法提出的优选实施例及其优点相应地适用于根据本发明的相机系统和根据本发明的机动车辆。

从观察者站在车辆前方并沿车辆的纵向方向观察的视角，通过指示“在前方”、“在后方”、“旁边”、“上方”、“左方”、“右方”来指示位置和定向。

根据权利要求书、附图和附图说明，本发明的其他特征是显而易见的。在说明书中上面提到的特征和特征组合以及在附图说明中下面提到的和/或仅在附图中示出的特征和特征组合不仅可以在分别规定的组合中使用，而且可以在不脱离本发明范围的情况下在其他组合中或单独使用。因此，未在附图中明确示出和说明但是由所说明的实施方式得出并且可由与之分离的特征组合产生的实施方式也应被认为是本发明所包含和公开的。因此不具有最初制定的独立权利要求的所有特征的实施方式和特征组合也应被认为是公开的。此外，特别是通过以上阐述的实施方式(其超出或偏离在权利要求的关系中阐述的特征组合)的实施方式和特征组合应被认为是公开的。

基于优选的示例性实施例并参考附图更详细地解释本发明。

附图说明

在附图中：

图1是根据本发明的机动车辆的实施例的示意图；

图2a至2c是在机动车辆检测期间虚拟相机的不同视角的示意图；

图3是用于在所谓的“碗状视图”中产生合并的视角观察图像的弯曲表面的示意图；

图4是用于产生合并的视角观察图像的一般图像管线的示意图；

图5是用于产生合并的视角观察图像的另一图像管线的示意图；

图6是根据本发明的方法的实施例的流程图的示意图；

图7a至7d是用于识别合并的视角观察图像内的干扰信号的像素密度图的示意图；

图8是机动车辆和虚拟相机的模型的示意图；

图9是干扰信号在机动车辆的环境区域中的位置上的关系的示意图；

图10是通过实验检测出的像素占有量与相对于车辆侧相机之一的光轴的入射角之间的关系的示意图；

图11是受干扰信号影响的图像区域的形状的示意图；

图12是用于确定预生产阶段中的相机系统的干扰信号指示符的流程图的示意图；以及

图13是用于确定干扰信号源的流程图的示意图。

在附图中，相同以及功能相同的元件具有相同的附图标记。

具体实施方式

图1示出了根据本发明的机动车辆1的实施例。在当前情况下，机动车辆1设计为乘用车。机动车辆1包括驾驶员辅助系统2，其可以在机动车辆1的驾驶期间例如在停车期间辅助机动车辆1的驾驶员。驾驶员辅助系统2包括用于监视机动车辆1的环境区域4的相机系统3。在此，相机系统3设计为环视相机系统。相机系统3包括布置在机动车辆1上的四个相机5a、5b、5c、5d。第一相机5a即前相机布置在机动车辆1的前部区域6中，并且用于检测来自机动车辆1前方的环境区域4的原始图像。第二相机5b即后相机布置在机动车辆1的后部区域7中，并且用于检测来自机动车辆1后方的环境区域4的原始图像。第三相机5c布置在机动车辆1的左侧8，并且用于检测来自机动车辆1左方的环境区域4的原始图像。第四相机5d布置在机动车辆1的右侧9，并且用于检测来自机动车辆1右方的环境区域4的原始图像。左右相机5c、5d特别是可以安装在机动车辆1的侧镜上或代替侧镜的侧镜相机。相机5a、5b、5c、5d特别包括鱼眼镜头，以扩大其各自的检测范围。

由相机5a、5b、5c、5d检测到的原始图像或原始视频帧可以视频或视频序列的形式显示在驾驶员辅助系统2的显示设备10例如屏幕上。还可以将原始图像供给到驾驶员辅助系统2的图像处理设备11，其将原始图像合并成视角观察图像。图像处理设备11可以例如集成在车辆侧控制设备或ECU中。可替代地或除了原始图像之外，合并的视角观察图像可以显示在显示设备10上。

合并的视角观察图像从虚拟相机12的动态可变视角P1、P2、P3示出了机动车辆1及机动车辆1的环境区域4。在图2a、2b、2c中，示出了虚拟相机12，同时从不同视角P1、P2、P3检测机动车辆1。根据图2a，虚拟相机12位于机动车辆1的正上方，并且从第一视角P1垂直向下看向机动车辆1以及机动车辆1的路面13。机动车辆1以及路面13正交地投影到虚拟相机12的投影表面上。在正交投影的情况下，来自环境区域4的视线14因此在虚拟相机12的投影表面上成直角相遇。根据图2b，虚拟相机12也位于机动车辆1的正上方，并且从第二视角P2竖直向下看向机动车辆1以及机动车辆1的路面13。根据图2b，机动车辆1以及路面13被透视地投影到虚拟相机12的投影表面上，使得视线14特别在虚拟相机12的投影表面上的一点相遇。可以通过视角P1和P2创建顶视图或顶视图图像形式的视角图像。因此，视角P1和P2相同，只是投影类型不同。由于透视效果没有出现在俯视图中，因此无法从视觉上确定它是正交投影(如图2a)还是透视投影(图2b)。

根据图2c，虚拟相机12在机动车辆1上方倾斜地位于后方，并且从第三视角P3倾斜地向下看向机动车辆1以及机动车辆1的路面13。借助于视角P3，例如，可以生成机动车辆1的后视图。机动车辆1以及路面13透视地投影到虚拟相机12的投影表面上。与视角P1和P2相反，透视效果以第三视角P3出现在视角观察图像中。

为了在检测机动车辆1期间为虚拟相机12提供不同的视角P1、P2、P3，虚拟相机12可以动态地从第一位置A飞行到第二位置B，如图3所示，并且可以连续捕获视角观察图像。为了生成视角观察图像，可以将真实相机5a、5b、5c、5d的原始图像投影到弯曲表面16上，从而可以将机动车辆1的模型17定位在弯曲表面16内的任何期望位置。特别地，机动车辆1的模型17位于弯曲表面的中心。弯曲表面16例如可以通过四阶多项式确定。机动车辆1的模型17旨在代表真实的机动车辆1，其不能被相机5a、5b、5c、5d检测到。

图4示出了通用图像管线18或视频管线的示意图，其由一组部件19、20、21、22、23表示。借助视频管线18，可以基于由环视相机系统3的相机5a、5b、5c、5d拍摄的原始图像25或原始视频帧来生成合并的视角观察图像24。来自环境区域4的光经由相机5a、5b、5c、5d的镜头19例如鱼眼镜头投射到相机5a、5b、5c、5d的图像传感器单元20上。图像传感器单元20可以例如包括成像器和微处理器，例如伴随芯片。图像传感器单元20借助于相机5a、5b、5c、5d的集成图像质量调节功能21例如集成边缘增强或对比度增强来输出原始图像25。基于原始图像25以及基于校准和虚拟相机设定23，计算设备22(其例如可以集成到车辆侧图像处理设备11中)生成合并的视角观察图像24。视角图像24可被提供给显示设备10以进行显示。

图5示出了用于产生合并的视角观察图像24的具体视频管线26的表示，在该点处将干扰信号27引入到合并的视角观察图像24中。特别是当机动车辆1和/或虚拟相机12运动时，合并的视角观察图像24或连续序列图像24包括干扰信号27或混叠，例如以人工闪烁效果的形式。这些干扰信号27取决于相机5a、5b、5c、5d，特别是取决于它们的分辨率。干扰信号27可以在每个分辨率级别出现。然而，与低分辨率相机5a、5b、5c、5d相比，在高分辨率相机5a、5b、5c、5d处干扰信号27显著更明显。干扰信号27或混叠效果主要是空间效果，该效果随着机动车辆1移动而恶化。

由相机5a、5b、5c、5d检测到的原始图像25a、25b、25c、25d被供给到图像处理设备11。特别地，在原始图像25a、25b、25c、25d内不存在干扰信号27，或者不可见或几乎不可见。原始图像25a、25b、25c、25d可以存储在存储单元28或RAM(直接访问存储器)中。所存储的原始图像25a、25b、25c、25d可被提供给用于机器视觉的处理单元29，其对原始图像25a、25b、25c、25d进行分析。因此，通过处理单元29提供了用于机器视觉系统的并行路径。例如，可以借助针对环境区域4中的物体的机器视觉算法对原始图像25a、25b、25c、25d进行分析，以便输出基于物体的信息30。基于物体的信息30还可以在显示设备10上显示给驾驶员。

原始图像25a、25b、25c、25d可被提供给数字信号处理器31，其具有用于对原始图像25a、25b、25c、25d进行滤波的预滤波器32和图像渲染器33或用于产生合并的视角观察图像24的图像生成单元。干扰信号27特别是通过图像渲染器33引入，使得合并的视角观察图像24在此包括干扰信号27。在此，尽管对合并的视角观察图像24应用了后滤波器34，但不能从合并的视角观察图像24中去除干扰信号27。这些合并的视角观察图像24(其以人工闪烁效果的形式受干扰信号27的影响)在它们在显示设备10上向驾驶员显示时可被认为是干扰的。这些干扰信号27可以通过抗混叠来减少。在这种情况下，例如可以通过对原始图像25a、25b、25c、25进行预滤波和/或对视角观察图像24进行后处理来减少干扰信号27。

首先检查是否完全有必要减少干扰信号27，即抗混叠。图6中示出了确定需要抗混叠的流程图。在这种情况下，通过参数36，对由于合并原始图像25而将干扰信号27是否插入到视角观察图像中进行了研究，参数36描述了用于生成视角观察图像24的特定目标视图的虚拟相机12的视角以及关于机动车辆1的模型17的信息。因此，检查是否要执行减少干扰信号27的结果步骤35。例如，可以首先在这里未示出的步骤中检查是否完全预期到干扰信号27。这意味着例如检查在机动车辆1的环境区域4中在给定的环境条件下是否完全可以预期到干扰信号27，并且检查合并的视角观察图像24是否因此包括至少一个受干扰信号影响的图像区域。

可能发生的是，在机动车辆1的潮湿路面13的情况下，例如由于下雨，干扰信号27很小，因此不可见或几乎不可见。水膜覆盖相机镜头19也减弱了混叠效果。另外，在视角观察图像24中，在低光强度下且因此在路面13的低亮度下，例如在夜间，混叠几乎不可见。另外，由于在阴影区域中的光强度低，因此在机动车辆1的阴影中不可见混叠效果。此外，在例如具有特别小的或特别大的碎石块的某些路面13上可能不会出现混叠效果。如果根据环境区域4中检测到的环境条件已经可以排除可见干扰信号27的存在，则可以省略抗混叠。因此不执行减少干扰信号27的结果步骤35。

在根据图6的方法的步骤S61中，可以在合并的视角观察图像24中的至少一个受干扰信号影响的图像区域中确定干扰信号27的重要性。该重要性例如表示是否图像24中的至少一个图像区域足够大到干扰信号27完全可见。因此，重要性用于预测至少一个受干扰信号影响的图像区域的几何参数，例如视角观察图像24中的图像区域的大小、形状和位置。受干扰信号影响的图像区域的形状、大小和位置尤其取决于机动车辆1的视野以及由图像区域24提供的环境区域4的视图，并且因此取决于虚拟相机12的视角P1、P2、P3。因此，重要性是这样的参数，其取决于虚拟相机12并且描述了受干扰信号影响的图像区域如何根据虚拟相机12的当前视角P1、P2、P3而变化。例如，受干扰信号影响的图像区域的形状可以从虚拟相机12的第一视角P1改变为第三视角P3。另外，可能是干扰信号影响的图像区域(其对机动车辆1前方的环境子区域进行成像)在以视角P1和P2的俯视图的形式的视角观察图像中具有第一大小，并且在以视角P3的后视图的形式的视角观察图像中具有比第一大小更小的第二大小。

如果重要性(例如图像区域的大小)下降到预定的重要性阈值以下(N)，则在结果步骤37中不执行任何抗混叠。如果重要性超过预定的重要性阈值(Y)，则在步骤S62中继续该方法。在步骤S62中，检查受干扰信号影响的图像区域是否被机动车辆1的视角模型17隐藏。参照图8以示例的方式示出了机动车辆1的模型17，虚拟相机12位于机动车辆1的模型17的上方和斜后方。虚拟相机12看不到机动车辆1的模型17前方的区域38。因此，虚拟相机12的视线14仅撞击该区域38后方的路面13。如果该区域38对应于受干扰信号影响的图像区域，则其被机动车辆1的模型17隐藏在视角观察图像24中，因此不是可见的，即使在受干扰信号影响的图像区域中的干扰信号27足够显著。因此，受干扰信号影响的图像区域是否被机动车辆1的模型17覆盖还取决于虚拟相机12的当前视角P1、P2、P3。特别地，在通过其而生成虚拟相机12的视角P1、P2处，没有任何图像区域(该图像区域示出与机动车辆1邻接的环境区域4的环境子区域)被隐藏。然而，如果模型17至少是半透明的，则区域38以及因此干扰信号27仍然是可见的。因此，可以确定模型17和受干扰信号影响的图像区域之间的覆盖度，通过该覆盖度可以同时考虑模型17的透明度和模型的视角形状。

因此，如果受干扰信号影响的图像区域被机动车辆1的模型17阻挡或覆盖，即如果覆盖度超过预定覆盖度阈值，则执行结果步骤37，并且阻止抗混叠。如果受干扰信号影响的图像区域没有被机动车辆1的视角模型17覆盖(N)，即如果覆盖度阈值不足，则该方法在步骤S63中继续。在步骤S63中，确定干扰信号27的严重性。干扰信号27的严重性取决于机动车辆1的相机系统3的真实相机5a、5b、5c、5d，尤其是相机5a、5、5c、5d的外部和固有相机参数。另外，在步骤S63中，将干扰信号27的严重性与预定严重性阈值进行比较。如果严重性下降到严重性阈值以下(N)，则执行结果步骤37，并且省略干扰信号27的减少。如果严重性超过严重性阈值(Y)，则执行结果步骤35，并且减少干扰信号27。步骤S61、S62、S63也可以不同于此处所示的顺序来执行。

可以确定所谓的干扰信号指示符或混叠指示符IA(参见图9)，以预测在合并的图像24中是否会完全发生干扰信号27，并确定干扰信号27的严重性。作为干扰信号指示符IA，例如可以确定如图7a、7b、7c、7d所示的像素密度图PDM。像素密度提供了计算出原始图像25的多少个相机像素或图像点用于对视角观察图像24中的环境区域的特定部分例如环境子区域或目标区域进行成像的可能性。像素密度是单位长度上的像素或每个图像区域上的像素面积的比率，反之亦然。像素密度的计算是特别有利的，因为可以基于此来测量真实相机5a、5b、5c、5d的采样率，以表示特定的环境子区域，即所谓的感兴趣区域。该感兴趣区域特别是在路面13上的通常具有砾石或碎石的区域。由于该砾石覆盖的路面13，在相机5a、5b、5c、5d检测目标区域期间，像素值的高频变化可能发生。在这种情况下，由相机5a、5b、5c、5d提供的采样率不能满足恢复路面13上的所有细节(例如砾石)所需的临界采样频率，因此干扰信号27插入视角观察图像24中。

图7a、7b、7c、7d所示的像素密度图示出了像素密度的空间分布。图7a、7b、7c、7d示出了具有不同像素密度的像素密度区域B1、B2、B3、B4。像素密度范围B1包括具有最高值的像素密度，像素密度范围B4包括具有最低值的像素密度。具有最高像素密度值的像素密度区域(例如像素密度区域B1和B2)对应于合并的图像24中的受干扰信号影响的图像区域。因此，像素密度图PDM可用于确定是否完全发生干扰信号27，另外，可以基于像素密度图PDM来识别受干扰信号影响的图像区域的位置。可以确定像素密度的最大值，即像素密度范围B1中的像素密度的值，作为干扰信号27的严重性。

取决于相机5a、5b、5c、5d的像素密度P可以例如通过以下公式计算：

f₁、f₂、f₃、f₄是相机5a、5b、5c、5d的鱼眼系数，θ是光对相机5a、5b、5c、5d的入射角，(x_c、y_c、z_c)是由外部相机参数定义的相机5a、5b、5c、5d的位置，(x_p、y_p、z_p)是为其计算像素密度的任何位置。对于地面点，系数z_p＝0。

像素密度P的倒数1/P可用于变换像素密度数据范围。借助于归一化的像素密度P，可以将像素密度P的峰值或最大像素密度值归一化为1。

图7a通过示例的方式示出了各个相机5a、5b、5c、5d的相机轴的相交表面41。图10示出了通过实验确定的像素占有量N与相对于车辆侧相机5a、5b、5c、5d之一的光轴或相机轴的入射角θ之间的关系。因此，像素密度或像素密度的值可以通过外部相机参数来影响。因此，对于机动车辆1上的每个相机5a、5b、5c、5d，存在最佳位置，通过该最佳位置可以消除混叠。然而，由于相机5a、5b、5c、5d的高度通常在机动车辆1上是稳定的，因此像素密度的位置可以通过外部相机参数而不是分布来改变。如果满足像素密度条件，则混叠可能随时发生。

图7a、7b、7c、7d还示出了虚拟相机12影响混叠效果。被确定为像素密度图PDM的干扰信号指示符IA尤其受到虚拟相机12的视角P1、P2、P3的影响，因为例如像素密度区域B1、B2、B3、B4改变了它们的大小、形状和/或位置。根据图7a，示出了对于虚拟相机12以在机动车辆1上方的第一距离处竖直地位于机动车辆1上方的视角的像素密度区域B1、B2、B3、B4。根据图7b，示出了对于虚拟相机12以在大于第一距离的第二距离处竖直地位于机动车辆1上方的视角的像素密度区域B1、B2、B3、B4。由于较大的第二距离，在视角观察图像24中减小了像素密度区域B1、B2、B3以及因此受干扰信号影响的图像区域的大小。根据图7c，示出了对于虚拟相机12倾斜地位于机动车辆1的后方和上方并且倾斜向下看向机动车辆1的视角的像素密度区域B1、B2、B3、B4。根据图7d，示出了对于虚拟相机12位于机动车辆1的后方并且在机动车辆1的前部区域6的方向上向前看向机动车辆1的后部区域7的视角的像素密度区域B1、B2、B3、B4。

图7a、7b、7c、7d中的区域43示出了由机动车辆1覆盖的区域。机动车辆1的模型17将位于与该区域43相对应的视角观察图像24的图像区域中。同样明显的是，区域43随着虚拟相机12的视角P1、P2、P3而改变。因此，机动车辆1的模型17也将随着虚拟相机12的视角P1、P2、P3而改变。根据图7a和7b的区域44是与环境区域4中的环境子区域相对应的区域，这些区域不能被任何相机5a至5d检测到，因此对于环境区域4中的这些环境子区域没有图像信息可用。例如，当显示合并的视角观察图像24时，例如根据合并的视角观察图像24的相邻图像区域，可以在显示设备10上标记或人工生成这些图像区域。

由虚拟相机12的视角P1、P2、P3改变的像素密度区域B1、B2、B3、B4的大小对应于合并的图像24中的图像区域的改变的大小。越靠近虚拟相机12的区域，则在视角观察图像中该区域占据的像素就越多。如果像素密度区域B1的大小由于虚拟相机12的配置而改变，即例如由于虚拟相机12的视角而改变，则受干扰信号影响的图像区域也改变其大小。例如，可以将受干扰信号影响的图像区域的大小确定为干扰信号27的重要性。

例如，可以使用以下公式计算受干扰信号影响的图像区域的大小或面积：

A_ν是在虚拟相机的合并的图像中占据的像素面积，即受干扰信号影响的图像区域的面积。A_s是由虚拟相机12捕获的例如在路面13上的环境区域4中的圆形区域，d是虚拟相机12的以毫米为单位的变焦长度，R是该区域距虚拟相机12的位置的距离，θ是视线14到虚拟相机12的投影表面上的入射角。可以看出，虚拟相机12的占用像素面积与感兴趣的一个或多个面积区域的距离平方成反比。这解释了远离虚拟相机12的感兴趣区域的相同大小比靠近虚拟相机12的区域小得多。如果该面积足够小，例如小于300像素平方，则不需要抗混叠。因此，可以根据面积A_ν的值来确定重要性。基于重要性，然后可以评估是否要执行减少干扰信号27。

在图11中，示出了用于受干扰信号影响的图像区域的形状45a、45b，其可以借助于像素密度图PDM来确定。形状45a对应于机动车辆1前方的受干扰信号影响的图像区域，形状45b对应于机动车辆1左方的受干扰信号影响的图像区域。受干扰信号影响的图像区域可以具有例如五十个像素的宽度46。因此基于像素图PDM，在俯视图中例如参照图7a确定形状45a、45b。这些形状45a、45b可以根据虚拟相机12的视角而变化。例如，与图7a中的平面图相比，可以减小根据图7c和图7d的虚拟相机12的形状45a的宽度46，而机动车辆1后方的区域的宽度增加。

可以借助于统计离散度来计算另外的干扰信号指示符IA，基于该干扰信号指示符IA，可以将没有干扰信号的图像区域与受干扰信号影响的图像区域区分开。由于在受干扰信号影响的图像区域内的像素值比没有干扰信号的图像区域内的像素值变化更大，因此也可以计算出像素阵列内的像素值的变化。可以例如以统计量度或统计指标(例如数据范围、标准偏差、距离标准偏差、平均绝对偏差、变异系数、相对平均差等)来确定统计离散度。指标值越大，数据或像素值就越分散。干扰信号27的严重性例如可以通过统计指标的相对值来确定。例如，可以考虑像素的亮度值的标准偏差。在受干扰信号影响的图像区域中，亮度值的标准偏差具有第一值，例如24.3，而在没有干扰信号的相同区域中，标准偏差具有小于第一值的第二值，例如7.5。第二值例如可以用作目标值，该目标值在执行抗混叠之后由统计测量确定。

由于混叠效果会影响高频变化，因此对频域中的效果进行分析也可以用作干扰信号指示符。可以分别在原始图像25或视角观察图像24的时间系列或序列内执行在原始图像25或视角观察图像24内的局部频率范围内的频率分析以及时间频率范围内的频率分析。

在图9中，在感兴趣区域的位置L上绘制了干扰信号指示符IA的路线39。当干扰信号指示符IA超过预定阈值40时，这意味着干扰信号27严重到足以在与感兴趣区域相对应的图像区域中可见。图9所示的路线39可以是任何已经描述的干扰信号指示符IA的路线，例如像素密度图PDM或统计指标。

为了在根据图6的结果步骤35中进行抗混叠，例如，可以抑制或衰减相机5a、5b、5c、5d中的至少一个的内置对比度增强和/或边缘增强。在创建最终视角观察图像24之前，相机5a、5b、5c、5d通常执行某些预处理程序，比如局部边缘锐化操作和/或对比度增强操作，以改善最终图像24的视觉质量。这种对比度和边缘增强增加了图像的明显清晰度或视觉敏锐度。当在图像24的生成之前将边缘增强和/或对比度增强施加到原始图像25上时，混叠效果可以因此而加剧。边缘增强和/或对比度增强不会产生混叠效果，而是会增强已经存在的效果。

通过关闭或至少衰减相机5a、5b、5c、5d中的至少一个的集成增强功能，可以显著降低混叠效果或干扰信号27。优选地，对于造成受干扰信号影响的图像区域的图像区域，局部地关闭边缘增强和/或对比度增强，而对于其他图像区域，增强功能保持开启。

可替代地或另外，可以执行用于减少干扰信号27的光学方法。相机5a、5b、5c、5d的光学镜头19例如鱼眼镜头设计成改变原始图像25中的频率分量。为了减少合并的图像24中的干扰信号27，光学鱼眼镜头19可以稍微偏离其标称位置以提供散焦相机5a、5b、5c、5d。因此，在相机5a、5b、5c、5d中产生聚焦误差。这会产生一定程度的光学模糊，并且可以减少高频下的混叠。

可替代地或另外，可以执行图像处理方法以在像素水平上处理原始图像25和/或视角观察图像24。这可以帮助滤波高频混叠。将常规的图像处理方法应用于高频滤波比如下采样、邻域内插和/或对像素(例如YUV图像格式的亮度部分)求平均可以减少混叠效果。这可以对原始图像25和/或视角观察图像24在空间和时间上进行。为了在视角观察图像24中在没有干扰信号图像区域和受干扰信号影响的图像区域之间实现平滑过渡，可以例如通过使用像素密度图PDM作为指导图像来局部地限制滤波。

图12示出了流程图，通过该流程图可以在特定相机系统3的预生产阶段中确定在该特定相机系统3中是否将完全发生混叠。为此，在相机系统3的预生产阶段中，尤其是在将相机系统3或机动车辆1交付给机动车辆1的最终客户之前，使用具有虚拟相机12的配置设定48(“碗状视图”设定)的测试原始图像47来确定视角测试图像。在步骤S121中，确定在视角测试图像中混叠效果是否显著。如果不是(Y)，则执行结果步骤49，并且不为该特定相机系统3提供抗混叠算法，因为在该相机系统3中不认为需要抗混叠。如果在视角测试图像中混叠效果显著，则在步骤S122中评估用于确定干扰信号27的严重性的干扰信号测试指示符。可以通过合并的视角测试图像来确定测试指示符50和/或可以通过测试原始图像47来确定测试指示符51。

基于合并的测试图像，例如，可以确定由特定环境子区域占据的屏幕区域作为测试指示符52。基于依赖于屏幕的测试指示符52，可以预测干扰信号27是否在机动车辆1的特定屏幕上完全可见。可以基于合并的测试图像和/或基于测试原始图像47，将像素值的频率分析确定为测试指示符53，并且可以将上述统计测量确定为测试指示符54。可以基于测试原始图像47将像素密度确定为另一测试指示符55。在结果步骤56中，根据测试指示符52、53、54、55确定测量值和阈值，例如严重性阈值和重要性阈值，通过该结果步骤，在该特定相机系统3中判断是否执行了抗混叠。

在图13中，示出了用于确定混叠效果的来源的流程图。当在第一步骤S131中检测到在视角观察图像24中出现混叠时，则在第二步骤S132中，确定干扰信号27是由于机动车辆1的运动还是由于虚拟相机12的运动引起的。如果在步骤S133中检测到干扰信号27仅是由于虚拟相机12的运动引起的，则可以在步骤134中执行简化的抗混叠。例如，在步骤S134中，可以通过原始图像25或合并的视角观察图像24的像素执行平均。当在步骤135中检测到混叠也是由于机动车辆1的运动引起的时，可以减少干扰信号27，例如通过衰减或停用相机5a、5b、5c、5d的集成边缘增强功能和/或对比度增强功能和/或通过在相机5a、5b、5c、5d中产生聚焦误差和/或通过施加滤波。

Claims (15)

1.一种用于生成至少一个合并的视角观察图像（24）的方法，该图像从动态虚拟相机（12）的动态可变的视角（P1、P2、P3）示出机动车辆（1）及机动车辆（1）的环境区域（4）并且其是基于至少两个车辆相机（5a、5b、5c、5d）的原始图像（25）以及基于取决于虚拟相机（12）的视角（P1、P2、P3）的机动车辆（1）的视角模型（17）而被确定的，该方法包括以下步骤：

a）确定合并的视角观察图像（24）是否包括至少一个受干扰信号影响的图像区域，如果是，则识别合并的视角观察图像（24）内的至少一个受干扰信号影响的图像区域；

b）确定至少一个受干扰信号影响的图像区域内的干扰信号（27）的严重性，所述严重性描述了受干扰信号影响的图像区域中的干扰信号是否足够强到在合并的视角观察图像（24）中可见；

c）根据虚拟相机（12）的视角（P1、P2、P3），确定干扰信号（27）的重要性，所述重要性描述了受干扰信号影响的图像区域如何根据虚拟相机（12）的视角（P1、P2、P3）变化而变化，其中，具有虚拟相机（12）的视角（P1、P2、P3）的图像区域的至少一个几何参数的特征在于所述重要性；

d）根据虚拟相机（12）的视角（P1、P2、P3），通过要插入到合并的视角观察图像（24）中的机动车辆（1）的视角模型（17），确定受干扰信号影响的图像区域的覆盖度；

e）仅在干扰信号（27）的严重性超过预定严重性阈值且干扰信号（27）的重要性超过预定重要性阈值以及覆盖度保持在预定覆盖度阈值以下时，才为合并的视角观察图像（24）减少干扰信号（27）。

2.根据权利要求1所述的方法，

其特征在于，

在原始图像（25）和/或合并的视角观察图像（24）内减少干扰信号（27），其中，在至少在原始图像（25）中减少干扰信号（27）的情况下，步骤a）至d）在创建合并的视角观察图像（24）之前根据原始图像（25）进行预测性地执行。

3.根据权利要求1或2所述的方法，

其特征在于，

将原始图像（25）投影到预定表面（16）上，其中，机动车辆（1）的视角模型（17）位于表面（16）上的预定位置处，并且合并的视角观察图像（24）是基于具有投影的原始图像（25）和机动车辆（1）的视角模型（17）的表面（16）以及基于动态虚拟相机（12）的视角（P1、P2、P3）而被确定的。

4.根据权利要求1或2所述的方法，

其特征在于，

在步骤a）中，确定至少一种环境条件，包括机动车辆（1）的路面（13）的纹理和/或白天和/或天气条件，并且基于至少一种环境条件，预测合并的视角观察图像（24）是否包括至少一个受干扰信号影响的图像区域。

5.根据权利要求1或2所述的方法，

其特征在于，

在步骤a）中，确定干扰信号指示符，并且基于该干扰信号指示符，确定至少一个受干扰信号影响的图像区域的存在以及所述至少一个受干扰信号影响的图像区域在合并的视角观察图像（24）内的位置，其中，在步骤b）中，基于干扰信号指示符，确定干扰信号（27）的严重性。

6.根据权利要求5所述的方法，

其特征在于，

作为干扰信号指示符，根据相机（5a、5b、5c、5d）的至少一个相机参数来确定像素密度图（PDM），其描述了依赖于原始图像（25）的有助于创建合并的视角观察图像（24）的像素数量分布的图像区域，其中，将像素密度图（PDM）中的最大像素密度值确定为干扰信号（27）的严重性。

7.根据权利要求5所述的方法，

其特征在于，

作为干扰信号指示符，根据像素在原始图像（25）和/或合并的视角观察图像（24）中的位置来确定描述像素值的统计离散度的至少一个测量，其中，基于所述至少一个测量的相对值来确定干扰信号（27）的严重性。

8.根据权利要求5所述的方法，

其特征在于，

通过对原始图像（25）和/或合并的视角观察图像（24）的像素值进行频率分析来确定干扰信号指示符。

9.根据权利要求5所述的方法，

其特征在于，

根据用于显示合并的视角观察图像（24）的车辆侧屏幕，作为干扰信号指示符，确定与环境区域（4）中的某个环境子区域相对应的各个屏幕区域，并且将该屏幕区域的大小确定为干扰信号（27）的严重性，其被与在屏幕上显示期间受干扰信号影响的图像区域相对应的环境子区域所占据。

10.根据权利要求5所述的方法，

其特征在于，

在至少一个测试周期中确定测试干扰信号指示符（50、51、52、53、54、55），其中，确定环境区域（4）中预定环境子区域的位置与测试干扰信号指示符（50、51、52、53、54、55）的值之间的关系，并且基于该关系来确定严重性阈值。

11.根据权利要求1或2所述的方法，

其特征在于，

作为重要性，根据动态虚拟相机（12）的视角（P1、P2、P3），确定与动态虚拟相机（12）的视角（P1、P2、P3）相对应的合并的视角观察图像（24）中的至少一个受干扰信号（27）影响的图像区域的大小和/或形状和/或位置。

12.根据权利要求1或2所述的方法，

其特征在于，

为了减少合并的视角观察图像（24）中的干扰信号（27），执行以下步骤f）至h）中的至少一个：

f）在配备有集成增强功能的相机（5a、5b、5c、5d）的情况下，抑制或减轻所捕获的原始图像（25）的对比度增强和/或边缘增强，并且基于没有对比度增强和/或边缘增强的原始图像（25）来确定合并的视角观察图像（24），

g）在所捕获的原始图像（25）中生成聚焦误差，并且基于具有聚焦误差的原始图像（25）来确定合并的视角观察图像（24），

h）对与合并的视角观察图像（24）和/或原始图像（25）的受干扰信号影响的图像区域相对应的像素应用滤波。

13.根据权利要求1或2所述的方法，

其特征在于，

确定干扰信号（27）是否是由于机动车辆（1）的运动和/或虚拟相机（12）的运动而引起的，并且在干扰信号（27）仅由虚拟相机（12）的运动引起的情况下，通过对合并的视角观察图像（24）中的相邻像素进行平均来减少干扰信号（27）。

14.一种用于机动车辆（1）的相机系统（3），包括用于从机动车辆（1）的环境区域（4）捕获原始图像（25）的至少两个相机（5a、5b、5c、5d），以及图像处理设备（11），其配置为执行根据前述权利要求中任一项所述的方法。

15.一种机动车辆（1），包括根据权利要求14所述的相机系统（3）。