CN108352053B - 用于环绕监视系统的图像合成器 - Google Patents

Abstract

一种用于车辆的环绕监视系统的图像合成器包括：接收模块(110)，其用于接收来自第一摄像机(201)的第一图像(211)、来自第二摄像机(202)的第二图像(212)和来自控制模块(220)的控制信号(225)；以及组合模块(120)，其用于在重叠区域(213)中组合所述第一图像(211)和所述第二图像(212)，并且根据所述控制信号(225)生成组合图像(123)，其中，所述控制信号(225)指示车辆外部的状况。

Description

用于环绕监视系统的图像合成器

技术领域

本发明涉及一种图像合成器和一种用于合成图像的方法，特别是涉及一种基于车辆外部的状况或基于反馈信息的用于车辆中的环绕监视系统的图像合成器。

背景技术

可从多家制造商获得从鸟瞰图中显示车辆的用于乘用车的环视系统。很少解决方案也可用于使用多个摄像机以覆盖车辆的各个侧面的商用车辆。这些多个摄像机在重叠区域中产生两幅通常不同的场景图像，但是这两幅单独的图像、例如单个物体的图像，可能会使驾驶员感到困惑。因此，两幅图像应该在重叠区域中组合(合成)，以便以不会使驾驶员困惑的方式获得组合图像。

例如，可获得的用于商用车辆的系统基于针对乘用车开发的概念，而没有使这些系统适应商用车辆的特定需求。在商用车辆的环境中还有多个有利方面尚未用于环视系统。

另外，诸如环视显示器、镜面视图显示器或将具有不同视角的两幅摄像机图像融合在一起的其它显示器的常规合成装置静态地将图像拼接在一起。

通过在重叠区域中融合来自车辆周围的不同摄像机的多幅图像，可以在这些系统中创建无缝鸟瞰图。然而，这些环视系统的一个共同的问题涉及在拼接区域中减小的物体可见性。作为融合的结果，三维(3D：three-dimensional)物体可能会消失，因为3D物体的视图可能投影到从两个视图融合出的区域。

在US 7139412 B2中描述了一种现有技术系统，其中，多个摄像机视图以静态方式合成为鸟瞰图。另一方面，JP 5124672 B2或US 2013/162830 A1中描述了基于车辆速度的动态环视图生成。根据这些系统，在工作车辆处于停止状态时，使用第一虚拟投影平面来创建鸟瞰图像，其中，外边缘部分随着与工作车辆的距离的增加而相对于地面的高度增加。另一方面，当工作车辆处于行驶状态时，使用第二虚拟投影平面，所述第二虚拟投影平面具有与地面高度一致地平坦形状的外边缘部分。

这些和其它图像合成应用的总体问题涉及以下情况。当物体穿过组合了两幅图像的区域(即穿过拼接线或融合区域)时，物体可见性可能会降低，或者只有部分物体是可见的。在最坏的情况下，物体可能在这个区域完全消失。

因此，需要一种克服了所述问题并且生成组合图像的图像合成器，所述组合图像在监测区域中提供了改进的物体可见性。

发明内容

本发明通过提供一种根据本发明所述的图像合成器、一种根据本发明所述的环绕监视系统、一种根本发明所述的车辆以及一种根据本发明所述的用于合成图像的方法来解决所述问题。本发明要求保护的附加技术方案具体涉及本发明的主题的有利实施方式。

本发明涉及一种用于车辆的驾驶员辅助系统或环绕监视系统中的图像合成器。环绕监视系统或其它驾驶员辅助系统包括第一摄像机、第二摄像机和控制模块，其中，第一摄像机被配置成从第一场景拍摄第一图像，第二摄像机被配置成从第二场景拍摄第二图像，控制模块被配置成生成指示车辆外部的一个或两个以上状况或任何反馈信息的控制信号。第一场景和第二场景在车辆的监测区域的重叠区域中部分重叠。图像合成器包括接收模块，其用于接收第一图像、第二图像和控制信号；以及组合模块，其用于在重叠区域中组合第一图像和第二图像，并且根据控制信号来生成组合图像。

所要求保护的主题解决了上述问题，其中图像是根据一个或两个以上3D物体的位置动态合成的。因此，图像合成器提供了3D物体的最佳视图，从而消除了穿过任何这些物体的拼接线。

车辆可能受到各种外部状况的影响，这些外部状况可能是反馈状况的一部分。这些状况例如包括：天气状况(雨、雪、落叶等)、地面状况(潮湿、干燥、结冰等)、光线状况(白天、夜晚等)、车辆周围的物体或障碍物，但也可包括车辆的速度、位置或方向(上坡或下坡)或任何其它反馈信息。

因此，根据又一实施例，车辆外部的状况包括以下中的至少一种：行驶状况、车辆的环境状况和其它的输入。在控制信号中可以考虑所有这些状况以向驾驶员提供环绕视图，所述环绕视图尽可能接近车辆周围的实际情况并且不会给驾驶员造成混乱。感测这些各种状况的相应传感器可以生成转发到控制模块的传感器信号。从摄像机拍摄的图像中推导出这些状况也是可能的。如何导出相应数据的进一步细节对本发明并不重要。

外部状况的一个示例涉及重叠区域中物体的存在，在这种情况下，控制信号可以指示物体在重叠区域中的位置，并且根据另一个实施例，组合模块可以被配置成通过在重叠区域的一个区域中沿着不穿过物体的位置的拼接线拼接第一图像和第二图像来组合第一图像和第二图像。物体的位置可以被定义为物体在拍摄图像的投影平面中所覆盖的区域。因此，所述位置不是唯一的量，而是可与拍摄物体的图像的摄像机有关。

根据又一实施例，组合模块可以被配置成通过在作为重叠区域的一部分的融合区域中融合第一图像和第二图像来组合第一图像和第二图像，使得物体的位置在融合区域外。例如，组合模块可以通过将第一图像和第二图像垂直于拼接线进行融合来组合第一图像和第二图像。融合区域可以在重叠区域内，即重叠区域中的组合图像包括第一图像的以及第二图像的图像数据。

根据又一实施例，组合模块可以被配置成确定重叠区域的中线并且将拼接线放置在中线处(或者将融合区域放置为包括中线)。

根据又一实施例，组合模块可以被配置成作为梯度融合或/和作为二元融合来执行融合。可以使用融合掩码来执行融合，其中，融合掩码实施梯度融合或二元融合。

根据又一实施例，组合模块可以被配置成根据车辆外部的状况执行或选择融合。例如，融合宽度、二元融合的粒度等可以与一个或两个以上外部状况或反馈信息有关。可以进行选择以提高物体的可见性，例如，通过选择二元融合的粒度。

根据又一实施例，接收模块可以被配置成接收作为指示第一摄像机或第二摄像机的异常的反馈信息的错误信号，并且组合模块可以被配置成通过忽略异常摄像机的图像数据来生成组合图像。

根据又一实施例，物体是重叠区域中的多个物体中的一个，并且组合模块可以被配置成将拼接线放置在远处的物体处，其中，远处的物体比多个物体中的其它物体距离车辆更远。如前所述，物体通常是3D物体(而不是地面上的标记)，并且与物体的距离可以被定义为与车辆或相应摄像机的最近连线。拼接线通常是直线，但也可能是弯曲的。

根据又一实施例，组合模块被配置成在组合第一图像和第二图像之前执行第一图像和/或第二图像的透视变换(例如鸟瞰图)、或者执行组合图像的透视变换，并将其显示给车辆驾驶员。

本发明还涉及一种用于监视车辆或其周围的监测区域的环绕监视系统，所述环绕监视系统包括至少第一摄像机和第二摄像机；被配置成生成指示车辆外部的状况的控制信号的控制模块；以及如前所述的图像合成器。

根据又一实施例，四个摄像机可用于拍摄四幅图像，其中，四个摄像机可附接在车辆的四个拐角处，使得监测区域的每个部分均被四幅图像中的两幅图像覆盖。控制模块可以被配置成在四个摄像机中的一个出现异常情况下发出错误信号作为反馈信息，并且组合模块被配置成通过忽略异常摄像机的图像数据来生成组合图像且仅在相应的重叠区域中使用与所述一个异常摄像机邻近的摄像机的图像数据。

例如，商用车辆的特殊摄像机放置可以允许用一个摄像机覆盖车辆两侧，并且当四个摄像机放置在车辆上时，一个摄像机的损失可以被另外三个摄像机替代以便仍然提供车辆的整个周围的视图。

控制模块可以接收指示车辆的行驶状况和/或环境状况的传感器数据和/或其它的输入数据(例如错误信号)并且将接收到的数据包括在控制信号中以控制组合模块。另外，物体的位置可以作为从任何感测手段得到的信息获得。

然而，在环绕监视系统中使用图像合成器只是一个示例。附加的实施例覆盖的不仅仅是环视系统，并且可以扩展到可以使用图像合成来辅助驾驶员(例如镜面视图显示器或其它显示器)的任何装置。

本发明还涉及一种具有用于监视车辆的监测区域的所述驾驶员辅助系统或环绕监视系统的车辆。

本发明还涉及一种用于车辆的环绕监视系统或驾驶员辅助系统的合成图像的方法。所述方法包括以下步骤：接收第一图像、第二图像和指示外部状况或反馈信息的控制信号；在重叠区域中组合第一图像和第二图像；以及根据控制信号生成组合图像。

所述方法也可以用软件或计算机程序产品来实施。因此，本发明还涉及一种其上存储有程序代码的计算机程序产品，当计算机程序在计算机或处理器上执行时，所述程序代码执行上述方法。

另外，前面结合图像合成器描述的所有功能可以作为进一步的方法步骤来实现，并且可以以软件或软件模块实施。此外，步骤的顺序对于达到预期的效果并不重要。

因此，当与常规的环视系统相比时，本发明的实施例不依赖于静态融合过程来合成鸟瞰图图像。各个实施例特别是通过以下特征与前述常规系统区分开来：

-动态选择用于拼接鸟瞰图的重叠区域部分，以提供周围物体的最佳视图。

-一个摄像机视图所覆盖的区域在重叠的其它摄像机的视图丢失时动态扩展到它的视场。

实施例提供了以下优点：组合了两幅图像的拼接区域是不穿过物体的区域-根据物体的位置移动或修改拼接区域。这样，即使物体移动经过拼接区域，物体的可见性也不会受到影响，并且物体保持可见。这种动态调整克服了常规系统的问题。

附图说明

下面将仅以示例的方式并参照附图来描述本发明的各种实施例，其中：

图1描绘了根据本发明的一个实施例的图像合成器；

图2描绘了拼接两个摄像机视图的一个实施例；

图3示出了在组合图像中从两个摄像机所看到的物体；

图4描绘了用于合成的摄像机视图的动态拼接；

图5示出了所有摄像机都是可用的环视系统；

图6示出了根据进一步的实施例的一个摄像机丢失而由其余摄像机替代的环视系统；以及

图7示出了根据本发明的实施例的用于图像合成的方法的流程图。

具体实施方式

图1描绘了用于环绕监视系统或用于车辆的或车辆所用的任何其它显示装置的图像合成器。所述环绕监视系统包括第一摄像机201、第二摄像机202和控制模块220。第一摄像机201被配置成从第一场景拍摄第一图像211，第二摄像机202被配置成从第二场景拍摄第二图像212。控制模块220被配置成生成指示车辆外部的一个或两个以上状况或反馈信息的控制信号225，其中，第一场景和第二场景在车辆的监测区域的重叠区域中部分重叠。

图像合成器包括用于接收第一图像211、第二图像212和控制信号225的接收模块110。图像合成器还包括组合模块120，用于在重叠区域213中组合第一图像211和第二图像212并且根据控制信号225生成组合图像123。

本发明基于以下思想：拼接线可以在两个摄像机视图的重叠区域中自由移动，从而使得所得到的动态图像合成系统不组合静态摄像机视图，而是基于情况(例如，物体的位置或移动)动态地更新或调整组合图像123。这种系统的主要优点在于车辆周围物体的视图被优化，从而提供更好的物体可见性。

特别地，根据本发明，拼接线移动到不存在3D物体的区域。另一方面，二维(2D：two-dimensional)物体可能仍然存在，因为它们通常不会导致上述的物体的双重化。然而，道路中的坑洼也可能是在放置或移动拼接线时要考虑到的物体。

图2描绘了用于拼接两个摄像机视图的一个实施例，示出了根据本发明的放置拼接线250的进一步细节。

详细地，图2示出了拍摄第一图像平面211p中的第一图像211的第一摄像机201和拍摄第二图像平面212p中的第二图像212的第二摄像机202。两个摄像机201、202从物体400获取图像，其中，第一图像平面211p中的物体400表现为第一投影401p，而第二图像平面212p中的物体400表现为第二投影402p。虽然它是同一物体400，但投影可能看起来不同。

在左侧，图2示出了组合由第一摄像机201拍摄的第一图像211和由第二摄像机202拍摄的第二图像212的过程。第一图像211包括下边缘211e，而第二图像212包括上边缘212e。当组合第一图像211和第二图像212时，第一图像211和第二图像212首先在重叠区域213中重叠，所述重叠区域213由第一图像211的下边缘211e和第二图像212的上边缘212e限界。因此，组合图像包括仅包含第一图像211的图像数据的上部(在上边缘212e之上)、仅包含第二图像212的图像数据的下部(在下边缘211e之下)和重叠区域213，其中添加了两幅图像的图像数据。因此，物体400作为第一投影401p和第二投影402p出现两次。

这种情况可能会让驾驶员感到困惑。因此，根据本发明的实施例，当生成组合图像123时，拼接线250被放置在物体400的投影401p、402p没有一个是可见的位置处。如图2所示，拼接线250可以放置在第一和第二投影401p、402p之上。在最简单的情况下，拼接过程生成一种组合图像123，所述组合图像123在拼接线250之上包括仅第一图像211的图像数据和在拼接线250之下包括仅第二图像212的图像数据。因此，第一投影401p可以在组合图像123中被消除，而只有第二投影402p作为单个物体保持可见。

当然，拼接线250也可以放置在物体400的投影之下，使得在组合图像123中只有第一投影401p是可见的。

根据本发明，拼接线250可以放置在第一图像211中或者第二图像212中切除物体的投影中的一个的同时而没有物体是可见的任何位置。

在进一步的实施例中，垂直于拼接线250(图2中的垂直方向上)，可以应用融合过程，使得拼接线250不会显现为从一幅图像陡然或突然过渡到另一幅图像，而是在相应融合区域中，第一图像211被平滑地融合到第二图像212。

两幅图像的融合可以针对融合区域的每个像素按像素进行。例如，当融合区域限定具有一宽度的条带时，沿着宽度方向的每个像素值P可以由以下等式表示：

P＝α*l₁+(1-α)*l₂＝l₂+α*(l₁-1₂)， (1)

其中，对于给定像素，l₁表示图像1的相关像素的图像数据，并且1₂对应于图像2的图像数据(例如第一图像211和第二图像212)，使得P是组合图像123的合成像素值(在重叠区域213中描绘)。另外，参数α是插值参数，其通过沿着从第一图像211到第二图像212的插值方向从0(图像2)到1(图像1)变化(或反之)来插补图像数据。

因此，当将融合过程应用于重叠区域213或其一部分时，参数α是例如与宽度方向的坐标相关的函数，使得函数α在融合区域的一侧变为0(或接近0)，在融合区域的另一侧变为1(或接近1)。因此，对于融合区域中的给定像素，参数α参数化第一和第二图像211、212的百分比或比例。

梯度融合是指参数α是平滑函数的情况，使得第一图像211和第二图像212的像素值以由α定义的权重(与差值l₁-l₂成比例地参数化贡献)相加。然而，这仅定义了一种可能的融合。根据进一步的实施例，参数α还可以参数化二元融合，在这种情况下，参数α是二元函数并且只能取两个值：0或1(或接近这些值)。对于该融合，融合区域中的每个像素要么描绘图像1要么描述图像2(即，相应的图像数据)。在这种情况下，通过改变示出图像1的像素在示出图像2的多个像素内的密度来实现从一幅图像到另一幅图像的插值。

相应的二元掩码也可以被修改或调整来适应于由外部状况/反馈信息定义的特定情况。所述修改可以涉及多个部分的大小的改变，即属于二元掩码的一部分的像素的数目(粒度)。此外，可以改变第二图像内描绘的第一图像的密度(通过改变第一部分相对于第二部分的比例)。如果第一场景(即第一图像)较暗而第二场景较亮，则增加第一图像211相对于第二图像212的比例可能更合理。这会提高可见度。另外，可以修改应用二元掩码的重叠区域的大小。因此，在又一实施例中，图像合成器包括掩码修改模块，所述掩码修改模块被配置成根据以下参数中的至少一个来修改二元掩码：行驶状况、车辆的环境状况和/或另外的输入。

当然，所描述的插值只代表一个示例。本领域中技术人员可以容易地设置另外的插值。

融合区域的宽度可以自由选择。由于拼接线250可以移动到在摄像机图像211、212中没有物体是可见的任何位置，因此可以在组合图像123的剩余部分中使用窄的融合(或者甚至不融合)，同时仍然确保物体的良好的可见性。

在常规系统中，通常会避免窄的融合，因为物体可能会突然消失或出现，这对驾驶员来说是令人困惑的。然而，可以调整融合区域的宽度，使得融合区域仅覆盖图像中的没有物体是可见的、因此没有物体可以消失的区域。因此，不仅拼接线250可以远离物体移动，而且整个融合区域也可以与物体400间隔开。例如，在图2中，融合可以被限制在第二图像212的上边缘212e与第一投影401p和第二投影402p的位置之间的区域。因此，第一投影401p不能通过执行融合而被重新引入。

由于根据本发明，可以在没有常规系统的不利影响的情况下使用窄的融合，因此可以在不增加重叠区域213的大小的情况下宽范围地放置拼接线250-在可用空间(融合区域)内移动的元素以这种方式、即通过使用窄的融合变得更小。

如果在组合图像123的融合区域中执行从一个视图到另一个视图的梯度过渡，则拼接线可以被定义为包括一幅图像的50％和另一幅图像的50％的中间线。虽然从一幅图像到另一幅图像的过渡可能作为可识别的线是可见的(如果不进行融合)，但这仍然可以是可接受的，因为本区域中没有物体存在。另一方面，当融合区域宽时，过渡将是平滑的，但是物体的位置可能不再得到避免，因此物体可能看起来是双重的。根据本发明，两种效果都受到损害。

然而，可能存在多个物体，并且两个摄像机的重叠区域可能不具有可能想要放置拼接线250的没有任何物体的区域。在这种情况下，拼接线250可以移动到从车辆到3D物体的距离最大的区域。拼接线250也可以放置在那些不那么关键的物体(例如，不太可能碰撞的)的附近。

图3描绘了第一图像211和第二图像212，其中整个重叠区域被用于50％-50％融合区域(即，等式(1)中的α＝1/2且没有梯度)以说明本发明的优点。因为拍摄第二图像212的相应的第二摄像机202位于车辆的不同位置处，所以第二图像212具有相对于第一图像211的偏移270。例如，获取第一图像211的第一摄像机201的位置可以与第二摄像机212间隔一段距离(偏移270)，该距离在1至10m或约2.5m的范围内。

图3还示出了将第一图像211和第二图像212组合成组合图像123，所述组合图像123包括重叠区域213，其中，两幅图像211、212彼此组合。另外，组合图像123包括仅具有第二图像212的图像数据但不具有来自第一图像211的图像数据的上部212a以及具有第一图像211的图像数据但没有来自第二图像212的图像数据的下部211a。第一图像211包括限界重叠区域213的上限的上边缘211e，第二图像212包括限界重叠区域213的下限的下边缘212e(第二图像212延伸到该线)。因此，重叠区域213在下边缘212e和上边缘211e之间延伸，并且通过添加第一图像211和第二图像212的图像数据生成，每个图像数据在重叠区域213中贡献50％。

在所描述的情况下，透视变换也被应用于第一和第二图像211、212并且图像被投影到地面。在两幅图像(第一图像211和第二图像212)上，诸如第一区域123a(见组合图像123的右侧)中的地面上的标记的2D物体在两个平面的摄像机视图中看起来是相同的。另一方面，第二区域123b中的3D物体看起来不同，因为由于它们的高度，不同的视角导致两个摄像机的不同投影(物体以不同的方向投影)。因此，当两个平面视图彼此组合成组合图像123时，单个物体如第二区域123b中所示可见两次(即，它是双重的或虚幻的)。

驾驶员无法直接地区分实际物体，也无法确定监测区域中存在多少物体。本发明通过如图2所述适当地放置拼接线克服了这个缺点。可选的融合可以进一步提高可见性而不会重新引入任何鬼影物体。

图4描绘了物体400相对于车辆移动(车辆也可以移动)的情况。为了避免物体400的投影消失，拼接线250需要在所得到的组合图像123中移动。

在右侧(右栏)，显示了初始状态。第一图像211仅示出物体400的第一投影401p的一部分，而第二图像212示出物体400的完整的第二投影402p。当按照如前所述的过程进行时，组合第一图像211和第二图像212，其中，在第一步骤中，在重叠区域213中添加两幅图像，使得第一投影401p和第二投影402p位于第一图像211的下边缘211e的位置处。因此，如果拼接线250放置在重叠区域213的中间，第一投影401p被从图像中切除，而第二投影402p在所得到的第一组合图像123a上保持可见。

在中间栏中，图4描绘了当物体400已经在垂直方向上移动时的情况，使得第一图像211包括移动后的(完整的)第一投影411p并且第二图像211包括移动后的第二投影412p。在本示例中，物体400已经垂直向上移动，即，更靠近如图4的右下侧的组合图像123a中所描绘的拼接线250。作为所述移动的结果，第一投影411p和第二投影412p更靠近重叠区域213的中线。如果现在将拼接线250如第二组合图像123b中所示地放置在中间，则只有第二投影212p的一半将保持可见。然而，这会让司机感到困惑。因此，为了避免这种情况，根据本发明，如在左侧的第三组合图像123c中所示，拼接线250远离物体移动，例如垂直向上。因此，拼接线250的这种布置切除第一投影411p，但保持第二投影412p作为完整物体而不是如图中的123b所示的那样切割物体。

因此，无论物体是移动还是不移动，拼接线250都可以作为默认位置放置在重叠区域213的中间，并且如果这会导致物体400的消失或部分消失，则拼接线250移动，使得物体400的仅一个投影保持可见，即拼接线250或者朝向重叠区域213中的第一图像211或者朝向重叠区域213中的第二图像212移动。

所描述的组合图像的动态生成还可以用于在重叠区域213中用另一个摄像机视图替代一个摄像机视图(例如，当摄像机由于污垢、故障或其它情况而变得异常时)。为了实现这个目的，环视系统可以包括安装在车辆的拐角处的多个摄像机，使得每个摄像机视图覆盖车辆的两侧，因此，重叠区域213足够大而能够在仍然覆盖所需的监测区域的情况下通过两个邻近的摄像机的视图完全替代一个摄像机。

图5描绘了用于覆盖车辆500周围的监测区域50的丢失的摄像机视图的这种动态替代的实施例。车辆500包括四个拐角处的四个摄像机201、...、204，即车辆500包括具有第一摄像机201的第一拐角、具有第二摄像机202的第二拐角、具有第三摄像机203的第三拐角以及具有第四摄像机204的第四拐角。第一摄像机201覆盖第一场景601、第二摄像机202覆盖第二场景602、第三摄像机203覆盖第三场景603以及第四摄像机204覆盖第四场景604。

由于摄像机201、...、204安装在车辆500的拐角处或靠近车辆500的拐角处，监测区域50内的四个场景601、...、604中的每一个场景与沿着车辆500的一侧的另一场景重叠。例如，第一和第二摄像机201、202安装在车辆500的后拐角处，使得第一场景601沿着车辆500的整个后侧与第二场景602重叠(图5中的右侧)。类似地，第二场景602沿着车辆500的左侧与第三场景603重叠(假设车辆500从右向左是前行方向)。

图6描绘了与图5所示相同的设置。然而，在图6中，第二摄像机202异常并且不产生图像或者图像不正确(例如，如果摄像机的方向已经改变)。这种情况可以通过给予控制模块220的反馈信息来指示。因此，第二场景202不再被第二图像覆盖。然而，由于车辆500的后侧是由第一摄像机201覆盖的第一场景601的一部分并且由于车辆500的左侧是由第三摄像机203覆盖的第三场景603的一部分，因此完全覆盖车辆500的监测区域50仍然是可以的，并且第二摄像机202的监测区域50的缺失图像数据可以由第一摄像机201和第三摄像机203提供的图像数据替代。因此，如果四个摄像机201、...、204中的一个摄像机退出，则两个邻近的摄像机(例如图6中的第一摄像机201和第三摄像机203)仍然可以用于生成整个监测区域50的环绕视图。

例如，如果第四摄像机204发生故障，同样适用，在这种情况下，第一摄像机201和第三摄像机203可以接管，以覆盖监测区域50中的第四场景604。

因此，当将摄像机放置在车辆500的拐角处或靠近车辆500的拐角时，可以实现车辆的每一侧的双重覆盖，使得这种冗余能够使四个摄像机中的任何一个由其余的摄像机替代。当然，在监测区域50外，仍然可能有一些没有被双重覆盖并且不能被替代的部分，但是通过相应地放置摄像机，至少监测区域50可以被其余的摄像机覆盖。

图7描绘了用于合成车辆500的环绕监视系统或任何其它显示装置的图像的方法的流程图。环绕监视系统(或其它显示装置)包括第一摄像机201、第二摄像机202和控制模块220，其中，第一摄像机201被配置成从第一场景601拍摄第一图像211，第二摄像机202被配置成从第二场景602拍摄第二图像212，控制模块220被配置成生成指示车辆500外部的状况或反馈信息(例如缺陷摄像机)的控制信号225。第一场景601和第二场景602在车辆500周围的监测区域50的重叠区域213中部分重叠。所述方法包括以下步骤：接收S110第一图像211、第二图像212和控制信号225；组合S120重叠区域213中的第一图像211和第二图像212；以及根据控制信号225生成S130组合图像123。

所述方法也可以是计算机实施的方法，本领域技术人员将容易地认识到，上述方法的步骤可以由被编程的计算机执行。实施例还意欲覆盖程序存储装置，例如数字数据存储介质，所述程序存储装置是机器或计算机可读的，并且对机器可执行或计算机可执行的指令程序进行编码，其中，当在计算机或处理器上执行时，所述指令执行上述方法的一些或全部操作。

各种实施例的有利方面可以概括如下：

本发明基于拼接线250或融合区域可以放置在两幅图像重叠的任何地方的基本思想。如果融合区域比重叠区域213更小(更窄)，则可以在重叠区域213内移动窄融合区域。移动融合区域的目的是为了避免拼接线250穿过物体400。然而，这个不是在任何情况下都是可能的。例如，当物体的视图大于重叠区域时，则无法移动拼接线使其不会穿过物体。然而，在这种情况下，由于物体很大，可见度仍然足够好。

根据本发明的实施例，通过将两幅或更多幅图像组合成合成(组合)图像123来完成图像合成。例如，汽车应用中的摄像机视图可以利用所述方法合并在一起，以扩展一个摄像机的视场(FOV：Field Of View)。在视图合并并组合成组合图像之前，也可以将透视变换添加到摄像机视图。一个示例涉及提供车辆的所谓的鸟瞰图或俯视图的环视应用。

实施例不仅涉及这样的应用。使用本发明的实施例可以改进使用图像合成的任何汽车解决方案。例如，这种应用可以包括用显示器替代镜子。

描述了两个基本应用。

图2和图3描述了基于每个摄像机201、202所看到的投影到相应平面211p和212p的视图来合成图像的过程。摄像机201、202部分地看到相同的区域，这意味着在视场中存在重叠。这些平面可以重叠或组合，其中，两个摄像机的视图将重叠，同时物体400的仅一个投影通过相应地放置拼接线而保持可见。

图5示出了另一种情况，其中，四个摄像机可用并且摄像机的视场覆盖监测区域50(例如，如示例性的环视系统所显示)。另一方面，图6示出了左后侧摄像机(右下所示)丢失的情况。然而，虽然丢失的摄像机的视图缺失，但是环视显示区域50仍然被邻近的摄像机201和203的视场所覆盖。

本发明的实施例特别涉及一种车辆周围环境监视设备，包括：两个或更多个摄像机201、202、...和将安装在车辆500上的摄像机201、202、...的视图变换成组合视图123的图像合成器，其特征在于：所述图像合成器基于外部状况合成动态修改的组合图像。

进一步的实施例涉及一种车辆周围环境监视设备，其中，基于视图中物体的位置动态更新合成摄像机视图的参数。

进一步的实施例涉及一种车辆周围环境监视设备，其中，使用根据以下参数中的至少一个的融合掩码：行驶状况、车辆的环境状况和其它输入。

进一步的实施例涉及一种车辆周围环境监测设备，其中，当一个摄像机的视图不能被邻近的摄像机视图的视图所用时，系统可以动态地替代该摄像机视图。

因此，本发明的实施例提供了一种环视系统，所述系统基于例如车辆周围的3D物体位置等不同状况动态地生成鸟瞰图。

本发明提供了以下优点。通过环视系统，提高了鸟瞰图中的周围物体的可见性。另外，无缝环绕视图中的3D物体的可见性并不限于拼接区域中，因为图像合成不会使3D物体的视图消退。根据行驶状况、车辆的环境状况以及诸如图像合成器周围的3D物体的位置的其它输入可以为图像合成器提供反馈以调整图像组合的步骤。因此，图像合成的动态变化改善了车辆周围的视图。

此外，鸟瞰图的动态更新(图像合成的结果)是有益的并且可以至少在以下情况下执行：

-拼接区域穿过三维物体，在这种情况下，拼接区域可以移动到不存在3D物体的区域，

-由于视图中的不同投影和这些视图的融合，3D物体消失，在这种情况下，可以移动拼接区域以使3D物体从至少一个视图(摄像机位置)可见，以及

-至少一个摄像机的视图丢失(例如，摄像机连接丢失或摄像机损坏或摄像机的视场已被严重改变)，在这种情况下，拼接可以扩展以从至少一个仍然工作的摄像机显示周围区域的大部分(这意味着，例如，通过其余的摄像机尽可能多地覆盖丢失的摄像机的视图)。

此外，虽然每个实施例都可以独立作为单独的示例，但是应该注意，在其它实施例中，所限定的特征可以不同地组合，即在一个实施例中描述的特定特征也可以在其它实施例中实现。除非声明特定的组合不是意图的，否则这样的组合被本文的公开所覆盖。

附图标记列表

50 监测区域

100 图像合成器

110 接收模块

120 组合模块

123 组合图像

123a 组合图像中的第一区域

123b 组合图像中的第二区域

201、202、... 第一摄像机、第二摄像机、...

211 第一场景

212 第二场景

211e 第一图像的下边缘

212e 第二图像的上边缘

211p 第一图像平面

212p 第二图像平面

213 重叠区域

220 控制模块

225 控制信号

250 拼接线

270 偏移

400 物体

500 车辆

601、602、... 第一场景、第二场景、...

401p 第一投影

402p 第二投影

411p 移动后的第一投影

412p 移动后的第二投影

Claims (12)

1.一种用于车辆(500)的环绕监视系统或显示系统的图像合成器(100)，所述环绕监视系统包括用于拍摄四幅图像的四个摄影机(201，202，203，204)和控制模块(220)，所述四个摄影机包括第一摄像机(201)和第二摄像机(202)，所述第一摄像机(201)被配置成从第一场景(601)拍摄第一图像(211)，所述第二摄像机(202)被配置成从第二场景(602)拍摄第二图像(212)，所述控制模块(220)被配置成生成指示所述车辆(500)外部的状况或反馈信息的控制信号(225)，其中，所述第一场景(601)和所述第二场景(602)在车辆(500)的监测区域(50)的重叠区域(213)中部分重叠，其中所述四个摄影机(201，202，203，204)能够附接在所述车辆(500)的四个拐角处，使得监测区域的每个部分都被四幅图像中的两幅图像覆盖，其中，如果三维(3D)物体(400)存在于所述重叠区域(213)中，则所述控制信号指示3D物体(400)在所述重叠区域(213)中的位置，

其中，所述图像合成器包括：

-接收模块(110)，其用于接收所述第一图像(211)、所述第二图像(212)和所述控制信号(225)；

-组合模块(120)，其用于组合在所述重叠区域(213)中的所述第一图像(211)和所述第二图像(212)，并且根据控制信号(225)来生成组合图像(123)，所述组合模块(120)被配置成：通过在作为重叠区域(213)的一部分的融合区域中融合所述第一图像(211)和所述第二图像(212)来组合所述第一图像(211)和所述第二图像(212)而使得所述3D物体(400)的位置在融合区域外，其中所述融合区域在重叠区域(213)内移动，

其中所述组合模块(120)被配置成根据车辆(500)外部的状况或反馈信息来执行融合，以及

其中所述车辆外部的状况包括以下中的至少一个：行驶状况、所述车辆的环境状况，和所述组合模块(120)被配置成基于车辆(500)外部的状况来选择融合，

其中融合宽度和融合的粒度中的至少一个与车辆的外部状况或反馈信息有关。

2.根据权利要求1所述的图像合成器(100)，其中，如果3D物体(400)存在于所述重叠区域(213)中，则所述控制信号指示所述3D物体(400)在所述重叠区域(213)中的位置，

其特征在于：

所述组合模块(120)被配置成通过沿着位于重叠区域(213)的一个区域中、不穿过3D物体(400)的位置的拼接线(250)拼接所述第一图像(211)和所述第二图像(212)来组合所述第一图像(211)和所述第二图像。

3.根据权利要求1或权利要求2所述的图像合成器(100)，

其特征在于：

所述组合模块(120)被配置成确定所述重叠区域(213)的中线并且将所述拼接线(250)放置在所述中线处或者将所述融合区域放置为包括所述中线。

4.根据权利要求1或2所述的图像合成器(100)，

其特征在于：

所述组合模块(120)被配置成作为梯度融合或/和作为二元融合执行融合。

5.根据权利要求1或2所述的图像合成器(100)，

其特征在于：

-所述接收模块(110)被配置成接收错误信号作为指示所述第一摄像机(201)或所述第二摄像机(202)的异常的反馈信息，以及

-所述组合模块(120)被配置成通过忽略来自异常摄像机的图像数据来生成组合图像(123)。

6.根据权利要求2所述的图像合成器(100)，其中，所述3D物体是存在于所述重叠区域中的多个物体中的一个，

其特征在于：

所述组合模块(120)被配置成将所述拼接线放置在远处的物体处，与所述多个物体中的其它物体相比，所述远处的物体距离所述车辆(500)更远。

7.根据权利要求1或2所述的图像合成器(100)，

其特征在于：

所述组合模块(120)被配置成在组合所述第一图像(211)和所述第二图像(212)之前执行所述第一图像和/或所述第二图像(211、212)的透视变换，或者执行所述组合图像(123)的透视变换，并将其显示给车辆(500)的驾驶员。

8.一种用于监视车辆(500)的监测区域的环绕监视系统，

-其特征在于，所述环绕监视系统包括：

-用于拍摄四幅图像的四个摄影机(201，202，203，204)包括至少第一摄像机(201)和第二摄像机(202)；

-控制模块(220)，其被配置成生成指示车辆外部的状况或反馈信息的控制信号(225)；以及

-根据权利要求1至7中任一项所述的图像合成器(100)。

9.根据权利要求8所述的环绕监视系统，

其特征在于：

-所述控制模块(220)被配置成在所述四个摄像机(201、202、203、204)中的一个出现异常的情况下发出错误信号；以及

-所述组合模块(120)被配置成通过忽略该一个异常摄像机的图像数据生成组合图像(123)并且在相应的重叠区域中仅引入与该一个异常摄像机邻近的摄像机的图像数据。

10.一种车辆(500)，其具有根据权利要求8或权利要求9所述的用于监视车辆周围的监测区域的环绕监视系统。

11.一种用于合成车辆(500)的环绕监视系统或显示系统的图像的方法，所述环绕监视系统包括用于拍摄四幅图像的四个摄影机(201，202，203，204)和控制模块(220)，所述四个摄影机包括第一摄像机(201)和第二摄像机(202)，所述第一摄像机(201)被配置成从第一场景(601)拍摄第一图像(210)，所述第二摄像机(202)被配置成从第二场景(602)拍摄第二图像(212)，所述控制模块(220)被配置成生成指示车辆(500)外部的状况或反馈信息的控制信号(225)，其中，所述第一场景(601)和所述第二场景(602)在所述车辆(500)的监测区域(50)的重叠区域(213)中部分重叠，其中所述四个摄影机(201，202，203，204)能够附接在所述车辆(500)的四个拐角处，使得监测区域的每个部分都被四幅图像中的两幅图像覆盖，其中如果三维(3D)物体(400)存在于所述重叠区域(213)中，则所述控制信号指示3D物体(400)在所述重叠区域(213)中的位置，

其中，所述方法包括：

-接收(S110)所述第一图像(211)、所述第二图像(212)和所述控制信号(225)；

-通过融合来组合(S120)在所述重叠区域(213)中的所述第一图像(211)和所述第二图像(212)而使得所述3D物体(400)的位置在融合区域外，其中所述融合区域在重叠区域(213)内移动；以及

-根据所述控制信号(225)生成(S130)组合图像(123)，

其中所述融合根据车辆(500)外部的状况或反馈信息来执行，其中所述车辆外部的状况包括以下中的至少一个：行驶状况、所述车辆的环境状况，其中融合宽度和融合的粒度中的至少一个与车辆的外部状况或反馈信息有关。

12.一种计算机可读存储介质，其上存储有程序代码，当计算机程序在计算机或处理器上执行时，所述程序代码执行权利要求11所述的方法。

Images