CN106104629B - 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法 - Google Patents

Abstract

本发明涉及一种用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法，所述方法包括：提供具有第一几何形状的第一投影面(G')和具有第二几何形状的第二投影面(G)，其中，所述第一投影面(G')的每个点(P'0‑P'7)对应于所述第二投影面(G)上的一个点(P0‑P7)；检测位置信息，所述位置信息描述显示在所述单个图像中的对象(30)相对于所述摄像机系统的布置；基于所检测的位置信息变换所述第一投影面(G')的第一几何形状；将所述单个图像的纹理信息分配给经变换的第一投影面(G')的面区域；传输所述第一投影面(G')的点(P'0‑P'7)的纹理信息到所述第二投影面(G)的相应对应点(P0‑P7)上；由所述第二投影面(G)的视图产生共同的图像。

Description

用于将由摄像机系统从不同位置拍摄的单个图像合并成一个 共同的图像的方法

技术领域

本发明涉及一种用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法。

背景技术

这样的方法例如用于驾驶辅助系统中。驾驶辅助系统旨在，在车辆运动期间支持车辆驾驶员。

这样的支持可以通过以下方式实现：

为驾驶员显示在车辆附近区域中的环境，以便避免与不位于驾驶员视野中的障碍物的碰撞；

接管驾驶员的一些操作，以便提高在车辆运动期间的行驶舒适性；

监视驾驶员的操作并且在危险情况下进行干预；和/或

自动驾驶，而不需要驾驶员在车辆上。

本发明尤其旨在在环视系统中成像组合的视图。

在具有多个摄像机的系统中，多个摄像机图像的合并被证实是困难的任务。图像由不同位置的传感器检测的事实导致图像基于视角更换而不同。两个传感器相互越远离，则视角更换越大，由此两个图像相互的区别增大。

用于合并多个摄像机图像的不同方法针对此设计，即产生多个图像的共同的视图。这些图像通常或者通过在相同时间激活的不同传感器检测，或者通过在连续的时刻在不同位置上激活的单个传感器检测。

用于合并不同视图的图像的现有技术基于间距估计，该间距估计提供用于校正在各个图像之间的大区别的影响的单元。间距估计可以直接由图像数据实现或者是与另外的传感器数据融合的结果(例如来自超声波系统、激光雷达系统或雷达系统)。

用于在确定视图中显示机动车环境的方法由文献DE102011082881A1已知。在此，借助车辆摄像机系统的至少一个车辆摄像机检测机动车环境的第一图像信息。在该方法中，确定关于所拍摄的第一图像信息的空间信息，例如深度信息或空间坐标。在使用空间信息的情况下，根据所期望的视图转变第一第二图像信息。最后，在所期望的视图中基于第二图像信息显示机动车环境。

在环视系统中，每个经组合的视图通过基于图像的渲染(IBR-image basedrendering)而产生，其中，真实图像用于使假定的投影面设有纹理。典型地基于间距信息来描述该投影面，所述间距信息由不同传感器可用。

已经表明，投影面的基于间距信息的变形减小两个图像的区别，其方式是，使相似的点相互接近地投影。

尽管如此，该解决方案的已知问题在于，必须动态改变投影面，由此偶尔产生清晰的棱边，所述棱边引起不利的视觉效果。

发明内容

根据本发明的用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法，所述方法包括：提供具有第一几何形状的第一投影面和具有第二几何形状的第二投影面，其中，所述第一投影面的每个点对应于所述第二投影面上的一个点；检测位置信息，所述位置信息描述显示在所述单个图像中的对象相对于所述摄像机系统的布置；基于所检测的位置信息变换(umformen)所述第一投影面的第一几何形状；将所述单个图像的纹理信息分配给经变换的第一投影面的面区域；传输所述第一投影面的点的纹理信息到所述第二投影面的相应对应点上；并且由所述第二投影面的视图产生共同的图像。在此，第一和第二投影面是虚拟面。

这是有利的，因为通过这种方式减小图像在其接合区域中的大的区别。此外，通过第二投影面的最小的几何改变或无几何改变实现更流畅的可视化效果。减小了图像伪影。此外，在产生共同图像的情况下实现运算成本的降低。

从属权利要求示出本发明的优选的扩展方案。

在此有利的是，第一投影面由多个多边形或基元形成，所述多边形的或基元的位置分别通过一个向量或一个顶点(Vertex)限定。因此可能的是，使得需要的运算能力最小化。此外因此可执行第一投影面的几何分辨率的简单匹配。

此外有利的是，所述单个图像成像如下叠加区域：所述叠加区域示出在所述摄像机系统的周围环境中的共同的区域。通过这样的叠加区域可以实现在两个单个图像之间的特别流畅的视觉过渡。

同样有利的是，与所述单个图像同时地检测所述位置信息。因此使得在几何数据与图像数据之间的偏差最小化并且因此防止基于所述偏差产生的图像伪影。

优选地，摄像机系统是车辆的环视系统。这是有利的，因为在这样的环境中经常已经存在用于检测位置信息的必要传感器。

此外有利的是，通过所述摄像机系统的相同摄像机时间错开地检测所述单个图像。因此降低需要的摄像机的数量并且因此获得另一成本优势。

设置用于执行根据本发明的方法的图像处理单元或计算机同样是有利的。这样的图像处理单元具有根据本发明方法的所有优点。此外通过以下方式实现如下单元：通过所述单元可以通过简单方式扩展已经存在的摄像机系统。

此外，一种计算机程序产品是有利的，其包括程序部分，所述程序部分适合用于当加载在计算机上时实施根据本发明的方法。通过这样的计算机程序产品实现用于扩展存在的图像处理单元的简单可能性。

附图说明

以下参照附图更详细地阐述本发明的实施例。附图示出：

图1：具有图像处理单元的车辆，所述图像处理单元设置用于执行根据本发明的方法；

图2：第一和第二投影面的示图；

图3：经变换的第一投影面的示图；以及

图4：具有所传输的纹理信息的第二投影面的示图。

具体实施方式

图1示出具有图像处理单元2的车辆1，所述图像处理单元设置用于执行根据本发明的方法。

车辆1配备有环视系统，所述环视系统包括摄像机系统。摄像机系统包括检测车辆1的完整环境的四个摄像机11至14：第一摄像机11，其光学轴线沿着车辆的纵轴线向前定向；第二摄像机12，其光学轴线沿着车辆的纵轴线向后定向；第三摄像机13，其光学轴线沿着车辆的横轴线向右定向；以及第四摄像机14，其光学轴线沿着车辆的横轴线向左定向。通过摄像机11至14中的每一个检测单个图像，所述单个图像分别示出车辆环境的一个区段，所述区段位于相应摄像机的视野中。相邻摄像机的视野重叠。因此，例如在右边位于车辆之前的区域不仅由第一摄像机11而且由第三摄像机13检测。因此，通过摄像机11至14的每个所检测的单个图像成像一个重叠区域，所述重叠区域示出在摄像机系统的环境中的也由分别相邻的摄像机检测的一个区域。由摄像机11至14检测的单个图像经由分别一个图像数据线传输给图像处理单元2。

车辆还配备有间距传感机构。所述间距传感机构包括多个超声波传感器20。这些超声波传感器布置在车辆1的外周边上并且分别如此相互间隔开，使得这些超声波传感器在其总体上检测车辆1的全部环境并且因此检测位于车辆1的环境中的对象30的位置信息。因为不仅摄像机系统并因此摄像机11至14而且间距传感机构并因此超声波传感器20布置在车辆1上的分别一个固定的位置上，所以间距传感机构为此能够检测对象30相对于摄像机系统的位置信息。由超声波传感器20检测的位置信息经由分别一个数据线传输给图像处理单元2。图像处理单元2是电子运算单元。

通过图像处理单元2执行根据本发明的用于将单个图像合并成一个共同的图像的方法。在此，基本构思在于，应用双组几何成形的投影面，其中，投影面之一没有被渲染，而是仅仅用作用于单个图像的合并的支持。所支持的几何成形的投影面以一对一的关联连接成可见的投影面，在如下意义上，即这些投影面具有在它们之间的相同数量的顶点和连接。

为此，在第一步骤中首先提供具有第一几何形状的第一投影面G'和具有第二几何形状的第二投影面G。不仅第一投影面G'而且第二投影面G是在虚拟三维空间中的几何结构，其几何形状例如可以通过向量示出。虚拟三维空间在此在最简单情况下是环绕车辆的真实存在的空间的成像。这表示：给虚拟三维空间中的每一个位置点分配在环绕车辆的真实存在的空间中的一个位置点。所述第一投影面G'和第二投影面G例如可以通过分别多个多边形和分别一个对应的顶点限定。

图2示出在虚拟三维空间中第一投影面G'和第二投影面G的视图。为简单起见，在此示出虚拟三维空间的仅仅一个二维平面，在所述虚拟三维空间中第一投影面G'和第二投影面G撑开。第一投影面G'由多个点P'₀至P'₇组成。第二投影面G由多个点P₀至P₇组成。明显的是，点的数量不限于在此描述的八个点，而是可以匹配于相应的要求。第一投影面G'的每个点P'₀-P'₇对应于第二投影面G上的一个点P₀至P₇。在附图中示出的例子中，给第一投影面G'的点P'₀分配第二投影面G的点P₀。给第一投影面G'的点P'₁分配第二投影面G的点P₁。给第一投影面G'的点P'₂分配第二投影面G的点P₂。给第一投影面G'的点P'₃分配第二投影面G的点P₃，等。

第二投影面的几何形状在此例如如此选择，使得第二投影面的每个点可以由在虚拟三维空间中的如下点看到：所述点是虚拟摄像机的位置。虚拟摄像机在此是将检测如下图像的摄像机：所述图像相应于由单个图像合并的共同的图像。因此，第二投影面例如可以球形地环绕虚拟摄像机的位置延伸，其中，虚拟摄像机的位置不必位于所述球的中心。然而，在其他例子中，第二投影面G的几何形状也可以以其他方式确定。因此，所述几何形状同样可以具有其他圆形形状或三角形形状，所述形状完全或仅仅部分地包围车辆1或者专门匹配于由摄像机11至14检测的区域。

在第二步骤S2中，由间距传感机构检测位置信息并且将位置信息传输给图像处理单元2，所述位置信息描述显示在单个图像中的对象30相对于摄像机系统的布置。

在第三步骤S3中基于所检测的位置信息变换第一投影面G'的第一几何形状。这可以例如通过以下方式实现，即首先将位置信息同样传输到虚拟三维空间中，在所述虚拟三维空间中第一投影面G'也撑开。

这示例性地在图3中示出。图3是经变换的第一投影面G'的示图。显示在单个图像中的对象30借助于涉及所述对象30的位置信息被传输到虚拟三维空间中。这是可能的，因为在虚拟三维空间中的每个位置点分配有在环绕车辆的真实存在的空间中的一个位置点。

在这里描述的示例性情况下，对象30是位于车辆1右边的对象。对象30由超声波传感器20检测，并且描述对象30的形状和对象30相对于车辆1和相对于摄像机系统的位置的位置信息被传输给图像处理单元。在那儿产生对象30在虚拟三维空间中的成像。

通过如下方式变换第一投影面G'的几何形状：即如此减小位于第一投影面上的所有点相对于虚拟摄像机的位置的间距，使得这些点位于对象20的在虚拟摄像机上预备的表面上。在此明显的是，当对象30的与车辆1背向的侧并因此对象的完整形状例如不能够完全由间距传感机构检测的时候，也能够实现第一投影面G'的这样的变换。尤其通过以下方式改变点的位置，即多边形——个点位于其上——在其位置方面被改变，亦即对应的顶点被改变。因此，基于间距信息使第一投影面G'的支持的几何形状变形。

在第四步骤S4中，将单个图像的纹理信息分配给经变换的第一投影面G'的面区域。纹理信息在所述例子中相应于由摄像机11至13中之一的单个图像获得的颜色信息。

这同样示例性地在图3中示出。在此，在虚拟三维空间中示出第三摄像机13的光学中心31。因为给在虚拟三维空间中的每个位置点分配在环绕车辆的真实存在的空间中的一个位置点，所以在虚拟三维空间中摄像机系统的第三摄像机13的位置同样已知。由第三摄像机13检测的单个图像在摄像机投影面32中位于第三摄像机13的光学中心31之前。在真实存在的空间中，所述摄像机投影面32相应于第三摄像机13的图像传感器并且因此也相应于由第三摄像机13检测的单个图像。第三摄像机13的单个图像的每个点是在摄像机投影面32上的一个点。这些点例如可以通过坐标(u，v)来描述，所述坐标又与颜色信息关联。摄像机投影面32位于对象30与第三摄像机13的光学中心31之间。这同时表示：对象30显示在第三摄像机13的单个图像中。

给第一投影面G'的每个点P'₀-P'₇分配颜色信息，其方式是，在相应的点P'₀至P'₇与第三摄像机13的光学中心31之间拉直线并且给相应的点P'₀-P'₇分配单个图像的点的颜色信息，分别对应的直线延伸通过所述点。因此，给每个点P'₀至P'₇分配第三摄像机13的单个图像中的坐标(u，v)，颜色信息又与所述坐标关联。

给第一点P'₀分配第三摄像机13的单个图像中的第一坐标(u₀，v₀)，给第二点P'₁分配第三摄像机13的单个图像中的第二坐标(u₁，v₁)，给第三点P'₂分配第三摄像机13的单个图像中的第三坐标(u₂，v₂)，等。因此也给第一投影面G'的点中的每一个分配颜色信息并因此分配纹理。

在以下情况——即对象30显示在摄像机系统的两个摄像机的单个图像中，因为所述对象位于所述摄像机的单个图像的叠加区域中——下可能的是，可以给第一投影面的各个点分配两个摄像机的纹理信息。如果对象30例如不仅显示在第三摄像机13的单个图像中而且显示在第一摄像机11的单个图像中，则可以给所述区域或者分配第一摄像机11的单个图像的或者第三摄像机13的单个图像的纹理信息(颜色信息)。在所述情况下，可以区分摄像机的优先级，或者给一个这样的点分配例如一个这样的颜色值：所述颜色值由两个可能的颜色值的平均值形成。

在此不是必然需要的是，单个算出对于每个单个点的纹理信息。同样也可以将单个图像的区域并因此多个点的颜色信息分别分配给第一投影面G'的一个多边形或分配给属于该多边形的一个顶点。

在第五方法步骤中，传输所述第一投影面的点的纹理信息到所述第二投影面的相应对应点上。这通过以下方式实现，即将分配给第一投影面G'的一个点的坐标(u，v)或者将至少与该坐标关联的颜色信息传输到第二投影面G的对应点上。因此，纹理信息被传输到第二投影面G上，所述第二投影面不经受变形。

在以下情况——即不是对于每个单个的点单个地而是多边形式地算出纹理信息——下，将第一投影面G'的多边形的颜色信息分别传输到第二投影面G的对应多边形上。

这在图4中示出。图4是具有所传输的纹理信息的第二投影面G的视图。可以看出，给第一点P₀分配第三摄像机13的单个图像中的第一坐标(u₀，v₀)，给第二点P₁分配第三摄像机13的单个图像中的第二坐标(u₁，v₁)，给第三点P₂分配第三摄像机13的单个图像中的第三坐标(u₂，v₂)，等。因此也给第二投影面G的点P₀至P₇中的每一个分配颜色信息并因此纹理。

在第六方法步骤中，由第二投影面的视图产生共同的图像。所述视图在此是从虚拟摄像机的位置的视图。这表示，当对于所述虚拟摄像机仅仅第二投影面G可见而第一投影面G'不可见的时候，算出或渲染如下图像：虚拟摄像机从其在虚拟三维空间中的位置拍摄所述图像。因此，第二投影面G可以视为可见的投影面，所述可见的投影面完全地或部分区段地示出。在此应注意，在所述时刻必要时可以重新选择虚拟摄像机的位置。

接着，将共同的图像输出给图像输出装置，例如在车辆1内部中的屏幕。

总而言之，因此根据本发明首先接收间距信息，间距信息由不同传感器数据获得。然后，从间距信息提取所需要的参数用于变换第一投影面G'的几何形状。借助于其实现第一投影面的几何形状的变换。紧接着，以对于第一投影面G'的每个多边形/顶点的坐标的形式算出纹理信息。将所述以坐标形式的纹理信息传输到第二投影面G上。最后，借助所算出的纹理信息实现来自第二投影面G的图像的渲染。

尽管在此根据车辆上的环视系统描述了本发明，但根据本发明的方法也可以用于其他领域中，其中，将单个图像组合成一个共同的图像。

除了上述文字公开内容之外，明确地也参阅图1至4的公开内容。

Claims (9)

1.一种用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法，所述方法包括：提供具有第一几何形状的第一投影面（G'）和具有第二几何形状的第二投影面（G），其中，所述第一投影面（G'）的每个点（P'0-P'7）对应于所述第二投影面（G）上的一个点（P0-P7），其中，所述第一投影面（G'）和所述第二投影面（G）是虚拟三维空间中的几何结构，其中，所述第二投影面（G）的几何形状如此选择，使得所述第二投影面（G）的每个点可以由在所述虚拟三维空间中的如下点看到：所述点是虚拟摄像机的位置；检测位置信息，所述位置信息描述显示在所述单个图像中的对象（30）相对于所述摄像机系统的布置；基于所检测的位置信息变换所述第一投影面（G'）的第一几何形状；将所述单个图像的纹理信息分配给经变换的第一投影面（G'）的面区域；传输所述第一投影面（G'）的点（P'0-P'7）的纹理信息到所述第二投影面（G）的相应对应点（P0-P7）上，其中，所述第二投影面不进行几何改变；由所述第二投影面（G）的视图产生所述共同的图像。

2.根据权利要求1所述的方法，其特征在于，由多个多边形或基元形成所述第一投影面（G'），所述多个多边形的或基元的位置分别通过一个向量或一个顶点限定。

3.根据以上权利要求中任一项所述的方法，其特征在于，所述单个图像成像如下叠加区域：所述叠加区域示出在所述摄像机系统的周围环境中的共同的区域。

4.根据权利要求1或2所述的方法，其特征在于，与所述单个图像同时地检测所述位置信息。

5.根据权利要求1或2所述的方法，其特征在于，由车辆（1）的环视系统包括所述摄像机系统。

6.根据权利要求1或2所述的方法，其特征在于，通过所述摄像机系统的相同摄像机时间错开地检测所述单个图像。

7.一种图像处理单元（2），其设置用于执行根据以上权利要求中任一项所述的方法。

8.一种计算机，其设置用于执行根据权利要求1至6中任一项所述的方法。

9.一种机器可读取的存储介质，在其上存储有一种计算机程序产品，其包括程序部分，所述程序部分适合用于当加载在计算机上时实施根据权利要求1至6中任一项所述的方法。

Images