CN104093600A

CN104093600A - 用于生成车辆环境的三维图像的方法和装置

Info

Publication number: CN104093600A
Application number: CN201280068147.3A
Authority: CN
Inventors: 韩荣寅; 全晟济; 朴钟云; 白原寅
Original assignee: IMAGENEXT CO Ltd
Current assignee: Yueshi Technology Co.,Ltd.
Priority date: 2011-11-30
Filing date: 2012-09-27
Publication date: 2014-10-08
Anticipated expiration: 2032-09-27
Also published as: JP2015507386A; WO2013081287A1; US20140347450A1; JP6095684B2; CN104093600B; US9508189B2; KR101265711B1

Abstract

本发明涉及用于生成车辆环境的三维图像的方法和装置。根据本发明的方法包括以下步骤：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面和具有增加的半径的顶表面的容器形状的三维空间模型所定义的虚拟平面；以及通过使用被映射到虚拟平面的图像生成具有虚拟照相机的观察点的视图图像。根据本发明，有利之处在于可以自然地并且三维地表示包括周围阻碍物的车辆环境的图像。有利之处还在于可以根据车辆的行驶状态而通过改变虚拟观察点来提供车辆环境的最佳图像。还具有的优点是用户可以方便地调整虚拟照相机的观察点。

Description

用于生成车辆环境的三维图像的方法和装置

技术领域

本发明涉及用于生成车辆环境的图像的方法和装置，更具体地说，涉及用于三维地生成和提供车辆环境的图像的方法和装置。

背景技术

随着汽车工业的发展，汽车已经被广泛地分布为一个家庭拥有至少一辆汽车的程度，并且各种高科技的电子技术被应用于汽车来改善汽车的安全并且提升驾驶员的方便。

这种高科技的电子技术包括车辆环境图像显示系统(例如周围视图监视(AVM))，用于通过捕捉车辆的环境并且显示所捕捉的图像，而允许驾驶员用他的/她的肉眼来容易地核对车辆的环境。车辆环境图像显示系统经由安装在车辆的前面、后面、左侧和右侧的照相机来捕捉环境，基于捕捉的图像将重叠区域修正得看上去自然，并且在屏幕上显示车辆的环境的图像。相应地，驾驶员可以通过观看环境的图像来准确地认清车辆的环境并且可以不观察侧视镜或者后视镜就容易地停放车辆。

尤其是，用于提供车辆环境的图像作为从各种观察点观察到的视图图像的三维(3D)车辆环境图像提供系统处于聚光灯下。更具体地说，已经研究并且开发了通过根据车辆的行车条件来改变合成图像的虚拟观察点的位置、眼睛的方向和焦距中的至少一个，而用于使驾驶员能够更容易地认清车辆环境的技术。

为了提供这种车辆环境的3D图像，一般的方法通过使用3D空间模型将照相机捕捉的图像映射到三维空间虚拟平面。另外，该方法基于被映射到3D空间虚拟平面的输入图像，根据对应关系来生成合成图像，所述对应关系是根据依照车辆行车条件或者用户选择而定义的照相机虚拟观察点的位置、眼睛的方向和焦距而预先定义的。然而，存在依照3D空间模型来看合成图像不自然的问题。例如，当半球模型可以被用作3D空间模型的时候，可以自然地表示位于距离车辆远距离的对象，但是车辆周围的地面表面表示地不自然。此外，当相关技术的2D车辆环境图像系统中使用的地面表面被用于映射表面的时候，除了地面表面以外的对象(例如车辆周围的人或者障碍物)具有被拉长的图像，并且因此不能获得正常的图像。此外，由于在匹配过程期间，视图图像与真实的照相机图像不能良好地相匹配，因此存在难以匹配图像的问题。

发明内容

技术问题

本发明的一方面是至少解决以上所述的问题和/或不利并且至少提供如下所述的优点。相应地，本发明的一方面将提供用于生成车辆环境的3D图像的方法和装置，其可以更自然并且三维地表示包括障碍物的车辆环境的图像。

技术方案

根据示例性实施例的一方面，提供了一种用于生成车辆环境的三维图像的方法，该方法包括：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面(flat bottom surface)并且朝向顶端(top)增加的半径的器皿形的三维空间模型所定义的虚拟平面；以及通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像。

可以根据车辆的驾驶条件和用户选择中的至少一个确定虚拟照相机的观察点。

三维空间模型的底表面(bottom surface)的尺寸可以与车辆的驾驶速度成反比。

可以参照查找表格生成视图图像，在所述查找表格中预先定义了被映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系。

可以根据虚拟照相机的倾斜角而改变为了生成视图图像而由多个照相机捕捉的图像彼此重叠的区域的中心。

多个照相机可以包括分别安装在车辆的前部、右侧、后部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，并且根据虚拟照相机距离车辆的中心向左侧或者向右侧距离多远而可以将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。

虚拟照相机的观察点可以与车辆的转向角方向或者齿轮位置互相配合。

该方法可以还包括:显示用于接收关于虚拟照相机的观察点的用户选择的用户界面；以及根据通过用户界面输入的用户选择显示在虚拟照相机的观察点的改变。

该方法可以还包括根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。

根据本发明另一个示例性实施例的计算机可读介质可以在计算机中记录用于执行以上所述方法之一的程序。

根据示例性实施例的一方面，提供一种显示车辆环境的图像的系统，该系统包括环境图像生成装置，被配置为接收由安装在车辆中的多个照相机所捕捉的图像，将图像映射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面，并且通过使用被映射到虚拟平面的图像生成从虚拟照相机的观察点所观察的视图图像。

该环境图像生成装置可以根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。

多个照相机可以经由短距离无线通信将捕捉到的图像传送给环境图像生成装置。

有益效果

根据本发明，该方法和装置具有更自然地并且三维地表示包括周围障碍的车辆环境的图像的优点。此外，该方法和装置具有通过根据车辆驾驶条件改变虚拟观察点而提供车辆环境的最佳图像的优点。此外，用户可以容易地调整虚拟照相机的观察点。

附图说明

图1是示出根据本发明示例性实施例的包括外部参数评估装置的车辆环境图像显示系统的方框图；

图2是示意视图，用以说明根据本发明示例性实施例，照相机的安装位置和标记有三角形图案的修正板的布置；

图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的视图；

图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部照相机的输入图像的例子的视图；

图5是说明根据本发明的示例性实施例的用于评估照相机外部参数的方法的流程图；

图6是示出根据本发明示例性实施例的从通过前部/后部/左侧和右侧照相机捕捉的图像中提取的顶点的视图；

图7是说明根据本发明示例性实施例，用于从照相机外部参数中评估摇镜头角度、x坐标和y坐标的方法的流程图；

图8是说明根据本发明示例性实施例的用于生成车辆环境的三维图像的方法的流程图；

图9是说明根据本发明示例性实施例的三维空间模型的视图；

图10是说明根据示例性实施例的用于将通过真实的照相机捕捉的图像映射到三维空间模型的虚拟平面的方法例子的视图；

图11是说明根据本发明示例性实施例的用于根据用户选择来确定虚拟照相机观察点的方法的视图；

图12是说明当生成虚拟照相机观察点的视图图像的时候，由多个照相机捕捉的图像彼此重叠的区域的视图；以及

图13是示出根据本发明示例性实施例的显示了关于车辆周围的建筑物和道路的信息的虚拟照相机观察点的视图图像的视图。

具体实施方式

最佳方式

现在将详细参考当前的通常的发明构思的实施例，在附图中说明了其示例，其中，通篇中同样的参考数字指代同样的元件。以下通过参照附图描述实施例以便说明当前的通常发明构思。

参照图1，车辆环境图像显示系统包括四个照相机210、220、230、240，环境图像生成装置300以及显示装置400，并且还可以包括外部参数评估装置100。当然，环境图像生成装置300和外部参数评估装置100可以被集成入单个元件中。

车辆环境图像显示系统是指在屏幕上显示由安装在车辆中的四个照相机210、220、230和240捕捉的处理图像所生成的环境图像从而允许驾驶员检查车辆环境的系统。车辆环境图像显示系统可以提供车辆环境的图像作为从虚拟观察点观察的3D图像。为了实现这点，应该已知关于安装在车辆中的四个照相机210、220、230和240的位置和地点的外部参数。

四个照相机210、220、230和240被分别安装在车辆的前部、后部、左侧和右侧，并且可以包括具有大视角的镜头，例如广角镜头、鱼眼镜头等等。照相机210、220、230和240通过镜头将3D对象捕捉为2D图像，并且将捕捉到的图像提供给外部参数评估装置100和环境图像生成装置300。根据示例性实施例，照相机210、220、230和240可以具有安装在其上的短距离无线通信模块，例如Wi-Fi、蓝牙(Bluetooth)、无线个域网(Zigbee)和超宽带(UltraWideBand，UWB)，并且可以被配置为将图像无线传送给环境图像生成装置300和外部参数评估装置100。

外部参数评估装置100可以从由四个照相机210、220、230和240所提供的图像中提取顶点形成三角形图案，并且可以使用提取的顶点来评估照相机210、220、230和240的外部参数。以下将详细地说明用于评估外部参数的方法。

环境图像生成装置300可以通过使用由四个照相机210、220、230和240所提供的图像来为具有根据车辆驾驶条件或者用户选择而定义的预定虚拟观察点的虚拟照相机生成虚拟观察点图像，并且可以将虚拟观察点图像输出给显示装置400。为了实现这点，环境图像生成装置300可以通过将照相机210、220、230和240提供的输入图像映射到三维模型平面来获得纹理映射。可以通过为各个照相机使用投影模型来获得纹理映射，所述投影模型是基于通过外部参数评估装置100获得的照相机外部参数而获得的。此外，可以使用加权融合技术来自然地表示在将输入图像映射到三维模型虚拟平面的处理期间由不同的照相机捕捉的输入图像。当定义了预定虚拟观察点时，环境图像生成装置300可以通过使用具有对应虚拟观察点的虚拟照相机的投影模型，来从纹理映射中生成虚拟观察点图像，并且可以输出该虚拟观察点图像。

显示装置400在例如液晶显示器(LCD)、有机发光二极管(OLED)等的显示模块上显示环境的图像。当然，安装在车辆中的导航系统(未显示)可以接收环境的图像并且可以将其显示在屏幕上。

根据示例性实施例，可以通过使用例如智能电话、平板电脑等的便携式通信终端来实现环境图像生成装置300、外部参数评估装置100和显示装置400。

用于修正四个照相机210、220、230和240的镜头变形(distortion)的操作和用于获得用于每个照相机的投影模型的操作可以是必需的。可以通过使用公知的方法执行这些操作并且因此省略对它的详细说明。

本发明的实施方式

以下，将说明根据本发明示例性实施例的通过使用三角形图案评估安装在车辆中的照相机的外部参数的方法。

图2是说明根据本发明示例性实施例的照相机的安装位置和标记有三角形图案的修正板的布置的示意视图；

参照图1和图2，照相机210、220、230和240可以被分别安装在车辆(V)的前部、后部、左侧和右侧。更具体地说，前部的照相机210可以被安装在车辆(V)的发动机盖的中心，并且左侧和右侧的照相机230和240可以被安装在车辆(V)的每个侧视镜的边缘或者底部。此外，后部的照相机220可以被安装在后保险杆的顶端中心。由于照相机捕捉的图像的比例和图像质量取决于照相机的高度和角度，因此安装在前部和后部的照相机210和220可以具有相同的高度。同样地，安装在左侧和右侧的照相机230和240可以具有相同的高度。通过将照相机210、220、230和240设置为具有相同的高度，可以最小化在生成环境图像时在重叠区域中不均等地表示车道宽度和环境对象看上去具有与实际尺寸不同的尺寸的现象。此外，可以安装被安装在左侧和右侧的照相机230和240来捕捉位于相对于垂直于地面方向的线超过170°处的图像。照相机210、220、230和240中的每一个的安装位置可以根据车辆的种类而不同，并且由于车辆的设计而有可能在安装照相机方面存在限制。

普遍的是，广角镜头由于镜头周围的光量不足而导致图像质量恶化，并且在镜头的周围部分比中心部分发生更大的变形。此外，当照相机捕捉的图像的观察点发生变化时，可能很大程度地破坏周围部分的图像的图像质量。因此，为了使用在照相机镜头的中心区域上形成的图像，安装在前部和后部的照相机210和220可以被安装得使他们的光轴与水平线平行，并且安装在左侧和右侧的照相机230并且240可以被安装得使他们的光轴垂直于地面。此外，可以将照相机210、220、230和240的安装高度确定为可以捕捉到位于距离车辆(V)的前部和后部以及左侧和右侧大约1.5m内的对象。在这种情况下，照相机210、220、230和240可以被安装为能够捕捉位于相对于地面的垂直轴大约30°至60°以内的对象。上面描述的照相机的安装位置仅仅是例子，并且照相机210、220、230和240不必需为根据本发明示例性实施例的照相机外部参数评估装置100而安装在对应的位置。

标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆(V)的角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆(V)的各个角落的预定距离处，以便通过照相机210捕捉的图像包括修正板PL1和PL2，通过后部照相机220捕捉的图像包括修正板PL3和PL4，通过左侧照相机230捕捉的图像包括修正板PL1和PL4，以及通过右侧照相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结实地安装在上车辆(V)的左前侧、右前侧、右后侧和左后侧。然而修正板PL1、PL2、PL3和PL4不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得与车辆(V)所处的地面平行。

标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆(V)的角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆(V)的各个角落的预定距离处，以便通过照相机210捕捉的图像包括修正板PL1和PL2，通过后部照相机220捕捉的图像包括修正板PL3和PL4，通过左侧照相机230捕捉的图像包括修正板PL1和PL4，以及通过右侧照相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结实地安装在上车辆(V)的左前侧、右前侧、右后侧和左后侧。然而，修正板PL1、PL2、PL3和PL4不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得与车辆(V)所处的地面平行。

此外，可以用具有恒定厚度的等边三角形图案标记修正板PL1、PL2、PL3和PL4。该内三角的尺寸是外三角尺寸的0.4～0.8倍。这是为了从车辆(V)周围的相似三角形图案中准确地并且自动地提取标记在修正板PL1、PL2、PL3和PL4上的三角图案。然而，不应该将这点认为是限制。可以以能够提取等边三角形顶点的各种形式来实现修正板PL1、PL2、PL3和PL4。

图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的示意图。

参照图3，安装在车辆(V)中的照相机210、220、230和240的外部参数包括3D空间坐标(x，y，z)和照相机210、220、230和240的摇动、倾斜和倾侧角(θ，Ψ，Ф)。

在3D空间坐标(x，y，z)中，z坐标可以对应于距离车辆(V)所处的地面(G)的高度，并且前部照相机210、左侧照相机230和右侧照相机240的高度可以分别是z_F、z_L和z_B，如图3(a)所示。此外，x坐标和y坐标可以对应于平行于车辆(V)所处的地面(G)的虚拟平面上的位置，并且车辆(V)的中心(O)可以是如图3(b)所示的坐标参考。

可以通过由照相机210、220、230和240的头的方向和车辆(V)的前进方向形成的角度定义摇动角度(θ)，并且照相机210、220、230和240的摇动角度可以分别具有θ_F、θ_B、θ_L和θ_R的值，如图3(b)所示。

可以由照相机210、220、230和240的头的方向和地面(G)形成的角度定义倾斜角(Ψ)。前部照相机210和后部照相机220的倾斜角可以分别具有Ψ_F和Ψ_B的值，如图3(a)所示。

可以由照相机210、220、230和240相对于照相机头的方向轴的旋转角定义倾侧角(Ф)，并且左侧照相机230的倾侧角可以具有Φ_L的值，如图3(a)的视图所示。

图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部照相机的输入图像的例子的视图，并且图5是说明根据本发明的示例性实施例的用于评估照相机外部参数的方法的流程图。

参照图4，由前部照相机210捕捉并且被输入的图像可以包括两个标记有三角图案的修正板PL1和PL2。即使当标记在修正板PL1和PL2上的真正的三角图案具有长度A侧边，输入图像的三角图案也由于前部照相机210的镜头变形、倾斜角(Ψ)、倾侧角(Φ)和高度(z)而具有不同长度的侧边(a₁、a₂、a₃、a₄、a₅和a₆)。

然而，当以公知方法修正了由前部照相机210捕捉的输入图像中的镜头变形，并且输入图像被转换为具有以从车辆(V)的顶端向下看向地面的方向(顶视图)为虚拟观察点的虚拟照相机的图像时，三角形图案PL1和PL2的侧边具有相同的长度(a₁、a₂、a₃、a₄、a₅和a₆)。

当基于这样而对于从前部照相机210输入的图像执行以下操作时，可以估计前部照相机210的倾斜角(Ψ)、倾侧角(Φ)和高度(z)。

图5是说明根据本发明示例性实施例的用于从照相机外部参数中评估倾斜角、倾侧角和高度的方法的流程图。

参照图5，外部参数评估装置100修正由前部照相机210所输入的图像的镜头变形(S510)。其后，外部参数评估装置100从标记在前部照相机捕捉的图像中所包括的左前侧修正板PL1和右前侧修正板PL2上的三角形图案中提取6个顶点(P1、P2、P3、P4、P5和P6)，亦即从每个三角形图案中提取3个顶点(S520)。

接下来，外部参数评估装置100将6个顶点(P1、P2、P3、P4、P5和P6)的坐标转换为世界坐标(world coordinates)，同时改变前部照相机210的倾斜角(Ψ)、倾侧角(Φ)和高度(z)(S530)。世界坐标可以将某一参考点或者车辆(V)所处的中心处的地面(G)上的点(O)视为坐标参考点。

外部参数评估装置100通过使用操作S530中获得的6个顶点(P1、P2、P3、P4、P5和P6)的世界坐标计算标记在左前侧修正板PL1和右前侧修正板PL2上的三角形图案的侧边长度(a₁、a₂、a₃、a₄、a₅和a₆)(S540)。

最后，外部参数评估装置100可以评估将三角形图案的真实侧边的长度和操作S540中计算出的三角形图案的侧边长度(a₁、a₂、a₃、a₄、a₅和a₆)之间的差异最小化的倾斜角(Ψ)、倾侧角(Φ)和高度(z)作为前部照相机210的倾斜角(Ψ_F)、倾侧角(Φ_F)和高度(z_F)(S550)。在操作S550中，最小化由公式1获得的值的倾斜角(Ψ_F)、倾侧角(Φ_F)和高度(z_F)，f(Ψ，Φ，z)是这样获得的：

f (Ψ, Φ, z) = Σ_{i = 1}^{6} {(A - a_{i})}^{2}

…公式1

以上面描述的相同的方法，可以估计另一个照相机—后部照相机220、右侧照相机230和左侧照相机240—的倾斜角(Ψ)、倾侧角(Φ)和高度(z)。

以下，将说明用于评估照相机210、220、230和240的位置坐标(x，y)和摇动角度(θ)的方法。

图6是示出根据本发明示例性实施例的从通过前部、后部、左侧和右侧照相机捕捉的图像中提取顶点的视图。

参照图6，顶点P1_F、P2_F和P3_F是从由前部照相机210捕捉的图像中为左前侧修正板PL1提取的三个顶点，并且顶点P4_F、P5_F和P6_F是从由前部照相机210捕捉的图像中为右前侧修正板PL2提取的三个顶点。此外，顶点P4_R、P5_R和P6_R是从由右侧照相机230捕捉的图像中为右前侧修正板PL2提取的三个顶点，并且顶点P7_R、P8_R和P9_R是从由右侧照相机230捕捉的图像中为右后侧修正板PL3提取的三个顶点。此外，顶点P7_B、P8_B和P9_B是从由后部照相机220捕捉的图像中为右后侧修正板PL3提取的三个顶点，并且顶点P10_B、P11_B和P12_B是从由后部照相机210捕捉的图像中为左后侧修正板PL4提取的三个顶点。最后，顶点P10_L、P11_L和P12_L是从由左侧照相机230捕捉的图像中为左后侧修正板PL4提取的三个顶点，并且顶点P1_L、P2_L和P3_L是从由左侧照相机240捕捉的图像中为左前侧修正板PL1提取的三个顶点。

图7是说明根据本发明示例性实施例的用于从照相机外部参数中评估摇动角度、x坐标和y坐标的方法的流程图。

参照图7，可以在修正了镜头变形之后，为从由照相机210、220、230和240捕捉的图像中提取出的顶点获得世界坐标(S710)。在操作S710中，照相机210、220、230和240的倾斜角(Ψ)、倾侧角(Φ)和高度(z)使用以上描述的方法估计出的值，并且位置坐标(x，y)和摇动角度(θ)可以被设置为预先定义的初始值。例如，前部照相机210、左侧照相机240、后部照相机220和右侧照相机230的摇动角度(θ)可以被分别设置为0°、90°、180°和270°。位置坐标(x，y)可以被设置为考虑照相机210、220、230和240被安装在相对于作为坐标参考点的车辆的中心(O)的精确位置上的情况而获得的初始值。当照相机210、220、230和240被安装在预先定义的精确参考位置和方向上时，在操作S710中获得的顶点(P1_F、P2_F和P3_F)和顶点(P1_L、P2_L和P3_L)的对应点的世界坐标彼此一致。因此，不存在位置误差。然而，由于在真实的照相机安装处理或者驾驶过程期间可能有误差，因此在对应点之间可以存在位置误差。可以通过对应点相对于世界坐标之间的距离来定义位置误差。

其后，外部参数评估装置100计算对应点之间的位置误差，同时改变照相机210、220、230和240的位置坐标(x，y)和摇动(pan)角度(θ)(S720)。

最后，外部参数评估装置100可以评估最小化对应点之间的位置误差的值作为照相机210、220、230和240的位置坐标(x，y)和摇动角度(θ)(S730)。在操作S730中，最小化由公式2即f(θ_F,θ_B,θ_L,θ_R,x_F,x_B,x_L,x_R,y_F,y_B,y_L,y_R)获得的值得位置坐标(x，y)和摇动角度(θ)是通过以下公式获得的：

f (θ_{F}, θ_{B}, θ_{L}, θ_{R}, x_{F}, x_{B}, x_{L}, x_{R}, y_{F}, y_{B}, y_{L}, y_{R}) = Σ_{i = 1}^{12} {(D_{i})}^{2}

…公式2

Di是从通过不同的照相机捕捉的图像中提取的顶点当中的对应点之间的距离。例如，D1是顶P1_F和顶P1_L之间的距离。

用以上所描述的方法，可以估计每个照相机210、220、230和240的相关外部参数，并且，当已知照相机210、220、230和240之一的绝对地点和位置时，可以获得另一个照相机的绝对地点和位置。当照相机210、220、230和240之一的位置被设置为世界坐标的参考点时，可以获得另一个照相机的绝对地点和位置。可以用以上所描述的方法以外的其他方法获得安装在车辆上的照相机的绝对地点和位置。

以下将说明根据本发明示例性实施例的生成车辆环境的三维图像的方法。

图8是说明根据本发明示例性实施例的用于生成车辆环境的三维图像的方法的流程图。

参照图8，环境图像生成装置300可以将照相机210、220、230和240捕捉的图像映射到由三维空间模型定义的虚拟平面(S810)。在操作S810中，三维空间模型可以使用具有平底表面(A)并且具有朝向顶端逐渐增加的半径的器皿形的虚拟平面的模型(M)，如图9所示。

参照图9(a)，三维空间模型(M)被定义为底表面A具有长的半径(b₁)和短的半径(a₁)并且该半径朝向顶端增加，从而在打开的顶端表面(A’)上在高度C处具有长的半径(b₁+b₂)和短的半径(a₁+a₂)。当然，根据示例性实施例可以以环形的形状实现底表面和顶表面(top surface)。

参照图9(b)和图9(c)，当点P与X轴形成角度并且与顶表面(A')形成角度θ时，在3D空间模型上的点P位于由公式3获得的虚拟平面上：

其中

\frac{x^{2}}{{a_{1}}^{2}} + \frac{y^{2}}{{b_{1}}^{2}} \leq 1

其中

\frac{x^{2}}{{a_{1}}^{2}} + \frac{y^{2}}{{b_{1}}^{2}} > 1

…公式3

其中，‘α’是与底表面的尺寸有关的参数。当‘α’是0时，不存在底表面，并且当‘α’是1时，底表面具有长的半径(b₁)和短的半径(a₁)。如下说明的，底表面的尺寸可以通过调整‘α’而被调整并且可以通过系统设计来设置或者可以根据车辆的驾驶条件或者驾驶速度作为而变化。

图10是说明根据本发明示例性实施例的用于将通过真实的照相机捕捉的图像映射到三维空间模型的虚拟平面的方法例子的视图。

参照图10，站在车辆周围的对象(S₀)可以被投影到三维曲面部分(C_3D)而不是平行于地面的底表面上。因此，当被投影到二维平面时对象可能被拉长，但是可以通过投影到三维曲面部分来防止对象被拉长。

当具有平底表面并且半径朝向顶端逐渐增加的器皿形的虚拟平面的模型被用作三维空间模型时，存在以下优点。

在平底表面上不发生可能由视差所引起的失配现象。车辆的特定环境区域将指示出现在地面上的图案。照这样，预定部分可能接近地面来显示好的结果。

此外，可以仅仅通过调整对应于底表面的椭圆形的长的/短的半径系数而容易地控制三维空间模型的底表面的尺寸。因此，可以根据感兴趣的环境区域被设置得距离车辆多远来容易地调整映射的虚拟平面。例如，当驾驶员停车或者慢速驾驶时，有必要为用户检查车辆周围的底表面。在这种情况下，增加三维空间模型的底表面尺寸更有利。相反的，当驾驶员高速驾驶时，有必要为用户检查距离车辆的远距离。在这种情况下，减小三维空间模型的底表面的尺寸更有利。因此，环境图像生成装置300可以与驾驶速度成反比地调整三维空间模型底表面的尺寸。

此外，由于根据本发明示例性实施例的三维空间模型是平滑变化的而非陡峭的曲线，因此可以自然看到视图图像而没有不自然的弯曲部分。最后，在映射输入图像中，容易确定映射的虚拟平面上的基准点的位置。可以根据为上述公式中的θ和Ψ设置的间隔为多少来确定基准点。

参考回图8，环境图像生成装置300通过在操作S810之后使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像(S820)。在操作S820中，可通过参照预先定义有映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系的查找表格，或者通过使用定义了映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系的函数来生成虚拟照相机的观察点的视图图像。

可以根据车辆的驾驶条件和用户选择中的至少一个来确定虚拟照相机的观察点。

更具体地，可以根据与车辆速度、转向角方向或者齿轮位置相关的车辆驾驶条件来确定虚拟照相机的观察点。例如，当向前驾驶车辆超过预定速度时，虚拟照相机的观察点可以被设置到平行于地面的车辆的前方或者可以被设置为具有相对于地面小的倾斜角(Ψ)。相反地，当向前驾驶车辆低于预定速度时，虚拟照相机的观察点可以被设置为具有相对于地面大的倾斜角(Ψ)。此外，当车辆的齿轮是反向齿轮时，虚拟照相机的观察点可以被设置为后方向。此外，当车辆的转向角方向是左侧方向时，虚拟照相机的观察点可以被设置为车辆的前面左侧方向，并且，当车辆的转向角方向是右侧方向时，虚拟照相机的观察点可以被设置为车辆的右前方向。

以下，将参照图11说明用于根据用户选择来确定虚拟照相机的观察点的方法。

参照图11(a)，当用户选择虚拟照相机观察点设置菜单时，以从顶端向下看车辆的形式提供显示了虚拟照相机的用户界面(UI)屏幕。然后，用户可以通过旋转虚拟照相机(C)的前部来调整虚拟照相机的摇动角度(θ)，并且可以通过拖曳虚拟照相机来将虚拟照相机(C)移动至想要的位置(X，Y)。

如图11(b)所示，可以以从侧面观察车辆(V)的形式提供显示了虚拟照相机(C)的UI屏幕。通过这个UI屏幕，用户可以通过旋转虚拟照相机(C)的前部来调整倾斜角(Ψ)并且可以通过拖曳虚拟照相机(C)来调整虚拟照相机(C)的高度(z)。

当通过用户用以上描述的方法设置虚拟照相机的观察点时，可以三维地提供如图11(c)所示的用户可以了解虚拟照相机的观察点的屏幕。

可以按照以下内容处理为了生成视图图像而通过多个照相机210、220、230和240捕捉的图像彼此重叠的区域。

图12是说明当生成虚拟照相机观察点的视图图像时，多个照相机捕捉的图像彼此重叠的区域的视图。

参照图12(a)，当虚拟照相机的观察点被设置为在垂直方向上从车辆的顶端向下看地面的方向时(当虚拟照相机的倾斜角是90°时)，通过前部照相机210捕捉的图像可以被映射到第一、第二和第三区域，并且通过后部照相机220捕捉的图像可以被映射到第七、第八和第九区域。此外，通过左侧照相机230捕捉的图像可以被映射到第一、第四和第七区域，并且通过右侧照相机240捕捉的图像可以被映射到第三、第六和第九区域。在这里，第一、第三、第七和第九区域是多个照相机捕捉的图像彼此重叠的重叠区域。亦即，第一区域是通过前部照相机捕捉的图像和通过左侧照相机230捕捉的图像互相重叠的重叠区域，并且第三区域是通过前部照相机210捕捉的图像和通过右侧照相机240捕捉的图像互相重叠的重叠区域。此外，第七区域是由后部照相机220捕捉的图像和通过左侧照相机230捕捉的图像彼此重叠的重叠区域，并且第九区域是由后部照相机220捕捉的图像和由右侧照相机240捕捉的图像彼此重叠的重叠区域。第五区域是显示了对应于车辆的图像的区域。重叠区域的中心L_C1、L_C3、L_C7、和L_C9位于车辆的对角线方向上。

通过相对于重叠区域的中心L_C1、L_C3、L_C7和L_C9的划分为区域来处理重叠区域。例如，重叠区域3被分成区域3-1和区域3-2，并且通过前部照相机210捕捉的图像被用于区域3-1并且通过右侧照相机240捕捉的图像被用于区域3-2。可以对于重叠区域的中心L_C3给予不同的权重。例如可以给予在区域3-1中的由前部照相机210所捕捉的图像更高的权重，并且可以给予在区域3-2中的由右侧照相机240捕捉的图像更高的权重。以相同的方法处理其他的重叠区域。

另一方面，当虚拟照相机的观察点被设置为从车辆的后部向前看时(当虚拟照相机的倾斜角小于90°)，重叠区域的中心L_C1和L_C3接近车辆的垂直轴方向。通常，当驾驶车辆时，将虚拟照相机的观察点设置为从车辆的后部向前看的方向上。在这种情况下，用户需要检查自然并且容易地检查左侧和右侧的盲点。为了实现这一点，参照图12(b)，将重叠区域的中心处理为接近车辆的纵向方向，以便更多通过左侧和右侧照相机230和240捕捉的图像可以被反映到视图图像。

此外，可以根据虚拟照相机的观察点的位置向左侧或者右侧移动了多远，来将重叠区域的中心变化为还包括由安装在虚拟照相机所处的位置上的照相机捕捉的图像。例如，随着虚拟照相机的观察点的位置进一步移向左侧，可以将重叠区域的中心L_C1和L_C7变化为更接近车辆的垂直方向。相反的，随着虚拟照相机的观察点的位置进一步移向右侧，可以将重叠区域的中心L_C3和L_C9变化为更靠近车辆的纵向方向。

最后，在操作S820中生成的虚拟照相机的观察点的视图图像被输出到显示装置400(S830)。

此外，可以重复操作810到830，同时根据车辆的驾驶条件改变三维空间模型的底表面的尺寸和重叠区域的中心L_C1、L_C3、L_C7和L_C9。根据示例性实施例，可以根据用户所设置的虚拟照相机的观察点而固定视图图像并且可以不受车辆驾驶条件的影响。

根据示例性实施例，环境图像生成装置300可以与全球定位系统(GPS)接收模块(未显示)互相配合来接收车辆当前的驾驶位置信息。此外，环境图像生成装置300可以与建筑物信息的DB和当前驾驶车辆的周围道路互相配合，并且可以将环境建筑物和道路的信息增加到虚拟照相机的观察点的视图图像，从而实现加强的真实性。图13是示出根据本发明示例性实施例的在显示了车辆的环境建筑信息1320和道路信息1310的虚拟照相机的观察点的视图图像。

当环境图像生成装置300被安装在例如智能电话的无线通信终端上时，GPS接收模块可以使用无线通信终端中包括的GPS接收装置，或者可以被实现为安装在车辆上的单独的GPS接收模块。此外，车辆的周围建筑物和道路信息的DB可以被存储在环境图像生成装置300的内部存储器中或者可以从连接到环境图像生成装置300的单独的导航系统(未显示)提供。当环境图像生成装置300安装有例如3G、4G等等的网络通信模块或者被安装在智能电话上时，可以从外部DB服务器传送DB。

本发明的示例性实施例包括计算机可读介质，其包括用于执行由各种电脑实现的操作的程序命令。该介质记录用于执行以上描述的生成车辆环境的三维图像的方法的程序。该介质可以包括单独的或者联合的程序命令、数据文件、数据结构等等。介质的例子可以包括例如硬盘、软盘和磁带的磁性介质，例如高密度磁盘(CD)和数字通用盘(DVD)的光记录介质以及被配置为存储并执行程序命令的硬件设备，例如光磁软盘和磁性光学介质、只读存储器(ROM)、随机存取存储器(RAM)和闪存。此外，该介质可以是包括用于发送指定程序命令、数据结构等的信号的载波的光的传导介质、金属线、波导管等等。程序命令的例子不仅包括由编译器生成的机械代码，还包括通过使用可翻译的由计算机实行的高级语言代码。

已经参考本发明的特定最优实施例显示和描述本发明的同时，本领域技术人员应当理解的是可以对其在形式上和细节上作出各种变化而不背离由所附权利要求所定义的本发明的精神和范围。因此，本发明的范围不由本发明的详细说明定义，而是由所附的权利要求所定义，并且该范围内的全部差异都将被解释为包括在本发明中。

工业实用性

本发明可以被使用在用于三维地生成并且提供车辆环境的图像的方法和装置中。

Claims

1.一种用于生成车辆环境的三维图像的方法，该方法包括：

将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面；以及

通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像。

2.根据权利要求1所述的方法，其中根据车辆的驾驶条件和用户选择的至少之一确定虚拟照相机的观察点。

3.根据权利要求1所述的方法，其中三维空间模型的底表面尺寸与车辆的驾驶速度成反比。

4.根据权利要求1所述的方法，其中参照查找表格生成视图图像，在所述查找表格中预先定义了被映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系。

5.根据权利要求1所述的方法，其中根据虚拟照相机的倾斜角而改变为了生成视图图像而由多个照相机捕捉的图像彼此重叠的区域的中心。

6.根据权利要求1所述的方法，其中多个照相机包括分别安装在车辆的前部、右侧、后部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，以及

其中，根据虚拟照相机距离车辆的中心向左侧或者向右侧距离多远而将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。

7.根据权利要求2所述的方法，其中虚拟照相机的观察点与车辆的转向角方向或者齿轮位置互相配合。

8.根据权利要求2所述的方法，还包括：

显示用于接收关于虚拟照相机的观察点的用户选择的用户界面；以及

根据通过该用户界面输入的用户选择显示虚拟照相机的观察点的改变。

9.根据权利要求2所述的方法，还包括根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。

10.一种用于显示车辆环境的图像的系统，该系统包括环境图像生成装置，被配置为接收由安装在车辆中的多个照相机所捕捉的图像，将图像映射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面，并且通过使用被映射到虚拟平面的图像生成从虚拟照相机的观察点所观察的视图图像。

11.根据权利要求10所述的系统，其中三维空间模型的底表面尺寸与车辆的驾驶速度成反比。

12.根据权利要求10所述的系统，其中该环境图像生成装置根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。

13.根据权利要求10所述的系统，其中多个照相机经由短距离无线通信将捕捉到的图像传送给环境图像生成装置。