CN104093600B - 用于生成车辆环境的三维图像的方法和装置 - Google Patents

用于生成车辆环境的三维图像的方法和装置 Download PDF

Info

Publication number
CN104093600B
CN104093600B CN201280068147.3A CN201280068147A CN104093600B CN 104093600 B CN104093600 B CN 104093600B CN 201280068147 A CN201280068147 A CN 201280068147A CN 104093600 B CN104093600 B CN 104093600B
Authority
CN
China
Prior art keywords
image
vehicle
camera
virtual camera
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280068147.3A
Other languages
English (en)
Other versions
CN104093600A (zh
Inventor
韩荣寅
全晟济
朴钟云
白原寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueshi Technology Co.,Ltd.
Original Assignee
Kss- Li Zhi Zhi Future Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kss- Li Zhi Zhi Future Ltd filed Critical Kss- Li Zhi Zhi Future Ltd
Publication of CN104093600A publication Critical patent/CN104093600A/zh
Application granted granted Critical
Publication of CN104093600B publication Critical patent/CN104093600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于生成车辆环境的三维图像的方法和装置。根据本发明的方法包括以下步骤：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面和具有增加的半径的顶表面的容器形状的三维空间模型所定义的虚拟平面；以及通过使用被映射到虚拟平面的图像生成具有虚拟照相机的观察点的视图图像。根据本发明，有利之处在于可以自然地并且三维地表示包括周围阻碍物的车辆环境的图像。有利之处还在于可以根据车辆的行驶状态而通过改变虚拟观察点来提供车辆环境的最佳图像。还具有的优点是用户可以方便地调整虚拟照相机的观察点。

Description

用于生成车辆环境的三维图像的方法和装置
技术领域
本发明涉及用于生成车辆环境的图像的方法和装置，更具体地说，涉及用于三维地生成和提供车辆环境的图像的方法和装置。
背景技术
随着汽车工业的发展，汽车已经被广泛地分布为一个家庭拥有至少一辆汽车的程度，并且各种高科技的电子技术被应用于汽车来改善汽车的安全并且提升驾驶员的方便。
这种高科技的电子技术包括车辆环境图像显示系统(例如周围视图监视(AVM))，用于通过捕捉车辆的环境并且显示所捕捉的图像，而允许驾驶员用他的/她的肉眼来容易地核对车辆的环境。车辆环境图像显示系统经由安装在车辆的前面、后面、左侧和右侧的照相机来捕捉环境，基于捕捉的图像将重叠区域修正得看上去自然，并且在屏幕上显示车辆的环境的图像。相应地，驾驶员可以通过观看环境的图像来准确地认清车辆的环境并且可以不观察侧视镜或者后视镜就容易地停放车辆。
尤其是，用于提供车辆环境的图像作为从各种观察点观察到的视图图像的三维(3D)车辆环境图像提供系统处于聚光灯下。更具体地说，已经研究并且开发了通过根据车辆的行车条件来改变合成图像的虚拟观察点的位置、眼睛的方向和焦距中的至少一个，而用于使驾驶员能够更容易地认清车辆环境的技术。
为了提供这种车辆环境的3D图像，一般的方法通过使用3D空间模型将照相机捕捉的图像映射到三维空间虚拟平面。另外，该方法基于被映射到3D空间虚拟平面的输入图像，根据对应关系来生成合成图像，所述对应关系是根据依照车辆行车条件或者用户选择而定义的照相机虚拟观察点的位置、眼睛的方向和焦距而预先定义的。然而，存在依照3D空间模型来看合成图像不自然的问题。例如，当半球模型可以被用作3D空间模型的时候，可以自然地表示位于距离车辆远距离的对象，但是车辆周围的地面表面表示地不自然。此外，当相关技术的2D车辆环境图像系统中使用的地面表面被用于映射表面的时候，除了地面表面以外的对象(例如车辆周围的人或者障碍物)具有被拉长的图像，并且因此不能获得正常的图像。此外，由于在匹配过程期间，视图图像与真实的照相机图像不能良好地相匹配，因此存在难以匹配图像的问题。
发明内容
技术问题
本发明的一方面是至少解决以上所述的问题和/或不利并且至少提供如下所述的优点。相应地，本发明的一方面将提供用于生成车辆环境的3D图像的方法和装置，其可以更自然并且三维地表示包括障碍物的车辆环境的图像。
技术方案
根据示例性实施例的一方面，提供了一种用于生成车辆环境的三维图像的方法，该方法包括：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面(flatbottom surface)并且朝向顶端(top)增加的半径的器皿形的三维空间模型所定义的虚拟平面；以及通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像。
可以根据车辆的驾驶条件和用户选择中的至少一个确定虚拟照相机的观察点。
三维空间模型的底表面(bottom surface)的尺寸可以与车辆的驾驶速度成反比。
可以参照查找表格生成视图图像，在所述查找表格中预先定义了被映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系。
可以根据虚拟照相机的倾斜角而改变为了生成视图图像而由多个照相机捕捉的图像彼此重叠的区域的中心。
多个照相机可以包括分别安装在车辆的前部、右侧、后部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，并且根据虚拟照相机距离车辆的中心向左侧或者向右侧距离多远而可以将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。
虚拟照相机的观察点可以与车辆的转向角方向或者齿轮位置互相配合。
该方法可以还包括:显示用于接收关于虚拟照相机的观察点的用户选择的用户界面；以及根据通过用户界面输入的用户选择显示在虚拟照相机的观察点的改变。
该方法可以还包括根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。
根据本发明另一个示例性实施例的计算机可读介质可以在计算机中记录用于执行以上所述方法之一的程序。
根据示例性实施例的一方面，提供一种显示车辆环境的图像的系统，该系统包括环境图像生成装置，被配置为接收由安装在车辆中的多个照相机所捕捉的图像，将图像映射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面，并且通过使用被映射到虚拟平面的图像生成从虚拟照相机的观察点所观察的视图图像。
该环境图像生成装置可以根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。
多个照相机可以经由短距离无线通信将捕捉到的图像传送给环境图像生成装置。
有益效果
根据本发明，该方法和装置具有更自然地并且三维地表示包括周围障碍的车辆环境的图像的优点。此外，该方法和装置具有通过根据车辆驾驶条件改变虚拟观察点而提供车辆环境的最佳图像的优点。此外，用户可以容易地调整虚拟照相机的观察点。
附图说明
图1是示出根据本发明示例性实施例的包括外部参数评估装置的车辆环境图像显示系统的方框图；
图2是示意视图，用以说明根据本发明示例性实施例，照相机的安装位置和标记有三角形图案的修正板的布置；
图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的视图；
图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部照相机的输入图像的例子的视图；
图5是说明根据本发明的示例性实施例的用于评估照相机外部参数的方法的流程图；
图6是示出根据本发明示例性实施例的从通过前部/后部/左侧和右侧照相机捕捉的图像中提取的顶点的视图；
图7是说明根据本发明示例性实施例，用于从照相机外部参数中评估摇镜头角度、x坐标和y坐标的方法的流程图；
图8是说明根据本发明示例性实施例的用于生成车辆环境的三维图像的方法的流程图；
图9是说明根据本发明示例性实施例的三维空间模型的视图；
图10是说明根据示例性实施例的用于将通过真实的照相机捕捉的图像映射到三维空间模型的虚拟平面的方法例子的视图；
图11是说明根据本发明示例性实施例的用于根据用户选择来确定虚拟照相机观察点的方法的视图；
图12是说明当生成虚拟照相机观察点的视图图像的时候，由多个照相机捕捉的图像彼此重叠的区域的视图；以及
图13是示出根据本发明示例性实施例的显示了关于车辆周围的建筑物和道路的信息的虚拟照相机观察点的视图图像的视图。
具体实施方式
最佳方式
现在将详细参考当前的通常的发明构思的实施例，在附图中说明了其示例，其中，通篇中同样的参考数字指代同样的元件。以下通过参照附图描述实施例以便说明当前的通常发明构思。
图1是示出根据本发明示例性实施例的包括外部参数评估装置的车辆环境图像显示系统的方框图；
参照图1，车辆环境图像显示系统包括四个照相机210、220、230、240，环境图像生成装置300以及显示装置400，并且还可以包括外部参数评估装置100。当然，环境图像生成装置300和外部参数评估装置100可以被集成入单个元件中。
车辆环境图像显示系统是指在屏幕上显示由安装在车辆中的四个照相机210、220、230和240捕捉的处理图像所生成的环境图像从而允许驾驶员检查车辆环境的系统。车辆环境图像显示系统可以提供车辆环境的图像作为从虚拟观察点观察的3D图像。为了实现这点，应该已知关于安装在车辆中的四个照相机210、220、230和240的位置和地点的外部参数。
四个照相机210、220、230和240被分别安装在车辆的前部、后部、左侧和右侧，并且可以包括具有大视角的镜头，例如广角镜头、鱼眼镜头等等。照相机210、220、230和240通过镜头将3D对象捕捉为2D图像，并且将捕捉到的图像提供给外部参数评估装置100和环境图像生成装置300。根据示例性实施例，照相机210、220、230和240可以具有安装在其上的短距离无线通信模块，例如Wi-Fi、蓝牙(Bluetooth)、无线个域网(Zigbee)和超宽带(UltraWideBand，UWB)，并且可以被配置为将图像无线传送给环境图像生成装置300和外部参数评估装置100。
外部参数评估装置100可以从由四个照相机210、220、230和240所提供的图像中提取顶点形成三角形图案，并且可以使用提取的顶点来评估照相机210、220、230和240的外部参数。以下将详细地说明用于评估外部参数的方法。
环境图像生成装置300可以通过使用由四个照相机210、220、230和240所提供的图像来为具有根据车辆驾驶条件或者用户选择而定义的预定虚拟观察点的虚拟照相机生成虚拟观察点图像，并且可以将虚拟观察点图像输出给显示装置400。为了实现这点，环境图像生成装置300可以通过将照相机210、220、230和240提供的输入图像映射到三维模型平面来获得纹理映射。可以通过为各个照相机使用投影模型来获得纹理映射，所述投影模型是基于通过外部参数评估装置100获得的照相机外部参数而获得的。此外，可以使用加权融合技术来自然地表示在将输入图像映射到三维模型虚拟平面的处理期间由不同的照相机捕捉的输入图像。当定义了预定虚拟观察点时，环境图像生成装置300可以通过使用具有对应虚拟观察点的虚拟照相机的投影模型，来从纹理映射中生成虚拟观察点图像，并且可以输出该虚拟观察点图像。
显示装置400在例如液晶显示器(LCD)、有机发光二极管(OLED)等的显示模块上显示环境的图像。当然，安装在车辆中的导航系统(未显示)可以接收环境的图像并且可以将其显示在屏幕上。
根据示例性实施例，可以通过使用例如智能电话、平板电脑等的便携式通信终端来实现环境图像生成装置300、外部参数评估装置100和显示装置400。
用于修正四个照相机210、220、230和240的镜头变形(distortion)的操作和用于获得用于每个照相机的投影模型的操作可以是必需的。可以通过使用公知的方法执行这些操作并且因此省略对它的详细说明。
本发明的实施方式
以下，将说明根据本发明示例性实施例的通过使用三角形图案评估安装在车辆中的照相机的外部参数的方法。
图2是说明根据本发明示例性实施例的照相机的安装位置和标记有三角形图案的修正板的布置的示意视图；
参照图1和图2，照相机210、220、230和240可以被分别安装在车辆(V)的前部、后部、左侧和右侧。更具体地说，前部的照相机210可以被安装在车辆(V)的发动机盖的中心，并且左侧和右侧的照相机230和240可以被安装在车辆(V)的每个侧视镜的边缘或者底部。此外，后部的照相机220可以被安装在后保险杆的顶端中心。由于照相机捕捉的图像的比例和图像质量取决于照相机的高度和角度，因此安装在前部和后部的照相机210和220可以具有相同的高度。同样地，安装在左侧和右侧的照相机230和240可以具有相同的高度。通过将照相机210、220、230和240设置为具有相同的高度，可以最小化在生成环境图像时在重叠区域中不均等地表示车道宽度和环境对象看上去具有与实际尺寸不同的尺寸的现象。此外，可以安装被安装在左侧和右侧的照相机230和240来捕捉位于相对于垂直于地面方向的线超过170°处的图像。照相机210、220、230和240中的每一个的安装位置可以根据车辆的种类而不同，并且由于车辆的设计而有可能在安装照相机方面存在限制。
普遍的是，广角镜头由于镜头周围的光量不足而导致图像质量恶化，并且在镜头的周围部分比中心部分发生更大的变形。此外，当照相机捕捉的图像的观察点发生变化时，可能很大程度地破坏周围部分的图像的图像质量。因此，为了使用在照相机镜头的中心区域上形成的图像，安装在前部和后部的照相机210和220可以被安装得使他们的光轴与水平线平行，并且安装在左侧和右侧的照相机230并且240可以被安装得使他们的光轴垂直于地面。此外，可以将照相机210、220、230和240的安装高度确定为可以捕捉到位于距离车辆(V)的前部和后部以及左侧和右侧大约1.5m内的对象。在这种情况下，照相机210、220、230和240可以被安装为能够捕捉位于相对于地面的垂直轴大约30°至60°以内的对象。上面描述的照相机的安装位置仅仅是例子，并且照相机210、220、230和240不必需为根据本发明示例性实施例的照相机外部参数评估装置100而安装在对应的位置。
标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆(V)的角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆(V)的各个角落的预定距离处，以便通过照相机210捕捉的图像包括修正板PL1和PL2，通过后部照相机220捕捉的图像包括修正板PL3和PL4，通过左侧照相机230捕捉的图像包括修正板PL1和PL4，以及通过右侧照相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结实地安装在上车辆(V)的左前侧、右前侧、右后侧和左后侧。然而修正板PL1、PL2、PL3和PL4不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得与车辆(V)所处的地面平行。
标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆(V)的角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆(V)的各个角落的预定距离处，以便通过照相机210捕捉的图像包括修正板PL1和PL2，通过后部照相机220捕捉的图像包括修正板PL3和PL4，通过左侧照相机230捕捉的图像包括修正板PL1和PL4，以及通过右侧照相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结实地安装在上车辆(V)的左前侧、右前侧、右后侧和左后侧。然而，修正板PL1、PL2、PL3和PL4不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得与车辆(V)所处的地面平行。
此外，可以用具有恒定厚度的等边三角形图案标记修正板PL1、PL2、PL3和PL4。该内三角的尺寸是外三角尺寸的0.4～0.8倍。这是为了从车辆(V)周围的相似三角形图案中准确地并且自动地提取标记在修正板PL1、PL2、PL3和PL4上的三角图案。然而，不应该将这点认为是限制。可以以能够提取等边三角形顶点的各种形式来实现修正板PL1、PL2、PL3和PL4。
图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的示意图。
参照图3，安装在车辆(V)中的照相机210、220、230和240的外部参数包括3D空间坐标(x，y，z)和照相机210、220、230和240的摇动、倾斜和倾侧角(θ，Ψ，Ф)。
在3D空间坐标(x，y，z)中，z坐标可以对应于距离车辆(V)所处的地面(G)的高度，并且前部照相机210、左侧照相机230和右侧照相机240的高度可以分别是zF、zL和zB，如图3(a)所示。此外，x坐标和y坐标可以对应于平行于车辆(V)所处的地面(G)的虚拟平面上的位置，并且车辆(V)的中心(O)可以是如图3(b)所示的坐标参考。
可以通过由照相机210、220、230和240的头的方向和车辆(V)的前进方向形成的角度定义摇动角度(θ)，并且照相机210、220、230和240的摇动角度可以分别具有θF、θB、θL和θR的值，如图3(b)所示。
可以由照相机210、220、230和240的头的方向和地面(G)形成的角度定义倾斜角(Ψ)。前部照相机210和后部照相机220的倾斜角可以分别具有ΨF和ΨB的值，如图3(a)所示。
可以由照相机210、220、230和240相对于照相机头的方向轴的旋转角定义倾侧角(Ф)，并且左侧照相机230的倾侧角可以具有ΦL的值，如图3(a)的视图所示。
图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部照相机的输入图像的例子的视图，并且图5是说明根据本发明的示例性实施例的用于评估照相机外部参数的方法的流程图。
参照图4，由前部照相机210捕捉并且被输入的图像可以包括两个标记有三角图案的修正板PL1和PL2。即使当标记在修正板PL1和PL2上的真正的三角图案具有长度A侧边，输入图像的三角图案也由于前部照相机210的镜头变形、倾斜角(Ψ)、倾侧角(Φ)和高度(z)而具有不同长度的侧边(a1、a2、a3、a4、a5和a6)。
然而，当以公知方法修正了由前部照相机210捕捉的输入图像中的镜头变形，并且输入图像被转换为具有以从车辆(V)的顶端向下看向地面的方向(顶视图)为虚拟观察点的虚拟照相机的图像时，三角形图案PL1和PL2的侧边具有相同的长度(a1、a2、a3、a4、a5和a6)。
当基于这样而对于从前部照相机210输入的图像执行以下操作时，可以估计前部照相机210的倾斜角(Ψ)、倾侧角(Φ)和高度(z)。
图5是说明根据本发明示例性实施例的用于从照相机外部参数中评估倾斜角、倾侧角和高度的方法的流程图。
参照图5，外部参数评估装置100修正由前部照相机210所输入的图像的镜头变形(S510)。其后，外部参数评估装置100从标记在前部照相机捕捉的图像中所包括的左前侧修正板PL1和右前侧修正板PL2上的三角形图案中提取6个顶点(P1、P2、P3、P4、P5和P6)，亦即从每个三角形图案中提取3个顶点(S520)。
接下来，外部参数评估装置100将6个顶点(P1、P2、P3、P4、P5和P6)的坐标转换为世界坐标(world coordinates)，同时改变前部照相机210的倾斜角(Ψ)、倾侧角(Φ)和高度(z)(S530)。世界坐标可以将某一参考点或者车辆(V)所处的中心处的地面(G)上的点(O)视为坐标参考点。
外部参数评估装置100通过使用操作S530中获得的6个顶点(P1、P2、P3、P4、P5和P6)的世界坐标计算标记在左前侧修正板PL1和右前侧修正板PL2上的三角形图案的侧边长度(a1、a2、a3、a4、a5和a6)(S540)。
最后，外部参数评估装置100可以评估将三角形图案的真实侧边的长度和操作S540中计算出的三角形图案的侧边长度(a1、a2、a3、a4、a5和a6)之间的差异最小化的倾斜角(Ψ)、倾侧角(Φ)和高度(z)作为前部照相机210的倾斜角(ΨF)、倾侧角(ΦF)和高度(zF)(S550)。在操作S550中，最小化由公式1获得的值的倾斜角(ΨF)、倾侧角(ΦF)和高度(zF)，f(Ψ，Φ，z)是这样获得的：
以上面描述的相同的方法，可以估计另一个照相机—后部照相机220、右侧照相机230和左侧照相机240—的倾斜角(Ψ)、倾侧角(Φ)和高度(z)。
以下，将说明用于评估照相机210、220、230和240的位置坐标(x，y)和摇动角度(θ)的方法。
图6是示出根据本发明示例性实施例的从通过前部、后部、左侧和右侧照相机捕捉的图像中提取顶点的视图。
参照图6，顶点P1F、P2F和P3F是从由前部照相机210捕捉的图像中为左前侧修正板PL1提取的三个顶点，并且顶点P4F、P5F和P6F是从由前部照相机210捕捉的图像中为右前侧修正板PL2提取的三个顶点。此外，顶点P4R、P5R和P6R是从由右侧照相机230捕捉的图像中为右前侧修正板PL2提取的三个顶点，并且顶点P7R、P8R和P9R是从由右侧照相机230捕捉的图像中为右后侧修正板PL3提取的三个顶点。此外，顶点P7B、P8B和P9B是从由后部照相机220捕捉的图像中为右后侧修正板PL3提取的三个顶点，并且顶点P10B、P11B和P12B是从由后部照相机210捕捉的图像中为左后侧修正板PL4提取的三个顶点。最后，顶点P10L、P11L和P12L是从由左侧照相机230捕捉的图像中为左后侧修正板PL4提取的三个顶点，并且顶点P1L、P2L和P3L是从由左侧照相机240捕捉的图像中为左前侧修正板PL1提取的三个顶点。
图7是说明根据本发明示例性实施例的用于从照相机外部参数中评估摇动角度、x坐标和y坐标的方法的流程图。
参照图7，可以在修正了镜头变形之后，为从由照相机210、220、230和240捕捉的图像中提取出的顶点获得世界坐标(S710)。在操作S710中，照相机210、220、230和240的倾斜角(Ψ)、倾侧角(Φ)和高度(z)使用以上描述的方法估计出的值，并且位置坐标(x，y)和摇动角度(θ)可以被设置为预先定义的初始值。例如，前部照相机210、左侧照相机240、后部照相机220和右侧照相机230的摇动角度(θ)可以被分别设置为0°、90°、180°和270°。位置坐标(x，y)可以被设置为考虑照相机210、220、230和240被安装在相对于作为坐标参考点的车辆的中心(O)的精确位置上的情况而获得的初始值。当照相机210、220、230和240被安装在预先定义的精确参考位置和方向上时，在操作S710中获得的顶点(P1F、P2F和P3F)和顶点(P1L、P2L和P3L)的对应点的世界坐标彼此一致。因此，不存在位置误差。然而，由于在真实的照相机安装处理或者驾驶过程期间可能有误差，因此在对应点之间可以存在位置误差。可以通过对应点相对于世界坐标之间的距离来定义位置误差。
其后，外部参数评估装置100计算对应点之间的位置误差，同时改变照相机210、220、230和240的位置坐标(x，y)和摇动(pan)角度(θ)(S720)。
最后，外部参数评估装置100可以评估最小化对应点之间的位置误差的值作为照相机210、220、230和240的位置坐标(x，y)和摇动角度(θ)(S730)。在操作S730中，最小化由公式2即f(θF,θB,θL,θR,xF,xB,xL,xR,yF,yB,yL,yR)获得的值得位置坐标(x，y)和摇动角度(θ)是通过以下公式获得的：
Di是从通过不同的照相机捕捉的图像中提取的顶点当中的对应点之间的距离。例如，D1是顶P1F和顶P1L之间的距离。
用以上所描述的方法，可以估计每个照相机210、220、230和240的相关外部参数，并且，当已知照相机210、220、230和240之一的绝对地点和位置时，可以获得另一个照相机的绝对地点和位置。当照相机210、220、230和240之一的位置被设置为世界坐标的参考点时，可以获得另一个照相机的绝对地点和位置。可以用以上所描述的方法以外的其他方法获得安装在车辆上的照相机的绝对地点和位置。
以下将说明根据本发明示例性实施例的生成车辆环境的三维图像的方法。
图8是说明根据本发明示例性实施例的用于生成车辆环境的三维图像的方法的流程图。
参照图8，环境图像生成装置300可以将照相机210、220、230和240捕捉的图像映射到由三维空间模型定义的虚拟平面(S810)。在操作S810中，三维空间模型可以使用具有平底表面(A)并且具有朝向顶端逐渐增加的半径的器皿形的虚拟平面的模型(M)，如图9所示。
参照图9(a)，三维空间模型(M)被定义为底表面A具有长的半径(b1)和短的半径(a1)并且该半径朝向顶端增加，从而在打开的顶端表面(A’)上在高度c处具有长的半径(b1+b2)和短的半径(a1+a2)。当然，根据示例性实施例可以以环形的形状实现底表面和顶表面(top surface)。
参照图9(b)和图9(c)，当点P与X轴形成角度并且与顶表面(A')形成角度θ时，在3D空间模型上的点P位于由公式3获得的虚拟平面上：
其中
其中
其中，‘α’是与底表面的尺寸有关的参数。当‘α’是0时，不存在底表面，并且当‘α’是1时，底表面具有长的半径(b1)和短的半径(a1)。如下说明的，底表面的尺寸可以通过调整‘α’而被调整并且可以通过系统设计来设置或者可以根据车辆的驾驶条件或者驾驶速度作为而变化。
图10是说明根据本发明示例性实施例的用于将通过真实的照相机捕捉的图像映射到三维空间模型的虚拟平面的方法例子的视图。
参照图10，站在车辆周围的对象(S0)可以被投影到三维曲面部分(C3D)而不是平行于地面的底表面上。因此，当被投影到二维平面时对象可能被拉长，但是可以通过投影到三维曲面部分来防止对象被拉长。
当具有平底表面并且半径朝向顶端逐渐增加的器皿形的虚拟平面的模型被用作三维空间模型时，存在以下优点。
在平底表面上不发生可能由视差所引起的失配现象。车辆的特定环境区域将指示出现在地面上的图案。照这样，预定部分可能接近地面来显示好的结果。
此外，可以仅仅通过调整对应于底表面的椭圆形的长的/短的半径系数而容易地控制三维空间模型的底表面的尺寸。因此，可以根据感兴趣的环境区域被设置得距离车辆多远来容易地调整映射的虚拟平面。例如，当驾驶员停车或者慢速驾驶时，有必要为用户检查车辆周围的底表面。在这种情况下，增加三维空间模型的底表面尺寸更有利。相反的，当驾驶员高速驾驶时，有必要为用户检查距离车辆的远距离。在这种情况下，减小三维空间模型的底表面的尺寸更有利。因此，环境图像生成装置300可以与驾驶速度成反比地调整三维空间模型底表面的尺寸。
此外，由于根据本发明示例性实施例的三维空间模型是平滑变化的而非陡峭的曲线，因此可以自然看到视图图像而没有不自然的弯曲部分。最后，在映射输入图像中，容易确定映射的虚拟平面上的基准点的位置。可以根据为上述公式中的θ和Ψ设置的间隔为多少来确定基准点。
参考回图8，环境图像生成装置300通过在操作S810之后使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像(S820)。在操作S820中，可通过参照预先定义有映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系的查找表格，或者通过使用定义了映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系的函数来生成虚拟照相机的观察点的视图图像。
可以根据车辆的驾驶条件和用户选择中的至少一个来确定虚拟照相机的观察点。
更具体地，可以根据与车辆速度、转向角方向或者齿轮位置相关的车辆驾驶条件来确定虚拟照相机的观察点。例如，当向前驾驶车辆超过预定速度时，虚拟照相机的观察点可以被设置到平行于地面的车辆的前方或者可以被设置为具有相对于地面小的倾斜角(Ψ)。相反地，当向前驾驶车辆低于预定速度时，虚拟照相机的观察点可以被设置为具有相对于地面大的倾斜角(Ψ)。此外，当车辆的齿轮是反向齿轮时，虚拟照相机的观察点可以被设置为后方向。此外，当车辆的转向角方向是左侧方向时，虚拟照相机的观察点可以被设置为车辆的前面左侧方向，并且，当车辆的转向角方向是右侧方向时，虚拟照相机的观察点可以被设置为车辆的右前方向。
以下，将参照图11说明用于根据用户选择来确定虚拟照相机的观察点的方法。
参照图11(a)，当用户选择虚拟照相机观察点设置菜单时，以从顶端向下看车辆的形式提供显示了虚拟照相机的用户界面(UI)屏幕。然后，用户可以通过旋转虚拟照相机(C)的前部来调整虚拟照相机的摇动角度(θ)，并且可以通过拖曳虚拟照相机来将虚拟照相机(C)移动至想要的位置(X，Y)。
如图11(b)所示，可以以从侧面观察车辆(V)的形式提供显示了虚拟照相机(C)的UI屏幕。通过这个UI屏幕，用户可以通过旋转虚拟照相机(C)的前部来调整倾斜角(Ψ)并且可以通过拖曳虚拟照相机(C)来调整虚拟照相机(C)的高度(z)。
当通过用户用以上描述的方法设置虚拟照相机的观察点时，可以三维地提供如图11(c)所示的用户可以了解虚拟照相机的观察点的屏幕。
可以按照以下内容处理为了生成视图图像而通过多个照相机210、220、230和240捕捉的图像彼此重叠的区域。
图12是说明当生成虚拟照相机观察点的视图图像时，多个照相机捕捉的图像彼此重叠的区域的视图。
参照图12(a)，当虚拟照相机的观察点被设置为在垂直方向上从车辆的顶端向下看地面的方向时(当虚拟照相机的倾斜角是90°时)，通过前部照相机210捕捉的图像可以被映射到第一、第二和第三区域，并且通过后部照相机220捕捉的图像可以被映射到第七、第八和第九区域。此外，通过左侧照相机230捕捉的图像可以被映射到第一、第四和第七区域，并且通过右侧照相机240捕捉的图像可以被映射到第三、第六和第九区域。在这里，第一、第三、第七和第九区域是多个照相机捕捉的图像彼此重叠的重叠区域。亦即，第一区域是通过前部照相机捕捉的图像和通过左侧照相机230捕捉的图像互相重叠的重叠区域，并且第三区域是通过前部照相机210捕捉的图像和通过右侧照相机240捕捉的图像互相重叠的重叠区域。此外，第七区域是由后部照相机220捕捉的图像和通过左侧照相机230捕捉的图像彼此重叠的重叠区域，并且第九区域是由后部照相机220捕捉的图像和由右侧照相机240捕捉的图像彼此重叠的重叠区域。第五区域是显示了对应于车辆的图像的区域。重叠区域的中心LC1、LC3、LC7、和LC9位于车辆的对角线方向上。
通过相对于重叠区域的中心LC1、LC3、LC7和LC9的划分为区域来处理重叠区域。例如，重叠区域3被分成区域3-1和区域3-2，并且通过前部照相机210捕捉的图像被用于区域3-1并且通过右侧照相机240捕捉的图像被用于区域3-2。可以对于重叠区域的中心LC3给予不同的权重。例如可以给予在区域3-1中的由前部照相机210所捕捉的图像更高的权重，并且可以给予在区域3-2中的由右侧照相机240捕捉的图像更高的权重。以相同的方法处理其他的重叠区域。
另一方面，当虚拟照相机的观察点被设置为从车辆的后部向前看时(当虚拟照相机的倾斜角小于90°)，重叠区域的中心LC1和LC3接近车辆的垂直轴方向。通常，当驾驶车辆时，将虚拟照相机的观察点设置为从车辆的后部向前看的方向上。在这种情况下，用户需要检查自然并且容易地检查左侧和右侧的盲点。为了实现这一点，参照图12(b)，将重叠区域的中心处理为接近车辆的纵向方向，以便更多通过左侧和右侧照相机230和240捕捉的图像可以被反映到视图图像。
此外，可以根据虚拟照相机的观察点的位置向左侧或者右侧移动了多远，来将重叠区域的中心变化为还包括由安装在虚拟照相机所处的位置上的照相机捕捉的图像。例如，随着虚拟照相机的观察点的位置进一步移向左侧，可以将重叠区域的中心LC1和LC7变化为更接近车辆的垂直方向。相反的，随着虚拟照相机的观察点的位置进一步移向右侧，可以将重叠区域的中心LC3和LC9变化为更靠近车辆的纵向方向。
最后，在操作S820中生成的虚拟照相机的观察点的视图图像被输出到显示装置400(S830)。
此外，可以重复操作810到830，同时根据车辆的驾驶条件改变三维空间模型的底表面的尺寸和重叠区域的中心LC1、LC3、LC7和LC9。根据示例性实施例，可以根据用户所设置的虚拟照相机的观察点而固定视图图像并且可以不受车辆驾驶条件的影响。
根据示例性实施例，环境图像生成装置300可以与全球定位系统(GPS)接收模块(未显示)互相配合来接收车辆当前的驾驶位置信息。此外，环境图像生成装置300可以与建筑物信息的DB和当前驾驶车辆的周围道路互相配合，并且可以将环境建筑物和道路的信息增加到虚拟照相机的观察点的视图图像，从而实现加强的真实性。图13是示出根据本发明示例性实施例的在显示了车辆的环境建筑信息1320和道路信息1310的虚拟照相机的观察点的视图图像。
当环境图像生成装置300被安装在例如智能电话的无线通信终端上时，GPS接收模块可以使用无线通信终端中包括的GPS接收装置，或者可以被实现为安装在车辆上的单独的GPS接收模块。此外，车辆的周围建筑物和道路信息的DB可以被存储在环境图像生成装置300的内部存储器中或者可以从连接到环境图像生成装置300的单独的导航系统(未显示)提供。当环境图像生成装置300安装有例如3G、4G等等的网络通信模块或者被安装在智能电话上时，可以从外部DB服务器传送DB。
本发明的示例性实施例包括计算机可读介质，其包括用于执行由各种电脑实现的操作的程序命令。该介质记录用于执行以上描述的生成车辆环境的三维图像的方法的程序。该介质可以包括单独的或者联合的程序命令、数据文件、数据结构等等。介质的例子可以包括例如硬盘、软盘和磁带的磁性介质，例如高密度磁盘(CD)和数字通用盘(DVD)的光记录介质以及被配置为存储并执行程序命令的硬件设备，例如光磁软盘和磁性光学介质、只读存储器(ROM)、随机存取存储器(RAM)和闪存。此外，该介质可以是包括用于发送指定程序命令、数据结构等的信号的载波的光的传导介质、金属线、波导管等等。程序命令的例子不仅包括由编译器生成的机械代码，还包括通过使用可翻译的由计算机实行的高级语言代码。
已经参考本发明的特定最优实施例显示和描述本发明的同时，本领域技术人员应当理解的是可以对其在形式上和细节上作出各种变化而不背离由所附权利要求所定义的本发明的精神和范围。因此，本发明的范围不由本发明的详细说明定义，而是由所附的权利要求所定义，并且该范围内的全部差异都将被解释为包括在本发明中。
工业实用性
本发明可以被使用在用于三维地生成并且提供车辆环境的图像的方法和装置中。

Claims (10)

1.一种用于生成车辆环境的三维图像的方法，该方法包括：
将由安装在车辆中的多个照相机所捕捉的图像映射到由具有底表面(A)并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面；以及
通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像；
其中：
当点P与X轴形成角度并且与顶表面(A')形成角度θ时，三维空间模型上的所述点P位于由以下公式获得的虚拟平面上：
其中，α是与上述底表面(A)的尺寸有关的参数；当α是0时，不存在上述底表面(A)；并且当α是1时，上述底表面(A)具有长的半径和短的半径，其中，a1表示上述底表面(A)的短的半径，b1表示上述底表面(A)的长的半径，c表示上述顶表面(A')距离上述底表面(A)的高度，(a1+a2)表示打开的上述顶表面(A')在高度c处的短的半径，(b1+b2)表示打开的上述顶表面(A')在高度c处的长的半径；
所述三维空间模型的底表面(A)尺寸与车辆的驾驶速度成反比；
所述多个照相机包括分别安装在所述车辆的前部、右侧、后部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，以及
其中，根据所述虚拟照相机的位置以所述车辆的中心为基准向左侧或者向右侧距离多远而将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。
2.根据权利要求1所述的方法，其中根据车辆的驾驶条件和用户选择的至少之一确定虚拟照相机的观察点。
3.根据权利要求1所述的方法，其中参照查找表格生成视图图像，在所述查找表格中预先定义了被映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系。
4.根据权利要求1所述的方法，其中根据虚拟照相机的倾斜角而改变为了生成视图图像而由多个照相机捕捉的图像彼此重叠的区域的中心。
5.根据权利要求2所述的方法，其中虚拟照相机的观察点与车辆的转向角方向或者齿轮位置互相配合。
6.根据权利要求2所述的方法，还包括：
显示用于接收关于虚拟照相机的观察点的用户选择的用户界面；以及
根据通过该用户界面输入的用户选择显示虚拟照相机的观察点的改变。
7.根据权利要求2所述的方法，还包括根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。
8.一种用于显示车辆环境的图像的系统，该系统包括环境图像生成装置，被配置为接收由安装在车辆中的多个照相机所捕捉的图像，将图像映射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平面，并且通过使用被映射到虚拟平面的图像生成从虚拟照相机的观察点所观察的视图图像；
其中：
当点P与X轴形成角度并且与顶表面(A')形成角度θ时，三维空间模型上的所述点P位于由以下公式获得的虚拟平面上：
其中，α是与上述底表面(A)的尺寸有关的参数；当α是0时，不存在上述底表面(A)；并且当α是1时，上述底表面(A)具有长的半径和短的半径，其中，a1表示上述底表面(A)的短的半径，b1表示上述底表面(A)的长的半径，c表示上述顶表面(A')距离上述底表面(A)的高度，(a1+a2)表示打开的上述顶表面(A')在高度c处的短的半径，(b1+b2)表示打开的上述顶表面(A')在高度c处的长的半径；
所述三维空间模型的底表面(A)尺寸与车辆的驾驶速度成反比；
所述多个照相机包括分别安装在所述车辆的前部、右侧、后部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，以及
其中，根据所述虚拟照相机的位置以所述车辆的中心为基准向左侧或者向右侧距离多远而将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。
9.根据权利要求8所述的系统，其中该环境图像生成装置根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。
10.根据权利要求8所述的系统，其中多个照相机经由短距离无线通信将捕捉到的图像传送给环境图像生成装置。
CN201280068147.3A 2011-11-30 2012-09-27 用于生成车辆环境的三维图像的方法和装置 Active CN104093600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0127209 2011-11-30
KR1020110127209A KR101265711B1 (ko) 2011-11-30 2011-11-30 3ｄ 차량 주변 영상 생성 방법 및 장치
PCT/KR2012/007781 WO2013081287A1 (ko) 2011-11-30 2012-09-27 3ｄ 차량 주변 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104093600A CN104093600A (zh) 2014-10-08
CN104093600B true CN104093600B (zh) 2016-12-07

Family

ID=48535702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068147.3A Active CN104093600B (zh) 2011-11-30 2012-09-27 用于生成车辆环境的三维图像的方法和装置

Country Status (5)

Country Link
US (1) US9508189B2 (zh)
JP (1) JP6095684B2 (zh)
KR (1) KR101265711B1 (zh)
CN (1) CN104093600B (zh)
WO (1) WO2013081287A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
JP5904093B2 (ja) * 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
KR101504335B1 (ko) * 2013-07-29 2015-03-23 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
KR101543159B1 (ko) 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
US9880253B2 (en) * 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
CN104385987B (zh) * 2014-11-14 2017-01-11 东风汽车有限公司 一种汽车监控方法及系统
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
KR101684270B1 (ko) * 2015-03-13 2016-12-20 주식회사 레드로버 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
CN104960473B (zh) * 2015-07-03 2017-11-14 上海寅喆计算机科技有限公司 视角切换方法及装置
JP2017030530A (ja) * 2015-07-31 2017-02-09 スズキ株式会社 映像表示システム
KR102336778B1 (ko) * 2015-07-31 2021-12-08 현대오토에버 주식회사 스카이라인을 이용한 차량의 측위 방법
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10102610B2 (en) * 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US20170374287A1 (en) * 2016-06-23 2017-12-28 Werner Lang System for Visually Depicting Fields of View of a Commercial Vehicle
DE102016217488A1 (de) * 2016-09-14 2018-03-15 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
CN106791325B (zh) * 2017-01-06 2022-08-23 上海寅家电子科技股份有限公司 全景环视系统的色差测光区自动识别系统及自动识别方法
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
WO2019038904A1 (ja) * 2017-08-25 2019-02-28 日産自動車株式会社 周囲車両表示方法及び周囲車両表示装置
US10684625B2 (en) * 2017-08-30 2020-06-16 Robert Bosch Gmbh Automated parking for virtual parking spot
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
WO2019080051A1 (en) 2017-10-26 2019-05-02 Harman International Industries, Incorporated PERIPHERAL VISION SYSTEM AND ASSOCIATED METHOD
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
KR102077494B1 (ko) * 2018-05-11 2020-02-14 (주)넥셀 어라운드뷰 제공 방법 및 장치
GB2573792B (en) 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
KR102212229B1 (ko) * 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
KR102235951B1 (ko) * 2019-06-20 2021-04-05 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
CN110503597B (zh) * 2019-07-09 2023-05-16 浙江浩腾电子科技股份有限公司 一种基于2d结构模型的车辆视点规范化方法
JP6725734B2 (ja) * 2019-08-05 2020-07-22 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP6737542B1 (ja) * 2019-10-07 2020-08-12 三菱電機株式会社 仮想カメラ制御装置、仮想カメラ制御方法、及び仮想カメラ制御プログラム
WO2021071878A1 (en) 2019-10-07 2021-04-15 Gentex Corporation 3d display system for camera monitoring system
JP7442029B2 (ja) * 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN111767844B (zh) * 2020-06-29 2023-12-29 阿波罗智能技术(北京)有限公司 用于三维建模的方法和装置
JP7521345B2 (ja) * 2020-09-15 2024-07-24 マツダ株式会社 車両用表示装置
JP2022101979A (ja) * 2020-12-25 2022-07-07 株式会社デンソー 画像生成装置、画像生成方法
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
KR102513762B1 (ko) * 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법
CN113345074A (zh) * 2021-06-07 2021-09-03 苏州易航远智智能科技有限公司 一种车载3d环视影像显示方法
US11691566B2 (en) * 2021-11-17 2023-07-04 GM Global Technology Operations LLC Intelligent vehicle systems and control logic for surround view augmentation with object model recognition
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method
DE102022214210A1 (de) 2022-12-21 2024-06-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1880918A (zh) * 2005-06-14 2006-12-20 Lg电子株式会社 匹配相机拍摄图像和便携终端中地图数据及旅程导航方法
CN101844542A (zh) * 2008-09-10 2010-09-29 财团法人交大思源基金会 智能型车辆行驶安全辅助系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
AU1947899A (en) * 1997-12-31 1999-07-19 Gentex Corporation Vehicle vision system
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2006287826A (ja) 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100734678B1 (ko) 2005-06-14 2007-07-02 엘지전자 주식회사 건물정보 표시방법
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP5369465B2 (ja) * 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
KR101393918B1 (ko) 2008-07-08 2014-05-13 현대자동차주식회사 차량 전방위 감시 시스템
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010185761A (ja) 2009-02-12 2010-08-26 Toyota Motor Corp ナビゲーションシステム、道路地図表示方法
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5271154B2 (ja) 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
CN1880918A (zh) * 2005-06-14 2006-12-20 Lg电子株式会社 匹配相机拍摄图像和便携终端中地图数据及旅程导航方法
CN101844542A (zh) * 2008-09-10 2010-09-29 财团法人交大思源基金会 智能型车辆行驶安全辅助系统

Also Published As

Publication number Publication date
US20140347450A1 (en) 2014-11-27
CN104093600A (zh) 2014-10-08
WO2013081287A1 (ko) 2013-06-06
KR101265711B1 (ko) 2013-05-20
US9508189B2 (en) 2016-11-29
JP6095684B2 (ja) 2017-03-15
JP2015507386A (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
CN104093600B (zh) 用于生成车辆环境的三维图像的方法和装置
CN106464847B (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
CN112771539B (zh) 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用
CN108140235B (zh) 用于产生图像视觉显示的系统和方法
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP5444338B2 (ja) 車両周囲監視装置
CN109477967A (zh) 具可变焦平面的抬头显示系统
US10930070B2 (en) Periphery monitoring device
US20180210442A1 (en) Systems and methods for controlling a vehicle using a mobile device
CN113490879B (zh) 使用实时光线跟踪以用于透镜重新映射
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN103802725B (zh) 一种新的车载驾驶辅助图像生成方法
JP2015015527A (ja) 映像表示システム、映像合成装置及び映像合成方法
GB2573792A (en) Surround monitoring system for vehicle
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
US20150110420A1 (en) Image processing method and system using the same
US20220365345A1 (en) Head-up display and picture display system
CN113085896A (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
KR20190084463A (ko) 차량 주변의 이미지를 제공하는 전자 장치 및 방법
JP2013207637A (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN116485984B (zh) 全景影像车辆模型全局光照模拟方法、装置、设备及介质
CN114489332A (zh) Ar-hud输出信息的显示方法及系统
KR102079332B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 시스템
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeonggi Do, South Korea

Applicant after: KSS- Li Zhi Zhi future Limited

Address before: Gyeonggi Do, South Korea

Applicant before: Imagenext Co., Ltd.

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Han Guojingjidao

Patentee after: Yueshi Technology Co.,Ltd.

Address before: Han Guojingjidao

Patentee before: KSS-IMAGENEXT Co.,Ltd.