CN104057882A - 基于双摄像机的前方路缘观察系统 - Google Patents

基于双摄像机的前方路缘观察系统 Download PDF

Info

Publication number
CN104057882A
CN104057882A CN201410107342.3A CN201410107342A CN104057882A CN 104057882 A CN104057882 A CN 104057882A CN 201410107342 A CN201410107342 A CN 201410107342A CN 104057882 A CN104057882 A CN 104057882A
Authority
CN
China
Prior art keywords
true picture
virtual image
camera
pick
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410107342.3A
Other languages
English (en)
Inventor
W.张
J.王
K.S.利贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104057882A publication Critical patent/CN104057882A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

提供了用于生成路缘视图虚拟图像以辅助车辆的驾驶员的方法和系统。所述方法包括从具有前视视场的第一和第二摄像机捕获第一和第二真实图像。第一和第二图像被去扭曲和组合以形成车辆的路缘视图虚拟图像视图，该视图被显示在车辆内的显示器上。所述系统包括具有前视视场的第一和第二摄像机以提供第一和第二真实图像。处理器联接到第一摄像机和所述第二摄像机且被配置成去扭曲并组合第一和第二真实图像以形成用于在车辆内显示的路缘视图虚拟图像视图。路缘视图虚拟图像可以是自顶向下的虚拟图像视图或透视虚拟图像视图。

Description

基于双摄像机的前方路缘观察系统
相关专利申请
本申请要求提交于2013年3月22日的美国临时申请No. 61/804,485的权益。
技术领域
技术领域总体涉及基于摄像机的驾驶员辅助系统，并且更具体地涉及与路缘或其它障碍物有关的车辆前保险杠的基于摄像机的成像。
背景技术
许多现代化车辆包括设计用以提高乘员的安全性、舒适度和便利性的尖端电子系统。在这些系统中，驾驶员辅助系统已变得越来越流行，因为这类系统赋予车辆的操作者关于避免损坏车辆和/或车辆否则可能碰撞的障碍物的信息。例如，许多现代车辆具有后视摄像机以辅助车辆的操作者倒出车道或泊车空间。
面向前方的摄像机系统也已用于基于视觉的防撞系统和畅通路径检测系统。然而，这样的系统通常利用具有相对窄的视场(FOV)的单个摄像机系统，并且不适合在避免损坏车辆的前保险杠或栅架的同时辅助车辆的操作者进行泊车。在跑车车身型车辆中，前保险杠很靠近道路/地面，并且可能更易于在泊车的同时招致对前保险杠的外观或结构损坏。这会导致客户不满，因为塑料或复合材料的前保险杠和/或栅架组件可能是更换费用高昂的。
因此，期望为车辆的操作者提供泊车辅助。此外，希望在泊车的同时辅助操作者避免损坏车辆的前保险杠。此外，结合附图以及上述技术领域和背景技术，本发明的其它期望特征和特性将从随后的详细描述和所附权利要求而变得显而易见。
发明内容
提供了一种用于生成路缘视图虚拟图像以辅助车辆的驾驶员的方法。该方法包括从具有车辆前视视场的第一摄像机捕获第一真实图像以及从具有车辆前视视场的第二摄像机捕获第二真实图像。将第一和第二图像在处理器中被去扭曲(de-warped)和组合以形成在车辆前方的路缘视图虚拟图像视图。路缘视图虚拟图像可以是自顶向下的虚拟图像视图或透视图像视图，其被显示在车辆内的显示器上。
提供了一种用于生成路缘视图虚拟图像以辅助车辆的驾驶员的系统。该系统包括用于提供第一真实图像的具有车辆前视视场的第一摄像机和用于提供第二真实图像的具有车辆前视视场的第二摄像机。处理器联接到第一摄像机和第二摄像机并且被配置成去扭曲并组合第一真实图像和第二真实图像以形成车辆前方区域的路缘视图虚拟图像视图。用于显示路缘视图虚拟图像的显示器定位在车辆内。
本发明还提供如下方案：
1. 一种方法，包括：
从具有车辆前视视场的第一摄像机捕获第一真实图像；
从具有所述车辆前视视场的第二摄像机捕获第二真实图像；
将所述第一真实图像和所述第二真实图像在处理器中去扭曲和组合以形成所述车辆前方的路缘视图虚拟图像视图；以及
在所述车辆内的显示器上显示所述路缘视图虚拟图像视图。
2. 根据方案1所述的方法，其中，所述路缘视图虚拟图像包括自顶向下的虚拟图像或透视图虚拟图像。
3. 根据方案1所述的方法，其中：
捕获所述第一真实图像包括从具有大约180度的视场的所述第一摄像机捕获所述第一真实图像；并且
捕获所述第二真实图像包括从具有大约180度的视场的所述第二摄像机捕获所述第二真实图像。
4. 根据方案1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加平面去扭曲过程以形成所述路缘视图虚拟图像。
5. 根据方案1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加非平面去扭曲过程以形成所述路缘视图虚拟图像。
6. 根据方案1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加组合平面和非平面的去扭曲过程以形成所述路缘视图虚拟图像。
7. 根据方案1所述的方法，其中，组合所述第一真实图像和所述第二真实图像包括所述处理器对所述第一真实图像和所述第二真实图像的重叠部分施加加权平均过程。
8. 根据方案1所述的方法，还包括所述处理器将绘图图像与所述路缘视图虚拟图像叠加以将距离信息提供至所述路缘视图虚拟图像。
9. 根据方案1所述的方法，还包括所述处理器接收显示模式指令并将对应于所述显示模式指令的去扭曲过程施加到所述第一和第二真实图像以形成所述路缘视图虚拟图像。
10. 根据方案1所述的方法，还包括在所述车辆已被置于泊车地之后自动停用所述第一和第二摄像机。
11. 一种系统，包括：
具有车辆前视视场的第一摄像机，用以提供第一真实图像；
具有所述车辆前视视场的第二摄像机，用以提供第二真实图像；
处理器，其联接到所述第一摄像机和所述第二摄像机且被配置成去扭曲并组合所述第一真实图像和所述第二真实图像以形成所述车辆前方的路缘视图虚拟图像视图；以及
在所述车辆内的显示器，其用于显示所述路缘视图虚拟图像。
12. 根据方案11所述的系统，其中，所述第一摄像机和所述第二摄像机各自具有大约180度的视场。
13. 根据方案11所述的系统，其中，所述路缘视图虚拟图像包括自顶向下的虚拟图像或透视图虚拟图像。
14. 根据方案11所述的系统，其中，所述第一摄像机和所述第二摄像机各自具有从所述车辆的向前方向偏移的光学轴线。
15. 根据方案11所述的方法，其中，所述处理器施加平面去扭曲过程以形成所述路缘视图虚拟图像。
16. 根据方案11所述的系统，其中，所述处理器施加非平面去扭曲过程以形成所述路缘视图虚拟图像。
17. 根据方案11所述的系统，其中，所述处理器施加组合平面和非平面的去扭曲过程以形成所述路缘视图虚拟图像。
18. 根据方案11所述的系统，其中，所述处理器对所述第一真实图像和所述第二真实图像的重叠部分施加加权平均过程。
19. 根据方案11所述的系统，还包括所述处理器将绘图图像与所述自顶向下的虚拟图像叠加以将距离信息提供至所述路缘视图虚拟图像。
20. 一种车辆，包括：
具有车辆前视视场的第一摄像机，用以提供第一真实图像；
具有所述车辆前视视场的第二摄像机，用以提供第二真实图像；
处理器，其联接到所述第一摄像机和所述第二摄像机并且被配置成：
使用平面过程、非平面过程或组合平面和非平面的过程来去扭曲所述第一真实图像和所述第二真实图像以提供去扭曲的第一和第二图像；
将所述第一和第二去扭曲的图像的重叠部分组合以提供所述车辆前方的路缘视图虚拟图像；并且
将绘图图像叠加到所述路缘视图虚拟图像以提供距离信息；以及
在所述车辆内的显示器，用于显示所述路缘视图虚拟图像和绘图的叠加。
21. 根据方案20所述的车辆，其中，所述路缘视图虚拟图像包括自顶向下的虚拟图像视图。
22. 根据方案20所述的车辆，其中，所述路缘视图虚拟图像包括透视虚拟图像视图。
附图说明
下文将结合以下附图描述示例性实施例，在附图中，相同的附图标记表示相同的元件，并且在附图中：
图1是根据实施例的车辆的俯视图；
图2A和图2B是根据实施例的图1的车辆的侧视图；
图3是根据实施例的图像处理系统的框图；
图4是根据实施例的去扭曲和拼接的自顶向下视图的图示；
图5A–5D是示出根据实施例的去扭曲和拼接的自顶向下视图的绘图图像；
图6A是根据实施例的非平面的针孔摄像机模型的图示；
图6B是根据实施例的非平面模型的输入/输出成像的图示和绘图图像；
图7是示出根据实施例的组合平面和非平面的去扭曲技术的图示；
图8A和图8B示出根据实施例的应用到双摄像机系统的图7的技术；
图9A和图9B示出根据另外实施例的图8A和图8B的双摄像机系统的合并视图。
具体实施方式
以下详细描述在本质上仅为示例性的，而并非意图限制应用和用途。此外，不旨在受限于此前的技术领域、背景技术、发明内容或以下的具体实施方式中所提供的任何明示的或隐含的理论。
在本文档中，诸如“第一”和“第二”等的关系术语可仅用来将一个实体或动作与另一个实体或动作区别开来，而未必要求或暗示此类实体或动作之间的任何实际的此类关系或顺序。诸如“第一”、“第二”、“第三”等的序数词仅表示多个中的不同的个体，而不暗示任何顺序或次序，除非通过权利要求语言明确限定。
另外，以下描述涉及“连接”或“联接”到一起的元件或特征。如本文所用，“连接”可以指一个元件/特征直接接合到另一元件/特征(或直接与其连通)，并且不一定通过机械方式。同样，“联接”可以指一个元件/特征直接或间接地接合到另一元件/特征(或直接或间接地与其连通)，并且不一定通过机械方式。然而，应当理解，虽然两个元件在下文中可以在一个实施例中描述为“连接的”，但在备选实施例中，类似的元件可以是“联接的”，并且反之亦然。因此，虽然本文所示示意图示出了元件的布置，但附加的居间元件、装置、特征或部件可存在于实际实施例中。
最后，为简明起见，本文可能不详细描述与车辆电气和机械零件以及系统的其它功能方面(以及系统的各个操作部件)有关的常规技术和部件。此外，本文所包含的在各个附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应该注意，在本发明的实施例中可存在许多备选的或附加的功能关系或物理连接。还应当理解，图1-9仅为示例性的，并且可能未按比例绘制。
图1是根据一个实施例的车辆100的俯视平面图。车辆100包括定位在车辆100的前保险杠中或栅架后面的一对摄像机102、104。第一(或左)摄像机102与第二(或右)摄像机104由距离106间隔开。距离106将根据车辆100的品牌和型号变化，但在一些实施例中可以为大约一米。在一些实施例中，摄像机102和104具有与车辆100的向前方向对齐的光学轴线108，而在其它实施例中，摄像机102、104具有从车辆的向前方向偏移摇摄角度θ的光学轴线110。所采用的角度可根据车辆的品牌和型号而变化，但在一些实施例中为大约10o。对于摄像机102和104无论选择什么取向，每个摄像机都使用鱼眼镜头捕获超宽视场(FOV)，以提供部分地重叠113的大约180o的FOV。由摄像机102、104捕获的图像可在具有下文将讨论的图像处理硬件和/或软件的控制器116中处理，以在显示器118上提供一种或多种类型的驾驶员辅助图像。
任选地，车辆100可具有其它驾驶员辅助系统，例如路线规划和导航系统120和/或防撞系统122。路线规划和导航系统120可采用基于全球定位系统(GPS)的系统，以提供用于路线规划和导航的位置信息和数据。防撞系统可采用一种或多种常规技术。这样的常规技术的非限制性示例包括基于视觉的系统、超声系统、基于雷达的系统和基于光的系统(即，LIDAR)。
图2A和图2B示出了车辆100的侧视图。左摄像机102显示定位在道路/地面上方距离130处。距离130将取决于车辆100的品牌和型号，但在一些实施例中为大约二分之一米。知道距离130对于从视场112计算虚拟图像以辅助车辆100的驾驶员是有用的。摄像机102(和在车辆的相对侧上的摄像机104)可以与车辆的向前方向108垂直对齐，或者可以在一些实施例中以倾斜角向下略微成角度以提供视场112。角度将根据车辆的品牌和型号而变化，但在一些实施例中可以在大约0o至10o的范围内。
根据示例性实施例，本公开赋予了使用一种或多种虚拟成像技术提供邻近或围绕车辆的前保险杠的区域的驾驶员辅助图像(即，路缘视图)的优点。这为驾驶员提供了路缘、障碍物或驾驶员可能想要避开的其它对象的虚拟图像。如本文所用，“路缘视图虚拟图像”是指基于由安装到车辆的前视摄像机获得的双真实图像的车辆前方区域的虚拟图像。根据下文将讨论的虚拟成像技术或摄像机设置，路缘视图可以是自顶向下的视图、透视图或其它视图。如在图2B中可见，由所公开的系统提供的虚拟成像为驾驶员呈现了来自具有虚拟FOV 112’的虚拟摄像机102’的图像。术语“虚拟摄像机”是除了模拟的摄像机方位之外具有模拟的摄像机型号参数和模拟的成像FOV 112’的模拟的摄像机102’。摄像机建模可由采用硬件和/或软件的一个或多个处理器进行。术语“虚拟图像”是使用虚拟摄像机建模的场景的合成图像。这样，通过知道何时停止车辆的向前移动，车辆操作者可以在对车辆泊车时观察车辆前方的路缘或其它障碍物，并且可以避免损坏车辆。
图3是由各种实施例采用的图像处理系统的框图。摄像机102、104可以是适合本文所述目的的任何摄像机，其中许多是汽车领域已知的，这些摄像机能够接收光或其它辐射并且使用例如电荷耦合装置(CCD)将光能转化为像素格式的电信号。摄像机102、104以某个数据帧率生成可被流化以用于后续处理的图像数据的帧。根据示例性实施例，摄像机102、104各自将超宽FOV图像提供至视频处理模块124(在硬件实施例中)，该模块又将虚拟图像提供至控制器116，以便经由驾驶员显示器118呈现。在一些硬件实施例中，视频处理模块可以是独立单元或集成电路，或者可以结合到控制器116’中。在软件实施例中，视频处理模块124可以表示由控制器116’执行的视频处理软件例程。
由于由摄像机102、104提供的图像具有超宽FOV(即，鱼眼视图)，图像将被显著弯曲。为了让图像有效用于辅助车辆的驾驶员，这些失真必须被纠正和/或增强图像，以便失真不显著劣化图像。本文公开了各种虚拟摄像机建模技术，其采用平面(透视)去扭曲和/或非平面(例如，柱面)去扭曲来为车辆的操作者提供有用的虚拟图像。
合并的自顶向下的路缘视图
图4示出了平面或透视去扭曲技术，该技术可用来为驾驶员提供邻近或围绕车辆的前保险杠的区域的自顶向下的虚拟视图。这为驾驶员提供了路缘、障碍物或驾驶员可能想要避开的其它物体的虚拟图像。由第一(左)摄像机102提供的FOV 112和由第二(右)摄像机104提供的FOV 114具有重叠区域113，该区域被合并以提供车辆100的单个自顶向下的路缘视图虚拟图像。虽然存在若干种图像合并或拼接技术，但在一些实施例中，合并的重叠区域113’通过加权平均技术形成，该技术按如下方式根据角度和距离偏移量为重叠区域113中的每个像素赋予权重：
定义： ，自顶向下视图图像宽度；，重叠区域宽度；
，左图像中重叠区域的偏移
非重叠区域：
重叠区域：
。
图5A–5C示出了根据自顶向下的去扭曲和拼接技术的图像处理。在图5中，路缘500在FOV 112和114中可见。由于上文所讨论的由摄像机102、104提供的超宽FOV，图像被弯曲(或扭曲)。在处理之后，俯视虚拟图像112’和114’可在图5B中示出为有点模糊的，但仍然提供路缘的有用视图。在重叠如上文所讨论那样被合并(拼接)之后，合并的区域113’为车辆的驾驶员提供了图5C中的路缘500’的自顶向下的合并视图，以使得车辆的操作者可以泊车，而不碰撞路缘。任选地，各种绘图叠加被施加到图像以辅助驾驶员。作为一个非限制性示例，图5D示出了三个水平线502、504和506以将距离信息提供给驾驶员。例如，线502可表示车辆的保险杠前方一米的距离，并且可以用绿色显示以指示在安全距离以外。线504可表示0.5米远的距离并且可以带有黄色或橙色，以指示向驾驶员提供警告，而线506可表示保险杠前方0.2米的距离并且可以带有红色，以指示最小推荐停车距离。另外，可提供竖直线508、510以指示用于辅助驾驶员的车辆的宽度。将理解，任何数量的绘图叠加是可能的并且可以(或不)如使用者(例如，在系统设置菜单中)选择的那样显示，并且可以在系统启动时被自动激活，或者可以由驾驶员手动激活(例如，开关、按钮或语音命令)。
图6A示出了用于使用具有非平面图像表面的虚拟摄像机模型合成捕获的场景600的虚拟视图的优选技术。捕获的图像600中每个像素的入射光基于摄像机模型和真实捕获装置的径向失真而计算。然后，入射光通过虚拟摄像机(针孔)模型被投影在非平面的图像表面602上，以在虚拟图像表面上获得像素。
为了将图像表面铺平以获得合成的虚拟图像，将视图合成技术应用到非平面表面上的投影图像，以将图像去扭曲。在图6B中，使用凹形图像表面604来实现图像去扭曲。这样的表面可包括但不限于(圆)柱和椭圆柱图像表面。也就是说，捕获的场景606被使用上述针孔模型投影到柱状表面604上。然后，投影在柱形图像表面上的图像被铺开(去扭曲)在平坦的车内图像显示装置上，如图6B所示。
图7是示出组合的平面和非平面图像去扭曲的横截面的图示。根据示例性实施例，虚拟图像的中心区域700按照平面或透视技术建模。中心区域700的大小可以在不同实施中变化，然而，在一些实施例中可以为大约120o。侧部702、704被使用非平面(柱面)技术建模，并且这些部分的大小将取决于为中心区域700选择的大小(即，如果中心区域为120o，则为30o)。在数学上，该组合的去扭曲技术可表达为：
中心（在内）：线性投射
两侧（在外）：柱面投射
如果，中心（在内）
线性投射：
否则，两侧（在外）
柱面投射：
透视路缘视图
图8A是示出图7的组合技术的图示，该技术被应用到本公开的双摄像机102、104，以提供如通过摄像机102和104中每一个观察到的路缘800(或其它前方障碍物)的透视图。来自左摄像机102的FOV 112按照图7的建模技术被处理，导致平面的去扭曲的中心区域112’和两个柱面去扭曲的侧区域112’’。类似地，来自右摄像机104的FOV 114按照图7的建模技术被处理，导致平面的去扭曲的中心区域114’和两个柱面去扭曲的侧区域114’’。根据该实施例，虚拟的FOV 112和114将以并排方式被显示(经由图1的显示器118)，如图8B所示。这为驾驶员提供了清晰(而不是仅通过俯视图去扭曲提供的略微模糊的图像)的虚拟图像，不漏掉路缘800前方的区段。
合并的透视路缘视图
图9A和图9B示出了另一个实施例，其中FOV被合并成单个虚拟图像。在该实施例中，在900处指示的侧区域被丢弃，并且FOV 112和114被合并至如图所示略微重叠。这为车辆的操作者呈现了清晰的单个图像。然而，由于丢弃两个侧区域，可以注意到，路缘902前方的区域(图8B的802)从虚拟图像中丢失，并且还显示对于重叠区域中的对象的双图像。然而，可以施加额外的处理以减轻丢失和双图像。这样的处理的非限制性示例包括利用来自LIDAR传感器的感测的几何形状或来自立体视觉处理方法的估计的深度信息，该方法用于虚拟场景渲染并应用基于图像的渲染技术以根据多个摄像机输入渲染虚拟图像视图。
还给出了可用于理解本文所公开的双摄像机前路缘观察系统的流程。结合所述流程的方法执行的各种任务可通过软件、硬件、固件或它们的任何组合执行。为了说明目的，所述方法的以下描述可能引用上文结合图1-9所述的元件。在实践中，所述方法的一部分可由所描述的系统的不同元件执行。还应当理解，所述方法可包括许多附加或备选的任务，并且所述方法可并入具有本文未详细描述的附加功能的更复杂的程序或过程中。此外，所述方法任何中的一个或多个可从所述方法的实施例中省去，只要预期的整体功能保持完好即可。
例程始于步骤1002，其中系统被启动以开始呈现车辆前方的任何路缘或其它障碍物的前视图图像。系统可由使用者手动启动，或者使用任何数量的参数或系统自动启动。这样的自动启动的非限制性示例包括：车辆速度低于某个阈值(任选地结合制动器被施加)；所采用的防撞系统(例如，基于视觉的、超声的、基于雷达的或基于LIDAR的)中的任一个检测车辆前方的对象(例如，路缘)；制动开始例如由泊车辅助系统自动施加；GPS系统指示车辆处于停车场或停车设施中；或通过任何其它便利的方法，这取决于特定实施方式。接下来，决策1004确定驾驶员是否已选择优选的显示模式。根据示例性实施例，可在车辆中使用虚拟图像技术中的任一种或全部，并且使用者(驾驶员)可选择应显示哪一个优选的虚拟图像。如果决策1004确定使用者已进行这样的选择，则采用与使用者的选择相关联的去扭曲技术(步骤1006)。然而，如果决策1004的判断是尚未进行选择，则在步骤1008中进行缺省选择，并且例程继续。
步骤1010为控制器(图1中的116)捕获并去扭曲来自双摄像机(图1中的102、104)的图像以在步骤1012中显示(例如，在图1的显示器上)。在每个图像在步骤1012中被显示之后，决策1014确定系统是否已被停用。停用可以是手动的(通过驾驶员)或者可以是自动的，例如通过检测车辆已被置于泊车地。如果车辆已泊车，例程结束(步骤1020)。然而，如果车辆尚未泊车，决策1016确定使用者是否已进行显示改变选择。也就是说，使用者可以决定在泊车操纵期间改变观察模式(和因此去扭曲模型)。如果使用者已进行新的选择，步骤1018改变所采用的去扭曲建模。如果没有进行使用者改变，则例程循环返回步骤1010，并且例程继续捕获、去扭曲和显示在泊车操纵期间可能对车辆造成损坏的任何前方障碍物的驾驶员辅助图像。
虽然已经在上述详细描述中提出至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅为示例，而并非意图以任何方式限制本公开的范围、应用或配置。相反，上述详细描述将为本领域的技术人员提供用于实现一个或多个示例性实施例的常规公路线路图。应当理解，在不脱离本文所阐述的本公开的范围的前提下，可在元件的功能和布置上做出各种改变。

Claims (10)

1. 一种方法，包括：
从具有车辆前视视场的第一摄像机捕获第一真实图像；
从具有所述车辆前视视场的第二摄像机捕获第二真实图像；
将所述第一真实图像和所述第二真实图像在处理器中去扭曲和组合以形成所述车辆前方的路缘视图虚拟图像视图；以及
在所述车辆内的显示器上显示所述路缘视图虚拟图像视图。
2. 根据权利要求1所述的方法，其中，所述路缘视图虚拟图像包括自顶向下的虚拟图像或透视图虚拟图像。
3. 根据权利要求1所述的方法，其中：
捕获所述第一真实图像包括从具有大约180度的视场的所述第一摄像机捕获所述第一真实图像；并且
捕获所述第二真实图像包括从具有大约180度的视场的所述第二摄像机捕获所述第二真实图像。
4. 根据权利要求1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加平面去扭曲过程以形成所述路缘视图虚拟图像。
5. 根据权利要求1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加非平面去扭曲过程以形成所述路缘视图虚拟图像。
6. 根据权利要求1所述的方法，其中，去扭曲所述第一真实图像和所述第二真实图像包括所述处理器施加组合平面和非平面的去扭曲过程以形成所述路缘视图虚拟图像。
7. 根据权利要求1所述的方法，其中，组合所述第一真实图像和所述第二真实图像包括所述处理器对所述第一真实图像和所述第二真实图像的重叠部分施加加权平均过程。
8. 根据权利要求1所述的方法，还包括所述处理器将绘图图像与所述路缘视图虚拟图像叠加以将距离信息提供至所述路缘视图虚拟图像。
9. 一种系统，包括：
具有车辆前视视场的第一摄像机，用以提供第一真实图像；
具有所述车辆前视视场的第二摄像机，用以提供第二真实图像；
处理器，其联接到所述第一摄像机和所述第二摄像机且被配置成去扭曲并组合所述第一真实图像和所述第二真实图像以形成所述车辆前方的路缘视图虚拟图像视图；以及
在所述车辆内的显示器，其用于显示所述路缘视图虚拟图像。
10. 一种车辆，包括：
具有车辆前视视场的第一摄像机，用以提供第一真实图像；
具有所述车辆前视视场的第二摄像机，用以提供第二真实图像；
处理器，其联接到所述第一摄像机和所述第二摄像机并且被配置成：
使用平面过程、非平面过程或组合平面和非平面的过程来去扭曲所述第一真实图像和所述第二真实图像以提供去扭曲的第一和第二图像；
将所述第一和第二去扭曲的图像的重叠部分组合以提供所述车辆前方的路缘视图虚拟图像；并且
将绘图图像叠加到所述路缘视图虚拟图像以提供距离信息；以及
在所述车辆内的显示器，用于显示所述路缘视图虚拟图像和绘图的叠加。
CN201410107342.3A 2013-03-22 2014-03-21 基于双摄像机的前方路缘观察系统 Pending CN104057882A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361804485P 2013-03-22 2013-03-22
US61/804485 2013-03-22
US14/210843 2014-03-14
US14/210,843 US20150077560A1 (en) 2013-03-22 2014-03-14 Front curb viewing system based upon dual cameras

Publications (1)

Publication Number Publication Date
CN104057882A true CN104057882A (zh) 2014-09-24

Family

ID=51484893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410107342.3A Pending CN104057882A (zh) 2013-03-22 2014-03-21 基于双摄像机的前方路缘观察系统

Country Status (3)

Country Link
US (1) US20150077560A1 (zh)
CN (1) CN104057882A (zh)
DE (1) DE102014205078A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN107054355A (zh) * 2015-11-16 2017-08-18 福特全球技术公司 用于辅助停车操纵的方法和装置
CN109383423A (zh) * 2017-08-14 2019-02-26 通用汽车环球科技运作有限责任公司 使用v2x通信系统提高障碍意识的系统和方法
CN110378836A (zh) * 2018-04-12 2019-10-25 玛泽森创新有限公司 获取对象的3d信息的方法、系统和设备
CN112543718A (zh) * 2018-08-06 2021-03-23 克诺尔商用车制动系统有限公司 摄像机监视系统
CN113706427A (zh) * 2020-05-22 2021-11-26 脸谱公司 从捕获的视频数据输出扭曲图像
CN114467299A (zh) * 2019-10-07 2022-05-10 金泰克斯公司 用于摄像头监测系统的3d显示系统
CN114556912A (zh) * 2019-10-17 2022-05-27 株式会社东海理化电机制作所 图像处理装置和图像处理程序

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6096157B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 駐車支援装置
DE102014016566A1 (de) * 2014-11-08 2016-05-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Kraftfahrzeug mit Kamera
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
US20180236939A1 (en) * 2017-02-22 2018-08-23 Kevin Anthony Smith Method, System, and Device for a Forward Vehicular Vision System
DE112018006294B4 (de) * 2018-03-12 2023-10-05 Hitachi Astemo, Ltd. Fahrzeugsteuervorrichtung
US10678249B2 (en) 2018-04-20 2020-06-09 Honda Motor Co., Ltd. System and method for controlling a vehicle at an uncontrolled intersection with curb detection
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021438A1 (de) * 1999-09-23 2001-03-29 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeugsensoranordnung zur umgebungserfassung
US20040260469A1 (en) * 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
CN101166289A (zh) * 2006-10-17 2008-04-23 精工爱普生株式会社 抬头显示系统
US20090028462A1 (en) * 2007-07-26 2009-01-29 Kensuke Habuka Apparatus and program for producing a panoramic image
CN101611632A (zh) * 2007-02-23 2009-12-23 丰田自动车株式会社 车辆用周边监视装置及车辆用周边监视方法
US20100253780A1 (en) * 2009-04-03 2010-10-07 Shih-Hsiung Li Vehicle auxiliary device
CN102450023A (zh) * 2009-05-26 2012-05-09 罗伯特·博世有限公司 借助自动的摄像机系统采集多个图像的图像采集方法以及所述摄像机系统的所属图像采集装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7425889B2 (en) * 2005-05-06 2008-09-16 Delphi Technologies, Inc. Vehicle turning assist system and method
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021438A1 (de) * 1999-09-23 2001-03-29 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeugsensoranordnung zur umgebungserfassung
US20040260469A1 (en) * 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
CN1731450A (zh) * 2004-08-05 2006-02-08 株式会社东芝 监视设备以及显示鸟瞰视图的方法
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
CN101166289A (zh) * 2006-10-17 2008-04-23 精工爱普生株式会社 抬头显示系统
CN101611632A (zh) * 2007-02-23 2009-12-23 丰田自动车株式会社 车辆用周边监视装置及车辆用周边监视方法
US20090028462A1 (en) * 2007-07-26 2009-01-29 Kensuke Habuka Apparatus and program for producing a panoramic image
US20100253780A1 (en) * 2009-04-03 2010-10-07 Shih-Hsiung Li Vehicle auxiliary device
CN102450023A (zh) * 2009-05-26 2012-05-09 罗伯特·博世有限公司 借助自动的摄像机系统采集多个图像的图像采集方法以及所述摄像机系统的所属图像采集装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107054355A (zh) * 2015-11-16 2017-08-18 福特全球技术公司 用于辅助停车操纵的方法和装置
CN107054355B (zh) * 2015-11-16 2021-08-06 福特全球技术公司 用于辅助停车操纵的方法和装置
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN106056534B (zh) * 2016-05-31 2022-03-18 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN109383423A (zh) * 2017-08-14 2019-02-26 通用汽车环球科技运作有限责任公司 使用v2x通信系统提高障碍意识的系统和方法
CN110378836A (zh) * 2018-04-12 2019-10-25 玛泽森创新有限公司 获取对象的3d信息的方法、系统和设备
CN110378836B (zh) * 2018-04-12 2021-09-24 玛泽森创新有限公司 获取对象的3d信息的方法、系统和设备
CN112543718A (zh) * 2018-08-06 2021-03-23 克诺尔商用车制动系统有限公司 摄像机监视系统
CN114467299A (zh) * 2019-10-07 2022-05-10 金泰克斯公司 用于摄像头监测系统的3d显示系统
CN114467299B (zh) * 2019-10-07 2024-01-23 金泰克斯公司 用于摄像头监测系统的3d显示系统
CN114556912A (zh) * 2019-10-17 2022-05-27 株式会社东海理化电机制作所 图像处理装置和图像处理程序
CN113706427A (zh) * 2020-05-22 2021-11-26 脸谱公司 从捕获的视频数据输出扭曲图像

Also Published As

Publication number Publication date
US20150077560A1 (en) 2015-03-19
DE102014205078A1 (de) 2014-09-25

Similar Documents

Publication Publication Date Title
CN104057882A (zh) 基于双摄像机的前方路缘观察系统
US10780827B2 (en) Method for stitching images captured by multiple vehicular cameras
CN106663193B (zh) 用于路缘检测和行人危险评估的系统和方法
US9886636B2 (en) Enhanced top-down view generation in a front curb viewing system
US10093247B2 (en) Enhanced front curb viewing system
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
CA2887239C (en) Generating an image of the surroundings of an articulated vehicle
US20210224561A1 (en) Vehicular vision system with object detection
JP5421072B2 (ja) 接近物体検知システム
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
CN105678787A (zh) 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN108621948A (zh) 车辆全景环视系统及全景环视图像生成方法
KR101245906B1 (ko) 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램
US20190163988A1 (en) Periphery monitoring device
JP2007233876A (ja) 複数カメラ撮影画像処理方法及び装置
CN107284455B (zh) 一种基于图像处理的adas系统
US20170297491A1 (en) Image generation device and image generation method
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP2010028803A (ja) 駐車補助のための画像表示方法
CN103383728B (zh) 使用环视系统的全速车道感测
JP2020508501A (ja) 移動オブジェクトのレンジを推定する方法および装置
JP4986070B2 (ja) 車両用周囲監視装置
KR101190789B1 (ko) 차량의 거리 측정 장치 및 방법
JP2007087236A (ja) 車両周囲監視方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140924