CN104185009B - 前方路缘观察系统中的增强的俯瞰视图生成 - Google Patents

前方路缘观察系统中的增强的俯瞰视图生成 Download PDF

Info

Publication number
CN104185009B
CN104185009B CN201410391665.XA CN201410391665A CN104185009B CN 104185009 B CN104185009 B CN 104185009B CN 201410391665 A CN201410391665 A CN 201410391665A CN 104185009 B CN104185009 B CN 104185009B
Authority
CN
China
Prior art keywords
view
virtually
image
vehicle
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410391665.XA
Other languages
English (en)
Other versions
CN104185009A (zh
Inventor
W·张
J·王
K·S·利贝克
J·S·皮亚塞基
B·B·利特库希
R·M·弗雷克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104185009A publication Critical patent/CN104185009A/zh
Application granted granted Critical
Publication of CN104185009B publication Critical patent/CN104185009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

本发明公开了前方路缘观察系统中的增强的俯瞰视图生成。一种用于利用来自左前部和右前部照相机的图像来建立车辆前方区域的增强的虚拟俯瞰视图的系统和方法。所述增强的虚拟俯瞰视图不仅为驾驶员提供从原始照相机图像无法直接得到的俯瞰视图立体图，而且移除了广角镜头图像中固有的失真和夸张的立体效果。所述增强的虚拟俯瞰视图还包括对三种类型的问题的修正，这三种类型的问题典型地出现在去扭曲图像中——包括车身部分到图像内的虚假突出物、图像的边缘周围的低分辨率和噪声以及地平面以上对象的“双影”效果。

Description

前方路缘观察系统中的增强的俯瞰视图生成
相关申请交叉引用
本申请要求于2013年5月23日提交的名称为“前方路缘观察系统中的增强的俯瞰视图生成”的美国临时专利申请序列号61/826,904的优先权日的利益。
技术领域
本发明总体上涉及车辆前方的路缘和其他结构的增强的俯瞰视图图像的显示，更特别地，涉及用于利用来自左前部和右前部照相机的图像合成车辆前方区域的增强的虚拟俯瞰视图的系统和方法，其中，增强的虚拟俯瞰视图包括对到视图内的虚假车身部分突出物、视图边缘中的低分辨率和图像噪声以及地面以上对象的双重成像的修正。
背景技术
近些年来，车辆越来越普遍地配备前视照相机。来自前视照相机的图像被用于各种应用，包括车道偏离警告和碰撞警告。在这些应用中，照相机图像并不显示给车辆驾驶员，而是相反地，图像由车载计算机使用图像处理技术进行分析，从这些图像中检测出车道边界和潜在障碍物，并在需要时向驾驶员发出警告。
尽管新技术的出现使得紧凑、可靠和便宜的数码照相机变为现实，但是长久以来的问题继续困扰驾驶员。该问题是，在停车时，驾驶员无法精确判断车辆前部相对于障碍物(例如路缘)的位置。当驶入停车空间时，由于车辆前部的阻挡，驾驶员固有地无法看到路缘，因此驾驶员不得不估计要向前开多远——以期望不会碰到路缘。这种判断能够是困难的，因为其依赖于过去的经验，周边视觉提示以及其他间接信息。如果驾驶员错误地判断前方间隙，车辆可能无法足够远地驶入停车空间，或者更糟的是，车辆前部可能碰到路缘，导致车辆损坏。
在停车操纵过程中，驾驶员通常专注于停车的许多个面，而可能没有想到手动打开前方路缘观察显示器。然而，如果前方路缘观察系统基于停车操纵的环境自动显示最合适的前方图像，大多数驾驶员将发现该视觉信息是有帮助的——特别是如果该系统不仅选择了对驾驶员提供最有帮助的一个或更多个图像，而且还提供增强的图像，该增强的图像具有对固有地存在于广角镜头图像中的视觉失真的修正。
需要一种前视停车辅助系统，其利用车辆前方的路缘和其他结构的可用图像，并将能使驾驶员对车辆前部相对于路缘或其他前方对象精确定位的优化图像提供给驾驶员。
发明内容
根据本发明的教导，系统和方法被公开用于利用来自左前方和右前方照相机的图像建立车辆前方区域的增强的虚拟俯瞰视图。所述增强的虚拟俯瞰视图不仅为驾驶员提供从原始照相机图像无法直接得到的俯瞰立体图，而且移除了广角镜头图像中固有的畸变和夸张的立体效果。所述增强的虚拟俯瞰视图还包括对三种类型的问题的修正，这些问题典型地出现在去扭曲图像中——包括车身部分到图像内的虚假突出物、图像边缘周围的低分辨率和图像/视频噪声以及地平面以上对象的“双影”效果。
方案1、一种用于提供车辆前方区域的增强的俯瞰观察的系统，所述系统包括：
安装在车辆的左前部处的第一照相机；
安装在车辆的右前部处的第二照相机；
与所述第一和第二照相机通信的图像采集模块，所述图像采集模块接收来自所述照相机的原始图像，并且来自所述照相机的原始图像具有大致前视图立体图；
包括存储模块的处理器，所述处理器配置为提供车辆前方区域的虚拟俯瞰视图，其中，所述虚拟俯瞰视图由来自所述照相机的原始图像合成，并且所述虚拟俯瞰视图包括对车身部分到所述视图内的虚假突出物、所述视图的边缘周围的低分辨率和噪声以及地平面以上对象的双影效果的修正；以及
车辆的驾驶座区域中的显示单元，用于显示来自所述处理器的虚拟俯瞰视图，用于由车辆驾驶员观看。
方案2、根据方案1所述的系统，其中，对车身部分到视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。
方案3、根据方案2所述的系统，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述原始图像的周围纹理和结构并利用时间填充技术(temporal filling techniques)而被重新纹理化，其中，来自刚好在所述原始图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。
方案4、根据方案1所述的系统，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲(de-warp)而导致低的区域，并且进一步包括利用空间分辨率增强修正所述低分辨率区域，其中，空间分辨率增强包括：利用低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。
方案5、根据方案4所述的系统，其中，修正所述低分辨率区域进一步包括：利用时间分辨率增强，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述原始图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。
方案6、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术(structure-from-motion techniques)，该技术利用一系列所述原始图像和来自车辆雷达或激光雷达系统的对象数据以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。
方案7、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。
方案8、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述第一和第二照相机的原始图像中的共同特征点，以及利用图像配准技术转换所述原始图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。
方案9、根据方案1所述的系统，其中，所述虚拟俯瞰视图显示于所述显示单元上的第一视窗中，并且鸟瞰视图显示于所述显示单元上的第二视窗中，其中，所述第一视窗大于所述第二视窗，并且所述鸟瞰视图包括位于中心的车辆示图，具有位于车辆示图前方的前视图图像以及车辆示图后方的后视图图像。
方案10、根据方案1所述的系统，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定该车辆将接触路缘，则提供警告。
方案11、一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：
提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有大致前视图立体图；
由来自所述照相机的图像合成虚拟俯瞰视图；
利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；
增强所述去扭曲的虚拟俯瞰视图，以产生增强的虚拟俯瞰视图，包括对车身部分到所述视图内的虚假突出物的修正，修正所述视图的边缘周围的低分辨率和噪声，并修正地平面以上对象的双影效果；以及
在显示设备上显示所述增强的虚拟俯瞰视图，用于由驾驶员观看。
方案12、根据方案11所述的方法，其中，对车身部分到所述视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中，所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。
方案13、根据方案12所述的方法，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述图像的周围纹理和结构并利用时间填充技术而被重新纹理化，其中，来自刚好在所述图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。
方案14、根据方案11所述的方法，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲而导致低的区域，并且进一步包括利用时间分辨率增强修正所述低分辨率区域，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。
方案15、根据方案14所述的方法，其中，修正所述低分辨率区域进一步包括：利用空间分辨率增强，其中，空间分辨率增强包括：利用所述低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。
方案16、根据方案11所述的方法，其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术，该技术利用一系列所述图像以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。
方案17、根据方案11所述的方法，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。
方案18、根据方案11所述的方法，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述照相机的所述图像中的共同特征点，以及利用图像配准技术转换所述图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。
方案19、一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：
提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有大致前视图立体图；
由来自所述照相机的图像合成虚拟俯瞰视图；
利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；
增强所述去扭曲的虚拟俯瞰视图，以通过对车身部分到视图内的虚假突出物的修正产生增强的虚拟俯瞰视图，包括：通过计算所述增强的虚拟俯瞰视图的哪些像素被车身部分遮挡来限定遮蔽区域，基于所述遮蔽区域周围区域的图像纹理和结构来执行所述遮蔽区域的空间填充，基于帧间运动执行所述遮蔽区域的时间填充以将像素填充至所述遮蔽区域中，以及合并所述遮蔽区域的空间填充和所述时间填充；
修正所述增强的虚拟俯瞰视图的边缘周围的低分辨率和噪声，包括：识别所述增强的虚拟俯瞰视图的边缘周围的低分辨率区域，基于所述低分辨率区域周围的更高分辨率区域的图像纹理来执行所述低分辨率区域的空间分辨率增强，基于帧间运动执行所述低分辨率区域的时间分辨率增强以填充像素至所述低分辨率区域中，以及合并所述低分辨率区域的空间分辨率增强和时间分辨率增强；
在所述增强的虚拟俯瞰视图中修正地平面以上对象的双影效果，包括：建立地面以上对象的三维模型，并基于所述三维模型渲染地面以上对象的图像，所述地面以上对象包括在来自所述照相机的图像中检测到的路缘，利用应用于来自所述照相机的图像的立体视觉和从运动灰复结构技术检测到的地面以上对象，以及利用车载的其他传感器检测到的地面以上对象；以及
在显示设备上显示所述增强的虚拟俯瞰视图，用于由驾驶员观看。
方案20、根据方案19所述的方法，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定车辆将接触所述路缘，则提供警告。
本发明的附加特征通过结合附图将从以下说明和所附权利要求变得明显。
附图说明
图1是包括能够用于路缘观察的前部照相机的车辆的俯视图；
图2是显示图1中车辆的侧视图，展示了照相机布置的更多细节；
图3是用于自动和增强的路缘观察的系统的示意图；
图4是增强的路缘观察系统的第一实施例的系统的方框图；
图5是增强的路缘观察系统的第二实施例的系统的方框图；
图6是增强的路缘观察系统的第三实施例的系统的方框图；
图7是图6系统的方框图，展示了学习模块如何操作；
图8是用于在车辆中提供增强的前方路缘观察的方法的流程图；
图9是图3中展示的显示设备的图示，展示了实例显示模式，或显示设备屏幕上的视图布置；
图10是保险杠/横梁区域中的车身部分如何能够在虚拟俯瞰视图中创建虚假突出物效果的图示；
图11是虚拟俯瞰视图的图示，在该虚拟俯瞰视图中，由于照相机/车辆几何结构和图像去扭曲而使图10中展示的突出物虚假地向前延伸，从而创建遮蔽区域；
图12是虚拟俯瞰视图的图示，在该虚拟俯瞰视图中，通过图像处理对遮蔽区域重新纹理化；
图13是用于消除由车辆前部照相机图像构成的虚拟俯瞰视图中出现的虚假车身部分的方法的流程图；
图14是虚拟俯瞰视图的图示，在该虚拟俯瞰视图中，该视图的某些部分展现了低分辨率和/或图像噪声；
图15是用于消除由车辆前部照相机图像构成的虚拟俯瞰视图的边缘区域中的低分辨率和图像噪声的方法的流程图；
图16A和16B是分别来自左前部照相机和右前部照相机的虚拟俯瞰视图的图示；
图17是当左和右照相机图像合并时，虚拟俯瞰视图的一些部分如何能够出现“双影”的图示；
图18是用于在由车辆前部照相机图像构成的虚拟俯瞰视图中消除地面之上障碍物的双影效果的第一方法的流程图；
图19是用于在由车辆前部照相机图像构成的虚拟俯瞰视图中消除地面之上障碍物的双影效果的第二方法的流程图；
图20是用于创建由车辆前部照相机图像构成的增强的虚拟俯瞰视图的方法的流程图；
图21是包括来自广角镜头的图像中固有的失真的车辆前方立体图的图示，其使用传统去扭曲技术已经被处理；
图22是可用于修正图21中所示失真的照相机图像表面模型的图示；
图23是车辆前方立体图的图示，其中通过应用图22中的新虚拟图像表面模型及其他处理技术已经修正了图21中看到的失真；以及
图24是用于使用图22中的照相机图像表面模型创建由车辆前部照相机图像构成的增强的立体图的方法的流程图。
具体实施方式
致力于用于提供车辆前方区域的增强的虚拟俯瞰视图的系统和方法的本发明的实施例的以下讨论本质上仅是示例性的，并不旨在限制本发明或其应用或使用。例如，以下描述的本发明特别应用于车辆的路缘前视成像。然而，本发明也可用于例如铲车的其他机动设备中，并且还可以用在后视或侧视场合中。
图1是包括能够用于路缘观察的前部照相机的车辆100的俯视图。该车辆100包括定位于车辆100的格栅之后或前保险杠中的一对照相机102、104。第一(或左)照相机102以水平或侧向距离106与第二(或右)照相机104隔开。距离106将取决于车辆100的品牌和型号变化，但在一些实施例中可以大约为一米。照相机102和104具有从车辆的向前方向偏移水平旋转角度(pan angle)θ的光学轴线108。所取的角度θ可以取决于车辆100的品牌和型号变化，但在一些实施例中为大约10°。不论照相机102和104所选择的取向如何，每一照相机都使用鱼眼镜头抓取超宽视野(FOV)以提供在区域110处部分地重叠的大约180°FOV。照相机102的FOV由扇区112代表，并且照相机104的FOV由扇区114代表。由照相机102和104抓取的图像可由视频采集设备116接收，并且这些图像在具有下文将要详细讨论的图像处理硬件和/或软件的处理器118中进一步处理，以在显示设备120上提供一个或更多个类型的驾驶员辅助图像。
该处理器118是计算设备，其包括通常用于车辆中的任意类型的至少微处理器和存储器模块。该处理器118可以是还执行其他计算功能的通用设备，或该处理器118可以是特别配置用于前方路缘视图像处理的定制设计。在任何情况下，处理器118配置为执行在本文讨论的方法的步骤。即，用于增强的路缘观察的方法意图在例如处理器118的计算设备上执行，而不是靠人脑或使用纸和笔执行。
图2显示了车辆100的侧视图。右照相机104显示为以距离130定位于道路/地面之上。该距离130将取决于车辆100的品牌和型号，但在一些实施例中大约为半米。知道该距离130有助于计算来自视野114的虚拟图像以辅助车辆100的驾驶员。该照相机104(以及在车辆相对侧上的照相机102)典型地对准为使其以倾角略微向下成角，以提供所示的视野114。该角度将根据车辆100的品牌和型号变化，但在一些实施例中可以为大约10°。
如上面所讨论的，图1和2中的双前部照相机布置在如今的车辆上常见，其图像典型地用于碰撞躲避和车道偏离警告应用中。也如上面所讨论的，前方照相机图像也能够作为驾驶员辅助用作路缘观察。然而，目前为止，仍然没有用于在驾驶员期望的场合下提供增强的前方路缘观察的自动系统。
图3是用于自动和增强的路缘观察的系统140的示意图。该系统140包括关于图1在上文中讨论的元件，包括前部照相机102和104、视频采集设备116、处理器118和显示设备120。图3提供展示基本元件的系统140的高级示图。如能够期望的，处理器118能够包括许多不同功能和模块，其将在接下来的附图中进行讨论。
图4是作为增强的路缘观察系统的第一实施例的系统160的方框图。该第一实施例是简单设计，其中用户指令是用于启动前方路缘观察的主要触发器。如果驾驶员想观察前方路缘的图像，用户输入162提供来自车辆100的驾驶员的信号。用户输入162可以是实体按键、开关、在例如显示设备120的触摸屏设备上的虚拟按键、检测口头指令的音频麦克风或者其他类型的输入。当驾驶员激活用户输入162时，这被当作触发器以在显示设备120上提供前方路缘图像，但只有在车辆速度低于某一阈值时才这样，这可以是管制要求。车辆速度信号由车辆状态模块164提供，其可包括来自各种车辆传感器的数据，包括车辆速度、转向角、偏航角速度、纵向和侧向加速度等。
如果用户输入162已经被激活并且车辆速度低于阈值，则触发模块166将前方路缘观察图像状态设定为是。开关168确定什么显示在显示设备120上。如果该前方路缘观察图像状态等于是，则开关168命令处理模块170使用来自视频采集设备116的图像输入计算增强的前方路缘观察图像。最终，模式选择模块172确定哪个视图或哪些视图应显示在显示设备120上。在系统160的简单实施例中，模式选择模块172可选择默认图像布置(例如包括，前视立体图以及虚拟俯瞰路缘视图——在下文详细讨论)。模式选择模块172也可支持用户选择观察模式——例如，通过用户输入162的方式。
如果前方路缘观察图像状态等于否，则该开关168传送控制到显示控制模块174，其在显示设备120上显示其他信息。例如，当驾驶员不观察前方路缘图像时，该显示设备120能够充当广播或其他音频/视频接口，或导航地图显示器，或任意其他适当的功能。
触发模块166、开关168、处理模块170以及模式选择模块172都能够被认为包含于前文讨论的处理器118中。即，每一个执行单独功能的元件166-172不需要单独的实体设备，而是能够体现在全部包含于处理器118中的硬件或软件中。
图5是作为增强的路缘观察系统的第二实施例的系统180的方框图。该第二实施例包括用于启动前方路缘观察的附加触发信号源。如果车辆速度低于阈值，用户输入162仍然为车辆100的驾驶员提供直接手段以表明他/她想观察前方路缘图像。然而，除了用户输入162之外，探索性模块182使用各种数据源估计车辆的操作环境，并且应用规则以确定驾驶员何时可能希望观察前方路缘。探索性模块182包括前文讨论过的车辆状态模块164，其不仅提供车辆速度信号以与速度阈值比较，而且还可以提供转向角、偏航角速度、纵向和侧向加速度以及其他数据。规则能够被限定为例如在车辆速度低并且转向角大时触发前方路缘观察，从而指示可能的停车场操纵。
探索性模块182也包括对象检测模块184，其从视频采集设备116接收照相机图像。对象检测模块184分析前方照相机图像以检测停车场、路缘或车辆100前面的任意其他对象。如果检测到停车场，并且如果例如速度的其他车辆参数都合适，则可推断驾驶员正在操纵车辆100停靠在所检测到的停车场中。这将导致探索性模块182发出触发信号以激活前方路缘观察。即使没有检测到停车场，车辆100前面的路缘的存在也可导致该探索性模块182发出触发信号以激活前方路缘观察。该路缘可以是具有明确的左右端的单独竖立单元，或者其能够是连续升高的人行道，如许多商业建筑停车场里常见的那样。同样，在车辆100紧前方检测到的任意其他对象——例如墙、一个或更多个柱、围栏等——可以触发来自该探索性模块182的对象检测模块184的前方路缘观察信号。
探索性模块182也包括GPS/地图模块186，其使用来自车载全球定位系统(GPS)接收器的车辆位置数据以及来自数字地图和/或导航系统的数据以确定车辆100何时可能处于停车情形下。例如，由GPS和数字地图数据能够容易地确定车辆100处于商场的停车场中，或者处于办公楼的停车场中。该认知可以用于使用对象检测模块184开始搜索停车位或路缘，或者如果例如速度和转向角的车辆参数(来自车辆状态模块164)符合一定标准，该认知可以用于直接触发前方路缘观察。
探索性模块182估计所有可得数据，如上文所讨论的，并且基于一组预先设立的规则确定驾驶员是否可能期望前方路缘观察。当然，如果路缘观察经由用户输入162被选择，则激活前方路缘观察(只要车辆速度低于阈值)，不论探索性模块182做出何种确定。同样，如果驾驶员经由用户输入162指示不需要路缘观察，则停用前方路缘观察，不论探索性模块182做出何种确定。
用户输入162和探索性模块182提供信号到触发模块166，该触发模块166依据这些信号将前方路缘观察图像状态设定为是或否。如在第一实施例中那样，开关168确定显示什么在显示设备120上。如果前方路缘观察图像状态等于是，则开关168命令处理模块170使用来自视频采集设备116的图像输入计算增强的前方路缘观察图像。最终，模式选择模块172确定应当在显示设备120上显示哪个或哪些视图。
在由系统180代表的第二实施例中，模式选择模块172能够基于由来自探索性模块182的数据定义的情景的环境下选择优选显示模式。例如，如果车辆100正在向右转，或者如果停车场被检测到在车辆100的前面和右面，则前右立体图可以被选择为显示模式，可能同时有虚拟俯瞰视图。视图的许多组合可以定义在显示模式中。同样，许多不同因素可以在用于选择显示模式的逻辑中加以考虑，目标是显示在当前停车情景的环境下为驾驶员提供最大帮助的那个视图或那些视图。该模式选择模块172也可支持用户选择观察模式——例如，通过用户输入162的方式。
如果前方路缘观察图像状态等于否，则该开关168传送控制到显示控制模块174，其在显示设备120上显示其他信息，如前文所讨论的。触发模块166、开关168、处理模块170和模式选择模块172均能够被认为包含于处理器118中，也如前文所讨论的。此外，系统180的探索性模块182也能够包含于处理器118中。
图6是作为增强的路缘观察系统的第三实施例的系统200的方框图。该系统200包括上文所讨论的系统180(第二实施例)的全部元件。然而，该第三实施例还包括用于启动前方路缘观察的另一触发信号源。行为/历史学习模块202使用机器学习技术以确定车辆100的驾驶员何时可能想观察前方路缘图像。该学习模块202提供信号到触发模块166，其依据三个信号源将前方路缘观察图像状态设定为是或否。学习模块202也可以学习驾驶员偏好用于显示模式——即，在什么样的停车情形下显示哪个视图或哪些视图——并且可以将该数据提供到模式选择模块172(经由图6中所示的触发模块166或直接)。
图7是系统200的方框图，展示了学习模块202如何工作。系统200的不与学习模块200相互作用的元件——特别是在触发模块166之下的每一元件——出于简化而从图7中省略。学习模块202包括离线或预编程学习和适应性学习。数据库204包含代表一般驾驶员群体的数据。数据库204被预编程并且在车辆100是新的时可用。数据库204并不连续更新，但可以对于一般驾驶员群体以新数据周期性地更新(例如经由信息技术服务)。来自数据库204的数据用于离线学习模块206以作出是否期望前方路缘观察的第一确定，并且这是经由信号从离线学习模块206通信到学习模块202。
在车辆操作期间，数据库208连续收集来自用户输入162、探索性模块182和触发模块166的数据。来自数据库208的数据用在适应性学习模块210中以作出是否期望前方路缘观察的第二确定，并且这是经由信号从适应性学习模块210通信到学习模块202。适应性学习模块210对来自数据库208的数据应用机器学习技术，以便基于前方路缘观察是否在先前的类似环境下被触发而确定在当前情形下是否应当触发前方路缘观察。例如，在数据中可能明显的是，车辆100的驾驶员在某一车辆位置频繁地激活前方路缘观察，即使地图数据并未将该位置识别为停车场。在此场合下，当车辆100再次到达该位置时并且当车辆速度低于阈值时，适应性学习模块210能够触发前方路缘观察。该分析能够进一步被增强以包括辨识驾驶员可以典型地遵循以到达某一停车空间的转向操纵的特定模式。
作为另一实例，适应性学习模块210可确定在接近路缘和人行道时车辆100的驾驶员典型地不需要前方路缘观察(可能由于该车辆100具有高离地间隙)，但是在接近柱、墙和围栏时驾驶员的确需要前方观察。该模式能够在来自对象检测模块184和用户输入162的数据中检测到。所有这些类型的确定能够通过不仅估计来自探索性模块182的三个部分的数据而且估计来自用户输入162和触发模块166的数据来作出。即，重要的是不仅考虑先前激活前方路缘观察的环境，而且要考虑通过经由用户输入162手动激活或停用前方路缘观察所表明的驾驶员的偏好。
适应性学习模块210还能够通过关键饰物标识或其他驾驶员辨识技术在车辆100的不同驾驶员之间辨别，并能够相应地适应。例如，车辆100的两个驾驶员对于前方路缘观察可能具有非常不同的偏好，其中一个驾驶员可能从不需要使用它而另一个驾驶员可能频繁使用它。另一方面，车辆100的两个驾驶员可能具有相同的“家”位置，并且可确定两个驾驶员均偏好在家位置激活路缘观察。这些类型的特定驾驶员和/或特定车辆的确定能够通过适应性学习模块210容易地作出。随着车辆100被驾驶，学习车辆100的驾驶员偏好的能力从离线学习模块206和探索性模块182辨别适应性学习模块210。
图8是用于在车辆中提供增强的前方路缘观察的方法的流程图220。在框222处，从车辆速度传感器读取车辆速度信号。在判断菱形块224处，确定车辆速度是否低于速度阈值，该速度阈值可以由用于显示前方路缘视图图像的政府规定来限定。如果车辆速度不低于阈值，则该方法循环回到框222，直至车辆速度低于阈值的时候。如果在判断菱形块224处车辆速度低于阈值，则在判断菱形块226处确定车辆驾驶员是否已经经由用户输入162选择了前方路缘观察。
如果驾驶员尚未选择前方路缘观察，则在框228处，车辆操作环境被估计以确定是否有任何因素指示应激活前方路缘观察。车辆操作环境估计由探索性模块182执行，并且包括多个因素，例如车辆速度和转向角度，停车场的存在，车辆前方的路缘或其他障碍物，以及由GPS和数字地图指示的车辆位置。在框230处，车辆的驾驶行为和历史由学习模块202估计，以基于在先前相似的环境中是否触发前方路缘观察来确定在当前情形下是否应当触发前方路缘观察。在判断菱形块232处，来自框228和230的信号被估计，以确定是否存在指示应当激活前方路缘观察的任何触发器。如果不存在这样的触发器，则在终点234处，结束该处理并且在显示设备120上显示其他信息(例如广播或导航)。
如果驾驶员在判断菱形块226处已经选择了前方路缘观察，或者在判断菱形块232存在指示应当激活前方路缘观察的触发器，则在框236处处理来自视频采集设备116的视频信号以产生增强的前方路缘观察图像。在框238处，基于过去驾驶员的偏好和/或当前停车情形的环境，选择用于前方路缘观察的显示模式，如上文所讨论的。在框240处，根据所选择的显示模式，增强的前方路缘视图图像被显示。
使用上文描述的技术，增强的前方路缘观察系统能够被交付，其为车辆驾驶员提供用于在车辆前方的路缘和其他障碍物附近操纵的有价值的视觉辅助。增强的前方路缘观察系统利用现有的显示设备和照相机，并且为驾驶员提供以其他方式本来不可用的视觉信息——因此使得由于与前方障碍物接触而使车辆损坏的事故远远变少。
如能够从上文讨论理解到的，某些前方视图的选择和显示对前方路缘观察系统的有效性是必要的。视图能够包括本地照相机视图(例如来自左或右照相机的前视立体图)和“虚拟视图”的两个增强的版本，“虚拟视图”是通过处理多个照相机图像合成的视图以产生没有照相机直接记录的立体图。
图9是显示设备120的图，展示了实例显示模式或显示设备120屏幕上的视图布置。图9中展示的实例包括至少三个图像视图，其中显示设备120的右侧包括视图250，其是前视立体图(增强的立体图的创建在下文讨论)。显示设备120的左侧包括车辆100周围区域的鸟瞰图。视图252是虚拟俯瞰前视图(其是由来自照相机102和104的图像合成的视图)，并且视图254是虚拟俯瞰后视图(如果在停车过程中车辆被操纵向前和向后，则该视图会有用)。出于参考，在视图252和视图254之间提供车辆100的示图。侧视图256能够由来自侧视图照相机的图像(如果可用)构造，或者能够使用时间填充技术(下文讨论)由前和后照相机图像构造。如能够容易地设想到的，视图的许多不同组合能够定义为显示模式，其如上文所详细讨论的那样被选择。
当车辆100的前保险杠在离路缘的大约两英尺之内时，许多驾驶员会发现俯瞰前视图是最有帮助的。事实上，在向前停车操纵期间，许多驾驶员可能偏好增强的俯瞰前视图占据显示设备120的整个屏幕的显示模式。用于处理数字图像的技术在本领域是公知的——包括构造虚拟图像视图，以及对来自广角或对鱼眼镜头的图像去扭曲(dewarping)以消除失真。然而，创建来自广角镜头的虚拟俯瞰视图(其目的是更接近水平而不是竖直)产生了一系列挑战，这些挑战至今尚未解决。
三种类型的问题已经被识别与由来自照相机102和104的图像合成的虚拟俯瞰视图相关联。这三类问题如下，其解决方案在下文详细讨论：
1)在去扭曲图像中的本体部分假象(artifact)，
2)去扭曲图像边界周围的低分辨率和/或噪声，
3)在高于地平面的表面和对象中的“双影”效果。
图10是保险杠/横梁区域中的车身部分在虚拟俯瞰视图中如何能够形成虚假突出物效果的图示。在图10中，能够看到照相机104安装为使得镜头几乎与车辆100的保险杠面齐平。然而，许多车辆包括来自较低的前保险杠或横梁的突出物。这些突出物，例如突出物260，向照相机104的镜头前方延伸，并且妨碍照相机104对地面的观察。因而，在虚拟俯瞰视图中，突出物260将比其在真实俯瞰视图中似乎更加向前并且更大。突出物260的表面上的大小/位置与在俯瞰视图中的真实大小/位置之间的差异由距离262表示。距离262是照相机、突出物260和地面以上距离130的几何尺寸的函数，并且能够予以补偿。
图11是虚拟俯瞰视图的图示，其中突出物260由于照相机/车辆几何结构和图像去扭曲而虚假地向前延伸，从而形成遮蔽区域280。展示为正显示在显示设备120上的虚拟俯瞰视图示出了水平停车场表面270、在表面270以上升起某一高度的水平人行道表面272以及作为路缘的竖直面274。停车场表面和升起的路缘/人行道的这种配置在许多商用和零售停车场中是常见的。接缝276代表在人行道表面272的混凝土部段中的接缝，其中接缝276在竖直面274上是竖直的，并且接缝276可以延伸某一距离进入停车场表面270内。
在显示设备120上的虚拟俯瞰视图中，底部边缘代表车辆100的真实前部。因而，当车辆100慢速向前行驶时，驾驶员能够看到何时触及障碍物。如上面所讨论的，突出物260明显向前延伸的外观是虚假的，遮蔽区域280是图像去扭曲的假象以及是照相机镜头和突出物260相对于彼此及相对于地面的实际几何关系。已经开发出的技术允许修改遮蔽区域280，使得突出物260在合成的虚拟俯瞰视图中出现在其真实位置，并且遮蔽区域280被合成地纹理化，以表现为周围地面。图12是虚拟俯瞰视图的图示，其中遮蔽区域280的大小已经被显著地减小，以反映突出物260的真实位置，并且最初包括在遮蔽区域280中的大部分区域通过图像处理而被重新纹理化。
图13是用于消除由车辆前方照相机图像构造的虚拟俯瞰视图中的虚假车身部分外观的方法的流程图300。通过量化上文讨论的并且示于图10中的几何关系，图12中所示的增强的虚拟俯瞰视图的创建开始于框302处。对于任何特别车辆模型，这些三维关系都是已知的不变的车辆设计量。因此，准确确定照相机图像的哪些像素将被突出物260遮蔽就变成相当简单的计算。也可能的是比较车辆100前面的真实俯瞰视图与图11中所示的虚拟俯瞰视图，并且手动识别被突出物260虚假地遮蔽的像素。
在框304处，执行去扭曲计算，以便当来自照相机102和104的广角镜头的自然扭曲图像被平整化(flatten)或者“去扭曲”以使得直线变直时解决图像的失真。图像去扭曲计算是本领域公知的。在框306处，提供被车身突出物260虚假覆盖的一组像素。来自框306的像素(其是图11的遮蔽区域280)将需要重新纹理化以表现为地表面。
在框308处，遮蔽区域280中相同的像素被分析用于重新纹理化。两种技术能够用于对遮蔽区域280中的像素填充和重新纹理化。在框310处，执行空间填充。在框310处的空间填充包括识别遮蔽区域280附近的纹理(例如风化混凝土的模糊灰色外观)和结构(例如接缝276)，并且基于周围的纹理和结构在遮蔽区域280中填充。当遮蔽区域280相当小和/或停车场表面270的纹理相当一致时，来自框310的空间填充技术能够非常有效。
在框312处，执行时间填充。框312处的时间填充涉及利用在那些像素刚好在遮蔽区域280之外时获得的停车场表面270的实际图像像素，并且基于车辆运动将像素置换到遮蔽区域280内。用于时间填充的车辆运动能够从光流或从车辆动态传感器确定，其中光流涉及在获得后续图像时跟随特征点的运动。利用在停车操纵期间典型地慢且稳的车辆运动，代表遮蔽区域280之内的停车场表面270的实际部分的像素能够从之前的图像复制到虚拟俯瞰视图的后续图像内。
在框314处，使用来自框310的空间填充技术和来自框312的时间填充技术的组合对遮蔽区域280填充并重新纹理化。在框316处，创建增强的虚拟俯瞰视图，其中来自框306的本体覆盖区域由来自框314的周围背景纹理填实，使得在视图中仅保留突出物260的真实形状。如能够在图12中看到的，通过利用填充的和重新纹理化的遮蔽区域280，减小了突出物260的外观。
与由左前方和右前方照相机图像合成的虚拟俯瞰视图相关联的第二类问题是去扭曲图像边界周围的低分辨率和/或噪声。图14是虚拟俯瞰视图的图示，其中该视图的某些部分能够展现低分辨率和/或图像噪声。像图11和12一样，图14的虚拟俯瞰视图示出了水平停车场表面270、在表面270以上升高某一高度的水平人行道表面272、作为路缘的竖直面274以及在人行道表面272的混凝土部段中的接缝276。
如上面所讨论的，有必要对来自广角镜头的图像“去扭曲”，以便去除失真，并创建现实样子的俯瞰视图。当对图像去扭曲时，分辨率在虚拟视图的周边或边缘区域中固有地损失，因为这些区域中的每个像素被放大以占据图像的更多部分。如图14中所示的左和右周边区域320以及上周边区域322代表了虚拟俯瞰视图的低分辨率区域。图像中的图像/视频噪声也是区域320和322中的问题，因为微弱的光或暗斑能够被放大以显得比其实际的更大。当然，低分辨率区域的边界并不如图14所示的完全笔直——但是区域320和322是概念阐述性的。在图像较低部分中不存在低分辨率区域，因为该边缘离照相机102和104最近，并且这部分图像中的像素不需要在去扭曲处理时明显放大。
图15是用于消除由车辆前方照相机图像构造的虚拟俯瞰视图的边缘区域中的低分辨率和图像噪声的方法的流程图340。在框342处，在虚拟俯瞰视图上执行去扭曲计算，以当来自照相机102和104的广角镜头的自然扭曲图像平整化以使直线变直时解决图像的失真。在框344处，提供虚假的低分辨率的一组像素。这些像素代表边缘区域320和322，其中低分辨率和噪声是由于去扭曲处理中像素放大而产生的。
两种技术能够用于对低分辨率区域320和322中的像素填充并重新纹理化。在框346处，执行空间分辨率增强和去噪声计算。在框346处的空间增强包括：识别低分辨率区域320和322中的颜色和强度通道两者，并且在保留边缘的平滑计算中利用本地的颜色和强度，这些边缘例如为竖直面274的边缘。框346处的空间填充还包括：从例如区域324的邻近的完整分辨率区域借纹理，该区域324能够用于左侧低分辨率区域320和上低分辨率区域322的左部。利用来自邻近的完整分辨率区域324的表面纹理以及来自低分辨率区域320和322自身的颜色和强度式样，框346处的空间分辨率增强和去噪声计算能够显著修复在虚拟俯瞰视图的边缘周围的图像质量。
在框348处，执行时间分辨率增强和去噪声计算。框348处的时间增强涉及利用在那些像素刚好在低分辨率区域320和322之外时获得的表面270、272和274的实际图像像素，并且基于车辆运动将这些像素置换到低分辨率区域320和322中。如前面所讨论的，用于时间增强的车辆运动能够从光流或车辆动态传感器确定，其中光流涉及在获得后续图像时跟随特征点的运动。特别地，车辆运动趋于对区域322的时间增强不利，因为如果车辆100仅仅只向前运动，则在该区域中的像素在之前将不处于图像的高分辨率区域中。然而，时间增强对于左和右低分辨率区域320可以是有帮助的，尤其是当车辆100在停车操纵的同时转向时。利用车辆运动，在框348处，在低分辨率区域320之内的代表表面270-274的实际部分的像素能够从之前的图像复制到虚拟俯瞰视图的随后图像中。
在框350处，利用来自框346的空间增强技术和来自框348的时间增强技术的结果的组合，来重新定义低分辨率区域320和322。在框352处，创建增强的虚拟俯瞰视图，其中来自低分辨率区域320和322的原始像素由来自框350的重新定义的像素替代，并且与来自框342的去扭曲图像的剩余部分组合。
与由左前方和右前方照相机图像合成的虚拟俯瞰视图相关联的第三类问题是在地平面之上突出的对象中的“双影”效果。图16A和16B是分别来自左前部照相机102和右前部照相机104的虚拟俯瞰视图的图示，并且图17是当左和右照相机图像合并时虚拟俯瞰视图的一些部分如何能够出现“双影”的图示。在图16和17中，表面270、272和274展现为之前图形中那样，接缝276也一样(存在两个不同的接缝276——一个在左边，一个在右边——如图11、12和14中所示)。在图16A和16B中，可以在人行道表面272中看到裂缝360。裂缝360出现在图16A中朝向左照相机图像的右侧，并且裂缝360出现在图16B中朝向右照相机图像的左侧。
在图17中，裂缝360出现两次，即使在人行道表面272中只有一条裂缝360。该“双影”效果是由于左和右图像的组合引起的，该组合基于假设图像中每种事物都处于同一地平面处的计算。在地平面以上延伸的对象或障碍物(其处于图像的较低边缘处，即，离照相机102和104最近的图像部分，并且已知在照相机下方距离130处)在去扭曲和组合的虚拟俯瞰视图中能够展示不在正确的位置上。然而，该双影效果能够在增强的虚拟俯瞰视图中经由以下讨论的计算来修正。
图18是用于消除由车辆前方照相机图像构造的虚拟俯瞰视图中的地面以上障碍物的双影效果的第一方法的流程图380。在框382处，在由左前方和右前方照相机图像构建的虚拟俯瞰视图上执行去扭曲计算，以在来自照相机102和104的广角镜头的自然扭曲图像被平整化以使直线变直时解决失真。在框384处，在构建的虚拟俯瞰视图中检测路缘和升高的人行道。如之前所讨论的，这些停车空间边界能够通过分析车辆运动期间的一系列图像从而寻找直线以及路缘和升高的人行道的其它视觉指示物来检测。
在框386处，利用立体视觉和/或从运动恢复结构技术，在来自照相机102和104的图像中检测地面以上的障碍物。从运动恢复结构(SFM)是指从可以与本地运动信号联接的二维图像序列估计三维结构的处理。立体视觉和SFM分析提供关于在车辆100前方路径中的地面以上障碍物的大小、形状和位置的信息。在框388处，车辆100车载的其它传感器提供车辆100前方区域的对象检测信号。其它车载传感器可以包括——但不限于——例如超声波、近程雷达和LIDAR。
在交叉点390处，按比例缩放并组合框384-388中识别的前方障碍物，以使得所有的数据被用于定义车辆100前方区域中的对象地图。在框392处，在车辆100前方的三维对象的完整模型——包括路缘、升高的人行道、柱子等——由来自框384-388的数据组建。三维对象的模型包括对象的位置、大小和形状。在出现路缘和升高的人行道的情况下，出于至少两个原因，能够确定这些对象的高度极为有价值。首先，如果路缘或升高的人行道的高度为在停车场表面以上六英寸，并且车辆100具有的前方气坝与地面间隙仅为5英寸，则能够给驾驶员警告，以指示车辆100应当在前方保险杠触及路缘或升高的人行道之前停下(与向前驾驶相反，直到前方轮胎碰到阻挡件)。第二，知道升高的人行道272在停车场表面270以上的高度允许作出计算，其消除了如图17中看到的裂缝360的双图像。
在框394处，利用来自框392的对象3D模型和来自框382的原始去扭曲图像数据渲染路缘或其他地面以上障碍物的图像。知道了在车辆100前面的任何地面以上障碍物的位置、大小和形状，左前方和右前方照相机图像能够可靠地组合，而不显示障碍物的双重复制物。例如，考虑柱子出现在车辆100前方的中央左侧的情形。如果左前方和右前方照相机图像简单地去扭曲并组合，则组合图像中就会出现两个这样的柱子，每个具有不同的表面距离和位置。然而，利用来自3D对象模型的仅存在一个这样的柱子的知识以及柱子实际位置的知识，左前方和右前方照相机图像能够被处理为使得柱子正确地仅出现一次。该同种图像处理能够用于正确地渲染任何地面以上特征，包括图17的裂缝360，其将仅出现一次。
最后，在框396处，合成改善的虚拟俯瞰视图，包括来自框394的地面以上障碍物渲染。改善的虚拟俯瞰视图不包括像裂缝360那样的地面以上物件的错误双图像，并且改善的视图还利用所有可用数据源基于作为模型的对象的实际大小、形状和位置提升了3D对象的视觉渲染(rendering)。
图19是用于消除在由车辆前方照相机图像构建的虚拟俯瞰视图中的地面以上对象的双影效果的第二方法的流程图400。在框402处，在由自左前方和右前方照相机图像构建的虚拟俯瞰视图上执行去扭曲计算，以在来自照相机102和104的广角镜头的自然扭曲图像被平整化以使直线变直时解决失真。在框404处，分析去扭曲图像，以检测在纹理或结构中的任何双图像效果。例如，已知的图像分析技术能够容易地辨别在图17中出现两次的裂缝360实际上是同一对象。
如果在框404处发现了双图像效果，则在决定菱形块406处，处理循环回到框408，在这里基于双重图像之间的侧向距离估计双成像结构的地面以上高度。之后处理回到框402，在这里利用关于包含双成像结构的视野部分的地面以上高度的矫正假设，再次执行去扭曲计算。关于地面以上高度的矫正假设将修改去扭曲计算，使得对象在该视野部分中侧向移位。
然而，在框404处重新分析图像，并且如果有必要，进一步矫正高度假设。继续这一过程直到双图像效果消除，并且在决定菱形块406处，处理移动到框410，在这里输出最后改善的虚拟俯瞰视图。
如图16和17中所示的消除在地平面以上突出的对象中的“双影”效果的其他更简单的方法也是可能的。在一个这种更简单的方法中，不再像上述讨论的图19中方法中那样重复估计路缘的高度，而是能够假设一组标准路缘高度(例如5、6、7和8英寸)，并且能够对这些高度的每个预先计算图像转换映射。然后，当在合并图像中检测到双成像效果时，图像转换计算能够对于所有的标准路缘高度快速地重新运行，并且结果能够被分析以确定哪个路缘高度转换对消除双成像效果是最好的。该方法避免了前文讨论的重复计算，并且直接提供具有最小双图像效果的最终图像，同时还提供了能在其他车辆系统中使用的路缘高度估计。
消除在地平面以上突出的对象中的“双影”效果的另一方法是简单比较左图和右图，在图像的重叠区域中找到共同特征点，并且使用图像配准以转换图像，使得当图像合并时，共同特征点在重叠区域中排列。该方法并不提供路缘高度的估计，但是可以最简单地以计算机执行，并且还提供了具有最小双图像效果的最终图像。
图20是用于创建由车辆前方照相机图像构建的增强的虚拟俯瞰视图的方法的流程图420。在框422处，在有左前方和右前方照相机图像构建的虚拟俯瞰视图上执行去扭曲计算，以在来自照相机102和104的广角镜头的自然扭曲图像被平整化以使直线变直时解决失真。在框424处，利用图13中所示的流程图300的方法，从去扭曲图像移除虚假夸大的车身部分假象。在框426处，利用图15中所示的流程图340的方法，修正在去扭曲图像边缘周围的低分辨率和图像/视频噪声。在框428处，利用图18或图19中所示的方法之一或随后所述的更简单方法之一，修正在地平面以上的表面或对象中的“双影”效果。由框424-428而得到的图像增强的结果是在外观上比普通去扭曲图像明显更真实的虚拟俯瞰视图。
利用上述技术，能够解决典型地与由多个照相机图像合成的虚拟俯瞰视图相关联的三个问题，从而得到非常真实的虚拟俯瞰前方路缘视图。在原型系统测试中，增强的虚拟俯瞰视图已经表明极大地有助于驾驶员在路缘和其它前方障碍物附近进行操纵。如果可用照相机图像，则在前方视图的环境下在上文讨论的虚拟俯瞰视图合成技术还可以用到车辆100的后方和侧面的虚拟俯瞰视图。这些技术还能够与每个虚拟视图多于两个的照相机一起使用。例如如果可用多于两个照相机来构建虚拟俯瞰前视图，则得到的视图质量将提高，因为更多图像像素将被作为输入，并且图像去扭曲效果能够被降低。
如上面所讨论的，由于驾驶员典型地查看立体图觉得舒服，因此前视立体图可以选择为显示设备120上的最大视图。用于处理数字图像的技术是本领域中公知的——包括对来自广角镜头的图像去扭曲，以移除失真，该失真产生鱼眼效果，其中图像前方中央的对象虚假放大，并且向着图像周边的对象缩小且远离中央倾斜。然而，传统的去扭曲技术和照相机模型能够在被处理图像中产生其他问题。
图21是车辆100前方立体视图的图示，其包括由传统去扭曲技术产生的失真。图21是本质上与之前图形所示的相同场景的立体图——包括水平停车场表面270、在表面270以上升高某一高度的水平人行道表面272、作为路缘的竖直表面274以及在人行道表面272的混凝土部段中的接缝276。立体图还包括地平线之上区域440，其包括背景对象442，例如树和电线杆。
两个主要类型的问题已经被识别与利用传统照相机模型处理时由来自照相机102和104的图像合成的虚拟立体图相关联。这两类问题如下，其解决方案在下文详细讨论：
1)由于针孔模型的直线投影，在去扭曲广角图像的周边部分处的拉伸和低分辨率效果。
2)在视野重叠区域中的“双影”效果以及在合并图像的盲点中的丢失对象。
对于立体图的第一个问题——拉伸和低分辨率——在图21中的两个地方是明显的，通过利用针孔照相机模型通过直线投影，这些立体图已经利用传统去扭曲被处理。首先，在区域444中，由于拉伸降低了图像分辨率。其次，作为接缝276的竖直部分的竖直接缝446呈现为倾斜的而非竖直的。另外，例如前文所讨论的突出物260的车身部分的突出物由于该拉伸而能够存在放大的外观。这些问题都能够通过利用新的照相机图像表面模型得以解决。
图22是可用于修正图21中看到的失真的照相机图像表面模型的图。传统针孔照相机模型460被显示，其中来自场景的光穿过针孔缝隙并且打到成像表面上。在传统模型460中，成像表面是平坦平面。这种类型的模型在图21所示的去扭曲图像的周边区域中产生拉伸效果。为了修正该拉伸效果，成像表面462能够被限定为处于水平的半圆柱形状中。将成像表面462的模型应用到图21的虚拟立体图像中能够减少地平线以下区域中的拉伸效果。然而，在图像的地平线以上区域中的圆柱形投影能够使得背景对象422呈现为向图像中央倾斜。为了避免引入这种不想要的失真效果，成像表面464能够被限定，其中成像表面464对于图像的地平线以下区域处于水平的四分之一圆柱的形状中，并且对于图像的地平线以上区域为平坦平面形状。包括成像表面464的照相机模型已经显示为产生更优的虚拟立体视图图像合成。
具有除了图22所示的成像表面之外的成像表面的照相机模型也能够被限定。例如，不同于在表面464中的四分之一圆柱和平坦平面，具有逐渐改变的曲率半径的图像表面能够被限定。另外，从左到右的图像表面曲率效果以及底部到顶部的曲率效果能够被引入。利用例如这些组合的各种组合，复合图像表面能够被定义为产生真实并且视觉舒适的虚拟立体图。
由左前方和右前方照相机图像构建的合并立体图的第二个问题是在视野重叠区域中的“双影”效果，如在图21中的树448的双外观中看到的。所述的重叠区域显示为接近于图1的重叠区域110。盲点——或者未被左或右照相机图像覆盖的区域——也能够存在，从而在合并视图中导致丢失的对象或纹理(texture)。以下讨论的其他处理技术能够应用到虚拟立体图中，以便修正来自照相机102和照相机104的图像之间的重叠区域或盲点中的差别。
能够应用于左前方和右前方图像之间的重叠区域的一种技术作为视频变形(morphing)而公知。在视频变形技术中，特征点在图像的中央重叠区域中被检测，并且关键点被配准。左和右图像随后被变形，也就是被拉伸或转换，以使得特征点在合并图像中匹配。之前的图像帧和车辆运动信息能够用于增强重叠区域中的图像合成，其中一些对象从图像的非重叠区域移动到重叠区域。利用图像变形和之前的图像帧，时间视频变形能够应用于虚拟立体图，其修正重叠区域中的双成像和空白点两者。
能够应用于左前方和右前方图像之间的重叠区域的另一技术是基于3D场景估计的图像渲染。该技术类似于图18的流程图380中的上述方法。如上面所讨论的，该技术涉及利用立体视觉、从运动恢复结构(SFM)以及来自车载传感器的数据以构建车辆100前方场景的3D模型。3D对象场景能够关联到图像中的对象，并且立体视图图像能够被重新渲染以消除任何对象的双重外观，例如树448。
图23是图21中看到的失真已经通过应用图22中的新虚拟图像表面模型及上文讨论过的其他技术修正后的车辆100前方立体图的图示。在图23中能够看到，由于在地平线以下区域中应用了圆柱形照相机图像模型，因此区域444中的拉伸效果被消除。因而，区域444中不存在分辨率丢失。在图23中也能够看到，同样由于在地平线以下区域中应用了圆柱形照相机图像模型，竖直接缝446如其应当的那样表现为竖直的。最后，由于上文讨论的重叠区域修正技术的应用，树448的双图像被消除。
图24是用于利用图22中的照相机图像表面模型和其他修正技术创建由车辆前方照相机图像构建的增强的立体图的方法的流程图480。在框482处，在由左前方和右前方照相机图像构建的虚拟立体图上执行去扭曲计算，以在来自照相机102和104的广角镜头的自然扭曲图像被平面化以使直线变直时解决失真。在框484处，照相机模型图像表面464应用到去扭曲图像，以修正图像的地平线以下部分中的拉伸，同时保留图像的地平线以上部分中的竖直对象的竖直外观。在框486处，左和右照相机图像重叠的区域被修正以消除对象的双成像和空白点。在重叠区域中的修正能够包括如上面所讨论的视频变形和3D场景估计技术两者。在框488处，最终虚拟立体图被提供，包括上文讨论的修正，并如图23所示。
利用上述技术，典型地与利用传统照相机模型由广角照相机图像合成的虚拟立体图相关联的问题能够被解决，从而产生非常真实的虚拟前视立体图。如果可用照相机图像，在前视图的环境下在上文讨论的虚拟立体视图合成技术还可以用于到车辆100的后方和侧面的虚拟立体视图。这些技术还能够与每个虚拟视图多于两个的照相机一起使用。例如如果多于两个的照相机可用以构建虚拟立体前视图，则得到的视图质量将提高，因为更多的图像像素将用作输入，并且图像去扭曲效果能够降低。
增强的前方路缘观察系统为驾驶员提供了以其他方式将无法获取的视觉信息。前方路缘视图为驾驶员提供了在接近路缘和其它前方障碍物时准确停靠他们的车辆必须的辅助，并且提供了知道他们将不会意外撞到障碍物并损坏车辆的平静心情。这些前方路缘视图的自动生成和显示为驾驶员传递价值，从而增加了车辆的客户满意度，并且潜在地避免了昂贵的修理费用。
前文的讨论公开并描述了本发明的仅仅示例性的实施例。本领域技术人员容易从这种讨论以及从附图和权利要求中意识到，各种变化、修改和变型能够在此作出，而并不脱离如所附权利要求所限定的本发明的精神和范围。

Claims (18)

1.一种用于提供车辆前方区域的增强的俯瞰观察的系统，所述系统包括：
安装在车辆的左前部处的第一照相机；
安装在车辆的右前部处的第二照相机；
与所述第一和第二照相机通信的图像采集模块，所述图像采集模块接收来自所述照相机的原始图像，并且来自所述照相机的原始图像具有前视图立体图；
包括存储模块的处理器，所述处理器配置为提供车辆前方区域的虚拟俯瞰视图，其中，所述虚拟俯瞰视图由来自所述照相机的原始图像合成，并且所述虚拟俯瞰视图包括对车身部分到所述视图内的虚假突出物、所述视图的边缘周围的低分辨率和噪声以及地平面以上对象的双影效果的修正；以及
车辆的驾驶座区域中的显示单元，用于显示来自所述处理器的虚拟俯瞰视图，用于由车辆驾驶员观看,
其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术，该技术利用一系列所述原始图像和来自车辆雷达或激光雷达系统的对象数据以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。
2.根据权利要求1所述的系统，其中，对车身部分到视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。
3.根据权利要求2所述的系统，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述原始图像的周围纹理和结构并利用时间填充技术而被重新纹理化，其中，来自刚好在所述原始图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。
4.根据权利要求1所述的系统，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲而导致低的区域，并且进一步包括利用空间分辨率增强修正所述低分辨率区域，其中，空间分辨率增强包括：利用低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。
5.根据权利要求4所述的系统，其中，修正所述低分辨率区域进一步包括：利用时间分辨率增强，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述原始图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。
6.根据权利要求1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。
7.根据权利要求1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述第一和第二照相机的原始图像中的共同特征点，以及利用图像配准技术转换所述原始图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。
8.根据权利要求1所述的系统，其中，所述虚拟俯瞰视图显示于所述显示单元上的第一视窗中，并且鸟瞰视图显示于所述显示单元上的第二视窗中，其中，所述第一视窗大于所述第二视窗，并且所述鸟瞰视图包括位于中心的车辆示图，具有位于车辆示图前方的前视图图像以及车辆示图后方的后视图图像。
9.根据权利要求1所述的系统，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定该车辆将接触路缘，则提供警告。
10.一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：
提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有前视图立体图；
由来自所述照相机的图像合成虚拟俯瞰视图；
利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；
增强所述去扭曲的虚拟俯瞰视图，以产生增强的虚拟俯瞰视图，包括对车身部分到所述视图内的虚假突出物的修正，修正所述视图的边缘周围的低分辨率和噪声，并修正地平面以上对象的双影效果；以及
在显示设备上显示所述增强的虚拟俯瞰视图，用于由驾驶员观看,
其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术，该技术利用一系列所述图像以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。
11.根据权利要求10所述的方法，其中，对车身部分到所述视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中，所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。
12.根据权利要求11所述的方法，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述图像的周围纹理和结构并利用时间填充技术而被重新纹理化，其中，来自刚好在所述图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。
13.根据权利要求10所述的方法，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲而导致低的区域，并且进一步包括利用时间分辨率增强修正所述低分辨率区域，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。
14.根据权利要求13所述的方法，其中，修正所述低分辨率区域进一步包括：利用空间分辨率增强，其中，空间分辨率增强包括：利用所述低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。
15.根据权利要求10所述的方法，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。
16.根据权利要求10所述的方法，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述照相机的所述图像中的共同特征点，以及利用图像配准技术转换所述图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。
17.一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：
提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有前视图立体图；
由来自所述照相机的图像合成虚拟俯瞰视图；
利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；
增强所述去扭曲的虚拟俯瞰视图，以通过对车身部分到视图内的虚假突出物的修正产生增强的虚拟俯瞰视图，包括：通过计算所述增强的虚拟俯瞰视图的哪些像素被车身部分遮挡来限定遮蔽区域，基于所述遮蔽区域周围区域的图像纹理和结构来执行所述遮蔽区域的空间填充，基于帧间运动执行所述遮蔽区域的时间填充以将像素填充至所述遮蔽区域中，以及合并所述遮蔽区域的空间填充和所述时间填充；
修正所述增强的虚拟俯瞰视图的边缘周围的低分辨率和噪声，包括：识别所述增强的虚拟俯瞰视图的边缘周围的低分辨率区域，基于所述低分辨率区域周围的更高分辨率区域的图像纹理来执行所述低分辨率区域的空间分辨率增强，基于帧间运动执行所述低分辨率区域的时间分辨率增强以填充像素至所述低分辨率区域中，以及合并所述低分辨率区域的空间分辨率增强和时间分辨率增强；
在所述增强的虚拟俯瞰视图中修正地平面以上对象的双影效果，包括：建立地面以上对象的三维模型，并基于所述三维模型渲染地面以上对象的图像，所述地面以上对象包括在来自所述照相机的图像中检测到的路缘，利用应用于来自所述照相机的图像的立体视觉和从运动恢复结构技术检测到的地面以上对象，以及利用车载的其他传感器检测到的地面以上对象；以及
在显示设备上显示所述增强的虚拟俯瞰视图，用于由驾驶员观看。
18.根据权利要求17所述的方法，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定车辆将接触所述路缘，则提供警告。
CN201410391665.XA 2013-05-23 2014-05-23 前方路缘观察系统中的增强的俯瞰视图生成 Active CN104185009B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361826904P 2013-05-23 2013-05-23
US61/826904 2013-05-23
US14/280506 2014-05-16
US14/280,506 US9886636B2 (en) 2013-05-23 2014-05-16 Enhanced top-down view generation in a front curb viewing system

Publications (2)

Publication Number Publication Date
CN104185009A CN104185009A (zh) 2014-12-03
CN104185009B true CN104185009B (zh) 2017-04-12

Family

ID=51863342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410391665.XA Active CN104185009B (zh) 2013-05-23 2014-05-23 前方路缘观察系统中的增强的俯瞰视图生成

Country Status (3)

Country Link
US (1) US9886636B2 (zh)
CN (1) CN104185009B (zh)
DE (1) DE102014107158B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262933A (zh) * 2014-07-07 2016-01-20 通用汽车环球科技运作有限责任公司 用于视频处理模块的基于网格的图像分辨率增强

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395125B2 (en) 2016-10-06 2019-08-27 Smr Patents S.A.R.L. Object detection and classification with fourier fans
US9538077B1 (en) * 2013-07-26 2017-01-03 Ambarella, Inc. Surround camera to generate a parking video signal and a recorder video signal from a single sensor
JP6412934B2 (ja) * 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
DE102014108489A1 (de) * 2014-06-17 2015-12-17 Robert Bosch Automotive Steering Gmbh Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
JP6096157B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 駐車支援装置
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
JP6304272B2 (ja) * 2016-02-04 2018-04-04 トヨタ自動車株式会社 車両用注意喚起装置
DE102016006390A1 (de) * 2016-05-24 2017-11-30 Audi Ag Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses
US9609197B1 (en) * 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
KR102505951B1 (ko) * 2016-08-24 2023-03-03 한화테크윈 주식회사 이미지 제공 장치, 방법 및 컴퓨터 프로그램
US11400860B2 (en) 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102016124989A1 (de) * 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
DE102016124978A1 (de) * 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
DE102017206175A1 (de) 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Surround-View-System für ein Fahrzeug
JP6819431B2 (ja) * 2017-04-12 2021-01-27 トヨタ自動車株式会社 注意喚起装置
US10489897B2 (en) * 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US10438322B2 (en) 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
DE102017123452A1 (de) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
DE112018007027T5 (de) * 2018-03-09 2020-11-12 Ford Global Technologies, Llc Abbiegewegvisualisierung zum verbessern von räumlichem und situativem bewusstsein bei abbiegemanövern
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
US11074700B2 (en) 2018-04-23 2021-07-27 Cognex Corporation Systems, methods, and computer-readable storage media for determining saturation data for a temporal pixel
EP3599569A1 (en) * 2018-07-24 2020-01-29 Continental Automotive GmbH Method and system for representation of vehicle surroundings with reduced artefacts
JP2021182175A (ja) * 2018-08-10 2021-11-25 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
US11536845B2 (en) 2018-10-31 2022-12-27 Waymo Llc LIDAR systems with multi-faceted mirrors
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
DE102019201702A1 (de) * 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
US20210109523A1 (en) * 2019-10-10 2021-04-15 Waymo Llc Sensor field of view in a self-driving vehicle
US11511733B2 (en) * 2019-11-20 2022-11-29 Ford Global Technologies, Llc Vehicle parking system
CN111197993B (zh) * 2019-12-26 2021-11-23 广州文远知行科技有限公司 地图的渲染方法、装置、计算机设备和存储介质
US20210225038A1 (en) * 2020-01-16 2021-07-22 Fyusion, Inc. Visual object history
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
JP7346722B2 (ja) * 2020-04-06 2023-09-19 日産自動車株式会社 運転支援方法及び運転支援装置
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
CN101995239A (zh) * 2009-08-11 2011-03-30 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
JP2010511486A (ja) * 2006-12-04 2010-04-15 ファテ，シナ 弱視及び眼球偏位の矯正のためのシステム、方法、及び装置
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
US8547448B2 (en) * 2008-12-12 2013-10-01 Panasonic Corporation Image processing device and image processing method to generate a plan map
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
EP2512134B1 (en) * 2009-12-07 2020-02-05 Clarion Co., Ltd. Vehicle periphery monitoring system
WO2011152167A1 (ja) * 2010-05-31 2011-12-08 富士フイルム株式会社 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9225942B2 (en) 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088027A (zh) * 2004-12-23 2007-12-12 罗伯特·博世有限公司 用于机动车的立体摄像机
CN101995239A (zh) * 2009-08-11 2011-03-30 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262933A (zh) * 2014-07-07 2016-01-20 通用汽车环球科技运作有限责任公司 用于视频处理模块的基于网格的图像分辨率增强
CN105262933B (zh) * 2014-07-07 2018-06-29 通用汽车环球科技运作有限责任公司 基于网格的图像分辨率增强方法及系统

Also Published As

Publication number Publication date
US9886636B2 (en) 2018-02-06
US20140347470A1 (en) 2014-11-27
DE102014107158B4 (de) 2021-04-01
CN104185009A (zh) 2014-12-03
DE102014107158A1 (de) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104185009B (zh) 前方路缘观察系统中的增强的俯瞰视图生成
CN104185010B (zh) 在前方路缘观察系统中的增强的立体视图生成
CN104210424B (zh) 增强的前方路缘观察系统
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
US10293745B2 (en) Projection of a pre-definable light pattern
JP4914458B2 (ja) 車両周辺表示装置
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
CN111414796A (zh) 模拟成像系统中的虚拟车辆的自适应透明
CN103770706A (zh) 动态后视镜显示特征
WO2005084027A1 (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP7263731B2 (ja) 画像処理装置
JP5966513B2 (ja) 車両の後側方撮影装置
JP2010028803A (ja) 駐車補助のための画像表示方法
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
JP2010052553A (ja) 車両周囲画像提供装置および車両周囲画像提供方法
US11938863B2 (en) Peripheral image generation device and display control method
US11830409B2 (en) Peripheral image display device
CN112308984B (zh) 车载图像拼接方法、系统以及装置
CN114913507A (zh) 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏
CN117411984A (zh) 图像的生成方法、装置、自动驾驶装置和车辆
CN115968485A (zh) 用于在显示装置上显示车辆环境的方法、处理单元和车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant