CN106952310A - 用于确定能见度状态的系统及方法 - Google Patents

用于确定能见度状态的系统及方法 Download PDF

Info

Publication number
CN106952310A
CN106952310A CN201710057490.2A CN201710057490A CN106952310A CN 106952310 A CN106952310 A CN 106952310A CN 201710057490 A CN201710057490 A CN 201710057490A CN 106952310 A CN106952310 A CN 106952310A
Authority
CN
China
Prior art keywords
vehicle
depth map
methods described
visibility level
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710057490.2A
Other languages
English (en)
Inventor
奥利弗·马克斯·杰罗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faraday and Future Inc
Original Assignee
Faraday and Future Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday and Future Inc filed Critical Faraday and Future Inc
Publication of CN106952310A publication Critical patent/CN106952310A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/312—Adverse weather
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明总体上涉及估计车辆周围的能见度并且响应于能见度水平自动地配置一个或多个系统的方法和系统。可通过对所述车辆的周围环境的两个图像进行比较来估计所述能见度水平，每一个图像取自不同的视角。可以基于所述两个图像之间的视差估计所述图像中的对象的距离，并且可以基于在所述图像中可见的最远对象估计所述能见度水平(例如，距离)。

Description

用于确定能见度状态的系统及方法
相关申请的交叉引用
本申请要求于2016年1月29日提交的编号为62/288,873的美国临时专利申请的优先权，该临时申请的全部公开内容通过引用以其整体并入本文用于所有预期目的。
技术领域
本发明的实施例总体上涉及一种确定车辆(诸如汽车)周围的能见度的系统及方法。
发明背景
现代的车辆尤其是汽车越来越多地提供自动驾驶和驾驶辅助系统(诸如盲点监控器、自动停车和自动导航)。然而，自动驾驶系统会依赖于会在能见度降低的情况下诸如大雾天气时不可靠性欠佳的摄像机和其他光学成像器。
发明内容
本公开的示例总体上涉及估计车辆周围的能见度并且响应于能见度水平自动地配置一个或多个系统的方法和系统。可通过对所述车辆的周围环境的两个图像进行比较来估计能见度水平，每一个图像取自不同的视角。可以基于所述两个图像之间的视差估计所述图像中的对象的距离，并且可以基于在所述图像中可见的最远对象估计能见度水平(例如，距离)。
附图说明
图1A-1D示出根据本公开的示例的示例性深度图。
图2示出根据本公开的示例的估计车辆周围的能见度的示例性方法。
图3示出根据本公开的示例的系统框图。
具体实施方式
在以下示例描述中，结合部分附图，并且在附图中通过说明示出可以被实施的特定示例。应当理解的是可以使用其他示例并且可以做出结构改变而不背离所公开的示例的范围。
图1A-1D示出根据本公开的示例的示例性深度图。在一些示例中，可以基于车辆的周围环境的两个图像来创建周围环境的深度图，每一个图像取自不同的视角。例如，这两个图像可以捕捉自两个不同的图像传感器(例如，组成立体摄像机)或捕捉自在捕捉第一图像之后移动的单个摄像机(例如，安装在车辆上的在车辆移动时连续地拍摄两个图片的侧向摄像机)。以下参照图2描述生成深度图的方法。
每个深度图108、110、112和114示出在每个深度图中具有不同的能见度水平的对象102、104和106的同一场景。深度图108具有最佳能见度，深度图110具有小于深度图108的能见度，深度图112具有小于深度图110的能见度，并且深度图114具有最小的能见度。另外，每个对象102、104和106位于不同的距离，其中，对象102距离摄像机150米，对象104距离摄像机100米，而对象106距离摄像机50米。
在一些示例中，可以基于最远的可见对象估计能见度水平。例如，对于深度图108、110和112，最远的可见对象是150米处的对象102，并且在每一种情况下，能见度水平可以被估计为150米的能见度。相反的是，对于深度图114，最远的可见对象是100米处的对象104，并且能见度水平可以被估计为100米的能见度。
在一些示例中，可以基于深度图的阈值密度估计能见度水平。这种启发法可以是有用的，因为一些对象可能仍然在大雾中勉强可见但是其可见度并未达到使得人类驾驶员或者由自动/辅助驾驶系统安全地导航的程度。在这种情况下，可以基于具有大于预定阈值密度的像素密度的深度图中的最远距离估计能见度水平。例如，在深度图112中，对象102可仍在150米处可见但是像素密度可以低于预定阈值密度，因此其距离可能无法被用作估计的能见度水平。而100米处的具有超过预定阈值密度的像素密度的对象104可以被用作估计的能见度水平。类似地，在深度图114中，对象104仍可在100米处可见但是像素密度可以低于预定阈值密度，因此其距离可能无法被用作估计的能见度水平。而50米处的具有超过预定阈值密度的像素密度的对象106可以被用作估计能见度水平。在一些示例中，卡尔曼滤波器可以被应用在随着时间收集的深度图数据上以确定估计的能见度水平的变化。
在一些示例中，深度图密度阈值比较可以在确定估计的能见度水平时将距离范围考虑在内。例如，可以在计算像素密度并且与预定密度阈值进行比较时将45米到55米之间的所有像素考虑在内。如果这些像素超过了该阈值但是50米到60米远的像素未超过该阈值，除了其他可能性之外，则估计的能见度水平可以是45米到55米、45米(该范围的最近端)、50米(该范围的中间部分)或55米(该范围的最远端)，。在一些示例中，估计的能见度水平可能并不用距离表示而是被表达为定性水平(例如，低、中或高)或表示定性水平的数字(例如，区间[0，1]中的浮点值)。
图2示出根据本公开的示例的估计车辆周围的能见度的示例性方法。该车辆(例如，车辆的电子部件，诸如处理器、控制器或电子控制单元)可以从安装在车辆上的一个或多个图像传感器接收第一图像数据(200)和第二图像数据(202)。例如，安装在车辆上的该一个或多个图像传感器可以包括立体摄像机，该立体摄像机包括第一图像传感器和第二图像传感器，其中，该第一图像数据由该第一图像传感器捕捉，该第二图像数据由该第二图像传感器捕捉。在一些示例中，安装在车辆上的该一个或多个图像传感器可以包括第一图像传感器(例如，侧向摄像机)，并且该第一和第二图像数据都可以(例如，在车辆移动时在不同的时间)由同一个第一图像传感器捕捉。
车辆可以生成(204)该第一图像数据和该第二图像数据之间的视差图，并且车辆可以进一步基于该视差图生成(206)深度图。例如，可以生成捕捉这两个图像之间的每个像素的视差或位移的视差图。像素可以在属于同一个对象的这两个图像中协同定位。从不同视角对图像中的像素进行协同定位可以将图像数据中的特征的颜色、形状、边缘等等考虑在内。例如，在简单的示例中，大小为图像中的单个像素的深红色对象可以简单地位于这两个图像数据集中，尤其是如果红色对象的背景为白色的话。如果对应于红色对象的像素位于这两个图像数据集中的不同位置，则可以确定在两个数据集之间红色对象的视差。这个视差可以与红色对象到车辆的距离成反比(即，越小的视差指示对象离车辆越远而越大的视差指示对象离车辆越近)。
视差值可以用于对对象进行三角测量以创建距离图。可以基于在这两个图像数据集之间协同定位的每个像素的视差值和这两个图像之间的基线距离计算该像素的距离估计值。在立体摄像机情况下，基线距离可以是立体摄像机中的这两个图像传感器之间的距离。在单个侧向摄像机和车辆移动的情况下，可以基于车辆的速度(例如，接收自速度传感器)和(例如，从当图像传感器捕捉到图像时生成的元数据得到的)这两个图像之间的时间差计算基线距离。在编号为8,837,811,标题为“多级线性移动结构(Multi-stage linearstructure from motion)”的美国专利中描述了这个“移动深度”过程的示例，此专利的内容通过引用以所有目的合并在本文中。在一些示例中，其他信息(诸如每个图像传感器的焦距)也可以用于确定每个像素的距离估计值。以此方式，可以生成包括可以在这两个图像数据集之间协同定位的每个像素的距离估计值集合的深度图。
然后车辆可以基于第一图像数据和第二图像数据之间的视差图(和/或从视差图生成的深度图)估计(208)能见度水平。在一些示例中，可以基于深度图中的最远的可见对象估计能见度水平，如参照图1更详细描述的。例如，如果深度图中最远的可见对象在150米处，则能见度水平可以被估计为150米。
在一些示例中，可以基于阈值密度估计能见度水平，如参照图1更详细描述的。例如，车辆可以确定深度图中的第一距离处的第一像素密度并且确定深度图中的第二距离处的第二像素密度。根据所述第一像素密度超过预定密度阈值的情况，所述估计的能见度水平是基于所述深度图中的所述第一像素距离，并且根据所述第二像素密度超过所述预定密度阈值并且所述第一像素密度未超过所述预定密度阈值的情况，所述估计的能见度水平是基于所述深度图中的所述第二像素距离。
在一些示例中，车辆可以基于估计能见度水平配置和/或重新配置(210)车辆的一个或多个系统。例如，车辆可以根据估计的能见度水平低于预定阈值的情况增加车辆的一个或多个灯的亮度(例如，如果由于大雾导致能见度较低，则灯需要更亮来增加能见度)。在一些示例中，车辆可以根据估计的能见度水平低于预定阈值的情况激活车辆的一个或多个雾灯(例如，如果由于大雾导致能见度较低，则可能需要使用雾灯)。在一些示例中，预定阈值可以基于当地对雾灯的使用规范(例如，如果法律要求在50米能见度或更短情况下使用雾灯)。
在一些示例中，车辆可以响应于相对低的估计的能见度水平重新配置或禁用自动/辅助驾驶系统。例如，如果它们依赖于可能在低能见度是受到影响的摄像机或其他光学系统，则某些驾驶辅助系统可以被禁用。类似地，可以启用依赖其他传感器(诸如将不受低能见度影响的超声波系统)的替代系统。在一些实施例中，可以根据能见度变化成比例地调整某些传感器或系统的置信度。例如，如果辅助/自动驾驶系统对来自光学和非光学传感器的信息进行加权，当能见度较高时，可以对来自光学传感器的信息进行更高的加权并且当能见度较低时，可以对其进行更低的加权。
在一些示例中，可以定期(例如，每3秒、每一分钟等等)触发能见度水平估计过程的任何或所有部分(例如，捕捉图像、生成视差图或深度图等等)。在一些示例中，启发法可以用于在仅当检测到能见度变化的指示时才触发该过程的计算上更密集的那些部分(例如，生成视差图或深度图)。例如，在能见度降低时，尖锐边缘(例如，地平线、对象的边缘等等)会变得没那么尖锐或更模糊。通过检测所捕捉的图像中的边缘和确定边缘的一个或多个特性(例如，尖锐性、梯度等等)以及这些特性如何随着时间变化，可以检测到能见度变化并且可以触发图生成。在一个示例中，可以跨随着时间捕捉的多个图像跟踪地平线的尖锐性。只要尖锐性超过预定阈值(例如，指示相对高的能见度)，可以不生成任何视差图/深度图。于是，当尖锐性下降到预定阈值以下时(例如，指示能见度降低)，可以生成视差图和深度图并且可以相应地估计能见度水平。
图3示出根据本公开的示例的车辆的系统框图。车辆控制系统500可以执行参照图1A-2描述的任何方法。系统500可以并入车辆中，诸如消费者的汽车。可以并入系统500的其他示例车辆包括但不限于飞机、轮船或工业汽车。车辆控制系统500可以包括能够捕捉图像数据(例如，视频数据)的一个或多个摄像机506，如上所述。车辆控制系统500，如本公开所描述的可以包括耦合到摄像机506并且能够从摄像机接收图像数据的车载计算机510，。车载计算机510可以包括存储装置512、存储器516和处理器514。处理器514可以执行参照图1A-2描述的任何方法。另外，存储装置512和/或存储器516可以存储数据和用以执行参照图1A-2描述的任何方法的指令。存储装置512和/或存储器516可以是任何非瞬态计算机可读存储介质，诸如固态驱动器或硬盘驱动器及其他。车辆控制系统500还可以包括能够控制车辆操作的一个或多个方面的控制器520。
在一些示例中，车辆控制系统500可以连接到车辆中的一个或多个致动器系统530(例如，经由控制器520)。该一个或多个致动器系统530可以包括但不限于电动机531或发动机532、电池系统533、传动装置534、悬挂装置535、制动器536、转向系统537、门系统538和灯系统544。基于一个或多个对象相对于车辆的确定位置，车辆控制系统500可以响应于能见度变化来控制这些致动器系统530中的一个或多个系统(例如，灯544)。摄像机系统506可以继续捕捉图像并且将其发送到车辆控制系统500进行分析，如以上示例中所详细描述的。车辆控制系统500可以进而继续或周期性地向该一个或多个致动器系统530发送命令来控制车辆的配置。
因此，本公开的示例提供了响应于例如由于大雾而造成的能见度变化来安全并且高效地配置车辆的系统的各种方式。
因此，根据上述内容，本公开的一些示例涉及一种估计车辆周围的能见度的方法，所述方法包括以下步骤：从安装在所述车辆上的一个或多个图像传感器接收第一图像数据和第二图像数据；生成所述第一图像数据和所述第二图像数据之间的视差图；以及基于所述第一图像数据和所述第二图像数据之间的所述视差图估计能见度水平。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计的能见度水平低于预定阈值的情况，增加所述车辆的一个或多个灯的亮度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计的能见度水平低于预定阈值的情况，激活所述车辆的一个或多个雾灯。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，禁用驾驶辅助系统。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，降低驾驶辅助系统的置信度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括立体摄像机，所述立体摄像机包括第一图像传感器和第二图像传感器，所述第一图像数据由所述第一图像传感器捕捉而所述第二图像数据由所述第二图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述第一图像传感器是距所述第二图像传感器的基线距离，所述方法进一步包括：基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括第一图像传感器，并且所述第一图像数据和所述第二图像数据两者皆由所述第一图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述车辆的速度；基于所述车辆的所述速度和所述第一图像数据和所述第二图像数据之间的时间差计算基线距离；以及基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：检测所述第一图像数据中的第一边缘；确定所述第一图像数据中的所述第一边缘的特性；根据所述第一边缘的所述特性未超过预定阈值的情况，生成所述视差图；以及根据所述第一边缘的所述特性超过所述预定阈值的情况，放弃生成所述视差图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：基于所述视差图生成深度图；以及确定所述深度图中的第一距离处的第一像素密度，其中，所述估计的能见度水平基于所述深度图中的所述第一距离处的所述第一像素密度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述深度图中的第二距离处的第二像素密度；其中，根据所述第一密度超过预定密度阈值的情况，所述估计的能见度水平基于所述深度图中的所述第一像素距离；其中，根据所述第二密度超过所述预定密度阈值以及所述第一密度未超过所述预定密度阈值的情况，所述估计的能见度水平基于所述深度图中的所述第二像素距离。
本公开的一些示例涉及一种非瞬态计算机可读存储介质，存储有指令，当由包括一个或多个处理器的车辆执行时，所述指令致使所述车辆执行估计所述车辆周围的能见度的方法，所述方法包括以下步骤：从安装在所述车辆上的一个或多个图像传感器接收第一图像数据和第二图像数据；生成所述第一图像数据和所述第二图像数据之间的视差图；以及基于所述第一图像数据和所述第二图像数据之间的所述视差图估计能见度水平。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，增加所述车辆的一个或多个灯的亮度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，激活所述车辆的一个或多个雾灯。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，禁用驾驶辅助系统。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，降低驾驶辅助系统的置信度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括立体摄像机，所述立体摄像机包括第一图像传感器和第二图像传感器，所述第一图像数据由所述第一图像传感器捕捉而所述第二图像数据由所述第二图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述第一图像传感器是距所述第二图像传感器的基线距离，并且所述方法进一步包括：基于所述视差图和所述基线距离生成深度图，其中，所述估计能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括第一图像传感器，并且所述第一图像数据和所述第二图像数据两者皆由所述第一图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述车辆的速度；基于所述车辆的所述速度和所述第一图像数据和所述第二图像数据之间的时间差计算基线距离；以及基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：检测所述第一图像数据中的第一边缘；确定所述第一图像数据中的所述第一边缘的特性；根据所述第一边缘的所述特性未超过预定阈值的情况，生成所述视差图；以及根据所述第一边缘的所述特性超过所述预定阈值的情况，放弃生成所述视差图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：基于所述视差图生成深度图；以及确定所述深度图中的第一距离处的第一像素密度，其中，所述估计能见度水平基于所述深度图中的所述第一距离处的所述第一像素密度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述深度图中的第二距离处的第二像素密度；其中，根据所述第一密度超过预定密度阈值的情况，所述估计能见度水平基于所述深度图中的所述第一像素距离；其中，根据所述第二密度超过所述预定密度阈值以及所述第一密度未超过所述预定密度阈值的情况，所述估计的能见度水平基于所述深度图中的所述第二像素距离。
本公开的一些示例涉及一种车辆，包括一个或多个处理器；一个或多个图像传感器；存储器，存储有指令，当由所述一个或多个处理器执行时，所述指令致使所述车辆执行估计所述车辆周围的能见度的方法，所述方法包括以下步骤：从安装在所述车辆上的一个或多个图像传感器接收第一图像数据和第二图像数据；生成所述第一图像数据和所述第二图像数据之间的视差图；以及基于所述第一图像数据和所述第二图像数据之间的所述视差图估计能见度水平。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，增加所述车辆的一个或多个灯的亮度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，激活所述车辆的一个或多个雾灯。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，禁用驾驶辅助系统。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：根据所述估计能见度水平低于预定阈值的情况，降低驾驶辅助系统的置信度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括立体摄像机，所述立体摄像机包括第一图像传感器和第二图像传感器，所述第一图像数据由所述第一图像传感器捕捉而所述第二图像数据由所述第二图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述第一图像传感器是距所述第二图像传感器的基线距离，所述方法进一步包括：基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，安装在所述车辆上的所述一个或多个图像传感器包括第一图像传感器，并且所述第一图像数据和所述第二图像数据两者皆由所述第一图像传感器捕捉。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述车辆的速度；基于所述车辆的所述速度和所述第一图像数据和所述第二图像数据之间的时间差计算基线距离；以及基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平基于所生成的深度图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：检测所述第一图像数据中的第一边缘；确定所述第一图像数据中的所述第一边缘的特性；根据所述第一边缘的所述特性未超过预定阈值，生成所述视差图；以及根据所述第一边缘的所述特性超过所述预定阈值的情况，放弃生成所述视差图。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：基于所述视差图生成深度图；以及确定所述深度图中的第一距离处的第一像素密度，其中，所述估计的能见度水平基于所述深度图中的所述第一距离处的所述第一像素密度。除以上所公开的示例中的一个或多个示例之外或可替代地，在一些示例中，所述方法进一步包括：确定所述深度图中的第二距离处的第二像素密度；其中，根据所述第一密度超过预定密度阈值的情况，所述估计的能见度水平基于所述深度图中的所述第一像素距离；其中，根据所述第二密度超过所述预定密度阈值以及所述第一密度未超过所述预定密度阈值的情况，所述估计的能见度水平基于所述深度图中的所述第二像素距离。
尽管已经参照附图充分地描述了本公开的示例，应当注意的是对本领域的技术人员而言，各种变化和修改是显而易见的。这种变化和修改应当被认为被包括在所附权利要求书所限定的本公开的示例的范围内。

Claims (24)

1.一种非瞬态计算机可读存储介质，存储有指令，当由包括一个或多个处理器的车辆执行时，所述指令致使所述车辆执行估计所述车辆周围的能见度的方法，所述方法包括以下步骤：
从安装在所述车辆上的一个或多个图像传感器接收第一图像数据和第二图像数据；
生成所述第一图像数据和所述第二图像数据之间的视差图；以及
基于所述第一图像数据和所述第二图像数据之间的所述视差图估计能见度水平。
2.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来增加所述车辆的一个或多个灯的亮度。
3.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来激活所述车辆的一个或多个雾灯。
4.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来禁用驾驶辅助系统。
5.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来降低驾驶辅助系统的置信度。
6.根据权利要求1所述的非瞬态计算机可读存储介质，其中，所述车辆包括立体摄像机，所述立体摄像机包括第一图像传感器和第二图像传感器，所述第一图像数据由所述第一图像传感器捕捉而所述第二图像数据由所述第二图像传感器捕捉。
7.根据权利要求6所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：基于所述视差图和基线距离生成深度图，其中，所述基线距离是所述第一图像传感器和所述第二图像传感器之间的距离，并且其中，所述估计的能见度水平是基于所生成的深度图。
8.根据权利要求1所述的非瞬态计算机可读存储介质，其中，所述车辆包括第一图像传感器，并且所述第一图像数据和所述第二图像数据两者皆由所述第一图像传感器捕捉。
9.根据权利要求8所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：
确定所述车辆的速度；
基于所述车辆的所述速度以及所述第一图像数据和所述第二图像数据之间的时间差计算基线距离；以及
基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平是基于所生成的深度图。
10.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：
检测所述第一图像数据中的第一边缘；
确定所述第一图像数据中的所述第一边缘的特性；
根据所述第一边缘的所述特性未超过预定阈值的情况，生成所述视差图；以及
根据所述第一边缘的所述特性超过所述预定阈值的情况，放弃生成所述视差图。
11.根据权利要求1所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：
基于所述视差图生成深度图；以及
确定所述深度图中的第一距离处的第一像素密度，其中，所述估计的能见度水平是基于所述深度图中的所述第一距离处的所述第一像素密度。
12.根据权利要求11所述的非瞬态计算机可读存储介质，所述方法进一步包括以下步骤：
确定所述深度图中的第二距离处的第二像素密度；
其中，根据所述第一像素密度超过预定密度阈值的情况，所述估计的能见度水平是基于所述深度图中的所述第一像素距离；
其中，根据所述第二像素密度超过所述预定密度阈值并且所述第一像素密度未超过所述预定密度阈值的情况，所述估计可见性水平是基于所述深度图中的所述第二像素距离。
13.一种车辆，包括：
一个或多个处理器；
一个或多个图像传感器；
存储器，存储有指令，当由所述一个或多个处理器执行时，所述指令致使所述车辆执行估计所述车辆周围的能见度的方法，所述方法包括以下步骤：
从安装在所述车辆上的所述一个或多个图像传感器接收第一图像数据和第二图像数据；
生成所述第一图像数据和所述第二图像数据之间的视差图；以及
基于所述第一图像数据和所述第二图像数据之间的所述视差图估计能见度水平。
14.根据权利要求13所述的车辆，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来增加所述车辆的一个或多个灯的亮度。
15.根据权利要求135所述的车辆，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来激活所述车辆的一个或多个雾灯。
16.根据权利要求13所述的车辆，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来禁用驾驶辅助系统。
17.根据权利要求13所述的车辆，所述方法进一步包括以下步骤：根据能见度水平低于预定阈值的估计结果来降低驾驶辅助系统的置信度。
18.根据权利要求13所述的车辆，其中，所述车辆包括立体摄像机，所述立体摄像机包括第一图像传感器和第二图像传感器，其中，所述第一图像数据由所述第一图像传感器捕捉而所述第二图像数据由所述第二图像传感器捕捉。
19.根据权利要求18的车辆，其中，所述第一图像传感器是距所述第二图像传感器的基线距离，并且其中，所述方法进一步包括以下步骤：基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平是基于所生成的深度图。
20.根据权利要求13所述的车辆，其中，所述车辆包括第一图像传感器，并且所述第一图像数据和所述第二图像数据两者皆由所述第一图像传感器捕捉。
21.根据权利要求20所述的车辆，所述方法进一步包括以下步骤：
确定所述车辆的速度；
基于所述车辆的所述速度以及所述第一图像数据和所述第二图像数据之间的时间差计算基线距离；以及
基于所述视差图和所述基线距离生成深度图，其中，所述估计的能见度水平是基于所生成的深度图。
22.根据权利要求13所述的车辆，所述方法进一步包括以下步骤：
检测所述第一图像数据中的第一边缘；
确定所述第一图像数据中的所述第一边缘的特性；
根据所述第一边缘的所述特性未超过预定阈值的情况，生成所述视差图；以及
根据所述第一边缘的所述特性超过所述预定阈值的情况，放弃生成所述视差图。
23.根据权利要求13所述的车辆，所述方法进一步包括以下步骤：
基于所述视差图生成深度图；以及
确定所述深度图中的第一距离处的第一像素密度，其中，所述估计的能见度水平是基于所述深度图中的所述第一距离处的所述第一像素密度。
24.根据权利要求23所述的车辆，所述方法进一步包括以下步骤：
确定所述深度图中的第二距离处的第二像素密度；
其中，根据所述第一像素密度超过预定密度阈值的情况，所述估计的能见度水平是基于所述深度图中的所述第一像素距离；
其中，根据所述第二像素密度超过所述预定密度阈值并且所述第一像素密度未超过所述预定密度阈值的情况，所述估计的能见度水平是基于所述深度图中的所述第二像素距离。
CN201710057490.2A 2016-01-29 2017-01-26 用于确定能见度状态的系统及方法 Pending CN106952310A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662288873P 2016-01-29 2016-01-29
US62/288,873 2016-01-29

Publications (1)

Publication Number Publication Date
CN106952310A true CN106952310A (zh) 2017-07-14

Family

ID=59387615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710057490.2A Pending CN106952310A (zh) 2016-01-29 2017-01-26 用于确定能见度状态的系统及方法

Country Status (2)

Country Link
US (1) US20170220875A1 (zh)
CN (1) CN106952310A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164163A (zh) * 2018-02-13 2019-08-23 福特全球技术公司 便于环境能见度确定的方法和设备
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN111627056A (zh) * 2020-05-14 2020-09-04 清华大学 基于深度估计的行车能见度确定方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776636B2 (en) * 2015-12-29 2020-09-15 Faraday&Future Inc. Stereo camera-based detection of objects proximate to a vehicle
US20170349148A1 (en) * 2016-06-03 2017-12-07 GM Global Technology Operations LLC Method and apparatus for detecting road condition data and weather condition data using vehicular crowd-sensing
US10802117B2 (en) 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
US10735640B2 (en) 2018-02-08 2020-08-04 Facebook Technologies, Llc Systems and methods for enhanced optical sensor devices
TW202001672A (zh) * 2018-06-26 2020-01-01 大陸商上海蔚蘭動力科技有限公司 行車輔助系統及行車輔助系統的操作方法
CN110031823B (zh) * 2019-04-22 2020-03-24 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010099847A1 (de) * 2009-03-05 2010-09-10 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zum bestimmen einer sichtweite für ein fahrzeug
CN102509102A (zh) * 2011-09-28 2012-06-20 郝红卫 基于图像学习的能见度测量方法
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
CN104011737A (zh) * 2011-11-16 2014-08-27 宝马股份公司 用于探测雾的方法
US20150228079A1 (en) * 2014-02-08 2015-08-13 Honda Motor Co., Ltd. System and method for generating a depth map through iterative interpolation and warping

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678590B1 (en) * 2000-10-17 2004-01-13 Bbnt Solutions Llc Vehicle navigation system with vision system preprocessor using MPEG encoder
US10212407B2 (en) * 2014-10-14 2019-02-19 Koninklijke Philips N.V. Processing a disparity of a three dimensional image
WO2016073590A1 (en) * 2014-11-06 2016-05-12 Gentex Corporation System and method for visibility range detection
CN105718888B (zh) * 2016-01-22 2019-09-13 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010099847A1 (de) * 2009-03-05 2010-09-10 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zum bestimmen einer sichtweite für ein fahrzeug
CN102509102A (zh) * 2011-09-28 2012-06-20 郝红卫 基于图像学习的能见度测量方法
CN104011737A (zh) * 2011-11-16 2014-08-27 宝马股份公司 用于探测雾的方法
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
US20150228079A1 (en) * 2014-02-08 2015-08-13 Honda Motor Co., Ltd. System and method for generating a depth map through iterative interpolation and warping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安明伟: "基于路况视频的气象能见度检测方法", 《仪器仪表学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164163A (zh) * 2018-02-13 2019-08-23 福特全球技术公司 便于环境能见度确定的方法和设备
CN110335488A (zh) * 2019-07-24 2019-10-15 深圳成谷科技有限公司 一种基于车路协同的车辆自动驾驶方法和装置
CN111627056A (zh) * 2020-05-14 2020-09-04 清华大学 基于深度估计的行车能见度确定方法及装置
CN111627056B (zh) * 2020-05-14 2023-09-01 清华大学 基于深度估计的行车能见度确定方法及装置

Also Published As

Publication number Publication date
US20170220875A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN106952310A (zh) 用于确定能见度状态的系统及方法
CN108496178B (zh) 用于估计未来路径的系统和方法
CN106663193B (zh) 用于路缘检测和行人危险评估的系统和方法
JP6477882B2 (ja) 自己位置推定装置及び自己位置推定方法
JP2018027772A (ja) ステレオカメラに基づく自律走行方法、自律走行装置及びコンピュータプログラム
US9547795B2 (en) Image processing method for detecting objects using relative motion
EP3467698A1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
EP3110145B1 (en) External-environment recognition system, vehicle, and camera-dirtiness detection method
US10290080B2 (en) Method for displaying a vehicle environment of a vehicle
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN108162858B (zh) 车载监控装置及其方法
CN106104203A (zh) 一种移动物体的距离检测方法、装置及飞行器
EP2815383A1 (en) Time to collision using a camera
WO2017122086A1 (en) Systems and methods for augmenting upright object detection
CN108602483A (zh) 用于基于相机检测车辆附近对象高度的系统和方法
CN111497741B (zh) 碰撞预警方法及装置
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
JP5172422B2 (ja) 運転支援システム
EP4001844A1 (en) Method and apparatus with localization
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170714