CN101950350B - 使用分级方法的畅通路径检测 - Google Patents

使用分级方法的畅通路径检测 Download PDF

Info

Publication number
CN101950350B
CN101950350B CN2009102584232A CN200910258423A CN101950350B CN 101950350 B CN101950350 B CN 101950350B CN 2009102584232 A CN2009102584232 A CN 2009102584232A CN 200910258423 A CN200910258423 A CN 200910258423A CN 101950350 B CN101950350 B CN 101950350B
Authority
CN
China
Prior art keywords
sticking patch
clear path
image
confidence probability
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009102584232A
Other languages
English (en)
Other versions
CN101950350A (zh
Inventor
W·张
S·M·奈克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/474,594 external-priority patent/US8634593B2/en
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN101950350A publication Critical patent/CN101950350A/zh
Application granted granted Critical
Publication of CN101950350B publication Critical patent/CN101950350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及使用分级方法的畅通路径检测。一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，该方法包括：监测图像；以及应用图像的基于补片的第一分析，该第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率。具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片被定义为畅通路径补片。在具有不大于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定第二分析的每个补片的第二畅通路径信心几率。具有大于第二阈值信心几率的第二畅通路径信心几率的第二分析的每个补片被定义为畅通路径补片。基于畅通路径补片识别车辆行驶的畅通路径。

Description

使用分级方法的畅通路径检测
相关申请的交叉引用
本申请是2009年5月29日提交的美国申请No.12/474,594的部分继续申请，上述美国申请是2008年4月24日提交的美国申请No.12/108,581的部分继续申请，美国申请No.12/474,594和美国申请No.12/108,581都通过引用并入本申请。
技术领域
本发明涉及机动车辆的自动或半自动控制。
背景技术
本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。
自主驾驶系统和半自主驾驶系统利用与路况和其它驾驶情况相关的输入来自动控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代以人脑作为控制机构的车辆操作来说是至关重要的。
路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段，例如，包括静态物体(如路缘等)、移动物体(如其他车辆)以及路面情况(如车道标记、凹坑或者车道上的结冰区域)；还包括继而根据这些与导航相关的信息进行有效地驾驶。
感知物体或路况的科技手段包括从视频摄像机、雷达成像、以及激光雷达(LIDAR)所得到的数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回来的电波图案能够被分析，从而估计物体的位置。类似地，LIDAR使用光源和来自车辆环境的返回光来产生环境信息。
有关车辆前方地面的数据一旦产生，这些数据必须经过分析来估计物体或者路况的存在。通过使用摄像机、雷达成像系统以及LIDAR，可以分析车辆前方的地面或道路，从而得到可能需要避开的物体或路况。然而，仅仅识别那些需要避免的潜在导航因素并没有完成分析过程。任何自主系统的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的潜在导航因素以便识别操作车辆的畅通路径。
一种已知的识别操作车辆的畅通路径的方法是将所有感知到的导航因素进行分类并临时性地识别所有感知到的导航因素，并且根据所识别的导航因素的位置和特性来识别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类导航因素。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。
发明内容
一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，该方法包括：监测图像；以及应用图像的基于补片的第一分析，该第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率。具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片被定义为畅通路径补片。在具有不大于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定第二分析的每个补片的第二畅通路径信心几率。具有大于第二阈值信心几率的第二畅通路径信心几率的第二分析的每个补片被定义为畅通路径补片。基于畅通路径补片识别车辆行驶的畅通路径。
附图说明
现在将参考附图通过示例来描述一个或多个实施方式，附图中：
图1示出了配备有根据本发明的摄像机和雷达成像系统的车辆的示例性设置；
图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；
图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；
图4示出了根据本发明的一种分析图像的示例性方法；
图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；
图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像差别的示例性方法；
图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的一种示例性方法；
图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的另一种示例性方法；
图9示出了根据本发明的一种基于补片来检测畅通路径的示例性方法的流程图；
图10以绘图方式示出了根据本发明的应用于示例性图像的示例性的多个透视补片；
图11是根据本发明的用于检测畅通路径的基于富含纹理像素的方法的流程图；
图12是根据本发明的用于检测畅通路径的基于无纹理像素的方法的流程图；
图13是根据本发明的使用畅通路径检测方法的第一等级结构检测车辆行驶的畅通路径的流程图；
图14是根据本发明的使用畅通路径检测方法的第二等级结构检测车辆行驶的畅通路径的流程图；
图15示意性地示出了根据本发明的示例性的基于示例的方法的操作。
具体实施方式
现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本发明，图1示出了根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像系统130，当配备雷达成像系统130时该系统同样也与处理模块120进行通信。本领域技术人员应该理解的是，车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像系统130同时使用或者选择使用，包括LIDAR、与数字地图结合的GPS信息、来自与车辆100通信的其他车辆的信息、来自与车辆100通信的基础设施的信息、特定道路的历史数据、生物检测信息-例如读取驾驶员视觉焦点的系统信息、或其他类似系统。本发明可应用于各种设备，因此不局限于此。
摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中，摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如，在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组比特对应于蓝色强度值。
雷达成像装置130是本领域公知的装置，其包含如下设备：发射器，其能够发射无线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)系统来取代雷达成像装置130或者作为其补充，光检测和测距系统被构造成发射并接收光能量。接收到的光能量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够实现畅通路径检测。此处所用的术语“畅通路径(clear path)”的含义对本领域普通技术人员来说是普通的、常规的含义(并且不限定于特殊的或专用的含义)，其指的是-但不局限于不存在超过阈值的物体的路径。
图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其包括：微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读存储器组成的存储介质；随机存取存储器；高速时钟；模-数和数-模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每3.125、6.25、12.5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。
处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达成像系统130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者，处理模块120可以仅仅为一个独立的自主驾驶系统提供信息。处理模块120适于在必要的时候接收来自其他系统和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式。
图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确定取决于被识别物体40的特定分类和特性。
图3示出了根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车辆100前方的道路环境。地面20代表了在不考虑任何潜在物体的情况下所有可供车辆行驶的路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出畅通路径信心几率，其中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被简单地统一为地面20上的整体均匀阻碍的一部分。上述地面20-也即在不进行区分的情况下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50，也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值信心几率的区域。
在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个独立的物体，如：停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅通路径的畅通路径信心几率，并在任何物体40存在时调整车辆100的控制。
二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4示出了根据本发明的一种可用于分析图像10的示例性方法。该方法将图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并依据对特征的分析、根据畅通路径的信心几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。
作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随机搜索或密集搜索。可替换地，从其他信息源-例如雷达成像系统130得到的有关物体40存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而，一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式。
一旦补片60已被识别而用于分析，处理模块120就通过将已知的特征识别算法应用到该补片而对该补片进行处理。另外，处理模块120能够对补片相对于车辆位置的位置进行分析。特征识别算法寻找可用的视觉信息，以便找到与物体相关的图像中的特征性图案，包括由线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性所定义的特征。特征识别算法可以被应用到连续图像中以识别与车辆运动对应的变化，其中，与地面运动不相关的变化可能被识别为不畅通路径。学习属性可通过车辆内的机器学习算法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来开发。
一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是否为畅通路径的信心几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率，例如可通过如下逻辑来设定阈值信心：信心＝畅通路径几率(i)如果_信心＞0.5，那么_补片＝畅通路径                     (1)在这个特定的示例性实施方式中，50％或者0.5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。
在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述：分类误差(i)＝FARi+FRRi                         (2)从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定义补片，或者由所有包含特征的加权和来定义补片。
上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。
如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不同的分析：在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机会来定义该特征。
处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图像强度差异和车辆运动补偿的图像差异。
通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。一种绝对图像强度差异方法包括如下步骤：确定原始图像与第二幅图像之间的等效图像特征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使用上述方法来分析任一或两个所获取的图像上的补片。
图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对连续图像以识别潜在的不畅通路径。
同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到的，分类可以被比较，例如可通过以下逻辑进行这种比较：信心(i)＝畅通路径几率(i)-被检测物体几率(i)如果_信心＞0，那么_补片＝畅通路径                    (3)在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有可能出现，因此可能会引入一些因数或偏差。
图7示出了根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测试特征作为被检测物体的分类。图8示出了根据本发明对在两幅图像之间收集的数据进行比较以评价本发明的物体40的属性的方法。摄像机110在t1时刻发现并以第一幅图像的形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在t1时刻摄像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一平面上的平坦物体，那么摄像机110在t1时刻观测到的物体40的轮廓将与点90B相对应。在时刻t1和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表达式3中进行比较。
从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位系统。可在算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅图像的地面上的平坦特征中。
比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物体在多个循环中被跟踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差异分析和聚焦分析的特定应用可能有不同的实施方式，本发明不局限于此处提及的具体实施方式。
此处公开了用于识别畅通路径的多种方法，这些方法包括：基于补片的方法和基于像素的方法。这些方法优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如，在软件、硬件和/或专用集成电路中执行。基于补片的方法在上文中以及此处参考图9和10进行描述。基于像素的方法在此参考图11和图12进行描述。基于像素的示例性方法包括无纹理方法和富含纹理方法。富含纹理方法基于图像内前后视图的关系来分析图像中与像素相关的特征以确定明显的关切点。这些关切点与车辆100前方的视场相对应地被绘图，并基于地图上的关切点的地形来确定畅通路径。图像上的不一致区域不属于平坦连续路面的一部分，无纹理方法将这些区域进行过滤，剩下的像素就对应于畅通路径。如上所述，基于补片的方法在计算上相对较快，而基于像素的方法在计算上相对较慢。
图9示出了根据本发明的一种基于补片的示例性方法200，其中，分析来自摄像机的输入以确定畅通路径几率。基于补片的方法200如图9所示，该方法在这里被描述为包含若干分立元件。这种图示是为了描述方便，这些元件所实现的功能可以组合在一个或多个装置中完成，如在软件、硬件和/或专用集成电路中执行。例如，基于补片的方法200可作为处理模块120中的一个或多个算法来执行。
在操作过程中，摄像机110产生用于处理模块120中的分析的图像(202)。处理模块120识别图像中的补片，并选择分析用的补片(204)。为了足以充分分析图像而定义多个补片的多种方法都在本发明中考虑了。如上所述，补片可以根据随机搜索方法或者密集搜索方法来定义。可替换地，从其他信息源-例如雷达成像系统或LIDAR所得到的信息能够用来定义补片，以便分析图像的一部分。此外，多个重叠补片可以基于被分析图像中的关切区域而被利用。另外，可以使用多种方法来根据车辆前方的预期路面定义补片并得到畅通路径图案，例如：固定网格补片方法，将一些或所有图像根据规则补片图案进行划分；视角补片方法，与固定网格补片方法类似，不同点在于，其基于道路的视图并且在考虑每个补片中所包含的路面的量的情况下对补片大小和/或形状进行调制。这种车辆前方的预期路面能够通过输入图像的最初复查来判定，例如，使用能够定义车道边界的清晰可见的线来作为定义补片图案的最初参考。再例如，能够使用由畅通路径方法的最近一次迭代所得到的补片图案，并且基于反复定义的畅通路径和其他能在被分析图像中识别出的标识、通过迭代对其进行缓慢调制。
固定网格补片方法基于关切区域将图像识别并分割成多个补片，并将固定网格图案应用到关切区域。固定网格图案将整个关切区域充分分割为多个部分。关切区域优选环绕紧邻车辆前方的视场，然而，该区域可定义为环绕更窄的视场。在一个实施方式中，关切区域环绕紧邻车辆前方的视场，并由道路的水平线或消失点来限定边界。固定网格补片方法可包括通过矩阵进行补片追踪、识别和分析，其中，每个补片可通过一个数字序列的数字来识别。
固定网格补片能通过多种方法应用到图像上。第一种方法是使用相同的图像坐标将固定网格补片应用到连续图像。第二种方法是使用在图像上识别出的关切点-例如水平线将固定网格补片应用到图像。第三种方法是将固定网格补片应用到补偿车辆运动-例如车辆偏航的图像。
视角补片方法基于视场坐标而不是图像坐标来识别图像、并将图像分割成多个补片。关切区域的识别已在之前进行了描述，其中，视角补片图案基于估计出的视场坐标被应用到关切区域，从而相对于由每个补片覆盖的地面的近似面积对补片大小进行分配。这种视角补片定义使得：描述更接近车辆的地面的补片被更详细地复查，而描述离车辆较远的地面的补片不会被过多地复查。补片能够根据所获取的道路上的行车道进行排列，例如，由车道标志和/或路缘限定的车道。这些补片定义经常是梯形的，梯形的两个平行边与地平线或车辆的水平轴相平行，梯形的其余边取决于限定在图像视图中的路面。这种补片排列对定义路面是高效的。然而，多种不同的补片形状使得补片网格的计算以及补片的分析很复杂。补片可以被规范为矩形(或方形)，仍然平行于地平线或车辆的水平轴。这种矩形补片在覆盖路面方面效率较低，例如，与补片相重叠的若干路面部分包括实际上畅通的道路，但是补片的足够的分辨率以及计算效率的提高能够使得这种规范化的视角补片变得有利。
图10以绘图方式示出了应用于示例性图像的示例性的多个规范化的透视补片。这些透视补片的尺寸基于与透视补片相关的地理区域而变化。如图10所示，与靠近车辆的地理区域相关的补片比与远离车辆的地理区域相关的补片的尺寸更大。根据地理区域在图像上定义补片使得能够基于地理区域分配补片的处理资源，从而在作出驾驶决定的时间比较有限的情况下提高检测车辆附近的物体的能力。
回到图9，一个滤波器或一组滤波器能被应用到被选择的补片上(206)，例如，亮度规范化滤波器(lighting normalization filter)。一个示例性的规范化滤波器改变补片内的像素强度值的范围，因此使得补片的范围更适合机器处理。例如，将每个像素值规范化为零均值和单位方差能够增强图像的对比度，特别是在光线较暗的环境下或者因为反光而造成对比度较低的情况下。多种示例性滤波器和滤波方法对图像分析都有用，本发明不局限于此处描述的特定的示例性实施方式。
经过滤波之后，在被选择的补片上用特征提取算法进行特征提取(208)。特征提取算法可对所选的补片进行分析以得到预定的特征和/或形状，其中，预定的特征包括例如边缘、角落和污点；形状包括例如圆、椭圆和线。应当认识到，一些特征有意义，而另一些没有，选择特征的过程能用来识别出一组最好的特征用于进行分析。分类器训练算法分析每个特征，并分配一个几率值(210)。如上所述，在几率值推导时所使用的分类器或逻辑最初是离线训练的。基于模糊逻辑、神经网络或本领域已知的其他学习机构，训练可选择性地在车辆中继续进行。这些训练过的分类器基于所提取的特征进行几率分析，并确定补片的几率值。这种几率值表示被选补片为畅通的信心。
几率分析可通过使用空间和/或时间上相关的补片来扩充，以评估在车辆操作过程中识别出的特征。当特征提取算法识别出一个特征时，处理模块120可以从空间方面分析该识别出的特征在邻近或附近的补片中的一致性。在一个补片中识别出的特征可以与其他相邻的补片进行比较，以确定其与相邻补片之间是否有偏差或者是否一致。与相邻补片一致的特征可以被分配一个与相邻补片近似的几率值，而与相邻补片不一致的特征需被分配一个不同的几率值。与空间分析类似，当特征提取算法识别出一个特征时，处理模块120可以从时间方面分析被识别特征在时间相关的补片中的一致性，从而对车辆运动进行补偿。例如，在若干帧中分析并被确定为在图像的各帧中具有高几率值的特征，能够与后续帧中的收到低几率值的相同特征从时间方面进行比较。如果该特征的时间分析揭示了新信息，例如相对于道路的特征运动；或者增加的视角表明该特征代表了位于路面上的一个物体，那么该特征的较低几率值能够被确定。如果没有得到新信息，那么当前帧中的特征的较低几率值可以被中止，因为其不一定表示不畅通路径。可用类似的方法来分析后续帧，以确定该特征是显著的还是非显著的。类似地，根据此处描述的方法，有问题的特征能够在当前的或者后续的图像中、通过增加计算侧重点来进行分析。
处理模块120将几率值与几率阈值进行比较(214)。如果几率值比几率阈值大，那么该补片被识别为畅通路径(218)。如果几率值不比几率阈值大，那么该补片就被识别为不畅通路径。
如上所述，基于补片的方法200可以通过多种方式进行重复或迭代，通过不同补片的选择和分析对同一图像进行反复分析，并且能够在多个连续图像中追踪被识别的补片并分析其变化。
图11示出了根据本发明的一种示例性的基于富含纹理的像素的方法300，其中，对摄像机的输入进行分析以确定畅通路径几率。图10中示出了基于富含纹理的像素的方法300，并且在此处描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于像素的方法300可作为处理模块120中的一个或多个算法来执行。
在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(302)。处理模块120分析图像以找到关切点，例如，如上所述地检查像素颜色强度，并将像素或一组像素与周围像素进行比较。关切点是图像上的可识别像素，并与一系列视觉信息-即富含纹理的特征相联系，并且与位于视场中的物体相联系。通过本领域已知的方法，例如，比例不变特征变换(SIFT)，利用角落检测或其他形状检测的方法；或者Sobel滤波器，关切点可被识别并用以完成此处所述的方法(306)。在一个实施方式中，多余关切点-例如与同一特征相对应的多个关切点将被剔除，以便提高计算效率。
一旦识别出关切点，在可能的情况下，处理模块120比较车辆运动时的连续图像，以便对来自每个图像的关切点与连续图像中的对应点进行匹配(310)，这些对应点在视场中对应于相同的点。匹配包括使用对应匹配程序，例如，比例不变特征变换(SIFT)特征匹配程序和光流程序；并且可进一步包括通过模版匹配来定位对应点，从而考虑宿主车辆的运动，并且对两个点是否代表视场中的同一可见物体或可见特征作出最佳估计。模板匹配可通过多种方法中的一种来确定以便找到对应的关切点，包括若干已知模板匹配程序方法中的一个，例如Lucas-Kanade或者Horn-Schunck。匹配后的点对与位于两幅图像中的同一特征相对应，其中，该同一特征与视场中的同一物体相关联。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅通路径。
处理模块120对匹配的对应点对进行滤波，以便识别出高质量的、能够在三维位置识别中以高信心水平被应用的对应点对(314)。优选的匹配点对可以基于质量控制标准进行选择，例如，两个点之间的距离，与图像边界之间的距离以及各相邻像素之间的颜色相似度等。判断匹配点对的标准的选择还可基于如下条件，例如：当前车外亮度、天气、车辆速度和其他任何影响判断匹配点对的能力的因素，或者快速、精确地定义畅通路径的紧迫性。
高质量的对应点对被分析以确定视场中的由对应点对所代表的物体的三维位置(318)。应当理解的是，与地面相比具有不同高度的对应点在连续图像中会有不同的运动。在连续图像之间分析关切点的运动能够产生关切点的估计出的三维坐标。基于高质量的对应点对、连续图像之间的样本时间以及诸如车速、车辆偏航率等的车辆数据，能够确定物体位置。通过这些三角测量方法能够得到物体在水平面中的位置以及物体相对于地面的高度。
所确定的物体位置用来对宿主车辆前方的物体位置进行绘图(322)，所绘地图包括视场的估计地形。地形可通过指定物体周围的预定空间维度来估计。优选地，预定空间维度在高度方面相对于距物体的距离以预定速度减小。通过使用地图和估计地形，处理模块120能够确定宿主车辆前方的畅通路径(326)。
上面的方法应用连续图像来建立有关车辆前方的物体位置和垂直高度的地图，从而可以确定一条畅通路径。应当理解的是，在任意两个给定的图像中，一个特定物体可能不会被分类为包含两个足够在该特定分析中被绘图的、高质量的关切点。然而，上述分析在车辆行驶过程中每秒钟发生多次。当车辆在畅通路径上向前行驶时，将得到物体的不同视角，并将分析大量的图像。在路径上行驶并分析该路径上的多个迭代图像，可通过所述分析建立一个信心值，该信心值表明在被识别的畅通路径上不存在阻碍畅通路径的物体。
图12示出的是根据本发明的一种示例性的基于无纹理像素的方法400，其中，分析摄像机的输入以确定畅通路径的几率。基于无纹理像素的方法400在图12中示出，并在此处被描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于无纹理像素的方法400可作为处理模块120中的一个或多个算法来执行。
在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(453)。处理模块120通过多种滤波方法来分析图像以识别并剔除图像中不一致的像素。剩余的像素代表了车辆可以行驶的潜在的畅通路径。图11示出的基于无纹理像素的方法400包括识别并剔除图像中的不一致像素的4种示例性滤波方法。无纹理的方法能与四种示例性方法的某些部分结合应用，并且/或者可用未命名的类似方法来处理图像。
第一种示例性滤波方法剔除在地平线或者消失点以上的像素(456)，包括天空和其他不能构成路面的一部分的垂直特征。术语“消失点”是一个广义的术语，此处采用对本领域普通技术人员而言常用和常规的含义，指的是地平线上的无穷远的、与视野中地面上的多个平行线交叉的点。识别路面从而建立车辆行驶的畅通路径必然在消失点或地平线以下。滤波图像以便仅分析地平线以下的区域有助于使被分析以识别路面的像素与不相关的像素区分开。本领域技术人员可以理解，确定消失点和对应的地平线有很多已知的方法。
第二种示例性滤波方法应用基于像素颜色强度差异的滤波器(459)，其前提是路面将包括一个大的表面，该整个表面上的视觉强度都相同。当相关像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。对于与多种颜色相关联的像素，当任何特定颜色的像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。基于被识别为畅通路径的像素的历史颜色强度，预设的阈值能够被更新。
第三种示例性滤波方法应用基于连续图像的差异的滤波器，其能够分析图像之间的变化(462)。某些像素与一种像素颜色强度相关联，当该像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。在一个实施方式中，基于车辆的运动来调整图像，从而对像素进行区别和比较，就像所有像素都与地平面上的点相对应一样。已知的三角测量方法能用来确定对图像的运动调整。通过假设图像上的所有物体都在地平面上，同与地平面关联的像素不一致的变化能够用来识别那些不在地平面上的点。例如，地平面上方的像素在连续图像之间的运动可能比预料的更快，这种运动能够通过在连续图像之间检查像素颜色强度之间的差异来进行识别。
第四种示例性滤波方法应用基于视觉数据中的代表边缘或过渡的像素识别的滤波器(465)。为了产生第四个滤波图像，基于与边缘相对应的颜色强度值，通过使用几种已知边缘检测滤波器中的一种-例如Sobel滤波器，处理模块120从图像中提取像素。边缘检测滤波器优选在处理模块120中执行，但也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，每个像素都使用Sobel算子来进行分析。Sobel算子计算每个像素颜色强度的梯度矢量，从而生成从亮到暗的最大可能增加的方向以及该方向上的变化率。与超过阈值的变化率相对应的点以及与附近像素的梯度矢量相对应的点代表了边缘，并被包含在第四个滤波图像中。当其他像素从图像中剔除时，这些像素仍被保留。
通过并行应用各种方法，结果能够融合到图像的单个地图中(468)。融合包括在每种不同的滤波方法中被识别的像素。融合的畅通路径地图上的像素与视场中期望的驾驶位置相对应。融合的畅通路径地图上的没有像素的位置与视场中不期望的驾驶位置相对应。处理模块120能够分析地图，以得到指示用于驾驶的畅通路径的视觉数据(471)。
如图12所示的基于无纹理像素的方法400将不同方法并行应用到图像，以识别视场中与定义畅通路径有关的特征。然而，应当理解的是，这些方法并非必须并行执行，也可以在各个步骤中连续地或者有选择地用这些方法处理图像，以识别视场中与定义畅通路径相关的特征。
基于像素的畅通路径的另一个检测方法包括应用融合的富含纹理方法和无纹理方法。
富含纹理方法和无纹理方法能够通过多种方式进行融合。带有被识别点和所确定的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方案的数据都能用来将信息投影在车辆前方区域的的编程上方地图上，包含从两个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。
本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的目的是将图像的范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的情况下。
如上所述，基于示例的方法能够替换其他方法或者作为补充来基于输入图像定义畅通路径。基于示例的一种示例性方法可由下列操作来描述：收集视图的多个样本图像，定义每个样本图像的畅通路径，将当前图像与一个或多个样本图像进行匹配，以及基于上述匹配来确定畅通路径。将当前图像与一个或多个样本图像进行匹配可通过如下方法实现：例如通过此处描述的方法从每个样本图像中提取特征，从当前图像中提取特征，将从当前图像中提取的特征与从样本图像所提取特征的数据库进行比较，以及为当前图像选择匹配的样本图像。畅通路径可从匹配最佳的样本图像中选出或者基于与当前图像最接近的匹配的组合来确定。
图15示意性地示出了根据本发明的示例性的基于示例方法的操作。基于示例的方法700被示出在图15中，并且在此描述为包括离散元件。这种图示是为了便于描述，并且应该认识到，由这些元件执行的功能可以组合在一个或多个装置中，例如在软件、硬件、和/或专用集成电路中执行。例如，基于示例的方法700可以作为处理模块120中的一个或多个算法来执行。
方法700示出了当前图像与多个示例或样本图像进行比较来确定畅通路径。如上所述，多个样本图像通过特征提取(704)被分析，并且例如在离线训练过程中所确定的特征被存储在改良的数据库中。方法700输入当前图像并在图像上执行特征提取(702)。当前图像的当前特征得以产生。这些当前特征被用于在改良数据库中选择与当前特征匹配的一个或多个特征(706)。在这个示例性的实施方式中，三组匹配特征被识别出来。匹配特征的对应图像然后与当前图像进行比较，当前图像的畅通路径基于匹配的样本图像的畅通路径被确定或推断出来(708)。
本领域技术人员应该理解的是，如上所述的基于示例的方法能够用来在下述情形中作出判断：其中各表面之间的视觉差别-例如相似颜色或不具有主导方向的各向同性纹理或者图像中区别不明显的特征可能无法通过本文描述的其它示例性方法而得到精确的结果。在这些实例中，样本图像的人为定义的畅通路径能够提供畅通路径位置的高级输入。此外，还应该理解的是，摄像机检测中的模糊处或弱点-例如存在于一些摄像机图像中的或聚集在背景建筑物中的大的径向变形，可导致在根据本文描述的其它方法解释图像时发生扭曲或得出不精确的结果。但是，图像中的这些模糊处或弱点在所公开的基于示例的方法中使用的样本图像和当前图像中都存在，因此将会被去除。特别地，如参照本文公开的分级方法所描述的，在基于补片的方法和/或基于像素的方法不能清楚地识别出畅通路径的情况下，基于示例的方法提供处理图像并识别畅通路径的替代性方法。
如上所述，示例性的基于补片的方法和基于像素的方法用于分析补片或补片中的像素以判断该补片表示的是畅通路径还是非畅通路径。另一方面，基于示例的方法确定或推断当前图像上的畅通路径的位置。应用分级方法，用基于示例的方法确定的畅通路径与被进一步分析的补片的位置进行比较，并且基于所述比较能够将该补片标识为畅通或非畅通。
本文公开了使用基于计算强度设置的畅通路径检测算法的等级结构来检测车辆行驶的畅通路径的方法。在该等级结构中，用计算强度较小的检测方法识别图像中的畅通路径，留下图像中没有被识别为畅通路径的剩余部分用计算强度较大的方法来分析。以这种方式，畅通路径识别的计算效率便会提高。如上所述，所用的特定方法和所用的特定分级方法的等级结构可以不同或变化。使用等级结构检测畅通路径的第一种示例性方法包括使用基于补片的畅通路径检测方法和基于像素的畅通路径检测方法。基于补片的畅通路径检测方法首先识别图像中的畅通路径，而基于像素的畅通路径检测方法被用来分析没有被基于补片的方法识别为畅通路径的剩余图像部分。本文公开的第二种示例性方法结合有额外的等级层。在第二种方法中，基于示例的方法进一步分析没有被基于像素的方法识别为畅通路径的部分。
等级结构的进一步的示例性实施方式已被预想到。例如，等级结构可被定义为包括基于补片的方法、基于像素的方法、和另一个基于像素的方法。在另一个示例中，等级结构可以被定义为包括基于像素的方法、然后是基于像素的方法的融合、然后是基于示例的方法。应该理解的是，这种结构不再限制于基于补片的方法的补片，其能够定义将通过不同等级层以不同方式来分析图像区域。例如，基于像素的方法能够识别圆形的区域或像素群，并且只有该区域或群能够被后续的畅通路径方法分析。可以预想到多种不同的等级结构，并且本发明并不局限于本文所述的特定实施方式。
图13示出了控制方案500的流程图，该控制方案使用包括基于补片的方法和基于像素的方法的畅通路径检测方法的示例性等级结构来检测车辆行驶的畅通路径。控制方案500被示出为多个离散元件。这种图示是为了便于描述，并且应该认识到，由这些元件执行的功能可以组合到一个或多个装置中，例如在软件、硬件、和/或专用集成电路中执行。例如，控制方案500可以作为处理模块120中的一个或多个算法来执行。
在操作过程中，摄像机110产生用于在处理模块120中分析的图像(502)。使用上述基于补片的畅通路径检测方法中的一个来分析所述图像(504)。处理模块120使用基于补片的方法在这些图像中识别多个组成补片。使用基于补片的方法对每个组成补片进行特征分析以确定如上所述的信心几率(506)。如上所述，信心几率表示该组成补片是车辆行驶的畅通路径的一部分的可能性。
确定了多个组成补片的信心几率值之后，处理模块120将该信心几率值与第一和第二预定阈值进行比较以确定所述组成补片是畅通的还是非畅通的，或者选择其用于额外的分析。与大于第一预定阈值的信心几率对应的组成补片被指定为畅通路径(508)。不大于第一预定阈值但大于第二预定阈值的组成补片被选择用于进一步分析(510)。小于第二预定阈值的组成补片被指定为非畅通路径(520)。
在选出用于进一步分析的那部分组成补片之后，处理模块120使用基于像素的畅通路径检测方法分析这些组成补片(512)。处理模块120应用上述基于像素的畅通路径检测方法来确定上述信心几率，从而基于通过基于像素的方法识别出的特征来确定所选的组成补片是对应于畅通路径还是非畅通路径(514)。应该理解的是，基于像素的方法根据一个像素或一组像素来做出决定。用于被分析补片的这种决定可基于包含在该补片内的像素作出，例如，如果补片内的任何或某些最小数量的像素被确定为非畅通的，则该补片被确定为非畅通的。与大于预定阈值的信心几率值相关联的组成补片对应于畅通路径，而与小于预定阈值的信心几率值相关联的组成补片对应于非畅通路径(515)。
在分析所选出的组成补片之后，可使用对应于畅通路径的组成补片(516)和对应于非畅通路径的组成补片(520)来识别畅通路径。
图13描述了使用第一预定阈值和第二预定阈值来判断特定补片是畅通的还是非畅通的，或者是需要额外分析的。应该理解的是，这对阈值可相反地描述为表明何时应该执行额外分析的数字范围。
图13进一步描述了使用较低的第二预定阈值以定义马上被认为是非畅通路径的补片。但是，应该认识到的是，可以在没有第二阈值的情况下采用相似方法，其中任何没有在第一种分析中识别为畅通路径的补片都将在第二种分析中被进一步分析。
图14示出了控制方案600的流程图，该控制方案使用包括基于补片的方法、基于像素的方法和基于示例的方法的畅通路径检测方法的等级结构来检测车辆行驶的畅通路径。控制方案600被描述为包括多个离散元件。这种图示是为了便于描述，并且应该认识到，由这些元件执行的功能可以组合到一个或多个装置中，例如在软件、硬件、和/或专用集成电路中执行。例如，控制方案600可以作为处理模块120中的一个或多个算法来执行。
在操作过程中，摄像机110产生用于在处理模块120中分析的图像(602)。使用上述基于补片的畅通路径检测方法中的一个来分析所述图像(604)。基于补片的方法识别这些图像内的多个组成补片和这些组成补片内的特征。在识别组成补片内的特征之后，处理模块120如上所述地使用几率分析来确定每个组成补片的信心几率。与大于第一预定阈值的信心几率相关联的组成补片被指定为畅通路径(606)。与不大于第一预定阈值但大于第二预定阈值的信心几率值相关联的组成补片被选择用于进一步分析(608)。与小于第二预定阈值的信心几率值相关联的组成补片被指定为非畅通路径(622)。
选出用于进一步分析的那部分组成补片之后，处理模块120使用上述基于像素的畅通路径检测方法来确定上述信心几率，从而确定所选的组成补片是对应于畅通路径还是非畅通路径(610)。基于像素的方法识别用于几率分析的特征，以确定所述组成补片的信心值。与大于第三预定阈值的信心几率值相关联的组成补片对应于畅通路径的(612)。与不大于第三预定阈值但大于第四预定阈值的信心几率值相关联的组成补片被选出来用于进一步分析(614)。与小于第二预定阈值的信心几率值相关联的组成补片被指定为非畅通路径(622)。
在选择像素之后，处理模块120使用示例性的基于示例的畅通路径检测方法来分析像素并且确定信心几率(616)。与大于预定阈值的信心几率值相关联的组成补片对应于畅通路径(618)。与小于第二预定阈值的信心几率值相关联的组成补片被指定为非畅通路径(622)。
在分析所选的组成补片之后，可以使用对应于畅通路径的组成补片和像素(620)和/或对应于非畅通路径的组成补片和像素(622)来识别畅通路径。
图14描述了一系列阈值，并且所述阈值由一系列数字标记标识(第一、第二、第三、等)。应该理解的是，这些标记仅用于表明这些阈值彼此之间可能不同。用于每次比较的较高或较低的阈值可能是不同的或相同的。但是，图14中只给出了这些标记，并且这些数字标记并不暗示其可能互不相同之外的任何涵义。
在各种预想到的实施方式中，上述等级结构或方法基于计算或处理的复杂性定义所述等级的各个阶段，优选在使用高强度方法之前使用低强度的方法。但是，应该理解的是，计算强度并不是用来定义用于每个等级阶段的特定方法的唯一考虑因素。例如，在正常条件下，可以使用图14的等级结构，首先应用基于补片的方法，接着是基于像素的方法，最后是基于示例的方法。但是，所用方法的顺序或一种方法的去除或替代可以基于觉察到的因素来设定。例如，在脏路的路面或覆盖有雪的路面上行驶时其中某种方法可能会产生很差的结果。类似地，具有快速变化的交通状况或行人交通的城市环境可能使其中某种方法产生很差的结果。由摄像机镜头上的污点所导致的来自摄像机的图像的污染也可能类似地使某种方法的结果较差。车辆速度可能会影响某种方法的结果的质量。这些因素可以通过实验方式、计算方式来确定，或者基于建模或者其他任何足以精确估计根据输入图像来确定畅通路径的不同畅通路径方法的有效性的方法来判定。另外，基于车辆内使用的多种畅通路径方法和车辆的合成操作，可以执行例如机器学习算法或者模糊逻辑的方法以便适应用于分级方法的各种畅通路径方法的选择。车辆的这种操作能够用本领域已知的很多方法来判断，例如，在车辆控制中监测操作员介入的发生或者通过监测图像中的、描述车辆在车道上的后续控制的车道标记的位置。在这些畅通路径方法中进行选择以及对各种畅通路径方法的选择进行调整的多种方法都可以预想到，本发明并不局限于此处的公开的特定的示例性实施方式。
如图13和14所示，多个阈值信心几率被示出为与分级方法的每个层中得出的信心几率进行比较。应该理解的是，这些阈值每个都可以是不同的和有差别的，能够被描述为第一阈值、第二阈值、第三阈值等。例如，一些阈值是共用的，共用的阈值限定特定补片何时是畅通路径。每个阈值的准确水平取决于用于分析补片的畅通路径方法并且可以通过实验方式得出，或者通过足以评估或估计所采用的图像处理方法的操作的任何方法来得出。
如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶系统提供信息。对观察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告和将车辆控制交给操作者。
已经描述了本发明的某些优选实施方式及其改型。通过阅读并理解说明书可以想到进一步的改型和变型。因此，本发明并不局限于作为最佳实施模式而公开的特定实施方式，相反本发明包括落入所附权利要求书的范围内的所有实施方式。

Claims (17)

1.一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括：
监测图像；
应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；
将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径补片；
在具有不大于第一阈值信心几率的第一畅通路径信心几率的部分补片上应用第二分析以确定所述第二分析的每个补片的第二畅通路径信心几率；
将具有大于第二阈值信心几率的第二畅通路径信心几率的所述第二分析的每个补片定义为畅通路径补片；以及
基于所述畅通路径补片识别车辆行驶的畅通路径。
2.如权利要求1的方法，还包括将基于补片的第一分析的每个补片的第一畅通路径信心几率与第三阈值信心几率进行比较；并且
其中，应用第二分析还包括在具有大于所述第三阈值信心几率的第一畅通路径信心几率的基于补片的第一分析的部分补片上应用所述第二分析。
3.如权利要求2的方法，还包括将具有不大于所述第三阈值信心几率的第一畅通路径信心几率的基于补片的第一分析的每个补片定义为非畅通路径补片。
4.如权利要求1的方法，还包括将具有不大于所述第二阈值信心几率的第二畅通路径信心几率的所述第二分析的每个补片定义为非畅通路径补片。
5.如权利要求1的方法，其中，所述第二分析包括基于像素的畅通路径方法。
6.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括富含纹理的畅通路径方法。
7.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括无纹理的畅通路径方法。
8.如权利要求5的方法，其中，所述基于像素的畅通路径方法包括富含纹理的畅通路径方法与无纹理的畅通路径方法的融合。
9.如权利要求1的方法，其中，所述第二分析包括基于示例的畅通路径方法。
10.如权利要求1的方法，还包括：
在具有不大于所述第二阈值信心几率的第二畅通路径信心几率的所述第二分析的补片上应用第三分析以确定所述第三分析的每个补片的第三畅通路径信心几率；以及
将具有大于第三阈值信心几率的第三畅通路径信心几率的所述第三分析的每个补片定义为畅通路径补片。
11.如权利要求10的方法，还包括将基于补片的所述第二分析的每个补片的第二畅通路径信心几率与第四阈值信心几率进行比较；并且
其中，应用第三分析还包括在具有大于所述第四阈值信心几率的第二畅通路径信心几率的基于补片的所述第二分析的部分补片上应用所述第三分析。
12.如权利要求11的方法，还包括将具有不大于所述第四阈值信心几率的第二畅通路径信心几率的基于补片的所述第二分析的每个补片定义为非畅通路径补片。
13.如权利要求10的方法，还包括将具有不大于所述第三阈值信心几率的第三畅通路径信心几率的所述第三分析的每个补片定义为非畅通路径补片。
14.如权利要求10的方法，其中，所述第三分析包括应用于部分补片上的基于像素的畅通路径方法。
15.如权利要求10的方法，其中，所述第三分析包括应用于部分补片上的基于示例的畅通路径方法。
16.一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括：
监测图像；
应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；
将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径补片；
在具有不大于所述第一阈值信心几率的第一畅通路径信心几率的部分补片上应用基于像素的分析以确定第二分析的每个补片的第二畅通路径信心几率；
将具有大于所述第二阈值信心几率的第二畅通路径信心几率的基于像素的分析的每个补片定义为畅通路径补片；
基于所述畅通路径补片识别车辆行驶的畅通路径；以及
利用行驶畅通路径对车辆进行导航。
17.一种使用摄像机产生的图像检测车辆行驶的畅通路径的方法，所述方法包括：
监测图像；
应用图像的基于补片的第一分析，所述第一分析包括将图像分成多个补片以及分析每个补片以确定基于补片的第一分析的每个补片的第一畅通路径信心几率；
将具有大于第一阈值信心几率的第一畅通路径信心几率的每个补片定义为畅通路径补片；
在具有不大于所述第一阈值信心几率的第一畅通路径信心几率的部分补片上应用基于示例的分析以确定第二分析的每个补片的第二畅通路径信心几率；
将具有大于第二阈值信心几率的第二畅通路径信心几率的基于示例的分析的每个补片定义为畅通路径补片；
基于所述畅通路径补片识别车辆行驶的畅通路径；以及
利用行驶畅通路径对车辆进行导航。
CN2009102584232A 2009-05-29 2009-10-23 使用分级方法的畅通路径检测 Active CN101950350B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/474,594 US8634593B2 (en) 2008-04-24 2009-05-29 Pixel-based texture-less clear path detection
US12/474594 2009-05-29
US12/581687 2009-10-19
US12/581,687 US8421859B2 (en) 2008-04-24 2009-10-19 Clear path detection using a hierachical approach

Publications (2)

Publication Number Publication Date
CN101950350A CN101950350A (zh) 2011-01-19
CN101950350B true CN101950350B (zh) 2013-04-24

Family

ID=43028667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102584232A Active CN101950350B (zh) 2009-05-29 2009-10-23 使用分级方法的畅通路径检测

Country Status (3)

Country Link
US (1) US8421859B2 (zh)
CN (1) CN101950350B (zh)
DE (1) DE102009050502A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8525728B2 (en) * 2008-06-25 2013-09-03 Autoliv Development Ab Method of detecting object in the vicinity of a vehicle
DE102010002310A1 (de) * 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
US8717430B2 (en) * 2010-04-26 2014-05-06 Medtronic Navigation, Inc. System and method for radio-frequency imaging, registration, and localization
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
US9499172B2 (en) * 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
GB201219650D0 (en) * 2012-11-01 2012-12-12 Deepmind Technologies Ltd Method and apparatus for image processing
DE102013009082A1 (de) * 2013-05-29 2013-12-12 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
US9098752B2 (en) * 2013-08-09 2015-08-04 GM Global Technology Operations LLC Vehicle path assessment
US9349104B2 (en) 2013-09-25 2016-05-24 Google Inc. Learning geofence models directly
DE102013223014A1 (de) * 2013-11-12 2015-05-13 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug zur vorausschauenden Erfassung einer Fahrbahnbeschaffenheit
US9804258B2 (en) * 2015-02-27 2017-10-31 The United States Of America, As Represented By The Secretary Of The Army Surface non-uniformity determination with radio waves
US10185029B2 (en) 2016-02-26 2019-01-22 The United States Of America, As Represented By The Secretary Of The Army Timing and synchronization of radio waves for scanning, detection, and measurement of surface non-uniformity
WO2017220705A1 (en) * 2016-06-24 2017-12-28 Jaguar Land Rover Limited Control system for a vehicle
DE102016115327A1 (de) * 2016-08-18 2018-02-22 Connaught Electronics Ltd. Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von Objektmerkmalen aus Bildern, Kamerasystem sowie Kraftfahrzeug
CN107813821B (zh) * 2016-09-12 2024-05-31 北京行易道科技有限公司 预警方法及装置
US10372128B2 (en) 2016-11-21 2019-08-06 Ford Global Technologies, Llc Sinkhole detection systems and methods
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP6852534B2 (ja) * 2017-04-12 2021-03-31 アイシン精機株式会社 障害物検知報知装置、方法及びプログラム
US10852423B2 (en) * 2018-03-07 2020-12-01 The Government Of The United States, As Represented By The Secretary Of The Army Vehicle-mounted wave transmission and wave response reception
JP7231511B2 (ja) * 2019-07-29 2023-03-01 株式会社日立製作所 管理装置、管理方法、および管理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130219A1 (en) * 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
CN101344991A (zh) * 2008-09-03 2009-01-14 华为技术有限公司 提供道路信息的方法、装置及系统
CN101364259A (zh) * 2008-04-09 2009-02-11 武汉大学 多层次知识驱动的全色遥感影像的道路变化信息提取方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317690B1 (en) * 1999-06-28 2001-11-13 Min-Chung Gia Path planning, terrain avoidance and situation awareness system for general aviation
US6895115B2 (en) * 2001-04-23 2005-05-17 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method for implementation of recursive hierarchical segmentation on parallel computers
JP3778849B2 (ja) 2001-12-18 2006-05-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
WO2005005206A1 (en) 2003-07-11 2005-01-20 Toyota Jidosha Kabushiki Kaisha Crash-safe vehicle control system
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
US7397945B2 (en) * 2003-11-20 2008-07-08 Hewlett-Packard Development Company, L.P. Method and system of image segmentation using regression clustering
JP3931879B2 (ja) * 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
KR100559421B1 (ko) 2003-12-30 2006-03-10 현대자동차주식회사 차량 추돌 방지 시스템
US20100013615A1 (en) * 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7446766B2 (en) * 2005-02-08 2008-11-04 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
JP2006264416A (ja) * 2005-03-22 2006-10-05 Takata Corp 対象物検知システム、保護システム、車両
DE102006060893A1 (de) 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
DE102006046843A1 (de) 2006-10-02 2008-04-03 Robert Bosch Gmbh Verfahren zur Erkennung eines Umfelds
DE102006058308A1 (de) * 2006-12-11 2008-06-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erfassen eines Hindernisses in einem Umgebungsbereich eines Kraftfahrzeugs und Kraftfahrzeug
DE102006061390B4 (de) 2006-12-23 2019-05-16 Volkswagen Ag Umfelderfassungssystem und Umfelderfassungsverfahren eines Kraftfahrzeugs
US8890951B2 (en) 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
US8345974B2 (en) * 2009-07-14 2013-01-01 Hewlett-Packard Development Company, L.P. Hierarchical recursive image segmentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130219A1 (en) * 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
CN101364259A (zh) * 2008-04-09 2009-02-11 武汉大学 多层次知识驱动的全色遥感影像的道路变化信息提取方法
CN101344991A (zh) * 2008-09-03 2009-01-14 华为技术有限公司 提供道路信息的方法、装置及系统

Also Published As

Publication number Publication date
US8421859B2 (en) 2013-04-16
US20100097456A1 (en) 2010-04-22
CN101950350A (zh) 2011-01-19
DE102009050502A1 (de) 2010-12-02

Similar Documents

Publication Publication Date Title
CN101950350B (zh) 使用分级方法的畅通路径检测
CN101963509B (zh) 通过地形变化分析来检测畅通路径的方法
CN101900562B (zh) 采用基于分割方法的畅通路径检测
CN101929867B (zh) 使用道路模型的畅通路径检测
CN101900567B (zh) 基于像素的无纹理畅通路径检测
CN101900566B (zh) 基于像素的纹理丰富畅通路径检测
US9852357B2 (en) Clear path detection using an example-based approach
US8611585B2 (en) Clear path detection using patch approach
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
US8487991B2 (en) Clear path detection using a vanishing point
US8890951B2 (en) Clear path detection with patch smoothing approach
CN101966846B (zh) 通过物体检测优化的检测车辆行驶的畅通路径的方法
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
US8718329B2 (en) Top-down view classification in clear path detection
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant