CN101900567A - 基于像素的无纹理畅通路径检测 - Google Patents

基于像素的无纹理畅通路径检测 Download PDF

Info

Publication number
CN101900567A
CN101900567A CN200910207286XA CN200910207286A CN101900567A CN 101900567 A CN101900567 A CN 101900567A CN 200910207286X A CN200910207286X A CN 200910207286XA CN 200910207286 A CN200910207286 A CN 200910207286A CN 101900567 A CN101900567 A CN 101900567A
Authority
CN
China
Prior art keywords
image
pixel
filtering
color
clear path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910207286XA
Other languages
English (en)
Other versions
CN101900567B (zh
Inventor
W·张
S·M·奈克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN101900567A publication Critical patent/CN101900567A/zh
Application granted granted Critical
Publication of CN101900567B publication Critical patent/CN101900567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

本发明涉及基于像素的无纹理畅通路径检测。一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，包括：监测所述图像，其中，每个图像包括多个像素；使用无纹理处理方案来分析所述图像，包括将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开。所述畅通路径基于所述畅通表面来确定，且所述畅通路径被用于操作车辆。

Description

基于像素的无纹理畅通路径检测
相关申请的交叉引用
本申请是2008年4月24日提交的美国申请No.12/108,581的部分延续，上述申请在此作为参考引入。
技术领域
本发明涉及机动车辆的自动或半自动控制。
背景技术
该部分的内容仅提供与本发明有关的背景信息，且可能不构成现有技术。
自主驾驶系统和半自主驾驶系统使用关于道路和其它驾驶状况的输入来自动地控制节气门和转向机构。对期望使机动车辆在其上操作的畅通路径(clear path)的准确估计和辨识对于用车辆操作的控制机构成功替换人类头脑是关键的。
道路状况可能是复杂的。在车辆的正常操作下，人操作者每分钟进行数百次的观察并基于所感知的道路状况来调节车辆操作。感知道路状况的一个方面是在路面中和路面附近的物体的环境中感知道路并导航通过任何物体的畅通路径。用技术来替换人类感知优先包括一些手段来准确地感知物体并在这些物体周围继续有效地导航。
用于感知物体的技术手段包括来自于视觉照相机和雷达成像的数据。照相机将辐射形式的视觉图像(例如，光图案或红外符号)译码为可读取的数据格式。一种这样的数据格式包括像素化图像，其中，所感知的情景分成一系列像素。雷达成像使用发送器产生的无线电波来估计发送器前面存在的形状和物体。能够分析反映这些形状和物体的波的图案且能够估计物体的位置。
一旦已经产生关于车辆前面地面的数据，所述数据就必须被分析以根据数据估计物体的存在。通过使用照相机和雷达成像系统，能够分析车辆前面的地面或路面是否存在可能需要避免的物体。然而，仅仅辨识要避免的潜在物体并未完成分析。任何自主系统的重要组成包括如何处理和管理所感知的地面数据中被辨识的潜在物体，以辨识在其中操作车辆的畅通路径。
一种辨识在其中操作车辆的畅通路径的已知方法是编目和临时辨识所有感知的物体且按照所辨识的物体的位置和特性来辨识畅通路径。图像可被处理以根据其形式和与路面的关系来辨识和分类物体。虽然该方法能够有效地辨识畅通路径，但是它需要大量的处理能力，从而需要将视觉图像中的不同物体识别和分开，例如，在沿道路侧面的树和朝路边行走的行人之间进行区分。这种方法对于处理复杂情况可能是缓慢或无效率的，或者可能需要笨重而昂贵的设备来提供所需处理容量。
发明内容
一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，包括：监测所述图像，其中，每个图像包括多个像素；使用无纹理处理方案来分析所述图像，包括将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开。所述畅通路径基于所述畅通表面来确定，且所述畅通路径被用于操作车辆。
附图说明
现在将参考附图通过示例的方式来描述一个或多个实施例，在附图中：
图1示出了配备有根据本发明的照相机和雷达成像系统的车辆的示例性设置；
图2示出了根据本发明的确定用于自主驾驶的畅通路径的已知方法；
图3示出了使用根据本发明的图像概率分析来确定畅通路径的示例性方法；
图4示出了根据本发明的分析图像的示例性方法；
图5示出了根据本发明的通过调整单个阈值来限定分类误差的示例性方法；
图6A、6B和6C示出了根据本发明的通过计算绝对图像强度差来示意性地确定图像差；
图7示出了根据本发明的将特征分类为畅通路径的一部分和被检测物体的示例性方法，同时作为图像分析的方法；
图8还示出了根据本发明的将特征分类为畅通路径的一部分和被检测物体的示例性方法，同时作为图像分析的方法；
图9示出了根据本发明的通过概率分析来分析图像的示例性过程；
图10是根据本发明的用于检测畅通路径的第一处理方案；
图11示出了根据本发明的包括在当前图像上辨识的示例性兴趣点集合的示例性当前图像；
图12示出了根据本发明的在图11所示的图像之后捕获的示例性当前图像；
图13A和13B示出了根据本发明的示例性匹配点对、以及围绕所述点的示例性像素区域，所述匹配点对包括来自于当前图像的兴趣点和来自于先前图像的相应兴趣点；
图13A示出了来自于当前图像的兴趣点和围绕所述兴趣点的像素区域；
图13B示出了来自于先前图像的兴趣点和围绕所述兴趣点的像素区域；
图14以图形示出了根据本发明的示例性当前图像、示例性先前图像、以及主车辆的操作的使用，以确定视图特征的位置；
图15以图形示出了根据本发明的描述在主车辆前面x和y坐标处的兴趣点的竖直位置的示例性投影图；
图16示出了根据本发明的用于检测畅通路径的第二处理方案；
图17示出了根据本发明的基于像素颜色强度的示例性滤波图像；
图18示出了根据本发明的使用边缘识别方法的示例性滤波图像；和
图19示出了根据本发明的用于第二处理方案的替代示例性过程。
具体实施方式
现在参考附图，其中所述视图仅仅是为了图示某些示例性实施例而不是为了限制所述实施例，图1示出了根据本发明的位于车辆100前面并指向车辆100前面的地面的照相机110的示例性设置。照相机110与处理模块120通信，处理模块120包含逻辑以处理来自于照相机110的输入。车辆100也可配备有雷达成像系统130，在存在时，雷达成像系统也处理模块120通信。本领域普通技术人员应当理解，除了使用照相机110和雷达成像系统130之外或者替代使用照相机110和雷达成像系统130，车辆100可以使用多种方法来辨识道路状况，包括GPS信息、来自于与车辆100通信的其它车辆的信息、关于具体路面的历史数据、生物信息(例如，读取驾驶员的视觉焦点的系统)、雷达成像系统或其它类似系统。本文公开的内容能够应用于各种装置设置且因而不受限于此。
照相机110是能够将光、红外线或其它电磁(EM)辐射形式的视觉输入译码成能够便于分析的数据格式(例如，数字、像素化图像)的本领域熟知的装置。在一个实施例中，照相机110使用电荷耦合装置(CCD)传感器来产生指示视场的图像。优选地，照相机110配置成用于连续图像生成，例如每秒产生30个图像。由照相机110产生的图像可存储在照相机110内的存储器中或者传输给处理模块120，以用于存储和/或分析。优选地，照相机110产生的每个图像是具有已知像素大小的二维图像，包括多个可辨识像素。所述多个可辨识像素可使用阵列存储和分析。每个像素可在阵列中表示为位集合或多个位集合，其中，位与预定调色板或颜色图上的颜色相对应。每个像素可表示为多个颜色强度值的函数，例如红-绿-蓝(RGB)颜色模型或青-紫-黄-黑(CMYK)颜色模型。优选地，每个像素包括多个位集合，其中，每个位集合与颜色强度和颜色强度值相对应，例如，在RGB颜色模型上，第一位集合与红色强度值相对应，第二位集合与绿色强度值相对应，且第三位集合与蓝色强度值相对应。
雷达成像装置130是本领域熟知的装置，包括：能够发送无线电波或其它EM辐射的发送器；能够感测所发送的波的接收器装置，所发送的波从发送器前面的物体被反射回到接收器；和将所感测的波转换成能够分析的数据格式(例如，指示从反射该波的物体的距离和角度)的装置。替代性地，雷达成像装置130可用配置成发送和接收光能的光检测和测距(LIDAR)系统替代或补充。所接收的光能可用于确定物体几何尺寸和/或与车辆100的几何接近度。应当注意的是，雷达成像装置130对于执行本文公开的许多方法来说是可选的而不是必需的，其中，视觉图像的处理能够完成畅通路径检测。
处理模块120在图1中示出，并在本文描述为分立元件，这种图示是为了便于说明且应当理解的是，该元件执行的功能可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。优选地，处理模块120是通用数字计算机，通用数字计算机包括微处理器或中央处理单元；存储介质，所述存储介质包括非易失性存储器(包括只读存储器和电子可编程只读存储器)、随机存取存储器；高速时钟；模数和数模电路；输入/输出电路和装置以及合适的信号调节和缓冲电路。处理模块120具有一组处理算法，所述处理算法包括存储在非易失性存储器中且被执行提供每个计算机的相应功能的常驻程序指令和标定值。所述算法优选在预定循环期间被执行。所述算法由中央处理单元执行，并且可操作以监测来自前述感测装置的输入以及执行控制和诊断程序从而用预定标定值控制致动器的操作。在持续进行的发动机和车辆操作期间，循环以规则间隔例如每3.125、6.25、12.5、25和100毫秒被执行。替代性地，算法可响应于事件发生而被执行。
处理模块120执行存储在其中的算法代码以监测相关的设备(例如照相机110和雷达成像系统130)并执行由处理模块内执行的分析所表示的指令或数据传输。处理模块120可包括借助于本领域已知且在本文未描述的手段来致动自主驾驶控制的算法和机构，或者处理模块120可简单地提供信息给独立的自主驾驶系统。取决于与控制模块结合使用的具体实施例，处理模块120适合于根据需要从其它系统和操作者接收输入信号。
图2示出了根据本发明的确定用于自主驾驶的畅通路径的已知方法。产生与车辆100前面的路面相对应的图像10。通过各种方法之一，物体40A、40B和40C在图像10内被辨识，且每个物体根据滤波和训练后的物体特性被归类和分类。每个物体的单独处理可能是计算量大的，且需要昂贵和笨重的设备来处理计算负荷。算法处理关于路面和物体40的所有可用信息以估计车辆100可用的畅通路径。畅通路径的确定取决于所辨识的物体40的具体分类和特性。
图3示出了根据本发明的确定用于自主或半自主驾驶的畅通路径的示例性方法。图像10示出为包括地面20、地平线30和物体40。图像10由照相机110收集且表示车辆100前面的道路环境。地面20表示基于可能存在的物体在没有任何鉴别力的情况下自由行驶的所有可用路径的区域。图3的方法通过假定所有地面20都是畅通的开始，且然后使用可用数据来取消不畅通的地面20部分，从而确定地面20上的畅通路径。与将每个物体40分类的图2方法相比，图3的方法而是分析地面20并试图从可用数据限定可表示物体40的一些可检测异常限制地面20部分或者使地面20部分不畅通的概率。这种集中于地面20而不是物体40避免了与管理物体检测有关的复杂计算任务。独立物体的单独分类和跟踪是不必要的，因为独立物体40被简单地一起分组作为对地面20的总体一致限制的一部分。地面20(如上所述描述为在没有任何鉴别力的情况下自由行驶的所有路径)减去由发现为不畅通的区域对地面20施加的限制，限定了畅通路径50(在图3中示出为虚线内的区域)或者具有车辆100自由行驶的一定阈值概率的区域。
对地面20产生不畅通限制的物体40可呈现许多形式。例如，物体40可表示分离物体，例如停止的汽车、行人或者道路障碍，或者物体40也可以表示指示道路边缘的表面图案的较不明显的变化，例如路侧路边、副索(grass line)或者覆盖路面的水。物体40也可以包括与地面20有关的平坦道路的不存在，例如在道路中有大洞时可能检测到的那样。物体40也可以包括与道路在高度上没有任何限定变化但是对该道路区段具有明显的畅通路径暗示的标识符，例如表示车道标记的路面上的粉刷图案。本文公开的方法，通过不试图辨识物体40而仅仅在图像10中从地面20和靠近地面的任何物获取视觉线索，评估畅通与不畅通的概率并针对任何物体40的存在调节车辆100的控制。
自动分析二维(2D)图像的许多方法是可行的。图像10分析由处理模块120内的算法执行。图4示出了根据本发明可应用于分析图像10的一种示例性方法。该方法将图像10细分并辨识地面20的子图像或小块60以用于分析，从小块60提取特征或者分析可用视觉信息以辨识小块内的任何感兴趣或区别特征，且依照特征分析根据成为畅通路径的概率将小块分类。具有大于一定阈值概率的小块分类为畅通的，且小块的汇集可用于组合成图像内的畅通路径。
小块60，作为图像10的子图像，可通过任何已知的手段被辨识，例如图像10的随机搜索或密集搜索。替代性地，从一些其它信息源(例如雷达成像系统130)可获得的关于物体40存在性的信息可用于辨识小块以分析要描述物体40的图像10部分。图像10可需要许多小块60来分析整个图像。此外，多个叠置小块或具有不同尺寸的小块可用于充分分析含有感兴趣信息的图像10区域。例如，小的小块60可用于分析道路上的小点；然而，可能需要大的小块60来分析一系列点，所述点孤立地可能似乎是不感兴趣的但是在整个系列的情况下可能指示感兴趣物体40。此外，应用于具体区域的小块分辨率可基于可用信息调节，例如，更多小块应用于认为存在物体40的图像10区域。许多方案或策略可用来限定用于分析的小块60，且本发明不打算限制为本文公开的具体实施例。
一旦已经辨识用于分析的小块60，处理模块120通过应用滤波器以从小块提取特征来处理小块。此外，处理模块120可执行与车辆位置相关的小块位置的分析。所使用的滤波器可采用许多形式。用来提取特征的滤波算法通常搜索数据中用于特性模式的可用视觉信息，通过线取向、线位置、颜色、角点特性、其它视觉属性和学习属性来限定特征。学习属性可通过车辆内的机器学习算法来学习，但通常被离线编程且可根据试验、根据经验、通过预测、通过建模或足以准确地训练区分属性的其它技术来产生。
一旦小块60中的特征已经被提取，小块就基于特征分类以确定小块是畅通路径的概率。概率分析是本领域已知的过程，通过概率分析产生存在特定状况的概率值或置信度。应用于本发明，分类包括概率分析以确定小块是否表示畅通路径或者该小块中的地面20是否受物体40限制。在示例性实施例中，通过应用用示例性道路状况的数据库训练并与所检测物体相互作用的分类器或者算法来进行分类。这些分类器允许处理模块120产生小块60的畅通路径概率值比例，从而在0和1之间量化在小块内辨识的特征不表示将抑制车辆100自由行驶的限制性物体40的置信度。可以设定阈值置信度，从而限定用于将小块定义为畅通路径所需要的畅通路径概率，例如通过以下逻辑：置信度＝畅通路径概率(i)   (1)如果置信度＞0.5，则小块＝畅通路径在该具体示例性实施例中，选择50％或0.5的置信度作为阈值置信度。该数值可根据试验、根据经验、通过预测、通过建模或足以准确地评估小块的畅通路径特性的其它技术来产生。
如上所述，概率分析可在一个示例性实施例中通过将训练后的分类器应用于从小块提取的特征来执行。一种方法使用训练图像集合来演绎地分析特征。在该训练阶段，区别特征从原始特征集合选择，区别特征由本领域已知的方法限定，例如Haar小波、Gabor小波和Leung-and-Malik滤波器组。此外，基于每个特征的最小分类误差(根据错误接受率(FAR)和错误拒绝率(FRR)的求和计算)的2D图像位置信息可通过如图5所示调整单个阈值来使用。该分类误差可以通过以下表达式描述：分类误差(i)＝FARi+FRRi  (2)来自于训练后的分类器的信息用于分类或加权指示畅通路径或不畅通路径的特征，具体分类取决于对训练数据的比较的强度。如果特征是小块内的唯一特征，特征分类可直接应用于小块。对辨识到多个特征的小块的分类可采用多种形式，包括小块由所包括的最能表示小块不畅通的特征限定或者小块由其中包括的所有特征的加权求和来限定。
上述方法用于检查独立图像10并基于图像10中包含的视觉信息来估计畅通路径50。在车辆沿道路行驶时，该方法可以一定间隔重复，以考虑新信息并将所表示的畅通路径扩展到车辆新位置前面一定范围。间隔的选择必须用足够的频率来更新图像10，以给车辆100准确地提供要驾驶的畅通路径。然而，间隔也可以被选择成某些最小值，以充分控制车辆而且不过度地加重对处理模块120施加的计算负荷。
畅通路径检测可以通过上述单个图像10完成。然而，处理速度和精度可以通过增加在接近原始图像的时间获得的第二图像来改进，例如来自于流动视频削波的顺序图像。第二图像允许与第一图像直接比较，且提供关于车辆前进和所检测物体的移动的更新信息。而且，照相机110的视角变化允许进行与第一图像不同的特征分析：可能在第一图像中未清楚示出或者不明显的特征可在不同的照相机角度显示，更明显地突出，或者已经自第一图像移动，从而允许分类算法有附加的机会来限定特征。
处理与原始图像10相关的第二图像可通过计算图像差进行。如果兴趣点(例如，由雷达辨识的特征)的图像差不是0，那么该点可辨识为体现新信息。图像差等于0的点可以从分析中排除且可以节省计算资源。确定图像差的方法包括绝对图像强度差和车辆运动补偿图像差。
通过计算绝对图像强度差来确定图像差可用于收集两个图像之间的信息。绝对图像强度差的一种方法包括确定原始图像和第二图像之间的等同图像特性以补偿图像之间的车辆运动，叠置图像，并注意图像之间强度的任何显著变化。对图像之间的表示某些区域中图像强度的变化的比较包含新信息。没有显示强度变化的区域或小块可在分析中不作强调，而可集中于显示强度上有清楚变化的区域，使用前述方法来分析任一或两个所捕获图像上的小块。
图6A、6B和6C示出了根据本发明的通过计算绝对图像强度差来示例性地确定图像差。图6A示出了原始图像。图6B示出了从原始图像变化的第二图像。具体地，所示圆形已经向左移动。如图6C所示的两个图像的比较(表示绝对图像强度差比较的结果的输出)辨识出已经从第一图像到第二图像变暗的一个区域和已经从第一图像到第二图像变亮的另一个区域。这种方法能够描述为差分。比较分析产生了由于移动或视角变化引起的一些变化可能在图像中该区域中获得的信息。由此，绝对图像强度差可用于分析一对顺序图像以辨识可能不畅通路径。
类似地，通过计算车辆运动补偿图像差来确定图像差可用于在两个图像之间收集信息。已知计算车辆运动补偿图像差的多种方法。车辆运动补偿图像差的一种示例性方法包括分析同时作为畅通路径的固定部分和检测物体的潜在物体。对从两个类别同时辨识的与潜在物体相对应的特征进行概率分析，且可以例如通过以下逻辑比较所述分类：置信度(i)＝畅通路径概率(i)-检测物体概率(i)    (3)如果置信度＞0，则小块＝畅通路径在该具体示例性比较中，如果置信度(i)大于0，那么包含该特征的小块分类为畅通路径。如果置信度(i)小于或等于0，那么包含该特征的小块分类为不畅通路径或受限制。然而，可选择用于置信度水平的不同值以将小块分类为畅通路径。例如，试验可显示，错误肯定值很可能大于错误否定值，从而可引入一些因子或偏差。
图7示出了根据本发明的将特征同时分类为上述畅通路径的一部分和检测物体的一种方法。图10包括物体40、梯形投影70和矩形投影80。该方法采用将物体40作为地面上的平坦物体投影到投影70内的假定，以对将特征分类为畅通路径的一部分进行试验。该方法也采用将物体40作为竖直物体投影到矩形投影80内的假定，以对将特征分类为检测物体进行试验。图8示出了在两个图像之间收集的数据中作出的比较，以根据本发明评估物体40的性质。在时间t1时照相机110从物体40观察并获得第一图像形式的数据。如果物体40是实际检测物体，那么在时间t1时由照相机110观察的物体40的轮廓将对应于点90A。如果物体40是与地面20在相同平面的平坦物体，那么在时间t1时由照相机110观察的物体40的轮廓将对应于点90B。在时间t1和t2之间，照相机110移动一定距离。在时间t2捕获第二图像，且关于物体40的信息可以通过应用寻找第二图像中物体的可视属性与第一图像进行比较的算法来进行试验。如果物体40是从地面20向上延伸的实际检测物体，那么在时间t2时物体40的轮廓将在点90C被观察。如果物体40是与地面20在相同平面的平坦物体，那么在时间t2时物体40的轮廓将在点90B被观察。通过车辆运动补偿图像差获得的比较可借助于基于点90的观察值应用分类器而直接指定置信度，或者比较可简单地指向显示兴趣点变化的区域。对作为平坦物体和作为实际检测物体两种分类的物体进行试验，允许包括物体40的区域被辨识以用于通过如上所述分析小块进一步分析，或者直接产生畅通路径概率和检测物体概率，以用于例如在如上述逻辑表达式(3)进行比较。
从第二图像分析可获得的信息可附加地通过整合关于车辆运动的信息(例如速度和偏航速率)来改进。关于车辆运动的信息可从多个源获得，包括车辆速度计、车辆动态传感器或车轮速度传感器、防抱死制动机构、和GPS位置系统。算法可使用该车辆移动信息，例如与图7和8所述的投影结合，以基于来自于第一图像的数据和在图像之间车辆的测量移动来投影在平躺在地面上的特征中应当存在的角度。
用于比较的图像数量不需要限制为两个。可以多次迭接执行多个图像分析，物体在多个循环内被跟踪和比较。如上所述，通过使用图像差分析可获得计算效率，以辨识兴趣点并将具有0差的区域从随后分析中排除。这种效率可用于多次迭接中，例如，仅在第一图像和第二图像之间辨识的兴趣点将在获得的第三和第四图像中被分析。在一些点，新的图像集合将需要被比较以确保示出了0差的区域没有任何变化，例如，撞击到先前畅通路径上的运动物体。使用图像差分析和集中分析(排除被辨识为具有0变化的区域)将根据应用而不同，且可在不同操作状况之间不同，例如车辆速度或感知的操作环境。图像差分析和集中分析的具体使用可采用多种不同实施例，且本发明不打算限于本文描述的具体实施例。
图9示出了根据本发明的分析来自于照相机的输入以确定畅通路径概率的示例性过程200、在步骤202，产生图像形式的照相机输入。在步骤204，从图像选择用于分析的小块。步骤206表示可用于处理小块的滤波器或滤波器组。在步骤208，通过应用可从步骤206获得的滤波器和应用其它算法对选定的小块进行特征提取。步骤210包括分类器训练过程。如上所述，用来产生概率值的分类器或逻辑最初被离线训练。训练可基于模糊逻辑、神经网络或本领域已知的其它学习机制任选地在车辆中继续。这些训练后的分类器在步骤212中被使用，以对步骤208提取的特征进行概率分析且产生小块的概率值。该概率值表示选定小块畅通的置信度。在步骤214，在步骤212中产生的概率值与阈值概率值进行比较。如果概率值大于阈值，那么在步骤218，所述小块被辨识为畅通路径。如果概率值不大于阈值，那么所述小块被辨识为不畅通路径。如上所述，过程200可以许多方式重复或迭接，借助于选择和分析不同小块重复地分析同一图像，且辨识的小块可被跟踪和针对多个顺序图像上的变化进行分析。
如上所述，处理模块120可包括借助于本领域已知且在本文未描述的手段来致动自主驾驶控制的算法和机制，或者处理模块120可简单地提供信息给独立的自主驾驶系统。对感知物体的反应可以不同，且包括但不限于转向变化、节气门变化、制动响应、以及车辆对操作者的报警和停止控制。
使用小块分析的上述方法是为车辆建立行驶畅通路径的一种方法。公开了两个附加的相关处理方案，采用类似方法来分析像素而不是小块。公开了使用纹理丰富方法来分析图像以辨识畅通路径的第一处理方案。图10示出了用于检测畅通路径的第一处理方案101，本文描述为包括分立元件。这种图示是为了便于说明，且应当理解的是，这些元件执行的功能可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。
处理方案101是将纹理丰富图像分析应用于主车辆前面的视场的示例性方法，且以步骤103开始，其中，产生在车辆前面的视场的图像。在步骤106，所监测的图像针对兴趣点进行检查，例如，如上所述检查像素颜色强度和将像素或像素组与周围像素进行比较。通过本领域已知的方法，兴趣点被辨识且用于完成本文所述的方法。在步骤109，当车辆运动时将车辆前面的视场的顺序图像进行比较，且在可能时将每个图像的兴趣点与顺序图像中的对应点进行匹配，所述对应点与视场中的相同点相对应。匹配包括通过模板匹配定位对应点或者比较顺序图像上的兴趣点，考虑主车辆的移动，且对两个点是否表示可在视场中看到的相同物体或特征作出最佳估计。虽然兴趣点可以被匹配，但不是所有匹配的对应点对都表示高质量对应点对，高质量对应点对允许在视场中辨识其三维位置以分类为车辆行驶的畅通路径。在步骤112，滤波器应用于匹配的对应点对以辨识能够用于以高置信度辨识三维位置的高质量对应点对。在步骤115，高质量对应点对被分析以确定由对应点对表示的物体的三维位置。应当理解的是，与地平面相比处于不同高度的对应点将在顺序图像之间不同地移动。分析兴趣点的移动可以产生兴趣点的估计三维坐标。在步骤118，所确定的物体位置用于将物体位置映射到主车辆前面。在步骤121，映射图用于确定主车辆前面的畅通路径。
图11示出了示例性当前图像(k)500，当前图像(k)500包括在当前图像(k)上辨识的示例性兴趣点501集合，每个兴趣点501对应于像素。处理模块120优选辨识所产生的每个图像(包括当前图像(k)500和先前图像(k-1))上的兴趣点501。兴趣点501是图像上的可辨识像素且与一组视觉信息(即，纹理丰富特征)相关联，且与位于视场中的物体相关联。图11所示的示例性视场或视图包括道路表面510、道路表面中的区段515、路边520和521、车道标记522、相交车道526以及建筑524和525。通过兴趣点提取编程在视图中辨识候选兴趣点501，由此可选定兴趣点501集合。兴趣点提取编程通过多种已知方法之一在图像上执行，例如尺度不变特征变换(SIFT)、采用角点检测或其它形状检测的方法、或Sobel滤波器。兴趣点提取编程优选在处理模块120中执行，但是可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。兴趣点提取编程在每个图像中定位与预定可辨识纹理丰富特征相对应的候选兴趣点501，例如指示边缘的像素、指示视觉数据中过渡的像素，其中潜在显著特征可在视图中辨识。在图11的示例性视图中，所辨识的多个辨识兴趣点501中的一个点501A在路边520的区段505处形成的角点处被辨识。
在辨识候选兴趣点501之后，兴趣点提取编程可通过去除冗余候选兴趣点(即，与同一特征相对应的候选兴趣点)而对候选兴趣点进行滤波。例如，兴趣点提取编程可对与边缘相对应的多个候选兴趣点进行滤波，从而得到与边缘相对应的较少的候选兴趣点。候选兴趣点的其余集合是图像的兴趣点。在一个实施例中，为了计算效率，对冗余候选兴趣点进行滤波。
一旦当前图像(k)500中的兴趣点501被辨识，处理模块120就将来自于当前图像(k)的兴趣点集合与从先前图像(k-1)辨识的点集合进行匹配，以确定匹配点对集合，与过程101中的步骤109相对应。
确定匹配点对集合的第一方法包括使用对应性匹配编程来将来自于当前图像(k)和先前图像(k-1)的兴趣点进行匹配。处理模块120将来自于当前图像(k)的兴趣点集合与在先前图像(k-1)中辨识的兴趣点集合进行匹配，以确定兴趣点匹配对集合。图12示出了在图11所示的图像之后捕获的示例性当前图像(k)。示例性当前图像(k)530表示在图11所示的图像之后捕获的图像，其中，观测者的视角已经沿图像之间的所示道路稍微前进。在该示例性情况中，图11的图像500，虽然在捕获时是当前图像(k)，但是此时用作当前图像(k)530的先前图像(k-1)。图12所示的示例性视图包括道路表面510、道路表面中的区段515、路边520和521、车道标记522、和建筑524和525，如图11所示，在该视图中每个特征具有稍微不同的视角。在图12的示例性视图中，根据上述方法辨识多个辨识兴趣点531，且一个点531A在路边520的区段505处形成的角点处被辨识。应当注意的是，在图像530中辨识的兴趣点531不必与图像500中辨识的兴趣点501直接对应。在图像530中辨识的点531被处理和滤波，如结合点501描述且结合图11描述的那样。优选地，来自于当前图像(k)530的兴趣点集合中的多个兴趣点531与从先前图像(k-1)500辨识的兴趣点集合中的兴趣点501进行匹配，以确定多个匹配点对。包括匹配点对的每个兴趣点预期对应于与视图中的物体相关联的相同特征。为了确定匹配点对集合，来自于当前图像(k)的兴趣点531集合与从先前图像(k-1)辨识的兴趣点501集合通过多种已知对应性匹配编程(例如，尺度不变特征变换(SIFT)特征匹配编程和光流编程)之一进行比较。对应性匹配编程优选在处理模块120中执行，但是可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。得到的匹配点对与位于当前图像(k)和先前图像(k-1)两者上的同一特征相对应，其中，所述同一特征与视图中的同一物体相关联。
确定匹配点对集合的第二方法包括使用模板匹配编程来将来自于当前图像(k)和先前图像(k-1)的兴趣点进行匹配。在一个实施例中，使用邻近兴趣点的预定像素区域产生模板。结合图12中的兴趣点531A示出了示例性区域535。模板匹配可使用多种方法之一来确定，包括多种已知模板匹配编程方法之一，以寻找先前图像中的对应兴趣点，例如Lucas-Kanade或Horn-Schunck。优选地，邻近当前图像中的兴趣点的模板与邻近先前图像中的兴趣点的模板进行比较。当模板匹配编程确定模板匹配时兴趣点被包括到匹配点对集合中。得到的匹配点对与位于当前图像(k)和先前图像(k-1)两者上的同一特征相对应，其中，所述同一特征与视图中的同一物体相关联。
图13A和13B示出了示例性匹配点对和所述点周围的示例性像素区域，匹配点对包括来自于当前图像(k)530的兴趣点531A和来自于先前图像(k-1)500的第二兴趣点501A。根据上述方法，兴趣点531A周围的像素区域535在图13A中示出。如上文所述，兴趣点531A是在路边520部分之间的区段505的角点处被辨识的点。点531A周围的像素区域535被选择且优选包括可用于主动辨识所述区域的可辨别特征、纹理或图案。图13B类似地示出了兴趣点501A和围绕所述兴趣点的像素区域540。由于图像500和图像530之间的视角变化，像素区域535和像素区域540可包括一些差异，但是应用上述方法，像素区域的比较和在其中辨识特征可用作以一定置信度确认兴趣点531A和501A表示在图像500和530中捕获的视图内的同一特征且可以当作匹配对的一种方法。
在确定匹配点对之后，通过应用滤波器去除表示匹配不好或者不匹配对的低质量匹配对应点对，处理模块120从匹配点对集合选择高质量优先匹配点对，如上文示例性步骤112所述。优先匹配点对可基于质量控制标准进行选择。在一个实施例中，匹配点对被分析且在满足每个标准之后辨识为优先匹配点对。
当匹配点对中的点之间的距离小于阈值时，满足第一标准。该距离基于点的位置确定，好像它们位于相同二维图像坐标上一样。阈值可预先确定且是依赖于位置的，或者取决于车辆速度是动态的。当匹配点对中的两个点距图像边界预定阈值距离时，满足第二标准。由于照相机对图像边界边缘处的物体的视角和车辆运动，太靠近边缘的点不能定位对应点，其可位于照相机的视角之外或者可产生物体位置的不真实估计。此外，在以向前方向正常车辆操作下，车辆需要关于朝视角尽头的畅通路径的信息的可能性很小。当邻近匹配点对中的每个点的预定区域之间的颜色差异小于颜色阈值差异时，满足第三标准。使用图13限定的示例性像素区域，像素区域535和540之间的颜色差异可用于增加匹配对的置信度。在每个区域内每个像素可以基于其对应颜色分配一数值。分配的数值可基于在捕获图像时确定的位值或者可以基于参考预定模板的标引颜色。处理模块120逐像素地计算第一区域501和第二区域502内分配的数值之间的绝对差，且将所述差(为颜色差异)求和。所述差与阈值差进行比较。如果所述差小于阈值差，那么满足第三标准。颜色阈值差异可以通过足以标定准确道路存在或畅通路径估计的任何方法来选定。可基于车辆外部的光线水平、天气、车辆速度或影响基于颜色差异准确估计畅通路径存在性的任何其它因素来使用不同的颜色阈值差。通过判断围绕兴趣点的区域是否类似，可以对包括由兴趣点表示的特征的相同区域是否在两个图像中被分析进行判断。
应当理解的是，上述三个标准是用于判断匹配对的示例性标准，但是这些标准中的一些部分或者附加的未提及类似标准可用于判断匹配对的有效性。还可以基于车辆外部存在的状况(例如光线水平)、天气、车辆速度或影响判断匹配对的能力的任何其它因素或者快速和准确限定畅通路径的紧急性来选择标准判断匹配对。
在选择优先匹配点对之后，处理模块120确定与视图中的物体特征相关联的多个点相对于车辆100的位置，如上述示例性步骤115所述。图14以图形示出了示例性当前图像、示例性先前图像、以及主车辆的操作的使用，以确定视图特征的位置。在水平参考坐标中的物体位置和物体与地平面相比的高度可基于顺序图像317和327内的优先匹配点对集合(匹配对在该图中通过点1和2示出)、车辆100从第一位置310行驶到第二位置320的距离(d)、和车辆偏航角(θ)来确定。处理模块120执行多种已知三角测量方法之一，以确定点相对于车辆100的位置和点的高度。在图14中，示出了包括图像k-1317的来自于310的视场315，且示出了包括图像k 327的来自于320的视场325。示出了距离d，其描述观察者已经在点310和320之间行进的距离。相对于视场315和325纵向定向的线分别由线312和322表示。示出了取向或者偏航角(θ)的角度变化，其描述线312和322之间的角度。示例性车辆的距离d可以通过在310处的时间和320处的时间之间的样本时间内跟踪车辆速度来确定。类似地，θ可通过在样本时间内跟踪车辆的偏航速率来确定。示出了显示为305的物体，且示出了线318和328，其分别描述从点310和320到物体305的线。在图像317和327上示出了点1和2，线318和328在点1和2处分别与图像317和327相交。可限定描述图像317上点1的位置的距离(a)，且可限定描述图像327上点2的位置的距离(b)。应当理解的是，图14表示投影图，其中，物体305的位置可以在水平面中限定，且相同物体在侧视图中的类似计算可用于限定物体305相对于观察者的已知地平面的竖直位置。通过应用熟知的三角测量方法，来自于顺序图像的位置数据(例如距离a和b)以及车辆数据(例如车辆速度、车辆偏航速率和样本时间)可用于将所示物体相对于车辆的位置进行定位并确定物体相对于车辆的相对运动。这些三脚测量方法可得到物体在水平面中的位置和物体相对于地平面的高度。
一旦确定位置和高度，处理模块120就可以在投影图上绘制点，如上文示例性步骤118所述。图15以图形示出了描述在主车辆前面x和y坐标处的兴趣点的竖直位置的示例性投影图。x轴和y轴上的位置<0，0>与上述车辆100的第二位置320或者车辆100的当前位置相对应。优选地，物体高度分类到预定类别中。例如，具有极小高度的物体(例如，低于预定阈值)可分类为地面，超过地面高度但小于第二预定阈值的物体可分类为第二类别，第二预定阈值接近但优选小于车辆高度，大于第二预定阈值的物体可分类为第三类别。如图15所示，具有极小高度的物体分类为地面(地面)，超过地面高度但小于2米阈值的物体可分类为第二类别(小于2米)，大于2米阈值的物体可分类为第三类别(大于2米)。
在映射图上绘制物体之后，处理模块120基于在映射图中所绘制的特征来检测畅通路径，如上文示例性步骤121所述。本文使用的术语“畅通路径”旨在给予本领域普通技术人员其普通和通常的涵义(且不限于特定或定制涵义)，且无限制性地指代没有超过阈值的物体的路径，例如没有分类为上述第二和第三类别的物体的路径。分类为预定类别(例如，上述第二和第三类别)的物体的特征通过处理模块120辨识为不畅通区域，即，对于车辆行驶是不希望的。优选地，邻近分类为预定类别的每个物体的预定区域通过处理模块120辨识为不畅通区域。处理模块120可使用多种方法之一来确定在映射图上存在畅通路径。确定畅通路径的第一方法包括将预期路径与包括不畅通区域的映射图进行比较。如果预期路径不与任何不畅通区域相交，那么处理模块120确定预期路径为畅通路径。然而，如果预期路径与不畅通区域相交，那么处理模块120确定不存在畅通路径。确定畅通路径的第二方法包括使用映射图中的不畅通区域来确定畅通路径。与不畅通区域不相交的任何路径可用作畅通路径。
上述方法使用顺序图像来建立车辆前面的物体位置和竖直高度的映射图，使得可以限定畅通路径。应当理解的是，在任何两个给定图像中，具体物体可以不分类为包括在该具体分析中足以被映射的两个高质量兴趣点。然而，上述分析在车辆每行驶一秒发生多次。当车辆向前行驶经过畅通路径时，在物体上获得不同的视角且将分析大量的图像。在一定路径上行驶和通过该路径的多个迭接图像的分析会通过分析建立在辨识的畅通路径中不存在同畅通路径相抵触的物体的置信度。
图16示出了用于检测畅通路径的第二处理方案。本文所述的第一处理方案使用纹理丰富方法，基于图像内的纹理视图来分析描述明显兴趣点的像素化特征，而所公开的第二处理方案可以描述为图像分析的示例性无纹理方法，从图像中滤波不属于平面一致道路表面的不一致图像区域。通过从图像滤波不一致区域，从其余图像可以辨识作为车辆行驶的潜在畅通路径的畅通表面。在图16中示出了过程250，且在本文描述为包括分立元件。这种图示是为了便于说明且应当理解的是，这些元件执行的功能可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。例如，过程250可在处理模块120中执行为一个或多个算法。用于检测畅通路径的过程250包括形成多个滤波图像且将滤波图像融合在一起以确定畅通路径。
公开了示例性过程250，包括采用畅通路径检测的示例性无纹理方法的步骤。过程250以步骤253开始，其中产生图像。步骤256、259、262和265描述了替代性示例性方法来将图像滤波以辨识畅通路径的位置，包括道路表面。应当理解的是，所述方法中的每个以有助于辨识畅通路径的一种方式处理图像。过程可以用四种示例性方法中的一些部分来实施，或者过程可以实施为包括未提及但类似的方法来处理图像。可以采用滤波图像内的畅通表面的任何方法，基于所述畅通表面可从图像的不表示潜在道路表面的其它部分估计道路表面。步骤256应用示例性方法来从高于地平点或消失点的区域(包括天空和不能成为道路表面的一部分的其它竖直特征)滤波低于地平点或消失点的区域(包括能够驾驶的道路表面)。步骤259基于像素强度中的变化、基于道路表面将包括具有在表面上非常普通的视觉强度的大表面的前提来应用滤波器。步骤262基于差分顺序图像来应用滤波器，从而允许分析图像之间的变化。步骤265基于辨识表示视觉数据中的边缘或过渡的像素来应用滤波器。并行应用各种方法，结果可在步骤268融合到图像的单个映射图中并在步骤271中针对表示行驶畅通路径的视觉数据来分析。
第一滤波图像使用消失点来形成，如上述示例性步骤256所述。本文所使用的术语“消失点”是广义术语，且被给予对本领域普通技术人员普通和通常的涵义，且指代地平面上的无限远点(在视图中由地面上的多条平行线相交)。辨识形成要驾驶的畅通路径的道路表面有必要低于消失点或地平线。滤波图像以仅分析低于地平线的区域有助于使得被分析的像素清楚以从无关像素辨识道路表面。本领域技术人员应当理解，有许多已知方法来确定消失点和相应地平线。一种已知方法包括基于主车辆的左侧和右侧上的车道标记彼此相交的点来确定消失点。地平线基于消失点确定。第一滤波图像包括当前图像上低于地平线的像素。
处理模块120基于包括当前图像(k)的多个像素中的像素颜色强度来形成第二滤波图像，如上文示例性步骤259所述。图17示出了基于像素颜色强度的示例性第二滤波图像。第二滤波图像包括从所述多个像素选择的像素。可设想滤波像素的多种方法。处理模块120将像素的每个颜色强度值与相关颜色分布均值(例如，红色、绿色和蓝色颜色分布均值)进行比较。颜色分布均值是与先前辨识为畅通路径的像素有关的相关颜色强度的平均颜色强度分布。颜色分布均值可附加地基于相关颜色的畅通路径像素的历史收集颜色分布均值。当像素的每个颜色强度值小于相关颜色分布均值的颜色强度阈值时，该像素被选择用于第二滤波图像。当像素的一个颜色强度值大于相关颜色分布均值的颜色强度阈值时，该像素从第二滤波图像排除。相关颜色强度的颜色分布均值是分布在图像中的平均颜色强度值。颜色分布均值被最初预先确定。在一个实施例中，处理模块120基于在预定数量的图像中的颜色强度分布来调节每个相关颜色强度的颜色分布均值。
如上文所述，每个像素包括多个颜色强度值。优选地，颜色强度值与相关颜色分布均值进行比较。例如，对于使用RGB颜色模型形成的像素，与红色强度相关的第一位集合和与红色强度相关的颜色分布均值进行比较，与绿色强度相关的位集合和与绿色强度相关的颜色分布均值进行比较，与蓝色强度相关的位集合和与蓝色强度相关的颜色分布均值进行比较。如果包括像素的每个颜色强度与相关颜色分布均值之间的差小于颜色强度阈值，那么像素被用于第二滤波图像。
使用RGB颜色模型，每个像素包括第一、第二和第三颜色强度值。第一颜色强度是红色强度，第二颜色强度是绿色强度，第三颜色强度是蓝色强度。当像素的红色强度和红色颜色分布均值之间的差小于红色强度阈值、像素的绿色强度和绿色颜色分布均值之间的差小于绿色强度阈值、且像素的蓝色强度和蓝色颜色分布均值之间的差小于蓝色强度阈值时，第二滤波图像的像素从包括当前图像(k)的多个像素选择。以下关系式使用RGB颜色模型表达该过程：|R-RM|＜thresholdR且|G-GM|＜thresholdG且|B-BM|＜thresholdB(4)其中R是红色，G是绿色，B是蓝色，RM是红色的颜色分布均值，GM是绿色的颜色分布均值，BM是蓝色的颜色分布均值，threholdR是红色强度阈值，threholdG是绿色强度阈值，threholdB是蓝色强度阈值。
本领域技术人员将理解，上述关系式4可配置成与多种其它颜色模型(包括CMYK、YUV和LAB颜色模型)一起使用。
处理模块120通过差分所述图像使用当前图像(k)和先前图像(k-1)来形成第三滤波图像，如上文示例性步骤262所述。在形成差分图像的示例性过程中，第三滤波图像作为当前图像(k)和先前图像(k-1)之间的图像差形成且包括表示当前图像(k)和先前图像(k-1)之间的差的逐像素比较。这种过程在上文结合图6A-6C描述。用于确定第三滤波图像的第一方法包括确定当前图像(k)上的独立像素和先前图像(k-1)上的对应独立像素之间的差。所述差可通过从对应颜色强度值减去与像素有关的颜色强度值以确定颜色强度差来确定，例如从先前图像(k-1)上的第一像素的红色强度值减去当前图像(k)上的第一像素的红色强度值。得到的颜色强度差包括像素值且与当前图像(k)和先前图像(k-1)上的像素之间的差相对应。每个像素值可以与第三滤波图像相对应的阵列存储。在一个实施例中，差的绝对值被确定且以阵列存储。得到的阵列包括表示两个图像之间的差的值且包括图像差。在确定阵列之后，处理模块120去除表示变化小于预定阈值的像素的值。在一个实施例中，得到的值可用预定值(例如1)替换，以表示在得到的图像上两个所用图像之间的辨识差的清楚映射图。
描述了用于基于差分图像来确定第三滤波图像的第二示例性方法。通过比较当前图像(k)和运动调节的先前图像(k-1)可进行确定，且这些图像之间的差可用于映射不适合用于产生运动调节图像的具体模型的物体。产生运动调节的图像的一种示例性模型包括使用三角测量方法(例如结合图14描述的方法)、关于车辆运动的信息和所有检测点都处于地平面以预测先前图像(k-1)的物体运动的假设。通过使用图像中的所有物体都处于地平面的假设，在得到的图像中物体运动的预测与作为地平面处存在的整个平坦图像存在的先前图像一致。将该得到的运动调节的先前图像(k-1)与实际当前图像(k)进行比较(包括不在地平面处的物体的视角变化)，则允许辨识在所示图像中不处于地平面的所有物体或特征。通过减去所比较图像中的像素，例如根据第一示例性过程来确定上述第三滤波图像，表示不在地平面上的物体的像素可通过非零值或者超过确定性阈值的值来辨识。由此，处理模块120可使用当前图像(k)和运动调节的先前图像而不是先前图像(k-1)来确定上述的第三滤波图像。
处理模块120基于包括当前图像(k)的多个像素的颜色强度值形成第四滤波图像，如上文示例性步骤265所述。图18示出了使用边缘识别方法的示例性滤波图像。第四滤波图像包括当前图像(k)的边缘。为了形成第四滤波图像，处理模块120基于与边缘相对应的颜色强度值使用多种已知边缘检测滤波器(例如，Sobel滤波器)之一而从图像提取像素。边缘检测滤波器优选在处理模块120中执行，但是可组合在一个或更多装置中，例如在软件、硬件和/或专用集成电路中实施。在一个实施例中，每个像素使用Sobel运算器来分析。Sobel运算器计算在每个像素处的颜色强度的梯度矢量，从而得到从亮到暗的最大可能增加的方向和在该方法的变化速率。与超过阈值的变化速率相对应且与附近像素的梯度矢量相对应的点指示边缘且包括在第四滤波图像中。这些像素可用预定像素颜色(例如，黑色)替换。
在形成多个滤波图像之后，处理模块120将滤波图像融合在一起，以确定与畅通路径相对应的像素位置，如示例性步骤268所述。所融合的滤波图像包括包含在所述多个滤波图像中所有图像中含有的像素的图像，即，仅仅包含在所述多个滤波图像中的每个中的特定像素位置处的像素包括在所融合的滤波图像中。将滤波图像融合在一起包括确定所述多个滤波图像中的每个所包括的像素位置。每个像素位置与每个滤波图像上的对应像素位置进行比较。当所述多个滤波图像中的每个都包含在对应像素位置处的像素时，该像素包括在表示道路畅通表面的融合畅通路径映射图上。融合的畅通路径用于检测车辆100的畅通路径。融合的畅通路径映射图上的像素对应于该视图中的期望驾驶位置。融合畅通路径映射图上没有像素的位置对应于该视图中的不期望驾驶位置。
如图16所述，过程250针对图像并行应用各种方法来辨识视图中与限定畅通路径有关的特征。然而，应当理解的是，这些方法不需要并行执行，而所述方法可用于在步骤中按顺序处理图像，以辨识视图中与限定畅通路径有关的特征。图19示出了用于第二处理方案的替代示例性过程600。过程600通过在步骤603产生图像序列开始。每个图像并行输送到两个步骤，且两个步骤的结果被融合并可用于该过程中的随后步骤。并行步骤包括步骤606(其中根据上述消失点方法来滤波像素以将不能表示道路表面的图像部分滤波不进行处理的第一滤波图像)和步骤609(其中，如上所述，通过根据强度滤波像素的第二滤波图像用于将描述与道路表面不一致的特征的图像部分滤波不进行处理)。第一滤波图像和第二滤波图像的融合图像在步骤612中形成，所述融合图像仅仅包括低于消失点的图像部分且包括具有与道路表面一致的强度的像素。在步骤615中使用顺序融合图像，以使用上述差分方法中的一种来形成第三滤波图像。在步骤618，第三滤波图像用于使用上述边缘提取方法来形成第四滤波图像。过程600的结果然后可以针对表示行驶畅通路径的视觉数据进行分析。
过程250和600示出了两种示例性设置，其中滤波方法被组合使用以处理图像序列来辨识畅通路径。然而，应当理解的是，这种组合可采用任何形式，且步骤能以不同顺序应用，且在不同的组合中可以使用更少或附加的滤波器。此外，滤波器可以选择性地使用或者过程的配置可以选择性地使用，例如不同的组合在白天使用且其它组合在晚上使用。例如，一些组合可继续分析由前灯照亮的道路表面，而其它方法在没有完全照亮的视图中可能是无用的。在另一示例中，当道路上存在雨水或雪时，可使用不同的组合。例如，在雪的浅色层的情况下，一些方法和分析方法可继续有用，例如辨识雪中的轮胎路径作为潜在畅通路径，而其它方法在白覆盖层隐藏最可辨识的特征时可能是无用的。在另一示例中，当附加信息(例如增强或利于基于附加信息来滤波图像的红外、雷达或GPS数据)可用时，可使用不同的组合。可设想滤波方法的多种组合，且本发明不打算限于本文所述的具体实施例。
如上所述，描述了采用纹理丰富方法的第一处理方案和采用无纹理方法的第二处理方案，每种方案允许辨识可用于描述车辆视图中的畅通路径的道路特征。然而，应当理解的是，基于任一方案的单种分析可能产生模糊结果，例如，在具体发光状况下，来自于另一车辆的阴影、道路表面的热引起的扭曲或其它类似问题可引起道路表面部分被误辨识为与道路表面的其余部分不一致。解决模糊结果的一种方法通过在车辆沿道路行驶时分析迭接图像来完成。应当理解的是，当车辆沿道路行驶时，以快速持续时间获得的具体道路区段的数百个图像能够被分析。在车辆向前行驶时，将观察到由于不同视角引起的道路表面的不同发光和暴光性。在路径上的行驶和对该路径上的多个迭接图像的分析能够通过分析建立道路表面的特定部分被正确估计为畅通路径的置信度。
解决任一方案的模糊结果的另一方法是使用两种方案并融合结果，使用两种方案的组合增加了辨识畅通路径的置信度。所述方案中的每种在不同畅通路径检测方面具有优于另一方案的优势。例如，在检测从具有丰富纹理的地平面清楚地突出的物体时，示例性纹理丰富方法胜出。该方法主动地辨识可在不同高度检测的物体且产生车辆不应当行驶以免物体与车辆相撞的区域映射图。在另一示例中，在对像素辨识通常显现的表面的区域进行辨识时，示例性无纹理方法胜出。该方法主动地辨识道路表面可能存在的区域并映射该表面的边界。
第一方案和第二方案可以多种方式融合。具有辨识点和用纹理丰富方法辨识的确定高度的图像可以与由无纹理方法产生的滤波图像叠置，且两种方法相符可用于限定叠置图像上的畅通路径。在融合两种方案的替代性方法中，来自于两种方案中的每种的数据可以用于将信息投影到车辆前面区域的编程投影图上，且包括从两种方案分析获得的数据的该投影图可以包括建立映射图区域的置信度指示。在融合两种方案的替代性方法中，一种方案可用作主或主要方案，第二方案可被使用或致动以分析在视图中被辨识为模糊或不清楚的区域。在融合两种方案的任何方法中，一种处理方案的强项可以用于减少另一处理方案的弱点。如果两种方案都断定该路径是畅通的，那么使用所述方案的处理模块可用增加的置信度确定该路径对于车辆行驶是期望的。可设想融合辨识方案的多种方法，且本发明并不限于本文所述的具体实施例。此外，任一方案或两种方案可与使用小块分析的上文所用方法组合。
本领域技术人员将认识到，发光标准化可应用于所捕获的图像数据。标准化是改变像素强度值范围的过程。标准化的目的是使得图像处于更适合于机器处理的范围内以改进可靠性。例如，具体地在低发光环境中或者在由于强光而对比度差时，每个像素值被标准化为0均值和单位方差，以增强图像对比度。
上述所述的滤波器和算法可采用许多形式。用于提取特征的滤波算法通常搜索在数据中的特征模式的可用视觉信息，从而由线取向、线位置、颜色、角点特性、其它视觉属性和学习属性来限定特征。属性可根据试验、根据经验、通过预测、通过建模或足以准确地训练区分属性的其它技术来产生。学习属性可通过车辆内的机器学习算法或模糊逻辑学习，随时间调节。此外，学习属性或学习路标可从车辆在路线上的重复行驶收集且可用在畅通路径辨识中。
本发明已经描述了某些优选实施例及其变型。在阅读和理解说明书之后可以想到进一步的变型和变化。因而，本发明不打算限于作为设想用于实施本发明的最佳模式所公开的具体实施例，本发明将包括落入所附权利要求范围内的所有实施例。

Claims (18)

1.一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，所述方法包括：
监测所述图像，每个图像包括多个像素；
使用无纹理处理方案来分析所述图像，包括：
在每个图像中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开；和
基于所述畅通表面来确定畅通路径。
2.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括：
将图像上地平线下方的区域从地平线上方的区域进行滤波。
3.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括：
基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波图像中的像素。
4.根据权利要求3所述的方法，其中，每个像素包括多个颜色强度；
其中，取决于颜色分布均值的颜色强度阈值包括所述多个颜色强度中的每个的颜色强度阈值；且
其中，基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波图像中的像素包括：
将每个像素的所述多个颜色强度中的每个与所述多个颜色强度中的每个的颜色强度阈值进行比较；和
根据当所述多个颜色强度中的一个大于与颜色强度相关的颜色强度阈值时排除所述像素来滤波每个像素。
5.根据权利要求4所述的方法，其中，与颜色强度相关的所述多个颜色强度中的一个相关的颜色强度阈值的颜色分布均值是分布在该图像中的平均颜色强度。
6.根据权利要求5所述的方法，还包括：
基于所监测的图像调节与颜色强度相关的颜色分布均值。
7.根据权利要求4所述的方法，其中，第一颜色强度是红色强度，第二颜色强度是绿色强度，第三颜色强度是蓝色强度，且其中每个像素包括第一、第二和第三颜色强度，且在像素的红色强度和红色颜色分布均值之间的差大于红色强度阈值，像素的绿色强度和绿色颜色分布均值之间的差大于绿色强度阈值，并且像素的蓝色强度和蓝色颜色分布均值之间的差大于蓝色强度阈值时，滤波所述像素。
8.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括：
基于差分顺序图像来分析。
9.根据权利要求8所述的方法，其中，所述差分顺序图像包括：
确定当前图像上的独立像素和先前图像上的对应独立像素之间的差。
10.根据权利要求9所述的方法，其中，所述差通过从对应颜色强度减去与像素相关的颜色强度来确定，以确定颜色强度差。
11.根据权利要求9所述的方法，还包括：
滤波所述独立像素，包括：在当前图像上的独立像素和先前图像上的对应独立像素之间的差超过预定阈值时，排除像素。
12.根据权利要求9所述的方法，其中，先前图像基于车辆运动调节。
13.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括：
基于辨识表示边缘的像素来滤波。
14.根据权利要求13所述的方法，其中，基于辨识表示边缘的像素来滤波包括应用Sobel滤波器。
15.根据权利要求1所述的方法，其中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开包括：
形成多个滤波图像；和
将所述滤波图像融合在一起以确定畅通表面。
16.根据权利要求15所述的方法，其中，将所述滤波图像融合在一起包括：
确定在所述多个滤波图像中的每个所包括的像素位置；
将像素位置处的像素与多个滤波图像上的对应像素位置进行比较；和
当所述多个滤波图像中的每个在对应像素位置处包含像素时，包括所述像素。
17.一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的方法，所述方法包括：
监测所述图像；
使用无纹理控制方案来分析图像，包括：
将图像上地平线下方的区域从地平线上方的区域进行滤波；
基于将像素的颜色强度与取决于颜色分布均值的颜色强度阈值进行比较来滤波图像中的像素；
基于差分顺序图像来进行滤波；
基于辨识表示边缘的像素来进行滤波；
基于所述滤波来确定畅通表面并基于所述畅通表面来确定畅通路径；和
使用畅通路径来操作车辆；
使用纹理丰富控制方案来分析图像，包括：
从两个图像中的每个中的多个像素辨识兴趣点集合，所述两个图像包括当前图像和先前图像；
将来自于当前图像的兴趣点集合和来自于先前图像的兴趣点集合的兴趣点对进行匹配，其中，匹配对中的每个被估计为对应于单视图特征；
将兴趣点匹配对进行滤波以选择高质量匹配对集合；和
基于高质量匹配对集合来产生视图中的特征的三维映射图；
基于所述纹理丰富控制方案和所述无纹理控制方案来确定畅通路径；和
使用畅通路径来操作车辆。
18.一种使用对由位于车辆上的照相机装置产生的多个图像的分析来检测车辆行驶的畅通路径的设备，所述设备包括：
照相机装置；和
控制模块，所述控制模块：
监测来自于照相机装置的图像；以及
监测所述图像，每个图像包括多个像素；
使用无纹理处理方案来分析所述图像，包括：
在每个图像中，将图像进行滤波以将表示能够估计潜在道路表面的畅通表面的图像部分与不表示潜在道路表面的其它图像部分分开；和
基于所述畅通表面来确定畅通路径。
CN200910207286XA 2009-05-29 2009-10-23 基于像素的无纹理畅通路径检测 Active CN101900567B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/474594 2009-05-29
US12/474,594 US8634593B2 (en) 2008-04-24 2009-05-29 Pixel-based texture-less clear path detection

Publications (2)

Publication Number Publication Date
CN101900567A true CN101900567A (zh) 2010-12-01
CN101900567B CN101900567B (zh) 2013-05-29

Family

ID=43028663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910207286XA Active CN101900567B (zh) 2009-05-29 2009-10-23 基于像素的无纹理畅通路径检测

Country Status (3)

Country Link
US (1) US8634593B2 (zh)
CN (1) CN101900567B (zh)
DE (1) DE102009048699A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682301A (zh) * 2010-12-08 2012-09-19 通用汽车环球科技运作有限责任公司 使用附加分类器来调节畅通路径检测
CN102693432A (zh) * 2010-12-08 2012-09-26 通用汽车环球科技运作有限责任公司 使用可靠局部模型更新来调节畅通路径检测
CN107527006A (zh) * 2016-06-15 2017-12-29 宝马股份公司 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
CN107743463A (zh) * 2015-04-10 2018-02-27 捷豹路虎有限公司 防碰撞系统
CN104411559B (zh) * 2012-03-26 2018-04-20 伟摩有限责任公司 用于检测交通信号及其关联状态的鲁棒方法
CN109426801A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种车道线实例检测方法和装置
CN109791598A (zh) * 2016-05-13 2019-05-21 维迪科研究所 用于识别地面标记的图像处理方法以及地面标记检测系统
CN111192461A (zh) * 2020-01-21 2020-05-22 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN111474893A (zh) * 2019-11-23 2020-07-31 田华 智能化像素阵列控制系统
CN113008470A (zh) * 2020-07-22 2021-06-22 威盛电子股份有限公司 气体泄漏检测装置以及气体泄漏检测方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
DE102010002310A1 (de) * 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
DE102010022967A1 (de) * 2010-06-08 2011-12-08 Johannes Giesser Messerfabrik Gmbh System und Verfahren zur Überwachung von Werkzeugen
CN102201163A (zh) * 2011-04-12 2011-09-28 北京世纪高通科技有限公司 一种基于rds-tmc的信息处理方法
EP2574958B1 (en) 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
US8559727B1 (en) * 2012-04-09 2013-10-15 GM Global Technology Operations LLC Temporal coherence in clear path detection
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
DE102012024662A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Unterscheiden zwischen Merkmalen eines Zielobjekts und Bodenmerkmalen in einem Bild einer Kamera, Kamerasystem für ein Kraftfahrzeug und Kraftfahrzeug
DE102013201941A1 (de) * 2013-02-06 2014-08-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln eines Fahrbahnverlaufs
KR101484212B1 (ko) * 2013-03-29 2015-01-19 현대자동차 주식회사 자동차의 운전자 인식 시스템 및 인식 방법
US9286520B1 (en) * 2013-07-16 2016-03-15 Google Inc. Real-time road flare detection using templates and appropriate color spaces
US9747507B2 (en) * 2013-12-19 2017-08-29 Texas Instruments Incorporated Ground plane detection
GB2523097B (en) * 2014-02-12 2016-09-28 Jaguar Land Rover Ltd Vehicle terrain profiling system with image enhancement
CN104796612B (zh) * 2015-04-20 2017-12-19 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
JP6745112B2 (ja) 2016-02-04 2020-08-26 株式会社トプコン 路面性状の評価方法、及び路面性状の評価装置
JP6745113B2 (ja) * 2016-02-04 2020-08-26 株式会社トプコン 路面性状取得方法、及び路面性状取得装置
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
CN105911994A (zh) * 2016-06-17 2016-08-31 陈彬彪 一种汽车自动驾驶系统及其使用方法
US9898005B2 (en) 2016-06-24 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Driving path determination for autonomous vehicles
CN106339445B (zh) * 2016-08-23 2019-06-18 东方网力科技股份有限公司 基于大数据的车辆检索方法及装置
CN106781502B (zh) * 2017-01-13 2017-09-29 合肥工业大学 一种基于向量量化训练模型的燃油汽车路况识别方法
DE102017200695B4 (de) 2017-01-18 2022-08-04 Audi Ag Verfahren zum Navigieren eines Kraftfahrzeugs entlang einer vorgebbaren Wegstrecke
DE102017207958B4 (de) 2017-05-11 2019-03-14 Audi Ag Verfahren zum Generieren von Trainingsdaten für ein auf maschinellem Lernen basierendes Mustererkennungsverfahren für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zum Betreiben einer Recheneinrichtung sowie System
DE102017212361B4 (de) 2017-07-19 2021-02-25 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
US11288521B2 (en) * 2019-01-31 2022-03-29 Uatc, Llc Automated road edge boundary detection
CN112101069A (zh) 2019-06-18 2020-12-18 华为技术有限公司 确定行驶区域信息的方法及装置
KR102258804B1 (ko) * 2019-08-14 2021-05-28 엘지전자 주식회사 인증 스코어를 이용한 생체인증 장치 및 방법
US11891067B2 (en) * 2019-12-11 2024-02-06 Electronics And Telecommunications Research Institute Vehicle control apparatus and operating method thereof
US11886968B2 (en) * 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN112188085B (zh) * 2020-09-04 2022-04-01 上海摩象网络科技有限公司 一种图像处理方法及手持云台相机
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
US7280704B2 (en) * 1997-11-13 2007-10-09 The Schepens Eye Research Institute, Inc. Wide-band image enhancement
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
JP4685313B2 (ja) * 1999-12-29 2011-05-18 ジオスパン コーポレイション 任意の局面の受動的な体積画像の処理方法
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP2002077609A (ja) * 2000-09-05 2002-03-15 Canon Inc 画像判別装置及び複写機及び画像判別方法
JP3729095B2 (ja) * 2001-06-29 2005-12-21 日産自動車株式会社 走行路検出装置
JP3778849B2 (ja) 2001-12-18 2006-05-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US20080292211A1 (en) * 2002-04-02 2008-11-27 Frantz Robert H Vehicle exterior examination and search system
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
DE602004016520D1 (de) 2003-07-11 2008-10-23 Toyota Motor Co Ltd Aufprallsicherheitsfahrzeugsteuersystem
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
KR100559421B1 (ko) 2003-12-30 2006-03-10 현대자동차주식회사 차량 추돌 방지 시스템
JP2005215985A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
JP4696248B2 (ja) * 2004-09-28 2011-06-08 国立大学法人 熊本大学 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP4137890B2 (ja) * 2005-01-21 2008-08-20 シャープ株式会社 画像処理装置、画像形成装置、画像読取処理装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2006264416A (ja) * 2005-03-22 2006-10-05 Takata Corp 対象物検知システム、保護システム、車両
TWI322622B (en) * 2006-03-22 2010-03-21 Quanta Comp Inc Image processing apparatus and method of the same
DE102006060893A1 (de) 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
JP4720705B2 (ja) * 2006-09-27 2011-07-13 ソニー株式会社 プログラム、検出方法、及び検出装置
DE102006046843A1 (de) 2006-10-02 2008-04-03 Robert Bosch Gmbh Verfahren zur Erkennung eines Umfelds
DE102006058308A1 (de) 2006-12-11 2008-06-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erfassen eines Hindernisses in einem Umgebungsbereich eines Kraftfahrzeugs und Kraftfahrzeug
DE102006061390B4 (de) 2006-12-23 2019-05-16 Volkswagen Ag Umfelderfassungssystem und Umfelderfassungsverfahren eines Kraftfahrzeugs
US7881497B2 (en) * 2007-03-08 2011-02-01 Honeywell International Inc. Vision based navigation and guidance system
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
CN101286199A (zh) * 2007-09-14 2008-10-15 西北工业大学 一种基于区域生长和蚁群聚类的图像分割方法
US7872764B2 (en) * 2007-10-16 2011-01-18 Magna Electronics Inc. Machine vision for predictive suspension
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693432A (zh) * 2010-12-08 2012-09-26 通用汽车环球科技运作有限责任公司 使用可靠局部模型更新来调节畅通路径检测
CN102682301B (zh) * 2010-12-08 2015-02-25 通用汽车环球科技运作有限责任公司 使用附加分类器来调节畅通路径检测
CN102693432B (zh) * 2010-12-08 2015-12-02 通用汽车环球科技运作有限责任公司 使用可靠局部模型更新来调节畅通路径检测
CN102682301A (zh) * 2010-12-08 2012-09-19 通用汽车环球科技运作有限责任公司 使用附加分类器来调节畅通路径检测
US10906548B2 (en) 2012-03-26 2021-02-02 Waymo Llc Robust method for detecting traffic signals and their associated states
CN104411559B (zh) * 2012-03-26 2018-04-20 伟摩有限责任公司 用于检测交通信号及其关联状态的鲁棒方法
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states
CN107743463A (zh) * 2015-04-10 2018-02-27 捷豹路虎有限公司 防碰撞系统
CN109791598A (zh) * 2016-05-13 2019-05-21 维迪科研究所 用于识别地面标记的图像处理方法以及地面标记检测系统
CN107527006A (zh) * 2016-06-15 2017-12-29 宝马股份公司 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
CN107527006B (zh) * 2016-06-15 2023-08-01 宝马股份公司 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
CN109426801A (zh) * 2017-08-23 2019-03-05 北京图森未来科技有限公司 一种车道线实例检测方法和装置
CN111474893A (zh) * 2019-11-23 2020-07-31 田华 智能化像素阵列控制系统
CN111192461A (zh) * 2020-01-21 2020-05-22 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN111192461B (zh) * 2020-01-21 2022-06-28 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN113008470A (zh) * 2020-07-22 2021-06-22 威盛电子股份有限公司 气体泄漏检测装置以及气体泄漏检测方法
CN113008470B (zh) * 2020-07-22 2024-02-13 威盛电子股份有限公司 气体泄漏检测装置以及气体泄漏检测方法

Also Published As

Publication number Publication date
DE102009048699A1 (de) 2010-12-02
CN101900567B (zh) 2013-05-29
US20090295917A1 (en) 2009-12-03
US8634593B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
CN101900567B (zh) 基于像素的无纹理畅通路径检测
CN101900566B (zh) 基于像素的纹理丰富畅通路径检测
CN101900562B (zh) 采用基于分割方法的畅通路径检测
CN101950350B (zh) 使用分级方法的畅通路径检测
CN101929867B (zh) 使用道路模型的畅通路径检测
CN102076531B (zh) 车辆畅通路径检测
CN101963509B (zh) 通过地形变化分析来检测畅通路径的方法
US8611585B2 (en) Clear path detection using patch approach
US9852357B2 (en) Clear path detection using an example-based approach
Jensen et al. Vision for looking at traffic lights: Issues, survey, and perspectives
US8487991B2 (en) Clear path detection using a vanishing point
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
CN101966846B (zh) 通过物体检测优化的检测车辆行驶的畅通路径的方法
CN102044151B (zh) 基于光照可见度辨识的夜间车辆视频检测方法
US8890951B2 (en) Clear path detection with patch smoothing approach
CN103366179B (zh) 畅通路径检测中的俯视图分类
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant