CN103366154B - 可重配置的畅通路径检测系统 - Google Patents
可重配置的畅通路径检测系统 Download PDFInfo
- Publication number
- CN103366154B CN103366154B CN201310120741.9A CN201310120741A CN103366154B CN 103366154 B CN103366154 B CN 103366154B CN 201310120741 A CN201310120741 A CN 201310120741A CN 103366154 B CN103366154 B CN 103366154B
- Authority
- CN
- China
- Prior art keywords
- clear path
- path detection
- detection module
- input picture
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
一种可重配置的畅通路径检测系统包括图像捕获装置和主要畅通路径检测模块以用于确定在捕获的图像内的识别的片段的对应概率值，该概率值表示相应的片段是否为道路的畅通路径的可能性。多个次要畅通路径检测模块各自被用来帮助识别输入图像中的相应的行驶道路的畅通路径。次要畅通路径检测模块中的一个或多个被选择性地启用以识别畅通路径。选择性地启用的次要畅通路径检测模块被用于识别输入图像中的行驶道路的畅通路径。融合模块共同地分析主要畅通路径检测模块和选择性地启用的次要畅通路径检测模块的畅通路径检测结果以用于识别输入图像中的畅通路径。
Description
技术领域
一个实施例大体上涉及道路识别。
背景技术
视觉成像系统在车辆中用来增强诸如畅通路径检测系统、对象检测系统和其它视觉/定位系统的车辆内的感测应用。这样的系统可用来通过转向系统、节流控制、制动控制自动地或半自动地控制车辆或甚至用于车道偏离报警系统。
各种技术可用于识别畅通路径以用于对象检测。通常，每种相应的技术具有在某些方面提供优点的属性。利用多于一种的技术将提供畅通路径的增强的检测，但也会增加用于确定畅通路径的处理时间。
发明内容
一个实施例设想出一种检测车辆行驶道路的畅通路径的方法。行驶路径中的场景的图像由图像捕获装置捕获。输入图像中的畅通路径由主要畅通路径检测模块确定。主要畅通路径检测模块分析来自捕获图像装置的输入图像。主要畅通路径检测模块将输入图像分割成多个片段。为片段中的每一个确定表示相应的片段是否为畅通行驶路径的可能性的概率值。输入图像的特征数据与分割的片段相关联。训练过的分类器被应用以基于特征数据和对应的概率值识别输入图像中的畅通行驶路径。多个次要畅通路径检测模块提供用于独立地识别输入图像中的相应的畅通行驶路径。次要畅通路径检测模块中的一个或多个被选择性地启用以识别畅通行驶路径。仅选择性地启用的次要畅通路径检测模块被用于识别输入图像中的行驶道路的畅通路径。融合模块共同地分析主要畅通路径检测模块的畅通路径检测结果并且分析选择性地启用的次要畅通路径检测模块以用于识别输入图像中的畅通路径。
一个实施例设想出一种用于车辆的可重配置的畅通路径检测系统。图像捕获装置捕获行驶路径中的场景的图像。主要畅通路径检测模块确定从图像捕获装置捕获的输入图像中的畅通路径。多个次要畅通路径检测模块，其中每个次要畅通路径检测模块被构造成独立地帮助识别输入图像中的行驶道路的相应的畅通路径。次要畅通路径检测模块中的一个或多个被选择性地启用以帮助识别行驶道路的畅通路径，其中仅选择性地启用的次要畅通路径检测模块被用来识别输入图像中的行驶道路的畅通路径。融合模块共同地分析主要畅通路径检测模块和选择性地启用的次要畅通路径检测模块的畅通路径检测结果以用于识别输入图像中的畅通路径。
本发明提供下列技术方案。
技术方案1. 一种用于车辆的可重配置的畅通路径检测系统，包括：
图像捕获装置，其用于捕获行驶路径中的场景的图像；
主要畅通路径检测模块，其确定从所述图像捕获装置捕获的输入图像中的畅通路径；
多个次要畅通路径检测模块，每个次要畅通路径检测模块被构造成独立地帮助识别所述输入图像中的所述行驶道路的相应的畅通路径，其中所述次要畅通路径检测模块中的一个或多个被选择性地启用以用于帮助识别所述行驶道路的所述畅通路径，其中仅所述选择性地启用的次要畅通路径检测模块被用于识别所述输入图像中的所述行驶道路的所述畅通路径；以及
融合模块，其用于共同地分析所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述畅通路径检测结果以用于识别所述输入图像中的所述畅通路径。
技术方案2. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括时间相干性模块，其中来自上一时间步帧的畅通路径检测概率被用来更新当前时间步帧中的畅通路径检测概率，其中概率更新基于衍生自车辆运动和在地平面上的假设的加权帧间匹配技术。
技术方案3. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括俯视图分类模块，其中从所述输入图像生成俯视图图像，并且其中从所述俯视图图像提取特征以用于识别所述畅通路径。
技术方案4. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括道路结构检测模块，其中执行消失点和过消失点线跟踪并且应用基于学习的道路边缘检测以用于识别所述输入图像中的道路边缘和道路结构。
技术方案5. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括在线相似场景模块，其中所述在线相似场景模块利用实时捕获的图像并且将所述捕获的图像与从数据库检索的此前被加标签或识别的各种图像进行比较。
技术方案6. 根据技术方案1所述的可重配置的畅通路径检测系统，其中通过对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权而共同地分析所述主要畅通路径检测模块和所述选择性地启用的畅通路径检测模块的组合。
技术方案7. 根据技术方案6所述的可重配置的畅通路径检测系统，其中对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权由下列公式表示：
其中，为融合的畅通路径可能性，为由离线训练的SVM模型分类的第一畅通路径检测概率，为在线相似场景分类概率，为俯视图分类概率，并且为自适应概率，并且、、和为权重值。
技术方案8. 根据技术方案7所述的可重配置的畅通路径检测系统，其中所述畅通路径被进一步确定为所述识别的道路结构的函数并且由下列公式表示：
其中，为作为所述识别的道路结构的函数的所述畅通路径的概率，为用于由第一融合模块生成的相应的分割片段的所述畅通路径的概率，并且为置信图，其中所述识别的道路边缘内部和外部的区域被赋予不同的置信度值。
技术方案9. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述选择性地启用的次要畅通路径检测模块基于在识别所述输入图像中的所述畅通路径的处理时间和准确度之间的折衷而选择。
技术方案10. 根据技术方案1所述的可重配置的畅通路径检测系统，其中所述选择性地启用的次要畅通路径检测模块利用所述行驶过的道路的时间偏移的捕获的图像以便识别所述输入图像中的所述畅通路径。
技术方案11. 根据技术方案10所述的可重配置的畅通路径检测系统，其中在捕获所述输入图像的预定帧速率内捕获所述行驶过的道路的所述时间偏移的捕获的图像。
技术方案12. 根据技术方案1所述的可重配置的畅通路径检测系统，还包括输出装置以用于将道路的所述畅通路径显示给车辆的驾驶者。
技术方案13. 根据技术方案1所述的可重配置的畅通路径检测系统，还包括对象检测系统，所述对象检测系统利用所述识别的畅通路径来检测所述输入图像中的对象。
技术方案14. 一种用于检测车辆的行驶道路的畅通路径的方法，所述方法包括下列步骤：
由图像捕获装置捕获行驶路径中的场景的图像；
由主要畅通路径检测模块确定输入图像中的畅通路径，所述主要畅通路径检测模块分析来自所述捕获图像装置的所述输入图像，所述主要畅通路径检测模块将所述输入图像分割成多个片段，为所述片段中的每一个确定表示相应的片段是否为行驶的畅通路径的可能性的概率值，将所述输入图像的特征数据与所述分割后的片段相关联，并且应用训练过的分类器以便基于所述特征数据和所述对应概率值而识别所述输入图像中的行驶的畅通路径；
提供多个次要畅通路径检测模块以用于独立地识别所述输入图像中的相应的行驶的畅通路径；
选择性地启用所述次要畅通路径检测模块中的一个或多个以用于识别所述行驶的所述畅通路径，其中仅所述选择性地启用的次要畅通路径检测模块被用于识别所述输入图像中的所述行驶道路的所述畅通路径；
融合模块共同地分析所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述畅通路径检测结果以用于识别所述输入图像中的所述畅通路径。
技术方案15. 根据技术方案14所述的方法，其中所述多个次要畅通路径检测模块包括时间相干性模块，其中来自上一时间步帧的畅通路径检测概率被用来更新当前时间步帧中的畅通路径检测概率，其中概率更新基于衍生自车辆运动和在地平面上的假设的加权帧间匹配技术。
技术方案16. 根据技术方案14所述的方法，其中所述多个次要畅通路径检测模块包括俯视图分类模块，其中所述捕获的图像的俯视图图像从所述车辆外部的一个或多个捕获的输入图像生成，并且其中从所述俯视图图像提取特征，并且其中从所述俯视图提取的特征被应用于分类器以便识别所述输入图像中的所述畅通路径。
技术方案17. 根据技术方案14所述的方法，其中所述多个次要畅通路径检测模块包括道路结构检测模块，其中消失点和过消失点线跟踪被执行并且基于学习的道路边缘检测被应用以用于识别所述输入图像中的道路边缘和道路结构。
技术方案18. 根据技术方案14所述的方法，其中所述多个次要畅通路径检测模块包括在线相似场景模块，其中所述在线相似场景模块利用实时捕获的图像并且将所述捕获的图像与从数据库检索的此前被加标签或识别的各种图像进行比较。
技术方案19. 根据技术方案14所述的方法，其中所述融合模块将所述主要畅通路径检测模块的结果和所述选择性地启用的次要畅通路径检测模块的结果加权以用于识别所述输入图像中的所述畅通路径。
技术方案20. 根据技术方案19所述的方法，其中对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权由下列公式表示：
其中，为融合的畅通路径可能性，为由离线训练的SVM模型分类的第一畅通路径检测概率，为在线相似场景分类概率，为俯视图分类概率，并且为自适应概率，并且、、和为权重值。
技术方案21. 根据技术方案20所述的方法，其中所述畅通路径被进一步确定为所述识别的道路结构的函数并且由下列公式表示：
其中，为作为所述识别的道路结构的函数的所述畅通路径的概率，为用于由第一融合模块生成的相应的分割片段的所述畅通路径的概率，并且为置信图，其中所述识别的道路边缘内部和外部的区域被赋予不同的置信度值。
技术方案22. 根据技术方案14所述的方法，其中所述启用的次要畅通路径检测模块基于在识别所述输入图像中的所述畅通路径的处理时间和准确度之间的折衷而选择。
技术方案23. 根据技术方案14所述的方法，其中所述选择性地启用的次要畅通路径检测模块利用所述行驶路径的时间偏移的捕获的图像以便识别所述输入图像中的所述畅通路径。
技术方案24. 根据技术方案14所述的方法，其中所述行驶路径的所述时间偏移的捕获的图像包括在前一预定时间段内捕获的图像。
技术方案25. 根据技术方案14所述的方法，还包括使用输出显示装置将所述行驶的畅通路径显示给所述车辆的驾驶者的步骤。
技术方案26. 根据技术方案14所述的方法，还包括将所述识别的行驶畅通路径提供给对象检测系统以用于检测所述输入图像中的对象的步骤。
附图说明
图1是整合了车辆畅通路径检测系统的车辆的图示。
图2是可重配置的畅通路径检测系统的框图。
具体实施方式
图1中示出整合了用于车辆12的可重配置的畅通路径检测系统的车辆。可重配置的畅通路径检测系统配有安装到车辆12的图像捕获装置14。图像捕获装置14与处理单元16通信。
图2示出了可重配置的畅通路径检测系统10的框图。可重配置的畅通路径检测系统10还可包括用于存储或缓冲捕获的图像的存储装置18、主要畅通路径检测模块20、多个次要畅通路径检测模块、第一融合模块22和第二融合模块24。
图像捕获装置14可包括摄像机或其它成像装置。图像捕获装置14捕获车辆前方的图像以用来识别畅通行驶路径。优选地，图像捕获装置14被构造用于进行连续的图像捕获。由图像捕获装置14捕获的图像可存储在图像捕获装置14的存储器中，传递到非车载存储装置，或者可以传递到处理单元以用于分析。处理单元可包括各种畅通路径检测模块和融合模块或者可以是独立的并且从相应的非车载模块检索信息。此外，可以使用不止一个图像捕获装置，以便捕获车辆后方的图像。可以在分析中使用在车辆后方捕获的图像以用于识别车辆前方的畅通行驶路径。
捕获的图像优选地为具有已知像素大小的二维图像。该图像包含多个可识别的像素。每一个像素包括对应于表示色彩强度值的预定色彩表上的色彩的一组位。
处理单元为单个单元；然而，应当理解，处理单元的功能可由在软件、硬件和/或专用集成电路中实现的一个或多个装置来执行。处理单元可以是通用处理器、包括中央微处理器或中央处理单元的数字计算机、ASIC、或具有非易失性存储器的其它处理模块、只读存储器、可编程只读存储器、RAM、模数转换电路、数模转换电路、输入/输出电路、缓冲能力和诸如数字信号处理的合适信号调节。处理单元16设计成利用来自本文所述装置以及车辆内的其它装置或系统的输入执行算法。处理单元确定捕获的图像中的畅通路径。畅通路径被用来沿行驶道路引导车辆。处理单元可执行如上所述引导功能，或者可以将结果传递到执行引导功能的第二应用。
主要畅通路径检测模块20利用基于分割的技术来检测行驶过的道路的畅通路径。主要畅通路径检测模块20分析来自图像捕获装置14的捕获输入图像。主要畅通路径检测模块20将输入图像分割成多个片段并且为每个片段确定概率值。每个片段的确定的概率值表示相应的片段是否为行驶过的道路的畅通路径的可能性。输入图像的特征数据与分割后的片段相关联并且被提供给分类器以用于基于特征数据和对应的概率值识别行驶过的道路的畅通路径。利用基于分割的技术的畅通路径检测在提交于2009年10月19日的名称为“Clear Path Detection Using Segmentation-Based Method”(使用基于分割的方法的畅通路径检测)的序列号12/581,742的共同未决的专利申请中有所描述，该申请全文以引用方式并入本文。
多个次要畅通路径检测模块结合来自主要畅通路径检测模块20的结果被选择性地使用以确定捕获的图像中的行驶道路的畅通路径。次要畅通路径检测模块包括但不限于利用此前的可靠畅通路径片段的在线相似场景检测模块26、自适应模块28、俯视图分类模块30、道路结构识别模块32和时间相干性模块34。
在线相似场景检测模块26是需要低的数据处理的技术。在车辆行进过程中，实时捕获图像并将图像立即与此前被加标签和识别的包括畅通路径的各种数据集图像样本进行比较。也就是说，存储在存储器中的先有样本图像已经被分类为畅通路径。在当前图像和存储在诸如数据库的存储器中的样本之间进行粗略的比较，以便确定是否存在匹配。由于比较需要低的数据处理，可以采用快速评估。该过程被称为“传递”(pass-through)，因为不对图像进行缓冲以用于深入分析。如果行驶道路是新的而不是此前行驶过的道路，则在线相似场景检测模块26可能不会被使用，因为将不存在与行驶道路的相似性。
自适应模块28利用包括至少两个分类器的自适应机器学习技术。由图像捕获装置14获得的图像被分割成片段。从图像中提取特性特征。可从捕获的图像识别的属性包括色彩和纹理。这些属性被诸如支持向量机的第一分类器分析，该分类器此前已被训练以识别图像中的畅通路径区域。通过置信度值来识别各种区域，该值涉及相应的片段是否为畅通路径一部分的可能性。具有低于预定阈值的置信度值的片段被附加的分类器分析，该分类器利用此前分类为具有指示畅通行驶路径的高置信水平的现实世界的测试样本而被自适应地训练。然后使用来自第一分类器和附加的自适应地更新的分类器的数据结果来进行有关后续捕获的图像的片段中畅通路径存在情况的协同决策。利用自适应技术的畅通路径检测的细节在下列专利中有所描述：2010年12月8日提交的名称为“Adaptation For ClearPath Detection With Additional Classifiers”(用于利用附加分类器的畅通路径检测的自适应)的共同未决的序列号12/963,426的专利申请；以及2010年12月8日提交的名称为“Adaptation For Clear Path Detection Using Reliable Local Model Updating”(用于使用可靠本地模块更新的畅通路径检测的自适应)的共同未决的序列号12/963,404的专利申请，这两份申请均全文以引用方式并入本文。
俯视图分类模块30利用俯视图发生器，该发生器将从图像捕获装置14获得的一个或多个图像转换为行驶道路的俯视图。由图像捕获装置14捕获一个或多个图像。将图像变形转换技术应用于图像以将该图像从前视图行驶道路转换为俯视图行驶道路。转换后的俯视图像被分割成片段。从俯视图中的片段提取特性特征。可从转换后的俯视图图像识别的属性包括色彩和纹理。通过诸如支持向量机的分类器对提取的特征进行分析，以便识别哪个片段是行驶道路的畅通路径区域。
以上描述的多个次要畅通路径检测模块中的每一个可以识别或帮助识别输入图像的行驶道路的畅通路径。在图2中，来自次要畅通路径检测模块中任一个的畅通路径检测结果被提供给第一融合模块22，在该处将该结果与来自主要畅通路径检测模块20的结果配合进行处理。提供给第一融合模块22的结果中的每一个被选择性地组合以便提高从输入图像识别畅通路径的准确度。
次要畅通路径检测模块中的每一个也可以在确定行驶过的道路的畅通路径时被启用或禁用，或者可以选择性地被利用，包括选择性地对次要畅通路径检测的概率加权。在仅利用选定的一组次要畅通路径检测模块时，畅通路径检测系统能在识别畅通路径中的准确度和处理时间之间选择折衷方案（trade-off）。也就是说，畅通路径检测系统可以基于所选模块的数量被重配置为折衷方案，所选模块的数量与整体上的系统性能时间和准确度直接相关。
增加与主要畅通路径检测模块12配合执行的畅通路径检测技术的数量增加了已经恰当地识别的畅通行驶路径的置信水平。然而，虽然每种附加的第二畅通路径检测技术增加了准确地识别畅通路径的置信水平，但执行所选模块中的每一个所需的处理时间增加。因此，仅选定数量的次要畅通路径检测技术可以被执行以便优化准确度和性能时间之间的折衷方案。
识别车辆通常行驶的区域可以帮助确定哪一种畅通路径检测技术可以最适合识别畅通路径，因为某些技术在识别行驶道路的畅通路径的准确度方面可能不提供额外的有益效果。例如，如果车辆主要在城市环境中行驶，则次要畅通路径检测模块（诸如利用消失点-线检测的道路结构跟踪技术）可能不增加结果的准确度，因为在城市环境中的消失点可能难以检测。因此，畅通路径检测系统可以被重配置为或者不执行相应的次要畅通路径检测模块或者将零权重施加到来自该相应技术的结果。因此，只可以选择那些在识别畅通路径中从或者准确度方面或者从处理速度方面受益的次要畅通路径检测技术。
在第一融合模块22中，来自畅通路径检测模块中的每一个的结果被加权以用于确定结果中的每一个将被相应地依赖和利用的程度。下列公式表示用于应用来自如上所述畅通路径检测结果的相应结果中的每一个的加权公式。该公式表示如下：
融合的畅通路径可能性被确定为下列各项的加权线性组合的函数：离线SVM分类概率、在线相似场景分类概率、俯视图分类概率、以及自适应可能性。四个模块输出的权重、、和可以相等(例如1/4)，或者可以利用回归方法来生成每个模块的最佳权重。因此，可重配置的畅通路径检测系统可以仅利用主要畅通路径检测模块20或者可以选择性地包括其它三个模块的任何组合。
然后将来自第一融合模块22的结果应用于第二融合模块24。第二融合模块24利用第一融合模块22的结果和道路结构约束中的因素。加权被用来确定道路结构约束在第二融合模块24中被使用的程度。加权基于概率框架。基于道路结构检测结果生成置信图。将置信图应用于畅通路径分类的概率图以便细化畅通路径检测结果。
在框24中，将来自第一融合模块22的结果提供给第二融合模块24。将来自道路结构识别模块32的结果与来自第一融合模块22的结果配合以获得识别畅通路径的提高的置信度。
在道路结构识别模块32中，检测消失点和潜在道路边缘以用于识别用来识别畅通路径的道路的边界。道路结构识别模块32从图像捕获装置14或存储器18获得图像。将图像提供给线聚集和消失点检测子模块。该子模块利用从捕获的输入图像变换的发光强度图像和黄色图像并且对发光强度图像和黄色图像执行边缘分析以用于检测候选线。将边缘过滤器应用于发光强度图像以获得竖直和水平梯度，然后使用这些梯度来确定梯度量值和梯度角。将每个像素的梯度量值与阈值比较以提取具有大于预定阈值的梯度量值的边缘点。边缘分析在图像数据中识别与边缘相关联的像素，然后利用图像中的边缘点来确定潜在的候选线。
通过将与潜在车道标志或路缘相关联的潜在像素聚集(分组)而检测候选线。线聚集涉及逐一扫描边缘像素。基于相邻像素之间的类似梯度识别像素的连通性以用于聚集相应的一组像素。对于每个边缘像素来说，对相应的像素的周围区域进行搜索以找到具有与该相应像素类似的梯度角的其它边缘像素。将具有类似梯度角的像素聚集在一起并赋予相同的线索引。在对每个像素进行扫描和分组之后，提取长于相应的长度和竖直方向扩散的线组并将其识别为潜在的线簇以便进一步处理。因此，基于具有梯度角相似度和局部连通性的那些簇而识别潜在的线簇。
将在发光强度图像和黄色图像中识别的线簇合并，并且对合并的线簇执行潜在候选线检测。潜在的候选线可以从亮线条、暗线条和细长线条(即，在图像中延伸相当大的距离的线)中的任一个中识别。
基于潜在的候选线结果而应用消失点检测。基于所识别的亮条和长暗条而估计消失点。此外，识别其它暗条和单一的长线以细化消失点。选择紧邻估计的初始消失点结束的线以便细化消失点。因此，基于如本文所述检测到的线识别道路结构。
在确定消失点之后，识别紧邻估计的消失点的线。对于所识别的紧邻估计的消失点的线中的每一个来说，从图像提取特征。对代表可靠道路边缘的分类的左线簇和右线簇的候选特征执行分类分析。
在第二融合模块24中，生成置信图，其中高置信度被赋予在由道路结构识别模块32检测的检测到的道路边缘之间的一个或多个区域，并且低置信度被赋予检测到的道路边缘以外的一个或多个区域。对于落入所识别的道路边缘以外的区域中的那些分割片段来说，该分割片段是畅通路径一部分的可能性减小。这通过将在第一融合模块22中确定的片段的相关联的概率与从道路结构识别模块32生成的置信图融合而执行。用于确定作为所识别的道路结构的函数的畅通路径的概率的公式由下列公式表示：
其中，为由第一融合模块22生成的相应的分割后片段的畅通路径的概率，并且为赋予道路边缘内部或外部的区域的置信度值。
所描述的融合模块是可重配置的，这意味着可以在考虑或不考虑道路边缘约束的情况下利用融合的畅通路径可能性。
将来自第二融合模块24的结果提供给时间相干性模块34。时间相干性模块34将时间平滑应用于融合后的输出数据。时间相干性技术从上一图像帧数据和当前图像帧数据生成融合后的畅通路径可能性。时间相干性模块34识别时间偏移的捕获图像中每一个内的片段。从每个图像提取与片段相关联的特征。为每个提取的特征确定指示片段为行驶过的道路的畅通路径的一部分的可能性的概率值。对时间偏移的图像中的每一个进行比较，并且识别在时间偏移的图像之间具有基本上相似的外观性质的特征。响应于具有基本上相似的外观性质的特征和它们相关联的概率值的比较，确定指示畅通路径的特征。该技术可利用下列公式来表示：
利用诸如车辆运动和在地上(畅通路径)假设的因素计算上一帧中的像素位置，该位置对应于当前帧中的。δ函数表明在此前帧中的像素是否有助于时间平滑，这基于与当前帧中的像素的相似度。权重指示每个帧的贡献权重。权重可以是固定的相等权重，这意味着在每个帧之间的均匀分布，或者可以随时间衰减，这意味着此前的视频帧时间越早贡献越小。
将由第一融合模块22和第二融合模块24产生的畅通路径结果提供给输出装置36。输出装置36可包括用于将行驶道路和畅通路径显示给车辆的驾驶者的显示器，例如由倒车摄像机使用的显示器。输出装置36可包括车辆应用，例如对象检测系统，其扫描所识别的畅通路径以用于检测行驶过的道路的场景中的对象。
下表示出了基于使用与主要畅通路径模块配合的次要畅通路径模块的准确度和速度的示例性配置。如下表中所示的基线表示主要畅通路径检测模块。
| 配置 | 准确度 | 速度(秒) |
| 基线 | 93.93% | 0.736 |
| 基线 + 自适应检测 | 93.38% | 0.774 |
| 基线 + 道路结构检测 | 93.94% | 1.411 |
| 基线 + 时间相干性检测 | 91.51% | 2.21 |
| 基线 + 时间相干性 + 自适应检测 | 94.63% | 2.25 |
| 基线 + 时间相干性 + 自适应 + 道路结构检测 | 94.64% | 2.759 |
应当理解，此处所示配置和值为示例性的，并且该表可包括比所示出的更多或更少的信息。例如，在不脱离本发明的范围的情况下，除了其它已知的技术之外，各种配置可以利用俯视图技术和/或在线技术。此外，速度数据和准确度数据可以根据所用环境、硬件和软件而不同。如图所示，随着准确度增加，用于利用所选畅通路径模块识别畅通路径的处理时间增加。或者，当使用较少的畅通路径检测模块时，处理时间减少，准确度也降低。
为了重配置畅通路径检测系统，以便仅使用所选的次要畅通路径检测模块，可以由维修中心的技师或能够存取和重配置用于执行畅通路径检测系统的软件的其他受过训练的工作人员维修车辆。如果要对次要畅通路径检测模块的结果加权，则系统基于在次要畅通路径检测模块之间的权重的均匀分布而自动地确定权重或者可以基于回归技术加权。
虽然已详细描述了本发明的某些实施例，但本发明所涉及的领域的技术人员将会知道用于实践由以下权利要求限定的本发明的各种备选设计和实施例。
Claims (22)
1.一种用于车辆的可重配置的畅通路径检测系统，包括：
图像捕获装置，其用于捕获行驶路径中的场景的图像；
主要畅通路径检测模块，其确定从所述图像捕获装置捕获的输入图像中的畅通路径；
多个次要畅通路径检测模块，每个次要畅通路径检测模块被构造成独立地帮助识别所述输入图像中的所述行驶道路的相应的畅通路径，其中所述次要畅通路径检测模块中的一个或多个被选择性地启用以用于帮助识别所述行驶道路的所述畅通路径，其中仅所述选择性地启用的次要畅通路径检测模块被用于识别所述输入图像中的所述行驶道路的所述畅通路径；以及
融合模块，其用于共同地分析所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述畅通路径检测结果以用于识别所述输入图像中的所述畅通路径,
其中通过对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权而共同地分析所述主要畅通路径检测模块和所述选择性地启用的畅通路径检测模块的组合，
其中对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权由下列公式表示：
其中，为融合的畅通路径可能性，为由离线训练的SVM模型分类的第一畅通路径检测概率，为在线相似场景分类概率，为俯视图分类概率，并且为自适应概率，并且、、和为权重值。
2.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括时间相干性模块，其中来自上一时间步帧的畅通路径检测概率被用来更新当前时间步帧中的畅通路径检测概率，其中概率更新基于衍生自车辆运动和在地平面上的假设的加权帧间匹配技术。
3.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括俯视图分类模块，其中从所述输入图像生成俯视图图像，并且其中从所述俯视图图像提取特征以用于识别所述畅通路径。
4.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括道路结构检测模块，其中执行消失点和过消失点线跟踪并且应用基于学习的道路边缘检测以用于识别所述输入图像中的道路边缘和道路结构。
5.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述多个次要畅通路径检测模块包括在线相似场景模块，其中所述在线相似场景模块利用实时捕获的图像并且将所述捕获的图像与从数据库检索的此前被加标签或识别的各种图像进行比较。
6.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述畅通路径被进一步确定为所述识别的道路结构的函数并且由下列公式表示：
其中，为作为所述识别的道路结构的函数的所述畅通路径的概率，为用于由第一融合模块生成的相应的分割片段的所述畅通路径的概率，并且为置信图，其中所述识别的道路边缘内部和外部的区域被赋予不同的置信度值。
7.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述选择性地启用的次要畅通路径检测模块基于在识别所述输入图像中的所述畅通路径的处理时间和准确度之间的折衷而选择。
8.根据权利要求1所述的可重配置的畅通路径检测系统，其中所述选择性地启用的次要畅通路径检测模块利用所述行驶过的道路的时间偏移的捕获的图像以便识别所述输入图像中的所述畅通路径。
9.根据权利要求8所述的可重配置的畅通路径检测系统，其中在捕获所述输入图像的预定帧速率内捕获所述行驶过的道路的所述时间偏移的捕获的图像。
10.根据权利要求1所述的可重配置的畅通路径检测系统，还包括输出装置以用于将道路的所述畅通路径显示给车辆的驾驶者。
11.根据权利要求1所述的可重配置的畅通路径检测系统，还包括对象检测系统，所述对象检测系统利用所述识别的畅通路径来检测所述输入图像中的对象。
12.一种用于检测车辆的行驶道路的畅通路径的方法，所述方法包括下列步骤：
由图像捕获装置捕获行驶路径中的场景的图像；
由主要畅通路径检测模块确定输入图像中的畅通路径，所述主要畅通路径检测模块分析来自所述捕获图像装置的所述输入图像，所述主要畅通路径检测模块将所述输入图像分割成多个片段，为所述片段中的每一个确定表示相应的片段是否为行驶的畅通路径的可能性的概率值，将所述输入图像的特征数据与所述分割后的片段相关联，并且应用训练过的分类器以便基于所述特征数据和所述对应概率值而识别所述输入图像中的行驶的畅通路径；
提供多个次要畅通路径检测模块以用于独立地识别所述输入图像中的相应的行驶的畅通路径；
选择性地启用所述次要畅通路径检测模块中的一个或多个以用于识别所述行驶的所述畅通路径，其中仅所述选择性地启用的次要畅通路径检测模块被用于识别所述输入图像中的所述行驶道路的所述畅通路径；
融合模块共同地分析所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述畅通路径检测结果以用于识别所述输入图像中的所述畅通路径，
其中所述融合模块将所述主要畅通路径检测模块的结果和所述选择性地启用的次要畅通路径检测模块的结果加权以用于识别所述输入图像中的所述畅通路径，
其中对所述主要畅通路径检测模块和所述选择性地启用的次要畅通路径检测模块的所述结果中的每一个加权由下列公式表示：
其中，为融合的畅通路径可能性，为由离线训练的SVM模型分类的第一畅通路径检测概率，为在线相似场景分类概率，为俯视图分类概率，并且为自适应概率，并且、、和为权重值。
13.根据权利要求12所述的方法，其中所述多个次要畅通路径检测模块包括时间相干性模块，其中来自上一时间步帧的畅通路径检测概率被用来更新当前时间步帧中的畅通路径检测概率，其中概率更新基于衍生自车辆运动和在地平面上的假设的加权帧间匹配技术。
14.根据权利要求12所述的方法，其中所述多个次要畅通路径检测模块包括俯视图分类模块，其中所述捕获的图像的俯视图图像从所述车辆外部的一个或多个捕获的输入图像生成，并且其中从所述俯视图图像提取特征，并且其中从所述俯视图提取的特征被应用于分类器以便识别所述输入图像中的所述畅通路径。
15.根据权利要求12所述的方法，其中所述多个次要畅通路径检测模块包括道路结构检测模块，其中消失点和过消失点线跟踪被执行并且基于学习的道路边缘检测被应用以用于识别所述输入图像中的道路边缘和道路结构。
16.根据权利要求12所述的方法，其中所述多个次要畅通路径检测模块包括在线相似场景模块，其中所述在线相似场景模块利用实时捕获的图像并且将所述捕获的图像与从数据库检索的此前被加标签或识别的各种图像进行比较。
17.根据权利要求12所述的方法，其中所述畅通路径被进一步确定为所述识别的道路结构的函数并且由下列公式表示：
其中，为作为所述识别的道路结构的函数的所述畅通路径的概率，为用于由第一融合模块生成的相应的分割片段的所述畅通路径的概率，并且为置信图，其中所述识别的道路边缘内部和外部的区域被赋予不同的置信度值。
18.根据权利要求12所述的方法，其中所述启用的次要畅通路径检测模块基于在识别所述输入图像中的所述畅通路径的处理时间和准确度之间的折衷而选择。
19.根据权利要求12所述的方法，其中所述选择性地启用的次要畅通路径检测模块利用所述行驶路径的时间偏移的捕获的图像以便识别所述输入图像中的所述畅通路径。
20.根据权利要求12所述的方法，其中所述行驶路径的所述时间偏移的捕获的图像包括在前一预定时间段内捕获的图像。
21.根据权利要求12所述的方法，还包括使用输出显示装置将所述行驶的畅通路径显示给所述车辆的驾驶者的步骤。
22.根据权利要求12所述的方法，还包括将所述识别的行驶畅通路径提供给对象检测系统以用于检测所述输入图像中的对象的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/441,962 US9626599B2 (en) | 2012-04-09 | 2012-04-09 | Reconfigurable clear path detection system |
| US13/441962 | 2012-04-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103366154A CN103366154A (zh) | 2013-10-23 |
| CN103366154B true CN103366154B (zh) | 2019-04-02 |
Family
ID=49290316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310120741.9A Active CN103366154B (zh) | 2012-04-09 | 2013-04-09 | 可重配置的畅通路径检测系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9626599B2 (zh) |
| CN (1) | CN103366154B (zh) |
| DE (1) | DE102013205952B4 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8750567B2 (en) * | 2012-04-09 | 2014-06-10 | GM Global Technology Operations LLC | Road structure detection and tracking |
| US11334605B2 (en) | 2015-06-04 | 2022-05-17 | Here Global B.V. | Incremental update of compressed navigational databases |
| US10229363B2 (en) * | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
| US10267908B2 (en) * | 2015-10-21 | 2019-04-23 | Waymo Llc | Methods and systems for clearing sensor occlusions |
| CN105825173B (zh) * | 2016-03-11 | 2019-07-19 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
| US9881230B2 (en) | 2016-05-11 | 2018-01-30 | International Business Machines Corporation | System and method for automated road identification in distant traffic camera images |
| US11222438B2 (en) * | 2016-05-27 | 2022-01-11 | Kabushiki Kaisha Toshiba | Information processing apparatus, vehicle, and information processing method for presence probability of object |
| US11132611B2 (en) * | 2016-05-27 | 2021-09-28 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method for determining presence probability of object |
| EP3252658B1 (en) * | 2016-05-30 | 2021-08-11 | Kabushiki Kaisha Toshiba | Information processing apparatus and information processing method |
| US11204610B2 (en) * | 2016-05-30 | 2021-12-21 | Kabushiki Kaisha Toshiba | Information processing apparatus, vehicle, and information processing method using correlation between attributes |
| US10421452B2 (en) * | 2017-03-06 | 2019-09-24 | GM Global Technology Operations LLC | Soft track maintenance |
| US10670725B2 (en) | 2017-07-25 | 2020-06-02 | Waymo Llc | Determining yaw error from map data, lasers, and cameras |
| JP6918425B2 (ja) * | 2017-11-09 | 2021-08-11 | 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ | 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム |
| KR20210103865A (ko) * | 2020-02-14 | 2021-08-24 | 삼성전자주식회사 | 소실점 추출 장치 및 소실점 추출 방법 |
| US11380093B2 (en) * | 2020-07-30 | 2022-07-05 | GM Global Technology Operations LLC | Detecting road edges by fusing aerial image and telemetry evidences |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN102236899A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 物体检测方法和装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040247157A1 (en) * | 2001-06-15 | 2004-12-09 | Ulrich Lages | Method for preparing image information |
| US7983835B2 (en) * | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| US8478480B2 (en) * | 2006-10-27 | 2013-07-02 | International Electronic Machines Corp. | Vehicle evaluation using infrared data |
| US8004394B2 (en) * | 2006-11-07 | 2011-08-23 | Rosco Inc. | Camera system for large vehicles |
| CN101016053A (zh) * | 2007-01-25 | 2007-08-15 | 吉林大学 | 高等级公路上车辆防追尾碰撞预警方法和系统 |
| JP5116608B2 (ja) * | 2008-08-20 | 2013-01-09 | キヤノン株式会社 | 情報処理装置、制御方法、及びプログラム |
| CN101975951B (zh) * | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
| JP5206752B2 (ja) * | 2010-08-30 | 2013-06-12 | 株式会社デンソー | 走行環境認識装置 |
| DE102011016770B4 (de) * | 2011-04-12 | 2021-02-04 | Daimler Ag | Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Fahrspurwechsel und Vorrichtung zur Durchführung des Verfahrens |
-
2012
- 2012-04-09 US US13/441,962 patent/US9626599B2/en active Active
-
2013
- 2013-04-04 DE DE102013205952.3A patent/DE102013205952B4/de active Active
- 2013-04-09 CN CN201310120741.9A patent/CN103366154B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN102236899A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 物体检测方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 视觉导航智能车辆的路径识别和跟踪控制;李进;《中国博士学位论文全文数据库 信息科技辑》;20090515(第05期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130265424A1 (en) | 2013-10-10 |
| DE102013205952A1 (de) | 2013-10-24 |
| US9626599B2 (en) | 2017-04-18 |
| DE102013205952B4 (de) | 2020-03-19 |
| CN103366154A (zh) | 2013-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103366154B (zh) | 可重配置的畅通路径检测系统 | |
| Rasouli et al. | Are they going to cross? a benchmark dataset and baseline for pedestrian crosswalk behavior | |
| Hasegawa et al. | Robust Japanese road sign detection and recognition in complex scenes using convolutional neural networks | |
| Liu et al. | Detecting and counting people in surveillance applications | |
| US12002225B2 (en) | System and method for transforming video data into directional object count | |
| CN105160309B (zh) | 基于图像形态学分割及区域生长的三车道检测方法 | |
| Leibe et al. | Dynamic 3d scene analysis from a moving vehicle | |
| US8447139B2 (en) | Object recognition using Haar features and histograms of oriented gradients | |
| US8213679B2 (en) | Method for moving targets tracking and number counting | |
| CN102076531B (zh) | 车辆畅通路径检测 | |
| CN110785719A (zh) | 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统 | |
| CN102479327B (zh) | 目标识别系统，以及用于汽车的障碍识别系统和方法 | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN102609720B (zh) | 一种基于位置校正模型的行人检测方法 | |
| CN110869936A (zh) | 用于自动驾驶车辆中的分布式学习与适应的方法和系统 | |
| US11170272B2 (en) | Object detection device, object detection method, and computer program for object detection | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| CN103366179B (zh) | 畅通路径检测中的俯视图分类 | |
| US20070274566A1 (en) | Pedestrian detector and pedestrian detecting method | |
| CN107305635A (zh) | 对象识别方法、对象识别装置和分类器训练方法 | |
| CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| JP2014106685A (ja) | 車両周辺監視装置 | |
| JP5931662B2 (ja) | 道路状況監視装置、及び道路状況監視方法 | |
| Tschentscher et al. | Scalable real-time parking lot classification: An evaluation of image features and supervised learning algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |