CN103366155B - 通畅路径检测中的时间相干性 - Google Patents
通畅路径检测中的时间相干性 Download PDFInfo
- Publication number
- CN103366155B CN103366155B CN201310120899.6A CN201310120899A CN103366155B CN 103366155 B CN103366155 B CN 103366155B CN 201310120899 A CN201310120899 A CN 201310120899A CN 103366155 B CN103366155 B CN 103366155B
- Authority
- CN
- China
- Prior art keywords
- step frame
- probability
- frame
- time step
- current time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002123 temporal effect Effects 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title abstract description 11
- 230000037361 pathway Effects 0.000 title abstract 7
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000000875 corresponding effect Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 22
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及通畅路径检测中的时间相干性。具体地，提供了一种检测行驶的通畅路径的方法。在各个时间步长帧捕获各个输入图像。产生当前时间步长帧和先前时步长帧的通畅路径概率图。产生当前时间步长帧的对应通畅路径概率图，其根据先前时间步长帧的通畅路径概率图和将先前时间步长帧相关地关联到当前时间步长帧的对应映射来获得。产生权重匹配图。所述当前时间步长帧的概率值根据对应概率图被更新。基于所述当前时间步长帧的更新概率值来产生当前帧概率确定图。基于所述当前帧概率确定图来确认所述当前时间步长的图像中的通畅路径。
Description
技术领域
实施方式总体上涉及在车辆的行驶路径中的物体检测。
背景技术
视觉成像系统被用于车辆中以用于增强车辆内的应用，所述应用例如是自主驾驶系统或半自主驾驶系统。这种系统可被用于通过转向系统、节气门控制、制动控制来自主地或半自主地控制车辆，或者甚至用作车道偏离警告系统。
通畅路径检测系统确认通常路径，以便将沿着道路行进的车辆操作到该通畅路径中。行驶路径针对包括全部非路面的物体被感测，使得车辆可沿未中断的行驶路径行驶。图像内的特征可根据其形式以及与道路的关系被检测和分析。然而，这种方法可能由于密集的数据处理是缓慢的，或者不能够区分通畅路径特征和非通畅路径特征。
发明内容
实施方式构想出一种用于检测行驶的通畅路径的方法。利用至少一个图像捕获装置来捕获车辆外部的场景的各个输入图像。所述各个输入图像在各个时间步长帧被捕获。由处理模块来产生当前时间步长帧的通畅路径概率图。所述通畅路径概率图确认表示了所述当前时间步长帧内被提取的特征是否是通畅路径特征的概率值。由所述处理模块来产生在时间上的先前时间步长帧的通畅路径概率图。所述通畅路径概率图确认表示了所述先前时间步长帧内被提取的特征是否是通畅路径特征的概率值。产生用于所述当前时间步长帧的对应通畅路径概率图。所述对应通畅路径概率图根据所述先前时间步长帧的所述通畅路径概率图以及将所述先前时间步长帧相关地关联到所述当前时间步长帧的对应映射来得到。由所述处理模块产生权重匹配图。所述权重匹配图包括确认所述先前时间步长帧和所述当前时间步长帧之间的提取特征的成功匹配程度的权重值。根据所述对应概率图来更新所述当前时间步长帧的概率值。所述权重值被施加到所述对应概率图的概率值，用于确定所述对应概率图的概率值被用于更新当前时间步长帧的通畅路径概率图的程度。基于所述当前时间步长帧的更新概率值来产生当前帧概率确定图。基于所述当前帧概率确定图来产生所述当前时间标记的图像中的通畅路径。
本发明还包括以下方案：
1. 一种用于检测行驶的通畅路径的方法，所述方法包括以下步骤：
利用至少一个图像捕获装置来捕获车辆外部的场景的各个输入图像，所述各个输入图像在各个时间步长帧被捕获；
由处理模块来产生当前时间步长帧的通畅路径概率图，所述通畅路径概率图确认表示了所述当前时间步长帧内被提取的特征是否是通畅路径特征的概率值；
由所述处理模块来产生在时间上的先前时间步长帧的通畅路径概率图，所述通畅路径概率图确认表示了所述先前时间步长帧内被提取的特征是否是通畅路径特征的概率值；
产生用于所述当前时间步长帧的对应通畅路径概率图，所述对应通畅路径概率图根据下述得到：所述先前时间步长帧的通畅路径概率图，以及将所述先前时间步长帧相关地关联到所述当前时间步长帧的对应映射；
由所述处理模块产生权重匹配图，所述权重匹配图包括确认所述先前时间步长帧和所述当前时间步长帧之间的提取特征的成功匹配程度的权重值；
根据所述对应概率图来更新所述当前时间步长帧的概率值，其中，所述权重值被施加到所述对应概率图的概率值，用于确定所述对应概率图的概率值被用于更新当前时间步长帧的通畅路径概率图的程度；
基于所述当前时间步长帧的更新概率值来产生当前帧概率确定图；以及
基于所述当前帧概率确定图来确认当前时间标记的图像中的通畅路径。
2. 根据方案1所述的方法，其中，所述当前帧概率图还根据先前时间步长帧的时间衰减被确定。
3. 根据方案1所述的方法，还包括确认所述捕获图像内的感兴趣区域的步骤，其中，在每个捕获图像内的所述感兴趣区域被分析以用于产生通畅路径概率图。
4. 根据方案1所述的方法，其中，在每个时间步长帧的每个捕获图像被分割为块网格，其中，在所述当前时间步长帧的块网格内的每个块与相应的先前时间步长帧的块网格内的相关块比较，其中，从每个块网格提取特征以用于确定相应组的相关块内的提取特征是否匹配。
5. 根据方案4所述的方法，其中，确定相应组的相关块内的提取特征是否匹配包括：基于外观特征类似性来比较特征。
6. 根据方案5所述的方法，其中，比较外观并且确定是否存在匹配是在没有阻碍所述提取特征的遮挡的情况下被执行的。
7. 根据方案4所述的方法，其中，所述权重值基于块网格之间的每个相应相关组的块的特征匹配的程度被确定，且其中，每个相应权重值基于所述相应相关组的块的特征匹配的程度的函数而被分配给对应概率图的块网格内的每个相应块。
8. 根据方案7所述的方法，其中，所述权重值还根据时间衰减因子被确定，其中，与不太近期的时间步长帧相比，增加的权重值被施加到近期的时间步长帧。
9. 根据方案4所述的方法，其中，将所述先前时间步长帧相关地关联到所述当前时间步长帧的所述对应映射是根据所述当前时间步长帧的块网格和车辆运动来得到的。
10. 根据方案9所述的方法，其中，通过将所述当前时间步长帧的块网格的分割块基于所述对应映射传到先前时间步长帧来确定相应的先前时间步长帧的块网格区域。
11. 根据方案10所述的方法，其中，有效块网格区域针对每个相应的先前时间步长帧被产生，且其中，所述有效块网格区域包括在所述先前时间步长帧的感兴趣区域内的相应块。
12. 根据方案11所述的方法，其中，块网格索引被分配给所述相应的先前时间步长帧内的每个块，并且每个分配的块网格索引提供了用于将所述当前时间步长帧的相应块匹配到所述先前时间步长帧的相应块的标识。
13. 根据方案1所述的方法，其中，所述当前帧的概率确定图包括：基于当前概率通畅路径图和对应通畅路径概率图的融合来更新概率。
14. 根据方案1所述的方法，其中，所述当前帧的概率确定图包括基于当前概率通畅路径图和至少两个对应路径概率图的融合来更新概率，所述至少两个对应路径概率图在各个先前时间步长帧被产生。
15. 根据方案1所述的方法，其中，所述当前时间步长帧的通畅路径概率图内的每个概率值基于如下公式被确定：
其中，是平滑概率值，是所述当前时间步长帧中的相应块位置，是先前第t时间步长帧中的与块位置对应的相应块位置，是表明了在先前第t时间步长帧中的每个块对时间概率更新的贡献的权重或程度的匹配函数，是用于当前时间步长帧的衰减因子，并且是用于先前时间步长帧的衰减因子。
16. 根据方案15所述的方法，其中，所述衰减因子包括在0和1之间的值，并且用下述方程来表示：
其中，所述衰减因子的值与每个相应时间步长帧对平滑概率值的贡献因子相关。
17. 根据方案16所述的方法，其中，等于1的衰减值表明：从每个先前时间步长帧提供相等的贡献。
18. 根据方案17所述的方法，其中，小于1的衰减值表明：先前时间步长帧在来自不太近期的时间段时贡献更少。
19. 根据方案1所述的方法，其中，利用至少一个图像捕获装置来捕获所述车辆外部的场景的各个输入图像包括：利用多个基于图像的捕获装置，其中，每个基于图像的捕获装置捕获所述车辆外部的不同场景。
附图说明
图1是集成了通畅路径检测系统的车辆。
图2a、3a、4a、5a示出了由图像捕获装置在各个时刻捕获的示例性图像。
图2b、3b、4b、5b示出了在相应时刻处的示例性通畅路径概率图。
图6是用于通畅路径的时间相干性的方法的流程图。
图7是通畅路径的概率确定图。
具体实施方式
在图1中示出了集成有通畅路径检测系统的车辆12。通畅路径检测系统包括被安装到车辆12上的图像捕获装置14。图像捕获装置14与处理单元16通信。
图像捕获装置14可包括捕获行驶道路的图像的照相机（或摄像机或摄照机）或其他成像装置。图像捕获装置14捕获车辆前方的被用于确认行驶路径通畅的图像。优选地，图像捕获装置14构造成用于执行连续的图像捕获。由图像捕获装置14捕获的图像可被存储在图像捕获装置14的存储器中、被传送到车外存储装置、或者可被传送到处理单元16以用于分析。此外，可使用不止一个图像捕获装置，以便捕获位于车辆的后方和/或两侧的图像，以便用于通畅路径检测。借助环境观察系统，四个广域视场（180度以上）照相机（或摄像机或摄照机）和向前看的窄域视场（~50度）照相机（或摄像机或摄照机）执行通畅路径检测。在车辆后方被捕获的图像可被用于分析，以确认用于车辆前方的行驶道路的通畅路径。
所捕获的图像优选地是已知像素尺寸的二维图像。该图像包含多个可确认像素。每个像素包括对应于预定色彩图上的颜色的位集合，所述预定色彩图表示了颜色强度值。
如图1所示的处理单元16是单个单元；但是应当理解的是，处理单元16的功能可通过以软件、硬件和/或专用集成电路来实施的一个或多个装置来执行。处理单元16可以是：通用目的处理器，包括中央微处理器或中央处理单元的数字计算机，ASIC，或者具有非易失性存储器、只读存储器、可编程只读存储器、RAM、A-D电路、D-A电路、输入/输出电路、缓冲能力和合适信号调节（例如，数字信号处理）的其他处理模块。处理单元16被设计成执行利用了来自本文所述的装置以及车辆内的其他装置或系统的输入的算法。
处理单元16确定捕获图像中的通畅路径。该通畅路径被用于引导沿行驶路径的车辆。处理单元16可执行如上所述的引导功能，或者可将结果传送到执行所述引导功能的次级应用。
在图2a-5a中示出了由图像捕获装置捕获的图像。图像在不同的时间步长处被捕获。图2b-5b描述了在图2a-5a中的相应捕获图像的相关概率图，所述概率图描述了用于确认每个捕获图像中的通畅路径的概率。概率图被产生，用于确认当捕获每个图像时所述每个图像的行驶道路的通畅路径。各种技术可被用于确定在当前时间步长帧内与每个特征相关的概率。一个这种技术在于2009年10月19日提交的序列号为12/581,742的共同待决申请中被描述，该文献以引用的方式全部结合到本文。本文所述的技术将输入图像分割为多个小块，并且确定每个小块的概率值。
如图2b-5b所示，概率值描述了其中小块的相应特征被分类为通畅路径的一部分的该小块的可能性。概率值在0至1之间。大于0.5的概率值表明，小块的相应特征被分类为通畅路径的一部分，而小于0.5的概率值表明，小块的相应特征被分类为不是通畅路径的一部分。概率值越接近1，则相应小块是通畅路径的一部分的置信度越大。概率值越接近0，则相应小块不是通畅路径的一部分的置信度越大。
在本文所述的实施方式中，应用了产生确定图的技术，确定图包括关于当前时间步长帧中增加了确认的通畅路径的置信度水平的通畅路径的更新概率。该技术包括将当前时间步长帧分割为块网格。先前时间步长帧的对应的块网格基于当前时间步长帧的块网格被确认。产生在相应块网格之间的对应的映射。特征提取也被施加到每个相应的时间步长帧的对应的块网格，用于确定所确认的对应的块网格彼此是否匹配的程度（或权重）。一旦产生对应的映射，并且确定了相关块网格的每一个匹配得多么接近的程度（或权重），则在先前时间步长帧和当前时间步长帧之间执行时间相干性技术，用于产生概率确定图，以确认行驶道路的通畅路径。下述段落详细地描述了利用先前时间步长帧和当前时间步长帧之间的时间相干性技术来产生概率确定图的过程。
图6示出了利用时间相干性技术来确认通畅路径的技术的流程图。
在步骤30中，由图像捕获装置来捕获图像。该图像优选地捕获车辆外部的环境，包括车辆的行驶路径。被捕获的图像优选地是已知像素尺寸（颜色或灰度）的二维图像。该图像包含多个可确认像素。每个像素包括对应于预定色彩图上的颜色的位的集合，所述预定色彩图表示了颜色强度值。
每个图像在时间上彼此移位。也就是说，这些图像在时间上彼此接近的情况下被获得，用于将当前时间步长帧与先前时间步长帧比较。
在步骤31中，在每个捕获图像中确认感兴趣区域。感兴趣区域在该图像内被选择，用于关注图像的更可能包含通畅行驶路径的区域。通过过滤掉图像的最不可能存在通畅行驶路径的部分，减少了用于检测通畅行驶路径的处理时间。
地平线被优选地选择作为感兴趣区域，这是因为地平线是用于将包含通畅路径的地平面与天空分开的最佳指示器。感兴趣区域可基于消失点和水平线被产生，所述水平线对准该图像的用于执行通畅路径检测的特定区域，而不是分析整个图像。感兴趣区域的上边界（具有安全裕量的水平线）在图2b中总体上用附图标记50表示。
如本文所使用的，术语“消失点”是宽泛含义的术语，并且被赋予其对于本领域技术人员而言的普通且惯用的含义，并且指的是与地面上的多条平行线相交的水平线上的无限远的点。确认包括供行驶的通畅路径的路面最必需的是要低于消失点或水平线。过滤该图像使得仅低于水平线的区域被分析，这有助于澄清哪些像素应当被分析，以用于从无关像素确认路面。如本领域技术人员将理解的，存在用于确定消失点和对应的水平线的许多已知方法。本文的实施方式并不局限于任何一个具体技术，并且在本文可使用任何相应的技术，而不偏离本发明的范围。
在步骤32中，将感兴趣区域分割为块网格。所述块网格包括块（小的矩形或方形）。每个块包含了感兴趣区域内的限定面积。当前时间步长帧的块网格中的块与先前时间步长帧的块网格中的块进行比较。
在步骤33中，跟踪车辆的运动。车辆的运动结合当前步长帧的块网格被使用，以用于产生在先前时间步长帧中的对应的映射。
在步骤34中，从当前帧的块网格（步骤32）和车辆运动（步骤33）来得到用于先前帧的对应的映射。通过假定感兴趣区域内的所有点都位于平坦地平面上来产生对应的映射。因此，如果所有条件都是理想的（即，被映射的全部点都位于平坦地面上并且是静止的），在平坦地平面中的任何给定点都可被映射到先前时间步长。对于块网格内的每个相应块，在先前时间步长帧中找到相干性。也就是说，在当前时间步长帧中确认块的位置，并且在先前时间步长帧中确认对应的位置。在当前时间步长中的相应块的矩形形状在先前时间步长帧中将是梯形形状，这是由车辆运动引起的（其中，先前时间步长帧中的相应块与当前时间步长帧相比在图像中具有更大距离）。
在步骤35中，确定先前时间步长帧中映射的块是否处于当前感兴趣区域内。如果块被投影到感兴趣区域之外，则从映射移除该块。如果块被投影到感兴趣区域中，那么该块被分配索引。特征提取还被施加到块网格内的每个块，用于从指定区域提取特征。
在步骤36中，块网格索引被分配给被确定位于先前时间步长帧的感兴趣区域内的每个相应块。先前块网格帧中的相应块被确认，使得该相应块可被召回并且与当前时间步长帧的相应块比较。
在步骤37中，确认有效块网格，用于从先前时间步长帧的相应块网格提取特征。
在步骤38中，从在步骤37中确认的有效块网格来提取特征。特征提取涉及基于外观来确认块网格的每个块中的特征。
在步骤39中，还从来自当前时间步长帧的块网格的每个块提取特征。
在步骤40中，基于块网格索引，来自当前时间步长的块与来自先前时间步长的块进行比较。块匹配涉及分析当前时间步长帧和先前时间步长帧的对应的块的特征。匹配在没有任何遮挡（occlusions）的情况下被执行，并且基于外观。如果在当前时间步长帧的块与先前时间步长帧的块之间存在外观匹配，那么如将在下文被描述的那样，概率确定图将基于先前和当前时间步长帧的概率以及时间衰减因子来更新。另选地，如果在先前和当前时间步长的相应块之间没有太多共性，那么概率确定图将主要基于当前时间步长帧。利用来自先前时间步长帧的概率来确定概率确定图依赖于外观匹配特性的程度以及时间衰减因子，所述程度和所述时间衰减因子作为用于当前时间步长帧和先前时间步长帧之间的概率组合的权重。该方法在下述方程中被描述：
基于车辆运动和地面假设，确认对应于当前时间步长帧中的块位置的先前第t时间步长帧中的块位置。匹配函数表明在先前第t时间步长帧中的每个块对时间概率更新的贡献的权重或程度，所述权重或程度基于其与当前时间步长帧中对应的块的特征类似性。本文的实施方式并不局限于任何一个具体的类似性量度或匹配函数。在本文可使用任何相应的匹配和类似性量度方法，而不偏离本发明的范围。衰减因子表明了每个帧对具有平滑概率的贡献因子。意味着来自每个帧的概率的相等贡献，而意味着先前时间步长帧在其是来自更早时间时则贡献更少。
在步骤41中，产生概率图，用于在当前时间步长帧中确认行驶道路的通畅路径。如前文描述的，各种技术可被用于确定与当前时间步长帧内的每个小块的特征相关的概率，例如在共同待决的申请12/581,742中描述的技术。
在步骤42中，产生概率图，用于在先前时间步长帧中确认行驶道路的通畅路径。该概率图显示了与通畅路径和非通畅路径相关的先前时间步长帧内的各个小块的概率。先前时间步长的概率图在图2b-5b中被描述。
在步骤43中，通过块网格索引（步骤36中）确认的对应的映射被应用到先前时间步长帧的概率图，用于产生估计的当前概率图。也就是说，对应映射有助于确认点如何从先前时间步长帧移动到当前时间步长帧。
在步骤44中，来自步骤41和43的输出被协同地起作用，以利用在步骤40中产生的权重来更新当前时间步长帧的概率图。基于先前时间步长帧的概率图和对应的加权映射的估计的概率与当前时间步长帧的概率图结合，用于产生当前时间步长的更新概率图。从先前时间步长帧得到的概率图的依赖程度基于权重匹配和时间衰减因子。如前面在步骤40中所述的，当前时间步长帧和先前时间步长帧之间的匹配度越大，则先前时间步长帧的概率图被用于产生概率更新的程度就越大。结果，可基于在步骤40中确定的类似性程度以及衰减因子来产生权重因子，并且该权重因子被施加到由先前时间步长帧产生的概率图，用于确定其在产生概率更新中的用途。
如果相应的块特征是类似的，那么在步骤43中确定的概率图以及在步骤41中确定的概率图都被用于产生概率更新。如果相应的块特征不类似，那么更新概率图更多地依赖于在步骤41中确定的概率图。
在步骤45中，基于在步骤44中确定的概率更新来产生当前帧确定图。当前帧确定图确认当前图像内的通畅路径。如上文所述的，在图像内提取的具有较高概率值（例如，大于0.5）的特征与通畅行驶路径相关。在图像内提取的具有较低概率值（例如，小于0.5）的特征与非通畅行驶路径相关。确定图可以将先前时间步长帧的一个或多个概率图与当前时间步长帧融合，用于产生确定图。图7示出了基于如图2b-5b所示的概率图的得到的确定图。
虽然已经详细地描述了本发明的一些实施方式，但是本发明所属领域的技术人员将认识到由所附权利要求书限定的用于实践本发明的各个另选设计和实施方式。
Claims (19)
1.一种用于检测行驶的通畅路径的方法，所述方法包括以下步骤：
利用至少一个图像捕获装置来捕获车辆外部的场景的各个输入图像，所述各个输入图像在各个时间步长帧被捕获；
由处理模块来产生当前时间步长帧的通畅路径概率图，所述通畅路径概率图确认表示了所述当前时间步长帧内被提取的特征是否是通畅路径特征的概率值；
由所述处理模块来产生在时间上的先前时间步长帧的通畅路径概率图，所述通畅路径概率图确认表示了所述先前时间步长帧内被提取的特征是否是通畅路径特征的概率值；
产生用于所述当前时间步长帧的对应通畅路径概率图，所述对应通畅路径概率图根据下述得到：所述先前时间步长帧的通畅路径概率图，以及将所述先前时间步长帧相关地关联到所述当前时间步长帧的对应映射；
由所述处理模块产生权重匹配图，所述权重匹配图包括确认所述先前时间步长帧和所述当前时间步长帧之间的提取特征的成功匹配程度的权重值；
根据所述对应概率图来更新所述当前时间步长帧的概率值，其中，所述权重值被施加到所述对应概率图的概率值，用于确定所述对应概率图的概率值被用于更新当前时间步长帧的通畅路径概率图的程度；
基于所述当前时间步长帧的更新概率值来产生当前帧概率确定图；以及
基于所述当前帧概率确定图来确认当前时间标记的图像中的通畅路径。
2.根据权利要求1所述的方法，其中，所述当前帧概率确定图还根据先前时间步长帧的时间衰减被确定。
3.根据权利要求1所述的方法，还包括确认所述捕获图像内的感兴趣区域的步骤，其中，在每个捕获图像内的所述感兴趣区域被分析以用于产生通畅路径概率图。
4.根据权利要求1所述的方法，其中，在每个时间步长帧的每个捕获图像被分割为块网格，其中，在所述当前时间步长帧的块网格内的每个块与相应的先前时间步长帧的块网格内的相关块比较，其中，从每个块网格提取特征以用于确定相应组的相关块内的提取特征是否匹配。
5.根据权利要求4所述的方法，其中，确定相应组的相关块内的提取特征是否匹配包括：基于外观特征类似性来比较特征。
6.根据权利要求5所述的方法，其中，比较外观并且确定是否存在匹配是在没有阻碍所述提取特征的遮挡的情况下被执行的。
7.根据权利要求4所述的方法，其中，所述权重值基于块网格之间的每个相应相关组的块的特征匹配的程度被确定，且其中，每个相应权重值基于所述相应相关组的块的特征匹配的程度的函数而被分配给对应概率图的块网格内的每个相应块。
8.根据权利要求7所述的方法，其中，所述权重值还根据时间衰减因子被确定，其中，与不太近期的时间步长帧相比，增加的权重值被施加到近期的时间步长帧。
9.根据权利要求4所述的方法，其中，将所述先前时间步长帧相关地关联到所述当前时间步长帧的所述对应映射是根据所述当前时间步长帧的块网格和车辆运动来得到的。
10.根据权利要求9所述的方法，其中，通过将所述当前时间步长帧的块网格的分割块基于所述对应映射传到先前时间步长帧来确定相应的先前时间步长帧的块网格区域。
11.根据权利要求10所述的方法，其中，有效块网格区域针对每个相应的先前时间步长帧被产生，且其中，所述有效块网格区域包括在所述先前时间步长帧的感兴趣区域内的相应块。
12.根据权利要求11所述的方法，其中，块网格索引被分配给所述相应的先前时间步长帧内的每个块，并且每个分配的块网格索引提供了用于将所述当前时间步长帧的相应块匹配到所述先前时间步长帧的相应块的标识。
13.根据权利要求1所述的方法，其中，所述当前帧的概率确定图包括：基于当前通畅路径概率图和对应通畅路径概率图的融合来更新概率。
14.根据权利要求1所述的方法，其中，所述当前帧的概率确定图包括基于当前通畅路径概率图和至少两个对应路径概率图的融合来更新概率，所述至少两个对应路径概率图在各个先前时间步长帧被产生。
15.根据权利要求1所述的方法，其中，所述当前时间步长帧的通畅路径概率图内的每个概率值基于如下公式被确定：
其中，是平滑概率值，是所述当前时间步长帧中的相应块位置，是先前第t时间步长帧中的与块位置对应的相应块位置，是表明了在先前第t时间步长帧中的每个块对时间概率更新的贡献的权重或程度的匹配函数，是用于当前时间步长帧的衰减因子，并且是用于先前时间步长帧的衰减因子。
16.根据权利要求15所述的方法，其中，所述衰减因子包括在0和1之间的值，并且用下述方程来表示：
其中，所述衰减因子的值与每个相应时间步长帧对平滑概率值的贡献因子相关。
17.根据权利要求16所述的方法，其中，等于1的衰减值表明：从每个先前时间步长帧提供相等的贡献。
18.根据权利要求17所述的方法，其中，小于1的衰减值表明：先前时间步长帧在来自不太近期的时间段时贡献更少。
19.根据权利要求1所述的方法，其中，利用至少一个图像捕获装置来捕获所述车辆外部的场景的各个输入图像包括：利用多个基于图像的捕获装置，其中，每个基于图像的捕获装置捕获所述车辆外部的不同场景。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/441983 | 2012-04-09 | ||
| US13/441,983 US8559727B1 (en) | 2012-04-09 | 2012-04-09 | Temporal coherence in clear path detection |
| US13/441,983 | 2012-04-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103366155A CN103366155A (zh) | 2013-10-23 |
| CN103366155B true CN103366155B (zh) | 2016-11-09 |
Family
ID=49290313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310120899.6A Active CN103366155B (zh) | 2012-04-09 | 2013-04-09 | 通畅路径检测中的时间相干性 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8559727B1 (zh) |
| CN (1) | CN103366155B (zh) |
| DE (1) | DE102013205854B4 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9536137B2 (en) | 2013-03-26 | 2017-01-03 | Megachips Corporation | Object detection apparatus |
| JP6327115B2 (ja) * | 2014-11-04 | 2018-05-23 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| CN104657711B (zh) * | 2015-02-09 | 2018-11-09 | 中国石油大学(华东) | 一种鲁棒的指针式仪表读数自动识别方法 |
| US20170161591A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for deep-learning based object tracking |
| GB201616097D0 (en) * | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | Segmentation of path proposals |
| US11216956B2 (en) | 2017-12-13 | 2022-01-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Indicating objects within frames of a video segment |
| US10872419B2 (en) * | 2018-09-04 | 2020-12-22 | GM Global Technology Operations LLC | Method and apparatus for evaluating a vehicle travel surface |
| US11604070B2 (en) * | 2020-03-31 | 2023-03-14 | GM Cruise Holdings LLC. | Map maintenance and verification |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN102076531A (zh) * | 2008-04-24 | 2011-05-25 | 通用汽车环球科技运作公司 | 车辆畅通路径检测 |
| CN102314600A (zh) * | 2010-07-06 | 2012-01-11 | 通用汽车环球科技运作有限责任公司 | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
| US7376262B2 (en) * | 2003-08-04 | 2008-05-20 | American Gnc Corporation | Method of three dimensional positioning using feature matching |
| JP2006264416A (ja) * | 2005-03-22 | 2006-10-05 | Takata Corp | 対象物検知システム、保護システム、車両 |
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US8487991B2 (en) * | 2008-04-24 | 2013-07-16 | GM Global Technology Operations LLC | Clear path detection using a vanishing point |
| US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8099213B2 (en) * | 2008-07-18 | 2012-01-17 | GM Global Technology Operations LLC | Road-edge detection |
-
2012
- 2012-04-09 US US13/441,983 patent/US8559727B1/en active Active
-
2013
- 2013-04-03 DE DE102013205854.3A patent/DE102013205854B4/de active Active
- 2013-04-09 CN CN201310120899.6A patent/CN103366155B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102076531A (zh) * | 2008-04-24 | 2011-05-25 | 通用汽车环球科技运作公司 | 车辆畅通路径检测 |
| CN101966846A (zh) * | 2009-05-08 | 2011-02-09 | 通用汽车环球科技运作公司 | 通过物体检测优化的检测车辆行驶的畅通路径的方法 |
| CN102314600A (zh) * | 2010-07-06 | 2012-01-11 | 通用汽车环球科技运作有限责任公司 | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102013205854A8 (de) | 2013-11-07 |
| US20130266226A1 (en) | 2013-10-10 |
| DE102013205854A1 (de) | 2013-10-24 |
| DE102013205854B4 (de) | 2020-03-19 |
| US8559727B1 (en) | 2013-10-15 |
| CN103366155A (zh) | 2013-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103366155B (zh) | 通畅路径检测中的时间相干性 | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
| CN109460709B (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| US8611585B2 (en) | Clear path detection using patch approach | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| US8976999B2 (en) | Vehicle detection apparatus | |
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| JP5663352B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| KR101285106B1 (ko) | 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치 | |
| KR101573576B1 (ko) | Avm 시스템의 이미지 처리 방법 | |
| JP3729025B2 (ja) | 歩行者検知装置 | |
| KR101236223B1 (ko) | 차선 검출 방법 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP2020095623A (ja) | 画像処理装置および画像処理方法 | |
| Itu et al. | An efficient obstacle awareness application for android mobile devices | |
| JP2020126304A (ja) | 車外物体検出装置 | |
| KR101289386B1 (ko) | 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치 | |
| Kimura et al. | Stereo vision for obstacle detection | |
| JP2712809B2 (ja) | 車両用障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |