CN102693432B - 使用可靠局部模型更新来调节畅通路径检测 - Google Patents
使用可靠局部模型更新来调节畅通路径检测 Download PDFInfo
- Publication number
- CN102693432B CN102693432B CN201110405567.3A CN201110405567A CN102693432B CN 102693432 B CN102693432 B CN 102693432B CN 201110405567 A CN201110405567 A CN 201110405567A CN 102693432 B CN102693432 B CN 102693432B
- Authority
- CN
- China
- Prior art keywords
- fritter
- characteristic
- test sample
- training
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012549 training Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 100
- 238000012360 testing method Methods 0.000 claims abstract description 79
- 238000012706 support-vector machine Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 abstract description 9
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 25
- 229910003460 diamond Inorganic materials 0.000 description 23
- 239000010432 diamond Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000001105 regulatory effect Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
使用包括可靠局部模型更新的适应性机器学习技术的车辆畅通路径检测的方法和系统。数字照相机图像分割成小块，从所述小块提取表示诸如颜色和纹理的属性的特性特征。小块特征通过支持向量机（SVM）或其它机器学习分类器分析，其先前已经训练以识别畅通路径图像区域。SVM分类器使用可靠局部试验样本适应性地更新，例如车辆刚刚经过的肯定畅通路径样本。得到的分类器用最近的可靠训练样本连续地和适应性地更新，且在针对畅通驾驶路径的存在来分析随后图像区域或小块中展现了改进的性能和准确性。
Description
技术领域
本发明总体上涉及用于车辆的畅通驾驶路径的基于照相机的检测，且更具体地涉及检测车辆的畅通驾驶路径的方法和系统，所述方法和系统使用由训练样本训练的分类器，基于可靠局部试验样本来更新分类器，且使用已更新分类器来改进关于前方道路畅通驾驶路径的决策的速度和准确性。
背景技术
许多现代车辆包括设计成增强乘员安全性、舒适性和便利性的复杂电子系统。在这些系统中，驾驶辅助系统变得日益普遍。驾驶辅助系统需要关于位于车辆前方的事物的信息，以便确定是否应当发出任何类型的驾驶员报警或应当采取规避动作。
各种技术可以由驾驶辅助系统用于道路检测，以确定车辆前方的路径是畅通的还是有障碍的。基于照相机的系统广泛地用于畅通路径检测，因为其已经被证实为可靠的且成本低的。在基于照相机的系统中，车载照相机提供车辆前方的路径的图像，且所述图像通过各种算法处理以确定前方路径是否畅通。常见处理方法使用训练分类器来作出畅通路径确定。
训练分类器是一类机器学习技术，其中，一组训练样本（在该情况下，畅通路径道路的图像区域）用于训练模型以分类还需要遇到的道路的图像区域。训练分类器的基本限制在于，仅仅可以采用有限数量的训练样本，且在实际驾驶情况下遇到的各种环境中，必然存在试验样本非常不同于任何畅通路径训练样本，而实际上处于畅通路径道路的图像区域中。
需要能够连续地更新且基于被正确分类的最近畅通路径图像区域来调节分类器的畅通路径检测技术。这种技术可以用于改进驾驶辅助系统的速度和准确性。
发明内容
根据本发明的教导，公开了使用包括可靠局部模型更新的适应性机器学习技术的车辆畅通路径检测的方法和系统。数字照相机图像分割成小块，从所述小块提取表示诸如颜色和纹理的属性的特性特征。小块特征通过支持向量机（SVM）或其它机器学习分类器分析，其先前已经训练以识别畅通路径图像区域。SVM分类器使用可靠局部试验样本适应性地更新，例如车辆刚刚经过的肯定畅通路径样本。得到的分类器用最近的可靠训练样本连续地和适应性地更新，且在针对畅通驾驶路径的存在来分析随后图像中展现了改进的性能和准确性。
方案1.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括：
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用训练分类器分析所述一个或多个小块的特征数据，以确定概率值；
选择概率值超过第一概率阈值的小块作为肯定试验样本；
使用所述一个或多个小块的位置来识别哪些训练样本和哪些肯定试验样本应当用于适应性地训练所述训练分类器，其中，位置根据特征向量空间定义；以及
基于概率值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
方案2.根据方案1所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括：分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。
方案3.根据方案2所述的方法，其中，分割图像以限定所述一个或多个小块包括：仅仅选择尺寸超过预定尺寸阈值的小块。
方案4.根据方案2所述的方法，其中，提取所述一个或多个小块的特征数据包括：提取以下项中的一个或多个：几何形状特征、颜色特征、纹理特征和方向梯度直方图特征。
方案5.根据方案1所述的方法，其中，使用训练分类器分析所述一个或多个小块的特征数据包括：使用具有径向基函数核的支持向量机分类器。
方案6.根据方案5所述的方法，其中，选择概率值超过第一概率阈值的小块作为肯定试验样本包括：将肯定试验样本的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。
方案7.根据方案6所述的方法，其中，当前数据帧、先前数据帧和聚类数据池中的存储成分用作径向基函数核的输入。
方案8.根据方案5所述的方法，还包括：选择概率值不超过第二概率阈值的小块作为否定试验样本。
方案9.根据方案8所述的方法，还包括：使用所述一个或多个小块的位置来识别哪些否定试验样本应当用于进一步适应性地训练所述训练分类器，其中，位置根据特征向量空间定义。
方案10.根据方案5所述的方法，还包括：使用车辆最近经过的区域的小块来进一步适应性地训练所述训练分类器。
方案11.根据方案10所述的方法，其中，使用车辆最近经过的区域的小块来进一步适应性地训练所述训练分类器包括：使用车辆最近经过的区域的小块作为径向基函数核的输入。
方案12.根据方案1所述的方法，还包括：在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。
方案13.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括：
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用训练分类器分析所述一个或多个小块的特征数据，以确定概率值，其中，所述训练分类器是具有径向基函数核的支持向量机分类器；
选择概率值超过概率阈值的小块作为肯定试验样本；
使用所述一个或多个小块的位置来识别哪些训练样本和哪些肯定试验样本应当用于适应性地训练所述训练分类器，其中，位置根据特征向量空间定义；
基于概率值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定；以及
在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。
方案14.根据方案13所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括：分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。
方案15.根据方案13所述的方法，其中，选择概率值超过第一概率阈值的小块作为肯定试验样本包括：将肯定试验样本的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储；以及使用当前数据帧、先前数据帧和聚类数据池中的存储成分作为径向基函数核的输入。
方案16.根据方案13所述的方法，还包括：使用车辆最近经过的区域的小块作为径向基函数核的输入，以进一步适应性地训练所述训练分类器。
方案17.一种用于车辆的畅通路径检测系统，包括：
照相机，用于产生车辆前面或车辆后面的场景的图像；
分割模块，用于从每个图像限定一个或多个小块；
特征提取模块，用于从每个图像提取所述一个或多个小块的特征数据；
分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的概率值，其中，所述分类器模块使用具有径向基函数核的支持向量机分类器；
试验样本获取模块，用于使用概率值超过概率阈值且在特征向量空间中是局部的小块的特征数据作为径向基函数核的输入以适应性地训练所述分类器模块；以及
决策模块，用于评估概率值以针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
方案18.根据方案17所述的系统，其中，所述试验样本获取模块将概率值超过概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。
方案19.根据方案17所述的系统，其中，所述试验样本获取模块使用所述一个或多个小块在特征向量空间中的位置来识别局部训练样本和局部试验样本，且使用局部训练样本和局部试验样本作为径向基函数核的输入以适应性地训练所述分类器模块。
方案20.根据方案17所述的系统，其中，所述试验样本获取模块还使用车辆最近经过的区域的小块作为径向基函数核的附加输入以适应性地训练所述分类器模块。
本发明的附加特征将从以下说明和所附权利要求书结合附图显而易见。
附图说明
图1是可以用于检测车辆的畅通驾驶路径的系统的框图，所述系统借助于附加分类器使用适应性机器学习技术；
图2是由图1的系统使用的分类器调节方法的流程图；
图3是图示了在图2的方法中使用的一组数据成分的更新的示意图；
图4是可以用于畅通路径检测的系统的框图，所述系统使用经由可靠局部模型更新实施的适应性分类器更新策略；
图5是两个功能等价的支持向量机（SVM）训练样本组的图示，示出了仅仅局部训练样本如何影响SVM分类器边界；
图6是分类器可以如何调节以利于局部训练和试验样本的图示；
图7是由图4的系统使用的分类器调节方法的流程图；和
图8是可以由图4的系统使用的分类器调节方法的可选实施例的流程图。
具体实施方式
涉及使用附加分类器的适应性畅通路径检测的本发明实施例的以下阐述本质上仅仅是示例性的且绝不旨在限制本发明或其应用或使用。
车辆中的驾驶辅助系统可以给驾驶员提供有价值的报警信息，但是仅仅在其包括借助于畅通路径检测方案的鲁棒道路检测系统时如此。诸如训练分类器的机器学习技术可以用于在道路的照相机图像中的畅通路径检测，但是常规训练分类器的有效性可以在一定程度上受到实际上仅仅可以使用有限的一组训练样本的事实的限制。本文公开了使用来自于已经用高置信度分类的实际道路图像的数据来连续地更新和调节分类器的方法，因而改进分类器以及总体驾驶辅助系统的速度和有效性。
图1是可以用于车辆的畅通路径检测的系统10的框图，系统10使用经由附加分类器实施的适应性分类器更新策略。系统10包括照相机12，照相机12通常安装在车辆挡风玻璃内，面向正前方。照相机12还可以是安装在车辆后挡、车尾行李箱或后背箱盖的区域中的后视照相机。本文公开的畅通路径检测方法可应用于向前和向后驾驶两者，只要照相机图像可用即可。照相机12可以是相对低分辨率的模型，因为高分辨率图像更难处理，且高分辨率对于畅通路径确定来说通常是不必要的。而且，非常高分辨率的成像装置可能不能耐受车辆的苛刻物理环境，或者可能过大而不适合所探讨的目的。照相机12将图像提供给预处理模块14。实际上，照相机12提供连续图像流，且系统10必须实时地连续地进行畅通路径确定，这是有挑战的任务。
预处理模块14使用各种过程预处理每个图像，例如修剪、缩放、镜头墨点校正等。镜头墨点或晕光是与图像中心相比，周边处的图像亮度或饱和度减少，这是摄影或光学领域技术人员熟知的。存在晕光的多种可能根源，包括机械的、光学的和自然的。机械和光学晕光可以通过照相机12的适当设计极大地避免。自然晕光可以通过将校正掩模应用于数字图像来补偿，从而抵消图像角部处照明度的下降。虽然不是强制的，但是该补偿可以在预处理模块14中完成。在许多情况下，预处理功能已经显示为使得随后处理更有效。然后，预处理模块14将预处理图像提供给分割模块16。
分割模块16然后将每个图像分割成小块，以用于进一步处理。在计算机视图中，分割指的是将数字图像划分为多个区段（像素组）的过程。分割的目的是将图像的表征简化和/或改变为更有意义且更容易分析的事物。图像分割通常用于定位图像中的目标和边界。更准确地，图像分割是将标签分配给图像中的每个像素使得具有相同标签的像素共有某些视觉特性的过程。图像分割的结果是一起覆盖整个图像的一组区段。区段或区域中的所有像素在一些特性或计算属性（例如，颜色、强度或纹理）方面类似。相邻区段或区域在相同特性方面不同。
在分割之后，所述区段（也称为小块）中的大多数或全部针对畅通路径可能性进行分析。然而，取决于可用计算能力，不是所有小块都可用于分类器训练。小块尺寸是可以用于限制哪些小块选择用于分类器训练的一个标准，其中，大的小块比小的小块更重要。这是因为系统10的目的是检测车辆的畅通驾驶路径，且图像的周边周围的小的小块（可表示远处的树或云）不太可能表示畅通驾驶路径。换句话说，表示车辆紧接前方道路的小块通常是每个图像中最大的和最重要的小块。因而，限制用于分类器训练的小块数量改进了总体处理速度。在一个示例中，使用图像尺寸的百分比的小块尺寸阈值，且仅仅超过阈值的小块用于分类器训练。然而，如果处理速度不是问题，那么可以使用所有小块——不仅针对畅通路径可能性进行分析，而且用于分类器训练。
在线18上，一个或多个小块作为来自于分割模块16的输出提供。特征提取模块20处理所述小块且提取数值特征。用于特征提取模块20的特征类型可包括几何形状特征、颜色特征、纹理特征、和方向梯度直方图特征。几何形状特征包括小块尺寸、小块质心位置、以及小块中的所有像素的坐标的标准偏差。颜色特征包括小块中的每个像素的颜色值的均值和标准偏差，其中，颜色值在颜色空间（例如，YCbCr）中表示。转换颜色也可以用作特征。纹理特征表示小块是非常有斑点的（如树上的叶子）还是非常一致的（如混凝土道路表面）。方向梯度直方图特征通过在图像区段中的强度梯度的分配描述。在所有特征类型中，特征可以缩减选择为最相关和冗余最小的。特征提取和选择技术是模式识别和机器学习领域技术人员熟知的。
选择小块的特征然后提供给第一分类器模块22。在一个示例中，分类器模块22使用支持向量机（SVM）分类方法，但是可以使用其它类型的机器学习分类器。SVM是通过手动选择和手动标记的训练样本组训练的监督式机器学习方法。即，人工选择的图像小块（包含各种畅通路径）通过分割模块16和特征提取模块20处理，且SVM算法被训练以识别这些图像中的畅通路径小块的特征模式。最终，在分类器模块22中使用的SVM算法将概率值分配给被处理的每个小块，其中，接近1的概率值表示畅通路径的高置信度，接近0的概率值表示非畅通路径的高置信度。
虽然分类器模块22中的SVM算法非常有效地学习以适当地分类与先前教导的训练样本类似的图像小块，但是由于可以使用的训练样本的数量的实际限制，将不可避免地存在不能适当处置的图像小块。有问题情况的一个示例是在分类器模块22用铺路面道路的图像小块训练且车辆然后遇到粗糙泥土或砂石道路时。在这种情况下，图像中的大的小块的颜色和纹理特征可能显著不同于SVM算法已知的任何道路模式，且未铺路面道路可能错误地分类为非畅通路径。这种情况称为错误否定。错误肯定也是可能的，其中，在小块中实际上存在一些结构或目标时，SVM算法将小块错误地分类为畅通路径。通过增加用来自于当前驾驶行程（包括车辆当前经历的光线状况和道路类型）的图像小块训练的适应性分类器，可以改进畅通路径检测准确性。
为了克服常规SVM分类器的限制，可以增加第二适应性分类器。尽管分类器模块22中的SVM算法用一组固定训练样本训练，但是适应性分类器从实际试验样本连续地学习。适应性分类器在调节分类器模块30中实施，其从调节模型更新模块26接收模型数据。总之，来自于分类器模块22的具有是畅通路径或非畅通路径的高置信度的小块在线24上提供给调节模型更新模块26，其中，它们用作训练样本。来自于调节模型更新模块26的数据然后提供给调节分类器模块30，其在线28上从分类器模块22接收低置信度小块。调节分类器模块30然后可以计算一致性值，其表示被评估的小块与道路上先前遇到的已知畅通路径小块有多类似。
来自于调节分类器模块30的一致性值在线32上连同线34上的来自于分类器模块22的概率值一起提供给联合决策模块36。联合决策模块36的功能是基于线32和34上的输入获得关于小块是否表示畅通路径的联合决策。畅通路径检测结果在线38上作为输出提供，其中，它们可以由驾驶辅助系统使用。下文将讨论模块26、30和36的操作的细节。
图2是由调节模型更新模块26和调节分类器模块30使用的分类器调节方法的流程图40。方法用数据成分42开始，数据成分42是来自于照相机12的图像小块，或者更具体地是从来自于照相机12的图像帧选择的任何小块的特征数据。在框44，来自于数据成分42的特征数据由第一分类器模块22的SVM算法处理，如前文所述。框44的输出是每个小块的概率值，其中，接近1的概率值表示畅通路径小块，接近0的概率值表示非畅通路径。在决策菱形块46，小块被分类成高置信度组和低置信度组。高置信度小块（例如，包括概率值大于或等于0.9的小块和概率值小于或等于0.1的小块）提供给决策菱形块48。在决策菱形块48，小块分类为具有非常高概率的小块和具有非常低概率的小块。具有是畅通路径小块的非常低概率的小块（例如，概率值小于或等于0.1的小块）不用于分类器训练，且发送到终点50，其中，它们在驾驶辅助系统中用作高置信度非畅通路径小块。具有是畅通路径小块的非常高概率的小块（例如，概率值大于或等于0.9的小块）提供给当前数据帧52，其中，它们在驾驶辅助系统中用作高置信度畅通路径小块，且还用于下文所述的分类器训练。值0.1和0.9在此用作示例；可以使用其它阈值。
当前数据帧52存储来自于照相机12的当前帧的具有非常高畅通路径概率的任何小块的特征数据。当处理新的帧时，来自于当前数据帧52的数据移动到先前数据帧54，且在当前数据帧52中接收新的高概率小块数据。该过程针对来自于照相机12的图像连续流实时地重复。在决策菱形块56，第二较高阈值应用于来自于先前数据帧54的小块数据。例如，第二阈值可以是大于0.95的概率值。在决策菱形块56不满足或超过阈值的小块在终点58处废弃。在决策菱形块56满足或超过第二阈值的小块传送到数据池60。数据池60包含来自于先前接收小块的数据聚类。
图3是示出了小块数据如何在当前数据帧52、先前数据帧54和数据池60中处理的示意图80。当前数据帧52包含小块82，如前文所述，小块82必须足够大以是重要的且具有是畅通路径小块的足够高的概率，使得其通过决策菱形块48处的阈值试验以更新调节模型。同时，先前数据帧54包含两个小块：小块84和小块86。如前文所述，先前数据帧54中的小块仅在其通过决策菱形块56处的第二阈值试验时才包括在数据池60中。为了讨论目的，将假定小块86未通过决策菱形块56处的第二阈值试验，而小块84通过。因而，在下一个图像循环到当前帧52中时，小块84需要包含到数据池60中。先前数据帧54的小块如何包含到数据池60中的讨论如下。
尽管当前数据帧52和先前数据帧54中的特征数据存储用于各个小块，但是数据池60中的数据混在一起成为聚类。聚类表示具有类似特征特性的小块组的特征向量。考虑何时发生数据更新循环以及小块84需要包含到数据池60中，存在三个聚类；即，聚类88、聚类90和聚类92。为了确定哪个聚类（如果有的话）应当包括小块84，计算小块84的中心到每个聚类88、90和92的中心的距离。确定这三个距离中的最小值。如果三个距离中的最小值小于预定距离阈值，那么小块84的特征数据包括在具有最小距离的聚类中。
在第一说明性示例中，考虑小块84具有距聚类88的最小距离，且该距离小于阈值距离。在该情况下，聚类88中的数据被更新以包括来自于小块84的数据，重新计算聚类88的中心，且聚类88的计数数量增加1以表示附加小块已经包括在聚类88中。在第二说明性示例中，考虑小块84具有距聚类88的最小距离，但是该距离大于阈值距离。在该情况下，产生新的聚类94，仅仅包含来自于小块84的数据。
对于每个数据更新循环，来自于先前数据帧54的任何合格小块都首先包含在数据池60中，然后来自于当前数据帧52的小块移动到先前数据帧54中，然后来自于下一个照相机图像的合格小块移动到当前数据帧52中。如上所述，数据池60的合格指的是在决策菱形块56处满足或超过阈值，当前数据帧52的合格指的是超过决策菱形块48的小块尺寸阈值和概率阈值。
每当车辆起动时，可以重置数据池60。如果数据池60在发生数据更新循环时是空的，那么通过决策菱形块56处的阈值试验的来自于先前数据帧54的任何小块都产生其自身的第一聚类。来自于数据池60的各个聚类还可以定期剔除，例如，如果聚类在一定时间段内未累增，那么该聚类可以从池60删除。
在前述段落中图80及其描述在小块的几何形状特征方面最容易设想。然而，由于特征数学地表示为向量，因而相同方法和计算适用于由特征提取模块20产生的其它特征类型，即颜色特征、纹理特征和方向梯度直方图特征。
将注意力返回图2，当前数据帧52、先前数据帧54和数据池60均包含在系统10的调节模型更新模块26中。来自于当前数据帧52、先前数据帧54和数据池60的存储数据提供给调节分类器模块30中的第二训练分类器，由框62和64表示。低置信度小块，即，概率值在0.1和0.9之间的小块，从决策菱形块46提供给框62。在框62，计算从决策菱形块46接收的每个低置信度小块的三个距离。第一个是从进来的小块到当前数据帧52中包含的任何小块的最小距离，称为d_curr。在图80所示的示例中，当前数据帧52仅仅包含小块82。因而，d_curr是从进来的小块到小块82的距离。
在框62处计算的第二距离称为d_prev，其为从进来的小块到先前数据帧54中包含的任何小块的最小距离。在图80所示的示例中，先前数据帧55包含小块84和86。因而，d_curr是从进来的小块到小块84的距离和从进来的小块到小块86的距离中的较小者。在框62处计算的第三距离称为d_pool，其为从进来的小块到数据池60中包含的任何聚类的最小距离。
在框64，计算一致性值，其表示进来的小块与调节模型更新模块26中的训练数据有多一致。一致性值可以在框64用加权函数计算，例如代数和、几何和或指数和。在一个示例中，框64处的一致性值是三个距离d_curr、d_prev和d_pool的加权代数函数，其中，当前帧和先前帧项的权重可以分配值1，池项的权重可以计算为目标聚类的计数数量除以数据池60中的所有聚类的所有计数数量的总和。总之，一致性值将从进来的小块到调节模型更新模块26中包含的存储数据的每个成分的加权距离转换为进来的小块是畅通路径的概率。
在框66，对低置信度小块获得联合决策，其中，联合决策基于来自于第一分类器模块22的概率值和来自于调节分类器模块30中的框64的一致性值两者。在框66中计算的联合决策值可以是概率值和一致性值的简单平均，或者可以是加权函数。例如，更多权重可以给予来自于框64的一致性值，因为该值基于用来自于当前驾驶行程的图像训练的分类器。在任何情况下，在决策菱形块68得到最终决策，且每个小块确定为终点70处的非畅通路径或者终点72处的畅通路径。这些结果用于驾驶辅助系统。如前文所述，来自于终点50处的高置信度非畅通路径小块的结果发送到终点70，其中，它们用于驾驶辅助系统。类似地，来自于数据存储52处的高置信度畅通路径小块的结果发送到终点72，其中，它们用于驾驶辅助系统。
简而言之，流程图40上显示的方法的目的和效果可以阐述如下。在由第一分类器模块22评估之后，具有作为畅通路径道路的非常高概率的小块引导到调节模型更新模块26中，其中，它们用作训练样本。调节模型更新模块26中包含的训练样本数据实时地连续更新，且用于调节分类器模块30中的第二训练分类器。不具有作为畅通路径道路的非常高概率的小块引导通过调节分类器模块30中的第二训练分类器。具有来自于当前驾驶行程的训练样本的益处，调节分类器模块30可能能够作出小块是否表示畅通路径道路的更好确定。来自于原型系统的试验数据表明，与仅仅具有单个非适应性训练分类器的类似系统相比，该方法实际上确实改进了系统10的畅通路径检测准确性。
除了上述附加分类器方法之外，其它类型的适应性更新分类器还可以用于畅通路径检测。一个方法是仅仅使用单个分类器用于畅通路径评估，且用来自于当前驾驶行程的已知表示畅通驾驶路径的训练样本适应性地更新该分类器。即，不是增加分类器的数量，该方法给单个分类器添加选择局部样本。
图4是可以用于畅通路径检测的系统100的框图，所述系统使用经由可靠局部模型更新实施的适应性分类器更新策略。在系统100中，单个分类器被训练以利于可靠局部试验样本，其中，试验样本在空间和时间两方面都是局部的。
系统100包括照相机102，其具有与系统10的照相机12相同的装置类型且执行相同功能。照相机102将图像提供给预处理模块102，预处理模块102预处理图像。预处理模块将图像提供给分割模块106，分割模块106分割图像且在线108上将一个或多个小块提供给特征提取模块110。预处理模块104、分割模块106和特征提取模块110的操作与前文针对系统10的预处理模块14、分割模块16和特征提取模块20所述相同。即，特征提取模块110的输出是由分割模块106产生的小块的一组特性特征数据。
特征向量数据在线112上提供给局部训练和试验样本获取模块114，其收集可靠局部样本（训练和试验样本两者），以用于分类器训练。特征向量数据还在线116上提供给适应性分类器模块118。适应性分类器模块118由来自于局部训练和试验样本获取模块114的数据训练，如下文详细讨论的那样。
系统100之后的动机在于通过强调局部训练和试验样本来改进SVM分类的速度和准确性。这基于图5所示的支持向量机分类器的基本原理。图5是两个功能等价的SVM训练样本组的图示。训练样本组130包含相对大数量的训练样本，包括肯定训练样本132和否定训练样本134。基于肯定训练样本132和否定训练样本134，可以限定SVM分类器边界136。
训练样本组140包含减少数量的训练样本，包括肯定训练样本142和否定训练样本144。肯定训练样本142是肯定训练样本132的最接近SVM分类器边界136的子组，否定训练样本144是否定训练样本134的最接近SVM分类器边界136的子组。基于肯定训练样本142和否定训练样本144，可以限定SVM分类器边界146，SVM分类器边界146与SVM分类器边界136相同。即，SVM分类器边界仅仅受到最接近边界的训练样本的影响，而不受远场训练样本影响。由于SVM分类器的速度与所包括的支持向量的数量成比例，因而可以得出，与训练样本组130相比，训练样本组140将得到更大速度和同样准确性的分类器。
图5所示的原理可以应用于适应性畅通路径检测分类器，以改进其速度和准确性。图6是分类器可以如何调节以利于局部训练和试验样本的图示。训练样本组150包含肯定训练样本152和否定训练样本154。这些通常是人工分类的畅通路径（肯定）和非畅通路径（否定）图像的特征向量。还示出了肯定先前试验样本156和否定先前试验样本158。肯定先前试验样本156和否定先前试验样本158分别是最近的肯定和否定试验样本，且用于限定椭圆160，椭圆160表示用于选择训练和试验样本的感兴趣局部区域。
试验样本组170包括肯定试验样本172和否定试验样本174，其是来自于分类器最近操作的可靠分类样本。试验样本组170中还示出了肯定先前试验样本156和否定先前试验样本158，连同限定感兴趣局部区域的椭圆160一起。然后，可以使用部分或完全落入椭圆160内的肯定训练样本152、否定训练样本154、肯定试验样本172和否定试验样本174的成分产生新的训练样本组180。即，新的训练样本组180包含肯定和否定训练样本，但是仅仅用于先前试验样本156和158局部的支持向量。新的SVM分类器边界182可以基于新的训练样本组180中包含的数据限定。局部的定义参照特征向量空间，如图3所示的距离计算那样。
最后，新的分类器模型190可以用于使用新的SVM分类器边界182来分类接下来进来的试验样本。使用新的分类器模型190，接下来进来的试验样本分类为例如肯定当前试验样本192和否定当前试验样本194。
图6所示的分类器调节方法然后可以在系统100中实施。图7是使用局部训练样本和可靠局部试验样本调节SVM分类器的方法的流程图200。
方法用数据成分202开始，数据成分202是来自于照相机102的图像小块，或者更具体地是从来自于照相机102的图像帧选择的任何小块的特征数据。来自于数据成分202的特征数据提供给框204，以由分类器（例如，SVM分类器）处理。框204的输出是每个小块的概率值，其用于确定畅通路径或非畅通路径，如下文所述，且还用作分类器调节的输入。如前文针对流程图40所述，接近1的概率值表示畅通路径小块的高置信度，接近0的概率值表示非畅通路径的高置信度。在决策菱形块206，小块被分类成高置信度组和低置信度组。低置信度小块（例如，包括概率值在0.1和0.9之间的小块）不进一步用于分类器训练目的，且在终点208处废弃。高置信度小块（包括概率值大于或等于0.9的小块和概率值小于或等于0.1的小块）提供给决策菱形块210。值0.1和0.9在此用作示例；可以使用其它阈值。
在决策菱形块210，小块分类为具有非常高概率的小块和具有非常低概率的小块。具有是畅通路径小块的非常低概率的小块（例如，概率值小于或等于0.1的小块）提供给数据存储212，其中，它们可以用作分类器训练的可靠否定试验样本，如前文所述。具有是畅通路径小块的非常高概率的小块（例如，概率超过第一阈值（例如，0.9）的那些小块）提供给当前数据帧214。每当新的小块移动到当前数据帧214中时，先前数据帧216从当前数据帧214接收小块。继而，来自于先前数据帧216的小块在决策菱形块218相对于第二阈值（例如，0.95）评估。在决策菱形块218不满足或超过第二阈值的小块在终点220处废弃。在决策菱形块218确实超过第二阈值的小块包含到数据池222中，数据池222包含来自于先前接收小块的数据聚类。将小块包含到数据池222中的数据聚类中以与前文针对示意图80中的数据池60所述相同的方式处置。
在框204，来自于否定试验样本数据存储212、当前数据帧214、先前数据帧216和数据池222的数据可以用于适应性地训练分类器。然而，如上文关于图6所述，期望仅仅使用当前帧局部的（特征向量空间中局部的）可靠试验向量。为了选择仅仅局部试验向量，增加框228，其从数据成分202接收位置信息。框228的输出是一组可靠的局部试验支持向量。
来自于数据成分202的小块数据还提供给框224，其中，其用于识别附近的训练支持向量。要注意的是，分类不必在框224之前，因为框224仅仅需要知道小块的位置，以便识别在特征向量空间中附近的训练支持向量。来自于框224的附近训练支持向量提供给数据存储226。在框204，来自于局部试验支持向量框228和附近训练支持向量数据存储226的数据然后可以用于根据以下讨论适应性地再次训练SVM分类器。
在复杂分类问题中，例如所探讨的基于图像的畅通路径检测问题，如果增加核函数，那么SVM分类器可以表现更好。不是将复杂数据拟合非线性曲线，SVM分类器可以通过使用核函数将数据映射到不同空间而处置所述复杂性，其中，超平面可以用于将数据分成多类。强大而通常使用的核函数是径向基函数（RBF），其是实际值函数，其值仅仅取决于距原点或称为中心的一些其它点的距离。
在框204，高斯RBF核可以用于SVM分类器中，其中，核函数定义为：
（1）
其中，K是核函数，x是评估的特征向量，c是RBF中心，其是使用的训练特征向量，是常数。符号exp(…)表示自然对数底数e的括号内的值的幂。
使用来自于否定试验样本数据存储212、当前数据帧214、先前数据帧216、数据池222和附近训练支持向量数据存储226的调节输入，方程（1）中定义的RBF核可以在框204包括在SVM分类器中，从而在框204用来自于可靠局部试验样本的数据连续地更新SVM分类器。通过仅仅使用可靠样本，即，具有是畅通路径或非畅通路径的高置信度的样本，改进框204处的SVM分类器的准确性。通过仅仅使用局部样本，即向量空间中当前小块附近的样本，改进框204处的SVM分类器的速度。框204处的来自于SVM分类器的每个小块的概率值提供给决策菱形块230，其中，每个小块确定为终点232处的非畅通路径或者终点234处的畅通路径。
另一个可靠数据源可以包括在框204处的SVM分类器中使用的RBF核的输入中，且是车辆刚刚经过的区域的小块。数据池222中的聚类将当然包括来自于车辆经过的区域的小块的数据，但是该数据一定程度上被聚类中的小块数量稀释。增加经过区域数据存储236给予车辆最近成功经过的区域（即，不碰撞障碍物或遇到非道路状况）的小块额外的权重。来自于经过区域数据存储236的数据作为在框204处的SVM分类器中使用的RBF核的输入的另一种形式包括。
在图7中，成分206-228和236表示图4所示的局部训练和试验样本获取模块114。如前文所述，局部训练和试验样本获取模块114选择局部可靠训练和试验样本，其用于经由RBF核适应性地训练框204处的SVM分类器。图7中的框204表示图4所示的适应性分类器模块118，其根据需要适应性地更新且实时地评估所有图像小块。通过局部训练和试验样本获取模块114训练适应性分类器模块118不需要在所有时间进行。例如，在相对稳态的驾驶情况下，例如持久的高速公路驾驶，框204处的分类器可以在短时间段内良好地和完全训练，且可以绕过局部训练和试验样本获取模块114，直到再次需要。局部训练和试验样本获取模块114的使用可以通过车辆起动、通过驾驶情形变化（例如，从高速公路到市区）、或通过经过一定时间间隔来触发。在系统100的线120上，适应性分类器模块118的输出是来自于照相机102的最近图像的畅通路径评估。畅通路径评估用于驾驶辅助系统，如前文所述。
图8是可以由图4的系统使用的分类器调节方法的可选实施例的流程图300。在该实施例中，框204处的分类器用于分类所有小块数据，以用于畅通路径或非畅通路径确定，如前文那样。然而，框204处的分类器不用于确定哪些小块足够可靠以用于适应性分类器训练。相反，在框302处增加另一个分类器。框302处的分类器仅仅通过来自于附近训练支持向量数据存储226和经过区域数据存储236的数据适应性地训练。即，框302处的分类器不受来自于框228的局部试验支持向量影响。来自于框302的输出反馈到决策菱形块206，其中，其基于通过数据成分212、214、216和222处理的概率值分类，且用于适应性地训练框204处的主分类器，如前文所述。
使用上述方法和系统，可以改进驾驶辅助系统中的畅通路径道路检测的速度和准确性。速度和准确性的改进给配备有这种系统的车辆驾驶员提供性能益处且给这种车辆制造商提供不同卖点。
前述说明仅仅公开和描述本发明的示例性实施例。本领域技术人员从这种说明和附图以及权利要求书将容易认识到，能够对本发明进行各种变化、修改和变型，而不偏离由所附权利要求书限定的本发明的精神和范围。
Claims (18)
1.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括：
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用训练分类器分析所述一个或多个小块的特征数据，以确定概率值；
选择概率值超过第一概率阈值的小块作为肯定试验样本；
选择概率值不超过第二概率阈值的小块作为否定试验样本，第二概率阈值不同于第一概率阈值；
使用所述一个或多个小块的位置来识别哪些训练样本和哪些肯定试验样本及否定试验样本应当用于适应性地训练所述训练分类器，其中，位置根据特征向量空间定义；以及
基于概率值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
2.根据权利要求1所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括：分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。
3.根据权利要求2所述的方法，其中，分割图像以限定所述一个或多个小块包括：仅仅选择尺寸超过预定尺寸阈值的小块。
4.根据权利要求2所述的方法，其中，提取所述一个或多个小块的特征数据包括：提取以下项中的一个或多个：几何形状特征、颜色特征、纹理特征和方向梯度直方图特征。
5.根据权利要求1所述的方法，其中，使用训练分类器分析所述一个或多个小块的特征数据包括：使用具有径向基函数核的支持向量机分类器。
6.根据权利要求5所述的方法，其中，选择概率值超过第一概率阈值的小块作为肯定试验样本包括：将肯定试验样本的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。
7.根据权利要求6所述的方法，其中，当前数据帧、先前数据帧和聚类数据池中的存储成分用作径向基函数核的输入。
8.根据权利要求5所述的方法，还包括：使用车辆最近经过的区域的小块来进一步适应性地训练所述训练分类器。
9.根据权利要求8所述的方法，其中，使用车辆最近经过的区域的小块来进一步适应性地训练所述训练分类器包括：使用车辆最近经过的区域的小块作为径向基函数核的输入。
10.根据权利要求1所述的方法，还包括：在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。
11.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括：
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用训练分类器分析所述一个或多个小块的特征数据，以确定概率值，其中，所述训练分类器是具有径向基函数核的支持向量机分类器；
选择概率值超过概率阈值的小块作为肯定试验样本；
选择概率值不超过第二概率阈值的小块作为否定试验样本，第二概率阈值不同于第一概率阈值；
使用所述一个或多个小块的位置来识别哪些训练样本和哪些肯定试验样本及否定试验样本应当用于适应性地训练所述训练分类器，其中，位置根据特征向量空间定义；
基于概率值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定；以及
在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。
12.根据权利要求11所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括：分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。
13.根据权利要求11所述的方法，其中，选择概率值超过第一概率阈值的小块作为肯定试验样本包括：将肯定试验样本的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储；以及使用当前数据帧、先前数据帧和聚类数据池中的存储成分作为径向基函数核的输入。
14.根据权利要求11所述的方法，还包括：使用车辆最近经过的区域的小块作为径向基函数核的输入，以进一步适应性地训练所述训练分类器。
15.一种用于车辆的畅通路径检测系统，包括：
照相机，用于产生车辆前面或车辆后面的场景的图像；
分割模块，用于从每个图像限定一个或多个小块；
特征提取模块，用于从每个图像提取所述一个或多个小块的特征数据；
分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的概率值，其中，所述分类器模块使用具有径向基函数核的支持向量机分类器；
试验样本获取模块，用于使用概率值超过第一概率阈值且在特征向量空间中是局部的小块以及概率值不超过第二概率阈值的小块的特征数据作为径向基函数核的输入以适应性地训练所述分类器模块，第二概率阈值不同于第一概率阈值；以及
决策模块，用于评估概率值以针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
16.根据权利要求15所述的系统，其中，所述试验样本获取模块将概率值超过第一概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。
17.根据权利要求15所述的系统，其中，所述试验样本获取模块使用所述一个或多个小块在特征向量空间中的位置来识别局部训练样本和局部试验样本，且使用局部训练样本和局部试验样本作为径向基函数核的输入以适应性地训练所述分类器模块。
18.根据权利要求15所述的系统，其中，所述试验样本获取模块还使用车辆最近经过的区域的小块作为径向基函数核的附加输入以适应性地训练所述分类器模块。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/963404 | 2010-12-08 | ||
| US12/963,404 | 2010-12-08 | ||
| US12/963,404 US8773535B2 (en) | 2010-12-08 | 2010-12-08 | Adaptation for clear path detection using reliable local model updating |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102693432A CN102693432A (zh) | 2012-09-26 |
| CN102693432B true CN102693432B (zh) | 2015-12-02 |
Family
ID=46144752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110405567.3A Expired - Fee Related CN102693432B (zh) | 2010-12-08 | 2011-12-08 | 使用可靠局部模型更新来调节畅通路径检测 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8773535B2 (zh) |
| CN (1) | CN102693432B (zh) |
| DE (1) | DE102011055458A1 (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8773535B2 (en) * | 2010-12-08 | 2014-07-08 | GM Global Technology Operations LLC | Adaptation for clear path detection using reliable local model updating |
| US9589184B1 (en) | 2012-08-16 | 2017-03-07 | Groupon, Inc. | Method, apparatus, and computer program product for classification of documents |
| CN103324955A (zh) * | 2013-06-14 | 2013-09-25 | 浙江智尔信息技术有限公司 | 一种基于视频处理的行人检测方法 |
| US9141885B2 (en) * | 2013-07-29 | 2015-09-22 | Adobe Systems Incorporated | Visual pattern recognition in an image |
| US10086857B2 (en) * | 2013-11-27 | 2018-10-02 | Shanmukha Sravan Puttagunta | Real time machine vision system for train control and protection |
| CN103810504B (zh) * | 2014-01-14 | 2017-03-22 | 三星电子（中国）研发中心 | 一种图像处理方法和装置 |
| CN104392228B (zh) * | 2014-12-19 | 2018-01-26 | 中国人民解放军国防科学技术大学 | 基于条件随机场模型的无人机图像目标类检测方法 |
| GB2550523A (en) * | 2015-02-02 | 2017-11-22 | Beijing Didi Infinity Tech And Dev Co Ltd | Methods and systems for order processing |
| CN105989334B (zh) * | 2015-02-12 | 2020-11-17 | 中国科学院西安光学精密机械研究所 | 基于单目视觉的道路检测方法 |
| CN105022990B (zh) * | 2015-06-29 | 2018-09-21 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
| WO2017079341A2 (en) | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
| US9606539B1 (en) | 2015-11-04 | 2017-03-28 | Zoox, Inc. | Autonomous vehicle fleet service and system |
| US10401852B2 (en) | 2015-11-04 | 2019-09-03 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
| US9632502B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
| CN108496178B (zh) * | 2016-01-05 | 2023-08-08 | 御眼视觉技术有限公司 | 用于估计未来路径的系统和方法 |
| CN106228134A (zh) * | 2016-07-21 | 2016-12-14 | 北京奇虎科技有限公司 | 基于路面图像的可行驶区域检测方法、装置及系统 |
| KR101792442B1 (ko) * | 2016-12-12 | 2017-10-31 | 삼성전기주식회사 | 전자 모듈과 그 제조 방법 |
| US10255525B1 (en) * | 2017-04-25 | 2019-04-09 | Uber Technologies, Inc. | FPGA device for image classification |
| US11748877B2 (en) | 2017-05-11 | 2023-09-05 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| US10769788B2 (en) * | 2017-09-12 | 2020-09-08 | Nantomics, Llc | Few-shot learning based image recognition of whole slide image at tissue level |
| DE102017216802A1 (de) | 2017-09-22 | 2019-03-28 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug |
| JP6897597B2 (ja) * | 2018-02-16 | 2021-06-30 | トヨタ自動車株式会社 | 駐車支援装置 |
| CN109583482B (zh) * | 2018-11-13 | 2022-08-16 | 河海大学 | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 |
| US10762360B2 (en) | 2018-11-19 | 2020-09-01 | Waymo Llc | Automatically detecting unmapped drivable road surfaces for autonomous vehicles |
| US11945478B2 (en) | 2019-11-20 | 2024-04-02 | Ground Transportation Systems Canada Inc. | High-integrity object detection system and method |
| CN110929739B (zh) * | 2019-11-21 | 2023-03-24 | 成都理工大学 | 一种自动化的不透水面范围遥感迭代提取方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101900567A (zh) * | 2009-05-29 | 2010-12-01 | 通用汽车环球科技运作公司 | 基于像素的无纹理畅通路径检测 |
Family Cites Families (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04195397A (ja) * | 1990-11-27 | 1992-07-15 | Matsushita Electric Ind Co Ltd | 道路障害監視装置 |
| US20050192727A1 (en) * | 1994-05-09 | 2005-09-01 | Automotive Technologies International Inc. | Sensor Assemblies |
| US7783403B2 (en) * | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
| US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
| US7630806B2 (en) * | 1994-05-23 | 2009-12-08 | Automotive Technologies International, Inc. | System and method for detecting and protecting pedestrians |
| US5642093A (en) * | 1995-01-27 | 1997-06-24 | Fuji Jukogyo Kabushiki Kaisha | Warning system for vehicle |
| US7650210B2 (en) * | 1995-06-07 | 2010-01-19 | Automotive Technologies International, Inc. | Remote vehicle diagnostic management |
| US7426437B2 (en) * | 1997-10-22 | 2008-09-16 | Intelligent Technologies International, Inc. | Accident avoidance systems and methods |
| US7418346B2 (en) * | 1997-10-22 | 2008-08-26 | Intelligent Technologies International, Inc. | Collision avoidance methods and systems |
| US7295925B2 (en) * | 1997-10-22 | 2007-11-13 | Intelligent Technologies International, Inc. | Accident avoidance systems and methods |
| JP3352655B2 (ja) * | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
| DE10025678B4 (de) * | 2000-05-24 | 2006-10-19 | Daimlerchrysler Ag | Kamerabasiertes Precrash-Erkennungssystem |
| JP3987048B2 (ja) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US7089099B2 (en) * | 2004-07-30 | 2006-08-08 | Automotive Technologies International, Inc. | Sensor assemblies |
| JP4608631B2 (ja) * | 2005-06-08 | 2011-01-12 | 国立大学法人名古屋大学 | 車両用画像処理装置、運転支援装置 |
| JP4776295B2 (ja) * | 2005-07-28 | 2011-09-21 | 富士通株式会社 | 走行路判定方法 |
| US20070069920A1 (en) * | 2005-09-23 | 2007-03-29 | A-Hamid Hakki | System and method for traffic related information display, traffic surveillance and control |
| US7541943B2 (en) * | 2006-05-05 | 2009-06-02 | Eis Electronic Integrated Systems Inc. | Traffic sensor incorporating a video camera and method of operating same |
| US7929729B2 (en) * | 2007-04-02 | 2011-04-19 | Industrial Technology Research Institute | Image processing methods |
| FR2923016B1 (fr) * | 2007-10-31 | 2009-11-20 | Valeo Vision | Procede de detection d'un phenomene perturbateur de visibilite pour un vehicule. |
| US8611585B2 (en) * | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
| US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8332134B2 (en) * | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
| US8487991B2 (en) * | 2008-04-24 | 2013-07-16 | GM Global Technology Operations LLC | Clear path detection using a vanishing point |
| US8751154B2 (en) * | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8421859B2 (en) * | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
| US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US8428305B2 (en) * | 2008-04-24 | 2013-04-23 | GM Global Technology Operations LLC | Method for detecting a clear path through topographical variation analysis |
| US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| US8373763B2 (en) * | 2008-05-22 | 2013-02-12 | GM Global Technology Operations LLC | Self calibration of extrinsic camera parameters for a vehicle camera |
| US8099213B2 (en) * | 2008-07-18 | 2012-01-17 | GM Global Technology Operations LLC | Road-edge detection |
| US8194927B2 (en) * | 2008-07-18 | 2012-06-05 | GM Global Technology Operations LLC | Road-lane marker detection using light-based sensing technology |
| US8204277B2 (en) * | 2008-07-18 | 2012-06-19 | GM Global Technology Operations LLC | Apparatus and method for camera-bases lane marker detection |
| US8050459B2 (en) * | 2008-07-25 | 2011-11-01 | GM Global Technology Operations LLC | System and method for detecting pedestrians |
| US9459113B2 (en) * | 2008-11-21 | 2016-10-04 | GM Global Technology Operations LLC | Visual guidance for vehicle navigation system |
| US8259174B2 (en) * | 2009-02-06 | 2012-09-04 | GM Global Technology Operations LLC | Camera auto-calibration by horizon estimation |
| US20100276962A1 (en) * | 2009-04-29 | 2010-11-04 | Gm Global Technology Operations, Inc. | Active face shade detection in auto sun-shade system |
| US20110133510A1 (en) * | 2009-12-07 | 2011-06-09 | Gm Global Technology Operations, Inc. | Saturation-based shade-line detection |
| US20110221901A1 (en) * | 2010-03-11 | 2011-09-15 | Gm Global Technology Operations, Inc. | Adaptive Scene Rendering and V2X Video/Image Sharing |
| US8471691B2 (en) * | 2010-06-15 | 2013-06-25 | GM Global Technology Operations LLC | Portable vision system |
| US8345100B2 (en) * | 2010-07-06 | 2013-01-01 | GM Global Technology Operations LLC | Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis |
| US8319854B2 (en) * | 2010-07-06 | 2012-11-27 | GM Global Technology Operations LLC | Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel |
| US8294794B2 (en) * | 2010-07-06 | 2012-10-23 | GM Global Technology Operations LLC | Shadow removal in an image captured by a vehicle-based camera for clear path detection |
| US8447519B2 (en) * | 2010-11-10 | 2013-05-21 | GM Global Technology Operations LLC | Method of augmenting GPS or GPS/sensor vehicle positioning using additional in-vehicle vision sensors |
| US8773535B2 (en) * | 2010-12-08 | 2014-07-08 | GM Global Technology Operations LLC | Adaptation for clear path detection using reliable local model updating |
| US8681222B2 (en) * | 2010-12-08 | 2014-03-25 | GM Global Technology Operations LLC | Adaptation for clear path detection with additional classifiers |
-
2010
- 2010-12-08 US US12/963,404 patent/US8773535B2/en active Active
-
2011
- 2011-11-17 DE DE102011055458A patent/DE102011055458A1/de not_active Withdrawn
- 2011-12-08 CN CN201110405567.3A patent/CN102693432B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101900567A (zh) * | 2009-05-29 | 2010-12-01 | 通用汽车环球科技运作公司 | 基于像素的无纹理畅通路径检测 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8773535B2 (en) | 2014-07-08 |
| DE102011055458A1 (de) | 2012-06-14 |
| CN102693432A (zh) | 2012-09-26 |
| US20120147189A1 (en) | 2012-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102693432B (zh) | 使用可靠局部模型更新来调节畅通路径检测 | |
| CN102682301B (zh) | 使用附加分类器来调节畅通路径检测 | |
| US10936922B2 (en) | Machine learning techniques | |
| US20230266771A1 (en) | Restricted multi-scale inference for machine learning | |
| US10817740B2 (en) | Instance segmentation inferred from machine learning model output | |
| US20110200230A1 (en) | Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting | |
| Loce et al. | Computer vision and imaging in intelligent transportation systems | |
| CN110879950A (zh) | 多级目标分类及交通标志检测方法和装置、设备、介质 | |
| CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
| CN108009548A (zh) | 一种智能路牌识别方法及系统 | |
| JP2021528757A (ja) | 機械学習モデルの出力から推論されるインスタンスセグメンテーション | |
| Chao et al. | Multi-lane detection based on deep convolutional neural network | |
| Gu et al. | Embedded and real-time vehicle detection system for challenging on-road scenes | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN114140396A (zh) | 基于无人机图像的路面破损检测方法、系统、装置和介质 | |
| Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
| CN114820644A (zh) | 对图像的像素进行分类的方法和设备 | |
| Saravanarajan et al. | Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach | |
| CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
| US20220129685A1 (en) | System and Method for Determining Object Characteristics in Real-time | |
| Al Khafaji et al. | Traffic Signs Detection and Recognition Using A combination of YOLO and CNN | |
| Paul et al. | Application of the SNoW machine learning paradigm to a set of transportation imaging problems | |
| Chen et al. | Vehicle detection based on yolov3 in adverse weather conditions | |
| CN112334906B (zh) | 从机器学习模型输出推断出的实例分割 | |
| CN117786520B (zh) | 目标感知模型的训练方法和应用、无人车和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151202 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |