CN105825173B - 通用道路和车道检测系统与方法 - Google Patents
通用道路和车道检测系统与方法 Download PDFInfo
- Publication number
- CN105825173B CN105825173B CN201610139126.6A CN201610139126A CN105825173B CN 105825173 B CN105825173 B CN 105825173B CN 201610139126 A CN201610139126 A CN 201610139126A CN 105825173 B CN105825173 B CN 105825173B
- Authority
- CN
- China
- Prior art keywords
- lane
- road
- image
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title abstract description 60
- 230000010354 integration Effects 0.000 claims abstract description 21
- 230000002123 temporal effect Effects 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 55
- 238000001914 filtration Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000009183 running Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 13
- 238000013461 design Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000011121 hardwood Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001463014 Chazara briseis Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种通用道路和车道检测系统与方法，包括如下步骤：S300对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；S302在相关图像中提取车道边缘特征或道路边缘特征；S304根据车道边缘特征或道路边缘特征拟合成路径表达模型；S306跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；S308将路径表达模型与全球坐标系对应。通过上述模块设计，本发明能够达到对摄像机输入的图像进行预处理，选择出感兴趣的相关图像，结合激光雷达的输入信息进行车道检测或道路检测，再进行模型拟合估计道路路径，通过时序整合模块提高路径估计的正确率，最后通过坐标系对应模块将图像与全球坐标系实时对应提高路径估计的正确率，解决了现有的道路估计模型功能不够完善的问题。
Description
技术领域
本发明涉及道路感知技术领域，尤其涉及一种通用道路和车道检测的系统与方法。
背景技术
现有车道和道路检测文献的检阅，我们可以发现大多数文献中推崇的系统用的都是主要的功能模块，虽然这些模块都是在不同的体系下得以实现的。基于算法间的共性，我们选取出了一个道路和车道检验的通用系统，其功能分解详见下图。本文提出的系统是通用的，因为文献中没有一个系统包含图中所示的所有模块。然而，我们遇到的几乎所有算法都可以被植入这个系统的子系统。
发明内容
为此，需要提供一种能够兼容大多数方法的道路和车道检验的通用系统，解决现有技术功能不够完善的问题。
为实现上述目的，发明人提供了一种通用道路和车道检测系统，包括图像预处理模块、特征提取模块、模型拟合模块、时序整合模块、坐标系对应模块；
所述图像预处理模块用于对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
所述特征提取模块用于在相关图像中提取车道边缘特征或道路边缘特征；
所述模型拟合模块用于根据车道边缘特征或道路边缘特征拟合成路径表达模型；
所述时序整合模块用于跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；
所述坐标系对应模块用于将路径表达模型与全球坐标系对应。
具体地，所述图像预处理模块用于将图片进行颜色转换，规避图像中投射阴影带来的噪声点。
具体地，所述特征提取模块用于根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
具体地，所述特征提取模块用于利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
具体地，所述时序整合模块还用于，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值。
具体地，还包括系统整合模块，所述系统整合模块用于整合同一任务下的多个算法，并分别评估算法的置信度。
优选地，所述系统整合模块用于将同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
优选地，所述系统整合模块用于将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。
进一步地，所述模型拟合模块拟合路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
一种通用道路和车道检测方法，包括如下步骤：
对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
在相关图像中提取车道边缘特征或道路边缘特征；
根据车道边缘特征或道路边缘特征拟合成路径表达模型；
跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；
将路径表达模型与全球坐标系对应。
具体地，所述去除干扰和图像伪差具体包括步骤，将图片进行颜色转换，规避图像中投射阴影带来的噪声点。
具体地，“在相关图像中提取车道边缘特征”具体包括步骤，根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
具体地，“在相关同向中提取道路边缘特征”具体包括步骤，所述特征提取模块用于利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
具体地，所述“跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合”具体包括步骤，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值。
具体地，还包括步骤，整合同一任务下的多个算法，并分别评估算法的置信度。
优选地，还包括步骤，同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
优选地，所还包括步骤，将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。
进一步地，所述路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
区别于现有技术，上述技术方案通过设计通用道路和车道检测系统与方法，整合多个模块，并对多个方法的共同运作进行有机整合，解决现有技术中系统功能不够完善的问题。
附图说明
图1为本发明具体实施方式所述的通用道路和车道检测系统主要功能图；
图2为本发明具体实施方式所述的通用道路和车道检测系统模块图；
图3为本发明具体实施方式所述的通用道路和车道检测方法流程图。
附图标记说明：
200、图像预处理模块；
202、特征提取模块；
204、模型拟合模块；
206、时序整合模块；
208、坐标系对应模块；
210、系统整合模块。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
一、运用背景
本文将道路和车道检测任务分成了若干功能模块，并且就每个模块的完善列举了若干可能的方法。首先，我们要展示系统分解开的样子，包括列举出在一个通用系统里的构成模块和模块间的联系。
通过对现有车道和道路检测文献的检阅，我们可以发现大多数文献中推崇的系统用的都是主要的功能模块，虽然这些模块都是在不同的体系下得以实现的。基于算法间的共性，我们选取出了一个道路和车道检验的通用系统，其功能分解详见下图。本文提出的系统是通用的，因为文献中没有一个系统包含图中所示的所有模块。然而，我们遇到的几乎所有算法都可以被植入这个系统的子系统。
请参阅图1，为本发明通用道路和车道检测系统的主要功能图
我们挑出的主要模块包括以下几个方面：
1、图像预处理：这部分中有些操作可以在进行特征提取前用于图像上，这样可以降低干扰并加强感兴趣部分的特征。障碍物(主要是车辆)区域可以被认定出来并移除。图像的来源一般是车载摄像机或照相机。可以通过对全图进行转换预处理有效弱化阴影。过度曝光或是曝光不足都可以通过对图像标准化或是主动控制相机曝光的方法进行处理。最后，基于图像和地球坐标系的对应关系，我们可以把图像中地平面以上的区域去除，或是将图像限制在感兴趣的范围。
2、特征提取：我们从图像中提取出低层级的特征以支持车道和道路检测。对于道路检测，这些通常都包括颜色和纹理统计处理，这样的处理能使得道路分段，分段道路分类或是路缘检测。对车道检测来说，主要是收集车道标志。
3、道路/车道模型拟合：通过将收集到的特征信息拟合到道路/车道模型中去可以一个道路和车道的候选。
4、时序整合：通过将道路/车道候选项与前一祯图像中的道路/车道候选，以及全球定位信息(如果有的话)进行比对，如果前后两桢图像中的道路/车道候选项之间的差异可以用车辆运动来解释的话，那么这个新的候选项就可以被接受和确认。
5、图像与全球坐标系间的对应：这个模块主要是通过对地面结构和摄像机参数设置一些假设条件，来实现图像和地面坐标系之间的转化。这种转化主要是在时序整合模块中被大量用到，但有时候在其他模块中也会有涉及。
系统中主要的信息流是沿着有下自上的路径，参见上图中黑色加粗的箭头。然而，反馈联系也是存在的，即通过高层级模块来引导之前的模块向着更好的特征提取或是模型拟合的方向改进。反馈的互动在连续的阶段很常见，但又不仅限于此。时序整合模块和道路模型之间的密切互动也很常见。譬如之前找到的车道模型被转换到新图像中的车道模型，并且只有额外可能的车道延续才会被考虑。
上述这些模块的实现都需要基于对摄像机、道路和车辆动力的一系列前提假设。这些假设可能是明确的，例如在车道和道路模型中运用到的假设，也可能是不明确的。在我们对可能的模块实现的描述中，我们将根据相对应的前提假设来介绍各种算法。通过对假设前提的展示也能更好的明白特定技术可能发生错误的模式，以及了解可能的技术合并所能实现的价值。
以下结合图2通用道路车道检测模块图对本发明的模块进行详细说明：
一种通用道路和车道检测系统，包括图像预处理模块200、特征提取模块202、模型拟合模块204、时序整合模块206、坐标系对应模块208；
所述图像预处理模块200用于对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
所述特征提取模块202用于在相关图像中提取车道边缘特征或道路边缘特征；
所述模型拟合模块204用于根据车道边缘特征或道路边缘特征拟合成路径表达模型；
所述时序整合模块206用于跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；
所述坐标系对应模块208用于将路径表达模型与全球坐标系对应。
通过上述模块设计，本发明能够达到对摄像机输入的图像进行预处理，选择出感兴趣的相关图像，结合激光雷达的输入信息进行车道检测或道路检测，再进行模型拟合估计道路路径，通过时序整合模块提高路径估计的正确率，最后通过坐标系对应模块将图像与全球坐标系实时对应提高路径估计的正确率，解决了现有的道路估计模型功能不够完善的问题。
以下结合具体的实施例说明每个模块的功能。
二、图像预处理模块200
在通用流程中的第一个功能模块就是图像预处理环节，在此环节中，我们的目标是去除干扰和错误的图像伪差，以及移除不相关的图像部分。剩下的被清理过的图像部分将作为输入数据，以供后面特征提取时使用。总的来说，这个模块下的方法可以被分成两类：一种是处理与光照有关的影响以便加强图像质量，另一种是删掉那些在做对比估计时认为无关的图像部分。
消除光照影响一方面在于适应采集装置的动态范围。一个稳健的系统应该能够应对不同的光照条件。一般来说，从日照正午到晚上依赖路灯照明，这样的变化虽然很大，但却是缓慢而逐步的。此外，还有些特殊情况，比如进出隧道时光照会突然大幅变化以及桥下行驶有阴影。大部分系统并没有开发出自适应的动态范围，而是依靠于标准的摄像机配置如光圈和光增益控制。摄像机的光圈和光增益的调整通常也是缓慢的，这样虽然能够提高其性能的稳定性，但是却无法应对突然的光照变化。因而，可以通过自适应机制来控制每帧画面的曝光程度来解决上述问题。
另一个无法忽略的光照影响在于耀光的存在。我们可以通过日期、时间和地理坐标来计算出太阳历书，并通过保持摄像机标定，来减少太阳出现在画面中的频率，并拒绝掉该方向上的亮的直线。
在某些具体的实施例中，所述图像预处理模块200还用于将图片进行颜色转换，规避图像中投射阴影带来的噪声点。路面上的投射阴影是噪声点的主要来源。为了规避这一影响，可以将图片进行颜色转换，从而使得同一表面的光照地区和阴影地区有着相同的亮度。当然，这样做的前提是阴影部分的色彩信息仍然存在，即场景中有足够的周边光照。这种做法还要假设色彩不会因环境光照的影响而出现偏差，或者这种偏差可以被校准并得以补偿。另一种消除投射阴影的办法在特征提取阶段，而不是图像预处理环节。譬如，只有与假设的道路边缘方向一致的边缘才被保留下来。
图像预处理的第二类技术在于去除无关或是含有错误信息的图像部分。有很多方法都可以去除障碍物。比如说基于2D图像或是3D雷达的数据跟踪及从运动中构建结构技术，可以判定出一个运动是与地面平面运动一致与否。但是基于图像的检测跟踪是建立在通过色彩分割物体的基础上，检测结果假阳性概率很大。
另一种拒绝无关画面部分的方法是定义出图像平面上的感兴趣的部分(ROI)，只有这些部分才会进入下一步的特征提取环节。这种类型的方法也很多，有人选择直接用图像的下半部分，有人通过3D世界和2D图像间的对应关系来定义ROI，还有些ROI的定义是基于计算的深度。我们的ROI是自适应的，只保留图像中对应需要距离的横列。在特殊情况下，需要将这个距离拉到无限远时，我们可以用计算出的地平线替代截图线。
大部分的车道/道路估计系统在时序整合模块中都回保留某种跟踪体制。得到前一祯图像中检测出来的车道/道路边界位置，并且预估本桢图像中的画面移动，就可以得出这些边界的预计位置，从而定义出ROI。这个方法还可以做进一步的改进：用从下而上逐渐增长的图像部分来迭代地估计出车道边界。
三、自下而上的特征提取模块202
一旦相关的图像画面被选定，就可以进行各式特征提取了。这些特征应该包括下一阶段道路和车道模型拟合阶段所需要的信息。对于大部分功能模块来说，车道和道路估计的方法基本是一样的，但是在特征提取模块，这两者要提取的信息是不一样的。
(一)车道边缘特征
总的来说，车道边缘是通过不同类型的车道标志来标明的。车道标志的形状各异，颜色也不尽相同。此外，相隔一定距离要检测出相对这么窄小的物体，也可能会有困难。
在某些实施例中，我们可以通过颜色检测或是形状检测来识别车道标志。具体地，所述特征提取模块202用于根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
车道标志最基本的假设在于其与道路的外形不同。这个假设引申出了一些基于梯度及其变化的特征信息检测。可以在原图或是平滑后的图像上做简单的梯度计算；也可以通过三个核做卷积，从而判定出任何距离上的方向反应。
此外，通过针对车道标志的狭窄形状以及假设这些标志比其周边亮度要大的特点，还可以用一种沿图像横列来搜索低-高-低亮度的模式。这里可以用网格滤波或是图像卷积。这些滤波要么是用于直接提取特征，要么是通过阀值设定形成二值边缘图像的。此外，还有一种方法是将图像先分成小块，然后判定是否有标志落在小块内。
不管我们用的是梯度滤波还是网格滤波，我们都要决定核的大小。由于存在感知畸变，所以整张画面不应该只用一种大小的核。有人提出核的大小设定应该根据预期车道标志的宽度，在图像上做每横列检测时都调整。更通常实用的方法是先将图像扭曲以补偿这种感知畸变之后就可以规避不断核的问题。譬如，我们可以做出逆感知图像，有时也叫鸟瞰图。逆感知扭曲需要系统关注2D图像和3D地平面之间的几何联系。另外，这种转变也伴随着计算成本的上升和分辨率的稍微下降。
另一种车道标志的检测方法是假设标志的亮度及颜色已知。可以将激光雷达的发射率设定阀值。也可以将最后三幅图像平均(可以使虚线标志更为连续)，并运用自适应的阀值机制。另外，车道标志的色彩分布可以被系统事前学好，这样，图像像素就可以根据其近似标志的概率被分类，这样可以得到一系列点团(他们都有着足够高的亮度或是颜色概率)。当然，有些检测得到的颜色虽然相近，但却不是标志，所以还要再进行过滤。过滤可以是根据其大小和形状，也可以用网格滤波(box filter)。
(二)道路边缘特征
与车道不同的是，道路并不总是由人为标识界定的。基于不同的道路材质和环境，确定道路边界要用不同的线索，譬如：路沿、树丛、道路的颜色和纹理等。由于线索的多样化，并没有一个通用的特征可以适用于所有场合。所以，我们要根据预期的环境或是模型的前提假设，来选用不同的特征用于不同的系统。有很多方法是基于道路和路沿有个高度差的假设上，一般都要用到3D点云，当然也有办法规避。另一种规避3D结构的特征提取法是基于物体表面的，假设路面的表面一致，并与其周边环境不同。
因此，在具体的实施例中，所述特征提取模块202用于利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
还有一种方法，既不要求密度同质性，也不需要假设表面不变性，而是利用颜色的空间分布特征来切分道路，一般用直方图作为颜色分布的表达。
我们还可以根据道路的不同材质来提取不同的纹理特征，同时前方车辆的车胎印也能提供纹理的方向性信息。当然，在道路图像上纹理的方向并不是保持不变的，然而，如果道路是直的，那么这些纹理都将指向一个共同的消失点。
通过表面将道路分割的方法还可以进一步加强：假设道路不仅表面统一，其表面还有一个已知先验分布。
四、道路/车道模型拟合模块204
道路/车道检测一般都是用的自上而下的模式，用每帧画面中提取出的视觉特征来拟合几何模型。车道和道路检测所用的模型方法都差不多，一般是在普通车头视角或是经逆视角转换后人造的鸟瞰视角下，用模型拟合出的左/右边界的2D路径。
本阶段的主要目的在于提取出一个紧凑的高水平的路径表达，以供后期决策使用。在这过程中，噪声较多的自下而上的路经检测可以通过假设一个带有对其宽度和曲率有约束的平滑的路径模型得以改善。这种路径表达通常在时序整合阶段，通过和以前画面的匹配而被进一步改善。一个路径的表达通常用的是其边界点，或者是在每一个中心线位置的中心线及其横向扩展。转换到鸟瞰视角更简化了几何模型，因为在这种视角下路径边界的曲率相近且路径宽度基本不变。模型种类可以分为下面几种：参数型、半参数型、非参数型。在大多数情况下，参数拟合要处理的是从图像上提取出来的带噪声的边界点，这些点可能存在着数据缺失和相当大量的异常点。为了处理这些异常点可以用RANSAC方法，它适合所有模型。
对大多数方法来说，用于拟合模型的输入数据是车道或道路边界上提取出的一系列点。当然我们也可以用自下而上的方式获取更多的信息来帮助模型拟合，譬如：将点集成直线；通过计算Hessian过滤，从而将额外的边界方向信息加到每个边界点上；将距离转换用在提取的边界上，以获取每个像素的平滑分数，该分数代表着离其最近的边界点的距离；中心线模型还可以拟合到一个用激光雷达和摄像机数据合成的概率地图上。
在进一步的实施例中，所述模型拟合模块204拟合路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
(一)参数模型
最简单的参数模型是直线，它适合短距离内的拟合。弯曲的道路可以在鸟瞰模式下用抛物线曲线或是用通用圆弧建模。更通用的车头视角下的曲线道路可以用抛物线或是双曲线多项式建模。当然，弯曲的道路更常用的是下文提到的半参数模型。
拟合参数模型的方法很多，譬如：最小二乘优化、RANSAC+最小二乘优化、加权最小二乘算法等。
对于线性模型匹配来说，另有些特定的拟合方法。
(二)半参数模型
半参数模型的优点在于他们不需要对路径假设一个特定的全局几何特性。其缺点在于拟合模型时必须小心以避免过度拟合和不切实际的路径曲率。这种模型的例子有：将车头图像分成水平的带状，并用约束的霍夫变换寻找在每个水平带中的车道标志的最佳线性拟合，从而得到分段的线性模型；或是在鸟瞰视角下，每隔一定时间，在小范围内拟合线性模型。
样条曲线是平滑的分段多项式函数，他们被广泛用于曲线表示。有不同特征的不同样条曲线模型被用于对车道边界/中心线建模中，例如Cubic Spline、B-Splines、CubicHermit Spline。在所有样条曲线模型中，曲线是通过一系列曲线上或是曲线周边的控制点来实现参数化的。相较参数模型而言，样条曲线的优点在于参数的微小变化与曲线的小变化相关，从而使得以前画面中的控制点可以作为当前画面的模型初始值。
许多车道标志检测都可以被作为控制点候选，如何选择也是个问题。控制点的个数影响到曲线的复杂度；他们应该沿曲线均匀分布以避免高曲率，越多置信特征越好，拟合出来的样条曲线应该得到其他特征的支持。具体到技术上有RANSAC法等。
(三)非参数模型
非参数模型较为少见，只要求车道线是持续的而未必是不同的。蚁群优化算法(ACO)可以用来计算图像上的最优轨迹，从图像的底部开始一直到轨迹消失点。在这种方式下，轨迹的打分是根据边缘图像的符合程度。比如，可以用一个学习过的分层的贝叶斯网络模型，每一个图像横列都用两个阀值分成道路的部分/非道路/道路三个部分，在连续的两个横列之间执行弱连贯性。或者，用一个在俯视模式下匹配左右边界点的车道模型。它用的是独特的过滤方式来拟合，沿着Y轴从图像底部至上逐步处理(Y轴被当作时间轴)。
(四)横向模型
就车道/道路的横向扩展的现有模型有许多不同假设，其中最强的假设是车道宽度已知(3-3.5米)。要注意的是，左右车道线是完全共轭的，所以车道需要估计的参数数量与单独的车道线检测相比减半。也有将已知车道假设宽度用在概率的车道中心线检测架构中的例子。相对弱一些的假设是，在真实世界里，车道/道路的宽度是基本恒定的(未设定严格宽度范围)。在大部分情况下，这个假设都是成立的，同时它只比宽度已知的假设多需要估计一个参数(即道路宽度)。
然而要注意的是，即便检测某个车道/道路时，图像上的宽度还是可能轻微的增减(主要原因可能是：车辆航向角变化、上下斜坡、变化的车道/道路宽度)。为了补偿这一宽度改变，我们可以引入在贝叶斯模型基础上的线性宽度改变假设(在单一画面中)。当然，进一步发展可以引入持续车道宽度变化的假设。
(五)模型复杂度
在做模型拟合时，总是要面对着在模型过度约束(意味着模型无法涵盖所有存在的几何结构)或是约束不足(意味着模型过度拟合噪音特征)这两者中折衷选择。比如，可以用对应模型不同复杂层级的数量不同的控制点来拟合样条曲线，如果结果支持车道标志检测则予以加分，否则的话予以减分。另外，可以用额外的GPS以及电子地图信息来分辨弯曲还是线性的道路区域，在需要的地段再使用复杂的曲线模型。
总的来说，车道和道路模型问题是长尾分布的，由于自主行驶高度依赖于该模型，所以这个特点是无法予以忽略的。在这种情况下，在所有的模型中选一个先验的是次优选择，并且在线模型选择具有很大优势。在线的模型选择应该尝试不同的模型，并通过模型拟合分数和模型复杂度权重对其打分。能实现这种设计的方法包括：贝叶斯模型，最小描述长度(MDL)，结构风险最小化(SRM)。
(六)从单个车道/道路模型延伸开去
大多数方法都假设线性的车道/道路拓扑结构，这样的结构中不包括道路的合并、分叉以及车道或道路终结处。因而也发展出一些方法针对非线性的车道/道路拓扑结构。比如，可以根据主车道及其检测到的宽度外推出与其相连的车道；结合GPS以及电子地图信息，可以定位车辆当前行驶的车道。
五、时序整合模块206
从之前的画面分析整合出的信息有三个目的：提高正确检测的精度，降低计算量，纠正错误的检测。通过检测结果的预测和随时间平滑检测结果，可以提升检测的精度。通过给出模型参数的一个好的初始化值、限制好参数的搜索空间以及限制住提取特征的图像范围，可以降低计算量。通过用当前的检测结果和之前的结果作对比，并在出现巨大差异时拒绝掉不可能的选项，可以纠正错误的检测。
时序整合模块的主要功能是用于验证模型拟合的时序一致性和位置一致性，提高道路车道检测的正确性问题。在具体的实施例中，所述时序整合模块206还用于，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值。
我们可以通过2D车道/道路模型跟踪来实现时序整合。比如，从之前的画面传导来的惯性能量被作为2D主动等位线车道模型的跟踪机制。当然更为常见的做法是在真实世界坐标系下跟踪车道/道路模型。这里涉及到图像坐标系到世界坐标系的转换，以及对车辆运动参数的估计，这样才能估计出上一桢画面检测出的车道在下一桢画面中的预计位置。估计车辆运动参数有几种方法：用视觉数据输入来匹配连续画面并计算出一个自我运动模型；用车辆测距数据(速度和偏航率)估计；最精准的是用GPS和IMU数据相结合的方法。利用经过坐标转换后估计出的车道位置，再结合当前画面中检测出的车道信息，就可以找到车道/道路模型参数的最佳估计值。在这里，大多数方法都用的是Kalman滤波或是Particle滤波。
大多数跟踪方法中存在一个弱点：简单的逆视角转换，即假设稳定不变的摄像机标定和平直的零水平地面。实际上，车辆震动以及地面起伏会使得时间序列中出现噪音和突然变化，给卡曼滤波中的强平滑假设造成困扰。
六、图像与全球坐标系间的对应/坐标系对应模块208
我们需要估计出摄像机相对于地平面的位置和方向，才能算出2D图像与3D环境间的几何对应关系。这在车道估计的各环节中都很有用，譬如在图像预处理环节，我们可以利用它去掉图像中地平面以上部分。另外，我们可以算出连接图像平面和地平面的平面单应，并定义出扭曲转换，有利于特征提取和模型拟合。最后，知晓对应关系使得我们可以在3D世界中跟踪车辆状态，这样我们可以利用其他真实世界的数据来源。
有许多技术可以计算这种对应关系。最严格的限定，是假设在行驶过程中，图像和世界之间的对应关系保持恒定，因而摄像机可以事先标定好。但是，一旦车辆行驶经过斜坡时，这种强假设就是有问题的。
另外，我们可以引入对摄像机航向角的考量，包括直接估计摄像机相对于地面的航向角；检测车道消失点，并将其图像高度用于计算寻求航向角；将偏航角加入3D模型参数矢量，这样就能得知该矢量与2D车道路沿位置和方向的关系。
通常情况下，逆视角图像只是图像与世界坐标系联系下的一个产品，但是利用它也可以估计出摄像头的航向角和偏航角。关于这两个角度的每个假设都能带来一个不同的扭曲图像，并且其中一对角度假设可以制造出俯视图，在其上可以找到两个显著的峰值。
同样的，从运动技术中的结构也能推出摄像机相对于地面的位姿。
但是上述提到的技术大多都是基于二维世界假设的，也有人用立体视觉系统来制造视差图像，从而重新构建出3D路况。
七、系统层面的整合
具体地，还包括系统整合模块210，所述系统整合模块用于整合同一任务下的多个算法，并分别评估算法的置信度。在车道检测的每一个处理环节，都存在多种可行的算法。当然，每种不同的方法都是基于不同的假设，有时候还是在不同模态下实现的。有些系统在同一个阶段采用了多种算法和模块来增强系统的稳健性。总的来说，多种信息来源的融合对于提升系统的整体性能是至关重要的。
同一任务下多种算法的结合有两种方式：一是将所有算法并联运行，并将其检测结果加以权重后结合(模型平均)；二是选择在何种情况下使用何种算法(模型选择)。从决策理论上来说，运行所有算法后加权平均他们的结果是最好的策略(只要每个算法在其假设条件下正确的概率非零)。但是，同时计算好几个算法对计算能力的要求较高。因此在某些优选的实施例中，所述系统整合模块210用于将同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
在另一些优选的实施例中，所述系统整合模块210用于将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。对运行所有算法的替代是串联式的运行他们，即当且仅当第一个算法失败并返回一个较低的置信值时，才运行第二个算法。给算法排序的时候，应该使得后一个算法的前提假设比前一个失败算法的假设要弱。
另外一个对系统稳健性造成重要影响的因素是置信区间的选择，包括单独算法和整体系统的置信区间。不管对开环式预警系统还是对闭环式自主系统而言，置信区间都会影响到系统稳健性。对于预警系统来说，当系统侦测到某个事件有着高置信度时，就会触发预警。而当检测到的置信度低时，系统只会通报低置信度而不会采取任何措施。这里的关键点在于“不继续伤害”：尽管明显不是最好的选择，但是低置信度是可以被容忍的，只要这个检测是正确的并且司机也已经知晓。
在闭环式自主驾驶系统中，系统担负的责任更高，而低置信度更难以被容忍。然而，即使在这样的系统中，检测出的低置信度也总比错误要好。置信度的计算是基于某个模型拟合分数的，而低置信度意味着其前提假设并不完全正确。因此，当检测出低置信度时，系统可以转向另一种算法，或是在并联模式下降低该算法的权重。比如说，当单帧画面的道路或车道检测失败并返回了低置信度时，系统可以转而依赖从以前画面中拟合的道路和车道模型跟踪。有些自动驾驶系统统计数据显示，有35％的行驶时间中，车辆对于前方一米处的车道检测结果都是低置信度的，但是车辆仍然能安全行驶，因为系统跟踪着从以前画面中得到的高置信度的路线。
系统整合模块提供了一个解决道路检测系统中多算法冲突的方案，提高了本发明的效率。
一种通用道路和车道检测方法，包括如下步骤：
S300对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
S302在相关图像中提取车道边缘特征或道路边缘特征；
S304根据车道边缘特征或道路边缘特征拟合成路径表达模型；
S306跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；
S308将路径表达模型与全球坐标系对应。
通过上述方法，本发明能够达到对摄像机输入的图像进行预处理，选择出感兴趣的相关图像，结合激光雷达的输入信息进行车道检测或道路检测，再进行模型拟合估计道路路径，通过时序整合模块提高路径估计的正确率，最后通过坐标系对应模块将图像与全球坐标系实时对应提高路径估计的正确率，解决了现有的道路估计模型功能不够完善的问题。
具体地，所述去除干扰和图像伪差具体包括步骤，将图片进行颜色转换，规避图像中投射阴影带来的噪声点。
具体地，“在相关图像中提取车道边缘特征”具体包括步骤，根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
具体地，“在相关同向中提取道路边缘特征”具体包括步骤，所述特征提取模块用于利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
具体地，所述“跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合”具体包括步骤，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值。
具体地，还包括步骤，整合同一任务下的多个算法，并分别评估算法的置信度。
优选地，还包括步骤，同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
优选地，所还包括步骤，将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。
进一步地，所述路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
上述技术方法通过设计通用道路和车道检测系统与方法，整合多个模块，并对多个方法的共同运作进行有机整合，解决现有技术中系统功能不够完善的问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
Claims (16)
1.一种通用道路和车道检测系统，其特征在于，包括图像预处理模块、特征提取模块、模型拟合模块、时序整合模块、坐标系对应模块；
所述图像预处理模块用于对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
所述特征提取模块用于在相关图像中提取车道边缘特征或道路边缘特征；
所述模型拟合模块用于根据车道边缘特征或道路边缘特征拟合成路径表达模型；
所述时序整合模块用于跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合；还用于，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值；
所述坐标系对应模块用于将路径表达模型与全球坐标系对应。
2.根据权利要求1所述的通用道路和车道检测系统，其特征在于，所述图像预处理模块用于将图片进行颜色转换，规避图像中投射阴影带来的噪声点。
3.根据权利要求1所述的通用道路和车道检测系统，其特征在于，所述特征提取模块用于根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
4.根据权利要求1所述的通用道路和车道检测系统，其特征在于，所述特征提取模块用于利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
5.根据权利要求1所述的通用道路和车道检测系统，其特征在于，还包括系统整合模块，所述系统整合模块用于整合同一任务下的多个算法，并分别评估算法的置信度。
6.根据权利要求5所述的通用道路和车道检测系统，其特征在于，所述系统整合模块用于将同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
7.根据权利要求5所述的通用道路和车道检测系统，其特征在于，所述系统整合模块用于将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。
8.根据权利要求1所述的通用道路和车道检测系统，其特征在于，所述模型拟合模块拟合路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
9.一种通用道路和车道检测方法，其特征在于，包括如下步骤：
对输入的图像进行去除干扰和图像伪差，以及移除不相关的图像部分，得到相关图像；
在相关图像中提取车道边缘特征或道路边缘特征；
根据车道边缘特征或道路边缘特征拟合成路径表达模型；
跟踪路径表达模型来进行时序一致性的整合或位置一致性的整合，具体包括步骤，估计车辆运动参数，结合路径表达模型计算车道或道路的最佳估计值；
将路径表达模型与全球坐标系对应。
10.根据权利要求9所述的通用道路和车道检测方法，其特征在于，所述去除干扰和图像伪差具体包括步骤，将图片进行颜色转换，规避图像中投射阴影带来的噪声点。
11.根据权利要求9所述的通用道路和车道检测方法，其特征在于，“在相关图像中提取车道边缘特征”具体包括步骤，根据颜色检测或形状检测识别车道标志，并通过梯度滤波或网格滤波提取车道边缘特征。
12.根据权利要求9所述的通用道路和车道检测方法，其特征在于，“在相关同向中提取道路边缘特征”具体包括步骤，利用相关图像的颜色的空间分布特征切分道路，提取道路边缘特征。
13.根据权利要求9所述的通用道路和车道检测方法，其特征在于，还包括步骤，整合同一任务下的多个算法，并分别评估算法的置信度。
14.根据权利要求13所述的通用道路和车道检测方法，其特征在于，还包括步骤，同一任务下的多个算法并联运行，根据不同算法的置信度赋予权重并加以整合。
15.根据权利要求13所述的通用道路和车道检测方法，其特征在于，所还包括步骤，将同一任务下的多种算法串联运行，当且仅当第一算法失败并返回一个低于预设值的置信度时，才运行第二算法。
16.根据权利要求9所述的通用道路和车道检测方法，其特征在于，所述路径表达模型包括参数模型、半参数模型、非参数模型或横向模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610139126.6A CN105825173B (zh) | 2016-03-11 | 2016-03-11 | 通用道路和车道检测系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610139126.6A CN105825173B (zh) | 2016-03-11 | 2016-03-11 | 通用道路和车道检测系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105825173A CN105825173A (zh) | 2016-08-03 |
| CN105825173B true CN105825173B (zh) | 2019-07-19 |
Family
ID=56987733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610139126.6A Active CN105825173B (zh) | 2016-03-11 | 2016-03-11 | 通用道路和车道检测系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105825173B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110422168A (zh) * | 2019-08-08 | 2019-11-08 | 智邮开源通信研究院(北京)有限公司 | 车道识别系统、方法及自动驾驶汽车 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10156441B2 (en) | 2016-01-05 | 2018-12-18 | Texas Instruments Incorporated | Ground plane estimation in a computer vision system |
| US10101746B2 (en) * | 2016-08-23 | 2018-10-16 | Delphi Technologies, Inc. | Automated vehicle road model definition system |
| US20180067494A1 (en) * | 2016-09-02 | 2018-03-08 | Delphi Technologies, Inc. | Automated-vehicle 3d road-model and lane-marking definition system |
| KR102463702B1 (ko) * | 2016-12-15 | 2022-11-07 | 현대자동차주식회사 | 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법 |
| US10867189B2 (en) * | 2017-01-04 | 2020-12-15 | Qualcomm Incorporated | Systems and methods for lane-marker detection |
| CN106842193B (zh) * | 2017-02-17 | 2020-03-27 | 北京国电经纬工程技术有限公司 | 道路检测信息的处理方法、装置和系统 |
| CN110402310B (zh) * | 2017-03-15 | 2022-01-28 | 3M创新有限公司 | 用于车道识别的道路标记系统 |
| US10885398B2 (en) * | 2017-03-17 | 2021-01-05 | Honda Motor Co., Ltd. | Joint 3D object detection and orientation estimation via multimodal fusion |
| WO2018205119A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳市速腾聚创科技有限公司 | 基于激光雷达扫描的路沿检测方法和系统 |
| CN107220976B (zh) * | 2017-05-17 | 2020-11-20 | 南京航空航天大学 | 一种航拍公路图像的公路定位方法 |
| US10816354B2 (en) * | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
| CN108021891B (zh) * | 2017-12-05 | 2020-04-14 | 广州大学 | 基于深度学习与传统算法结合的车辆环境识别方法和系统 |
| US10737693B2 (en) | 2018-01-04 | 2020-08-11 | Ford Global Technologies, Llc | Autonomous steering control |
| CN108416257A (zh) * | 2018-01-19 | 2018-08-17 | 北京交通大学 | 融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法 |
| US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
| US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
| US10935652B2 (en) * | 2018-06-26 | 2021-03-02 | GM Global Technology Operations LLC | Systems and methods for using road understanding to constrain radar tracks |
| CN111093007B (zh) * | 2018-10-23 | 2021-04-06 | 辽宁石油化工大学 | 双足机器人的行走控制方法及装置、存储介质、终端 |
| CN109446046B (zh) * | 2018-10-24 | 2021-07-20 | 哈工大机器人（山东）智能装备研究院 | 一种基于极差的自适应阈值方法及系统 |
| CN109631916B (zh) * | 2018-10-31 | 2020-12-08 | 百度在线网络技术（北京）有限公司 | 地图生成方法、装置、设备及存储介质 |
| CN109460739A (zh) * | 2018-11-13 | 2019-03-12 | 广州小鹏汽车科技有限公司 | 车道线检测方法及装置 |
| CN109542994B (zh) * | 2018-11-19 | 2021-07-06 | 禾多科技（北京）有限公司 | 自动驾驶高精度地图的车道拾取算法 |
| CN109858460B (zh) * | 2019-02-20 | 2022-06-10 | 重庆邮电大学 | 一种基于三维激光雷达的车道线检测方法 |
| CN114291084A (zh) * | 2019-10-09 | 2022-04-08 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
| EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
| CN113034898B (zh) * | 2021-03-01 | 2022-06-24 | 湖南汽车工程职业学院 | 一种基于云计算的道路畅通显示系统 |
| WO2022251905A1 (en) * | 2021-05-31 | 2022-12-08 | Abyss Solutions Pty Ltd | Method and system for surface deformation detection |
| CN113269165B (zh) * | 2021-07-16 | 2022-04-22 | 智道网联科技(北京)有限公司 | 数据获取方法及其装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110364A (zh) * | 2009-12-28 | 2011-06-29 | 日电（中国）有限公司 | 基于路口和路段的交通信息处理方法和装置 |
| CN103366154A (zh) * | 2012-04-09 | 2013-10-23 | 通用汽车环球科技运作有限责任公司 | 可重配置的畅通路径检测系统 |
| CN103577828A (zh) * | 2013-11-22 | 2014-02-12 | 中国科学院自动化研究所 | 一种基于边缘特征的道路检测方法 |
| CN104075666A (zh) * | 2013-03-28 | 2014-10-01 | 株式会社三丰 | 用于不规则表面边缘的增强型边缘检测工具 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4988786B2 (ja) * | 2009-04-09 | 2012-08-01 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| JP5892129B2 (ja) * | 2013-08-29 | 2016-03-23 | 株式会社デンソー | 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体 |
-
2016
- 2016-03-11 CN CN201610139126.6A patent/CN105825173B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110364A (zh) * | 2009-12-28 | 2011-06-29 | 日电（中国）有限公司 | 基于路口和路段的交通信息处理方法和装置 |
| CN103366154A (zh) * | 2012-04-09 | 2013-10-23 | 通用汽车环球科技运作有限责任公司 | 可重配置的畅通路径检测系统 |
| CN104075666A (zh) * | 2013-03-28 | 2014-10-01 | 株式会社三丰 | 用于不规则表面边缘的增强型边缘检测工具 |
| CN103577828A (zh) * | 2013-11-22 | 2014-02-12 | 中国科学院自动化研究所 | 一种基于边缘特征的道路检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110422168A (zh) * | 2019-08-08 | 2019-11-08 | 智邮开源通信研究院(北京)有限公司 | 车道识别系统、方法及自动驾驶汽车 |
| CN110422168B (zh) * | 2019-08-08 | 2020-06-16 | 智邮开源通信研究院(北京)有限公司 | 车道识别系统、方法及自动驾驶汽车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105825173A (zh) | 2016-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| CN114842438B (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
| Menze et al. | Object scene flow | |
| US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| Menze et al. | Object scene flow for autonomous vehicles | |
| Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
| Lieb et al. | Adaptive Road Following using Self-Supervised Learning and Reverse Optical Flow. | |
| CA3174351A1 (en) | Feature extraction from mobile lidar and imagery data | |
| Caraffi et al. | Off-road path and obstacle detection using decision networks and stereo vision | |
| Yao et al. | Estimating drivable collision-free space from monocular video | |
| CN111201451A (zh) | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 | |
| CN110651310A (zh) | 估计对象密度和/或流量的深度学习方法及相关方法和软件 | |
| CN114365195A (zh) | 结构注释 | |
| CN108985230A (zh) | 车道线检测方法、装置及计算机可读存储介质 | |
| CN112051853B (zh) | 基于机器视觉的智能避障系统及方法 | |
| CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| WO2009023044A2 (en) | Method and system for fast dense stereoscopic ranging | |
| CN107767400A (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN112947419B (zh) | 避障方法、装置及设备 | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| Yan et al. | Sparse semantic map building and relocalization for UGV using 3D point clouds in outdoor environments | |
| CN118411507A (zh) | 一种具有动态目标的场景的语义地图构建方法及系统 | |
| Berrio et al. | Fusing lidar and semantic image information in octree maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240925 Address after: No. 16-7 Daidong'an Road, Chendai Town, Yunxiao County, Zhangzhou City, Fujian Province 363000 Patentee after: Fujian Xiansi Automotive Technology Co.,Ltd. Country or region after: China Address before: 350008, Fuzhou Town, Cangshan Town, Fujian District, Patentee before: FUZHOU HUAYING HEAVY INDUSTRY MACHINERY Co.,Ltd. Country or region before: China |