CN103129555B - 车道追踪系统 - Google Patents
车道追踪系统 Download PDFInfo
- Publication number
- CN103129555B CN103129555B CN201210509802.6A CN201210509802A CN103129555B CN 103129555 B CN103129555 B CN 103129555B CN 201210509802 A CN201210509802 A CN 201210509802A CN 103129555 B CN103129555 B CN 103129555B
- Authority
- CN
- China
- Prior art keywords
- lane
- point
- image
- treater
- lane boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000246 remedial effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
一种用于机动车辆的车道追踪系统该包括摄像头和车道追踪处理器。摄像头配置为从宽角度视野接收道路的图像和产生对应的图像数字表示。车道追踪处理器配置为从摄像头接收图像数字表示，和配置为：检测一个或多个车道边界，每一个车道边界包括多个车道边界点；将多个车道边界点转换到笛卡尔车辆坐标系中；和将可靠性加权模型车道线拟合到多个点。
Description
技术领域
本发明大致涉及用于增强汽车的车道追踪能力的系统。
背景技术
车辆车道追踪系统可以采用视觉物体识别来辨别道路上标记的边界车道线。通过这些系统，视觉处理处理技术可以估计车辆和相应车道线之间的位置，以及车辆相对于车道线的前进方向。
现有的汽车视觉系统可以利用面向前的摄像头，所述摄像头可以大致瞄准地平线以增加潜在的视野。但是，当前方车辆太靠近主体车辆时，前方车辆会阻挡摄像头对任何车道标记的观察，由此造成边界车道线难以识别或不可识别。
发明内容
一种用于机动车辆的车道追踪系统，包括摄像头和车道追踪处理器。摄像头配置为从宽角度视野接收道路图像和产生对应的图像数字表示。在一种配置中，摄像头可以布置在车辆的后部部分处，且可以包括大于130度的视野。另外，摄像头以相对于水平方向大于25度的量向下倾斜。
车道追踪处理器配置为从摄像头接收图像数字表示，和配置为：检测一个或多个车道边界，每一个车道边界包括多个车道边界点；将多个车道边界点转换到笛卡尔车辆坐标系中；和将可靠性加权模型车道线拟合到多个点。
当构造可靠性加权模型车道线时，车道追踪处理器可以对每一个车道边界点指定相应可靠性加权因子，且随后构造可靠性加权模型车道线以计入指定的可靠性加权因子。这样，与具有较小加权因子的点相比，可靠性加权模型车道线对具有较大加权因子的点赋予更大的权重/影响。可靠性加权因子可以主要取决于在图像帧中的何处获得点。例如，在一个配置中，车道追踪处理器可以被配置为，与接近图像边缘辨识的点相比，将更大可靠性加权因子指定给在图像的中央区域中辨识的车道边界点。类似地，车道追踪处理器配置为，与接近图像中心（背景）辨识的点相比，将更大可靠性加权因子指定给在接近图像底部（前景）辨识的车道边界点。
车道追踪处理器可以进一步被配置为确定车辆和模型车道线之间的距离，并且如果距离低于临界值，则执行控制动作。
在检测来自图像的车道边界时，车道追踪处理器可以配置为：辨识图像内的地平线；识别图像内的多个光线；和从图像内的多个光线检测一个或多个车道边界，其中，检测出的车道边界汇聚至地平线附近的消失区域。而且，车道追踪处理器可以进一步被配置为，如果光线跨过地平线，则排出多个光线中的该光线。
以类似的方式，车道追踪方法包括：从布置在车辆上的摄像头获取图像，摄像头具有配置为包括一部分道路的视野；辨识图像内的车道边界，车道边界包括多个车道边界点；将多个车道边界点转换到笛卡尔车辆坐标系中；和将可靠性加权模型车道线拟合到多个点。
本发明的上述特征和优势以及其他的特征和优势从用于实施本发明的较佳模式的以下详细描述当参考附图时显而易见。
附图说明
图1是包括车道追踪系统的车辆的示意性俯视图。
图2是布置在道路的车道内的车辆的示意性俯视图。
图3是从连续获取的图像数据计算可靠性加权模型车道线的方法的流程图。
图4是可以通过布置在车辆上的宽角度摄像头获取的图像帧的示意图。
图5是用于识别图像内边界车道线的方法的流程图。
图6是图4的图像帧，其增加了边界车道线信息。
图7是包括多个可靠性加权模型车道线的车辆坐标系的示意性俯视图。
图8是包括标度的示意性图像帧，所述标度于根据其与底部边缘的距离来调整感知到的（perceived）车道信息的可靠性权重。
图9是包括边界区域的示意性图像帧，所述边界区域用于根据估计的鱼眼畸变量来调整感知到的车道信息的可靠性权重。
具体实施方式
参见附图，其中在各附图中相同的附图标记用于表示相同的部件，图1示意性地示出了具有车道追踪系统11的车辆10，所述车道追踪系统11包括摄像头12、视频处理器14、车辆运动传感器16和车道追踪处理器18。如将在后文详述的，车道追踪处理器18可以分析和/或评估获取到的和/或增强的图像数据20，以及感测到的车辆运动数据22，以确定车辆10在行车道30中的位置（如大致在图2示出的）。在一种配置中，车道追踪处理器18可以近实时（near-realtime）地确定车辆10和右车道线34之间的距离32、车辆10和左车道线38之间的距离36、和/或车辆10相对于车道30的行进方向（heading）40。
视频处理器14和车道追踪处理器18可以每一个分别实施为一个或多个数字计算机或数据处理装置，每一个具有一个或多个微处理器或中央处理单元（CPU）、只读存储器（ROM）、随机访问存储器（RAM）、电可擦可编程只读存储器（EEPROM）、高速时钟、模拟-数字（A/D）电路、数字-模拟（D/A）电路、输入/输出（I/O）电路、功率电子器件/变压器、和/或信号调制和缓冲电子器件。驻留在处理器14、18中或易于被其访问的各控制/处理例程可以存储在ROM中或其他合适的有形存储单元（memorylocation）和/或存储装置中，且可以通过处理器14、18的相关硬件部件自动地执行，以提供相应的处理功能。在另一配置中，视频处理器14和车道追踪处理器18可以实施为单个装置，例如数字计算机或数据处理装置。
在车辆10沿道路42行进时，一个或多个摄像头12可以视觉上检测车道标记44，所述标记44可以画在或嵌入在道路42的表面上以限定车道30。一个或多个摄像头12每一个可以分别包括一个或多个透镜和/或过滤器，所述透镜和/或过滤器适于将光从视野46内接收和/或定形到图像传感器上。图像传感器可以包括，例如，一个或多个电荷耦合装置（CCD），其配置为将光能量转换为数字信号。摄像头12可以输出视频馈送（videofeed）48，所述视频馈送48可以包括，例如，多个静态图像帧，所述静态图像帧被以固定速率（即帧速率）连续地捕获。在一种配置中，视频馈送48的帧速率可以大于5赫兹（Hz），但是在更优选的配置中，视频馈送48的帧速率可以大于10赫兹（Hz）。
一个或多个摄像头12可以以任何合适的取向/对齐方式相对于车辆定位，只要它们可以合理地观察设置在道路42上或沿道路42设置的一个或多个物体或标记44。在一种配置中，如大致在图1和2中所示的，摄像头12可以设置在车辆10的后部部分50上，从而可以适当地观察车辆10紧后方的道路42。以这种方式，摄像头12也可以为车辆10的司机提供后视倒退辅助（rearviewback-upassist）。为了最大化车辆10后方可见区域，诸如当还提供倒退辅助功能时，摄像头12可以包括宽角度透镜，以实现大于例如130度的视野46。另外，为了进一步最大化紧靠近车辆10的可见区域，摄像头12可以相对于水平朝向道路42向下倾斜，相对于水平倾斜的量大于例如25度。以这种方式，摄像头12可以感知距车辆10有0.1m-20m范围52内的道路42，而最佳分辨率出现在例如0.1m–1.5m的范围中。在另一配置中，摄像头12可以类似地配置有宽阔的视野46且向下倾斜，但是可以布置在车辆10的前部格栅上且大致沿前进面向的方向取向。
视频处理器14可以配置为与摄像头12接口连接，以有助于从视野46获取图像信息。例如，如图3提供的车道追踪方法60所示的，视频处理器14可以通过获取适合于车道检测的图像62而开始方法60。更特别地，获取图像62可以包括指令摄像头12捕获图像64，动态调整摄像头12的操作以计入不同的光线条件66，和/或修正获取的图像以减少可归因于宽角度视野46的任何鱼眼畸变68。
在一种配置中，光线调整特征66可以使用本领域已知的视觉调整技术，以捕获道路42的具有尽可能大的视觉清晰度的图像。光线调整66可以，例如，使用光线标准化技术，诸如直方图均衡，以增加在弱光条件下道路42的清晰度（例如在道路42仅通过车辆尾灯的光照亮的情景下）。替换地，在明亮的点聚焦光存在时（例如在太阳或拖曳（trailing）头灯存在于视野46中时），光线调整66可以允许局部化的亮点在图像中饱和（如果点的亮度在预定临界亮度之上的话）。以这种方式，道路的清晰度不会在试图标准化帧的亮度以包括该点的亮度中受损。
鱼眼修正特征68可以使用后处理技术来标准化任何图像的视觉扭曲（visualskew）（这种扭曲可归因于宽角度视野46）。应注意，尽管这些调整技术可以对减少图像的中央部分中的任何鱼眼镜畸变有效，但是它们在接近帧边缘（在该处扭曲更严重）时不那么有效。
在图像获取62之后，视频处理器14可以提供获取的/修正的图像数据20至车道追踪处理器18，用于进一步的计算和分析。如图3的方法60所提供的和如下所述的，车道追踪处理器18可以随后辨识图像内的一个或多个车道边界（例如边界34、38）（步骤70）；执行摄像头校准以标准化车道边界信息和将车道边界信息转换到车辆坐标系统中（步骤72）；根据获取的/确定的车道边界信息构造可靠性加权的模型车道线（步骤74）；和最后，在重复图像获取62和随后的分析之前，处理器18可以基于感测到的车辆运动来补偿/变动任何获取的/确定后的车道边界信息（步骤76）。另外，取决于车辆相对于模型车道线的位置，车道追踪处理器18可以执行控制动作（步骤78），以向车辆的司机提供警告90和/或经由转向模块92进行矫正动作（如在图1示意性地示出的）。
图4示出了图像帧100，所述图像帧100可以在步骤62处图像获取之后被车道追踪处理器18接收。在一种配置中，车道追踪处理器18可以使用诸如图5中所示的方法110来辨识一个或多个车道边界（步骤70）（且由图6中提供的增强图像帧100图形化地表示的）。如所示的，处理器18可以通过辨识图像帧100内的地平线120开始（步骤112）。地平线120可本质上是大致水平的，并可以将天空区域122与地面区域124分开，其可以每一个具有不同的亮度或对比度。
一旦地检测到平线120，处理器18可以检查帧100，以检测可能存在的任何分段线性线条或射线（步骤114）。跨过地平线120延伸的任何这样的线条/射线可以在步骤116中由于不是车道线而被排除。例如，如图6所示，路灯126、路标（streetsign）128、和/或太阳的光晕效果（bloomingeffect）130可以在该步骤中被排除。在该初始的假象排除之后，处理器18可以检测从前景至地平线120附近的共同的消失点或消失区域132汇聚的一个或多个线条/射线（步骤118）。这些汇聚的线中最靠近帧的中心点134的线随后可被认为是车道边界34、38。
如图6进一步示出的，每一个车道边界34、38可以由相应的多个点限定。例如，车道边界34可以通过第一多个点140限定，边界38可以通过第二多个点142限定。每一个点可以代表检测到的道路标记物、干扰44、或图像内的可能代表道路表面的边缘或车道边界的其他视觉转换点。再次参见图3中示出的方法60，在步骤72中，限定被检测边界线34、38（即，车道边界信息）的多个边界点140、142可以随后被转换至车辆坐标系统150中，诸如图7示出的。如所示的，来自透视图像帧100（图6）的每一个点可以表示在笛卡尔坐标系150中，所述笛卡尔坐标系150具有横过车辆的维度152和纵向维度154。
在图3的步骤74中，处理器18可以针对相应多个（笛卡尔）点140、142中的每一个构造可靠性加权模型车道线160、162，所述点140、142是从图像帧100获取/确定的。为了构造模型化的车道线160、162，相应多个点140、142中的每一个点可被指定相应的加权因子，所述加权因子可以对应于多个可靠性因子中的一个或多个。这些可靠性因子可以指示系统相对于每一个特定点可以具有的置信度，且可以包括，例如，硬件可变性和误差幅度（marginoferror）、环境能见度、环境照明条件、和/或图像分辨率的测量值。一旦加权因子已经被指定给每一个点，则模型车道线可以根据点的加权位置拟合到点。
图8和9大致示出了两个可靠性评估，其可以影响用于特定点的加权因子。如图8所示的，由于倾斜的鱼眼镜摄像头的强透视视图，在图像帧100邻近前景中所示的物体可以以比接近地平线的物体更大的分辨率被提供。以这种方式，位置确定可以更鲁棒和/或具有较低的误差幅度，如果在帧100底部170附近（即前景）记录的话。因此，与更靠近帧100的顶部172记录的点相比，更靠近底部170记录的点可以被指定更大的可靠性权重。在一个实施例中，权重可以作为距帧的底部170距离的指数而减小（例如沿指数标度（exponentialscale）174）。
如图9所示，由于鱼眼畸变，紧邻帧100的边缘180感知到的点会比帧的中间部分182中的点更严重地畸变和/或扭曲。这可以是真的，尽管通过视频处理器14试图做出鱼眼修正68。因此，与更居中区域186中记录的点相比，在边缘附近的带状区域184中记录的点可以被指定较低的可靠性权重。在另一实施例中，该加权因子可以根据可从帧100的中心向外辐射的更渐进标度而被指定。
在进一步的例子中，环境照明和/或能见度可影响记录点的可靠性权重，和/或可用于调整其他可靠性权重分析。例如，在弱光环境下，或在具有低能见度的环境下，用于根据距图像帧100的底部170的距离对点进行加权的标度174可以变陡，以进一步扣减在远处感知到的点。标度174的该修改可以补偿弱光噪声和/或差能见度（其可使在远方的准确位置确定更加困难）。
一旦建立点权重，则处理器18可以使用各种技术以产生加权最佳拟合模型车道线（例如，可靠性加权的模型车道线160、162）。例如，处理器18可以使用简单的加权平均最佳拟合，对之前计算的模型车道线赋予权重的滚动最佳拟合，或可以使用卡尔曼过滤技术以将新获取的点数据整合到旧的获取的点数据。替换地，可以类似地使用本领域中已知的其他建模技术。
一旦已经建立了可靠性加权车道线160、162，则处理器18可以随后沿纵向方向154补偿和/或变动车道点，以在重复图像获取62和随后的分析之前计入车辆的任何感测到的向前运动（步骤76）。处理器18可以使用从车辆运动传感器16获得的车辆运动数据22执行该变动。在一种配置中，该运动数据22可以包括一个或多个车辆车轮24的角位置和/或速度，以及车轮24的对应的前进方向/转向角度。在另一实施例中，运动数据22可以包括车辆10的横向和/或纵向加速度，以及车辆10的测得的横摆角速度（yawrate）。使用该运动数据22，处理器可以在新获取的点被引入时联结（cascade）之前监视到的纵向离开车辆的车道边界点。例如，如图7大体示出的，点140、142可以在方法60的当前迭代期间已经被获取，而点190、192可以在方法60的之前迭代期间已经被获取（即在车辆已经大致向前运动了距离194的情况下）。
在计算用于每一个相应点的可靠性权重时，处理器18可以在拟合模型车道线160、162之前进一步计入运动数据22的可靠性。换句话说，车辆运动和/或采用的航位推算（deadreckoning）计算可以通过一些假设和/或传感器16的限制而进行限制。随时间，漂移或误差可被复合，这会造成被编制的路径信息逐渐越来越不准确。因此，尽管可以对最近获取的点赋予高可靠性权重，但是权重可依据逝去时间和/或车辆行进距离而降低。
除了可靠性加权车道线160、162通过车辆后方多个点而最佳拟合之外，模型车道线160、162也可以针对车辆定位和/或控制的目的而向前推断（大致在200、202处）。该推断可以在道路通常具有最大曲率的假设下执行。因此，推断可以在车辆10的前方的预定距离内统计学上有效。在另一配置中，向前的推断可以使用实时GPS坐标数据以及地图数据（其可以从实时导航系统获得）而被增强，或进一步获得信息。以该方式，处理器18可以将生推断（rawextrapolation）与预期道路曲率融合在一起，所述预期道路曲率可以从在道路地图内车辆的被感测位置获得。该融合可以例如通过使用卡尔曼过滤技术或其他已知的传感器融合算法实现。
一旦可靠性加权的车道线160、162被建立且向前推断，车道追踪处理器18可以评估车辆10在车道30内的位置（即距离32、36），且如果车辆太靠近（无意识地）特定线，可以执行控制动作（步骤78）。例如，处理器18可以向车辆的司机提供警告90，诸如车道偏离警告。替换地（或附加地），处理器18可以通过自动地控制转向模块92而启动矫正动作，以使车辆10在车道30内居中。
由于对当前车道追踪系统的暂时联结，以及获取的车道位置点的动态加权，模型化的可靠性加权车道线160、162在高速和低速情况下均是统计学上准确的。进而，动态加权可以允许系统在根据获取的图像数据确定车道线位置时计入各硬件部件和/或环境条件的限制。
尽管已经对用于执行本发明的较佳模式进行了详尽的描述，但是本发明所涉及领域的技术人员将认识到在所附的权利要求的范围内的用来实践本发明的各种替换设计和实施例。意图是包含在以上描述中或在附图中所示的所有内容应被解释为仅是说明性的而不是作为限制。
相关申请的交叉引用
本申请要求于2011年12月02日递交的美国临时申请NO.61/566,042和2012年8月20日递交的美国申请NO.13/589214的权益，该申请通过引用全部合并与此。
Claims (9)
1.一种用于机动车辆的车道追踪系统，该系统包括：
摄像头，配置为从宽角度视野接收图像和产生对应的图像数字表示；
车道追踪处理器，配置为接收图像数字表示，并进一步配置为：
检测一个或多个车道边界，每一个车道边界包括多个车道边界点；
将多个车道边界点转换到笛卡尔车辆坐标系中；和
将可靠性加权模型车道线拟合到所述多个点，
其中，车道追踪处理器进一步配置为：
辨识图像内的地平线；
辨识图像内的多条射线；和
从图像内的多条射线检测一个或多个车道边界，其中，一个或多个车道边界汇聚至地平线附近的消失区域。
2.如权利要求1所述的系统，其中车道追踪处理器进一步配置为：
对多个车道边界点中的每一个车道边界点指定相应的可靠性加权因子；
将可靠性加权的模型车道线拟合到所述多个点；和
其中，与具有较小加权因子的点相比，可靠性加权模型车道线对具有较大加权因子的点赋予更大的权重。
3.如权利要求2所述的系统，其中，车道追踪处理器配置为，与接近图像边缘处辨识出的点相比，将更大的可靠性加权因子指定给在图像的中央区域中辨识出的车道边界点。
4.如权利要求2所述的系统，其中，车道追踪处理器配置为，与在图像背景中辨识的点相比，将更大的可靠性加权因子指定给在图像的前景中识别的车道边界点。
5.如权利要求1所述的系统，其中，车道追踪处理器进一步配置为：
确定车辆和模型车道线之间的距离；和
如果距离低于临界值，执行控制动作。
6.如权利要求1所述的系统，其中，摄像头布置在车辆的后部部分处；且
其中，摄像头具有大于130度的视野。
7.如权利要求6所述的系统，其中，摄像头以相对于水平方向大于25度的量向下倾斜。
8.如权利要求1所述的系统，其中，车道追踪处理器进一步配置为，如果射线跨过地平线，则排除多条射线中的该射线。
9.如权利要求1所述的系统，进一步包括视频处理器，所述视频处理器配置为调整图像的亮度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610301396.2A CN105835880B (zh) | 2011-12-02 | 2012-12-03 | 车道追踪系统 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161566042P | 2011-12-02 | 2011-12-02 | |
| US61/566,042 | 2011-12-02 | ||
| US13/589,214 | 2012-08-20 | ||
| US13/589,214 US20130141520A1 (en) | 2011-12-02 | 2012-08-20 | Lane tracking system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610301396.2A Division CN105835880B (zh) | 2011-12-02 | 2012-12-03 | 车道追踪系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103129555A CN103129555A (zh) | 2013-06-05 |
| CN103129555B true CN103129555B (zh) | 2016-06-01 |
Family
ID=48523713
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210509802.6A Expired - Fee Related CN103129555B (zh) | 2011-12-02 | 2012-12-03 | 车道追踪系统 |
| CN201610301396.2A Expired - Fee Related CN105835880B (zh) | 2011-12-02 | 2012-12-03 | 车道追踪系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610301396.2A Expired - Fee Related CN105835880B (zh) | 2011-12-02 | 2012-12-03 | 车道追踪系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130141520A1 (zh) |
| CN (2) | CN103129555B (zh) |
| DE (1) | DE102012221777A1 (zh) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013103952B4 (de) | 2012-05-02 | 2020-07-09 | GM Global Technology Operations LLC | Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem |
| US9538144B2 (en) * | 2012-05-02 | 2017-01-03 | GM Global Technology Operations LLC | Full speed lane sensing using multiple cameras |
| JP2014164426A (ja) * | 2013-02-22 | 2014-09-08 | Denso Corp | 物体検出装置 |
| US9000954B2 (en) * | 2013-04-02 | 2015-04-07 | Caterpillar Inc. | Machine system having lane keeping functionality |
| US8996197B2 (en) * | 2013-06-20 | 2015-03-31 | Ford Global Technologies, Llc | Lane monitoring with electronic horizon |
| JP5890803B2 (ja) * | 2013-07-01 | 2016-03-22 | 富士重工業株式会社 | 車両の運転支援制御装置 |
| CN103448724B (zh) * | 2013-08-23 | 2016-12-28 | 奇瑞汽车股份有限公司 | 车道偏离预警方法和装置 |
| KR20150044690A (ko) * | 2013-10-17 | 2015-04-27 | 현대모비스 주식회사 | Can 신호를 이용한 관심 영역 설정 장치 및 그 방법 |
| US9212926B2 (en) * | 2013-11-22 | 2015-12-15 | Ford Global Technologies, Llc | In-vehicle path verification |
| CN103996031A (zh) * | 2014-05-23 | 2014-08-20 | 奇瑞汽车股份有限公司 | 一种自适应阈值分割的车道线检测系统及其方法 |
| US9794552B1 (en) * | 2014-10-31 | 2017-10-17 | Lytx, Inc. | Calibration of advanced driver assistance system |
| JP6449627B2 (ja) * | 2014-11-25 | 2019-01-09 | 株式会社Ｓｏｋｅｎ | 走行区画線認識装置 |
| FR3033912B1 (fr) * | 2015-03-18 | 2018-06-15 | Valeo Schalter Und Sensoren Gmbh | Procede d'estimation de parametres geometriques representatifs de la forme d'une route, systeme d'estimation de tels parametres et vehicule automobile equipe d'un tel systeme |
| US10005367B2 (en) | 2015-07-30 | 2018-06-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wireless charging of a vehicle power source |
| US10935789B2 (en) | 2016-03-31 | 2021-03-02 | Honda Motor Co., Ltd. | Image display apparatus and image display method |
| JP6293213B2 (ja) * | 2016-08-01 | 2018-03-14 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
| CN106354135A (zh) * | 2016-09-19 | 2017-01-25 | 武汉依迅电子信息技术有限公司 | 基于北斗高精度定位的车道保持系统及方法 |
| CN106347363A (zh) * | 2016-10-12 | 2017-01-25 | 深圳市元征科技股份有限公司 | 车道保持方法及装置 |
| EP3529742A1 (en) | 2016-10-24 | 2019-08-28 | Starship Technologies OÜ | Sidewalk edge finder system and method |
| US10586122B1 (en) * | 2016-10-31 | 2020-03-10 | United Services Automobile Association | Systems and methods for determining likelihood of traffic incident information |
| KR20180050823A (ko) * | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 3차원의 도로 모델을 생성하는 방법 및 장치 |
| US11112237B2 (en) * | 2016-11-14 | 2021-09-07 | Waymo Llc | Using map information to smooth objects generated from sensor data |
| JP6693893B2 (ja) * | 2017-01-16 | 2020-05-13 | 株式会社Ｓｏｋｅｎ | 走路認識装置 |
| US10331957B2 (en) * | 2017-07-27 | 2019-06-25 | Here Global B.V. | Method, apparatus, and system for vanishing point/horizon estimation using lane models |
| US10140530B1 (en) | 2017-08-09 | 2018-11-27 | Wipro Limited | Method and device for identifying path boundary for vehicle navigation |
| CN110120081B (zh) * | 2018-02-07 | 2023-04-25 | 北京四维图新科技股份有限公司 | 一种生成电子地图车道标线的方法、装置及存储设备 |
| US10748012B2 (en) * | 2018-02-13 | 2020-08-18 | Ford Global Technologies, Llc | Methods and apparatus to facilitate environmental visibility determination |
| TWI662484B (zh) * | 2018-03-01 | 2019-06-11 | 國立交通大學 | 物件偵測方法 |
| DE102018112177A1 (de) | 2018-05-22 | 2019-11-28 | Connaught Electronics Ltd. | Fahrspurdetektion auf der Basis von Fahrspurmodellenn |
| CN110641464B (zh) * | 2018-06-27 | 2023-06-06 | 德尔福技术有限公司 | 摄像头调节系统 |
| US10778901B2 (en) * | 2018-06-27 | 2020-09-15 | Aptiv Technologies Limited | Camera adjustment system |
| US20200062252A1 (en) * | 2018-08-22 | 2020-02-27 | GM Global Technology Operations LLC | Method and apparatus for diagonal lane detection |
| JP6928917B2 (ja) * | 2018-11-06 | 2021-09-01 | パナソニックＩｐマネジメント株式会社 | 移動体管理システム、移動体、管理装置、制御方法、及びプログラム |
| CN111284496B (zh) * | 2018-12-06 | 2021-06-29 | 财团法人车辆研究测试中心 | 用于自动驾驶车辆的车道追踪方法及系统 |
| CN112036220B (zh) * | 2019-06-04 | 2024-04-05 | 宇通客车股份有限公司 | 一种车道线跟踪方法及系统 |
| CN110287884B (zh) * | 2019-06-26 | 2021-06-22 | 长安大学 | 一种辅助驾驶中压线检测方法 |
| CN110164179A (zh) * | 2019-06-26 | 2019-08-23 | 湖北亿咖通科技有限公司 | 一种车库空闲车位的查找方法及装置 |
| US20210155158A1 (en) * | 2019-11-22 | 2021-05-27 | Telenav, Inc. | Navigation system with lane estimation mechanism and method of operation thereof |
| US11756312B2 (en) * | 2020-09-17 | 2023-09-12 | GM Global Technology Operations LLC | Orientation-agnostic lane tracking in a vehicle |
| CN112434591B (zh) * | 2020-11-19 | 2022-06-17 | 腾讯科技（深圳）有限公司 | 车道线确定方法、装置 |
| CN112434621B (zh) * | 2020-11-27 | 2022-02-15 | 武汉极目智能技术有限公司 | 车道线内侧边缘特征提取方法 |
| CN112232330B (zh) * | 2020-12-17 | 2021-02-23 | 中智行科技有限公司 | 车道连接线生成方法、装置、电子设备和存储介质 |
| FR3127320B1 (fr) * | 2021-09-21 | 2023-09-15 | Continental Automotive | Procédé de détermination de la position d’un objet par rapport à une ligne de marquage au sol d’une route |
| DE102022126922A1 (de) | 2022-10-14 | 2024-04-25 | Connaught Electronics Ltd. | Verfahren zum Verfolgen einer Begrenzung einer Fahrspur für ein Fahrzeug |
| CN117036505B (zh) * | 2023-08-23 | 2024-03-29 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470801A (zh) * | 2007-12-24 | 2009-07-01 | 财团法人车辆研究测试中心 | 车辆偏移的检知方法与装置 |
| CN101970273A (zh) * | 2008-03-12 | 2011-02-09 | 本田技研工业株式会社 | 车辆行驶辅助装置、车辆、车辆行驶辅助程序 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3424334B2 (ja) * | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | 走行路検出装置 |
| US20050149251A1 (en) * | 2000-07-18 | 2005-07-07 | University Of Minnesota | Real time high accuracy geospatial database for onboard intelligent vehicle applications |
| JP3722486B1 (ja) * | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| KR100956858B1 (ko) * | 2009-05-19 | 2010-05-11 | 주식회사 이미지넥스트 | 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치 |
-
2012
- 2012-08-20 US US13/589,214 patent/US20130141520A1/en not_active Abandoned
- 2012-11-28 DE DE102012221777A patent/DE102012221777A1/de not_active Withdrawn
- 2012-12-03 CN CN201210509802.6A patent/CN103129555B/zh not_active Expired - Fee Related
- 2012-12-03 CN CN201610301396.2A patent/CN105835880B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470801A (zh) * | 2007-12-24 | 2009-07-01 | 财团法人车辆研究测试中心 | 车辆偏移的检知方法与装置 |
| CN101970273A (zh) * | 2008-03-12 | 2011-02-09 | 本田技研工业株式会社 | 车辆行驶辅助装置、车辆、车辆行驶辅助程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103129555A (zh) | 2013-06-05 |
| US20130141520A1 (en) | 2013-06-06 |
| DE102012221777A1 (de) | 2013-06-06 |
| CN105835880A (zh) | 2016-08-10 |
| CN105835880B (zh) | 2018-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103129555B (zh) | 车道追踪系统 | |
| CN106981082B (zh) | 车载摄像头标定方法、装置及车载设备 | |
| JP6606610B2 (ja) | 走路境界推定装置及びそれを用いた走行支援システム | |
| US10582131B2 (en) | In-vehicle camera system and image processing apparatus | |
| US9538144B2 (en) | Full speed lane sensing using multiple cameras | |
| CN103885573B (zh) | 车用显示系统的自动校正方法及其系统 | |
| US9349058B2 (en) | Vehicular path sensing system and method | |
| US9591274B2 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| US11373532B2 (en) | Pothole detection system | |
| EP2057583B1 (de) | Verfahren zur automatischen fernlichtsteuerung | |
| US9251426B2 (en) | Three-dimensional object detection device, three-dimensional object detection method | |
| US9721169B2 (en) | Image processing device for detecting vehicle in consideration of sun position | |
| US10023198B2 (en) | Method for determining a relative gradient of a roadway | |
| US9754172B2 (en) | Three-dimenisional object detection device | |
| CN106503636A (zh) | 一种基于视觉图像的道路视距检测方法及装置 | |
| CN101789123B (zh) | 一种创建基于单目机器视觉距离图的方法 | |
| CN108108750A (zh) | 基于深度学习和单目视觉的距离空间重建方法 | |
| CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| KR101478258B1 (ko) | 차선 인식 방법 및 그 시스템 | |
| US8643723B2 (en) | Lane-marker recognition system with improved recognition-performance | |
| US20210012119A1 (en) | Methods and apparatus for acquisition and tracking, object classification and terrain inference | |
| CN106627416A (zh) | 用于检测道路类型的方法、装置和系统 | |
| JP5910180B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
| JP2017117105A (ja) | 見通し判定装置 | |
| EP3246877A1 (en) | Road surface estimation based on vertical disparity distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160601 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |