CN103383728B - 使用环视系统的全速车道感测 - Google Patents
使用环视系统的全速车道感测 Download PDFInfo
- Publication number
- CN103383728B CN103383728B CN201310157985.4A CN201310157985A CN103383728B CN 103383728 B CN103383728 B CN 103383728B CN 201310157985 A CN201310157985 A CN 201310157985A CN 103383728 B CN103383728 B CN 103383728B
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- image
- boundary line
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 142
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000003745 diagnosis Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 19
- 241001149900 Fusconaia subrotunda Species 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 2
- 229910003460 diamond Inorganic materials 0.000 description 12
- 239000010432 diamond Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
一种通过检测道路车道标志在车辆上提供车道感测的系统和方法，其中，所述系统采用提供围绕车辆的俯视图像的环视照相机系统。所述方法包括检测俯视图像中的左侧和右侧车道边界线，且然后确定图像中的车道边界线是否从一个图像帧到下一个图像帧对准且在俯视图像中根据图像对准。如果边界线不对准，那么执行一个或多个照相机的校准，如果线对准，那么模型拟合过程用于具体地识别道路上的边界线的位置。
Description
相关申请的交叉引用
本申请要求2012年5月2日提交的题为“Full Speed Lane Sensing With ASurrounding View System”的美国临时专利申请序列号61/641,479的优先权日期的权益。
技术领域
本发明总体上涉及为在车道中行驶的车辆提供道路车道感测的系统和方法，且更具体地涉及为在车道中行驶的车辆提供道路车道感测的系统和方法，其中，车道感测系统采用使用从自始至终围绕车辆提供图像的四个照相机产生的俯视图像（top-down viewimage，或全景图像）的算法。
背景技术
现代车辆变得更加自主，即，车辆可以更少的驾驶员介入来提供驾驶控制。巡航控制系统已经存在于车辆上多年，其中，车辆操作员可设置车辆的具体速度，并且车辆将在无需驾驶员操作节气门的情况下维持该速度。在本领域中最近已经研发出了自适应巡航控制系统，其中，该系统不但维持设定速度而且在如下情况下还将自动地使车辆减速：通过使用诸如雷达和照相机的各种传感器在对象车辆前面检测到更慢的移动车辆。现代车辆控制系统还可包括自主驻车，其中，车辆将自动地提供转向控制以便使车辆驻车；并且其中，如果驾驶员作出可影响车辆稳定性和车道定中能力的苛刻的转向变化，则控制系统将介入，其中，车辆系统试图将车辆保持在行驶车道的中心附近。
随着车辆系统改进，以完全自动驱动车辆为目标，车辆将变得更加自主。未来车辆将很可能利用用于车道变更、超车、绕开交通、驶入交通等的自主系统。因为这些系统在车辆技术中变得更加普遍，所以确定哪些驾驶员作用将与这些系统结合用于控制车辆速度、转向和超控自主系统也将是必要的。
目前车辆车道感测系统通常使用视觉系统来感测车辆行驶车道以及使车辆在车道中心驾驶。这些已知车道感测系统中的许多为各种应用(诸如，车道偏离警告(LDW)、车道保持(LK)、车道定中(LC)等)检测道路上的车道标志，并且典型地在车辆的前部或后部已经采用单照相机以提供用来检测车道标志的图像。然而，存在单个照相机不能检测车道标志的各种情况，包括低太阳角、由于紧密靠近车辆(诸如，在拥挤的交通状况下)导致的不可见车道标志、照相机故障等。例如，当前导车辆太靠近对象车辆时，由于交通拥挤或其它交通状况，照相机可能检测不到车道标志，因为车道标志被前导车辆遮挡，并且因此，车道的车道标志检测将失效。
在本领域中已经提出在车辆上提供环视照相机系统，其包括前照相机、后照相机以及左侧和右侧照相机，并且使来自照相机的图像产生车辆和周围区域的俯视图，其中，图像将在车辆的角部处相互重叠。俯视图可显示给车辆驾驶员以查看车辆的周围有什么以便倒车、驻车等。
发明内容
根据本发明的教导，公开了一种通过检测道路车道标志在车辆上提供车道感测的系统和方法，其中，所述系统采用提供围绕车辆的俯视图像的环视照相机系统。所述方法包括检测俯视图像中的左侧和右侧车道边界线，且然后确定图像中的车道边界线是否从一个图像帧到下一个图像帧对准且在俯视图像中根据图像对准。如果边界线不对准，那么执行一个或多个照相机的校准，如果线对准，那么模型拟合过程用于具体地识别道路上的边界线的位置。
方案1. 一种用于感测道路中的行驶车道的方法，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧道路边界线和在车道右侧的右侧道路边界线，所述方法包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
针对连续图像帧中的每个来构造车辆的俯视图像，所述俯视图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的全部图像数据组合，其中，车辆显示在俯视图像的中心；
检测俯视图像中的左侧边界线和右侧边界线的表征；
使用俯视图像中的左侧道路边界线和右侧道路边界线的表征来校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；
执行照相机诊断过程以提供时间约束分析和空间约束分析，其中，所述时间约束分析确定连续俯视图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定俯视图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；以及
如果满足时间约束阈值和空间约束阈值，那么使用模型拟合过程来识别俯视图像中的边界线。
方案2. 根据方案1所述的方法，其中，左侧和右侧边界线的表征是一系列图像点。
方案3. 根据方案2所述的方法，其中，使用模型拟合过程包括基于给予每个独立图像点的权重来使用线性模型。
方案4. 根据方案3所述的方法，其中，所述权重基于多个因素分配，包括：照相机视点、车辆动力学误差、校准误差、图像的可视性和可靠性以及车道感测应用。
方案5. 根据方案2所述的方法，其中，检测边界线的表征包括将图像点转换为车辆坐标。
方案6. 根据方案1所述的方法，还包括：在俯视图像用于检测左侧和右侧边界线的表征之前，给俯视图像提供光照标准化过程。
方案7. 根据方案1所述的方法，其中，执行照相机诊断过程包括确定左侧和右侧边界线的表征是长实线还是短虚线。
方案8. 根据方案7所述的方法，其中，执行照相机诊断包括：在车辆以向前方向行驶时使用前视照相机且在车辆以向后方向行驶时使用后视照相机，以确定边界线的表征是长实线还是短虚线。
方案9. 根据方案1所述的方法，还包括：在执行照相机诊断过程之前，使用车辆运动补偿来增强俯视图像中的左侧道路边界线和右侧道路边界线的表征。
方案10. 一种用于感测道路中的行驶车道的方法，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧道路边界线和在车道右侧的右侧道路边界线，所述方法包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
提供组合图像，所述组合图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的每个图像组合，所述组合图像包括左侧边界线和右侧边界线的表征；
使用来自于照相机的图像中的左侧道路边界线或右侧道路边界线的表征来提供照相机校准，以独立地校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；
执行照相机诊断过程以提供组合图像的时间约束分析和空间约束分析，其中，所述时间约束分析确定连续组合图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定组合图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的一个或多个的定向；以及
如果满足时间约束阈值和空间约束阈值，那么将组合图像中的左侧边界线和右侧边界线的表征模型拟合为左侧和右侧边界线。
方案11. 根据方案10所述的方法，其中，左侧和右侧边界线的表征是一系列图像点。
方案12. 根据方案10所述的方法，其中，模型拟合包括基于给予每个独立图像点的权重来使用多项式模型。
方案13. 根据方案12所述的方法，其中，所述权重基于多个因素分配，包括：照相机视点、车辆动力学误差、校准误差、图像的可视性和可靠性以及车道感测应用。
方案14. 根据方案10所述的方法，其中，执行照相机诊断过程包括将线的表征转换为俯视坐标。
方案15. 根据方案10所述的方法，还包括：给组合图像提供光照标准化过程。
方案16. 根据方案10所述的方法，其中，执行照相机诊断过程包括确定左侧和右侧边界线的表征是长实线还是短虚线。
方案17. 根据方案16所述的方法，其中，执行照相机诊断包括：在车辆以向前方向行驶时使用前视照相机且在车辆以向后方向行驶时使用后视照相机，以确定边界线的表征是长实线还是短虚线。
方案18. 根据方案10所述的方法，还包括：在执行照相机诊断过程之前，使用车辆运动补偿来增强组合图像中的左侧道路边界线和右侧道路边界线的表征。
方案19. 一种用于感测道路中的行驶车道的系统，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧道路边界线和在车道右侧的右侧道路边界线，所述系统包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据的装置，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
针对连续图像帧中的每个来构造车辆的俯视图像的装置，所述俯视图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的全部图像数据组合，其中，车辆显示在俯视图像的中心；
检测俯视图像中的左侧边界线和右侧边界线的表征的装置；
使用俯视图像中的左侧道路边界线和右侧道路边界线的表征来校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向的装置；
执行照相机诊断过程以提供时间约束分析和空间约束分析的装置，其中，所述时间约束分析确定连续俯视图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定俯视图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向的装置；以及
如果满足时间约束阈值和空间约束阈值，那么使用模型拟合过程来识别俯视图像中的边界线的装置。
本发明的附加特征将从以下描述和所附权利要求结合附图变得明显。
附图说明
图1是包括具有多个照相机的环视照相机系统的车辆的图示；
图2是使用来自照相机的图像产生的在图1中所示的车辆的俯视图像；
图3是示出用于使用环视照相机系统和俯视图像来检测道路车道标志的低端方法过程的流程图；
图4是在车辆坐标中的由环视照相机系统使用俯视图像检测到的车道标志图像点的图示；
图5是示出用于提供在图3中所示的过程中的照相机诊断的过程的流程图；
图6是由图4中所示的环视照相机系统检测到的车道标志图像点的图示并且包括已经被模型拟合到所述点的车道标志线；
图7是示出用于独立地使用来自于多个车辆照相机的图像来检测道路车道标志的高端方法过程的流程图；
图8是在车辆坐标中的由独立照相机检测到的车道标志图像点的图示；
图9是示出用于提供在图7中所示的过程中的照相机诊断的过程的流程图；和
图10是图8中所示的车道标志图像点的图示并且包括已经被模型拟合到所述点的车道标志线。
具体实施方式
对涉及通过使用环视照相机系统检测车道标志提供车道感测的系统和方法的本发明的实施例的下列讨论，本质上仅仅是示例性的，并且决不旨在限制本发明或其应用或使用。
图1是沿着道路车道12行驶的车辆10的图示，该道路车道12由涂刷或以其它方式附着在道路车道12上的车道标志限定，包括外侧车道边界实线14和车道中心虚线16。出于将从下文的讨论变得明显的原因，车辆10包括在车辆10内诸如在后视镜(未示出)后面的照相机18。车辆10还包括具有前视照相机20、后视照相机22、右侧视照相机24和左侧视照相机26的环视照相机系统。照相机20-26可为适合于本文中所描述的目的的任意照相机，其中的许多在汽车领域中是已知的，它们可接收光或其它辐射并且使用例如电荷耦合装置(CCD)将光能转换成以像素格式的电信号。照相机20-26以某一数据帧速率产生可被存储用于随后处理的图像数据帧。照相机20-26可安装在车辆10内或作为车辆10的部分的任意适当结构(诸如保险杠、facie、格栅、侧视镜、门板等)上，如将由本领域的技术人员理解并意识到的。在一个非限制性实施例中，侧照相机24和26安装在侧视镜的下方并且指向下。来自照相机20-26的图像数据被发送至处理器28，该处理器28处理图像数据以产生可显示在车辆显示器30上的图像。例如，如上文所提及的，在本领域中提供车辆的俯视图是已知的，从而提供车辆10附近和车辆10的全部侧的图像。
图2是由来自照相机20-26的图像数据构造的可显示在显示器30上的俯视图像32的一般表征，示出车辆10在图像32的中心或其它部分。俯视图像32包括组合的由前视照相机20提供的前图像34、由后视照相机22提供的后图像36、由右侧视照相机24提供的右侧图像38以及由左侧视照相机26提供的左侧图像40。来自照相机20-26的图像由处理器28处理，使得所述图像拟合在一起作为组合图像，其中线42是在图像34与40之间的边界，线44是在图像34与38之间的边界，线46是在图像36与40之间的边界，并且线48是在图像36与38之间的边界。在图像32中的虚线50限定中心车道线16并且延伸穿过图像40并且到图像34和36中，并且实线52代表延伸穿过图像38并且到图像34和36中的车道边界线14。
本发明提出用于提供用于在诸如LDW系统、LK系统、LC系统等的各个系统中使用的车道感测的技术，其使用环视照相机系统来检测在车辆10的两侧上的车道标志或车道边界。如将在下文中详细地讨论的，本发明提出两种车道感测方法，包括使用由照相机系统产生的俯视图像32的欠复杂的低端方法和单独地使用来自照相机20-26的图像的高端方法。在该低端方法中，集成的感测和照相机诊断被无缝地提供，并且是简单且快速的。然而，低端的方法具有有限的检测距离，取决于精确的照相机校准，并且具有有限的诊断和自动照相机校准。高端方法需要更高的处理能力，并且因此它是较慢的。然而，提供四个独立的原始图像提供在图像34-40重叠区域中的分析、更长的检测距离、以及鲁棒检测结果。应注意的是，虽然本发明利用了提供车辆10的环视图像的四个照相机，但是，下文中详细讨论的本发明的技术和过程将可适用于任意数量的照相机，例如，如果照相机20-26中的一个发生故障，或四个以上的照相机设置在车辆10上。
图3是示出用于执行上文所提及的低端方法的过程的流程图60。在框62处提供俯视图像32，并且在框64处在处理器28中的车道感测算法执行图像32的光标准化。光标准化是改变图像的像素强度值的范围以使图像强度进入到更加适合于处理的范围中的过程。转让给本申请的受让人并且通过引用并入本文的于2012年8月20日提交的题为“LaneTracking System”的美国专利申请序列号13/589,214公开了利用单个照相机的车辆车道跟踪系统以便检测道路标志用于车道感测目的。‘214申请公开了用于在照相机图像上执行光标准化的一个过程，该过程适合于本文中所讨论的光标准化。那个过程包括利用直方图均衡化来增加在低光状况下的图像的清晰性以及提供亮点饱和。
然后，该算法在框66处执行车道检测过程，以确定车辆10是否正在道路车道(诸如，车道12)中行驶。转让给本申请的受让人并且通过引用并入本文的Zhang等的美国专利申请公开No.2010/0014714公开了一种用于提供车道检测的适合于本文所讨论的过程的示例性技术。其它技术也可为适用的，包括下文更详细地讨论的如下已知技术：其中由照相机20-26成像的对象产生图像点，所述图像点然后被处理以识别车道边界。对于在车辆10沿着道路车道12移动时所产生的每个图像帧，图像点在来自照相机20-26的实体动画（pixilation）的图像坐标中产生。
在框68处，图像点然后被用来从由车道检测过程产生的一些图像点识别在图像32中的左和/或右边界线，诸如车道线50和52。换言之，该算法选择图像中的可为由使车道线14和16成像而检测到的点的那些点。可通过本领域的技术人员已知的任意适当的过程从在图像32中的图像点识别左车道线50和右车道线52。例如，‘214申请公开了一种适当的技术，其中随着车辆10移动，边界线图像点由来自照相机20-26的图像识别。
然后，在图像点被转换成车辆坐标系之前，在框80处，在图像坐标中的图像点被用来校准照相机20-26的定向。转让给本申请的受让人并且通过引用并入本文的于2009年2月6日提交的题为“Camera Auto-Calibration By Horizontal Estimation”的美国专利申请公开No.2010/0201814公开了适合于该目的的用于车辆照相机的自动校准过程。如在‘814申请中所讨论的，车辆照相机的位置和定向(角度)的知识对于在车辆坐标中处理来自照相机的图像数据是必需的。然而，各个因素，诸如车辆上的负载、在起伏不平的路上行驶、磨损等，可能导致车辆照相机的定向改变，其中需要将新的照相机位置和定向校准到已知定向，使得来自其的图像在图像处理中被适当地处理用于特定的使用。虽然任意适当的照相机校准过程可用于本文所讨论的过程，但是‘814申请提供一种适用的并且利用边缘检测分析和运动映射以使用图像点来校准车辆照相机20-26的技术。
一旦照相机20-26被校准，在图像坐标中的已校准的图像点然后就在框58处使用任意适当的过程转换成车辆坐标系。图4是示出图像点已经转换成车辆坐标系76的图示70。特别地，示出在车辆坐标中的一系列图像点72，所述一系列图像点72从识别在图像32中的中心车道线50的图像点由转化过程产生，并且示出在车辆坐标中的一系列图像点74，所述一系列图像点74从识别在图像32中的车道线52的图像点由转化过程产生。
在框82处车辆运动补偿可用来增强在图像32中的车道线50和52的识别。特别地，在车辆坐标中的图像点72和74可包括来自由车辆运动补偿提供的先前图像帧的图像点。可采用适合于本文中所描述的目的的用于确定车辆运动的任何过程。在‘042申请中还描述了用于使用用于该目的的车辆运动补偿一种适当过程，并且该过程可包括如下过程：使用在车辆10上的传感器(未示出)(即，车辆速度传感器和偏航率传感器)感测车辆位置，以及使在先前帧中的检测到的图像点沿车辆行驶的方向移位以补偿车辆10的从先前图像帧至当前车辆坐标的任何感测的前进运动。由于车辆10行驶并且每组图像点72和74在随后的图像中被提供，因此，可通过车辆运动补偿使用那些点。换言之，车辆运动补偿过程着眼于在连续图像帧中的图像点72和74，其中在两个或更多个帧中的两倍或以上数量的图像点72和74可用于车道几何分析以基于车辆10的运动从一个图像帧到下一个图像帧对准图像点72和74。
在框84处，该算法然后使用在车辆坐标中的经运动补偿的图像点72和74来确定照相机20-26是否相互对准以在照相机诊断过程中提供图像32。如果照相机诊断过程确定图像点72和74的定向从一个图像帧到下一个图像帧对于车道感测是不足够的，则过程进入到框86以提供照相机重新校准，优选地以在框80处所进行的同样的方式使用在图像坐标中的图像点，然后在框62处再次产生俯视图像32。如果照相机诊断过程确定照相机20-26被适当地校准并且俯视图像32是足够的，则该算法在框88处执行模型拟合过程以特别地识别线50和52在道路车道12中的位置，所述位置然后可在具体的LDW、LK或LC系统中被使用。在下文中将详细地讨论照相机诊断过程和模型拟合过程两者。
在框84处在照相机诊断过程期间，随着车辆10沿着道路车道12移动，该算法通过将线50和52从一个图像帧到下一个图像帧对准来提供时间分析。对于每条线而言，连续图像帧需要相互匹配，其中来自线50和52的用于前照相机、侧照相机和后照相机的线段需要共线，相对于彼此具有相同角度和相同偏移。此外，照相机诊断过程提供空间分析，其中在构成俯视图像32的图像34-40中，线50和52从图像34-40中的一个到下一个图像34-40应被连接并且具有相同角度。因此，照相机诊断过程匹配用于时间约束的连续帧并且匹配在用于空间约束的每个帧图像中的不同的图像。
图5是示出用于执行上文所提及的照相机诊断的过程的流程图90。取决于车辆10是向前或向后移动，前视照相机20、后视照相机22或在挡风玻璃后面的附加内部照相机（诸如照相机18）被用来识别是否存在可被用来确定照相机20-26是否被适当地校准的车道边界。在框92处，取决于车辆10正在以哪个方向行驶，来自照相机20、照相机22或内部照相机的照相机图像被提供用于在框94处的纹理分析。纹理分析过程提供边缘和车道检测以确定在车辆10的左侧上或车辆10的右侧上是否存在诸如线50和52的车道边界线。
然后该算法在决策菱形96处确定已经检测到的左或右车道线是否为长实线，并且如果是，则移至框98以使用俯视图像32提供车道标志或线检测。使用来自框82的车辆运动补偿图像，该算法在决策菱形100处通过确定用于前、侧和后照相机的来自在俯视图像32中的线50和52的线段是否被连接并且对于在俯视图像32中的每条线而言在图像之间是否具有在一些预定的阈值内的相同角度来提供空间约束分析。在决策菱形100处如果用于前、侧和后照相机的来自线50和52的线段未被连接或不具有在阈值内的相同角度，则该算法进入照相机重新校准框86。如果用于前、侧和后照相机的来自线50和52的线段被连接并且对于每条线而言具有在阈值内的相同角度，则该算法进入决策菱形102以提供时间约束分析以确定在连续图像帧中的线50和52是否匹配，如上文所讨论的。如果连续帧在决策菱形102处不匹配，则算法再次进入照相机重新校准框86。如果时间和空间约束两者已经得到满足，则照相机20-26相对于彼此已校准，并且算法进入模型拟合框88。
如果该算法在决策菱形96确定线50和52中的任一个不是长实线，其中线50不是实线，则该算法在决策菱形110处确定线是否为短(虚)线，并且如果不是，则在道路车道12中没有线存在，并且算法进入框112以等待下一个成像循环。如果该算法在决策菱形110处确定检测到的线是短线，则该算法在框114处与框98相同的方式提供车道标志检测。由于线是短线，所以该算法跳过了确定线段是否被连接并且具有相同角度的空间约束步骤，但是在决策菱形116处确实以与如上针对框102所讨论的相同的方式执行时间帧匹配。同样，如果连续帧在决策菱形116处不匹配，则该算法移至重新校准框86，并且如果它们匹配，则该算法进入模型拟合框88。
如果照相机20-26被校准，则该算法在模型拟合框88中使用来自连续图像帧的图像点72和74来识别车辆10相对于道路车道12的位置和定向。换言之，该算法使用图像点72和74来确定线50和52相对于车辆10的位置的精确定位，使得车辆10的精确位置和定向可在道路车道12中确定。在用于低端方法的模型拟合过程中，该算法基于对于车辆10的两侧的检测到的车道图像点72和74使用权重来拟合线性模型。特别地，模型拟合算法针对具体的系统或状况为图像点72和74中的每一个识别适当的权重，并且将那些权重拟合到期望的车道模型中以限定线50和52的位置。每个权重基于各个参数被仔细地分配，所述各个参数诸如照相机视点、车辆动力学误差、照相机校准误差、在图像32中的照相机可见度和可靠性。对于车道偏离报警(LDW)应用而言，来自侧视照相机的图像点典型地将具有较高的权重。另外，来自先前帧的具有精确的运动补偿的图像点比具有嘈杂运动补偿的那些图像点具有更大的权重，具有较小照相机校准误差的图像点具有较大的权重，并且在图像中的具有较佳可见度和可靠性的图像点(在图像中的较近的点)被给予较大的权重。对于直线车道模型，估计偏移和角度参数，其中最靠近车辆的前车轮的点对于偏移的估计而言具有较大的权重，在远离车辆10的先前的帧中鲁棒地检测到的点对于角度的估计而言具有较大的权重。
图像点加权过程可为试图对图像点72和74定位以拟合模型的任何适当的加权过程。例如，模型可基于函数ƒ(x, y)=0，其中每个图像点72和74被放置到函数中，并且其中xs1和ys1代表对于那个像点而言的位置x和y值。对于函数f，通过将权重w分配给每个特定的图像点72和74，提供函数f的最优化，使得它实现期望的结果。将用于每个图像点72和74的所有函数连同它们的适当的权重加起来以通过例如下列目标函数提供最佳模型参数。
最佳模型参数
在当车辆10向前移动时的俯视图像32中，每个侧车道标志由三个照相机即前视照相机20、特定的侧视照相机24或26和后视照相机22观察。取决于特定的车道感测应用诸如车道定中或车道保持，基于参数对每个图像点72和74不同地加权。例如，用于车道定中目的的车道感测对于车辆10前方的车道更感兴趣，并且因此，由前视照相机20提供的图像点被给予更多权重。对于在LDW或LK应用中的车道感测，图像点加权在车辆前轮位置处确定，并且因此，侧视照相机图像点被给予更多权重。权重可以对应于可指示特定点可识别车道边界线的置信度的多个可靠性因数。此种可靠性因数可包括周围可见度、图像分辨率、光照状况等。
一旦权重已经被分配给每个图像点72和74，模型车道线就根据点72和74的加权的位置拟合到那些点来设置车道线。还可以任何适当的方式对车道线50和52进行建模，诸如加权平均值、滚动最佳拟合、卡尔曼滤波等。图6是图4中所示的车辆坐标中的加权的图像点72和74的图示，并且包括以上文所讨论的方式分别模型拟合到加权的图像点72和74的车道标志线120和122。
对于其中使用来自照相机20-26中的每一个的单独的图像来提供车道感测的高端方法，每个独立的图像经历与对于俯视图像32所做出的类似的处理以提供车道标志检测。因为在俯视图像32中的实际的独立图像被切去（cut off）以提供俯视图像32，所以独立地使用单独的图像可扩展车道感测的范围。此外，对来自照相机20-26中的每一个的单独的图像的处理可利用在这些图像之间的重叠区域。
图7是示出用于对于独立地使用来自照相机20-26的图像中的每一个的高端方法而言检测道路车道线14和16的过程的流程图130，其中与流程图80相似的元件由相同的附图标记标识。虽然在该实施例中使用了四个照相机，但是应注意的是，这是非限制性示例，因为可采用适合于本文所讨论的目的的任意数量照相机。在流程图130中，图像分析被划分成四个独立的路径，每个照相机20-26一个，其中第一路径132分析由前视照相机20提供的前图像34，其在框134处提供，第二路径136分析由左侧视照相机26提供的侧图像40，其在框138处提供，第三路径140分析由右侧视照相机24提供的侧图像38，其在框142处提供，并且第四路径144分析由后视照相机22提供的后图像36，其在框146处提供。
每个路径132、136、140和144以上文所讨论的相同的或类似方式分析特定的照相机图像，其中光标准化在框64处提供，并且车道检测在框66处提供。左和右车道边界识别在框68处为在路径132和144中的前和后图像而非为在路径136和140中的侧图像提供，但是它们可以。为特定的照相机使用适当的图像点集，该照相机然后在框80处在路径132、134、136和138中的每一个中被独立地校准。在路径132、136、140和144中的每一个中的所有图像点在框58处被转换成在照相机20-26的组合中的车辆坐标。
图8是被转换成车辆坐标的类似于图4中所示的图像点72和74的图像点组的图示148，其中，在车辆10的左侧上的一系列图像点150由前视照相机20提供，在车辆10的右侧上的一系列图像点152由前视照相机20提供，在车辆10的左侧上的一系列图像点154由左侧视照相机26提供，在车辆10的右侧上的一系列图像点156由右侧视照相机24提供，在车辆10的左侧上的一系列图像点158由后视照相机22提供，并且在车辆10的右侧上的一系列图像点160由右侧视照相机24提供。在框162处，图示148可通过提供来自车辆10内部的前照相机(诸如，在车辆挡风玻璃后面的照相机18)的照相机图像而增强。
然后，该算法在框82处通过车辆运动补偿积累来自先前图像帧的更多图像点，在框84处提供照相机诊断，在框86处提供照相机重新校准并且在框88处提供模型拟合。
图9是示出在流程图130中所示的过程中所使用的照相机诊断过程的流程图170，以提供对于共线、相同角度和相同偏移来说的在连续图像帧中的线段的时间约束以及空间约束以确定车道标志线在图像中是笔直的。在流程图170中，对于俯视图像32而言在照相机诊断流程图130中所执行的相关的过程是相同的。在框172处, 如果在决策菱形96处已经检测到长实线，则该算法在四个独立的图像中的每一个上而不是在俯视图像32上独立地执行在框98处所执行的车道标志检测。一旦已经在独立图像中的每一个上检测到车道标志，则算法在框174处执行将检测到的线转换成俯视图坐标系的附加步骤。如果在决策菱形110处检测到短线，则该算法以与在框172处所执行的类似的方式在四个图像中的每一个上独立地执行车道标志检测。同样地，该算法在框178处执行将检测到的线转换成俯视图坐标系统的附加步骤。
如果该算法确定照相机20-26被适当地校准并且模型拟合到图像点150、152、154、156、158和160应执行，则该算法针对在车辆10的各侧上的图像点以权重拟合多项式模型而非在低端方法中所使用的线性模型。为每个图像点分配权重的过程与上文所讨论的相同，其中它将取决于可用的因素和参数以及使用车道感测技术的系统。图10是来自如图8中所示的单独的图像的图像点的图示，其中线180和182已经使用多项式模型分别拟合到左侧图像点和右侧图像点。
如本领域的技术人员将很好地理解的，此处所讨论的用以描述本发明的几个和各种步骤和过程可称为由计算机、处理器或使用电现象操控和/或变换数据的其它电子计算装置执行的操作。那些计算机和电子装置可以利用各种易失性和/或非易失性存储器，所述易失性和/或非易失性存储器包括带有存储在其上的可执行程序的非暂态计算机可读介质，所述可执行程序包括能够由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可包括所有形式和类型的存储器以及其它计算机可读介质。
上面的讨论仅公开并描述了本发明的示例性实施例。根据这样的讨论以及根据附图和权利要求书，本领域的技术人员将容易地意识到，在不脱离如所附权利要求书中所限定的本发明的精神和范围的情况下，可在其中作出各种改变、修改和变型。
Claims (19)
1.一种用于感测道路中的行驶车道的方法，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧边界线和在车道右侧的右侧边界线，所述方法包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
针对连续图像帧中的每个来构造车辆的俯视图像，所述俯视图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的全部图像数据组合，其中，车辆显示在俯视图像的中心；
检测俯视图像中的左侧边界线和右侧边界线的表征；
使用俯视图像中的左侧边界线和右侧边界线的表征来校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；
执行照相机诊断过程以提供时间约束分析和空间约束分析，其中，所述时间约束分析确定连续俯视图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定俯视图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；以及
如果满足时间约束阈值和空间约束阈值，那么使用模型拟合过程来识别俯视图像中的边界线。
2.根据权利要求1所述的方法，其中，左侧和右侧边界线的表征是一系列图像点。
3.根据权利要求2所述的方法，其中，使用模型拟合过程包括基于给予每个独立图像点的权重来使用线性模型。
4.根据权利要求3所述的方法，其中，所述权重基于多个因素分配，包括：照相机视点、车辆动力学误差、校准误差、图像的可视性和可靠性以及车道感测应用。
5.根据权利要求2所述的方法，其中，检测边界线的表征包括将图像点转换为车辆坐标。
6.根据权利要求1所述的方法，还包括：在俯视图像用于检测左侧和右侧边界线的表征之前，给俯视图像提供光照标准化过程。
7.根据权利要求1所述的方法，其中，执行照相机诊断过程包括确定左侧和右侧边界线的表征是长实线还是短虚线。
8.根据权利要求7所述的方法，其中，执行照相机诊断包括：在车辆以向前方向行驶时使用前视照相机且在车辆以向后方向行驶时使用后视照相机，以确定边界线的表征是长实线还是短虚线。
9.根据权利要求1所述的方法，还包括：在执行照相机诊断过程之前，使用车辆运动补偿来增强俯视图像中的左侧边界线和右侧边界线的表征。
10.一种用于感测道路中的行驶车道的方法，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧边界线和在车道右侧的右侧边界线，所述方法包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
提供组合图像，所述组合图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的每个图像组合，所述组合图像包括左侧边界线和右侧边界线的表征；
使用来自于照相机的图像中的左侧边界线或右侧边界线的表征来提供照相机校准，以独立地校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向；
执行照相机诊断过程以提供组合图像的时间约束分析和空间约束分析，其中，所述时间约束分析确定连续组合图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定组合图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的一个或多个的定向；以及
如果满足时间约束阈值和空间约束阈值，那么将组合图像中的左侧边界线和右侧边界线的表征模型拟合为左侧和右侧边界线。
11.根据权利要求10所述的方法，其中，左侧和右侧边界线的表征是一系列图像点。
12.根据权利要求10所述的方法，其中，模型拟合包括基于给予每个独立图像点的权重来使用多项式模型。
13.根据权利要求12所述的方法，其中，所述权重基于多个因素分配，包括：照相机视点、车辆动力学误差、校准误差、图像的可视性和可靠性以及车道感测应用。
14.根据权利要求10所述的方法，其中，执行照相机诊断过程包括将线的表征转换为俯视坐标。
15.根据权利要求10所述的方法，还包括：给组合图像提供光照标准化过程。
16.根据权利要求10所述的方法，其中，执行照相机诊断过程包括确定左侧和右侧边界线的表征是长实线还是短虚线。
17.根据权利要求16所述的方法，其中，执行照相机诊断包括：在车辆以向前方向行驶时使用前视照相机且在车辆以向后方向行驶时使用后视照相机，以确定边界线的表征是长实线还是短虚线。
18.根据权利要求10所述的方法，还包括：在执行照相机诊断过程之前，使用车辆运动补偿来增强组合图像中的左侧边界线和右侧边界线的表征。
19.一种用于感测道路中的行驶车道的系统，车辆沿所述行驶车道行驶，所述车辆包括安装在车辆前部的前视照相机、安装在车辆左侧的左侧视照相机、安装在车辆右侧的右侧视照相机、和安装在车辆后部的后视照相机，所述道路包括在车道左侧的左侧边界线和在车道右侧的右侧边界线，所述系统包括：
提供来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的图像数据的装置，作为车辆前部、车辆左侧、车辆右侧和车辆后部的连续图像帧；
针对连续图像帧中的每个来构造车辆的俯视图像的装置，所述俯视图像将来自于前视照相机、左侧视照相机、右侧视照相机和后视照相机的全部图像数据组合，其中，车辆显示在俯视图像的中心；
检测俯视图像中的左侧边界线和右侧边界线的表征的装置；
使用俯视图像中的左侧边界线和右侧边界线的表征来校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向的装置；
执行照相机诊断过程以提供时间约束分析和空间约束分析的装置，其中，所述时间约束分析确定连续俯视图像帧在时间约束阈值内是否共线，且处于相同角度并且处于相同偏移，其中，所述空间约束分析确定俯视图像中从一个照相机产生的一个图像到另一个照相机产生的另一个图像的延伸经过边界的车道线表征在空间约束阈值内是直的，且具有相同角度；
如果不满足时间约束阈值和空间约束阈值，那么重新校准前视照相机、左侧视照相机、右侧视照相机和后视照相机中的每个的定向的装置；以及
如果满足时间约束阈值和空间约束阈值，那么使用模型拟合过程来识别俯视图像中的边界线的装置。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261641479P | 2012-05-02 | 2012-05-02 | |
| US61/641,479 | 2012-05-02 | ||
| US61/641479 | 2012-05-02 | ||
| US13/859628 | 2013-04-09 | ||
| US13/859,628 US9516277B2 (en) | 2012-05-02 | 2013-04-09 | Full speed lane sensing with a surrounding view system |
| US13/859,628 | 2013-04-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103383728A CN103383728A (zh) | 2013-11-06 |
| CN103383728B true CN103383728B (zh) | 2017-04-26 |
Family
ID=49384554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310157985.4A Expired - Fee Related CN103383728B (zh) | 2012-05-02 | 2013-05-02 | 使用环视系统的全速车道感测 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103383728B (zh) |
| DE (1) | DE102013103952B4 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9811744B2 (en) * | 2014-07-23 | 2017-11-07 | GM Global Technology Operations LLC | Fast and robust stop line detector |
| JP6565769B2 (ja) * | 2016-04-03 | 2019-08-28 | 株式会社デンソー | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム |
| US9840253B1 (en) * | 2016-06-14 | 2017-12-12 | Delphi Technologies, Inc. | Lane keeping system for autonomous vehicle during camera drop-outs |
| CN107133559B (zh) * | 2017-03-14 | 2019-11-08 | 湖北工业大学 | 基于360度全景的运动物体检测方法 |
| DE102017120773A1 (de) * | 2017-09-08 | 2019-03-14 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer Fahrspurbegrenzung einer Fahrspur für ein Kraftfahrzeug, Spurassistent sowie Kraftfahrzeug |
| CN112763231B (zh) * | 2021-01-19 | 2023-06-02 | 北京罗克维尔斯科技有限公司 | 车道保持辅助系统功能测评方法、装置及终端与存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1600909A2 (en) * | 2004-05-28 | 2005-11-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle lane detector |
| KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
| WO2009146173A2 (en) * | 2008-04-15 | 2009-12-03 | Autoliv Asp, Inc. | Enhanced vision road detection system |
| CN102271966A (zh) * | 2009-01-06 | 2011-12-07 | 株式会社伊美吉内柯斯特 | 周边影像生成方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7697027B2 (en) * | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| DE102004033468A1 (de) | 2004-06-05 | 2005-12-22 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Kalibrierung einer Kamera |
| DE102008026876A1 (de) | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
| US8204277B2 (en) | 2008-07-18 | 2012-06-19 | GM Global Technology Operations LLC | Apparatus and method for camera-bases lane marker detection |
| US8259174B2 (en) | 2009-02-06 | 2012-09-04 | GM Global Technology Operations LLC | Camera auto-calibration by horizon estimation |
| DE102009001742A1 (de) | 2009-03-23 | 2010-09-30 | Robert Bosch Gmbh | Verfahren sowie Vorrichtung zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs zu dem Fahrzeug |
| DE102011102744A1 (de) | 2011-05-28 | 2012-11-29 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung |
| US20130141520A1 (en) | 2011-12-02 | 2013-06-06 | GM Global Technology Operations LLC | Lane tracking system |
-
2013
- 2013-04-18 DE DE102013103952.9A patent/DE102013103952B4/de not_active Expired - Fee Related
- 2013-05-02 CN CN201310157985.4A patent/CN103383728B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
| CN100443333C (zh) * | 2001-10-15 | 2008-12-17 | 松下电器产业株式会社 | 车辆周围监视装置及其调整方法 |
| EP1600909A2 (en) * | 2004-05-28 | 2005-11-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle lane detector |
| WO2009146173A2 (en) * | 2008-04-15 | 2009-12-03 | Autoliv Asp, Inc. | Enhanced vision road detection system |
| CN102271966A (zh) * | 2009-01-06 | 2011-12-07 | 株式会社伊美吉内柯斯特 | 周边影像生成方法及装置 |
| JP2012514558A (ja) * | 2009-01-06 | 2012-06-28 | イメージネクスト シーオー エルティディ | 周辺映像生成方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102013103952B4 (de) | 2020-07-09 |
| CN103383728A (zh) | 2013-11-06 |
| DE102013103952A1 (de) | 2013-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240132154A1 (en) | Road profile along a predicted path | |
| US10753758B2 (en) | Top-down refinement in lane marking navigation | |
| US11915491B2 (en) | Controlling host vehicle based on detected door opening events | |
| US10984261B2 (en) | Systems and methods for curb detection and pedestrian hazard assessment | |
| EP3514032B1 (en) | Adjusting velocity of a vehicle for a curve | |
| US9516277B2 (en) | Full speed lane sensing with a surrounding view system | |
| CN103383728B (zh) | 使用环视系统的全速车道感测 | |
| JP5441549B2 (ja) | 道路形状認識装置 | |
| WO2018132605A1 (en) | Determining a road surface characteristic | |
| US9912933B2 (en) | Road surface detection device and road surface detection system | |
| US20160055385A1 (en) | Systems and methods for detecting traffic signs | |
| US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
| EP3364336B1 (en) | A method and apparatus for estimating a range of a moving object | |
| CN103381825B (zh) | 使用多个照相机的全速车道感测 | |
| JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
| CN114913507A (zh) | 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170426 |