CN107499309B - 用于自主车辆在相机漏失期间的车道保持系统 - Google Patents

用于自主车辆在相机漏失期间的车道保持系统 Download PDF

Info

Publication number
CN107499309B
CN107499309B CN201710442441.0A CN201710442441A CN107499309B CN 107499309 B CN107499309 B CN 107499309B CN 201710442441 A CN201710442441 A CN 201710442441A CN 107499309 B CN107499309 B CN 107499309B
Authority
CN
China
Prior art keywords
sensor
lane
vehicle
marking
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710442441.0A
Other languages
English (en)
Other versions
CN107499309A (zh
Inventor
P·K·普拉萨德
J·S·格林
P·R·马丁代尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN107499309A publication Critical patent/CN107499309A/zh
Application granted granted Critical
Publication of CN107499309B publication Critical patent/CN107499309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/22—Suspension systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

本发明涉及车辆(10)车道(12)位置的环境感测系统(16)，包括第一和第二传感器(18、20)，其分别被配置成提供指示车辆(10)车道(12)位置的第一和第二信号(26)。转向系统(38)响应于来自控制器(36)的命令实现期望的车道(12)位置以将车辆(10)保持在其车道(12)中，例如，在车辆(10)的自主控制期间。如果第一传感器(18)提供期望的车道(12)标记置信度，则控制器(36)使用第一信号。如果第一传感器(18)不能提供期望的车道(12)标记置信度并且第二传感器(25)可提供期望的车道(12)标记置信度，则控制器(36)切换至第二传感器(25)并且使用第二信号。

Description

用于自主车辆在相机漏失期间的车道保持系统
背景技术
本公开涉及一种环境感测系统，其涉及可靠地识别用于在例如完全自主车辆或驾驶员辅助的车辆中的车道保持的车辆车道位置。
在现代车辆中越来越多地使用车辆车道位置以用于如车道保持辅助(LKA)、车道居中(LC)和包含LKA和LC的方面的交通堵塞辅助(TJA)的此类特征。在操作期间，检测车辆的车道位置，并且使用很少的或不使用来自驾驶员的转向输入来将车辆保持在车道内。自主驾驶车辆也需要此类特征。
在一种典型的方法中，通过使用具有一个或多个相机和距离测距传感器(例如，LIDAR或雷达)的环境感测系统来调节车辆的车道位置。通过传感器检测车道标记边缘，但是某种基于视觉的传感器通常以检测线(line)和车道的安装在前方的相机的形式，被用作用于车辆控制的主要传感器。
来自传感器的数据必须是可靠的，以便在没有驾驶员输入的情况下保持对车辆的控制，或者对车辆的完全控制必须被归还给驾驶员。对自主控制的重复中断是不期望的，但必须与高度可靠的车辆控制的需求相平衡。
目前系统“关闭”或回到驾驶员的手动控制的一个原因是车道标记采用褪色的油漆而不良地标记，从而不能与道路区分开。另一个原因是前置传感器上太阳眩光(gare)可能足以导致传感器“漏失(drop-out)”，其中传感器不再能够提供用于车辆控制的可靠数据。解决太阳眩光的一种方法是将来自多个相机的重叠或不重叠的图像组合，以提供最佳可用的车道标记识别。这种方法带来的问题是，可能不再无限期依赖于主传感器，从而不是最佳实践且不是很可靠。
发明内容
在一个示例性实施例中，一种感测车辆环境的方法。该方法包括基于来自第一传感器的第一信号来控制车辆车道位置，并且如果第一传感器不能提供期望的车道标记置信度，则从第一传感器切换至第二传感器的步骤。如果第二传感器可提供期望的车道标记置信度并且未超过预定时间，则基于来自第二传感器的第二信号来控制车辆的车道位置。
在上述的进一步实施例中，第一传感器是相机传感器、雷达传感器、红外传感器和LIDAR传感器中的至少一个。
在上述任一个中的进一步实施例中，第一传感器是集成的相机传感器和雷达传感器。
在上述任一个中的进一步实施例中，第一传感器是面向前的。
在上述任一个中的进一步实施例中，第二传感器是侧视相机和后视相机中的一个。
在上述任一个中的进一步实施例中，由于第一传感器上的眩光，第一传感器不能提供期望的车道标记置信度。
在上述任一个中的进一步实施例中，切换步骤包括使用来自第二信号的数据应用控制算法以确定期望的车道标记置信度。
在上述任一个中的进一步实施例中，切换步骤包括将滤波器应用于数据以识别车道标记边缘并且将车道标记边缘转换至坐标系。
在上述任一个中的进一步实施例中，切换步骤包括确定坐标系中的车道标记边缘是否与之前从第一传感器提供的数据相似。
在上述任一个中的进一步实施例中，如果在预定时间内基于第二信号控制车辆车道位置的步骤没有被执行，则车辆的转向控制被归还给驾驶员。
在上述任一个中的进一步实施例中，不基于第一信号来控制车辆车道位置，而是基于第二信号来控制车辆车道位置。
在另一示例性实施例中，涉及车辆车道位置的环境感测系统包括第一传感器，第一传感器被配置成提供指示车辆车道位置的第一信号。第二传感器被配置成提供指示车辆车道位置的第二信号。转向系统被配置成响应于命令实现期望的车道位置。控制器与转向系统和第一传感器和第二传感器通信，并且被配置成基于第一信号和第二信号中的一个来提供命令。如果第一传感器提供期望的车道标记置信度，则控制器被配置成使用第一信号。如果第一传感器不能提供期望的车道标记置信度并且第二传感器可提供期望的车道标记置信度而且未超过预定时间，则控制器被配置成切换至第二传感器并且使用第二信号。
在上述任一个中的进一步实施例中，第一传感器是相机传感器、雷达传感器、红外传感器和LIDAR传感器中的至少一个。
在上述任一个中的进一步实施例中，第一传感器是集成的相机传感器和雷达传感器。
在上述任一个中的进一步实施例中，第一传感器是面向前的。
在上述任一个中的进一步实施例中，第二传感器是侧视相机和后视相机中的一个。
在上述任一个中的进一步实施例中，由于第一传感器的暂时故障，第一传感器不能提供期望的车道标记置信度。
在上述任一个中的进一步实施例中，切换步骤包括使用来自第二信号的数据应用控制算法以确定期望的车道标记置信度。切换步骤包括将滤波器应用于数据以识别车道标记边缘并且将车道标记边缘转换至车辆坐标系。切换步骤包括确定车辆坐标系中的车道标记边缘是否与之前从第一传感器提供的数据相似。
在上述任一个中的进一步实施例中，如果没有在预定时间内执行基于第二信号控制车辆车道位置的步骤，则车辆的转向控制被归还给驾驶员。
在上述任一个中的进一步实施例中，不基于第一信号来控制车辆车道位置，而是基于第二信号来控制车辆车道位置。
附图说明
通过在考虑结合所附附图时参考以下详细描述进一步理解本公开，其中：
图1a是具有在车道保持或自主车辆控制中所使用的类型的环境感测系统的车辆的示意正视图或“鸟瞰图”。
图1b是图1a中所示的车辆的示意侧视图。
图2是环境感测系统的示意图。
图3是示出了使用图2所示的环境感测系统感测车辆环境的方法的流程图。
包括其各个方面或各自的特征中的任一个的上述段落的实施例、示例和替代方案、权利要求或以下描述和附图，可独立地或以任何组合来获得。除非此类特征不兼容，否则结合一个实施例描述的特征适用于所有实施例。
具体实施方式
图1a和1b中示出了在道路上行驶的车辆10的示意图。车辆10包括环境感测系统16，该环境感测系统16用于检测限定道路的车道12的车道标记14。所公开的环境感测涉及车道感测、盲点感测和其他车辆主动安全感测。在操作期间，检测车辆的车道位置，并且当获得足够可靠的数据时，使用很少的或不使用来自驾驶员的用于如车道保持辅助(LKA)、车道居中(LC)、交通堵塞辅助(TJA)和/或车辆的完全自主控制的此类特征的转向输入来将车辆保持在车道内。
在一个实施例中，环境感测系统16包括分别提供第一、第二、第三和第四“鸟瞰图”或信号26、28、30、32的第一、第二、第三和第四传感器18、20、22、24。传感器用于通过检测来自路面上的油漆或虫点(Botts’dots)的反射来识别车道标记14。
在一个示例中，第一传感器18是在2013年12月10日授权的题为“INTEGRATEDRADAR-CAMERA SENSOR(集成雷达—相机传感器)”的美国专利No.8,604,968以及2015年8月18日授权的题为“RADAR DEVICE FOR BEHIND WINDSHIELD INSTALLATIONS(用于后挡风玻璃安装的雷达设备)”的美国专利No.9,112,278中公开的面向前的集成的相机和雷达传感器(RACam)。在第一传感器18中的雷达传感器也提供雷达信号34。在一个示例中，第一传感器18可设置在后视镜的前侧并且被引导穿过挡风玻璃。第二传感器和第三传感器20、22分别是左侧和右侧照相机，其可布置在侧视镜或其它地方中。例如，第四传感器24可由车辆的备用相机提供。可以使用更多或更少的传感器，并且传感器可不同于所示地布置。例如，另一个传感器25可设置在车辆的发动机盖或前保险杠上，以提供另一个前视野信号27的另一前场(front field)，从而可用于检测被发动机盖挡住的道路。传感器18、20、22、24、25彼此独立地起作用并且提供用于LKA、LC、TJA和/或自动驾驶的最新可用数据。此外，可以使用各种类型的传感器，例如雷达传感器、红外传感器和/或LIDAR传感器。取决于传感器的类型，信号可能与所示的不同。
在图2中示意性地示出了示例环境传感器系统16。控制器36与第一、第二、第三和第四传感器18、20、22、24通信。转向系统38、悬架系统40和/或制动器系统42也与控制器36通信，并且用于在操作期间对车辆10的部分或完全自主控制。LKA模块44、LC模块46、TJA模块48和/或其他模块49用于命令转向系统38、悬架系统40和/或制动器系统42，并且基于来自控制器36的检测到的车辆车道位置实现期望的车辆车道位置。这些模块44、46、48、49中的一个或多个被并入完全自主车辆控制中，并且还提供车道离开警告(LDW)功能。
控制器36包括接收来自第一传感器18的信号的图像处理器50，第一传感器18是用于车辆车道位置检测的主传感器。为了可靠地确定车辆车道位置，环境感测系统16使用第一传感器18检测以下参数：1)，左车道标记和右车道标记相对于车辆坐标系统(VCS)距主车辆的中心的距离，2)系统确定的是左车道标记和右车道标记的中心的距离(这将是忽略驾驶员偏好的车辆的理想路径)，3)两个车道标记相对于主车辆的变化率，4)车道标记的曲率，以及5)车道标记的曲率变化率。该数据可以用以下多项式表示，其提供第一算法52：
y＝A0+A1x+A2x2+A3x3 等式1
当相机面向太阳或以其他方式不能“看到”车道标记时，会发生使用相机进行车道位置检测的一个缺点。例如，当相机直接面向太阳时，例如，因为图像传感器由于导致相机“漏失”的明亮阳光而过度饱和，车道标记的检测被破坏(不能检测、检测间歇性和/或低置信度检测)。在由于不良的车道标记引起的低置信度情况下，在等式1中的系数(A0，A1，A2，A3)仍然存在，但是当面向太阳时，这些系数将不会报告任何值。在这些时刻，一些现有技术的系统在很大程度上依赖于测距传感器来实现对安全点的控制和操纵，从而不是最佳实践并且不是很可靠。
由于太阳眩光引起的大多数漏失仅有几个瞬间。在面对太阳时没有车道数据或处于低置信度的情况下，大多数驾驶员辅助或自主车辆控制功能解除，从而导致车辆将控制归还给驾驶员。这可能发生仅一瞬间，这仍然导致将控制移交给驾驶员，或者可以持续几秒钟，其中驾驶员必须接管几秒钟的控制直到系统重新获得控制。
所公开的环境感测系统16和方法60(图3)使用与第二传感器(例如，第二、第三或第四传感器20、22、24中的一个)和定时器58相关联的第二算法56。该第二传感器将通常不面向与主传感器相同的方向，所以不应当受到太阳眩光显着影响，或者该第二传感器是不受太阳影响并且独立于太阳起作用的传感器。
参考图3，从第一或主传感器和第二传感器并行地收集数据。第一传感器用于检测车辆车道位置(框62)。如果所需的车道标记置信度可用(框64)，则可控制车辆以提供部分或完全自主的车辆控制(框66)。如果所需的车道标记置信度不可用(框64)，则系统切换成依赖于第二传感器数据以检测车道位置(框68)。以这种方式，由于第二传感器不直接面向地平线和太阳，而是直接面向紧邻车辆(左，右或后)的道路上的区域，因此第二传感器降低了由于眩光引起的漏失。当然，对于由于其他原因引起的第一传感器故障或不准确，也可使用第二传感器。来自第二传感器的数据应该充分包含靠近车辆的车道标记，并且取决于传感器，甚至在一定程度上包含在车辆前方的车道标记。
第二算法56用于第二传感器，其可与用于第一传感器的第一算法52相同。定时器58对第一传感器不可用或漏失的时段进行计时(框70)。指示边缘的2D图像的像素被投射到“真实世界”全局坐标系，并且计算置信度(框72)。如果需要，使用一个或多个滤波器，诸如，坎尼(Canny)滤波器或索贝尔(Sobel)滤波器，从由第二传感器提供的数据检测车道标记的边缘。
除了评估所需的车道标记置信度是否可用之外，还评估数据以确定是否存在与之前由第一传感器提供的数据的充分相似性(框74)。如果由第二传感器检测到的通道标记通常处于基于在第一传感器变得不可用之前由第一传感器提供的数据所预期的位置处，则应当存在充分相似性。如果不存在充分的置信度和相似性，则将控制归还给驾驶员(框76)。如果已经超过了预定时间，即使存在充分的置信度和相似性，控制仍被归还给驾驶员(框78)。如果存在充分的置信度和相似性并且未超过预定时间，则设置第二传感器记号(框79)，该记号指示，第二传感器数据是可靠的，并且如果第一传感器漏失，则可被使用。
预定时间被存储在存储器54中，并且可基于该情况的最佳实践和数据可靠性的程度对应于一秒或几秒的几分之一。例如，基于已知的各种车辆速度的传感器范围经验地获得该数据，以提供充分准确性的预定时间。从算法来推导数据可靠性的程度，如果漏失的原因是不良的车道标记可见性或传感器伪影(不良的传感器性能、传感器限制的结果、和/或不能过滤掉环境影响)，则从准确性水平来确定。因此，在第一传感器漏失的情况下，如果存在充分的置信度和相似性，并且未超过预定时间(例如，设置第二传感器记号；框81)，则使用来自第二传感器的数据来控制车辆(框80)。
由于第二传感器范围基本上小于第一传感器18(例如，RACam)并且仅具有瞬时当前车道/线标记，因此有关车辆前方中的车道标记的数据可能不可用，并因此控制策略可显著改变。例如，代替使用与第一传感器18一起使用的前馈PI控制器，可执行简单的比例控制，以将车辆保持在由第二传感器报告的两条线上的中心内。
使用该车道和曲率数据，这些值可被代入第二算法56中的3次多项式，以提供部分或完全自主的车辆控制。在没有第一传感器数据的情况下，针对数据不可用的短暂瞬间，来自第二传感器的值应当提供足以执行部分或完全自主车辆控制的置信度值以及相似性值。然而，第一传感器18是用于车辆控制的主数据源，并且仅在漏失的情况下采用第二传感器。因此，存在可以采用第二传感器进行控制的时间间隔，此后环境感测系统16警告驾驶员进行控制以避免滥用。
控制器36可包括处理器和非瞬态存储器54，在该非瞬态存储器54中存储用于控制操作的计算机可读代码。在硬件架构方面，这样的控制器可包括处理器、存储器以及经由本地接口通信地耦合的一个或多个输入和/或输出(I/O)设备接口。本地接口可以包括，例如但不限于，一个或多个总线和/或其它有线或无线连接。本地接口可以具有附加的元件(为了简单起见被省略)，诸如，控制器、缓冲器(高速缓存)、驱动器、中继器和接收器，以实现通信。此外，本地接口可包括地址、控制和/或数据连接以实现上述组件之间的适当通信。
控制器36可以是用于执行软件，特别是存储在存储器54中的软件的硬件设备。处理器可以是定制的或可商购的处理器、中央处理单元(CPU)、在与控制器36相关联的若干处理器之间的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)或通常用于执行软件指令的任何设备。
存储器54可包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM、VRAM等))和/或非易失性存储器元件(例如，ROM等)中的任一种或组合。而且，存储器54可并入电子、磁性、光学和/或其他类型的存储介质。存储器54还可以具有分布式架构，其中各种组件彼此远离地定位，但是可由控制器访问。
存储器中的软件可包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。体现为软件的系统组件还可以被解释为源程序、可执行程序(目标代码)、脚本、或包括要执行的一组指令的任何其他实体。当被构造为源程序时，经由可包括或不包括在存储器内的编译器、汇编器、解释器等来翻译程序。
可以耦合至系统I/O接口的输入/输出设备可包括输入设备，例如，但不限于，扫描仪、话筒、相机、接近度设备等。此外，输入/输出设备也可包括输出设备，例如，但不限于，显示器等。最后，输入/输出设备可进一步包括作为输入和输出两者进行通信的设备，例如，但不限于，调制器/解调器(用于访问另一设备、系统或网络)、射频(RF)或其他收发器、桥、路由器等.
当控制器36在操作时，处理器可被配置成执行存储在存储器54内的软件，以传送去往和来自存储器54的数据，并且依据软件大体上控制计算设备的操作。存储器54中的软件由处理器全部或部分地读取，可能被缓冲在处理器内，然后被执行。
还应当理解，虽然在所示实施例中公开了特定的部件布置，但是其他布置将从中受益。尽管示出、描述和要求保护特定的步骤顺序，但是应当理解，除非另有说明，步骤可以以任何顺序单独地或组合地被执行，并且仍将受益于本发明
虽然不同的示例具有图示中所示的特定部件，但是本发明的实施例不限于那些特定的组合。可能将来自示例中的一个的部件或特征中一些与来自示例中的另一个的特征或部件相结合使用。
虽然已经公开了示例实施例，但是本领域普通技术人员将认识到某些修改将落入权利要求的范围内。因此，应研究以下权利要求以确定其真实范围和内容。

Claims (16)

1.一种感测车辆(10)环境的方法，所述方法包括步骤：
基于来自第一传感器(18)的第一信号来控制车辆(10)车道(12)位置；
评估来自所述第一传感器(18)的期望的车道(12)标记置信度是否可用；
如果所述第一传感器(18)不能提供所述期望的车道(12)标记置信度，则从所述第一传感器(18)切换至第二传感器(25)；
其中，切换步骤包括：
使用来自源于所述第二传感器(25)的第二信号的数据应用控制算法以确定来自所述第二传感器(25)所述期望的车道(12)标记置信度；
评估来自所述第二传感器(18)的所述期望的车道(12)标记置信度是否可用；
将滤波器应用于所述数据以识别车道(12)标记边缘，并且将所述车道(12)标记边缘转换至坐标系；
确定所述坐标系中的所述车道(12)标记边缘是否与之前从所述第一传感器(18)提供的数据相似；以及
如果所述第二传感器(25)能够提供所述期望的车道(12)标记置信度，如果所述坐标系中的所述车道(12)标记边缘与之前从所述第一传感器(18)提供的数据相似，并且如果未超过预定时间，则基于来自所述第二传感器(25)的第二信号来控制车辆(10)车道(12)位置。
2.根据权利要求1所述的方法(60)，其特征在于，所述第一传感器(18)是相机传感器(25)、雷达传感器(25)、红外传感器(25)和LIDAR传感器(25)中的至少一个。
3.根据权利要求2所述的方法(60)，其特征在于，所述第一传感器(18)是集成的相机传感器(25)和雷达传感器(25)。
4.根据权利要求1所述的方法(60)，其特征在于，所述第一传感器(18)面向前。
5.根据权利要求4所述的方法(60)，其特征在于，所述第二传感器(25)是侧视相机和后视相机中的一个。
6.根据权利要求1所述的方法(60)，其特征在于，由于所述第一传感器(18)上的眩光，所述第一传感器(18)不能提供期望的车道(12)标记置信度。
7.根据权利要求1所述的方法(60)，其特征在于，包括以下步骤：如果在预定时间内基于第二信号控制车辆(10)车道(12)位置的步骤没有被执行，则将车辆(10)的转向控制归还给驾驶员。
8.根据权利要求1所述的方法(60)，其特征在于，不基于第一信号来控制车辆(10)车道(12)位置，而是基于第二信号来控制车辆(10)车道(12)位置。
9.一种涉及车辆(10)车道(12)位置的环境感测系统(16)，包括：
第一传感器(18)，被配置成提供指示车辆(10)车道(12)位置的第一信号；
第二传感器(25)，被配置成提供指示车辆(10)车道(12)位置的第二信号；
转向系统(38)，被配置成响应于命令实现期望的车道(12)位置；以及
控制器(36)，与转向系统(38)以及第一传感器和第二传感器(20)通信，并且被配置成基于第一信号和第二信号(26)中的一个来提供命令，所述控制器(36)被配置成如果第一传感器(18)提供期望的车道(12)标记置信度，则使用第一信号，
所述控制器(36)被配置成如果第一传感器(18)不能提供所述期望的车道(12)标记置信度，则切换至所述第二传感器(25)；
其中，切换步骤包括：
使用来自源于所述第二传感器(25)的第二信号的数据应用控制算法以确定来自所述第二传感器(25)所述期望的车道(12)标记置信度；
评估来自所述第二传感器(18)的所述期望的车道(12)标记置信度是否可用；
将滤波器应用于所述数据以识别车道(12)标记边缘，并且将所述车道(12)标记边缘转换至坐标系；
确定所述坐标系中的所述车道(12)标记边缘是否与之前从所述第一传感器(18)提供的数据相似；以及
如果所述第二传感器(25)能够提供所述期望的车道(12)标记置信度，如果所述坐标系中的所述车道(12)标记边缘与之前从所述第一传感器(18)提供的数据相似，并且如果未超过预定时间，则使用所述第二信号。
10.根据权利要求9所述的系统，其特征在于，所述第一传感器(18)是相机传感器(25)、雷达传感器(25)、红外传感器(25)和LIDAR传感器(25)中的至少一个。
11.根据权利要求10所述的系统，其特征在于，所述第一传感器(18)是集成的相机传感器(25)和雷达传感器(25)。
12.根据权利要求9所述的系统，其特征在于，所述第一传感器(18)面向前。
13.根据权利要求12所述的系统，其特征在于，所述第二传感器(25)是侧视相机和后视相机中的一个。
14.根据权利要求9所述的系统，其特征在于，由于所述第一传感器(18)的暂时故障，所述第一传感器(18)不能提供期望的车道(12)标记置信度。
15.根据权利要求9所述的系统，其特征在于，包括以下步骤：如果在预定时间内基于第二信号控制车辆(10)车道(12)位置的步骤没有被执行，则将车辆(10)的转向控制归还给驾驶员。
16.根据权利要求9所述的系统，其特征在于，不基于第一信号来控制车辆(10)车道(12)位置，而是基于第二信号来控制车辆(10)车道(12)位置。
CN201710442441.0A 2016-06-14 2017-06-13 用于自主车辆在相机漏失期间的车道保持系统 Active CN107499309B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/181,915 US9840253B1 (en) 2016-06-14 2016-06-14 Lane keeping system for autonomous vehicle during camera drop-outs
US15/181,915 2016-06-14

Publications (2)

Publication Number Publication Date
CN107499309A CN107499309A (zh) 2017-12-22
CN107499309B true CN107499309B (zh) 2020-04-03

Family

ID=59070478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710442441.0A Active CN107499309B (zh) 2016-06-14 2017-06-13 用于自主车辆在相机漏失期间的车道保持系统

Country Status (3)

Country Link
US (1) US9840253B1 (zh)
EP (1) EP3257729B1 (zh)
CN (1) CN107499309B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11237556B2 (en) 2012-06-22 2022-02-01 Knowm, Inc. Autonomous vehicle
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US10380886B2 (en) * 2017-05-17 2019-08-13 Cavh Llc Connected automated vehicle highway systems and methods
US10501085B2 (en) * 2017-12-07 2019-12-10 Waymo Llc Early object detection for unprotected turns
TWM563380U (zh) 2018-01-03 2018-07-11 大陸商上海蔚蘭動力科技有限公司 自動駕駛與主動駕駛的駕駛危險分類及預防系統
KR102463722B1 (ko) * 2018-02-20 2022-11-07 현대자동차주식회사 차량의 속도 설정 장치 및 방법
JP7048353B2 (ja) * 2018-02-28 2022-04-05 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
US10773717B2 (en) * 2018-04-12 2020-09-15 Trw Automotive U.S. Llc Vehicle assist system
DE102018205532A1 (de) * 2018-04-12 2019-10-17 Robert Bosch Gmbh Verfahren zum Erkennen eines Hindernisses vor einem Fahrzeug
US10242273B1 (en) * 2018-05-30 2019-03-26 Lineage Logistics, LLC Tracking vehicles in a warehouse environment
CN110562251A (zh) * 2018-06-05 2019-12-13 广州小鹏汽车科技有限公司 一种自动驾驶方法及装置
JP7202112B2 (ja) * 2018-09-11 2023-01-11 本田技研工業株式会社 車両用制御システムおよび車両の制御方法
CN108944927B (zh) * 2018-09-28 2020-12-18 合刃科技（武汉）有限公司 车辆的车道保持装置及方法
US11037382B2 (en) * 2018-11-20 2021-06-15 Ford Global Technologies, Llc System and method for evaluating operation of environmental sensing systems of vehicles
US10930155B2 (en) * 2018-12-03 2021-02-23 Continental Automotive Systems, Inc. Infrastructure sensor detection and optimization method
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
GB2583698B (en) * 2019-04-08 2021-10-06 Jaguar Land Rover Ltd Vehicle localisation
US20220410916A1 (en) * 2021-06-25 2022-12-29 Magna Electronics Inc. Vehicular driving assist system using forward viewing camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173222B1 (en) * 1997-10-10 2001-01-09 Hyundai Motor Company Steering control system and method for autonomous intelligent vehicles
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
CN103383728A (zh) * 2012-05-02 2013-11-06 通用汽车环球科技运作有限责任公司 使用环视系统的全速车道感测
CN204110029U (zh) * 2014-07-31 2015-01-21 同济大学 一种基于磁导航的多传感器融合智能车的自动驾驶系统
CN104859662A (zh) * 2014-02-20 2015-08-26 福特全球技术公司 自主车辆中的故障处理

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938158C1 (de) * 1999-08-16 2001-01-11 Daimler Chrysler Ag Verfahren und Vorrichtung sowie ihre Verwendung zur Kompensation von Verlusten eines akustischen Signals
KR100373002B1 (ko) * 2000-04-03 2003-02-25 현대자동차주식회사 차량의 차선 이탈 판단 방법
AU2002257034A1 (en) * 2001-03-13 2002-09-24 Zygo Corporation Cyclic error reduction in average interferometric position measurements
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP3915785B2 (ja) * 2004-02-09 2007-05-16 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4889272B2 (ja) * 2005-09-30 2012-03-07 アルパイン株式会社 ナビゲーション装置及び車両位置推定方法
US7400236B2 (en) * 2005-10-21 2008-07-15 Gm Global Technology Operations, Inc. Vehicular lane monitoring system utilizing front and rear cameras
US8403213B1 (en) * 2006-07-10 2013-03-26 Diebold, Incorporated Time analysis at a banking system controlled by data bearing records
US8604968B2 (en) 2008-10-08 2013-12-10 Delphi Technologies, Inc. Integrated radar-camera sensor
WO2010092621A1 (ja) * 2009-02-13 2010-08-19 パイオニア株式会社 車線逸脱警告装置、車線逸脱警告装置の制御方法およびそのプログラム
US20120022739A1 (en) * 2010-07-20 2012-01-26 Gm Global Technology Operations, Inc. Robust vehicular lateral control with front and rear cameras
KR20120045519A (ko) * 2010-10-29 2012-05-09 주식회사 만도 차선 유지 제어 시스템, 차선 변경 제어 시스템 및 차량 제어 시스템
US9542847B2 (en) * 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
JP5776545B2 (ja) * 2011-12-28 2015-09-09 富士通株式会社 路面調査プログラム及び路面調査装置
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
US9340227B2 (en) * 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
KR101428239B1 (ko) * 2012-12-04 2014-08-07 현대자동차주식회사 노면 표식 인식 장치 및 그 인식 방법
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
US9112278B2 (en) 2013-05-29 2015-08-18 Delphi Technologies, Inc. Radar device for behind windshield installations
CN105683015B (zh) * 2013-09-05 2018-06-08 罗伯特·博世有限公司 基于来自后雷达传感器的数据的增强车道偏离警告
EP2862741B1 (en) * 2013-10-15 2017-06-28 Volvo Car Corporation Vehicle driver assist arrangement
JP5971223B2 (ja) * 2013-10-16 2016-08-17 株式会社デンソー 合成画像生成装置
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP6189815B2 (ja) * 2014-10-29 2017-08-30 株式会社Ｓｏｋｅｎ 走行区画線認識システム
US20160307441A1 (en) * 2015-04-14 2016-10-20 Delphi Technologies, Inc. System for lane selection by an automated vehicle
US20160306357A1 (en) * 2015-04-17 2016-10-20 Delphi Technologies, Inc. Automated vehicle system with position bias for motorcycle lane splitting
US20160341555A1 (en) * 2015-05-20 2016-11-24 Delphi Technologies, Inc. System for auto-updating route-data used by a plurality of automated vehicles
US10527722B2 (en) * 2015-06-09 2020-01-07 Garmin Switzerland Gmbh Radar sensor system providing situational awareness information
US20170057545A1 (en) * 2015-08-26 2017-03-02 Delphi Technologies, Inc. Gps data correction for automated vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173222B1 (en) * 1997-10-10 2001-01-09 Hyundai Motor Company Steering control system and method for autonomous intelligent vehicles
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
CN103383728A (zh) * 2012-05-02 2013-11-06 通用汽车环球科技运作有限责任公司 使用环视系统的全速车道感测
CN104859662A (zh) * 2014-02-20 2015-08-26 福特全球技术公司 自主车辆中的故障处理
CN204110029U (zh) * 2014-07-31 2015-01-21 同济大学 一种基于磁导航的多传感器融合智能车的自动驾驶系统

Also Published As

Publication number Publication date
US9840253B1 (en) 2017-12-12
EP3257729A1 (en) 2017-12-20
EP3257729B1 (en) 2019-08-07
US20170355366A1 (en) 2017-12-14
CN107499309A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107499309B (zh) 用于自主车辆在相机漏失期间的车道保持系统
KR102161432B1 (ko) 보행자 보호시 자율적인 제동 실패 관리
US11008004B2 (en) Vehicular lane keeping system
EP1962254B1 (en) In-vehicle apparatus for recognizing running environment of vehicle
EP3608635A1 (en) Positioning system
US11377103B2 (en) Vehicle control device and recording medium
CN107792068B (zh) 自动化车辆车道变换控制系统
US7400236B2 (en) Vehicular lane monitoring system utilizing front and rear cameras
KR101328363B1 (ko) 차선 일탈 방지 지원 장치, 구분선 표시 방법, 프로그램
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
EP2482250B1 (en) Object detection device
US20200271449A1 (en) Calibration system and calibration apparatus
US10127460B2 (en) Lane boundary line information acquiring device
CN111661047B (zh) 车辆中的车道位置感测和跟踪
US20220363250A1 (en) Vehicular driving assistance system with lateral motion control
CN110816396A (zh) 能够在道路上显示信息的车辆及其控制方法
US11312376B2 (en) Device for lateral guidance assistance for a road vehicle
US20190206251A1 (en) Method for determining a parking surface for parking a motor vehicle, driver assistance system, and motor vehicle
EP3637385A1 (en) Driving-obstacle detecting device and vehicle navigation system
CN108162962A (zh) 视觉感测补偿
CN111028534A (zh) 一种泊车位检测方法及装置
KR101976392B1 (ko) 차선 인식 시스템
KR102673140B1 (ko) 주변 차량을 활용한 곡률 정보 보정 시스템 및 방법
KR101426797B1 (ko) 페일세이프 기능을 구비한 비전 시스템 및 그 비전 시스템의 페일세이프 방법
CN112817303A (zh) 自走三角警示架及其行进控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181203

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: michigan

Applicant before: Delphi Automotive Systems LLC (US)

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant