CN110371018A - 使用其他车辆车灯的信息改善车辆行为 - Google Patents

使用其他车辆车灯的信息改善车辆行为 Download PDF

Info

Publication number
CN110371018A
CN110371018A CN201910230701.7A CN201910230701A CN110371018A CN 110371018 A CN110371018 A CN 110371018A CN 201910230701 A CN201910230701 A CN 201910230701A CN 110371018 A CN110371018 A CN 110371018A
Authority
CN
China
Prior art keywords
vehicle
controller
confidence level
predetermined threshold
car light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910230701.7A
Other languages
English (en)
Other versions
CN110371018B (zh
Inventor
S·B·迈赫迪
胡亚森
U·P·穆达里格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110371018A publication Critical patent/CN110371018A/zh
Application granted granted Critical
Publication of CN110371018B publication Critical patent/CN110371018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Abstract

一种用于控制运行车辆的方法，包括：(a)基于由所述运行车辆的所述摄像头所捕获的图像，通过控制器确定所述另一车辆的车灯为开(ON)的置信水平；以及(b)根据所述另一车辆的车灯为开(ON)的置信水平通过控制器控制所述运行车辆的警报。

Description

使用其他车辆车灯的信息改善车辆行为
引言
本公开涉及车辆的控制和操作。
虽然某些车辆可以为某些道路状况提供警告提示，但这些警告提示并不依赖于其他车辆灯的车灯状态。然而，车辆车灯的状态可以指示可能受益于警告提示的道路状况。此外，当前的自主车辆不考虑其他车辆的车灯是为开(ON)还是为关(OFF)。而且，目前的自主车辆不会预料将会有停车位空出。因此，期望开发用于使用其他车辆的车灯的信息来控制手动驾驶车辆或自主车辆的行为的系统和方法。
发明内容
本公开描述了使用诸如摄像头等视觉传感器来检测其他车辆的车灯是为开(ON)还是为关(OFF)的系统和方法。该信息可用于在任何移动发生之前预测其他车辆的运动。因此，可以向车辆操作者提供警告提示。类似地，可以基于关于其他车辆的车灯的信息来改变自主车辆的运动。
用于控制车辆的示例性方法包括：(a)基于由运行车辆的摄像头所捕获的图像，通过控制器确定另一车辆的车灯为开(ON)的置信水平；以及(b)基于另一车辆的车灯为开(ON)的置信水平，通过控制器控制运行车辆的警报。通过控制器控制运行车辆的警报的操作可以包括：通过控制器确定置信水平大于第一预定阈值；以及响应于确定置信水平大于第一预定阈值，通过控制器激活运行车辆的警报。通过控制器控制运行车辆的警报的操作可以包括：通过控制器确定置信水平小于第二预定阈值；以及响应于确定置信水平小于第二预定阈值，通过控制器停用运行车辆的警报；通过控制器控制运行车辆的警报可以包括：通过控制器确定置信水平小于预定阈值；以及响应于确定置信水平小于预定阈值，通过控制器保持运行车辆的警报停用。警报可以包括从运行车辆的触觉座椅发出的触觉反馈。
该方法可以进一步包括：通过控制器确定置信水平大于第一预定阈值；以及重新分配控制器的计算资源以响应于确定置信水平大于第一预定阈值而增加用于在视觉上分析另一车辆的控制器的计算资源的分配。该方法可以进一步包括：通过控制器确定置信水平小于第二预定阈值；以及重新分配控制器的计算资源以响应于确定置信水平小于第二预定阈值而减少用于在视觉上分析另一车辆的控制器的计算资源的分配。该方法可以进一步包括基于运行车辆的速度和置信水平通过控制器更新轨迹成本。更新所述轨迹成本可以包括以置信水平的函数增加轨迹成本，其中轨迹成本的增加与置信水平成比例。更新轨迹成本可以包括以运行车辆的速度的函数增加轨迹成本，其中轨迹成本的增加与运行车辆的速度成比例。仅针对目标车辆附近的轨迹增加轨迹成本。
该方法可以进一步包括以置信水平的函数更新运行车辆的最大允许速度，其中运行车辆的最大允许速度与置信水平成反比。该方法可以进一步包括：确定从潜在轨迹到另一车辆的距离。更新轨迹成本可以包括以从潜在轨迹到另一车辆的距离的函数来增加轨迹成本。轨迹成本的增加可以与从潜在轨迹到另一车辆的距离成反比。该方法可以进一步包括以置信水平的函数更新从运行车辆到另一车辆的最小允许距离，其中从运行车辆到另一车辆的最小允许距离与置信水平成正比。该方法可以进一步包括基于更新的轨迹成本、运行车辆的最大允许速度以及从运行车辆到另一车辆的最小允许距离来确定运行车辆的最终轨迹。该方法可以进一步包括：在确定另一车辆的车灯为开(ON)的置信水平之后，确定另一车辆的倒车灯为开(ON)的置信水平；确定从确定其他车辆的车灯的置信水平以检测车灯是否为开(ON)到当前时刻的时间；以该时间、其他车辆的车灯为开(ON)的置信水平以及另一车辆的倒车灯为开(ON)的置信水平的函数来更新运行车辆的轨迹成本。确定另一车辆的车灯为开(ON)的置信水平可以包括：将另一辆车限制在边界框内；通过控制器使用另一车辆的方向来识别感兴趣区域作为另一车辆的车灯的可能的像素位置；通过控制器搜索感兴趣区域中的预定像素颜色范围；并且通过控制器搜索感兴趣区域与边界框内的其余区域之间的亮度差异。
本公开还描述了一种被试车辆，其包括车身、联接于车身的摄像头以及联接于摄像头的控制器。摄像头被配置为捕获图像。控制器被编程为执行上述任何方法。
从以下如结合附图在所附权利要求中所限定的对用于执行本教导的一些最佳模式和其他实施例的详细描述中，本教导的上述特征和优点以及其他特征和优点变得显而易见。
附图说明
现在将参考附图通过示例来描述一个或多个实施例，在附图中：
图1是包括用于捕获图像的摄像头的被试车辆的示意性平面图。
图2是使用由摄像头收集的图像向车辆的操作者提供警告提示的方法的流程图。
图3是图1中示意性展示的被试车辆的触觉座椅的示意性前视图。
图4是显示由图1中示意性展示的被试车辆的摄像头捕获的图像的显示设备的示意性前视图。
图5是显示设备的示意性前视图，示出了车辆示意图周围的视觉警示灯。
图6是使用由摄像头收集的图像来控制自主车辆的方法的流程图。
图7是使用由摄像头收集的图像来控制自主车辆的方法的流程图。
图8是示出执行图7的方法的自主车辆的示意图。
图9是用于对正在搜索停车位的自主车辆进行控制的方法的流程图。
图10是展示空间监测控制器如何基于在可能得到停车位的位置处停留的成本来控制被试车辆移动的示意图。
图11是用于确定另一车辆的车灯的状态的方法的流程图。
图12是示出了图2所示的方法如何检测车辆上的车灯的示意图。
图13是示出当另一车辆的转向信号为开(ON)时空间监测控制器如何使用来自其他车辆的车灯的信息执行向被试车辆的操作者提供警告提示的方法的示例的示意图。
图14是示出当另一车辆的转向信号为开(ON)时空间监视控制器如何执行确定自主车辆的最终轨迹的方法的示例的示意图。
图15是示出当另一车辆的应急灯为开(ON)时空间监测控制器如何执行确定自主车辆的最终轨迹的方法的示例的示意图。
图16是示出空间监测控制器如何执行用于控制自主车辆搜索停车位的方法的示例的示意图。
具体实施方式
现在参考附图，其中所示的是为了说明某些示例性实施例而不是为了对其进行限制，图1示意性地示出了采用一个或多个自主车辆控制系统的被试车辆101，其说明了本文描述的概念。被试车辆101包括车身103，并且可以是具有可转向前轮160和固定后轮170的四轮乘用车辆。通过非限制性举例的方式，被试车辆101可以包括乘用车辆、轻型或重型卡车、多用途车辆、农用车辆、工业/仓库用车辆或娱乐性越野车。被试车辆101优选地包括空间监测系统116、车辆监测系统115和通信控制器19。被试车辆101的操作可以由动力系控制模块(PCM)125、车辆控制模块(VCM)128和其他合适的控制器进行控制。被试车辆101也可以称为运行车辆。
被试车辆101优选地包括一个或多个自主车辆控制系统，包括例如自适应巡航控制系统(ACC)126、车道引导和车道保持系统、车道变换系统、转向辅助系统、物体避碰系统和停车辅助系统等。举例来说，PCM 125包括ACC126，用于控制车辆制动和加速以控制车辆速度和加速度，包括车辆制动和加速的自主控制，以在预定条件下控制车辆速度和加速度。VCM 128包括用于控制车辆横向运动控制的转向控制器(STRG)146，例如，作为车道引导、车道保持或车道变换系统的一部分。空间监测系统116、车辆监测系统115、PCM 125、VCM 128和通信控制器19优选地使用高速局域网通信总线127在它们之间进行通信。为了便于描述，被试车辆101的空间监测系统116、车辆监测系统115、PCM 125和VCM 128被示为分立元件。应当理解，可以使用一个或多个设备来执行由分立元件描述和执行的功能，所述设备可以包括算法代码、预定校准、硬件、专用集成电路(ASIC)和/或非车载或基于云的计算系统。
空间监测系统116包括空间监测控制器117，其与感测设备通信以监测和生成表示靠近被试车辆101的远程物体(例如，其他车辆)的数字图像。另外，空间监测控制器117包括用于测量时间的内部时钟。当远程物体可以被一个或多个感测设备检测到时，远程物体被称为靠近被试车辆101。空间监测系统116优选地确定每个邻近的远程物体的线性范围、相对速度和轨迹，并且使用通信控制器19传送这类信息。感测设备位于被试车辆101上，并且包括前角传感器121、后角传感器120、后侧传感器120’、侧面传感器129和前部雷达传感器122、以及联接于车身103上的摄像头123，尽管本公开并不限于此。优选地，摄像头123包括用于检测前向车道标记的单色视觉摄像头。前部雷达传感器122优选地包括用于在被试车辆101前方进行物体检测的远程雷达设备。在一个实施例中，前部雷达传感器122优选地以约15°的窄视场角来检测距离远达200米的物体。由于视场角较窄，远程雷达可能不能检测到被试车辆101前方的所有物体。前角传感器121优选地包括短程雷达设备，以助于监测被试车辆101前方的区域，在一个实施例中每个区域具有60°的视场角和40米的检测范围。侧面传感器129、后角传感器120和后侧传感器120’优选地包括短程雷达设备，以助于监测被试车辆101旁边和后面的迎面而来的交通工具，在一个实施例中每个传感器都具有60°的视场角和40米的检测范围。前述传感器的放置允许空间监测系统116监测交通流量，包括邻近的目标车辆和被试车辆101周围的其他物体。由空间监测系统116产生的数据可以由车道标记检测处理器74使用以对道路进行估计。
替代性地，感测设备可包括物体定位感测设备，其包括范围传感器，例如FM-CW(调频连续波)雷达、脉冲和FSK(频移键控)雷达和激光雷达(车灯检测和测距)设备，以及依靠诸如多普勒效应测量等效果来定位前向物体的超声波设备。可能的物体定位设备包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)视频图像传感器、以及利用数字摄影方法“观察”包括一个或多个目标车辆在内的前向物体的其他摄像头/视频图像处理器。这类感测系统用于在汽车应用中检测和定位物体，并且可用于包括自适应巡航控制、避免碰撞和侧面物体检测的系统。
感测设备优选地定位在被试车辆101内的相对无阻碍的位置。还应理解，这些传感器中的每一个都提供物体的实际位置或状况的估计，其中所述估计包括估计位置和标准偏差。这样，物体位置和状况的感官检测和测量通常被称为“估计”。还应理解，这些传感器的特性是互补的，因为一些传感器在估计某些参数方面比其他传感器更可靠。传感器可以具有不同的操作范围和角度覆盖范围，能够在其操作范围内估计不同的参数。例如，雷达传感器通常可以估计物体的范围、接近率和方位角位置，但在对检测到的物体的范围进行估计时通常不稳健。具有视觉处理器的摄像头在对物体的形状和方位角位置进行估计时更加稳健，但在对物体的范围和接近率进行估计方面效率较低。扫描型激光雷达传感器对于估计范围和方位角位置而言有效且准确地执行，但通常不能估计接近率，因此对于新的物体的获取/识别而言不那么准确。超声波传感器能够估计范围，但通常不能估计或计算接近率和方位角位置。此外，应当理解，每种传感器技术的性能受到不同环境条件的影响。因此，一些传感器在操作期间呈现参数变化，尽管传感器的重叠覆盖区域为传感器数据融合创造了机会。
车辆监测系统115优选地包括多个车载底盘监测感测系统以及用于监测车辆操作以确定传送到通信总线127的车辆运动状态的设备。车辆运动状态优选地包括例如车辆速度、可转向前轮160的转向角、以及横摆率。车载底盘监测感测系统和设备包括惯性传感器，例如速率陀螺仪和加速度计。车辆监测系统115估计车辆运动状态，例如纵向速度、横摆率和横向速度，并且估计被试车辆101的横向偏移和航向角。所测量的横摆率与转向角测量结合以对横向速度的车辆状态进行估计。可以基于来自车轮转速传感器的信号输入来确定纵向速度，这些车轮转速传感器被布置成对前轮160和后轮170中的每一个进行监测。车辆监测系统115产生与车辆运动状态相关联的信号，这些信号可以由其他车辆控制系统监测以用于车辆控制和操作。
PCM 125与车辆动力系(未示出)通信并可操作地连接到该车辆动力系，并且执行控制例程以控制发动机、变速器和其他扭矩机(均未示出)的操作，以响应于车辆运行条件和操作者输入而将牵引扭矩传递到车轮。PCM 125被示为单个控制模块，但是可以包括多个控制器设备，其可操作以控制各种动力系致动器，包括发动机、变速器、扭矩机、车轮马达以及混合动力系统的其他元件，均未示出。PCM 125可以包括算法代码形式的控制程序，以操作自适应巡航控制系统(ACC)126，其响应于使用人机界面(HMI)控制器124检测到的操作者控制输入来控制车辆制动和加速，包括车辆制动和加速的自主控制，以在预定条件下控制车辆速度和加速度。
VCM 128与多个车辆操作系统通信并可操作地连接到这些车辆操作系统，并且执行控制例程以控制其操作。车辆操作系统优选地包括制动、稳定性控制和转向系统。车辆操作系统还可以包括其他系统，例如HVAC、娱乐系统、通信系统和防盗系统。VCM 128被示为单个控制模块，但是可以包括多个控制器设备，其可操作以监测系统并控制各种车辆致动器。VCM 128包括用于车辆横向运动控制的转向控制器(STRG)146。转向控制器146优选地包括与主动前转向系统联接的电动助力转向系统(EPS)，以通过在执行诸如车道变换操纵的自主操纵期间控制可转向轮160的转向角来增大或代替通过方向盘108的操作者输入。示例性主动前轮转向系统允许车辆操作者进行主要转向操作，包括在适当时增大方向盘角度控制以实现所期望的转向角和/或车辆横摆角。应当理解，本文描述的控制方法适用于对例如电动助力转向、四轮/后轮转向系统等车辆转向控制系统以及控制每个车轮的牵引力以产生横摆运动的直接横摆控制系统的修改。
被试车辆101的乘客舱室允许车辆操作者与方向盘108相互作用，该方向盘安装在转向柱109上。输入设备110可以机械地安装在转向柱109上并且可以与HMI控制器124通信。替代性地，输入设备110可以机械地安装在转向柱109附近的在车辆操作者方便的位置。输入设备110，本文示出为从柱109突出的柄，包括接口设备，车辆操作者可以通过该接口设备以自主控制模式命令车辆操作，例如，通过命令一个或多个自主车辆控制系统的激活。输入设备110的机械化是说明性的。本领域普通技术人员理解的是，输入设备110可以在多个设备中的任何一个或多个中机械化，或者可以是语音激活的控制器的形式，或者可以是其他合适的系统。输入设备110优选地具有控制特征以及当前转向信号激活系统所使用的位置。替代性地，可以使用诸如杠杆、开关、按钮和语音识别输入设备等其他输入设备来代替输入设备110或者除该输入设备之外还使用其他输入设备。
HMI控制器124监测操作者请求并向操作者提供信息，包括车辆系统的状态、服务和维护信息。HMI控制器124与多个操作者接口设备通信和/或控制其操作，其中操作者接口设备能够发送与自主车辆控制系统之一的操作相关联的消息，包括促使操作者动作的消息。HMI控制器124优选地还与监测与车辆操作者相关联的生物识别数据的一个或多个设备通信，这些数据包括例如眼睛注视位置、姿势和头部位置跟踪等。HMI控制器124被描绘为用于易于描述的单一设备，但是在本文描述的系统的实施例中可以被配置为多个控制器和相关联的感测设备。
HMI控制器124与通信总线127通信，并且从而与被试车辆101中的其他控制器通信。HMI控制器124被配置为监测从输入设备110输出的信号，基于从输入设备110输出的信号检测来自车辆操作者的激活信号，并且将激活信号传送到通信总线127。HMI控制器124被配置为监测操作者对方向盘108的输入、油门踏板和制动踏板以及其他操作者输入。能够发送促使操作者动作的消息的操作者接口设备可以包括电子可视显示模块，例如液晶显示器(LCD)设备133、抬头显示器(HUD)(未示出)、音频反馈设备132、可穿戴设备131和触觉座椅130。能够促使操作者动作的操作者接口设备优选地由HMI控制器124控制或通过该HMI控制器进行控制。
其他操作者接口设备可以如下操作。HUD可以将反射到车辆挡风玻璃的内侧的信息投射在操作者的视野中，包括发送与自主车辆控制系统之一的操作相关联的置信水平。HUD还可以提供增强现实信息，例如车道位置、车辆路径、方向和/或导航信息等。HUD和相关系统是本领域技术人员已知的。触觉座椅130可以包括在频率、速度、调制和/或强度上变化的振动能力。音频反馈设备132可以包括在频率、速度、调制和/或强度上变化的声音能力。可穿戴设备131可以包括在频率、速度、调制和/或强度上变化的振动能力。
被试车辆101包括通信控制器19，其具有能够进行车辆通信的无线远程信息处理通信系统，包括与具有无线和有线通信能力的通信网络210通信。通信网络210可以包括卫星211和天线213。通信控制器19可以包括能够进行车辆外通信的无线远程信息处理通信系统，其包括短程车辆间(V2V)通信。替代性地或另外地，通信控制器19具有能够与手持设备19A(例如，蜂窝电话、卫星电话或另一电话设备)进行短程无线通信的无线远程信息处理通信系统。在一个实施例中，手持设备19A加载有软件应用，该软件应用包括与通信控制器19通信的无线协议，并且手持设备19A执行车辆外通信，包括经由通信网络210与远程服务器220通信。被试车辆101还可以包括全球定位系统15和导航系统17，其可以用于定义被试车辆101的地理位置。
在一个实施例中，存在一种智能公路系统，其被配置为监测多个车辆的位置、速度和轨迹。在一个实施例中，被试车辆101被配置为与通信网络210通信，包括在智能公路系统与被试车辆101之间进行通信。这样可以包括相对于被试车辆101传达一个或多个车辆的地理位置、前进速度和加速率。在一个实施例中，被试车辆101被配置为通过通信网络210与远程服务器220通信。
术语控制器、控制模块、模块、控制、控制单元、处理器和类似术语是指专用集成电路(ASIC)、(多个)电子电路、(多个)中央处理单元(例如，(多个)微处理器)以及存储器和存储设备形式的相关非暂态存储器组件(只读、可编程只读、随机访问、硬盘等)的一种或多种组合。非暂态存储器组件能够存储机器可读指令，其形式是一个或多个软件或固件程序或例程、(多个)组合逻辑电路、(多个)输入/输出电路和设备、信号调节和缓冲电路以及可以由一个或多个处理器访问以提供所描述的功能的其他组件。(多个)输入/输出电路和设备包括模拟/数字转换器以及对来自传感器的输入进行监测的相关设备，这些输入以预设采样频率或响应于触发事件被监测。软件、固件、程序、指令、控制例程、代码、算法和类似术语的意思是包括校准和查找表的控制器可执行指令集。每个控制器执行(多个)控制程序以提供所需的功能，包括监测来自感测设备和其他联网控制器的输入、以及执行控制和诊断指令以控制致动器的操作。例程可以以规则的间隔执行，例如在正在进行的操作期间每100微秒执行一次。替代性地，可以响应于触发事件的发生来执行例程。控制器之间的通信以及控制器、致动器和/或传感器之间的通信可以使用直线点对点链路、网络通信总线链路(例如高速局域网通信总线127)、无线链路或其他合适的通信链路来实现。通信包括以其他合适的形式交换数据信号，包括例如经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号等。数据信号可以包括离散的、模拟的或数字化的模拟信号，表示来自传感器的输入、致动器命令以及控制器之间的通信。术语“信号”是指物理上可识别的传达信息的指示器，并且可以是各种合适的波形(例如，电、光、磁、机械或电磁)，例如DC、AC、正弦波、三角波、方波、能够穿过介质的振动等。术语“模型”是指基于处理器的或处理器可执行的代码以及模拟设备或物理过程的物理存在的相关校准。如本文所使用的，术语“动态的”和“动态地”描述了实时执行的步骤或过程，并且其特征在于监测或以其他方式确定参数的状态并且在例程的执行期间或者在例程的执行的迭代之间定期或周期性地更新参数的状态。
如在本说明书和权利要求中所使用的，术语“例如(for example)”、例如(forinstance)、“诸如(such as)”和“等(like)”以及动词“包括(comprising)”、“具有(having)”、“包含(including)”以及它们的其他动词形式在与一个或多个组件或其他项目的列表结合使用时均都被解释为是开放式的，这意味着该列表不被视为排除其他附加组件或项目。其他术语应使用其最广泛的合理含义来解释，除非其用于需要不同解释的上下文中。
图2示意性地示出了使用来自其他车辆400的车灯402的信息向被试车辆101的操作者提供警告提示的方法300。优选地，方法300在车辆操作期间定期且周期性地执行，并且被设计成用于手动驱动的车辆(例如，被试车辆101)。方法300的一些或所有步骤可以在远程服务器220中执行。
方法300的执行可以如下进行。方法300的步骤可以按任何合适的顺序执行，并且不限于参考图2描述的顺序。在车辆操作期间，在框304，空间监测控制器117与摄像头123通信，并且使用摄像头123或其他合适的视觉传感器在置信度L方面检测其他车辆400(例如，停放的车辆)的车灯402(例如，后车灯和/或制动灯)的状态。为此，摄像头123捕获另一车辆400的图像。而且，在框304，空间监测控制器117使用从摄像头123收集的数据(例如，图像)在置信度L方面确定另一车辆400的车灯402是为开(ON)还是为关(OFF)。
在框304，空间监测控制器117执行算法以确定(例如，计算)并监测与确定有关另一车辆400的车灯402的状态为开(ON)的置信水平。具体地，空间监测控制器117确定并连续监测其他车辆400中的至少一辆的车灯402启动的置信水平。在本公开中，“其他车辆400中的至少一辆的车灯402为开(ON)的置信水平”在本文中被称为置信度L，并且是基于由摄像头123收集的信息(例如，图像)传达另一车辆400的车灯402为开(ON)的确定性或不确定性的度量的指示，优选地是数值形式的指示。置信水平可以是在-1和1之间的范围内连续变化的数值。例如，可以使用合适的机器学习方法基于统计概率来确定置信水平。例如，可以训练神经网络对车灯为开(ON)或为关(OFF)进行分类。在这种情况下，网络的输出可以简单地是介于-1和1之间的两个数字，表示置信度值L(对于“任何车灯”为开(ON)的情况)。更具体地说，简单神经网络的一个示例执行以下计算：
L＝tanh(A_1x+B_1)
其中x表示通过使由摄像头123捕获的图像中的所有像素的红-绿-蓝(RGB)值连结而获得的矢量；并且
A_1和B_1是具有适当维度的矩阵和向量，其值是通过训练神经网络得到的。
在确定(例如，计算)置信度L之后，方法300前进到框306。在框306，空间监测控制器117确定置信度L是否大于第一预定阈值Khigh。响应于确定置信度L大于第一预定阈值Khigh，方法300继续到框308。
在框308，空间监测控制器117响应于确定置信度L大于第一预定阈值Khigh而激活被试车辆101的警报401，以便向车辆操作者提供关于另一车辆400的警告提示。第一预定阈值Khigh可以是65％，以便仅在空间监测控制器117相对肯定另一车辆400的车灯402启动时激活警报401。警报401用作警告车辆操作者另一车辆400即将(或当前)退出停车位的提示。警报401(或提示)可以以声音、在显示设备133、HUD或其他合适的视觉显示系统上显示的警告信号、来自触觉座椅130的触觉反馈等形式提供。例如，如图3所示，触觉座椅130可以提供触觉反馈(振动V)以警告车辆操作者另一车辆400即将退出停车位。可选地或另外地，如图4所示，显示屏133可以再现由摄像头123捕获的图像，并且在灯402为开(ON)(并且将要从停车位移走)的另一车辆400的图像上添加警告符号403。另外地或替代性地，如图5所示，显示屏133可以在车辆示意性图405周围提供视觉报警灯404。因此，作为非限制性示例，警报401可以受到在显示设备133上显示的警告符号403、由触觉座椅130产生的触觉反馈(例如，振动)和/或在显示设备133上显示的车辆示意图405周围显示的视觉报警灯404的抑制。在执行框308之后，方法300前进到框310。
返回到框306，响应于确定置信度L不大于第一预定阈值Khigh，方法300继续到框310。在框310，空间监测控制器117确定置信度L是否小于第二预定阈值Klow。第一预定阈值大于或等于第二预定阈值，以便允许空间监测控制器117仅在另一车辆400的车灯402为开(ON)的确定性相对较高时添加警告提示，并且仅在另一车辆400的车灯402的确定性相对较低时移除警告提示。响应于确定置信度L小于第二预定阈值Klow，方法300前进到框312。
在框312，空间监测控制器117响应于确定置信度L小于第二预定阈值Klow而移除由于其车灯402为开(ON)而引入的另一车辆400的任何警告提示。第二预定阈值Klow可以是50％，以便仅在另一车辆40的车灯402是否为开(ON)存在相对不确定性时才停用警报401。换句话说，响应于确定置信度L小于第二预定阈值Klow，空间监测控制器117停用警报401。作为非限制性示例，可以从显示设备133上移除警告符号403，可以由触觉座椅130停用触觉反馈V(例如，振动)，和/或在车辆示意图405周围显示的视觉报警灯404可以为关(OFF)。
返回到框310，响应于确定置信度L不小于第二预定阈值Klow，方法300前进到框314。在框314，不进行由于车灯402引起的提示的改变。换句话说，在框314，警报401保持激活，或者如果之前处于非活动状态则保持非活动状态。
参考图6，方法500可以用在自主车辆(例如，被试车辆101)中，并且允许被试车辆101在经过车灯402为开(ON)的车辆(即另一车辆400)时更加谨慎(即更警觉)。方法500开始于框504。在车辆操作期间，在框504，空间监测控制器117使用摄像头123或其他合适的视觉传感器来检测从置信度L(例如，停放的车辆)的角度的其他车辆400的车灯402(例如，后灯和/或制动灯)的状态。为此，摄像头123捕获另一车辆400的图像。而且，在框504，空间监测控制器117使用从摄像头123收集的数据(例如，图像)在置信度L方面确定另一车辆400(或其他车辆400)的车灯402是为开(ON)还是为关(OFF)。
在框504，对于每一车辆400，空间监测控制器117执行算法以确定(例如，计算)并监测与确定另一车辆400的车灯402状态为开(ON)的置信水平，如上所述关于步骤304所述。如上所述，“其他车辆400中的至少一辆的车灯402为开(ON)的置信水平”在本文中被称为置信度L，并且是基于由摄像头123收集的信息(例如，图像)传达另一车辆400的车灯402为开(ON)的确定性或不确定性的度量的指示，优选地是数值形式的指示。然后，方法500继续框506。
在确定(例如，计算)置信度L之后，方法500前进到框506。在框506，空间监测控制器117确定置信度L是否大于第一预定阈值Khigh。响应于确定置信度L大于第一预定阈值Khigh，方法500继续到框508。
在框508，空间监测控制器117重新分配其计算资源以增加用于在视觉上分析另一车辆(其他车辆)400的空间监测控制器117的计算资源的分配。计算资源的分配可能取决于一些因素，例如：(a)在摄像头123的视野内的其他车辆400的数量；(b)每辆检测到的车辆对车灯为开(ON)的置信度(“置信度L”)；(c)所有检测到的车辆的距离和大小等。计算资源分配的增加可能涉及：(a)使用依赖于具有更高分辨率的更多计算能力的神经网络，和/或(b)使用更复杂的算法(例如，语义分割)。语义分割可以包括有用信息，例如车辆的状态(例如，车门/行李箱打开等)以及甚至是更靠近另一车辆400的行人。
返回到框506，响应于确定置信度L不大于第一预定阈值Khigh，方法500继续到框510。在框510，空间监测控制器117确定置信度L是否小于第二预定阈值Klow。响应于确定置信度L小于第二预定阈值Klow，方法500前进到框512。
在框512，空间监测控制器117重新分配其计算资源以减少用于在视觉上分析另一车辆400的空间监测控制器117的计算资源的分配。例如，如果使用语义分割来分析另一车辆400，则空间监测控制器117可以使用更简单的方法来在视觉上分析另一车辆400，而不是语义分割方法。
返回到框510，响应于确定置信度L不小于第二预定阈值Klow，方法500继续到框514。在框514，不发生计算资源分配的改变。换句话说，在框514，空间监测控制器117不增加或减少用于在视觉上分析其他车辆400的计算资源。
参考图7，方法600可以用在自主车辆(例如，被试车辆101)中并且允许被试车辆101在经过车灯402为开(ON)的车辆(即另一车辆400)的同时保持预定距离。方法600开始于框604。在车辆操作期间，在框604，空间监测控制器117使用摄像头123或其他合适的视觉传感器来检测从置信度L(例如，停放的车辆)的角度的其他车辆400的车灯402(例如，后灯和/或制动灯)的状态。为此，摄像头123捕获另一车辆400的图像。而且，在框604，空间监测控制器117使用从摄像头123收集的数据(例如，图像)在置信度L方面确定另一车辆400(或其他车辆400)的车灯402是为开(ON)还是为关(OFF)。
在框604，对于每一车辆400，空间监测控制器117执行算法以确定(例如，计算)并监测与确定有关另一车辆400的车灯402的状态为开(ON)的置信水平，如以上关于框304所述。如上所述，“其他车辆400中的至少一辆的车灯402为开(ON)的置信水平”在本文中被称为置信度L，并且是基于由摄像头123收集的信息(例如，图像)传达另一车辆400的车灯402为开(ON)的确定性或不确定性的度量的指示，优选地是数值形式的指示。然后，方法600继续框606。
在框606，空间监测控制器117更新被试车辆101的轨迹成本。在本公开中，术语“轨迹成本”是指与被试车辆要采取的特定轨迹相关联的值。在被试车辆101的操作期间，轨迹成本用于生成被试车辆101的最终轨迹。期望产生具有最低可能轨迹成本的最终轨迹。在框606，空间监测控制器117基于轨迹所指示的速度和在框604确定的置信度L来更新轨迹成本。仅针对靠近车辆400的那些轨迹来更新轨迹成本。特别地，空间监测控制器117以轨迹所指示的速度的函数来增加轨迹成本，其中轨迹成本的增加与轨迹所指示的速度成比例。因此，速度越高，轨迹成本越高。另外，空间监测控制器117以置信度L的函数增加轨迹成本，其中轨迹成本的增加与置信度L成比例。因此，置信度L越高，轨迹成本越高。附加地或替代性地，在框606，空间监测控制器117还以置信度L的函数来更新被试车辆的最大允许速度。被试车辆101的最大允许速度与置信度L成反比。因此，置信度L越高，最大允许速度越低。然后，方法600前进到框608。
在步骤608，空间监测控制器117使用例如从激光雷达设备收集的数据来确定从被试车辆101的潜在轨迹到另一车辆400的距离(不是从车辆400到主车辆的当前距离)。特别地，空间监测控制器117以从被试车辆101到车灯402为开(ON)的另一车辆400的距离的函数来增加轨迹成本。靠近车辆400的轨迹将使其成本增加。具体地，轨迹成本的增加与从被试车辆101的潜在轨迹到车灯402为开(ON)的另一车辆400的距离成反比。因此，从被试车辆101到另一车辆400的距离越低，轨迹成本就越高。附加地或替代性地，同样在框608，空间监测控制器117以置信度L的函数来更新从被试车辆101到其他车辆400(其灯402为开(ON))的最小允许距离。从被试车辆101到另一车辆400(其灯402为开(ON))的最小允许距离与置信度L成正比。因此，置信度L越高，从被试车辆101到另一车辆400的最小允许距离越高。然后，方法600继续到框610。
在框610，空间监测控制器117基于轨迹成本、被试车辆101的最大允许速度以及从被试车辆101到另一车辆400(其车灯402为开(ON))的最小允许距离来确定被试车辆101的最终轨迹。然后，在框610，空间监测控制器117(或其他合适的控制器)基于最终轨迹来控制被试车辆101的运动。这样，被试车辆101遵循最终轨迹FT(图8中所示)。
例如，如图8所示，空间监测控制器117检测到车灯402为开(ON)。此外，通过使用方法600，空间监测控制器117确定最终轨迹FT，其中维持来自主车辆101和另一车辆400的最小允许距离MD。
参考图9，方法700可以用在自主车辆(例如被试车辆101)中，并且有助于基于接近一个或多个车灯402为开(ON)的车辆(即另一车辆400)来搜索停车位。方法700开始于框704。在车辆操作期间，在框704，空间监测控制器117使用摄像头123或其他合适的视觉传感器来检测从置信度L(例如，停放的车辆)的角度的其他车辆400的车灯402(例如后灯和/或制动灯)的状态。为此，摄像头123捕获另一车辆400的图像。而且，在框704，空间监测控制器117使用从摄像头123收集的数据(例如，图像)在置信度L方面确定另一车辆400的车灯400是为开(ON)还是为关(OFF)。
在框704，响应于确定其他车辆400中的至少一辆的任何车灯402的状态，对于车灯402为开(ON)的每一车辆400，空间监测控制器117执行算法以确定(例如，计算)并监测与确定另一车辆400的任何车灯402的状态为开(ON)相关的置信度L，如以上关于框304所讨论的。如上所述，“其他车辆400中的至少一辆的任何车灯402为开(ON)的置信水平”在本文中被称为置信度L，并且是基于由摄像头123收集的信息(例如，图像)传达另一车辆400的任何车灯402为开(ON)的确定性或不确定性的度量的指示，优选地是数值形式的指示。置信度L可以是在0％和100％之间的范围内连续变化的数值。例如，可以使用合适的机器学习方法基于统计概率确定置信度L。例如，可以训练神经网络对车灯为开(ON)或为关(OFF)进行分类。在这种情况下，网络的输出可以简单地是介于-1和1之间的两个数字，表示置信度值L(对于“任何车灯”为开(ON)的情况)。更具体地说，简单神经网络的一个示例执行以下计算：
L＝tanh(A_1x+B_1)
其中x表示通过使由摄像头123捕获的图像中的所有像素的红-绿-蓝(RGB)值连结而获得的矢量；并且
A_1和B_1是具有适当维度的矩阵和向量，其值是通过训练神经网络得到的。
在确定(例如，计算)置信度L之后，方法700前进到框706。
在框706，响应于确定其他车辆400的任何车灯402的状态，对于车灯402为开(ON)的每一车辆400，空间监测控制器117执行算法以确定(例如，计算)并监测与确定另一车辆400的倒车灯(例如，车灯402)的状态为开(ON)相关的置信水平R，如以上关于框304所讨论的。如上所述，“其他车辆400中的至少一辆的倒车灯(例如，车灯402)的置信水平”在本文被称为置信水平R，并且是基于由摄像头123收集的信息(例如，图像)传达另一车辆400的倒车灯(例如，车灯402)为开(ON)的确定性或不确定性的度量的指示，优选地是数值形式的指示。置信水平R可以是在-1和1之间的范围内连续变化的数值。例如，可以使用合适的机器学习方法基于统计概率确定置信度R。例如，可以训练神经网络对车灯为开(ON)或为关(OFF)进行分类。在这种情况下，网络的输出可以简单地是介于-1和1之间的两个数字，表示置信度值R(对于“任何车灯”为开(ON)的情况)。更具体地说，简单神经网络的一个示例执行以下计算：
R＝tanh(A_2x+B_2)
其中x表示通过使由摄像头123捕获的图像中的所有像素的红-绿-蓝(RGB)值连结而获得的矢量；并且
A_2和B_2是具有适当维度的矩阵和向量，其值是通过训练神经网络得到的。
在确定(例如，计算)置信度R之后，方法700前进到框708。
在框708，使用其内部时钟，空间监测控制器117确定(例如，测量)到目前为止等待停车位空出的时间T。换句话说，在框708，空间监测控制器117测量从其在框704使用摄像头123检测诸如另一车辆400(例如，停放的车辆)等其他车辆400的车灯402(例如，后灯和/或制动灯)的状态的时刻起经过的时间T(例如，以秒为单位)。然后，方法700继续到框710。
在框710，空间监测控制器117以在框704中确定的置信度L、在框706中确定的置信水平R以及在框710中确定的时间T的函数来更新停留在可以取得停车位的位置(一旦空出)的成本。作为非限制性示例，在框710，空间监测控制器117可以采用以下等式：
f＝αT-βL-γR
其中f是停留在可以取得停车位的位置的成本；
α、β、γ是可以基于每个变量所需的权重进行调整的加权预定常数；
T是到目前为止等待停车位空出的时间；
L是对另一车辆400的任何车灯402为开(ON)的确定性的度量；并且
R是对另一车辆400的倒车灯(例如，车灯402)为开(ON)的确定性的度量。
同样在框710，空间监测控制器117基于停留在可以取得停车位的位置处的成本来控制被试车辆101的运动。例如，如图10所示，如果没有车辆(例如，其他车辆400)长时间(即时间T)离开停车位，则由于高时间T而使成本f将会相对较高。响应于高成本f，空间监测控制器117将命令被试车辆101离开并寻找另一停车位。而且，如果检测到车灯402为开(ON)的多个车辆，则降低成本f将使得被试车辆101在车位S(图10)处等待，在此一旦另一车辆400离开则可以取得任何停车位。
参考图11和图12，描述了用于确定另一车辆400的车灯402的状态的方法。方法800采用使用手标数据进行的神经网络训练。在一个实施例中，方法800开始于框802，其需要在边界框BB中限制另一车辆400(以及摄像头123的视野内的另一车辆)。边界框是虚拟框。因此，空间监测控制器117虚拟地限制由摄像头123捕获的图像内的另一车辆400。然后，方法800前进到框804。
在框804，空间监测控制器117使用另一车辆400的取向来识别感兴趣区域作为另一车辆400的车灯402的可能像素位置。然后，方法800继续到框806。在框806，空间监测控制器117在感兴趣的区域中搜索通常在另一车辆400的车灯402中找到的像素颜色范围。通常在另一车辆400的车灯402中找到的像素颜色范围在本文中称为预定像素颜色范围，因为这些颜色像素范围是通过统计分析预先确定的。因此，在框804，空间监测控制器117在感兴趣区域中搜索预定像素颜色范围。接下来，方法800继续到框808。
在框808，空间监测控制器117搜索感兴趣区域与边界框BB内的其余区域之间的亮度差异。具体地，空间监测控制器117确定感兴趣区域与边界框内的其余区域之间的亮度差是否大于预定亮度阈值。然后，方法800前进到框810。
在框810，空间监测控制器117仅在以下情况下确定另一车辆400的车灯402为开(ON)：(a)在感兴趣的区域中找到预定的颜色像素范围，并且(b)感兴趣的区域与边界框BB内的其余区域之间的亮度差大于预定亮度阈值。例如，只有在感兴趣的区域中的亮度相对高于边界框BB内的其他区域、并且感兴趣的区域中的像素具有偏红的白色颜色时，空间监测控制器117才确定车辆400的车灯402为开(ON)。
参考图13，描述了被试车辆101执行方法300(以上关于图2所述)以使用来自其他车辆400的车灯402的信息向被试车辆101的操作者提供警告提示的示例。在该示例中，摄像头123利用为开(ON)的转向信号灯402捕获另一车辆400的图像I。作为响应，空间监测控制器117激活触觉座椅130以向车辆操作者提供触觉反馈V。
参考图14，描述了执行如以上关于图7所述的用于控制自主车辆的方法600的示例。在该示例中，基于图像I，空间监测控制器117检测到另一车辆400的转向信号灯402为开(ON)。作为响应，空间监测控制器117增加了在另一车辆附近经过的轨迹的轨迹成本(即高成本轨迹HT)。因此，空间监测器控制器117命令被试车辆101选择另一轨迹(即低成本轨迹LT)，这样可能需要改变车道远离另一车辆400。
参考图15，描述了执行如以上关于图7所述的用于控制自主车辆的方法600的示例。在该示例中，基于图像I，空间监测控制器117检测到警车(即另一车辆400)的应急灯402为开(ON)。作为响应，空间监测控制器117增加了在另一车辆附近经过的轨迹的轨迹成本(即高成本轨迹HT)。因此，空间监测器控制器117命令被试车辆101选择另一轨迹(即低成本轨迹LT)，这样可能需要改变车道远离警车(即另一车辆400)。图15还示出了被试车辆101执行方法300(以上参考图2所述)以向手动车辆(即被试车辆101)的操作者提供警告提示的示例。在该示例中，摄像头123捕获应急灯(即车灯402)为开(ON)的警车(即另一车辆400)的图像I。作为响应，空间监测控制器117激活触觉座椅130以向车辆操作者提供触觉反馈V。
参考图16，对如上关于图9所述的执行用于控制自主车辆搜索停车位的方法700的示例进行描述。在该示例中，如果观察到车位1和车位2中的其他车辆400的车灯为开(ON)，则相应地修改在A区、B区和C区中停止的轨迹成本。具体而言，在A区和C区中停止的轨迹成本将适度降低以允许监测并且可能在空出时占用车位1和车位2。在B区停车的轨迹成本将降低到更大的程度，因为允许监测并可能在车位1和车位2空出时占据任何一个。因此，自主车辆(即被试车辆101)将优选在B区中等待车位1和车位2之一空出。
本公开中公开的方法被描绘为展示出示例方法的流程图。该方法可以通过计算机算法、机器可执行代码、非暂态计算机可读介质或编程到车辆的合适的(多个)可编程逻辑设备中的软件指令来实现，例如一个或多个控制器、信息娱乐模块、与车辆计算系统通信的远程服务器220、正在与车辆计算系统和/或服务器通信的诸如手持式蜂窝电话或平板电脑(即手持设备19A)的移动设备、车辆中的另一控制器或其组合。尽管流程图中示出的各个步骤可能看起来按时间顺序发生，但是至少一些步骤可以按不同的顺序发生，并且一些步骤可以同时执行或根本不执行。
详细描述和附图或图形是对本教导的支持和描述，但是本教导的范围仅由权利要求限定。虽然已经详细描述了用于执行本教导的一些最佳模式和其他实施例，但是存在用于实践所附权利要求中限定的本教导的各种替代设计和实施例。例如，本公开中描述的方法可以彼此组合。

Claims (10)

1.一种用于对运行车辆进行控制的方法，包括：
基于由所述运行车辆的摄像头所捕获的图像，通过控制器确定另一车辆的车灯为开(ON)的置信水平；并且
基于所述另一车辆的所述车灯为开(ON)的置信水平，通过所述控制器控制所述运行车辆的警报。
2.如权利要求1所述的方法，其中通过所述控制器控制所述运行车辆的警报包括：
通过所述控制器确定所述置信水平大于第一预定阈值；并且
响应于确定所述置信水平大于所述第一预定阈值，通过所述控制器激活所述运行车辆的警报。
3.如权利要求2所述的方法，其中通过所述控制器控制所述运行车辆的警报包括：
通过所述控制器确定所述置信水平小于第二预定阈值；并且
响应于确定所述置信水平小于所述第二预定阈值，通过所述控制器停用所述运行车辆的警报；并且
其中所述第一预定阈值大于所述第二预定阈值。
4.如权利要求3所述的方法，其中通过所述控制器控制所述运行车辆的警报包括：
通过所述控制器确定所述置信水平小于所述第二预定阈值；并且
响应于确定所述置信水平小于所述第一预定阈值，通过所述控制器保持所述运行车辆的警报停用。
5.如权利要求1所述的方法，其中所述警报包括从所述运行车辆的触觉座椅发出的触觉反馈。
6.如权利要求1所述的方法，进一步包括：
通过所述控制器确定所述置信水平大于第一预定阈值；并且
重新分配所述控制器的计算资源以响应于确定所述置信水平大于所述第一预定阈值而增加用于在视觉上分析所述另一车辆的所述控制器的计算资源的分配。
7.如权利要求6所述的方法，进一步包括：
通过所述控制器确定所述置信水平小于第二预定阈值；并且
重新分配所述控制器的计算资源以响应于确定所述置信水平小于所述第二预定阈值而减少用于在视觉上分析所述另一车辆的所述控制器的计算资源的分配。
8.如权利要求1所述的方法，进一步包括基于所述运行车辆的速度和所述置信水平通过所述控制器更新轨迹成本。
9.如权利要求8所述的方法，其中更新所述轨迹成本包括以所述置信水平的函数增加所述轨迹成本，其中所述轨迹成本的增加与所述置信水平成比例。
10.如权利要求9所述的方法，其中更新所述轨迹成本包括以所述运行车辆的速度的函数增加所述轨迹成本，其中所述轨迹成本的增加与所述运行车辆的速度成比例。
CN201910230701.7A 2018-04-13 2019-03-26 使用其他车辆车灯的信息改善车辆行为 Active CN110371018B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/952904 2018-04-13
US15/952,904 US10632913B2 (en) 2018-04-13 2018-04-13 Vehicle behavior using information from other vehicles lights

Publications (2)

Publication Number Publication Date
CN110371018A true CN110371018A (zh) 2019-10-25
CN110371018B CN110371018B (zh) 2022-11-08

Family

ID=68052953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910230701.7A Active CN110371018B (zh) 2018-04-13 2019-03-26 使用其他车辆车灯的信息改善车辆行为

Country Status (3)

Country Link
US (1) US10632913B2 (zh)
CN (1) CN110371018B (zh)
DE (1) DE102019108610A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018218015A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Zustands einer Fahrzeugleuchte eines Fahrzeugs
CN113287074A (zh) * 2019-01-04 2021-08-20 塞伦妮经营公司 使用语音交互增加自主运载工具安全性和灵活性的方法和系统
US11361557B2 (en) * 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US20200361452A1 (en) * 2019-05-13 2020-11-19 Toyota Research Institute, Inc. Vehicles and methods for performing tasks based on confidence in accuracy of module output
US11682296B2 (en) * 2019-06-28 2023-06-20 Zoox, Inc. Planning accommodations for reversing vehicles
US11195033B2 (en) 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
KR102344278B1 (ko) * 2021-09-17 2021-12-27 이종석 차량 제어장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20140379233A1 (en) * 2013-06-19 2014-12-25 Magna Electronics Inc. Vehicle vision system with collision mitigation
CN104470781A (zh) * 2012-06-01 2015-03-25 谷歌公司 基于替代数据推断交通信号状态和车辆环境的其他方面

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630892B1 (en) * 1998-08-25 2003-10-07 Bruce E. Crockford Danger warning system
US6968273B2 (en) * 2002-03-01 2005-11-22 Gentex Corporation Electronic compass system
US20110084176A1 (en) * 2007-12-04 2011-04-14 Kevin Allan Reichelt Railroad crossing
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
CN102361590B (zh) * 2009-10-15 2014-06-18 松下电器产业株式会社 驾驶注意量判别装置和方法
US9132773B2 (en) * 2009-12-07 2015-09-15 Cobra Electronics Corporation Mobile communication system and method for analyzing alerts associated with vehicular travel
US9855947B1 (en) * 2012-04-22 2018-01-02 Emerging Automotive, Llc Connected vehicle communication with processing alerts related to connected objects and cloud systems
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
US9406177B2 (en) * 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
EP3053777A1 (en) * 2015-02-09 2016-08-10 Honda Research Institute Europe GmbH Method and system for predictive driver assistance using communication and vehicle equipped with such system
US20170021863A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc System and method for verifying road position information for a motor vehicle
US9922565B2 (en) * 2015-07-20 2018-03-20 Dura Operating Llc Sensor fusion of camera and V2V data for vehicles
US10176524B1 (en) * 2015-10-26 2019-01-08 Allstate Insurance Company Vehicle-to-vehicle incident information collection
US9637965B1 (en) * 2015-11-18 2017-05-02 Ankit Dilip Kothari Proactive vehicle doors to prevent accidents
US10190357B2 (en) * 2015-11-18 2019-01-29 Be Topnotch, Llc Apparatus, system, and method for preventing vehicle door related accidents
US10061326B2 (en) * 2015-12-09 2018-08-28 International Business Machines Corporation Mishap amelioration based on second-order sensing by a self-driving vehicle
US10789840B2 (en) * 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
DE102016220947A1 (de) * 2016-10-25 2018-06-28 Ford Global Technologies, Llc Fahrerassistenzsystem
KR20180071663A (ko) * 2016-12-20 2018-06-28 현대자동차주식회사 차량 및 그 제어방법
US10782138B2 (en) * 2017-10-06 2020-09-22 Here Global B.V. Method, apparatus, and computer program product for pedestrian behavior profile generation
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US10915101B2 (en) * 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104470781A (zh) * 2012-06-01 2015-03-25 谷歌公司 基于替代数据推断交通信号状态和车辆环境的其他方面
US20140232869A1 (en) * 2013-02-20 2014-08-21 Magna Electronics Inc. Vehicle vision system with dirt detection
US20140379233A1 (en) * 2013-06-19 2014-12-25 Magna Electronics Inc. Vehicle vision system with collision mitigation

Also Published As

Publication number Publication date
US10632913B2 (en) 2020-04-28
US20190315274A1 (en) 2019-10-17
CN110371018B (zh) 2022-11-08
DE102019108610A1 (de) 2019-10-17

Similar Documents

Publication Publication Date Title
CN106994968B (zh) 自动车辆控制系统和方法
CN110248861B (zh) 在车辆操纵过程中使用机器学习模型来引导车辆
CN110371018A (zh) 使用其他车辆车灯的信息改善车辆行为
US10457294B1 (en) Neural network based safety monitoring system for autonomous vehicles
CN111052022B (zh) 自主交通工具碰撞缓解系统及方法
US20210064030A1 (en) Driver assistance for a vehicle and method for operating the same
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
CN109421738A (zh) 用于监视自主车辆的方法和装置
CN112989907A (zh) 使用空间模型的基于神经网络的注视方向确定
US10600257B2 (en) Method and apparatus for monitoring of an autonomous vehicle
CN113950702A (zh) 在视频分析应用中使用相关滤波器的多对象跟踪
CN113767389A (zh) 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
CN109421742A (zh) 用于监测自主车辆的方法和设备
CN109421630A (zh) 用于监测自主车辆的健康的控制器架构
CN113968215A (zh) 用于人行横道风险评估和方向警告的系统和方法
US10852734B2 (en) Autonomous driving device
CN109300324A (zh) 一种无人驾驶汽车的环境信息获取方法及装置
US20200247415A1 (en) Vehicle, and control apparatus and control method thereof
CN114550736A (zh) 用于自主驾驶应用的应急响应车辆检测
CN114270294A (zh) 使用眩光作为输入的注视确定
US20210039638A1 (en) Driving support apparatus, control method of vehicle, and non-transitory computer-readable storage medium
CN109841088A (zh) 车辆驾驶辅助系统及方法
CN115718302A (zh) 使用LiDAR数据进行的用于自主机器应用的对象跟踪
CN114365208B (zh) 驾驶辅助装置、驾驶辅助方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant