CN106891888A - 车辆转向信号检测 - Google Patents

车辆转向信号检测 Download PDF

Info

Publication number
CN106891888A
CN106891888A CN201611138148.7A CN201611138148A CN106891888A CN 106891888 A CN106891888 A CN 106891888A CN 201611138148 A CN201611138148 A CN 201611138148A CN 106891888 A CN106891888 A CN 106891888A
Authority
CN
China
Prior art keywords
vehicle
signal indicator
state
direction signal
subdivision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611138148.7A
Other languages
English (en)
Other versions
CN106891888B (zh
Inventor
艾希莉·伊丽莎白·米克斯
哈珀丽特辛格·班瓦伊特
吉内什·J·杰恩
布里勒·赖夫
斯内哈·卡德托塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN106891888A publication Critical patent/CN106891888A/zh
Application granted granted Critical
Publication of CN106891888B publication Critical patent/CN106891888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0255Automatic changing of lane, e.g. for passing another vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects

Abstract

用于检测车辆的转向信号状态以避免在车道切换操纵或其他情况期间发生碰撞的系统、方法和装置。一种方法包括在第一车辆处检测相邻车道中第二车辆的存在。该方法包括在第二车辆的图像中识别包含第二车辆的转向信号指示器的子部分。该方法包括处理图像的子部分以确定转向信号指示器的状态。该方法还包括基于转向信号指示器的状态而在第一车辆处通知驾驶员或执行驾驶操纵。

Description

车辆转向信号检测
技术领域
本公开总体上涉及用于自动驾驶或用于辅助驾驶员的方法、系统和装置,并且更具体地涉及用于检测车辆的转向信号状态以避免在车道切换操纵或其他情况期间发生碰撞的方法、系统和装置。
背景技术
机动车辆为商业、政府和私营企业提供很大一部分运输。自主车辆和驾驶辅助系统目前正在被开发和部署以提供安全性、减少所需的用户输入的量、或甚至完全消除用户参与。例如,一些驾驶辅助系统,例如防撞系统,当人正在驾驶时可以监测车辆和其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将发生时,防撞系统可以干预并施加制动,使车辆转向,或执行其他避免或安全操纵。作为另一个示例,自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。然而,由于驾驶涉及的危险和车辆的费用,非常重要的是,即使在自主车辆和人驾驶的车辆都存在的情况下,自主车辆和驾驶辅助系统安全地操作并且能够准确地导航道路并避开其他车辆。在两辆车辆(例如自主车辆和非自主车辆)可能试图合并到同一车道中或在彼此附近变道的车道切换、合并、或其他道路操纵的情况下,重要的是,检测其他车辆的状态——包括其转向信号状态——以避免碰撞。
发明内容
根据本发明,提供一种方法,该方法包含:
在第一车辆处检测相邻车道中第二车辆的存在;
在第二车辆的图像中识别包含第二车辆的转向信号指示器的子部分;
处理图像的子部分以确定转向信号指示器的状态;以及
基于转向信号指示器的状态而在第一车辆处通知驾驶员或执行驾驶操纵。
根据本发明的一个实施例,其中:
识别包含转向信号指示器的子部分包含利用经训练的神经网络来处理第二车辆的图像以识别一个或多个关注的转向信号区域;以及
处理图像的子部分包含处理图像中包含一个或多个关注的转向信号区域的一部分。
根据本发明的一个实施例,其中处理图像的子部分包含利用经训练的神经网络来处理子部分以确定一个或多个转向信号指示器的状态。
根据本发明的一个实施例,该方法进一步包含基于转向信号指示器的状态来确定第一车辆的驾驶操纵。
根据本发明的一个实施例,其中确定驾驶操纵包含将转向信号指示器的状态提供至变道决策矩阵并且处理变道决策矩阵以选择驾驶操纵。
根据本发明的一个实施例,其中通知驾驶员包含通知驾驶员所确定的驾驶操纵。
根据本发明的一个实施例,该方法进一步包含基于转向信号指示器的状态来预测第二车辆的未来运动。
根据本发明的一个实施例,其中预测未来运动包含预测从相邻车道变道至与第一车辆相同的车道。
根据本发明的一个实施例,其中通知驾驶员包含通知驾驶员预测到的第二车辆的未来运动。
根据本发明的一个实施例,该方法进一步包含确定对应于转向信号指示器的状态的第一车辆的运动方向。
根据本发明,提供一种用于车辆的驾驶控制系统,该系统包含:
一个或多个传感器,该一个或多个传感器用于获取车辆附近的区域中的传感器数据,该一个或多个传感器包含摄像机;
边界部件,该边界部件被配置为识别图像中包含邻近车辆的转向信号指示器的子部分;
转向信号部件,该转向信号部件被配置为处理图像的子部分以确定转向信号指示器的状态;以及
驾驶操纵部件,该驾驶操纵部件被配置为基于转向信号指示器的状态来确定第一车辆的驾驶操纵。
根据本发明的一个实施例,其中驾驶操纵包含建议的驾驶操纵,该驾驶控制系统进一步包含通知部件,该通知部件被配置为向人类驾驶员或自动驾驶系统提供建议的驾驶操纵。
根据本发明的一个实施例,其中:
边界部件被配置为通过利用经训练的神经网络来处理邻近车辆的图像以识别一个或多个关注的转向信号区域以识别包含转向信号指示器的子部分;以及
转向信号部件被配置为通过处理图像中包含一个或多个关注的转向信号区域的一部分来处理图像的子部分。
根据本发明的一个实施例,进一步包含检测部件,该检测部件被配置为确定邻近车辆在相对于车辆的危险区域内,其中该驾驶控制系统被进一步配置为响应于检测部件确定邻近车辆在危险区域内而获取图像。
根据本发明的一个实施例,该驾驶控制系统进一步包含检测部件,该检测部件被配置为确定车辆和邻近车辆中的一个或多个的车道。
一种计算机可读存储介质,该计算机可读存储介质存储指令,当指令由一个或多个处理器执行时,使一个或多个处理器:
在第一车辆处获取第一车辆附近的道路上第二车辆的多个图像;
识别多个图像中包含第二车辆的转向信号指示器的子部分;
处理多个图像的子部分以确定转向信号指示器的状态;以及
基于转向信号指示器的状态来预测第二车辆的驾驶操纵。
根据本发明的一个实施例,其中指令进一步使一个或多个处理器基于预测到的第二车辆的驾驶操纵来确定第一车辆的驾驶操纵。
根据本发明的一个实施例,其中指令进一步使一个或多个处理器基于转向信号指示器来确定是否使第一车辆执行变道。
根据本发明的一个实施例,其中指令进一步使一个或多个处理器确定第二车辆是以下情况中的一种或多种:
在紧邻第一车辆的车道的车道中;
在沿着道路与第一车辆类似的方向上行驶;以及
在第一车辆的危险区域内,其中危险区域对应于第一车辆与第二车辆之间存在碰撞风险的区域。
根据本发明的一个实施例,其中指令进一步使一个或多个处理器确定转向信号指示器的状态对应于第一车辆的运动方向。
附图说明
本发明的非限制性和非穷尽性的实施方式参照以下附图进行描述,贯穿几个视图,附图中相同的附图标记指代相同的部件,除非另有说明。参考以下说明书和附图,本发明的优点将变得更好理解,附图中:
图1是说明包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图;
图2是说明多车道道路上的车辆的俯视图的示意图;
图3说明了道路上的车辆的透视图;
图4说明了道路上的车辆的透视图;
图5是根据一个实施方式说明做出驾驶操纵决策的示意性框图;
图6是根据一个实施方式说明驾驶员意图部件的示例部件的示意性框图;以及
图7是根据一个实施方式说明用于做出驾驶员决策的一种方法的示意性框图。
具体实施方式
申请人已经认识到,至少在自主和手动驾驶的车辆都将在道路上的任何过渡时期期间,重要的是,自主车辆准确地预测人类驾驶员的动作。另一驾驶员所使用的车辆的转向信号的检测增加对操纵机动车辆的那个驾驶员的未来动作的确定性。这在两辆车辆(例如自主车辆和非自主车辆)可能试图合并到同一车道中或在彼此附近变道的公路车道切换的情况下可能是有用的。通过检测其他车辆的转向信号,自主车辆可以检测其他车辆是否正在试图进入其预期的路径并且因此避免可能的碰撞。对于正在执行变道或其他操作的驾驶员辅助的车辆而言,这种检测可能也是有益的。一旦识别出其驾驶员意图变道(例如,基于辅助的车辆上转向信号的激活),如果预测另一车辆移动进入同一车道,则辅助的车辆就可以通知其驾驶员。
本公开提供了用于自主驾驶系统或驾驶辅助系统以预测或检测附近车辆的变道的系统、方法和装置。在一个实施例中,系统利用外部车辆的转向信号的状态以便预测该车辆在公路变道操纵中做出决策的运动。辅助的车辆可以配备有360度感测系统,包括但不限于,摄像机、激光雷达(LIDAR)、雷达、和/或其他测距或成像传感器。利用深层神经网络的计算机视觉和传感器融合算法可以被训练以识别车辆上关注的转向信号区域。神经网络也可以被用来识别转向信号是否打开,可能通过比较车辆的可见的转向信号,车辆的可见的转向信号可能不是同时被全部激活。在一个实施例中,该系统可以被配置为执行以下操作:定位在相邻车道中移动的附近车辆;定位和确定相邻车辆上可见的转向信号的边界框;将转向信号边界框内的图像数据发送到计算机视觉算法以识别哪一个信号正在使用中;并且将转向信号状态输入到变道决策矩阵中使得该系统、或另一系统可以做出变道或驾驶操纵决策。即使在另一车辆错误地打开转向信号指示器或驾驶员只是忘了将其关闭的条件下,该信息由于对以下情况的指示可能是有用的:过多关注该车辆并且密切跟踪它的潜在同时合并直到转向信号指示器被关闭或另一车辆在可能的危险区域之外。
在下面的公开内容中,参考附图,附图形成公开的一部分并且在附图中通过例证示出可以实践本发明的特定实施方式。应当理解的是,在不脱离本发明的范围的前提下,可以利用其他实施方式并且可以进行结构变化。说明书中引用“一个实施例”、“一实施例”,“一个示例实施例”等表明所描述的实施例可以包括特定特征、结构或特性,但每一个实施例可能未必包括特定特征、结构或特性。另外,这样的短语未必是指同一实施例。此外,当特定特征、结构、或特性关于一个实施例进行描述时,可以主张的是,无论是否明确描述,关于其他实施例改变这样的特征、结构或特性在本领域技术人员的知识的范围之内。
如本文所使用的,“自主车辆”可以是完全不受人类驾驶员的支配作用或操作的车辆;或者可以是在一些情况下不受人类驾驶员的支配作用或操作而在其他情况下人类驾驶员能够操作车辆的车辆;或者可以是主要由人类驾驶员但在自动驾驶/辅助系统的辅助下操作的车辆。
本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机,专用或通用计算机包括计算机硬件,诸如,例如,一个或多个处理器和系统存储器,如下面更详细讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此,举例来说,而非限制,本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如,基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。
本文所公开的装置、系统和方法的实施方式可以在计算机网络上进行通信。“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供至计算机时,计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路,网络和/或数据链路可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问。上述组合也应该被包括在计算机可读介质的范围之内。
计算机可执行指令包含例如指令和数据,当该指令和数据在处理器中执行时,使通用计算机、专用计算机、或专用处理设备来执行某些功能或功能组。计算机可执行指令可以是例如二进制、例如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述,但是应当理解的是,在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反,所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将领会的是,本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践,包括仪表板计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储设备和诸如此类。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践,本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中,程序模块可以位于本地和远程存储器存储设备中。
此外,在适当情况下,本文所描述的功能可以在下列中的一种或多种中执行:硬件、软件、固件、数字部件、或模拟部件。例如,一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个以下说明书和权利要求书中,某些术语被用来指代特定的系统部件。本领域技术人员将领会的是,部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。
现在参照附图,图1说明了车辆控制系统100,该车辆控制系统100包括自动驾驶/辅助系统102。该自动驾驶/辅助系统102可以被用于自动、辅助或控制车辆——例如,小汽车、卡车、厢式货车、公共汽车、大卡车、应急车辆或用于运输人或货物的任何其他机动车辆——的操作,或给人类驾驶员提供辅助。例如,该自动驾驶/辅助系统102可以控制制动、转向、加速、灯、警报、驾驶员通知、无线电或车辆的任何其它辅助系统中的一个或多个。在另一个示例中,自动驾驶/辅助系统102可能无法提供对驾驶(例如,转向、加速或制动)的任何控制,但可以提供通知和警报以帮助人类驾驶员安全地驾驶。自动驾驶/辅助系统102包括驾驶员意图部件104,该驾驶员意图部件104可以基于下列中的一个或多个来预测其他车辆的未来运动:转向信号指示器和车辆运动。例如,驾驶员意图部件104可以基于不同车辆的转向信号状态来估计不同车辆(例如,不包括车辆控制系统100的车辆)的驾驶员的意图。
车辆控制系统100还包括用于检测附近对象的存在或确定母车辆(例如,包括车辆控制系统100的车辆)或附近对象的位置的一个或多个传感器系统/设备。例如,车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括数据存储器116,该数据存储器116用于存储用于导航和安全性的相关或有用数据,例如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其它通信系统进行无线通信的收发器118。车辆控制系统100可以包括车辆控制致动器120以控制车辆的驾驶的各个方面,例如电动马达、开关或其它致动器,以控制制动、加速、转向或诸如此类。车辆控制系统100还可以包括一个或多个显示器122、扬声器124、或其它设备以便可以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕、或任何其它视觉指示器,其可以被车辆的驾驶员或乘客看到。扬声器124可以包括车辆的音响系统的一个或多个扬声器,或者可以包括专用于驾驶员通知的扬声器。
可以领会的是,图1的实施例仅通过举例的方式给出。在不脱离本发明的范围的前提下,其他实施例可以包括更少或附加的部件。此外,示出的部件可以被组合或包括在其它部件内,而非限制。例如,驾驶员意图部件104可以与自动驾驶/辅助系统102分开并且数据存储器116可以被包括作为自动驾驶/辅助系统102的一部分和/或驾驶员意图部件104的一部分。
雷达系统106可以包括本领域中公知的任何雷达系统。一般情况下,雷达系统106通过发送无线电信号和探测对象的反射来操作。在地面应用中,雷达可以被用于探测物理对象,例如其他车辆、停车壁障或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。雷达系统106可以利用反射的无线电波来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如,雷达系统106可以扫描区域以获得特定范围和雷达系统106的视角内关于对象的数据。在一个实施例中,雷达系统106被配置为生成来自车辆附近的区域——例如车辆附近或周围的一个或多个区域——的感知信息。例如,雷达系统106可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。雷达系统106可以包括许多广泛市售的雷达系统之一。在一个实施例中,雷达系统106可以将包括二维或三维地图或模型的感知数据提供到自动驾驶/辅助系统102,以供参考或处理。
LIDAR系统108可以包括本领域的任何LIDAR系统。一般情况下,LIDAR系统108通过发射可见波长或红外波长激光并探测从对象反射的激光来操作。在地面应用中,激光可以被用于探测物理对象,例如其他车辆、停车壁障或停车轮挡、风景(例如树、悬崖、岩石、山或诸如此类)、道路边缘、标志、建筑物或其他对象。LIDAR系统108可以利用反射的激光来确定关于物理对象或材料的大小、形状、距离、表面纹理、或其他信息。例如,LIDAR系统108可以扫描区域以获取LIDAR系统108的特定范围和视角内的数据或对象。例如,LIDAR系统108可以获取关于紧邻或靠近车辆的地面或垂直区域的区域的数据。LIDAR系统108可以包括许多广泛市售的LIDAR系统之一。在一个实施例中,LIDAR系统108可以提供包括探测到的对象或表面的二维或三维模型或地图的感知数据。
摄像机系统110可以包括一个或多个摄像机,例如可见波长摄像机或红外摄像机。摄像机系统110可以提供视频馈送或周期性图像,该视频馈送或周期性图像可以被处理用于对象检测、道路识别和定位、或其他检测或定位。在一个实施例中,摄像机系统110可以包括两个或更多个摄像机,该两个或更多个摄像机可以被用于提供视野内对象的测距(例如,检测距离)。在一个实施例中,图像处理可以被用于拍摄的摄像机图像或视频上以检测车辆、转向信号、驾驶员、驾驶员的姿势和/或肢体语言。在一个实施例中,摄像机系统100可以包括获取车辆周围的两个或更多个方向的图像的摄像机。
GPS系统112是可以基于卫星或无线电塔信号来提供车辆的地理位置的定位系统的一个实施例。GPS系统112是公知的并且在本领域中广泛可用的。虽然GPS系统112可以提供非常准确的定位信息,但是GPS系统112总体上提供关于车辆与其他对象之间的距离的很少的信息或不提供关于车辆与其他对象之间的距离的信息。相反,它们仅提供位置,该位置然后可以与其它数据——例如地图——进行比较以确定与其他对象、道路、或关注的位置的距离。
超声系统114可以被用于利用超声波来检测对象或车辆与对象之间的距离。例如,超声系统114可以从车辆的保险杠或侧板位置上或附近的位置发射超声波。超声波——其可以通过空气传播短距离——可以从其它对象反射并且被超声系统114检测到。基于发射和反射的超声波的接收之间的时间的量,超声系统114可以能够检测保险杠或侧板与任何其它对象之间的准确距离。由于其较短的范围,超声系统114对于在驻车期间检测对象或在行驶期间检测即将发生的碰撞可能更有用。
在一个实施例中,雷达系统106、LIDAR系统108、摄像机系统110和超声系统114可以检测车辆附近的环境属性或障碍物。例如,系统106-110和114可以检测其他车辆、行人、人、动物、多个车道、车道宽度、路肩宽度、路面曲率、道路方向曲率、停车振动带(rumblestrip)、车道标记、交叉口的存在、道路标志、桥梁、天桥、壁障、中央隔离帯(median)、路缘、或关于道路的任何其他细节。作为另一示例,系统106-110和114可以检测环境属性,该环境属性包括关于道路附近的结构、对象或表面的信息,例如驾驶道、停车场、停车场出口/入口、人行道、通道、树木、栅栏、建筑物、停放的车辆(在道路上或道路附近)、门、标志、停车带或任何其它结构或对象的存在。
数据存储器116存储地图数据、驾驶历史和其他数据,该其他数据可以包括用于自动驾驶/辅助系统102的其他导航数据、设置或操作指令。地图数据可以包括道路、停车场、停车位、或可以驾驶或停放车辆的其他位置的位置数据,例如GPS位置数据。例如,道路的位置数据可以包括特定车道的位置数据,例如车道方向、合并车道、公路或高速公路车道、出口车道或任何其他车道或道路的分支。位置数据也可以包括停车场中一个或多个停车位位置或沿着道路的停车位位置。在一个实施例中,地图数据包括关于道路或停车位置上或附近的一个或多个结构或对象的位置数据。例如,地图数据可以包括关于GPS标志位置、桥位置、建筑物或其他结构位置或诸如此类的数据。在一个实施例中,地图数据可以包括精度在几米范围内或在亚米精度范围内的准确位置数据。地图数据还可以包括用于陆地车辆可以行驶的路径、土路、或其他道路或路径的位置数据。
收发器118被配置为从一个或多个其它数据或信号源接收信号。收发器118可以包括被配置为根据多种通信标准和/或使用多种不同的频率进行通信的一个或多个无线电装置。例如,收发器118可以从其他车辆接收信号。从另一车辆接收信号在此指代车辆与车辆(V2V)通信。在一个实施例中,收发器118也可以被用来将信息传送到其它车辆,以潜在辅助它们定位车辆或对象。在V2V通信期间,收发器118可以接收来自其他车辆有关其位置、先前位置或状态、其他交通、事故、道路条件、停车壁障或停车轮挡的位置、或可以辅助车辆和/或自动驾驶/辅助系统102准确或安全驾驶的任何其他详细信息。例如,收发器118可以接收更新的模型或算法以便通过驾驶员意图部件104用于检测车辆运动、转向信号、或另一车辆的驾驶员的肢体语言。
收发器118可以从固定位置处的其他信号源接收信号。基础设施收发器可以被定位在特定地理位置处并且可以传送带时间戳的其特定地理位置。因此,自动驾驶/辅助系统102可以能够基于时间戳来确定距基础设施收发器的距离,并且然后基于基础设施收发器的位置来确定其位置。在一个实施例中,从固定位置处的设备或塔接收或发送位置数据在此指代车辆与基础设施(V2X)通信。V2X通信也可以被用于提供关于其他车辆的位置、它们的先前状态或诸如此类的信息。例如,V2X通信可以包括关于在交叉口处车辆已停车或等待多长时间、公路入口匝道信号或诸如此类的信息。在一个实施例中,术语V2X通信也可以包含V2V通信。
在一个实施例中,自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如,自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、通过交叉口、行车道或其它位置的路径上行驶。例如,自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定行驶路径和速度。作为另一个示例,自动驾驶/辅助系统102可以确定何时变道、合并、或何时为另一车辆变道留下空间、或诸如此类。
在一个实施例中,驾驶员意图部件104被配置为确定附近车辆的驾驶员的意图和/或预测车辆在人类驾驶员的控制下的未来运动和运动的时间。例如,驾驶员意图部件104被配置为确定是否变道或确定变道的时间。
图2是道路200的示意性俯视图,车辆202在该道路上行驶。车辆202正在道路200的第一车道208中行驶。道路还包括具有与第一车道208相同的行驶方向的第二车道210和第三车道212。附加车辆204和206也沿着道路200在第三车道212中行驶。车辆202可以包括图1的系统100。在一个实施例中,一个或多个传感器(例如摄像机系统110)可以收集道路200和车辆202周围的区域的感知数据。摄像机系统110、LIDAR系统108、雷达系统106或其它系统的观察区域可以在车辆202周围的任何方向或所有方向上延伸。车辆202或车辆202的驾驶员意图部件104可以接收来自传感器的感知数据并且检测车辆202的观察范围内其他车辆、对象、表面或诸如此类的存在。例如,车辆202可以检测和识别作为附近车辆的附加车辆204和206。
在一个实施例中,车辆202可以检测在道路200的其他车道中附加车辆204和206的存在。在一个实施例中,车辆202可以拍摄附加车辆的一个或多个图像并且识别拍摄到的图像中对应于图像中可见的其他车辆上的转向信号的位置的子部分。例如,车辆202可以利用神经网络来处理拍摄到的图像以识别可能对应于转向信号的位置的区域。车辆202可以分析或处理感知数据(或图像)的子部分以确定转向信号的状态。基于转向信号的状态,车辆202可以通知驾驶员延迟变道进入第二车道210或可以使自主驾驶系统延迟变道进入第二车道210。
图1的车辆控制系统100可以帮助提醒或阻止车辆202与另一车辆同时合并进入车道中,或者可以提醒驾驶员或使车辆202减速或加速以允许另一车辆合并进入车辆202的当前车道中,例如208。车辆正在变道的通知和确定可以帮助减少沿着道路在相同或类似的方向上行驶的移动车辆之间的事故。例如,车辆202可以检测附加车辆204何时打开左转信号,并且因此车辆202应该等待或避免变道进入第二车道210。如果附加车辆204已经在第二车道210中,则车辆202可以检测车辆204的左转信号并且通知驾驶员(或自动驾驶系统)车辆202应该减速以让附加车辆204进入到车辆202前方的第一车道208中。作为另一个示例,车辆202可以检测附加车辆206正在从第三车道212变到第二车道210。如果附加车辆206在第二车道210内左转信号打开,则车辆202可以加速以允许附加车辆206进入到第一车道208中在车辆202后方。
除了转向信号状态之外,车辆控制系统100可以确定关于附加车辆204和206的运动的一个或多个细节。例如,车辆控制系统100可以检测附加车辆204和206的相对速度、方向、或其他运动。这些运动细节可以进一步告知车辆202是否应该执行变道、减速、加速、或其他驾驶操纵以避免碰撞或保持车辆之间的安全行驶距离。
图3说明了可以通过车辆控制系统100的摄像机拍摄的图像300的透视图。图像300示出了车辆302的后侧。图像的子部分304包括车辆302的转向信号。在一个实施例中,车辆控制系统100可以将子区域304识别为待处理用于确定转向信号的状态的区域。例如,车辆控制系统100可以产生包括子区域304的边界框并且将边界框内的图像内容馈送到已被训练的神经网络以检测转向信号状态。基于转向信号指示器的状态,车辆控制系统100可以确定车辆302即将变道或可以留出距离以允许车辆302变道。即使转向信号被无意中打开或忘关,车辆控制系统100为车辆302留下一些空间可以是有益的。例如,疏忽的转向信号可能表明,由于疏忽的人类操作员或自动驾驶系统的软件错误,车辆302的运动可能是不可预测的。
图4说明了可以通过车辆控制系统100的摄像机拍摄的图像400的另一透视图。图像400示出了车辆402的左前视图。例如,当车辆402在母车辆后方并且在其右侧时,车辆上的后向或侧向摄像机可以拍摄到该图像400。在一个实施例中,车辆控制系统100可以将第一子区域404和第二子区域406识别为待处理用于确定转向信号的状态的区域。例如,车辆控制系统100可以产生包括子区域404和406的边界框,并且将边界框内的图像内容馈送到已被训练的神经网络以检测转向信号状态。
在图像400中,仅第二子区域406包括转向信号,特别是车辆402的左转信号408。车辆402的右转信号在视野之外,并且在第一子区域404中实际上不可见。因此,仅转向信号中的一个的状态可以被检测到,即左转信号408。车辆控制系统100可以检测左转信号408的状态并且确定其他转向信号无法检测到。基于左转信号408的状态,车辆控制系统100可以能够预测车辆402的一个或多个动作。例如,如果左转信号408正在闪烁,则车辆控制系统100可以确定车辆402正在准备切换到车辆402左侧的车道中,或者可以确定车辆402的危险灯闪烁,并且因此车辆的驾驶员可能很匆忙并且应该提供空间以允许车辆402行驶。另一方面,如果左转信号408不闪烁,则车辆控制系统100可以确定车辆402将可能保持在同一车道或移动到车辆的右侧的车道。因为呆在同一车道或向右移动可以表明车辆402不太可能做出对拍摄图像400的车辆构成威胁或不安全的运动。
图5是说明用于对驾驶操纵做出决策的方法500的示意性框图。在502,获取感知数据,例如摄像机数据、LIDAR数据、雷达数据和超声数据,并且在504,驾驶员意图部件104基于感知数据来识别和定位车辆。例如,驾驶员意图部件104可以识别对应于车辆的观察区域的区域或对应于车辆的图像的区域,并且可以定位同一车道或相邻车道中的车辆。例如,驾驶员意图部件104可以识别其他车辆相对于驾驶员意图部件104的母车辆的车道。相邻车道可以包括紧邻车道(例如,在车辆的当前车道的右侧或左侧)或可以包括从车辆偏移一个或多个车道的车道(例如,在当前车道的右侧或左侧的两个车道)。在506,驾驶员意图部件104找到摄像机数据中的图像上包括或可能包括定位的车辆的可见的转向信号的关注区域。例如,驾驶员意图部件104可以将由摄像机拍摄到的图像馈送到神经网络,该神经网络识别包括或可能包括车辆转向信号的区域。
关注区域可以包括前保险杠或后保险杠、前照灯、和/或尾灯附近的区域。在508,驾驶员意图部件104还确定转向信号状态或识别可见的转向信号的状态。例如,在508,驾驶员意图部件104可以确定转向信号指示器是否关闭或正在闪烁。此外,驾驶员意图部件104可以确定作为左前、右前、左后和/或右后转向信号的可见的转向信号的识别。此外,驾驶员意图部件104可以确定不可见的转向信号的识别(例如,左前、右前、左后和/或右后转向信号)。在510,驾驶员意图部件104然后可以将转向信号状态和/或转向信号识别提供至决策矩阵。该决策矩阵可以包括在确定车辆的未来操纵时可以考虑的多个值。例如,矩阵可以被用来确定是否变道、加速、减速或执行任何其他操纵或操纵的组合。在一个实施例中,矩阵可以被用来确定提供给车辆的驾驶员什么通知。例如,可能的通知可以包括盲点提醒、变道指令、或对人类驾驶员的任何其他通知或警告。
图6是根据一个实施例说明驾驶员意图部件104的部件的示意性框图。驾驶员意图部件104包括感知数据部件602、检测部件604、边界部件606、转向信号部件608、车辆运动部件610、预测部件612、驾驶操纵部件614和通知部件616。部件602-616仅以说明的方式给出,并且可以不全部都被包括在所有实施例中。实际上,一些实施例可以包括部件602-616中的仅一个或两个或更多个的任何组合。部件602-616中的一些可以位于驾驶员意图部件104外部,例如在自动驾驶/辅助系统102内或其他地方。
感知数据部件602被配置为接收来自车辆的一个或多个传感器系统的传感器数据。例如,感知数据部件602可以接收来自雷达系统106、LIDAR系统108、摄像机系统110、GPS112、超声系统114以及诸如此类的数据。在一个实施例中,感知数据可以包括车辆附近的一个或多个区域的感知数据。例如,车辆的传感器可以提供车辆周围的360度视野。在一个实施例中,摄像机系统110拍摄车辆的图像。例如,拍摄到的图像的车辆可以接近驾驶员意图部件104的母车辆。在一个实施例中,摄像机系统110拍摄邻近车辆的图像,该邻近车辆在与母车辆相同的车道中或在车辆附近的车道中并且正在与母车辆相同的方向上行驶。
检测部件604被配置为检测一个或多个附近车辆的存在。在一个实施例中,检测部件604基于由感知数据部件602收集到的感知数据来检测附近车辆。例如,检测部件604可以检测关于车辆的大小的移动对象,或者可以利用由摄像机系统110获取的图像上的对象识别来检测车辆。在一个实施例中,检测部件604可以检测车道线或诸如此类,以检测车道或其它物理特征以相对于母车辆定位车辆。
在一个实施例中,检测部件604被配置为确定车辆和邻近车辆中的一个或多个的车道。例如,检测部件604可以确定母车辆是在第一车道中,并且检测到的邻近车辆是在邻近第一车道的第二车道或第三车道中。在一个实施例中,检测部件604被配置为确定邻近车辆是否处于母车辆的当前车道的相邻车道中。相邻车道可以是紧邻当前车道的车道,或者可以偏离一个或多个中间车道。
在一个实施例中,检测部件604可以确定检测到的车辆是否在母车辆的危险区域内。该危险区域可以是母车辆的阈值距离内的区域。在一个实施例中,阈值距离可以基于速度或当前道路条件而改变。该危险区域可以包括母车辆和检测到的车辆之间存在碰撞风险的区域。在一个实施例中,检测部件604还可以确定车辆是否正在与母车辆相同或类似的方向上移动。例如,检测部件604可以确定邻近车辆是否正在沿着道路与母车辆相同的方向上行驶。
边界部件606被配置为识别感知数据中对应于或可能对应于转向信号的位置的子区域。在一个实施例中,边界部件606被配置为在图像或其他感知数据内定位一个或多个车辆。例如,对象识别算法可以被用于将检测到的对象或障碍物识别为车辆。在一个实施例中,边界部件606可以识别车辆的边界并且识别该区域中对应于车辆的像素或对象。边缘或边界发现图像处理算法可以被用于找到车辆的边缘。
在一个实施例中,边界部件606被配置为识别图像(或多个图像)上包含车辆的转向信号指示器的子部分。例如,图像的子部分可以包括定位在车辆的前部、后部或任何其它位置上的转向信号指示灯。在一个实施例中,子部分可以包括保险杠上或其附近的区域、和/或车辆的前照灯或尾灯附近的区域。在一个实施例中,边界部件606可以利用对象识别或边缘检测图像处理算法来识别图像上包含转向信号的子部分。例如,边界部件606可以识别指示灯、前照灯、尾灯或诸如此类的边缘或边界。在一个实施例中,边界部件606被配置为通过利用经训练的神经网络处理邻近车辆的图像以识别一个或多个关注的转向信号区域来识别包含转向信号指示器的子部分。在一个实施例中,边界部件606可以确定转向信号指示器周围的区域或者大于转向信号指示器的区域,以便即使边界没有被完全对齐或者在转向信号指示器上居中,转向信号指示器的状态也可以被准确地确定。
转向信号部件608被配置为确定邻近车辆的转向信号的状态。例如,转向信号部件608可以确定位于母车辆附近相同或相邻车道中的车辆的一个或多个转向信号的状态。在一个实施例中,转向信号部件608可以处理由边界部件606确定的一个或多个子区域以确定转向信号指示器的状态。例如,转向信号部件608可以基于转向信号指示器的一个或多个图像来检测转向信号指示器是否正在发光或闪烁。在一个实施例中,转向信号部件608被配置为利用经训练的神经网络来处理图像的子部分以确定一个或多个转向信号指示器的状态。
在一个实施例中,转向信号部件608可以确定左转向信号指示器和右转向指示器中的一个或多个是否打开或正在闪烁。例如,转向信号指示器608可以确定是否仅左转向信号指示器正在闪烁、仅右转向信号指示器正在闪烁、左转向信号指示器和右转向信号指示器都正在闪烁、或者左转向信号指示器和右转向信号指示器都不闪烁。在一个实施例中,转向信号部件608也可以确定车辆的转向信号指示器中的一些是否在图像中不可见。例如,转向信号部件608可以确定特定的转向信号指示器具有未知的状态,因为它不可见,或由于一些其他原因而未知。
车辆运动部件610被配置为检测邻近车辆的一个或多个运动。例如,车辆运动部件610可以基于由感知数据部件602接收到的感知数据或其他传感器数据来检测邻近车辆的运动。在一个实施例中,车辆运动部件610可以确定邻近车辆的加速度、减速度、转向或诸如此类中的一个或多个。在一个实施例中,车辆运动部件610可以检测到车辆正在与母车辆相同或相似的方向上行驶。例如,车辆运动部件610可以确定邻近车辆正在相同方向上沿着道路行驶,尽管车辆在与母车辆相同或不同的车道中。
边界部件606、转向信号部件608和/或车辆运动部件610可以包括模型、神经网络、机器学习的参数或诸如此类以检测肢体语言、转向信号状态和车辆运动。例如,引导或非引导的机器学习算法可以处理来自真实世界或虚拟环境的感知数据以学习对应于肢体语言、转向信号状态或车辆运动的形状、运动或其他图像内容。这些机器学习算法的结果可以被包括在模型或数据库中,以供相应的部件使用,以在车辆行驶期间检测肢体语言、转向信号状态或车辆运动。
预测部件612可以基于转向信号部件608、车辆运动部件610和/或其他信息的确定来推断驾驶员的意图或预测附近车辆的未来运动。例如,预测部件612可以基于转向信号指示器的状态和/或检测到的车辆运动来预测未来运动和/或未来运动的时间。在一个实施例中,预测部件612确定驾驶员的意图或预测未来运动。例如,预测部件612可以确定驾驶员打算执行的时间和运动。示例运动可以包括转向到不同的道路上、在交叉口处等待、与车流合并、变道、离开道路、进入道路、停放车辆、离开停车位或诸如此类。
在一个实施例中,预测部件612参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如,预测部件612可以基于检测到的车辆运动和/或转向信号的状态利用已被训练的神经网络来确定未来车辆运动。在一个实施例中,数据库或模型还基于当前驾驶情景关联驾驶员的意图或未来驾驶操纵。例如,基于附近车辆或母车辆是否停在交叉口处、接近交叉口、随着一个或多个附近车辆驶离道路、合并到道路上、离开道路、进入停车场或停车位、离开停车场或停车位、或诸如此类,相同的姿势可以是指不同的意思。因此,姿势和当前驾驶情景可以被用于精确地推断驾驶员的意图或预测未来驾驶操作。预测部件612可以向驾驶操纵部件614或自动驾驶/辅助系统102提供预测的驾驶操纵或驾驶员意图以使其做出由自动驾驶/辅助系统102或母车辆采取的操纵或动作的决策。
在一个实施例中,预测部件612基于由转向信号部件608确定的转向信号指示器的状态来确定驾驶员的意图或预测车辆的未来运动。例如,预测部件612可以预测车辆变道、合并或离开道路的时间和行驶方向。在一个实施例中,预测部件612基于神经网络来参考或处理数据以确定另一车辆的预测的运动或预期的运动。例如,预测部件612可以包括或访问将转向信号状态与一个或多个未来车辆运动相关联的数据库或模型。在一个实施例中,数据库或模型可以将闪光信号灯方向与车辆在该方向上改变方向相关联。在一个实施例中,数据库或模型可以将危险灯的闪烁(例如,两个或所有可检测到的转向信号指示器都闪烁)与车辆在不可预测的方向上快速移动通过道路而没有根据标准协议等待相关联。因此,通过闪烁的危险灯(或闪烁的紧急灯)可以向车辆提供额外距离和余地以移动通过道路。
在一个实施例中,预测部件612基于由车辆运动部件610确定的检测到的车辆的运动来确定驾驶员的意图或预测未来运动。例如,预测部件612可以预测车辆移动通过交叉口的时间和行驶方向。在一个实施例中,预测部件612参考或处理数据库或模型以确定另一车辆的预测的运动或预期的运动。例如,预测部件612可以包括或访问将一个或多个检测到的运动与一个或多个未来运动相关联的数据库或模型。例如,数据库可以包括预测的通过交叉口的未来运动的加速度、速度、减速度或其它运动信息。在一个实施例中,预测部件612可以预测从相邻车道变道进入与第一车辆相同的车道。在一个实施例中,预测部件612可以预测邻近车辆可以在对应于车辆的一侧的方向上变道,在该侧上,转向信号指示器是激活的或闪烁的。
在一个实施例中,预测部件612可以基于来自转向信号部件608、车辆运动部件610的数据以及其他数据的组合来确定驾驶员的意图或车辆的未来运动。例如,神经网络或图解模型可以包括用于转向信号信息和车辆运动中的一个或多个的机器学习值或相关性。
驾驶操纵部件614被配置为基于另一车辆的预测的驾驶员意图或未来驾驶操纵来选择母车辆的驾驶操纵。例如,驾驶操纵部件614可以从预测部件612接收一个或多个附近车辆的一个或多个预测的驾驶操纵。驾驶操纵部件614可以确定行驶路径以避免在其执行预测的驾驶操纵的情况下与其他车辆碰撞。例如,驾驶操纵部件614可以确定是否减速、加速和/或转动母车辆的方向盘。在一个实施例中,驾驶操纵部件614可以确定驾驶操纵的时间。例如,驾驶操纵部件614可以确定母车辆应当等待以执行变道或在特定时间执行变道,因为在该车道中另一车辆可能该车辆附近。
在一个实施例中,驾驶操纵部件614可以直接基于由转向信号部件608、车辆运动部件610和/或驾驶员意图部件104的其他部件收集到的数据来选择驾驶操纵。例如,驾驶操纵部件614可以基于转向信号指示器的状态和/或另一车辆的位置和速度来选择驾驶操纵。在一个实施例中,所选择的驾驶操纵可以是被提供给驾驶员或系统做出驾驶或导航操纵的建议的驾驶操纵。在一个实施例中,驾驶操作部件614可以在决策矩阵中输入或包括来自转向信号部件608、车辆运动部件610、和/或预测部件612的数据或确定。例如,该决策矩阵可以包括被利用神经网络或处理算法处理以确定母车辆应该执行的操纵的矩阵。在一个实施例中,决策矩阵可以包括用于决定是否和/或何时执行变道的矩阵。
通知部件616被配置为向车辆的驾驶员或自动驾驶系统提供一个或多个通知。在一个实施例中,通知部件616可以使用显示器122或扬声器124来向驾驶员提供通知。在一个实施例中,通知可以包括执行操纵的指令或可以提醒另一车辆很可能执行特定操纵或在预测的时间在特定位置。在一个实施例中,通知部件616可以通知驾驶员或自动驾驶系统由驾驶操纵部件614选择或建议的驾驶操纵。在一个实施例中,通知部件616可以通知驾驶员或自动驾驶系统由预测部件612确定的预测到的另一车辆的未来运动。
现在参照图7,说明了根据一个实施例用于做出车辆操纵决策的方法700的示意性流程图。方法700可以由自动驾驶/辅助系统或驾驶员意图部件——例如图1的自动驾驶/辅助系统102或图1或6的驾驶员意图部件104——来执行。
在702,当边界部件606在邻近车辆的图像中识别包含邻近车辆的转向信号指示器的子部分时,方法700开始。在704,转向信号部件608处理图像的子部分以确定转向信号指示器的状态。在706,基于邻近车辆的转向信号指示器的状态,通知部件616通知驾驶员或驾驶操纵部件614使车辆执行驾驶操纵。
示例
以下示例涉及另外的实施例。
示例1是一种方法,该方法包括在第一车辆处检测相邻车道中第二车辆的存在。该方法还包括在第二车辆的图像中识别包含第二车辆的转向信号指示器的子部分。该方法进一步包括处理图像的子部分以确定转向信号指示器的状态。该方法还包括基于转向信号指示器的状态而在第一车辆处通知驾驶员或执行驾驶操纵。
在示例2中,示例1中识别包含转向信号指示器的子部分包括利用经训练的神经网络来处理第二车辆的图像以识别一个或多个关注的转向信号区域。此外,处理图像的子部分包括处理图像中包含一个或多个关注的转向信号区域的一部分。
在示例3中,示例1-2中任一个中处理图像的子部分包括利用经训练的神经网络来处理子部分以确定一个或多个转向信号指示器的状态。
在示例4中,示例1-3中任一个中的方法进一步包括基于转向信号指示器的状态来确定第一车辆的驾驶操纵。
在示例5中,示例4中确定驾驶操纵包括将转向信号指示器的状态提供至变道决策矩阵并且处理该变道决策矩阵以选择驾驶操纵。
在示例6中,示例4中通知驾驶员包括通知驾驶员所确定的驾驶操纵。
在示例7中,示例1-6中任一个的方法进一步包括基于转向信号指示器的状态来预测第二车辆的未来运动。
在示例8中,示例7中预测未来运动包括预测从相邻车道变道进入与第一车辆相同的车道。
在示例9中,示例7中通知驾驶员包括通知驾驶员预测到的第二车辆的未来运动。
在示例10中,示例1-9中任一个的方法进一步包括确定对应于转向信号指示器的状态的第一车辆的运动方向。
示例11是一种用于车辆的驾驶控制系统,该驾驶控制系统包括用于获取车辆附近的区域中的传感器数据的包括摄像机的一个或多个传感器。该驾驶控制系统还包括边界部件、转向信号部件和驾驶操纵部件。该边界部件被配置为识别图像中包含邻近车辆的转向信号指示器的子部分。该转向信号部件被配置为处理图像的子部分以确定转向信号指示器的状态。该驾驶操纵部件被配置为基于转向信号指示器的状态来确定第一车辆的驾驶操纵。
在示例12中,示例11中的驾驶操纵包括建议的驾驶操纵,并且该驾驶控制系统进一步包括通知部件,该通知部件被配置为向人类驾驶员或自动驾驶系统提供建议的驾驶操纵。
在示例13中,示例11-12中任一个的边界部件被配置为通过利用经训练的神经网络处理邻近车辆的图像以识别一个或多个关注的转向信号区域来识别包含转向信号指示器的子部分。转向信号部件被配置为通过处理图像中包含一个或多个关注的转向信号区域的一部分来处理图像的子部分。
在示例14中,示例11-13中任一个中的驾驶控制系统进一步包括被配置为确定邻近车辆在相对于车辆的危险区域内的检测部件。该驾驶控制系统被配置为响应于检测部件确定邻近车辆在危险区域内而获取图像。
在示例15中,示例11-14中任一个的驾驶控制系统进一步包括被配置为确定车辆和邻近车辆中的一个或多个的车道的检测部件。
示例16是一种计算机可读存储介质,该计算机可读存储介质存储指令,当该指令由一个或多个处理器执行时,该指令使一个或多个处理器在第一车辆处获取第一车辆附近的道路上第二车辆的多个图像。该指令进一步使一个或多个处理器识别多个图像中包含第二车辆的转向信号指示器的子部分。该指令进一步使一个或多个处理器处理多个图像的子部分以确定转向信号指示器的状态。该指令进一步使一个或多个处理器基于转向信号指示器的状态来预测第二车辆的驾驶操纵。
在示例17中,示例16的指令进一步使一个或多个处理器基于预测到的第二车辆的驾驶操纵来确定第一车辆的驾驶操纵。
在示例18中,示例16-17中任一个中的指令进一步使一个或多个处理器基于转向信号指示器来确定是否使第一车辆执行变道。
在示例19中,示例16-18中任一个中的指令进一步使一个或多个处理器确定第二车辆是以下情况中的一种或多种:在紧邻第一车辆的车道的车道中;在沿着道路与第一车辆类似的方向上行驶;以及在第一车辆的危险区域内,其中该危险区域对应于第一车辆和第二车辆之间存在碰撞危险的区域。
在示例20中,示例16-19中任一个中的指令进一步使一个或多个处理器确定转向信号指示器的状态对应于第一车辆的运动方向。
示例21是一种系统或装置,该系统或装置包括用于实施示例1-20中任一个的方法或实现示例1-20中任一个的系统或装置的手段。
应当指出的是,以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如,传感器可以包括被配置为在一个或多个处理器中执行的计算机代码,并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例设备是为了说明的目的,并不旨在进行限制。本发明的实施例可以在其他类型的设备中实施,如相关领域技术人员将已知的那样。
本发明的实施例涉及包含存储在任何计算机可用介质上的这样的逻辑(例如,以软件的形式)的计算机程序产品。这样的软件,当在一个或多个数据处理设备中执行时,使设备如本文所描述的那样操作。
虽然以上已经描述了本发明的各种实施例,但是应当理解的是,它们已仅通过举例的方式呈现,而非限制。对相关领域的技术人员来说将显而易见的是,形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此,本发明的广度和范围不应该被上述示例性实施例中的任一个限制,而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的,前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导,许多修改和变化是可能的。此外,应该指出的是,上述替代实施方式中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。
此外,虽然本发明的特定实施方式已被描述和说明,但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。

Claims (20)

1.一种方法,所述方法包含:
在第一车辆处检测相邻车道中第二车辆的存在;
在所述第二车辆的图像中识别包含所述第二车辆的转向信号指示器的子部分;
处理所述图像的所述子部分以确定所述转向信号指示器的状态;以及
基于所述转向信号指示器的所述状态而在所述第一车辆处通知驾驶员或执行驾驶操纵。
2.根据权利要求1所述的方法,其中:
识别包含所述转向信号指示器的所述子部分包含利用经训练的神经网络来处理所述第二车辆的所述图像以识别一个或多个关注的转向信号区域;以及
处理所述图像的所述子部分包含处理所述图像中包含所述一个或多个关注的转向信号区域的一部分。
3.根据权利要求1所述的方法,其中处理所述图像的所述子部分包含利用经训练的神经网络来处理所述子部分以确定一个或多个转向信号指示器的状态。
4.根据权利要求1所述的方法,进一步包含基于所述转向信号指示器的所述状态来确定所述第一车辆的所述驾驶操纵。
5.根据权利要求4所述的方法,其中确定所述驾驶操纵包含将所述转向信号指示器的所述状态提供至变道决策矩阵并且处理所述变道决策矩阵以选择所述驾驶操纵。
6.根据权利要求4所述的方法,其中通知所述驾驶员包含通知所述驾驶员所确定的所述驾驶操纵。
7.根据权利要求1所述的方法,进一步包含基于所述转向信号指示器的所述状态来预测所述第二车辆的未来运动。
8.根据权利要求7所述的方法,其中预测未来运动包含预测从所述相邻车道变道至与所述第一车辆相同的车道。
9.根据权利要求7所述的方法,其中通知所述驾驶员包含通知所述驾驶员预测到的所述第二车辆的所述未来运动。
10.根据权利要求1所述的方法,进一步包含确定对应于所述转向信号指示器的所述状态的所述第一车辆的运动方向。
11.一种用于车辆的驾驶控制系统,所述系统包含:
一个或多个传感器,所述一个或多个传感器用于获取所述车辆附近的区域中的传感器数据,所述一个或多个传感器包含摄像机;
边界部件,所述边界部件被配置为识别图像中包含邻近车辆的转向信号指示器的子部分;
转向信号部件,所述转向信号部件被配置为处理所述图像的所述子部分以确定所述转向信号指示器的状态;以及
驾驶操纵部件,所述驾驶操纵部件被配置为基于所述转向信号指示器的所述状态来确定所述第一车辆的驾驶操纵。
12.根据权利要求11所述的驾驶控制系统,其中所述驾驶操纵包含建议的驾驶操纵,所述驾驶控制系统进一步包含通知部件,所述通知部件被配置为向人类驾驶员或自动驾驶系统提供所述建议的驾驶操纵。
13.根据权利要求11所述的驾驶控制系统,其中:
所述边界部件被配置为通过利用经训练的神经网络处理所述邻近车辆的所述图像以识别一个或多个关注的转向信号区域来识别包含所述转向信号指示器的所述子部分;以及
所述转向信号部件被配置为通过处理所述图像中包含所述一个或多个关注的转向信号区域的一部分来处理所述图像的所述子部分。
14.根据权利要求11所述的驾驶控制系统,进一步包含检测部件,所述检测部件被配置为确定所述邻近车辆在相对于所述车辆的危险区域内,其中所述驾驶控制系统被进一步配置为响应于所述检测部件确定所述邻近车辆在所述危险区域内而获取所述图像。
15.根据权利要求11所述的驾驶控制系统,进一步包含检测部件,所述检测部件被配置为确定所述车辆和所述邻近车辆中的一个或多个的车道。
16.一种计算机可读存储介质,所述计算机可读存储介质存储指令,当所述指令由一个或多个处理器执行时,所述指令使所述一个或多个处理器:
在第一车辆处获取所述第一车辆附近的道路上第二车辆的多个图像;
识别所述多个图像中包含所述第二车辆的转向信号指示器的子部分;
处理所述多个图像的所述子部分以确定所述转向信号指示器的状态;以及
基于所述转向信号指示器的所述状态来预测所述第二车辆的驾驶操纵。
17.根据权利要求16所述的计算机可读存储器,其中所述指令进一步使所述一个或多个处理器基于预测到的所述第二车辆的所述驾驶操纵来确定所述第一车辆的驾驶操纵。
18.根据权利要求16所述的计算机可读存储器,其中所述指令进一步使所述一个或多个处理器基于所述转向信号指示器来确定是否使所述第一车辆执行变道。
19.根据权利要求16所述的计算机可读存储器,其中所述指令进一步使所述一个或多个处理器确定所述第二车辆是以下情况中的一种或多种:
在紧邻所述第一车辆的车道的车道中;
在沿着道路与所述第一车辆类似的方向上行驶;以及
在所述第一车辆的危险区域内,其中所述危险区域对应于所述第一车辆与所述第二车辆之间存在碰撞风险的区域。
20.根据权利要求16所述的计算机可读存储器,其中所述指令进一步使所述一个或多个处理器确定所述转向信号指示器的所述状态对应于所述第一车辆的运动方向。
CN201611138148.7A 2015-12-17 2016-12-12 车辆转向信号检测 Active CN106891888B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/973,454 US10800455B2 (en) 2015-12-17 2015-12-17 Vehicle turn signal detection
US14/973,454 2015-12-17

Publications (2)

Publication Number Publication Date
CN106891888A true CN106891888A (zh) 2017-06-27
CN106891888B CN106891888B (zh) 2022-04-29

Family

ID=58222043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611138148.7A Active CN106891888B (zh) 2015-12-17 2016-12-12 车辆转向信号检测

Country Status (6)

Country Link
US (1) US10800455B2 (zh)
CN (1) CN106891888B (zh)
DE (1) DE102016123878A1 (zh)
GB (1) GB2547082A (zh)
MX (1) MX2016016811A (zh)
RU (1) RU2016147944A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107719347A (zh) * 2017-09-30 2018-02-23 北京小米移动软件有限公司 移动照明方法、装置和存储介质
CN108520639A (zh) * 2018-06-15 2018-09-11 中国安全生产科学研究院 一种防止车辆碰撞的预警方法及系统
CN109204305A (zh) * 2017-07-03 2019-01-15 大众汽车有限公司 丰富视野方法、观察员车辆和对象中使用的设备和机动车
CN109334668A (zh) * 2018-11-28 2019-02-15 奇瑞汽车股份有限公司 一种基于v2x的自动并线系统
CN109425359A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于生成实时地图信息的方法和系统
CN109426806A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于车辆信号灯检测的系统和方法
CN110239430A (zh) * 2018-03-09 2019-09-17 本田技研工业株式会社 用于在驾驶员的周边视觉中提供可视通知的方法和系统
CN110497904A (zh) * 2018-05-16 2019-11-26 丰田自动车株式会社 车外信息共享系统、装置以及方法
CN110832565A (zh) * 2017-08-25 2020-02-21 本田技研工业株式会社 行驶控制装置以及车辆
CN110997415A (zh) * 2017-08-01 2020-04-10 三星电子株式会社 控制车辆的操作的电子设备和方法
CN111052202A (zh) * 2017-09-15 2020-04-21 高通股份有限公司 用于基于相对定位的安全自主驾驶的系统和方法
CN111208813A (zh) * 2018-11-05 2020-05-29 图森有限公司 一种自动驾驶车辆的动力学预测控制系统和方法
CN114312562A (zh) * 2020-10-12 2022-04-12 怀化市联翰信息科技有限公司 一种基于gps的车辆碰撞预警系统及方法
CN114475665A (zh) * 2022-03-17 2022-05-13 北京小马睿行科技有限公司 自动驾驶车辆的控制方法、控制装置及自动驾驶系统

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118907A1 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US10706309B2 (en) * 2016-02-29 2020-07-07 Nec Corporation Recursive neural networks on future event prediction
JP6821649B2 (ja) * 2016-03-01 2021-01-27 パナソニック株式会社 情報提示方法及び情報提示装置
DE102016120876A1 (de) * 2016-11-02 2018-05-03 HELLA GmbH & Co. KGaA Verfahren, System und Computerprogrammprodukt zur Erkennung eines möglichen Spurwechsels eines Fremdfahrzeugs, sowie Fahrzeug
WO2018132614A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Rules-based navigation
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10353390B2 (en) 2017-03-01 2019-07-16 Zoox, Inc. Trajectory generation and execution architecture
US11009875B2 (en) * 2017-03-09 2021-05-18 Waymo Llc Preparing autonomous vehicles for turns
KR101973627B1 (ko) * 2017-07-11 2019-04-29 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10691962B2 (en) 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
WO2019068042A1 (en) 2017-09-29 2019-04-04 Netradyne Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
JP6983636B2 (ja) * 2017-11-29 2021-12-17 株式会社東芝 図面機械学習支援システム、図面機械学習システム、図面構造化システム、及び図面機械学習支援プログラム
FR3076046A1 (fr) * 2017-12-22 2019-06-28 Orange Procede de determination d'un scenario de communications et terminal associe
US11643092B2 (en) * 2017-12-27 2023-05-09 Bayerische Motoren Werke Aktiengesellschaft Vehicle lane change prediction
DE112019000070T5 (de) 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
DE102018200944A1 (de) * 2018-01-22 2019-07-25 Ford Global Technologies, Llc Cross Traffic Alert mit Blinkerkennung
CN110352153A (zh) 2018-02-02 2019-10-18 辉达公司 自主车辆中用于障碍物躲避的安全程序分析
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10525873B2 (en) * 2018-02-20 2020-01-07 Toyota Research Institute, Inc. Turn by turn activation of turn signals
EP3533667B1 (en) 2018-03-01 2020-09-16 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for monitoring a vehicle camera system
US10388157B1 (en) 2018-03-13 2019-08-20 Allstate Insurance Company Processing system having a machine learning engine for providing a customized driving assistance output
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11049265B2 (en) * 2018-05-16 2021-06-29 Nec Corporation Balancing diversity and precision of generative models with complementary density estimators
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US20190389385A1 (en) * 2018-06-25 2019-12-26 Ford Global Technologies, Llc Overlay interfaces for rearview mirror displays
WO2020003643A1 (ja) * 2018-06-29 2020-01-02 ソニー株式会社 車両制御装置および車両制御方法
CN110733496A (zh) * 2018-07-18 2020-01-31 松下知识产权经营株式会社 信息处理装置、信息处理方法以及记录介质
US11287814B2 (en) * 2018-08-07 2022-03-29 GM Global Technology Operations LLC Lane change detection system and method for an autonomous vehicle
EP3626585A1 (en) 2018-09-21 2020-03-25 Visteon Global Technologies, Inc. Driver assistance system and method for displaying traffic information
DE102018126825A1 (de) * 2018-10-26 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Steuerung eines Kraftfahrzeugs
CN113614730B (zh) * 2018-11-15 2023-04-28 御眼视觉技术有限公司 多帧语义信号的cnn分类
US11294381B2 (en) 2018-11-21 2022-04-05 Toyota Motor North America, Inc. Vehicle motion adaptation systems and methods
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
DE102019206178A1 (de) * 2019-04-30 2020-11-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Abschätzen einer Fahrspurwechselabsicht eines Fahrzeugs
CN113785560A (zh) * 2019-06-04 2021-12-10 索尼集团公司 成像系统
US11120566B2 (en) * 2019-06-28 2021-09-14 Baidu Usa Llc Determining vanishing points based on feature maps
US11423672B2 (en) * 2019-08-02 2022-08-23 Dish Network L.L.C. System and method to detect driver intent and employ safe driving actions
US11662746B2 (en) 2019-08-06 2023-05-30 Here Global B.V. System, method, and computer program product for generating maneuver data for a vehicle
JP7165109B2 (ja) * 2019-09-09 2022-11-02 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11668797B2 (en) * 2019-12-18 2023-06-06 Micron Technology, Inc. Intelligent radar electronic control units in autonomous vehicles
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7381388B2 (ja) * 2020-04-03 2023-11-15 トヨタ自動車株式会社 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) * 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US20210334645A1 (en) * 2020-04-28 2021-10-28 Nvidia Corporation Notifications determined using one or more neural networks
US11511751B2 (en) * 2020-05-29 2022-11-29 Toyota Research Institute, Inc. Merge situation exposure algorithms to maximize exposure time
US20220101022A1 (en) * 2020-09-29 2022-03-31 Rivian Ip Holdings, Llc Vehicle cliff and crevasse detection systems and methods
US11749105B2 (en) * 2020-10-01 2023-09-05 Magna Electronics Inc. Vehicular communication system with turn signal identification
DE102021201062A1 (de) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug
DE102022003323A1 (de) 2021-09-15 2023-04-06 Mercedes-Benz Group AG System und Verfahren für die Handhabung von Überholvorgängen
TR2021019621A2 (tr) * 2021-12-10 2021-12-21 Hasan Bilgehan Makineci Qr kod araciliğiyla araçlar arasi haberleşme si̇stemi̇
US20230334874A1 (en) * 2022-04-15 2023-10-19 Gm Cruise Holdings Llc Identifying vehicle blinker states

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023407A (zh) * 2002-08-21 2007-08-22 金泰克斯公司 自动车辆外部照明控制的图像采集和处理方法
CN101326511A (zh) * 2005-12-09 2008-12-17 通用汽车环球科技运作公司 用于检测或预测车辆超车的方法
KR20100056883A (ko) * 2008-11-20 2010-05-28 현대자동차주식회사 끼어드는 차량을 인식하는 감응식 순항 제어 시스템
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN202345598U (zh) * 2011-11-11 2012-07-25 长安大学 一种车辆换道危险预警装置
CN102881186A (zh) * 2011-07-11 2013-01-16 歌乐株式会社 车辆用外界识别装置及使用了该装置的车辆控制系统
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
KR20140094794A (ko) * 2013-01-23 2014-07-31 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
CN104047735A (zh) * 2013-03-11 2014-09-17 福特全球技术公司 自动起停车辆在转弯车道上的停止/起动控制
CN104698399A (zh) * 2014-08-26 2015-06-10 安徽工程大学 一种车灯故障检测系统及其方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150936A (ja) 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
DE102008011228A1 (de) 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
JP5597708B2 (ja) * 2010-06-18 2014-10-01 本田技研工業株式会社 運転者の車線変更意図を予測するシステム
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US20120314070A1 (en) 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
EP2562060B1 (en) * 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
JP5964609B2 (ja) * 2012-02-23 2016-08-03 株式会社日本自動車部品総合研究所 車両用追従制御装置
US9008961B2 (en) 2012-11-30 2015-04-14 Google Inc. Determining and displaying auto drive lanes in an autonomous vehicle
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9091558B2 (en) 2013-12-23 2015-07-28 Automotive Research & Testing Center Autonomous driver assistance system and autonomous driving method thereof
US9014905B1 (en) 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
WO2016051228A1 (en) * 2014-09-30 2016-04-07 Umm-Al-Qura University A method and system for an accurate and energy efficient vehicle lane detection
DE102014220199B3 (de) * 2014-10-06 2016-01-14 Continental Automotive Gmbh Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System
EP3048023B1 (en) * 2015-01-23 2018-11-28 Honda Research Institute Europe GmbH Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023407A (zh) * 2002-08-21 2007-08-22 金泰克斯公司 自动车辆外部照明控制的图像采集和处理方法
CN101326511A (zh) * 2005-12-09 2008-12-17 通用汽车环球科技运作公司 用于检测或预测车辆超车的方法
KR20100056883A (ko) * 2008-11-20 2010-05-28 현대자동차주식회사 끼어드는 차량을 인식하는 감응식 순항 제어 시스템
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN102881186A (zh) * 2011-07-11 2013-01-16 歌乐株式会社 车辆用外界识别装置及使用了该装置的车辆控制系统
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
CN202345598U (zh) * 2011-11-11 2012-07-25 长安大学 一种车辆换道危险预警装置
KR20140094794A (ko) * 2013-01-23 2014-07-31 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
CN104047735A (zh) * 2013-03-11 2014-09-17 福特全球技术公司 自动起停车辆在转弯车道上的停止/起动控制
CN104698399A (zh) * 2014-08-26 2015-06-10 安徽工程大学 一种车灯故障检测系统及其方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109204305A (zh) * 2017-07-03 2019-01-15 大众汽车有限公司 丰富视野方法、观察员车辆和对象中使用的设备和机动车
CN110997415A (zh) * 2017-08-01 2020-04-10 三星电子株式会社 控制车辆的操作的电子设备和方法
CN110832565A (zh) * 2017-08-25 2020-02-21 本田技研工业株式会社 行驶控制装置以及车辆
US11299148B2 (en) 2017-08-25 2022-04-12 Honda Motor Co., Ltd. Travel control apparatus and vehicle
CN109426806B (zh) * 2017-09-01 2021-12-14 通用汽车环球科技运作有限责任公司 用于车辆信号灯检测的系统和方法
CN109425359A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于生成实时地图信息的方法和系统
CN109426806A (zh) * 2017-09-01 2019-03-05 通用汽车环球科技运作有限责任公司 用于车辆信号灯检测的系统和方法
CN111052202A (zh) * 2017-09-15 2020-04-21 高通股份有限公司 用于基于相对定位的安全自主驾驶的系统和方法
US11022461B2 (en) 2017-09-30 2021-06-01 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for mobile illumination, and storage medium
CN107719347B (zh) * 2017-09-30 2020-06-02 北京小米移动软件有限公司 移动照明方法、装置和存储介质
CN107719347A (zh) * 2017-09-30 2018-02-23 北京小米移动软件有限公司 移动照明方法、装置和存储介质
CN110239430A (zh) * 2018-03-09 2019-09-17 本田技研工业株式会社 用于在驾驶员的周边视觉中提供可视通知的方法和系统
CN110497904A (zh) * 2018-05-16 2019-11-26 丰田自动车株式会社 车外信息共享系统、装置以及方法
CN110497904B (zh) * 2018-05-16 2022-09-23 丰田自动车株式会社 车外信息共享系统、装置以及方法
CN108520639B (zh) * 2018-06-15 2023-10-27 中国安全生产科学研究院 一种防止车辆碰撞的预警方法及系统
CN108520639A (zh) * 2018-06-15 2018-09-11 中国安全生产科学研究院 一种防止车辆碰撞的预警方法及系统
CN111208813A (zh) * 2018-11-05 2020-05-29 图森有限公司 一种自动驾驶车辆的动力学预测控制系统和方法
CN111208813B (zh) * 2018-11-05 2023-11-17 图森有限公司 一种自动驾驶车辆的动力学预测控制系统和方法
CN109334668A (zh) * 2018-11-28 2019-02-15 奇瑞汽车股份有限公司 一种基于v2x的自动并线系统
CN109334668B (zh) * 2018-11-28 2020-06-09 奇瑞汽车股份有限公司 一种基于v2x的自动并线系统
CN114312562A (zh) * 2020-10-12 2022-04-12 怀化市联翰信息科技有限公司 一种基于gps的车辆碰撞预警系统及方法
CN114475665A (zh) * 2022-03-17 2022-05-13 北京小马睿行科技有限公司 自动驾驶车辆的控制方法、控制装置及自动驾驶系统

Also Published As

Publication number Publication date
US10800455B2 (en) 2020-10-13
RU2016147944A (ru) 2018-06-08
MX2016016811A (es) 2018-06-15
CN106891888B (zh) 2022-04-29
GB201621096D0 (en) 2017-01-25
DE102016123878A1 (de) 2017-06-22
GB2547082A (en) 2017-08-09
US20170174261A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN106891888A (zh) 车辆转向信号检测
US10899345B1 (en) Predicting trajectories of objects based on contextual information
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
US20230311749A1 (en) Communication between autonomous vehicle and external observers
CN107031650A (zh) 基于驾驶员肢体语言来预测车辆运动
US9829889B1 (en) Autonomous vehicle advanced notification system and method of use
JP7082246B2 (ja) 遮蔽を伴う道路利用者反応モデリングに従って自律車両を動作させること
CN106980814A (zh) 用显著性地图的行人检测
CN107545232A (zh) 车道探测系统和方法
CN107444406A (zh) 车辆辅助驾驶系统及方法
CN114008591A (zh) 车辆控制和指导
CN110869866A (zh) 车辆与远程操作系统之间的交互
CN106558247A (zh) 驾驶历史停车障碍警报
CN111788104B (zh) 用于自动化驾驶的已知车道间隔
US11679780B2 (en) Methods and systems for monitoring vehicle motion with driver safety alerts
EP4001044A2 (en) Increasing awareness of passengers during pullovers and drop offs for autonomous vehicles
CN112498343A (zh) 车辆转向控制系统及方法
US10678249B2 (en) System and method for controlling a vehicle at an uncontrolled intersection with curb detection
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
CN114261393A (zh) 由引导自主车辆(av)检测施工区并且更新跟随av的选路规划
JP2020152210A (ja) 車両制御装置、車両制御方法、およびプログラム
US20230256901A1 (en) Security System for an Autonomous Vehicle and Method for Its Operation
US20240085209A1 (en) Display control device and display control method
CN115384545A (zh) 控制方法和装置
CN117292359A (zh) 用于辅助驾驶的障碍物确定方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant