CN113257037B - 基于交叉口场景的传感器融合来确定车辆碰撞可能性 - Google Patents

基于交叉口场景的传感器融合来确定车辆碰撞可能性 Download PDF

Info

Publication number
CN113257037B
CN113257037B CN202110167910.9A CN202110167910A CN113257037B CN 113257037 B CN113257037 B CN 113257037B CN 202110167910 A CN202110167910 A CN 202110167910A CN 113257037 B CN113257037 B CN 113257037B
Authority
CN
China
Prior art keywords
vehicle
potential collision
information
intersection
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110167910.9A
Other languages
English (en)
Other versions
CN113257037A (zh
Inventor
S.姜
S.曾
P.M.佩拉南丹
M.姜
J.张
M.A.拉尤尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN113257037A publication Critical patent/CN113257037A/zh
Application granted granted Critical
Publication of CN113257037B publication Critical patent/CN113257037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B60W2050/0024—Variable gains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations

Abstract

一种实现传感器融合以确定车辆碰撞可能性的方法和系统包括，识别车辆正在接近的具体交叉路口，以及与通过所述具体交叉路口的一条或多条路径相关联的潜在碰撞场景。每个潜在碰撞场景定义了所述车辆和一指定区域中的对象之间的碰撞风险。调整针对每个潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重，使得将最高权重赋予所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于所述潜在碰撞场景的所述指定区域有关的最相关和最可靠的信息。基于对所述一个或多个信息源的权重的调整来实现传感器融合，并基于所述传感器融合来执行检测，并且根据检测来提供警报或实施动作。

Description

基于交叉口场景的传感器融合来确定车辆碰撞可能性
技术领域
本主题公开涉及基于交叉路口场景的传感器融合，以确定车辆碰撞可能性。
背景技术
车辆(例如，汽车、卡车、建筑设备、农业设备、自动化工厂设备)越来越多地使用传感器来获取关于车辆及其环境的信息。传感器信息有助于车辆操作的增强或自动化。示例性传感器包括摄像头、无线电探测和测距(无线电雷达)系统以及光探测和测距(激光雷达)系统。传感器融合是指使用来自多个传感器的信息。例如，传感器融合可用于确定车辆碰撞的可能性。然而，来自每个传感器的传感器信息可能不是同等相关的。因此，期望提供基于交叉路口场景的传感器融合来确定车辆碰撞可能性。
发明内容
在一个示例性实施例中，实现传感器融合以确定车辆碰撞可能性的方法包括：识别车辆正在接近的具体交叉路口，以及识别与通过具体交叉路口的一条或多条路径相关联的潜在碰撞场景。每个潜在碰撞场景都定义了车辆与一指定区域中的对象之间的碰撞风险。该方法还包括调整针对每个潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重，使得将最高权重赋予所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于所述潜在碰撞场景的所述指定区域有关的最相关和最可靠的信息。基于对所述一个或多个信息源的权重的调整来实现传感器融合，并基于所述传感器融合来执行检测，并且根据检测来提供警报或实施动作。
除了本文描述的一个或多个特征之外，识别车辆正在接近的具体交叉路口包括获得车辆的位置和对车辆在识别出多个交叉路口的地图上的位置做出参考。
除了本文描述的一个或多个特征之外，该方法还包括，根据实时状况来识别所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于潜在碰撞场景的指定区域有关的最相关和最可靠信息，其中实时状况包括环境光强度和车辆的任何信息源的被遮挡视野。
除了本文描述的一个或多个特征之外，该方法还包括，基于车辆是正被驾驶员操作的车辆，通过识别驾驶员横穿所述一条或多条路径中的一具体条路径的意图，从而仅考虑与通过所述具体交叉路口的所述一条或多条路径中的一具体条路径相关联的潜在碰撞场景。
除了本文描述的一个或多个特征之外，识别驾驶员意图包括，获得驾驶员的按钮或转向信号输入，或者获得车辆相对于提供给驾驶员的路线信息的位置。
除了本文描述的一个或多个特征之外，识别和存储与通过地图上的每个交叉路口的一条或多条路径相关联的潜在碰撞场景，其中识别与通过具体交叉路口的一条或多条路径相关联的潜在碰撞场景包括，实时地从存储器获得潜在碰撞场景。
除了本文描述的一个或多个特征之外，该方法还包括，基于实时状况实时地对针对每个即将到来的潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重进行更新。
除了本文描述的一个或多个特征之外，实时状况包括来自一个或多个信息源的数据质量或环境光状况。
除了本文描述的一个或多个特征之外，信息源包括传感器，并且传感器包括摄像头、无线电雷达系统或激光雷达系统，或者信息源包括通信源，并且通信源包括另一车辆、基础设施或基于云的服务器。
除了本文描述的一个或多个特征之外，提供警报包括发出视觉、听觉或触觉警报，并且实现动作包括执行自动制动。
在另一示例性实施例中，实现传感器融合以确定车辆碰撞可能性的系统包括：车辆的信息源，以及处理器，该处理器识别车辆正在接近的具体交叉路口并识别与通过具体交叉路口的一条或多条路径相关联的潜在碰撞场景的。每个潜在碰撞场景都定义了车辆与一指定区域中的对象之间的碰撞风险。处理器还调整针对每个潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重，使得将最高权重赋予所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于所述潜在碰撞场景的所述指定区域有关的最相关和最可靠的信息。对所述一个或多个信息源的权重的调整来实现传感器融合，并基于所述传感器融合来执行检测，以及根据检测来提供警报或实施动作。
除了本文描述的一个或多个特征之外，处理器通过获得车辆的位置并对车辆在识别出多个交叉路口的地图上的位置做出参考，从而识别车辆正在接近的具体交叉路口。
除了本文描述的一个或多个特征之外，处理器根据实时状况来识别所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于潜在碰撞场景的指定区域有关的最相关和最可靠的信息。实时状况包括环境光强度和车辆任何信息源的被遮挡视野。
除了本文描述的一个或多个特征之外，处理器基于车辆是正被驾驶员操作的车辆通过识别驾驶员横穿所述一条或多条路径中的一具体条路径的意图，从而仅考虑与通过所述具体交叉路口的所述一条或多条路径中的一具体条路相关联的潜在碰撞场景。
除了本文描述的一个或多个特征之外，处理器通过获得驾驶员的按钮或转向信号输入或者获得车辆相对于提供给驾驶员的路线信息的位置来识别驾驶员意图。
除了本文描述的一个或多个特征之外，识别和存储与通过地图上的每个交叉路口的所述一条或多条路径相关联的潜在碰撞场景，并且处理器通过实时地从存储器获得所述潜在碰撞场景来识别与通过具体交叉路口的所述一条或多条路径相关联的潜在碰撞场景。
除了本文描述的一个或多个特征之外，处理器基于实时状况实时地对针对每个即将到来的潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重进行更新。
除了本文描述的一个或多个特征之外，所述实时状况包括来自一个或多个信息源的数据质量或环境光状况。
除了本文描述的一个或多个特征之外，信息源包括传感器，并且传感器包括摄像头、无线电雷达系统或激光雷达系统，并且信息源包括通信源，并且通信源包括另一车辆、基础设施或基于云的服务器。
除了本文描述的一个或多个特征之外，警报是视觉、听觉或触觉警报，并且动作包括执行自动制动。
当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中:
图1是根据一个或多个实施例的基于交叉路口场景执行传感器融合以确定车辆碰撞可能性的车辆的框图；
图2示出了根据一个或多个实施例的基于交叉路口场景的传感器融合，以确定车辆碰撞可能性；
图3示出了根据一个或多个实施例的基于交叉路口场景的传感器融合，以确定车辆碰撞可能性；和
图4是根据一个或多个实施例的基于交叉路口场景执行传感器融合以确定车辆碰撞可能性的方法过程流程。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或使用。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
如前所述，车辆传感器可以提供有助于识别潜在碰撞的信息。车辆传感器提供的信息在驾驶员操作且半自主车辆中是有益的，并且在自主车辆操作中是至关重要的。传感器融合结合了来自多个传感器的信息。例如，可以通过确定所有传感器或大多数传感器在接受这种检测之前必须检测对象或碰撞可能性来避免错误警报。根据传统的传感器融合算法，所有传感器可以被赋予相等的权重。然而，给定特定的交叉路口场景，不是每个传感器都等同相关或可靠。
本文详述的系统和方法的实施例涉及基于交叉路口场景的传感器融合，以确定车辆碰撞可能性。交叉路口场景是指具体交叉路口及其实时状况(例如，环境光、被遮挡视野)。基于针对该具体具体交叉路口场景的传感器相关性和可靠性来对传感器信息进行加权。给定的交叉路口场景和车辆通过交叉路口的给定路径可能涉及多个潜在碰撞场景(例如，前方路径、交叉通行)。每种场景都可能需要对作为传感器融合一部分的传感器进行差别加权。详细来说，传感器融合不仅指来自车辆传感器的信息的融合，还指来自其他来源的信息的融合。
根据示例性实施例，图1是车辆100的框图，车辆100基于交叉路口场景210(图2)、310(图3)执行传感器融合，以确定车辆碰撞可能性。如上所述，交叉路口场景210、310指的是影响车辆100的特定传感器的相关性和功效的交叉路口200(图2、3)和状况(例如，照明、被遮挡的视野)。图1所示的示例性车辆100是汽车101，并且可以是驾驶员操作的或自主的。车辆100包括控制器110，控制器110从诸如环境光传感器105、激光雷达系统120、摄像头130和无线电雷达系统140的传感器获得信息，并执行传感器融合。图1中传感器的示例性数量和位置并不旨在限制替代实施例。例如，车辆100可以包括多个雷达系统140(例如，车辆100的每侧一个，并且在前部和后部的中心处一个)，或者附加地或替代地，多个激光雷达系统120。
车辆100被示出为具有全球定位系统(GPS)150，其提供车辆100的位置，并且结合地图信息，可以允许控制器110确定即将到来的交叉路口200(图2)。控制器110可以使用GPS150和地图来向例如驾驶员操作的车辆100中的驾驶员提供路线信息。控制器110还可以通过车辆对车辆(V2V)通信与其他车辆160通信，通过车辆对外界(V2X)通信与云服务器170通信，或者通过车辆对基础设施(V2I)通信与基础设施180通信。除了获得信息之外，控制器110还可以通过信息娱乐系统115或与车辆100的驾驶员(在驾驶员操作的情况下)或操作员(在自主的情况下)的其他接口来提供信息。控制器110可以发出警报或与车辆系统通信，以基于车辆碰撞可能性的确定来执行自动动作。
控制器110包括处理电路，该处理电路可以包括专用集成电路(ASIC))、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。如参考图2所详述的，基于交叉路口场景210、310来确定车辆碰撞可能性的传感器融合指的是根据具体交叉路口200和实时状况来考虑哪些信息源是最相关的，以便对信息加权，作为传感器融合的一部分。
图2示出了根据一个或多个实施例的基于交叉路口场景210的传感器融合，以确定车辆碰撞可能性。交叉路口场景210用于讨论示例性实施例的各方面，而图3所示的交叉路口场景310用于讨论示例性实施例的额外方面，所有这些在图4中进行了总结。图2所示的交叉路口场景210涉及交叉路口200和交叉路口200处的实时状况(例如，照明、交通流量)。车辆100直线行驶，转弯车辆220在转弯车道205a中。转弯车辆220将在其左转时穿过车辆100的路径。另一车辆230不正确地停在与车辆100的车道205c相邻的车道205b中，以允许转弯车辆220左转。停止的车辆230的存在使得车辆100的传感器针对转弯的车辆220形成了盲点。
交叉路口200和车辆100通过交叉路口200的路径包含一个以上的潜在碰撞场景。一个潜在碰撞场景涉及转弯车道205a，另一个涉及车道205d。也就是说，给定的潜在碰撞场景暗示了对象可能出现并可能与车辆100碰撞的区域。具有覆盖该区域的视野的传感器是最相关的传感器，因此，在传感器融合算法中可能被加权最多。
关于转弯车道205a，最相关的传感器可以是位于车辆100的中央前方的摄像头130。该传感器具有包括转弯车道205a的视野，因此可以被赋予最高的权重。因为转弯车道205a的一部分被停止的车辆230遮挡，所以可以指示转弯车辆220的存在的V2V通信或V2X通信可以被给予高权重(例如，与车辆100的中央前方的摄像头130相同的权重)。基于规则的映射可用于根据交叉路口场景210向控制器110分配各种信息源的权重。
对于车道205d，与上述转弯车道205a的权重不同的权重可用于传感器融合。可选地，基于其视野，针对转弯车道205a，车辆100的中央前方的摄像头130可以被给予最大的权重。此外，一起指示车道205相对于车辆100的位置的GPS 150和地图可以被给予与车辆100的中央右侧的摄像头130相等的权重。如果使用环境光传感器105，检测到的环境光强度会影响被给予不同传感器的权重。例如，如果实时环境光强度低于与摄像头130所需的最小光强度对应的阈值，则在车辆100的中央前方给予摄像头130额外的重量将是无益的。不管其位置如何，由于环境光条件，摄像头130将不提供相关信息。在这种情况下，在检测即将到来的车道205d时，只有GPS 150和地图信息可以比其他传感器被加权更多。
图3示出了根据一个或多个实施例的基于交叉路口场景310的传感器融合，以确定车辆碰撞可能性。针对穿过交叉路口200的不同路径的潜在碰撞场景，可以对图3所示的交叉路口200和车辆100可用的地图上的其他交叉路口200进行预评估。因此，当车辆100接近图3所示的交叉路口200时，控制器110针对每个潜在碰撞场景确定来自哪个源的哪个信息应该被加权更多。
车辆100可以采用经过交叉路口场景310中所示的交叉路口200的若干路径之一。例如，车辆100可以右转进入车道305a或车道305b。作为其他示例，车辆100可以左转进入车道305c或车道305d。对于这些路径中的任何一条，假设是右侧驾驶习惯，潜在碰撞场景涉及车辆100左侧的车道305a。因此，针对该潜在碰撞场景，根据基于规则的方法，车辆100左前方的摄像头130或无线电雷达系统140可以被赋予最高的权重。交叉路口场景310包括遮挡车辆100左侧的部分视野的灌木丛340。因此，该规则可以被修改，以增加关于在车道305a中朝着交叉路口200行驶的车辆的V2V或V2X信息的权重。对于左转到车道305c或305d中的任一个来说，另一个可能的碰撞场景涉及车辆100右侧的那些车道，其中示出了其他车辆320和325。对于该潜在碰撞场景，车辆100右前部的摄像头或无线电雷达系统140可以被赋予最高的权重。
如果车辆100向左转或向右转进入车道305b，则车辆100右侧的区域335和该区域335中的车辆330不相关(即，不是潜在碰撞场景的一部分)。然而，如果车辆100正右转进入车道305a，则车辆330或区域335中的任何缓慢或停止的对象是相关潜在碰撞场景的一部分。因此，如果车辆100开始转向车道305a，则来自车辆100左前方的摄像头130或无线电雷达系统140的信息的权重可以增加，并且随着转向完成，增加的权重可以转移到来自车辆100中央前方的摄像头130或无线电雷达系统140的信息。
当车辆100由驾驶员操作并且驾驶员意图(即，车辆100通过交叉路口200的预期路径)可以被确定时，控制器110可以预测传感器融合权重需要如何实时改变。例如，车辆100的驾驶员可以通过按钮或转向信号来表示出通过交叉路口200所要采用的路径。作为另一个例子，控制器110可以知道即将到来的操纵，因为驾驶员正在使用基于GPS 150和地图的路线导航系统。基于得知了驾驶员意图，控制器110知道通过给定交叉口200的路径，并因此知道相关的潜在碰撞场景。控制器110可以针对每个潜在碰撞场景来改变通过交叉点200过程中给予来自各种传感器和其他源的信息的权重，以应对该潜在碰撞场景。在没有关于驾驶员意图的信息的情况下，控制器110控制用于实时遇到的每个潜在碰撞场景的权重。当车辆100是自动车辆时，控制器110计划并知道即将到来的路径。因此，上述意图确定是不相关的，并且对于给定的交叉路口200，只需要考虑预期路径中的潜在碰撞场景。
图4是根据一个或多个实施例的基于交叉路口场景执行传感器融合以确定车辆碰撞可能性的方法400的过程流程。在图4的讨论中继续参考图1至3。如前所述，在框410，可以预先识别针对每个交叉口200的具有碰撞可能性的车辆路径。因此，控制器110可以存储通过每个交叉口200所采用的每个路径的每个潜在碰撞场景，以更快地实时识别正在接近的交叉口200的潜在碰撞场景。在框420，确定即将到来的路口200可以包括使用GPS 150和地图。可选地，在框420，该过程可以包括为驾驶员操作的车辆100实时确定驾驶员意图。如前所述，驾驶员意图指的是车辆100横穿交叉路口200所采用的具体路径。实时确定驾驶员横穿交叉路口200所采用的具体路径的意图意味着仅实时考虑与该路径相关联的潜在碰撞场景。
在框430，该过程包括根据在交叉路口200的每个潜在碰撞场景和其他可用状况而对每个信息源分配权重。例如，如图3所示，当车辆100处于丁字路口时，潜在碰撞场景可能涉及车辆100的左侧和右侧，如参考图3所讨论的。此外，其他可用状况(例如，障碍物——如灌木丛340，环境光强度)可能会影响哪些信息源最值得信任。在框430，基于规则的方法可用于基于所有可用信息为每个信息源分配权重，或者根据替代实施例，增加一个或多个信息源的权重。信息源可以是传感器之一(例如，摄像头130、激光雷达系统120、无线电雷达系统140)或通信(例如，V2V通信、V2X通信)。
在框430，给每个信息源分配权重(或增加一个或多个信息源的权重)可以另外包括，在处理期间向由给定信息源收集的数据分配不同的权重(或增加特定数据的权重)。例如，如参考图2所讨论的，对于与转弯车道205a相关联的潜在碰撞场景，车辆100的中央前方摄像头130可以被给予最高权重。另外，在处理由中央前方摄像头130获得的图像数据期间，来自中央前方摄像头130的视野的、与转弯车道205a对应的部分的图像数据可以被给予比其他图像数据更高的权重。
在框440，基于传感器数据质量和其他可用因素调整在框430分配的初始权重包括，确定基于规则的结果是否需要基于实时状况进行调整。例如，如果位于车辆100左前方的摄像头130被控制器110基于规则分配了最高权重(在框430)，但是雪遮蔽了摄像头130的视野，则可以调整权重。作为另一个例子，如果GPS 150和地图被分配最高的权重，但是由于构造或另一因素，地图信息是不正确的，则可以在框440调整权重。
在框450，该过程包括使用在框430和440为每个潜在碰撞场景分配的权重，基于传感器融合来确定碰撞可能性。框450处的过程还包括提供警报或实施一动作(替代地或附加地)。当车辆100接近交叉路口200时，并且可选地或附加地，在交叉路口200处，可以发出警报。警报可以是视觉的、听觉的、触觉的，或者是一种以上的形式。作为警报的替代或补充，可以基于根据传感器融合确定的碰撞可能性来实施自主动作(例如，自动制动)。在传感器融合中，给定传感器或其他信息源的权重增加意味着，如果由最高权重的传感器或信息源检测到碰撞威胁，则其他传感器或信息源未检测到碰撞威胁可能会被否决。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (8)

1.一种实现传感器融合以确定车辆碰撞可能性的方法，该方法包括:
使用处理器识别车辆正在接近的具体交叉路口；
使用所述处理器识别与通过所述具体交叉路口的一条或多条路径相关联的潜在碰撞场景，其中每个潜在碰撞场景定义了所述车辆和一指定区域中的对象之间的碰撞风险；
使用所述处理器来调整针对每个潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重，使得将最高权重赋予所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于所述潜在碰撞场景的所述指定区域有关的最相关和最可靠的信息；
使用所述处理器，基于对所述一个或多个信息源的权重的调整来实现传感器融合，并基于所述传感器融合来执行检测；
根据所述检测，使用所述处理器来提供警报或实施动作；和
识别和存储与通过地图上的每个交叉路口的一条或多条路径相关联的潜在碰撞场景，其中识别与通过具体交叉路口的一条或多条路径相关联的潜在碰撞场景包括，实时地从存储器获得潜在碰撞场景，以及基于实时状况实时地对针对每个即将到来的潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重进行更新，其中所述实时状况包括来自一个或多个信息源的数据质量或环境光状况。
2.根据权利要求1所述的方法，其中识别车辆正在接近的具体交叉路口包括获得车辆的位置和对车辆在识别出多个交叉路口的地图上的位置做出参考。
3.根据权利要求1所述的方法，还包括根据实时状况来识别所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于潜在碰撞场景的指定区域有关的最相关和最可靠信息，其中实时状况包括环境光强度和车辆的任何信息源的被遮挡视野，其中信息源包括传感器，并且传感器包括摄像头、无线电雷达系统或激光雷达系统，或者信息源包括通信源，并且所述通信源包括另一车辆、基础设施或基于云的服务器。
4.根据权利要求1所述的方法，还包括，基于车辆是正被驾驶员操作的车辆，通过识别驾驶员横穿所述一条或多条路径中的一具体条路径的意图，从而仅考虑与通过所述具体交叉路口的所述一条或多条路径中的一具体条路径相关联的潜在碰撞场景，其中识别驾驶员意图包括，获得驾驶员的按钮或转向信号输入，或者获得车辆相对于提供给驾驶员的路线信息的位置。
5.一种实现传感器融合以确定车辆碰撞可能性的系统，该系统包括:
车辆的信息源；和
处理器，被配置为识别车辆正在接近的具体交叉路口，识别与通过所述具体交叉路口的一条或多条路径相关联的潜在碰撞场景，其中每个潜在碰撞场景定义了车辆和一指定区域中的对象之间的碰撞风险，调整针对每个潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重，使得将最高权重赋予所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于所述潜在碰撞场景的所述指定区域有关的最相关和最可靠的信息，基于对所述一个或多个信息源的权重的调整来实现传感器融合，并基于所述传感器融合来执行检测，以及根据检测来提供警报或实施动作，
其中所述处理器还被配置为，识别和存储与通过地图上的每个交叉路口的所述一条或多条路径相关联的潜在碰撞场景；并且所述处理器被配置为，通过实时地从存储器获得所述潜在碰撞场景来识别与通过具体交叉路口的所述一条或多条路径相关联的潜在碰撞场景；并且所述处理器还被配置为，基于实时状况实时地对针对每个即将到来的潜在碰撞场景考虑车辆的一个或多个信息源时所使用的权重进行更新，并且所述实时状况包括来自一个或多个信息源的数据质量或环境光状况。
6.根据权利要求5所述的系统，其中所述处理器被配置为，通过获得车辆的位置并对车辆在识别出多个交叉路口的地图上的位置做出参考，从而识别车辆正在接近的具体交叉路口。
7.根据权利要求5所述的系统，其中所述处理器还被配置为，根据实时状况来识别所述一个或多个信息源中的一个或多个，所述一个或多个信息源中的所述一个或多个提供与对应于潜在碰撞场景的指定区域有关的最相关和最可靠的信息，其中所述实时状况包括环境光强度和车辆的任何信息源的被遮挡视野，并且所述信息源包括传感器，并且所述传感器包括摄像头、无线电雷达系统或激光雷达系统，且信息源包括通信源，且所述通信源包括另一个车辆、基础设施或基于云的服务器。
8.根据权利要求5所述的系统，其中，所述处理器被配置为，基于车辆是正被驾驶员操作的车辆，通过识别驾驶员横穿所述一条或多条路径中的一具体条路径的意图，从而仅考虑与通过所述具体交叉路口的所述一条或多条路径中的一具体条路相关联的潜在碰撞场景；并且所述处理器被配置为，通过获得驾驶员的按钮或转向信号输入或者获得车辆相对于提供给驾驶员的路线信息的位置来识别驾驶员意图。
CN202110167910.9A 2020-02-10 2021-02-07 基于交叉口场景的传感器融合来确定车辆碰撞可能性 Active CN113257037B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/785,771 US11325594B2 (en) 2020-02-10 2020-02-10 Sensor fusion based on intersection scene to determine vehicle collision potential
US16/785,771 2020-02-10

Publications (2)

Publication Number Publication Date
CN113257037A CN113257037A (zh) 2021-08-13
CN113257037B true CN113257037B (zh) 2023-09-29

Family

ID=76968761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110167910.9A Active CN113257037B (zh) 2020-02-10 2021-02-07 基于交叉口场景的传感器融合来确定车辆碰撞可能性

Country Status (3)

Country Link
US (1) US11325594B2 (zh)
CN (1) CN113257037B (zh)
DE (1) DE102021101031A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113859257B (zh) * 2021-11-10 2022-05-24 紫清智行科技(北京)有限公司 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法
DE102022114589A1 (de) * 2022-06-09 2023-12-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zum Vorhersagen eines Fahrschlauches und Kraftfahrzeug
DE102022207005B3 (de) * 2022-07-08 2023-10-05 Volkswagen Aktiengesellschaft Ein Verfahren zum Betrieb eines Kraftfahrzeugs und ein Kraftfahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320089A (zh) * 2007-06-05 2008-12-10 通用汽车环球科技运作公司 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法
CN102030006A (zh) * 2009-10-05 2011-04-27 福特全球技术公司 用于控制车辆减轻交叉路口碰撞的系统
CN104181534A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 交叉路口碰撞警示系统的概率目标选择和威胁评估方法以及应用
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
US20170113683A1 (en) * 2015-10-27 2017-04-27 GM Global Technolgy Operations LLC Methods of improving performance of automotive intersection turn assist features
US20170113665A1 (en) * 2015-10-27 2017-04-27 GM Global Technology Operations LLC Algorithms for avoiding automotive crashes at left and right turn intersections
US9805601B1 (en) * 2015-08-28 2017-10-31 State Farm Mutual Automobile Insurance Company Vehicular traffic alerts for avoidance of abnormal traffic conditions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9950708B1 (en) * 2012-11-02 2018-04-24 Waymo Llc Adaptation of autonomous driving behaviour based on occupant presence and position
CN109032102B (zh) * 2017-06-09 2020-12-18 百度在线网络技术（北京）有限公司 无人驾驶车辆测试方法、装置、设备及存储介质
US20190337511A1 (en) * 2018-05-02 2019-11-07 GM Global Technology Operations LLC System and Method for Controlling an Autonomous Vehicle
KR102569134B1 (ko) * 2018-12-18 2023-08-22 모셔널 에이디 엘엘씨 머신 러닝을 이용한 모션 계획을 사용한 차량의 동작
US11409285B2 (en) * 2018-12-27 2022-08-09 Continental Automotive Systems, Inc. Method for maneuver prediction of traffic participant
US20200336541A1 (en) * 2019-04-16 2020-10-22 Qualcomm Incorporated Vehicle Sensor Data Acquisition and Distribution

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320089A (zh) * 2007-06-05 2008-12-10 通用汽车环球科技运作公司 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法
CN102030006A (zh) * 2009-10-05 2011-04-27 福特全球技术公司 用于控制车辆减轻交叉路口碰撞的系统
CN104181534A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 交叉路口碰撞警示系统的概率目标选择和威胁评估方法以及应用
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
US9805601B1 (en) * 2015-08-28 2017-10-31 State Farm Mutual Automobile Insurance Company Vehicular traffic alerts for avoidance of abnormal traffic conditions
US20170113683A1 (en) * 2015-10-27 2017-04-27 GM Global Technolgy Operations LLC Methods of improving performance of automotive intersection turn assist features
US20170113665A1 (en) * 2015-10-27 2017-04-27 GM Global Technology Operations LLC Algorithms for avoiding automotive crashes at left and right turn intersections
CN106608263A (zh) * 2015-10-27 2017-05-03 通用汽车环球科技运作有限责任公司 用于避免在左转或右转交叉口汽车碰撞的算法

Also Published As

Publication number Publication date
US11325594B2 (en) 2022-05-10
US20210245743A1 (en) 2021-08-12
DE102021101031A1 (de) 2021-08-12
CN113257037A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113257037B (zh) 基于交叉口场景的传感器融合来确定车辆碰撞可能性
US9922565B2 (en) Sensor fusion of camera and V2V data for vehicles
CN106816021B (zh) 用于通过考虑相关的信号发送器来影响车辆系统的系统
EP2169500B1 (en) Method of assessing vehicle paths in a road environment and a vehicle path assessment system.
JP4420011B2 (ja) 物体検知装置
CN101326511B (zh) 用于检测或预测车辆超车的方法
US10325163B2 (en) Vehicle vision
CN110198875B (zh) 对驾驶员辅助系统的改进或与之相关的改进
CN110214106B (zh) 可操作用于确定车道的一部分的位置的装置
JP2007304034A (ja) 車載道路形状識別装置
JP2020046706A (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US20170024621A1 (en) Communication system for gathering and verifying information
JP7005326B2 (ja) 路側物認識装置
GB2576206A (en) Sensor degradation
CN113228131B (zh) 用于提供周围环境数据的方法和系统
JP2019028733A (ja) 隊列走行システム
EP3709279A1 (en) Target detection device for vehicle
CN113734191A (zh) 人工地虚造传感器数据以发起用于自动驾驶车辆的安全动作
CN113525386A (zh) 对后方接近的应急车辆的检测
JP2006047057A (ja) 車外監視装置、及び、この車外監視装置を備えた走行制御装置
CN113183954A (zh) 基于交叉路口场景的车辆碰撞可能性确定
JP2004082912A (ja) 車間距離計測装置
CN110574086A (zh) 车辆控制装置
CN113386771A (zh) 道路模型的生成方法及设备
JP6720954B2 (ja) 車両の物標検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant