CN113276864A - 用于障碍物接近检测的系统和方法 - Google Patents
用于障碍物接近检测的系统和方法 Download PDFInfo
- Publication number
- CN113276864A CN113276864A CN202110193439.0A CN202110193439A CN113276864A CN 113276864 A CN113276864 A CN 113276864A CN 202110193439 A CN202110193439 A CN 202110193439A CN 113276864 A CN113276864 A CN 113276864A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- image
- value
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 title claims description 30
- 230000008859 change Effects 0.000 claims abstract description 45
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 16
- 230000004927 fusion Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002283 diesel fuel Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
- B62D15/0265—Automatic obstacle avoidance by steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9318—Controlling the steering
Abstract
描述了用于响应于检测到车辆附近的对象而辅助车辆转向的实施例。描述的实施例包括:从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收车辆外部环境中对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于即将发生的改变生成转向控制值。
Description
技术领域
本公开涉及车辆,并且尤其涉及用于检测车辆附近的障碍物的系统和方法。
背景技术
在过去的几十年中,车辆中乘员安全性的进步在减少死亡和受伤人数方面发挥了重要作用。这些进步包括被动安全性功能(例如,安全带、安全气囊、底盘结构设计等)以及主动安全性功能(例如,电子稳定性控制、防抱死制动系统、自适应巡航、自动制动系统等)。主动安全性功能对于避免碰撞或减轻碰撞的严重性至关重要。
通常,车辆设置有各种功能,以监测车辆附近的其他移动车辆的状况。这些功能可以使车辆能够检测其他车辆和障碍物的存在。这样的功能还可以响应于其他车辆或障碍物的各种状况而警告车辆的操作者或控制车辆的操纵。
发明内容
本公开大体上涉及用于检测车辆附近的障碍物的系统和方法。公开的实施例的一方面包括一种车辆的远距离对象检测系统。远距离对象检测系统包括处理器和存储器。存储器包括指令,这些指令在由处理器执行时使处理器:从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收车辆外部环境中对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于即将发生的改变生成转向控制值;以及基于转向控制值选择性地控制车辆的转向。
公开的实施例的另一方面包括一种用于响应于检测到车辆附近的对象而辅助车辆转向的方法。该方法包括从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像。该方法还包括基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值。该方法还包括将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联。该方法还包括从雷达传感器接收车辆外部环境中对象的位置信息。该方法还包括基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变。该方法还包括基于即将发生的改变生成转向控制值。该方法还包括基于转向控制值选择性地控制车辆的转向。
公开的实施例的另一方面包括一种车辆的远距离对象检测系统。远距离对象检测系统包括雷达传感器和图像捕获装置。雷达传感器被配置为检测车辆外部环境中的对象。图像捕获装置被配置为捕获表示图像捕获装置的视场内的环境的图像。远距离对象检测系统还包括处理器;和存储器。存储器包括指令,这些指令在由处理器执行时使处理器:从图像捕获装置接收图像,其中,该图像是与车辆的行驶车道相对应的车道指示符;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于即将发生的改变生成转向控制值;以及基于转向控制值选择性地控制车辆的转向。
在以下对实施例、所附权利要求书和附图的详细描述中公开了本公开的这些和其他方面。
附图说明
当结合附图阅读时,通过以下详细描述,本公开被最好地理解。要强调的是,根据惯例,附图的各种特征未按比例绘制。相反,为了清楚起见,各种特征的尺寸被任意地扩大或缩小。
图1大体上示出了根据本公开原理的车辆。
图2大体上示出了根据本公开原理的在弯曲道路上使用车辆前方的车道指示符位置来推断车辆后方的车道指示符的位置的情况。
图3大体上示出了根据本公开原理的远距离对象检测系统。
图4大体上示出了根据本公开原理的车辆的参考系内的车道指示符上的点。
图5大体上示出了根据本公开原理的车辆车道指定分配。
图6至图8大体上示出了根据本公开原理的远距离对象检测系统。
图9是大体上示出了根据本公开原理的远距离对象检测方法的流程图。
具体实施方式
以下讨论针对本公开的各种实施例。尽管这些实施例中的一个或多个可能是优选的,但是所公开的实施例不应被解释为或以其他方式用作限制包括权利要求的本公开的范围。另外,本领域技术人员将理解,以下描述具有广泛的应用,并且对任何实施例的讨论仅旨在成为该实施例的示例性讨论,而不旨在暗示包括权利要求的本公开的范围限于该实施例。
在过去的几十年中,车辆中乘员安全性的进步在减少死亡和受伤人数方面发挥了重要作用。这些进步包括被动安全性功能(例如,安全带、安全气囊、底盘结构设计等)以及主动安全功能(例如,电子稳定性控制、防抱死制动系统、自适应巡航、自动制动系统等)。主动安全性功能对于避免碰撞或减轻碰撞的严重性至关重要。
通常,车辆设置有各种功能,以监测车辆附近的其他移动车辆的状况。这些功能可以使车辆能够检测其他车辆和障碍物的存在。这样的功能还可以响应于其他车辆或障碍物的各种状况而警告车辆的操作者或控制车辆操纵。
虽然这些功能为操作者提供了更多的安全性和改进的功能,但是对操作者来说持续性的危险是与车辆的盲区上的障碍物碰撞的可能性,盲区是操作者无法直接观察到的在车辆周围的区域。在常规技术中,挑战在于可靠地检测车辆和/或车辆附近的对象。一个特定的挑战是将检测到的对象分配给特定的相邻车道。
本文所述的系统和方法可以被配置为通过响应于检测到车辆附近的对象而辅助车辆转向来解决上述问题。例如,从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像,并且基于该图像确定参考值。参考值对应于车道指示符相对于车辆的位置,并且每个参考值与用于定位在与车辆行驶的方向有关的参考系内的点的值相关联。还从雷达传感器接收车辆外部环境中的对象的位置信息,并且基于所述值和位置信息确定对象的分配车道。另外,检测到即将发生的车辆的行驶车道到对象的分配车道的改变,基于即将发生的改变来生成转向控制值,并且基于转向控制值来选择性地控制车辆的转向。
为了更详细地探讨前述内容,现在将描述图1。图1大体上示出了根据本公开原理的车辆10。车辆10可以包括任何合适的车辆,例如小汽车、卡车、运动型多用途车、小型货车、跨界车、任何其他乘用车、任何合适的商用车或任何其他合适的车辆。尽管车辆10被图示为具有车轮并且在道路上使用的乘用车,但是本公开的原理可以应用于其他交通工具,例如飞机、轮船、火车、无人机或其他合适的交通工具。
车辆10包括车主体12和发动机罩14。乘客室18至少部分地由车主体12限定。车主体12的另一部分限定引擎室20。发动机罩14可移动地附接至车主体12的一部分,使得当发动机罩14处于第一位置或打开位置时发动机罩14提供对引擎室20的访问,当发动机罩14处于第二位置或关闭位置时发动机罩14盖住引擎室20。在一些实施例中,引擎室20可以被设置在车辆10的后部(与通常所示出的相比而言)。
乘客室18可以被设置在引擎室20的后方,但是在引擎室20被设置在车辆10的在后面的部分的实施例中,乘客室18可以被设置在引擎室20的前方。车辆10可以包括任何合适的推进系统,包括内燃机、一个或多个电动马达(例如,电动车辆)、一个或多个燃料电池、包括内燃机、一个或多个电动马达的组合的混合(例如,混合动力车辆)推进系统和/或任何其他合适的推进系统。
在一些实施例中,车辆10可以包括汽油引擎或汽油燃料引擎,诸如火花点火式引擎。在一些实施例中,车辆10可以包括柴油燃料引擎,例如压缩点火式引擎。引擎室20容纳和/或包围车辆10的推进系统的至少一些组件。附加地或可选地,推进控制装置(例如加速器致动器(例如,加速器踏板)、制动致动器(例如,制动踏板)、转向盘和其他此类组件)被设置在车辆10的乘客室18中。推进控制装置可以由车辆10的驾驶员致动或控制,并且可以直接相应地连接至推进系统的对应组件,例如油门、制动器、车轴、车辆变速器等。在一些实施例中,推进控制装置可以将信号传达到车辆计算机(例如,线控驾驶),该车辆计算机进而可以控制推进系统的对应的推进组件。这样,在一些实施例中,车辆10可以是自动驾驶车辆。
在一些实施例中,车辆10包括经由飞轮或离合器或液力联轴节与曲轴通信的变速器。在一些实施例中,变速器包括手动变速器。在一些实施例中,变速器包括自动变速器。在内燃机或混合动力车辆的情况下,车辆10可以包括一个或多个活塞,其与曲轴协同运行以生成力,该力通过变速器被传递到一个或多个轴上,这使车轮22转动。当车辆10包括一个或多个电动马达时,车辆电池和/或燃料电池向电动马达提供能量,以使车轮22转动。
车辆10可以包括自动车辆推进系统,例如巡航控制、自适应巡航控制、自动制动控制、其他自动车辆推进系统或其组合。车辆10可以是自动或半自动车辆,或其他合适类型的车辆。车辆10可以包括与本文一般示出和/或公开的特征相比的附加的特征或更少的特征。
在一些实施例中,车辆10可以包括以太网组件24、控制器局域网组件(CAN)26、面向媒体的系统传输组件(MOST)28、FlexRay组件30(例如线控制动系统等)和本地互连网络组件(LIN)32。在一些实施例中,车辆10被配置为用于具有空中编程支持的域控制。例如,如所描述的,车辆10可以经由互联网(例如,或其他合适的网络)接收针对车辆10的任何合适的软件组件的更新。车辆10可以基于更新来更新或改变软件组件。车辆10可以包括与本文一般示出和/或公开的特征相比附加的或更少的特征。
在一些实施例中,车辆10包括一个或多个雷达传感器,其提供与在车辆10附近检测到的对象相对应的位置信息。例如,一个或多个雷达传感器可以提供检测到的对象相对于车辆10的速度和位置信息。该位置信息和由图像捕获装置捕获的与车辆10的行驶车道相对应的车道指示符的至少一个图像可以用于确定在车辆10的后方或侧面的被检测到的对象的行驶车道(例如,相同、左、右等)。
例如,后置摄像头可以用于实现该目的。然而,如果车辆10已经使用了前置摄像头,则这增加了额外的成本。从前置摄像头捕获的图像可用于确定在车辆10后方和/或侧面的车道指示符的位置,但是在车辆10向前曲线行驶(traverse forward)同时捕获的图像不能用于推断在车辆10后方和/或侧面的车道指示符的位置。来自这些图像的用于推断车道指示符的位置的任何数据都可能导致对车道指示符的位置进行不准确的描绘(特别是在弯曲的道路上)。图2提供了在弯曲的道路上使用车辆10前方的车道指示符的位置来推断在车辆10后方和/或侧面的车道指示符的位置。如图2中大体所示,如果车辆10前方的车道指示符204的位置被用于推断在车辆10后方的车道指示符的位置,那么在车辆10后方和/或侧面的车道指示符的定位被确定是弯曲的(如车道指示符202所表示的)。这样,基于车道指示符202的推断定位,车辆206将被确定为位于与车辆10相同的车道中而非位于与车辆10相邻的车道中。
为了防止这种情况,车辆10可以包括如图3大体所示的远距离对象检测系统300。系统300可以被配置为辅助车辆10的操作者确定在车辆10附近检测到的对象的行驶车道,并响应于检测到即将发生的车辆10的行驶车道到对象的分配车道的改变而选择性地控制车辆10的转向。如在图3中大体示出的,系统300可以包括控制器302、一个或多个输入装置304以及存储器306。控制器302可以包括任何合适的控制器,例如,车辆电子控制单元、处理器或任何其他合适的控制器,例如本文所述的那些。
控制器302可以与存储器306通信。存储器306可以包括任何合适的非易失性或易失性存储器。存储器306可以包括存储器阵列、存储器存储装置或任何其他合适的存储器。存储器306可以包括指令,这些指令在由控制器302执行时使控制器302至少控制车辆10的转向。附加地或者可替代地,指令在由控制器302执行时可以使控制器302执行车辆10的各种其他功能。控制器302还可以被配置为从输入装置304接收输入。
输入装置304可以包括任何合适的输入装置或多个合适的输入装置。例如,输入装置304可以包括图像捕获装置(例如,摄像头或其他合适的图像捕获装置)、雷达传感器、LIDAR传感器、全球定位系统(GPS)传感器、声纳传感器、其他合适的传感器或其组合。更具体地,在一些实施例中,输入装置304可以包括视图捕获装置(例如,前置摄像头),其捕获图像捕获装置的视场内的车辆10的外部环境的图像。视场可以包括车辆10的外部环境的在车辆10的行驶路径内的一部分。控制器302被配置为处理该图像数据和/或由输入装置304收集的其他类型的数据。附加地或可替代地,控制器302可以使用本文描述的卷积神经网络来检测一个或多个车道指示符。
在一些实施例中,控制器302被配置为从输入装置304接收指示车道指示符相对于车辆10的位置的数据(例如,车道指示符的图像),分析数据以确定与车道指示符相对于车辆的位置相对应的参考值,并将参考值存储在存储器306中。来自输入装置304的输入可以指示相对于车辆10的左车道指示符和右车道指示符的位置。在一些实施例中,控制器302可以分析输入以确定参考值,该参考值表示左车道指示符和右车道指示符距车辆10(例如,距车辆10的中心或边缘)的偏移或距离。在一些实施例中,控制器302可以将参考值(例如,150或更多个参考值)存储在存储器306中的阵列中。
在一些实施例中,控制器302还被配置为将每个参考值与用于定位在与车辆10的行驶方向(例如,车辆10的方位角(heading angle))相关的参考系内的点的值相关联。例如,如上所述,控制器302可以确定与车道指示符相对于车辆10的位置相对应的参考值。然后,控制器302可以使用坐标变换将每个参考值与用于在定位在与车辆10的行驶方向相关的参考系内的点的值相关联。在一些实施例中,参考点可以迭代地与参考系内的值相关联。
为了帮助进一步说明,现在将描述图4。图4描绘了如何将参考值与用于定位在与车辆10的行驶方向相关的参考系中的点的值相关联。例如,如图4中大体上所示,当车辆10在车道402中向前移动时,控制器302可以从输入装置304的前置摄像头接收捕获的图像数据。控制器302可以分析图像数据以在几个时间实例上确定与右车道指示符406相对于车辆10的位置和左车道指示符404相对于车辆10的位置相对应的参考值。根据该示例,控制器302可以将参考值表示为参考系或坐标系412内的点408(表示左车道指示符404的位置)和点410(表示右车道指示符406的位置),在参考系或坐标系412中,车辆10的中心用作原点。点408和点410可以唯一地标识右车道指示符406和左车道指示符404在坐标系412内的位置。
然后,控制器302可以变换点408和点410,以解释车辆10的行驶方向。例如,参考系414内的点408和点410可以被变换到与方位角(α)有关的参考系414。点408和点410可以在参考系414中分别被表示为点408'和点410'。例如,在一些实施例中,点408和点408'之间的关系以及点410和点410'之间的关系可以由以下矩阵表示:
其中,X=0,Y=距车辆的车道指示符偏移,h=-(车辆速度)*dt,
k=0,andα=-(横摆角速度)*dt
此外,在一些实施例中,图3中大体示出的输入装置304可以被配置为测量车辆10的各种特性和/或车辆10的外部环境。输入装置304可以将测得的特性传达给控制器302。例如,车辆和转向信号可以包括从一个或多个传感器接收到的测量信号,或者可以包括来自车辆10中的一个或多个处理器的估计或计算的信号。车辆和转向信号可以包括横摆角速度、车辆速度、车辆加速度、转向角、施加到车辆10的方向盘的输入扭矩等。控制器302可以使用车辆和转向信号(例如,横摆角速度和车辆速度)来关联点408和点408'以及点410和点410'。在一些实施例中,点408'和点410'可以存储在图3的存储器306中。
在一些实施例中,如所描述的,输入装置304还可包括一个或多个雷达传感器。控制器302可以从一个或多个传感器接收与在车辆10的附近检测到的对象相对应的位置信息。例如,输入装置304(例如,车辆10的后拐角雷达)可以检测到在车辆10附近(例如,在车辆10的盲区中)的对象(例如,图2的车辆206),并向控制器302提供输入以指示与在车辆10附近检测到的对象相对应的位置信息。
此外,控制器302可被配置为基于存储在存储器306中的点408'和点410'以及位置信息,确定对象的行驶车道(例如,车辆10的右车道、车辆10的左车道、与车辆10相同的车道等)。在一些实施例中,对象可以包括与车辆10相邻的车道中的静止对象,包括交通锥/标志、行人、墙壁、道路分隔线或车辆10可能与之碰撞的任何其他此类对象。
为了帮助进一步说明,现在将描述图5。如图5中大体上所示,车辆206在相邻车道502中在车辆10的后方。图4的点408'表示右车道指示符相对于车道402中的车辆10的位置。控制器302可以接收对应于车辆206的位置信息,并分析该位置信息以确定车辆206的前方的点在横向方向上位于距车辆10的侧面Y距离处,并且车辆206的前方的该点位于距车辆10的后方X距离处。
控制器302还可被配置为确定车辆206与由点408'表示的车道指示符的接近度。控制器302可以将X距离与点408'的X'值进行比较,以相对于点408'表示的车道指示符来近似车辆206位于车辆10后方的位置。例如,点408'中到X最近的X'值可以指示车辆206位于车辆10后方的最小距离。控制器302还可以将Y距离与点408'的Y'值进行比较,以确定车辆206与由点408'表示的车道指示符之间的距离504。基于距离504,控制器302可以确定车辆206的行驶车道。例如,在Y大于距离504的情况下,则控制器302可以向车辆206分配标志,以指示车辆206在相邻车道中(例如,在这种情况下,“右”车道指定给车辆206)。相反,在Y小于距离504的情况下,则控制器302可以向车辆206分配标志,以指示车辆206与车辆10在同一车道中。
在一些实施例中,控制器302可以被配置为检测即将发生的车辆10的行驶车道到对象的分配车道的改变,如图3中大体上所示。例如,控制器302可以使用测得的转向机构的角位置来确定车辆10的转向方向。车辆10的转向方向可以包括从操作者的角度来看的方向(例如,左或右)。转向方向指示改变车道的方向。
在一些实施例中,车辆10的操作者可以通过将车辆的转向信号致动到第一位置(例如,指示车辆10的第一侧)或第二位置(例如,指示车辆10的相对侧)来指示改变车道的方向。控制器302可以被配置为接收指示转向信号的位置的输入。例如,控制器302可以接收指示转向信号处于第一位置的输入,这可以表示即将发生的车辆10的行驶车道到右相邻行驶车道的改变。相反,输入可以指示转向信号处于第二位置,这可以表示即将发生的车辆10的行驶车道到左相邻行驶车道的改变。这些即将发生的车道改变检测技术可以在自主驾驶车辆和由操作者操作的车辆中实现。
在一些实施例中,控制器302可以从驾驶员监测系统接收输入,该驾驶员监测系统测量车辆10的内部环境(例如,车厢中)的各种特性。驾驶员监测系统可以包括一个或多个图像捕获装置,例如,摄像头、无源红外传感器或追踪操作者的移动的可穿戴装置。驾驶员监测系统捕获操作者的图像数据。控制器302可以使用图像数据来检测车辆10的行驶车道的即将发生的改变。例如,控制器302可以从驾驶员监测系统接收对转向信号的定位的图像数据。在某些情况下,操作者可能不使用转向信号(例如,由于车辆10没有转向信号、由于使用转向信号比较麻烦,等等)。在一些实施例中,因为驾驶员监测系统可以使用经训练的卷积神经网络以确定驾驶员正在看的地方。控制器302可以被配置为基于驾驶员正在看的地方来来确定操作者改变行驶车道的意图。附加地或可替代地,驾驶员监测系统可以追踪附加指示(例如,操作者的头部姿势或移动、目光矢量(gaze vector)等),控制器302可以使用附加指示来确定驾驶员意图改变车辆10的车道。
在一些实施例中,控制器302还被配置为基于即将发生的改变来生成转向控制值。例如,如果控制器302确定行驶车道即将发生改变,则控制器302可以计算车辆10与对象之间的碰撞时间(TTC),并基于该计算选择性地控制车辆10的转向。
图6大体上示出了远距离对象检测系统300的另一示例性实施例(例如,如图3中大体所示)。如图6中大体所示,控制器302被配置为与生成辅助扭矩的转向系统40进行通信。在一些实施例中,控制器302是“盲区”辅助系统,其检测车辆10的盲区中的远距离对象。
在一些实施例中,控制器302是基于来自一个或多个传感器312的输出信号执行一个或多个操作的转向系统(例如,转向系统40)的一部分。可替代地或附加地,控制器302是单独的处理单元,例如,电子电路单元(ECU)。在一些实施例中,控制器302包括一个或多个由处理单元读取和执行的计算机可执行指令。
控制器302可以使用车辆10配备有的一个或多个传感器312,例如摄像头、雷达、LIDAR、超声传感器等。另外,可以使用其他传感器,例如GPS。另外,车辆和转向信号314也提供到控制器302的输入。车辆和转向信号314可以包括从一个或多个传感器312(例如,转向系统40中的那些)接收到的测量信号,或者可以包括来自车辆10中的一个或多个ECU的估计或计算的信号。车辆和转向信号314可以包括横摆角速度、车辆速度、车辆加速度、转向角、施加到方向盘的输入扭矩等。车辆和转向信号314和一个或多个传感器312是图3的输入装置304的示例性实施例。
如图6中大体上所示,控制器302可以包括传感器融合系统316和情况分析系统318。在一些实施例中,两个或更多个传感器312的逻辑组合可以由传感器融合系统316使用。传感器融合系统316负责接收来自传感器312和其他车辆/转向信号314的输入信号,并使用一种或多种传感器融合技术来处理输入信号。传感器融合系统316有助于将从不同的源、传感器312和车辆/转向信号314导出的传感数据(sensory data)或数据进行组合,从而与单独使用源相比,所得到的信息具有更少的不确定性。
传感器融合系统316使用输入信号监测车辆10的预定接近度(例如,距车辆10的预定距离)内的周围环境。传感器融合系统316检测周围环境中的一个或多个远距离对象并分析车辆10与检测到的远距离对象的潜在碰撞是否可能。检测到的远距离对象可以包括其他车辆(远距离车辆或目标车辆)、交通锥/标志、车道标记、行人、墙壁、道路分隔线或车辆10可能与之碰撞的任何其他此类对象。
传感器融合系统316计算与远距离对象的TTC,该远距离对象是使用输入信号和一种或多种已知技术检测到的。例如,传感器融合系统316计算靠近车辆10或在车辆10前方或在车辆10的同一车道内的远距离车辆的距离和速度。传感器融合系统316还可以计算车辆10的相邻车道中的进入车辆(incoming vehicle)的距离和速度。例如,远距离对象检测系统300经由转向系统40提供盲区辅助。在一些实施例中,传感器融合系统316将前TTC信号发送到情况分析系统318,该情况分析系统318用于确定可以采取何种转向动作(例如,发出嗡嗡声、减少辅助、扭矩叠加、位置控制)。前TTC信号指示与位于车辆10前方的目标车辆的TTC。
图7描绘了根据一个或多个实施例的远距离对象检测系统300提供转向辅助的示例场景。需要说明的是,所描述的情况仅为示例,本文的技术方案也可以在其他场景下实现。图7的场景描绘了控制器302使用来自前置摄像头和两个后角雷达传感器的数据的一个或多个输入信号。如图所示,第一区域710表示摄像头的视场(FOV),第二区域720表示雷达传感器的视场,第三区域722表示两个(或更多个)雷达传感器之间的重叠区域。
参考图6,例如,在车辆10的第二区域720中,雷达信号用于保持追踪靠近车辆10的目标725。转向信号314和车道705的车道指示符也被用于预测车辆10的车道改变状态。车道改变状态指示车辆10是否打算执行车道改变操纵(左车道改变、右车道改变等)或继续在车道705中行驶。
情况分析系统318,其使用车道改变状态、前碰撞时间和侧碰撞时间来确定是否触发一个或多个级别的转向干预。例如,如果基于前碰撞时间确定的存在即将发生的前方碰撞,则使用提供给转向系统40的标志将侧碰撞防止功能切换为关闭(OFF)。替代地或附加地,根据侧碰撞时间,触发转向干预以防止侧碰撞。转向干预可以包括缩放基于驾驶员输入扭矩生成的辅助扭矩、用于基于情况分析系统318的分析进行缩放的缩放因子。替代地或附加地,该转向干预可以包括生成叠加扭矩以对抗或进一步协助来自驾驶员的输入扭矩。例如,转向系统40确定一个或多个级别的转向干预。
如所描述的,基于对象接近度和相对速度来计算TTC。另外,在一些实施例中,基于TTC和改变车道的意图来采取用于控制车辆10的转向的转向动作。例如,根据对象与车辆10的接近度,可能需要采取更具侵入性的转向动作。参考图8,在区域A中检测到的对象可能提示转向干预,该转向干预包括生成叠加扭矩以抵抗或进一步辅助来自驾驶员的输入扭矩。相反,在区域C中检测到的对象可能不会触发转向干预,而是向车辆10的操作者提供警告。
此外,为了防止误警报,车辆10的雷达传感器可以追踪从车辆的预定距离的区域返回信号的次数。例如,雷达传感器可以对信号从预定距离内的区域反弹回来的次数进行计数。然后,控制器302可以基于信号返回的次数和预定距离来生成转向控制值。例如,如果返回信号的次数低于阈值(例如,返回信号二十五次),则控制器302可以生成指示不干扰车辆10的转向的转向控制值,因为检测到的对象可能不再在预定距离内。相反,如果返回信号的次数大于阈值,则控制器302可以生成指示干预车辆10的转向的转向控制值,并且根据检测到对象所在的是预定距离内的哪个区域,对车辆10的转向的控制或多或少是侵入性的。
图9是大体上示出了根据本公开原理的用于提供远距离对象辅助的方法900的流程图。在902处,方法900从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像。例如,图3和图6的控制器302从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像。
在904处,方法900基于图像确定与车道指示符相对于车辆的位置相对应的参考值。例如,图3和图6的控制器302基于图像确定与车道指示符相对于车辆的位置相对应的参考值。
在906处,方法900将每个参考值与用于定位在与车辆行驶方向相关的参考系内的点的值相关联。例如,图3和图6的控制器302将每个参考值与用于定位在与车辆行驶方向相关的参考系内的点的值相关联。
在908处,方法900从雷达传感器接收车辆外部环境中的对象的位置信息。例如,图3和图6的控制器302从雷达传感器接收车辆外部环境中的对象的位置信息。
在910处,方法900基于值和位置信息确定对象的分配车道。例如,图3和图6的控制器302基于值和位置信息确定对象的分配车道。
在912处,方法900检测即将发生的车辆的行驶车道到对象的行驶车道的改变。例如,图3和图6的控制器302检测即将发生的车辆的行驶车道到对象的行驶车道的改变。
在914处,方法900基于即将发生的改变来生成转向控制值。例如,图3和图6的控制器302基于即将发生的改变来生成转向控制值。
在916处,方法900基于转向控制值来选择性地控制车辆的转向。例如,图3和图6的控制器302基于转向控制值选择性地控制车辆的转向。
在一些实施例中,一种车辆的远距离对象检测系统包括:处理器和包括指令的存储器,这些指令在由处理器执行时使处理器:从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收车辆外部环境中对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于即将发生的改变生成转向控制值;以及基于转向控制值选择性地控制车辆的转向。
在一些实施例中,指令还使处理器:使用坐标变换将每个参考值与所述值相关联。
在一些实施例中,指令还使处理器:基于图像确定与另一车道指示符相对于车辆的位置相对应的参考值。
在一些实施例中,指令还使处理器:基于值和位置信息,确定对象与车道指示符的接近度。
在一些实施例中,对象位于车辆的盲区中。
在一些实施例中,图像表示在图像捕获装置的视场内的车辆的外部环境的部分,并且位置信息指示对象位于车辆的盲区中。
在一些实施例中,图像是车辆的前视图。
在一些实施例中,一种用于响应于检测到车辆附近的对象而辅助车辆转向的方法,包括:从图像捕获装置接收与车辆的行驶车道相对应的车道指示符的图像;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收车辆外部环境中对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于所述即将发生的改变生成转向控制值;以及基于转向控制值选择性地控制车辆的转向。
在一些实施例中,使用坐标变换来执行将每个参考值与值相关联。
在一些实施例中,该方法还包括:基于图像确定与另一车道指示符相对于车辆的位置相对应的参考值。
在一些实施例中,该方法还包括:基于值和位置信息确定对象与车道指示符的接近度。
在一些实施例中,对象位于车辆的盲区中。
在一些实施例中,图像表示在图像捕获装置的视场内的车辆的外部环境的部分,并且位置信息指示对象在车辆的盲区中。
在一些实施例中,图像是车辆的前视图。
在一些实施例中,一种车辆的远距离对象检测系统包括:雷达传感器,其被配置为检测车辆外部环境中的对象;图像捕获装置,其被配置为捕获表示图像捕获装置的视场内的环境的图像;处理器;以及包括指令的存储器,这些指令在由处理器执行时使处理器:从图像捕获装置接收图像,其中,该图像是与车辆的行驶车道相对应的车道指示符;基于该图像,确定与车道指示符相对于车辆的位置相对应的参考值;将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;从雷达传感器接收对象的位置信息;基于值和位置信息,确定对象的分配车道;检测车辆的行驶车道到对象的分配车道的即将发生的改变;基于即将发生的改变生成转向控制值;以及基于转向控制值选择性地控制车辆的转向。
在一些实施例中,指令还使处理器:使用坐标变换将每个参考值与所述值相关联。
在一些实施例中,指令还使处理器:基于图像确定与另一车道指示符相对于车辆的位置相对应的参考值。
在一些实施例中,指令还使处理器:基于值和位置信息确定对象与车道指示符的接近度。
在一些实施例中,对象位于车辆的盲区中。
在一些实施例中,雷达传感器还被配置为追踪信号从车辆的预定距离中的区域返回的次数;以及指令还使处理器:基于信号的返回次数和预定距离生成转向控制值。
以上讨论意在说明本发明的原理和各种实施例。一旦完全理解了上述公开,许多变化和修改对于本领域技术人员将变得显而易见。意图将以下权利要求解释为包含所有这样的变化和修改。
词语“示例”在本文中用来表示用作示例、例子或说明。本文中被描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或有利。相反,使用“示例”一词旨在以具体方式呈现概念。如在本申请中使用的,术语“或”旨在表示包括性的“或”而不是排他性的“或”。也就是说,除非另有说明或从上下文可以清楚地看出,“X包括A或B”旨在表示任何自然的包含性排列。也就是说,如果X包含A;X包括B;或X包括A和B二者,则在任何前述情况下均满足“X包括A或B”。另外,在本申请和所附权利要求书中使用的冠词“一(a/an)”通常应被解释为意指“一个或多个”,除非另有说明或从上下文清楚地指向单数形式。此外,除非如此描述,否则贯穿全文使用术语“实施方式”或“一个实施方式”并不旨在表示相同的实施例或实施方式。
本文描述的系统、算法、方法以及指令等的实现可以以硬件、软件或其任何组合来实现。硬件可以包括,例如,计算机、知识产权(IP)内核、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或任何其他合适的电路。在权利要求中,术语“处理器”应被理解为单独地或组合地包括任何前述硬件。术语“信号”和“数据”可互换使用。
如在此使用的,术语系统可以包括被设计为与其他组件一起使用的封装的功能硬件单元、控制器(例如,执行软件或固件的处理器)可执行的一组指令、被配置为执行特定功能的处理电路以及与大型系统接合的自含式硬件或软件组件。例如,系统可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电路、数字逻辑电路、模拟电路、分立电路的组合、门电路和其他类型硬件或者它们的组合。在其他实施例中,系统可以包括存储器,该存储器存储控制器可执行以实现系统的特征的指令。
此外,在一方面,例如,本文描述的系统可以使用具有计算机程序的通用计算机或通用处理器来实现,该计算机程序在被执行时实行本文描述的任何相应的方法、算法和/或指令。附加地或可选地,例如,可以利用专用计算机/处理器,其可以包含用于实行本文描述的任何方法、算法或指令的其他硬件。
此外,本公开的全部或部分实现方式可以采取可从例如计算机可用或计算机可读介质访问的计算机程序产品的形式。计算机可用或计算机可读介质可以是例如可以有形地包含、存储、传达或传输程序以供任何处理器使用或与其结合使用的任何装置。介质可以是例如电的、磁的、光学的、电磁的装置或半导体装置。也可以使用其他合适的介质。
已经描述了上述实施例、实施方式和方面,以允许容易地理解本发明并且不限制本公开。相反,本发明旨在覆盖所附权利要求的范围内所包括的各种修改和等效布置,该范围应被赋予最宽泛的解释,以涵盖法律允许的所有此类修改和等效结构。
Claims (20)
1.一种车辆的远距离对象检测系统,包括:
处理器;以及
包括指令的存储器,所述指令在由所述处理器执行时使所述处理器:
从图像捕获装置接收与所述车辆的行驶车道相对应的车道指示符的图像;
基于所述图像,确定与所述车道指示符相对于所述车辆的位置相对应的参考值;
将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;
从雷达传感器接收车辆外部环境中对象的位置信息;
基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息,确定对象的分配车道;
检测所述车辆的行驶车道到所述对象的分配车道的即将发生的改变;
基于所述即将发生的改变生成转向控制值;以及
基于所述转向控制值选择性地控制所述车辆的转向。
2.根据权利要求1所述的远距离对象检测系统,其中,所述指令还使所述处理器:使用坐标变换将所述每个参考值与所述用于定位在与车辆行驶方向相关的参考系中的点的值相关联。
3.根据权利要求1所述的远距离对象检测系统,其中,所述指令还使所述处理器:基于所述图像确定与另一车道指示符相对于所述车辆的位置相对应的参考值。
4.根据权利要求1所述的远距离对象检测系统,其中,所述指令还使所述处理器:基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息,确定所述对象与所述车道指示符的接近度。
5.根据权利要求1所述的远距离对象检测系统,其中,所述对象位于所述车辆的盲区中。
6.根据权利要求1所述的远距离对象检测系统,其中,所述图像表示在所述图像捕获装置的视场内的车辆外部环境的部分,并且所述位置信息指示所述对象位于所述车辆的盲区中。
7.根据权利要求6所述的远距离对象检测系统,其中,所述图像是车辆的前视图的图像。
8.一种用于响应于检测到车辆附近的对象而辅助车辆转向的方法,包括:
从图像捕获装置接收与所述车辆的行驶车道相对应的车道指示符的图像;
基于所述图像,确定与所述车道指示符相对于所述车辆的位置相对应的参考值;
将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;
从雷达传感器接收车辆外部环境中对象的位置信息;
基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息,确定所述对象的分配车道;
检测所述车辆的行驶车道到所述对象的分配车道的即将发生的改变;
基于所述即将发生的改变生成转向控制值;以及
基于所述转向控制值选择性地控制所述车辆的转向。
9.根据权利要求8所述的方法,其中,使用坐标变换来执行将每个参考值与所述用于定位在与车辆行驶方向相关的参考系中的点的值相关联。
10.根据权利要求8所述的方法,还包括:基于所述图像确定与另一车道指示符相对于所述车辆的位置相对应的参考值。
11.根据权利要求8所述的方法,还包括:基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息确定所述对象与所述车道指示符的接近度。
12.根据权利要求8所述的方法,其中,所述对象位于所述车辆的盲区中。
13.根据权利要求8所述的方法,其中,所述图像表示在所述图像捕获装置的视场内的车辆外部环境的部分,并且所述位置信息指示所述对象在所述车辆的盲区中。
14.根据权利要求13所述的方法,其中,所述图像是所述车辆的前视图的图像。
15.一种车辆的远距离对象检测系统,包括:
雷达传感器,其被配置为检测车辆外部环境中的对象;
图像捕获装置,其被配置为捕获表示所述图像捕获装置的视场内的环境的图像;
处理器;以及
包括指令的存储器,所述指令在由所述处理器执行时使所述处理器:
从所述图像捕获装置接收所述图像,其中,所述图像是与车辆的行驶车道相对应的车道指示符的图像;
基于所述图像,确定与所述车道指示符相对于所述车辆的位置相对应的参考值;
将每个参考值与用于定位在与车辆行驶方向相关的参考系中的点的值相关联;
从所述雷达传感器接收所述对象的位置信息;
基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息,确定所述对象的分配车道;
检测所述车辆的行驶车道到所述对象的分配车道的即将发生的改变;
基于所述即将发生的改变生成转向控制值;以及
基于所述转向控制值选择性地控制所述车辆的转向。
16.根据权利要求15所述的远距离对象检测系统,其中,所述指令还使所述处理器:使用坐标变换将所述每个参考值与所述用于定位在与车辆行驶方向相关的参考系中的点的值相关联。
17.根据权利要求15所述的远距离对象检测系统,其中,所述指令还使所述处理器:基于所述图像确定与另一车道指示符相对于所述车辆的位置相对应的参考值。
18.根据权利要求15所述的远距离对象检测系统,其中,所述指令还使所述处理器:基于所述用于定位在与车辆行驶方向相关的参考系中的点的值和所述位置信息确定所述对象与所述车道指示符的接近度。
19.根据权利要求15所述的远距离对象检测系统,其中,所述对象位于所述车辆的盲区中。
20.根据权利要求15所述的远距离对象检测系统,其中:
所述雷达传感器还被配置为追踪信号从所述车辆的预定距离内的区域返回的次数;以及
所述指令还使所述处理器:基于信号返回的次数和所述预定距离生成所述转向控制值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/796,012 | 2020-02-20 | ||
US16/796,012 US11599117B2 (en) | 2020-02-20 | 2020-02-20 | Systems and methods for obstacle proximity detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113276864A true CN113276864A (zh) | 2021-08-20 |
Family
ID=77176324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110193439.0A Pending CN113276864A (zh) | 2020-02-20 | 2021-02-20 | 用于障碍物接近检测的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11599117B2 (zh) |
CN (1) | CN113276864A (zh) |
DE (1) | DE102021102415A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220363250A1 (en) * | 2021-05-11 | 2022-11-17 | Magna Electronics Inc. | Vehicular driving assistance system with lateral motion control |
US11915590B2 (en) * | 2021-05-11 | 2024-02-27 | Gentex Corporation | “A” pillar detection system |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2837538A1 (en) * | 2013-08-16 | 2015-02-18 | Autoliv Development AB | A vehicle safety system |
US9701307B1 (en) * | 2016-04-11 | 2017-07-11 | David E. Newman | Systems and methods for hazard mitigation |
DE102017200768A1 (de) * | 2016-02-25 | 2017-08-31 | Toyota Jidosha Kabushiki Kaisha | Fahrsteuervorrichtung |
US20180293893A1 (en) * | 2017-04-11 | 2018-10-11 | Hyundai Motor Company | Vehicle and method for collision avoidance assistance |
CN109017990A (zh) * | 2017-06-12 | 2018-12-18 | 操纵技术Ip控股公司 | 车辆安全转向系统 |
US20190077398A1 (en) * | 2017-09-14 | 2019-03-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for vehicle lane change prediction using structural recurrent neural networks |
CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
US20190143968A1 (en) * | 2017-01-19 | 2019-05-16 | Mando Corporation | Camera system for intelligent driver assistance system, and driver assistance system and method |
US20190329782A1 (en) * | 2017-01-12 | 2019-10-31 | Mobileye Vision Technologies Ltd. | Pass on command feature for a navigation system |
US20190375412A1 (en) * | 2017-01-13 | 2019-12-12 | Honda Motor Co., Ltd. | Vehicle control system, vehicle control method, and storage medium |
KR102061750B1 (ko) * | 2019-05-15 | 2020-01-03 | 주식회사 라이드플럭스 | 사전 정보를 이용하여 차량의 주행을 제어하는 방법 및 장치 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7049945B2 (en) * | 2000-05-08 | 2006-05-23 | Automotive Technologies International, Inc. | Vehicular blind spot identification and monitoring system |
US9988047B2 (en) * | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
JP6483446B2 (ja) * | 2015-01-15 | 2019-03-13 | トヨタ自動車株式会社 | 複合線判定装置及び複合線判定方法 |
EP3292024A4 (en) * | 2015-05-06 | 2018-06-20 | Magna Mirrors of America, Inc. | Vehicle vision system with blind zone display and alert system |
NL2016753B1 (en) * | 2016-05-10 | 2017-11-16 | Daf Trucks Nv | Platooning method for application in heavy trucks |
WO2018175441A1 (en) * | 2017-03-20 | 2018-09-27 | Mobileye Vision Technologies Ltd. | Navigation by augmented path prediction |
US20190315345A1 (en) * | 2018-04-16 | 2019-10-17 | David E. Newman | Blind spot potential-hazard avoidance system |
KR20200102004A (ko) * | 2019-01-28 | 2020-08-31 | 주식회사 만도 | 충돌 방지 장치, 시스템 및 방법 |
US20210108926A1 (en) * | 2019-10-12 | 2021-04-15 | Ha Q. Tran | Smart vehicle |
-
2020
- 2020-02-20 US US16/796,012 patent/US11599117B2/en active Active
-
2021
- 2021-02-03 DE DE102021102415.3A patent/DE102021102415A1/de active Pending
- 2021-02-20 CN CN202110193439.0A patent/CN113276864A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2837538A1 (en) * | 2013-08-16 | 2015-02-18 | Autoliv Development AB | A vehicle safety system |
DE102017200768A1 (de) * | 2016-02-25 | 2017-08-31 | Toyota Jidosha Kabushiki Kaisha | Fahrsteuervorrichtung |
US9701307B1 (en) * | 2016-04-11 | 2017-07-11 | David E. Newman | Systems and methods for hazard mitigation |
CN109643367A (zh) * | 2016-07-21 | 2019-04-16 | 御眼视觉技术有限公司 | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 |
US20190329782A1 (en) * | 2017-01-12 | 2019-10-31 | Mobileye Vision Technologies Ltd. | Pass on command feature for a navigation system |
US20190375412A1 (en) * | 2017-01-13 | 2019-12-12 | Honda Motor Co., Ltd. | Vehicle control system, vehicle control method, and storage medium |
US20190143968A1 (en) * | 2017-01-19 | 2019-05-16 | Mando Corporation | Camera system for intelligent driver assistance system, and driver assistance system and method |
US20180293893A1 (en) * | 2017-04-11 | 2018-10-11 | Hyundai Motor Company | Vehicle and method for collision avoidance assistance |
CN109017990A (zh) * | 2017-06-12 | 2018-12-18 | 操纵技术Ip控股公司 | 车辆安全转向系统 |
US20190077398A1 (en) * | 2017-09-14 | 2019-03-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for vehicle lane change prediction using structural recurrent neural networks |
KR102061750B1 (ko) * | 2019-05-15 | 2020-01-03 | 주식회사 라이드플럭스 | 사전 정보를 이용하여 차량의 주행을 제어하는 방법 및 장치 |
Non-Patent Citations (2)
Title |
---|
于涛;徐家明;: "车辆前方行驶环境识别技术探讨", 汽车科技, no. 06, pages 26 - 30 * |
惠飞;穆柯楠;赵祥模;: "基于动态概率网格和贝叶斯决策网络的车辆变道辅助驾驶决策方法", 交通运输工程学报, no. 02, pages 152 - 162 * |
Also Published As
Publication number | Publication date |
---|---|
DE102021102415A1 (de) | 2021-08-26 |
US11599117B2 (en) | 2023-03-07 |
US20210263518A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Galvani | History and future of driver assistance | |
US11597378B2 (en) | Vehicular sensing system for anticipating cut-in by other vehicle | |
CN102725168B (zh) | 用于检测侧面物体的驾驶员辅助方法 | |
US10239528B2 (en) | Vehicle and method of controlling the vehicle | |
US8600606B2 (en) | Vehicle safety systems and methods | |
US20170235307A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20060085131A1 (en) | Path estimation and confidence level determination system for a vehicle | |
US10569769B2 (en) | Vehicle control device | |
CN105844967A (zh) | 基于车车通信的车辆碰撞预警及主动控制方法 | |
US20190071071A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN112721922A (zh) | 用于紧急转向的共享控制的系统和方法 | |
US11338801B2 (en) | Collision avoidance device | |
US11780433B2 (en) | Systems and methods for selectively modifying collision alert thresholds | |
US11127301B1 (en) | Systems and methods for adapting operation of an assistance system according to the presence of a trailer | |
CN113276864A (zh) | 用于障碍物接近检测的系统和方法 | |
KR20210063395A (ko) | 운송 수단 주변에 있는 물체가 운송 수단의 운행에 미치는 효과를 평가하기 위한 방법 | |
JP2017117192A (ja) | 運転支援装置 | |
US20220161849A1 (en) | Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program | |
CN115476923A (zh) | 用于主动式盲区辅助的系统和方法 | |
JP7318692B2 (ja) | 適応可能な後突警報のためのシステムと方法 | |
US20220306153A1 (en) | Driving assistance apparatus | |
US10843692B2 (en) | Vehicle control system | |
US20190202493A1 (en) | Vehicle control apparatus | |
US20230365124A1 (en) | Systems and methods for generating vehicle alerts | |
US11938879B2 (en) | Vehicle control device, information processing apparatus, operation methods thereof, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |