CN110103958B - 融合前车辆传感器数据用于对在前物体的检测和测距 - Google Patents

融合前车辆传感器数据用于对在前物体的检测和测距 Download PDF

Info

Publication number
CN110103958B
CN110103958B CN201910093082.1A CN201910093082A CN110103958B CN 110103958 B CN110103958 B CN 110103958B CN 201910093082 A CN201910093082 A CN 201910093082A CN 110103958 B CN110103958 B CN 110103958B
Authority
CN
China
Prior art keywords
data
sensing
distance
vehicle
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910093082.1A
Other languages
English (en)
Other versions
CN110103958A (zh
Inventor
T·B·林德霍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of CN110103958A publication Critical patent/CN110103958A/zh
Application granted granted Critical
Publication of CN110103958B publication Critical patent/CN110103958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/162—Speed limiting therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本公开涉及融合前车辆传感器数据用于对在前物体的检测和测距。本公开涉及一种用于在自适应巡航控制期间确定车辆间距离的方法。而且，该方法涉及集成多个感测模式来在近距离准确地确定车辆间距离。此方案利用了标准的基于车辆的传感器和处理电路系统来改进在车辆间距离确定期间对感测模式的选择。

Description

融合前车辆传感器数据用于对在前物体的检测和测距
背景技术
自适应巡航控制(adaptive cruise control，ACC)系统通过利用面向前的传感器检测在前物体的大小、速度和范围来提高驾驶员安全和自信。在驾驶员选择将ACC用于纵向控制的实例中，ACC可生成更改车辆速度的命令以便维持安全的车辆间驾驶距离。Chia的标题为“Technique for detecting truck trailer for stop and go adaptive cruisecontrol”的美国专利No.7,457,699涉及一种用于检测否则可能被不正确预测的近距离卡车挂车的基于雷达的方案。虽然此方案目标在于改善对具有不一致的后平面(即，从卡车车厢伸出的建筑材料、在轮胎上方某距离处的卡车挂车)的车辆的检测，但雷达在近距离情形中仍然是次优的，因而需要一种用于检测在前物体的新方案。
前述“背景技术”描述是为了概括地给出本公开的背景。发明人的工作(就其在本背景技术部分中描述的程度而言)以及在提交之时描述中的可能因其他原因不适合作为现有技术的方面，既不被明确地也不被隐含地承认为针对本发明的现有技术。
发明内容
本公开涉及被配置用于确定车辆与在前物体之间的距离的方法、装置和计算机可读介质，包括：经由第一感测模式获取与车辆和在前物体之间的距离有关的第一感测参数，经由处理电路系统确定经由第一感测模式获取的第一感测参数的量值，经由第二感测模式获取与车辆和在前物体之间的距离有关的第二感测参数，经由处理电路系统确定经由第二感测模式获取的第二感测参数的量值，并且基于对第一感测参数的量值和第二感测参数的量值相对于预定阈值的确定，选择第一感测参数、第二感测参数或者其组合，来确定车辆与在前物体之间的距离。
根据实施例，本公开还涉及经由相机获取与在前物体有关的图像，对与在前物体有关的图像进行分类，并且基于对与在前物体有关的图像的分类来选择第一感测参数、第二感测参数或者其组合。
前述段落已经通过概述而被提供，并不旨在限制以下权利要求的范围。通过结合附图参考以下详细描述，将最好地理解描述的实施例以及进一步的优点。
附图说明
随着通过在结合附图考虑时参考以下详细描述来更好地理解本公开及其许多伴随的优点，将容易获得对本公开及其许多伴随的优点的更完整领会，其中：
图1是根据本公开的示范性实施例的用户车辆相对于在前车辆的图示；
图2是本公开的自适应巡航控制系统的高级别流程图，包括驾驶支持系统控制单元和行驶速度控制单元；
图3是根据本公开的示范性实施例的行驶速度控制单元的框图；
图4是根据本公开的示范性实施例的对在前车辆的辨识的图示；
图5是本公开的示范性实施例的高级别流程图；
图6是根据本公开的示范性实施例的检测和测距的流程图；
图7A是根据示范性实施例的检测和测距的图示；
图7B是根据示范性实施例的检测和测距的图示；
图7C是根据示范性实施例的检测和测距的图示；
图8A是根据本公开的示范性实施例的在检测和测距期间的物体识别的图示；
图8B是根据本公开的示范性实施例的在检测和测距期间的物体识别的图示；
图8C是根据本公开的示范性实施例的在检测和测距期间的物体识别的图示；以及
图9是根据本公开的示范性实施例的被配置为执行检测、测距和控制的计算机的硬件描述的框图。
具体实施方式
如本文使用的术语“一”或“一个”被定义为一个或多于一个。如本文使用的术语“多个”被定义为两个或多于两个。如本文使用的术语“另一”被定义为至少第二个或更多个。如本文使用的术语“包括”和/或“具有”被定义为包含(即，开放语言)。贯穿本文档提及“一个实施例”、“某些实施例”、“实施例”、“实现方式”、“示例”或类似的术语的意思是联系实施例描述的特定的特征、结构或特性被包括在本公开的至少一个实施例中。从而，这种短语在贯穿本说明书各处的出现不一定全都指相同的实施例。另外，特定的特征、结构或特性在一个或多个实施例中可以以任何合适的方式被组合而没有限制。
自适应巡航控制(ACC)被广泛部署在现代车辆中以便提高乘客安全。为此，ACC主动测量用户的车辆与在前车辆之间的距离，除其他输入外还将此距离信息与用户车辆的已知速度信息相集成来确定用户车辆的速度是否需要被调整以便维持预定的跟随距离或者实现目标速度。通常，距离保持是经由雷达(用于在理想情形(例如，保持距离的公路行驶)中确定车辆范围的高效系统)执行的。然而，在走走停停的交通中，或者当在前车辆正运载着从车辆的后平面延伸的笨重负载时，基于雷达的信息的准确度可能降低，从而影响ACC恰当地控制车辆速度和避免碰撞的能力。
这个缺点是部署在车辆中的基于雷达的系统的技术基础的结果。雷达发射器发出与物体接触并且被反射或散射在各种方向上的无线电波的窄锥。随着波的一部分以已知的时间和频率间隔被反射并在接收器处被接收，可以确定与在前物体的距离。然而，为了从各种信号中确定一个距离，选择来自在前物体的最高反射率的形心。这个形心可以包含在前车辆的后视角的大百分比，但也可以只表示在前车辆的一小部分。在运载着钢铁工字梁的平板卡车的实例中，这些差异可能导致对与在前车辆的最后方面的真实距离的不准确确定。例如，当用户车辆靠近在前车辆时，在前车辆以及任何后方面可能脱离由用户车辆发出的无线电波的窄锥，从而离开雷达视野并且变得难以追踪。此时，一种在近距离有效的距离保持技术是必要的。
由于此原因，如本文所述，本公开介绍了一种用于集成相机、雷达和声纳以便在一系列距离上准确地确定车辆之间的距离的系统。
图1是根据本公开的示范性实施例的用户车辆相对于在前车辆的图示。本车辆105正在在前车辆110后方以某个距离和已知速度行驶。在实施例中，本车辆105是被装备为运载乘客的用户车辆115，并且在前车辆110是被装备用于运输重型设备的平板挂车卡车121。在实施例中，平板挂车卡车121的平板挂车122的后方面不在用户车辆115的雷达视野111内。然而，平板挂车卡车121的平板挂车122的这个后方面(由于其接近用户车辆115而不能被雷达追踪)在用户车辆115的声纳视野112内。在实施例中，平板挂车卡车121的平板挂车122的重型设备(或类似物)以高强度反射无线电波。虽然不是平板挂车卡车121的最后方面，但这个重型设备可能不成比例地影响雷达系统准确确定与平板挂车122的距离的能力。结果，这可能模糊用户车辆115与平板挂车卡车121的后方面之间的真实距离。用户车辆115的面向前的相机捕捉在前车辆的图像113。由于距离保持技术的胜任力受到车辆类型(即形状、大小、货物)的影响，这些捕捉的图像113被用于确定在前车辆的身份，进一步告知上述距离保持技术的准确度。
尽管已知雷达对于确定较长距离有效，但是由于使用声波的技术限制，声纳对于确定较短距离更有效。因此，在示范性实施例中，当在前车辆临近这两个距离保持方案之间的边界时，用户车辆必须确定采用哪个距离保持方案。基于对在前车辆的辨识及其预测距离，只使用雷达、只使用声纳或者集成这两种方案来达到最准确的距离，可能是适当的。
图2是本公开的自适应巡航控制系统的高级别流程图。从左到右，图2概括给出了被输送到负责准确确定与在前车辆的距离的驾驶支持系统控制单元230的输入，随后被输送到行驶速度控制单元235来修改车辆速度的值。
如图2中所示，车辆控制系统200包括但不限于用于捕捉在前物体的相机203、用于确定在前物体与本车辆之间的距离的雷达设备201、用于确定在前物体与本车辆之间的距离的声纳设备202、检测本车辆的行驶速度的行驶速度传感器204、驾驶支持系统控制单元230以及行驶速度控制单元235。驾驶支持系统控制单元230包括但不限于利用来自相机203的捕捉的图像的物体识别装置233、距离确定装置231、雷达强度确定装置234和声纳分辨率确定装置232。距离确定装置233利用来自雷达设备201和声纳设备202的数据，在来自雷达强度确定装置234和声纳分辨率确定装置232的输出的背景下，来确定在前车辆与本车辆之间的距离。一旦距离已由距离确定装置233确定，值就被输送到行驶速度控制单元235以用于在适当情况下调整本车辆速度。
根据实施例，相机203至少获取在前视图的图像(包括该视图内的任何物体)，并且将捕捉的图像输出到驾驶支持系统控制单元230。来自相机203的捕捉的图像可以被用于物体识别以便为距离确定装置提供信息并且登记视野内车辆的横向存在。车辆的存在及其空间位置在环境压力(即，意料之外的车道变化)的情形中是关键的，使得能够迅速控制车辆速度。从相机203连续获取数据，以便向驾驶支持系统控制单元230提供实时物体数据。在实施例中，相机203是可见光相机、红外相机或者其组合。
根据实施例，雷达设备201是用于检测在前物体(包括车辆)并且测量本车辆与在前车辆之间的距离的毫米波雷达。基于车辆的毫米波雷达设备201混合从发射器发出的发射波(毫米波)和从在前车辆反射的接收波以便提取混合信号中的拍频(beat frequency)，由此获取关于本车辆与在前车辆之间的距离的信息。这个距离信息随后被输出到驾驶支持系统控制单元230。在实施例中，关于与在前车辆的距离的信息是经由在接收器处捕捉到的反射无线电波的形心的定位来确定的。与热图(heat map)类似，生成无线电波强度的像素化渲染并且选择具有最高强度的区域作为在前车辆的后方面。在另一实施例中，关于与在前车辆的距离的信息是从与视野中的物体相关的频谱的波形峰确定的。从雷达设备201连续获取数据，以便向驾驶支持系统控制单元230提供实时数据。
根据实施例，声纳设备202(如本领域中已知的)利用近距离的声波来确定本车辆与在前物体(诸如车辆)之间的距离。基于车辆的声纳设备202测量从人类听不见的超声波被发出的时间到被在前物体反射的波返回到达声纳设备202的时间之间的时段。这个时域数据距离确定提供信息，其输出被输送到驾驶支持系统控制单元230。从声纳设备202连续获取数据，以便向驾驶支持系统控制单元230提供实时数据。
根据实施例，行驶速度传感器204检测本车辆的行驶速度并且将行驶速度输出到驾驶支持系统控制单元230。这个行驶速度与来自驾驶支持系统控制单元230的所确定的距离捆绑并且通过驾驶支持系统控制单元230传递到行驶速度控制单元235，其中这两个值被行驶速度控制单元235利用来在适当情况下确定行驶速度调整。从行驶速度传感器204连续获取数据，以便向驾驶支持系统控制单元230并从而向行驶速度控制单元235提供实时数据。
根据本公开的实施例，相机203、毫米波雷达设备201、声纳设备202和行驶速度传感器204是能够根据相应的规格限制实现的商业可用产品。
根据实施例，驾驶支持系统控制单元230是具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)和I/O(输入和输出)接口的公知的微计算机。存储在存储器单元(诸如ROM)中的控制程序使得CPU能够充当下文描述的物体识别装置233、距离确定装置231、雷达强度确定装置和声纳分辨率确定装置232。驾驶支持系统控制单元230的示范性实施例在图9中描述。
根据实施例，物体识别装置233被配置为基于来自相机设备203的捕捉的图像来确定在前车辆的身份。根据标准的机器学习方案，在可用的已知车辆的数据库上训练算法或类似的过程(例如卷积神经网络)，从而允许对在前车辆(包括但不限于摩托车、汽车或卡车)的分类。另外，可以确定根据品牌和型号的子分类，以允许与在前车辆的速度、重量和形状有关的提高的特异性和知晓度。
在物体识别装置233的数据库的示范性实施例中，数据库包含参考图像的语料库，其中每个参考图像包括可辨识的参考物体并且在数据库中与该参考物体的对应文本描述相关联。另外，数据库包含多个图像查询分辨率数据结构，每一个包括记录的集合，其中每个记录包括参考图像之一的图像描述符。因此，每个数据结构能够使用一组预定搜索过程中的对应一个来搜索以基于图像描述符辨识数据结构内的最接近匹配记录。
根据实施例，距离确定装置231被配置为基于来自雷达设备201和声纳设备202的距离数据与经由物体识别装置233的来自相机设备203的物体数据相集成，来确定准确的车辆间距离。
在距离确定期间，驾驶支持系统控制单元230的距离确定装置231必须为距离保持数据选择适当的源。为此，从雷达设备201、声纳设备202或者两个数据流的融合选择数据流作为被输送到驾驶支持系统控制单元230，以便准确地估计车辆间距离。在确定适当的数据源时，可以相对于预定阈值来评估每个数据流。对于雷达(其中信号从最大反射率的形心生成)，阈值被设置在预定反射率强度。高于此预定反射率强度的强度被视为提供在前物体的距离的准确表示，阈值是根据雷达设备201的规格来设置的。对于声纳(其中信号在基于空气的噪声的背景下生成)，阈值被设置在预定分辨率。高于此预定分辨率的分辨率被视为提供在前物体的距离的准确估计，阈值是根据声纳设备202的规格来设置的。
在本公开的距离确定装置的示范性实施例(其中采用预定的雷达和声纳阈值)中，在前车辆是轿车并且正以相对慢于本车辆的速度行驶。最初，轿车在本车辆前方20米处，其中雷达强度高于预定阈值并且声纳分辨率低于预定分辨率。在此情况下，雷达被选择作为距离确定装置的理想模式。随着车辆间距离变窄，接近了声纳分辨率和雷达强度二者都高于其相应的阈值的距离(例如，6米)。在来自相机设备的信息和对在前车辆的辨识的背景下，可以确定转变到声纳、保持仅用雷达或者将两个数据流融合到一个距离输出中。随着车辆间距离继续变窄，雷达强度可能下降到低于预定阈值，而声纳(在噪声影响最小的近距离处有效)继续显示高于相应阈值的分辨率。结果，声纳被选择作为理想模式。用于传感器选择的上述方法也适用于车辆间距离在增大时。另外，当相应的车辆间距离从近到远时，数据流质量驱动决定做出过程。
根据本公开的示范性实施例，并且如上文提及的，根据来自相机设备的捕捉的图像的物体识别被利用来辅助选择用于距离确定的距离保持模式。例如，如果车辆在雷达和声纳两者的范围内，则来自每个数据源的数据可以被融合以便产生改善的输出。然而，如果经由物体识别确定在前车辆是具有挂车的平板卡车，则在雷达准确检测平板卡车的后方面的能力最小时，优先使用声纳数据可能是适当的。
根据实施例，行驶速度控制单元235基于由驾驶员预先设置的行驶速度以及来自驾驶支持系统控制单元的距离和速度输入来控制本车辆的行驶速度。例如，当激活ACC时，驾驶员选择期望的行驶速度。认识到期望的行驶速度，行驶速度控制单元235经由节气门子系统和刹车子系统调整车辆行驶速度以便维持期望的行驶速度。在实施例中，当经由面向前的传感器确定在前车辆在车辆的感测范围内时，确定是否修改车辆行驶速度。在示范性实施例中，在前车辆正以相对慢于本车辆的速度行驶。行驶速度控制单元235在适当时可以利用通过驾驶支持系统控制单元230传递的当前行驶速度和来自驾驶支持系统控制单元230的所确定的车辆间距离，以便生成激活刹车子系统的信号。当行驶速度平衡时，或者当在前车辆离开面向前的传感器的视野时，行驶速度控制单元235可以识别当前行驶速度与目标行驶速度之间的任何差异，并且相应地生成信号。
随后，图3是根据本公开的示范性实施例的行驶速度控制单元及其与驾驶支持系统控制单元的连接的框图。行驶速度控制单元335包括但不限于存储器子系统336、节气门子系统337、刹车子系统339和报警子系统338。关于车辆间距离和当前行驶速度的数据被从驾驶支持系统控制单元340输送到行驶速度控制单元335。在ACC激活时由驾驶员选择的目标行驶速度被存储在存储器子系统336中。存储器子系统336一般包括适合于应用量的易失性存储器(例如，动态随机访问存储器(DRAM))和非易失性存储器(例如，闪存、电可擦除可编程只读存储器(EEPROM))。在实施例中，用于确定本车辆的相对速度调整的处理器可执行代码被存储在行驶速度控制单元335的存储器子系统336的非易失性存储器内。
根据实施例，速度控制单元处理器341和存储器子系统336采用作为各种合适的自适应控制器之一的比例—积分—微分控制器(proportional-integral-derivativecontroller，PID控制器)，以便在所选择的巡航控制速度的背景下维持适当的车辆间距离。PID控制器(控制环反馈机制)通过以测量的过程与期望的设置点之间的差值的形式计算误差值来提供对输出的连续调制，并且基于比例、积分和微分项应用校正以便实现该设置点。类似地，在本实施例的背景下，速度控制单元处理器341可以视情况而定向节气门子系统337和刹车子系统339生成信号，以便关于设置点调制车辆速度。在必要的情况下，速度控制单元处理器341可以向报警子系统338提供使得其向本车辆的驾驶员提供可视的和/或可听的反馈的控制信号。
在本公开的行驶速度控制单元的示范性实施例中，驾驶员激活ACC并且将速度控制设置到80英里每小时。然而，在本车辆前方检测到了以75英里每小时行驶的在前车辆。驾驶支持系统控制单元提供关于与在前车辆的距离和本车辆的当前速度的连续信息。为了维持安全的车辆间距离，速度控制单元处理器341向刹车子系统339输送减慢车辆的信号。按照由驾驶支持系统控制单元340连续提供的，主动监测当前车辆速度和与在前车辆的距离，速度控制单元处理器341确定车辆间距离何时是适当的，或者根据需要修改车辆速度。当在前车辆离开视野或者增大车辆间距离到超出安全距离时，速度控制单元处理器341可以向节气门子系统337生成提高车辆速度的信号，直到实现存储在存储器子系统336中的由驾驶员选择的设置点为止。向节气门子系统337和刹车子系统339生成命令是根据PID控制器的控制环反馈机制来确定的。PID控制器的使用是本领域中了解的，如US5335164A所证明的，US5335164A通过引用并入本文。
根据实施例，根据本车辆的行驶速度来确定车辆间安全距离。在前车辆的品牌和型号可以进一步为车辆间安全距离提供信息，其中在前车辆的大小、形状和重量影响其在时域中加速或减速的能力。在实施例中，在辨识出的在前车辆的背景下，与车辆间安全距离有关的信息可以经由对行驶速度控制单元335的存储器子系统336的系统软件更新或者经由基于云的系统软件更新来进行更新。
根据实施例，行驶速度控制单元335包括具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)和I/O(输入和输出)接口的公知的微计算机。存储在存储器单元(诸如ROM)中的控制程序使得CPU能够充当上述的行驶速度控制单元335。
图4是根据本公开的示范性实施例的对在前车辆的辨识的图示。对在前车辆的辨识是经由物体识别和机器学习实现的。在示范性实施例中，使用标准的卷积神经网络(convolutional neural network，CNN)方案，如本领域中了解的并且由US7747070B2证明的，US7747070B2通过引用并入本文。虽然本文描述了CNN，但其不应当被认为是限制性的，而只是代表了物体识别的各种方案。在本公开的背景下，在收集的假想在前物体的图像的精选数据库451上训练450CNN。在实施例中，经由对物体识别装置的系统软件更新或者经由基于云的系统软件更新来主动维护并更新精选数据库。简言之，在数据库451上执行特征学习452和目标分类453。一般而言，特征学习452包括迭代卷积、经由修正线性单元的激活以及池化(pooling)，而分类453包括将学习的特征与已知的标签相关联。学习的特征(例如，边缘、角落)可以被手动选择或者由CNN经由深度学习或类似方案来确定。在对CNN的训练450之后，执行对CNN的测试455以确保准确性。从测试图像456中提取457特征并且根据训练分类器450进行分类458。在确认训练的分类器的效力之后，CNN可以被实现在驾驶支持系统控制单元440的物体识别装置中。
根据实施例，训练数据库451包括带标签的图像以便提取特征并且开发分类器来辨识各种车辆(包括但不限于汽车、卡车、越野车、拖拉机挂车和摩托车)。
根据实施例，训练数据库451包括带标签的图像以便提取特征和开发分类器来辨识车辆品牌和型号。
图5是本公开的示范性实施例的高级别流程图。根据实施例，在ACC的初始化S516和目标行驶速度的确立之后，获取来自面向前的传感器的数据。这些输入(包括相机S518、雷达和声纳S517)被发送到驾驶支持系统控制单元。在驾驶支持系统控制单元内，距离确定装置S531将来自捕捉的图像的数据(即，物体识别)与由雷达和声纳确定的估计的车辆间距离相集成。在实施例中，距离确定装置S531根据雷达强度和声纳分辨率将来自雷达和声纳的输入置于背景中考虑，以确定本车辆和在前车辆之间的单个估计车辆间距离。这一单个估计车辆间距离与由车载车辆速度传感器确定的本车辆行驶速度S518一起被输送到行驶速度控制单元S535。行驶速度控制单元S535随后评估这些输入(例如，车辆间距离、本车辆行驶速度)来辨识相对于理想车辆间距离(即，安全行驶距离)或目标行驶速度(即，本车辆速度v.目标行驶速度)的任何差异。如果存在差异，则做出行驶速度调整S542，以图实现目标距离和/或目标行驶速度。行驶速度调整可以根据行驶速度控制单元S535的PID控制器来做出，直到实现目标为止。另外，从面向前的传感器输入到行驶速度控制单元的循环迭代地进展，直到脱离ACC为止。
图6是本公开的驾驶支持系统控制单元的距离确定装置的实施例的示范性流程图。该示范性流程图应当被认为是ACC的初始化之后的迭代循环。根据实施例，车辆最初在驾驶员(知晓车辆的速度和周围环境(包括在前车辆))的手动控制下660。在用户启动ACCS661后，车辆初始化面向前的传感器数据获取(包括相机、雷达和声纳)。开始时，距离确定装置确定在前物体(或在前车辆)是否在声纳的部分由声纳设备的规格来定义的范围内(即，高于预定阈值)S662。为此，距离确定装置探测车辆的面向前的传感器S663(具体包括雷达、相机和声纳)，以获取与在前车辆的位置有关的数据。如果确定在前车辆不在声纳的范围内，则距离确定装置将恢复到雷达和相机数据以便确定车辆间距离S664。然而，一旦确定在前车辆在声纳的范围内，处于足以准确地为车辆保持距离的分辨率，那么距离确定将会确定雷达反射的质量是否足够S666以准确地确定车辆间距离。如果雷达反射强度降低到低于预定阈值，如上所述，那么声纳将被用于确定车辆间距离S667。然而，在实施例中，可以确定雷达反射处于准确的强度。在该实例中，距离确定可以考虑来自相机的物体识别数据S668以便确定雷达数据的可靠性。例如，虽然雷达强度高于预定的强度阈值，但在前车辆可能具有对于基于无线电波的方案形成固有困难的类型。在平板挂车卡车的情况下，雷达可以辨识在前车辆的后平面。然而，这个后平面可能不是在前车辆的最后方面，而与这样的在前车辆的不准确距离保持可能导致碰撞。因此，遵从声纳以便绘制后平面的轮廓并且捕捉在前车辆的最后方面可能是适当的。如果确定雷达可能不可靠，则距离确定装置在确定车辆间距离时遵从声纳S667。然而，在在前车辆被辨识为是经由雷达可靠地保持距离的车辆(例如轿车)的实例中，由距离确定装置确定的车辆间距离可以依赖于雷达、声纳或者其融合S669。在经由三种方案的任何一者进行距离保持之后，所确定的车辆间距离经由驾驶支持系统控制单元被发送到行驶速度控制单元S670以用于行驶速度调整。
图7A、图7B和图7C是根据示范性实施例的对在前车辆的检测和测距的图示。在实施例中，在前车辆710是小轿车。在图7A中，在前车辆710正在声纳视野712或雷达视野711以外的范围行驶。然而，在前车辆710正以相对慢于本车辆705的速度行驶。在本车辆705的传感器的范围内不存在在前车辆710的情况下，本车辆705继续对当前行驶速度的ACC维持。
根据实施例，并且当本车辆715接近在前车辆时，如图7B中所示，本车辆705的面向前的传感器开始对在前车辆710进行检测和测距。在实施例中，并且在在前车辆710只在雷达的视野711中的情况下，雷达被用于确定车辆间距离。这个基于雷达的值随后被发送到行驶速度控制单元。
然而，如果发生速度的突然变化，或者在走走停停交通的时段中，车辆间距离可能减小到在前车辆710在声纳712和雷达711两者的视野内的点处，如图7C所示。在实施例中，在确定车辆间距离时考虑来自两个源的数据。如果确定雷达反射强度对于测距是足够的，则如上所述，雷达和声纳数据的融合将被用于向行驶速度控制单元提供车辆间距离。然而，如果来自雷达的数据根据雷达反射强度被确定为不足够，则声纳712被选择以便提供对车辆间距离的最准确确定。
图8A、图8B和图8C是根据本公开的示范性实施例的在对在前车辆的检测和测距期间的物体识别的图示。在每个图中，本车辆805是用户车辆815。一种算法或类似的过程(包括CNN或者用于在带标签图像的数据库上训练的物体识别的类似方案)相应地对在前车辆进行分类。
根据实施例，并且如图8A中所示，在前车辆是汽车823。汽车823在雷达视野811和声纳视野812两者的范围内。每个数据源的度量指示原始数据高于预定阈值。由于在前车辆是汽车823，其中汽车的后平面一般是平坦的，因此雷达关于不一致表面的性能限制被消除，并且雷达被认为是可靠的。结果，声纳和雷达数据源可以被融合来确定车辆间距离。
根据实施例，并且如图8B中所示，在前车辆是平板挂车卡车821。平板挂车卡车821在雷达视野811和声纳视野812两者的范围内。另外，每个数据源的度量指示原始数据高于预定阈值。然而，在雷达关于辨识在前车辆的技术限制的背景下，确定雷达是不可靠的并且车辆间距离应当仅从声纳视野812确定。如图8B中所示，虽然在前车辆在雷达的视野811内，但辨识在前车辆为平板挂车卡车821对于考虑到基于形心的方案无法辨识恢复的无线电波中的细微差别是关键的。平板822的最后方面在从雷达接收的距离保持数据中可能不会被准确地表示，并且因此虽然高于反射强度预定阈值但也可能是不可靠的。
根据实施例，并且如图8C中所示，在前车辆是摩托车824。摩托车824在雷达视野811和声纳视野812两者的范围内。另外，每个数据源的度量指示原始数据高于预定阈值。然而，在雷达的技术限制和对在前车辆的辨识的背景下，确定雷达是不可靠的并且车辆间距离应当仅从声纳视野812确定。如图8C中所示，虽然在前车辆在雷达的视野811内，但辨识在前车辆为摩托车824对于考虑到基于形心的方案无法辨识恢复的无线电波中的细微差别是关键的。摩托车824的后方面在从雷达接收的距离保持数据中可能不会被准确表示，并且因此推荐距离保持仅遵从声纳数据。而且，由于摩托车能够迅速改变速度，所以辨识在前车辆为摩托车824更好地为安全车辆间距离提供信息，确保了驾驶员和骑手的安全。
图9是根据本公开的示范性实施例的被配置为执行检测、测距和控制的计算机的硬件描述的框图。在实施例中，硬件是驾驶支持系统控制单元。在图9中，驾驶支持系统控制单元包括执行上文/下文描述的过程的CPU 985。过程数据和指令可以被存储在存储器986中。这些过程和指令也可被存储在存储介质盘987(诸如硬盘驱动器(HDD)或者便携式存储介质)上，或者被远程存储。另外，要求保护的进步不受其上存储创造性过程的指令的计算机可读介质的形式所限。例如，指令可以被存储在CD、DVD上，被存储在闪存、RAM、ROM、PROM、EPROM、EEPROM、硬盘或者驾驶支持系统控制单元可与之通信的任何其他信息处理设备(诸如服务器或计算机)中。
另外，要求保护的进步可以被提供作为实用应用程序、后台守护进程或者操作系统的组件或者其组合，结合CPU 985和操作系统(诸如微软Windows 7、UNIX、Solaris、LINUX、苹果MAC-OS和本领域技术人员已知的其他系统)执行。
用来实现驾驶支持系统控制单元的硬件元件可以由本领域技术人员已知的各种电路系统元件来实现。例如，CPU 985可以是来自美国的Intel的Xenon或Core处理器或者来自美国的AMD的Opteron处理器，或者可以是本领域普通技术人员将会认识到的其他处理器类型。可替代地，正如本领域普通技术人员将会认识到的，CPU 985可以实现在FPGA、ASIC、PLD上或者利用分立逻辑电路来实现。另外，CPU 900可以被实现为并行合作工作以执行上文描述的创造性过程的指令的多个处理器。
图9中的驾驶支持系统控制单元还包括用于与网络996相接口的网络控制器988(诸如来自美国Intel公司的英特尔以太网PRO网络接口卡)。可以领会的是，网络996可以是公共网络(诸如因特网)，或者私有网络(诸如LAN或WAN网络)或者其任何组合，并且也可包括PSTN或ISDN子网络。网络996也可以是有线的(诸如以太网网络)，或者可以是无线的(诸如包括EDGE、3G和4G无线蜂窝系统的蜂窝网络)。无线网络也可以是WiFi、蓝牙或者已知的任何其他无线通信形式。
驾驶支持系统控制单元还包括用于与显示器990(诸如Hewlett PackardHPL2445w LCD监测器)相接口的显示控制器989(诸如来自美国NVIDIA公司的NVIDIAGeForce GTX或Quadro图形适配器)。通用I/O接口991与显示器990上的或者与显示器990分离的触摸屏面板992相接口。
在驾驶支持系统控制单元中还提供了声音控制器993(诸如来自Creative的SoundBlaster X-Fi Titanium)，以与扬声器994相接口，从而提供声音和/或音乐。
通用存储控制器995将存储介质盘987与通信总线997相连接，通信总线997可以是ISA、EISA、VESA、PCI或类似的，用于使驾驶支持系统控制单元的所有组件互连。这里为了简明省略了对显示器990以及显示控制器989、存储控制器995、网络控制器988、声音控制器993和通用I/O接口991的一般特征和功能的描述，因为这些特征是已知的。
很明显，鉴于以上教导，许多修改和变化是可能的。因此要理解，在所附权利要求的范围内，可以以不同于本文具体描述的方式来实现本发明。
因而，前述论述只是公开和描述了本发明的示范性实施例。正如本领域技术人员将会理解的，本发明可以以其他具体形式实施而并不脱离其精神或必要特性。因此，本发明的公开内容意图是说明性的，而并不旨在限制本发明以及其他权利要求的范围。本公开(包括本文教导的任何容易辨别的变体)部分定义了前述权利要求用辞的范围，使得创造性主题不被奉献给公众。

Claims (18)

1.一种用于确定车辆与在前物体之间的距离的方法，包括：
从第一感测模式接收第一感测数据和从第二感测模式接收第二感测数据，所述第一感测数据和第二感测数据与所述车辆和所述在前物体之间的距离有关；
从至少一个相机接收与所述在前物体有关的图像；
经由处理电路将第一感测数据的值与和第一感测模式相关联的预定阈值进行比较；
经由处理电路将第二感测数据的值与和第二感测模式相关联的预定阈值进行比较；
经由处理电路对与所述在前物体有关的所述图像进行分类；
经由处理电路，并在第一感测数据的值与和第一感测模式相关联的预定阈值的比较以及第二感测数据的值与和第二感测模式相关联的预定阈值的比较指示第一感测数据的值和第二感测数据的值高于相应预定阈值时，基于与所述在前物体有关的被分类的图像，选择所述第一感测模式、所述第二感测模式或者所述第一感测模式与所述第二感测模式的融合作为距离保持模式；和
经由处理电路基于选择的距离保持模式的距离值确定所述车辆和所述在前物体之间的距离。
2.根据权利要求1所述的方法，其中，所述分类包括：
基于在在前物体的参考图像的数据库上训练的分类器来对与所述在前物体有关的图像进行分类，其中，每个参考图像包括可辨识的参考物体并且在数据库中与参考物体的对应文本描述相关联，以及其中数据库还包含多个图像查询分辨率数据结构，每个包括记录的集合，其中每个记录包括参考图像之一的图像描述符，以及其中每个数据结构能够使用一组预定搜索过程中的对应一个来搜索以基于图像描述符辨识数据结构内的最接近匹配记录。
3.根据权利要求1所述的方法，其中，所述第一感测模式和所述第二感测模式中的一个是声纳，所述第一感测模式和所述第二感测模式中的另一个是雷达。
4.根据权利要求1所述的方法，其中，所述第一感测数据和所述第二感测数据中的一个是雷达反射强度，所述第一感测数据和所述第二感测数据中的另一个是声纳分辨率。
5.根据权利要求1所述的方法，其中，所述至少一个相机是可见光相机或红外相机。
6.根据权利要求1所述的方法，其中，考虑来自相机的物体识别数据以确定雷达数据的可靠性。
7.一种包括可执行程序指令的非暂态计算机可读介质，所述可执行程序指令当被处理电路执行时使得所述处理电路实现用于确定车辆与在前物体之间的距离的方法，包括：
从第一感测模式接收第一感测数据和从第二感测模式接收第二感测数据，所述第一感测数据和第二感测数据与车辆和在前物体之间的距离有关；
从至少一个相机接收与所述在前物体有关的图像；
将第一感测数据的值与和第一感测模式相关联的预定阈值进行比较；
将第二感测数据的值与和第二感测模式相关联的预定阈值进行比较；
对与所述在前物体有关的所述图像进行分类；
在第一感测数据的值与和第一感测模式相关联的预定阈值的比较以及第二感测数据的值与和第二感测模式相关联的预定阈值的比较指示第一感测数据的值和第二感测数据的值高于相应预定阈值时，基于与所述在前物体有关的被分类的图像，选择所述第一感测模式、所述第二感测模式或者所述第一感测模式与所述第二感测模式的融合作为距离保持模式；和
基于选择的距离保持模式的距离值确定所述车辆和所述在前物体之间的距离。
8.根据权利要求7所述的非暂态计算机可读介质，其中，所述分类包括：基于在在前物体的参考图像的数据库上训练的分类器来对与所述在前物体有关的所述图像进行分类，其中，每个参考图像包括可辨识的参考物体并且在数据库中与参考物体的对应文本描述相关联，以及其中数据库还包含多个图像查询分辨率数据结构，每个包括记录的集合，其中每个记录包括参考图像之一的图像描述符，以及其中每个数据结构能够使用一组预定搜索过程中的对应一个来搜索以基于图像描述符辨识数据结构内的最接近匹配记录。
9.根据权利要求7所述的非暂态计算机可读介质，其中，所述第一感测模式和所述第二感测模式中的一个是声纳，所述第一感测模式和所述第二感测模式中的另一个是雷达。
10.根据权利要求7所述的非暂态计算机可读介质，其中，所述第一感测数据和所述第二感测数据中的一个是雷达反射强度，所述第一感测数据和所述第二感测数据中的另一个是声纳分辨率。
11.根据权利要求7所述的非暂态计算机可读介质，其中，所述至少一个相机是可见光相机或红外相机。
12.根据权利要求7所述的非暂态计算机可读介质，其中，考虑来自相机的物体识别数据以确定雷达数据的可靠性。
13.一种用于确定车辆与在前物体之间的距离的装置，包括：
处理电路，所述处理电路被配置为：
从第一感测模式接收第一感测数据和从第二感测模式接收第二感测数据，所述第一感测数据和第二感测数据与所述车辆和所述在前物体之间的距离有关；
从至少一个相机接收与所述在前物体有关的图像；
将第一感测数据的值与和第一感测模式相关联的预定阈值进行比较；
将第二感测数据的值与和第二感测模式相关联的预定阈值进行比较；
对与所述在前物体有关的所述图像进行分类；
在第一感测数据的值与和第一感测模式相关联的预定阈值的比较以及第二感测数据的值与和第二感测模式相关联的预定阈值的比较指示第一感测数据的值和第二感测数据的值高于相应阈值时，基于与所述在前物体有关的被分类的图像，选择所述第一感测模式、所述第二感测模式或者所述第一感测模式与所述第二感测模式的融合作为距离保持模式；和
基于选择的距离保持模式的距离值确定所述车辆和所述在前物体之间的距离。
14.根据权利要求13所述的装置，其中，所述处理电路还被配置为：基于在在前物体的参考图像的数据库上训练的分类器来对与所述在前物体有关的所述图像进行分类，其中，每个参考图像包括可辨识的参考物体并且在数据库中与参考物体的对应文本描述相关联，以及其中数据库还包含多个图像查询分辨率数据结构，每个包括记录的集合，其中每个记录包括参考图像之一的图像描述符，以及其中每个数据结构能够使用一组预定搜索过程中的对应一个来搜索以基于图像描述符辨识数据结构内的最接近匹配记录。
15.根据权利要求13所述的装置，其中，所述第一感测模式和所述第二感测模式中的一个是声纳，所述第一感测模式和所述第二感测模式中的另一个是雷达。
16.根据权利要求13所述的装置，其中，所述第一感测数据和所述第二感测数据中的一个是雷达反射强度，所述第一感测数据和所述第二感测数据中的另一个是声纳分辨率。
17.根据权利要求13所述的装置，其中，所述至少一个相机是可见光相机或红外相机。
18.根据权利要求13所述的装置，其中，考虑来自相机的物体识别数据以确定雷达数据的可靠性。
CN201910093082.1A 2018-01-30 2019-01-30 融合前车辆传感器数据用于对在前物体的检测和测距 Active CN110103958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/883,607 2018-01-30
US15/883,607 US11091162B2 (en) 2018-01-30 2018-01-30 Fusion of front vehicle sensor data for detection and ranging of preceding objects

Publications (2)

Publication Number Publication Date
CN110103958A CN110103958A (zh) 2019-08-09
CN110103958B true CN110103958B (zh) 2022-09-09

Family

ID=67224483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910093082.1A Active CN110103958B (zh) 2018-01-30 2019-01-30 融合前车辆传感器数据用于对在前物体的检测和测距

Country Status (4)

Country Link
US (1) US11091162B2 (zh)
JP (1) JP7242316B2 (zh)
CN (1) CN110103958B (zh)
DE (1) DE102019102216A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955540B2 (en) 2017-12-01 2021-03-23 Aptiv Technologies Limited Detection system
US20190337511A1 (en) * 2018-05-02 2019-11-07 GM Global Technology Operations LLC System and Method for Controlling an Autonomous Vehicle
JP6700359B2 (ja) * 2018-09-26 2020-05-27 株式会社Ｓｕｂａｒｕ 車両制御装置
US10838054B2 (en) * 2018-10-08 2020-11-17 Aptiv Technologies Limited Detection system and method
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
JP7111088B2 (ja) * 2019-01-24 2022-08-02 カシオ計算機株式会社 画像検索装置、学習方法及びプログラム
US11092668B2 (en) 2019-02-07 2021-08-17 Aptiv Technologies Limited Trailer detection system and method
US11572079B2 (en) * 2019-04-25 2023-02-07 WeRide Corp. Apparatus and method for controlling velocity of autonomous driving vehicle, and storage medium
CA3168740C (en) * 2020-02-21 2023-08-01 Joel Pazhayampallil Method for object avoidance during autonomous navigation
US11408995B2 (en) 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
KR102323483B1 (ko) * 2020-04-13 2021-11-10 주식회사 만도모빌리티솔루션즈 스마트 순항 제어 시스템 및 그 제어 방법
US20220172080A1 (en) * 2020-12-02 2022-06-02 International Business Machines Corporation Learning unpaired multimodal feature matching for semi-supervised learning
US20220203984A1 (en) * 2020-12-29 2022-06-30 GM Global Technology Operations LLC Consideration of acceleration lag in lead vehicle to enhance host vehicle operation
CN113740843B (zh) * 2021-09-07 2024-05-07 中国兵器装备集团自动化研究所有限公司 一种跟踪目标的运动状态估计方法、系统及电子装置

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335164A (en) 1991-07-31 1994-08-02 Universal Dynamics Limited Method and apparatus for adaptive control
JP2900737B2 (ja) * 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
JP3985615B2 (ja) 2002-07-16 2007-10-03 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
US7457699B2 (en) 2004-01-21 2008-11-25 Delphi Technologies, Inc. Technique for detecting truck trailer for stop and go adaptive cruise control
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
JP4857840B2 (ja) 2006-03-22 2012-01-18 日産自動車株式会社 物体検出方法および物体検出装置
JP4211809B2 (ja) * 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
JP5145986B2 (ja) 2008-02-05 2013-02-20 日産自動車株式会社 物体検出装置及び測距方法
US20090254260A1 (en) * 2008-04-07 2009-10-08 Axel Nix Full speed range adaptive cruise control system
US20100100324A1 (en) * 2008-10-22 2010-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Communication based vehicle-pedestrian collision warning system
US8666546B2 (en) 2009-07-10 2014-03-04 The Boeing Company Autonomous robotic platform
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5558440B2 (ja) 2011-09-08 2014-07-23 三菱電機株式会社 物体検出装置
TWI468647B (zh) 2011-10-13 2015-01-11 Altek Autotronics Corp 障礙物偵測系統及其障礙物偵測方法
JP5977047B2 (ja) 2012-02-29 2016-08-24 株式会社日本自動車部品総合研究所 車両走行制御装置
KR20140030749A (ko) * 2012-09-03 2014-03-12 현대모비스 주식회사 램프 이미지를 이용한 차간 거리 검출 장치 및 차간 거리 검출 방법
KR101491849B1 (ko) * 2013-07-23 2015-02-06 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
KR102192252B1 (ko) * 2014-03-05 2020-12-17 현대모비스 주식회사 센서를 이용한 차량 인식 시스템 및 그 방법
JP6137001B2 (ja) 2014-03-14 2017-05-31 株式会社デンソー 車載装置
JP6183257B2 (ja) 2014-03-19 2017-08-23 トヨタ自動車株式会社 車両運動状態決定装置及び車両運動制御装置
US9460625B2 (en) 2014-04-08 2016-10-04 Denso International America, Inc. Proxy DSRC basic safety message for unequipped vehicles
EP3146506B1 (en) * 2014-05-22 2019-12-11 Mobileye Vision Technologies Ltd. Systems and methods for braking a vehicle based on a detected object
JP2016008922A (ja) 2014-06-25 2016-01-18 株式会社東芝 センサ情報融合装置
JP6290737B2 (ja) * 2014-07-11 2018-03-07 株式会社デンソー 車両制御装置
JP6285303B2 (ja) * 2014-07-11 2018-02-28 株式会社デンソー 車両制御装置
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
US9910441B2 (en) * 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US20190227553A1 (en) * 2015-11-04 2019-07-25 Zoox, Inc. Interactive autonomous vehicle command controller
US11328155B2 (en) * 2015-11-13 2022-05-10 FLIR Belgium BVBA Augmented reality labels systems and methods
WO2017175025A2 (en) * 2015-12-01 2017-10-12 Yakov Shambik Detecting visual information corresponding to an animal
US10373019B2 (en) * 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US10365359B2 (en) * 2016-05-06 2019-07-30 Raytheon Company Ambiguous radar range resolution using range lookup table
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US10369994B2 (en) 2016-07-20 2019-08-06 Ford Global Technologies, Llc Rear camera stub detection
CA3033738A1 (en) * 2016-08-22 2018-03-01 Sony Corporation Driving assistant apparatus, driving assistant method, moving object, and program
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10202126B2 (en) * 2017-03-07 2019-02-12 Uber Technologies, Inc. Teleassistance data encoding for self-driving vehicles
US11899669B2 (en) * 2017-03-20 2024-02-13 Carnegie Mellon University Searching of data structures in pre-processing data for a machine learning classifier
US10705525B2 (en) * 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
US10710592B2 (en) * 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US20180300620A1 (en) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Foliage Detection Training Systems And Methods
GB2601644B (en) * 2017-04-28 2023-02-08 FLIR Belgium BVBA Video and image chart fusion systems and methods
US10884409B2 (en) * 2017-05-01 2021-01-05 Mentor Graphics (Deutschland) Gmbh Training of machine learning sensor data classification system
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10691962B2 (en) * 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
US10445597B2 (en) * 2017-10-17 2019-10-15 Toyota Research Institute, Inc. Systems and methods for identification of objects using audio and sensor data
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20180074506A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
US10466707B2 (en) * 2017-12-22 2019-11-05 X Development Llc Planning robot stopping points to avoid collisions
US10558897B2 (en) * 2017-12-27 2020-02-11 Intel Corporation Context-based digital signal processing
US10745005B2 (en) * 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation

Also Published As

Publication number Publication date
CN110103958A (zh) 2019-08-09
JP7242316B2 (ja) 2023-03-20
US11091162B2 (en) 2021-08-17
JP2019164124A (ja) 2019-09-26
US20190232964A1 (en) 2019-08-01
DE102019102216A1 (de) 2019-08-01

Similar Documents

Publication Publication Date Title
CN110103958B (zh) 融合前车辆传感器数据用于对在前物体的检测和测距
US11584340B2 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6690517B2 (ja) 運転支援装置、及び運転支援方法
JP4428277B2 (ja) 物体検出装置
CN109204311B (zh) 一种汽车速度控制方法和装置
US10672273B2 (en) Vehicle control method and apparatus
CN111845744A (zh) 车辆跟随控制方法、装置、电子设备和存储介质
CN108791288B (zh) 一种基于信息融合的防碰撞装置及方法
US20190001978A1 (en) Vehicle control method and apparatus
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
KR101511858B1 (ko) 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
JP2008008870A (ja) 物体検出装置
JP5482670B2 (ja) 物体検出装置
US20200108717A1 (en) Apparatus and method for controlling speed
US11518373B2 (en) Vehicle and control method thereof
US20200341111A1 (en) Method and apparatus for radar detection confirmation
US9939523B2 (en) Vehicle type radar system, and method for removing an uninterested target
US20200312050A1 (en) Control device, server, safety system, and control method of control device
JP4946212B2 (ja) 走行支援装置
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
US20170274815A1 (en) Autoactive braking lights
US20220315058A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2006266927A (ja) 物体検出装置
JP4670449B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230105

Address after: Aichi

Patentee after: Toyota Motor Corp.

Address before: Texas, USA

Patentee before: TOYOTA MOTOR ENGINEERING & MANUFACTURING NORTH AMERICA, Inc.

TR01 Transfer of patent right