CN108073170A - 用于自主车辆的自动化协同驾驶控制 - Google Patents

用于自主车辆的自动化协同驾驶控制 Download PDF

Info

Publication number
CN108073170A
CN108073170A CN201711115976.3A CN201711115976A CN108073170A CN 108073170 A CN108073170 A CN 108073170A CN 201711115976 A CN201711115976 A CN 201711115976A CN 108073170 A CN108073170 A CN 108073170A
Authority
CN
China
Prior art keywords
sensor
examined
controller
vehicle
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711115976.3A
Other languages
English (en)
Other versions
CN108073170B (zh
Inventor
U·P·穆达里戈
P·孙达拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108073170A publication Critical patent/CN108073170A/zh
Application granted granted Critical
Publication of CN108073170B publication Critical patent/CN108073170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于自主车辆的控制系统包括至少一个控制器。该控制器被编程为从第一组传感器接收第一传感器读数，基于第一传感器读数提供第一传感器融合输出，该第一传感器融合输出包括受检测对象的第一受检测状态；从第二组传感器接收第二传感器读数，且基于第二传感器读数提供第二传感器融合输出，该第二传感器融合输出包括受检测对象的第二受检测状态。该控制器另外被编程为响应于第一受检测状态超出第二受检测状态的预定范围而生成诊断信号。

Description

用于自主车辆的自动化协同驾驶控制
技术领域
本公开涉及由自动驾驶系统，特别是配置为在没有人为干预的驾驶循环期间自动控制车辆转向、加速和制动的自动驾驶系统控制的车辆。
背景技术
现代车辆的操作变得越来越自动化，即，能够提供越来越少驾驶员干预的驾驶控制。车辆自动化已经被分类为从零(对应于全人为控制的非自动化)至五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及驻车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。
发明内容
根据本公开的机动车辆包括多个传感器，其配置为检测机动车辆附近的外部特征。该车辆另外包括致动器，致动器配置为控制车辆转向、加速、制动或换挡。该车辆进一步包括至少一个控制器。该控制器与多个传感器中的相应传感器和致动器进行电子通信。该控制器用自动驾驶系统(ADS)控制算法进行编程，并且配置为基于ADS控制算法来自动地控制致动器。该ADS控制算法包括第一传感器融合算法，第一传感器融合算法配置为从多个传感器中的第一组相应传感器接收第一传感器读数，并且基于第一传感器读数提供第一传感器融合输出。该第一传感器融合输出包括受检测对象的第一受检测状态。该ADS控制算法另外包括第二传感器融合算法，第二传感器融合算法配置为从多个传感器中的第二组相应传感器接收第二传感器读数，并且基于第二传感器读数提供第二传感器融合输出。该第二传感器融合输出包括受检测对象的第二受检测状态。该ADS控制算法进一步包括传感器融合仲裁算法，传感器融合仲裁算法配置为响应于第一受检测状态超出第二受检测状态的预定范围而生成诊断信号。
在一个示例性实施例中，第一受检测状态包括受检测对象的第一受检测位置、第一受检测速度和第一受检测加速度，且第二受检测状态包括受检测对象的第二受检测位置、第二受检测速度和第二受检测加速度。
在一个示例性实施例中，诊断信号包括表示第一受检测状态与第二受检测状态之间的差的参数。
在一个示例性实施例中，该至少一个控制器进一步编程为响应于诊断信号而根据后退命令来控制该致动器。
在一个示例性实施例中，该至少一个控制器包括第一控制器和第二控制器，该第一控制器用第一传感器融合算法进行编程，且第二控制器用第二传感器融合算法进行编程。
在一个示例性实施例中，第一组相应传感器包括不在第二组相应传感器中的相应传感器。
根据本公开的控制车辆的方法包括向车辆提供多个传感器，其配置为检测机动车辆附近的外部特征。该方法还包括向车辆提供致动器，其配置为控制车辆转向、加速、制动或换挡。该方法另外包括向车辆提供至少一个控制器，其与多个传感器中的相应传感器和致动器进行电子通信。该至少一个控制器用自动驾驶控制系统算法进行编程。该方法进一步包括经由至少一个控制器从多个传感器中的第一组相应传感器接收第一传感器读数，并且经由至少一个控制器基于第一传感器读数确定第一传感器融合输出。该第一传感器融合输出包括受检测对象的第一受检测状态。该方法另外包括经由至少一个控制器从多个传感器中的第二组相应传感器接收第二传感器读数，并且经由至少一个控制器基于第二传感器读数确定第二传感器融合输出。该第二传感器融合输出包括受检测对象的第二受检测状态。该方法进一步包括响应于第一受检测状态超出第二受检测状态的预定范围而自动地生成诊断信号。
示例性实施例中，第一受检测状态包括受检测对象的第一受检测位置、第一受检测速度和第一受检测加速度，且第二受检测状态包括受检测对象的第二受检测位置、第二受检测速度和第二受检测加速度。
在示例性实施例中，诊断信号包括表示第一受检测状态与第二受检测状态之间的差的参数。
在示例性实施例中，该方法另外包括响应于诊断信号而根据后退命令自动地控制致动器。
在示例性实施例中，向车辆提供至少一个控制器包括向车辆提供第一控制器和第二控制器。在这样的实施例中，经由第一控制器执行接收第一传感器读数，经由第一控制器执行确定第一融合输出，经由第二控制器执行接收第二传感器读数，且经由第二控制器执行确定第二融合输出。
在示例性实施例中，第一组相应传感器包括不在第二组相应传感器中的相应传感器。
根据本公开的用于车辆的控制系统包括至少一个控制器。该控制器编程为从第一组传感器接收第一传感器读数，基于第一传感器读数提供第一传感器融合输出，该第一传感器融合输出包括受检测对象的第一受检测状态；从第二组传感器接收第二传感器读数，且基于第二传感器读数提供第二传感器融合输出，该第二传感器融合输出包括受检测对象的第二受检测状态。该控制器另外编程为响应于第一受检测状态超出第二受检测状态的预定范围而生成诊断信号。
示例性实施例中，第一受检测状态包括受检测对象的第一受检测位置、第一受检测速度和第一受检测加速度，且第二受检测状态包括受检测对象的第二受检测位置、第二受检测速度和第二受检测加速度。
在示例性实施例中，诊断信号包括表示第一受检测状态与第二受检测状态之间的差的参数。
在示例性实施例中，该至少一个控制器进一步编程为响应于诊断信号而根据后退命令来控制至少一个致动器。
在示例性实施例中，该至少一个控制器进一步编程为响应于没有生成诊断信号而根据自动驾驶算法来控制至少一个致动器。
在示例性实施例中，第一组相应传感器包括不在第二组相应传感器中的相应传感器。
根据本公开的实施例提供了许多优点。例如，根据本公开的实施例可实现自主车辆传感器读数的独立确认，以帮助诊断传感器和控制器中的软件或硬件状况。因此，根据本公开的实施例可更加稳定，从而提高客户满意度。
从以下结合附图取得的对优选实施例的详细描述中，本公开的上述优点和其它优点和特征将变得显而易见。
附图说明
图1是根据一个实施例的包括自主控制车辆的通信系统的示意图；
图2是根据一个实施例的用于车辆的自动驾驶系统(ADS)的示意框图；
图3是根据本公开的一个实施例的传感器融合系统的示意框图；以及
图4是根据本公开的第二实施例的传感器融合系统的示意框图。
具体实施方式
本文描述了本公开的实施例。然而，应当理解的是，所公开实施例仅仅是示例且其它实施例可呈现各种和替代性形式。图式不一定按比例绘制；某些特征可被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节并不解释为限制，而仅仅是代表性的。参考任何一个图式说明并描述的各个特征可结合一个或多个其它图式中说明的特征以产生未明确说明或描述的实施例。所说明的特征组合提供用于典型应用的代表性实施例。然而，特定应用或实施方案可期望与本公开的教导一致的特征的各个组合和修改。
图1示意地说明包括用于机动车辆12的移动车辆通信和控制系统10的操作环境。用于车辆12的移动车辆通信和控制系统10通常包括一个或多个无线载波系统60、陆地通信网络62、计算机64、联网无线装置57(包括但不限于，智能手机、平板电脑或诸如手表等可佩戴装置)和远程存取中心78。
图1中示意地说明的车辆12包括推进系统13，推进系统13在各种实施例中可以包括内燃机、诸如牵引电动机的电机和/或燃料电池推进系统。车辆12在所说明的实施例中被描述为客车，但是应当明白的是，也可使用包括摩托车、卡车、公共汽车、运动型多用途车(SUV)、娱乐车辆(RV)、船舶、飞机等任何其它车辆。
车辆12还包括变速器14，变速器14配置为根据可选速比将来自推进系统13的动力传输至多个车轮15。根据各种实施例，变速器14可以包括分级传动比自动变速器、无级变速器或其它适当的变速器。车辆12另外包括车轮制动器17，车轮制动器17配置为向车轮15提供制动转矩。车轮制动器17在各种实施例中可以包括摩擦制动器、再生制动系统(诸如电机)和/或其它适当的制动系统。
车辆12另外包括转向系统16。虽然出于说明目的而被描绘为包括方向盘，但是在本公开内预期的某些实施例中，转向系统16可不包括方向盘。
车辆12包括配置为与其它车辆(“V2V”)和/或基础设施(“V2I”)无线通信的无线通信系统28。在一个示例性实施例中，无线通信系统28配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信。然而，诸如专用短程通信(DSRC)信道的附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指具体针对汽车使用和对应的一组协议和标准而设计的单向或双向短程至中程无线通信通道。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信或在至少一个控制器22的控制下。虽然出于说明性目的而被描绘为单个单元，但是控制器22另外可包括统称为“控制器”的一个或多个其它控制器。控制器22可包括与各种类型的计算机可读存储装置或介质通信的微处理器，诸如中央处理单元(CPU)或图形处理单元(GPU)。计算机可读存储装置或介质可包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可在CPU断电时用于存储各种操作变量。计算机可读存储装置或介质可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器22用于控制车辆的可执行指令。
控制器22包括用于自动控制车辆中的各种致动器的自动驾驶系统(ADS)24。在示例性实施例中，ADS 24是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下在的动态驾驶任务的所有方面的全面性能。在示例性实施例中，ADS 24配置为经由多个致动器30响应来自多个传感器26的输入而控制推进系统13、变速器14、转向系统16和车轮制动器17以分别控制车辆加速度、转向和制动，而无需人为干预，该多个传感器可适当地包括GPS、雷达、激光雷达、光学相机、热像仪、超声波传感器和/或附加传感器。
图1说明可与车辆12的无线通信系统28通信的若干联网装置。可经由无线通信系统28与车辆12通信的一个联网装置是联网无线装置57。联网无线装置57可包括计算机处理能力、能够使用短程无线协议进行通信的收发器，以及可视显示器59。计算机处理能力包括呈可编程装置的形式的微处理器，该可编程装置包括存储在内部存储器结构中并且施加成接收二进制输入以创建二进制输出的一个或多个指令。在某些实施例中，联网无线装置57包括能够接收GPS卫星信号并且基于那些信号生成GPS坐标的GPS模块。在其它实施例中，联网无线装置57包括蜂窝通信功能性使得联网无线装置57通过无线载波系统60使用一个或多个蜂窝通信协议(如本文所讨论)实行语音和/或数据通信。可视显示器59还可包括触摸屏图形用户界面。
无线载波系统60优选地是蜂窝电话系统，其包括多个手机信号塔70(仅示出一个)、一个或多个移动交换中心(MSC)72以及将无线载波系统60与陆地通信网络62连接所需要的任何其它联网部件。每个手机信号塔70均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器的中间设备连接至MSC 72。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/MSC布置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接至单个MSC，这里仅列举几种可能布置。
除使用无线载波系统60外，可使用呈卫星通信的形式的第二无线载波系统来提供与车辆12的单向或双向通信。这可使用一个或多个通信卫星66和上行链路传输站67来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站67接收、封装上传并且然后发送至卫星66，从而向用户广播该节目。双向通信可包括(例如)使用卫星66以在车辆12与站67之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。
陆地网络62可为连接至一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接至远程存取中心78。例如，陆地网络62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地网络62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线存取(BWA)的网络或其任何组合来实施。另外，远程存取中心78不需要经由陆地网络62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。
虽然在图1中示为单个装置，但是计算机64可包括可经由诸如因特网的专用或公共网络存取的许多计算机。每个计算机64均可用于一个或多个目的。在示例性实施例中，计算机64可被配置为可由车辆12经由无线通信系统28和无线载波60存取的网络服务器。其它计算机64可包括例如：服务中心计算机，其中可经由无线通信系统28从车辆上传诊断信息和其它车辆数据；或第三方数据仓库，将车辆数据或其它信息提供至该第三方数据仓库或从该第三方数据仓库提供车辆数据或其它信息，而无关于是否与车辆12、远程存取中心78、联网无线装置57或这些的某个组合进行通信。计算机64可维护可搜索数据库和数据库管理系统，其允许输入、删除和修改数据以及接收将数据定位在数据库内的请求。计算机64还可用于提供诸如DNS服务器或网络地址服务器的因特网连接性，该网络地址服务器使用DHCP或其它合适协议来将IP地址分配至车辆12。
如图2中所示，ADS 24包括用于确定车辆附近的受检测特征或对象的存在、位置、分类和路径的多个不同的控制系统，包括至少感知系统32。感知系统32配置为从各种传感器(诸如图1中所说明的传感器26)接收输入，并且合成和处理传感器输入以生成用作ADS24的其它控制算法的输入的参数。
感知系统32包括处理和合成来自各种传感器26的传感器数据27的传感器融合和预处理模块34。传感器融合和预处理模块34对传感器数据27执行校准，包括(但不限于)LIDAR对LIDAR校准、相机对LIDAR校准、LIDAR对底盘校准以及LIDAR光束强度校准。传感器融合和预处理模块34输出经预处理的传感器输出35。
分类和分段模块36接收经预处理的传感器输出35并且执行对象分类、图像分类、交通灯分类、对象分段、背景分段和对象跟踪处理。对象分类包括但不限于，识别和分类周围环境中的对象(包括交通信号和标志的识别和分类)、RADAR融合和跟踪以考虑传感器的放置和视野(FOV)，以及经由LIDAR融合的误肯定排斥以消除城市环境中存在的许多误肯定，诸如(例如)井盖、桥梁、高架桥大树或灯柱，以及障碍物，该障碍物具有高RADAR横截面但不影响车辆沿着其路线行驶的能力。由分类和分段模型36执行的附加对象分类和跟踪处理包括但不限于，融合来自RADAR轨迹的自由空间检测和高级跟踪、LIDAR分段、LIDAR分类、图像分类、对象形状拟合模型、语义信息、运动预测、光栅图、静态障碍图和产生高质量对象轨迹的其它来源。
分类和分段模块36另外利用车道关联和交通控制装置信号相位和正时模型执行交通控制装置分类和交通控制装置融合。分类和分段模块36生成包括对象识别信息的对象分类和分段输出37。
定位和映射模块40使用对象分类和分段输出37以及其它输入(例如，GPS和映射数据)来计算参数，包括(但不限于)估计车辆12在典型和具有严酷的驾驶场景中的、位置和定向。这些具有严酷的驾驶场景包括(但不限于)具有许多车辆的动态环境(例如，密集交通)、严酷的天气(例如，雨、小雪)、具有大规模障碍物的环境(例如，道路工程或建筑工地)、丘陵、多车道道路、单车道道路、各种道路标记和建筑物(或没有)(例如，住宅vs.商业区)，以及桥梁和立交桥(车辆的当前路段上方和下方)。
定位和映射模块40还引入由于经由在操作期间由车辆12执行的车载映射功能获得的扩展地图区域而收集的新数据以及经由无线通信系统28“推送”至车辆12的映射数据。定位和映射模块40利用新的信息(例如，新的车道标记、新的建筑结构、建筑工地的添加或移除等)来更新先前的地图数据，而不修改未受影响的地图区域。可生成或更新的地图数据的示例包括但不限于，屈服线分类、车道边界生成、车道连接、次要和主要道路的分类、左右匝的分类以及交叉车道创建。
在某些实施例中，定位和映射模块40使用同时定位和映射(“SLAM”)技术来开发周围环境的地图。SLAM技术构造环境的地图，并且跟踪对象在环境内的位置。GraphSLAM(SLAM的变型)采样稀疏矩阵，其用于产生包含观察相关性的图。
地图内的对象位置由以物体的预测路径为中心的高斯概率分布来表示。SLAM以其最简单的形式利用三个约束：初始位置约束；相对运动约束，其是对象的路径；以及相对测量约束，其是对象至地标的一次或多次测量。
初始运动约束是车辆的初始姿态(例如，位置和定向)，其是由车辆在包括俯仰、侧倾和偏航数据的二维或三维空间中的位置组成。相对运动约束是物体的位移运动，其包含一定程度的灵活性以适应地图的一致性。相对测量约束包括从对象传感器至地标的一次或多次测量。初始位置约束、相对运动约束和相对测量约束通常是高斯概率分布。传感器生成的地图内的对象定位方法可采用卡尔曼滤波器、各种统计相关方法，诸如皮尔逊积差相关和/或粒子滤波器。
在某些实施例中，一旦建立了地图，经由粒子滤波器实时地实现车辆定位。与贝叶斯或卡尔曼滤波器不同，粒子滤波器适应非线性系统。为了定位车辆，经由高斯概率分布围绕预期平均值生成粒子。每个粒子被分配表示粒子位置对预测位置的精度的数值权重。考虑传感器数据，并调整粒子权重以适应传感器数据。粒子与传感器调整位置的距离越接近，粒子权重的数值就越大。
当发生动作命令时，将每个粒子更新为新的预测位置。在新的预测位置处观察传感器数据，且为每个粒子分配表示粒子位置相对于预测位置的的精度的新权重以及传感器数据。对粒子进行重新采样，选择具有最大数值幅度的权重，因此提高预测和传感器校正对象位置的精度。通常，重采样数据的均值、方差和标准差提供了新的对象位置似然。
粒子滤波处理被表达为：
P(Ht|Ht-1，At，Dt) 公式1
其中Ht是作为对象位置的当前假设。Ht-1是前次对象位置，At是通常作为运动命令的动作，且Dt是可观察的数据。
在某些实施例中，定位和映射模块40通过引入来自如上文在扩展卡尔曼滤波器(EKF)框架中讨论的多个源的数据来维护车辆的全局位置的估计。卡尔曼滤波器是基于递归贝叶斯滤波器的线性滤波器。递归贝叶斯滤波器(也称为递归贝叶斯估计)基本上将估计的后验替换为先前位置以对新的估计迭代计算新的后验。这有效地产生：
P(Ht|Ht-1，Dt) 公式2
其中假设Ht的概率是由前次迭代Ht-1的假设和当前时间t的数据Dt来估计。
卡尔曼滤波器添加动作变量At，其中t是时间迭代，产生：
P(Ht|Ht-1，At，Dt) 公式3
其中假设Ht的概率是基于前次迭代Ht-1、当前时间t的动作At和数据Dt。
卡尔曼滤波器估计作为联合概率分布的当前位置，且基于动作命令预测也作为联合概率分布的新位置(称为状态预测)。获取传感器数据，并计算分离的联合概率分布(称为传感器预测)。
状态预测被表达为：
X′t＝AXt-1+Bμ+εt 公式4
其中X't是基于前次状态AXt-1、Bμ和ξt的新状态。常数A和B是由感兴趣的物理学定义，μ可为机器人运动命令，且ξt是高斯状态误差预测。
传感器预测被表达为：
Z′t＝CXt+εz 公式5
其中Z't是新的传感器估计，C是函数，且ξz是高斯传感器误差预测。
新的预测状态估计被表达为：
XEST＝Xt+K(Zt-Zt) 公式6
其中乘积K(Zt-Z't)被称为卡尔曼增益因子。如果传感器预测Z't与实际传感器数据Zt之间的差(即，Zt-Z't)充分接近于零，那么X't被认为是新的状态估计。如果Zt-Z't充分大于零，那么添加K(Zt-Z't)因子以产生新的状态估计。
当接收到车辆移动信息时，EKF更新车辆位置估计，同时也扩展估计协方差。一旦传感器协方差集成至EKF中，定位和映射模块40生成定位和映射输出41，其包括车辆12相对于受检测障碍物和道路特征的位置和定向。
车辆测距模块46从车辆传感器26接收数据27，并且生成车辆测距输出47，其包括例如车辆航向、速度和距离信息。绝对定位模块42接收定位和映射输出41以及车辆测距信息47，并且生成车辆位置输出43，其用于如下文所讨论的单独计算。
对象预测模块38使用对象分类和分段输出37来生成参数，其包括(但不限于)受检测障碍物相对于车辆的位置、受检测障碍物相对于车辆的预测路径，以及交通车道相对于车辆的位置和定向。在某些实施例中可使用贝叶斯模型来基于语义信息、前次轨迹和瞬时姿态来预测驾驶员或行人意图，其中姿态是对象的位置和定向的组合。
贝叶斯定理(也称为贝叶斯滤波器)是条件概率的形式。下面在公式7中所示的贝叶斯定理阐述了假设H(在给定数据D下)的概率等于假设H的概率乘以数据D(在给定假设H下)的可能性除以数据P(D)的概率的命题。
P(H/D)被称为后验，且P(H)被称为先验。贝叶斯定理衡量在考虑数据D中实施的佐证之前(先验)和之后(后验)的命题中的概率置信度。贝叶斯定理可在迭代时递归使用。在每次新的迭代中，前次后验变为先验以生成新的后验直至迭代完成为止。输出关于对象(包括行人、周围车辆和其它移动对象)的预测路径的数据作为对象预测输出39，并且在如下文所讨论的单独计算中使用该数据。
ADS 24还包括观察模块44和解译模块48。观察模块44生成由解译模块48接收的观察输出45。观察模块44和解译模块48允许远程存取中心78存取。解译模块48生成解译输出49，其包括由远程存取中心78提供的附加输入。
路径规划模块50处理和合成对象预测输出39、解译输出49和从在线数据库或远程存取中心78接收的附加路线信息79，以确定要遵循的车辆路径以维持车辆在期望路线上，并同时遵守交通规则和避开任何受检测障碍。路径规划模块50采用配置为避开车辆附近的任何受检测障碍物、维持车辆在当前交通车道中并且维持车辆在期望路线上的算法。路径规划模块50使用姿态图优化技术(包括非线性最小二乘方姿态图优化)以依六个自由度优化汽车轨迹的地图并且减小路径误差。路径规划模块50将车辆路径信息作为路径规划输出51输出。路径规划输出51包括基于车辆路线的命令的车辆路径、相对于路线的车辆位置、交通车道的位置和定向以及任何受检测障碍物的存在和路径。
第一控制模块52处理和合成路径规划输出51和车辆位置输出43以生成第一控制输出53。在车辆的远程接管操作模式的情况下，第一控制模块52还引入由远程存取中心78提供的路线信息79。
车辆控制模块54接收第一控制输出53以及从车辆测距46接收的速度和航向信息47，并且生成车辆控制输出55。车辆控制输出55包括用于实现来自车辆控制模块54的命令路径的一组致动器命令，其包括(但不限于)转向命令、换挡命令、节气门命令和制动命令。
车辆控制输出55被传达至致动器30。在示例性实施例中，致动器30包括转向控制、换挡器控制、节气门控制和制动器控制。转向控制可例如控制如图1中所说明的转向系统16。换挡器控制可例如控制如图1中所说明的变速器14。节气门控制可例如控制如图1中所说明的推进系统13。制动器控制可例如控制如图1中所说明的车轮制动器17。
应当理解的是，所公开的方法可结合任何数量的不同系统使用并且不具体限于这里所示的操作环境。另外，系统10和其个别部件的架构、构造、设置和操作在本领域中是通常已知的。这里未示出的其它系统也可采用所公开的方法。
现在参考图3，说明了根据本公开的传感器融合系统100的示例性实施例。传感器融合系统100包括多个传感器，其包括至少一个雷达系统102、单色相机系统104、立体相机系统106和激光雷达系统108。在示例性实施例中，至少一个雷达系统102包括短程、中程和远程雷达系统的组合。应当理解，本公开的范围内的其它实施例可省略这些传感器中的一个或多个，包括附加传感器，或两者。雷达系统102、单色相机系统104、立体相机系统106和激光雷达系统108可限定传感器26的至少一部分。
传感器融合系统100包括主传感器融合模块110和辅助传感器融合模块112。辅助传感器融合模块112被设置以使用与主传感器融合模块110中采用的算法不同的算法来验证主传感器融合模块110，如下面将进一步详细讨论。下面讨论的主传感器融合模块110、辅助传感器融合模块112和传感器融合仲裁模块148可共同形成图2中所说明的传感器融合模块34。
主传感器融合模块110包括原始传感器融合模块114。原始传感器融合模块114从雷达系统102接收原始雷达传感器数据116，从单色相机系统104接收原始单色相机数据118，从立体相机系统106接收原始立体相机数据120，且从激光雷达系统108接收激光雷达传感器数据122。原始传感器融合模块114还接收车辆特性数据124，其包括当前车辆状态数据、全球导航卫星系统(GNSS)数据、车辆惯性数据和车轮编码器数据。可从图2中所说明的传感器26接收车辆特性数据124。
原始传感器融合模块114编程为(例如，以像素级、信号级、点云级、棒状像素级或特征级)对原始雷达传感器数据116、原始单色相机数据118、原始立体相机数据120和原始激光雷达传感器数据122的组合的原始传感器数据执行原始传感器数据融合。原始传感器融合模块114还配置为识别和跟踪融合数据中的对象。原始传感器融合模块114输出主传感器融合输出126。主传感器融合输出126包括对应于来自主传感器融合模块110的融合数据中的跟踪对象的处理数据。
辅助传感器融合模块112包括接收原始雷达传感器数据116的第一对象跟踪模块128、接收原始单色相机数据118的第二对象跟踪模块130、接收原始立体相机120的第三对象跟踪模块132，以及接收原始激光雷达传感器数据122的第四对象跟踪模块134。第一对象跟踪模块128编程为识别和跟踪原始雷达传感器数据116中的对象并且输出第一对象跟踪输出136。第一对象跟踪模块128可使用各种已知的对象跟踪算法来进行。同样地，第二对象跟踪模块130、第三对象跟踪模块132和第四对象跟踪模块134编程为识别和跟踪相应接收的传感器数据中的对象并且分别输出第二对象跟踪输出138、第三对象跟踪输出140和第四对象跟踪输出142。
辅助传感器融合模块112还包括对象数据融合模块144。对象数据融合模块144接收第一对象跟踪输出136、第二对象跟踪输出138、第三对象跟踪输出140和第四对象跟踪输出142。对象数据融合模块144还接收车辆特性数据124。对象数据融合模块144编程为例如使用所谓的轨道对轨道融合分别对第一对象跟踪输出136、第二对象跟踪输出138、第三对象跟踪输出140和第四对象跟踪输出142中识别的跟踪对象执行融合。对象数据融合模块144输出辅助传感器融合输出146。辅助传感器融合输出146包括对应于来自辅助传感器融合模块112的融合数据中的跟踪对象的处理数据。
对象数据融合模块144根据与原始传感器融合模块114不同的算法起作用。原始传感器融合模块114在识别和跟踪对象之前组合来自多个传感器的原始数据，导致精确的识别和跟踪。对象数据融合模块144组合在先前算法中识别的跟踪对象，导致较不精确的识别，但是需要相当少的处理资源。
传感器融合系统100还包括传感器融合仲裁模块148。传感器融合仲裁模块148接收主传感器融合输出126和辅助传感器融合输出146，并且输出最终传感器融合输出150。传感器融合仲裁模块148编程为评估辅助传感器融合输出146中的所有跟踪对象的状态是否在主传感器融合输出126中的跟踪对象的对应状态的预定义范围内，且反之亦然。如这里所使用的，状态涉及与跟踪对象相关联的各种参数，诸如位置、速度和加速度。如果是这样，即，主传感器融合模块110和辅助传感器融合模块112以总体上相同的状态识别和跟踪对象，那么传感器融合仲裁模块148基于主传感器融合输出126输出最终传感器融合输出150。最终传感器融合输出150随后可用于自主地控制车辆，例如，如上面关于图1所讨论。
如果传感器融合仲裁模块148确定辅助传感器融合输出146中的跟踪对象的全部状态并非均在主传感器融合输出126中的跟踪对象的对应状态的预定义范围内(或反之亦然，即，主传感器融合模块110和辅助传感器融合模块112识别但不以总体上相同的状态跟踪对象)，那么最终传感器融合输出150包括诊断信号。此诊断信号强度例如可表示主传感器融合模块与辅助传感器融合模块之间的跟踪对象状态的不一致水平。响应于诊断信号，可采取适当的诊断动作。在示例性实施例中，响应于诊断信号，车辆可自主地执行替代操纵。替代操纵可包括例如用于安全地停止车辆的后退命令。这样的操纵可能被称为最小风险状况操纵。
在图3的示例性实施例中，主传感器融合模块110和辅助传感器融合模块112各自与同一组传感器(即，雷达系统102、单色相机系统104、立体相机系统106和激光雷达系统108)进行通信。然而，在其它考虑的实施例中，主传感器融合模块110可与不与辅助传感器融合模块112通信的至少一个传感器通信，辅助传感器融合模块112可与不与主传感器融合模块110通信的至少一个传感器通信，或两者。
通过将辅助传感器融合模块112设置为具有与主传感器融合模块110中采用的算法不同的算法的正交模块，传感器融合输出可独立于在主传感器融合模块110中出现的任何软件诊断条件而进行验证。根据示例性实施例，辅助传感器融合模块112可被设置在与主传感器融合模块110不同(例如，与不同的微处理器相关联)的硬件控制器上。在这样的实施例中，传感器融合输出也可独立于在与主传感器融合模块110相关联的控制器中出现的任何硬件诊断条件而进行验证。然而，在其它考虑的实施例中，辅助传感器融合模块112可设置在公共硬件控制器上作为主传感器融合模块110。
虽然图1和2的示例性实施例包括自主车辆，但是本领域技术人员将明白，根据本公开的传感器融合系统可结合人控车辆(例如，结合自适应巡航控制或自动紧急制动系统)来使用。
现在参考图4，说明了根据本公开的传感器融合系统200的另一个示例性实施例。传感器融合系统包括配置为捕获第一传感器图像204的第一传感器202，配置为捕获第二传感器图像208的第二传感器206以及配置为捕获第三传感器图像212的第三传感器210。在示例性实施例中，第一传感器包括光学相机，第二传感器包括激光雷达阵列，且第三传感器包括雷达阵列。然而，在其它实施例中可包括附加的传感器、其它类型的传感器或两者。
在辅助传感器融合路径中，从第一传感器图像204提取第一形状特征214，从第二传感器图像208提取第二形状特征216，且从第三传感器图像212提取第三形状特征218。从第一形状特征214检测第一跟踪对象220，从第二形状特征216检测第二跟踪对象222，且从第三形状特征218检测第三跟踪对象224。第一跟踪对象220、第二跟踪对象222和第三跟踪对象224进行融合，且为第一跟踪对象220、第二跟踪对象222和第三跟踪对象224中的跟踪对象生成第一估计状态226。生成辅助传感器融合输出228。辅助传感器融合输出228包括第一估计状态226。
在主传感器融合路径中，对第一传感器图像204、第二传感器图像208和第三传感器图像212执行像素级融合功能230。以逐像素(或点云)为基础执行像素级融合。其生成融合图像，其中从源图像中的一组像素或/或点云确定与每个像素(或/和点云)相关联的信息以改善诸如分段等数据处理任务的性能。从第一传感器202、第二传感器206和第三传感器210的像素级融合230提取主形状特征232。
对第一形状特征214、第二形状特征216和第三形状特征218执行特征级融合功能234。特征级下的基于特征的融合包括提取在多个传感器数据源(诸如相机、激光雷达和雷达)中识别的对象。其包括提取取决于其环境的显著特征，诸如像素或/和点云强度、颜色、边缘或纹理。然后使用滤波技术将来自多个输入图像的这些类似特征融合在一起。从特征级融合234和主形状特征232中获得主跟踪对象236。
对第一跟踪对象220、第二跟踪对象222和第三跟踪对象224执行对象级融合功能238。对象融合涉及以更高抽象级合并信息，组合来自多个算法的结果以获得最终的一组融合对象。单独处理输入图像以进行信息提取和跟踪。所获得的信息(对象跟踪)是使用诸如卡尔曼滤波等技术组合在一起，以加强共同解译。从对象级融合238和主跟踪对象236中获得第二估计状态240。生成主传感器融合输出242。主传感器融合输出242包括第二估计状态240。
如操作244处说明，确定第二估计状态240与第一估计状态226之间的差是否超过可校准阈值。如果该确定为否定(例如，主传感器融合输出242和辅助传感器融合输出228确定受检测对象的状态总体上类似)，那么如框246处说明，根据默认行为自主地控制车辆。如果该确定为肯定(例如，主传感器融合输出242和辅助传感器融合输出228确定受检测对象的状态不同)，那么如框248处说明，生成诊断信号。诊断信号强度例如可表示主传感器融合模块与辅助传感器融合模块之间的跟踪对象状态的不一致水平。响应于诊断信号，可采取适当的诊断动作。在示例性实施例中，响应于诊断信号，车辆可自主地执行替代操纵，例如，如上面关于图3所讨论。
可以看出，根据本公开的实施例可实现自主车辆控制命令的独立验证，以帮助诊断主控制系统中的软件或硬件状况。因此，根据本公开的实施例可更加稳定，从而提高客户满意度。
本文所公开的过程、方法或算法可交付给处理装置、控制器或计算机(可包括任何现有的可编程电子控制单元或专用电子控制单元)/由其实施。类似地，该过程、方法或算法可存储为可由控制器或计算机执行的呈许多形式的数据和指令，该形式包括(但不限于)永久地存储在诸如ROM装置的不可写存储介质上的信息以及可变地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质的可写存储介质上的信息。该过程、方法或算法还可在软件可执行对象中实施。替代地，该过程、方法或算法可全部或部分使用合适的硬件部件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置)或硬件、软件和固件部件的组合来实施。这样的示例性装置作为车辆计算系统的部分可为车载的或可为远程非车载的，并且与一个或多个车辆上的装置进行远程通信。
如先前所述，各种实施例的特征可组合成形成可不明确描述或说明的本发明的进一步实施例。虽然各种实施例就一个或多个期望特性而言可能已经描述为提供优点或优于其它实施例或现有技术实施方案，但是本领域一般技术人员认识到，可牺牲一个或多个特征或特性以实现取决于具体应用和实施方案的期望整体系统属性。这些属性可包括(但不限于)成本、强度、耐用性、生命周期成本、市场适销性、外观、包装、大小、服务能力、重量、可制造性、便于组装等。因而，就一个或多个特性而言，描述为期望性不及其它实施例或现有技术实施方案的实施例不在本公开的范围之外并且对于特定应用可为所期望的。
虽然上文描述了示例性实施例，但是并不希望这些实施例描述由权利要求书涵盖的所有可能形式。用在说明书中的词汇是描述性词汇，而不是限制性的词汇，且应当理解，可进行各种变化而并不脱离本公开的精神和范围。如先前所述，各种实施例的特征可组合成形成可不明确描述或说明的本发明的进一步实施例。虽然各种实施例就一个或多个期望特性而言可能已经描述为提供优点或优于其它实施例或现有技术实施方案，但是本领域一般技术人员认识到，可牺牲一个或多个特征或特性以实现取决于具体应用和实施方案的期望整体系统属性。这些属性可包括(但不限于)成本、强度、耐用性、生命周期成本、市场适销性、外观、包装、大小、服务能力、重量、可制造性、便于组装等。因而，就一个或多个特性而言，描述为期望性不及其它实施例或现有技术实施方案的实施例不在本公开的范围之外并且对于特定应用可为所期望的。

Claims (6)

1.一种机动车辆，包括：
多个传感器，其配置为检测所述机动车辆附近的外部特征；
致动器，其配置为控制车辆转向、加速、制动或换挡；以及
至少一个控制器，其与所述多个传感器中的相应传感器和所述致动器进行电子通信，所述至少一个控制器用自动驾驶系统控制算法进行编程，并且配置为基于所述自动驾驶系统控制算法自动地控制所述致动器，所述自动驾驶控制系统算法包括：
第一传感器融合算法，其配置为从所述多个传感器中的第一组相应传感器接收第一传感器读数，并且基于所述第一传感器读数提供第一传感器融合输出，所述第一传感器融合输出包括受检测对象的第一受检测状态，
第二传感器融合算法，其配置为从所述多个传感器中的第二组相应传感器接收第二传感器读数，并且基于所述第二传感器读数提供第二传感器融合输出，所述第二传感器融合输出包括所述受检测对象的第二受检测状态，以及
传感器融合仲裁算法，其配置为响应于所述第一受检测状态超出所述第二受检测状态的预定范围而生成诊断信号。
2.根据权利要求1所述的机动车辆，其中所述第一受检测状态包括所述受检测对象的第一受检测位置、第一受检测速度和第一受检测加速度，且其中所述第二受检测状态包括所述受检测对象的第二受检测位置、第二受检测速度和第二受检测加速度。
3.根据权利要求1所述的机动车辆，其中所述诊断信号包括表示所述第一受检测状态与所述第二受检测状态之间的差的参数。
4.根据权利要求1所述的机动车辆，其中所述至少一个控制器进一步编程为响应于所述诊断信号而根据后退命令来控制所述致动器。
5.根据权利要求1所述的机动车辆，其中所述至少一个控制器包括第一控制器和第二控制器，所述第一控制器用所述第一传感器融合算法进行编程，且所述第二控制器用所述第二传感器融合算法进行编程。
6.根据权利要求1所述的机动车辆，其中所述第一组相应传感器包括不在所述第二组相应传感器中的相应传感器。
CN201711115976.3A 2016-11-17 2017-11-13 用于自主车辆的自动化协同驾驶控制 Active CN108073170B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/353,842 US10073456B2 (en) 2016-11-17 2016-11-17 Automated co-pilot control for autonomous vehicles
US15/353842 2016-11-17

Publications (2)

Publication Number Publication Date
CN108073170A true CN108073170A (zh) 2018-05-25
CN108073170B CN108073170B (zh) 2021-02-05

Family

ID=62026763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711115976.3A Active CN108073170B (zh) 2016-11-17 2017-11-13 用于自主车辆的自动化协同驾驶控制

Country Status (3)

Country Link
US (1) US10073456B2 (zh)
CN (1) CN108073170B (zh)
DE (1) DE102017126877B4 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274720A (zh) * 2017-05-05 2017-10-20 广州汽车集团股份有限公司 一种自动驾驶汽车及多车协同控制方法、系统
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN110967064A (zh) * 2018-09-28 2020-04-07 罗伯特·博世有限公司 用于车辆的环境检测的方法、设备和传感器系统
CN111186433A (zh) * 2018-11-13 2020-05-22 罗伯特·博世有限公司 用于选择和加速实施动作响应的方法
CN111507372A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 方法和装置
CN112034835A (zh) * 2019-05-15 2020-12-04 迪尔公司 基于多车辆传感器融合的控制和映射
CN112867634A (zh) * 2018-09-10 2021-05-28 株式会社自动网络技术研究所 配线分支箱
CN113412506A (zh) * 2019-02-13 2021-09-17 日立安斯泰莫株式会社 车辆控制装置及电子控制系统
CN113715753A (zh) * 2020-05-25 2021-11-30 华为技术有限公司 车辆传感器数据的处理方法和系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649178B2 (ja) * 2016-05-24 2020-02-19 株式会社東芝 情報処理装置、および、情報処理方法
US10466361B2 (en) * 2017-03-14 2019-11-05 Toyota Research Institute, Inc. Systems and methods for multi-sensor fusion using permutation matrix track association
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US10902387B2 (en) * 2017-08-25 2021-01-26 The Boeing Company Aircraft digital event ledger
US10552979B2 (en) * 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
KR102494364B1 (ko) * 2017-09-26 2023-02-03 주식회사 에이치엘클레무브 차량 제어 시스템, 차량 외장형 전자 제어 유닛, 차량 제어 방법 및 애플리케이션
DE102018202296A1 (de) * 2018-02-15 2019-08-22 Robert Bosch Gmbh Radarsensor-System und Verfahren zum Betreiben eines Radarsensor-Systems
WO2019176028A1 (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 鞍乗り型車両の情報報知装置、鞍乗り型車両、および情報報知方法
CN108995537B (zh) * 2018-06-04 2021-01-01 浙江吉利新能源商用车有限公司 一种用于车辆智能驾驶的整车控制装置
US20200020143A1 (en) * 2018-07-12 2020-01-16 GM Global Technology Operations LLC Systems and methods for in-vehicle augmented virtual reality system
DE102018220024B3 (de) * 2018-11-22 2020-03-12 Audi Ag Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren
DE102019001192B3 (de) 2019-02-19 2020-06-10 Daimler Ag Steuerungsvorrichtung und Verfahren zur Übernahme der Kontrolle
US11597364B2 (en) * 2019-03-11 2023-03-07 Mitsubishi Electric Research Laboratories, Inc. System and method for determining friction curve of tire
US11373318B1 (en) 2019-05-14 2022-06-28 Vulcan Inc. Impact detection
US11214261B2 (en) * 2019-06-11 2022-01-04 GM Global Technology Operations LLC Learn association for multi-object tracking with multi sensory data and missing modalities
US10752253B1 (en) * 2019-08-28 2020-08-25 Ford Global Technologies, Llc Driver awareness detection system
DE102019123483B4 (de) 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
US11797906B2 (en) 2019-12-18 2023-10-24 Industrial Technology Research Institute State estimation and sensor fusion switching methods for autonomous vehicles
US11203354B2 (en) * 2020-02-26 2021-12-21 Mitsubishi Electric Research Laboratories, Inc. System and method for determining friction curve of tire
DE102022202174A1 (de) * 2022-03-03 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Fusion von mit einem aktiven Messprinzip gewonnenen Roh-Messdaten und Bildern zu einer Repräsentation mit Tiefen- und/oder Abstandsinformation
EP4306999A1 (en) * 2022-07-13 2024-01-17 GM Cruise Holdings LLC Detecting and identifying objects represented in sensor data generated by multiple sensor systems
CN117163071B (zh) * 2023-11-03 2024-03-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150239482A1 (en) * 2013-12-19 2015-08-27 Thales Canada Inc Guideway mounted vehicle localization system
CN105372660A (zh) * 2014-08-27 2016-03-02 启碁科技股份有限公司 预警方法及车用雷达系统
US20160103450A1 (en) * 2014-10-14 2016-04-14 Robert Bosch Gmbh Fail-Safe EE Architecture for Automated Driving
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133945A1 (de) * 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
AU2009275668B2 (en) * 2008-07-30 2014-05-29 Bae Systems Plc Estimating states of a plurality of targets tracked by a plurality of sensors
CN105191222A (zh) 2013-03-14 2015-12-23 Fts电脑技术有限公司 用于机动车辆的自动控制的装置与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150239482A1 (en) * 2013-12-19 2015-08-27 Thales Canada Inc Guideway mounted vehicle localization system
CN105372660A (zh) * 2014-08-27 2016-03-02 启碁科技股份有限公司 预警方法及车用雷达系统
US20160103450A1 (en) * 2014-10-14 2016-04-14 Robert Bosch Gmbh Fail-Safe EE Architecture for Automated Driving
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李沛 等: "基于多传感器信息融合的AGV避障算法", 《华中科技大学学报(自然科学版)》 *
陈懂 等: "智能小车的多传感器数据融合", 《现代电子技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274720A (zh) * 2017-05-05 2017-10-20 广州汽车集团股份有限公司 一种自动驾驶汽车及多车协同控制方法、系统
CN112867634A (zh) * 2018-09-10 2021-05-28 株式会社自动网络技术研究所 配线分支箱
CN110967064A (zh) * 2018-09-28 2020-04-07 罗伯特·博世有限公司 用于车辆的环境检测的方法、设备和传感器系统
CN110967064B (zh) * 2018-09-28 2023-09-05 罗伯特·博世有限公司 用于车辆的环境检测的方法、设备和传感器系统
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN111186433A (zh) * 2018-11-13 2020-05-22 罗伯特·博世有限公司 用于选择和加速实施动作响应的方法
CN111507372A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 方法和装置
CN111507372B (zh) * 2019-01-30 2023-10-20 斯特拉德视觉公司 在执行协同驾驶中的多智能体传感器的方法和装置
CN113412506A (zh) * 2019-02-13 2021-09-17 日立安斯泰莫株式会社 车辆控制装置及电子控制系统
CN112034835A (zh) * 2019-05-15 2020-12-04 迪尔公司 基于多车辆传感器融合的控制和映射
CN113715753A (zh) * 2020-05-25 2021-11-30 华为技术有限公司 车辆传感器数据的处理方法和系统

Also Published As

Publication number Publication date
DE102017126877B4 (de) 2023-11-23
US20180136660A1 (en) 2018-05-17
US10073456B2 (en) 2018-09-11
DE102017126877A1 (de) 2018-05-17
CN108073170B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN108073170A (zh) 用于自主车辆的自动化协同驾驶控制
CN108574929B (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
CN108068792A (zh) 用于自主车辆的自动协同驾驶控制
US10349011B2 (en) System and method for improved obstacle awareness in using a V2X communications system
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109389832B (zh) 使用v2x通信系统提高障碍意识的系统和方法
US10613547B2 (en) System and method for improved obstacle awareness in using a V2X communications system
CN108372857A (zh) 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知
CN108372856A (zh) 来自自主驾驶系统中的感知流的有效情景意识
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN108761474A (zh) 用于具有高处理增益的脉冲重复序列的方法和装置
US20180341263A1 (en) Methods and systems for moving object velocity determination
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
CN110244701A (zh) 用于基于自动生成的课程序列的自主车辆的强化学习的方法和装置
CN109144049A (zh) 用于控制感测装置视场的系统和方法
CN110435667A (zh) 用于控制自主车辆的系统和方法
CN109144050A (zh) 使用反射延迟传播进行物体表面估计的方法和装置
CN110441790A (zh) 激光雷达系统中的方法和装置串扰和多径降噪
CN109552211A (zh) 用于自主车辆中的雷达定位的系统和方法
CN109552212A (zh) 用于自主车辆中的雷达定位的系统和方法
CN110626330B (zh) 用于检测自主车辆中的对象的系统和方法
CN109387856A (zh) 用于lidar阵列中的并行采集的方法和设备
US11747164B2 (en) Methods for multi-dimensional lane matching for autonomous vehicle localization
CN110297486A (zh) 用于将用户引导至车辆的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant