CN114379590A - 紧急车辆音频和视觉检测后融合 - Google Patents

紧急车辆音频和视觉检测后融合 Download PDF

Info

Publication number
CN114379590A
CN114379590A CN202111649429.XA CN202111649429A CN114379590A CN 114379590 A CN114379590 A CN 114379590A CN 202111649429 A CN202111649429 A CN 202111649429A CN 114379590 A CN114379590 A CN 114379590A
Authority
CN
China
Prior art keywords
adv
emergency vehicle
neural network
audio
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111649429.XA
Other languages
English (en)
Other versions
CN114379590B (zh
Inventor
许珂诚
孙宏艺
罗琦
王为
林泽俊
雷诺兹卫斯理
刘峰
胡江滔
缪景皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN114379590A publication Critical patent/CN114379590A/zh
Application granted granted Critical
Publication of CN114379590B publication Critical patent/CN114379590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Abstract

本公开涉及紧急车辆视频和视觉检测后融合。在一个实施例中，可以在行驶在道路上的ADV中提供紧急车辆检测系统，以使用音频数据和视觉数据来检测ADV的周围环境中紧急车辆的存在。紧急车辆检测系统可以使用经训练的神经网络从音频数据独立生成检测结果，并使用另一个经训练的网络从视觉数据独立生成另一个检测结果。紧急车辆检测系统可以融合两个检测结果，以确定紧急车辆的位置和移动方向。ADV可以响应于紧急车辆的位置和移动方向采取适当的行动。

Description

紧急车辆音频和视觉检测后融合
技术领域
本公开的实施例总体上涉及操作自主车辆。更特别地，本公开的实施例涉及用于使用来自源的信息检测紧急车辆的系统和方法。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
当在道路上检测到紧急车辆(例如，警车、消防车和救护车)时，ADV需要采取适当的行动以遵守当地的交通规则。因此，准确检测ADV的周围环境中的紧急车辆对于行驶中的ADV很重要，这样AVD就不必进行不必要的停车。提高检测精度的一种方法是使用来自多个来源的信息(例如，来自ADV上传感器的图像和语音)以消除单个来源的不稳定性。这种方法需要融合来自多个来源的信息。
发明内容
第一方面，提供一种紧急车辆检测的方法，所述方法包括：
在自主驾驶车辆ADV上的自主驾驶系统ADS处接收从ADV的周围环境使用安装在ADV上的一个或多个音频获取设备获取的音频信号流和使用安装在ADV上的一个或多个图像获取设备获取的图像帧序列；
使用第一神经网络模型通过ADS确定获取的音频信号流的至少一部分来自警笛声的第一概率；
使用第二神经网络模型通过ADS确定图像帧序列中的至少一个图像帧来自紧急车辆的第二概率；以及
基于第一概率和第二概率通过ADS确定周围环境中存在紧急车辆。
第二方面，提供一种具有存储在其中的指令的非暂时性机器可读介质，当由处理器执行时，所述指令使所述处理器执行如第一方面所述的紧急车辆检测的方法的操作。
第三方面，提供一种数据处理系统，包括：
处理器；以及
耦接到处理器且存储指令的存储器，当指令被处理器执行时，使处理器执行如第一方面所述的紧急车辆检测的方法的操作。
第四方面，提供一种紧急车辆检测系统，包括：
传感器系统，包括音频传感器和视觉传感器，所述音频传感器安装在自主驾驶车辆ADV上并用于从ADV的周围环境获取音频信号流，所述视觉传感器安装在ADV上并用于从ADV的周围环境获取图像帧序列；
音频子模块，用于使用第一神经网络模型确定获取的音频信号流的至少一部分来自警笛声的第一概率；
视觉子模块，用于使用第二神经网络模型确定图像帧序列中的至少一个图像帧来自紧急车辆的第二概率；
后融合组件，用于基于第一概率和第二概率确定周围环境中存在紧急车辆。
第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时使得所述处理器执行如第一方面所述的方法。
根据本公开，能够准确检测驾驶环境中的紧急车辆，保证驾驶安全性的同时减少对车辆行驶的干扰。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的联网系统的框图。
图2是示出根据一个实施例的自主车辆的示例的框图。
图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。
图4示出根据一个实施例的紧急车辆检测系统的示例。
图5进一步示出根据一个实施例的紧急车辆检测系统。
图6A-6B示出在一个实施例中紧急车辆检测系统的性能优势。
图7示出根据一个实施例的检测紧急车辆的过程。
具体实施方式
将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
根据各种实施例，描述了用于操作自主驾驶车辆(ADV)的系统、方法和介质。实施例使用由安装在ADV上的传感器获取的音频数据和视觉数据的决策级融合(后融合)。相较于音频数据和视觉数据的特征级融合，本发明实施例不需要音频数据和视觉数据之间的严格的时序同步，并可以克服不同数据源的不同特征可靠性的问题。
在一个实施例中，可以在行驶在道路上的ADV中提供紧急车辆检测系统，以使用音频数据和视觉数据检测ADV的周围环境中紧急车辆的存在。紧急车辆检测系统可以使用经训练的神经网络从音频数据中独立生成检测结果，并使用另一个经训练的网络从视觉数据中独立生成另一个检测结果。紧急车辆检测系统可以融合两种检测结果，确定紧急车辆的位置和移动方向。ADV可以根据紧急车辆的位置和移动方向采取适当的行动。
在一个实施例中，紧急车辆检测系统包括音频子模块和视觉子模块，每个子模块是经训练的中性网络。音频子模块可以将安装在ADV上的麦克风采集到的音频数据作为输入，并生成表示在行驶的ADV的周围环境中存在警笛声的可能性有多大的概率以及警笛声源的方向。视觉子模块将安装在ADV上的摄像头获取的视觉数据作为输入，并生成表示在周围环境中存在紧急车辆的可能性有多大的概率以及紧急车辆的距离。
紧急车辆检测系统中的后融合组件可以融合来自音频子模块和视觉子模块的检测结果以确定周围环境中是否存在紧急车辆。如果是，则后融合组件可以确定紧急车辆的位置和移动方向。在一个实施例中，如果两个概率中的至少一个超过阈值，则紧急车辆检测系统可以确定周围环境中存在紧急车辆。
紧急车辆检测系统使用音频数据和视觉数据二者，并融合两种类型的数据的检测结果，从而提高系统的性能。仅依靠视觉数据，紧急车辆检测系统在低能见度环境下可能无法准确检测到紧急车辆。仅依靠音频数据，紧急车辆检测系统在嘈杂的环境中可能无法准确地检测到紧急车辆。两种类型数据的后融合组合将使紧急车辆检测系统能够在各种环境中良好运行。
本文描述的实施例可以包括存储可执行计算机程序指令的非暂时性机器可读介质，当计算机程序指令由一个或多个数据处理系统执行时，该计算机程序指令可以使一个或多个数据处理系统执行本文描述的一个或多个方法。指令可以存储在非易失性存储器中，诸如闪存或其他形式的存储器。实施例也可以作为方法权利要求来实践。
以上概述不包括本公开中所有实施例的详尽列表。所有系统和方法都可以从本公开中描述的各个方面和实施例的所有合适的组合来实践。
自主驾驶车辆
图1是示出根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1，网络配置100包括自主驾驶车辆(ADV)101，自主驾驶车辆101可以通过网络102通信地耦接到一个或多个服务器103-104。尽管示出一个ADV，但是多个ADV可以通过网络102彼此耦接和/或耦接到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
ADV指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在很少或没有驾驶员输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器系统，传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用检测的信息导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中，ADV 101包括但不限于自主驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。ADV 101还可包括在普通车辆中包括的某些常见组件，例如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制系统111和/或ADS 110使用各种通信信号和/或命令，诸如例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等控制。
组件110-115可以经由互连、总线、网络或其组合彼此通信地耦接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地耦接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于车辆内的多路电气布线，但是也用于许多其它环境中。
现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(light detection and range，LIDAR)单元215。GPS系统212可包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可基于惯性加速度感测ADV的位置和朝向变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214还可以额外地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可包括一个或多个设备以获取ADV周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为获取来自ADV周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。
返回参考图1，无线通信系统112允许ADV 101和外部系统，诸如设备、传感器、其他车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备无线通信，诸如经由网络102与服务器103-104通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
ADV 101的一些或所有功能可以由ADS 110控制或管理，尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，ADS 110可以与车辆控制系统111集成。
例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。ADS110获得行程相关数据。例如，ADS 110可以从MPOI服务器获得位置和路线数据，MPOI服务器可以是服务器103-104的部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可本地缓存在ADS 110的永久存储设备中。
当ADV 101沿着路线移动时，ADS 110还可以从交通信息系统或服务器(trafficinformation system or server，TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，ADS 110可规划最佳路线，并例如经由控制系统111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。
服务器103可以是用以执行用于各种客户端的数据分析服务的数据分析系统。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(ADV或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同的时间点获取的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述不同的时间点的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计123，机器学习引擎122出于各种目的而生成或训练一组规则、算法和/或预测模型124。然后，算法124可以被上传到ADV上以在自主驾驶期间实时地使用。
图3A和3B是示出根据一个实施例的与ADV一起使用的自主驾驶系统的示例的框图。系统300可以被实现为图1的ADV 101的部分，包括但不限于ADS 110、控制系统111和传感器系统115。参考图3A-3B，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307。
模块301-307中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可被安装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地耦接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-307中的一些可以被集成在一起作为集成模块。
定位模块301确定ADV300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与ADV300的其他组件通信诸如地图和路线数据311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线数据。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线数据311的部分被缓存。当ADV300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机获取的图像，以便识别ADV的环境中的对象和/或特征。对象可包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。
感知模块302可以包括紧急车辆检测模块308，其可以使用音频数据和视觉数据两者检测ADV的周围环境中紧急车辆的存在。
对于每个对象，预测模块303预测对象将在环境下表现什么。鉴于一组地图/路线信息311和交通规则312，基于感知在时间点的驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示十字路口没有交通灯，则预测模块303可以预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。
对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块304可根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置用以到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置用以到达目的地位置的每条路线生成地形图形式的参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它者的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于对于每个感知的对象的决策，规划模块305使用由路由模块307提供的参考线作为基础规划用于ADV的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的轨迹(也称为路线或路径)经由CAN总线模块321向车辆控制系统111发送适当的命令或信号控制和驾驶ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如例如在100毫秒(ms)的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5秒规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定用于ADV的驾驶路径。例如，导航系统可以确定一系列速度和方向航向，以影响ADV沿着基本上避开感知的障碍物的路径的移动，同时大体使ADV沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口系统113的用户输入而被设置。当ADV在操作时，导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于ADV 101的驾驶路径。
紧急车辆检测
图4示出根据一个实施例的紧急车辆检测系统400的示例。
如图4所示，紧急车辆检测模块308可以包括音频子模块407和视觉子模块409。音频子模块407可以是实现预定算法或神经网络的软件模块。神经网络可以是使用从大量紧急车辆收集的音频训练数据(例如，在部署ADV之前)训练的卷积神经网络(CNN)。训练数据可以包括a)被分类为具有紧急车辆警笛的音频数据，以及b)被分类为没有紧急车辆警笛的音频数据。
例如，训练数据可以包括大量音频样本，其中一些包含被分类为具有紧急车辆警笛的不同的警车警笛、消防车警笛和救护车警笛，其中一些包含其他噪声，诸如但不限于被归类为没有紧急车辆警笛的狗吠声、鸟鸣声、车辆鸣笛声、音乐声等。
在一个实施例中，经训练的神经网络可以接收404由安装在ADV 101上的音频传感器403获取的音频数据(例如，音频信号)，并基于音频数据检测当ADV 101在路段上行驶时，ADV 101的周围环境中的紧急车辆警笛的音频签名的存在。音频传感器403(也称为音频获取设备)可以包括安装在ADV 101的不同位置的多个麦克风。麦克风可以形成在ADV上具有固定和已知位置的麦克风阵列，布置成感测在ADV 101周围不同方向的声音。音频子模块407可以输出来自紧急车辆的警笛声存在的概率411和警笛声的方向413。
在一个实施例中，警笛声的方向413可以由数字和移动方向指示表示。数字是表示ADV101的线与从警笛声源到ADV 101的线之间的角度的度数。表示ADV 101的线可以是沿着ADV 101的行驶方向穿过ADV 101的线。移动方向指示可以指示警笛声源是朝着ADV 101移动还是远离ADV 101移动。可以基于警笛的幅度或频率变化(例如，通过多普勒效应)来确定警笛声源的移动方向。
在一个实施例中，视觉子模块409可以是实现预定算法或神经网络的软件模块。神经网络也可以是使用从大量紧急车辆收集的视觉数据训练的CNN。在一种实现中，CCN可以是基于你只能看一次(You Only Look Once，YOLO)的神经网络模型。
视觉子模块409可以接收406由视觉传感器405获取的视觉数据，并且当ADV 101在道路上行驶时确定在ADV 101的周围环境中是否存在紧急车辆。来自视觉传感器405的视觉数据和来自音频传感器403的音频数据是从ADV 101的相同周围环境同时获取的。音频数据可以是音频信号流，而视觉数据可以是图像帧序列。
视觉子模块409可以输出在ADV 101的周围环境中存在紧急车辆的概率415和紧急车辆的距离417。
当视觉子模块409中的神经网络被训练时，可以将每个训练图像帧的边界框的大小和用于拍摄图像帧的相机的外部参数作为图像帧的标记数据的一部分使用。因此，当紧急车辆的图像帧被提供给经训练的神经网络时，神经网络模型可以基于图像帧的大小和用于获取图像帧的相机的外部参数输出紧急车辆到ADV 101的距离。
每个图像帧可以与一组内部参数和一组外部参数相关联。相机的内部参数是相机独有的。内部参数的示例可以是相机的焦距。另一方面，相机的外部参数并不是任何给定相机所独有的。外部参数包括多相机排列中相机之间的相对旋转和平移。
在一个实施例中，紧急车辆检测模块308进一步可以包括后融合组件420，用于融合来自音频子模块403和视觉子模块405的检测结果。如上所示，检测结果由周围环境中存在警笛声的概率411、警笛声的方向413、周围环境中存在紧急车辆的概率415、以及紧急车辆到ADV 101的距离417表示。检测结果还可以包括来自视觉子模块405的其他输出(未示出)，例如，紧急车辆正在驶离ADV 101还是驶向ADV 101。
后融合组件420可以融合检测结果以输出指示紧急车辆存在于ADV 101的周围环境中、紧急车辆的位置和/或紧急车辆的移动方向的信息。
自主驾驶系统110可以使用来自紧急检测模块308的输出信息来生成要经由CAN总线模块321发送到车辆控制系统111的命令或信号。基于这些命令或信号，车辆控制系统111可以控制ADV 101采取适当的行动。
在一个实施例中，响应于确定紧急车辆正朝着ADV 101移动，ADV 101可以转向离开当前行驶车道或制动以减速或转向到路边。如果紧急车辆正在远离ADV 101移动，ADV101可以继续沿其当前路径行驶而不受干扰。
图5进一步示出根据一个实施例的紧急车辆检测系统400。更具体地，图5示出后融合组件420中的融合逻辑的一种实现。
在一个实施例中，后融合组件420可以融合来自两个不同信息源，即音频传感器403和视觉传感器405的检测结果。来自每个信息源的检测结果可以单独指示ADV 101的周围环境中是否存在紧急车辆。例如，存在警笛声的概率411指示存在紧急车辆的概率，因为警笛声的存在与紧急车辆的存在密切相关。后融合过程可以将来自音频子模块407和视觉子模块409的检测结果组合为单个检测结果。视听融合可以提高紧急车辆检测模块308的检测性能，特别是在音频分类器的性能趋于降低并且视觉数据不受声学噪声影响的嘈杂环境中。
在一个实施例中，在后融合组件420中示出了后融合过程的示例，其可以执行多个操作，包括检查概率411和概率415，其中每个概率与预定阈值相关联，并确定概率411或概率415中的至少一个是否超过其关联阈值，如操作503所示。如果概率411和概率415均未超过其关联阈值，则如操作505所示，后融合组件308确定周围环境中不存在紧急车辆。然而，如果概率411或概率415中的至少一个超过它们对应的阈值，则后融合组件420确定周围环境中存在紧急车辆，如操作507所示。
如进一步所示，如果存在紧急车辆，则后融合组件420可以在操作509中融合紧急车辆到ADV 101的距离417和警笛声源的方向413以获得如操作511中所示的紧急车辆的位置。
图6A-6B示出一个实施例中的紧急车辆检测系统400的性能优势。紧急车辆检测系统400使用来自多个来源的信息用于检测紧急车辆的存在。这种多源方法将确保紧急车辆检测系统400在不同类型的环境中准确地检测紧急车辆的存在。
图6A示出了具有低能见度的周围环境的示例。尽管示出了下雨环境，但是紧急车辆检测系统400的特征和优点适用于其他低能见度环境，诸如夜晚。
如图6A所示，麦克风阵列603和相机阵列607安装在ADV 601上。麦克风阵列603可用于在ADV 601在道路上行驶时从ADV 601的周围环境获取音频信号。安装在ADV 601上的麦克风和相机可以以其他方式排列，例如非阵列方式。周围环境中存在紧急车辆609，在不同车道上朝ADV 601行驶。
安装在ADV 601中的紧急车辆检测系统400可以接收由麦克风阵列603获取的音频数据和由相机阵列707获取的视觉数据，并从音频数据和视觉数据中的每个生成单独的检测结果。
低能见度环境负面影响基于视觉数据的检测精度，但对基于音频数据的检测结果没有影响。例如，紧急车辆检测系统400可以确定在周围环境中存在警笛声的概率为98％，并且在周围环境中存在紧急车辆的概率要低得多(67％)。紧急车辆检测系统400的视觉子模块在下雨天不能准确检测紧急车辆609的形状，而紧急车辆检测系统400的音频子模块仍然可以准确检测警笛声和方向。因此，后融合后的整体检测精度不受影响，并且紧急车辆检测系统400仍然可以准确地检测紧急车辆609。
图6B示出了具有嘈杂环境的晴朗天空的周围环境的示例。在如此嘈杂的环境中，紧急车辆检测系统400的音频子模块的检测结果会受到影响(66％)，而紧急车辆检测系统400的视觉子模块的检测结果不会受到负面影响(97％)。因此，在后融合之后，紧急车辆检测系统400的整体检测精度仍然很高。
图7示出根据一个实施例的检测紧急车辆的过程700。过程700可由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程700可以由图4中描述的自主驾驶系统执行。
如图7所示，在操作701中，处理逻辑接收音频信号流和图像帧序列，音频信号流使用安装在ADV上的一个或多个音频获取设备从ADV的周围环境获取，以及图像帧序列使用安装在ADV上的一个或多个图像获取设备从周围环境获取。在操作702中，处理逻辑使用第一神经网络模型确定获取的音频信号流的至少一部分来自警笛声的第一概率。在操作703中，处理逻辑使用第二神经网络模型确定获取的图像帧序列中的至少一个图像帧来自紧急车辆的第二概率。在操作704中，处理逻辑基于第一概率和第二概率确定周围环境中存在紧急车辆。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (19)

1.一种紧急车辆检测的方法，所述方法包括：
在自主驾驶车辆ADV上的自主驾驶系统ADS处接收从ADV的周围环境使用安装在ADV上的一个或多个音频获取设备获取的音频信号流和使用安装在ADV上的一个或多个图像获取设备获取的图像帧序列；
使用第一神经网络模型通过ADS确定获取的音频信号流的至少一部分来自警笛声的第一概率；
使用第二神经网络模型通过ADS确定图像帧序列中的至少一个图像帧来自紧急车辆的第二概率；以及
基于第一概率和第二概率通过ADS确定周围环境中存在紧急车辆。
2.根据权利要求1所述的方法，进一步包括：
使用第一神经网络模型，确定ADV与警笛声源的夹角以及声源的移动方向；以及
使用第二神经网络模型，基于围绕至少一个图像帧的边界框的大小以及用于获取至少一个图像帧的图像获取设备的一个或多个外部参数，确定ADV和紧急车辆之间的距离。
3.根据权利要求2所述的方法，其中，在以下情况下确定紧急车辆存在于周围环境中：
第一概率超过第一阈值；
第二概率超过第二阈值；或者
第一概率超过第一阈值，以及第二概率超过第二阈值。
4.根据权利要求3所述的方法，进一步包括：
响应于确定周围环境中存在紧急车辆，融合警笛声源与ADV的夹角、声源的移动方向以及从车辆到ADV的距离来确定紧急车辆的位置和紧急车辆的移动方向。
5.根据权利要求4所述的方法，进一步包括：
响应于确定ADV的位置，基于紧急车辆的位置和移动方向控制ADV，包括将ADV从当前行驶车道转向或制动ADV以减速中的至少一种。
6.根据权利要求1-5中任一项所述的方法，其中，所述第一神经网络模型利用表示从多个紧急车辆收集的紧急车辆警笛的音频数据被训练，并且其中所述第二神经网络模型利用与所述音频数据的收集同时收集的视觉数据被训练。
7.根据权利要求1-5中任一项所述的方法，其中第一神经网络模型和第二神经网络模型中的每一个是卷积神经网络。
8.根据权利要求1-5中任一项所述的方法，其中，所述一个或多个音频获取设备包括一个或多个麦克风，并且其中所述一个或多个图像获取设备包括一个或多个相机。
9.一种具有存储在其中的指令的非暂时性机器可读介质，当由处理器执行时，所述指令使所述处理器执行如权利要求1-8中任一项所述的紧急车辆检测的方法的操作。
10.一种数据处理系统，包括：
处理器；以及
耦接到处理器且存储指令的存储器，当指令被处理器执行时，使处理器执行如权利要求1-8中任一项所述的紧急车辆检测的方法的操作。
11.一种紧急车辆检测系统，包括：
传感器系统，包括音频传感器和视觉传感器，所述音频传感器安装在自主驾驶车辆ADV上并用于从ADV的周围环境获取音频信号流，所述视觉传感器安装在ADV上并用于从ADV的周围环境获取图像帧序列；
音频子模块，用于使用第一神经网络模型确定获取的音频信号流的至少一部分来自警笛声的第一概率；
视觉子模块，用于使用第二神经网络模型确定图像帧序列中的至少一个图像帧来自紧急车辆的第二概率；
后融合组件，用于基于第一概率和第二概率确定周围环境中存在紧急车辆。
12.根据权利要求11所述的系统，其中
所述音频子模块用于使用第一神经网络模型，确定ADV与警笛声源的夹角以及声源的移动方向；以及
所述视觉子模块用于使用第二神经网络模型，基于围绕至少一个图像帧的边界框的大小以及用于获取至少一个图像帧的视觉传感器的一个或多个外部参数，确定ADV和紧急车辆之间的距离。
13.根据权利要求11所述的系统，其中所述后融合组件用于在以下情况下确定紧急车辆存在于周围环境中：
第一概率超过第一阈值；
第二概率超过第二阈值；或者
第一概率超过第一阈值，以及第二概率超过第二阈值。
14.根据权利要求13所述的系统，其中所述后融合组件进一步用于：
响应于确定周围环境中存在紧急车辆，融合警笛声源与ADV的夹角、声源的移动方向以及从车辆到ADV的距离来确定紧急车辆的位置和紧急车辆的移动方向。
15.根据权利要求14所述的系统，还包括：
控制模块，响应于确定ADV的位置，基于紧急车辆的位置和移动方向控制ADV，包括将ADV从当前行驶车道转向或制动ADV以减速中的至少一种。
16.根据权利要求11-15中任一项所述的系统，其中，所述第一神经网络模型利用表示从多个紧急车辆收集的紧急车辆警笛的音频数据被训练，并且其中所述第二神经网络模型利用与所述音频数据的收集同时收集的视觉数据被训练。
17.根据权利要求11-15中任一项所述的系统，其中第一神经网络模型和第二神经网络模型中的每一个是卷积神经网络。
18.根据权利要求11-15中任一项所述的系统，其中，所述音频传感器包括一个或多个麦克风，并且其中所述视觉传感器包括一个或多个相机。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时使得所述处理器执行如权利要求1至8中任一项所述的方法。
CN202111649429.XA 2021-01-14 2021-12-30 紧急车辆音频和视觉检测后融合 Active CN114379590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/149,638 US20220219736A1 (en) 2021-01-14 2021-01-14 Emergency vehicle audio and visual detection post fusion
US17/149,638 2021-01-14

Publications (2)

Publication Number Publication Date
CN114379590A true CN114379590A (zh) 2022-04-22
CN114379590B CN114379590B (zh) 2023-12-19

Family

ID=80121748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111649429.XA Active CN114379590B (zh) 2021-01-14 2021-12-30 紧急车辆音频和视觉检测后融合

Country Status (5)

Country Link
US (1) US20220219736A1 (zh)
EP (1) EP3971770A3 (zh)
JP (1) JP7317157B2 (zh)
KR (1) KR102607029B1 (zh)
CN (1) CN114379590B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220126866A1 (en) * 2020-10-23 2022-04-28 Tusimple, Inc. Safe driving operations of autonomous vehicles

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230331253A1 (en) * 2022-04-19 2023-10-19 Gm Cruise Holdings Llc Systems and methods for responding to detected emergency vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108068819A (zh) * 2016-11-17 2018-05-25 福特全球技术公司 检测和响应道路上的紧急车辆
CN109803207A (zh) * 2017-11-17 2019-05-24 英特尔公司 对周围声音中的音频信号的标识以及响应于该标识的对自主交通工具的引导
US20190302781A1 (en) * 2018-04-03 2019-10-03 Baidu Usa Llc Method to track and to alert autonomous driving vehicles (advs) of emergency vehicles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074274B2 (en) * 2016-02-29 2018-09-11 Faraday & Future Inc. Emergency signal detection and response
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
US10210756B2 (en) 2017-07-24 2019-02-19 Harman International Industries, Incorporated Emergency vehicle alert system
JP7048465B2 (ja) * 2018-09-18 2022-04-05 株式会社東芝 移動体制御装置、方法及びプログラム
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
EP4204767A1 (en) * 2020-11-18 2023-07-05 Google LLC Detecting and handling driving event sounds during a navigation session

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108068819A (zh) * 2016-11-17 2018-05-25 福特全球技术公司 检测和响应道路上的紧急车辆
CN109803207A (zh) * 2017-11-17 2019-05-24 英特尔公司 对周围声音中的音频信号的标识以及响应于该标识的对自主交通工具的引导
US20190302781A1 (en) * 2018-04-03 2019-10-03 Baidu Usa Llc Method to track and to alert autonomous driving vehicles (advs) of emergency vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
APARAJIT GARP ET AL: "Emergency Vehicle Detection by Autonomous Vehicle", INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY (IJERT), vol. 8, no. 05, pages 190 - 194, XP055928634 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220126866A1 (en) * 2020-10-23 2022-04-28 Tusimple, Inc. Safe driving operations of autonomous vehicles
US11884298B2 (en) * 2020-10-23 2024-01-30 Tusimple, Inc. Safe driving operations of autonomous vehicles

Also Published As

Publication number Publication date
JP7317157B2 (ja) 2023-07-28
EP3971770A2 (en) 2022-03-23
KR102607029B1 (ko) 2023-11-30
KR20220013580A (ko) 2022-02-04
EP3971770A3 (en) 2022-07-20
CN114379590B (zh) 2023-12-19
US20220219736A1 (en) 2022-07-14
JP2022058594A (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN111775933B (zh) 用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法
CN112498365A (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
CN113129624B (zh) 交通堵塞情况下的最快车道确定算法
CN113448329A (zh) 减少用于规划自主驾驶车辆的路径的障碍物的方法及系统
CN112793584B (zh) 紧急车辆音频检测
CN114379590B (zh) 紧急车辆音频和视觉检测后融合
CN113442945A (zh) 用于自动驾驶车辆的使用反馈的增量式侧向控制系统
CN112230646A (zh) 设计用于单车运行的自动驾驶系统下的车辆队列实施
CN113247017B (zh) 用于确保自动驾驶车辆的稳定绕行的双缓冲系统
US11904890B2 (en) Lane change system for lanes with different speed limits
EP3838696A1 (en) A post collision, damage reduction brake system
US11613275B2 (en) Grayscale-based camera perception
CN112985435A (zh) 用于操作自主驾驶车辆的方法及系统
CN113548043A (zh) 用于自主车辆的安全操作员的碰撞告警系统和方法
CN115871712A (zh) 操作自主驾驶车辆的方法和系统
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
US11325529B2 (en) Early brake light warning system for autonomous driving vehicle
US11679761B2 (en) Forward collision warning alert system for autonomous driving vehicle safety operator
CN114764022A (zh) 用于自主驾驶车辆的声源检测和定位的系统和方法
CN113753071A (zh) 预防减速规划
CN212515471U (zh) 用于自动驾驶车辆的光探测和测距装置
US20230202516A1 (en) Planning under prediction with confidence region for an autonomous driving vehicle
US11577644B2 (en) L3-level auto-emergency light system for ego vehicle harsh brake

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant