CN110582778B - 具有对传感器数据的机器学习分类的嵌入式机动车辆感知 - Google Patents

具有对传感器数据的机器学习分类的嵌入式机动车辆感知 Download PDF

Info

Publication number
CN110582778B
CN110582778B CN201880029372.3A CN201880029372A CN110582778B CN 110582778 B CN110582778 B CN 110582778B CN 201880029372 A CN201880029372 A CN 201880029372A CN 110582778 B CN110582778 B CN 110582778B
Authority
CN
China
Prior art keywords
measurement data
sensor measurement
representation
sensor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880029372.3A
Other languages
English (en)
Other versions
CN110582778A (zh
Inventor
L·默塞
M·博莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingdao Germany Co ltd
Original Assignee
Siemens Electronic Design Automation GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Electronic Design Automation GmbH filed Critical Siemens Electronic Design Automation GmbH
Publication of CN110582778A publication Critical patent/CN110582778A/zh
Application granted granted Critical
Publication of CN110582778B publication Critical patent/CN110582778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

该申请披露了一种计算系统，以实施车辆的辅助或自动驾驶系统的传感器数据中的感知。所述计算系统可以生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示，并且将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较。基于该比较，所述计算系统可以至少部分地基于所述传感器测量数据的可匹配的表示与所述对象模型进行的比较，将所述传感器测量数据分类为与所述对象的类型相对应。用于所述车辆的控制系统可以被配置以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制车辆的操作。

Description

具有对传感器数据的机器学习分类的嵌入式机动车辆感知
相关申请
本专利申请要求于2017年5月1日提交的62/492,416号美国临时专利申请的优先权，该申请通过引用并入本文。
技术领域
本申请总体上涉及自动驾驶和辅助系统，并且更具体地涉及一种具有对传感器数据的机器学习分类的嵌入式机动车辆感知。
背景技术
许多现代车辆包括内置的先进驾驶员辅助系统(ADAS)，以提供自动的安全和/或辅助驾驶功能。例如，这些先进驾驶员辅助系统可以具有多种应用，以实施自适应巡航控制、自动驻车、自动制动、盲点监测、碰撞避免、驾驶员睡意检测、车道偏离警报等。下一代车辆可以包括自动驾驶(AD)系统，以独立于人机交互而进行对车辆的控制和导航。
这些车辆典型地包括多个传感器，例如一个或多个摄像头、光检测和测距(LightDetection and Ranging，激光雷达)传感器、无线电检测和测距(Radio Detection andRanging，雷达)系统、超声波等，以测量车辆周围环境的不同部分。每一个传感器处理它们随时间捕获的测量结果，以检测它们视场内的对象，并且然后向该传感器专用于其中的先进驾驶员辅助系统或者自动驾驶系统中的应用提供检测到的对象的列表。在一些情况下，这些传感器也可以基于它们所捕获的测量结果提供与其在列表中的对象的检测相对应的置信水平(confidence level)。
所述先进驾驶员辅助系统或者自动驾驶系统中的应用可以使用从它们的对应传感器接收的对象列表，并且在一些情况下，可以使用它们的检测的相关联的置信水平，以实施自动安全和/或驾驶功能。例如，当车辆前部的雷达传感器向车辆中的先进驾驶员辅助系统提供具有在车辆的当前路径上的对象的列表时，先进驾驶员辅助系统中的对应于前端碰撞的应用可以向车辆的驾驶员提供警报或者控制车辆，以避免与所述对象发生碰撞。
由于每一个应用具有专用传感器，所述应用可以接收来自这些专用传感器的对象列表，从而向所述应用提供围绕车辆的一部分中的固定的视场。当用于应用的多个传感器具有至少部分交叠的视场时，所述应用可以将来自它的为该应用提供的用于围绕车辆的该部分中的固定的视场的多个专用传感器的对象列表进行整合。但是，由于车辆移动，这些传感器所提供的狭窄的视场将会使所述应用对潜在对象存在盲区。相反地，较宽的视场会增加成本(例如，由于额外的传感器)，并且增加数据处理延迟。
发明内容
本申请披露了一种计算系统，用以执行车辆的辅助或自动驾驶系统中对传感器测量数据的机器学习分类。所述计算系统可以接收来自多个不同的传感器模态的传感器测量数据，其中该计算系统可以在时间上和空间上与环境模型对准。所述计算系统可以检测所述传感器测量数据中的事件，例如数据点群集或图像特征。
所述计算系统可以实施机器学习对象分类器，以生成对应于所述检测事件的传感器测量数据的分类，并且可选地生成与所生成的分类相关联的置信水平。所述计算系统可以将所述传感器测量数据的可匹配的表示输入到机器学习对象分类器中，从而可以将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的至少一个对象模型进行比较。所述对象模型可以包括用于某个对象类型的可匹配的数据(所述对象类型包括各种姿态、方位、过渡状态、姿态或方位的潜在变形、纹理特征等)，以与可匹配的表示进行比较。基于该比较，所述计算系统可以将传感器测量数据分类(或预分类)为与对象类型相对应。
在一些实施例中，所述计算系统可以通过确定用于所述传感器测量数据的边界轮廓，并且基于(至少部分地基于)所述传感器测量数据在所述边界轮廓内创建表面积数据，来生成所述传感器测量数据的可匹配的表示。所述计算系统还可以估算检测事件中所述车辆和与传感器测量数据相关联的对象之间的距离，该距离可以由机器学习对象分类器在传感器测量数据的可匹配的表示与对象模型之间的比较中加以利用。
在一些实施例中，所述机器学习对象分类器可以包括多个分类图或者计算图，例如，其中的每一个用以描述不同的对象模型。在一些实施例中，所述分类图可以包括多个节点，每一个节点被配置以包括对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征的子集的可匹配的数据。实施该机器学习对象分类器的计算系统可以通过遍历一个或多个分类图中的节点，执行传感器测量数据的可匹配的表示与对象模型的比较，从而对所述传感器测量数据进行分类。在一些实施例中，所述分类系统还可以包括管理节点，以选择在比较期间将要遍历其中哪些分类图，并且例如基于从所选择的分类图的节点的输出，控制对于所选择的分类图的遍历。
所述计算系统可以以各种方式来利用传感器测量数据的分类和相关联的置信水平。在一些实施例中，所述计算系统可以利用该分类作为用于对环境模型中的对象进行后续跟踪的预分类。用于所述车辆的控制系统可以被配置，以基于(至少部分地基于)传感器测量数据的已分类的对象的类型来控制所述车辆的操作。在一些实施例中，所述分类可识别车辆周围的特定信息，例如相邻车辆是否具有点亮的制动灯、停车灯的颜色等，这些信息可由计算系统的情景感知功能来加以利用。下面将更加详细地描述各个实施例。
附图说明
图1示出了根据各个实施例的示例性的自动驾驶系统。
图2A示出了根据各个实施例的用于被部署在车辆中的传感器系统的示例性的测量坐标场。
图2B示出了根据各个实施例的与用于车辆的环境模型相关联的示例性的环境坐标场。
图3示出了根据各个示例的示例性的传感器融合系统。
图4示出了根据各个实施例的传感器融合系统中的示例性的分类系统。
图5A示出了根据各个示例的分类系统的机器学习对象分类器实施方式中的示例分类图。
图5B示出了根据各个实施例的用于将传感器测量数据与分类图的节点中的可匹配的数据进行比较的示例性的流程。
图6示出了根据各个示例的用于传感器测量数据的分类的示例性的流程图。
图7和图8示出了可以用于实施本发明的各个实施例那种类型的计算机系统的示例。
具体实施方式
用于自动驾驶的传感器融合。
图1示出了根据各个实施例的示例性的自动驾驶系统100。参见图1，所述自动驾驶系统100，在被安装在车辆中时，可以感测车辆周围的环境，并且可以基于(至少部分地基于)所感测的环境来控制车辆的操作。
该自动驾驶系统100可以包括具有多个传感器的传感器系统110，每一个传感器可以测量车辆周围的环境中的不同部分，并且可以输出测量结果，作为原始测量数据115。所述原始测量数据115可以包括：由传感器捕获的光、电磁波或者声音的特性(例如，光、电磁波或者声音的强度和频率)；由传感器接收的角度；光、电磁波或者声音的传输与对应的接收之间的时间延迟；光、电磁波或者声音的捕获时间等。
所述传感器系统110可以包括多种不同类型的传感器，例如，图像捕获设备111、无线电检测和测距(雷达)设备112、光检测和测距(激光雷达)设备113、超声波设备114、一个或多个麦克风、红外或夜视摄像头、飞行时间摄像头、能够检测并传输像素强度差异的摄像头等。所述图像捕获设备111(例如一个或多个摄像头或者基于事件的摄像头)可以捕获车辆周围环境的至少一部分中的至少一幅图像。图像捕获设备111可以输出捕获到的一个或多个图像，以作为原始测量数据115，在一些实施例中，所述原始测量数据可以为对应于捕获到的一个或多个图像的未处理的和/或未压缩的像素数据。
雷达设备112可以将无线电信号发射到车辆周围的环境中。由于所发射的无线电信号可以从环境中的对象反射，雷达设备112可以检测从环境中入射的所反射的无线电信号。雷达设备112可以通过例如测量无线电信号的信号强度、接收角度、频率等来测量入射的无线电信号。雷达设备112也可以测量无线电信号的发射与来自环境中的入射的无线电信号的测量结果之间的时间延迟，其中，所述来自环境中的入射的无线电信号对应于从环境中的对象反射的已发射的无线电信号。雷达设备112可以输出入射的无线电信号的测量结果，以作为原始测量数据115。
所述激光雷达设备113可以将光(例如，来自激光器或者其他光学传输设备的光)传输至车辆周围的环境中。在一些实施例中，所传输的光可以是紫外光、可见光、近红外光等等的脉冲。由于所传输的光可以从环境中的对象反射，因此所述激光雷达设备113可以包括光电检测器，以测量从环境中入射的光。该激光雷达设备113可以通过例如测量光的强度、波长等来测量该入射的光。激光雷达设备113也可以测量光脉冲的传输与从环境中入射的光的测量结果之间的时间延迟，所述从环境中入射的光对应于所传输的、已从环境中的对象反射的光。激光雷达设备113可以输出入射的光以及时间延迟的测量结果，以作为原始测量数据115。
所述超声波设备114可以将(例如，通过换能器等产生的)声脉冲发射至车辆周围的环境中。超声波设备114可以检测从环境中入射的超声波，例如，所发射的、已从环境中的对象反射的声脉冲。超声波设备114也可以测量声脉冲的发射与来自环境中的超声波的接收之间的时间延迟，所述来自环境中的超声波对应于所发射的、已从环境中的对象反射的声脉冲。超声波设备114可以输出入射的超声波以及时间延迟的测量结果，以作为原始测量数据115。
在传感器系统110中的不同的传感器可以被安装在车辆中，以捕获对于车辆周围的环境的不同部分的测量结果。图2A示出了根据各个实施例的用于被部署在车辆200中的传感器系统的示例性的测量坐标场。参见图2A，所述车辆200可以包括多个不同的传感器，所述传感器能够检测入射的信号(例如，光信号、电磁信号和声音信号)。这些不同的传感器中的每一个可以具有进入车辆200周围的环境的不同的视场。这些视场可以允许传感器在不同的测量坐标场中测量光和/或声音。
在该示例中，所述车辆包括若干不同的测量坐标场，所述测量坐标场包括：前方传感器场211；多个交叉交通(cross-traffic)传感器场212A，212B，214A，214B；一对侧方传感器场213A和213B；以及后方传感器场215。每一个测量坐标场可以是以传感器为中心的，这意味着测量坐标场可以描述出相对于其相应传感器的位置的坐标区域。
再次参见图1，所述自动驾驶系统100可以包括传感器融合系统300，以接收来自传感器系统110的原始测量数据115以及用原始测量数据115填充与车辆相关联的环境模型121。在一些实施例中，所述环境模型121可以具有对应于车辆周围的物理包络的环境坐标场，并且所述传感器融合系统300可以基于环境坐标场用原始测量数据115填充环境模型121。在一些实施例中，所述环境坐标场可以是非以车辆为中心的坐标场(例如，世界坐标系)、以路径为中心的坐标场、与车辆所利用的路面平行的坐标场等。
图2B示出了根据各个实施例的与用于车辆200的环境模型相关联的示例性的环境坐标场220。参见图2B，车辆200周围的环境可以对应于用于环境模型的环境坐标场220。所述环境坐标场220可以是以车辆为中心的，并且提供车辆200周围的360度的区域。所述环境模型可以被填充和注释有通过传感器融合系统300检测的或者从外部源输入的信息。下面将更加详细地描述各个实施例。
再次参见图1，为了将原始测量数据115填充至与车辆相关联的环境模型121中，所述传感器融合系统300可以将原始测量数据115与环境模型121的环境坐标场在空间上对准。传感器融合系统300还可以例如通过在从传感器系统110接收原始测量数据115时对原始测量数据115加时间戳，来识别传感器何时捕获原始测量数据115。传感器融合系统300可以用时间戳或者其他捕获时间信息(time-of-capture information，其可以用于与环境模型121中的原始测量数据115在时间上对准)来填充环境模型121。在一些实施例中，传感器融合系统300可以分析来自多个被填充在环境模型121中的传感器的原始测量数据115，以检测与车辆相关联的环境坐标场中的传感器事件或者至少一个对象。所述传感器事件可以包括对应于环境模型121中存在(例如，大于噪声阈值)原始测量数据115的传感器测量事件。所述传感器事件可以包括对应于在环境模型121中对原始测量数据115进行空间和/或时间分组(spatial and/or temporal grouping)的传感器检测事件。所述对象可以对应于在环境模型121中对已被跟踪一段时间的原始测量数据115进行空间分组，使得传感器融合系统300能够确定对应于车辆周围的对象的原始测量数据115。所述传感器融合系统300可以用检测到的传感器事件或者检测到的对象的指示(indication)以及该检测的置信水平来填充环境模型121。下面将更加详细地描述传感器融合以及传感器事件检测或对象检测的实施例。
在一些实施例中，所述传感器融合系统300可以产生反馈信号116，以提供至传感器系统110。可以对所述反馈信号116进行配置以提示传感器系统110校准其传感器中的一个或多个传感器。例如，响应于所述反馈信号116，传感器系统110可以重新定位该系统的至少一个传感器、扩大该系统的至少一个传感器的视场、改变该系统的至少一个传感器的刷新率或者曝光时间、改变该系统的至少一个传感器的操作模式等。
所述自动驾驶系统100可以包括驾驶功能系统120，以从传感器融合系统300中接收环境模型121的至少一部分。所述驾驶功能系统120可以分析被包括在环境模型121中的数据，以实施用于车辆的自动驾驶功能或者自动安全和辅助驾驶功能。驾驶功能系统120可以基于对环境模型121的分析来产生控制信号131。
所述自动驾驶系统100可以包括车辆控制系统130，以从驾驶功能系统120接收控制信号131。所述车辆控制系统130可以包括响应于控制信号从而控制车辆的操作的机构，例如通过控制车辆的不同的功能(例如制动、加速、转向、驻车制动、变速、用户界面、警示系统等)来控制车辆的操作。
图3示出了根据各个示例的示例性的传感器融合系统300。参见图3，所述传感器融合系统300可以包括测量整合系统310，以从安装在车辆中的多个传感器接收原始测量数据301。所述测量整合系统310可以产生用于车辆的环境模型315，该环境模型可以被填充有原始测量数据301。
所述测量整合系统310可以包括空间对准单元311，以使传感器的测量坐标场与环境模型315的环境坐标场相关。测量整合系统310可以利用这种相关将测量坐标场内的原始测量数据301的位置转换或者平移成环境坐标场中的位置。测量整合系统310可以基于传感器的测量坐标场与用于环境模型315的环境坐标场之间的相关，用原始测量数据301填充环境模型315。
所述测量整合系统310也可以将来自传感器系统中的不同的传感器的原始测量数据301在时间上对准。在一些实施例中，测量整合系统310可以包括时间对准单元312，以基于传感器捕获到原始测量数据301的时间、该原始测量数据301被测量整合系统310接收的时间等，向原始测量数据301分配时间戳。在一些实施例中，所述时间对准单元312可以将由传感器提供的原始测量数据301的捕获时间转换为对应于传感器融合系统300的时间。所述测量整合系统310可以用用于原始测量数据301的时间戳来对填充到环境模型315中的原始测量数据301进行注释。所述传感器融合系统300可以利用所述用于原始测量数据301的时间戳，将环境模型315中的原始测量数据301分组为不同的时间段或时间片。在一些实施例中，所述时间段或者时间片的大小或时长可以基于(至少部分地基于)所述传感器系统中的一个或多个传感器的刷新率。例如，所述传感器融合系统300可以设定时间片，以对应于具有将新的原始测量数据301提供至传感器融合系统300的最快速率的传感器。
所述测量整合系统310可以包括自运动(ego motion)单元313，以补偿捕获到原始测量数据301的至少一个传感器的移动(例如由于车辆在环境中行驶或移动所导致的传感器的移动)。所述自运动单元313可以估算捕获到原始测量数据301的传感器的运动，例如，通过利用跟踪功能来分析车辆运动信息，例如全球定位系统(GPS)数据、惯性测量结果、车辆里程计数据、视频图像等。所述跟踪功能可以实施卡尔曼滤波器(Kalman filter)、粒子滤波器(Particle filter)、基于光流的估算器(optical flow-based estimator)等，以跟踪车辆及其对应的传感器相对于车辆周围的环境的运动。
所述自运动单元313可以利用传感器的估算的运动，以修改传感器的测量坐标场与用于环境模型315的环境坐标场之间的相关性。这种相关性的补偿可以允许测量整合系统310在原始测量数据301被捕获的环境坐标场的位置处(而不是其测量捕获结束时的传感器的当前位置)用原始测量数据301来填充环境模型315。
在一些实施例中，所述测量整合系统310可以从各种源接收对象或者对象列表302。测量整合系统310可以从车辆外部的源接收对象列表302，例如以车辆到车辆(vehicle-to-vehicle，V2V)通信、车辆到设施(vehicle-to-infrastructure，V2I)通信、车辆到行人(vehicle-to-pedestrian，V2P)通信、车辆到设备(vehicle-to-device，V2D)通信、车辆到电网通信(vehicle-to-grid，V2G)、或者一般而言以车辆到任何物(vehicle-to-everything，V2X)通信的方式。测量整合系统310也可以接收来自车辆内部的其他系统(例如来自人机界面、映射系统、定位系统、驾驶功能系统、车辆控制系统)的对象或者对象列表302，或者所述车辆可以装备有输出对象列表302而不是输出原始测量数据301的至少一个传感器。
测量整合系统310可以接收对象列表302并且将对象列表302中的一个或多个对象连同原始测量数据301填充到环境模型315中。所述对象列表302可以包括一个或多个对象、用于每一个对象的时间戳，并且可选地包括与对象列表302中的对象的位置相关联的空间元数据。例如，对象列表302可以包括车辆的速度测量结果，该速度测量结果可以不包括将被存储在对象列表302中作为空间元数据的空间分量。当对象列表302包括与对象列表302中的对象相关联的置信水平时，所述测量整合系统310也可以利用用于对象列表302中的对象的置信水平来注释环境模型315。
所述传感器融合系统300可以包括对象检测系统320，以接收来自测量集成系统310的环境模型315。在一些实施例中，该传感器融合系统300可以包括存储系统330，以存储来自测量集成系统310的环境模型315。所述对象检测系统320可以从存储系统330访问环境模型315。
所述对象检测系统320可以分析存储在环境模型315中的数据，以检测至少一个对象。所述传感器融合系统300可以利用在对应于该检测的环境坐标场中的位置处的检测到的对象的指示来填充环境模型315。对象检测系统320可以识别对应于检测到的对象的置信水平，该置信水平可以基于在检测对象过程中所利用的原始测量数据301的数量、质量或者传感器差异性中的至少一种。传感器融合系统300可以使用环境模型315来填充或存储与检测到的对象对应的置信水平。例如，对象检测系统320可以用对象注释324来注释环境模型315，或者对象检测系统320可以将对象注释324输出到存储系统330，该存储系统使用检测到的对象以及在对象注释324中的该检测的相应的置信水平来填充环境模型315。
对象检测系统320可以包括传感器事件检测和融合系统321，以从存储在环境模型315中的数据来识别检测事件325。在一些实施例中，所述传感器事件检测和融合系统400可以通过以下方式来来识别检测事件325：基于每个传感器类型来分析存储在环境模型315中的数据，以识别数据中的模式，例如图像特征或数据点群集。当传感器事件检测和融合系统321利用来自单个传感器模态或类型的模式来生成检测事件325时，该检测事件325可以被称为传感器检测事件。在一些实施例中，传感器事件检测和融合系统321还可以将来自多个不同传感器模态或类型的已识别的模式进行关联或相关，以生成检测事件325，该检测事件可以被称为融合的传感器检测事件。
传感器事件检测和融合系统321还可以基于每个传感器类型从传感器测量数据的相邻的帧或扫描中确定差异。例如，传感器事件检测和融合系统321可以将从一种类型的传感器中接收的传感器测量数据与从该类型的传感器中之前接收的帧或扫描中的传感器测量数据进行比较，以确定与传感器测量数据的相邻帧或扫描的差异。传感器事件检测和融合系统321可以执行这种基于(至少部分地基于)环境模型315中的传感器测量数据的空间位置的传感器测量数据的帧间和模态内的比较。例如，当图像捕获传感器提供整个图像帧时，传感器事件检测和融合系统321可以缓存所述整个图像帧，从多个所述缓存的图像帧中确定传感器测量数据的帧间差异。在另一个示例中，当图像捕获传感器提供基于事件的像素时，传感器事件检测和融合系统321可以执行像素缓存，以从图像数据生成整个图像。传感器事件检测和融合系统321可以使用基于事件的像素作为所述传感器测量数据中的帧间差异。在另一个示例中，当一个或多个雷达传感器提供某个频域范围的原始信号数据时，传感器事件检测和融合系统321可以从雷达测量结果中检测一个或多个未跟踪的目标。传感器事件检测和融合系统321可以确定相邻帧中的未跟踪的目标之间的差异，其可以构成用于雷达传感器模态的传感器测量数据中的帧间差异。
传感器事件检测和融合系统321还可以生成对应于检测事件325的假设信息326。在一些实施例中，假设信息326可以识别对应于与检测事件325相关联的各种属性或者特性的置信水平。与检测事件相关联的属性或特性可包括：对应于检测事件325的传感器测量数据的单一性、速度、方位、基于测量的虚拟重心、存在性、尺寸、新颖性等。单一性特性可以识别传感器测量数据是否对应于单个可能的对象还是多个可能的对象。例如，单一性特性可以识别当传感器测量数据中的一个可能的对象遮挡或阻挡至少一个其他可能的对象的可见性的情况。速度特性可以识别与传感器测量数据相关联的至少一个速度。方位特性可以识别传感器测量数据的方向性和/或与可能的对象相关联的相对于车辆的角度。基于测量的虚拟重心特性可以例如基于与检测事件325相关联的数据点的密度来识别可能的对象的中心。存在性特性可以识别由检测事件325识别的可能的对象是否是车辆附近的实际对象。尺寸特性可以识别或估算与检测事件325相关联的可能的对象的真实尺寸。新颖性特性可以识别检测事件325是否对应于新检测到的模式或对应于先前的检测事件325。
传感器融合系统300可以使用环境模型315来填充或存储检测事件325和相应的假设信息326。例如，对象检测系统320可以使用检测事件325和对应的假设信息326来注释环境模型315，或者对象检测系统320可以将检测事件325和对应的假设信息326输出至存储系统330，该存储系统使用检测事件325和对应的假设信息326来填充环境模型315。
对象检测系统320可以包括分类系统400，以对与检测事件325相关联的传感器测量数据进行分类。在一些实施例中，分类系统400可以基于与检测事件325相关联的传感器测量数据的分类，将分类327分配给检测事件。分类327可以对应于与检测事件325相关联的对象类型，例如另一车辆、行人、骑行者、动物、静态对象等，这些对象可由假设信息326识别或指出。分类327还可以包括与分类相关联的置信水平和/或包括对应于对象类型的特定姿态、方位、状态等的更具体的信息。对象检测系统320可以使用分类327来注释环境模型315，或者对象检测系统320可以将分类327输出到存储系统330，该存储系统使用注释327来填充环境模型315。
分类系统400可以实施一个或多个对象模型，每一个对象模型描述能够位于车辆附近的对象的类型。对象模型可以包括用于不同对象类型的可匹配的数据，并且包括姿态、方位、过渡状态、姿态或方位的潜在变形、纹理特征等，以与传感器测量数据进行比较。分类系统400可以将与检测事件325相关联的传感器测量数据(或传感器测量数据的修改后的表示)与一个或多个对象模型进行比较，并且基于该比较来生成分类327。
在一些实施例中，分类系统400可以利用机器学习对象分类器来执行分类。该机器学习对象分类器可以包括多个分类图或者张量图，例如，其中的每一个描述了不同对象模型。在一些实施例中，分类图可以包括多个节点，每一个节点被配置以包括对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征等的子集的可匹配的数据。分类系统400还可以使用其他计算技术，例如前馈神经网络、支持向量机(SVM)等，来执行分类。
分类系统400可以基于(至少部分地基于)检测事件325和/或假设信息326来选择其中一个或多个分类图。分类系统400可以遍历所选择的分类图中的节点，例如，其中每个节点执行对象模型中可匹配的数据的一部分与传感器测量数据(或传感器测量数据的修改后的表示)之间的比较。在一些实施例中，节点的遍历可以跨越分类图，例如，其中一个分类图中的节点可以直接向不同分类图中的节点提供信息。分类图中的每一个节点可以生成匹配距离，例如通过生成传感器测量数据对应于节点的可匹配的数据的置信水平。分类系统400可以利用到节点的匹配距离来生成与检测事件相关联的传感器测量数据的分类327。分类系统400可以利用匹配距离来控制对所选择的分类图中的节点的遍历，例如，决定哪些节点应该尝试对传感器测量数据进行分类，以及以何种顺序，何时停止使节点尝试对传感器测量数据进行分类等。下文将更详细地描述传感器测量数据分类的实施例。
所述对象检测系统320可以包括跟踪单元323，以例如通过分析环境模型315中的注释来跟踪在环境模型315中的随时间的检测事件325，并且确定检测事件325是否对应于环境坐标系统中的对象。在一些实施例中，跟踪单元323可以利用分类327使用至少一个状态改变预测模型来跟踪检测事件325，所述状态改变预测模型例如为动力学模型、概率模型或者其他状态改变预测模型。
跟踪单元323可以基于检测事件325的已分配的分类327来选择状态改变预测模型，以用于跟踪检测事件325。所述状态改变预测模型可以允许跟踪单元323实施状态转换预测，所述状态转换预测可以例如基于环境模型315中的检测事件325的位置、检测事件325的先前的移动、检测事件325的分类等，来假设或者预测检测事件325的未来状态。在一些实施例中，实施动力学模型的跟踪单元323可以基于(至少部分地基于)其先前的状态，利用用于速度、加速度、动量等的动力学方程，来假设或者预测检测事件325的未来状态。
跟踪单元323可以确定检测事件325的预测的未来状态与其实际的未来状态之间的差异，其中，跟踪单元323可以用来确定检测事件325是否对应于车辆附近的对象。所述跟踪单元323可以例如跨越多个不同的传感器以及它们对应的测量坐标场，来跟踪与环境模型315相关联的环境坐标场中的检测事件325。
当跟踪单元323(基于用状态改变预测模型来跟踪检测事件325)确定所述传感器检测事件325可跟踪时，跟踪单元323可以注释环境模型315，以指示可跟踪的检测事件的存在。在使用另外的原始测量数据301进行更新时，跟踪单元323可以通过实施状态改变预测模型和分析环境模型315，随时间继续跟踪所述可跟踪的对象。在注释了环境模型315以指示存在可跟踪的检测事件之后，跟踪单元323可以例如跨越多个不同的传感器及其相应的测量坐标场，继续跟踪与环境模型315相关联的环境坐标场中的可跟踪的检测事件。
存储器系统330可以被自动驾驶系统100的不同部分访问，自动驾驶系统100例如为驾驶功能系统，其可以包括定位系统、态势感知系统等。传感器融合系统300可以产生数据，例如，环境模型315、对象注释324、分类327、检测事件325、假设信息326等，并且所述驾驶功能系统的多个部分可以例如通过访问存储系统330来消耗数据。在一些实施例中，传感器融合系统300可包括基于订阅基础或以事件驱动的方式将产生的数据输出到消耗系统的系统。
消耗系统，例如定位系统或态势感知系统，也可以向传感器融合系统300发送请求，以便对存储系统330中的数据执行操作。例如，可以请求传感器融合系统300以对存储系统330中的一部分数据执行深度分类。传感器融合系统300可以提示分类系统400对所请求的数据执行分类并且将结果输出到请求系统。例如，态势感知系统可以消耗来自存储器系统的指示了另一车辆位于包括有自动驾驶系统100的车辆的前方的数据，并请求传感器融合系统300对该目标车辆的信号灯(例如，闪光警示灯、制动灯、倒车灯等)进行分类。传感器融合系统300可以提示分类系统400，以识别目标车辆的数据中的信号灯的位置，并且对其状态进行分类。一旦由分类系统400完成分类，传感器融合系统300可以将分类输出到请求系统，或者将分类添加到环境模型315，其中该环境模型可用于其他车辆系统。
由传感器融合系统进行的传感器测量数据的分类
图4示出了根据各个实施例的传感器融合系统中的示例性的分类系统400。参见图4，分类系统400可以包括管理系统410和图形系统420，其可以协同操作以生成传感器测量数据401的分类406。分类406可识别与传感器测量数据401相关联的对象类型，例如另一车辆、行人、骑行者、动物、静态对象等。分类406还可以包括与对象类型的识别相关联的置信水平和/或包括对应于对象类型的特定姿态、方位、状态等的更具体的信息。
图形系统420可以定义描述了能够位于车辆附近的不同对象类型(例如另一车辆、行人、骑行者、动物、静态对象等)的一个或多个对象模型。对象模型可以包括用于不同对象类型的可匹配的数据，并且包括姿态、方位、过渡状态、姿态或方位的潜在变形、纹理特征等，以与传感器测量数据进行比较。
管理系统410可选择一个或多个对象模型，以用于生成传感器测量数据401的分类406。管理系统410可以准备(prepare)用于与所选择的对象模型进行比较的传感器测量数据401，并通过图形控制信令414来引导图形系统420，以将所选择的对象模型应用到已准备的版本的传感器测量数据401中。图形系统420可以基于将已准备的版本的传感器测量数据401应用到所选择的对象模型，来生成至少一个匹配距离415，并且管理系统410可以基于(至少部分地基于)来自图形系统420的匹配距离415来生成传感器测量数据401的分类406。
管理系统410可以接收例如被包括在具有传感器融合系统的车辆的环境模型中的传感器测量数据401、检测事件402和假设信息403。传感器测量数据401可以从多个不同的传感器模态中进行收集，并且可以在时间和空间上与环境模型对准。检测事件402和假设信息403可以描述传感器测量数据401中的至少一部分的属性或特性。
在一些实施例中，管理系统410可以生成传感器测量数据401的可匹配的表示。传感器测量数据401的可匹配的表示可以基于从任何或所有传感器模态中捕获的数据。传感器测量数据401的可匹配的表示可以包括传感器测量数据401的二维形状描述、传感器测量数据401的三维结构描述、传感器测量数据401的纹理化描述、传感器测量数据401的几何化描述、传感器测量数据401的结构化或骨架化描述，包括反射性特征等。在一些实施例中，管理系统410可以对传感器测量数据401执行骨架提取，该骨架提取可以将传感器测量数据401中的对象划分为不同的段并且包括连接图，以识别传感器测量数据401中的不同段是如何链接的。例如，管理系统410可以生成对应于传感器测量数据401的形状轮廓或结构体，并将形状轮廓或结构体细化成线。管理系统410可以识别与这些线相关联的点，例如端点、多条线连接的顶点等。管理系统410可以从这些线、已识别的点、以及这些线之间或这些线的连接之间的关系来生成传感器测量数据401的骨架。在一些实施例中，管理系统410可以直接从传感器测量数据401生成线，例如，生成连接传感器测量数据401中的多个数据点的线。
管理系统410还可以从传感器测量数据401中提取几何图元(primitive)，例如U形、L形、曲线等，并将其包括在传感器测量数据401的可匹配的表示中。在一些实施例中，所述管理系统可以确定传感器测量数据401的边界轮廓，并且基于(至少部分地基于)传感器测量数据401在所述边界轮廓内创建表面积数据。例如，管理系统410可以通过扩展传感器测量数据401中的现有的数据点、连接传感器测量数据401中的现有的数据点等方式来闭合或填充所述边界轮廓的表面积。管理系统410还可以，例如通过利用定向梯度的直方图(Histogram of Oriented Gradients，HOG)、局部二值模式(Local Binary Pattern，LBP)、频域特征、使用Haar小波的类Haar特征等，从传感器测量数据401中识别纹理特征，以从传感器测量数据401中提取纹理特征。
传感器测量数据401的可匹配的表示可以是传感器测量数据401的二维表示或者是传感器测量数据401的三维表示。当生成传感器测量数据401的三维表示时，可能无法从传感器测量数据401中观察到可匹配的表示的某些体积方面。在这些情况下，管理系统410可以基于(至少部分地基于)传感器测量数据401的对称性、传感器测量数据401的完整性、曲率传感器测量数据401、假设信息403等来估算与传感器测量数据401相关联的三维结构。
管理系统410还可以估算车辆和与传感器测量数据401相关联的对象之间的距离。在一些实施例中，传感器测量数据401可以包括数据点中的距离测量结果，或者管理系统410可基于环境模型中的传感器测量数据401的空间位置来确定距离。
管理系统410可包括事件关联单元411，以确定检测事件402中的一个是否对应于由管理系统410先前接收的一个或多个检测事件402。在一些实施例中，事件关联单元411可以基于(至少部分地基于)检测事件402与先前接收到的检测事件402相对于彼此的空间位置、传感器更新速率、与检测事件402相关的传感器测量数据的类型、可见性映射405等，将检测事件402与一个或多个先前接收到的检测事件402进行关联。
管理系统410可包括图形控制单元412，以选择由图形系统420实施的对象模型中的一个或多个，以用于与检测事件402中的一个相关联的传感器测量数据401的分类。在一些实施例中，图形控制单元412可以基于(至少部分地基于)由事件关联单元411确定的检测事件之间的关联性，来选择对象模型。例如，可以利用先前在对与一个检测事件相关联的传感器测量数据401进行分类中的成功例或失败例，来选择利用哪个对象模型来尝试对另一个检测事件的传感器测量数据401进行分类。图形控制单元412还可以基于假设信息403、实施分类系统400的硬件的处理约束、与生成分类406相关联的定时约束等，来选择对象模型中的一个或多个。
图形控制单元412可生成图形控制信令414，该图形控制信令可以被配置以引导图形系统420将所选择的对象模型应用至传感器测量数据401的可匹配的表示。管理系统410可以向图形系统420提供图形控制信令414，连同传感器测量数据401的可匹配的表示以及可选地连同车辆与传感器测量数据401之间的估算距离。
在一些实施例中，图形系统420可以包括多个分类图421-1至421-N，分类图中的每一个用以实施描述了能够位于车辆附近的对象类型(例如另一车辆、行人、骑行者、动物、静态对象等)的一个或多个对象模型。分类图421-1至421-N中的每一个可以包括一个或多个节点，所述节点具有对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征等的子集的可匹配的数据。管理系统410可以通过选择分类图421-1至421-N中的一个或多个分类图或者选择分类图421-1至421-N中的其中一个或多个节点来选择对象模型。基于节点的分类图的实施例将在下文进行描述，如图5A中所示。
图5A示出了根据各个示例的分类系统的机器学习对象分类器实施方式中的示例性的分类图500。参见图5A，分类图500可以包括多个节点，每一个节点被配置以包括对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征、帧间和扫描间的差异等的子集的可匹配的数据。所述节点可以将传感器测量数据的可匹配的表示与可匹配的数据进行比较，以确定匹配距离。在一些实施例中，可以在计算节点中交叉检查传感器测量数据的可匹配的表示。例如，传感器测量数据的可匹配的表示中的形状可以与传感器测量数据的可匹配的表示中的骨架进行交叉检查，以确定该可匹配的表示的形状与骨架之间的一致性。在另一个示例中，传感器测量数据的可匹配的表示中的纹理特征(例如行人的面部特征)可以与传感器测量数据的可匹配的表示中的骨架进行交叉检查，以确定可匹配的表示的纹理特征与骨架之间的一致性，例如所述面部特征是否位于所述骨架的预期部分上。匹配距离可以识别与节点相关联的对象类型(例如另一车辆、行人、骑行者、动物、静态对象等)，以及传感器测量数据的可匹配的表示用以生成对应于该对象类型的匹配距离的置信水平和关于不同对象段的对象匹配量。该匹配量可以对应于不同对象段中的对象结构、对象形状和对象纹理的匹配。
分类图500可以以各种格式来布置或组织节点。例如，分类图500可以将节点布置为使它们彼此独立。在图5A所示的实施例中，分类图500可以将节点布置为相互依赖，例如，以使一些节点对应于粗略水平的细节以及其他节点对应于比粗略水平细节更精细的细节。分类图500可包括用于接收输入数据501的初始节点510，所述输入数据例如为传感器测量数据的可匹配的表示以及传感器测量数据与车辆之间的估算的距离。初始节点510可以包括具有粗略水平细节的可匹配的数据，其对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征等的子集。例如，当初始节点对应于行人时，所述可匹配的数据可以包括具有特定姿势、方位、过渡状态、轮廓的潜在变形等的人的粗略水平轮廓。在一些实施例中，可以从初始节点510中省略更精细的细节，例如手的位置、手指、面部细节等。
分类图500可以包括Δ(delta)节点521至529，其可从先前执行的节点中接收输入数据501。Δ节点521至529可以包括具有更精细的细节的可匹配的数据，其中初始节点510对应于对象模型中的各种姿态、方位、过渡状态、潜在变形、纹理特征等的子集。在一些实施例中，Δ节点521至529可包括对应于与初始节点510的差异的可匹配的数据，例如，以避免可匹配的表示与可匹配的数据的重复匹配。
通过以粗略水平的细节到更精细水平的细节来布置节点，分类系统能够首先确定对象类型，例如，传感器测量数据对应于人，然后确定更精细水平的细节，例如该人是否具有特定的方位、手位置、面部特征等。这种从粗略水平到更精细水平的检测顺序可以使分类系统能够决定何时停止遍历分类图中的节点、将处理资源重新分配到不同的分类活动、控制功耗等。尽管图5A示出了包括有一个初始节点510的分类图500，但在一些实施例中，分类图500可以包括多个初始节点并且具有从这些初始节点分支的多个Δ节点集。
返回参考图4，图形系统420中的每一个所选择的节点可以执行将对象模型中的可匹配的数据的一部分与传感器测量数据401的可匹配的表示进行比较，并且例如通过生成传感器测量数据401的可匹配的表示对应于节点的可匹配的数据的置信水平，来生成匹配距离415。匹配距离415可以识别对象类型，例如另一车辆、行人、骑行者、动物、静态对象等，以及传感器测量数据401的可匹配的表示用以生成对应于该对象类型的匹配距离415的置信水平。匹配距离415还可以识别关于对象类型的粒度信息，例如，对应于对象类型的姿势、方位、状态等。将传感器测量数据401与分类图的节点中的可匹配的数据进行比较的实施例将在下文进行描述，如图5B中所示。
图5B示出了根据各个实施例的用于将传感器测量数据530与分类图的节点中的可匹配的数据550进行比较的示例性的流程。参见图5B，传感器测量数据530可以包括一组数据点，例如激光雷达点或点云，其被传感器融合系统识别为对应于检测事件。如上面所讨论的，例如通过基于(至少部分地基于)传感器测量数据530来确定传感器测量数据530的边界轮廓并且在所述边界轮廓内创建表面积数据，可以将传感器测量数据530转换成可匹配的表示540。通过将传感器测量数据530骨架化(例如，通过生成对应于传感器测量数据530的形状轮廓或结构体，并且将所述形状轮廓或结构体细化成线)，也可以将传感器测量数据530转换成可匹配的表示540。与这些线相关联的不同点(例如端点、多条线连接的顶点等)可以被识别，并且可以从这些线、已识别的点以及这些线之间或这些线的连接之间的关系，来生成传感器测量数据530的骨架。在一些实施例中，可匹配的数据550可以对应于车辆分类，该分类可以允许从鸟瞰图(bird's eye view)中查看到传感器测量数据530。例如，可以通过生成连接传感器测量数据530的边缘的线而在鸟瞰图中将传感器测量数据530骨架化。与这些线相关联的不同点(例如端点、多条线连接的顶点等)可以被识别，并且可以从这些线、已识别的点以及这些线之间或这些线的连接之间的关系，来生成传感器测量数据530的骨架。传感器测量数据530的骨架可以被包括在可匹配的表示540中。可匹配的表示540可以是传感器测量数据530的二维表示或者传感器测量数据530的三维表示。
分类图的节点可以将可匹配的表示540与对应于对象模型的一部分的可匹配的数据550进行比较，并且生成匹配距离以指示可匹配的表示540与可匹配的数据550之间的差异。在一些实施例中，通过例如使用固定大小或固定网格分割、基于由对象模型来描述的基础对象的自然分割等，所述节点可以将可匹配的数据550划分为不同的部分或段，并且对于每个段或部分，生成匹配距离，以指示可匹配的表示540与可匹配的数据550之间的差异。
所述节点可以以多种方式将可匹配的表示540与可匹配的数据550进行比较。由节点进行的比较可以确定可匹配的表示540与可匹配的数据550之间的交叠。所述节点可以基于(至少部分地基于)已确定的交叠以及可匹配的表示540与可匹配的数据550之间的交叠部分的重要性来生成所述匹配距离。
所述节点还可以例如根据可见性地图来定位和处理遮挡，所述可见性地图被配置以基于传感器的角度来识别可以在何处将传感器测量数据填充到环境模型中。例如，由于每一个传感器都具有测量坐标范围，可见性地图可以识别环境模型的哪些部分与哪些测量坐标范围对应。当自动驾驶系统确定出对象(例如行人或车辆)阻挡了正常的测量坐标范围的一部分时，该自动驾驶系统可以更新可见性地图，以识别该遮挡。所述节点可以利用该遮挡来确定非交叠部分是否是由于传感器缺乏测量车辆周围环境的一部分的能力所致。所述节点可以基于(至少部分地基于)遮挡分析来生成匹配距离。
所述节点可以确定可匹配的表示540的非交叠部分是否具有预期的由可匹配的数据550所描述的对象类型的尺寸和形状。例如，当可匹配的数据550对应于行人时，非交叠部分可以对应于手臂的特定定位。所述节点可以利用可匹配的数据550来确定可匹配的表示中的手臂是否具有预期的形状和尺寸，例如，具有相对于可匹配的数据550的自然位置和/或正常尺寸。所述节点可以基于(至少部分地基于)可匹配的表示540的非交叠部分的尺寸和形状是否是所预期的由可匹配的数据550所描述的对象类型，来生成匹配距离。
节点可以尝试对可匹配的数据550进行变形，从而可匹配的表示540的多个部分会交叠。所述节点可以识别可匹配数据550的哪些部分可以由节点来变形以及节点可以对其进行变形的程度。该变形可以在用于可匹配的数据550的一组变形规则的范围内改变可匹配的数据550的该部分的形状和尺寸。所述节点可以基于(至少部分地基于)变形是否允许在可匹配的表示540和可匹配的数据550中存在交叠和/或为实现该交叠所执行的变形的距离，来生成匹配距离。
当可匹配的表示540对应于与至少一个先前的检测事件相关联的检测事件时，所述节点可以确定出，与用于先前的检测事件的传感器测量数据的先前状态相比，可匹配的表示540是否对应于预期的状态转换。例如，先前对检测事件进行分类之后，通过所述节点可以检查与那个已分类的检测事件相关联的未来检测事件，以确定未来检测事件中的传感器测量数据是否对应于从先前的检测事件之后的状态转换。所述节点可以基于(至少部分地基于)可匹配的表示540与可匹配的数据550相匹配是否与对应于预期的状态转换，来生成匹配距离。
返回参考图4，管理系统410可以从分类图421-1至421-N中的一个或多个分类图中的起始节点中的每一个节点接收匹配距离415。管理系统410可以包括分类单元413，以基于(至少部分地基于)匹配距离415中的至少一个来将分类406分配至与检测事件402相关联的传感器测量数据401。例如，当匹配距离415具有高于预定阈值水平的置信水平时，分类单元413可以生成用于与检测事件402相关联的传感器测量数据401的分类406。
在分配分类406之前，管理系统410还可以针对其他传感器数据执行分类的交叉检查。例如，当图形系统420基于激光雷达或雷达数据生成匹配距离415时，管理系统410或图形系统420可以分析来自摄像头传感器的图像数据，以确认在匹配距离处识别的分类。管理系统410或图形系统420也可以生成透视图，例如鸟瞰图或图像视图，其可以覆盖来自多个不同传感器模态的传感器测量数据。管理系统410或图形系统420可以生成传感器测量数据401的透视或平行投影，例如在地面上的正投影或在前置摄像头图像平面上的透视投影。管理系统410或图形系统420可以利用这些生成的视图或投影对根据匹配距离所指示出的分类执行交叉检查。在一些实施例中，分类406的分配或与分配的分类406相关联的置信水平也可以基于与当前检测事件相关联的任何先前的检测事件的已分配的分类。
在一些实施例中，分类单元413还可以基于匹配距离415，在分类图421-1至421-N中的一个或多个中选择另外的节点进行启动，并通过图形控制信令414来引导图形系统420。例如，当匹配距离415具有低于预定阈值水平的置信水平时，分类单元413可以确定在分类图421-1至421-N中的一个或多个中选择剩余节点中的哪个节点进行启动或移向哪个节点。
在一些实施例中，可以由图形系统420来独立地执行对于所选择的分类图421-1至421-N中的节点的遍历，例如，决定哪些节点应当尝试对传感器测量数据401进行分类以及以何种顺序进行分类。分类单元413可以利用匹配距离415来提示图形系统420以停止对分类图421-1至421-N中的不同节点路径进行的遍历，或者基于匹配距离415将图形系统420的资源引向一个或多个节点路径。
图6示出了根据各个示例的用于对传感器测量数据进行分类的示例性的流程图。参见图6，在方框601中，计算系统可以接收来自车辆中的不同类型的传感器的传感器测量数据。所述传感器测量数据可以包括来自车辆中的不同类型或模态的传感器的测量结果或原始数据。例如，所述传感器测量数据可以包括由至少一个图像捕获设备、一个或多个雷达传感器、一个或多个激光雷达传感器、一个或多个超声波传感器，以及来自车辆外部的源(例如以车辆到车辆(V2V)通信、车辆到设施(V2I)通信、车辆到行人(V2P)通信、车辆到设备(V2D)通信、车辆到电网通信(V2G)、或者一般而言以车辆到任何物(V2X)通信的方式)所测量的数据。所述计算系统可以随时间(例如周期性地、间歇性地、响应于感测事件等)接收以帧方式或以扫描方式的传感器测量数据。所述计算系统可以将环境模型中的传感器测量数据进行空间上的对准和时间上的对准。
在方框602中，所述计算系统可以基于所述传感器测量数据来识别对应于所述车辆附近的可能的对象的检测事件。所述计算系统可以在能指示车辆附近的可能的对象的传感器测量数据中检测模式，并将检测到的模式输出为检测事件。在一些实施例中，所述计算系统可以将来自多个不同的传感器模态的检测到的模式进行比较，并且基于检测到的模式之间的空间对准、检测到的模式之间的时间对准、检测到模式之间的数据的状态等，从所述检测到的模式中识别检测事件。所述数据的状态可以对应于与检测到的模式对应的数据的速度，其可以由传感器来确定并且被包括在传感器测量数据中或者基于帧间差异来确定。当所述计算系统利用单个传感器模态或传感器类型来生成检测事件时，该检测事件可以被称为传感器检测事件。当计算系统利用来自多个不同传感器模态的关联的或相关的模式来生成检测事件时，该检测事件可以被称为融合的传感器检测事件。
所述计算系统也可以生成假设信息，该假设信息具有对应于检测事件的属性的置信水平。所述假设信息可以描述与所述检测事件相关联的各种属性或者特性，并且提供对应于这些属性或者特性的置信水平。在一些实施例中，与所述检测事件相关联的属性或特性可以包括：对应于检测事件的传感器测量数据的单一性、速度、方位、重心、存在性、尺寸、和新颖性。单一性特性可以识别传感器测量数据是否对应于单个可能的对象或者多个彼此邻近的可能的对象，其可以帮助机器学习分类器选择对应于对象模型的不同部分的其他节点或分类图。速度特性可以识别与传感器测量数据相关联的至少一个速度。方位特性可以识别传感器测量数据的方向性和/或与可能的对象相关联的相对于车辆的角度。重心特性可以基于与检测事件相关联的数据点的密度来识别对应于传感器测量数据的可能的对象的中心或者边界框的中心。存在性特性可以识别由检测事件识别的可能的对象是否是车辆附近的实际对象。尺寸特性可以识别或估算与检测事件相关联的可能的对象的真实尺寸。新颖性特性可以识别检测事件是否对应于新检测到的模式或者对应于先前的检测事件。
在方框603中，所述计算系统可以将对应于所述检测事件的传感器测量数据转换成可匹配的表示。在一些实施例中，所述计算系统可以通过确定所述传感器测量数据的边界轮廓并且基于(至少部分地基于)所述传感器测量数据在所述边界轮廓内创建表面积数据，来生成所述传感器测量数据的可匹配的表示。例如，所述计算系统可以通过扩展传感器测量数据中的现有的数据点、连接传感器测量数据中的现有的数据点等方式，来闭合或填充所述边界轮廓的表面积。
所述传感器测量数据的可匹配的表示可以是所述传感器测量数据的二维表示或者是传感器测量数据的三维表示。当生成所述传感器测量数据的三维表示时，可能无法从传感器测量数据中观察到可匹配的表示的某些体积方面。在这些情况下，所述计算系统可以基于(至少部分地基于)所述传感器测量数据的对称性、所述传感器测量数据的完整性、曲率传感器测量数据、假设信息等，来估算与所述传感器测量数据相关联的三维结构。
在方框604中，所述计算系统可以选择至少一个对象模型，以用于对对应于所述检测事件的传感器测量数据进行分类。在一些实施例中，所述计算系统可以基于(至少部分地基于)检测事件和先前接收到的检测事件的关联性来选择对象模型。例如，先前在对与一个检测事件相关联的传感器测量数据进行分类中的成功例或失败例，可以用于选择将利用哪个对象模型来尝试对该瞬时检测事件的传感器测量数据进行分类。所述计算系统还可以基于所述假设信息、计算系统硬件的处理约束、与生成分类相关联的定时约束等，来选择所述对象模型中的一个或多个。
在方框605中，所述计算系统可以将所述传感器测量数据的所述可匹配的表示与所选择的数据模型进行比较。所述对象模型可以包括用于特定对象类型的可匹配的数据，该对象类型可以具有各种姿态、方位、过渡状态、姿态或方位的潜在变形、纹理特征等。所述计算系统可以将传感器测量数据的可匹配的表示与来自选择对象模型的可匹配的数据进行比较，并基于该比较来生成匹配距离。在一些实施例中，所述匹配距离可对应于所述可匹配的表示与可匹配的数据之间的交叠、交叠部分的重要性、所述可匹配的表示与非交叠部分中的可匹配的数据之间的差异、可匹配的数据是否可以变形以与可匹配的表示交叠、所述可匹配的表示是否对应于先前接收到的检测事件的预期状态转换等。
在方框606中，所述计算系统可以基于(至少部分地基于)所述比较，来对所述对应于所述检测事件的传感器测量数据进行分类。所述计算系统可以从该比较接收匹配距离，并且基于所述匹配距离对传感器测量数据进行分类。在一些实施例中，所述计算系统可以将由匹配距离指示的分类与附加传感器数据(例如图像数据)进行交叉检查，以试图确认由匹配距离指示的分类。在一些实施例中，所述计算系统可以基于(至少部分地基于)检测事件和先前已分类的检测事件的关联性来生成所述分类。
说明性的操作环境
根据本发明的实施例的各种驾驶自动化的处理过程的执行可以使用由一个或多个可编程计算设备执行的计算机可执行软件指令来实施。由于这些实施例可以使用软件指令来实施，可以在其上应用本发明的各个实施例的可编程的计算系统的部件和操作将在下面进行描述。
图7和图8示出了可以用于实施各个实施例那种类型的计算机系统的示例。参见图7，可以由计算设备701(例如可编程的计算机)通过执行软件指令来实施各个示例。因此，图7示出了计算设备701的示意性的示例。如图7中所示，所述计算设备701包括计算单元703，该计算单元703具有处理单元705和系统存储器707。所述处理单元705可以是任何类型的用于执行软件指令的可编程电子设备，但常规地是微处理器。所述系统存储器707可以既包括只读存储器(ROM)709也包括随机存取存储器(RAM)711。本领域技术人应该理解，所述只读存储器(ROM)709和随机存取存储器(RAM)711都可以存储用来由处理器单元705执行的软件指令。
所述处理器单元705和系统存储器707通过总线713或者可替代的通信结构直接地或者间接地连接至一个或多个外围设备717至723。例如，处理器单元705或系统存储器707可以直接地或间接地连接至一个或多个另外的存储器设备，例如硬盘驱动器717(其可以为磁性的和/或可移动的)、可移动的光盘驱动器719、和/或闪存卡。处理器单元705和系统存储器707也可以直接地或间接地连接至一个或多个输入设备721以及一个或多个输出设备723。所述输入设备721可以包括例如键盘、指点设备(例如鼠标、触摸板、手写笔、轨迹球或操纵杆)、扫描仪、摄像头和麦克风。所述输出设备723可以包括例如监测显示器、打印机和扬声器。在计算设备701的各种示例中，外围设备717至723中的一个或多个可以在内部容纳有计算单元703。可替代地，外围设备717至723中的一个或多个可以在计算单元703的外壳的外部，并且通过例如通用串行总线(Universal Serial Bus，USB)连接而连接至总线713。
在一些实施方式中，所述计算单元703可以直接地或间接地连接至网络接口715，用于与组成网络的其他设备通信。所述网络接口715可以根据一个或多个通信协议(例如传输控制协议(TCP)和互联网协议(IP))，将来自计算单元703的数据和控制信号解译成网络消息。此外，该网络接口715可以使用任何合适的用于连接到网络的连接代理(或代理的组合)，包括例如无线收发器、调制解调器、或者以太网连接。这样的网络接口和协议是本领域所熟知的，因此文本中不进行更详细的讨论。
应当理解的是，所述计算设备701仅仅是以示例的方式示出，而并不旨在对其进行限制。各个实施例可以使用一个或多个计算设备来实施，所述计算设备包括图7中所示的计算设备701的部件，这些部件可以仅包括图7中所示的部件的子集，或者可以包括部件的可替代组合，包括图7中未示出的部件。例如，各个实施例可以使用一个多处理器计算机、多个布置在网络中的单处理器和/或多处理器计算机、或者两者的一些组合来实施。
在一些实施方式中，所述处理器单元705可以具有多于一个的处理器内核。因此，图8示出了多内核处理器单元705的示例，该多内核的处理器单元705可以应用到各个实施例中。如该图中所示，所述处理器单元705包括多个处理器内核801A和801B。每一个处理器内核801A和801B分别包括计算引擎803A和803B，并且分别包括内存缓存805A和805B。如本领域技术人员所熟知的，所述计算引擎803A和803B可以包括用于执行各种计算功能的逻辑设备，例如提取软件指令并且然后执行所提取的指令中指明的动作。这些动作可以包括，例如，相加、相减、相乘、以及比较数字、执行逻辑操作(例如，与(AND)、或(OR)、非或(NOR)和异或(XOR))、以及检索数据。然后每一个计算引擎803A和803B可以分别使用它们的对应的内存缓存805A和805B，以快速地存储和检索数据和/或用于执行的指令。
每一个处理器内核801A和801B被连接至互联器(interconnect)807。互联器807的具体构造可以根据处理器单元705的架构而改变。在一些处理器内核801A和801B(例如，由索尼公司、东芝公司、和国际商用机器公司创建的单元微处理器(Cell microprocessor))中，所述互联器807可以被实施为互联总线。然而，在其他处理器单元801A和801B(例如，可从加利福尼亚州的森尼维尔(Sunnyvale)的先进微型设备(Advanced Micro Devices，AMD)获得的OpteronTM和AthlonTM双核处理器)中，所述互联器807可以被实施为系统请求接口设备。在任何情形中，所述处理器内核801A和801B通过互联器807与输入/输出接口809和存储控制器810进行通信。所述输入/输出接口809在处理器单元705与总线713之间提供通信接口。类似的，所述存储控制器810控制处理器单元705与系统存储器707之间的信息交换。在一些实施例中，所述处理器单元705可以包括另外的部件，例如可由处理器内核801A和801B共享的高电平高速缓冲存储器。也应当理解的是，对于图7和图8中所示出的计算机网络的描述仅仅是作为示例提供的，并且对于可替代的实施例的使用范围或功能范围而言，其并不旨在建议任何的限制。
上述的系统和装置可以专门地用于处理器系统、微控制器、可编程逻辑设备、微处理器、或者它们的任意组合，以执行本文所描述的部分或全部操作。上面所描述的一些操作可以以软件的形式实施，以及其他操作可以以硬件的形式实施。本文所描述的操作、进程、和/或方法中的任意一个可以通过实质上类似于本文以及参考所示出的附图所描述的装置、设备、和/或系统来执行。
所述处理设备可以执行存储在计算机可读存储器设备中的指令或者“代码”。所述存储器设备也可以存储数据。所述处理设备可以包括，但可以不限于，模拟处理器、数字处理器、微处理器、多内核处理器、处理器阵列、网络处理器等。该处理设备可以为集成的控制系统或者系统管理器的一部分，或者可以被设置为便携式电子设备，该便携式电子设备被配置以与网络系统进行本地交互或者经由无线传输进行远程交互。
所述处理器存储器可以与处理设备集成在一起，例如设置在集成电路微处理等中的RAM或闪存(FLASH)存储器。在其他示例中，所述存储器设备可以包括独立的设备，例如外部盘驱动器、存储阵列、便携式闪存密钥卡(key fob)等。所述存储器和处理设备可以可操作地例如通过I/O端口、网络连接等彼此耦合或者彼此通信，并且所述处理设备可以读取存储在存储器中的文件。根据权限设置，相关联的存储器设备可以被设计为“只读的(ROM)”，也可以不为只读的。存储器设备的其他示例可以包括，但不限于，WORM(只写多读)、EPROM(电可编程只读存储器)、EEPROM(电可擦除只读存储器)、FLASH(闪存)、NVRAM(非易失随机存取存储器)、OTP(一次性可编程)等，其可以被实施在固态半导体设备中。其他的存储器设备可以包括移动部分，例如熟知的转盘驱动器。所有这样的存储器设备可以是“机器可读取”的，并且可以由处理设备读取。
操作指令或者命令可以以被存储的计算机软件(也就是熟知的“计算机程序”或者“代码”)的有形形式来实施或者体现。所述程序或者代码可以被存储在数字存储器设备中并且可以由处理设备读取。“计算机可读存储介质”(或者可替代地，“机器可读存储介质”)可以包括前述所有类型的计算机可读存储器设备，以及未来的新技术，只要存储器设备可能能够存储(至少暂时性地存储)计算机程序性质的数字信息或其他数据，并且只要被存储的信息可以被适当的处理设备“读取”。术语“计算机可读”可以不受限于“计算机”的历史使用(historical usage)而暗示完整的主机、迷你计算机、台式机或者甚至是笔记本计算机。而是，“计算机可读”可以包括可以由处理器、处理设备、或者任何计算系统可读取的存储介质。这样的介质可以是计算机或处理器可以本地和/或远程访问的任何可用介质，并且可以包括易失性和非易失性介质、以及可移动和不可移动介质或者它们的任意组合。
存储在计算机可读存储介质中的程序可以包括计算机程序产品。例如，存储介质可以用作存储或传输计算机程序的便捷装置。为了方便起见，可以将这些操作描述为各种相互连接或耦合的功能性的方框或者示意图。但是，在某些情况下，这些功能性的方框或者示意图可能被等效地整合到单个逻辑设备、具有不清晰边界的程序或者操作中。
结论
虽然本申请描述了实现本发明的实施例的具体示例，但是本领域技术人员将理解，上述的系统和技术的许多改变和排列将落入到所附权利要求中所阐述的本发明的精神和范围之内。例如，虽然上文使用特定术语指代电子设计自动化的处理过程，但应当理解的是，本发明的各个示例可使用任何所希望的电子设计自动化的处理过程的组合来实施。
本领域技术人员还将认识到，本文所教导的概念可以通过许多其他方式被定制到特定的应用中。尤其是，本领域技术人员将认识到，所示示例只是许多可替代的实施方式中的一些示例，在本领域技术人员阅读了本公开之后，这些可替代的实施方式将会变得明了。
尽管说明书中可能在若干位置引用了术语“一”、“一个”、“另一个”或“一些”示例，但这并不必须意味着每个这样的引用都指向相同的一个或多个示例，或者并不必须意味着该特征仅适用于单个的示例。

Claims (17)

1.一种用于执行车辆的辅助或自动驾驶系统中对传感器测量数据的机器学习分类的方法，包括：
由计算系统，生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示，其中所述传感器测量数据的所述可匹配的表示包括所述传感器测量数据的二维形状描述、所述传感器测量数据的三维结构描述、所述传感器测量数据的纹理化描述、所述传感器测量数据的几何化描述、所述传感器测量数据的结构化或骨架化描述；
由所述计算系统，将所述传感器测量数据的所述可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和
由所述计算系统，至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作；
其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较进一步包括：
至少部分地基于所述传感器测量数据中的一个或多个检测事件，从多个分类图中选择至少一个分类图，其中每一个分类图包括一个或多个计算节点以实施所述对象模型；和
遍历所选择的分类图中的所述计算节点，从而将所述传感器测量数据的所述可匹配的表示与在对象模型中所描述的对象的不同特性进行比较，其中所述对象模型与所选择的分类图相关联。
2.根据权利要求1所述的方法，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
提取对应于所述传感器测量数据的结构的线；和
确定所述线之间的关系和连接，从而生成所述传感器测量数据的所述可匹配的表示。
3.根据权利要求1所述的方法，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
确定用于所述传感器测量数据的边界轮廓；和
至少部分地基于所述传感器测量数据，在所述边界轮廓内创建表面积数据，从而生成所述传感器测量数据的所述可匹配的表示。
4.根据权利要求1所述的方法，其中，所述计算节点中的每一个包括有在所述对象模型中所描述的所述对象的表示，所述对象模型包括所述对象的姿态、所述对象的状态、所述对象的方位、所述对象的纹理特征、所述对象的帧间差异、或所述对象的一种或多种变形中的至少一种。
5.根据权利要求1所述的方法，其中，在所选择的分类图中的所述计算节点中的每一个被配置，以生成所述传感器测量数据的所述可匹配的表示与被包括在对应的计算节点中的所述对象的表示之间的匹配距离，其中所述遍历所选择的分类图中的所述计算节点是至少部分地基于由所述计算节点中的一个或多个生成的所述匹配距离。
6.根据权利要求1所述的方法，还包括：由所述计算系统，估算与所述传感器测量数据相关联的对象到所述车辆的距离，其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较是至少部分地基于所述对象到所述车辆的已估算距离、所述传感器测量数据的重心、或对应于所述传感器测量数据的边界框的中心。
7.一种用于执行车辆的辅助或自动驾驶系统中对传感器测量数据的机器学习分类的装置，其包括存储有指令的至少一个存储设备，所述指令被配置以使一个或多个处理设备执行操作，所述操作包括：
生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示，其中所述传感器测量数据的所述可匹配的表示包括所述传感器测量数据的二维形状描述、所述传感器测量数据的三维结构描述、所述传感器测量数据的纹理化描述、所述传感器测量数据的几何化描述、所述传感器测量数据的结构化或骨架化描述；
将所述传感器测量数据的可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和
至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分地基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作；
其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较进一步包括：
至少部分地基于所述传感器测量数据中的一个或多个检测事件，从多个分类图中选择至少一个分类图，其中每一个分类图包括一个或多个计算节点以实施所述对象模型；和
遍历所选择的分类图中的所述计算节点，从而将所述传感器测量数据的所述可匹配的表示与在对象模型中所描述的对象的不同特性进行比较，其中所述对象模型与所选择的分类图相关联。
8.根据权利要求7所述的装置，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
提取对应于所述传感器测量数据的结构的线；和
确定所述线之间的关系和连接，从而生成所述传感器测量数据的所述可匹配的表示。
9.根据权利要求7所述的装置，其中，生成所述传感器测量数据的所述可匹配的表示进一步包括：
确定用于所述传感器测量数据的边界轮廓；和
至少部分地基于所述传感器测量数据，在所述边界轮廓内创建表面积数据，从而生成所述传感器测量数据的所述可匹配的表示。
10.根据权利要求7所述的装置，其中，所述计算节点中的每一个包括有在所述对象模型中所描述的所述对象的表示，所述对象模型包括所述对象的姿态、所述对象的状态、所述对象的方位、所述对象的纹理特征、所述对象的帧间差异、或所述对象的一种或多种变形中的至少一种。
11.根据权利要求7所述的装置，其中，在所选择的分类图中的所述计算节点中的每一个被配置，以生成所述传感器测量数据的所述可匹配的表示与被包括在对应的计算节点中的所述对象的表示之间的匹配距离，其中所述遍历所选择的分类图中的所述计算节点是至少部分地基于由所述计算节点中的一个或多个生成的所述匹配距离。
12.根据权利要求7所述的装置，其中，所述指令被进一步地配置以使所述一个或多个处理设备执行操作，所述操作包括：估算与所述传感器测量数据相关联的对象到所述车辆的距离，其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较是至少部分地基于所述对象到所述车辆的已估算距离、所述传感器测量数据的重心、或对应于所述传感器测量数据的边界框的中心。
13.一种用于执行车辆的辅助或自动驾驶系统中对传感器测量数据的机器学习分类的系统，包括：
存储设备，其被配置以存储机器可读指令；和
计算系统，其包括一个或多个处理设备，所述处理设备响应于执行所述机器可读指令而被配置以：
生成由安装在车辆中的传感器所收集的传感器测量数据的可匹配的表示，其中所述传感器测量数据的所述可匹配的表示包括所述传感器测量数据的二维形状描述、所述传感器测量数据的三维结构描述、所述传感器测量数据的纹理化描述、所述传感器测量数据的几何化描述、所述传感器测量数据的结构化或骨架化描述；
将所述传感器测量数据的所述可匹配的表示与描述了能够位于所述车辆附近的对象的类型的对象模型进行比较；和
至少部分地基于所述传感器测量数据的所述可匹配的表示与所述对象模型的所述比较，将所述传感器测量数据分类为与所述对象的类型相对应，其中，用于所述车辆的控制系统被配置，以至少部分基于所述传感器测量数据的已分类的对象的类型来控制所述车辆的操作；
其中将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较进一步包括：
至少部分地基于所述传感器测量数据中的一个或多个检测事件，从多个分类图中选择至少一个分类图，其中每一个分类图包括一个或多个计算节点以实施所述对象模型；和
遍历所选择的分类图中的所述计算节点，从而将所述传感器测量数据的所述可匹配的表示与在对象模型中所描述的对象的不同特性进行比较，其中所述对象模型与所选择的分类图相关联。
14.根据权利要求13所述的系统，其中，所述一个或多个处理设备响应于执行所述机器可读指令而被配置以：
提取对应于所述传感器测量数据的结构的线；和
确定所述线之间的关系和连接，从而生成所述传感器测量数据的所述可匹配的表示。
15.根据权利要求13所述的系统，其中，所述一个或多个处理设备响应于执行所述机器可读指令而被配置以：
确定用于所述传感器测量数据的边界轮廓；和
至少部分地基于所述传感器测量数据，在所述边界轮廓内创建表面积数据，从而生成所述传感器测量数据的所述可匹配的表示。
16.根据权利要求13所述的系统，其中，在所选择的分类图中的所述计算节点中的每一个被配置，以生成所述传感器测量数据的所述可匹配的表示与被包括在对应的计算节点中的所述对象的表示之间的匹配距离，其中所述遍历所选择的分类图中的所述计算节点是至少部分地基于由所述计算节点中的一个或多个生成的所述匹配距离。
17.根据权利要求13所述的系统，其中，所述一个或多个处理设备响应于执行所述机器可读指令而被配置以：估算与所述传感器测量数据相关联的对象到所述车辆的距离，并且至少部分地基于所述对象到所述车辆的已估算距离、所述传感器测量数据的重心、或对应于所述传感器测量数据的边界框的中心，将所述传感器测量数据的所述可匹配的表示与所述对象模型进行比较。
CN201880029372.3A 2017-05-01 2018-04-24 具有对传感器数据的机器学习分类的嵌入式机动车辆感知 Active CN110582778B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762492416P 2017-05-01 2017-05-01
US62/492,416 2017-05-01
US15/872,259 US20180314253A1 (en) 2017-05-01 2018-01-16 Embedded automotive perception with machine learning classification of sensor data
US15/872,259 2018-01-16
US15/872,275 2018-01-16
US15/872,275 US10884409B2 (en) 2017-05-01 2018-01-16 Training of machine learning sensor data classification system
PCT/US2018/029090 WO2018204128A1 (en) 2017-05-01 2018-04-24 Embedded automotive perception with machine learning classification of sensor data

Publications (2)

Publication Number Publication Date
CN110582778A CN110582778A (zh) 2019-12-17
CN110582778B true CN110582778B (zh) 2023-07-18

Family

ID=63915622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880029372.3A Active CN110582778B (zh) 2017-05-01 2018-04-24 具有对传感器数据的机器学习分类的嵌入式机动车辆感知

Country Status (4)

Country Link
US (2) US20180314253A1 (zh)
EP (1) EP3602396A1 (zh)
CN (1) CN110582778B (zh)
WO (1) WO2018204128A1 (zh)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489003B2 (ja) * 2015-12-14 2019-03-27 株式会社デンソー 経路探索装置及び車両用自動運転装置
DE102016205339A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und System zum Erkennen von Hindernissen in einem Gefahrraum vor einem Schienenfahrzeug
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US10802450B2 (en) 2016-09-08 2020-10-13 Mentor Graphics Corporation Sensor event detection and fusion
US10678240B2 (en) * 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11573573B2 (en) * 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
EP3422255B1 (en) * 2017-06-30 2023-03-15 Axis AB Method and system for training a neural network to classify objects or events
US11481993B2 (en) * 2017-09-11 2022-10-25 Hover Inc. Trained machine learning model for estimating structure feature measurements
US10788585B2 (en) * 2017-09-15 2020-09-29 Toyota Research Institute, Inc. System and method for object detection using a probabilistic observation model
EP3495771A1 (en) * 2017-12-11 2019-06-12 Hexagon Technology Center GmbH Automated surveying of real world objects
US10546202B2 (en) * 2017-12-14 2020-01-28 Toyota Research Institute, Inc. Proving hypotheses for a vehicle using optimal experiment design
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
US10776983B2 (en) * 2018-02-27 2020-09-15 Nvidia Corporation Analysis of point cloud data using depth and texture maps
US11365976B2 (en) * 2018-03-02 2022-06-21 Nvidia Corporation Semantic label based filtering of objects in an image generated from high definition map data
US10825236B1 (en) * 2018-03-13 2020-11-03 Arvizio, Inc. Composite mesh LOD construction
US11574240B2 (en) * 2018-03-19 2023-02-07 YourAnswer International Pty Ltd. Categorization for a global taxonomy
US11263549B2 (en) * 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US11354406B2 (en) * 2018-06-28 2022-06-07 Intel Corporation Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles
JP2020016597A (ja) * 2018-07-27 2020-01-30 パナソニック株式会社 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US10882522B2 (en) * 2018-09-13 2021-01-05 Toyota Research Institute, Inc. Systems and methods for agent tracking
JP7184591B2 (ja) * 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
EP3877906A4 (en) * 2018-11-05 2022-08-17 Edge Case Research, Inc. SYSTEMS AND METHODS OF ASSESSING THE QUALITY OF A PERCEPTIONAL SYSTEM
JP7258137B2 (ja) * 2018-11-15 2023-04-14 モービルアイ ヴィジョン テクノロジーズ リミテッド 複数フレーム意味信号の高速ｃｎｎ分類
US11173921B2 (en) * 2018-11-19 2021-11-16 Micron Technology, Inc. Sensor fusion to determine reliability of autonomous vehicle operation
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
US11669770B2 (en) * 2018-11-28 2023-06-06 Stmicroelectronics S.R.L. Activity recognition method with automatic training based on inertial sensors
CN109685797B (zh) * 2018-12-25 2021-08-10 北京旷视科技有限公司 骨骼点检测方法、装置、处理设备及存储介质
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11393097B2 (en) * 2019-01-08 2022-07-19 Qualcomm Incorporated Using light detection and ranging (LIDAR) to train camera and imaging radar deep learning networks
CN109870698B (zh) 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统
JP7200694B2 (ja) * 2019-01-23 2023-01-10 日本電信電話株式会社 センサノード、サーバ装置、識別システム、方法及びプログラム
US10901375B2 (en) 2019-01-31 2021-01-26 Morgan Stanley Services Group Inc. Chaotic system anomaly response by artificial intelligence
US11112252B2 (en) * 2019-02-14 2021-09-07 Hitachi Ltd. Sensor fusion for accurate localization
DE102019202634B3 (de) * 2019-02-27 2020-07-23 Zf Friedrichshafen Ag Verfahren, Steuergerät für ein automatisiert betreibbares Straßenfahrzeug, Computerprogrammprodukt zum Erkennen von Objekten im Straßenverkehr und automatisiert betreibbares Straßenfahrzeug für Mobilitätsdienstleistungen
DE102019202925A1 (de) * 2019-03-05 2020-09-10 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
DE102020206659A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Multi-hypothesen-objektverfologung für automatisierte fahrsysteme
WO2020250020A1 (en) * 2019-06-14 2020-12-17 Kpit Technologies Limited Lidar and radar based tracking and mapping system and method thereof
SG10202005940YA (en) * 2019-06-27 2021-01-28 Bigobject Inc Bionic computing system and cloud system thereof
US11164399B2 (en) * 2019-06-29 2021-11-02 Gm Cruise Holdings Llc Automatic detection of data for annotation for autonomous vehicle perception
US20210004613A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
CN110414374B (zh) * 2019-07-08 2021-12-17 深兰科技（上海）有限公司 一种障碍物位姿的确定方法、装置、设备及介质
US11630209B2 (en) 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
US12051206B2 (en) 2019-07-25 2024-07-30 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
US11126855B2 (en) * 2019-08-08 2021-09-21 Robert Bosch Gmbh Artificial-intelligence powered ground truth generation for object detection and tracking on image sequences
DE102019212892A1 (de) * 2019-08-28 2021-03-04 Robert Bosch Gmbh Erkennung von Detektorfehlern
US11663514B1 (en) * 2019-08-30 2023-05-30 Apple Inc. Multimodal input processing system
US11714183B2 (en) * 2019-09-03 2023-08-01 Nxp B.V. Impulse radar using variable pulse repetition frequency
US20210109523A1 (en) * 2019-10-10 2021-04-15 Waymo Llc Sensor field of view in a self-driving vehicle
US11200434B2 (en) * 2019-10-15 2021-12-14 Toyota Research Institute, Inc. System and method for tracking objects using multi-edge bounding box factors
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
DE102019130295A1 (de) 2019-11-11 2021-05-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Abstandssensors eines Fahrzeugs mit Anpassung eines Sendesignals in Abhängigkeit von einer Klassifizierung eines Objekts, Recheneinrichtung sowie Sensorvorrichtung
US12080078B2 (en) * 2019-11-15 2024-09-03 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11532168B2 (en) 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11885907B2 (en) * 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
CN112904370A (zh) * 2019-11-15 2021-06-04 辉达公司 用于激光雷达感知的多视图深度神经网络
US11531088B2 (en) 2019-11-21 2022-12-20 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
CN110865421B (zh) * 2019-11-18 2022-04-15 北京百度网讯科技有限公司 自动驾驶业务模型训练方法、检测方法、装置和电子设备
EP3832341A1 (en) * 2019-11-21 2021-06-09 NVIDIA Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US12050285B2 (en) 2019-11-21 2024-07-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
DE102019218613B4 (de) * 2019-11-29 2021-11-11 Volkswagen Aktiengesellschaft Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug
CN111142109A (zh) * 2019-12-30 2020-05-12 上海眼控科技股份有限公司 标记方法、装置、计算机设备和存储介质
EP4345419A3 (en) * 2020-01-03 2024-07-17 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
DE102020103002A1 (de) * 2020-02-06 2021-08-12 Valeo Schalter Und Sensoren Gmbh Sensorsystem für ein Fahrzeug zur Überwachung eines horizontalen Überwachungsbereichs von wenigstens 180°
US11475263B2 (en) 2020-03-24 2022-10-18 Waymo Llc Automatic labeling of objects in sensor data
WO2021215221A1 (ja) * 2020-04-24 2021-10-28 コニカミノルタ株式会社 状態検出システム
EP3926360A1 (en) * 2020-06-17 2021-12-22 Aptiv Technologies Limited Neural network based methods and systems for object detection using concatenated lidar, radar and camera data sets
US11420647B2 (en) 2020-08-13 2022-08-23 Argo AI, LLC Enhanced static object classification using lidar
EP3979029A1 (en) * 2020-09-30 2022-04-06 Carnegie Robotics, LLC Systems and methods for enabling navigation in environments with dynamic objects
US20220138513A1 (en) * 2020-10-30 2022-05-05 Point Road Solutions, Llc Multi-sensor data overlay for machine learning
CN112465065B (zh) * 2020-12-11 2022-10-14 中国第一汽车股份有限公司 一种传感器数据关联方法、装置、设备及存储介质
CN114755673A (zh) * 2020-12-25 2022-07-15 欧特明电子股份有限公司 多传感器自动驾驶系统
EP4047515B1 (en) * 2021-02-19 2023-10-11 Zenseact AB Platform for perception system development for automated driving systems
EP4047514B1 (en) * 2021-02-19 2023-10-11 Zenseact AB Platform for perception system development for automated driving system
TWI795752B (zh) * 2021-03-30 2023-03-11 歐特明電子股份有限公司 行車智能系統學習的開發裝置及其開發方法
US11979396B2 (en) 2021-05-19 2024-05-07 Bank Of America Corporation Information security system and method for machine-to-machine (M2M) security and validation
US20220397666A1 (en) * 2021-06-11 2022-12-15 Robert Bosch Gmbh Ultrasonic system and method for classifying obstacles using a machine learning algorithm
US20230074477A1 (en) * 2021-09-06 2023-03-09 Mohammad S Huq System and method for object monitoring, localization, and controlling
US20230102929A1 (en) * 2021-09-24 2023-03-30 Embark Trucks, Inc. Autonomous vehicle automated scenario characterization
DE102022202174A1 (de) * 2022-03-03 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Fusion von mit einem aktiven Messprinzip gewonnenen Roh-Messdaten und Bildern zu einer Repräsentation mit Tiefen- und/oder Abstandsinformation
US12094041B2 (en) * 2022-07-26 2024-09-17 International Business Machines Corporation Restoration of a kinetic event using video
GB2624926A (en) * 2022-12-01 2024-06-05 Continental Autonomous Mobility Germany GmbH A computer-implemented method for reducing false positives in a computer vision task and application thereof to motor vehicle exterior monitoring

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529975A (zh) * 2010-12-13 2012-07-04 通用汽车环球科技运作有限责任公司 用于精确的分车道车辆定位的系统和方法
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US9489635B1 (en) * 2012-11-01 2016-11-08 Google Inc. Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications
GB201617632D0 (en) * 2015-10-19 2016-11-30 Ford Global Tech Llc Probabilistic inference using weighted-intergrals-and-sums-by-hashing for object tracking
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
CN106546977A (zh) * 2015-09-16 2017-03-29 福特全球技术公司 车辆雷达感知和定位

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04227507A (ja) 1990-07-02 1992-08-17 Nec Corp 移動ロボット用のマップを作成し保持する方法
US5883586A (en) 1996-07-25 1999-03-16 Honeywell Inc. Embedded mission avionics data link system
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
JP4037722B2 (ja) 2002-09-18 2008-01-23 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4133247B2 (ja) * 2002-11-15 2008-08-13 日本放送協会 人物姿勢推定装置、人物姿勢推定方法および人物姿勢推定プログラム
JP2004192080A (ja) * 2002-12-09 2004-07-08 Daihatsu Motor Co Ltd 物体認識装置及び認識方法
WO2005086078A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for classifying an object
US20100013615A1 (en) 2004-03-31 2010-01-21 Carnegie Mellon University Obstacle detection having enhanced classification
EP1741591B1 (de) 2005-07-06 2009-10-14 Ford Global Technologies, LLC Verfahren zur Vorhersage von Fahrtsituationen in einem Kraftfahrzeug
US20070182623A1 (en) 2006-02-03 2007-08-09 Shuqing Zeng Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US7739006B2 (en) 2007-02-07 2010-06-15 Disney Enterprises, Inc. System and method for autonomous navigation in a ride vehicle
US20080243378A1 (en) 2007-02-21 2008-10-02 Tele Atlas North America, Inc. System and method for vehicle navigation and piloting including absolute and relative coordinates
WO2009070069A1 (en) 2007-11-26 2009-06-04 Autoliv Development Ab A system for classifying objects in the vicinity of a vehicle
RU2010136929A (ru) 2008-02-04 2012-03-20 Теле Атлас Норт Америка Инк. (Us) Способ для согласования карты с обнаруженными датчиком объектами
EP2107503A1 (en) 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
US8812226B2 (en) 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US20140379254A1 (en) 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
JP5522434B2 (ja) 2009-09-01 2014-06-18 アイシン精機株式会社 運転支援装置
US9140792B2 (en) 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US8805648B2 (en) 2011-10-05 2014-08-12 Ats Group (Ip Holdings) Limited Data fusion in high computational load environments
BR112014017228A2 (pt) 2012-01-13 2017-08-22 Pulse Function F6 Ltd Sistema de telemática com sensores 3d inerciais
US9275332B2 (en) * 2012-10-10 2016-03-01 International Business Machines Corporation Systems, methods, and computer program products for expediting expertise
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
WO2014083827A1 (ja) 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置
US20170060810A1 (en) 2012-12-13 2017-03-02 Eagle Harbor Holdings, LLC. System and method for the operation of an automotive vehicle system with modeled sensors
US10254118B2 (en) 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US9043072B1 (en) 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
CN105143824B (zh) 2013-04-26 2017-12-15 三菱电机株式会社 车载装置、导航系统、以及设施信息显示方法
US9719801B1 (en) 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
EP2848487B1 (en) 2013-09-12 2020-03-18 Volvo Car Corporation Manoeuvre generation for automated drive
US9336436B1 (en) 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
DE102014205180A1 (de) 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9384402B1 (en) 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
GB201407643D0 (en) 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
GB201409625D0 (en) 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
US10824954B1 (en) * 2014-06-25 2020-11-03 Bosch Sensortec Gmbh Methods and apparatus for learning sensor data patterns of physical-training activities
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US10293752B2 (en) 2014-08-28 2019-05-21 The University Of Tokyo Display system for work vehicle, display control device, work vehicle, and display control method
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9727786B2 (en) * 2014-11-14 2017-08-08 Intel Corporation Visual object tracking system with model validation and management
US20160223643A1 (en) 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
WO2016130719A2 (en) 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
US9836056B2 (en) 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US9285805B1 (en) 2015-07-02 2016-03-15 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
WO2017009923A1 (ja) 2015-07-13 2017-01-19 日産自動車株式会社 自己位置推定装置及び自己位置推定方法
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
WO2017120336A2 (en) 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US10486707B2 (en) 2016-01-06 2019-11-26 GM Global Technology Operations LLC Prediction of driver intent at intersection
WO2017161054A1 (en) 2016-03-15 2017-09-21 Solfice Research, Inc. Systems and methods for providing vehicle cognition
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US10502577B2 (en) 2016-06-30 2019-12-10 Here Global B.V. Iterative map learning based on vehicle on-board sensor data
US10838426B2 (en) 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529975A (zh) * 2010-12-13 2012-07-04 通用汽车环球科技运作有限责任公司 用于精确的分车道车辆定位的系统和方法
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US9489635B1 (en) * 2012-11-01 2016-11-08 Google Inc. Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
CN106546977A (zh) * 2015-09-16 2017-03-29 福特全球技术公司 车辆雷达感知和定位
GB201617632D0 (en) * 2015-10-19 2016-11-30 Ford Global Tech Llc Probabilistic inference using weighted-intergrals-and-sums-by-hashing for object tracking

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Multi-lane perception using feature fusion based on GraphSLAM》;ABRAMOV ALEXEY ET AL;《 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), IEEE, 9 October 2016 (2016-10-09), pages 3108 - 3115, XP033011831》;20161231;全文 *
基于ROS构建无人驾驶车辆环境感知系统;黄武陵;《单片机与嵌入式系统应用》;20161101(第11期);全文 *
智能车辆安全辅助驾驶技术研究近况;王荣本等;《公路交通科技》;20070715(第07期);全文 *

Also Published As

Publication number Publication date
CN110582778A (zh) 2019-12-17
US10884409B2 (en) 2021-01-05
EP3602396A1 (en) 2020-02-05
WO2018204128A1 (en) 2018-11-08
US20180314253A1 (en) 2018-11-01
US20180314921A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
CN110582778B (zh) 具有对传感器数据的机器学习分类的嵌入式机动车辆感知
US10740658B2 (en) Object recognition and classification using multiple sensor modalities
US10802450B2 (en) Sensor event detection and fusion
US10317901B2 (en) Low-level sensor fusion
US10678240B2 (en) Sensor modification based on an annotated environmental model
US10553044B2 (en) Self-diagnosis of faults with a secondary system in an autonomous driving system
CN112292711B (zh) 关联lidar数据和图像数据
US11145146B2 (en) Self-diagnosis of faults in an autonomous driving system
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
US20180067490A1 (en) Pre-tracking sensor event detection and fusion
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
US20240062386A1 (en) High throughput point cloud processing
US20240161398A1 (en) Late-to-early temporal fusion for point clouds
US20240265707A1 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
Huo et al. A Review of Key Technologies for Environment Sensing in Driverless Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Munich, Germany

Applicant after: Siemens Electronic Design Automation Co.,Ltd.

Address before: Munich, Germany

Applicant before: Mingdao (Germany) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220128

Address after: Munich, Germany

Applicant after: Mingdao (Germany) Co.,Ltd.

Address before: German pine roots

Applicant before: Mentor Graphics Development (Deutschland) GmbH

GR01 Patent grant
GR01 Patent grant