DE112019004633T5 - Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren - Google Patents

Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren Download PDF

Info

Publication number
DE112019004633T5
DE112019004633T5 DE112019004633.0T DE112019004633T DE112019004633T5 DE 112019004633 T5 DE112019004633 T5 DE 112019004633T5 DE 112019004633 T DE112019004633 T DE 112019004633T DE 112019004633 T5 DE112019004633 T5 DE 112019004633T5
Authority
DE
Germany
Prior art keywords
sensor
data
vehicle
sensors
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019004633.0T
Other languages
English (en)
Inventor
Ryan Trumpore
Theodore Alden
Grigoriy Dubrovskiy
Sachit Kaul
Manuel Weiss
Sai Sonti
Nicholas Merritt
Meshari Alhemaidi
Bing Han
Priyanka Ashok
Katherine Colwell
Jeong hwan Jeon
Jonathan L. Wieskamp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE112019004633T5 publication Critical patent/DE112019004633T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/60—Tethered aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U80/00—Transport or storage specially adapted for UAVs
    • B64U80/80—Transport or storage specially adapted for UAVs by vehicles
    • B64U80/86—Land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18158—Approaching intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B64U2201/202—Remote controls using tethers for connecting to ground station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

Unter anderem beschreiben wir Systeme und Verfahren zum Verbessern des Fahrzeugbetriebs unter Verwendung beweglicher Sensoren. Ein Fahrzeug kann mit einem oder mehreren Sensoren ausgelegt werden, die ausgefahren und/oder gedreht werden können. Der eine oder die mehreren beweglichen Sensoren können dazu veranlasst werden, sich basierend auf einem bestimmten Kontext des Fahrzeugs zu bewegen, um zusätzliche Daten zu erfassen, die mit der Umgebung, in der das Fahrzeug betrieben wird, verbunden sind.

Description

  • QUERVERWEISE AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung bezieht sich auf die US-Patentanmeldung 16/006,950 , eingereicht am 13. Juni 2018, und beansprucht die Vorteile der vorläufigen US-Anmeldung 62/774,685 , eingereicht am 3. Dezember 2018, und der US-Patentanmeldung 16/668,475 , eingereicht am 30. Oktober 2019.
  • GEBIET DER ERFINDUNG
  • Diese Offenbarung bezieht sich allgemein auf bewegliche Sensoren. Insbesondere bezieht sich diese Beschreibung auf Systeme und Verfahren zum Verbessern des Fahrzeugbetriebs von Fahrzeugen mit stationären Sensoren durch Verwendung beweglicher Sensoren.
  • HINTERGRUND
  • Es wird immer beliebter, Fahrzeuge so zu konfigurieren, dass sie über autonome Navigationsfähigkeiten verfügen. Drohnen und selbstfahrende Autos können zum Beispiel so ausgelegt werden, dass sie autonom durch eine Umgebung navigieren. Diese Fahrzeuge können sich zur Unterstützung beim Navigieren in einer Umgebung auf Sensoren wie z. B. Lichterkennungs- und Entfernungssensoren, RADAR sowie visionsbasierte Sensoren beziehen. Viele dieser autonomen Fahrzeuge verwenden mehrere Sensortypen gleichzeitig. Typischerweise sind diese Sensoren an einer festen Position am autonomen Fahrzeug angebracht.
  • KURZFASSUNG
  • Bei wenigstens einem Aspekt der vorliegenden Offenbarung wird ein Fahrzeug bereitgestellt. Das Fahrzeug schließt eine Vielzahl von Sensoren ein. Die Vielzahl von Sensoren schließt wenigstens einen beweglichen Sensor ein, der zum Bewegen in wenigstens einer Richtung und zum Erfassen von Sensordaten ausgelegt ist. Das Fahrzeug schließt auch ein computerlesbares Medium ein, das computerausführbare Anweisungen und wenigstens einen Prozessor umfasst, der kommunikativ mit der Vielzahl von Sensoren, einschließlich des wenigstens einen beweglichen Sensors, gekoppelt ist. Der wenigstens eine Prozessor ist dazu ausgelegt, die computerausführbaren Anweisungen auszuführen, zum: Empfangen von Daten, die mit einer Umgebung verbunden sind, in der das Fahrzeug betrieben wird; Bestimmen eines Kontexts des Fahrzeugs basierend auf den empfangenen Daten; Bestimmen, basierend auf dem Kontext des Fahrzeugs, dass zusätzliche Daten zu erfassen sind; Bestimmen, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und Veranlassen, basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
  • Der wenigstens eine bewegliche Sensor kann auf einer Luftplattform montiert sein. Die Luftplattform kann geografisch an das Fahrzeug gebunden sein. Der wenigstens eine Prozessor kann beim Ausführen der computerausführbaren Anweisungen ferner zum Ausführen von Operationen zum Übertragen von vom wenigstens einen beweglichen Sensor erfassten Sensordaten an wenigstens ein entferntes Fahrzeugsystem ausgelegt sein. Bei den empfangenen Daten kann es sich um geografische Daten von einem globalen Positionierungssystem handeln.
  • Wenn das Fahrzeug eine Straße entlangfährt und die empfangenen Daten angeben, dass sich das Fahrzeug wenigstens einer Kurve auf der Straße nähert, kann der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt sein, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an Stellen erfassen kann, die sich von einer Stelle der wenigstens einen Kurve auf der Straße unterscheiden. Wenn die empfangenen Daten angeben, dass das Fahrzeug auf einer Autobahnauffahrt fährt, kann der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt sein, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an der Fahrtrichtung des Fahrzeugs entgegengesetzten Stellen erfassen kann. Wenn es sich bei den empfangenen Daten um Objekterkennungsdaten von wenigstens einem Sensor der Vielzahl von Sensoren handelt, die angeben, dass der wenigstens eine Sensor ein wenigstens teilweise verdecktes Sichtfeld aufweist, kann der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt sein, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor über das wenigstens teilweise verdeckte Sichtfeld hinausgehende Sensordaten erfassen kann. Wenn die empfangenen Daten angeben, dass der Straßenverkehr in der Nähe des Fahrzeugs ein Verkehrsaufkommen aufweist, das einen vorbestimmten Verkehrsschwellenwert überschreitet, kann der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt sein, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten von wenigstens einem toten Winkel des Fahrzeugs erfassen kann.
  • Bei Ausführung der computerausführbaren Anweisungen kann der wenigstens eine Prozessor zum weiteren Ausführen von Operationen ausgelegt sein, um: zu bestimmen, ob wenigstens ein Sensor der Vielzahl von Sensoren, basierend auf einer elektronischen Konfiguration des wenigstens einen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und basierend auf einer Bestimmung, dass der wenigstens eine Sensor bei der aktuellen elektronischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, eine elektronische Funktion des wenigstens einen Sensors so einzustellen, dass der wenigstens eine Sensor die zusätzlichen Daten erfassen kann. Bei Ausführung der computerausführbaren Anweisungen kann der wenigstens eine Prozessor ferner Operationen ausführen, um: mit wenigstens einem Sensor der Vielzahl von Sensoren verbundene Betriebsdaten zu empfangen; und basierend auf den empfangenen Betriebsdaten zu bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt. Wenn die Betriebsdaten angeben, dass der wenigstens eine Sensor einen Fehlerzustand aufweist, kann der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt sein, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten eines Sichtfelds des wenigstens einen Sensors erfassen kann.
  • Bewirken, dass sich der wenigstens eine bewegliche Sensor bewegt, kann Bewirken einschließen, dass sich der wenigstens eine bewegliche Sensor in eine Richtung erstreckt, sich in einer Richtung um eine Drehachse dreht, oder beides. Bestimmen, dass zusätzliche Daten erfasst werden sollen, kann Bestimmen einer Wahrscheinlichkeit einschließen, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten bei einer Orientierung außerhalb einer aktuellen Sicht des wenigstens einen beweglichen Sensors verfügbar sind.
  • Bei einem weiteren Aspekt der vorliegenden Offenbarung wird ein Verfahren bereitgestellt. Das Verfahren schließt Empfangen von Daten ein, die mit einer Umgebung verbunden sind, in der ein Fahrzeug betrieben wird, wobei das Fahrzeug eine Vielzahl von Sensoren einschließt, und die Vielzahl von Sensoren wenigstens einen beweglichen, zum Bewegen in wenigstens eine Richtung ausgelegten Sensor einschließt. Das Verfahren schließt Bestimmen eines Kontexts des Fahrzeugs basierend auf den empfangenen Daten ein. Das Verfahren schließt Bestimmen, basierend auf dem Kontext des Fahrzeugs, dass zusätzliche Daten zu erfassen sind, ein. Das Verfahren schließt Bestimmen, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen, ein. Das Verfahren schließt Veranlassen, basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann, ein.
  • Der bewegliche Sensor kann auf einer Luftplattform montiert sein. Das Verfahren kann einschließen, dass die Luftplattform geografisch an das Fahrzeug gebunden ist. Das Verfahren kann Übertragen von durch den wenigstens einen beweglichen Sensor erfassten Sensordaten an wenigstens ein entferntes Fahrzeugsystem einschließen. Bei den empfangenen Daten kann es sich um geografische Daten von einem globalen Positionierungssystem handeln.
  • Die empfangenen Daten können angeben, dass sich das Fahrzeug wenigstens einer Kurve einer vom Fahrzeug befahrenen Straße nähert. Das Verfahren kann Bewirken einer Bewegung des wenigstens einen beweglichen Sensors in wenigstens eine Richtung einschließen, sodass der wenigstens eine bewegliche Sensor in der Lage ist, Sensordaten an Stellen zu erfassen, die sich von einer Stelle der wenigstens einen Kurve in der Straße unterscheiden. Die empfangenen Daten können angeben, dass das Fahrzeug eine zwischenstaatliche Auffahrt durchfährt. Das Verfahren kann Bewirken einer Bewegung des wenigstens einen beweglichen Sensors in wenigstens eine Richtung einschließen, sodass der wenigstens eine bewegliche Sensor in der Lage ist, Sensordaten an der Fahrtrichtung des Fahrzeugs entgegengesetzten Stellen zu erfassen. Bei den empfangenen Daten kann es sich um Objekterfassungsdaten von wenigstens einem Sensor der Vielzahl von Sensoren handeln, die angeben, dass der wenigstens eine Sensor ein wenigstens teilweise verdecktes Sichtfeld aufweist. Das Verfahren kann Bewirken einer Bewegung des wenigstens einen beweglichen Sensors in wenigstens eine Richtung einschließen, sodass der wenigstens eine Sensor über das wenigstens teilweise verdeckte Sichtfeld hinausgehende Sensordaten erfassen kann. Die empfangenen Daten können ein hohes Verkehrsaufkommen in der Nähe des Fahrzeugs angeben. Das Verfahren kann Bewirken einer Bewegung des wenigstens einen beweglichen Sensors in wenigstens eine Richtung einschließen, sodass der wenigstens eine bewegliche Sensor Sensordaten von wenigstens einem toten Winkel des Fahrzeugs erfassen kann.
  • Das Verfahren kann Bestimmen einschließen, ob wenigstens ein Sensor der Vielzahl von Sensoren, basierend auf einer aktuellen elektronischen Konfiguration des wenigstens einen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Das Verfahren kann, basierend auf einer Bestimmung, dass der wenigstens eine Sensor bei der aktuellen elektronischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, Anpassen einer elektronischen Funktion des wenigstens einen Sensors einschließen, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann. Das Verfahren kann Empfangen von mit wenigstens einem Sensor der Vielzahl von Sensoren verbundenen Betriebsdaten einschließen. Das Verfahren kann, basierend auf den empfangenen Betriebsdaten, Bewirken einschließen, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt. Die Betriebsdaten können angeben, dass der wenigstens eine Sensor einen Fehlerzustand aufweist. Das Verfahren kann Bewirken einer Bewegung des wenigstens einen beweglichen Sensors in wenigstens eine Richtung einschließen, sodass der wenigstens eine bewegliche Sensor Sensordaten eines Sichtfelds des wenigstens einen Sensors erfassen kann.
  • Bewirken, dass sich der wenigstens eine bewegliche Sensor bewegt, kann Bewirken einschließen, dass sich der wenigstens eine bewegliche Sensor in eine Richtung erstreckt, sich in einer Richtung um eine Drehachse dreht, oder beides. Bestimmen, dass zusätzliche Daten erfasst werden sollen, umfasst Bestimmen einer Wahrscheinlichkeit, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten bei einer Orientierung außerhalb einer aktuellen Sicht des wenigstens einen beweglichen Sensors verfügbar sind.
  • Bei einem anderen Aspekt der vorliegenden Offenbarung werden ein oder mehrere nicht transitorische Speichermedien bereitgestellt, die Anweisungen speichern, die bei Ausführung durch ein oder mehrere Rechengeräte Ausübung eines der vorstehenden Verfahren bewirken.
  • Figurenliste
    • 1 zeigt ein Beispiel eines autonomen Fahrzeugs mit autonomer Fähigkeit.
    • 2 veranschaulicht eine „beispielhafte“ Cloud-Rechenumgebung.
    • 3 veranschaulicht ein Computer-System.
    • 4 zeigt eine beispielhafte Architektur für ein autonomes Fahrzeug.
    • 5 zeigt ein Beispiel von Ein- und Ausgängen, die von einem Wahrnehmungsmodul verwendet werden können.
    • 6 zeigt ein Beispiel eines LiDAR-Systems.
    • 7 zeigt das LiDAR-System in Betrieb.
    • 8 zeigt den Betrieb des LiDAR-Systems in zusätzlichem Detail.
    • 9 zeigt ein Blockdiagramm der Beziehungen zwischen Ein- und Ausgängen eines Planungsmoduls.
    • 10 zeigt einen bei Wegplanung verwendeten gerichteten Graphen.
    • 11 zeigt ein Blockdiagramm der Ein- und Ausgänge eines Steuermoduls.
    • 12 zeigt ein Blockdiagramm der Eingänge, Ausgänge und Komponenten eines Controllers.
    • 13 ist eine Veranschaulichung eines Systems 1300 zum Verbessern des Fahrzeugbetriebs von Fahrzeugen mit stationären Sensoren durch Verwendung beweglicher Sensoren gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.
    • 14 ist eine Veranschaulichung einer Luftplattform, die so ausgelegt ist, dass sie über einen beweglichen Sensor verfügt und geografisch an ein Fahrzeug gebunden ist, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.
    • 15 ist eine Veranschaulichung eines beweglichen Sensors, der basierend auf einem bestimmten Kontext eines Fahrzeugs betrieben wird, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.
    • 16 ist ein Flussdiagramm, das ein Verfahren zum Verbessern des Fahrzeugbetriebs von Fahrzeugen mit stationären Sensoren durch Verwendung beweglicher Sensoren gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung darstellt.
    • 17 ist ein Flussdiagramm, das ein Verfahren zum Verbessern des Fahrzeugbetriebs durch Verwendung beweglicher Sensoren zum Ergänzen wenigstens eines ausfallenden Sensors gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung darstellt.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung werden zu Erklärungszwecken zahlreiche spezielle Details ausgeführt, um für ein gründliches Verständnis der vorliegenden Erfindung zu sorgen. Es ist jedoch offensichtlich, dass die vorliegende Erfindung ohne diese speziellen Details ausgeübt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform gezeigt, um unnötige Verschleierung der vorliegenden Erfindung zu vermeiden.
  • In den Zeichnungen sind spezifische Anordnungen oder Ordnungen von schematischen Elementen, wie z. B. solche, die Vorrichtungen, Module, Befehlsblöcke und Datenelemente darstellen, zur leichteren Beschreibung gezeigt. Es sollte dem Fachmann jedoch klar sein, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Ordnung oder Sequenz der Verarbeitung oder eine Trennung von Prozessen erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element bei allen Ausführungsformen erforderlich ist, oder dass die durch dieses Element dargestellten Merkmale bei einigen Ausführungsformen nicht in anderen Elementen enthalten oder mit diesen kombiniert sein können.
  • Wenn in den Zeichnungen Verbindungselemente, wie z. B. durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Assoziation zwischen oder zwischen zwei oder mehreren anderen schematischen Elementen zu veranschaulichen, bedeutet das Fehlen solcher Verbindungselemente nicht, dass keine Verbindung, Beziehung oder Assoziation bestehen kann. Mit anderen Worten, einige Verbindungen, Beziehungen oder Assoziationen zwischen Elementen sind in den Zeichnungen nicht gezeigt, um die Offenbarung nicht zu verschleiern. Zusätzlich wird zur Erleichterung der Veranschaulichung ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte es dem Fachmann klar sein, dass dieses Element einen oder mehrere Signalpfade (z. B. einen Bus) darstellt, wie es erforderlich sein kann, um die Kommunikation zu beeinflussen.
  • Es wird nun im Detail auf Ausführungsformen Bezug genommen, von denen Beispiele in den begleitenden Zeichnungen gezeigt sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezielle Details ausgeführt, um für ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu sorgen. Ein Durchschnittsfachmann wird jedoch erkennen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese speziellen Details ausgeübt werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht detailliert beschrieben, um Aspekte der Ausführungsformen nicht unnötig zu verschleiern.
  • Im Folgenden werden mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder mit einer beliebigen Kombination anderer Merkmale verwendet werden können. Jedes einzelne Merkmal kann jedoch keines der oben erörterten Probleme oder nur eines der oben erörterten Probleme ansprechen. Einige der oben erörterten Probleme werden möglicherweise von keinem der hier beschriebenen Merkmale vollständig angesprochen. Obwohl Überschriften verwendet werden, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht im Abschnitt mit dieser Überschrift enthalten sind, auch an anderer Stelle in dieser Beschreibung angegeben sein. Ausführungsformen werden hierin nach folgender Gliederung beschrieben:
    1. 1. Allgemeiner Überblick
    2. 2. Systemübersicht
    3. 3. Autonome Fahrzeugarchitektur
    4. 4. Autonome Fahrzeugeingänge
    5. 5. Autonome Fahrzeugplanung
    6. 6. Autonome Fahrzeugsteuerung
    7. 7. Systeme und Verfahren zum Verbessern des Fahrzeugbetriebs unter Verwendung beweglicher Sensoren
  • Allgemeiner Überblick
  • Unter anderem beschreibt diese Offenbarung Techniken zur Verbesserung des Fahrzeugbetriebs unter Verwendung beweglicher Sensoren. Die beweglichen Sensoren können den Fahrzeugbetrieb verbessern, indem sie die Erfassung von mehr Informationen bezüglich der Umgebung, in der das Fahrzeug betrieben wird, im Vergleich zu anderen Fahrzeugsystemen, die durch feste, nicht für dynamische Bewegung ausgelegte Sensoren beschränkt sind, erleichtern. Die Systeme und Verfahren nutzen einen oder mehrere Sensoren und/oder andere Navigationseinrichtungen (z. B. globale Positionierungssysteme), um zu bestimmen, wann der bewegliche Sensor betrieben werden sollte.
  • Es wird immer beliebter, Fahrzeuge so zu konfigurieren, dass sie über autonome Navigationsfähigkeiten verfügen. Drohnen und selbstfahrende Autos können zum Beispiel so ausgelegt werden, dass sie autonom durch eine Umgebung navigieren. Diese Fahrzeuge können sich zur Unterstützung beim Navigieren in einer Umgebung auf Sensoren wie z. B. Lichterkennungs- und Entfernungssensoren, RADAR sowie visionsbasierte Sensoren beziehen. Viele dieser autonomen Fahrzeuge verwenden mehrere Sensortypen gleichzeitig. Typischerweise sind diese Sensoren an festen Positionen am autonomen Fahrzeug angebracht.
  • Da diese Sensoren typischerweise an einer festen Position montiert sind, kann das kollektive Sichtfeld dieser Sensoren beschränkt sein. Folglich können Straßenzustände und/oder Verkehrsbedingungen in der Nähe des Fahrzeugs die mit den Sensoren verbundenen Sichtfelder behindern. Wenn sich das Fahrzeug zum Beispiel einer T-Kreuzung auf einer Straße nähert, können die festen Sensoren möglicherweise keine Informationen an Stellen außerhalb der Kurven der T-Kreuzung erfassen, z. B. ob sich andere Autos und/oder Fußgänger nähern oder nicht. Hindernisse, die die Sichtfelder der statischen Sensoren beschränken, können sich nachteilig auf die Sicherheit des Fahrzeugs und anderer Fahrzeuge/Fußgänger in der Nähe des Fahrzeugs auswirken. Daher kann es wünschenswert sein, einen oder mehrere bewegliche Sensoren zu verwenden, um die Fähigkeit des Fahrzeugs zu erhöhen, Informationen über seine Umgebung zu erhalten.
  • System übersicht
  • 1 zeigt ein Beispiel eines autonomen Fahrzeugs 100 mit autonomer Fähigkeit.
  • Wie hierin verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliches Echtzeit-Eingreifen zu betreiben, einschließlich, ohne Beschränkung, vollständig autonomer Fahrzeuge, hochgradig autonomer Fahrzeuge und bedingt autonomer Fahrzeuge.
  • Wie hierin verwendet, ist ein autonomes Fahrzeug (Autonomous Vehicle, AV) ein Fahrzeug, das über eine autonome Fähigkeit verfügt.
  • Wie hierin verwendet, schließt „Fahrzeug“ Transportmittel für Waren oder Personen ein. Zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Unterwasserfahrzeuge, Luftschiffe usw. Ein fahrerloses Auto ist ein Beispiel für ein Fahrzeug.
  • Wie hierin verwendet, bezieht sich „Trajektorie“ auf einen Weg oder eine Route zum Navigieren eines AV von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. Bei einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort und der zweite raumzeitliche Ort als Bestimmung, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Straßenabschnitten) und jedes Segment aus einem oder mehreren Blöcken (z. B. Teilen einer Fahrspur oder Kreuzung). Bei einer Ausführungsform entsprechen die raumzeitlichen Orten der realen Welt. Die raumzeitlichen Orte sind zum Beispiel Abhol- oder Abgabestellen, um Personen oder Güter abzuholen oder abzusetzen.
  • Wie hierin verwendet, schließt (schließen) „Sensor (en)“ eine oder mehrere Hardwarekomponenten ein, die Informationen über die Umgebung des Sensors erfassen. Einige der Hardwarekomponenten können Erfassungskomponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie z. B. Analog-Digital-Wandler, eine Datenspeichervorrichtung (wie z. B. ein RAM und/oder einen nichtflüchtigen Speicher), Software- oder Firmware-Komponenten und Datenverarbeitungskomponenten wie z. B. eine anwendungsspezifische integrierte Schaltung (Application-Specific Integrated Circuit, ASIC), einen Mikroprozessor und/oder einen Mikrocontroller einschließen.
  • Wie hierin verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, die/der ein oder mehrere von einem oder mehreren Sensoren am AV-Fahrzeug erkannte oder von einer Quelle außerhalb des AV bereitgestellte, klassifizierte oder gekennzeichnete Objekte enthält.
  • Wie hierin verwendet, ist eine „Straße“ ein physischer Bereich, der von einem Fahrzeug durchfahren werden kann und einer benannten Durchgangsstraße (z. B. Stadtstraße, Autobahn usw.) oder einer unbenannten Durchgangsstraße (z. B. Einfahrt in einem Haus oder Bürogebäude, Abschnitt eines Parkplatzes, Abschnitt eines leeren Grundstücks, Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z. B. Pickup-Fahrzeuge mit 4-Rad-Antrieb, SUVs usw.) in der Lage sind, eine Vielzahl von physischen Bereichen zu durchqueren, die nicht speziell für Fahrzeuge geeignet sind, kann eine „Straße“ ein physischer Bereich sein, der von keiner Gemeinde oder anderen Regierungs- oder Verwaltungsbehörde formal als Durchgangsstraße definiert ist.
  • Wie hierin verwendet, ist eine „Fahrspur“ ein Teil einer Straße, der von einem Fahrzeug befahren werden kann, und kann dem größten Teil oder dem gesamten Abstand zwischen Fahrspurmarkierungen oder nur einem Teil (z. B. weniger als 50 %) des Abstands zwischen Fahrspurmarkierungen entsprechen. Zum Beispiel könnte eine Straße mit weit auseinander liegenden Fahrspurmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, sodass ein Fahrzeug das andere überholen kann, ohne die Fahrspurmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass die Fahrspur schmaler ist als der Abstand zwischen den Fahrspurmarkierungen, oder dass zwei Fahrspuren zwischen den Fahrspurmarkierungen vorhanden sind. Eine Fahrspur könnte auch in Abwesenheit von Spurmarkierungen verstanden werden. Zum Beispiel kann eine Fahrspur basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. Felsen und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet.
  • „Ein oder mehrere“ schließt eine Funktion ein, die von einem Element ausgeführt wird, eine Funktion, die von mehr als einem Element ausgeführt wird, z. B. in verteilter Weise, mehrere Funktionen, die von einem Element ausgeführt werden, mehrere Funktionen, die von mehreren Elementen ausgeführt werden, oder eine beliebige Kombination des Vorstehenden.
  • Es versteht sich auch, dass, obwohl Begriffe wie „erster“, „zweiter“ usw. in einigen Fällen hierin zum Beschreiben verschiedener Elemente verwendet werden, diese Elemente nicht durch diese Begriffe beschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erster Kontakt als zweiter Kontakt bezeichnet werden, und ebenso könnte ein zweiter Kontakt als erster Kontakt bezeichnet werden, ohne vom Umfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht ein und derselbe Kontakt.
  • Die in der Beschreibung der verschiedenen hierin beschriebenen Ausführungsformen verwendete Terminologie dient nur dem Zweck, bestimmte Ausführungsformen zu beschreiben, und soll nicht einschränkend wirken. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den beigefügten Ansprüchen verwendet, sollen Singularformen wie „ein“, „eine“, „der“ etc. auch die Pluralformen einschließen, soweit aus dem Zusammenhang nicht eindeutig anders zu schließen ist. Es versteht sich auch, dass der Ausdruck „und/oder“, wie er hier verwendet wird, sich auf jegliche und alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgeführten Punkte bezieht und diese einschließt. Außerdem versteht sich, dass der Gebrauch von Begriffen wie „einschließt“, „einschließlich“, „umfasst“ und/oder „umfassend“ in dieser Beschreibung das Vorhandensein von genannten Merkmalen, Zahlen, Schritten, Operationen, Elementen und/oder Komponenten angibt, das Vorhandensein oder die Hinzufügung einer Einzahl oder Mehrzahl anderer Merkmale, Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon aber nicht ausschließt.
  • Wie hierin verwendet, wird der Begriff „wenn“ optional so ausgelegt, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf Bestimmen“ oder „als Reaktion auf Erkennen“ bedeutet. In ähnlicher Weise wird die Formulierung „wenn bestimmt wird“ oder „wenn [ein angegebener Zustand oder ein angegebenes Ereignis] erkannt wird“ wahlweise je nach Zusammenhang als „bei Bestimmung“ oder „in Reaktion auf Bestimmen“ oder „bei Erkennung [des angegebenen Zustands oder Ereignisses]“ oder „in Reaktion auf Erkennen [des angegebenen Zustands oder Ereignisses]“ ausgelegt.
  • Wie hierin verwendet, bezieht sich ein AV-System auf das AV zusammen mit dem Array aus Hardware, Software, gespeicherten Daten und in Echtzeit generierten Daten, das den Betrieb des AV unterstützt. Bei einer Ausführungsform ist das AV-System in das AV integriert. Bei einer Ausführungsform ist das AV-System über mehrere Orte verteilt. Zum Beispiel ist ein Teil der Software des AV-Systems auf einer Cloud-Computing-Umgebung implementiert, ähnlich der Cloud-Computing-Umgebung 300, die im Folgenden in Bezug auf 3 beschrieben wird.
  • Im Allgemeinen beschreibt dieses Dokument Technologien, die auf beliebige Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, einschließlich vollständig autonomer Fahrzeuge, hochgradig autonomer Fahrzeuge und bedingt autonomer Fahrzeuge, wie z. B. jeweils sogenannte Level-5-, Level-4- und Level-3-Fahrzeuge (für weitere Einzelheiten zur Klassifizierung von Autonomiegraden bei Fahrzeugen siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Fahrsystemen für Straßen-Kraftfahrzeuge), der durch Verweis in seiner Gesamtheit übernommen wird)). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z. B. sogenannte Level-2- und Level-1-Fahrzeuge (siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). Bei einer Ausführungsform können eines oder mehrere der Fahrzeugsysteme der Level 1, 2, 3, 4 und 5 unter bestimmten Betriebsbedingungen basierend auf Verarbeitung von Sensoreingängen bestimmte Fahrzeugfunktionen (z. B. Lenken, Bremsen und Verwenden von Kennfeldern) automatisieren. Die in diesem Dokument beschriebenen Technologien können Fahrzeugen beliebigen Levels zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu von Menschen betriebenen Fahrzeugen.
  • Unter Bezugnahme auf 1 führt ein AV-System 120 das AV 100 auf einer Trajektorie 198 durch eine Umgebung 190 zu einem Ziel 199 (manchmal auch als Endort bezeichnet), wobei Objekte (z. B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) vermieden und Verkehrsregeln (z. B. Betriebsregeln oder Fahrpräferenzen) beachtet werden.
  • Bei einer Ausführungsform schließt das AV-System 120 Vorrichtungen 101 ein, die zum Empfangen von und Reagieren auf Betriebsbefehle von den Computerprozessoren 146 konzipiert sind. Bei einer Ausführungsform sind die Computerprozessoren 146 dem im Folgenden unter Bezugnahme auf 3 beschriebenen Prozessor 304 ähnlich. Beispiele für Vorrichtungen 101 schließen eine Lenksteuerung 102, Bremsen 103, Zahnräder, Gaspedal oder andere Beschleunigungssteuermechanismen, Scheibenwischer, Seitentürschlösser, Fenstersteuerungen und Blinker ein.
  • Bei einer Ausführungsform schließt das AV-System 120 Sensoren 121 zum Messen oder Ableiten von Zustands- oder Bedingungseigenschaften des AV 100 ein, wie z. B. Position, Linear- und Winkelgeschwindigkeit und -beschleunigung sowie Richtung (z. B. eine Orientierung des führendes Ende des AV 100) des AV. Beispiele für Sensoren 121 sind GPS, Trägheitsmesseinheiten, die sowohl Fahrzeuglinearbeschleunigungen als auch -drehraten messen, Raddrehzahlsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motormoment- oder Radmomentsensoren sowie Lenkwinkel- und Drehratensensoren.
  • Bei einer Ausführungsform schließen die Sensoren 121 auch Sensoren zum Abtasten oder Messen von Eigenschaften der Umgebung des AV ein. Zum Beispiel monokulare oder Stereo-Videokameras 122 für das sichtbare Licht, Infrarot- oder Wärmespektrum (oder beides), LiDAR 123, RADAR, Ultraschallsensoren, Laufzeitmessungs-Tiefensensoren (Time-Of-Flight, TOF), Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
  • Bei einer Ausführungsform schließt das AV-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen ein, die mit Computerprozessoren 146 oder von Sensoren 121 gesammelten Daten verbunden sind. Bei einer Ausführungsform ist die Datenspeichereinheit 142 dem ROM 308 oder der Speichervorrichtung 310 ähnlich, die im Folgenden in Bezug auf 3 beschrieben sind. Bei einer Ausführungsform ist der Speicher 144 dem im Folgenden beschriebenen Hauptspeicher 306 ähnlich. Bei einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder Vorhersageinformationen über die Umgebung 190. Bei einer Ausführungsform schließen die gespeicherten Informationen Kennfelder, Fahrleistung, Verkehrsstauaktualisierungen oder Wetterbedingungen ein. Bei einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal von einer entfernt gelegenen Datenbank 134 an das AV 100 übertragen.
  • Bei einer Ausführungsform schließt das AV-System 120 Kommunikationsvorrichtungen 140 zum Übertragen gemessener oder abgeleiteter Eigenschaften der Zustände und Bedingungen anderer Fahrzeuge, wie z. B. Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelkurse, an das AV 100 ein. Diese Vorrichtungen schließen Fahrzeug-zu-Fahrzeug-Kommunikationsvorrichtungen (Vehicle-to-Vehicle, V2V) und Fahrzeug-zu-Infrastruktur-Kommunikationsvorrichtungen (Vehicle-to-Infrastructure, V2I) sowie Vorrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides ein. Bei einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funkkommunikation und optischer Kommunikation) oder andere Medien (z. B. Luft und akustische Medien). Eine Kombination von Vehicle-to-Vehicle (V2V)-Kommunikation und Vehicle-to-Infrastructure (V2I)-Kommunikation (und bei einigen Ausführungsformen einer oder mehreren anderen Kommunikationsarten) wird manchmal als Fahrzeug-zu-Alles-Kommunikation (Vehicle-to-Everything, V2X) bezeichnet. Die V2X-Kommunikation entspricht typischerweise Regel einem oder mehreren Kommunikationsstandards für die Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
  • Bei einer Ausführungsform schließen die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen ein. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, Zellular-, optische, Nahfeld-, Infrarot- oder Funk-Schnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernt gelegenen Datenbank 134 zum AV-System 120. Bei einer Ausführungsform ist die entfernt gelegene Datenbank 134 in eine Cloud-Computing-Umgebung 200 eingebettet, wie in 2 beschrieben. Die Kommunikationsschnittstellen 140 übertragen von den Sensoren 121 gesammelte Daten oder andere Daten, die sich auf den Betrieb des AV 100 beziehen, an die entfernt gelegene Datenbank 134. Bei einer Ausführungsform übertragen Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, an das AV 100. Bei einigen Ausführungsformen kommuniziert das AV 100 mit anderen entfernten (z. B. „Cloud“) Servern 136.
  • Bei einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie Straße und Straßenstandorten). Derartige Daten werden im Speicher 144 des AV 100 gespeichert oder über einen Kommunikationskanal von der entfernt gelegenen Datenbank 134 an das AV 100 übertragen.
  • Bei einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 gefahren sind. Bei einer Implementierung können derartige Daten im Speicher 144 des AV 100 gespeichert oder über einen Kommunikationskanal von der entfernt gelegenen Datenbank 134 an das AV 100 übertragen werden.
  • Rechenvorrichtungen 146 am AV 100 erzeugen algorithmisch Steueraktionen, die sowohl auf Echtzeitsensordaten als auch auf vorherigen Informationen basieren, sodass das AV-System 120 seine autonomen Fahrfähigkeiten ausführen kann.
  • Bei einer Ausführungsform schließt das AV-System 120 Computerperipheriegeräte 132 ein, die mit Rechenvorrichtungen 146 gekoppelt sind, um Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen entfernten Benutzer) des AV 100 bereitzustellen und Eingaben von diesem zu empfangen. Bei einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabevorrichtung 314 und dem Cursor-Controller 316, die im Folgenden unter Bezugnahme auf 3 erörtert werden. Die Kopplung ist drahtlos oder drahtgebunden. Beliebige zwei oder mehrere der Schnittstellenvorrichtungen können in eine einzelne Vorrichtung integriert werden.
  • 2 veranschaulicht eine „beispielhafte“ Cloud-Rechenumgebung. Cloud Computing ist ein Modell der Dienstbereitstellung zum Ermöglichen eines bequemen, bedarfsgerechten Netzzugangs zu einem gemeinsamen Pool konfigurierbarer Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Speicherung, Anwendungen, virtuelle Maschinen und Dienste). Bei typischen Cloud-Computing-Systemen beherbergen ein oder mehrere große Cloud-Rechenzentren die Rechner, die für die Bereitstellung der von der Cloud bereitgestellten Dienste verwendet werden. Unter Bezugnahme auf 2 umfasst die Cloud-Computing-Umgebung 200 die Cloud-Rechenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Rechenzentren 204a, 204b und 204c stellen Cloud-Computing-Dienste für die Computersysteme 206a, 206b, 206c, 206d, 206e und 206f bereit, die mit der Cloud 202 verbunden sind.
  • Die Cloud-Computing-Umgebung 200 schließt ein oder mehrere Cloud-Rechenzentren ein. Im Allgemeinen bezieht sich ein Cloud-Rechenzentrum, zum Beispiel das in 2 gezeigte Cloud-Rechenzentrum 204a auf die physische Anordnung von Servern, aus denen eine Cloud besteht, zum Beispiel die in 2 gezeigte Cloud 202, oder ein bestimmter Teil einer Cloud. Zum Beispiel sind Server physisch im Cloud-Rechenzentrum in Räume, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Rechenzentrum weist eine oder mehrere Zonen auf, die einen oder mehrere Serverräume einschließen. Jeder Raum weist eine oder mehrere Serverreihen auf, und jede Reihe schließt ein oder mehrere Racks ein. Jedes Rack schließt einen oder mehrere einzelne Serverknoten ein. Bei einigen Implementierungen werden Server in Zonen, Räumen, Racks und/oder Reihen in Gruppen angeordnet, basierend auf den physischen Infrastrukturanforderungen der Rechenzentrumseinrichtung, die Strom, Energie, Wärme, Hitze und/oder andere Anforderungen einschließen. Bei einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Rechenzentrum 204a verfügt über viele Rechensysteme, die über viele Racks verteilt sind.
  • Die Cloud 202 schließt die Cloud-Rechenzentren 204a, 204b und 204c zusammen mit den Netz- und den Netzwerkressourcen ein (z. B. Netzwerkausrüstung, Knoten, Router, Switches und Netzwerkkabel), die die Cloud-Rechenzentren 204a, 204b und 204c miteinander verbinden und dazu beitragen, den Zugang der Rechensysteme 206a-f zu Cloud-Computing-Diensten zu erleichtern. Bei einer Ausführungsform repräsentiert das Netz eine beliebige Kombination von einem oder mehreren lokalen Netzen, Weitverkehrsnetze oder Internetnetzwerke, die unter Verwendung von drahtgebundenen oder drahtlosen Verbindungen gekoppelt sind und mittels terrestrischer Verbindungen oder Satellitenverbindungen bereitgestellt werden. Über das Netz ausgetauschte Daten werden unter Verwendung einer beliebigen Anzahl von Netzwerkschichtprotokollen übertragen, wie z. B. Internetprotokoll (IP), Multiprotokoll-Label-Switching (MPLS), Asynchroner Übertragungsmodus (Asynchronous Transfer Mode, ATM), Frame Relay usw. Ferner werden bei Ausführungsformen, bei denen das Netz eine Kombination aus mehreren Teilnetzen darstellt, in jedem der zugrundeliegenden Teilnetze unterschiedliche Netzwerkschichtprotokolle verwendet. Bei einigen Ausführungsformen repräsentiert das Netz ein oder mehrere miteinander verbundene Internetnetzwerke, wie z.B. das öffentliche Internet.
  • Die Rechensysteme 206a-f oder Verbraucher von Cloud-Computing-Diensten sind über Netzwerkverbindungen und Netzwerkadapter mit der Cloud 202 verbunden. Bei einer Ausführungsform sind die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen implementiert, zum Beispiel Server, Desktops, Laptops, Tablets, Smartphones, Internet of Things (IoT) -Geräte, autonome Fahrzeuge (einschließlich Autos, Drohnen, Shuttles , Zügen, Bussen usw.) und Unterhaltungselektronik. Bei einer Ausführungsform sind die Rechensysteme 206a-f in oder als Teil von anderen Systemen implementiert.
  • 3 veranschaulicht ein Computer-System 300. Bei einer Implementierung ist das Computersystem 300 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist fest verdrahtet, um die Techniken auszuführen, oder schließt digitale elektronische Vorrichtungen ein, wie z. B. eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application-Specific Integrated Circuits, ASICs) oder feldprogrammierbare Gate-Arrays (Field Programmable Gate Arrays, FPGAs), die dauerhaft programmiert sind, um die Techniken auszuführen, oder kann einen oder mehrere Universal-Hardware-Prozessoren einschließen, die programmiert sind, um die Techniken gemäß Programmanweisungen in Firmware, Speicher, anderen Speichern oder einer Kombination auszuführen. Derartige Spezialrechenvorrichtungen können auch kundenspezifische festverdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu realisieren. Bei verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handheld-Geräte, Netzwerkgeräte oder eine beliebige andere Vorrichtung, die zum Implementieren der Techniken fest verdrahtet ist und/oder Programmlogik enthält.
  • Bei einer Ausführungsform schließt das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen Hardwareprozessor 304, der mit einem Bus 302 gekoppelt ist, zur Informationsverarbeitung ein. Der Hardware-Prozessor 304 ist zum Beispiel ein Universal-Mikroprozessor. Das Computersystem 300 schließt auch einen Hauptspeicher 306 ein, wie z. B. einen Direktzugriffsspeicher (Random-Access Memory, RAM) oder eine andere dynamische Speichervorrichtung, der mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt ist, die vom Prozessor 304 ausgeführt werden sollen. Bei einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen oder anderer Zwischeninformationen während Ausführung von Anweisungen verwendet, die vom Prozessor 304 ausgeführt werden sollen. Wenn derartige Anweisungen in nicht transitorischen Speichermedien gespeichert sind, auf die der Prozessor 304 zugreifen kann, verwandeln sie das Computersystem 300 in eine Spezialmaschine, die so angepasst ist, dass sie die in den Anweisungen angegebenen Operationen ausführt.
  • Bei einer Ausführungsform schließt das Computersystem 300 ferner einen Nur-Lese-Speicher (Read Only Memory, ROM) 308 oder eine andere statische Speichervorrichtung, gekoppelt mit dem Bus 302, zum Speichern von statischen Informationen und Anweisungen für den Prozessor 304 ein. Eine Speichervorrichtung 310, wie z. B. eine Magnetplatte, optische Platte, ein Festkörperlaufwerk oder ein dreidimensionaler Kreuzpunktspeicher, wird bereitgestellt und mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt.
  • Bei einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einem Display 312 gekoppelt, wie z.B. einer Kathodenstrahlröhre (Cathode Ray Tube, CRT), einem Flüssigkristall-Display (Liquid Crystal Display, LCD), Plasma-Display, einer Leuchtdioden-Display (Light Emitting Diode, LED) oder einem Display mit organischen Leuchtdioden (Organic Light Emitting Diode, OLED), um Informationen für einen Computerbenutzer anzuzeigen. Eine Eingabevorrichtung 314, einschließlich alphanumerischer und anderer Tasten, ist mit dem Bus 302 gekoppelt, um Informationen und Befehlsauswahlen an den Prozessor 304 zu übermitteln. Ein anderer Benutzereingabevorrichtungstyp ist ein Cursor-Controller 316, wie z. B. eine Maus, ein Trackball, ein berührungsempfindliches Display oder Cursor-Richtungstasten, zum Übermitteln von Richtungsinformationen und Befehlsauswahlen an den Prozessor 304 und zum Steuern der Cursorbewegung auf dem Display 312. Diese Eingabevorrichtung verfügt typischerweise über zwei Freiheitsgrade in zwei Achsen, eine erste Achse (z. B. x-Achse) und eine zweite Achse (z. B. y-Achse), die es dem Gerät ermöglichen, Positionen in einer Ebene anzugeben.
  • Gemäß einer Ausführungsform werden die Techniken hierin vom Computersystem 300 als Reaktion darauf ausgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen einer oder mehrerer Anweisungen ausführt, die im Hauptspeicher 306 enthalten sind. Derartige Anweisungen werden von einem anderen Speichermedium, wie z. B. der Speichervorrichtung 310, in den Hauptspeicher 306 eingelesen. Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst den Prozessor 304, die hierin beschriebenen Prozessschritte auszuführen. Bei alternativen Ausführungsformen werden festverdrahtete Schaltungen anstelle von oder in Kombination mit Software-Anweisungen verwendet.
  • Der Begriff „Speichermedien“, wie hierin verwendet, bezieht sich auf beliebige nicht transitorische Medien, die Daten und/oder Anweisungen speichern, die eine Maschine dazu veranlassen, auf eine bestimmte Weise zu arbeiten. Derartige Speichermedien schließen nichtflüchtige und/oder flüchtige Medien ein. Nichtflüchtige Medien schließen zum Beispiel optische Platten, Magnetplatten, Festkörperlaufwerke oder dreidimensionale Kreuzpunktspeicher ein, wie z. B. die Speichervorrichtung 310. Flüchtige Medien schließen dynamischen Speicher ein, wie z. B. den Hauptspeicher 306. Übliche Formen von Speichermedien schließen zum Beispiel eine Diskette, flexible Platte, Festplatte, ein Festkörperlaufwerk, Magnetband oder ein beliebiges anderes magnetisches Datenspeichermedium, eine CD-ROM, ein beliebiges anderes optisches Datenspeichermedium, ein beliebiges physisches Medium mit Lochmustern, ein RAM, PROM, EPROM, FLASH-EPROM, NV-RAM oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette ein.
  • Speichermedien unterscheiden sich von Übertragungsmedien, können aber in Verbindung mit solchen verwendet werden. Übertragungsmedien spielen beim Übertragen von Informationen zwischen Speichermedien eine Rolle. Zum Beispiel schließen Übertragungsmedien Koaxialkabel, Kupferdraht und Faseroptik, einschließlich der Drähte, die den Bus 302 umfassen, ein. Übertragungsmedien können auch die Form von Schall- oder Lichtwellen annehmen, wie sie z. B. bei Funkwellen- und Infrarot-Datenkommunikation erzeugt werden.
  • Bei einer Ausführungsform sind verschiedene Formen von Medien daran beteiligt, eine oder mehrere Sequenzen einer oder mehrerer Anweisungen zur Ausführung an den Prozessor 304 zu übertragen. Zum Beispiel werden die Anweisungen zunächst auf einer Magnetplatte oder einem Festkörperlaufwerk eines entfernten Computers geführt. Der entfernte Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein lokales Modem des Computersystems 300 empfängt die Daten über die Telefonleitung und wandelt sie mittels eines Infrarotsenders in ein Infrarotsignal um. Ein Infrarotdetektor empfängt die im Infrarotsignal geführten Daten, und eine entsprechende Schaltung legt die Daten auf den Bus 302. Der Bus 302 leitet die Daten zum Hauptspeicher 306, von dem der Prozessor 304 die Anweisungen abruft und ausführt. Die vom Hauptspeicher 306 empfangenen Anweisungen können optional entweder vor oder nach der Ausführung durch den Prozessor 304 auf der Speichervorrichtung 310 gespeichert werden.
  • Das Computersystem 300 schließt auch eine Kommunikationsschnittstelle 318 ein, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine Zweiwege-Datenkommunikationskopplung mit einer Netzwerkverbindung 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Die Kommunikationsschnittstelle 318 ist zum Beispiel eine ISDN-Karte (Integrated Service Digital Network), ein Kabelmodem, Satellitenmodem oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung zu einer entsprechenden Art von Telefonleitung. Als weiteres Beispiel ist die Kommunikationsschnittstelle 318 eine LAN-Karte (Local Area Network) zum Bereitstellen einer Datenkommunikationsverbindung zu einem kompatiblen LAN. Bei einigen Implementierungen werden auch drahtlose Verbindungen eingesetzt. Bei einer beliebigen derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen, welche verschiedene Arten von Informationen repräsentieren.
  • Die Netzwerkverbindung 320 stellt typischerweise Datenkommunikation über ein oder mehrere Netze zu anderen Datengeräten bereit. Zum Beispiel stellt die Netzwerkverbindung 320 eine Verbindung über das lokale Netz 322 zu einem Host-Computer 324 oder zu einem Cloud-Rechenzentrum oder einer Ausrüstung bereit, die von einem Internetdienstanbieter (Internet Service Provider, ISP) 326 betrieben wird. Der ISP 326 stellt wiederum Datenkommunikationsdienste über das weltweite Paketdatenkommunikationsnetz bereit, das heute allgemein als „Internet“ 328 bezeichnet wird. Sowohl das lokale Netz 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme übertragen. Die Signale durch die verschiedenen Netze und die Signale auf der Netzwerkverbindung 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten zum und vom Computersystem 300 führen, sind beispielhafte Formen von Übertragungsmedien. Bei einer Ausführungsform enthält das Netz 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
  • Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, über das Netz (die Netze), die Netzwerkverbindung 320 und die Kommunikationsschnittstelle 318. Bei einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird vom Prozessor 304 ausgeführt, wie er empfangen wird und/oder in der Speichervorrichtung 310 oder auf einem anderen nichtflüchtigen Speicher zur späteren Ausführung gespeichert ist.
  • Autonome Fahrzeugarchitektur
  • 4 zeigt eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z. B. das AV100 von 1). Die Architektur 400 schließt ein Wahrnehmungsmodul 402 (manchmal als Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (manchmal als Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als Datenbankschaltung bezeichnet) ein. Jedes Modul spielt eine Rolle beim Betrieb des AV 100. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des AV-Systems 120 von 1 sein. Bei einigen Ausführungsformen ist ein beliebiges der Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. auf einem computerlesbaren Medium gespeicherter ausführbarer Code) und Computerhardware (z. B. ein oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [Application-Specific Integrated Circuits, ASICs], Hardware-Speichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination von beliebigen oder allen dieser Dinge).
  • Im Einsatz empfängt das Planungsmodul 404 Daten, die ein Ziel 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal auch als Route bezeichnet) repräsentieren, die vom AV 100 zurückgelegt werden kann, um das Ziel 412 zu erreichen (z. B. dort anzukommen). Damit das Planungsmodul 404 die Daten bestimmen kann, die die Trajektorie 414 repräsentieren, empfängt das Planungsmodul 404 Daten vom Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
  • Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie auch in 1 gezeigt. Die Objekte werden klassifiziert (z. B. gruppiert in Typen wie Fußgänger, Fahrrad, Auto, Verkehrszeichen usw.) und eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 wird dem Planungsmodul 404 bereitgestellt.
  • Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 repräsentieren, vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position, indem es Daten von den Sensoren 121 und Daten vom Datenbankmodul 410 (z. B. geografische Daten) zur Berechnung einer Position verwendet. Zum Beispiel verwendet das Lokalisierungsmodul 408 Daten von einem Sensor des Globalen Navigationssatellitensystems (GNSS) und geografische Daten, um einen Längen- und Breitengrad des AV zu berechnen. Bei einer Ausführungsform schließen die vom Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Eigenschaften der Straßennetzverbindung beschreiben, Karten, die die physischen Eigenschaften der Fahrbahn beschreiben (z. B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für Fahrzeuge und Radfahrer, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -standorte oder Kombinationen davon), und Karten, die die räumlichen Standorte von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Typen beschreiben.
  • Das Steuermodul 406 empfängt die die Trajektorie 414 repräsentierenden Daten und die die AV-Position 418 repräsentierenden Daten und betätigt die Steuerfunktionen 420a-c (z. B. Lenkung, Drosseln, Bremsen, Zündung) des AV so, dass das AV 100 die Trajektorie 414 bis zum Ziel 412 durchfährt. Wenn die Trajektorie 414 zum Beispiel eine Linkskurve einschließt, betätigt das Steuermodul 406 die Steuerfunktionen 420a-c so, dass der Lenkwinkel der Lenkfunktion das AV 100 zum Fahren einer Linkskurve veranlasst, und das Drosseln und Bremsen veranlassen das AV 100 anzuhalten und auf passierende Fußgänger oder Fahrzeuge zu warten, bevor die Kurve erfolgt.
  • Autonome Fahrzeugeingänge
  • 5 zeigt ein Beispiel von Eingängen 502a-d (z. B. Sensoren 121 von 1) und Ausgängen 504a-d (z. B. Sensordaten), die vom Wahrnehmungsmodul 402 (4) verwendet werden. Ein Eingang 502a ist ein LiDAR-System (Light Detection And Ranging) (z. B. LiDAR 123 von 1). Bei LiDAR handelt es sich um eine Technologie, die Licht (z. B. Lichtblitze wie Infrarotlicht) verwendet, um Daten über physische Objekte in ihrer Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als Ausgang 504a. LiDAR-Daten sind zum Beispiel Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zum Aufbauen einer Darstellung der Umgebung 190 verwendet werden.
  • Ein weiterer Eingang 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahegelegene physische Objekte zu erhalten. RADARs können Daten über Objekte erhalten, die sich nicht innerhalb der Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b erzeugt RADAR-Daten als Ausgang 504b. Zum Beispiel sind RADAR-Daten ein oder mehrere hochfrequente elektromagnetische Signale, mittels derer eine Darstellung der Umgebung 190 konstruiert wird.
  • Ein weiterer Eingang 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras mit einem Lichtsensor wie z. B. einer ladungsgekoppelten Vorrichtung [CCD]), um Informationen über nahegelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als Ausgang 504c. Kameradaten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie z. B. RAW, JPEG, PNG usw.). In einigen Beispielen weist das Kamerasystem mehrere unabhängige Kameras auf, z. B. zum Zweck der Stereopsis (Stereovision), wodurch das Kamerasystem Tiefe wahrnehmen kann. Obwohl die vom Kamerasystem wahrgenommenen Objekte hier als „nahegelegen“ bezeichnet werden, ist dies relativ zum AV. Im Gebrauch kann das Kamerasystem so ausgelegt sein, dass es Objekte weit „sieht“, z. B. einen Kilometer oder mehr vor dem AV. Dementsprechend kann das Kamerasystem Merkmale wie z. B. Sensoren und Linsen aufweisen, die zum Wahrnehmen weit entfernter Objekte optimiert sind.
  • Ein weiterer Eingang 502d ist ein Ampelerkennungssystem (Traffic Light Detection, TLD). Ein TLD-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenschilder und andere physische Objekte zu erhalten, die visuelle Navigationsinformationen bereitstellen. Ein TLD-System erzeugt TLD-Daten als Ausgang 504d. TLD-Daten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie z. B. RAW, JPEG, PNG usw.). Ein TLD-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem TLD-System eine Kamera mit weitem Sichtfeld (z. B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu erhalten, die visuelle Navigationsinformationen bereitstellen, sodass das AV 100 Zugang zu allen relevanten, durch diese Objekte gelieferten Navigationsinformationen hat. Zum Beispiel kann der Blickwinkel des TLD-Systems ungefähr 120 Grad oder mehr betragen.
  • Bei einigen Ausführungsformen werden die Ausgänge 504a-d unter Verwendung einer Sensorfusionstechnik kombiniert. So werden entweder die einzelnen Ausgänge 504a-d anderen Systemen des AV 100 bereitgestellt (z. B. einem Planungsmodul 404 wie in 4 gezeigt), oder der kombinierte Ausgang kann den anderen Systemen bereitgestellt werden, entweder in Form eines einzelnen kombinierten Ausgangs oder mehrerer kombinierter Ausgänge desselben Typs (z. B. unter Verwendung derselben Kombinationstechnik oder durch Kombination derselben Ausgänge oder beider) oder verschiedener Typen (z. B. unter Verwendung verschiedener jeweiliger Kombinationstechniken oder durch Kombination verschiedener jeweiliger Ausgänge oder beider). Bei einigen Ausführungsformen kommt eine Frühfusionstechnik zur Anwendung. Frühfusionstechnik zeichnet sich dadurch aus, dass Ausgänge kombiniert werden, bevor ein oder mehrere Datenverarbeitungsschritte auf den kombinierten Ausgang angewendet werden. Bei einigen Ausführungsformen kommt eine Spätfusionstechnik zur Anwendung. Eine Spätfusionstechnik zeichnet sich dadurch aus, dass Ausgänge kombiniert werden, nachdem ein oder mehrere Datenverarbeitungsschritte auf die einzelnen Ausgänge angewendet wurden.
  • 6 zeigt ein beispielhaftes LiDAR-System 602 (z. B. Eingang 502a von 5). Das LiDAR-System 602 emittiert Licht 604a-c von einem Lichtemitter 606 (z. B. einem Lasersender). Von einem LiDAR-System emittiertes Licht liegt typischerweise nicht im sichtbaren Spektrum, zum Beispiel wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zum LiDAR-System 602 zurückreflektiert. (Von einem LiDAR-System emittiertes Licht dringt typischerweise nicht in physische Objekte ein, z. B. physische Objekte in fester Form.) Das LiDAR-System 602 weist auch einen oder mehrere Lichtdetektoren 610 auf, die das reflektierte Licht erkennen. Bei einer Ausführungsform erzeugen ein oder mehrere mit dem LiDAR-System verbundene Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems repräsentiert. Das Bild 612 schließt Informationen ein, die die Grenzen 616 eines physischen Objekts 608 darstellen. Auf diese Weise wird das Bild 612 verwendet, um die Grenzen 616 eines oder mehrerer physischer Objekte in der Nähe eines AV zu bestimmen.
  • 7 zeigt das LiDAR-System 602 in Betrieb. Im in dieser Figur gezeigten Szenario empfängt das AV 100 sowohl den Kamerasystemausgang 504c in Form eines Bildes 702 als auch den LiDAR-Systemausgang 504a in Form von LiDAR-Datenpunkten 704. Im Betrieb vergleichen die Datenverarbeitungssysteme des AV 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 auch unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AV 100 die Grenzen des physischen Objekts basierend auf der Kontur und Dichte der Datenpunkte 704 wahr.
  • 8 zeigt den Betrieb des LiDAR-Systems 602 in zusätzlichem Detail. Wie oben beschrieben, erkennt das AV 100 die Grenze eines physischen Objekts basierend auf Eigenschaften der vom LiDAR-System 602 erkannten Datenpunkte. Wie in 8 gezeigt, reflektiert ein flaches Objekt, wie z. B. der Boden 802, von einem LiDAR-System 602 emittiertes Licht 804a-d auf konsistente Weise. Anders ausgedrückt, da das LiDAR-System 602 Licht in gleichmäßigen Abständen emittiert, reflektiert der Boden 802 das Licht mit demselben gleichmäßigen Abstand zum LiDAR-System 602 zurück. Während sich das AV 100 über den Boden 802 bewegt, erkennt das LiDAR-System 602 weiterhin das vom nächsten gültigen Bodenpunkt 806 reflektierte Licht, wenn nichts die Straße blockiert. Wenn jedoch ein Objekt 808 die Straße blockiert, wird das vom LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b auf eine Weise reflektiert, die nicht mit der erwarteten konsistenten Weise übereinstimmt. Anhand dieser Informationen kann das AV 100 bestimmen, dass das Objekt 808 vorhanden ist.
  • Wegplanung
  • 9 zeigt ein Blockdiagramm 900 der Beziehungen zwischen Ein- und Ausgängen eines Planungsmoduls 404 (wie z. B. in 4 gezeigt). Im Allgemeinen ist der Ausgang eines Planungsmoduls 404 eine Route 902 von einem Startpunkt 904 (z. B. Ausgangsort oder Anfangsort) und einem Endpunkt 906 (z. B. Ziel oder Endort). Die Route 902 wird typischerweise durch ein oder mehrere Segmente definiert. Ein Segment ist zum Beispiel eine Strecke, die zumindest über einen Teil einer Straße, eines Wegs, einer Autobahn, einer Auffahrt oder eines anderen für Autoverkehr geeigneten physischen Bereichs zurückgelegt werden muss. In einigen Beispielen, z. B. wenn das AV 100 ein geländegängiges Fahrzeug ist, wie z. B. ein vierradgetriebenes (4WD) oder allradgetriebenes (AWD) Auto, SUV, Pickup oder ähnliches, schließt die Route 902 „Offroad“-Segmente, wie z. B. unbefestigte Wege oder offene Felder, ein.
  • Zusätzlich zur Route 902 gibt ein Planungsmodul auch Routenplanungsdaten auf Fahrspurebene 908 aus. Die Routenplanungsdaten auf Fahrspurebene 908 werden verwendet, um Segmente der Route 902 basierend auf Bedingungen des Segments zu einem bestimmten Zeitpunkt zu durchfahren. Wenn die Route 902 zum Beispiel eine mehrspurige Autobahn einschließt, schließen die Routenplanungsdaten auf Fahrspurebene 908 Trajektorieplanungsdaten 910 ein, die das AV 100 verwenden kann, um eine Spur unter den mehreren Spuren auszuwählen, z. B. basierend darauf, ob eine Ausfahrt in Annäherung ist, ob eine oder mehrere der Spuren andere Fahrzeuge aufweisen oder andere Faktoren, die sich im Laufe einiger Minuten oder weniger ändern. Ebenso schließen Routenplanungsdaten auf Fahrspurebene 908 bei einigen Implementierungen Geschwindigkeitsbeschränkungen 912, die für ein Segment der Route 902 spezifisch sind. Wenn das Segment zum Beispiel Fußgänger oder unerwarteten Verkehr einschließt, können die Geschwindigkeitsbeschränkungen 912 das AV 100 auf eine Fahrgeschwindigkeit unter einer erwarteten Geschwindigkeit beschränken, z. B. eine auf den Geschwindigkeitsbeschränkungsdaten für das Segment basierende Geschwindigkeit.
  • Bei einer Ausführungsform schließen die Eingänge zum Planungsmodul 404 Datenbankdaten 914 (z. B. vom Datenbankmodul 410 von 4), aktuelle Standortdaten 916 (z. B. die AV-Position 418 von 4), Zieldaten 918 (z. B. für das Ziel 412 von 4) und Objektdaten 920 (z. B. die klassifizierten Objekte 416, wie sie vom Wahrnehmungsmodul 402 wahrgenommen werden, wie in 4 gezeigt), ein. Bei einigen Ausführungsformen schließen die Datenbankdaten 914 Regeln ein, die bei der Planung verwendet werden. Regeln werden unter Verwendung einer formalen Sprache spezifiziert, z. B. mittels boolescher Logik. In jeder gegebenen Situation, auf die das AV 100 trifft, werden wenigstens einige der Regeln auf die Situation zutreffen. Eine Regel gilt für eine gegebene Situation, wenn die Regel Bedingungen aufweist, die basierend auf dem AV 100 zur Verfügung stehenden Informationen, z. B. Informationen über die Umgebung, erfüllt sind. Regeln können Priorität haben. Zum Beispiel kann eine Regel, die besagt „Wenn die Straße eine Autobahn ist, wechseln Sie auf die äußerste linke Fahrspur“, eine niedrigere Priorität haben als „Wenn die Ausfahrt sich innerhalb einer Meile nähert, wechseln Sie auf die äußerste rechte Fahrspur“.
  • 10 zeigt einen bei Wegplanung verwendeten gerichteten Graphen 1000, z. B. durch das Planungsmodul 404 (4). Im Allgemeinen wird ein gerichteter Graph 1000 wie der in 10 gezeigte verwendet, um einen Weg zwischen beliebigen Startpunkten 1002 und Endpunkt 1004 zu bestimmen. In der Realität kann die Entfernung zwischen dem Startpunkt 1002 und dem Endpunkt 1004 relativ groß (z. B. in zwei verschiedenen Ballungsgebieten) oder relativ klein sein (z. B. zwei Kreuzungen, die an einen Stadtblock angrenzen, oder zwei Fahrspuren einer mehrspurigen Straße).
  • Bei einer Ausführungsform weist der gerichtete Graph 1000 Knoten 1006a-d auf, die verschiedene Orte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 repräsentieren, die von einem AV 100 besetzt werden könnten. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Ballungsgebiete repräsentieren, repräsentieren die Knoten 1006a-d Straßensegmente. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Orte auf derselben Straße repräsentieren, repräsentieren die Knoten 1006a-d verschiedene Positionen auf dieser Straße. Auf diese Weise schließt der gerichtete Graph 1000 Informationen mit unterschiedlichen Granularitätsgraden ein. Bei einer Ausführungsform ist ein gerichteter Graph mit hoher Granularität auch ein Untergraph eines anderen gerichteten Graphen mit einem größeren Maßstab. Zum Beispiel hat ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit auseinanderliegen (z. B. viele Meilen voneinander entfernt), die meisten seiner Informationen in einer niedrigen Granularität und basiert auf gespeicherten Daten, schließt aber auch einige Informationen mit hoher Granularität für den Teil des Graphen, der physische Orte im Sichtfeld des AV 100 repräsentiert, ein.
  • Die Knoten 1006a-d unterscheiden sich von Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. Bei einer Ausführungsform repräsentieren die Objekte 1008ab bei niedriger Granularität Regionen, die nicht von Autos durchfahren werden können, z. B. Gebiete, die keine Straßen oder Wege haben. Bei hoher Granularität repräsentieren die Objekte 1008a-b physische Objekte im Sichtfeld des AV 100, z. B. andere Autos, Fußgänger oder andere Entitäten, mit denen das AV 100 den physischen Raum nicht teilen kann. Bei einer Ausführungsform sind einige oder alle der Objekte 1008a-b statische Objekte (z. B. ein Objekt, das seine Position nicht ändert, wie z. B. eine Straßenlampe oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das seine Position ändern kann, wie z. B. ein Fußgänger oder ein anderes Auto).
  • Die Knoten 1006a-d sind durch die Kanten 1010a-c verbunden. Wenn zwei Knoten 1006a-b durch eine Kante 1010a verbunden sind, ist es möglich, dass ein AV 100 zwischen einem Knoten 1006a und dem anderen Knoten 1006b fahren kann, ohne z. B. zu einem Zwischenknoten fahren zu müssen, bevor es am anderen Knoten 1006b ankommt. (Wenn wir uns auf ein AV 100 beziehen, das zwischen Knoten fährt, meinen wir, dass das AV 100 zwischen den beiden, durch die jeweiligen Knoten repräsentierten physischen Positionen fährt.) Die Kanten 1010a-c sind oft bidirektional in dem Sinne, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. Bei einer Ausführungsform sind die Kanten 1010a-c unidirektional in dem Sinne, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, das AV 100 jedoch nicht vom zweiten Knoten zum ersten Knoten fahren kann. Die Kanten 1010a-c sind unidirektional, wenn sie zum Beispiel Einbahnstraßen, einzelne Fahrspuren einer Straße, eines Wegs oder einer Autobahn oder andere Merkmale, die aufgrund rechtlicher oder physischer Beschränkungen nur in einer Richtung befahren werden können, repräsentieren.
  • Bei einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000 zum Identifizieren eines Wegs 1012 zu identifizieren, der aus Knoten und Kanten zwischen dem Startpunkt 1002 und dem Endpunkt 1004 besteht.
  • Eine Kante 1010a-c hat zugehörige Kosten 1014a-b. Die Kosten 1014a-b sind ein Wert, der die Ressourcen repräsentiert, die aufgewendet werden, wenn das AV 100 diese Kante wählt. Eine typische Ressource ist Zeit. Wenn zum Beispiel eine Kante 1010a eine physische Entfernung repräsentiert, die doppelt so groß ist wie die einer anderen Kante 1010b, dann können die zugehörigen Kosten 1014a der ersten Kante 1010a doppelt so groß sein wie die zugehörigen Kosten 1014b der zweiten Kante 1010b. Andere Faktoren, die sich auf die Zeit auswirken, schließen erwarteten Verkehr, Anzahl von Kreuzungen, die Geschwindigkeitsbeschränkung usw. ein. Eine weitere typische Ressource ist der Kraftstoffverbrauch. Zwei Kanten 1010a-b können dieselbe physische Entfernung repräsentieren, aber eine Kante 1010a kann mehr Kraftstoff erfordern als eine andere Kante 1010b, z. B. aufgrund von Straßenbedingungen, erwartetem Wetter usw.
  • Wenn das Planungsmodul 404 einen Weg 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 typischerweise einen kostenoptimierten Weg, z. B. den Weg mit den geringsten Gesamtkosten bei Addition der Einzelkosten der Kanten.
  • Autonome Fahrzeugsteuerung
  • 11 zeigt ein Blockdiagramm 1100 der Ein- und Ausgänge eines Steuermoduls 406 (wie z. B. in 4 gezeigt). Ein Steuermodul arbeitet in Übereinstimmung mit einem Controller 1102, der zum Beispiel einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren wie Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, Kurzzeit- und/oder Langzeit-Datenspeicherung (z. B. Direktzugriffsspeicher oder Flash-Speicher oder beides) ähnlich dem Hauptspeicher 306, ROM 1308 und Speichervorrichtung 210 sowie im Speicher gespeicherte Anweisungen, die Operationen des Controllers 1102 ausführen, wenn die Anweisungen ausgeführt werden (z. B. durch den einen oder die mehreren Prozessoren), einschließt.
  • Bei einer Ausführungsform empfängt der Controller 1102 Daten, die einen gewünschten Ausgang 1104 repräsentieren. Der gewünschte Ausgang 1104 schließt typischerweise eine Bewegungsgeschwindigkeit, z. B. eine Geschwindigkeit und einen Kurs, ein. Der gewünschte Ausgang 1104 kann zum Beispiel auf von einem Planungsmodul 404 empfangenen Daten basieren (z. B. wie in 4 gezeigt). In Übereinstimmung mit dem gewünschten Ausgang 1104 erzeugt der Controller 1102 Daten, die als Drosseleingang 1106 und als Lenkeingang 1108 verwendet werden können. Der Drosseleingang 1106 repräsentiert die Größe, in der die Drossel (z. B. die Beschleunigungssteuerung) eines AV 100 betätigt werden muss, z. B. durch Betätigen des Gaspedalsoder durch Betätigen einer anderen Drosselsteuerung, um den gewünschten Ausgang 1104 zu erreichen. In einigen Beispielen schließt der Drosseleingang 1106 auch Daten ein, die zum Betätigen der Bremse (z. B. Verzögerungssteuerung) des AV 100 verwendet werden können. Der Lenkeingang 1108 repräsentiert einen Lenkwinkel, z. B. den Winkel, in dem die Lenksteuerung (z. B. Lenkrad, Lenkwinkelaktuator oder eine andere Funktionalität zum Steuern des Lenkwinkels) des AV positioniert werden sollte, um den gewünschten Ausgang 1104 zu erreichen.
  • Bei einer Ausführungsform empfängt der Controller 1102 Feedback, das beim Einstellen der für Drossel und Lenkung bereitgestellten Eingänge verwendet wird. Wenn das AV 100 zum Beispiel auf eine Störung 1110, wie z. B. einen Hügel, trifft, wird die gemessene Geschwindigkeit 1112 des AV 100 unter die gewünschte Ausgangsgeschwindigkeit abgesenkt. Bei einer Ausführungsform wird ein beliebiger gemessener Ausgang 1114 dem Controller 1102 bereitgestellt, sodass die erforderlichen Einstellungen durchgeführt werden, z. B. basierend auf der Differenz 1113 zwischen der gemessenen Geschwindigkeit und dem gewünschten Ausgang. Der gemessene Ausgang 1114 schließt gemessene Position 1116, gemessene Bewegungsgeschwindigkeit 1118 (einschließlich Geschwindigkeit und Kurs), gemessene Beschleunigung 1120 und andere durch Sensoren des AV 100 messbare Ausgänge ein.
  • Bei einer Ausführungsform werden Daten über die Störung 1110 im Voraus erkannt, z. B. durch einen Sensor, wie z. B. eine Kamera oder einen LiDAR-Sensor, und einem prädiktiven Feedback-Modul 1122 bereitgestellt. Das prädiktive Feedback-Modul 1122 stellt dann dem Controller 1102 Daten bereit, die der Controller 1102 zum entsprechenden Einstellen verwenden kann. Wenn die Sensoren des AV 100 zum Beispiel einen Hügel erkennen („sehen“), können diese Daten vom Controller 1102 zum Vorbereiten des Betätigens der Drossel zum geeigneten Zeitpunkt verwendet werden, um eine signifikante Verzögerung zu vermeiden.
  • Blockdiagramm der Eingänge, Ausgänge und Komponenten des Controllers
  • 12 zeigt ein Blockdiagramm 1200 der Eingänge, Ausgänge und Komponenten des Controllers 1102. Der Controller 1102 verfügt über einen Geschwindigkeitsprofiler 1202, der den Betrieb eines Drossel-/Brems-Controllers 1204 beeinflusst. Der Geschwindigkeitsprofiler 1202 weist zum Beispiel den Drossel-/Brems-Controller 1204 an, Beschleunigung oder Verzögerung unter Verwendung der Drossel/Bremse 1206 zu betätigen, abhängig z. B. vom vom Controller 1102 empfangenen und vom Geschwindigkeitsprofiler 1202 verarbeiteten Feedback.
  • Der Controller 1102 verfügt auch über einen Lateral-Tracking-Controller 1208, der den Betrieb eines Lenk-Controllers 1210 beeinflusst. Der Lateral-Tracking-Controller 1208 weist zum Beispiel den Lenk-Controller 1210 an, die Position des Lenkwinkelaktuators 1212 einzustellen, abhängig z. B. vom vom Controller 1102 empfangenen und vom Lateral-Tracking-Controller 1208 verarbeiteten Feedback.
  • Der Controller 1102 empfängt mehrere Eingänge, mit denen bestimmt wird, wie die Drossel/Bremse 1206 und der Lenkwinkelaktuator 1212 gesteuert werden sollen. Ein Planungsmodul 404 stellt Daten bereit, die vom Controller 1102 verwendet werden, um zum Beispiel einen Kurs zu wählen, wenn das AV 100 den Betrieb aufnimmt, und zu bestimmen, welches Straßensegment durchfahren werden soll, wenn das AV 100 eine Kreuzung erreicht. Ein Lokalisierungsmodul 408 stellt dem Controller 1102 Daten bereit, die zum Beispiel den aktuellen Standort des AV 100 beschreiben, sodass der Controller 1102 bestimmen kann, ob sich das AV 100 an einem Ort befindet, der aufgrund der Art und Weise, wie Drossel/Bremse 1206 und Lenkwinkelaktuator 1212 gesteuert werden, erwartet wird. Bei einer Ausführungsform empfängt der Controller 1102 Daten von anderen Eingängen 1214, z. B. Daten, die von Datenbanken, Computernetzwerken usw. empfangen werden.
  • Systeme und Veifahren zum Verbessern des Fahrzeugbetriebs unter Verwendung beweglicher Sensoren
  • 13 ist eine Veranschaulichung eines Systems 1300 zum Verbessern des Fahrzeugbetriebs von Fahrzeugen mit stationären Sensoren durch Verwendung beweglicher Sensoren gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Das System 1300 schließt ein AV 1310 ein. Das AV 1310 schließt einen ersten Sensor 1311, einen zweiten Sensor 1312, einen dritten Sensor 1313 und Computerprozessoren 1330 ein. Die Computerprozessoren 1330 schließen ein computerlesbares Medium 1331 ein. Das computerlesbare Medium 1331 schließt darauf gespeicherte computerausführbare Anweisungen 1332 ein.
  • Zu Beschreibungszwecken werden Objekte beschrieben, wie sie sich relativ zu den Enden und Seiten des AV 1310 befinden. Wie in 13 gezeigt, weist das AV 1310 ein erstes Ende (1E), ein zweites Ende (2E), eine erste Seite (1S) und eine zweite Seite (2S) auf.
  • Jeder der Sensoren 1311, 1312, 1313 kann eine von mehreren Arten von Abtastvorrichtungen sein. Bei einer Ausführungsform ist jeder der Sensoren 1311, 1312, 1313 einer der Sensoren 121, die zuvor unter Bezugnahme auf 1 erörtert wurden. Bei einer Ausführungsform ist jeder der Sensoren 1311, 1312, 1313 einer oder mehrere der Eingänge 502a-c, wie zuvor unter Bezugnahme auf 5 erörtert. Bei einer Ausführungsform ist der erste Sensor 1311 ein LiDAR, der zweite Sensor 1312 ist eine Kamera und der dritte Sensor 1313 ist eine Kamera. Bei den Kameras kann es sich um monokulare oder Stereo-Videokameras handeln, die für sichtbares Licht, Infrarot- und/oder Wärmespektrum ausgelegt sind. Bei einer Ausführungsform ist wenigstens einer der Sensoren 1311, 1312, 1313 ein Ultraschallsensor. Bei einer Ausführungsform ist wenigstens einer der Sensoren 1311, 1312, 1313 ein RADAR. Wenigstens einer der Sensoren 1311, 1312, 1313 kann auch eine Kombination von Abtastvorrichtungen einschließen. Bei einer Ausführungsform schließt wenigstens einer der Sensoren 1311, 1312, 1313 eine Kamera und ein RADAR ein. Bei einer Ausführungsform schließt wenigstens einer der Sensoren 1311, 1312, 1313 auch zusätzliche Sensoren zum Abtasten oder Messen von Eigenschaften der Umgebung des AV 1310 ein. Bei einer Ausführungsform schließt wenigstens einer der Sensoren 1311, 1312, 1313 zusätzliche Sensoren ein, wie z. B. Monokular- oder Stereo-Videokameras 122, die in der Lage sind, das sichtbare Licht, Infrarot- und/oder Wärmespektrum wahrzunehmen, LiDAR 123, RADAR, Ultraschallsensoren, TOF-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
  • Obwohl die veranschaulichte Ausführungsform einen ersten Sensor 1311, einen zweiten Sensor 1312 und einen dritten Sensor 1313 einschließt, kann das AV 1310 einen oder mehrere zusätzliche Sensoren einschließen. Bei einer Ausführungsform schließt das AV 1310 einen vierten Sensor ein. Bei einer Ausführungsform schließt das AV 1310 einen vierten, fünften und/oder sechsten Sensor ein. Das AV 1310 kann auch weniger Sensoren einschließen. Bei einer Ausführungsform schließt das AV 1310 nur den ersten Sensor 1311 und den zweiten Sensor 1312 ein.
  • Obwohl die veranschaulichte Ausführungsform einen ersten Sensor 1311, einen zweiten Sensor 1312 und einen dritten Sensor 1313 einschließt, kann das AV 1310 einen oder mehrere zusätzliche Sensoren einschließen. Bei einer Ausführungsform schließt das AV 1310 einen vierten Sensor. In einer Ausführung enthält das AV 1310 einen vierten, fünften und/oder sechsten Sensor ein. Das AV 1310 kann auch weniger Sensoren einschließen. Bei einer Ausführungsform schließt das AV 1310 nur den ersten Sensor 1311 und den zweiten Sensor 1312 ein.
  • Einer oder mehrere der Sensoren 1311, 1312, 1313 sind zum Bewegen in wenigstens eine Richtung ausgelegt. Bei einer Ausführungsform sind ein oder mehrere Sensoren zum Erstrecken in eine oder mehrere Richtungen und/oder zum Drehen um wenigstens eine Drehachse in eine oder mehrere Richtungen ausgelegt. Bei einer Ausführungsform ist der dritte Sensor 1313 zum Erstrecken in mehrere Richtungen 1313a und Drehen in mehrere Richtungen um eine Drehachse 1313b ausgelegt. Zum Beispiel kann der dritte Sensor 1313 seitlich, diagonal und senkrecht (über und unter dem Fahrzeug) ausgefahren werden. Die Drehachse 1313b kann fest oder variabel ausgelegt werden. Bei einer Ausführungsform schließt das AV 1310 wenigstens zwei bewegliche Sensoren ein. Bei einer Ausführungsform sind der erste Sensor 1311 und/oder der zweite Sensor 1312 zum Bewegen in wenigstens eine Richtung ausgelegt.
  • Ein oder mehrere der Sensoren 1311, 1312, 1313 sind an der Karosserie des AV 1310 mittels einer beweglichen Haltevorrichtung befestigt. Bei einer Ausführungsform ist der bewegliche dritte Sensor 1313 an der Karosserie des AV 1310 mittels der beweglichen Haltevorrichtung 1314 befestigt. Bei der beweglichen Haltevorrichtung 1314 kann es sich um eine beliebige Vorrichtung handeln, die in der Lage ist, einen Sensor an der Karosserie des Fahrzeugs zu befestigen, und zum Bewegen des entsprechenden Sensors relativ zum Fahrzeug (z. B. durch Ausfahren und/oder Drehen relativ zum Fahrzeug) ausgelegt ist. Bei einer Ausführungsform ist die bewegliche Haltevorrichtung 1314 eine kardanische Aufhängung. Bei einer Ausführungsform ist die bewegliche Haltevorrichtung 1314 eine ausziehbare Stangenhalterung. Die ausziehbare Stangenhalterung kann ein drehbares Ende aufweisen, das in der Lage ist, den dritten Sensor 1313 zu drehen, sodass sich das Sichtfeld des dritten Sensors 1313 in Bezug auf das AV 1310 dreht.
  • Das System 1300 kann auch einen beweglichen Sensor einschließen, der an einer Luftplattform (z. B. einem unbemannten Luftfahrzeug, einer Drohne, einem Zeppelin usw.) angebracht ist, die geografisch an das AV 1310 gebunden ist. 14 ist eine Veranschaulichung des Systems 1300 einschließlich einer Luftplattform 1380, die so ausgelegt ist, dass sie über einen beweglichen Sensor 1314 verfügt und geografisch an das AV 1310 gebunden ist, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Wie gezeigt, schließt die Luftplattform 1380 den beweglichen Sensor 1314 ein, der zum Ausfahren und/oder Drehen in mehrere Richtungen ausgelegt ist. Die Luftplattform 1380 ist so ausgelegt, dass sie innerhalb eines vordefinierten Bereichs 1370 in der Nähe des AV 1310 verbleibt. Der vordefinierte Bereich 1370 ist durch einen Radius 1371 definiert. Der Radius 1371 kann eine Benutzer/Hersteller-Designwahl sein und kann auf Sicherheits- und/oder praktischen Erwägungen basieren. Bei einer Ausführungsform beträgt der Radius 1371 0,5 km. Bei einer Ausführungsform beträgt der Radius 1371 1,0 km. Bei einer Ausführungsform ist die Luftplattform 1380 so ausgelegt, dass sie innerhalb einer vorgegebenen Höhe relativ zum AV 1310 verbleibt. Bei einer Ausführungsform ist die Luftplattform 1380 so ausgelegt, dass sie mehr als 0,3 km über dem AV 1310, zwischen 0,5 km und 0,7 km über dem AV 1310, 1,0 km über dem AV 1310 und so weiter verbleibt.
  • Unter erneuter Bezugnahme auf 13 kann das computerlesbare Medium 1331 (oder der computerlesbare Speicher) einen beliebigen Datenspeichertechnologietyp einschließen, der für die lokale technische Umgebung geeignet ist, einschließlich, aber nicht beschränkt auf halbleiterbasierte Speichervorrichtungen, Magnetspeichervorrichtungen und -systeme, optische Speichervorrichtungen und -systeme, Festspeicher, Wechselspeicher, Plattenspeicher, Flash-Speicher, dynamischen Direktzugriffsspeicher (Dynamic Random-Access Memory, DRAM), statischen Direktzugriffsspeicher (Static Random-Access Memory, SRAM), elektronisch löschbaren programmierbaren Nur-Lese-Speicher (Electronically Erasable Programmable Read-Only Memory, EEPROM) und dergleichen. Bei einer Ausführungsform speichert das computerlesbare Medium 1331 ein Codesegment mit den computerausführbaren Anweisungen 1332.
  • Bei einer Ausführungsform schließen die Computerprozessoren 1330 einen oder mehrere Computerprozessoren (z. B. Mikroprozessoren, Mikrocontroller oder beides) ein, ähnlich dem Prozessor 304, der zuvor unter Bezugnahme auf 3 erörtert wurde. Die Computerprozessoren 1330 sind zum Ausführen von Programmcode, wie z. B. die computerausführbaren Anweisungen 1332, ausgelegt. Die Computerprozessoren 1330 sind so ausgelegt, dass sie kommunikativ mit dem ersten, zweiten und dritten Sensor 1311, 1312, 1313 gekoppelt sind. Wenn die Computerprozessoren 1330 die computerausführbaren Anweisungen 1332 ausführen, werden die Computerprozessoren 1330 zum Ausführen mehrerer Operationen veranlasst.
  • Wenn die Computerprozessoren 1330 die computerausführbaren Anweisungen 1332 ausführen, führen die Computerprozessoren 1330 bei einer Ausführungsform Operationen zum Empfangen von Daten aus, die mit der Umgebung, in der das AV 1310 betrieben wird, verbunden sind. Bei einer Ausführungsform entsprechen die empfangenen Umgebungsdaten Straßenbedingungen, Verkehrsbedingungen und/oder Straßenmerkmalen. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Daten von einem GPS-Gerät (Global Positioning System) oder anderen satellitengestützten Navigationsvorrichtungen ein. Das GPS kann im AV 1310 enthalten oder vom AV 1310 entfernt sein. Bei einer Ausführungsform schließen die vom GPS-Gerät empfangenen Umgebungsdaten Informationen über die Straße, auf der das AV 1310 fährt (z. B. bevorstehende Kurven, Steigungen, Kreuzungen usw.) ein. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Sensordaten von einem oder mehreren vom AV 1310 entfernten Sensoren ein. Zum Beispiel schließen bei einer Ausführungsform die empfangenen Umgebungsdaten Daten von einem Sensor ein, der an einem zweiten AV montiert ist. Die empfangenen Umgebungsdaten können Daten von einem Sensor einschließen, der auf einer Ampelstruktur montiert ist. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Sensordaten ein, die von den Sensoren 1311, 1312, 1313 des AV 1310 erfasst wurden.
  • Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Daten von der entfernt gelegenen Datenbank 134, wie zuvor unter Bezugnahme auf 1 erörtert, und/oder den Cloud-Rechenzentren 204a, 204b, 204c, wie zuvor unter Bezugnahme auf 2 erörtert, ein. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Straßenverkehrsdaten ein, die mit dem Straßenverkehrsaufkommen in der Nähe des AV 1310 verbunden sind. Zum Beispiel können Straßenverkehrsdaten Indikatoren, wie z. B. einen Straßennutzungsgrad (Level-Of-Service, LOS) einschließen, der die Belastungsintensität auf einer Straße oder einer Kreuzung angibt, die von „A“ (kaum belastet) bis „F“ (überlastet) bewertet wird. Die Straßenverkehrsdaten können Indikatoren, wie z. B. einen Fahrzeitindex, einschließen, der mit dem Straßensegment verbunden ist, auf dem das AV 1310 fährt, und der das Verhältnis der Fahrgeschwindigkeiten zu Spitzen- und Schwachlastzeiten (z. B. Hauptverkehrszeit versus Nebenverkehrszeit) angibt. Die Straßenverkehrsdaten können Objekterkennungsdaten eines oder mehrerer Sensoren (z. B. am AV 1310 montiert und/oder vom AV 1310 entfernt), die die Anzahl der in der Nähe des AV 1310 fahrenden Fahrzeuge angeben, und/oder Geschwindigkeitsdaten, die die Geschwindigkeit, mit der das AV 1310 fährt, angeben, einschließen.
  • Während die Computerprozessoren 1330 die computerausführbaren Anweisungen 1332 ausführen, führen die Computerprozessoren 1330 Operationen zum Bestimmen eines Kontexts des AV 1310 basierend auf den empfangenen Umgebungsdaten aus. Bei einer Ausführungsform schließt Bestimmen eines Kontexts des AV 1310 Bestimmen, dass sich das AV 1310 einer oder mehreren Kurven auf der Straße nähert, Bestimmen, dass sich das AV 1310 einer Kreuzung nähert, Bestimmen, dass das AV 1310 eine Autobahnauffahrt durchfährt, Bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, und/oder Bestimmen, dass wenigstens einer der Sensoren 1311, 1312, 1313 ein wenigstens teilweise verdecktes Sichtfeld aufweist, ein.
  • Wenn die Computerprozessoren 1330 Straßenmerkmalsdaten von einem GPS-Gerät und/oder einem oder mehreren Sensoren (entweder entfernt oder dem AV 1310 entsprechend) empfangen, wobei die Straßenmerkmalsdaten mit der Straße verbunden sind, auf der das AV 1310 fährt, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform basierend auf den empfangenen Straßenmerkmalsdaten, ob sich das AV 1310 einer scharfen Kurve auf der Straße und/oder einer T-Kreuzung auf der Straße nähert. Die Computerprozessoren 1330 können basierend auf den empfangenen Straßenmerkmalsdaten bestimmen, ob das AV 1310 eine Autobahnauffahrt durchfährt (oder durchfahren wird). Der Begriff „Autobahn“ hat hierin seine weiteste Bedeutung und bezieht sich auf Fernstraßen, Autobahnen, Bundesstraßen, Autobahnschnellstraßen, Schnellstraßen, Landstraßen und so weiter. Als weiteres Beispiel können die empfangenen Umgebungsdaten Objekterkennungsdaten von einem oder mehreren der AV 1310-Sensoren 1311, 1312, 1313 einschließen. Basierend auf den empfangenen Objekterkennungsdaten können die Computerprozessoren 1330 bestimmen, ob einer der Sensoren 1311, 1312, 1313 ein verdecktes Sichtfeld (z. B. teilweise und/oder vollständig) aufweist. Die Computerprozessoren 1330 können auch bestimmen, dass das AV 1310 bei einem hohen Verkehrsaufkommen betrieben wird, wenn die empfangenen Daten angeben, dass das AV 1310 unter Verkehrsbedingungen mit einem Verkehrsaufkommen betrieben wird, das einen vorgegebenen Verkehrsschwellenwert überschreitet. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, wenn die Verkehrsbedingungen in der Nähe des AV 1310 einen Straßen-LOS-Grad von D verursachen und der vorbestimmte Schwellen-LOS-Grad C ist. Der vorbestimmte Verkehrsschwellenwert kann eine Benutzer- oder Hersteller-Wahl sein und kann auf Sicherheits- und/oder Effizienzerwägungen basieren.
  • Während Ausführung der computerausführbaren Anweisungen 1332 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, dass, basierend auf dem Kontext des AV 1310, zusätzliche Daten erfasst werden sollen. Zusätzliche Daten können sich auf Informationen (z. B. näherer Verkehr, entgegenkommende Fahrzeuge, nähere Fußgänger usw.) beziehen, die derzeit nicht von den Sensoren 1311, 1312, 1313 erfasst werden, für das AV 1310 aber beim Navigieren in seiner Umgebung hilfreich sein könnten. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass zusätzliche Daten erfasst werden sollen, indem sie eine Wahrscheinlichkeit bestimmen, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten außerhalb eines aktuellen Sichtfelds eines oder mehrerer der Sensoren 1311, 1312, 1313 verfügbar sind. Wenn die Computerprozessoren 1330 basierend auf den empfangenen Daten bestimmen, dass sich das AV 1310 einer scharfen Kurve und/oder T-Kreuzung auf der Straße nähert, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten, die sich auf Stellen in der Umgebung beziehen, die sich von einer Stelle der Kurve/Kreuzung unterscheiden. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit (z. B. 75 %, 80 %, 90 % usw.) besteht, dass Objekterkennungsinformationen, die sich auf Bereiche um die Ecken der Kurve/Kreuzung herum beziehen, nützlich sind, um zu erkennen, ob sich andere Fahrzeuge oder Objekte von den Ecken der Kurve/Kreuzung her nähern.
  • Wenn die Computerprozessoren 1330 basierend auf den empfangenen Daten bestimmen, dass das AV 1310 eine Autobahnauffahrt durchfährt, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten für der Fahrtrichtung des AV 1310 entgegengesetzte Stellen in der Umgebung erfasst werden sollen. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit besteht, dass Objekterkennungsdaten, die sich auf den Bereich hinter dem AV 1310 beziehen, nützlich sind, wenn sich das AV 1310 einer Autobahn nähert, um Erkennung anderer Fahrzeuge zu erhöhen, die sich dem AV 1310 schnell von hinten nähern. Wenn die Computerprozessoren 1330 basierend auf den empfangenen Umgebungsdaten bestimmen, dass einer oder mehrere der Sensoren 1311, 1312, 1313 ein verdecktes (z. B. teilweise oder vollständig) Sichtfeld aufweisen, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten an Stellen außerhalb des teilweise verdeckten Sichtfelds erfasst werden sollen. Wenn zum Beispiel das Sichtfeld eines oder mehrerer der Sensoren 1311, 1312, 1313 von einem großen Lastwagen verdeckt wird, bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit besteht, dass zusätzliche Objekterkennungsdaten, die an Stellen außerhalb des großen Lastwagens erfasst werden, nützlich sind, um das Bewusstsein für die Umgebung des AV 1310 zu erhöhen. Ebenso, wenn sich das AV 1310 einer Kreuzung nähert und ein großes Objekt (z. B. ein großer Mülleimer) an einer Ecke der Kreuzung abgestellt wurde, das einen oder mehrere der Sensoren 1311, 1312, 1313 verdeckt und dessen/deren Fähigkeit, entgegenkommenden Verkehr, der sich von der linken Seite und/oder der rechten Seite des AV 1310 nähert, zu erkennen, einschränkt, bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit besteht, dass zusätzliche Objekterkennungsdaten, die an Stellen außerhalb des großen Objekts erfasst werden, nützlich sind, um Erkennung von annäherndem Verkehr und/oder Fußgängern an der Kreuzung zu erhöhen.
  • Wenn die Computerprozessoren 1330 basierend auf empfangenen Umgebungsdaten bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird (z. B. das Verkehrsaufkommen in der Nähe bei einem Wert liegt, der einen vorbestimmten Verkehrsschwellenwert überschreitet), bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten an Stellen eines oder mehrerer toter Winkel des AV 1310 erfasst werden sollen. Tote Winkel beziehen sich auf Stellen am AV 1310, die anfällig für Beschädigungen durch andere Fahrzeuge sind (z. B. durch seitliches Streifen, Auffahrunfälle usw.), wenn das AV 1310 im Verkehr betrieben wird und/oder von den Sensoren 1311, 1312, 1313 nicht mit überlappenden Sichtfeldern abgedeckt ist. Wenn die Computerprozessoren 1330 bestimmen, dass das AV 1310 unter Verkehrsbedingungen betrieben wird, die einen Straßen-LOS-Grad von D verursachen, und der vorbestimmte Schwellen-LOS-Grad C ist, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass eine hohe Wahrscheinlichkeit besteht, dass Objekterkennungsdaten an Stellen eines oder mehrerer toter Winkel des AV 1310 nützlich sein können, um Sichtfelddeckung und Erkennung potenzieller Fahrzeuge, die Schäden am AV 1310 verursachen können, zu erhöhen.
  • Während Ausführung der computerausführbaren Anweisungen 1332 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, ob der dritte Sensor 1313 in der Lage ist, die zusätzlichen Daten basierend auf der aktuellen mechanischen Konfiguration des dritten Sensors 1313 zu erfassen. Wie hierin verwendet, bezieht sich eine mechanische Konfiguration auf eine Position am oder relativ zum AV 1310, an der sich ein Sensor befindet, und auf eine Richtung (z. B. Azimut- und/oder Elevationswinkel) relativ zum AV 1310, in der das Sichtfeld eines Sensors ausgerichtet ist. Bei einer Ausführungsform weist der dritte Sensor 1313 eine mechanische Konfiguration auf, bei der sich der dritte Sensor 1313 an der Ecke des ersten Endes (1E) und der ersten Seite (1S) des AV 1310 befindet, und bei der sein Sichtfeld in einem Versatz von 25 Grad zur ersten Seite (1S) des AV 1310 relativ zum ersten Ende (1E) des AV 1310 ausgerichtet ist. Basierend auf der aktuellen mechanischen Konfiguration des dritten Sensors 1313 und den Umgebungsstellen für die zusätzlichen Daten, die zu erfassen sind, bestimmen die Computerprozessoren 1330, ob der dritte Sensor 1313 dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Wenn sich zum Beispiel der dritte Sensor 1313 an der Ecke des ersten Endes (1E) und der ersten Seite (1S) des AV 1310 befindet, wobei ein Sichtfeld in Richtung des ersten Endes (1E) des AV 1310 ausgerichtet ist, und die zusätzlichen Daten, die erfasst werden sollen, sich auf den Bereich in Richtung des zweiten Endes (2E) des AV 1310 beziehen, bestimmen die Computerprozessoren 1330, dass der dritte Sensor 1313 nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Wenn sich die Quellen der zusätzlichen Daten jedoch innerhalb des Sichtfelds des dritten Sensors 1313 bei seiner aktuellen mechanischen Konfiguration befinden, können die Computerprozessoren 1330 bestimmen, dass der dritte Sensor 1313 dazu in der Lage ist, die zusätzlichen Daten zu erfassen.
  • Während Ausführung der computerausführbaren Anweisungen 1332 führen die Computerprozessoren 1330 Operationen aus, um den dritten Sensor 1313 zu veranlassen, sich in eine Richtung zu bewegen, sodass der dritte Sensor 1313 die zusätzlichen Daten erfassen kann, wenn die Computerprozessoren 1330 bestimmt haben, dass der dritte Sensor 1313 nicht dazu in der Lage ist, die zusätzlichen Daten bei seiner aktuellen mechanischen Konfiguration zu erfassen. Bei einer Ausführungsform schließt Veranlassen des dritten Sensors 1313 zum Bewegen Ausfahren des dritten Sensors 1313 in wenigstens eine Richtung, Drehen des dritten Sensors 1313 in eine Richtung um wenigstens eine Drehachse (z. B. Ändern des Azimut- oder Neigungswinkels des dritten Sensors 1313) oder beides ein.
  • 15 ist ein veranschaulichendes Beispiel einer Umgebung 1349, das Bewegen des dritten Sensors 1313 zum Erfassen zusätzlicher Daten entsprechend einer oder mehrerer Ausführungsformen der vorliegenden Offenlegung zeigt. Zu Veranschaulichungszwecken werden die Objekte in der Umgebung des AV 1310 so beschrieben, wie sie sich auf die Fahrtrichtung des AV 1310 beziehen, die in diesem Fall die (F)-Richtung ist. Die der Fahrtrichtung des AV 1310 entgegengesetzte Richtung ist die (B)-Richtung, die Richtung links von der Fahrtrichtung des AV 1310 ist die (L)-Richtung und die rechts von der Fahrtrichtung des AV 1310 Richtung ist die (R)-Richtung. Die Computerprozessoren 1330 empfangen Umgebungsdaten (z. B. von einem GPS-Gerät), die angeben, dass sich das AV 1310 einer T-Kreuzung auf der Straße 1350 nähert, auf der das AV 1310 fährt. Darauf basierend bestimmen die Computerprozessoren 1330, dass zusätzliche Daten an Stellen um die linke (L) Ecke der T-Kreuzung herum erfasst werden sollen. Wie gezeigt, ist der dritte Sensor 1313, bevor sich das AV 1310 an der T-Kreuzung befindet, nicht dazu in der Lage, die zusätzlichen Daten um die linke (L) Ecke der T-Kreuzung herum zu erfassen, da sich der dritte Sensor 1313 in unmittelbarer Nähe zur Ecke des ersten Endes (1E) und der ersten Seite (1S) des AV 1310 befindet und ein Sichtfeld aufweist, das in (F)-Richtung ausgerichtet ist (z. B. parallel zur Fahrtrichtung des AV 1310). Bei Annäherung des AV 1310 an die T-Kreuzung veranlassen die Computerprozessoren 1330 Ausfahren und Drehen des dritten Sensors 1313, indem sie zum Beispiel die ausfahrbare Haltevorrichtung 1314 betätigen. Das Ausfahren und Drehen des dritten Sensors 1313 ermöglicht es dem dritten Sensor 1313, die zusätzlichen Daten um die linke Ecke der T-Kreuzung herum zu erfassen. Der dritte Sensor 1313 kann auch gedreht werden, um zusätzliche Daten um die rechte Ecke der T-Kreuzung herum zu erfassen. Daher kann der dritte Sensor 1313 Fahrzeug- und/oder Fußgängerverkehr erkennen, der sich von mehreren Seiten der T-Kreuzung nähert, wodurch die Fähigkeit des AV 1310, die T-Kreuzung sicher zu navigieren, gesteigert werden kann.
  • Wenn die Computerprozessoren 1330 bestimmen, dass zusätzliche Daten hinter dem AV 1310 erfasst werden sollen, während das AV 1310 eine Autobahnauffahrt durchfährt, veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und Drehen, indem sie zum Beispiel die ausfahrbare Haltevorrichtung 1314 so betätigen, dass der dritte Sensor 1313 die zusätzlichen Daten hinter dem AV 1310 erfassen kann (z. B. entgegen der Fahrtrichtung des AV 1310). Während das AV 1310 die Auffahrt durchfährt, drehen die Computerprozessoren 1330 bei einer Ausführungsform das Sichtfeld des dritten Sensors 1313 so, dass es in die der Fahrtrichtung des AV 1310 entgegengesetzte Richtung gerichtet ist, während sie gleichzeitig den dritten Sensor 1313 nach oben und/oder zur ersten Seite (1S) des AV 1310 ausfahren. Dies kann es dem dritten Sensor 1313 ermöglichen, andere Fahrzeuge und/oder Objekte zu erkennen, die sich dem AV 1310 schnell vom zweiten Ende (2E) her nähern können, und/oder zusätzliche Objekterkennungsdeckung bereitstellen, um andere Sensoren zu ergänzen, deren Sichtfeld zum zweiten Ende (2E) des AV 1310 gerichtet sein kann.
  • Wenn die Computerprozessoren 1330 bestimmen, dass wenigstens einer der Sensoren 1311, 1312, 1313 ein teilweise oder vollständig verdecktes Sichtfeld aufweist (z. B. durch einen großen Lastwagen und/oder ein Objekt), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313, sich so zu bewegen, dass der dritte Sensor 1313 Sensordaten außerhalb der verdeckten Sicht erfassen kann. Wenn ein großer Lastwagen in F-Richtung des AV 1310 fährt und das Sichtfeld des zweiten Sensors 1312 blockiert, können die Computerprozessoren 1330 zum Beispiel den dritten Sensor 1313 zum Ausfahren und/oder Drehen veranlassen, sodass dritte Sensor 1313 Sensordaten an Stellen außerhalb des großen Lastwagens erfassen kann. Wenn die Computerprozessoren 1330 bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird (z. B. Straßen-LOS mit einem Grad von D und/oder darunter), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen, sodass der dritte Sensor 1313 Sensordaten an Stellen potenzieller toter Winkel, die mit dem AV 1310 verbunden sind, erfassen kann. Bei einer Ausführungsform drehen die Computerprozessoren 1330 den dritten Sensor 1313 und fahren ihn aus, sodass das Sichtfeld des dritten Sensors 1313 im Wesentlichen entlang der ersten Seite (1S) des AV 1310 zum zweiten Ende (2E) des AV 1310 gerichtet ist. Auf diese Weise kann der dritte Sensor 1313 andere Fahrzeuge in der Nähe des AV 1310 an Stellen erkennen, an denen unter Bedingungen mit hohem Verkehrsaufkommen eine erhöhte Wahrscheinlichkeit einer Beschädigung besteht (z. B. durch seitliches Streifen, Auffahrunfälle usw.), weil sich zum Beispiel andere Fahrzeuge in unmittelbarer Nähe des AV 1310 befinden.
  • Bei einer Ausführungsform führen die Computerprozessoren 1330 während Ausführung der computerausführbaren Anweisungen 1332 Operationen zum Bestimmen aus, ob wenigstens einer der Sensoren 1311, 1312, 1313 dazu in der Lage ist, zusätzliche Daten basierend auf ihrer aktuellen elektronischen Konfiguration zu erfassen, und stellen wenigstens eine elektronische Funktion wenigstens eines der Sensoren 1311, 1312, 1313 so ein, dass wenigstens einer der Sensoren 1311, 1312, 1313 zusätzliche Daten erfassen kann. Eine elektronische Funktion bezieht sich auf einen elektronischen Parameter des Sensors, der die Fähigkeit des Sensors zum Erfassen von Daten erleichtert. Bei einer Ausführungsform schließt Einstellen wenigstens einer elektronischen Funktion Erhöhen/Vermindern der Abtastrate des Sensors, Erhöhen/Vermindern des digitalen Zooms des Sensors, Erhöhen/Vermindern der Strahlleistung des Sensors, Erhöhen/Vermindern der Pixelauflösung des Sensors und/oder Erhöhen/Vermindern der Strahlbreite des Sensors ein. Wenn das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass eine Erhöhung der Objekterkennungsgenauigkeit wünschenswert ist, und können die Abtastrate und/oder Pixelauflösung eines oder mehrerer der Sensoren 1311, 1312, 1313 erhöhen.
  • Während Ausführung der computerausführbaren Anweisungen 1332 führen die Computerprozessoren 1330 bei einer Ausführungsform Operationen zum Empfangen von mit wenigstens einem der Sensoren 1311, 1312, 1313 verbundenen Betriebsdaten aus und veranlassen, basierend auf den empfangenen Betriebsdaten, den dritten Sensor 1313, sich in eine Richtung zu bewegen. Wenn die Betriebsdaten angeben, dass der erste Sensor 1311 und/oder der zweite Sensor 1312 einen Fehlerzustand aufweisen (z .B. der erste und/oder zweite Sensor 1311, 1312 nicht mehr funktionsfähig, beschädigt, unkalibriert usw. sind), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen, sodass das Sichtfeld des dritten Sensors 1313 so ausgerichtet wird, dass es wenigstens Teildeckung des Sichtfelds, das mit dem einen Fehlerzustand aufweisenden Sensor verbunden ist, bereitstellt. Wenn der zweite Sensor 1312 beschädigt und/oder funktionsunfähig wird, können die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen veranlassen, sodass das Sichtfeld des dritten Sensors 1313 das Sichtfeld des zweiten Sensors ergänzen kann.
  • Während Ausführung der computerausführbaren Anweisungen 1332 führen die Computerprozessoren 1330 bei einer Ausführungsform Operationen zum Übertragen von vom dritten Sensor 1313 (oder anderen beweglichen Sensoren) erfassten Sensordaten an ein oder mehrere entfernte Fahrzeugsysteme aus. Bei einer Ausführungsform übertragen die Computerprozessoren 1330 vom dritten Sensor 1313 erfasste Daten an die entfernt gelegene Datenbank 134, wie zuvor unter Bezugnahme auf 1 beschrieben. Andere AV-Systeme können auf die gespeicherten Daten aus der entfernt gelegenen Datenbank 134 zugreifen. Bei einer Ausführungsform sind die Computerprozessoren 1330 zum Übertragen der vom dritten Sensor 1313 erfassten Daten kommunikativ direkt mit anderen AV-Systemen gekoppelt.
  • 16 ist ein Flussdiagramm, das ein Verfahren 1600 zum Verbessern des Fahrzeugbetriebs von Fahrzeugen mit stationären Sensoren durch Verwendung beweglicher Sensoren gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung darstellt. Zu Veranschaulichungszwecken wird das Verfahren 1600 so beschrieben, wie es vom System 1300 zum Verbessern des Fahrzeugbetriebs unter Verwendung beweglicher Sensoren durchgeführt wird, wie zuvor unter Bezugnahme auf 13 erörtert. Das Verfahren 1600 kann jedoch auch von anderen Systemen zum Verbessern des Fahrzeugbetriebs durchgeführt werden. Das Verfahren 1600 schließt Empfangen von Daten, die mit einer Umgebung verbunden sind (Block 1610), Bestimmen eines Kontexts eines Fahrzeugs (Block 1620), Bestimmen, dass zusätzliche Daten erfasst werden sollen (Block 1630), Bestimmen, ob ein beweglicher Sensor dazu in der Lage ist, die zusätzlichen Daten zu erfassen (Block 1640), und Veranlassen des beweglichen Sensors zum Bewegen (Block 1650) ein. Bei einer Ausführungsform schließt das Verfahren 1600 Bestimmen, ob ein Sensor dazu in der Lage ist, zusätzliche Daten zu erfassen (Block 1660) und Einstellen wenigstens eines Sensors (Block 1670) ein. Bei einer Ausführungsform schließt das Verfahren 1600 Übertragen von Sensordaten (Block 1680) ein.
  • In Block 1610 führen die Computerprozessoren 1330 Operationen zum Empfangen von Daten aus, die mit der Umgebung, in der das AV 1310 betrieben wird, verbunden sind. Bei einer Ausführungsform entsprechen die empfangenen Umgebungsdaten Straßenbedingungen, Verkehrsbedingungen und/oder Straßenmerkmalen. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Daten von einem GPS-Gerät (Global Positioning System) oder anderen satellitengestützten Navigationsvorrichtungen ein. Das GPS kann im AV 1310 enthalten oder vom AV 1310 entfernt sein. Bei einer Ausführungsform schließen die vom GPS-Gerät empfangenen Umgebungsdaten Informationen über die Straße, auf der das AV 1310 fährt (z. B. bevorstehende Kurven, Steigungen, Kreuzungen usw.) ein. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Sensordaten von einem oder mehreren vom AV 1310 entfernten Sensoren ein. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Daten von einem Sensor ein, der an einem zweiten AV montiert ist. Die empfangenen Umgebungsdaten können Daten von einem Sensor einschließen, der auf einer Ampelstruktur montiert ist. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Sensordaten ein, die von den Sensoren 1311, 1312, 1313 des AV 1310 erfasst wurden.
  • Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Daten von der entfernt gelegenen Datenbank 134, wie zuvor unter Bezugnahme auf 1 erörtert, und/oder den Cloud-Rechenzentren 204a, 204b, 204c, wie zuvor unter Bezugnahme auf 2 erörtert, ein. Bei einer Ausführungsform schließen die empfangenen Umgebungsdaten Straßenverkehrsdaten ein, die mit dem Straßenverkehrsaufkommen in der Nähe des AV 1310 verbunden sind. Zum Beispiel können Straßenverkehrsdaten Indikatoren, wie z. B. einen Straßennutzungsgrad (Level-Of-Service, LOS) einschließen, der die Belastungsintensität auf einer Straße oder einer Kreuzung angibt, die von „A“ (kaum belastet) bis „F“ (überlastet) bewertet wird. Die Straßenverkehrsdaten können Indikatoren, wie z. B. einen Fahrzeitindex, einschließen, der mit dem Straßensegment verbunden ist, auf dem das AV 1310 fährt, und der das Verhältnis der Fahrgeschwindigkeiten zu Spitzen- und Schwachlastzeiten (z. B. Hauptverkehrszeit versus Nebenverkehrszeit) angibt. Die Straßenverkehrsdaten können Objekterkennungsdaten eines oder mehrerer Sensoren (z. B. am AV 1310 montiert und/oder vom AV 1310 entfernt), die die Anzahl der in der Nähe des AV 1310 fahrenden Fahrzeuge angeben, und/oder Geschwindigkeitsdaten, die die Geschwindigkeit, mit der das AV 1310 fährt, angeben, einschließen.
  • In Block 1620 führen die Computerprozessoren 1330 Operationen zum Bestimmen eines Kontexts des AV 1310 basierend auf den empfangenen Umgebungsdaten aus. Bei einer Ausführungsform schließt Bestimmen eines Kontexts des AV 1310 Bestimmen, dass sich das AV 1310 einer oder mehreren Kurven auf der Straße nähert, Bestimmen, dass sich das AV 1310 einer Kreuzung nähert, Bestimmen, dass das AV 1310 eine Autobahnauffahrt durchfährt, Bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, und/oder Bestimmen, dass wenigstens einer der Sensoren 1311, 1312, 1313 ein wenigstens teilweise verdecktes Sichtfeld aufweist, ein.
  • Wenn die Computerprozessoren 1330 Straßenmerkmalsdaten von einem GPS-Gerät und/oder einem oder mehreren Sensoren (entweder entfernt oder dem AV 1310 entsprechend) empfangen, wobei die Straßenmerkmalsdaten mit der Straße verbunden sind, auf der das AV 1310 fährt, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform basierend auf den empfangenen Straßenmerkmalsdaten, ob sich das AV 1310 einer scharfen Kurve auf der Straße und/oder einer T-Kreuzung auf der Straße nähert. Die Computerprozessoren 1330 können basierend auf den empfangenen Straßenmerkmalsdaten auch bestimmen, ob das AV 1310 eine Autobahnauffahrt durchfährt (oder durchfahren wird). Der Begriff „Autobahn“ hat hierin seine weiteste Bedeutung und bezieht sich auf Fernstraßen, Autobahnen, Bundesstraßen, Autobahnschnellstraßen, Schnellstraßen, Landstraßen und so weiter. Als weiteres Beispiel können die empfangenen Umgebungsdaten Objekterkennungsdaten von einem oder mehreren der AV 1310-Sensoren 1311, 1312, 1313 einschließen. Basierend auf den empfangenen Objekterkennungsdaten können die Computerprozessoren 1330 bestimmen, ob einer der Sensoren 1311, 1312, 1313 ein verdecktes Sichtfeld (z. B. teilweise und/oder vollständig) aufweist. Die Computerprozessoren 1330 können auch bestimmen, dass das AV 1310 bei einem hohen Verkehrsaufkommen betrieben wird, wenn die empfangenen Daten angeben, dass das AV 1310 unter Verkehrsbedingungen mit einem Verkehrsaufkommen betrieben wird, das einen vorgegebenen Verkehrsschwellenwert überschreitet. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, wenn die Verkehrsbedingungen in der Nähe des AV 1310 einen Straßen-LOS-Grad von D verursachen und der vorbestimmte Schwellen-LOS-Grad C ist. Der vorbestimmte Verkehrsschwellenwert kann eine Benutzer- oder Hersteller-Wahl sein und kann auf Sicherheits- und/oder Effizienzerwägungen basieren.
  • In Block 1630 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, dass, basierend auf dem Kontext des AV 1310, zusätzliche Daten erfasst werden sollen. Bei einer Ausführungsform bestimmen die Computerprozessoren 1330, dass zusätzliche Daten erfasst werden sollen, indem sie eine Wahrscheinlichkeit bestimmen, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten außerhalb eines aktuellen Sichtfelds eines oder mehrerer der Sensoren 1311, 1312, 1313 verfügbar sind. Wenn die Computerprozessoren 1330 basierend auf den empfangenen Daten bestimmen, dass sich das AV 1310 einer scharfen Kurve und/oder T-Kreuzung auf der Straße nähert, bestimmen die Computerprozessoren 1330 zum Beispiel, dass zusätzliche Daten an Stellen, die sich von einer Stelle der Kurve/Kreuzung unterscheiden, erfasst werden sollen. Die Computerprozessoren 1330 bestimmen, dass eine hohe Wahrscheinlichkeit (z. B. 75 %, 80 %, 90 % usw.) besteht, dass Objekterkennungsinformationen, die sich auf Bereiche um die Ecken der Kurve/Kreuzung herum beziehen, nützlich sind, um zu erkennen, ob sich andere Fahrzeuge oder Objekte von den Ecken der Kurve/Kreuzung her nähern.
  • Wenn die Computerprozessoren 1330 basierend auf den empfangenen Daten bestimmen, dass das AV 1310 eine Autobahnauffahrt durchfährt, bestimmen die Computerprozessoren 1330 in ähnlicher Weise, dass zusätzliche Daten für der Fahrtrichtung des AV 1310 entgegengesetzte Stellen erfasst werden sollen. Zum Beispiel bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit besteht, dass Objekterkennungsdaten, die sich auf das zweite Ende (2E) des AV 1310 beziehen, nützlich sind, wenn sich das AV 1310 einer Autobahn nähert, um Erkennung anderer Fahrzeuge zu erhöhen, die sich dem AV 1310 schnell von seinem zweiten Ende (2E) nähern. Wenn die Computerprozessoren 1330 basierend auf den empfangenen Umgebungsdaten bestimmen, dass einer oder mehrere der Sensoren 1311, 1312, 1313 ein verdecktes (z. B. teilweise oder vollständig) Sichtfeld aufweisen, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten an Stellen außerhalb des teilweise verdeckten Sichtfelds erfasst werden sollen. Wenn zum Beispiel das Sichtfeld eines oder mehrerer der Sensoren 1311, 1312, 1313 von einem großen Lastwagen verdeckt wird, bestimmen die Computerprozessoren 1330, dass eine hohe Wahrscheinlichkeit besteht, dass zusätzliche Objekterkennungsdaten, die an Stellen außerhalb des großen Lastwagens erfasst werden, nützlich sind, um das Bewusstsein für die Umgebung des AV 1310 zu erhöhen. Nehmen wir als weiteres Beispiel an, dass sich das AV 1310 einer Kreuzung nähert und ein großes Objekt (z. B. ein großer Mülleimer) an einer Ecke der Kreuzung abgestellt wurde, das einen oder mehrere der Sensoren 1311, 1312, 1313 verdeckt und dessen/deren Fähigkeit, entgegenkommenden Verkehr, der sich von der linken Seite und/oder der rechten Seite des AV 1310 bezüglich der Fahrtrichtung des AV 1310 nähert, zu erkennen, einschränkt. Die Computerprozessoren 1330 können dann bestimmen, dass eine hohe Wahrscheinlichkeit besteht, dass zusätzliche Objekterkennungsdaten, die an Stellen außerhalb des großen Objekts erfasst werden, nützlich sind, um Erkennung von annäherndem Verkehr und/oder Fußgängern an der Kreuzung zu erhöhen.
  • Wenn die Computerprozessoren 1330 basierend auf empfangenen Umgebungsdaten bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird (z. B. das Verkehrsaufkommen in der Nähe bei einem Wert liegt, der einen vorbestimmten Verkehrsschwellenwert überschreitet), bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten an Stellen eines oder mehrerer toter Winkel des AV 1310 erfasst werden sollen. Tote Winkel beziehen sich auf Stellen am AV 1310, die anfällig für Beschädigungen durch andere Fahrzeuge sind (z. B. durch seitliches Streifen, Auffahrunfälle usw.), wenn das AV 1310 im Verkehr betrieben wird und/oder von den Sensoren 1311, 1312, 1313 nicht mit überlappenden Sichtfeldern abgedeckt ist. Wenn die Computerprozessoren 1330 bestimmen, dass das AV 1310 unter Verkehrsbedingungen betrieben wird, die einen Straßen-LOS-Grad von D verursachen, und der vorbestimmte Schwellen-LOS-Grad C ist, bestimmen die Computerprozessoren 1330 zum Beispiel, dass eine hohe Wahrscheinlichkeit besteht, dass Objekterkennungsdaten an Stellen eines oder mehrerer toter Winkel des AV 1310 nützlich sein können, um Sichtfelddeckung und Erkennung potenzieller Fahrzeuge, die Schäden am AV 1310 verursachen können, zu erhöhen.
  • In Block 1640 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, ob der dritte Sensor 1313 dazu in der Lage ist, die zusätzlichen Daten basierend auf der aktuellen mechanischen Konfiguration des dritten Sensors 1313 zu erfassen. Wie hierin verwendet, bezieht sich eine mechanische Konfiguration auf eine Position am oder relativ zum AV 1310, an der sich ein Sensor befindet, und auf eine Richtung (z. B. Azimut- und/oder Elevationswinkel) relativ zum AV 1310, in der das Sichtfeld eines Sensors ausgerichtet ist. Der dritte Sensor 1313 kann zum Beispiel eine mechanische Konfiguration aufweisen, bei der sich der dritte Sensor 1313 an der Ecke des ersten Endes (1E) und der ersten Seite (1S) des AV 1310 befindet, und bei der sein Sichtfeld in einem Versatz von 25 Grad zur linken Seite der Fahrtrichtung des AV 1310 ausgerichtet ist. Basierend auf der aktuellen mechanischen Konfiguration des dritten Sensors 1313 und den Umgebungsstellen der Quellen zusätzlicher Daten, die gemäß Bestimmung erfasst werden sollen, bestimmen die Computerprozessoren 1330, ob der dritte Sensor 1313 dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Wenn sich der dritte Sensor 1313 an der Ecke des ersten Endes (1E) und der ersten Seite (1S) des AV 1310 befindet, wobei ein Sichtfeld parallel zur Fahrtrichtung des AV 1310 ausgerichtet ist, und sich die Quellen der zusätzlichen Daten, die gemäß Bestimmung erfasst werden sollen, hinter dem AV 1310 befinden, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass der dritte Sensor 1313 nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Wenn sich die Quellen der zusätzlichen Daten jedoch innerhalb des Sichtfelds des dritten Sensors 1313 bei seiner aktuellen mechanischen Konfiguration befinden, können die Computerprozessoren 1330 bestimmen, dass der dritte Sensor 1313 dazu in der Lage ist, die zusätzlichen Daten zu erfassen.
  • In Block 1650 führen die Computerprozessoren 1330 Operationen aus, um den dritten Sensor 1313 zu veranlassen, sich in eine Richtung zu bewegen, sodass der dritte Sensor 1313 die zusätzlichen Daten erfassen kann, wenn die Computerprozessoren 1330 bestimmt haben, dass der dritte Sensor 1313 nicht dazu in der Lage ist, die zusätzlichen Daten bei seiner aktuellen mechanischen Konfiguration zu erfassen. Bei einer Ausführungsform schließt Veranlassen des dritten Sensors 1313 zum Bewegen Ausfahren des dritten Sensors 1313 in wenigstens eine Richtung, Drehen des dritten Sensors 1313 in eine Richtung um wenigstens eine Drehachse (z. B. Ändern des Azimut- oder Neigungswinkels des dritten Sensors 1313) oder beides ein.
  • Wenn die Computerprozessoren 1330 Umgebungsdaten (z. B. von einem GPS-Gerät) empfangen, die angeben, dass sich das AV 1310 einer T-Kreuzung auf der Straße nähert, auf der das AV 1310 fährt, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass zusätzliche Daten an Stellen um die linke (L) und/oder rechte (R) Ecke der T-Kreuzung herum erfasst werden sollen. Wenn der dritte Sensor 1313 nicht dazu in der Lage ist, die zusätzlichen Daten um die Ecken des T-Kreuzung herum zu erfassen, veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und Drehen, indem sie zum Beispiel die ausfahrbare Haltevorrichtung 1314 betätigen, damit der dritte Sensor 1313 die zusätzlichen Daten an Stellen um die Ecken der T-Kreuzung herum erfassen kann. Daher kann der dritte Sensor 1313 Fahrzeug- und/oder Fußgängerverkehr, der sich von mehreren Seiten der T-Kreuzung nähert, erkennen, wodurch die Fähigkeit des AV 1310, die T-Kreuzung sicher zu navigieren, verbessert wird.
  • Wenn die Computerprozessoren 1330 bestimmen, dass zusätzliche Daten hinter dem AV 1310 erfasst werden sollen, während das AV 1310 eine Autobahnauffahrt durchfährt, veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und Drehen, indem sie zum Beispiel die ausfahrbare Haltevorrichtung 1314 so betätigen, dass der dritte Sensor 1313 die zusätzlichen Daten hinter dem AV 1310 bezüglich der Fahrtrichtung des AV 1310 erfassen kann. Während das AV 1310 die Auffahrt durchfährt, drehen die Computerprozessoren 1330 bei einer Ausführungsform das Sichtfeld des dritten Sensors 1313 so, dass es zur Rückseite des AV 1310 gerichtet ist, während sie gleichzeitig den dritten Sensor 1313 nach oben und/oder zur linken Seite des AV 1310 bezüglich der Fahrtrichtung des AV 1310 ausfahren. Dies kann es dem dritten Sensor 1313 ermöglichen, andere Fahrzeuge und/oder Objekte zu erkennen, die sich dem AV 1310 schnell von hinten nähern können, und/oder zusätzliche Objekterkennungsdeckung bereitstellen, um andere Sensoren zu ergänzen, deren Sichtfeld zur Rückseite des AV 1310 gerichtet sein kann.
  • Wenn die Computerprozessoren 1330 bestimmen, dass wenigstens einer der Sensoren 1311, 1312, 1313 ein teilweise oder vollständig verdecktes Sichtfeld aufweist (z. B. durch einen großen Lastwagen und/oder ein Objekt), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313, sich so zu bewegen, dass der dritte Sensor 1313 Sensordaten außerhalb der verdeckten Sicht erfassen kann. Wenn ein großer Lastwagen vor dem AV 1310 fährt und das Sichtfeld des zweiten Sensors 1312 blockiert, können die Computerprozessoren 1330 zum Beispiel den dritten Sensor 1313 zum Ausfahren und/oder Drehen veranlassen, sodass dritte Sensor 1313 Sensordaten an Stellen außerhalb des großen Lastwagens erfassen kann. Wenn die Computerprozessoren 1330 bestimmen, dass das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird (z. B. Straßen-LOS mit einem Grad von D und/oder darunter), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen, sodass der dritte Sensor 1313 Sensordaten an Stellen potenzieller toter Winkel, die mit dem AV 1310 verbunden sind, erfassen kann. Zum Beispiel, bei einer Ausführungsform drehen die Computerprozessoren 1330 den dritten Sensor 1313 und fahren ihn aus, sodass das Sichtfeld des dritten Sensors 1313 im Wesentlichen entlang der ersten Seite (1S) des AV 1310 zum zweiten Ende (2E) des AV 1310 gerichtet ist. Auf diese Weise kann der dritte Sensor 1313 andere Fahrzeuge in der Nähe des AV 1310 an Stellen erkennen, an denen unter Bedingungen mit hohem Verkehrsaufkommen eine erhöhte Wahrscheinlichkeit einer Beschädigung besteht (z. B. durch seitliches Streifen, Auffahrunfälle usw.), weil sich zum Beispiel andere Fahrzeuge in unmittelbarer Nähe des AV 1310 befinden.
  • In Block 1660 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, ob wenigstens einer der Sensoren 1311, 1312, 1313 dazu in der Lage ist, zusätzliche Daten basierend auf ihrer aktuellen elektronischen Konfiguration zu erfassen.
  • In Block 1670 führen die Computerprozessoren 1330 Operationen zum Einstellen wenigstens einer elektronischen Funktion wenigstens eines der Sensoren 1311, 1312, 1313 aus, sodass wenigstens einer der Sensoren 1311, 1312, 1313 die zusätzlichen Daten erfassen kann. Bei einer Ausführungsform schließt Einstellen wenigstens einer elektronischen Funktion Erhöhen/Vermindern der Abtastrate des Sensors, Erhöhen/Vermindern des digitalen Zooms des Sensors, Erhöhen/Vermindern der Strahlleistung des Sensors, Erhöhen/Vermindern der Pixelauflösung des Sensors und/oder Erhöhen/Vermindern der Strahlbreite des Sensors ein. Wenn das AV 1310 unter Bedingungen mit hohem Verkehrsaufkommen betrieben wird, bestimmen die Computerprozessoren 1330 bei einer Ausführungsform, dass eine Erhöhung der Objekterkennungsgenauigkeit wünschenswert ist, und können die Abtastrate und/oder Pixelauflösung eines oder mehrerer der Sensoren 1311, 1312, 1313 erhöhen.
  • In Block 1680 führen die Computerprozessoren 1330 Operationen zum Übertragen von vom dritten Sensor 1313 (oder anderen beweglichen Sensoren) erfassten Sensordaten an ein oder mehrere entfernte Fahrzeugsysteme aus. Bei einer Ausführungsform übertragen die Computerprozessoren 1330 vom dritten Sensor 1313 erfasste Daten an die entfernt gelegene Datenbank 134, wie zuvor unter Bezugnahme auf 1 beschrieben. Andere AV-Systeme können auf die gespeicherten Daten aus der entfernt gelegenen Datenbank 134 zugreifen. Bei einer Ausführungsform sind die Computerprozessoren 1330 zum Übertragen der vom dritten Sensor 1313 erfassten Daten kommunikativ direkt mit anderen AV-Systemen gekoppelt.
  • 17 ist ein Flussdiagramm, das ein Verfahren 1700 zum Verbessern des Fahrzeugbetriebs durch Verwendung beweglicher Sensoren zum Ergänzen wenigstens eines ausfallenden Sensors gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung darstellt. Das Verfahren 1700 kann zusammen mit dem zuvor unter Bezugnahme auf 16 erörterten Verfahren 1600 durchgeführt werden, oder das Verfahren 1700 kann einzeln durchgeführt werden. Zu Veranschaulichungszwecken wird das Verfahren 1700 so beschrieben, wie es vom System 1300 durchgeführt wird, wie zuvor unter Bezugnahme auf 13 erörtert. Das Verfahren 1700 schließt Empfangen von Betriebsdaten (Block 1710), Bestimmen, ob ein oder mehrere Sensoren einen Fehlerzustand aufweisen (Block 1720), und Veranlassen eines beweglichen Sensors zum Bewegen (Block 1730) ein.
  • In Block 1710 führen die Computerprozessoren 1330 Operationen zum Empfangen von mit wenigstens einem der Sensoren 1311, 1312, 1313 verbundenen Betriebsdaten aus.
  • In Block 1720 führen die Computerprozessoren 1330 Operationen zum Bestimmen aus, basierend auf den empfangenen Betriebsdaten, ob der erste Sensor 1311 und/oder der zweite Sensor 1312 einen Fehlerzustand aufweisen. Ein Fehlerzustand kann teilweise oder vollständig sein. Ein vollständiger Fehlerzustand kann darauf hindeuten, dass einer der Sensoren 1311, 1312 wegen eines Schadens vollständig funktionsunfähig geworden ist. Ein teilweiser Fehlerzustand kann darauf hindeuten, dass einer der Sensoren 1311, 1312 teilweise funktionsunfähig geworden und/oder seine Kalibrierung verloren hat.
  • In Block 1730 führen die Computerprozessoren 1330 Operationen zum Veranlassen des drittens Sensor 1313 zum Bewegen aus, basierend auf der Bestimmung, dass der erste und/oder zweite Sensor 1311, 1312 einen Fehlerzustand aufweisen. Wenn die Betriebsdaten angeben, dass der erste Sensor 1311 und/oder der zweite Sensor 1312 einen Fehlerzustand aufweisen (z .B. der erste und/oder zweite Sensor 1311, 1312 nicht mehr funktionsfähig, beschädigt, unkalibriert usw. sind), veranlassen die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen, sodass das Sichtfeld des dritten Sensors 1313 so ausgerichtet wird, dass es wenigstens Teildeckung des Sichtfelds, das mit dem einen Fehlerzustand aufweisenden Sensor verbunden ist, bereitstellt. Wenn der zweite Sensor 1312 beschädigt und/oder funktionsunfähig wird, können die Computerprozessoren 1330 bei einer Ausführungsform den dritten Sensor 1313 zum Ausfahren und/oder Drehen veranlassen, sodass das Sichtfeld des dritten Sensors 1313 das Sichtfeld des zweiten Sensors 1312 ergänzen kann.
  • Zusätzliche Asführungsformen
  • Bei einigen Ausführungsformen werden Daten empfangen, die mit einer Umgebung, in der das Fahrzeug betrieben wird, verbunden sind. Das Fahrzeug schließt mehrere Sensoren ein. Die Sensoren schließen wenigstens einen beweglichen Sensor ein, der zum Bewegen in wenigstens einer Richtung ausgelegt ist. Basierend auf den empfangenen Daten wird ein Kontext des Fahrzeugs bestimmt. Basierend auf dem Kontext des Fahrzeugs wird bestimmt, dass zusätzliche Daten zu erfassen sind. Es wird bestimmt, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, wird der wenigstens eine bewegliche Sensor dazu veranlasst, sich in wenigstens eine Richtung zu bewegen, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
  • Wenn es sich bei den empfangenen Daten um Objekterkennungsdaten von wenigstens einem Sensor der Vielzahl von Sensoren handelt, die angeben, dass der wenigstens eine Sensor ein wenigstens teilweise verdecktes Sichtfeld aufweist, umfasst das Verfahren bei einigen Ausführungsformen Veranlassen des wenigstens einen beweglichen Sensors zum Bewegen in wenigstens eine Richtung, sodass der wenigstens eine Sensor über das wenigstens teilweise verdeckte Sichtfeld hinausgehende Sensordaten erfassen kann.
  • Bei einigen Ausführungsformen geben empfangenen Daten ein hohes Verkehrsaufkommen in der Nähe des Fahrzeugs an. Der wenigstens eine bewegliche Sensor wird zum Bewegen in wenigstens eine Richtung veranlasst, sodass der wenigstens eine bewegliche Sensor Sensordaten von wenigstens einem toten Winkel des Fahrzeugs erfassen kann.
  • Bei einigen Ausführungsformen wird bestimmt, ob wenigstens ein Sensor, basierend auf einer aktuellen elektronischen Konfiguration des wenigstens einen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen. Basierend auf einer Bestimmung, dass der wenigstens eine Sensor bei der aktuellen elektronischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, wird eine elektronische Funktion des wenigstens einen Sensors so eingestellt, dass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
  • Bei einigen Ausführungsformen werden mit wenigstens einem Sensor der Vielzahl von Sensoren verbundene Betriebsdaten empfangen. Basierend auf den empfangenen Betriebsdaten wird der wenigstens eine bewegliche Sensor zum Bewegen in wenigstens eine Richtung veranlasst.
  • Bei einigen Ausführungsformen geben die Betriebsdaten an, dass der wenigstens eine Sensor einen Fehlerzustand aufweist. Der wenigstens eine bewegliche Sensor wird zum Bewegen in wenigstens eine Richtung veranlasst, sodass der wenigstens eine bewegliche Sensor Sensordaten eines Sichtfelds des wenigstens einen Sensors erfassen kann.
  • Bei einigen Ausführungsformen schließt Veranlassen des wenigstens einen beweglichen Sensor zum Bewegen Veranlassen des wenigstens einen beweglichen Sensors zum Ausfahren in eine Richtung, Drehen in einer Richtung um eine Drehachse oder beides ein.
  • Bei einigen Ausführungsformen schließt Bestimmen, dass zusätzliche Daten erfasst werden sollen, Bestimmen einer Wahrscheinlichkeit ein, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten bei einer Orientierung außerhalb einer aktuellen Sicht des wenigstens einen beweglichen Sensors verfügbar sind.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 16/006950 [0001]
    • US 62/774685 [0001]
    • US 16/668475 [0001]

Claims (20)

  1. Fahrzeug, umfassend: eine Vielzahl von Sensoren, wobei die Vielzahl von Sensoren wenigstens einen beweglichen Sensor umfasst, ausgelegt zum: Bewegen in wenigstens eine Richtung und Erfassen von Sensordaten; computerlesbares Medium, das computerausführbare Anweisungen umfasst; und wenigstens einen kommunikativ mit der Vielzahl von Sensoren einschließlich des wenigstens einen beweglichen Sensors gekoppelten Prozessor, dazu ausgelegt, die computerausführbaren Anweisungen auszuführen, zum: Empfangen von Daten, die mit einer Umgebung verbunden sind, in der das Fahrzeug betrieben wird; Bestimmen eines Kontexts des Fahrzeugs basierend auf den empfangenen Daten; Bestimmen, basierend auf dem Kontext des Fahrzeugs, dass zusätzliche Daten zu erfassen sind; Bestimmen, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und Veranlassen, basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
  2. Fahrzeug nach Anspruch 1, wobei der wenigstens eine bewegliche Sensor auf einer Luftplattform montiert ist, und die Luftplattform geografisch an das Fahrzeug gebunden ist.
  3. Fahrzeug nach Anspruch 1 oder Anspruch 2, wobei der wenigstens eine Prozessor beim Ausführen der computerausführbaren Anweisungen ferner zum Ausführen von Operationen zum Übertragen von vom wenigstens einen beweglichen Sensor erfassten Sensordaten an wenigstens ein entferntes Fahrzeugsystem ausgelegt ist.
  4. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 3, wobei es sich bei den empfangenen Daten um geografische Daten von einem globalen Positionierungssystem handelt.
  5. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 4, wobei, wenn das Fahrzeug eine Straße durchfährt und die empfangenen Daten angeben, dass sich das Fahrzeug wenigstens einer Kurve auf der Straße nähert, der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt ist, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an Stellen erfassen kann, die sich von einer Stelle der wenigstens einen Kurve auf der Straße unterscheiden.
  6. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 5, wobei, wenn die empfangenen Daten angeben, dass das Fahrzeug auf einer Autobahnauffahrt fährt, der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt ist, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an der Fahrtrichtung des Fahrzeugs entgegengesetzten Stellen erfassen kann.
  7. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 6, wobei, wenn es sich bei den empfangenen Daten um Objekterkennungsdaten von wenigstens einem Sensor der Vielzahl von Sensoren handelt, die angeben, dass der wenigstens eine Sensor ein wenigstens teilweise verdecktes Sichtfeld aufweist, der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt ist, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor über das wenigstens teilweise verdeckte Sichtfeld hinausgehende Sensordaten erfassen kann.
  8. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 7, wobei, wenn die empfangenen Daten angeben, dass Straßenverkehr in der Nähe des Fahrzeugs ein Verkehrsaufkommen aufweist, das eine vorbestimmte Verkehrsschwelle überschreitet, der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt ist, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten von wenigstens einem toten Winkel des Fahrzeugs erfassen kann.
  9. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 8, wobei bei Ausführung der computerausführbaren Anweisungen der wenigstens eine Prozessor zum weiteren Ausführen von Operationen ausgelegt ist, um: zu bestimmen, ob wenigstens ein Sensor der Vielzahl von Sensoren, basierend auf einer elektronischen Konfiguration des wenigstens einen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und basierend auf einer Bestimmung, dass der wenigstens eine Sensor bei der aktuellen elektronischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, eine elektronische Funktion des wenigstens einen Sensors so anzupassen, dass der wenigstens eine Sensor die zusätzlichen Daten erfassen kann.
  10. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 9, wobei bei Ausführung der computerausführbaren Anweisungen der wenigstens eine Prozessor weiterhin Operationen ausführt, um: mit wenigstens einem Sensor der Vielzahl von Sensoren verbundene Betriebsdaten zu empfangen; und basierend auf den empfangenen Betriebsdaten zu bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt.
  11. Fahrzeug nach Anspruch 10, wobei, wenn die Betriebsdaten angeben, dass der wenigstens eine Sensor einen Fehlerzustand aufweist, der wenigstens eine Prozessor zum Ausführen von Operationen ausgelegt ist, die bewirken, dass sich der wenigstens eine bewegliche Sensor in eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten eines Sichtfelds des wenigstens einen Sensors erfassen kann.
  12. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 11, wobei Bewirken, dass sich der wenigstens eine bewegliche Sensor bewegt, Bewirken umfasst, dass sich der wenigstens eine bewegliche Sensor in eine Richtung erstreckt, sich in einer Richtung um eine Drehachse dreht, oder beides.
  13. Fahrzeug nach einem beliebigen der Ansprüche 1 bis 12, wobei Bestimmen, dass zusätzliche Daten erfasst werden sollen, Bestimmen einer Wahrscheinlichkeit umfasst, dass für Fahrzeugnavigationszwecke nützliche zusätzliche Daten bei einer Orientierung außerhalb einer aktuellen Sicht des wenigstens einen beweglichen Sensors verfügbar sind.
  14. Verfahren, umfassend: Empfangen von Daten, die mit einer Umgebung verbunden sind, in der ein Fahrzeug betrieben wird, wobei das Fahrzeug eine Vielzahl von Sensoren umfasst, und die Vielzahl von Sensoren wenigstens einen beweglichen, zum Bewegen in wenigstens eine Richtung ausgelegten Sensor umfasst; Bestimmen eines Kontexts des Fahrzeugs basierend auf den empfangenen Daten; Bestimmen, basierend auf dem Kontext des Fahrzeugs, dass zusätzliche Daten zu erfassen sind; Bestimmen, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und Veranlassen, basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
  15. Verfahren nach Anspruch 14, wobei der bewegliche Sensor auf einer Luftplattform montiert ist, und das Verfahren weiter umfasst, dass die Luftplattform geografisch an das Fahrzeug gebunden ist.
  16. Verfahren nach Anspruch 14 oder Anspruch 15, weiter umfassend Übertragen von vom wenigstens einen beweglichen Sensor erfassten Sensordaten an wenigstens ein entferntes Fahrzeugsystem.
  17. Verfahren nach einem beliebigen der Ansprüche 14 bis 16, wobei es sich bei den empfangenen Daten um geografische Daten von einem globalen Positionierungssystem handelt.
  18. Verfahren nach einem beliebigen der Ansprüche 14 bis 17, wobei die empfangenen Daten angeben, dass sich das Fahrzeug wenigstens einer Kurve auf einer Straße nähert, die das Fahrzeug durchfährt, das Verfahren umfassend Bewirken, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an Stellen erfassen kann, die sich von einer Stelle der wenigstens einen Kurve auf der Straße unterscheiden.
  19. Verfahren nach einem beliebigen der Ansprüche 14 bis 18, wobei die empfangenen Daten angeben, dass das Fahrzeug auf einer Autobahnauffahrt fährt, das Verfahren umfassend Bewirken, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor Sensordaten an der Fahrtrichtung des Fahrzeugs entgegengesetzten Stellen erfassen kann.
  20. Nicht transitorisches computerlesbares Speichermedium bzw. nicht transitorische computerlesbare Speichermedien, die Anweisungen speichern, die bei Ausführung durch eine oder mehrere Rechenvorrichtungen die eine oder mehreren Rechenvorrichtungen veranlassen zum: Empfangen von Daten, die mit einer Umgebung verbunden sind, in der ein Fahrzeug betrieben wird, wobei das Fahrzeug eine Vielzahl von Sensoren umfasst, und die Vielzahl von Sensoren wenigstens einen beweglichen, zum Bewegen in wenigstens eine Richtung ausgelegten Sensor umfasst; Bestimmen eines Kontexts des Fahrzeugs basierend auf den empfangenen Daten; Bestimmen, basierend auf dem Kontext des Fahrzeugs, dass zusätzliche Daten zu erfassen sind; Bestimmen, ob der wenigstens eine bewegliche Sensor, basierend auf einer aktuellen mechanischen Konfiguration des wenigstens einen beweglichen Sensors, dazu in der Lage ist, die zusätzlichen Daten zu erfassen; und Veranlassen, basierend auf einer Bestimmung, dass der wenigstens eine bewegliche Sensor bei der aktuellen mechanischen Konfiguration nicht dazu in der Lage ist, die zusätzlichen Daten zu erfassen, dass sich der wenigstens eine bewegliche Sensor in wenigstens eine Richtung bewegt, sodass der wenigstens eine bewegliche Sensor die zusätzlichen Daten erfassen kann.
DE112019004633.0T 2018-12-03 2019-11-27 Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren Pending DE112019004633T5 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862774685P 2018-12-03 2018-12-03
US62/774,685 2018-12-03
US16/668,475 US11835948B2 (en) 2018-12-03 2019-10-30 Systems and methods for improving vehicle operations using movable sensors
US16/668,475 2019-10-30
PCT/US2019/063741 WO2020117601A1 (en) 2018-12-03 2019-11-27 Systems and methods for improving vehicle operations using movable sensors

Publications (1)

Publication Number Publication Date
DE112019004633T5 true DE112019004633T5 (de) 2021-06-10

Family

ID=70849762

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019004633.0T Pending DE112019004633T5 (de) 2018-12-03 2019-11-27 Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren

Country Status (6)

Country Link
US (1) US11835948B2 (de)
KR (2) KR20230062887A (de)
CN (1) CN114667460A (de)
DE (1) DE112019004633T5 (de)
GB (2) GB2589016B (de)
WO (1) WO2020117601A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11514790B2 (en) * 2020-03-26 2022-11-29 Gm Cruise Holdings Llc Collaborative perception for autonomous vehicles
US11407432B2 (en) * 2020-04-30 2022-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Connectivity-enabled traffic-aware supplemental sensor control for informed driving
CA3179131A1 (en) * 2020-05-20 2021-11-25 Irider Vehicle assistive system
CN113848702A (zh) * 2020-06-26 2021-12-28 图森有限公司 自适应传感器控制
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
CN112464782B (zh) * 2020-11-24 2024-09-13 惠州华阳通用电子有限公司 一种行人识别方法和系统
EP4099298B1 (de) * 2021-05-31 2024-05-15 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, computerprogramm und computerlesbares medium
EP4099297B1 (de) * 2021-05-31 2024-02-21 Deutsche Telekom AG Verfahren zur gefahrendetektion und/oder kollisionsvermeidung eines sich bewegenden fahrzeugs, system, computerprogramm und computerlesbares medium
US12006063B2 (en) * 2022-06-27 2024-06-11 GM Global Technology Operations LLC Aerial-based event notification
US20240125939A1 (en) * 2022-10-14 2024-04-18 Here Global B.V. Vehicle mirror assembly with a movable sensor

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
DE102006046843A1 (de) * 2006-10-02 2008-04-03 Robert Bosch Gmbh Verfahren zur Erkennung eines Umfelds
US9194949B2 (en) 2011-10-20 2015-11-24 Robert Bosch Gmbh Methods and systems for precise vehicle localization using radar maps
FR2986647A3 (fr) 2012-02-07 2013-08-09 Renault Sas Vehicule automobile associe a un drone d'observation
EP2639781A1 (de) 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Fahrzeug mit verbesserter Verkehrsobjektpositionserkennung
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
US9025140B2 (en) * 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
US9632210B2 (en) 2013-05-07 2017-04-25 Google Inc. Methods and systems for detecting weather conditions using vehicle onboard sensors
US20150175088A1 (en) * 2013-12-23 2015-06-25 Teddy Chang Extendable Surround Image Capture System for Vehicles
US9409644B2 (en) * 2014-07-16 2016-08-09 Ford Global Technologies, Llc Automotive drone deployment system
DE102014226458A1 (de) 2014-12-18 2016-06-23 Volkswagen Aktiengesellschaft Verfahren und System zur Steuerung eines autonom bewegbaren, datentechnisch mit einem Fahrzeug gekoppelten Flugkörpers
JP2016138853A (ja) 2015-01-29 2016-08-04 株式会社ゼンリンデータコム ナビゲーションシステム、車載ナビゲーション装置、飛行体、ナビゲーション方法、車載ナビゲーション装置用連携プログラム及び飛行体用連携プログラム
DE102015207979A1 (de) 2015-04-30 2016-11-03 Bayerische Motoren Werke Aktiengesellschaft Landfahrzeug mit unbemannter Flugvorrichtung und Vermittlungsstation dazu
US10023201B1 (en) * 2015-05-18 2018-07-17 United Services Automobile Association (Usaa) Systems and methods for proximate event capture
US10577081B2 (en) * 2016-03-24 2020-03-03 Intel Corporation Proactive vehicle control systems and methods
US9880561B2 (en) * 2016-06-09 2018-01-30 X Development Llc Sensor trajectory planning for a vehicle
US10126722B2 (en) * 2016-08-01 2018-11-13 Qualcomm Incorporated System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning
US10471904B2 (en) * 2016-08-08 2019-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting the position of sensors of an automated vehicle
US10037632B2 (en) 2016-09-01 2018-07-31 Ford Global Technologies, Llc Surrogate vehicle sensors
WO2018045354A2 (en) 2016-09-02 2018-03-08 FLIR Belgium BVBA Unmanned aerial system assisted navigational systems and methods
US10488493B2 (en) * 2016-09-27 2019-11-26 Denso International America, Inc. Sensor array for autonomous vehicle
US10025311B2 (en) 2016-10-28 2018-07-17 Delphi Technologies, Inc. Automated vehicle sensor control system
JP6624022B2 (ja) * 2016-11-24 2019-12-25 株式会社デンソー 情報提供システム、車両用装置、情報提供プログラム
KR20180065760A (ko) * 2016-12-08 2018-06-18 한국전자통신연구원 무인비행체를 이용한 자율주행 시스템 및 자율주행 차량 장치
CN108225340A (zh) 2016-12-21 2018-06-29 致伸科技股份有限公司 自动辅助驾驶系统及其方法
GB2574528A (en) * 2017-03-10 2019-12-11 Walmart Apollo Llc System and method for automated handoff between unmanned aerial vehicles and autonomous ground vehicles
WO2018196001A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10579069B2 (en) * 2017-10-09 2020-03-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous driving systems using aerial vehicles
US20190384276A1 (en) * 2018-06-13 2019-12-19 Delphi Technologies, Llc Drone assisted navigation system for a vehicle
US10782689B2 (en) * 2018-08-10 2020-09-22 Pony Ai Inc. Systems and methods for selectively capturing sensor data of an autonomous vehicle using a sensor guide rail
KR101990886B1 (ko) * 2018-11-22 2019-06-19 주식회사 무지개연구소 빅데이터 기반 자율 비행 드론 시스템 및 그 자율 비행 방법

Also Published As

Publication number Publication date
GB2589016B (en) 2022-10-19
US11835948B2 (en) 2023-12-05
GB2589016A (en) 2021-05-19
US20200174469A1 (en) 2020-06-04
GB202212917D0 (en) 2022-10-19
WO2020117601A1 (en) 2020-06-11
GB202018896D0 (en) 2021-01-13
KR20210013594A (ko) 2021-02-04
CN114667460A (zh) 2022-06-24
KR20230062887A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
DE112019004633T5 (de) Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren
DE102020111682A1 (de) Systeme und verfahren zum implementieren einer autonomen fahrzeugreaktion auf ein sensorversagen
DE102020111938A1 (de) Systeme und verfahren zum planen und aktualisieren einer fahrzeugtrajektorie
DE102021101758A1 (de) Ampeldetektionssystem für ein fahrzeug
DE112020000487T5 (de) Automatisches wählen von datenproben zur annotation
DE102020129854A1 (de) Sequenzielle fusion zur 3d-objektdetektion
DE112020000653T5 (de) Zusammenführen von daten aus mehreren lidar-vorrichtungen
DE112020002604T5 (de) Systeme und verfahren für die fahrzeugnavigation
DE112019006128T5 (de) Systeme und verfahren zum validieren von sensorkalibrierung
DE102020133982A1 (de) Automatisierte objektannotation unter verwendung fusionierter kamera-/lidar-datenpunkte
DE102020133744A1 (de) Vordergrundextraktion unter verwendung von flächenanpassung
DE102021100584A1 (de) Erfassung und klassifizierung von sirenensignalen und lokalisierung von sirenensignalquellen
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
DE112019006548T5 (de) Lenkwinkelkalibrierung
DE112019005804T5 (de) Selbstreinigendes sensorgehäuse
DE102020134834A1 (de) Objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102020135000A1 (de) Systeme und verfahren zur verkehrsampelerfassung
DE102020126217A1 (de) Navigieren von Mehrwege-Stopp-Kreuzungen mit einem autonomen Fahrzeug
DE102021133742A1 (de) Planung einer trajektorie eines autonomen fahrzeugs mit dynamischem zustand
DE102021133739A1 (de) Steuern eines autonomen fahrzeugs unter verwendung einer näheregel
DE102020120873A1 (de) Lokalisierung basierend auf vordefinierten merkmalen der umgebung
DE102021131820A1 (de) Zusammenführen von lidar-informationen und kamerainformationen
DE102020123587A1 (de) Betrieb eines autonomen fahrzeugs basierend auf der verfügbarkeit von navigationsinformationen
DE102021131844A1 (de) Systeme und verfahren zum implementieren von verdeckungspräsentationen über strassenmerkmale
DE102021110157A1 (de) Av-wegplanung mit kalibrierungsinformationen