CN116149310A - 运载工具、用于运载工具的方法和存储介质 - Google Patents
运载工具、用于运载工具的方法和存储介质 Download PDFInfo
- Publication number
- CN116149310A CN116149310A CN202210138356.6A CN202210138356A CN116149310A CN 116149310 A CN116149310 A CN 116149310A CN 202210138356 A CN202210138356 A CN 202210138356A CN 116149310 A CN116149310 A CN 116149310A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- sensor
- hazard
- constraint
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000033001 locomotion Effects 0.000 claims abstract description 225
- 230000004044 response Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 10
- 238000002310 reflectometry Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 239000003921 oil Substances 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 abstract description 3
- 230000004913 activation Effects 0.000 description 59
- 238000004891 communication Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 25
- 238000007726 management method Methods 0.000 description 24
- 230000008447 perception Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 231100001267 hazard identification Toxicity 0.000 description 9
- 241001465754 Metazoa Species 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000004575 stone Substances 0.000 description 4
- 239000010426 asphalt Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 239000011449 brick Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- -1 dirt Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/068—Road friction coefficient
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/18—Four-wheel drive vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/40—Torque distribution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/40—Coefficient of friction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
- B60W2710/207—Steering angle of wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
- B60W2720/106—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/12—Lateral speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/12—Lateral speed
- B60W2720/125—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/20—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/82—Four wheel drive systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Motorcycle And Bicycle Frame (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及运载工具、用于运载工具的方法和存储介质。提供了用于基于路面危险的运动规划器约束生成的方法,其可以包括:接收与对象有关的信息;将对象识别为特定道路危险;基于道路危险来生成一个或多于一个运动约束;以及基于运动约束来控制运载工具。还提供了系统和计算机程序产品。
Description
技术领域
本发明涉及运载工具、用于运载工具的方法和存储介质。
背景技术
危险通常发生在路面上,并且会影响路面的条件。危险包括但不限于动物、崎岖道路、砂砾、颠簸边缘、不平膨胀接缝、光滑面、积水、碎石、雪、冰、或者从施工现场或其他运载工具掉落的物体。危险影响运载工具的操作。例如,运载工具可以改变其路径或速率以对危险做出响应。
发明内容
一种运载工具,包括:至少一个始终开启型传感器和至少一个按需型传感器;至少一个处理器;以及至少一个非暂时性存储介质,用于存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:接收与所述运载工具的环境中的路面上的对象有关的初始信息,所述初始信息是由所述运载工具的所述至少一个始终开启型传感器生成的;确定与所述对象有关的初始信息表示至少一个预定道路危险的概率;响应于确定为所述概率高于阈值,接收与所述对象有关的附加信息,所述附加信息是由所述运载工具的所述至少一个按需型传感器生成的;基于所述初始信息和所述附加信息来将所述对象识别为所述至少一个预定道路危险中的至少一个;响应于将所述对象识别为所述至少一个预定道路危险中的至少一个,基于所识别的预定道路危险来确定针对所述运载工具的至少一个运动约束,所述至少一个运动约束包括转向角约束或速度约束;将所述至少一个运动约束传输到所述运载工具的运动规划器,所述运动规划器用于基于所述至少一个运动约束来确定所述运载工具在所述路面上的移动;基于所述至少一个运动约束来生成与控制所述运载工具的移动相关联的控制信息;以及传输所述控制信息,以使所述运载工具基于所述移动进行操作。
一种用于运载工具的方法,包括:利用至少一个处理器,接收与所述运载工具的环境中的路面上的对象有关的初始信息,所述初始信息是由所述运载工具的至少一个始终开启型传感器生成的;利用所述至少一个处理器,确定与所述对象有关的初始信息表示至少一个预定道路危险的概率;利用所述至少一个处理器,响应于确定为所述概率高于阈值,接收与所述对象有关的附加信息,所述附加信息是由所述运载工具的至少一个按需型传感器生成的;利用所述至少一个处理器,基于所述初始信息和所述附加信息来将所述对象识别为所述至少一个预定道路危险中的至少一个;利用所述至少一个处理器,响应于将所述对象识别为所述至少一个预定道路危险中的至少一个,基于所识别的预定道路危险来确定针对所述运载工具的至少一个运动约束,所述至少一个运动约束包括转向角约束或速度约束;利用所述至少一个处理器,将所述至少一个运动约束传输到所述运载工具的运动规划器,所述运动规划器用于基于所述至少一个运动约束来确定所述运载工具在所述路面上的移动;利用所述至少一个处理器,基于所述至少一个运动约束来生成与控制所述运载工具的移动相关联的控制信息;以及利用所述至少一个处理器,传输所述控制信息,以使所述运载工具基于所述移动进行操作。
一种非暂时性计算机可读存储介质,包括由至少一个处理器执行的至少一个程序,所述至少一个程序包括指令,所述指令在由所述至少一个处理器执行的情况下,使运载工具进行计算机实现的上述的方法。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境;
图2是包括自主系统的运载工具的一个或多于一个系统的图;
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图;
图4是自主系统的某些组件的图;
图5A和图5B是用于基于路面危险的运动规划器约束生成的处理的实现的图;
图6例示运载工具识别道路危险的示例情景;
图7例示传感器基于所接收到的光来生成道路危险的信息的示例情景;
图8例示两个始终开启型(always-on)传感器基于所接收到的光来生成道路危险的信息的示例情景;
图9例示发射器产生光并且按需型(on-command)传感器基于所接收到的光来生成道路危险的信息的示例情景;
图10例示与特定道路危险相关联的运动约束以及基于运动约束来控制运载工具的第一示例;
图11例示与特定道路危险相关联的运动约束以及基于运动约束来控制运载工具的第二示例;
图12A~12C例示道路危险的时间变化;
图13例示运载工具将道路危险信息存储在存储器中;以及
图14是用于基于路面危险的运动规划器约束生成的处理的流程图。
具体实施方式
在以下描述中,为了解释的目的,阐述了许多具体细节,以便提供对本公开的透彻理解。然而,本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中,众所周知的构造和装置是以框图形式例示的,以避免不必要地使本公开的方面模糊。
在附图中,为了便于描述,例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而,本领域技术人员将要理解,除非明确描述,否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外,除非明确描述,否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素,也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外,在附图中,连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间或之中的连接、关系或关联,没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说,要素之间的一些连接、关系或关联未在附图中例示,以便不使本公开内容模糊。此外,为了便于例示,可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如,如果连接要素表示信号、数据或指令(例如,“软件指令”)的通信,本领域技术人员应理解,这种要素可以表示影响通信可能需要的一个或多个信号路径(例如,总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素,但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如,在没有背离所描述的实施例的范围的情况下,第一触点可被称为第二触点,并且类似地,第二触点可被称为第一触点。第一触点和第二触点这两者都是触点,但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的,而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的,单数形式“a”、“an”和“the”也意在包括复数形式,并且可以与“一个或多于一个”或者“至少一个”互换使用,除非上下文另有明确说明。还将理解的是,如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是,当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时,具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件,但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的,术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如,装置、系统、装置或系统的组件、以及/或者它们的组合等)而言,这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如,传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外,即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息,两个单元也可以彼此进行通信。例如,即使第一单元被动地接收信息并且不主动地向第二单元传输信息,第一单元也可以与第二单元进行通信。作为另一示例,如果至少一个中介单元(例如,位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元,则第一单元可以与第二单元进行通信。在一些实施例中,消息可以是指包括数据的网络分组(例如,数据分组等)。
如本文所使用的,取决于上下文,术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地,取决于上下文,短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外,如本文所使用的,术语“有”、“具有”或“拥有”等旨在是开放式术语。此外,除非另有明确说明,否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例,其示例在附图中例示出。在以下的详细描述中,阐述了许多具体细节,以便提供对所描述的各种实施例的透彻理解。然而,对于本领域的普通技术人员来说将明显的是,可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下,尚未详细描述众所周知的方法、过程、组件、电路和网络,以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中,本文所述的系统、方法和计算机程序产品包括和/或实现用于识别存在于运载工具(例如,自主运载工具)正在行驶所沿着的路面上的道路危险(例如,碎石、冰、水、油、沙或雪)的步骤。(例如,经由转向和/或制动控制)基于道路危险的存在来控制运载工具。
通常,自主运载工具计算(也称为“AV堆栈”)通过确定传输到运载工具的运动规划器的运动约束来考虑所识别的道路危险。运动规划器进而规划经受这些运动约束的运载工具的轨迹,并且控制运载工具以跟随该轨迹。在一些示例中,AV堆栈通过减速来考虑所识别的道路危险。在其他示例中,运载工具通过绕过道路危险进行导航来考虑所识别的道路危险。
借助本文所述的系统、方法和计算机程序产品的实现,用于基于路面危险的运动规划器约束生成的技术提供了以下优点中的一个或多于一个。
在一些示例中,该技术实现更安全的运载工具行驶。例如,尽快识别即将来临的道路危险的自主或部分自主运载工具有更多时间对道路危险作出反应。例如,运载工具可以识别道路上的冰块意味着运载工具可以决定通过转向绕过冰块来避开冰块。以这种方式,尽快识别道路危险并确定合适的运动约束与无这种技术的运载工具相比提供了更安全的运载工具搭乘,因为否则运载工具将继续照常驾驶通过可能导致事故的道路危险。以这种方式,利用该技术,运载工具内的乘员、其他运载工具、行人、以及环境内的动物全部更安全。
该技术实现更安全的运载工具行驶的另一方式是通过基于特定道路危险来确定运动约束。例如,在该技术将道路危险识别为湿滑条件(例如,沙、冰、油等)并且还确定为避开道路危险不可行(例如,行驶的车道被阻挡、道路危险覆盖路面的整个宽度等)的情况下,该技术对运载工具的轨迹应用运动约束以避免突然的运载工具轨迹变化(例如,运载工具的行驶方向的突然变化、运载工具的加速度的突然变化等)。避免突然的运载工具轨迹变化降低了运载工具在其行驶通过道路危险时失去控制的可能性。
在一些示例中,该技术是节能的,因为该技术使用始终开启型传感器(例如,将用于正常驾驶的传感器[例如,雷达(RADAR)、LiDAR(激光雷达)、照相机等]和按需型传感器(例如,仅当该技术确定为前方可能有道路危险[例如,高于阈值]时才使用的传感器)[例如,具有远距离变焦镜头的照相机等])这两者。
现在参考图1,例示示例环境100,在该示例环境100中,包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的,环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如,建立用于通信的连接等)。在一些实施例中,对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中,运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中,运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中,运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中,一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中,如本文所述,运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中,一个或多于一个运载工具102包括自主系统(例如,与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如,建筑物、标志、消防栓等)等。各对象104(例如,位于固定地点处并在一段时间内)是静止的或(例如,具有速度且与至少一个轨迹相关联地)移动。在一些实施例中,对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如,规定该一系列动作)。各个路线106始于初始状态(例如,与第一时空地点和/或速度等相对应的状态),并且结束于最终目标状态(例如,与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如,可接受状态(例如,终止状态)的子空间)。在一些实施例中,第一状态包括一个或多于一个个体将要搭载AV的地点,并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中,路线106包括多个可接受的状态序列(例如,多个时空地点序列),这多个状态序列与多个轨迹相关联(例如,定义多个轨迹)。在示例中,路线106仅包括高级别动作或不精确的状态地点,诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地,路线106可以包括更精确的动作或状态,诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中,路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列,其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如,地理区)。在示例中,区域108包括至少一个州(例如,国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中,区域108包括至少一个已命名干道(本文称为“道路”),诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地,在一些示例中,区域108包括至少一个未命名道路,诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中,道路包括至少一个车道(例如,道路的运载工具102可以穿过的部分)。在示例中,道路包括与至少一个车道标记相关联的(例如,基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中,V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中,V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如,二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中,V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地,在一些实施例中,V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中,V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中,网络112包括蜂窝网络(例如,长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如,公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中,远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中,远程AV系统114与队列管理系统116位于同一位置。在一些实施例中,远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中,远程AV系统114在运载工具的寿命期间维护(例如,更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中,队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中,队列管理系统116与拼车公司(例如,用于控制多个运载工具(例如,包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中,V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中,V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中,V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中,V2I系统118与市政当局或私营机构(例如,用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比,可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地,环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地,环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2,运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中,运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中,运载工具200具有自主能力(例如,实现如下的至少一个功能、特征和/或装置等,该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作,其包括但不限于完全自主运载工具(例如,放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如,在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述,可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems),其全部内容通过引用而被包含。在一些实施例中,运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件,该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中,自主系统202可以包括更多或更少的装置和/或不同的装置(例如,超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中,自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如,环境100)。在一些实施例中,自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如,小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如,使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中,照相机202a生成照相机数据作为输出。在一些示例中,照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中,图像数据可以指定与图像相对应的至少一个参数(例如,诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中,图像可以采用格式(例如,RAW、JPEG和/或PNG等)。在一些实施例中,照相机202a包括配置在(例如,定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中,照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中,自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中,照相机202a被配置为捕获在相对于照相机202a的距离(例如,高达100米和/或高达1千米等)内的对象的图像。因此,照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中,照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中,照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中,照相机202a生成与包括格式(例如,RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中,生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于:照相机202a可以包括具有宽视场(例如,广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机,以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如,激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如,红外光等)。在一些实施例中,在操作期间,由LiDAR传感器202b发射的光遇到物理对象(例如,运载工具)并被反射回到LiDAR传感器202b。在一些实施例中,由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器,该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中,与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如,点云和/或组合点云等)。在一些示例中,与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如,表面的拓扑结构)等的图像。在这样的示例中,该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中,在操作期间,由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中,由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中,与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如,与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如,表面的拓扑结构)等的图像。在一些示例中,该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如,与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如,表示该音频信号)的数据的一个或多于一个麦克风(例如,阵列麦克风和/或外部麦克风等)。在一些示例中,麦克风202d包括变换器装置和/或类似装置。在一些实施例中,本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据,并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如,距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如,通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中,通信装置202e包括运载工具到运载工具(V2V)通信装置(例如,用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中,自主运载工具计算202f包括诸如客户端装置、移动装置(例如,蜂窝电话和/或平板电脑等)和/或服务器(例如,包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中,自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地,在一些实施例中,自主运载工具计算202f被配置为与自主运载工具系统(例如,与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如,与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如,与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中,安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如,动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中,安全控制器202g被配置为生成优先于(例如,覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中,DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如,动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如,电气控制器和/或机电控制器等)。附加地或可替代地,DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如,转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中,动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中,动力总成控制系统204从DBW系统202h接收控制信号,并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中,动力总成控制系统204使提供至运载工具的马达的能量(例如,燃料和/或电力等)增加、保持相同或减少,由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中,转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中,转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转,以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中,制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地,在一些示例中,制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中,运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中,运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3,例示装置300的示意图。如所例示的,装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中,装置300对应于:运载工具102的至少一个装置(例如,运载工具102的系统的至少一个装置);以及/或者网络112的一个或多于一个装置(例如,网络112的系统的一个或多于一个装置)。在一些实施例中,运载工具102的一个或多于一个装置(例如,运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如,网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示,装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中,处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中,处理器304包括处理器(例如,中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如,现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如,闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中,存储组件308包括硬盘(例如,磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如,触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地,在一些实施例中,输入接口310包括用于感测信息的传感器(例如,全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如,显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中,通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如,收发器和/或单独的接收器和发射器等)。在一些示例中,通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中,通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、接口和/或蜂窝网络接口等。
在一些实施例中,装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如,非暂时性计算机可读介质)在本文被定义为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中,经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时,使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地,代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此,除非另外明确说明,否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如,数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息,将信息存储在该数据存储部或至少一个数据结构中,将信息通信至该数据存储部或至少一个数据结构,或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中,该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中,装置300被配置为执行存储在存储器306和/或另一装置(例如,与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的,术语“系统”是指存储器306和/或另一装置的存储器中所存储的至少一个指令,该至少一个指令在由处理器304和/或另一装置(例如,与装置300相同或类似的另一装置)的处理器执行时,使装置300(例如,装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中,系统以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中,与图3所例示的组件相比,装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地,装置300的一组组件(例如,一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4,例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的,自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如,运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地,在一些实施例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如,与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中,感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中,自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如,存储器中所存储的软件指令)、计算机硬件(例如,通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解,在一些实施例中,自主运载工具计算400被配置为与远程系统(例如,与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中,感知系统402接收与环境中的至少一个物理对象相关联的数据(例如,感知系统402检测至少一个物理对象所使用的数据),并对该至少一个物理对象进行分类。在一些示例中,感知系统402接收由至少一个照相机(例如,照相机202a)捕获到的图像数据,该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如,表示该一个或多于一个物理对象)。在这样的示例中,感知系统402基于物理对象(例如,自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中,基于感知系统402对物理对象进行分类,感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中,规划系统404接收与目的地相关联的数据,并且生成与运载工具(例如,运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如,路线106)相关联的数据。在一些实施例中,规划系统404定期地或连续地从感知系统402接收数据(例如,上述的与物理对象的分类相关联的数据),并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中,规划系统404从定位系统406接收与运载工具(例如,运载工具102)的更新位置相关联的数据,并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中,定位系统406接收与运载工具(例如,运载工具102)在区域中的地点相关联(例如,表示该地点)的数据。在一些示例中,定位系统406接收与至少一个LiDAR传感器(例如,LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中,定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据,并且定位系统406基于各个点云来生成组合点云。在这些示例中,定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后,基于定位系统406将至少一个点云或组合点云与地图进行比较,定位系统406确定运载工具在区域中的位置。在一些实施例中,地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中,地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中,基于感知系统所接收到的数据来实时地生成地图。
在另一示例中,定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中,定位系统406接收与运载工具在区域中的地点相关联的GNSS数据,并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中,定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中,定位系统406生成与运载工具的位置相关联的数据。在一些示例中,基于定位系统406确定运载工具的位置,定位系统406生成与运载工具的位置相关联的数据。在这样的示例中,与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中,控制系统408从规划系统404接收与至少一个轨迹相关联的数据,并且控制系统408控制运载工具的操作。在一些示例中,控制系统408从规划系统404接收与至少一个轨迹相关联的数据,并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如,DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如,转向控制系统206)和/或制动系统(例如,制动系统208)进行操作,来控制运载工具的操作。在示例中,在轨迹包括左转的情况下,控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角,由此使运载工具200左转。附加地或可替代地,控制系统408生成并传输控制信号以使运载工具200的其它装置(例如,前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中,感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如,至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中,感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中,感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如,用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中,数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如,与图3的存储组件308相同或类似的存储组件)。在一些实施例中,数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中,数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如,国家)等的2D和/或3D地图相关联的数据。在这样的示例中,运载工具(例如,与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如,单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶,并且使至少一个LiDAR传感器(例如,与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中,数据库410可以跨多个装置来实现。在一些示例中,数据库410包括在运载工具(例如,与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如,与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如,与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如,与图1的V2I系统118相同或类似的V2I系统)等中。
现在参考图5A和图5B,例示了用于基于路面危险的运动规划器约束生成的处理的实现500的图。在一些实施例中,实现500由运载工具502的道路危险约束系统580进行。在一些示例中,道路危险约束系统580包括用于执行该实现的步骤的至少一个处理器。在一些示例中,运载工具502与上述的运载工具102和/或运载工具200相同或类似。特别地,运载工具502包括与以上参考图4所述的感知系统400相同或类似的感知系统504。在该示例中,道路危险约束系统580由感知系统504实现。
在图5A中,感知系统504包括道路危险处理系统506和约束生成系统508。本技术输出运动约束以在存在道路危险的情况下继续导航。通常,运动约束是对运载工具的规划运动的修改或限制。一个或多于一个始终开启型传感器510生成与运载工具502前方的路面有关的信息512。如本文所使用,“始终开启”意味着不论来自感知系统504的请求如何、传感器510都生成与路面有关的信息。在一些示例中,始终开启型传感器510包括如以上参考图2所述的照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h。以这种方式,始终开启型传感器510可以是成像传感器、声学传感器、温度传感器、或者成像传感器、声学传感器或温度传感器的阵列、或者它们的任何组合中的至少一个。
在一些示例中,始终开启型传感器510周期性地和/或连续地生成与路面有关的信息512,并且将该信息512传输到道路危险处理系统506。通常,始终开启型传感器510生成包括与路面上的一个或多于一个对象有关的信息的信息512。在一些示例中,路面上的对象与路面的失去牵引(例如,冰、水、油、沙和/或雪等)相关联。在其他示例中,对象与随时间的经过静止不动或移动的障碍物(例如,动物、施工锥等)相关联。在一些情况下,这些对象被道路危险处理系统506识别为道路危险。
在实施例中,如下所述将对象识别为道路危险。然而,术语“道路危险”或“危险”有时与术语“对象”同义。以下通过各种示例来说明与使用道路危险处理系统506将这些对象识别为特定道路危险有关的进一步细节。
在一些示例中,来自始终开启型传感器510的信息512被视为“初始”信息,因为信息512是由道路危险处理系统506在不存在对这种信息的请求的情况下接收到的,并且道路危险处理系统506可以接收如下所述的附加信息。此外,始终开启型传感器510可被视为“第一”传感器,因为附加信息是由如下所述的附加传感器生成的。
在一些实施例中,始终开启型传感器510中的一些始终开启型传感器510在与另一传感器相比时具有不同的灵敏度(例如,更低灵敏度vs更高灵敏度)。通常,灵敏度是指传感器对变化、信号或影响的响应性。例如,如果传感器510是成像传感器,则一个传感器的透镜的孔径相对于第二传感器可以减小,这导致与第二传感器相比更低的灵敏度。以这种方式,各个始终开启型传感器510在与单个始终开启型传感器相比时可被配置为具有不同的灵敏度,以覆盖更宽的动态范围。这在运载工具502在日间行驶和夜间行驶期间识别道路危险的情景中是有益的。特别地,日间条件和夜间条件表示动态范围值的范围的相对端。本技术生成运动约束以在存在道路危险的情况下跨宽范围的动态范围值对运载工具进行导航。
在一些实施例中,初始信息512包括由始终开启型传感器510生成的日期、时间、地点和/或空间数据。例如,在始终开启型成像传感器的情况下,初始信息512可以包括与以下有关的信息512:生成图像时的日期、生成图像时的时间、以及生成图像时的运载工具502的纬度和经度。在一些示例中,初始信息包括表示视频的一个或多于一个图像。在一些示例中,初始信息512包括由始终开启型传感器510生成的图像的空间像素数据。
如上所述,在示例中,在运载工具500前方的路面包括道路危险时,初始信息512也可以包括与道路危险有关的信息。一般而言,道路危险处理系统506基于初始信息512来识别道路危险,并将这种识别信息562传输到约束生成系统508,以基于识别信息562的所识别的道路危险来生成运载工具502的一个或多于一个运动约束560。
在一些实施例中,一旦道路危险处理系统506接收到初始信息512,道路危险处理系统506就确定初始信息512(其如上所述可以包括与一个或多于一个对象有关的信息)表示至少一个预定道路危险的概率。在一些示例中,预定道路危险表示已知道路危险的清单。在一些示例中,如上所述,预定道路危险表示湿滑条件。在一些示例中,湿滑条件是冰、水、油、沙和/或雪。以这种方式,预定道路危险可以表示路面上的冰、水、油、沙和/或雪中的至少一个的湿滑条件。
一旦确定了概率并且道路危险处理系统506确定为该概率高于阈值(例如,高于50%),道路危险处理系统506就向按需型传感器526传输请求以获得与同至少一个预定道路危险相对应的对象有关的附加信息。以这种方式,在路面上的一个或多于一个对象是道路危险的概率高时,按需型传感器526获得与这些对象有关的附加信息。
如本文所使用,“按需”意味着传感器526响应于来自感知系统504的请求而生成与路面有关的信息。通常,按需型传感器526在被请求时生成信息,以节省能量、减少过热、减少磨损和损耗、以及减少对始终开启型传感器510的干扰。在一些示例中,按需型传感器526包括如以上参考图2所述的照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h。以这种方式,按需型传感器526可以是成像传感器、声学传感器、温度传感器、或者成像传感器、声学传感器或温度传感器的阵列、或者它们的任何组合中的至少一个。
在一些示例中,按需型传感器526生成与路面有关的附加信息528,并将该附加信息528传输到道路危险处理系统506。在该示例中,如上所述,信息528被视为“附加”信息,因为信息528是由道路危险处理系统506响应于对这种信息的请求并且是在来自始终开启型传感器510的初始信息512之后接收到的。以这种方式,按需型传感器526可被视为“第二”传感器,因为按需型传感器526可以不同于始终开启型传感器510、以及/或者是除始终开启型传感器510之外附加使用的或在始终开启型传感器510之后使用的。另外,与始终开启型传感器510一样,按需型传感器526中的一些按需型传感器526在与其他按需型传感器526和/或始终开启型传感器510相比时也可以具有不同的灵敏度。
一旦按需型传感器526获得了与对象有关的附加信息,则按需型传感器526将附加信息528传输到道路危险处理系统506。道路危险处理系统506至少部分地基于附加信息来识别道路危险。参考图5B来进一步说明利用道路危险处理系统506的识别。
一旦道路危险处理系统506将对象识别为预定道路危险中的至少一个,道路危险处理系统506就将与所识别的道路危险相关联的识别信息562传输到约束生成系统508。进而,约束生成系统508基于识别信息562来确定针对运载工具502的一个或多于一个运动约束560。如上所述,运动约束560可以包括限制运载工具502的运动的约束。在一些示例中,运动约束560包括特定速度、加速度、行驶车道和/或转向角变化约束。以下通过各种示例来说明与一个或多于一个运动约束560的确定有关的进一步细节。
一旦约束生成系统508确定了一个或多于一个运动约束560,约束生成系统508就将这些运动约束560传输到运载工具502的运动规划器550。进而,运动规划器560将运动约束550并入运载工具502的规划路径和/或轨迹以确定运载工具502的控制信息564。通常,控制信息564包括供控制系统552控制运载工具502用的一个或多于一个输入条件。一旦运动规划器560确定了控制信息564,运动规划器560就将控制信息564传输到控制系统552。进而,控制系统552控制运载工具502的控制硬件(例如,油门系统、转向系统等)以改变运载工具502的路径和/或轨迹。以下通过各种示例来说明与如何基于运动约束来控制运载工具有关的进一步细节。
图5B是图5A的道路危险处理系统506的详细例示。相似的项由相同的参考编号标识。道路危险处理系统506将初始信息512、附加信息528作为输入,并且输出与所识别的道路危险相关联的识别信息562。参考图5B,检测系统520首先处理初始信息512,然后将初始信息512传输到传感器激活系统和道路危险识别系统530以进行进一步处理(例如,识别实际道路危险)。如果检测系统520确定为没有对象(因此没有道路危险)位于路面上,则处理在检测系统520处终止,并且作为替代,处理由始终开启型传感器510生成的下一批初始信息(例如,因为始终开启型传感器510可以连续地生成信息)。然而,如果检测系统520检测到一个或多于一个对象,则将该对象的一个或多于一个性质传输到传感器激活系统和道路危险识别系统530以进行进一步分析(例如,以确定该对象是道路危险的概率)。
在一些实施例中,检测系统520与分类系统522进行通信。在一些示例中,分类系统522(例如,经由经训练的神经网络)进行对象分类分析以检测初始信息512内的一个或多于一个对象。在一些示例中,基于先前训练的神经网络对分类系统522进行训练以检测路面上的诸如冰、水、油、沙和/或雪等的道路危险。在一些示例中,先前训练的神经网络是基于道路危险的表面颜色和/或道路危险的反射率的参数来训练的。
在初始信息512中识别出至少一个对象时,初始信息512包括与至少一个对象有关的信息,并且由传感器激活系统和道路危险识别系统530接收。在一些示例中,分类系统522可以具有足够的信息来将对象识别为特定道路危险。在这种情况下,识别信息也由传感器激活系统和道路危险识别系统530接收。例如,识别信息可以包括将各检测到的对象与特定的预定道路危险相关联的信息。在示例中,识别信息包括道路危险的地点和类型。该地点是使用如关于图7所述的坐标变换确定的。
传感器激活系统和道路危险识别系统530的目的是确定是否激活按需型传感器526(例如,是否从按需型传感器526请求信息)。例如,传感器激活系统和道路危险识别系统530可以确定初始信息512包括与表示至少一个预定道路危险的对象有关的信息的概率。进而,传感器激活系统和道路危险识别系统530可以请求按需型传感器526获得与所检测的对象有关的附加信息。参考以下的几个示例来说明与传感器激活系统和道路危险识别系统530如何使用按需型传感器526有关的进一步细节。
传感器观测器575确定按需型传感器526的健康状况。例如,传感器观测器575监视传感器温度、自上次维护起的时间和活动状况,以确定所测量到的由按需型传感器526生成的附加信息528的可靠性。在一些示例中,在需要维护或更换按需型传感器526时,传感器观测器575触发警报。
传感器激活系统和道路危险识别系统530的另一目的是与分类系统552协调,以在将识别信息传输到约束生成系统508(如图5A所示)之前将所检测到的对象识别为特定的预定道路危险。在所示的示例中,传感器激活系统和道路危险识别系统530接收环境信息516B和道路信息516。传感器激活系统和道路危险识别系统530基于所接收到的环境信息516B和道路信息516来将所检测到的对象识别为特定的预定道路危险。参考以下的几个示例来说明与传感器激活系统和道路危险识别系统530如何将所检测到的对象识别为特定的预定道路危险有关的进一步细节。
一旦传感器激活系统和道路危险识别系统530将所检测到的对象识别为预定道路危险中的至少一个,传感器激活系统和道路危险识别系统530就输出识别信息562。再次参考图5A,识别信息562被传输到约束生成系统508。进而,约束生成系统508向运动规划器550输出一个或多于一个约束560。运动规划器向控制系统552提供运动信息。控制系统552向运载工具502的控制硬件提供控制信息,以使运载工具基于一个或多于一个约束560而移动。
图6示出具有始终开启型传感器604和按需型传感器606的示例运载工具602。以下说明与按需型传感器有关的方面。在一些实施例中,示例运载工具602与以上参考图5A和图5B所述的运载工具502相同或类似。在一些实施例中,运载工具602包括与以上参考图5A和图5B所述的实现500相同或类似的、用于基于路面危险的运动规划器约束生成的处理的实现。结果,以下参考图5A和图5B。
在该示例中,始终开启型传感器604连续地生成与运载工具602的环境600有关的信息。如上所述,始终开启型传感器604可以是连续地生成与环境600中的一个或多于一个对象有关的信息的照相机、LiDAR传感器、雷达传感器等。在该示例中,始终开启型传感器604具有至少覆盖运载工具602前方的路面608的整个宽度(W)和至少一个运载工具长度的长度(L)的宽视场。(注意,这些数字不一定是按比例的。)在一些示例中,取决于始终开启型传感器604的配置(例如,基于始终开启型传感器604的功率、光学器件等),长度(L)在1个和20个运载工具长度之间。
在图6所示的示例中,路面608包括表示道路危险的对象610。如上所述,道路危险可以与失去牵引条件(例如,冰、水、油、沙、雪和/或它们的组合等)和/或路面608上的物理障碍物(例如,动物、施工锥等)相关联。在该示例中,道路危险是一块冰。始终开启型传感器604生成与对象610有关的初始信息并将该信息传输到道路危险处理系统506。
图7示出示例坐标变换。在一些实施例中,传感器激活系统和道路危险识别系统530(和/或分类系统522,其如图5B所示也与传感器激活系统和道路危险识别系统530进行通信)基于坐标变换来确定危险的地点。例如,传感器激活系统和道路危险识别系统530进行从对象的局部坐标系到环境的世界坐标系的坐标变换。基于该变换,传感器激活系统和道路危险识别系统530确定危险在真实世界环境中的正确地点。在一些示例中,该坐标变换是基于始终开启型传感器510的一个或多于一个性质(例如,焦距、视场等)。
在图7所示的示例中,始终开启型传感器702接收从环境700中的路面710上的对象706的表面反射的光线704。通常,光线704表示(例如,来自太阳或来自灯泡的)不一定会聚成单个光线的散射光。然而,在一些示例中,光线704实际上可以是(例如,来自激光器的)单个准直光线。在该示例中,始终开启型传感器702所生成的初始信息是图像708。如图7所示,图像708可以包括对象706的表示。
在该示例中,始终开启型传感器702与坐标系(C)对准(例如,始终开启型传感器702的灵敏度轴与坐标系(C)的轴其中之一共线)。容纳始终开启型传感器702的运载工具(未示出)与坐标系(E)对准(例如,运载工具的前进方向与坐标系(E)的第一轴共线,运载工具的垂直方向与坐标系(E)的第二轴共线,并且运载工具的左右方向与坐标系(E)的第三轴共线)。环境700与坐标系W对准(例如,地球的经度方向与坐标系W的第一轴共线,地球的纬度方向与坐标系W的第二轴共线,并且地球的放射状向外方向与坐标系W的第三轴共线)。
在一些实施例中,通过首先确定始终开启型传感器702相对于运载工具(例如,坐标系(C)相对于坐标系(E))的位置来进行坐标变换。然后,确定运载工具相对于环境(例如,坐标系(E)相对于坐标系(W))的位置。然后,确定对象706相对于始终开启型传感器702的位置(例如,对象706相对于坐标系(C)的位置)。
尽管在图7中示出仅一个始终开启型传感器702,但可以使用来自多个始终开启型传感器(例如,相同或不同类型)的信息来计算对象706在环境700中的地点。例如,图8描述具有多于一个始终开启型传感器的情景。
图8例示两个始终开启型传感器802A、802B。始终开启型传感器802A、802B正在接收从表示环境800中的路面808上的危险的对象806的表面反射的光线804A、804B。在该示例中,第三传感器810是以下所述的按需型传感器。除了使用两个传感器而不是一个始终开启型传感器作为始终开启型传感器以外,图8所示的情景与图7所示的情景类似。在一些示例中,传感器激活系统和道路危险识别系统530基于由一个或多于一个始终开启型传感器接收到的初始信息来对一个或多于一个始终开启型传感器的所生成的信息求平均以增加道路危险识别的准确度。
在一些实施例中,传感器激活系统和道路危险识别系统530基于初始信息512和/或基于上述坐标变换来确定对象806的一个或多于一个性质(例如,路面上的地点、表面颜色、地点、反射率等)。
在一些实施例中,对象的一个或多于一个性质包括与路面上的对象的地点有关的信息。例如,返回参考图6,传感器激活系统和道路危险识别系统(例如,图5B的530)可以确定对象610的多边形区域612。进而,分类系统522可以基于多边形区域612的几何中心来确定对象610的地点。在一些示例中,对象610的地点表示多边形区域612横跨哪些行驶车道。例如,如果多边形区域612横跨路面608的所有行驶车道,则传感器激活系统和道路危险识别系统530确定为对象610横跨所有行驶车道。
在一些示例中,对象610的地点是远离运载工具602的距离(D1)。在一些示例中,距离(D1)由运载工具602(例如,运载工具602的前保险杠或前轮胎)与对象610的多边形区域612的最近边缘或顶点之间的空间来定义。在一些示例中,对象610的地点表示远离运载工具602的距离(D2)。在一些示例中,距离(D2)由运载工具602与对象610的多边形区域612的最远边缘或顶点之间的空间来定义。在一些示例中,如以下所述,由约束生成系统508使用这两个距离(D1)和(D2)以确定运载工具602的一个或多于一个运动约束。
在一些实施例中,对象610的一个或多于一个性质包括对象610的表面颜色。例如,如果传感器激活系统和道路危险识别系统530确定为路面608上的对象610包括白色表面颜色,则传感器激活系统和道路危险识别系统530确定为对象610表示路面608上的雪的道路危险的概率高(例如,高于阈值)。另一方面,如果路面608上的对象610不包括白色表面颜色,则传感器激活系统和道路危险识别系统530确定为对象610表示雪的道路危险的概率低(例如,低于阈值)。
在一些示例中,传感器激活系统和道路危险识别系统530基于所接收到的数据(例如,基于所接收到的环境信息516B和道路信息516)来确定这种阈值。例如,如果传感器激活系统和道路危险识别系统530确定为道路上的白色块是积雪的概率高于所确定的阈值,则传感器激活系统和道路危险识别系统530向按需型传感器526传输请求以获得与道路上的白色块有关的附加信息。在一些示例中,传感器激活系统和道路危险识别系统530基于道路信息516A的一个或多于一个性质来确定阈值。例如,一个或多于一个性质可以包括与运载工具502周围的路面有关的信息(例如,道路条件、天气等)。
在一些实施例中,对象610的一个或多于一个性质包括对象610的反射率。例如,如果传感器激活系统和道路危险识别系统530确定为路面608上的对象610具有高反射率(例如,高于阈值),则传感器激活系统和道路危险识别系统530确定为对象610表示路面608上的冰的道路危险的概率高。另一方面,如果路面608上的对象610具有低反射率(例如,低于阈值),则传感器激活系统和道路危险识别系统530确定为对象610表示路面608上的冰的道路危险的概率低。
在一些实施例中,具有多于一个始终开启型传感器604增加了所生成的与对象610有关的信息。例如,在使用多于一个始终开启型传感器604时,传感器激活系统和道路危险识别系统530可以确定对象610的平均颜色和/或反射率。例如,图8所示的情景例示两个始终开启型传感器802A、802B分别接收光线804A、804B。如上所述,传感器激活系统和道路危险识别系统530对由两个始终开启型传感器802A、802B生成的信息求平均。
在一些实施例中,传感器激活系统和道路危险识别系统530基于所接收到的与运载工具502的环境有关的信息和/或基于所接收到的与运载工具502周围的路面有关的信息来确定对象是道路危险的概率。
例如,返回参考图5A和图5B,道路危险处理系统506(并且更具体地,传感器激活系统和道路危险识别系统530)可以(例如,经由与以上参考图3所述的通信接口314类似的通信接口)从内部和/或外部数据库514接收信息516A、516B。在一些示例中,道路危险处理系统506从运载工具502内部的数据库(例如,从存储器)接收信息516A、516B。在一些示例中,道路危险处理系统506从运载工具502外部的数据库(例如,从远程服务器)接收信息516A、516B。
在一些实施例中,环境信息516B可以包括与运载工具502的环境有关的信息。在一些示例中,环境信息516B表示与环境的温度、周围光(例如,外部暗vs外部亮)、天气、和/或运载工具502周围的环境的气候有关的信息。
例如,如果道路危险处理系统506接收到在运载工具502的地点当前正在下雪这一信息,则传感器激活系统和道路危险识别系统530可以确定为初始信息中的对象表示如下道路危险的概率高,该道路危险表示路面上的雪区。
在另一示例中,如果道路危险处理系统506接收到在运载工具502的当前地点最近下过雨(例如,在过去12小时内)并且当前低于冰点(例如,低于32°F)这一信息,则传感器激活系统和道路危险识别系统530确定为初始信息512中的对象表示如下道路危险的概率高,该道路危险表示路面上的冰区。
在又一示例中,如果道路危险处理系统506接收到在运载工具502的地点处多沙(例如,因为基于运载工具502的地点得出运载工具502在沙漠中)这一信息,则传感器激活系统和道路危险识别系统530确定为初始信息512中的对象表示如下道路危险的概率高,该道路危险表示路面上的沙区。
在一些示例中,环境信息516B包括与降水、湿度和雾有关的信息。在一些示例中,环境信息516B包括(例如,来自模型(例如,天气模型)的)预测信息和/或(例如,来自一个或多于一个温度传感器的)测量信息。
在一些实施例中,道路信息516A包括与运载工具502周围的路面有关的一个或多于一个性质。例如,这些性质可以包括路面的颜色(例如,黑色、灰色等)、路面的道路材料(例如,沥青、混凝土、泥土、砖、石头等)、路面的温度、路面的材料结构(例如,砖和石头的图案化结构等)、路面的斜坡(或坡度)(例如,7°下坡斜坡)、道路的支撑物(例如,路面是在地面上还是在桥梁上)、以及/或者路面上的横穿道(crossing)(例如,行人和/或动物横穿道)的数量。例如,如果一个或多于一个性质包括道路支撑物是桥梁的信息,则传感器激活系统和道路危险识别系统530可以将该道路支撑物信息与存在透明薄冰(black ice)道路危险的概率更高相关联,进而可以确定为所检测到的对象表示冰的道路危险的概率高。
作为另一示例,如果一个或多于一个性质包括路面的斜坡大于5°的信息,则传感器激活系统和道路危险识别系统530可以将该道路支撑物信息与存在危险条件的概率更高相关联,进而可以确定为所检测到的对象表示冰的道路危险的概率高,并且激活(例如,开启)按需型传感器526。在一些示例中,传感器激活系统和道路危险识别系统530即使在基于始终开启型传感器510确定为冰的概率更低之后也做出该确定。
尽管上述示例例示了从数据库514接收到道路信息516A,但在一些实施例中,基于初始信息来确定道路信息516A。在这种情况下,分类系统522(例如,使用上述的图像分类方法)处理初始信息以确定与运载工具502周围的路面有关的一个或多于一个性质。在一些实施例中,使用这两个方法,其中从数据库514接收到一些道路信息516A并且基于初始信息确定一些道路信息516A。
如上所述,传感器激活系统和道路危险识别系统530基于从分类系统接收到的信息、由始终开启型传感器生成的信息、以及/或者所接收到的与环境和/或路面有关的信息来确定对象是预定道路危险其中之一的概率。
在确定为对象表示预定道路危险中的至少一个的概率高于阈值(例如,高于50%、高于75%等)时,如以上参考图5A和图5B所述,传感器激活系统和道路危险识别系统530传输对与对象有关的附加信息的请求。
返回参考图6,在一些示例中,按需型传感器606具有比始终开启型传感器604窄的视场。在一些示例中,按需型传感器606包括比始终开启型传感器604长的视场。通常,按需型传感器606的空间分辨率大于始终开启型传感器604,从而可以根据由按需型传感器606生成的信息来确定危险610的更高分辨率细节。例如,参考图5B,一旦按需型传感器526接收到请求524,按需型传感器526就生成与路面608上的对象610有关的附加信息528,并将该附加信息528传输到传感器激活系统和道路危险识别系统530。
在一些实施例中,传感器激活系统和道路危险识别系统530确定使用发射器来在运载工具502的环境中生成光以照亮对象610。例如,如以上参考环境信息516B所述并且如图5A和图5B所示,传感器激活系统和道路危险识别系统530接收与运载工具502周围的环境的周围照明有关的信息。进而,传感器激活系统和道路危险识别系统530使用发射器来在环境的周围照明低于阈值(例如,外部暗)时发射能量,并且确定为在环境的周围照明高于阈值(例如,外部亮)时不使用发射器。
图9例示与按需型传感器904相关联地使用发射器902的示例。图9示出两个始终开启型传感器906A、906B接收从环境900中的路面912上的对象910的表面反射的光线908A、908B。除了现在例示与按需型传感器904相关联的发射器902的操作以外,图9与图8类似。
在一些实施例中,发射器902被配置为提供向环境900的能量914的源。在一些示例中,能量914采用电磁能的形式。例如,发射器902在被配置为激光或灯泡(例如,LED等)时,可以提供光(例如,可见和/或不可见)的源。在一些示例中,发射器902提供不可见红外光的源。在其他示例中,发射器902在被配置为扬声器时提供采用声音的形式的能量914的源。然后,反射能量916行进到按需型传感器906并被按需型传感器906接收。
在一些实施例中,传感器激活系统和道路危险识别系统530基于环境信息516B的周围光信息来确定能量914的源的强度。例如,如果周围光信息包括周围光低于阈值的信息(例如,外部暗),则传感器激活系统和道路危险识别系统530降低能量914的源的强度以节约功率。相反,如果周围光信息包括周围光高于阈值的信息(例如,外部亮),则传感器激活系统和道路危险识别系统530增加能量914的源的强度以增加对象910的可见性。
在一些实施例中,发射器902被配置成将光图案投射到路面912上。在一些示例中,发射器902使用至少一个光源(例如,激光器)将光图案投射到路面912上。进而,反射光图案的一部分被按需型传感器906接收。
一旦按需型传感器906接收到反射能量916(和/或反射光图案),传感器激活系统和道路危险识别系统530就使用反射能量916生成与对象910有关的附加信息528,并且该附加信息被传输到传感器激活系统和道路危险识别系统530。
在一些实施例中,传感器激活系统和道路危险识别系统530基于附加信息528将对象识别为特定道路危险。在一些示例中,除了附加信息528将具有比初始信息512更高的分辨率和准确度以外,附加信息528将包括与初始信息512相同或类似的信息。
在一些实施例中,传感器激活系统和道路危险识别系统530基于附加信息确定对象的一个或多于一个性质。一般而言,可以使用附加信息528而不是初始信息512来再次确定以上参考传感器激活系统和道路危险识别系统530所述的相同或类似的性质。例如,对象的一个或多于一个性质可以包括包围对象的多边形区域、对象在路面上的地点、对象的反射率、对象的表面颜色、以及/或者对象的亮度。
在一些实施例中,基于附加信息528来确定至少一些道路信息516A。与基于初始信息来确定一些道路信息516A的上述示例一样,分类系统522(例如,使用上述的图像分类方法)处理附加信息528以确定与运载工具502的路面有关的一个或多于一个性质。在一些实施例中,使用这两个方法,其中从数据库514接收到一些道路信息516A并且基于初始信息512和/或附加信息528来确定一些道路信息516A。
在一些实施例中,传感器激活系统和道路危险识别系统530使用具有预配置的权重的线性或二次求解器来将对象识别为特定道路危险。在一些示例中,预配置的权重是基于来自多个传感器的多个输出而聚集的。在一些示例中,预配置的权重由用户基于所测量到的信息进行微调、以及/或者由计算机使用机器学习算法进行学习。
以上论述说明了道路危险的主动性确定。在一些实施例中,道路危险的反应性确定也可以由道路危险处理系统506进行。例如,道路危险处理系统506可以(例如,从运载工具502的控制器或运载工具502的惯性测量单元)接收运载工具控制信息以(例如,在运载工具的一个或多于一个轮正相对于路面滑动时)确定运载工具502是否失去了牵引,并且基于运载工具控制信息来确定路面上存在的一个或多于一个道路危险。
在一些示例中,道路危险处理系统506直接接收由运载工具502的惯性测量单元生成的惯性信息。在这种情况下,该惯性信息表示运载工具502的运载工具动力学。道路危险处理系统506确定运载工具502的运载工具动力学和由运载工具502的运动规划器生成的运载工具动力学的预测之间的惯性差。以这种方式,与对象有关的初始信息和/或附加信息表示至少一个预定道路危险的概率是基于惯性差。
例如,如果道路危险处理系统506确定为运载工具502失去了牵引,则道路危险处理系统506确定为对象是道路危险并且运载工具502当前正在道路危险上行驶的概率高。
返回参考图5A,约束生成系统508基于与所识别的道路危险有关的识别信息562来确定运载工具502的一个或多于一个运动约束560。
在一些实施例中,约束生成系统508确定一个或多于一个运动约束560包括转向角约束。例如,如果道路危险处理系统506确定为对象表示运载工具502的当前行驶车道前方的道路危险,则约束生成系统508可以确定运动约束560以转向绕过道路危险的周界。
如上所述,在一些示例中,道路危险处理系统506基于多边形区域来确定表示道路危险的对象的周界。例如,再次参考图6,多边形区域612定义对象610的周界。一旦确定了多边形区域612,则约束生成系统508可以基于对象610的多边形区域612来确定运动约束560以转向绕过道路危险的周界。在一些示例中,如图6所示,多边形区域包括与距离(D1)和(D2)有关的信息。在这种情况下,约束生成系统508可以基于运载工具602与对象610的多边形区域612的最近边缘或顶点之间的空间以及/或者运载工具602与对象610的多边形区域612的最远边缘或顶点之间的空间,来确定运动约束560以转向绕过道路危险的周界。
图10示出与图6类似的情景。在图10所示的示例中,运载工具1002正沿着包括表示道路危险的对象1006的路面1004驾驶。在一些实施例中,运载工具1002与以上参考图6所述的运载工具602相同或类似。在一些实施例中,运载工具1102包括与以上参考图5A和图5B所述的实现500相同或类似的、用于基于路面危险的运动规划器约束生成的处理的实现。结果,以下参考图5A和图5B。
图10例示道路危险处理系统506将对象1006识别为至少一个道路危险1006并且确定包围对象1006的多边形区域1008的情景。在一些示例中,如上所述,对象1006被识别为预定道路危险中的至少一个。进而,约束生成系统508确定针对运载工具的一个或多于一个约束560。
在一些实施例中,约束生成系统508确定运动约束560包括在对象1006的多边形区域1008内的第一运动约束560和在对象1006的多边形区域1008外的第二运动约束560。在一些示例中,第一运动约束560是第一速度约束(例如,要求运载工具1002维持不超过第一速度约束的速度),并且第二运动约束560是第二速度约束(例如,要求运载工具1002维持不超过第二速度约束的速度)。例如,第一运动约束560可以是在多边形区域1008内的10MPH的速度约束,并且第二运动约束560可以是在多边形区域1008外的20MPH的不同速度约束。
在一些实施例中,约束生成系统508确定运动约束560包括基于相对于对象1006的多边形区域1008的径向距离的运动约束。在一些示例中,运动约束560表示基于相对于对象1006的多边形区域1008的距离的第一速度极限和第二速度极限之间的速度梯度。
例如,运动约束560可以是在多边形区域1008内的恒定速度约束10MPH,其根据相对于多边形区域1008的径向距离而(例如,线性地、指数地等)减小。在该示例中,运动约束560表示如下的约束,该约束根据相对于多边形区域1008的几何中心的径向距离,从第一速度约束(例如,5MPH)向在多边形区域1008外的距离(R1)处的第二速度约束(例如,10MPH)并向在多边形区域1008外的距离(R2)处的第三速度约束(例如,15MPH)线性地减小。
尽管图10的例示表示根据相对于多边形区域1008的几何中心的径向距离而减小的运动约束560,但其他运动约束也是可以的。例如,运动约束560可以根据相对于多边形区域1008的一个或多于一个边缘或顶点的距离而(线性地、指数地等)减小。
尽管以上论述说明了包括三个离散速度约束的运动约束560,但运动约束560可以包括根据径向距离的连续变化的速度约束。此外,尽管在该示例中使用特定速度(例如,5MPH、10MPH、15MPH),但其他速度也是可以的(例如,0至100MPH之间的任何速度)。
尽管以上论述说明了包括一个或多于一个速度约束的运动约束560,但其他运动约束也是可以的。例如,一些运动约束560包括以下中的至少一个:加速度约束(例如,以将运载工具的加速度限制为低于阈值(例如,1g、2g等))、距离约束(例如,以限制运载工具与路面上的另一运载工具之间的距离)、以及/或者禁止行驶车道约束(例如,以限制运载工具在路面的特定车道上行驶)。
在一些实施例中,运动约束560包括与道路危险的多边形区域相关联的约束。在一些示例中,运动约束560包括在道路危险上行进时使运载工具加速度变化、运载工具加加速度、速度变化和/或转向角变化最小化的约束。例如,进行车道变更和/或在湿滑危险上加速可能是危险的。
在一些实施例中,速度约束中所使用的特定速度是基于所确定的特定道路危险。例如,参考图10的例示,如果道路危险处理系统506将对象1006识别为表示冰的道路危险,则约束生成系统508可以确定如下的运动约束560,这些运动约束560具有一组速度(例如,在多边形区域1008内的第一速度约束5MPH、在多边形区域1008外但在距离(R1)内的第二速度约束10MPH、以及在距离(R1)外但在距离(R2)内的第三速度约束15MPH)。另一方面,如果道路危险处理系统506将对象1006识别为表示沙的道路危险,则约束生成系统508可以确定如下的运动约束560,这些运动约束560具有不同的一组运动(例如,在多边形区域1008内的第一速度约束10MPH、在多边形区域1008外但在距离(R1)内的第二速度约束15MPH、以及在距离(R1)外但在距离(R2)内的第三速度约束20MPH)。
返回参考图5A,约束生成系统508可以接收与运载工具502有关的运载工具信息518,并且使用该运载工具信息518来确定一个或多于一个运动约束560。在一些示例中,运载工具信息518表示与运载工具能力有关的信息。在一些示例中,运载工具信息518可以是从以上参考道路危险处理系统506所述的相同的内部和/或外部数据库514接收到的。在一些示例中,约束生成系统508直接从运载工具502的一个或多于一个组件(例如,直接从运载工具的控制器、制动系统等)接收运载工具信息518。
约束生成系统508使用该运载工具信息518来确定在识别出特定道路危险时应用什么运动约束560。例如,如果运载工具502是越野运载工具(例如,因为运载工具信息518包括运载工具502具有四轮驱动能力的信息),则约束生成系统508可以生成运动约束560来以低速在所识别的雪的道路危险上行驶。另一方面,如果运载工具502不是越野运载工具(例如,因为运载工具信息518包括运载工具502不具有四轮驱动能力的信息),则约束生成系统508可以生成运动约束560以避开所识别的雪的道路危险(例如,转向绕过所识别的雪的道路危险)。
在一些示例中,运载工具信息518表示以下中的至少一个:运载工具502的驱动轮配置、运载工具502的轮胎的胎压水平、运载工具502的轮胎的轮胎类型(例如,夏季轮胎、冬季轮胎等)、以及运载工具502是否是越野运载工具。在一些情况下,运载工具信息518表示运载工具502是两轮驱动运载工具还是四轮驱动运载工具。在一些情况下,运载工具信息518表示运载工具502是前轮驱动运载工具、后轮驱动运载工具、还是四轮驱动运载工具(有时称为全轮驱动运载工具)。
在一些实施例中,约束生成系统508基于运载工具信息518来确定运载工具502的一个或多于一个运动约束560和/或驱动设置。例如,如果约束生成系统508接收到在运载工具502的地点正在下雪并且运载工具502具有四轮驱动运载工具能力这一信息,则约束生成系统508可以指示运载工具502的运载工具控制器将运载工具502切换到四轮驱动模式以提高雪上的牵引。在另一示例中,如果约束生成系统508接收到在运载工具502的一个或多于一个轮胎中胎压低(例如,低于20psi)的信息,则约束生成系统508可以指示运载工具502的运载工具控制器更谨慎地前进(例如,减速、使用四轮驱动)。在另一示例中,如果约束生成系统508(例如,通过进行轮胎的品牌/型号的表查找)接收到运载工具502的一个或多于一个轮胎的轮胎类型表示夏季轮胎的信息,则约束生成系统508可以指示运载工具502的运载工具控制器更谨慎地前进(例如,减速、使用四轮驱动、使转向角变化最小化等)。
在一些实施例中,约束生成系统508基于路面的一个或多于一个性质来确定一个或多于一个运动约束560。如上所述,道路危险处理系统506可以接收道路信息516A,并且该信息516A可被传输到约束生成系统508。除上述的道路信息516A之外,道路信息516A还可以包括与一个或多于一个横穿道(例如,行人和/或动物横穿道)有关的信息。例如,如果横穿道在前方,则约束生成系统508确定运动约束560,该运动约束560使运载工具502减速(并且在一些示例中,停止)以避免通过横穿道的失去控制情景。例如,约束生成系统508确定运动约束560,该运动约束560要求运载工具502谨慎地前进(例如,减速、使转向角变化最小化等)。
在一些实施例中,约束生成系统508基于路面的斜坡(基于路面的一个或多于一个性质)来确定一个或多于一个运动约束560。例如,如果斜坡大于阈值(例如,大于5°下坡坡度)(例如,斜坡更陡峭),则约束生成系统508确定运动约束560,该运动约束560使运载工具502停止或至少减速以减少失去牵引情形。
在另一示例中,约束生成系统508基于路面的材料(基于路面的一个或多于一个性质)来确定一个或多于一个运动约束560。例如,如果材料是沥青,则约束生成系统508确定运动约束560,该运动约束560使运载工具502避免转向变化以降低运载工具502失去对沥青的控制的可能性。
在一些实施例中,约束生成系统508向各运动约束560指派优先级。例如,高优先级可以表示需要(几乎)不惜一切代价来施加的运动约束560,而低优先级可以表示不需要施加的运动约束560。在一些示例中,约束生成系统508基于对乘员和/或行人的伤害的风险水平来确定要指派的优先级。
返回参考图5A,一旦约束生成系统508确定了针对特定道路危险的所有运动约束560,约束生成系统508将所有的运动约束560都输出到运载工具502的运动规划器550。进而,运动规划器500基于所有的运动约束560来确定运载工具502在路面上的移动582。
在一些实施例中,运动规划器550对运动约束560进行优先排序。例如,运动规划器550可以对至少一个运动约束560中的各运动约束560进行优先排序。在一些示例中,运动规划器550基于一个或多于一个因素(例如,运载工具路线、道路规则、环境中的其他运载工具1000、乘员舒适度等)来对运动约束560进行优先排序。例如,运动规划器550可以接收横穿道(例如,行人和/或动物横穿道)在前方的信息、和/或在运载工具502的环境中动物横穿道很常见的信息。
一旦运动规划器550对运动约束560进行优先排序,运动规划器550就应用运动约束560以确定运载工具502的满足尽可能多的运动约束560的移动582。在一些示例中,由于冲突的运动约束560和/或一个或多于一个因素,不会应用所有的运动约束560。以这种方式,对运动约束560进行优先排序可以是重要的。
在一些实施例中,运动规划器550确定移动582包括转向角约束和/或速度约束。例如,如图10所示,运动规划器550确定表示笔直通过被识别为道路危险的对象1008的路径1010的移动582。例如,运动规划器550可以将路径1010确定为满足尽可能多的运动约束560的最佳移动582。在一些示例中,在相邻车道被阻挡的情况下、或者在(例如,由于运载工具1002后方的交通和/或运载工具1002位于暴力区域(例如,在监狱的半径内)等)使运载工具1002停止是危险的情况下,行驶通过道路危险是可行的。在该示例中,运动规划器550确定移动582包括转向角约束,该转向角约束将运载工具502限制到其当前正在行驶的相同车道。
在图10的示例中,运动约束560包括速度约束,该速度约束随着相对于表示道路危险的对象1006的多边形区域1008的几何中心的径向距离而线性地变化。如上所述,运动约束560表示如下的约束,该约束从在多边形区域1008内的第一速度约束(例如,5MPH)向在多边形区域1008外的距离(R1)处的第二速度约束(例如,10MPH)并向在多边形区域1008外的距离(R2)处的第三速度约束(例如,15MPH)减小。这样,在运载工具1002被控制成沿着路径1010驾驶(如以下进一步详细所述)时,运载工具1002将在径向距离(R2)处的第三区域内减速至不超过15MPH,然后在径向距离(R1)处的第二区域内减速至不超过10MPH,然后在多边形区域1008内减速至不超过5MPH。这样,运载工具1002逐渐减速以安全地行驶通过道路危险1006。
图11例示包括转向角变化的移动582的示例。图11示出运载工具1102在环境1100内的路面1104上行驶。在一些实施例中,运载工具1102与上述运载工具中的任何运载工具(例如,运载工具502)相同或类似。在一些实施例中,运载工具1102包括与以上参考图5A和图5B所述的实现500相同或类似的、用于基于路面危险的运动规划器约束生成的处理的实现。结果,以下参考图5A和图5B。
图11所示的情景与图10所示的情景类似。然而,在图11中,运载工具1102的运动规划器550确定包括绕过表示道路危险的对象1106的路径1110的移动582。在该示例中,约束生成系统508确定运载工具1102不应穿过道路危险的运动约束560。此外,约束生成系统508确定区域(R1)内的速度约束。进而,运动规划器550确定不穿过道路危险并且优选避开区域(R1)的移动582。在该情景中,约束生成系统508向与避开道路危险相关联的运动约束560指派了高优先级,并且结果,运动规划器550确定移动582包括绕过道路危险的路径1110。
返回参考图5A,一旦运动规划器550确定了移动582,运动规划器550就将移动582(例如,与移动582有关的信息)传输到控制系统552。进而,控制系统552生成与根据基于至少一个运动约束560的移动582来控制运载工具502相关联的控制信息564。在一些示例中,控制信息564表示针对运载工具502的传动系和/或运载工具502的转向组件的控制信息。在一些示例中,控制系统552使用一个或多于一个PID控制器来生成控制信息564。
一旦控制系统552确定了控制信息564,控制系统552就将控制信息564传输到各个受控硬件,以使运载工具502基于移动582进行操作。例如,控制系统552将控制信息564传输到运载工具502的传动系和/或转向组件的控制系统552。通常,传动系包括油门响应控制器以控制运载工具502的加速和减速,并且控制信息564可操作以使运载工具502经由传动系加速和减速。此外,通常,转向组件包括转向控制器以控制运载工具502的转向角,并且控制信息564可操作以使运载工具502经由转向组件改变转向角。
返回参考图10,转向控制器和油门响应控制器使运载工具1002驾驶通过被识别为道路危险的对象1008。在图11所示的示例中,转向控制器和油门响应控制器使运载工具1102绕过道路危险1106驾驶。在一些示例中,运动约束560包括转向角约束和速度约束这两者。
图12A~12C例示道路危险的时间变化。例如,图12A示出表示路面1204上的道路危险的对象1202。对象1202被(例如,由太阳产生的)周围光1206照亮。进而,运载工具的传感器(图12A~12C中未示出)接收反射的周围光并生成表示对象1202的信息。
当运载工具在路面1204上行驶(图12A~12C中未示出)时,反射光的量可以变化。例如,当对象1202表示诸如冰等的反射性强的道路危险时,这种现象是常见的。在这些情况下,可能很难基于传感器所生成的信息的单个实例来识别道路危险。解决该问题的一个方法是,在运载工具正在环境中移动时连续地确定道路危险的一个或多于一个性质,并且将结果组合(例如,对结果求平均)。这样得到对象1202的不同角度视图以改善道路危险识别。
例如,道路危险约束系统580可以确定沿着路面1204的一个或多于一个位置处的对象1202的一个或多于一个性质。例如,在图12A~12C所示的示例中,运载工具(未示出)从该图的左侧向该图的右侧行驶。图12A~12C所示的对象1202表示根据时间而变化的路面1204上的道路危险相对于运载工具的相对位置。以这种方式,图12A表示道路危险离运载工具最远的情景1200,图12C表示道路危险离运载工具最近的情景1240,并且图12B表示道路危险在图12A和图12C所示的位置之间的大约中间的情景1220。以这种方式,在运载工具正在朝向对象行驶时,连续地确定对象的一个或多于一个性质。在一些示例中,如上所述,这些性质包括反射率。
在一些实施例中,道路危险约束系统580基于沿着路面1204的一个或多于一个位置处的对象1202的一个或多于一个性质来将对象1202识别为特定道路危险。例如,道路危险约束系统580可以对结果求平均,以及/或者使用正确地识别道路危险的信息、同时丢弃其他信息。
图13例示运载工具1302在环境1300内的路面1304上行驶。在一些实施例中,运载工具1302与上述运载工具中的任何运载工具(例如,运载工具502)相同或类似。在一些实施例中,运载工具1302包括与以上参考图5A和图5B所述的实现500相同或类似的、用于基于路面危险的运动规划器约束生成的处理的实现。
在一些实施例中,道路危险约束系统580将路面1304的数字表示划分为一个或多于一个区。例如,道路危险约束系统580将路面1304划分为沿着路面1304的宽度方向(例如,垂直于运载工具的前进行驶方向)的一个或多于一个区、以及沿着路面1304的纵向方向(例如,沿着运载工具的前进行驶方向)的一个或多于一个区。在所示的示例中,道路危险约束系统580将路面1304划分为沿着宽度方向的两个区和沿着纵向方向的五个区。
在一些实施例中,道路危险约束系统580将路面1304的数字表示划分为大小相等的区1306。例如,图13示出大小相等的区1306。在该示例中,各区1306具有相同的宽度和长度尺寸。然而,在其他实施例中,道路危险约束系统580将路面1304的数字表示划分为随机大小的区。
在一些实施例中,道路危险约束系统580(例如,基于以上参考道路危险处理系统506所述的处理)确定在一个或多于一个区的各区1306内是否识别出一个或多于一个道路危险。在一些示例中,道路危险约束系统580循环遍历各所识别的道路危险以确定该道路危险是否存在于各区1306的边界内。如果道路危险约束系统580确定为在特定区内存在道路危险,则道路危险约束系统580将特定道路危险指派给该特定区。
例如,如图13所示,道路危险约束系统580经由以上参考图5A和图5B所述的处理将对象1310识别为特定道路危险。在该示例中,(例如,基于对象1310的表面的反射率以及环境信息516B等)对象1310已被识别为表示冰的道路危险。道路危险约束系统580确定为表示冰的道路危险横跨两个区1306(区1308A和1308B)。道路危险约束系统580还确定为所有的其他区1306不包括道路危险(例如,因为始终开启型传感器510和/或按需型传感器526未在这些特定区1306中检测到任何对象)。
在一些实施例中,道路危险约束系统580将与各区相关联的道路危险信息1312存储在存储器1314中。在一些示例中,存储器1314是板载存储器。在其他示例中,存储器1314是远程存储器(例如,基于云的存储器)。在一些实施例中,存储器1314由运载工具1302外部的远程服务器托管,并且可从其他运载工具访问存储器1314。
在该示例中,道路危险约束系统580将道路危险信息1312传输到存储器1314。一般而言,道路危险信息1312包括与区1306中的一个或多于一个区、以及在各个区1306内是否识别出了道路危险有关的信息。在一些示例中,特别道路危险也包括在该信息中。在图13所示的示例中,道路危险信息1312包括与十个区1306有关的信息。
在一些实施例中,道路危险约束系统580将存储器1314中的与各区相关联的道路危险信息1312与历史道路危险信息合并。例如,道路危险约束系统580可以将道路危险信息1312与历史信息合并以构建整个城市或城镇的道路危险的地图。在一些示例中,当从在环境1300内驾驶的一个或多于一个运载工具接收到新道路危险信息1312时,远程服务器更新地图的区1306。
在一些实施例中,道路危险约束系统580从存储器1314中检索运载工具1302的环境1300的道路危险信息1312。例如,道路危险约束系统580可以出于路径规划目的(例如,为了避开特定道路)而检索(例如,下载)道路危险信息1312。
在一些实施例中,道路危险约束系统580基于历史道路危险信息来确定一个或多于一个运动约束560。例如,道路危险约束系统580可以基于历史上存在道路危险的道路来确定表示用以避免环境1300中的特定道路的约束的运动约束560。进而,运载工具1302的运动规划器可以基于这些运动约束560来确定运载工具1302的移动582。
现在参考图14,例示了用于基于路面危险的运动规划器约束生成的处理1400的流程图。在一些实施例中,针对处理1400所述的步骤中的一个或多于一个步骤由道路危险约束系统1450(例如,完全地和/或部分地等)进行。在一些实施例中,道路危险约束系统1450与参考图5A和图5B所述的道路危险约束系统580相同或类似。
在一些实施例中,道路危险约束系统1420包括至少一个始终开启型传感器、至少一个按需型传感器、至少一个处理器和至少一个非暂时性存储介质,该至少一个非暂时性存储介质存储指令,这些指令在由至少一个处理器执行时,使该至少一个处理器进行处理1400的一个或多于一个步骤。
在一些示例中,道路危险约束系统1450在运载工具内实现,并且在其他示例中,道路危险约束系统1450在运载工具外部(例如,由远程服务器)实现。附加地或可替代地,在一些实施例中,针对处理1400所述的一个或多于一个步骤以分布式方式跨具有道路危险约束系统的多个运载工具(例如,完全地和/或部分地等)进行。
继续参考图14,道路危险约束系统1450利用至少一个处理器,接收与运载工具的环境中的路面上的对象有关的初始信息,该初始信息是由运载工具的至少一个始终开启型传感器生成的(框1402)。例如,如以上参考图6所述,运载工具602的始终开启型传感器604生成与环境600中的对象610有关的初始信息。进而,道路危险约束系统580的道路危险处理系统506从始终开启型传感器604接收初始信息。
继续参考图14,道路危险约束系统1450利用至少一个处理器,确定与对象有关的初始信息表示至少一个预定道路危险的概率(框1404)。例如,如图5B所示,道路危险约束系统580的第1级检测系统520以及道路危险约束系统580的传感器激活系统和道路危险识别系统530这两者都确定与对象有关的初始信息表示至少一个预定道路危险的概率。
继续参考图14,响应于确定为该概率高于阈值,道路危险约束系统1450利用至少一个处理器,接收与对象有关的附加信息,该附加信息是由运载工具的至少一个按需型传感器生成的(框1406)。例如,如以上参考图6所述,运载工具602的按需型传感器606生成与环境600中的对象610有关的附加信息。进而,道路危险约束系统580的道路危险处理系统506从按需型传感器606接收附加信息。
继续参考图14,道路危险约束系统1450利用至少一个处理器,基于初始信息和附加信息来将对象识别为至少一个预定道路危险中的至少一个(框1408)。例如,如以上参考图5B所述,道路危险约束系统580的传感器激活系统和道路危险识别系统530将对象识别为至少一个预定道路危险中的至少一个。
继续参考图14,响应于将对象识别为至少一个预定道路危险中的至少一个,道路危险约束系统1450利用至少一个处理器,基于所识别的预定道路危险来确定针对运载工具的至少一个运动约束,该至少一个运动约束包括转向角约束或速度约束(框1410)。例如,如参考图5A所述,道路危险约束系统580的约束生成系统508至少确定针对运载工具502的运动约束560。在参考图10和图11所述的实施例中。至少一个运动约束560包括转向角约束和/或速度约束。
继续参考图14,道路危险约束系统1450利用至少一个处理器,将至少一个运动约束传输到运载工具的运动规划器,该运动规划器用于基于至少一个运动约束来确定运载工具在路面上的移动(框1412)。例如,如参考图5A所述,道路危险约束系统580的约束生成系统508将至少一个运动约束560传输到道路危险约束系统580的运动规划器550。
继续参考图14,道路危险约束系统1450利用至少一个处理器,基于至少一个运动约束来生成与控制运载工具的移动相关联的控制信息(框1414)。例如,如参考图5A所述,道路危险约束系统580的控制系统552基于至少一个运动约束560来生成与控制运载工具502的移动582相关联的控制信息。
继续参考图14,道路危险约束系统1450利用至少一个处理器,传输控制信息,以使运载工具基于移动进行操作(框1416)。例如,如参考图5A所述,道路危险限制系统580的控制系统552传输控制信息以使运载工具502基于移动582进行操作。
尽管以上示例说明了具有单个道路危险的情景,但可以使用本文所述的系统和方法来识别多个道路危险。在一些示例中,道路危险处理系统506识别出多于一个道路危险,并将所有这些道路危险的信息传输到约束生成系统508。进而,约束生成系统508基于各个所识别的道路危险来确定一个或多于一个道路约束560。进而,运动规划器可以如上所述对所有这些运动约束560进行优先排序,以使对乘员和/或行人的风险水平最小化。
在先前描述中,已经参考许多具体细节描述了本公开的方面和实施例,这些具体细节可因实现而不同。因此,说明书和附图应被视为说明性的,而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围,包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外,当在先前的说明书或所附权利要求书使用术语“还包括”时,该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。
Claims (25)
1.一种运载工具,包括:
至少一个始终开启型传感器和至少一个按需型传感器;
至少一个处理器;以及
至少一个非暂时性存储介质,用于存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
接收与所述运载工具的环境中的路面上的对象有关的初始信息,所述初始信息是由所述运载工具的所述至少一个始终开启型传感器生成的;
确定与所述对象有关的初始信息表示至少一个预定道路危险的概率;
响应于确定为所述概率高于阈值,接收与所述对象有关的附加信息,所述附加信息是由所述运载工具的所述至少一个按需型传感器生成的;
基于所述初始信息和所述附加信息来将所述对象识别为所述至少一个预定道路危险中的至少一个;
响应于将所述对象识别为所述至少一个预定道路危险中的至少一个,基于所识别的预定道路危险来确定针对所述运载工具的至少一个运动约束,所述至少一个运动约束包括转向角约束或速度约束;
将所述至少一个运动约束传输到所述运载工具的运动规划器,所述运动规划器用于基于所述至少一个运动约束来确定所述运载工具在所述路面上的移动;
基于所述至少一个运动约束来生成与控制所述运载工具的移动相关联的控制信息;以及
传输所述控制信息,以使所述运载工具基于所述移动进行操作。
2.根据权利要求1所述的运载工具,其中,所述至少一个预定道路危险包括冰、水、油、沙、雪、或它们的组合,并且所述至少一个预定道路危险中的各预定道路危险与失去牵引相关联。
3.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个始终开启型传感器是成像传感器、声学传感器、温度传感器和阵列中的至少一个,所述阵列是成像传感器、声学传感器或温度传感器的阵列,
其中,所述至少一个始终开启型传感器被配置为连续地生成与所述运载工具的环境有关的数据。
4.根据权利要求1或2所述的运载工具,其中,所述至少一个按需型传感器是成像传感器、声学传感器、温度传感器和阵列中的至少一个,所述阵列是成像传感器、声学传感器或温度传感器的阵列,
其中,所述至少一个按需型传感器被配置为在接收到请求的情况下,生成与所述运载工具的环境有关的数据。
5.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
基于所述至少一个始终开启型传感器所生成的初始信息或所述至少一个按需型传感器所生成的附加信息来确定所述对象的一个或多于一个性质,所述对象的一个或多于一个性质包括所述对象在所述路面上的地点和所述对象的反射率,
其中,将所述对象识别为所述至少一个预定道路危险中的至少一个是还基于所述对象的一个或多于一个性质。
6.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
基于所述至少一个始终开启型传感器所生成的初始信息或所述至少一个按需型传感器所生成的附加信息来确定所述对象的一个或多于一个性质,所述对象的一个或多于一个性质包括包围所述对象的多边形区域,
其中,确定所述至少一个运动约束是还基于所述对象的一个或多于一个性质。
7.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
响应于确定为所述概率高于阈值,向所述至少一个按需型传感器传输请求以生成与所述对象有关的附加信息,
其中,除非所述至少一个按需型传感器接收到所述请求,否则所述至少一个按需型传感器不生成与所述对象有关的附加信息。
8.根据前述权利要求中任一项所述的运载工具,其中,与所述对象有关的初始信息表示所述至少一个预定道路危险的概率是基于所述运载工具在所述环境内的地点和所述环境的周围温度。
9.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
接收所述运载工具的惯性测量单元所生成的惯性信息,所述惯性信息表示所述运载工具的运载工具动力学;以及
确定所述运载工具的运载工具动力学与所述运载工具的运动规划器所生成的运载工具动力学的预测之间的惯性差,
其中,与所述对象有关的初始信息表示所述至少一个预定道路危险的概率是基于所述惯性差。
10.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
接收所述路面的路面性质,所述路面性质包括所述路面的斜坡和所述路面的材料中的至少一个,
其中,确定所述运动约束是还基于所述路面性质。
11.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
接收与所述运载工具的能力有关的运载工具信息,所述运载工具信息包括所述运载工具的驱动轮配置,所述驱动轮配置表示所述运载工具是两轮驱动运载工具还是四轮驱动运载工具;
其中,确定所述运动约束是还基于所述运载工具信息。
12.根据权利要求11所述的运载工具,其中,所述驱动轮配置还表示所述运载工具是前轮驱动运载工具、后轮驱动运载工具还是全轮驱动运载工具。
13.根据前述权利要求中任一项所述的运载工具,还包括:
所述运载工具的传动系;以及
所述运载工具的转向组件,
其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
利用所述运载工具的传动系和所述运载工具的转向组件,基于所述至少一个运动约束来控制所述运载工具。
14.根据前述权利要求中任一项所述的运载工具,其中,所述运动约束包括所述转向角约束和所述速度约束这两者。
15.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个运动约束包括加速度约束、所述运载工具与所述路面上的另一运载工具之间的距离、以及所述路面上的禁止行驶线中的至少一个。
16.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个运动约束包括:
在所述道路危险的多边形区域内的第一速度极限,
在所述道路危险的多边形区域外的第二速度极限,以及
基于相对于所述道路危险的多边形区域的距离的、在所述第一速度极限和所述第二速度极限之间的速度梯度。
17.根据前述权利要求中任一项所述的运载工具,其中,所述至少一个非暂时性存储介质存储指令,所述指令在由所述至少一个处理器执行的情况下,使所述至少一个处理器进行以下操作:
对所述至少一个运动约束中的各运动约束进行优先排序,
其中,生成与控制所述运载工具的移动相关联的控制信息是还基于优先排序后的运动约束。
18.一种用于运载工具的方法,包括:
利用至少一个处理器,接收与所述运载工具的环境中的路面上的对象有关的初始信息,所述初始信息是由所述运载工具的至少一个始终开启型传感器生成的;
利用所述至少一个处理器,确定与所述对象有关的初始信息表示至少一个预定道路危险的概率;
利用所述至少一个处理器,响应于确定为所述概率高于阈值,接收与所述对象有关的附加信息,所述附加信息是由所述运载工具的至少一个按需型传感器生成的;
利用所述至少一个处理器,基于所述初始信息和所述附加信息来将所述对象识别为所述至少一个预定道路危险中的至少一个;
利用所述至少一个处理器,响应于将所述对象识别为所述至少一个预定道路危险中的至少一个,基于所识别的预定道路危险来确定针对所述运载工具的至少一个运动约束,所述至少一个运动约束包括转向角约束或速度约束;
利用所述至少一个处理器,将所述至少一个运动约束传输到所述运载工具的运动规划器,所述运动规划器用于基于所述至少一个运动约束来确定所述运载工具在所述路面上的移动;
利用所述至少一个处理器,基于所述至少一个运动约束来生成与控制所述运载工具的移动相关联的控制信息;以及
利用所述至少一个处理器,传输所述控制信息,以使所述运载工具基于所述移动进行操作。
19.根据权利要求18所述的方法,其中,所述至少一个预定道路危险包括冰、水、油、沙、雪、或它们的组合,并且所述至少一个预定道路危险中的各预定道路危险与失去牵引相关联。
20.根据权利要求18或19所述的方法,还包括:
利用所述至少一个始终开启型传感器,连续地获取与所述环境中的对象有关的初始信息;以及
利用所述至少一个按需型传感器,仅在接收到请求的情况下才获取与所述环境中的对象有关的附加信息。
21.根据权利要求18至20中任一项所述的方法,还包括:
利用所述运载工具的传动系和所述运载工具的转向组件,基于所述至少一个运动约束来控制所述运载工具。
22.根据权利要求18至21中任一项所述的方法,其中,所述运动约束包括所述转向角约束和所述速度约束这两者。
23.根据权利要求18至22中任一项所述的方法,其中,所述至少一个运动约束包括:
在所述道路危险的多边形区域内的第一速度极限,
在所述道路危险的多边形区域外的第二速度极限,以及
基于相对于所述道路危险的多边形区域的距离的、在所述第一速度极限和所述第二速度极限之间的速度梯度。
24.根据权利要求18至23中任一项所述的方法,其中,
响应于确定为所述概率高于阈值,接收与所述对象有关的附加信息,包括:
利用至少一个光源,将光发射到所述路面上;以及
利用所述至少一个按需型传感器,接收所述光的反射部分,
其中,将所述对象识别为所述至少一个预定道路危险中的至少一个是还基于与所述光的反射部分相关联的信息。
25.一种非暂时性计算机可读存储介质,包括由至少一个处理器执行的至少一个程序,所述至少一个程序包括指令,所述指令在由所述至少一个处理器执行的情况下,使运载工具进行计算机实现的根据权利要求18至24中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/534,223 | 2021-11-23 | ||
US17/534,223 US20230192067A1 (en) | 2021-11-23 | 2021-11-23 | Motion planner constraint generation based on road surface hazards |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116149310A true CN116149310A (zh) | 2023-05-23 |
Family
ID=86144557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210138356.6A Pending CN116149310A (zh) | 2021-11-23 | 2022-02-15 | 运载工具、用于运载工具的方法和存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230192067A1 (zh) |
KR (1) | KR102639033B1 (zh) |
CN (1) | CN116149310A (zh) |
DE (1) | DE102022102188A1 (zh) |
GB (1) | GB2613040A (zh) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4893118B2 (ja) * | 2006-06-13 | 2012-03-07 | 日産自動車株式会社 | 回避制御装置、この回避制御装置を備える車両および回避制御方法 |
EP1927499B1 (en) * | 2006-11-29 | 2010-01-06 | Ford Global Technologies, LLC | Steering safety system |
KR101417866B1 (ko) * | 2010-05-12 | 2014-07-09 | 주식회사 만도 | 노면 마찰계수 추정방법 |
DE102010045162A1 (de) * | 2010-09-11 | 2012-03-15 | Volkswagen Ag | Schlaglochassistent mit Umfeldwahrnehmung |
EP2821307B1 (en) * | 2013-07-03 | 2016-09-28 | Volvo Car Corporation | A vehicle system, a vehicle and a method for autonomous road irregularity avoidance |
US9975547B2 (en) * | 2016-08-03 | 2018-05-22 | Ford Global Technologies, Llc | Methods and systems for automatically detecting and responding to dangerous road conditions |
US10202115B2 (en) * | 2016-09-13 | 2019-02-12 | Here Global B.V. | Method and apparatus for triggering vehicle sensors based on human accessory detection |
JP6523361B2 (ja) * | 2017-03-30 | 2019-05-29 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2019067018A (ja) * | 2017-09-29 | 2019-04-25 | 日本精機株式会社 | 車両用表示装置 |
US10611372B2 (en) * | 2018-09-06 | 2020-04-07 | Zebra Technologies Corporation | Dual-mode data capture system for collision detection and object dimensioning |
DK180407B1 (en) * | 2019-01-28 | 2021-04-21 | Motional Ad Llc | Detecting road anomalies |
US11373532B2 (en) * | 2019-02-01 | 2022-06-28 | Hitachi Astemo, Ltd. | Pothole detection system |
US20220180643A1 (en) * | 2019-03-22 | 2022-06-09 | Vergence Automation, Inc. | Vectorization for object detection, recognition, and assessment for vehicle vision systems |
DE102019208282A1 (de) * | 2019-06-06 | 2020-12-10 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs |
US20210031760A1 (en) * | 2019-07-31 | 2021-02-04 | Nissan North America, Inc. | Contingency Planning and Safety Assurance |
US11180156B2 (en) * | 2019-12-17 | 2021-11-23 | Zoox, Inc. | Fault coordination and management |
US11314974B2 (en) * | 2020-03-30 | 2022-04-26 | Hitachi Astemo, Ltd. | Detecting debris in a vehicle path |
KR102317633B1 (ko) * | 2020-05-19 | 2021-10-27 | 재단법인대구경북과학기술원 | 복수의 도로 영상을 기반으로 하는 도로의 실시간 블랙아이스 검출 시스템 및 그 방법 |
-
2021
- 2021-11-23 US US17/534,223 patent/US20230192067A1/en not_active Abandoned
-
2022
- 2022-01-31 DE DE102022102188.2A patent/DE102022102188A1/de active Pending
- 2022-02-04 GB GB2201492.2A patent/GB2613040A/en active Pending
- 2022-02-07 KR KR1020220015576A patent/KR102639033B1/ko active IP Right Grant
- 2022-02-15 CN CN202210138356.6A patent/CN116149310A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230192067A1 (en) | 2023-06-22 |
GB2613040A (en) | 2023-05-24 |
KR102639033B1 (ko) | 2024-02-21 |
DE102022102188A1 (de) | 2023-05-25 |
KR20230076713A (ko) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113614309B (zh) | 检测道路异常 | |
US20220198842A1 (en) | Predictive analytics for vehicle health | |
GB2615627A (en) | Curb-based feature extraction for localization and lane detection using radar | |
US20230221128A1 (en) | Graph Exploration for Rulebook Trajectory Generation | |
US20230066635A1 (en) | Controlling vehicle performance based on data associated with an atmospheric condition | |
CN116892931A (zh) | 用于运载工具的方法、系统和可读介质 | |
WO2023245073A1 (en) | Method and system for controlling an autonomous vehicle | |
KR102648530B1 (ko) | 차량 센서 관리를 위한 시스템 및 방법 | |
CN115808921A (zh) | 用于运载工具的方法和系统 | |
CN116224980A (zh) | 用于运载工具的方法、用于运载工具的系统和存储介质 | |
US20230192067A1 (en) | Motion planner constraint generation based on road surface hazards | |
US20230063368A1 (en) | Selecting minimal risk maneuvers | |
US20230227032A1 (en) | Vehicle Dynamics Classification for Collision and Loss of Control Detection | |
US20240124009A1 (en) | Optimizing alerts for vehicles experiencing stuck conditions | |
US20240059302A1 (en) | Control system testing utilizing rulebook scenario generation | |
US20230303124A1 (en) | Predicting and controlling object crossings on vehicle routes | |
US20230150544A1 (en) | Generating notifications indicative of unanticipated actions | |
WO2023028437A1 (en) | Selecting minimal risk maneuvers | |
WO2024081192A1 (en) | Optimizing alerts for vehicles experiencing stuck conditions | |
CN116534047A (zh) | 用于自主运载工具的方法、系统和存储介质 | |
CN116142229A (zh) | 用于运载工具的系统和方法以及存储介质 | |
CN116483062A (zh) | 用于运载工具的方法、系统以及存储介质 | |
WO2024040099A1 (en) | Control system testing utilizing rulebook scenario generation | |
WO2024039997A1 (en) | Determination of an action for an autonomous vehicle in the presence of intelligent agents | |
CN117195678A (zh) | 用于运载工具运动规划的基于控制参数的搜索空间 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |