CN106030609B - 用于模仿前车的系统和方法 - Google Patents

用于模仿前车的系统和方法 Download PDF

Info

Publication number
CN106030609B
CN106030609B CN201480074153.9A CN201480074153A CN106030609B CN 106030609 B CN106030609 B CN 106030609B CN 201480074153 A CN201480074153 A CN 201480074153A CN 106030609 B CN106030609 B CN 106030609B
Authority
CN
China
Prior art keywords
vehicle
lane
images
processing unit
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480074153.9A
Other languages
English (en)
Other versions
CN106030609A (zh
Inventor
A·克拉克
E·宝葛
G·尼尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN201911163613.6A priority Critical patent/CN111027420B/zh
Priority to CN201911164109.8A priority patent/CN110920609B/zh
Publication of CN106030609A publication Critical patent/CN106030609A/zh
Application granted granted Critical
Publication of CN106030609B publication Critical patent/CN106030609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0066Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator responsive to vehicle path curvature
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T13/00Transmitting braking action from initiating means to ultimate brake actuator with power assistance or drive; Brake systems incorporating such transmitting means, e.g. air-pressure brake systems
    • B60T13/10Transmitting braking action from initiating means to ultimate brake actuator with power assistance or drive; Brake systems incorporating such transmitting means, e.g. air-pressure brake systems with fluid assistance, drive, or release
    • B60T13/66Electrical control in fluid-pressure brake systems
    • B60T13/662Electrical control in fluid-pressure brake systems characterised by specified functions of the control system components
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/32Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/32Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration
    • B60T8/321Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration deceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0255Automatic changing of lane, e.g. for passing another vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0025Detecting position of target vehicle, e.g. vehicle driving ahead from host vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/03Brake assistants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/34Blind spots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/06Combustion engines, Gas turbines
    • B60W2510/0604Throttle position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/806Relative heading
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009Transmission of position information to remote stations
    • G01S5/0018Transmission from mobile station to base station
    • G01S5/0027Transmission from mobile station to base station of actual mobile position, i.e. position determined on mobile
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/22Platooning, i.e. convoy of communicating vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

系统和方法使用相机来提供自主导航特征。在一个实施中,提供了一种用于主车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆的附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。

Description

用于模仿前车的系统和方法
相关申请的交叉引用
本申请要求以下的优先权:2013年12月4日提交的美国临时专利申请号61/911,490;2014年5月14日提交的美国临时专利申请号61/993,084;2014年5月14日提交的美国临时专利申请号61/993,111;2014年6月23日提交的美国临时专利申请62/015,524;2014年7月9日提交的美国临时专利申请62/022,221;2014年8月21日提交的美国临时专利申请号62/040,224;以及2014年8月21日提交的美国临时专利申请62/040,269。所有前述申请的整体内容都通过引用并入本文。
技术领域
所述本公开总体涉及自主车辆导航,更具体地,涉及使用相机提供自主车辆导航特征的系统和方法。
背景技术
随着技术的不断进步,能够在道路上导航的完全自主车辆的目标是即将达到。首先,自主车辆能够识别其环境并且在无操作人员输入的情况下导航。自主车辆还可考虑各种因素并且基于这些因素做出适当的决定,以安全而准确地到达预期目的地。例如,当车辆惯常地在道路上行进时会遇到诸如其它车辆和行人的各种对象。自主驱动系统可在车辆环境中辨识这些对象,并且采取适当的而及时的动作来避免碰撞。另外,自主驱动系统可识别其它指示器,诸如交通信号、交通标志和车道标记,所述其它指示器规范车辆移动(例如,当车辆必须停止以及可行驶时,车辆不能超过的速度,车辆必须定位在道路上,等等)。自主驱动系统可能需要确定车辆何时应该变道、路口转弯、改变道路,等等。根据这些示例显而易见的是,许多因素可能需要解决,以便提供能够安全而准确地导航的自主车辆。
发明内容
与本公开相一致的实施方式提供用于自主车辆导航的系统和方法。公开的实施方式可使用相机来提供自主车辆导航特征。例如,与公开的实施方式相一致,公开的系统可包括一个、两个或更多个相机,用于监测车辆环境并且基于对由所述相机中的一个或多个捕获的图像的分析来产生导航响应。
与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述车辆的第一侧上的第一车道约束;根据所述多个图像确定与在所述车辆的所述第一侧相反的所述车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述车辆的所述第一侧与所述第一车道约束之间的距离,并且第二距离对应于所述车辆的所述第二侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第一侧上;如果车道偏移条件存在于所述车辆的所述第一侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第二侧上;并且如果车道偏移条件存在于所述车辆的所述第二侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。
与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果基于所述多个图像确定车道偏移条件存在于所述车辆的所述第一侧和第二侧两者上,则致使所述第一距离与所述第二距离大致相同。所述至少一个处理装置可构造成基于所述多个图像来确定车道偏移条件是否基本上不存在,并且如果所述车道偏移条件基本上不存在,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离基本上等于所述第二距离。如果所述驾驶员辅助导航系统确定车道偏移条件存在,则所述至少一个处理装置可构造成致使所述第一距离比所述第二距离大至少1.25倍。替代地,所述至少一个处理装置可进一步构造成致使所述第一距离比所述第二距离大至少2倍。如果所述驾驶员辅助导航系统确定所述车道偏移条件包括弯路,则所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离朝向弯道的相对于所述车辆的外侧,并且所述第二距离朝向所述弯道的相对于所述车辆的内侧。如果所述驾驶员辅助导航系统确定所述车道偏移条件包括在所述车道的一侧上存在一个或多个对象,则所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得朝向所述一个或多个对象提供大于所述第二距离的所述第一距离。所述一个或多个对象可包括停放的车、墙和/或行人,并且可具有距路面大于10cm的高度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边或者路面宽度的确定的中点。确定车道偏移条件是否存在于所述车辆的所述第一侧可基于目标对象在所述车辆的所述第一侧上的位置来执行。致使所述车辆在所述第一车道约束和第二车道约束内行进使得所述第一距离大于所述第二距离可基于所述车辆的驾驶员的输入而撤销。
与另一公开的实施方式相一致,一种车辆可包括:第一车辆侧;与所述第一车辆侧相反的第二车辆侧;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述第一车辆侧上的第一车道约束;根据所述多个图像确定在所述第二车辆侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述第一车辆侧与所述第一车道约束之间的距离,并且第二距离对应于所述第二车辆侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述第一车辆侧上;如果车道偏移条件存在于所述第一车辆侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述第二车辆侧上;并且如果车道偏移条件存在于所述第二车辆侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。
与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果基于所述多个图像确定车道偏移条件存在于所述第一车辆侧和第二车辆侧两者上,则致使所述第一距离与所述第二距离大致相同。所述至少一个处理装置可构造成基于所述多个图像来确定车道偏移条件是否基本上不存在,并且如果所述车道偏移条件基本上不存在,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离基本上等于所述第二距离。所述车道偏移条件可包括弯路,并且所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离朝向弯道的相对于所述车辆的外侧,并且所述第二距离朝向所述弯道的相对于所述车辆的内侧。所述车道偏移条件可包括在所述车道的一侧上存在一个或多个对象,并且所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得朝向所述一个或多个对象提供大于所述第二距离的所述第一距离。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边和/或路面宽度的确定的中点。确定车道偏移条件是否存在于所述车辆的第一侧可基于目标对象在所述车辆的第一侧上的位置来执行。致使所述车辆在所述第一车道约束和第二车道约束内行进使得所述第一距离大于所述第二距离可基于所述车辆的驾驶员的输入而撤销。
与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;根据所述多个图像确定所述车辆的第一侧上的第一车道约束;根据所述多个图像确定与所述车辆的所述第一侧相反的所述车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述车辆的所述第一侧与所述第一车道约束之间的距离,并且第二距离对应于所述车辆的所述第二侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第一侧上;如果车道偏移条件存在于所述车辆的所述第一侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第二侧上;以及如果车道偏移条件存在于所述车辆的所述第二侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。
与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。
与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。所述至少一个处理装置可构造成在致使所述车辆变道之前激活转向信号。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音通知。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音指示。可基于所述车辆附近区域的所述多个图像、基于从全球定位系统接收的数据和/或基于从用户接收的输入来确定所述预定的默认行进车道。
与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。
与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。所述至少一个处理装置可构造成在致使所述车辆变道之前激活转向信号。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音通知。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音指示。可基于所述车辆附近区域的所述多个图像、基于从全球定位系统接收的数据和/或基于从用户接收的输入来确定所述预定的默认行进车道。
与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。
与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。可在致使所述车辆变道之前激活转向信号。可基于所述车辆附近区域的所述多个图像来确定所述预定的默认行进车道。
与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。
与公开的实施方式相一致,所述弯道的至少一个特性可包括根据所述地图数据确定的所述弯道的预期曲率半径。所述初始目标速度可基于所述弯道的所述预期曲率半径和侧向加速极限来确定。所述侧向加速极限可介于约0.2米/秒2到3.0米/秒2之间。替代地,所述侧向加速极限可介于约1.5米/秒2到3.0米/秒2之间。所述侧向加速极限可基于由所述多个图像确定的道路宽度来调整。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径。所述更新的目标速度可基于所述弯道的所述实际曲率半径和侧向加速极限来确定。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径的变化率。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与所述弯道关联的转弯倾斜度。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与由一个或多个道路标志传达的所述弯道相关的信息。所述初始目标速度还可基于所述至少一个图像捕获装置的焦距范围。所述初始目标速度还可基于确定交通灯是否沿着所述弯道定位。所述初始目标速度还可基于确定交通灯是否位于所述弯道之后的预定距离内。
与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。
与公开的实施方式相一致,所述弯道的至少一个特性可包括根据所述地图数据确定的所述弯道的预期曲率半径。所述初始目标速度可基于所述弯道的所述预期曲率半径和侧向加速极限来确定。所述侧向加速极限可基于由所述多个图像确定的道路宽度来调整。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径。所述更新的目标速度可基于所述弯道的所述实际曲率半径和侧向加速极限来确定。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径的变化率。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与所述弯道关联的转弯倾斜度。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与由一个或多个道路标志传达的所述弯道相关的信息。所述初始目标速度还可基于所述至少一个图像捕获装置的焦距范围。所述初始目标速度还可基于确定交通灯是否沿着所述弯道定位。所述初始目标速度还可基于确定交通灯是否位于所述弯道之后的预定距离内。
与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。
与公开的实施方式相一致,提供了一种用于主车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像中的至少一些图像来确定所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。
与公开的实施方式相一致,所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边。所述第一车道约束和第二车道约束中的至少一个可包括路面宽度的确定的中点。所述前车采取的所述至少一个动作可包括转弯,并且所述至少一个处理装置可致使所述主车辆执行开始于所述前车启动其转弯的地点处的类似转弯。所述前车采取的所述至少一个动作可包括加速。所述前车采取的所述至少一个动作可包括制动。所述前车采取的所述至少一个动作可包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。所述至少一个处理装置可进一步构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯,并且如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯、确定所述前车是否在所述路口内变道,如果确定所述前车是在路口处转弯并且在所述路口内不变道则模仿所述前车的所述转弯,并且如果确定所述前车是在路口处转弯但在所述路口内变道则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成:基于所述多个图像来获取第一前车,基于所述多个图像来获取第二前车,并且如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。所述至少一个处理装置可构造成:确定所述前车的位置信息并且将所述位置信息与预定地图数据比较,通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史,并且基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。所述至少一个处理装置可构造成:当所述导航历史指示所述前车已成功导航至少一个前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。
与另一公开的实施方式相一致,一种主车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。
与公开的实施方式相一致,所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边。所述第一车道约束和第二车道约束中的至少一个可包括路面宽度的确定的中点。所述前车采取的所述至少一个动作可包括转弯,并且所述至少一个处理装置可致使所述主车辆执行开始于所述前车启动其转弯的地点处的类似转弯。所述前车采取的所述至少一个动作可包括加速。所述前车采取的所述至少一个动作可包括制动。所述前车采取的所述至少一个动作可包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。所述至少一个处理装置可进一步构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯,并且如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯、确定所述前车是否在所述路口内变道,如果确定所述前车是在路口处转弯并且在所述路口内不变道则模仿所述前车的所述转弯,并且如果确定所述前车是在路口处转弯但在所述路口内变道则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成:基于所述多个图像来获取第一前车,基于所述多个图像来获取第二前车,并且如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。所述至少一个处理装置可构造成:确定所述前车的位置信息并且将所述位置信息与预定地图数据比较,通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史,并且基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。所述至少一个处理装置可构造成:当所述导航历史指示所述前车已成功导航至少一个前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。
与另一公开的实施方式相一致,提供了一种用于导航主车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取主车辆附近区域的多个图像;根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。
与公开的实施方式相一致,提供了一种用于用户车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。
与公开的实施方式相一致,致使所述用户车辆中止所述超越的步骤可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越的步骤可包括产生语音通知。致使所述用户车辆中止所述超越的步骤可包括致使所述用户车辆停止加速。监测所述目标车辆的位置的步骤可包括估算所述目标车辆的速度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。
与另一公开的实施方式相一致,一种用户车辆可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相对的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。
与公开的实施方式相一致,致使所述用户车辆中止所述超越可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越可包括产生语音通知。致使所述用户车辆中止所述超越可包括致使所述用户车辆停止加速。监测所述目标车辆的位置可包括估算所述目标车辆的速度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。
与另一公开的实施方式相一致,提供了一种用于导航用户车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取用户车辆附近区域的多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定与在所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。
与公开的实施方式相一致,致使所述用户车辆中止所述超越的步骤可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越的步骤可包括致使所述用户车辆停止加速。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。
与公开的实施方式相一致,提供了一种用于用户车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。
与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果对所述多个图像的分析指示所述侵入车辆已越过至少一个碰撞阈值则致使所述用户车辆采取躲避动作。所述躲避动作可包括变道、变动路线和/或制动。所述至少一个碰撞阈值可包括在所述用户车辆与所述侵入车辆之间维持的最小预定距离。所述至少一个碰撞阈值可包括将要碰撞的时间。所述至少一个处理装置可构造成在完成所述躲避动作之后致使所述用户车辆返回到所述用户车辆最初行进的车道的中央。所述至少一个图像捕获装置可具有至少140度的视场。所述至少一个处理装置可构造成在响应于侵入车辆进行制动之后致使所述用户车辆恢复预设速度。所述至少一个处理装置可构造成致使所述用户车辆返回到所述第一车道约束和第二车道约束内的车道地点,使得在响应于侵入车辆而变动路线之后,所述用户车辆与所述第一车道约束之间的所述第一距离基本上等于所述用户车辆与所述第二车道约束之间的所述第二距离。
与另一公开的实施方式相一致,一种用户车辆可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。
与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果所述对多个图像的分析指示所述侵入车辆已越过至少一个碰撞阈值则致使所述用户车辆采取躲避动作。所述躲避动作可包括变道、变动路线和/或制动。所述至少一个碰撞阈值可包括在所述用户车辆与所述侵入车辆之间维持的最小预定距离。所述至少一个碰撞阈值可包括将要碰撞的时间。所述至少一个处理装置可构造成在完成所述躲避动作之后致使所述用户车辆返回到所述用户车辆最初行进的车道的中央。所述至少一个图像捕获装置可具有至少140度的视场。所述至少一个处理装置可构造成在响应于侵入车辆进行制动之后致使所述用户车辆恢复预设速度。所述至少一个处理装置可构造成致使所述用户车辆返回到所述第一车道约束和第二车道约束内的车道地点,使得在响应于侵入车辆而变动路线之后,所述用户车辆与所述第一车道约束之间的所述第一距离基本上等于所述用户车辆与所述第二车道约束之间的所述第二距离。
与另一公开的实施方式相一致,提供了一种用于导航用户车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取用户车辆附近区域的多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。
与公开的实施方式相一致,提供了一种用于主车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;识别所述多个图像内的目标对象;经由所述多个图像监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。
与公开的实施方式相一致,所述目标对象可以是在与所述主车辆不同的车道中行进的目标车辆。所述拦截时间可基于由所述多个图像确定的被跟踪对象的速度的指示器。所述拦截时间可基于由所述多个图像确定的所述被跟踪对象的加速度的指示器。所述至少一个处理装置可进一步构造成确定所述目标对象是否在与所述主车辆相同的车道中行进,并且如果确定所述目标对象是在与所述主车辆不同的车道中行进则放弃所述主车辆的所述响应。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述多个图像。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述主车辆的预定地图数据或偏航率中的至少一者。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的第一拦截阈值的外侧,则所述响应可基于与所述目标对象关联的平均运动轮廓。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的所述第一拦截阈值与第二拦截阈值之间,则所述响应可基于所述目标对象的实际运动。如果拦截时间的所述指示器指示所述目标对象在所述第二拦截阈值内,则所述响应可包括紧急避让动作。所述紧急避让动作可包括变道和/或紧急制动。
与另一公开的实施方式相一致,一种主车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;识别所述多个图像内的目标对象;经由所述多个图像监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。
与公开的实施方式相一致,所述目标对象可以是在与所述主车辆不同的车道中行进的目标车辆。所述拦截时间可基于由所述多个图像确定的被跟踪对象的速度的指示器。所述拦截时间可基于由所述多个图像确定的所述被跟踪对象的加速度的指示器。所述至少一个处理装置可进一步构造成确定所述目标对象是否在与所述主车辆相同的车道中行进,并且如果确定所述目标对象是在与所述主车辆不同的车道中行进则放弃所述主车辆的所述响应。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述多个图像。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述主车辆的预定地图数据或偏航率中的至少一者。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的第一拦截阈值的外侧,则所述响应可基于与所述目标对象关联的平均运动轮廓。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的所述第一拦截阈值与第二拦截阈值之间,则所述响应可基于所述目标对象的实际运动。如果拦截时间的所述指示器指示所述目标对象在所述第二拦截阈值内,则所述响应可包括紧急避让动作。所述紧急避让动作可包括变道和/或紧急制动。
与另一公开的实施方式相一致,一种用于导航主车辆的方法可包括:经由至少一个图像捕获装置获取主车辆附近区域的多个图像;识别所述多个图像内的目标对象;基于所述多个图像来监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。
与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于对所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。
与公开的实施方式相一致,到达所述目标停止地点可伴随着制动压力的释放。所述触发器可包括对象。所述对象可包括所述车辆前方的另一车辆。所述触发器可包括交通灯信号、停止标志和/或限速标志。所述至少一个处理装置可进一步构造成提供识别所述触发器的语音通知。所述至少一个处理装置可构造成产生指示所述车辆正制动的语音通知。
与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于对所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。
与公开的实施方式相一致,到达所述目标停止地点可伴随着制动压力的释放。所述触发器可包括对象。所述对象可包括所述车辆前方的另一车辆。所述触发器可包括交通灯信号、停止标志和/或限速标志。所述至少一个处理装置可进一步构造成提供识别所述触发器的语音通知。所述至少一个处理装置可构造成产生指示所述车辆正制动的语音通知。
与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:经由至少一个图像捕获装置获取车辆附近区域的多个图像;基于对所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。
与其它公开的实施方式相一致,非临时性计算机可读的存储介质可存储程序指令,该程序指令由至少一个处理装置执行并且执行本文中描述的任何方法。
前面的总体描述和以下详细描述仅是示例性和说明性的并不限制权利要求书。
附图说明
并入本公开并构成本公开一部分的附图图示了各种公开的实施方式。在图中:
图1是与公开的实施方式相一致的示例性系统的概略表示。
图2A是包括与公开的实施方式相一致的系统的示例性车辆的概略侧视图表示。
图2B是与公开的实施方式相一致的图2A所示车辆和系统的概略顶视图表示。
图2C是包括与公开的实施方式相一致的系统的车辆的另一实施方式的概略顶视图表示。
图2D是包括与公开的实施方式相一致的系统的车辆的又一实施方式的概略顶视图表示。
图2E是包括与公开的实施方式相一致的系统的车辆的又一实施方式的概略顶视图表示。
图2F是与公开的实施方式相一致的示例性车辆控制系统的概略表示。
图3A是与公开的实施方式相一致的车辆的内部的概略表示,包括用于车辆成像系统的后视镜和用户接口。
图3B是与公开的实施方式相一致的构造成定位在后视镜后面并且抵着车辆挡风玻璃的相机安装件的示例的图示。
图3C是与公开的实施方式相一致的图3B所示的视角不同的相机安装件的图示。
图3D是与公开的实施方式相一致的构造成定位在后视镜后面并且抵着车辆挡风玻璃的相机安装件的示例的图示。
图4是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。
图5A是示出与公开的实施方式相一致的用于基于单眼图像分析来产生一个或多个导航响应的示例性过程的流程图。
图5B是示出与公开的实施方式相一致的用于检测一组图像中的一个或多个车辆和/或行人的示例性过程的流程图。
图5C是示出与公开的实施方式相一致的用于检测一组图像中的路标和/或车道几何信息的示例性过程的流程图。
图5D是示出与公开的实施方式相一致的用于检测一组图像中的交通灯的示例性过程的流程图。
图5E是示出与公开的实施方式相一致的用于基于车辆路径来产生一个或多个导航响应的示例性过程的流程图。
图5F是示出与公开的实施方式相一致的用于确定前车是否变道的示例性过程的流程图。
图6是示出与公开的实施方式相一致的用于基于立体图像分析来产生一个或多个导航响应的示例性过程的流程图。
图7是示出与公开的实施方式相一致的用于基于三组图像分析来产生一个或多个导航响应的示例性过程的流程图。
图8A是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第一车辆侧。
图8B是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第二车辆侧。
图8C是与公开的实施方式相一致的在弯路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。
图8D是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第一车辆侧和第二车辆侧两者上。
图9是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。
图10是与公开的实施方式相一致的用于导航车辆的示例性方法的流程图。
图11是与公开的实施方式相一致的在默认车道内行进包括导航系统的示例性车辆的概略表示。
图12A是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。
图12B是与公开的实施方式相一致的用于导航车辆的示例性过程的流程图。
图13A和图13B是与公开的实施方式相一致的接近以及导航具有一个或多个特性的弯道的示例性车辆的概略表示。
图14是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。
图15是示出与公开的实施方式相一致的用于基于被检测弯道和观察的弯道特性来控制车辆速度的示例性过程的流程图。
图16A至图16D是与公开的实施方式相一致的模仿前车一个或多个动作的主车辆的概略表示。
图17是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。
图18是示出与公开的实施方式相一致的用于致使主车辆模仿前车一个或多个动作的示例性过程的流程图。
图19是示出与公开的实施方式相一致的用于致使主车辆拒绝模仿前车转弯的示例性过程的流程图。
图20是示出与公开的实施方式相一致的用于致使主车辆模仿或拒绝前车转弯的示例性过程的流程图。
图21是示出与公开的实施方式相一致的用于致使主车辆模仿前车一个或多个动作的另一示例性过程的流程图。
图22是示出与公开的实施方式相一致的用于基于导航历史来致使主车辆模仿前车一个或多个动作的示例性过程的流程图。
图23是与公开的实施方式相一致的在另一车辆行进所沿着的道路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。
图24A是与公开的实施方式相一致的存储用于在侵入车辆之中导航车辆的指令的存储器的概略表示。
图24B是与公开的实施方式相一致的用于在侵入车辆之中导航车辆的示例性过程的流程图。
图25是与公开的实施方式相一致的在另一车辆行进所沿着的道路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。
图26是与公开的实施方式相一致的存储用于检测以及响应于车辆交通侧向侵入的指令的存储器的概略表示。
图27是与公开的实施方式相一致的用于检测以及响应于车辆交通侧向侵入的示例性过程的流程图。
图28A和图28B是与公开的实施方式相一致的产生主车辆响应的概略表示。
图29是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。
图30是示出与公开的实施方式相一致的用于产生主车辆响应的示例性过程的流程图。
图31是示出与公开的实施方式相一致的用于拒绝产生主车辆响应的示例性过程的流程图。
图32A是与公开的实施方式相一致的使对象存在于车辆附近的示例性车辆的概略表示。
图32B图示了与公开的实施方式相一致的示例性制动轮廓。
图33是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。
图34是与公开的实施方式相一致的用于在导航车辆的同时实施制动轮廓的示例性方法的流程图。
具体实施方式
以下详细描述参照附图。在可能的情况下,相同的附图标记在图中和以下描述中用来指相同或类似的部分。虽然本文中描述了若干说明性实施方式,但是可以进行修改、改写及其它实施。例如,对图中图示的部件可做出替换、添加或修改,并且本文中描述的说明性方法可通过将步骤替换、重新排序、移除或添加至公开的方法进行修改。因此,以下详细描述并不限于公开的实施方式和示例。相反,适当范围由所附权利要求限定。
公开的实施方式提供使用相机来提供自主导航特征的系统和方法。在各种实施方式中,所述系统可包括监测车辆的环境的一个、两个或更多个相机。在一个实施方式中,所述系统可监测并调整车辆与车道边界之间的自由空间,车辆在所述车道内行进。在另一实施方式中,所述系统可选择特定车道作为车辆在行进同时使用的默认车道。在另一实施方式中,所述系统可控制车辆在不同场景(诸如转弯时)中的速度。在又一实施方式中,所述系统可模仿前车的动作。在又一实施方式中,所述系统可监测目标车辆并且在某些条件下(例如,如果目标车辆行进的车道不同于所述车辆行进的车道)使所述车辆能够超越目标车辆。在再一实施方式中,所述系统可响应于侧向侵入车辆(诸如试图进入所述车辆行进的车道中的车辆)来产生自然感觉。
图1是与示例性公开的实施方式相一致的系统100的框图表示。取决于特定实施的要求,系统100可包括各种部件。在一些实施方式中,系统100可包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160和用户接口170。处理单元110可包括一个或多个处理装置。在一些实施方式中,处理单元110可包括应用处理器180、图像处理器190或任何其它合适的处理装置。类似地,取决于特定应用的要求,图像获取单元120可包括任何数目的图像获取装置和部件。在一些实施方式中,图像获取单元120可包括一个或多个图像捕获装置(例如,相机),诸如图像捕获装置122、图像捕获装置124和图像捕获装置126。系统100可还包括数据接口128,该数据接口128将处理装置110和图像获取装置120通信连接。例如,数据接口128可包括用于将由图像获取装置120获取的图像数据发送到处理单元110的任何一个或多个有线和/或无线链路。
应用处理器180和图像处理器190两者均可包括各种类型的处理装置。例如,应用处理器180和图像处理器190中的任一者或两者可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或适于运行应用程序以及图像处理和分析的任何其它类型的装置。在一些实施方式中,应用处理器180和/或图像处理器190可包括任何类型的单核或多核处理器、移动装置微控制器、中央处理单元,等等。可使用各种处理装置,包括例如可购自诸如
Figure BDA0001059957740000201
等等制造商的处理器,并且可包括各种结构(例如,x86处理器、
Figure BDA0001059957740000202
等等)。
在一些实施方式中,应用处理器180和/或图像处理器190可包括任何可购自
Figure BDA0001059957740000203
的EyeQ系列处理器芯片。这些处理器设计各包括具有本地存储器和指令集的多处理单元。这样的处理器可包括用于接收来自多个图像传感器的图像数据的视频输入,并且还可包括视频输出功能。在一个示例中,
Figure BDA0001059957740000204
使用在332Mhz下操作的90纳米微米技术。
Figure BDA0001059957740000205
结构组成如下:两个浮点、超线程32位RISC CPU(
Figure BDA0001059957740000206
核)、五个视觉计算引擎(VCE)、三个矢量微码处理器
Figure BDA0001059957740000207
Denali 64位移动DDR控制器、128位内部超音速互连、双16位视频输入控制器和18位视频输出控制器、16通道DMA以及若干外设。MIPS34K CPU管理五个VCE、三个VMPTM和DMA、第二MIPS34K CPU和多通道DMA以及其它外设。五个VCE、三个
Figure BDA0001059957740000211
和MIPS34K CPU可以执行多功能捆绑应用程序所需要的密集的视觉计算。在另一示例中,为第三代处理器并且比
Figure BDA0001059957740000212
强大六倍的
Figure BDA0001059957740000213
可在公开的实施方式中使用。
虽然图1描绘了包括在处理单元110中的两个分离处理装置,但是可使用或多或少的处理装置。例如,在一些实施方式中,单个处理装置可用于完成应用处理器180和图像处理器190的任务。在其它实施方式中,这些任务可由多于两个处理装置执行。
处理单元110可包括各种类型的装置。例如,处理单元110可包括各种装置,诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的装置。图像预处理器可包括用于捕获、数字化并处理来自图像传感器的图像的视频处理器。CPU可包括任何数目的微控制器或微处理器。支持电路可以是本领域普遍公知的任何数目的电路,包括高速缓存、电源、时钟和输入输出电路。存储器可存储软件,该软件当由处理器执行时会控制系统的操作。存储器可包括数据库和图像处理软件。存储器可包括任何数目的随机存取存储器、只读存储器、闪速存储器、盘驱动器、光学存储介质、磁带存储介质、可去除存储介质及其它类型的存储介质。在一个实例中,存储器可从处理单元110分离。在另一实例中,存储器可集成到处理单元110中。
每个存储器140、150可包括软件指令,该软件指令当由处理器(例如,应用处理器180和/或图像处理器190)执行时可控制系统100的各方面的操作。这些存储器单元可包括各种数据库和图像处理软件。存储器单元可包括随机存取存储器、只读存储器、闪速存储器、盘驱动器、光学存储介质、磁带存储介质、可去除存储介质和/或任何其它类型的存储介质。在一些实施方式中,存储器单元140、150可从应用处理器180和/或图像处理器190分离。在其它实施方式中,这些存储器单元可集成到应用处理器180和/或图像处理器190中。
位置传感器130可包括适于确定与系统100的至少一个部件关联的地点的任何类型的装置。在一些实施方式中,位置传感器130可包括GPS接收器。这样的接收器可以通过处理全球定位系统卫星传播的信号来确定用户位置和速度。来自位置传感器130的位置信息可供应用处理器180和/或图像处理器190使用。
用户接口170可包括适于向来自系统100的一个或多个用户的输入提供信息或者用于接收所述输入的任何装置。在一些实施方式中,用户接口170可包括用户输入装置,包括例如触摸屏、麦克风、键盘、指针装置、跟踪轮、相机、旋钮、按钮,等等。在这样的输入装置的情况下,用户能够通过以下手段向系统100提供信息输入或命令:键入指令或信息、提供语音命令、使用按钮、指针或眼跟踪功能在屏幕上选择菜单选项或者用于将信息与系统100通信的任何其它合适的技术。
用户接口170可配备有一个或多个处理装置,该一个或多个处理装置被构造成向用户提供信息或从用户接收信息并且处理该信息以供例如应用处理器180使用。在一些实施方式中,这样的处理装置可执行指令以辨识并跟踪眼移动、接收并解译语音命令、辨识并解译在触摸屏上做出的触摸和/或手势、响应于键盘输入或菜单选择,等等。在一些实施方式中,用户接口170可包括显示器、扬声器、触觉装置和/或用于向用户提供输出信息的任何其它装置。
地图数据库160可包括用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施方式中,地图数据库160可包括各种条目的在参考坐标系中与位置相关的数据,所述条目包括道路、水特征、地理特征、企业、关注点、餐厅、加油站,等等。地图数据库160不仅可存储这样的条目的地点,而且可存储与这些条目相关的描述词(包括例如,与任何存储特征关联的名称)。在一些实施方式中,地图数据库160可与系统100的其它部件物理定位。替代地或另外,地图数据库160或其一部分可相对于系统100的其它部件(例如,处理单元110)远程定位。在这样的实施方式中,来自地图数据库160的信息可通过网络的有线或无线数据连接(例如,通过蜂窝网络和/或因特网,等等)下载。
图像捕获装置122、124和126可各包括适于从环境中捕获至少一个图像的任何类型的装置。而且,任何数目的图像捕获装置可用于获取图像以输入到图像处理器。一些实施方式可仅包括单个图像捕获装置,而其它实施方式可包括两个、三个或者甚至四个以上图像捕获装置。图像捕获装置122、124和126将在下面参照图2B至图2E进一步描述。
系统100或其各种部件可整合到各种不同的平台中。在一些实施方式中,系统100可包括在如图2A所示的车辆200上。例如,如上面相对于图1描述的,车辆200可配备有处理单元110和系统100的任何其它部件。而在一些实施方式中,车辆200可仅配备有单个图像捕获装置(例如,相机),在诸如结合图2B至图2E讨论的其它实施方式中,可使用多个图像捕获装置。例如,如图2A所示的车辆200的图像捕获装置122和124中的任一者可以是ADAS(先进驾驶员辅助系统)成像组的一部分。
包括在车辆200上作为图像获取单元120的一部分的图像捕获装置可定位在任何合适的地点处。在一些实施方式中,如图2A至图2E和图3A至图3C所示,图像捕获装置122可位于后视镜附近。该位置可提供视线(类似于车辆200的驾驶员的视线),可帮助确定对驾驶员而言什么是可见的,什么是不可见的。图像捕获装置122可定位在后视镜附近的任何地点处,但将图像捕获装置122放置在镜子的在驾驶员的那一侧上可进一步帮助获得表示驾驶员视场和/或视线的图像。
针对图像获取单元120的图像捕获装置,还可使用其它地点。例如,图像捕获装置124可位于车辆200的保险杠之上或之中。这样的地点可尤其适合具有宽视场的图像捕获装置。位于保险杠上的图像捕获装置的视线可以不同于驾驶员的视线,因此,保险杠图像捕获装置和驾驶员可能并不总是看到相同的对象。图像捕获装置(例如,图像捕获装置122、124和126)也可位于其它地点中。例如,图像捕获装置可位于车辆200的一个或两个侧视镜之上或之中、车辆200的车顶上、车辆200的发动机罩上、车辆200的行李箱上、车辆200的侧面,安装在车辆200的任何窗口上、定位在车辆200的任何窗口的后面或前面,以及安装在车辆200的正面和/或背面的光图之中或附近,等等。
除了图像捕获装置,车辆200可包括系统100的各种其它部件。例如,处理单元110可包括在车辆200上,与车辆的发动机控制单元(ECU)或者集成或者分离。车辆200还可配备有诸如GPS接收器的位置传感器130,并且还可包括地图数据库160以及存储器单元140和150。
图2A是与公开的实施方式相一致的示例性车辆成像系统的概略侧视图表示。图2B是图2A所示的实施方式的概略顶视图图示。如图2B中图示的,公开的实施方式可包括车辆200,车辆200在其主体中包括系统100,系统100具有定位在后视镜附近和/或车辆200的驾驶员附近的第一图像捕获装置122、定位在车辆200的保险杠区域(例如,保险杠区域210中的一个)之上或之中的第二图像捕获装置124,以及处理单元110。
如图2C中图示的,图像捕获装置122和124两者均可定位在后视镜附近和/或车辆200的驾驶员附近。另外,虽然在图2B和图2C中示出了两个图像捕获装置122和124,但是应该理解的是,其它实施方式可包括多于两个图像捕获装置。例如,在图2D和图2E示出的实施方式中,第一图像捕获装置122,第二图像捕获装置124和第三图像捕获装置126被包括在车辆200的系统100中。
如图2D中图示的,图像捕获装置122可定位在后视镜附近和/或车辆200的驾驶员附近,并且图像捕获装置124和126可定位在车辆200的保险杠区域(例如,保险杠区域210中的一个)之上或之中。并且如图2E所示,图像捕获装置122、124和126可定位在后视镜附近和/或车辆200的驾驶员座椅附近。公开的实施方式并不限于任何特定数目和构造的图像捕获装置,并且图像捕获装置可定位在车辆200内和/或上的任何适当的地点中。
应理解的是,公开的实施方式并不限于车辆并且可以应用在其它背景中。还应理解的是,公开的实施方式并不限于特定类型的车辆200并且可应用于所有类型的车辆,包括汽车、卡车、拖车和其它类型的车辆。
第一图像捕获装置122可包括任何合适类型的图像捕获装置。图像捕获装置122可包括光轴。在一个实例中,图像捕获装置122可包括具有全局快门的Aptina M9V024WVGA传感器。在其它实施方式中,图像捕获装置122可提供1280x960像素的分辨率并且可包括卷帘快门。图像捕获装置122可包括各种光学元件。在一些实施方式中,例如,可包括一个或多个透镜,为图像捕获装置提供期望的焦距和视场。在一些实施方式中,图像捕获装置122可与6mm透镜或12mm透镜关联。在一些实施方式中,如图2D中图示的,图像捕获装置122可构造成捕获具有期望视场(FOV)202的图像。例如,图像捕获装置122可构造成具有常规的FOV,诸如在40度到56度的范围内,包括46度FOV、50度FOV、52度FOV以上。替代地,图像捕获装置122可构造成具有23度到40度范围内的窄FOV,诸如28度FOV或36度FOV。另外,图像捕获装置122可构造成具有100度到180度范围内的宽FOV。在一些实施方式中,图像捕获装置122可包括宽角度的保险杠相机或者具有直到180度FOV。
第一图像捕获装置122可相对于与车辆200关联的场景获取多个第一图像。多个第一图像中的每个均可被获取,作为可使用卷帘快门捕获的一系列图像扫描线。每个扫描线均可包括多个像素。
第一图像捕获装置122可具有与获取第一系列图像扫描线中的每个关联的扫描速率。扫描速率可指这样的速率,即在所述速率下,图像传感器可以获取与包括在特定扫描线中的每个像素关联的图像数据。
例如,图像捕获装置122、124和126可包含任何合适类型和数目的图像传感器,包括CCD传感器或CMOS传感器。在一个实施方式中,CMOS图像传感器可连同卷帘快门一起采用,使得一行中的每个像素一次读取一个,并且该行的扫描在一行接一行的基础上进行,直到整个图像帧已被捕获。在一些实施方式中,该行可相对于帧从上到下依次捕获。
使用卷帘快门可导致不同行中的像素在不同的时间被曝光并被捕获,这可致使被捕获的图像帧的歪斜和其它图像伪影。另一方面,当图像捕获装置122被构造成用全局或同步快门操作时,所有像素都可曝光持续相同的时间量并且在共同的曝光周期中。结果是,从采用全局快门的系统中收集的帧的图像数据表示整个FOV(诸如FOV202)在特定时间的快照。对比之下,在卷帘快门应用中,帧中的每行均被曝光,并且数据在不同的时间被捕获。由此,移动的对象可能在具有卷帘快门的图像捕获装置中呈现失真。该现象将在下面更详细地描述。
第二图像捕获装置124和第三图像捕获装置126可以是任何类型的图像捕获装置。如同第一图像捕获装置122,图像捕获装置124和126中的每个均可包括光轴。在一个实施方式中,图像捕获装置124和126中的每个均可包括具有全局快门的Aptina M9V024WVGA传感器。替代地,图像捕获装置124和126中的每个均可包括卷帘快门。如同图像捕获装置122,图像捕获装置124和126可构造成包括各种透镜和光学元件。在一些实施方式中,与图像捕获装置124和126关联的透镜可提供等于或窄于与图像捕获装置122关联的FOV(诸如FOV 202)的FOV(诸如FOV 204和206)。例如,图像捕获装置124和126可具有40度、30度、26度、23度、20度或以下的FOV。
图像捕获装置124和126可相对于与车辆200的关联的场景获取多个第二图像和第三图像。多个第二图像和第三图像中的每个均可获取为可使用卷帘快门捕获的第二系列和第三系列的图像扫描线。每个扫描线或行均可具有多个像素。图像捕获装置124和126可具有与获取包括在第二系列和第三系列中的每个图像扫描线关联的第二扫描速率和第三扫描速率。
每个图像捕获装置122、124和126均可相对于车辆200定位在任何合适的位置和取向。可选择图像捕获装置122、124和126的相对定位以帮助将从图像捕获装置获取的信息融合到一起。例如,在一些实施方式中,与图像捕获装置124关联的FOV(诸如FOV 204)可与关联图像捕获装置122的FOV(诸如FOV 202)和关联图像捕获装置126的FOV(诸如FOV 206)部分地或完全地地重叠。
图像捕获装置122、124和126可位于车辆200上任何合适的相对高度处。在一个实例中,在图像捕获装置122、124和126之间可能存在高度差,这可提供足够的视差信息来实现立体分析。例如,如图2A所示,两个图像捕获装置122和124处于不同的高度处。例如,在图像捕获装置122、124和126之间还可能存在侧向位移差,为处理单元110的立体分析给出额外视差信息。侧向位移差可记作dx,如图2C和图2D所示。在一些实施方式中,前后位移(例如,范围位移)可能存在于图像捕获装置122、124和126之间。例如,图像捕获装置122可位于图像捕获装置124和/或图像捕获装置126后面的0.5米到2米以上。这种类型的位移可使图像捕获装置之一能够覆盖其它图像捕获装置的潜在盲点。
图像捕获装置122可具有任何合适的分辨率功能(例如,与图像传感器关联的像素数目),并且与图像捕获装置122关联的图像传感器的分辨率可大于、小于或等于与图像捕获装置124和126关联的图像传感器的分辨率。在一些实施方式中,与图像捕获装置122和/或图像捕获装置124和126关联的图像传感器可具有640x480、1024x768、1280x960的分辨率或具有任何其它合适的分辨率。
帧速率(例如,在移动到捕获与下一个图像帧关联的像素数据之前图像捕获装置获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕获装置122关联的帧速率可大于、小于或等于与图像捕获装置124和126关联的帧速率。与图像捕获装置122、124和126关联的帧速率可取决于可能影响帧速率的计时的各种因素。例如,图像捕获装置122、124和126中的一个或多个可包括在获取与图像捕获装置122、124和/或126中的图像传感器的一个或多个像素关联的图像数据之前或之后强加的可选像素延迟周期。一般,对应于每个像素的图像数据可根据装置的时钟速率获取(例如,每个时钟周期一个像素)。另外,在包括卷帘快门的实施方式中,图像捕获装置122、124和126中的一个或多个可包括在获取与图像捕获装置122、124和/或126中的图像传感器的一行像素关联的图像数据之前或之后强加的可选水平消隐周期。进一步,图像捕获装置122、124和/或126中的一个或多个可包括在获取与图像捕获装置122、124和126的图像帧关联的图像数据之前或之后强加的可选垂直消隐周期。
这些计时控制可使与图像捕获装置122、124和126关联的帧速率同步,甚至当每个图像捕获装置的线扫描速率不同时亦如此。另外,如将在下面更详细地讨论的,在其它因素(例如,图像传感器分辨率、最大线扫描速率,等等)之中,这些可选计时控制可使图像捕获装置122的FOV与图像捕获装置124和126的一个或多个FOV重叠的区域的图像捕获同步,甚至当图像捕获装置122的视场不同于图像捕获装置124和126的FOV时亦如此。
图像捕获装置122、124和126的帧速率计时可取决于关联的图像传感器的分辨率。例如,假设两个装置有类似的线扫描速率,如果一个装置包括分辨率为640x 480的图像传感器并且另一装置包括分辨率为1280x 960的图像传感器,则将需要更多时间来获取来自具有更高分辨率的传感器的图像数据的帧。
可影响图像捕获装置122、124和126的图像数据获取的计时的另一因素是最大线扫描速率。例如,获取包括在图像捕获装置122、124和126中的图像传感器的一行图像数据将需要一些最小时间量。假设没有添加像素延迟周期,则获取一行图像数据的该最小时间量将与特定装置的最大线扫描速率相关。提供较高最大线扫描速率的装置潜在地提供比具有较小最大线扫描速率的装置更大的帧速率。在一些实施方式中,图像捕获装置124和126中的一个或多个的最大线扫描速率可大于与图像捕获装置122关联的最大线扫描速率。在一些实施方式中,图像捕获装置124和/或126的最大线扫描速率可以是图像捕获装置122的最大线扫描速率的1.25倍、1.5倍、1.75倍或2倍以上。
在另一实施方式中,图像捕获装置122、124和126可具有相同的最大线扫描速率,但图像捕获装置122可在小于或等于其最大扫描速率的扫描速率下操作。所述系统可构造成使得图像捕获装置124和126中的一个或多个在等于图像捕获装置122的线扫描速率的线扫描速率下操作。在其它实例中,所述系统可构造成使得图像捕获装置124和/或图像捕获装置126的线扫描速率可以是图像捕获装置122的线扫描速率的1.25倍、1.5倍、1.75倍或2倍以上。
在一些实施方式中,图像捕获装置122、124和126可以是非对称的。即,它们可包括具有不同视场(FOV)和焦距的相机。例如,图像捕获装置122、124和126的视场可包括相对于车辆200的环境的任何期望区域。在一些实施方式中,图像捕获装置122、124和126中的一个或多个可构造成获取来自车辆200前方、车辆200后方、车辆200侧方或它们的组合的环境的图像数据。
进一步,与每个图像捕获装置122、124和/或126关联的焦距可以是可选的(例如,通过包括适当的透镜等等),使得每个装置均获取在相对于车辆200的期望距离范围处的对象的图像。例如,在一些实施方式中,图像捕获装置122、124和126可获取距车辆几米内的特写对象的图像。图像捕获装置122、124和126还可构造成获取更远离车辆的范围(例如,25m、50m、100m、150m以上)的对象的图像。进一步,图像捕获装置122、124和126的焦距可选择为使得一个图像捕获装置(例如,图像捕获装置122)可以获取相对接近车辆(例如,10m内或20m内)的对象的图像,而其它图像捕获装置(例如,图像捕获装置124和126)可以获取距车辆200更远的对象(例如,大于20m、50m、100m、150m,等等)的图像。
根据一些实施方式,一个或多个图像捕获装置122、124和126的FOV可具有宽角度。例如,尤其对于可用于捕获车辆200附近的区域的图像的图像捕获装置122、124和126,可有利的是具有140度的FOV。例如,图像捕获装置122可用于捕获车辆200右方或左方的区域的图像,并且在这样的实施方式中,图像捕获装置122可期望的是具有宽FOV(例如,至少140度)。
与图像捕获装置122、124和126中的每个关联的视场可取决于相应的焦距。例如,随着焦距的增加,对应的视场降低。
图像捕获装置122、124和126可构造成具有任何合适的视场。在一个特定示例中,图像捕获装置122可具有46度的水平FOV,图像捕获装置124可具有23度的水平FOV,并且图像捕获装置126可具有介于23度到46度之间的水平FOV。在另一实例中,图像捕获装置122可具有52度的水平FOV,图像捕获装置124可具有26度的水平FOV,并且图像捕获装置126可具有26度到52度之间的水平FOV。在一些实施方式中,图像捕获装置122的FOV与图像捕获装置124和/或图像捕获装置126的FOV的比率可从1.5变化到2.0。在其它实施方式中,该比率可在1.25到2.25之间变化。
系统100可构造成使得图像捕获装置122的视场与图像捕获装置124和/或图像捕获装置126的视场至少部分地或完全地重叠。在一些实施方式中,系统100可构造成使得图像捕获装置124和126的视场例如落入(例如,窄于)图像捕获装置122的视场内并且与图像捕获装置122的视场共享共同的中心。在其它实施方式中,图像捕获装置122、124和126可捕获相邻FOV,或者可使它们的FOV部分地重叠。在一些实施方式中,图像捕获装置122、124和126的视场可对准,使得较窄FOV图像捕获装置124和/或126的中心可位于较宽FOV装置122的视场的下半部中。
图2F是与公开的实施方式相一致的示例性车辆控制系统的概略表示。如图2F中指示的,车辆200可包括节流系统220、制动系统230和转向系统240。系统100可经一个或多个数据链路(例如,用于发送数据的任何有线和/或无线的一个或多个链路)向节流系统220、制动系统230和转向系统240中的一个或多个提供输入(例如,控制信号)。例如,基于对由图像捕获装置122、124和/或126获取的图像的分析,系统100可向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号,以(例如,通过致使加速、转弯、车道移位,等等)导航车辆200。进一步,系统100可接收来自节流系统220、制动系统230和转向系统240中的一个或多个的输入,指示车辆200的操作条件(例如,速度,车辆200是否制动和/或转弯,等等)。下面,进一步细节结合图4至图7来提供。
如图3A所示,车辆200还可包括用于与车辆200的驾驶员或乘客交互的用户接口170。例如,在车辆应用中,用户接口170可包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可使用手柄(例如,位于车辆200的转向柱之上或附近,例如包括转向信号手柄)、按钮(例如,位于车辆200的方向盘上)等,以与系统100交互。在一些实施方式中,麦克风350可定位成与后视镜310相邻。类似地,在一些实施方式中,图像捕获装置122可位于后视镜310附近。在一些实施方式中,用户接口170还可包括一个或多个扬声器360(例如,车辆音频系统的扬声器)。例如,系统100可经由扬声器360提供各种通知(例如,提示)。
图3B至图3D是与公开的实施方式相一致的示例性相机安装件370的图示,相机安装件370被构造成定位在后视镜(例如,后视镜310)后面并且抵着车辆挡风玻璃。如图3B所示,相机安装件370可包括图像捕获装置122、124和126。图像捕获装置124和126可定位在遮光板380后面,遮光板380可与车辆挡风玻璃齐平并且包括薄膜和/或抗反射材料的组合物。例如,遮光板380可定位成使得其抵着具有配合斜度的车辆挡风玻璃而对准。在一些实施方式中,例如,如图3D中描绘的,图像捕获装置122、124和126中的每个均可定位在遮光板380后面。公开的实施方式并不限于任何特定构造的图像捕获装置122、124和126、相机安装件370和遮光板380。图3C是图3B中示出的相机安装件370从正面视角的图示。
如受益于本公开的本领域技术人员将了解的,对于前面的公开的实施方式可做出许多变型和/或修改。例如,并非所有部件对于系统100的操作都是至关重要的。进一步,任何部件都可位于系统100的任何适当的部分中,并且所述部件可重新布置成各种构造,同时提供公开的实施方式的功能性。因此,前面的构造是示例并且与上面讨论的构造无关,系统100可以提供宽范围的功能性,用以分析车辆200的周边环境并且响应于所述分析来导航车辆200。
如下面进一步详细地讨论且与各种公开的实施方式相一致,系统100可提供与自主驱动和/或驾驶员辅助技术相关的各种特征。例如,系统100可分析图像数据、位置数据(例如,GPS地点信息)、地图数据、速度数据和/或来自包括在车辆200中的传感器的数据。系统100可收集来自例如图像获取单元120、位置传感器130及其它传感器的数据以供分析。进一步,系统100可分析所收集的数据以确定车辆200是否应该采取某些动作,然后在无人为干预的情况下自动采取确定的动作。例如,当车辆200在无人为干预的情况下导航时,系统100可(例如,通过向节流系统220、制动系统230和转向系统240中的一个或多个发送控制信号)自动控制车辆200的制动、加速和/或转向。进一步,系统100可分析所收集的数据并发出警告,和/或基于所收集的数据的分析来提示车辆驾乘人员。
进一步,与公开的实施方式相一致,由系统100提供的功能性可致使车辆200采取不同的动作以在车道内和/或相对于其它车辆和/或对象来导航车辆200。例如,系统100可调整车辆200相对于车辆200行进的车道和/或相对于定位在车辆200附近的对象的定位,针对车辆200选择特定车道以在行进的同时使用,并且响应于侵入车辆(诸如试图进入车辆200行进的车道中的车辆)采取动作。另外,系统100可控制车辆200在不同场景(诸如当车辆200进行转弯时)下的速度。系统100可进一步致使车辆200模仿前车的动作或监测目标车辆,并且导航车辆200使之超越目标车辆。下面提供关于系统100所提供的各种实施方式的额外细节。
朝前多成像系统
如上面讨论的,系统100可提供使用多相机系统的驱动辅助功能性。多相机系统可使用面对车辆向前方向的一个或多个相机。在其它实施方式中,多相机系统可包括面对车辆侧面或车辆后面的一个或多个相机。在一个实施方式中,例如,系统100可使用双相机成像系统,其中第一相机和第二相机(例如,图像捕获装置122和124)可定位在车辆(例如,车辆200)的前面和/或侧面。第一相机的视场可大于、小于第二相机的视场,或者与第二相机的视场部分地重叠。另外,第一相机可连接到第一图像处理器,以执行第一相机所提供的图像的单眼图像分析,并且第二相机可连接到第二图像处理器,以执行第二相机所提供的图像的单眼图像分析。第一图像处理器和第二图像处理器的输出(例如,处理后的信息)可组合。在一些实施方式中,第二图像处理器可接收来自第一相机和第二相机两者的图像以执行立体分析。在另一实施方式中,系统100可使用三相机成像系统,其中每个相机均具有不同的视场。因此,这样的系统可基于从位于车辆前面和侧面两者的变化距离处的对象得到的信息做出决定。提到单眼图像分析可指这样的实例,即:基于从单个观察点(例如,从单个相机)捕获的图像来执行图像分析。立体图像分析可指这样的实例,即:基于用图像捕获参数的一个或多个变型捕获的两个或更多个图像来执行图像分析。例如,适于执行立体图像分析的被捕获图像可包括采取以下手段捕获的图像:根据两个或更多个不同位置,从不同的视场,使用不同的焦距,结合视差信息,等等。
例如,在一个实施方式中,系统100可实施使用图像捕获装置122-126的三相机构造。在这样的构造中,图像捕获装置122可提供窄视场(例如,34度,或选自约20度到45度范围的其它值,等等),图像捕获装置124可提供宽视场(例如,150度或选自约100度到约180度范围的其它值),并且图像捕获装置126可提供中间视场(例如,46度或选自约35度到约60度范围的其它值)。在一些实施方式中,图像捕获装置126可作为主相机或主要相机。图像捕获装置122-126可定位在后视镜310后面并且基本上并排定位(例如,6cm间隔)。进一步,在一些实施方式中,如上面讨论的,图像捕获装置122-126中的一个或多个可安装在与车辆200的挡风玻璃齐平的遮光板380后面。这样的遮光可将来自车内的任何反射对图像捕获装置122-126造成的影响降到最低。
在另一实施方式中,如上面结合图3B和图3C讨论的,宽视场相机(例如,上面示例中的图像捕获装置124)可安装得低于窄的主视场相机(例如,上面示例中的图像装置122和126)。该构造可提供来自宽视场相机的自由视线。为了减少反射,相机可安装得接近车辆200的挡风玻璃,并且可包括相机上的偏光器用以抑制反射光。
三相机系统可提供某些性能特性。例如,一些实施方式可包括如下能力:基于另一相机的检测结果来验证一个相机针对对象的检测。在上面讨论的三相机构造中,处理单元110可包括例如三个处理装置(例如,如上面讨论的,三个EyeQ系列的处理器芯片),每个处理装置均专用于处理由图像捕获装置122-126中的一个或多个捕获的图像。
在三相机系统中,第一处理装置可接收来自主相机和窄视场相机两者的图像,并且执行窄FOV相机的视觉处理以例如检测其它车辆、行人、车道标线、交通标志、交通灯及其它道路对象。进一步,第一处理装置可计算主相机和窄相机的图像之间的像素差距并且创建车辆200的环境的三维重构。然后,第一处理装置可将三维重构与三维地图数据组合,或者与基于另一相机的信息计算的三维信息组合。
第二处理装置可接收来自主相机的图像并且执行视觉处理以检测其它车辆、行人、车道标线、交通标志、交通灯及其它道路对象。另外,第二处理装置可计算相机位移,并且基于该位移计算连续图像之间的像素差距并创建场景的三维重构(例如,根据运动的结构)。第二处理装置可将来自基于运动的三维重构的结构发送到第一处理装置以与立体三维图像组合。
第三处理装置可接收来自宽FOV相机的图像并且处理所述图像,以检测车辆、行人、车道标线、交通标志、交通灯及其它道路对象。第三处理装置可进一步执行额外处理指令以分析图像来识别在图像中移动的对象,诸如变道的车辆、行人,等等。
在一些实施方式中,使基于图像的信息流被独立地捕获并处理可提供:提供系统冗余的机会。例如,这样的冗余可包括:使用第一图像捕获装置和从该装置处理的图像以验证和/或补充通过捕获并处理至少来自第二图像捕获装置的图像信息而获得的信息。
在一些实施方式中,系统100可使用两个图像捕获装置(例如,图像捕获装置122和124)来为车辆200提供导航辅助,并且使用第三图像捕获装置(例如,图像捕获装置126)以提供冗余并验证从其它两个图像捕获装置接收的数据的分析。例如,在这样的构造中,图像捕获装置122和124可为系统100的立体分析提供图像以导航车辆200,而图像捕获装置126可为系统100的单眼分析提供图像以提供冗余并验证基于从图像捕获装置122和/或图像捕获装置124捕获的图像而获得的信息。即,图像捕获装置126(及对应的处理装置)可被认为提供冗余子系统,以提供对从图像捕获装置122和124得到的分析的检查(例如,提供自动紧急制动(AEB)系统)。
本领域技术人员将辨识到,上面的相机构造、相机放置、相机数目、相机地点等等仅是示例。这些部件及相对于整体系统描述的其它部件可组装并用在各种不同构造中而不脱离公开的实施方式的范围。下面是关于多相机系统的使用的进一步细节,用以提供驾驶员辅助和/或自主车辆功能性。
图4是与公开的实施方式相一致的存储器140和/或150的示例性功能框图,存储器140和/或150可存储/编程有用于执行一个或多个操作的指令。虽然以下是参照存储器140,但是本领域技术人员将辨识到,指令可存储在存储器140和/或150中。
如图4所示,存储器140可存储单眼图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。公开的实施方式并不限于任何特定构造的存储器140。进一步,应用处理器180和/或图像处理器190可执行存储于包括在存储器140中的任何模块402-408之中的指令。本领域技术人员将理解,以下讨论中对处理单元110的引用可单独或共同地指应用处理器180和图像处理器190。因此,任何以下过程的步骤可由一个或多个处理装置执行。
在一个实施方式中,单眼图像分析模块402可存储指令(诸如计算机视觉软件),当由处理单元110执行时,该指令执行由图像捕获装置122、124和126之一获取的一组图像的单眼图像分析。在一些实施方式中,处理单元110可将来自一组图像的信息与额外的感觉信息(例如,来自雷达的信息)组合,以执行单眼图像分析。如下面结合图5A至图5D描述的,单眼图像分析模块402可包括用于检测一组图像内的一组特征(诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象及与车辆环境关联的任何其它特征)的指令。基于此分析,系统100(例如,经由处理单元110)可在车辆200中产生一个或多个导航响应,诸如转弯、车道移位、加速度改变,等,这在下面结合导航响应模块408讨论。
在一个实施方式中,立体图像分析模块404可存储指令(诸如计算机视觉软件),当由处理单元110执行时,该指令执行通过选自任何图像捕获装置122、124和126的图像捕获装置的组合而获取的第一组和第二组图像的立体图像分析。在一些实施方式中,处理单元110可将来自第一组和第二组图像的信息与额外感觉信息(例如,来自雷达的信息)组合,以执行立体图像分析。例如,立体图像分析模块404可包括用于基于图像捕获装置124获取的第一组图像和图像捕获装置126获取的第二组图像来执行立体图像分析的指令。如下面结合图6描述的,立体图像分析模块404可包括用于检测第一组和第二组图像内的一组特征(诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象,等)的指令。基于此分析,处理单元110可在车辆200中产生一个或多个导航响应,诸如转弯、车道移位、加速度改变,等,这在下面结合导航响应模块408讨论。
在一个实施方式中,速度和加速度模块406可存储构造成分析从车辆200的一个或多个计算机电装置接收的数据的软件,所述计算机电装置被构造成致使车辆200的速度和/或加速度改变。例如,处理单元110可执行与速度和加速度模块406关联的指令,以基于从执行单眼图像分析模块402和/或立体图像分析模块404得到的数据来计算车辆200的目标速度。例如,这样的数据可包括:目标位置、速度和/或加速度;车辆200相对于近旁车辆、行人或道路对象的位置和/或速度;车辆200相对于道路的车道标记的位置信息,等。另外,处理单元110可基于感觉输入(例如,来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速度。基于计算出的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,以通过例如物理踩下制动器或松开车辆200的加速器来触发速度和/或加速度的改变。
在一个实施方式中,导航响应模块408可存储可由处理单元110执行的软件,以基于从单眼图像分析模块402和/或立体图像分析模块404的执行得到的数据来确定期望导航响应。这样的数据可包括与近旁车辆、行人和道路对象关联的位置和速度信息、车辆200的目标位置信息,等。另外,在一些实施方式中,导航响应可(部分地或完全地)基于地图数据、车辆200的预定位置和/或车辆200与从单眼图像分析模块402和/或立体图像分析模块404的执行而检测的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可基于感觉输入(例如,来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和转向系统240)的输入来确定期望导航响应。基于所述期望导航响应,处理单元110可向车辆200的节流系统220、制动系统230和转向系统240发送电子信号,以触发期望导航响应,例如,通过使车辆200的方向盘转动以实现预定角度旋转。在一些实施方式中,处理单元110可使用导航响应模块408的输出(例如,期望导航响应)作为输入,以执行速度和加速度模块406来计算车辆200的速度改变。
图5A是示出与公开的实施方式相一致的用于基于单眼图像分析来产生一个或多个导航响应的示例性过程500A的流程图。在步骤510,处理单元110可经由处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202的图像捕获装置122)可捕获车辆200的前面(例如,或是车辆的侧面或后面)的区域的多个图像并且经数据连接(例如,数字、有线、USB、无线、蓝牙,等等)将图像发送到处理单元110。在步骤520,处理单元110可执行单眼图像分析模块402以分析多个图像,这在下面结合图5B至图5D进一步详细地描述。通过执行所述分析,处理单元110可检测一组图像内的一组特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯,等。
在步骤520,处理单元110还可执行单眼图像分析模块402以检测各种道路危险,例如,卡车轮胎的一部分、跌落的道路标志、松动的货物、小动物,等。道路危险可能存在结构、形状、大小和颜色上的变化,可能使检测这样的危险更具挑战性。在一些实施方式中,处理单元110可执行单眼图像分析模块402,以对多个图像进行多帧分析来检测道路危险。例如,处理单元110可估算连贯图像帧之间的相机运动,并且计算帧之间的像素差距以构建道路的三维地图。然后,处理单元110可使用三维地图来检测路面以及存在于路面上方的危险。
在步骤530,处理单元110可执行导航响应模块408,以基于步骤520执行的分析以及如上面结合图4描述的技术来产生车辆200的一个或多个导航响应。例如,导航响应可包括转弯、车道移位、加速度改变,等。在一些实施方式中,处理单元110可使用从执行速度和加速度模块406得到的数据,以产生一个或多个导航响应。另外,多个导航响应可同时、顺次或按其任何组合而发生。例如,处理单元110可致使车辆200变换一个车道,然后通过例如向车辆200的转向系统240和节流系统220依次发送控制信号来加速。替代地,处理单元110可致使车辆200制动,同时通过例如向车辆200的制动系统230和转向系统240同时发送控制信号来使变道。
图5B是示出与公开的实施方式相一致的用于检测一组图像中的一个或多个车辆和/或行人的示例性过程500B的流程图。处理单元110可执行单眼图像分析模块402以实施过程500B。在步骤540,处理单元110可确定表示可能的车辆和/或行人的一组候选对象。例如,处理单元110可扫描一个或多个图像,将所述图像与一个或多个预定图案比较,并且在每个图像内识别可包含关注对象(例如,车辆、行人,或其一部分)的可能地点。预定图案可采取实现高比率“错误击中”和低比率“未击中”这样的方式来设计。例如,处理单元110可使用与预定图案低阈值的相似度来识别候选对象作为可能的车辆或行人。这样做可允许处理单元110减少未击中(例如,未识别)表示车辆或行人的候选对象的概率。
在步骤542,处理单元110可过滤这一组候选对象以基于分类标准来排除某些候选(例如,无关或不太相关的对象)。这样的标准可从与存储在数据库(例如,存储在存储器140中的数据库)中的对象类型关联的各种属性得到。属性可包括对象形状、尺寸、质地、(例如,相对于车辆200的)位置,等。由此,处理单元110可使用一组或多组标准以拒绝来自一组候选对象的错误候选。
在步骤544,处理单元110可分析图像的多个帧,以确定一组候选对象中的对象是否表示车辆和/或行人。例如,处理单元110可跨越连贯的帧来跟踪被检测候选对象并且积累与被检测对象关联的逐帧数据(例如,大小、相对于车辆200的位置,等等)。另外,处理单元110可估算被检测对象的参数并且将对象的逐帧位置数据与预测位置比较。
在步骤546,处理单元110可构建被检测对象的一组测量结果。例如,这样的测量结果可包括与被检测对象关联的(相对于车辆200的)位置、速度和加速度值。在一些实施方式中,处理单元110可基于以下技术来构建测量结果:基于估算技术使用一系列基于时间的观察(诸如卡尔曼滤波器或线性二次估算(LQE));和/或基于不同对象类型(例如,汽车、卡车、行人、自行车、道路标志,等等)的可用建模数据。卡尔曼滤波器可基于对象尺度的测量结果,其中尺度测量结果与将要碰撞的时间(例如,车辆200到达对象的时间量)成比例。由此,通过执行步骤540-546,处理单元110可识别出现在一组被捕获图像内的车辆和行人并且得到与车辆和行人关联的信息(例如,位置、速度、大小)。基于识别和得到的信息,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5A描述。
在步骤548,处理单元110可执行一个或多个图像的光流分析,以减少检测“错误击中”以及未击中表示车辆或行人的候选对象的概率。光流分析可指的是,例如,分析相对于与其它车辆和行人关联的一个或多个图像中的车辆200的运动图案,并且区别于路面运动。处理单元110可通过观察跨越多个图像帧(在不同的时间被捕获)的对象的不同位置来计算候选对象的运动。处理单元110可使用位置和时间值作为用于计算候选对象运动的数学模型的输入。由此,光流分析可提供检测在车辆200近旁的车辆和行人的另一种方法。处理单元110可与步骤540-546组合来执行光流分析,为检测车辆和行人提供冗余并且增加系统100的可靠性。
图5C是示出与公开的实施方式相一致的用于检测一组图像中的路标和/或车道几何信息的示例性过程500C的流程图。处理单元110可执行单眼图像分析模块402以实施过程500C。在步骤550,处理单元110可通过扫描一个或多个图像来检测一组对象。为了检测一段车道标记、车道几何信息及其它相关路标,处理单元110可过滤一组对象以排除确定无关的这些对象(例如,轻微的坑洼、小石头,等等)。在步骤552,处理单元110可将步骤550中检测的属于相同路标或车道标线的区段分组到一起。基于该分组,处理单元110可建立表示被检测区段的模型,诸如数学模型。
在步骤554,处理单元110可构建与被检测区段关联的一组测量结果。在一些实施方式中,处理单元110可创建被检测区段从图像平面向现实世界平面的投影。该投影可使用第三多项式来表征,该第三多项式具有对应于物理属性(诸如位置、斜度、曲率和被检测道路的曲率衍生)的系数。在生成投影时,处理单元110可考虑路面改变,以及与车辆200关联的俯仰和横摆速率。另外,处理单元110可通过分析存在于路面上的位置和运动线索来建模道路标高。进一步,处理单元110可通过跟踪一个或多个图像中的一组特征点来估算与车辆200关联的俯仰和横摆速率。
在步骤556,处理单元110可通过例如跟踪跨越连贯图像帧的被检测区段以及积累与被检测区段关联的逐帧数据来执行多帧分析。在处理单元110执行多帧分析时,在步骤554构建的一组测量结果可变得更可靠并且与更高的置信水平关联。由此,通过执行步骤550-556,处理单元110可识别出现在一组被捕获图像内的路标并且得到车道几何信息。基于该识别和得到的信息,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5A描述。
在步骤558,处理单元110可考虑额外信息源来进一步在其周边环境的背景下建立车辆200的安全模型。处理单元110可使用安全模型来限定以下背景,即:系统100可采取安全的方式来执行车辆200的自主控制。为了建立安全模型,在一些实施方式中,处理单元110可考虑其它车辆的位置和运动、被检测道路的路边和障碍和/或从地图数据(诸如地图数据库160的数据)提取的总体道路形状描述。通过考虑额外信息源,处理单元110可提供冗余来检测路标和车道几何形状并且增加系统100的可靠性。
图5D是示出与公开的实施方式相一致的用于检测一组图像中的交通灯的示例性过程500D的流程图。处理单元110可执行单眼图像分析模块402以实施过程500D。在步骤560,处理单元110可扫描一组图像并且识别出现在可能包含交通灯的图像中的地点处的对象。例如,处理单元110可过滤被识别对象以构建一组候选对象,排除不可能对应于交通灯的这些对象。过滤可基于与交通灯关联的各种属性(诸如形状、尺寸、质地、(例如,相对于车辆200的)位置,等)来完成。这样的属性可基于交通灯和交通控制信号的多个示例并且存储在数据库中。在一些实施方式中,处理单元110可在反映可能交通灯的一组候选对象上执行多帧分析。例如,处理单元110可跟踪跨越连贯图像帧的候选对象,估算候选对象的现实世界位置,并且过滤出移动的那些对象(不可能是交通灯)。在一些实施方式中,处理单元110可执行候选对象的颜色分析,并且识别出现在可能交通灯内侧的被检测颜色的相对位置。
在步骤562,处理单元110可分析枢纽的几何形状。该分析可基于以下的任何组合:(i)在车辆200的任一侧的检测的车道数目;(ii)在道路上检测的标记(诸如箭头标线);以及(iii)从地图数据(诸如地图数据库160的数据)提取的枢纽的描述。处理单元110可使用从执行单眼分析模块402得到的信息来进行分析。另外,处理单元110可确定在步骤560检测的交通灯与出现在车辆200附近的车道之间的对应性。
在车辆200接近枢纽时,在步骤564,处理单元110可更新与被分析的枢纽几何形状和被检测交通灯关联的置信水平。例如,与实际出现在枢纽处的交通灯数目比较,估算的出现在枢纽处的交通灯数目可能影响置信水平。由此,基于该置信水平,处理单元110可授权车辆200的驾驶员进行控制,以便改进安全条件。通过执行步骤560-564,处理单元110可识别出现在一组被捕获图像内的交通灯并且分析枢纽几何形状信息。基于该识别以及分析,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5A描述。
图5E是示出与公开的实施方式相一致的用于基于车辆路径来在车辆200中产生一个或多个导航响应的示例性过程500E的流程图。在步骤570,处理单元110可构建与车辆200关联的初始车辆路径。车辆路径可使用以坐标(x,z)表达的一组点来表示,并且一组点的两点之间的距离di可落入1米到5米的范围内。在一个实施方式中,处理单元110可使用诸如左右道路多项式的两个多项式来构建初始车辆路径。处理单元110可计算两个多项式之间的几何中点,并且如果有偏移的话,使包括在所得的车辆路径中的每个点偏移预定偏移量(例如,智能车道偏移),(零偏移可对应于行进在车道的中间)。偏移的方向可垂直于车辆路径中的任何两点之间的区段。在另一实施方式中,处理单元110可使用一个多项式和估算的车道宽度使车辆路径的每个点偏移达:估算的车道宽度的一半加上预定偏移量(例如,智能车道偏移)。
在步骤572,处理单元110可更新在步骤570构建的车辆路径。处理单元110可使用更高分辨率来重新构建在步骤570构建的车辆路径,使得表示车辆路径的一组点的两点之间的距离dk小于上面描述的距离di。例如,距离dk可落入0.1米到0.3米的范围内。处理单元110可使用抛物面样条算法来重新构建车辆路径,这可产生对应于车辆路径的总长度的累计距离向量S(即,基于表示车辆路径的一组点)。
在步骤574,处理单元110可基于在步骤572构建的更新车辆路径来确定前瞻点(以坐标(xl,zl)表达)。处理单元110可从累计距离向量S提取前瞻点,并且前瞻点可与前瞻距离和前瞻时间关联。下限范围可从10米到20米的前瞻距离可计算为车辆200的速度和前瞻时间的乘积。例如,随着车辆200的速度降低,前瞻距离也可减小(例如,直到前瞻距离达到下限)。范围可从0.5秒到1.5秒的前瞻时间可与在车辆200中产生导航响应相关联的一个或多个控制环的增益(诸如跟踪控制环的航向误差)成反比。例如,跟踪控制环的航向误差的增益可取决于偏航率环的带宽、转向致动器环、汽车侧向动态,等。由此,跟踪控制环的航向误差的增益越大,前瞻时间越短。
在步骤576,处理单元110可基于在步骤574确定的前瞻点来确定航向误差和偏航率命令。处理单元110可通过计算前瞻点的反正切(例如,arctan(xl/zl))来确定航向误差。处理单元110可将偏航率命令确定为航向误差和高水平控制增益的乘积。如果前瞻距离未处于下限,则高水平控制增益可等于:(2/前瞻时间)。以其它方式,高水平控制增益可等于:(车辆200的2倍速度/前瞻距离)。
图5F是示出与公开的实施方式相一致的用于确定前车是否变道的示例性过程500F的流程图。在步骤580,处理单元110可确定与前车(例如,行进在车辆200之前的车辆)关联的导航信息。例如,处理单元110可使用上面结合图5A和图5B描述的技术来确定前车的位置、速度(例如,方向和速度)和/或加速度。处理单元110还可使用上面结合图5E描述的技术来确定一个或多个道路多项式、(与车辆200关联的)前瞻点和/或缓慢移动踪迹(例如,描述前车采取的路径的一组点)。
在步骤582,处理单元110可分析在步骤580确定的导航信息。在一个实施方式中,处理单元110可计算缓慢移动踪迹与道路多项式(例如,沿着踪迹)之间的距离。如果沿着踪迹的该距离的方差超过预定阈值(例如,笔直道路上为0.1米到0.2米,适度弯曲的道路上为0.3米到0.4米,并且急剧弯曲的道路上为0.5米到0.6米),处理单元110可确定:前车可能变道。在检测有多个车辆行进在车辆200之前的情况下,处理单元110可比较与每个车辆关联的缓慢移动踪迹。基于该比较,处理单元110可确定:缓慢移动踪迹与其它车辆的缓慢移动踪迹不匹配的车辆可能变道。处理单元110可另外将(与前车关联的)缓慢移动踪迹的曲率与前车行进的道路区段的预期曲率比较。预期曲率可从地图数据(例如,地图数据库160的数据)、道路多项式、其它车辆的缓慢移动踪迹、关于道路的现有知识等之中提取。如果缓慢移动踪迹与道路区段的预期曲率的曲率差超过预定阈值,则处理单元110可确定:前车可能变道。
在另一实施方式中,处理单元110可在具体时间段(例如,0.5秒到1.5秒)内将前车的瞬时位置与(与车辆200关联的)前瞻点比较。如果前车瞬时位置与前瞻点之间的距离在具体时间段期间变化,并且变化的累计总和超过预定阈值(例如,笔直道路上为0.3米到0.4米,适度弯曲的道路上为0.7米到0.8米,并且急剧弯曲的道路上为1.3米到1.7米),则处理单元110可确定:前车可能变道。在另一实施方式中,处理单元110可通过将沿着踪迹行进的侧向距离与缓慢移动踪迹的预期曲率比较来分析缓慢移动踪迹的几何形状。预期曲率半径可根据下面的计算来确定:(δz 2x 2)/2/(δx),其中δx表示行进的侧向距离,并且δz表示行进的纵向距离。如果行进的侧向距离与预期曲率之间的差超过预定阈值(例如,500米到700米),则处理单元110可确定:前车可能变道。在另一实施方式中,处理单元110可分析前车的位置。如果前车的位置掩盖了道路多项式(例如,前车覆盖在道路多项式的顶部),则处理单元110可确定:前车可能变道。在前车的位置使得另一车辆被检测位于前车之前并且两个车辆的缓慢移动踪迹不平行的情况下,处理单元110可确定:(更接近的)前车可能变道。
在步骤584,处理单元110可基于在步骤582执行的分析来确定前车200是否变道。例如,处理单元110可基于在步骤582执行的各个分析的加权平均来做出确定。在这样的方案之下,例如,处理单元110基于特定类型的分析做出的前车可能变道的决定可被分配值“1”(而“0”表示确定前车不可能变道)。在步骤582执行的不同分析可被分配不同的权重,并且公开的实施方式并不限于任何特定组合的分析和权重。
图6是示出与公开的实施方式相一致的用于基于立体图像分析来产生一个或多个导航响应的示例性过程600的流程图。在步骤610,处理单元110可经由数据接口128接收第一和第二多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202和204的图像捕获装置122和124)可捕获车辆200前方的区域的第一和第二多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将第一和第二多个图像发送到处理单元110。在一些实施方式中,处理单元110可经由两个或更多个数据接口接收第一和第二多个图像。公开的实施方式并不限于任何特定的数据接口构造或协议。
在步骤620,处理单元110可执行立体图像分析模块404来执行第一和第二多个图像的立体图像分析,以创建车辆前方道路的三维地图并且检测图像内的特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险,等。立体图像分析可采取类似于上面结合图5A至图5D描述的步骤的方式执行。例如,处理单元110可执行立体图像分析模块404以检测第一和第二多个图像内的候选对象(例如,车辆、行人、路标、交通灯、道路危险,等等),基于各种标准来过滤出候选对象的子集,并且执行多帧分析、构建测量结果并确定其余候选对象的置信水平。在执行上面的步骤时,处理单元110可考虑来自第一和第二多个图像两者的信息,而非单独来自一组图像的信息。例如,处理单元110可针对出现在第一和第二多个图像两者中的候选对象分析像素水平数据(或来自两个被捕获图像流之中的其它数据子集)的差别。作为另一示例,处理单元110可通过观察对象出现在多个图像中的一个之中但不出现在另一个中或者相对于出现在两个图像流中的对象可能存在的其它差别来估算候选对象(例如,相对于车辆200)的位置和/或速度。例如,相对于车辆200的位置、速度和/或加速度可基于与出现在图像流的一者或两者中的对象关联的特征的轨迹、位置、移动特性等等来确定。
在步骤630,处理单元110可基于在步骤620执行的分析和上面结合图4描述的技术来执行导航响应模块408,以在车辆200中产生一个或多个导航响应。例如,导航响应可包括转弯、车道移位、加速度改变、速度改变、制动,等。在一些实施方式中,处理单元110可使用从执行速度和加速度模块406中得到的数据,以产生一个或多个导航响应。另外,多个导航响应可同时、顺次或按其任何组合而发生。
图7是示出与公开的实施方式相一致的用于基于对三组图像的分析来产生一个或多个导航响应的示例性过程700的流程图。在步骤710,处理单元110可经由数据接口128接收第一、第二和第三多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202、204和206的图像捕获装置122、124和126)可捕获车辆200前方和/或侧面的区域的第一、第二和第三多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将第一、第二和第三多个图像发送到处理单元110。在一些实施方式中,处理单元110可经由三个以上数据接口接收第一、第二和第三多个图像。例如,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。
在步骤720,处理单元110可分析第一、第二和第三多个图像以检测图像内的特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险,等。该分析可采取类似于上面结合图5A至图5D和图6描述的步骤的方式执行。例如,处理单元110可对第一、第二和第三多个图像中的每个执行单眼图像分析(例如,经由执行单眼图像分析模块402并且基于上面结合图5A至图5D描述的步骤)。替代地,处理单元110可对第一和第二多个图像、第二和第三多个图像和/或第一和第三多个图像执行立体图像分析(例如,经由执行立体图像分析模块404并且基于上面结合图6描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可加以组合。在一些实施方式中,处理单元110可执行单眼图像分析和立体图像分析的组合。例如,处理单元110可对第一多个图像执行单眼图像分析(例如,经由执行单眼图像分析模块402)以及对第二和第三多个图像执行立体图像分析(例如,经由执行立体图像分析模块404)。图像捕获装置122、124和126的构造(包括其相应地点和视场202、204和206)可影响对第一、第二和第三多个图像进行的分析的类型。公开的实施方式并不限于特定构造的图像捕获装置122、124和126,或者对第一、第二和第三多个图像进行的分析的类型。
在一些实施方式中,处理单元110可基于在步骤710和720获取并分析的图像来执行系统100的测试。这样的测试可向某些构造的图像捕获装置122、124和126提供系统100的整体性能的指示器。例如,处理单元110可确定“错误击中”(例如,系统100不正确地确定存在车辆或行人的情况)和“未击中”的比例。
在步骤730,处理单元110可基于从第一、第二和第三多个图像中的两者得到的信息来在车辆200中产生一个或多个导航响应。选择第一、第二和第三多个图像中的两者可取决于各种因素,例如,多个图像中的每个中检测的对象的数目、类型和大小。处理单元110还可基于以下做出选择:图像质量和分辨率、图像中反射的有效视场、被捕获帧的数目、关注的一个或多个对象实际出现在帧中的程度(例如,对象出现的帧的百分比、出现在每个这样的帧中的对象的比例,等等),等。
在一些实施方式中,处理单元110可通过确定从一个图像源得到的信息与从其它图像源得到的信息的一致程度来选择从第一、第二和第三多个图像中的两者得到的信息。例如,处理单元110可组合从图像捕获装置122、124和126中的每个得到的被处理信息(不论通过单眼分析、立体分析或两者的任何组合)并且确定跨越从图像捕获装置122、124和126中的每个捕获的图像呈现一致的视觉指示器(例如,车道标记、被检测车辆及其地点和/或路径、被检测交通灯,等等)。处理单元110还可排除跨越被捕获图像不一致的信息(例如,变道的车辆,指示太接近车辆200的车辆的车道模型,等等)。由此,处理单元110可基于一致和不一致信息的确定来选择从第一、第二和第三多个图像中的两者得到的信息。
例如,导航响应可包括转弯、车道移位、加速度改变,等。处理单元110可基于在步骤720执行的分析以及上面结合图4描述的技术来产生一个或多个导航响应。处理单元110还可使用从执行速度和加速度模块406得到的数据,以产生一个或多个导航响应。在一些实施方式中,处理单元110可基于车辆200与任何第一、第二和第三多个图像内的被检测对象之间的相对位置、相对速度和/或相对加速度来产生一个或多个导航响应。多个导航响应可同时、顺次或按其任何组合而发生。
智能车道偏移
系统100可提供驾驶员辅助功能性,以监测并且调整车辆200与车辆200的行进边界(例如,车道边界)之间的自由空间。车道可指车辆的指定或预期行进路径并且可具有标记边界(例如,道路上的线)或未标记边界(例如,道路路边、道路障碍、护栏、停放的车辆,等等)。例如,默认地,系统100可最大化或增加车辆200与当前车道边界之间的自由空间。进一步,在某些条件下,系统100可使车辆200朝向当前行进车道的一侧偏移而不离开车道。例如,在车辆200围绕弯道行进的情况下,系统100可降低朝向弯道内侧的偏移(例如,调整车辆200的位置使之更接近弯道的内侧)。作为另一示例,在障碍(诸如停放的车、行人或骑自行车的人)存在于车道一侧的情况下,系统100可在车辆200的存在障碍的那一侧增加偏移(例如,调整车辆200的位置使得更远离障碍)。
图8A图示了行进在道路800上的车辆200,其中可使用用于识别车道约束并且在车道约束内操作车辆200的公开的系统和方法。如图所示,车辆200可具有第一车辆侧802,第一车辆侧802距第一车道约束810可以是第一距离805。类似地,车辆200可具有与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束820可以是第二距离815。以这种方式,第一车道约束810和第二车道约束820可限定可供车辆200行进的车道。
处理单元110可构造成基于处理单元110可经由数据接口128接收的由图像捕获装置122-126获取的多个图像来确定第一车道约束810和第二车道约束820。根据一些实施方式,第一车道约束810和/或第二车道约束820可由可见的车道边界(诸如标记在路面上的虚线或实线)识别。另外地或替代地,第一车道约束810和/或第二车道约束820可包括路面的路边或障碍。另外地或替代地,第一车道约束810和/或第二车道约束820可包括标记物(例如,博茨点)。根据一些实施方式,处理单元110可通过识别路面宽度的中点来确定第一车道约束810和/或第二车道约束820。根据一些实施方式,如果处理单元110仅识别第一车道约束810,则处理单元110可诸如基于估算的车道宽度或道路宽度来估算第二车道约束820。当例如指定道路车道的线未被喷涂或以其它方式贴标签时,处理单元110可采取这种方式识别车道约束。
检测第一车道约束810和/或第二车道约束820可包括:处理单元110确定其在相机坐标系统中的三维模型。例如,第一车道约束810和/或第二车道约束820的三维模型可由第三多项式描述。除了三维建模第一车道约束810和/或第二车道约束820,处理单元110可执行主机运动参数(诸如车辆200的速度、偏航和俯仰速率以及加速度)的多帧估算。可选地,处理单元110可检测静态和移动车辆及其位置、航向、速度和加速度(都相对于车辆200)。处理单元110可进一步确定道路标高模型以将从多个图像获取的所有信息转换为三维空间。
一般,作为默认条件,车辆200可在第一车道约束和第二车道约束810和/或820内相对居中地行进。然而,在一些情形下,环境因素可使之非期望或不可行,诸如当对象或结构存在于道路的一侧的时候。由此,可存在以下情形,即车辆200可期望或有利地更接近一个车道约束或另一个。处理单元110还可构造成确定被称为车道偏移条件的这样的情形是否基于多个图像存在。
为了确定车道偏移条件是否存在,处理单元110可构造成确定一个或多个对象825存在于车辆200附近。例如,对象825可包括在道路800上行进的另一车辆,诸如汽车、卡车或摩托车。对于每个对象825,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中对象825是否将位于车辆200的预定范围内。如果处理单元110确定对象825位于或将位于车辆200的预定范围内,则处理单元110可确定:为使车辆200绕过对象825,在第一车道约束810和第二车道约束820内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与对象825之间的距离接近之前是否有足够的时间绕过对象825。如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过对象825。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与对象825之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动(例如,通过向制动系统230发送电子信号),然后启动偏移机动。
在为每个对象825设定好每个偏移轮廓均之后,处理单元可组合偏移轮廓,使得与车辆200绕过的每个对象825保持最大侧向距离。即,偏移机动可被修改和/或执行为使得车辆200与车辆200绕过的每个对象825之间的侧向距离被最大化。
另外地或替代地,对象825可以是停放或静止的车辆、墙或人(诸如行人)或自行车交通。处理单元110可确定:基于对象825的某些特性存在车道偏移条件。例如,处理单元110可确定:如果对象825的高度超过预定阈值,诸如距路面10cm,则对象825构成车道偏移条件。以这种方式,处理单元110可构造成过滤出将不会出现车道偏移条件的对象,诸如小件碎片。
另外地或替代地,处理单元110可构造成基于目标对象830在车辆第一侧802的位置来确定车道偏移条件是否存在于第一车辆侧802。目标对象830可包括构成车道偏移条件的一个或多个对象。另外地或替代地,目标对象830可不构成车道偏移条件。例如,目标对象830可以是街道标志或足够远离行进车道或足以不频繁发生的其它对象(不构成车道偏移条件)。处理单元110可构造成如果这样的目标对象830被检测则得出结论车道偏移条件不存在。
处理单元110可构造成致使车辆200行进,使得第一距离805和第二距离810基本不同,以避免或保持更远离对象825。例如,如果车道偏移条件存在于第一车辆侧802,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。这例如在图8A中图示。替代地,如果车道偏移条件存在于第二车辆侧812上,则处理单元110可创建或执行这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805小于第二距离815。这例如在图8B中图示。
作为另一示例,停放的车辆可位于车辆200的一侧,并且行人可位于车辆200的另一侧。在这样的情形下,系统100可确定:期望减小车辆200与停放的车辆之间的距离,以便在车辆200与行人之间提供更多空间。因此,处理单元110可致使车辆200行进,使得停放的车辆之间的距离减小。
第一车辆侧802和第二车辆侧812的识别需要不是静态的,使得在不同的时间点,处理单元110可将第一车辆侧802识别为车辆200的驾驶员侧或乘客侧。例如,取决于一个或多个对象825存在于车辆200的哪一侧,第一车辆侧802的识别可改变,使得如果基于对象825存在一个车道偏移条件,则对象825存在于第一车辆侧802上。在这样的情形下,处理单元110可创建或执行这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得大于第二距离815的第一距离805被朝向对象825提供。
根据一些实施方式,当车道偏移条件存在于第一车辆侧802时,处理单元110可创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805比第二距离815大至少1.25倍。另外地或替代地,当车道偏移条件存在于第一车辆侧802上时,处理单元110可创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805比第二距离815大至少2倍。
在一些实施方式中,如图8C所示,处理单元110可确定车道偏移条件存在于第一车辆侧802和第二车辆侧812两者上。然后,处理单元110可针对该偏移条件创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805基本上等于第二距离815。
处理单元110可构造成使得用于移动对象825以及静止对象825的偏移轮廓优先。例如,处理单元110可优先偏移轮廓,以保持车辆200与移动对象825和/或静态对象825之间的预定距离。处理单元200可基于某些车道特性(诸如弯道)优先这些偏移条件(优于这些偏移条件)。最后优先车道偏移条件可包括模仿前车。
处理单元110可将偏移轮廓或偏移条件化为期望的前瞻点,该期望的前瞻点可位于由第一车道约束810和第二车道约束820限定的车道的中间处。处理单元110可基于前瞻点和偏移轮廓来计算并实施偏航率命令。偏航率命令可用于基于偏航率命令和车辆200的通过使用陀螺仪测量的偏航率来计算扭矩命令。处理单元110可向车辆200的转向系统(例如,转向系统240)发送扭矩命令。
根据一些实施方式,诸如经由用户接口170,来自车辆200的驾驶员的输入可撤销处理单元110。例如,用户输入可撤销处理单元110的控制,致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。
另外地或替代地,处理单元110可构造成基于由图像捕获装置122捕获的多个图像来确定车道偏移条件是否基本上不存在。这可包括以下情形,其中低于某些大小阈值的一个或多个对象825被检测,和/或当无对象825被检测时,被检测的一个或多个对象825位于距车道约束的预定距离的外侧。在这样的情形下,处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805等于或基本上等于第二距离815。
如图8D中图示的,车道偏移条件可包括弯路。处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805相对于车辆200朝向弯路的外侧,并且第二距离815相对于车辆200朝向弯路的内侧。例如,第一距离805可小于第二距离815。
图9是与公开的实施方式相一致的存储器140和/或150的示例性框图,存储器140和/或150可存储用于执行一个或多个操作的指令。如图9中图示的,存储器140可存储用于执行本文中描述的车道偏移条件检测和响应的一个或多个模块。例如,存储器140可存储车道约束模块910和车道偏移模块920。应用处理器180和/或图像处理器190可执行存储在任何模块910和920(包括在存储器140中)中的指令。本领域技术人员将理解的是,以下讨论对处理单元110的引用可单独或共同指应用处理器180和图像处理器190。因此,任何以下过程的步骤可由一个或多个处理装置执行。
车道约束模块910可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束810和第二车道约束820。例如,车道偏移模块910可处理从至少一个图像捕获装置122-124接收的多个图像,以检测第一车道约束810和第二车道约束820。如上面讨论的,这可包括识别喷涂的车道线和/或测量路面的中点。
车道偏移模块920可存储指令,当由处理单元110执行时,该指令可检测车道偏移条件的存在和/或识别车道偏移条件是否存在于第一车辆侧802和/或第二车辆侧812上。例如,车道偏移模块920可处理多个图像,以检测对象825存在于第一车辆侧802和/或第二车辆侧812上。车道偏移模块920可处理多个图像,以检测车辆200行进的道路中的弯道。另外地或替代地,车道偏移模块920可接收来自指示存在对象825和/或弯曲车道的另一模块或其它系统的信息。车道偏移模块920可执行控制,以改变车辆200相对于第一车道约束810和/或第二车道约束820的位置。例如,如果车道偏移模块920确定车道偏移条件仅在第一车辆侧802上,则车道偏移模块920可使车辆200移动得更接近第二车道约束820。另一方面,如果车道偏移模块920确定车道偏移条件仅在第一车辆侧812上,则车道偏移模块920可使车辆200移动得更接近第一车道约束810。
图10图示了与公开的实施方式相一致的用于导航车辆200的过程1000。过程1000可识别限定了车辆行进的行进车道的车道约束。过程1000包括:响应于检测车道偏移条件而致使车辆200行进得更接近一个或另一个车道约束,诸如第一车道约束810或第二车道约束820。以这种方式,过程1000可用于在车道约束内驾驶车辆200以及考虑可能更期望使车辆200在第一车道约束810和第二车道约束820内移位的环境因素。
在步骤1010,过程1000可包括:使用至少一个图像捕获装置122、124和/或126来获取车辆200附近区域的多个图像。例如,处理单元110可经由数据接口128接收多个图像。例如,处理单元110可构造成确定一个或多个对象825存在于道路的一侧上。例如,对象825可以是停放或静止的车辆、墙或人(诸如行人)或自行车交通。处理单元110可基于对象825的某些特性来确定车道偏移条件是否存在。例如,处理单元110可确定:如果对象825的高度超过预定阈值,诸如距路面10cm,则对象825构成车道偏移条件。以这种方式,处理单元110可构造成过滤出将不会出现车道偏移条件的对象,诸如小件碎片。
另外地或替代地,处理单元110可构造成基于目标对象830在车辆第一侧802上的位置来确定车道偏移条件是否存在于第一车辆侧802上。目标对象830可以是构成车道偏移条件的一个或多个对象。另外地或替代地,目标对象830可不构成车道偏移条件。例如,目标对象830可以是道路障碍或街道标志。处理单元110可构造成:如果这样的目标对象830被检测则得出结论车道偏移条件不存在。
在步骤1020,过程1000可根据多个图像确定在第一车辆侧802的第一车道约束和在第二车辆侧812的第二车道约束。例如,处理单元110可构造成基于经由数据接口128接收的多个图像来确定第一车道约束810和第二车道约束820。
在步骤1030,过程1000可确定车道偏移条件是否存在于第一车辆侧802上。如果车道偏移条件确实存在于第一车辆侧802上,则在步骤1040,过程1000可包括:致使车辆200在第一车道约束810和第二车道约束820内行进,使得第二距离815小于第一距离805。处理单元110可构造成致使车辆200行进,使得第一距离805和第二距离810基本上不同,以避免或保持更远离对象825。例如,如果车道偏移条件存在于第一车辆侧802上,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。这例如在图8A中图示。替代地,如果车道偏移条件存在于第二车辆侧812上,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805小于第二距离815。这例如在图8B中图示。例如,为了根据过程1000导航车辆200,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。
如果车道偏移条件不存在于第一车辆侧802上,则在步骤1050中,方法可包括:确定车道偏移条件是否存在于第二车辆侧812上。如果车道偏移条件存在于第二车辆侧812上,所述方法可包括:致使车辆200在第一车道约束810和第二车道约束820之间行进,使得第一距离805小于第二距离815。
将车辆导航至默认车道
系统100可提供驾驶员辅助功能性,用于监测车辆200在当前行进车道中的地点并且如果当前行进车道并非预定的默认行进车道则使车辆200进入预定的默认行进车道。预定的默认行进车道可由用户输入限定和/或作为处理从至少一个图像捕获装置122-126接收的图像的结果。
系统100还可为车辆200的驾驶员和乘客和/或其它驾驶员提供即将发生车辆200向预定的默认行进车道变道的通知。例如,系统100可激活定位在保险杠区域210之一处或附近的转向信号。另外地或替代地,系统100可诸如通过扬声器360发出语音通知。当车辆行进时,车辆200可使用系统100将特定车道选择为预定的默认行进车道。当车辆200行进的当前车道(例如,当前行进车道)不同于预定的默认行进车道时,系统100可致使车辆200做出变道,例如,进入预定的默认行进车道。
图11图示了在道路800的当前行进车道1110中行进的车辆200。根据一些实施方式,车辆200可具有预定的默认行进车道1120。例如,预定的默认行进车道1120可以是道路800的最右车道。导航系统100可构造成确定车辆200是否行进在预定的默认行进车道1120中,如果否,则致使车辆200改变至预定的默认行进车道1120。例如,处理单元110可构造成将当前行进车道1110与预定的默认行进车道1120进行比较,并且致使车辆200返回到预定的默认行进车道1120。
根据一些实施方式,处理单元110可基于由图像捕获装置122-126中的一个或多个获取的多个图像来检测预定的默认行进车道1120中的对象1130。处理单元110可通过使用上面结合图5A至图5D描述的技术来分析图像而检测车辆200相对于对象1130的位置和速度。根据一些实施方式,处理单元110可确定车辆200是否应该超越对象1130。这可能期望的是,例如车辆200相对于对象1130的速度和/或加速度超过某一阈值。
图12A是与公开的实施方式相一致的存储器140的示例性框图,存储器140可存储用于执行一个或多个操作的指令。如图12A中图示的,存储器140可存储用于执行本文中描述的默认行进车道和当前行进车道的检测和响应的一个或多个模块。例如,存储器140可存储当前车道检测模块1210、默认车道检测模块1220和动作模块1230。
当前车道检测模块1210可存储指令,当由处理单元110执行时,该指令可检测并且限定当前行进车道1110。例如,处理单元110可执行当前车道检测模块1212,以处理从至少一个图像捕获装置122-124接收的多个图像并且检测当前行进车道1110。这可包括检测车辆200相对于道路800的路边、道路800的中点和/或车道标记物(诸如喷涂的车道线)的相对位置。处理单元110可通过使用上面结合图5A至图5D描述的技术来分析图像而检测车辆200相对于道路800的位置。
默认车道检测模块1220可存储指令,当由处理单元110执行时,该指令可识别预定的默认行进车道1120并且将默认车道检测模块1220与由当前车道检测模块1210识别的当前行进车道1110进行比较。默认车道检测模块1220可基于用户输入和/或从至少一个图像捕获装置122-124接收的多个图像来识别预定的默认行进车道1120。例如,用户可通过扬声器360接收的语音命令或者通过选择显示在触摸屏320上的菜单来选择默认车道。
在一些实施方式中,预定的默认行进车道1120可以是最右行进车道,或者可以是具有更期望特征的车道。例如,默认车道检测模块1220可包括指令,该指令用于选择交通量更少的车道、最接近车辆200速度行进的车辆的车道和/或最接近一个接近出口或车辆200将转向的街道的车道。在一些实施方式中,预定的默认行进车道1120可基于从位置传感器130(诸如全球定位系统)接收的数据来确定。
动作模块1230可存储指令,当由处理单元110执行时,该指令可产生识别当前行进车道1110和预定的默认行进车道1120的响应。例如,处理单元110可执行动作模块1230,以在当前行进车道1110与预定的默认行进车道1120不相同的情况下致使车辆200变道。另外地或替代地,动作模块1230可启动变道的通知,诸如激活转向信号210或者产生语音通知。
动作模块1230可包括致使处理单元110确定车辆200是否应该移出预定的默认行进车道1120的指令。例如,动作模块1230可确定:预定的默认行进车道1120中的对象1130应该由车辆200绕过。
动作模块1230可进一步包括致使处理单元110确定进行变道是否安全的指令。例如,在执行变道之前,处理单元110可基于例如使用上面结合图5A至图5D描述的技术进行的多个图像的分析来评估确定道路800的一个或多个特性。如果分析指示变道条件是不安全的,则处理单元110可确定:车辆200应该保持在当前车道中。
动作模块1230可包括用于操纵车辆200以机动离开和返回到预定的默认行进车道1120(诸如绕过对象1130)的额外指令。当执行这些指令时,处理单元110可使用车辆200的估算运动来估算预定的默认行进车道1120的地点。这在以下情形下可能是有利的,即预定的默认行进车道1120不能保持为由图像捕获装置122-124检测到。
处理单元110可构造成执行偏移轮廓,该偏移轮廓使车辆200从预定的默认行进车道1120偏移完整的车道宽度,其可基于被检测的车道标记物之间的距离来估算。由偏移轮廓限定的偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。在偏移机动期间,处理单元110可执行来自动作模块1230的指令,该指令切换至跟随当前行进车道1110的中央。这些指令可包括从跟随带偏移的预测车道逐渐过渡到跟随当前行进车道1110。逐渐过渡可通过限定期望的前瞻点来完成,使得不允许在时间中的改变多于建议的摆率(可约为0.25米/秒)。
用于使车辆200从预定的默认行进车道1120过渡的指令可用于使车辆200过渡回到预定的默认行进车道中。例如,处理单元110可构造成执行偏移轮廓,该偏移轮廓使车辆200从当前行进车道1110偏移完整车道宽度,其可基于被检测的车道标记物之间的距离来估算。由偏移轮廓限定的偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。在偏移机动期间,处理单元110可执行来自动作模块1230的指令,该指令切换至跟随预定的默认行进车道1120的中央。这些指令可包括从跟随带偏移的预测车道逐渐过渡到跟随预定的默认行进车道1120。逐渐过渡可通过限定期望的前瞻点来完成,使得不允许在时间中的改变多于建议的摆率(可约为0.25米/秒)。
在使车辆200在两个车道之间过渡的一个或多个步骤,处理单元110可基于前瞻点和偏移轮廓来计算并实施偏航率命令。偏航率命令可用于基于偏航率命令和使用陀螺仪测量的车辆200的偏航率来计算扭矩命令。处理单元110可向车辆200的转向系统(例如,转向系统240)发送扭矩命令。
图12B图示了与公开的实施方式相一致的用于将车辆200导航至默认车道的过程1250。根据一些实施方式,过程1250可由导航系统100的一个或多个部件(诸如至少一个处理单元110)实施。过程1250可识别车辆200的当前行进车道1110并且将之与预定的默认行进车道1120比较,以确定车辆200是否行进在预定的默认行进车道1120内。如果车辆200并未行进在预定的默认行进车道1120中,则处理单元110可致使车辆200变道,使得导航至默认行进车道1120。
在步骤1260,图像捕获装置122-124中的一个或多个可获取车辆200附近区域的多个图像。处理单元110可经由数据接口128接收多个图像。
在步骤1270,处理单元110可执行当前车道检测模块1210以检测并且限定当前行进车道1110。例如,处理单元110可处理多个图像,以例如检测车辆200相对于道路100的路边、道路100的中点和/或喷涂的车道标记物的相对位置。处理单元110可通过使用上面结合图5A至图5D描述的技术来分析图像而检测车辆200相对于道路800的位置。
在步骤1280,处理单元110可执行默认车道检测模块1220,以识别预定的默认行进车道1120并且将默认车道检测模块1220与由当前车道检测模块1210识别的当前行进车道1110比较。默认车道检测模块1220可基于用户输入和/或从至少一个图像捕获装置122-124接收的多个图像来识别预定的默认行进车道1120。
例如,如上面讨论的,处理单元110可基于任何数目的因素来确定预定的默认行进车道1120。预定的默认行进车道1120可以是在多个行进车道1110和1120之中的最右车道。另外地或替代地,预定的默认行进车道1120的确定可基于通过处理多个图像经由用户接口170从用户接收的输入,和/或基于从位置传感器130(诸如全球定位系统)接收的数据。预定的默认行进车道1120可在每次车辆行程确定一次,或者定期确定。例如,预定的默认行进车道1120可响应于给定地点的条件动态地确定。
如果当前车道1110与预定的默认行进车道1120不相同,则处理单元110可执行动作模块1230以致使车辆100导航至默认行进车道1120。例如,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号,以触发期望的响应。例如,处理单元110可致使转向系统240将车辆200的方向盘转向以实现预定角度的旋转。
进一步,在执行变道之前,处理单元110可确定变道是否安全(例如,路中没有车辆或对象)。如上面讨论的,处理单元110可基于例如使用上面结合图5A至图5D描述的技术进行的多个图像的分析来评估道路800的一个或多个特性。如果变道条件是不安全的,则处理单元110可确定:车辆200应该保持在当前车道中。
在一些实施方式中,执行动作模块1230可启动变道的通知。例如,处理单元110可产生信号以激活转向信号和/或经由扬声器360产生语音通知。因此,这样的通知可发生在车辆200变道之前。在其它实施方式中,执行动作模块1230可向车辆200的驾驶员启动在不致使变道发生的情况下则车辆200并未行进在默认车道中的通知。因此,在这样的实施方式中,车辆200的驾驶员可确定是否手动采取动作以及使车辆200转向以变道。
在一些实施方式中,系统100可通知车辆200的用户和/或车辆200附近的其它驾驶员:如果车辆200将移向预定的默认行进车道1120,则车辆200将变道。例如,处理单元110可在致使车辆200变道之前激活车辆200的转向信号。另外地或替代地,通知附近的其它驾驶员的语音通知可由处理单元110产生。语音通知可经由例如蓝牙发送到包括在其它近旁车辆中的接收器。另外地或替代地,至少一个处理单元110可在致使车辆200切换车道之前致使语音指示器通知车辆200的驾驶员。以这种方式,车辆200的驾驶员可以预料:控制系统100将施加在车辆200上。
控制转弯车辆的速度
系统100可提供驾驶员辅助功能性,用于控制车辆200在不同场景(诸如做出转弯(例如,通过弯道)时)下的速度(即,速度和/或方向)。例如,系统100可构造成使用地图、位置和/或视觉数据的组合,以控制车辆200在转弯时的速度。特别是,系统100可控制车辆200在接近弯道时(在导航弯道的同时)和/或在离开弯道时的速度。系统100可考虑用以控制速度的不同因素,这取决于在给定的时间车辆200相对于弯道的位置。例如,系统100可初始响应于获知到弯道位于车辆200之前的某一距离来致使车辆200减速。然而,在车辆200转弯经过弯道的同时,系统100可基于对弯道特性的分析来致使车辆200加速和/或改变方向。
图13A和图13B是与公开的实施方式相一致的使车辆(例如,车辆200)接近并导航具有道路1300的一个或多个特性的弯道的概略表示。如图13A中图示的,视觉指示器(诸如位于道路1300附近的道路标志1302)可告知车辆200弯道在前面。响应于由道路标志1302提供的警告,车辆200的驾驶员和/或为车辆200提供驾驶员辅助功能性的系统100可调整车辆200的速度(例如,通过减速和/或转向),以安全地导航弯道。
在车辆200接近弯道时,系统100可通过使用车辆200的图像捕获装置122和/或124(可以是相机)来检测车道宽度1306和弯道半径1308。基于弯道半径1308、车道宽度1306以及使用图像捕获装置122和/或124检测的与弯道关联的其它特性,系统100可调整车辆200的速度。具体地,系统100可调整车辆200接近弯道和/或车辆200导航弯道时的速度。系统100还可响应于例如出现在弯道之后的交通灯1304来调整车辆200离开弯道时的速度。下面结合图14和图15描述关于调整车辆200的速度以及检测车道宽度1306、曲率半径或弯道半径1308及与弯道关联的特性的进一步细节。
在一些实施方式中,系统100可基于地图数据和/或车辆位置信息(例如,GPS数据)来辨识将被导航的弯道。系统100可基于反映在地图数据中的弯道的一个或多个特性来确定车辆的初始目标速度。系统100可将车辆的速度调整至初始目标速度,并且基于由图像捕获装置122-126中的一个或多个获取的一个或多个图像来确定弯道的观察到的一个或多个特性。系统100可基于弯道的观察到的一个或多个特性来确定更新的目标速度,并且将车辆的速度调整至更新的目标速度。
图14是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图14中指示的,存储器140可存储弯道辨识模块1402、特性观察模块1404和速度模块1406。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块1402-1406(包括在存储器140中)中的指令。
在一个实施方式中,弯道辨识模块1402可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令通过例如分析一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来检测弯道。图像组可由图像捕获装置122、124和126中的一个或多个获取。基于该分析,系统100(例如,经由处理单元110)可致使车辆200的速度改变。例如,如果处理单元110检测到存在位于车辆200之前的最小阈值距离内的弯道,则处理单元110可致使车辆200的速度降低预定的量和/或将车辆200的方向调整特定的角度。
在一个实施方式中,特性观察模块1404可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令观察与系统100(例如,经由执行弯道辨识模块1402)检测的弯道关联的特性。处理单元110可通过分析由图像捕获装置122、124和126中的一个或多个获取的一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来观察与被检测弯道关联的特性。该分析可产生与弯道关联的信息,诸如弯道半径1308、车道宽度1306、曲率的程度、曲率变化率、转弯倾斜度、弯道的长度或弧长,等。这些特性可包括估值(例如,使用预先存在的数据和/或基于这样的数据的数学模型计算的弯道特性)和实际值(例如,通过分析弯道的被捕获图像计算的弯道特性)。基于该分析,处理单元110可致使车辆200的速度改变。例如,鉴于与位于车辆200之前25米的弯道关联的曲率变化率较高,处理单元110可致使车辆200的速度降低和/或将车辆200的方向调整特定的角度。
在一个实施方式中,速度模块1406可存储被构造成分析来自一个或多个计算机电装置的数据的软件指令,该一个或多个计算机电装置被构造成确定目标速度并且致使车辆200的速度改变为目标速度。例如,处理单元110可执行速度模块1406,以基于从执行弯道辨识模块1402和特性观察模块1404得到的数据来计算车辆200的目标速度。例如,这样的数据可包括初始目标位置和初始速度、更新目标位置和更新速度、最终目标位置和最终速度,等。另外,处理单元110可基于来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来计算车辆200的速度。基于计算的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由控制器区域网络总线(“CAN总线”)),以通过例如物理踩下制动器、松开车辆200的加速器或者使车辆200沿特定方向转向(例如,以特定角度)来触发车辆200的速度和/或方向的改变。速度增加可与对应的加速度(例如,介于0.2米/秒2到3.0米/秒2之间)关联。反过来,速度降低可与对应的减速度关联。另外,加速度或减速度可基于道路类型(例如,高速公路、城市街道、乡村道路,等等)、近旁任何速度约束的存在(例如,急剧弯道、交通灯)以及道路宽度或车道宽度1306。出于本公开的目的,减速可指具有负值的加速度。
图15是示出与公开的实施方式相一致的用于基于被检测弯道和观察的弯道特性和/或关于弯道的地图数据来控制车辆速度的示例性过程1500的流程图。在步骤1510,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。
在步骤1520,处理单元110可执行弯道辨识模块1502,以基于例如地图和/或位置数据(例如,存储在地图数据库160中的数据)来检测位于车辆200之前的弯道。这样的数据可指示存在于于给定道路上的弯道的地点。数据可指示特定弯道的绝对位置(例如,经由GPS坐标)或弯道的相对位置(例如,通过相对于车辆200、道路标志1302、交通灯1304和/或其它描述性地标来描述弯道)。在一些实施方式中,处理单元110可执行弯道辨识模块1502,以通过分析多个图像来检测弯道。该分析可使用上面结合图5A至图5D和图6描述的技术来进行。
在步骤1530,处理单元110可执行速度模块1406,以基于例如从执行弯道辨识模块1402得到的数据来确定车辆200的初始目标速度。初始目标速度可反映车辆200的速度和方向以安全地进入即将到来的弯道,并且可使用上面结合图14描述的技术来确定。例如,速度模块1406可基于与即将到来的弯道关联的已知或估算的特性(诸如弯道半径1308和转弯倾斜度)来确定初始目标速度。速度模块1406可依据数学模型和/或公式并且基于各种约束来计算初始目标速度。在一些实施方式中,例如,速度模块1406可基于交通灯(诸如交通灯1304)存在于弯道之前、期间或之后、天气条件(例如,小雨、大雨、大风、多云,等等)、道路条件(例如,柏油路、土路、坑洼,等等)、限速、近旁存在车辆或行人等等来确定初始目标速度。初始目标速度还可基于与车辆200关联的侧向加速极限。在一些实施方式中,侧向加速极限可在0.2米/秒2到3.0米/秒2的范围内并且可取决于弯道特性、道路宽度或车道宽度1306来调整。另外,初始目标速度可基于与一个或多个相机(诸如图像捕获装置122和124)关联的焦距范围。
例如,速度模块1406可基于车辆200之前的道路的曲率半径来确定初始目标速度。速度模块1406可确定距车辆200的各种距离处的曲率半径并且以向量R(1:n)存储信息。在一个实施方式中,速度模块1406可确定以下地点的曲率半径:(1)车辆200的当前位置;(2)距车辆200的距离D终点,其中D终点表示车辆200之前的、道路特性的认识允许系统100控制车辆200的导航响应使得驾驶员可感觉舒适的距离;以及(3)距车辆200的增量距离,诸如每1米,等等。距离D终点的值可取决于车辆200的当前速度Vego。例如,Vego的值越大(例如,车辆200行进得越快),D终点的值越大(例如,可考虑越长的距离为系统100提供足够的时间来提供导航响应,诸如基于接近急剧转弯或弯道来舒适地减小车辆200的速度)。在一个实施方式中,D终点可根据以下公式计算:D终点=(Vego 2/2)/(0.7/40*Vego+0.5)。由此,向量D(1:n)=[1:1:n],其中n=向下取整(D终点)。
在一些实施方式中,速度模块1406可基于侧向加速度约束a最大(例如,最大允许的侧向加速度)来确定初始目标速度。a最大可落入1.5米/秒2到3.5米/秒2的范围内。基于a最大和(上面讨论的)曲率半径向量R,速度模块1406可将(例如,距车辆200的当前位置的不同点或距离处的)车辆200的速度限制为速度v极限,计算为:v极限(1:n)=(a最大*R(1:n))1/2。另外,根据v极限的确定而导出的减速度约束可计算为:dec极限=最小{((v极限(1:n)2-Vego 2)/2),最大{d最小,D(1:n)-2*Vego}},其中d最小等于40米。d最小的值可表示对车辆200的驾驶员而言减速感觉舒适的点。
在一些实施方式中,速度模块1406可基于曲率摆率约束slew最大(可基于曲率变化率)来确定初始目标速度。slew最大可落入0.5米/秒3到1.5米/秒3的范围内。速度模块1406可根据以下公式来确定v极限:v极限(1:n)=(slew最大/abs{{1/R(1:n)}’})1/3。进一步,速度模块1406可根据以下公式来确定dec极限:dec极限=最小{((v极限(1:n)2-Vego 2)/2),最大{d最小,D(1:n)-2*Vego}},其中d最小等于40米。
在一些实施方式中,速度模块1406可确定舒适约束,使得在车辆200经历各种导航响应(诸如转弯或导航弯道)的同时车辆200的驾驶员是舒适的。速度模块1406可根据以下公式来确定v极限:v极限(1:n)=4/500*R(1:n)+22.5。进一步,速度模块1406可根据以下公式来确定dec极限:dec极限=最小{((v极限(1:n)2-Vego 2)/2),最大{d最小,D(1:n)-2*Vego}},其中d最小等于40米。
速度模块1406可通过使用与每个约束关联计算的dec极限的最小值来合并上面确定的三个约束,即侧向加速度约束、曲率摆率约束和舒适约束。在合并约束之后,速度模块1406可根据以下公式通过确定调整车辆200的速度的量来达到初始目标速度,记作v舒适:v舒适=v舒适(先前)+dec极限*Δt,其中v舒适(先前)表示车辆200的先前速度(例如,先前确定的速度、在速度模块1406做任何调整之前的车辆200的速度,等等),并且Δt表示确定v舒适与v舒适(先前)之间的时间。
在步骤1540,处理单元110可执行速度模块1406以将车辆200的速度调整至在步骤1530确定的初始目标速度。基于车辆200的当前速度以及在步骤1530确定的初始目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,以将车辆200的速度改变至初始目标速度。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量或者部分地松开车辆200的加速器。进一步,处理单元110可发送电子信号,致使系统100将车辆200沿特定方向转向。在一些实施方式中,加速度(或减速度)的幅值可基于车辆200的当前速度与初始目标速度之间的差。当该差较大时(例如,当前速度比初始目标速度大10km/hr),例如,系统100可通过采取使减速度最大化并且导致车辆200在最短的时间量内尽可能安全地实现初始目标速度的方式制动来改变当前速度。替代地,系统100可采取使减速度降到最低并且导致车辆200逐渐实现初始目标速度的方式来施加制动。更一般地,系统100可将当前速度改变至初始目标速度,根据任何特定的制动轮廓(例如,前两秒要求高制动水平且随后三秒要求低制动水平的制动轮廓)。公开的实施方式并不限于任何特定的制动轮廓或制动方式。
在步骤1550,处理单元110可执行特性观察模块1404,以基于例如分析使用上面结合图5A至图5D描述的技术进行的多个图像来确定位于车辆200之前的弯道的一个或多个特性。例如,所述特性可包括与下列关联的估值和/或实际值:弯道半径1308、道路宽度或车道宽度1306、曲率的程度、曲率变化率、转弯倾斜度,等。例如,所述特性还可包括由一个或多个道路标志(诸如道路标志1302)传达的信息。此外,所述特性可包括被检测弯道的长度或弧长(可以是车辆200在接近弯道时的速度的函数)。处理单元110可执行特性观察模块1404,以基于数学模型和/或公式来计算与这些特性(例如,弯道半径1308、曲率的程度、曲率变化率、弯道弧长,等等)关联的值。在一些实施方式中,处理单元110可执行特性观察模块1404,以构建将弯道曲率表达为距离(例如,行进的距离)的函数的数学模型。这样的模型可能受约束,诸如最大侧向加速度约束(例如,在1.5米/秒2到3.0米/秒2的范围内)和/或最大侧向加速度衍生约束(例如,在0.8米/秒2到1.2米/秒2的范围内)。这些约束可产生车辆200的最大速度(作为行进距离的函数)。
在步骤1560,处理单元110可执行速度模块1406,以基于在步骤1550确定的特性来计算更新的目标速度。更新的目标速度可反映车辆200的更新速度和/或方向以安全地执行下列的任何组合:(i)进入即将到来的弯道;(ii)导航通过弯道;或(iii)离开弯道。更新的目标速度可使用上面结合图14和步骤1530描述的技术来确定。例如,速度模块1406可基于与弯道关联的特性并且基于数学模型和/或公式来确定更新的目标速度。
在步骤1570,处理单元110可执行速度模块1406,以将车辆200的速度调整至在步骤1560确定的更新的目标速度。这种调整可使用上面结合步骤1540描述的技术来完成。例如,基于车辆200的当前速度以及在步骤1560确定的更新的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由CAN总线),以将车辆200的速度改变至更新的目标速度。在这一点,车辆200的当前速度不一定与在步骤1530确定的初始目标速度相同。例如,处理单元110可在步骤1560已经确定更新的目标速度,同时将车辆200的速度调整至初始目标速度。这可能真正存在于车辆200的速度与初始目标速度的差较大(例如,大于10km/hr)并且关联的加速度较小的情况下。
在一些实施方式中,系统100可基于对弯道特性的继续观察(例如,基于描绘弯道的车辆200接近的部分的图像数据)来常规更新到目标速度。另外,在系统100将车辆200导航通过弯道之后,系统100可致使车辆200加速至新的目标速度,该新的目标速度适于行进道路的不带弯道的区段,这通过分析由系统100获取的地图数据、位置数据和/或图像数据而确定。
模仿前车
系统100可提供驾驶员辅助功能性,用于致使车辆200模仿(或者拒绝模仿)不同场景(诸如当前车切换车道、加速或转弯时)下的前车。例如,系统100可构造成通过分析多个图像来检测前车并且确定前车采取的一个或多个动作。在一些场景下,诸如当前车在路口处转弯时,系统100可构造成致使车辆200拒绝模仿转弯。在其它场景下,诸如当前车在路口处转弯且在路口内不变道时,系统100可构造成致使车辆200模仿转弯。系统100还可构造成基于前车的导航历史致使车辆200模仿前车的一个或多个动作。
图16A和图16B是与公开的实施方式相一致的模仿前车200b在道路1600a上的一个或多个动作的主车辆200a的概略表示。如图16A和图16B中图示的,主车辆200a可在道路1600a的同一车道中行进的同时追踪前车200b。车道可具有左边缘1620、右边缘1630和中点1610,w1和w2分别指示车道的左半边和右半边。主车辆200a和前车200b可定位在车道中,使得车辆都不居中于中点1610上。如图所示16A,例如,主车辆200a可居中于中点1610的右边,使得主车辆200a与左边缘1620之间的距离c1大于主车辆200a与右边缘1630之间的距离c2。对比之下,前车200b可居中于中点1610的左边,使得前车200b与左边缘1620之间的距离c3小于前车200b与右边缘1630之间的距离c4。主车辆200a和前车200b的位置可以有不同的构造。例如,主车辆200a和前车200b可定位在道路1600a上的任何地方。进一步,虽然图16A描绘了具有相机系统的前车200b,但是公开的实施方式并不限于前车200b包括相机系统的构造。
主车辆200a的系统100可致使主车辆200a模仿前车200b的一个或多个动作。如图16B所示,例如,主车辆200a可模仿前车200b执行的车道移位。在模仿车道移位之后,距离c1可等于距离c3,并且距离c2可等于距离c4。在一些实施方式中,主车辆200a可模仿前车200b执行的车道移位,使得距离c1和c3与c2和c4不等。例如,在主车辆200a模仿主车辆200b的向左车道移位并且(在车道移位之后)定位至主车辆200a的左边的情况下,c1将小于c3并且c2将大于c4。替代地,在主车辆200a模仿主车辆200b的向左车道移位并且定位至主车辆200a的右边的情况下,c1将大于c3并且c2将小于c4
图16C和图16D是与公开的实施方式相一致的模仿前车200b在道路1600b上的一个或多个动作的主车辆200a的概略表示。如图16C中图示的,主车辆200a可在前车200b后面行进,前车200b可在路口处左转弯。主车辆200a的系统100可致使主车辆200a模仿前车200b的左转弯,如图16D所示。系统100可基于各种因素(诸如前车200b是否在路口内转弯的同时变道、与前车200b关联的导航历史、主车辆200a与前车200b之间的相对速度差,等)来致使主车辆200a模仿左转弯。另外,主车辆200a可在各种条件下(诸如基于前车200b是否沿着与主车辆200a行进沿着的路线的相同路线或相同部分行进)模仿前车200b。关于系统100可致使主车辆200a模仿前车200b的一个或多个动作的场景的进一步细节在下面结合图17至图22描述。
在一些实施方式中,系统100可构造成确定是否模仿前车的特定移动。例如,系统100可确定:前车的某些移动不需要被模仿,因为这种移动不影响前车的路线。例如,系统100可确定:移动的少量改变(诸如在特定车道内移动)不需要被模仿。在其它实施方式中,系统100可实施平稳操作以过滤出前车的少量移动。平稳操作可致使主车辆实施前车的更显著和/或重要的移动(例如,变道),同时过滤出较少量的不会影响前车的整体路线的移动。
图17是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图17所示,存储器140可存储车道约束模块1702、动作检测模块1704和动作响应模块1706。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块1702-1706(包括在存储器140中)中的指令。
在一个实施方式中,车道约束模块1702可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令确定与主车辆200a的行进车道关联的一个或多个约束。车道约束可包括车道的中点1610、左边缘1620和右边缘1630。车道约束还可包括标记在道路1600a或1600b的表面上的一个或多个线或其它符号。处理单元110可执行车道约束模块1702,以通过例如分析一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来确定约束。图像组可由图像捕获装置122、124和126中的一个或多个获取。基于该分析,系统100(例如,经由处理单元110)可致使主车辆200a在由左边缘1620和右边缘1630限定的车道内行进。在一些实施方式中,如果距离c1或c2之一小于预定阈值,则系统100可致使主车辆200a远离左边缘1620或右边缘1630。
在一个实施方式中,动作检测模块1704可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令检测在主车辆200a前方行进的前车200b采取的一个或多个动作。前车200b可在与主车辆200a相同或不同的车道中行进。处理单元110可执行动作检测模块1704,以通过例如分析由图像捕获装置122、124和126中的一个或多个获取的一组或多组图像来检测前车200b采取的一个或多个动作。基于该分析,例如,处理单元110可确定前车200b已变换车道、已转弯、加速、减速、施加制动等。作为另一示例,前车200b可执行机动,使得前车200b的邻近第一车道约束的那一侧的第一偏移距离不同于前车200b的邻近第二车道约束的那一侧的第二偏移距离。例如,处理单元110可基于上面结合图5A至图5D描述的技术来执行这种分析。
在一个实施方式中,动作响应模块1706可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令基于系统100(例如,经由执行动作检测模块1704)检测的前车200b所采取的一个或多个动作来确定主车辆200a采取的一个或多个动作。例如,处理单元110可执行动作响应模块1706,以确定是否模仿前车200b的一个或多个动作。该确定可基于前车200b的动作(例如,转弯、车道移位,等等)的性质、与主车辆200a关联的信息(例如,距车道路边的速度、距离c1和c2,等等)、道路和环境条件(例如,坑洼、大雨或风,等等),等。在处理单元110确定模仿前车200b的一个或多个动作的情况下,处理单元110可通过以下手段完成这:例如向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由CAN总线),以触发转弯、车道移位、主车辆200a的速度改变和/或方向改变。处理单元110可使用上面结合图4至图7描述的技术以致使主车辆200a模仿一个或多个动作。为了模仿一个或多个动作,系统100可向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号,以(例如,通过致使加速、转弯、车道移位,等等)导航车辆200。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。
图18是示出与公开的实施方式相一致的用于致使主车辆200a模仿前车200b的一个或多个动作的示例性过程的流程图。在步骤1810,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。
在步骤1820和1830,处理单元110可执行车道约束模块1702,为主车辆200a的每侧确定与主车辆200a的行进车道关联的约束。处理单元110可通过分析在步骤1810接收的图像来确定约束。由此,在步骤1820,处理单元110可确定在主车辆200a的第一侧上的第一车道约束(例如,主车辆200a的左侧与车道的左边缘1620之间的距离,c1),以及在步骤1830,确定在与第一侧相反的第二侧上的第二车道约束(例如,主车辆200a的右侧与车道的右边缘1620之间的距离,c2)。在一些实施方式中,处理单元110可通过使用地图和/或指示主车辆200a相对于车道的中点1610、左边缘1620和右边缘1630的位置的位置数据(例如,存储在地图数据库160中的数据)来确定约束。处理单元110可基于分析在步骤1810接收的图像以及地图和/或位置数据两者来确定约束;这样做可增加与约束关联的置信水平。
在步骤1840,处理单元110可执行车道约束模块1702,以致使主车辆200a在步骤1820和1830确定的车道约束内行进。例如,主车辆200a的左侧可定位至左边缘1620的左边,或者主车辆200a的右侧可定位至右边缘1630的右边。在这样的情景下,处理单元110可向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由CAN总线),以致使主车辆200a调整其位置并且在车道约束内行进。
在步骤1850,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在在步骤1810接收的图像内。处理单元110可使用上面结合图5A和图5B描述的技术来检测车辆在图像中的存在。对于每个被检测车辆,处理单元110可构建被检测车辆相对于主车辆200a的位置、速度(例如,速度和方向)和加速度的多帧模型。处理单元110可使用上面结合图5A和图5B描述的技术来构建这样的模型。另外,处理单元110可确定与每个被检测车辆关联的行进车道,基于例如车道或其它道路标记以及在步骤1820和1830确定的车道约束。处理单元110可确定前车200b为最接近的被检测车辆,并且在与主车辆200a相同的车道中行进。在步骤1860,处理单元110可执行动作检测模块1704,以确定步骤1850在图像内检测的前车200b所采取的一个或多个动作。例如,处理单元110可确定:前车200b已变换车道、已转弯、加速、减速,等。另外,处理单元110可分析图像,以确定与前车200b关联的特性,诸如其(例如,相对于主车辆200a的)速度和位置。这些确定可基于上面结合图5A和图5B描述的技术。在一些实施方式中,处理单元110可分析图像,以确定与前车200b执行的动作关联的特性。例如,在前车200b转弯的情况下,处理单元110可确定前车200b正好在开始转弯之前的位置信息、前车200b在完成转弯时的位置信息、转弯半径以及描述前车200b在转弯时的速度改变(例如,经过一段时间)的速度轮廓。
在步骤1870,处理单元110可执行动作响应模块1706,以致使主车辆200a模仿在步骤1850确定的前车200b的一个或多个动作。例如,处理单元110可向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由CAN总线),以触发主车辆200a的转弯、车道移位、速度改变和/或方向改变。另外,处理单元110可构建一组路径点,以引导主车辆200a的位置和速度改变。路径点可基于由多项式(例如,第三多项式)和与目标车辆(诸如前车200b)关联的目标坐标表示的车道标线(例如,中点1610、左边缘1620、右边缘1630,等等)。处理单元110可调整多项式的系数,使得路径点超越目标坐标。处理单元110还可基于预定偏移量使路径点(例如,相对于左边缘1620和右边缘1630)偏移。在处理单元110调整多项式系数并使路径点偏移时,处理单元110还可针对形成在路径点之间的每个得到的区段来计算局部曲率信息。
在一些实施方式中,处理单元110(例如,经由执行动作响应模块1706)可在与两个车辆关联的某一位置、速度和/或加速度约束内致使主车辆200a模仿前车200b。例如,约束可能需要主车辆200a与前车200b之间的预定最小距离(例如,安全距离)或车辆之间的速度和/或加速度的预定最大差。由此,如果模仿前车200b执行的动作将违反一个或多个约束(例如,模仿加速将导致主车辆200a太接近前车200b),则处理单元110可致使主车辆200a拒绝模仿前车200b的一个或多个动作。另外,甚至在模仿前车200b执行的动作(例如,车道移位)的同时,处理单元110可致使主车辆200a跟随前车200b的速度轮廓并且维持与前车200b的预定距离或安全距离。处理单元110完成这可通过致使主车辆200a:(i)当间距大于预定最小距离时,不断缩短与前车200b的距离差距;(ii)不断缩短主车辆200a与前车200b的速度之间的差距;以及(iii)将前车200b的加速度匹配至与预定约束一致的程度。为了控制这些动作应该执行到什么程度,处理单元110可基于与前车200b的当前预测距离实时将每个动作与权重关联。由此,例如,在与前车200b的距离减小时,更大的权重可加到减速上,而非匹配前车200b的加速。
作为另一示例,在主车辆200a以大于前车200b速度的速度接近前车200b的情况下,处理单元110可致使主车辆200a逐渐减速,使得当两个车辆之间的距离等于预定安全距离(诸如最小跟随距离)时,两个车辆的速度相同。在另一示例中,在前车200b突然出现在主车辆200a前方的情况下,致使两个车辆之间的距离小于最小跟随距离,处理单元110可致使主车辆200a逐渐减速以避免更接近前车200b,同时增加车辆之间的距离直到该距离到达最小跟随距离。
图19是示出与公开的实施方式相一致的用于致使主车辆200a拒绝模仿前车200b的转弯的示例性过程1900的流程图。在步骤1910,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤1920,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤1910接收的图像内。在步骤1925,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口处转弯。如果确定前车200b在路口处转弯(步骤1925,是),则在步骤1930,处理单元110可致使主车辆200a拒绝模仿前车200b的转弯。否则(步骤1925,否),过程1900结束。
图20是示出与公开的实施方式相一致的用于致使主车辆200a模仿或拒绝前车200b的转弯的示例性过程2000的流程图。在步骤2010,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2020,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤2010接收的图像内。在步骤2025,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口处转弯。如果确定前车200b在路口处转弯(步骤2025,是),则在步骤2035,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口内变道。否则(步骤2025,否),过程2000结束。如果确定前车200b在路口内变道(步骤2035,是),则在步骤2050,处理单元110可致使主车辆200a拒绝模仿前车200b的转弯。否则(步骤2035,否),在步骤2040,处理单元110可致使主车辆200a模仿前车200b的转弯。
图21是示出与公开的实施方式相一致的用于致使主车辆200a模仿第一前车的一个或多个动作的另一示例性过程2100的流程图。在步骤2110,如上面结合图18步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2120和2130,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将第一和第二前车定位在步骤2110接收的图像内。在步骤2135,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定第一前车路径的转弯半径是否小于第二前车路径。如果确定第一前车路径的转弯半径小于第二前车路径(步骤2135,是),则在步骤2140,处理单元110可致使主车辆200a模仿第一前车的转弯。否则(步骤2135,否),过程2100结束。
图22是示出与公开的实施方式相一致的用于基于导航历史来致使主车辆200a模仿前车200b的一个或多个动作的示例性过程2200的流程图。在步骤2210,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2220,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤2210接收的图像内。
在步骤2230,处理单元110可通过分析在步骤2210接收的图像来确定前车200b的位置信息。前车200b的位置信息可指示前车200b相对于主车辆200a的位置。处理单元110可通过使用上面结合图5A至图5D描述的技术来分析图像以得到前车200b的位置信息以及前车200b采取的一个或多个动作。
在步骤2240,处理单元110可将在步骤2230确定的前车200b的位置信息与预定地图数据(例如,存储在地图数据库160中的数据)比较。例如,通过将位置信息与预定地图数据比较,处理单元110可得到前车200b的位置坐标。另外,处理单元110可使用预定地图数据,作为与在步骤2230确定的位置信息关联的置信水平的指示器。
在步骤2250,处理单元110可通过例如跟踪前车200b采取的动作来创建与前车200b关联的导航历史。处理单元110可将前车200b采取的动作(例如,在步骤2230根据分析图像而确定)与步骤2240的预定地图数据关联。由此,导航历史可指示执行某些动作(例如,转弯、车道移位,等等)的前车200b处于某一位置坐标。
在步骤2260,处理单元110可执行动作响应模块1706,以基于在步骤2250创建的导航历史并且使用上面结合图18的步骤1870描述的技术来确定是否致使主车辆200a模仿前车200b的一个或多个动作。例如,甚至在根据分析图像(例如,在步骤2230)没有检测到转弯的情况下,当导航历史指示前车200b已成功导航至少一先个前转弯时,处理单元110(例如,经由动作响应模块1706)可致使主车辆200a模仿前车200b的转弯。更一般地,在导航历史指示前车200b已成功执行这样的动作的情况下,处理单元110可致使主车辆200a模仿前车200b采取的动作。
导航车辆以超越另一车辆
系统100可提供驾驶员辅助功能性,用于监测车辆200附近并且倘若变道被认为置于致使诸如与另一车辆(例如,目标车辆)碰撞的风险下则中止变道。例如,如果确定目标车辆位于与车辆200不同的车道中,则系统100可使车辆200能够完成对目标车辆的超越。如果,在完成超越之前,系统100确定目标车辆正进入车辆200的行进车道,系统100可致使车辆200中止超越。例如,中止超越可包括致使车辆200制动或致使车辆200停止加速。
如图23中图示的,车辆200可行进在道路2300上。车辆200可配备有系统100并且可实施任何公开的实施方式来识别车道约束以及在车道约束内操作车辆200。系统100还可促进车辆200做出的变道。例如,系统100可确定情形是否允许车辆200安全地变道,如果在变道期间情形改变,则致使车辆200中止变道。
如图23所示并且如先前相对于图8讨论的,车辆200可包括第一车辆侧802,第一车辆侧802距第一车道约束2302可以是第一距离805。类似地,车辆200可包括与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束2304可以是第二距离815。以这种方式,第一车道约束810和第二车道约束2304可限定车辆200可行进的车道2330。
系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定第一车道约束2302和第二车道约束2304。根据一些实施方式,第一车道约束2302和/或第二车道约束2304可由可见的车道边界(包括标记在路面上的线)识别。另外地或替代地,第一车道约束2302和/或第二车道约束2304可包括路面的路边。根据一些实施方式,系统100可通过识别路面宽度2320的中点(或者车辆200可用作导航基准的任何其它合适的道路特征)来确定第一车道约束2302和/或第二车道约束2304。例如,当指定道路车道的线未被喷涂或以其它方式贴标签时,系统100可采取这种方式识别车道约束。
当超越目标车辆2310时,车辆200的变道可能由于目标车辆2330的轨迹改变而复杂化。由此,系统100可基于对图像捕获装置122-126中的一个或多个获取的多个图像的分析来识别目标车辆2310。系统100还可识别目标车辆2310行进的第二车道2340。进一步,系统100可确定第二车道2340是否不同于车辆200行进的车道2330。如果第二车道2340不同于车道2330,则系统100可构造成使车辆200能够超越目标车辆2310。
系统100还可基于多个图像来监测目标车辆2310。例如,系统100可监测目标车辆2310的位置,诸如监测目标车辆2310相对于车辆200、相对于第一车道约束2302和/或第二车道约束2304的位置、绝对位置或相对于另一基准点的位置。另外地或替代地,监测目标车辆2310的位置可包括估算目标车辆2310的速度。
如果系统100确定目标车辆2310正进入车辆200行进的车道2330,则系统100可致使车辆200中止对目标车辆2310的超越。例如,系统100可致使车辆200停止加速或进行制动。另外地或替代地,系统100可发布语音通知,诸如通知车辆200的驾驶员中止变道。
图24A是与公开的实施方式相一致的存储器140的示例性框图,该存储器140可存储用于执行一个或多个操作的指令。如图24A中图示的,存储器140可存储用于识别目标车辆的一个或多个模块和本文中描述的响应。例如,存储器140可存储车道约束模块2400、目标车辆获取模块2410和动作模块2415。
在一个实施方式中,车道约束模块2400可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束2302和第二车道约束2304。例如,处理单元110可执行车道偏移模块2400,以处理从至少一个图像捕获装置122-124接收的多个图像并且检测第一车道约束2302和第二车道约束2304。如上面讨论的,这可包括识别喷涂的车道线或标记物和/或测量路面的中点。处理单元110可基于上面结合图5A至图5D描述的技术来执行这种分析。
在一些实施方式中,目标获取模块2410可存储指令,当由处理单元110执行时,该指令可检测目标车辆2310的存在并且监测目标车辆2310的位置。例如,目标获取模块2410可处理多个图像,以检测并监测目标车辆2310。另外地或替代地,当执行目标获取模块2410时,处理单元110可接收来自指示目标车辆2310的存在和/或地点的另一模块或其它系统的信息。处理单元110可基于上面结合图5A至图5D描述的技术来执行这种分析。
处理单元110可构造成确定一个或多个对象(诸如车辆200附近的目标车辆2310)的存在。例如目标车辆2310可包括在车辆200附近行进的另一车辆,诸如汽车、卡车或摩托车。对于每个目标车辆2310,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中目标车辆2310是否将位于车辆200的预定范围内。如果处理单元110确定目标车辆2310位于或将位于车辆200的预定范围内,则处理单元可确定:为使车辆200绕过目标车辆2310,在第一车道约束810和第二车道约束820内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与目标车辆2310之间距离缩短之前是否有足够的时间绕过目标车辆2310。如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过目标车辆2310。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与对象825之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动,然后启动偏移机动。
进一步,处理单元110可执行动作模块2415,以中止车辆200超越目标车辆2310的计划。如果目标车辆2310不在车辆200的车道2330中,则包括在动作模块1230中的指令可使车辆200能够超越目标车辆2330。然而,如果执行目标车辆获取模块2410指示目标车辆2310正变道进入车辆200的车道2330,则处理单元110可执行包括在动作模块2415中的指令以中止车辆200的变道。例如,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号以中止变道。另外地或替代地,处理单元可致使语音通知发出。
图24B图示了与公开的实施方式相一致的用于导航侵入车辆之中的车辆的示例性过程2420的流程图。过程2420可识别限定了车辆(例如,车辆200)行进的行进车道的车道约束,识别并监测目标车辆(例如,车辆2310),并且使车辆能够超越目标车辆或者如果确定目标车辆正进入车辆的行进车道则中止超越。
在步骤2430,图像捕获装置122、124和/或126中的至少一个可获取车辆200附近区域的多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。
接下来,在步骤2440,处理单元110可使用经由数据接口128接收的多个图像来确定在第一车辆侧802上的第一车道约束和在第二车辆侧812上的第二车道约束。例如,作为实施步骤2440的一部分,处理单元110可执行车道约束模块910的指令。进一步,作为确定第一车道约束和第二车道约束的一部分,处理单元110可使用上面结合图5A至图5D讨论的过程中的一个或多个。
在步骤2450,处理单元110可获取目标车辆2310。为了获取目标车辆2310,处理单元110可执行目标车辆获取模块2410。例如,处理单元110可执行指令来分析获取的图像,以识别目标车辆2310行进的第二车道2340并且确定目标车辆2310是否在车辆200行进的车道2330中行进。这种确定可基于上面结合图5A至图5D描述的技术。
在步骤2455,处理单元110可确定目标车辆2310行进的第二车道2340是否不同于车辆200行进的车道2330。
在步骤2460,如果第二车道2340不同于车辆200行进的车道2330,则处理单元110可使车辆200能够超越目标车辆2310。为了使车辆200能够超越目标车辆2310,处理单元可执行动作模块2415。
接下来,在步骤2465,处理单元110可执行目标获取模块2410以监测目标车辆2310。这可包括估算目标车辆2310的速度并且确定目标车辆2310诸如相对于车辆200的地点。
步骤2470可包括确定目标车辆2310是否已进入车道2330。如果处理单元110确定目标车辆2310尚未进入车道2330,则在步骤2480,处理单元110可允许车辆200完成超越。
在步骤2490,如果处理单元110确定目标车辆2310已进入车道2330(或者正进入车道2330或以其它方式处于将要把车辆2310带入车道2330中的轨迹上),则处理单元110可执行动作模块2415以中止超越。例如,这可包括经由扬声器360向车辆200的驾驶员发布语音通知。另外地或替代地,步骤2490可包括执行包括在动作模块2415中的指令,以致使处理单元110向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,从而中止变道。
导航车辆以避免侵入交通
系统100可提供驾驶员辅助功能性,用于监测车辆200附近并且响应于侵入车辆200的另一车辆的存在。监测车辆200附近可包括监测碰撞阈值。例如碰撞阈值可包括将要碰撞的时间或车辆200与其它交通之间的最小预定距离。系统100可进一步致使车辆200采取躲避动作以避免侵入交通。例如,躲避动作可包括制动、变道或以其它方式变动车辆200的路线。
如图25中图示的,车辆200可在道路2500上行进。车辆200可包括用于检测并响应于侵入交通的系统100。例如,车辆200可确定另一车辆正进入车辆200的行进车道,或者以其它方式确定另一车辆正越过碰撞阈值。车辆200可能通过诸如变动路线、制动或加速而对侵入车辆做出反应。
如相对于图8讨论的并且如图25所示,车辆200可包括第一车辆侧802,第一车辆侧802距第一车道约束2502可以是第一距离805。类似地,车辆200可包括与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束2504可以是第二距离815。以这种方式,第一车道约束2502和第二车道约束2504可限定车辆200可行进的车道2505。
系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定第一车道约束2502和第二车道约束2504。根据一些实施方式,第一车道约束2502和/或第二车道约束2504可由可见的车道边界(诸如标记在路面上的线)识别。另外地或替代地,第一车道约束2502和/或第二车道约束2504可包括路面的路边。根据一些实施方式,系统100可通过识别路面宽度的中点2520(或者任何其它合适的道路特征车辆200可用作导航基准)来确定第一车道约束2502和/或第二车道约束2502。当例如指定道路车道的线未被喷涂或以其它方式贴标签时,系统100可采取这种方式识别车道约束。
检测第一车道约束2502和/或第二车道约束2504可包括处理单元110确定它们在相机坐标系统中的三维模型。例如,第一车道约束2502和/或第二车道约束2504的三维模型可由第三多项式描述。除了第一车道约束2502和/或第二车道约束2504的三维建模,处理单元110可估算运动参数,诸如车辆200的速度、偏航和俯仰速率以及加速度。可选地,处理单元可检测静态和移动车辆及其位置、航向、速度和加速度(都相对于车辆200)。处理单元110可确定道路标高模型以将从多个图像获取的信息转换为三维空间。
车辆200的驾驶员无法假设的是,如果使交通移位到车辆200所行驶的车道2505中是安全的,则在相邻或附近相邻车道中行进的其它交通将仅变道。由此,可期望考虑并监测在近旁车道中行进的交通,以检测对于车辆200的车道2505的侧向侵入,使得车辆200可对侧向侵入做出反应以避免碰撞。系统100可基于多个图像来识别侵入车辆2510并且确定侵入车辆2510正接近车辆200。然后,系统100可产生动作来考虑侵入车辆。例如,系统100可致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进,使得在侵入车辆2510接近的第一车辆侧802上的第一距离2530大于第二距离2540。
处理单元110可构造成确定车辆200附近的一个或多个侵入车辆2510的存在。对于每个侵入车辆2510,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中侵入车辆2510是否将位于车辆200的预定范围内。如果处理单元110确定侵入车辆2510位于或将位于车辆200的预定范围内,则处理单元可确定:为使车辆200绕过侵入车辆2510,在第一车道约束2502和第二车道约束2504内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与侵入车辆2510之间距离缩短之前是否有足够的时间绕过侵入车辆2510。
例如,如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过侵入车辆2510。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与侵入车辆2510之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动(例如,经由向制动系统230发送电子信号),然后启动偏移机动(例如,通过向节流系统220和/或转向系统240发送电子信号)。
系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定:侵入车辆2510已越过至少一个碰撞阈值。例如,至少一个碰撞阈值可包括车辆200与侵入车辆2510之间的最小预定距离2550。例如,如图25中图示的,侵入车辆2510示出为超过最小预定距离2550。另外地或替代地,至少一个碰撞阈值可包括车辆200与侵入车辆2510将要碰撞的时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许系统100有足够的时间来有效进行躲避动作以避免碰撞。
如果系统100确定至少一个碰撞阈值已被越过,则系统100可致使车辆200采取躲避动作。例如,这可包括致使车辆200的其它子系统操作。由此,系统100可操作成通过与节流系统220、制动系统230和/或转向系统240通信来致使车辆200的速度增加,以改变车辆200的速度和/或方向。
躲避动作可包括致使车辆200变道。可期望在例如车辆200在多车道高速公路上行进的情况下响应,并且系统100确定:变道远离侵入车辆2510将避免碰撞。躲避动作可包括使车辆200变动其路线。另外地或替代地,躲避动作可包括变动车辆200的路线。例如,为了采取躲避动作,处理单元110可向节流系统220、制动系统230和/或转向系统240发送电子信号。
系统100还可构造成在躲避动作已完成之后致使车辆200采取动作。例如,系统100可致使车辆200返回到车辆200行进的车道2505的中点2520。另外地或替代地,系统100可在响应于侵入车辆2510制动之后致使车辆200恢复预设速度。
图26是与公开的实施方式相一致的存储器140的示例性框图,该存储器140可存储用于检测并且响应于车辆的交通侧向侵入的指令。如图26中图示的,存储器140可存储车道约束模块2610、侵入车辆获取模块2620和动作模块2630。
在一个实施方式中,车道约束模块2610可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束2502和第二车道约束2504。例如,处理单元110可执行车道偏移约束模块2610,以处理从至少一个图像捕获装置122-126接收的多个图像并且检测第一车道约束2502和第二车道约束2504。如上面讨论的,这可包括识别喷涂的车道线和/或测量路面的中点。处理单元110可基于上面结合图5A至图5D描述的技术来执行这种分析。
在一个实施方式中,侵入车辆获取模块2620可存储指令,当由处理单元110执行时,该指令可检测侵入车辆2510的存在并且监测侵入车辆2510。例如,侵入车辆获取模块2620可包括用于确定侵入车辆2510关于车辆200的相对地点的指令。在一些实施方式中,这可包括监测侵入车辆200的速度。根据一些实施方式,侵入车辆获取模块2620可确定侵入车辆2510是否已超过碰撞阈值。例如,碰撞阈值可以是车辆200与侵入车辆2510之间的最小预定距离。如果侵入车辆2510比最小预定距离更接近车辆200,则处理单元110可确定侵入车辆2510的确在侵入并且执行指令以避免与侵入车辆2510碰撞。
另外地或替代地,碰撞阈值可包括碰撞时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许处理单元110和系统100有足够的时间来有效进行躲避动作以避免碰撞。
进一步,处理单元110可执行动作模块2630,以响应于侵入车辆2510的检测和/或越过碰撞阈值。例如,动作模块2630可包括这样的指令,该指令用于致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进,使得第一距离2530大于第二距离2540。第一距离2530可位于车辆200的与侵入车辆2510相同的那一侧上,使得车辆200在仍位于第一车道约束2502和第二车道约束2504内的同时更远离侵入车辆2510。如果处理单元110确定碰撞阈值已被越过,则处理单元110可执行动作模块2630,以致使车辆200采取躲避动作,诸如变动路线、制动和/或变道。动作模块2630还可包括这样的指令,在完成躲避动作之后,该指令致使车辆200恢复路线。例如,在制动或返回到车道2505的中央之后,处理单元110可致使车辆200恢复预设速度。
图27图示了与公开的实施方式相一致的检测并且响应于车辆的交通侧向侵入的示例性过程2720的流程图。过程2720可识别限定车辆行进的行进车道的车道约束,确定侵入车辆2510是否接近,并且致使车辆200维持当前速度并在第一车道约束2501和第二车道约束2504内行进,使得在车辆200的侵入车辆2510接近的那一侧上的第一距离2530大于第二距离2540。
在步骤2730,至少一个图像捕获装置122、124和/或126可获取车辆200附近区域的多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,USB、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。
接下来,在步骤2740,处理单元110可使用经由数据接口128接收的多个图像来确定在第一车辆侧802上的第一车道约束和在第二车辆侧812上的第二车道约束。例如,作为实施步骤2740的一部分,处理单元110可执行车道约束模块2610的指令。进一步,作为确定第一车道约束和第二车道约束的一部分,处理单元110可使用上面结合图5A至图5D讨论的过程中的一个或多个。
在步骤2750,处理单元110可确定侵入车辆2510是否接近。为了做出这种确定,处理单元110可执行侵入车辆获取模块2620。侵入车辆获取模块2620可包括处理图像以检测其它交通的指令。这可包括在车辆200的特定范围内识别车辆,诸如邻近车辆200的那些车辆。这些邻近车辆可能是侵入车辆2510。
一旦侵入车辆2510被识别,处理单元就可确定关于车辆2510的更多信息。例如,在步骤2555,处理单元110可确定目标车辆2330是否已超过碰撞阈值。例如,碰撞阈值可以是车辆200与侵入车辆2510之间的最小预定距离。如果侵入车辆2510比最小预定距离更接近车辆200,则处理单元110可确定侵入车辆2510的确在侵入并且执行指令以避免与侵入车辆2510碰撞。
另外地或替代地,碰撞阈值可以是碰撞时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许处理单元110和系统100有足够的时间来有效进行躲避动作以避免碰撞。
在步骤2760,处理单元110可致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进。为了致使车辆200以这种方式操作,处理单元110可执行动作模块2630。另外地或替代地,步骤2760可包括执行动作模块1230上的指令,以致使处理单元110向车辆200的加速器2610、制动器2620和/或转向系统发送电子信号,致使车辆200维持当前速度并且在第一车道约束810和第二车道约束820内行进。
在步骤2755,如果处理单元110确定碰撞阈值已被超过,则处理单元110可采取躲避动作。躲避动作可包括致使车辆200变道。可期望响应的是,例如,车辆200在多车道高速公路上行进,并且系统100确定变道远离侵入车辆2510将避免碰撞。躲避动作可包括使车辆200变动其路线。另外地或替代地,躲避动作可包括变动车辆200的路线。例如,处理单元110可通过向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号来采取躲避动作。在完成躲避动作之后,在步骤2780,处理单元110可控制车辆200恢复其原先的导航(例如,恢复导航至期望的地点)。
车辆导航的多阈值反应区
系统100可提供驾驶员辅助功能性,用于产生车辆200的响应,诸如制动、加速、切换车道、转弯和/或其它导航响应。例如,如果系统100检测存在着位于车辆200之前以慢于车辆200的速度行进的另一车辆,系统100可通过制动致使车辆200以减小其速度。系统100可施加制动轮廓,该制动轮廓考虑到风险(例如,碰撞的风险)的即时性,为驾驶员提供自然驾驶感觉。
例如,取决于与另一车辆碰撞的情形和确定性风险,系统100可产生各种不同响应。如果目标车辆在前面足够远并且碰撞的确定性风险较低,则系统100响应于前面目标车辆的速度或方向改变可不采取动作。当目标车辆可能更近时或者当碰撞的风险上升超过预定水平时,系统100可产生响应,诸如制动,等等。当碰撞风险甚至更高时(例如,系统100确定碰撞将迫在眉睫而无躲避动作),系统100可致使车辆100采取躲避动作,诸如最大或近乎最大制动、方向改变,等等。
图28A和图28B是与公开的实施方式相一致的主车辆200a在道路2800上的概略表示。在一些实例中,道路2800可分为两个车道,车道2810和车道2820。诸如目标车辆200b的目标对象可在同一车道(例如,如图28A和图28B所示的车道2820)的主车辆200a之前行进或在不同车道中。如图28A描绘的示例所示,主车辆200a和目标车辆200b可分离距离d1。在图28A描绘场景之后的给定时间里,如图28B所示,主车辆200a和目标车辆200b可分离距离d2,其中d2小于d1。例如,主车辆200a能以大于目标车辆200b的速度行进,致使车辆之间的距离从d1降至d2
作为另一示例,主车辆200a和目标车辆200b能以相同的速度行进,直到目标车辆200b通过制动减少其速度,或者主车辆200a通过加速增加其速度,致使车辆之间距离从d1降至d2。作为另一示例,目标车辆200b可从主车辆200a的一侧侵入。在一些情形下,如果目标车辆200b在主车辆200a之前或者远离主车辆200a足够距离(例如,五米以上,10米以上,等等)并且移向主车辆200a,系统100可不采取任何动作。然而,如果目标车辆200b继续移动而更接近主车辆200a,则系统100可致使主车辆200a制动、改变速度和/或变道。例如,如果目标车辆200b在预定阈值(例如,五米内)内,则主车辆200a可采取动作。涉及主车辆200a和目标车辆200b的相对速度和位置可以有不同的场景,并且公开的实施方式并不限于任何特定情景。
在一些实施方式中,多阈值反应区可向用户提供自然感觉驾驶经历。例如,如上面讨论的,如果碰撞风险较低,则系统100可忽略目标车辆200b的移动。结果是,当不存在碰撞风险时(例如,当目标车辆200b在100米之前时,主车辆200a将不需要模仿目标车辆200b的每个运动),主车辆200a可不响应于目标车辆200b的移动或动作。然而,如果目标车辆200b接近主车辆200a和/或如果系统100确定碰撞风险较高,则可采取响应式机动,通过增加主车辆200a与目标车辆200b之间的空间使得用户感觉更安全。如果系统100确定撞击可能迫在眉睫,则系统100可采取更激进的动作而不会致使用户感到惊讶,因为为避免碰撞该动作可能是必要的。
因此,在一些实施方式中,系统100可将不同的反应区与不同程度的响应动作关联。例如,在一些实施方式中,当目标车辆200b在第一阈值内时(例如,当目标车辆200b远离主车辆200a时),系统100可不采取动作;当目标车辆200b在第二阈值内时(例如,当目标车辆200b更接近主车辆200a时),系统100可采取中等动作;并且当目标车辆200在第三阈值内时(例如,当目标车辆200b足够接近主车辆200a存在碰撞风险时),系统100可采取更激进的动作。在与第一阈值关联的第一反应区中,当与目标车辆200b关联的距目标的估算距离比预定安全距离大两倍时,系统100可不采取动作。在一些实施方式中,在与目标车辆200b关联的距目标的估算距离落入预定安全距离的1.5倍到2.5倍的范围内的情况下,可应用第一反应区。
距目标的估算距离可以是主车辆200a与目标车辆200b之间的当前距离加上该距离经预测时间(例如,在0.1秒到1.0秒的范围内,取决于与系统100关联的因素,诸如速度跟踪控制环、致动器和车辆动态)后的预期改变。预期距离改变可计算为:(v目标-v)*t预测+((a目标-a)*t预测 1/2),其中v目标和v分别对应于目标车辆200b和主车辆200a的速度,a目标和a分别对应于目标车辆200b和主车辆200a的加速度,并且t预测对应于预测时间。选择逼近系统100的整体反应时间的预测时间可考虑以下事实,即主车辆200a的期望导航响应可不立即实施,从而可为主车辆200a的驾驶员和/或乘客提供平稳的自然驾驶经历。
预定安全距离可定义为:最大{d静态,d动态}。可落入2米到10米范围内的d静态可表示车辆停止和/或低速移动时主车辆200a与另一车辆(诸如目标车辆200b)之间的期望安全距离。d动态可表示车辆以大于低速的速度移动时的期望安全距离,并且可计算为:t安全*最小(v目标,v),其中v目标和v分别对应于目标车辆200b和主车辆200a的速度。t安全可落入0.5秒到2.5秒的范围内,并且可根据驾驶员的喜好由主车辆200a的驾驶员经由用户接口170调整。由此,驾驶员能够控制主车辆200a与其它车辆之间系统100维持的距离。
在与第二阈值关联的第二反应区中,系统100可将目标车辆200b放置在安全区中并且向由目标车辆200b执行的不同机动施加不同的权重。例如,在目标车辆200b可接近安全区的下边界时,例如,与目标车辆200b关联的距目标的估算距离可接近预定安全距离(上面结合第一反应区讨论过),系统100可以向机动减速分配更大的权重(例如,模仿更多)并且向机动加速分配更小的权重(例如,模仿更少)。在一些实施方式中,下边界可落入预定安全距离的0.5倍到1.5倍的范围内(取决于驾驶员的喜好)。反过来,在目标车辆200b接近安全区的上边界时,例如,与目标车辆200b关联的距目标的估算距离可接近预定安全距离的两倍,系统100可以向机动减速分配更小的权重(例如,模仿更少)并且向机动加速分配更大的权重(例如,模仿更多)。在一些实施方式中,下边界可落入预定安全距离的1.5倍到2.5倍的范围内(取决于驾驶员的喜好)。
在与第三阈值关联的第三反应区中,当与目标车辆200b关联的距目标的估算距离小于预定安全距离时,系统100可将目标车辆200b放置在危险区中。在该情景下,系统100可致使主车辆200a模仿(例如,立即模仿)目标车辆200b执行的任何减速机动(同时不考虑任何加速机动)。在一些实施方式中,在与目标车辆200b关联的距目标的估算距离落入预定安全距离的0.5倍到1.5倍的范围内(取决于驾驶员的喜好)的情况下,可应用第一反应区。
在一些实施方式中,系统100可产生主车辆200a的响应,诸如制动。如图28B中指示的,例如,主车辆200a与目标车辆200b之间的距离可从d1降至d2。取决于距离d2并且延伸至在碰撞之前的时间,系统100可致使主车辆200a减少其速度以避免与目标车辆200b碰撞。另外,还基于例如在碰撞之前的时间,当致使主车辆200a减少其速度时,系统100可施加一个或多个制动轮廓。由此,如果在碰撞之前的时间(和/或距离d2)超过第一预定阈值,则系统100可致使主车辆200a以渐进的方式制动、变道和/或改变速度,而如果在碰撞之前的时间(和/或距离d2)低于第二预定阈值,则系统100可致使主车辆200a制动、变道和/或以更快速的方式改变速度。
图29是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图29所示,存储器140可存储目标监测模块2902、拦截时间模块2904和动作响应模块2906。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块2902-2906(包括在存储器140中)中的指令。
在一个实施方式中,目标监测模块2902可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令识别并且监测出现在表示主车辆200附近环境的多个图像中的目标对象(诸如目标车辆200b)。出于本公开的目的,目标对象也可被称为目标车辆200b,但是目标对象可以是行人、道路危险(例如,大的碎片),等。多个图像可由图像捕获装置122、124和126中的一个或多个获取。处理单元110可执行目标监测模块2902,以使用上面结合图5A至图5D描述的技术通过例如分析多个图像来识别并且监测目标车辆200b。由此,目标监测模块2902可跟踪不同的变量,诸如与目标车辆200b关联的运动(例如,行进方向和轨迹)、速度和加速度,以及主车辆200a与目标车辆200b之间的距离。这样的信息可不断地或者以预定的间隔跟踪。
在一个实施方式中,拦截时间模块2904可存储软件指令,当由处理单元110执行时,该软件指令确定主车辆200a和目标车辆200b之间的拦截时间的指示器。拦截时间可指在主车辆200a与目标车辆200b接触(例如,碰撞)之前的时间量。处理单元110可执行拦截时间模块2904,以基于分析由图像捕获装置122、124和126中的一个或多个获取的图像来确定拦截时间的指示器。例如,拦截时间模块2904可使用例如目标车辆200b(相对于主车辆200a)的位置、速度和/或加速度的一系列基于时间的观察(诸如卡尔曼滤波器或线性二次估算(LQE))来做出确定。卡尔曼滤波器可基于目标车辆200b的尺度的测量结果,其中尺度测量结果与拦截时间成比例。
在一个实施方式中,动作响应模块2906可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令在主车辆200a中产生一个或多个响应。所述响应可基于目标车辆200b的识别和监测(例如,经由执行目标监测模块2902来执行)和/或主车辆200a与目标车辆200b之间的拦截时间的指示器(例如,经由执行拦截时间模块2904确定)。处理单元110可通过例如(例如,经由CAN总线)向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号来在主车辆200a中产生一个或多个响应,以制动、加速或触发主车辆200a的转弯、车道移位和/或方向改变。处理单元110可使用扩展的卡尔曼滤波器来估算与目标车辆200b和主车辆200a关联的数据,诸如:速度、加速度、转弯率、俯仰角、俯仰速率、目标车辆200b相对于主车辆200a的位置和航向、目标车辆200b的大小、道路几何形状,等。例如,处理单元110可接收来自主车辆200a上的部件(诸如里程表、惯性测量单元(IMU)、图像处理器190,等)的测量结果。由此,处理单元110可使用从运动的运动学公式得到的状态公式、刚性约束和运动假设来计算与目标车辆200b和/或主车辆200a关联的数据,其中公式的输入可包括来自主车辆200a上的部件的测量结果。处理单元110还可使用上面结合图4至图7描述的技术,以产生主车辆200a的一个或多个响应。
图30是示出与公开的实施方式相一致的用于产生主车辆的响应的示例性过程3000的流程图。在步骤3010,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的一个或多个相机可捕获主车辆200a前方(例如,或车辆的侧方或后面)的区域的多个图像并且经数据连接(例如,数字、有线、USB、无线、蓝牙,等等)将图像发送到处理单元110。
在步骤3020,处理单元110可执行目标监测模块2902,以识别多个图像内的目标对象(诸如目标车辆200b)。例如,目标监测模块2902可使用上面结合图5A和图5B描述的技术来检测图像中的车辆的存在。基于图像数据、位置数据(例如,GPS地点信息)、地图数据、主车辆200a的偏航率、车道或其它道路标记、速度数据和/或包括在主车辆200a中的传感器的数据,多个车辆(和/或对象)可在与主车辆200a相同的车道或不同的车道中被检测,并且距主车辆200a的距离是变化的。在检测多个车辆的情景下,目标监测模块2902可将目标车辆200b确定为在与主车辆200a相同的车道中行进和/或最接近主车辆200a的车辆。
在步骤3030,处理单元110可执行目标监测模块2902,以监测在步骤3020识别的目标车辆200b。例如,目标监测模块2902可跟踪与目标车辆200b关联的信息,诸如运动(例如,行进方向和轨迹)、速度和加速度,以及主车辆200a与目标车辆200b之间的距离。目标监测模块2902可使用上面结合图5A至图5D描述的技术通过分析多个图像来不断地或者以预定的间隔跟踪这样的信息。在步骤3040,处理单元110可执行拦截时间模块2904,以确定主车辆200a与目标车辆200b之间的拦截时间的指示器。拦截时间模块2904可通过跟踪在一个或多个时间周期上目标车辆200b(相对于主车辆200a)的位置、速度和/或加速度来做出确定。拦截时间模块2904可使用上面结合图5A和图5B描述的技术来跟踪这样的信息。
在步骤3050,处理单元110可执行动作响应模块2906,以产生主车辆200a的一个或多个响应。例如,处理单元110可(例如,经由CAN总线)向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号,以制动、加速或触发主车辆200a的转弯、车道移位和/或方向改变。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量或者部分地松开车辆200的加速器。进一步,处理单元110可发送致使系统100车辆200沿特定方向转向的电子信号。这样的响应可基于(在步骤3030执行的)目标车辆200b的监测和/或(在步骤3040确定的)主车辆200a与目标车辆200b之间的拦截时间的指示器。在一些实施方式中,拦截时间可与一个或多个预定阈值(例如,第一和第二拦截阈值)比较。例如,如果拦截时间的指示器指示目标对象在特定拦截阈值内(例如,在第二拦截阈值内),则所述响应可包括紧急避让动作。紧急避让动作可包括变道和/或紧急制动。
阈值可表达为时间的单位。由此,例如,如果拦截时间的指示器指示目标车辆200b在第一阈值之外(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间超过第一阈值),则动作响应模块2906可基于与目标车辆200b关联的平均运动轮廓来在主车辆200a中产生响应。与目标车辆200b关联的平均运动轮廓可表示目标车辆200b针对特定阈值的平均位置和/或平均速度。在一些实施方式中,如果目标车辆200b为某一距离和/或以某一速度行进,则系统100可不采取动作。例如,如果目标车辆200b在主车辆200a之前或者距离足够远离主车辆200a(例如,五米、10米,等等),则系统100可不采取任何动作,除非目标车辆200b更接近主车辆200。
如果拦截时间的指示器指示目标车辆200b在第一阈值与第二阈值之间(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间落入第一阈值与第二阈值之间),则动作响应模块2906可基于与目标车辆200b关联的实际运动来产生主车辆200a的响应。实际运动可表示目标车辆200b的位置和/或速度(例如,并未平均或延迟),如果拦截时间的指示器指示目标车辆200b在第二阈值内(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间低于第二阈值),则动作响应模块2906可产生主车辆200a的紧急动作(诸如变道或紧急制动)。
图31是示出与公开的实施方式相一致的用于拒绝在主车辆中产生响应的示例性过程3100的流程图。在步骤3110,如上面结合图30的步骤3010描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。
在步骤3120,如上面结合图30的步骤3020描述的,处理单元110可执行目标监测模块2902,以通过分析图像将目标对象(例如,目标车辆200b)定位在步骤3010接收的图像内。在步骤3125,处理单元110可执行目标监测模块2902,以使用上面结合图30的步骤3030描述的技术来确定目标对象(例如,目标车辆200b)是否在不同于主车辆200a的车道中行进。如果确定目标车辆200b在不同于主车辆200a的车道中行进(步骤3125,是),则在步骤3130,处理单元110可拒绝在主车辆200a中产生响应。替代地,如果系统100确定目标车辆200b不构成迫在眉睫的碰撞风险(例如,目标车辆200b在与主车辆200a非相交的轨线上或者潜在的将要碰撞的时间超过阈值,使得目标对象在目前的时间里不构成迫在眉睫的风险),在步骤3130,处理单元110可拒绝在主车辆200a中产生响应。否则(步骤3125,否),过程3100可结束且不发生响应。
使用多区段制动轮廓来停止自主驱动车辆
系统100可提供驾驶员辅助功能性,用于监测并且响应于环境条件以控制车辆200的制动。例如,系统100可基于多个图像来检测触发车辆200停止的对象。例如,该对象可包括车辆200附近的另一车辆、交通灯和/或交通标志。系统100可使用制动轮廓来减速和/或停止车辆200。根据一些实施方式,制动轮廓可包括在不同阶段执行减速的多个区段。例如,制动轮廓可致使系统100以降速的减速度停止车辆200。
通过提供包括多个区段的制动轮廓,系统100可致使车辆200以对驾驶员和/或乘客而言感觉自然的方式操作。例如,当驾驶员在交通灯处停止车辆时,从施加的时刻直到车辆停止的时刻,制动器通常不以恒速来施加。以这样的方式操作制动器导致终止时突然停止。相反,驾驶员可首先平缓地施加制动器,然后增加压力,进而在车辆到达其目标停止地点时,驾驶员可降低制动水平,直到在汽车停止的时刻到达零(或零附近)。以这种方式操作车辆可提供自然停止过程,即,驾驶员可首先致使逐步减速,所以车辆不会经历突然初始减速然后终止,使得车辆不会突然停止。
系统100可提供可根据对车辆200的驾驶员和/或乘客而言感觉自然的方法来实施制动的自主车辆导航。例如,在一些实施方式中,系统100可致使图像捕获装置122-126中的一个或多个获取车辆200附近区域的多个图像。处理装置110可经由数据接口128接收多个图像,并且基于对多个图像的分析来识别用于停止车辆200的触发器(例如,对象、交通灯和/或交通标志)。基于被识别的触发器,系统100可根据制动轮廓致使车辆200停止。在一些实施方式中,如基于对多个图像的分析而确定的,制动轮廓可包括多个区段(例如,包括:与第一减速率关联的第一区段;包括小于第一减速率的第二减速率的第二区段;以及在接近目标停止地点时使制动水平降低的第三区段)。
图32A图示了在包括对象3220的道路3210上行进的车辆200。系统100可识别触发器(例如,对象3220)以使车辆200相对于触发器的检测而停止。例如,在触发器被检测到之后系统100可首先使车辆200减速,并且在到达对象3220之前使车辆200停止。
处理单元110可构造成基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定用于停止车辆200的触发器。处理单元110可经由数据接口128从图像捕获装置122-126接收图像。根据一些实施方式,触发器可包括对象3220。例如,对象3220可以是道路2810上的另一车辆。根据一些实施方式,如果对象3220在车辆200的某一附近区域内,则处理单元110可识别触发器。例如,识别触发器可取决于对象3220与车辆200之间的相对距离。进一步,这种识别可选地考虑对象3220与车辆200之间的相对速度和/或相对加速度。
另外地或替代地,触发器可包括交通标志,诸如图32A中示出的交通标志3240。例如,交通标志3240可以是停止标志和/或限速标志。根据一些实施方式,处理单元110可处理多个图像以确定交通标志3240的内容,作为确定触发器是否存在的一部分。例如,如果车辆200超过限速,则处理单元110可基于由交通标志3240规定的限速来确定触发器的存在。作为另一示例,如果黄灯亮和/或红灯亮,则处理单元110可基于交通灯2830来确定触发器的存在。
基于多个图像,处理单元110可确定目标停止地点3250,一旦执行制动轮廓,车辆200就将停止在目标停止地点3250处。到达目标停止地点3250可伴随着车辆200的制动压力的释放。目标停止地点3250可基于交通灯3230和/或交通标志3240的地点,使得车辆200符合交通灯3230和/或交通标志3240。替代地,目标停止地点3250可基于对象3220,使得车辆200在到达对象3220之前停止。因此,目标停止地点3250可基于对象3220的地点,以避免车辆200与对象3220之间的碰撞。在一些实施方式中,目标停止地点3250的更新可基于从多个图像获得的新的信息,诸如新识别的目标、新的可见障碍、新的可见标志,等等。
图32B图示了与公开的实施方式相一致的示例性制动轮廓。在图32B示出的示例中,制动轮廓包括四个区段。然而,区段的数目是示例性的,并且与公开的实施方式相一致的制动轮廓可包括任何适当数目的区段(例如,2个、3个、4个、5个、6个等等区段)。
在区段1中,系统100可准备可能的制动情景。例如,在该区中,系统100可接收关于即将到来的路口(例如,具有交通灯的路口)的信息(例如,地图数据和/或图像数据)。系统100可逐渐减小车辆200的速度(例如,取决于路口的特性,车辆200的速度可逐渐减小至约70-50km/hr)。系统100可产生速度调整,例如,大约在枢纽之前的100-200米平均减速度约0.2-0.4米/秒2(最大约0.5米/秒2)。通过在区段1中降低车辆200的速度,系统100可为车辆200的驾驶员和/或乘客提供系统100知晓接近路口的置信度。
在区段2中,系统100可施加强大的制动。在该区段中,系统100可基于对图像数据的分析来接收信息,例如,交通灯变红和/或在车辆200行进线中的路口处存在停止车辆。系统100可致使车辆200在该区中经历显著的速度减小,同时距停止线或停止车辆的距离仍较大。这样做可为车辆200的驾驶员和/或乘客提供舒适的感觉,系统100将具有足够多的空间来完成制动机动。该区可远离停止线大约30-100米,并且平均减速度可约为1.5-2.5米/秒2(最大约为3.5米/秒2)。
在区段3中,系统100可做出适度制动调整。例如,在该区段中,系统100可根据距停止线或停止车辆的剩余距离并且基于车辆200的当前速度和减速度来调整车辆200的速度。通过做出这种调整,系统100可为车辆200的驾驶员和/或乘客提供如下指示:系统100正释放大部分制动功率,同时速度仍减小,但慢于之前。该区可远离停止线或停止车辆大约5-30米,并且平均减速度可约为0.5-1.5米/秒2(最大约为2米/秒2)。
在区段4中,系统100可做出小幅制动调整。在该区段中,系统100能以逐渐变为零的非常低的速度缩短距停止线或停止车辆的剩余距离。在该区中,驾驶员和/或乘客可感觉车辆200缓缓地滑动到位(例如,在停止线处或在另一车辆后面)。该区可构成距停止线或停止车辆的大约最后5-7米,并且平均减速度可约为0.3-0.5米/秒2(最大约为1米/秒2)。
图33是与公开的实施方式相一致的存储器140和/或150的示例性框图,该存储器140和/或150可存储用于执行一个或多个操作的指令。如图33中图示的,存储器140可存储用于执行本文中描述的触发器检测和响应的一个或多个模块。例如,存储器140可存储触发器识别模块3300和动作响应模块3310。
触发器识别模块3300可存储指令,当由处理单元110执行时,该指令可检测用于停止车辆200的触发器的存在。例如,触发器识别模块3300可处理从至少一个图像捕获装置122-124接收的多个图像,以检测触发器的存在。如上面讨论的,这可包括识别对象3220、交通灯3230和/或交通标志3240。
动作响应模块3310可存储指令,当由处理单元110执行时,该指令可响应于触发器的存在。例如,动作响应模块3310可执行控制,以减速和/或停止车辆200。例如,动作响应模块3310可执行制动轮廓,以减速和/或停止车辆200。动作响应模块3310可基于制动轮廓的数目并且基于例如环境因素、被检测触发器的类型和车辆200的速度来确定执行多个制动轮廓中的一个。为了基于被检测触发器将车辆200导航至停止,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量。
图34图示了与公开的实施方式相一致的用于导航车辆200的过程3400。过程3000可识别用于停止车辆200的触发器(例如,对象、车辆、交通灯、交通标志,等等)并且响应于触发器的检测来执行制动轮廓。过程3400可检测各种类型的触发器,以确定执行多个制动轮廓中的哪一个。
制动轮廓可基于被检测触发器的类型和/或与被检测触发器相关的其它环境条件(例如,距对象的距离)。例如,在一些实施方式中,制动轮廓可包括多个区段(例如,三个区段)。在三区段制动轮廓中,制动轮廓的第一区段可与第一减速率关联,制动轮廓的第二区段可包括小于第一减速率的第二减速率,并且制动轮廓的第三区段可包括在接近目标停止地点时致使制动水平降低,这基于对由图像捕获装置122-126中的一个或多个获取的多个图像的分析来确定。例如,在一些实施方式中,第一区段可致使车辆200逐步增加减速度,第二区段可致使车辆200恒速减速,并且第三区段可致使车辆200将其减速率逐步降低至零(或附近零)。
在步骤3410,过程3400可使用图像捕获装置122-126中的至少一个来获取车辆200附近区域的多个图像。例如,处理单元110可经由数据接口128接收多个图像。处理单元110可构造成基于获取的图像来确定存在一个或多个对象和/或位于道路3210之上或附近的标志。例如,处理单元110可构造成确定对象3220、交通灯3230和/或交通标志3240的存在。处理单元110可进一步构造成读取交通标志3240的内容。例如,处理单元110可构造成在限速标志与停止标志之间进行区分。进一步,处理单元110可构造成基于交通标志3240来处理图像以确定限速。
在步骤3420,过程300可包括用于停止车辆200的触发器。例如,处理单元110可基于对象3220在车辆200附近区域内的存在来识别触发器。另外地或替代地,处理单元110可基于交通灯3230的当前信号状态来识别触发器。根据一些实施方式,如果不是绿灯,则处理单元110可确定交通灯3230构成触发器。根据一些实施方式,例如,如果交通标志3240是停止标志,则处理单元110可确定交通标志3240构成触发器。在一些实施方式中,如果交通标志3240是限速标志并且车辆200超过限速,则交通标志3240可构成触发器。进一步在一些实施方式中,处理单元110可致使系统100提供语音通知,识别触发器和/或指示车辆200正制动或正要开始制动。
在处理单元110识别触发器之后,在步骤3430,处理单元110可根据制动轮廓来致使车辆200减速和/或停止。在一些实施方式中,制动轮廓可包括一定数目的轮廓区段。制动轮廓的不同轮廓区段可由时间周期和/或车辆速度限定。例如,处理单元110可依据持续预定时间段或直到车辆200的速度到达目标值的第一轮廓区段来执行车辆200的控制。目标值可以是预定速度,或者可以是车辆200过去在执行制动轮廓之前的行进的速度的百分比。为了实施制动轮廓,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。
如上面讨论的,根据一些实施方式,制动轮廓的轮廓区段可对应于减速率。例如,制动轮廓可包括多个区段,并且第一区段可与第一减速率关联。制动轮廓可进一步包括与第二减速率关联的第二区段。第二减速率可小于第一减速率。
进一步,如上面讨论的,根据一些实施方式,制动轮廓可包括第三轮廓区段,其中制动水平的降低是车辆200与产生触发器的潜在因素(例如,对象3220、交通灯3230、交通标志3240)之间的距离的函数。例如,制动轮廓可包括在车辆200接近目标停止地点3250时降低制动水平。进一步,到达目标停止地点3250可伴随着车辆200的制动压力的释放。
出于图示的目的,前面的描述已呈现。并非穷尽且并不限于公开的具体形式或实施方式。考虑到说明书和公开的实施方式的实践,修改和改写对本领域技术人员将是明显的。另外,虽然公开的实施方式的各方面描述为存储在存储器中,但是本领域技术人员将了解到,这些方面也可以存储在其它类型的诸如二级存储装置的计算机可读介质上,例如,硬盘或CD ROM,或其它形式的RAM或ROM、USB介质、DVD、蓝光或其它光驱介质。
基于书面描述和公开方法的计算机程序在有经验的开发人员的技术内。各种程序或程序模块可以使用本领域技术人员公知的任何技术来创建或者可以结合现有软件设计。例如,程序段或程序模块可以设计或借助.Net Framework、.Net Compact Framework(及相关语言,诸如Visual Basic、C,等等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包括Java小程序的HTML。
而且,虽然说明性实施方式已在本文中描述,具有等同元件、修改、省略、组合(例如,跨各实施方式的方面)、改写和/或变更的任何及所有实施方式的范围将基于本公开被本领域技术人员了解。权利要求书中的限制应解译宽泛地基于权利要求书中采用的语言,并不限于本说明书或本申请审查期间描述的示例。示例应被解释为非排他性的。此外,公开方法中的步骤能以任何方式修改,包括重新排序各步骤和/或插入或删除步骤。因此,预期说明书和示例考虑为仅是说明性的,真正的范围和精神由以下权利要求书及其完整的等同范围指示。

Claims (26)

1.一种用于主车辆的驾驶员辅助导航系统,所述系统包括:
至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取所述主车辆的附近区域的多个图像;
数据接口;以及
至少一个处理装置,所述至少一个处理装置被构造成:
经由所述数据接口接收所述多个图像;
根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧的第一车道约束;
根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;
致使所述主车辆在所述第一车道约束和第二车道约束内行进;
在所述多个图像中定位前车;
基于所述多个图像来确定所述前车采取的至少一个动作;以及
致使所述主车辆模仿所述前车的所述至少一个动作,
其中,所述前车采取的所述至少一个动作包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于在所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。
2.根据权利要求1所述的系统,其中,所述第一车道约束和第二车道约束中的至少一者包括标记在路面上的线。
3.根据权利要求1所述的系统,其中,所述第一车道约束和第二车道约束中的至少一者包括路面的路边。
4.根据权利要求1所述的系统,其中,所述第一车道约束和第二车道约束中的至少一者包括路面宽度的确定的中点。
5.根据权利要求1所述的系统,其中,所述前车采取的所述至少一个动作包括转弯,并且所述至少一个处理装置致使所述主车辆执行在所述前车启动其转弯的地点处开始的类似转弯。
6.根据权利要求1所述的系统,其中,所述前车采取的所述至少一个动作包括加速。
7.根据权利要求1所述的系统,其中,所述前车采取的所述至少一个动作包括制动。
8.根据权利要求1所述的系统,其中,所述至少一个处理装置被进一步构造成:
基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯;以及
如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。
9.根据权利要求1所述的系统,其中,所述至少一个处理装置被进一步构造成:
基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯;
确定所述前车是否在所述路口内变道;
如果确定所述前车是在路口处转弯并且在所述路口内不变道,则模仿所述前车的所述转弯;以及
如果确定所述前车是在路口处转弯但在所述路口内变道,则拒绝模仿所述前车的所述转弯。
10.根据权利要求1所述的系统,其中,所述至少一个处理装置被进一步构造成:
基于所述多个图像来获取第一前车;
基于所述多个图像来获取第二前车;以及
如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。
11.根据权利要求1所述的系统,其中,所述至少一个处理装置被进一步构造成:
确定所述前车的位置信息并且将所述位置信息与预定地图数据比较;
通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史;以及
基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。
12.根据权利要求11所述的系统,其中,所述至少一个处理装置被构造成:
当所述导航历史指示所述前车已成功导航了至少一个先前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。
13.根据权利要求1所述的系统,其中,致使所述主车辆模仿所述前车的所述至少一个动作(i)包括调整表示用于所述主车辆的一组路径点的多项式的系数并且(ii)是在与所述主车辆和所述前车相关的约束内。
14.一种主车辆,所述主车辆包括:
主体;
至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取所述主车辆的附近区域的多个图像;
数据接口;以及
至少一个处理装置,所述至少一个处理装置被构造成:
经由所述数据接口接收所述多个图像;
根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧的第一车道约束;
根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;
致使所述主车辆在所述第一车道约束和第二车道约束内行进;
在所述多个图像中定位前车;
基于所述多个图像来确定所述前车采取的至少一个动作;以及
致使所述主车辆模仿所述前车的所述至少一个动作,
其中,所述前车采取的所述至少一个动作包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于在所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。
15.根据权利要求14所述的主车辆,其中,所述第一车道约束和第二车道约束中的至少一者包括标记在路面上的线。
16.根据权利要求14所述的主车辆,其中,所述第一车道约束和第二车道约束中的至少一者包括路面的路边。
17.根据权利要求14所述的主车辆,其中,所述第一车道约束和第二车道约束中的至少一者包括路面宽度的确定的中点。
18.根据权利要求14所述的主车辆,其中,所述前车采取的所述至少一个动作包括转弯,并且所述至少一个处理装置致使所述主车辆执行在所述前车启动其转弯的地点处开始的类似转弯。
19.根据权利要求14所述的主车辆,其中,所述前车采取的所述至少一个动作包括加速。
20.根据权利要求14所述的主车辆,其中,所述前车采取的所述至少一个动作包括制动。
21.根据权利要求14所述的主车辆,其中,将所述至少一个处理装置进一步构造成:
基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯;以及
如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。
22.根据权利要求14所述的主车辆,其中,将所述至少一个处理装置进一步构造成:
基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯;
确定所述前车是否在所述路口内变道;
如果确定所述前车是在路口处转弯并且在所述路口内不变道,则模仿所述前车的所述转弯;以及
如果确定所述前车是在路口处转弯但在所述路口内变道,则拒绝模仿所述前车的所述转弯。
23.根据权利要求14所述的主车辆,其中,将所述至少一个处理装置进一步构造成:
基于所述多个图像来获取第一前车;
基于所述多个图像来获取第二前车;以及
如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。
24.根据权利要求14所述的主车辆,其中,将所述至少一个处理装置进一步构造成:
确定所述前车的位置信息并且将所述位置信息与预定地图数据比较;
通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史;以及
基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。
25.根据权利要求24所述的主车辆,其中,将所述至少一个处理装置构造成:
当所述导航历史指示所述前车已成功导航了至少一个先前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。
26.一种用于导航主车辆的方法,所述方法包括:
使用至少一个图像捕获装置来获取所述主车辆的附近区域的多个图像;
根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧的第一车道约束;
根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;
致使所述主车辆在所述第一车道约束和第二车道约束内行进;
在所述多个图像中定位前车;
基于所述多个图像来确定所述前车采取的至少一个动作;以及
致使所述主车辆模仿所述前车的所述至少一个动作,
其中,所述前车采取的所述至少一个动作包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于在所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。
CN201480074153.9A 2013-12-04 2014-12-04 用于模仿前车的系统和方法 Active CN106030609B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911163613.6A CN111027420B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法
CN201911164109.8A CN110920609B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201361911490P 2013-12-04 2013-12-04
US61/911,490 2013-12-04
US201461993111P 2014-05-14 2014-05-14
US201461993084P 2014-05-14 2014-05-14
US61/993,111 2014-05-14
US61/993,084 2014-05-14
US201462015524P 2014-06-23 2014-06-23
US62/015,524 2014-06-23
US201462022221P 2014-07-09 2014-07-09
US62/022,221 2014-07-09
US201462040224P 2014-08-21 2014-08-21
US201462040269P 2014-08-21 2014-08-21
US62/040,224 2014-08-21
US62/040,269 2014-08-21
PCT/IB2014/003151 WO2015083009A1 (en) 2013-12-04 2014-12-04 Systems and methods for mimicking a leading vehicle

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201911163613.6A Division CN111027420B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法
CN201911164109.8A Division CN110920609B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法

Publications (2)

Publication Number Publication Date
CN106030609A CN106030609A (zh) 2016-10-12
CN106030609B true CN106030609B (zh) 2020-07-03

Family

ID=52630407

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201911163613.6A Active CN111027420B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法
CN201911164109.8A Active CN110920609B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法
CN201480074153.9A Active CN106030609B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201911163613.6A Active CN111027420B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法
CN201911164109.8A Active CN110920609B (zh) 2013-12-04 2014-12-04 用于模仿前车的系统和方法

Country Status (4)

Country Link
US (18) US10293826B2 (zh)
EP (9) EP3812962A1 (zh)
CN (3) CN111027420B (zh)
WO (1) WO2015083009A1 (zh)

Families Citing this family (443)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
GB201202878D0 (en) * 2012-02-20 2012-04-04 Jaguar Cars Improvements in vehicle autonomous cruise control
WO2014027069A1 (en) * 2012-08-16 2014-02-20 Jaguar Land Rover Limited System and method for controlling vehcile speed to enhance occupant comfort
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US10657808B2 (en) * 2013-03-15 2020-05-19 John Lindsay Vehicular communication system
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
KR102133365B1 (ko) * 2013-05-09 2020-07-13 삼성전자 주식회사 정보를 사용자에게 제공하기 위한 전자 장치
DE102013211427B4 (de) * 2013-06-18 2016-10-13 Continental Automotive Gmbh Verfahren und Vorrichtung zur Ermittlung eines Fahrzustands eines externen Kraftfahrzeugs
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
CN107533801A (zh) 2013-11-01 2018-01-02 国际智能技术公司 使用测绘车辆的地图测绘技术
US9352683B2 (en) 2014-03-22 2016-05-31 Ford Global Technologies, Llc Traffic density sensitivity selector
JP6105509B2 (ja) * 2014-04-08 2017-03-29 株式会社日本自動車部品総合研究所 走路推定装置及び走路推定プログラム
DE102014207628A1 (de) * 2014-04-23 2015-10-29 Continental Teves Ag & Co. Ohg Verfahren zur Ermittlung eines Offsets eines Inertialsensors
US20150316386A1 (en) * 2014-04-30 2015-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Detailed map format for autonomous driving
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
EP3154835A1 (en) 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
US10452934B1 (en) 2014-06-13 2019-10-22 B/E Aerospace, Inc. Apparatus and method for providing attitude reference for vehicle passengers
US9848112B2 (en) * 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9707960B2 (en) * 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
WO2016027270A1 (en) 2014-08-18 2016-02-25 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints and construction areas in navigation
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
JP6488594B2 (ja) * 2014-09-02 2019-03-27 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP6423212B2 (ja) * 2014-09-12 2018-11-14 株式会社ゼンリン 運転支援システム、データ構造
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
JP6285838B2 (ja) * 2014-09-29 2018-02-28 日立建機株式会社 作業車両の移動制御装置及び作業車両
JP6396742B2 (ja) * 2014-09-30 2018-09-26 本田技研工業株式会社 車両用運転操作誘導制御システム
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9881349B1 (en) * 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US9463804B2 (en) * 2014-11-11 2016-10-11 Ford Global Tehnologies, LLC Vehicle cornering modes
KR102263725B1 (ko) * 2014-11-21 2021-06-11 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US9656805B1 (en) 2014-12-12 2017-05-23 Amazon Technologies, Inc. Mobile base utilizing transportation units for receiving items
US9928474B1 (en) 2014-12-12 2018-03-27 Amazon Technologies, Inc. Mobile base utilizing transportation units for delivering items
US10088322B2 (en) * 2014-12-16 2018-10-02 Ford Global Technologies, Llc Traffic control device detection
US9562779B2 (en) * 2014-12-23 2017-02-07 Here Global B.V. Method and apparatus for providing a steering reliability map based on driven curvatures and geometry curvature
JP6363516B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 車両の走行制御装置
KR101724299B1 (ko) * 2015-02-04 2017-04-07 엘지전자 주식회사 트리플 카메라
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
DE102015203270A1 (de) * 2015-02-24 2016-08-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anpassen einer Fahrzeuggeschwindigkeit für ein Fahrzeug
US9809305B2 (en) 2015-03-02 2017-11-07 Amazon Technologies, Inc. Landing of unmanned aerial vehicles on transportation vehicles for transport
US9701305B2 (en) * 2015-03-10 2017-07-11 GM Global Technology Operations LLC Automatic valet parking
DE102015004478A1 (de) * 2015-04-07 2016-10-13 Lucas Automotive Gmbh Steuerungs-System und Verfahren zum Ermöglichen eines Einscherens eines anderen Kraftfahrzeugs aus einer Nachbarspur im ACC-Betrieb des eigenen Kraftfahrzeugs
JP6412460B2 (ja) * 2015-04-14 2018-10-24 株式会社Soken 走行路推定装置
US9650043B2 (en) * 2015-04-30 2017-05-16 GM Global Technology Operations LLC Real-time anticipatory speed control
DE102015208590A1 (de) * 2015-05-08 2016-11-10 Conti Temic Microelectronic Gmbh Vorrichtung zur bestimmung eines für ein fahrzeug befahrbaren raums, entsprechendes verfahren und fahrzeug
US9898671B2 (en) 2015-05-11 2018-02-20 Magna Electronics Inc. Vehicle vision system with structure and motion estimation
WO2016186319A1 (ko) * 2015-05-19 2016-11-24 엘지전자 주식회사 차량 운전 보조 장치 및 차량
JP6396850B2 (ja) * 2015-05-29 2018-09-26 株式会社デンソー 運転支援装置及び運転支援方法
EP3106369B1 (en) * 2015-06-16 2018-12-12 Volvo Car Corporation Method and system for safe steering assistance in a vehicle
US20170010619A1 (en) * 2015-07-08 2017-01-12 Cnh Industrial America Llc Automation kit for an agricultural vehicle
JP6226919B2 (ja) * 2015-07-10 2017-11-08 本田技研工業株式会社 緊急時車両制御装置
JP6126171B2 (ja) * 2015-07-10 2017-05-10 本田技研工業株式会社 緊急時車両制御装置
JP6226920B2 (ja) * 2015-07-10 2017-11-08 本田技研工業株式会社 緊急時車両制御装置
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US20170057545A1 (en) * 2015-08-26 2017-03-02 Delphi Technologies, Inc. Gps data correction for automated vehicle
JP6027659B1 (ja) * 2015-08-27 2016-11-16 富士重工業株式会社 車両の走行制御装置
JP6626293B2 (ja) * 2015-09-02 2019-12-25 株式会社Subaru 車両の運転支援装置
JP6231526B2 (ja) * 2015-09-07 2017-11-15 本田技研工業株式会社 走行制御装置
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
ITUB20153491A1 (it) * 2015-09-08 2017-03-08 Pitom S N C Metodo e sistema per rilevare la presenza di un individuo in prossimita di un veicolo industriale
US10053001B1 (en) * 2015-09-24 2018-08-21 Apple Inc. System and method for visual communication of an operational status
US10810444B2 (en) * 2015-09-25 2020-10-20 Apple Inc. Automated capture of image data for points of interest
TWI663466B (zh) * 2015-09-25 2019-06-21 佳能企業股份有限公司 攝像裝置及其操作方法
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9487212B1 (en) * 2015-10-09 2016-11-08 GM Global Technology Operations LLC Method and system for controlling vehicle with automated driving system
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
US9598076B1 (en) * 2015-10-22 2017-03-21 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
US9789822B2 (en) * 2015-10-22 2017-10-17 Feniex Industries, Inc. Mirror controller unit for emergency vehicle warning devices
US11212654B2 (en) * 2015-11-04 2021-12-28 Honda Motor Co., Ltd. Coordinated driving through driver-to-driver V2X communication
JP6198181B2 (ja) * 2015-11-06 2017-09-20 マツダ株式会社 車両用挙動制御装置
US10532736B2 (en) * 2015-11-06 2020-01-14 Honda Motor Co., Ltd. Vehicle travel control device
US9547986B1 (en) * 2015-11-19 2017-01-17 Amazon Technologies, Inc. Lane assignments for autonomous vehicles
US9771071B2 (en) * 2015-11-19 2017-09-26 Ford Global Technologies, Llc Dynamic lane positioning for improved biker safety
DE102016205433A1 (de) * 2015-11-25 2017-06-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
WO2017089136A1 (de) * 2015-11-25 2017-06-01 Volkswagen Aktiengesellschaft Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
US10227017B2 (en) * 2015-11-30 2019-03-12 Faraday & Future Inc. Camera-based vehicle position determination with known target
US10152882B2 (en) * 2015-11-30 2018-12-11 Nissan North America, Inc. Host vehicle operation using remote vehicle intention prediction
US10108197B2 (en) 2015-12-08 2018-10-23 Ford Global Technologies, Llc Deceleration determination of a vehicle
US10202144B2 (en) * 2015-12-08 2019-02-12 Ford Global Technologies, Llc Vehicle curvature determination
KR101782362B1 (ko) * 2015-12-14 2017-10-13 현대자동차주식회사 차량, 및 그 제어방법
US9878711B2 (en) * 2015-12-14 2018-01-30 Honda Motor Co., Ltd. Method and system for lane detection and validation
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
GB2545900B (en) * 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
CN105588545A (zh) * 2015-12-31 2016-05-18 歌尔科技有限公司 一种多目标定位方法和系统
US10322717B2 (en) * 2016-01-04 2019-06-18 GM Global Technology Operations LLC Expert mode for vehicles
EP3400419A2 (en) 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
EP3196861B1 (de) * 2016-01-19 2023-08-02 Continental Autonomous Mobility Germany GmbH Verfahren und vorrichtung zur unterstützung eines fahrspurwechsels bei einem fahrzeug
JP6330825B2 (ja) * 2016-01-26 2018-05-30 トヨタ自動車株式会社 車両用衝突回避支援システム
JP2017134520A (ja) * 2016-01-26 2017-08-03 トヨタ自動車株式会社 車両用衝突回避支援システム
JP6361666B2 (ja) 2016-01-26 2018-07-25 トヨタ自動車株式会社 車両用衝突回避支援システム
JP6659379B2 (ja) * 2016-01-28 2020-03-04 日立オートモティブシステムズ株式会社 道路情報認識システム及び道路情報認識方法
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
KR20170098488A (ko) * 2016-02-22 2017-08-30 주식회사 만도 운전지원장치 및 운전지원방법
JP6623082B2 (ja) * 2016-02-29 2019-12-18 日立オートモティブシステムズ株式会社 車両制御装置
US20170267232A1 (en) * 2016-03-15 2017-09-21 GM Global Technology Operations LLC Systems and methods for holistic vehicle control with integrated slip control
US10553122B1 (en) 2016-03-22 2020-02-04 Amazon Technologies, Inc. Unmanned aerial vehicle data collection for routing
US9857795B2 (en) 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
JP6508118B2 (ja) * 2016-04-26 2019-05-08 トヨタ自動車株式会社 車両走行制御装置
US9886841B1 (en) 2016-04-27 2018-02-06 State Farm Mutual Automobile Insurance Company Systems and methods for reconstruction of a vehicular crash
KR101795250B1 (ko) * 2016-05-03 2017-11-07 현대자동차주식회사 자율주행차량의 주행경로 계획장치 및 방법
DE102016208000A1 (de) 2016-05-10 2017-11-16 Volkswagen Aktiengesellschaft Kraftfahrzeug-Steuervorrichtung und Verfahren zum Betreiben der Steuervorrichtung zum autonomen Führen eines Kraftfahrzeugs
CN106052703B (zh) * 2016-05-26 2019-01-25 恒大法拉第未来智能汽车(广东)有限公司 判断车辆跟踪状况的方法及系统
DE102016209678B4 (de) * 2016-06-02 2024-01-25 Ford Global Technologies, Llc Verfahren zum Betreiben eines Kraftfahrzeugs, Kraftfahrzeug und System zum Verarbeiten von Daten zu auf ein Kraftfahrzeug einwirkenden Seitenwindlasten
JP6340037B2 (ja) * 2016-06-07 2018-06-06 株式会社Subaru 車両の走行制御装置
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
US10137897B2 (en) 2016-06-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methodologies for modifying a vehicle operating profile
EP3611472B1 (en) 2016-06-27 2021-11-24 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected parked vehicle characteristics
US10104496B2 (en) * 2016-07-01 2018-10-16 Laird Technologies, Inc. Telematics devices and systems
DE102016212702A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern zumindest eines Fahrparameters eines Fahrzeugs während einer Fahrt
US10838426B2 (en) * 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
WO2018015811A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US10216188B2 (en) 2016-07-25 2019-02-26 Amazon Technologies, Inc. Autonomous ground vehicles based at delivery locations
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
CN107672584B (zh) 2016-07-29 2022-05-03 福特环球技术公司 超车车道控制的系统和方法
US10126722B2 (en) 2016-08-01 2018-11-13 Qualcomm Incorporated System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning
CA3033164C (en) * 2016-08-08 2020-03-24 Nissan Motor Co., Ltd. Control method and control device of automatic driving vehicle
RU2704053C1 (ru) * 2016-08-09 2019-10-23 Ниссан Мотор Ко., Лтд. Способ управления (варианты) и устройство управления для автоматически управляемого транспортного средства
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10068485B2 (en) 2016-08-15 2018-09-04 Ford Global Technologies, Llc Platooning autonomous vehicle navigation sensory exchange
US20200207414A1 (en) * 2016-08-17 2020-07-02 Kennesaw State University Research And Services Foundation, Inc. Vehicle with Non-Physically Coupled Sections
US10543852B2 (en) * 2016-08-20 2020-01-28 Toyota Motor Engineering & Manufacturing North America, Inc. Environmental driver comfort feedback for autonomous vehicle
JP6294924B2 (ja) * 2016-09-05 2018-03-14 株式会社Subaru 車両の走行制御装置
US10248120B1 (en) 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
JP6577926B2 (ja) * 2016-09-26 2019-09-18 本田技研工業株式会社 走行支援装置及び走行支援方法
US10303171B1 (en) 2016-09-29 2019-05-28 Amazon Technologies, Inc. Autonomous ground vehicles providing ordered items in pickup areas
US10241516B1 (en) 2016-09-29 2019-03-26 Amazon Technologies, Inc. Autonomous ground vehicles deployed from facilities
US10245993B1 (en) 2016-09-29 2019-04-02 Amazon Technologies, Inc. Modular autonomous ground vehicles
US10222798B1 (en) 2016-09-29 2019-03-05 Amazon Technologies, Inc. Autonomous ground vehicles congregating in meeting areas
KR20190062390A (ko) * 2016-10-11 2019-06-05 모빌아이 비젼 테크놀로지스 엘티디. 검출된 배리어에 기반한 차량의 항법
JP6663835B2 (ja) * 2016-10-12 2020-03-13 本田技研工業株式会社 車両制御装置
US10635117B2 (en) 2016-10-25 2020-04-28 International Business Machines Corporation Traffic navigation for a lead vehicle and associated following vehicles
EP3532801B1 (en) * 2016-10-31 2020-12-16 Mobileye Vision Technologies Ltd. Systems and methods for navigating lane merges and lane splits
US10233021B1 (en) 2016-11-02 2019-03-19 Amazon Technologies, Inc. Autonomous vehicles for delivery and safety
WO2018088957A1 (en) * 2016-11-08 2018-05-17 Choo Siong Lim Mounting assembly for door or window and door or window assembly employing same
US10514690B1 (en) 2016-11-15 2019-12-24 Amazon Technologies, Inc. Cooperative autonomous aerial and ground vehicles for item delivery
WO2018098161A1 (en) * 2016-11-22 2018-05-31 Dispatch, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
US10196058B2 (en) 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection
US20180148007A1 (en) * 2016-11-30 2018-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting one or more vehicle settings
US9932038B1 (en) * 2016-11-30 2018-04-03 Baidu Usa Llc Speed control for a full stop of an autonomous driving vehicle
US10629079B2 (en) * 2016-12-05 2020-04-21 Ford Global Technologies, Llc Vehicle collision avoidance
US11263579B1 (en) 2016-12-05 2022-03-01 Amazon Technologies, Inc. Autonomous vehicle networks
JP6677822B2 (ja) * 2016-12-07 2020-04-08 本田技研工業株式会社 車両制御装置
US11155260B1 (en) * 2016-12-09 2021-10-26 United Services Automobile Association (Usaa) Autonomous vehicle entity vector-based situational awareness scoring matrix
CN107097794B (zh) * 2016-12-15 2020-04-21 财团法人车辆研究测试中心 道路车道线的侦测系统及其方法
US10261513B2 (en) 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
US10435023B2 (en) * 2016-12-19 2019-10-08 Continental Automotive Systems, Inc. Predictive powertrain limits strategy for autonomous/automated driving vehicle
KR20180071663A (ko) * 2016-12-20 2018-06-28 현대자동차주식회사 차량 및 그 제어방법
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术(北京)有限公司 无人车驾驶状态的识别装置、识别方法及无人车
US10310500B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Automated access to secure facilities using autonomous vehicles
US10308430B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distribution and retrieval of inventory and materials using autonomous vehicles
US10310499B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distributed production of items from locally sourced materials using autonomous vehicles
IL288191B2 (en) 2016-12-23 2023-10-01 Mobileye Vision Technologies Ltd A navigation system with forced commitment constraints
KR102281653B1 (ko) 2017-01-09 2021-07-29 현대자동차주식회사 차량 및 그 제어 방법
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
US10232849B2 (en) * 2017-01-23 2019-03-19 Ford Global Technologies, Llc Collision mitigation and avoidance
WO2018140889A1 (en) * 2017-01-27 2018-08-02 Traxxas Lp Drag braking electronic speed control for a model vehicle
US10220850B2 (en) * 2017-01-30 2019-03-05 GM Global Technology Operations LLC Vehicle propulsion systems and methods
JP6711294B2 (ja) * 2017-02-03 2020-06-17 トヨタ自動車株式会社 運転支援装置
US10654476B2 (en) * 2017-02-10 2020-05-19 Nissan North America, Inc. Autonomous vehicle operational management control
MX2019009395A (es) 2017-02-10 2019-12-05 Nissan North America Inc Monitoreo del bloqueo de la administracion operacional de vehiculos autonomos.
WO2018147874A1 (en) 2017-02-10 2018-08-16 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable markov decision process model instance
JP6867184B2 (ja) * 2017-02-13 2021-04-28 トヨタ自動車株式会社 運転支援装置
JP7235247B2 (ja) * 2017-03-01 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 不確実性を検知しながらナビゲートするためのシステム及び方法
KR102309420B1 (ko) * 2017-03-03 2021-10-07 현대자동차주식회사 차량 및 그 제어방법
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10379538B1 (en) * 2017-03-20 2019-08-13 Zoox, Inc. Trajectory generation using motion primitives
US10061322B1 (en) * 2017-04-06 2018-08-28 GM Global Technology Operations LLC Systems and methods for determining the lighting state of a vehicle
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
DE102017206343A1 (de) * 2017-04-12 2018-10-18 Robert Bosch Gmbh Verfahren zum Ermitteln von Daten eines Verkehrsszenarios
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
JP6589941B2 (ja) * 2017-06-06 2019-10-16 トヨタ自動車株式会社 操舵支援装置
JP2019003234A (ja) * 2017-06-09 2019-01-10 トヨタ自動車株式会社 運転支援装置
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
DE102017210070A1 (de) * 2017-06-14 2018-12-20 Robert Bosch Gmbh Verfahren zum Erstellen einer digitalen Karte für ein automatisiertes Fahrzeug
US10551842B2 (en) * 2017-06-19 2020-02-04 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
US10683002B2 (en) 2017-06-27 2020-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Efficient acceleration from surrounding vehicles
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
CN109213134B (zh) * 2017-07-03 2020-04-28 百度在线网络技术(北京)有限公司 生成自动驾驶策略的方法和装置
US10331134B2 (en) * 2017-07-14 2019-06-25 Uber Technologies, Inc. Supervised movement of autonomous vehicle
DE102017006835A1 (de) * 2017-07-19 2019-01-24 Trw Automotive Gmbh Steuerungssystem, Verfahren und Kraftfahrzeug zum Berechnen einer Kraftfahrzeugs-Trajektorie
JP6658691B2 (ja) * 2017-07-26 2020-03-04 トヨタ自動車株式会社 走行支援装置
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
JP6904849B2 (ja) * 2017-08-14 2021-07-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム。
CN107512271A (zh) * 2017-08-15 2017-12-26 广州智网联运物流有限公司 穿梭机自动行驶控制系统及其控制方法
US10261514B2 (en) * 2017-08-16 2019-04-16 Uber Technologies, Inc. Systems and methods for communicating autonomous vehicle scenario evaluation and intended vehicle actions
US11430071B2 (en) 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
JP6944308B2 (ja) * 2017-08-18 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御システム、および制御方法
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
DE102017214666A1 (de) * 2017-08-22 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Schätzen einer Eigenbewegung eines Fahrzeugs
US10654453B2 (en) * 2017-08-23 2020-05-19 Uatc Llc Systems and methods for low-latency braking action for an autonomous vehicle
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
WO2019038918A1 (ja) 2017-08-25 2019-02-28 本田技研工業株式会社 走行制御装置、および車両
US10429846B2 (en) * 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
JP6638178B2 (ja) * 2017-08-29 2020-01-29 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US11222299B1 (en) 2017-08-31 2022-01-11 Amazon Technologies, Inc. Indoor deliveries by autonomous vehicles
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US11472404B2 (en) * 2017-09-01 2022-10-18 Murakami Corporation Collision prediction device, collision prediction method, and program
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
JP6617126B2 (ja) * 2017-09-15 2019-12-11 本田技研工業株式会社 走行制御システムおよび車両の制御方法
WO2019051834A1 (en) 2017-09-18 2019-03-21 Baidu.Com Times Technology (Beijing) Co., Ltd. DRIVING GUIDELINES BASED ON DRIVING SCENARIOS FOR PLANNING SELF-CONTAINED VEHICLE TRACKS
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10387736B2 (en) 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10571923B2 (en) * 2017-09-20 2020-02-25 Tata Consultancy Services Limited System and method for steering control during autonomous vehicle driving
JP6822365B2 (ja) * 2017-09-28 2021-01-27 トヨタ自動車株式会社 車両運転支援装置
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
CN112026758B (zh) * 2017-09-30 2021-06-15 上海蔚来汽车有限公司 交通工具前方避撞方法及系统
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
JP7135796B2 (ja) 2018-11-30 2022-09-13 トヨタ自動車株式会社 サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
US10703363B2 (en) * 2017-10-13 2020-07-07 Ford Global Technologies, Llc In-vehicle traffic assist
JP6937218B2 (ja) * 2017-10-19 2021-09-22 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US11052913B2 (en) 2017-10-23 2021-07-06 Uatc, Llc Cargo trailer sensor assembly
KR102070605B1 (ko) * 2017-10-27 2020-03-02 주식회사 만도 주변 상황 판단을 통한 자동 긴급 제동 시스템 및 방법
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US10948912B2 (en) * 2017-10-31 2021-03-16 Passion Mobility Ltd. Automatic following system and method
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US10871628B2 (en) 2017-10-31 2020-12-22 Pony Ai Inc. Camera multi-lens mount for assisted-driving vehicle
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
US10618519B2 (en) * 2017-11-06 2020-04-14 Uatc Llc Systems and methods for autonomous vehicle lane change control
JP6859931B2 (ja) * 2017-11-15 2021-04-14 トヨタ自動車株式会社 自動運転システム
JP6907895B2 (ja) 2017-11-15 2021-07-21 トヨタ自動車株式会社 自動運転システム
CA3094795C (en) * 2017-11-22 2023-10-17 Waymo Llc Using discomfort for speed planning for autonomous vehicles
US10627825B2 (en) 2017-11-22 2020-04-21 Waymo Llc Using discomfort for speed planning in autonomous vehicles
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
WO2019107536A1 (ja) * 2017-11-30 2019-06-06 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
WO2019108213A1 (en) 2017-11-30 2019-06-06 Nissan North America, Inc. Autonomous vehicle operational management scenarios
US11360475B2 (en) * 2017-12-05 2022-06-14 Waymo Llc Real-time lane change selection for autonomous vehicles
JP2019099035A (ja) * 2017-12-06 2019-06-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh モータサイクルの挙動を制御する制御装置及び制御方法
JP2019099034A (ja) * 2017-12-06 2019-06-24 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh モータサイクルの挙動を制御する制御装置及び制御方法
US10509410B2 (en) 2017-12-06 2019-12-17 Zoox, Inc. External control of an autonomous vehicle
US10994418B2 (en) * 2017-12-13 2021-05-04 X Development Llc Dynamically adjusting roadmaps for robots based on sensed environmental data
US11525688B2 (en) 2017-12-15 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus for determining object position
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
DE102017223486A1 (de) * 2017-12-21 2019-06-27 Continental Teves Ag & Co. Ohg Verfahren und System zum Vermeiden von lateralen Kollisionen
WO2020204871A1 (en) 2017-12-22 2020-10-08 Nissan North America, Inc. Shared autonomous vehicle operational management
JP2019111927A (ja) * 2017-12-22 2019-07-11 ダイムラー・アクチェンゲゼルシャフトDaimler AG 車両走行制御装置
US11718303B2 (en) * 2018-01-03 2023-08-08 Toyota Research Institute, Inc. Vehicles and methods for building vehicle profiles based on reactions created by surrounding vehicles
KR102504225B1 (ko) * 2018-01-05 2023-02-27 현대자동차주식회사 3 채널 카메라를 활용한 차간거리 산출 장치 및 방법
EP4283430A3 (en) 2018-01-09 2024-01-24 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
JP7034721B2 (ja) * 2018-01-10 2022-03-14 アルパイン株式会社 無人輸送機の制御装置及び制御方法
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
DE102018200982A1 (de) * 2018-01-23 2019-08-08 Volkswagen Aktiengesellschaft Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug
KR102541561B1 (ko) 2018-02-12 2023-06-08 삼성전자주식회사 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
KR102463722B1 (ko) * 2018-02-20 2022-11-07 현대자동차주식회사 차량의 속도 설정 장치 및 방법
KR102540919B1 (ko) * 2018-02-20 2023-06-07 현대자동차주식회사 차량의 주행 제어 장치 및 방법
US11110941B2 (en) 2018-02-26 2021-09-07 Renault S.A.S. Centralized shared autonomous vehicle operational management
JP6648384B2 (ja) * 2018-02-26 2020-02-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
JP7003735B2 (ja) * 2018-02-28 2022-01-21 トヨタ自動車株式会社 運転支援装置
JP2019159349A (ja) * 2018-03-07 2019-09-19 株式会社リコー 情報処理装置及び移動体
JP2019159479A (ja) * 2018-03-08 2019-09-19 株式会社デンソー 制御装置
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN110316187B (zh) * 2018-03-30 2022-01-07 比亚迪股份有限公司 汽车及其避障控制方法
US20180224860A1 (en) * 2018-04-02 2018-08-09 GM Global Technology Operations LLC Autonomous vehicle movement around stationary vehicles
JP7125214B2 (ja) * 2018-04-03 2022-08-24 モービルアイ ビジョン テクノロジーズ リミテッド プログラムおよびコンピューティングデバイス
WO2019204053A1 (en) * 2018-04-05 2019-10-24 TuSimple System and method for automated lane change control for autonomous vehicles
CN110356401B (zh) * 2018-04-05 2020-06-16 北京图森未来科技有限公司 一种自动驾驶车辆及其变道控制方法和系统
US10895468B2 (en) 2018-04-10 2021-01-19 Toyota Jidosha Kabushiki Kaisha Dynamic lane-level vehicle navigation with lane group identification
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
CN112384760A (zh) * 2018-05-15 2021-02-19 御眼视觉技术有限公司 用于自主车辆导航的系统和方法
US10739455B2 (en) * 2018-05-24 2020-08-11 GM Global Technology Operations LLC Method and apparatus for acquiring depth information using cameras from different vehicles
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
CN112204633B (zh) 2018-05-31 2021-11-09 北美日产公司 概率性对象跟踪和预测框架
US10564643B2 (en) 2018-05-31 2020-02-18 Nissan North America, Inc. Time-warping for autonomous driving simulation
US10569773B2 (en) * 2018-05-31 2020-02-25 Nissan North America, Inc. Predicting behaviors of oncoming vehicles
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
US10745011B2 (en) 2018-05-31 2020-08-18 Nissan North America, Inc. Predicting yield behaviors
JP6694472B2 (ja) * 2018-06-07 2020-05-13 本田技研工業株式会社 車両の追従制御装置
TW202001672A (zh) * 2018-06-26 2020-01-01 大陸商上海蔚蘭動力科技有限公司 行車輔助系統及行車輔助系統的操作方法
US20200001779A1 (en) 2018-06-27 2020-01-02 drive.ai Inc. Method for communicating intent of an autonomous vehicle
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
WO2020002962A1 (ja) * 2018-06-29 2020-01-02 日産自動車株式会社 走行支援方法及び車両制御装置
CN108583432B (zh) * 2018-07-05 2023-11-07 广东机电职业技术学院 一种基于图像识别技术的智能a柱盲区预警装置与方法
JP7004075B2 (ja) * 2018-07-06 2022-01-21 日産自動車株式会社 走行支援方法および走行支援装置
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
DE102018212916A1 (de) * 2018-08-02 2020-02-06 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Verlaufs einer Fahrspur
WO2020035728A2 (en) 2018-08-14 2020-02-20 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10824155B2 (en) * 2018-08-22 2020-11-03 Ford Global Technologies, Llc Predicting movement intent of objects
US10703373B2 (en) * 2018-08-24 2020-07-07 Ford Global Technologies, Llc Vehicle velocity control
JP7107095B2 (ja) * 2018-08-28 2022-07-27 トヨタ自動車株式会社 自動運転システム
RU2767216C1 (ru) 2018-09-07 2022-03-16 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и аппаратура управления движением транспортного средства
CN112638749B (zh) * 2018-09-07 2023-03-24 日产自动车株式会社 车辆的行驶控制方法及行驶控制装置
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
US11292480B2 (en) 2018-09-13 2022-04-05 Tusimple, Inc. Remote safe driving methods and systems
US10793150B2 (en) * 2018-09-14 2020-10-06 Wipro Limited Method and device for controlling vehicle based on neighboring vehicles
JP7169831B2 (ja) * 2018-09-27 2022-11-11 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
JP2020050221A (ja) * 2018-09-28 2020-04-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
DE102018124161A1 (de) * 2018-10-01 2020-04-02 Daimler Ag Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs auf einer Fahrbahn
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
US10816987B2 (en) * 2018-10-15 2020-10-27 Zoox, Inc. Responsive vehicle control
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US11904863B2 (en) * 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US11590968B2 (en) * 2018-10-31 2023-02-28 Intel Corporation Methods and apparatus to mitigate hard-braking events
EP3647143B1 (en) 2018-11-01 2023-08-16 Zenuity AB Method and arrangement for continous curve speed adjustment for a road vehicle
EP3653459B1 (en) * 2018-11-15 2021-07-14 Volvo Car Corporation Vehicle safe stop
FR3088590B1 (fr) * 2018-11-16 2020-10-23 Psa Automobiles Sa Regulation de la vitesse d’un vehicule, avec prise en compte de la volonte du conducteur dans un virage
TWI686747B (zh) * 2018-11-29 2020-03-01 財團法人金屬工業研究發展中心 移動載具全周障礙迴避之方法
US11392130B1 (en) 2018-12-12 2022-07-19 Amazon Technologies, Inc. Selecting delivery modes and delivery areas using autonomous ground vehicles
TWI687329B (zh) * 2018-12-19 2020-03-11 宏碁股份有限公司 剎車控制方法、剎車系統及車輛
DE102018251774A1 (de) * 2018-12-28 2020-07-02 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
CN113228128B (zh) * 2018-12-28 2022-09-20 日产自动车株式会社 驾驶辅助方法及驾驶辅助装置
JP2020112959A (ja) * 2019-01-10 2020-07-27 株式会社ダイフク 物品搬送装置
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109774710B (zh) * 2019-01-30 2020-12-04 爱驰汽车有限公司 汽车避障的控制方法、装置以及汽车
WO2020160276A1 (en) * 2019-01-30 2020-08-06 Perceptive Automata, Inc. Neural network based navigation of autonomous vehicles through traffic entities
US11117576B2 (en) 2019-02-04 2021-09-14 Denso Corporation Vehicle lane trace control system
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
CN109765902B (zh) 2019-02-22 2022-10-11 阿波罗智能技术(北京)有限公司 无人车驾驶参考线处理方法、装置及车辆
US10719076B1 (en) * 2019-02-25 2020-07-21 Rockwell Collins, Inc. Lead and follower aircraft navigation system
JP7093738B2 (ja) * 2019-03-08 2022-06-30 本田技研工業株式会社 車両制御装置
FR3094318B1 (fr) * 2019-03-28 2021-02-26 Renault Sas Procédé de commande du positionnement d’un véhicule automobile sur une voie de circulation
CN110015297A (zh) * 2019-04-02 2019-07-16 北京海纳川汽车部件股份有限公司 自适应巡航控制方法、装置及自动驾驶车辆
KR20200119068A (ko) * 2019-04-09 2020-10-19 현대자동차주식회사 차량 및 그 제어방법
US11091132B2 (en) 2019-04-12 2021-08-17 Bendix Commercial Vehicle Systems, Llc Delay autonomous braking activation due to potential forward turning vehicle
US10958737B2 (en) 2019-04-29 2021-03-23 Synamedia Limited Systems and methods for distributing content
US11230273B2 (en) * 2019-05-02 2022-01-25 Liebherr Mining Equipment Newport News Co. Method for autonomously controlling a vehicle
EP3969077A1 (en) 2019-05-13 2022-03-23 Starkey Laboratories, Inc. Ear-worn devices for communication with medical devices
CN110126888A (zh) * 2019-05-29 2019-08-16 江苏飞梭智行设备有限公司 一种轨道无人驾驶车辆自主停靠的方法
JP7303667B2 (ja) * 2019-05-31 2023-07-05 株式会社Subaru 自動運転支援装置
EP3747718B1 (en) 2019-06-04 2021-11-03 Zenuity AB Method of adapting tuning parameter settings of a system functionality for road vehicle speed adjustment control
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
US11613254B2 (en) * 2019-06-13 2023-03-28 Baidu Usa Llc Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11637860B2 (en) * 2019-06-17 2023-04-25 At&T Intellectual Property I, L.P. Autonomous vehicle DoS resistant communication system using acoustic communications
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
US11474530B1 (en) 2019-08-15 2022-10-18 Amazon Technologies, Inc. Semantic navigation of autonomous ground vehicles
JP7140077B2 (ja) * 2019-09-02 2022-09-21 トヨタ自動車株式会社 衝突回避支援装置
FR3100515B1 (fr) * 2019-09-05 2021-09-17 Renault Sas Procédé de commande d’un système de régulation d’une distance inter-véhicules
JP7156218B2 (ja) * 2019-09-06 2022-10-19 トヨタ自動車株式会社 運転支援装置
US11479297B2 (en) 2019-09-10 2022-10-25 Ford Global Technologies, Llc Overshoot protection in hitch assist operation
US11614739B2 (en) 2019-09-24 2023-03-28 Apple Inc. Systems and methods for hedging for different gaps in an interaction zone
US10796562B1 (en) 2019-09-26 2020-10-06 Amazon Technologies, Inc. Autonomous home security devices
WO2021061810A1 (en) 2019-09-26 2021-04-01 Amazon Technologies, Inc. Autonomous home security devices
KR20210043225A (ko) * 2019-10-11 2021-04-21 현대자동차주식회사 차로 유지 제어장치 및 그 방법
US11273806B2 (en) * 2019-10-17 2022-03-15 Ford Global Technologies, Llc Enhanced collision mitigation
US11390300B2 (en) * 2019-10-18 2022-07-19 Uatc, Llc Method for using lateral motion to optimize trajectories for autonomous vehicles
US11192547B2 (en) * 2019-11-01 2021-12-07 Aptiv Technologies Limited Adaptive speed control system
US20220379679A1 (en) * 2019-11-04 2022-12-01 ClearMotion, Inc. Vehicle system control based on road feature detection and classification
JP7255460B2 (ja) * 2019-11-15 2023-04-11 トヨタ自動車株式会社 車両制御システム
CN110775056B (zh) * 2019-11-25 2021-10-15 苏州智加科技有限公司 基于雷达探测的车辆行驶方法、装置、终端及介质
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
CN110979346B (zh) * 2019-11-29 2021-08-31 北京百度网讯科技有限公司 确定车辆所处车道的方法、装置及设备
EP3835148B1 (en) * 2019-12-13 2022-09-21 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH System and method for automatically stopping an autonomous vehicle
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US20210197861A1 (en) * 2019-12-27 2021-07-01 Motional Ad Llc Object tracking supporting autonomous vehicle navigation
US11623622B2 (en) * 2019-12-27 2023-04-11 Intel Corporation System and method for emergency braking
US11560131B2 (en) 2020-01-13 2023-01-24 Nio Technology (Anhui) Co., Ltd. Lane prediction and smoothing for extended motion planning horizon
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN113297878B (zh) * 2020-02-21 2023-12-08 百度在线网络技术(北京)有限公司 道路交叉口识别方法、装置、计算机设备和存储介质
US11468774B2 (en) * 2020-03-17 2022-10-11 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11400934B2 (en) 2020-03-17 2022-08-02 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
CN111267852B (zh) * 2020-03-18 2021-06-08 清华大学苏州汽车研究院(相城) 一种车队协同驾驶巡航控制方法
CN111267845A (zh) * 2020-03-31 2020-06-12 东风柳州汽车有限公司 一种卡车转弯风险预估规避方法及系统
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
WO2021208110A1 (zh) * 2020-04-18 2021-10-21 华为技术有限公司 车道线识别异常事件确定方法、车道线识别装置及系统
CN111619564B (zh) * 2020-05-29 2022-06-07 重庆长安汽车股份有限公司 一种车辆自适应巡航车速控制方法、装置、处理器、汽车及计算机可读存储介质
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11823395B2 (en) * 2020-07-02 2023-11-21 Magna Electronics Inc. Vehicular vision system with road contour detection feature
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
KR20220017048A (ko) * 2020-08-03 2022-02-11 현대자동차주식회사 자율 주행 제어 시스템 및 방법
US11597404B2 (en) * 2020-09-23 2023-03-07 Robert D. Fish Traffic signal alarm device
US11840175B2 (en) * 2020-09-23 2023-12-12 Robert D. Fish Traffic signal alarm device having no navigational control
DE102020126672A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion bei Vorliegen eines Widerspruchs mit Kartendaten
DE102020126670A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in unterschiedlichen Modi
DE102020213454A1 (de) 2020-10-26 2022-04-28 Zf Friedrichshafen Ag Verfahren und System zur zeitlichen Kollisionsvermeidung
KR20220056922A (ko) * 2020-10-28 2022-05-09 현대자동차주식회사 자율주행 제어 장치 및 방법
US11948454B2 (en) * 2020-10-30 2024-04-02 Honda Research Institute Europe Gmbh Method and system for enhancing traffic estimation using top view sensor data
JP7248001B2 (ja) * 2020-11-18 2023-03-29 トヨタ自動車株式会社 運転支援装置
CN112463048B (zh) * 2020-11-26 2022-08-30 新华三技术有限公司成都分公司 一种compact处理速度的调整方法、装置、电子设备和介质
CN112650243B (zh) * 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
CN112849160B (zh) * 2021-01-04 2022-10-14 广州小鹏自动驾驶科技有限公司 一种基于自动驾驶的车辆控制的方法和装置
CN112733778B (zh) * 2021-01-18 2021-08-10 国汽智控(北京)科技有限公司 一种车辆前导车确定方法、装置及计算机设备
US11724673B2 (en) 2021-01-26 2023-08-15 Aptiv Technologies Limited Automatic emergency braking using a time-to-collision threshold based on target acceleration
US20220258728A1 (en) * 2021-02-16 2022-08-18 Atieva, Inc. Physical feedback confirmation from assisted-driving system about traffic event
FR3120340B1 (fr) * 2021-03-02 2023-06-09 Psa Automobiles Sa Procédé et dispositif de détermination d’une vitesse réglementaire sur une portion de route pour véhicule
US20220280010A1 (en) * 2021-03-02 2022-09-08 Yujin Robot Co., Ltd. Moving path planning apparatus and method for robot
JP7377826B2 (ja) * 2021-03-09 2023-11-10 本田技研工業株式会社 故障予兆検知システム、自動車、故障予兆検知方法、及びプログラム
CN113096441B (zh) * 2021-03-25 2022-08-05 北京星云互联科技有限公司 一种车辆预警方法、装置、车辆及存储介质
CN113254909B (zh) * 2021-06-04 2021-10-15 宁波均联智行科技股份有限公司 一种车载用户账号登录方法及系统
CN113496213A (zh) * 2021-06-29 2021-10-12 中汽创智科技有限公司 一种目标感知数据的确定方法、装置、系统及存储介质
US11912311B2 (en) * 2021-08-10 2024-02-27 GM Global Technology Operations LLC System and method of detecting and mitigating erratic on-road vehicles
US11926342B2 (en) 2021-08-31 2024-03-12 Motional Ad Llc Autonomous vehicle post-action explanation system
US11760416B2 (en) 2021-09-01 2023-09-19 Bendix Commercial Vehicle Systems Llc Lane detection and alert system
AT525694A1 (de) * 2021-12-06 2023-06-15 Avl List Gmbh Verfahren zur bestimmung der geschwindigkeit und/oder bewegungsrichtung eines fahrzeugs
US20230202473A1 (en) * 2021-12-29 2023-06-29 Mobileye Vision Technologies Ltd. Calculating vehicle speed for a road curve
US20230351772A1 (en) * 2022-04-28 2023-11-02 Perceptive Automata, Inc. Framework for evaluation of machine learning based model used for autonomous vehicle
US11654902B1 (en) 2022-07-29 2023-05-23 Plusai, Inc. Managing lane change threats
CN115719325B (zh) * 2022-12-07 2023-11-17 钧捷科技(北京)有限公司 基于无人驾驶的路况图像处理系统
CN116166033A (zh) * 2023-04-21 2023-05-26 深圳市速腾聚创科技有限公司 车辆避障方法、装置、介质以及电子设备
CN116729384B (zh) * 2023-06-27 2024-01-09 广州小鹏自动驾驶科技有限公司 车道保持状态下的绕行规划方法、装置及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101746363A (zh) * 2008-12-09 2010-06-23 赵继安 智能监控车距及报警自动刹车装置
CN103029621A (zh) * 2011-09-30 2013-04-10 株式会社理光 检测前方车辆的方法及设备
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
CN103465828A (zh) * 2013-05-21 2013-12-25 麦特汽车服务股份有限公司 一种汽车转向预警方法及其车载智能终端装置

Family Cites Families (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
US5189619A (en) 1989-09-05 1993-02-23 Toyota Jidosha Kabushiki Kaisha AI-based adaptive vehicle control system
AU658325B2 (en) 1989-12-11 1995-04-06 Caterpillar Inc. Integrated vehicle positioning and navigation system apparatus and method
JP2987778B2 (ja) 1990-11-30 1999-12-06 アイシン精機株式会社 車両速度制御装置
JP3133770B2 (ja) 1991-01-18 2001-02-13 マツダ株式会社 自動車の走行システム
US5309137A (en) 1991-02-26 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Motor car traveling control device
US5207095A (en) 1991-10-11 1993-05-04 Liberty Mutual Insurance Company Vehicle braking technique evaluation apparatus
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
GB9317983D0 (en) 1993-08-28 1993-10-13 Lucas Ind Plc A driver assistance system for a vehicle
US5661650A (en) 1994-02-23 1997-08-26 Honda Giken Kogyo Kabushiki Kaisha System for controlling a vehicle relative to a judged shape of a travel road
JPH08263793A (ja) * 1995-03-23 1996-10-11 Honda Motor Co Ltd 車両制御装置
US5684697A (en) 1995-06-26 1997-11-04 Mullen; Charles H. Driver emulative vehicle control system
JP3574235B2 (ja) 1995-08-31 2004-10-06 本田技研工業株式会社 車両の操舵力補正装置
US5899289A (en) * 1995-10-31 1999-05-04 Honda Giken Kogyo Kabushiki Kaisha Automatically driven motor vehicle
DE19644975B4 (de) 1995-10-31 2004-07-22 Honda Giken Kogyo K.K. Verfahren zur Beurteilung einer Fahrzeugkollision
FR2743162B1 (fr) 1995-12-27 1998-05-07 Dassault Electronique Dispositif de commande pour la securisation d'un vehicule rapide, notamment guide par un operateur embarque ou non dans ledit vehicule
IL117279A (en) 1996-02-27 2000-01-31 Israel Aircraft Ind Ltd System for detecting obstacles on a railway track
JP3599144B2 (ja) 1996-05-09 2004-12-08 本田技研工業株式会社 車両用操舵支援装置
JPH1031799A (ja) * 1996-07-15 1998-02-03 Toyota Motor Corp 自動走行制御装置
JP3355947B2 (ja) 1996-08-06 2002-12-09 日産自動車株式会社 先行車追従装置
US6091833A (en) * 1996-08-28 2000-07-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and a method therefor
EP0827230B1 (en) 1996-09-03 2006-11-22 Ube Industries, Ltd. Non-aqueous lithium ion secondary battery
JP3393427B2 (ja) * 1996-09-30 2003-04-07 三菱自動車工業株式会社 カーブ半径推定装置及びカーブ半径推定装置付き自動操舵制御システム
JPH10141102A (ja) 1996-11-12 1998-05-26 Honda Motor Co Ltd 車両制御装置
JP3687252B2 (ja) 1997-02-28 2005-08-24 日産自動車株式会社 自動車の操舵装置
US5844505A (en) 1997-04-01 1998-12-01 Sony Corporation Automobile navigation system
JPH1068777A (ja) 1997-05-08 1998-03-10 Toyota Motor Corp 車両用先行車検出装置
JP3642547B2 (ja) 1997-08-22 2005-04-27 株式会社小松製作所 自走車両の車速制御装置
US7647180B2 (en) 1997-10-22 2010-01-12 Intelligent Technologies International, Inc. Vehicular intersection management techniques
WO1999030919A1 (de) 1997-12-15 1999-06-24 Volkswagen Aktiengesellschaft Verfahren zur regelung von geschwindigkeit und abstand bei überholvorgängen
JP3402173B2 (ja) 1998-01-08 2003-04-28 日産自動車株式会社 自動速度制御装置
JP3674316B2 (ja) 1998-06-25 2005-07-20 日産自動車株式会社 走行位置決定装置
US6651004B1 (en) 1999-01-25 2003-11-18 The United States Of America As Represented By The Secretary Of The Navy Guidance system
JP4800455B2 (ja) 1999-02-19 2011-10-26 富士通株式会社 車速計測方法および装置
US6161071A (en) 1999-03-12 2000-12-12 Navigation Technologies Corporation Method and system for an in-vehicle computing architecture
DE50001165D1 (de) 1999-04-09 2003-03-06 Bosch Gmbh Robert System zur automatischen folgeführung, insbesondere zur automatischen staufolgeführung, eines kraftfahrzeugs
JP4007723B2 (ja) 1999-06-16 2007-11-14 本田技研工業株式会社 車両の走行安全装置
JP3529037B2 (ja) 1999-08-02 2004-05-24 日産自動車株式会社 車線追従装置
JP3092803B1 (ja) 1999-09-21 2000-09-25 富士重工業株式会社 カーブ進入速度制御装置
JP3929668B2 (ja) 2000-02-21 2007-06-13 日産自動車株式会社 予ブレーキ制御装置
EP1269445B8 (en) * 2000-02-28 2006-08-23 Calspan Corporation System and method for avoiding accidents in intersections
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
DE60107692T2 (de) * 2000-08-16 2005-12-15 Raytheon Company, Waltham System zur erfassung von naheliegenden objekten
US6675085B2 (en) 2000-08-17 2004-01-06 Michael P. Straub Method and apparatus for storing, accessing, generating and using information about speed limits and speed traps
JP3911979B2 (ja) * 2000-08-29 2007-05-09 トヨタ自動車株式会社 警報装置およびその警報装置を備えた走行制御装置
JP3603768B2 (ja) 2000-09-06 2004-12-22 日産自動車株式会社 車線逸脱判定装置
US6539303B2 (en) 2000-12-08 2003-03-25 Mcclure John A. GPS derived swathing guidance system
EP1220182A3 (en) 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
JP3800007B2 (ja) 2001-01-09 2006-07-19 日産自動車株式会社 制動制御装置
JP3690283B2 (ja) 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
US6708100B2 (en) * 2001-03-14 2004-03-16 Raytheon Company Safe distance algorithm for adaptive cruise control
DE10114187A1 (de) * 2001-03-23 2002-09-26 Bosch Gmbh Robert Verfahren und Vorrichtung zur Unterstützung eines Überholvorgangs bei Kraftfahrzeugen
US6658336B2 (en) * 2001-05-11 2003-12-02 General Motors Corporation Method and system of cooperative collision mitigation
GB0111979D0 (en) 2001-05-17 2001-07-04 Lucas Industries Ltd Sensing apparatus for vehicles
US6662099B2 (en) * 2001-05-22 2003-12-09 Massachusetts Institute Of Technology Wireless roadway monitoring system
JP2002367095A (ja) 2001-06-12 2002-12-20 Nissan Motor Co Ltd 車線追従走行制御装置
JP2003123196A (ja) 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
US6607255B2 (en) 2002-01-17 2003-08-19 Ford Global Technologies, Llc Collision mitigation by braking system
US6519519B1 (en) * 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
DE10218010A1 (de) * 2002-04-23 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen
US7260465B2 (en) 2002-04-30 2007-08-21 Ford Global Technology, Llc Ramp identification in adaptive cruise control
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
US7831368B2 (en) 2002-11-21 2010-11-09 Lucas Automotive Gmbh System for influencing the speed of a motor vehicle
EP1592599B1 (fr) 2003-02-11 2009-04-15 NEXTER Systems Procede de ralentissement en virage d un vehicule
US7016783B2 (en) 2003-03-28 2006-03-21 Delphi Technologies, Inc. Collision avoidance with active steering and braking
US7085634B2 (en) 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
US7510038B2 (en) 2003-06-11 2009-03-31 Delphi Technologies, Inc. Steering system with lane keeping integration
KR100559870B1 (ko) * 2003-11-04 2006-03-13 현대자동차주식회사 차량의 주행차로 변경방법
JP3982503B2 (ja) 2004-01-21 2007-09-26 日産自動車株式会社 車両用走行制御装置
EP1741079B1 (en) * 2004-04-08 2008-05-21 Mobileye Technologies Limited Collision warning system
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
JP4277755B2 (ja) 2004-07-16 2009-06-10 日産自動車株式会社 車両用旋回走行制御装置
US8152245B2 (en) 2004-09-09 2012-04-10 Kelsey-Hayes Company Vehicle system having regenerative brake control
DE102005025387A1 (de) 2004-09-30 2006-05-04 Daimlerchrysler Ag Verfahren und Vorrichtung zur Fahrerwahrnung bzw. zum aktiven Eingreifen in die Fahrdynamik, falls ein Verlassen der Fahrspur droht
JP2006131055A (ja) 2004-11-04 2006-05-25 Denso Corp 車両走行制御装置
DE102004054720A1 (de) * 2004-11-12 2006-05-18 Daimlerchrysler Ag Verfahren zum Betreiben eines Fahrzeugs mit einem Kollisionsvermeidungssystem und Vorrichtung zur Durchführung eines solchen Verfahrens
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
EP1858745B1 (de) 2005-03-03 2013-05-08 Continental Teves AG & Co. oHG Verfahren und vorrichtung zum vermeiden einer kollision bei einem spurwechsel eines fahrzeugs
US7231288B2 (en) 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
JP4637618B2 (ja) 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
EP1717778B1 (en) * 2005-04-29 2007-07-11 Ford Global Technologies, LLC Method and system for forward collision avoidance in an automotive vehicle
DE102005024382A1 (de) * 2005-05-27 2006-12-07 Robert Bosch Gmbh Spurhalteassistent für Kraftfahrzeuge
JP4882285B2 (ja) * 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
US7573402B2 (en) 2005-08-25 2009-08-11 Herbert William J Dual laser beam guidance and parking device
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
US7400963B2 (en) * 2005-12-09 2008-07-15 Gm Global Technology Operations, Inc. Speed control method for vehicle approaching and traveling on a curve
JP4169065B2 (ja) 2006-02-13 2008-10-22 株式会社デンソー 車両制御装置
US7853388B2 (en) * 2006-02-23 2010-12-14 Siemens Industry, Inc. Devices, systems, and methods for controlling a braking system
JP4631750B2 (ja) 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP4721279B2 (ja) 2006-03-29 2011-07-13 富士重工業株式会社 車線追従支援装置
US7881848B2 (en) 2006-04-28 2011-02-01 Nissan Motor Co., Ltd. Lane departure prevention apparatus and method
JP4816248B2 (ja) * 2006-05-23 2011-11-16 日産自動車株式会社 車両用運転操作補助装置
WO2007145564A1 (en) * 2006-06-11 2007-12-21 Volvo Technology Corporation Method and apparatus for using an automated lane keeping system to maintain lateral vehicle spacing
JP4893118B2 (ja) * 2006-06-13 2012-03-07 日産自動車株式会社 回避制御装置、この回避制御装置を備える車両および回避制御方法
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US7970535B2 (en) 2006-07-04 2011-06-28 Denso Corporation Drive assist system
JP2008012975A (ja) 2006-07-04 2008-01-24 Xanavi Informatics Corp 車両走行制御システム
JP2008056226A (ja) * 2006-08-01 2008-03-13 Nissan Motor Co Ltd 車両用走行制御装置および車両用走行制御方法
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
US7503221B2 (en) 2006-11-08 2009-03-17 Honeywell International Inc. Dual span absolute pressure sense die
ATE459061T1 (de) 2006-11-21 2010-03-15 Harman Becker Automotive Sys Darstellung von videobildern einer fahrzeugumgebung
US9302678B2 (en) * 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法
KR100911954B1 (ko) * 2007-03-29 2009-08-13 에스케이씨앤씨 주식회사 자동차 네비게이션용 교차로 경로 안내 방법
JP5053692B2 (ja) 2007-04-16 2012-10-17 日立オートモティブシステムズ株式会社 操舵支援システム及びそれを搭載した車両
EP2141678A4 (en) 2007-04-27 2011-10-19 Aisin Aw Co DRIVING ASSIST SYSTEM
JP4967806B2 (ja) * 2007-05-22 2012-07-04 株式会社日立製作所 経路曲率に応じた車両の速度制御装置
JP4450023B2 (ja) * 2007-07-12 2010-04-14 トヨタ自動車株式会社 自車両危険度取得装置
US8355539B2 (en) 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
US7919940B2 (en) * 2007-10-21 2011-04-05 Ge Intelligent Platforms, Inc. System and method for jerk limited trajectory planning for a path planner
US8089518B2 (en) * 2007-11-16 2012-01-03 Samsung Electronics Co., Ltd. System and method for automatic image capture in a handheld camera with a multiple-axis actuating mechanism
JP2009132270A (ja) 2007-11-30 2009-06-18 Mitsubishi Fuso Truck & Bus Corp ハイブリッド車両の制動制御装置
JP5075612B2 (ja) 2007-12-21 2012-11-21 富士重工業株式会社 車両の走行制御装置
JP5257923B2 (ja) 2008-01-31 2013-08-07 株式会社アドヴィックス 車両の運動制御装置
EP2242993B1 (de) 2008-02-15 2013-10-23 Continental Teves AG & Co. oHG Fahrzeugsystem zur navigation und/oder fahrerassistenz
JP5180641B2 (ja) * 2008-03-25 2013-04-10 富士重工業株式会社 車両用運転支援装置
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8170739B2 (en) 2008-06-20 2012-05-01 GM Global Technology Operations LLC Path generation algorithm for automated lane centering and lane changing control system
US8428843B2 (en) * 2008-06-20 2013-04-23 GM Global Technology Operations LLC Method to adaptively control vehicle operation using an autonomic vehicle control system
US8055422B2 (en) 2008-08-08 2011-11-08 GM Global Technology Operations LLC Vehicle deceleration rate control method and apparatus
US8392065B2 (en) 2008-09-11 2013-03-05 Deere & Company Leader-follower semi-autonomous vehicle with operator on side
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
JP5070171B2 (ja) * 2008-09-19 2012-11-07 日立オートモティブシステムズ株式会社 車両制御装置
JP5139939B2 (ja) * 2008-09-25 2013-02-06 日立オートモティブシステムズ株式会社 車両の減速支援装置
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
EP2214122B1 (en) 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
US8315775B2 (en) 2009-02-06 2012-11-20 GM Global Technology Operations LLC Cruise control systems and methods with adaptive speed adjustment rates
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
KR20110132437A (ko) * 2009-03-04 2011-12-07 콘티넨탈 테베스 아게 운트 코. 오하게 차량의 주행 거동을 자동으로 인식하기 위한 방법 및 이러한 방법을 구현한 운전자 지원 시스템
JP5066123B2 (ja) 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8817090B2 (en) 2009-04-02 2014-08-26 GM Global Technology Operations LLC Luminance uniformity compensation of vector projection display
US8352112B2 (en) 2009-04-06 2013-01-08 GM Global Technology Operations LLC Autonomous vehicle management
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
US8571786B2 (en) * 2009-06-02 2013-10-29 Toyota Jidosha Kabushiki Kaisha Vehicular peripheral surveillance device
EP2448795B1 (en) 2009-06-29 2017-08-30 Volvo Lastvagnar AB A method and a system for changing a vehicle's trajectory
DE102009033124A1 (de) 2009-07-15 2011-01-27 Audi Ag Verfahren zur Ermittlung eines Ein- oder Ausschervorgangs eines dem eigenen Kraftfahrzeug vorausfahrenden Fahrzeugs
JP5363906B2 (ja) * 2009-08-05 2013-12-11 株式会社アドヴィックス 車両の速度制御装置
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
EP2289754B1 (en) * 2009-08-31 2015-04-29 Toyota Motor Europe NV/SA Vehicle or traffic control method and system
KR101214474B1 (ko) * 2009-09-15 2012-12-24 한국전자통신연구원 네비게이션 장치 및 이를 이용한 주행 경로 정보 제공 방법, 자동 주행 시스템 및 그 방법
US8577550B2 (en) 2009-10-05 2013-11-05 Ford Global Technologies, Llc System for vehicle control to mitigate intersection collisions and method of using the same
JP5414454B2 (ja) * 2009-10-23 2014-02-12 日立オートモティブシステムズ株式会社 車両運動制御装置
EP2316705B1 (en) 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems
KR101102144B1 (ko) * 2009-11-17 2012-01-02 주식회사 만도 차선 유지 제어 방법 및 시스템
JP4873068B2 (ja) 2009-11-20 2012-02-08 株式会社デンソー 衝突被害軽減装置
KR101424421B1 (ko) 2009-11-27 2014-08-01 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
DE102009047476A1 (de) * 2009-12-04 2011-06-09 Robert Bosch Gmbh Verfahren und Steuergerät zur Bestimmung einer Schnitttrajektorie eines Kurvenabschnitts einer Fahrbahn
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
US8669857B2 (en) * 2010-01-13 2014-03-11 Denso International America, Inc. Hand-held device integration for automobile safety
US8559673B2 (en) 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
US20110190972A1 (en) 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
CN102834309B (zh) 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
US8626391B2 (en) * 2010-03-17 2014-01-07 Mando Corporation Method and system for lane-keeping control
KR101340779B1 (ko) * 2010-03-17 2013-12-11 주식회사 만도 기준 추종 위치 설정 방법 및 차선 유지 제어 시스템
JP5057184B2 (ja) 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 画像処理システム及び車両制御システム
US9165468B2 (en) 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
JP5378318B2 (ja) * 2010-07-30 2013-12-25 日立オートモティブシステムズ株式会社 車両運動制御装置
US8452535B2 (en) 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
US8977419B2 (en) 2010-12-23 2015-03-10 GM Global Technology Operations LLC Driving-based lane offset control for lane centering
US9542846B2 (en) 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
JP5503585B2 (ja) 2011-03-29 2014-05-28 富士重工業株式会社 車両用運転支援装置
WO2012137355A1 (ja) 2011-04-08 2012-10-11 トヨタ自動車株式会社 運転支援システム
US9478135B2 (en) * 2011-04-26 2016-10-25 Toyota Jidosha Kabushiki Kaisha Drive support apparatus
US20120283913A1 (en) * 2011-05-05 2012-11-08 GM Global Technology Operations LLC System and method for adjusting smoothness for lane centering steering control
US20120283912A1 (en) * 2011-05-05 2012-11-08 GM Global Technology Operations LLC System and method of steering override end detection for automated lane centering
KR101245101B1 (ko) * 2011-06-08 2013-03-25 주식회사 만도 순항 제어 장치 및 그 제어 방법
JP5417386B2 (ja) * 2011-07-01 2014-02-12 日立オートモティブシステムズ株式会社 車両運動制御装置
US8948447B2 (en) 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
EP2562060B1 (en) * 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US20130057397A1 (en) * 2011-09-01 2013-03-07 GM Global Technology Operations LLC Method of operating a vehicle safety system
DE102011086299A1 (de) 2011-11-14 2013-05-16 Bayerische Motoren Werke Aktiengesellschaft Information eines Fahrers über die Durchführbarkeit eines Überholvorgangs in Abhängigkeit von während des Überholvorgangs ermittelter Sensorinformation
KR101361360B1 (ko) 2011-12-26 2014-02-11 현대자동차주식회사 측후방 감지센서를 이용한 차간거리 제어 시스템 및 그 제어 방법
US9187117B2 (en) * 2012-01-17 2015-11-17 Ford Global Technologies, Llc Autonomous lane control system
DE102013100578B4 (de) * 2012-01-25 2024-02-01 Denso Corporation Spurhalte-Steuersystem
US8976040B2 (en) 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
JP5964609B2 (ja) 2012-02-23 2016-08-03 株式会社日本自動車部品総合研究所 車両用追従制御装置
DE102012202916A1 (de) 2012-02-27 2013-08-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
JP5977047B2 (ja) 2012-02-29 2016-08-24 株式会社日本自動車部品総合研究所 車両走行制御装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US8948954B1 (en) * 2012-03-15 2015-02-03 Google Inc. Modifying vehicle behavior based on confidence in lane estimation
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US9516277B2 (en) * 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
US20140005907A1 (en) 2012-06-29 2014-01-02 Magna Electronics Inc. Vision-based adaptive cruise control system
US8849515B2 (en) 2012-07-24 2014-09-30 GM Global Technology Operations LLC Steering assist in driver initiated collision avoidance maneuver
US8706417B2 (en) * 2012-07-30 2014-04-22 GM Global Technology Operations LLC Anchor lane selection method using navigation input in road change scenarios
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
DE102013217430A1 (de) * 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
KR20140033274A (ko) 2012-09-07 2014-03-18 주식회사 만도 차량의 측방충돌회피 시스템 및 방법
KR102047280B1 (ko) 2012-09-27 2019-11-21 한국전자통신연구원 카메라 방향 제어를 이용한 차선 추종 장치 및 방법
US8473144B1 (en) 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
CN203047139U (zh) 2012-11-29 2013-07-10 长安大学 一种车辆行驶辅助装置
DE102012024970A1 (de) * 2012-12-20 2013-07-04 Daimler Ag Verfahren zum Bestimmen einer Soll-Kurvenneigung eines Kraftfahrzeugs beim Befahren eines kurvenförmigen Fahrbahnabschnitts
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US9096267B2 (en) * 2013-01-21 2015-08-04 GM Global Technology Operations LLC Efficient data flow algorithms for autonomous lane changing, passing and overtaking behaviors
DE102013201796A1 (de) 2013-02-05 2014-08-07 Robert Bosch Gmbh Verfahren zur Bereitstellung eines Fahrkorridors für ein Fahrzeug und Fahrassistenzsystem
KR20150128712A (ko) * 2013-03-15 2015-11-18 칼리퍼 코포레이션 차량 라우팅 및 교통 관리를 위한 차선 레벨 차량 내비게이션
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
DE202013006676U1 (de) * 2013-07-25 2014-10-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) System zur Warnung vor einer möglichen Kollision einesKraftfahrzeuges mit einem Objekt
US9304515B2 (en) * 2014-04-24 2016-04-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Regional operation modes for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101746363A (zh) * 2008-12-09 2010-06-23 赵继安 智能监控车距及报警自动刹车装置
CN103029621A (zh) * 2011-09-30 2013-04-10 株式会社理光 检测前方车辆的方法及设备
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
CN103465828A (zh) * 2013-05-21 2013-12-25 麦特汽车服务股份有限公司 一种汽车转向预警方法及其车载智能终端装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A transportable neural-network approach to autonomous vehicle following;Nasser Kehtarnavaz, Norman Griswold, Kelly Miller, Paul Lescoe;《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》;19980531;第47卷(第2期);第694-701页 *
Vision-based long-distance lane perception and front vehicle location for full autonomous vehicles on highway roads;Xin Liu, Bin Dai;《Journal of Central South University》;20120427;第19卷(第5期);第1454-1465页 *
Xin Liu, Bin Dai.Vision-based long-distance lane perception and front vehicle location for full autonomous vehicles on highway roads.《Journal of Central South University》.2012,第19卷(第5期),第1454-1465页. *

Also Published As

Publication number Publication date
US9452754B2 (en) 2016-09-27
US9156473B2 (en) 2015-10-13
US11708077B2 (en) 2023-07-25
EP3514032B1 (en) 2024-02-07
EP3808633A1 (en) 2021-04-21
CN111027420A (zh) 2020-04-17
US11511750B2 (en) 2022-11-29
EP3812962A1 (en) 2021-04-28
CN106030609A (zh) 2016-10-12
US20160229410A1 (en) 2016-08-11
US20150151751A1 (en) 2015-06-04
US20160167650A1 (en) 2016-06-16
US20160052514A1 (en) 2016-02-25
US10953884B2 (en) 2021-03-23
EP3742339A1 (en) 2020-11-25
US20150153735A1 (en) 2015-06-04
CN111027420B (zh) 2023-10-24
CN110920609A (zh) 2020-03-27
EP3514032A1 (en) 2019-07-24
US11529957B2 (en) 2022-12-20
US9090260B2 (en) 2015-07-28
US20200331477A1 (en) 2020-10-22
EP3092599B1 (en) 2019-03-06
US9145116B2 (en) 2015-09-29
US10293826B2 (en) 2019-05-21
US20150151742A1 (en) 2015-06-04
US20200108834A1 (en) 2020-04-09
US20210146927A1 (en) 2021-05-20
US9676389B2 (en) 2017-06-13
US20150151753A1 (en) 2015-06-04
EP3808634A1 (en) 2021-04-21
US20230415744A1 (en) 2023-12-28
EP3680818A1 (en) 2020-07-15
US20190248372A1 (en) 2019-08-15
WO2015083009A1 (en) 2015-06-11
US9656673B2 (en) 2017-05-23
CN110920609B (zh) 2023-08-22
US9415777B2 (en) 2016-08-16
US20210146928A1 (en) 2021-05-20
US20150367850A1 (en) 2015-12-24
US11713042B2 (en) 2023-08-01
US20210146929A1 (en) 2021-05-20
EP3092599A1 (en) 2016-11-16
US20200094839A1 (en) 2020-03-26
US20160347322A1 (en) 2016-12-01
US9150220B2 (en) 2015-10-06
EP3761223A1 (en) 2021-01-06
US11697417B2 (en) 2023-07-11
US11667292B2 (en) 2023-06-06
US20150151725A1 (en) 2015-06-04
US9393998B2 (en) 2016-07-19
EP3751459A1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
US11708077B2 (en) Systems and methods for navigating a vehicle among encroaching vehicles

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant