CN111506058B - 通过信息融合来计划自动驾驶的短期路径的方法及装置 - Google Patents

通过信息融合来计划自动驾驶的短期路径的方法及装置 Download PDF

Info

Publication number
CN111506058B
CN111506058B CN202010034290.7A CN202010034290A CN111506058B CN 111506058 B CN111506058 B CN 111506058B CN 202010034290 A CN202010034290 A CN 202010034290A CN 111506058 B CN111506058 B CN 111506058B
Authority
CN
China
Prior art keywords
vehicle
information
interfering
current
target autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010034290.7A
Other languages
English (en)
Other versions
CN111506058A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111506058A publication Critical patent/CN111506058A/zh
Application granted granted Critical
Publication of CN111506058B publication Critical patent/CN111506058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)

Abstract

本发明公开一种方法，其使用车对万物通信以及图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中计划自动驾驶，所述方法包括：(a)与目标自动驾驶车辆相对应的计算装置，使计划模块获取对邻近车辆的识别信息，所述邻近车辆识别信息包括：(i)包括可进行V2X通信的第一车辆的第一群和(ii)包括无法进行所述V2X通信的第二车辆的第二群；(b)所述计算装置，使所述计划模块，在所述邻近车辆中选择干扰车辆；以及(c)所述计算装置，使所述计划模块，生成潜在干扰预测模型，并修改当前优化路径信息以避免潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息。

Description

通过信息融合来计划自动驾驶的短期路径的方法及装置
技术领域
本发明涉及一种用于自动驾驶车辆的方法及装置，更具体地涉及一种方法及所述装置，其在可进行车对万物(Vehicle-to-everything，V2X)通信的车辆与无法进行所述V2X通信的车辆共存的路况中，通过信息融合，计划自动驾驶的短期路径。
背景技术
近年来，自动驾驶技术受到了广泛关注。因此，近期有望实现自动驾驶技术的商业化。然而，迄今为止，与自动驾驶技术有关的大多数研究都集中在通过安装在自动驾驶车辆上的计算设备来安全驾驶自动驾驶汽车的技术上。即，在自动驾驶过程中，与其他车辆交互的技术很少被考虑，并且主要考虑安全地驾驶配置有计算设备的车辆的技术。
但是，随着最近通信技术的发展，车辆之间的信息量也有所增加，利用V2X(Vehicle-to-everything)通信技术与其他车辆沟通变得尤为重要。利用其他车辆生成的信息来驾驶车辆时，不仅能保证其他车辆行驶，还能保证更安全地行驶上述车辆。
但是，积极利用这种V2X通信技术进行计划自动驾驶的技术并不是很多。
发明内容
本发明的目的在于解决如上所述的问题。
本发明的另一目的在于，提供一种利用V2X(Vehicle-to-everything)通信以及图像处理，计划自动驾驶的方法，从而更加安全地进行自动驾驶。
为了达到如上所述的本发明的目的，并且实现后述的本发明的特定效果的，本发明的特定结构如下。
根据本发明一实施例，计划(planning)自动驾驶的方法，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，使用V2X(Vehicle-to-everything)通信以及图像处理，(a)计算装置，使计划模块，与车对万物通信模块和图像处理模块中的至少一个联动，获取对至少一部分邻近车辆的识别信息，其中，所述邻近车辆包括，(i)位于距与所述计算机装置相对应的目标自动驾驶车辆比临界距离更近的距离并包括可进行所述车对万物通信的一个以上第一车辆的第一群，以及(ii)位于距所述目标自动驾驶车辆比所述临界距离更近的距离并包括无法进行所述车对万物通信的一个以上第二车辆的第二群中的至少一部分；(b)所述计算装置，使所述计划模块，参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆；以及(c)所述计算装置，使所述计划模块，通过与所述车对万物通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，并修改所述当前优化路径信息以避免参考所述潜在干扰预测模型来预测的所述干扰车辆的潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息。
一实施例中，在所述步骤(a)中，所述计算装置，使包括在所述图像处理模块的第一神经网络，通过设置于所述目标自动驾驶车辆的至少一个相机，获取与从所述目标自动驾驶车辆对应至少一个方向的至少一个情况图像，并对所述情况图像适用一个以上第一神经网络运算，生成所述识别信息之后，将所述识别信息传输至所述计划模块，所述识别信息包括：(i)车辆标识信息、(ii)车辆外观信息、以及(iii)来自所述目标自动驾驶车辆的车辆相对位置信息中至少一部分。
一实施例中，在所述步骤(b)中，所述计算装置，使所述计划模块，(i)使用所述目标自动驾驶车辆在临界时间内对预驾驶方向的预定驾驶方向信息生成预定驾驶方向矢量，并使用与所述至少一部分邻近车辆相对应的所述车辆相对位置信息生成一个以上相对位置矢量，(ii)生成所述预定驾驶方向矢量与每个所述相对位置矢量之间的每个类似分数之后，(iii)在所述邻近车辆中，选择具有临界类似分数以上的特定类似分数的至少一个特定邻近车辆作为所述干扰车辆。
一实施例中，在所述步骤(b)中，所述计算装置，使所述计划模块，在由所述图像处理模块获取的所述情况图像中参考关于包括所述邻近车辆的边界框的位置的信息，选择至少一个特定邻近车辆作为所述干扰车辆，其中，与所述特定邻近车辆相对应的部分图像位于所述情况图像的当前车道区域内，所述当前车道区域与所述目标自动驾驶车辆所在道路的当前车道对应。
一实施例中，在所述步骤(c)中，所述计算装置，当所述干扰车辆属于所述第二群时，(i)使所述图像处理模块，(i-1)通过设置于所述目标自动驾驶车辆的至少一个相机，获取包括所述干扰车辆的建模图像，(i-2)对所述建模图像应用一个以上第二神经网络运算生成所述干扰车辆的加速能力信息，并将所述加速能力信息传输至所述计划模块，(ii)使所述计划模块，使用所述图像处理模块以及所述V2X通信模块中至少一个，参考获取的所述干扰车辆的当前速度信息以及所述加速能力信息，生成所述潜在干扰预测模型。
一实施例中，在所述步骤(c)中，所述计算装置，(I)使包括在所述图像处理模块的第二神经网络，进一步参考所述目标自动驾驶车辆的自驾车速度信息，对所述建模图像应用一个以上第2-1神经网络运算，所述第2-1神经网络运算为所述第二神经网络运算的至少一部分，从而生成，(i)与所述目标自动驾驶车辆相关的所述干扰车辆的相对速度信息，(ii)与所述干扰车辆的级别相对应的类别信息，以及(iii)与所述干扰车辆的体积与质量中至少一部分相对应的加速变量信息，(II)使所述第二神经网络，对已级联(concatenating)矢量应用一个以上第2-2神经网络运算，从而生成所述干扰车辆的所述加速能力信息，所述矢量作为组成要素包括所述车辆相对速度信息、所述类别信息以及所述加速变量信息，所述第2-2神经网络运算为所述第二神经网络运算的至少一部分已级联的矢量。
一实施例中，在所述步骤(c)中，所述计算装置，使所述第二神经网络，对进一步包括当前区间平均速度信息的所述已级联的矢量，应用所述第2-2神经网络运算，生成所述加速能力信息，其中，所述当前区间平均速度信息是对所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度的信息。
一实施例中，所述计算装置，使所述计划模块，参考所述加速能力信息与所述当前速度信息生成所述潜在干扰预测模型，所述加速能力信息与所述当前速度信息是参考所述干扰车辆的速度比率信息与当前区间平均速度信息而生成的，其中，比较对所述邻近车辆和所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度与每个所述过去区间内的每个所述干扰车辆的速度而生成所述速度比率信息后，将所述速度比率信息从中央服务器传输到所述V2X通信模块；计算所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度而生成所述当前区间平均速度信息后，将所述当前区间平均速度信息从所述中央服务器传输到所述V2X通信模块。
一实施例中，所述计算装置，使所述第二神经网络，将述第二神经网络运算应用于所述建模图像，与所述加速能力信息一同生成所述当前速度信息之后，将所述当前速度信息与所述加速能力信息传输至所述计划模块，使所述计划模块，参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
一实施例中，所述计算装置，使所述计划模块，(i)与所述目标自动驾驶车辆为避免所述潜在干扰驾驶的时间相对应的碰撞时间(Time-To-Collision，TTC)，(ii)所述加速能力信息，以及(iii)参考所述当前速度信息，生成预测速度范围信息，从而生成包括所述预测速度范围信息的所述潜在干扰预测模型。
一实施例中，在所述步骤(c)中，所述计算装置，当所述干扰车辆属于所述第二群时，使所述V2X通信模块，(i)从所述中央服务器，获取(i-1)所述干扰车辆的加速能力信息，(i-2)对所述邻近车辆与所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度和每个所述过去区间内的每个所述干扰车辆的速度进行比较而生成的所述干扰车辆的速度比率信息，以及(i-3)计算所述当前区间内车辆的平均速度而生成的当前区间平均速度信息，(ii)参考所述速度比率信息与当前区间平均速度信息，生成所述干扰车辆的当前速度信息之后，(iii)参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
一实施例中，在所述步骤(c)中，所述计算装置，当所述干扰车辆属于所述第一群时，使所述V2X通信模块，与所述干扰车辆通信，从而获取所述干扰车辆的预定路径信息，使所述计划模块，参考所述预定路径信息，生成所述潜在干扰预测模型。
一实施例中，在所述步骤(c)中，所述计算装置，使所述计划模块，(i)获取位于所述目标自动驾驶车辆所在的当前车道的左侧和右侧中至少一个的至少一个邻近车道的车道平均速度信息，(ii)为了避免所述潜在干扰驾驶，参考所述车道平均速度信息，以添加对应所述邻近车道而执行的回避驾驶的方式修改所述当前优化路径信息，从而生成所述更新优化路径信息。
根据本发明的另一方式，提供一种在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，使用V2X(Vehicle-to-everything)通信以及图像处理，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被配置执行用于进行所述指令，所述指令用于进行：过程(I)使计划模块，通过与至少一个V2X通信模块和图像处理模块联动，获取对邻近车辆中至少一部分的识别信息，所述邻近车辆包括，(i)位于距与所述计算机装置相对应的目标自动驾驶车辆比临界距离更近的距离并包括可进行所述V2X通信的一个以上第一车辆的第一群，以及(ii)位于距所述目标自动驾驶车辆比所述临界距离更近的距离并包括无法进行所述V2X通信的一个以上第二车辆的第二群中的至少一部分，过程(II)使所述计划模块，通过参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆，以及过程(III)使所述计划模块，通过与所述V2X通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，修改所述当前优化路径信息，来生成对所述目标自动驾驶车辆的更新优化路径信息，以避免参考所述潜在干扰预测模型来预测的所述干扰车辆的潜在干扰驾驶。
一实施例中，在所述(I)过程中，所述处理器，使包括在所述图像处理模块的第一神经网络，通过设置于所述目标自动驾驶车辆的至少一个相机，获取与从所述目标自动驾驶车辆对应至少一个方向的至少一个情况图像，并对所述情况图像适用一个以上第一神经网络运算，来生成所述识别信息之后，将所述识别信息传输至所述计划模块，所述识别信息包括：(i)车辆标识信息、(ii)车辆外观信息、以及(iii)来自所述目标自动驾驶车辆的车辆相对位置信息中至少一部分。
一实施例中，在所述过程(II)中，所述处理器，使所述计划模块，(i)使用所述目标自动驾驶车辆在临界时间内对预驾驶方向的预定驾驶方向信息来生成预定驾驶方向矢量，并利用与所述至少一部分邻近车辆相对应的所述车辆相对位置信息来生成一个以上相对位置矢量，(ii)生成所述预定驾驶方向矢量与每个所述相对位置矢量之间的每个类似分数之后，(iii)在所述邻近车辆中，选择具有临界类似分数以上的特定类似分数的至少一个特定邻近车辆作为所述干扰车辆。
一实施例中，在所述过程(II)中，所述处理器，使所述计划模块，在由所述图像处理模块获取的所述情况图像中参考关于包括所述邻近车辆的边界框的位置的信息，来选择至少一个特定邻近车辆作为所述干扰车辆，其中与所述特定邻近车辆相对应的部分图像位于所述情况图像的当前车道区域内，所述当前车道区域与所述目标自动驾驶车辆所在道路的当前车道对应。
一实施例中，在所述过程(III)中，所述处理器，当所述干扰车辆属于所述第二群时，(i)使所述图像处理模块，(i-1)通过设置于所述目标自动驾驶车辆的至少一个相机，获取包括所述干扰车辆的建模图像，(i-2)对所述建模图像应用一个以上第二神经网络运算来生成所述干扰车辆的加速能力信息，并将所述加速能力信息传输至所述计划模块，(ii)使所述计划模块，使用所述图像处理模块以及所述V2X通信模块中至少一个，获取的所述干扰车辆的当前速度信息以及所述加速能力信息，生成所述潜在干扰预测模型。
一实施例中，在所述过程(III)中，所述处理器，(i)使包括在所述图像处理模块的第二神经网络，进一步参考所述目标自动驾驶车辆的自驾车速度信息，对所述建模图像应用一个以上第2-1神经网络运算，所述第2-1神经网络运算为所述第二神经网络运算的至少一部分，从而生成，(i-1)与所述目标自动驾驶车辆相关的所述干扰车辆的相对速度信息，(i-2)与所述干扰车辆的级别相对应的类别信息，以及(i-3)生产与所述干扰车辆的体积与质量中至少一部分相对应的加速变量信息，(ii)使所述第二神经网络，对已级联(concatenating)矢量应用一个以上第2-2神经网络运算，从而生成所述干扰车辆的所述加速能力信息，所述矢量作为组成要素包括所述车辆相对速度信息、所述类别信息以及所述加速变量信息，所述第2-2神经网络运算为所述第二神经网络运算的至少一部分。
一实施例中，在所述过程(III)中，所述处理器，使所述第二神经网络，对进一步包括当前区间平均速度信息的所述已级联的矢量，应用所述第2-2神经网络运算，生成所述加速能力信息，其中，对进一步包括当前区间平均速度信息的所述已级联的矢量，应用所述第2-2神经网络运算，从而生成所述加速能力信息，其中，所述当前区间平均速度信息是对所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度的信息。
一实施例中，所述处理器，使所述计划模块，参考所述加速能力信息与所述当前速度信息生成所述潜在干扰预测模型，所述加速能力信息与所述当前速度信息是参考所述干扰车辆的速度比率信息与当前区间平均速度信息而生成的，其中，比较对所述邻近车辆和所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度与每个所述过去区间内的每个所述干扰车辆的速度而生成所述速度比率信息后，将所述速度比率信息从中央服务器传输到所述V2X通信模块；计算所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度而生成所述当前区间平均速度信息后，将所述当前区间平均速度信息从所述中央服务器传输到所述V2X通信模块。
一实施例中，所述处理器，使所述第二神经网络，将述第二神经网络运算应用于所述建模图像，与所述加速能力信息一同生成所述当前速度信息之后，将所述当前速度信息与所述加速能力信息传输至所述计划模块，使所述计划模块，参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
一实施例中，所述处理器，使所述计划模块，(i)与所述目标自动驾驶车辆为避免所述潜在干扰驾驶的时间相对应的TTC值，(ii)所述加速能力信息，以及(iii)参考所述当前速度信息，生成预测速度范围信息，从而生成包括所述预测速度范围信息的所述潜在干扰预测模型。
一实施例中，在所述过程(III)中，所述处理器，当所述干扰车辆属于所述第二群时，使所述V2X通信模块，(i)从所述中央服务器，获取(i-1)所述干扰车辆的加速能力信息，(i-2)对所述邻近车辆与所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度和每个所述过去区间内的每个所述干扰车辆的速度进行比较而生成的所述干扰车辆的速度比率信息，以及(i-3)计算所述当前区间内车辆的平均速度而生成的当前区间平均速度信息，(ii)参考所述速度比率信息与当前区间平均速度信息，生成所述干扰车辆的当前速度信息之后，(iii)参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
一实施例中，在所述过程(III)中，所述处理器，当所述干扰车辆属于所述第一群时，使所述V2X通信模块，与所述干扰车辆通信，从而获取所述干扰车辆的预定路径信息，使所述计划模块，参考所述预定路径信息，生成所述潜在干扰预测模型。
一实施例中，在所述过程(III)中，所述处理器，使所述计划模块，(i)获取位于所述目标自动驾驶车辆所在的当前车道的左侧和右侧中至少一个的至少一个邻近车道的车道平均速度信息，(ii)为了避免所述潜在干扰驾驶，参考所述车道平均速度信息，以添加对应所述邻近车道而执行的回避驾驶的方式修改所述当前优化路径信息，从而生成所述更新优化路径信息。
另外，还提供了一种用于存储计算机程序的计算机可读介质，所述计算机程序用于执行本发明的方法。
根据本发明，提供一种使用V2X通信以及图像处理，计划自动驾驶的方法，从而具有更加安全地进行自动驾驶的效果。
附图说明
用于描述本发明实施例的附图仅是本发明实施例的一部分，并且本发明所属领域的普通技术人员，无需进行创造性劳动即可基于这些附图获得其他附图。
图1是示意性示出执行根据本发明一实施例的方法的计算装置的构成的图，所述方法为在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，利用V2X(Vehicle-to-everything)通信以及图像处理，计划自动驾驶的方法的。
图2示意性示出为了执行根据本发明一实施例的方法而选择干扰车辆的方式的图，所述方法为利用所述V2X通信以及所述图像处理，在能可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，计划自动驾驶的方法。
图3是示意性示出为了执行根据本发明一实施例的方法而使用的第二神经网络的图，所述方法为利用所述V2X通信以及所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
图4是示意性示出通过当前区间平均速度信息生成用于执行根据本发明一实施例的方法的上述干扰车辆的当前速度信息的过程的图，所述方法为利用所述V2X通信以及所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
图5是示意性示出为了执行根据本发明一实施例的方法而修改当前优化路径信息的方式的图，所述方法为利用所述V2X通信和所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
具体实施方式
对于后述的本发明的详细描述，为使本发明的目的、技术方案、以及优点清楚，可以将实施本发明的特定实施例作为示例而参考示出的附图。将会详细描述这些实施例，以使本领域技术人员能够足以实施本发明。
另外，在本发明的详细描述以及权利要求中，术语“包括”及其变形并不意旨在排除其他技术特征、添加、组件或步骤。对于本领域普通技术人员来说，本发明的其他目的、优点以及特征中一部分从本说明书中、一部分从本发明的实施中揭示。尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。
尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。应理解，即使本发明的各种实施例不同，但不一定是相互排斥的。例如，在不脱离与一实施例有关的本发明的精神和范围的情况下，可在其他实施例中实现本文中所记载的特定形状、结构或特性。并且，应理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置和配置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在适当地解释的情况下，仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。附图中相似的附图标记是指经过多方面考虑后具有相同或相似的功能。
本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像，在这种情况下，可以假设可能会出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物)，但不限于此，本发明中涉及的各种图像可以是与道路无关的图像(例如，土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内)，在这种情况下，可以推断土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物等)，但不限于此。
以下，为便于本发明所属的技术领域的普通技术人员实施本发明，将参考附图详细描述本发明的优选实施例。
图1是示意性示出执行根据本发明一实施例的方法的计算装置的构成的图，所述方法为在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，利用V2X(Vehicle-to-everything)通信以及图像处理，计划自动驾驶的方法的。
参考图1，所述计算装置100，可以包括至少一个V2X通信模块130、至少一个图像处理模块140以及至少一个计划模块150，其作为组件稍后将要详细描述。所述V2X通信模块130，所述图像处理模块140以及所述计划模块150的输入及输出和运算过程可以分别由至少一个通信部110以及至少一个处理器120执行。然而，在图1，省略了所述通信部110以及所述处理器120的具体连接关系。此时，存储器115可以是存储后述的各种指令的状态，所述处理器120可以执行存储在所述存储器115的所述指令，所述处理器120可以通过执行稍后将描述的过程来执行本发明。这样，虽然描述了所述计算装置100，但并不意味着排除所述计算装置100包括用于实施本发明的介质、所述处理器、所述存储器或者作为集成其他计算组件形式的至少一个集成处理器的情况。
这样的计算装置100，可以包括在目标自动驾驶车辆中，或包括在被配置为通过远程无线通信来控制所述目标自动驾驶车辆的控制服务器中。
并且，所述计算装置100可以与中央服务器200通信以进行联动。如稍后将描述的，本发明的所述计划方法包括，在所述干扰车辆无法进行所述V2X通信的情况下，获取关于至少一个干扰车辆的信息的方法，所述干扰车辆与所述中央服务器200联动且位于所述目标自动驾驶车辆邻近。
以上，如查看执行根据本发明一实施例所述计划方法的所述计算装置100的配置，将要示意性查看本发明的所述计划方法。
首先，所述计算装置100，使所述计划模块150与所述V2X通信模块130和所述图像处理模块140中至少一个联动，获取对至少一部分邻近车辆的识别信息。此时，所述邻近车辆可以包括包括一个以上第一车辆的第一群和包括一个以上第二车辆的第二群中的至少一部分，所述第一车辆位于距所述目标自动驾驶车辆比临界距离更近的距离且可进行所述V2X通信，所述第二车辆位于距所述目标自动驾驶车辆比所述临界距离更近的距离且无法进行所述V2X通信的。
此后，所述计算装置100，可以使所述计划模块150，参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择所述干扰车辆。此时，所述干扰车辆，可以是在所述邻近车辆中，干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆。
并且，所述计算装置100，使所述计划模块150，与所述V2X通信模块130和所述图像处理模块140中的至少一个联动，生成对所述干扰车辆的潜在干扰预测模型。此后，所述计算装置100，可以使所述计划模块150，通过修改所述当前优化路径信息，生成对所述目标自动驾驶车辆的更新优化路径信息，以参考所述潜在干扰预测模型来避免预测的所述干扰车辆的潜在干扰驾驶。这种更新优化路径信息可用于计划所述自动驾驶。
以上示意描述了本发明的所述计划方法。下面将要对此更加详细描述。
作为用于执行本发明的所述计划方法的第一步骤，所述计算装置100可以使所述计划模块150，与所述V2X通信模块130或者与所述图像处理模块140联动，以获取识别信息。首先，描述所述计划模块150与所述图像处理模块140联动的方法。
即，所述计算装置100，使包括在所述图像处理模块140的第一神经网络，通过设置于所述目标自动驾驶车辆的至少一个相机，获取与从所述目标自动驾驶车辆对应至少一个方向的至少一个情况图像。当获取这种情况图像时，所述计算装置100，使所述第一神经网络，对所述情况图像适用一个以上第一神经网络运算，生成所述识别信息。作为一例，所述第一神经网络包括至少一个第一卷积层、至少一个第一池化层以及至少一个第一全连接(Fully Connected，FC)层，且可以与第一区域生成网络(Region Proposal Network，RPN)联动。并且，所述第一神经网络可以是，在执行本发明的所述计划方法之前，使用至少一个第一训练图像以及与其对应的至少一个第一GT(ground truth)来完成学习的状态。此时，所述第一神经网络运算可以为，对输入到所述第一神经网络的所述情况图像，应用由所述第一卷积层、所述第一池化层以及所述第一FC层的运算的运算。
此时，通过这种所述第一神经网络的过程而生成的所述识别信息可以包括，(i)车辆标识信息，(ii)车辆外观信息，以及(iii)来自所述目标自动驾驶车辆的车辆相对位置信息中至少一部分。作为一例，所述车辆标识信息可以包括关于所述邻近车辆的一个以上登记车牌的信息，所述登记车牌通过参考与所述邻近车辆的车牌相对应的部分图像而获取，所述部分图像包括在所述情况图像中。并且所述车辆外观信息可以包括关于所述邻近车辆的，一个以上颜色、一个以上形状以及一个以上级别的信息。并且，所述车辆相对位置信息可以包括关于所述邻近车辆的一个以上相对坐标的信息，所述邻近车辆包括一个以上纵向距离和一个以上横向距离作为要素，所述纵向距离和横向距离为从所述目标自动驾驶车辆到所述邻近车辆的距离。如上所示，所述识别信息可以通过所述图像处理模块140获取。
以下，将要描述所述识别信息通过所述V2X通信模块130获取的方法。所述计算装置100，可以使所述V2X通信模块130，与所述第一群的特定邻近车辆通信，且获取关于所述特定邻近车辆的识别信息。如果使用所述V2X通信模块130，可以更准确获取所述识别信息，但是，只能对属于所述第一群的所述特定邻近车辆才能获取信息。
所述识别信息，可以通过使用所述图像处理模块140或者所述V2X通信模块130的两种方式来获取。以下，将要描述在所述邻近车辆中所述干扰车辆的方法。
首先，所述计算装置100，可以使所述计划模块150，参考所述当前优化路径信息和所述识别信息，选择所述干扰车辆。所述当前优化路径信息为，包括关于之前已计划的所述目标自动驾驶车辆的预定路径的信息，可以在识别所述干扰车辆之后进行修改。具体地，所述计算装置100，可以使所述计划模块150，使用所述目标自动驾驶车辆在临界时间内对预驾驶方向的预定驾驶方向信息来生成预定驾驶方向矢量。并且，所述计算装置100，可以使所述计划模块150，利用与所述至少一部分邻近车辆相对应的所述车辆相对位置信息来生成一个以上相对位置矢量。此后，所述计算装置100，使所述计划模块150，在生成所述预定驾驶方向矢量与每个所述相对位置矢量之间的每个类似分数之后，在所述邻近车辆中，选择具有临界类似分数以上的特定类似分数的至少一个特定邻近车辆作为所述干扰车辆。
简而言之，选择位于所述目标自动驾驶车辆预驾驶方向的所述特定邻近车辆作为所述干扰车辆，通过对所述预定驾驶方向矢量与所述相对位置矢量进行比较，选择所述特定邻近车辆。将参考图2对此进行详细描述。
图2示意性示出为了执行根据本发明一实施例的方法而选择干扰车辆的方式的图，所述方法为利用所述V2X通信以及所述图像处理，在能可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中，计划自动驾驶的方法。
参考图2，可以确认第一相对位置矢量151、第二相对位置矢量152、第三相对位置矢量153以及第4相对位置矢量154。此时，如果所述当前优化路径信息与所述在临界时间内直行驾驶对应，可以选择与所述第三相对位置矢量对应的所述特定邻近车辆作为所述干扰车辆。
与上述方式不同，查看通过与所述图像处理模块140联动来选择所述干扰车辆的另一实施例。
在另一实施例的情况下，所述计算装置100，可以使所述第一神经网络，与所述识别信息一起，生成(i)在所述情况图像中对于包括所述邻近车辆的边界框的位置的信息以及(ii)对于与所述目标自动驾驶车辆所在道路的当前车道对应的所述情况图像的当前车道区域的信息。这种第一神经网络，将节点添加到最终层以输出前述信息，并通过设计已调整GT来实现所第一神经网络，所述GT包括用于学习所述第一神经网络且对所述当前车道区域的信息；以及关于所述边界框的位置的GT信息。
此后，所述计算装置100，使所述计划模块150，确定每个所述邻近车辆的部分图像，即与每个所述边界框对应的每个所述情况图像的区域是否对应所述当前车道区域的位置，判断所述邻近车辆是否在所述当前车道驾驶，可以选择在所述当前车道驾驶的所述特定邻近车辆作为所述干扰车辆。这种实施例，可在所述目标自动驾驶沿车辆直行方向驾驶的情况下应用。
以上，描述了选择所述干扰车辆的方法。以下，将描述生成所述潜在干扰预测模型的方法。对于生成所述潜在干扰预测模型而言，根据所述V2X通信模块130以及所述图像处理模块140的使用，可以分为不同的实施例。将依次一一描述对这种不同的实施例。
首先，下面对所述干扰车辆属于所述第一群，重点使用所述V2X通信模块130的第一实施例进行描述。当可进行所述目标自动驾驶车辆与所述第一群的所述干扰车辆通信时，所述计算装置100，可以使所述V2X通信模块130，通过与所述干扰车辆通信，获取所述干扰车辆的预定路径信息，并使用所述预定路径信息来生成所述潜在干扰预测模型。
更具体地，在所述干扰车辆属于所述第一群，并可进行自动驾驶的车辆的情况下，所述干扰车辆可以将自己当前优化路径信息作为所述预定路径信息向所述计算装置100传输。此时，所述计算装置100，使所述计划模块150，可通过参考包括在所述预定路径信息的预测速度范围信息，来生成所述潜在干扰预测模型。与此不同，当所述干扰车辆属于所述第一群而不能自动驾驶时，所述干扰车辆可以将自己当前速度信息与自己加速能力信息向所述计算装置100传输，所述计算装置100，使所述计划模块150可以通过利用所述当前速度信息与所述加速能力信息来生成所述潜在干扰预测模型。稍后将描述以何种方式使用所述当前速度信息以及所述加速能力信息来生成所述潜在干扰预测模型。
并且，所述干扰车辆属于所述第二群的第二实施例，可分为三个下位实施例，即对应所述V2X通信模块130与所述图像处理模块140的第2-1实施例，对应所述图像处理模块140的第2-2实施例以及对应所述V2X通信模块130的第2-3实施例。首先，对所述第2-1实施例进行描述。
在所述第2-1实施例的情况下，所述计算装置100，可以使所述图像处理模块140，通过设置于所述目标自动驾驶车辆的所述相机，获取包括所述干扰车辆的至少一个建模图像。所述建模图像也可以与所述情况图像相同，也可能是所述情况图像后面拍摄的，包括所述干扰车辆的新获取图像。此后，所述计算装置100，使包括在所述图像处理模块140的第二神经网络，对所述建模图像应用一个以上第二神经网络运算，生成所述加速能力信息，并可将此传输到所述计划模块150。参考图3将描述所述第二神经网络以及所述第二神经网络运算。
图3是示意性示出为了执行根据本发明一实施例的方法而使用的第二神经网络的图，所述方法为利用所述V2X通信以及所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
参考图3，所述第二神经网络142可包括至少一个第2-1神经网络142-1以及至少一个第2-2神经网络142-2。所述第2-1神经网络142-1可包括至少一个第2-1卷积层、至少一个第2-1池化层以及至少一个第2-1FC层，可在第二RPN(未图示)的辅助下运行。并且，所述第2-2神经网络142-2可包括级联(concatenating)层以及第2-2FC层。这种所述第2-1神经网络142-1以及所述第2-2神经网络142-2，在执行本发明的所述计划方法之前，通过使用至少一个第二训练图像以及与其对应的至少一个第二GT来进行学习。此时，所述第二神经网络运算应用于所述建模图像中，使所述第2-1神经网络142-1与所述第2-2神经网络142-2的运算，依次应用于所述建模图像中。
具体地，当所述建模图像输入到所述第2-1神经网络142-1时，可以使所述第2-1卷积层、所述第2-1池化层以及所述第2-1FC层的运算依次应用于对所述建模图像中，生成(i)与所述目标自动驾驶车辆相关的所述干扰车辆的相对速度信息，(ii)与所述干扰车辆的级别相对应的类别信息，以及(iii)与所述干扰车辆的体积与质量中至少一部分相对应的加速变量信息。此后，所述相对速度信息，所述类别信息，除所述加速变量信息以外，还要描述的，当从所述中央服务器200传输到所述V2X通信模块130而获取的当前区间平均速度信息输入到所述第2-2神经网络142-2时，作为组成要素包括所述相对速度信息、所述类别信息、所述加速变量信息以及所述当前区间平均速度信息的已级联的矢量由所述级联层生成，可通过对所述已级联的矢量应用所述第2-2FC层的运算，生成所述加速能力信息。
此时，为了生成所述潜在干扰预测模型，除所述加速能力信息外，还需要图所述当前速度信息。由此，对获取所述当前速度信息的过程进行描述。在所述第2-1实施例的情况下，所述当前速度信息，可通过与所述V2X通信模块联动而获取。
所述计算装置100，可以使所述V2X通信模块130，获取由所述中央服务器200生成的，速度比率信息以及所述当前区间平均速度信息。此时，所述速度比率信息可以是，通过对所述邻近车辆与所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度与每个所述过去区间内的每个所述干扰车辆的速度进行比较来生成的。并且，所述当前区间平均速度信息可以是，通过计算所述邻近车辆与所述目标自动驾驶车辆在当前行驶的道路的当前区间内车辆的平均速度来生成的。可以参考这种所述当前区间平均速度信息与所述速度比率信息，以获取所述干扰车辆的所述当前速度信息。为了描述这种过程，参考图4。
图4是示意性示出通过当前区间平均速度信息生成用于执行根据本发明一实施例的方法的上述干扰车辆的当前速度信息的过程的图，所述方法为利用所述V2X通信以及所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
参考图4，当第一区间的第一平均速度(VAVE1)为95km/h、第二区间的第二平均速度(VAVE2)为98km/h、第三区间的第三平均速度(VAVE3)为102km/h时，可以确认在所述第一区间，所述干扰车辆的第一速度(Vi1)为61km/h，在所述第二区间，所述干扰车辆的第二速度(Vi2)为65km/h，在第三区间，所述干扰车辆的第三速度(Vi3)为68km/h。在这种情况下，所述速度比率信息可生成为此时，由于作为当前区间的第4区间的第4平均速度(VAVE4)为101km/h，因此所述当前速度信息可生成为101km/h×0.64＝64.64km/h。
这种所述当前区间平均速度信息与所述速度比率信息，可通过利用设置在划分各区间的各点上的每个相机来生成。具体地，所述中央服务器200，(i)利用每个通过的车辆的注册牌与外观信息来指定每个经过的车辆，(ii)计算通过每个所述区间所消耗的时间，所述时间用于测量每个所述经过的车辆的速度，(iii)可生成包括所述当前区间平均速度信息的，关于每个所述区间的区间平均速度信息。在生成所述干扰车辆的所述速度比率信息的情况下，对于利用每个所述区间平均速度信息使经过的每个车辆的一般速度比率信息在每个所述区间成为准备好的状态。由于准备了所有所述经过的车辆的所述一般速度比率信息，所述中央服务器200，当从所述V2X通信模块130，与所述车辆标识信息和所述车辆外观信息一起，获取用于指定所述经过的车辆中所述干扰车辆的信息时，可选择所述一般速度比率信息中所述干扰车辆的所述速度比率信息，并传输到所述计算装置100。
当获取这种所述当前速度信息时，与所述加速能力信息一起参考，并可生成所述潜在干扰预测模型。
如对所述第2-1实施例所述，对与所述图像处理模块140对应的所述第2-2实施例进行描述。
在所述第2-2实施例的情况下，所述第二神经网络142配置为，使用于输出所述当前速度信息的一个以上节点包括在所述第2-2FC层内的状态，可以是利用包括GT当前速度信息的已修改的第二GT来学习的状态。在这种情况下，所述计算装置100，使包括在所述图像处理模块140的所述第二神经网络，将所述第二神经网络运算应用于对所述建模图像中，与所述加速能力信息一起生成所述当前速度信息之后，将所述当前速度信息与所述加速能力信息传输到所述计划模块150。此后，所述计算装置使所述计划模块150，通过参考所述当前速度信息与所述加速能力信息来生成所述潜在干扰预测模型。
在所述第2-3实施例的情况下，可以主要使用所述V2X通信模块130来获取所述加速能力信息以及所述当前速度信息。即，所述计算装置100，使所述V2X通信模块130，与所述中央服务器200通信，获取所述加速能力信息、所述速度比率信息以及所述当前区间平均速度信息。此后，所述计算装置100，可以使所述V2X通信模块130，传输利用所述速度比率信息以及所述当前区间平均速度信息来计算的，所述干扰车辆的所述加速能力信息以及所述干扰车辆的所述当前速度信息，可以使所述计划模块150，参考所述加速能力信息以及所述当前速度信息而生成所述潜在干扰预测模型。在本实施例，所述中央服务器200，利用设置于各所述区间之间的地点的每个所述相机，获取关于包括所述干扰车辆的所述经过车辆的装载量和类别的信息，生成所述加速能力信息，并将此传输到所述计算装置100中。
当通过在前述的每个实施例中提示的方法，获取所述加速能力信息以及所述当前速度信息，所述计算装置100，使所述计划模块150，参考(i)与所述目标自动驾驶车辆避免所述潜在干扰驾驶的时间对应的TTC值，(ii)所述加速能力信息，以及(iii)所述当前速度信息，生成预测速度范围信息，从而生成包括所述预测速度范围信息的所述潜在干扰预测模型。
Vrange＝{v|Vcurrent-A×TTC≤v≤Vcurrent+A×TTC}
在与所述TTC值对应的所述时间的范围内，包括关于所述干扰车辆的最高速度和最低速度的信息的所述预测速度范围信息，可以由所述公式而生成，可用于生成所述潜在干扰预测模型。此后，与在所述目标自动驾驶车辆的前方行驶的所述干扰车辆的速度对应的所述潜在干扰驾驶，可利用所述潜在干扰预测模型来进行预测。
在预测所述潜在干扰驾驶之后，所述计算装置100，可以使所述计划模块150，修改所述当前优化路径信息来生成更新优化路径信息，以避免所述潜在干扰驾驶。作为一例，如果所述潜在干扰驾驶指示，所述干扰车辆可能在所述相对自动驾驶车辆的前方，在相同车道上缓慢预驾驶，所述计算装置100，可以使所述计划模块150，获取位于所述目标自动驾驶车辆所在当前车道的左侧和右侧中至少一个的至少一个邻近车道的车道平均速度信息。这种所述车道平均速度信息，可以是通过使用位于每个所述区间之间的所述相机获取的，可以是通过所述V2X通信模块130，从所述中央服务器200传输到所述计划模块150的。
此后，所述计算装置100，使所述计划模块150，参考所述车道平均速度信息，以添加与所述邻近车道相对应而执行的回避驾驶的方式修改所述当前优化路径信息以避免所述潜在干扰驾驶，从而生成所述更新优化路径信息。所述车道平均速度信息可用于寻找更适合超车的车道。将参考图5，来确认关于所述车道平均速度信息的使用的示例。
图5是示意性示出为了执行根据本发明一实施例的方法而修改当前优化路径信息的方式的图，所述方法为利用所述V2X通信和所述图像处理，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的所述路况中，计划自动驾驶的方法。
参考图5，位于所述左侧的车道的平均速度比位于所述右侧的车道的平均速度更快。在这种情况下，选择位于所述左侧的车道更适合超车。因此，将会选择位于所述左侧的车道，将使用位于所述左侧的车道的所述回避驾驶添加到所述当前优化路径信息，从而可能生成所述更新优化路径信息。
通过使用如上所述的所述计划方法，在可进行所述V2X通信的车辆与无法进行所述V2X通信的车辆共存的路况中也能够有效地进行自动驾驶。
并且，以上描述的根据本发明的实施例可以各种计算机部件执行的程序指令的形式来实现并存储在计算机可读存储介质。所述计算机可读存储介质可以单独或组合包括程序指令、数据文件、数据结构等。存储在所述计算机可读存储介质的程序指令，可以是为本发明专门设计并组成的，或者可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括，如硬盘、软盘和磁带的磁性介质、如CD-ROM、DVD的光学记录介质、如软盘的磁光介质以及专门配置用于存储并执行如ROM、RAM、闪存等程序指令的硬件装置。程序指令的示例不仅包括如由编译器产生的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置，可配置为一个或多个软件模块来操作，以执行根据本发明的过程，反之亦然。
以上，虽然本发明根据具体的部件等特定实施方案和有限的实施例及附图进行了描述，这只是为了帮助更全面地理解本发明而提供的，本发明并不限于上述实施例，在本发明所属的技术领域中，普通技术人员可以从这些记载中进行各种修改和变化。
因此，本发明的思想不能限于上述描述的实施例而定，不仅是后述的权利范围，与该权利范围均等或等价变形的一切，都属于本发明的思想范畴。

Claims (24)

1.一种用于计划自动驾驶的方法，所述方法使用车对万物通信以及图像处理，在可进行所述车对万物通信的车辆与无法进行所述车对万物通信的车辆共存的路况中计划自动驾驶，其特征在于，包括：
步骤(a)，计算装置，使计划模块，与车对万物通信模块和图像处理模块中的至少一个联动，获取对至少一部分邻近车辆的识别信息，其中，所述邻近车辆包括以下中的至少一部分：(i)位于距与所述计算装置相对应的目标自动驾驶车辆，比临界距离更近的距离并包括可进行所述车对万物通信的一个以上第一车辆的第一群，以及(ii)位于距所述目标自动驾驶车辆，比所述临界距离更近的距离并包括无法进行所述车对万物通信的一个以上第二车辆的第二群；
步骤(b)，所述计算装置，使所述计划模块，参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆；以及
步骤(c)，所述计算装置，使所述计划模块，通过与所述车对万物通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，并修改所述当前优化路径信息以参考所述潜在干扰预测模型来避免预测的所述干扰车辆的潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息；
其中，在所述步骤(c)中，
所述计算装置，当所述干扰车辆属于所述第二群时，(i)使所述图像处理模块，(i-1)通过设置于所述目标自动驾驶车辆的至少一个相机，获取包括所述干扰车辆的建模图像，(i-2)对所述建模图像应用一个以上第二神经网络运算生成所述干扰车辆的加速能力信息，并将所述加速能力信息传输至所述计划模块，(ii)使所述计划模块，使用所述图像处理模块以及所述车对万物通信模块中至少一个，参考获取的所述干扰车辆的当前速度信息以及所述加速能力信息，生成所述潜在干扰预测模型。
2.根据权利要求1所述的方法，其特征在于，包括：
在所述步骤(a)中，
所述计算装置，使包括在所述图像处理模块的第一神经网络，通过设置于所述目标自动驾驶车辆的至少一个相机，获取与从所述目标自动驾驶车辆对应至少一个方向的至少一个情况图像，并对所述情况图像适用一个以上第一神经网络运算，生成所述识别信息之后，将所述识别信息传输至所述计划模块，其中，所述识别信息包括：(i)车辆标识信息、(ii)车辆外观信息、以及(iii)来自所述目标自动驾驶车辆的车辆相对位置信息中至少一部分。
3.根据权利要求2所述的方法，其特征在于，包括：
在所述步骤(b)中，
所述计算装置，使所述计划模块，(i)使用所述目标自动驾驶车辆在临界时间内对预驾驶方向的预定驾驶方向信息生成预定驾驶方向矢量，并使用与所述至少一部分邻近车辆相对应的所述车辆相对位置信息生成一个以上相对位置矢量，(ii)生成所述预定驾驶方向矢量与每个所述相对位置矢量之间的每个类似分数之后，(iii)在所述邻近车辆中，选择具有临界类似分数以上的特定类似分数的至少一个特定邻近车辆作为所述干扰车辆。
4.根据权利要求2所述的方法，其特征在于，包括：
在所述步骤(b)中，
所述计算装置，使所述计划模块，在由所述图像处理模块获取的所述情况图像中参考关于包括所述邻近车辆的边界框的位置的信息，选择至少一个特定邻近车辆作为所述干扰车辆，其中，与所述特定邻近车辆相对应的部分图像位于所述情况图像的当前车道区域内，所述当前车道区域与所述目标自动驾驶车辆所在道路的当前车道对应。
5.根据权利要求1所述的方法，其特征在于，包括：
在所述步骤(c)中，
所述计算装置，(I)使包括在所述图像处理模块的第二神经网络，进一步参考所述目标自动驾驶车辆的自驾车速度信息，对所述建模图像应用一个以上第2-1神经网络运算，所述第2-1神经网络运算为所述第二神经网络运算的至少一部分，从而生成，(i)与所述目标自动驾驶车辆相关的所述干扰车辆的相对速度信息，(ii)与所述干扰车辆的级别相对应的类别信息，以及(iii)与所述干扰车辆的体积与质量中至少一部分相对应的加速变量信息，(II)使所述第二神经网络，对已级联的矢量应用一个以上第2-2神经网络运算，从而生成所述干扰车辆的所述加速能力信息，所述矢量作为组成要素包括所述车辆相对速度信息、所述类别信息以及所述加速变量信息，所述第2-2神经网络运算为所述第二神经网络运算的至少一部分。
6.根据权利要求5所述的方法，其特征在于，包括：
在所述步骤(c)中，
所述计算装置，使所述第二神经网络，对进一步包括当前区间平均速度信息的所述已级联的矢量，应用所述第2-2神经网络运算，生成所述加速能力信息，其中，所述当前区间平均速度信息是所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度的信息。
7.根据权利要求1所述的方法，其特征在于，包括：
所述计算装置，使所述计划模块，参考所述加速能力信息与所述当前速度信息生成所述潜在干扰预测模型，所述加速能力信息与所述当前速度信息是参考所述干扰车辆的速度比率信息与当前区间平均速度信息而生成的，其中，比较所述邻近车辆和所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度与每个所述过去区间内的每个所述干扰车辆的速度而生成所述速度比率信息后，将所述速度比率信息从中央服务器传输到所述车对万物通信模块；计算所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度而生成所述当前区间平均速度信息后，将所述当前区间平均速度信息从所述中央服务器传输到所述车对万物通信模块。
8.根据权利要求1所述的方法，其特征在于，包括：
所述计算装置，使所述第二神经网络，将所述第二神经网络运算应用于所述建模图像，与所述加速能力信息一同生成所述当前速度信息之后，将所述当前速度信息与所述加速能力信息传输至所述计划模块，使所述计划模块，参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
9.根据权利要求1所述的方法，其特征在于，包括：
所述计算装置，使所述计划模块，参考(i)与所述目标自动驾驶车辆为避免所述潜在干扰驾驶的时间相对应的碰撞时间，(ii)所述加速能力信息，以及(iii)所述当前速度信息，生成预测速度范围信息，从而生成包括所述预测速度范围信息的所述潜在干扰预测模型。
10.根据权利要求1所述的方法，其特征在于，包括：
在所述步骤(c)中，
所述计算装置，当所述干扰车辆属于所述第一群时，使所述车对万物通信模块，与所述干扰车辆通信，从而获取所述干扰车辆的预定路径信息，使所述计划模块，参考所述预定路径信息，生成所述潜在干扰预测模型。
11.根据权利要求1所述的方法，其特征在于，包括：
在所述步骤(c)中，
所述计算装置，使所述计划模块，(i)获取位于所述目标自动驾驶车辆所在的当前车道的左侧和右侧中至少一个的至少一个邻近车道的车道平均速度信息，(ii)为了避免所述潜在干扰驾驶，参考所述车道平均速度信息，以添加对应所述邻近车道而执行的回避驾驶的方式修改所述当前优化路径信息，从而生成所述更新优化路径信息。
12.一种用于计划自动驾驶的方法，所述方法使用车对万物通信以及图像处理，在可进行所述车对万物通信的车辆与无法进行所述车对万物通信的车辆共存的路况中计划自动驾驶，其特征在于，包括：
步骤(a)，计算装置，使计划模块，与车对万物通信模块和图像处理模块中的至少一个联动，获取对至少一部分邻近车辆的识别信息，其中，所述邻近车辆包括以下中的至少一部分：(i)位于距与所述计算装置相对应的目标自动驾驶车辆，比临界距离更近的距离并包括可进行所述车对万物通信的一个以上第一车辆的第一群，以及(ii)位于距所述目标自动驾驶车辆，比所述临界距离更近的距离并包括无法进行所述车对万物通信的一个以上第二车辆的第二群；
步骤(b)，所述计算装置，使所述计划模块，参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆；以及
步骤(c)，所述计算装置，使所述计划模块，通过与所述车对万物通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，并修改所述当前优化路径信息以参考所述潜在干扰预测模型来避免预测的所述干扰车辆的潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息；
其中，在所述步骤(c)中，
所述计算装置，当所述干扰车辆属于所述第二群时，使所述车对万物通信模块，(i)从中央服务器，获取(i-1)所述干扰车辆的加速能力信息，(i-2)对所述邻近车辆与所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度和每个所述过去区间内的每个所述干扰车辆的速度进行比较而生成的所述干扰车辆的速度比率信息，以及(i-3)计算当前区间内车辆的平均速度而生成的当前区间平均速度信息，(ii)参考所述速度比率信息与当前区间平均速度信息，生成所述干扰车辆的当前速度信息之后，(iii)参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
13.一种用于计划自动驾驶的计算装置，所述计算装置使用车对万物通信以及图像处理，在可进行所述车对万物通信的车辆与无法进行所述车对万物通信的车辆共存的道路中计划自动驾驶，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被配置执行用于进行以下过程的指令，其中，过程(I)使计划模块，通过与车对万物通信模块和图像处理模块中的至少一个联动，获取对邻近车辆中至少一部分的识别信息，所述邻近车辆包括以下中的至少一部分，(i)位于距与所述计算装置相对应的目标自动驾驶车辆，比临界距离更近的距离并包括可进行所述车对万物通信的一个以上第一车辆的第一群；以及(ii)位于距所述目标自动驾驶车辆，比所述临界距离更近的距离并包括无法进行所述车对万物通信的一个以上第二车辆的第二群，过程(II)使所述计划模块，通过参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆，以及过程(III)使所述计划模块，通过与所述车对万物通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，修改所述当前优化路径信息以参考所述潜在干扰预测模型来避免预测的所述干扰车辆的潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息；
其中，在所述过程(III)中，
所述处理器，当所述干扰车辆属于所述第二群时，(i)使所述图像处理模块，(i-1)通过设置于所述目标自动驾驶车辆的至少一个相机，获取包括所述干扰车辆的建模图像，(i-2)对所述建模图像应用一个以上第二神经网络运算来生成所述干扰车辆的加速能力信息，并将所述加速能力信息传输至所述计划模块，(ii)使所述计划模块，使用所述图像处理模块以及所述车对万物通信模块中至少一个，参考获取的所述干扰车辆的当前速度信息以及所述加速能力信息，生成所述潜在干扰预测模型。
14.根据权利要求13所述的计算装置，其特征在于，包括：
在所述过程(I)中，
所述处理器，使包括在所述图像处理模块的第一神经网络，通过设置于所述目标自动驾驶车辆的至少一个相机，获取与从所述目标自动驾驶车辆对应至少一个方向的至少一个情况图像，并对所述情况图像适用一个以上第一神经网络运算，来生成所述识别信息之后，将所述识别信息传输至所述计划模块，其中，所述识别信息包括：(i)车辆标识信息、(ii)车辆外观信息、以及(iii)来自所述目标自动驾驶车辆的车辆相对位置信息中至少一部分。
15.根据权利要求14所述的计算装置，其特征在于，包括：
在所述过程(II)中，
所述处理器，使所述计划模块，(i)使用所述目标自动驾驶车辆在临界时间内对预驾驶方向的预定驾驶方向信息来生成预定驾驶方向矢量，并使用与所述至少一部分邻近车辆相对应的所述车辆相对位置信息来生成一个以上相对位置矢量，(ii)生成所述预定驾驶方向矢量与每个所述相对位置矢量之间的每个类似分数之后，(iii)在所述邻近车辆中，选择具有临界类似分数以上的特定类似分数的至少一个特定邻近车辆作为所述干扰车辆。
16.根据权利要求14所述的计算装置，其特征在于，包括：
在所述过程(II)中，
所述处理器，使所述计划模块，在由所述图像处理模块获取的所述情况图像中参考关于包括所述邻近车辆的边界框的位置的信息，来选择至少一个特定邻近车辆作为所述干扰车辆，其中，与所述特定邻近车辆相对应的部分图像位于所述情况图像的当前车道区域内，所述当前车道区域与所述目标自动驾驶车辆所在道路的当前车道对应。
17.根据权利要求13所述的计算装置，其特征在于，包括：
在所述过程(III)中，
所述处理器，(i)使包括在所述图像处理模块的第二神经网络，进一步参考所述目标自动驾驶车辆的自驾车速度信息，对所述建模图像应用一个以上第2-1神经网络运算，所述第2-1神经网络运算为所述第二神经网络运算的至少一部分，从而生成，(i-1)与所述目标自动驾驶车辆相关的所述干扰车辆的相对速度信息，(i-2)与所述干扰车辆的级别相对应的类别信息，以及(i-3)与所述干扰车辆的体积与质量中至少一部分相对应的加速变量信息，(ii)使所述第二神经网络，对已级联的矢量应用一个以上第2-2神经网络运算，从而生成所述干扰车辆的所述加速能力信息，所述矢量作为组成要素包括所述车辆相对速度信息、所述类别信息以及所述加速变量信息，所述第2-2神经网络运算为所述第二神经网络运算的至少一部分。
18.根据权利要求17所述的计算装置，其特征在于，包括：
在所述过程(III)中，
所述处理器，使所述第二神经网络，对进一步包括当前区间平均速度信息的所述已级联的矢量，应用所述第2-2神经网络运算，生成所述加速能力信息其中，所述当前区间平均速度信息是所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度的信息。
19.根据权利要求13所述的计算装置，其特征在于，包括：
所述处理器，使所述计划模块，参考所述加速能力信息与所述当前速度信息生成所述潜在干扰预测模型，所述加速能力信息与所述当前速度信息是参考所述干扰车辆的速度比率信息与当前区间平均速度信息而生成的，其中，比较对所述邻近车辆和所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度与每个所述过去区间内的每个所述干扰车辆的速度而生成所述速度比率信息后，将所述速度比率信息从中央服务器传输到所述车对万物通信模块；计算所述邻近车辆与所述目标自动驾驶车辆对当前正在行驶的道路的当前区间内车辆的平均速度而生成所述当前区间平均速度信息后，将所述当前区间平均速度信息从所述中央服务器传输到所述车对万物通信模块。
20.根据权利要求13所述的计算装置，其特征在于，包括：
所述处理器，使所述第二神经网络，将所述第二神经网络运算应用于所述建模图像，与所述加速能力信息一同生成所述当前速度信息之后，将所述当前速度信息与所述加速能力信息传输至所述计划模块，使所述计划模块，参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
21.根据权利要求13所述的计算装置，其特征在于，包括：
所述处理器，使所述计划模块，参考(i)与所述目标自动驾驶车辆为避免所述潜在干扰驾驶的时间相对应的碰撞时间，(ii)所述加速能力信息，以及(iii)所述当前速度信息，生成预测速度范围信息，从而生成包括所述预测速度范围信息的所述潜在干扰预测模型。
22.根据权利要求13所述的计算装置，其特征在于，包括：
在所述过程(III)中，
所述处理器，当所述干扰车辆属于所述第一群时，使所述车对万物通信模块，与所述干扰车辆通信，从而获取所述干扰车辆的预定路径信息，使所述计划模块，参考所述预定路径信息，生成所述潜在干扰预测模型。
23.根据权利要求13所述的计算装置，其特征在于，包括：
在所述过程(III)中，
所述处理器，使所述计划模块，(i)获取位于所述目标自动驾驶车辆所在的当前车道的左侧和右侧中至少一个的至少一个邻近车道的车道平均速度信息，(ii)为了避免所述潜在干扰驾驶，参考所述车道平均速度信息，以添加对应所述邻近车道而执行的回避驾驶的方式修改所述当前优化路径信息，从而生成所述更新优化路径信息。
24.一种用于计划自动驾驶的计算装置，所述计算装置使用车对万物通信以及图像处理，在可进行所述车对万物通信的车辆与无法进行所述车对万物通信的车辆共存的道路中计划自动驾驶，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被配置执行用于进行以下过程的指令，其中，过程(I)使计划模块，通过与车对万物通信模块和图像处理模块中的至少一个联动，获取对邻近车辆中至少一部分的识别信息，所述邻近车辆包括以下中的至少一部分，(i)位于距与所述计算装置相对应的目标自动驾驶车辆，比临界距离更近的距离并包括可进行所述车对万物通信的一个以上第一车辆的第一群；以及(ii)位于距所述目标自动驾驶车辆，比所述临界距离更近的距离并包括无法进行所述车对万物通信的一个以上第二车辆的第二群，过程(II)使所述计划模块，通过参考对所述目标自动驾驶车辆的当前优化路径信息和所述识别信息，在所述邻近车辆中，选择至少一个干扰车辆，其中，所述干扰车辆是指干扰所述目标自动驾驶车辆的概率大于或等于临界概率的车辆，以及过程(III)使所述计划模块，通过与所述车对万物通信模块和所述图像处理模块中的至少一个联动，来生成对于所述干扰车辆的潜在干扰预测模型，修改所述当前优化路径信息以参考所述潜在干扰预测模型来避免预测的所述干扰车辆的潜在干扰驾驶，从而生成对所述目标自动驾驶车辆的更新优化路径信息；
其中，在所述过程(III)中，
所述处理器，当所述干扰车辆属于所述第二群时，使所述车对万物通信模块，(i)从中央服务器，获取(i-1)所述干扰车辆的加速能力信息，(i-2)对所述邻近车辆与所述目标自动驾驶车辆所行驶的道路的每个过去区间的每个平均速度和每个所述过去区间内的每个所述干扰车辆的速度进行比较而生成的所述干扰车辆的速度比率信息，以及(i-3)计算当前区间内车辆的平均速度而生成的当前区间平均速度信息，(ii)参考所述速度比率信息与当前区间平均速度信息，生成所述干扰车辆的当前速度信息之后，(iii)参考所述当前速度信息与所述加速能力信息生成所述潜在干扰预测模型。
CN202010034290.7A 2019-01-31 2020-01-13 通过信息融合来计划自动驾驶的短期路径的方法及装置 Active CN111506058B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799207P 2019-01-31 2019-01-31
US62/799,207 2019-01-31
US16/724,475 US10861183B2 (en) 2019-01-31 2019-12-23 Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing
US16/724,475 2019-12-23

Publications (2)

Publication Number Publication Date
CN111506058A CN111506058A (zh) 2020-08-07
CN111506058B true CN111506058B (zh) 2023-08-22

Family

ID=69191915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010034290.7A Active CN111506058B (zh) 2019-01-31 2020-01-13 通过信息融合来计划自动驾驶的短期路径的方法及装置

Country Status (5)

Country Link
US (1) US10861183B2 (zh)
EP (1) EP3693944A1 (zh)
JP (1) JP6916551B2 (zh)
KR (1) KR102306939B1 (zh)
CN (1) CN111506058B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210327280A1 (en) * 2020-04-21 2021-10-21 Qualcomm Incorporated Cluster-based approach to positioning of vehicles in vehicle platooning or autonomous trucking
WO2022097869A1 (ko) * 2020-11-05 2022-05-12 엘지전자 주식회사 사이드링크를 지원하는 무선 통신 시스템에서 제1 장치가 v2x 차량의 주행을 제어하는 방법 및 이를 위한 장치
CN112185123A (zh) * 2020-11-06 2021-01-05 广州南洋理工职业学院 一种基于车联网车辆安全间距预警的方法
US11443518B2 (en) 2020-11-30 2022-09-13 At&T Intellectual Property I, L.P. Uncrewed aerial vehicle shared environment privacy and security
US11797896B2 (en) 2020-11-30 2023-10-24 At&T Intellectual Property I, L.P. Autonomous aerial vehicle assisted viewing location selection for event venue
US11726475B2 (en) 2020-11-30 2023-08-15 At&T Intellectual Property I, L.P. Autonomous aerial vehicle airspace claiming and announcing
CN112758105B (zh) * 2020-12-30 2022-03-22 上海汽车集团股份有限公司 一种自动驾驶车队跟车行驶控制方法、装置及系统
DE102021201063A1 (de) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Systems für ein zumindest teilweise assistiert betriebenes Kraftfahrzeug, Computerprogrammprodukt sowie System
JP7347461B2 (ja) * 2021-03-05 2023-09-20 トヨタ自動車株式会社 自動駐車システム及び自動駐車システムの制御方法
CN113442950B (zh) * 2021-08-31 2021-11-23 国汽智控(北京)科技有限公司 基于多车辆的自动驾驶控制方法、装置和设备
TWI790825B (zh) 2021-11-19 2023-01-21 財團法人工業技術研究院 安全距離估算系統及其估算方法
CN114283574B (zh) * 2021-12-29 2022-10-28 湖南师范大学 一种基于卷积策略的车辆调度评价方法
CN115019503B (zh) * 2022-05-12 2023-06-16 东风汽车集团股份有限公司 基于信息共享的飞行汽车混合交通流下空间轨道分配方法
CN117341723A (zh) * 2022-06-28 2024-01-05 深圳市中兴微电子技术有限公司 自动驾驶方法及系统
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030798A (ja) * 1999-07-26 2001-02-06 Mazda Motor Corp 車両の走行制御装置
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
CN106335507A (zh) * 2015-07-07 2017-01-18 株式会社万都 距离计算装置及方法、驾驶辅助装置及驾驶辅助系统
JP2018097715A (ja) * 2016-12-15 2018-06-21 株式会社Ｓｏｋｅｎ 運転支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4239771B2 (ja) 2003-09-18 2009-03-18 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2011227582A (ja) 2010-04-15 2011-11-10 Toyota Motor Corp 車両用衝突予測装置
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
JP6155973B2 (ja) * 2013-08-27 2017-07-05 株式会社デンソー 運転支援装置、および運転支援方法
US9767687B2 (en) * 2015-09-11 2017-09-19 Sony Corporation System and method for driving assistance along a path
JP6657789B2 (ja) 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
CN105976631A (zh) * 2015-11-06 2016-09-28 乐卡汽车智能科技（北京）有限公司 一种车辆数据处理方法及车辆终端
US9922553B2 (en) * 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
US10747234B1 (en) * 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
JP6688655B2 (ja) * 2016-03-31 2020-04-28 株式会社Ｓｕｂａｒｕ 車両状態監視装置
JP6733535B2 (ja) * 2016-12-19 2020-08-05 株式会社デンソー 運転支援装置
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
KR102412615B1 (ko) * 2017-09-07 2022-06-23 삼성전자주식회사 단말간 전송들 사이 충돌들을 고려하는 무선 통신 방법 및 장치
KR102414456B1 (ko) * 2017-10-23 2022-06-30 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
KR102445365B1 (ko) * 2018-03-19 2022-09-20 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11113971B2 (en) * 2018-06-12 2021-09-07 Baidu Usa Llc V2X communication-based vehicle lane system for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030798A (ja) * 1999-07-26 2001-02-06 Mazda Motor Corp 車両の走行制御装置
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
CN106335507A (zh) * 2015-07-07 2017-01-18 株式会社万都 距离计算装置及方法、驾驶辅助装置及驾驶辅助系统
JP2018097715A (ja) * 2016-12-15 2018-06-21 株式会社Ｓｏｋｅｎ 運転支援装置

Also Published As

Publication number Publication date
KR20200096115A (ko) 2020-08-11
CN111506058A (zh) 2020-08-07
US20200250848A1 (en) 2020-08-06
KR102306939B1 (ko) 2021-10-05
EP3693944A1 (en) 2020-08-12
US10861183B2 (en) 2020-12-08
JP6916551B2 (ja) 2021-08-11
JP2020126619A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111506058B (zh) 通过信息融合来计划自动驾驶的短期路径的方法及装置
US11698263B2 (en) Safety and comfort constraints for navigation
US20200250541A1 (en) Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
WO2022052406A1 (zh) 一种自动驾驶训练方法、装置、设备及介质
US11499834B2 (en) Aligning road information for navigation
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
CN111507369B (zh) 自动行驶车辆空间学习方法及装置、测试方法及装置
US11654933B2 (en) Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
CN111507373A (zh) 执行无缝参数变更的方法及装置
Saxena et al. Multiagent sensor fusion for connected & autonomous vehicles to enhance navigation safety
Friji et al. A dqn-based autonomous car-following framework using rgb-d frames
Reda et al. Path planning algorithms in the autonomous driving system: A comprehensive review
US20210398014A1 (en) Reinforcement learning based control of imitative policies for autonomous driving
CN117002530A (zh) 车辆未来运动轨迹预测方法、装置及无人驾驶设备
Chipka et al. Estimation and navigation methods with limited information for autonomous urban driving
US20230071810A1 (en) System and method for providing spatiotemporal costmap inference for model predictive control
Ren et al. Intelligent path planning and obstacle avoidance algorithms for autonomous vehicles based on enhanced rrt algorithm
EP4124995A1 (en) Training method for training an agent for controlling a controlled device, control method for controlling the controlled device, computer program(s), computer readable medium, training system and control system
US20220036173A1 (en) Systems and methods for corridor intent prediction
Dey Perception Architecture Exploration for Automotive Cyber-Physical Systems
CN118270013A (zh) 机动车未来行驶轨迹预测方法、装置及无人驾驶设备
GB2625589A (en) Generating a trajectory for an autonomous vehicle
CN113753033A (zh) 一种车辆、车辆驾驶任务选择方法及装置
CN116048096A (zh) 一种基于层次化深度感知的无人车运动规划方法
CN118274868A (zh) 用于自主导航的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant