JP2020126619A - V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} - Google Patents

V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} Download PDF

Info

Publication number
JP2020126619A
JP2020126619A JP2020005636A JP2020005636A JP2020126619A JP 2020126619 A JP2020126619 A JP 2020126619A JP 2020005636 A JP2020005636 A JP 2020005636A JP 2020005636 A JP2020005636 A JP 2020005636A JP 2020126619 A JP2020126619 A JP 2020126619A
Authority
JP
Japan
Prior art keywords
vehicle
information
computing device
current
disturbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005636A
Other languages
English (en)
Other versions
JP6916551B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
申東洙
Dongsoo Shin
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
李明春
Myeong-Chun Lee
李炯樹
Hyungsoo Lee
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126619A publication Critical patent/JP2020126619A/ja
Application granted granted Critical
Publication of JP6916551B2 publication Critical patent/JP6916551B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

【課題】V2X通信及びイメージ処理を利用して、V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングする方法を提供する。【解決手段】方法は、対象自律走行車両に対応するコンピューティング装置が、プランニングモジュールをもって、V2X通信が可能な第1車両を含んでいる第1群及びV2X通信が不可能な第2車両を含んでいる第2群を含む周辺車両に対する認識情報を取得するようにする段階と、コンピューティング装置が、プランニングモジュールをもって、周辺車両の中の妨害車両を選択するようにする段階と、コンピューティング装置が、プラニングモジュールをもって、潜在的妨害予測モデルを参照に予測するようにし、潜在的妨害走行を避けるために現在最適化経路情報を修正することで、対象自律走行車両に対する更新最適化経路情報を生成するようにする段階と、を含む。【選択図】図1

Description

本発明は、自律走行車両に利用するための方法及び装置に関し;より詳細には、V2X(Vehicle−to−everything)通信が可能な車両と前記のV2X通信が不可能な車両とが混在している道路状況で、情報融合によって自律走行の短期経路をプランニングするための前記方法及び前記装置に関する。
近頃、自律走行技術は多くの関心を集めている。したがって、近い将来に自律走行技術が商用化されるものと期待される。ところが、これまでこのような自律走行技術関連の研究の大多数は、自律走行車両に搭載されたコンピューティング装置による自律走行車両の安全走行に関する技術が中心だった。すなわち、自律走行の際に他の車両と相互作用する技術はあまり考慮されておらず、前記コンピューティング装置が搭載されている車両を安全に走行させる技術が主に考慮されていた。
だが、通信技術の発達で車両どうしがやり取りできる情報量が増加したため、V2X(Vehicle−to−everything)通信技術を利用して、他の車両とコミュニケーションすることが重要になった。他の車両によって生成された情報を利用して車両を走行することになれば、他の車両だけでなく前記車両のより安全な走行を図ることができる。
しかし、このようなV2X通信技術を積極的に利用して自律走行をプランニングする技術は多く存在していないのが現状だ。
本発明は、前述した問題点を解決することを目的とする。
本発明は、V2X(Vehicle−to−everything)通信及びイメージ処理を利用して自律走行をプランニングする方法を提供することで、自律走行がより安全になされるようにすることを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニング(planning)する方法において、(a)コンピューティング装置が、プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにする段階;(b)前記コンピューティング装置が、前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにする段階;及び(c)前記コンピューティング装置が、前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために、前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにする段階;を含むことを特徴とする方法が開示される。
一例として、前記(a)段階で、前記コンピューティング装置が、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする。
一例として、前記(b)段階で、前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする。
一例として、前記(b)段階で、前記コンピューティング装置が、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)上前モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、(I)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(ii)前記妨害車両のクラスに対応するカテゴリ情報、及び(iii)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(II)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする。
一例として、前記コンピューティング装置が、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする。
一例として、前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(c)段階で、前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする。
本発明の他の態様によれば、V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングするコンピューティング装置において、各インストラクションを格納する少なくとも一つのメモリ;及び(I)プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにするプロセス、(II)前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにするプロセス、及び(III)前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含むことを特徴とするコンピューティング装置。
一例として、前記(I)プロセスで、前記プロセッサが、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする。
一例として、前記(II)プロセスで、前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする。
一例として、前記(II)プロセスで、前記プロセッサが、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)上前モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、(i)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i−1)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(i−2)前記妨害車両のクラスに対応するカテゴリ情報、及び(i−3)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(ii)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする。
一例として、前記プロセッサが、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする。
一例として、前記プロセッサが、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする。
一例として、前記(III)プロセスで、前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読読可能な記録媒体がさらに提供される。
本発明によれば、V2X通信及びイメージ処理を利用して、自律走行をプランニングする方法を提供することで自律走行がより安全になされるようにすることができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者(以下「通常の技術者」)は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図1は、本発明の一例に係るV2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングするコンピューティング装置の構成を概略的に示した図面である。 図2は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で前記自律走行をプランニングする方法を遂行するために、妨害車両を選択する方式を概略的に示した図面である。 図3は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で前記自律走行をプランニングする方法を遂行するために利用される第2ニューラルネットワークを概略的に示した図面である。 図4は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で、前記自律走行をプランニングする方法を遂行するために利用される前記妨害車両の現在速度情報が、現在セクション平均速度情報を利用して生成されるプロセスの概略的な例示図面である。 図5は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で、前記自律走行をプランニングする方法を遂行するために利用される最適化経路情報を修正する方式を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図1は、本発明の一例に係るV2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニング(planning)するコンピューティング装置の構成を概略的に示した図面である。
図1を参照すれば、前記コンピューティング装置100は、後に詳しく説明する構成要素である、少なくとも一つのV2X通信モジュール130、少なくとも一つのイメージ処理モジュール140及び少なくとも一つのプランニングモジュール150を含み得る。前記V2X通信モジュール130、前記イメージ処理モジュール140及び前記プランニングモジュール150の入出力及び演算過程はそれぞれ少なくとも一つの通信部110及び少なくとも一つのプロセッサ120によって行われ得る。ただし、図1では、前記通信部110及び前記プロセッサ120の具体的な連結関係を省略した。この際、メモリ115は、後述するいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ120は、前記メモリ115に格納された前記インストラクションを実行することができ、前記プロセッサ120は、後から説明されるプロセスを実行することにより本発明を行うことができる。このように前記コンピューティング装置100が描写されたところで、前記コンピューティング装置100が本発明を実施するための媒体、前記プロセッサ、前記メモリ、または他のコンピューティング構成要素が統合された形態である少なくとも一つの統合プロセッサを含む場合を排除するものではない。
このようなコンピューティング装置100は、対象自律走行車両に含まれるか、遠隔無線通信によって前記対象自律走行車両を制御するように構成された制御サーバに含まれ得る。
また、前記コンピューティング装置100は、中央サーバ200と通信して連動され得る。後から説明するが、本発明の前記プランニング方法は、前記妨害車両が、前記V2X通信が不可能な場合においても、前記中央サーバ200と連動して前記対象自律走行車両の周辺に位置する少なくとも一つの妨害車両に関する情報を取得する方法を含む。
以上、本発明の一例に係る前記プランニング方法を遂行する前記コンピューティング装置100の構成について説明したので、本発明の前記プランニング方法について概括的に説明する。
まず、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記V2X通信モジュール130及び前記イメージ処理モジュール140のうちの少なくとも一つと連動して周辺車両の中の少なくとも一部に対する認識情報を取得できる。この際、前記周辺車両は、前記対象自律走行車両から距離閾値より近い距離に位置し、かつ前記V2X通信が可能な一つ以上の第1車両を含む第1群と、前記対象自律走行車両から前記距離閾値より近い距離に位置し、かつ前記V2X通信が不可能な一つ以上の第2車両を含む第2群との中の少なくとも一部を含むことができる。
以降、前記コンピューティング装置100が、前記プランニングモジュール150をもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両の中の妨害車両を選択するようにすることができる。この際、前記妨害車両は、前記周辺車両のうちの前記対象自律走行車両を妨害する確率が確率閾値以上の車両であり得る。
そして、前記コンピューティング装置100が、前記プランニングモジュール150をもって、前記V2X通信モジュール130及び前記イメージ処理モジュール140のうちの少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにすることができる。その後、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにすることができる。このような更新最適化経路情報は、前記自律走行をプランニングするのに活用され得る。
以上、概括的な本発明の前記プランニング方法について説明した。以下、これをさらに具体的に説明する。
本発明の前記プランニング方法を遂行するための最初の段階として、認識情報を取得するために前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記V2X通信モジュール130または前記イメージ処理モジュール140と連動するようにすることができる。まず、前記プランニングモジュール150が前記イメージ処理モジュール140と連動する方法について説明する。
つまり、前記コンピューティング装置100が、前記イメージ処理モジュール140に含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし得る。このような状況イメージが取得されると、前記コンピューティング装置100は、前記第1ニューラルネットワークをもって、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識情報を生成するようにすることができる。一例として、前記第1ニューラルネットワークは、少なくとも一つの第1コンボリューションレイヤと、少なくとも一つの第1プーリングレイヤと、少なくとも一つの第1FC(fully connected)レイヤとを含み、第1RPN(Region Proposal Network)と連動することができる。そして、前記第1ニューラルネットワークは、本発明の前記プランニング方法を遂行する前に、少なくとも一つの第1トレーニングイメージ及びこれに対応する少なくとも一つの第1GT(ground truth)を利用して学習が完了した状態であり得る。この際、前記第1ニューラルネットワーク演算とは、前記第1ニューラルネットワークに入力される前記状況イメージに前記第1コンボリューションレイヤと、前記第1プーリングレイヤと、前記第1FCレイヤとによる演算が適用されるようにする演算であり得る。
この際、このような前記第1ニューラルネットワークの過程によって生成された前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含み得る。一例として、前記車両識別子情報は、前記状況イメージに含まれた前記周辺車両のナンバープレートに対応する部分イメージを参照として、取得した前記周辺車両の一つ以上の登録番号に関する情報を含み得る。そして前記車両外観情報は、前記周辺車両の、一つ以上の色と、一つ以上の形と、一つ以上のクラスとに関する情報を含み得る。また、前記車両相対位置情報は、前記対象自律走行車両から前記周辺車両までの、一つ以上の縦方向距離及び一つ以上の横方向距離を要素として含む前記周辺車両の一つ以上の相対座標に関する情報を含み得る。前記で示したとおり、前記認識情報は、前記イメージ処理モジュール140を通じて取得され得る。
次に、前記認識情報が前記V2X通信モジュール130によって取得される方法について説明する。前記コンピューティング装置100は、前記V2X通信モジュール130をもって、前記第1群の特定周辺車両と通信するようにし、前記特定周辺車両に関する認識情報を取得するようにすることができる。前記V2X通信モジュール130を利用すれば前記認識情報をより正確に取得し得るが、前記第1群に属する前記特定周辺車両に対してのみ情報を取得することができる。
前記認識情報は、前記イメージ処理モジュール140または前記V2X通信モジュール130を利用した二つの方法によって取得され得る。以下、前記周辺車両のうちの前記妨害車両を選択する方法について説明する。
まず、前記コンピューティング装置100が、前記プランニングモジュール150をもって、前記現在最適化経路情報及び前記認識情報を参照にして前記周辺車両の中の妨害車両を選択するようにすることができる。前記現在最適化経路情報は、事前にプランニングされた前記対象自律走行車両の予定経路に関する情報を含むものであり、前記妨害車両が認識された上で修正され得る。具体的に、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記対象自律走行車両が時間閾値内に、走行する方向に対する予定走行方向の情報を利用して予定走行方向ベクトルを生成し得る。また、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成するようにすることができる。その後、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間それぞれの類似点数を生成するようにした後、前記周辺車両の中の閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択するようにすることができる。
簡単に言えば、前記対象自律走行車両が走行して行く方向に位置する前記特定車両は、前記妨害車両として選択され、前記特定周辺車両は、前記予定走行方向ベクトルと前記相対位置ベクトルとを比較することで選択される。これについて、図2をもとに具体的に説明する。
図2は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で前記自律走行をプランニングする方法を遂行するために、前記妨害車両を選択する方式を概略的に示した図面である。
図2を参照にすれば、第1相対位置ベクトル151、第2相対位置ベクトル152、第3相対ベクトル153及び第4相対位置ベクトル154を確認することができる。この際、前記現在最適化経路情報が前記時間閾値内に直進走行に対応するなら、前記第3相対位置ベクトルに対応する前記特定周辺車両は、前記妨害車両として選択され得る。
前述した方式と異なって、前記イメージの処理モジュール140と連動して前記妨害車両を選択する他の実施例があるので、これについて説明する。
他の実施例の場合、前記コンピューティング装置100は、前記第1ニューラルネットワークをもって、前記認識情報に加えて、(i)前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報及び(ii)前記対象自律走行車両がある道路の現在車線に対応する前記状況イメージの現在車道領域に関する情報を生成させることができる。こうした第1ニューラルネットワークは、前述の情報を出力するように最終レイヤにノードを追加し、前記第1ニューラルネットワークを学習するために利用される、前記現在車道領域に対する情報及び前記バウンディングボックスの位置に関するGT情報を含む調整されたGTを設計することで実装され得る。
その後、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記周辺車両の部分イメージそれぞれが、つまり前記バウンディングボックスそれぞれに対応する前記状況イメージの領域それぞれが前記現在車道領域に位置しているか否かを決定して前記周辺車両が前記現在車道で走行しているかを判断し、前記現在車道を走行している前記特定周辺車両を前記妨害車両として選択させることができる。これらの実施例は、前記対象自律走行車両が直進方向に走行する場合に適用され得る。
以上、前記妨害車両を選択する方法について説明した。次に、前記潜在的妨害予測モデルが生成される方法について説明する。前記潜在的妨害予測モデルを生成するに当たって、前記V2X通信モジュール130及び前記イメージ処理モジュール140の利用によって相違する実施例として区分され得る。このような相違する実施例について一つずつ順番に説明する。
まず、前記妨害車両が前記第1群に属して前記V2X通信モジュール130を重点的に利用する第1実施例について説明する。前記対象自律走行車両が前記第1群の前記妨害車両と通信が可能な場合、前記コンピューティング装置100は、前記V2X通信モジュール130をもって、前記妨害車両と通信することで、前記妨害車両の予定経路情報を取得するようにし、前記予定経路情報を利用して、前記潜在的妨害予測モデルを生成するようにし得る。
さらに具体的には、前記妨害車両が前記第1群に属し、かつ自主走行が可能な車両である場合、前記妨害車両は、自身の現在最適化経路情報を前記予定経路情報として、前記コンピューティング装置100に伝送することができる。この場合、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記予定経路情報に含まれた予測速度範囲情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることができる。これとは異なって、前記妨害車両が前記第1群に属するが自主走行が不可能な車両である場合、前記妨害車両は、自身の現在速度情報と自身の加速能力情報とを前記コンピューティング装置100に伝送することができ、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記現在速度と前記加速能力情報とを利用して前記潜在的妨害予測モデルを生成するようにすることができる。前記現在速度情報及び前記加速能力情報をどのような方式で利用して前記潜在的妨害予測モデルを生成できるかについては、後から説明される。
また、前記妨害車両が前記第2群に属する第2実施例は、三つの下位実施例、つまり前記V2X通信モジュール130及び前記イメージ処理モジュール140に対応する第2−1実施例、前記イメージ処理モジュール140に対応する第2−2実施例及び前記V2X通信モジュール130に対応する第2−3実施例に分けられる。まず、前記第2−1実施例について説明する。
前記第2−1実施例の場合、前記コンピューティング装置100は、前記イメージの処理モジュール140をもって、前記対象自律走行車両に設置された前記カメラによって前記妨害車両を含む少なくとも一つのモデリングイメージを取得するようにすることができる。前記モデリングイメージは、前記状況イメージと同じこともあり得、前記状況イメージより後に撮られた、前記妨害車両を含む新たに取得されたイメージでもあり得る。その後、前記コンピューティング装置100は、前記イメージ処理モジュール140に含まれた第2ニューラルネットワークをもって、前記モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記加速能力情報を生成し、これを前記プランニングモジュール150へ転送するようにし得る。前記第2ニューラルネットワーク及び前記第2ニューラルネットワーク演算について説明するために、図3を参照する。
図3は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で前記自律走行をプランニングする方法を遂行するために利用される前記第2ニューラルネットワークを概略的に示した図面である。
図3参照すれば、前記第2ニューラルネットワーク142は、少なくとも一つの第2−1ニューラルネットワーク142−1及び少なくとも一つの第2−2ニューラルネットワーク142−2を含み得る。前記は、第2−1ニューラルネットワーク142−1は、少なくとも一つの第2−1コンボリューションレイヤと、少なくとも一つの第2−1プーリングレイヤと、少なくとも一つの第2−1FCレイヤとを含み得、第2RPN(未図示)の補助を受けて動作することができる。また、前記第2−2ニューラルネットワーク142−2は、コンカチネーティング(concatenating)レイヤ及び第2−2レイヤを含み得る。このような前記第2−1ニューラルネットワーク142−1及び前記第2−2ニューラルネットワーク142−2は、本発明の前記プランニング方法を遂行する前に、少なくとも一つの第2トレーニングイメージと、これに対応する少なくとも一つの第2GTとを利用して学習され得る。この際、前記第2ニューラルネットワーク演算が前記モデリングイメージに適用され、前記第2−1ニューラルネットワーク142−1と、前記第2−2ニューラルネットワーク142−2との演算が順を追ってモデリングイメージに適用されるようにする。
具体的には、前記モデリングイメージが前記第2−1ニューラルネットワーク142−1に入力されると、前記第2−1コンボリューションレイヤと、前記第2−1プーリングレイヤと、前記第2−1FCレイヤとの演算が前記モデリングイメージに順を追って適用され、(i)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(ii)前記妨害車両のクラスに対応するカテゴリ情報、及び(iii)前記妨害車両の体積と質量とのうちの少なくとも一部に対応する加速変数情報を生成するようにし得る。以降、前記相対速度情報と、前記カテゴリ情報と、前記加速変数情報とに加えて、後から説明される、前記中央サーバ200から前記V2X通信モジュール130に転送されて取得された現在セクション平均速度情報が前記第2−2ニューラルネットワーク142−2に入力されると、前記相対速度情報と、前記カテゴリ情報と、前記加速変数情報と、前記現在セクション平均速度情報とを構成要素として含むコンカチネートされたベクトルが前記コンカチネーティングレイヤによって生成され得、前記コンカチネートされたベクトルに前記第2−2FCレイヤの演算を適用することにより、前記加速能力情報が生成され得る。
この際、前記潜在的妨害予測モデルを生成するためには、前記加速能力情報以外にも前記現在速度情報がさらに必要になる。これにより、前記現在速度情報が取得されるプロセスについて説明する。前記第2−1の実施例の場合、前記現在速度情報は、前記V2X通信モジュールと連動して取得され得る。
前記コンピューティング装置100は、前記V2X通信モジュール130をもって、前記中央サーバ200によって生成された、速度比率情報及び前記現在セクション平均速度情報を取得するようにできる。この際、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成されたものであり得る。また、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成されたものであり得る。このような前記現在セクション平均速度情報と前記速度比率情報は、前記妨害車両の前記現在速度情報を取得するために参照され得る。この過程について、図4をもとに具体的に説明する。
図4は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で、前記自律走行をプランニングする方法を遂行するために利用される前記妨害車両の現在速度情報が、前記現在セクション平均速度情報を利用して生成されるプロセスの概略的な例示図面である。
図4を参照にすれば、第1セクションの第2平均速度(VAVE1)が95km/h、第2セクションの第2平均速度(VAVE2)は98km/h、第3セクションの第3平均速度(VAVE3)は102km/hである場合、前記第1セクションで、前記妨害車両の第1速度(Vi1)は61km/h、前記第2セクションでの前記妨害車両の第2速度(Vi2)は65km/h、第3セクションでの前記妨害車両の第3速度(Vi3)は68km/hであることが確認できる。この場合、前記速度比率情報は

と生成され得、この際、現在セクションである第4セクションの第4平均速度(VAVE4)が101km/hなので、前記現在速度情報は

で生成されることができる。
このような前記現在セクション平均速度情報と前記速度比率情報とは、各セクションを分けた各地点に設置されたそれぞれのカメラを用いて生成されることができる。具体的に、前記中央サーバ200は(i)通り過ぎる車両それぞれをその登録番号と外観情報を利用して特定し、(ii)前記通り過ぎる車両それぞれの速度を測定するための、それぞれの前記セクションを通過するためにかかった時間を計算して、(iii)前記現在セクション平均速度情報を含む、それぞれの前記セクションに関するセクション平均速度情報を生成することができる。前記妨害車両の前記速度比率情報生成の場合、前記セクション平均速度情報それぞれを利用して、通り過ぎる車両それぞれに対する一般速度比率情報がそれぞれの前記セクションごとに準備された状態であり得る。すべての前記通り過ぎる車両の前記一般的な速度比率情報が準備されるので、前記中央サーバ200が前記V2X通信モジュール130から、前記車両識別子情報及び前記車両外観情報のように、前記通り過ぎる車両のうちの前記妨害車両を特定するための情報を取得すると、前記一般速度比率情報のうちの前記妨害車両の前記速度比率情報が選択されて前記コンピューティング装置100に転送され得る。
このような前記現在速度情報が取得されると、前記加速能力情報とともに参照され、前記潜在的妨害予測モデルが生成され得る。
前記第2−1実施例について詳述したので、前記イメージの処理モジュール140に対応する前記第2−2実施例について説明する。
前記第2−2実施例の場合、前記第2ニューラルネットワーク142は、前記現在速度情報を出力するための一つ以上のノードを前記第2−2FCレイヤ内に含むように構成されている状態で、GT現在速度情報を含む修正された第2GTを利用して学習された状態であり得る。この場合、前記コンピューティング装置100が、前記イメージ処理モジュール140に含まれた前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュール150に伝送するようにし得る。その後、前記コンピューティング装置は、前記プランニングモジュール150をもって、前記現在速度と前記加速能力情報とを参照して前記潜在的妨害予測モデルを生成するようにすることができる。
前記第2−3実施例の場合、前記V2X通信モジュール130を主に利用して前記加速能力情報と前記現在速度情報とが取得され得る。すなわち、前記コンピューティング装置100は、前記V2X通信モジュール130をもって、前記中央サーバ200と通信するようにし、前記加速能力情報と、前記速度比率情報と、前記現在セクション平均速度情報とを取得するようにできる。その後、前記コンピューティング装置100は、前記V2X通信モジュール130をもって、前記速度比率情報及び前記現在セクション平均速度情報を利用して計算された、前記妨害車両の前記加速能力情報と前記妨害車両の前記現在速度情報とを伝送するようにし、前記プランニングモジュール150をもって、前記加速能力情報と前記現在速度情報とを参照にして、前記潜在的妨害予測モデルを生成するようにすることができる。本実施例で、前記中央サーバ200は、各前記セクションの間の地点に設置されたそれぞれの前記カメラを利用して、前記妨害車両を含む前記通り過ぎる車両の積載量とカテゴリに関する情報とを取得して前記加速能力情報を生成し、これを前記コンピューティング装置100に伝送することができる。
前述したそれぞれの実施例で提示された方法を通じて前記加速能力情報と前記現在速度情報とが取得されると、前記コンピューティング装置100は、前記プランニングモジュール150をもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることができる。


前記TTC値に対応する前記時間の範囲内で前記妨害車両の最高速度及び最低速度に関する情報を含む前記予測速度範囲情報は、前記計算式により生成され得、前記潜在的妨害予測モデルを生成するために利用され得る。以降、前記対象自律走行車両の前方で走行する前記妨害車両の速度に対応する前記潜在的妨害走行は、前記潜在的妨害予測モデルを利用して予測され得る。
前記潜在的妨害走行が予測された後、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記潜在的妨害走行を避けるために、前記現在最適化経路情報を修正して更新最適化経路情報を生成するようにすることができる。一例として、前記潜在的妨害走行が、前記妨害車両が前記相手自律走行車両の前方で同一車線をゆっくり走行する可能性があると表れれば、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記対象自律走行車両がある現在車道の左側及び右側のうちの少なくとも一つに位置した少なくとも一つの近隣周辺車道の車道平均速度情報を取得するようにすることができる。このような前記車道平均速度情報は、各前記セクションの間に位置した前記カメラを利用して取得された可能性があり、前記V2X通信モジュール130をもって前記中央サーバ200から前記プランニングモジュール150へ転送されたものであり得る。
その後、前記コンピューティング装置100は、前記プランニングモジュール150をもって、前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成するようにし得る。前記車道平均速度情報は、追い越しにより適した車線を見つけるために利用されたものであり得る。図5をもとに、前記車道平均速度情報の利用に関する例示を確認する。
図5は、本発明の一例に係る前記V2X通信及び前記イメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している前記道路状況で、前記自律走行をプランニングする方法を遂行するために利用される最適化経路情報を修正する方式を概略的に示した図面である。
図5を参照にすると、前記左側に位置した車道の平均速度が前記右側に位置した車線平均速度より速いことを確認することができる。このような場合、前記左側に位置した車道を選択することが追い越しにより適している。したがって、前記左側に位置する車線が選択されるであり、前記左側に位置する車線を利用した前記回避走行は前記現在最適化経路情報に追加され、前記更新最適化経路情報が生成されるであろう。
前述したものと同じ前記プランニング手法を利用して、前記V2X通信が可能な車両と、前記V2X通信が不可能な車両とが混在している道路状況でも、自律走行が効率的に行われることができるであろう。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(flopticaldisk)のような磁気−光媒体(magneto−opticalmedia)、およびROM、RAM、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (26)

  1. V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニング(planning)する方法において、
    (a)コンピューティング装置が、プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにする段階;
    (b)前記コンピューティング装置が、前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにする段階;及び
    (c)前記コンピューティング装置が、前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために、前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにする段階;
    を含むことを特徴とする方法。
  2. 前記(a)段階で、
    前記コンピューティング装置が、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする請求項1に記載の方法。
  3. 前記(b)段階で、
    前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする請求項2に記載の方法。
  4. 前記(b)段階で、
    前記コンピューティング装置が、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする請求項2に記載の方法。
  5. 前記(c)段階で、
    前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)上前モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項1に記載の方法。
  6. 前記(c)段階で、
    前記コンピューティング装置が、(I)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(ii)前記妨害車両のクラスに対応するカテゴリ情報、及び(iii)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(II)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする請求項5に記載の方法。
  7. 前記(c)段階で、
    前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする請求項6に記載の方法。
  8. 前記コンピューティング装置が、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする請求項5に記載の方法。
  9. 前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項5に記載の方法。
  10. 前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項5に記載の方法。
  11. 前記(c)段階で、
    前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする 請求項1に記載の方法。
  12. 前記(c)段階で、
    前記コンピューティング装置が、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項1に記載の方法。
  13. 前記(c)段階で、
    前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする請求項1に記載の方法。
  14. V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングするコンピューティング装置において、
    各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにするプロセス、(II)前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにするプロセス、及び(III)前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含むことを特徴とするコンピューティング装置。
  15. 前記(I)プロセスで、
    前記プロセッサが、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする請求項14に記載のコンピューティング装置。
  16. 前記(II)プロセスで、
    前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする請求項15に記載のコンピューティング装置。
  17. 前記(II)プロセスで、
    前記プロセッサが、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする請求項15に記載のコンピューティング装置。
  18. 前記(III)プロセスで、
    前記プロセッサが、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)上前モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項14に記載のコンピューティング装置。
  19. 前記(III)プロセスで、
    前記プロセッサが、(i)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i−1)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(i−2)前記妨害車両のクラスに対応するカテゴリ情報、及び(i−3)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(ii)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする請求項18に記載のコンピューティング装置。
  20. 前記(III)プロセスで、
    前記プロセッサが、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする請求項19に記載のコンピューティング装置。
  21. 前記プロセッサが、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする請求項18に記載のコンピューティング装置。
  22. 前記プロセッサが、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項18に記載のコンピューティング装置。
  23. 前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項18に記載のコンピューティング装置。
  24. 前記(III)プロセスで、
    前記プロセッサが、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項14に記載のコンピューティング装置。
  25. 前記(III)プロセスで、
    前記プロセッサが、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする 請求項14に記載のコンピューティング装置。
  26. 前記(III)プロセスで、
    前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする請求項14に記載のコンピューティング装置。
JP2020005636A 2019-01-31 2020-01-17 V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} Active JP6916551B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799207P 2019-01-31 2019-01-31
US62/799207 2019-01-31
US16/724,475 US10861183B2 (en) 2019-01-31 2019-12-23 Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing
US16/724475 2019-12-23

Publications (2)

Publication Number Publication Date
JP2020126619A true JP2020126619A (ja) 2020-08-20
JP6916551B2 JP6916551B2 (ja) 2021-08-11

Family

ID=69191915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005636A Active JP6916551B2 (ja) 2019-01-31 2020-01-17 V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing}

Country Status (5)

Country Link
US (1) US10861183B2 (ja)
EP (1) EP3693944A1 (ja)
JP (1) JP6916551B2 (ja)
KR (1) KR102306939B1 (ja)
CN (1) CN111506058B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210327280A1 (en) * 2020-04-21 2021-10-21 Qualcomm Incorporated Cluster-based approach to positioning of vehicles in vehicle platooning or autonomous trucking
EP4243464A1 (en) * 2020-11-05 2023-09-13 LG Electronics Inc. Method for controlling driving of v2x vehicle by first device in wireless communication system supporting sidelink, and device therefor
CN112185123A (zh) * 2020-11-06 2021-01-05 广州南洋理工职业学院 一种基于车联网车辆安全间距预警的方法
US11443518B2 (en) 2020-11-30 2022-09-13 At&T Intellectual Property I, L.P. Uncrewed aerial vehicle shared environment privacy and security
US11797896B2 (en) 2020-11-30 2023-10-24 At&T Intellectual Property I, L.P. Autonomous aerial vehicle assisted viewing location selection for event venue
US11726475B2 (en) 2020-11-30 2023-08-15 At&T Intellectual Property I, L.P. Autonomous aerial vehicle airspace claiming and announcing
CN112758105B (zh) * 2020-12-30 2022-03-22 上海汽车集团股份有限公司 一种自动驾驶车队跟车行驶控制方法、装置及系统
DE102021201063A1 (de) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Systems für ein zumindest teilweise assistiert betriebenes Kraftfahrzeug, Computerprogrammprodukt sowie System
JP7347461B2 (ja) * 2021-03-05 2023-09-20 トヨタ自動車株式会社 自動駐車システム及び自動駐車システムの制御方法
CN113442950B (zh) * 2021-08-31 2021-11-23 国汽智控(北京)科技有限公司 基于多车辆的自动驾驶控制方法、装置和设备
TWI790825B (zh) 2021-11-19 2023-01-21 財團法人工業技術研究院 安全距離估算系統及其估算方法
CN114283574B (zh) * 2021-12-29 2022-10-28 湖南师范大学 一种基于卷积策略的车辆调度评价方法
CN115019503B (zh) * 2022-05-12 2023-06-16 东风汽车集团股份有限公司 基于信息共享的飞行汽车混合交通流下空间轨道分配方法
CN117341723A (zh) * 2022-06-28 2024-01-05 深圳市中兴微电子技术有限公司 自动驾驶方法及系统
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030798A (ja) * 1999-07-26 2001-02-06 Mazda Motor Corp 車両の走行制御装置
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
JP2015044432A (ja) * 2013-08-27 2015-03-12 株式会社デンソー 運転支援装置、および運転支援方法
JP2018097715A (ja) * 2016-12-15 2018-06-21 株式会社Soken 運転支援装置
JP2018101199A (ja) * 2016-12-19 2018-06-28 株式会社デンソー 運転支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4239771B2 (ja) * 2003-09-18 2009-03-18 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2011227582A (ja) * 2010-04-15 2011-11-10 Toyota Motor Corp 車両用衝突予測装置
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
KR102278387B1 (ko) * 2015-07-07 2021-07-16 주식회사 만도 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템
US9767687B2 (en) * 2015-09-11 2017-09-19 Sony Corporation System and method for driving assistance along a path
JP6657789B2 (ja) * 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
CN105976631A (zh) * 2015-11-06 2016-09-28 乐卡汽车智能科技(北京)有限公司 一种车辆数据处理方法及车辆终端
US9922553B2 (en) * 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
US10295363B1 (en) * 2016-01-22 2019-05-21 State Farm Mutual Automobile Insurance Company Autonomous operation suitability assessment and mapping
JP6688655B2 (ja) * 2016-03-31 2020-04-28 株式会社Subaru 車両状態監視装置
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
KR102412615B1 (ko) * 2017-09-07 2022-06-23 삼성전자주식회사 단말간 전송들 사이 충돌들을 고려하는 무선 통신 방법 및 장치
KR102414456B1 (ko) * 2017-10-23 2022-06-30 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
KR102445365B1 (ko) * 2018-03-19 2022-09-20 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11113971B2 (en) * 2018-06-12 2021-09-07 Baidu Usa Llc V2X communication-based vehicle lane system for autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030798A (ja) * 1999-07-26 2001-02-06 Mazda Motor Corp 車両の走行制御装置
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
JP2015044432A (ja) * 2013-08-27 2015-03-12 株式会社デンソー 運転支援装置、および運転支援方法
JP2018097715A (ja) * 2016-12-15 2018-06-21 株式会社Soken 運転支援装置
JP2018101199A (ja) * 2016-12-19 2018-06-28 株式会社デンソー 運転支援装置

Also Published As

Publication number Publication date
EP3693944A1 (en) 2020-08-12
JP6916551B2 (ja) 2021-08-11
KR102306939B1 (ko) 2021-10-05
US10861183B2 (en) 2020-12-08
US20200250848A1 (en) 2020-08-06
CN111506058B (zh) 2023-08-22
KR20200096115A (ko) 2020-08-11
CN111506058A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
JP2020126619A (ja) V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing}
Chen et al. Deep imitation learning for autonomous driving in generic urban scenarios with enhanced safety
EP3638981B1 (en) Fusion framework of navigation information for autonomous navigation
US11150660B1 (en) Scenario editor and simulator
WO2020119004A1 (en) Personal driving style learning for autonomous driving
KR20200096131A (ko) 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치
CN112888612A (zh) 自动驾驶车辆规划
US11835958B2 (en) Predictive motion planning system and method
US20200134494A1 (en) Systems and Methods for Generating Artificial Scenarios for an Autonomous Vehicle
JP6964354B2 (ja) 最近の走行経路に対する軌跡基盤行動分析を遂行して、車両のモードを手動走行モードから自律走行モードに変更するか否かを判断する学習方法及び学習装置
US11934191B2 (en) Method and system for predictive control of vehicle using digital images
WO2022100107A1 (en) Methods and systems for predicting dynamic object behavior
JP2020126620A (ja) 走行中に運転者からのさらなる指示なしに、対象車両が群集走行し得るように走行モードを変更する方法及び装置{method and device for switching driving modes to support subject vehicle to perform platoon driving without additional instructions from driver during driving}
JP2020123346A (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6938056B2 (ja) 競争的なコンピューティング及び情報フュージョンを利用して、車両の自律走行を支援するのに利用される自律走行サービスプラットフォームを提供する方法及びこれを利用したサーバ{method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same}
Guo et al. Humanlike behavior generation in urban environment based on learning-based potentials with a low-cost lane graph
Reda et al. Path planning algorithms in the autonomous driving system: A comprehensive review
Caruntu et al. A concept of multiple-lane vehicle grouping by swarm intelligence
EP4124995A1 (en) Training method for training an agent for controlling a controlled device, control method for controlling the controlled device, computer program(s), computer readable medium, training system and control system
US11873006B2 (en) Virtual lane estimation using a recursive self-organizing map
Li et al. Decision making for autonomous vehicles
Seiya et al. Point grid map-based mid-to-mid driving without object detection
US11787439B1 (en) Multistage autonomous vehicle motion planning
Nehme et al. Safe Navigation: Training Autonomous Vehicles using Deep Reinforcement Learning in CARLA
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210709

R150 Certificate of patent or registration of utility model

Ref document number: 6916551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150